CN107248143B - 一种基于图像分割的深度图像修复方法 - Google Patents

Abstract

本发明涉及一种基于图像分割的深度图像修复方法，通过分割对应的彩色图像作为指导信息，结合数据拟合方法，进行缺失的深度信息的估算工作。本发明提供的基于图像分割的深度图像修复方法，得到的深度图像修复结果，无论是在图像的边缘区域还是非边缘区域，都与现实中物体的深度信息更为接近。

Description

一种基于图像分割的深度图像修复方法

技术领域

本发明涉及图像处理技术领域、数据拟合技术领域、深度信息处理技术领域，具体是一种基于图像分割的深度图像修复方法。

背景技术

现今，基于深度信息的三维重建技术仍然处于发展中阶段，商业化深度相机的出现与流行为其带来了新的研究方向。但是在获取深度图像的时候，当前常见的商业化深度相机往往受到硬件技术、拍摄环境等因素的影响，无法获取到场景中某些对象的部分深度信息，这种现象造成了深度图像上的对应位置形成无效数据，严重地影响着三维重建的质量。

传统的方法采用双边滤波器对深度图像进行预处理，但难以提高深度图像的质量。同时一些现有的深度图像修复方法也具有一定的局限性，例如模糊效果、准确度低等，其修复结果仍然存在较大的提升空间。

发明内容

为了提高深度图像的质量，解决上述问题，本发明提供了一种基于图像分割的深度图像修复方法，为实现上述目的本发明的流程可以划分为以下两个阶段：

●分割彩色图像阶段：

采用基于图的图像分割算法^[1]对彩色图像进行分割，主要步骤如下：

步骤1：对原始彩色图像进行高斯滤波。

步骤2：对高斯滤波后的彩色图像进行分割处理。

步骤3：对步骤2的结果中的细小分割块进行后期的合并处理。

●修复深度图像阶段：

基于分割所得结果，对每个分割块进行相互独立、并行处理的修复工作。在进行每个分割块中的无效像素修复工作前，采用本发明所提出的一种基于邻域有效数据数量的修复顺序设置方法，为该分割块中的无效像素设置由外部至内部的无效数据区域修复顺序。每个无效像素的修复工作的主要步骤如下：

步骤1：采用本发明所提出的一种基于空间连续性的采样方法，为该无效像素构建样本总集合。

步骤2：采用本发明所提出的一种基于颜色平滑度与数据可信度的样本筛选方法，为该无效像素选择最佳样本集合。

步骤3：采用n阶多项式数据拟合方法，拟合样本的变化规律，估算出该无效像素的深度值。

本发明提供的基于图像分割的深度图像修复方法，得到的深度图像修复结果，无论是在图像的边缘区域还是非边缘区域，都与现实中物体的深度信息更为接近。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：

图1是本发明方法的流程示意图；

图2是根据一示例性实施例示出的原始彩色图像和高斯滤波后的图像；

图3是根据一示例性实施例示出的经过分割处理后的图像和经过后期处理后的图像；

图4是根据一示例性实施例示出的原始深度图像和修复后的深度图像。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

实施例

如图1所示，本发明公开了一种基于图像分割的深度图像修复方法，通过分割对应的彩色图像作为指导信息，结合数据拟合方法，进行缺失的深度信息的估算工作。具体地说，主要分为以下两个阶段：

●分割彩色图像阶段：

采用基于图的图像分割算法(Felzenszwalb P F,Huttenlocher D P.EfficientGraph-Based Image Segmentation[J].International Journal of Computer Vision,2004,59(2):167-181.)对彩色图像进行分割，主要步骤如下：

步骤1：先用高斯滤波器对输入的彩色图像进行滤波，输入图像如图2(a)所示，滤波后的图像如图2(b)所示。

步骤2：对高斯滤波后的彩色图像进行分割处理，分割结果如图3(a)所示。

步骤3：对步骤2的结果中的细小分割块进行后期的合并处理，形成分割彩色图像阶段的最终结果，如图3(b)所示。

●修复深度图像阶段：

基于分割所得结果，对每个分割块进行相互独立、并行处理的修复工作，原始的深度图像如图4(a)所示。

在进行每个分割块中的无效像素修复工作前，采用本发明所提出的一种基于邻域有效数据数量的修复顺序设置方法，为该分割块中的无效像素设置由外部至内部的无效数据区域修复顺序。为当前分割块中的有效像素设置状态值为1，无效像素设置状态值为0，计算所有无效像素的排序权值

Ω_p表示以p为中心的3×3窗口，SV(q)表示状态值，通过依据排序权值进行排序、更新权值与排序权值，可以确定由外部至内部的修复次序。

每个无效像素的修复工作相同，令p表示当前处理的待修复无效状态像素，其修复的主要步骤如下：

步骤1：采用本发明所提出的一种基于空间连续性的采样方法，以待修复的无效状态像素p为起点，向其8邻域方向射出8条线段，收集此8个方向上的样本，构造像素p的样本总集合SS＝(ss₁，ss₂，...，ss₈)。在为每一个方向上收集样本的时候，线段的一个端点是像素p，假设另一个端点是像素q，当且仅当同时满足以下3个条件时，继续以p向q的方向延长线段，否则从线段上删去像素q并结束该方向上的样本收集工作：

条件1：线段长度小于最大长度L_max，L_max是常量参数

条件2：像素q不是无效状态

条件3：在从p向q方向的线段上，若像素q的前一个像素不是像素p，像素q与其前一个像素之间的深度值差距不能超过最大差距Dif_max，Dif_max是常量参数

对于每一条线段，以像素p为起点开始依次收集线段经过的所有像素，形成一个样本集合ss，此时样本集合ss中包含待修复像素p，在为拟合修复工作提供样本集合的时候将会剔除从样本集合中像素p。8个样本集合构成待修复像素p的样本总集合SS＝(ss₁，ss₂，...，ss₈)。

步骤2：采用本发明所提出的一种基于颜色平滑度与数据可信度的样本筛选方法，为该无效像素选择最佳样本集合。

对于ss_i∈SS，i＝1，2，...，8,其颜色平滑度的权值W_color(i)的计算公式如下：

W_color(i)＝[var(DistSet_i)]

DistSet_i＝{Dist(p，q)|q∈ss_i}

Dist(p，q)表示对深度图像中的像素p、q分别所对应的彩色图像中像素p′、q′，进行RGB颜色空间上欧式距离的计算。

对于ss_i∈SS，i＝1，2，...，8,样本集合ss_i的有效状态像素总数量的权值W_num(i)等于样本集合ss_i中处于有效状态的像素的总数量。

对于待修复像素p的样本总集合SS中的8个样本集合，在剔除仅包含待修复像素p的样本集合后，计算剩余样本集合相应的W_color、W_num，优先依据W_color进行升序排序，其次依据W_num进行降序排序，选择排序后的第一个样本集合(p，s₁，s₂，...，s_m)，将该样本集合中的像素p剔除，作为待修复像素p的最佳样本集合BSS。

步骤3：采用n阶多项式数据拟合方法，拟合样本的变化规律，估算出该无效像素的深度值，具体为：

步骤3-1：计算待修复像素p的最佳样本集合BSS的三维坐标数据。对于深度图像D上的一个像素q，令其坐标表示为(u，v)，其深度值表示为D(q)，cx、cy表示深度相机的固定参数主点，fx、fy表示深度相机的固定参数焦距，像素q对应的三维坐标计算公式如下：

z＝D(q)

步骤3-2：通过n阶多项式数据拟合方法，基于最佳样本集合BSS的三维坐标数据，计算待修复像素p的三维坐标。

步骤3-3：根据待修复像素p在深度图像空间的坐标，相应地反求出待修复像素p三维坐标对应的深度值。

步骤3-4：对步骤3-3所求得的深度值取平均值，作为修复后深度值Depth。

步骤3-5：采用下式，计算最佳样本集合BSS的自适应阈值τ，根据待修复像素p的修复后深度值Depth与最佳样本集合BSS中第一个样本s₁的深度值D(s₁)之间的差距，相应地调整待修复像素p的修复后深度值Depth，完成该像素的修复工作。

完成对所有无效像素的修复工作后，得到最终的修复后的深度图像，如图4(b)所示。

以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (2)

1.一种基于图像分割的深度图像修复方法，其特征在于：

通过分割对应的彩色图像作为指导信息，结合数据拟合方法，进行缺失的深度信息的估算工作；

其中，所述分割对应的彩色图像包括以下步骤：

步骤1：先用高斯滤波器对输入的彩色图像进行滤波；

步骤2：对高斯滤波后的彩色图像进行分割处理；

步骤3：对步骤2的结果中的细小分割块进行后期的合并处理，形成分割彩色图像阶段的最终结果；

其中，基于分割所得结果，对每个分割块进行相互独立、并行处理的修复工作，在进行每个分割块中的无效像素修复工作前，为当前分割块中的有效像素设置状态值、无效像素设置状态值，计算所有无效像素的排序权值，通过依据排序权值进行排序、更新排序权值，确定由外部至内部的修复次序；

每个无效像素的修复步骤如下：

步骤1：采用本发明所提出的一种基于空间连续性的采样方法，以待修复的无效状态像素p为起点，向其邻域方向射出若干条线段，收集此邻域方向上的样本，构造像素p的样本总集合SS＝(ss₁，ss₂，...，ss₈)，在为每一个方向上收集样本的时候，线段的一个端点是像素p，假设另一个端点是像素q，当且仅当同时满足以下3个条件时，继续以p向q的方向延长线段，否则从线段上删去像素q并结束该方向上的样本收集工作：

条件1：线段长度小于最大长度L_max，L_max是常量参数；

条件2：像素q不是无效状态；

条件3：在从p向q方向的线段上，若像素q的前一个像素不是像素p，像素q与其前一个像素之间的深度值差距不能超过最大差距Dif_max，Dif_max是常量参数；

对于每一条线段，以像素p为起点开始依次收集线段经过的所有像素，形成一个样本集合ss，此时样本集合ss中包含待修复像素p，在为拟合修复工作提供样本集合的时候将会剔除样本集合中像素p，样本集合构成待修复像素p的样本总集合；

步骤2：对ss_i中的样本分别与待修复像素p进行RGB颜色空间上的欧式距离计算，并进行求方差处理，以方差值表示样本集合ss_i的颜色平滑度W_color(i)；样本集合ss_i的数据可信度的权值W_reliability(i)等于样本集合ss_i中处于有效状态的像素的总数量；

对于待修复像素p的样本总集合中的样本集合，在剔除仅包含待修复像素p的样本集合后，计算剩余样本集合相应的W_color、W_reliability，优先依据W_color进行升序排序，其次依据W_reliability进行降序排序，选择排序后的第一个样本集合(p，s₁，s₂，...，s_m)，将该样本集合中的像素p剔除，作为待修复像素p的最佳样本集合；

步骤3：依据待修复像素p的最佳样本集合，采用n阶多项式数据拟合方法，拟合样本的变化规律，估算出该无效像素的深度值。

2.如权利要求1所述的一种基于图像分割的深度图像修复方法，其特征在于估算无效像素的深度值步骤如下：

步骤3-1：计算待修复像素p的最佳样本集合的三维坐标数据，对于深度图像D上的一个像素l，令其坐标表示为(u，v)，其深度值表示为D(l)，cx、cy表示深度相机的固定参数主点，fx、fy表示深度相机的固定参数焦距，像素l对应的三维坐标计算公式如下：

z＝D(l)；

步骤3-2：通过n阶多项式数据拟合方法，基于最佳样本集合的三维坐标数据，计算待修复像素p的三维坐标；

步骤3-3：根据待修复像素p在深度图像空间的坐标，相应地反求出待修复像素p三维坐标对应的深度值；

步骤3-4：对步骤3-3所求得的深度值取平均值，作为修复后深度值Depth；

步骤3-5：采用下式计算最佳样本集合的自适应阈值τ，根据待修复像素p的修复后深度值Depth与最佳样本集合BSS中第一个样本S₁的深度值D(s₁)之间的差距，相应地调整待修复像素p的修复后深度值Depth，完成该像素的修复工作

完成对所有无效像素的修复工作后，得到最终的修复后的深度图像。

Images