CN105741265A - 深度图像的处理方法及装置 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供了深度图像的处理方法及装置，包括：输入深度图像及其对应的彩色图像，所述深度图像和所述彩色图像已预先配准完毕且尺寸相同；从所述彩色图像中提取边界图像，并基于所述边界图像确定边界掩膜；基于所述边界掩膜，通过预设的滤波器对所述深度图像进行多个预设方向的滤波，得到对应的多个滤波候选结果；通过马尔科夫随机场模型将所述多个滤波候选结果融合为所述深度图像的深度信息补全结果。本发明提取彩色图像的边界，引入边界掩模，再采用一种改进的局部双边滤波器对深度图像从多个预设方向进行填补，将这多个预设方向的填补结果融合为最终的信息补全结果，保证了深度信息的完整性。

Description

深度图像的处理方法及装置

技术领域

本发明属于图像处理技术领域，尤其涉及深度图像的处理方法及装置。

背景技术

深度信息能够反映出场景或物体的某些重要特征，例如结构、边界信息、表面形状等。近几年来，消费级别的深度摄像头在研究领域与家庭娱乐领域有着广泛的应用，包括Kincet和XtionPro等在内的产品均在三维重建、物体识别、行为分析等算法视觉工作中发挥着重要作用。

现行的深度图像技术会导致很多图像区域的深度信息缺失，深度信息缺失的情况包括：1、估计误差造成的小洞；2、红外摄像头与红外投影之间的视差造成的遮挡区域深度信息缺失；3、高光或者低反射面造成的深度信息缺失，从而影响了深度图像的深度信息完整性。

发明内容

有鉴于此，本发明实施例提供了深度图像的处理方法及装置，以解决现有技术会导致深度图像中很多图像区域的深度信息缺失，影响了深度图像的深度信息完整性的问题。

第一方面，提供了一种深度图像的处理方法，包括：

输入深度图像及其对应的彩色图像，所述深度图像和所述彩色图像已预先配准完毕且尺寸相同；

从所述彩色图像中提取边界图像，并基于所述边界图像确定边界掩膜；

基于所述边界掩膜，通过预设的滤波器对所述深度图像进行多个预设方向的滤波，得到对应的多个滤波候选结果；

通过马尔科夫随机场模型将所述多个滤波候选结果融合为所述深度图像的深度信息补全结果。

第二方面，提供了一种深度图像的处理装置，包括：

输入单元，用于输入深度图像及其对应的彩色图像，所述深度图像和所述彩色图像已预先配准完毕且尺寸相同；

确定单元，用于从所述彩色图像中提取边界图像，并基于所述边界图像确定边界掩膜；

滤波单元，用于基于所述边界掩膜，通过预设的滤波器对所述深度图像进行多个预设方向的滤波，得到对应的多个滤波候选结果；

补全单元，用于通过马尔科夫随机场模型将所述多个滤波候选结果融合为所述深度图像的深度信息补全结果。

在本发明实施例中，提取彩色图像的边界，从而引入一个边界掩模，以取得真正锋锐的边界，结合该边界掩膜，采用一种改进的局部双边滤波器对深度图像从多个预设方向进行填补，最后采用马尔科夫随机场模型将这多个预设方向的填补结果融合为最终的深度图像信息补全结果，从而保证了深度图像的深度信息完整性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的深度图像的处理方法的实现流程图；

图2是本发明实施例提供的深度图像的处理方法的实验效果示例图；

图3是本发明实施例提供的深度图像的处理装置的结构框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透切理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

在本发明实施例中，提取彩色图像的边界，从而引入一个边界掩模，以取得真正锋锐的边界，结合该边界掩膜，采用一种改进的局部双边滤波器对深度图像从多个预设方向进行填补，最后采用马尔科夫随机场模型将这多个预设方向的填补结果融合为最终的深度图像信息补全结果，从而保证了深度图像的深度信息完整性。

图1示出了本发明实施例提供的深度图像的处理方法的实现流程，详述如下：

在S101中，输入深度图像及其对应的彩色图像，所述深度图像和所述彩色图像已预先配准完毕且尺寸相同。

在本发明实施例中，首先输入一张深度图像和与该深度图像对应的彩色图像，其中，在深度图像的某些区域存在深度信息缺失，而彩色图像是信息完整的图像，且输入的深度图像和彩色图像已配准好，上述配准好的深度图像和彩色图像可以通过KinectSDK得到。与深度信息相比，彩色图像有着更低的噪声，没有信息缺失的区域，同时有保留有连续的物体轮廓，因此，在本发明实施例中，通过输入的彩色图像来指导深度图像的填补。

在S102中，从所述彩色图像中提取边界图像，并基于所述边界图像确定边界掩膜。

传统的联合双边滤波定义如下：

${\tilde{D}}_p=\frac{1}{k_p}{\Σ}_{q\∈\mathrm{\Ω}}{D}_{q}f\left(\right||p-q|\left|\right)g\left(\right||I_p-I_q|\left|\right),---\left(1\right)$

其中，p和q均代表图像中的像素点，是滤波后的深度图像，D是输入的深度图像，I是彩色图像，是滤波后像素p的深度值，D_q是输入的深度图像中像素q的深度值，I_p和I_q分别是输入的彩色图像中像素p和像素q的色彩值，k_p为一个归一化参数，Ω是滤波器的空间域窗口，f和g分别为空间滤波核与亮度滤波核，通常都为高斯函数。采用上述传统的双边滤波器对较大的深度信息缺失区域进行补全，通常能够取得的信息补全结果会不够理想，因此，在本发明实施例中，首先将(1)式的双边滤波进行扩展，使其支持局部偏移滤波：

${\tilde{D}}_p^{+}=\frac{1}{k_p}{\Σ}_{q\∈\mathrm{\Ω}}{\tilde{D}}_q^{-}f\left(\right||p-q|\left|\right)g\left(\right||I_p-I_q|\left|\right),---\left(2\right)$

其中，是填补了像素p以后的深度图像，是填补像素p之前的深度图像，是像素p填补后的深度值，是填补像素p之前深度图像中像素q的深度值。在上述滤波过程中，初始输入的为未经过滤波的深度图像，每次填补完一次像素p之后，更新为填补后的深度图像，基于更新后的下一个像素将会根据(2)式继续进行填补。

对于理想的完全深度图像来说，其应该在物体边缘区域有着锋锐的边界，但是双边滤波的结果会使得物体边界区域有溢出倾向，特别是在边界两边的物体有着比较接近的色彩的情况下，溢出倾向会愈发严重。考虑到双边滤波的上述缺点，在本发明实施例中，引入了canny边界检测器，在对深度图像进行滤波之前，采用canny算子从彩色图像C₀中提取边界图像E₀，之后，基于边界图像E₀来定义需要填补的像素p的边界掩膜。

假设D_p为需要滤波填补的像素p的深度值，对于D_p，对应的边界掩膜定义为：

其中，Ω是所述预设的滤波器的空间域窗口，Λ是所述边界图像的边界像素集合。

在S103中，基于所述边界掩膜，通过预设的滤波器对所述深度图像进行多个预设方向的滤波，得到对应的多个滤波候选结果。

基于上述(3)式的边界掩膜，在本发明实施例中，进一步将双边滤波改进为：

${\tilde{D}}_p^{+}=\frac{1}{k_p}{\Σ}_{q\∈\mathrm{\Ω}}{\tilde{D}}_q^{-}{M}_{q}f\left(\right||p-q|\left|\right)g\left(\right||I_p-I_q|\left|\right).---\left(4\right)$

上述滤波器处理过程经过不同方向进行滤波，可以得到不同的结果，因此，沿着四个方向分别对深度图像进行滤波：左上到右下，左下到右上，右上到左下，以及右下到左上，这样可以得到四个不同的深度补全结果，这四个深度补全结果将作为候选，接下来，通过马尔科夫随机场模型将这四个候选结果融合为一个最终的深度补全结果。

在S104中，通过马尔科夫随机场模型将所述多个滤波候选结果融合为所述深度图像的深度信息补全结果。

在融合过程中，对于深度图像中的每一个像素，均标一个标签，代表该像素的最终结果将取自四个候选结果中的哪一个。对于马尔科夫随机场模型，其能量函数通常包括一个数据项E_d与一个平滑项E_s：

其中，l_p是像素p的标签，l_q是像素q的标签，d_p是标签l_p的惩罚值，是邻域像素对的集合，V_pq代表像素p取标签l_p且像素q取标签l_q的惩罚值，λ是一个权重参数。

在此，定义：

$d_p\left(l_p\right)=\frac{1}{c_p+1}{e}^{\frac{d_{l_p}}{{\mathrm{\σ}}^2}}{\mathrm{\Σ}}_{q\∈\mathrm{\Ω}}{T}_q,---\left(6\right)$

其中，c_p是T_q∈Ω中非零元素的数目，d_l是像素p沿着滤波方向到D₀中同一行第一个非零像素的距离，σ是一个尺度参数，示例性地，σ的取值范围可以为1～50。在此，取：

T＝1-G(E₀)，(7)

其中，G是高斯模糊操作，平滑项定义为：

V_pq(l_p,l_q)＝ω_pqv_pq(l_p,l_q)，(8)

其中，

其中，C是一个常数，示例性地，C的取值范围可以为1～10，H是C₀沿着水平方向的归一化梯度，a和b分别是两个预设阈值，示例性地，a的取值范围可以为10～100，b的取值范围可以为1～10，β是一个尺度参数，t₁和t₂分别取值0.003与0.04时，V_p沿着垂直方向跟H_p采用类似的定义。

通过最小化马尔科夫随机场模型的能量函数，能够确定每个填补的像素p对应的标签l_p，所述标签l_p用于指明该像素p的填补结果为所述多个滤波候选结果中的哪一个，由此，确定出了每个像素p的实例结果，从而完成了对输入的深度图像的深度信息补全。上述能量函数的最小化可以通过图切割算法来实现。

图2示出了本发明实施例提供的深度图像处理方法与其他三中算法的深度信息补全效果图，其中，图像a和图像k为彩色图像，图像f和图像p为与图像a和图像k分别对应的深度图像，其后第二列至第五列分别为JFB算法、Levin算法、Park算法与本发明实施例算法所进行的深度信息补全效果图。表1示出了上述不同算法的运行时间比较情况，表2示出了上述不同算法的数值结果对比情况，可以看出，本发明实施例方案在运行时间上大大优于其他算法，而在大多数据实验中，本发明实施例方案对深度信息补全的数值结果也优于其他算法。

表1

表2

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

对应于上文实施例所述的深度图像的处理方法，图3示出了本发明实施例提供的深度图像的处理装置的结构框图，为了便于说明，仅示出了与本实施例相关的部分。

参照图3，该装置包括：

输入单元31，输入深度图像及其对应的彩色图像，所述深度图像和所述彩色图像已预先配准完毕且尺寸相同；

确定单元32，从所述彩色图像中提取边界图像，并基于所述边界图像确定边界掩膜；

滤波单元33，基于所述边界掩膜，通过预设的滤波器对所述深度图像进行多个预设方向的滤波，得到对应的多个滤波候选结果；

补全单元34，通过马尔科夫随机场模型将所述多个滤波候选结果融合为所述深度图像的深度信息补全结果。

可选地，所述确定单元32具体用于：

对于需要滤波填补的像素p的深度值D_p，定义对应的边界掩膜M：

其中，所述p和所述q分别为所述深度图像中的像素点，所述Ω是所述预设的滤波器的空间域窗口，所述Λ是所述边界图像的边界像素集合。

可选地，所述预设的滤波器为：

${\tilde{D}}_p^{+}=\frac{1}{k_p}{\mathrm{\Σ}}_{q\∈\mathrm{\Ω}}{\tilde{D}}_q^{-}{M}_{q}f\left(\right||p-q|\left|\right)g\left(\right||I_p-I_q|\left|\right),$

其中，所述是像素p填补后的深度值，所述是填补像素p之前深度图像中像素q的深度值，所述I_p和所述I_q分别是所述彩色图像中像素p和像素q的色彩值，所述k_p为一个归一化参数，所述Ω是滤波器的空间域窗口，所述f为空间滤波核，所述g为亮度滤波核。

可选地，所述滤波单元33具体用于：

通过所述预设的滤波器对所述深度图像进行四个方向的滤波，所述四个方向包括：左上到右下，左下到右上，右上到左下，以及右下到左上。

可选地，所述补全单元34具体用于：

通过最小化马尔科夫随机场模型的能量函数，确定每个填补的像素p对应的标签l_p，所述标签l_p用于指明该像素p的填补结果为所述多个滤波候选结果中的其中一个；

所述能量函数E为：

其中，所述d_p是所述标签l_p的惩罚值，所述是邻域像素对的集合，所述V_pq代表像素p取l_p且像素q取l_q的惩罚值，所述λ是一个权重参数。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种深度图像的处理方法，其特征在于，包括：

输入深度图像及其对应的彩色图像，所述深度图像和所述彩色图像已预先配准完毕且尺寸相同；

从所述彩色图像中提取边界图像，并基于所述边界图像确定边界掩膜；

基于所述边界掩膜，通过预设的滤波器对所述深度图像进行多个预设方向的滤波，得到对应的多个滤波候选结果；

通过马尔科夫随机场模型将所述多个滤波候选结果融合为所述深度图像的深度信息补全结果。

2.如权利要求1所述的方法，其特征在于，所述基于所述边界图确定边界掩膜包括：

对于需要滤波填补的像素p的深度值D_p，定义对应的边界掩膜M：

其中，所述p和所述q分别为所述深度图像中的像素点，所述Ω是所述预设的滤波器的空间域窗口，所述Λ是所述边界图像的边界像素集合。

3.如权利要求2所述的方法，其特征在于，所述预设的滤波器为：

${\tilde{D}}_p^{+}=\frac{1}{k_p}{\mathrm{\Σ}}_{q\∈\mathrm{\Ω}}{\tilde{D}}_q^{-}{M}_{q}f\left(\right||p-q|\left|\right)g\left(\right||I_p-I_q|\left|\right),$

其中，所述是像素p填补后的深度值，所述是填补像素p之前深度图像中像素q的深度值，所述I_p和所述I_q分别是所述彩色图像中像素p和像素q的色彩值，所述k_p为一个归一化参数，所述Ω是滤波器的空间域窗口，所述f为空间滤波核，所述g为亮度滤波核。

4.如权利要求1所述的方法，其特征在于，所述通过预设的滤波器对所述深度图像进行多个预设方向的滤波包括：

通过所述预设的滤波器对所述深度图像进行四个方向的滤波，所述四个方向包括：左上到右下，左下到右上，右上到左下，以及右下到左上。

5.如权利要求1所述的方法，其特征在于，所述通过马尔科夫随机场模型将所述多个滤波候选结果融合为所述深度图像的深度信息补全结果包括：

通过最小化马尔科夫随机场模型的能量函数，确定每个填补的像素p对应的标签l_p，所述标签l_p用于指明该像素p的填补结果为所述多个滤波候选结果中的其中一个；

所述能量函数E为：

其中，所述d_p是所述标签l_p的惩罚值，所述是邻域像素对的集合，所述V_pq代表像素p取l_p且像素q取l_q的惩罚值，所述λ是一个权重参数。

6.一种深度图像的处理装置，其特征在于，包括：

输入单元，用于输入深度图像及其对应的彩色图像，所述深度图像和所述彩色图像已预先配准完毕且尺寸相同；

确定单元，用于从所述彩色图像中提取边界图像，并基于所述边界图像确定边界掩膜；

滤波单元，用于基于所述边界掩膜，通过预设的滤波器对所述深度图像进行多个预设方向的滤波，得到对应的多个滤波候选结果；

补全单元，用于通过马尔科夫随机场模型将所述多个滤波候选结果融合为所述深度图像的深度信息补全结果。

7.如权利要求6所述的装置，其特征在于，所述确定单元具体用于：

对于需要滤波填补的像素p的深度值D_p，定义对应的边界掩膜M：

其中，所述p和所述q分别为所述深度图像中的像素点，所述Ω是所述预设的滤波器的空间域窗口，所述Λ是所述边界图像的边界像素集合。

8.如权利要求7所述的装置，其特征在于，所述预设的滤波器为：

其中，所述是像素p填补后的深度值，所述是填补像素p之前深度图像中像素q的深度值，所述I_p和所述I_q分别是所述彩色图像中像素p和像素q的色彩值，所述k_p为一个归一化参数，所述Ω是滤波器的空间域窗口，所述f为空间滤波核，所述g为亮度滤波核。

9.如权利要求6所述的装置，其特征在于，所述滤波单元具体用于：

通过所述预设的滤波器对所述深度图像进行四个方向的滤波，所述四个方向包括：左上到右下，左下到右上，右上到左下，以及右下到左上。

10.如权利要求6所述的装置，其特征在于，所述补全单元具体用于：

通过最小化马尔科夫随机场模型的能量函数，确定每个填补的像素p对应的标签l_p，所述标签l_p用于指明该像素p的填补结果为所述多个滤波候选结果中的其中一个；

所述能量函数E为：

其中，所述d_p是所述标签l_p的惩罚值，所述是邻域像素对的集合，所述V_pq代表像素p取l_p且像素q取l_q的惩罚值，所述λ是一个权重参数。