CN112164009B - 基于两层全连接条件随机场模型的深度图结构修复方法 - Google Patents

Abstract

本发明公开了一种基于两层全连接条件随机场模型的深度图结构修复方法，向第一层全连接条件随机场模型中输入彩色图和深度图，通过最小化第一层全连接条件随机场模型的能量函数，得到粗略恢复的深度图；将粗略恢复的深度图输入第二层全连接条件随机场模型，通过最小化第二层全连接条件随机场模型的能量函数，得到精确恢复的深度图。本发明不仅能精确地恢复包含严重结构失真的深度图，并且有效地解决了彩色图纹理映射问题。

Description

基于两层全连接条件随机场模型的深度图结构修复方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于两层全连接条件随机场模型的深度图结构修复方法。

背景技术

随着深度数据获取技术的发展，深度图被广泛的应用于各种三维视觉任务中，例如：三维重建、机器人导航、虚拟现实等。目前主流的深度图获取方式主要分为两种。第一种是根据一张或多张彩色图来计算深度图，如立体匹配或基于深度神经网络进行估计的方法。第二种是通过物理传感器来获取深度图，如TOF或结构光传感器。然而由于目前技术的不成熟，这两类方法均存在许多缺陷。例如：立体匹配方法计算的深度图在相应彩色图的弱纹理区域容易产生内容缺失；基于深度神经网络进行估计的深度图的几何结构往往不够准确；TOF传感器获取的深度图的分辨率通常较低且含有噪声；结构光传感器获取的深度图通常含有大量的空洞区域。因此，如何修复深度图已经成为三维视觉领域的一道难题。

不同于彩色图，深度图的几何结构可以额外地提供物体的几何结构，因此深度图的几何结构在其实际应用中扮演着重要的角色。例如在3D-TV系统中，虚拟视点合成要求相同视点的彩色图与深度图的几何结构应当高度对齐，否则将会在合成图像中引起严重的裂纹与空洞。然而由于上述深度图获取技术的不成熟，在实际场景中，深度图的几何结构通常会受到各种各样的严重损伤，进而造成深度图包含严重的结构失真。因此，如何精准地修复深度图的几何结构已经成为深度图修复的关键问题之一。

传统的图像修复方法主要是基于图像滤波与优化框架来进行修复工作的。但由于彩色图与深度图之间的特性不同，直接使用传统方法的效果不佳，因此出现了大量针对于深度图进行修复的方法。目前主流的深度图修复方法是通过彩色图来引导深度图的恢复，其主要分为三种：基于图像滤波的修复方法、基于优化的修复方法、基于神经网络的修复方法。基于图像滤波的修复方法通常是通过改造传统的图像滤波器来进行深度图的恢复，如加权均值滤波器、加权中值滤波器、双边滤波器等。现存的此类方法通常在深度图几何结构被严重损坏时无法工作。基于优化的修复方法通常是利用马尔科夫随机场模型等全局优化框架进行深度图修复，现存的此类方法主要专注于去噪、空洞填充、缺失内容补全、超分辨率等问题，深度图的几何结构仍然没有被精准地恢复。基于神经网络的修复方法通常是使用已经训练好的神经网络对深度图进行修复，但此类方法修复的深度图精度不足，几何结构往往不够准确且存在边界模糊等现象。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于两层全连接条件随机场模型的深度图结构修复方法，能够在深度图包含严重结构失真的情况下，精确修复失真的几何结构。

本发明采用以下技术方案：

基于两层全连接条件随机场模型的深度图结构修复方法，向第一层全连接条件随机场模型中输入彩色图和深度图，通过最小化第一层全连接条件随机场模型的能量函数，得到粗略恢复的深度图；将粗略恢复的深度图输入第二层全连接条件随机场模型，通过最小化第二层全连接条件随机场模型的能量函数，得到精确恢复的深度图。

具体的，在第一层全连接条件随机场模型中，深度图恢复通过最小化能量函数来实现，能量函数形式如下：

其中，x是恢复后的深度图，x_i是在恢复后的深度图中像素点i的深度值，ω_u和ω_p是一元与二元势函数的权重，ψ_u(x_i)是一元势函数，ψ_p(x_i,x_j)是二元势函数。

进一步的，一元势函数的设置如下：

其中，d_i为在输入深度图中像素点i的深度值，p(d_i)是在恢复后的深度图中像素点i的深度值为d_i的概率。

更进一步的，恢复后的深度图中像素点i的深度值为d_i的概率p(d_i)如下：

p(d_i)＝SSIM(W_i ^d,W_i ^c)

其中，j∈N_i，

为输入深度图中像素点i的邻域高斯权重，

为输入彩色图中像素点i的邻域高斯权重，c_i是输入彩色图中像素点i的颜色向量，d_i是输入深度图中像素点i的深度值，

与

是相应高斯核的方差，N_i是在相应图像中像素点i的邻域。

进一步的，分别计算输入彩色图中像素点i在每个通道(R、G、B)的邻域均值与方差，并将这六个值组成一个向量记为g_i，二元势函数的设置如下：

ψ_p(x_i,x_j)＝μ(x_i,x_j)κ(i,j,g_i,g_j)

其中，

分别为三个高斯核的方差，i和j表示位置向量。

具体的，在第二层全连接条件随机场模型中，第二层全连接条件随机场模型的输入深度图为第一层全连接条件随机场模型的结果图，二元势函数如下：

ψ_p(x_i,x_j)＝μ(x_i,x_j)κ(i,j,c_i,c_j)

其中，

分别为三个高斯核的方差，i和j表示位置向量，c_i是输入彩色图中像素点i的颜色向量。

与现有技术相比，本发明至少具有以下有益效果：

本发明基于两层全连接条件随机场模型的深度图结构修复方法，基于两层全连接条件随机场模型，利用全连接条件随机场模型对整个深度图与彩色图的所有像素点同时建模，因此该方法能够充分考虑深度图与彩色图的所有信息，进而能够恢复严重失真情况下的深度图，尤其能够精确地恢复深度图的几何结构。此外，使用两层全连接条件随机场模型解决了彩色图纹理映射问题。相较于现有方法，该方法恢复的深度图几何结构准确且清晰，同时有效地解决了深度图中含有多余纹理的问题，通过两层全连接条件随机场模型解决了彩色图纹理映射问题。具体的，第一层全连接条件随机场模型可以粗略地恢复严重失真深度图的结构同时抑制多余的纹理映射，第二层全连接条件随机场模型可以精确地恢复第一层的结果同时抑制多余的纹理映射。

进一步的，全连接条件随机场模型对深度图的每个像素点同时建模，从而能够恢复出像素级精度的深度图，大大提高了深度图的几何结构准确性，使得深度图的边缘准确且清晰。

进一步的，通过全连接条件随机场模型中的一元势函数来逼迫深度图中每个像素点选取可能性更大的深度值，从而鼓励恢复后的深度图保留更加正确的深度值。

进一步的，通过全连接条件随机场模型中的一元势函数来逼迫深度图中每个像素点选取可能性更大的深度值，从而鼓励恢复后的深度图保留更加正确的深度值。

进一步的，通过全连接条件随机场模型中的二元势函数来限制深度图中每对像素点间的相关关系，从而鼓励恢复后的深度图与相应的彩色图保留一致的几何结构。

进一步的，通过全连接条件随机场模型中的二元势函数来限制深度图中每对像素点间的相关关系，从而鼓励恢复后的深度图与相应的彩色图保留一致的几何结构。

综上所述，本发明不仅能精确地恢复包含严重结构失真的深度图，并且有效地解决了彩色图纹理映射问题。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的流程图；

图2为本发明的输入图，其中，(a)为彩色图，(b)为深度图；

图3为本发明的输出结果图；

图4为本发明的输出结果图与其他方法的输出结果图，其中，(a)为彩色图，(b)为深度图，(c)为加权中值滤波的结果图，(d)为J.Yang论文“Color-guided depth recoveryfrom RGB-D data using an adaptive autoregressive model”中方法的结果图，(e)为M.Yang论文“Boundary recovery of depth map for synthesis view optimization in3D video”中方法的结果图，(f)为本发明的结果图。

图5为本发明解决彩色图纹理映射问题的局部结果图，其中，(a)为局部彩色图，(b)为局部深度图，(c)为直接使用全连接条件随机场模型的局部结果图，(d)为本发明的局部结果图。

具体实施方式

本发明提供了一种基于两层全连接条件随机场模型的深度图结构修复方法，首先输入彩色图如图2(a)与深度图如图2(b)到第一层全连接条件随机场模型进行粗略地恢复，再将第一层的结果输入到第二层全连接条件随机场模型中进行精确地恢复。

请参阅图1，本发明一种基于两层全连接条件随机场模型的深度图结构修复方法，包括以下步骤：

S1、向第一层全连接条件随机场模型中输入彩色图和深度图；

能量函数设置

在第一层全连接条件随机场模型中，深度图恢复通过最小化能量函数来实现，其能量函数形式如下：

其中，x是恢复后的深度图，x_i是在恢复后的深度图中像素点i的深度值，ω_u和ω_p是一元与二元势函数的权重，ψ_u(x_i)是一元势函数，ψ_p(x_i,x_j)是二元势函数。

S101、一元势函数设置

一元势函数的设置如下：

其中，d_i为在输入深度图中像素点i的深度值，p(d_i)是在恢复后的深度图中像素点i的深度值为d_i的概率，其计算方法如下：

p(d_i)＝SSIM(W_i ^d,W_i ^c) (3)

其中，

为输入深度图中像素点i的邻域高斯权重，

为输入彩色图中像素点i的邻域高斯权重，c_i是输入彩色图中像素点i的颜色向量(包括R、G、B三个通道)，d_i是输入深度图中像素点i的深度值，

与

是相应高斯核的方差，N_i是在相应图像中像素点i的邻域。

S102、二元势函数设置

首先分别计算输入彩色图中像素点i在每个通道(R、G、B)的邻域均值与方差，并将这六个值组成一个向量记为g_i，二元势函数的设置如下：

ψ_p(x_i,x_j)＝μ(x_i,x_j)κ(i,j,g_i,g_j) (6)

其中，

分别为三个高斯核的方差，i和j表示位置向量。

通过最小化第一层全连接条件随机场模型的能量函数，能够得到粗略恢复的深度图，同时抑制了多余的纹理映射。

S2、第二层全连接条件随机场模型

能量函数设置

第二层全连接条件随机场模型的能量函数形式同公式(1)。

一元势函数设置

第二层全连接条件随机场模型的一元势函数函数设置同公式(2)(3)(4)(5)；此处，第二层全连接条件随机场模型的输入深度图为第一层全连接条件随机场模型的结果图。

二元势函数设置

二元势函数如下：

ψ_p(x_i,x_j)＝μ(x_i,x_j)κ(i,j,c_i,c_j) (9)

其中，

分别为三个高斯核的方差，i和j在此处表示位置向量，c_i是输入彩色图中像素点i的颜色向量(包括R、G、B三个通道)。

S3、通过最小化步骤S2第二层全连接条件随机场模型的能量函数，得到精确恢复的深度图，同时抑制了多余的纹理映射。

请参阅图3，为第二层全连接条件随机场模型的最终的输出图像，对于输入彩色图像图2(a)以及输入深度图像图2(b)可以看到，由于图2(b)包含严重的的结构失真，其几何结构与图2(a)的几何结构存在明显差异。对于输出图像图3，可以明显看到，其几何结构与图2(a)的几何结构高度对齐，且无纹理映射问题。同时，图3所示输出图像边界清晰，结构细节更加准确、完整。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种能够在严重失真情况下工作的深度图修复方法，尤其是几何结构修复上。比较输入深度图4(a)与彩色图4(b)，可以明显看出深度图中存在着严重失真，并且其几何结构受到了严重的损伤。图4(c)为经典的加权中值滤波的结果图，图4(d)为使用J.Yang论文“Color-guided depth recovery from RGB-D data using an adaptiveautoregressive model”中方法的结果图，图4(e)为使用M.Yang论文“Boundary recoveryof depth map for synthesis view optimization in 3D video”中方法的结果图，图4(f)为本发明中所述方法的修复结果。可以看到本发明修复的深度图质量明显优于其他方法，修复后的深度图几何结构准确且清晰。

其次，本发明有效地解决了彩色图纹理映射问题，抑制了多余的纹理映射。图5(c)为直接使用全连接条件随机场模型的局部结果图，图5(d)为本发明所述方法的局部结果图。可以看到本发明修复的深度图中无多余的纹理映射，彩色图纹理映射问题被很好地解决了。

综上所述，本发明一种基于两层全连接条件随机场模型的深度图结构修复方法，能够在深度图包含严重失真的情况下进行修复工作。本发明同时有效地解决了彩色图纹理映射问题，抑制了多余纹理被映射入深度图中。相较于现有方法，本发明能够修复包含严重结构失真的深度图，且所修复深度图的边界清晰、结构准确、无纹理映射问题。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (2)

1.基于两层全连接条件随机场模型的深度图结构修复方法，其特征在于，向第一层全连接条件随机场模型中输入彩色图和深度图，通过最小化第一层全连接条件随机场模型的能量函数，得到粗略恢复的深度图；将粗略恢复的深度图输入第二层全连接条件随机场模型，通过最小化第二层全连接条件随机场模型的能量函数，得到精确恢复的深度图；

在第一层全连接条件随机场模型中，深度图恢复通过最小化能量函数来实现，能量函数形式如下：

其中，x是恢复后的深度图，x_i是在恢复后的深度图中像素点i的深度值，x_j为在恢复后的深度图中像素点j的深度值，ω_u和ω_p是一元与二元势函数的权重，ψ_u(x_i)是一元势函数，ψ_p(x_i,x_j)是二元势函数，一元势函数的设置如下：

其中，d_i为在输入深度图中像素点i的深度值，p(d_i)是在恢复后的深度图中像素点i的深度值为d_i的概率，具体如下：

其中，j∈N_i，

为输入深度图中像素点i的邻域高斯权重，

为输入彩色图中像素点i的邻域高斯权重，c_i是输入彩色图中像素点i的颜色向量，c_j为输入彩色图中像素点j的颜色向量，d_i是输入深度图中像素点i的深度值，d_j为输入深度图中像素点j的深度值，

与

是相应高斯核的方差，N_i是在相应图像中像素点i的邻域；

分别计算输入彩色图中像素点i在每个通道(R、G、B)的邻域均值与方差，并将这六个值组成一个向量记为g_i，二元势函数的设置如下：

ψ_p(x_i,x_j)＝μ(x_i,x_j)κ(i,j,g_i,g_j)

其中，

分别为三个高斯核的方差，i和j表示位置向量，g_j为彩色图中像素点j在每个通道(R、G、B)的3×3邻域均值与方差组成的向量。

2.根据权利要求1所述的基于两层全连接条件随机场模型的深度图结构修复方法，其特征在于，在第二层全连接条件随机场模型中，第二层全连接条件随机场模型的输入深度图为第一层全连接条件随机场模型的结果图，二元势函数如下：

ψ_p(x_i,x_j)＝μ(x_i,x_j)κ(i,j,c_i,c_j)

其中，

分别为三个高斯核的方差，i和j表示位置向量，c_i是输入彩色图中像素点i的颜色向量，c_j为输入彩色图中像素点j的颜色向量。

Images