CN111223059A

CN111223059A - 一种基于引导滤波器的鲁棒深度图结构重建和去噪方法

Info

Publication number: CN111223059A
Application number: CN202010007506.0A
Authority: CN
Inventors: 杨勐; 陈翔; 光宇杰; 成钰; 郑南宁
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2020-01-04
Filing date: 2020-01-04
Publication date: 2020-06-02
Anticipated expiration: 2040-01-04
Also published as: CN111223059B

Abstract

本发明公开了一种基于引导滤波器的鲁棒深度图结构重建和去噪方法，对结构错误区域进行探测，检测输入深度图经过大窗口的引导滤波和小窗口的引导滤波差别较大的地方，由于大窗口下引导滤波可以出现羽化效果，而小窗口的引导滤波仅起到平滑的作用，因此差别较大的区域可以认为是结构错误区域，标记为潜在结构错误区域，然后基于迭代重加权最小二乘算法构建权重，权重构建完成后进行整体求解并更新深度图，根据结果判断是否达到设定的迭代次数，如果达到则输出深度图结束计算，否则重新进行对结构错误区域探测。本发明能够抑制强噪声，并且能够修复深度图和彩色图结构错误区域，提高深度图和彩色图的一致性，恢复出正确的深度图边界，对提高合成视图的质量有重要的指导意义。

Description

一种基于引导滤波器的鲁棒深度图结构重建和去噪方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于引导滤波器的鲁棒深度图结构重建和去噪方法。

背景技术

随着深度传感器的问世及立体显示技术的快速发展，深度图成为近年来的研究热点。深度图的获取方式有主动式和被动式两种。主动式主要是由单个视点的可见光数据进行深度估计，或者由两个(或多个)视点的可见光数据进行立体匹配计算相应位置的视差，然后根据几何关系转化为深度图。随着深度学习在计算机视觉领域的成功应用，主动式得到的深度图准确度有了很大的提高。但是这类方法对可见光数据中的纹理信息要求较高，深度图结构区域精度低，尤其是在弱纹理区域难以计算出深度数据，导致数据缺失，在实际应用中有一定的局限性。被动式主要是指由深度传感物理器件直接获取深度图像，常用的深度传感器根据原理分为ToF(Time of Flight)和Structure Light(结构光)两类，ToF通过测量光脉冲之间的传输延迟时间来计算深度信息，实时性强。但是，ToF获取的深度图往往分辨率很低且存在随机噪声。结构光通过向测量空间发射红外线，再由红外摄像机记录空间中物体反射形成的散斑，通过计算得到深度图像，成本低廉。但是，结构光获取的深度图精度较低，尤其是在结构区域往往包含数据错误或者缺失，还包含有大量噪声。

由此可见，无论是主动方式还是被动方式获得的深度图质量都较低，尤其是在图像结构区域包含严重的失真。在实际三维视觉系统中，相关应用往往要求高质量的深度图数据，尤其是其几何结构要和同视点的可见光数据要严格一致。比如，在基于深度图像绘制的视图合成方法的3DTV系统中，它利用深度图像将对应的彩色图像经过一系列的三维变换和视图融合生成合成视点图像，因此合成图像质量的高低依赖于输入图像的质量，除了深度图像的噪声和空洞的影响外，深度图和彩色图的边缘的一致性也有较高的要求，否则会引起合成图像的裂纹和空洞，给后续合成图像的空洞填充带来负担。因此，如何重建深度图数据的几何结构和恢复出高质量的深度图在三维视觉系统开发中是一个亟待解决的难题。

目前主流的深度图修复技术主要是利用彩色图和深度图的信息来实现深度图的恢复，比如经典的三边滤波器和引导滤波器。现有一种彩色图引导深度图恢复的自回归模型，联合初始深度图的局部信息和彩色图的非局部信息构建回归系数，通过最小化自回归预测误差来实现对深度图的去噪和超分。还有针对自适应带宽的迭代重加权最小二乘算法，通过计算深度图的相对平滑度来确定带宽，同时每次在迭代中更新平滑项的权重，使得模型更加鲁棒。这两种经典算法都采用了彩色图来引导深度图实现恢复，其基本假设是深度图和彩色图的边界完全一致，然而在实际应用中这一假设很难成立，因此对于深度图和彩色图不一致的区域就会引起深度图边界模糊和纹理引入。现有提出了明确度量深度图和彩色图一致性的加权最小二乘的模型，通过提取深度图和彩色图的边缘，采用二分图匹配和图割优化，找到深度图边缘偏移量，以此来定义不一致性，在平滑项中由不一致性来平衡彩色图和深度图梯度对输出的影响。这个方法考虑到了深度图和彩色图不一致的影响，但边缘提取高度依赖于图像梯度，抗噪能力差，且一致性度量仅在边缘有效，无法实现不一致区域值的修复，适用范围有限。第四类是采用Gaussian 核函数提出了一种度量同视点可见光数据和深度图几何结构不一致性的模型，并实现了一种深度图结合结构重建的方法。但是，该方法不适用于包含强噪声的深度图。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于引导滤波器的鲁棒深度图结构重建和去噪方法，能够在严重噪声干扰和几何结构失真的情况下，实现对深度图的恢复。

本发明采用以下技术方案：

一种基于引导滤波器的鲁棒深度图结构重建和去噪方法，包括以下步骤：

S1、输入待修复的深度图、加噪的深度图和对应的彩色图，对潜在结构错误区域进行探测，利用Guided Filter对输入图不同的滤波结果得到差值，作为像素点的不一致量度；

S2、基于迭代重加权最小二乘算法构建权重；

S3、利用前一次迭代的结果计算此次迭代的权重和结构错误区域，并整体求解，求解完成后更新深度图；

S4、判断每次迭代的迭代次数是否达到初始化时指定的值，如果没有达到则转步骤S1，利用更新后的深度图计算结构错误区域和权重，直到迭代次数达到设定值，整个迭代过程结束，输出深度图。

具体的，步骤S1中，潜在结构错误区域为：对输入深度图先以小窗口进行引导滤波，得到预处理后的深度图，再用大半径的窗口对深度图进行引导滤波，引入彩色图的纹理信息，将两个结果的差值定义为潜在结构错误区域。

具体的，步骤S1中，在潜在结构错误区域分别对深度图和彩色图计算高斯权重，并用彩色图权重对深度图权重进行加权平均，作为深度值可信程度的度量值，位于i的像素点深度值的可信度

具体为：

其中，R＞＞r，guided(D,R)为用大半径的窗口对原始深度图进行引导滤波，guided(D,r) 代表用小半径的窗口对原始深度图进行引导滤波。

进一步的，对位于i的像素点深度值的可信度

进行二值化，计算位于i点的深度图和彩色图的一致性度量值

如下：

其中，

表示位于i点的深度图和彩色图的一致性度量值，1表示一致，0表示不一致； threshold是用户自定义的一个常量。

具体的，步骤S2具体为：基于迭代重加权最小二乘算法构建平滑项的权重，以输入深度图D⁰作为迭代初始条件，在迭代中不断更新深度图权重

深度值可信度

和一致性度量值

在每次迭代中实现去噪和结构错误区域值的修复，最终确定深度值可信度

和平滑项权重ωⁿ。

进一步的，在第n次迭代中，平滑项的权重

构造如下：

其中，

分别表示位于i、j的像素点深度值的可信程度，

为彩色图权重，

为深度图权重，i为第i个像素点，j为以像素点i为中心的邻域像素点。

具体的，步骤S3中，基于迭代重加权最小二乘算法进行求导得到线性解，利用前一次迭代的结果计算此次迭代的权重和结构错误区域，并整体求解，求解完成后更新深度图。

进一步的，求导得到线性解如下：

其中，n表示迭代次数，

表示第n+1次迭代i位置处的深度值，

表示位于i的像素点深度值的可信度，j表示以i为中心的像素邻域，

表示第n次迭代j位置处的深度值，

表示第n次迭代平滑项的权重，

表示初始输入的深度图在i处的值，α是平衡数据项和平滑项的常数，N(i)是以i为中心的矩形窗口。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于引导滤波器的鲁棒深度图结构重建和去噪方法，首先对结构错误区域进行探测，用深度图在不同大小窗口下通过引导滤波得到的滤波结果，得到差值较大的区域，标记为潜在结构错误区域，然后基于迭代重加权最小二乘算法构建权重，权重构建完成后进行整体求解并更新深度图，根据结果判断是否达到设定的迭代次数，如果达到则输出深度图结束计算，否则重新进行对结构错误区域探测，采用了迭代重加权最小二乘模型，在迭代中更新权重，因此对于阈值有很好的适应性，不同的阈值对输出结果影响并不十分明显，模型稳定且鲁棒性强。

进一步的，通过利用彩色图权重对深度图权重的加权平均来探测结构错误区域，从而分别采取不同的策略处理深度图像，确定深度图恢复的作用区域，改善深度图和彩色图的一致性。

进一步的，通过对深度值可信程度

的阈值化来控制数据项在整个模型中的作用，在结构错误区域将去掉数据项的约束，仅由平滑项来影响输出结果，减少错误的深度值对处理结果的影响。

进一步的，通过计算深度图权重、彩色图权重以及一致性度量来构建数据项和平滑项的权重，由一致性度量值来控制深度图权重和彩色图权重对输出的影响，从而实现结构错误区域深度图值的修复以及一致区域深度值的去噪。

进一步的，基于最小二乘的方法进行迭代计算，本发明抗噪能力强。在结构错误区域值的修复过程中，考量了深度值的可信程度，对于不可信的深度值依靠彩色图权重进行加权平均，能很好地保持深度图的边缘，避免了边界模糊。而对于可信的深度值依靠深度权重和彩色权重进行加权求解，能很好地抑制纹理引入。

进一步的，在数据项和平滑项中综合考虑了不一致性对输出的影响，可以对深度图中不一致的区域进行修复，提高二者的一致性。

综上所述，本发明不仅能够抑制强噪声，并且能够修复深度图和彩色图结构错误区域，提高深度图和彩色图的一致性，恢复出正确的深度图边界，对提高合成视图的质量有重要的指导意义。同时对于一致区域的去噪和保边能力强，采用成熟的迭代加权最小二乘模型，对参数的适应性强，提高了模型的鲁棒性。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的整体流程图；

图2为本发明的输入示意图，其中，(a)为彩色图，(b)为深度图；

图3为本发明检测的结构错误区域示意图，其中(a)为初始结构错误区域，(b)为迭代6次后检测的结构错误区域；

图4为本发明在无噪输入图上迭代6次的输出结果图；

图5为本发明使用的加噪深度图以及在强噪输入下的恢复结果图，其中，(a)为加噪深度图，(b)为最终结果图；

图6为本发明处理后的输出图像和用其他方法处理后的输出图像。其中，(a)为输入图像，(b)为使用联合双边滤波后的输出图像，(c)为使用加权最小二乘后的输出图像，(d)为使用引导滤波后的输出图像，(e)为使用本发明提出的方法后的输出图像，(f)为对应的彩色图。

具体实施方式

本发明提供了一种基于引导滤波器的鲁棒深度图结构重建和去噪方法，利用Guided filter 的特性，在不同大小窗口下滤波，输入图对引导图的拟合程度不同，将差异过大的区域标记为潜在结构错误区域，然后基于迭代重加权最小二乘算法构建权重，权重构建完成后进行整体求解并更新深度图，判断是否达到设定的迭代次数，如果达到则输出深度图结束计算，否则重新进行对结构错误区域探测。本方法能够去除大量噪声并减少图像边缘的模糊，能够针对深度图和彩色图的不一致进行恢复，提高二者的一致性，从而提高视点合成的质量。

请参阅图1，本发明一种基于引导滤波器的鲁棒深度图结构重建和去噪方法，包括以下步骤：

S1、结构错误区域探测

输入待修复的深度图如图2b，以及对应的彩色图如图2a所示。对输入深度图用Guided Filter分别在不同大小窗口下进行滤波，窗口较大时，深度图会引入大量纹理信息出现羽化效果，窗口较小时，深度图会保存原有的结构信息，两个滤波结果在结构错误区域存在很大差异，而在结构信息较少的地方几乎没有差异。为了避免噪声污染严重的恶劣情况边缘检测效果的影响，对输入深度图先以小窗口进行引导滤波，得到预处理后的深度图，再用大半径的窗口对深度图进行引导滤波，引入彩色图的纹理信息，将两个结果的差值定义为潜在结构错误区域。

在潜在结构错误区域分别对深度图和彩色图计算高斯权重，并用彩色图权重对深度图权重进行加权平均，作为深度值可信程度的度量值，如公式(1)所示：

其中，R>>r，

表示位于i的像素点深度值的可信度，越大表示对应像素点深度图和彩色图越一致，该点的深度值越可信；

为彩色图权重，

为深度图权重，k代表彩色图I的不同通道；C代表彩色图I的R、G、B三个通道，C＝{R,G,B}；N(i)是以i为中心的一个正方形窗口；j是以i为中心的邻域的像素，D_i是i位置的深度值，D_j表示以i为中心的邻域j处的深度值；

表示彩色图I的k通道位于点i处的像素值，

表示彩色图I的k通道位于点j处的像素值；σ_c和σ_d是常数。

在初次迭代中，

由输入图像计算，在此后的每次迭代中，将会用更新后的深度图计算，从而将会更新不一致性的度量值和结构错误区域。

对

阈值化：

其中，

表示位于i点的深度图和彩色图的一致性度量值，由

阈值化得到，取值只有0和1两个值，1表示一致，0表示不一致；threshold是用户自定义的一个常量。如图3所示，图3a为初次迭代中精确结构错误区域探测的结果，黑色表示结构错误区域，白色表示一致区域，此后的每次迭代将都重新计算

从而实现结构错误区域的精确查找。图3b是迭代6次后结构错误区域的探测结果。

S2、权重构建

本发明整体算法框架是基于迭代重加权最小二乘算法，如公式(5)所示：

公式(5)可以看做两部分，

表示数据项，

表示平滑项，此步骤用于计算数据项和平滑项的权重。

其中，

表示第n+1次迭代i位置处的深度值，

表示初始输入的深度图在i处的值，α是平衡数据项和平滑项的常数，

代表第n次迭代平滑项的权重。

相邻两次迭代之间的平滑项权重的改变很小，因此可以在第n+1迭代时，用第n次迭代的平滑项权重去近似第n+1次迭代的平滑项权重，平滑项权重除了考虑彩色权重和深度权重的影响，还考虑深度图和彩色图不一致带来的影响，因此平滑项的权重构造如公式(6)所示

其中，

分别表示位于i、j的像素点深度值的可信程度(如公式(1)所示)，

为彩色图权重(如公式(2)所示)，

为深度图权重(如公式(3)所示)，i为第i个像素点，j为以像素点i为中心的邻域像素点。

以输入D⁰作为迭代初始条件，计算深度图权重

(如公式(3)所示)，由输入的彩色图像计算彩色图权重

(如公式(2)所示)，然后计算深度值可信度

利用公式(6)构建平滑项权重，利用一致性度量值

计算数据项权重，然后利用公式(5)实现本次迭代的整体解算，本次迭代计算出来深度图将作为下次迭代的初始条件进行权重构建和计算。本步骤主要计算深度值可信度

和平滑项权重ωⁿ。

S3、整体求解及深度图更新

当权重构造完成，对公式(5)求导得到线性解，结果如公式(7)所示：

其中，n表示迭代次数，

表示第n+1次迭代i位置处的深度值，

表示位于i的像素点深度值的可信度，如公式(1)所示。j表示以i为中心的像素邻域，

表示第n次迭代j位置处的深度值，

表示第n次迭代平滑项的权重，

表示初始输入的深度图在i处的值，α是平衡数据项和平滑项的常数。

利用前一次迭代的结果计算此次迭代的权重和结构错误区域，并整体求解，求解完成后更新深度图，为下次迭代计算做准备。

S4、每次迭代都需要判断迭代次数是否达到初始化时指定的值，如果没有达到则转步骤 S1，利用更新后的深度图计算结构错误区域和权重，直到迭代次数达到设定值，整个迭代过程结束，输出深度图，如图4所示为最终的输出图像。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的主要作用体现在两个方面，首先是对深度图和彩色图结构错误区域值的修复情况。在结果图5a和5b的对比中可以看到原始不一致深度图与对应彩色图在很多结构区域无法匹配。图3是使用本发明的方法修复深度后的结果，可以看到彩色图和深度图的一致性得到了明显的改善，而且原始深度图中结构不明显的位置也恢复了出来。

其次是本发明方法对噪声的抑制情况。如图6所示，图6(a)是输入带强烈噪声的深度图，图6(d)是He K在论文“Guided Image Filtering”提出的引导滤波器作用于输入图像的输出结果，图6(c)是使用Min D在论文“Fast global image smoothing based onweighted least squares”中提出来的加权最小二乘得到的输出局部图，图6(b)是经典的”Joint Bilateral Filter”作用于深度图的输出图像。图6(e)是使用本发明得到的输出结果图。图6(f)是对应位置的彩色图像。通过和主流方法对比，可以明显看到，本发明的去噪能力在所列方法中是最强的，且不会由于深度图和彩色图的不一致引起的光晕现象，同时得到的深度图无论是平滑区还是边缘区噪声都得到了很好的消除，深度图的失真边界也得到了很好的修复。

综上所述，本发明方法能够有效去除平滑区和边缘区域的噪声，同时能够修复深度图与彩色图的结构错误区域，改善深度图的质量。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质 (包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/ 或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。