CN106998460A - 一种基于深度过渡和深度项整体变分的空洞填补算法 - Google Patents

Abstract

利用深度图的图像绘制是2D转3D中的一种普遍使用的算法，但是采用这种方法在绘制后的最终图像中会有空洞出现，造成不良的视觉效果。针对这个问题，本文提出一种基于深度过渡和深度项整体变分的空洞填补算法来填补空洞，可以得到高质量的目标图像。首先在预处理阶段对深度图进行滤波，然后对深度图的前后景边界深度进行过渡。这样可以减少前后景边界空洞的出现。对目标图像出现的小空洞点，使用带深度项的整体变分修复算法来进行处理。对于大空洞点一般都是边界连续出现的空洞点，这些空洞点不能使用变分修复，用参考图像相应位置的像素来填补。实验表明，本算法结果视觉效果优秀，有着较高的峰值信噪比。

Description

一种基于深度过渡和深度项整体变分的空洞填补算法

技术领域

本发明涉及3D显示技术领域，涉及前后景深度过渡和空洞填补技术，能够将目标图像进行高质量修复，并且有良好的视觉效果，具体为一种基于深度过渡和深度项整体变分的空洞填补算法。

背景技术

随着视频显示技术的不断发展，3D显示技术以其立体感、真实感、和交互性的特点已经成为下一代显示技术的基础。目前3D显示技术大多数都是利用视差原理来实现的，即分别提供给左眼以及右眼两幅不同的图像，来模拟平时观察者观察外界事物的特征，使观察者在适当的的角度观看画面时产生三维立体空间感。为了得到目标左右视图，普遍采用的方法是给定一幅原始图像然后利用3D绘制的方法进行获取。当下主要采用基于深度图像的绘制(Depth Image Based Rending,DIBR)的方法进行合成目标左右视图。

但是采用DIBR三维图像变换方法得到的目标视图往往存在空洞，导致视觉效果无法满足要求。所以需要对目标图像的空洞进行填补。而引起空洞的原因一般有两类。一种是参考图像的像素通过深度映射到目标图像后错位导致。另一种是物体的可见性变化引起的。如果处理不好则会导致3D效果差，并且引起视觉不适。所以填补的效果将决定3D图像的质量。

传统的填补方法是插值算法，就是插值相邻像素值来填补空洞点。这种方法简单易行，但是填补效果不是很理想。Criminisi修复算法则是典型的寻找匹配块来填补空洞区域的算法，它通过寻找置信度最大的块来修复空洞。但是这种算法耗时长。Fehn提出用高斯滤波器平滑深度图以消除合成后目标图像中较大的空洞或使空洞变小。后来很多算法在滤波器选择和滤波区域方面对此进行了改进。近来比较流行的是通过时间信息与位置信息来综合考虑填补空洞，或者是综合考虑深度信息和时空信息来修复。相对传统算法有着较好的填补效果，但是这类算法往往很复杂耗时长，难以硬件实现。

鉴于以上对于各种不同空洞填补方法优点以及局限性的描述，希望这样一种空洞填补算法，具有以下特点：在对深度图像进行预处理的时候能够减少以至消除深度值变化比较剧烈的地方，则经过3D绘制后得到的目标视图上空洞点数量较少且分散，同时保证目标视图的质量不会降低；在空洞填补的时候，先对空洞点进行判断，对于非边界的小空洞点和边界的大空洞点分开填补，以保证填补的效果。

发明内容

本发明的目的在于提供一种基于深度过渡和深度项整体变分的空洞填补算法，这种算法可以高质量的修复目标图像。

为达前述目的，本发明采用的技术方案是：

一种基于深度过渡和深度项整体变分的空洞填补算法，参见图1，其特征在于，按如下步骤进行：

步骤A：输入原始图像，获取深度图，并将该原始图像作为参考图像；

由基于相对高度的深度图方法获取参考图像(输入图像)相应的深度图；深度图包括前景、后景；前景与后景之间的边界称为前后景临界处；

进一步说，图片的前景是指图片中视觉上离我们近的区域，后景类似于背景区域；前后景临界处就是它们的边界；

随后进入下一步骤；

步骤B：对由步骤A获得的深度图处理，首先进行双边滤波，获得滤波后的深度图，滤波后的深度图更加平滑，这样可以减少由参考图像和深度图由于DIBR算法合成目标图像时的空洞的出现。利用DIBR算法合成目标图像是指通过深度图和输入图像获得左右视图，再通过左右视图合成3D图像。

进一步说，在进行DIBR合成前，先对滤波后的深度图前后景临界处边界进行深度梯度过渡，深度过渡可见说明图6；

随后进入下一步骤；

步骤C：利用带深度项的整体变分法先修复合成的目标图像中的小空洞，这种方法是在整体变分法基础上加入深度项，这样可以使合成的目标图像的效果更好，以左视图为例；

随后进入下一步骤；

步骤D：然后对边界大空洞用参考图像相应位置像素来填补目标图像，以左视图为例；

步骤E：对前后景边界的相邻像素进行权值合成，获得目标图像并输出。权值范围在0.8～1.1间；进行DIBR合成目标图像时对前后景边界相邻像素分配不同大小的权值来合成，并且权值是自适应的，这里以左视图为例。

参见图2，进一步说，在步骤B中对深度图的具体处理步骤如下：

步骤B1：双边滤波：对步骤A获得的深度图后，对深度图进行双边滤波；

所述的双边滤波是一种可以保边界去噪声的滤波器；该滤波器的去噪效果是由两个函数构成，一个函数是由几何空间距离决定滤波器系数。另一个由像素差值决定滤波器系数。完整的双边滤波器表达式如下：

S_x,y表示式中心点在位置(x,y)的(2N+1)·(2N+1)的领域，N是整数。g(i,j)是处理前的图像，f(x,y)是滤波后的图像；w(i,j)是权重系数，它由两部分的乘积组成，w_r(i,j)是值域滤波系数，w_s(i,j)是空域滤波系数：

w(i,j)＝w_s(i,j)·w_r(i,j)

σ_s是空间邻近度因子，σ_r是亮度相似度因子，对于给定图像它们是定值。

步骤B2：获取前后景边界；

根据深度值的差Dep(i,j)-Dep(i,j-1)≥d₀，其中Dep(i,j)是深度图中像素点(i,j)的深度值，通过相邻像素点深度差值确定前后景边界，其中d₀是人为设定的阈值，d₀小于10；

步骤B3：人工调节前后景边界：由人工调整并通过设定阈值在10内不同值来确定选定合理的前后景边界；

步骤B4：进行前后景边界深度过度；

利用公式Dep(i,j-k)＝[Dep(i,j-k-1)+Dep(i,j)]/2对前后景边界进行深度梯度过渡，并判断过渡后是否满足Dep(i,j-k)-Dep(i,j-k-1)≤a的条件，a是人为设定的阈值，a的取值小于3，其中k为过渡步数，k取值为5。

步骤B5：将滤波后的深度图和步骤A中的参考图像进行DIBR合成，获得目标图像；该图像存在小空洞、边界大空洞和前后景边界。

参见图3，进一步说，所述步骤C的具体步骤如下：

步骤C1：利用能量函数公式最小化原则来处理小空洞；

其中D是一幅图像的空洞区域，E是这幅图像中除空洞区域外的区域；u是修复的像素值，▽u是u的梯度，▽d_ep是深度的梯度值，也就是加入的深度项，u0是初始像素值，就是图像未处理前的像素值。

步骤C2：由于图像在计算机里的形式图像其实是矩阵，所以将能量函数公式转化为欧拉公式形式其中m为：

λ是拉格朗日算子，▽是梯度运算。

步骤C3：通过采用高斯-雅克比迭代算法的迭代处理来得到修复后像素值为u_p是空洞点的上下左右四个领域像素点；这里权系数为权系数中的w_p是权值，由公式确定；β是常数因子，是为了防止迭代时作为分母的w_p为0；n是迭代的次数，▽d_ep是加入的深度项。

参见图3，进一步说，步骤D中处理边界大空洞区域的具体方法如下：

在步骤C中，使用带深度项的整体变分算法的修复小空洞后，在边界处任然会留下空洞，这是带深度项的整体变分算法无法修复的。这部分剩下的空洞就是大空洞，大空洞呈现连续大面积的空洞现象。使用参考图像相应位置的像素点来填充

大空洞填充表达式：Des(i,j)＝Img(i,j)，这里Img(i,j)是原输入图像的像素，Des(i,j)是要填充的目标图像。

参见图3，进一步说步骤E是为了减少目标图像前后景边界模糊情况；因为在进行DIBR合成的时候，深度过渡后在边界出现的是前后景像素点的混合。如果给它们一样的权值来合成目标图像会导致边界的模糊。所以使用不同的权值来处理这部分，权值范围在0.8～1.1间。并且权值自适应。

其中w[i,j]为位置[i,j]处的权值。

其中F是焦距，B是基线长度，F和B都是摄像机参数；Dep[i,j]为深度值。a、b、c如下：

D_max、D_min、D_center分别是D[i,j]的最大值、最小值和中间值。合成时：

I_f[i,j]＝w[i,j]·I[i,j]

其中I[i,j]是目标图像的像素值(以左视图为例)，I_f[i,j]是通过权值自适应后的目标图像的像素值。

有益的技术效果

本发明对深度图像进行预处理，能够减少乃至消除目标图像中深度值变化比较剧烈的区域，经过本发明方法所实现的3D绘制，得到的目标图像上空洞点数量较少且分散，进而保证了目标图像的质量不会降低；与此同时，本发明在进行空洞填补的时候，先对空洞点进行判断，对于非边界的小空洞点和边界的大空洞点分开填补，以保证填补的效果。本发明方法具有3D效果好，不易引起视觉不适，合成出的3D图像的质量高的优点。

附图说明

图1为本发明所提供的空洞填补方法的总流程图。

图2为本发明中所采用的深度图预处理算法流程图。

图3为本发明所提供的空洞填补方法的具体流程图。

图4为本发明针对不同场景处理的效果图，由上到下依次是原始图、深度图、空洞图、最终结果为填补好的左视图。

图5为大空洞与小空洞说明图。

图6为深度过渡说明图。

具体实施方法

为了使本发明实施方式的目的、技术方案和优点表达的更加清楚，下面结合附图和具体实施案例对本发明再作进一步详细说明。

实施例

本发明空洞填补算法是分步骤进行的，首先是对深度图进行预处理，这里采用双边滤波处理算法。然后找出深度图中需要过渡的前后景边界，并对这个边界进行深度梯度逐步过渡以减少边界的空洞。之后利用带深度项的整体变分算法对合成的目标图像中的小空洞进行修复。然后再对边界大空洞进行处理。最后采取自适应的方法给边界合成赋予合适的权重。

图1为根据本发明实施方式的空洞填补算法的流程示意图。如图1所示的空洞填补算法包括如下步骤：

步骤S101输入参考图像来获取深度图；

步骤S102对深度图进行处理；

步骤S103小空洞填补；

步骤S104进行大空洞空洞填补；

步骤S105自适应处理；

最后目标图像输出。

首先，在步骤S102中，需要对深度图进行双边滤波和前后景深度梯度过渡，结合流程图2具体历程如下：

步骤S1021输入深度图；

步骤S1022对输入的深度图进行双边滤波。双边滤波器是一种可以保留边界去噪声的滤波器。之所以可以达到此去噪效果，是因为滤波器是由两个函数构成。一个函数是由几何空间距离决定滤波器系数，另一个由像素差值决定滤波器系数。完整滤波器表达式如下：

S_x,y表示中心点在位置(x,y)的(2N+1)·(2N+1)的领域，N是整数。g(i,j)是处理前的图像，f(x,y)是滤波后的图像。w(i,j)是权重系数，它由两部分的乘积组成，w_r(i,j)是值域滤波系数，w_s(i,j)是空域滤波系数：

w(i,j)＝w_s(i,j)·w_r(i,j)

σ_s是空间邻近度因子，σ_r是亮度相似度因子，对于给定图像它们是定值。

步骤S1023根据深度值的差Dep(i,j)-Dep(i,j-1)≥d₀来确定前后景边界；其中Dep(i,j)是深度图中像素点(i,j)的深度值，通过相邻像素点深度差值确定前后景边界，其中d₀是人为设定的阈值，设定它小于10；

步骤S1024通过调整阈值d₀来确定合理的前后景边界，为后面的前后景深度边界的梯度过渡做准备；

步骤S1025利用公式Dep(i,j-k)＝[Dep(i,j-k-1)+Dep(i,j)]/2对前后景边界进行深度梯度过渡，并判断过渡后是否满足Dep(i,j-k)-Dep(i,j-k-1)≤a的条件，a是人为设定的阈值，这里它小于3，其中k为过渡步数，不妨让k为5；

步骤S1026输出处理完毕的深度图。

然后在步骤DIBR合成目标图像，需要填补及自适应处理，结合流程图3具体历程如下：

首先输入参考图像和处理好的深度图；

步骤S1032对输入的参考图像和深度图进行DIBR合成左视图；

步骤S1033区分目标图像中的小空洞与大空洞；

步骤S1034进行空洞填补；

填补小空洞时，其中是运用到高斯-雅克比迭代方法迭代处理后得到修复后的像素值。这种算法的原理是基于整体变分法能量函数最小原则下的方法，即的公式。其中D是空洞区域，E是D的邻域，u是修复的像素值，▽u是u的梯度，▽d_ep是深度的梯度值，u0是初始像素值。在计算的过程中由于图像像素点是矩阵的形式，所以还需要对公式近似处理。用欧拉公式来近似处理原先的能量函数成为的形式。根据像素的梯度关系将欧拉公式转换为其中E、W、N、S为空洞点的四个方向的相邻点，e、w、n、s是他们之间半像素点。

步骤S1035用来是处理边界大空洞点，主要是由于大空洞点用带深度项的整体变分法无法全部修复。因为边界处的图像一般都是背景信息，或者所包含的前景目标很少，所以使用参考图像相应位置的像素进行填补，即Des(i,j)＝Img(i,j)。

步骤S1036处理完空洞后在进行DIBR合成时，为了得到更加清晰的前后景边界，对边界合成进行自适应处理。利用权值来处理。其中各个元素含义如下：

其中F是焦距，B是基线长度，F和B都是摄像机参数。Dep[i,j]为深度值。a、b、c定义如下：

D_max、D_min、D_center分别是D[i,j]的最大值、最小值和中间值。最终得到的处理结果为I_f[i,j]＝w[i,j]·I[i,j]。其中I[i,j]是目标图像的像素值(以左视图为例)，I_f[i,j]是通过权值自适应后的目标图像的像素值。

步骤S1037输出最终的目标图像。

为了验证本发明对图像空洞填补的质量，采用峰值信噪比PSNR来进行衡量。PSNR越大表示失真越小。

PSNR＝10·log(255²/MSE)

MSE是原图像与处理图像的均方误差。

其中I(i,j)是原图像，K(i,j)是处理图像。通过对90帧的“ballet”视频序列的填补处理的平均峰值信噪比与其它方法的对比结果见表1。

表1

图4为本发明针对4组场景处理的效果图，每一组为一列，每列由上到下依次是原始图、深度图、空洞图、填补好的目标视图(图中为构成3D图像的左视图)。图5为将图4中第2列所示场景放大后的大空洞与小空洞示意图。图6为深度过渡的示意图。补充的说，是采用本发明方法分别对左右图进行处理。

Claims (5)

1.一种基于深度过渡和深度项整体变分的空洞填补算法，其特征在于，按如下步骤进行：

步骤A：输入原始图像，获取深度图，并将该原始图像作为参考图像；由基于相对高度的深度图方法获取参考图像相应的深度图；深度图包括前景、后景；前景与后景之间的边界称为前后景临界处；随后进入下一步骤；

步骤B：对由步骤A获得的深度图处理，首先进行双边滤波，获得滤波后的深度图，滤波后的深度图更加平滑，并减少由参考图像和深度图由于DIBR算法合成目标图像时的空洞的出现；随后进入下一步骤；

步骤C：利用带深度项的整体变分法先修复合成的目标图像中的小空洞，这种方法是在整体变分法基础上加入深度项，这样可以使合成的目标图像的效果更好；随后进入下一步骤；

步骤D：然后对边界的大空洞用参考图像相应位置像素来填补目标图像；

步骤E：对前后景边界的相邻像素进行权值合成，获得目标图像并输出。

2.根据权利要求1所述的一种基于深度过渡和深度项整体变分的空洞填补算法，其特征在于，所述步骤B对深度图处理的具体步骤如下：

步骤B1：双边滤波：对步骤A获得的深度图进行双边滤波；

所述的双边滤波是一种可以保边界去噪声的滤波器；该滤波器的去噪效果是由两个函数构成，一个函数是由几何空间距离决定滤波器系数；另一个由像素差值决定滤波器系数。完整的双边滤波器表达式如下：

$f(x,y)=\frac{\underset{(i,j)\∈Sx,y}{\Σ}w(i,j)\·g(i,j)}{\underset{(i,j)\∈Sx,y}{\Σ}w(i,j)}$

S_x,y表示式中心点在位置(x,y)的(2N+1)·(2N+1)的领域，N是整数；g(i,j)是处理前的图像，f(x,y)是滤波后的图像；w(i,j)是权重系数，它由两部分的乘积组成，w_r(i,j)是值域滤波系数，w_s(i,j)是空域滤波系数：

w(i,j)＝w_s(i,j)·w_r(i,j)

$w_r(i,j)=\exp (-\frac{|g(i,j)-g(x,y){|}^2}{2{{\mathrm{\σ}}^2}_r})$

$w_s(i,j)=\exp (-\frac{{(i-x)}^2+{(j-y)}^2}{2{{\mathrm{\σ}}^2}_s})$

σ_s是空间邻近度因子，σ_r是亮度相似度因子，对于给定图像它们是定值；

步骤B2：获取前后景边界；

根据深度值的差Dep(i,j)-Dep(i,j-1)≥d₀，其中Dep(i,j)是深度图中像素点(i,j)的深度值，通过相邻像素点深度差值确定前后景边界，其中d₀是人为设定的阈值，d₀小于10；

步骤B3：人工调节前后景边界：由人工调整并通过设定阈值在10内不同值来确定选定合理的前后景边界；

步骤B4：进行前后景边界深度过度；

利用公式Dep(i,j-k)＝[Dep(i,j-k-1)+Dep(i,j)]/2对前后景边界进行深度梯度过渡，并判断过渡后是否满足Dep(i,j-k)-Dep(i,j-k-1)≤a的条件，a是人为设定的阈值，a的取值小于3，其中k为过渡步数，k取值为5；

步骤B5：将滤波后的深度图和步骤A中的参考图像进行DIBR合成，获得目标图像；该图像存在小空洞、边界大空洞和前后景边界。

3.根据权利要求1所述的一种基于深度过渡和深度项整体变分的空洞填补算法，其特征在于，所述步骤C的具体步骤如下：

步骤C1：利用能量函数公式最小化原则来处理小空洞；

其中D是一幅图像的空洞区域，E是这幅图像中除空洞区域外的区域；u是修复的像素值，是u的梯度，是深度的梯度值，也就是加入的深度项，u0是初始像素值，就是图像未处理前的像素值；

步骤C2：由于图像在计算机里的形式其实是矩阵，所以将能量函数公式转化为欧拉公式形式其中m为：

$m=\left\{\begin{array}{c}\mathrm{\λ},(x,y)\⋐E\\ 0,(x,y)\⋐D\end{array}\right.$

λ是拉格朗日算子，是梯度运算；

步骤C3：通过采用高斯-雅克比迭代算法的迭代处理来得到修复后像素值为u_p是空洞点的上下左右四个领域像素点；这里权系数为权系数中的w_p是权值，由公式确定；_β是常数因子，是为了防止迭代时作为分母的w_p为0；n是迭代的次数，是加入的深度项。

4.根据权利要求1所述的一种基于深度过渡和深度项整体变分的空洞填补算法，其特征在于，其中步骤D处理的是边界大空洞区域；因为使用带深度项的整体变分算法修复小空洞后，在边界处仍然会留下大空洞，这是带深度项的整体变分算法无法修复的；大空洞呈现连续大面积的空洞现象；这里使用参考图像相应位置的像素点来填充；

大空洞填充表达式为：Des(i,j)＝Img(i,j)，这里Img(i,j)是原输入图像的像素，Des(i,j)是要填充的目标图像。

5.根据权利要求1所述的一种基于深度过渡和深度项整体变分的空洞填补算法，其特征在于，其中步骤E是为了减少目标图像前后景边界模糊情况；因为在进行DIBR合成的时候，深度过渡后在边界出现的是前后景像素点的混合；如果给它们一样的权值来合成目标图像会导致边界的模糊；所以给边界相邻像素分配不同大小的权值来处理这部分，权值范围在0.8～1.1间，并且权值自适应；

$w\[i,j\]=\frac{a}{b}(1-\exp (-\left|\frac{D_{max}+c}{D\[i,j\]}\right|\left)\right)$

其中w[i,j]为位置[i,j]处的权值，定义参数D[i,j]：

$D\[i,j\]=\frac{F\·B}{Dep\[i,j\]}$

其中F是摄像头焦距，B是基线长度，F和B都是摄像机参数。Dep[i,j]为深度值，和步骤B中深度图深度一致；a、b、c定义如下：

$a=\frac{5}{3}{D}_{center}+D_{\min }$

$b=\frac{4}{3}{D}_{center}+D_{\min }$

$c=\frac{2}{3}{D}_{center}+D_{\min }$

D_max、D_min、D_center分别是D[i,j]的最大值、最小值和中间值。合成时：

I_f[i,j]＝w[i,j]·I[i,j]

其中I[i,j]是目标图像的像素值，I_f[i,j]是通过权值自适应后的目标图像的像素值。