CN102307312B - 一种对dibr技术生成的目标图像进行空洞填充的方法 - Google Patents

Abstract

本发明公开了一种对DIBR技术生成的目标图像进行空洞填充的方法，通过按行遍历视差图，检测较大空洞；然后利用深度值区分空洞边缘区域的前景像素点和背景像素点，确定匹配误差区域，对较大空洞进行膨胀，以去除较大空洞边缘存在匹配误差的像素点；最后从参考图像中复制对应的目标图像中需要填充的空洞区域，即背景像素点到目标图像中需要填充的空洞区域，完成空洞填充。本发明不需要预处理深度图像，最大限度地保证了较大空洞区域的真实性，得到高质量的目标图像。此外，没有复杂的运算操作，便于硬件的实现。同时，利用深度值区分前景和背景，确定匹配误差区域，通过膨胀空洞的边缘以消除/减少匹配误差区域，实现了匹配误差进行校正。

Description

一种对DIBR技术生成的目标图像进行空洞填充的方法

技术领域

本发明属于3D电视系统中的基于深度图像绘制（Depth-Image-BasedRendering,简称DIBR）技术领域，更为具体地讲，涉及一种对DIBR技术生成的目标图像进行空洞填充的方法。

背景技术

基于深度图像绘制技术是根据参考图像（reference image）及其对应的深度图像（depth image）来生成一幅新的虚拟视点图像，即目标图像（destinationimage）。与利用左右两路平面视频合成三维影像即传统三维视频格式相比，采用DIBR技术之后仅需要传递一路视频及其深度图像序列就可合成三维影像，而且可以很方便的实现二维和三维的切换，同时避免了由传统视图生成方法所带来的三维空间变换的计算复杂性。正因为如此，DIBR技术在3D电视合成三维影像中得到了广泛应用，它也引起了人们愈来愈浓厚的兴趣。

DIBR技术的核心步骤是三维图像变换(3d image warping)。三维图像变换能够将参考图像中的点投影到三维空间，再将三维空间中的点重投影到目标图像平面上，从而生成新视点视图，即目标图像。

三维图像变换的公式如式（1）所示：

$\left\{\begin{array}{c}{u}_{\mathrm{des}}-u_{\mathrm{ref}}={(-1)}^{\mathrm{\α}}[2h-\frac{f\·s_x\·B}{z_w}]\\ v_{\mathrm{des}}=v_{\mathrm{ref}}\end{array}\right.---\left(1\right)$

其中，(u_ref,v_ref),(u_des,v_des)分别表示参考图像上的点和其在目标图像上对应的匹配点，h表示由传感变换摄像机（shift-sensor camera）设置零视差平面(ZPS plane)时所做的水平位移，f表示图像焦距，s_x表示了由图像物理坐标系向图像像素坐标系转换时在x轴方向上每单位物理长度对应的像素的个数，B表示基线长度，z_w表示像素点(u_ref,v_ref)对应的深度值，为参考图像对应的摄像机坐标系中的值，布尔型变量α定义如下：如果目标图像位于参考图像右侧，α=0；如果目标图像位于参考图像左侧，α=1。式（1）中的参数均为非负数。h的单位为像素，f和B的单位为mm，s_x的单位通常为“像素/mm”。

从式（1）中，我们可以得出参考图像和目标图像的匹配点的位置仅在水平方向有差异，设置好f、s_x、B之后，对于相同的h，目标图像匹配点平移的距离与z_w有关——z_w越大，平移的距离越少。当相邻像素点的z_w有较大的差别时，平移的距离会有较大差异。由于图像前景的深度值要小于背景的深度值，这种差异通常比较大，因而在目标图像中前景和后景的边缘处就会产生较大的空洞。如果α=0，则目标图像为右视图，较大空洞将出现在前景边缘的右边，这是因为对于摄像机平移的情况，这种情况下相当于摄像机向右平移，相当于目标图像中前景物体和背景向左移，由于前景平移量大于背景平移量，从而前景边缘的右边就会留下空洞；同理，如果α=1，则目标图像为左视图，较大空洞将出现在前景边缘的左边。

同时，由于通常深度图像中前景物体的轮廓比参考图像中前景物体的轮廓要小，即深度图像中前景物体的外围往往被设置成了背景物体的深度值，因而有可能通过三维图像变换后，前景物体边缘的一些点平移的距离与相邻的背景像素点平移的距离一致，在较大空洞的边缘将会不准确，即有前景中的像素点存在，我们称之为匹配误差（Matching error)。

1、空洞的填充

空洞问题是最主要也是最难解决的问题，它严重影响了新视图，即目标图像的质量，因此需要对其进行填充，较少其对目标图像的影响。空洞填充问题引起了很多研究人员的关注，相应的也有了很多的解决方案。根据它们的技术特点，主要可以分成三类：

（1）、预处理阶段

通过滤波来平滑深度图像以减少深度值的不连续性，达到缩减空洞的目的。如：用简单的中值滤波器来平滑深度图像，但这样会使边缘变粗。Fehn提出用高斯滤波器（Gaussian filter）平滑深度图像，以消除合成的新视图中较大空洞或者使之变小（参见Fehn,C.Depth-image-based rendering(DIBR),compression andtransmission for a new approach on3D-TV.in Stereoscopic Displays and VirtualReality Systems XI,January19,2004-January21,2004.2004.San Jose,CA,Unitedstates:SPIE.p.93-104）。之后Chen等人在滤波器的选择以及滤波的区域方面做了改进，采用边缘依赖深度滤波器(edge dependent depth filter)，先检测深度图像中可能会出现空洞的边缘，再在水平方向上对其平滑（参见Chen,W.-Y.,Y.-L.Chang,S.-F.Lin,L.-F.Ding,L.-G.Chen.Efficient depth image based rendering with edgedependent depth filter and interpolation.in Proceedings of IEEE InternationalConference,Multimedia and Expo.2005.Amsterdam,Netherland:Institute ofElectrical and Electronics Engineers Computer Society.p.1314-1317）。这几种方法都使背景中的垂直边缘产生几何扭曲（geometric distortion）。

Zhang等人提出采非对称高斯滤波器（asymmetric Gaussian filter），来减弱背景中垂直纹理信息产生的几何扭曲现象（参见Zhang,L.,W.J.Tam.StereoscopicImage Generation Based on Depth Images for3D TV.IEEE TRANSACTIONS ONBROADCASTING,2005.51(2):p.191-199.）。Wang等人则提出采用非对称边缘自适应滤波器(asymmetric edge adaptive filter(AEAF))对深度图像进行预处理，其核心思想来自双边滤波(bilateral filter)。该方法通过运动估计，计算当前帧和参考帧的对应点的亮度差异，来设置掩模系数。掩模在水平方向和垂直方向的系数是不同，需要迭代多次才能得到这些系数（参见Wang,L.-H.,X.-J.Huang,M.Xi,D.-X.Li,M.Zhang.An asymmetric edge adaptive filter for depth generation andhole filling in3DTV.IEEE TRANSACTIONS ON BROADCASTING,2010.56(Compendex):p.425-431.）。这种方法太复杂，不利于硬件实现。

（2）、后处理阶段

简单的方法通常包括利用背景、纹理、相邻像素等对空洞进行填充；复杂的方法则是利用图像修复的方法。但这种方法会出现伪像素，产生的目标视图不自然。

（3）、利用多个视点的参考图像来绘制虚拟视点的视图

这种方法要求传输多幅图像，实现起来比较复杂。

一般来说预处理深度图像的方法，会降低整幅图像的质量，而图像修复和利用多个视点的参考图像来绘制虚拟视点的视图又太复杂，不利于硬件的实现。

2、匹配误差的校正

对于匹配误差的校正，一般采用：

（1）、平滑深度图像，扩充深度图像中前景物体的轮廓的方法。但该方法生成的目标图像往往存在明显的几何扭曲现象，图像质量欠佳。

（2）、适用于DIBR的匹配误差校正方法。但该方法硬件实现较为复杂。

发明内容

本发明的目的在于克服现有技术的不足，提供一种目标图像的图像质量较佳，又便于硬件实现的对DIBR技术生成的目标图像进行空洞填充的方法，并在进行空洞填充的同时将匹配误差进行校正。

为实现上述目的，本发明对DIBR技术生成的目标图像进行空洞填充的方法，其特征在于，包括以下步骤：

（1）、检测较大空洞

按行以从左到右的顺序遍历视差图，若连续出现阈值点数len_bighole个及其以上的空洞点，则认为此处是较大空洞，记录下该较大空洞的起点和终点；

（2）、膨胀较大空洞

区分目标图像是左视图还是右视图，如果是左视图，执行步骤a）；如图是右视图，执行步骤b）；

a）、首先区分较大空洞边缘区域是背景像素点还是前景像素点：以视差图中的较大空洞区域为中心，从左向右检测较大空洞右边缘非空洞点的视差值变化，当视差值在两相继的非空洞点处第一次出现跃变，并且跃变是从较小值跃变到较大值时，较大空洞右边缘区域为背景像素点，并记录下该较大视差值作为前景像素点视差值；当视差值在两相继的非空洞点处第一次出现跃变，并且跃变是从较大值跃变到较小值，或者视差值一致没有跃变时，较大空洞右边缘区域为前景像素点，并记录下第一个非空洞点的视差值作为前景像素点视差值；

然后膨胀空洞边缘：若较大空洞右边缘区域为背景像素点，则较大空洞左右边缘为匹配误差区域，需要进行膨胀，将较大空洞的起点横坐标减去l个像素点和终点横坐标加上l个像素点作为目标图像中需要填充的空洞的起点和终点；若较大空洞右边缘区域为前景像素点，则较大空洞的左边缘为匹配误差区域，只膨胀较大空洞的左边缘，将较大空洞的起点横坐标减去l个像素点和终点维持不变作为目标图像中需要填充的空洞的起点和终点；

b）、首先区分较大空洞边缘区域是背景像素点还是前景像素点：以视差图中的较大空洞区域为中心，从右向左检测较大空洞左边缘非空洞点的视差值变化，当视差值在两相继的非空洞点处第一次出现跃变时，并且跃变是从较大值跃变到较小值时，较大空洞左边缘区域为背景像素点，并记录下该较小视差值作为前景像素点视差值；当视差值在两相继的非空洞点处第一次出现跃变，并且跃变是从较小值跃变到较大值，或者视差值一致没有跃变，较大空洞左边缘区域为前景像素点，并记录下第一个非空洞点的视差值作为前景像素点视差值；

然后膨胀较大空洞边缘：若较大空洞左边缘区域为背景像素点，则较大空洞左右边缘为匹配误差区域，需要进行膨胀，将较大空洞的起点横坐标减去l个像素点和终点横坐标加上l个像素点作为目标图像中需要填充的空洞的起点和终点；若较大空洞左边缘区域为前景像素点，则较大空洞的右边缘为匹配误差区域，只膨胀较大空洞的右边缘，将较大空洞的起点维持不变和终点横坐标加上l个像素点作为目标图像中需要填充的空洞的起点和终点；

在本步骤（2）中，膨胀的像素点个数l为误匹配像素点的个数，与深度图像估计的准确度有关，可根据生成的目标图像质量来调节，取值范围为0-7；

（3）、填充较大空洞

将目标图像中需要填充的空洞的起点、终点横坐标均减去前景像素点的视差值，得到需要在参考图像中复制的像素点区域，然后，从参考图像中复制该区域的像素点填充到目标图像中需要填充的空洞区域。

本发明的发明目的是这样实现的：

本发明通过按行遍历视差图，若连续len_bighole个或以上的像素点为空洞点，则认为此处存在较大空洞，并记录下该较大空洞的起点和终点；然后利用深度值区分空洞边缘区域的前景像素点和背景像素点，确定匹配误差区域，对较大空洞进行膨胀，以去除较大空洞边缘存在匹配误差的像素点，得到目标图像中需要填充的空洞的起点、终点以及对应前景像素点的视差值；最后从参考图像中复制对应的目标图像中需要填充的空洞区域，即背景像素点到目标图像中需要填充的空洞区域，完成空洞填充。

相对于传统的空洞填充方法，本发明不需要预处理深度图像，从而最大限度地保证了较大空洞区域的真实性，得到高质量的目标图像。此外，本发明只是将参考图像中对应的背景像素点复制到目标图像需要填充的空洞的起点、终点之间，没有复杂的运算操作，便于硬件的实现。同时，利用深度值区分前景和背景，确定匹配误差区域，通过膨胀空洞的边缘以消除/减少匹配误差区域，实现了匹配误差进行校正。

附图说明

图1是本发明中检测较大空洞的一具体实例示意图；

图2是本发明中膨胀较大空洞的一具体实例示意图；

图3是本发明中填充较大空洞的一具体实例示意图；

图4是本发明实例中的参考图像；

图5是本发明实例中合成的目标图像；

图6是本发明实例中经过较大空洞填充后的目标图像；

图7是本发明实例中经过较小空洞填充后的目标图像；

图8是现有技术用非对称高斯滤波处理合成的目标图像。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

1、检测较大空洞

在本实施中，如图1所示，按行以从左到右的顺序遍历视差图，若连续出现空洞点数大于等于阈值点数len_bighole，则认为此处是较大空洞，记录下该较大空洞的起点p₁和终点p₂；

视差图中的视差值为目标图像上的像素点与对应的参考图像上的像素点的横坐标之差，它反映了目标图像上像素点与参考图像上对应像素点的平移量；空洞点是由于没有像素点落在目标图像上造成的，对应的视差图中该点的视差值为一个定义的特殊值，在本实施例中，将视差图中空洞点的视差值定义为-128。因此，在检测较大空洞时，如果检测到某点的视差值为-128，即认为该点为空洞点。

2、膨胀较大空洞

在本实施例中，如图2所示，目标图像I_des为参考图像I_ref的右视图，且较大空洞左边缘区域为前景像素点，这样，较大空洞的右边缘为匹配误差区域，只膨胀较大空洞的右边缘，将较大空洞的起点p₁维持不变和终点p₂横坐标加上l个像素点作为目标图像I_des中需要填充的空洞的起点p_a和终点p_b。

在本实施例中，如图2所示，目标图像I_des为H_i行W_i列，其对应视差图第v行较大空洞的起点p₁坐标为(v,u)，较大空洞的空洞点数为num，则较大空洞的终点p₂坐标为(v,u+num-1)，目标图像中I_des(v,u-1)(0≤v<H_i)为前景像素点，I_des(v,u+num)为背景像素点。

在本实施例中，如图2所示，需要膨胀的像素点个数为l，较大空洞的起点p₁维持不变和终点p₂横坐标加上l个像素点作为目标图像I_des中需要填充的空洞的起点p_a和终点p_b，则目标图像I_des中需要填充的空洞的起点p_a和终点p_b的坐标别为(v,u)、(v,u+num-1+l)。

3、填充较大空洞

在本实施例中，如图3所示，从参考图像I_ref中复制对应区域的像素点填充到目标图像I_des中需要填充的空洞区域，即包括起点p_a和终点p_b在内需要填充的空洞区域。参考图像I_ref中复制对应区域的起点为I_ref(v,u-d)，终点为I_ref(v,u-d+num-1+l)，像素点个数为num+l，其中d为视差图中较大空洞左边缘区域的第一个非空洞点M(v,u-1)的视差值。

在本实施例中，只给出了目标图像I_des为参考图像I_ref的右视图，且较大空洞左边缘区域为前景像素点的实例，其他情形类似，在此不再赘述。

在三维图像变换过程中，会出现较小的空洞：第一种是物体在目标图像平面上的投影扩张而引起的小空洞；第二种是由可见性变换引起的小空洞。这两种小空洞都不需要膨胀，只是在视差图中，将这两种较小空洞的视差值d取为与较小空洞右边缘第一个非空洞点的视差值，然后，依据视差值，在参考图像中将对应像素点填充到该较小空洞中即可。

实例

在本实例中，采用“ballet”序列测试图及其附带的标定参数来进行实验，图像分辨率1024×768。以摄像机4捕获的第0帧作为左视图，即参考图像来合成右视图目标图像。摄像机4捕获的第0帧I₄如图4所示。

在本实例中，基线长度为0.65（以”ballet”序列测试图camera space中的长度单位计），虚拟摄像机的内部参数矩阵及旋转变换矩阵与摄像机4的相同，平移变换矩阵在水平方向相差0.65，由参考图像及对应深度图像经三维图像变换可得到右视图，即目标图像I₁，如图5所示。从图5中我们可以看出，在目标图像I₁中前景右侧产生了较大空洞。

设膨胀像素点个数l=3，对I₁执行本发明的方法，生成的新视图I₂如图6所示。从图6中可以看出，较大空洞右边缘的匹配误差区域明显减少，但并未完全消除，这主要是由于检测较大空洞时会忽略较大空洞右边缘中夹杂的较小空洞引起的。

作为改进，在本实施例中，三维图像变换过程中先将参考图像复制到目标图像，再进行三维图像变换，然后将得到的目标图像采用本发明步骤（1）～（3）的方法进行处理，则可消除图6中边缘部分的空洞。图7显示了这种通过拷贝参考图像来处理边缘方法得到的结果，即目标图像I₃，其较小空洞完全消除。

图8是现有技术用非对称高斯滤波处理合成的目标图像。

如图8所示，用非对称高斯滤波器预处理深度图后的空洞填充，其掩膜为（9*81），图8中前景，即教练的头部部分由明显的扭曲现象。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种对DIBR技术生成的目标图像进行空洞填充的方法，其特征在于，包括以下步骤：

（1）、检测较大空洞

按行以从左到右的顺序遍历视差图，若连续出现阈值点数len_bighole个及其以上的空洞点，则认为此处是较大空洞，记录下该较大空洞的起点和终点；

（2）、膨胀较大空洞

区分目标图像是左视图还是右视图，如果是左视图，执行步骤a）；如图是右视图，执行步骤b）；

a）、首先区分较大空洞边缘区域是背景像素点还是前景像素点：以视差图中的较大空洞区域为中心，从左向右检测较大空洞右边缘非空洞点的视差值变化，当视差值在两相继的非空洞点处第一次出现跃变，并且跃变是从小变到大时，较大空洞右边缘区域为背景像素点，并记录下该较大视差值作为前景像素点视差值；当视差值在两相继的非空洞点处第一次出现跃变，并且跃变是从大变到小，或者视差值一致没有跃变时，较大空洞右边缘区域为前景像素点，并记录下第一个非空洞点的视差值作为前景像素点视差值；

然后膨胀空洞边缘：若较大空洞右边缘区域为背景像素点，则较大空洞左右边缘为匹配误差区域，需要进行膨胀，将较大空洞的起点横坐标减去l个像素点和终点横坐标加上l个像素点作为目标图像中需要填充的空洞的起点和终点；若较大空洞右边缘区域为前景像素点，则较大空洞的左边缘为匹配误差区域，只膨胀较大空洞的左边缘，将较大空洞的起点横坐标减去l个像素点和终点维持不变作为目标图像中需要填充的空洞的起点和终点；

b）、首先区分较大空洞边缘区域是背景像素点还是前景像素点：以视差图中的较大空洞区域为中心，从右向左检测较大空洞左边缘非空洞点的视差值变化，当视差值在两相继的非空洞点处第一次出现跃变时，并且跃变是从大变到小时，较大空洞左边缘区域为背景像素点，并记录下该较小视差值作为前景像素点视差值；当视差值在两相继的非空洞点处第一次出现跃变，并且跃变是从小变到大，或者视差值一致没有跃变，较大空洞左边缘区域为前景像素点，并记录下第一个非空洞点的视差值作为前景像素点视差值；

然后膨胀较大空洞边缘：若较大空洞左边缘区域为背景像素点，则较大空洞左右边缘为匹配误差区域，需要进行膨胀，将较大空洞的起点横坐标减去l个像素点和终点横坐标加上l个像素点作为目标图像中需要填充的空洞的起点和终点；若较大空洞左边缘区域为前景像素点，则较大空洞的右边缘为匹配误差区域，只膨胀较大空洞的右边缘，将较大空洞的起点维持不变和终点横坐标加上l个像素点作为目标图像中需要填充的空洞的起点和终点；

在本步骤（2）中，膨胀的像素点个数l为误匹配像素点的个数，与深度图像估计的准确度有关，可根据生成的目标图像质量来调节，取值范围为0-7；

（3）、填充较大空洞

将目标图像中需要填充的空洞的起点、终点横坐标均减去前景像素点的视差值，得到需要在参考图像中复制的像素点区域，然后，从参考图像中复制该区域的像素点填充到目标图像中需要填充的空洞区域。

2.根据权利要求1所述的对DIBR技术生成的目标图像进行空洞填充的方法，其特征在于，还包括步骤（4）：在视差图中，将较小空洞的视差值d取为与较小空洞右边缘第一个非空洞点的视差值，然后，依据视差值，在参考图像中将对应像素点填充到该较小空洞中即可。

3.根据权利要求1所述的对DIBR技术生成的目标图像进行空洞填充的方法，其特征在于，在步骤（1）之前，在三维图像变换过程中先将参考图像复制到目标图像，再进行三维图像变换，然后将得到的目标图像采用步骤（1）～（3）的方法进行处理。

Images