CN104661014B

CN104661014B - 时空结合的空洞填充方法

Info

Publication number: CN104661014B
Application number: CN201510045450.7A
Authority: CN
Inventors: 刘然; 徐苗; 黄振伟; 邓泽坤; 曹东华; 贾瑞双; 李博乐
Original assignee: Chongqing University; Sichuan Hongwei Technology Co Ltd
Current assignee: Chongqing University; Sichuan Hongwei Technology Co Ltd
Priority date: 2015-01-29
Filing date: 2015-01-29
Publication date: 2016-09-28
Anticipated expiration: 2035-01-29
Also published as: CN104661014A

Abstract

本发明公开了一种时空结合的空洞填充方法，首先根据待填充的目标图像序列生成非空洞矩阵，然后对于待填充目标图像，选择得到填充图像源集合，遍历填充图像源集合中的每帧图像，扫描待填充目标图像和填充图像源图像对应的非空洞矩阵中每个像素点对应的元素，当满足条件时即将填充图像源图像中的像素点复制到待填充目标图像的对应空洞像素点，对于剩余空洞再采用图像修复算法进行填充。本发明采用时空结合的方式，从前后序列帧中获取可用背景信息进行填充，从而显著地提高了非空洞区域的真实性，得到高质量的填充结果图像。

Description

时空结合的空洞填充方法

技术领域

本发明属于三维图像技术领域，更为具体地讲，涉及一种时空结合的空洞填充方法。

背景技术

随着3D显示技术和3D电视系统的快速发展与普及，视图合成引擎(viewsynthesis engine)已成为3D电视中合成单视点或多视点视频的重要组成部分。目前视图合成引擎中普遍采用基于深度图像绘制(depth-image-based rendering,DIBR)算法。该算法根据参考图像(reference image)及其对应的深度图(depth map)(即基于深度图像的3D视频或者“V+D”(即一个视频及其对应的深度图像)序列)来生成任意视点视图(目标图像)。与传统的需要传递左右眼两路视频的3D视频相比，采用DIBR技术之后仅需要传送一路视频及其深度图就可生成立体图像(stereoscopic image)，而且可以很方便的实现二维和三维的切换。正因为如此，DIBR技术被广泛用于视图合成。然而，由于深度图中的深度值存在跃变，DIBR算法所生成的目标图像会出现较大的空洞。它严重降低了目标图像的质量。如何填充这些空洞是DIBR系统中面临的主要问题。

近年来已经提出了许多空洞填充方法。根据这些方法的技术特征，可以将它们分成3类：

(1)深度图预处理：这类方法采用平滑滤波器(smoothing filter)对深度图进行平滑，从而减少甚至完全移除空洞。用来减少/移除空洞的滤波器包括非对称高斯滤波器(asymmetric Gaussian filter)、方向高斯滤波器(Directional Gaussian filter,DGF)以及非对称边缘自适应滤波器(asymmetric edge adaptive filter,AEAF)等等。然而，这类方法存在的普遍问题是会引入几何畸变(geometric distortion)，造成目标图像质量降低。

(2)使用多视点视频：这类方法将2路或多路视频流(video stream)传输到接收端，从而使视图合成引擎能够利用多幅参考图像来合成一幅目标图像。尽管该方法能够得到高品质的图像质量，但是在目前的电视传输系统中却很难实现。例如，根据高清晰度多媒体接口(high-definition multimedia interface,HDMI)标准1.4版本，该接口仅传输一路视频及其深度图到接收端。因此这种情况下该方法无法使用。即使可获得多路视频，还是有一些难题待解决。例如，由于每一路视频流的光照条件有变化，合成的视图中有可能出现颜色不一致的现象。如何校正颜色的不一致对该方法来说是一个富有挑战的课题。又如，传输多路视频会导致巨大的带宽需求，也给实时处理带来了问题。

(3)利用空间信息填充空洞：这类方法通过在空间域中对像素进行采集来填充空洞。这些像素可能来自当前的参考图像或者目标图像。这类方法的一种典型代表就是图像修复(image inpainting)算法。但是，图像修复在多数情况下复杂度较高，并且对大空洞不稳定。上述空洞填充算法只利用了某一时刻的空间域(spatial domain)中的信息，获得的真实信息有限，所填充的像素也往往给人不自然的感觉。事实上，还可以利用视频序列信息(即时间域(temporal domain)中的信息)来进行空洞填充。这样即使只有一路视频，也有可能找到空洞所缺失的真实内容，达到较好的填充效果。然而目前的研究集中在利用时间域信息来维持所填区域的时间一致性(temporal consistency)，而不是空洞填充本身。

发明内容

本发明的目的在于克服现有技术的不足，提供一种时空结合的空洞填充方法，首先在图像序列中其他帧中搜索序列-暴露区域来进行空洞填充，剩余空洞再通过图像修复算法填充，提高空洞填充效果。

为实现上述发明目的，本发明时空结合的空洞填充方法包括以下步骤：

S1：对于采用DIBR算法进行三维变换得到的目标图像序列，根据每帧目标图像生成对应的非空洞矩阵，生成方法为：如果第t帧目标图像中像素点p(x,y)为空洞，非空洞矩阵对应的元素值置为预设的负值α，如果为非空洞点，对应元素值置为该像素点的深度值；

S2：对于待填充的第t₀帧目标图像选择第t₀-k₁帧目标图像至第t₀-1帧目标图像、第t₀+1帧目标图像至第t₀+k₂帧目标图像构成填充图像源集合，其中k₁、k₂为大于等于1的整数，根据实际情况设置；遍历填充图像源集合中的每帧图像i的取值范围为t₀-k₁≤i≤t₀-1或t₀+1≤i≤t₀+k₂，扫描目标图像和图像对应的非空洞矩阵中每个像素点对应的元素，如果且其中T为预设阈值，则将像素点复制至待填充目标图像中像素点处，修改否则不作任何操作；

S3：采用图像修复算法对目标图像中的剩余空洞进行填充。

本发明时空结合的空洞填充方法，首先根据待填充的目标图像序列生成非空洞矩阵，然后对于待填充目标图像，选择得到填充图像源集合，遍历填充图像源集合中的每帧图像，扫描待填充目标图像和填充图像源图像对应的非空洞矩阵中每个像素点对应的元素，当满足条件时即将填充图像源图像中的像素点复制到待填充目标图像的对应空洞像素点，对于剩余空洞再采用图像修复算法进行填充。

本发明采用填充图像源集合中的图像进行基于SDR的填充，利用视频序列时间域的一致性，而图像修复算法利用的空间域的一致性进行空洞填充，采用时空结合的方式，从前后序列帧中获取可用背景信息进行填充，从而显著地提高了非空洞区域的真实性，得到高质量的填充结果图像。实验表明，在前景物体有明显运动的情况下，有更多的场景信息暴露，采用本发明可以取得比较好的视觉效果。

附图说明

图1是本发明时空结合的空洞填充方法的具体实施方式流程图；

图2是去除匹配误差的效果示意图，其中图2(a)是经过三维变换后的目标图像及局部放大图，图2(b)是未经去除匹配误差采用本发明进行空洞填充后的目标图像及局部放大图，图2(c)是去除匹配误差后采用本发明进行空洞填充后的目标图像及局部放大图；

图3是不同遍历顺序下的填充结果对比图，其中图3(a)是顺序遍历的填充结果，图3(b)是倒序遍历的填充结果，图3(c)是从相邻帧开始交叉遍历的填充结果；

图4是阈值T在不同取值下的填充结果对比图；

图5是待填充目标图像1的填充结果对比图；

图6是待填充目标图像2的填充结果对比图；

图7是待填充目标图像3的填充结果对比图；

图8是待填充目标图像4的填充结果对比图；

图9是Ballet序列前20帧的三种算法PSNR对比曲线图；

图10是Breakdancers序列前20帧的三种算法PSNR对比曲线图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明时空结合的空洞填充方法的具体实施方式流程图。如图1所示，本发明时空结合的空洞填充方法包括以下步骤：

S101：生成目标图像的非空洞矩阵：

对于采用DIBR算法进行三维变换得到的目标图像序列，根据每帧目标图像生成对应的非空洞矩阵，生成方法为：如果第t帧目标图像中像素点p(x,y)为空洞，非空洞矩阵对应的元素值置为预设的负值α，如果为非空洞点，对应元素值置为该像素点的深度值。深度值的范围为0～255，因此空洞对应的值α是负值，本实施例中α＝-1。

S102：去除匹配误差：

由于深度图像中物体的轮廓往往是不精确的，通常前景物体的轮廓比由于深度图像中前景物体的轮廓比参考图像中前景物体的轮廓要小，即深度图像中前景物体的外围往往被设置成了背景物体的深度值，因而通过三维图像变换后，有可能出现前景物体边缘的一些像素点被投影远离前景而和背景像素点在一起的现象。对于右视图，在较大空洞的右边缘将会不准确(即有前景中的像素点存在，称之为匹配误差)，对于左视图，在较大空洞的左边缘将会不准确。因此可以首先采用膨胀空洞的方式对目标图像进行预处理，以去除匹配误差。

下面以目标图像为右视图为例，对膨胀空洞方法进行说明。首先，按行以从左到右的顺序遍历当前帧目标图像对应的非空洞矩阵检测空洞，即如果值为-1，则目标图像中相同位置的像素点为空洞像素点，记录空洞的终点和连续空洞像素点的个数。若连续空洞像素点数量大于预设阈值th_big_hole则认为此处是大空洞，本实施例中th_big_hole设置为3；否则为小空洞，不需要膨胀。其次，以空洞的左边缘为起点，从右向左检测空洞左边缘非空洞像素点的深度值变化，一直到图像最左端。由于前景像素的深度值将大于背景像素点的深度值，因此如果从空洞左边缘开始到图像左边缘检测过程中，如果两个相邻非空洞像素点的深度值从较小深度值跃变到较大深度值并且差值绝对值大于50，则认为该空洞左边缘区域为背景像素点，则两端都膨胀，如果深度值在两个相邻非空洞像素点处从较大的深度值跃变到较小的深度值并且差值绝对值大于50，则认为该空洞左边缘区域为前景像素点，则只膨胀空洞右端，其他情况不对该空洞进行膨胀。在处理图像边缘的空洞时，直接膨胀右边缘。本实施例中在膨胀空洞时所需膨胀的像素点个数n_dilation为4，在实际应用中可以根据需要设置。膨胀空洞的操作实际上就是改变非空洞矩阵对应像素点位置的值，把非空洞的值改为-1，即该点变为了空洞点。

图2是去除匹配误差的效果示意图。如图2所示，图2(a)是经过三维变换后的目标图像及局部放大图，图2(b)是未经去除匹配误差采用本发明进行空洞填充后的目标图像及局部放大图，图2(c)是去除匹配误差后采用本发明进行空洞填充后的目标图像及局部放大图。可以看出，去除匹配误差后再进行空洞填充的效果好于未经去除匹配误差进行空洞填充的效果。

S103：基于SDR的空洞填充：

本发明引入了序列-暴露区域(Sequence-disoccluded region，SDR)搜索算法来寻找真实的内容以填充空洞，序列-暴露区域是指在某些帧可见而在其它帧被遮挡的区域。

假设要进行空洞填充处理的当前帧目标图像为其对应的非空洞矩阵为选择第t₀-k₁帧目标图像至第t₀-1帧目标图像、第t₀+1帧目标图像至第t₀+k₂帧目标图像作为填充图像源集合，其中k₁、k₂根据实际情况设置。一般除了目标图像序列的前几帧和最后几帧目标图像，对于其余目标图像设置k₁＝k₂。遍历填充图像源集合中的每帧图像Iⁱ _S，i的取值范围为t₀-k₁≤i≤t₀-1或t₀+1≤i≤t₀+k₂，其对应的非空洞矩阵记为Mⁱ _S。从左到右按行扫描非空洞矩阵和对于两非空洞矩阵的每一个点p(x,y)，如果满足这两个条件，其中T为预设阈值，则将图像中的像素点复制到待填充目标图像中像素点处，修改否则不作任何操作。

基于SDR的空洞填充需要其他帧图像中出现待空洞填充目标图像中空洞处的背景信息，有可能存在一些相同的背景信息出现在多帧目标图中，由于一帧图像与其内容最为相似的是最邻近的帧的内容，因此在对填充图像源集合中的图像进行遍历时，遍历顺序也会影响最终的填充效果。本实施例中采用从相邻帧开始交叉遍历的方式，即遍历的第j帧图像的图像序号为其中，j≥1，表示向上取整，如果对应的图像不存在，则计算下一个图像序号。也就是说，遍历顺序为t₀-1、t₀+1、t₀-2、t₀+2、t₀-3、t₀+3……。

选取视频“Breakdancers”中的100张图像生成目标图像，对第50张目标图像进行填充。图3是不同遍历顺序下的填充结果对比图。如图3所示，图3(a)是顺序遍历的填充结果，图3(b)是倒序遍历的填充结果，图3(c)是从相邻帧开始交叉遍历的填充结果。可见，采用从相邻帧开始交叉遍历的方式得到的填充结果效果更好。

影响填充结果的另一个因素是阈值T的取值。阈值T用于区分前景和背景，即小于T的是背景像素点，才能用来进行空洞填充，否则就是前景像素点，不能用来进行空洞填充。图4是阈值T在不同取值下的填充结果对比图。如图4所示，采用视频“Ballet”和“Breakdancers”生成的目标图像在不同阈值T下进行空洞填充。如图4所示，以阈值T＝110的填充结果图像为参照，以方框标示出其他阈值下填充结果图像中的差别。经过采用多种视频序列进行实验得到，对于各种视频序列的平均图像质量，阈值T的取值范围在100至120之间，填充效果较好。

需要说明的是，采用基于SDR的空洞填充方法进行空洞填充时，目标图像序列中场景变化越小(即背景变化小)、前景运动幅度越大，填充效果越好。这是因为在这种情况下，暴露场景越多。以图4的图像序列“Ballet”填充结果为例，图中的女舞者由于运动幅度大，在目标图像序列中旁边的背景基本完全暴露出来，其填充效果较好，但基本处于静止的男舞者，旁边的大空洞基本没有填充，因为其它帧并没有把新场景暴露出来。而且基于SDR的空洞填充方法并不能把目标图像的空洞填充完整，例如边缘空洞，或者在整个目标图像序列都没有暴露的场景对应的空洞。对于剩下的空洞，采用图像修复算法进行空洞填充。

S104：图像修复算法填充剩余空洞：

经过步骤S103进行空洞填充之后，还会有一部分空洞剩余，比如边缘空洞等，采用图像修复算法进行目标图像的剩余空洞的填充。基于样本的图像修复算法可以利用空洞周围的信息来合成新的信息，修复较大空洞，使之更符合人类的视觉心理。现有技术中有多种图像修复算法，可以根据需要选用。本实施例中采用经典的Gautier’s图像修复算法，主要分为三步：选择待修补块，搜索匹配块以及填充待修补块。选择待修补块的目的在于沿着等照线(isophote)向空洞内部延伸，即包含强等照线的空洞块先被修复，从而获得连结线较好的纹理修复效果。Gautier’s图像修复算法中待修补块的选择是通过比较空洞边界点的优先级得到的。假设p点为空洞的边缘和修补块的中心，具体公式如下：

P(p)＝C(p)×D(p)

P(p)表示p点的优先级，C(p)表示p点的置信度，即中非空像素点所占的百分比，表示修补块。

沿着空洞边缘逐像素点计算边界点的优先级后，选取优先级最大的块作为待修补块通过纹理搜索寻找同该块最匹配的块来填充中的空洞，如

填充完后更新空洞的边缘，再一次计算优先级，选择待修补块，直到所有空洞都完全修复。这里要说明的是，本发明中图像修复算法采用的深度图是三维图像变换之后的生成的带有空洞的深度图，并不是Gautier’s图像修复算法中提到的用到的标准的不带空洞的深度图。Gautier’s图像修复算法可以参见“J.Gautier,O.Le Meur,C.Guillemot.Depth-based image completion for view synthesis.5th 3DTV Conference:The TrueVision-Capture,Transmission and Display of 3D Video,3DTV-CON 2011,May 16,2011-May 18,2011.2011.Antalya,Turkey:IEEE Computer Society.1-4.”

为了说明本发明的有益效果，分别采用“Ballet”、“Breakdancers”视频序列进行了实验，这两个序列都为100帧(000～099)，分别展示了在背景纹理丰富和背景纹理简单的情况。本实验的参考图像为摄像机5拍摄，经过三维图像变换生成摄像机4拍摄图像，在两个序列中分别选择了2幅(共计4幅)待填充目标图像来进行说明。为了评价算法的性能，在主观上，比较了背景纹理丰富及简单时的算法性能，在客观上则通过算法的时间复杂度和PSNR来衡量。此处选择了两种算法与本发明作比较，分别是DGF算法(详情参见H.Ying-Rung,T.Yu-Cheng,C.Tian-Sheuan.Stereoscopic images generation with directionalGaussian filter.Proceedings of 2010IEEE International Symposium on Circuitsand Systems(ISCAS).2010.2650-2653.)和Gautier’s图像修复算法，因为它们可以处理任意生成任意摄像机位置拍摄图像，比如摄像机的选择和焦距改变，并非只能处理平行的两视点。DGF滤波方法，利用边缘方向高斯滤波器反复滤波深度图中可能产生空洞的区域，选用的模板窗大小为31×11。DGF算法可以直接对比，Gautier’s图像修复算法不可以。为了对比结果的公平性，实现Gautier’s算法时，采用的深度图是生成的带有空洞的目标图像的深度图，并非摄像机4的标准深度图，选取的修复块的尺寸为17×15。

图5是待填充目标图像1的填充结果对比图。图6是待填充目标图像2的填充结果对比图。图7是待填充目标图像3的填充结果对比图。图8是待填充目标图像4的填充结果对比图。如图5至图8所示，为了更好地说明填充效果，在每幅待填充目标图像中，选择了3处或4处局部图像的放大图进行对比。从图5至图8可以看出，这三个算法都能填充完目标图像中所有的空洞。但DGF滤波算法生成的图像在背景区域有明显的扭曲现象，Gautier’s图像修复算法在空洞两边都是前景或前景较多而背景很少，而需要用背景来填充的情况下填充出的画面将不自然，且不能很好的保持图像中前景物体的边缘。采用本发明得到的填充结果图像的填充效果这前两种算法折中。总体而言，采用本发明得到的填充结果图像的填充效果要优于其他两种算法。

接下来采用基于人类视觉效果的PSNR(Peak Signal to Noise Ratio，峰值信噪比)将发明与另外两个算法进行比较。为减少误差，对仿真结果进行PSNR比较时，对每个序列前20帧目标图像进行填充。图9是Ballet序列前20帧的三种算法PSNR对比曲线图。图10是Breakdancers序列前20帧的三种算法PSNR对比曲线图。表1是两个序列前20帧的三种算法PSNR平均值。

算法	Ballet(20帧)	Breakdancers(20帧)
			本发明	30.82	30.65
Gautier’s	29.86	30.04
			DGF	28.91	28.01

表1

从图9、图10和表1可以看出，本发明在PSNR性能上要优于另外两种算法。

在算法时间复杂度方面也进行了对比，为减少误差，仿真时间采用的是运行每个序列前20帧所得的平均每帧所用时间，单位s。表2是三种算法的运行时间对比。

算法	Ballet(20帧)	Breakdancers(20帧)
			本发明	989	485
Gautier’s	885	405
			DGF	1129	650

表2

从表2可以看出，本发明的运行平均时间处于DGF方法和Gautier的图像修复算法的运行时间之间。虽然DGF方法没有对整幅深度图像进行滤波，但它需要对深度图中可能产生空洞的区域进行迭代滤波，这意味着最大空洞的长度越大，需要的平滑强度越大或是迭代次数越多，从而需要的处理时间更多。Gautier’s图像修复算法从确定待修补块到准找匹配块都需要很长时间，而且处理时间与匹配块、空洞的尺寸，以及空洞的形状和数目等都相关，需要较长的时间来填充完目标图像中的所有空洞。本发明的时间主要用于一个序列的序列-暴露区域即SDR的搜索，这与搜索的图像数据源集合中的图像数量关系很大，图像数据源集合中的图像越多，花费时间越长，此处采用的序列为000～099帧。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims

1.一种时空结合的空洞填充方法，其特征在于，包括以下步骤：

S2：对于待填充的第t₀帧目标图像选择第t₀-k₁帧目标图像至第t₀-1帧目标图像、第t₀+1帧目标图像至第t₀+k₂帧目标图像构成填充图像源集合，其中k₁、k₂为大于等于1的整数，根据实际情况设置；遍历填充图像源集合中的每帧图像i的取值范围为t₀-k₁≤i≤t₀-1或t₀+1≤i≤t₀+k₂，扫描目标图像和图像对应的非空洞矩阵中每个像素点对应的元素，如果且其中T为预设阈值，取值范围为100≤T≤120，则将像素点复制至待填充目标图像中像素点处，修改否则不作任何操作；

S3：采用图像修复算法对目标图像中的剩余空洞进行填充。

2.根据权利要求1所述的空洞填充方法，其特征在于，所述步骤S1中目标图像序列中的每帧图像，采用膨胀空洞的方法进行预处理。

3.根据权利要求1所述的空洞填充方法，其特征在于，所述步骤S2中填充图像源集合中每帧图像进行遍历时，遍历的第j帧图像的图像序号为其中，j≥1，表示向上取整，如果对应的图像不存在，则计算下一个图像序号。