CN103414909A - 一种应用于三维视频虚拟视点合成的空洞填补方法 - Google Patents

Abstract

本发明涉及三维视频领域，本发明公开了一种应用于三维视频虚拟视点合成的空洞填补方法，提出利用被遮挡背景信息判断当前空洞邻域是否为背景信息，并利用包括被遮挡背景信息在内的空洞邻域背景信息对虚拟视点图像中的空洞进行填补，纠正了现有视点合成方法中可能使用前景信息进行空洞填补产生的错误。本发明包括了如下一系列的方法：获取被遮挡背景信息；利用被遮挡的背景信息判断空洞左右邻域是否为背景信息；根据空洞邻域是否为背景信息，选择利用空洞邻域的未被遮挡背景信息及被遮挡背景信息进行空洞填补，并根据背景信息特性设计了不同的空洞填补方案。

Description

一种应用于三维视频虚拟视点合成的空洞填补方法

技术领域

本发明属于3D视频领域，尤其涉及一种应用于三维视频虚拟视点合成的空洞填补方法。

背景技术

传统的双目立体视频及多视点视频由于无法实现深度自主调节已不能满足人们越来越高的视听需求。与之相比，新一代的基于深度数据和视点合成的三维视频系统能够利用基于深度图像的绘制（depth-image-based rendering, DIBR）技术合成虚拟视点图像，根据用户需求调整最终显示的左右视图的视差大小，改善用户视觉体验，因而得到了学术界和工业界的广泛关注。

虚拟视点合成利用三维场景在一个视点下拍摄的纹理图像及其对应的深度图像生成另一个虚拟视点下的纹理图像，以模拟在该虚拟视点下的图像。虚拟视点与相机视点的信息有所差异，即虚拟视点图像的部分信息（即原视点中被遮挡的区域在虚拟视点下暴露出来）并不能由上述相机视点获取，因此映射视点中会存在空洞。当采用两个相机视点共同内插（view interpolation）合成一个虚拟视点时，原本无法从某个相机视点图像中获取的部分虚拟视点信息能够在另一个视点相机图像中找到，所以此时得到的虚拟视点图像比仅使用一路相机图像进行视点合成时得到的虚拟视点图像具有更好的图像质量，但由于相机视点的数目及基线距离受限，仍有部分虚拟视点信息在两路相机视点中可能都不存在，此时虚拟视点图像中将不可避免地出现空洞（hole）。因此，空洞填补（hole filling）处理对于恢复出自然的合成视点图像起到重要作用。

在基于DIBR的虚拟视点合成中，投影图像空洞的来源主要有三种：采样不足、不同视角的非重合区域、以及重合区域的去遮挡。其中，对于采样不足产生的空洞，可以通过局部纹理内插（类似于提升采样率）来消除；对于非视角重合区域，因为其出现在图像边界，可以直接通过等量截除双目图像的左右边界去掉该区域；而对于去遮挡产生的空洞，由于其在图像中存在的位置不定且不能通过提高采样率消除，填补困难并严重影响了合成视点图像质量。以下所指空洞及本发明所针对空洞均为由去遮挡引起的空洞。

目前空洞填补的基本理论假设是空洞内部纹理与周围纹理具有一致性，即可以延伸空洞周围的纹理来弥合缺失的图像信息。目前的空洞填补方法主要基于空间域纹理内插或图像修补（inpainting）的空洞填补算法进行改进。因为去遮挡引起的空洞属于背景区域，目前大部分算法均使用空洞背景的一侧相邻纹理对空洞进行方向性填补，但对于三维场景中的某些物体（如凹陷），在左右参考视点投影（投影及映射均指3D warping）至虚拟视点的映射图像融合（视点融合，view merging）后，空洞两侧均为前景纹理。

如图1所示的空洞两侧为前景信息的示意图。图中虚拟视点中的图像产生空洞，对于虚拟视点图像而言，空洞两侧都是前景信息，目前的方式显然不能实现正确地空洞填补。

发明内容

针对现有技术中的空洞填补方法无法正确判断去遮挡产生的空洞邻域是否存在背景信息及存在的背景信息能否进行有效地空洞填补，以至于无法正确填补去遮挡产生的空洞，本发明提出在空洞填补之前需要利用被遮挡背景信息判断空洞邻域是否存在背景信息，并只使用背景信息进行空洞填补。本发明公开了一种应用于三维视频虚拟视点合成的空洞填补方法。

本发明的技术方案如下：

一种应用于三维视频虚拟视点合成的空洞填补方法，其具体包含以下步骤：

步骤1，获取虚拟视点图像中空洞邻域范围的被遮挡的背景信息；在左右视点内插中间虚拟视点时，虚拟视点图像为左右视点映射图像融合后的融合图像，左右视点为参考视点；在单视点合成虚拟图像时，虚拟视点图像为视点映射图像，单视点为参考视点；

步骤2，定位虚拟视点图像中去遮挡引起的空洞，根据步骤1得到的被遮挡的背景信息的深度值判断空洞左右邻域是否为背景信息；

步骤3，根据空洞邻域是否为背景信息，以及空洞邻域的背景信息的状况，选择不同的方式进行空洞填补。

更进一步地，上述方法还包括步骤301，当空洞邻域为平滑的背景信息时，直接将空洞填补为空洞邻域背景信息的像素彩色值平均值；当空洞邻域有未被遮挡的背景信息时，背景信息包括未被遮挡的背景信息和被遮挡的背景信息；当空洞邻域全为前景信息时，背景信息指的是被遮挡的背景信息。

更进一步地，上述还包括步骤302，当空洞邻域全为前景信息且空洞邻域的被遮挡背景信息宽度(宽度为行扫描时获取的以像素为单位的宽度)小于一定的阈值时，将空洞的深度值设置为空洞邻域前景信息的深度值，向参考视点进行映射获取信息进行空洞填补。该步骤等同于在空洞邻域背景信息不平滑且不能正确使用图像修补方法进行填补时利用参考视点中该位置对应的背景信息进行填补。

更进一步地，上述方法还包括步骤303，当空洞邻域有未被遮挡的背景信息且空洞邻域的未被遮挡背景信息及被遮挡背景信息的宽度(宽度为行扫描时获取的以像素为单位的宽度)小于一定的阈值时，将空洞的深度值设置为空洞邻域前景信息的深度值，向参考视点进行映射获取信息并将获取的信息左右反向进行空洞填补。该步骤等同于在空洞邻域背景信息不平滑且不能正确使用图像修补方法进行填补时利用参考视点中该位置对应的背景信息进行左右反向填补。

更进一步地，上述方法还包括步骤304，当空洞邻域的背景信息为未被遮挡背景信息和被遮挡背景信息时，将被遮挡背景信息对应的前景信息保存至缓存，同时在虚拟视点图像中以被遮挡背景信息替换其对应的前景信息，然后利用图像修补算法进行空洞填补，填补完成后将保存至缓存的前景信息复位并覆盖其位置的背景信息。

更进一步地，上述方法还包括步骤305，当空洞邻域为前景时，将空洞边界至被遮挡背景区边界的空洞邻域部分设置为空洞，并将该区域的前景信息以及被遮挡部分对应的前景信息保存至缓存，同时在虚拟视点图像中以被遮挡背景信息替换其对应的前景信息，然后利用图像修补算法进行空洞填补，填补完成后将保存至缓存的所有前景信息复位并覆盖其位置的背景信息。

更进一步地，上述步骤1具体包括：

步骤101，在参考视点进行视点映射生成映射图像的过程中，当发生遮挡时，判断被遮挡的信息是否为背景信息； 

步骤102，在判断被遮挡信息为背景信息后，保存被遮挡的背景信息。

更进一步地，上述步骤2具体包括：

步骤201,定位虚拟视点图像中去遮挡引起的空洞； 

步骤202,在得到去遮挡引起的空洞后，向左右两侧搜索被遮挡的背景信息；

步骤203,设定被遮挡背景与空洞邻域深度值差值阈值，利用被遮挡背景信息的深度值与空洞邻域深度值差的绝对值判断空洞邻域是否为背景信息。

通过采用以上的技术方案，本发明具有如下有益效果：利用被遮挡的背景信息判断当前空洞邻域是否为背景信息，并利用空洞邻域未被遮挡及被遮挡的背景信息对虚拟视点图像中的空洞进行填补。纠正视点合成中利用前景纹理进行空洞填补产生的错误。

附图说明

图1为左右参考视点内插中间虚拟视点时虚拟视点图像中空洞邻域是前景信息的示意图。

图2为右参考视点外插虚拟视点时虚拟视点图像中空洞邻域是前景信息的示意图。

图3为左参考视点外插虚拟视点时虚拟视点图像中空洞邻域是前景信息的示意图。

图4为左或右参考视点图像。

图5为由左参考视点外插虚拟视点时空洞右邻域为背景信息的虚拟视点图像。

图6为由右参考视点外插虚拟视点时空洞左邻域为背景信息的虚拟视点图像。

图7为由左右参考视点内插中间虚拟视点时空洞邻域为背景信息的虚拟视点图像。

图8为由左参考视点外插虚拟视点时空洞右邻域为前景信息的虚拟视点图像。

图9为由右参考视点外插虚拟视点时空洞左邻域为前景信息的虚拟视点图像。

图10为由左右参考视点内插中间虚拟视点时空洞邻域为前景信息的虚拟视点图像。

具体实施方式

以下结合附图和实施例，对本发明进行进一步的详细说明。

图1-10中左右视点为相对生成虚拟视点的位置，即参考视点在生成虚拟视点左侧即为左视点，参考视点在生成虚拟视点右侧即为右视点。其中用FG表示前景信息，BG表示背景信息。

图5为在左参考视点外插虚拟视点的情况下空洞右邻域为背景信息的虚拟视点图像。其中的一部分BG背景信息被FG前景信息所遮挡，空洞右侧依次是空洞右邻域未被遮挡的背景信息、前景信息和背景信息的重叠处（前景信息遮挡背景信息）以及前景信息。空洞右侧依次显示的是未被遮挡的背景信息和前景信息，空洞左侧为前景信息。

图6为在右参考视点外插虚拟视点的情况下空洞左邻域为背景信息的虚拟视点图像。其中的一部分BG背景信息被FG前景信息所遮挡，空洞左侧依次是空洞左邻域未被遮挡的背景信息、前景信息和背景信息的重叠处（前景信息遮挡背景信息）以及前景信息。空洞左侧依次显示的是未被遮挡的背景信息和前景信息，空洞右侧为前景信息。

图7为在左右参考视点内插中间虚拟视点的情况下空洞邻域为背景信息的虚拟视点图像。其中的一部分BG背景信息被FG前景信息所遮挡，空洞左侧依次是空洞左邻域未被遮挡的背景信息、前景信息和背景信息的重叠处（前景信息遮挡背景信息）以及前景信息；空洞右侧依次是空洞右邻域未被遮挡的背景信息、前景信息和背景信息的重叠处（前景信息遮挡背景信息）以及前景信息。空洞左侧依次显示的是未被遮挡的背景信息和前景信息；空洞右侧依次显示的是未被遮挡的背景信息和前景信息。

图8为在左参考视点外插虚拟视点的情况下空洞右邻域为前景信息的虚拟视点图像。其中的BG背景信息完全被FG前景信息所遮挡，空洞的右侧依次是空洞右邻域前景、前景信息和背景信息的重叠处（前景信息遮挡背景信息）以及前景信息。空洞左侧及右侧都仅显示前景信息。

图9在由右参考视点外插虚拟视点的情况下空洞左邻域为前景信息的虚拟视点图像。其中的BG背景信息完全被FG前景信息所遮挡，空洞的左侧依次是空洞左邻域前景、前景信息和背景信息的重叠处（前景信息遮挡背景信息）以及前景信息。空洞左侧及右侧都仅显示前景信息。

图10在由左右参考视点内插中间虚拟视点的情况下空洞邻域为前景信息的虚拟视点图像。其中的BG背景信息完全被FG前景信息所遮挡，空洞的左侧依次是空洞左邻域前景、前景信息和背景信息的重叠处（前景信息遮挡背景信息）以及前景信息；空洞的右侧依次是空洞右邻域前景、前景信息和背景信息的重叠处（前景信息遮挡背景信息）以及前景信息。空洞左侧及右侧都仅显示前景信息。以上图只表示了视点合成中空洞邻域未被遮挡背景、被遮挡背景及前景信息分布的一部分情况，仍然存在其他情况如空洞左侧为未被遮挡背景信息且空洞右侧为前景信息或者空洞左侧为前景信息且空洞右侧为未被遮挡背景信息等，上述空洞填补方法仍然适用于这些情况，在此不做赘述。 

本发明公开了一种应用于三维视频虚拟视点合成的空洞填补方法，其具体包含以下步骤：

步骤1，获取虚拟视点图像中空洞邻域范围的被遮挡的背景信息；在左右视点内插中间虚拟视点时，虚拟视点图像为左右视点映射图像融合后的融合图像，左右视点为参考视点；在单视点合成虚拟图像时，虚拟视点图像为视点映射图像，单视点为参考视点；

步骤101，在参考视点进行视点映射生成映射图像的过程中，当发生遮挡时，判断被遮挡的信息是否为背景信息； 

比如利用基于深度图像的绘制（DIBR）技术进行三维投影时，当有多个像素被投影到同一个像素栅格时，即发生遮挡，前景像素遮挡其他的像素被选为该像素栅格的像素值，即该像素栅格的深度值。

在发生遮挡时，首先检测被遮挡的信息是否为背景信息，以去除由深度细微变化引起的遮挡。检测方法如下：设定像素变化深度阈值                                                ，其深度阈值

的设定与深度图质量有关，比如一般可设为[5-10]之间，计算遮挡像素深度值

（前景像素）与被遮挡像素深度值（背景像素）差的绝对值

，当差的绝对值

大于像素变化深度阈值时，即被遮挡信息

为背景信息。

步骤102，在判断被遮挡信息为背景信息后，保存被遮挡的背景信息。

步骤2，定位虚拟视点图像中去遮挡引起的空洞，并判断空洞左右邻域是否为背景信息。

步骤201，定位虚拟视点图像中去遮挡引起的空洞。

步骤202，在得到虚拟视点图像重合视角区域内的空洞后，向左右两侧搜索被遮挡的背景信息。对于存在垂直视差的多视点图像，由于垂直视差的存在，在向左右两侧搜索的过程中，同时还应该搜索该像素水平位置上下

的范围，其中设定与相机视点和虚拟视点之间的垂直视差有关。

步骤203，设定被遮挡背景与空洞邻域深度值差值阈值，利用被遮挡背景信息的深度值与空洞邻域深度值差的绝对值

判断空洞邻域是否为背景信息，即当差的绝对值

小于阈值

时，空洞邻域为背景信息，当差的绝对值

大于或者等于阈值

时，空洞邻域为前景信息。

步骤3，根据空洞邻域是背景信息还是前景信息选择不同的方式对空洞进行填补。

步骤301，当空洞邻域为平滑的背景信息时，将空洞填补为空洞邻域背景信息的像素彩色值平均值，否则执行步骤302；计算空洞邻域未被遮挡背景及被遮挡背景信息的像素彩色值平均值

和方差，并设定阈值

判断该背景信息是否为平滑区域，如果方差

小于阈值

，则认为空洞邻域未被遮挡背景及被遮挡背景信息平滑，此时将空洞填补为空洞邻域未被遮挡背景及被遮挡背景的像素彩色值平均值

。多种方法可以判断背景信息是否平滑，利用方差只是其中一种。当空洞邻域有未被遮挡的背景信息时，背景信息包括未被遮挡的背景信息和被遮挡的背景信息；当空洞邻域全为前景信息时，背景信息指的是被遮挡的背景信息。

步骤302，当空洞邻域全为前景信息且空洞邻域的被遮挡背景信息宽度(宽度为行扫描时获取的以像素为单位的宽度)小于一定的阈值时，将空洞的深度值设置为空洞邻域前景信息的深度值，向参考视点进行映射获取信息进行空洞填补，否则执行步骤303。计算空洞邻域被遮挡背景信息的总宽度

，设定宽度阈值（宽度阈值可以设置为图像修补算法使用邻域半径），当宽度小于阈值

时，将空洞的深度值设置为前景的深度值，向参考视点映射获取信息进行空洞填补，其中向左视点映射获取信息时将空洞深度值设置为空洞右侧的邻域前景深度值，向右视点映射获取信息时设置为空洞左侧的邻域前景深度值。在左右视点内插中间虚拟视点时，按照虚拟视点融合的方法将分别从左右视点获取的信息进行融合填补空洞。

步骤303，当空洞邻域有未被遮挡的背景信息且空洞邻域的未被遮挡背景信息及被遮挡背景信息的宽度(宽度为行扫描时获取的以像素为单位的宽度)小于一定的阈值时，将空洞的深度值设置为空洞邻域前景信息的深度值，向参考视点进行映射获取信息并将获取的信息左右反向进行空洞填补，否则执行步骤304。计算空洞邻域未被遮挡背景信息及被遮挡背景信息的总宽度

(宽度为行扫描时获取的以像素为单位的宽度)，设定宽度阈值

（宽度阈值可以设置为图像修补算法半径），当宽度小于阈值

时，将空洞的深度值设置为前景的深度值，向参考视点映射获取信息进行空洞填补，其中向左视点映射获取信息时将空洞深度值设置为空洞右侧的邻域前景深度值，向右视点映射获取信息时设置为空洞左侧的邻域前景深度值。在左右视点内插中间虚拟视点时，按照虚拟视点融合的方法将分别从左右视点获取的信息进行融合填补空洞。

步骤304，当空洞邻域为未被遮挡背景信息时，将被遮挡背景对应的前景信息保存至缓存，同时在虚拟视点图像中以被遮挡背景信息替换其对应的前景信息，然后利用图像修补算法进行空洞填补，填补完成后将保存至缓存的前景信息复位并覆盖其位置的背景信息，否则执行步骤304。空洞邻域包括未被遮挡背景以及被遮挡背景，将被遮挡背景对应的BG前景信息进行保存，在融合图像中将被遮挡背景替换对应的前景，然后采用图像修补算法进行空洞填补，填补完成后将保存的前景信息进行复位。

步骤305，当空洞邻域为前景时，将空洞边界至被遮挡区边界的空洞邻域部分设置为空洞，并将该区域的前景信息以及被遮挡部分对应的虚拟视点图像的前景信息保存至缓存，同时在虚拟视点图像中以被遮挡背景信息替换其对应的前景信息，然后利用图像修补算法进行空洞填补，填补完成后将保存至缓存的所有前景信息复位并覆盖其位置的背景信息，至此，对于空洞邻域为前景的空洞填补完成。

这里已经通过具体的实施例子对本发明进行了详细描述，提供上述实施例的描述为了使本领域的技术人员制造或适用本发明，这些实施例的各种修改对于本领域的技术人员来说是容易理解的。本发明并不限于这些例子，或其中的某些方面。本发明的范围通过附加的权利要求进行详细说明。

上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1. 一种应用于三维视频虚拟视点合成的空洞填补方法，其具体包含以下步骤：

步骤1，获取虚拟视点图像中空洞邻域范围的被遮挡的背景信息；在左右视点内插中间虚拟视点时，虚拟视点图像为左右视点映射图像融合后的融合图像，左右视点为参考视点；在单视点合成虚拟视点图像时，虚拟视点图像为视点映射图像，单视点为参考视点；

步骤2，定位虚拟视点图像中去遮挡引起的空洞，根据步骤1得到的被遮挡的背景信息的深度值判断空洞左右邻域是否为背景信息；

步骤3，根据空洞邻域是否为背景信息，以及空洞邻域的背景信息的状况，选择不同的方式进行空洞填补。

2.如权利要求1所述的应用于三维视频虚拟视点合成的空洞填补方法，其特征在于所述方法还包括步骤301，当空洞邻域为平滑的背景信息时，直接将空洞填补为空洞邻域背景信息的像素彩色值平均值；当空洞邻域有未被遮挡的背景信息时，背景信息包括未被遮挡的背景信息和被遮挡的背景信息；当空洞邻域全为前景信息时，背景信息指的是被遮挡的背景信息。

3.如权利要求1所述的应用于三维视频虚拟视点合成的空洞填补方法，其特征在于所述方法还包括步骤302，当空洞邻域全为前景信息且空洞邻域的被遮挡背景信息宽度小于一定的宽度阈值时，将空洞的深度值设置为空洞邻域前景信息的深度值，向参考视点进行映射获取信息进行空洞填补。

4.如权利要求1所述的应用于三维视频虚拟视点合成的空洞填补方法，其特征在于所述方法还包括步骤303，当空洞邻域有未被遮挡的背景信息且空洞邻域的未被遮挡背景信息及被遮挡背景信息的宽度小于一定的宽度阈值时，将空洞的深度值设置为空洞邻域前景信息的深度值，向参考视点进行映射获取信息并将获取的信息左右反向进行空洞填补。

5.如权利要求1所述的应用于三维视频虚拟视点合成的空洞填补方法，其特征在于所述方法还包括步骤304，当空洞邻域的背景信息为未被遮挡背景信息和被遮挡背景信息时，将被遮挡背景信息对应的前景信息保存至缓存，同时在虚拟视点图像中以被遮挡背景信息替换其对应的前景信息，然后利用图像修补算法进行空洞填补，填补完成后将保存至缓存的前景信息复位并覆盖其位置的背景信息。

6.如权利要求1所述的应用于三维视频虚拟视点合成的空洞填补方法，其特征在于所述方法还包括步骤305，当空洞邻域为前景时，将空洞边界至被遮挡背景区边界的空洞邻域部分设置为空洞，并将该区域的前景信息以及被遮挡部分对应的前景信息保存至缓存，同时在虚拟视点图像中以被遮挡背景信息替换其对应的前景信息，然后利用图像修补算法进行空洞填补，填补完成后将保存至缓存的所有前景信息复位并覆盖其位置的背景信息。

7. 如权利要求1所述的应用于三维视频虚拟视点合成的空洞填补方法，其特征在于所述步骤1具体包括：

步骤101，在参考视点进行视点映射生成映射图像的过程中，当发生遮挡时，判断被遮挡的信息是否为背景信息； 

步骤102，在判断被遮挡信息为背景信息后，保存被遮挡的背景信息。

8. 如权利要求1所述的应用于三维视频虚拟视点合成的空洞填补方法，其特征在于所述步骤2具体包括：

步骤201,定位虚拟视点图像中去遮挡引起的空洞； 

步骤202,在得到去遮挡引起的空洞后，向左右两侧搜索被遮挡的背景信息；

步骤203,设定被遮挡背景与空洞邻域深度值差值阈值，利用被遮挡背景信息的深度值与空洞邻域深度值差的绝对值判断空洞邻域是否为背景信息。

Images