CN105163104A - 一种不产生空洞的中间视图合成方法 - Google Patents

Abstract

本发明公开了一种不产生空洞的中间视图合成方法，在给定的拍摄场景下，通过对左右两台摄像机的基线长度设置，使其小于等于背景深度值Z_B与背景部分的长度L_B的乘积除以背景深度值Z_B与前景深度值的差值的二分之一，这样在视频终端，使用双向DIBR技术对通过左右两台摄像机获取的两幅参考图像及其对应的深度图像进行三维图像变换得到两幅虚拟视图，两幅虚拟视图再进行融合得到中央眼位置的中间视图，该中间视图没有空洞，一定程度上保证合成图像的质量，避免了空洞填充时间复杂性。

Description

一种不产生空洞的中间视图合成方法

技术领域

本发明属于深度图像绘制技术领域，更为具体地讲，涉及一种不产生空洞的中间视图合成方法。

背景技术

作为自由立体3D视频(autostereoscopic3DTV)和自由视点视频(free-viewpointTV,简称FTV)发展的关键，基于深度图像绘制(depth-image-basedrendering,简称DIBR)技术受到科研和商业领域的广泛关注。

DIBR技术根据参考图像(referenceimage)及其对应的深度图像(depthimage)来合成任意视点的目标图像(新视点图像)。但是，在产生新视点图像的过程中会有空洞的出现，空洞即被前景物体遮挡的背景在合成的新视点视图中暴露的区域，如图1所示的人物右侧以及图像的左侧黑色区域，这会严重降低了合成视图(synthesisview)的质量。

在双向DIBR技术(double-sidedDIBRtechnique)中，将两幅参考图像变换成的左右虚拟视图(virtualview)进行融合得到中间图像，在一定程度上减少了空洞，因为在某一虚拟视图中的空洞可能在另一幅虚拟视图中找到填补信息。然而，如果在两幅参考图像中都不能找到合理的信息来填充空洞，空洞仍然存在。尽管随着所提供摄像机数的增加，有些空洞因为变得可见而被填充，但是由于不可能在所有位置都放上一个摄像机，因而在合成任意视点视图时空洞是不可避免的。

空洞填充方法在国内外学术界沿着深度图像预处理和合成视图后处理相结合方向不断发展，在一定程度上提高了合成图像的质量，但是不免引入几何扭曲或者实现复杂耗时等问题。如果能够对空洞产生的机理进行完善、合理的分析，以便在合成视图中减少甚至避免空洞的产生，或者能够据此利用合理的背景信息进行空洞填充，将促进该方向在学术方面的发展。

在空洞产生机理的研究方面，2013年，Zhu等人研究了视图插值中的空洞产生，并得出产生空洞的具体条件，同时提出了一种能够全面地利用遮挡的背景信息进行空洞填充的新方法。但是，该空洞填充方法对于空洞产生分析的场景设置太过简单特殊，把前景物体看成平面来进行分析，这无疑不符合实际情况。此外，空洞填充方法在空洞较大或纹理复杂的情况下不能得以保证。随后，在2014年，Zhu等人进一步分析了利用多幅参考图像进行DIBR视图插值的空洞产生机理，得出如下定理，在特定条件下使用主要视图外的其他补充视图(compementaryview)能够减少目标虚拟视图中的空洞长度。最后利用补充视图中的信息进行空洞填充，结果显示使用多幅参考图像进行视图合成效果较好。该空洞填充方法的场景设置仍然没有考虑前景物体有一定厚度的实际情况，对空洞产生定理的分析比较简单，采用补充视图进行空洞填充复杂度高。

发明内容

本发明的目的在于克服现有技术的不足，提供一种不产生空洞的中间视图合成方法，从而不需要对空洞进行填充，避免了空洞填充时间复杂性。

为实现上述发明目的，本发明不产生空洞的中间视图合成方法，其特征在于，对于给定的拍摄场景，左右两台摄像机间的基线长度设置满足：

其中，z_B为背景深度值、z_F为前景深度值、L_B为背景部分的长度；

在视频终端，使用双向DIBR技术对通过左右两台摄像机获取的两幅参考图像及其对应的深度图像进行三维图像变换，得到两幅虚拟视图，然后将生成的两幅虚拟视图进行融合得到中间视图，该中间视图位于中央眼位置。

本发明的目的是这样实现的。

本发明不产生空洞的中间视图合成方法，在给定的拍摄场景下，通过对左右两台摄像机的基线长度设置，使其小于等于背景深度值Z_B与背景部分的长度L_B的乘积除以背景深度值Z_B与前景深度值的差值的二分之一，这样在视频终端，使用双向DIBR技术对通过左右两台摄像机获取的两幅参考图像及其对应的深度图像进行三维图像变换得到两幅虚拟视图，两幅虚拟视图再进行融合得到中央眼位置的中间视图，该中间视图没有空洞，一定程度上保证合成图像的质量，避免了空洞填充时间复杂性。

附图说明

图1是合成视图中的空洞实例图；

图2是双向DIBR技术在绘制中间视图的流程图；

图3是双向DIBR技术中的空洞产生示意图；

图4是前景边界点在左、右参考图像中对应点示意图；

图5是“前景-背景-前景”设置下的三维图像变换过程示意图；

图6是对公式(4)说明示意图；

图7是在三维图像变换和视图合成中产生空洞最大情况示意图；

图8是“背景-前景-背景”设置下的三维图像变换过程示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

在本实施例中，首先介绍了基于DIBR技术的视图合成(viewsynthsis)，使用该技术能够在一定程度上降低目标图像中的空洞长度。随后详尽分析了双向DIBR技术下空洞的产生，在一定限制条件下，通过对空洞产生的理解和分析，使用合理有效的方法减少或抑制空洞的产生，并得出了相应理论结论。如果能在参考图像获取过程中进行参数的设置，以减少或避免产生新视点图像(中间图像)时空洞的产生，将会大大减少和降低填充空洞的时间复杂性，并在一定程度上保证合成图像的质量，这也正是科研和商业领域迫切需要的。

1、基于DIBR的中间图像合成

基于深度图像绘制技术根据参考图像及其对应的深度图像来生成一幅目标图像(新视点图像)。与传统的需要传递左右眼两路视频的3D视频相比，采用DIBR技术之后仅需要传送一路视频及其深度图像就可生成任意视点的虚拟视图，而且可以很方便的实现二维和三维的切换。正因为如此，DIBR技术在3D电视立体图像对(stereopair)的生成中得到了广泛应用，它也引起了人们愈来愈浓厚的兴趣。然而，该技术的一个主要问题是绘制的新视点图像内部存在暴露区域即空洞，这会严重降低图像的质量。

为了分析空洞产生机理，本节简单介绍基于DIBR的中间图像合成，限制条件如下：

1.1)、平行摄像机设置

在平行摄像机设置(parallelcamerasetup)下，经过三维图像变换(3Dimagewarping)后，垂直视差(verticalparallax)为零，只存在水平视差(horizonalparallax)。每个像素点的视差值可由下式得到：

其中，f、s_x、B、z分别表示摄像机焦距、在x轴方向上每单位物理长度对应的像素个数、两台摄像机间的基线(baseline)长度和像素点的深度值。

参考图像中像素点在左目标图像和右目标图像中的对应点坐标可分别由公式(2)和(3)得到:

u_s＝u_r+d,v_s＝v_r(2)

u_s＝u_r-d,v_s＝v_r(3)

其中，[u_r,v_r,1]^T和[u_s,v_s,1]^T分别是参考图像和目标图像中的点在图像像素坐标系中的规范化齐次坐标。

因为没有垂直视差，后续分析中，只考虑水平视差。在基于DIBR的视图合成中，若参考图像中的多个像素点映射到目标图像的相同位置，即发生遮挡现象，通常我们认为离摄像机近的像素点遮挡了其他像素点。

1.2)、双向DIBR技术

双向DIBR技术在绘制中间视图的过程中首先利用了两幅参考图像及其对应的深度图像得到两幅虚拟视图，然后将生成的两幅虚拟视图进行融合得到中间视图，其具体流程如图2所示，中间视图位于中央眼位置的情况，由于存在空洞，在经过空洞填充后，得到目标图像。

如图3所示，在DIBR技术中，如果参考图像中被遮挡的背景信息在中间图像中可见就会产生空洞。但因双向DIBR技术中是将两幅虚拟视图进行融合得到中间视图，其中一幅虚拟视图中的遮挡部分有可能在另一幅虚拟视图中可见，这样就能使用这些信息填充一部分空洞，从而大大减少了目标图像中的空洞。

2、空洞产生机理

在上一节中提到，当参考图像中被遮挡的背景信息在目标图像中可见时，虚拟视图中将产生空洞。在双向DIBR技术中，有的空洞只出现在一幅虚拟视图中，则能用另一幅虚拟视图的非空洞区域进行填充。然而，有的空洞是在两幅参考图像中都被遮挡了的区域，这样的空洞不能通过其中的某幅虚拟视图进行填充，这样在目标图像中必定有空洞，这会降低图像的质量，且只能通过专门的空洞填充方法来解决。在下述内容中，我们将分析双向DIBR技术中空洞产生的机理，来了解在什么条件下会产生空洞。

空洞一般会出现在场景中深度值不连续的情形。而深度值不连续情形一般分为两大类：“前景-背景-前景”和“背景-前景-背景”，其他深度不连续情况都能拆分为上述两类，且简单的“前景-背景”或“背景-前景”可看做“前景-背景-前景”的特殊情况。以下我们将根据上述分类分析空洞产生问题。

2.1)、“前景-背景-前景”情形

在“前景-背景-前景”情形下，深度图像中呈现凹形。如图4所示，在三维空间中，将左右摄像机能够拍摄到的前景边界点(foregroundboundary,FB)和背景边界点(backgroundboundary,BB)从左到右依次标记为O₁、O₂、O_3L(O_3R)、O_4L(O_4R)、O₅、O₆。其中，左摄像机能够拍摄到的点为O₁、O_3L、O_4L、O₅、O₆，它们在左参考图像中的相应点为(未完全标出)，右摄像机能够拍摄到的点为O₁、O₂、O_3R、O_4R、O₆，它们在右参考图像中的相应点为(未完全标出)。

如图4所示，在“背景-前景”情形下，如果右侧前景物体是平面的，则点O₅和点O₆代表前景物体的相同点，左参考图像的前景边界点和将相互遮挡，并与右参考图像中的相对应。然而，在实际情况中，前景物体不可能是平面的而是有一定厚度的，则和不会相互遮挡，左摄像机比右摄像机捕捉到右侧前景物体的更多信息，如图4所示的到区域，且位于右侧，其中和右参考图像中的相对应。同理，在“前景-背景深度不连续”的情况下，右侧摄像机比左侧摄像机捕获左侧前景物体的更多信息。因“前景-背景-前景深度不连续”可看做“前景-背景深度不连续”和“背景-前景深度不连续”的组合，则摄像机捕获的场景信息满足前述结果。

将经过三维图像变换得到的左虚拟视图中的点记为 其坐标记为经过三维图像变换得到的右虚拟视图中的点记为其坐标为 其中上标代表视图属性，即L，R，LW，RW分别代表左参考图像，右参考图像，左虚拟视图，右虚拟视图。下标代表从左到右的边界点在视图中的编号。各点在三维空间、左右参考图像和左右虚拟视图中对应关系如表1所示。

表1

综上所述，在“前景-背景-前景”情形下，参考图像能被化简为图5中(a)和(c)。为了简化分析，设定场景中的任何前景或背景的深度值各自相同，这样即使场景中的实际深度值发生变化，也能得到相同的深度图。将虚拟视图中前背景之间的水平视差记为Δd，在左参考图像(左视图)中捕获但在右参考图像(右视图)中被遮挡的前景边界长度记为在右参考图像中捕获但在左参考图像中被遮挡的前景边界长度被记为左、右参考图像中可见的背景部分长度分别记为和

根据图5及表2所示，左参考图像中的和右参考图像中的代表三维空间的同一个点(参考图像中的和也代表三维空间中同一个点)，它们在左、右虚拟视图中被映射到相同位置，即有我们简记为分析实际可知，通常和较小，一般比背景部分的长度小很多；当从参考图像变换到虚拟视图中时，认为和是不变的。图5(b)和(d)中点的位置表明，三维空间中的前、背景边界点在虚拟视图中的坐标满足如下关系(以为基础进行运算)：

对公式(4)进行简单说明(以左参考图像为例)：和分别是背景、左摄像机可见右摄像机不可见前景、右侧前景的起始点，是背景的终止点，根据变量的说明和图6所示，不难理解公式(4)中是否“+1”的操作。以为例，Δd表示前背景之间的视差，即和之间相差Δd，故有

空洞处没有像素点变换，结合图5可知，左虚拟视图中空洞可能位置从到其中min(a,b)表示取a和b中较小值。右虚拟视图中，空洞可能位置从到其中max(a,b)表示取a和b中较大值。

虚拟视图合并时，只存在于一幅虚拟视图中的空洞可以由另一幅虚拟视图中的信息进行填充，则采用双向DIBR技术后空洞限定在到的部分，当后者大于前者时表示有空洞产生，其中空洞长度用公式(4)进行替换后，得到空洞可能范围如下为到具体分析如下表2所示。

表2

考虑以下两点，可将表(2)分析简化为公式(5)：

①和较小，一般比背景部分的长度小很多；

②

由公式(5)和图7所示可知，当时空洞最大，其值为左、右参考图像中共有的背景长度，即并且空洞周围都是前景信息。这样利用空洞周围信息填充空洞的方法不可行，因为无法直接获取到空洞周围的背景信息，也就不能用合适的值去填补空洞。在其他情况下，至少可以获得空洞其中一边的背景信息，然而随着空洞长度的增长，空洞周边背景部分的信息会减少。

2.2)、“背景-前景-背景”情形

在只采用一幅参考图像进行视图绘制的过程中，只要场景中有深度值不连续的情况就会出现空洞。然而，在双向DIBR技术中，简单的深度值不连续并不会造成合成图中空洞的产生，因为在一幅变换图中产生的空洞会使用另一幅变换图中的信息进行填充。根据分析，采用双向DIBR技术时，如果场景为“背景-前景-背景深度值不连续”，合成图中不会产生空洞。

如图8所示，在左虚拟视图中产生空洞的部分，可以在右虚拟视图中找到填充信息，在右虚拟视图中产生的空洞，也可以在左虚拟视图中找到填充信息，这样，通过双向DIBR技术合成的中间虚拟视图中不会有空洞产生。

2.3)、结论

其他深度不连续的情况分解上述几个简单的不连续，即“背景-前景-背景”不连续和“前景-背景-前景”不连续。从2.1)、2.2)的分析来看，只有在“前景-背景-前景”不连续的情况下才有可能产生空洞，因此，得出如下定理。

定理1.合成的虚拟视图中存在空洞的条件：

①场景中有“前景-背景-前景深度不连续”的情况；

②前、背景间视差值满足

通过公式(5)可知，当时，空洞长度最大，其值为左右参考图像共有背景部分长度。

3、不产生空洞的摄像机设置

空洞填充就是估计虚拟视图中空洞部分的值，当空洞长度较大时填充结果可能不容乐观。因此，为了能够得到高质量的虚拟视图，迫切希望在合成过程中只产生较小空洞甚至不产生空洞。本发明只考虑有两幅参考图像或两台摄像机(双向DIBR技术)合成中间视图的情况，由第2节的分析可知，对于合成视图，当前、背景间视差值满足时，中间虚拟视图中不产生空洞。本节对上述结论进行分析，得到了一种通过摄像机设置而不产生空洞的中间视图合成方法，合成中间视图位于两台摄像机的中央眼位置。

在实际应用中，摄像机焦距f和两台平行摄像机之间的基线长度B是已知的，也可以是人为设定的。而在给定的拍摄场景中，将前景深度值和背景深度值分别估计为z_F、z_B，这样就能根据公式(1)计算出前景视差值和背景视差值，从而得到前、背景间的视差值Δd，带入公式(5)，变为以下公式(6):

在摄像机设置固定的场景中，为了预测合成的中间视图的空洞长度，还需要估计出参考图像中背景部分的长度，该部分长度由两个前景边界点限制得到，以下进行分析和估计。

首先介绍场景中的某一点U是如何投影到图像平面上的点u的，这样就能得到三维场景中背景部分长度对应于参考图像中背景部分长度的公式。

设场景中点U[xyz]^T在世界坐标系与摄像机坐标系中的齐次坐标为[x_wy_wz_w1]^T和[x_cy_cz_c1]^T，投影点u在图像物理坐标系中的齐次坐标为[xy1]^T，对应于图像像素坐标系中u'的齐次坐标为[uv1]^T。根据文献[7]，可得如下关系式：

其中，R和T分别是旋转变换矩阵和平移变换矩阵，它们是摄像机的外部参数矩阵，描述了摄像机相对于选择的世界坐标系的位置和方向。K是摄像机的内部参数矩阵，可以写成：

其中，f是摄像机的焦距(摄像机坐标系中的值)，(o_x,o_y)是以毫米为单位的图像物理坐标系的原点在图像像素坐标系(以图像左上角为坐标原点)中的坐标，s_x、s_y表示了在x轴和y轴方向上每单位物理长度对应的像素的个数，它们的单位是像素/毫米。

对于场景中有相同深度和高度(竖直位置相同)的两个点U₁[x₁yz]^T和U₂[x₂yz]^T，与图像像素坐标系中两个投影点u₁'[u₁v₁1]^T和u₂'[u₂v₂1]^T有如下关系：

化简得到：

v₁-v₂＝0(11)

由上式可知，在图像像素坐标系中u₁'和u₂'之间的距离为u₁-u₂，这能够通过公式(10)把场景中的实际距离x₁-x₂转化得到。同时，可知图像像素坐标系中的距离跟平移变换矩阵T无关，也即对于场景中两点U₁和U₂，两幅参考图像在图像平面中的距离是固定的。

背景部分的长度取决于两个前景边界点，该长度在三维空间记为L_B，在图像像素坐标中为l_B，它们的关系如下

在具体实施过程中，背景部分的长度取两个前景边界点之间的距离。

将公式(12)带入公式(6)得到:

由于和较小，将其忽略，则公式(13)可简化为：

由上式可知，只要满足如下条件，在合成图像中就不会产生空洞。

综上，在基于双向DIBR技术的视图合成中，当两摄像机间的基线长度B的设置满足公式(15)时，能够保证得到的中间合成视图不产生空洞。总结为如下定理。

定理2.不产生空洞的中间视图合成的摄像机设置为：

对于给定的拍摄场景，如果两台摄像机间的基线长度设置满足时，使用双向DIBR技术合成的中间视图中不会产生空洞，该中间视图位于中央眼位置。

总结

在本实施例中，详细分析了不同场景设置下的空洞产生机理，得出了合成虚拟视图中存在空洞的定理1。这对充分理解空洞产生以便进行空洞填充做了充分的基础。此外，本发明提出了一种不产生空洞的中间视图合成方法，通过本发明中的摄像机设置，采用基于DIBR技术合成的中间视图中不会产生空洞，这无疑大大提高了合成的中间视图的质量。推导过程表明，对于给定拍摄场景，当两台摄像机间的基线长度设置满足定理2时，在使用双向DIBR技术合成的中间视图中不会产生空洞，该中间视图位于中央眼位置。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种不产生空洞的中间视图合成方法，其特征在于，对于给定的拍摄场景，左右两台摄像机间的基线设置满足：

$B\≤\frac{z_B\·L_B}{2\·(z_B-z_F)};$

其中，z_B为背景深度值、z_F为前景深度值、L_B为背景部分的长度；

在视频终端，使用双向DIBR技术对通过左右两台摄像机获取的两幅参考图像及其对应的深度图像进行三维图像变换，得到两幅视图，然后将生成的两幅虚拟视图进行融合得到中间视图，该中间视图位于中央眼位置。

2.根据权利要求1所述的合成方法，其特征在于，所述的背景部分的长度取两个前景边界点之间的距离。