CN103269438A - 基于3d视频和自由视点电视的深度图像绘制的方法 - Google Patents

Abstract

本发明公开了一种基于3D视频和自由视点电视的深度图像绘制的方法，包括如下步骤：同步生产机制；背景伪影擦除；视点合并；基于深度的空洞填补和边界处理。通过实施本发明，通过基于深度空洞填补边界处理方法，有效的解决了空洞填补和前景边缘的失真问题。

Description

基于3D视频和自由视点电视的深度图像绘制的方法

技术领域

本发明涉及数字电视技术领域，具体涉及一种基于3D视频和自由视点电视的深度图像绘制的方法。

背景技术

随着数字多媒体技术的不断发展，人们对于视频交互性以及感官体验不断提出更高的要求，传统的二维视频以固定的平面视角观察，人们只能被动的接受视觉信息，整个视频技术的关键集中在编解码方法上，这种传统的20视频随着H.264编解码标准的推出己经走向日趋成熟，在此基础卜，各种数字高清晰电视(HOTV)纷纷走进人们的日常生活，然而除获得更高的视频分辨率外，用户无法得到进一步视频体验。时代的进步使得这种获取视频信息的传统方式越来越不能满足人们的需求，因此，人们希望下一代视频系统能够改变目前这种传统的观看方式，以获取更加逼真的白然景观表现。

3D视频和自由视点电视作为新一代数字视频技术，作为一种新型3D视频媒体技术，可以让人们感受到真实的立体世界，是当今高清平板电视之后又一个新的发展方向。3D视频和自由视点电视主要有两个特点，即:立体感和交互性，能够为人们提供前所未有的观看自由度和沉浸感，用户可以自主选择观看角度，并能通过合成不同的虚拟视角在人眼产生的视差，获取三维深度感。随着显示设备与存储技术的进步，以及越来越多的3D多媒体内容出现，3Dv/FTV距离商业化和市场普及越来越近，目前，这一领域已成为国内外相关组织研究的热点。

基于深度图像的绘制技术(DIBR)使用了深度值这一场景几何信息来绘制虚拟视点，与其他方法相比，具有最高合成视点质量，目前已被MPEG组织确认为3DV/FTV的虚拟视点绘制候选方案，有望成为下一代3DTV的标准。

DIBR虚拟视点绘制技术核心思想在于，利用深度信息和摄像机参数将已知视点的图像像素投影到未知的虚拟视点。现有的方法使用了单参考图像投影虚拟视点，使用了虚拟视点两侧的多幅图像作为参考，从不同的参考图像获取遮挡区域的信息来填补空洞。Mori等人现有存在的上述问题，采用了一种边界膨胀的方法，能够消除部分遮挡边界上的伪影，并使用了相邻像素填充来非遮挡空洞。

采用单参考图像投影虚拟视点方法的缺点在于，当虚拟摄像机距离已知摄像机过远时，虚拟画面中出现的大量遮挡导致的空洞由于缺少信息而难以得到有效的填补，极大地影响了视觉质量。而采用多参考图像的方法由于遮挡边界存在大量伪影（ghosting），不能完全消除空洞影响。

发明内容

本发明的目的是实现一种针对虚拟视点合成中存在的伪影和空洞问题，提出一种基于深度图像的视点绘制新方法。该方法首先使用视点同步生成机制得到虚拟视点的图像和深度信息，并根据深度信息擦除背景伪影；其次，通过基于深度的空洞填补和边界处理方法进一步消除视点图像中的空洞和前景边缘失真。

本发明实施例提供了一种基于3D视频和自由视点电视的深度图像绘制的方法，包括如下步骤：

同步生产机制；

背景伪影擦除；

视点合并；

基于深度的空洞填补和边界处理。

所述同步产生机制包括：

采用了一种视点同步生成机制，即使用3D变换同时生成虚拟视点的图像和深度值，采用公式如下：

$\left\{\begin{array}{c}{H}_z{I}_R(u,v)=I_V(u^{\′},v^{\′})\\ H_z{\mathrm{depth}}_R(u,v)={\mathrm{depth}}_V(u^{\′},v^{\′})\end{array};\right.$

首先求取各个深度值Z下的单应性矩阵H_z，然后分别将参考视点(u,v)处的图像I_R(u,v)和深度depth_R(u,v)同时变换到虚拟视点I_R(u′,v′)和depth_R(u′,v′)，对其坐标进行取整，以对应到整数像素位置。

所述背景伪影擦除包括：

将虚拟视点中的空洞区域标记为disocc，其边界区域标记为boundary，值为1，空洞左右两侧的点分别记为(u_LB,v)，(u_RB,v)，比较这2点的深度值差异，将深度值小的一侧的点值设为0，即擦除前景边界，如下式所示：

$\left\{\begin{array}{c}\mathrm{boundary}(u_{\mathrm{RB}},v)=0,\mathrm{depth}(u_{\mathrm{LB}},v)-\mathrm{dep}\mathrm{th}(u_{\mathrm{RB}},v)>\mathrm{threshold};\\ \mathrm{boundary}(u_{\mathrm{LB}},v)=0,\mathrm{depth}(u_{\mathrm{RB}},v)-\mathrm{depth}(u_{\mathrm{LB}},v)>\mathrm{threshold}.\end{array}.\right.$

所述视点合并包括：

从各个参考视点得到的虚拟视点公共部分则根据虚拟视点与参考视点的距离，由α混合加权得到最终像素颜色；对于同一位置的像素颜色，距离越近的参考视点得到的权值越大，α混合后剩余的空洞则交由后继步骤处理。

所述基于深度的空洞填补和边界处理包括：

首先根据空洞周围的深度值进行预处理，在水平和垂直两个方向上进行像素复制：根据其边界的深度值进行判断，将其外侧一定范围内的背景像素复制到前景；通过两个方向上的像素复制，空洞周围绝大部分前景被替换为周围的背景像素，而后对空洞区域进行相邻像素填充，此时填充空洞的参考区域被限定为背景像素；将填充好的空洞回填至原来的虚拟视点图像。

通过本发明提供的方法，首先在于采用了同步生成机制，即使用3D变换从已知视点与深度同步获取虚拟视点的图像和深度信息，降低了舍入误差的影响，并使用了一种边界深度判断的方法擦除背景中的伪影；其次通过基于深度空洞填补边界处理方法，有效的解决了空洞填补和前景边缘的失真问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的基于3D视频和自由视点电视的深度图像绘制的方法流程图；

图2是本发明实施例中的同步生成机制的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

针对虚拟视点合成中存在的伪影和空洞问题，提出一种基于深度图像的视点绘制新方法。该方法首先使用视点同步生成机制得到虚拟视点的图像和深度信息，并根据深度信息擦除背景伪影；其次，通过基于深度的空洞填补和边界处理方法进一步消除视点图像中的空洞和前景边缘失真。

绘制虚拟视点的关键在于将参考视点画面变换到虚拟视点，为此，本发明使用了一种视点同步生成机制，即通过3D变换模型，根据参考视点的图像和深度信息，同时生成其在虚拟视点下的图像和深度。视点同步生成获得的深度信息将进一步指导虚拟视点画面的绘制。

图1示出了本发明实施例中的基于3D视频和自由视点电视的深度图像绘制的方法流程图，包括：参考图像、深度图像、纹理图像的处理；同步生成机制；伪影擦除；视点合并；空洞填补及边界处理；模拟视点图像等。

（一）同步生成机制

图2示出了本发明实施例中的同步生成机制的流程图，为了得到虚拟视点的图像和深度值，Mori等人[7]首先通过3D变换生成虚拟视点的深度值，在使用中值滤波(median filter)和双边滤波(bilateralfilter)平滑虚拟视点深度值后，利用深度值的反向3D变换寻找参考视点中对应于当前位置的像素，以生成虚拟视点的图像。由于参考视点深度值存在的采样精度问题，变换后的点往往不处于画面的整数位置上，因此，这种先求取虚拟视点深度值而后求取图像的串行生成机制必会带来2次舍入误差。另外，反向3D变换需要额外计算虚拟视点到参考视点的变换关系，加大了计算量。

为避免Mori方法的内在弊端，减少舍入误差，降低计算量，本文采用了一种视点同步生成机制，即使用3D变换同时生成虚拟视点的图像和深度值，如公式(1.1)所示。首先求取各个深度值Z下的单应性矩阵H_z，然后分别将参考视点(u,v)处的图像I_R(u,v)和深度depth_R(u,v)同时变换到虚拟视点I_R(u′,v′)和depth_R(u′,v′)，对其坐标进行取整，以对应到整数像素位置。由于虚拟视点图像生成和深度生成使用同一个单一性矩阵，因此二者可以同时进行。

$\left\{\begin{array}{c}{H}_z{I}_R(u,v)=I_V(u^{\′},v^{\′})\\ H_z{\mathrm{depth}}_R(u,v)={\mathrm{depth}}_V(u^{\′},v^{\′})\end{array}---\left(1.1\right)\right.$

由于遮挡的存在，3D变换有可能造成像素重叠。使用深度缓冲可解决遮挡区域像素重叠的问题，将新投影的像素与当前位置像素的深度比较，若新投影的像素深度值小，则用新像素代替原来的像素。变换后的虚拟视点图像与深度图中存在着大量裂缝，可将此类细小的裂缝视作噪声，分别使用同一个中值滤波器去除。滤波后，画面中仍然存在着许多空洞，这类空洞包括2类，其中一类空洞由单视点遮挡引起；第二类空洞由错误的深度估计值或者参考视点共同遮挡引起。这2类空洞分别由不同的后续步骤加以处理。

（2）背景伪影擦除

由于前景和背景像素之间的边界存在着相互混淆，靠深度值不能对边界进行明确划分。因此，当从已知视点变换到虚拟视点时，背景画面上往往残留有前景物体的像素，从而在虚拟视点上产生伪影，即形成明显可见的前景轮廓，影响视觉质量。所以，擦除伪影是提高虚拟视点质量的首要目标，一个有效的方法就是扩大空洞区域，将图像中有可能产生伪影的背景区域擦除；而丢失的画面像素，可在视点合并阶段由虚拟视点另一侧视点的变换来填补。因此，伪影擦除的关键在于判断正确的擦除区域，这可以通过比较变换后的空洞两侧的深度值得到。将虚拟视点中的空洞区域标记为disocc，其边界区域标记为boundary，值为1，空洞左右两侧的点分别记为(u_LB,v)，(u_RB,v)，比较这2点的深度值差异，将深度值小的一侧的点值设为0，即擦除前景边界，如下式所示。

$\left\{\begin{array}{c}\mathrm{boundary}(u_{\mathrm{RB}},v)=0,\mathrm{depth}(u_{\mathrm{LB}},v)-\mathrm{dep}\mathrm{th}(u_{\mathrm{RB}},v)>\mathrm{threshold};\\ \mathrm{boundary}(u_{\mathrm{LB}},v)=0,\mathrm{depth}(u_{\mathrm{RB}},v)-\mathrm{depth}(u_{\mathrm{LB}},v)>\mathrm{threshold}.\end{array}\right.$

$---\left(1.2\right)$

若两侧的深度值之差小于阈值，则默认为二者均是背景边界，boundary保持不变。对剩余的标记为1的空洞边界区域进行3*3扩张加粗，即可消除绝大部分残留在背景上的前景像素。之后即可对2类空洞进行下一步的处理。

（三）视点合并

遮挡引起的第一类空洞可通过视点合并的方式加以消除。由于选用的参考视点处于虚拟视点的两侧，一个视点的遮挡区域在另一个视点中未必被遮挡，因此，绝大多数由遮挡引起的空洞可由不同视点的像素互补填充。从各个参考视点得到的虚拟视点公共部分则根据虚拟视点与参考视点的距离，由α混合加权得到最终像素颜色，如式(1.3)所示。对于同一位置的像素颜色，距离越近的参考视点得到的权值越大，α混合后剩余的空洞则交由后继步骤处理。

$I_V(u,v)=\left\{\begin{array}{cc}(1-\mathrm{\α})I_L(u,v)+\mathrm{\α}{I}_R(u,v)& {\mathrm{disocc}}_L(u,v)=0,{\mathrm{disocc}}_R(u,v)=0;\\ I_L(u,v)& {\mathrm{disocc}}_L(u,v)=0,{\mathrm{disocc}}_R(u,v)=1;\\ I_R(u,v)& {\mathrm{disocc}}_L(u,v)=1,{\mathrm{disocc}}_R(u,v)=0;\\ \mathrm{Holes}& {\mathrm{disocc}}_L(u,v)=1,{\mathrm{disocc}}_R(u,v)=1.\end{array}\right.$

$---\left(1.3\right)$

公式(1.3)中，I_L(u,v)表示由左参考视点变换得到的虚拟视点(u,v)处的像素值，I_R(u,v)表示由右参考视点得到的虚拟视点，I_V(u,v)则表示最终的虚拟视点，disocc表示相应的虚拟视点位置(u,v)是否处于空洞区域。α的值由虚拟视点和已知的参考视点之间的距离有关，如式(1.4)所示，t_V，t_L，t_R表示相对应摄像机外部参数中的平移矢量。

$\mathrm{\α}=\frac{|t_V-t_L|}{|t_V-t_L|+|t_V-t_R|}---\left(1.4\right)$

在合并视点的同时，需要同步合并虚拟视点的深度值，用以指导剩余空洞的填补与边界处理，类似于公式(1.3)。虚拟视点的参考深度值同样通过α混合各参考视点3D变换后的深度值得到。

（四）基于深度的空洞填补和边界处理

视点合并后的虚拟图像还会剩下部分空洞，这类空洞属于第二类空洞，由于在各个参考视点上都缺少对应的像素，通常只能由相邻像素值的颜色近似填充。传统的空洞填充方法［9］使用空洞外侧一定范围内所有的像素作为参考混合得到，然而空洞有时会处于前景物体与背景的边界。使用传统填补方法往往会导致前景的纹理过度扩张，超出实际的边界，造成失真现象，严重影响了视觉效果。

本发明在使用传统填充方法之前，首先根据空洞周围的深度值进行预处理，在水平和垂直两个方向上进行像素复制：根据其边界的深度值进行判断，将其外侧一定范围内的背景像素复制到前景。如式(1.5)所示，(u_LB,v)和(u_RB,v)分别为虚拟图像中空洞左右两侧的点，I_V表示像素颜色，depth表示深度值。

$\left\{\begin{array}{c}{I}_V(u_{\mathrm{RB}},v)=I_V(u_{\mathrm{LB}},v),\mathrm{depth}(u_{\mathrm{LB}},v)-\mathrm{dep}\mathrm{th}(u_{\mathrm{RB}},v)>\mathrm{threshold};\\ I_V(u_{\mathrm{LB}},v)=I_V(u_{\mathrm{RB}},v),\mathrm{depth}(u_{\mathrm{RB}},v)-\mathrm{depth}(u_{\mathrm{LB}},v)>\mathrm{threshold}.\end{array}\right.$

$---\left(1.5\right)$

通过两个方向上的像素复制，空洞周围绝大部分前景被替换为周围的背景像素，而后对空洞区域进行相邻像素填充，此时填充空洞的参考区域被限定为背景像素。将填充好的空洞回填至原来的虚拟视点图像。

综上，本发明的特点首先在于采用了同步生成机制，即使用3D变换从已知视点与深度同步获取虚拟视点的图像和深度信息，降低了舍入误差的影响，并使用了一种边界深度判断的方法擦除背景中的伪影；其次通过基于深度空洞填补边界处理方法，有效的解决了空洞填补和前景边缘的失真问题。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，Random AccessMemory）、磁盘或光盘等。

以上对本发明实施例所提供的一种基于3D视频和自由视点电视的深度图像绘制的方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种基于3D视频和自由视点电视的深度图像绘制的方法，其特征在于，包括如下步骤：

同步生产机制；

背景伪影擦除；

视点合并；

基于深度的空洞填补和边界处理。

2.如权利要求1所述的基于3D视频和自由视点电视的深度图像绘制的方法，其特征在于，所述同步产生机制包括：

采用了一种视点同步生成机制，即使用3D变换同时生成虚拟视点的图像和深度值，采用公式如下：

$\left\{\begin{array}{c}{H}_z{I}_R(u,v)=I_V(u^{\′},v^{\′})\\ H_z{\mathrm{depth}}_R(u,v)={\mathrm{depth}}_V(u^{\′},v^{\′})\end{array};\right.$

首先求取各个深度值Z下的单应性矩阵H_z，然后分别将参考视点(u,v)处的图像I_R(u,v)和深度depth_R(u,v)同时变换到虚拟视点I_R(u′,v′)和depth_R(u′,v′)，对其坐标进行取整，以对应到整数像素位置。

3.如权利要求2所述的基于3D视频和自由视点电视的深度图像绘制的方法，其特征在于，所述背景伪影擦除包括：

将虚拟视点中的空洞区域标记为disocc，其边界区域标记为boundary，值为1，空洞左右两侧的点分别记为(u_LB,v)，(u_RB,v)，比较这2点的深度值差异，将深度值小的一侧的点值设为0，即擦除前景边界，如下式所示：

$\left\{\begin{array}{c}\mathrm{boundary}(u_{\mathrm{RB}},v)=0,\mathrm{depth}(u_{\mathrm{LB}},v)-\mathrm{dep}\mathrm{th}(u_{\mathrm{RB}},v)>\mathrm{threshold};\\ \mathrm{boundary}(u_{\mathrm{LB}},v)=0,\mathrm{depth}(u_{\mathrm{RB}},v)-\mathrm{depth}(u_{\mathrm{LB}},v)>\mathrm{threshold}.\end{array}.\right.$

4.如权利要求3所述的基于3D视频和自由视点电视的深度图像绘制的方法，其特征在于，所述视点合并包括：

从各个参考视点得到的虚拟视点公共部分则根据虚拟视点与参考视点的距离，由α混合加权得到最终像素颜色；对于同一位置的像素颜色，距离越近的参考视点得到的权值越大，α混合后剩余的空洞则交由后继步骤处理。

5.如权利要求4所述的基于3D视频和自由视点电视的深度图像绘制的方法，其特征在于，所述基于深度的空洞填补和边界处理包括：

首先根据空洞周围的深度值进行预处理，在水平和垂直两个方向上进行像素复制：根据其边界的深度值进行判断，将其外侧一定范围内的背景像素复制到前景；通过两个方向上的像素复制，空洞周围绝大部分前景被替换为周围的背景像素，而后对空洞区域进行相邻像素填充，此时填充空洞的参考区域被限定为背景像素；将填充好的空洞回填至原来的虚拟视点图像。

Images