CN109712067A - 一种基于深度图像的虚拟视点绘制方法 - Google Patents

Abstract

本发明涉及一种基于深度图像的虚拟视点绘制方法，首先对参考视点对应的深度图像进行局部预处理在减少空洞的同时避免了滤波带来的失真；然后对左右参考视点分别采用基于反向映射的3D Warping方法得到两幅虚拟视图，经过3D变换后的图像中存在较大的裂纹和空洞，首先采用中值滤波去除虚拟图像中的细小裂纹。之后采用双向扩张法扩张空洞区域，消除可能产生伪影的像素点。接着将左右视点融合，消除大部分半遮挡空洞区域。最后，采用基于深度图的图像修复算法对仍存在的少量空洞进行填充，确保待填充区域与目标块深度一致性。本发明可减少虚拟试点的合成技术中出现的空洞和伪影现象，提高绘制精度，能够绘制出高质量的虚拟视点图像。

Description

一种基于深度图像的虚拟视点绘制方法

技术领域

本发明涉及三维视频技术领域，特别涉及一种基于深度图像的虚拟视点绘制方法。

背景技术

基于深度图的虚拟视点绘制技术是IBR技术中的一个重要发展方向，是在参考图像和对应深度图的基础上，利用几何映射的方法计算得到像素点在三维几何空间的坐标，然后再通过重投映的方法，投射到指定的虚拟平面上获得新视点。

这个虚拟视点的绘制过程可分为两个步骤：首先是将参考视图中的每个像素点根据其深度值反投影到三维空间中，计算出图像中像素的三维空间点坐标；然后再进行一次映射，即将空间点位置再重投影到指定的虚拟视点平面上，从而建立起参考视点与虚拟视点像素位置之间的对应关系，整个映射过程是需要从二维平面到三维空间最后再到二维平面，可以简称为3D-Warping(三维图像变换)。

通常，输入图像的像素位置不会映射到虚拟视点图像的整数位置，此时需要进行就近取整，然后将输入像素m_L的颜色值复制给虚拟视点像素m_V。由于取整效应，会造成虚拟视点图像中的一些像素在参考视点中找不到对应的映射点，另一种情况则是虚拟视点中的一个位置可能会对应参考视点中的多个不同位置，这两种情形会相应造成虚拟视点图像中出现空洞和伪影。

发明内容

鉴于上述问题，为了减少虚拟试点的合成(DIBR)技术中出现的空洞和伪影现象，提高绘制精度，本发明提供一种有效的虚拟视点合成方法，能够绘制出高质量的虚拟视点图像。

本发明实施例提供一种基于深度图像的虚拟视点绘制方法，包括：

S1、对左右参考视点分别所对应的深度图像进行局部预处理；

S2、对左右参考视点以及局部预处理后的左右参考视点分别所对应的深度图像，分别采用基于反向映射的3D Warping方法获得两幅虚拟视点图像；

S3、将所述两幅虚拟视点图像进行融合；

S4、并对融合后的视图进行深度图空洞填充及基于深度的图像修复处理，合成最终虚拟视点。

进一步地，所述S1步骤包括：边缘提取、区域选择和滤波处理步骤；

S11、边缘提取步骤：利用形态学操作实现边缘检测，该操作定义为：

式中，代表图像腐蚀操作，I₁代表初始深度图，_s代表的是腐蚀结构元，定义如下：

S12、区域选择步骤：对背景中的突变区域进行滤波，待滤波区域的大小与参考相机和虚拟相机之间的基线距离和景深的大小有关，具体定义如下：

(3)式中，ΔD是水平方向上相邻像素之间的深度值差值，h是水平方向上空洞的尺寸，b和f分别表示基线距离和焦距；Z_n和Z_f表示场景中距离相机最近和最远的距离；

S13、滤波处理步骤：根据所述S12步骤，标记出深度值突变区域，采用高斯滤波器对所述区域进行滤波。

进一步地，所述S2步骤包括：

S201、将左参考视点的深度图像根据3D Warping方程映射到虚拟视点位置；

s_Vd_V＝K_VR_VK_L ^-1Z_LWd_L+K_Vt_V (4)

(4)式中，d_l和d_v分别为左参考视点和目标虚拟视点深度图像素坐标位置，Z_Lw为由d_L

处的灰度值计算得到的深度；

S202、对d_v中的每一个像素位置(u,v)，根据由其灰度值定义的实际深度信息Z_Vw，将其反投影到三维空间中：

式中，C_V表示虚拟摄像机光心坐标，并满足：

S203、再将计算得到的三维坐标重投影到参考视点，即

从而找到虚拟视点中每个像素m_V在左参考视点中的对应像素点m_L，然后利用m_L的邻域像素进行插值，求得m_V的色彩值；

对于右视点执行S201～S203相同的过程，获得两幅合成视图，分别用I_L→V和I_R→V表示。

进一步地，所述S2步骤还包括：

S204、经过反向3D变换后，对得到的虚拟视点图像和深度图，采用中值滤波算法去除细小裂纹。

进一步地，所述S2步骤还包括：

S205、将经过3D变换后得到的虚拟视点中，空洞区域灰度值设为0，空洞边界设为1；通过设定深度图中的一个阈值M来限制空洞区域扩展的面积，计算空洞左右两侧边缘上的像素点的深度值之差，将深度值较小的一侧灰度值设为0，公式如下：

上式中，D(i_L,j_L)表示空洞左侧边缘像素点的深度值，D(i_R,j_R)表示空洞右侧边缘像素点的深度值；

通过将深度值较小的像素点设为0，擦除部分前景边界；

对空洞剩余灰度值为1的边界区域，采用3×3的模板进行扩张，使得边缘上可能产生伪影的区域全部变为空洞。

进一步地，所述S3步骤包括：

采用加权求和法对两幅虚拟视点图像I_L→V和I_R→V，进行融合；根据虚拟视点与参考视点之间的基线距离设定权重，输出即为对二者进行加权求和后的结果，具体如下：

式中t表示视点位置的平移矢量；权值α∈[0,1]；当虚拟视图中某个点在左视图中不可见时，表现为I_L→V中的空洞区域，此时用由右视图产生的I_R→V对其进行填充；

若某点在右视图中不可见时，I_R→V中也相应出现空洞，则用I_L→V对其进行填充；对左右视图中均可见的点，取其加权和值作为最终的色彩值；

进一步地，所述S4步骤包括：

对虚拟视点深度图进行深度图空洞填充，再进行基于深度的图像修复；

对虚拟视点彩色图进行基于深度的图像修复；

将基于深度的图像修复后的虚拟视点彩色图和虚拟视点深度图，合成最终虚拟视点

本发明的优点在于，本发明提供的一种基于深度图像的虚拟视点绘制方法：包括四个步骤：深度图局部预处理、反向3D-Warping、虚拟视点融合和基于深度的图像修复；本发明对左右参考视点对应的深度图像进行局部预处理在减少空洞的同时避免了滤波带来的失真，可减少虚拟试点的合成(DIBR)技术中出现的空洞和伪影现象，提高绘制精度，该方法绘制得到的虚拟视点图像质量高于标准VSRS等现有算法，能够绘制出高质量的虚拟视点图像。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明提供的基于深度图像的虚拟视点绘制方法的流程图。

图2为本发明提供的基于深度图像的虚拟视点绘制方法的逻辑图。

图3为本发明提供的深度图局部预处理过程示意图。

图4为本发明提供的绘制结果比较示意图。

图5为本发明提供的反向3D-Warping示意图。

图6为本发明提供的滤波前后示意图。

图7为本发明提供的背景伪影的消除前后示意图。

图8为本发明提供的权值α与基线距离的关系示意图。

图9为本发明提供的深度图修复前后示意图。

图10为本发明提供的图像空洞修复示意图。

图11为本发明提供的摄像机视点配置示意图。

图12为本发明提供的视频序列Breakdancers四种方法的绘制结果比较示意图。

图13为本发明提供的又一视频序列“Breakdancers”四种方法的绘制结果比较示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明提供了本发明实施例提供一种基于深度图像的虚拟视点绘制方法，参照图1所示，包括：

S1、对左右参考视点分别所对应的深度图像进行局部预处理；

S2、对左右参考视点以及局部预处理后的左右参考视点分别所对应的深度图像，分别采用基于反向映射的3D Warping方法获得两幅虚拟视点图像；

S3、将所述两幅虚拟视点图像进行融合；

S4、并对融合后的视图进行深度图空洞填充及基于深度的图像修复处理，合成最终虚拟视点。

本实施例中，首先对参考视点对应的深度图像进行局部预处理在减少空洞的同时避免了滤波带来的失真；然后对左右参考视点分别采用基于反向映射的3D Warping方法得到两幅虚拟视图，经过3D变换后的图像中存在较大的裂纹和空洞，首先采用中值滤波去除虚拟图像中的细小裂纹。之后采用双向扩张法扩张空洞区域，消除可能产生伪影的像素点。接着将左右视点融合，消除大部分半遮挡空洞区域。最后，采用基于深度图的图像修复算法对仍存在的少量空洞进行填充，确保待填充区域与目标块深度一致性。本发明可减少虚拟试点的合成(DIBR)技术中出现的空洞和伪影现象，提高绘制精度，该方法绘制得到的虚拟视点图像质量高于标准VSRS等现有算法，能够绘制出高质量的虚拟视点图像。

为了减少DIBR技术中出现的空洞和伪影现象，提高绘制精度，本发明设计出一种有效的虚拟视点合成方法，能够绘制出高质量的虚拟视点图像。算法主要包括四个步骤：深度图局部预处理、反向3D-Warping、虚拟视点融合和基于深度的图像修复，逻辑过程如图2所示。

下面将详细介绍每个步骤。

1、局部深度图预处理

通常情况下，虚拟视点中的空洞只出现在前景和背景之间的视差值突变区域。为了减少空洞，只对具有深度值突变的区域进行滤波，同时保留其它区域深度值的原始值。基于此，本发明提出了局部深度图滤波器算法，在修正深度图的同时不会带来任何的模糊和几何失真。深度值突变区域的检测分为两个步骤：边缘提取和区域选择。

首先，利用形态学操作实现边缘检测，因为其速度比Canny算子边缘检测的快100倍左右。此操作定义为：

式中，代表图像腐蚀操作，I₁代表初始深度图，s代表的是腐蚀结构元，定义如下：

图3为深度图局部预处理过程，(a)Breakdancers深度图的局部放大图(b)边缘提取结果(c)图像整体滤波结果(d)局部滤波结果，边缘检测的结果如图3(b)所示。

在深度图预处理中，只对背景中的突变区域进行滤波，并确保前景中深度值信息的准确性。待滤波区域的大小与参考相机和虚拟相机之间的基线距离和景深的大小有关，具体定义如下：

式中，ΔD是水平方向上相邻像素之间的深度值差值，h是水平方向上空洞的尺寸，b和f分别代表基线距离和焦距。Z_n和Z_f代表场景中距离相机最近和最远的距离。

在标记出深度值突变区域后，采用高斯滤波器对该区域进行滤波，以减少失真。当虚拟视点图像位于参考视点左侧时，由低到高突变的区域容易出现空洞；相反，当虚拟视点图像位于参考视点右侧时，由高到低突变的区域容易出现空洞。因此，只需过滤部分深度值突变区域。

图3(c)是对整个边缘区域进行滤波的深度图结果，图3(d)只有左侧边缘矩形框中的背景区域像素被模糊。可以看到，通过本发明算法，深度图中突变区域在滤波的同时，不会对其他原始区域造成任何模糊。图4所示为采取深度图预处理步骤与否的结果比较图，从图4(b)中可以看出，空洞区域在一定程度上减小，但是总体效果不明显，需要进一步处理。

2、基于反向映射的3D Warping

现有多数视点合成算法采用的都是前向映射的方法，即直接应用3D Warping方程将左右参考视点的纹理图像映射到虚拟视点中。这种方法的一个显著缺点是参考视点图像中的某些像素会映射到目标视点中的分数像素位置，从而使合成视点图像没有被正确的重采样并导致裂纹的产生。为此本发明采用反向映射算法，如图5所示。其核心思想是从虚拟视点出发，寻找虚拟视点中的像素所对应的参考视点中的位置。当某个像素点被映射到参考视点中的分数像素位置时，则利用周围已知的四个邻域像素对其进行插值，从而计算得到其纹理信息。

具体步骤如下：

第一步：将左参考视点的深度图像根据3D Warping方程映射到虚拟视点位置。

s_Vd_V＝K_VR_VK_L ^-1Z_LWd_L+K_Vt_V (4)

(4)式中，d_l和d_v分别为左参考视点和目标虚拟视点深度图像素坐标位置，Z_Lw为由d_L处的灰度值计算得到的实际深度。

第二步：对d_V中的每一个像素位置(u,v)，根据由其灰度值定义的实际深度信息Z_Vw，将其反投影到三维空间中：

(5)式中，C_V表示虚拟摄像机光心坐标，并满足：

第三步：再将计算得到的三维坐标重投影到参考视点，即

从而找到虚拟视点中每个像素m_V在左参考视点中的对应像素点m_L，然后利用m_L的邻域像素进行插值，求得m_V的色彩值。

上述过程是以左视点为参考视点，对于右视点可以执行相同的过程，这样可以得到两幅合成视图，分别用I_L→V和I_R→V表示。经过反向3D变换后，得到的虚拟视点图像和深度图中均存在较大的裂缝和空洞，可采用中值滤波算法去除细小裂纹，如图6所示，反向3D变换图6(a)滤波前的“Breakdancers”图片、图6(b)滤波后“Breakdancers”图片、图6(c)滤波前“Breakdancers”深度图、图6(d)滤波后“Breakdancers”深度图。

经过滤波后原彩色图和深度图中的细小裂纹消失。剩余的大空洞区域将在后续步骤中加以处理。

3、伪影的消除

当虚拟视点图像位于参考视点右侧时，经过反向3D变换后，在深度值由高到低突变的区域容易出现空洞，这主要是由遮挡原因造成的，视点在左视图中不可见，在右视图中可见。在空洞边缘处，当前景图像和背景图像的纹理较为相似时，容易造成深度信息不准确，使前景像素被映射到背景中，背景像素被映射到前景中，导致合成的虚拟视点图像中出现重叠和伪影，从而影响主观视觉感受。有效去除伪影的方法就是扩大空洞区域，本发明提出一种对称双向扩展法，可以很好的解决空洞边缘处出现的伪影问题。

首先，由于伪影一般只出现在前景边缘处，因此，本发明的目的就是擦除深度值不准确区域，扩展空洞区域。将经过3D变换后得到的虚拟视点中，空洞区域灰度值设为0，空洞边界设为1。通过设定深度图中的一个阈值M来限制空洞区域扩展的面积，计算空洞左右两侧边缘上的像素点的深度值之差，将深度值较小的一侧灰度值设为0，公式如下：

(9)式中，D(i_L,j_L)代表的是空洞左侧边缘像素点的深度值，D(i_R,j_R)是空洞右侧边缘像素点的深度值。上述阈值M根据空洞区域希望扩展的面积来设定M，取值范围为(0，m](m为伪影到真实像点的最大距离)，具体值通过实验来设定。

通过将深度值较小的像素点设为0，可擦除部分前景边界，为了进一步提高精度，对空洞剩余灰度值为1的边界区域，采用3×3的模板进行扩张，使得边缘上可能产生伪影的区域全部变为空洞。图7背景伪影的消除前后示意图，图7(a)空洞未扩张的Breakdancers局部放大图、图7(b)空洞扩张后Breakdancers局部放大图、图7(c)空洞未扩张的Ballet局部放大图、图7(d)空洞扩张后Ballet局部放大图。

图7(a)为未经过空洞扩张进行3D变换得到的图像，图中存在明显的伪影；图7(b)经过本发明的双向扩张算法后绘制得到的虚拟视点图像，伪影得到的明显的消除。

4、视点合并

在获得分别由左右两个参考视点绘制得到的虚拟视点图像I_L→V和I_R→V之后，下一步操作是对它们进行融合以充分利用每个参考视点的信息。通用的融合策略是加权求和法，即根据虚拟视点与参考视点之间的基线距离设定权重，输出即为对二者进行加权求和后的结果。具体如下：

式中t表示视点位置的平移矢量。当虚拟视图中某个点在左视图中不可见时，表现为I_L→V中的空洞区域，此时用由右视图产生的I_R→V对其进行填充；同理，若某点在右视图中不可见时，I_R→V中也相应出现空洞，则用I_L→V对其进行填充；对左右视图中均可见的点，取其加权和值作为最终的色彩值。权值α∈[0,1]与基线距离的关系如图8所示，距离虚拟视点越近的参考视点权值越大，相反则权值越小。

5、改进的图像修复算法

Criminisi算法在图像修复的过程中，一个显著的缺点是部分属于背景区域的空洞会被前景信息错误地填充。基于此，本发明提出了一种基于深度的Criminisi图像修复算法，通过给予背景信息相对于前景信息更高的优先级，使得在相同情况下，优先选择背景区域信息对空洞进行填充。因此，在进行彩色图像修复之前需要先修复合成的深度图。

由于深度图是灰度图，且不包含纹理信息，因此，深度图中的空洞区域可以采用深度图外推法，利用空洞周围的背景信息进行填充。当虚拟视点位于参考视点左侧时，空洞出现在深度值突变区域的左侧，且主要出现水平方向，因此填充空洞时主要从水平方向寻找背景点填充空洞信息。如图9所示深度图修复，图9(a)修复前、图9(b)修复后。A和B处于同一条水平线上，空洞点从左向右顺序填充，它们之间存在的遮挡点采用A和B之间具有较小深度值的像素进行填充。公式为：

D[p]＝min(D[m_l],D[m_r]) (12)

对于合成的虚拟彩色图像，本发明在传统Criminisi’s算法的以下两个方面进行了一些改进：优先级估计和最佳匹配块准则。

1、填充顺序估计

首先，计算出空洞边界上所有像素的优先级。如图10所示，设Ω为待修复的空洞区域，则对应于输入图像I和空洞Ω的源区域定义为Φ＝I-Ω，空洞区域的边界表示为δΩ。设像素p∈δΩ，令Ψ_p表示以p为中心的目标匹配块，则p的优先级定义为：

P(p)＝C(p)D(p) (13)

(13)(14)式中C(p)表示可信度项，D(p)表示数据项，|Ψ_p|表示Ψ_p的面积，n_p是在像素p处垂直于δΩ的单位向量，表示等照度线方向算子，α是归一化系数，对灰度图像可取典型值255。可信度项C(p)能针对匹配块中包含源区域像素的多少而给予不同取值，包含的源区域像素越多，则p点的可信度越高。数据项D(p)则会对处于强边缘的延线上的点给予更高优先级。在初始条件下有：

随着空洞的不断填充，新空洞边界上像素的优先级需要及时更新，C(p)被更新为P(p)。随着修补的进行，由于新填充的像素值与真实值之间存在一些误差，且新填充的像素又被视为源区域像素，对剩余的空洞进行填补，这使得误差随着填补的进行而逐渐累计，因此，新填充像素的置信度项C(p)逐渐变小或甚至为零。在式(13)下，无论数据项D(p)多大，优先级将可能保持为零，无法确定出空洞填充的顺序。因此将式(13)修改为：

P(p)＝α×C(p)+β×D(p)+γ×L(p) (16)

式中，α,β和γ是默认权重系数，本发明中设为0.5,0.3,0.2；L(p)定义为对应的深度值的逆方差，定义为：

(17)式中，|Z_p|是以像素p为中心的深度图中区域Z_p的面积；Z_p(q)是位于q点的像素的深度值，是区域Z_p内像素的均值。基于此，对具有近似深度信息的区域赋予更大的优先级，使得背景信息的优先级高于前景信息。

此外，由于随着修复的进行，新填充像素的置信度变的越来越小，而Criminisi’s算法中，将新填充像素与源像素的置信度均赋为1，使得误差得以累计。为了防止累计误差的传播，置信度项被更新为如下公式：

式中，y_i上一个待匹配块中的已知像素点；x_i最佳匹配块中对应的像素点；N是待匹配块ψ_p中已知像素点的个数；MSE是待匹配块和最佳匹配块中像素点的均方差，均方差越大，置信度项的值越小。

2、最佳匹配块准则

通过优先级计算，可以计算出空洞边界δΩ上所有像素的优先级，然后选择拥有最高优先级的像素对应的目标区域作为第一个待填充的目标块，用块匹配算法在源区域Φ中寻找与最相似的匹配块对其进行填充。为了确保待填充区域与最佳匹配块的深度一致性，本发明在传统的度量函数中加入深度信息，从而找到最佳匹配块，匹配代价函数为：

式中，平方差和(Sum of Squared Difference，SSD)作为度量函数，用以度量两个匹配块和Ψ_q，以及深度图中对应的待填充块和最佳匹配块Z_q的相似程度。

与Criminisi’s算法相比，改进后的代价函数由于加入了深度信息，可以确保待匹配块与最佳匹配块深度一致性。找到最佳匹配块后，将中的色彩信息复制到目标块中，即可完成第一次填补。然后，更新C(p)的值：

不断重复上述过程，即可完成对空洞区域的填补。

实验结果与分析

1基于标准视频序列的估计

本发明使用微软亚洲研究院发布的视频序列“Ballet”、“Breakdancers”、“Balloon”和“Champagne-tower”作为测试数据。每组视频序列均包含8个视点，每个视点有100帧彩色图像及其对应的深度图，每个视点对应的摄像机位置如图11所示。本发明测试视频序列和目标视频序列的详细信息如表1所示。

表1测试视频序列和目标序列数据

首先选取Breakdancers和Ballet中的第一帧图像进行测试，填充块和最佳匹配块搜索区域大小分别设为5×5和45×45。本发明算法的测试结果如图12和图13所示，可以看出本发明算法绘制的图像质量较高，基本能满足实际应用需求。同时与当前算法以及动态专家组MPEG提供的视点合成标准参考方法VSRS进行了对比，主要区别在图中红色矩形框显示。

图12和图13中相比于本发明算法结果，图12、13中(b)、(c)、(d)中有误修补区域，如矩形框所示,左侧为原图，右图为左侧矩形框的局部放大。因为在修复空洞时，没有考虑深度信息一致性，导致一些空洞点被前景像素填充。此外，在优先级计算阶段，这些算法赋予新填充像素与源像素具有相同的置信度，使得累计误差逐渐变大，使得空洞区域被错误填充。同时算法只考虑了反向映射算法消除裂纹，但是没有考虑空洞边缘处深度值不精确带来的伪影，使得其在边缘区域存在明显伪影，如A3和C3所示。通过主观比较，可以看出本发明算法在Ballet和Breakdancers中具有较好的绘制结果，有效消除了伪影、裂纹等问题。

表2虚拟图像的客观比较结果

由于主观评价具有一定的局限性，本发明采用PSNR以及SSIM两个评价指标作为绘制出的图像质量评价标准，分别选取“Ballet”，“Breakdancers”，“Balloon”和“Champagne-tower”视频序列的前50帧进行实验，本发明算法较VSRS算法平均SSIM提高了0.01～0.02，PSNR提高了0.5～2.37dB。

基于实际场景图像的绘制结果：

为了验证真实场景下图像的绘制效果，本发明采用拍摄的真实场景图像“Aloe”、“Birds”和获取的深度图进行虚拟视点绘制，得到左右相机中间三个位从左向右依次为：α＝0.25，α＝0.5以及α＝0.75虚拟视点下的图像。其中深度图分别采用由代价函数和CNN获得的图像，并将绘制出的虚拟视点和深度图进行比较，可以看出，由于采用传统代价函数匹配得到深度图像精度不高，导致基于深度图像绘制的虚拟视点图像精度较低，而基于CNN算法的深度图绘制得到的虚拟视点更为精确。因此，深度图的精度对虚拟视点图像的质量有着较大的影响。可以通过提高视差图的精度来进一步提高绘制图像的质量。

本发明实施例提供一种基于深度图像的虚拟视点绘制方法，首先对参考视点对应的深度图像进行局部预处理在减少空洞的同时避免了滤波带来的失真；然后对左右参考视点分别采用基于反向映射的3D Warping方法得到两幅虚拟视图，经过3D变换后的图像中存在较大的裂纹和空洞，首先采用中值滤波去除虚拟图像中的细小裂纹。之后采用双向扩张法扩张空洞区域，消除可能产生伪影的像素点。接着将左右视点融合，消除大部分半遮挡空洞区域。最后，采用基于深度图的图像修复算法对仍存在的少量空洞进行填充，确保待填充区域与目标块深度一致性。实验结果表明该方法绘制得到的虚拟视点图像质量高于标准VSRS等现有算法，PSNR平均提高了0.5-2.37dB，SSIM平均提高0.01-0.02。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于深度图像的虚拟视点绘制方法，其特征在于，包括：

S1、对左右参考视点分别所对应的深度图像进行局部预处理；

S2、对左右参考视点以及局部预处理后的左右参考视点分别所对应的深度图像，分别采用基于反向映射的3D Warping方法获得两幅虚拟视点图像；

S3、将所述两幅虚拟视点图像进行融合；

S4、并对融合后的视图进行深度图空洞填充及基于深度的图像修复处理，合成最终虚拟视点。

2.如权利要求1所述的一种基于深度图像的虚拟视点绘制方法，其特征在于，所述S1步骤包括：边缘提取、区域选择和滤波处理步骤；

S11、边缘提取步骤：利用形态学操作实现边缘检测，该操作定义为：

式中，代表图像腐蚀操作，I₁代表初始深度图，s代表的是腐蚀结构元，定义如下：

S12、区域选择步骤：对背景中的突变区域进行滤波，待滤波区域的大小与参考相机和虚拟相机之间的基线距离和景深的大小有关，具体定义如下：

(3)式中，ΔD是水平方向上相邻像素之间的深度值差值，h是水平方向上空洞的尺寸，b和f分别表示基线距离和焦距；Z_n和Z_f表示场景中距离相机最近和最远的距离；

S13、滤波处理步骤：根据所述S12步骤，标记出深度值突变区域，采用高斯滤波器对所述区域进行滤波。

3.如权利要求1所述的一种基于深度图像的虚拟视点绘制方法，其特征在于，所述S2步骤包括：

S201、将左参考视点的深度图像根据3DWarping方程映射到虚拟视点位置；

s_Vd_V＝K_VR_VK_L ^-1Z_LWd_L+K_Vt_V (4)

(4)式中，d_l和d_v分别为左参考视点和目标虚拟视点深度图像素坐标位置，Z_Lw为由d_L处的灰度值计算得到的深度；

S202、对d_v中的每一个像素位置(u,v)，根据由其灰度值定义的实际深度信息Z_Vw，将其反投影到三维空间中：

式中，C_V表示虚拟摄像机光心坐标，并满足：

S203、再将计算得到的三维坐标重投影到参考视点，即

从而找到虚拟视点中每个像素m_V在左参考视点中的对应像素点m_L，然后利用m_L的邻域像素进行插值，求得m_V的色彩值；

对于右视点执行S201～S203相同的过程，获得两幅合成视图，分别用I_L→V和I_R→V表示。

4.如权利要求3所述的一种基于深度图像的虚拟视点绘制方法，其特征在于，所述S2步骤还包括：

S204、经过反向3D变换后，对得到的虚拟视点图像和深度图，采用中值滤波算法去除细小裂纹。

5.如权利要求4所述的一种基于深度图像的虚拟视点绘制方法，其特征在于，所述S2步骤还包括：

S205、将经过3D变换后得到的虚拟视点中，空洞区域灰度值设为0，空洞边界设为1；通过设定深度图中的一个阈值M来限制空洞区域扩展的面积，计算空洞左右两侧边缘上的像素点的深度值之差，将深度值较小的一侧灰度值设为0，公式如下：

上式中，D(i_L,j_L)表示空洞左侧边缘像素点的深度值，D(i_R,j_R)表示空洞右侧边缘像素点的深度值；

通过将深度值较小的像素点设为0，擦除部分前景边界；

对空洞剩余灰度值为1的边界区域，采用3×3的模板进行扩张，使得边缘上可能产生伪影的区域全部变为空洞。

6.如权利要求3所述的一种基于深度图像的虚拟视点绘制方法，其特征在于，所述S3步骤包括：

采用加权求和法对两幅虚拟视点图像I_L→V和I_R→V，进行融合；根据虚拟视点与参考视点之间的基线距离设定权重，输出即为对二者进行加权求和后的结果，具体如下：

式中t表示视点位置的平移矢量；权值α∈[0,1]；当虚拟视图中某个点在左视图中不可见时，表现为I_L→V中的空洞区域，此时用由右视图产生的I_R→V对其进行填充；

若某点在右视图中不可见时，I_R→V中也相应出现空洞，则用I_L→V对其进行填充；对左右视图中均可见的点，取其加权和值作为最终的色彩值。

7.如权利要求3所述的一种基于深度图像的虚拟视点绘制方法，其特征在于，所述S4步骤包括：

对虚拟视点深度图进行深度图空洞填充，再进行基于深度的图像修复；

对虚拟视点彩色图进行基于深度的图像修复；

将基于深度的图像修复后的虚拟视点彩色图和虚拟视点深度图，合成最终虚拟视点。