CN102957936A - 从视频单视点到多视点的虚拟视点生成方法 - Google Patents

Abstract

本发明公开了一种从视频单视点到多视点的虚拟视点生成方法，它包括：1）输入二维参考视频源和对应的深度图，把视频源和深度图分解为一帧一帧的参考视点图像；2）使用基于条带的全局对称修复算法和逆向迭代算法对参考视点图像的图像边界进行纹理扩展；3）使用深度图像绘制技术对扩展完的参考视点图像根据深度图进行3D坐标转换，得到包含其余n个视点的虚拟视点图像；4）把3D映射之后的虚拟视点图像进行原分辨率裁剪；5）采用基于深度信息的可信度最优全局修复算法对裁剪后的虚拟视点图像的图像空洞进行填补；6）重复上述步骤，直到整个参考视频源所有参考视点图像修复完毕，得到整个多视点视频源。

Description

从视频单视点到多视点的虚拟视点生成方法

技术领域

本发明涉及一种3D视频自由立体显示技术，具体来说，涉及到一种从视频单视点到多视点的虚拟视点生成方法。 

背景技术

随着数字通信技术和计算机技术的快速发展，3D电视和自由立体视频越来越吸引人们的眼球。多视点视频（即在不同方位可以看到不同的角度的立体场景），被认为拥有非常广阔的应用前景。由于3D采集和视频传输的局限性，同时采集和传输多个视点的视频难度很高，因此虚拟视点的合成技术成为多视点视频源制作中的关键技术 

合成多视点视频的主要方式有两种：基于模型的和基于图像渲染的。基于模型的方法由于依赖与场景的复杂度，运算量比较大，不容易实现。基于图像渲染的方法根据2D图像产生虚拟视点，和场景复杂度无关，因此成为了主流虚拟视点合成方式。基于图像渲染的方法中,基于深度图的图像渲染（DIBR）方式是一种最有效的方式。这种方法仍然存在以下缺陷：本应该在虚拟视电中可见的区域在原始视点中是遮挡的，即在虚拟视点中出现的物体或者背景在原始图像中是不存在的，这样就成了空洞，表现在深度图中深度图突变的边界处。 

发明内容

针对以上的不足，本发明的目的是提供一种从视频单视点到多视点的虚拟视点生成方法，它包括：步骤1）提取视频源和对应的深度图，将视频源和对应的深度图分解为一帧一帧的参考视点图像；步骤2）对参考视点图像的图像边界进行纹理扩展；步骤3）对扩展完的参考视点图像根据深度图进行3D坐标转换，得到包含其余n个视点的虚拟视点图像；步骤4）把3D映射之后的虚拟视点图像进行原分辨率裁剪；步骤5）对裁剪后的虚拟视点图像的图像空洞进行填补；步骤6）重复上述步骤，直到整个参考视频源所有参考视点图像修复完毕，得到整个多视点视频源，其中，n为自然数。 

所述步骤2）使用基于条带的全局对称修复算法和逆向迭代算法对参考视点图像的图像边界进行纹理扩展，具体流程为：21）对参考视点图像和对应的深度图扩展一定象素宽度，生成边界修复模板生成；22）设计包括相似度能量函数和平滑能量函数的马尔可夫能量函数；23）采用基于条带的形式设计逆向迭代神经网络节点；24）设置修复节点需要参考的像素范围；25）采用BP算法选取待修复节点参考节点；26）使用逆向迭代算法求取马尔可夫能量函数总和最小时待修复节点所对应的参考节点，使用求取到的最优参考节点对待修复节点进行修复；27）重复上述步骤，把所有的条带修复完成，则完成边界扩展纹理修复以及相关深度图的修复扩展。 

所述步骤3）使用深度图像绘制技术对扩展完的参考视点图像根据深度图进行3D坐标转换，具体流程为：31）将修复后的参考视点图像根据 深修复后的深度图转换到世界坐标；32）将世界坐标转换到虚拟视点。 

所述步骤31）中，对于错误的深度值以及非整形的深度值使用一对多的方式映射。 

对于一个虚拟视点中的一个坐标处有多个候选像素则采用深度值最小的像素值。 

所述步骤5）采用基于深度信息的可信度最优全局修复算法对裁剪后的虚拟视点图像的图像空洞进行填补，具体流程为：51）设计包括相似度能量函数和平滑能量函数的马尔可夫能量函数；52）对裁剪后的虚拟视点图像设置修复模板；53）采用基于条带的形式设计逆向迭代神经网络节点；54）为每个待修复节点设置参考节点的索引列表，设置参考节点范围；55）选取待修复节点参考节点；56）对条带内的所有待修复节点使用其最优的参考节点进修修复；57）重复上述步骤，直到这一帧的所有虚拟视点修复完毕。 

所述步骤56）还包括：对于还是存在的空洞，则采用去空洞缩放算法进行处理。 

本发明的有益效果：本发明特别针对需要生成边界视点，或者只有2D+D的视频源，或者是从2D转3D的情况，直接对其进行修复，不用处理深度图，不会产生前景失真，也不会带来几何畸变，而且处理后的图像质量更高。 

附图说明

图1为本发明的处理流程图； 

图2为本发明的参考视点图像的示意图； 

图3为本发明的参考视点图像的深度图的示意图； 

图4为本发明的图像边界纹理扩展的示意图； 

图5为本发明的边界修复模板的示意图； 

图6为本发明的图像边界纹理扩展后的示意图； 

图7为本发明的剪切成原分辨率的虚拟视点图像深度图的示意图； 

图8为本发明的剪切成原分辨率的虚拟视点图像的示意图； 

图9为本发明的参考视点图像生成的虚拟视点图像的深度图的示意图； 

图10为本发明的参考视点图像生成的虚拟视点图像的示意图； 

图11为本发明的剪切前虚拟视点图像深度图的示意图； 

图12为本发明的剪切前虚拟视点图像的示意图； 

图13为本发明的空洞修复后虚拟视点图像深度图的示意图； 

图14为本发明的空洞修复后虚拟视点图像的示意图； 

图15为本发明的图像空洞填补的示意图。 

具体实施方式

下面结合附图对本发明的进行进一步阐述。 

如图1至图15所示，本发明的从视频单视点到多视点的虚拟视点生成方法具体包括如下步骤： 

1）输入二维参考视频源和对应的深度图，把视频源和深度图分解为一帧一帧的参考视点图像。 

2）使用基于条带的全局对称修复算法和逆向迭代算法对参考视点图像的图像边界进行纹理扩展，如图4所示：S区域表示参考区域，T区域 表示待修复区域，使用S区域的像素去修复T区域内的空白像素，gap表示两个相邻节点的像素距离，一个节点代表一个像素块，一个像素块长和宽都等于2倍的gap，TT表示在T区域内的2个像素块重叠的区域，ST表示参考区域和待修复区域的重叠区域，白色节点表示待修复节点，黑色节点表示参考节点，一个待修复节点有一系列的参考节点，目标是在S区域内找到能最好修复T区域内节点的参考节点。 

其具体过程如下： 

21）对参考视点图像和对应的深度图扩展一定象素宽度，生成边界修复模板生成。具体为：首先对参考视点图像和对应的深度图的左右两侧分别扩展100个像素，对应扩展位置的每个像素的值设置为0；然后设置与参考视点图像相对应的修复模板，设定扩展位置的像素的值为0，参考帧位置的像素的值为255，其中0表示需要修复的区域； 

22）设计包括相似度能量函数和平滑能量函数的马尔可夫能量函数。其中，相似度能量函数表示从源区域的像素块和修复区域的像素块的相似度，平滑能量函数则代表相邻修复像素块之间的平滑度， 

$\begin{array}{cc}E\left(X\right)=\underset{i\∈\mathrm{ST}}{\mathrm{\Σ}}{E}_1\left(X_i\right)+\underset{(i,j)\∈\mathrm{TT}}{\mathrm{\Σ}}{E}_2(x_i,x_j)& \left(1\right)\\ E_1\left(x_i\right)=\mathrm{\λ}\left(i\right)\·d(x_i,S)& \left(2\right)\\ E_2(x_i,x_j)=k_1\mathrm{\λ}\left(i\right)E_2^g(x_i,x_j)+k_2\mathrm{\λ}\left(j\right)E_2^s(x_i,x_j)& \left(3\right)\\ E_2^g(x_i,x_j)=d(x_i,x_j)& \left(4\right)\\ E_2^s(x_i,x_j)=d_{\mathrm{gx}}^2(x_i,x_j)+d_{\mathrm{gv}}^2(x_i,x_j)& \left(5\right)\end{array}$

其中，E(X)表示总的马尔可夫能量函数,E₁代表从T区域内的待修 复节点的参考节点和S区域内的重叠区域ST的均方差， 

表示T区域内的两个待修复节点的参考节点的重叠区域TT内的均方差， 

表示横向的梯度和纵向的梯度平方之和，k₁和k₂表示权重，l表示当前节点的可信度； 

23）设计逆向迭代（back propagation简称BP）神经网络节点：为加快修复速度，采用基于条带的形式，即以gap（节点距离）为宽度在修复边界处设置节点，以一列内的节点作为一个条带进行修复； 

24）设置修复节点需要参考的像素范围：把参考范围之内的节点加入该节点的参考节点索引列表，其中每一个参考节点具有两个索引值，正向为一个索引值，逆向为一个索引之，即求取能量函数时，正向索引值表示像素块和像素块是左上角对应左上角像素，逆向索引值时，像素块和像素块是左上角像素对应右上角像素； 

25）选取待修复节点参考节点：采用BP（逆向迭代）算法对条带内的所有节点求取最小能量函数值所对应的参考节点，此参考节点为最终用来修复的节点； 

26）使用逆向迭代算法求取马尔可夫能量函数总和最小时待修复节点所对应的参考节点，使用求取到的最优参考节点对待修复节点进行修复； 

27)重复上述步骤，把所有的条带修复完成，则完成边界扩展纹理修复以及相关深度图的修复扩展。 

3）使用深度图像绘制技术(DIBR)对扩展完的参考视点图像根据深度图进行3D坐标转换，得到包含其余n个视点的虚拟视点图像，具体过程为：首先将修复后的参考视点图像根据深修复后的深度图转换到世界坐 标；然后将世界坐标转换到虚拟视点。其中，对于错误的深度值以及非整形的深度值使用一对多的方式映射，即从参考视频图像里面的一个像素值，映射到它对应虚拟视点中像素值的相邻4个像素值，然后对于一个虚拟视点中的一个坐标处有多个候选像素则采用深度值最小的像素值。 

4）把3D映射之后的虚拟视点图像进行原分辨率裁剪，保持虚拟视点图像和参考视点图像具有相同大小的分辨率。 

5）采用基于深度信息的可信度最优全局修复算法对裁剪后的虚拟视点图像的图像空洞进行填补，具体过程为： 

51）设计包括相似度能量函数和平滑能量函数的马尔可夫能量函数； 

52）对裁剪后的虚拟视点图像设置修复模板，空洞处为待修复区域，其他区域为修复参考区域，由于空洞主要存在于垂直方向，故把虚拟视点图像以条带的形式划分，以条带的形式进行修复； 

53）设计逆向迭代（back propagation简称BP）神经网络节点：为加快修复速度，采用基于条带的形式，即以gap（节点距离）为宽度在修复边界处设置节点，以一列内的节点作为一个条带进行修复； 

54）为每个待修复节点设置参考节点的索引列表，设置参考节点范围，只有深度值小于阀值的节点才列入参考节点列表，如图使用S区域去修复T区域，D区域表示前景，不作为参考区域； 

55）选取待修复节点参考节点，对条带内的所有节点使用BP神经网络进行求取马尔可夫（MRF）能量函数最小值，这是修复节点所对应的参考节点索引值，即为最佳参考像素块； 

56）对条带内的所有待修复节点使用其最优的参考节点进修修复； 

57）对于还是存在的空洞，则采用去空洞缩放算法进行处理，具体为：使用高斯算子对原图H进行缩小，缩小时空洞处像素去除，得到图像H1，然后再放大到与原图H等大小的图片F，使用图片F相对应的像素去填补H中的空洞； 

58）重复上述步骤，直到这一帧的所有虚拟视点修复完毕。 

6）重复上述步骤，直到整个参考视频源所有参考视点图像修复完毕，得到整个多视点视频源。 

以上所述仅为本发明的较佳实施方式，本发明并不局限于上述实施方式，在实施过程中可能存在局部微小的结构改动，如果对本发明的各种改动或变型不脱离本发明的精神和范围，且属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变型。 

Claims (7)

1.一种从视频单视点到多视点的虚拟视点生成方法，其特征在于，它包括：

步骤1）提取视频源和对应的深度图，将视频源和对应的深度图分解为一帧一帧的参考视点图像；

步骤2）对参考视点图像的图像边界进行纹理扩展；

步骤3）对扩展完的参考视点图像根据深度图进行3D坐标转换，得到包含其余n个视点的虚拟视点图像；

步骤4）把3D映射之后的虚拟视点图像进行原分辨率裁剪；

步骤5）对裁剪后的虚拟视点图像的图像空洞进行填补；

步骤6）重复上述步骤，直到整个参考视频源所有参考视点图像修复完毕，得到整个多视点视频源，

其中，n为自然数。

2.根据权利要求1所述的从视频单视点到多视点的虚拟视点生成方法，其特征在于，所述步骤2）使用基于条带的全局对称修复算法和逆向迭代算法对参考视点图像的图像边界进行纹理扩展，具体流程为：

21）对参考视点图像和对应的深度图扩展一定象素宽度，生成边界修复模板生成；

22）设计包括相似度能量函数和平滑能量函数的马尔可夫能量函数；

23）采用基于条带的形式设计逆向迭代神经网络节点；

24）设置修复节点需要参考的像素范围；

25）采用BP算法选取待修复节点参考节点；

26）使用逆向迭代算法求取马尔可夫能量函数总和最小时待修复节点所对应的参考节点，使用求取到的最优参考节点对待修复节点进行修复；

27）重复上述步骤，把所有的条带修复完成，则完成边界扩展纹理修复以及相关深度图的修复扩展。

3.根据权利要求1所述的从视频单视点到多视点的虚拟视点生成方法，其特征在于，所述步骤3）使用深度图像绘制技术对扩展完的参考视点图像根据深度图进行3D坐标转换，具体流程为：

31）将修复后的参考视点图像根据深修复后的深度图转换到世界坐标；

32）将世界坐标转换到虚拟视点。

4.根据权利要求3所述的从视频单视点到多视点的虚拟视点生成方法，其特征在于，所述步骤31）中，对于错误的深度值以及非整形的深度值使用一对多的方式映射。

5.根据权利要求4所述的从视频单视点到多视点的虚拟视点生成方法，其特征在于，对于一个虚拟视点中的一个坐标处有多个候选像素则采用深度值最小的像素值。

6.根据权利要求1所述的从视频单视点到多视点的虚拟视点生成方法，其特征在于，所述步骤5）采用基于深度信息的可信度最优全局修复算法对裁剪后的虚拟视点图像的图像空洞进行填补，具体流程为：

51）设计包括相似度能量函数和平滑能量函数的马尔可夫能量函数；

52）对裁剪后的虚拟视点图像设置修复模板；

53）采用基于条带的形式设计逆向迭代神经网络节点；

54）为每个待修复节点设置参考节点的索引列表，设置参考节点范围；

55）选取待修复节点参考节点；

56）对条带内的所有待修复节点使用其最优的参考节点进修修复；

57）重复上述步骤，直到这一帧的所有虚拟视点修复完毕。

7.根据权利要求6所述的从视频单视点到多视点的虚拟视点生成方法，其特征在于，所述步骤56）还包括：对于还是存在的空洞，则采用去空洞缩放算法进行处理。

Images