CN103634584B

CN103634584B - 一种多视点3d视频合成方法

Info

Publication number: CN103634584B
Application number: CN201210310691.6A
Authority: CN
Inventors: 桂海田; 刘礼丰
Original assignee: GUANGZHOU REALCAL ELECTRONIC TECHNOLOGY Co Ltd
Current assignee: GUANGZHOU REALCAL ELECTRONIC TECHNOLOGY Co Ltd
Priority date: 2012-08-29
Filing date: 2012-08-29
Publication date: 2015-10-21
Anticipated expiration: 2032-08-29
Also published as: CN103634584A

Abstract

本发明公开了一种多视点3D视频合成方法，包括：获取参考视点视频及参考视点深度图视频，分解为参考视点图像的帧序列及参考视点深度图的帧序列；将各帧的参考视点图像映射到虚拟视点生成各帧的虚拟视点原始图像；修复各帧的参考视点图像及参考视点深度图，将各帧修复后的参考视点图像映射到虚拟视点生成各帧的虚拟视点辅助图像；修复虚拟视点原始图像的空洞生成虚拟视点最终图像；合成各帧虚拟视点最终图像生成虚拟视点视频；合成虚拟视点视频及参考视点视频生成多视点3D视频。采用本发明，可通过提取基准图像、扩展图像边界、修复突变区域的方法来修复各帧图像，能有效的解决虚拟视点原始图像中的边界空洞和内部参考视点深度图突变区域的空洞。

Description

一种多视点3D视频合成方法

技术领域

本发明涉及3D视频领域，尤其涉及一种多视点3D视频合成方法。

背景技术

随着显示技术和数字多媒体技术的发展，人们越来越倾向于真实的视觉体验。立体显示技术被看作是下一代显示技术，其利用人的左右眼观看到的场景具有一定的视差而形成3D场景，感受到物体具有远近之分，像是真实的立体场景。其中，多视点立体显示器因为能从多个角度去呈现立体场景，进而更接近人观看真实场景时的体验，广受业界认同。但与多视点立体显示器相匹配的多视点3D视频往往因为采集和传输的局限性，使得同时采集和传输多个虚拟视点视频在现实情况中难度很高，因此虚拟视点的合成技术就成为多视点3D视频制作中的关键技术。

目前，基于深度图的3D渲染技术是一种利用参考视点和对应的参考视点深度图来合成虚拟视点的方法，该方法具有良好的编码效率、二维/三维可选择性等优点，越来越受到重视，但是渲染技术目前还存在一些技术难题：本应该在虚拟视点中可见的区域在原始视点中是被遮挡的，即在虚拟视点中出现的物体或者背景在原始图像中是不存在的，这样就形成了空洞，表现在深度图中深度图突变的边界处，因此，若要提高虚拟视点的图像质量，空洞填补则成为关键的技术。

为提高虚拟视点的图像质量，使最终的图像具有良好的立体效果，解决空洞的主要方式有：1、在进行三维变换之前，对参考视点深度图进行处理，使突变的边缘变得平滑，从而减小空洞的大小，能有效地提高图像质量，但会带来严重的几何畸变。2、使用最左边和最右边视点作为参考视点，合成中间视点，由于左右两边的信息都有，然后根据两个虚拟视点的候选图像进行合成，能显著提高虚拟视点的图像质量，但是拍摄相对比较困难，因为没有办法保证两个摄像头一直在同一个角度，特别是在摄像头在运动的时候，同时视频传输也需要比较大的带宽，需要传输2个视点的图像数据。

然而，随着欧盟的3D视频传输标准问世，其采用的只传输一个视点以及相对应的深度图，能有效地降低带宽，同时采集的时候只需要使用深度摄像头即可，非常方便。由于只有一个视点和其对应的深度图，为此在保证不带来几何畸变的前提下，从单视点到多视点虚拟视点的合成方法中，空洞的修补则成为关键。可是，目前Kwan-Jung Oh等人提出的空洞填补算法，需要采用双向DIBR融合之后再修补，但确只能修补一些很小的空洞；而Ismaël Daribo等人提出的空洞修补算法则是属于局部贪婪的算法，没有全局性，平滑性也不够好。

因此，研究一种空洞的修复方法以实现多视点3D视频的合成已成为亟待解决的问题。

发明内容

本发明所要解决的技术问题在于，提供一种多视点3D视频合成方法，可有效地修复各帧图像，形成多视点3D视频。

为了解决上述技术问题，本发明提供了一种多视点3D视频合成方法，包括：获取参考视点视频及所述参考视点视频所对应的参考视点深度图视频，将所述参考视点视频分解为参考视点图像的帧序列，将所述参考视点深度图视频分解为参考视点深度图的帧序列，所述参考视点图像的帧序列与所述参考视点深度图的帧序列一一对应；将各帧的所述参考视点图像分别映射到虚拟视点生成各帧的虚拟视点原始图像，所述虚拟视点原始图像上形成有空洞；修复各帧的所述参考视点图像及参考视点深度图，将各帧修复后的参考视点图像分别映射到虚拟视点生成各帧的虚拟视点辅助图像，所述虚拟视点辅助图像与虚拟视点原始图像一一对应；根据各帧的所述虚拟视点辅助图像修复所述虚拟视点原始图像的空洞，生成虚拟视点最终图像；合成各帧虚拟视点最终图像生成虚拟视点视频；合成所述虚拟视点视频及参考视点视频生成多视点3D视频，所述虚拟视点视频的个数至少为一个。

作为上述方案的改进，所述修复各帧的参考视点图像及参考视点深度图的步骤包括：提取所述参考视点视频的基准彩色图像及所述参考视点深度图视频的基准深度图，以修复所述参考视点图像及参考视点深度图中被运动的前景物体所遮盖的区域；修复所述参考视点图像及参考视点深度图的边界扩展区域；修复所述参考视点图像及参考视点深度图的突变区域以修复所述参考视点图像及参考视点深度图中被静止的前景物体所遮盖的区域。

作为上述方案的改进，所述提取参考视点视频的基准彩色图像及所述参考视点深度图视频的基准深度图的步骤包括：提取各帧参考视点图像及参考视点深度图，以第一帧为基准图像，其他帧为参考图像；依次将参考图像对应的参考视点深度图与基准图像对应的参考视点深度图进行比对，判断所述参考图像对应的参考视点深度图的深度值是否小于所述基准图像对应的参考视点深度图的深度值，判断为是时，将所述参考图像对应的参考视点深度图的深度值替换所述基准图像对应的参考视点深度图的深度值，将所述参考图像对应的参考视点图像的像素替换所述基准图像对应的参考视点图像的像素。

作为上述方案的改进，所述修复参考视点图像及参考视点深度图的边界扩展区域的步骤包括：扩展各帧参考视点图像及参考视点深度图的左右边界，经扩展形成的边界为第一待修复区域T₁ ，其它区域为第一参考区域S₁ ；在所述第一待修复区域上设置待修复节点；根据所述待修复节点设置搜索范围，并在搜索范围内设置参考节点，将所述参考节点存入参考节点索引列表；根据所述待修复节点及所述待修复节点所对应的参考节点构建马尔可夫函数E(X)，

（式Ⅰ）

式Ⅰ中，E_i (x_i)=C(i)●d(x_i,S₁)，E_ij (x_i,x_j)=C(i) ●d(x_i,x_j)，x_i 为待修复节点所对应的参考节点，x_j 为另一待修复节点所对应的参考节点，d(x_i,S₁)为将待修复节点所对应的参考节点代入待修复节点的所在位置后，待修复节点所对应的参考节点与第一参考区域所形成的重叠区域的像素的方差，d(x_i,x_j)为将待修复节点所对应的参考节点代入待修复节点的所在位置，将另一待修复节点所对应的参考节点代入另一待修复节点的所在位置后，待修复节点所对应的参考节点与另一待修复节点所对应的参考节点所形成的重叠区域的像素的方差，C(i)为待修复节点所对应的参考节点的可信度；根据BP神经网络算法计算所述马尔可夫函数的最小值，此时最小值所对应的参考节点为待修复节点的最优参考节点；将最优参考节点的像素替换待修复节点的像素以修复参考视点图像及参考视点深度图的边界扩展区域。

作为上述方案的改进，所述修复参考视点图像及参考视点深度图的突变区域的步骤包括：在突变区域沿深度值大的方向设置第二待修复区域T₂ ，其它区域为第二参考区域S₂ 。在所述第二待修复区域上设置待修复节点；根据所述待修复节点设置参考节点，并将所述参考节点存入参考节点索引列表；根据所述待修复节点及所述待修复节点所对应的参考节点构建马尔可夫函数E(X)，

（式Ⅱ）

式Ⅱ中，E_i (x_i)=C(i)●d(x_i,S₂)，E_ij (x_i,x_j)=C(i) ●d(x_i,x_j)，x_i 为待修复节点所对应的参考节点，x_j 为另一待修复节点所对应的参考节点，d(x_i,S₂)为将待修复节点所对应的参考节点代入待修复节点的所在位置后，待修复节点所对应的参考节点与第二参考区域所形成的重叠区域的像素的方差，d(x_i,x_j)为将待修复节点所对应的参考节点代入待修复节点的所在位置，将另一待修复节点所对应的参考节点代入另一待修复节点的所在位置后，待修复节点所对应的参考节点与另一待修复节点所对应的参考节点所形成的重叠区域的像素的方差，C(i)为待修复节点所对应的参考节点的可信度；根据BP神经网络算法计算所述马尔可夫函数的最小值，此时最小值所对应的参考节点为待修复节点的最优参考节点；将最优参考节点的像素替换待修复节点的像素以修复参考视点图像及参考视点深度图的突变区域。

作为上述方案的改进，所述根据待修复节点设置参考节点的步骤包括：根据所述待修复节点在第二参考区域内设置搜索范围；计算所述搜索范围内参考视点深度图的深度值的平均值以生成阀值；在深度值小于阀值的搜索范围内设置参考节点。

作为上述方案的改进，所述将各帧的参考视点图像分别映射到虚拟视点生成各帧的虚拟视点原始图像的步骤包括：根据各帧的参考视点深度图将所述参考视点图像分别映射到世界坐标系统，形成三维空间点；将所述三维空间点映射到虚拟视点平面，形成各帧的虚拟视点原始图像。

作为上述方案的改进，所述根据各帧的虚拟视点辅助图像修复虚拟视点原始图像的空洞，生成虚拟视点最终图像的步骤包括：提取各帧的所述虚拟视点原始图像上的空洞；在各帧的所述虚拟视点辅助图像上，查找与所述空洞相对应的区域的像素；将查找所得的像素替换所述虚拟视点原始图像上的空洞，生成虚拟视点最终图像。

实施本发明实施例，具有如下有益效果：

将获取的参考视点视频及参考视点深度图视频分解为参考视点图像的帧序列及参考视点深度图的帧序列，并修复各帧的参考视点图像及参考视点深度图。修复时，通过提取参考视点视频的基准彩色图像及参考视点深度图视频的基准深度图，可以准确地修复被运动的前景物体所遮盖的背景信息；通过边界扩展的修复方式，可有效地解决边界处前景信息和背景信息的缺失，很好的解决虚拟视点的边界信息缺失所造成的空洞；通过内部突变区域修复方式，可以在不带来几何畸变的情况下有效地获取被遮挡的背景信息，能有效的填补虚拟视点内部由于深度的突变而造成的空洞。在边界扩展区域及突变区域修复过程中，通过求取马尔可夫函数的最小值，能很好地实现修复的准确性，同时，采用BP神经网络算法能准确的求取马尔可夫函数最小值，以取得待修复节点的最优参考节点。

另外，将修复前的参考视点图像映射到虚拟视点转换为虚拟视点原始图像，修复后的参考视点图像映射到虚拟视点转换为虚拟视点辅助图像，对虚拟视点原始图像的空洞采用虚拟视点辅助图像相对应像素进行填补，以生成虚拟视点最终图像，能有效的解决虚拟视点原始图像中的边界空洞和内部参考视点深度图突变区域的空洞。

相应地，将虚拟视点最终图像一帧一帧的连结起来，便组成虚拟视点视频，有效地展现真实的立体场景。

此外，可根据实际需求调节虚拟视点的数量，以合成多个虚拟视点视频，最后将多个虚拟视点视频及参考视点视频进行合成，便可生成多视点3D视频，合成过程中，只需要对各帧的参考视点图像及参考视点深度图修复一次就能同时解决多个虚拟视点的空洞的填补，得到多个虚拟视点。

附图说明

图1是本发明一种多视点3D视频合成方法的第一实施例流程图；

图2是本发明一种多视点3D视频合成方法的第二实施例流程图；

图3是图2中提取参考视点视频的基准彩色图像及参考视点深度图视频的基准深度图的流程图；

图4是图2中修复参考视点图像及参考视点深度图的边界扩展区域的流程图；

图5是图2中修复参考视点图像及参考视点深度图的突变区域的流程图；

图6是参考视点视频的示意图；

图7是参考视点视频的另一示意图；

图8是边界扩展前的帧图像；

图9是图8进行边界扩展后的帧图像；

图10是修复边界扩展区域的示意图；

图11是修复突变区域的示意图;

图12是一参考视点视频中某帧的参考视点图像；

图13是从图12中的参考视点视频的基准图像中提取的第一帧图像；

图14是从图12中的参考视点视频的基准图像中提取的第5帧比对完的基准图像；

图15是从图12中的参考视点视频的基准图像中提取的第15帧比对完的基准图像；

图16是从图12中的参考视点视频的基准图像中提取的整个场景比对完的基准图像；

图17是图12中参考视点图像经边界纹理扩展后的参考视点图像；

图18是图12中参考视点图像已完成边界扩展、基准图像提取、突变区域修复之后的参考视点图像；

图19是图18映射到虚拟视点后的虚拟视点辅助图像；

图20是图12中参考视点图像映射到虚拟视点后的虚拟视点原始图像；

图21是用图19填补图20之后的虚拟视点最终图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

图1是本发明一种多视点3D视频合成方法的第一实施例流程图，包括：

S100，获取参考视点视频及所述参考视点视频所对应的参考视点深度图视频，将所述参考视点视频分解为参考视点图像的帧序列，将所述参考视点深度图视频分解为参考视点深度图的帧序列。

所述参考视点图像的帧序列与所述参考视点深度图的帧序列一一对应。

需要说明的是，所述参考视点视频为任意一个视点的视频。

S101，将各帧的所述参考视点图像分别映射到虚拟视点生成各帧的虚拟视点原始图像。

需要说明的是，所述参考视点图像映射到虚拟视点，所生成的虚拟视点原始图像上形成有空洞。

优选地，合成装置根据参考视点深度图将所述参考视点图像映射到世界坐标系统，并在世界坐标系统上形成相应的三维空间点，同时，将三维空间点映射到虚拟视点平面进行成像，形成虚拟视点原始图像。

依次对各帧参考视点图像进行映射后，可得到各帧的虚拟视点原始图像，此时，各帧的参考视点图像、参考视点深度图、虚拟视点原始图像一一对应。

S102，修复各帧的所述参考视点图像及参考视点深度图，将各帧修复后的参考视点图像分别映射到虚拟视点生成各帧的虚拟视点辅助图像。

所述虚拟视点辅助图像与步骤S101中生成的虚拟视点原始图像一一对应。

对所述参考视点图像及参考视点深度图进行修复处理，修复类型包括：被运动的前景物体所遮盖的背景；边界处缺失的前景和背景；被静止的前景物体所遮盖的背景。

修复处理后的参考视点图像及参考视点深度图含有完整的背景及边界，相应地，合成装置根据修复处理后的参考视点深度图将所述修复处理后的参考视点图像映射到世界坐标系统，并在世界坐标系统上形成相应的三维空间点，同时，将三维空间点映射到虚拟视点平面进行成像，形成虚拟视点辅助图像。

依次对修复处理后的各帧参考视点图像进行映射后，可得到各帧的虚拟视点辅助图像。

S103，根据各帧的所述虚拟视点辅助图像修复所述虚拟视点原始图像的空洞，生成虚拟视点最终图像。

需要说明的是，步骤S102中生成的虚拟视点辅助图像与步骤S101中生成的虚拟视点原始图像一一对应。

由于所述参考视点图像映射到虚拟视点后，所生成的虚拟视点原始图像上形成有空洞。优选地，合成装置提取所述虚拟视点原始图像上的空洞，同时，在所述虚拟视点辅助图像上，查找与所述空洞相对应的区域的像素，并将查找所得的像素替换所述虚拟视点原始图像上的空洞，实现对空洞的修复，修复后的所述虚拟视点原始图像即为虚拟视点最终图像。

例如，若合成装置将某参考视点视频分解为含100帧的参考视点图像的帧序列，则相应地，需将参考视点视频所对应的参考视点深度图视频同样分解为含100帧的参考视点深度图的帧序列。将100帧的参考视点图像的帧序列分别映射到某虚拟视点，即可生成100帧的虚拟视点原始图像，同时，对100帧的参考视点图像及其参考视点深度图进行修复后，将修复后的100帧的参考视点图像分别映射到某虚拟视点，即可生成100帧的虚拟视点辅助图像。将100帧的虚拟视点辅助图像与100帧的虚拟视点原始图像一一对应起来，即可根据各帧的虚拟视点辅助图像修复相应的虚拟视点原始图像的空洞，并生成100帧的虚拟视点最终图像。

S104，合成各帧虚拟视点最终图像生成虚拟视点视频。

将虚拟视点最终图像一帧一帧的连结起来，便组成虚拟视点视频，有效地展现真实的立体场景。

S105，合成所述虚拟视点视频及参考视点视频生成多视点3D视频。

所述虚拟视点视频的个数至少为一个。

需要说明的是，可根据实际需求调节虚拟视点的数量，以合成多个虚拟视点视频，最后将多个虚拟视点视频及参考视点视频进行合成，便可生成多视点3D视频。

例如，例如，若需要合成8视点的3D视频，由于已获取参考视点视频，因此只需重新构建另外的7个视点的视频即可。合成装置将参考视点视频分解为参考视点图像的帧序列，将参考视点深度图视频分解为参考视点深度图的帧序列。将各帧参考视点图像及参考视点深度图进行修复。其中，将修复前的各帧参考视点图像分别映射至另外的7个虚拟视点，即可生成7组虚拟视点原始图像的帧序列，另外，修复后的各帧参考视点图像分别映射至相应的7个虚拟视点，即可生成7组虚拟视点辅助图像的帧序列。将7组虚拟视点辅助图像与相应的虚拟视点原始图像一一对应起来，修复相应的虚拟视点原始图像的空洞，生成7组虚拟视点最终图像。然后，将各组虚拟视点最终图像一帧一帧的连结起来，便组成7个虚拟视点视频。最后，将7个虚拟视点视频及参考视点视频组合起来，即形成8视点3D视频。

图2是本发明一种多视点3D视频合成方法的第二实施例流程图，包括：

S200，获取参考视点视频及所述参考视点视频所对应的参考视点深度图视频，将所述参考视点视频分解为参考视点图像的帧序列，将所述参考视点深度图视频分解为参考视点深度图的帧序列。

S201，根据各帧的参考视点深度图将参考视点图像分别映射到世界坐标系统，形成三维空间点。

S202，将所述三维空间点映射到虚拟视点平面，形成各帧的虚拟视点原始图像。

需要说明的是，所述参考视点图像映射到虚拟视点，所生成的虚拟视点原始图像上形成有空洞。合成装置根据参考视点深度图将所述参考视点图像映射到世界坐标系统，并在世界坐标系统上形成相应的三维空间点，同时，将三维空间点映射到虚拟视点平面进行成像，形成虚拟视点原始图像。

S203，提取所述参考视点视频的基准彩色图像及所述参考视点深度图视频的基准深度图。

需要说明的是，当参考视点视频及参考视点深度图视频中含有运动的前景物体时，前景物体会遮盖部分背景区域，但由于物体是运动的，使得各帧中被遮盖的背景区域各不相同。

如图6所示，参考视点视频中，背景处有三条横线，前景处有一运动小球从A点运动至C点，将所述单视点3D视频划分为3个连续的序列帧。第一帧时，小球运动至A点，此时小球遮盖了部分背景区域；第二帧时，小球运动至B点，此时在第一帧时被小球所遮盖的背景区域已经有部分显露；第三帧时，小球运动至C点，此时在第一帧时被小球所遮盖的背景区域已经全部显露。

因此，通过比对参考视点视频及参考视点深度图视频中的各帧图像，区分运动物体与背景区域，从而提取出基准彩色图像及基准深度图，并作为各帧图像的基准，可有效的修复某一帧图像中被遮盖的背景区域。

S204，修复所述参考视点图像及参考视点深度图的边界扩展区域。

将各帧参考视点图像及参考视点深度图扩展后的左右边界进行修复，可有效地解决边界处前景物体和背景物体的缺失，很好的解决虚拟视点的边界缺失所造成的空洞。

S205，修复所述参考视点图像及参考视点深度图的突变区域。

如图7所示，参考视点视频中有一运动小球从A点运动至C点，将所述参考视点视频划分为3个连续的序列帧。第一帧时，小球运动至A点，此时小球遮盖了部分背景区域；第二帧时，小球运动至B点，此时在第一帧时被小球所遮盖的背景区域已经有部分显露；第三帧时，小球运动至C点，此时在第一帧时被小球所遮盖的背景区域比第二帧时显露更多，但却未能实现完全显露；因此，通过步骤S203并不能完全修复第一帧中被小球所遮盖的背景区域。

又如图7所示的矩形木块，在参考视点视频中矩形木块并没有发生位移，因此，通过步骤S203并不能修复第一帧中被小球所遮盖的背景区域。

需要说明的是，通过步骤S203后，仍不能完成的修复的背景区域（即突变区域），需进行单独的突变区域修复，即查找出与突变区域最接近的背景区域，并用查找出的背景区域替换突变区域以实现在不带来几何畸变的情况下完成突变区域的修复，有效的填补虚拟视点内部由于深度的突变而造成的空洞。

需要说明的是，所述步骤S204与步骤S203及S205之间没有必然先后顺序，在进行步骤S204的同时，也可以进行步骤S203及S205。相应地，步骤S205需在步骤S203完成后再进行。

S206，根据修复处理后的各帧的参考视点深度图将所述修复处理后的参考视点图像分别映射到世界坐标系统，形成三维空间点。

S207，将所述三维空间点映射到虚拟视点平面，形成各帧的虚拟视点辅助图像。

需要说明的是，经步骤S203、S204、S205修复处理后的各帧参考视点图像及参考视点深度图含有完整的背景及边界。合成装置根据修复处理后的参考视点深度图将所述修复处理后的参考视点图像映射到世界坐标系统，并在世界坐标系统上形成相应的三维空间点，同时，将三维空间点映射到虚拟视点平面进行成像，形成虚拟视点辅助图像。

S208，提取各帧的所述虚拟视点原始图像上的空洞。

S209，在各帧的所述虚拟视点辅助图像上，查找与所述空洞相对应的区域的像素。

S210，将查找所得的像素替换所述虚拟视点原始图像上的空洞，生成虚拟视点最终图像。

需要说明的是，由于所述参考视点图像映射到虚拟视点后，所生成的虚拟视点原始图像上形成有空洞。合成装置提取所述虚拟视点原始图像上的空洞，同时，在所述虚拟视点辅助图像上，查找与所述空洞相对应的区域的像素，并将查找所得的像素替换所述虚拟视点原始图像上的空洞，实现对空洞的修复，修复后的所述虚拟视点原始图像即为虚拟视点最终图像。

S211，合成各帧虚拟视点最终图像生成虚拟视点视频。

S212，合成所述虚拟视点视频及参考视点视频生成多视点3D视频。

所述虚拟视点视频的个数至少为一个。

图3是图2中提取参考视点视频的基准彩色图像及参考视点深度图视频的基准深度图的流程图，包括：

S300，提取各帧参考视点图像及参考视点深度图。

需要说明的是，合成装置获取参考视点视频及所述参考视点视频所对应的参考视点深度图视频，将所述参考视点视频分解为参考视点图像的帧序列，将所述参考视点深度图视频分解为参考视点深度图的帧序列，修复时，以参考视点视频及所述参考视点视频所对应的参考视点深度图视频的第一帧为基准图像，其他帧为参考图像。

如图6所示，参考视点视频中有一运动小球从A点运动至C点，将所述参考视点视频划分为3个连续的序列帧。第一帧时，小球运动至A点，此时，该帧为基准图像；第二帧时，小球运动至B点，此时，该帧为参考图像；第三帧时，小球运动至C点，此时，该帧为参考图像。

S301，依次将参考图像对应的参考视点深度图与基准图像对应的参考视点深度图进行比对，判断所述参考图像对应的参考视点深度图的深度值是否小于所述基准图像对应的参考视点深度图的深度值，判断为是时，将所述参考图像对应的参考视点深度图的深度值替换所述基准图像对应的参考视点深度图的深度值，将所述参考图像对应的参考视点图像的像素替换所述基准图像对应的参考视点图像的像素。

以第一帧作为基准图像，其他帧为参考图像。将第二帧的参考视点深度图与第一帧的参考视点深度图进行比对，如果某处第二帧的参考视点深度图的深度值小于第一帧的参考视点深度图的深度值，则表示此处第一帧为前景，第二帧为背景，此时，使用第二帧参考视点深度图此处的深度值替换第一帧参考视点深度图的深度值，并使用第二帧参考视点图像此处的像素替换第一帧参考视点图像的像素，实现对基准图像的更新。其中，更新后的参考视点图像为基准彩色图像，更新后的参考视点深度图为基准深度图。

相应地，按时间序列，依次将参考视点视频及其所对应的参考视点深度图视频中的参考图像和基准图像进行对比，更新基准图像。直到参考视点视频及其所对应的参考视点深度图视频中的最后一帧和基准图像的比对结束，则获取到整个场景的基准图像。所述基准彩色图像适用于参考视点视频的任意一帧，所述基准深度图适用于参考视点深度图视频的任意一帧。

需要说明的是，所述基准图像包括基准彩色图像及基准深度图。

图4是图2中修复参考视点图像及参考视点深度图的边界扩展区域的流程图，包括：

S400，扩展各帧参考视点图像及参考视点深度图的左右边界，经扩展形成的边界为第一待修复区域T₁ ，其它区域为第一参考区域S₁ 。

参考视点图像及参考视点深度图边界扩展时，设置边界修复区域，在参考视点图像及参考视点深度图左右两边都扩展相同大小的宽度。如某帧参考视点图像及参考视点深度图大小为（W×H），W表示宽度，H表示高度，假设扩展宽度为k，则扩展后的图像大小为（W+2×k）× H，扩展后参考视点图像及参考视点深度图的左右两边（k×H）的宽度为第一待修复区域，中间（W×H）的图像区域为第一参考区域。

如图8与图9所示，图8是边界扩展前的帧图像，图9是图8进行边界扩展后的帧图像。相应地，图8及图9中的A区域为第一参考区域，B区域及C区域为第一待修复区域。

S401，在所述第一待修复区域上设置待修复节点。

设置修复节点时，以一定大小像素块为单位，所述像素块由多个像素组成。优选地，各修复节点之间的间距为两个像素，遍寻整个图像的第一待修复区域进行修复节点的标定。

例如，如图10所示，第一待修复区域B上设有待修复节点M及待修复节点N，其中，待修复节点M及待修复节点N均由9个像素组成，即待修复节点M由a1、a2、a3、a4、a5、a6、a7、a8、a9组成，待修复节点N由a7、a8、a9、a10、a11、a12、a13、a14、a15组成。相应地，待修复节点M及待修复节点N之间的间距为两个像素，即像素点a5及a11之间间距为两个像素。

S402，根据所述待修复节点设置搜索范围，并在搜索范围内设置参考节点，将所述参考节点存入参考节点索引列表。

需要说明的是，对每个待修复节点均设置搜索范围，搜索范围可以根据各帧图像大小进行调整。优选地，设置参考节点时可以使用全搜索方式进行搜索，即每相隔一个像素取一个参考节点，也可以采用简化版，即间隔多个像素取一个参考节点。

S403，根据所述待修复节点及所述待修复节点所对应的参考节点构建马尔可夫函数E(X)，

（式Ⅰ）

式Ⅰ中， E_i(x_i)=C(i)●d(x_i,S₁)，E_ij (x_i,x_j)=C(i) ●d(x_i,x_j) ，x_i 为待修复节点所对应的参考节点，x_j 为另一待修复节点所对应的参考节点，d(x_i,S₁)为将待修复节点所对应的参考节点代入待修复节点的所在位置后，待修复节点所对应的参考节点与第一参考区域所形成的重叠区域的像素的方差，d(x_i,x_j)为将待修复节点所对应的参考节点代入待修复节点的所在位置，将另一待修复节点所对应的参考节点代入另一待修复节点的所在位置后，待修复节点所对应的参考节点与另一待修复节点所对应的参考节点所形成的重叠区域的像素的方差，C(i)为待修复节点所对应的参考节点的可信度。

例如，如图10所示，第一待修复区域B上设有待修复节点M及待修复节点N，第一参考区域A上设有待修复节点M的参考节点X，另一待修复节点N的参考节点Y。其中，待修复节点M、待修复节点N、参考节点X及参考节点Y均由9个像素组成，即待修复节点M由a1、a2、a3、a4、a5、a6、a7、a8、a9组成，待修复节点N由a7、a8、a9、a10、a11、a12、a13、a14、a15组成，参考节点X由b1、b2、b3、b4、b5、b6、b7、b8、b9组成，参考节点Y由c1、c2、c3、c4、c5、c6、c7、c8、c9组成。相应地，参考节点X代入待修复节点M的所在位置后，参考节点X与第一参考区域A所形成的重叠区域的像素为像素点b1、b6、b7所对应的像素；而将参考节点X代入待修复节点M的所在位置，将参考节点Y代入另一待修复节点N的所在位置后，参考节点X与参考节点Y所形成的重叠区域的像素为像素点b7、b8、b9、c1、c2、c3所对应的像素。

S404，根据BP神经网络算法计算所述马尔可夫函数的最小值，此时最小值所对应的参考节点为待修复节点的最优参考节点。

S405，将最优参考节点的像素替换待修复节点的像素以修复参考视点图像及参考视点深度图的边界扩展区域。

图5是图2中修复参考视点图像及参考视点深度图的突变区域的流程图，包括：

S500，在突变区域沿深度值大的方向设置第二待修复区域T₂ ，其它区域为第二参考区域S₂ 。

需要说明的是，修复出各帧的基准图像后，需要对已经修复出基准图像的帧图像进行突变区域的修复。

第二待修复区域可以根据需要合成虚拟视点的数量、图像大小以及视差的大小进行调整。

S501，在所述第二待修复区域上设置待修复节点。

设置修复节点时，以一定大小像素块为单位，所述像素块由多个像素组成。优选地，各修复节点之间的间距为一个像素，遍寻整个图像的第一待修复区域进行修复节点的标定。

例如，如图11所示，第二待修复区域B上设有待修复节点M及待修复节点N，其中，待修复节点M及待修复节点N均由9个像素组成，即待修复节点M由a1、a2、a3、a4、a5、a6、a7、a8、a9组成，待修复节点N由a4、a5、a6、a7、a8、a9、a10、a11、a12组成。相应地，待修复节点M及待修复节点N之间的间距为一个像素，即像素点a5及a8之间间距为一个像素。

S502，根据所述待修复节点设置参考节点，并将所述参考节点存入参考节点索引列表。

优选地，合成装置根据所述待修复节点在第二参考区域内设置搜索范围。计算所述搜索范围内图像的深度值的平均值以生成阀值，在深度值小于阀值的搜索范围内设置参考节点。

需要说明的是，所述搜索范围可以根据帧图像的大小进行调整，并在整个搜索范围之内计算深度值的平均值，将所述深度值的平均值设置为阀值，用于判断搜索范围内的节点是否为参考节点，其中，深度值大于阀值的区域为前景，深度值小于阀值的区域为背景。然后在深度值小于阀值的参考区域用全搜索的方式搜索参考节点，并将搜索出的参考节点存入参考节点索引列表。

S503，根据所述待修复节点及所述待修复节点所对应的参考节点构建马尔可夫函数E(X)，

（式Ⅱ）

式Ⅱ中，E_i (x_i)=C(i)●d(x_i,S₂)，E_ij (x_i,x_j)=C(i) ●d(x_i,x_j) ，x_i 为待修复节点所对应的参考节点，x_j 为另一待修复节点所对应的参考节点，d(x_i,S₂)为将待修复节点所对应的参考节点代入待修复节点的所在位置后，待修复节点所对应的参考节点与第二参考区域所形成的重叠区域的像素的方差，d(x_i,x_j)为将待修复节点所对应的参考节点代入待修复节点的所在位置，将另一待修复节点所对应的参考节点代入另一待修复节点的所在位置后，待修复节点所对应的参考节点与另一待修复节点所对应的参考节点所形成的重叠区域的像素的方差，C(i)为待修复节点所对应的参考节点的可信度。

例如，如图11所示，第二待修复区域B上设有待修复节点M及待修复节点N，第二参考区域A上设有待修复节点M的参考节点X，另一待修复节点N的参考节点Y。其中，待修复节点M、待修复节点N、参考节点X及参考节点Y均由9个像素组成，即待修复节点M由a1、a2、a3、a4、a5、a6、a7、a8、a9组成，待修复节点N由a4、a5、a6、a7、a8、a9、a10、a11、a12组成，参考节点X由b1、b2、b3、b4、b5、b6、b7、b8、b9组成，参考节点Y由c1、c2、c3、c4、c5、c6、c7、c8、c9组成。相应地，参考节点X代入待修复节点M的所在位置后，参考节点X与第二参考区域A所形成的重叠区域的像素为像素点b1、b2、b3、b4所对应的像素；而将参考节点X代入待修复节点M的所在位置，将参考节点Y代入另一待修复节点N的所在位置后，参考节点X与参考节点Y所形成的重叠区域的像素为像素点b4、b5、b6、b7、b8、b9、c1、c2、c3、c4、c5、c6所对应的像素。

S504，根据BP神经网络算法计算所述马尔可夫函数的最小值，此时最小值所对应的参考节点为待修复节点的最优参考节点。

S505，将最优参考节点的像素替换待修复节点的像素以修复参考视点图像及参考视点深度图的突变区域。

下面结合具体的实施例及附图对本发明作进一步地详细描述。

参见图12~21。其中，由图13~16可知，经步骤S300及步骤S301的比对，提取基准图像，可有效的修复被遮盖的背景区域。由图17可知，经步骤S400~S405可将图12中参考视点图像扩展后的左右边界进行修复，有效地解决边界处前景物体和背景物体的缺失。由图18可知，经步骤S500~S505可将通过步骤S300及步骤S301后，仍不能完成的修复的背景区域进行单独的突变区域修复，有效的填补虚拟视点内部由于深度的突变而造成的空洞。由图20可知，图12中参考视点图像映射到虚拟视点后，所形成的虚拟视点原始图像上有空洞。由图21可知，利用映射到虚拟视点后所形成的虚拟视点辅助图像（参见图19）填补图20，生成的虚拟视点最终图像上不存在空洞。

由上可知，合成装置将获取的参考视点视频及参考视点深度图视频划分为参考视点图像的帧序列及参考视点深度图的帧序列，并修复各帧内的参考视点图像及参考视点深度图。修复时，通过提取参考视点视频的基准彩色图像及参考视点深度图视频的基准深度图，可以准确地修复被运动的前景物体所遮盖的背景信息；通过边界扩展的修复方式，构建马尔可夫函数，采用BP神经网络算法能准确的求取马尔可夫函数最小值，以取得待修复节点的最优参考节点，并将最优参考节点的像素替换待修复节点的像素，有效地解决边界区域的前景信息和背景信息的缺失，很好的解决虚拟视点的边界信息缺失所造成的空洞；通过内部突变区域修复方式，构建马尔可夫函数，采用BP神经网络算法能准确的求取马尔可夫函数最小值，以取得待修复节点的最优参考节点，在不带来几何畸变的情况下有效地获取被遮挡的背景信息，能有效的填补虚拟视点内部由于深度的突变而造成的空洞。另外，将修复前的参考视点图像转换为虚拟视点原始图像，修复后的参考视点图像转换为虚拟视点辅助图像，并用虚拟视点辅助图像填补虚拟视点原始图像的空洞，有效地修补虚拟视点原始图像的空洞，形成虚拟视点最终图像。相应地，将虚拟视点最终图像一帧一帧的连结起来，便组成虚拟视点视频，有效地展现真实的立体场景。此外，还可根据实际需求调节虚拟视点的数量，以合成多个虚拟视点视频，最后将多个虚拟视点视频及参考视点视频进行合成，便可生成多视点3D视频，合成过程中，只需要对各帧的参考视点图像及参考视点深度图修复一次就能同时解决多个虚拟视点原始图像的空洞的填补，得到多个虚拟视点最终图像。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims

1.一种多视点3D视频合成方法，其特征在于，包括：

获取参考视点视频及所述参考视点视频所对应的参考视点深度图视频，将所述参考视点视频分解为参考视点图像的帧序列，将所述参考视点深度图视频分解为参考视点深度图的帧序列，所述参考视点图像的帧序列与所述参考视点深度图的帧序列一一对应；

将各帧的所述参考视点图像分别映射到虚拟视点生成各帧的虚拟视点原始图像，所述虚拟视点原始图像上形成有空洞；

修复各帧的所述参考视点图像及参考视点深度图，将各帧修复后的参考视点图像分别映射到虚拟视点生成各帧的虚拟视点辅助图像，所述虚拟视点辅助图像与虚拟视点原始图像一一对应；

根据各帧的所述虚拟视点辅助图像修复所述虚拟视点原始图像的空洞，生成虚拟视点最终图像；

合成各帧虚拟视点最终图像生成虚拟视点视频；

合成所述虚拟视点视频及参考视点视频生成多视点3D视频，所述虚拟视点视频的个数至少为一个；

所述修复各帧的参考视点图像及参考视点深度图的步骤包括：

提取所述参考视点视频的基准彩色图像及所述参考视点深度图视频的基准深度图，以修复所述参考视点图像及参考视点深度图中被运动的前景物体所遮盖的区域；

修复所述参考视点图像及参考视点深度图的边界扩展区域；

修复所述参考视点图像及参考视点深度图的突变区域以修复所述参考视点图像及参考视点深度图中被静止的前景物体所遮盖的区域。

2.如权利要求1所述的多视点3D视频合成方法，其特征在于，所述提取参考视点视频的基准彩色图像及所述参考视点深度图视频的基准深度图的步骤包括：

提取各帧参考视点图像及参考视点深度图，以第一帧为基准图像，其他帧为参考图像；

依次将参考图像对应的参考视点深度图与基准图像对应的参考视点深度图进行比对，判断所述参考图像对应的参考视点深度图的深度值是否小于所述基准图像对应的参考视点深度图的深度值，

判断为是时，将所述参考图像对应的参考视点深度图的深度值替换所述基准图像对应的参考视点深度图的深度值，将所述参考图像对应的参考视点图像的像素替换所述基准图像对应的参考视点图像的像素。

3.如权利要求1所述的多视点3D视频合成方法，其特征在于，所述修复参考视点图像及参考视点深度图的边界扩展区域的步骤包括：

扩展各帧参考视点图像及参考视点深度图的左右边界，经扩展形成的边界为第一待修复区域T₁ ，其它区域为第一参考区域S₁ ；

在所述第一待修复区域上设置待修复节点；

根据所述待修复节点设置搜索范围，并在搜索范围内设置参考节点，将所述参考节点存入参考节点索引列表；

根据所述待修复节点及所述待修复节点所对应的参考节点构建马尔可夫函数E(X)，

（式Ⅰ）

式Ⅰ中，E_i(x_i)=C(i)●d(x_i,S₁)，E_ij(x_i,x_j)=C(i) ●d(x_i,x_j) ，

x_i 为待修复节点所对应的参考节点，

x_j 为另一待修复节点所对应的参考节点，

d(x_i,S₁)为将待修复节点所对应的参考节点代入待修复节点的所在位置后，待修复节点所对应的参考节点与第一参考区域所形成的重叠区域的像素的方差，

d(x_i,x_j)为将待修复节点所对应的参考节点代入待修复节点的所在位置，将另一待修复节点所对应的参考节点代入另一待修复节点的所在位置后，待修复节点所对应的参考节点与另一待修复节点所对应的参考节点所形成的重叠区域的像素的方差，

C(i)为待修复节点所对应的参考节点的可信度；

根据BP神经网络算法计算所述马尔可夫函数的最小值，此时最小值所对应的参考节点为待修复节点的最优参考节点；

将最优参考节点的像素替换待修复节点的像素以修复参考视点图像及参考视点深度图的边界扩展区域。

4.如权利要求2所述的多视点3D视频合成方法，其特征在于，所述修复参考视点图像及参考视点深度图的突变区域的步骤包括：

在突变区域沿深度值大的方向设置第二待修复区域T₂ ，其它区域为第二参考区域S₂ ；

在所述第二待修复区域上设置待修复节点；

根据所述待修复节点设置参考节点，并将所述参考节点存入参考节点索引列表；

（式Ⅱ）

式Ⅱ中，E_i(x_i)=C(i)●d(x_i,S₂)，E_ij(x_i,x_j)=C(i) ●d(x_i,x_j) ，

x_i 为待修复节点所对应的参考节点，

x_j 为另一待修复节点所对应的参考节点，

d(x_i,S₂)为将待修复节点所对应的参考节点代入待修复节点的所在位置后，待修复节点所对应的参考节点与第二参考区域所形成的重叠区域的像素的方差，

C(i)为待修复节点所对应的参考节点的可信度；

将最优参考节点的像素替换待修复节点的像素以修复参考视点图像及参考视点深度图的突变区域。

5.如权利要求4所述的多视点3D视频合成方法，其特征在于，所述根据待修复节点设置参考节点的步骤包括：

根据所述待修复节点在第二参考区域内设置搜索范围；

计算所述搜索范围内参考视点深度图的深度值的平均值以生成阀值；

在深度值小于阀值的搜索范围内设置参考节点。

6.如权利要求1所述的多视点3D视频合成方法，其特征在于，所述将各帧的参考视点图像分别映射到虚拟视点生成各帧的虚拟视点原始图像的步骤包括：

根据各帧的参考视点深度图将所述参考视点图像分别映射到世界坐标系统，形成三维空间点；

将所述三维空间点映射到虚拟视点平面，形成各帧的虚拟视点原始图像。

7.如权利要求1所述的多视点3D视频合成方法，其特征在于，所述根据各帧的虚拟视点辅助图像修复虚拟视点原始图像的空洞，生成虚拟视点最终图像的步骤包括：

提取各帧的所述虚拟视点原始图像上的空洞；

在各帧的所述虚拟视点辅助图像上，查找与所述空洞相对应的区域的像素；

将查找所得的像素替换所述虚拟视点原始图像上的空洞，生成虚拟视点最终图像。