CN104756489A

CN104756489A - 一种虚拟视点合成方法及系统

Info

Publication number: CN104756489A
Application number: CN201380003165.8A
Authority: CN
Inventors: 李晨霞; 王荣刚; 高文
Original assignee: Peking University Shenzhen Graduate School
Current assignee: Shenzhen Immersion Vision Technology Co ltd
Priority date: 2013-07-29
Filing date: 2013-07-29
Publication date: 2015-07-01
Anticipated expiration: 2033-07-29
Also published as: US9838663B2; US20160150208A1; WO2015013851A1; CN104756489B

Abstract

本申请公开了一种虚拟视点合成方法及系统，包括建立左视点虚拟视图和右视点虚拟视图；在参考视图中搜索候选像素，对于搜索不到候选像素的像素块，标记为洞点；对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，进行加权求和；将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素；对左视点虚拟视图和右视点虚拟视图进行视点合成；对合成图像进行洞点填补。本申请由于对于搜索不到候选像素的像素块，标记为洞点，使用对应图像中的信息进行填补，而空洞区域刚好是容易产生颜色混合的部分，避免了在边界区域容易产生边界与背景混合的现象，同时在边界和非边界区域获得良好的合成质量。

Description

一种虚拟视点合成方法及系统技术领域

本申请涉及多视点视频编解码技术领域，尤其涉及一种虚拟视点合成方法及系统。背景技术

多视点视频 ( Multi-View Video )指的是由不同视点的多个摄像机从不同视角拍摄同一场景得到的一组视频信号，是一种有效的 3D 视频表示方法，能更加生动地再现场景，给人身临其境的感觉，在立体电视、自由视点电视、立体视频会议和视频监控等领域有着非常广泛的应用前景。

多视点视频通过一组同步的摄像机阵列从不同角度采集同一场景，在显示时，可以根据观看者所处位置显示相应角度的图像；当观看者的头部移动时，看到内容也会出现相应的变化，从而得到"环视"的效果。为得到自然平滑的运动视差效果，需要使用非常稠密的摄像机来获得多视点视频序列。然而随着相机数目的增加，多视点视频的数据量也成倍增加，给存储和传输带来了巨大的挑战。在低码率下为了得到高质量的立体视频流，多视点视频一般采用双视点加深度的格式，将彩色视频图和深度图各自进行压缩编码，解码时，采用基于深度图的虚拟视点合成技术（Depth Image Based Rendering, DIBR) ,用左右两视点和对应的深度图生成多视点视频，可根据用户的需求（立体视频或任意视点视频）重建一个或多个角度的立体视频。虚拟视点合成是多视点视频编解码中的关键技术之一，合成图像的质量直接影响到多视点视频的观看质量。

现有技术中的虚拟视点合成方法，全程仅一副虚拟图像，对一个像素同时在左右参考视点中搜索候选像素，因此其候选像素集可能包含来自两个视点中的像素，且所有候选像素都参与到下一步的加权求和中，不作任何筛选。而基于深度图的方法很大程度依赖于深度图的准确度。深度图的不连续性也会影响合成视图的质量。因此现有的技术或多或少都存在一些缺陷，要么在产生遮挡的边界区域，要么在背景区域容易产生一些 ί艮爽。发明内容

本申请提供一种虚拟视点合成方法及系统。

根据本申请的第一方面，本申请提供一种虚拟视点合成方法，包括：建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为（U,V) 的像素取 (u,v)到（u+l,v)的像素块，即 I(u) = [u,u+l);

所述左视点虚拟视图在左视点参考视图中搜索候选像素，所述右视点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和 / 或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点；

对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，依据所述前景系数和背景系数进行加权求和，对于当前像素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值的，则不参与力口权求和；

将左视点虚拟视图和 /或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素；

对所述左视点虚拟视图和右视点虚拟视图进行视点合成；

对合成图像进行洞点填补。

上述方法中，所述左视点虚拟视图在左视点参考视图中搜索候选像素，所述右视点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和 /或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点，还包括：

在参考视图中搜索候选像素，设置第一调节参数，所述第一调节参数为预设初始值时，若搜索不到候选参数的像素块，则对所述第一调节参数加 1 , 重新搜索，若仍然搜索不到候选参数的像素快，则标记为洞点。

上述方法中，所述前景系数通过 w/ = I ij (u_r, t) n i^j (u) I 计算；所述背景系数通过 _Wj^b = I Ku) n ij (_Ur, t) I -w/计算；

其中 Ij (U_r，t ) = [Ur-t，Ur+l+t)为参考视点中的像素块， t为第二调节参数， I^j (u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重；依据所述前景系数和背景系数进行加权求和的公式为： , 其中 O j根据像素的深度值控制在合成过程中所占的权重。上述方法中，所述将左视点虚拟视图和 /或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素，具体包括：

对左视点和 /或右视点虚拟视图逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞点区域的右边界，然后对左右边界各自依次向外取预定数量的像素，计算其深度平均值，分别记为 d_left、 d.right, 计算所述 d.left, d.right 的差值，与第二预定阈值比较，决定洞区扩充方向：

若 d_left-d_right大于所述第二预定阈值，向左侧扩充；

若 d_left-d_right小于所述第二预定阈值，向右侧扩充；

若 d_lef t-d_right等于所述第二预定阈值，不扩充。

上述方法中，所述对所述左视点虚拟视图和右视点虚拟视图进行视点合成，包括：

所述左视点虚拟视图和右视点虚拟视图均有像素值时，按照与左右视点的距离关系做加权求和；

所述左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像素值，另一幅虚拟图像的对应点为洞点时，直接取该像素值；

所述左视点虚拟视图和右视点虚拟视图均为洞点时，保留洞点。根据本申请的第二方面，本申请提供一种虚拟视点合成系统，包括视点映射模块，鬼影去除模块、视点合成模块和小洞填补模块，所述视点映射模块包括创建单元、选择单元和控制单元，

所述创建单元用于建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为（u, V)的像素取 (u, V)到（u+1, V)的像素块，即 I(u) = [u,u+l);

所述选择单元用于在左视点参考视图中搜索所述左视点虚拟视图的候选像素，在右视点参考视图中搜索所述右视点虚拟视图的候选像素，对于左视点虚拟视图和 /或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点；

所述控制单元对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，依据所述前景系数和背景系数进行加权求和，对于当前像素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值的，则不参与力口权求和；

所述鬼影去除模块用于将左视点虚拟视图和 /或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素；所述视点合成模块用于对所述左视点虚拟视图和右视点虚拟视图进行视点合成；

所述小洞填补模块用于对合成图像进行洞点填补。

上述系统中，所述选择单元还用于在参考视图中搜索候选像素，设置第一调节参数，所述第一调节参数为预设初始值时，若搜索不到候选参数的像素块，则对所述第一调节参数加 1, 重新搜索，若仍然搜索不到候选参数的像素快，则标记为洞点。

上述系统中，所述前景系数通过 I ij (u_r, t) n i^j (u) I 计算；所述背景系数通过 _Wj^b= I Ku) n ij (_Ur, t) I -w/计算；

其中 Ij(U_r， t)=[U_r-t，Ur+l + t)为参考视点中的像素块， t为第二调节参数， I^j(u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重；依据所述前景系数和背景系数进行加权求和的公式为：其中根据像素的深度值控制在合成过程中所占的权重。

上述系统中，所述鬼影去除模块还用于对左视点和 /或右视点虚拟视图逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞点区域的右边界，然后对左右边界各自依次向外取预定数量的像素，计算其深度平均值，分别记为 d_left、 d.right, 计算所述^ ^、 d-right的差值，与第二预定阈值比较，决定洞区扩充方向：

若 d_left-d_right大于所述第二预定阈值，向左侧扩充；

若 d_left-d_right小于所述第二预定阈值，向右侧扩充；

若 d_lef t-d_right等于所述第二预定阈值，不扩充。

上述系统中，所述视点合成模块还用于在所述左视点虚拟视图和右视点虚拟视图均有像素值时，按照与左右视点的距离关系做加权求和；所述左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像素值，另一幅虚拟图像的对应点为洞点时，直接取该像素值；

所述左视点虚拟视图和右视点虚拟视图均为洞点时，保留洞点。由于采用了以上技术方案，使本申请具备的有益效果在于：在本申请的具体实施方式中，由于使用像素块代表像素点，左视点虚拟视图在左视点参考视图中搜索候选像素，右视点虚拟视图在右视点参考视图中搜索候选像素，分别在左视点虚拟视图和右视点虚拟视图中搜索像素块，对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，进行加权求和，当前像素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值的，则被剔除，对于搜索不到候选像素的像素块，则标记为洞点，而空洞区域刚好是容易产生颜色混合的部分，使用对应图像中的信息进行填补，避免了在边界区域容易产生边界与背景混合的现象，能同时在边界和非边界区域获得良好的合成质量。附图说明

图 1为本申请的虚拟视点合成方法在一种实施方式中的流程图；图 2为本申请的单视点映射中间结构示意图；

图 3为本申请的基于像素块的映射方式示意图；

图 4为本申请的像素值计算方法示意图；

图 5为本申请的去鬼影示意图；

图 6为合成结果对比图；

图 7 PSNR曲线图；

图 8 平均 PSNR柱形图；

图 9 为本申请的虚拟视点合成系统在一种实施方式中的结构示意图。具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

实施例一：

如图所示，本申请的虚拟视点合成方法，其一种实施方式，包括以下步骤：

步骤 102: 建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为（u,v)的像素取 (u,v)到（u+Ι,ν)的像素块，即 I(u) = [u,u+l)。

对左右视点分别绘制一幅虚拟视图，将像素看作有一定面积的方块，而不是一个点，虚拟视点中，坐标为（u,v)的像素块指的是 (u,v)到 (u+Ι,ν)之间的部分, 将其定义为 I(u) = [u,u+l)，为每一个 (u,v)在参考视点中搜索映射到虚拟视点中与（u,v)能产生交集的所有像素，即 I(u) n I (u_r+5)≠0。步骤 104 :所述左视点虚拟视图在左视点参考视图中搜索候选像素，所述右视点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和 /或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点。

来自左视点的虚拟视图仅在左视图中搜索候选像素，如果找不到，将该像素标记为洞点。来自右视点的虚拟视图仅在右视图中搜索候选像素，如果找不到，将该像素标记为洞点。如此，可以得到一幅如图 2所示的边界区域为空洞的初步的虚拟视图。空洞区域刚好是原方法中容易产生颜色混合的部分，这样留洞以后，可以用对应图像中的信息进行填补，如图 2 (a)中的空洞可以由图 2 (b)进行填补，这样就避免了原方法中的边界部分的缺陷。

在参考视图中搜索候选像素，可设置第一调节参数，所述第一调节参数为预设初始值时，若搜索不到候选参数的像素块，则对所述第一调节参数加 1 , 重新搜索，若仍然搜索不到候选参数的像素快，则标记为洞点。

如图 3中为（u,v)搜索到的候选像素集为 {PI , P2 , P3} , 此外，设置一个调节参数 t, 参考视点中的像素块的定义表示为 I(u_r,t)=[u_r-t,u_r+l+t), t的初始值为 0, 当对 (u,v)找不到候选像素时， t加 1 , 重新搜索，如图 2 中的（ιι',ν')像素， t=0 时候选像素集为空， t=l 时为其搜索到候选像素 {P4} ; 若仍搜不到，则终止，标记为空洞。

空洞区域刚好是原方法中容易产生颜色混合的部分，这样留洞以后，可以用对应图像中的信息进行填补，如图 2 (a)中的空洞可以由图 2 (b) 进行填补，这样就避免了原方法中的边界部分的缺陷。此外，加权求和时，如果当前像素的深度值与首像素（加权求和的第一个像素）的深度值差超过一定阈值，表示一个为前景，一个为背景，因此将其剔除，不参与加权求和，否则同样可能产生颜色混合的问题。左右视点分别进行映射，得到两幅带洞点的虚拟视点图像。

步骤 106 : 对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，依据所述前景系数和背景系数进行加权求和，对于当前像素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值的，则不参与加权求和；

若候选像素集 C (u)非空，则将其按照深度从小到大排序，即距离摄像机从近到远，依次对每个像素计算前景系数 w/、背景系数 Wj^b, 计_: 方法如下：

前景系数：

ι_Ί· (u_r， t) n i^j (u) I ( 1 ) 其中， I^j(u)表示在目标像素块中，还没有被之前的像素（具有更小深度值）遮挡的比重，计算方法如下：

(") if 7 = 0

I^J( )

1 )η/»)) if j>0

(2) 那么，背景系数为

w,^b = I I (u) ΓΊ L- (u_r， t) I -_Wi (3 ) 然后，对所

上式中，用于根据像素的深度值控制在合成过程中所占的权重，以提高准确度，计算公式为：

a_j =l-(z_j-z_l)/z_l ( 5 ) 图 4给出了图 3 中的块（u, V ) 的候选像素集 {PI, P2, P3}的加权求和过程。 PI, P2, P3按照深度从小到大排序，计算顺序为 P1→P2→P3。首先计算 PI的前景系数 w/，由 PI与块（u, V )重叠的部分得到其前景系数 _Wl,_f; 然后计算 P2, P2与块（u, V )剩余的未被覆盖的部分的重叠为图中所示 w₂,_f, 即其前景系数，于是， P2与块（u, V ) 的重叠部分减去前景部分，就得到 P2的背景系数 w₂,_b; 最后为 P3, 由于此时 PI, P2 的前景系数已完全覆盖了块（u, V ), P3的前景系数为 0, 其与块（u, V )的重叠部分全部为背景系数 w₃,_b。为所有候选像素计算出前景系数和背景系数后，按照（4) 式进行加权求和。

加权求和时，如果当前像素的深度值与首像素（加权求和的第一个像素）的深度值差超过一定阈值将其剔除，不参与加权求和。左右视点分别进行映射，得到两幅带洞点的虚拟视点图像。阈值可通过 ( minDepth+p* (maxDepth-minDepth) ) 计算 , ρ 为经验值 , 是满足 0.3<ρ<0.5的一个常数值，在本实施方式中， ρ取 0.33,

步骤 108:将左视点虚拟视图和 /或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素。

鬼影的产生来自于深度图的不连续性，使得前景边界映射到背景区域上，产生鬼影。鬼影集中于洞点区域与背景的交界处，如图 5 (a)(c) 所示，因此在本步骤中，将单视点映射模块生成的带洞点的虚拟视点图像中的洞点区域向背景方向扩大，去除鬼影像素，形成洞点，如图 5 (c) (d), 将在后面的步骤中用另一个视点的对应像素进行填补。

在本步骤中，可对虚拟视点逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞区的右边界，然后对左右边界各自依次向外取几个像素，选取的像素的数量可根据需要进行设定，通常选取 3~ 8个像素，在本实施方式中，可取 5个像素，计算其深度平均值，分别记为 d_left、 d.right, 计算其差值，与第二预定阈值比较，决定洞区扩充方向，具体如下：

对左视点和 /或右视点虚拟视图逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞点区域的右边界，然后对左右边界各自依次向外取预定数量的像素，计算其深度平均值，分别记为 d_left、 d.right, 计算所述 d.left, d.right 的差值，与第二预定阈值进行比较，决定洞区扩充方向。具体如下：

若 d_left-d_right大于所述第二预定阈值，向左侧扩充；

若 d_left-d_right小于所述第二预定阈值，向右侧扩充；

若 d_lef t-d_right等于所述第二预定阈值，不扩充。

第二预定阈值为经验值，可取 15 ~ 25, 在本实施方式中，第二预定阈值取 20。

步骤 110:对所述左视点虚拟视图和右视点虚拟视图进行视点合成；左右视点分别生成一个虚拟视点图像后，将其合成一副图像，方法为按照虚拟视点与左右视点的距离做加权求和。具体来讲，需要分三种情况：

左视点虚拟视图和右视点虚拟视图均有像素值时，按照与左右视点的距离关系做加权求和；

左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像素值，另一幅虚拟图像的对应点为洞点时，直接取该像素值；

左视点虚拟视图和右视点虚拟视图均为洞点时，保留洞点。

步骤 112: 对合成图像进行洞点填补。完成前面的步骤后，仍可能存在一些小洞。这一步对所有剩下的洞点完成填补。实验结果表明，一般完成前面的步骤后，剩下的洞点很少，所以采用筒单的背景填补方法即可。背景判定方法类似判断背景在洞区左侧还是右侧的方法。不同的是，不用阈值，直接比较 ^、 d.right 的大小，当 d_left>d_right时，洞点左侧为背景，用左侧最近的像素值填充洞点；当 d_left<d_right时，用右侧最近点填补。

经过以上步骤之后，就得到了最终的虚拟视点图像。

图 6 给出了申请的虚拟视点合成方法（Pixe block Based View Synthesis, PBVS )、 MPEG的 VSRS视点合成参考软件、以及由 Paradiso V等人在 2012年提出的视点合成方法 IBIS ( Paradiso V, Lucenteforte M, Granget to M. A novel interpolation method for 3D view synthes i s [C] // 3DTV-Conf erence: The True Vi s ion-Capture, Transmission and Display of 3D Video (3DTV-C0N) , 2012. IEEE, 2012: 1-4. ) 在 newspaper序列上的实验结果，所示为第一帧的合成结果，图 6 (a) 为原始视图，图 6 (b) 为 ) 中用红色框标记的块 I的放大图，从左到右依次为原始图像、 VSRS合成结果、 IBIS合成结果、 PBVS合成结果。图 6 ( c) 为 ) 中用红色框标记的块 II的放大图，顺序与（b) 一致。从图 6 (b)可以观察到， IBIS算法在前景边缘部分（如，盆栽的叶子部分）存在颜色混合的现象，而本发明提出的方法 PBVS效果良好。这是因为在单视点映射中将边界部分留洞，之后由对应视点高质量的对应像素进行填补的结果。从图 6 ( c) 可以观察到， PBVS在墙壁部分的合成效果有明显改善， VSRS方法和 IBIS方法的结果中存在很多不够平滑的裂缝状纹理，而提出的 PBVS方法获得的结果是相当平滑的，更接近原始图像。这归功于单向视点映射模块，将有贡献的参考像素用科学的方法进行力口权求和。

图 7 给出了三种方法在序歹 'J newspaper . kendo, bal loons . caf e 上的合成结果 PSNR曲线图，其中图 7 ) 为 newspaper序列上合成结果 PSNR曲线图，图 7 ( b) 为 kendo序列上合成结果 PSNR曲线图，图 7 ( c )为 balloons序列上合成结果 PSNR曲线图，图 7 ( d )为 caf6序列上合成结果 PSNR曲线图，表 1给出了四个序列的描述信息。

测试序列分辨率帧数参考视点合成视点

Newspaper 1024*768 300 2, 4 3 Kendo 1024*768 300 3 5 4

Bal loons 1024*768 300 3 5 4

Cafe 1920*1080 300 2,4 3 从图 8可以看到， PBVS在序歹 'J newspaper, kendo balloons上的合成效果比 VSRS均有提升， caf6序列上能达到相当的效果，而 IBIS则波动较大。

表 2给出了三种方法在各个序列上的平均 PSNR值。

图 9给出了三种方法的平均 PSNR柱形图。

本申请的虚拟视点合成方法， VSRS方法对不同序列的合成质量比较稳定， IBIS 在部分序列上的合成质量相较于 VSRS 能有一定改善，如 kendo, balloons, 但在部分序列上反而会有明显下降，如 caf6, 尤其在颜色差别较大的边界部分效果较差。与这两种方法相比， PBVS在各个序列上均能达到一个比较理想的合成效果，在保证稳定性的前提下提升了虚拟视点的合成质量。从图 8可以看到， PBVS在平均 PSNR上相较于 VSRS与 IBIS均有明显提升。实施例二：

如图 9所示，本申请的虚拟视点合成系统，其一种实施方式，包括视点映射模块，鬼影去除模块、视点合成模块和小洞填补模块，视点映射模块包括创建单元、选择单元和控制单元。

创建单元用于建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为（u, V)的像素取 (u, V)到（u+1, V)的像素块，即 I(u) = [u,u+l)。

选择单元用于在左视点参考视图中搜索所述左视点虚拟视图的候选像素，在右视点参考视图中搜索所述右视点虚拟视图的候选像素，对于左视点虚拟视图和 /或右视点虚拟视图中搜索不到候选像素的像素块，则标 i己为洞点。控制单元对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，依据所述前景系数和背景系数进行加权求和，对于当前像素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值的，则不参与加权求和。

鬼影去除模块用于将左视点虚拟视图和 /或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素。

视点合成模块用于对所述左视点虚拟视图和右视点虚拟视图进行视点合成。

小洞填补模块用于对合成图像进行洞点填补。

在一种实施方式中，选择单元还用于在参考视图中搜索候选像素，设置第一调节参数，第一调节参数为预设初始值时，若搜索不到候选参数的像素块，则对第一调节参数加 1, 重新搜索，若仍然搜索不到候选参数的像素快，则标记为洞点。

前景系数通过 I ij(u_r, t) ni^j(u) I计算；背景系数通过 Wj^b = I Ku) n ij(u_r， t) I -w/计算；

其中 Ij(U_r， t)=[U_r-t，Ur+l + t)为参考视点中的像素块， t为第二调节参数， I^j(u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重；依据所述前景系数和背景系数进行加权求和的公式为：

|C(u)|

∑ (w;+a )YG)

Y(u) ⁷ ∑|C(u)| . b、

r_l (w^a^w^ , 其中《根据像素的深度值控制在合成过程中所占的权重。

在一种实施方式中，鬼影去除模块还用于对左视点和 /或右视点虚拟视图逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞点区域的右边界，然后对左右边界各自依次向外取预定数量的像素，计算其深度平均值，分别记为 d_left、 d.right, 计算所述^ ^、 d-right的差值，与第二预定阈值比较，决定洞区扩充方向：

若 d_left-d_right大于所述第二预定阈值，向左侧扩充；

若 d_left-d_right小于所述第二预定阈值，向右侧扩充；

若 d_lef t-d_right等于所述第二预定阈值，不扩充。

在一种实施方式中，视点合成模块还用于在所述左视点虚拟视图和右视点虚拟视图均有像素值时，按照与左右视点的距离关系做加权求和；

左视点虚拟视图和右视点虚拟视图均为洞点时，保留洞点。以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干筒单推演或替换。

Claims

权利要求

1. 一种虚拟视点合成方法，其特征在于，包括：

建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为（u, V)的像素取 (u, V)到（u+1 , V)的像素块，即 I(u) = [u,u+ l) ;

所述左视点虚拟视图在左视点参考视图中搜索候选像素，所述右视点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和 / 或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点；

对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，依据所述前景系数和背景系数进行加权求和，对于当前像素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值的，则不参与力口权求和；

将左视点虚拟视图和 /或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素；

对所述左视点虚拟视图和右视点虚拟视图进行视点合成；

对合成图像进行洞点填补。
2. 如权利要求 1所述的虚拟视点合成方法，其特征在于，所述左视点虚拟视图在左视点参考视图中搜索候选像素，所述右视点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和 /或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点，还包括：

在参考视图中搜索候选像素，设置第一调节参数，所述第一调节参数为预设初始值时，若搜索不到候选参数的像素块，则对所述第一调节参数加 1 , 重新搜索，若仍然搜索不到候选参数的像素快，则标记为洞点。
3. 如权利要求 1所述的虚拟视点合成方法，其特征在于，所述前景系数通过 w/ = I ij (u_r, t) n i^j (u) I 计算；

所述背景系数通过 _Wj^b = I Ku) n ij (_Ur, t) I -w/计算；

其中 Ij (U_r， t) = [U_r-t，Ur+ l + t)为参考视点中的像素块， t为第二调节参数， I^j (u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重；依据所述前景系数和背景系数进行加权求和的公式为： , 其中根据像素的深度值控制在合成过程中所占的权重。
4. 如权利要求 1所述的虚拟视点合成方法，其特征在于，所述将左视点虚拟视图和 /或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素，具体包括：

对左视点和 /或右视点虚拟视图逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞点区域的右边界，然后对左右边界各自依次向外取预定数量的像素，计算其深度平均值，分别记为 d_left、 d.right, 计算所述 d.left, d.right 的差值，与第二预定阈值比较，决定洞区扩充方向：

若 d_left-d_right大于所述第二预定阈值，向左侧扩充；

若 d_left-d_right小于所述第二预定阈值，向右侧扩充；

若 d_lef t-d_right等于所述第二预定阈值，不扩充。
5. 如权利要求 1至 4中任一项所述的虚拟视点合成方法，其特征在于，所述对所述左视点虚拟视图和右视点虚拟视图进行视点合成，包括：

所述左视点虚拟视图和右视点虚拟视图均有像素值时，按照与左右视点的距离关系做加权求和；

所述左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像素值，另一幅虚拟图像的对应点为洞点时，直接取该像素值；

所述左视点虚拟视图和右视点虚拟视图均为洞点时，保留洞点。
6. 一种虚拟视点合成系统，其特征在于，包括单视点映射模块，鬼影去除模块、视点合成模块和小洞填补模块，所述单视点映射模块包括创建单元、选择单元和控制单元，

所述创建单元用于建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为（u, V)的像素取 (u, V)到（u+1, V)的像素块，即 I(u) = [u,u+l);

所述选择单元用于在左视点参考视图中搜索所述左视点虚拟视图的候选像素，在右视点参考视图中搜索所述右视点虚拟视图的候选像素，对于左视点虚拟视图和 /或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点；所述控制单元对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，依据所述前景系数和背景系数进行加权求和，对于当前像素的深度值与加权的第一个像素的深度值差超过第一预定阈值的，则不参与加权求和；

所述鬼影去除模块用于将左视点虚拟视图和 /或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素；

所述视点合成模块用于对所述左视点虚拟视图和右视点虚拟视图进行视点合成；

所述小洞填补模块用于对合成图像进行洞点填补。
7. 如权利要求 6所述的虚拟视点合成系统，其特征在于，所述选择单元还用于在参考视图中搜索候选像素，设置第一调节参数，所述第一调节参数为预设初始值时，若搜索不到候选参数的像素块，则对所述第一调节参数加 1, 重新搜索，若仍然搜索不到候选参数的像素快，则标 i己为洞点。
8. 如权利要求 6所述的虚拟视点合成系统，其特征在于，所述前景系数通过 I ij (u_r, t) n i^j (u) I 计算；

所述背景系数通过 Wj^b = I Ku) n ij (_Ur, t) I -w/计算；

其中 Ij(U_r， t)=[U_r-t，Ur+l + t)为参考视点中的像素块， t为第二 i

, I^j(u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比依据所述前景系数和背景系数进行加权求和的公式为：

、 " |C(u)| _{f b}

(^Wj^+aj'^XWj) , 其中根据像素的深度值控制在合成过程中所占的权重。
9. 如权利要求 6所述的虚拟视点合成系统，其特征在于，所述鬼影去除模块还用于对左视点和 /或右视点虚拟视图逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞点区域的右边界，然后对左右边界各自依次向外取预定数量的像素，计算其深度平均值，分别记为 d_left、 d.right, 计算所述 d_left、 d_right 的差值，与第二预定阈值比较，决定洞区扩充方向：

若 d_left-d_right大于所述第二预定阈值，向左侧扩充；若 d_left-d_right小于所述第二预定阈值，向右侧扩充；若 d_lef t-d_right等于所述第二预定阈值，不扩充。
10. 如权利要求 6至 9中任一项所述的虚拟视点合成系统，其特征在于，所述视点合成模块还用于在所述左视点虚拟视图和右视点虚拟视图均有像素值时，按照与左右视点的距离关系做加权求和；

所述左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像素值，另一幅虚拟图像的对应点为洞点时，直接取该像素值；

所述左视点虚拟视图和右视点虚拟视图均为洞点时，保留洞点。