CN104756489B - 一种虚拟视点合成方法及系统 - Google Patents

一种虚拟视点合成方法及系统 Download PDF

Info

Publication number
CN104756489B
CN104756489B CN201380003165.8A CN201380003165A CN104756489B CN 104756489 B CN104756489 B CN 104756489B CN 201380003165 A CN201380003165 A CN 201380003165A CN 104756489 B CN104756489 B CN 104756489B
Authority
CN
China
Prior art keywords
view
point
pixel
virtual
virtual view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380003165.8A
Other languages
English (en)
Other versions
CN104756489A (zh
Inventor
李晨霞
王荣刚
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Immersion Vision Technology Co ltd
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Publication of CN104756489A publication Critical patent/CN104756489A/zh
Application granted granted Critical
Publication of CN104756489B publication Critical patent/CN104756489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种虚拟视点合成方法及系统，包括建立左视点虚拟视图和右视点虚拟视图；在参考视图中搜索候选像素，对于搜索不到候选像素的像素块，标记为洞点；对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，进行加权求和；将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素；对左视点虚拟视图和右视点虚拟视图进行视点合成；对合成图像进行洞点填补。本申请由于对于搜索不到候选像素的像素块，标记为洞点，使用对应图像中的信息进行填补，而空洞区域刚好是容易产生颜色混合的部分，避免了在边界区域容易产生边界与背景混合的现象，同时在边界和非边界区域获得良好的合成质量。

Description

一种虚拟视点合成方法及系统
技术领域
本申请涉及多视点视频编解码技术领域，尤其涉及一种虚拟视点合成方法及系统。
背景技术
多视点视频（Multi-View Video）指的是由不同视点的多个摄像机从不同视角拍摄同一场景得到的一组视频信号，是一种有效的3D视频表示方法，能更加生动地再现场景，给人身临其境的感觉，在立体电视、自由视点电视、立体视频会议和视频监控等领域有着非常广泛的应用前景。
多视点视频通过一组同步的摄像机阵列从不同角度采集同一场景，在显示时，可以根据观看者所处位置显示相应角度的图像；当观看者的头部移动时，看到内容也会出现相应的变化，从而得到“环视”的效果。为得到自然平滑的运动视差效果，需要使用非常稠密的摄像机来获得多视点视频序列。然而随着相机数目的增加，多视点视频的数据量也成倍增加，给存储和传输带来了巨大的挑战。在低码率下为了得到高质量的立体视频流，多视点视频一般采用双视点加深度的格式，将彩色视频图和深度图各自进行压缩编码，解码时，采用基于深度图的虚拟视点合成技术(Depth Image Based Rendering,DIBR)，用左右两视点和对应的深度图生成多视点视频，可根据用户的需求（立体视频或任意视点视频）重建一个或多个角度的立体视频。虚拟视点合成是多视点视频编解码中的关键技术之一，合成图像的质量直接影响到多视点视频的观看质量。
现有技术中的虚拟视点合成方法，全程仅一副虚拟图像，对一个像素同时在左右参考视点中搜索候选像素，因此其候选像素集可能包含来自两个视点中的像素，且所有候选像素都参与到下一步的加权求和中，不作任何筛选。而基于深度图的方法很大程度依赖于深度图的准确度。深度图的不连续性也会影响合成视图的质量。因此现有的技术或多或少都存在一些缺陷，要么在产生遮挡的边界区域，要么在背景区域容易产生一些瑕疵。
发明内容
本申请提供一种虚拟视点合成方法及系统。
根据本申请的第一方面，本申请提供一种虚拟视点合成方法，包括：
建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为(u,v)的像素取(u,v)到(u+1,v)的像素块，即I(u)＝[u,u+1)；
所述左视点虚拟视图在左视点参考视图中搜索候选像素，所述右视点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和/或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点；
对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，依据所述前景系数和背景系数进行加权求和，对于当前像素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值的，则不参与加权求和；
将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素；
对所述左视点虚拟视图和右视点虚拟视图进行视点合成；
对合成图像进行洞点填补。
上述方法中，所述左视点虚拟视图在左视点参考视图中搜索候选像素，所述右视点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和/或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点，还包括：
在参考视图中搜索候选像素，设置第一调节参数，所述第一调节参数为预设初始值时，若搜索不到候选参数的像素块，则对所述第一调节参数加1，重新搜索，若仍然搜索不到候选参数的像素快，则标记为洞点。
上述方法中，所述前景系数通过wj f=∣Ij(ur,t)∩Ij(u)∣计算；
所述背景系数通过wj b=∣I(u)∩Ij(ur,t)∣-wj f计算；
其中Ij(ur,t)=[ur-t,ur+1+t)为参考视点中的像素块，t为第二调节参数，Ij(u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重；
依据所述前景系数和背景系数进行加权求和的公式为：
其中αj根据像素的深度值控制在合成过程中所占的权重。
上述方法中，所述将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素，具体包括：
对左视点和/或右视点虚拟视图逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞点区域的右边界，然后对左右边界各自依次向外取预定数量的像素，计算其深度平均值，分别记为d_left、d_right，计算所述d_left、d_right的差值，与第二预定阈值比较，决定洞区扩充方向：
若d_left-d_right大于所述第二预定阈值，向左侧扩充；
若d_left-d_right小于所述第二预定阈值，向右侧扩充；
若d_left-d_right等于所述第二预定阈值，不扩充。
上述方法中，所述对所述左视点虚拟视图和右视点虚拟视图进行视点合成，包括：
所述左视点虚拟视图和右视点虚拟视图均有像素值时，按照与左右视点的距离关系做加权求和；
所述左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像素值，另一幅虚拟图像的对应点为洞点时，直接取该像素值；
所述左视点虚拟视图和右视点虚拟视图均为洞点时，保留洞点。
根据本申请的第二方面，本申请提供一种虚拟视点合成系统，包括视点映射模块，鬼影去除模块、视点合成模块和小洞填补模块，所述视点映射模块包括创建单元、选择单元和控制单元，
所述创建单元用于建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为(u，v)的像素取(u，v)到(u+1，v)的像素块，即I(u)＝[u,u+1)；
所述选择单元用于在左视点参考视图中搜索所述左视点虚拟视图的候选像素，在右视点参考视图中搜索所述右视点虚拟视图的候选像素，对于左视点虚拟视图和/或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点；
所述控制单元对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，依据所述前景系数和背景系数进行加权求和，对于当前像素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值的，则不参与加权求和；
所述鬼影去除模块用于将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素；
所述视点合成模块用于对所述左视点虚拟视图和右视点虚拟视图进行视点合成；
所述小洞填补模块用于对合成图像进行洞点填补。
上述系统中，所述选择单元还用于在参考视图中搜索候选像素，设置第一调节参数，所述第一调节参数为预设初始值时，若搜索不到候选参数的像素块，则对所述第一调节参数加1，重新搜索，若仍然搜索不到候选参数的像素快，则标记为洞点。
上述系统中，所述前景系数通过wj f=∣Ij(ur,t)∩Ij(u)∣计算；
所述背景系数通过wj b=∣I(u)∩Ij(ur,t)∣-wj f计算；
其中Ij(ur,t)=[ur-t,ur+1+t)为参考视点中的像素块，t为第二调节参数，Ij(u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重；
依据所述前景系数和背景系数进行加权求和的公式为：
其中αj根据像素的深度值控制在合成过程中所占的权重。
上述系统中，所述鬼影去除模块还用于对左视点和/或右视点虚拟视图逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞点区域的右边界，然后对左右边界各自依次向外取预定数量的像素，计算其深度平均值，分别记为d_left、d_right，计算所述d_left、d_right的差值，与第二预定阈值比较，决定洞区扩充方向：
若d_left-d_right大于所述第二预定阈值，向左侧扩充；
若d_left-d_right小于所述第二预定阈值，向右侧扩充；
若d_left-d_right等于所述第二预定阈值，不扩充。
上述系统中，所述视点合成模块还用于在所述左视点虚拟视图和右视点虚拟视图均有像素值时，按照与左右视点的距离关系做加权求和；
所述左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像素值，另一幅虚拟图像的对应点为洞点时，直接取该像素值；
所述左视点虚拟视图和右视点虚拟视图均为洞点时，保留洞点。
由于采用了以上技术方案，使本申请具备的有益效果在于：
在本申请的具体实施方式中，由于使用像素块代表像素点，左视点虚拟视图在左视点参考视图中搜索候选像素，右视点虚拟视图在右视点参考视图中搜索候选像素，分别在左视点虚拟视图和右视点虚拟视图中搜索像素块，对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，进行加权求和，当前像素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值的，则被剔除，对于搜索不到候选像素的像素块，则标记为洞点，而空洞区域刚好是容易产生颜色混合的部分，使用对应图像中的信息进行填补，避免了在边界区域容易产生边界与背景混合的现象，能同时在边界和非边界区域获得良好的合成质量。
附图说明
图1为本申请的虚拟视点合成方法在一种实施方式中的流程图；
图2为本申请的单视点映射中间结构示意图；
图3为本申请的基于像素块的映射方式示意图；
图4为本申请的像素值计算方法示意图；
图5为本申请的去鬼影示意图；
图6为合成结果对比图；
图7PSNR曲线图；
图8平均PSNR柱形图；
图9为本申请的虚拟视点合成系统在一种实施方式中的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本申请作进一步详细说明。
实施例一：
如图所示，本申请的虚拟视点合成方法，其一种实施方式，包括以下步骤：
步骤102：建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为(u,v)的像素取(u,v)到(u+1,v)的像素块，即I(u)＝[u,u+1)。
对左右视点分别绘制一幅虚拟视图，将像素看作有一定面积的方块，而不是一个点，虚拟视点中，坐标为(u,v)的像素块指的是(u,v)到(u+1,v)之间的部分，将其定义为I(u)＝[u,u+1)，为每一个(u,v)在参考视点中搜索映射到虚拟视点中与(u,v)能产生交集的所有像素，即I(u)∩
步骤104：所述左视点虚拟视图在左视点参考视图中搜索候选像素，所述右视点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和/或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点。
来自左视点的虚拟视图仅在左视图中搜索候选像素，如果找不到，将该像素标记为洞点。来自右视点的虚拟视图仅在右视图中搜索候选像素，如果找不到，将该像素标记为洞点。如此，可以得到一幅如图2所示的边界区域为空洞的初步的虚拟视图。空洞区域刚好是原方法中容易产生颜色混合的部分，这样留洞以后，可以用对应图像中的信息进行填补，如图2(a)中的空洞可以由图2(b)进行填补，这样就避免了原方法中的边界部分的缺陷。
在参考视图中搜索候选像素，可设置第一调节参数，所述第一调节参数为预设初始值时，若搜索不到候选参数的像素块，则对所述第一调节参数加1，重新搜索，若仍然搜索不到候选参数的像素快，则标记为洞点。
如图3中为(u,v)搜索到的候选像素集为{P1，P2，P3}，此外，设置一个调节参数t，参考视点中的像素块的定义表示为I(ur,t)=[ur-t,ur+1+t)，t的初始值为0，当对(u,v)找不到候选像素时，t加1，重新搜索，如图2中的(u’,v’)像素，t=0时候选像素集为空，t=1时为其搜索到候选像素{P4}；若仍搜不到，则终止，标记为空洞。
空洞区域刚好是原方法中容易产生颜色混合的部分，这样留洞以后，可以用对应图像中的信息进行填补，如图2(a)中的空洞可以由图2(b)进行填补，这样就避免了原方法中的边界部分的缺陷。此外，加权求和时，如果当前像素的深度值与首像素（加权求和的第一个像素）的深度值差超过一定阈值，表示一个为前景，一个为背景，因此将其剔除，不参与加权求和，否则同样可能产生颜色混合的问题。左右视点分别进行映射，得到两幅带洞点的虚拟视点图像。
步骤106：对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，依据所述前景系数和背景系数进行加权求和，对于当前像素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值的，则不参与加权求和；
若候选像素集C(u)非空，则将其按照深度从小到大排序，即距离摄像机从近到远，依次对每个像素计算前景系数wj f、背景系数wj b，计算方法如下：
前景系数：
wj f=∣Ij(ur,t)∩Ij(u)∣ （1）
其中，Ij(u)表示在目标像素块中，还没有被之前的像素（具有更小深度值）遮挡的比重，计算方法如下：
那么，背景系数为：
wj b=∣I(u)∩Ij(ur,t)∣-wj f （3）
然后，对所有候选像素按照下式做加权求和：
上式中，αj用于根据像素的深度值控制在合成过程中所占的权重，以提高准确度，计算公式为：
αj=1-(zj-z1)/z1 （5）
图4给出了图3中的块（u，v）的候选像素集{P1，P2，P3}的加权求和过程。P1，P2，P3按照深度从小到大排序，计算顺序为P1→P2→P3。首先计算P1的前景系数wj f，由P1与块（u，v）重叠的部分得到其前景系数w1,f；然后计算P2，P2与块（u，v）剩余的未被覆盖的部分的重叠为图中所示w2,f，即其前景系数，于是，P2与块（u，v）的重叠部分减去前景部分，就得到P2的背景系数w2,b；最后为P3，由于此时P1，P2的前景系数已完全覆盖了块（u，v），P3的前景系数为0，其与块（u，v）的重叠部分全部为背景系数w3,b。为所有候选像素计算出前景系数和背景系数后，按照（4）式进行加权求和。
加权求和时，如果当前像素的深度值与首像素（加权求和的第一个像素）的深度值差超过一定阈值将其剔除，不参与加权求和。左右视点分别进行映射，得到两幅带洞点的虚拟视点图像。阈值可通过（minDepth+p*(maxDepth-minDepth)）计算,p为经验值，是满足0.3<p<0.5的一个常数值，在本实施方式中，p取0.33，
步骤108：将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素。
鬼影的产生来自于深度图的不连续性，使得前景边界映射到背景区域上，产生鬼影。鬼影集中于洞点区域与背景的交界处，如图5（a）（c）所示，因此在本步骤中，将单视点映射模块生成的带洞点的虚拟视点图像中的洞点区域向背景方向扩大，去除鬼影像素，形成洞点，如图5（c）（d），将在后面的步骤中用另一个视点的对应像素进行填补。
在本步骤中，可对虚拟视点逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞区的右边界，然后对左右边界各自依次向外取几个像素，选取的像素的数量可根据需要进行设定，通常选取3～8个像素，在本实施方式中，可取5个像素，计算其深度平均值，分别记为d_left、d_right，计算其差值，与第二预定阈值比较，决定洞区扩充方向，具体如下：
对左视点和/或右视点虚拟视图逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞点区域的右边界，然后对左右边界各自依次向外取预定数量的像素，计算其深度平均值，分别记为d_left、d_right，计算所述d_left、d_right的差值，与第二预定阈值进行比较，决定洞区扩充方向。具体如下：
若d_left-d_right大于所述第二预定阈值，向左侧扩充；
若d_left-d_right小于所述第二预定阈值，向右侧扩充；
若d_left-d_right等于所述第二预定阈值，不扩充。
第二预定阈值为经验值，可取15～25，在本实施方式中，第二预定阈值取20。
步骤110：对所述左视点虚拟视图和右视点虚拟视图进行视点合成；
左右视点分别生成一个虚拟视点图像后，将其合成一副图像，方法为按照虚拟视点与左右视点的距离做加权求和。具体来讲，需要分三种情况：
左视点虚拟视图和右视点虚拟视图均有像素值时，按照与左右视点的距离关系做加权求和；
左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像素值，另一幅虚拟图像的对应点为洞点时，直接取该像素值；
左视点虚拟视图和右视点虚拟视图均为洞点时，保留洞点。
步骤112：对合成图像进行洞点填补。
完成前面的步骤后，仍可能存在一些小洞。这一步对所有剩下的洞点完成填补。实验结果表明，一般完成前面的步骤后，剩下的洞点很少，所以采用简单的背景填补方法即可。背景判定方法类似判断背景在洞区左侧还是右侧的方法。不同的是，不用阈值，直接比较d_left、d_right的大小，当d_left>d_right时，洞点左侧为背景，用左侧最近的像素值填充洞点；当d_left<d_right时，用右侧最近点填补。
经过以上步骤之后，就得到了最终的虚拟视点图像。
图6给出了申请的虚拟视点合成方法（Pixel-block Based View Synthesis，PBVS）、MPEG的VSRS视点合成参考软件、以及由Paradiso V等人在2012年提出的视点合成方法IBIS（Paradiso V,Lucenteforte M,Grangetto M.A novel interpolation methodfor3D view synthesis[C]//3DTV-Conference:The True Vision-Capture,Transmissionand Display of3D Video(3DTV-CON),2012.IEEE,2012:1-4.）在newspaper序列上的实验结果，所示为第一帧的合成结果，图6（a）为原始视图，图6（b）为（a）中用红色框标记的块Ⅰ的放大图，从左到右依次为原始图像、VSRS合成结果、IBIS合成结果、PBVS合成结果。图6（c）为（a）中用红色框标记的块Ⅱ的放大图，顺序与（b）一致。从图6（b）可以观察到，IBIS算法在前景边缘部分（如，盆栽的叶子部分）存在颜色混合的现象，而本发明提出的方法PBVS效果良好。这是因为在单视点映射中将边界部分留洞，之后由对应视点高质量的对应像素进行填补的结果。从图6（c）可以观察到，PBVS在墙壁部分的合成效果有明显改善，VSRS方法和IBIS方法的结果中存在很多不够平滑的裂缝状纹理，而提出的PBVS方法获得的结果是相当平滑的，更接近原始图像。这归功于单向视点映射模块，将有贡献的参考像素用科学的方法进行加权求和。
图7给出了三种方法在序列newspaper、kendo、balloons、café上的合成结果PSNR曲线图，其中图7（a）为newspaper序列上合成结果PSNR曲线图，图7（b）为kendo序列上合成结果PSNR曲线图，图7（c）为balloons序列上合成结果PSNR曲线图，图7（d）为café序列上合成结果PSNR曲线图，表1给出了四个序列的描述信息。
测试序列 分辨率 帧数 参考视点 合成视点
Newspaper 1024*768 300 2,4 3
Kendo 1024*768 300 3,5 4
Balloons 1024*768 300 3,5 4
Café 1920*1080 300 2,4 3
从图8可以看到，PBVS在序列newspaper、kendo、balloons上的合成效果比VSRS均有提升，café序列上能达到相当的效果，而IBIS则波动较大。
表2给出了三种方法在各个序列上的平均PSNR值。
序列\算法 VSRS IBIS PBVS
Newspaper 29.828708 30.175583 30.263581
Kendo 37.666434 38.062545 38.110075
Balloons 36.627105 37.023326 36.839745
Cafe 33.834154 30.806064 33.718762
Average 34.489100 34.013880 34.733041
图9给出了三种方法的平均PSNR柱形图。
本申请的虚拟视点合成方法，VSRS方法对不同序列的合成质量比较稳定，IBIS在部分序列上的合成质量相较于VSRS能有一定改善，如kendo、balloons，但在部分序列上反而会有明显下降，如café，尤其在颜色差别较大的边界部分效果较差。与这两种方法相比，PBVS在各个序列上均能达到一个比较理想的合成效果，在保证稳定性的前提下提升了虚拟视点的合成质量。从图8可以看到，PBVS在平均PSNR上相较于VSRS与IBIS均有明显提升。
实施例二：
如图9所示，本申请的虚拟视点合成系统，其一种实施方式，包括视点映射模块，鬼影去除模块、视点合成模块和小洞填补模块，视点映射模块包括创建单元、选择单元和控制单元。
创建单元用于建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为(u，v)的像素取(u，v)到(u+1，v)的像素块，即I(u)＝[u,u+1)。
选择单元用于在左视点参考视图中搜索所述左视点虚拟视图的候选像素，在右视点参考视图中搜索所述右视点虚拟视图的候选像素，对于左视点虚拟视图和/或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点。
控制单元对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，依据所述前景系数和背景系数进行加权求和，对于当前像素的深度值与加权求和的第一个像素的深度值差超过第一预定阈值的，则不参与加权求和。
鬼影去除模块用于将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素。
视点合成模块用于对所述左视点虚拟视图和右视点虚拟视图进行视点合成。
小洞填补模块用于对合成图像进行洞点填补。
在一种实施方式中，选择单元还用于在参考视图中搜索候选像素，设置第一调节参数，第一调节参数为预设初始值时，若搜索不到候选参数的像素块，则对第一调节参数加1，重新搜索，若仍然搜索不到候选参数的像素快，则标记为洞点。
前景系数通过wj f=∣Ij(ur,t)∩Ij(u)∣计算；背景系数通过wj b=∣I(u)∩Ij(ur,t)∣-wj f计算；
其中Ij(ur,t)=[ur-t,ur+1+t)为参考视点中的像素块，t为第二调节参数，Ij(u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重；
依据所述前景系数和背景系数进行加权求和的公式为：
其中αj根据像素的深度值控制在合成过程中所占的权重。
在一种实施方式中，鬼影去除模块还用于对左视点和/或右视点虚拟视图逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞点区域的右边界，然后对左右边界各自依次向外取预定数量的像素，计算其深度平均值，分别记为d_left、d_right，计算所述d_left、d_right的差值，与第二预定阈值比较，决定洞区扩充方向：
若d_left-d_right大于所述第二预定阈值，向左侧扩充；
若d_left-d_right小于所述第二预定阈值，向右侧扩充；
若d_left-d_right等于所述第二预定阈值，不扩充。
在一种实施方式中，视点合成模块还用于在所述左视点虚拟视图和右视点虚拟视图均有像素值时，按照与左右视点的距离关系做加权求和；
左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像素值，另一幅虚拟图像的对应点为洞点时，直接取该像素值；
左视点虚拟视图和右视点虚拟视图均为洞点时，保留洞点。
以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

1.一种虚拟视点合成方法，其特征在于，包括：
建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为(u，v)的像素取(u，v)到(u+1，v)的像素块，即I(u)＝[u,u+1)；
所述左视点虚拟视图在左视点参考视图中搜索候选像素，所述右视点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和/或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点；
对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，依据所述前景系数和背景系数进行加权求和，对于当前像素的深度值与加权的第一个像素的深度值差超过第一预定阈值的，则不参与加权求和；
将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素；
对所述左视点虚拟视图和右视点虚拟视图进行视点合成；
对合成图像进行洞点填补。
2.如权利要求1所述的虚拟视点合成方法，其特征在于，所述左视点虚拟视图在左视点参考视图中搜索候选像素，所述右视点虚拟视图在右视点参考视图中搜索候选像素，对于左视点虚拟视图和/或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点，还包括：
在参考视图中搜索候选像素，设置第一调节参数，所述第一调节参数为预设初始值时，若搜索不到候选参数的像素块，则对所述第一调节参数加1，重新搜索，若仍然搜索不到候选参数的像素快，则标记为洞点。
3.如权利要求1所述的虚拟视点合成方法，其特征在于，
所述前景系数通过计算；
所述背景系数通过计算；
其中Ij(ur,t)＝[ur-t,ur+1+t)为参考视点中的像素块，t为第二调节参数，Ij(u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重；
依据所述前景系数和背景系数进行加权求和的公式为：
其中αj根据像素的深度值控制在合成过程中所占的权重，C(u)为候选像素集。
4.如权利要求1所述的虚拟视点合成方法，其特征在于，所述将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素，具体包括：
对左视点和/或右视点虚拟视图逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞点区域的右边界，然后对左右边界各自依次向外取预定数量的像素，计算其深度平均值，分别记为d_left、d_right，计算所述d_left、d_right的差值，与第二预定阈值比较，决定洞区扩充方向：
若d_left-d_right大于所述第二预定阈值，向左侧扩充；
若d_left-d_right小于所述第二预定阈值，向右侧扩充；
若d_left-d_right等于所述第二预定阈值，不扩充。
5.如权利要求1至4中任一项所述的虚拟视点合成方法，其特征在于，所述对所述左视点虚拟视图和右视点虚拟视图进行视点合成，包括：
所述左视点虚拟视图和右视点虚拟视图均有像素值时，按照与左右视点的距离关系做加权求和；
所述左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像素值，另一幅虚拟图像的对应点为洞点时，直接取该像素值；
所述左视点虚拟视图和右视点虚拟视图均为洞点时，保留洞点。
6.一种虚拟视点合成系统，其特征在于，包括单视点映射模块，鬼影去除模块、视点合成模块和小洞填补模块，所述单视点映射模块包括创建单元、选择单元和控制单元，
所述创建单元用于建立左视点虚拟视图和右视点虚拟视图，在虚拟视点中，坐标为(u，v)的像素取(u，v)到(u+1，v)的像素块，即I(u)＝[u,u+1)；
所述选择单元用于在左视点参考视图中搜索所述左视点虚拟视图的候选像素，在右视点参考视图中搜索所述右视点虚拟视图的候选像素，对于左视点虚拟视图和/或右视点虚拟视图中搜索不到候选像素的像素块，则标记为洞点；
所述控制单元对搜索到的候选像素按照深度排序并依次计算前景系数和背景系数，依据所述前景系数和背景系数进行加权求和，对于当前像素的深度值与加权的第一个像素的深度值差超过第一预定阈值的，则不参与加权求和；
所述鬼影去除模块用于将左视点虚拟视图和/或右视点虚拟视图的洞点区域向背景方向扩大，去除鬼影像素；
所述视点合成模块用于对所述左视点虚拟视图和右视点虚拟视图进行视点合成；
所述小洞填补模块用于对合成图像进行洞点填补。
7.如权利要求6所述的虚拟视点合成系统，其特征在于，所述选择单元还用于在参考视图中搜索候选像素，设置第一调节参数，所述第一调节参数为预设初始值时，若搜索不到候选参数的像素块，则对所述第一调节参数加1，重新搜索，若仍然搜索不到候选参数的像素快，则标记为洞点。
8.如权利要求6所述的虚拟视点合成系统，其特征在于，
所述前景系数通过计算；
所述背景系数通过计算；
其中Ij(ur,t)＝[ur-t,ur+1+t)为参考视点中的像素块，t为第二调节参数，Ij(u)表示在虚拟视点像素块中，还没有被之前的像素遮挡的比重；
依据所述前景系数和背景系数进行加权求和的公式为：
其中αj根据像素的深度值控制在合成过程中所占的权重，C(u)为候选像素集。
9.如权利要求6所述的虚拟视点合成系统，其特征在于，所述鬼影去除模块还用于对左视点和/或右视点虚拟视图逐行扫描，当检查到洞点时，记录洞点起始位置，继续向右扫描，找到洞点区域的右边界，然后对左右边界各自依次向外取预定数量的像素，计算其深度平均值，分别记为d_left、d_right，计算所述d_left、d_right的差值，与第二预定阈值比较，决定洞区扩充方向：
若d_left-d_right大于所述第二预定阈值，向左扩充；
若d_left-d_right小于所述第二预定阈值，向右侧扩充；
若d_left-d_right等于所述第二预定阈值，不扩充。
10.如权利要求6至9中任一项所述的虚拟视点合成系统，其特征在于，所述视点合成模块还用于在所述左视点虚拟视图和右视点虚拟视图均有像素值时，按照与左右视点的距离关系做加权求和；
所述左视点虚拟视图和右视点虚拟视图中只有一幅虚拟图像有像素值，另一幅虚拟图像的对应点为洞点时，直接取该像素值；
所述左视点虚拟视图和右视点虚拟视图均为洞点时，保留洞点。
CN201380003165.8A 2013-07-29 2013-07-29 一种虚拟视点合成方法及系统 Active CN104756489B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/080282 WO2015013851A1 (zh) 2013-07-29 2013-07-29 一种虚拟视点合成方法及系统

Publications (2)

Publication Number Publication Date
CN104756489A CN104756489A (zh) 2015-07-01
CN104756489B true CN104756489B (zh) 2018-01-23

Family

ID=52430805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380003165.8A Active CN104756489B (zh) 2013-07-29 2013-07-29 一种虚拟视点合成方法及系统

Country Status (3)

Country Link
US (1) US9838663B2 (zh)
CN (1) CN104756489B (zh)
WO (1) WO2015013851A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194888A (zh) * 2018-11-12 2019-01-11 北京大学深圳研究生院 一种针对低质量深度图的dibr自由视点合成方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162137B (zh) * 2016-06-30 2018-10-12 北京大学 虚拟视点合成方法及装置
CN106341676B (zh) * 2016-09-29 2017-06-16 济南大学 基于超像素的深度图像预处理和深度空洞填充方法
CN110325788B (zh) 2017-01-17 2021-06-08 昕诺飞控股有限公司 可调节点光位置生成
CN107071383A (zh) * 2017-02-28 2017-08-18 北京大学深圳研究生院 基于图像局部分割的虚拟视点合成方法
US10834374B2 (en) 2017-02-28 2020-11-10 Peking University Shenzhen Graduate School Method, apparatus, and device for synthesizing virtual viewpoint images
CN107018401B (zh) * 2017-05-03 2019-01-22 曲阜师范大学 基于逆映射的虚拟视点空洞填补方法
JP6980496B2 (ja) * 2017-11-21 2021-12-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN108833879A (zh) * 2018-06-29 2018-11-16 东南大学 具有时空连续性的虚拟视点合成方法
CN109769109A (zh) * 2019-03-05 2019-05-17 东北大学 基于虚拟视点合成绘制三维物体的方法和系统
US11257283B2 (en) 2019-03-07 2022-02-22 Alibaba Group Holding Limited Image reconstruction method, system, device and computer-readable storage medium
US10893258B1 (en) * 2020-05-12 2021-01-12 National Taiwan University Displacement-oriented view synthesis system and method
CN114679579A (zh) * 2020-12-25 2022-06-28 北京华录新媒信息技术有限公司 一种2d视频转3d视频的空洞填充方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
CN102447925A (zh) * 2011-09-09 2012-05-09 青岛海信数字多媒体技术国家重点实验室有限公司 一种虚拟视点图像合成方法及装置
CN102892021A (zh) * 2012-10-15 2013-01-23 浙江大学 一种合成虚拟视点图像的新方法
CN103209334A (zh) * 2013-03-18 2013-07-17 中山大学 一种2.5d视频到多视点3d视频中虚拟视点综合和空洞的修补方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100950046B1 (ko) * 2008-04-10 2010-03-29 포항공과대학교 산학협력단 무안경식 3차원 입체 ｔｖ를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법
HUE026534T2 (en) * 2010-07-15 2016-06-28 Ge Video Compression Llc Hybrid video encoding to support intermediate view synthesis
JP6095067B2 (ja) * 2011-11-14 2017-03-15 国立研究開発法人情報通信研究機構 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
CN102710951B (zh) * 2012-05-09 2014-06-25 天津大学 基于散斑结构光深度相机的多视点计算成像方法
US9076249B2 (en) * 2012-05-31 2015-07-07 Industrial Technology Research Institute Hole filling method for multi-view disparity maps

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
CN102447925A (zh) * 2011-09-09 2012-05-09 青岛海信数字多媒体技术国家重点实验室有限公司 一种虚拟视点图像合成方法及装置
CN102892021A (zh) * 2012-10-15 2013-01-23 浙江大学 一种合成虚拟视点图像的新方法
CN103209334A (zh) * 2013-03-18 2013-07-17 中山大学 一种2.5d视频到多视点3d视频中虚拟视点综合和空洞的修补方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194888A (zh) * 2018-11-12 2019-01-11 北京大学深圳研究生院 一种针对低质量深度图的dibr自由视点合成方法
CN109194888B (zh) * 2018-11-12 2020-11-27 北京大学深圳研究生院 一种针对低质量深度图的dibr自由视点合成方法

Also Published As

Publication number Publication date
US9838663B2 (en) 2017-12-05
CN104756489A (zh) 2015-07-01
WO2015013851A1 (zh) 2015-02-05
US20160150208A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
CN104756489B (zh) 一种虚拟视点合成方法及系统
Harman et al. Rapid 2D-to-3D conversion
CN101902657B (zh) 一种基于深度图分层的虚拟多视点图像的生成方法
CN100355272C (zh) 一种交互式多视点视频系统中虚拟视点的合成方法
JP6517245B2 (ja) 三次元画像を生成するための方法及び機器
CN102447925B (zh) 一种虚拟视点图像合成方法及装置
CN102325259A (zh) 多视点视频中虚拟视点合成方法及装置
CN101771893A (zh) 一种基于视频序列背景建模的虚拟视点绘制方法
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
CN107240147B (zh) 图像渲染方法及系统
CN107147894B (zh) 一种自由立体显示中的虚拟视点图像生成方法
CN106028020B (zh) 一种基于多方向预测的虚拟视角图像空洞填补方法
CN101662695B (zh) 一种获取虚拟视图的方法和装置
CN110660131A (zh) 一种基于深度背景建模的虚拟视点空洞填补方法
Tomiyama et al. Algorithm for dynamic 3D object generation from multi-viewpoint images
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
WO2020184174A1 (ja) 画像処理装置および画像処理方法
CN102026012B (zh) 平面视频立体化转换深度图生成方法和装置
CN108924434B (zh) 一种基于曝光变换的立体高动态范围图像合成方法
JP5691965B2 (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
CN104661014B (zh) 时空结合的空洞填充方法
CN109345444A (zh) 深度感知增强的超分辨率立体图像构建方法
CN104052990A (zh) 一种基于融合深度线索的全自动二维转三维方法和装置
CN103379350A (zh) 虚拟视点图像后处理方法
TW201025186A (en) Image processing method for providing depth information

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230331

Address after: 518000 University City Entrepreneurship Park, No. 10 Lishan Road, Pingshan Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province 1910

Patentee after: Shenzhen Immersion Vision Technology Co.,Ltd.

Address before: 518055 Nanshan District, Xili, Shenzhen University, Shenzhen, Guangdong

Patentee before: PEKING University SHENZHEN GRADUATE SCHOOL

TR01 Transfer of patent right