CN101312540A - 基于深度和遮挡信息的虚拟视点合成方法 - Google Patents

Abstract

本发明公开了一种基于深度和遮挡信息的虚拟视点合成方法。包括以下步骤：1)确定基于深度图像的绘制方法的3D绘制方程；2)根据参考视点与虚拟视点的空间位置，制定像素绘制顺序；3)利用基于深度图像的水平半像素绘制方法，参考主视点，绘制得到虚拟视点的图像；4)根据辅视点的遮挡信息，对虚拟视点图像进行遮挡补偿，得到高分辨率的虚拟视点图像；5)对高分辨率的图像进行变换，得到原始分辨率的图像；6)利用一种非对称的线性插值方法进行残余的空洞补偿；7)进行块效应平滑，得到高质量的虚拟视点合成图像。本发明适用于平行光轴相机阵列模型，待合成的虚拟视点在主视点和辅视点之间，可以高效的合成高质量的虚拟视点图像。

Description

基于深度和遮挡信息的虚拟视点合成方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于深度和遮挡信息的虚拟视点合成方法。

背景技术

随着视频相关技术的发展，人们对于下一代视频应用逐渐追求自由视点和立体视觉，这要求在显示端可以完整重建相应的三维场景。

在显示端要得到自由立体视觉，重建相应的三维场景，即需要得到该三维场景的多视点以至任意视点的视频图像。针对这一目的，现在主要有两种途径来实现：一种是基于模型的3D建模方法；另一种是基于图像的合成方法。基于模型的3D建模方法重建的视点图像质量更高，但同时运算复杂度也非常高，其复杂度随着场景内容而显著变化，且一般需要特殊的图像处理硬件才能实现；基于图像的合成方法相对来说复杂度比较低，更适合自然三维场景的视点重建。基于图像的的视点重建方法是通过一个或多个视点(参考视点)图像来重建其他视点(虚拟视点)的图像，一般参考视点越多，虚拟视点的图像也越好。参考视点个数的增多，对网络的传输带宽带来了巨大的挑战。因此，一方面为了节省网络带宽，另一方面为了得到真实的自由立体视觉体验，急切需要一种高效的虚拟视点合成方法。

基于图像的的虚拟视点合成方法，现在的实现途径主要有两种。一种是基于多视点视频编码(Multi-view Video Coding，MVC)的虚拟视点合成方法。MVC，它利用各个视点之间相关性来进行压缩，它编码主视点的完整二维视频信息图像，以及其余每一路视点的视差矢量与残差，其码率随着视点个数的增加线性增长，在解码端可以通过插值相邻视点的图像来生成虚拟视点图像。另一种方法是ATTEST采用的二维视频加其深度的虚拟视点合成方法。ATTEST系统在编码端只编码一路参考视频及其深度信息，在解码端采用基于深度图像的绘制方法(depth image based rendering，DIBR)，可以重建出任意视点的二维图像。与基于MVC的虚拟视点合成方法相比，这种二维视频加其深度的方法只需编码一路二维视频和一路深度图，网络传输负担比较小，而在解码端可以恢复出任一位置的虚拟视点图像；但是由于物体相互遮挡现象的存在，利用深度信息恢复得到的虚拟视点图像内部会出现明显的空洞，并且随着虚拟视点的位置逐渐偏离参考视点，空洞现象会更加严重，导致虚拟视点的质量逐渐下降。

为了控制码率，MVC编码方法对被编码的视点个数有比较大的限制，导致参考视点比较少，在解码端只能插值出有限位置的虚拟视点；并且由于物体在不同视点的成像位置受其景深的影响很大，且不同的物体一般其景深可能差别很大，因此很难提供一种高效的基于邻近二维图像的视点插值方法，以比较精确的恢复出虚拟视点。

ATTEST采用的二维视频加其深度的方法可以恢复出任意位置的虚拟视点图像，其关键技术是基于深度图像的绘制方法。基于深度图像的绘制方法是一种利用参考图像及其对应的深度信息来合成场景中虚拟视点的过程。基于深度图像的绘制方法主要可以分为以下两步：(1)利用深度信息，将参考图像上所有的像素点重投影到它们对应的3维空间中的位置；(2)这些3维空间点再被投影到虚拟视点的图像平面。这个从2维到3维的重投影以及从3维再到2维的投影称为3维图像变换，其核心是其绘制方程，可表示为： $\hat{z}\hat{m}=z\hat{A}R{A}^{-1}m+\hat{A}T;$ 其中，m和

分别是参考图像和被绘制图像中的像素坐标；z和

分别是三维空间点在参考相机和被绘制相机坐标系下的深度值；矩阵A和

分别是参考相机和被绘制相机的内参矩阵；R和T分别指被绘制相机相对于参考相机的旋转矩阵和平移矩阵。现有的基于深度图像的绘制方法，其主要的缺点是不能有效的解决遮挡问题，导致绘制得到的虚拟视点图像质量不高。

遮挡现象产生的机理如图4所示。其根本原因在于场景中深度不是一致连续的，在某些地方是存在突变的，一般出现的位置是物体的边界附近。遮挡问题可以分为两个类别：(1)重叠问题；(2)空洞问题；空洞问题再细分还可以分为局部空洞以及全局空洞。重叠问题和空洞问题都是相对而言的，视点选取发生变化时，原来的重叠问题会转变成空洞问题，而原来的空洞问题也有可能转变成重叠问题。重叠问题是指：在参考视点成像平面，成像在不同位置的两个或几个物体在新视点中成像在同一个位置，出现重叠，这时就得判断在新视点中哪个物体是可见的。空洞问题是指：在参考视点不可见的物体在新视点中变得可见，当根据参考视点预测新视点时，这些像素点不能通过参考视点的任一像素预测得到，在这些位置就出现所谓的空洞。现在解决重叠问题最基本的方法是Z-buffer算法。这种方法可以比较好的消除重叠效应，只是，这种算法虽然对任何的相机阵列通用，但实现的代价比较高。解决空洞问题，现在主要有两种方法：一种是利用背景、纹理、相邻像素等对空洞进行填充；另一种是对深度图进行预处理，主要对其进行平滑处理，平滑深度的不连续性，以减少图像绘制后产生的空洞。填充技术不能从本质上解决空洞问题，特别是对遮挡现象比较严重的视频序列效果不理想；而平滑预处理技术由于对物体进行了变形，得到的虚拟视点的视觉质量有比较明显的下降。

要恢复比较精确的虚拟视点，避免遮挡问题带来的图像质量的下降，弥补基于MVC、二维视频加其深度这两种虚拟视点合成方法带来的不足，现在还有的方法是采用多参考图像多深度图的虚拟视点合成方法，但是这样得传输更多的深度和辅助信息，码率显著增加，对传输网络的负担加重，不适合实际应用。

一方面要解决基于MVC、二维视频加其深度这两种虚拟视点合成方法带来的不足，另一方面要防止码率和复杂度的加剧。基于编码效率和虚拟视点质量的考虑，在虚拟视点的合成过程中，我们提出在二维参考视频加其深度的基础上，结合辅视点的遮挡信息，这样可以恢复出质量比较好的虚拟视点图像。参考视点、辅视点、虚拟视点的位置如图2所示，辅视点的遮挡信息包括根据参考视点预测辅视点得到的空洞的像素值及其对应的深度值，如图8所示，这部分遮挡信息可以在编码端通过辅助数据传输，虚拟视点合成的总体原理框图如图3所示(由于遮挡信息是与视点位置一一对应的，若对需要恢复的每一路虚拟视点都传一路遮挡信息，随着虚拟视点个数的增加，数据量也会线性增长。因此，在编码端一般只传一路或少数几路视点的遮挡信息，有遮挡信息的视点称为辅视点)。二维视频加其深度恢复虚拟视点的方法主要的缺点是空洞问题很难解决，而空洞问题的出现是由于某些物体区域在参考视点不可见，而在虚拟视点可见，这些区域就不能从参考视点预测得到，导致在虚拟视点相应位置出现空洞。考虑到这些区域能在虚拟视点可见，在参考视点不可见，那么可能在这两视点之外的某些视点又是可见的，这样就可以根据另外一个视点的遮挡信息来解决虚拟视点的空洞问题。如图2所示，当虚拟视点位置在参考视点和辅视点中间，参考视点和辅视点的基线距离在一定范围内的时候，那么几乎可以这么说：在虚拟视点可见的区域不是在参考视点可见，就是在辅视点可见，或者在两视点中都可见。这样，我们提出：根据参考视点的视频图像与其深度图，以及辅视点相对于参考视点的遮挡信息，就可以比较精确的恢复位置在参考视点和辅视点之间的任意位置的虚拟视点图像。

我们提出的这种基于深度和遮挡信息的虚拟视点合成方法，与基于MVC和二维视频加其深度这两种虚拟视点合成方法相比，一方面由于其解决了遮挡问题，因此可以合成质量更好的虚拟视点图像，另一方面它对传输网络的负担比较低，它只需要一路参考视频图像，一路与之对应的深度信息，以及一路辅视点相对于参考视点的遮挡信息，这个遮挡信息包括根据参考视点对辅视点进行预测后得到的空洞的像素值及其对应的深度值。由于一般空洞覆盖范围是比较小的，所以这路遮挡信息的数据量相比于深度图或视频图像是非常小的。同时，在平行光轴相机阵列模型下，在虚拟视点的合成过程中，我们提出了一种具有一定像素绘制顺序、基于深度图像的水平半像素绘制方法，以提高匹配的精度和基本解决重叠问题，从而可以更精确地合成虚拟视点图像。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于深度和遮挡信息的虚拟视点合成方法。

包括以下步骤：

1)在平行光轴相机阵列模型下，确定基于深度图像的绘制方法的3D绘制方程；

2)根据参考视点与虚拟视点的空间位置，制定像素绘制顺序；

3)按照制定的绘制顺序，利用基于深度图像的水平半像素绘制方法，参考主视点，绘制得到虚拟视点的图像；

4)根据辅视点的遮挡信息，利用基于深度图像的水平半像素绘制方法，对虚拟视点图像进行遮挡补偿，得到高分辨率的虚拟视点图像；

5)对高分辨率的虚拟视点图像进行变换，得到原始分辨率的虚拟视点图像；

6)利用非对称的线性插值方法进行残余的空洞补偿；

7)进行块效应平滑，得到高质量的虚拟视点合成图像。

所述的根据参考视点与虚拟视点的空间位置，制定像素绘制顺序步骤：

a)在平行光轴相机阵列模型下，当重叠发生时，根据像素在参考视点的位置来判断它们在虚拟视点的遮挡关系；

虚拟视点在被绘制之前，所有像素值都为零；在参考视点x₁位置的像素，经过绘制后在虚拟视点的x₂位置，若此时x₂位置的像素值不为零，则重叠发生。根据给定的平行相机模型，根据

$x_2=x_1-f\frac{c}{z}$

f为相机焦距，c为虚拟视点相对于参考视点的水平位移，z为景深，规定物体a遮挡物体b应满足：

x₁(a)，x₁(b)为物体a，b成像在参考视点的水平坐标；

x₂(a)，x₂(b)为物体a，b成像在被绘制视点的水平坐标

b)根据a)中得到的物体遮挡应满足的关系，结合参考视点与虚拟视点的空间位置，制定一种在给定相机模型下进行图像绘制时可以基本解决重叠问题的图像绘制顺序，若虚拟视点在参考视点右侧，则对于参考视点中的像素，按照逐行从左至右的参考顺序进行绘制；若虚拟视点在参考视点左侧，则对于参考视点中的像素，按照逐行从右至左的参考顺序进行绘制。

所述的按照制定的绘制顺序，利用基于深度图像的水平半像素绘制方法，参考主视点，绘制得到虚拟视点的图像步骤：

c)提高基于深度图像的绘制方法的匹配精度，得到一种基于深度图像的水平半像素绘制方法；

①按照第一步得到的深度图像绘制方程，计算物体在虚拟视点的精确坐标(x，y)；

②把H*V分辨率的虚拟视点图像坐标转化为2H*V分辨率的图像坐标，水平坐标x的取值范围从[0，H]扩展为[0，2H]；

③对坐标(x，y)进行水平半像素修正，转变为(x₂，y)，其中x₂＝2x，再对x₂进行就近取整；

d)利用基于深度图像的水平半像素绘制方法，按照制定的绘制顺序，参考主视点，绘制得到虚拟视点的图像；

④按照制定的绘制顺序，对于主视点的任一像素(x₁，y)，利用基于深度图像的水平半像素绘制方法，计算其在虚拟视点中的坐标(x₂，y)，若没有检测到重叠，则将虚拟视点中坐标为(x₂，y)的像素值与主视点中坐标为(x₁，y)的像素值一致；

⑤若检测到重叠，当虚拟视点在主视点右侧时，直接覆盖坐标(x₂，y)的像素值，当虚拟视点在参考视点左侧时，保留坐标(x₂，y)原来的像素值；

⑥重复步骤④⑤，直至主视点图像中所有像素遍历完成，最后生成高分辨率的虚拟视点的图像。

所述的根据辅视点的遮挡信息，利用基于深度图像的水平半像素绘制方法，对虚拟视点图像进行遮挡补偿，得到高分辨率的虚拟视点图像步骤：

e)得到辅视点的遮挡信息，虚拟视点、辅视点的空间位置；

遮挡信息包括辅视点空洞的像素值和深度值；根据平行光轴相机阵列模型，虚拟视点和辅视点也只有水平位移；遮挡信息和虚拟视点、辅视点的空间位置可以在编码端编码这些信息，在解码端从编码数据流中的辅助数据部分解码得到；

f)按照步骤2)制定的绘制顺序，利用基于深度图像的水平半像素绘制方法方法，基于辅视点的遮挡信息，对虚拟视点图像进行遮挡信息的绘制，实现遮挡补偿；

所述的对高分辨率的虚拟视点图像进行变换，得到原始分辨率的虚拟视点图像步骤：

g)确定一种从高分辨率转变为低分辨率的变换方法；

⑦令(x，y)为图像的像素坐标；函数f(x，y)，g(x，y)分别为H*V图像坐标为(x，y)以及2H*V图像坐标为(x，y)位置的像素值；函数h(x，y)表示：当g(x，y)不等于零时，h(x，y)＝1；当g(x，y)等于零时，h(x，y)＝0；

⑧函数f(x，y)与g(x，y)的映射关系是：

$f(x,y)=\frac{g(2x+1,y)+g(2x,y)+g(2x-1,y)}{h(2x+1,y)+h(2x,y)+h(2x-1,y)};$

h)利用步骤⑧的映射关系，对高分辨率的虚拟视点图像进行变换，生成具有原始分辨率的虚拟视点图像。

所述的利用非对称的线性插值方法进行残余的空洞补偿步骤：

i)对残余的空洞，采用一种在垂直和水平方向非对称的线性插值方法进行空洞补偿；

⑨检测空洞位置，设为(x，y)；函数f(x，y)表示坐标为(x，y)像素值；函数h(x，y)表示：当f(x，y)不等于零时，h(x，y)＝1；当f(x，y)等于零时，h(x，y)＝0；门限值t₁，t₂，其中t₁＞t₂；

⑩空洞(x，y)的补偿方程为：

利用步骤⑩中的补偿方程对虚拟视点图像进行残余的空洞补偿，可以得到视觉质量更好的虚拟视点图像。

本发明适用于平行光轴相机阵列模型，待合成的虚拟视点在主视点和辅视点之间，可以高效的合成高质量的虚拟视点图像。相比于其他虚拟视点合成方法，本发明通过对现有的基于深度图像的绘制方法进行优化，提高了绘制的精度；在绘制过程中采用特定的像素绘制顺序，基本解决了绘制过程中的重叠问题；根据参考视点以及辅视点的遮挡信息进行双重绘制，解决了遮挡问题，大大提高合成的虚拟视点的图像质量。

附图说明

图1为平行光轴相机模型示意图；

图2为主视点、虚拟视点、辅视点位置示意图；

图3为合成虚拟视点的总体原理示意图；

图4为产生遮挡的原理示意图；

图5为基于一般深度图像的绘制方法的结果示意图；

图6为高分辨率虚拟视点图像示意图；

图7为原始分辨率虚拟视点图像示意图；

图8为遮挡信息内容示意图。

具体实施方式

基于深度和遮挡信息的虚拟视点合成方法包括以下步骤：

1)在平行光轴相机阵列模型下，确定基于深度图像的绘制方法的3D绘制方程；

参考视点与被绘制视点的相机符合平行光轴相机阵列模型，如图1所示，这样可以简化基于深度图像的绘制方法的绘制方程。

参照图1所示的平行光轴相机阵列模型，相机O₁为参考视点，相机O₂为被绘制视点，相机O₁的坐标系与世界坐标系重合，相机焦距都为f，被绘制视点O₂相对于参考视点O₁只有水平方向位移c，没有旋转，同一物体相对于参考视点与被绘制视点的深度z是一样的，那么其成像在两个视点的坐标系中也只有水平方向的位移。在对于具有景深z的某物体A，其世界坐标为(x，y，z)，则物体A成像在参考视点O₁成像平面的水平坐标是：

$x_1=f\frac{x}{z}$

成像在被绘制视点O₂成像平面的水平坐标是：

$x_2=f\frac{x-c}{z}$

已知物体在参考视点中的坐标(x₁，y₁)，其绘制在被绘制视点中的坐标是(x₂，y₂)，则基于深度图像的绘制方法的绘制方程可以化简为：

$x_2=x_1-f\frac{c}{z}---\left(1\right)$

即在平行光轴相机模型条件下，虚拟视点的基于深度图像的绘制方法为：

对于参考视点的任一像素(x₁，y)，利用式1，算出其在被绘制视点中的新坐标(x₂，y)，然后将被绘制视点中坐标为(x₂，y)的像素值与参考视点中坐标为(x₁，y)的像素的值一致，这样就可以完成图像绘制，得到新视点的图像。

2)根据参考视点与虚拟视点的空间位置，制定像素绘制顺序；

3)按照制定的绘制顺序，利用基于深度图像的水平半像素绘制方法，参考主视点，绘制得到虚拟视点的图像；

4)根据辅视点的遮挡信息，利用基于深度图像的水平半像素绘制方法，对虚拟视点图像进行遮挡补偿，得到高分辨率的虚拟视点图像；

5)对高分辨率的虚拟视点图像进行变换，得到原始分辨率的虚拟视点图像；

6)利用非对称的线性插值方法进行残余的空洞补偿；

7)进行块效应平滑，得到高质量的虚拟视点合成图像。

所述的根据参考视点与虚拟视点的空间位置，制定像素绘制顺序步骤：

a)在平行光轴相机阵列模型下，当重叠发生时，根据像素在参考视点的位置来判断它们在虚拟视点的遮挡关系；

虚拟视点在被绘制之前，所有像素值都为零；在参考视点x₁位置的像素，经过绘制后在虚拟视点的x₂位置，若此时x₂位置的像素值不为零，则重叠发生。根据给定的平行相机模型，根据

$x_2=x_1-f\frac{c}{z}$

f为相机焦距，c为虚拟视点相对于参考视点的水平位移，z为景深，规定物体a遮挡物体b应满足：

x₁(a)，x₁(b)为物体a，b成像在参考视点的水平坐标；

x₂(a)，x₂(b)为物体a，b成像在被绘制视点的水平坐标

b)根据a)中得到的物体遮挡应满足的关系，结合参考视点与虚拟视点的空间位置，制定一种在给定相机模型下进行图像绘制时可以基本解决重叠问题的图像绘制顺序，若虚拟视点在参考视点右侧，则对于参考视点中的像素，按照逐行从左至右的参考顺序进行绘制；若虚拟视点在参考视点左侧，则对于参考视点中的像素，按照逐行从右至左的参考顺序进行绘制。

当重叠发生时，若虚拟视点在参考视点右侧，则一定是在参考视点中水平坐标比较大的物体遮挡水平坐标比较小的物体；反之，若虚拟视点在参考视点左侧，则一定是在参考视点中水平坐标比较小的物体遮挡水平坐标比较大的物体。参考视点(主视点)，虚拟视点，辅视点的位置如图2所示时，则对于参考视点中的像素，按照逐行从左至右的参考顺序进行绘制；

所述的按照制定的绘制顺序，利用基于深度图像的水平半像素绘制方法，参考主视点，绘制得到虚拟视点的图像步骤：

根据式1表示的基于深度图像的绘制方法绘制方程对图像进行绘制得到的绘制图像如图5所示。可以看出用一般的基于深度图像的绘制方法得到的新像素的位置大部分会落在非整像素位置上，若直接把就近像素的值赋给最近的整像素点，在就近像素与该整像素点距离比较远时造成的误差比较大。一种简单而有效的方法是：对图像水平方向进行半像素的深度图像绘制。

c)提高基于深度图像的绘制方法的匹配精度，得到一种基于深度图像的水平半像素绘制方法；

①按照第一步得到的深度图像绘制方程，计算物体在虚拟视点的精确坐标(x，y)；

②把H*V分辨率的虚拟视点图像坐标转化为2H*V分辨率的图像坐标，水平坐标x的取值范围从[0，H]扩展为[0，2H]；

③对坐标(x，y)进行水平半像素修正，转变为(x₂，y)，其中x₂＝2x，再对x₂进行就近取整；

d)利用基于深度图像的水平半像素绘制方法，按照制定的绘制顺序，参考主视点，绘制得到虚拟视点的图像；

④按照制定的绘制顺序，对于主视点的任一像素(x₁，y)，利用基于深度图像的水平半像素绘制方法，计算其在虚拟视点中的坐标(x₂，y)，若没有检测到重叠，则将虚拟视点中坐标为(x₂，y)的像素值与主视点中坐标为(x₁，y)的像素值一致；

⑤若检测到重叠，当虚拟视点在主视点右侧时，直接覆盖坐标(x₂，y)的像素值，当虚拟视点在参考视点左侧时，保留坐标(x₂，y)原来的像素值；

⑥重复步骤④⑤，直至主视点图像中所有像素遍历完成，最后生成高分辨率的虚拟视点的图像。

所述的根据辅视点的遮挡信息，利用基于深度图像的水平半像素绘制方法，对虚拟视点图像进行遮挡补偿，得到高分辨率的虚拟视点图像步骤：

e)得到辅视点的遮挡信息，虚拟视点、辅视点的空间位置；

遮挡信息包括辅视点空洞的像素值和深度值；根据平行光轴相机阵列模型，虚拟视点和辅视点也只有水平位移；遮挡信息和虚拟视点、辅视点的空间位置可以在编码端编码这些信息，在解码端从编码数据流中的辅助数据部分解码得到；

辅视点的遮挡信息图中有用的是图9所示中粗实线内的信息，粗实线外的像素值及其深度值都为零，在进行遮挡信息绘制时，若像素值为零，则直接跳过，不需要用基于深度图像的水平半像素绘制。

f)按照步骤2)制定的绘制顺序，利用基于深度图像的水平半像素绘制方法方法，基于辅视点的遮挡信息，对虚拟视点图像进行遮挡信息的绘制，实现遮挡补偿；

虚拟视点图像中的任一区域一般要么在主视点中可见，要么在辅视点中可见，即如图3所示：虚拟视点斜线表示部分可以由主视点绘制得到，而白色空洞部分基本上可以由辅视点提供的遮挡信息绘制得到；

若主视点、虚拟视点、辅视点的位置如图2所示，绘制方程为：

$x_2\text{=}{x}_1+f\frac{c1}{z}$

重叠问题的解决方法应该是逐行从右至左绘制；这样，经过遮挡补偿后，可以得到空洞很少，甚至没有空洞的虚拟视点合成图像。

所述的对高分辨率的虚拟视点图像进行变换，得到原始分辨率的虚拟视点图像步骤：

现在要把分辨率为2H*V的图像重新映射到分辨率为H*V的图像，如图7所示；

g)确定一种从高分辨率转变为低分辨率的变换方法；

⑦令(x，y)为图像的像素坐标；函数f(x，y)，g(x，y)分别为H*V图像坐标为(x，y)以及2H*V图像坐标为(x，y)位置的像素值；函数h(x，y)表示：当g(x，y)不等于零时，h(x，y)＝1；当g(x，y)等于零时，h(x，y)＝0；

⑧函数f(x，y)与g(x，y)的映射关系是：

$f(x,y)=\frac{g(2x+1,y)+g(2x,y)+g(2x-1,y)}{h(2x+1,y)+h(2x,y)+h(2x-1,y)}$ 式(2)

h)利用步骤⑧的映射关系，对高分辨率的虚拟视点图像进行变换，生成具有原始分辨率的虚拟视点图像。

对步骤f)得到的高分辨率的虚拟视点图像中水平相邻的三个像素点做线性插值，即利用式(2)得到图7(x，y)的像素值。

所述的利用非对称的线性插值方法进行残余的空洞补偿步骤：

一方面经过遮挡补偿后残留的空洞一般是局部遮挡问题，即可以根据临近像素插值得到；

另一方面，由空洞形成的原因是物体景深的不连续性，而对于平行相机阵列模型视点之间只有水平的位移，因此在这种特定的相机阵列中，图像绘制过程中空洞的产生主要是由于水平方向深度的不连续导致的；再则深度的不连续主要存在与物体的边界处，像素值的不连续也主要存在与物体的边界处。

从这两方面可以得出：局部遮挡的时候，空洞的像素值和周围像素的某些点比较相近，可以根据某几个相邻像素比较准确的恢复；但是在空洞附近，水平方向，很有可能是物体的边界，景深和亮度、色度像素值变化比较大；

因此，得出一种在垂直和水平方向非对称的线性插值方法，以补偿残余的空洞问题。

i)对残余的空洞，采用一种在垂直和水平方向非对称的线性插值方法进行空洞补偿；

⑨检测空洞位置，设为(x，y)；函数f(x，y)表示坐标为(x，y)像素值；函数h(x，y)表示：当f(x，y)不等于零时，h(x，y)＝1；当f(x，y)等于零时，h(x，y)＝0；门限值t₁，t₂，其中t₁＞t₂；

⑩空洞(x，y)的补偿方程为：

利用步骤⑩中的补偿方程对虚拟视点图像进行残余的空洞补偿，可以得到视觉质量更好的虚拟视点图像。

Claims (6)

1.一种基于深度和遮挡信息的虚拟视点合成方法，其特征在于包括以下步骤：

1)在平行光轴相机阵列模型下，确定基于深度图像的绘制方法的3D绘制方程；

2)根据参考视点与虚拟视点的空间位置，制定像素绘制顺序；

3)按照制定的绘制顺序，利用基于深度图像的水平半像素绘制方法，参考主视点，绘制得到虚拟视点的图像；

4)根据辅视点的遮挡信息，利用基于深度图像的水平半像素绘制方法，对虚拟视点图像进行遮挡补偿，得到高分辨率的虚拟视点图像；

5)对高分辨率的虚拟视点图像进行变换，得到原始分辨率的虚拟视点图像；

6)利用非对称的线性插值方法进行残余的空洞补偿；

7)进行块效应平滑，得到高质量的虚拟视点合成图像。

2.根据权利要求1所述的一种基于深度和遮挡信息的虚拟视点合成方法，其特征在于所述的根据参考视点与虚拟视点的空间位置，制定像素绘制顺序步骤：

a)在平行光轴相机阵列模型下，当重叠发生时，根据像素在参考视点的位置来判断它们在虚拟视点的遮挡关系；

虚拟视点在被绘制之前，所有像素值都为零；在参考视点x₁位置的像素，经过绘制后在虚拟视点的x₂位置，若此时x₂位置的像素值不为零，则重叠发生。根据给定的平行相机模型，根据

$x_2=x_1-f\frac{c}{z}$

f为相机焦距，c为虚拟视点相对于参考视点的水平位移，z为景深，规定物体a遮挡物体b应满足：

x₁(a)，x₁(b)为物体a，b成像在参考视点的水平坐标；

x₂(a)，x₂(b)为物体a，b成像在被绘制视点的水平坐标

b)根据a)中得到的物体遮挡应满足的关系，结合参考视点与虚拟视点的空间位置，制定一种在给定相机模型下进行图像绘制时可以基本解决重叠问题的图像绘制顺序，若虚拟视点在参考视点右侧，则对于参考视点中的像素，按照逐行从左至右的参考顺序进行绘制；若虚拟视点在参考视点左侧，则对于参考视点中的像素，按照逐行从右至左的参考顺序进行绘制。

3.根据权利要求1所述的一种基于深度和遮挡信息的虚拟视点合成方法，其特征在于所述的按照制定的绘制顺序，利用基于深度图像的水平半像素绘制方法，参考主视点，绘制得到虚拟视点的图像步骤：

c)提高基于深度图像的绘制方法的匹配精度，得到一种基于深度图像的水平半像素绘制方法；

①按照第一步得到的深度图像绘制方程，计算物体在虚拟视点的精确坐标(x，y)；

②把H*V分辨率的虚拟视点图像坐标转化为2H*V分辨率的图像坐标，水平坐标x的取值范围从[0，H]扩展为[0，2H]；

③对坐标(x，y)进行水平半像素修正，转变为(x₂，y)，其中x₂＝2x，再对x₂进行就近取整；

d)利用基于深度图像的水平半像素绘制方法，按照制定的绘制顺序，参考主视点，绘制得到虚拟视点的图像；

④按照制定的绘制顺序，对于主视点的任一像素(x₁，y)，利用基于深度图像的水平半像素绘制方法，计算其在虚拟视点中的坐标(x₂，y)，若没有检测到重叠，则将虚拟视点中坐标为(x₂，y)的像素值与主视点中坐标为(x₁，y)的像素值一致；

⑤若检测到重叠，当虚拟视点在主视点右侧时，直接覆盖坐标(x₂，y)的像素值，当虚拟视点在参考视点左侧时，保留坐标(x₂，y)原来的像素值；

⑥重复步骤④⑤，直至主视点图像中所有像素遍历完成，最后生成高分辨率的虚拟视点的图像。

4.根据权利要求1所述的一种基于深度和遮挡信息的虚拟视点合成方法，其特征在于所述的根据辅视点的遮挡信息，利用基于深度图像的水平半像素绘制方法，对虚拟视点图像进行遮挡补偿，得到高分辨率的虚拟视点图像步骤：

e)得到辅视点的遮挡信息，虚拟视点、辅视点的空间位置；

遮挡信息包括辅视点空洞的像素值和深度值；根据平行光轴相机阵列模型，虚拟视点和辅视点也只有水平位移；遮挡信息和虚拟视点、辅视点的空间位置可以在编码端编码这些信息，在解码端从编码数据流中的辅助数据部分解码得到；

f)按照步骤2)制定的绘制顺序，利用基于深度图像的水平半像素绘制方法方法，基于辅视点的遮挡信息，对虚拟视点图像进行遮挡信息的绘制，实现遮挡补偿。

5.根据权利要求1所述的一种基于深度和遮挡信息的虚拟视点合成方法，其特征在于所述的对高分辨率的虚拟视点图像进行变换，得到原始分辨率的虚拟视点图像步骤：

g)确定一种从高分辨率转变为低分辨率的变换方法；

⑦令(x，y)为图像的像素坐标；函数f(x，y)，g(x，y)分别为H*V图像坐标为(x，y)以及2H*V图像坐标为(x，y)位置的像素值；函数h(x，y)表示：当g(x，y)不等于零时，h(x，y)＝1；当g(x，y)等于零时，h(x，y)＝0；

⑧函数f(x，y)与g(x，y)的映射关系是：

$f(x,y)=\frac{g(2x+1,y)+g(2x,y)+g(2x-1,y)}{h(2x+1,y)+h(2x,y)+h(2x-1,y)};$

h)利用步骤⑧的映射关系，对高分辨率的虚拟视点图像进行变换，生成具有原始分辨率的虚拟视点图像。

6.根据权利要求1所述的一种基于深度和遮挡信息的虚拟视点合成方法，其特征在于所述的利用非对称的线性插值方法进行残余的空洞补偿步骤：

i)对残余的空洞，采用一种在垂直和水平方向非对称的线性插值方法进行空洞补偿；

⑨检测空洞位置，设为(x，y)；函数f(x，y)表示坐标为(x，y)像素值；函数h(x，y)表示：当f(x，y)不等于零时，h(x，y)＝1；当f(x，y)等于零时，h(x，y)＝0；门限值t₁，t₂，其中t₁＞t₂；

⑩空洞(x，y)的补偿方程为：

利用步骤⑩中的补偿方程对虚拟视点图像进行残余的空洞补偿，可以得到视觉质量更好的虚拟视点图像。

Images