CN103581651A - 一种用于车载多目摄像机环视系统的虚拟视点合成方法 - Google Patents

Abstract

本发明一种用于车载多目摄像机环视系统的虚拟视点合成方法，包括如下步骤；S1向环视系统中输入左右视点参考图像，进行视差估计得到左右视点深度图；S2根据左右视点深度图，分别对应生成左右视点预测深度图；S3根据左右视点参考图像及其对应的左右视点预测深度图，分别生成左右视点预测图；S4利用左右视点预测图，合成虚拟视点图像。通过引入深度可信图的思想，利用深度可信图生成遮挡图，而该遮挡图能够清楚准确地描述出在合成虚拟视点图像时，插值信息应该来自哪个视点的具体什么区域。理论和实验结果证明，这种方法能够有效的得出遮挡区域，提高虚拟视点合成图像的质量，而现有方法都无法有效地检测，跟无法得到高质量的虚拟视点图像。

Description

一种用于车载多目摄像机环视系统的虚拟视点合成方法

技术领域

本发明涉及虚拟视点合成技术领域，具体为一种用于车载多目摄像机环视系统的虚拟视点合成方法。

背景技术

虚拟视点合成技术是指利用两个或多个来自于同一场景的真实视点图像生成一个新视点的图像。它在环境认知、虚拟现实、地理信息系统、远程视频会议、军事、医疗、教育、娱乐和影视特技等多个领域都有着广泛的应用。基于深度图的绘制(Depth Image Based Rendering，DIBR)技术是虚拟视点合成技术中最有发展前景的技术之一。该技术根据参考图像的深度信息和摄像机参数，通过3D图像映射，将参考图像投影到目标图像坐标系，能够实现任意视点虚拟图像的快速绘制。然而，单一地通过DIBR技术合成的虚拟视点图像的质量往往并不理想，存在的主要问题是空洞问题、重叠问题和重采样问题。

空洞问题是虚拟视点合成的最大难点所在。现在对空洞问题的研究已经有很多。预处理法是对场景深度图像采用二维非对称高斯滤波器通过平滑预处理的方法以改善其不连续性，这种方法可以较好地改善深度的不连续性，并能最大程度地保留物体边缘信息。但从客观上来说，由于对深度光滑已完全改变了三维场景中物体的实际深度，所以这种方法会导致绘制出的图像中的物体出现严重的变形，合成图像的视觉效果也会大大降低。图像修复(ImageInpainting)是利用背景、纹理和相邻像素对虚拟视点图像中的空洞进行填充。这类方法对复杂度比较高的场景进行视点生成时，不仅合成的效果比较差，而且计算复杂度也特别高。

解决重叠问题的最简便易行的算法是简单的顺序绘制。这种方法假设了在DIBR映射时，虚拟视点中物体的左右关系与在参考视点中的顺序基本相同。当两个物体的景深差别不大时，这种左右位置关系可以较好地维持应有的顺序而不改变。然而，如果它们在三维空间中的深度相差较大，那么这两个物体经过DIBR映射后，其空间位置排列顺序就有可能会被颠倒。也就是说，DIBR在合成虚拟视点图像时，可能会错误地把参考视点图像中原来在相对右边的物体映射到了左边。因此，虽然这种顺序绘制的视点合成算法简单易行，但在解决重叠问题时效果并不理想。Chen等提出了另一种视点独立可见优先算法。但这种算法也不能完全解决重叠问题。比较常用并且有效的算法是Z-Buffer算法。该方法首先需要为虚拟视点图像平面上的所有像素点开辟一个适当大小的缓存。当绘制新视点时，就可以把与虚拟视点图像中的该像素对应的在参考视点图像中的像素点的深度值存储到与其对应的缓存中。因此，虚拟视点图像中该像素点的像素值，可在该像素点对应的缓存内通过选择具有最小深度值的像素点作为虚拟视点图像中该像素点的估计值。该方法能够比较有效地解决重叠问题，算法复杂度也较低。然而，该算法的不足之处就是需要开辟一些存储空间，从而能够为虚拟视点图像平面中的所有像素分配一个适当大小的缓存。

解决重采样的算法已有很多种。最临近点插值法简单地把非整数点的像素值赋值给临近的整数点。然而，这种方法通常会导致虚拟视点图像出现细小的空洞，降低了的合成图像的视觉效果。子像素视点合成算法在合成前对参考图像进行上采样，以增加3D映射时图像的分辨率，然后对合成后的结果进行下采样得到最终的虚拟视点图像。由于这种方法是对参考图像上采样后的图像进行处理，因而合成时的计算量将会大大地增加。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种用于车载多目摄像机环视系统的虚拟视点合成方法，合成效果好，虚拟视点图像质量高，能够用于道路交通视景中。

本发明是通过以下技术方案来实现：

一种用于车载多目摄像机环视系统的虚拟视点合成方法，包括如下步骤；

步骤S1：向环视系统中输入左右视点参考图像，进行视差估计得到左右视点深度图；

步骤S2：根据左右视点深度图，分别对应生成左右视点预测深度图；步骤S3：根据左右视点参考图像及其对应的左右视点预测深度图，分别生成左右视点预测图；步骤S4：利用左右视点预测图，合成虚拟视点图像；合成时步骤如下；

步骤S41，根据左右视点深度图，计算得到左右视点深度可信图，

左视点深度可信图计算公式为：

${\mathrm{CC}}_L(x,y)=\left\{\begin{array}{c}1,\mathrm{if}\left|\right|d^{L->R}(x,y)+d^{R->L}(x+d^{L->R}(x,y),y)\left|\right|\≤\mathrm{\λ}\\ 0,\mathrm{otherwise}\end{array}\right.;$

右视点深度可信图计算公式为：

${\mathrm{CC}}_R(x,y)=\left\{\begin{array}{c}1,\mathrm{if}\left|\right|d^{R->L}(x,y)+d^{L->R}(x+d^{R->L}(x,y),y)\left|\right|\≤\mathrm{\λ}\\ 0,\mathrm{otherwise}\end{array}\right.;$

其中，CC_L(x，y)表示左视点深度可信值，CC_R(x，y)表示右视点深度可信值，||·||表示欧式范数，(x，y)表示左视点参考图像中的一个像素点，d^L-＞R(x，y)表示点(x，y)处从左视点到右视点的视差矢量，d^R-＞L(x，y)表示点(x，y)处从右视点到左视点的视差矢量，λ表示判定阈值；

步骤S42，根据得到左右视点深度可信图，生成遮挡图，遮挡图用于指示左右视点预测图中的有效合成信息；视点位置P的遮挡图O_P(x，y)可通过下式计算：

O_P(x，y)={(x，y)|O_PI(x，y)∪O_PⅡ(x，y)∪O_PIII(x，y)}，

其中O_PI(x，y)，O_PⅡ(x，y)和O_PIII(x，y)分别定义如下：

$\left\{\begin{array}{c}{O}_{\mathrm{PI}}(x,y)=\left\{(x,y)\right|(x+{\mathrm{pd}}^{L->R}(x,y),y)\∈O_L(x,y)\}\\ O_{\mathrm{PII}}(x,y)=\left\{(x,y)\right|(x+{\mathrm{pd}}^{L->R}(x,y),y)\∈\stackrel{\‾}{O_L}\}\\ \mathrm{and}(x+(1-p)d^{R->L}(x,y),y)\∈\stackrel{\‾}{O_R}\}\\ O_{\mathrm{PIII}}(x,y)=\left\{(x,y)\right|(x+(1-p)d^{R->L}(x,y),y)\∈O_R\}\end{array}\right.$

O_PI(x，y)表示虚拟视点P处在左视点图像I_L可见但在右视点图像I_R中不可见的像素构成的集合，O_PⅡ(x，y)表示虚拟视点P处在左视点图像I_L和右视点图像I_R中都可见的像素构成的集合，O_PⅢ(x，y)表示虚拟视点P处在右视点图像I_R可见但在左视点图像I_L中不可见的像素构成的集合，而O_L={(x，y)|CC_L(x,y)=0}，O_R={(x，y)|CC_R(x,y)=0}；

步骤S43，根据对O_PI(x，y)，O_PⅡ(x，y)和O_PIII(x，y)的定义，建立用于虚拟视点合成的优化插值权重模型，

左视点的优化插值权重模型表示为：

${\mathrm{\ω}}_L(x,y)=\left\{\begin{array}{c}\sqrt{1-p^2},\mathrm{if}(x,y)\∈O_{\mathrm{PI}}\\ 1-p,\mathrm{if}(x,y)\∈O_{\mathrm{PII}}\\ 1-\sqrt{1-{(1-p)}^2},\mathrm{if}(x,y)\∈O_{\mathrm{PIII}}\end{array}\right.$

右视点的优化插值权重模型表示为：

${\mathrm{\ω}}_R(x,y)=\left\{\begin{array}{c}1-\sqrt{1-{(1-p)}^2},\mathrm{if}(x,y)\∈O_{\mathrm{PI}}\\ 1-p,\mathrm{if}(x,y)\∈O_{\mathrm{PII}}\\ \sqrt{1-p^2},\mathrm{if}(x,y)\∈O_{\mathrm{PIII}}\end{array}\right.$

其中，ω_L(x，y)与ω_R(x,y)分别为左右视点在(x，y)处的优化插值权重模型，p(0≤p≤0.5)为深度值的缩放因子。

步骤S44，利用遮挡图和优化插值权重模型，根据左视点权重ω_L和右视点权重ω_R，将左视点预测图I_PL和右视点预测图I_PR进行加权插值融合，生成虚拟视点图像I_P，计算公式为I_P=ω_LI_PL+ω_RI_PR。

优选的，步骤S2包括如下步骤；

步骤S21，根据左右视点深度图，利用正向映射方法分别计算出左右视点在虚拟视点处的左右视点预测深度图；

步骤S22，采用中值滤波法去除正向映射过程中在左右视点预测深度图中形成的细小空洞区域，其中细小空洞区域指宽度小于5个像素的空洞区域。

进一步，步骤S2还包括步骤S23，在正向映射过程中采用基于距离和深度的子像素加权算法；步骤S23包括如下步骤，

步骤S231，采用基于距离和深度的点集筛选方法获取有效候选点点集，具体如下；

虚拟视点图像中某个位于整数坐标x₀的像素点的候选点集S为：

S={x||x-x₀|<1}   (1)

式中：x₀为虚拟视点图像中某个目标像素点的整数坐标的水平分量；x为从参考图像映射到虚拟视点图像并位于x₀附近的像素点的浮点坐标的水平分量；S为x₀的候选浮点坐标点集；

且S由重叠点集A和重采样点集B构成，则S为：

S=A∪B   (2)

a.采用基于距离的方法对重叠点集进行分类，对应于虚拟视点图像中的浮点坐标x_k，其重叠点集A_k为：

A_k={x||x-x_k|<αand|x-x₀|<1}，k=1，2，…，K   (3)

其中：|x_k-x₀|<1   (4)

式中：α为阈值，用于判断处于位置x的像素点是否属于A_k；K为对应于x₀的重叠点集的个数，由统计方法得到；

重叠点集A又能够表示为：

A={x|A₁∪A₂∪…∪A_K}   (5)

b.采用基于深度的方法对A_k进行筛选得到有效重叠点集A_k′，A_k′表示为：

A′_k={x||D(x，y)-D_min,k(x，y)|<βandx∈A_k}，k=1，2，…，K   (6)

其中：D_min,k(x，y)=min{D(x,y)|x∈A_k}   (7)

式中：D(x，y)为在参考图像中与虚拟视点图像中点(x，y)对应的像素点的深度值；β为阈值，用于判断处于位置x的像素点是否属于A_k′，由统计方法得到；

c.根据式(6)和式(7)，有效重叠点集A′表示为：

A′={x|A′₁∪A′₂∪…∪A′_K}   (8)

d.虚拟视点图像中位于整数坐标x₀的像素的有效候选点集S′为：

S′=A′∪B   (9)；

步骤S232：通过子像素权重模型进行插值计算，得到虚拟视点图像中位于整数位置点的像素预测值，具体如下；

A.建立基于x₀与x之间距离的权重模型：

$\mathrm{\&rho;}(x,x_0)=e^{{\frac{1}{|x-x_0|+c_0}}^{-1}}-e^{-\frac{c_0}{1+c_0}}---\left(10\right)$

式中：ρ(x，x₀)为映射到点x的像素在虚拟视点图像合成时对位于整数点x₀的权重，c₀为常数项；

B.根据步骤A中的权重模型，得到虚拟视点图像中位于整数位置的x₀的像素点的预测值为，

$X^{\&prime;}(x_0,y)=\underset{x\&Element;S^{\&prime;}}{\mathrm{\&Sigma;}}\frac{\mathrm{\&rho;}(x,x_0)\&CenterDot;X(x,y)}{{\mathrm{\&Sigma;}}_{x\&Element;S^{\&prime;}}\mathrm{\&rho;}(x,x_0)};$

式中：X′(x₀，y)为虚拟视点图像中点(x₀，y)处的像素预测值；X(x，y)为在参考图像中对应于虚拟视点图像中点(xy)处的像素值。

再进一步，所述的公式(10)中取c₀=0.1。

优选的，步骤S1中，利用图割的方法对输入的左右视点参考图像进行视差估计。

优选的，步骤S3中，采用逆向映射的方法分别生成从左右视点预测图。

与现有技术相比，本发明具有以下有益的技术效果：

1)对于遮挡区域的检测，本方法引入深度可信图的思想，利用深度可信图生成遮挡图，而该遮挡图能够清楚准确地描述出在合成虚拟视点图像时，插值信息应该来自哪个视点的具体什么区域。理论和实验结果证明，这种方法能够有效的得出遮挡区域，提高虚拟视点合成图像的质量，而现有的方法都无法有效地检测出遮挡区域，从而无法合成得到高质量的虚拟视点图像。

2)通过优化的插值权重模型，使得在虚拟视点合成时能够更加合理地利用左右视点深度可信图，从而更好的获取有效信息，而现有的方法由于直接采用插值进行计算，没有经过加权优化，从而难以有效利用左右视点的参考图像信息来合成虚拟视点图像。

进一步的，本发明通过基于距离和深度的子像素加权算法得到左右视点预测深度图像；经过采用距离参数的分类和深度参数的筛选，能偶快速准确的筛选出有效候选点集，再利用子像素权重模型进行插值计算，能够高质量的得到虚拟视点图像中位于整数位置点的像素预测值用于后续的计算，从而很好的解决了虚拟视点合成中存在的重叠和重采样问题。

进一步的，本发明的虚拟视点合成方法除了可适用于道路交通视景车载多目摄像机环视系统的虚拟视点图像合成外，还可以应用于三维视频压缩、虚拟现实和地理信息系统等多个领域。

附图说明

图1为本发明实例中所述方法的流程框图。

图2为本发明实例中虚拟视点合成过程示意图。

图3为本发明中的遮挡图的生成示意图；其中，3a为左视点(视点1)的遮挡图，3b为右视点(视点5)的遮挡图，3c为由3a和3b得到的虚拟视点(p=0.5)的遮挡图。

图4为不同虚拟视点合成算法对Books序列在视点3(p=0.5)合成的虚拟视点图像及绝对误差图；

其中，4a为经Uni-DIBR算法得到的虚拟视点图像，4b为与Uni-DIBR算法对应的绝对误差图，4c为经Gaussian算法得到的虚拟视点图像4d为与Gaussian算法对应的绝对误差图，4e为经Bi-DIBR算法得到的虚拟视点图像，4f为与Bi-DIBR算法对应的绝对误差图，4g为经本发明实施例所述的IDRM-DIBR算法得到的虚拟视点图像，4h为与本发明实施例所述的IDRM-DIBR算法对应的绝对误差图，4i为Books序列在视点3(p=0.5)的真实图像。

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

图1为本发明用于道路交通视景的虚拟视点合成方法的流程图。其主要原理是：首先，利用图割的方法对左右视点输入参考图像进行视差估计，以获取左右视点图像对应的左右视点深度图。其次，基于所估计的左右视点深度图，利用正向映射方法分别计算出的左右视点在虚拟视点处的左右视点预测深度图，并用中值滤波法去除正向映射过程中在预测深度图形成的细小空洞区域。与此同时，为了解决重叠和重采样问题，提出在正向映射时采用基于距离和深度的子像素加权(Distance and Depth-based Sub-Pixel Weighted，DDSPW)算法，如图1中左右两边的虚线框所示。DDSPW算法由两部分组成。一方面，采用一种新的基于距离和深度的点集筛选方法来获取有效候选点点集；另一方面，建立一种新的子像素权重模型，以便对虚拟视点图像中的整数点像素值做出准确的预测。再次，根据左右视点输入参考图像及其对应的预测深度图像，采用逆向映射的方法分别生成从左右视点预测的虚拟视点图像。最后，为了合成高质量的虚拟视点图像，分别提出了基于深度可信图的DIBR(Depth Reliability Maps based DIBR，DRM-DIBR)算法和改进的基于深度可信图的DIBR(Improved Depth Reliability Maps based DIBR，IDRM-DIBR)算法，如图1中中间虚线框所示。这两种算法可看作为视点合成的后处理步骤。该算法主要包括两步。一方面，通过深度图计算出深度可信图(Depth Reliability Map，DRM)，并根据深度可信图生成遮挡图。另一方面，基于该遮挡图和优化插值权重模型，利用左右视点预测图加权插值合成出高质量的虚拟视点图像。

参照图1，在步骤S1输入左右视点参考图像，利用图割的方法对左右视点参考图像进行视差估计，以获取左右视点图像对应的左右视点深度图。

在步骤S2根据视差估计得到的左右视点深度图，生成左右视点预测深度图。步骤S2进一步包括步骤S21、步骤S22和步骤S23。

步骤S21：根据视差估计得到的左右视点深度图，利用正向映射方法分别计算出左右视点在虚拟视点处的预测深度图；

步骤S22：采用中值滤波法去除正向映射过程中在预测深度图形成的细小空洞区域，其中细小空洞区域指宽度小于5个像素的空洞区域；

步骤S23：为了解决重叠和重采样问题，在正向映射时采用基于距离和深度的子像素加权算法。基于DDSPW算法的DIBR合成虚拟视点过程如图2所示。从图2可以看出，位于参考图像中的整数坐标x′₁-x′₉的像素依次分别通过DIBR技术被映射到了虚拟视点图像中对应的非整数位置x₁-x₉。此外，位于x′₄和x′₅的像素分别映射到了虚拟视点图像中对应的位置x₄和x₅，而x₄和x₅两个浮点坐标几乎重叠在一起。x′₆，x′₇和x′₈分别映射到了虚拟视点图像中对应的位置x₆，x₇和x₈，而x₆，x₇和x₈也几乎处于同一位置。我们是想根据映射到虚拟视点图像中整数坐标点x₀附近的非整数点像素值x₂-x₈，通过DDSPW算法来较准确地估计出位于x₀的像素值。这可通过对位于x₂-x₈的所有像素进行加权平均实现。DDSPW算法可分为两步：一是采用了一种新的基于距离和深度的点集筛选方法来获取有效候选点集；二是利用所获取的有效候选点集的所有像素点，基于一种新的子像素权重模型估计出虚拟视点图像中位于整数坐标处的像素值。步骤S23进一步包括步骤S231和步骤S232。

步骤S231：获取有效候选点点集。虚拟视点图像中某个位于整数坐标x₀的像素点的候选点集S可表示如下：

S={x||x-x₀|<1}   (1)

式中：

x₀——虚拟视点图像中某个目标像素点的整数坐标的水平分量；

x——从参考图像映射到虚拟视点图像并位于x₀附近的像素点的浮点坐标的水平分量；

S——x₀的候选浮点坐标点集。

一般情况下，S由重叠点集A和重采样点集B构成，因此，S又可表示如下：

S=A∪B    (2)

为了解决重叠问题，本发明提出一种基于距离和深度的点集筛选方法，以便从重叠点集A中去除无效的重叠点，从而得到只包括有效重叠点的集合A′。这个过程可分为两步：一是确定哪些点属于同一重叠点集集合；二是设定一种准则，为每个重叠点集合筛选出有效重叠点作为候选点。

首先，采用基于距离的方法对重叠点集进行分类。对应于虚拟视点图像中的浮点坐标x_k，其重叠点集A_k可用下式表示：

A_k={x||x-x_k|<αand|x-x₀|<1}，k=1，2，…，K   (3)

其中

|x_k-x₀|<1   (4)

式中：

α——阈值，用来判断处于位置x的像素点是否属于A_k；

K——对应于x₀的重叠点集的个数。

α可通过统计方法得到。因此，重叠点集A也可用下式表示：

A={x|A₁∪A₂∪…∪A_K}   (5)

为了从重叠点集A中筛选得到有效重叠点集A′，本发明采用基于深度的方法对A_k进行筛选。通常情况下，当重叠问题出现时，观察者只能看到的是前景物体，背景物体将被遮挡。所以，对应于虚拟视点图像中的浮点坐标x_k的有效重叠点集A′_k可用下式计算：

A′_k={x||D(x，y)-D_min,k(x，y)|<βand x∈A_k}，k=1，2，…，K   (6)

其中：

D_min,k(x，y)=min{D(x,y)|x∈A_k}   (7)

式中：

D(x，y)——在参考图像中与虚拟视点图像中点(x，y)对应的像素点的深度值；

β——阈值，用来判断处于位置x的像素点是否属于A′_k。β可通过统计方法得到。

根据式(6)和式(7)，即可有效地解决重叠问题。因此，有效重叠点集A′可表示如下：

A′={x|A′₁∪A′₂∪…∪A′_K}   (8)

最后，虚拟视点图像中位于整数坐标x₀的像素的有效候选点集S′可表示如下：

S′=A′∪B   (9)

通过以上基于距离和深度的方法对候选点集筛S选后，得到了由有效重叠点集A′和重采样点集B构成的对应x₀的有效候选点集S′。就图2所示的情况而言，S={x₂，x₃，x₄，x₅，x₆，x₇，x₈}。首先，利用本发明提出的点集分类方法可得重叠点集A={x|A₄∪A₆}，其中A₄={x₄，x₅}，A₆={x₆，x₇，x₈}，重采样点集B={x₂，x₃}。然后筛选去除掉重叠点子集A₄中的背景点x₄和子集A₆中的背景点x₈，得到其有效重叠点子集A′₄={x₅}和A′₆={x₆，x₇}。合并A′₄和A′₆，得到对应x₀的有效重叠点集A′={x₅，x₆，x₇}。最后，很容易得到对应x₀的的有效候选点集S′=A′∪B={x₂，x₃，x₅，x₆，x₇}。

步骤S232：子像素视点插值。为了预测出虚拟视点图像中整数坐标x₀处的像素值，本发明提出了一种基于新的权重模型的子像素视点插值合成算法。算法主要思想是：具有虚拟视点图像中离x₀较近的浮点坐标的点应该对x₀的插值贡献大些，而那些具有离x₀较远的浮点坐标的点将会对x₀的插值结果有较小的影响。因此建立了一种基于x₀与x之间距离的新的权重模型：

$\mathrm{\&rho;}(x,x_0)=e^{{\frac{1}{|x-x_0|+c_0}}^{-1}}-e^{-\frac{c_0}{1+c_0}}---\left(10\right)$

式中：

ρ(x，x₀)——映射到点x的像素在视点合成时对位于整数点x₀的权重；

c₀——常数项，用于防止计算溢出，实验中取c₀=0.1。

为了利用新的权重ρ(x，x₀)来插值预测x₀处的像素值，我们必须对ρ(x，x₀)进行归一化。结合公式(10)，得到归一化权重γ(x，x₀)如下：

$\mathrm{\&gamma;}(x,x_0)=\frac{1}{c(x,x_0)}\mathrm{\&rho;}(x,x_0)---\left(11\right)$

式中.：

$c(x,x_0)=\underset{x\&Element;S^{\&prime;}}{\mathrm{\&Sigma;}}\mathrm{\&rho;}(x,x_0)---\left(12\right)$

综上所述，在得到x₀的有效候选点集S′后，可以通过加权平均S′内所有像素来计算虚拟视点图像中位于整数位置的x₀的像素点的预测值，即

$X^{\&prime;}(x_0,y)=\underset{x\&Element;S^{\&prime;}}{\mathrm{\&Sigma;}}\mathrm{\&gamma;}(x,x_0)\&CenterDot;X(x,y)=\underset{x\&Element;S^{\&prime;}}{\mathrm{\&Sigma;}}\frac{\mathrm{\&rho;}(x,x_0)\&CenterDot;X(x,y)}{{\mathrm{\&Sigma;}}_{x\&Element;S^{\&prime;}}\mathrm{\&rho;}(x,x_0)}---\left(13\right)$

式中：

X′(x₀，y)——虚拟视点图像中点(x₀，y)处的像素预测值；

X(x，y)——在参考图像中对应于虚拟视点图像中点(x，y)处的像素值。

在步骤S3根据左右视点输入参考图像及其对应的预测深度图像，采用逆向映射的方法分别生成从左右视点预测图。

在步骤S4利用左右视点预测图，合成虚拟视点图像。步骤S4进一步包括步骤S41、步骤S42、步骤S43和步骤S44。

步骤S41，根据视差估计得到的左右视点深度图，计算得到左右视点的深度可信图，左视点深度可信图计算公式为：

${\mathrm{CC}}_L(x,y)=\left\{\begin{array}{c}1,\mathrm{if}\left|\right|d^{L->R}(x,y)+d^{R->L}(x+d^{L->R}(x,y),y)\left|\right|\&le;\mathrm{\&lambda;}\\ 0,\mathrm{otherwise}\end{array}\right.;$

右视点深度可信图计算公式为：

${\mathrm{CC}}_R(x,y)=\left\{\begin{array}{c}1,\mathrm{if}\left|\right|d^{R->L}(x,y)+d^{L->R}(x+d^{R->L}(x,y),y)\left|\right|\&le;\mathrm{\&lambda;}\\ 0,\mathrm{otherwise}\end{array}\right.;$

其中，CC_L(x，y)表示左视点深度可信值，CC_R(x,y)表示右视点深度可信值，||·||表示欧式范数，(x，y)为左视点参考图像中的一个像素点，d^L->R(x，y)为点(x，y)处从左视点到右视点的视差矢量，d^R->L(x，y)为点(x，y)处从右视点到左视点的视差矢量，λ表示判定阈值；

步骤S42，根据得到深度可信图，生成能够清楚地指示出应该利用左右视点图像中哪部分信息作为合成的有效信息的遮挡图。视点位置P的遮挡图O_P(x,y)可通过下式计算：O_P(x,y)={(x，y)|O_PI(x，y)∪O_PⅡ(x，y)∪O_PIII(x，y)}，其中O_PI(x，y)，O_PⅡ(x，y)和O_PⅠⅠⅠ(x，y)分别定义如下：

$\left\{\begin{array}{c}{O}_{\mathrm{PI}}(x,y)=\left\{(x,y)\right|(x+{\mathrm{pd}}^{L->R}(x,y),y)\&Element;O_L(x,y)\}\\ O_{\mathrm{PII}}(x,y)=\left\{(x,y)\right|(x+{\mathrm{pd}}^{L->R}(x,y),y)\&Element;\stackrel{\&OverBar;}{O_L}\}\\ \mathrm{and}(x+(1-p)d^{R->L}(x,y),y)\&Element;\stackrel{\&OverBar;}{O_R}\}\\ O_{\mathrm{PIII}}(x,y)=\left\{(x,y)\right|(x+(1-p)d^{R->L}(x,y),y)\&Element;O_R\}\end{array}\right.$

其中O_L={(x，y)|CC_L(x，y)=0}，O_R={(x，y)|CC_R(x，y)=0}。O_PI(x，y)表示虚拟视点P处在左视点图像I_L可见但在右视点图像I_R中不可见的像素构成的集合，O_PⅡ(x，y)表示虚拟视点P处在I_L和I_R中都可见的像素构成的集合，O_PIII(x，y)表示虚拟视点P处在I_R可见但在I_L中不可见的像素构成的集合。图3为Books的遮挡图，其中(a)和(b)分别给出了序列Books的左遮挡O_L和右遮挡O_R、其中白色区域表示是可信区域，即非遮挡区域；黑色区域表示是不可信区域，即遮挡区域；(c)给出了对应于序列Books的三个集合O_PI(x，y)，O_PⅡ(x，y)和O_Pm(x，y)。其中集合O_PI(x，y)用黑色区域表示，集合O_PⅡ(x，y)用白色区域表示，集合O_Pm(x，y)用灰色区域表示。

步骤S43，根据对O_PI(x，y)，O_PⅡ(x，y)和O_Pm(x，y)的定义，能够得到对于合成图像中属于O_PI(x，y)的像素，应该更多的采用来自左视点图像I_L中的信息；对于合成图像中属于O_Pm(x，y)的像素，应该更多的采用来自右视点图像I_R中的信息。从而建立了一种新的优化插值权重模型，用于虚拟视点合成。

左视点的优化插值权重模型表示为：

${\mathrm{\&omega;}}_L(x,y)=\left\{\begin{array}{c}\sqrt{1-p^2},\mathrm{if}(x,y)\&Element;O_{\mathrm{PI}}\\ 1-p,\mathrm{if}(x,y)\&Element;O_{\mathrm{PII}}\\ 1-\sqrt{1-{(1-p)}^2},\mathrm{if}(x,y)\&Element;O_{\mathrm{PIII}}\end{array}\right.$

右视点的优化插值权重模型表示为：

${\mathrm{\&omega;}}_R(x,y)=\left\{\begin{array}{c}1-\sqrt{1-{(1-p)}^2},\mathrm{if}(x,y)\&Element;O_{\mathrm{PI}}\\ 1-p,\mathrm{if}(x,y)\&Element;O_{\mathrm{PII}}\\ \sqrt{1-p^2},\mathrm{if}(x,y)\&Element;O_{\mathrm{PIII}}\end{array}\right.;$

其中，ω_L(x，y)与ω_R(x，y)分别为左右视点在(x，y)处的优化插值权重模型，p(0≤p≤0.5)为深度值的缩放因子。

步骤S44，利用所得到的遮挡图和新的优化插值模型，根据左视点权重ω_L和右视点权重ω_R，用左视点预测图I_PL和右视点预测图I_PR进行加权插值融合，生成虚拟视点图像I_P。即I_P=ω_LI_PL+ω_RI_PR。

本发明的具体实施效果如表1、表2和图4所示。表1给出了虚拟视点合成算法PSNR和SSIM的比较结果。表2给出了虚拟视点合成算法的时间复杂度比较结果，本发明在明显提高图像质量的前提下，复杂度相比较现有技术基本没有增加，计算结果准确高效。图4给出了Books序列在视点3(p=0.5)的真实图像、合成图像和绝对误差图。绝对误差图是指合成图像和真实图像之间的差，其中的非黑色像素越少说明误差越小。绝对误差图经常用于评价生成图像质量的优劣。从图4可以看出，错误经常出现在对象的边界。这是因为这些地方的视差估计值通常不稳定甚至会丢失。由以上实验结果可以看出，与其它三种传统的视点合成算法相比，本发明所提出的DRM-DIBR算法合成的图像质量更好。与此同时，这些对比结果也说明了本文所提出的DRM-DIBR算法是比较有效的。

以上所述的具体实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

表1PSNR和SSIM比较

视点合成算法	平均PSNR(dB)	平均SSIM
			Uni-DIBR	27.593	0.918
Gaussian	24.991	0.839
			Bi-DIBR	26.943	0.912
本发明的DRM-DIBR	28.293	0.926
			本发明的IDRM-DIBR	28.413	0.928
本发明的IDRM-DIBR+DDSPW	28.600	0.934

表2算法时间复杂度比较

视点合成算法	平均计算时间(ms)
		Uni-DIBR	114
Gaussian	156
		Bi-DIBR	112
本发明的DRM-DIBR	121

本发明的IDRM-DIBR	122
		本发明的IDRM-DIBR+DDSPW	125

Claims (6)

1.一种用于车载多目摄像机环视系统的虚拟视点合成方法，其特征在于，包括如下步骤；

步骤S1：向环视系统中输入左右视点参考图像，进行视差估计得到左右视点深度图；

步骤S2：根据左右视点深度图，分别对应生成左右视点预测深度图；步骤S3：根据左右视点参考图像及其对应的左右视点预测深度图，分别生成左右视点预测图；步骤S4：利用左右视点预测图，合成虚拟视点图像；合成时步骤如下；

步骤S41，根据左右视点深度图，计算得到左右视点深度可信图，

左视点深度可信图计算公式为：

${\mathrm{CC}}_L(x,y)=\left\{\begin{array}{c}1,\mathrm{if}\left|\right|d^{L->R}(x,y)+d^{R->L}(x+d^{L->R}(x,y),y)\left|\right|\&le;\mathrm{\&lambda;}\\ 0,\mathrm{otherwise}\end{array}\right.;$

右视点深度可信图计算公式为：

${\mathrm{CC}}_R(x,y)=\left\{\begin{array}{c}1,\mathrm{if}\left|\right|d^{R->L}(x,y)+d^{L->R}(x+d^{R->L}(x,y),y)\left|\right|\&le;\mathrm{\&lambda;}\\ 0,\mathrm{otherwise}\end{array}\right.;$

其中，CC_L(x,y)表示左视点深度可信值，CC_R(x,y)表示右视点深度可信值，||·||表示欧式范数，(x,y)表示左视点参考图像中的一个像素点，d^L->R(x,y)表示点(x,y)处从左视点到右视点的视差矢量，d^R->L(x,y)表示点(x,y)处从右视点到左视点的视差矢量，λ表示判定阈值；

步骤S42，根据得到左右视点深度可信图，生成遮挡图，遮挡图用于指示左右视点预测图中的有效合成信息；视点位置P的遮挡图O_P(x,y)可通过下式计算：

O_P(x,y)={(x,y)|O_PI(x,y)∪O_PII(x,y)∪O_PIII(x,y)}，

其中O_PI(x,y)，O_PII(x,y)和O_PIII(x,y)分别定义如下：

$\left\{\begin{array}{c}{O}_{\mathrm{PI}}(x,y)=\left\{(x,y)\right|(x+{\mathrm{pd}}^{L->R}(x,y),y)\&Element;O_L(x,y)\}\\ O_{\mathrm{PII}}(x,y)=\left\{(x,y)\right|(x+{\mathrm{pd}}^{L->R}(x,y),y)\&Element;\stackrel{\&OverBar;}{O_L}\}\\ \mathrm{and}(x+(1-p)d^{R->L}(x,y),y)\&Element;\stackrel{\&OverBar;}{O_R}\}\\ O_{\mathrm{PIII}}(x,y)=\left\{(x,y)\right|(x+(1-p)d^{R->L}(x,y),y)\&Element;O_R\}\end{array}\right.$

O_PI(x,y)表示虚拟视点P处在左视点图像I_L可见但在右视点图像I_R中不可见的像素构成的集合，O_PII(x,y)表示虚拟视点P处在左视点图像I_L和右视点图像I_R中都可见的像素构成的集合，O_PIII(x,y)表示虚拟视点P处在右视点图像I_R可见但在左视点图像I_L中不可见的像素构成的集合，而O_L={(x,y)|CC_L(x,y)=0}，O_R={(x,y)|CC_R(x,y)=0}；

步骤S43，根据对O_PI(x,y)，O_PII(x,y)和O_PIII(x,y)的定义，建立用于虚拟视点合成的优化插值权重模型，

左视点的优化插值权重模型表示为：

${\mathrm{\&omega;}}_L(x,y)=\left\{\begin{array}{c}\sqrt{1-p^2},\mathrm{if}(x,y)\&Element;O_{\mathrm{PI}}\\ 1-p,\mathrm{if}(x,y)\&Element;O_{\mathrm{PII}}\\ 1-\sqrt{1-{(1-p)}^2},\mathrm{if}(x,y)\&Element;O_{\mathrm{PIII}}\end{array}\right.;$

右视点的优化插值权重模型表示为：

${\mathrm{\&omega;}}_R(x,y)=\left\{\begin{array}{c}1-\sqrt{1-{(1-p)}^2},\mathrm{if}(x,y)\&Element;O_{\mathrm{PI}}\\ 1-p,\mathrm{if}(x,y)\&Element;O_{\mathrm{PII}}\\ \sqrt{1-p^2},\mathrm{if}(x,y)\&Element;O_{\mathrm{PIII}}\end{array}\right.;$

其中，ωL(x,y)与ωR(x,y)分别为左右视点在(x,y)处的优化插值权重模型，p(0≤p≤0.5)为深度值的缩放因子；

步骤S44，利用遮挡图和优化插值权重模型，根据左视点权重ω_L和右视点权重ω_R，将左视点预测图I_PL和右视点预测图I_PR进行加权插值融合，生成虚拟视点图像I_P，计算公式为I_P=ω_LI_PL+ω_RI_PR。

2.根据权利要求1所述的一种用于车载多目摄像机环视系统的虚拟视点合成方法，其特征在于，步骤S2包括如下步骤；

步骤S21，根据左右视点深度图，利用正向映射方法分别计算出左右视点在虚拟视点处的左右视点预测深度图；

步骤S22，采用中值滤波法去除正向映射过程中在左右视点预测深度图中形成的细小空洞区域，其中细小空洞区域指宽度小于5个像素的空洞区域。

3.根据权利要求2所述的一种用于车载多目摄像机环视系统的虚拟视点合成方法，其特征在于，步骤S2还包括步骤S23，在正向映射过程中采用基于距离和深度的子像素加权算法；步骤S23包括如下步骤，

步骤S231，采用基于距离和深度的点集筛选方法获取有效候选点点集，具体如下；

虚拟视点图像中某个位于整数坐标x0的像素点的候选点集S为：

S={x||x-x₀|<1}   （1）；

式中：x₀为虚拟视点图像中某个目标像素点的整数坐标的水平分量；x为从参考图像映射到虚拟视点图像并位于x₀附近的像素点的浮点坐标的水平分量；S为x₀的候选浮点坐标点集；

且S由重叠点集A和重采样点集B构成，则S为：

S=A∪B   （2）；

a.采用基于距离的方法对重叠点集进行分类，对应于虚拟视点图像中的浮点坐标x_k，其重叠点集A_k为：

A_k={x||x-x_k|<αand|x-x₀|<1},k=1,2,...,K   （3）；

其中：|x_k-x₀|<1   （4）；

式中：α为阈值，用于判断处于位置x的像素点是否属于A_k；K为对应于x₀的重叠点集的个数，由统计方法得到；

重叠点集A又能够表示为：

A={x|A₁∪A₂∪...∪A_K}   （5）；

b.采用基于深度的方法对A_k进行筛选得到有效重叠点集A_k'，A_k'表示为：

A'_k={x||D(x,y)-D_min,k(x,y)|<βandx∈A_k},k=1,2,...,K   （6）；

其中：D_min,k(x,y)=min{D(x,y)|x∈A_k}   （7）；

式中：D(x,y)为在参考图像中与虚拟视点图像中点(x,y)对应的像素点的深度值；β为阈值，用于判断处于位置x的像素点是否属于A_k'，由统计方法得到；

c.根据式（6）和式（7），有效重叠点集A'表示为：

A'={x|A'₁∪A'₂∪...∪A'_K}   （8）；

d.虚拟视点图像中位于整数坐标x₀的像素的有效候选点集S'为：

S'=A'∪B   （9）；

步骤S232：通过子像素权重模型进行插值计算，得到虚拟视点图像中位于整数位置点的像素预测值，具体如下；

A.建立基于x₀与x之间距离的权重模型：

$\mathrm{\&rho;}(x,x_0)=e^{{\frac{1}{|x-x_0|+c_0}}^{-1}}-e^{-\frac{c_0}{1+c_0}}---\left(10\right)$

式中：ρ(x,x₀)为映射到点x的像素在虚拟视点图像合成时对位于整数点x₀的权重，c₀为常数项；

B.根据步骤A中的权重模型，得到虚拟视点图像中位于整数位置的x₀的像素点的预测值为，

$X^{\&prime;}(x_0,y)=\underset{x\&Element;S^{\&prime;}}{\mathrm{\&Sigma;}}\frac{\mathrm{\&rho;}(x,x_0)\&CenterDot;X(x,y)}{{\mathrm{\&Sigma;}}_{x\&Element;S^{\&prime;}}\mathrm{\&rho;}(x,x_0)};$

式中：X'(x₀,y)为虚拟视点图像中点(x₀,y)处的像素预测值；X(x,y)为在参考图像中对应于虚拟视点图像中点(x,y)处的像素值。

4.根据权利要求3所述的一种用于车载多目摄像机环视系统的虚拟视点合成方法，其特征在于，所述的公式（10）中取c₀=0.1。

5.根据权利要求1-4中任意一项所述的一种用于车载多目摄像机环视系统的虚拟视点合成方法，其特征在于，步骤S1中，利用图割的方法对输入的左右视点参考图像进行视差估计。

6.根据权利要求1-4中任意一项所述的一种用于车载多目摄像机环视系统的虚拟视点合成方法，其特征在于，步骤S3中，采用逆向映射的方法分别生成从左右视点预测图。

Images