CN101771893A - 一种基于视频序列背景建模的虚拟视点绘制方法 - Google Patents

Abstract

本发明公开了一种基于视频序列背景建模的虚拟视点绘制方法，包括如下步骤：(1)对参考视点二维视频和深度视频建立统计背景模型，得到背景二维图像和背景深度图像；(2)对每帧深度图像做中值滤波；(3)将背景深度图像和参考视点深度图像投射至视差空间，得到背景图像的视差和参考图像的视差；(4)平移背景二维图像像素，得到目标视点背景图像；(5)平移参考视点二维图像像素，得到目标视点初始图像；(6)融合目标视点初始图像和背景图像，填补空洞，得到最终目标视点图像。本发明结合视频序列时间上的相关性，提取出背景信息，将背景图像和当前参考图像同时绘制至虚拟视点，利用背景来填补空洞，提高了虚拟视点图像的质量。

Description

一种基于视频序列背景建模的虚拟视点绘制方法

技术领域

本发明涉及立体显示所需的虚拟视点绘制方法，尤其涉及一种基于视频序列背景建模的虚拟视点绘制方法。

背景技术

从20世纪40年代电视发明以来，经历了从黑白电视到彩色电视的第一次革命和从模拟电视到数字电视的第二次革命，3DTV将是继数字电视后电视技术的第三次革命。3DTV主要特点是立体感，即给用户以3维画面的视觉感受，另一个特点就是交互性，用户可以选择视点。

3D显示意味着需要有两路(stereoscopic)甚至多路视频(multi-view)信息，这对于带宽提出的要求是不可能满足的。荷兰飞利浦开发了二维+深度信息格式，在显示端通过算法重构出其他视点的信息。采用“二维+深度”方式，所需带宽小(只比普通二维节目增加5～10％的带宽)，适应于广电系统和网络领域。如何有效地利用深度图产生用于立体显示的虚拟视点图像是当前3DTV的关键一步。

目前的虚拟视点生成方法多基于传统的DIBR(depth-image based rendering)算法，利用相机参数通过反投影和投影完成绘制过程，算法耗时，而且当相机排列呈会聚模型且目标视点离虚拟视点距离加大时，产生的虚拟视点图像存在形变问题。另外，由于DIBR算法从采集端建模，需要准确知道采集时的相机模型参数，对于一般的显示端不通用。

由于前景物体和背景物体之间存在遮挡关系，单纯地将参考视图绘制至虚拟视点会产生空洞，传统方法或利用平滑深度图，或需要有复杂的空洞填补算法来得到可接受的图像质量。深度图平滑会导致图像扭曲，复杂的空洞填补算法又相当耗时。传统的视频压缩方法表明，视频序列在时间方向上有着非常大的相关性，序列的某些帧中被遮挡的背景一般会在其他帧中出现，利用算法把序列背景提取出来，是一种空洞填补的有效方法。利用视频序列时间上的相关性产生虚拟视点图像将有效提高绘制速度和质量。

发明内容

本发明目的是克服现有技术的不足，结合视频序列时间上的相关性，提供一种基于视频序列背景建模的虚拟视点绘制方法。

基于视频序列背景建模的虚拟视点绘制方法包括如下步骤：

(1)对参考视点二维视频建立统计背景模型，得到背景二维图像，对参考视点深度视频建立统计背景模型，得到背景深度图像；

(2)对参考视点每一帧深度图像做中值滤波处理；

(3)将统计建模得到的背景深度图像投射至视差空间，得到背景图像各像素点的视差值，将每一帧中值滤波之后的深度图投射至视差空间，得到参考图像各像素点的视差值；

(4)根据背景图像各像素点的视差值，平移统计建模得到的背景二维图像的各个通道的像素，得到目标视点背景图像；

(5)根据参考图像各像素点的视差值，平移参考视点二维图像的各个通道的像素，得到目标视点初始图像；

(6)融合目标视点初始图像和目标视点背景图像，并用均值滤波器插值填补空洞，得到最终目标视点图像。

所述的对参考视点二维视频建立统计背景模型，得到背景二维图像，对参考视点深度视频建立统计背景模型，得到背景深度图像步骤为：

(a)对参考视点的二维视频截取连续N帧图像I_f，f为帧号，取值为1，2，…，N，对这N帧二维图像中对应每个像素坐标位置(x，y)的N个像素值进行升序排序，取中间位置的值即这N个像素值的中值作为背景二维图像B(x，y)在对应位置(x，y)的像素值；

(b)对参考视点的深度视频截取与步骤(a)截取二维视频时时间维度上相同位置的连续N帧深度图像D_f，f为帧号，取值为1，2，…，N，对这N帧深度图像中对应每个像素坐标位置(x，y)的N个像素值进行升序排序，取中间位置的值即这N个像素值的中值作为背景深度图像BD(x，y)在对应位置(x，y)的像素值。

所述的对参考视点每一帧深度图像做中值滤波处理步骤为：

(c)对参考视点深度视频序列的每一帧D_f做7×7的中值滤波，得到滤波之后的深度图像D_f′(x，y)。

所述的将统计建模得到的背景深度图像投射至视差空间，得到背景图像各像素点的视差值，将每一帧中值滤波之后的深度图投射至视差空间，得到参考图像各像素点的视差值步骤为：

(d)根据设定的聚焦层灰度级d_F，相邻视点间最大视差值maxD，以及目标视点离参考视点的相对距离，  ，计算所有的灰度级所对应的视差值Disparity(d)，其中计算公式如下：

$\mathrm{Disparity}\left(d\right)=\left\{\begin{array}{cc}\frac{n\&CenterDot;\max D}{255-d_F}\&CenterDot;(d_F-d)& 0\&le;d_F\&le;128\\ \frac{n\&CenterDot;\max D}{d_F}\&CenterDot;(d_F-d)& 128<d_F<255\end{array}\right.$

d是深度图中表征深度的灰度级，d＝0，1，…，255，d越大，表示深度越大，即物体离观察者越远，d越小，深度越小，物体离观察者越近；

(e)根据步骤(d)计算得到的各灰度级所对应的视差值Disparity(d)，将统计建模得到的背景深度图像BD(x，y)映射至视差空间，得到背景图像各像素点的视差值disp_B(x，y)，表示如下：

disp_B(x，y)＝Disparity(BD(x，y))；

(f)根据步骤(d)计算得到的各灰度级所对应的视差值Disparity(d)，将每一帧中值滤波后的深度图D_f′(x，y)投射至视差空间，得到参考图像各像素点的视差值disp_f(x，y)，表示如下：

disp_f(x，y)＝Disparity(D_f′(x，y))。

所述的根据背景图像各像素点的视差值，平移统计建模得到的背景二维图像的各个通道的像素，得到目标视点背景图像步骤为：

(g)将目标视点背景图像每个像素点的参考像素点个数refNum_B(x，y)初始化为0，扫描背景二维图像B(x，y)和背景深度图像BD(x，y)，将每个像素坐标(x，y)根据步骤(e)得到的背景图像视差disp_B(x，y)绘制至目标视点背景图像上的非整数像素点(x+disp_B(x，y)，y)，并求得水平方向上距离该非整数像素点最近的左右参考像素点坐标(x_Bleft，y)、(x_Bright，y)，把(x_Bleft，y)的参考像素点个数refNum_B(x_Bleft，y)和(x_Bright，y)的参考像素点个数refNum_B(x_Bright，y)分别加1，并将这两个参考像素点(x_Bleft，y)、(x_Bright，y)的像素值

都赋为背景二维图像上源像素坐标位置(x，y)的像素值B(x，y)，将这两个参考像素点(x_Bleft，y)、(x_Bright，y)的深度值

都赋为背景深度图像上源像素坐标位置(x，y)的灰度值BD(x，y)，计算该非整像素点(x+disp_B(x，y)，y)对(x_Bleft，y)的权重

对(x_Bright，y)的权重

计算公式表示如下：

$B^{{\mathrm{refNum}}_B(x_i,y)}(x_i,y)=B(x,y)$

${\mathrm{BD}}^{{\mathrm{refNum}}_B(x_i,y)}(x_i,y)=\mathrm{BD}(x,y)i=\mathrm{Bleft},\mathrm{Bright}$

表示取小于等于·的最大整数；

(h)由步骤(g)得到目标视点背景图像每个整像素坐标(x，y)的参考像素点个数refNum_B(x，y)，这些参考像素点各自的像素值Bⁱ(x，y)，i≤refNum_B(x，y)i∈Z⁺，深度BDⁱ(x，y)，i≤refNum_B(x，y)i∈Z⁺，以及权重

i≤refNum_B(x，y)i∈Z⁺，把深度值最小像素的像素值的反距离权重加权平均值作为目标视点背景图像B_vir(x，y)在坐标(x，y)的像素值，计算公式如下：

其中HOLE表示空洞，λ_B ⁱ表示第i个参考点是否属于深度最小的像素点，若是，

否则，

定义如下

${\mathrm{\&lambda;}}_B^i=\left\{\begin{array}{cc}1& \mathrm{if}{\mathrm{BD}}^i(x,y)=\min ({\mathrm{BD}}^1(x,y),{\mathrm{BD}}^2(x,y),...,{\mathrm{BD}}^{\mathrm{refNum}(x,y)}(x,y))\\ 0& \mathrm{otherwis}\end{array};\right.$

(i)根据步骤(h)得到的目标视点背景图像B_vir(x，y)，对目标视点背景图像每个像素建立一个标志位Flag_B(x，y)，表示如下：

${\mathrm{Flag}}_B(x,y)=\left\{\begin{array}{cc}0& \mathrm{if}{B}_{\mathrm{vir}}(x,y)=\mathrm{HOLE}\\ 1& \mathrm{otherwise}\end{array}\right..$

所述的根据参考图像各像素点的视差值，平移参考视点二维图像的各个通道的像素，得到目标视点初始图像步骤为：

(j)将目标视点初始图像每个像素点的参考像素点个数refNum(x，y)初始化为0，扫描参考二维图像I_f(x，y)和中值滤波之后的参考深度图像D_f′(x，y)，将每个像素坐标(x，y)通过步骤(f)得到的参考图像的视差值disp_f(x，y)绘制至目标视点初始图像上的非整数像素点(x+disp_f(x，y)，y)，并求得水平方向上距离该非整数像素点最近的左右参考像素点(x_left，y)、(x_right，y)，把(x_left，y)的参考像素点个数refNum(x_left，y)和(x_right，y)的参考像素点个数refNum(x_right，y)分别加1，并将这两个参考像素点(x_left，y)、(x_right，y)的像素值

都赋为参考二维图像上源像素坐标(x，y)位置的像素值I_f(x，y)，将这两个像素点的深度值

都赋为参考深度图像上源像素坐标位置(x，y)的深度值D_f′(x，y)，计算该非整像素点(x+disp_f(x，y)，y)对(x_left，y)的权重对(x_right，y)的权重表示如下：

$I_f^{\mathrm{refNum}(x_i,y)}(x_i,y)=I_f(x,y)$

$D_f^{\mathrm{refNum}(x_i,y)}(x_i,y)={D_f}^{\&prime;}(x,y)i=\mathrm{left},\mathrm{right}$

表示取小于等于·的最大整数；

(k)由步骤(j)得到目标视点初始图像每个整像素点(x，y)的参考像素点个数refNum(x，y)，这些参考像素点各自的像素值I_f ⁱ(x，y)，i ≤ refNum(x，y)i∈Z⁺，深度D_f ⁱ(x，y)，i≤refNum(x，y)i∈Z⁺，以及权重

i≤refNum(x，y)i∈Z⁺，把深度值最小的像素点的反距离权重加权平均值作为目标视点初始图像H_vir(x，y)在坐标(x，y)的像素值，计算公式如下：

其中HOLE表示空洞，λⁱ表示第i个参考点是否属于深度最小的像素点，若是，λⁱ＝1，否则，λⁱ＝0，定义如下：

${\mathrm{\&lambda;}}^i=\left\{\begin{array}{cc}1& \mathrm{if}{D}_f^i(x,y)=\min (D_f^1(x,y),D_f^2(x,y),...D_f^{\mathrm{refNum}(x,y)}(x,y))\\ 0& \mathrm{otherwise}\end{array}\right.;$

(l)根据步骤(k)得到的目标视点图像H_vir(x，y)，对目标视点初始图像每个像素建立一个标志位Flag_H(x，y)，表示如下：

${\mathrm{Flag}}_H(x,y)=\left\{\begin{array}{cc}0& \mathrm{if}{H}_{\mathrm{vir}}(x,y)=\mathrm{HOLE}\\ 1& \mathrm{otherwise}\end{array}\right..$

所述的融合目标视点初始图像和目标视点背景图像，用均值滤波器插值填补小空洞，得到最终目标视点图像步骤为：

(m)根据步骤(i)得到的目标视点背景图像每个像素的标志位Flag_B(x，y)和步骤(l)得到的目标视点初始图像每个像素的标志位Flag_H(x，y)，将步骤(h)得到的目标视点背景图像B_vir(x，y)和步骤(k)得到的目标视点初始图像H_vir(x，y)进行融合，得到有小空洞的目标视点图像I′_vir(x，y)，并对I′_vir(x，y)的每个像素建立一个标志位Flag(x，y)，融合公式定义如下：

${I^{\&prime;}}_{\mathrm{vir}}(x,y)=\left\{\begin{array}{cc}{H}_{\mathrm{vir}}(x,y)& {\mathrm{Flag}}_H(x,y)=1\\ B_{\mathrm{vir}}(x,y)& {\mathrm{Flag}}_H(x,y)=0\mathrm{and}{\mathrm{Flag}}_B(x,y)\\ \mathrm{HOLE}& \mathrm{otherwise}\end{array}\right.$

$\mathrm{Flag}(x,y)=\left\{\begin{array}{cc}1& {\mathrm{Flag}}_H(x,y)=1\mathrm{or}{\mathrm{Flag}}_B(x,y)=1\\ 0& \mathrm{otherwise}\end{array}\right.$

其中HOLE表示空洞；

(n)根据步骤(m)得到的带有小空洞的目标视点图像每个像素的标志位Flag(x，y)，用均值滤波器插值填补步骤(m)得到的带有小空洞的目标视点图像I′_vir(x，y)，得到最终目标视点图像I_vir(x，y)，填补空洞公式定义如下：

$I_{\mathrm{vir}}(x,y)=\frac{\underset{v=-w}{\overset{w}{\mathrm{\&Sigma;}}}{I}_{\mathrm{vir}}^{\&prime;}(x-v,y)\&CenterDot;\mathrm{Flag}(x-v,y)}{\underset{v=-w}{\overset{w}{\mathrm{\&Sigma;}}}\mathrm{Flag}(x-v,y)}$

其中w为水平窗的窗口大小，取空洞水平方向上的最大宽度。

本发明适用于对已有一路二维视频序列加一路深度序列的数据产生虚拟视点。以往利用深度图生成虚拟视点的方法都是只考虑视点间相关性，基于深度图将参考视点的图像绘制至目标视点，或利用平滑深度图，或需要有复杂的空洞填补算法来得到可接受的图像质量。深度图平滑会导致图像扭曲，复杂的空洞填补算法又相当耗时。本发明结合了视频序列时间上的相关性，提取出视频的背景信息，将背景图像和当前帧参考图像同时绘制至虚拟视点，利用背景图像来填补空洞。另外，在视点绘制过程中，以往方法都利用相机参数通过反投影和投影完成绘制过程，产生的虚拟视点图像存在形变问题，而且算法耗时。本发明在深度图基础上通过平移参考视点像素来得到虚拟视点图像，克服了这些不足。本发明算法耗时不多，且不需要相机模型参数，并且由于利用了视频序列时间上的相关性，大大提高了绘制出来的虚拟视点的图像质量。

附图说明

图1是基于视频序列背景建模的虚拟视点绘制方法的流程框图；

图2是参考视点二维图像像素根据视差值平移得到目标视点初始图像的示意图；

图3(a)是Dice二维视频的截图；

图3(b)是Dice深度视频的截图；

图4(a)是Dice二维视频建模得到的背景二维图像；

图4(b)是Dice深度视频建模得到的背景深度图像；

图5是通过平移背景二维图像的各个通道的像素得到的目标视点背景图像；

图6是图3截图对应的目标视点初始图像；

图7是图5目标视点背景图像和图6目标视点初始图像融合之后的图像。

图8是图7融合之后的图像用均值滤波器插值填补空洞之后的目标视点最终图像。

具体实施方式

基于视频序列背景建模的虚拟视点绘制方法包括如下步骤(整体流程图如图1所示)：

(1)对参考视点二维视频建立统计背景模型，得到背景二维图像，对参考视点深度视频建立统计背景模型，得到背景深度图像；

(2)对参考视点每一帧深度图像做中值滤波处理；

(3)将统计建模得到的背景深度图像投射至视差空间，得到背景图像各像素点的视差值，将每一帧中值滤波之后的深度图投射至视差空间，得到参考图像各像素点的视差值；

(4)根据背景图像各像素点的视差值，平移统计建模得到的背景二维图像的各个通道的像素，得到目标视点背景图像；

(5)根据参考图像各像素点的视差值，平移参考视点二维图像的各个通道的像素，得到目标视点初始图像；

(6)融合目标视点初始图像和目标视点背景图像，并用均值滤波器插值填补空洞，得到最终目标视点图像。

所述的对参考视点二维视频建立统计背景模型，得到背景二维图像，对参考视点深度视频建立统计背景模型，得到背景深度图像步骤：

(a)对参考视点的二维视频截取连续N帧图像I_f，f为帧号，取值为1，2，…，N，对这N帧二维图像中对应每个像素坐标位置(x，y)的N个像素值进行升序排序，取中间位置的值即这N个像素值的中值作为背景二维图像B(x，y)在对应位置(x，y)的像素值；

(b)对参考视点的深度视频截取与步骤(a)截取二维视频时时间维度上相同位置的连续N帧深度图像D_f，f为帧号，取值为1，2，…，N，对这N帧深度图像中对应每个像素坐标位置(x，y)的N个像素值进行升序排序，取中间位置的值即这N个像素值的中值作为背景深度图像BD(x，y)在对应位置(x，y)的像素值。

所述的对参考视点每一帧深度图像做中值滤波处理步骤为：

(c)对参考视点深度视频序列的每一帧D_f做7×7的中值滤波，得到滤波之后的深度图像D_f′(x，y)。

深度图中的噪声会严重降低生成的虚拟视点图像的质量，中值滤波是用窗口中各点灰度值的中值来代替窗口中各点的值，能有效的滤除噪声，窗口越大，对灰度图的平滑效果越好，但丢失的细节也越多。

所述的将统计建模得到的背景深度图像投射至视差空间，得到背景图像各像素点的视差值，将每一帧中值滤波之后的深度图投射至视差空间，得到参考图像各像素点的视差值步骤为：

(d)根据设定的聚焦层灰度级d_F，相邻视点间最大视差值maxD，以及目标视点离参考视点的相对距离n，n＝…，-1，0，1，…，计算所有的灰度级d所对应的视差值Disparity(d)，其中计算公式如下：

$\mathrm{Disparity}\left(d\right)=\left\{\begin{array}{cc}\frac{n\&CenterDot;\max D}{255-d_F}\&CenterDot;(d_F-d)& 0\&le;d_F\&le;128\\ \frac{n\&CenterDot;\max D}{d_F}\&CenterDot;(d_F-d)& 128<d_F<255\end{array}\right.$

d是深度图中表征深度的灰度级，d＝0，1，…，255，d越大，表示深度越大，即物体离观察者越远，d越小，深度越小，物体离观察者越近；

设定的聚焦层灰度值d_F为0～255的值，指恰好成像在屏幕上的灰度级，d_F越小，聚焦层越靠近观察者，相邻视点间最大视差值maxD为正整数，maxD越大，相邻视点间视差值越大，立体效果越明显，但当视差值大到超过人眼能融合的范围时，人的双眼会看到两个分开的二维图像，而不是一个融合的立体图像。

(e)根据步骤(d)计算得到的各灰度级所对应的视差值Disparity(d)，将统计建模得到的背景深度图像BD(x，y)映射至视差空间，得到背景图像各像素点的视差值disp_B(x，y)，表示如下：

disp_B(x，y)＝Disparity(BD(x，y))；

(f)根据步骤(d)计算得到的各灰度级所对应的视差值Disparity(d)，将每一帧中值滤波后的深度图D_f′(x，y)投射至视差空间，得到参考图像各像素点的视差值disp_f(x，y)，表示如下：

disp_f(x，y)＝Disparity(D_f′(x，y))。

所述的根据背景图像各像素点的视差值，平移统计建模得到的背景二维图像的各个通道的像素，得到目标视点背景图像步骤为：

(g)将目标视点背景图像每个像素点的参考像素点个数refNum_B(x，y)初始化为0，扫描背景二维图像B(x，y)和背景深度图像BD(x，y)，将每个像素坐标(x，y)根据步骤(e)得到的背景图像视差disp_B(x，y)绘制至目标视点背景图像上的非整数像素点(x+disp_B(x，y)，y)，并求得水平方向上距离该非整数像素点最近的左右参考像素点坐标(x_Bleft，y)、(x_Bright，y)，把(x_Bleft，y)的参考像素点个数refNum_B(x_Bleft，y)和(x_Bright，y)的参考像素点个数refNum_B(x_Bright，y)分别加1，并将这两个参考像素点(x_Bleft，y)、(x_Bright，y)的像素值都赋为背景二维图像上源像素坐标位置(x，y)的像素值B(x，y)，将这两个参考像素点(x_Bleft，y)、(x_Bright，y)的深度值

都赋为背景深度图像上源像素坐标位置(x，y)的灰度值BD(x，y)，计算该非整像素点(x+disp_B(x，y)，y)对(x_Bleft，y)的权重对(x_Bright，y)的权重

计算公式表示如下：

$B^{{\mathrm{refNum}}_B(x_i,y)}(x_i,y)=B(x,y)$

${\mathrm{BD}}^{{\mathrm{refNum}}_B(x_i,y)}(x_i,y)=\mathrm{BD}(x,y)i=\mathrm{Bleft},\mathrm{Bright}$

表示取小于等于·的最大整数；

(h)由步骤(g)得到目标视点背景图像每个整像素坐标(x，y)的参考像素点个数refNum_B(x，y)，这些参考像素点各自的像素值Bⁱ(x，y)，i≤refNum_B(x，y)i∈Z⁺，深度BDⁱ(x，y)，i≤refNum_B(x，y)i∈Z⁺，以及权重

i≤refNum_B(x，y)i∈Z⁺，把深度值最小像素的像素值的反距离权重加权平均值作为目标视点背景图像B_vir(x，y)在坐标(x，y)的像素值，计算公式如下：

其中HOLE表示空洞，λ_B ⁱ表示第i个参考点是否属于深度最小的像素点，若是，

否则，

定义如下：

${\mathrm{\&lambda;}}_B^i=\left\{\begin{array}{cc}1& \mathrm{if}{\mathrm{BD}}^i(x,y)=\min ({\mathrm{BD}}^1(x,y),{\mathrm{BD}}^2(x,y),...,{\mathrm{BD}}^{\mathrm{refNum}(x,y)}(x,y))\\ 0& \mathrm{otherwis}\end{array};\right.$

(i)根据步骤(h)得到的目标视点背景图像B_vir(x，y)，对目标视点背景图像每个像素建立一个标志位Flag_B(x，y)，表示如下：

${\mathrm{Flag}}_B(x,y)=\left\{\begin{array}{cc}0& \mathrm{if}{B}_{\mathrm{vir}}(x,y)=\mathrm{HOLE}\\ 1& \mathrm{otherwise}\end{array}\right..$

所述的根据参考图像各像素点的视差值，平移参考视点二维图像的各个通道的像素，得到目标视点初始图像步骤为：

(j)将目标视点初始图像每个像素点的参考像素点个数refNum(x，y)初始化为0，扫描参考二维图像I_f(x，y)和中值滤波之后的参考深度图像D_f′(x，y)，将每个像素坐标(x，y)通过步骤(f)得到的参考图像的视差值disp_f(x，y)绘制至目标视点初始图像上的非整数像素点(x+disp_f(x，y)，y)，并求得水平方向上距离该非整数像素点最近的左右参考像素点(x_left，y)、(x_right，y)，把(x_left，y)的参考像素点个数refNum(x_left，y)和(x_right，y)的参考像素点个数refNum(x_right，y)分别加1，并将这两个参考像素点(x_left，y)、(x_right，y)的像素值

都赋为参考二维图像上源像素坐标位置(x，y)的像素值I_f(x，y)，将这两个像素点的深度值

都赋为参考深度图像上源像素坐标位置(x，y)的深度值D_f′(x，y)，  计算该非整像素点(x+disp_f(x，y)，y)对(x_left，y)的权重对(x_right，y)的权重表示如下：

$I_f^{\mathrm{refNum}(x_i,y)}(x_i,y)=I_f(x,y)$

$D_f^{\mathrm{refNum}(x_i,y)}(x_i,y)={D_f}^{\&prime;}(x,y)i=\mathrm{left},\mathrm{right}$

表示取小于等于·的最大整数；

(k)由步骤(j)得到目标视点初始图像每个整像素点(x，y)的参考像素点个数refNum(x，y)，这些参考像素点各自的像素值I_f ⁱ(x，y)，i≤refNum(x，y)i∈Z⁺，深度D_f ⁱ(x，y)，i ≤ refNum(x，y)i∈Z⁺，以及权重

i≤ refNum(x，y)i∈Z⁺，把深度值最小的像素点的反距离权重加权平均值作为目标视点初始图像H_vir(x，y)在坐标(x，y)的像素值，计算公式如下：

其中HOLE表示空洞，λⁱ表示第i个参考点是否属于深度最小的像素点，若是，λⁱ＝1，否则，λⁱ＝0，定义如下：

${\mathrm{\&lambda;}}^i=\left\{\begin{array}{cc}1& \mathrm{if}{D}_f^i(x,y)=\min (D_f^1(x,y),D_f^2(x,y),...D_f^{\mathrm{refNum}(x,y)}(x,y))\\ 0& \mathrm{otherwise}\end{array}\right.;$

(l)根据步骤(k)得到的目标视点图像H_vir(x，y)，对目标视点初始图像每个像素建立一个标志位Flag_H(x，y)，表示如下：

${\mathrm{Flag}}_H(x,y)=\left\{\begin{array}{cc}0& \mathrm{if}{H}_{\mathrm{vir}}(x,y)=\mathrm{HOLE}\\ 1& \mathrm{otherwise}\end{array}\right..$

所述的融合目标视点初始图像和目标视点背景图像，用均值滤波器插值填补小空洞，得到最终目标视点图像步骤为：

(m)根据步骤(i)得到的目标视点背景图像每个像素的标志位Flag_B(x，y)和步骤(l)得到的目标视点初始图像每个像素的标志位Flag_H(x，y)，将步骤(h)得到的目标视点背景图像B_vir(x，y)和步骤(k)得到的目标视点初始图像H_vir(x，y)进行融合，得到有小空洞的目标视点图像I′_vir(x，y)，并对I′_vir(x，y)的每个像素建立一个标志位Flag(x，y)，融合公式定义如下：

${I^{\&prime;}}_{\mathrm{vir}}(x,y)=\left\{\begin{array}{cc}{H}_{\mathrm{vir}}(x,y)& {\mathrm{Flag}}_H(x,y)=1\\ B_{\mathrm{vir}}(x,y)& {\mathrm{Flag}}_H(x,y)=0\mathrm{and}{\mathrm{Flag}}_B(x,y)\\ \mathrm{HOLE}& \mathrm{otherwise}\end{array}\right.$

$\mathrm{Flag}(x,y)=\left\{\begin{array}{cc}1& {\mathrm{Flag}}_H(x,y)=1\mathrm{or}{\mathrm{Flag}}_B(x,y)=1\\ 0& \mathrm{otherwise}\end{array}\right.$

其中HOLE表示空洞；

(n)根据步骤(m)得到的带有小空洞的目标视点图像每个像素的标志位Flag(x，y)，用均值滤波器插值填补步骤(m)得到的带有小空洞的目标视点图像I′_vir(x，y)，得到最终目标视点图像I_vir(x，y)，填补空洞公式定义如下：

$I_{\mathrm{vir}}(x,y)=\frac{\underset{v=-w}{\overset{w}{\mathrm{\&Sigma;}}}{I}_{\mathrm{vir}}^{\&prime;}(x-v,y)\&CenterDot;\mathrm{Flag}(x-v,y)}{\underset{v=-w}{\overset{w}{\mathrm{\&Sigma;}}}\mathrm{Flag}(x-v,y)}$

其中w为水平窗的窗口大小，取空洞水平方向上的最大宽度。

融合目标视点背景图像和目标视点初始图像产生的目标视点图像可能还会存在小的空洞，用水平方向上均值滤波器插值可以填补这些小的空洞。

实施例：

(1)将图像分辨率为800×450的Dice二维+深度序列作为虚拟视点产生的视频文件。图3(a)(b)分别为Dice序列某一帧的二维图像截图和深度图像截图。

(2)建立统计背景模型，产生背景二维图像和背景深度图像。图4(a)为Dice二维视频建模得到的背景二维图像，图4(b)为Dice深度视频建模得到的背景深度图像。

(3)将Dice背景深度图像换算成视差值，平移背景二维图像的各个通道的像素，得到目标视点背景图像。图5即为Dice视频对应的目标视点背景图像。

(4)对参考视频深度图进行中值滤波，并换算成视差值，平移参考视点二维图像的各个通道的像素，得到目标视点初始图像。图6即为Dice视频图3截图对应的目标视点初始图像。

(5)融合目标视点背景图像和目标视点初始图像，得到目标视点最终图像，用于立体图像的合成。图7即为图5目标视点背景图像和图6目标视点初始图像融合之后的图像。

(6)用均值滤波器插值填补融合之后的空洞。图8即为空洞填补之后的目标视点最终图像。

Claims (7)

1.一种基于视频序列背景建模的虚拟视点绘制方法，其特征在于包括如下步骤：

(1)对参考视点二维视频建立统计背景模型，得到背景二维图像，对参考视点深度视频建立统计背景模型，得到背景深度图像；

(2)对参考视点每一帧深度图像做中值滤波处理；

(3)将统计建模得到的背景深度图像投射至视差空间，得到背景图像各像素点的视差值，将每一帧中值滤波之后的深度图投射至视差空间，得到参考图像各像素点的视差值；

(4)根据背景图像各像素点的视差值，平移统计建模得到的背景二维图像的各个通道的像素，得到目标视点背景图像；

(5)根据参考图像各像素点的视差值，平移参考视点二维图像的各个通道的像素，得到目标视点初始图像；

(6)融合目标视点初始图像和目标视点背景图像，并用均值滤波器插值填补空洞，得到最终目标视点图像。

2.根据权利要求1所述的一种基于视频序列背景建模的虚拟视点绘制方法，其特征在于所述的对参考视点二维视频建立统计背景模型，得到背景二维图像，对参考视点深度视频建立统计背景模型，得到背景深度图像步骤为：

(a)对参考视点的二维视频截取连续N帧图像I_f，f为帧号，取值为1，2，…，N，对这N帧二维图像中对应每个像素坐标位置(x，y)的N个像素值进行升序排序，取中间位置的值即这N个像素值的中值作为背景二维图像B(x，y)在对应位置(x，y)的像素值；

(b)对参考视点的深度视频截取与步骤(a)截取二维视频时时间维度上相同位置的连续N帧深度图像D_f，f为帧号，取值为1，2，…，N，对这N帧深度图像中对应每个像素坐标位置(x，y)的N个像素值进行升序排序，取中间位置的值即这N个像素值的中值作为背景深度图像BD(x，y)在对应位置(x，y)的像素值。

3.根据权利要求1所述的一种基于视频序列背景建模的虚拟视点绘制方法，其特征在于所述的对参考视点每一帧深度图像做中值滤波处理步骤为：

(c)对参考视点深度视频序列的每一帧D_f做7×7的中值滤波，得到滤波之后的深度图像D_f′(x，y)。

4.根据权利要求1所述的一种基于视频序列背景建模的虚拟视点绘制方法，其特征在于所述的将统计建模得到的背景深度图像投射至视差空间，得到背景图像各像素点的视差值，将每一帧中值滤波之后的深度图投射至视差空间，得到参考图像各像素点的视差值步骤为：

(d)根据设定的聚焦层灰度级d_F，相邻视点间最大视差值maxD，以及目标视点离参考视点的相对距离n，n＝…，-1，0，1，…，计算所有的灰度级d所对应的视差值Disparity(d)，其中计算公式如下：

$\mathrm{Disparity}\left(d\right)=\left\{\begin{array}{cc}\frac{n\&CenterDot;\max D}{255-d_F}\&CenterDot;(d_F-d)& 0\&le;d_F\&le;128\\ \frac{n\&CenterDot;\max D}{d_F}\&CenterDot;(d_F-d)& 128<d_F<255\end{array}\right.$

d是深度图中表征深度的灰度级，d＝0，1，…，255，d越大，表示深度越大，即物体离观察者越远，d越小，深度越小，物体离观察者越近；

(e)根据步骤(d)计算得到的各灰度级所对应的视差值Disparity(d)，将统计建模得到的背景深度图像BD(x，y)映射至视差空间，得到背景图像各像素点的视差值disp_B(x，y)，表示如下：

disp_B(x，y)＝Disparity(BD(x，y))；

(f)根据步骤(d)计算得到的各灰度级所对应的视差值Disparity(d)，将每一帧中值滤波后的深度图D_f′(x，y)投射至视差空间，得到参考图像各像素点的视差值disp_f(x，y)，表示如下：

disp_f(x，y)＝Disparity(D_f′(x，y))。

5.根据权利要求1所述的一种基于视频序列背景建模的虚拟视点绘制方法，其特征在于所述的根据背景图像各像素点的视差值，平移统计建模得到的背景二维图像的各个通道的像素，得到目标视点背景图像步骤为：

(g)将目标视点背景图像每个像素点的参考像素点个数refNum_B(x，y)初始化为0，扫描背景二维图像B(x，y)和背景深度图像BD(x，y)，将每个像素坐标(x，y)根据步骤(e)得到的背景图像视差disp_B(x，y)绘制至目标视点背景图像上的非整数像素点(x+disp_B(x，y)，y)，并求得水平方向上距离该非整数像素点最近的左右参考像素点坐标(x_Bleft，y)、(x_Bright，y)，把(x_Bleft，y)的参考像素点个数refNum_B(x_Bleft，y)和(x_Bright，y)的参考像素点个数refNum_B(x_Bright，y)分别加1，并将这两个参考像素点(x_Bleft，y)、(x_Bright，y)的像素值都赋为背景二维图像上源像素坐标位置(x，y)的像素值B(x，y)，将这两个参考像素点(x_Blefi，y)、(x_Bright，y)的深度值

都赋为背景深度图像上源像素坐标位置(x，y)的灰度值BD(x，y)，计算该非整像素点(x+disp_B(x，y)，y)对(x_Bleft，y)的权重，对(x_Bright，y)的权重，计算公式表示如下：

$B^{{\mathrm{refNum}}_B(x_i,y)}(x_i,y)=B(x,y)$

${\mathrm{BD}}^{{\mathrm{refNum}}_B(x_i,y)}(x_i,y)=\mathrm{BD}(x,y),i=\mathrm{Bleft},\mathrm{Bright}$

表示取小于等于·的最大整数；

(h)由步骤(g)得到目标视点背景图像每个整像素坐标(x，y)的参考像素点个数refNum_B(x，y)，这些参考像素点各自的像素值Bⁱ(x，y)，i≤refNum_B(x，y)i∈Z⁺，深度BDⁱ(x，y)，i≤refNum_B(x，y)i∈Z⁺，以及权重，i≤refNum_B(x，y)i∈Z⁺，把深度值最小像素的像素值的反距离权重加权平均值作为目标视点背景图像B_vir(x，y)在坐标(x，y)的像素值，计算公式如下：

其中HOLE表示空洞，λ_B ⁱ表示第i个参考点是否属于深度最小的像素点，若是， ${\mathrm{\&lambda;}}_B^i=1,$ 否则， ${\mathrm{\&lambda;}}_B^i=0,$ 定义如下：

${\mathrm{\&lambda;}}_B^i=\left\{\begin{array}{cc}1& \mathrm{if}{\mathrm{BD}}^i(x,y)=\min ({\mathrm{BD}}^1(x,y),{\mathrm{BD}}^2(x,y),\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{BD}}^{\mathrm{refNum}(x,y)}(x,y))\\ 0& \mathrm{otherwise}\end{array}\right.;$

(i)根据步骤(h)得到的目标视点背景图像B_vir(x，y)，对目标视点背景图像每个像素建立一个标志位Flag_B(x，y)，表示如下：

${\mathrm{Flag}}_B(x,y)=\left\{\begin{array}{cc}0& \mathrm{if}{B}_{\mathrm{vir}}(x,y)=\mathrm{HOLE}\\ 1& \mathrm{otherwise}\end{array}\right..$

6.根据权利要求1所述的一种基于视频序列背景建模的虚拟视点绘制方法，其特征在于所述的根据参考图像各像素点的视差值，平移参考视点二维图像的各个通道的像素，得到目标视点初始图像步骤为：

(j)将目标视点初始图像每个像素点的参考像素点个数refNum(x，y)初始化为0，扫描参考二维图像I_f(x，y)和中值滤波之后的参考深度图像D_f′(x，y)，将每个像素坐标(x，y)通过步骤(f)得到的参考图像的视差值disp_f(x，y)绘制至目标视点初始图像上的非整数像素点(x+disp_f(x，y)，y)，并求得水平方向上距离该非整数像素点最近的左右参考像素点(x_left，y)、x_right，y)，把(x_left，y)的参考像素点个数refNum(x_left，y)和x_right，y)的参考像素点个数refNum(x_right，y)分别加1，并将这两个参考像素点(x_left，y)、x_right，y)的像素值

都赋为参考二维图像上源像素坐标位置(x，y)的像素值I_f(x，y)，将这两个像素点的深度值

都赋为参考深度图像上源像素坐标位置(x，y)的深度值D_f′(x，y)，计算该非整像素点(x+disp_f(x，y)，y)对(x_left，y)的权重

，对x_right，y)的权重

，表示如下：

$I_f^{\mathrm{refNum}(x_i,y)}(x_i,y)=I_f(x,y)$

$D_f^{\mathrm{refNum}(x_i,y)}(x_i,y)={D_f}^{\&prime;}(x,y),i=\mathrm{left},\mathrm{right}$

表示取小于等于·的最大整数；

(k)由步骤(j)得到目标视点初始图像每个整像素点(x，y)的参考像素点个数refNum(x，y)，这些参考像素点各自的像素值I_f ⁱ(x，y)，i ≤ refNum(x，y)i∈Z⁺，深度D_f ⁱ(x，y)，i≤refNum(x，y)i∈Z⁺，以及权重

，i ≤ refNum(x，y)i∈Z⁺，把深度值最小的像素点的反距离权重加权平均值作为目标视点初始图像H_vir(x，y)在坐标(x，y)的像素值，计算公式如下：

其中HOLE表示空洞，λⁱ表示第i个参考点是否属于深度最小的像素点，若是，λⁱ＝1，否则，λⁱ＝0，定义如下：

${\mathrm{\&lambda;}}^i=\left\{\begin{array}{cc}1& \mathrm{if}{D}_f^i(x,y)=\min (D_f^1(x,y),D_f^2(x,y),\&CenterDot;\&CenterDot;\&CenterDot;D_f^{\mathrm{refNum}(x,y)}(x,y))\\ 0& \mathrm{otherwise}\end{array}\right.;$

(l)根据步骤(k)得到的目标视点图像H_vir(x，y)，对目标视点初始图像每个像素建立一个标志位Flag_H(x，y)，表示如下：

${\mathrm{Flag}}_H(x,y)=\left\{\begin{array}{cc}0& \mathrm{if}{H}_{\mathrm{vir}}(x,y)=\mathrm{HOLE}\\ 1& \mathrm{otherwise}\end{array}\right..$

7.根据权利要求1所述的一种基于视频序列背景建模的虚拟视点绘制方法，其特征在于所述的融合目标视点初始图像和目标视点背景图像，用均值滤波器插值填补小空洞，得到最终目标视点图像步骤为：

(m)根据步骤(i)得到的目标视点背景图像每个像素的标志位Flag_B(x，y)和步骤(1)得到的目标视点初始图像每个像素的标志位Flag_H(x，y)，将步骤(h)得到的目标视点背景图像B_vir(x，y)和步骤(k)得到的目标视点初始图像H_vir(x，y)进行融合，得到有小空洞的目标视点图像I′_vir(x，y)，并对I′_vir(x，y)的每个像素建立一个标志位Flag(x，y)，融合公式定义如下：

${I^{\&prime;}}_{\mathrm{vir}}(x,y)=\left\{\begin{array}{cc}{H}_{\mathrm{vir}}(x,y)& {\mathrm{Flag}}_H(x,y)=1\\ B_{\mathrm{vir}}(x,y)& {\mathrm{Flag}}_H(x,y)=0\mathrm{and}{\mathrm{Flag}}_B(x,y)=1\\ \mathrm{HOLE}& \mathrm{otherwise}\end{array}\right.$

$\mathrm{Flag}(x,y)=\left\{\begin{array}{cc}1& \mathrm{Fl}{\mathrm{ag}}_H(x,y)=1\mathrm{or}{\mathrm{Flag}}_B(x,y)=1\\ 0& \mathrm{otherwise}\end{array}\right.$

其中HOLE表示空洞；

(n)根据步骤(m)得到的带有小空洞的目标视点图像每个像素的标志位Flag(x，y)，用均值滤波器插值填补步骤(m)得到的带有小空洞的目标视点图像I′_vir(x，y)，得到最终目标视点图像I_vir(x，y)，填补空洞公式定义如下：

$I_{\mathrm{vir}}(x,y)=\frac{\underset{v=-w}{\overset{w}{\mathrm{\&Sigma;}}}{I}_{\mathrm{vir}}^{\&prime;}(x-v,y)\&CenterDot;\mathrm{Flag}(x-v,y)}{\underset{v=-w}{\overset{w}{\mathrm{\&Sigma;}}}\mathrm{Flag}(x-v,y)}$

其中w为水平窗的窗口大小，取空洞水平方向上的最大宽度。

Images