CN101330632A - 一种立体电视系统中虚拟视点图像绘制的方法 - Google Patents

Abstract

本发明公开了一种立体电视系统中虚拟视点图像绘制的方法。它包括如下步骤：1)根据左、右视点深度图像，把左、右视点纹理图像旋转到虚拟视点，得到左、右视点纹理图像的旋转图像；2)对左、右视点纹理图像的旋转图像进行自适应插值，得到左、右视点纹理图像的插值图像；3)根据左视点纹理图像的插值图像，对右视点纹理图像的插值图像进行重叠式填充，得到虚拟视点图像。本发明首先把左视点纹理图像和右视点纹理图像旋转得到旋转图像，然后对旋转图像进行自适应插值得到插值图像，最后对插值图像进行重叠式填充得到虚拟视点图像。本发明可以有效地抑制遮挡和量化误差所产生的噪声，提高虚拟视点图像绘制的质量。

Description

一种立体电视系统中虚拟视点图像绘制的方法

技术领域

本发明涉及数字图像处理技术，特别地，涉及一种立体电视系统中虚拟视点图像绘制的方法

背景技术

随着数字视频技术的快速发展和广泛应用，人们对视频质量和形式的要求越来越高，传统的二维平面视频已满足不了人们对场景的真实和自然再现的需求，因此能够提供立体感和交互操作功能的立体/多视点视频技术越来越受到业界的重视。立体/多视点视频与单目视频相比，增加了景物深度信息表征，在立体电视、虚拟视点电视、具有临场感的可视会议、虚拟现实等领域具有广泛应用前景(见侯春萍，杨蕾，宋晓炜，戴居丰.立体电视技术综述.信号处理.2007.23-5)。

立体电视系统用户端的设计应该满足复杂度低、功能实现简单、制造成本低的要求。因为用户端的计算能力、存储能力有限，在用户端应该选择低计算量、低存储容量的虚拟视点图像绘制算法。欧洲的先进立体电视系统技术(ATTEST)计划提出了基于深度相机的立体场景生成方法，并以此为基础给出设计了立体电视系统。编码端将压缩后的深度图像传送给用户端，用户端用接收到的图像信息进行虚拟视点图像绘制。

虚拟视点图像绘制是立体电视系统中的关键技术之一，已成为近年来的研究热点。物体之间遮挡和象素坐标的量化误差严重影响虚拟视点图像绘制的质量。

发明内容

本发明的目的是提供一种立体电视系统中虚拟视点图像绘制的方法。本发明通过自适应插值和重叠式填充提高用户端自由视点图像绘制的质量。它包括如下步骤：

1)根据左视点深度图像，把左视点纹理图像旋转到虚拟视点，得到左视点纹理图像的旋转图像；

2)根据右视点深度图像，把右视点纹理图像旋转到虚拟视点，得到右视点纹理图像的旋转图像；

3)对左视点纹理图像的旋转图像进行自适应插值，得到左视点纹理图像的插值图像；

4)对右视点纹理图像的旋转图像进行自适应插值，得到右视点纹理图像的插值图像；

5)根据左视点纹理图像的插值图像，对右视点纹理图像的插值图像进行重叠式填充，得到虚拟视点图像。

所述的根据左视点深度图像，把左视点纹理图像旋转到虚拟视点，得到左视点纹理图像的旋转图像步骤：

a)把左视点纹理图像的旋转图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量都设置为0；

b)根据下列式子，计算从左视点到虚拟视点的旋转矩阵：

L_to_V_PP＝V_A×V_E×(L_E^-1)×(L_A^-1)；

其中，L_A和L_E分别是左视点相机的内参和外参，V_A和V_E分别是用户指定的虚拟视点相机的内参和外参，L_to_V_PP是从左视点到虚拟视点的旋转矩阵。

c)根据下列式子，计算左视点深度图像中每个象素的深度值：

L_Zc(x,y)＝(255×MaxZ×MinZ)/(D_L(x，y，1)×(MaxZ-MinZ)+255×MinZ)；

其中，D_L(x，y，1)是左视点深度图像中图像坐标(x，y)处象素点的亮度值，MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度，L_Zc(x，y)是左视点深度图像中图像坐标(x，y)处象素点的深度值。

如果深度图像中象素点的亮度为0，表示该象素点距离世界坐标系中原点的距离为MaxZ；如果深度图像中象素点的亮度为255，表示该象素点距离世界坐标系中原点的距离为MinZ。

d)根据下列式子，计算左视点纹理图像中每个象素点旋转到虚拟视点后的图像坐标，得到从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数：

$\left[\begin{array}{c}L\_\mathrm{to}\_V\_\mathrm{Xc}\\ L\_\mathrm{to}\_V\_\mathrm{Yc}\\ L\_\mathrm{to}\_V\_\mathrm{Zc}\\ 1\end{array}\right]=L\_\mathrm{to}\_V\_\mathrm{PP}\×\left[\begin{array}{c}x\×L\_\mathrm{Zc}(x,y)\\ y\×L\_\mathrm{Zc}(x,y)\\ L\_\mathrm{Zc}(x,y)\\ 1\end{array}\right];$

L_to_V_x(x，y)＝clipX(L_to_V_Xc/L_to_V_Zc)；

L_to_V_y(x，y)＝clipY(L_to_V_Yc/L_to_V_Zc)；

clipX(x)＝min(Width-1，max(0，x)；clipY(x)＝min(Hight-1，max(0，y))；

其中，x和y分别是左视点纹理图像中当前象素点的横坐标和纵坐标，clipX(x)和clipY(y)分别是x方向和y方向的修剪函数，Width和Hight分别为深度图像的宽度和高度，L_to_V_PP是从左视点到虚拟视点的旋转矩阵，L_to_V_x(x：y)和L_to_V_y(x，y)分别是从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数；

e)根据下列式子，计算左视点纹理图像的旋转图像：

Image_V_L(L_to_V_x(x，y)，L_to_Vy(x，y)，i)＝Image_L(x，y，i)；

其中，i∈{1，2，3}，Image_L是左视点纹理图像，L_to_V_x(x，y)和L_to_V_y(x，y)分别是从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数，Image_V_L是左视点纹理图像的旋转图像，Image_V_L(x，y，1)、Image_V_L(x，y，2)和Image_V_L(x，y，3)分别表示左视点纹理图像的旋转图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

所述的根据右视点深度图像，把右视点纹理图像旋转到虚拟视点，得到右视点纹理图像的旋转图像步骤：

f)把右视点纹理图像的旋转图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量都设置为0；

g)根据下列式子，计算从右视点到虚拟视点的旋转矩阵：

R_to_V_PP＝V_A*V_E*R_E^-1)*(R_A^-1)；

其中，R_A和R_E分别是右视点相机的内参和外参，V_A和V_E分别是用户指定的虚拟视点相机的内参和外参，R_to_V_PP是从右视点到虚拟视点的旋转矩阵；

h)根据下列式子，计算右视点深度图像中每个象素的深度值：

R_Zc(x，y)＝(255×MaxZ×MinZ)/(D_R(x，y，1)×(MaxZ-MinZ)+255×MinZ)；

其中，D_R(x，y，1)是右视点深度图像中图像坐标(x，y)处象素点的亮度值，MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度，R_Zc(x，y)是右视点深度图像中图像坐标(x，y)处象素点的深度值。

i)根据下列式子，计算右视点纹理图像中每个象素点旋转到虚拟视点后的图像坐标，得到从右视点到虚拟视点的横坐标映射函数和纵坐标映射函数：

$\left[\begin{array}{c}R\_\mathrm{to}\_V\_\mathrm{Xc}\\ R\_\mathrm{to}\_V\_\mathrm{Yc}\\ R\_\mathrm{to}\_V\_\mathrm{Zc}\\ 1\end{array}\right]=R\_\mathrm{to}\_V\_\mathrm{PP}\×\left[\begin{array}{c}x\×R\_\mathrm{Zc}(x,y)\\ y\×R\_\mathrm{Zc}(x,y)\\ R\_\mathrm{Zc}(x,y)\\ 1\end{array}\right];$

R_to_V_x(x，y)＝clipX(R_to_V_Xc/R_to_V_Zc)；

R_to_V_y(x，y)＝clipY(R_to_V_Yc/R_to_V_Zc)；

clipX(x)＝min(Width-1，max(0，x))；clipY(x)＝min(Hight-1，max(0，y))；

其中，x和y分别是右视点纹理图像中当前象素点的横坐标和纵坐标，clipX(x)和clipY(x)分别是x方向和y方向的修剪函数，Width和Hight分别为深度图像的宽度和高度，R_to_V_PP是从右视点到虚拟视点的旋转矩阵，R_to_V_x(x，y)和R_to_V_y(x，y)分别是从右视点到虚拟视点的横坐标映射函数和纵坐标映射函数；

j)根据下列式子，计算右视点纹理图像的旋转图像：

Image_V_R(R_to_V_x(x，y)，R_to_V_y(x，y)，i)＝Image_R(x，y，i)；

其中，i∈{1，2，3}，Image_R是右视点纹理图像，R_to_V_x(x，y)和R_to_V_y(x，y)分别是从右视点到虚拟视点的横坐标映射函数和纵坐标映射函数，Image_V_R是右视点纹理图像的旋转图像，Image_V_R(x，y，1)、Image_V_R(x，y，2)和Image_V_R(x，y，3)分别表示右视点纹理图像的旋转图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

所述的对左视点纹理图像的旋转图像进行自适应插值，得到左视点纹理图像的插值图像步骤：

k)根据左视点纹理图像的旋转图像，设置左视点纹理图像的插值图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量：

Image_V_L_Intrp(x，y，i)＝Image_V_L(x，y，i)；

其中，i∈{1，2，3}，Image_V_L是左视点纹理图像的旋转图像，Image_V_L_Intrp是左视点纹理图像的插值图像，Image_V_L_Intrp(x，y，1)、Image_V_L_Intrp(x，y，2)和Image_V_L_Intrp(x，y，3)分别表示左视点纹理图像的插值图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

1)对左视点纹理图像的旋转图像中每个象素点，根据相临象素的亮度值，计算插值因子：

$F\_L(x,y)=\underset{\underset{y-1\≤n\≤y+1}{x-1\≤m\≤x+1}}{\mathrm{\Σ}}\mathrm{\δ}(\mathrm{Image}\_V\_L(m,n,i));$

其中，Image_V_L是左视点纹理图像的旋转图像，Image_V_L(m，n，i)是相邻象素的亮度值，δ(Image_V_L(m，n，i))是冲击函数，F_L(x，y)是左视点纹理图像的旋转图像中图像坐标(x，y)处象素点的插值因子。

m)对左视点纹理图像的旋转图像中每个象素点，根据象素点的插值因子，进行自适应插值，具体步骤如下：

如果F_L(x，y)小于或者等于5，则不对当前象素点进行插值；如果F_L(x，y)大于5，则根据如下公式对当前象素点插值：

$\mathrm{Image}\_V\_L\_\mathrm{Intrp}(x,y,i)=(\underset{\underset{y-1\≤n\≤y+1}{x-1\≤m\≤x+1}}{\mathrm{\Σ}}\mathrm{Image}\_V\_L(m,n,i))/F\_L(x,y);$

其中，i∈{1，2，3}，Image_V_L是左视点纹理图像的旋转图像，Image_V L(m，n，i)是相邻象素的亮度值，F_L(x，y)是左视点纹理图像的旋转图像中图像坐标(x，y)处象素点的插值因子，Image_V_L_Intrp是左视点纹理图像的插值图像，Image_V_L_Intrp(x，y，1)、Image_V_L_Intrp(x，y，2)和Image_V_L_Intrp(x，y，3)分别表示左视点纹理图像的插值图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。；

所述的对右视点纹理图像的旋转图像进行自适应插值，得到右视点纹理图像的插值图像步骤：

n)根据右视点纹理图像的旋转图像，设置右视点纹理图像的插值图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量：

Image_V_R_Intrp(x，y，i)＝Image_V_R(x，y，i)；

其中，i∈{1，2，3}，Image_V_R是右视点纹理图像的旋转图像，Image_V_R_Intrp是右视点纹理图像的插值图像，Image_V_R_Intrp(x，y，1)、Image_V_R_Intrp(x，y，2)和Image_V_R_Intrp(x，y，3)分别表示右视点纹理图像的插值图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

o)对右视点纹理图像的旋转图像中每个象素点，根据相临象素的亮度值，计算插值因子：

$F\_R(x,y)=\underset{\underset{y-1\≤n\≤y+1}{x-1\≤m\≤x+1}}{\mathrm{\Σ}}\mathrm{\δ}(\mathrm{Image}\_V\_R(m,n,i));$

其中，Image_V_R是右视点纹理图像的旋转图像，Image_V_R(m，n，i)是相邻象素的亮度值，δ(Image_V_R(m，n，i))是冲击函数，F_R(x，y)是右视点纹理图像的旋转图像中图像坐标(x，y)处象素点的插值因子。

p)对右视点纹理图像的旋转图像中每个象素点，根据象素点的插值因子，进行自适应插值，具体步骤如下：

如果F_R(x，y)小于或者等于5，则不对当前象素点进行插值；如果F_R(x，y)大于5，则根据如下公式对当前象素点插值：

$\mathrm{Image}\_V\_R\_\mathrm{Intrp}(x,y,i)=(\underset{\underset{y-1\≤n\≤y+1}{x-1\≤m\≤x+1}}{\mathrm{\Σ}}\mathrm{Image}\_V\_R(m,n,i))/F\_R(x,y);$

其中，i∈{1，2，3}，Image_V_R是右视点纹理图像的旋转图像，Image_V_R(m，n，i)是相邻象素的亮度值，F_R(x，y)是右视点纹理图像的旋转图像中图像坐标(x，y)处象素点的插值因子，Image_V R_Intrp是右视点纹理图像的插值图像，Image_V_R_Intrp(x，y，1)、Image_V_R_Intrp(x，y，2)和Image_V_R_Intrp(x，y，3)分别表示右视点纹理图像的插值图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

所述的根据左视点纹理图像的插值图像，对右视点纹理图像的插值图像进行重叠式填充，得到虚拟视点图像步骤：

q)根据右视点纹理图像的插值图像，设置虚拟视点图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量：

Image_V(x，y，i)＝Image_V_R_Intrp(x，y，i)；

其中，i∈{1，2，3}，Image_V_R_Intrp是右视点纹理图像的插值图像，Image_V是虚拟视点图像，Image_V(x，y，1)、Image_V(x，y，2)和Image_V(x，y，3)分别表示虚拟视点图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

r)对图像右视点纹理图像的插值图像中亮度值为0的象素点，根据下列式子进行重叠式填充：

Image_V(x，y，i)＝Image_V_R_Intrp(x，y，i)；

Image_V(x-1，y，i)＝Image_V_R_Intrp(x-1，y，i)；

Image_V(x-2，y，i)＝Image_V_R_Intrp(x-2，y，i)；

Image_V(x+1，y，i)＝Image_V_R_Intrp(x+1，y，i)；

Image_V(x+2，y，i)＝Image_V_R_Intrp(x+2，y，i)；

其中，_i∈{1，2，3}，Image_V_R_Intrp是左视点纹理图像的插值图像，Image_V是虚拟视点图像，Image_V(x，y，1)、Image_V(x，y，2)和Image_V(x，y，3)分别表示虚拟视点图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

物体之间遮挡和象素坐标的量化误差严重影响虚拟视点图像绘制的质量。本发明通过自适应插值和重叠式填充很好地抑制了遮挡和量化误差所产生的噪声，提高了虚拟视点图像绘制的质量。

附图说明

图1是立体电视系统中虚拟视点图像绘制的方法示意图；

图2是左视点深度图；

图3是左视点纹理图；

图4是右视点深度图；

图5是右视点纹理图；

图6是左视点纹理图的插值图像；

图7是右视点纹理图的插值图像；

图8是本发明绘制的虚拟视点图像，

具体实施方式

图1给出了本发明的结构示意图。本发明提供了一种立体电视系统中虚拟视点图像绘制的方法。它包括如下步骤：

步骤1，根据左视点深度图像，把左视点纹理图像旋转到虚拟视点，得到左视点纹理图像的旋转图像步骤：

a)把左视点纹理图像的旋转图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量都设置为0；

b)根据下列式子，计算从左视点到虚拟视点的旋转矩阵：

L_to_V_PP＝V_A×V_E×(L_E^-1)×(L_A^-1)；

其中，L_A和L_E分别是左视点相机的内参和外参，V_A和V_E分别是用户指定的虚拟视点相机的内参和外参，L_to_V_PP是从左视点到虚拟视点的旋转矩阵。

c)根据下列式子，计算左视点深度图像中每个象素的深度值：

L_Zc(x，y)＝(255×MaxZ×MinZ)/(D_L(x，y，1)×(MaxZ-MinZ)+255×MinZ)；

其中，D_L(x，y，1)是左视点深度图像中图像坐标(x，y)处象素点的亮度值，MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度，L_Zc(x，y)是左视点深度图像中图像坐标(x，y)处象素点的深度值。

如果深度图像中象素点的亮度为0，表示该象素点距离世界坐标系中原点的距离为MaxZ；如果深度图像中象素点的亮度为255，表示该象素点距离世界坐标系中原点的距离为MinZ。

d)根据下列式子，计算左视点纹理图像中每个象素点旋转到虚拟视点后的图像坐标，得到从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数：

$\left[\begin{array}{c}L\_\mathrm{to}\_V\_\mathrm{Xc}\\ L\_\mathrm{to}\_V\_\mathrm{Yc}\\ L\_\mathrm{to}\_V\_\mathrm{Zc}\\ 1\end{array}\right]=L\_\mathrm{to}\_V\_\mathrm{PP}\×\left[\begin{array}{c}x\×L\_\mathrm{Zc}(x,y)\\ y\×L\_\mathrm{Zc}(x,y)\\ L\_\mathrm{Zc}(x,y)\\ 1\end{array}\right];$

L_to_V_x(x，y)＝clipX(L_to_V_Xc/L_to_V_Zc)；

L_to_V_y(x，y)＝clipY(L_to_V_Yc/L_to_V_Zc)；

clipX(x)＝min(Width-1，max(0，x))；clipY(x)＝min(Hight-1，max(0，y))；

其中，x和y分别是左视点纹理图像中当前象素点的横坐标和纵坐标，clipX(x)和clipY(y)分别是x方向和y方向的修剪函数，Width和Hight分别为深度图像的宽度和高度，L_to_V_PP是从左视点到虚拟视点的旋转矩阵，L_to_V_x(x，y)和L_to_V_y(x，y)分别是从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数；

e)根据下列式子，计算左视点纹理图像的旋转图像：

Image_V_L(L_to_V_x(x，y)，L_to_V_y(x，y，i)＝Image_L(x，y，i)；

其中，i∈{1，2，3}，Image_L是左视点纹理图像，L_to_V_x(x，y)和L_to_V_y(x，y)分别是从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数，Image_V_L是左视点纹理图像的旋转图像，Image_V_L(x，y，1)、Image_V_L(x，y，2)和Image_V_L(x，y，3)分别表示左视点纹理图像的旋转图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

图2是左视点深度图像，图3左视点纹理图像。

步骤2，根据右视点深度图像，把右视点纹理图像旋转到虚拟视点，得到右视点纹理图像的旋转图像步骤：

f)把右视点纹理图像的旋转图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量都设置为0；

g)根据下列式子，计算从右视点到虚拟视点的旋转矩阵：

R_to_V_PP＝V A*V E*R_E^-1)*(R_A^-1)；

其中，R_A和R_E分别是右视点相机的内参和外参，V_A和V_E分别是用户指定的虚拟视点相机的内参和外参，R_to_V_PP是从右视点到虚拟视点的旋转矩阵；

h)根据下列式子，计算右视点深度图像中每个象素的深度值：

R_Zc(x，y)＝(255×MaxZ×MinZ)/(D_R(x，y，1)×(MaxZ-MinZ)+255×MinZ)；

其中，D_R(x，y，1)是右视点深度图像中图像坐标(x，y)处象素点的亮度值，MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度，R_Zc(x，y)是右视点深度图像中图像坐标(x，y)处象素点的深度值。

i)根据下列式子，计算右视点纹理图像中每个象素点旋转到虚拟视点后的图像坐标，得到从右视点到虚拟视点的横坐标映射函数和纵坐标映射函数：

$\left[\begin{array}{c}R\_\mathrm{to}\_V\_\mathrm{Xc}\\ R\_\mathrm{to}\_V\_\mathrm{Yc}\\ R\_\mathrm{to}\_V\_\mathrm{Zc}\\ 1\end{array}\right]=R\_\mathrm{to}\_V\_\mathrm{PP}\×\left[\begin{array}{c}x\×R\_\mathrm{Zc}(x,y)\\ y\×R\_\mathrm{Zc}(x,y)\\ R\_\mathrm{Zc}(x,y)\\ 1\end{array}\right];$

R_to_V_x(x，y)＝clipX(R_to_V_Xc/R_to_V_Zc)；

R_to_V_y(x，y)＝clipY(R_to_V_Yc/R_to_V_Zc)；

clipX(x)＝min(Width-1，max(0，x))；clipY(x)＝min(Hight-1，max(0，y))；

其中，x和y分别是右视点纹理图像中当前象素点的横坐标和纵坐标，clipX(x)和clipY(x)分别是x方向和y方向的修剪函数，Width和Hight分别为深度图像的宽度和高度，R_to_V_PP是从右视点到虚拟视点的旋转矩阵，R_to_V_x(x，y)和R_to_V_y(x，y)分别是从右视点到虚拟视点的横坐标映射函数和纵坐标映射函数；

j)根据下列式子，计算右视点纹理图像的旋转图像：

Image_V_R(R_to_V_x(x，y)，R_to_V_y(x，y，i)＝Image_R(x，y，i)；

其中，i∈{1，2，3}，Image_R是右视点纹理图像，R_to_V_x(x，y)和R_to_V_y(x，y)分别是从右视点到虚拟视点的横坐标映射函数和纵坐标映射函数，Image_V_R是右视点纹理图像的旋转图像，Image_V_R(x，y，1)、Image_V_R(x，y，2)和Image_V_R(x，y，3)分别表示右视点纹理图像的旋转图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

图4是右视点深度图像，图5右视点纹理图像。

步骤3，对左视点纹理图像的旋转图像进行自适应插值，得到左视点纹理图像的插值图像步骤：

k)根据左视点纹理图像的旋转图像，设置左视点纹理图像的插值图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量：

Image_V_L_Intrp(x，y，i)＝Image_V_L(x，y，i)；

其中，i∈{1，2，3}，Image_V_L是左视点纹理图像的旋转图像，Image_V_L_Intrp是左视点纹理图像的插值图像，Image_V_L_Intrp(x，y，1)、Image_V_L_Intrp(x，y，2)和Image_V_L_Intrp(x，y，3)分别表示左视点纹理图像的插值图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

1)对左视点纹理图像的旋转图像中每个象素点，根据相临象素的亮度值，计算插值因子：

$F\_L(x,y)=\underset{\underset{y-1\≤n\≤y+1}{x-1\≤m\≤x+1}}{\mathrm{\Σ}}\mathrm{\δ}(\mathrm{Image}\_V\_L(m,n,i));$

其中，Image_V_L是左视点纹理图像的旋转图像，Image_V_L(m，n，i)是相邻象素的亮度值，δ(Image_V_L，(m，n，i))是冲击函数，F_ L(x，y)是左视点纹理图像的旋转图像中图像坐标(x，y)处象素点的插值因子。

m)对左视点纹理图像的旋转图像中每个象素点，根据象素点的插值因子，进行自适应插值，具体步骤如下：

如果F_L(x，y)小于或者等于5，则不对当前象素点进行插值；如果F_L(x，y)大于5，则根据如下公式对当前象素点插值：

$\mathrm{Image}\_V\_L\_\mathrm{Intrp}(x,y,i)=(\underset{\underset{y-1\≤n\≤y+1}{x-1\≤m\≤x+1}}{\mathrm{\Σ}}\mathrm{Image}\_V\_L(m,n,i))/F\_L(x,y);$

其中，i∈{1，2，3}，Image_V_L是左视点纹理图像的旋转图像，Image_V_L(m，n，i)是相邻象素的亮度值，F_L(x，y)是左视点纹理图像的旋转图像中图像坐标(x，y)处象素点的插值因子，Image_V_L_Intrp是左视点纹理图像的插值图像，Image_V_L_Intrp(x，y，1)、Image_V_L_Intrp(x，y，2)和Image_V_L_Intrp(x，y，3)分别表示左视点纹理图像的插值图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。；

步骤4，对右视点纹理图像的旋转图像进行自适应插值，得到右视点纹理图像的插值图像步骤：

n)根据右视点纹理图像的旋转图像，设置右视点纹理图像的插值图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量：

Image_V_R_Intrp(x，y，i)＝Image_V_R(x，y，i)；

其中，i∈{1，2，3}，Image_V_R是右视点纹理图像的旋转图像，Image_V_R_Intrp是右视点纹理图像的插值图像，Image_V_R_Intrp(x，y，1)、Image_V_R_Intrp(x，y，2)和Image_V_R_Intrp(x，y，3)分别表示右视点纹理图像的插值图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

o)对右视点纹理图像的旋转图像中每个象素点，根据相临象素的亮度值，计算插值因子：

$F\_R(x,y)=\underset{\underset{y-1\≤n\≤y+1}{x-1\≤m\≤x+1}}{\mathrm{\Σ}}\mathrm{\δ}(\mathrm{Image}\_V\_R(m,n,i));$

其中，Image_V_R是右视点纹理图像的旋转图像，Image_V_R(m，n，i)是相邻象素的亮度值，δ(Image_V_R(m，n，i)是冲击函数，F_R(x，y)是右视点纹理图像的旋转图像中图像坐标(x，y)处象素点的插值因子。

p)对右视点纹理图像的旋转图像中每个象素点，根据象素点的插值因子，进行自适应插值，具体步骤如下：

如果F_R(x，y)小于或者等于5，则不对当前象素点进行插值；如果F_R(x，y)大于5，则根据如下公式对当前象素点插值：

$\mathrm{Image}\_V\_R\_\mathrm{Intrp}(x,y,i)=(\underset{\underset{y-1\≤n\≤y+1}{x-1\≤m\≤x+1}}{\mathrm{\Σ}}\mathrm{Image}\_V\_R(m,n,i))/F\_R(x,y);$

其中，i∈{1，2，3}，Image_V_R是右视点纹理图像的旋转图像，Image_V_R(m，n，i)是相邻象素的亮度值，F_R(x，y)是右视点纹理图像的旋转图像中图像坐标(x，y)处象素点的插值因子，Image_V_R_Intrp是右视点纹理图像的插值图像，Image_V_R_Intrp(x，y，1)、Image_V_R_Intrp(x，y，2)和Image_V_R_Intrp(x，y，3)分别表示右视点纹理图像的插值图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

步骤5，根据左视点纹理图像的插值图像，对右视点纹理图像的插值图像进行重叠式填充，得到虚拟视点图像步骤：

q)根据右视点纹理图像的插值图像，设置虚拟视点图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量：

Image_V(x，y，i)＝Image_V_R_Intrp(x，y，i)；

其中，i∈{1，2，3}，Image_V_R_Intrp是右视点纹理图像的插值图像，Image_V是虚拟视点图像，Image_V(x，y，1)、Image_V(x，y，2)和Image_V(x，y，3)分别表示虚拟视点图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

r)对图像右视点纹理图像的插值图像中亮度值为0的象素点，根据下列式子进行重叠式填充：

Image_V(x，y，i)＝Image_V_R_Intrp(x，y，i)；

Image_V(x-1，y，i)＝Image_V_R_Intrp(x-1，y，i)；

Image_V(x-2，y，i)＝Image_V_R_Intrp(x-2，y，i)；

Image_V(x+1，y，i)＝Image_V_R_Intrp(x+1，y，i)；

Image_V(x+2，y，i)＝Image_V_R_Intrp(x+2，y，i)；

其中，i∈{1，2，3}，Image_V_R_Intrp是左视点纹理图像的插值图像，Image_V是虚拟视点图像，Image_V(x，y，1)、Image_V(x，y，2)和Image_V(x，y，3)分别表示虚拟视点图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

物体之间遮挡和象素坐标的量化误差严重影响虚拟视点图像绘制的质量。本发明通过自适应插值和重叠式填充很好地抑制了遮挡和量化误差所产生的噪声，提高了虚拟视点图像绘制的质量。

图8是本发明绘制的虚拟视点图像；

物体之间遮挡和象素坐标的量化误差严重影响虚拟视点图像绘制的质量。本发明通过自适应插值和重叠式填充很好地抑制了遮挡和量化误差所产生的噪声，提高了虚拟视点图像绘制的质量。

Claims (6)

1.一种立体电视系统中虚拟视点图像绘制的方法，其特征在于包括如下步骤：

1)根据左视点深度图像，把左视点纹理图像旋转到虚拟视点，得到左视点纹理图像的旋转图像；

2)根据右视点深度图像，把右视点纹理图像旋转到虚拟视点，得到右视点纹理图像的旋转图像；

3)对左视点纹理图像的旋转图像进行自适应插值，得到左视点纹理图像的插值图像；

4)对右视点纹理图像的旋转图像进行自适应插值，得到右视点纹理图像的插值图像；

5)根据左视点纹理图像的插值图像，对右视点纹理图像的插值图像进行重叠式填充，得到虚拟视点图像。

2.根据权利要求1所述的一种立体电视系统中虚拟视点图像绘制的方法，其特征在于，所述的根据左视点深度图像，把左视点纹理图像旋转到虚拟视点，得到左视点纹理图像的旋转图像步骤：

a)把左视点纹理图像的旋转图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量都设置为0；

b)计算从左视点到虚拟视点的旋转矩阵；

c)计算左视点深度图像中每个象素的深度值；

d)计算左视点纹理图像中每个象素点旋转到虚拟视点后的图像坐标，得到从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数；

e)根据下列式子，计算左视点纹理图像的旋转图像：

Image_V_L(L_to_V_x(x，y)，L_to_V_y(x，y)，i)＝Image_L(x，y，i)；

其中，i∈{1，2，3}，Image_L是左视点纹理图像，L_to_V_x(x，y)和L_to_V_y(x，y)分别是从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数，Image_V_L是左视点纹理图像的旋转图像，Image_V_L(x，y，1)、Image_V_L(x，y，2)和Image_V_L(x，y，3)分别表示左视点纹理图像的旋转图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

3.根据权利要求1所述的一种立体电视系统中虚拟视点图像绘制的方法，其特征在于，所述的根据右视点深度图像，把右视点纹理图像旋转到虚拟视点，得到右视点纹理图像的旋转图像步骤：

f)把右视点纹理图像的旋转图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量都设置为0；

g)计算从右视点到虚拟视点的旋转矩阵；

h)计算右视点深度图像中每个象素的深度值；

i)计算右视点纹理图像中每个象素点旋转到虚拟视点后的图像坐标，得到从右视点到虚拟视点的横坐标映射函数和纵坐标映射函数；

j)根据下列式子，计算旋转后的图像：

Image_V_R(R_to_V_x(x，y)，R_to_V_y(x，y)，i)＝Image_R(x，y，i)；

其中，i∈{1，2，3}，Image_R是右视点纹理图像，R_to_V_x(x，y)和R_to_V_y(x，y)分别是右左视点到虚拟视点的横坐标映射函数和纵坐标映射函数，Image_V_R是右视点纹理图像的旋转图像，Image_V_R(x，y，1)、Image_V_R(x，y，2)和Image_V_R(x，y，3)分别表示右视点纹理图像的旋转图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

4.根据权利要求1所述的一种立体电视系统中虚拟视点图像绘制的方法，其特征在于，所述的对左视点纹理图像的旋转图像进行自适应插值，得到左视点纹理图像的插值图像步骤：

k)根据左视点纹理图像的旋转图像，设置左视点纹理图像的插值图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量；

l)对左视点纹理图像的旋转图像中每个象素点，根据相临象素的亮度值，计算插值因子；

m)对左视点纹理图像的旋转图像中每个象素点，根据当前象素点的插值因子，进行自适应插值。

5.根据权利要求1所述的一种立体电视系统中虚拟视点图像绘制的方法，其特征在于，所述的对右视点纹理图像的旋转图像进行自适应插值，得到右视点纹理图像的插值图像步骤：

n)根据右视点纹理图像的旋转图像，设置右视点纹理图像的插值图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量；

o)对右视点纹理图像的旋转图像中每个象素点，根据相临象素的亮度值，计算插值因子；

p)对右视点纹理图像的旋转图像中每个象素点，根据当前象素点的插值因子，进行自适应插值。

6.根据权利要求1所述的一种立体电视系统中虚拟视点图像绘制的方法，其特征在于，所述的根据左视点纹理图像的插值图像，对右视点纹理图像的插值图像进行重叠式填充，得到虚拟视点图像步骤：

q)根据右视点纹理图像的旋转图像，设置虚拟视点图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量；

r)对图像右视点纹理图像的插值图像中亮度值为0的象素点，根据下列式子进行重叠式填充：

Image_V(x，y，i)＝Image_V_L_Intrp(x，y，i)；

Image_V(x-1，y，i)＝Image_V_L_Intrp(x-1，y，i)；

Image_V(x-2，y，i)＝Image_V_L_Intrp(x-2，y，i)；

Image_V(x+1，y，i)＝Image_V_L_Intrp(x+1，y，i)；

Image_V(x+2，y，i)＝Image_V_L_Intrp(x+2，y，i)；

其中，i∈{1，2，3}，Image_V_L_Intrp是左视点纹理图像的插值图像，Image_V是虚拟视点图像，Image_V(x，y，1)、Image_V(x，y，2)和Image_V(x，y，3)分别表示虚拟视点图像中图像坐标(x，y)处象素点的亮度分量、蓝色色度分量和红色色度分量。

Images