CN101383051A - 一种基于图像重投影的视图合成方法 - Google Patents

Abstract

本发明公开了一种基于图像重投影的视图合成方法，该方法适用于摄像机绕光心旋转时虚拟视图的合成。本发明用两台摄像机在不同视点拍摄同一场景得到两幅参考图像，首先利用单应矩阵及一幅参考图像合成目标图像的一部分，然后利用三维图像变换技术，根据另一幅参考图像生成目标图像的剩余部分，得到目标图像。本发明的特点是将目标视图分为两部分来合成，其中一部分的合成最大限度地利用了单应矩阵的优良性质，提高了合成视图的质量。同时，另一部分的合成采用了三维图像变换技术生成目标图像的剩余部分，从而实现了摄像机绕光心旋转的虚拟视图的合成。

Description

一种基于图像重投影的视图合成方法

技术领域

本发明涉及基于图像的绘制技术领域，具体来讲，涉及一种基于图像重投影的视图合成方法。

背景技术

基于图像的绘制(image based rendering，IBR)是近十年来新兴的一门学科。它能够利用一系列已知的参考图像合成新视点的虚拟视图。与传统的基于三维模型的绘制(3D Model-Based Rendering，MBR)技术相比，它具有不需要复杂的3维场景建模、绘制速度快、对计算机要求不高等优点。但是单纯利用已知图像合成虚拟视图，所需处理的图像数据是非常庞大的，例如IBR中的光场绘制技术。而近几年发展起来的图像重投影技术由于引入了摄像机内、外部参数以及深度信息，降低了处理的数据量、加快了绘制速度，是IBR中比较有发展前途的一门技术。

图像重投影是指通过对任意视点的参考图像(reference image)进行投影来产生新的图像。由于图像重投影能够改变已生成的图像的视线方向，因此它在多视点图像的实时渲染、视图变形(view morphing)、图像拼接(image mosaic)等领域得到了应用。目前多数文献讨论一般情况下的图像重投影，处理起来比较复杂。如2007年International Symposium on Intelligent Signal Processing andCommunication Systems会议论文集中“ARBITRARY VIEW GENERATIONBASED ON DIBR”一文公开的视图合成方法。由于在实际应用中很多情况下摄像机只绕光心旋转，例如视频监控设备及某些云台设备的摄像机通常只绕光心旋转，因此研究这类情况的视图合成具有重要的现实意义。

发明内容

本发明的目的在于降低现有技术的复杂性，提供一种基于图像重投影的视图合成方法，该方法适用于摄像机绕光心旋转时虚拟视图的合成。

为了达到上述发明目的，本发明基于图像重投影的视图合成方法包括以下步骤：

(1)、两台摄像机在不同视点拍摄同一场景得到两幅参考图像；

(2)、利用第一幅参考图像对应的摄像机内部参数矩阵和目标图像的旋转矩阵计算出从第一幅参考图像到目标图像的单应矩阵；

(3)、利用单应矩阵将第一幅参考图像投影到目标图像，从而合成目标图像的一部分；

(4)、确定遍历第二幅参考图像像素的顺序；

(5)、根据步骤(4)确定的遍历顺序遍历第二幅参考图像的像素，利用三维图像变换方程组将这些像素投影到目标图像，得到目标图像的剩余部分，合成了目标图像，即摄像机绕光心旋转的虚拟视图。

作为进一步的改进，步骤(5)所述的将第二幅参考图像的像素点投影到目标图像，如果该像素点被投影到了步骤(3)所合成的目标图像部分的区域，则对投影像素点不作任何处理，否则将第二幅参考图像中的该像素点值拷贝到投影像素点。

本发明的特点是将目标视图分为两部分来合成，其中一部分的合成最大限度地利用了单应矩阵的优良性质，提高了合成视图的质量。同时，另一部分的合成采用了三维图像变换技术生成目标图像的剩余部分，从而实现了摄像机绕光心旋转的虚拟视图的合成。

附图说明

图1是本发明一具体实施方式的参考图像与目标图像的投影关系示意图；

图2是图1所示第一副参考图像到目标图像的视图合成过程示意图；

图3是图2所示第二副参考图像到目标图像的视图合成过程示意图；

图4是图3所示目标图像的空洞填补示意图。

具体实施方式

为更好地理解本发明，下面结合具体实施方式对本发明进行更为详细描述。在以下的描述中，当已有的现有技术的详细描述也许会淡化本发明的主题内容时，这些描述在这儿将被忽略。

图1是本发明一具体实施方式的参考图像与目标图像的投影关系示意图。

在本实施例中，两台摄像机在不同视点拍摄同一场景得到两幅参考图像I₄、I₅，光心分别为C₄和C₅，第一幅参考图像I₄对应的摄像机内部参数矩阵为K₄，旋转矩阵为R₄；第二幅参考图像I₅的内部参数矩阵为K₅，旋转矩阵为R₅。在本实施例中，两幅参考图像的分辨率都为1024*768。要合成的目标图像I_s是第一幅参考图像I₄绕其光心C₄旋转所得到的图像，其一次转动角为θ，旋转轴为Y轴。U为场景中的一点，其规范化齐次坐标为[X_w Y_w Z_w1]^T，在第二幅参考图像I₅及目标图像I_s中的对应像素点分别为u、u_s，像素点u对应的深度值为Z_u。

在本实施例中，本发明的第(2)步的具体步骤为：

(21)、计算目标图像I_s的旋转矩阵R_θ；

$R_{\mathrm{\θ}}=\left[\begin{array}{ccc}\cos \mathrm{\θ}& 0& -\sin \mathrm{\θ}\\ 0& 1& 0\\ \sin \mathrm{\θ}& 0& \cos \mathrm{\θ}\end{array}\right]$

(22)、在本实施例中，第一幅参考图像I₄的像素图像坐标系采用的是x′o′y′，而最后得到的目标图像I_s的像素图像坐标系采用的是xoy，因此需要计算从xoy到xo′y′的坐标变换矩阵T_oo′，在本实施例中，变换矩阵T_oo′为：

$T_{\mathrm{oo}\′}=\left[\begin{array}{ccc}1& 0& 0\\ 0& -1& 767\\ 0& 0& 1\end{array}\right]$

(23)、利用第一幅参考图像I₄对应的摄像机内部参数矩阵K₄、目标图像I_s的旋转矩阵R_θ以及坐标变换矩阵T_oo′，计算出从第一幅参考图像I₄到目标图像I_s的单应矩阵M。

$M=T_{\mathrm{oo}\′}^{-1}{K}_4{R}_{\mathrm{\θ}}{K}_4^{-1}{T}_{\mathrm{oo}\′}$

图2是图1所示第一副参考图像到目标图像的视图合成过程示意图。

在本实施例中，如图2所示，木发明的步骤(3)所述的利用单应矩阵将第一幅参考图像投影到目标图像，从而合成目标图像的一部分，采用逆向映射的方法，以避免产生空洞，具体步骤为：

(31)、将第一幅参考图像I₄的顶点坐标与单应矩阵M相乘，得到顶点在目标图像I_s中的投影的集合Verts_s，该集合Verts_s为点集；

(32)、根据集合Verts_s以及目标图像I_s的边界计算第一幅参考图像I₄在目标图像I_s中的投影构成封闭的多边形区域Polygon；

(33)、按行扫描多边形区域Polygon，利用单应矩阵M计算其中的每一个点在第一幅参考图像I₄中的对应点，将该对应点对应的像素拷贝到多边形区域Polygon中对应点的位置，从而将第一幅参考图像投影I₄到目标图像I_s中，合成目标图像I_s的一部分，即目标图像I_s中多边形区域Polygon的那部分图像。

图3是图2所示第二副参考图像到目标图像的视图合成过程示意图。

在本实施例中，如图3所示，本发明的第(4)步所述的确定遍历第二幅参考图像像素的顺序的具体步骤为：

(41)、计算第一幅参考图像I₄光心C₄在第二幅参考图像I₅中的投影e，e＝[e_x，e_y，e_z]；

(42)、根据投影e的坐标将第二幅参考图像I₅划分成若干个区域。由e_z的正负确定遍历每一个区域中的像素的顺序。若e_z>0则该极点为正极点，应按照朝向投影e的方向处理第二幅参考图像I₅中的像素；反之，则按照远离投影e的方向处理第二幅参考图像I₅中的像素。

在本实施例中，如图3所示，本发明的步骤(5)所述的根据步骤(4)确定的遍历顺序遍历第二幅参考图像的像素点，利用三维图像变换方程组将这些像素点投影到目标图像，得到目标图像的剩余部分，合成了目标图像，即摄像机绕光心旋转的虚拟视图的具体步骤为：

(51)、根据步骤(41)、(42)确定的遍历顺序遍历第二幅参考图像I₅划分出的各区域中的每一个像素点u，利用三维图像变换方程组，即

$Z_s\left[\begin{array}{c}{u}_s\\ 1/Z_s\end{array}\right]=\left[\begin{array}{cc}{K}_4{R}_{\mathrm{\θ}}{R}_4& -K_4{R}_{\mathrm{\θ}}{R}_4{C}_4\\ 0^T& 1\end{array}\right]U$

$Z_u\left[\begin{array}{c}u\\ 1/Z_u\end{array}\right]=\left[\begin{array}{cc}{K}_5{R}_5& -K_5{R}_5{C}_5\\ 0^T& 1\end{array}\right]U$

将这些像素投影到目标图像I_s中，从而得到投影像素点u_s。其中，Z_s是将投影像素点u_s变为规范化齐次坐标的比例因子；

(52)、采用“跳栅栏”算法计算投影像素点u_s是否在区域目标图像I_s中的多边形区域Polygon外。若在，则将第二幅参考图像I₅中的像素点u的像素值拷贝到投影像素点u_s，否则不作任何操作，这样就得到了目标图像I_s的剩余部分，合成了目标图像I_s，即摄像机绕光心旋转的虚拟视图。

图4是图3所示目标图像的空洞填补示意图。

如图4所示，在本实施例中，还对目标图像I₅中的多边形区域Polygon外的区域，即目标图像中I₅步骤(3)所合成的目标图像部分以外区域进行空洞填补，得到最终的目标图像I₅。具体步骤如下：

(a)、对于空洞中的一点p，搜索离p最近的上下左右四个相邻像素点p_l、p_r、p_u、p_d；

(b)、分别计算出像素点p_l、p_r、p_u、p_d到点p的距离d_l、d_r、d_u、d_d；采用式(1)计算点p的像素值的估计值E_p；

E_p＝(V(p_l)/d_l+V(p_r)/d_r+V(p_u)/d_u+V(p_d)/d_d)/(1/d_l+1/d_r+1/d_u+1/d_d)      (1)

其中，V(·)表示取点的像数值

(c)、用步骤(b)得到的估计值E_p来填充空洞点p；

(d)、若目标图像中还有空洞点，则转(a)；否则停止。

尽管上面对本发明说明性的具体实施方式进行了描述，但应当清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (6)

1、一种基于图像重投影的视图合成方法，其特征在于包括以下步骤：

(1)、两台摄像机在不同视点拍摄同一场景得到两幅参考图像；

(2)、利用第一幅参考图像对应的摄像机内部参数矩阵和目标图像的旋转矩阵计算出从第一幅参考图像到目标图像的单应矩阵；

(3)、利用单应矩阵将第一幅参考图像投影到目标图像，从而合成目标图像的一部分；

(4)、确定遍历第二幅参考图像像素的顺序；

(5)、根据步骤(4)确定的遍历顺序遍历第二幅参考图像的像素点，利用三维图像变换方程组将这些像素点投影到目标图像，得到目标图像的剩余部分，合成了目标图像，即摄像机绕光心旋转的虚拟视图。

2、根据权利要求1所述的基于图像重投影的视图合成方法，其特征在于，步骤(3)所述的利用单应矩阵将第一幅参考图像投影到目标图像，从而合成目标图像的一部分的具体步骤为：

(31)、将第一幅参考图像的顶点坐标与单应矩阵相乘，得到顶点在目标图像中的投影的集合；

(32)、根据顶点在目标图像中的投影的集合以及目标图像的边界计算第一幅参考图像在目标图像中的投影构成封闭的多边形区域；

(33)、按行扫描多边形区域，利用单应矩阵计算其中的每一个点在第一幅参考图像中的对应点，将该对应点对应的像素拷贝到多边形区域中对应点的位置，从而将第一幅参考图像投影到目标图像中，合成目标图像的一部分。

3、根据权利要求1所述的基于图像重投影的视图合成方法，其特征在于，步骤(5)所述的将第二幅参考图像的像素点投影到目标图像，如果该像素点被投影到了步骤(3)所合成的目标图像部分的区域，则对投影像素点不作任何处理，否则将第二幅参考图像中的该像素点值拷贝到投影像素点。

4、根据权利要求1所述的基于图像重投影的视图合成方法，其特征在于，还包括以下步骤：

(6)、对目标图像中步骤(3)所合成的目标图像部分以外区域进行空洞填补。

5、根据权利要求4所述的基于图像重投影的视图合成方法，其特征在于，所述的空洞填补为：

(a)、对于空洞中的一点，搜索离它最近的上下左右四个相邻像素点；

(b)、分别计算(a)中四个相邻像素点的像素值与它们到该空洞点的距离的比值，求这四个比值之和；用这个和除以四个相邻像素点的距离的倒数之和，便得到该空洞点的像素的估计值；

(c)、用步骤(b)得到的估计值来填充该空洞点；

(d)、若目标图像中还有空洞点，则转(a)；否则停止。

6、根据权利要求3所述的基于图像重投影的视图合成方法，其特征在于，所述的判断像该像素点是否被投影到了步骤(3)所合成的目标图像部分的区域，采用的是“跳栅栏”算法。

Images