CN104284177A - 会聚立体图像视差控制方法 - Google Patents

Abstract

本发明属于图像处理技术及立体成像领域，为依据立体显示原理和坐标系间的映射关系，实现会聚摄像机阵列法获得的立体视图的零视差控制区域，在自由立体显示器上显示时获得逼真的三维立体显示效果，为此，本发明采取的技术方案是，会聚立体图像视差控制方法，包括如下步骤：1)使用会聚摄像机阵列法获取立体图像，并选定零视差点；2)基于相机坐标系、世界坐标系和计算机坐标系间的映射关系，计算参考视点的零视差点在其他视点中的对应点坐标；3)基于映射匹配点计算会聚立体图像视差调整值；4)实现会聚立体图像零视差控制。本发明主要应用于图像处理。

Description

会聚立体图像视差控制方法

技术领域

本发明属于图像处理技术及立体成像领域，涉及一种针对会聚摄像机阵列法所获得的立体图像进行视差控制的方法。

技术背景

近年来，3D显示技术得到了较快的发展。自由立体显示不需要佩戴3D眼镜等设备就可以使观察者得到较好的深度感知。在立体显示设备再现真实场景时,立体图像中视差的大小决定他们在视网膜上成像时位差的大小,从而决定了对物体深度的感知程度。因此,视差是立体视觉中的重要因素。根据物体的远近程不同，通常把视差分为3种类型正视差、零视差、负视差。场景中具有零视差的物体，在3D显示时位于屏幕上；位于零视差后方的物体，具有凹进屏幕的效果，其具有正视差；位于零视差前方的物体，具有凸出屏幕的效果，其具有负视差。

会聚法获取的立体图像同时具有正负水平视差，显示时可获得既有凹进屏幕内又有凸出屏幕外的三维效果。但是会聚法得到的立体图像有一定的深度范围限制，因此有必要在会聚摄像机阵列法的基础上，研究会聚立体图像零视差控制方法。

目前国内、外提出的各种立体图像控制方法，大都是针对双目立体视觉对立体图像对进行控制，以消除其垂直视差，针对会聚摄像机阵列法获得的多视点立体图像进行水平视差的控制研究较少。Kwon提出了一种利用视差信息的双目自由立体摄像机的视差控制方法，他利用左右两幅图像中心物体的匹配提取视差信息，利用两个相机间的发动机调整相机距离和角度，从而实现视差控制。但是他们没有考虑到多视点立体图像的视差控制，并且对硬件的操作也较为复杂。邓欢提出对立体图像进行平移操作，改变视差范围的方法，使得立体图像中兼顾正负水平视差。但是此方法只考虑了平行摄像机阵列法获得的立体视图，仅适用于调整平行相机拍摄的具有固定深度的场景。

发明内容

为了克服现有技术的不足，本发明旨在依据立体显示原理和坐标系间的映射关系，实现会聚摄像机阵列法获得的立体视图的零视差控制区域，在自由立体显示器上显示时获得逼真的三维立体显示效果，为此，本发明采取的技术方案是，会聚立体图像视差控制方法，包括如下步骤：

1)使用会聚摄像机阵列法获取立体图像，并选定零视差点：设会聚摄像机阵列法获取的各视点视图依次为视点1，视点2…视点n；选择1个视点作为参考视点，并将其中心像素点设置为零视差点；

2)基于相机坐标系、世界坐标系和计算机坐标系间的映射关系，计算参考视点的零视差点在其他视点中的对应点坐标；

3)基于映射匹配点计算会聚立体图像视差调整值：定义参考视点零视差点的坐标为(x_r,y_r)，其对应点的坐标为(x_i,y_i)，其中，r表示参考视点，i表示第个i视点；视差值可由下式计算：

p_ir＝x_r-x_i；

4)以参考视点中心像素点为基准，基于视差调整值平移立体图像，实现会聚立体图像零视差控制。

步骤2)具体为：首先，采用3D warping技术将位于相机坐标系中的参考视点零视差点映射到世界坐标系中；参考视点的零视差点坐标定义为m＝[x,y,1]^T，其在世界坐标系中的坐标定义为M＝[X,Y,Z]^T，二者关系可由下式表示，其中s是常量，P是相机参数，上标T表示转置：

sm＝PM

然后，利用零视差点的深度和世界坐标系与计算机坐标系间的转化关系，将参考视点零视差点的世界坐标，映射到计算机坐标，从而得到参考视点零视差点在其他视点中的对应点坐标。

与已有技术相比，本发明的技术特点与效果：

发明能根据需求调整会聚立体图像的零视差点及视差范围，能使立体图像的正负视差更明显，使合成图像在显示时能够观察到较为明显的凸出屏幕外和凹进屏幕内的效果。

附图说明

图1给出了使用本发明方法前ballet序列直接合成的立体合成图像结果。

图2给出了使用本发明方法后ballet序列立体合成图像的结果。

图3给出了本发明方法的流程图。

具体实施方式

为克服现有技术的不足，本发明依据立体视觉视差原理，实现基于映射的立体图像零视差控制控制，具体的技术方案分为下列步骤：

1：使用会聚摄像机阵列法获取立体图像，并选定零视差点。

设会聚摄像机阵列法获取的各视点视图依次为视点1，视点2…视点n；选择1个视点作为参考视点，并将其中心像素点设置为零视差点。

2:基于相机坐标系、世界坐标系和计算机坐标系间的映射关系，计算参考视点的零视差点在其他视点中的对应点坐标。

首先，采用3D warping技术将位于相机坐标系中的参考视点零视差点映射到世界坐标系中。参考视点的零视差点坐标定义为m＝[x,y,1]^T，其在世界坐标系中的坐标定义为M＝[X,Y,Z]^T，二者关系可由下式表示，其中s是常量：

sm＝PM

然后，利用零视差点的深度和世界坐标系与计算机坐标系间的转化关系，将参考视点零视差点的世界坐标，映射到计算机坐标，从而得到参考视点零视差点在其他视点中的对应点坐标。

3:基于映射匹配点计算会聚立体图像视差调整值。

由于每个会聚摄像机的内外参数不同，所以参考视点中零视差点在其他视点中的对应点坐标不同。定义参考视点零视差点的坐标为(x_r,y_r)，其对应点的坐标为(x_i,y_i)。其中，r表示参考视点，i表示第个i视点。视差值可由下式计算：

p_ir＝x_r-x_i

4:以参考视点中心像素点为基准，基于视差调整值平移立体图像，实现会聚立体图像零视差控制。

通过平移实现视差控制后，立体图像中将存在较为明显的零视差、正视差及负视差区域，在3D显示设备上显示时，零视差区域较为清晰。

下面通过八视点立体图像控制说明本专利提出的基于映射的多视点立体图像零视差控制方法的实施过程。

1：使用会聚摄像机阵列法获取立体图像，并选定零视差点。

首先,使用会聚摄像机阵列法获取多视点立体图像，将得到的各视点视图依次设为视点1，视点2…视点8，选择1个视点作为参考视点。然后，根据设备及观测需求设定参考视点的中心点为零视差点。在多视点立体显示设备上显示时，零视差点的位置位于屏幕上。选择的零视差点将作为映射步骤确定对应点的基础。

2:基于相机坐标系、世界坐标系和计算机坐标系间的映射关系，计算参考视点的零视差点在其他视点中的对应点坐标。将原先用于视点合成的3D warping运用到寻找零视差点在其他多视点中的匹配点上，提高匹配精度，找到各视点的零视差点位置。利用参考视点的纹理图和深度图，并结合3D warping方法，将参考视点的零视差点的相机坐标映射到世界坐标系中。通过世界坐标系到计算机坐标系的映射关系，得到零视差点在其他视点中的对应点坐标。

3D warping利用世界坐标和相机坐标间的关系，将图像中的点映射到空间，再由空间映射到另一视点平面，以此将零视差点投射到其他视点平面上。设物体在相机平面的坐标为m，在世界坐标系中的坐标为M，则二者的关系为：sm＝PM，平面坐标和世界坐标的关系可以用下式表示：

$s\·\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\left[\begin{array}{ccc}{f}_u& \mathrm{\γ}& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right]\·\begin{array}{c}\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\end{array}\right]\end{array}\·\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]$

其中s是一个常数，f_u和f_v表示u和v坐标轴的相机焦距，γ是斜向参数，(u₀,v₀)是主点坐标，r_ij是旋转参数，组合后表示方向矩阵，t_i表示位置，m＝[x,y,1]^T，M＝[X,Y,Z]^T.根据(5),进一步推导出零视差点到世界坐标系坐标以及世界坐标系到其对应点计算机坐标系坐标之间的转换关系：

1)相机坐标系到世界坐标系的的映射：

$\left[\begin{array}{c}u\\ v\\ w\end{array}\right]=\·\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]{\left[\begin{array}{ccc}{f}_u& \mathrm{\γ}& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right]}^{-1}\·\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\·d+\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right]$

2)世界坐标系到计算机坐标系的映射：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right]=\left[\begin{array}{ccc}{f^{\′}}_u& r^{\′}& {u^{\′}}_0\\ 0& {f^{\′}}_v& {v^{\′}}_0\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{ccc}{r^{\′}}_{11}& {r^{\′}}_{12}& {r^{\′}}_{13}\\ {r^{\′}}_{21}& {r^{\′}}_{22}& {r^{\′}}_{23}\\ {r^{\′}}_{31}& {r^{\′}}_{32}& {r^{\′}}_{33}\end{array}\right]\·\left[\begin{array}{c}u\\ v\\ w\end{array}\right]-\left[\begin{array}{c}{t^{\′}}_1\\ {t^{\′}}_2\\ {t^{\′}}_3\end{array}\right]$

其中[x,y,1]表示参考视点中零视差点的坐标，[u,v,w]表示零视差点在世界坐标系中的坐标，d表示零视差点的深度值，[x',y',z']表示零视差点的对应点坐标。三维向量[t₁ t₂ t₃]^T和[t₁'t'₂t₃']^T分别表示零视差点在参考视点和世界坐标系中的位置。 $\left[\begin{array}{ccc}{f_u}^{\′}& {\mathrm{\γ}}^{\′}& {u_0}^{\′}\\ 0& {f_v}^{\′}& {v_0}^{\′}\\ 0& 0& 1\end{array}\right]$ 和 $\left[\begin{array}{ccc}{r_{11}}^{\′}& {r_{12}}^{\′}& {r_{13}}^{\′}\\ {r_{21}}^{\′}& {r_{22}}^{\′}& {r_{23}}^{\′}\\ {r_{31}}^{\′}& {r_{32}}^{\′}& {r_{33}}^{\′}\end{array}\right]$ 表示转换后在世界坐标系中的相机参数。利用3D warping的对应点匹配，可以确定零视差点在其它多视点的对应位置。传统的基于分割的匹配方法得到的结果不够准确，方法相对复杂。本文利用3D warping方法，较好的解决了上述问题。

3:基于映射匹配点计算会聚立体图像视差调整值。

基于步骤2得到了零视差点在其它视点中的对应点坐标。每个会聚相机的相机参数都不同，所以得到的每个对应点横坐标之间的差值不同。不同的相机参数确保了得到的对应点坐标(x_i,y_i)的准确性。利用零视差点的坐标和对应点的坐标，可以得到不同视点的视差值：

p_ir＝x_r-x_i

其中，x_r表示参考视点中零视差点的横坐标。因为参考视点可以任意选择，其他视点位于参考视点的左右两边，所以所得视差值后会出现正负号。

4:以参考视点中心像素点为基准，基于视差调整值平移立体图像，实现会聚立体图像零视差控制。

根据步骤3得到的视差值p_ir，分别对其他视点进行对应像素平移。零视差点的对应点(x_i,y_i)都被移动到零视差点(x_r,y_r)的位置。相邻会聚多视点位置差相同，但是视点上的对应点位置差不同，这就要求利用所得视差值p_ir，分别对视点进行平移。

下面结合附图说明实验效果：

为使本发明的效果具有可比性，采用微软提供的多视点视频测试序列ballet进行实验。其分辨率为1024×768，每个视点都有对应的深度图，并且给出了相机的内参矩阵和外参矩阵。实验采用虚拟视点绘制算法绘制八幅虚拟视点，将生成的八幅虚拟视点定义为I1-I8，用于合成适合多视点自由立体显示器显示的合成视图。

图1为未使用本发明方法，直接合成的立体图像结果。图2为使用本发明方法后，合成图像的结果。红点表示选定的零视差点的位置，矩形框表示零视差点周围区域。从图中可以看到，未使用本发明方法的合成图像中红色矩形框区域都比较模糊。使用本发明方法获得的合成图像中，红色矩形框区域的零视差区域较为清晰。图像较为模糊的部分，位于零视差点前方，因此存在负水平视差；将合成视图在八视点光栅自由立体显示器上显示，视差为零的区域显示在屏幕上，具有负视差的点突出屏外，具有正视差的点凹进屏内。本发明实现了零视差点的调整，调整后的立体图像能够逼真地再现真实场景。

Claims (2)

1.一种会聚立体图像视差控制方法，其特征是，包括如下步骤：

1)使用会聚摄像机阵列法获取立体图像，并选定零视差点：设会聚摄像机阵列法获取的各视点视图依次为视点1，视点2…视点n；选择1个视点作为参考视点，并将其中心像素点设置为零视差点；

2)基于相机坐标系、世界坐标系和计算机坐标系间的映射关系，计算参考视点的零视差点在其他视点中的对应点坐标；

3)基于映射匹配点计算会聚立体图像视差调整值：定义参考视点零视差点的坐标为(x_r,y_r)，其对应点的坐标为(x_i,y_i)，其中，r表示参考视点，i表示第个i视点，视差值可由下式计算：

p_ir＝x_r-x_i；

4)以参考视点中心像素点为基准，基于视差调整值平移立体图像，实现会聚立体图像零视差控制。

2.如权利要求1所述的会聚立体图像视差控制方法，其特征是，步骤2)具体为：

首先，采用3D warping技术将位于相机坐标系中的参考视点零视差点映射到世界坐标系中；参考视点的零视差点坐标定义为m＝[x,y,1]^T，其在世界坐标系中的坐标定义为M＝[X,Y,Z]^T，二者关系可由下式表示，其中s是常量，P是相机参数，上标T表示转置：

sm＝PM

然后，利用零视差点的深度和世界坐标系与计算机坐标系间的转化关系，将参考视点零视差点的世界坐标，映射到计算机坐标，从而得到参考视点零视差点在其他视点中的对应点坐标。