CN102208113B - 一种确定参考图像像素点扫描顺序的方法 - Google Patents

Abstract

本发明公开了一种确定参考图像像素点扫描顺序的方法，在实际应用中，很多情况下是将参考图像当成左(右)视图来生成右(左)视图，即目标视图，基线与参考图像平行。本发明在McMillan提的遮挡兼容算法基础上，提供了一种三维图像变换过程中确定参考图像像素点扫描顺序的方法，解决了基线与参考图像平面平行，摄像机光心处在同一水平线上时，参考图像像素点的扫描顺序。实验表明利用本发明的方法能够得到目标图像正确的绘制顺序。

Description

一种确定参考图像像素点扫描顺序的方法

技术领域

本发明属于3D电视系统中的深度图像绘制技术领域，更为具体地讲，涉及三维图像变换过程中一种确定参考图像像素点扫描顺序的方法。

背景技术

基于深度图像绘制(depth-image-based rendering，DIBR)技术是3D电视系统中的关键技术，引起了很多研究机构的关注。传统的3D视频信号传输时需要传送左眼和右眼两个视频流，而基于DIBR技术的3D电视系统只需要传输一个视频流及对应的深度信息，从而可以减少传输带宽。

DIBR技术的核心步骤是三维图像变换(3d image warping)。三维图像变换能够将参考图像中的点投影到三维空间，再将三维空间中的点重投影到目标图像平面上，从而生成新视点视图，即目标图像。

然而在生成新视点视图时，有可能将参考图像中的几个像素点映射到目标图像的同一个点上，这就是由可见性变化所引起的“褶皱(folds)”现象。

图1是由可见性变化引起的褶皱现象示意图。

图1说明了褶皱现象是如何产生的。如图1所示，由摄像机光心c₁，c₂和点p₁确定的平面称为极平面，c₁c₂连线称为基线(baseline)，向量c₁c₂与参考图像平面、目标图像平面的交点为e₁、e₂。如果e₁、e₂在向量c₁c₂的正方向上，则称为正极点；如果e₁、e₂在向量c₁c₂的负方向上就称为负极点。极平面与参考图像平面、目标图像平面的交线L₁，L₂称为极线。通过DIBR技术，极线L₁被映射到目标图像平面上，形成极线L₂。如图1所示，当点p₂在直线p₁c₂上时，则其在目标图像平面上的投影与点p₁的投影重合，从而产生了褶皱现象。

消除褶皱现象的方法是确定参考图像中像素点的扫描顺序，以确保被其它点遮挡的点在目标图像中总是被先绘制，通常这种方法叫做从后向前(back-to-front)的方法。

传统方法是z-buffer算法，该算法需要比较每一个像素点的深度值，因而绘制速度比较慢。McMillan提出了一种遮挡兼容算法(occlusion-compatiblealgorithm)，该算法只需将目标图像对应的摄像机光心投影到参考图像上得到极点，通过极点来确定参考图像像素点的扫描顺序。由于该算法不需要比较像素点的深度值，因而处理速度快，同时极点与场景信息无关，只依赖于参考摄像机的内部参数矩阵、外部参数和目标图像对应的虚拟摄像机的光心坐标，从而处理简单。但McMillan没有针对DIBR说明各种情况下的扫描顺序。

发明内容

本发明的目的在于在遮挡兼容算法的基础上，提供一种三维图像变换过程中确定参考图像像素点扫描顺序的方法，使得极点在各种情况下，参考图像像素点的扫描顺序都可以确定。

为实现上述目的，本发明确定参考图像像素点扫描顺序的方法，其特征在于，包括以下步骤：

(1)、将目标图像I_r对应的虚拟摄像机光心投影到参考图像I_l上，得到极点e₁，将极点e₁的坐标转化为规范化齐次坐标[e_x e_y e_z 1]^T；

(2)、对坐标e_z进行判断，如果坐标e_z≠0，按照步骤(3)确定参考图像像素点扫描顺序；如果坐标e_z＝0，则按照步骤(4)确定参考图像像素点扫描顺序；

(3)、极点e₁落在参考图像平面上；

a1、根据极点e₁的坐标e_x和e_y，做直线x＝e_x、y＝e_y，将参考图像I_l分成片；

a2、根据极点e₁的坐标e_z确定各片像素点的扫描顺序：

如果坐标e_z＞0，则极点e₁为正极点，各片像素点的扫描顺序为指向极点e₁的方向；

如果坐标e_z＜0，则极点e₁为负极点，各片像素点的扫描顺序为指向极点e₁的反方向；

(4)、极点e₁与参考图像平面相交于无穷远处；

b1、如果坐标e_x＞0、坐标e_y＞0，将参考图像I_l像素点扫描顺序为从左到右，从上到下；

b2、如果坐标e_x＞0、坐标e_y＜0，参考图像I_l像素点扫描顺序为从左到右，从下到上；

b3、如果坐标e_x＜0、坐标e_y＞0，参考图像I_l像素点扫描顺序为从右到左，从上到下；

b4、如果坐标e_x＜0、坐标e_y＜0，参考图像I_l像素点扫描顺序为从右到左，从下到上；

b5、如果坐标e_x＝0、坐标e_y＞0，参考图像I_l像素点扫描顺序为从上到下，水平方向的扫描顺序没有限制；

b6、如果坐标e_x＝0、坐标e_y＜0，参考图像I_l像素点扫描顺序为从下到上，水平方向的扫描顺序没有限制；

b7、如果坐标e_x＞0、坐标e_y＝0，参考图像I_l像素点扫描顺序为从左到右，垂直方向的扫描顺序没有限制；

b8、如果坐标e_x＜0、坐标e_y＝0，参考图像I_l像素点扫描顺序为从右到左，垂直方向的扫描顺序没有限制。

本发明的发明目的是这样实现的：

遮挡兼容算法可以很好的解决由可见性变化所引起的“褶皱”问题。由于不需要比较每个像素点的深度值，计算简单，处理速度快，且与图像内容无关。在实际应用中，很多情况下是将参考图像当成左(右)视图来生成右(左)视图，即目标视图，基线与参考图像平行，且光心坐标具有形如c₂-c₁＝[c_x 0 0 1]^T的关系。本发明在McMillan提的遮挡兼容算法基础上，提供了一种三维图像变换过程中确定参考图像像素点扫描顺序的方法，解决了基线与参考图像平面平行，摄像机光心处在同一水平线上时，参考图像像素点的扫描顺序。实验表明利用本发明的方法能够得到目标图像正确的绘制顺序。

附图说明

图1是由可见性变化引起的褶皱现象示意图；

图2是由参考图像平面的图像像素坐标分割空间平面得到9个区域示意图；

图3是正极点e₁落在参考图像中的分片及扫描顺序示意图；

图4是正极点e₁落在参考图像区域2时的分片及扫描顺序示意图；

图5是正极点e₁落在参考图像区域4、5、7时的分片及扫描顺序示意图；

图6是正极点e₁落在参考图像区域1时的分片及扫描顺序示意图；

图7是正极点e₁落在参考图像区域3，6，8时的分片及扫描顺序示意图；

图8是基线与参考图像平面平行时的关系图；

图9是正极点e₁落在无穷远处时参考图像的分片及扫描顺序示意图；

图10是片的顶点坐标存储方式示意图；

图11是“ballet”序列所使用的视频采集系统设置示意图；

图12是参考图像I₅及其深度图像；

图13是按不同扫描顺序生成的新视图I₅；

图14是基线与参考图像平面平行且各摄像机光心处在同一水平线上时生成的左右视图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

如图1所示，a，b表示像素点p₁，p₂离虚拟摄像机光心c₂的距离，且a＞b。从图1中可以得出：在参考图像I_l上沿着极线L₁指向正极点e₁的方向来处理参考图像中的像素点时，离虚拟摄像机光心c₂远的像素点p₁先绘制，近的像素点p₂后绘制，因此离光心c₂近的像素点p₂的信息将覆盖远处的像素点p₁的信息，从而建立正确的可见性关系。若e₁为负极点，则在参考图像I_l上沿着极线背离负极点的方向来处理像素点。

由于所有可能产生褶皱现象的像素点都可以约束在极平面上，所有的极平面相交于基线，所有的极线相交于极点。这样只要确定极点就可以制定正确的绘制顺序。设极点e₁在参考图像I_l像素坐标系中的坐标为[e_x e_y e_z 1]^T，在光心c₁对应的摄像机坐标系下的规范化齐次坐标为[e_xc e_yc e_zc 1]^T＝[e_xc e_yc e_z 1]^T，由投影关系，可得：

$\left[\begin{array}{c}{e}_x\\ e_y\\ e_z\\ 1\end{array}\right]={\mathrm{KRc}}_2+\mathrm{KT}---\left(1\right)$

设c₂-c₁＝[c_x c_y c_z 1]^T(世界坐标系)，又c₁＝-R^-1*T，将此两式代入式(1)得：

$\left[\begin{array}{c}{e}_x\\ e_y\\ e_z\\ 1\end{array}\right]=\mathrm{KR}\{(c_2-c_1)+c_1\}+\mathrm{KT}=\mathrm{KR}\{\left[\begin{array}{c}{c}_x\\ c_y\\ c_z\\ 1\end{array}\right]+\left({-R}^{-1}T\right)\}+\mathrm{KT}=\mathrm{KR}\left[\begin{array}{c}{c}_x\\ c_y\\ c_z\\ 1\end{array}\right]---\left(2\right)$

由式(2)可得：

$\left[\begin{array}{c}{e}_{\mathrm{xc}}\\ e_{\mathrm{yc}}\\ e_z\\ 1\end{array}\right]=R\left[\begin{array}{c}{c}_x\\ c_y\\ c_z\\ 1\end{array}\right]---\left(3\right)$

从式(2)可以看出，当c_z＝0时，e_z＝0，基线与参考图像平面无交点；当c_z≠0时，基线与参考图像平面不平行，必与之有交点。

设参考图像平面的单位法向量的规范化齐次坐标为d＝[d_x d_y d_z 1]^T，由式(3)得[e_xc e_yc e_z 1]^T为向量c₁c₂通过旋转变换矩阵R作用后生成的新向量d₁的坐标，d可以看成由世界坐标系的z轴的单位向量的规范化齐次坐标d₀＝[0 0 1 1]^T经过旋转变换矩阵R生成的新向量，所以向量d₁和向量d的夹角与向量c₁c₂和向量d₀的夹角相同。若d₁和d的夹角小于90，则向量c₁c₂与参考图像平面的交点在向量c₁c₂的正方向，为正极点，此时e_z＞0；若夹角大于90°则向量c₁c₂与参考图像平面的交点在向量c₁c₂的负方向，为负极点，此时e_z＜0。

归一化极点e₁的坐标可得e₁＝[e_x/e_z e_y/e_z 1]^T。e₁的前两个坐标分量可以确定极点在参考图像平面中的位置。如图2所示，e₁可能落在参考图像平面的图像像素坐标分割空间平面得到的9个区域(region)。其中，u_min、u_max、v_min、v_max为坐标值。

当正极点e₁落在参考图像I_l中时，参考图像被分成4片(sheet)，如图3(a)所示。各片像素点的扫描顺序如图3(b)所示：sheet1按照从左到右、从上到下的顺序扫描；sheet2按照从右到左、从上到下的顺序扫描；sheet3按照从左到右、从下到上的顺序扫描；sheet4按照从右到左、从下到上的顺序扫描。负极点的扫描顺序相反。处在各个片的分界线上的像素点可以作属于与它邻接两个片中的任何一个片的像素点。例如图3(b)中分界线l上的像素点，既可以看做属于sheet2，又可以看作属于sheet4，这两种情形的绘制顺序是一样的。

当极点e₁落在2，4，5，7区域时，极点e₁的坐标将参考图像分成两个“片”——sheet1和sheet2。以极点e₁落在区域2为例，如图4(a)所示，若极点e₁是正极点，则各片像素点的扫描顺序如图4(b)所示——sheet1按照从左到右，从下到上的顺序扫描；sheet2按照从右到左，从下到上的顺序扫描，为指向极点e₁的方向；若极点e₁是负极点，则应沿相反的方向扫描。

图5分别描述了正极点e₁落在区域4，5，7时，各个片的扫描顺序，均为指向极点e₁的方向；若e₁是负极点，则扫描顺序正好相反。

当极点e₁落在1，3，6，8区域时，极点不分割参考图像，或者整个参考图像可以看作都是sheet1。以极点e₁落在区域1为例，如图6(a)所示，若极点e₁是正极点，则参考图像的绘制顺序如图6(b)所示——按照从右到左，从下到上的顺序扫描，为指向极点e₁的方向。若极点e₁是负极点，则扫描顺序正好相反。

图7分别描述了正极点e₁落在区域3，6，8时各片的扫描顺序。若e₁是负极点，则扫描顺序正好相反。

以上讨论的都是基线与参考图像平面相交的情形。当基线与参考图像平面平行时，如图8所示，根据摄像机模型有c₂-c₁＝[c_x c_y c_z 1]^T，c_z＝0，由式(2)得坐标e_z＝0。此时极点e₁与参考图像平面相交与无穷远处，不分割参考图像，且无法确定极点的极性。

为了确定扫描顺序，可做如下假设：设c_z＝Δσ，其中Δσ→0，由式(2)可得：

[e_x e_y e_z]^T＝[e_x e_yΔσ]^T                     (4)

归一化得[e_x/Δσe_y/Δσ1]^T，此时不妨设Δσ→0⁺，则为正极点，且极点e₁落在无穷远处，以e_x＞0，e_y＞0为例，此时任意两条极线L_i和L_j将平行，如9(a)所示。若e_x＞0，e_y＞0则正极点e₁的坐标为[+∞+∞ 1]^T，其扫描方向如图(b)所示：参考图像(sheet1)按照从左到右，从上到下的顺序扫描；若Δσ→0^-，则e₁为负极点，此时它的坐标为[-∞-∞ 1]^T，参考图像按照从左到右，从上到下的顺序扫描，参考图像的绘制方向与Δσ→0⁺时一致。因此下文的讨论可以用正极点来代替。

若e_x＞0，e_y＜0则正极点e₁的坐标为[+∞-∞ 1]^T，其绘制方向如图9(c)所示：参考图像(sheet1)按从左到右，从下到上的顺序扫描；类似的，可以得到当e_x＜0，e_y＞0时的绘制方向，如图9(d))以及当e_x＜0，e_y＜0时的绘制方向，如图9(e)。

下面讨论e₁落在坐标轴上的情况。若e_x＝0，e_y＞0则正极点e₁的坐标为[0+∞1]^T，落在y轴正无穷远处，极线与其y轴平行，因此参考图像(sheet1)按照应按从上到下的顺序扫描，而水平方向的扫描顺序没有限制，如图9(f)所示；类似的，可以得到其他情形的绘制顺序，分别如图(g)～(i)所示。若e_x＝0，e_y＝0，又e_z＝0，代入式(3)，可得c₂-c₁＝[0 0 0 1]^T，即视点没有变换，没有形成新的视图，因此不存在此种情况。

上述方法中，参考图像I_l的左上角的坐标约定为(0，0)，极点e₁最多将I_l分成4个片，各片以闭、开区间的形式描述，以保证分界线上的像素被确定地划到某个片。为了方便硬件实现，片的左上角顶点坐标(x_is，y_is)和右下角顶点坐标(x_id，y_id)(i＝1，2，3，4)被存储在数组中，数据类型为无符号的整型，初始值全部赋为0，如图10所示。

实例

在本实例中，采用“ballet”序列(图像分辨率1024*768)来进行实验。该序列所采用的视频采集系统如图11所示，它有8个摄像机，摄像机0，2，5，7放在圆心角为30°的圆弧上，其它摄像机依次放在圆弧的割线上。摄像机的视野(Fieldof View，FOV)为30°，该序列的数据包含了每台摄像机内部参数矩阵K_i和外部参数矩阵[R_i|T_i](0≤i≤7)。

在本实例中，将摄像机5所拍摄的图像作为参考图像虚拟摄像机4拍摄到的图像。其中摄像机4的内部参数矩阵K₄及外部参数矩阵[R₄|T₄]如式(5)和式(6)所示；摄像机5的内部参数矩阵K₅及外部参数矩阵[R₅|T₅]如式(7)和式(8)所示。

$k_4=\left[\begin{array}{ccc}1908.250000& 0.335031& 560.33600\\ 0.0& 1914.160000& 409.596000\\ 0.0& 0.0& 0.0\end{array}\right]---\left(5\right)$

$\left[R_4\right|T_4]=\left[\begin{array}{cccc}1.000000& 0.000000& 0.000000& -0.000002\\ 0.000000& 1.000000& -0.000000& 0.000006\\ 0.000000& 0.000000& 1.000000& 0.000000\end{array}\right]---\left(6\right)$

$k_5=\left[\begin{array}{ccc}1915.780000& 1.210910& 527.609000\\ 0.0& 1921.730000& 394.455000\\ 0.0& 0.0& 0.0\end{array}\right]---\left(7\right)$

$\left[R_5\right|T_5]=\left[\begin{array}{cccc}0.998175& 0.028914& -0.053000& 3.849864\\ -0.028594& 0.999567& 0.006786& 0.041657\\ 0.053173& -0.005258& 0.998570& 0.428967\end{array}\right]---\left(8\right)$

由式(6)可以看出，摄像机4的旋转变换矩阵R₄近似为3×3单位矩阵，平移变换矩阵T₄近似为3×1的零向量，根据针孔摄像机模型，摄像机4坐标基本上与世界坐标系重合。

图12为摄像机5捕获的第一帧测试图I₅，即参考图像(图(a))及其对应的深度图像D(图(b))摄像机5的光心可由c₅＝-R^-1 ₅*T₅计算得到。计算得c₅坐标为[-3.8645，-0.1507，-0.2246]^T。利用式(1)得摄像机4的光心c₄在I₅的投影e＝[7601.9，249.3，4]^T。但在标定摄像机内部参数矩阵时，“ballet”序列的图像像素坐标系采用的是x′o′y′，而最后得到的数字图像的图像像素坐标系采用的是xoy，从xoy到x′o′y′的坐标变换矩阵T_o′o如式(9)所示：

$T_{O^{\′}O}=\left[\begin{array}{ccc}1& 0& 0\\ 0& -1& 767\\ 0& 0& 1\end{array}\right]---\left(9\right)$

其中767是图像的高度减1。将极点坐标变换到坐标系xoy中得e′₁＝[7601.87，79.77，0.43]^T，e_z＞0，为正极点，参考图像的绘制顺序为指向极点的方向。将极点转换为规范化齐次坐标e′₁＝[17679，186，1]^T，显然e′₁落在区域5，将参考图像分成两个部分，如图5(b)所示。其中sheet1按照从左到右，从上到下的顺序扫描；sheet2按照从左到右，从下到上的顺序扫描。生的新视图如图13(a)所示(未进行空洞填充)。如果按图5(b)所示方向相反的方向来扫描参考图像可以得到图13(b)所示图像。

从图13(a)可以看出，利用本发明方法绘制新视图，即目标图像时，背景被先绘制，人物后绘制，人物像素信息覆盖了相应的背景信息，形成正确的可见性关系；而图13(b)是按与本发明确定的扫描顺序相反的方向得到的，人物先绘制，背景后绘制，因此背景信息覆盖了大部分的人物信息，可见性关系是错误的。

下面通过实例，讨论基线与参考图像平面平行时的绘制顺序。假设以“ballet”序列中的摄像机4的光心c₄为中心，左右两边各摆放一个与摄像机4完全相同的虚拟摄像机，光心记为c_i(i＝3，5)。3台摄像机摆放在同一水平线上，摄像机的内部参数矩阵如式(5)所示，外部参数矩阵如式(6)所示，各摄像机光心的y轴坐标和z轴坐标相同，光心之间的距离为65mm(基线长度)。

实验以摄像机4摄得的图像I₄作为参考图像，利用其相应的深度图像来合成从虚拟摄像机应该拍摄到的图像I_i(i＝3，5)。因为c_i-c₄＝[(i-4)*65 0 0]^T(i＝3，5)，由式(3)可得极点e_i的坐标为[y 0 0]^T，由前面的结论可知在绘制摄像机4左边的虚拟视图I₁时，应按图9(i)所示方向，即从右到左扫描参考图像I₄；而绘制右边的虚拟视图I₃时，应按图9(h)所示方向，即从左到右扫描参考图像I₄。生成的虚拟视图如图14所示。

其中，图14(a)为以图像I₄为参考图像生成的左视图I₁，图14(b)为以图像I₄为参考图像生成的右视图I₃。在左视图中，由于参考图像缺少人物图像左边缘的像素信息，因此在人物的左边缘存在空洞；同理，在右视图中人物的右边缘有空洞。由于基线距离比较小，所以两幅图像的空洞比较少。图14(b)为按照从左到右，从下到上的顺序扫描图像I₄得到的右视图，图14(c)为按照从左到右，从上到下的顺序扫描图像I₄得到的右视图，两图的结果一样。由于基线与参考图像平行时，极点在无穷远处，所有的极线都平行，当极线与水平轴平行时，垂直方向没有分量，因而不需要考虑垂直方向的绘制顺序。在本实例中，左右视图为目标图像。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种3D电视系统的深度图像绘制的三维图像变换过程中确定参考图像像素点扫描顺序的方法，其特征在于，包括以下步骤：

（1）、将目标图像I_r对应的虚拟摄像机光心投影到参考图像I_l上，得到极点e₁，将极点e₁的坐标转化为规范化齐次坐标[e_x e_y e_z 1]^T；

（2）、对坐标e_z进行判断，如果坐标e_z≠0，按照步骤（3）确定参考图像像素点扫描顺序；如果坐标e_z＝0，则按照步骤（4）确定参考图像像素点扫描顺序；

（3）、极点e₁落在参考图像平面上；

a1、根据极点e₁的坐标e_x和e_y，做直线x=e_x、y=e_y，将参考图像I_l分成片；

a2、根据极点e₁的坐标e_z确定各片像素点的扫描顺序：

如果坐标e_z>0，则极点e₁为正极点，各片像素点的扫描顺序为指向极点e₁的方向；

如果坐标e_z<0，则极点e₁为负极点，各片像素点的扫描顺序为指向极点e₁的反方向；

（4）、极点e₁与参考图像平面相交于无穷远处；

b1、如果坐标e_x>0、坐标e_y>0，将参考图像I_l像素点扫描顺序为从左到右，从上到下；

b2、如果坐标e_x>0、坐标e_y<0，参考图像I_l像素点扫描顺序为从左到右，从下到上；

b3、如果坐标e_x<0、坐标e_y>0，参考图像I_l像素点扫描顺序为从右到左，从上到下；

b4、如果坐标e_x<0、坐标e_y<0，参考图像I_l像素点扫描顺序为从右到左，从下到上；

b5、如果坐标e_x=0、坐标e_y>0，参考图像I_l像素点扫描顺序为从上到下，水平方向的扫描顺序没有限制；

b6、如果坐标e_x=0、坐标e_y<0，参考图像I_l像素点扫描顺序为从下到上，水平方向的扫描顺序没有限制；

b7、如果坐标e_x>0、坐标e_y=0，参考图像I_l像素点扫描顺序为从左到右，垂直方向的扫描顺序没有限制；

b8、如果坐标e_x<0、坐标e_y=0，参考图像I_l像素点扫描顺序为从右到左，垂直方向的扫描顺序没有限制。

2.根据权利要求1所述的确定参考图像像素点扫描顺序的方法，其特征在于，所述各片以闭、开区间的形式描述，以保证分界线上的像素被确定地划到某个片。

Images