CN101702056A - 基于立体图像对的立体图像显示方法 - Google Patents

Abstract

本发明属于光栅自由立体成像技术领域，涉及一种基于立体图像对的立体图像显示方法，本方法的具体步骤如下：步骤一，首先通过立体摄像机采集设备获取立体图像对；步骤二，对上述采集到的图像进行矫正和重采样，获得满足纯平移关系的两幅新图像；步骤三，对重采样的两幅图像进行密集匹配，建立点与点之间的对应关系；步骤四，由重采样的两幅图像插补出给定视点下的新图像；步骤五，对所得新图像进行反矫正，获得新视点下的立体图像；最后，将该图像在自由立体显示器上显示。本方法可以广泛应用于光栅LCD类型的自由立体显示设备中，通过本发明应用到具体实施里，可以得到很好的立体效果和立体观感。

Description

基于立体图像对的立体图像显示方法

【技术领域】

本发明涉及一种基于立体图像对的立体图像显示处理方法，让使用者不佩戴立体眼镜，裸眼就能在立体显示器上看到指定视点下的立体图像。

【背景技术】

人看物体之所以是三维的，是因为人有两个眼睛，并且两眼有一定的间距，物体在两眼视网膜上产生两幅有细微差别的图象，经人脑处理后合成为一幅三维图象。立体成像技术是利用人眼立体成像原理，人眼看物体时是从不同角度看到两个稍有差别的图像，大脑将这两个具有视差的图像合成后形成立体视觉。现有的立体成像方法主要有1、偏振镜法，2、滤色镜法，3、视差立体法，4、体视镜法。偏振镜法，也是最常用的方法，原理就是利用光的不同偏振角度，让两个镜片透过不同的光，将两幅有细微差别的图象分别投射到人眼中，给人以三维立体感。但是，此种佩戴立体眼镜的观赏方式常常让观赏者有不舒适感，特别是佩戴眼镜的观众，观赏立体影像较为困难。滤色镜法仅限于黑白立体图像。视差立体法，不需要戴立体眼镜，可以直接看到立体图像，但只适合彩色印刷，不适合在电子计算机上使用。体视镜法，需要通过两套相同的光学系统观察立体图像，一般应用于显微镜上。因此需要一种不必佩戴立体眼镜就能观察立体影像的方式，以满足上述观众的需求。

【发明内容】

本发明所要解决的技术问题在于采用基于立体图像对的立体图像显示方法，让观赏者不需要佩戴立体眼镜，裸眼即可观赏到高效率，高保真的立体图像画面。

本发明是通过以下技术方案解决上述技术问题的：

一种基于立体图像对的立体图像显示方法，包括如下步骤：

步骤一：首先通过立体摄像机对准同一对象以不同的角度所拍摄的两幅图像，即立体图像对；

步骤二：对所述采集到的立体图像对进行矫正和重采样，通过对所述立体图像对进行极线校正，获得满足纯平移关系的两幅新图像，以实现双目图像的致密匹配；

步骤三：对所述经过重采样的立体图像对进行密集匹配，建立点与点之间的对应关系；

步骤四：由所述经过重采样的立体图像对插补出给定视点下的新图像；

步骤五，对所述新图像进行反矫正，获得新视点下的体式图像；最后，将该图像在自由立体显示器上显示。

现有的立体摄像机具有两个间距约为人眼间距的镜头，在拍摄时分别记录下由于间距产生的两幅有细微差别的图象，模拟人眼，经过计算机合成后也就成为三维图象。所述立体图像对可以利用两部摄像获取设备，如数码相机或者计算机模拟的相机，在同一水平面，按照直线或者弧线路径，所述获取装置镜头要对准同一对象以不同的角度所拍摄的两幅图像。

本发明的优点在于：通过本发明的应用，可以得到很好的立体效果和立体观感，该方法可以广泛应用于光栅LCD类型的自由立体显示设备中，对于大力推动立体显像设备的产业化，具有重要的实用意义。

【附图说明】

下面参照附图结合实施例对本发明作进一步的描述。

图1是本发明的立体图像对体式显示处理方法流程图，

图2是本发明的立体图像对生成图像的图像插补示意图，

图3是本发明的密集匹配中卷积运算示意图，

图4是本发明的I_s在m产生空洞，

图5是本发明的I_s在m发生重叠。

【具体实施方式】

现将有关发明的详细内容及技术说明，配合附图说明如下：

参见图1、图2，图2是本发明的立体图像对生成体式图像的坐标系示意图。在图中我们对视点做了如下定义：设摄像机坐标系关于世界坐标系的旋转矩阵为R，平移变量为T，则称摄像机位于视点(R|T)。设11，12分别为某场景在两个不同视点(I|O)和(R|T)下的图像，其中I为单位矩阵(以第一个摄像机所在的坐标系为参考坐标系，R和T分别为第二个摄像机相对于第一个摄像机的旋转和平移)。如图1所示，由原图像I₁，I₂，求摄像机在新视点c_s(R_s，T_s)下的图像I_s(λ，β)的过程就称为图像插补。

1>对原图像对进行矫正和重采样，使得校正后的图像对满足纯平移关系：它们的视差仅在平行于X轴方向上，这样进行匹配时仅需要沿着一条水平线找对应点就可以了。进行矫正和重采样的过程如下：

1.1>首先将图像坐标原点移到图像的中心：设图像中心坐标为x₀，其齐次坐标表示为(u，v，1)^T，可构造变换

图像I₂的对极点e₂经此变换后为e′₂＝Te₂。

1.2>接着构造旋转矩阵R，使对极点e′₂被旋转到x轴上的点(f，0，1)^T。令e′₂＝(e′_2x，e′_2y，1)^T，

则R可选择为

对极点e′₂经此变换后为

最后，构造变换矩阵G，映射对极点e″₂到无穷远点，G可选择为

$G=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ -1/f& 0& 1\end{array}\right)$

且将对极点e″₂变换到无穷远点e′″₂＝Ge″₂＝(f，0，0)^T。

综合以上各步可知，合成变换H₂＝GRT把原图像的对极点e₂变换到无穷远点(f，0，0)^T。

1.3>接下来就是把一个映射施加到第一幅图像上，使得两幅图像的对极线相互匹配。

设原图像为I₁，I₂，需要对两幅图像进行重采样，分别施加两个射影变换H₁，H₂作用于I₁，I₂。令I₁，I₂是具有基本矩阵F＝[e′]_xM的两幅图像(e′是F的左零矢量，M＝[e′]_xF+e′v^T，其中v为任意三维列矢量)，其中H₁＝(1+H₂e₂a^T)H₂M。

利用上述方法可以求得变换H₁，分别用H₁，H₂矫正I₁，I₂，使得重采样后的图像对应的对极线平行于x轴，而对应点的y坐标相等。

利用上述的射影变换H₁和H₂矫正两幅原图像，并分别进行重采样就可获得两幅新图像。

2>密集匹配，对两幅图像进行了矫正和重采样，下面就是对这两幅图像进行密集匹配步骤如下：

2.1>对第一幅图像扫描线上的点进行一阶差分滤波，检测出角点，这里采用如下一阶高斯差分滤波器对图像进行离散卷积运算：

$h^{\left(1\right)}\left(n\right)=-2\mathrm{cn}{e}^{-\frac{n^2}{2{\mathrm{\σ}}^2}}$

其中c是归一化常数，它可由公式

求得，σ通常取常数1，在实际使用中，h(n)可用一个长度为2N+1的窗口内的值表示，N取2的情况见图3所示。

2.2>由第一幅图像上某一扫描线上检测到的角点，利用灰度相关匹配算法^[6]在第二幅图像的同一扫描线上寻找对应的角点。

2.3>用仿射变换建立较为准确的点与点的对应关系。设(u₁，v₁)，(u′₁，v′₁)与(u₂，v₂)，(u′₂，v′₂)为两对对应的角点，其中(u₁，v₁)，(u₂，v₂)是I₁上的点，(u′₁，v′₁)，(u′₂，v′₂)是I₂上的点，它们在同一扫描线上，v₁＝v₁′＝v₂＝v₂′。设(u，v)为(u₁，v₁)，(u₂，v₂)之间的任一点，u₁≤u≤u₂，于是有

其中u′＝u+δ，v′＝v，点(u′，v′)在(u′₁，v′₁)，(u′₂，v′₂)之间，它与(u，v)是一对对应点。这样就完成了点与点的对应。

3>图像插补，该方法的步骤如下：

3.1>确定插补图像像素位置

为确定图像像素位置，首先构造一个如下形式的Warp函数：

W(U₁，s)＝sU₁+(1-s)f(U₁)

其中s∈[0，1]，U₁表示图像I₁上点，f表示图像I₁，I₂之间的对应关系，W表示插补图像上的点。为了使图像是新视点下的像，进一步对Warp函数进行改进，即令U₁＝(u₁，v₁)^T∈I₁和U₂＝(u₂，v₂)^T∈I₂为一对对应点，U_s＝(u_s，v_s)^T表示对应的插补图像点，那么此时Warp函数的形式为：

U_s＝sU₁+(1-s)U₂

将对应点坐标代入上式，得

$\left\{\begin{array}{c}{u}_s=u_2+(u_1-u_s)s\\ v_s=v_2+(v_1-v_2)s\end{array}\right.$

3.2>确定插补图像像素灰度

假定两个视点下所对应的原图像I₁，I₂光照条件不变，从而两幅原图像I₁，I₂中的对应点的灰度值差别不大，因此插补图像的灰度可以用下面的算法近似估计。令

设对应点U₁∈I₁，U′₁＝f(U₁)∈I₂的灰度值分别为r(U₁)，r(U′₁)，

上的对应点W(U₁，s)的灰度值为r(W(U₁，s))＝sr(U₁)+(1-s)r(U′₁)综合上述算式得出原图像I₁，I₂的插补图像为

4>反矫正得到实际的体式图像

通过上述方法得到了插补图像，但这样的图像并不是新视点下的真实图像，因此需要通过变换矩阵H_s＝sH₁+(1-s)H₂对该图像进行反矫正处理，最终得到新视点下的体式图像。

用上述方法我们可以获得新视点下的体式的插补图像，但是在插补过程中无法避免会出现空洞现像(参见图4)和重叠现像(参见图5)。为了得到较好的插补结果，空洞中的像素灰度值可以利用邻近插值法获得，重叠部分的像素灰度可取该像素上多个灰度的平均值。

目前，通过立体图像配合光栅技术显示方式是比较好的技术之一，随着科技的进步，薄、轻的平板显示器已经代替CRT显示器，使得我们能将立体显示技术应用于液晶显示器成为可能。通过液晶自由立体显示器，我们不仅能看到一般立体静画影像，还能看到交互式的实时立体影像。通过结合立体图像对的体式显示技术，可以将大量实时采集的图像转化成任意视点的体式图像，给立体显示器更大的使用空间。

Claims (6)

1.一种基于立体图像对的立体图像显示方法，其特征是：所述方法包括如下步骤：

步骤一：首先通过立体摄像机对准同一对象以不同的角度所拍摄的两幅图像，即立体图像对；

步骤二：对所述采集到的立体图像对进行矫正和重采样，通过对所述立体图像对进行极线校正，获得满足纯平移关系的两幅新图像；

步骤三：对所述经过重采样的立体图像对进行密集匹配，建立点与点之间的对应关系；

步骤四：由所述经过重采样的立体图像对插补出给定视点下的新图像；

步骤五，对所述新图像进行反矫正，获得新视点下的体式图像；

最后，将该图像在自由立体显示器上显示。

2.根据权利要求1所述的一种基于立体图像对的立体图像显示方法其特征是：所述方法步骤二中进行矫正和重采样的过程如下：

1>首先将图像坐标原点移到图像的中心：设图像中心坐标为x₀，其齐次坐标表示为(u，v，1)^T，可构造变换

图像I₂的对极点e₂经此变换后为e′₂＝Te₂；

2>接着构造旋转矩阵R，使对极点e′₂被旋转到x轴上的点(f，0，1)^T。令e′₂＝(e′_2x，e′_2y，1)^T，

则R可选择为

对极点e′₂经此变换后为

最后，构造变换矩阵G，映射对极点e″₂到无穷远点，G可选择为

$G=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ -1/f& 0& 1\end{array}\right)$

且将对极点e″₂变换到无穷远点e″′₂＝Ge″₂＝(f，0，0)^T。

通过以上步骤，合成变换H₂＝GRT把原图像的对极点e₂变换到无穷远点(f，0，0)^T。

3.根据权利要求1所述的一种基于立体图像对的立体图像显示方法，其特征是：所述方法步骤二中所述立体图像对的密集匹配步骤如下：

设原图像为I₁，I₂，需要对两幅图像进行重采样，分别施加两个射影变换H₁，H₂作用于I₁，I₂。令I₁，I₂是具有基本矩阵F＝[e′]_xM的两幅图像(e′是F的左零矢量，M＝[e′]_xF+e′v^T，其中v为任意三维列矢量)，其中

H₁＝(1+H₂e₂a^T)H₂M；

利用上述方法可以求得变换H₁，分别用H₁，H₂矫正I₁，I₂，使得重采样后的图像对应的对极线平行于x轴，而对应点的y坐标相等；

利用上述的射影变换H₁和H₂矫正两幅原图像，并分别进行重采样就可获得两幅新图像。

4.根据权利要求1所述的一种基于立体图像对的立体图像显示方法其特征是：所述方法步骤四对所述经过矫正和重采样的立体图像对进行密集匹配步骤如下：

1>对第一幅图像扫描线上的点进行一阶差分滤波，检测出角点，这里采用如下一阶高斯差分滤波器对图像进行离散卷积运算：

$h^{\left(1\right)}\left(n\right)=-2{\mathrm{cne}}^{-\frac{n^2}{{2\mathrm{\σ}}^2}}$

其中c是归一化常数，它可由公式

求得，σ通常取常数1，其中2N-3＜n＜2N+3，N为自然数。

2>由第一幅图像上某一扫描线上检测到的角点，利用灰度相关匹配算法^[6]在第二幅图像的同一扫描线上寻找对应的角点。

3>用仿射变换建立较为准确的点与点的对应关系。设(u₁，v₁)，(u′₁，v′₁)与(u₂，v₂)，(u′₂，v′₂)为两对对应的角点，其中(u₁，v₁)，(u₂，v₂)是I₁上的点，(u′₁，v′₁)，(u′₂，v′₂)是I₂上的点，它们在同一扫描线上，v₁＝v′₁＝v₂＝v′₂。设(u，v)为(u₁，v₁)，(u₂，v₂)之间的任一点，u₁≤u≤u₂，于是有

$\mathrm{\δ}=({u_1}^{\′}-u_1)+\frac{({u_2}^{\′}-u_2)-({u_1}^{\′}-u_1)}{u_2-u_1}(u-u_1)$

其中u′＝u+δ，v′＝v，点(u′，v′)在(u′₁，v′₁)，(u′₂，v′₂)之间，它与(u，v)是一对对应点。这样就完成了点与点的对应。

5.根据权利要求1所述的一种基于立体图像对的立体图像显示方法，其特征是：所述方法步骤四中所述立体图像对的插补步骤如下：

1>确定插补图像像素位置

为确定图像像素位置，首先构造一个如下形式的Warp函数：

W(U₁，s)＝sU₁+(1-s)f(U₁)

其中s∈[0，1]，U₁表示图像I₁上点，f表示图像I₁，I₂之间的对应关系，W表示插补图像上的点；

为了使图像是新视点下的像，进一步对Warp函数进行改进，即令U₁＝(u₁，v₁)^T∈I₁和U₂＝(u₂，v₂)^T∈I₂为一对对应点，U_s＝(u_s，v_s)^T表示对应的插补图像点，那么此时Warp函数的形式为：

U_s＝sU₁+(1-s)U₂

将对应点坐标代入上式，得

$\left\{\begin{array}{c}{u}_s=u_2+(u_1-u_s)s\\ v_s=v_2+(v_1-v_2)s\end{array}\right.$

2>确定插补图像像素灰度：

假定两个视点下所对应的原图像I₁，I₂光照条件不变，从而两幅原图像I₁，I₂中的对应点的灰度值差别不大，因此插补图像的灰度可以用下面的算法近似估计。令

设对应点U₁∈I₁，U′₁＝f(U₁)∈I₂的灰度值分别为r(U₁)，r(U′₁)，

上的对应点W(U₁，s)的灰度值为r(W(U₁，s))＝sr(U₁)+(1-s)r(U′₁)

综合上述算式得出原图像I₁，I₂的插补图像为

6.根据权利要求5所述的一种基于立体图像对的立体图像显示方法，其特征是：所述像素的灰度值用邻近插值法获得，重叠部分的像素灰度取该像素上多个灰度的平均值。

Images