CN101505433A - 一种实拍实显多镜头数码立体系统 - Google Patents

Abstract

本发明设计了一种实拍实显多镜头数码立体系统。该系统由立体拍摄系统和立体显示系统共同构成，具体包括：多个CCD摄像机单元(1)，用来固定CCD摄像机单元的平台(2)、用来支撑该平台的支架(3)、图像采集卡(4)、电源(5)、一台PC机(6)，一台柱面光栅式或狭缝式裸眼自由立体显示器(7)等。本发明采用相机标定法初调多个CCD摄像机单元的空间位置关系和计算摄像机镜头畸变系数，并根据畸变系数纠正图像的几何畸变；然后针对摄像机摆放引起的梯形失真采用外极几何进行校正，再针对多路采集中的视差不合理进行视差调节。本发明通过以上方法的结合，不仅可以拍摄静态的场景，而且还可以拍摄动态的场景，使得拍摄过程更加简单、方便和灵活，还可做到拍显同步。

Description

一种实拍实显多镜头数码立体系统

一、技术领域

本发明属于计算机多媒体技术领域，特别是一种实拍实显多镜头数码立体系统。

二、背景技术

众所周知，现实世界是真正的三维立体世界，而现有的显示设备绝大多数都只能显示二维信息，并不能给人以深度感觉。为了使显示的场景和物体具有深度感觉(也就是3D)，人们在各方面进行了尝试。3D显示技术的研究经历了十几年的发展，取得了十分丰硕的成果，从各种手执式观测器、3D立体眼镜、头盔显示器，到现在最新的不需要眼镜的3D显示器等等很多成果。3D显示系统基于立体成像原理，现实世界是三维立体世界，它为人的双眼提供了两幅具有视差的图像，映入双眼后即形成立体视觉所需的视差，这样经视神经中枢的融合反射，以及视觉心理反应便产生了三维立体感觉。利用这个原理，通过立体显示器将两副具有视差的左图像和右图像分别呈现给左眼和右眼，就能获得3D的感觉。

立体显示设备的片源一般都用3D动画技术制作合成，不仅影片的造价十分的昂贵，场景也不真实，后来人们采用多个相机来获取立体影片片源。

三、发明内容

本发明所要解决的技术问题是将立体拍摄系统和立体显示系统结合起来，提供一种实时拍摄实时显示多镜头数码立体系统，该系统不仅可以为立体显示系统提供片源，而且可以做到拍显同步。

本发明采用了下列技术方案解决了其技术难题：

1、本发明由立体拍摄系统和立体显示系统共同构成。拍摄系统包括：多个CCD摄像机单元(1)，用来固定CCD摄像机单元的平台(2)、用来支撑该平台的支架(3)、图像采集卡(4)、电源(5)、一台PC机(6)等，固定CCD摄像机单元的平台通过四个螺丝与用来支撑该平台的支架相连接，其中一颗为固定螺丝，其它三颗螺丝可手动调节单个CCD的位置高低，俯仰程度，旋转角度以及相邻两CCD间的距离等，显示系统(7)则由柱面光栅式或狭缝光栅式立体显示器组成。拍摄系统和立体显示系统经数据线相互连接。

2、摄像机标定求解几何畸变系数和相机间的空间位置关系。通过拍摄一个事先做好的标定平面模板，提取模板图像上的网格角点，图像上的网格角点像素坐标和对应模板上网格角点的世界坐标存在一定的映射关系，假设用A_i表示，M_ij表示网格角点的在世界坐标里的坐标，m_ij表示模板图像上的网格角点的像素坐标，其中i为采集图像幅数，j表示第i幅图像上的第j个角点，则有：

λm_ij＝A_iM_ij(i＝1，2…n；j＝1，2…n)　　　　(1)

对每一个CCD来讲，都有一组：A₁，A₂，A₃…A_i，分解映射组A_i，求解各个CCD对应的k₁，k₂，k₃，p₁，p₂等内参数。

畸变系数主要包括：三个径向畸变因子k₁，k₂，k₃和两个切向畸变因子p₁，p₂；设(u，v)是理想的像素坐标，(u′，v′)是畸变的像素坐标，则：

$u\′=u+(u-c_x)[k_1{r}^2+k_2{r}^4+k_3{r}^6+{2p}_{1}y+p_2(\frac{r^2}{x}+2x)]---\left(2\right)$

$v\′=v+(v-c_y)[k_1{r}^2+k_2{r}^4+k_3{r}^6+{2p}_{2}x+p_1(\frac{r^2}{y}+2y)]---\left(3\right)$

根据以上理想像点在像素坐标系中的坐标和畸变像点在像素坐标系中的坐标关系，可消除几何畸变，这就是几何畸变的校正方法。

外参数有两部分：旋转矩阵R＝[r₁ r₂ r₃]^T和平移矩阵T＝[t_x t_y t_z]^T。在立体视觉中，一般需要用两个摄像机，可用前面的单相机标定法分别得到两个相机各自内外参数，如果外参数分别用R₁，T₁，与R₂，T₂表示，则两个摄像机间的相对位置关系可表示为：

$R=R_1{R}_2^{-1}$

$T=T_1-R_1{R}_2^{-1}{R}_2---\left(4\right)$

旋转矩阵R也可表示成：

$R=\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right]=\left[\begin{array}{ccc}\cos \stackrel{\→}{X}x& \cos \stackrel{\→}{X}y& \cos \stackrel{\→}{X}z\\ \cos \stackrel{\→}{Y}x& \cos \stackrel{\→}{Y}y& \cos \stackrel{\→}{Y}z\\ \cos \stackrel{\→}{Z}x& \cos \stackrel{\→}{Z}y& \cos \stackrel{\→}{Z}z\end{array}\right]$

α₁，α₂，α₃是轴X与x，y，z间夹角的余弦；b₁，b₂，b₃是轴Y与x，y，z间夹角的余弦；c₁，c₂，c₃是轴Z与x，y，z间夹角的余弦。由于R是正交矩阵，所以九个方向余弦中只含有三个独立参数，这三个参数可以是一个空间直角坐标系(如S-XYZ)按三个空间轴向顺次旋转至另一个空间直角坐标系(如S-xyz)的三个旋转角。从而有：

这样就可以用旋转角度

ω，θ来表示R的值，很明显，当两个摄像机主光轴平行时 $R=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right],$ 正好是一个单位矩阵。针对多个摄像机的情况，可将左边或者右边的第一个摄像机作为参考摄像机，分别标定出其它摄像机相对参考摄像机的和T，根据R，T的值调节成各个像单元间的位置关系并使其满足拍摄条件。

3、一种针对非理想像对的图像校正，众所周知，在一个任意摆放的双目视觉系统中，相对于空间同一个物点，所成的像对可能存在：梯形失真的不一致，有垂直视差等等，这些因素对合成图在3D设备上的显示效果是很不利的，为此，我们希望拍摄的像对是非常理想的情况，即：没有垂直视差，外极线互相平行且水平。通过前面的摄像机标定技术，可近似调节双摄像机的成像平面在同一平面上，但要达到理想的情况是比较困难的，因为这不仅需要高精度的设备，同时也增加了劳动的强度，所以，在此采用一种针对非理想像对的图像校正技术是非常合理的选择。

首先得求校正变换矩阵，提取立体图像对的精确匹配点，假设其中的一对匹配点为m，m′，校正后的对极几何关系是已知的，设为用数学关系表示为：

${(H\′m\′)}^T\stackrel{\‾}{F}\left(\mathrm{Hm}\right)=0---\left(5\right)$

其中H＝H_iH_rH_p，求解满足此数学关系的校正变换矩阵H_p，H_r和H_i。

1)射影变换矩阵 $H_P=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ w_a& w_b& 1\end{array}\right],$ 经H_p变换后，外极点被移动到无穷远，外极线互相平行。

2)旋转矩阵 $H_r=\left[\begin{array}{ccc}\cos \left(\mathrm{\θ}\right)& \sin \left(\mathrm{\θ}\right)& 0\\ -\sin \left(\mathrm{\θ}\right)& \cos \left(\mathrm{\θ}\right)& 0\\ 0& 0& 1\end{array}\right],$ 经H_p变换的外极线互相平行，但不一定水平，因此，通过旋转一定的角度θ就可使外极线与图像的行方向平行。

3)平移变换矩阵 $H_t=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& t\\ 0& 0& 1\end{array}\right],$ 在经过H_p，H_i变换后，虽然左右图像的外极线都平行，也满足水平，但还需平移其中的一幅图像，保持另外一幅图像不动，使得左右图像的对应点垂直视差为零。

4、基于图像分析的偏色检测及颜色的校正。成像设备采集的图像的颜色与物体表面的真实颜色之间存在一定程度上的误差，即偏色，图像的偏色不仅与图像色度的平均值有关，还与图像色度分布特性有关。

1)采用图像平均色度D和色度中心距离M的比值，即偏色因子k来衡量图像的偏色程度。

计算公式为：

$d_a=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}a}{\mathrm{MN}}$ 　　　 $d_b=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}b}{\mathrm{MN}}$

$D=\sqrt{d_a^2+d_b^2}---\left(6\right)$

$M_a=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(a-d_a)}^2}{\mathrm{MN}}$ 　 $M_b=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(b-d_b)}^2}{\mathrm{MN}}$

$M=\sqrt{M_a^2+M_b^2}---\left(7\right)$

k＝D/M           (8)

式中M，N分别为图像的宽和高，以像素为单位，k值越大，偏色越严重。

2)采用一种由亮度χ和色度域值α，β共同决定的约束条件下的颜色校正。首先将R，G，B颜色模式转换成Y，Cb，Cr颜色模式

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.1687& -0.3313& 0.5\\ 0.5& -0.4187& -0.0813\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(9\right)$

在一种由亮度x和色度域值α，β共同决定的约束条件下计算色差

$\left\{\begin{array}{c}Y>\mathrm{\&chi;}\\ -\mathrm{\&alpha;}<\mathrm{Cb}<\mathrm{\&alpha;}\\ -\mathrm{\&beta;}<\mathrm{Cr}<\mathrm{\&beta;}\end{array}\right.---\left(10\right)$

然后计算色温校正系数，保持G通道不变，对R，B通道进行颜色校正。

5、一种水平视差大小调节技术。根据相关理论：在一个立体拍摄系统中，物距越小，视差越大，相反，视差越小，因此，用同一个立体拍摄系统拍摄不同的场景，可能存在视差过大或者过小的情况，这些都不利于显示的效果，就需要视差的大小调节，该视差调节技术首先得判断合适的视差大小。被拍场景可以分为三个部分：前景，主景和后景，一般选取主景中的某一物点的像作为参考点，分别计算相邻拍摄图片的视差大小，并与合适的视差大小值相比较，确定视差需调节的大小值，然后保持最左或最右的拍摄图片不变，依次向左或向右平移其它的图片，使之两两相邻图片间参考点的水平视差满足合适的视差大小。

四、附图说明

图1为本发明一种实拍实显多镜头数码立体系统机构示意图；

图2为本发明一种实拍实显多镜头数码立体系统剖面图；

图3为本发明一种实拍实显多镜头数码立体系统标定模板。

五、具体实施方式

第一步：将CCD摄像机固定在平台上，注意保持各光轴的方向大致平行，并使各个CCD大致在同一直线上且间距大致相等；用数据线把各个CCD和PC机中的图像采集卡连接起来，柱面光栅式或狭缝光栅式立体显示器直接和PC机相连；接上电源线，打开电脑和立体显示器，安装CCD驱动软件等。

第二步：将标定模板(图3)放在此立体摄像机前2-3米的范围内某一位置，选模板平面上左上角某一位置，分别以两条正交的直线为xy轴，并按右手定则建立世界坐标系，调节每个CCD的焦距使之成清晰的像，然后各个CCD分别对标定模板采像一次，变换3次以上模板相对摄像机角度和位置，每变换一次，各个CCD分别对标定模板采像一次；对其中任意一个CCD，假设模板变换的次数为n，模板放置的总次数就是n+1，对应采集的图像幅数就是n+1，然后提取这n+1幅图像上的网格角点，根据式(1)求解映射组A_i，分解映射组A_i，求解此CCD对应的k₁，k₂，k₃，p₁，p₂等内参数，同理，分别解出其它CCD的内参数。

第三步：在完成第二步后，还需将标定模板按照第二步的摆放方式再放置一次，各个CCD同时采集模板图像一次，根据解得的内参数和式(4)，计算各个CCD间的旋转矩阵R和平移矩阵T，如果旋转矩阵R近似为单位矩阵，平移矩阵T近似相等，表明初调完成，可满足拍摄条件，如果不满足，重复此步骤，一直到满足为止。

第四步：在完成第三步后，拍摄工作就可以正式开始了，但采集的图像是原始的，可能存在几何畸变，梯形失真，垂直视差等缺陷，此时，需要将采集的原始图像进行系列处理，首先，将第二步得到的各个CCD的几何畸变系数k₁，k₂，k₃，p₁，p₂代入(2)和(3)式中，消除几何畸变。

其次，提取立体图像对的精确匹配点，根据式(5)求解满足此数学关系的校正变换矩阵H_p，H_r和H_i，用解得的校正变换矩阵作用原图，消除摄像机汇聚摆放引起的图像梯形失真的不一致和垂直视差等。

再次，根据式(6)、(7)、(8)求解偏色因子k，如果存在偏色，根据式(9)和(10)计算色温校正系数，保持G通道不变，对R，B通道进行颜色校正。

最后，选取主景中的某一物点的像作为参考点，分别计算相邻拍摄图片的视差大小，并与合适的视差大小值相比较，确定视差需调节的大小值，然后保持最左或最右的拍摄图片不变，依次向左或向右平移其它的图片，使之两两相邻图片间参考点的水平视差满足合适的视差大小。

第五步：在完成上述步骤后，根据具体的立体显示器尺寸的大小，光栅斜率的参数等，采用编码合成处理后的图像，该合成图像就可以经立体显示器直接显示。

至此，以光栅式为显示终端的实拍实显多镜头数码立体系统已经介绍完毕，但本发明并不仅局限于具体实施方式中提到的四镜头数码相机以及光栅式自由立体显示器，其他任意多镜头配合非自由立体显示终端的实拍实显系统同样在本发明的保护范围之内。

Claims (7)

1、一种实拍实显多镜头数码立体系统，其特征在于：该系统由多镜头数码拍摄系统和柱面光栅式或狭缝光栅式立体显示器组成；多镜头数码立体拍摄系统采用标定法初调；多镜头数码立体拍摄系统同步采集某时刻单帧多路图像，该时刻单帧多路图像经图像校正，视差调节，编码合成后可由柱面光栅式或狭缝光栅式立体显示器直接显示；该系统不仅可以拍摄动态的场景，而且可以拍摄静态场景，还可以做到拍显同步。

2、如权利要求1所述的实拍实显多镜头数码立体系统，其特征还在于：各个CCD摄象机单元以视频速率同步采集所拍场景图像，并将图像同时传输至柱面光栅式或狭缝式裸眼自由立体显示器进行显示。

3、如权利要求1所述的实拍实显多镜头数码立体系统，通过相机标定技术确定该系统的拍摄条件，其特征在于：

1)采用相机标定技术，标定出各个摄像机单元内参数(包括几何畸变系数)，并保存该数据；2)在该拍摄系统前放一标定模板，各个摄像机分别对其采像一次，根据空间物点坐标和像点坐标以及保存的内参数，并以左边或者右边第一个摄像机为参考位置，分别计算出其它摄像机相对参考摄像机的空间位置关系，该空间位置关系用旋转矩阵R_i和平移矩阵T_i表示；

3)重复步骤2)，使其满足各个R_i近似为单位矩阵，各个T_i近似相等，该系统即可用于拍摄。

4、如权利要求1，3所述的一种实拍实显多镜头数码立体系统，其特征还在于，根据标定出的几何畸变系数和实际像点在像素坐标系里的坐标，可得到理想的像。

5、如权利要求1所述的实拍实显多镜头数码立体系统，采用一种针对摄像机汇聚摆放引起的图像梯形失真的不一致和垂直视差等的外极几何校正法，其特征在于：计算出校正变换矩阵H_i，将该校正变换矩阵H_i分别作用于对应的梯形失真图，可有效消除图像梯形失真的不一致和垂直视差。

6、如权利要求1所述的实拍实显多镜头数码立体系统，其特征在于：采用综合考虑色度的平均值和色度分布特性的偏色检测方法来判断图像的偏色程度；采用由亮度x和色度域值α，β共同决定的约束条件，并在该约束条件下进行颜色校正。

7、如权利要求1所述的实拍实显多镜头数码立体系统，调节不合适的水平视差大小，其特征在于：从拍摄的场景中的主景中选一参考点，分别确定出该参考点在多个摄像机所拍图中的成像点的位置水平坐标，任选择一拍摄图参考点的像点水平坐标保持不变，分别求出其它拍摄图中参考点的像点与保持不变图的参考点像点的在水平坐标上的差值，并根据自由立体显示器的尺寸大小，调节合适的视差大小。

Images