CN102005039A - 基于泰勒级数模型的鱼眼相机立体视觉深度测量方法 - Google Patents

Abstract

本发明公开了一种基于泰勒级数模型的鱼眼相机立体视觉深度测量方法。首先利用泰勒级数模型对鱼眼立体视觉相机进行标定，得到了三维空间点到二维图像点的映射关系以及左右二个鱼眼立体相机之间的位置关系，即鱼眼立体视觉相机的内参数和外参数。在此基础上，进行了球面极线校正，使同一个三维空间点在校正后的左右图像上位于同一行。最后，通过立体匹配在左右图像上求得对应点的匹配关系，进而计算出所对应的三维空间点的深度信息。本发明的优点在于：基于泰勒级数模型的建模方法对鱼眼相机可以达到较高的建模精度，而基于球面极线校正方法可以在保证校正精度的条件下有效地降低计算复杂度。

Description

基于泰勒级数模型的鱼眼相机立体视觉深度测量方法

技术领域

本发明涉及利用鱼眼相机进行深度测量的计算机视觉方法，具体来说，涉及一种基于泰勒级数模型的鱼眼相机立体视觉深度测量方法。

背景技术

与普通相机的视场角相比，超广角的鱼眼相机可以获取大范围的场景信息，由其构成的立体视觉系统可以对大范围内的场景进行深度测量，受到了人们的广泛重视。以机器人导航的应用为例：1997年，喷气推进实验室(JPL)为新一代火星车研制了超大视场(水平视场为140°)双目立体视觉障碍物检测系统，该系统可以恢复场景的稠密深度图。2004年成功登陆火星的机器人“勇气号”和“机遇号”也都在其车体前后各安装了一套大视场(127°×127°)的立体视觉避障摄像机(Hazard Avoidance Cameras)，主要功能是障碍物检测。大视场深度信息的获取对于提高机器人对环境的感知能力是十分重要的。

从视觉传感器的选择与配置角度分析，目前大视场图像的获取方法主要有三种：单摄像机旋转成像或多摄像机成像、鱼眼镜头成像、折反射系统全向成像。

单摄像机旋转成像耗时长，无法做到实时测量。多摄像机成像系统结构复杂，而折反射系统由反射镜和成像相机构成，通常不是一种全固态结构。因此就实用性而言，鱼眼镜头具有明显的优势。

鱼眼镜头具有很短的焦距(通常f＜3mm)，可观测到接近半球面内的物体，视场角可大于180°。但缺点是存在较大的畸变，且其畸变模型不再符合透视投影条件。随着视场的扩大，视场角变弯，物象对应关系复杂，补偿困难。因此对鱼眼镜头的建模和精确标定是目前研究的一个热点问题。

从鱼眼镜头的建模方法看，目前主要有二类方法：各种独立建模方法和全景成像统一模型，其中各种独立建模方法包括，根据镜头确切设计而采用的投影模型，包括stereographic projection、equidistance projection、equisolid angle projection、orthogonal projection等模型；以及用通用模型对不同种类的鱼眼镜头进行建模。在通用模型的鱼眼建模方法中，Scaramuzza提出的基于泰勒级数模型的全向视觉传感器建模和标定方法，以其较高的建模精度和对各种镜头的广泛适用性，得到了学者们的关注。

发明内容

本发明的目的在于采用二个视野范围可大于180°的鱼眼镜头组成双目立体视觉系统，在泰勒级数模型下通过摄像机标定、立体图像进行球面极线校正、深度求取等步骤，提出一种基于泰勒级数模型的鱼眼相机立体视觉深度测量方法。

本发明解决其技术问题所采用的技术方案的步骤如下：

1)对鱼眼立体相机进行基于泰勒级数模型的标定，得到鱼眼立体相机的内参数和外参数；

2)对鱼眼立体相机所拍摄的左右图像进行球面极线校正，使同一个三维空间点在校正后的左右图像上位于同一行；

3)对校正后的左右图像进行立体匹配，得到匹配点的对应关系；

4)根据立体匹配结果及鱼眼立体相机的内参数和外参数，计算出三维场景点的深度信息。

所述的对鱼眼立体相机所拍摄的左右图像进行球面极线校正，是对左图像I_L和右图像I_R分别进行旋转，得到二幅在虚拟立体相机下的左图像I_L′和右图像I_R′，满足同一个三维空间点在这二幅虚拟立体相机图像上位于图像坐标的同一行这一性质；具体的校正步骤如下：

1)对于虚拟立体相机的图像I_L′和I_R′中的的每个像点x_V＝(x，y)，对应着一组角度(ψ，β)，该组角度表示了对应虚拟立体相机坐标系下的一个方向，这种对应关系表述为：β＝f_β(y)和ψ＝f_ψ(x)；

2)映射函数f_β、f_ψ的选取上，采用平均分布，将按照图像的宽W和高H等间隔地分布，即

及

，其中

$\mathrm{\Δ\ψ}=\frac{\mathrm{\π}}{W};$

3)将虚拟立体相机的图像I_L′和I_R′中的的每个像点x_V＝(x，y)，定义变换X_V＝T_V(x_V)将该点映射到虚拟立体相机坐标系下的方向矢量

$X_V=\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=\left(\begin{array}{c}\sin \mathrm{\ψ}\\ \cos \mathrm{\ψ}\sin \mathrm{\β}\\ \cos \mathrm{\ψ}\cos \mathrm{\β}\end{array}\right);$

4)计算泰勒级数模型下鱼眼立体相机与虚拟立体相机之间的旋转关系，将虚拟立体相机坐标系下点投影到真实的鱼眼立体相机坐标系下；

5)根据泰勒级数模型的标定参数，将真实的鱼眼相机坐标系下的点投影到鱼眼图像；

6)通过上述变换，将虚拟立体相机的图像I_L′和I_R′中的的每个像点x_V＝(x，y)，最终投影到真实的鱼眼图像上，如投影点不位于整数像素坐标，则通过双线性图像插值来求得x_V的像素值。

所述的根据立体匹配结果及鱼眼立体相机的内参数和外参数，计算出三维场景点的深度信息的步骤如下：

1)根据立体匹配结果，得到左虚拟相机图像上的点

和右虚拟相机图像上的点

之间的对应关系；

2)根据权利要求2的步骤1)～2)，分别求得

和

对应的角度(ψ_L，β)和(ψ_R，β)，经过校正后的左右虚拟立体相机图像的β角相等；

3)计算三维场景点的深度信息

其中B为鱼眼立体相机的基线长度。

本发明具有的有益效果是：

1)基于泰勒级数模型的建模方法对鱼眼相机可以达到较高的建模精度。

2)基于球面极线校正方法原理简单，易于实现，可以在保证校正精度的条件下有效地降低计算复杂度。

附图说明

图1是本发明方法的流程图。

图2是本发明方法中原始鱼眼相机坐标系和虚拟立体相机坐标系旋转示意图。

图3是本发明中校正后的虚拟图像。

图4是本发明中虚拟立体相机坐标系说明。

图5是本发明中深度信息计算原理图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述。

如图1所示，给出了依照本发明进行泰勒级数模型的超广角鱼眼相机立体视觉方法深度计算的流程图。

如图1所示，在步骤101中，利用泰勒级数模型对超广角鱼眼立体相机进行内参和外参的标定。

通过基于泰勒级数模型的标定，可以获得的相机内参数有：

1)泰勒级数系数：a₀，a₁，...,a_N

2)仿射变换系数：c，d，e

3)主点坐标：(x_c，y_c)

同时得到了左右鱼眼立体相机的外参数：R_l、t_l和R_r、t_r。根据此外参数，可以求得左右鱼眼立体相机相对的外参数，即旋转矩阵

和平移向量 $t=t_l-R_l{R}_r^{-1}{t}_r.$

关于泰勒级数模型的标定方法可参考文献1：D.Scaramuzza，A Toolbox for Easy Calibrating Omnidirectional Cameras，Proceedings of the IEEE International Conference on Intelligent Robots and Systems，Beij ing，China，October 2006.

如图1所示，在步骤102中，根据步骤101得到的鱼眼立体相机的内参数和外参数，对鱼眼立体图像对进行球面外极线校正，其过程是对左右鱼眼图像(记为I_L和I_R)分别进行旋转，得到二幅在虚拟立体相机下的图像(记为I_L′和I_R′)，满足同一个三维空间点在这二幅虚拟立体相机的图像中位于图像坐标的同一行这一性质。下面给出具体的校正过程，其步骤主要包括：

1)建立虚拟立体相机坐标系，如图2所示，C₁和C₂分别是二个鱼眼立体相机的光心位置，C₁X₁Y₁Z₁和C₂X₂Y₂Z₂分别为左、右鱼眼相机坐标系，C_1VX_1VY_1VZ_1V和C_2VX_2VY_2VZ_2V分别为建立的左右虚拟立体相机坐标系，左右虚拟立体相机坐标系的原点分别与左右鱼眼相机坐标系的原点重合。所建立的左右虚拟立体相机坐标系的三个坐标轴都分别平行，且有一组坐标轴共线，即图2中X_1V轴和X_2V轴共线。

对于左右虚拟立体相机的图像I_L′和I_R′中的每个像点x_V＝(x，y)，对应着一组角度(ψ，β)，如图3所示。真实场景点与虚拟图像上的像素点的映射关系由图4给出说明。P为场景点，P′为P点在Y_VOZ_V平面的投影，则ψ为OP与平面Y_VOZ_V夹角，β为极平面X_VOP与Z_V轴的夹角。该组角度表示了对应虚拟立体相机坐标系下的一个方向，这种对应关系表述为：β＝f_β(y)和ψ＝f_ψ(x)。

2)对于映射函数f_β、f_ψ的选取上，采用平均分布，将[-π/2，π/2]按照图像的宽W和高H等间隔地分布，即f_β(y)＝-π/2+(y-1)Δβ及f_ψ(x)＝-π/2+(x-1)Δψ，其中Δβ＝π/H，Δψ＝π/W。

3)将虚拟立体相机的图像I_L′和I_R′中的的每个像点x_V＝(x，y)，定义变换X_V＝T_V(x_V)将该点映射到虚拟立体相机坐标系下的方向矢量 $X_V=\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=\left(\begin{array}{c}\sin \mathrm{\ψ}\\ \cos \mathrm{\ψ}\sin \mathrm{\β}\\ \cos \mathrm{\ψ}\cos \mathrm{\β}\end{array}\right).$

4)计算泰勒级数模型下鱼眼立体相机与虚拟立体相机之间的旋转关系，并将虚拟立体相机坐标系下的点投影到真实的鱼眼立体相机坐标系下，旋转示意见图2。

设步骤101中通过标定得到的左右鱼眼立体相机相对的外参数为R、T，则左虚拟相机旋转矩阵R_l、右虚拟相机旋转矩阵R_r的计算方法如下：

①根据罗德里克公式，w＝rodrigues(R)

②反向旋转左、右相机，使两个相机坐标系同向：

$R_{R1}=\mathrm{rodrigues}(-\frac{w}{2})$

$R_{L1}=R_{R1}^{-1}$

③对两个相机做相同的旋转，使得基线与相机坐标系的X轴重合：

$w_2=-\frac{t\×u}{\left|\right|t\×u\left|\right|}{\cos }^{-1}\frac{\left|\right|t\·u\left|\right|}{\left|\right|t\left|\right|\left|\right|u\left|\right|}$

其中，t＝R_R1T。u分2种情况：若是水平基线，则u＝[1 0 0]^T；若是垂直基线，u＝[0 1 0]^T。

R₂＝rodrigues(w₂)

④分别计算左虚拟相机的最终旋转矩阵：R_l＝R₂R_L1

及右虚拟相机的最终旋转矩阵：R_r＝R₂R_R1

5)根据泰勒级数模型标定所得的内参数，将鱼眼立体相机坐标系下的点投影到相应的鱼眼图像。

6)通过上述变换，将虚拟立体相机的图像I_L′和I_R′中的的每个像点x_V＝(x，y)，最终投影到相应的鱼眼图像上，如投影点不位于整数坐标，则通过双线性图像插值来求得x_V的像素值。

如图1所示，在步骤103中，对经过球面外极线校正的左右虚拟立体相机图像进行立体匹配，来获得同一个三维场景点在左虚拟相机图像上的像点

和在右虚拟相机图像上的像点

之间的对应关系。

关于各种立体匹配方法的介绍可参考文献2：D.Scharstein and R.Szeliski.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms.International Journal of Computer Vision，47(1/2/3)：7-42，April-June 2002.

如图1所示，在步骤104中，根据步骤103求得的匹配点坐标，由步骤102所介绍的方法(参见图3)恢复出左右匹配点所对应的角度值(ψ_L，β)和(ψ_R，β)，利用三角关系求取相应空间点的深度信息。

具体的计算方法如图5所示，O_L和O_R分别为左右虚拟立体相机坐标系的原点，B为基线长度。对于某个三维场景点P(X，Y，Z)，通过步骤103得到该点在左右虚拟立体相机图像上的匹配点，然后得到相应匹配点的一组角度值(ψ_L，β)和(ψ_R，β)，可求得该场景点在左、右虚拟立体相机坐标系中对应的方向矢量

P′为P在XO_LZ平面上的投影(平面XO_LZ与平面XO_RZ共面)。矢量

与平面YO_LZ、

与平面YO_RZ的夹角分别为ψ_L、ψ_R，它们与O_LZ轴、O_RZ轴夹角都为β，D表示P到O_L的距离。根据正弦定理，有

$\frac{D}{\sin (\frac{\mathrm{\π}}{2}+{\mathrm{\ψ}}_R)}=\frac{B}{\sin ({\mathrm{\ψ}}_L-{\mathrm{\ψ}}_R)}$

则可求得：

$D=\frac{B\sin (\frac{\mathrm{\π}}{2}-{\mathrm{\ψ}}_R)}{\sin ({\mathrm{\ψ}}_L-{\mathrm{\ψ}}_R)}$

最后可得P点深度信息为：

$\mathrm{depth}=P^{\′}A=D\cos {\mathrm{\ψ}}_L\cos \mathrm{\β}=\frac{B\cos {\mathrm{\ψ}}_L\cos \left({\mathrm{\ψ}}_R\right)}{\sin ({\mathrm{\ψ}}_L-{\mathrm{\ψ}}_R)}\cos \mathrm{\β}$

Claims (3)

1.一种基于泰勒级数模型的鱼眼相机立体视觉深度测量方法，其特征在于，该方法的步骤如下：

1)对鱼眼立体相机进行基于泰勒级数模型的标定，得到鱼眼立体相机的内参数和外参数；

2)对鱼眼立体相机所拍摄的左右图像进行球面极线校正，使同一个三维空间点在校正后的左右图像上位于同一行；

3)对校正后的左右图像进行立体匹配，得到匹配点的对应关系；

4)根据立体匹配结果及鱼眼立体相机的内参数和外参数，计算出三维场景点的深度信息。

2.根据权利要求1所述的一种基于泰勒级数模型的鱼眼相机立体视觉深度测量方法，其特征在于，所述的对鱼眼立体相机所拍摄的左右图像进行球面极线校正，是对左图像I_L和右图像I_R分别进行旋转，得到二幅在虚拟立体相机下的左图像I_L′和右图像I_R′，满足同一个三维空间点在这二幅虚拟立体相机图像上位于图像坐标的同一行这一性质；具体的校正步骤如下：

1)对于虚拟立体相机的图像I_L′和I_R′中的的每个像点x_V＝(x，y)，对应着一组角度(ψ，β)，该组角度表示了对应虚拟立体相机坐标系下的一个方向，这种对应关系表述为：β＝f_β(y)和ψ＝f_ψ(x)；

2)映射函数f_β、f_ψ的选取上，采用平均分布，将

按照图像的宽W和高H等间隔地分布，即及，其中

$\mathrm{\Δ\ψ}=\frac{\mathrm{\π}}{W};$

3)将虚拟立体相机的图像I_L′和I_R′中的的每个像点x_V＝(x，y)，定义变换X_V＝T_V(x_V)将该点映射到虚拟立体相机坐标系下的方向矢量 $X_V=\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=\left(\begin{array}{c}\sin \mathrm{\ψ}\\ \cos \mathrm{\ψ}\sin \mathrm{\β}\\ \cos \mathrm{\ψ}\cos \mathrm{\β}\end{array}\right);$

4)计算泰勒级数模型下鱼眼立体相机与虚拟立体相机之间的旋转关系，将虚拟立体相机坐标系下点投影到真实的鱼眼立体相机坐标系下；

5)根据泰勒级数模型的标定参数，将真实的鱼眼相机坐标系下的点投影到鱼眼图像；

6)通过上述变换，将虚拟立体相机的图像I_L′和I_R′中的的每个像点x_V＝(x，y)，最终投影到真实的鱼眼图像上，如投影点不位于整数像素坐标，则通过双线性图像插值来求得x_V的像素值。

3.根据权利要求1所述的一种基于泰勒级数模型的鱼眼相机立体视觉深度测量方法，其特征在于，所述的根据立体匹配结果及鱼眼立体相机的内参数和外参数，计算出三维场景点的深度信息的步骤如下：

1)根据立体匹配结果，得到左虚拟相机图像上的点

和右虚拟相机图像上的点

之间的对应关系；

2)根据权利要求2的步骤1)～2)，分别求得

和

对应的角度(ψ_L，β)和(ψ_R，β)，经过校正后的左右虚拟立体相机图像的β角相等；

3)计算三维场景点的深度信息其中B为鱼眼立体相机的基线长度。

Images