CN101581569B - 双目视觉传感系统结构参数的标定方法 - Google Patents

Abstract

提供一种双目视觉传感系统结构参数的标定方法，包括：利用左右相机的光心、左右相机的左右图像面以及被测物体上任一点建立对极几何关系；利用对极几何关系得出包含相机内部参数和系统结构参数的基础矩阵；分解基础矩阵得到左右相机的左右极点；利用左右极点信息分别计算左右旋转矩阵，左右相机分别以各自的光心、分别以左右旋转矩阵进行相机旋转校正，使得左右相机的光轴平行，同时分别以左右旋转矩阵旋转左相机的左图像面和右相机的右图像面，使左右图像面上的极线相互平行，由此使得空间物点在左右图像面上的坐标只有在x轴不同，在y轴和z轴相同；在旋转后的坐标系下根据标定板反求出左相机光心和右相机光心之间的连线的长度，完成所述标定。

Description

双目视觉传感系统结构参数的标定方法

技术领域

本发明涉及一种双目视觉传感系统的标定方法，属于视觉测量领域，特别适用于两个相机的光轴成夹角分布的双目传感系统的标定。

背景技术

视觉测量具有非接触、测速快、方便灵活等优点，在虚拟现实、工业检测等领域有着重要的意义和广阔的应用前景。在双目视觉传感系统中，标定视觉传感器的结构参数，即两个相机之间的位置关系，是视觉传感器进行三维测量的必要前提。

从双目视觉模型可知，双目视觉传感系统的标定是指相机的内部参数的标定和双目视觉传感系统的结构参数(外部参数)的标定。传统的双目视觉传感器结构参数的标定方法分为两大类，一类标定方法是内外参数一起标定，并且进行射影重建，这类标定方法可以用在计算机虚拟现实中，但是不适用于测量。另一类标定方法就是内外参数分开标定的欧式三维重建，这一类标定方法才能应用于测量。对于外部参数的标定目前有一种方法就是通过线性方程直接求解左右相机之间的旋转矩阵和平移矩阵，另一种方法就是利用基础矩阵来求解左右相机的旋转矩阵和平移矩阵，但是这两种方法都是基于代数方法，避免不了解线性方程带来的大量计算和引入的误差。

发明内容

本发明的目的在于提供一种双目视觉传感器结构参数的标定方法，具有计算简单、精度较高的优点。

根据本发明的一方面，提供一种双目视觉传感器结构参数的标定方法，该方法包括：利用左相机光心O_l、右相机光心O_r、左相机的左图像面、右相机的右图像面以及被测物体上任一点P建立对极几何关系；利用对极几何关系得出包含相机内部参数和系统结构参数的基础矩阵；通过分解基础矩阵分别得到左右相机的左右极点e_l和e_r；利用左右极点信息分别计算左右旋转矩阵R_l和R_r，左右相机分别以各自的光心O_l和O_r、分别以左右旋转矩阵R_l和R_r进行相机旋转校正，使得左右相机的光轴平行，同时分别以左右旋转矩阵R_l和R_r旋转左相机的左图像面和右相机的右图像面，使左右图像面上的极线相互平行，由此使得空间物点在左右图像面上的坐标只有在x轴不同，在y轴和z轴相同；在经过旋转校正后的坐标系下根据标定板反求出左相机光心O_l和右相机光心O_r之间的连线的长度，由此完成所述标定，其中，左右相机对所述标定板同时进行拍摄。

根据本发明的标定方法简单、快速，不需要复杂的计算和昂贵的标定辅助设备，可用于双目视觉传感系统的标定。

附图说明

通过结合附图，从下面的实施例的描述中，本发明这些和/或其它方面及优点将会变得清楚，并且更易于理解，其中：

图1示出了根据本发明的双目立体视觉和极线约束的示意图；

图2示出了根据本发明的共面约束的示意图；

图3示出了根据本发明的光轴相互平行的双目立体几何的示意图；

图4示出了根据本发明的由左相机拍摄的标定板左图像的示意图；

图5示出了根据本发明的由右相机拍摄的标定板右图像的示意图；

图6示出了根据本发明的双目视觉传感器结构参数的标定方法的流程图。

具体实施方式

现在将详细描述本发明的实施例，其示例在附图中示出，其中，相同的标号始终表示相同的部件。下面通过参照附图来描述实施例以解释本发明。

针对现有技术存在的问题，本发明引入了对极几何和基础矩阵的概念，但是仅仅利用双目相机之间的空间几何关系对双目视觉传感系统结构参数进行标定，这样避免了求解线性方程带来的大量计算和引入的误差。

本发明引入一种新的标定方法。该方法是在相机内部参数(包括畸变系数)已经知道的基础上，利用对极几何理论得出包含相机内部参数和系统结构参数的基础矩阵，通过分解基础矩阵可以得到双目相机的左右极点，利用左右极点信息计算左右旋转矩阵，以左右旋转矩阵旋转左右相机使光轴平行，同时以左右旋转矩阵旋转左右图像面使相应图像面上的极线相互平行、空间物点在左右图像面上的坐标只有x轴不同，y轴和z轴是相同的，然后利用三角关系就可以进行空间物点信息的三维重建。

下面参照图1至图3从理论上对双目视觉传感系统结构参数的标定方法进行详细说明，所述双目视觉传感系统包括左相机和右相机。

图1示出了根据本发明的双目立体视觉和极线约束的示意图。

如图1所示：O_l是左相机光心，O_r是右相机光心，P是被测物体上任一点。由O_l、O_r和P构成的平面称为极平面，左相机的左图像面和极平面的交线称为左极线L_l，右相机的右图像面和极平面的交线称为右极线L_r，O_l和O_r之间的连线称为基线，基线和左图像面的交点称为左极点e_l，基线和右图像面的交点称为右极点e_r。这种由左右图像面和极平面构成的描述相机之间存在关系的几何就是对极几何，它与场景结构无关，只依赖于相机的内外参数。本发明的标定方法就是基于这种关系建立起来的。

图2示出了根据本发明的共面约束的示意图。

如图2所示，T＝O_l-O_r是左右两个相机的平移矩阵，P_l、P_r是所述点P在左、右相机坐标系中左右图像面上的物理坐标系，在射影空间它们分别代表左右图像面上的齐次坐标系，在欧式空间它们分别是两个向量。Ol Or P决定了一个平面，由共面关系可知：

(P_l-T)^T(T×P_l)＝0

其中，P_r＝R(P_l-T)，R是左相机到右相机的旋转矩阵。

由以上两个公式可得出：

P_r ^TRSP_l＝0       (1)

其中： $S={\left[T\right]}_x=\left[\begin{array}{ccc}0& -T_z& T_y\\ T_z& 0& -T_x\\ -T_z& T_z& 0\end{array}\right],$ S为T的反对称矩阵。

令E＝RS，则E为本质矩阵，本质矩阵只与视觉传感系统的外部参数有关，秩为2，自由度为5。

设p_l和p_r是点P在左右相机图像面上的像素点坐标，K_l和K_r是左右图像的内部参数矩阵，则可得出：p_l＝K_lP_l和p_r＝K_rP_r，变换后得：

P_l＝K_l ^-1p_l，P_r＝K_r ^-1p_r

将上两式带入公式(1)，得出：p_r ^TK_r ^-TEK_l ^-1p_l＝0。

令F＝K_r ^-TEK_l ^-1，得出：

p_r ^TFp_l＝0      (2)

公式(2)中的F就是基础矩阵，它的秩为2，自由度为7，与视觉传感系统的内外参数都有关系。

根据基础矩阵可以计算左右极线和极点。具体地讲，根据射影几何的知识，点在一条直线上，则：p_r ^TL_r＝0，再结合公式(2)就可以得到右极线为：

L_r＝Fp_l

同理，可得到左极线为：L_l＝F^Tp_r

由于右极点在所有的右极线上：e_r ^TL_r＝e_r ^TFp_l＝0，可以得到：

F^Te_r＝0

同理，可得出：Fe_l＝0

将F和F^T进行齐次方程的奇异值分解，就可以解出左右极点。

得到左右极点的信息以后就可以求解出两个旋转矩阵R_l和R_r，左右相机分别以各自的光心、分别以左右旋转矩阵R_l和R_r进行相机旋转校正，旋转以后左右相机的方位相同，只有原点不重合，在左右相机中的左右图像面也以各自的旋转矩阵进行空间坐标变换。结果，空间点在左右相机中的坐标只有在x轴是不同的，在y和z轴是相同的，这样达到理想状态以后重建就变得非常简单。可求出下面的左右旋转矩阵R_l和R_r。

建立一个以O_l为原心的坐标系统(e_l1，e_l2，e_l3)，其中，左旋转矩阵 $R_l={\left[\begin{array}{ccc}{e}_{l1}^T& e_{l2}^T& e_{l3}^T\end{array}\right]}^T,$ 使左相机坐标系和图像面以此左旋转矩阵旋转。同时，建立一个以O_r为原心的坐标系统(e_r1，e_r2，e_r3)，其中，右旋转矩阵 $R_r={\left[\begin{array}{ccc}{e}_{r1}^T& e_{r2}^T& e_{r3}^T\end{array}\right]}^T,$ 使右相机坐标系和图像面以此右旋转矩阵旋转。

$e_{l1}=\frac{e_l}{\left|\right|e_l\left|\right|}=\frac{{[e_{\mathrm{lx}},e_{\mathrm{ly}},e_{\mathrm{lz}}]}^T}{\sqrt{e_{\mathrm{lx}}^2+e_{\mathrm{ly}}^2+e_{\mathrm{lz}}^2}}$

$e_{l2}=-\frac{{e_{l1}\×\left[\mathrm{0,0,1}\right]}^T}{\left|\right|e_{l1}\×z\left|\right|}=\frac{{[-e_{\mathrm{ly}},e_{\mathrm{lx}},0]}^T}{\sqrt{e_{\mathrm{lx}}^2+e_{\mathrm{ly}}^2}}$

e_l3＝e_l1×e_l2

其中，e_lx、e_ly、e_lz是左极点e_l在未旋转的左相机坐标系下的坐标，z＝(0 0 1)^T是在所述左相机坐标系中任取的一个向量。

$e_{r1}=-\frac{e_r}{\left|\right|e_r\left|\right|}=-\frac{{[e_{\mathrm{rx}},e_{\mathrm{ry}},e_{\mathrm{rz}}]}^T}{\sqrt{e_{\mathrm{rx}}^2+e_{\mathrm{ry}}^2+e_{\mathrm{rz}}^2}}$

$e_{r2}=-\frac{e_{r1}\×{[a,b,c]}^T}{\left|\right|e_{l1}\×z^{\′}\left|\right|}$

e_r3＝e_r1×e_r2

其中，e_rx、e_ry、e_rz是右极点e_r在未旋转的右相机坐标系下的坐标，z′＝(a b c)^T是z点对应的右极线L_z＝Fz上的任一点。

这样，就保证了相机旋转以后的共面性。经过以上两个矩阵的旋转，左右相机就旋转到了理想的状态。

此外，左右图像面的旋转是在归一化为物理坐标系下进行的，左右图像面上携带标定板空间信息的像素坐标是通过像素坐标系和物理坐标系之间的关系转化为归一化物理坐标系进行旋转的，这样旋转的图像面已经消除了左右相机内部参数的差异。在旋转以后再将左右相机乘以相同的理想内部参数，恢复图像面的像素坐标系。这样成像面已经被理想化，带来的好处就是空间点在左右图像面上所在的左右极线y轴的坐标相同。

这样，左右相机被理想化为内部参数相同、x轴重合、y和z轴分别平行的理想状态，如图3所示。

图3示出了根据本发明的光轴相互平行的双目立体几何的示意图。

设空间点P在O_l下的坐标系为(x，y，z)，在O_r下的坐标系为(x-b，y，z)，其中b为基线距离， $K=\left[\begin{array}{ccc}{\mathrm{\α}}_x& 0& u_0\\ 0& {\mathrm{\α}}_y& v_0\\ 0& 0& 1\end{array}\right]$ 为理想化的内部参数，则根据图像面上物理坐标系和像素坐标系之间的关系可得：

$\left\{\begin{array}{c}{u}_l-u_0={\mathrm{\α}}_x\frac{x}{z}\\ v_l-v_0={\mathrm{\α}}_y\frac{y}{z}\end{array}\right.$ $\left\{\begin{array}{c}{u}_r-u_0={\mathrm{\α}}_x\frac{x-b}{z}\\ v_r-v_0={\mathrm{\α}}_y\frac{y}{z}\end{array}\right.---\left(3\right)$

根据以上公式可以得到空间点P的三维坐标如下：

$\left\{\begin{array}{c}x=\frac{b(u_l-u_0)}{u_l-u_r}\\ y=\frac{b{\mathrm{\α}}_x(v_l-v_0)}{{\mathrm{\α}}_y(u_l-u_r)}\\ z=\frac{b{\mathrm{\α}}_x}{u_l-u_r}\end{array}\right.---\left(4\right)$

其中，x、y和z是物理坐标系，以mm为单位，u_l和v_l是左图像面上物体所成像的像素坐标，u_r和v_r是右图像面上物体所成像的像素坐标；K为内部参数，α_x＝f/d_x，α_y＝f/d_y，其中，f为相机的焦距，d_x和d_y分别为CCD的像素单位，即，一个像素的横向大小和纵向大小；(u₀，v₀)为主点(光轴和图像面的交点)在像素坐标系中的位置，内部参数以像素为单位。

从上述的推导可以看出，经过图像旋转校正的三维重建已经变得简单，计算量也大大降低。但是如果不求基线长度，则从公式(4)可以看出，求出来的物体三维坐标是相对的，所以在图像旋转校正之后再在经过旋转校正后的坐标系下根据标定板反求出基线的长度，这样就完成了标定。

下面描述根据标定板反求出基线的长度的示例性步骤。

标定板是一块尺寸具有很高精度的棋盘格，在该棋盘格的横排和竖排上分别布置有彼此黑白相间的方格。标定的整个过程可利用左右相机同时对标定板摄像，然后利用标定板的角点信息(棋盘格黑白相间的地方)来完成双目视觉传感系统标定(包括求解基础矩阵、基线长度等)。因此，利用标定板反求基线长度的步骤可包括：利用标定板的任意两个不同角点在左右相机同时拍摄的标定板左右图像中的像素坐标(在标定过程中左右相机可在不同角度同时拍摄多组标定板左右图像)，再利用前面提到的旋转校正后的坐标系下的三维重建来求出所述任意两个不同角点的三维坐标，此时求出的三维信息是相对的，即它们的长、宽、高都是与基线长度成正比的；然后求出上述任意两个不同角点之间的距离(因为知道三维坐标后可方便求出该距离)，此时求出的两个不同角点距离也是与基线长度成正比的一个相对距离，因为高精度的棋盘格两个不同角点之间的实际距离是可以得到的，所以利用上述两个距离相等就可反求出唯一的未知数，即，基线的长度。图4示出了根据本发明的由左相机拍摄的标定板左图像的示意图，图5示出了根据本发明的由右相机拍摄的标定板右图像的示意图，左右相机同时拍摄标定板左右图像。

图6示出了根据本发明的双目视觉传感器结构参数的标定方法的流程图。

参照图6，在步骤601，利用左相机光心O_l、右相机光心O_r、左相机的左图像面、右相机的右图像面以及被测物体上任一点P建立对极几何关系。

在步骤602，利用对极几何关系得出包含相机内部参数和系统结构参数的基础矩阵。

在步骤603，通过分解基础矩阵分别得到左右相机的左右极点e_l和e_r。

在步骤604，利用左右极点信息分别计算左右旋转矩阵R_l和R_r，左右相机分别以各自的光心O_l和O_r、分别以左右旋转矩阵R_l和R_r进行相机旋转校正，使得左右相机的光轴平行，同时分别以左右旋转矩阵R_l和R_r旋转左相机的左图像面和右相机的右图像面，使左右图像面上的极线相互平行，由此使得空间物点在左右图像面上的坐标只有在x轴不同，在y轴和z轴相同。

在步骤605，在理想坐标系下根据标定板反求出左相机光心O_l和右相机光心O_r之间的连线的距离，由此完成所述标定。

因此，根据本发明的标定方法只需要相机参数以及标定相机参数时用到的平面靶标图片角点坐标信息。利用对极几何计算包含双目相机位置关系的基础矩阵，通过分解基础矩阵得到左右图像面上的极点。然后利用左右极点信息分别计算左右旋转矩阵，使左右相机方位相同的，图像面上的极点位于无穷远处，极线相互平行。此后，可利用三角关系进行三维重建。根据本发明的结构参数的标定方法简单、快速，不需要复杂的计算和昂贵的标定辅助设备，可用于双目视觉传感系统的标定。

虽然已经参照本发明的示例性实施例具体描述和显示了本发明，但是本领域的普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节的各种改变。

Claims (3)

1.一种双目视觉传感系统结构参数的标定方法，所述双目视觉传感系统包括左相机和右相机，所述方法包括以下步骤：

利用左相机光心O_l、右相机光心O_r、左相机的左图像面、右相机的右图像面以及被测物体上任一点P建立对极几何关系；

利用对极几何关系得出包含相机内部参数和系统结构参数的基础矩阵；

通过分解基础矩阵分别得到左右相机的左右极点e_l和e_r；

利用左右极点信息分别计算左右旋转矩阵R_l和R_r，左右相机分别以各自的光心O_l和O_r、分别以左右旋转矩阵R_l和R_r进行相机旋转校正，使得左右相机的光轴平行，同时分别以左右旋转矩阵R_l和R_r旋转左相机的左图像面和右相机的右图像面，使左右图像面上的极线相互平行，由此使得空间物点在左右图像面上的坐标只有在x轴不同，在y轴和z轴相同；

在经过旋转校正后的坐标系下根据标定板反求出左相机光心O_l和右相机光心O_r之间的连线的长度，由此完成所述标定，其中，左右相机对所述标定板同时进行拍摄，

其中，由左相机光心O_l、右相机光心O_r和被测物体上所述一点P构成极平面，左相机的左图像面和极平面的交线构成左极线L_l，右相机的右图像面和极平面的交线构成右极线L_r，左相机光心O_l和右相机光心O_r之间的连线构成基线，基线和左图像面的交点构成左极点e_l，基线和右图像面的交点构成右极点e_r，由此建立对极几何关系，

其中，在利用左右极点信息分别计算左右旋转矩阵R_l和R_r的步骤中，建立一个以O_l为原心的坐标系统(e_l1，e_l2，e_l3)，其中，左旋转矩阵

建立一个以O_r为原心的坐标系统(e_r1，e_r2，e_r3)，其中，右旋转矩阵

其中， $e_{l1}=\frac{e_l}{\left|\right|e_l\left|\right|}=\frac{{[e_{\mathrm{lx}},e_{\mathrm{ly}},e_{\mathrm{lz}}]}^T}{\sqrt{e_{\mathrm{lx}}^2+e_{\mathrm{ly}}^2+e_{\mathrm{lz}}^2}},$

$e_{l2}=-\frac{e_{l1}\×{\left[\mathrm{0,0,1}\right]}^T}{\left|\right|e_{l1}\×z\left|\right|}=\frac{{[-e_{\mathrm{ly}},e_{\mathrm{lx}},0]}^T}{\sqrt{e_{\mathrm{lx}}^2+e_{\mathrm{ly}}^2}},$

e_l3＝e_l1×e_l2，

其中，e_lx、e_ly、e_lz是左极点e_l在未旋转的左相机坐标系下的坐标，z＝(0 0 1)^T是在所述左相机坐标系中任取的一个向量，

其中， $e_{r1}=-\frac{e_r}{\left|\right|e_r\left|\right|}=-\frac{{[e_{\mathrm{rx}},e_{\mathrm{ry}},e_{\mathrm{rz}}]}^T}{\sqrt{e_{\mathrm{rx}}^2+e_{\mathrm{ry}}^2+e_{\mathrm{rz}}^2}},$

$e_{r2}=-\frac{e_{r1}\×{[a,b,c]}^T}{\left|\right|e_{l1}\×z^{\′}\left|\right|},$

e_r3＝e_r1×e_r2，

其中，e_rx、e_ry、e_rz是右极点e_r在未旋转的右相机坐标系下的坐标，z′＝(a b c)^T是z点对应的右极线L_z＝Fz上的任一点。

2.根据权利要求1所述的双目视觉传感系统结构参数的标定方法，其中，根据标定板反求出所述连线的长度的步骤包括：

利用标定板上的任意两个不同角点在左右相机同时拍摄的标定板左右图像中的像素坐标，并利用旋转校正后的坐标系下的三维重建来求出所述任意两个不同角点的三维坐标；

根据所述任意两个不同角点的三维坐标求出所述任意两个不同角点的距离；

基于求出的所述任意两个不同角点的距离与标定板上的所述任意两个不同角点的实际距离相等的关系，反求出所述连线的长度。

3.根据权利要求1所述的双目视觉传感系统结构参数的标定方法，其中，通过对基础矩阵进行齐次方程的奇异值分解，得到左右极点e_l和e_r。

Images