CN105678785A - 一种激光与相机相对位姿关系的标定方法 - Google Patents

Abstract

本发明公开了一种标定激光和相机相对位姿的方法，涉及计算机视觉与图像处理领域。该方法包括以下步骤：安装激光器与相机，制作棋盘格标定板，定义世界坐标系、相机坐标系与图像坐标系，标定相机内参，将激光束打在标定板上并采集含有完整标定板的图像，提取图像上的激光点，计算激光点在相机坐标系下的坐标，计算激光束在相机坐标系下的直线方程，计算激光与相机坐标系的交点及夹角。本发明方法仅使用棋盘格标定板即能够测量激光与相机坐标系的相对位姿关系，可操作性好，测量精度高，且步骤简单。本发明提出的测量方法实用性较高，测量结果能应用于计算机视觉测量等领域。

Description

一种激光与相机相对位姿关系的标定方法

技术领域

本发明涉及计算机视觉与图像处理领域，具体涉及一种激光与相机相对位姿关系的标定方法，通过使用相机标定技术测量激光与相机坐标系的相对位姿关系。

背景技术

在复杂的场景中使用相机准确测量目标的大小、位置在工业测量中有着重要的应用，而通过在相机上固定激光发射装置，然后提取激光点在图像中的坐标，可以提供目标物体的附加信息，使视觉测量更易实现。在已知激光发射装置与相机相对位姿的前提下，我们可以更加有效的测量目标与相机间的三维位置关系。本发明新需要提出一种测量激光与相机坐标系之间的位置关系的方法，包括激光与相机坐标系各平面之间的夹角和交点坐标。

发明内容

本发明的目的在于针对上述现有技术中的问题，提供一种激光与相机相对位姿关系的标定方法，在已知激光与相机的相对位置信息的前提下，通过提取激光点在图像中的像素点坐标，通过计算机视觉的方法完成对目标位置、目标大小等的测量，操作简单，结果精确。

为了实现上述目的，本发明采用的技术方案包括以下步骤：

步骤一、将相机和激光器固定在一起，并保证它们的相对位置以及相机的内部参数不发生改变；定义相机坐标系O_C、世界坐标系O_W；对相机的内部参数进行标定，得到相机的内部参数矩阵 $A=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& I\end{array}\right],$ 其中(f_x,f_y)为相机的等效焦距，(u₀,v₀)为相机光心坐标；

步骤二、取标定板并正对于激光器发射出的激光束，打开激光，移动标定板，并始终使激光束的中心打在标定板上，用相机采集标定板的图像；建立图像坐标系，首先获得激光点在图像坐标系下的坐标D_i，之后通过相机成像模型求得激光点此时在相机坐标系下的坐标P_c1；然后将标定板由近及远放置在不同的位置下，重复上述步骤，按上述方法依次计算出激光点在各个距离位置下的坐标，记为P_c1,P_c2...P_cn；

步骤三、由各位置下激光点坐标P_c1,P_c2...P_cn拟合出激光束在相机坐标系下的直线方程：

$\frac{x-x_0}{m_0}=\frac{y-y_0}{n_0}=\frac{z-z_0}{p_0}$

其中，[x₀,y₀,z₀]为激光束直线上一点的坐标，[m₀,n₀,p₀]为激光束直线的方向向量；

由激光束在相机坐标系下的直线方程，即求得激光束与相机坐标系XOY平面、YOZ平面、XOZ平面的夹角及交点；结果如下：

${\mathrm{\θ}}_{XOY}={\cos }^{-1}\left(\frac{\sqrt{{m_0}^2+{n_0}^2}}{\sqrt{{m_0}^2+{n_0}^2+{p_0}^2}}\right)$

${\mathrm{\θ}}_{YOZ}={\cos }^{-1}\left(\frac{\sqrt{{n_0}^2+{p_0}^2}}{\sqrt{{m_0}^2+{n_0}^2+{p_0}^2}}\right)$

${\mathrm{\θ}}_{XOZ}={\cos }^{-1}\left(\frac{\sqrt{{m_0}^2+{p_0}^2}}{\sqrt{{m_0}^2+{n_0}^2+{p_0}^2}}\right)$

$P_{XOY}=\left[\begin{array}{c}\frac{-z_0}{p}*m_0+x_0\\ \frac{-z_0}{p}*n_0+y_0\\ 0\end{array}\right]$

$P_{YOZ}=\left[\begin{array}{c}0\\ \frac{-z_0}{p}*n_0+y_0\\ \frac{-z_0}{p}*p_0+z_0\end{array}\right]$

$P_{XOZ}=\left[\begin{array}{c}\frac{-z_0}{p}*m_0+x_0\\ 0\\ \frac{-z_0}{p}*p_0+z_0\end{array}\right]$

通过上式计算，完成激光束与相机坐标系夹角及交点的测量。

所述的标定板采用黑白格标定板，黑白格标定板的黑白方格数为11*10，边长为12mm。

固定相机不动，将标定板由近及远放在距离相机300mm、600mm、700mm、900mm、1100mm、1300mm处，将激光束照射在标定板上，使相机采集到的图像含有完整的标定板。

相机采集标定板的图像时，记录相机采集到的各距离下图像上激光点在图像坐标系下的坐标 $D_1=\left[\begin{array}{c}{u}_1\\ v_1\end{array}\right],D_2=\left[\begin{array}{c}{u}_2\\ v_2\end{array}\right],...,D_6=\left[\begin{array}{c}{u}_6\\ v_6\end{array}\right],$ 由D_i(i＝1,2,...,6)和相机的内部参数矩阵A计算出各个距离激光点的归一化坐标 $\left[\begin{array}{c}{x}_{ni}\\ y_{ni}\\ 1\end{array}\right]=A^{-1}*\left[\begin{array}{c}{D}_i\\ 1\end{array}\right],$ 则各距离下通过相机光心与激光点的直线方程为由采集到的标定板图像计算标定板与相机之间的内部参数，计算出标定板平面在各个位置时的平面方程a_i*x+b_i*y+c_i*z+d_i＝0。

所述平面方程的计算过程推导如下：在已知标定板方格边长的前提下，得到标定板上各方格顶点在世界坐标系下的坐标 $P_{Wb}=\left[\begin{array}{cccc}{X}_{Wb1}& X_{Wb2}& & X_{Wbn}\\ Y_{Wb1}& Y_{Wb2}& \mathrm{...}& Y_{Wbn}\\ 0& 0& & 0\end{array}\right],$ 其中 $\left[\begin{array}{c}{X}_{Wbi}\\ Y_{Wbi}\\ 0\end{array}\right]$ 为第i个顶点的世界坐标系坐标；并用标定工具计算出此时标定板相对于相机的外部参数[R_cT_c]，其中，R_c、T_c分别为标定板处世界坐标系相对于相机坐标系点的旋转矩阵与平移向量；若标定板上各方格顶点在相机坐标系下的坐标记为 $P_{Cb}=\left[\begin{array}{cccc}{X}_{Cb1}& X_{Cb2}& & X_{Cbn}\\ Y_{Cb1}& Y_{Cb2}& \mathrm{...}& Y_{Cbn}\\ Z_{Cb1}& Z_{Cb2}& & Z_{Cbn}\end{array}\right],$ $\left[\begin{array}{c}{X}_{Cbi}\\ Y_{Cbi}\\ Z_{Cbi}\end{array}\right]$ 为第i个顶点的相机坐标系坐标，则P_Cb＝R_c*P_Wb+T_c，式中相同符号的定义如上所述；由P_Cb拟合出标定板平面在相机坐标系下的平面方程为：a_i*x+b_i*y+c_i*z+d_i＝0。

根据各个距离下，通过相机光心与激光点的直线方程以及标定板的平面方程a_i*x+b_i*y+c_i*z+d_i＝0，求得各个位置下的激光点三维坐标，记为 $P_{c1}=\left[\begin{array}{c}{X}_1\\ Y_1\\ Z_1\end{array}\right],P_{c2}=\left[\begin{array}{c}{X}_2\\ Y_2\\ Z_2\end{array}\right],...,P_{c6}=\left[\begin{array}{c}{X}_6\\ Y_6\\ Z_6\end{array}\right],$ 其中： $P_{ci}=\left[\begin{array}{c}\frac{-d_i}{a_i*x_{ni}+b_i*y_{ni}+c_i}\\ \frac{-n*d_i}{a_i*x_{ni}+b_i*y_{ni}+c_i}\\ \frac{-m*d_i}{a_i*x_{ni}+b_i*y_{ni}+c_i}\end{array}\right]=\left[\begin{array}{c}{X}_i\\ Y_i\\ Z_i\end{array}\right].$

与现有技术相比，本发明采集不同位置的标定板图像，通过视觉方法，由相机内部参数、标定板与相机之间的外部参数计算出激光束打在标定板上的坐标，完成激光与相机坐标系夹角及交点的测量。本发明方法的优势在于：1、不需要使用任何复杂的光学仪器以及测量仪器。2、通过多个点的拟合能够排除因认为操作带来的干扰，找到准确的直线。3、传统方法往往测量的是激光与相机机械结构或者相机光学中心的相对关系，在图像测量领域仍然无法直接使用，而本发明直接建立了相机成像中心与激光器的关系，能够直接运用在所有位姿测量程序中，具有通用性。本发明克服了基于激光器与相机的视觉测量中不能准确测量激光与相机相对位姿的不足，具有可操作性好，测量精度高等优点，并且操作步骤简单，仅需一个标定板就能完成测量。本发明实用性较高，测量结果能够应用于计算机视觉测量等多种领域。

进步一步的，本发明标定板采用黑白格标定板，具有极易识别的图像模式，易于实现黑白格顶点的自动检测，能够实现较高精度定位，使用方法成熟，有助于提高后续测量的精度。

附图说明

图1本发明方法的流程图；

图2本发明实施装置示意图；

图3各坐标系定义及夹角定义示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参见图1，本实施例的实施步骤如下：

1、如图2所示，将摄像机和激光器固定在一起，并保证他们的相对位置与相机内参不再发生改变。制作标定板，黑白方格数为11*10，边长为12mm。这里不限于黑白格标定板，具有一定明显图形模式，且易于识别的平面物体均可，因为黑白格标定板比较常见，对黑白格顶点的定位精度较高，有助于提高后续测量的精度。如图3所示，定义相关坐标系：定义相机坐标系O_C、世界坐标系O_W，其中O_C、O_W均为右手坐标系。O_W坐标系的原点定义为标定板的左上角顶点，X轴方向为由原点沿着棋盘格的边向下，Y轴方向为由原点沿着棋盘格的边向右，Z轴方向为垂直于XOY平面指向相机；

2、对相机内参进行标定，得到相机内参矩阵 $A=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right],$ 其中(f_x,f_y)为相机的等效焦距，(u₀,v₀)为相机光心坐标；

3、固定相机不动，将标定板由近及远放在6个不同距离下，分别为300mm、600mm、700mm、900mm、1100mm、1300mm，将激光束照射在标定板上，使摄像机采集到的图像含有完整的标定板，如图2所示，采集图像，记录相机采集到的各个距离下的图像上激光点在图像坐标系下的坐标 $D_1=\left[\begin{array}{c}{u}_1\\ v_1\end{array}\right],D_2=\left[\begin{array}{c}{u}_2\\ v_2\end{array}\right],...,D_6=\left[\begin{array}{c}{u}_6\\ v_6\end{array}\right],$ 由D_i(i＝1,2,...,6)和内参A计算出各个距离激光点的归一化坐标 $\left[\begin{array}{c}{x}_{ni}\\ y_{ni}\\ 1\end{array}\right]=A^{-1}*\left[\begin{array}{c}{D}_i\\ 1\end{array}\right],$ 则各距离下通过相机光心与激光点的直线方程为由采集到的标定板图像计算标定板与相机之间的外参，计算出标定板平面在各个位置时的平面方程a_i*x+b_i*y+c_i*z+d_i＝0，该平面方程的计算过程推导如下；

4、在已知标定板上方格边长的前提下，易得标定板上各方格顶点在世界坐标系下的坐标，记为 $P_{Wb}=\left[\begin{array}{cccc}{X}_{Wb1}& X_{Wb2}& & X_{Wbn}\\ Y_{Wb1}& Y_{Wb2}& \mathrm{...}& Y_{Wbn}\\ 0& 0& & 0\end{array}\right],$ 并用标定工具计算出此时标定板相对于相机的外参[R_cT_c]，坐标系定义方式如图3所示，若标定板上各方格顶点在相机坐标系下的坐标记为 $P_{Cb}=\left[\begin{array}{cccc}{X}_{Cb1}& X_{Cb2}& & X_{Cbn}\\ Y_{Cb1}& Y_{Cb2}& \mathrm{...}& Y_{Cbn}\\ Z_{Cb1}& Z_{Cb2}& & Z_{Cbn}\end{array}\right],$ 则：P_Cb＝R_c*P_Wb+T_c(1)

由P_Cb拟合出标定板平面在相机坐标系下的平面方程为：

a_i*x+b_i*y+c_i*z+d_i＝0(2)

根据各个距离下，通过相机光心与激光点的直线方程和标定板的平面方程a_i*x+b_i*y+c_i*z+d_i＝0，即可求得各个位置下的激光点三维坐标，记为：

$P_{c1}=\left[\begin{array}{c}{X}_1\\ Y_1\\ Z_1\end{array}\right],P_{c2}=\left[\begin{array}{c}{X}_2\\ Y_2\\ Z_2\end{array}\right],...,P_{c6}=\left[\begin{array}{c}{X}_6\\ Y_6\\ Z_6\end{array}\right],$ 如图2所示，其中：

$P_{ci}=\left[\begin{array}{c}\frac{-d_i}{a_i*x_{ni}+b_i*y_{ni}+c_i}\\ \frac{-n*d_i}{a_i*x_{ni}+b_i*y_{ni}+c_i}\\ \frac{-m*d_i}{a_i*x_{ni}+b_i*y_{ni}+c_i}\end{array}\right]=\left[\begin{array}{c}{X}_i\\ Y_i\\ Z_i\end{array}\right]---\left(3\right)$

5、根据各个位置下的激光点坐标P_c1,P_c2...P_c6，对激光束进行直线拟合，求得激光束在相机坐标系下的直线方程

6、由激光束的直线方程分别计算其与相机坐标系XOY平面、YOZ平面、XOZ平面的夹角θ_XOY,θ_YOZ,θ_XOZ，交点P_XOY,P_YOZ,P_XOZ。其中激光束与XOZ平面的夹角θ_XOZ及交点P_XOZ如图3所示。各夹角及交点的计算公式为：

${\mathrm{\θ}}_{XOY}={\cos }^{-1}\left(\frac{\sqrt{{m_0}^2+{n_0}^2}}{\sqrt{{m_0}^2+{n_0}^2+{p_0}^2}}\right)$

${\mathrm{\θ}}_{YOZ}={\cos }^{-1}\left(\frac{\sqrt{{n_0}^2+{p_0}^2}}{\sqrt{{m_0}^2+{n_0}^2+{p_0}^2}}\right)$

${\mathrm{\θ}}_{XOZ}={\cos }^{-1}\left(\frac{\sqrt{{m_0}^2+{p_0}^2}}{\sqrt{{m_0}^2+{n_0}^2+{p_0}^2}}\right)$

$P_{XOY}=\left[\begin{array}{c}\frac{-z_0}{p}*m_0+x_0\\ \frac{-z_0}{p}*n_0+y_0\\ 0\end{array}\right]$

$P_{YOZ}=\left[\begin{array}{c}0\\ \frac{-z_0}{p}*n_0+y_0\\ \frac{-z_0}{p}*p_0+z_0\end{array}\right]$

$P_{XOZ}=\left[\begin{array}{c}\frac{-z_0}{p}*m_0+x_0\\ 0\\ \frac{-z_0}{p}*p_0+z_0\end{array}\right]$

本发明提出的测量方法通过在不同位置采集标定板图像就能够完成激光与相机坐标系夹角及交点的测量，克服了基于激光器与相机的视觉测量中不能准确测量激光与相机相对位姿的不足。本发明具有可操作性好，测量精度高等优点，且步骤简单，只需一个黑白格标定板就能完成测量。本发明的实用性较高，测量结果能应用于计算机视觉测量等领域。

Claims (6)

1.一种激光与相机相对位姿关系的标定方法，其特征在于，包括以下步骤：

步骤一、将相机和激光器固定在一起，并保证它们的相对位置以及相机的内部参数不发生改变；定义相机坐标系O_C、世界坐标系O_W；对相机的内部参数进行标定，得到相机的内部参数矩阵 $A=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right],$ 其中(f_x,f_y)为相机的等效焦距，(u₀,v₀)为相机光心坐标；

步骤二、取标定板并正对于激光器发射出的激光束，打开激光，移动标定板，并始终使激光束的中心打在标定板上，用相机采集标定板的图像；建立图像坐标系，首先获得激光点在图像坐标系下的坐标D_i，之后通过相机成像模型求得激光点此时在相机坐标系下的坐标P_c1；然后将标定板由近及远放置在不同的位置下，重复上述步骤，按上述方法依次计算出激光点在各个距离位置下的坐标，记为P_c1,P_c2…P_cn；

步骤三、由各位置下激光点坐标P_c1,P_c2…P_cn拟合出激光束在相机坐标系下的直线方程：

$\frac{x-x_0}{m_0}=\frac{y-y_0}{n_0}=\frac{z-z_0}{p_0}$

其中，[x₀,y₀,z₀]为激光束直线上一点的坐标，[m₀,n₀,p₀]为激光束直线的方向向量；

由激光束在相机坐标系下的直线方程，即求得激光束与相机坐标系XOY平面、YOZ平面、XOZ平面的夹角及交点；结果如下：

${\mathrm{\θ}}_{XOY}={\cos }^{-1}\left(\frac{\sqrt{{m_0}^2+{n_0}^2}}{\sqrt{{m_0}^2+{n_0}^2+{p_0}^2}}\right)$

${\mathrm{\θ}}_{YOZ}={\cos }^{-1}\left(\frac{\sqrt{{n_0}^2+{p_0}^2}}{\sqrt{{m_0}^2+{n_0}^2+{p_0}^2}}\right)$

${\mathrm{\θ}}_{XOZ}={\cos }^{-1}\left(\frac{\sqrt{{m_0}^2+{p_0}^2}}{\sqrt{{m_0}^2+{n_0}^2+{p_0}^2}}\right)$

$P_{XOY}=\left[\begin{array}{c}\frac{-z_0}{p}*m_0+x_0\\ \frac{-z_0}{p}*n_0+y_0\\ 0\end{array}\right]$

$P_{YOZ}=\left[\begin{array}{c}0\\ \frac{-z_0}{p}*n_0+y_0\\ \frac{-z_0}{p}*p_0+z_0\end{array}\right]$

$P_{XOZ}=\left[\begin{array}{c}\frac{-z_0}{p}*m_0+x_0\\ 0\\ \frac{-z_0}{p}*p_0+z_0\end{array}\right]$

通过上式计算，完成激光束与相机坐标系夹角及交点的测量。

2.根据权利要求1所述的激光与相机相对位姿关系的标定方法，其特征在于：所述的标定板采用黑白格标定板，黑白格标定板的黑白方格数为11*10，边长为12mm。

3.根据权利要求1所述的激光与相机相对位姿关系的标定方法，其特征在于：固定相机不动，将标定板由近及远放在六个不同的距离下，分别为300mm、600mm、700mm、900mm、1100mm、1300mm，将激光束照射在标定板上，使相机采集到的图像含有完整的标定板。

4.根据权利要求1所述的激光与相机相对位姿关系的标定方法，其特征在于：相机采集标定板的图像时，记录相机采集到的各距离下图像上激光点在图像坐标系下的坐标 $D_1=\left[\begin{array}{c}{u}_1\\ v_1\end{array}\right],D_2=\left[\begin{array}{c}{u}_2\\ v_2\end{array}\right],...,D_6=\left[\begin{array}{c}{u}_6\\ v_6\end{array}\right],$ 由D_i(i＝1,2,…,6)和相机的内部参数矩阵A计算出各个距离激光点的归一化坐标 $\left[\begin{array}{c}{x}_{ni}\\ y_{ni}\\ 1\end{array}\right]=A^{-1}*\left[\begin{array}{c}{D}_i\\ 1\end{array}\right],$ 则各距离下通过相机光心与激光点的直线方程为 $\frac{x}{x_{ni}}=\frac{y}{y_{ni}}=\frac{z}{1},$ 由采集到的标定板图像计算标定板与相机之间的内部参数，计算出标定板平面在各个位置时的平面方程a_i*x+b_i*y+c_i*z+d_i＝0。

5.根据权利要求4所述的激光与相机相对位姿关系的标定方法，其特征在于，所述平面方程的计算过程推导如下：在已知标定板方格边长的前提下，得到标定板上各方格顶点在世界坐标系下的坐标 $P_{Wb}=\left[\begin{array}{cccc}{X}_{Wb1}& X_{Wb2}& & X_{Wbn}\\ Y_{Wb1}& Y_{Wb2}& ...& Y_{Wbn}\\ 0& 0& & 0\end{array}\right],$ 其中 $\left[\begin{array}{c}{X}_{Wbi}\\ Y_{Wbi}\\ 0\end{array}\right]$ 为第i个顶点的世界坐标系坐标；并用标定工具计算出此时标定板相对于相机的外部参数[R_cT_c]，其中，R_c、T_c分别为标定板处世界坐标系相对于相机坐标系点的旋转矩阵与平移向量；若标定板上各方格顶点在相机坐标系下的坐标记为 $P_{Cb}=\left[\begin{array}{cccc}{X}_{Cb1}& X_{Cb2}& & X_{Cbn}\\ Y_{Cb1}& Y_{Cb2}& ...& Y_{Cbn}\\ Z_{Cb1}& Z_{Cb2}& & Z_{Cbn}\end{array}\right],$ $\left[\begin{array}{c}{X}_{Cbi}\\ Y_{Cbi}\\ Z_{Cbi}\end{array}\right]$ 为第i个顶点的相机坐标系坐标，则P_Cb＝R_c*P_Wb+T_c，式中相同符号的定义如上所述；由P_Cb拟合出标定板平面在相机坐标系下的平面方程为：a_i*x+b_i*y+c_i*z+d_i＝0。

6.根据权利要求5所述的激光与相机相对位姿关系的标定方法，其特征在于，根据各个距离下，通过相机光心与激光点的直线方程以及标定板的平面方程a_i*x+b_i*y+c_i*z+d_i＝0，求得各个位置下的激光点三维坐标，记为 $P_{c1}=\left[\begin{array}{c}{X}_1\\ Y_1\\ Z_1\end{array}\right],P_{c2}=\left[\begin{array}{c}{X}_2\\ Y_2\\ Z_2\end{array}\right],...,P_{c6}=\left[\begin{array}{c}{X}_6\\ Y_6\\ Z_6\end{array}\right],$ 其中： $P_{ci}=\left[\begin{array}{c}\frac{-d_i}{a_i*x_{ni}+b_i*y_{ni}+c_i}\\ \frac{-n*d_i}{a_i*x_{ni}+b_i*y_{ni}+c_i}\\ \frac{-m*d_i}{a_i*x_{ni}+b_i*y_{ni}+c_i}\end{array}\right]=\left[\begin{array}{c}{X}_i\\ Y_i\\ Z_i\end{array}\right].$