CN104484887A - 摄像机与二维激光测距仪联合使用时的外参数标定方法 - Google Patents

Abstract

本发明摄像机与二维激光测距仪联合使用时的外参数标定方法，涉及物体三维信息图像处理，是一种利用可折叠的标定板完成摄像机与二维激光测距仪联合使用时的外参数标定的方法，折叠式标定板是由矩形黑白小平面相间拼接成的可展开可折叠的长平面，使用时将其展开，展开的角度可自由调整；采用Matlab相机标定工具箱来进行摄像机内参数标定；构建摄像机与二维激光测距仪系统；放置折叠式标定板并选择系统最少采集信息次数完成标定；摄像机与二维激光测距仪分别采集和处理图像信息和二维信息；将处理后的摄像机信息与二维激光测距仪信息一一匹配进行联合标定；利用Levenberg-Marquardt算法优化标定结果，完成标定工作。

Description

摄像机与二维激光测距仪联合使用时的外参数标定方法

技术领域

本发明的技术方案涉及物体三维信息图像处理，具体地说是摄像机与二维激光测距仪联合使用时的外参数标定方法。

背景技术

摄像机与二维激光测距仪的联合应用已经十分广泛于三维信息获取、机器人运动信息和三维重建等技术中。二维激光测距仪可以直接测量到物体的二维信息，并且测量精度高，而摄像机能获得包括颜色和形状等信息的图片；如果能联合使用摄像机与二维激光测距仪，将它们的优点结合起来，将可以获得被测量物体更加丰富和全面的信息，并且提高测量的精确性和简化信息处理过程。然而，要将摄像机与二维激光测距仪联合使用，首先就要将摄像机与二维激光测距仪进行标定处理。

现有技术中，进行标定处理所用的标定板在应用于摄像机与二维激光测距仪标定时有着不少缺陷。如文献Q.Zhang and R.Pless,“Extrinsic calibration of a camera andlaser range finder(Improves camera calibration),”in IEEE/RSJ InternationalConference on Intelligent Robots and Systems,vol.3,2004,pp.2301–2306.提出了用棋盘格作为标定板。现在用的最多的也是zhang的方法，首先其完成一次标定最少需要5次棋盘格数据，使得测量过程繁琐；其次，由于标定过程需要计算摄像机外参数，当棋盘格距离摄像机距离较远时，其外参数计算很容易受到影响，棋盘格的摆放位置也会直接影响标定结果；再次，由于标定过程需要计算摄像机外参数，标定板又要放到较远的位置，一般距二维激光测距仪1～2米，这使得棋盘格标定板规格较大，不易于携带做室外测量实验；最后由于不同的二维激光测距仪的扫描角度不同，在放置标定板时要放置在合理的扫描角度内，这个放置位置需要多次实验验证，不合理要重新摆放。文献G.Li,Y.Liu,L.Dong,X.Cai,and D.Zhou,“An algorithm for extrinsic parameterscalibration of a camera and a laser range finder using line features,”in IEEE/RSJInternational Conference on Intelligent Robots and Systems,2007,pp.3854–3859.提出了用等腰直角三角形作为标定板，该方法也需要最少5次数据才能完成标定，并且该方法首先需要大致估计标定结果，用该结果作为初值，再利用建立的约束方程求解最终标定结果，导致估计的初值对最后标定结果影响较大。

发明内容

本发明所要解决的技术问题是：提供摄像机与二维激光测距仪联合使用时的外参数标定方法，利用可折叠的标定板完成摄像机与二维激光测距仪联合使用时的外参数标定，克服了现有技术测量过程繁琐、精确度较差、标定板规格较大不易于携带和标定过程中估计的初值对最后标定结果影响较大的缺陷。

本发明解决该技术问题所采用的技术方案是：摄像机与二维激光测距仪联合使用时的外参数标定方法，是一种利用可折叠的标定板完成摄像机与二维激光测距仪联合使用时的外参数标定的方法，步骤如下：

第一步，设计折叠式标定板：

摄像机与二维激光测距仪联合使用时的外参数标定方法中所用的标定板为折叠式标定板，是由2～10块50cm×30cm的矩形的黑白小平面相间拼接而成的一个长平面，该长平面可展开可折叠，使用时将其展开，展开的角度可自由调整；

第二步，采用Matlab相机标定工具箱来进行摄像机内参数标定：

摄像机采用的是针孔摄像机，准备一张黑白棋盘格的图片，规格为包括13×10个黑白棋盘格方格，每个黑白棋盘格的大小为2cm×2cm，用需要标定的摄像机从不同角度拍摄15张图片，进行角点检测，计算出需要标定的摄像机的内参数，内参数包括x轴和y轴的焦距f_x、f_y和成像主点(u₀,v₀)，内参数K为

$K=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right];$

第三步，构建摄像机与二维激光测距仪系统：

将第二步标定的摄像机与二维激光测距仪固定在一个需要联合使用的位置，一旦固定完成，该摄像机与二维激光测距仪的相对位置不能发生变化，固定完成后即摄像机与二维激光测距仪系统构建完成，待进行摄像机与二维激光测距仪联合使用时的外参数标定；

第四步，放置折叠式标定板，并选择系统最少采集信息次数完成标定：

将第一步设计好的折叠式标定板展开，放置在第三步构建的摄像机与二维激光测距仪系统前1～2米的位置，摄像机与二维激光测距仪系统每次采集信息，需要将折叠式标定板放置在不同位置，通过折叠式标定板的黑白小平面的个数来选择上述摄像机与二维激光测距仪系统完成标定所需要采集信息的次数，标定摄像机与二维激光测距仪最少需要8条黑白相间线，所用折叠式标定板有n≥2个黑白小平面,则需要采集8/(n-1)向上取整数次的信息完成标定，例：所用折叠式标定板有4个黑白小平面，则需要采集3次信息完成标定，所用折叠式标定板有9个黑白小平面，则需要采集1次信息完成标定；

第五步，摄像机与二维激光测距仪的联合使用，分别采集和处理图像信息和二维信息：

摄像机与二维激光测距仪系统开始工作，摄像机拍摄图像，二维激光测距仪扫描二维信息，设空间有一点P，则该点在摄像机坐标系下的坐标表示为P^C，该点在二维激光测距仪坐标系下表示为激光点P^L，该点在图像坐标系下的坐标表示为p,摄像机坐标系与二维激光测距仪坐标系的变换关系：P^C＝R·P^L+t其中R、t分别为两坐标系变换的旋转矩阵和平移向量即外参数，

将摄像机拍摄的图像导入计算机中，在matlab中对图像信息进行处理，通过hough变换直线检测算法来提取图像中黑白相间的直线l，每一条直线的方程都可以表示为ax+by+c＝0的形式，设l＝[a b c]，将直线方程的系数由向量l保存，上述的激光点P^L将位于该直线l上，

二维激光测距仪扫描距离信息，将数据导入计算机进行处理，设二维激光测距仪扫描到的距离为r，二维激光测距仪的坐标系x＝rcosθ,y＝rsinθ，z＝0，则二维激光测距仪坐标系的点坐标为激光点 $P^L=\left[\begin{array}{c}{x}^l\\ y^l\\ 0\end{array}\right],$ 由平面间空间几何关系，二维激光测距仪在平面检测到一系列点，其中黑白平面相间处即黑白相间的直线的点的y坐标会是极大值或极小值，将这些在黑白相间直线上的激光点提取出来，将这些激光点由向量P^L保存；

第六步，将处理后的摄像机信息与处理后的二维激光测距仪信息一一匹配，进行两者的联合标定：

将第五步处理后的摄像机信息与处理后的二维激光测距仪信息一一匹配，进行两者的联合标定，方法如下：

在图像坐标系中，图像上的点为 $p=\left[\begin{array}{c}u\\ v\end{array}\right],$ 则其齐次坐标表示为

$\tilde{p}=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right],$

图像坐标系与摄像机坐标系下的坐标变换关系为其中λ为尺度因子，K为第二步中求得的摄像机的内参数，P^C为点P在摄像机坐标系下的坐标，其坐标表示为

$P^C=\left[\begin{array}{c}{x}^c\\ y^c\\ z^c\end{array}\right],$

将第五步中计算机提取到的图像中黑白相间的直线l和检测到的位于该直线l上的激光点P^L一一对应匹配，摄像机坐标系与二维激光测距仪坐标系的变换关系为

P^C＝R·P^L+t，

其中R、t分别为两坐标系变换的旋转矩阵和平移向量，也即最终标定的结果，

$R=\left[\begin{array}{ccc}r1& r2& r3\end{array}\right],t=\left[\begin{array}{c}t1\\ t2\\ t3\end{array}\right]$

由于在二维激光坐标系中z^l＝0，所以二维激光坐标系中激光点P^L的齐次坐标表示为

$\tilde{p}=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right],$

则摄像机坐标系与二维激光测距仪坐标系的变换关系可表示为

$P^C=\left[\begin{array}{ccc}r1& r2& t\end{array}\right]\·{\tilde{P}}^L,$

因此图像坐标系与二维激光测距仪坐标系的变换关系可表示为

$\tilde{p}=\mathrm{\λ}\·K\·\left[\begin{array}{ccc}r1& r2& t\end{array}\right]\·{\tilde{P}}^L,$

图像上的点p在图像上的黑白相间的直线l上，则

$\left[\begin{array}{ccc}a& b& c\end{array}\right]\·\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=0,$

即可推导出： $\mathrm{\λ}\λ\mathrm{\λ}\·K\·\left[\begin{array}{ccc}r1& r2& t\end{array}\right]\·{\tilde{P}}^L=0,$ 其中H＝[r1 r2 t]为要求解的矩阵，该矩阵有9个参数，但由于该方程为齐次方程，所以只需要8组方程就可以求出矩阵H1＝[h1 h2 h3]，矩阵H1和要求解的矩阵H的关系为H＝s·H1，其中s为一个常数，由||r1||＝1，得||s·h1||＝1，s＝1/||h1||，解得H＝H1/||h1||；

第七步，利用Levenberg-Marquardt算法优化标定结果，完成标定工作：

由第六步中求得的激光点的齐次坐标为

${\tilde{P}}^L=\left[\begin{array}{c}{x}^l\\ y^l\\ 1\end{array}\right],$

其映射在图像上的点的齐次坐标为

$\tilde{p}=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right],$

设则λ＝1/||A(3)||，其中A(3)表示矩阵A的第三行，则两平面间的黑白相间线l，利用经过计算出的图像上的p到直线l的距离d最小，进行Levenberg-Marquardt非线性优化：

$\min \underset{i=1}{\overset{n}{\mathrm{\Σ}}}|l_i\·{\tilde{p}}_i|/\sqrt{l_i^2\left(1\right)+l_i^2\left(2\right)},$

用第六步求得的H作为初值进行非线性优化，优化后得到标定结果H，经过变换后即得到摄像机坐标系与二维激光测距仪坐标系的旋转矩阵R和平移向量t，该标定工作完成。

上述摄像机与二维激光测距仪联合使用时的外参数标定方法，所述折叠式标定板是由2～10块50cm×30cm的黑色矩形塑料板和白色矩形塑料板按顺序相间拼接而成。

上述摄像机与二维激光测距仪联合使用时的外参数标定方法，所述折叠式标定板有n≥2个黑白小平面，其中最优选择是n＝2～9。

上述摄像机与二维激光测距仪联合使用时的外参数标定方法，所述的摄像机、二维激光测距仪及其他设备均通过商购或其他公知途径获得。

本领域的普通技术人员能从本发明公开的摄像机与二维激光测距仪联合使用时的外参数标定方法的内容中直接导出或联想得到的所有其他变形的标定板和固定展开式标定板，均应认为是本发明的保护范围。

本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点是：让标定板的特征既在摄像机图像中得以体现，又在二维激光测距仪中获得其二维信息，二者建立约束关系，最终实现摄像机与二维激光测距仪联合使用时的外参数标定。

与现有技术相比，本发明的显著进步如下：

(1)本发明采用了折叠式标定板，可折叠，易于携带，方便外出实验。

(2)本发明采用的折叠式标定板，使用时可展开，展开的角度可以调整，可以实现自适应二维激光测距仪的扫描角度。

(3)本发明采用的折叠式标定板，在应用于标定过程中，不需要计算摄像机外参数，使得其摆放更自由，标定结果更精确。

(4)本发明可以根据使用需要自由设定折叠式标定板中的黑白小平面个数，以减少完成标定摄像机与二维激光测距仪系统所需要采集信息的次数，最少仅需采集一次信息即可完成标定，且标定过程中不需要估计初值，使得标定过程方便快速成功率高。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明方法的实施流程示意图。

图2-1为本发明的由9块标定板构成的折叠式标定板以较大角度展开示意图。

图2-2为本发明的由9块标定板构成的折叠式标定板以较小角度展开示意图。

图2-3为本发明的由5块标定板构成的折叠式标定板展开示意图。

图3-1为本发明的折叠式标定板折叠后的侧视图。

图3-2为本发明的折叠式标定板折叠后的俯视图。

图4为本发明方法的摄像机与二维激光测距仪外参数标定的原理示意图。

图5为本发明方法通过改变折叠式标定板展开角度自适应二维激光测距仪的扫描角度示意图。

图中，1.2.3.4.5.6.7.8.均为二维激光测距仪映射到黑白平面相间线上的点，l1.l2.13.14.15.16.17.l8.均为黑平面与白平面的相间线，Ⅰ.摄像机，Ⅱ.二维激光测距仪。

具体实施方式

图1所示实施例表明，本发明方法的实施流程是：设计折叠式标定板→采用Matlab相机标定工具箱来进行摄像机内参数标定→构建摄像机与二维激光测距仪系统→将折叠式标定板展开放置在摄像机与二维激光测距仪系统前1-2米位置，并选择系统最少采集信息次数完成标定→摄像机与二维激光测距仪的联合使用，分别采集和处理图像信息和二维信息→将处理后的摄像机信息与处理后的二维激光测距仪信息一一匹配，进行两者的联合标定→利用Levenberg-Marquardt算法优化标定结果，完成标定工作。

图2-1所示实施例显示了本发明方法的折叠式标定板以较大角度展开的外形，该标定板是由9块50cm×30cm的矩形塑料板拼接而成，将5块黑色塑料板和4块白色塑料板按照一黑一白的顺序相间拼接。

图2-2所示实施例显示了本发明方法的折叠式标定板以较小角度展开的外形，该标定板是由9块50cm×30cm的矩形塑料板拼接而成，将5块黑色塑料板和4块白色塑料板按照一黑一白的顺序相间拼接。

图2-1和图2-2所示实施例表明，本发明的折叠式标定板可以展开不同的角度。

图2-3所示实施例显示了本发明方法的折叠式标定板是由5块50cm×30cm的矩形塑料板拼接而成，将3块黑色塑料板和2块白色塑料板按照一黑一白的顺序相间拼接。

图3-1和图3-2所示实施例显示本发明的折叠式标定板经折叠后易于携带，方便外出使用。

图4所示实施例表明，本发明方法的摄像机与二维激光测距仪外参数标定的原理是：

摄像机Ⅰ与二维激光测距仪Ⅱ系统开始工作，摄像机Ⅰ拍摄图像，二维激光测距仪Ⅱ扫描二维信息。将摄像机Ⅰ拍摄的图像导入计算机中，在matlab中对图片信息进行处理，通过hough变换直线检测算法来提取图像中黑白相间的直线l，如图4所示，提取8条直线，即l1、l2、13、14、15、16、17和l8，均为黑平面与白平面的相间线，分别可以表示为li(i＝1,2,...8)。每一条直线的方程都可以表示为ax+by+c＝0的形式，设l＝[a b c]，将直线方程的系数由向量l保存。

二维激光测距仪Ⅱ扫描二维信息，将数据导入计算机进行处理，设二维激光测距仪扫描到的距离为r，如图4所示，二维激光测距仪的坐标系x＝rcosθ,y＝rsinθ，z＝0，则二维激光坐标系的点坐标为 $P^L=\left[\begin{array}{c}{x}^l\\ y^l\\ 0\end{array}\right],$ 由平面间空间几何关系，二维激光测距仪在黑平面与白平面相间线上检测的激光点，即图4中黑白点1、2、3、4、5、6、7和8，这些两个平面相间处的点的y坐标会是极大值或极小值，将这些在相间线上的激光点提取出来，分别表示为P_i ^L(其中i＝1,2,...8)，将这些点由向量P^L保存。

图5所示实施例表明，本发明方法通过改变标定板展开角度自适应二维激光测距仪的扫描角度的方法是：当二维激光测距仪扫描角度较小时，可以通过减小标定板的展开角度来调整适应二维激光测距仪的扫描角度。

摄像机Ⅰ与二维激光测距仪Ⅱ系统开始工作，摄像机Ⅰ拍摄图像，二维激光测距仪Ⅱ扫描二维信息。将摄像机Ⅰ拍摄的图像导入计算机中，在matlab中对图片信息进行处理，通过hough变换直线检测算法来提取图像中黑白相间的直线l，如图5所示，提取8条直线，即l1、l2、13、14、15、16、17和l8，均为黑平面与白平面的相间线，分别可以表示为li(i＝1,2,...8)。每一条直线的方程都可以表示为ax+by+c＝0的形式，设l＝[a b c]，将直线方程的系数由向量l保存。

二维激光测距仪Ⅱ扫描二维信息，将数据导入计算机进行处理，设二维激光测距仪扫描到的距离为r，如图5所示，二维激光测距仪的坐标系x＝rcosθ,y＝rsinθ，z＝0，则二维激光坐标系的点坐标为 $P^L=\left[\begin{array}{c}{x}^l\\ y^l\\ 0\end{array}\right],$ 由平面间空间几何关系，二维激光测距仪在黑平面与白平面相间线上检测的激光点，即图5中黑白点1、2、3、4、5、6、7和8，这些两个平面相间处的点的y坐标会是极大值或极小值，将这些在相间线上的激光点提取出来，分别表示为P_i ^L(其中i＝1,2,...8)，将这些点由向量P^L保存。

实施例1

第一步，设计折叠式标定板：

摄像机与二维激光测距仪联合使用时的外参数标定方法中所用的标定板为折叠式标定板，是由5块50cm×30cm的矩形塑料板的黑白小平面相间拼接而成的一个长平面，该长平面可展开可折叠，使用时将其展开，展开的角度可自由调整；

第二步，采用Matlab相机标定工具箱来进行摄像机内参数标定：

摄像机采用的是针孔摄像机，准备一张黑白棋盘格的图片，规格为包括13×10个黑白棋盘格方格，每个黑白棋盘格的大小为2cm×2cm，用需要标定的摄像机从不同角度拍摄15张图片，进行角点检测，计算出需要标定的摄像机的内参数，内参数包括x轴和y轴的焦距f_x、f_y和成像主点(u₀,v₀)，内参数K为

$K=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right];$

第三步，构建摄像机与二维激光测距仪系统：

将第二步标定的摄像机与二维激光测距仪固定在一个需要联合使用的位置，一旦固定完成，该摄像机与二维激光测距仪的相对位置不能发生变化，固定完成后即摄像机与二维激光测距仪系统构建完成，待进行摄像机与二维激光测距仪联合使用时的外参数标定；

第四步，放置折叠式标定板，并选择系统最少采集信息次数完成标定：

将第一步设计好的折叠式标定板展开，放置在第三步构建的摄像机与二维激光测距仪系统前1米的位置，摄像机与二维激光测距仪系统每次采集信息，需要将折叠式标定板放置在不同位置，通过折叠式标定板的黑白小平面的个数来选择上述摄像机与二维激光测距仪系统完成标定所需要采集信息的次数，标定摄像机与二维激光测距仪最少需要8条黑白相间线，本实施例折叠式标定板有5个黑白小平面,则需要采集2次信息完成标定；

第五步，摄像机与二维激光测距仪的联合使用，分别采集和处理图像信息和二维信息：

摄像机与二维激光测距仪系统开始工作，摄像机拍摄图像，二维激光测距仪扫描二维信息，设空间有一点P，则该点在摄像机坐标系下的坐标表示为P^C，该点在二维激光测距仪坐标系下表示为激光点P^L，该点在图像坐标系下的坐标表示为p,摄像机坐标系与二维激光测距仪坐标系的变换关系：P^C＝R·P^L+t其中R、t分别为两坐标系变换的旋转矩阵和平移向量即外参数，

将摄像机拍摄的图像导入计算机中，在matlab中对图像信息进行处理，通过hough变换直线检测算法来提取图像中黑白相间的直线l，每一条直线的方程都可以表示为ax+by+c＝0的形式，设l＝[a b c]，将直线方程的系数由向量l保存，上述的激光点P^L将位于该直线l上，

二维激光测距仪扫描距离信息，将数据导入计算机进行处理，设二维激光测距仪扫描到的距离为r，二维激光测距仪的坐标系x＝rcosθ,y＝rsinθ，z＝0，则二维激光测距仪坐标系的点坐标为激光点 $P^L=\left[\begin{array}{c}{x}^l\\ y^l\\ 0\end{array}\right],$ 由平面间空间几何关系，二维激光测距仪在平面检测到一系列点，其中黑白平面相间处即黑白相间的直线的点的y坐标会是极大值或极小值，将这些在黑白相间直线上的激光点提取出来，将这些激光点由向量P^L保存；

第六步，将处理后的摄像机信息与处理后的二维激光测距仪信息一一匹配，进行两者的联合标定：

将第五步处理后的摄像机信息与处理后的二维激光测距仪信息一一匹配，进行两者的联合标定，方法如下：

在图像坐标系中，图像上的点为 $p=\left[\begin{array}{c}u\\ v\end{array}\right],$ 则其齐次坐标表示为

$\tilde{p}=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right],$

图像坐标系与摄像机坐标系下的坐标变换关系为其中λ为尺度因子，K为第二步中求得的摄像机的内参数，P^C为点P在摄像机坐标系下的坐标，其坐标表示为

$P^C=\left[\begin{array}{c}{x}^c\\ y^c\\ z^c\end{array}\right],$

将第五步中计算机提取到的图像中黑白相间的直线l和检测到的位于该直线l上的激光点P^L一一对应匹配，摄像机坐标系与二维激光测距仪坐标系的变换关系为

P^C＝R·P^L+t，

其中R、t分别为两坐标系变换的旋转矩阵和平移向量，也即最终标定的结果，

$R=\left[\begin{array}{ccc}r1& r2& r3\end{array}\right],t=\left[\begin{array}{c}t1\\ t2\\ t3\end{array}\right]$

由于在二维激光坐标系中z^l＝0，所以二维激光坐标系中激光点P^L的齐次坐标表示为

${\tilde{P}}^L=\left[\begin{array}{c}{x}^l\\ y^l\\ 1\end{array}\right],$

则摄像机坐标系与二维激光测距仪坐标系的变换关系可表示为

$P^C=\left[\begin{array}{ccc}r1& r2& t\end{array}\right]\·{\tilde{P}}^L,$

因此图像坐标系与二维激光测距仪坐标系的变换关系可表示为

$\tilde{p}=\mathrm{\λ}\·K\·\left[\begin{array}{ccc}r1& r2& t\end{array}\right]\·{\tilde{P}}^L,$

图像上的点p在图像上的黑白相间的直线l上，则

$\left[\begin{array}{ccc}a& b& c\end{array}\right]\·\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=0,$

即可推导出： $\mathrm{\λ}\λ\mathrm{\λ}\·K\·\left[\begin{array}{ccc}r1& r2& t\end{array}\right]\·{\tilde{P}}^L=0,$ 其中H＝[r1 r2 t]为要求解的矩阵，该矩阵有9个参数，但由于该方程为齐次方程，所以只需要8个组方程就可以求出矩阵H1＝[h1 h2 h3]，矩阵H1和要求解的矩阵H的关系为H＝s·H1，其中s为一个常数，由||r1||＝1，得||s·h1||＝1，s＝1/||h1||，解得H＝H1/||h1||；

第七步，利用Levenberg-Marquardt算法优化标定结果，完成标定工作：

由第六步中求得的激光点的齐次坐标为

${\tilde{P}}^L=\left[\begin{array}{c}{x}^l\\ y^l\\ 1\end{array}\right],$

其映射在图像上的点的齐次坐标为

$\tilde{p}=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right],$

设则λ＝1/||A(3)||，其中A(3)表示矩阵A的第三行，则两平面间的黑白相间线l，利用经过计算出的图像上的p到直线l的距离d最小，进行Levenberg-Marquardt非线性优化：

$\min \underset{i=1}{\overset{n}{\mathrm{\Σ}}}|l_i\·{\tilde{p}}_i|/\sqrt{l_i^2\left(1\right)+l_i^2\left(2\right)},$

用第六步求得的H作为初值进行非线性优化，优化后得到标定结果H，经过变换后即得到摄像机坐标系与二维激光测距仪坐标系的旋转矩阵R和平移向量t，该标定工作完成。实施例2

除由2块50cm×30cm的矩形的黑白小平面相间拼接而成的一个长平面，折叠式标定板有2个黑白小平面需要采集8次信息完成标定之外，其他同实施例1。

实施例3

除由4块50cm×30cm的矩形的黑白小平面相间拼接而成的一个长平面，折叠式标定板有4个黑白小平面,需要采集3次信息完成标定之外，其他同实施例1。

实施例4

除由9块50cm×30cm的矩形的黑白小平面相间拼接而成的一个长平面，折叠式标定板有9个黑白小平面，需要采集1次信息完成标定之外，其他同实施例1。

实施例5

除由10块50cm×30cm的矩形的黑白小平面相间拼接而成的一个长平面，折叠式标定板有10个黑白小平面，需要采集1次信息完成标定之外，其他同实施例1。

Claims (3)

1.摄像机与二维激光测距仪联合使用时的外参数标定方法，其特征在于：是一种利用可折叠的标定板完成摄像机与二维激光测距仪联合使用时的外参数标定的方法，步骤如下：

第一步，设计折叠式标定板：

摄像机与二维激光测距仪联合使用时的外参数标定方法中所用的标定板为折叠式标定板，是由2～10块50cm×30cm的矩形的黑白小平面相间拼接而成的一个长平面，该长平面可展开可折叠，使用时将其展开，展开的角度可自由调整；

第二步，采用Matlab相机标定工具箱来进行摄像机内参数标定：

摄像机采用的是针孔摄像机，准备一张黑白棋盘格的图片，规格为包括13×10个黑白棋盘格方格，每个黑白棋盘格的大小为2cm×2cm，用需要标定的摄像机从不同角度拍摄15张图片，进行角点检测，计算出需要标定的摄像机的内参数，内参数包括x轴和y轴的焦距f_x、f_y和成像主点(u₀,v₀)，内参数K为

$K=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right];$

第三步，构建摄像机与二维激光测距仪系统：

将第二步标定的摄像机与二维激光测距仪固定在一个需要联合使用的位置，一旦固定完成，该摄像机与二维激光测距仪的相对位置不能发生变化，固定完成后即摄像机与二维激光测距仪系统构建完成，待进行摄像机与二维激光测距仪联合使用时的外参数标定；

第四步，放置折叠式标定板，并选择系统最少采集信息次数完成标定：

将第一步设计好的折叠式标定板展开，放置在第三步构建的摄像机与二维激光测距仪系统前1～2米的位置，摄像机与二维激光测距仪系统每次采集信息，需要将折叠式标定板放置在不同位置，通过折叠式标定板的黑白小平面的个数来选择上述摄像机与二维激光测距仪系统完成标定所需要采集信息的次数，标定摄像机与二维激光测距仪最少需要8条黑白相间线，所用折叠式标定板有n≥2个黑白小平面,则需要采集8/(n-1)向上取整数次的信息完成标定，例：折叠式标定板有4个黑白小平面则需要采集3次信息完成标定，折叠式标定板有9个黑白小平面则需要采集1次信息完成标定；

第五步，摄像机与二维激光测距仪的联合使用，分别采集和处理图像信息和二维信息：

摄像机与二维激光测距仪系统开始工作，摄像机拍摄图像，二维激光测距仪扫描二维信息，设空间有一点P，则该点在摄像机坐标系下的坐标表示为P^C，该点在二维激光测距仪坐标系下表示为激光点P^L，该点在图像坐标系下的坐标表示为p,摄像机坐标系与二维激光测距仪坐标系的变换关系：P^C＝R·P^L+t其中R、t分别为两坐标系变换的旋转矩阵和平移向量即外参数，

将摄像机拍摄的图像导入计算机中，在matlab中对图像信息进行处理，通过hough变换直线检测算法来提取图像中黑白相间的直线l，每一条直线的方程都可以表示为ax+by+c＝0的形式，设l＝[a b c]，将直线方程的系数由向量l保存，上述的激光点P^L将位于该直线l上，

二维激光测距仪扫描距离信息，将数据导入计算机进行处理，设二维激光测距仪扫描到的距离为r，二维激光测距仪的坐标系x＝rcosθ,y＝rsinθ，z＝0，则二维激光测距仪坐标系的点坐标为激光点 $P^L=\left[\begin{array}{c}{x}^l\\ y^l\\ 0\end{array}\right],$ 由平面间空间几何关系，二维激光测距仪在平面检测到一系列点，其中黑白平面相间处即黑白相间的直线的点的y坐标会是极大值或极小值，将这些在黑白相间直线上的激光点提取出来，将这些激光点由向量P^L保存；

第六步，将处理后的摄像机信息与处理后的二维激光测距仪信息一一匹配，进行两者的联合标定：

将第五步处理后的摄像机信息与处理后的二维激光测距仪信息一一匹配，进行两者的联合标定，方法如下：

在图像坐标系中，图像上的点为 $p=\left[\begin{array}{c}u\\ v\end{array}\right],$ 则其齐次坐标表示为

$\tilde{p}=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right],$

图像坐标系与摄像机坐标系下的坐标变换关系为其中λ为尺度因子，K为第二步中求得的摄像机的内参数，P^C为点P在摄像机坐标系下的坐标，其坐标表示为

$P^C=\left[\begin{array}{c}{x}^c\\ y^c\\ z^c\end{array}\right],$

将第五步中计算机提取到的图像中黑白相间的直线l和检测到的位于该直线l上的激光点P^L一一对应匹配，摄像机坐标系与二维激光测距仪坐标系的变换关系为

P^C＝R·P^L+t，

其中R、t分别为两坐标系变换的旋转矩阵和平移向量，也即最终标定的结果，

$R=\left[\begin{array}{ccc}r1& r2& r3\end{array}\right],t=\left[\begin{array}{c}t1\\ t2\\ t3\end{array}\right]$

由于在二维激光坐标系中z^l＝0，所以二维激光坐标系中激光点P^L的齐次坐标表示为

${\tilde{P}}^L=\left[\begin{array}{c}{x}^l\\ y^l\\ 1\end{array}\right],$

则摄像机坐标系与二维激光测距仪坐标系的变换关系可表示为

$P^C=\left[\begin{array}{ccc}r1& r2& t\end{array}\right]\·{\tilde{P}}^L,$

因此图像坐标系与二维激光测距仪坐标系的变换关系可表示为

$\tilde{p}=\mathrm{\λ}\·K\·\left[\begin{array}{ccc}r1& r2& t\end{array}\right]\·{\tilde{P}}^L,$

图像上的点p在图像上的黑白相间的直线l上，则

$\left[\begin{array}{ccc}a& b& c\end{array}\right]\·\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=0,$

即 $l\·\tilde{p}=0,$ 可推导出： $l\·\mathrm{\λ}\·K\·\left[\begin{array}{ccc}r1& r2& t\end{array}\right]\·{\tilde{P}}^L=0,$ 其中 $H=\left[\begin{array}{ccc}r1& r2& t\end{array}\right]$ 为要求解的矩阵，该矩阵有9个参数，但由于该方程为齐次方程，所以只需要8组方程就可以求出矩阵 $H1=\left[\begin{array}{ccc}h1& h2& h3\end{array}\right],$ 矩阵H1和要求解的矩阵H的关系为H＝s·H1，其中s为一个常数，由||r1||＝1，得||s·h1||＝1，s＝1/||h1||，解得H＝H1/||h1||；

第七步，利用Levenberg-Marquardt算法优化标定结果，完成标定工作：

由第六步中求得的激光点的齐次坐标为

${\tilde{P}}^L=\left[\begin{array}{c}{x}^l\\ y^l\\ 1\end{array}\right],$

其映射在图像上的点的齐次坐标为

$\tilde{p}=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right],$

设则λ＝1/||A(3)||，其中A(3)表示矩阵A的第三行，则两平面间的黑白相间线l，利用经过计算出的图像上的p到直线l的距离d最小，进行Levenberg-Marquardt非线性优化：

$\min \underset{i=1}{\overset{n}{\mathrm{\Σ}}}|l_i\·{\tilde{p}}_i|/\sqrt{l_i^2\left(1\right)+l_i^2\left(2\right)},$

用第六步求得的H作为初值进行非线性优化，优化后得到标定结果H，经过变换后即得到摄像机坐标系与二维激光测距仪坐标系的旋转矩阵R和平移向量t，该标定工作完成。

2.根据权利要求1所述摄像机与二维激光测距仪联合使用时的外参数标定方法，其特征在于：所述折叠式标定板是由2～10块50cm×30cm的黑色矩形塑料板和白色矩形塑料板按顺序相间拼接而成。

3.根据权利要求1所述摄像机与二维激光测距仪联合使用时的外参数标定方法，其特征在于：所述折叠式标定板有n≥2个黑白小平面，其中n＝2～9。