CN109633612A - 一种无共同观测的单线激光雷达与相机外参标定方法 - Google Patents

Abstract

本发明公开了一种无共同观测的单线激光雷达与相机外参标定方法，包括获得单线激光雷达坐标系与移动机器人坐标系在X、Y方向的偏移量、获得单线激光雷达与移动机器人的偏转角，获得相机与移动机器人在X、Y方向的偏移量、获得相机与移动机器人的偏转角；最终获得单线激光雷达与相机之间的外参。本发明无需通过装配方法得到无共同观测单线激光雷达与相机外参，标定精度高。

Description

一种无共同观测的单线激光雷达与相机外参标定方法

技术领域

本发明涉及物流机器人领域，更具体的说，它涉及一种无共同观测的单线激光雷达与相机外参标定方法。

背景技术

在物流机器人领域中，常用单线激光雷达进行定位导航，用单目相机识别货架上的二维码进行精准定位。在进行激光雷达数据与相机数据融合时，需要统一坐标系，获得单线激光雷达与相机的外参。

单线激光雷达与相机的外参标定包括共同观测和无共同观测，共同观测是指雷达扫描方向与相机的拍摄方向相同，无共同观测是指雷达扫描方向与相机的拍摄方向不相同。现有的单线激光雷达与相机外参标定方法一般都是针对雷达与相机存在共同观测。对于无共同观测的雷达与外参标定，一般通过机械装配的方法得到雷达与相机的外参，但是由于装配误差的存在，导致雷达与相机之间的外参与机械装配之间的外参存在一定偏差。

发明内容

本发明的目的在于提供一种精确度高的无共同观测的单线激光雷达与相机外参标定方法。

本发明解决其技术问题所采用的技术方案是：一种无共同观测的单线激光雷达与相机外参标定方法，包括以下步骤：

步骤1：移动机器人包括机器人本体、单线激光雷达和相机，单线激光雷达位于机器人本体的侧部，相机位于机器人本体的顶部，将标志物放置于移动机器人周围，标志物位于单线激光雷达扫描覆盖的区域内；

步骤2：确定标志物顶点位置，建立单线激光雷达坐标系，移动机器人自转，拾取标志物顶点在单线激光雷达坐标系下的系列坐标值，采用圆拟合系列坐标值，获得单线激光雷达与移动机器人在X、Y方向的偏移量；

步骤3：移动机器人直线运动，单线激光雷达扫描标志物，拾取标志物顶点在单线激光雷达坐标系下的系列坐标值，采用直线拟合系列坐标值，获得单线激光雷达与移动机器人的偏转角；

步骤4：在移动机器人上方放置棋盘格标定板，棋盘格标定板位于相机视野覆盖的区域内，建立棋盘格标定板坐标系，确定棋盘格标定板原点，移动机器人自转，建立相机坐标系，相机拍摄棋盘格，拾取棋格标定板角点在图像坐标系下的系列像素坐标值，建立3D-2D的坐标转换，得到棋盘格坐标系与相机坐标系之间的外参，获得棋盘格标定板原点在相机坐标系下的系列坐标值，取X，Y方向的二维系列坐标值，利用圆拟合二维系列坐标值，获得相机与移动机器人在X、Y方向的偏移量；

步骤5：移动机器人直线运动，相机拍摄棋盘格标定板，拾取棋盘格标定板角点在图像坐标系下的系列像素坐标值，建立3D-2D的坐标转换，得到棋盘格坐标系与相机坐标系之间的外参，获得棋盘格标定板原点在相机坐标系下的系列坐标值，取X，Y方向的二维系列坐标值，利用直线拟合二维系列坐标值，获得相机与移动机器人的偏转角；

步骤6：根据单线激光雷达与移动机器人之间的外参以及相机与移动机器人之间的外参，通过坐标转换得到单线激光雷达与相机之间的外参。

进一步，步骤2中，拟合圆的表达式为：

其中，O_w：标志物顶点；标志物顶点O_w在单线激光雷达坐标系下的系列坐标值；O_r：移动机器人中心点；为移动机器人坐标系与单线激光雷达坐标系在X，Y方向的偏移量。

进一步，步骤4中，拟合圆的表达式为：

其中，O_B：棋盘格标定板原点；点O_B在相机坐标系下的系列坐标值；O_r：移动机器人中心点；移动机器人坐标系与相机坐标系在X，Y方向的偏移量。

进一步，标定相机内参和畸变参数，获得相机的内参和畸变参数。

进一步，步骤4和5中，拾取棋盘格标定板角点在图像坐标系下的系列像素坐标值的方法为：

步骤5.1：相机拍摄棋盘格标定板，获得多幅图像，根据标定得到的相机内参与畸变系数对多幅图像进行去畸变处理；去畸变的目的是因为相机拍摄的照片存在失真，通过去畸变提高标定的精度。

步骤5.2：提取棋盘格角点，确定角点在棋盘格标定板坐标系下的坐标以及角点的像素坐标。

步骤5.3：建立空间3D点到2D点的投影关系，表达式如下：

式中，为角点在棋盘格标定板坐标系下的坐标，(u_i，v_i)为角点在图像上的像素坐标，i是角点的序号，t₁～t₁₂：代表相机坐标系与棋盘格坐标系之间的外参，t₁、t₂、t₃、t₅、t₆、t₇、t₉、t₁₀、t₁₁表示旋转，t₄、t₈、t₁₂表示平移。

步骤5.4：利用PNP算法求解得到棋盘格标定板坐标系与相机坐标系之间的外参。

本发明的优点在于：无需通过装配方法得到无共同观测单线激光雷达与相机外参，标定精度高。

附图说明

图1为移动机器人的结构示意图。

图2为单线激光雷达与相机相对位姿示意图。

图3为单线激光雷达与标志物位置示意图。

图4为反光标志物示意图。

图5为移动机器人扫描反光标志物示意图。

图6为移动机器人相机拍摄标定板示意图。

图7为标定板示意图。

图中标识：机器人本体1、单线激光雷达2、相机3。

具体实施方式

下面结合附图和具体实施方式对本发明进一步说明。

为保证单线激光雷达与相机协同工作，需要统一坐标系。通过标定单线激光雷达与移动机器人坐标系的外参(x₁，y₁，θ₁)，相机与移动机器人坐标系的外参(x₂，y₂，θ₂)，通过坐标系变换链式法则得到无共同观测的单线激光雷达与相机的外参。单线激光雷达与移动机器人坐标系的外参标定：移动机器人绕中心自转，单线激光雷达扫描空间中等腰直角反光标志物，获得标志物顶点在单线激光雷达坐标系下的坐标。移动机器人自转时，移动机器人中心与标志物顶点在单线激光雷达坐标系下的距离是定值。通过拟合圆得到单线激光雷达坐标系与移动机器人坐标系的偏移量。移动机器人直线运动，标志物顶点在单线激光雷达坐标系下是一条直线，通过拟合直线得到单线激光雷达坐标系与移动机器人坐标系的偏角。相机与移动机器人坐标系的外参标定方法与单线激光雷达标定类似。移动机器人自转与直线运动，相机拍摄棋盘格，通过拟合圆和直线，标定相机坐标系与移动机器人坐标系的偏移量与偏角。

一种无共同观测的单线激光雷达与相机外参标定方法，包括以下步骤：

步骤1：移动机器人包括机器人本体1、单线激光雷达2和相机3，单线激光雷达2位于机器人本体1的侧部，相机3位于机器人本体1的顶部，如图1所示，将标志物放置于移动机器人周围，标志物位于单线激光雷达扫描覆盖的区域内。

步骤1中，具体的，相机3位于机器人本体1的中心位置，单线激光雷达2呈半圆形，单线激光雷达2与机器人本体1固定。机器人本体1底部设有用于机器人移动的滚轮。

步骤1中，单线激光雷达与相机的外参为(x，y，θ)，x，y：表示单线激光雷达与相机在X,Y方向的偏移量，θ：表示Z轴角度的偏移量。如图2所示。O_lX_lY_l：单线激光雷达坐标系。O_cX_cY_c：相机坐标系。获取单线激光雷达与相机的外参作用是多传感器坐标统一到一个坐标系。

标志物放置的位置不限，激光雷达可以扫描最远距离为20m，2m的距离比较适中，太远了精度会变差。本实施例中，以图3为例，标志物放置于单线激光雷达的左前方2m。标志物的形状不限，在本实施例中，将标志物的底面设置为等腰直角形。标志物具有反光特性，通过反光强度，根据强度信息人工拾取标志物顶点，采用反光标志物方便提取标志物。另一实施例中，也可以利用PCL点云库中角点提取算法拾取标志物顶点。所述标志物的两个直角边边长为10cm，高度为1m，保证单线激光雷达可以扫描到该标志物。移动机器人与标志物的相对位置关系如图3所示。

步骤2：确定标志物顶点位置，建立单线激光雷达坐标系，移动机器人自转，移动机器人自转，拾取并拟合标志物顶点在单线激光雷达坐标系下的系列坐标值，获得单线激光雷达坐标系与移动机器人坐标系在X、Y方向的偏移量。

步骤2中，建立标志物坐标系，确定标志物顶点O_w，如图4所示。同时，建立移动机器人坐标系，确定移动机器人中心点O_r，建立单线激光雷达坐标系，移动机器人绕其中心点O_r自转，移动机器人中心点O_r在单线激光雷达坐标系下的坐标为定值，标志物原点O_w在单线激光雷达坐标系下的坐标不断变化，记录标志物原点O_w在单线激光雷达坐标系下的系列坐标值参见图5。

移动机器人绕其中心O_r自转时，标志物顶点O_w与移动机器人中心点O_r之间的距离固定不变。标志物顶点O_w在单线激光雷达坐标系下的系列坐标值的轨迹是一个圆，用最小二乘法拟合该轨迹，获得拟合圆。拟合圆的中心即为移动机器人中心点O_r在单线激光雷达坐标系下的坐标圆的半径即为标志物原点O_w与移动机器人中心点O_r之间的距离，分别为移动机器人坐标系与单线激光雷达坐标系在X，Y方向的偏移量，拟合圆的公式为：

步骤3：移动机器人直线运动，单线激光雷达扫描标志物，拾取标志物顶点在单线激光雷达坐标系下的系列坐标值，通过直线拟合标志物顶点在单线激光雷达坐标系下的系列坐标值，获得单线激光雷达与移动机器人的偏转角，根据单线激光雷达与移动机器人在X、Y方向的偏移量和偏转角θ₁，获得单线激光雷达与移动机器人的外参

在步骤3中，移动机器人直线运动的方向可以是X轴，也可以是Y轴，移动机器人直线运动的距离不限，只要标志物在单线激光雷达扫描的覆盖区域内即可。在本实施例中，移动机器人沿X方向直线运动10m，在运动期间，单线激光雷达全程扫描标志物。此时，标志物顶点O_w在单线激光雷达坐标系下的坐标值不断变化，记录标志物顶点O_w在单线激光雷达坐标系下的系列坐标值。

移动机器人直线运动的过程中，标志物原点O_w在单线激光雷达坐标系下的系列坐标值的轨迹理论上是一条直线，用最小二乘法拟合该轨迹，获得拟合直线。拟合直线的倾斜角即为单线激光雷达坐标系与移动机器人坐标系之间的偏转角θ₁，

根据单线激光雷达与移动机器人在X、Y方向的偏移量和偏转角θ₁，获得单线激光雷达与移动机器人的外参

进一步，标定相机内参和畸变参数，获得内参和畸变参数。利用Matlab标定得到相机的内参(f_x，f_y，u₀，v₀)与畸变系数(k₁，k₂，p₁，p₂)，当然，也可以利用其它的方法标定得到相机的内参和畸变参数。

步骤4：在移动机器人上方放置棋盘格标定板，棋盘格标定板位于相机视野覆盖的区域内，建立棋盘格标定板坐标系，确定棋盘格标定板原点，移动机器人自转，建立相机坐标系，相机拍摄标定板，拾取棋盘格标定板角点在图像坐标系下的系列像素坐标值，建立3D-2D的坐标转换，得到棋盘格坐标系与相机坐标系之间的外参，进而得到棋盘格原点在相机坐标系下的系列坐标值，取X，Y方向的二维系列坐标值，利用圆拟合二维系列坐标值，获得相机坐标系与移动机器人坐标系在X、Y方向的偏移量；

步骤5：移动机器人直线运动，相机拍摄棋盘格标定板，拾取棋盘格标定板角点在图像坐标系下的系列像素坐标值，建立3D-2D的坐标转换，得到棋盘格坐标系与相机坐标系之间的外参，进而得到棋盘格原点在相机坐标系下的系列坐标值，取X，Y方向的二维系列坐标值，利用直线拟合二维系列坐标值，获得相机与移动机器人的偏转角。根据相机与移动机器人在X、Y方向的偏移量和偏转角θ₂，获得相机与移动机器人的外参

步骤5中，移动机器人直线运动的方向可以是X轴，也可以是Y轴，移动机器人直线运动的距离不限，只要棋盘格标定板在相机视野的覆盖区域内即可。在本实施例中，移动机器人沿X方向直线运动2m，在运动期间，相机全程拍摄棋盘格标定板。

步骤5中，在移动机器人正上方1m处摆放11*8*5mm的棋盘格标定板，如图6-7所示。事实上，棋盘格标定板放置于移动机器人的周边位置不限，只要满足棋盘格标定板位于相机视野覆盖的区域内的要求即可。移动机器人绕其中心自转的角度在60°～120°之间，本实施例中，移动机器人绕其中心自转90°。

进一步，步骤5中，拾取棋盘格标定板角点在相机图像坐标系下的系列像素坐标值的方法为：

步骤5.1：相机拍摄棋盘格标定板，获得多幅图像，根据标定得到的相机内参与畸变系数对多幅图像进行去畸变处理；去畸变的目的是因为相机拍摄的照片存在失真，通过去畸变提高标定的精度。

步骤5.2：提取棋盘格角点，确定角点在棋盘格标定板坐标系下的坐标以及角点的像素坐标。

步骤5.3：建立空间3D点到2D点的投影关系，表达式如下：

式中，为角点在棋盘格标定板坐标系下的坐标，(u_i，v_i)为角点在图像上的像素坐标，i是角点的序号，t₁～t₁₂：代表相机坐标系与棋盘格坐标系之间的外参，t₁、t₂、t₃、t₅、t₆、t₇、t₉、t₁₀、t₁₁表示旋转，t₄、t₈、t₁₂表示平移；

步骤5.4：利用PNP算法求解得到棋盘格标定板坐标系与相机坐标系之间的外参。

由于已知角点在棋盘格标定板坐标系下的坐标角点在图像上的像素坐标(u_i，v_i)也是已知，i是角点的序号。建立空间3D点到2D点的投影关系，利用PNP算法求解得到棋盘格标定板坐标系与相机坐标系的外参，取棋盘格标定板原点O_B在相机坐标系下的系列坐标值由于标定是二维平面上的标定，只记录棋盘格标定板原点O_B在相机坐标系下的二维系列坐标值

步骤5中，移动机器人绕其中心点O_r自转时，棋盘格标定板原点O_B与移动机器人中心点O_r之间的距离固定。棋盘格标定板原点O_B在相机坐标系下的系列坐标值的轨迹是一个圆，用最小二乘法拟合该轨迹，获得拟合圆。拟合圆的中心即为移动机器人中心点O_r在相机坐标系下的坐标拟合圆的半径即为棋盘格标定板原点O_B与移动机器人中心点O_r之间的距离。分别表示移动机器人坐标系与相机坐标系在X，Y方向的偏移量，拟合圆的表达式如下：

根据相机内参与畸变系数对图像进行去畸变处理，然后提取棋盘格角点，建立空间3D点到2D点的投影关系，利用PNP算法求解得到棋盘格标定板原点O_B在相机坐标系下的坐标值由于标定是二维平面上的标定，只记录棋盘格标定板原点O_B在相机坐标系下的二维坐标值由于棋盘格标定板原点O_B在相机坐标系下的坐标值不断变化，记录棋盘格标定板原点O_B在相机坐标系下的系列坐标值。

步骤5中，移动机器人直线运动的过程中，棋盘格标定板原点O_B在相机坐标系下的系列坐标值的轨迹理论上是一条直线。用最小二乘法拟合该轨迹，获得拟合直线。该拟合直线的倾斜角即为相机坐标系与移动机器人坐标系之间的偏转角θ₂，

步骤6：根据单线激光雷达与移动机器人外参以及相机与移动机器人外参，通过坐标转换得到单线激光雷达与相机之间的外参。

步骤6中，根据单线激光雷达与移动机器人的外参以及相机与移动机器人的外参通过坐标转换得到无共同观测单线激光雷达与相机的外参(x，y，θ)，表达式如下：

相比于装配的方法得到单线激光雷达与相机的外参，本发明采用的方法对外参标定，精度高，标定方法简单，而且无需用直尺测量。

在缺少本文中所具体公开的任何元件、限制的情况下，可以实现本文所示和所述的发明。所采用的术语和表达法被用作说明的术语而非限制，并且不希望在这些术语和表达法的使用中排除所示和所述的特征或其部分的任何等同物，而且应该认识到各种改型在本发明的范围内都是可行的。因此应该理解，尽管通过各种实施例和可选的特征具体公开了本发明，但是本文所述的概念的修改和变型可以被本领域普通技术人员所采用，并且认为这些修改和变型落入所附权利要求书限定的本发明的范围之内。

本文中所述或记载的文章、专利、专利申请以及所有其他文献和以电子方式可得的信息的内容在某种程度上全文包括在此以作参考，就如同每个单独的出版物被具体和单独指出以作参考一样。申请人保留把来自任何这种文章、专利、专利申请或其他文献的任何及所有材料和信息结合入本申请中的权利。

Claims (5)

1.一种无共同观测的单线激光雷达与相机外参标定方法，包括以下步骤：

步骤1：移动机器人包括机器人本体、单线激光雷达和相机，单线激光雷达位于机器人本体的侧部，相机位于机器人本体的顶部，将标志物放置于移动机器人周围，标志物位于单线激光雷达扫描覆盖的区域内；

步骤2：确定标志物顶点位置，建立单线激光雷达坐标系，移动机器人自转，拾取标志物顶点在单线激光雷达坐标系下的系列坐标值，采用圆拟合系列坐标值，获得单线激光雷达与移动机器人在X、Y方向的偏移量；

步骤3：移动机器人直线运动，单线激光雷达扫描标志物，拾取标志物顶点在单线激光雷达坐标系下的系列坐标值，采用直线拟合系列坐标值，获得单线激光雷达与移动机器人的偏转角；

步骤4：在移动机器人上方放置棋盘格标定板，棋盘格标定板位于相机视野覆盖的区域内，建立棋盘格标定板坐标系，确定棋盘格标定板原点，移动机器人自转，建立相机坐标系，相机拍摄棋盘格，拾取棋格标定板角点在图像坐标系下的像素坐标值，建立3D-2D的坐标转换，得到棋盘格坐标系与相机坐标系之间的外参，获得棋盘格标定板原点在相机坐标系下的系列坐标值，取X，Y方向的二维系列坐标值，利用圆拟合二维系列坐标值，获得相机与移动机器人在X、Y方向的偏移量；

步骤5：移动机器人直线运动，相机拍摄棋盘格标定板，拾取棋盘格标定板角点在图像坐标系下的像素坐标值，建立3D-2D的坐标转换，得到棋盘格坐标系与相机坐标系之间的外参，获得棋盘格标定板原点在相机坐标系下的系列坐标值，取X，Y方向的二维系列坐标值，利用直线拟合二维系列坐标值，获得相机与移动机器人的偏转角；

步骤6：根据单线激光雷达与移动机器人之间的外参以及相机与移动机器人之间的外参，通过坐标转换得到单线激光雷达与相机之间的外参。

2.如权利要求1所述的一种无共同观测的单线激光雷达与相机外参标定方法，其特征在于：步骤2中，拟合圆的表达式为：

其中，O_w：标志物顶点；标志物顶点O_w在单线激光雷达坐标系下的系列坐标值；O_r：移动机器人中心点；为移动机器人坐标系与单线激光雷达坐标系在X，Y方向的偏移量。

3.如权利要求2所述的一种无共同观测的单线激光雷达与相机外参标定方法，其特征在于：步骤4中，拟合圆的表达式为：

其中，O_B：棋盘格标定板原点；点O_B在相机坐标系下的系列坐标值；O_r：移动机器人中心点；移动机器人坐标系与相机坐标系在X，Y方向的偏移量。

4.如权利要求3所述的一种无共同观测的单线激光雷达与相机外参标定方法，其特征在于：标定相机内参和畸变参数，获得相机的内参和畸变参数。

5.如权利要求4所述的一种无共同观测的单线激光雷达与相机外参标定方法，其特征在于：步骤4和5中，拾取棋盘格标定板角点在图像坐标系下的系列像素坐标值的方法为：

步骤5.1：相机拍摄棋盘格标定板，获得多幅图像，根据标定得到的相机内参与畸变系数对多幅图像进行去畸变处理；去畸变的目的是因为相机拍摄的照片存在失真，通过去畸变提高标定的精度。

步骤5.2：提取棋盘格角点，确定角点在棋盘格标定板坐标系下的坐标以及角点的像素坐标。

步骤5.3：建立空间3D点到2D点的投影关系，表达式如下：

式中，为角点在棋盘格标定板坐标系下的坐标，(u_i，v_i)为角点在图像上的像素坐标，i是角点的序号，t₁～t₁₂：代表相机坐标系与棋盘格坐标系之间的外参，t₁、t₂、t₃、t₅、t₆、t₇、t₉、t₁₀、t₁₁表示旋转，t₄、t₈、t₁₂表示平移。

步骤5.4：利用PNP算法求解得到棋盘格标定板坐标系与相机坐标系之间的外参。