CN108198223A - 一种激光点云与视觉图像映射关系快速精确标定方法 - Google Patents

Abstract

本发明涉及一种激光点云与视觉图像映射关系快速精确标定方法，该标定方法包括以下步骤：1)设置一带方孔的棋盘格标定板，并将标定板同时置于激光雷达与相机的视野中，经激光点云和视觉图像的特征点提取，得到n组对应的特征点；2)进行单应性矩阵初解计算；3)进行单应性矩阵极大似然估计；4)进行相机畸变参数极大似然估计；5)进行激光点云和视觉图像映射关系中全部映射参数极大似然估计。本发明基于单应性矩阵直接构建三维点云与视觉图像像素间直接的映射关系，而不需对相机内参矩阵和传感器外参矩阵进行标定，采用这种标定方法不仅减少了标定步骤，而且由于是直接对映射结果进行优化，不会造成标定误差的传递，有着更高的标定精度。

Description

一种激光点云与视觉图像映射关系快速精确标定方法

技术领域

本发明涉及一种激光点云与视觉图像映射关系快速精确标定方法，属于智能网联汽车环境感知领域。

背景技术

激光雷达能够直接测得周围环境的距离信息，有着准确的测量精度和较远的测量范围，尤其是多线激光雷达有着理想的三维建模能力。但由于其不能得到丰富的颜色信息，因此采用三维点云对周围环境进行语义理解还存在困难。而相机能够得到周围环境丰富的颜色信息，且目前针对图像的语义分割算法较为成熟。但由于视觉图片丢失了深度信息，故难以对周围环境进行精确的三维尺寸表达。而通过融合三维点云和视觉图片信息，可以得到既包含颜色语义信息，又有准确三维坐标的空间颜色点云，弥补单个传感器的不足。

融合多元数据的前提是多传感器之间的标定问题，需要建立三维激光雷达点云与视觉图像像素间对应关系。现有标定方法需先标定相机内参并对图片进行畸变矫正，然后采用不同的约束方程，求解相机坐标系和激光雷达坐标系之间的坐标转换矩阵；标定结束后三维点云通过坐标转换，并基于相机内参矩阵的投影，进而间接建立与图片像素间的对应关系。

现有标定方法虽然在标定过程中每一个参数的意义都为实际物理参数，便于直观理解。但通过标定所有物理参数，进而得到三维点云与像素间的映射关系会导致误差积累，难以求得标定过程的全局最优，而且多次标定不同参数还会造成标定流程的繁琐。因此，现有标定方法的标定流程复杂度和标定精度还需改善。

发明内容

针对上述问题，本发明的目的是提供一种多线激光点云与视觉图像映射关系快速精确标定方法。

为实现上述目的，本发明采取以下技术方案：一种激光点云与视觉图像映射关系快速精确标定方法，其特征在于，该标定方法包括以下步骤：

1)设置一带方孔的棋盘格标定板，并将标定板同时置于激光雷达与相机的视野中，经激光点云和视觉图像的特征点提取，得到n组对应的特征点；

2)进行单应性矩阵初解计算：

在得到n组对应的特征点后，将式(2)中单应性矩阵H展开为式(3)：

上式中，s为尺度因子；为像素坐标系下的齐次坐标；为激光雷达坐标系下的齐次坐标；h₁,h₂,h₃为4维的行向量，将其改写为式(4)的形式：

上式中，u_i、v_i为特征点在像素坐标系下的坐标；角标i表示n组特征点中的第i组，i＝1,2,…,n；

将尺度因子s作为未知量放入待求解向量中，于是将式(4)转化为式(5)：

上式中，为相机坐标系下的齐次坐标；其中：

由于单应性矩阵H与尺度因子s同时放大或缩小式(4)依然满足，因此令s_n＝1，并将式(5)化为式(6)：

为书写方便用式(7)来代表式(6)：

Γ·(h^T c^T)^T＝b (7)

其中：

然后应用奇异值分解求式(7)的最小二乘解，即将矩阵Γ分解为：Γ＝UΣV^T，并求得最小二乘解为其中，Σ是包含Γ奇异值的对角阵；U和V是正交矩阵；Σ⁺是Σ的广义逆矩阵；

3)进行单应性矩阵极大似然估计：

假设观测噪声是高斯的，则极大似然估计为：

式中，是不考虑相机畸变时激光雷达坐标系下的点经投影变换得到的像素坐标系下坐标；

令步骤2)求出的h′为初解，使用Levenberg-Marquardt算法迭代，对式(8)进行求解，求得对h的极大似然估计

4)进行相机畸变参数极大似然估计：

相机的畸变模型为：

5)进行激光点云和视觉图像映射关系中全部映射参数极大似然估计：

采用极大似然估计考虑相机的畸变模型下全部映射参数Θ进行求解，最终可得到标定映射关系时需要求解参数的最优解Θ^*，该最优解Θ^*即激光点云与视觉图像的映射关系：

Θ＝(h,k,p,u_c,v_c)是标定映射关系时需要求解的全部映射参数，而是其最优解；p＝(p₁,p₂)^T和k＝(k₁,k₂,k₃)^T是畸变参数矩阵；是考虑相机畸变时激光雷达坐标系下的点经投影变换得到的像素坐标系下坐标；λγ²＝λ||(r_u-u_c)(r_v-v_c)||²是正则项，λ是正则化系数；r_u、r_v是视觉图像的几何中心在像素坐标系下的坐标。

对于畸变越严重的相机，k_j和p_j保留的阶次应越高，对于通常情况选取保留k₁,k₂,p₁,p₂，其他高阶畸变参数取0，对于鱼眼镜头等畸变严重的相机额外保留p₃、k₃。

在上述步骤5)中，最初先去优化k,p,u_c,v_c：

得到后，再以此为初解求解式(10)得到最优解Θ^*，迭代过程的终止条件为最优解和目标函数值在两次迭代中的变化小于某一阈值α和β，在实际应用中选取α＝β＝1×10^-4。

本发明由于采取以上技术方案，其具有以下优点：1、本发明简化了标定流程，无需先对相机内参进行标定，也不需要标定两传感器间坐标转移矩阵，可直接标定三维点云与视觉图像间的映射关系。2、本发明相对于间接标定方法，标定后的三维空间点与视觉图像像素间的映射精度更高。3、本发明采用特殊形状标定板，便于在三维点云和视觉图像中提取对应的特征点，在标定过程中建立点约束。4、本发明的标定结果，在激光雷达与相机融合算法中应用时，无需先对视觉图像进行畸变矫正，提高了运行效率。本发明基于单应性矩阵直接构建三维点云与视觉图像像素间直接的映射关系，而不需对相机内参矩阵和传感器外参矩阵进行标定，采用这种标定方法不仅减少了标定步骤，而且由于是直接对映射结果进行优化，不会造成标定误差的传递，有着更高的标定精度。

附图说明

图1是标定流程示意图；

图2是标定板结构示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。然而应当理解，附图的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。

假设世界坐标系下有一空间点x^world，其在激光雷达坐标系下是一个三维空间点x^lidar＝(x^l,y^l,z^l)^T；而其在相机坐标系下的坐标为x^camera＝(x^c,y^c,z^c)^T，在经相机投影后的像素坐标系下变为一个二维点u^camera＝(u,v)^T。所谓标定就是要建立x^lidar与u^camera间的对应关系，即给出世界坐标系下某一空间点在激光雷达坐标系下的表示x^lidar，通过标定结果能够在像素坐标系中找到该点对应的u^camera。传统方法通过分别标定得到x^lidar与x^camera，x^camera与u^camera之间的关系，继而得到x^lidar与u^camera之间的映射关系：

式中，为相机坐标系下的齐次坐标；为像素坐标系下的齐次坐标；为激光雷达坐标系下的齐次坐标；为相机外参矩阵；s为尺度因子；A为相机内参矩阵。

而与的之间可以用单应性矩阵H来建立映射关系：

相对于传统方法的间接计算,本发明将直接对单应性矩阵H进行求解。由于式(2)的映射关系假设相机模型为针孔模型，但在实际情况中会由于相机镜头的凸透镜特性等原因造成视觉图像的畸变。因此，在对单应性矩阵H标定后，需要进行考虑视觉图像畸变的非线性优化，得到最终的x^lidar与u^camera间考虑相机畸变模型的映射关系，通过此映射关系可得到与激光点云中三维空间点对应的像素坐标系坐标。

基于上述原理，本发明提出了一种激光点云与视觉图像映射关系快速精确标定方法，如图1所示，该标定方法包括以下步骤：

1)设置一带方孔2的棋盘格标定板1(如图2所示)，并将标定板1同时置于激光雷达与相机的视野中，经激光点云和视觉图像的特征点提取，可得到n组对应的特征点。由于棋盘格标定板1上带有方孔2，相较于传统棋盘格标定板，便于在激光点云中自动的精确确定标定板位置，提取出特征点。

2)进行单应性矩阵初解计算：

在得到n组对应的特征点后，将式(2)中单应性矩阵H展开为：

式中，h₁,h₂,h₃为4维的行向量，将其改写为式(4)的形式：

上式中，u_i、v_i为特征点在像素坐标系下的坐标；角标i表示n组特征点中的第i组，i＝1,2,…,n。

由于尺度因子s在视觉图像中不可直接观测，故可以将尺度因子s作为未知量放入待求解向量中，于是可以将式(4)转化为式(5)：

其中：

由于单应性矩阵H与尺度因子s同时放大或缩小式(4)依然满足，因此令s_n＝1，并将式(5)化为式(6)：

上式中，下标n用来说明总数，相当于i＝1,2,…,n的实例化。

为书写方便用式(7)来代表式(6)：

Γ·(h^T c^T)^T＝b (7)

其中：

然后应用奇异值分解求式(7)的最小二乘解，即将矩阵Γ分解为：Γ＝UΣV^T，并求得最小二乘解为其中，Σ是包含Γ奇异值的对角阵；U和V是正交矩阵；Σ⁺是Σ的广义逆矩阵。

3)进行单应性矩阵极大似然估计：

为了得到精度更高的单应性矩阵H，使用极大似然估计对步骤2)求得的最小二乘解进行优化。假设观测噪声是高斯的，则极大似然估计为：

式中，是不考虑相机畸变时激光雷达坐标系下的点经投影变换得到的像素坐标系下坐标。

令步骤2)求出的h′为初解，使用Levenberg-Marquardt算法迭代，对式(8)进行求解，求得对h的极大似然估计

4)进行相机畸变参数极大似然估计：

相机的畸变模型为：

5)进行激光点云和视觉图像映射关系中全部映射参数极大似然估计：

采用极大似然估计考虑相机的畸变模型下全部映射参数Θ进行求解，最终可得到标定映射关系时需要求解参数的最优解Θ^*，该最优解Θ^*即激光点云与视觉图像的映射关系：

Θ＝(h,k,p,u_c,v_c)是标定映射关系时需要求解的全部映射参数，而是其最优解；p＝(p₁,p₂)^T和k＝(k₁,k₂,k₃)^T是畸变参数矩阵(k₃针对畸变较大的情况)；是考虑相机畸变时激光雷达坐标系下的点经投影变换得到的像素坐标系下坐标；λγ²＝λ||(r_u-u_c)(r_v-v_c)||²是正则项，λ是正则化系数，为防止优化过程中出现过拟合，实际应用时根据相机装配精度选取，对于普通工业相机可选取1×10^-4；r_u,r_v是视觉图像的几何中心在像素坐标系下的坐标。

在一个优选的实施例中，由于各优化参数量级相差较大，需先对各参数进行归一化处理。但实际求解时，在初始迭代过程中推荐不对h值进行优化，即令这是因为在优化迭代时设置的初解为k＝p＝0,(u_c,v_c)^T＝(r_u,r_v)^T。因此，在初始迭代中由于畸变参数距离真实值相差较远，这有可能造成单应性矩阵随着迭代过程的收敛不可控。因此，最初先去优化k,p,u_c,v_c：

得到后，再以此为初解求解式(10)得到最优解Θ^*，迭代过程的终止条件为最优解和目标函数值在两次迭代中的变化小于某一阈值α和β，在实际应用中选取α＝β＝1×10^-4。

此实施例仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.一种激光点云与视觉图像映射关系快速精确标定方法，其特征在于，该标定方法包括以下步骤：

1)设置一带方孔的棋盘格标定板，并将标定板同时置于激光雷达与相机的视野中，经激光点云和视觉图像的特征点提取，得到n组对应的特征点；

2)进行单应性矩阵初解计算：

在得到n组对应的特征点后，将式(2)中单应性矩阵H展开为式(3)：

上式中，s为尺度因子；为像素坐标系下的齐次坐标；为激光雷达坐标系下的齐次坐标；h₁,h₂,h₃为4维的行向量，将其改写为式(4)的形式：

上式中，u_i、v_i为特征点在像素坐标系下的坐标；角标i表示n组特征点中的第i组，i＝1,2,…,n；

将尺度因子s作为未知量放入待求解向量中，于是将式(4)转化为式(5)：

上式中，为相机坐标系下的齐次坐标；其中：

由于单应性矩阵H与尺度因子s同时放大或缩小式(4)依然满足，因此令s_n＝1，并将式(5)化为式(6)：

为书写方便用式(7)来代表式(6)：

Γ·(h^T c^T)^T＝b (7)

其中：

然后应用奇异值分解求式(7)的最小二乘解，即将矩阵Γ分解为：Γ＝UΣV^T，并求得最小二乘解为其中，Σ是包含Γ奇异值的对角阵；U和V是正交矩阵；Σ⁺是Σ的广义逆矩阵；

3)进行单应性矩阵极大似然估计：

假设观测噪声是高斯的，则极大似然估计为：

式中， 是不考虑相机畸变时激光雷达坐标系下的点经投影变换得到的像素坐标系下坐标；

令步骤2)求出的h′为初解，使用Levenberg-Marquardt算法迭代，对式(8)进行求解，求得对h的极大似然估计

4)进行相机畸变参数极大似然估计：

相机的畸变模型为：

式中，为理想针孔相机模型下像素点的坐标；为考虑相机的畸变模型以后像素点的实际坐标；(u_c,v_c)^T为畸变中心位置；k_j为第j阶径向畸变系数；p_j是第j阶切向畸变系数；

5)进行激光点云和视觉图像映射关系中全部映射参数极大似然估计：

采用极大似然估计考虑相机的畸变模型下全部映射参数Θ进行求解，最终可得到标定映射关系时需要求解参数的最优解Θ^*，该最优解Θ^*即激光点云与视觉图像的映射关系：

Θ＝(h,k,p,u_c,v_c)是标定映射关系时需要求解的全部映射参数，而是其最优解；p＝(p₁,p₂)^T和k＝(k₁,k₂,k₃)^T是畸变参数矩阵； 是考虑相机畸变时激光雷达坐标系下的点经投影变换得到的像素坐标系下坐标；λγ²＝λ||(r_u-u_c)(r_v-v_c)||²是正则项，λ是正则化系数；r_u、r_v是视觉图像的几何中心在像素坐标系下的坐标。

2.如权利要求1所述的一种激光点云与视觉图像映射关系快速精确标定方法，其特征在于，对于畸变越严重的相机，k_j和p_j保留的阶次应越高，对于通常情况选取保留k₁,k₂,p₁,p₂，其他高阶畸变参数取0，对于鱼眼镜头等畸变严重的相机额外保留p₃、k₃。

3.如权利要求1所述的一种激光点云与视觉图像映射关系快速精确标定方法，其特征在于，在上述步骤5)中，最初先去优化k,p,u_c,v_c：

得到后，再以此为初解求解式(10)得到最优解Θ^*，迭代过程的终止条件为最优解和目标函数值在两次迭代中的变化小于某一阈值α和β，在实际应用中选取α＝β＝1×10^-4。