CN113838141A - 一种单线激光雷达与可见光相机的外参标定方法及系统 - Google Patents

Abstract

本发明公开了一种单线激光雷达与可见光相机的外参标定方法及系统，通过采集时间和空间同步的炉料图像数据与点云数据，根据相机畸变模型对炉料图像进行校正，进一步提取激光扫描中心线，并确定激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标，同时对稀疏的点云数据进行插值，从而获得点云数据局部极值在雷达坐标系下的三维坐标，以及根据激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标以及点云数据局部极值在雷达坐标系下的三维坐标的特征点对，利用线性最小二乘法获得相机与单线激光雷达的外参矩阵，解决了现有激光雷达与相机外参标定精度低的技术问题，可实时在线地对单线激光雷达与可见光相机进行标定，修正外参矩阵。

Description

一种单线激光雷达与可见光相机的外参标定方法及系统

技术领域

本发明主要涉及高炉炉料粒径检测领域，特指一种单线激光雷达与可见光相机的外参标定方法及系统。

背景技术

高炉炉料的粒径大小是影响高炉内部料层透气性、煤气流分布的关键因素。炉料粒径的在线检测对于改善煤气流分布、降低焦比、提高高炉生产效率具有重要意义。在高炉上料系统，利用单线激光雷达和可见光相机实现高炉炉料粒径检测。通过传感器数据融合，可发挥激光雷达不受光照影响与可见光相机分辨率高的特点，提高粒径检测的准确度。

传感器联合标定是数据融合的前提。激光雷达与相机参数标定的过程是一个坐标系转换的过程，位于雷达坐标系或世界坐标系下的点云数据，经由外参矩阵，转换到相机坐标系下，再通过内参矩阵转换为图像像素坐标。当前，内参标定通常采用张正友棋盘格标定法得到，外参标定的方法可分为两类，一类是通过立体视觉生成以相机坐标系为原点的点云，将其与激光雷达点云进行配准，获得雷达坐标系与相机坐标系之间的刚体变换。另一类是特征点匹配方法，分别在相机和激光雷达数据中提取特征点，完成二维与三维特征点的匹配，通过PNP求解两坐标系之间的位置关系。前者需经过单目标定、双目标定、立体匹配等步骤，误差累积较大，实现复杂。后者需设计不同的标定板或标定物，由于单线激光雷达的点云数据具有稀疏性，在一个姿态下仅有一个扫描平面，很难直接得到雷达坐标系与相机坐标系之间的对应关系。

高炉炉料在传送带上占据一定空间，单线激光雷达扫描炉料表面会得到不同距离信息，可对单线激光雷达扫描角度形成约束，且激光雷达扫描线在相机拍摄的图像上是可见的，因此，本发明提出了一种利用高炉炉料高度特征的单线激光雷达与可见光相机的外参标定方法，通过炉料深度数据与图像数据处理得到对应的特征点对，实现雷达坐标系到相机坐标系的转换。该方法操作简单，易于工程实现，克服了联合标定需要借助复杂标定装置的难题。

申请公布号CN 111311689 A公开了一种多线激光雷达与相机相对外参的标定方法及系统，该发明提出了一种激光雷达与相机相对外参的标定方法，通过相机拍摄球体标志物得到单帧图像，获得球体标志物在相机坐标系下的二维坐标；通过激光雷达扫面球体标志物的点云数据，得到球体标志物在雷达坐标系下的三维坐标。二维坐标与三维坐标组成对应数据对，求解得出激光雷达坐标系和相机坐标系的转换关系。

该发明中通过平面点云去除与球面点云拟合得到球体标志物球心的三维坐标。为拟合出球面，要求至少有三行激光束能同时投射到球体标志物上，而单线激光雷达每次扫描仅能投射一条激光线，通过一帧点云数据无法获得球体标志物中心在雷达坐标系下的位置。

申请公布号CN 112308928 A公开了一种无标定装置的相机与激光雷达自动标定方法，该发明选择对象中心坐标构建数据对，在获得外参的初始标定结果后，根据所构建的匹配计算函数对位姿变换求导，计算出最优解，得到最终标定结果。

该发明利用两帧图像获得插值后的对象中心坐标，利用RANSAC算法保留对象点云，计算点云中心坐标。然而，对于传送带上的炉料而言，炉料对象全部或者将近占据相机整个视野，且炉料大小不一，相互堆叠，数量较多，计算其对应的图像中心与点云中心并不可取。

发明内容

本发明提供的单线激光雷达与可见光相机的外参标定方法及系统，解决了现有激光雷达与相机外参标定精度低的技术问题。

为解决上述技术问题，本发明提出的单线激光雷达与可见光相机的外参标定方法包括：

获得同时间段内可见光相机采集的多帧炉料图像数据与单线激光雷达采集的多帧点云数据，并根据时间差阈值与点云数据量阈值，实现单帧炉料图像与单帧点云数据的时间匹配；

建立相机畸变模型，并根据相机畸变模型对炉料图像进行校正；

根据校正后的炉料图像，提取激光扫描中心线，并确定激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标；

根据点云数据的步长与炉料图像像素的数目信息，对稀疏的点云数据进行插值，从而获得点云数据局部极值在雷达坐标系下的三维坐标；

根据激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标以及点云数据局部极值在雷达坐标系下的三维坐标的特征点对，利用线性最小二乘法获得相机与单线激光雷达的外参矩阵。

进一步地，获得同时间段内可见光相机采集的多帧炉料图像数据与单线激光雷达采集的多帧点云数据之前包括：

对单线激光雷达与可见光相机进行适配安装，使得单线激光雷达与可见光相机在空间与时间上同步，且对单线激光雷达与可见光相机进行适配安装包括将可见光相机水平固定在炉料传送带的上方，相机视角包含传送带的全部宽度，将单线激光雷达向下倾斜固定在传送带上方，倾斜角度约为5°，与可见光相机水平间距约7cm，垂直间距约44cm，标定过程及后续粒径检测过程中，始终保持可见光相机和单线激光雷达的相对位置不变。

进一步地，建立相机畸变模型，并根据相机畸变模型对炉料图像进行校正包括：

采用张正友棋盘标定方法获得相机径向畸变与切向畸变参数；

根据相机径向畸变与切向畸变参数建立相机畸变模型，且畸变模型具体为：

其中，x_c代表畸变后像素的横坐标，y_c代表畸变后像素的纵坐标，x_p代表畸变前像素的横坐标，y_p代表畸变前像素的纵坐标，k₁、k₂、k₃为径向畸变系数，p₁、p₂为切向畸变系数，r为炉料图像像素点到炉料图像中心点的距离。

进一步地，根据校正后的炉料图像，提取激光扫描中心线包括：

对校正后的炉料图像进行ROI提取，获得包含激光扫描线的ROI区域；

对ROI区域进行Hough直线检测，从而去除ROI区域中激光扫描线两端的直线段；

采用Hough圆检测方法对去除激光扫描线两端的直线段的ROI区域进行去噪；

通过灰度重心法提取去噪后的ROI区域中的激光扫描中心线。

进一步地，通过灰度重心法提取去噪后的ROI区域中的激光扫描中心线具体为：

根据去噪后的ROI区域中的激光扫描线的截面灰度值分布中的质心，获得激光扫描中心线，且获得激光扫描中心线后还包括对激光扫描中心线中的异常值进行剔除。

进一步地，根据点云数据的步长与炉料图像像素的数目信息，对稀疏的点云数据进行插值之前还包括对点云数据进行滤波预处理。

本发明提供的单线激光雷达与可见光相机的外参标定系统包括：

存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明提供的单线激光雷达与可见光相机的外参标定方法的步骤。

与现有技术相比，本发明的优点在于：

本发明提供的单线激光雷达与可见光相机的外参标定方法及系统，通过获得同时间段内可见光相机采集的多帧炉料图像数据与单线激光雷达采集的多帧点云数据，并根据时间差阈值与点云数据量阈值，实现单帧炉料图像与单帧点云数据的时间匹配，建立相机畸变模型，并根据相机畸变模型对炉料图像进行校正，根据校正后的炉料图像，提取激光扫描中心线，并确定激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标，根据点云数据的步长与炉料图像像素的数目信息，对稀疏的点云数据进行插值，从而获得点云数据局部极值在雷达坐标系下的三维坐标以及根据激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标以及点云数据局部极值在雷达坐标系下的三维坐标的特征点对，利用线性最小二乘法获得相机与单线激光雷达的外参矩阵，解决了现有激光雷达与相机外参标定精度低的技术问题，可实时在线地对单线激光雷达与可见光相机进行标定，修正外参矩阵，与现有方法相比，本发明实施例提出的方法充分利用检测对象特点与传感器工作数据，极大简化了标定流程，具有操作简单、效率高等优点。

具体地，本发明以高炉炉料为研究对象，提出了一种基于炉料高度特征的单线激光雷达与可见光相机联合标定方法。通过提取炉料图像上的激光条纹扫描线，获得炉料高度局部极值点在图像中的位置，并利用数据处理获得点云数据中的对应极值点的坐标，构成特征点对进行参数拟合，实现单线激光雷达与工业相机的外参转换。本发明利用高炉炉料的空间高度，实现了自然场景下单线激光雷达与可见光相机的自标定，解决了一般标定场景布置复杂的问题，操作简单，易于工程实现。

本发明的关键点包括：

(1)通过分析炉料图像特点，采用传统数字图像处理方法对炉料图像进行预处理，去除图像噪声，提高激光中心线提取精度。

(2)利用灰度重心法提取激光扫描中心线，计算获得图像坐标系下中心线的局部极值点的坐标。

(3)通过分析点云数据噪声来源，对其进行降噪处理，并计算获得雷达坐标系下点云数据的局部极值点坐标。

(4)通过发明的标定方法，首次实现了对高炉上料系统处激光雷达与可见光相机的联合标定。

附图说明

图1为本发明实施例二在高炉炉料传送带上安装的粒径检测系统示意图；

图2为本发明实施例二的单线激光雷达与可见光相机的外参标定方法的流程图；

图3为本发明实施例二的单线激光雷达与可见光相机安装位置示意图；

图4为本发明实施例二的炉料矿石图像；

图5为本发明实施例二的坐标变换后的一帧激光雷达点云数据；

图6为本发明实施例的单线激光雷达与可见光相机的外参标定系统的结构框图。

附图标记：

10、存储器；20、处理器。

具体实施方式

为了便于理解本发明，下文将结合说明书附图和较佳的实施例对本发明作更全面、细致地描述，但本发明的保护范围并不限于以下具体的实施例。

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例一

本发明实施例一提供的单线激光雷达与可见光相机的外参标定方法，包括：

步骤S101，获得同时间段内可见光相机采集的多帧炉料图像数据与单线激光雷达采集的多帧点云数据，并根据时间差阈值与点云数据量阈值，实现单帧炉料图像与单帧点云数据的时间匹配；

步骤S102，建立相机畸变模型，并根据相机畸变模型对炉料图像进行校正；

步骤S103，根据校正后的炉料图像，提取激光扫描中心线，并确定激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标；

步骤S104，根据点云数据的步长与炉料图像像素的数目信息，对稀疏的点云数据进行插值，从而获得点云数据局部极值在雷达坐标系下的三维坐标；

步骤S105，根据激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标以及点云数据局部极值在雷达坐标系下的三维坐标的特征点对，利用线性最小二乘法获得相机与单线激光雷达的外参矩阵。

本发明实施例提供的单线激光雷达与可见光相机的外参标定方法，通过获得同时间段内可见光相机采集的多帧炉料图像数据与单线激光雷达采集的多帧点云数据，并根据时间差阈值与点云数据量阈值，实现单帧炉料图像与单帧点云数据的时间匹配，建立相机畸变模型，并根据相机畸变模型对炉料图像进行校正，根据校正后的炉料图像，提取激光扫描中心线，并确定激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标，根据点云数据的步长与炉料图像像素的数目信息，对稀疏的点云数据进行插值，从而获得点云数据局部极值在雷达坐标系下的三维坐标以及根据激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标以及点云数据局部极值在雷达坐标系下的三维坐标的特征点对，利用线性最小二乘法获得相机与单线激光雷达的外参矩阵，解决了现有激光雷达与相机外参标定精度低的技术问题，可实时在线地对单线激光雷达与可见光相机进行标定，修正外参矩阵，与现有方法相比，本发明实施例提出的方法充分利用检测对象特点与传感器工作数据，极大简化了标定流程，具有操作简单、效率高等优点。

由于高炉上料通过机械化手段完成，运输炉料的传送带处于保护罩之中，受狭小空间与安全作业的限制，用于检测炉料粒径大小的激光雷达与相机无法借助复杂的场景布置实现外参标定。此外，炉料运动过程中与传输设备发生碰撞，导致检测装置位置发生变化，为保证粒径检测的精确度，需要频繁地对激光雷达和相机位置进行标定。上述限制要求本实施例提出一种方法能够实现检测设备的自标定。

联合标定中某一特征量在不同坐标系的位置反应坐标系之间的变换关系。单线激光雷达扫描炉料表面，获得其与炉料表面的距离信息，该距离信息反应炉料的高度变化。相机拍摄得到包含激光扫描线的炉料图像，图像上炉料激光线与水平基线的距离和炉料高度成一定比例关系，该比例关系是由单线激光雷达、相机和传送带之间的位置决定的。点云数据与图像上激光扫描线像素位置均反应炉料高度，因此，本发明提出了一种利用高炉炉料高度特征的单线激光雷达与可见光相机的外参标定方法。

实施例二

参照图1，图1是本发明实施例在高炉炉料传送带上安装的粒径检测系统示意图，包含单线激光雷达、可见光相机和计算机等。

参照图2，本发明实施例二提供的单线激光雷达与可见光相机的外参标定方法，包括以下步骤：

(1)利用工业相机获得传送带上炉料矿石的图像，通过单线激光雷达扫描炉料表面形成点云数据，根据时间约束关系与点云数量条件进行单帧图像与单帧点云数据的时间匹配。

(2)建立相机成像模型与畸变模型，采用张正友棋盘标定方法获得相机径向畸变与切向畸变参数，根据畸变参数对炉料图像进行校正。

(3)基于激光雷达扫描线在图像上表现出的灰度特点，运用数字图像处理方法提取中心线，获得激光雷达扫描中心线局部极值点在图像上的二维坐标。

(4)处理激光雷达获得的点云数据，剔除点云数据中由于激光雷达扫描线小范围跳动和外部环境干扰等引入的点云噪声。

(5)结合点云数据步长与图像像素数目信息，对稀疏的点云数据进行插值，获得点云数据局部极值在雷达坐标系下的三维坐标。

(6)根据二维图像与三维点云数据特征点对，利用线性最小二乘法获得相机与单线激光雷达的外参矩阵。

具体的实现方案如下：

(1)获取多帧炉料图像与点云数据，并根据时间戳进行单帧图像与单帧点云数据之间的匹配对应。

为实现工业相机与单线激光雷达数据对应与融合感知，两者须在空间与时间上同步。空间同步要求工业相机曝光时，单线激光雷达扫描位置处于相机视野当中。因此，设定两者的安装位置如图3所示。工业相机水平固定在炉料传送带的上方，相机视角包含传送带的全部宽度。单线激光雷达向下倾斜固定在传送带上方，倾斜角度约为5°，与工业相机水平间距约7cm，垂直间距约44cm。标定过程及后续粒径检测过程中，始终保持工业相机和单线激光雷达的相对位置保持不变。

时间同步要求获得工业相机与单线激光雷达同一时刻等效信息。在低速场景，忽略工业相机曝光与读出延时、操作系统调度时间、API调用时间等误差因素的影响下，用计算机对工业相机采集的图像标记时间戳t1,对单线激光雷达采集的帧数据标记时间戳t2，在图像缓存序列中找到离图像t1最近的点云t2，当两者之间时间差小于某一设定阈值，认为该帧图像与该帧点云数据同步。

当物体高速运动时，由于单线激光雷达输出点云帧中的点云数据并非瞬时同时获得，且激光测量时伴随着炉料的运动，因此，当单线激光雷达扫描帧率较低时，不能忽略炉料运动带来的点云畸变。针对该类畸变，在激光雷达检测的基础上，利用前一帧与当前帧运动目标的匹配计算炉料速度信息，加入当前帧中做运动目标的点云畸变补偿。

为实现工业相机与单线激光雷达准确度更高的时间同步，在信号获取上采用软触发与硬触发结合的方式。先用相机SDK的API对工业相机进行软触发，再利用相机的外触发信号Strobe对单线激光雷达进行硬触发。为避免软触发时相机在曝光的同时发出Strobe信号，其他传感器接受该信号时有延时，先进行Strobe输出再延迟曝光。

(2)建立相机成像模型与畸变模型，对炉料图像进行校正。

相机成像过程是将世界坐标系下的点依次经由相机坐标系、图像坐标系，最终转化在像素坐标系下的过程。受透镜制造工艺的影响，成像过程产生多种形式的畸变。通过相机标定可获得相机的内参，得到畸变系数，进而校正像差。

该可见光相机成像可由针孔相机成像模型来描述，在理想情况下，从相机坐标系到图像坐标系转换的内参矩阵如式(1)所示：

式中f为透镜焦距，d_x、d_y分别为每个像素点在图像坐标系x轴、y轴方向的尺寸，u₀、v₀为图像坐标系原点在像素坐标系下的位置。

在实际情况下，需考虑透镜的径向畸变和切向畸变。径向畸变是由于透镜形状的制造工艺导致，在视觉上表现为直线变得弯曲，且越靠近透镜边缘径向畸变越严重。径向畸变矫正前后的坐标关系为：

切向畸变是由于透镜和CMOS或CCD的安装位置误差导致的，如果存在切向畸变，一个矩形被投影到成像平面上时，可能会变成一个梯形。切向畸变矫正前后的坐标关系为：

式中，k₁、k₂、k₃为径向畸变系数，p₁、p₂为切向畸变系数，r为炉料图像像素点到图像中心点的距离，即r²＝x²+y²，(x_rcorr,y_rcorr)、(x_tcorr,y_tcorr)为径向畸变和切向畸变后的图像坐标，(x_p,y_p)为畸变前的图像坐标。根据式(2)与式(3)可得到畸变前后的坐标关系为：

(3)提取激光雷达扫描中心线，得到中心线局部极值点在图像上的二维坐标。

由于激光雷达扫描线在工业相机拍摄的图像上呈现出与炉料矿石灰度不同的特点，如图4所示，因此可通过传统数字图像处理方法提取激光条纹中心线。

受工业现场高粉尘、光照不均匀的影响，获得的炉料图像具有低对比度、高噪声的特点，可依次通过高斯滤波、二值化对图像进行预处理。预处理后不能完全消除图像噪声，炉料矿石表面的凸出的纹理使得其在图像上与激光雷达扫描线具有相近的灰度值，图像获取与传输过程中的暗电流噪声、热噪声等使得图像上出现无规律的亮点，这均会对激光条纹的提取造成影响。为最大程度的减少该类影响，通过ROI提取方法提取出包含激光雷达扫描线的图像区域，该图像区域提取的依据为在工业相机与单线激光雷达相对位置固定的前提下，激光扫描线总是出现在每一帧图像的同一位置。

相机视场角大小及其安装位置决定了视野内的目标物体，对于相机视野范围完全包含传送带的情况，用Hough直线检测的方法去除图像上激光线两端的直线段。

在图像上激光扫描线附近，二值化后的矿石纹理与激光扫描线具有相同的灰度值，这会对激光条纹中心线的提取造成影响。矿石纹理噪声点大多呈现圆形，因此，采用Hough圆检测的方法消除或减少该类噪声点。

对炉料矿石图像预处理及消除噪声点后，通过灰度重心法提取激光条纹扫描中心线。该方法是将激光扫描线截面灰度值分布中的质心记作为扫描线的中心。在一列线激光中先利用极值法求取光强最大的一点g_max，然后确定一个阀值T＝g_max-g，在阈值两边判断大于K的元素，求出其重心位置作为激光扫描线的中心。对于M*N大小的图像f，像素的灰度值凡是超过阈值T的均参与重心处理，于是重心坐标为：

当Hough圆检测无法完全消除噪声点时，由上述灰度重心计算公式可知噪声点位置会灰度重心法提取激光扫描中心线造成影响。为最大程度的减少该影响，需对获得的激光扫描中心线进行数据处理。通过计算激光扫描中心线数据高度值的偏度系数与峰度系数，可知炉料矿石的高度分布符合正态分布。由此，可依据3σ原则剔除激光中心线数据中的异常值。

激光扫描中心线是由离散点构成的二维曲线，其样式不固定，在凸出的炉料矿石表面部分数据密集，边缘凹陷和矿石间隙部分数据稀疏甚至不可见。按照顺序连接这些离散点，形成一条完整的激光扫描中心线，而后对输入数据向量做差分，并统计差分变号信息，进而得到数据的极值信息，该极值信息即为激光扫描中心线局部极值点在图像上的二维坐标。

(4)处理单线激光雷达获得的点云数据，剔除点云噪声。

根据实际需求确定单线激光雷达的扫描频率、角分辨率、起始与终止角度等后采集激光点云数据。单线激光雷达获得的点云数据为极坐标下的数据，在已知每个点距离激光扫描仪中心的距离和角度的前提下，可依据公式(6)将其转换为直角坐标系下的数据。

其中，r为扫描点距离激光扫描仪中心的距离，θ为扫描点距离激光扫描仪中心轴线的角度。图5所示为坐标变换后的一帧激光雷达点云数据，其数量较少，数据点构成的曲线形状对应炉料截面的高度变化。

单线激光雷达在实际扫描过程中会受到多种因素干扰，使得测量结果与真实结果有偏差。点云噪声产生的原因可分为两大类，一类是外界因素导致的，如光线、震动、粉尘、物体遮挡等，另一类为激光雷达内部原因。因此，需要采用一定方法对点云数据进行去噪滤波。

当激光束打在物体上时，会在物体表面产生各个方向上的漫反射。物体表面的结构(光滑或粗糙)、形状(平的或弯曲)和颜色(浅或暗)决定了激光束的反射程度。小于激光束直径的物体不能够反射激光束的全部能量，当传感器接受到的反射信号太小时，可能无法检测到该物体。小物体无法反射的激光束可能会被背景中的大物体所反射，从而造成错误的测量结果。在传送带的中心部分，炉料矿石相互堆叠遮挡，在边缘部分会存在粉尘颗粒。当颗粒粒径太小传感器无法检测到时，激光雷达获得的深度数据为传感器与皮带的距离值。针对由于激光产的部分击中前景中的物体，部分击中更远的物体，或由于物体本身的光线反射太少造成的错误测量的现象，对单线激光雷达每一帧测量数据进行边缘滤波，用以消除边缘处的错误或极端距离值。

光电激光雷达内部传感器在接受返回的回波信号时存在脉冲噪声，这种噪声为乘性噪声，与信号相关，难以去除。基于该类信号的特点，可考虑采用均值滤波或中值滤波方法实现点云数据滤波。中值滤波适用于在距离值中排除单个异常值，该滤波器设计为1x3的矩阵，将序列值中间的测量值作为距离值输出。均值滤波用以平滑获得的距离值，滤波器大小可根据需求设计。

(5)对稀疏的点云数据进行插值，获得点云数据局部极值在雷达坐标系下的三维坐标。

从炉料矿石图像上提取的激光扫描中心线为稠密的像素值，而单线激光雷达扫描得到的点云是稀疏的深度值。为寻找到两者对应的特征点，需要对稀疏的点云进行插值，使得其长度与激光扫描中心线像素数目匹配。

炉料表面微小的纹理变化与传送带上细小的炉料粉末造成激光雷达测量误差，该类误差导致的不规则数据使得点云不光滑或有漏洞，且不规则数据较难用统计分析等滤波方法消除。与分段插值、多项式Lagrange插值等方法相比，样条插值函数具有收敛性好、光滑性好、不需要过多导数信息的特点，因此，采用三次样条插值方法对点云数据进行插值，并采用与图像处理相同的方法获得点云数据中的极值点。

(6)构建图像坐标系与雷达坐标系下的特征点对，通过PNP求解获得单线激光雷达与可见光相机的外参转换关系。

为保证标定精度，在每一组匹配的点云帧和图像帧中选择10个特征点，选择多组匹配帧，采用线性最小二乘法求得每组的最优解，并将其均值作为最终标定结果。外参标定结果如表1所示。

表1本发明实施例外参估计结果

本发明实施例旨在提出一种单线激光雷达与可见光相机的外参联合标定方法，用于对检测高炉炉料粒径的传感器融合系统进行标定。本发明在单线激光雷达与相机视角重叠的基础上，获得同时间段内的多帧图像数据与多帧雷达点云数据，并根据时间差阈值的大小与点云数据量阈值的大小，实现单帧图像与单帧点云数据的时间匹配。在相机内参已知的前提下，首先根据畸变模型对多帧炉料图像进行校正，得到校正图像，而后采用图像处理算法提取激光扫描中心线，并确定中心线局部极值在图像坐标系下所对应的二维坐标。同时对点云数据进行处理，剔除每一帧数据中的点云噪声，并根据图像上对应的像素数目对稀疏点云数据进行插值，获得其局部极值在雷达坐标系下的三维坐标。上述二维坐标与三维坐标组成多个2D-3D特征点对，由线性最小二乘法求得外参标定的最优解。

本发明实施例提出的外参标定方法可实时在线地对单线激光雷达与可见光相机进行标定，修正外参矩阵。与现有方法相比，本发明提出的方法充分利用检测对象特点与传感器工作数据，极大简化了标定流程，具有操作简单、效率高等优点。

参照图6，本发明实施例提出的单线激光雷达与可见光相机的外参标定系统，包括：

存储器10、处理器20以及存储在存储器10上并可在处理器20上运行的计算机程序，其中，处理器20执行计算机程序时实现本实施例提出的单线激光雷达与可见光相机的外参标定方法的步骤。

本实施例的单线激光雷达与可见光相机的外参标定系统的具体工作过程和工作原理可参照本实施例中的单线激光雷达与可见光相机的外参标定方法的工作过程和工作原理。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种单线激光雷达与可见光相机的外参标定方法，其特征在于，所述方法包括：

获得同时间段内可见光相机采集的多帧炉料图像数据与单线激光雷达采集的多帧点云数据，并根据时间差阈值与点云数据量阈值，实现单帧炉料图像与单帧点云数据的时间匹配；

建立相机畸变模型，并根据所述相机畸变模型对炉料图像进行校正；

根据校正后的炉料图像，提取激光扫描中心线，并确定激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标；

根据点云数据的步长与炉料图像像素的数目信息，对稀疏的点云数据进行插值，从而获得点云数据局部极值在雷达坐标系下的三维坐标；

根据激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标以及点云数据局部极值在雷达坐标系下的三维坐标的特征点对，利用线性最小二乘法获得相机与单线激光雷达的外参矩阵。

2.根据权利要求1所述的单线激光雷达与可见光相机的外参标定方法，其特征在于，获得同时间段内可见光相机采集的多帧炉料图像数据与单线激光雷达采集的多帧点云数据之前包括：

对单线激光雷达与可见光相机进行适配安装，使得单线激光雷达与可见光相机在空间与时间上同步，且对单线激光雷达与可见光相机进行适配安装包括将可见光相机水平固定在炉料传送带的上方，相机视角包含传送带的全部宽度，将单线激光雷达向下倾斜固定在传送带上方，倾斜角度约为5°，与可见光相机水平间距约7cm，垂直间距约44cm，标定过程及后续粒径检测过程中，始终保持可见光相机和单线激光雷达的相对位置不变。

3.根据权利要求2所述的单线激光雷达与可见光相机的外参标定方法，其特征在于，建立相机畸变模型，并根据所述相机畸变模型对炉料图像进行校正包括：

采用张正友棋盘标定方法获得相机径向畸变与切向畸变参数；

根据相机径向畸变与切向畸变参数建立相机畸变模型，且所述畸变模型具体为：

其中，x_c代表畸变后像素的横坐标，y_c代表畸变后像素的纵坐标，x_p代表畸变前像素的横坐标，y_p代表畸变前像素的纵坐标，k₁、k₂、k₃为径向畸变系数，p₁、p₂为切向畸变系数，r为炉料图像像素点到炉料图像中心点的距离。

4.根据权利要求3所述的单线激光雷达与可见光相机的外参标定方法，其特征在于，根据校正后的炉料图像，提取激光扫描中心线包括：

对校正后的炉料图像进行ROI提取，获得包含激光扫描线的ROI区域；

对所述ROI区域进行Hough直线检测，从而去除所述ROI区域中激光扫描线两端的直线段；

采用Hough圆检测方法对去除激光扫描线两端的直线段的ROI区域进行去噪；

通过灰度重心法提取去噪后的ROI区域中的激光扫描中心线。

5.根据权利要求4所述的单线激光雷达与可见光相机的外参标定方法，其特征在于，通过灰度重心法提取去噪后的ROI区域中的激光扫描中心线具体为：

根据去噪后的ROI区域中的激光扫描线的截面灰度值分布中的质心，获得激光扫描中心线，且获得激光扫描中心线后还包括对所述激光扫描中心线中的异常值进行剔除。

6.根据权利要求5所述的单线激光雷达与可见光相机的外参标定方法，其特征在于，根据点云数据的步长与炉料图像像素的数目信息，对稀疏的点云数据进行插值之前还包括对点云数据进行滤波预处理。

7.一种单线激光雷达与可见光相机的外参标定系统，所述系统包括：

存储器(10)、处理器(20)以及存储在存储器(10)上并可在处理器(20)上运行的计算机程序，其特征在于，所述处理器(20)执行所述计算机程序时实现上述权利要求1至6任一所述方法的步骤。

Images