CN112541886A - 一种激光雷达和相机融合人工智能矿石识别方法和装置 - Google Patents

Abstract

本发明公开了一种激光雷达和相机融合人工智能矿石识别方法和装置，其适用性较强，且实时性好。具体方案为：矿石置于匀速运行的传送带上；采用二维激光雷达对矿石发射激光信号，并根据矿石返回信号采集得到矿石的点云数据信息；点云数据信息包括距离点云和反射率点云。利用线阵相机配合照明光源采集矿石的相机图像。对矿石的点云数据信息及相机图像进行像素级融合，得到矿石的三通道图像；三通道分别为灰度值通道、距离点云通道、反射率点云通道。对矿石的三通道图像进行归一化、剔除干扰背景、去噪处理，提取纹理特征、三维形状特征以及灰度特征，并利用卷积神经网络对提取的特征进行识别，得出矿石识别结果。

Description

一种激光雷达和相机融合人工智能矿石识别方法和装置

技术领域

本发明涉及光电检测、光电成像和光电测量技术领域，具体涉及一种激光雷达和相机融合人工智能矿石识别方法和装置。

背景技术

在矿石开采方面，我国每年矿石产量极大，对矿石/杂料及煤/矸的分选需求也极大。据统计，截止2018年底前，单煤炭产量即可达39.7亿吨/年。以其中煤炭行业为例，目前煤炭开采方面已由传统的人工开采转换到现代化的半自动化机械开采，然而在煤矸分选方面，仍然以人工分选为主，有着分选效率低下、人员劳动强度大的劣势，同时分选环境恶劣，对分选人员的健康威胁极大。

目前矿石领域的成像识别方法主有高清相机成像法、红外相机成像法和X射线成像法。其中高清相机成像法通过相机拍摄传送带上的矿石，然后对矿石信息进行一系列信息处理后提取矿石的灰度和纹理和外形等特征，最后运用分类算法或卷积神经网络对其分类。然而单一的相机在信息采集方面只能采集2D的平面信息，受外界环境的影响大如光照、粉尘等，且由于许多矿石与杂料的纹理类似造成其在实际应用中识别效果不佳。

射线辐射对人体健康危害大，高清相机红外相机受现场环境恶劣的限制，使得这些方法在矿石识别方面实际应用效果不佳。

激光雷达受水的影响较大，当被测物表面有水时，表面形成类似镜面，对激光雷达发射的激光光束全反射，导致部分激光光束无法回到激光雷达接收器，造成采集信息的部分丢失，而相机不会受水的影响且分辨率较高弥补了激光雷达的部分缺陷。因此现有的矿石识别方法适用性较差，且实时性不好。

发明内容

有鉴于此，本发明提供了一种激光雷达和相机融合人工智能矿石识别方法和装置，其适用性较强，且实时性好。

为达到上述目的，本发明的技术方案提供的一种激光雷达和相机融合人工智能矿石识别方法，包括如下步骤：

S1、矿石置于匀速运行的传送带上；采用二维激光雷达对矿石发射激光信号，并根据矿石返回信号采集得到矿石的点云数据信息；点云数据信息包括距离点云和反射率点云。

S2、利用线阵相机配合照明光源采集矿石的相机图像。

S3、对矿石的点云数据信息及相机图像进行像素级融合，得到矿石的三通道图像；三通道分别为灰度值通道、距离点云通道、反射率点云通道。

S4、对矿石的三通道图像进行归一化、剔除干扰背景、去噪处理，提取纹理特征、三维形状特征以及灰度特征，并利用卷积神经网络对提取的特征进行识别，得出矿石识别结果。

进一步地，二维激光雷达采集矿石的点云数据信息与线阵相机采集矿石的相机图像同时进行；

进一步地，对矿石的点云数据信息及相机图像进行像素级融合，得到矿石的三通道图像；

具体为：

S301、根据二维激光雷达与线阵相机的安装位置，对矿石的点云数据信息及二维图像数据信息进行空间位置的匹配。

S302、根据点云数据信息中的距离点云和反射率点云，分别得到距离点云图和反射率图。

S303、建立二维激光雷达坐标系；针对线阵相机系统建立三个坐标系，分别为像素坐标系、图像坐标系和相机坐标系，像素坐标系相机图像的像素坐标系；图像坐标系是在像素坐标系下建立实际度量单位为刻度的坐标系；相机坐标系用于表示物体与线阵相机的相对位置。

S304、二维激光雷达坐标系经过刚体变换到相机坐标系，相机坐标系经过投影透视到图像坐标系，图像坐标系经过平移变换到像素坐标系，由此得到点云数据信息到相机图像的转换关系。

S305、根据求得的转换关系，二维激光雷达的反射率图与距离点云图的每一个点均转换至相机图像上，转换后，相机图像上多余的像素做剔除处理。

S306、将转换后的三个大小相同的图像合并形成三维矩阵，即为三通道数据，三通道分别为灰度值通道、距离点云通道、反射率点云通道。

本发明的另外一个实施例提供了一种相机和激光雷达融合人工智能矿石识别装置，装置包括：激光雷达模块、相机模块、数据传输模块、数据融合模块以及信息识别模块；

矿石置于匀速运行的传送带上。

激光雷达模块用于向传送带上的矿石发射激光信号，并根据矿石返回的信号采集得到矿石的点云数据信息，点云数据信息包括距离点云和反射率点云。

相机模块包含相机和照明光源，采集传送带上的矿石的二维图像数据信息。

数据传输模块，将激光雷达模块采集的矿石的点云数据信息与相机采集的二维图像数据传输至数据融合模块。

数据融合模块，将数据传输模块送达的矿石的点云数据信息与相机采集的二维图像数据进行预处理，并实现像素级融合成像，形成三通道图像。

信息识别模块，提取矿石的三通道图像的纹理特征、三维形状特征及灰度特征，利用卷积神经网络对提取的特征进行识别，得出矿石的识别结果。

进一步地，二维激光雷达采集矿石的点云数据信息与线阵相机采集矿石的二维图像数据信息同时进行；通过在二维激光雷达与线阵相机下方安装光电开关来控制两者的同步采集。

即当矿石在传送带上运动，矿石前端运动到二维激光雷达与线阵相机正下方时，开始触发光电开关，二维激光雷达与线阵相机同时开启，分别采集矿石的点云数据信息和矿石的二维图像数据信息；当矿石后端离开激光雷达与相机正下方时，结束光电开关触发，二维激光雷达与线阵相机同时停止采集。

有益效果：

本发明提供的一种激光雷达和相机融合人工智能矿石识别方法和装置，融合激光雷达和相机数据，可弥补两者各自的缺陷，激光雷达对湿水矿石数据的采集能力较弱但可采集三维距离信息以及回波强度信息，相机无法采集三维信息，对于受灰尘覆盖，灰度相近的矿石识别能力较弱但湿水矿石对其并无较大影响且图像数据分辨率高信息量大，整个装置没有射线辐射危害，适应性强。本发明通过对激光点云和图像数据的像素级融合，形成的三通道图像包含了灰度、距离和回波强度三个通道的信息，包含信息量大，可从中提取的表面纹理、三维形状特征更多，矿石表面不会因为湿水或受到灰尘遮盖而导致纹理和三维形状特征缺失。运用卷积神经网络算法，相较传统识别分类算法，识别准确度高，实时性好。

附图说明

图1为本发明提供的一种基于激光成像的人工智能矿石识别装置组成示意图；

图2为本发明实施例中二维激光雷达与线阵相机数据融合流程图；

图3为本发明实施例中矿石人工智能识别方法流程图；

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

为了解决现有矿石识别方法适用性较差，以及识别实时性不好的问题，如图1所示，本发明提供了一种基于激光成像的人工智能矿石识别装置，该装置包括：激光雷达模块、相机模块、数据传输模块、数据融合模块、以及信息识别模块。

图1中①、②分别为激光雷达模块和相机模块，矿石(图1中④)在传送带(图1中③)上匀速运动，二维激光雷达与线阵相机完成对矿石点云数据及图像信息的采集；

信号传输模块，用于将矿石点云数据及图像信息传输至数据融合模块；如图1中⑤信号传输模块由网线以及电脑端接收处理软件组成。

数据融合模块，对信号传输模块处获取的点云数据信息及图像信息进行预处理并运用融合算法进行融合，并得到矿石对应的三通道图像；

信息识别模块，对融合后的矿石三通道图像进行归一化、剔除干扰背景、去噪处理，提取纹理、三维形状、灰度特征信息，并利用卷积神经网络对处理后的特征信息进行识别，得到矿石识别结果。

在本发明中，数据融合模块和信息识别模块可以集成在上位机PC中，见图中⑥，二维激光雷达与线阵相机可以作为下位机。

在本发明中，数据融合模块对激光雷达采集的点云数据信息(距离点云和反射率点云)以及相机采集的图像信息进行融合，具体地：

本发明中的数据融合模块采用了像素级融合的方法，在这里由于二维激光雷达与线阵相机的安装位置不同，在融合前需要保证空间位置的匹配。

本发明中通过在二维激光雷达与线阵相机下方安装光电开关来控制两者的同步采集，即当矿石在传送带上运动，矿石前端运动到激光雷达与相机正下方时，开始触发光电开关，激光雷达与相机同时开始采集，当矿石后端离开激光雷达与相机正下方时，结束光电开关触发，激光雷达与相机同时停止采集。这样保证了激光雷达与相机在这段相同的采集时间内采集的为同一矿石，起到了与前后矿石的分割作用，并且由于现场识别作业时，系统24小时工作，采用此种采集方式，在传送带上无矿石时，激光雷达与相机不采集，不工作，减少激光雷达与相机的工作时间和工作压力，延长了系统的使用时限。

在这里利用传送带扫描的特点，使用了二维激光雷达与线阵相机来进行数据采集，相较于使用面阵相机与二维激光雷达及面阵相机与三维激光雷达进行数据融合降低了数据融合的难度。且二维激光雷达及线阵相机都具有更高的扫描频率，结合扫描传送带上匀速运动物体的特点可以获得相较三维激光雷达和面阵相机更加高分辨率的点云数据以及图像数据。

在融合之前由于二维激光雷达与线阵相机安装的位置与角度不同，需要进行二维激光雷达与线阵相机的联合标定工作，常见的标定方法如Autoware、Matlab等标定工具箱一般只适用于面阵相机与三维激光雷达的标定。

传统的激光雷达与相机标定中通常使用三维标定物(如立方块、菱形块等)，但制作高精度的三维标定板难度较大，

在本发明中对于二维激光雷达与线阵相机的标定，可将常见的二维棋盘格标定板以不同姿态放置在传送带上匀速运动通过雷达与相机下方，此处用作标定的不是传统的距离点云，而是反射率点云，反射率点云成像后，棋盘格标定板清晰可见，与传统的激光雷达和相机标定使用三维标定物，并提取三维标定物的棱角边缘特征与相机图像中对应边缘特征进行匹配相比，该方法将三维点云与二维图像进行标定转化为了二维图像之间的标定。步骤更为简单，且可供使用的成熟标定算法更多。

由于二维激光雷达的采集频率一般低于线阵相机的采集频率，所以采集后经反射率点云和距离点云映射投影所获得的激光雷达反射率图与距离点云图的分辨率一般低于线阵相机所采集图像的分辨率。在进行融合时，根据求得的转换关系，激光雷达反射率图与距离点云图的每一个点均可转换至相机图像上，此时，转化后，相机图像上多余的像素可做剔除处理，以保证三者分辨率的一致性。

图像的本质在数学上表示为一个矩阵，如分辨率100×100的图像可表示为一个100×100的二维矩阵，图像中每个像素的灰度值对应矩阵中对应坐标的数值。经过上述标定及预处理，此时三通道的融合，即将三个大小相同的二维矩阵合并形成三维矩阵。形成三通道数据，三通道分别为灰度值通道、距离点云通道、反射率点云通道。

本发明中的装置，利用二维激光雷达联合线阵相机对矿石进行识别，识别精度能达到毫米级别，能识别矿石的表面纹理和三维形状，由相机图像数据弥补了激光雷达对湿水矿石识别能力差的劣势，又由激光雷点云数据达弥补了相机对灰尘掩盖下，纹理不清晰，灰度近似的矿石识别效果差的劣势。二者相互融合，整个装置具有很强的适用性以及鲁棒性。

本发明提供了一种激光雷达和相机融合成像人工智能矿石识别方法，如图2和图3所示，该方法包括如下步骤：

S1、矿石置于匀速运行的传送带上；采用二维激光雷达对矿石发射激光信号，并根据矿石返回信号采集得到矿石的点云数据信息；点云数据信息包括距离点云和反射率点云。

S2、利用线阵相机配合照明光源采集矿石的相机图像。

S3、对矿石的点云数据信息及相机图像进行像素级融合，得到矿石的三通道图像；三通道分别为灰度值通道、距离点云通道、反射率点云通道。

S4、对矿石的三通道图像进行归一化、剔除干扰背景、去噪处理，提取纹理特征、三维形状特征以及灰度特征，并利用卷积神经网络对提取的特征进行识别，得出矿石识别结果。

本发明实施例中首先利用已知类别的矿石，采用步骤S1～S4的方式提取特征，作为训练样本，对预先建立的卷积神经网络模型进行训练得到训练好的卷积神经网络模型，利用训练好的卷积神经网络模型对未知类别雷达提取的特征进行识别，得出矿石识别结果。

如图2所示的S3的二维激光雷达与线阵相机数据融合流程，将标定板以不同姿态放在传送带上来采集标定数据，并用标定算法计算获得旋转变换矩阵，利用旋转变化矩阵将点云数据每个像素一一映射到图像数据的像素上得到三通道图像。S3具体可包含如下步骤：

S301、根据二维激光雷达与线阵相机的安装位置，对矿石的点云数据信息及二维图像数据信息进行空间位置的匹配。

S302、根据点云数据信息中的距离点云和反射率点云，分别得到距离点云图和反射率图。

S303、建立二维激光雷达坐标系；针对线阵相机系统建立三个坐标系，分别为像素坐标系、图像坐标系和相机坐标系，像素坐标系相机图像的像素坐标系；图像坐标系是在像素坐标系下建立实际度量单位为刻度的坐标系；相机坐标系用于表示物体与线阵相机的相对位置。本发明中，得到反射率图和相机图像后，可建立二维激光雷达坐标系(X₁-Y₁-Z₁)，其中二维激光雷达坐标系的原点为二维激光雷达的几何中心，X_L轴水平向前，Y_L轴水平向左，Z_L轴竖直向上；针对线阵相机系统建立三个坐标系，分别为像素坐标系、图像坐标系和相机坐标系，像素坐标系为(u，v)，原点为相机图像左上角，u轴水平向左、v轴竖直向下；图像坐标系是在像素坐标系下建立实际度量单位为刻度的坐标系，表示为(x，y)，图像坐标系的原点为线阵相机光轴与相机图像平面的交点，位于相机图像平面中心，x，y轴分别于u，v轴平行；相机坐标系用于表示物体与线阵相机的相对位置，表示为(X₂-Y₂-Z₂)，相机坐标系的原点为相机光心O点，X₂，Y₂轴平行于x，y轴，Z₂平行于相机光轴，垂直于图像平面。

S304、二维激光雷达坐标系经过刚体变换到相机坐标系，相机坐标系经过投影透视到图像坐标系，图像坐标系经过平移变换到像素坐标系，由此得到点云数据信息到相机图像的转换关系。S304具体为：

二维激光雷达转换到相机坐标系，其中R为3×3的矩阵，表示空间坐标旋转；T为3×1的矩阵，表示空间坐标平移；

从相机坐标系到图像坐标系的转换，是从三维坐标系转换到二维坐标系，其中f为线阵相机的焦距；

从图像坐标系到像素坐标系转换，单位长度和坐标原点不同，进行平移和伸缩变换，其中dx为x轴方向上图像坐标系中实际尺寸与对应像素之间的倍率关系，同理dy为y轴方向上的倍率关系，u₀为两坐标系原点x轴方向的偏移量，y₀为坐标原点y轴方向的偏移量：

激光雷达坐标系经过刚体变换到相机坐标系，相机坐标系经过投影透视到图像坐标系，图像坐标系经过平移变换到像素坐标系。则激光雷达到相机的坐标转换关系可以表示为：

运用张正友标定算法可求得激光雷达与CCD相机之间的坐标转换关系即R、T旋转平移矩阵，通过R、T坐标转换关系可将激光雷达采集的点云数据投影所得的反射率图坐标与相机采集的图像中的像素坐标一一对应。

S305、根据求得的转换关系，二维激光雷达的反射率图与距离点云图的每一个点均转换至相机图像上，转换后，相机图像上多余的像素做剔除处理。

S306、将转换后的三个大小相同的图像合并形成三维矩阵，即为三通道数据，三通道分别为灰度值通道、距离点云通道、反射率点云通道。

如图3所示的矿石人工智能识别方法，通过二维激光雷达和线阵相机采集点云数据及图像数据，用图2中所示融合方法将其融合得到灰度、距离点云、回波强度点云三通道图像，并对三通道图像进行滤波去噪，以及剔除背景处理，从处理后的的三通道图像中提取纹理特征、三维形状特征、灰度特征并用于卷积神经网络模型的训练，最后利用训练出来的模型对实时采集的矿石进行识别并得到结果。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种相机和激光雷达融合人工智能矿石识别方法，其特征在于，包括如下步骤：

S1、矿石置于匀速运行的传送带上；采用二维激光雷达对矿石发射激光信号，并根据矿石返回信号采集得到矿石的点云数据信息；所述点云数据信息包括距离点云和反射率点云；

S2、利用线阵相机配合照明光源采集矿石的相机图像；

S3、对矿石的点云数据信息及相机图像进行像素级融合，得到矿石的三通道图像；三通道分别为灰度值通道、距离点云通道、反射率点云通道

S4、对矿石的所述三通道图像进行归一化、剔除干扰背景、去噪处理，提取纹理特征、三维形状特征以及灰度特征，并利用卷积神经网络对提取的特征进行识别，得出矿石识别结果。

2.如权利要求1所述的方法，其特征在于，二维激光雷达采集矿石的点云数据信息与线阵相机采集矿石的相机图像同时进行；

3.如权利要求1所述的方法，其特征在于，所述对矿石的点云数据信息及相机图像进行像素级融合，得到矿石的三通道图像；

具体为：

S301、根据所述二维激光雷达与所述线阵相机的安装位置，对矿石的点云数据信息及二维图像数据信息进行空间位置的匹配；

S302、根据所述点云数据信息中的距离点云和反射率点云，分别得到距离点云图和反射率图；

S303、建立二维激光雷达坐标系；针对线阵相机系统建立三个坐标系，分别为像素坐标系、图像坐标系和相机坐标系，所述像素坐标系相机图像的像素坐标系；所述图像坐标系是在所述像素坐标系下建立实际度量单位为刻度的坐标系；所述相机坐标系用于表示物体与线阵相机的相对位置；

S304、二维激光雷达坐标系经过刚体变换到相机坐标系，相机坐标系经过投影透视到图像坐标系，图像坐标系经过平移变换到像素坐标系，由此得到点云数据信息到相机图像的转换关系；

S305、根据求得的转换关系，二维激光雷达的反射率图与距离点云图的每一个点均转换至相机图像上，转换后，相机图像上多余的像素做剔除处理；

S306、将转换后的三个大小相同的图像合并形成三维矩阵，即为三通道数据，三通道分别为灰度值通道、距离点云通道、反射率点云通道。

4.一种相机和激光雷达融合人工智能矿石识别装置，其特征在于，所述装置包括：激光雷达模块、相机模块、数据传输模块、数据融合模块以及信息识别模块；

矿石置于匀速运行的传送带上；

所述激光雷达模块用于向传送带上的矿石发射激光信号，并根据矿石返回的信号采集得到矿石的点云数据信息，所述点云数据信息包括距离点云和反射率点云；

所述相机模块包含相机和照明光源，采集传送带上的矿石的二维图像数据信息；

所述数据传输模块，将激光雷达模块采集的矿石的点云数据信息与相机采集的二维图像数据传输至数据融合模块；

所述数据融合模块，将所述数据传输模块送达的矿石的点云数据信息与相机采集的二维图像数据进行预处理，并实现像素级融合成像，形成三通道图像；

所述信息识别模块，提取矿石的所述三通道图像的纹理特征、三维形状特征及灰度特征，利用卷积神经网络对提取的特征进行识别，得出矿石的识别结果。

5.如权利要求1所述的装置，其特征在于，二维激光雷达采集矿石的点云数据信息与线阵相机采集矿石的二维图像数据信息同时进行；通过在二维激光雷达与线阵相机下方安装光电开关来控制两者的同步采集；

即当矿石在传送带上运动，矿石前端运动到二维激光雷达与线阵相机正下方时，开始触发光电开关，二维激光雷达与线阵相机同时开启，分别采集矿石的点云数据信息和矿石的二维图像数据信息；当矿石后端离开激光雷达与相机正下方时，结束光电开关触发，二维激光雷达与线阵相机同时停止采集。

Images