CN108932475B - 一种基于激光雷达和单目视觉的三维目标识别系统及方法 - Google Patents

Abstract

本发明公开了一种基于激光雷达和单目视觉的三维目标识别系统及方法，包括：将点云投影到二维图像，对投影图像和单目图像进行特征提取与匹配，计算投影图像与单目图像之间的射影变换关系；通过单目图像丰富的颜色信息进行目标识别并提取感兴趣的目标区域；通过激光雷达与单目之间的变换关系逆向计算目标在激光雷达点云中对应的点云块，最后输出点云块的空间位置信息。本发明弥补了三维点云目标识别困难的缺点，利用现在二维图像目标识别的成熟技术以及激光雷达高精度的测距性能，对三维场景中的目标进行识别和定位。

Description

一种基于激光雷达和单目视觉的三维目标识别系统及方法

技术领域

本发明属于计算机视觉技术领域，涉及一种基于激光雷达点云的三维目标识别系统及方法。

背景技术

随着激光雷达技术被用在越来越多的领域，基于激光雷达点云的三维目标识别也越来越受到重视。比如在导弹制导、卫星跟踪和机器人导航等领域中，需要利用激光雷达扫描、识别目标并输出目标的空间位置信息，具体主要是采用激光雷达作为传感器，对获取的三维点云目标进行识别提取。由于激光雷达获取的三维点云存在无序性、噪声多，并包含较多缺失点，直接对三维点云进行目标识别一直是个棘手的问题。

目前，用于三维点云目标提取的方法主要有：基于深度截取的目标提取方法、基于几何形状的简单目标提取方法、基于已知模型的目标提取方法以及基于三维点云特征提取的目标提取方法。

基于深度截取的目标提取方法是已知目标的大致位置信息，利用大致位置信息给出一个深度范围，去掉不在深度范围内的点，最后给出目标点云。该方法需要通过人眼或其它方式给出目标的大致位置，无法完全自动识别目标。

基于几何形状的简单目标提取方法主要用于面状、球以及圆柱体等形状物体的提取，对一般的三维点云目标无法有效提取。

基于已知模型的目标提取方法是由事先给出的目标的工件模型来提取点云中的相似的轮廓，该方法需要事先建立目标模型，主要应用于工业领域的零件检测。

基于三维点云特征提取的目标提取方法是提取一些三维特征并与存储的目标特征进行比较，从而完成识别提取过程。由于特征提取的特征整体性差，导致基于特征提取的目标识别率较低，该方法目前难以推广应用。

发明内容

本发明提供一种基于激光雷达和单目视觉的三维目标识别系统及方法，旨在解决现有三维点云目标识别困难的问题。

本发明的解决方案如下：

该基于激光雷达和单目视觉的三维目标识别系统，包括：

点云采集模块，利用激光雷达获取场景的三维点云；

图像采集模块，利用摄像机获取场景的二维图像，也记为单目图像；

点云投影模块，对激光雷达获取的三维点云进行投影，形成能够与单目图像匹配的投影图像；

图像匹配模块，对点云投影模块和图像采集模块得到的图像进行特征提取与匹配，寻找两图像之间的射影变换关系，最终计算出激光雷达与摄像机之间的变换关系；

目标识别模块，根据单目图像丰富的颜色信息对单目图像进行目标识别，如果检测到目标，则提取目标轮廓作为三维目标投影轮廓；

目标空间信息输出模块，根据激光雷达与摄像机之间的变换关系逆向推导出目标在三维点云中对应的点云块，输出目标的空间位置信息。

相应的，一种基于激光雷达和单目视觉的三维目标识别方法，包括以下步骤：

(1)利用激光雷达获取场景的三维点云；利用摄像机获取场景的二维图像，也记为单目图像；

(2)将激光雷达获取的三维点云投影到二维图像，形成能够与单目图像匹配的投影图像；

(3)对投影图像和单目图像进行特征提取与匹配，计算两图像之间的射影变换关系，进而计算出激光雷达与摄像机之间的变换关系；

(4)根据单目图像丰富的颜色信息进行目标识别和提取；

(5)根据激光雷达与摄像机之间的变换关系逆向推导出目标在三维点云中对应的点云块，输出目标的空间位置信息。

其中，实现上述步骤(2)的一种思路是：模仿摄像机的透视成像过程，对激光雷达获取的三维点云进行相似操作，从而得到与摄像机成像相似的二维图像。

进一步的，上述步骤(2)具体可以按照以下步骤实现：

2.1)将三维点云从激光雷达坐标系转换到摄像机坐标系；

2.2)将摄像机坐标系下的三维点云投影到图像物理坐标系：通过透视投影原理来计算三维点云中的每一点在图像物理坐标系下的坐标，获得图像物理坐标系下的二维点云；

2.3)将图像物理坐标系下的二维点云转换到图像像素坐标系：通过像元的大小和主点位计算图像物理坐标系下的二维点云在图像像素坐标系下的坐标，获得图像像素坐标系下的二维点云；

2.4)将图像像素坐标系下的二维点云光栅化为二维图像，以便于与摄像机得到的图像进行匹配。

进一步的，上述步骤(3)具体可以按照以下步骤实现：

3.1)检测图像边缘：对投影图像和单目图像利用Sobel算子检测边缘，提取目标的纹理和边缘信息；

3.2)检测图像边缘中的直线段：利用hough变换提取图像边缘中的直线段，并将位于同一条直线上的直线段合并为一条直线段；

3.3)对直线段进行排序：首先，利用直线与原点的距离和斜率对两图像中的直线段进行匹配；其次，依据直线离原点的距离和斜率大小对所有匹配上的直线段进行排序；

3.4)计算相交直线的交点：按照顺序(可按照上述“排序”)选择两条直线段，首先判断这两条直线段所在的直线是否相交，如果相交则计算它们的交点，直到计算完所有相交的直线，这些交点作为两图像之间的特征对应点；

3.5)计算两图像之间的射影变换：利用最小二乘法计算两图像之间的射影变换，该射影变换和步骤2.1)至步骤2.4)中的各个变换关系共同决定了激光雷达与摄像机之间的变换关系。

本发明对比现有技术，具有以下效果：

由于三维点云相比于二维图像缺少了相邻点之间的位置关系，而且点不是致密排列的，即场景中某一块区域没有对应的点云，所以通常直接处理起来比较困难。传统的三维点云识别主要集中在一些简单的几何图形上或已知模型参数的图形，对于一些形状复杂而未知的目标无法进行有效的提取。而本发明结合二维图像目标识别容易和激光雷达测距精确的优势，通过二维图像识别技术对三维点云中的目标进行识别并从而给出准确的空间位置信息。

本发明与现有技术相比，识别率更高，具有较广的适用性和鲁棒性。

附图说明

图1为本发明的系统模块图。

图2为点云投影流程图。

图3为各个坐标系之间的变换关系。

图4为图像匹配流程图。

图5为点云投影效果图。

图6为直线检测匹配图，其中(a)显示单目图像中的匹配直线段，(b)显示投影图像中的匹配直线段。

图7为图像匹配效果图。

具体实施方式

本实施例是一种应用于机器人视觉系统中的三维目标识别系统，从单目摄像头获取场景图像，识别目标并反算出其在激光雷达获取的三维点云中的空间位置，从而为机器人提供场景中目标的空间位置信息。

如图1所示，该三维目标识别系统主要包括以下6个模块：

1、点云采集模块。该模块负责从激光雷达获取场景的三维点云。

2、图像采集模块。该模块负责从摄像头获取场景图像。

3、点云投影模块。该模块负责对激光雷达获取的场景三维点云进行投影，投影的目的是获得与后续模块中能直接进行匹配的二维图像。

4、图像匹配模块。该模块负责对点云投影模块和图像采集模块获取的图像进行特征提取与匹配，寻找两图像之间的变换关系，最终计算出激光雷达与摄像机的变换关系。

5、目标识别模块。该模块负责对图像采集模块得到的图像进行目标识别，如果检测到目标，则提取目标轮廓作为三维目标投影轮廓。

6、目标空间信息输出模块。该模块负责对点云采集模块获取的点云进行目标提取，如果检测到目标，则输出目标的空间信息。

其中，点云投影模块和图像匹配模块是本发明的关键组成部分，详述如下：

点云投影模块的主要思想是：模仿摄像机的透视成像过程，对激光雷达获取的三维点云进行相似操作，从而得到和摄像机相似的二维图像。由于整个投影过程参数都是已知的，所以点云与投影图像的对应关系是已知的。点云投影流程如图2所示，包括以下步骤：

1)将点云从激光雷达坐标系转换到摄像机坐标系。一般激光雷达坐标系与摄像机坐标系坐标轴既不平行也不一致，因此需要将点云从激光雷达坐标系转换到摄像机坐标系。

2)将摄像机坐标系下的点云投影到图像物理坐标系。通过透视投影原理(公式1)来计算点云中的每一点在图像物理坐标系下的坐标，获得图像物理坐标系下的二维点云。

3)将图像物理坐标系下的二维点云转换到图像像素坐标系。通过像元的大小和主点位置(公式2)计算图像物理坐标系下的二维点云在图像像素坐标系下的坐标，获得图像像素坐标系下的二维点云。各个坐标系之间的关系如图3所示。

4)将图像像素坐标系下的二维点云光栅化为二维图像。二维点云光栅化的目的是将二维点云变换到一般图像格式，便于与摄像机得到的图像进行匹配。

图像匹配模块的主要思想是：由于点云投影模块得到的图像含有较多曲线条纹噪声和散粒噪声，直接利用现有的特征提取无法提取有效的特征点，因此需要设计更鲁棒的特征作为特征点。针对噪声的特点，本实施例采用hough变换来提取目标的直线边缘，并将直线的交点作为特征点进行图像匹配。图像匹配流程如图4所示，包括以下步骤：

1)检测图像边缘。对点云投影模块和图像采集模块得到的图像利用Sobel算子检测边缘，检测图像边缘的目的是提取目标的纹理和边缘信息。

2)检测图像边缘中的直线段。利用hough变换提取图像边缘中的直线段，并将在同一条直线上的直线段合并为一条直线段。

3)对直线段进行排序。首先，利用直线与原点的距离和斜率对两图像中的直线进行匹配，其次，对匹配上的直线利用直线离原点的距离和斜率大小对所有的直线进行排序。

4)计算相交直线的交点。按照一定的顺序选择两条直线，首先判断它们是否相交，如果相交则计算它们的交点，直到计算完所有相交的直线，这些交点作为两图像之间的特征对应点。

5)计算两图像之间的射影变换。利用最小二乘计算两图像之间的变换，该变换和点云投影模块中的各个变换关系共同决定了激光雷达和图像采集模块之间的对应关系。

以下结合一个具体示例来进一步说明本发明的工作过程和结果：

1、开启摄像头和激光雷达，启动三维目标识别系统。

2、系统运行后首先执行点云投影模块，对从点云采集模块得到的点云进行投影，效果如图5所示。

3、对点云投影之后，对点云投影后的图像和摄像头获取的图像进行特征点提取和匹配，计算出两图像之间的射影变换关系。具体是：

首先利用hough变换检测图中的直线段，然后对两图中检测到的直线段进行匹配，找到匹配的直线对，如图6所示；根据匹配的直线段，最后对图6中相交的直线求交点，利用交点作为特征点计算两图之间的射影变换，射影变换后两图基本重叠，效果如图7所示。

4、利用摄像机获取图像丰富的颜色信息提取目标(假设目标是图中的扇叶状图标)；5、逆向推导出目标在三维点云中对应的点云块，输出目标的空间位置信息。

Claims (1)

1.一种基于激光雷达和单目视觉的三维目标识别方法，其特征在于，包括以下步骤：

(1)利用激光雷达获取场景的三维点云；利用摄像机获取场景的二维图像，也记为单目图像；

(2)将激光雷达获取的三维点云投影到二维图像，形成能够与单目图像匹配的投影图像；

步骤(2)具体是：模仿摄像机的透视成像过程，对激光雷达获取的三维点云进行相似操作，从而得到与摄像机成像相似的二维图像；

步骤(2)具体包括以下分步骤：

2.1)将三维点云从激光雷达坐标系转换到摄像机坐标系；

2.2)将摄像机坐标系下的三维点云投影到图像物理坐标系：通过透视投影原理来计算三维点云中的每一点在图像物理坐标系下的坐标，获得图像物理坐标系下的二维点云；

2.3)将图像物理坐标系下的二维点云转换到图像像素坐标系：通过像元的大小和主点位计算图像物理坐标系下的二维点云在图像像素坐标系下的坐标，获得图像像素坐标系下的二维点云；

2.4)将图像像素坐标系下的二维点云光栅化为二维图像，以便于与摄像机得到的图像进行匹配；

(3)对投影图像和单目图像进行特征提取与匹配，计算两图像之间的射影变换关系，进而计算出激光雷达与摄像机之间的变换关系；

步骤(3)具体包括以下分步骤：

3.1)检测图像边缘：对投影图像和单目图像利用Sobel算子检测边缘，提取目标的纹理和边缘信息；

3.2)检测图像边缘中的直线段：利用hough变换提取图像边缘中的直线段，并将位于同一条直线上的直线段合并为一条直线段；

3.3)对直线段进行排序：首先，利用直线与原点的距离和斜率对两图像中的直线段进行匹配；其次，依据直线离原点的距离和斜率大小对所有匹配上的直线段进行排序；

3.4)计算相交直线的交点：按照顺序选择两条直线段，首先判断这两条直线段所在的直线是否相交，如果相交则计算它们的交点，直到计算完所有相交的直线，这些交点作为两图像之间的特征对应点；

3.5)计算两图像之间的射影变换：利用最小二乘法计算两图像之间的射影变换，该射影变换和步骤2.1)至步骤2.4)中的各个变换关系共同决定了激光雷达与摄像机之间的变换关系；

(4)根据单目图像丰富的颜色信息进行目标识别和提取；

(5)根据激光雷达与摄像机之间的变换关系逆向推导出目标在三维点云中对应的点云块，输出目标的空间位置信息。

Images