CN109934230A - 一种基于视觉辅助的雷达点云分割方法 - Google Patents

Abstract

本发明公开了一种基于视觉辅助的雷达点云分割方法，雷达通过发射激光束探测目标的位置、速度等特征量，相机产生的图像数据经过深度学习神经网络的处理后，得到物体识别和定位的结果，再将图像坐标系和雷达点云坐标系进行时间和空间上的配准，使其不仅在时间戳上具有一致性，同时经过坐标系转换得到与点云坐标对应的图像坐标，随后根据之前得到的图像识别定位结果，对点云进行分割。本发明采用激光雷达和视觉处理相融合的方式，实现了三维重建中的点云分割工作，借助最近热门的深度学习视觉处理技术，缩短了点云分割处理的复杂度和处理时间。

Description

一种基于视觉辅助的雷达点云分割方法

技术领域

本发明涉及三维重建激光雷达点云数据分割技术领域，尤其涉及一种基于视觉辅助的雷 达点云分割方法。

背景技术

点云分割是三维重建工作中的重要一环，尤其是在建筑物重建问题中，考虑到重建过程 需要更多的建筑物外观细节，一般采用地面激光雷达扫描仪扫描点云数据进行重建。点云分 割的目的是区分三维点云数据中的不同物体，分割后的点云子集应该是一系列有意义的对象， 例如车辆，行人，房屋，树木等等，从而实现突出重点，分而治之，单独处理的目的。

现有的点云分割方法大多是基于数学方法，针对2.5D深度图像或TIN模型再推广应用到 非结构化三维点云中，根据所采用的数学方法，典型的点云分割方法有边缘检测法、曲面生 长法、扫描线算法、聚类算法、基于图的分割算法等等，这些算法一方面在模型转换时会产 生一定的信息丢失，另一方面大规模的点云数据处理时计算成本非常高。

发明内容

本发明的目的在于针对现有点云分割方法的不足，提供了一种基于视觉辅助的雷达点云 分割方法。本发明将点云处理与图像处理技术进行融合，通过深度学习图像处理技术，减少 了大规模点云数据处理计算量的同时，达到分割目的。

本发明为实现上述目的所采用的技术方案是：一种基于视觉辅助的雷达点云分割方法， 包括以下步骤：

(1)激光雷达扫描点云数据，利用多相机获取视觉图像信息；

(2)将步骤1获得的点云数据和图像数据分别进行时间和空间上的配准，得到点云坐标和图 像坐标的一一匹配关系；

(3)将步骤1获得的图像信息放入深度学习神经网络中进行识别和定位；

(4)根据步骤2获得的点云坐标与图像坐标的关系，以及步骤3获得的图像识别结果进行点 云分割处理；

进一步地，所述的用于深度学习神经网络识别和定位的网络结构采用SSD300(Single Shot MultiBox Detector)结构，首先使用Karen Simonyan发表在ICLR 2015的VGG-16-Atrous结构 进行卷积处理，输出的特征图记为block4；随后将block4的特征层使用大小2x2步长为2的 最大池，大小3x3x512的卷积层，大小为3x3步长为1的最大池，大小为3x3x1024的卷积层， 大小为1x1x1024的卷积层依次处理，得到的特征层记为block7；将block7的特征层用1x1x256 的卷积层处理后加入1x1的0填充再用大小为3x3x512步长为2的卷积层处理，输出的特征 图记为block8；将block8的特征图用1x1x128的卷积层进行卷机操作后加入1x1的0填充再 用大小为3x3x256步长为2的卷积层处理，输出的特征图记为block9；将block9的特征图依 次经过大小为1x1x128和3x3x256的卷积层，得到的特征图记为block10；最后将block10的 卷积层经过小为1x1x128和3x3x256的卷积层，得到的特征图记为block11。将上述得到的命 名为“block4”“block7”“block8”“block9”“block10”“block11”的六个特征图分 别用3x3的卷积层提取特征，得到预测的定位框后，经过非极大值抑制处理后得到最后的识 别和定位结果。

进一步地，所述特征层大小的计算方法为：

某一卷积层输入图片的长和宽为为[W,H]，卷积核大小为[F,F,N]，步长为S，padding的 像素数为P，卷积后新特征层的长、宽、层数为[W’,H’,N]，W’和H’的计算公式为：

W’＝(W–F+2P)/S+1

H’＝(H–F+2P)/S+1

特别的，以SSD300为例，特征图选取block4，block7，block8，block9，block10，block11， 输入图片长和宽为[W,H]，计算得到特征图的长、宽和层数分别为[W/8,H/8,512](block4), [W/16,H/16,256](block7),[W/32,H/32,512](block8),[W/64,H/64,256](block9),[W/64-2, H/64-2,256](block10),[W/64-4,H/64-4,256](block11)。

进一步地，所述根据点云坐标与图像坐标的关系以及图像识别结果进行点云分割处理的 步骤为：

步骤1：已知点云与图像的配准结果，由坐标转换计算点云坐标对应的图像坐标；

步骤2：已知图像经由深度学习的识别和定位结果，将图像像素按识别和定位结果分类， 每个定位框表示一类，剩余没有被识别框选的像素为最后一类，即背景类；

步骤3：将步骤2得到的每个点云坐标匹配的图像像素点的分类结果作为步骤1计算的 点云坐标的分类结果。

本发明还提供了另一种基于视觉辅助的雷达点云分割方法，所述基于视觉辅助的雷达点 云分割方法可以通过增加相机的数目来辅助剔除由于映射关系而被错误分割的背景点云数 据，具体步骤为：

步骤1：在不同于第一个相机的位置固定另一个相机，收集图像数据；

步骤2：将点云数据和步骤1获得的相机二的图像数据进行时间和空间上的配准，得到 点云坐标和图像坐标的匹配关系；

步骤3：将步骤1所得的相机二的图像放入深度学习神经网络中进行识别和定位；

步骤4：根据步骤3所得的分类结果，如果同一点云坐标，根据步骤2所计算得到的图 像坐标在相机一和相机二的图像中所对应的像素均没有被识别为背景点，则该点的分割结果 不变，否则，如果在任何一个图像上被识别为背景点，则将该点的分类改为背景点。

本发明的有益效果是，本发明采用雷达点云与图像数据相融合的方法，利用当前先进的 深度学习图像处理技术，先对图像中的物体进行识别和定位，随后利用图像处理的结果来辅 助点云分割，考虑到SSD(Single Shot MultiBox Detector)的结构中不存在全连接层，所述的 进行图像识别定位的深度学习神经网络采用SSD的基本结构，在对每层特征图的大小进行调 整后得到识别和定位结果，由此可以对不同大小的图片进行识别和定位。本发明一方面利用 先图像处理随后配准到点云坐标系来规避了大规模点云数据处理时运算量巨大的问题，另一 方面，利用神经网络对图像处理的优势，达到了较高的准确度和更少的运行时间的效果。

附图说明

图1是本发明的算法流程图；

图2是KITTI数据库中激光雷达扫描的三维街景点云数据图；

图3是KITTI提供的左侧相机camera2所提供的图像；

图4是图3经由SSD300处理后的结果图；

图5是本算法分割出来的四辆车的点云数据图；

图6是KITTI提供的右侧相机camera3所提供的图像；

图7是本算法经过一次剔除背景点操作后四辆车的点云数据图。

具体实施方式

下面结合实例和附图说明对本发明做进一步更详细的阐述。

如图1是本发明的算法流程图，激光雷达发射激光信号，经过目标反射后被接收系统收 集，通过计算信号往返的时间来确定目标的距离，从而形成点云数据，借助相机拍摄的照片 经由深度学习神经网络的识别和定位处理结果，达到点云分割的目的，从而将不同种类的点 云数据图分离出来。本说明书使用的数据是由德国卡尔斯鲁厄理工学院和丰田美国技术研究 院联合创办的KITTI数据集，这里只使用其位于车顶左右两侧的两个彩色相机提供的图像数 据和位于车顶中间的Velodune HDL-64E激光雷达扫描仪提供的点云数据。

如图2是KITTI数据库中利用车辆顶部的激光雷达扫描的美国某条街道的三维街景点云 数据，可以看出其中包括车辆，树木等物体。如图3是KITTI提供的位于激光扫描仪左侧的 已经经过时间标定的相机所提供的图像。该相机已经由KITTI数据集标定，相机坐标系的z 轴方向与激光雷达的x轴方向一致，x轴正方向与雷达的y轴正方向成180°，y轴正方向与 雷达的z轴正方向成180°。

深度学习神经网络技术，模拟神经网络结构，通过不断的学习更新神经网络中的权值， 逐步抽取图像中的特征，从而达到识别和定位的结果。因为SSD的网络结构中不包括全连接 层，因此特征层大小不固定，可以处理不同大小的图片。同时，SSD采用创新的多层特征层 提取物体定位框的方法，从神经网络处理过程中抽取特征层经过卷积处理后提供特征。这样 做的目的是在卷积神经网络中，低层卷积层对位置信息比较敏感，而在后面的卷积层提取的 特征已经经过多层卷积层的提取和处理，对物体的分类效果较为精确。SSD综合低层特征层 和高层特征层的优点，同时提取位置和分类信息后经过非极大抑制的筛选处理，得到定位和 识别都较为准确的结果。此外，处理的图片只用在神经网络中处理一次就可以达到识别和定 位结果，处理时间较短，可以达到实时处理的目的。

如图4所示，经过神经网络的处理后，图像中的物体被识别并定位出来，如图5为图3 经由SSD处理后的结果，可以看到，SSD一共识别出了四辆车。(识别结果根据训练集设置的不同可以对特定的物体进行识别，这里仅用车辆作为结果展示。)

接下来将点云数据和图像数据进行配准，配准方法如下：首先利用铅锤等工具对雷达和 相机所处坐标系进行配准，使其坐标轴之间相互平行，没有夹角误差。然后使用张正友平面 标定方法对相机的内外参以及两个坐标系之间的距离进行标定，具体步骤如下：先打印一张 黑白相间的棋盘模板并贴在一个平面上，从不同角度拍摄若干张模板图象，然后用matlab的 相机标定工具箱进行标定，得到相机的内外参数。相机标定后，需要根据图像坐标系与点云 坐标系之间的关系，进行坐标轴转换，将点云坐标转换为图像坐标，具体转换关系为：

(x,y,z)为点云坐标系下的坐标，由激光雷达测得，(x_c,y_c,z_c)为相机坐标系下的坐标，(u,v) 为相应的图像坐标，由相机拍摄所得，dx,dy为像素的物理尺寸，f是焦距，(u₀,v₀)为相机 光心在图像坐标系下的坐标，R和T为相机坐标系和点云坐标系之间的旋转和平移矩阵，以 上七个参数即为相机的内外参，由上述所述的相机标定过程所得。则得到由雷达点云坐标计 算图像像素坐标的公式为：

将点云的坐标匹配到图像坐标系之后，可以根据图像处理的结果对点云进行分割，具体 分割方式为：经过以上配准过程，得到图像坐标和点云坐标的匹配结果，再将图像像素经由 深度学习得到的分类结果赋予相对应的点云坐标。如图6所示为根据上述过程利用图像辅助 点云分割得到的四辆车的点云数据。从结果可以看出，每辆车的点云数据都被单独分离出来， 从分割结果可以看到清晰地车辆的形状，利用图像识别的结果对点云数据进行分割的结果清 晰可辨，同时由于利用SSD的实时处理，规避了大量点云数据的处理过程，处理时间上也有 很大的提高。但是我们可以看到，由于三维到二维映射关系的问题，一些背景点也因被投影 到对应像素上而被识别为非背景元素(也就是图3中的车辆)。

为了解决这个问题，可以通过增加相机的数目来辅助剔除由于映射关系而被错误分割的 背景点云数据。如图6所示为KITTI数据库提供的位于车顶右侧已经经过时间标定的相机所 提供的图像。对图6同样进行深度学习图像处理，得到图7所示的识别和定位结果，再将该 图像坐标系与点云坐标系进行配准，目前为止，利用深度学习对右侧相机图像进行的识别处 理和相应的点云配准操作与左侧相机一致，不同的是，如果同一个点云坐标，在图3和图6 的识别结果中都不属于背景点，则保留它的原分割结果，否则，如果在任意一幅图中被识别 为背景点，则将其归为背景点。最后结果如图7所示，可以看到，经过剔除背景点的操作后， 一些被错误分类的背景点被正确归类到背景点中，点云分割的结果更为准确了。

本发明一方面利用多传感器信息融合技术，借由视觉信息辅助点云分割决策。首先对图 像进行识别处理，然后通过配准操作和坐标系转换将图像处理的结果转换到点云坐标系，从 而用于点云分割处理。这样通过图像识别来间接进行点云操作，规避了点云处理计算量大的 问题。另一方面，图像处理的过程借助当前热门的深度学习神经网络技术，通过模拟人脑神 经元对信息处理的方式，建立模型，逐步对信息进行抽象提取重组等操作，利用深度学习强 大的学习能力和高效的表征能力，达到更高的图像识别准确度。

Claims (5)

1.一种基于视觉辅助的雷达点云分割方法，其特征在于，包括以下步骤：

(1)激光雷达扫描点云数据，利用多相机获取视觉图像信息。

(2)将步骤1获得的点云数据和图像数据分别进行时间和空间上的配准，得到点云坐标和图像坐标的一一匹配关系。

(3)将步骤1获得的图像信息放入深度学习神经网络中进行识别和定位。

(4)根据步骤2获得的点云坐标与图像坐标的关系，以及步骤3获得的图像识别结果进行点云分割处理。

2.根据权利要求1所述的基于视觉辅助的雷达点云分割方法，其特征在于：所述深度学习神经网络采用SSD300结构，首先使用VGG-16-Atrous结构进行卷积处理，输出的特征图记为block4；随后将block4的特征层使用大小2x2步长为2的最大池、大小3x3x512的卷积层、大小为3x3步长为1的最大池、大小为3x3x1024的卷积层、大小为1x1x1024的卷积层依次处理，得到的特征层记为block7；将block7的特征层用1x1x256的卷积层处理后加入1x1的0填充再用大小为3x3x512、步长为2的卷积层处理，输出的特征图记为block8；将block8的特征图用1x1x128的卷积层进行卷机操作后加入1x1的0填充，再用大小为3x3x256步长为2的卷积层处理，输出的特征图记为block9；将block9的特征图依次经过大小为1x1x128和3x3x256的卷积层，得到的特征图记为block10；最后将block10的卷积层经过小为1x1x128和3x3x256的卷积层，得到的特征图记为block11。将上述得到的命名为“block4”“block7”“block8”“block9”“block10”“block11”的六个特征图分别用3x3的卷积层提取特征，得到预测的定位框后，经过非极大值抑制处理后得到最后的识别和定位结果。

3.根据权利要求2所述的基于视觉辅助的雷达点云分割方法，其特征在于：所述特征层大小的计算方法为：

某一卷积层输入图片的长和宽为为[W,H]，卷积核大小为[F,F,N]，步长为S，padding的像素数为P，卷积后新特征层的长、宽、层数为[W’,H’,N]，W’和H’的计算公式为：

W’＝(W–F+2P)/S+1

H’＝(H–F+2P)/S+1。

4.根据权利要求1所述的基于视觉辅助的雷达点云分割方法，其特征在于：所述步骤4包括以下子步骤：

步骤4.1：已知点云与图像的配准结果，由坐标转换计算点云坐标对应的图像坐标。

步骤4.2：已知图像经由深度学习的识别和定位结果，将图像像素按识别和定位结果分类，每个定位框表示一类，剩余没有被识别框选的像素为最后一类，即背景类。

步骤4.3：将步骤4.2得到的每个点云坐标匹配的图像像素点的分类结果作为步骤4.1计算的点云坐标的分类结果。

5.一种基于视觉辅助的雷达点云分割方法，其特征在于：所述基于视觉辅助的雷达点云分割方法可以通过增加相机的数目来辅助剔除由于映射关系而被错误分割的背景点云数据，具体步骤为：

步骤1：在不同于第一个相机的位置固定另一个相机，收集图像数据。

步骤2：将点云数据和步骤1获得的相机二的图像数据进行时间和空间上的配准，得到点云坐标和图像坐标的匹配关系。

步骤3：将步骤1所得的相机二的图像放入深度学习神经网络中进行识别和定位。

步骤4：根据步骤3所得的分类结果，如果同一点云坐标，根据步骤2所计算得到的图像坐标在相机一和相机二的图像中所对应的像素均没有被识别为背景点，则该点的分割结果不变，否则，如果在任何一个图像上被识别为背景点，则将该点的分类改为背景点。