CN111273316A - 一种基于剖面展开融合的多激光雷达多视点对象检测方法 - Google Patents

Abstract

本发明提出了一种基于剖面展开融合的多激光雷达多视点对象检测方法，包括如下步骤：步骤1、进行多雷达数据采集，获取雷达采集的数据，并进行解析；步骤2、对多雷达采集的数据进行多视点剖面展开；即将同一时刻的多帧雷达数据分别投影到预定数目的视点坐标系中，在每个视点坐标系中并进行剖面展开；步骤3、获取高置信度障碍物；根据剖面展开的结果，求取视点坐标系中同一XY坐标值下多个点的距离，根据多个点之间的距离，标记多个点中的障碍物点；步骤4、展开面对象检测；完成了障碍物点标记之后，选取预定坐标系下的展开面作为下一步检测对象，对障碍的点进行标记处理。

Description

一种基于剖面展开融合的多激光雷达多视点对象检测方法

技术领域

本发明涉及无人驾驶技术领域，具体的涉及一种基于剖面展开融合的多激光雷达多视点对象检测方法。

背景技术

近些年，随着车辆自主驾驶系统的发展，为了使自动驾驶车辆能获得更多视野的信息，国内外很多研究人员提出了相关的多传感器融合算法。特别的，随着固态激光雷达的发展，因为其水平视场窄的特性，将多个激光雷达进行融合变得尤为重要。针对多个激光雷达的融合方法分为点云级别融合和特征级别融合两种。

点云级别的融合首先将多个激光雷达的点云直接投影到车体坐标系上，然后再对融合完成的点云进行算法处理。该方法虽然简单，但因为直接丢弃了多个不同位置雷达所包含的空间遮挡信息以及雷达本身包含的点所在线束信息，在后期的算法处理上无法做到最优。

特征级别的融合先是分别对各自雷达数据进行对象检测，然后将检测结果在车体坐标系上进行特征级别的融合。该方法虽然能够结合多个传感器的特征信息，但因为进行对象检测的时候相对独立，无法用到其他传感器提供的信息，因此也非最优的传感器融合方法。

为了克服多激光雷达融合存在的问题，尽可能在雷达融合的过程中保存不同位置雷达包含的空间遮挡信息，为需要雷达点所在线束信息的算法提供对应信息，且在算法进行的过程中能结合多个雷达点信息进行对象检测，本发明提出基于剖面展开融合的多激光雷达多视点对象检测方法。

发明内容

为了解决上述技术问题，本发明提出一种基于剖面展开融合的多激光雷达多视点对象检测方法，包括如下步骤：

步骤1、进行多雷达数据采集，获取雷达采集的数据，并进行解析；

步骤2、对多雷达采集的数据进行多视点剖面展开；即将同一时刻的多帧雷达数据分别投影到预定数目的视点坐标系中，在每个视点坐标系中进行剖面展开；

步骤3、获取高置信度障碍物；根据剖面展开的结果，求取视点坐标系中同一XY坐标值下多个点的距离，根据多个点之间的距离，标记多个点中的障碍物点；

步骤4、展开面对象检测；完成了障碍物点标记之后，选取预定坐标系下的展开面作为下一步检测对象，对障碍物点进行标记处理。

进一步的，所述步骤2中：

所述的视点的选取是任意选取，预定数目为一个或多个；

所述任意选取视点包括选取各个雷达所在坐标系为视点，即选取雷达1坐标系作为视点坐标系，或选取雷达2坐标系作为视点坐标系，或选取雷达n坐标系作为视点坐标系，n为雷达的数量；

或者选取世界坐标系作为视点坐标系；

或者选取空间中任一点作为视点，所述空间中任一点不与前述雷达n的坐标系重叠。

进一步的，所述步骤2包括：

对多雷达采集的数据进行多视点剖面展开：将同一时刻的多帧雷达数据分别投影到雷达1的视点坐标系中并进行剖面展开；将同一时刻的多帧雷达数据分别投影到雷达2的视点坐标系中并进行剖面展开；将同一时刻的多帧雷达数据分别投影到雷达n的视点坐标系中并进行剖面展开；n为雷达的数量；

或将同一时刻的多帧雷达数据投影到世界视点坐标系中并进行剖面展开；

或将同一时刻的多帧雷达数据投影到空间中任一点作为视点的坐标系中并进行剖面展开。

进一步的，所述步骤3包括：

求取视点坐标系中同一XY坐标值下多个点之间的距离，所述多个点为来自不同雷达的采集数据；根据多个点之间的距离，如果多个点中的某两个点距离大于阈值，则分别计算该两个点与原点的距离，并将与原点的距离值较小的点作为高置信度的障碍物，对该与原点的距离值较小的点加以标记。

进一步的，所述步骤4包括：

选取世界坐标系下的展开面作为下一步检测对象，对存在高置信度障碍物的点进行标记处理，并将堆叠处的远距离点进行丢弃，依据单激光雷达数据的处理方法进行障碍物检测。

进一步的，所述步骤2中：

在不同视点下障碍物的堆叠情况不同，选择越多视点，获取到高置信度障碍物的可能性则越高。

进一步的，所述步骤2中：

对多激光雷达进行剖面展开具体的包括：以视点为原点，前方为x轴，右方为y轴，将激光雷达数据转换到该坐标系下，计算：

其中θ_x为点在相应视点坐标系下连接原点直线与y轴的水平夹角，θ_y为点与原点连线与地面的夹角，s_x为水平夹角分割单位跨度，s_y为垂直夹角分割跨度，X为点云在垂直展开图上的x坐标，Y为点云在垂直展开图上的y坐标。

进一步的，由于存在空间点的堆叠关系以及受到分割跨度影响，在同一XY值下可能会有多个点云；在完成剖面展开后，对同一XY值下的多个点依照远近进行排序，将堆叠距离转化为同一XY值下远近有序的点间的距离差，对展开图每个XY值下的点两两之间进行距离计算，超过阈值则确定前方位置存在高置信度障碍物，

进一步的，所述步骤4中：

完成高置信度障碍物判断后，对相应点进行标记，得到带有高置信度障碍物信息的主剖面展开点云数据，由于该主剖面展开图的XY坐标分别对应于雷达点与y轴的水平夹角，及雷达点与原点的连线和xoy平面的夹角，因此除存在高置信度障碍物外，每个位置存在的多个点距离都应该小于预定阈值，取其最近或者平均距离后将多个点替换为单个点，将该单个点在y轴的值当做其对应的线束进行处理。

有益效果

本发明针对目前多传感器融合算法在点云级别融合过程空间遮蔽信息丢失，及在特征级别融合时特征提取相对独立，没能获得其他传感器信息以增强特征提取精度的问题，提出了基于剖面展开的多传感器联合对象检测方法。该方法可以利用传感器之间的堆叠信息快速获取高置信度障碍物，在完成高置信度障碍物标记后，经过空间投影算法又将多传感器信息合并为单一视点信息，可应用单传感器障碍物检测算法对多传感器信息进行检测，即保证了空间堆叠信息的获取，又保证了多传感器信息的统一提取。且因后半部分的处理基本与单传感器相同，因此可利用单传感器对象检测算法及高置信度障碍物标记信息进行高精度的对像检测。

附图说明

图1：本发明的算法流程框图；

图2：本发明点云转换示意图；

图3：本发明高置信度障碍物对象检测原理示意图；

图4：本发明剖面展开点云图；

图5：雷达与地面坐标示意图；

图6：雷达间的六个参数转换关系示意图；

图7：三维空间上的点云展开成二维后得到的二维点云展开图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

根据本发明的一个实施例，激光雷达可能安装在车辆的顶部及车体的左上，右上，左下，右下四个方位，顶部雷达平装，而其他四个方位雷达按照需求或平装或侧向下安装，雷达间存在着6个参数的转换关系，如图5所示。

获取雷达间的空间转换关系，可同时用雷达扫描地面并求得地面法线与z轴夹角，经过换算可求得雷达的x，y轴旋转角度θx，θy，旋转过后通过求取地面高度可获得z轴偏移量。完成上面水平标定后通过在地面摆放锥形障碍物可获得z轴旋转角度及x，y轴偏移量θz，△x,△y，这样便可获得雷达间的六个参数关系。如图6所示。

本发明所述方法是在所有雷达按照如上所述的6参数求取和转换后进行的，完成转换后的所有雷达数据可以近似看成是同一个雷达的数据。

将所有多个雷达的点云转换到某一个坐标系后的点云为无序点云，不利于堆叠关系的提取和基于空间关系的算法处理，因此对点云进行垂直面展开处理。此处的“垂直”指的是垂直于地面，因为世界坐标的xoy平面一般取为地面，因此垂直面展开的含义也可以理解为将点云围绕z轴展开，如图7所示。图7的上半部分图像展示的是三维空间上的点云，下半部分图像是将点云展开成二维后得到的二维点云展开图。

所得剖面展开图中，横向坐标为点云在xoy平面下的与y轴的夹角值，纵向坐标为点云数据与坐标原点的连线与xoy平面的夹角(类似于球坐标系的两个参数，只是球坐标系的参数θ一般指的是点与原点的连线和z轴的夹角，而这里取的是点与原点的连线与xoy平面的夹角。他们之间是90-θ的关系)，而每个坐标下存放坐标系原点到点云的距离信息。因为点云为多传感器数据，因此可能存在堆叠情况，即剖面展开图上同一个位置存在多个点，因此可以利用同一位置多个点的距离差求得高置信度障碍物信息。具体的，本发明提出的基于剖面展开融合的多激光雷达多视点对象检测方法包括如下步骤：

步骤1、多雷达数据进行采集，及通过网络或者can总线等方式获取雷达数据，并进行解析。

步骤2、多视点剖面展开，即将上一步采集到的同一时刻的多帧雷达数据分别投影到多个视点坐标系中，并进行剖面展开以标注高置信度障碍物。所述的视点的选取是任意的，数量不固定(至少为一个)，可选取各个雷达所在坐标系为视点，这样有多少个雷达便有多少个视点；选择多视点的原理参见图2、图3，可以看到在不同视点下障碍物的堆叠情况是不一样的，因此选择越多视点，获取到高置信度障碍物的可能性则越高。

步骤3、高置信度障碍物获取，即依据上一步骤剖面展开的结果，求取同一XY坐标值下多个点的距离，如果存在距离差大于阈值的情况，则与原点的距离值较小的点必为高置信度的障碍物，对该距离值较小的点加以标记。

步骤4、展开面对象检测，即完成了高置信度障碍物检测之后，可以选取世界坐标系下的展开图作为下一步检测对象，对存在高置信度障碍物的点进行标记处理，并将堆叠处的远距离点进行丢弃，此时数据便等同于单激光雷达数据，可依据单激光雷达数据的处理方法进行障碍物检测。不同之处是高置信度障碍物信息可提供强有力的算法参考。

参见图1，首先对多雷达数据进行采集，然后将多雷达数据进行坐标转换到世界坐标系以及各雷达坐标系下。经过此操作，多雷达数据已经在点级别上融合到一处。对于以无序点云作为输入的算法，仅以世界坐标系下的数据已经可以作为目标检测算法的输入，然而因为多激光雷达本身安装角度的不同，其可提供更多的空间信息。

如图2所示，在存在障碍物遮挡的情况下，雷达2只能观察到障碍物1，而雷达1即观察到障碍物1又观察到障碍物2。在雷达2坐标视点下，可以通过不同雷达所检测到的障碍物差异，推测出障碍物1为高置信度的障碍物。

同理的，如图3所示，可以在世界坐标视点下推测出障碍物1为高置信度障碍物。另外，图3说明视点的选取不一定要在雷达的实际位置上，以世界坐标系原点或者任意一点为视点也是可以的。因此，本发明视点的选取是任意的。

为了更方便的利用多激光雷达的空间信息，本发明提出以视点为原点，对多激光雷达进行剖面展开的数据处理方法。具体的，在得到各个视点(视点是指在空间中取一个点，可以是激光雷达所在的位置或者是其他任意的点，然后以该点为坐标原点，前方为x轴，右方为y轴，将激光雷达数据转换到该坐标系下)坐标系下的点云之后，分别对其进行剖面展开，即：

见上文的说明，公式(1)、(2)类比于求将点从笛卡尔坐标系转为球坐标系的两个夹角参数(与球坐标系的垂直夹角差90-θ)，而公式(3)、(4)则是将这两个参数定长地在平面上展开。

其中θ_x为点在相应视点坐标系下连接原点直线与y轴的水平夹角，θ_y为点与原点连线与地面的夹角，s_x为水平夹角分割单位跨度(是一个角度值，比如一圈点云跨越360°，那么可能取0.1°为步长分割，那么x方向的展开图就有3600个点)，s_y为垂直夹角分割跨度，X为点云在垂直展开图上的x坐标，Y为点云在垂直展开图上的y坐标。

由于存在空间点的堆叠关系以及受到分割跨度影响，在同一XY值下可能会有多个点云。在完成垂直展开后，对同一XY值下的多个点依照远近进行排序。如图3所示的堆叠距离转化为同一XY值下远近有序的点间的距离差，对展开图每个XY值下的点两两之间进行距离计算，超过阈值则确定前方位置存在高置信度障碍物，可以得到多个视点下的高置信度障碍物。

完成高置信度障碍物判断后，对相应点进行标记，得到带有高置信度障碍物信息的主剖面展开点云数据，如图4所示。其中，方框中指示了检测出的障碍物。

由于该展开图的XY坐标分别对应于雷达点与y轴的水平夹角，及雷达点与原点的连线和xoy平面的夹角，因此除存在高置信度障碍物外，每个位置存在的多个点距离都应该相近，小于预定阈值，取其最近或者平均距离后可将多个点替换为单个点，这样数据则整理为接近于单线激光雷达的有序点云数据，可将点在y轴的值当做其对应的线束，依据该数据可直接应用公开的有序点云算法，如(Efficient Online Segmentation for Sparse 3DLaser Scans)进行对像检测。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (9)

1.一种基于剖面展开融合的多激光雷达多视点对象检测方法，其特征在于：

包括如下步骤：

步骤1、进行多雷达数据采集，获取雷达采集的数据，并进行解析；

步骤2、对多雷达采集的数据进行多视点剖面展开；即将同一时刻的多帧雷达数据分别投影到预定数目的视点坐标系中，在每个视点坐标系中进行剖面展开；

步骤3、获取高置信度障碍物；根据剖面展开的结果，求取视点坐标系中同一XY坐标值下多个点的距离，根据多个点之间的距离，标记多个点中的障碍物点；

步骤4、展开面对象检测；完成了障碍物点标记之后，选取预定坐标系下的展开面作为下一步检测对象，对障碍物点进行标记处理。

2.根据权利要求1所述的一种基于剖面展开融合的多激光雷达多视点对象检测方法，其特征在于：

所述的步骤2中：

所述的视点的选取是任意选取，预定数目为一个或多个；

所述任意选取视点包括选取各个雷达所在坐标系为视点，即选取雷达1坐标系作为视点坐标系，或选取雷达2坐标系作为视点坐标系，或选取雷达n坐标系作为视点坐标系，n为雷达的数量；

或者选取世界坐标系作为视点坐标系；

或者选取空间中任一点作为视点，所述空间中任一点不与前述雷达n的坐标系重叠。

3.根据权利要求1所述的一种基于剖面展开融合的多激光雷达多视点对象检测方法，其特征在于：

所述的步骤2包括：

对多雷达采集的数据进行多视点剖面展开：将同一时刻的多帧雷达数据分别投影到雷达1的视点坐标系中并进行剖面展开；将同一时刻的多帧雷达数据分别投影到雷达2的视点坐标系中并进行剖面展开；将同一时刻的多帧雷达数据分别投影到雷达n的视点坐标系中并进行剖面展开；n为雷达的数量；

或将同一时刻的多帧雷达数据投影到世界视点坐标系中并进行剖面展开；

或将同一时刻的多帧雷达数据投影到空间中任一点作为视点的坐标系中并进行剖面展开。

4.根据权利要求1所述的一种基于剖面展开融合的多激光雷达多视点对象检测方法，其特征在于：

所述步骤3包括：

求取视点坐标系中同一XY坐标值下多个点之间的距离，所述多个点为来自不同雷达的采集数据；根据多个点之间的距离，如果多个点中的某两个点距离大于阈值，则分别计算该两个点与原点的距离，并将与原点的距离值较小的点作为高置信度的障碍物，对该与原点的距离值较小的点加以标记。

5.根据权利要求1所述的一种基于剖面展开融合的多激光雷达多视点对象检测方法，其特征在于：

所述步骤4包括：

选取世界坐标系下的展开面作为下一步检测对象，对存在高置信度障碍物的点进行标记处理，并将堆叠处的远距离点进行丢弃，依据单激光雷达数据的处理方法进行障碍物检测。

6.根据权利要求1所述的一种基于剖面展开融合的多激光雷达多视点对象检测方法，其特征在于：

所述步骤2中：

在不同视点下障碍物的堆叠情况不同，选择越多视点，获取到高置信度障碍物的可能性则越高。

7.根据权利要求1所述的一种基于剖面展开融合的多激光雷达多视点对象检测方法，其特征在于：

所述步骤2中：

对多激光雷达进行剖面展开具体的包括：以视点为原点，前方为x轴，右方为y轴，将激光雷达数据转换到该坐标系下，计算：

其中θ_x为点在相应视点坐标系下连接原点直线与y轴的水平夹角，θ_y为点与原点连线与地面的夹角，s_x为水平夹角分割单位跨度，s_y为垂直夹角分割跨度，X为点云在垂直展开图上的x坐标，Y为点云在垂直展开图上的y坐标。

8.根据权利要求4所述的一种基于剖面展开融合的多激光雷达多视点对象检测方法，其特征在于：

进一步包括：

由于存在空间点的堆叠关系以及受到分割跨度影响，在同一XY值下可能会有多个点云；在完成剖面展开后，对同一XY值下的多个点依照远近进行排序，将堆叠距离转化为同一XY值下远近有序的点间的距离差，对展开图每个XY值下的点两两之间进行距离计算，超过阈值则确定前方位置存在高置信度障碍物。

9.根据权利要求4所述的一种基于剖面展开融合的多激光雷达多视点对象检测方法，其特征在于：

所述步骤4中：

完成高置信度障碍物判断后，对相应点进行标记，得到带有高置信度障碍物信息的主剖面展开点云数据，由于该主剖面展开图的XY坐标分别对应于雷达点与y轴的水平夹角，及雷达点与原点的连线和xoy平面的夹角，因此除存在高置信度障碍物外，每个位置存在的多个点距离都应该小于预定阈值，取其最近或者平均距离后将多个点替换为单个点，将该单个点在y轴的值当做其对应的线束进行处理。

Images