CN113378647A - 基于三维点云的实时轨道障碍物检测方法 - Google Patents

Abstract

本发明公开了一种基于三维点云的实时轨道障碍物检测方法，以激光雷达采集的三维点云序列数据进行处理，首先对点云进行坐标变换，将欧式坐标系下的坐标转变为球坐标系下的坐标，并且将点云使用锥形体素化下采样方法将点云中的每一个点放入锥形的某一体素中以减小后续步骤的计算量；再将降采样后的点输入局部特征编码模块，利用K近邻(KNN)搜索局部点云，聚合局部点云几何特征，将局部点云的质心、近邻点坐标、相对坐标、高斯密度特征连接为一个向量。并且通过遍历将所有局部点云信息连接为一个矩阵经过MLP和最大池化获取每个局部点云的高维局部特征信息；最后利用多尺度三维稀疏卷积通过多个降采样和上采样模块，实现了单帧图像的轨道实时识别。

Description

基于三维点云的实时轨道障碍物检测方法

技术领域

本发明涉及基于三维点云视觉的语义分割技术，具体涉及一种轨道交通上判定障碍物是否存在的方法。

背景技术

铁路运输是人员流动的重要载体，被公认为是一种舒适、快捷、安全的运输方式。安全监测一直是铁路运输自动化的重要组成部分。但是铁路铺设地区环境的复杂，给列车安全带来了巨大的挑战。不过，目前大部分线路仍依靠司机的判断来保证行车安全，例如通过识别信号灯来判断前方是否安全。随着智能技术的应用，基于车载传感器的车辆辅助系统已经发展多年。在这种情况下，开发基于车载传感器的列车辅助驾驶系统是一条有效的途径。该系统的基本功能之一是检测并确定列车前方的轨道位置。基于该功能，可以开发其他安全检测功能，例如信号灯识别、障碍物识别和防撞以及无障碍范围检测。

采集轨道数据信息的方法大致可分为以下两种：基于摄像机的方法、基于激光雷达的方法。

基于摄像机的方法具有图像信息丰富、司机视觉反馈直观等优点。在以往的研究如：NASSU B T,UKAI M.Avision-based approach for rail extraction and itsapplication in a camera pan–tilt control system[J].IEEE Transactions onIntelligent Transportation Systems,2012,13(4):1763-71，有车载摄像头拍摄的2D图像用于轨道提取。然而，该方法需要良好的光照条件，在雨、雾、夜等环境中鲁棒性较差。基于激光雷达的方法具有测量精度高、响应速度快、不受光线影响的优势。它被广泛用于自动驾驶车辆，以生成周围环境的精确地图。近年来，激光雷达已被引入铁路应用，如铁路测量、缺口测量、基础设施重建和隧道测绘。与传统的视觉方法相比，基于激光雷达的方法大大提高了空间细节和效率。

发明内容

发明要克服现有技术中相机易受环境因素影响和缺乏空间信息的缺点，提出一种基于三维点云的实时轨道障碍物检测方法。

本发明采用固态激光雷达作为传感器，采集三维点云信息，从而有效地捕获环境物体的几何信息，它能够自适识别不同的铁路场景如：直线轨道、弯道轨道、交叉轨道等复杂场景。

本发明以激光雷达采集的三维点云序列数据进行处理，首先对点云进行坐标变换，将欧式坐标系下的坐标转变为球坐标系下的坐标，并且将点云使用锥形体素化下采样方法将点云中的每一个点放入锥形的某一体素中以减小后续步骤的计算量；再将降采样后的点输入局部特征编码模块，利用K近邻(KNN)搜索局部点云，聚合局部点云几何特征，将局部点云的质心、近邻点坐标、相对坐标、高斯密度特征连接为一个向量。并且通过遍历将所有局部点云信息连接为一个矩阵经过MLP和最大池化获取每个局部点云的高维局部特征信息，局部特征编码结构见附图1。最后利用多尺度三维稀疏卷积通过多个降采样和上采样模块，实现了单帧图像的轨道障碍物实时识别。网络结构模型图见附图2。本发明在下采样过程中，使用了一种锥形体素划分方法，该方法根据固态激光雷达的扫描特性而设计，因而能够适应固态激光雷达返回得到的点云数据，解决了点云密度变化带来的困难。在特征聚合中，使用了一种局部特征编码模型，通过引入点的相对位置和高斯密度信息来丰富点体素对的特征。在轨道识别过程中使用了一种有效的轨道障碍物识别网络架构，能够在多种场景下对轨道障碍物进行实时识别，具有良好的性能。

本发明的基于三维点云的实时轨道障碍物检测方法，包括如下步骤：

步骤1：对实时三维激光雷达点云数据进行坐标变换，将欧式坐标系下的点云坐标转换为球坐标系下的坐标。转换前后的坐标关系如公式(1)所示，其中α表示仰角，β表示水平方向角，γ表示原点到该点的距离。

步骤2：经过步骤1处理后，可以得到点云中每一点所对应的球坐标系下的坐标表示，因此可以激光雷达的扫描范围的可以表示为α_minα_maxβ_minβ_max和r_minr_max它们表示仰角、水平角和距离的最小和最大值。那么假设这三个轴的最小分辨率为ΔαΔβΔr，雷达扫描范围划分的部分数可以写成公式(2)的表示形式。因此，点云可以被离散化锥形体素

因此可以将点与体素的关系表示为公式(3)其中l,w,h分别为L,W,H轴上的索引，i表示激光雷达返回的反射率。[·]表示四舍五入运算。

在将每个点云划分为多个体素之后，这些体素内会包含不同数量的点，因为点云是稀疏的，并且在整个3D空间中的密度不同。为了减少点云信息的冗余度和计算量，体素内的多个点的仅由右下角的一个点表示。最后体素可以表示为公式(4)

步骤3：对经过步骤2体素化降采样处理后的点使用K近邻算法(KNN)，即计算邻近点与局部中心点p_n的欧氏距离，寻找K个距离局部中心点最近的点

根据邻近点的三维坐标信息和邻近点的XYZ坐标对相对位置坐标进行编码，使每个点都能学习到各自的相对空间位置和几何特征。该编码方式如公式(5)所示，

代表K近邻点的反射率，

表示连接操作。

由于室外场景中激光雷达采集的点云密度差异较大，点的密度信息是一种关键的重要信息，因此引入高斯密度函数，计算每个点的密度特征。根据K近邻算法得到的K个邻近点的欧几里得距离，计算中心点与最近的第K个点之间的密度如公式(6)所示，

代表局部中心点p_n与临近点

之间的密度，r代表欧氏距离σ代表高斯核感受野的超参。

将得到的密度函数拼接到

中得到

将所有的局部信息聚合成

最后采用多层感知器(MLP)进行高维特征编码。最后利用共享MLP和最大池化层来获得体素特征。

步骤4：经过步骤2和步骤3，得到锥面体素信息

其中d代表通道数。利用稀疏三维卷积核在L、W和H维上用来构造下采样模块和上采样模块，对体素信息进行下采样和上采样。利用跳过链接(skip connection)的方式聚合不同尺度的体素信息，最后得到每一个点所对应的类别概率，概率最大的类别是当前体素的类别。找出轨道边界框，从而实现了轨道障碍物的识别。

本发明的优点是：

1.本发明与基于二维图像的轨道识别方法相比，基于点云的轨道识别方法的优点在于能够有效地识别列车前方的空间信息，从而确定列车的安全行驶空间区域。同时，激光雷达相较于传统相机可以在复杂的环境中工作。

2.本发明可以快速、有效地完成对直线轨道、弯道轨道、交叉轨道等复杂场景的检测工作。满足实际列车运行过程中，对激光雷达返回的点云数据进行实时处理的需求。

3.本发明可以有效地减少点云的稀疏性对轨道检测的影响，能够更好的捕获更远处的轨道特征。因此可以检测到较远的障碍物，给列车驾驶员留下更充足的反应时间。

附图说明

图1是本发明的局部特征编码模块结构图。

图2是本发明的网络模型结构图。

图3是本发明的流程图。

图4a～图4c是本发明运用的坐标系示意图，其中图4a是透视图，图4b是左视图，图4c是俯视图。

图5是本发明运用的锥形体素化降采样示意图。

图6是本发明的输出结果示意图。

具体实施方式

下面结合附图进一步说明本发明的技术方案，本发明的流程图如图3所示。

本发明是一种基于三维点云的实时轨道障碍物检测方法，具体步骤如下：

步骤1：对实时三维激光雷达点云数据进行坐标变换，将欧式坐标系下的点云坐标转换为球坐标系下的坐标，坐标表示见附图4，并且对点云使用锥形划分方法下采样。转换前后的坐标关系如公式(1)所示，其中从左视图可以看到α表示XOY平面上关于Z轴的仰角，从俯视图可以看出β表示XOY平面的水平方向角，γ表示原点到该点的距离。

步骤2：根据步骤1可以得到点云中每一点所对应的球坐标系下的坐标表示，因此可以激光雷达的扫描范围可以表示为α_minα_maxβ_minβ_max和r_minr_max它们表示仰角、水平角和距离的最小和最大值。那么假设这三个轴的最小分辨率为ΔαΔβΔr，雷达扫描范围划分的部分数可以写成公式(2)的表示形式。因此，如图5所示点云可以被离散化锥形体素

将点云中的每一个点都放入锥形体素中。

因此可以将点与体素的关系表示为公式(3)其中l,w,h分别为L,W,H轴上的索引。[·]表示四舍五入运算。

在将每个点云划分为多个体素之后，这些体素内会包含不同数量的点，因为点云是稀疏的，并且在整个3D空间中的密度不同。为了减少点云信息的冗余度和计算量，因此对体素内的点云进行下采样操作，即体素内的多个点的仅由左下角一个点表示。最后体素可以表示为公式(4)

步骤3：如图1所示，对经过步骤2体素化降采样处理后的点进行局部特征编码处理。首先使用K近邻算法(KNN)，即计算邻近点与局部中心点p_n的欧氏距离，寻找K个距离局部中心点最近的点

根据邻近点的三维坐标信息和邻近点的XYZ坐标对相对位置坐标进行编码得到一个维度为c编码矩阵，使每个点都能学习到各自的相对空间位置和几何特征。该编码方式如公式(5)所示，

代表K近邻点的反射率，

表示连接操作。

由于室外场景中激光雷达采集的点云密度差异较大，点的密度信息是一种关键的重要信息，因此引入高斯密度函数，计算每个点的密度特征。根据K近邻算法得到的K个邻近点的欧几里得距离，计算中心点与最近的第K个点之间的密度如公式(6)所示最终得到一个1维向量，其中

代表局部中心点p_n与某一个临近点

之间的密度，r代表两点之间的欧氏距离，σ代表高斯核感受野的超参。

将得到的密度函数拼接到

中得到

得到一个(1+c+d)维度的矩阵

将所有的局部信息聚合成

最后采用多层感知器(MLP)进行高维特征编码。最后利用共享MLP和最大池化层来获得体素特征。

步骤4：轨道识别网络结构模型如图2所示，经过步骤2的锥形体素降采样操作和步骤3的局部特征编码操作，得到锥面体素信息

其中d代表通道数。利用稀疏三维卷积核在L、W和H维上用来构造下采样模块和上采样模块，对体素信息进行下采样和上采样。利用跳过链接(skip connection)的方式聚合通过降采样得到的不同尺度的体素信息，最后得到每一个点所对应的类别概率，概率最大的类别是当前体素的类别，找出轨道边界框，从而实现了轨道障碍物的识别。输出结果可通过可视化软件呈现，最终结果如图6所示。

本说明书实施例所述的内容仅仅是对发明构思实现形式的例举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.基于三维点云的实时轨道障碍物检测方法，具体步骤如下：

步骤1：对实时三维激光雷达点云数据进行坐标变换，将欧式坐标系下的点云坐标转换为球坐标系下的坐标；并且使用锥形划分方法下采样，将点云离散化为锥形体素

步骤2：使用局部特征编码模块，利用K近邻算法(KNN)，对领域内的点进行编码，使每个点都能学习到各自的相对空间位置和几何特征；

步骤3：使用稀疏卷积，对每个点进行分类，找出轨道边界框；通过判断边界框内是否有除轨道之外的点存在，从而判定障碍物是否存在。

2.如权利要求1所述的基于三维点云的实时轨道障碍物检测方法，其特征在于：步骤1中所述的对实时三维激光雷达点云数据进行坐标变换，具体步骤如下：

步骤1-1：对实时三维激光雷达点云数据进行坐标变换，将欧式坐标系下的点云坐标转换为球坐标系下的坐标；转换前后的坐标关系如公式(1)所示，其中α表示仰角，β表示水平方向角，γ表示原点到该点的距离；

步骤1-2：经过步骤1-1后，可以得到点云中每一点所对应的球坐标系下的坐标表示，因此可以激光雷达的扫描范围的可以表示为α_min α_max β_min β_max和r_min r_max它们表示仰角、水平角和距离的最小和最大值；那么假设这三个轴的最小分辨率为ΔαΔβΔr，雷达扫描范围划分的部分数可以写成公式(2)的表示形式；因此，点云可以被离散化锥形体素

步骤1-3：将点与体素的关系表示为公式(3)其中l,w,h分别为L,W,H轴上的索引，i表示激光雷达返回的反射率；[·]表示四舍五入运算；

在将每个点云划分为多个体素之后，这些体素内会包含不同数量的点，因为点云是稀疏的，并且在整个3D空间中的密度不同；为了减少点云信息的冗余度和计算量，体素内的多个点的仅由右下角的一个点表示；最后体素可以表示为公式(4)：

3.如权利要求1所述的基于三维点云的实时轨道障碍物检测方法，其特征在于：步骤2中所述的使用K近邻算法(KNN)，对领域内的点进行编码，使每个点都能学习到各自的相对空间位置和几何特征，具体步骤如下：

步骤2-1：对经过步骤1体素化降采样处理后的点使用K近邻算法(KNN)，即计算邻近点与局部中心点p_n的欧氏距离，寻找K个距离局部中心点最近的点

步骤2-2：根据邻近点的三维坐标信息和邻近点的XYZ坐标对相对位置坐标进行编码，使每个点都能学习到各自的相对空间位置和几何特征；该编码方式如公式(5)所示，

代表K近邻点的特征，

表示连接操作；

步骤2-3：由于室外场景中激光雷达采集的点云密度差异较大，点的密度信息是一种关键的重要信息，因此引入高斯密度函数，计算每个点的密度特征；根据K近邻算法得到的K个邻近点的欧几里得距离，计算中心点与最近的第K个点之间的密度如公式(6)所示，

代表局部中心点p_n与临近点

之间的密度，r代表欧氏距离σ代表高斯核感受野的超参；

将得到的密度函数拼接到

中得到

步骤2-4：将所有的局部信息聚合成

最后采用多层感知器(MLP)进行高维特征编码；最后利用共享MLP和最大池化层来获得体素特征。

Images