CN117092612B - 基于激光雷达的自动驾驶导航方法 - Google Patents

Abstract

本申请提供一种基于激光雷达的自动驾驶导航方法，通过构建导航网络模型，所述导航网络模型包括体素补全网络和三维非对称卷积网络，将体素数据送入导航网络模型，由所述体素补全网络提取多尺度的特征，然后再将多尺度的特征聚合后得到密集的完整体素特征，最后送入所述三维非对称卷积网络进行训练；针对任意道路环境下的导航，利用激光雷达实时采集周围道路环境信息形成激光点云数据，将激光点云数据送入训练好的导航网络模型进行识别，基于导航网络模型的识别结果，实时生成导航路线规划。本申请可以提升导航的精准性。

Description

基于激光雷达的自动驾驶导航方法

技术领域

本申请属于导航技术领域，具体涉及一种基于激光雷达的自动驾驶导航方法。

背景技术

在自动驾驶领域，激光雷达是一种常见的定位和导航系统。激光雷达通过扫描空间点的目标，形成激光点云，每一个激光点云都包含了空间点的三维坐标和激光反射强度，通过对激光点云的数据进行处理后，呈现出目标物精确的三维结构信息。与传统的相机相比，激光点云作为三维数据表示形式之一，能够较好地表达复杂场景及物体的几何形状，并且在物体空间关系及拓扑关系的表达方面具有独特的优势。

相关技术中，对激光点云的处理方法通常为：将无序的激光点云分割成一系列占用一定空间的体素, 然后送入三维卷积神经网络逐步进行体素级别的特征学习，最后为每一格体素内的所有点匹配与该体素相同的语义标签。然而，由于室外激光雷达点云具有无序性以及密度不一致性，以往的三维体素化方法将点云视为一个均匀的，并通过均匀立方体分割它们，而忽略了室外点云的密度不一致性特性，导致在体素化过程中不可避免地损失几何信息，导致对激光点云的分割精度不高，影响导航的精准性。

因此，实有必要提供一种基于激光雷达的自动驾驶导航方法，以解决上述背景技术中提出的问题。

发明内容

本申请提供一种基于激光雷达的自动驾驶导航方法，能够提升导航的精准性。

为解决上述技术问题，本申请的技术方案在于：

一种基于激光雷达的自动驾驶导航方法，包括如下步骤：

S1：获取激光点云数据，对所述激光点云数据进行体素化处理，将无序的激光点云分割成一系列占用一定空间的体素，形成体素数据；

S2：构建导航网络模型，所述导航网络模型包括体素补全网络和三维非对称卷积网络，将所述体素数据送入所述导航网络模型，由所述体素补全网络提取多尺度的特征，然后再将多尺度的特征聚合后得到密集的完整体素特征，最后将得到的完整体素特征送入所述三维非对称卷积网络进行语义分割训练；其中，所述体素补全网络中包括多个改进的卷积块，所述改进的卷积块在普通卷积块的基础上省去了归一化层，由卷积层和ReLU激活函数层直接连接；所述三维非对称卷积网络包括局部特征聚合模块、特征提取模块及上下文模块，所述局部特征聚合模块通过串联设置的两个普通卷积块扩大感受野来收集上下文信息，同时引入跳跃连接降低网络梯度衰减；所述特征提取模块包括依次连接的多个三维非对称卷积块，其中位于所述特征提取模块前半部分的三维非对称卷积块用于执行下采样，后半部分的三维非对称卷积块用于执行上采样，所述非对称卷积块用于增强每个二维平面的方形核骨架部分，多个所述非对称卷积块的网络架构相同，通道数不同；所述上下文模块与所述特征提取模块连接，其遵循张量分解理论来构建高秩上下文信息作为低秩张量的组合，得到全局上下文信息，获取更加完整的特征信息，并基于该特征信息输出立方体物体的分类结果；

S3：针对任意道路环境下的导航，利用激光雷达实时采集周围道路环境信息形成激光点云数据，将所述激光点云数据体素化处理后送入训练好的导航网络模型进行语义分割，基于导航网络模型的语义分割结果，实时生成导航路线规划。

优选的，体素化处理采用的是圆柱分割的方式，利用圆柱坐标系将激光点云划分到每一个圆柱单元中。

优选的，所述体素补全网络包括并行设置的第一分支、第二分支和第三分支，其中第一分支为残余分支；第二分支包括依次连接的四个卷积块，依次为：改进的3×3×3卷积块、多尺度卷积块、多尺度卷积块以及改进的3×3×3卷积块；第三分支包括依次连接的三个卷积块，依次为：改进的3×3×3卷积块、多尺度卷积块和改进的3×3×3卷积块；所述多尺度卷积块由一个改进的3×3×3卷积块、一个改进的5×5×5卷积块和一个改进的7×7×7卷积块并行组成；其中，改进的k×k×k（k=3,5,7）卷积块在普通卷积块的基础上去除了归一化层，由k×k×k卷积层和ReLU激活函数层直接连接。

优选的，所述体素补全网络的处理过程表示为：

；

式中，表示所述体素补全网络的输出；/>表示所述体素补全网络的输入；表示所述第一分支的输出，/>表示所述第二分支的输出；/>表示所述第三分支的输出，/>表示卷积；

其中：

;

；

；

式中，表示3×3×3卷积；/>表示多尺度的卷积，，/>表示5×5×5卷积，/>表示7×7×7卷积。

优选的，所述局部特征聚合模块包括串联设置的两个普通3×3×3卷积块，每个所述普通3×3×3卷积块均包括依次连接的一个3×3×3卷积层、一个归一化层和一个ReLU激活函数层；将补全后的体素特征作为输入送入所述局部特征聚合模块，经由两个普通3×3×3卷积块卷积后，再与输入融合形成跳跃连接，得到所述局部特征聚合模块的输出。

优选的，所述局部特征聚合模块的处理过程表示为：

；

式中，表示局部特征聚合模块的输出，/>表示归一化处理；/>表示采用函数激活。

优选的，所述特征提取模块包括依次连接的多个三维非对称卷积块，其中位于所述特征提取模块前半部分的三维非对称卷积块用于执行下采样，后半部分的三维非对称卷积块用于执行上采样；多个所述非对称卷积块的网络架构相同，通道数不同，均包括并行设置的第四分支和第五分支，将所述第五分支上所有卷积块的输出融合后与所述第四分支的输出进行融合；所述第四分支包括一个普通3×3×3卷积块；所述第五分支由一个普通1×3×3卷积块、一个普通3×1×3卷积块和一个普通3×3×1并行设置组成；其中普通卷积块包括依次连接的卷积层、归一化层和ReLU激活函数层。

优选的，所述特征提取模块的处理过程表示为：

；

式中，表示三维非对称卷积块的输出，/>表示三维非对称卷积块的输入；表示1×3×3的卷积；/>表示3×1×3的卷积；/>表示3×3×1的卷积。

优选的，所述上下文模块使用一个普通3×1×1卷积块、一个普通1×3×1卷积块以及一个普通1×1×3卷积块来获得低秩特征，经过sigmoid函数处理，将它们聚合起来得到全局上下文信息，使得到的特征信息更加完整。

优选的，周围道路环境信息包括：道路边界、车道线、障碍物、其他车辆或行人。

本申请的有益效果在于：

（1）由于驾驶场景中点云具有稀疏性、密度不一致性，导致在体素划分的过程中不可避免地出现空单元，改变3D拓扑结构，损失几何信息，针对上述问题，本发明提出了体素补全网络，通过聚合多个尺度的特征，来得到密集的体素特征，能够得到更为精准的空间信息，提升导航的精准性；

（2）驾驶场景中包含大量的立方体物体，如汽车、卡车、公交车等，这些物体采用普通三维卷积存在分割效果不佳的情况，为了减少冗余的信息，本发明提出了三维非对称卷积网络，该网络中的特征提取模块采用3个不同卷积核的非对称卷积，通过增强每个二维平面方形核的骨架部分，在不增加额外计算成本的情况下，提升了立方体物体的分类准确率，同时，在网络中加入局部特征聚合模块，通过扩大感受野来收集上下文信息，为了避免梯度太小，添加了跳跃连接，可以得到更为完整的特征，进一步提升导航的精准性。

附图说明

图1表示本申请提供的导航网络模型的架构图；

图2表示体素补全网络的架构图；

图3表示多尺度卷积块的架构图；

图4表示改进的卷积块的架构图；

图5表示局部特征聚合模块的架构图；

图6表示三维非对称卷积块的架构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请结合参阅图1-图6，本申请提供一种基于激光雷达的自动驾驶导航方法，包括如下步骤：

S1：获取激光点云数据，对所述激光点云数据进行体素化处理，将无序的激光点云分割成一系列占用一定空间的体素，形成体素数据。

在本实施方式中，体素化处理采用的是圆柱分割的方式，利用圆柱坐标系将激光点云划分到每一个圆柱单元中，能够较好的保证单元中激光点云分布的均匀性，同时利用增加的网格大小来覆盖更远的区域，从而更均匀地将激光点云分布在不同的区域中，能够很好的适应室外点云的密度不一致性的特性，减少体素化过程中几何信息的损失，提升对激光点云的分割精度，进而提高导航的精准性。

S2：构建导航网络模型，所述导航网络模型包括体素补全网络和三维非对称卷积网络，将所述体素数据送入所述导航网络模型，由所述体素补全网络提取多尺度的特征，然后再将多尺度的特征聚合后得到密集的完整体素特征，最后将得到的完整体素特征送入所述三维非对称卷积网络进行语义分割训练；其中，所述体素补全网络中包括多个改进的卷积块，所述改进的卷积块在普通卷积块的基础上去除了归一化层，由卷积层和ReLU激活函数层直接连接；所述三维非对称卷积网络包括局部特征聚合模块、特征提取模块及上下文模块，所述局部特征聚合模块通过串联设置的两个普通卷积块扩大感受野来收集上下文信息，同时引入跳跃连接降低网络梯度衰减；所述特征提取模块包括依次连接的多个三维非对称卷积块，其中位于所述特征提取模块前半部分的三维非对称卷积块用于执行下采样，后半部分的三维非对称卷积块用于执行上采样，所述三维非对称卷积网络包括三个不同卷积核的非对称卷积块，所述非对称卷积块用于增强每个二维平面的方形核骨架部分，多个所述非对称卷积块的网络架构相同，通道数不同；所述上下文模块与所述特征提取模块连接，其遵循张量分解理论来构建高秩上下文信息作为低秩张量的组合，得到全局上下文信息，获取更加完整的特征信息，并基于该特征信息输出立方体物体的分类结果。

体素化处理中，由于激光点云向体素的变换过程会不可避免的引起信息丢失，产生一定比例的空单元，影响识别的精度。所述体素补全网络用于向空单元内填充一些非空体素，以获得更加密集且完整的体素特征。

所述体素补全网络包括并行设置的第一分支、第二分支和第三分支，其中第一分支为残余分支；第二分支包括依次连接的四个卷积块，依次为：改进的3×3×3卷积块、多尺度卷积块、多尺度卷积块以及改进的3×3×3卷积块；第三分支包括依次连接的三个卷积块，依次为：改进的3×3×3卷积块、多尺度卷积块和改进的3×3×3卷积块；所述多尺度卷积块由一个改进的3×3×3卷积块、一个改进的5×5×5卷积块和一个改进的7×7×7卷积块并行组成；其中，改进的k×k×k（k=3,5,7）卷积块在普通卷积块的基础上去除了归一化层，由k×k×k卷积层直接与ReLU激活函数层直接连接。

所述体素补全网络的处理过程表示为：

；

式中，表示所述体素补全网络的输出；/>表示所述体素补全网络的输入；表示所述第一分支的输出，/>表示所述第二分支的输出；表示所述第三分支的输出，/>表示卷积；

其中：

;

；

；

式中，表示3×3×3卷积；/>表示多尺度的卷积，，/>表示5×5×5卷积，/>表示7×7×7卷积。

在所述体素补全网络中，需要原始密集卷积进行膨胀，但是在后续三维非对称卷积网络中，需要使用稀疏卷积进行高效处理。而普通卷积块中归一化层的β值将破坏原始体素的稀疏性，因此为了保持稀疏性，本申请的方案中在普通卷积块的基础上省去了归一层得到了改进的卷积块，可以保持原始体素的稀疏性，同时降低计算成本。

所述局部特征聚合模块包括串联设置的两个普通3×3×3卷积块，每个所述普通3×3×3卷积块均包括依次连接的一个3×3×3卷积层、一个归一化层和一个ReLU激活函数层。将补全后的体素特征作为输入送入所述局部特征聚合模块，经由两个普通3×3×3卷积块卷积后，再与输入融合形成跳跃连接，得到所述局部特征聚合模块的输出。

在所述局部特征聚合模块中，串联设置的两个普通3×3×3卷积块能够扩大感受野获得更加丰富的上下文信息。同时，所述局部特征聚合模块中引入了跳跃连接，可以让网络梯度直接传递到很深的层，而不需要通过每一层的激活函数，避免在每层的/>激活函数中衰减太多，使得网络能够有效地进行梯度更新，得到更加完整的特征。

所述局部特征聚合模块的处理过程表示为：

；

式中，表示局部特征聚合模块的输出，/>表示归一化处理；/>表示采用/>函数激活。

在本实施方式中，所述三维非对称卷积块的数量为八个，其中前面四个所述非对称卷积块用于执行下采样，后面四个所述非对称卷积块用于执行上采样，并通过堆叠这些下采样和上采样块来构建三维非对称卷积网络。

多个所述非对称卷积块的网络架构相同，通道数不同，均包括并行设置的第四分支和第五分支，所述第四分支包括一个普通3×3×3卷积块；所述第五分支由一个普通1×3×3卷积块、一个普通3×1×3卷积块和一个普通3×3×1并行设置组成。其中普通a×b×c卷积块包括依次连接的a×b×c卷积层、归一化层和ReLU激活函数层。

将所述第五分支上所有卷积块的输出融合后与所述第四分支的输出进行融合。

所述非对称卷积块将水平和垂直核添加到每个二维平面方形核的骨架对其进行增强可以促进学习，三个非对称卷积层并行设置与单个3×3×3卷积层相比，增强了核骨架，这与自动驾驶场景中对象的点分布相匹配，可以增强对室外激光雷达点云稀疏性的鲁棒性。第四个分支中仍采用3×3×3卷积层，第五个分支中3×3×3卷积层替换为了并行设置的1×3×3卷积层、3×1×3卷积层和3×3×1卷积层，以原有3×3×3卷积层为中心展开，增加了整个模型的参数量，能够拟合更多的信息。并且第四分支上的3×3×3卷积层与第五分支上的1×3×3卷积层、3×1×3卷积层和3×3×1卷积层的融合过程是线性的，不改变相关结果，与常规的训练网络相比，可以获得更为强大的功能，同时不会额外增加计算量。

所述三维非对称卷积块的处理过程表示为：

；

式中，表示三维非对称卷积块的输出，/>表示三维非对称卷积块的输入；表示1×3×3的卷积；/>表示3×1×3的卷积；/>表示3×3×1的卷积。

所述上下文模块采用本领域的常规结构，遵循张量分解理论来构建高秩上下文信息作为低秩张量的组合，其使用一个普通3×1×1卷积块、一个普通1×3×1卷积块以及一个普通的1×1×3卷积块来获得低秩特征，经过sigmoid函数处理，将它们聚合起来得到全局上下文信息，使得到的特征信息更加完整。

S3：针对任意道路环境下的导航，利用激光雷达实时采集周围道路环境信息形成激光点云数据，将所述激光点云数据体素化处理后送入训练好的导航网络模型进行语义分割，基于导航网络模型的语义分割结果，实时生成导航路线规划。

其中，周围道路环境信息包括：道路边界、车道线、障碍物以及其他车辆或行人。

实施例

在本实施方式中，所述导航网络模型训练采用的数据集为SemanticKITTI和nuScenes基准数据集。将数据集划分为训练集、验证集和测试集，所述训练集用于执行训练的过程，以学习和更新所述导航网络模型的参数，以使所述导航网络模型更好的拟合数据；所述验证集用于调整所述导航网络模型的超参数并评估所述导航网络模型的性能；所述测试集用于测试所述导航网络模型的性能。

构建对比试验，评估本申请提供的导航网络模型和本领域的其他模型分别在nuScenes验证集和SemanticKITTI验证集上的性能，评估所采用的指标为平均交并比（mIoU），其计算过程表示为：

式中，表示为真正例，即模型预测为正例，实际是反例；/>表示为假反例，即模型预测为反例，实际是正例；/>表示为假正例，即模型预测为正例，实际是反例；K表示类别数。

请参阅表1，表1表示本申请提供的导航网络模型与本领域的其他模型在SemanticKITTI验证集上的性能对比数据。

表1 多种模型在SemanticKITTI验证集上性能对比数据

其中，模型名称后的 (·)表示的是模型网络输入数据的类型， L表示输入数据仅仅为激光雷达数据；L+C表示激光雷达数据和相机数据的融合数据。

表1可以看出，从输入数据的类型来看，本申请与RandLANet、RangeNet++、SequeeezeSegV2、SequeeezeSegV3和SalsaNext等基于投影的方法2D空间相比，尽管都是输入单模态的雷达数据，但是由于三维几何信息的建模，本申请提供的方法在mIoU方面实现了9%∼18%的性能增益。本申请与MinkowskiNet，SPVNAS和Cylinder3D等3D卷积方法相比，本申请提供的方法加入了体素补全网络，能够有效地提高体素特征的完整性，在mIoU方面的性能同样能够保持一定的优越性。本申请与基于多视图融合的方法相比，本申请提出的方法也优于这些方法。

请参阅表2，表2表示本申请提供的导航网络模型与本领域的其他模型在nuScenes验证集上性能对比数据。

表2 多种模型在nuScenes验证集上性能对比数据

从表2可以看出，与其他模型相比，本申请提供的导航网络模型在nuScenes验证集上同样体现了优异的性能。具体而言，相比于基于投影的方法和基于体素的方法的网络模型，本申请所提出的方法获得约2% ∼13%的性能增益比。此外，本申请提出的方法取得了比最先进的多视图融合方法2dpass取得了更好的结果，与之比较mIoU提高了0.3%。此外，对于这些类别的立方体对象，如障碍物和汽车，我们提出的方法取得了良好的性能，这也表明了所提出的方法的有效性，可以解决自动驾驶场景的难点。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (9)

1.一种基于激光雷达的自动驾驶导航方法，其特征在于，包括如下步骤：

S1：获取激光点云数据，对所述激光点云数据进行体素化处理，将无序的激光点云分割成一系列占用一定空间的体素，形成体素数据；

S2：构建导航网络模型，所述导航网络模型包括体素补全网络和三维非对称卷积网络，将所述体素数据送入所述导航网络模型，由所述体素补全网络提取多尺度的特征，然后再将多尺度的特征聚合后得到密集的完整体素特征，最后将得到的完整体素特征送入所述三维非对称卷积网络进行语义分割训练；其中，所述体素补全网络中包括多个改进的卷积块，所述改进的卷积块在普通卷积块的基础上省去了归一化层，由卷积层和ReLU激活函数层直接连接；所述三维非对称卷积网络包括局部特征聚合模块、特征提取模块及上下文模块，所述局部特征聚合模块通过串联设置的两个普通卷积块扩大感受野来收集上下文信息，同时引入跳跃连接降低网络梯度衰减；所述特征提取模块包括依次连接的多个三维非对称卷积块，其中位于所述特征提取模块前半部分的三维非对称卷积块用于执行下采样，后半部分的三维非对称卷积块用于执行上采样，所述非对称卷积块用于增强每个二维平面的方形核骨架部分，多个所述非对称卷积块的网络架构相同，通道数不同，多个所述非对称卷积块均包括并行设置的第四分支和第五分支，将所述第五分支上所有卷积块的输出融合后与所述第四分支的输出进行融合；所述第四分支包括一个普通3×3×3卷积块；所述第五分支由一个普通1×3×3卷积块、一个普通3×1×3卷积块和一个普通3×3×1并行设置组成；其中普通卷积块包括依次连接的卷积层、归一化层和ReLU激活函数层；所述上下文模块与所述特征提取模块连接，其遵循张量分解理论来构建高秩上下文信息作为低秩张量的组合，得到全局上下文信息，获取更加完整的特征信息，并基于该特征信息输出立方体物体的分类结果；

S3：针对任意道路环境下的导航，利用激光雷达实时采集周围道路环境信息形成激光点云数据，将所述激光点云数据体素化处理后送入训练好的导航网络模型进行语义分割，基于导航网络模型的语义分割结果，实时生成导航路线规划。

2.根据权利要求1所述的基于激光雷达的自动驾驶导航方法，其特征在于，体素化处理采用的是圆柱分割的方式，利用圆柱坐标系将激光点云划分到每一个圆柱单元中。

3.根据权利要求1所述的基于激光雷达的自动驾驶导航方法，其特征在于，所述体素补全网络包括并行设置的第一分支、第二分支和第三分支，其中第一分支为残余分支；第二分支包括依次连接的四个卷积块，依次为：改进的3×3×3卷积块、多尺度卷积块、多尺度卷积块以及改进的3×3×3卷积块；第三分支包括依次连接的三个卷积块，依次为：改进的3×3×3卷积块、多尺度卷积块和改进的3×3×3卷积块；所述多尺度卷积块由一个改进的3×3×3卷积块、一个改进的5×5×5卷积块和一个改进的7×7×7卷积块并行组成；其中，改进的k×k×k卷积块在普通卷积块的基础上去除了归一化层，由k×k×k卷积层和ReLU激活函数层直接连接，k=3,5,7。

4.根据权利要求3所述的基于激光雷达的自动驾驶导航方法，其特征在于，所述体素补全网络的处理过程表示为：

；

式中，表示所述体素补全网络的输出；/>表示所述体素补全网络的输入；/>表示所述第一分支的输出，/>表示所述第二分支的输出；/>表示所述第三分支的输出，/>表示卷积；

其中：

;

；

；

式中，表示3×3×3卷积；/>表示多尺度的卷积，表示5×5×5卷积，/>表示7×7×7卷积。

5.根据权利要求4所述的基于激光雷达的自动驾驶导航方法，其特征在于，所述局部特征聚合模块包括串联设置的两个普通3×3×3卷积块，每个所述普通3×3×3卷积块均包括依次连接的一个3×3×3卷积层、一个归一化层和一个ReLU激活函数层；将补全后的体素特征作为输入送入所述局部特征聚合模块，经由两个普通3×3×3卷积块卷积后，再与输入融合形成跳跃连接，得到所述局部特征聚合模块的输出。

6.根据权利要求5所述的基于激光雷达的自动驾驶导航方法，其特征在于，所述局部特征聚合模块的处理过程表示为：

；

式中，表示局部特征聚合模块的输出，/>表示归一化处理；/>表示采用函数激活。

7.根据权利要求6所述的基于激光雷达的自动驾驶导航方法，其特征在于，所述特征提取模块的处理过程表示为：

；

式中，表示三维非对称卷积块的输出，/>表示三维非对称卷积块的输入；表示1×3×3的卷积；/>表示3×1×3的卷积；/>表示3×3×1的卷积。

8.根据权利要求7所述的基于激光雷达的自动驾驶导航方法，其特征在于，所述上下文模块使用一个普通3×1×1卷积块、一个普通1×3×1卷积块以及一个普通1×1×3卷积块来获得低秩特征，经过sigmoid函数处理，将它们聚合起来得到全局上下文信息，使得到的特征信息更加完整。

9.根据权利要求1所述的基于激光雷达的自动驾驶导航方法，其特征在于，周围道路环境信息包括：道路边界、车道线、障碍物、其他车辆或行人。