CN112037228A - 一种基于双倍注意力的激光雷达点云目标分割方法 - Google Patents

Abstract

本发明公开了一种基于双倍注意力的激光雷达点云目标分割方法，包括：将激光雷达点云的数据输入特征抽象层中，获取每个点云数据的点特征和群特征；将所述的点特征和群特征同时输入到点注意力模块和群注意力模块；将点注意力模块和群注意力模块的输出合并在一起，得到最后增强的特征输出，增强的特征输出在送入特征传播层中；在特种传播层中，通过对点云目标的每个点特征的生成，获取所有输入点的特征信息；将点云的特征信息传入分类器中，识别出每个一个点云的类别，从而得到整个点云目标的分割结果。本发明方法提出的点注意力模块和群注意力模块可以有效性的在不同尺度上构建特征之间的关系，并提高点云数据的分割精度。

Description

一种基于双倍注意力的激光雷达点云目标分割方法

技术领域

本发明涉及点云图像数据分割技术领域，尤其涉及一种基于双倍注意力的激光雷达点云目标分割方法。

背景技术

在大空间尺度上，对激光雷达点云数据对象分割任务已经进行了广泛的研究。传统的分割算法在很大程度上依赖于手工制作的特征。他们通常根据点簇，体素或图像集合将大型雷达点云数据划分为较小的单元，以进行分类或分割。然后，从标准化数据中提取唯一特征并将其馈送到分类器，包括最大似然算法，支持向量机，随机森林，面向对象建模等。先前的研究可以概括为三个离散过程：数据转换，特征提取和分类。这些过程需要采用单独的算法，这会使优化变得困难。此外，数据转换会扭曲点云之间的关系，并基于不同的手工处理过程而导致信息丢失，这些手工处理过程提供的模型概括性较差。因此，有必要采用端到端的学习机制来克服这些局限性。

近年来，在多个领域中已证明深度学习，尤其是卷积神经网络以端到端的方式在自动特征提取和计算机视觉任务中的有效性。在训练过程中，卷积神经网络会在不同层次上学习局部和全局特征。卷积神经网络已在许多分类，检测和分割任务中展现出了前所未有的成功。这些新颖的卷积神经网络还激励研究人员解决具有挑战性的3D分类任务。但是，传统的卷积神经网络通常由2D层组成，无法直接适应3D点云的结构。因此，将3D卷积神经网络应用于从雷达点云数据转换的2D数据中的方法应运而生，例如VoxNet和ShapeNets。其他研究方法也会利用多视图卷积神经网络从点云的多个2D渲染视图中提取几何特征。这些卷积神经网络和多视图卷积神经网络只能应用于3D点云的转换数据，这将导致大量信息丢失。为了解决这个问题，理想的方法是建立一个3D模型，该模型可以直接应用于点云的独特结构。Qi提出了一种独特的深度学习结构，称为PointNet，这是第一个利用一组功能从点云获取全局特征的体系结构。为了捕获局部特征并提高模型的通用性，以完成更好的模式识别任务，Qi通过分层组合不同规模的分组过程，进一步提出了一种称为PointNet++的新型模型。这些框架集成了雷达点云数据的预处理，处理和分类，这些已被证明在各种应用中都是成功的。

然而，与室内场景的对象相比，即使是同一类别的点云对象也能表现出很大的差异。例如，电线的几何形状具有各种尺寸和比例。因此，先前的方法采用提取的几何特征对电力线进行分类，这些电力线容易因对象形状和比例的大变化而导致分类错误。

发明内容

有鉴于此，本发明的目的在于提供一种基于双倍注意力的激光雷达点云目标分割方法，所述方法中包括具有自注意力机制的卷积神经网络模型，双倍注意力机制可以提高点云特征的空间编码质量，并结合点云数据的几何和语义特征，可以自动的实现对重要特征的权重增加，这些权重优化的特点将改善各种规模下点云数据的分割性能。

本发明的目的是这样实现的，一种基于双倍注意力的激光雷达点云目标分割方法，包括以下步骤：

步骤1，将激光雷达点云的数据输入特征抽象层中，获取每个点云数据的点特征和群特征；

步骤2，将所述的点特征和群特征同时输入到点注意力模块和群注意力模块；在点注意力模块中，通过自注意力机制的提升，加强点之间的相关联性，提高点云目标中的关键点的特征；在群注意力模块中，通过群之间的相互作用，提高关键群中所有的特征；

步骤3，将点注意力模块和群注意力模块的输出合并在一起，得到最后增强的特征输出，增强的特征输出在送入特征传播层中；

步骤4，在特种传播层中，通过对点云目标的每个点特征的生成，获取所有输入点的特征信息；

步骤5，将点云的特征信息传入分类器中，识别出每个点云的类别，从而得到整个点云目标的分割结果。

具体地，步骤2中所述的点注意力模块的输入是点特征和群特征D，将D同时放入三个不同的卷积层中，分别得到对应的特征A，B和C，将特征A转置并与B相乘得到点注意力矩阵U，将点注意矩阵与特征C相乘得到点注意力模块的输出；步骤2中所述的群注意力模块的输入是点特征和群特征D，对D进行转置得并与本身相乘，得到群注意力矩阵，再将群注意力矩阵与特征本身D相乘，得到群注意力模块的输出。

具体地，步骤1中所述的特征抽象层是适用于原始点云的特征提取器，包含分组采样和卷积层，用于有效地提取分层特征；分组采样将所有数据分为不同的组，学习多个局部特征，而卷积层则通过多尺寸内核从数据中提取特征，从多个要素抽象层处理了输入数据之后，获得具有点和组的多个特征的输出结果。

具体地，所述的特征传播层包含上采样操作，使用学习到的特征来检索所有输入点的特征，在上采样过程中，通过跳过连接方法在相应的特征抽象层上将特征串联起来，相邻点将具有相似的特征，特征传播的最终结果用于分类器。

更进一步地，在步骤1之前，将输入的激光雷达点云数据分成不同的块，统计每块中点云的数量，当点云的数量少于设定的阈值时，去掉该块；然后再每块中采用固定的采样值，得到固定点云数量的一份样本；当点云数量少于固定数量时，采用重复采样的策略。

与现有方法相比，本发明方法的优点在于：本发明可以直接应用于原始的点云数据上，并且它能有效且高效的建立点云数据之间的相互依赖关系，融合点云特征的上下文特征和几何特征；本发明方法提出的点注意力模块和群注意力模块可以有效性的在不同尺度上构建特征之间的关系，并提高点云数据的分割精度。

附图说明

图1示出了本发明实施例的流程示意图；

图2示出了本发明实施例的方法运算示意图；

图3示出了本发明实施例的数据预处理示意图；

图4示出了本发明实施例的点注意力模块的结构图；

图5示出了本发明实施例的群注意力模块的结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明实施例的流程示意图。一种基于双倍注意力的激光雷达点云目标分割方法，包括以下步骤：

步骤1，将激光雷达点云的数据输入特征抽象层中，获取每个点云数据的点特征和群特征；

步骤2，将所述的点特征和群特征同时输入到点注意力模块和群注意力模块；在点注意力模块中，通过自注意力机制的提升，加强点之间的相关联性，提高点云目标中的关键点的特征；在群注意力模块中，通过群之间的相互作用，提高关键群中所有的特征；

步骤3，将点注意力模块和群注意力模块的输出合并在一起，得到最后增强的特征输出，增强的特征输出在送入特征传播层中；

步骤4，在特种传播层中，通过对点云目标的每个点特征的生成，获取所有输入点的特征信息；

步骤5，将点云的特征信息传入分类器中，识别出每个一个点云的类别，从而得到整个点云目标的分割结果。所述方法的运算示意如图2所示。

如图3所示，在步骤1之前，对激光雷达进行预处理，将输入的激光雷达点云数据分成不同的块。统计每块中点云的数量，当点云的数量少于设定的阈值时，去掉该块；然后再每块中采用固定的采样值，得到固定点云数量的一份样本；当点云数量少于固定数量时，采用重复采样的策略。

如图4所示，步骤2中所述的点注意力模块的输入是点特征和群特征D，将D同时放入三个不同的卷积层中，分别得到对应的特征A，B和C，将特征A转置并与B相乘得到点注意力矩阵U，将点注意矩阵与特征C相乘得到点注意力模块的输出；如图5所示，步骤2中所述的群注意力模块的输入是点特征和群特征D，对D进行转置得并与本身相乘，得到群注意力矩阵，再将群注意力矩阵与特征本身D相乘，得到群注意力模块的输出。

本发明方法的实施例中使用的双倍注意力的点云分割模型，所述模型包括特征抽象层，点注意力模块，组注意力模块和特征传播层组成。

特征抽象层是适用于原始点云的特征提取器，包含组采样和卷积层。它们可以有效地提取分层特征。分组采样将所有数据分为不同的组，可以学习到多个局部特征，而卷积层则通过多尺寸内核从数据中提取特征。从多个要素抽象层处理了输入数据之后，可以获得具有点和组的多个特征的输出结果。

点注意力模块和群注意力模块是两种自注意力机制的模块，它们是双倍注意力点云分割模型的关键部分。它们可以增强点特征和群特征之间的相互依赖性，并提高分割结果的性能。将特征抽象层处理后的数据并行放入两个模块中。在点注意力模块中，它可以改善每个点有价值的特征，同时减少无意义的特征。类似地，在群注意力模块中，每个群都被视为一个捕捉群之间相关性的单元。它可以提高群之间的特征信息。最后，将两个模块的结果求和，以获得最终的特征增强型输出。

特征传播层是一种上采样操作，可以使用学习到的特征来检索所有输入点的特征。由于经过注意力模块增强的特征无法直接用于对每个点进行分类，因此我们需要获取每个点的特征。在上采样过程中，它还会通过跳过连接方法在相应的特征抽象层上将特征串联起来。然后，相邻点将具有相似的特征。特征传播的最终结果用于分类器。

最终分类器实现每个点类的分类，从而实现点云数据的语义分割。

本发明方法创建了一个双重自注意力模块，点注意力模块和群注意力模块。它们位于几何特征提取层的顶部。点关注模块通过几何特征和特征关注矩阵获得输入数据的上下文特征，并通过添加点特征的加权总和来计算点注意模块的输出。加权求和将增强点之间的远程依赖性。类似的，组注意力模块通过组抽样将自我注意机制引入模型，该模型重新权衡了从相邻点的聚类中抽象出来的不同组的贡献，以提高群表达的能力。这些不同的组代表不同类型的局部特征。组注意力模块能够根据不同局部特征对模型的重要性来调整其权重。两个注意模块并行处理提取的特征。然后将模块的输出融合回模型，逐层向上得到每个点云数据的特征信息。本发明方法中提出的双倍注意力的点云分割模型可以直接应用于原始点云数据，也可以分别增强单个点和点组之间的远程和多级特征依赖性，具有高效和有效性。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (5)

1.一种基于双倍注意力的激光雷达点云目标分割方法，其特征在于，包括以下步骤：

步骤1，将激光雷达点云的数据输入特征抽象层中，获取每个点云数据的点特征和群特征；

步骤2，将所述的点特征和群特征同时输入到点注意力模块和群注意力模块；在点注意力模块中，通过自注意力机制的提升，加强点之间的相关联性，提高点云目标中的关键点的特征；在群注意力模块中，通过群之间的相互作用，提高关键群中所有的特征；

步骤3，将点注意力模块和群注意力模块的输出合并在一起，得到最后增强的特征输出，增强的特征输出在送入特征传播层中；

步骤4，在特种传播层中，通过对点云目标的每个点特征的生成，获取所有输入点的特征信息；

步骤5，将点云的特征信息传入分类器中，识别出每个一个点云的类别，从而得到整个点云目标的分割结果。

2.根据权利要求1所述的激光雷达点云目标分割方法，其特征在于，步骤2中所述的点注意力模块的输入是点特征和群特征D，将D同时放入三个不同的卷积层中，分别得到对应的特征A，B和C，将特征A转置并与B相乘得到点注意力矩阵U，将点注意矩阵与特征C相乘得到点注意力模块的输出；步骤2中所述的群注意力模块的输入是点特征和群特征D，对D进行转置得并与本身相乘，得到群注意力矩阵，再将群注意力矩阵与特征本身D相乘，得到群注意力模块的输出。

3.根据权利要求1或2所述的激光雷达点云目标分割方法，其特征在于，步骤1中所述的特征抽象层是适用于原始点云的特征提取器，包含分组采样和卷积层，用于有效地提取分层特征；分组采样将所有数据分为不同的组，学习多个局部特征，而卷积层则通过多尺寸内核从数据中提取特征，从多个要素抽象层处理了输入数据之后，获得具有点和组的多个特征的输出结果。

4.根据权利要求3所述的激光雷达点云目标分割方法，其特征在于，所述的特征传播层包含上采样操作，使用学习到的特征来检索所有输入点的特征，在上采样过程中，通过跳过连接方法在相应的特征抽象层上将特征串联起来，相邻点将具有相似的特征，特征传播的最终结果用于分类器。

5.根据权利要求1或4所述的激光雷达点云目标分割方法，其特征在于，在步骤1之前，将输入的激光雷达点云数据分成不同的块，统计每块中点云的数量，当点云的数量少于设定的阈值时，去掉该块；然后再每块中采用固定的采样值，得到固定点云数量的一份样本；当点云数量少于固定数量时，采用重复采样的策略。

Images