CN115965788B - 基于多视角图结构特征注意力卷积的点云语义分割方法 - Google Patents

Abstract

基于多视角图结构特征注意力卷积的点云语义分割方法，解决了如何高精度的点云语义分割的问题，属于语义分割技术领域。本发明的编码器网络以邻域图的形式表示点云，通过图结构特征注意力分支，动态调整卷积核的权重和形状，动态适应点云不规则、无序的、分布不均匀的结构，有选择地聚焦在邻域最相关的部分，通过多视角空间特征分支，在邻域内产生更准确的空间特征描述。图结构特征注意力分支和多视角空间特征分支构成多视角图结构特征注意力卷积。再通过解码器解码，根据解码的特征向量，获得点云数据中每个点的最终语义标签。本发明可以直接处理无结构的三维点云，精确获取点云的结构特征，实现高精度的点云语义分割。

Description

基于多视角图结构特征注意力卷积的点云语义分割方法

技术领域

本发明涉及一种基于多视角图结构特征注意力卷积的点云语义分割方法，属于语义分割技术领域。

背景技术

星载、机载、车载和地面激光雷达探测技术可以快速高效地进行对地观测，主动、实时、直接地获取大范围地表及地物的三维信息，生成大范围的LiDAR点云数据。LiDAR点云数据已经广泛应用在测绘生产、地物三维重建、数字地面模型建立、地表覆盖分类、变化检测、电力巡线、森林资源调查、城市规划、自动驾驶、机器人系统、增强/虚拟现实、智慧城市等领域。尽管点云应用广泛，但当面对复杂的地物结构以及大规模、不规则的地物分布时，点云的语义分割精度仍然较低，严重制约点云应用的发展。

在早期阶段，通过传统的机器学习方法，实现点云语义分割。首先，这些方法需要利用特定的专家知识，设计人工特征，包括几何特征、辐射测量特征、拓扑特征、回波特征和全波形特征等，然后，利用支持向量机、随机森林、条件随机场和马尔可夫随机场等作为分类器。这些方法无法提取原始点云的有效特征，无法应用于大规模的复杂环境中，其分类精度受到人工特征质量和分类器性能的限制。

近年来，深度学习模型已成功应用于自然语言处理、语音识别和图像分类等领域。目前，研究人员已经将深度学习中最流行的模型卷积神经网络(CNN)应用到点云语义分割。但由于卷积神经网络(CNN)仅能接收规则的数据输入，所以，许多研究人员主要关注将不规则、无序的点云转换为规则的输入，比如点云体素划分、点云不同视角投影、点云特征图集合转换等。这些点云转换处理方法不可避免导致点云原始信息的丢失，影响点云语义分割的精度。为了避免点云转换带来的信息损失，研究人员提出Pointnet、Pointnet++等点云直接处理方法，不对点云进行转换，直接处理原始点云数据，这类方法可以更好地利用点云的几何结构信息，比点云转换处理方法具有更高的识别精度。

点云转换处理方法和点云直接处理方法等所有上述方法的卷积核均具有固定的感受野，卷积核的形状和权重均是固定的，忽略了点云对象的潜在几何结构信息，缺乏灵活性，不能适应点云不规则、无序的、分布不均匀的结构，导致部分点云对象分割效果不佳。

发明内容

针对如何高精度的点云语义分割的问题，本发明提供一种基于多视角图结构特征注意力卷积的点云语义分割方法。

本发明基于多视角图结构特征注意力卷积的点云语义分割方法，包括：

S1、获取点云数据；

S2、将点云数据输入编码器网络，提取点云数据的多尺度特征，编码器网络包括五个依次连接的编码器层，每个编码器层包括采样层和多视角图结构特征注意力卷积层；

采样层对点云进行采样，将采样点作为参考点，获取参考点的邻域点，构建参考点的邻域图；

多视角图结构特征注意力卷积层包括图结构特征注意力分支和多视角空间特征分支；

将参考点及其邻域点同时输入至图结构特征注意力分支和多视角空间特征分支；

图结构特征注意力分支根据参考点及其邻域点，计算相对邻域点坐标集合和相对邻域点特征集合，将相对邻域点特征集合输入多层感知机MLP 1，将多层感知机MLP 1输出的特征向量与相对邻域点坐标集合连接，并输入多层感知机MLP 2和softmax组成的函数中，学习图结构特征注意力权重G_a，同时将相对邻域点坐标集合和相对邻域点特征集合同时输入多层感知机MLP 3，获得特征向量G₁，并将G_a与G₁进行逐元素相乘，将乘积输入至多层感知机MLP 4中，该多层感知机MLP 4输出图结构特征注意力分支的输出特征向量G_out；

多视角空间特征分支根据参考点及其邻域点计算相对邻域点坐标集合，将相对邻域点坐标集合分别投影到X-Y、X-Z和Y-Z平面，获得3个平面的相对坐标集合，将3个平面的相对坐标集合分别输入多层感知机MLP 5、多层感知机MLP 6、多层感知机MLP 7，将3个多层感知机MLP的输出特征向量进行连接，再输入至多层感知机MLP 8，多层感知机MLP 8输出多视角空间特征分支的输出特征向量M_out；

将输出特征向量G_out和输出特征向量M_out连接，并输入多层感知机MLP 9中，多层感知机MLP 9的输出进行最大池化操作，获得多视角图结构特征注意力卷积的输出特征向量F_out，为点云数据的多尺度特征；

S3、将输出特征向量F_out输入至解码器网络，获得与S2中点云数据相同点数的特征向量；

S4、将S3获得的特征向量输入到多层感知器MLP 10中，获得点云数据中每个点的最终语义标签。

作为优选，所述采样层利用最远点采样法对点云进行采样，将采样点作为参考点V＝{p₁,p₂,…,p_N}，以参考点为圆心，以特定半径构建球形邻域，在球形邻域范围内随机采样，得到参考点的K个邻域点/>，H(i)是参考点p_i的邻域，构建参考点V的邻域图G(V,E)，边/>点云中的任一点p_i均可被分为坐标部分/>和特征属性部分/>

作为优选，图结构特征注意力分支获取图结构特征注意力权重G_a的方法：

其中，g_ji表示图结构特征注意力权重，是邻域点p_j的空间坐标，/>是参考点p_i的空间坐标，/>是邻域点p_j关于参考点p_i的相对坐标，/>是邻域点p_j的特征属性，/>是参考点p_i的特征属性，Δf_ji是邻域点p_j关于参考点p_i的相对特征；M_δ是输入通道数为C、输出通道数为1的多层感知机MLP 1，M_ρ是输入通道数为4、输出通道数为C1的多层感知机MLP 2；/>是连接操作，H(i)表示关于参考点p_i的邻域；

G_ij是图结构特征注意力权重，所有邻域点p_j关于参考点p_i的图结构特征注意力权重G_ij的集合为K为邻域点的个数,N为参考点的个数。

作为优选，将特征向量和特征向量/>连接，获得特征向量并输入至输入通道数为6+C1、输出通道数为C2的多层感知机MLP 9中，进行最大池化，获得特征向量/>

作为优选，所述解码器网络五个依次连接的解码器层，每个解码器层包括插值层和多层感知机MLP；每个解码器层通过跳跃连接与相应编码器层连接，解码器层解码方法包括：

插值层利用3个最近邻域点的逆距离加权插值算法，将输入从最粗尺度逐层插值到相应编码器层的尺度，并通过跳跃连接的方式，将插值特征与相应编码器层的点特征相连接，连接后的特征输入到输入通道数为2*C2、输出通道数为C3的多层感知机MLP中进行特征细化。

作为优选，依次连接的五个编码器层中特征通道的维度分别设置为(32，64)、(64，128)、(128，256)、(256，512)、(512，1024)；

依次连接的五个解码器层中特征通道的维度分别设置为(1024，512)、(512，256)、(256，128)、(128，64)、(64，64)；

S4中，将S3获得的特征向量输入到输入通道数为64、输出通道数为点云的类别数目的多层感知器MLP 10中，获得点云数据中每个点的最终语义标签。

本发明的有益效果，本发明是一个端到端的、编码器-解码器网络，可以直接处理点云数据，无需进行点云数据转换，避免了原始点云数据的信息损失，能动态调整卷积核的权重和形状，适应点云不规则、无序的、分布不均匀的结构，避免了传统卷积核无法适应点云数据结构的缺陷，可以多角度精确获取点云的结构特征，可以捕捉点云的多尺度特征。本发明方法可以有效提高点云语义分割的精度，可以适用于大规模、不规则的复杂地物的语义分割。

附图说明

图1为编码器网络和解码器网络的原理示意图；

图2为采样层的原理示意图；

图3为插值层的原理示意图；

图4为图结构特征注意力分支的原理示意图；

图5为多视角空间特征分支的原理示意图；

图6为多视角图结构特征注意力卷积的的原理示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本实施方式的基于多视角图结构特征注意力卷积的点云语义分割方法，包括：

步骤1、获取数据格式一致、特征数目一致的点云数据：

将获取的点云表示为3+C表示每个点的通道数目，包括x，y，z坐标和特征属性，特征属性包括反射强度、RGB颜色信息等。通道数目C不是固定的，C＝0表示没有特征属性。

步骤2、将点云数据输入编码器网络，编码器网络包括五个依次连接的编码器层，最后一个编码器层输出点云数据的多尺度特征；

如图1所示，每个编码器层包括采样层和多视角图结构特征注意力卷积层，先利用采样层，对点云进行采样，将采样点作为参考点，获取参考点的邻域，构建参考点的邻域图；然后，将参考点及其邻域点输入多视角图结构特征注意力卷积层，利用多视角空间特征分支，在邻域内产生点的更准确的空间特征描述，利用图结构特征注意力分支，动态调整卷积核的权重和形状，有选择地聚焦在邻域最相关的部分。

(1)如图2所示，采样层利用最远点采样法对点云进行采样，将采样点作为参考点V＝{p₁,p₂,…,p_N}，以参考点为圆心，以特定半径构建球形邻域，在球形邻域范围内随机采样，得到参考点的K个邻域点/>H(i)是参考点p_i的邻域，构建参考点V的邻域图G(V,E)，边/>点云中的任一点p_i均可被分为坐标部分/>和特征属性部分/>

(2)多视角图结构特征注意力卷积层包括图结构特征注意力分支和多视角空间特征分支；

将参考点及其邻域点同时输入至图结构特征注意力分支和多视角空间特征分支；

1)图结构特征注意力分支根据参考点及其邻域点，计算相对邻域点坐标集合和相对邻域点特征集合，将相对邻域点特征集合输入多层感知机MLP 1，将多层感知机MLP 1输出的特征向量与相对邻域点坐标集合连接，并输入多层感知机MLP 2和softmax组成的函数中，学习图结构特征注意力权重G_a，如图4所示，具体过程包括：

通过对参考点及其邻域点的坐标和特征的学习，图结构特征注意力能动态调整卷积核的权重和形状，有选择地聚焦在邻域最相关的部分。邻域点p_j关于参考点p_i的图结构特征注意力权重g_ji如下式所示：

其中，g_ji表示图结构特征注意力权重，是邻域点p_j的空间坐标，/>是参考点p_i的空间坐标，/>是邻域点p_j关于参考点p_i的相对坐标，/>是邻域点p_j的特征属性，/>是参考点p_i的特征属性，Δf_ji是邻域点p_j关于参考点p_i的相对特征；M_δ是输入通道数为C、输出通道数为1的多层感知机MLP 1，M_ρ是输入通道数为4、输出通道数为C1的多层感知机MLP 2；⊕是连接操作，H(i)表示关于参考点p_i的邻域；

为了处理邻域集合尺寸的变化，softmax函数被用来归一化图结构特征注意力权重g_ji：

G_ij是图结构特征注意力权重，所有邻域点p_j关于参考点p_i的图结构特征注意力权重G_ij的集合为K为邻域点的个数,N为参考点的个数。

如图4所示，同时将相对邻域点坐标集合和相对邻域点特征集合同时输入多层感知机MLP 3，获得特征向量G₁，并将G_a与G₁进行逐元素相乘，获得图结构特征注意力分支的输出特征向量G_out的过程为：

通过邻域点p_j和参考点p_i计算相对坐标Δc_ji＝c_j-c_i和相对特征Δf_ji＝f_j-f_i，将相对坐标与相对特征连接，得到相对邻域点所有的相对邻域点h'_ji构成了相对邻域集合/>将相对邻域集合H'输入到输入通道数为3+C、输出通道数为C1的多层感知机MLP 3中，该多层感知机MLP 3输出特征向量/>

特征向量与图结构特征注意力权重/>进行逐元素相乘，得到将乘积输入至输入通道数为C1、输出通道数为C1的多层感知机MLP 4中，该多层感知机MLP 4输出特征向量/>

2)多视角空间特征分支

如图5所示，根据采样层生成的参考点及其邻域点集合，该分支计算邻域点p_j关于参考点p_i的相对坐标Δc_ji＝c_j-c_i，所有相对坐标Δc_ji构成相对坐标集合将相对坐标集合/>投影到X-Y、X-Z和Y-Z平面，获得各平面的相对坐标集合。将各平面的相对坐标集合分别输入入多层感知机MLP 5、多层感知机MLP 6、多层感知机MLP 7(此3个MLP的输入通道数均为2、输出通道数均为2)，输出3个空间特征向量/> 和/>将3个空间特征向量连接，得到特征向量/>再将该特征向量M₂输入多层感知机MLP 8(此MLP的输入通道数为6、输出通道数为6)，得到多视角空间特征向量/>

3)如图6所示，将图结构特征注意力分支的输出特征向量和多视角空间特征分支的输出特征向量/>连接，获得特征向量/>并输入多层感知机MLP 9(此MLP 9的输入通道数为6+C1、输出通道数为C2)，进行最大池化，获得多视角图结构特征注意力卷积的输出特征向量/>

在五个编码器层中，多视角图结构特征注意力卷积的特征通道C1和C2，维度分别设置为(32，64)、(64，128)、(128，256)、(256，512)、(512，1024)。

步骤3、将输出特征向量输入至解码器网络，获得与S2中点云数据相同点数的特征向量；解码器网络包括五个依次连接的解码器层，每个解码器层包括插值层和多层感知机MLP；每个解码器层通过跳跃连接与相应编码器层连接。

如图1的解码器网络部分所示。通过插值层，利用3个最近邻域点的逆距离加权插值算法，共进行5次插值，将编码器网络的输出，从最粗尺度逐层插值到原始尺度，即在最后一次插值之后，最终的特征向量与原始点云具有相同的点数；通过跳跃连接，将学习到的特征从采样点传播到插值点，将插值特征与相应编码器级的点特征相连接，跳跃连接共执行5次；每次插值层和跳跃连接执行之后，均将连接特征，输入到多层感知机MLP(此MLP的输入通道数为2*C2、输出通道数为C3)，进行特征细化，得到解码器网络的输出特征向量。依次连接的五个解码器层的多层感知机MLP中特征通道C2和C3，维度分别设置为(1024，512)、(512，256)、(256，128)、(128，64)、(64，64)；

步骤4、将步骤3获得的特征向量输入到多层感知器MLP 10中，获得点云数据中每个点的最终语义标签。

本实施方式方法以邻域图的形式表示点云，通过图结构特征注意力分支，动态调整卷积核的权重和形状，动态适应点云不规则、无序的、分布不均匀的结构，有选择地聚焦在邻域最相关的部分，通过多视角空间特征分支，在邻域内产生更准确的空间特征描述。图结构特征注意力分支和多视角空间特征分支构成多视角图结构特征注意力卷积。本实施方式方法是一个端到端的、编码器-解码器网络，可以直接处理无结构的三维点云，能够根据点云对象的结构自适应调整卷积核，可以捕捉点云的多尺度特征，可以精确获取点云的结构特征，满足细粒度分割的需求，实现高精度的点云语义分割。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (6)

1.基于多视角图结构特征注意力卷积的点云语义分割方法，其特征在于，所述方法包括：

S1、获取点云数据；

S2、将点云数据输入编码器网络，提取点云数据的多尺度特征，编码器网络包括五个依次连接的编码器层，每个编码器层包括采样层和多视角图结构特征注意力卷积层；

采样层对点云进行采样，将采样点作为参考点，获取参考点的邻域点，构建参考点的邻域图；

多视角图结构特征注意力卷积层包括图结构特征注意力分支和多视角空间特征分支；

将参考点及其邻域点同时输入至图结构特征注意力分支和多视角空间特征分支；

图结构特征注意力分支根据参考点及其邻域点，计算相对邻域点坐标集合和相对邻域点特征集合，将相对邻域点特征集合输入多层感知机MLP 1，将多层感知机MLP 1输出的特征向量与相对邻域点坐标集合连接，并输入多层感知机MLP 2和softmax组成的函数中，学习图结构特征注意力权重G_a，同时将相对邻域点坐标集合和相对邻域点特征集合同时输入多层感知机MLP 3，获得特征向量G₁，并将G_a与G₁进行逐元素相乘，将乘积输入至多层感知机MLP 4中，该多层感知机MLP 4输出图结构特征注意力分支的输出特征向量G_out；

多视角空间特征分支根据参考点及其邻域点计算相对邻域点坐标集合，将相对邻域点坐标集合分别投影到X-Y、X-Z和Y-Z平面，获得3个平面的相对坐标集合，将3个平面的相对坐标集合分别输入多层感知机MLP 5、多层感知机MLP 6、多层感知机MLP 7，将3个多层感知机MLP的输出特征向量进行连接，再输入至多层感知机MLP 8，多层感知机MLP 8输出多视角空间特征分支的输出特征向量M_out；

将输出特征向量G_out和输出特征向量M_out连接，并输入多层感知机MLP 9中，多层感知机MLP 9的输出进行最大池化操作，获得多视角图结构特征注意力卷积的输出特征向量F_out，为点云数据的多尺度特征；

S3、将输出特征向量F_out输入至解码器网络，获得与S2中点云数据相同点数的特征向量；

S4、将S3获得的特征向量输入到多层感知器MLP 10中，获得点云数据中每个点的最终语义标签；

所述采样层利用最远点采样法对点云进行采样，将采样点作为参考点V＝{p₁,p₂,…,p_N}，以参考点为圆心，以特定半径构建球形邻域，在球形邻域范围内随机采样，得到参考点的K个邻域点/>H(i)是参考点p_i的邻域，构建参考点V的邻域图G(V,E)，边/>点云中的任一点p_i均可被分为坐标部分和特征属性部分/>

图结构特征注意力分支获取图结构特征注意力权重G_a的方法：

其中，g_ji表示图结构特征注意力权重，是邻域点p_j的空间坐标，/>是参考点p_i的空间坐标，/>是邻域点p_j关于参考点p_i的相对坐标，/>是邻域点p_j的特征属性，/>是参考点p_i的特征属性，Δf_ji是邻域点p_j关于参考点p_i的相对特征；M_δ是输入通道数为C、输出通道数为1的多层感知机MLP 1，M_ρ是输入通道数为4、输出通道数为C1的多层感知机MLP 2；⊕是连接操作，H(i)表示关于参考点p_i的邻域；

G_ij是图结构特征注意力权重，所有邻域点p_j关于参考点p_i的图结构特征注意力权重G_ij的集合为K为邻域点的个数,N为参考点的个数。

2.根据权利要求1所述的基于多视角图结构特征注意力卷积的点云语义分割方法，其特征在于，将特征向量和特征向量/>连接，获得特征向量并输入至输入通道数为6+C1、输出通道数为C2的多层感知机MLP 9中，进行最大池化，获得特征向量/>

3.根据权利要求2所述的基于多视角图结构特征注意力卷积的点云语义分割方法，其特征在于，所述解码器网络五个依次连接的解码器层，每个解码器层包括插值层和多层感知机MLP；每个解码器层通过跳跃连接与相应编码器层连接，解码器层解码方法包括：

插值层利用3个最近邻域点的逆距离加权插值算法，将输入从最粗尺度逐层插值到相应编码器层的尺度，并通过跳跃连接的方式，将插值特征与相应编码器层的点特征相连接，连接后的特征输入到输入通道数为2*C2、输出通道数为C3的多层感知机MLP中进行特征细化。

4.根据权利要求3所述的基于多视角图结构特征注意力卷积的点云语义分割方法，其特征在于，依次连接的五个编码器层中特征通道的维度分别设置为(32，64)、(64，128)、(128，256)、(256，512)、(512，1024)；

依次连接的五个解码器层中特征通道的维度分别设置为(1024，512)、(512，256)、(256，128)、(128，64)、(64，64)；

S4中，将S3获得的特征向量输入到输入通道数为64、输出通道数为点云的类别数目的多层感知器MLP 10中，获得点云数据中每个点的最终语义标签。

5.一种计算机可读的存储设备，所述存储设备存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至4任一所述基于多视角图结构特征注意力卷积的点云语义分割方法。

6.一种基于多视角图结构特征注意力卷积的点云语义分割装置，包括存储设备、处理器以及存储在所述存储设备中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1至4任一所述基于多视角图结构特征注意力卷积的点云语义分割方法。