CN113516663A - 点云语义分割方法及装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种点云语义分割方法及装置、电子设备及存储介质。点云语义分割方法包括：提取待处理点云的局部几何特征，将局部几何特征输入训练好的语义分割模型，以及输出所述待处理点云的语义分割结果。所述语义分割模型包括下采样层和上采样层，下采样层用于聚合所述待处理点云的三维坐标特征和所述局部几何特征，得到局部聚合特征，以及根据所述局部几何特征确定全局上下文特征；上采样层用于对所述下采样层输出的特征中具有相似语义信息的通道进行增强处理。本发明实施例提供的点云语义分割方法能够减小在特征提取阶段造成的损失，增强网络特征表示，减小噪音和遮挡对语义分割的影响，从而提高语义分割的效率和精度。

Description

点云语义分割方法及装置、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，特别涉及一种点云语义分割方法及装置、电子设备及存储介质。

背景技术

语义分割作为点云智能处理的和分析的基础，在城市土地覆盖分析、三维城市模型、无人驾驶、道路重建、城市规划等领域有着广泛的应用。随着传感器集成技术的不断升级，点云采集方式和平台呈现多样化发展，城市点云的数据规模更加大，场景更加复杂。基于经典机器学习语义分割方法需要人为设计特征进行语义分割，其处理复杂、动态的城市场景点云泛化能力弱，处理效率也较低，无法满足各种实际应用的需求。

基于深度学习的方法凭借其良好的特征表示能力成为目前进行点云分割的研究热点。目前，基于深度学习的方法一般将点云转为多视图、体素等规则结构，然后再将其输入到神经网络中进行处理以实现语义分割。但是无论体素化或多视图均会造成点云信息损失，也无法处理大规模点云数据。因此，直接处理原始点云数据是当前处理点云的研究趋势。但是目前直接处理原始点云的方法大多需要对点云进行分块处理，分块破坏了点云的几何结构，导致语义分割精度低。同时，分块也降低了处理大规模点云的效率。

发明内容

本发明要解决的技术问题是为了克服现有技术中对原始点云数据进行体素化等预处理造成点云信息损失，以及对原始点云数据进行分块处理导致语义分割精度低的缺陷，提供一种无需对点云进行分块、体素化等预处理，可以直接处理原始点云数据的点云语义分割方法及装置、电子设备及存储介质。

本发明是通过下述技术方案来解决上述技术问题：

本发明的第一方面提供一种点云语义分割方法，包括以下步骤：

提取待处理点云的局部几何特征；其中，所述局部几何特征包括所述待处理点云中每个点的三维坐标；

将所述待处理点云的局部几何特征输入训练好的语义分割模型，其中，所述语义分割模型包括下采样层和上采样层，所述下采样层用于聚合所述待处理点云的三维坐标特征和所述局部几何特征，得到局部聚合特征，以及根据所述局部几何特征确定全局上下文特征，并对所述局部聚合特征和所述全局上下文特征进行叠加；所述上采样层用于对所述下采样层输出的特征中具有相似语义信息的通道进行增强处理；所述三维坐标特征包括邻域与中心点的距离、邻域与中心点的坐标之差、中心点的坐标以及邻域的坐标；

输出所述待处理点云的语义分割结果。

可选地，所述提取待处理点云的局部几何特征的步骤具体包括：

利用三维坐标点邻域的结构张量获取待处理点云中每个点的结构张量；

对所述结构张量进行奇异值分解；

根据分解得到的特征值提取每个点的局部几何特征。

可选地，所述下采样层具体用于利用以下公式计算局部聚合特征

f″_short＝MaxPool(MLP[f_c,r_c])

其中，MLP(.)表示多层感知机，MaxPool(.)表示最大池化操作，g(·)表示权值在所有点之间共享的多层感知机，

表示所述待处理点云中中心点的邻域坐标，f_c表示与所述中心点的局部几何特征对应的局部邻域特征，f′_c＝MLP(f_c)，r_c表示所述待处理点云的三维坐标特征，r′_c＝MLP(r_c)。

可选地，所述下采样层具体用于：

利用所述局部几何特征计算全局上下文权重系数；

将所述全局上下文权重系数与所述局部几何特征相乘得到第一特征；

对所述第一特征进行线性变化和激活运算，得到第二特征；

以及将所述第二特征与所述局部几何特征进行叠加，得到全局上下文特征。

可选地，所述语义分割模型至少两个下采样层，所述至少两个下采样层与所述上采样层依次连接，所述上采样层具体用于：

将与所述上采样层连接的下采样层输出的特征进行插值，得到插值后的特征；

将另一个下采样层输出的特征与所述插值后的特征进行叠加；

基于注意力机制对叠加后的特征中具有相似语义信息的通道进行特征加权。

可选地，通过以下步骤训练所述语义分割模型：

将训练数据输入构建的语义分割模型；所述训练数据包括若干点云样本的局部几何特征以及对应的语义标签；

根据所述语义分割模型输出的语义分割结果以及语义标签计算损失值；

根据所述损失值调整所述语义分割模型的参数，直至模型收敛。

可选地，所述局部几何特征还包括以下中的至少一种：法向量变化特征、直线性特征、平面性特征、散乱性特征、变化性特征、向异性特征、信息熵特征、局部点云密度特征、归一化特征值的和、色彩信息、强度信息。

本发明的第二方面提供一种点云语义分割装置，包括：

提取模块，用于提取待处理点云的局部几何特征；其中，所述局部几何特征包括所述待处理点云中每个点的三维坐标；

输入模块，用于将所述待处理点云的局部几何特征输入训练好的语义分割模型，其中，所述语义分割模型包括下采样层和上采样层，所述下采样层用于聚合所述待处理点云的三维坐标特征和所述局部几何特征，得到局部聚合特征，以及根据所述局部几何特征确定全局上下文特征，并对所述局部聚合特征和所述全局上下文特征进行叠加；所述上采样层用于对所述下采样层输出的特征中具有相似语义信息的通道进行增强处理；所述三维坐标特征包括邻域与中心点的距离、邻域与中心点的坐标之差、中心点的坐标以及邻域的坐标；

输出模块，用于输出所述待处理点云的语义分割结果。

本发明的第三方面提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的点云语义分割方法。

本发明的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的点云语义分割方法。

本发明的积极进步效果在于：通过语义分割模型中的下采样层聚合待处理点云的三维坐标特征和所述局部几何特征，得到局部聚合特征，能够减小在特征提取阶段造成的损失；以及根据所述局部几何特征确定全局上下文特征，能够增强网络特征表示，减小噪音和遮挡对语义分割的影响，实现对噪声的鲁棒；通过语义分割模型中的上采样层对下采样层输出的特征中具有相似语义信息的通道进行增强处理，能够进一步弥补采样过程中损失的信息，同时还能提高语义分割的效率和精度。

附图说明

图1为本发明实施例1提供的一种点云语义分割方法的流程图。

图2为本发明实施例1提供的一种局部特征聚合模块的结构示意图。

图3为本发明实施例1提供的一种全局上下文聚合模块的结构示意图。

图4为本发明实施例1提供的一种下采样层的结构示意图。

图5为本发明实施例1提供的一种上采样层的结构示意图。

图6为本发明实施例1提供的一种点云语义分割装置的结构框图

图7为本发明实施例2提供的一种电子设备的结构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

图1为本实施例提供的一种点云语义分割方法的流程示意图。该点云语义分割方法可以由点云语义分割装置执行，该点云语义分割装置可以通过软件和/或硬件的方式实现，该点云语义分割装置可以为电子设备的部分或全部。

下面以电子设备为执行主体介绍本实施例提供的点云语义分割方法。如图1所示，本实施例提供的点云语义分割方法可以包括以下步骤S101～S105：

步骤S101、提取待处理点云的局部几何特征。其中，所述局部几何特征包括所述待处理点云中每个点的三维坐标。

在可选的一种实施方式中，步骤S101具体包括以下步骤S101a～S101c：

步骤S101a、利用三维坐标点邻域的结构张量获取待处理点云中每个点的结构张量。

步骤S101b、对所述结构张量进行奇异值分解。

步骤S101c、根据分解得到的特征值提取每个点的局部几何特征。

在具体实施中，对步骤S101b分解得到的特征值进行归一化，得到e₁,e₂,e₃。

在具体实施中，上述局部几何特征除了每个点的三维坐标之外P_i，还可以包括以下中的至少一种：法向量变化特征C_m、直线性特征,L_m、平面性特征P_m、散乱性特征Sa_m、变化性特征O_m、向异性特征A_m、信息熵特征E_m、局部点云密度特征D_m、归一化特征值的和∑_m、色彩信息RGB、强度信息。

其中，利用如下公式计算上述局部几何特征：

其中，k为邻域。

步骤S102、将所述待处理点云的局部几何特征输入训练好的语义分割模型。其中，所述语义分割模型包括下采样层和上采样层。

在一个具体的例子中，将待处理点云的局部几何特征f_input输入语义分割模型，其中，f_input＝[P_i,RGB,C_m,L_m,P_m,Sa_m,O_m,A_m,E_m,D_m,∑_m]。本例子中，将更多的局部几何特征输入语义分割模型中，辅助语义分割模型进行分类，能够提高待处理点云的语义分割精度。

所述下采样层用于聚合所述待处理点云的三维坐标特征和所述局部几何特征，得到局部聚合特征，以及根据所述局部几何特征确定全局上下文特征，并对所述局部聚合特征和所述全局上下文特征进行叠加。

其中，所述三维坐标特征r_c包括邻域与中心点的距离

邻域与中心点的坐标之差

中心点的坐标p_c以及邻域的坐标

即

在具体实施中，下采样层包括局部特征聚合模块(Local Feature AggregationModule,LFAM)和全局上下文聚合模块(Global Context Aggregation Modul,GCAM)。其中，局部特征聚合模块用于聚合所述待处理点云的三维坐标特征和所述局部几何特征，得到局部聚合特征。全局上下文聚合模块用于根据所述局部几何特征确定全局上下文特征。

参照图2所示的局部特征聚合模块，利用K近邻方法对点云的三维特征坐标和局部特征进行聚合，然后用多层感知机(Multi-Layer Perception，MLP)进行学习得到r_c ^′。对每个中心点p_c的局部特征进行K近邻方法后对应的局部邻域特征可表示为

为了增强局部特征表示，利用多层感知机MLP进行学习得到f_c ^′。进一步采用邻域内坐标作为多层感知机MLP的输入获取权值函数，对局部特征和局部三维坐标特征加权，增强特征对局部邻域的描述能力，最后利用最大池化得到最终的局部特征f_c″：

其中，MaxPool(.)表示最大池化操作，g(·)表示权值在所有点之间共享的多层感知机，

表示所述待处理点云中中心点的邻域坐标，f_c表示与所述中心点的局部几何特征对应的局部邻域特征，f′_c＝MLP(f_c)，r_c表示所述待处理点云的三维坐标特征，r′_c＝MLP(r_c)。

同时，为了进一步增大网络感受野，局部特征聚合模块还包括跳跃连接，能够加强信息的流通、减少局部信息损失，跳跃连接中的特征f″_short主要是经过最近邻聚集的局部邻域特征f_c以及局部邻域内的三维坐标特征r_c：

f″_short＝MaxPool(MLP[f_c,r_c])

其中，MLP(.)表示多层感知机。最后，将聚合局部上下文信息的特征f_c″和跳跃连接的特征f″_short进行叠加，得到最终的局部聚合特征

参照图3所示的全局上下文聚合模块，具体用于利用所述局部几何特征计算全局上下文权重系数；将所述全局上下文权重系数与所述局部几何特征相乘得到第一特征F₁₁；对第一特征F₁₁进行线性变化和激活运算，得到第二特征F₂₂；以及将第二特征F₂₂与所述局部几何特征进行叠加，得到全局上下文特征。

参照图4所示的下采样层，对局部特征聚合模块LFAM输出的局部聚合特征和全局上下文聚合模块GCAM输出的全局上下文特征进行叠加，并将叠加后的特征输入共享多层感知机。

所述上采样层用于对所述下采样层输出的特征中具有相似语义信息的通道进行增强处理。

在可选的一种实施方式中，上述语义分割模型至少两个下采样层，所述至少两个下采样层与所述上采样层依次连接。所述上采样层具体用于将与所述上采样层连接的下采样层输出的特征F进行插值，得到插值后的特征F₁；将另一个下采样层输出的特征F₂与所述插值后的特征F₁进行叠加，得到组合特征F₃＝[f₁,f₂,f₃,…,f_C]；基于注意力机制对组合特征F₃中具有相似语义信息的通道进行特征加权，从而得到通道关系增强的特征。

本实施方式中，通过注意力机制实现低分辨率特征F和高分辨率特征F₂的融合，能够进一步弥补采样过程中损失的信息，同时也进一步提高了语义分割模型的处理效率。

在具体实施中，参照图5，可以使用全局平均池化从组合特征F₃中的每个通道生成全局上下文信息，得到压缩的特征。再对压缩的特征使用类似Sigmoid的门控机制来突出具有相似语义信息的通道。同时，为了进一步减少计算量和整个模型的参数，在使用激活函数ReLU之前添加线性变换得到权重系数，将权重系数与组合特征F₃相乘并加上组合特征F₃，经过两层共享MLP，最终得到通道关系增强的特征

需要说明的是，下采样层和上采样层的数量可以根据实际情况进行设置。

步骤S103、输出所述待处理点云的语义分割结果。

本实施例提供的点云语义分割方法可以应用于无人驾驶、测绘、城市土地覆盖分析、道路重建、城市规划、三维城市模型等领域。在将上述点云语义分割方法应用于三维城市模型的一个例子中，语义分割结果包括以下8种：1)人造地形：主要是路面；2)自然地形：以草地为主；3)高植被：树木和大灌木丛；4)低植被：小于2米的花或小灌木；5)建筑物：教堂、市政厅、车站、公寓等；6)剩余景观：一个杂乱的类，例如加登墙、喷泉、银行等；7)扫描伪影：静态扫描记录过程中动态移动的物体引起的伪影；8)小汽车和卡车。

在一个具体的例子中，语义分割模型包括五个下采样层和五个上采样层，其中，五个下采样层输出的特征维度分别为64、128、256、512、1024；五个上采样层输出的特征维度分别为768、512、256、256、128。针对Semantic3D(户外场景点云数据库)的semantic-8点云数据，将提取的局部几何特征f_input＝[P_i,RGB,C_m,L_m,P_m,Sa_m,O_m,A_m,E_m,D_m,∑_m]输入上述语义分割模型进行语义分割，能够达到74.70％的平均交并比以及95.00％的总体分类精度。

在可选的一种实施方式中，通过以下步骤S201～S203训练上述语义分割模型：

步骤S201、将训练数据输入构建的语义分割模型。所述训练数据包括若干点云样本的局部几何特征以及对应的语义标签。在具体实施中，可以基于神经网络构建语义分割模型。

步骤S202、根据所述语义分割模型输出的语义分割结果以及语义标签计算损失值；

步骤S203、根据所述损失值调整所述语义分割模型的参数，直至模型收敛。

如图6所示，本实施例还提供一种点云语义分割装置60，包括提取模块61、输入模块62以及输出模块63。

提取模块61用于提取待处理点云的局部几何特征。其中，所述局部几何特征包括所述待处理点云中每个点的三维坐标；

输入模块62用于将所述待处理点云的局部几何特征输入训练好的语义分割模型。其中，所述语义分割模型包括下采样层和上采样层。

所述下采样层用于聚合所述待处理点云的三维坐标特征和所述局部几何特征，得到局部聚合特征，以及根据所述局部几何特征确定全局上下文特征，并对所述局部聚合特征和所述全局上下文特征进行叠加。

所述上采样层用于对所述下采样层输出的特征中具有相似语义信息的通道进行增强处理。

所述三维坐标特征包括邻域与中心点的距离、邻域与中心点的坐标之差、中心点的坐标以及邻域的坐标。

输出模块63用于输出所述待处理点云的语义分割结果。

需要说明的是，本实施例中的点云语义分割装置具体可以是单独的芯片、芯片模组或电子设备，也可以是集成于电子设备内的芯片或者芯片模组。

本实施例中，通过语义分割模型中的下采样层聚合待处理点云的三维坐标特征和所述局部几何特征，得到局部聚合特征，能够减小在特征提取阶段造成的损失；以及根据所述局部几何特征确定全局上下文特征，能够增强网络特征表示，减小噪音和遮挡对语义分割的影响，实现对噪声的鲁棒；通过语义分割模型中的上采样层对下采样层输出的特征中具有相似语义信息的通道进行增强处理，能够进一步弥补采样过程中损失的信息，同时还能提高语义分割的效率和精度。

实施例2

图7为本实施例提供的一种电子设备的结构示意图。所述电子设备包括至少一个处理器以及与所述至少一个处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行实施例1的点云语义分割方法。

电子设备3的组件可以包括但不限于：上述至少一个处理器4、上述至少一个存储器5、连接不同系统组件(包括存储器5和处理器4)的总线6。

总线6包括数据总线、地址总线和控制总线。

存储器5可以包括易失性存储器，例如随机存取存储器(RAM)51和/或高速缓存存储器52，还可以进一步包括只读存储器(ROM)53。

存储器5还可以包括具有一组(至少一个)程序模块54的程序/实用工具55，这样的程序模块54包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器4通过运行存储在存储器5中的计算机程序，从而执行各种功能应用以及数据处理，例如上述点云语义分割方法。

电子设备3也可以与一个或多个外部设备11(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口9进行。并且，电子设备3还可以通过网络适配器10与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器10通过总线6与电子设备3的其它模块通信。应当明白，尽管图7中未示出，可以结合电子设备3使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

实施例3

本实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行实施例1中的点云语义分割方法。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行实现实施例1中的点云语义分割方法。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在电子设备上执行、部分地在电子设备上执行、作为一个独立的软件包执行、部分在电子设备上部分在远程设备上执行或完全在远程设备上执行。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种点云语义分割方法，其特征在于，包括以下步骤：

提取待处理点云的局部几何特征；其中，所述局部几何特征包括所述待处理点云中每个点的三维坐标；

将所述待处理点云的局部几何特征输入训练好的语义分割模型，其中，所述语义分割模型包括下采样层和上采样层，所述下采样层用于聚合所述待处理点云的三维坐标特征和所述局部几何特征，得到局部聚合特征，以及根据所述局部几何特征确定全局上下文特征，并对所述局部聚合特征和所述全局上下文特征进行叠加；所述上采样层用于对所述下采样层输出的特征中具有相似语义信息的通道进行增强处理；所述三维坐标特征包括邻域与中心点的距离、邻域与中心点的坐标之差、中心点的坐标以及邻域的坐标；

输出所述待处理点云的语义分割结果。

2.如权利要求1所述的点云语义分割方法，其特征在于，所述提取待处理点云的局部几何特征的步骤具体包括：

利用三维坐标点邻域的结构张量获取待处理点云中每个点的结构张量；

对所述结构张量进行奇异值分解；

根据分解得到的特征值提取每个点的局部几何特征。

3.如权利要求1所述的点云语义分割方法，其特征在于，所述下采样层具体用于利用以下公式计算局部聚合特征

f″_short＝MaxPool(MLP[f_c,r_c])

其中，MLP(.)表示多层感知机，MaxPool(.)表示最大池化操作，g(·)表示权值在所有点之间共享的多层感知机，

表示所述待处理点云中中心点的邻域坐标，f_c表示与所述中心点的局部几何特征对应的局部邻域特征，f′_c＝MLP(f_c)，r_c表示所述待处理点云的三维坐标特征，r′_c＝MLP(r_c)。

4.如权利要求1所述的点云语义分割方法，其特征在于，所述下采样层具体用于：

利用所述局部几何特征计算全局上下文权重系数；

将所述全局上下文权重系数与所述局部几何特征相乘得到第一特征；

对所述第一特征进行线性变化和激活运算，得到第二特征；

以及将所述第二特征与所述局部几何特征进行叠加，得到全局上下文特征。

5.如权利要求1所述的点云语义分割方法，其特征在于，所述语义分割模型至少两个下采样层，所述至少两个下采样层与所述上采样层依次连接，所述上采样层具体用于：

将与所述上采样层连接的下采样层输出的特征进行插值，得到插值后的特征；

将另一个下采样层输出的特征与所述插值后的特征进行叠加；

基于注意力机制对叠加后的特征中具有相似语义信息的通道进行特征加权。

6.如权利要求1所述的点云语义分割方法，其特征在于，通过以下步骤训练所述语义分割模型：

将训练数据输入构建的语义分割模型；所述训练数据包括若干点云样本的局部几何特征以及对应的语义标签；

根据所述语义分割模型输出的语义分割结果以及语义标签计算损失值；

根据所述损失值调整所述语义分割模型的参数，直至模型收敛。

7.如权利要求1-6中任一项所述的点云语义分割方法，其特征在于，所述局部几何特征还包括以下中的至少一种：法向量变化特征、直线性特征、平面性特征、散乱性特征、变化性特征、向异性特征、信息熵特征、局部点云密度特征、归一化特征值的和、色彩信息、强度信息。

8.一种点云语义分割装置，其特征在于，包括：

提取模块，用于提取待处理点云的局部几何特征；其中，所述局部几何特征包括所述待处理点云中每个点的三维坐标；

输入模块，用于将所述待处理点云的局部几何特征输入训练好的语义分割模型，其中，所述语义分割模型包括下采样层和上采样层，所述下采样层用于聚合所述待处理点云的三维坐标特征和所述局部几何特征，得到局部聚合特征，以及根据所述局部几何特征确定全局上下文特征，并对所述局部聚合特征和所述全局上下文特征进行叠加；所述上采样层用于对所述下采样层输出的特征中具有相似语义信息的通道进行增强处理；所述三维坐标特征包括邻域与中心点的距离、邻域与中心点的坐标之差、中心点的坐标以及邻域的坐标；

输出模块，用于输出所述待处理点云的语义分割结果。

9.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的点云语义分割方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的点云语义分割方法。

Images