CN112396137A - 一种融合上下文语义的点云语义分割方法 - Google Patents

Abstract

本发明公开了一种融合上下文语义的的点云语义分割方法。属于人工智能技术领域；具体操作步骤：利使用高层编码特征反馈机制增强低层编码特征，从而使高层语义特征在级联过程中获取高区分度，改善基础的点云语义分割结果；利用高层语义特征的局部上下文信息以自适应地调整每个点的语义特征，从而进一步的优化分割结果的细节信息。本发明设计合理，得到的点云语义分割模型具有分割精度高、噪声小的优点。

Description

一种融合上下文语义的点云语义分割方法

技术领域

本发明涉及人工智能技术领域，具体涉及一种融合上下文语义的点云语义分割方法。

背景技术

语义分割作为计算机视觉的一个重要分支，在工业界具有广阔的应用前景并得到迅速发展。随着深度传感器的出现，对于三维场景下的语义感知也得到了广泛关注。点云作为三维场景中最简单的数据形式，三维场景下点云语义分割在近年来得到了迅速发展。现有的点云语义分割方法大都遵循对称的编码-解码结构，其中编码器通过对点进行降采样以及局部特征学习以不断扩大点的局部特征感受野；解码器通过近邻点插值的方法逐步恢复点云的分辨率，这一操作使得解码器的插值特征不具备区分性，因此会通过将编码器与解码器相对称的层特征进行简单级联以增加高层语义特征的区分度。这种方法忽略了编码特征与解码特征之间的语义差异，最低层的编码特征直接来源于点云的坐标信息，具有高度的空间相似性；而最高层的解码特征经过大量的非线性变换，具有丰富的语义相似性，这两者是互补的，因此直接融合这两者特征会使得高层语义特征具有一定的空间特性，这对语义分割性能产生一定的影响。此外，现有的点云语义分割方法在预测每个点的语义类别时都采用多层感知机对每个点独立地处理，这一操作会使得每个点忽略其周围的局部信息，使得最终的分割结果存在局部不一致性。

发明内容

针对上述问题，本发明提供了一种融合上下文语义的点云语义分割方法，该方法能够为高层语义特征提供高度可区分的语义相似性，使得点云语义分割算法的分割精度获得一定的提升，具有更好的局部一致性，从而更好的应用到自动驾驶、机器人等领域中。

本发明的技术方案是：一种融合上下文语义的的点云语义分割方法，具体操作步骤如下：

步骤(1.1)、使用高层编码特征反馈机制增强低层编码特征，从而使高层语义特征在级联过程中获取高区分度，改善基础的点云语义分割结果；

步骤(1.2)、利用高层语义特征的局部上下文信息以自适应地调整每个点的语义特征，从而进一步的优化分割结果的细节信息。

进一步的，在步骤(1.1)中，所述的高层编码特征反馈机制具体是：将高层编码特征以注意力图的形式与低层编码特征进行融合，指导低层编码特征的学习，增强其语义信息，使其为高层解码特征提供语义指导。

进一步的，在步骤(1.1)中，为使高层编码特征进行信息的反馈，确保该高层编码特征与低层编码特征具有相同的分辨率，其具体操作步骤如下：

首先，通过一层非线性变换对X₂进行特征映射，使其与X₁具有相同的特征维度；如下式所示：

其中，X₂表示高层编码特征值，MLP(·)表示特征映射，X₂表示对X₂进行特征映射后得到的值；

其次，通过上采样操作获取高层编码特征的反馈值，如下式所示：

其中，

表示该反馈机制得到的反馈值，Upsampling(·)表示上采样操作；

再次，将获取的反馈值以注意力图的形式与低层编码特征进行融合，该融合过程如下式所示：

其中，X_1e表示融合后特征值，g(·)表示注意力图的操作方式，W表示该操作中的可学习参数，

表示矩阵对应元素相乘，MLP(·)表示特征映射；

最后，将该融合后的特征级联到高层语义特征中生成含更高区分度的语义特征，该操作如下所示：

Y_1e＝Y₁+X_1e (4)

其中，Y₁表示高层语义特征值，Y_1e表示级联后具有高区分度的语义特征值。

进一步的，在步骤(1.2)中，所述的高层语义特征上下文信息具体是：设计一个局部图模型结构，使每个点根据其自身的局部上下文信息以自适应的调整其语义特征，使得最终的语义分割结果具有局部一致性。

进一步的，所述的高层语义特征上下文信息是通过构建一个局部图模型结构实现，具体的的操作步骤如下：

首先，通过K近邻算法寻找每个点在欧式空间中K个近邻点的特征{f_i ¹，f_i ²，...，f_i ^K}，通过每个点与其K个近邻点之间通过边进行相互连接，接下来利用K个近邻点的特征计算边的特征，具体如下式所示：

其中，

表示第i个点与其第j个近邻点的边的特征，ReLU(·)表示ReLU激活函数，W表示该操作中的可学习参数；f_i ^j表示第i个点的第j个近邻点的特征值；

接着，通过最大值操作聚合边的特征以更新该节点的特征，如下式所示：

式中，

表示第i个点根据上下文信息更新后得到的新的特征值；

最后，通过利用一个残差连接的方式将点原始语义特征与更新后的语义特征相加，如下式所示：

本发明的有益效果是：(1)、引入反馈机制，利用高层编码特征弥补低层语义信息的不足，使得高层语义特征高度可区分；(2)、捕获语义特征的上下文信息，使其自适应地调整语义特征，从而优化分割的细节信息，使分割结果更加平滑。

附图说明

图1是本发明的结构流程图；

图2是本发明中点云语义分割示意图；

图3是本发明的实施例示意图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：

如图1所述；一种融合上下文语义的的点云语义分割方法，具体操作步骤如下：

步骤(1.1)、使用高层编码特征反馈机制增强低层编码特征，从而使高层语义特征在级联过程中获取高区分度，改善基础的点云语义分割结果；所述的高层编码特征反馈机制具体是：以注意力图的形式与低层编码特征进行融合，从而丰富低层特征的语义信息，并为高层解码特征提供语义指导；

具体是：利用高层编码特征为低层编码特征提供丰富的语义信息，从而减少编码器与解码器之间的语义差异，使得高层语义特征高度可区分，从而提升分割结果；

步骤(1.2)、利用高层语义特征的局部上下文信息以自适应地调整每个点的语义特征，从而进一步的优化分割结果的细节信息；

设计一个局部图模型结构，在高层语义特征引入上下文信息，使每个点充分考虑局部的上下文信息，使其根据局部语义信息来自适应的调整其语义特征，使得最终的语义分割结果具有局部一致性。

具体的，如图2所示，

本发明在现有的语义分割网络的基础上提出了高层编码特征反馈机制和高层语义特征的上下文机制；其具体实施方式如下所述：

1、高层编码特征的反馈机制：

该机制是利用高层编码特征具有低分辨率、高语义信息的特点，向低层的编码特征进行反馈并有效融合，以丰富低层的语义信息；

假设

和

分别表示编码器的底层和高层特征，其中N₁和N₂表示两层的点数(N₁＞N₂)，C₁和C₂表示两层的特征维度，为了能够使高层特征能够更好地反馈信息；

首先需要确保该高层特征具有与低层特征相同的分辨率，因此首先通过一层非线性变换对X₂进行特征映射，使其与X₁具有相同的特征维度，该过程可通过一层多层感知器即可实现：即

其中，X₂表示高层编码特征值，MLP(·)表示特征映射，X₂表示对X₂进行特征映射后得到的值；

其次，通过上采样操作获取高层编码特征的反馈值，通过上采样操作使得

具有与X₁相同的分辨率，如下式所示：

其中，

表示该反馈机制得到的反馈值，Upsampling(·)表示上采样操作；

该操作可以通过近邻点插值实现，通过这一操作，高层编码特征具有与低层编码特征相同的分辨率以及特征维度；

再次，将获取的反馈值以注意力图的形式与低层编码特征进行融合，以丰富低层的语义信息，该融合过程如下式所示：

其中，X_1e表示融合后特征值，g(·)表示注意力图的操作方式，W表示该操作中的可学习参数，

表示矩阵对应元素相乘，MLP(·)表示特征映射；

基于此操作，高层编码特征与低层编码特征实现了有效融合，从而丰富底层的语义信息；但是该操作中使用残差连接的形式，为X_1a带来一定的低层空间信息，

因此；最后，将该融合后的特征级联到高层语义特征中生成含更高区分度的语义特征，该操作如下所示：

Y_1e＝Y₁+X_1e (4)

其中，Y₁表示高层语义特征值，Y_1e表示级联后具有高区分度的语义特征值。

通过上述操作，本发明实现了高层编码特征向低层特征的反馈机制，从而丰富低层编码特征的语义信息，将该特征X_1e与相对应层的解码特征进行融合，以更准确的指导高层特征的语义感知。

2、高层语义特征上下文信息：

本发明提出在最终的分类器中引入高层语义特征的上下文信息，以进一步优化其局部细节信息；该机制可通过构建局部图模型结构实现，具体而言，假设每个点为图模型的一个节点，其特征为

，其中f_i表示第i个节点的特征，C为特征维度，

首先，通过K近邻算法寻找每个点在欧式空间中K个近邻点的特征{f_i ¹，f_i ²，...，f_i ^K}，通过每个点与其K个近邻点之间通过边进行相互连接，接下来利用K个近邻点的特征计算边的特征，具体如下式所示：

其中，

表示第i个点与其第j个近邻点的边的特征，ReLU(·)表示ReLU激活函数，W表示该操作中的可学习参数；f_i ^j表示第i个点的第j个近邻点的特征值；

接着，通过最大值操作聚合边的特征以更新该节点的特征，如下式所示：

其中，

表示第i个点根据上下文信息更新后得到的新的特征值；

为了防止该操作会造成分割结果过平滑的情况；

最后，通过利用一个残差连接的方式将点原始语义特征与更新后的语义特征相加，如下式所示：

通过此操作以保留每个点的特有性质，使得点综合考虑其周围的局部信息以及其自身的信息，使得分割结果既具有局部一致性，又确保不同类别之间具有高度区分性。

具体实施例：本发明在室内点云数据中进行了案例验证，该数据是通过Matterport设备采集获取，从而在室内产生了密集的点云数据，分割结果如图3所示，通过与现有的方法相比，本发明得到的分割结果在细节方面得到了很好的优化。

最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则；其他的变形也可能属于本发明的范围；因此，作为示例而非限制，本发明实施例的替代配置可视为与本发明的教导一致；相应地，本发明的实施例不限于本发明明确介绍和描述的实施例。

Claims (5)

1.一种融合上下文语义的的点云语义分割方法，其特征在于，具体操作步骤如下：

步骤(1.1)、使用高层编码特征反馈机制增强低层编码特征，从而使高层语义特征在级联过程中获取高区分度，改善基础的点云语义分割结果；

步骤(1.2)、利用高层语义特征的局部上下文信息以自适应地调整每个点的语义特征，从而进一步的优化分割结果的细节信息。

2.根据权利要求1所述的一种融合上下文语义的的点云语义分割方法，其特征在于，在步骤(1.1)中，所述的高层编码特征反馈机制具体是：将高层编码特征以注意力图的形式与低层编码特征进行融合，指导低层编码特征的学习，增强其语义信息，使其为高层解码特征提供语义指导。

3.根据权利要求1所述的一种融合上下文语义的的点云语义分割方法，其特征在于，在步骤(1.1)中，为使高层编码特征进行信息的反馈，确保该高层编码特征与低层编码特征具有相同的分辨率，其具体操作步骤如下：

首先，通过一层非线性变换对X₂进行特征映射，使其与X₁具有相同的特征维度；如下式所示：

其中，X₂表示高层编码特征值，MLP(·)表示特征映射，X₁表示对X₂进行特征映射后得到的值；

其次，通过上采样操作获取高层编码特征的反馈值，如下式所示：

其中，

表示该反馈机制得到的反馈值，Upsampling(·)表示上采样操作；

再次，将获取的反馈值以注意力图的形式与低层编码特征进行融合，该融合过程如下式所示：

其中，X_1e表示融合后特征值，g(·)表示注意力图的操作方式，W表示该操作中的可学习参数，

表示矩阵对应元素相乘，MLP(·)表示特征映射；

最后，将该融合后的特征级联到高层语义特征中生成含更高区分度的语义特征，该操作如下所示：

Y_1e＝Y₁+X_1e (4)

其中，Y₁表示高层语义特征值，Y_1e表示级联后具有高区分度的语义特征值。

4.根据权利要求1所述的一种融合上下文语义的的点云语义分割方法，其特征在于，在步骤(1.2)中，所述的高层语义特征上下文信息具体是：设计一个局部图模型结构，使每个点根据其自身的局部上下文信息以自适应的调整其语义特征，使得最终的语义分割结果具有局部一致性。

5.根据权利要求1、4所述的一种融合上下文语义的的点云语义分割方法，其特征在于，所述的高层语义特征上下文信息是通过构建一个局部图模型结构实现，具体的的操作步骤如下：

首先，通过K近邻算法寻找每个点在欧式空间中K个近邻点的特征{f_i ¹,f_i ²,...,f_i ^K}，通过每个点与其K个近邻点之间通过边进行相互连接，接下来利用K个近邻点的特征计算边的特征，具体如下式所示：

其中，

表示第i个点与其第j个近邻点的边的特征，ReLU(·)表示ReLU激活函数，W表示该操作中的可学习参数；f_i ^j表示第i个点的第j个近邻点的特征值；

接着，通过最大值操作聚合边的特征以更新该节点的特征，如下式所示：

其中，

表示第i个点根据上下文信息更新后得到的新的特征值；

最后，通过利用一个残差连接的方式将点原始语义特征与更新后的语义特征相加，如下式所示：

其中，

表示第i个点最终得到的特征值，f_i表示i个点原始的特征值。

Images