CN111898607A - 色差引导卷积的点云语义分割方法 - Google Patents

Abstract

本发明提供了一种色差引导卷积的点云语义分割方法，包括：将有色点云RGB转换为HSV；对当前密度下的点云，求k邻域得中心点与邻域点相对位置y，送入MLP得到特征F_G；由邻域不同通道颜色矩排序与y得到三个方向d₁，d₂，d₃，选出附近点的对应特征；对选出特征在三方向与颜色通道上卷积，得特征F_C；将F_G与F_C级联得到全局特征F；降采样，重复步骤2‑5；将相邻密度下F与F_C插值恢复，得到每点的预测结果；基于交叉熵损失函数，通过梯度下降最小化损失函数，训练神经网络参数；训练好参数后，给定新的待分割点时，执行步骤1‑8，得到分割结果。在实验结果中可以看到，本发明可以明显提高多种类别下的点云语义分割精度，适用于室内外场景。

Description

色差引导卷积的点云语义分割方法

技术领域

本发明涉及小规模点云图像语义分割技术领域，特别涉及室内外点云语义分割中由点云邻域颜色信息引导选点和卷积提取特征的方法。

背景技术

三维数据具有很强的真实场景反映能力，越来越受到研究者的重视。点云是三维数据的主要格式，点云的语义分割是场景理解的必要工作，是机器人发展、自动驾驶、虚拟现实和遥感制图的关键。受二维图像和一维文本的深度学习方法的成功启发，许多研究人员已经将这些技术应用于分析三维点云。但是将点云作为直接输入难以处理，因为它们本质上是非结构化和无序的。

PointNet是使用卷积神经网络直接处理原始点云的里程碑。它将整个点集输入到一个共享的多层感知器(MLP)中进行卷积，通过对称性的池化操作使得PointNet可以处理无序的点，但是在PointNet中没有考虑邻域信息。在PointNet++中，作者将局部上下文和层次特征学习集成到网络中。

KD-network首先在输入点云上构建一个KD-tree，然后应用层次分组对点的局部依赖关系进行建模。RSNet对点云中的局部结构进行建模，设计片汇聚层，将无序点的特征投影到有序的特征向量序列上，然后可以应用循环神经网络来处理。KCNet改进了PointNet模型，为局部邻近点定义了一组可学习的点集内核，并提出了基于最近邻图的池方法。这些方法都取得了良好的效果，表明局部上下文的有序结构对于点云语义分割是非常重要的。

所有这些方法都只关注局部点集或点云部分的几何特征，而不使用任何颜色特征。在人类的感知中，色彩可以瞬间使物体与周围环境区分开来，优于几何特征。一些研究者将点云的颜色信息引入到语义分割中。使用空间局部关系来重新组织点，并将RGB作为额外的特性。它们都忽略了颜色在几何信息重组中的重要作用。通常，色彩的变化往往反映了物体空间特征的变化。充分利用色彩信息可以增强空间特征。如何在局部语境中挖掘颜色与几何的内在联系，是语义分割的重要内容。

发明内容

本发明的目的在于提供一种色差引导卷积的点云语义分割方法，以解决上述现有理论与设计上存在的缺陷或不足；该分割网络是为了提升点云语义分割中不同颜色物体的分割精度，通过由颜色信息进行邻域点的有序化并生成引导方向进行选点，并对选择的点和特征在不同引导方向和颜色通道上实现特征编码，将颜色特征和几何特征相结合，从而保证网络在点云语义分割的任务中对于不同颜色且不同类别的物体有着更高的分割精度。

为了实现上述的目的，本发明采用如下技术方案：

色差引导卷积的点云语义分割方法，包括以下步骤：

步骤一：将有色点云的RGB通道转化为HSV颜色通道；

步骤二：对当前密度下的点云，求k邻域得中心点x_i以及邻域点x_k与中心点x_i相对位置y，送入三层MLP得到高维嵌入特征F_G＝MLP(x_i,y)；

步骤三：由邻域内不同通道颜色矩排序得到最大值与最小值对应点的相对位置作为d₁，y中与d₁最大的夹角的方向作为d₂，y中与d₁垂直方向为临时方向，y中与临时方向垂直且与中心点曼哈顿距离最大的方向作为d₃；同时获得颜色描述向量v^c如下，计算y与步骤三得到的方向向量的余弦距离，每个方向上选择余弦距离最小的s个点及对应特征f_s ^c；

其中

为每个颜色通道的标准差，

为三个通道颜色值，θ^c为y与d₁的夹角。

步骤四：对步骤三选出特征与v^c在三方向上做1×3的卷积得到特征F_D，对F_D在HS颜色通道上做1×3卷积，每次卷积兼顾两个色调(饱和度)点和一饱和度(色调)点，对两次1×3卷积结果进行1×1卷积，得特征F_C；

步骤五：将F_G与F_C级联得到全局特征F；

步骤六：降采样，重复步骤二至步骤五；

步骤七：将相邻密度下得到的F与F_C通过近邻点加权插值恢复，公式如下，得到每点的预测结果；

距离加权的权重计算如下

f^j(x)是由最近的三个点的特征f_i ^j插值得到的恢复特征，C′是输出特征的通道数。

步骤八：基于交叉熵损失函数，计算用以获得训练网络的误差，包含两个部分：第一部分是步骤五中预测结果和真实语义标签的类别差异度衡量，用交叉熵损失函数作为衡量标准；第二部分是对卷积的权重w添加4阶正则项损失；通过梯度下降最小化损失函数，训练神经网络参数；

λ是一个比例系数，用来调控模型的复杂度和预测损失的关系。

步骤九：训练好网络参数后，给定新的待分割的点云，执行步骤1-7，得到分割后的结果。

步骤三中将由邻域内不同通道颜色矩排序得到最大值与最小值对应点的相对位置作为d₁，y与d₁最大的夹角的方向作为d₂，y中与d₁垂直方向为临时方向，y中与临时方向垂直且与中心点曼哈顿距离最大的方向作为d₃；同时获得颜色描述向量

计算y与步骤三得到的方向向量的余弦距离，每个方向上选择余弦距离最小的s个点及对应特征f_s ^c；

步骤四中将选出特征与v^c在三方向上做1×3的卷积得到特征

对

在HS颜色通道上做1×3卷积，每次卷积兼顾两个色调(饱和度)点和一饱和度(色调)点，对1×3卷积结果进行1×1卷积，经池化后得特征F_C。

与现有技术相比，本发明的优势如下：之前点云语义分割的模型中，邻域点中不同颜色点之间视为离散的独立点，用多层感知机来处理虽然有较强的拟合能力，但是容易过拟合，本发明通过在邻域中添加颜色引导选点和相应特征处理，结合颜色特征和几何特征，同时在损失函数上添加惩罚项减轻模型的复杂度，提高点云语义分割的精度。

附图说明

图1是整体网络结构图；

图2是色差引导卷积的点云语义分割方法流程图；

图3是三个方向选中点按余弦距离大小排序示意图；

图4是颜色引导模块结构图；

图5是在S3DIS数据集上区域5的分割结果对比图；

图6是在Semantic3D数据集上的分割结果对比图；

图7是在S3DIS数据集上6折交叉验证的分割结果对比图。

具体实施方式

点云图像分割中，邻域信息的处理是特征分析的关键，根据邻域内点的空间分布和颜色分布对本发明做进一步的详细描述。

参见图1、图2，本发明基于色差引导卷积的点云语义分割方法分为以下九个步骤，每个步骤具体如下：

步骤一：将有色点云的RGB通道转化为HSV颜色通道：

V＝max(R,G,B)

if H＜0，H＝H+1

步骤二：对当前密度下的点云，求k邻域得中心点x_i以及邻域点x_k与中心点x_i相对位置y，送入三层MLP得到高维嵌入特征F_G＝MLP(x_i,y)；

y＝x_k-x_i

k邻域：

步骤三：由邻域内不同通道颜色矩排序得到最大值与最小值对应点的相对位置作为d₁，y中与d₁最大的夹角的方向作为d₂，y中与d₁垂直方向为临时方向，y中与临时方向垂直且与中心点曼哈顿距离最大的方向作为d₃；同时获得颜色描述向量

如下，计算y与步骤三得到的方向向量的余弦距离，如图3所示，每个方向上选择夹角最小的s个点及对应特征f_s ^c；

C_ord＝Order([c_i-mean(c)]^t)

从C_ord，由某一颜色通道的前k/4最大值和后最小值的相对位置获得候选方向，选出其中2范数最小的方向作为d₁：

d₂＝(min(y·d₁))

θ^c＝y·d₁

其中

为每个颜色通道的标准差，

为三个通道颜色值，θ^c为y与d₁的夹角。

步骤四：如图4所示，对步骤三选出特征与

在三方向上做1×3的卷积得到特征

为避免光照影响，对

在HS颜色通道上做1×3卷积，每次卷积兼顾两个色调(饱和度)点和一饱和度(色调)点，对两次1×3卷积结果进行1×1卷积，经池化后得特征F_C；

其中c1,c2为不同的颜色通道，s为每个方向上选择的点数；

表示对颜色信息在三个方向上选中点的卷积；

是relu(BatchNorm(·))，g^1×1表示1×1卷积。

步骤五：将F_G与F_C级联得到全局特征F；

F＝[F_G,F_C]

步骤六：降采样，重复步骤二至步骤五；

步骤七：将相邻密度下得到的F与F_C通过近邻点加权插值恢复，公式如下，得到每点的预测结果；

距离加权的权重计算如下

f^j(x)是由最近的三个点的特征f_i ^j插值得到的恢复特征，C′是输出特征的通道数。

步骤八：基于交叉熵损失函数，计算用以获得训练网络的误差，包含两个部分：第一部分是步骤五中预测结果和真实语义标签的类别差异度衡量，用交叉熵损失函数作为衡量标准；第二部分是对卷积的权重w添加4阶正则项损失；通过梯度下降最小化损失函数，训练神经网络参数；

λ是一个比例系数，用来调控模型的复杂度和预测损失的关系。

步骤九：训练好网络参数后，给定新的待分割的点云，执行步骤1-7，得到分割后的结果。

本发明中给出了一种色差引导卷积的点云语义分割方法，并在公开数据集上进行了验证。在图5列出了在S3DIS数据集中区域5的测试结果，本发明中的方法在大多数类别中都取得了进步，如地板(98.6％)，桌子(79.7％)，窗户(56.2％)，并在非纹理颜色变化的对象上表现出极大的优越性。图6显示了在Semantic3D数据集上的分割结果，本方法在人工地形、自然地形、低植被等物体的分割上都有很大的进步。本发明实现了颜色与几何信息的有效结合，可以应用于大型室内外场景点云的语义分割。图7显示了在S3DIS中的6折交叉验证实验，结果表明，本发明中的方法可以在几种方法里达到最佳性能，语义分割平均召回率为68.4％。

Claims (2)

1.色差引导卷积的点云语义分割方法，其特征在于，包括以下步骤：

步骤一：将有色点云的RGB通道转化为HSV颜色通道；

步骤二：对当前密度下的点云，求k邻域得中心点x_i以及邻域点x_k与中心点x_i相对位置y，送入三层MLP得到高维嵌入特征F_G＝MLP(x_i,y)；

步骤三：由邻域内不同通道颜色矩排序得到最大值与最小值对应点的相对位置作为d₁，y中与d₁最大的夹角的方向作为d₂，y中与d₁垂直方向为临时方向，y中与临时方向垂直且与中心点曼哈顿距离最大的方向作为d₃；同时获得颜色描述向量v^c如下，计算y与步骤三得到的方向向量的余弦距离，每个方向上选择余弦距离最小的s个点及对应特征f_s ^c；

其中

为每个颜色通道的标准差，

为三个通道颜色值，θ^c为y与d₁的夹角；

步骤四：对步骤三选出特征与v^c在三方向上做1×3的卷积得到特征

为避免光照影响，对

在HS颜色通道上做1×3卷积，每次卷积兼顾两个色调(饱和度)点和一饱和度(色调)点，对两次1×3卷积结果进行1×1卷积，经池化后得特征F_C；

其中c1,c2为不同的颜色通道，s为每个方向上选择的点数；

步骤五：将F_G与F_C级联得到全局特征F；

步骤六：降采样，重复步骤二至步骤五；

步骤七：将相邻密度下得到的F与F_C通过近邻点加权插值恢复，公式如下，得到每点的预测结果；

距离加权的权重计算如下

f^j(x)是由最近的三个点的特征f_i ^j插值得到的恢复特征，C′是输出特征的通道数；

步骤八：基于交叉熵损失函数，计算用以获得训练网络的误差，包含两个部分：第一部分是步骤五中预测结果和真实语义标签的类别差异度衡量，用交叉熵损失函数作为衡量标准；第二部分是对卷积的权重w添加4阶正则项损失；通过梯度下降最小化损失函数，训练神经网络参数；

λ是一个比例系数，用来调控模型的复杂度和预测损失的关系；

步骤九：训练好网络参数后，给定新的待分割的点云，执行步骤1-7，得到分割后的结果。

2.根据权利要求1所述的色差引导卷积的点云语义分割方法，其特征在于：对步骤三中选出特征与v^c在三方向上做1×3的卷积得到特征

对

在HS颜色通道上做1×3卷积，每次卷积兼顾两个色调(饱和度)点和一饱和度(色调)点，对1×3卷积结果进行1×1卷积，经池化后得特征F_C。

Images