CN113837215B - 一种基于条件随机场的点云语义与实例分割方法 - Google Patents

Abstract

本发明涉及一种基于条件随机场的点云语义与实例分割方法，使用设计的多任务分支网络提取点云的语义特征与实例特征，通过场景重构和预定义条件随机场目标函数将语义分割任务和实例分割任务耦合到一起，通过联合训练优化的方式，从而使两者相互促进实现了对点云的准确语义与实例分割。本方法通过提出的条件随机场模型将类标签和对象实例的联合优化制定到一个统一的框架中，通过训练使两项任务相互促进以改进性能，获得了具有竞争性的结果。

Description

一种基于条件随机场的点云语义与实例分割方法

技术领域

本发明属于深度神经网络在计算机视觉方面的应用领域，特别涉及一种基于条件随机场的点云语义与实例分割方法。

背景技术

基于激光雷达、深度相机和双目相机的三维场景理解技术在自主驾驶和机器人场景感知等领域起着非常重要的作用，其中，语义与实例分割是应用最为广泛和重要的实际任务。现阶段大多数模型将两项任务独立进行，然而两者是相关联的，在实例上提取的形状和外观特征将有助于识别该实例的对象类别。另一方面，如果将两个3D点分配给不同的对象类别，则它们不太可能属于同一对象实例。

王德明，周光亮等(《基于实例分割网络与迭代优化方法的3D视觉分拣系统》)提出了一种基于Mask-RCNN的点云实例分割网络，其同时以彩色图像和包含3维信息的HHA特征作为输入，结合图像目标分割结果和点云深度信息完成点云实例分割。但该方法忽略了点云实例分割和语义分割的关联性，关联性信息的缺失使得该模型的精度不高。

发明内容

本发明解决的技术问题是：解决目前语义分割和实例分割结果不耦合，甚至出现明显偏差的问题，同时，使得语义与实例分割相互促进，提高两者准确率。本发明涉及一种基于条件随机场的点云语义与实例分割方法。

本发明的技术方案是：一种基于条件随机场的点云语义与实例分割方法，包括以下特征：

步骤1：进行点云数据预处理：

步骤2：建立神经网络并进行训练，设N为点的个数，设计一个多层感知机(MLP)组成的特征提取网络，网络的输入为N×9，输出为N×D₁维特征矩阵；其中该神经网络损失函数L_sem是预测的语义分割结果和真值之间的交叉熵损失，利用得到的点云语义分割结果和真值计算L_sem并更新神经网络参数；重复上述步骤直至模型误差收敛；

步骤3：条件随机场训练：

对于一个输入的点云样本，利用神经网络提取点云特征，然后对点云场景进行重建，将点云表示为通过无向边连结的图，令V＝{v₁，…，v_N}是重建后获得的图的节点的集合，v_j代表点云中的一个点，v_j的特征由归一化后的点云位置特征d′_j＝[x′_j，y′_j，z′_j]以及通过多任务分支网络获得的特征组成；令集合/>是V的语义标签的集合，其中表示v_j的语义类；令集合/>为V的实例标签的集合，其中/>表示vj的实例标签，标签/>和/>是未知量；S是真实语义类集合，I是实例对象的集合，其分别包含了/>和/>可能的取值；集合S是确定的，为数据集中所有类别的集合，而集合/未知；

集合V＝{v₁，…，v_N}中，任意两个节点v_j，v_k通过无向边连接，每个节点v_j与其语义标签和实例标签/>相关联，定义/>是将v_j分类为语义类别s的概率，/>是将v_j分类为实例对象i的概率，通过最小化以下能量函数来形成点云V的联合语义实例分割：

能量函数E(L^S，L^I|V)中包含了语义标签和实例标签之间的关联性约束，其各个函数定义如下：

一元函数在语义标签/>上定义的

二元函数通过v_j和v_k的语义分类/>进行建模

一元函数定义如下

二元函数定义如下

通过目标函数E(L^S，L^I|V)的最小化来求解概率分布，采用平均场变分法求解，可导出语义和实例分布Q^S和Q^I

得到的语义分布和实例分布/>更新能量函数E；

重复上述步骤直至能量函数E收敛；

步骤4：利用训练好的神经网络提取点云特征e_j，然后利用训练好的语义分布和实例分布/>得到点云的语义和实例分割结果：

本发明进一步的技术方案是：所述步骤3中，平均场变分推理用一个变分分布Q(L^S，L^I)来近似概率分布p(L^S，L^I|V)，L^S和L^I在联合分布Q(L^S，L^I)中相互独立，且其可以进行全因式分解，即因此Q(L^S，L^I)可以分解为：

可导出语义和实例分布Q^S和Q^I

本发明进一步的技术方案是：所述步骤1中，预处理包括分块、随机降采样、平移和归一化操作。

本发明进一步的技术方案是：所述具体化操作为：首先将点云数据分成B个立方块，在每个立方块中随机采样n个点，当块中点数大于n时，随机采样n个点；点数小于n时，保留原点云的同时通过对块中点云进行随机重复采样直到点数达到n；

点云数据是包括XYZ坐标值和RGB颜色值的6维向量，以XYZ的最小坐标值的点为坐标原点，相应地计算其他点的坐标值，完成数据平移。

定义阈值对颜色值进行归一化，得到归一化后的颜色值R’G’B’，以XYZ的平移后的最大坐标值与原点的距离为阈值对XYZ进行归一化处理，增加新的三维坐标值xyz，最后将得到的9维点云数据B×4096×9作为神经网络的输入，通过blockmerging的方法将B个块合并，得到最终输入为N×9。

发明效果

本发明的技术效果在于：基于实际中对象类别和对象实例是相互依赖的基础，本发明提出了一种基于条件随机场的点云语义与实例分割方法，使用设计的多任务分支网络提取点云的语义特征与实例特征，通过场景重构和预定义条件随机场目标函数将语义分割任务和实例分割任务耦合到一起，通过联合训练优化的方式，从而使两者相互促进实现了对点云的准确语义与实例分割。本方法通过提出的条件随机场模型将类标签和对象实例的联合优化制定到一个统一的框架中，通过训练使两项任务相互促进以改进性能，获得了具有竞争性的结果。

附图说明

图1是条件随机场神经网络结构图

图2是测试结果图

具体实施方式

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

参见图1-图2，本发明的技术方案是：设N为点的个数，设计一个多层感知机(MLP)组成的特征提取网络，网络的输入为N×9，输出为N×D₁维特征矩阵。

对场景进行重建，将点云表示为通过无向边连结的图，令V＝{v₁，…，v_N}是重建后获得的图的节点的集合，v_j代表点云中的一个点，v_j的特征由归一化后的点云位置特征d′_j＝[x′_j，y′_j，z′_j]以及通过多任务分支网络获得的特征令集合/>是V的语义标签的集合，其中/>表示v_j的语义类。令集合/>为V的实例标签的集合，其中表示v_j的实例标签，标签/>和/>是未知量。S是真实语义类集合，I是实例对象的集合，其分别包含了/>和/>可能的取值。集合S是确定的，为数据集中所有类别的集合，而集合I未知。

集合V＝{v₁，…，v_N}中，任意两个节点v_j，v_k通过无向边连接，每个节点v_j与其语义标签和实例标签/>相关联，将以上述方式定义的图称为多值条件随机字段。因为每个节点v_j都与值为/>的标签相关联，定义/>是将v_j分类为语义类别s的概率，是将v_j分类为实例对象i的概率，通过最小化以下能量函数来形成点云V的联合语义实例分割。

能量函数E(L^S，L^I|V)中包含了语义标签和实例标签之间的关联性约束。具体而言，一元函数在语义标签/>上定义的

其中s是v_j的真值语义标签，其在训练过程中根据多任务分支网络得到的语义特征e_j∈R¹³取softmax值进行初始化。

二元函数通过v_j和v_k的语义分类/>进行建模。

式中，θ是根据经验得到的归一化参数，w_j，k则根据Pott相容性得到

其约束同一实例包含的节点具有相同的语义分类。

假设实例标签集I＝{i_l，…，i_K}包含K个实例。将V中的所有节点的实例标签分配到这K个实例中。对于每个实例标签i∈I，定义一元函数/>

其中u_i和∑_iξ分别表示分配给i的实例标签的均值和协方差矩阵。一元函数使同一实例的特征尽可能接近其平均特征。

二元函数定义如下：

鼓励同一实例的归一化位置和实例特征接近，而不同实例归一化位置和实例特征分离。

通过目标函数E(L^S，L^I|V)的最小化来求解概率分布，采用平均场变分法求解这一优化问题。平均场变分推理用一个变分分布Q(L^S，L^I)来近似概率分布p(L^S，L^I|V)，L^S和L^I在联合分布Q(L^S，L^I)中相互独立，且其可以进行全因式分解，即因此Q(L^S，L^I)可以分解为：

可导出语义和实例分布Q^S和Q^I

根据求解出的语义分布Q^S和实例分布Q^I更新目标函数E直至收敛，利用得到的语义分布和实例分布/>可以得到点云的语义和实例分割结果：

神经网络结构如图1所示，以对S3DIS数据集进行点云实例分割为说明本发明的具体实施方式，但本发明的技术内容不限于所述的范围，具体实施方式包括以下步骤：

步骤1、进行点云数据预处理，包括分块、随机降采样、平移和归一化操作：

对S3DIS中所有数据进行预处理，首先将点云数据分成B个立方块，在每个立方块中随机采样4096个点，当块中点数大于4096时，随机采样4096个点；点数小于4096时，保留原点云的同时通过对块中点云进行随机重复采样直到点数达到4096。

点云数据包括XYZ坐标值和RGB颜色值的6维向量，以XYZ的最小坐标值的点为坐标原点，相应地计算其他点的坐标值，完成数据平移。

以255为阈值对数据颜色值进行归一化，得到归一化后的颜色值R’G’B’(范围0-1)，以XYZ的平移后的最大坐标值与原点的距离为阈值对XYZ进行归一化处理，增加新的三维坐标值xyz(范围0-1)，最后将得到的9维点云数据B×4096×9作为神经网络的输入，通过blockmerging的方法将B个块合并，得到最终输入为N×9。

步骤2、神经网络训练。

神经网络的输入为N×9，经过第一个MLP后得到N×64的输出，经过第二个MLP和最大池化层后得到1024维全局特征，将N×64与全局特征拼接后得到N×1088维矩阵，经过一个MLP后输出为N×13维特征矩阵，经过softmax层后得到点云语义分割结果。

利用得到的点云语义分割结果和真值计算L_sem并更新神经网络参数。

重复上述步骤直至模型误差收敛。

步骤3、条件随机场训练。

对于输入的N×13点云特征矩阵，对点云场景进行重建，将点云表示为通过无向边连结的图，令V＝{v₁，…，v_N}是重建后获得的图的节点的集合，v_j代表点云中的一个点，v_j的特征由归一化后的点云位置特征d′_j＝[x′_j，y′_j，z′_j]以及通过多任务分支网络获得的特征令集合/>是V的语义标签的集合，其中/>表示v_j的语义类。令集合为V的实例标签的集合，其中/>表示v_j的实例标签，标签/>和/>是未知量。S是真实语义类集合，I是实例对象的集合，其分别包含了/>和/>可能的取值。集合S为数据集中所有类别的集合，共13类，而集合I未知。

集合V＝{v₁，…，v_N}中，任意两个节点v_j，v_k通过无向边连接，每个节点v_j与其语义标签和实例标签/>相关联。因为每个节点v_j都与值为/>的标签相关联，定义是将v_j分类为语义类别s的概率，/>是将v_j分类为实例对象i的概率，利用数据形成的图初始化定义好的能量函数E来形成点云V的联合语义实例分割：

能量函数E(L^S，L^I|V)中包含了语义标签和实例标签之间的关联性约束，其各个函数如下：

一元函数在语义标签/>上定义的

二元函数通过v_j和v_k的语义分类/>进行建模

一元函数定义如下

二元函数定义如下

最小化目标函数E(L^S，L^I|V)的来求解概率分布，采用平均场变分法求解。平均场变分推理用一个变分分布Q(L^S，L^I)来近似概率分布p(L^S，L^I|V)，L^S和L^I在联合分布Q(L^S，L^I)中相互独立，且其可以进行全因式分解，即因此Q(L^S，L^I)可以分解为：

可导出语义和实例分布Q^S和Q^I

利用得到的语义分布和实例分布/>更新能量函数E。

重复上述步骤直至能量函数E收敛，可得到点云的语义与实例分割结果：

步骤4、利用上述步骤训练的神经网络对测试样本提取点云特征e_j，将测试样本特征输入到训练得到的语义分布和实例分布/>得到点云的语义和实例分割结果，测试结果如图2所示。

Claims (3)

1.一种基于条件随机场的点云语义与实例分割方法，其特征在于，包括以下特征：

步骤1：进行点云数据预处理：

步骤2：建立神经网络并进行训练，设N为点的个数，设计一个多层感知机(MLP)组成的特征提取网络，网络的输入为N×9，输出为N×D₁维特征矩阵；其中该神经网络损失函数L_sem是预测的语义分割结果和真值之间的交叉熵损失，利用得到的点云语义分割结果和真值计算L_sem并更新神经网络参数；重复上述步骤直至模型误差收敛；

步骤3：条件随机场训练：

对于一个输入的点云样本，利用神经网络提取点云特征，然后对点云场景进行重建，将点云表示为通过无向边连结的图，令V＝{v₁,…,v_N}是重建后获得的图的节点的集合，v_j代表点云中的一个点，v_j的特征由归一化后的点云位置特征d′_j＝[x′_j,y′_j,z′_j]以及通过多任务分支网络获得的特征组成；令集合/>是V的语义标签的集合，其中/>表示v_j的语义类；令集合/>为V的实例标签的集合，其中/>表示v_j的实例标签，标签/>和/>是未知量；S是真实语义类集合，I是实例对象的集合，其分别包含了/>和/>可能的取值；集合S是确定的，为数据集中所有类别的集合，而集合I未知；

集合V＝{v₁,…,v_N}中，任意两个节点v_j,v_k通过无向边连接，每个节点v_j与其语义标签和实例标签/>相关联，定义/>是将v_j分类为语义类别s的概率，/>是将v_j分类为实例对象i的概率，通过最小化以下能量函数来形成点云V的联合语义实例分割：

能量函数E(L^S,L^I|V)中包含了语义标签和实例标签之间的关联性约束，其各个函数定义如下：

一元函数在语义标签/>上定义的

二元函数通过v_j和v_k的语义分类/>进行建模

一元函数定义如下

二元函数定义如下

通过目标函数E(L^S,L^I|V)的最小化来求解概率分布，采用平均场变分法求解，可导出语义和实例分布Q^S和Q^I

得到的语义分布和实例分布p_L′更新能量函数E；

重复上述步骤直至能量函数E收敛；

步骤4：利用训练好的神经网络提取点云特征e_j，然后利用训练好的语义分布和实例分布p_L′得到点云的语义和实例分割结果：

所述步骤3中，平均场变分推理用一个变分分布Q(L^S,L^I)来近似概率分布p(L^S,L^I|V)，L^S和L^I

在联合分布Q(L^S,L^I)中相互独立，且其可以进行全因式分解，即因此Q(L^S,L^I)可以分解为：

可导出语义和实例分布Q^S和Q^I

式中，i表示实例标签集I中第i个实例标签；

K表示实例标签集I中包含的K个实例。

2.如权利要求1所述的一种基于条件随机场的点云语义与实例分割方法，其特征在于，所述步骤1中，预处理包括分块、随机降采样、平移和归一化操作。

3.如权利要求2所述的一种基于条件随机场的点云语义与实例分割方法，其特征在于，具体化操作为：首先将点云数据分成B个立方块，在每个立方块中随机采样n个点，当块中点数大于n时，随机采样n个点；点数小于n时，保留原点云的同时通过对块中点云进行随机重复采样直到点数达到n；

点云数据是包括XYZ坐标值和RGB颜色值的6维向量，以XYZ的最小坐标值的点为坐标原点，相应地计算其他点的坐标值，完成数据平移；

定义阈值对颜色值进行归一化，得到归一化后的颜色值R’G’B’，以XYZ的平移后的最大坐标值与原点的距离为阈值对XYZ进行归一化处理，增加新的三维坐标值xyz,最后将得到的9维点云数据B×4096×9作为神经网络的输入，通过blockmerging的方法将B个块合并，得到最终输入为N×9。