CN113129311A - 一种标签优化点云实例分割方法 - Google Patents

Abstract

本发明属于点云实例分割技术领域，公开了一种标签优化点云实例分割方法，所述标签优化点云实例分割方法包括：首先使用图卷积神经网路对点云进行特征提取；然后对于训练集建立实例标签矩阵，再使用标签传播算法将实例标签矩阵进行标签传播，得到优化的实例标签矩阵；最后联合标签矩阵与优化的实例标签矩阵对点云进行实例分割。本发明融合点云中点的相似性关系，使得标签矩阵的监督有更好的区分性表示，以获得更好的分割结果。本发明的方法考虑大场景点云模型的全局形状信息及局部特征信息，具有综合全局信息的效果；使用标签传播算法优化标签矩阵，通过将原本数据集标签与优化标签共同作用，提高点云分割结果。

Description

一种标签优化点云实例分割方法

技术领域

本发明属于点云实例分割技术领域，尤其涉及一种标签优化点云实例分割方法。

背景技术

目前，点云的实例分割是指通过对模型特征的采集整合，使用相应的算法，在一定的阈值范围之下识别不同物体之间的异同性。实例分割主要包括点云的特征提取与实例分割的损失函数调参两个主要工作。但现有点云的实例分割方法中，主要分为三种方向：第一种是将点云体素化，利用体素在三维空间的规整性进行卷积，但是缺点在于体素化消耗的运算量较大，体素的精度不高；另一种是投影的方法，将点云投影到二维平面上，利用深度等信息卷积，但是丢失的特征过多；最后一种是直接输入点云数据进行卷积，但是对数据量有较大的需求，计算量相对的也比较大，所以这类方法还有待改进，目前大多数的改进方案都是围绕这一方向进行的实验。因此，亟需一种新的标签优化点云实例分割方法。

通过上述分析，现有技术存在的问题及缺陷为：现有点云的实例分割方法中，卷积神经网络对数据量的要求较大，分割准确度较低，性能有待提高。

解决以上问题及缺陷的难度为：数据集的规模是深度学习绕不开的问题，数据量小导致过拟合，模型无法适用其它数据。现有深度学习分割点云的框架十分限制分割准确度的上限，只能通过各种其它优化方式提升性能，提升有限。解决以上问题及缺陷的意义为：很多领域的数据样本为小数据，如果在这些领域里能够成功应用深度学习技术，就会对这些领域的发展有所助力；而提高模型分割的性能意义在于提高人工智能的视觉领域的精度与准确度。

发明内容

针对现有技术存在的问题，本发明提供了一种标签优化点云实例分割方法，尤其涉及一种基于图卷积神经网路的大场景点云实例分割方法及系统。

本发明是这样实现的，一种标签优化点云实例分割方法，所述标签优化点云实例分割方法包括：首先使用图卷积神经网路对点云进行特征提取，图卷积神经网络提取点云特征可以保证点云数据的平移不变性并且能够加强网络在广义范围内的拓扑特征关联性，为了利用这类特性，本发明在图卷积的过程中参考了CNN卷积中的空洞卷积思想，使得图卷积神经网络能够获得不同广度的拓补关系；然后对于训练集建立实例标签矩阵，再使用标签传播算法将实例标签矩阵进行标签传播，得到优化的实例标签矩阵，标签传播的数据来自同一数据均分的两部分，不会对结果产生外因影响，而内部的标签传播可以获得相似的标签，通过这些数据辅助提升模型的学习；最后联合标签矩阵与优化的实例标签矩阵对点云进行实例分割，深度学习的损失函数是监督模型训练性能的标准，而标签矩阵影响损失函数的值，通过优化的标签矩阵与原标签矩阵相结合的方式优化损失函数，从而进一步优化学习结果。

进一步，所述标签优化点云实例分割方法，还包括：

(1)对于点云R＝{x₁，x₂，...，x_n}，有点x_u，利用最近临界点算法计算距离最近的k个点作为其邻接点，计算点云中的所有点的其邻接点；

(2)对于点云R建图，通过步骤(1)所得点云中点与点之间的邻接关系建立点云R的邻接矩阵A；

(3)计算邻接矩阵A的度矩阵D，利用度矩阵和邻接矩阵计算拉普拉斯矩阵L，并对拉普拉斯矩阵L进行归一化处理，得到归一化的拉普拉斯矩阵L^sym；

(4)将归一化的拉普拉斯矩阵L^sym，与点云的特征作为输入，进行图卷积，图卷积网路的一层由一个顶点特征聚合器Max-Pooling函数和顶点特征更新函数MLP与一个ReLU作为激活函数；对归一化的拉普拉斯矩阵L^sym与点云的特征经过两层图卷积网路提取出点云的特征。

进一步，所述标签矩阵优化方法，包括：

(1)对点云R＝{x₁，x₂，...，x_n}有标签矩阵

将点云均匀地分为两部分，记为R₁＝{x₁，x₂，...，x_m}，R₂＝{x_m+1，x_m+2，...，x_n}；

(2)将R₁，R₂两部分点云的标签矩阵进行填充，将R₁对应的标签矩阵填充后半段，R₂对应的标签矩阵填充前半段，填充0向量矩阵至维度与点云R相同，分别记为标签矩阵S和标签矩阵U；

(3)将图卷积网络生成的特征矩阵进行归一化处理得到矩阵L^*，对矩阵L^*进行标签传播，得到矩阵S^*和U^*，对于矩阵S^*取1＜i≤m，对于矩阵U^*取m＜i≤n，并同时计算argmax函数，只留矩阵中的最大值，将得到的矩阵拼接为原标签矩阵纬度相同的矩阵Y^*；

(4)利用标签矩阵Y与标签矩阵Y^*分别计算损失函数，并利用两个损失函数共同监督深度学习。

进一步，步骤(3)中，所述对矩阵L^*进行标签传播，包括：

S^(t+1)＝αL*S^(t)+(1-α)S⁰；

U^(t+1)＝αL^*U^(t)+(1-α)U⁰。

进一步，所述点云特征提取方法，包括：

首先对于点云中的每个点做如下操作，设u为点云中的一点，则：

对点云的其它点到点u的距离进行排序，其余点距示例点u的顺序按由小到大排序的序列为：

u₁，u₂，...，u_k×d；

使用Dilated K-NN确定Dilated系数d后点u相对应的邻居节点为u₁，u_1+d，u_1+2d，...，u_1+(k-1)d，通过调整d的大小来确定点邻域的拓展距离。

默认给定系数d＝1，根据上一步计算出的点云中点与点之间的邻接关系，构建邻接矩阵A，邻接矩阵A的构建方式为：

对于点u，有维度为n的单位向量T，T中值为1的位置是与点u有邻接关系的点的序号数，其它位置值为0。

计算其度矩阵D，度矩阵是将邻接矩阵A的每一行相加的值为对角线上的值，然后计算拉普拉斯矩阵L＝D-A。然后对矩阵L计算正则化拉普拉斯矩阵L^sym＝D^-1/2LD^1/2。

将归一化的拉普拉斯矩阵L^sym，与点云的特征作为输入，进行图卷积，GCN网络从第l层到1+1层的传播按照如下方式：

其中，G_l+1与G_l分别是第l层的输出与输入，

分别是可训练的聚合和更新函数的权重，它们是GCNs的关键部分。

使用max-pooling顶点特征聚集器，在没有可学习参数的情况下，来聚集中心顶点与其所有相邻顶点之间的特征差异。使用的更新函数是一个有batch normalization的多层感知器(MLP)使用ReLU作为激活函数。

根据网络的深度，同步更新点云的拉普拉斯矩阵，并将GCN网络最后G^*作为输出特征矩阵。

进一步，所述点云模型实例分割方法，包括：

对于点云R＝{x₁，x₂，...，x_n}有标签矩阵

将点云均分为两部分，记为R₁＝{x₁，x₂，...，x_m}，R₂＝{x_m+1，x_m+2，...，x_n}，分别对应标签矩阵

和

将两个标签矩阵进行填充，填充部分是互相缺少的部分，填充内容全为0向量，分别表示为：

将从点云中提取的特征矩阵G^*进行归一化处理得到矩阵L^*，通过下面两个标签转移公式进行标签转移：

S^(t+1)＝αLS^(t)+(1-α)S⁰；

U^(t+1)＝αLU^(t)+(1-α)U⁰；

其中，t为第t次转移方程输出的标签矩阵序列号，根据具体实验，t的转移次数在4次以上就已经达到最佳。

最后得到矩阵记为矩阵S^*和矩阵U^*，将矩阵S^*的第m+1行到第n行与矩阵U^*的第1行到第m行进行拼接记为矩阵Y^*，并在拼接之前计算argmax函数。

进一步，所述Argmax函数是对函数求参数的函数，对于Argmax函数的计算方式示例如下：

当有另一个函数y＝f(x)时，若有结果x₀＝argmax(f(x))，则表示当函数f(x)取X＝x₀的时候，得到f(x)取值范围的最大值。

利用标签矩阵Y与标签矩阵Y^*以如下方式分别计算损失函数：

对于点云R，R包含有K个实例，定义K个实例分别有N₁，N₂，...，N_K个点，则e_i为点云第i个点的实例标签，μ_k为第K个实例的标签平均值。关于实例分割的损失函数定义如下：

L_var将属于同一实例的特征拉到它们的平均值，其中δ_v是L_var的边界值。

L_dist将属于同一实例的特征拉到它们的平均值，其中δ_d是L_dist的边界值。

其中，L_reg是一个正则化的术语。

具体的损失函数由上面三个公式组成，其组合如下：

L_ins＝L_var+L_dist+0.01L_reg；

记L_ins是标签矩阵Y监督下的损失函数，

是标签矩阵Y^*监督下的损失函数。

总的损失函数由L_ins与

组合而成，其组合公式如下：

其中，β由具体的训练结果进行调整，默认为0.8。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：首先使用图卷积神经网路对点云进行特征提取；然后对于训练集建立实例标签矩阵，再使用标签传播算法将实例标签矩阵进行标签传播，得到优化的实例标签矩阵；最后联合标签矩阵与优化的实例标签矩阵对点云进行实例分割。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的标签优化点云实例分割方法。

本发明的另一目的在于提供一种应用所述的标签优化点云实例分割方法的标签优化点云实例分割系统，所述标签优化点云实例分割系统包括：

特征提取模块，用于使用图卷积神经网路对点云进行特征提取；

标签矩阵构建模块，用于对于训练集建立实例标签矩阵；

标签传播模块，用于使用标签传播算法将实例标签矩阵进行标签传播，得到优化的实例标签矩阵；

实例分割模块，用于联合标签矩阵与优化的实例标签矩阵对点云进行实例分割。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的标签优化点云实例分割方法，首先使用图卷积神经网路对点云进行特征提取；然后对于训练集建立实例标签矩阵，再使用标签传播算法将实例标签矩阵进行标签传播，得到优化的实例标签矩阵；最后联合标签矩阵与优化的实例标签矩阵对点云进行实例分割。本发明融合了点云中点的相似性关系，使得标签矩阵的监督有更好的区分性表示，以获得更好的分割结果。

本发明的方法考虑了大场景点云模型的全局形状信息及局部特征信息，具有综合全局信息的效果；另外，该方法使用标签传播算法优化标签矩阵，通过将原本数据集标签与优化标签共同作用，提高点云分割结果。

本发明所述大场景三维点云表示的是一个室内或室外一个场景建模出的三维模型，与常见的单个物体三维模型相比，大场景三维点云的点散乱性与点云的规模庞大的特性加大了点云分割的难度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的标签优化点云实例分割方法流程图。

图2是本发明实施例提供的标签优化点云实例分割系统结构框图；

图中：1、特征提取模块；2、标签矩阵构建模块；3、标签传播模块；4、实例分割模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种标签优化点云实例分割方法，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的标签优化点云实例分割方法包括以下步骤：

S101，使用图卷积神经网路对点云进行特征提取；

S102，对于训练集建立实例标签矩阵；

S103，使用标签传播算法将实例标签矩阵进行标签传播，得到优化的实例标签矩阵；

S104，联合标签矩阵与优化的实例标签矩阵对点云进行实例分割。

如图2所示，本发明实施例提供的标签优化点云实例分割系统，包括：

特征提取模块1，用于使用图卷积神经网路对点云进行特征提取；

标签矩阵构建模块2，用于对于训练集建立实例标签矩阵；

标签传播模块3，用于使用标签传播算法将实例标签矩阵进行标签传播，得到优化的实例标签矩阵；

实例分割模块4，用于联合标签矩阵与优化的实例标签矩阵对点云进行实例分割。

除非另有说明，本发明中所述术语根据本领域常规认识理解。

下面结合实施例对本发明的技术方案作进一步的描述。

实施例1

本发明设计大场景三维点云的实例分割技术，具体涉及一种基于优化标签矩阵作为监督点云分割的实例分割方法。本发明实施例提供的基于GCN的点云特征提取方法，包括：

步骤1，对于点云R＝{x₁，x₂，...，x_n}，有点x_u，利用最近临界点算法计算距离最近的k个点作为其邻接点，计算点云中的所有点的其邻接点；

步骤2，对于点云R建图，通过步骤1所得点云中点与点之间的邻接关系建立点云R的邻接矩阵A；

步骤3，计算邻接矩阵A的度矩阵D，利用度矩阵和邻接矩阵计算拉普拉斯矩阵L，并对拉普拉斯矩阵L进行归一化处理，得到归一化的拉普拉斯矩阵L^sym；

步骤4，将归一化的拉普拉斯矩阵L^sym，与点云的特征作为输入，进行图卷积，图卷积网路的一层由一个顶点特征聚合器Max-Pooling函数和顶点特征更新函数MLP与一个ReLU作为激活函数。对归一化的拉普拉斯矩阵L^sym与点云的特征经过两层图卷积网路提取出点云的特征。

进一步，本发明提供了一种标签矩阵优化方法监督点云分割。为此，本发明提供的标签矩阵优化方法包括：

步骤一，对点云R＝{x₁，x₂，...，x_n}有标签矩阵

将点云均匀地分为两部分，记为R₁＝{x₁，x₂，...，x_m}，R₂＝{x_m+1，x_m+2，...，x_n}；

步骤二，将R₁，R₂两部分点云的标签矩阵进行填充，将R₁对应的标签矩阵填充后半段，R₂对应的标签矩阵填充前半段，填充0向量矩阵至维度与点云R相同，分别记为标签矩阵S和标签矩阵U；

步骤三，将图卷积网络生成的特征矩阵进行归一化处理得到矩阵L^*，通过S^(t+1)＝αL*S^(t)+(1-α)S⁰，U^(t+1)＝αL*U^(t)+(1-α)U⁰两个公式对其进行标签传播，得到矩阵S^*和U^*，对于矩阵S^*取1＜i≤m，对于矩阵U^*取m＜i≤n，并同时计算argmax函数，只留矩阵中的最大值，将得到的矩阵拼接为原标签矩阵纬度相同的矩阵Y^*；

步骤四，利用标签矩阵Y与标签矩阵Y^*分别计算损失函数，并利用两个损失函数共同监督深度学习。

本发明的方法考虑了大场景点云模型的全局形状信息及局部特征信息，具有综合全局信息的效果；另外，该方法使用标签传播算法优化标签矩阵，通过将原本数据集标签与优化标签共同作用，提高点云分割结果。

实施例2

本发明所述大场景三维点云为本领域常规理解的概念，数据格式是一种常用的三维模型数据格式，例如以.ply、.pcd和.obj为后缀的三维模型均为点云模型，本发明所述大场景三维点云表示的是一个室内或室外一个场景建模出的三维模型，与常见的单个物体三维模型相比，大场景三维点云的点散乱性与点云的规模庞大的特性加大了点云分割的难度。

这里对S3DIS数据集进行简单说明：S3DIS数据集是用于语义分割的大场景点云数据集，在6个区域的271个房间，使用Matterport相机(结合3个不同间距的结构光传感器)，扫描后生成重建3D纹理网格，RGB-D图像等数据，并通过对网格进行采样来制作点云。对点云中的每个点都加上了1个语义标签(例如椅子，桌子，地板，墙等共计13个对象)。

用于训练的数据会按照房间来划分点集，将房间的点云数据划分为1m×1m×1m的块，然后再对每个块预测其中每个点的语义标签。每个点由一个9-dim向量表示，分别为：X，Y，Z，R，G，B，X`，Y`，Z`——标准化后的每个点相对于所在房间的位置坐标(值为0-1)。在训练时，从每个块中随机采样4096个点，使用K折交叉验证。

k-fold交叉验证：6-fold：训练集5个区域，测试集1个区域，3-fold：训练集4个区域，测试集2个区域，防止过拟合的常用手段。

本发明所述的图，均是图论中的图，一个图可以形式定义为一个二元组：G＝(V，E)，其中：

(1)V是顶点的有穷集合。

(2)E是连接V中两个不同顶点(顶点对)的边的有限集合。如果E中的顶点对是有序的，即E中的每条边都是有方向的，则称G为有向图。如果顶点对是无序对，则称G是无向图。

本发明所述阈值的取值范围为0-1，具体数值与点云模型的形状和差异度(相似度)相关，具体可根据实验确定。

实施例3

本发明实施例提供的点云特征提取方法如下：

首先对于点云中的每个点做如下操作，这里以点云中的一点u为例：

对点云的其它点到点u的距离进行排序，其余点距示例点u的顺序按由小到大排序的序列为：

u₁，u₂，...，u_k×d；

使用Dilated K-NN确定Dilated系数d后点u相对应的邻居节点为u₁，u_1+d，u_1+2d，...，u_1+(k-1)d，通过调整d的大小来确定点邻域的拓展距离。

默认给定系数d＝1，根据上一步计算出的点云中点与点之间的邻接关系，构建邻接矩阵A，邻接矩阵A的构建方式为：

对于点u，有维度为n的单位向量T，T中值为1的位置是与点u有邻接关系的点的序号数，其它位置值为0。

计算其度矩阵D，度矩阵是将邻接矩阵A的每一行相加的值为对角线上的值，然后计算拉普拉斯矩阵L＝D-A。然后对矩阵L计算正则化拉普拉斯矩阵L^sym＝D^-1/2LD^1/2。

将归一化的拉普拉斯矩阵L^sym，与点云的特征作为输入，进行图卷积，GCN网络从第l层到1+1层的传播按照如下方式：

其中，G_l+1与G_l分别是第l层的输出与输入，

分别是可训练的聚合和更新函数的权重，它们是GCNs的关键部分。

本专利使用一个简单的max-pooling顶点特征聚集器，在没有可学习参数的情况下，来聚集中心顶点与其所有相邻顶点之间的特征差异。使用的更新函数是一个有batchnormalization的多层感知器(MLP)使用ReLU作为激活函数。

根据网络的深度，同步更新点云的拉普拉斯矩阵，以便获得不同的特征接收域，得到更好的特征聚合效果。

GCN网络最后G^*作为输出特征矩阵。

为证明以上改进的图卷积神经网路的有效性，本发明进行了以下实验，在数据集S3DIS上，分别使用PointNet和PointNet++与改进的图卷积神经网路进行了实验比对，分割方法与PointNet和PointNet++一致，不同点只在于特征提取方面。

这里本发明使用的评判标准是mean Intersection over Union，简写为meanIOU，其中IOU是一个简单的测量标准，只要是在输出中得出一个预测范围的任务都可以用IOU来进行测量。为了可以使IOU用于测量任意大小形状的物体检测，本发明需要以下两个指标：

1、人为在训练集图像中标出要检测物体的大概范围；

2、本发明的算法得出的结果范围。

这个标准用于测量真实和预测之间的相关度，相关度越高，该值越高。其中mean是将不同目标的IOU评分进行平均化，最后的实验结果见表1。

表1实验结果

方法\标准	meanIOU	floor	door	wall	table	board	sofa	chair
									PointNet	47.1	88.1	51.6	69.6	54.1	29.4	9.6	42.0
PointNet++	53.2	93.3	59.2	73.3	60.4	36.7	24.8	66.7
									Ours	57.6	92.7	68.2	78.1	64.9	51.1	34.6	61.0

实验数据的分类数比较多，这里只取部分分类结果进行比较，表格后面的几列代表的是对应的实物的IOU评分，meanIOU的值是表格中列出的分类实物的IOU平均值。

该实施例的点云模型实例分割方法如下：

对于点云R＝{x₁，x₂，...，x_n}有标签矩阵

将点云均分为两部分，记为R₁＝{x₁，x₂，...，x_m}，R₂＝{x_m+1，x_m+2，...，x_n}，分别对应标签矩阵

和

将两个标签矩阵进行填充，填充部分是互相缺少的部分，填充内容全为0向量，分别表示为：

将从点云中提取的特征矩阵G^*进行归一化处理得到矩阵L^*，通过下面两个标签转移公式进行标签转移：

S^(t+1)＝αLS^(t)+(1-α)S⁰；

U^(t+1)＝αLU^(t)+(1-α)U⁰；

其中，t为第t次转移方程输出的标签矩阵序列号，根据具体实验，t的转移次数在4次以上就已经达到最佳。

最后得到矩阵记为矩阵S^*和矩阵U^*，将矩阵S^*的第m+1行到第n行与矩阵U^*的第1行到第m行进行拼接记为矩阵Y^*，并在拼接之前计算argmax函数。

Argmax函数是对函数求参数的函数，对于Argmax函数的计算方式示例如下：

当本发明有另一个函数y＝f(x)时，若有结果x₀＝argmax(f(x))，则表示当函数f(x)取X＝x₀的时候，得到f(x)取值范围的最大值。

利用标签矩阵Y与标签矩阵Y^*以如下方式分别计算损失函数：

对于点云R，R包含有K个实例，定义K个实例分别有N₁，N₂，...，N_K个点，则e_i为点云第i个点的实例标签，μ_k为第K个实例的标签平均值。关于实例分割的损失函数定义如下：

L_var将属于同一实例的特征拉到它们的平均值，其中δ_v是L_var的边界值。

L_dist将属于同一实例的特征拉到它们的平均值，其中δ_d是L_dist的边界值。

其中，L_reg是一个正则化的术语。

具体的损失函数由上面三个公式组成，其组合如下：

L_ins＝L_var+L_dist+0.01L_reg；

记L_ins是标签矩阵Y监督下的损失函数，

是标签矩阵Y^*监督下的损失函数。

总的损失函数由L_ins与

组合而成，其组合公式如下：

其中，β由具体的训练结果进行调整，默认为0.8。

实验使用的是数据集S3DIS，对于在S3DIS上进行的实验，其中每个房间被分成面积为1m×1m×1m的块。每个3D点均由9维矢量表示(XYZ，RGB和房间的归一化位置)。在训练期间为每个块采样4096个点，采样方法为最远点采样法，所有的点都用于测试。

将采样的4096个点先构造一个无向图，然后将点云均匀地分为两组进行标签优化。

使用SGD优化器，batch size 8。在S3DIS上训练了100个时期的所有模型。基本学习率设置为0.01，然后每20个时期除以2。

训练系数δ_v设置为0.5，δ_d设置为1.5，

的损失权重系数β设置为0.8。

以下实验结果证明标签优化对实例分割有正面影响：

在S3DIS数据集上，按照通用的评估设置，对6个区域以6倍交叉验证的方式验证，即每次将5个区域用于训练，剩下的1个区域用于进行验证。

评估标准为平均召回率(mRec)、平均精确率(mPre)、平均覆盖率(mCov)。

召回率即Recall，计算试验结果相对与标准答案的所有正例被分对的比例。

精确率即Precision，计算试验结果相对与标准答案的结果中正类的占比。

覆盖率即Coverage，计算试验结果将标准答案中实例覆盖的比例。

召回率与精确率是在IOU阈值为0.5的基础下计算的。结果如下表：

方法\标准	mRec	mPre	mCov
				未加入优化标签矩阵	43.5	58.8	52.2
加入优化标签矩阵	47.3	60.2	54.3

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种标签优化点云实例分割方法，其特征在于，所述标签优化点云实例分割方法包括：首先使用图卷积神经网路对点云进行特征提取；然后对于训练集建立实例标签矩阵，再使用标签传播算法将实例标签矩阵进行标签传播，得到优化的实例标签矩阵；最后联合标签矩阵与优化的实例标签矩阵对点云进行实例分割。

2.如权利要求1所述标签优化点云实例分割方法，其特征在于，所述标签优化点云实例分割方法，还包括：

(1)对于点云R＝{x₁，x₂，...，x_n}，有点x_u，利用最近临界点算法计算距离最近的k个点作为其邻接点，计算点云中的所有点的其邻接点；

(2)对于点云R建图，通过步骤(1)所得点云中点与点之间的邻接关系建立点云R的邻接矩阵A；

(3)计算邻接矩阵A的度矩阵D，利用度矩阵和邻接矩阵计算拉普拉斯矩阵L，并对拉普拉斯矩阵L进行归一化处理，得到归一化的拉普拉斯矩阵L^sym；

(4)将归一化的拉普拉斯矩阵L^sym，与点云的特征作为输入，进行图卷积，图卷积网路的一层由一个顶点特征聚合器Max-Pooling函数和顶点特征更新函数MLP与一个ReLU作为激活函数；对归一化的拉普拉斯矩阵L^sym与点云的特征经过两层图卷积网路提取出点云的特征。

3.如权利要求1所述标签优化点云实例分割方法，其特征在于，所述标签矩阵优化方法，包括：

(1)对点云R＝{x₁，x₂，...，x_n}有标签矩阵

将点云均匀地分为两部分，记为R₁＝{x₁，x₂，...，x_m}，R₂＝{x_m+1，x_m+2，...，x_n}；

(2)将R₁，R₂两部分点云的标签矩阵进行填充，将R₁对应的标签矩阵填充后半段，R₂对应的标签矩阵填充前半段，填充0向量矩阵至维度与点云R相同，分别记为标签矩阵S和标签矩阵U；

(3)将图卷积网络生成的特征矩阵进行归一化处理得到矩阵L^*，对矩阵L^*进行标签传播，得到矩阵S^*和U^*，对于矩阵S^*取1＜i≤m，对于矩阵U^*取m＜i≤n，并同时计算argmax函数，只留矩阵中的最大值，将得到的矩阵拼接为原标签矩阵纬度相同的矩阵Y^*；

(4)利用标签矩阵Y与标签矩阵Y^*分别计算损失函数，并利用两个损失函数共同监督深度学习。

4.如权利要求3所述标签优化点云实例分割方法，其特征在于，步骤(3)中，所述对矩阵L^*进行标签传播，包括：

S^(t+1)＝αL*S^(t)+(1-α)S⁰；

U^(t+1)＝αL*U^(t)+(1-α)U⁰。

5.如权利要求1所述标签优化点云实例分割方法，其特征在于，所述点云特征提取方法，包括：

首先对于点云中的每个点做如下操作，设u为点云中的一点，则：

对点云的其它点到点u的距离进行排序，其余点距示例点u的顺序按由小到大排序的序列为：

u₁，u₂，...，u_k×d；

使用Dilated K-NN确定Dilated系数d后点u相对应的邻居节点为u₁，u_1+d，u_1+2d，...，u_1+(k-1)d，通过调整d的大小来确定点邻域的拓展距离；

默认给定系数d＝1，根据上一步计算出的点云中点与点之间的邻接关系，构建邻接矩阵A，邻接矩阵A的构建方式为：

对于点u，有维度为n的单位向量T，T中值为1的位置是与点u有邻接关系的点的序号数，其它位置值为0；

计算其度矩阵D，度矩阵是将邻接矩阵A的每一行相加的值为对角线上的值，计算拉普拉斯矩阵L＝D-A；然后对矩阵L计算正则化拉普拉斯矩阵L^sym＝D^-1/2LD^1/2；

将归一化的拉普拉斯矩阵L^sym，与点云的特征作为输入，进行图卷积，GCN网络从第l层到1+1层的传播按照如下方式：

其中，G_l+1与G_l分别是第l层的输出与输入，

分别是可训练的聚合和更新函数的权重，它们是GCNs的关键部分；

使用max-pooling顶点特征聚集器，在没有可学习参数的情况下，来聚集中心顶点与其所有相邻顶点之间的特征差异；使用的更新函数是一个有batch normalization的多层感知器MLP使用ReLU作为激活函数；

根据网络的深度，同步更新点云的拉普拉斯矩阵，并将GCN网络最后G^*作为输出特征矩阵。

6.如权利要求1所述标签优化点云实例分割方法，其特征在于，所述点云模型实例分割方法，包括：对于点云R＝{x₁，x₂，...，x_n}有标签矩阵

将点云均分为两部分，记为R₁＝{x₁，x₂，...，x_m}，R₂＝{x_m+1，x_m+2，...，x_n}，分别对应标签矩阵

和

将两个标签矩阵进行填充，填充部分是互相缺少的部分，填充内容全为0向量，分别表示为：

将从点云中提取的特征矩阵G^*进行归一化处理得到矩阵L^*，通过下面两个标签转移公式进行标签转移：

S^(t+1)＝αLS^(t)+(1-α)S⁰；

U^(t+1)＝αLU^(t)+(1-α)U⁰；

其中，t为第t次转移方程输出的标签矩阵序列号，根据具体实验，t的转移次数在4次以上就已经达到最佳；

最后得到矩阵记为矩阵S^*和矩阵U^*，将矩阵S^*的第m+1行到第n行与矩阵U^*的第1行到第m行进行拼接记为矩阵Y^*，并在拼接之前计算argmax函数。

7.如权利要求6所述标签优化点云实例分割方法，其特征在于，所述Argmax函数是对函数求参数的函数，对于Argmax函数的计算方式示例如下：

当有另一个函数y＝f(x)时，若有结果x₀＝argmax(f(x))，则表示当函数f(x)取x＝x₀的时候，得到f(x)取值范围的最大值；

利用标签矩阵Y与标签矩阵Y^*以如下方式分别计算损失函数：

对于点云R，R包含有K个实例，定义K个实例分别有N₁,N₂,...,N_K个点，则e_i为点云第i个点的实例标签，μ_k为第K个实例的标签平均值；关于实例分割的损失函数定义如下：

L_var将属于同一实例的特征拉到它们的平均值，其中δ_v是L_var的边界值；

L_dist将属于同一实例的特征拉到它们的平均值，其中δ_d是L_dist的边界值；

其中，L_reg是一个正则化的术语；

具体的损失函数由上面三个公式组成，其组合如下：

L_ins＝L_var+L_dist+0.01L_reg；

记L_ins是标签矩阵Y监督下的损失函数，

是标签矩阵Y*监督下的损失函数；

总的损失函数由L_ins与

组合而成，其组合公式如下：

其中，β由具体的训练结果进行调整，默认为0.8。

8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：首先使用图卷积神经网路对点云进行特征提取；然后对于训练集建立实例标签矩阵，再使用标签传播算法将实例标签矩阵进行标签传播，得到优化的实例标签矩阵；最后联合标签矩阵与优化的实例标签矩阵对点云进行实例分割。

9.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1～7任意一项所述的标签优化点云实例分割方法。

10.一种实施权利要求1～7任意一项所述标签优化点云实例分割方法的标签优化点云实例分割系统，其特征在于，所述标签优化点云实例分割系统包括：

特征提取模块，用于使用图卷积神经网路对点云进行特征提取；

标签矩阵构建模块，用于对于训练集建立实例标签矩阵；

标签传播模块，用于使用标签传播算法将实例标签矩阵进行标签传播，得到优化的实例标签矩阵；

实例分割模块，用于联合标签矩阵与优化的实例标签矩阵对点云进行实例分割。

Images