CN116012840A - 一种基于主动学习和半监督的三维点云语义分割标注方法 - Google Patents

Abstract

本发明公开了一种基于主动学习和半监督的三维点云语义分割标注方法，该方法首先利用构造的点云匹配评分函数，挑选出一个具有代表性的子集。然后利用两种无监督算法，将一帧点云分割成若干个小的区域。在每次主动学习循环中，先计算每个小区域的点云强度信息值和信息熵，再从中选出二者和值中较大的若干个区域进行人工标记。为了有效利用未标注数据，借助无监督学习方法，选择相对当前模型而言置信度较高小区域赋以伪标签。最后将伪标签数据和人工标记数据一起输入给深度语义分割模型进行网络训练。由此能够极大地提升标注效率，减少人工标注成本。

Description

一种基于主动学习和半监督的三维点云语义分割标注方法

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种基于主动学习和半监督的三维点云语义分割标注方法。

背景技术

近年来，随着计算机视觉、人工智能以及遥感测绘等技术的发展，三维目标检测、同时定位和建图、三维重建、语义分割等技术日渐成熟，点云的数据量增长迅速，人们对于点云数据高级语义理解方面的需求也与日俱增。点云语义分割Point Cloud SemanticSegmentation(PCSS)作为点云数据处理和分析的关键基础技术，在机器人、遥感以及自动驾驶领域有着广泛的应用。近年来，借助深度学习技术，点云语义分割任务取得了重大突破，并成为研究热点。特别是在过去五年，一些公开的点云语义分割数据集也被发布，例如ScanNet，S3DIS，SemanticKITTI，许多基于深度学习框架的新奇点云语义分割方法被提出，这些方法在数据集上表现出优异的性能，使得点云分割精度的榜首一次又一次被刷新。

为了确保模型拥有优异的性能，深度学习通常需要从大量标注的数据中提取知识，优化大量的参数。但是，相比标注数据的规模，模型的性能还没有饱和。而且，标注数据大量数据会花费巨大人力和时间，且有时只能相关专业人士才能标注数据。另外标注成本也会根据不同目标任务变化巨大。例如在标注过程中，在2D图像上选择一个封闭的多边形区域，获得语义标注的操作是相对低成本的，但是逐点标注3D点集数据花费的成本较大。更重要的是，3D点云数据通常是无序且稀疏的，且一帧点云通常包含点数不低于10万个，增加了点云标注的困难性。因此如何进行高效、低成本地标注点云是当前运用人工智能进行点云数据处理和分析地关键。

发明内容

鉴于上述，本发明提供了一种基于主动学习和半监督的三维点云语义分割标注方法和装置，该方法利用点云独特的三维几何信息与帧间时序关系，将主动学习与传统建图、定位方法相结合，对点云进行挑选和标注。具体而言，在本发明中，分别对代表性、多样性和不确定性这三个主动学习中被广泛关注的因素进行考虑，结合点云这种数据模态的特殊性质，提出了一种多粒度的样本挑选和标注方案。

本发明提供的一种基于主动学习和半监督的三维点云语义分割标注方法，其包括如下步骤：

S1：利用构造的点云匹配评分函数，从原始点云数据集中获得一个代表性子集；

S2：将代表性子集中的每帧点云分割成若干个小的区域，生成分割区域；

S3：计算分割区域信息度，即利用softmax信息熵和点云强度，计算分割区域的信息度；

S4：根据计算出的每块区域信息度，筛选出信息度高的K个区域(Top-K)进行人工标注；得到标记子集D_L和未标注子集D_U；

S5：利用标记子集D_L对神经网络进行多轮训练；在所需的训练轮次，利用训练后的神经网络对未标注子集D_U中的分割区域块进行预测，根据预测得到的分割区域块在两个分类类别之间的概率差值S_mar判断是否将该分割区域块赋以伪标签，将赋以伪标签的分割区域D_pseudo从未标记子集D_U中拿出并添加到标记子集D_L，并进行下一轮训练。

作为本发明的优选方案，所述的S1为：

S11：给定一个包含n帧点云的序列S＝{s₁，s₂，…，s_n}，将s₁作为当前目标帧，s₂作为当前输入帧；

S12：利用NDT算法计算目标帧和输入帧的匹配分数score_match；

如果score_match小于某设定阈值δ_match，就将当前输入帧从序列中删除，接着将序列中的下一帧作为当前输入帧，重复S12；

如果score_match不小于某设定阈值δ_match，则在序列中保留当前输入帧，并以当前输入帧作为下一次匹配的目标帧，接着将序列中的下一帧作为下一次匹配的输入帧，重复S12进行下一次匹配；

S13：序列内所有帧点云完成匹配后，结束S12，得到代表性子集S＝{s′₁，s′₂，…，s′_m}。

作为本发明的优选方案，所述的S2为：

S21：使用VCCS算法对代表性子集中的每帧点云进行处理，生成几何约束的超体素；

S22：利用LCCP算法对超体素邻接图进行分割，通过CC准则(ConvexityCriterion)和SC准则(Sanity Criterion)判断两个超体素之间的凹凸连接关系；当两个准则判定两个超体素的关系都为凸时，才将两个超体素间的关系判定为凸连接；根据判定结果，将具有凸连接关系的超体素归为同一个类别；这些归属为同一凸连接关系的超体素通过区域增长算法聚合成更大的分割区域；将得到的分割区域，作为基础标注查询单位。

作为本发明的优选方案，所述的S3为：

S31：从未标注数据集D_U中随机选出一定比例的数据进行标注，构成初始的标注数据集D_L，然后利用此初始标注数据集训练神经网络；

S32：利用训练的神经网络预测未标注数据集D_U中的数据，由此可获得未标注数据集D_U中每个点x_i属于第j类别的概率：p(y_i＝j|x_i)；接着计算第n块分割区域R_n的区域信息熵E_n，

其中，分割区域R_n包含N个点，Θ表示神经网络参数；

S33：计算第n块分割区域R_n的区域强度值I_n，即通过平均计算分割区域R_n内每个点的强度值获得，

其中ρ_i是一个点的强度值；

S34：在得到每个分割区域的softmax信息熵值E_n和强度值I_n后，通过线性组合可以获得第n块分割区域的信息度值σ_n

σ_n＝αE_n+βI_n

其中α和β权重参数；

S35：得到所有分块区域的降序排列值列表σ：

σ＝(σ₁，σ₂…，σ_n)。

作为本发明的优选方案，所述的S5中：

根据概率差值S_mar进行降序排列，获得一个降序列表

从列表

中选择前M个(Top-M)分割区域来分配伪标签；将这些赋以伪标签的分割区域D_pseudo从未标记子集D_U中拿出并添加到标记子集D_L中；

其中，伪标签的定义如下：

δ_H为设定阈值。

与现有技术相比，本发明提供了一种基于主动学习和半监督的三维点云语义分割方法，该方法首先利用点云匹配评价函数挑选出一个能够代表整个序列点云的子集，然后利用VCSS算法和LCCP算法对子集中的点云进行区域分割处理，结合信息熵和点云强度信息，挑选出信息度丰富的分割区域进行人工标注。最后为了提升未标注数据的利用率，借助半监督学习方法挑选出置信度高的区域赋以伪标签，并与真实标签一起被用于模型训练。实验证明，本发明仅用5％的标注数据即可完成模型的训练，相比传统的标注方法，极大地节省了人工标注成本。另外本发明的标注单位是分割后的区域块，相比传统逐点标注，效率更高。

附图说明

图1为一种基于主动学习和半监督的三维点云语义分割方法示意图；

图2为点云匹配评价函数阈值与挑选出的点云帧数关系；

图3为利用挑选出的代表性子集建图结果图；

图4为LCCP算法分割结果图；

图5为VCCS算法分割结果图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明技术方案进行详细说明。

点云语义分割的目的是利用数据集训练一个模型，对每个点分配一个标签，属于密集预测任务。所以点云语义分割模型训练所需样本标注劳动力较高。为了增加人工标注效率，本发明首先利用NDT匹配算法，从原始点云数据集中获得一个代表性的子集。接下来利用VCCS算法将子集中的点云过分割为超体素，然后再对超体素使用LCCP算法，进一步获得分割的区域。每个分割区域包含若干数点，对其标注既方便又省时。如此获得了一个分割后的点云数据集D，其可被分为两个子集。一个是非常小的，随机挑选出来的标注数据集D_L，另一个是很大的未标注数据集D_U。

如图1所示，本发明基于主动学习和半监督的三维点云语义分割方法可以分为以下5个步骤：

S1：利用构造的点云匹配评分函数，从原始点云数据集中获得一个代表性子集；

S2：将代表性子集中的每帧点云分割成若干个小的区域，生成分割区域；

S3：计算分割区域信息度，即利用softmax信息熵和点云强度，计算分割区域的信息度；

S4：根据计算出的每块区域信息度，筛选出信息度高的K个区域(Top-K)进行人工标注；得到标记子集D_L和未标注子集D_U；

S5：利用标记子集D_L，对神经网络进行多轮训练；在所需的训练轮次，利用训练后的神经网络对未标注子集D_U中的分割区域块进行预测，根据预测得到的分割区域块在两个分类类别之间的概率差值S_mar判断是否将该分割区域块赋以伪标签，将赋以伪标签的分割区域D_pseudo从未标记子集D_U中拿出并添加到标记子集D_L，并进行下一轮训练。

一般而言点云数据集包含多个序列，每个序列中包含多个帧。同一个序列内的连续帧存在大量重复的类别，因此我们利用点云匹配方法，从建图角度出发，筛选出能够代表一个序列的子集。考虑到效率和鲁棒性，本发明选用NDT算法作为点云配准方法。这是因为NDT不需要在点或特征之间建立显式的对应关系，所有的导数都可以解析计算出来。NDT将从单帧点云扫描重构的二维离散点集转换为分段连续和可微的概率密度，该概率密度由一组正态分布组成，可用于通过牛顿算法与另一帧点云进行配准。通过NDT算法对两帧点云进行配准时，如果配准过程收敛或达到最大迭代次数，则得到一个配准分数，用于构造筛选具有代表性点云的匹配分数score_match，如公式1所示：

其中，t为向量的转置，x′_i，

和q_i具体含义如下：

·x′_i表示输入点云帧中的点x_i根据位姿变换矩阵转换到目标帧点云坐标系的坐标。

·

和q_i分别代表点x′_i在正态分布下的协方差矩阵的逆和均值。

·

在本发明中，当两帧点云的匹配分数score_match小于某个值δ_match时，可以认为这两帧点云相似，然后丢弃输入帧，保留目标帧。相反，当大于该值δ_match时，我们将当前输入帧作为下一次匹配的目标帧。重复上面的步骤，直至筛选完整个序列内的点云。序列内粗粒度挑选方法描述如下：给定一个包含n帧点云的序列S＝{s₁，s₂，…，s_n}，

1)将s₁作为目标帧，s₂作为输入帧，利用NDT算法计算他们的匹配分数

如果

小于某阈值δ_match，就可将s₂从序列中删除。

2)接着将s₃作为输入帧，将其与s₁进行匹配。如果它们的匹配分数

大于δ_match，就将s₃帧点云保留在序列内，并同时作为下一次匹配的目标帧点云。

3)重复上述过程，直至序列内所有帧点云完成匹配。

由此，我们可以得到一个代表上述序列帧点云的子集：S＝{s′₁，s′₂，…，s′_m}。

显然不同匹配阈值下，同一个序列挑选出的点云数量会有一定差异。我们以Semantickitti数据中的07序列为例，通过设置不同阈值，挑选出的点云数量如图2所示。例如，当阈值等于0.2时，挑选出了330帧点云数，以此绘制的地图如图3所示。结果表明，挑选出的子集能够完整的代表整个场景中的元素。07序列总共包含1101帧点云，由此可以看出，通过序列内粗粒度挑选方法可以大幅度减少需要标注的点云帧数，从而达到减少标注成本的效果。

根据目标任务的不同，标注成本差异很大。在标注过程中，选择封闭的多边形对二维(2D)图像进行语义标注的成本相对较低，但三维(3D)逐点标注的成本较高。然而，并不是一帧点云内所有的标注点都有助于深度学习模型的改进。另外，在标注相同数量的点时，如果选择的点分散在整个帧中，虽然模型性能可能会很好，但会大大增加标注的难度和时间消耗，并且很难利用有限的预算。与逐点标注不同，本发明的标注单位是包含若干点的区域块。具体来讲，本发明的点云帧内细粒度挑选可以分为三步：

1)生成分割区域，即利用VCCS和LCCP算法将一帧点云分割成区域，作为基础标注查询单位；

2)计算分割区域信息度，即利用softmax信息熵和点云强度，计算分割区域的信息度；

3)挑选信息度高的分割区域，即根据计算出的每块区域信息度，筛选出信息度高的K个区域(Top-K)进行人工标注。

生成分割区域具体分为2步：

第一步：获取几何约束下的超体素。在监督任务或传统的主动学习中，每帧点云的所有点都需要标注，这是一种劳动密集型的方法。如果将一帧点云划分为相互连接的分割区域作为标注的基本单元，将大大提高标注的效率。因此，本发明首先使用VCCS算法对原始点云进行处理，生成几何约束的超体素。VCCS算法包含四个部分：(1)构建体素-点云的邻接图，保证这些超体素在空间上的连接；(2)选择若干种子点初始化超体素；(3)利用空间距离、颜色距离和FPFH空间中的F距离计算归一化距离；(4)利用Flow约束的局部迭代聚类算法生成带几何约束的超体素。一帧原始点云经过VCCS算法处理后的结果如图4所示。如图中白色方框中的内容所示，一辆车被分割成了几个具有约束关系的超体素。VCCS算法具体内容可参考J.Papon，A.Abramov，M.Schoeler and F.

″Voxel Cloud ConnectivitySegmentation-Supervoxels for Point Clouds，″2013 IEEE Conference on ComputerVision and Pattern Recognition，2013，pp.2027-2034，doi：10.1109/CVPR.2013.264。

第二步：点云过分割。这些带几何约束的超体素并不是孤立的，他们可以被进一步聚合成形体更大的分割区域。所以接下来，本发明利用LCCP算法对超体素邻接图进行分割，通过Convexity Criterion(CC准则)和Sanity Criterion(SC准则)这两个准则两个准则判断两个超体素之间的凹凸连接关系。当两个准则判定两个超体素的关系都为凸时，我们才将两个超体素间的关系判定为凸连接。根据判定结果，将具有凸连接关系的超体素归为同一个类别，然后以此进行分类；最后依据判别结果，这些归属为同一凸连接关系小的超体素通过区域增长算法可以聚合成更大的分割区域；将得到的分割区域，作为基础标注查询单位。一帧原始点云经过VCCS算法和LCCP算法处理后的结果如图5所示。如图中白色方框中的内容所示，图4中几个具有约束关系的超体素经过区域增长算法处理后，变成了一个整体。LCCP算法具体内容，可参考S.C.Stein，M.Schoeler，J.Papon and F.

″ObjectPartitioning Using Local Convexity，″2014 IEEE Conference on Computer Visionand Pattern Recognition，2014，pp.304-311，doi：10.1109/CVPR.2014.46。

计算分割区域信息度分为2步。

第一步：分割区域信息熵。作为主动学习中被广泛考虑的要素，不确定度采样旨在从未标注数据集中挑选出不确定度最大的样本进行标注。本发明利用softmax信息熵来估计分割区域的不确定度。首先获得未标注数据集D_U中每个点x_i属于第j类别的概率：p(y_i＝j|x_i)。接着计算第n块分割区域R_n的区域信息熵E_n，即通过平均计算分割区域R_n内每个点的信息熵值获得，如公式2所示。

其中分割区域R_n包含N个点，Θ表示神经网络参数。如果经过训练的网络对一个预测类别的估计相对准确，它就会给这个类别分配比其他类别更大的概率。在这种情况下，它的信息熵E_n值比其他类别要低得多。相反，当训练好的网络对某一类别的预测不确定时，信息熵E_n值会更高。

第二部：分割区域点云强度。在得到每个分割区域的信息熵值E_n后，大多数方法就是选择熵值较大的一些区域进行标注。然而，这些具有较高熵值的分割区域如果出现在同一查询步骤中，可能会导致冗余注释。为了给深度神经网络提供多样化的信息，可以利用一帧点云中每个点的强度。其原因是不同材料的强度不同。同一材料上的反射强度相近，而不同材料上的脉冲强度不同。在此基础上，本发明选择强度作为多样性选择准则，为深度神经网络选择不同的分段区域。具体来讲，计算第n块分割区域R_n的区域强度值I_n，即通过平均计算分割区域R_n内每个点的强度值获得，如公式3所示。

其中ρ_i是一个点的强度值。

在得到每个分割区域的softmax信息熵值E_n和强度值I_n后，通过线性组合可以获得第n块分割区域的信息度值σ_n，如公式4所示。

σ_n＝αE_n+βI_n#(4)

其中α和β权重参数。最后可以得到所有分块区域的降序排列值列表σ：

σ＝(σ₁，σ₂…，σ_n)#(5)

在本发明中，在每个主动学习迭代过程中，选择信息度最丰富的未标记分割区域进行标注，并添加有标记的数据集对网络进行再训练。这样就避免了对非信息区域的冗余标注，大大减少了人工标注的劳动。实际上，未标注数据子集D_U也包含了足够数量的被忽略的高置信度未标记数据。在使用初始标记子集D_L训练网络后，可以利用其预测能力为D_U子集中未标记的分割区域生成相对准确的伪标签。

对同一个分割区域来讲，依据网络对其预测的两个类别之间的概率差值S_mar来判断是否将该分割区域块从未标注数据集D_U筛选出来并赋以伪标签。伪标签的定义如下：

其中阈值δ_H通常需要设置成较大值，由此获得高置信度的伪标签。概率差值S_mar计算如下：

其中

和

分别表示某一个分割区域被预测第一可能类别和第二可能类别的分类分数。如公式8、9所示，给定一个包含N个点的分割区域R，计算所有点的预测类别概率值，然后通过平均区域内所有点的预测概率值，得到分类分数

和

通过概率差值S_mar，可以避免挑选出一些冗余的分割区域赋以伪标签。

对于满足伪标签条件的所有分割区域，对其概率差值S_mar进行降序排列，获得一个降序列表

于是本发明从列表

中选择前M个(Top-M)分割区域来分配伪标签。然后，将这些伪标记区域D_pseudo从未标记子集D_U中拿出并添加到标记子集D_L中。通过完成分割区域信息估计、标签标注、区域置信度估计和伪标注，在更新的子集D_L上重复主动学习循环对深度神经网络进行优化学习，直到标注的成本预算耗尽或达到迭代次数。注意，在每一个网络更新步骤之后，需要将高置信度样本D_pseudo放回D_U中，并去除其伪标签。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (8)

1.一种基于主动学习和半监督的三维点云语义分割标注方法，其特征在于，包括如下步骤：

S1：利用构造的点云匹配评分函数，从原始点云数据集中获得一个代表性子集；

S2：将代表性子集中的每帧点云分割成若干个小的区域，生成分割区域；

S3：计算分割区域信息度，即利用softmax信息熵和点云强度，计算分割区域的信息度；

S4：根据计算出的每块区域信息度，筛选出信息度高的K个区域(Top-K)进行人工标注；得到标记子集D_L和未标注子集D_U；

S5：利用标记子集D_L对神经网络进行多轮训练；在所需的训练轮次，利用训练后的神经网络对未标注子集D_U中的分割区域块进行预测，根据预测得到的分割区域块在两个分类类别之间的概率差值S_mar判断是否将该分割区域块赋以伪标签，将赋以伪标签的分割区域D_pseudo从未标记子集D_U中拿出并添加到标记子集D_L，并进行下一轮训练。

2.根据权利要求1所述的基于主动学习和半监督的三维点云语义分割标注方法，其特征在于，所述的S1为：

S11：给定一个包含n帧点云的序列S＝{s₁，s₂，…，s_n}，将s₁作为当前目标帧，s₂作为当前输入帧；

S12：利用NDT算法计算目标帧和输入帧的匹配分数score_match；

如果score_match小于某设定阈值δ_match，就将当前输入帧从序列中删除，接着将序列中的下一帧作为当前输入帧，重复S12；

如果score_match不小于某设定阈值δ_match，则在序列中保留当前输入帧，并以当前输入帧作为下一次匹配的目标帧，接着将序列中的下一帧作为下一次匹配的输入帧，重复S12进行下一次匹配；

S13：序列内所有帧点云完成匹配后，结束S12，得到代表性子集S＝{s′₁，s′₂，…，s′_m}。

3.根据权利要求2所述的基于主动学习和半监督的三维点云语义分割标注方法，其特征在于，所述匹配分数score_match公式如下：

其中，x′_i表示输入点云帧中的点x_i根据位姿变换矩阵转换到目标帧点云坐标系的坐标；和q_i分别代表点x′_i在正态分布下的协方差矩阵的逆和均值，t为向量的转置。

4.根据权利要求1所述的基于主动学习和半监督的三维点云语义分割标注方法，其特征在于，所述的S2为：

S21：使用VCCS算法对代表性子集中的每帧点云进行处理，生成几何约束的超体素；

S22：利用LCCP算法对超体素邻接图进行分割，通过CC准则和SC准则判断两个超体素之间的凹凸连接关系；当两个准则判定两个超体素的关系都为凸时，才将两个超体素间的关系判定为凸连接；根据判定结果，将具有凸连接关系的超体素归为同一个类别；这些归属为同一凸连接关系的超体素通过区域增长算法聚合成更大的分割区域；将得到的分割区域，作为基础标注查询单位。

5.根据权利要求1所述的基于主动学习和半监督的三维点云语义分割标注方法，其特征在于，所述的S3为：

S31：从未标注数据集D_U中随机选出一定比例的数据进行标注，构成初始的标注数据集D_L，然后利用此初始标注数据集训练神经网络；

S32：利用训练的神经网络预测未标注数据集D_U中的数据，由此可获得未标注数据集D_U中每个点x_i属于第j类别的概率：p(y_i＝j|x_i)；接着计算第n块分割区域R_n的区域信息熵E_n，

其中，分割区域R_n包含N个点，Θ表示神经网络参数；

S33：计算第n块分割区域R_n的区域强度值I_n，即通过平均计算分割区域R_n内每个点的强度值获得，

其中ρ_i是一个点的强度值；

S34：在得到每个分割区域的softmax信息熵值E_n和强度值I_n后，通过线性组合可以获得第n块分割区域的信息度值σ_n

σ_n＝αE_n+βI_n

其中α和β权重参数；

S35：得到所有分块区域的降序排列值列表σ：

σ＝(σ₁，σ₂…，ρ_n)。

6.根据权利要求1所述的基于主动学习和半监督的三维点云语义分割标注方法，其特征在于，所述的S5中：

根据概率差值S_mar进行降序排列，获得一个降序列表

从列表中选择前M个(Top-M)分割区域来分配伪标签；将这些赋以伪标签的分割区域D_pseudo从未标记子集D_U中拿出并添加到标记子集D_L中；

其中，伪标签的定义如下：

δ_H为设定阈值。

7.根据权利要求1所述的基于主动学习和半监督的三维点云语义分割标注方法，其特征在于，概率差值S_mar计算如下：

其中和分别表示某一个分割区域被预测第一可能类别和第二可能类别的分类分数。

8.根据权利要求7所述的基于主动学习和半监督的三维点云语义分割标注方法，其特征在于，

给定一个包含N个点的分割区域R，计算所有点的预测类别概率值，然后通过平均区域内所有点的预测概率值，得到分类分数和

Images