CN111275077A - 多视角特征联合学习下的机载激光雷达点云语义标注方法 - Google Patents

Abstract

本发明提出的是一种机载激光雷达点云多视角特征联合学习下的语义标注方法，包括如下步骤：(1)多视角点云特征提取；(2)多视角特征联合学习的特征映射与分类模型的构建；(3)对所构建模型的优化求解方法；(4)基于多视角特征融合的点云语义分割。本发明提出一种基于标签和多空间局部分布一致性约束的点云多视角特征联合学习点云分类算法。该算法利用少量训练样本点训练模型，引入特征空间和位置空间局部分布一致性约束、多视角预测标签与真值标签一致性约束和多视角预测标签之间一致性约束，利用流形学习方法进行多视角特征子空间联合学习。本发明利用迭代算法联合求解优化多个视角的特征映射矩阵，能够获得无冗余信息、低噪声且更具判别性的特征和最优线性分类器，进而有效融合分类多视角特征。

Description

多视角特征联合学习下的机载激光雷达点云语义标注方法

技术领域

本发明涉及的是一种多视角特征联合学习下的机载激光雷达点云语义标注方法，属于激光雷达遥感数据智能处理与分析技术领域。

背景技术

近年来，随着计算机视觉与激光雷达技术的快速发展，越来越多的点云数据被广泛的应用，使得点云的分类已经成为了一项研究热点。点云分类是对点云中的每个点标记一个特定的语义属性标签，这是点云场景的环境感知与场景理解的关键步骤。由于点云具有无序性、稀疏性和不规则性，并且点云中存在一定的噪声点和部分数据的缺失，同一场景中的类内点存在较大差异，类间点差异并不明显。因此，对于点云的有效分类是个有挑战性的问题。

近年来，众多学者提出的分类算法在图像和点云分类上已经取得了不错效果。如学者Zhang等人提出了引入分类误差进行特征表达和分类器同时优化的 DKSVD(discriminative KSVD)算法。为了充分利用标签信息，学者Jiang等人将标签一致性约束引入到目标函数中，提出了LCKSVD1和LCKSVD2算法，并获得了更好的分类结果。学者Zhang等人利用判别性字典学习的方法构造多层次点集特征，用于点云分类。学者Li等人提出了一种多层次体素特征融合的深度学习网络用于点云的分类。上述这些方法所使用的特征维度相对较高，高维的数据表达会存在一定的噪声或冗余信息。为了减少噪声和冗余信息，降维和稀疏表达的方法被广泛的应用。一定程度上，降维的方法等价于子空间学习，如ICA(Independent Component Analysis)，PCA(Principal Component Analysis)和optimalmean robust PCA等方法，

另外，大多数有监督的分类方法通常需要较大数量的训练集去学习特征和分类器才能获得较好的分类效果，大大降低了算法的效率。然而，对于大规模点云数据，人工标记大量用于训练的点会十分耗费时间和人力，因此，利用较少数量的有标记点进行训练，并对有效地大规模点云进行分类具有重要的现实意义。针对少量样本用于训练分类模型的问题，不少学者提出了关于特征映射和分类器联合学习的半监督或有监督分类方法。如学者Mei等人将多种点云的单点特征串联构成每个点的高维特征，然后利用点云边界、邻域图和标签联合约束，基于半监督的方法对少量样本进行训练，获得点云分类的模型。学者Zhu等人利用图像多尺度特征串联构成的特征向量对每幅图像进行表征，并通过引入标签和样本局部连接关系的约束，联合学习局部和全局一致性的图像特征映射矩阵和分类器。这些方法将样本的多种类型的特征或同种类型特征的不同尺度特征，通过串联的方式直接融合并进行分类。然而，这种特征融合与分类的方法对于样本属性的表达能力及分类效果的提升相对有限，并不能保证融合的有效性。

为了对多媒体数据进行有效的表达与分类，研究人员提出了多种多视角特征融合的算法。对于点云中的每个点，可由协方差矩阵特征值特征、Spin Image特征、法向量、FPFH(Fast Point Feature Histograms)和VFH(Viewpoint Feature Histogram)等多个视角的特征进行描述。一方面，每个视角可能包含一些其他视角没有的独特信息。另一方面，不同视角之间也存在一些共享的信息。例如，对于点云中的某一点，不同视角的特征描述了该点的不同方面的属性，但这些不同视角的特征表达的是点云中的同一点。目前，众多学者提出的多视角学习的方法，能够对不同视角的特征进行更有效的融合，并充分利用不同视角特征的多样和一致性，获得更具判别性的样本特征表达。例如，学者Nie提出了一种用于图像聚类和半监督分类的自适应权重多视角学习算法。该算法通过引入不同视角权重，基于流形学习方法，对不同视角数据自适应地联合学习局部结构。学者Wang通过引入每个视角低秩表达的排他性和类别一致性约束来联合优化每个视角特征的低秩表示结果。学者Tang通过引入每个视角自适应权重的误差项约束和减少不同视角间冗余信息的多样性正则项约束来联合学习不同视角共同的低秩表示，进而构造多视角联合映射的图结构用于聚类/分类。这些方法都获得了比传统单一视角特征学习方法更好的表现。虽然这些多视角学习的方法能够在图像的聚类 /分类上获得较好的表现，但这些方法还不能直接用于大规模点云分类。此外，据我们所了解的，目前还没有多视角学习的方法应用于点云的分类。

发明内容

本发明的目的在于提升目前机载激光点云的语义标注精度，基于机载激光雷达三维点云数据，提出了一种基于标签和多空间局部分布一致性约束的点云多视角特征联合学习的点云分类算法。该算法利用较少的训练样本点进行模型训练，并通过引入特征空间和位置空间的局部分布一致性约束、多视角预测标签与真值标签一致性约束和多视角预测标签之间一致性约束，利用流形学习方法进行多视角特征子空间联合学习。本发明利用迭代算法对多个视角的特征映射矩阵和线性分类器联合求解优化，能够获得去除冗余信息、噪声更少且更具判别性的特征和最优的线性分类器，进而有效地对多视角特征进行融合与分类。

本发明的技术解决方案：机载激光雷达点云多视角特征联合学习下的语义标注方法，包括如下步骤：

(1)多视角点云特征提取；

(2)多视角特征联合学习的特征映射与分类模型的构建；

(3)对所构建模型的优化求解方法；

(4)基于多视角特征融合的点云语义分割。

本发明的优点：

(1)提出了一种用于点云分类的多视角特征融合和分类的框架。该方法通过引入不同视角之间的相互约束，结合分类误差项，对多视角特征子空间联合学习。这种子空间的学习可以有效的用于冗余信息的去除。不同视角的特征映射矩阵和线性分类器通过对统一的目标函数同时优化，能够充分利用视角间的特征，并获得更具判别性的特征子空间和最优化的线性分类器；

(2)不同于单一视角的分类方法和多视角特征串联融合分类的方法，本发明提出利用点云多视角特征之间的多样性和一致性约束对多视角特征联合进行子空间学习的方法，然后融合多视角特征及分类器对点云进行分类。所提方法能够获得比基于单一视角或基于特征串联融合的方法更高的分类精度；

(3)不同于现有的多视角分类方法，所提算法引入了特征空间与位置空间的局部分布一致性约束、成组标签一致性约束和多视角预测标签一致性约束，能够更有效的获得点云的子空间表达和更高的点云分类精度。对于少量的学习样本，能够获较好的分类效果，并且能够适用于大规模点云数据，算法的可扩展性较强；

(4)本发明所提出的基于迭代算法的多视角目标函数联合优化求解方法能够在大规模点云场景上快速收敛，并且点云分类的效果比当前主流算法具有更高的精度。

附图说明

附图1是本发明机载激光雷达点云多视角特征联合学习下的语义标注方法的总体步骤流程图。

具体实施方式

如图(1)所示，本发明提出的机载激光雷达点云多视角特征联合学习下的语义标注方法，具体包括：首先，提取点云每个点的多个视角的特征。然后，每个视角的特征联合进行子空间学习，去除多视角特征的冗余信息，使得特征的表达更适合分类任务。接着，利用邻域内特征空间和位置空间的局部分布一致性约束表达各个点之间的邻接关系图。之后，利用标签一致性约束去保证每个视角分类标签与真实标签的一致性和每个视角之间分类结果的一致性。其中，标签一致性包括组内点标签一致性和单个点标签一致性。最后，本发明提出了一种目标函数迭代优化算法，通过最小化由多视角特征子空间学习和包含分类误差项的相关约束构成的目标函数，联合学习子空间映射矩阵和最优的线性分类器。机载激光雷达点云多视角特征联合学习下的语义标注方法的具体操作步骤如下：

(1)多视角点云特征提取

点云的不同类型的特征表征了点云的不同属性，为了更有效的表达点云属性，本发明提取点云的不同类型特征，即从不同的角度对点云进行表征。此外，为了使点云的单点特征充分的体现地物的属性，本发明采用多尺度的单点特征来构建每个视角的单点特征。

对于点p在半径为r的范围内的邻域点作为p的作用域。为了获取不同尺度的点云特征，本发明通过改变r值来构造不同的尺度。本发明利用点云的法向量、协方差特征值特征和Spin Image特征构造不同视角的点云特征，每个视角特征选取不同的半径r值，构造不同尺度的特征，由于法向量和协方差特征值特征主要表征的是点云的几何结构等特征，因此，本发明将法向量和协方差特征值特征作为一个视角的特征，对于法向量和协方差特征，在一个固定r上可以构建6维特向量，通过选取3个不同r值，即r＝[r₁，r₂，r₃]，每个点可构造18维的特征f_i ^cov，对于法向量特征，选取r₁和r₂，每个点可构造6维的特征f_i ^nor，对于SpinImage特征，通过选取r₁，r₂和r₃，每个点可构造108维的特征f_i ^spin。

因此，本发明构造的多视角的点云多尺度特征为：X＝[X₁，X₂】^T，其中，X₁＝ [F^cov，F^nor]，X₂＝F^spin。

(2)多视角特征联合学习的特征映射与分类模型的构建

基于标签约束的多视角和多空间局部分布一致性的点云特征提取与分类模型主要包括：子空间学习、多视角特征空间和位置空间局部分布一致性约束和多视角标签约束。

①RICA(子空间学习)：由于提取的多尺度点云特征存在噪声和冗余信息，而将原始的高维特征空间映射到低维的子空间能够实现数据降维的同时也能实现子空间的学习，为了去除冗余信息，本发明最小化公式(1)基于重构ICA算法的目标函数：

其中，

是特征转换矩阵，将特征矩阵

映射到d′维的特征空间(d′＜d)，n为样本特征的个数，公式(1)中，g(·)＝log(cosh(·))， cosh(WX)＝(exp(WX)+exp(-WX))/2，α是权衡重建误差和稀疏的参数；对于多视角特征，通过不同的映射矩阵将不同视角映射到相同的子空间上，因此，多视角特征的子空间学习目标函数可以表示为：

其中，W_v表示第v个视角的特征变换矩阵，X_v表示第v个视角的特征，m是视角的个数。

②多视角特征空间和位置空间局部分布一致性约束：1)点云位置空间约束：虽然每个点具有不同视角的特征，但各个点的空间位置保持同样的空间关系，因此，构造的空间位置约束适用于所有视角的子空间学习，对于点云数据，空间位置相邻的K个点趋向于属于同一类别的目标，同种类别点的特征空间也具有相似的数据分布，根据公式(3)构建点云数据的空间位置权重矩阵：

其中，P_i和P_j表示点的三维坐标，

表示p_i点在位置空间的K 个近邻点。

2)点云特征空间约束：点云的特征空间中，相邻的K个点的特征趋向于表征同种类别的目标，根据公式(4)构建点云特征空间权重矩阵：

其中，

表示p_i点在特征空间的K个近邻点。

考虑到点云的位置空间和特征空间局部近邻点具有相似的分布，因此，同一视角中位置空间和特征空间约束可以表达为：

其中，D_U和D_V是对角矩阵，

L_U＝D_U-U_ij，L_V＝ D_V-V_ij，tr为矩阵的秩，β是trade-off参数；

虽然不同视角的特征具有一定的差异性，但是相同属性的点在不同视角的特征空间需要具有相似的邻接关系，为保证每个点在多视角特征具有相似的关系图，并对不同视角的特征相互约束，构造了公式(6)多视角目标函数：

其中，

是第v个视角特征空间的拉普拉斯矩阵。

③多视角标签约束：1)成组点云标签一致性：同类别点的在特征变换前后所对应的标签需保持一致，本发明通过构建成组点云标签矩阵Q，假设x₁和x₂属于第一类，x₃和x₄属于第二类，x₅和x₆属于第三类，则矩阵Q可以表示为：

成组点云标签一致性对应的目标函数可以表示为：

其中，G为权重矩阵，第二项是用于防止过拟合的约束。

此外，不同视角之间的成组真值标签与预测的成组标签应保持一致，并且不同视角间预测的成组标签具有一致性，因此，对应的多视角目标函数可以表示为：

其中，γ和δ是用于平衡权重矩阵的系数；

2)单点标签一致性：各个视角之间的分类结果尽可能的保持一致性的同时，每一个视角分类结果需要接近真实标签，构建多视角的单点标签约束。对于点云特征映射后的特征空间，利用线性分类器得到的分类结果要与点云所对应的真值标签保持一致，单点标签一致性标签真值约束项可以表示为：

其中，F是所有视角共同的单点真值标签矩阵，H是映射矩阵，即线性分类器，公式(9)中的第二项为约束项，防止求解H出现过拟合。

为了使得各个视角之间预测的标签具有一致性，则多视角单点标签一致性的目标函数可以表示为：

其中，γ和δ是用于平衡权重矩阵的系数。

④目标函数构建：本发明通过子空间学习的方法学习到判别性最优的特征表达，为了充分利用不同视角子空间特征表达的多样性，引入位置空间和特征空间联合约束项，为了保证不同视角同一类别目标的子空间特征表达能具有一致性，并且使子空间特征表达具有最佳的判别性，引入了成组标签一致性和单点标签一致性约束项，利用训练集中已知的成组标签Q和单点类别标签F来优化多视角子空间表达对每个类别的判别性，最终目标优化函数如下：

其中，λ₁，λ₂和λ₃为trade-off参数。

(3)对所构建模型的优化求解方法

由于目标函数(11)高度非线性，直接使用梯度下降法或牛顿法并不适合，为了方便求解，去掉子视图的下标，目标函数(11)可以转化为公式(12)：

基于公式(12)，分别对W，G和H求解。

1)W优化求解：固定G和H，将公式(12)转化为以W为变量的函数L(W)求解，可表示为：

上式为无约束优化问题。因此，公式(13)对W求偏导，得到：

其中，

W_i.表示矩阵W的第i行。给定训练数据原始特征矩阵X，采用无约束优化方法L-BFGS来更新W。

2)G优化求解：固定W和H，将公式(12)转化为以G为变量的函数L(G)求解，可表示为：

上式为无约束优化问题。因此，公式(15)对G求偏导，得到：

令

则得到：

G＝(QX^TW^T+δ∑_v≠wG_wW_wX_wX^TW^T)/((1+∑_v≠wδ)WXX^TW^T+γI)^-1

3)H优化求解：固定W和G，将公式(12)转化为以H为变量的函数L(H)求解，可表示为：

上式为无约束优化问题。因此，公式(18)对H求偏导，得到：

令

则可以得到：

经过上述求解，所有的变量能够求取。

(4)基于多视角特征融合的点云语义分割

目标函数(11)优化求解之后，学习到每个视角的特征变换矩阵和标签映射矩阵，即线性分类器，对于测试集的数据可以利用线性分类器对点云进行分类，由于H_v和W_v是已经求解出来的最优解，因此，输入新的点云特征X_v，通过公式(21)得到点云的分类结果：

其中，c为类别的个数，y_i为多视角分类的标签，

为每个视角对于分类结果影响的比例权重，且

由每个视角的Θ₄之间的比值决定。

本发明提出了一种多视角联合学习的点云分类框架。该框架包括用于去除特征冗余信息并进行低维表达的多视角特征相结合的子空间学习模块、用于保证多视角特征能够对点云本质属性的几何邻接结构的表达具有一致性的位置和特征空间局部分布一致性约束模块，以及保证每个视角分类标签与真实标签的一致和每个视角之间分类结果的一致的标签一致性约束模块。这些模块联合学习，利用迭代算法进行求解优化，能够同时获得用于去除冗余信息和低维子空间的特征映射矩阵和最优的分类器。

Claims (9)

1.机载激光雷达点云多视角特征联合学习下的语义标注方法，其特征是包括如下步骤：

(1)多视角点云特征提取；

(2)多视角特征联合学习的特征映射与分类模型的构建；

(3)对所构建模型的优化求解方法；

(4)基于多视角特征融合的点云语义分割。

2.根据权利要求1所述的机载激光雷达点云多视角特征联合学习下的语义标注方法，其特征是所述步骤(1)多视角点云特征提取，具体包括如下步骤：

利用点云的法向量、协方差特征值特征和Spin Image特征构造不同视角的点云特征，每个视角特征选取不同的半径r值，构造不同尺度的特征，由于法向量和协方差特征值特征主要表征的是点云的几何结构等特征，因此，本发明将法向量和协方差特征值特征作为一个视角的特征，对于法向量和协方差特征，在一个固定r上可以构建6维特向量，通过选取3个不同r值，即r＝[r₁，r₂，r₃]，每个点可构造18维的特征

对于法向量特征，选取r₁和r₂，每个点可构造6维的特征

对于Spin Image特征，通过选取r₁，r₂和r₃，每个点可构造108维的特征

因此，本发明构造的多视角的点云多尺度特征为：X＝[X₁，X₂]^T，其中，X₁＝[F^cov，F^nor]，X₂＝F^spin。

3.根据权利要求1所述的机载激光雷达点云多视角特征联合学习下的语义标注方法，其特征是所述步骤(2)多视角特征联合学习的特征映射与分类模型的构建，具体包括：

①RICA(子空间学习)；

②多视角特征空间和位置空间局部分布一致性约束；

③多视角标签约束；

④目标函数构建。

4.根据权利要求3所述的机载激光雷达点云多视角特征联合学习下的语义标注方法，其特征是所述步骤①RICA(子空间学习)具体包括：由于提取的多尺度点云特征存在噪声和冗余信息，而将原始的高维特征空间映射到低维的子空间能够实现数据降维的同时也能实现子空间的学习，为了去除冗余信息，本发明最小化公式(1)基于重构ICA算法的目标函数：

其中，

是特征转换矩阵，将特征矩阵

映射到d′维的特征空间(d′＜d)，n为样本特征的个数，公式(1)中，g(·)＝log(cosh(·))，cosh(WX)＝(exp(WX)+exp(-WX))/2，α是权衡重建误差和稀疏的参数；

对于多视角特征，通过不同的映射矩阵将不同视角映射到相同的子空间上，因此，多视角特征的子空间学习目标函数可以表示为：

其中，W_v表示第v个视角的特征变换矩阵，X_v表示第v个视角的特征，m是视角的个数。

5.根据权利要求3所述的机载激光雷达点云多视角特征联合学习下的语义标注方法，其特征是所述步骤②多视角特征空间和位置空间局部分布一致性约束，具体包括：

1)点云位置空间约束：虽然每个点具有不同视角的特征，但各个点的空间位置保持同样的空间关系，因此，构造的空间位置约束适用于所有视角的子空间学习，对于点云数据，空间位置相邻的K个点趋向于属于同一类别的目标，同种类别点的特征空间也具有相似的数据分布，根据公式(3)构建点云数据的空间位置权重矩阵：

其中，P_i和P_j表示点的三维坐标，

表示p_i点在位置空间的K个近邻点；

2)点云特征空间约束：点云的特征空间中，相邻的K个点的特征趋向于表征同种类别的目标，根据公式(4)构建点云特征空间权重矩阵：

其中，

表示p_i点在特征空间的K个近邻点；

考虑到点云的位置空间和特征空间局部近邻点具有相似的分布，因此，同一视角中位置空间和特征空间约束可以表达为：

其中，D_U和D_V是对角矩阵，

L_U＝D_U-U_ij，L_V＝D_V-V_ij，tr为矩阵的秩，β是trade-off参数；

虽然不同视角的特征具有一定的差异性，但是相同属性的点在不同视角的特征空间需要具有相似的邻接关系，为保证每个点在多视角特征具有相似的关系图，并对不同视角的特征相互约束，构造了公式(6)多视角目标函数：

其中，

是第v个视角特征空间的拉普拉斯矩阵。

6.根据权利要求3所述的机载激光雷达点云多视角特征联合学习下的语义标注方法，其特征是所述步骤③多视角标签约束，具体包括：

1)成组点云标签一致性：同类别点的在特征变换前后所对应的标签需保持一致，本发明通过构建成组点云标签矩阵Q，假设x₁和x₂属于第一类，x₃和x₄属于第二类，x₅和x₆属于第三类，则矩阵Q可以表示为：

成组点云标签一致性对应的目标函数可以表示为：

其中，G为权重矩阵，第二项是用于防止过拟合的约束；

此外，不同视角之间的成组真值标签与预测的成组标签应保持一致，并且不同视角间预测的成组标签具有一致性，因此，对应的多视角目标函数可以表示为：

其中，γ和δ是用于平衡权重矩阵的系数；

2)单点标签一致性：各个视角之间的分类结果尽可能的保持一致性的同时，每一个视角分类结果需要接近真实标签，构建多视角的单点标签约束；

对于点云特征映射后的特征空间，利用线性分类器得到的分类结果要与点云所对应的真值标签保持一致，单点标签一致性标签真值约束项可以表示为：

其中，F是所有视角共同的单点真值标签矩阵，H是映射矩阵，即线性分类器，公式(9)中的第二项为约束项，防止求解H出现过拟合；

为了使得各个视角之间预测的标签具有一致性，则多视角单点标签一致性的目标函数可以表示为：

其中，γ和δ是用于平衡权重矩阵的系数。

7.根据权利要求3所述的机载激光雷达点云多视角特征联合学习下的语义标注方法，其特征是所述步骤④目标函数构建，具体包括：

本发明通过子空间学习的方法学习到判别性最优的特征表达，为了充分利用不同视角子空间特征表达的多样性，引入位置空间和特征空间联合约束项，为了保证不同视角同一类别目标的子空间特征表达能具有一致性，并且使子空间特征表达具有最佳的判别性，引入了成组标签一致性和单点标签一致性约束项，利用训练集中已知的成组标签Q和单点类别标签F来优化多视角子空间表达对每个类别的判别性，最终目标优化函数如下：

其中，λ₁，λ₂和λ₃为trade-off参数。

8.根据权利要求1所述的机载激光雷达点云多视角特征联合学习下的语义标注方法，其特征是所述步骤(3)对所构建模型的优化求解方法：由于目标函数(11)高度非线性，直接使用梯度下降法或牛顿法并不适合，为了方便求解，去掉子视图的下标，目标函数(11)可以转化为公式(12)：

基于公式(12)，分别对W，G和H求解；

1)W优化求解：固定G和H，将公式(12)转化为以W为变量的函数L(W)求解，可表示为：

2)G优化求解：固定W和H，将公式(12)转化为以G为变量的函数L(G)求解，可表示为：

3)H优化求解：固定W和G，将公式(12)转化为以H为变量的函数L(H)求解，可表示为：

9.根据权利要求1所述的机载激光雷达点云多视角特征联合学习下的语义标注方法，其特征是所述步骤(4)基于多视角特征融合的点云语义分割：目标函数(11)优化求解之后，学习到每个视角的特征变换矩阵和标签映射矩阵，即线性分类器，对于测试集的数据可以利用线性分类器对点云进行分类，由于H_v和W_v是已经求解出来的最优解，因此，输入新的点云特征X_v，通过公式(16)得到点云的分类结果：

其中，c为类别的个数，y_i为多视角分类的标签，

为每个视角对于分类结果影响的比例权重，且

由每个视角的Θ₄之间的比值决定。

Images