CN111275052A - 基于多层次聚合特征提取与融合的点云分类方法 - Google Patents

基于多层次聚合特征提取与融合的点云分类方法 Download PDF

Info

Publication number
CN111275052A
CN111275052A CN202010030687.9A CN202010030687A CN111275052A CN 111275052 A CN111275052 A CN 111275052A CN 202010030687 A CN202010030687 A CN 202010030687A CN 111275052 A CN111275052 A CN 111275052A
Authority
CN
China
Prior art keywords
point
point set
llc
features
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010030687.9A
Other languages
English (en)
Inventor
陈动
曹伟
向桂丘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN202010030687.9A priority Critical patent/CN111275052A/zh
Publication of CN111275052A publication Critical patent/CN111275052A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出的是一种基于多层次聚合特征提取与融合的点云分类方法，包括如下步骤：(一)多层次点集的构建；(二)基于LLC‑LDA的点集特征提取；(三)基于多尺度最大池化(LLC‑MP)的点集特征提取；(四)基于多层次点集特征融合的点云分类。本发明提出一种基于多尺度最大池化和latent Dirichlet allocation(LDA)的多层次点集聚合特征提取与融合方法，并基于融合的聚合特征实现点云分类。本发明算法通过多层次聚类，自适应获取多层次多尺度目标点集，通过局部线性约束稀疏编码(Locality‑constrained Linear Coding，LLC)表达点云单点特征，利用点坐标构建尺度金字塔，并基于最大池化方法构造能够表征点集局部分布的特征，然后融合该特征与LLC‑LDA模型提取点集全局特征，最终利用融合的点集多层次聚合特征实现点云分类。

Description

基于多层次聚合特征提取与融合的点云分类方法
技术领域
本发明涉及的是一种基于多层次聚合特征提取与融合的点云分类方法，属于激光雷达遥感数据智能处理领域。
背景技术
近年来激光雷达传感器在众多领域的应用越来越广泛。对激光点云数据进行处理是自动驾驶、智慧城市以及测绘遥感等领域应用的重要步骤。点云的语义分割是点云数据处理以及数据得到广泛应用的重要基础。由于点云中包含着大小和几何结构不同的多种复杂地物目标，使得每个点的准确有效分类变得非常具有挑战性。因此，对点云语义分割的研究具有重要的意义。
目前研究者们提出了大量点云语义分割算法，这些算法可以主要分为两类：基于单点的方法和基于点集的方法。基于单点的方法主要是通过对点云的单点进行邻域选择、特征提取和分类器分类。其中，邻域选择主要有：基于半径、柱形区域和K近邻等邻域选择方式。特征提取包括：底层特征提取和基于底层特征的更高层次特征提取与选择。底层特征提取主要有：法向量和高程特征、Spin Image、协方差特征值特征、全局特征视点特征直方图(View Feature Histogram，VFH)和聚类视点特征直方图(Clustered View FeatureHistogram，CVFH)等特征，而更高层次特征提取方法主要有：流行学习、低秩表示和稀疏表达等。分类器主要有：线性分类器、随机森林、AdaBoost和SVM(Support Vector Machine)等。例如，Mei等人利用半径邻域内的近邻点提取每个点的颜色信息、法向量、Spin Image和高程特征，然后利用边界、合作图和标签约束进行特征学习与选择，最后利用线性分类器对每个点进行分类。然而这种基于单点的方法提取的特征并不够稳定，缺乏局部区域点之间的结构与关联信息等，使得基于单点分类方法的精度和鲁棒性并不理想。
为了解决上述问题，研究人员提出了基于点集的点云分类方法，这类方法是根据先验知识将具有相同属性的点构造成点集，并构造点集特征进而提高特征表达的鲁棒性。以点集为点云分类单元，能够降低噪点的影响，提升点云分类的精度。其中，点集的构造方法有：基于聚类的方法、基于区域生长的方法、基于模型的方法、基于图割和归一化分割、基于内容敏感和归一化分割、基于体素的方法和基于近邻点的方法等。点集的特征构造主要有：基于点集的低层特征构造的方法、基于Bow(词袋)和LDA(Latent DirichletAllocation)的方法、基于稀疏编码和LDA的方法和基于卷积神经网络的方法等。例如，Xu等人将点云向地面投影成光栅图像，然后利用内容敏感约束子对光栅图像进行超像素分割，进而利用基于指数函数的归一化分割方法获取不同层次的点集，接着对每个点的低层特征进行稀疏编码，并基于LDA模型构造多层次点集的特征，最后，利用AdaBoost分类器对点集进行分类。这些方法取得了较好的分类效果，同时也说明了基于点集分类的有效性以及基于点集的更高层次特征对于分类的鲁棒性。
然而，点集的构造依赖于点云的分割和聚类算法。大部分的分割算法对复杂场景的分割并不理想，尤其是对于点云分布散乱的场景分割则面临更多困难。例如，点与点之间的拓扑结构难以分析以及有效分割措施的选择等。例如，基于区域生长的分割算法受种子点的选取和边界判定条件影响较大，由于生长判定准则是依据各个点之间的相关特征，而低层次的特征的选取对于分割结果影响较大，造成算法鲁棒性较差。基于模型的分割方法只能应用到特定的模型种类。基于图割和归一化分割以及基于内容敏感和归一化分割的方法都需要将点云投影到二维栅格图像，增加了计算难度，并且不能保证每个层次分割的点集具有差异性。若构造的层次数较少，则会造成较多的目标物体无法充分分割，不利于不同层次的稳定、显著特征提取。虽然基于聚类的方法具有一定的自适应性，但也有一定局限性。例如，通常过于依赖点与点之间的距离，在一些复杂场景，不同物体相邻过近导致聚类算法难以分割。此外，通常基于一种聚类算法并不能将点云不同尺度的目标分割出来。为了获取更具表征性的不同目标不同层次的点集，本发明提出了一种基于点云密度和点集最大点数控制的多层次点集构建方法。该方法首先利用基于密度聚类的DBSCAN(Density-BasedSpatial Clustering of Applications with Noise)算法对点云进行粗分割，然后，利用K-means算法对每个粗分割后的大尺度点集进行迭代分割，使得每个点集内的点数少于一个阈值T，从而生成小尺度的点集。结合两种聚类算法，能够有效的构建多个层次不同大小的点集。
此外，对于多层次点集特征的构建，众多学者基于字典学习的方法对单点特征进行稀疏表示，然后基于稀疏表示的结果对点集利用LDA等方法提取更高层次特征。由于点云特征的局部区域具有一定的关联性，而上述方法在稀疏表达时并未考虑到点云特征的局部特性。上述方法中通常只利用了基于LDA模型构造的点集特征，而基于LDA的点集特征表征的点集的全局特征，缺乏点集内的局部结构等特征。
发明内容
本发明的目的在于解决现有激光雷达点云语义标注技术中存在的上述缺陷，基于机载激光雷达三维点云数据，提出一种基于多层次聚合特征提取与融合的点云分类方法，提高点云语义标注的精度，具体采用局部线性约束的稀疏编码(Locality-constrainedLinear Coding，LLC)对点云的单点特征进行稀疏表达。为了获取点集的局部特征，本发明提出了一种基于点集的多尺度最大池化特征构造方法。然后，基于提取的不同层次点集的LDA特征(命名为LLC-LDA特征)和多尺度最大池化特征(命名为LLC-MP特征)进行点集多层次特征聚合。实现了点集的全局特征和局部特征的描述，提高了点集特征的稳定性和判别性。
本发明的技术解决方案：基于多层次聚合特征提取与融合的点云分类方法，包括如下步骤：
(一)多层次点集的构建；
(二)基于LLC-LDA的点集特征提取；
(三)基于多尺度最大池化(LLC-MP)的点集特征提取；
(四)基于多层次点集特征融合的点云分类。
本发明的优点：
(1)提出了一种基于点云密度和点集最大点数控制的多层次点集构建方法，能够有效的构建多个层次不同大小的点集。点集的生成不需要对点集投影到二维栅格，且可以自适应的构建不同大小的目标物体点集。通过控制点集最大点数的方式能够使得精细层次的点集得到充分的分割。基于不同层次的点集能够有效的构建比单点特征更鲁棒的点集特征；
(2)提出了一种基于引入局部线性约束的稀疏编码和LDA模型的点集全局特征提取方法，即LLC-LDA。基于LLC的稀疏编码考虑了单点特征之间的局部关系，比直接稀疏编码的方法能够获得更显著的稀疏表示。进而使得基于LDA模型构造的点集特征更稳定、具有判别性；
(3)提出了一种基于点集的多层次LLC-LDA和LLC-MP聚合特征提取与融合的方法。由于点集的LLC-LDA只表征了点集的全局特征，而LLC-MP特征利用点集内点的空间位置信息，构造了不同尺度空间融合的点集特征，即该特征能够反映点集内的局部特性。将不同层次的点集特征聚合到最精细层的点集上，生成点集的多层次聚合特征，然后，对表征全局和局部特性的点集多层次聚合特征进行融合，获得点集的更鲁棒、更具判别性的特征。
附图说明
附图1是本发明一种基于多层次聚合特征提取与融合的点云分类方法的总体步骤流程图。
具体实施方式
如图1所示。首先，针对输入的点云数据利用基于点云密度和点集最大点数控制的多层次点集构建方法生成多层点集。然后，对点云的每个单点提取多尺度的协方差特征值特征和Spin Image特征。接着，对点云的单点特征利用LLC进行字典学习和稀疏表达。再结合多层次点集和单点的稀疏表达利用LDA模型和多尺度最大池化的方法生成具有全局性的点集LLC-LDA特征和具有局部性的点集LLC-MP特征。然后，将不同层次的不同类型的点集特征传递到最精细层点集空间，进而构造点集的多层次聚合特征，并将不同类型的特征进行融合。最后，基于融合的点集多层次聚合特征，利用SVM分类器实现点云的分类。
一种基于多层次聚合特征提取与融合的点云分类方法的具体操作步骤如下：
(一)多层次点集的构建
为了克服点云中基于单个点的特征对物体分类的易受噪声干扰以及缺乏点之间存在的关系表达等问题，本发明将大规模点云按照密度、位置关系和数量等约束构造多层次点集，进而能够多层次点集提取用于分类的多层次特征。不同层次的点集表征地物的不同尺度信息，因此，构造多个层次的点集，实现与地物实体空间范围相适应的多层次结构，进而更好的表征地物信息。虽然目前有一些多层次点集构建的方法，但多数方法的点集数目以线性方式变化，各个层次的点集变化不大，使得同一目标的不同尺度特征并不明显，不同目标的同一尺度特征不明显。然而，目标的全面表征由多层次的点集共同构造，大尺度的点集可以更好的表征目标的全局信息，小尺度的点集能更好的表征目标的局部信息，不同尺度点集的结合可以更好的表征目标的结构信息。因此，为了获取更具表征性的不同目标不同层次的点集，本发明提出了一种基于点云密度和点集最大点数控制的多层次点集构建方法。
(1)基于点云密度的大尺度点集构造
点云场景中的目标具有多种形态，基于点云目标大小或点个数的固定阈值直接分割的方法并不适用于各类目标的分割。室外场景的环境通常比较复杂，存在的物体种类较多，且形状不固定，又由于采集设备精度等原因，存在一定的噪声，在无法提前知道类别数的前提下，为了使得各类目标得到合理的分割单元数量，采用DBSCAN进行初始的点云聚类，DBSCAN算法不需要提前设置聚类数量，可以直接根据点云数据的分布情况，聚类出最符合的实验场景的不同类别。
(2)基于K-means的自适应多层次小尺度点集构造
经过DBSCAN算法完成点云的初始聚类，但聚类后的点云簇面积/体积较大，未能顾及目标的细节及局部走势，信息的表达有所缺失，并且不容易保证每个点云簇中的点均属于同一类别(未能保证点云簇内点的均质性)。另外，K-means算法可以用来分割点云，但如果直接在原始点云数据上使用K-means，会导致迭代次数变多，增加时间成本。因此，在DBSCAN聚类的基础上，迭代使用K-means过分割点云，快速地将点云分成大量点数小于T的点集，并且确保点集内部点的标签属于同一类别。其中，T为控制小尺度点集大小的参数。为了使各类别的点集具有较高的区分度，一个点集只能包含一个地物或者地物的一部分，且各个点集中的点分布是相对一致的。因此，需对初始聚类点云中每个点云簇进一步分割，形成众多过分割且面积/体积较小的均质点云簇使其每个点集中的点尽可能的属于同一类别。本发明采用K-means聚类算法进一步分割点云簇，算法的具体流程如下：
Figure BSA0000200120620000051
Figure BSA0000200120620000061
经过基于K-means聚类构造的小尺度点集内的点基本都属于同一类别，而且小尺度点集反映出的是目标物体的局部区域。
(3)多层次点集生成
为了避免单个尺度下的点集对目标物体描述不全面的问题，本发明通过构造多个尺度的点集对不同大小的目标进行有效的表达。其中，大尺度点集对目标物体的整体结构等信息进行描述，小尺度的点集对目标物体的局部结构信息进行表达。对于小尺度点集的构造，可以通过控制点集最大点数阈值T来生成不同层次的点集。此外，为了获得具有邻接关系且更多层次的点集，可以设置较小的阈值T，然后获得过分割的点集，再将过分割的点集利用Meanshift聚类算法通过改变不同的聚类半径来获得更多尺度的点集。
(二)基于LLC-LDA的点集特征提取
首先，提取了点集中每个单点的特征。然后，利用基于局部线性约束稀的疏编码构造点集的多尺度最大池化特征和LLC-LDA特征。
(1)基于LLC的单点特征字典学习与稀疏编码
由于直接提取的单点多尺度特征为低层特征，对于点云特性的表征并不显著。为了更有效的表达点云特征，词袋(BoW)、低秩表示、流形学习和稀疏编码等方法通常用于特征选择。而稀疏编码通过学习一组“超完备”基向量来更高效地表示样本数据，在字典学习和特征表达方面具有显著优势：较好的重建性能、稀疏表示有助于显著性特征的学习与获取和稀疏特征具有更好的线性可分性能。但是，直接稀疏编码，稀疏表达并不具有较好的局部性。局部性比稀疏性更重要此外，而且局部性能够保证编码的稀疏性，但是稀疏却不能保证局部性。由于点云的近邻点通常具有相同或相似的属性，所以有效的利用点云的局部平滑性进行稀疏编码将更有助于特征的学习。因此，本发明采用局部线性约束的稀疏编码(LLC)对点云特征进行稀疏表达。具体步骤如下：
设点云特征归一化后为
Figure BSA0000200120620000062
其中，N为点云特征个数，D为每个点云特征的维度。点云特征的字典为
Figure BSA0000200120620000063
M为字典中单词的个数，点云特征X的LLC稀疏编码为
Figure BSA0000200120620000071
LLC稀疏编码模型如下：
Figure BSA0000200120620000072
其中，⊙为元素的内积，λ是约束条件正则项系数。
Figure BSA0000200120620000073
是局部约束条件，其求解方法如下：
Figure BSA0000200120620000074
其中，dist(xi，B)＝[dist(x1，b1)，...，dist(xi，bM)]T，dist(xi，bj)为xi和bj的欧式距离。σ为控制局部区域范围的参数。为了保证C具有稀疏性的同时，并且具有局部平滑性，需令|ci|＜ε的元素为0。
由于单点的多尺度特征只描述了单个点的特征，缺乏点与点之间关系的描述，对噪声和异常点敏感。为了解决上述问题，根据不同层次的点集构建了多层次点集的特征。多层次点集特征主要包括两种：基于LLC-LDA的点集特征和基于多尺度最大池化的点集特征。
(2)基于LLC-LDA的点集特征提取
为了获取不同类型的更高层次特征，本发明通过对每个层次的点集的统计特征构造主题模型，进而基于主题模型提取每个点集的特征。具体构造方法如下：
首先，利用基于LLC稀疏表达的矩阵C统计每个点集中各个单词出现的频率。根据公式(3)计算任一点集中第i个单词的频率。
Figure BSA0000200120620000075
其中，
Figure BSA0000200120620000076
代表点集中第j个点的特征稀疏表达的第i个单词的频率。Nr为点集中点云的个数，β是一个T×M矩阵，T为主题模型的潜主题数。θ为T维的狄利克雷随机变量，即θ＝[θ1，...，θT]，θi为第i个潜主题的概率。进而构建如下的LDA模型：
Figure BSA0000200120620000077
其中，α为狄利克雷参数，潜主题集合为：w＝[w1，...，wm]。
对用于训练的点集数据，基于公式(3)和公式(4)，利用最大期望算法优化求解α和β。基于优化的这两个参数可以求得点集每个潜主题的概率，进而基于所有潜主题的概率构造点集的特征。第L层次的第l个点集的LLC-LDA特征可以表示为：
Figure BSA0000200120620000081
(三)基于多尺度最大池化(LLC-MP)的点集特征提取
基于LDA的特征描述的是不同层次点集的整体特征，而点集内通常包含多个点，这些点之间也存在着一定的结构关系。为了更充分表达点集的属性及结构信息，受空间金字塔启发，本发明对每个点集利用空间坐标构造多尺度金字塔，然后在每个尺度上利用最大池化的方式获取点集每个尺度的非线性特征。最后，将每个尺度的特征进行融合获得点集的坐标空间-特征空间特征。此外，该方法从另一个角度上也可以看作是对当前尺度的点集构造尺度更小的点集。点集特征提取的具体方法如下：
给定任一点集，对于第s∈[1，Ps]个尺度空间，Ps为尺度空间的个数，基于点集的空间坐标对点集划分成Ks个子空间，进而构造点集的不同尺度空间。
对于第s尺度，根据公式(6)，计算Ks个子空间的点集最大池化特征。
Figure BSA0000200120620000082
其中，
Figure BSA0000200120620000083
为最大池化函数，Cs和Ns分别为划分的第i∈[1，Ks]个子空间点集的稀疏表达矩阵和点集中点云的个数。fi，s的计算方法如公式(7)所示。
Figure BSA0000200120620000084
由于不同尺度下，每个子空间内单词的个数具有差异，不同尺度的特征对于点集的描述起到的作用也具有一定的差异，因此，不同尺度的最大池化特征具有不同的权重系数，即zs。此外，由于构造的最精细层点集中的点数较少，因此，本发明只构造两个尺度子空间。
点集的多尺度最大池化特征为：
fMP＝f1，s+，...，+fi，s，i∈[1，Ks]，s∈[1，Ps] (8)
按照下式对特征进行归一化：
Figure BSA0000200120620000085
若FMP表示的是第L层次的第l个点集的特征，则多尺度最大池化(LLC-MP)的点集特征可以表示为：
Figure BSA0000200120620000086
(四)基于多层次点集特征融合的点云分类
不同类型的特征对于目标的属性具有不同的表达，不同层次的点集特征对目标的描述也不同，为了对目标的属性进行全面有效的表达，本发明对不同类型和不同层次的点集特征进行有效的融合。
以LLC-LDA点集特征为例，不同层次的点集特征可以通过点集中点的坐标位置对特征进行聚合，通常以第L层(最精细层)的点集特征空间作为特征聚合的基准，并定义聚合后的特征为点集的多层次聚合特征。第1层和第2层的点集特征传递到第L层的点集特征空间进行特征聚合。则第l个点集的多层次聚合的LLC-LDA特征可以表示为：
Figure BSA0000200120620000091
利用上述方法同样可以对多尺度最大池化的点集特征进行聚合，即第l个点集的多层次聚合的LLC-MP特征可以表示为：
Figure BSA0000200120620000092
点集的LLC-LDA和LLC-MP特征分别反映了点集的全局特性和局部特性，两种特征对于点集的类别表征具有一定的差异，为了充分利用不同类型的特征对点集进行分类，本发明对点集的这两种特征进行融合，对第l个点集构造如式(13)所示的点集融合特征，进而对点集分类。
Figure BSA0000200120620000093
鉴于SVM(Support Vector Machine，SVM)优秀的泛化能力和对不同大小的数据具有相对较好的适应性，本发明选择SVM作为分类器用于点云的分类。实验中，本发明采用libsvm工具箱进行SVM模型的训练和测试。
本发明算法的关键参数有：点集最大点数阈值T，字典的单词数M，字典学习正则项系数λ，控制局部区域范围的参数Kn，潜在主题个数m。T的取值范围为：{100，200，300，400}，M的取值范围为：{64，128，256，512}，λ的取值范围为：{0.0001，0.0005，0.001，0.005，0.01}，Kn的取值范围为：{5，10，15，20}，m的取值范围为：{8，10，12，14，16}。
本发明提出的一种用于点云分类的点集多层次全局和局部聚合特征提取的方法。该方法首先通过多层次聚类的方法生成不同层次的点集，每个层次的点集具有不同的大小，并且生成的最低层次点集是目标物体的局部区域。为后续鲁棒、显著的点集特征提取提供了基础。然后，基于协方差特征值特征和Spin Image特征，提取点集的LLC-LDA和LLC-MP多层次聚合特征。基于LLC的字典学习和稀疏表达充分利用了各个近邻点之间的局部性，使得稀疏表达更具显著。将LLC-LDA和LLC-MP特征相结合，进而获得不同层次点集的全局和局部信息的表达。最后，基于点集的多层次聚合特征对点云分类。结果表明算法提取的多层次点集特征具有显著的判别性，能够有效的对不同类型的复杂目标物体进行有效的表征，极大地提高了点云语义标注的精度。

Claims (5)

1.基于多层次聚合特征提取与融合的点云分类方法，其特征是包括如下步骤：
(一)多层次点集的构建；
(二)基于LLC-LDA的点集特征提取；
(三)基于多尺度最大池化(LLC-MP)的点集特征提取；
(四)基于多层次点集特征融合的点云分类。
2.根据权利要求1所述的基于多层次聚合特征提取与融合的点云分类方法，其特征是所述步骤(一)多层次点集的构建具体包括如下步骤：
(1)基于点云密度的大尺度点集构造
点云场景中的目标具有多种形态，基于点云目标大小或点个数的固定阈值直接分割的方法并不适用于各类目标的分割，室外场景的环境通常比较复杂，存在的物体种类较多，且形状不固定，又由于采集设备精度等原因，存在一定的噪声，在无法提前知道类别数的前提下，为了使得各类目标得到合理的分割单元数量，本发明采用DBSCAN(Density-BasedSpatial Clustering of Applications with Noise)进行初始的点云聚类，DBSCAN算法不需要提前设置聚类数量，可以直接根据点云数据的分布情况，聚类出最符合的实验场景的不同类别；
(2)基于K-means的自适应多层次小尺度点集构造
经过DBSCAN算法完成点云的初始聚类，但聚类后的点云簇面积和体积大，未能顾及目标的细节及局部走势，信息的表达有所缺失，并且不容易保证每个点云簇中的点均属于同一类别，本发明在DBSCAN聚类的基础上，迭代使用K-means过分割点云，快速地将点云分成大量点数小于T的点集，并且确保点集内部点的标签属于同一类别，其中，T为控制小尺度点集大小的参数，基于K-means的自适应多层次小尺度点集构造算法如下：
Figure FSA0000200120610000011
Figure FSA0000200120610000021
(3)多层次点集生成
本发明对于小尺度点集的构造，可以通过控制点集最大点数阈值T来生成不同层次的点集，为了获得具有邻接关系且更多层次的点集，可以通过调下阈值T，然后获得过分割的点集，再将过分割的点集利用Meanshift聚类算法，通过改变不同的聚类半径，来获得更多尺度的点集。
3.根据权利要求1所述的基于多层次聚合特征提取与融合的点云分类方法，其特征是所述步骤(二)基于LLC-LDA的点集特征提取，包括如下步骤：
(1)基于LLC的单点特征字典学习与稀疏编码
本发明采用局部线性约束的稀疏编码(LLC)对点云特征进行稀疏表达，具体步骤如下：设点云特征归一化后为
Figure FSA0000200120610000022
其中，N为点云特征个数，D为每个点云特征的维度，点云特征的字典为
Figure FSA0000200120610000023
M为字典中单词的个数，点云特征X的LLC稀疏编码为
Figure FSA0000200120610000024
Figure FSA0000200120610000025
LLC稀疏编码模型如下：
Figure FSA0000200120610000026
其中，⊙为元素的内积，λ是约束条件正则项系数，
Figure FSA0000200120610000027
是局部约束条件，其求解方法如下：
Figure FSA0000200120610000028
其中，dist(xi，B)＝[dist(x1，b1)，...，dist(xi，bM)]T，dist(xi，bj)为xi和bj的欧式距离，σ为控制局部区域范围的参数，为了保证C具有稀疏性的同时，并且具有局部平滑性，需令|ci|＜ε的元素为0；
(2)LLC-LDA的点集特征提取
首先，利用基于LLC稀疏表达的矩阵C统计每个点集中各个单词出现的频率，根据公式(3)计算任一点集中第i个单词的频率：
Figure FSA0000200120610000031
其中，
Figure FSA0000200120610000032
代表点集中第j个点的特征稀疏表达的第i个单词的频率，Nr为点集中点云的个数，β是一个T×M矩阵，T为主题模型的潜主题数，θ为T维的狄利克雷随机变量，即θ＝[θ1，...，θT]，θi为第i个潜主题的概率，进而构建如下的LDA模型：
Figure FSA0000200120610000033
其中，α为狄利克雷参数，潜主题集合为：w＝[w1，...，wm]；
对用于训练的点集数据，基于公式(3)和公式(4)，利用最大期望算法优化求解α和β，基于优化的这两个参数可以求得点集每个潜主题的概率，进而基于所有潜主题的概率构造点集的特征，第L层次的第l个点集的LLC-LDA特征可以表示为：
Figure FSA0000200120610000034
4.根据权利要求1所述的基于多层次聚合特征提取与融合的点云分类方法，其特征是所述步骤(四)基于多尺度最大池化LLC-MP(LLC-Max Pooling)的点集特征提取，所述步骤如下：给定任一点集，对于第s∈[1，Ps]个尺度空间，Ps为尺度空间的个数，基于点集的空间坐标对点集划分成Ks个子空间，进而构造点集的不同尺度空间，对于第s尺度，根据公式(6)，计算Ks个子空间的点集最大池化特征：
Figure FSA0000200120610000035
其中，
Figure FSA0000200120610000036
为最大池化函数，Cs和Ns分别为划分的第i∈[1，Ks]个子空间点集的稀疏表达矩阵和点集中点云的个数，fi，s的计算方法如公式(7)所示：
Figure FSA0000200120610000037
由于不同尺度下，每个子空间内单词的个数具有差异，不同尺度的特征对于点集的描述起到的作用也具有一定的差异，因此，不同尺度的最大池化特征具有不同的权重系数，即zs，此外，由于构造的最精细层点集中的点数较少，因此，本发明只构造两个尺度子空间；
点集的多尺度最大池化特征为：
fMP＝f1，s+，...，+fi，s，i∈[1，Ks]，s∈[1，Ps] (8)按照下式对特征进行归一化：
Figure FSA0000200120610000041
若FMP表示的是第L层次的第l个点集的特征，则多尺度最大池化(LLC-MP)的点集特征可以表示为：
Figure FSA0000200120610000042
5.根据权利要求1所述的基于多层次聚合特征提取与融合的点云分类方法，其特征是所述步骤(五)基于多层次点集特征融合的点云分类，所述步骤如下：以LLC-LDA点集特征为例，不同层次的点集特征可以通过点集中点的坐标位置对特征进行聚合，通常以第L层(最精细层)的点集特征空间作为特征聚合的基准，并定义聚合后的特征为点集的多层次聚合特征，第1层和第2层的点集特征传递到第L层的点集特征空间进行特征聚合，则第l个点集的多层次聚合的LLC-LDA特征可以表示为：
Figure FSA0000200120610000043
利用上述方法同样可以对多尺度最大池化的点集特征进行聚合，即第l个点集的多层次聚合的LLC-MP特征可以表示为：
Figure FSA0000200120610000044
点集的LLC-LDA和LLC-MP特征分别反映了点集的全局特性和局部特性，两种特征对于点集的类别表征具有一定的差异，为了充分利用不同类型的特征对点集进行分类，本发明对点集的这两种特征进行融合，对第l个点集构造如式(13)所示的点集融合特征，进而对点集分类；
Figure FSA0000200120610000045
鉴于SVM(Support Vector Machine，SVM)优秀的泛化能力和对不同大小的数据具有相对较好的适应性，本发明选择SVM作为分类器用于点云的分类，利用libsvm工具箱进行SVM模型的训练和测试。
CN202010030687.9A 2020-01-13 2020-01-13 基于多层次聚合特征提取与融合的点云分类方法 Pending CN111275052A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010030687.9A CN111275052A (zh) 2020-01-13 2020-01-13 基于多层次聚合特征提取与融合的点云分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010030687.9A CN111275052A (zh) 2020-01-13 2020-01-13 基于多层次聚合特征提取与融合的点云分类方法

Publications (1)

Publication Number Publication Date
CN111275052A true CN111275052A (zh) 2020-06-12

Family

ID=70997075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010030687.9A Pending CN111275052A (zh) 2020-01-13 2020-01-13 基于多层次聚合特征提取与融合的点云分类方法

Country Status (1)

Country Link
CN (1) CN111275052A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112688961A (zh) * 2021-01-06 2021-04-20 北京科技大学 基于特征自适应层次聚类的网络流量图像安全分类方法
CN112764103A (zh) * 2020-07-09 2021-05-07 五季数据科技(北京)有限公司 一种基于稀疏编码特征dbscan聚类地震相分析方法
CN112927323A (zh) * 2021-02-23 2021-06-08 中国联合网络通信集团有限公司 一种图纸生成方法及装置
CN113470049A (zh) * 2021-07-06 2021-10-01 吉林省田车科技有限公司 一种基于结构化彩色点云分割的完整目标提取方法
CN113516663A (zh) * 2021-06-30 2021-10-19 同济大学 点云语义分割方法及装置、电子设备及存储介质
CN114492619A (zh) * 2022-01-22 2022-05-13 电子科技大学 一种基于统计和凹凸性的点云数据集构建方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460416A (zh) * 2018-02-28 2018-08-28 武汉理工大学 一种基于三维激光雷达的结构化道路可行域提取方法
CN110110802A (zh) * 2019-05-14 2019-08-09 南京林业大学 基于高阶条件随机场的机载激光点云分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460416A (zh) * 2018-02-28 2018-08-28 武汉理工大学 一种基于三维激光雷达的结构化道路可行域提取方法
CN110110802A (zh) * 2019-05-14 2019-08-09 南京林业大学 基于高阶条件随机场的机载激光点云分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUOFENG TONG，ET AL.: "Point Set Multi-Level Aggregation Feature Extraction Based on Multi-Scale Max Pooling and LDA for Point Cloud Classification", 《REMOTE SENSING》 *
YONG LI,ET AL: "Higher-Order Conditional Random Fields-Based 3D Semantic Labeling of Airborne Laser-Scanning Point Clouds", 《REMOTE SENSING 》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764103A (zh) * 2020-07-09 2021-05-07 五季数据科技(北京)有限公司 一种基于稀疏编码特征dbscan聚类地震相分析方法
CN112688961A (zh) * 2021-01-06 2021-04-20 北京科技大学 基于特征自适应层次聚类的网络流量图像安全分类方法
CN112927323A (zh) * 2021-02-23 2021-06-08 中国联合网络通信集团有限公司 一种图纸生成方法及装置
CN112927323B (zh) * 2021-02-23 2023-08-22 中国联合网络通信集团有限公司 一种图纸生成方法及装置
CN113516663A (zh) * 2021-06-30 2021-10-19 同济大学 点云语义分割方法及装置、电子设备及存储介质
CN113470049A (zh) * 2021-07-06 2021-10-01 吉林省田车科技有限公司 一种基于结构化彩色点云分割的完整目标提取方法
CN113470049B (zh) * 2021-07-06 2022-05-20 吉林省田车科技有限公司 一种基于结构化彩色点云分割的完整目标提取方法
CN114492619A (zh) * 2022-01-22 2022-05-13 电子科技大学 一种基于统计和凹凸性的点云数据集构建方法及装置
CN114492619B (zh) * 2022-01-22 2023-08-01 电子科技大学 一种基于统计和凹凸性的点云数据集构建方法及装置

Similar Documents

Publication Publication Date Title
CN110110802B (zh) 基于高阶条件随机场的机载激光点云分类方法
CN111275052A (zh) 基于多层次聚合特征提取与融合的点云分类方法
Bian et al. A survey on trajectory clustering analysis
CN108132968B (zh) 网络文本与图像中关联语义基元的弱监督学习方法
Doersch et al. Mid-level visual element discovery as discriminative mode seeking
Alzu’bi et al. Semantic content-based image retrieval: A comprehensive study
Cao et al. Weakly supervised vehicle detection in satellite images via multi-instance discriminative learning
Ren et al. 3d-a-nets: 3d deep dense descriptor for volumetric shapes with adversarial networks
Tian et al. A relation-augmented embedded graph attention network for remote sensing object detection
Xia et al. Exploiting deep features for remote sensing image retrieval: A systematic investigation
CN112883839B (zh) 基于自适应样本集构造与深度学习的遥感影像解译方法
CN105631892B (zh) 一种基于阴影和纹理特征的航空影像建筑物损毁检测方法
Cai et al. Multi-AUV collaborative target recognition based on transfer-reinforcement learning
CN113569979A (zh) 一种基于注意力机制的三维物体点云分类方法
Liu et al. Deep fuzzy graph convolutional networks for PolSAR imagery pixelwise classification
Jain et al. Visual dictionary learning for joint object categorization and segmentation
CN110738672A (zh) 一种基于分层高阶条件随机场的图像分割方法
Bouchakwa et al. A review on visual content-based and users’ tags-based image annotation: methods and techniques
CN112115806A (zh) 基于Dual-ResNet小样本学习的遥感影像场景精确分类方法
Bogovic et al. Learned versus hand-designed feature representations for 3d agglomeration
Micusik et al. Semantic parsing of street scenes from video
Xiao et al. A similarity-based two-view multiple instance learning method for classification
Guo et al. SAR automatic target recognition based on supervised deep variational autoencoding model
Wang et al. Logistic regression region weighting for weakly supervised object localization
Cui et al. An effective graph-based hierarchy image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200612

RJ01 Rejection of invention patent application after publication