CN116664826A - 一种小样本点云语义分割方法 - Google Patents
一种小样本点云语义分割方法 Download PDFInfo
- Publication number
- CN116664826A CN116664826A CN202310130974.0A CN202310130974A CN116664826A CN 116664826 A CN116664826 A CN 116664826A CN 202310130974 A CN202310130974 A CN 202310130974A CN 116664826 A CN116664826 A CN 116664826A
- Authority
- CN
- China
- Prior art keywords
- features
- semantic segmentation
- point cloud
- learning
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000011218 segmentation Effects 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 8
- 238000013461 design Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000009826 distribution Methods 0.000 description 11
- 230000009286 beneficial effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- XEKYMJYXJCEDGQ-DDFGHHCKSA-N (2s)-2-[[(2s)-2-[[(2s)-2-[[2-[[(2r)-2-[[(2s)-2-amino-3-(4-hydroxyphenyl)propanoyl]amino]propanoyl]amino]acetyl]amino]-3-phenylpropanoyl]amino]-4-methylpentanoyl]amino]-3-hydroxypropanoic acid Chemical compound C([C@@H](C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CO)C(O)=O)NC(=O)CNC(=O)[C@@H](C)NC(=O)[C@@H](N)CC=1C=CC(O)=CC=1)C1=CC=CC=C1 XEKYMJYXJCEDGQ-DDFGHHCKSA-N 0.000 description 5
- 108700041575 Ala(2)-Ser(6)- enkephalin-Leu Proteins 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于点云数据处理技术领域，具体涉及一种小样本点云语义分割方法。首先采用元学习训练策略对构建的语义分割网络模型进行训练；所述语义分割网络模型包括特征提取网络、多原型生成模型和关系学习网络；特征提取网络用于分别对支撑集和查询集进行语义特征提取得到支撑集特征和查询集特征，多原型生成模型用于对支撑集特征进行特征选择得到原型特征，关系学习网络用于学习原型特征和查询特征之间的相似性关系；然后将待分类点云数据输入至训练后的语义分割网络模型得到分类结果。本发明设计了一种小样本分类元学习方法，面对全新场景时仅需要少量标记样本就能够实现新类别的分类，相较于基于监督的深度学习方法能提高整体分类精度。
Description
技术领域
本发明属于点云数据处理技术领域，具体涉及一种小样本点云语义分割方法。
背景技术
点云数据由于包含着丰富的三维地理空间信息，成为地学领域的重要数据源，在环境监测、建筑物提取、森林资源调查、三维重建等领域发挥着重要作用。激光雷达(LightDetection and Ranging,LiDAR)和摄影测量技术的快速发展使得大区域、大尺度三维点云的快速获取变得更加容易。基于深度学习的点云语义分割旨在快速标注每个三维点的类别，是地形智能解译和点云数据应用中的关键技术。然而，对于大范围的城市场景来说，由于点云数据稀疏无序、密度分布不均匀以及地物几何特征差异显著等特点，精确快速的点云语义分割仍具有较大挑战。
目前，大部分基于深度学习的点云语义分割方法通过改进网络结构来提取更适合大尺度点云的几何特征或多分辨率特征，尽管可以进一步提高分类精度，但由于深度学习模型通常需要大量的样本以弥补其巨大的参数空间，当处理新的场景时，现有方法往往需要用足够的样本从头开始训练网络。而在实践中，收集大规模的数据集是困难的，目前可用的城市级别点云数据集生成的时间间隔都很长。相比之下，随着激光雷达传感器和影像匹配技术的迅速发展，大量未标记的点云数据获取十分容易，而少量的标签使得点云分类效果不佳。因此，在实际应用中，点云语义分割标签不足成为了将复杂的深度学习模型应用在未知场景下的最大挑战。
发明内容
本发明的目的在于提供一种小样本点云语义分割方法，用以解决点云语义分割标签不足情况下的基于监督的深度学习方法使得点云分类效果不佳的问题。
为解决上述技术问题，本发明提供了一种小样本点云语义分割方法，包括如下步骤：
1)采用元学习训练策略对构建的语义分割网络模型进行训练；所述语义分割网络模型包括特征提取网络、多原型生成模型和关系学习网络；特征提取网络用于分别对支撑集和查询集进行语义特征提取得到支撑集特征和查询集特征，多原型生成模型用于对支撑集特征进行特征选择得到原型特征，关系学习网络用于学习原型特征和查询特征之间的相似性关系；
2)将待分类点云数据输入至训练后的语义分割网络模型中，得到分类结果。
其有益效果为：本发明将元学习应用于点云分类中，设计了一种新的首次面向大尺度、大区域点云的小样本分类元学习方法，面对全新场景时仅需要少量标记样本就能够实现新类别的分类，同时适用于激光雷达点云和摄影测量密集匹配点云，具备良好的泛化性能，相较于基于监督的深度学习方法能提高整体分类精度，同时改善不平衡类别的分类精度。
进一步地，采用包含三个依次执行的元学习阶段的元学习训练策略对语义分割网络模型进行训练，三个元学习阶段分别为：第一阶段为利用源数据对语义分割网络模型进行元训练；第二阶段为利用小样本目标数据对第一阶段训练后的语义分割网络模型进行微调；第三阶段为利用未标记目标数据集进行元测试。
其有益效果为：第一阶段可以使得网络模型获得学习能力和可转移的知识，第二阶段使得网络模型能够有效地适应新的点云场景，实现新类别的分类，具备良好的泛化性能。
进一步地，特征提取网络用于采用如下方式进行语义特征提取：提取输入的点云数据不同多尺度的几何特征，并与多个维度的输入特征进行连接得到提取的语义特征，进而经过处理进行输出。
其有益效果为：利用不同尺度的几何特征可以适用于不同尺寸的地物分类。
进一步地，特征提取网络用于经过两个多层感知机的处理来进行输出，第一个多层感知机的输入为所述语义特征，第一个多层感知机的输出为第二个多层感知机的输入，第一个多层感知机的输出和第二个层感知机的输出进行特征连接后为最终的输出；且第一个多层感知机为轻量的多层感知机，第二个多层感知机为非线性的多层感知机。
其有益效果为：采用两个多层感知机进行处理，第一个多层感知机可以快速适应不同任务，第二个多层感知机作为度量学习器可以得到一个适用于关系学习网络的深层度量空间。
进一步地，多原型生成模型用于对每类分类先采用随机抽样再采用聚类的方式进行所述特征选择。
其有益效果为：先采用随机抽样方式可以减少点云的计算量，提高点云的处理速度，且随机抽样的特征反映了整体特征的概率分布；进而再采用聚类的方式可以选择具有代表性的特征，这种方式是无监督且随机的，适用于小样本问题。
进一步地，选择的特征为进行聚类后位于聚类中心的特征。
其有益效果为：选择聚类中心是选择最具代表性的特征，在提高点云处理速度的基础上保证分类精度。
进一步地，关系学习网络用于采用如下的可学习的深度度量空间来学习原型特征和查询特征之间的相似性关系：原型特征和查询特征被连接到关系对，并馈送至两层神经网络以学习两者之间的相似性关系。
其有益效果为：该种方式相较于手动选择相似度计算的方式，学习过程具有更强的数据适应性。
进一步地，训练语义分割网络模型时使用的损失函数为：
式中，表示损失，θ表示语义分割网络模型的参数，/>表示包含一个支撑集和一个查询集的N-way K-shot的子任务，x表示输入点，y表示点的真实类别标签，α表示网络训练时的学习率，/>表示损失函数的梯度，f[θ](·)表示语义分割网络模型，L表示图点的损失。
进一步地，训练语义分割网络模型过程中，每次随机选择N个类别的任务对语义分割网络模型进行训练，且任务之间没有交集。
其有益效果为：每次随机选择N个类别可以保证任务的丰富性，提高模型的稳健性。
附图说明
图1为本发明的总体流程示意图；
图2为本发明基于任务的元学习训练过程示意图；
图3为本发明的点云小样本多原型关系网络(MR-PFS网络)结构图；
图4为本发明的MR-PFS网络中特征提取网络的结构图；
图5为本发明的MR-PFS网络中多原型生成模型的结构图；
图6为本发明的MR-PFS网络中关系生成网络的结构图；
图7(a)—图7(d)分别为Proto-3D、attMPTI、Proto-RL和MPM-RL方法对CAM目标数据集分割的实验结果；
图7(e)为本发明的MR-PFS方法对CAM目标数据集分割的实验结果；
图7(f)为CAM目标数据集的标准分割结果；
图7(g)为图7(a)—图7(d)的不同灰度颜色表示的分类结果示意图；
图8(a)—图8(d)分别为Proto-3D、attMPTI、Proto-RL和MPM-RL方法对ISPRS目标数据集分割的实验结果；
图8(e)为本发明的MR-PFS方法对ISPRS目标数据集分割的实验结果；
图8(f)为ISPRS目标数据集的标准分割结果；
图8(g)为图8(a)—图8(f)的不同灰度颜色表示的分类结果示意图；
图9(a)—图9(d)分别为Proto-3D、attMPTI、Proto-RL和MPM-RL方法对DALES目标数据集分割的实验结果；
图9(e)为本发明的MR-PFS方法对DALES目标数据集分割的实验结果图；
图9(f)为DALES目标数据集的标准分割结果图；
图9(g)为图9(a)—图9(f)的不同灰度颜色表示的分类结果示意图。
具体实施方式
本发明构建了语义分割网络模型，是一个用于三维点云小样本语义分割的多原型关系学习网络(Multi-prototype Relation Network for Point Few-shot SemanticSegmentation,MR-PFS)，并采用包含三个依次执行的元学习阶段的元学习训练策略对语义分割网络模型进行训练，即一个包含三步元学习过程的小样本学习框架。下面具体介绍。
与传统的基于批处理的学习过程完全不同，基于任务的学习策略为网络能够从少量的标注样本中学习到尽可能多的知识提供了巧妙解决方案。对于每次训练过程，该MR-PFS网络模型首先随机接受一个包含N个类别的任务，组成一个包含K个样本的支撑集和一个包含L个样本的查询集，在小样本学习中也被称为N-way K-shot问题，每次随机选择N个类别可以保证任务的丰富性，提高模型的稳健性，并且任务之间没有交集。但与二维小样本任务不同，每个点云集合包含M个点的三个坐标和附加特征作为输入。在每个任务的元训练过程中，支撑点被明确标记，而查询集的标签被认为是未知的。该MR-PFS网络模型在支撑集的监督下预测查询点的标签。然后，通过将预测标签与地面真实值进行比较，利用损耗来优化网络参数。基于任务之间的差异，该模型可以通过迭代计算损失从而获得学习能力。
本实施例所设计的三维小样本学习方法的工作流程包括三个阶段。如图2所示，具体来说，MR-PFS网络模型首先将源数据集作为输入，通过元训练中多任务的学习过程获得学习能力和可转移的知识。然后，为了使网络能有效地适应新的点云场景，在小样本学习阶段用少量标记的目标样本对网络模型进行微调，学习到的与之前任务相关的特征将被保留，并且网络还将集中于学习特定任务之间的差异。最后，在未知目标样本上对模型进行测试，每个任务都是由少数标记样本和未标记测试集生成的。这三个阶段与元学习器(MR-PFS网络模型)相互连接，如图1所示。需要注意的是，每个阶段都是一个元学习过程，这使得网络模型具有学习的能力。而且，本实施例中提及的“小样本”指新数据集整体的小部分。
本实施例所使用的用于点云语义分割的模型的具体结构如图3所示，包括特征提取网络、多原型生成模型和关系学习网络三部分。
特征提取网络采用点云离散结构数据作为输入来提取多尺度特征，其具体结构如图4所示。由于受网络和内存限制，现有基于点的深度学习网络在面向以地形数据为主体的机载LiDAR点云时，直接输入大范围区域点云是不可行的，且复杂多样的点云区域会造成地物种类的差异及各类点云间数据量的不平衡，会造成优化过程的震荡。同时，机载数据坐标尺度大，不适合直接提取局部特征。因此在网络输入的前端，本发明通过对点云进行分块处理、坐标尺度处理以及数据增强处理来使模型更适应于大尺度点云，这部分属于网络输入的前端处理操作。在特征提取过程中，考虑到传统方法在特征提取上的经验，以及地物属性显著的几何差异，本发明重点关注了航空点云的几何特征，利用不同尺度上的层次化卷积来编码点的不同邻域几何特征，其中边缘卷积能够通过构建有向动态图得到局部特征，但本发明进行了改进，通过划分不同的邻域大小，实现不同尺度上的几何特征提取，来适应不同尺寸的地物。这些几何特征与经过编码后的其他多个维度的输入特征进行连接实现语义特征的提取。而后采用一个轻量的多层感知机(MLP)来快速适应不同的任务，最后采用一个非线性的多层感知机(MLP)作为度量学习器来得到一个适用于接下来关系网络的深层度量空间，具体连接关系为：第一个多层感知机的输出为第二个多层感知机的输入，第一个多层感知机的输出和第二个层感知机的输出进行特征连接后的结果为最终的输出。而且，结合图1可知，支撑集的数据经过特征提取网络提取得到支撑集特征，查询集的数据经过特征提取网络提取得到查询集特征。其中，图4中的N×3和N×Cin表示数据尺寸，N×3表示N个点，每个点有三维坐标，N×Cin表示每个点的其他维特征输入。
多原型生成模型旨在利用多个原型来表示支撑样本集的数据分布，并在过程中重点减少点云的计算量。具体而言，考虑到点云的规模较大，采用随机抽样的方式选取点作为每类的初始原型，这样也能更好地描述分布，具体结构如图5所示。由于点云分区的块通常在100平方米的区域内，并且包含有限数量的地面物体，因此进一步通过聚类的方法选择最具代表性的特征作为最终原型。从计算的角度来看，随机采样的方法可以提高点云处理的速度，明显快于的最远点采样方法，并且随机抽样的特征反映了整体特征的概率分布。尽管聚类方法在特征选择上是无监督且随机的，但它非常适合于小样本问题。结合图1，支撑集特征经过多原型生成模型得到原型特征。
关系学习网络的设计是使该模型对具有不同分布的数据具有学习能力，从而能够学习得到查询集样本的类别，其具体结构如图6所示。由于特征提取和多原型生成嵌入的特征向量的分布存在差异，直接计算嵌入特征之间的相似距离会混淆它们之间的语义关系。因此，本实施例不使用基于距离的相似度计算方法，而是使用可学习的深度度量空间来比较特征之间的关系。原型特征和查询集特征首先被连接到关系对，然后被馈送到两层神经网络以学习它们的相似性。与手动选择相似度计算方法相比，学习过程更具有数据适应性。本实施例设定了具有相同类别组合的关系对的得分更接近1，而具有不同类别组合的关系对的得分更接近0的原则。实际上，原型和查询集的特征与级联操作符相结合，然后关系网络为每个查询点产生关系得分，在关系学习模块、完全连接层、ReLU函数和批归一化中实现了具有丢失操作的两个完全卷积层。组合的成对特征最终被转换为具有sigmoid激活函数的分布，并选择均方误差损失函数来回归标签的关系得分，从而使网络能够学会学习。
下面将该方法应用于具体实例中进行进一步的详细说明。假定元训练的源数据集为SensatUrban数据集Birmingham区域的影像密集匹配点云，空间覆盖范围1.2×106m2，包含13类地物，569,147,075个点；目标点云数据包括常用的ISPRS激光雷达点云，包含9类地物，1,165,598个点；DALES激光雷达点云，空间覆盖范围2×106m2，包含8类地物，12,219,779个点和SensatUrban数据集Cambridge区域的影像密集匹配点云，空间覆盖范围3.2×106m2，包含12类地物，2,278,514,725个点。在点云小样本的数据准备上，首先采用平面50m×50m，间隔10m的滑动窗口将四个航空点云数据集划分成块。对于每个块，随机采样4096个点。
1)构建如图1所示的语义分割网络模型——MR-PFS网络模型。
2)在源数据上进行元训练(图1中M-TA)。
在源数据Birmingham点云集上，首先通过标记样本以监督学习方式对MR-PFS网络进行元训练，对于每次训练过程，随机接受一个N-way K-shot任务，其中每次随机选择N个类别可以保证任务的丰富性，提高模型的稳健性，同时任务之间没有交集。在每个任务的元训练过程中，支撑点被明确标记，而查询集的标签被认为是未知的。
每个任务中的支撑集和查询集/>同时输入MR-PFS网络(如图3所示)，首先通过基于点结构的特征提取网络得到两个子集的深度特征(如图4所示)；其次对于支撑集的每个类的点，随机抽样选取100个点作为每类的初始原型，进一步执行聚类并选择聚类中心的特征作为最终的多原型(如图5所示)；进而将原型特征和查询特征/>连接得到关系对，对于每对特征，关系网络为其产生关系得分ri,k为：
式中，表示向量拼接操作，gφ(·)表示包含两个学习模块的关系网络函数，具体每个模块包括一个全连接层、一个激活函数和批归一化处理，组合的成对特征经过关系网络转换为[0,1]分布。
最后依据查询集和原型的类别是否一致以监督方式来训练关系网络，选择均方误差损失函数来回归标签的关系得分，并优化MR-PFS网络的全部参数θ。基于任务之间的差异，该模型可以预测新的任务并通过多次迭代计算损失获得学习能力：
式中，表示损失，θ表示语义分割网络模型的参数，/>表示包含一个支撑集和一个查询集的N-way K-shot的子任务，x表示输入点，y表示点的真实类别标签，α表示网络训练时的学习率，/>表示损失函数的梯度，f[θ](·)表示MR-PFS网络函数，L表示图点的损失。
3)在小样本目标数据集上微调(图1中的FT)。
模型经过在源数据集上多任务的训练已经具备了学习能力，当目标域有一小部分标记样本时，再通过对模型微调使这种元学习能力更适应不同目标域，具体而言，对目标点云小样本数据集同样按照元训练的方式生成多个不同的子任务，训练过程同样按照多任务进行监督训练，唯一不同的是，模型的初始训练参数选择元训练得到的参数，因此微调的过程比元训练的过程更加高效。
4)在未标记目标数据集上元测试(图1中的M-TE)，测试通过后，便可得到训练后的语义分割网络模型。
此时，面对跨域的新场景，对目标数据集未标记样本进行元测试，同样按照元学习的多任务模式划分数据，与训练不同，不再随机选择样本，而是依次迭代每个任务，确保所有未标记点能够通过网络得到其类别标签，最终对测试点集按照投票方式得到每个点的类别标签。
5)将待分类点云数据输入至训练后的语义分割网络模型中，得到各点云相应的分类结果。
再通过如下的仿真实验，对本发明方案的效果进行验证和说明。
1)仿真条件。硬件采用英特尔酷睿i9-7900中央处理器，Nvidia GeForce RTX3090Ti图形处理器，128GB内存。软件采用Pytorch库来实现本发明方法。
2)参数设置：在MR-PFS网络中，使用点嵌入结构网络提取320维特征，通过随机采样选择100个初始原型，并从聚类中心生成每个类别中的m＝10个特征作为多个原型特征。对于特征学习的预训练过程，采用Adam优化器和0.001学习率对数据训练200次。对于元学习过程，随机采样并元训练了3000次。
3)仿真结果：在Birmingham源数据集元训练，在其余三个数据集上进行测试，其中每个目标数据集随机选取10％的点作为标记样本进行模型微调，其余90％作为测试。采用平均交并比mIoU作为评价指标。
将本发明的多原型关系学习网络MR-PFS与四个基于二维原型网络ProtoNet、二维关系网络RelationNet和最近提出的attMPTI三维基于注意力的多原型推理改进后的元学习网络：Proto-3D、Proto-RL、attMPTI和MPM-RL进行对比实验。图7(a)-图7(d)分别为Proto-3D、attMPTI、Proto-RL和MPM-RL方法对CAM目标数据集分割的实验结果；图7(e)为本发明的MR-PFS方法对CAM目标数据集分割的实验结果；图7(f)为CAM目标数据集的标准分割结果；图8(a)-图8(f)为ISPRS目标数据集与图7(a)-图7(f)相对应的实验结果；图9(a)-图9(f)为DALES目标数据集与图7(a)-图7(f)相对应的实验结果。表1为各种方法的最终分类结果对比表。其中，图7(g)为图7(a)—图7(d)的不同灰度颜色表示的分类结果示意图，图8(g)为图8(a)—图8(f)的不同灰度颜色表示的分类结果示意图，图9(g)为图9(a)—图9(f)的不同灰度颜色表示的分类结果示意图。
表1
实验结果表明：(1)相较于现有的元学习分类方法，本发明具备对大尺度点云，特别是不同场景目标域点云分类的优越性能；(2)本发明能够取得比其他先进的元学习分类方法更好的小样本点云分类结果；(3)与上述方法相比，本发明有效缓解了复杂场景中其他方法中存在的混杂错分现象，更精细准确地划分了细节目标，并且很好地保留了地物的边界信息。
综上，本发明能够在仅具有少量标记样本的目标数据集下，通过模型微调就能够快速适应到不同的目标场景，实现新类别的分类，具备良好的泛化性能，相较于基于监督的深度学习方法能提高整体分类精度，同时改善不平衡类别的分类精度，在实际应用中具有重要意义。
具体而言，本发明具备以下优点：
(1)设计了一种新的首次面向大尺度、大区域点云的小样本分类元学习方法，面对全新场景时仅需要少量标记样本就能够实现新类别的分类，同时适用于激光雷达点云和摄影测量密集匹配点云，具备良好的泛化性能，相较于基于监督的深度学习方法能提高整体分类精度，同时改善不平衡类别的分类精度。
(2)构建了一个包含三个元学习阶段的点云小样本学习框架。通过基于任务的学习策略，设计的网络可以通过元训练、微调和元测试三个步骤学习如何将知识从源领域转移到不同的目标领域。只需要少量新数据集的标记样本，就可以快速适应未知类别，而不需要从头开始重新训练。
(3)设计了一种基于三维点结构的MR-PFS点云小样本语义分割网络，包括构建了一个多尺度的点云特征提取网络，重点关注大范围点云的几何特征；构建了一个多原型生成模型，能够快速建模标记点云样本的复杂特征分布；构建了一个可学习的关系网络来标注深度度量空间中的未标记点，更符合深度特征分布。
Claims (9)
1.一种小样本点云语义分割方法，其特征在于，包括如下步骤：
1)采用元学习训练策略对构建的语义分割网络模型进行训练；所述语义分割网络模型包括特征提取网络、多原型生成模型和关系学习网络；特征提取网络用于分别对支撑集和查询集进行语义特征提取得到支撑集特征和查询集特征，多原型生成模型用于对支撑集特征进行特征选择得到原型特征，关系学习网络用于学习原型特征和查询特征之间的相似性关系；
2)将待分类点云数据输入至训练后的语义分割网络模型中，得到分类结果。
2.根据权利要求1所述的小样本点云语义分割方法，其特征在于，采用包含三个依次执行的元学习阶段的元学习训练策略对语义分割网络模型进行训练，三个元学习阶段分别为：第一阶段为利用源数据对语义分割网络模型进行元训练；第二阶段为利用小样本目标数据对第一阶段训练后的语义分割网络模型进行微调；第三阶段为利用未标记目标数据集进行元测试。
3.根据权利要求1所述的小样本点云语义分割方法，其特征在于，特征提取网络用于采用如下方式进行语义特征提取：利用不同尺度的层次化卷积提取输入的点云数据的不同邻域几何特征，并与多个维度的输入特征进行连接得到提取的语义特征，进而经过处理进行输出。
4.根据权利要求3所述的小样本点云语义分割方法，其特征在于，特征提取网络用于经过两个多层感知机的处理来进行输出，第一个多层感知机的输入为所述语义特征，第一个多层感知机的输出为第二个多层感知机的输入，第一个多层感知机的输出和第二个层感知机的输出进行特征连接后为最终的输出；且第一个多层感知机为轻量的多层感知机，第二个多层感知机为非线性的多层感知机。
5.根据权利要求1所述的小样本点云语义分割方法，其特征在于，多原型生成模型用于对每类分类先采用随机抽样再采用聚类的方式进行所述特征选择。
6.根据权利要求5所述的小样本点云语义分割方法，其特征在于，选择的特征为进行聚类后位于聚类中心的特征。
7.根据权利要求1所述的小样本点云语义分割方法，其特征在于，关系学习网络用于采用如下的可学习的深度度量空间来学习原型特征和查询特征之间的相似性关系：原型特征和查询特征被连接到关系对，并馈送至两层神经网络以学习两者之间的相似性关系。
8.根据权利要求1～7任一项权利要求所述的小样本点云语义分割方法，其特征在于，训练语义分割网络模型时使用的损失函数为：
式中，表示损失，θ表示语义分割网络模型的参数，/>表示包含一个支撑集和一个查询集的N-way K-shot的子任务，x表示输入点，y表示点的真实类别标签，α表示网络训练时的学习率，/>表示损失函数的梯度，f[θ](·)表示语义分割网络模型，L表示图点的损失。
9.根据权利要求1～7任一项权利要求所述的小样本点云语义分割方法，其特征在于，训练语义分割网络模型过程中，每次随机选择N个类别的任务对语义分割网络模型进行训练，且任务之间没有交集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310130974.0A CN116664826A (zh) | 2023-02-17 | 2023-02-17 | 一种小样本点云语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310130974.0A CN116664826A (zh) | 2023-02-17 | 2023-02-17 | 一种小样本点云语义分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116664826A true CN116664826A (zh) | 2023-08-29 |
Family
ID=87722970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310130974.0A Pending CN116664826A (zh) | 2023-02-17 | 2023-02-17 | 一种小样本点云语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664826A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058470A (zh) * | 2023-10-12 | 2023-11-14 | 宁德思客琦智能装备有限公司 | 一种基于小样本学习的三维点云分类的方法和系统 |
-
2023
- 2023-02-17 CN CN202310130974.0A patent/CN116664826A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058470A (zh) * | 2023-10-12 | 2023-11-14 | 宁德思客琦智能装备有限公司 | 一种基于小样本学习的三维点云分类的方法和系统 |
| CN117058470B (zh) * | 2023-10-12 | 2024-01-26 | 宁德思客琦智能装备有限公司 | 一种基于小样本学习的三维点云分类的方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | RSOD: Real-time small object detection algorithm in UAV-based traffic monitoring | |
| Zhu | Research on road traffic situation awareness system based on image big data | |
| Yin et al. | Airport detection based on improved faster RCNN in large scale remote sensing images | |
| Gong et al. | Object detection based on improved YOLOv3-tiny | |
| Zhang et al. | A GANs-based deep learning framework for automatic subsurface object recognition from ground penetrating radar data | |
| Lu et al. | P_SegNet and NP_SegNet: New neural network architectures for cloud recognition of remote sensing images | |
| CN110210431A (zh) | 一种基于点云语义标注和优化的点云分类方法 | |
| Wang et al. | A center location algorithm for tropical cyclone in satellite infrared images | |
| CN113157800A (zh) | 实时发现空中动态目标识别方法 | |
| CN113239753A (zh) | 基于YOLOv4改进的交通标志检测与识别方法 | |
| CN115082790A (zh) | 一种基于连续学习的遥感图像场景分类方法 | |
| CN116664826A (zh) | 一种小样本点云语义分割方法 | |
| Wang et al. | Pedestrian detection in infrared image based on depth transfer learning | |
| Ouadiay et al. | Simultaneous object detection and localization using convolutional neural networks | |
| Liu et al. | Tilt correction toward building detection of remote sensing images | |
| CN102360432A (zh) | 一种基于测地线传播的图像场景语义标记方法 | |
| Liu et al. | A real-time and efficient surface defect detection method based on YOLOv4 | |
| CN112329830B (zh) | 一种基于卷积神经网络和迁移学习的无源定位轨迹数据识别方法及系统 | |
| CN116503602A (zh) | 基于多层级边缘增强的非结构化环境三维点云语义分割方法 | |
| Nan et al. | Infrared object image instance segmentation based on improved mask-RCNN | |
| Xu et al. | Ship images detection and classification based on convolutional neural network with multiple feature regions | |
| Yan et al. | Object detection in optical remote sensing images based on transfer learning convolutional neural networks | |
| Goswami et al. | A comprehensive review on real time object detection using deep learing model | |
| Han et al. | Multi-modal remote sensing image matching method based on deep learning technology | |
| Zhou | GeoAI-Enhanced Techniques to Support Geographical Knowledge Discovery from Big Geospatial Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |