CN112927248B - 一种基于局部特征增强和条件随机场的点云分割方法 - Google Patents

一种基于局部特征增强和条件随机场的点云分割方法 Download PDF

Info

Publication number
CN112927248B
CN112927248B CN202110307518.XA CN202110307518A CN112927248B CN 112927248 B CN112927248 B CN 112927248B CN 202110307518 A CN202110307518 A CN 202110307518A CN 112927248 B CN112927248 B CN 112927248B
Authority
CN
China
Prior art keywords
point
layer
point cloud
feature
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110307518.XA
Other languages
English (en)
Other versions
CN112927248A (zh
Inventor
王杨滏
徐宗懿
秦红星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110307518.XA priority Critical patent/CN112927248B/zh
Publication of CN112927248A publication Critical patent/CN112927248A/zh
Application granted granted Critical
Publication of CN112927248B publication Critical patent/CN112927248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及点云处理、三维点云分割领域技术领域，具体涉及一种基于局部特征增强和条件随机场的点云分割方法，该方法包括：将数据集输入训练好的点云分割网络模型中进行分割，得到分割结果，点云分割网络模型先训练后使用，其训练过程包括：将训练集输入到点云分割网络模型中，经处理后点云分割网络模型输出预测的标签图；真实标签做监督，根据真实标签和预测的标签图计算交叉熵损失函数；迭代多次，采用随机梯度下降算法优化损失函数，最终得到训练好的点云分割网络模型。本发明可以即解决局部特征提取能力差的问题，同时可以解决边缘分割效果差的问题。

Description

一种基于局部特征增强和条件随机场的点云分割方法
技术领域
本发明涉及点云处理、三维点云分割领域技术领域，具体涉及一种基于局部特征增强和条件随机场的点云分割方法。
背景技术
点云分割技术是对点云进行划分，通常同一划分区域的点云具有相似的特征属性(例如几何特征、纹理特征等)，常常使用于智能驾驶、SLAM等技术中。常见的点云分割算法分为两大类：一类是使用传统数学方法，例如数学模型拟合、区域增长法、最小割算法、欧式聚类等方法，这些方法的易于实现，但是效果较差，通常只能作用于高质量的干净点云，当点云中噪声信息过多时，该类方法的效果会急剧下降；第二类方法使用深度学习技术来进行分割，该类方法得益于计算机对特征的学习，因此分割精度高，但是模型大小不一，同时使用GPU计算会消耗大量资源和时间，并且属于数据驱动型方法，学习能力受限于数据集的大小。
当下，基于深度学习的点云分割方法随着PointNet系列网络的出现开始快速发展，但是由于该类方法无法提取局部特征，从而导致分割结果较差。因此之后出现了大量将局部特征和全局特征结合的方法，但是未充分实现对局部特征的利用；另外这些方法虽然提高了模型的能力，但是由于模型本身对于边界区域的分割效果差。因此需要一种对局部特征增强，同时又可以处理边界区域效果差的点云分割方法。
发明内容
为了解决上述现有技术中无法有效提取出局部特征以及边缘分割效果较差的问题，本发明提供一种基于局部特征增强和条件随机场的点云分割方法，该方法通过设计神经网络，使之可以提取到更加丰富的特征，同时使用条件随机场来优化边缘分割效果差的问题。
一种基于局部特征增强和条件随机场的点云分割方法，包括以下步骤：将数据集输入训练好的点云分割网络模型中进行分割，得到分割结果，点云分割网络模型先训练后使用，其训练过程包括：
S1、将训练集输入到点云分割网络模型中，经处理后点云分割网络模型输出预测的标签图；
S2、真实标签做监督，根据真实标签和预测的标签图计算交叉熵损失函数；
S3、迭代多次，采用随机梯度下降算法优化损失函数，最终得到训练好的点云分割网络模型。
进一步的，点云分割网络模型包括ESA层、特征传递层(FP)和条件随机场，其中ESA层为多层，用于学习特征；特征传递层为多层，用于还原每个点的特征，得到每个点的标签图；条件随机场在网络最后一层之后，用于优化每个点的标签图，即优化模型结果。
进一步的，ESA层为特征学习模块，包括采样层、组合层和特征层，在组合层和特征层之间还设置有特征增强层；
(1)采样层：采用最远点采样算法从输入的点云中采样，得到采样后的子集后将其输入到组合层；采样层采用最远点采样算法进行采样可以很好的保留点云的几何特征，数学表示为：
P′＝FPS(P)
其中，P′表示最远点采样后得到的子集，FPS为最远点采样算法，P表示输入的点云；
(2)组合层：对于采样层的输出P′，将P′中的每个点p′i作为重心点，使用最近邻KNN算法找到重心点p′i的K个近邻点，将p′i的K个近邻点作为p′i的局部相关点Fi，数学表示为：
Fi＝KNN(p′i),i∈[0,M)
其中，Fi表示p′i的局部相关点，KNN为最近邻算法，P′表示最远点采样后得到的子集，M表示最远点采样算法的采样点数量；
以此类推找到每个重心点的K个近邻点，最终得到每个重心点的局部相关点F，大小为M×(D×K)；
(3)特征增强层：采用多层感知机(MLP)编码空间信息作为邻居点
Figure GDA0003551838270000031
对重心点p′i的影响权重
Figure GDA0003551838270000032
根据不同邻居节点对重心点的影响权重对重心点进行特征增强，得到特征增强后的特征F′，将F′送入特征层；
(4)特征层：使用PointNet来实现特征学习，获得输出特征结果Eout。
进一步的，特征传递层通过插值的方法来恢复每个点的特征，输出每个点的标签图
Figure GDA0003551838270000033
进一步的，条件随机场的输入为特征传递层输出的每个点的标签图
Figure GDA0003551838270000034
条件随机场通过最小化单个点的势能和点对之间的势能来改善网络性能，获得优化后的标签图
Figure GDA0003551838270000035
进一步的，将特征传递层预测产生的每个点的标签图
Figure GDA0003551838270000036
和初始点云的输入坐标pi来作为能量惩罚项：
Figure GDA0003551838270000037
E1(ci)＝-log(ci),.
Figure GDA0003551838270000038
Figure GDA0003551838270000039
其中σα，σβ，σγ是超参数，E(c)表示条件随机场的总体能量项，其中，ci为第i个点的标签，E1为单点势能，E1(ci)表示为点i添加标签ci所需的代价，E2为点对势能，E2(ci,cj,pi,pj)表示临近点i和j分别加上标签ci,cj所需的代价，pi,pj分别表示临近点i和j的坐标，μ(ci,cj)表示符号函数。
进一步的，交叉熵损失函数为：
Figure GDA0003551838270000041
Figure GDA0003551838270000042
Figure GDA0003551838270000043
其中，L表示交叉熵损失函数，
Figure GDA0003551838270000044
为模型预测的标签，yi为真实的标签，argmax(.)求概率最大的标签对应的类别，Si表示归一化后的概率分布，c′i表示优化后的标签图
Figure GDA0003551838270000045
中的第i个标签，c′j表示优化后的标签图
Figure GDA0003551838270000046
中的第j个标签。
本发明的有益效果如下：
通过特征增强模块可以较好的改善局部特征学习能力差的问题，丰富特征表达进而提高模型总体的分割精度，同时条件随机场部分可以通过对点云中点和点之间产生约束，改善边缘分割问题。因此本发明可以即解决局部特征提取能力差的问题，同时可以解决边缘分割效果差的问题。
附图说明
下面结合附图和具体实施方式对本发明做进一步详细的说明。
图1为本实施例提供的一种基于局部特征增强和条件随机场的点云分割方法流程示意图；
图2为本实施例提供的一种点云分割网络结构图；
图3为本实施例提供的一种ESA层的流程图；
图4为机器学习中二分类模型的混淆矩阵的表示方法；
图5为一个实验实例的原始展示；
图6为未使用特征增强层但使用条件随机场的网络在训练了100次后的结果图；
图7为使用特征增强层但未使用条件随机场的网络在训练100次后的结果图；
图8为既使用特征增强也使用条件随机场的网络在训练100次后的结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供一种基于局部特征增强和条件随机场的点云分割方法，如图1所示，包括但不限于如下步骤：将数据集输入训练好的点云分割网络模型中进行分割，得到分割结果。
获取数据集，对数据集进行预处理，得到预处理后的数据集。
在一种可选的实施方式中，我们选择斯坦福3D室内扫描数据集(S3DIS)和SemanticKITTI这两个数据集。并将数据集分成训练集、验证集和测试集三个部分。
数据集介绍：其中S3DIS为室内数据集，共分成13个类别，包含6个区域一共271个房间，同时每个点都具有坐标、法向量、颜色和标签信息；图5是S3DIS中的一个示例图；SemanticKITTI数据集是室外雷达扫描数据集，共包含43552个扫描数据，共有22个序列，包括19个类别，每个点只使用空间和标签信息；
数据集切分：对于S3DIS数据集，我们使用6-fold交叉验证方法，即每次取一个区域作为测试集，其他5个区域作为训练集；SemanticKITTI数据集的00-10个序列作为训练集，11-21个序列作为测试集。
本实施例中，所述点云分割网络模型包括ESA层、特征传递层(FP)和条件随机场，其中ESA层为多层，用于学习特征；特征传递层为多层，用于还原每个点的特征，得到每个点的标签图；条件随机场在网络最后一层之后，用于优化每个点的标签图，即优化模型结果。
图2是本实施例提供的一种点云分割网络结构图，图中记录了点云分割网络的处理流程.，其中ESA(Enhenced Set Abstract)层为特征学习层，FP(Feature propagation)层是特征传递层，类似于反卷积操作；CRF为条件随机场，虚线表示跳跃连接(skipconnect)。如图2所示，在一种优选实施方式中，使用3个ESA层来做特征编码；使用3个特征传递层来解码，使得每个点产生一个标签图；进而使用一层条件随机场来优化标签图，来优化边缘分割问题。以下介绍每个部分的具体细节。
1.ESA层：受PointNet++的启发，在PointNet++的每个抽象层(Set Abstractlevels)中添加局部特征增强模块，用来获得更稠密的局部特征,我们称之为ESA(EnhancedSet Abstract)层,使用ESA来作为Encoder层来学习特征。
接下来对ESA层进行详细说明如下：
ESA层包括PointNet++原有的采样层、组合层和特征层之外，本发明在组合层和特征层之间还添加了特征增强层。一个ESA层的输入为N×D，其中N为输入点云P的数目，D为点云的维度，输出的特征Fout，大小为N′×D′,由于ESA层是作为特征学习模块，类似于卷积神经网络的卷积操作，因此通常情况下N>N′,D<D′。ESA层的具体实现如图3所示。
(1)采样层：对于输入的点云P＝{p0,p1,…,pN-1}，其中N为点云的数目，大小为N×D。采用最远点采样算法(Farthest Sample Algorithm)在P上采样M个点，得到P的一个子集P′＝{p′0,p′1,…,p′M-1}，P′大小为M×D。采样层采用最远点采样算法的优势在于其可以很好的保留点云的几何特征。数学表示为：
P′＝FPS(P)
其中，P′表示最远点采样后得到的子集，FPS为最远点采样算法，P表示输入的点云。
(2)组合层：对于采样层的输出P′，将P′中的每个点p′i作为重心点，使用最近邻(KNN)算法找到重心点p′i的K个近邻点，将p′i的K个近邻点作为p′i的局部相关点Fi，数学表示为：
Fi＝KNN(p′i),i∈[0,M)
其中，Fi表示p′i的局部相关点，KNN为最近邻算法，P′表示最远点采样后得到的子集，M表示最远点采样算法的采样点数量。
以此类推找到每个重心点的K个近邻点，最终得到所有重心点的局部相关点F，大小为M×(D×K)。
(3)特征增强层：采用多层感知机(MLP)编码空间信息作为邻居点
Figure GDA0003551838270000071
对重心点p′i的影响权重
Figure GDA0003551838270000072
根据不同邻居节点对重心点的影响权重对重心点进行特征增强，得到特征增强后的特征p″i。
为了让每个重心点p′i可以更好的感知到邻居点的影响，针对每个重心点p′i的邻居点
Figure GDA0003551838270000073
使用多层感知机(MLP)编码空间信息作为
Figure GDA0003551838270000074
对p′i的影响权重
Figure GDA0003551838270000075
重心点p′i与邻居点
Figure GDA0003551838270000076
之间的空间信息为：
Figure GDA0003551838270000077
其中
Figure GDA0003551838270000078
为拼接符号，||·||为欧氏距离操作符。每个
Figure GDA0003551838270000079
的大小为1×(3×D+1)。
接着，使用多层感知机(MLP)编码空间信息作为
Figure GDA00035518382700000710
对p′i的影响权重
Figure GDA00035518382700000711
表达式如下：
Figure GDA00035518382700000712
其中，MLP()为多层感知机操作。
得到每个邻居点对重心点p′i的影响权重后，再将每个邻居点
Figure GDA00035518382700000713
与其对应的邻居点的影响权重
Figure GDA00035518382700000714
做点乘操作，得到点乘结果
Figure GDA00035518382700000715
j∈[0,k)，对所有点乘结果进行求和，得到求和结果，再将求和结果与原重心点p′i拼接，得到重心点p″i特征增强后的特征p″i。数学表述如下：
Figure GDA00035518382700000716
其中，Σ为求和符号。
通过对每个重心点p′i进行上述操作，最终得到所有重心点的增强后的特征F′,将F′送入特征层。F′的大小为M×(2×D)，数学表示为：
Figure GDA0003551838270000081
(4)特征层：使用PointNet来实现特征学习，获得输出特征结果。
Fout＝PointNet(F′)。
其中，Fout表示特征结果。
2.特征传递层(FP)：特征传递(FP,Feature Propagation)层作为Decoder来还原每个点的特征。特征传递层(FP)等价于抽象层的逆操作，由于抽象层在特征学习过程中，不断降采样，导致点的个数不断减少，因此特征传递层通过插值的方法来恢复每个点的特征，因此特征传递层会输出每个点的标签图(label map)定义为
Figure GDA0003551838270000082
大小为N×C，其中N为点云P的数目，C为类别个数。机器学习中常见的二分类模型的真实值与预测值的关系如图4所示。
3.条件随机场：条件随机场的输入为特征传递层输出的每个点的标签图
Figure GDA0003551838270000083
条件随机场通过最小化单个点的势能和点对之间的势能来改善网络性能，获得优化后的标签图
Figure GDA0003551838270000084
为了能够获得更好的点云分割效果，本发明在网络最后一层之后添加条件随机场来优化模型结果。条件随机场可以通过最小化单个点的势能和点对之间的势能来改善网络性能。例如当两个点靠的足够近且具有相似的几何信息时，则这两个点应当属于同一个分类。对于本方法，我们使用特征传递层预测产生的每个点的标签图
Figure GDA0003551838270000085
和初始点云的输入坐标pi来作为能量惩罚项，因此能量函数为：
Figure GDA0003551838270000086
E1(ci)＝-log(ci),.
Figure GDA0003551838270000091
Figure GDA0003551838270000092
其中σα，σβ，σγ是超参数，E(c)表示条件随机场的总体能量项，其中，ci为第i个点的标签，E1为单点势能，E1(ci)表示为点i添加标签ci所需的代价，E2为点对势能，E2(ci,cj,pi,pj)表示临近点i和j分别加上标签ci,cj所需的代价，pi,pj分别表示临近点i和j的坐标，μ(ci,cj)表示符号函数。
特征传递层预测产生的标签图
Figure GDA0003551838270000099
通过条件随机场后，获得优化后的标签图
Figure GDA00035518382700000910
优化后的标签图
Figure GDA00035518382700000911
与
Figure GDA00035518382700000912
具有相同的大小。
点云分割网络模型的训练包括：将训练集输入到点云分割网络模型中，使用训练集训练模型，真实标签做监督，优化交叉熵损失函数。通常情况下，分割网络的损失函数通常使用交叉熵损失，由于点云分割网络模型的输出是标签图，因此在损失函数的选择上，先使用Softmax对输出分量完成归一化操作后，将概率最大的标签作为点云分割网络模型的预测标签，再使用交叉熵来作为损失函数。因此对于优化后的标签图
Figure GDA00035518382700000913
中的每个c′i就有：
Figure GDA0003551838270000093
Figure GDA0003551838270000094
Figure GDA0003551838270000095
其中，Si表示归一化后的概率分布，L表示交叉熵损失函数，
Figure GDA0003551838270000096
为模型预测的标签，yi为真实的标签，argmax(.)求概率最大的标签对应的类别，c′i表示优化后的标签图
Figure GDA0003551838270000097
中的第i个标签，c′j表示化后的标签图
Figure GDA0003551838270000098
中的第j个标签。
训练策略：选择随机梯度下降算法来进行网络学习，并训练100次，即100次后停止训练，获得训练好的点云分割网络模型。随机梯度下降算法中主要使用了链式求导法则实现梯度估计，并沿着随机梯度方向进行参数优化。具体过程为：此处假设优化第i层网络li中神经元mij的权重参数wij，其中li表示第i层网络，mij为第i层网络中第j个神经元，wij为神经元mij的权重参数。因此可定义第i层网络的每个神经元的学习过程为：
hij＝σ(tij)
Figure GDA0003551838270000101
其中hij为第i层网络中第j个神经元mij的输出，σ()为sigmoid激活函数，表示为：
Figure GDA0003551838270000102
tij为未激活的mij的线性输出，m(i-1)k表示第i-1层网络中第个神经元，w(i-1)k为m(i-1)k的权重参数，b为m(i-1)k的偏置，h(i-1)k为第i-1层网络中第k个神经元m(i-1)k的输出。
链式求导的过程为：
Figure GDA0003551838270000103
其中，Δw(i-1)k为hij对参数w(i-1)k产生的梯度，
Figure GDA0003551838270000104
表示偏微分，
Figure GDA0003551838270000105
表示hij对激活函数σ()产生的梯度，梯度的优化表示为：
w(i-1)k＝w(i-1)k-ηΔw(i-1)k
其中，η为网络中定义的学习率，用来控制梯度下降的步长。
点云分割网络模型的评估包括：使用测试集对训练好的点云分割网络模型进行评估，对于点云分割问题，首先介绍评估指标：
mIoU(Mean Intersection over Union，均交并比):各类别内交并比的平均值，公式表示为：
Figure GDA0003551838270000106
mAcc(Mean Accuracy,均精度)：各类别内正确点占该类总点数量比例的平均值，数学表示为：
Figure GDA0003551838270000111
OA(Overall Accuracy,总精度)：正确分类的点占总点数量的比例，数学表示为：
Figure GDA0003551838270000112
其中，K为类别个数，TP是真正例，即模型预测为真，且真实值也为真的实例；FP为假正例，为模型预测真，而真实值为假的实例；FN为假反例，为模型预测假，而真实值为真的实例；TN为真反例，为模型预测假，真实值也为假的实例。
整体网络的分割结果图如图8所示，为了证明特征增强层的有效性，图6展示了在未使用特征增强层训练100次后的分割结果图，通过与图8对比可以看出，图8对墙壁的分割效果获得了较大的提高。为了证明条件随机场的有效性，图7展示了使用特征增强层且不使用条件随机场训练100次后的分割结果图，通过与图8对比观察可以得出条件随机场对于边缘的分割效果确实有一定的提升。
需要说明的是，本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-0nly Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。
以上所述仅是本申请的具体实施方式，应当指出，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于局部特征增强和条件随机场的点云分割方法，其特征在于，包括以下步骤：将数据集输入训练好的点云分割网络模型中进行分割，得到分割结果，点云分割网络模型先训练后使用，其训练过程包括：
S1、将训练集输入到点云分割网络模型中，经处理后点云分割网络模型输出预测的标签图；
S2、真实标签做监督，根据真实标签和预测的标签图计算交叉熵损失函数；
S3、迭代多次，采用随机梯度下降算法优化损失函数，最终得到训练好的点云分割网络模型；
所述点云分割网络模型包括ESA层、特征传递层FP和条件随机场，其中ESA层为多层，用于学习特征；特征传递层为多层，用于还原每个点的特征，得到每个点的标签图；条件随机场在网络最后一层之后，用于优化每个点的标签图，即优化模型结果；
ESA层为特征学习模块，包括采样层、组合层和特征层，在组合层和特征层之间还设置有特征增强层；
(1)采样层：采用最远点采样算法从输入的点云中采样，得到采样后的子集后将其输入到组合层；采样层采用最远点采样算法进行采样可以很好的保留点云的几何特征，数学表示为：
P′＝FPS(P)
其中，P′表示最远点采样后得到的子集，FPS为最远点采样算法，P表示输入的点云，P＝{p0,p1,…,pN-1}，其中N为点云的数目，大小为N×D，D为点云的维度；
(2)组合层：对于采样层的输出P′，将P′中的每个点p′i作为重心点，使用最近邻KNN算法找到重心点p′i的K个近邻点，将p′i的K个近邻点作为p′i的局部相关点Fi，数学表示为：
Fi＝KNN(p′i),i∈[0,M)
其中，Fi表示p′i的局部相关点，KNN为最近邻算法，P′表示最远点采样后得到的子集，M表示最远点采样算法的采样点数量；
以此类推找到每个重心点的K个近邻点，最终得到每个重心点的局部相关点F，大小为M×(D×K)；
(3)特征增强层：采用多层感知机MLP编码空间信息作为邻居点
Figure FDA0003551838260000021
对重心点p′i的影响权重
Figure FDA0003551838260000022
根据不同邻居节点对重心点的影响权重对重心点进行特征增强，得到特征增强后的特征F′，将F′送入特征层；
所述使用多层感知机MLP编码空间信息作为
Figure FDA0003551838260000023
对p′i的影响权重
Figure FDA0003551838260000024
表达式如下：
Figure FDA0003551838260000025
其中，MLP()为多层感知机操作；
Figure FDA0003551838260000026
表示重心点p′i与邻居点
Figure FDA0003551838260000027
之间的空间信息：
Figure FDA0003551838260000028
其中
Figure FDA0003551838260000029
为拼接符号，||·||为欧氏距离操作符；
得到每个邻居点对重心点p′i的影响权重后，再将每个邻居点
Figure FDA00035518382600000210
与其对应的邻居点的影响权重
Figure FDA00035518382600000211
做点乘操作，得到点乘结果
Figure FDA00035518382600000212
对所有点乘结果进行求和，得到求和结果，再将求和结果与原重心点p′i拼接，得到重心点p′i特征增强后的特征p″i；数学表述如下：
Figure FDA00035518382600000213
其中，Σ为求和符号；
通过对每个重心点p′i进行上述操作，最终得到所有重心点的增强后的特征F′,将F′送入特征层；F′的大小为M×(2×D)，数学表示为：
Figure FDA0003551838260000031
(4)特征层：使用PointNet来实现特征学习，获得输出特征结果Fout。
2.根据权利要求1所述的一种基于局部特征增强和条件随机场的点云分割方法，其特征在于，特征传递层通过插值的方法来恢复每个点的特征，输出每个点的标签图
Figure FDA00035518382600000310
3.根据权利要求1所述的一种基于局部特征增强和条件随机场的点云分割方法，其特征在于，条件随机场的输入为特征传递层输出的每个点的标签图
Figure FDA0003551838260000039
条件随机场通过最小化单个点的势能和点对之间的势能来改善网络性能，获得优化后的标签图
Figure FDA00035518382600000311
4.根据权利要求3所述的一种基于局部特征增强和条件随机场的点云分割方法，其特征在于，将特征传递层预测产生的每个点的标签图
Figure FDA0003551838260000038
和初始点云的输入坐标pi来作为能量惩罚项：
Figure FDA0003551838260000032
E1(ci)＝-log(ci),.
Figure FDA0003551838260000033
Figure FDA0003551838260000034
其中σα，σβ，σγ是超参数，E(c)表示条件随机场的总体能量项，其中，ci为第i个点的标签，E1为单点势能，E1(ci)表示为点i添加标签ci所需的代价，E2为点对势能，E2(ci,cj,pi,pj)表示临近点i和j分别加上标签ci,cj所需的代价，pi,pj分别表示临近点i和j的坐标，μ(ci,cj)表示符号函数。
5.根据权利要求1所述的一种基于局部特征增强和条件随机场的点云分割方法，其特征在于，交叉熵损失函数为：
Figure FDA0003551838260000041
Figure FDA0003551838260000042
Figure FDA0003551838260000043
其中，L表示交叉熵损失函数，
Figure FDA0003551838260000044
为模型预测的标签，yi为真实的标签，argmax(.)求概率最大的标签对应的类别，Si表示归一化后的概率分布，c′i表示优化后的标签图
Figure FDA0003551838260000045
中的第i个标签，c′j表示优化后的标签图
Figure FDA0003551838260000046
中的第j个标签。
CN202110307518.XA 2021-03-23 2021-03-23 一种基于局部特征增强和条件随机场的点云分割方法 Active CN112927248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110307518.XA CN112927248B (zh) 2021-03-23 2021-03-23 一种基于局部特征增强和条件随机场的点云分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110307518.XA CN112927248B (zh) 2021-03-23 2021-03-23 一种基于局部特征增强和条件随机场的点云分割方法

Publications (2)

Publication Number Publication Date
CN112927248A CN112927248A (zh) 2021-06-08
CN112927248B true CN112927248B (zh) 2022-05-10

Family

ID=76175524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110307518.XA Active CN112927248B (zh) 2021-03-23 2021-03-23 一种基于局部特征增强和条件随机场的点云分割方法

Country Status (1)

Country Link
CN (1) CN112927248B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888736A (zh) * 2021-10-22 2022-01-04 成都信息工程大学 基于PointNet++神经网络的三维点云分割方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322453B (zh) * 2019-07-05 2023-04-18 西安电子科技大学 基于位置注意力和辅助网络的3d点云语义分割方法
CN110660062B (zh) * 2019-08-31 2022-10-18 南京理工大学 一种基于PointNet的点云实例分割方法及系统
CN110569926B (zh) * 2019-09-19 2021-06-08 北京工商大学 一种基于局部边缘特征增强的点云分类方法
CN111680542B (zh) * 2020-04-17 2022-11-15 东南大学 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法
CN111753698B (zh) * 2020-06-17 2024-08-09 东南大学 一种多模态三维点云分割系统和方法
CN112488210A (zh) * 2020-12-02 2021-03-12 北京工业大学 一种基于图卷积神经网络的三维点云自动分类方法

Also Published As

Publication number Publication date
CN112927248A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN111242208B (zh) 一种点云分类方法、分割方法及相关设备
Ray A quick review of machine learning algorithms
CN112529168B (zh) 一种基于gcn的属性多层网络表示学习方法
Nguyen et al. EO-CNN: an enhanced CNN model trained by equilibrium optimization for traffic transportation prediction
Hirata et al. Time series prediction using DBN and ARIMA
CN113570859B (zh) 一种基于异步时空膨胀图卷积网络的交通流量预测方法
CN113297936B (zh) 一种基于局部图卷积网络的排球群体行为识别方法
Kumar et al. Hybrid evolutionary intelligent system and hybrid time series econometric model for stock price forecasting
CN117746260B (zh) 遥感数据智能解析方法及系统
CN112988851B (zh) 反事实预测模型数据处理方法、装置、设备及存储介质
Dai et al. Hybrid deep model for human behavior understanding on industrial internet of video things
KR20220122741A (ko) 이미지의 진위성 검증
CN114998604A (zh) 一种基于局部点云位置关系的点云特征提取方法
Pham et al. Unsupervised training of Bayesian networks for data clustering
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统
Zhang et al. An intrusion detection method based on stacked sparse autoencoder and improved gaussian mixture model
Skabar Direction‐of‐change financial time series forecasting using a similarity‐based classification model
Kumar et al. Deep learning in predictive analytics: A survey
CN112927248B (zh) 一种基于局部特征增强和条件随机场的点云分割方法
Zhang et al. Deep compression of probabilistic graphical networks
CN111259938A (zh) 基于流形学习和梯度提升模型的图片偏多标签分类方法
Xu et al. Sample selection-based hierarchical extreme learning machine
Bi et al. Improved network intrusion classification with attention-assisted bidirectional LSTM and optimized sparse contractive autoencoders
CN117765258A (zh) 基于密度自适应和注意力机制的大规模点云语义分割方法
Sahu et al. Forecasting currency exchange rate time series with fireworks-algorithm-based higher order neural network with special attention to training data enrichment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant