CN116524197B - 一种结合边缘点和深度网络的点云分割方法、装置及设备 - Google Patents
一种结合边缘点和深度网络的点云分割方法、装置及设备 Download PDFInfo
- Publication number
- CN116524197B CN116524197B CN202310788159.3A CN202310788159A CN116524197B CN 116524197 B CN116524197 B CN 116524197B CN 202310788159 A CN202310788159 A CN 202310788159A CN 116524197 B CN116524197 B CN 116524197B
- Authority
- CN
- China
- Prior art keywords
- edge
- point cloud
- point
- features
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 87
- 230000006870 function Effects 0.000 claims description 63
- 238000005070 sampling Methods 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种结合边缘点和深度网络的点云分割方法，包括：S1：根据点云数据，构建点云局部邻域关系，确定边缘点；S2：获取点云数据的边缘高阶特征，解码边缘高阶特征，获取边缘特征，再对边缘特征进行边缘点预测；S3：根据点云数据，获取点云数据的全局特征；S4：基于边缘特征获取注意力掩膜，通过注意力掩膜，将边缘特征与全局特征融合生成第一融合特征；S5：解码第一融合特征，获取第二融合特征，对第二融合特征进行语义类别预测，输出点云分割结果；S6：获取边缘点的预测损失值；获取点云分割损失值；通过组合边缘点的预测损失值与点云分割损失值，获得总损失值；通过以上方法，本发明有效实现了3D点云的精确语义分割。
Description
技术领域
本发明涉及点云分割技术领域，尤其涉及一种结合边缘点和深度网络的点云分割方法、装置及设备。
背景技术
3D激光点云分割技术作为工业缺陷检测领域的关键技术，其目标是从原始杂乱无章点云数据中分割出相应结构类型点集，并赋予相同属性类别。早期传统的点云语义分割主要是基于特征工程和机器学习模型，虽然传统的方法对于部分结构简单的场景能实现高效准确的分割，但难以适应复杂的场景。近年来，随着深度学习在各个领域的良好表现，学术界开始将深度学习应用在点云分割上。如一些学者将点云转化为三维体素表示，然后将获得的表示作为3D卷积神经网络的输入，以此实现点云分割。还有学者基于围绕三维点云的多视角图像，利用共享权重的卷积神经网络实现三维目标的识别。但将点云转换成图像或体素，在面向精密的工业零部件数据处理时，其精度和效率易受图像分辨率及体素大小的影响，并且转换过程十分耗时。因此有学者直接基于原始点云的方法直接在三维点云上工作，如Pointnet、Pointnet++、PointneXt，Pointsift、PointCNN、KPConv以及RandLANet等，但是对于点云而言，其反映了数据采集场景中目标物复杂的邻接关系，因此如何精确地分割目标物的重叠边界，是一个亟待解决的问题。
发明名称为“一种基于PointNet的点云实例分割方法及系统”的专利，其首先对点云进行分块、采样、平移和归一化操作；其次采用PointNet神经网络提取点云特征矩阵；最后通过三个网络分支提取点云特征的相似矩阵、置信度矩阵和语义分割矩阵，经过聚类合并实现实例物体的分割。但该模型专注于全局信息而忽略了局部信息，导致模型对重合物体分割效果较差，如无法将锂动力电池电芯顶盖主体及其预焊点进行较好地分离。
发明名称为“一种基于A-EdgeConv的室外大场景点云分割方法”的专利，涉及一种基于A-EdgeConv点云分割方法，其首先结合局部几何信息与图割算法实现超点的获取；后采用局部邻接图结合注意力机制的方式提取超点特征，通过GRU循环神经网络实现超点、超边的特征聚合；最后将聚合特征输出并进行语义预测。但获取超点的过程中会造成邻接物体的边缘混淆问题，从而由于误差传播导致模型对相连物体边界的误分。
发明名称为“一种基于快速图卷积的点云分割方法”。该专利首先对输入点云数据进行增广和归一化处理；然后，通过迭代进行局部图构建、特征拼接和特征学习，提取得到点云特征；最后，利用多层感知机对特征进行映射处理，并通过对映射特征进行分类，得到点云的分类结果。虽然该模型可以快速的处理点云数据，但由于图卷积的方式会使得深度特征和它们的邻居可能过于相似，无法提供有价值的边缘向量，进而导致对相邻物体的边缘欠分割。
发明名称为“基于边缘特征融合的3D点云分割目标检测系统”的专利。其首先将待点云输入到神经网络中，利用卷积（Conv）操作提取点云保持特征和利用全连接层（MLP层）获得点云提取特征，然后加法操作融合上述两种特征获取边缘特征；最后将上采样操作和下采样操作融入到上述特征提取步骤中，构成编码器和解码器。但该方法使用卷积和全连接操作提取的边缘特征仅仅是通过滤波获取的高频细节信息，如局部噪声和发生突变的区域，并不能代表实际场景中的边缘及其特征。因此该方法提取的边缘特征在一定程度上造成了模型对实际场景边缘和噪声及突变区域的误分。
对于点云而言，其反映了数据采集场景中目标物复杂的邻接关系，因此在上述现有技术的基础上，如何实现更加精确地分割目标物的重叠边界，是一个亟待解决的问题。
发明内容
本发明的目的在于提供一种结合边缘点和深度网络的点云分割方法，以解决上述问题。
本发明第一方面提供了一种结合边缘点和深度网络的点云分割方法，包括以下步骤：
S1：根据点云数据，构建点云数据基于图结构的局部邻域关系，通过信息熵函数，确定边缘点；
S2：分别构建边缘特征提取器、边缘特征解码器、边缘点预测器，通过边缘特征提取器获取点云数据的边缘高阶特征，再利用边缘特征解码器解码边缘高阶特征以获取边缘特征，然后藉由边缘点预测器对边缘特征进行边缘点预测，输出预测点；
S3：根据点云数据，构建全局特征提取器，获取点云数据的全局特征；
S4：构建掩膜提取器，基于边缘特征获取注意力掩膜，再通过注意力掩膜将边缘特征与全局特征融合生成第一融合特征；
S5：分别构建融合特征解码器、语义预测器，通过融合特征解码器解码第一融合特征，获取第二融合特征，再通过语义预测器对第二融合特征进行逐点的语义类别预测，计算各点的语义类别概率，输出点云分割结果；
S6：基于边缘点及预测点，构建边缘点的预测损失函数，获取边缘点的预测损失值；基于预设语义标签与点云分割结果，构建点云的语义损失函数，获取点云分割损失值；通过组合边缘点的预测损失值与点云分割损失值，获得网络总损失值。
进一步地，所述S1包括：
S11：以点云数据中的任一点云为中心节点，在预定半径的空间内取若干近邻点为其邻居节点构建图结构/>，其中/>代表节点集合，/>代表边集合；
S12：通过图结构的信息熵函数，获取各点云的邻域能量，再将各点云的邻域能量与预设的能量阈值进行比较，确定边缘点。
进一步地，所述S2具体包括以下步骤：
S21:串联若干个由KPConv层和均匀采样层组成的第一卷积模块，以构建边缘特征提取器；
S22:对点云数据，利用边缘特征提取器进行特征提取，获得边缘高阶特征；
S23:串联若干个由MLP层和均匀采样层组成的第一全连接模块，以构建边缘特征解码器；
S24:利用边缘特征解码器对边缘高阶特征进行解码，获取边缘特征；
S25:串联1个或2个MLP层和Softmax层，以构建边缘点预测器；
S26:利用边缘点预测器对边缘特征进行边缘点概率预测，计算各点云属于边缘点的概率，并输出预测点。
进一步地，所述S3具体包括以下步骤：
S31:串联若干个由KPConv层和均匀采样层组成的第二卷积模块，以构建全局特征提取器；
S32:对点云数据，利用进行特征提取，获得全局特征。
进一步地，所述S4具体包括以下步骤：
S41:根据全局特征的位置索引对边缘特征进行采样操作，获取采样特征；
S42:构建由1个MLP层和Softmax层组成的掩膜提取器，将特征输入到掩膜提取器中获得注意力掩膜；
S43:基于注意力掩膜将边缘特征与全局特征进行特征融合，得到第一融合特征。
进一步地，所述S5具体包括以下步骤：
S51:串联若干个由MLP层和均匀采样层组成的第二全连接模块，以构建融合特征解码器；
S52:利用融合特征解码器对第一融合特征进行解码，得到第二融合特征；
S53:串联1或2个MLP层和Softmax层构建语义预测器；
S54:利用语义预测器对第二融合特征进行语义类别预测，实现点云语义分割。
进一步地，所述S6包括以下步骤：
S61:基于边缘点和预测点，构建网络中边缘点的预测损失函数，边缘点的预测损失函数计算公式如下：
式中：预测点为边缘点的概率，/>为边缘点的标签，/>表示点云中的第/>个点,/>表示点云总数；
S62:基于语义标签和点云语义类别预测值，构建网络中点云的语义损失函数，点云的语义损失函数计算公式如下：
式中：为类别总数，/>表示第/>个类别，/>表示预测点归属于/>类别的概率，N表示点云总数，/>表示点云中的第/>个点，/>表示标签中第/>个点归属于类别/>的概率，/>为语义标签；
S63:基于边缘损失函数和语义损失函数，计算总损失函数，总损失函数的计算公式如下：
式中：表示总损失函数；/>表示边缘点的预测损失函数；/>表示点云的语义损失函数。
进一步地，所述S6还包括以下步骤：
S64: 通过最小化总损失函数，分别更新边缘特征提取器、全局特征提取器、边缘特征解码器、融合特征解码器，以及掩膜提取器中的网络参数。
本发明的第二方面提供了一种结合边缘点和深度网络的点云分割装置，应用于第一方面所述的一种结合边缘点和深度网络的点云分割方法，包括：
边缘点提取模块，根据点云数据，构建点云数据基于图结构的局部邻域关系，通过信息熵函数，确定并输出边缘点；
边缘点预测模块，内置边缘特征提取器、边缘特征解码器、边缘点预测器，通过边缘特征提取器获取点云数据的边缘高阶特征，再利用边缘特征解码器解码边缘高阶特征以获取边缘特征，然后藉由边缘点预测器对边缘特征进行边缘点预测，输出边缘特征、预测点；
全局特征提取模块，根据点云数据，构建全局特征提取器，获取并输出点云数据的全局特征；
特征融合模块，内置掩膜提取器，用于接收点云数据的边缘特征、全局特征，再通过掩膜提取器将边缘特征与全局特征融合生成第一融合特征，输出第一融合特征；
语义类别预测模块，内置融合特征解码器、语义预测器，用于接收第一融合特征，通过融合特征解码器解码第一融合特征，获取第二融合特征，再通过语义预测器对第二融合特征进行逐点的语义类别预测，计算各点的语义类别概率，输出点云分割结果；
模型训练模块，用于接收边缘点、预测点、点云分割结果，基于接收边缘点、预测点，构建边缘点的预测损失函数，获取边缘点的预测损失值；基于预设语义标签与点云分割结果，构建点云的语义损失函数，获取点云分割损失值；通过组合边缘点的预测损失值与点云分割损失值，获得网络总损失值。
本发明第三方面提供了一种电子设备，包括：
一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现第一方面任一所述的方法。
采用上述方案后，相比于现有技术，本发明具有以下有益效果：
本发明，直接面向3D激光点云，首先基于构建的点云数据的图结构，采用非监督的方式获取场景中各物体的实际边缘点，并将其融入到网络模型中，加强了网络模型对边缘特征的学习；其次，通过引入注意力机制，即注意力掩膜，建立边缘特征和全局特征的聚合机制，克服传统特征融合方式带来的信息冗余问题；最后通过边缘特征提取器与边缘特征解码器的跨连，全局特征提取器、注意力掩膜与融合特征解码器的跨连，在弥补了随着网络深度加深带来的细节信息丢失和边缘信息损失问题；最终实现了3D激光点云精确语义分割，打破了3D激光点云分割仅使用全局信息或者局部信息而忽视边缘信息的局限。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的变形形式。
图1是本发明实施例的步骤流程示意图；
图2是本发明实施例提供的基于信息熵的点云能量示意图；
图3是本发明实施例提供的边缘特征提取器的示意图；
图4是本发明实施例提供的全局特征提取器的示意图；
图5是本发明实施例的装置框图；
图6是本发明实施例的设备框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-4所示，本发明提供了一种结合边缘点和深度网络的点云分割方法，包括以下步骤：
S1：根据点云数据，构建点云数据基于图结构的局部邻域关系，通过信息熵函数，确定边缘点，需要说明的是，邻域是一个特殊的区间，例如以点z 为中心点任何开区间称为点z的邻域，记作U(z)。点z的δ邻域：设δ是一个正数，则开区间（z-δ，z+δ）称为点z的δ邻域，点z称为这个邻域的中心，δ称为这个邻域的半径；具体地，所述S1包括：
S11：以点云数据中的任一点云为中心节点，如点云数据为三维点云表示为，在预定半径的空间内取若干近邻点为其邻居节点，预定半径根据实际情况设定，在本实施例中预定半径为0.06m，近邻点个数为/>,构建图结构G=(V,E)，其中V代表节点集合，即/>，/>代表边集合，表示为/>，其中；
S12：通过图结构的信息熵函数，获取各点云的邻域能量，再将各点云的邻域能量与预设的能量阈值进行比较，确定边缘点。其中，信息熵函数是用于确定点云中点的混乱程度，其定义如下：
式中：表示L2范数，/>表示预定半径的空间内第/>个点与中心点的边，/>表示预定半径的空间内的近邻点个数，/>表示预定半径的空间内第/>个点,/>为点云总数。
根据上式获取点云中各点的混乱程度，以混乱程度/>值来判定该点是处于周围有剧烈位置变化的边缘点还是非边缘点。设置边缘点判定阈值/>，其中/>，/>为点云能量分布的均值与方差，当/>大于阈值/>，判定该点为边缘点，标记为1，当/>小于阈值/>时该点为非边缘点，标记为0，以提取点云中边缘点标签，并输入到后续网络中。边缘点标签定义为/>，记录如下：
其中，为边界点信息熵阈值，/>表示点云中的第/>个点,/>为点云总数。
S2：分别构建边缘特征提取器、边缘特征解码器、边缘点预测器，通过边缘特征提取器获取点云数据的边缘高阶特征，再利用边缘特征解码器解码边缘高阶特征以获取边缘特征，然后藉由边缘点预测器对边缘特征进行边缘点预测，输出预测点；具体地，所述S2 具体包括以下步骤：
S21:串联若干个由KPConv层和均匀采样层组成的第一卷积模块，以构建边缘特征提取器，如图3所示，此处若干的数量指2个以上，需要说明的是，本文中所述的均匀采样层具有均匀间隔采样的功能，即每隔固定的点数采样一次，采样按点的顺序执行，始终选择从第1个点开始，而不是随机选择，均匀采样层的功能实现，通过编写简易的算法就能实现在此不再赘述，在本实施例中串联3个由KPConv层和均匀采样层组成的卷积模块，其中KPConv层卷积核输出通道数依次为{128，256，512}，并且均匀采样操作不改变输入特征的维度，保证特征在传播和数据在采样中保留更多信息；
S22:对点云数据，利用边缘特征提取器进行特征提取，获得边缘高阶特征，在本实施例中，对点云数据定义为、对第一原始特征定义为/>，其第一原始特征可能包含RGB，强度，时间等，第一原始特征的维度根据点云数据所带有的特征决定。第一原始特征在KPConv层传播过程中依次增加特征维度{128，256，512}，再采用ReLU激活函数作为KPConv层激活函数，实现第一原始特征的提取和维度的转换。最终将第一原始特征通过多个KPConv层卷积层和均匀采样层获得边缘特征；
S23:串联若干个由MLP层和均匀采样层组成的第一全连接模块，此处若干的数量指2个以上，以构建边缘特征解码器，在本实施例中，串联3个由MLP层和均匀采样层组成的第一全连接模块，其中MLP层的输出通道数依次为{512，256，128}，并且均匀采样操作不改变输入特征的维度，最终在解码过程中将数据采样回原始大小；
S24:利用边缘特征解码器对边缘高阶特征进行解码，获取边缘特征；
S25:串联1或2个MLP层和Softmax层 ，以构建边缘点预测器，具体地，在本实施例中，串联1个MLP层和Softmax层，其中 MLP层输出通道数为2，该Softmax层具有分类功能，MLP层和Softmax层一般仅需1层或2层就能取得较好的效果，本申请使用一层是基于实验结果，仅使用一层的效果更好；
S26:利用边缘点预测器对边缘特征进行边缘点概率预测，计算各点云属于边缘点的概率，并输出预测点，如输出为(2)的矢量，表示场景中每个点被网络预测为边缘点的概率值大小。
S3：根据点云数据，构建全局特征提取器，获取点云数据的全局特征；具体地，所述S3具体包括以下步骤：
S31:串联若干个由KPConv层和均匀采样层组成的第二卷积模块，以构建全局特征提取器，如图4所示，此处若干的数量指2个以上，在本实施例中，串联4个由KPConv层和均匀采样层组成的第二卷积模块，以构建全局特征提取器，其中KPConv层卷积核输出通道数依次为{128，256，512，1024}，并且均匀采样操作不改变输入特征维度；
S32:对点云数据，利用全局特征提取器进行特征提取，获得全局特征。
S4：构建掩膜提取器，基于边缘特征 获取注意力掩膜，即构建一个注意力机制，再通过注意力掩膜将边缘特征与全局特征融合生成第一融合特征；所述S4具体包括以下步骤：
S41:依据每个点云对全局的重要性赋予各点权重值用于特征融合，特征融合以全局特征为主，且一般边缘特征点数更多，因而根据全局特征的位置索引对边缘特征进行采样操作，获取采样特征；
S42:构建由1个MLP层和Softmax层组成的掩膜提取器，需要说明的是，此处的Softmax层与S25的Softmax层虽是同一函数，但是其作用不同，S25的Softmax层的作用在S2步骤中是归一化分类，而S42的Softmax层在S4中的作用是为了获取权重，将采样特征输入到掩膜提取器中获得注意力掩膜：
式中：表示注意力掩膜，/>表示采样特征，/>表示点云经过全局特征提取器进行编码后得到的特征点数，/>表示点云经过全局特征提取器进行编码后得到的第/>个特征点；
S43:基于注意力掩膜将边缘特征与全局特征进行特征融合，得到第一融合特征；边缘特征与全局特征融合操作如下：
式中：表示第一融合特征，/>表示全局特征，/>表示注意力掩膜。需要说明的是，边缘特征根据全局特征的索引已经被提取为采样特征，而采样特征用于获取注意力掩膜；因此，边缘特征的作用是用于获取掩膜，再将注意力掩膜和全局特征进行了融合，因此边缘特征间接和全局特征进行了融合。
S5：分别构建融合特征解码器、语义预测器，通过融合特征解码器解码第一融合特征，获取第二融合特征，再通过语义预测器对第二融合特征进行逐点的语义类别预测，计算各点的语义类别概率，输出点云分割结果；所述S5具体包括以下步骤：
S51:串联若干个由MLP层和均匀采样层组成的第二全连接模块，此处若干指的是2个以上，以构建融合特征解码器，在本实施例中，串联4个由MLP层和均匀采样层组成的第二全连接模块构建融合特征解码器，在本步骤中MLP层的输出通道数依次为{1024，512，256，128}，并且均匀采样操作不改变特征维度；
S52:利用融合特征解码器对第一融合特征进行解码，得到第二融合特征；
S53:串联1或2个MLP层和Softmax层构建语义预测器，该Softmax层具有分类功能，在本实施例中， MLP层的输出通道数为，即输出通道数为类别总数；
S54:利用语义预测器对第二融合特征进行语义类别预测，输出为(C)的矢量，表示场景中每个点被网络分类成C个类别对应的概率值大小，实现点云语义分割。
S6：基于边缘点及预测点，构建边缘点的预测损失函数，获取边缘点的预测损失值；基于预设语义标签 与点云分割结果，构建点云的语义损失函数，获取点云分割损失值；通过组合边缘点的预测损失值与点云分割损失值，获得网络总损失值。所述S6包括以下步骤：
S61:基于边缘点和预测点，构建网络中边缘点的预测损失函数，边缘点的预测损失函数定义如下：
式中：为预测点为边缘点的概率，/>为边缘点的标签,/>表示输入点云中的第/>个点,/>为输入网络中的点云总数。
S62:基于语义标签和点云语义类别预测值，构建网络中点云的语义损失函数，语义损失函数定义如下：
其中为预测点为归属于/>类别的概率，/>表示标签中第/>个点归属于类别/>的概率，N表示输入网络中的点云总数，/>表示输入点云中第/>个点，/>为语义标签，/>为类别总数，/>表示第/>个类别；
S63:基于边缘损失函数和语义损失函数，计算总损失函数：
式中：表示总损失；/>表示边缘损失函数；/>表示点云的语义损失函数。
S64: 通过最小化总损失函数，分别更新边缘特征提取器、全局特征提取器、边缘特征解码器、融合特征解码器，以及掩膜提取器中的网络参数。具体来说，是分别更新边缘特征提取器中的第一卷积模块、全局特征提取器中第二卷积模块、边缘特征解码器中第一全连接模块、融合特征解码器中第二全连接模块，以及掩膜提取器中MLP层的权重及偏置项，使得边缘特征提取器、全局特征提取器、掩膜提取器能分别提取更加准确的边缘特征、全局特征、第一融合特征。其中，偏置项与卷积核一起作用于输入数据,用于调整输出结果的偏移。具体来说,偏置项可以看作是一个与卷积核大小相同、但只有一个深度的数组,其中的每个元素都加到卷积的输出中。卷积层中的偏置项可以帮助模型学习数据的偏移量和偏差，从而提高模型的准确性和稳定性。偏置项的调整可以通过反向传播算法自动完成,使得模型能够快速适应不同的数据。
相比于现有技术，本发明直接面向3D激光点云，首先基于构建的点云数据的图结构，采用非监督的方式获取场景中各物体的实际边缘点，并将其融入到网络模型中，加强了网络模型对边缘特征的学习；其次，通过引入注意力机制，即注意力掩膜，建立边缘特征和全局特征的聚合机制，克服传统特征融合方式带来的信息冗余问题；最后通过边缘特征提取器与边缘特征解码器的跨连，全局特征提取器、注意力掩膜与融合特征解码器的跨连，在弥补了随着网络深度加深带来的细节信息丢失和边缘信息损失问题；最终实现了3D激光点云精确语义分割，打破了3D激光点云分割仅使用全局信息或者局部信息而忽视边缘信息的局限。
如图5所示，本发明还提供了一种结合边缘点和深度网络的点云分割装置，应用于上述的一种结合边缘点和深度网络的点云分割方法，包括：
边缘点提取模块，根据点云数据，构建点云数据基于图结构的局部邻域关系，通过信息熵函数，确定并输出边缘点；
边缘点预测模块，内置边缘特征提取器、边缘特征解码器、边缘点预测器，通过边缘特征提取器获取点云数据的边缘高阶特征，再利用边缘特征解码器解码边缘高阶特征以获取边缘特征，然后藉由边缘点预测器对边缘特征进行边缘点预测，输出边缘特征、预测点；
全局特征提取模块，根据点云数据，构建全局特征提取器，获取并输出点云数据的全局特征；
特征融合模块，内置掩膜提取器，用于接收点云数据的边缘特征、全局特征，再通过掩膜提取器将边缘特征与全局特征融合生成第一融合特征，输出第一融合特征；
语义类别预测模块，内置融合特征解码器、语义预测器，用于接收第一融合特征，通过融合特征解码器解码第一融合特征，获取第二融合特征，再通过语义预测器对第二融合特征进行逐点的语义类别预测，计算各点的语义类别概率，输出点云分割结果；
模型训练模块，用于接收边缘点、预测点、点云分割结果，基于接收边缘点、预测点，构建边缘点的预测损失函数，获取边缘点的预测损失值；基于预设语义标签与点云分割结果，构建点云的语义损失函数，获取点云分割损失值；通过组合边缘点的预测损失值与点云分割损失值，获得网络总损失值。
本发明还提供一种电子设备，如图6所示，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。由于本实施例所介绍的电子设备为实施方法所采用的设备，故而基于本申请中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一可选实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。
Claims (10)
1.一种结合边缘点和深度网络的点云分割方法，其特征在于，包括以下步骤：
S1：根据点云数据，构建点云数据基于图结构的局部邻域关系，通过信息熵函数，确定边缘点；
S2：分别构建边缘特征提取器、边缘特征解码器、边缘点预测器，通过边缘特征提取器获取点云数据的边缘高阶特征，再利用边缘特征解码器解码边缘高阶特征以获取边缘特征，然后藉由边缘点预测器对边缘特征进行边缘点预测，输出预测点；
S3：根据点云数据，构建全局特征提取器，获取点云数据的全局特征；
S4：构建掩膜提取器，基于边缘特征获取注意力掩膜，再通过注意力掩膜将边缘特征与全局特征融合生成第一融合特征；
S5：分别构建融合特征解码器、语义预测器，通过融合特征解码器解码第一融合特征，获取第二融合特征，再通过语义预测器对第二融合特征进行逐点的语义类别预测，计算各点的语义类别概率，输出点云分割结果；
S6：基于边缘点及预测点，构建边缘点的预测损失函数，获取边缘点的预测损失值；基于预设语义标签与点云分割结果，构建点云的语义损失函数，获取点云分割损失值；通过组合边缘点的预测损失值与点云分割损失值，获得网络总损失值。
2.根据权利要求1所述的一种结合边缘点和深度网络的点云分割方法，其特征在于，所述S1包括：
S11：以点云数据中的任一点云为中心节点，在预定半径的空间内取若干近邻点为其邻居节点构建图结构/>，其中/>代表节点集合，/>代表边集合；
S12：通过图结构的信息熵函数，获取各点云的邻域能量，再将各点云的邻域能量与预设的能量阈值进行比较，确定边缘点。
3.根据权利要求1所述的一种结合边缘点和深度网络的点云分割方法，其特征在于，所述S2具体包括以下步骤：
S21:串联若干个由KPConv层和均匀采样层组成的第一卷积模块，以构建边缘特征提取器；
S22:对点云数据，利用边缘特征提取器进行特征提取，获得边缘高阶特征；
S23:串联若干个由MLP层和均匀采样层组成的第一全连接模块，以构建边缘特征解码器；
S24:利用边缘特征解码器对边缘高阶特征进行解码，获取边缘特征；
S25:串联1个或2个MLP层和Softmax层，以构建边缘点预测器；
S26:利用边缘点预测器对边缘特征进行边缘点概率预测，计算各点云属于边缘点的概率，并输出预测点。
4.根据权利要求1所述的一种结合边缘点和深度网络的点云分割方法，其特征在于，所述S3具体包括以下步骤：
S31:串联若干个由KPConv层和均匀采样层组成的第二卷积模块，以构建全局特征提取器；
S32:对点云数据，利用全局特征提取器进行特征提取，获得全局特征。
5.根据权利要求1所述的一种结合边缘点和深度网络的点云分割方法，其特征在于，所述S4具体包括以下步骤：
S41:根据全局特征的位置索引对边缘特征进行采样操作，获取采样特征；
S42:构建由1个MLP层和Softmax层组成的掩膜提取器，将采样特征输入到掩膜提取器中获得注意力掩膜；
S43:基于注意力掩膜将边缘特征与全局特征进行特征融合，得到第一融合特征。
6.根据权利要求1所述的一种结合边缘点和深度网络的点云分割方法，其特征在于，所述S5具体包括以下步骤：
S51:串联若干个由MLP层和均匀采样层组成的第二全连接模块，以构建融合特征解码器；
S52:利用融合特征解码器对第一融合特征进行解码，得到第二融合特征；
S53:串联1或2个MLP层和Softmax层构建语义预测器；
S54:利用语义预测器对第二融合特征进行语义类别预测，实现点云语义分割。
7.根据权利要求1至6任一项所述的一种结合边缘点和深度网络的点云分割方法，其特征在于，所述S6包括以下步骤：
S61:基于边缘点和预测点，构建网络中边缘点的预测损失函数，边缘点的预测损失函数计算公式如下：
式中：预测点为边缘点的概率，/>为边缘点的标签，/>表示点云中的第/>个点,/>表示点云总数；
S62:基于语义标签和点云语义类别预测值，构建网络中点云的语义损失函数，点云的语义损失函数计算公式如下：
式中：为类别总数，/>表示第/>个类别，/>表示预测点归属于/>类别的概率，N表示点云总数，/>表示点云中的第/>个点，/>表示标签中第/>个点归属于类别/>的概率， />为语义标签；
S63:基于边缘损失函数和语义损失函数，计算总损失函数，总损失函数的计算公式如下：
式中：表示总损失函数；/>表示边缘点的预测损失函数；/>表示点云的语义损失函数。
8.根据权利要求7所述的一种结合边缘点和深度网络的点云分割方法，其特征在于，所述S6还包括以下步骤：
S64:通过最小化总损失函数，分别更新边缘特征提取器、全局特征提取器、边缘特征解码器、融合特征解码器，以及掩膜提取器中的网络参数。
9.一种结合边缘点和深度网络的点云分割装置，应用于权利要求1至8任一项所述的一种结合边缘点和深度网络的点云分割方法，包括：
边缘点提取模块，根据点云数据，构建点云数据基于图结构的局部邻域关系，通过信息熵函数，确定并输出边缘点；
边缘点预测模块，内置边缘特征提取器、边缘特征解码器、边缘点预测器，通过边缘特征提取器获取点云数据的边缘高阶特征，再利用边缘特征解码器解码边缘高阶特征以获取边缘特征，然后藉由边缘点预测器对边缘特征进行边缘点预测，输出边缘特征、预测点；
全局特征提取模块，根据点云数据，构建全局特征提取器，获取并输出点云数据的全局特征；
特征融合模块，内置掩膜提取器，用于接收点云数据的边缘特征、全局特征，再通过掩膜提取器将边缘特征与全局特征融合生成第一融合特征，输出第一融合特征；
语义类别预测模块，内置融合特征解码器、语义预测器，用于接收第一融合特征，通过融合特征解码器解码第一融合特征，获取第二融合特征，再通过语义预测器对第二融合特征进行逐点的语义类别预测，计算各点的语义类别概率，输出点云分割结果；
模型训练模块，用于接收边缘点、预测点、点云分割结果，基于接收边缘点、预测点，构建边缘点的预测损失函数，获取边缘点的预测损失值；基于预设语义标签与点云分割结果，构建点云的语义损失函数，获取点云分割损失值；通过组合边缘点的预测损失值与点云分割损失值，获得网络总损失值。
10.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310788159.3A CN116524197B (zh) | 2023-06-30 | 2023-06-30 | 一种结合边缘点和深度网络的点云分割方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310788159.3A CN116524197B (zh) | 2023-06-30 | 2023-06-30 | 一种结合边缘点和深度网络的点云分割方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116524197A CN116524197A (zh) | 2023-08-01 |
| CN116524197B true CN116524197B (zh) | 2023-09-29 |
Family
ID=87390538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310788159.3A Active CN116524197B (zh) | 2023-06-30 | 2023-06-30 | 一种结合边缘点和深度网络的点云分割方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116524197B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649530B (zh) * | 2024-01-30 | 2024-04-23 | 武汉理工大学 | 基于语义级拓扑结构的点云特征提取方法、系统及设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
| CN111462137A (zh) * | 2020-04-02 | 2020-07-28 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种基于知识蒸馏和语义融合的点云场景分割方法 |
| CN111489358A (zh) * | 2020-03-18 | 2020-08-04 | 华中科技大学 | 一种基于深度学习的三维点云语义分割方法 |
| CN113012177A (zh) * | 2021-04-02 | 2021-06-22 | 上海交通大学 | 基于几何特征提取和边缘感知编码的三维点云分割方法 |
| CN114092697A (zh) * | 2021-11-09 | 2022-02-25 | 南京林业大学 | 注意力融合全局和局部深度特征的建筑立面语义分割方法 |
| CN114359902A (zh) * | 2021-12-03 | 2022-04-15 | 武汉大学 | 基于多尺度特征融合的三维点云语义分割方法 |
| WO2022088676A1 (zh) * | 2020-10-29 | 2022-05-05 | 平安科技（深圳）有限公司 | 三维点云语义分割方法、装置、设备及介质 |
| WO2022166400A1 (zh) * | 2021-02-05 | 2022-08-11 | 中国科学院深圳先进技术研究院 | 一种处理三维点云的方法、装置、设备以及存储介质 |
| CN115147601A (zh) * | 2022-07-01 | 2022-10-04 | 首都师范大学 | 基于自注意力全局特征增强的城市街道点云语义分割方法 |
| CN115527036A (zh) * | 2022-11-25 | 2022-12-27 | 南方电网数字电网研究院有限公司 | 电网场景点云语义分割方法、装置、计算机设备和介质 |
| CN116229057A (zh) * | 2022-12-22 | 2023-06-06 | 之江实验室 | 一种基于深度学习的三维激光雷达点云语义分割的方法和装置 |
-
2023
- 2023-06-30 CN CN202310788159.3A patent/CN116524197B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
| CN111489358A (zh) * | 2020-03-18 | 2020-08-04 | 华中科技大学 | 一种基于深度学习的三维点云语义分割方法 |
| CN111462137A (zh) * | 2020-04-02 | 2020-07-28 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种基于知识蒸馏和语义融合的点云场景分割方法 |
| WO2022088676A1 (zh) * | 2020-10-29 | 2022-05-05 | 平安科技（深圳）有限公司 | 三维点云语义分割方法、装置、设备及介质 |
| WO2022166400A1 (zh) * | 2021-02-05 | 2022-08-11 | 中国科学院深圳先进技术研究院 | 一种处理三维点云的方法、装置、设备以及存储介质 |
| CN113012177A (zh) * | 2021-04-02 | 2021-06-22 | 上海交通大学 | 基于几何特征提取和边缘感知编码的三维点云分割方法 |
| CN114092697A (zh) * | 2021-11-09 | 2022-02-25 | 南京林业大学 | 注意力融合全局和局部深度特征的建筑立面语义分割方法 |
| CN114359902A (zh) * | 2021-12-03 | 2022-04-15 | 武汉大学 | 基于多尺度特征融合的三维点云语义分割方法 |
| CN115147601A (zh) * | 2022-07-01 | 2022-10-04 | 首都师范大学 | 基于自注意力全局特征增强的城市街道点云语义分割方法 |
| CN115527036A (zh) * | 2022-11-25 | 2022-12-27 | 南方电网数字电网研究院有限公司 | 电网场景点云语义分割方法、装置、计算机设备和介质 |
| CN116229057A (zh) * | 2022-12-22 | 2023-06-06 | 之江实验室 | 一种基于深度学习的三维激光雷达点云语义分割的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 边缘损失约束下的多尺度动态图卷积点云分割网络;卢超杰;《小型微型计算机系统》;第1-7页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116524197A (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Voxel-based representation of 3D point clouds: Methods, applications, and its potential use in the construction industry | |
| CN110569901A (zh) | 一种基于通道选择的对抗消除弱监督目标检测方法 | |
| CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN116524197B (zh) | 一种结合边缘点和深度网络的点云分割方法、装置及设备 | |
| CN106780639B (zh) | 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法 | |
| CN108985298B (zh) | 一种基于语义一致性的人体衣物分割方法 | |
| Xia et al. | A deep Siamese postclassification fusion network for semantic change detection | |
| CN116822382B (zh) | 基于时空多重特性图卷积的海表面温度预测方法及网络 | |
| CN116229079A (zh) | 一种基于视觉辅助和特征增强的三维点云语义分割方法及系统 | |
| CN114092487A (zh) | 目标果实实例分割方法及系统 | |
| CN114118150A (zh) | 一种配电网单相接地故障选线方法及系统 | |
| CN115240024A (zh) | 一种联合自监督学习和半监督学习的地外图片分割方法和系统 | |
| Shu et al. | A SVM multi-class image classification method based on DE and KNN in smart city management | |
| CN115830179A (zh) | 一种类别无关的遥感地物矢量拓扑结构提取方法 | |
| CN110111365B (zh) | 基于深度学习的训练方法和装置以及目标跟踪方法和装置 | |
| Zeng et al. | Deep confidence propagation stereo network | |
| CN113569814A (zh) | 一种基于特征一致性的无监督行人重识别方法 | |
| CN116129118B (zh) | 基于图卷积的城市场景激光LiDAR点云语义分割方法 | |
| CN116030255A (zh) | 一种三维点云语义分割的系统及方法 | |
| CN113591685B (zh) | 一种基于多尺度池化的地理对象空间关系识别方法及系统 | |
| Ansari et al. | Angle-based feature learning in GNN for 3D object detection using point cloud | |
| Yang et al. | ICSFF: Information Constraint on Self-Supervised Feature Fusion for Few-Shot Remote Sensing Image Classification | |
| Bendre et al. | Natural disaster analytics using high resolution satellite images | |
| CN115830548B (zh) | 一种无监督多领域融合的自适应行人重识别方法 | |
| Zou et al. | [Retracted] Intelligent Image Saliency Detection Method Based on Convolution Neural Network Combining Global and Local Information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 201a, Jinfeng Building, information optoelectronic Park, torch high tech Zone, Xiamen, Fujian Province Applicant after: Xiamen Weiya Intelligent Technology Co.,Ltd. Address before: Room 201a, Jinfeng Building, information optoelectronic Park, torch high tech Zone, Xiamen, Fujian Province Applicant before: XIAMEN WEIYA INTELLIGENCE TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |