CN117496157A - 基于ms模块的相对较小部分点云语义分割方法 - Google Patents
基于ms模块的相对较小部分点云语义分割方法 Download PDFInfo
- Publication number
- CN117496157A CN117496157A CN202311665493.6A CN202311665493A CN117496157A CN 117496157 A CN117496157 A CN 117496157A CN 202311665493 A CN202311665493 A CN 202311665493A CN 117496157 A CN117496157 A CN 117496157A
- Authority
- CN
- China
- Prior art keywords
- module
- points
- point
- neural network
- seed points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 38
- 230000004913 activation Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000005070 sampling Methods 0.000 claims description 18
- 230000005484 gravity Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 241001632422 Radiola linoides Species 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 241001632427 Radiola Species 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于MS模块的相对较小部分点云语义分割方法，包括数据处理模块、神经网络、原始特征预处理模块，Silverman算法模块、FPS算法模块、Mean shift模块、MS特征处理模块和神经网络激活层，数据处理模块处理后的数据进入神经网络，并通过神经网络进行原始特征提取，待原始特征提取后使用原始特征预处理模块根据特征预测结果分批次放入接下模块，后是Silverman算法模块，经Silverman算法模块使用Silverman’s rule进行带宽设置后，进入FPS算法模块，在FPS算法模块中进行种子点选取进入Mean shift模块，并依据种子点和相应带宽进行Mean shift处理，原始特征处理模块处理后加权特征进入神经网络激活层，通过反向传播调节权重，优化神经网络学习效果预测结果。
Description
技术领域
本发明属于计算机三维点云语义分割领域，是一种基于MS模块，对点云中相对较小部分进行语义分割的算法。
背景技术
在三维点云语义分割中有很多相关算法，大部分使用深度网络处理语义分割任务，最为经典的是PointNet，该深度网络通过利用三维点云的置换不变性提取特征，提取全局特征以及每个点的特征，进行组合后进行语义分割；大部分相关算法注重整体准确率以及其他衡量指标的优化，而未着重处理这些相对较小区域，最后可能导致这些被忽略的相对较小区域的分割结果不是很为准确。现有的相关算法，对于三维点云室内外场景中较小部分的分割效果不是很好，具体来讲，对于较小部分，大部分算法基本上都无法识别即不能正确分割出这些部分，也没有针对较小部分特点，如大小，范围，点云数量，适应性解决该问题的算法，本申请专利的目的就是针对这些特殊区域进行处理，让这些区域根据本申请处理后的特征能被精准地分割出来。
发明内容
本发明要解决的技术问题在于提供一种基于MS模块的相对较小部分点云语义分割方法，该分割方法针对三维点云语义分割中相对较小部分分割准确率低的问题，采用多个优化模块，使深度网络可以较好识别。
为了解决上述技术问题，本发明通过以下方式来实现：
基于MS模块的相对较小部分点云语义分割方法，包括数据处理模块、神经网络、原始特征预处理模块，Silverman算法模块、FPS算法模块、Mean shift模块、MS特征处理模块和神经网络激活层。所述数据处理模块处理后的数据进入神经网络，并通过神经网络进行原始提取特征的提取，待原始提取特征提取后使用原始特征预处理模块根据特征预测结果分批次放入接下的模块，之后是Silverman算法模块，经Silverman算法模块使用Silverman’s rule进行带宽设置后，进入FPS算法模块，在FPS算法模块中进行种子点选取进入Mean shift模块，并依据种子点和相应带宽进行Mean shift处理，原始特征处理模块处理后加权特征进入神经网络激活层，通过反向传播调节权重，优化神经网络学习效果预测结果。
为了获取小范围特征，即特征相似的邻域中心点特征f，针对所述数据处理模块本申请详细的数据处理步骤如下：
首先，使用神经网络最后一个mlp层，将神经网络最后激活层的结果作为判定条件对特征进行分类，具体来讲，根据激活层输出记录结果相同的索引集合
根据上述索引分批次将最后一层隐藏层完成抽象化的特征传入MS模块，并对这些特征进行归一化处理，其具体表达式如下：
最后，对每一组获得的特征使用silverman’s rule设置带宽，再使用FPS(Farthest Point Sampling)算法对种子点进行选取，送入MS模块进行处理。
其中，为了解决小范围点云分割精度问题，及考虑数据处理模块中特征方差的情况，本申请采用Silverman's Rule设置带宽，计算经验误差S并通过该误差算出带宽B，其表达式如下：
其中，xi表示特征数据，表示平均特征；
所述FPS算法是一种选取种子点的算法，其流程如下：
首先，对于三维点云数据采取欧式距离度量点之间距离，在第一个点采样时求整个数据点云的重心，并选取距离重心最远的点，记为P0；然后，继续选取剩余的所有点距离P0最远的点，记为P1；对于剩下的每个点，分别计算到P0和P1的距离，并选取最短的那个作为该点到P0与P1整体的距离，计算这些距离并选择距离最大的那个点，记为P2；依次重复操作，直到选取所需数目的点。
进一步的，所述mean shift处理具体过程如下：
首先，种子点带宽内逐点将所有采样到的特征样本与种子点逐点相减得到偏移量，将所有样本点的偏移量相加求均值，得到种子点的移动向量shift，且将样本中属于该簇的点概率增加一个单位；
然后，重复上述步骤直到种子点的偏移量小于设置的阈值ε，则认为种子点移动到了最终位置，检查当前种子点内是否存在其他种子点，若存在其他种子点则将两个区域合并，并记录同簇的中心点，完成所有种子点的平移操作；检查是否还存在种子点不属于任何簇，若有则重复上述过程；
检查所有采样点，根据概率找到最大概率的簇作为采样点的所属簇，再根据簇中存在的种子点，计算与每个种子点之间的二范数值并依据二范数值将所有种子点的最终特征进行加权求和得到采样点的小领域特征；检查是否存在界外的采样，若存在则将这些采样点重复上述步骤，直到每一个采样点都具有小领域特征，最终得到所有点基于二范数的小领域特征F(P)，其表达式如下：
其中，n(p,ci)表示p与中心点ci的特征二范数，表示ci的特征；
为了更好地结合原始特征和小领域特征，将该特征及之前每个点的特征设置一个倾斜权重，并对权重使用反向传播进行梯度下降调节，得到每个点的最终特征输入到神经网络中激活层进行训练，以优化网络的学习效果。
与现有技术相比，本发明具有的有益效果：
本发明的语义点云分割方法，不仅能够更好的预测那些相对较小的区域，且在整体准确率上，相对于以往算法也有一定程度地提升；同时本方法适用于需要使用点云语义分割任务作为预处理的工作，如三维重建，或其他的一些任务，通过提高较小区域的预测准确率，为后续任务带来更好的结果；针对较小区域预测准确率有特定需求，本申请相对与其他方法而言能更好地处理这一类问题。
附图说明
图1为本发明的流程示意图。
图2为本发明的算法框架示意图。
图3为本发明的原始特征预处理模块示意图。
图4为本发明的MS模块工作原理示意图。
具体实施方式
下面结合附图和具体实施例对本发明的具体实施方式作进一步详细的说明。
如图1～4所示，基于MS模块的相对较小部分点云语义分割方法，包括数据处理模块、神经网络、原始特征预处理模块，Silverman算法模块、FPS算法模块、Mean shift模块、MS特征处理模块和神经网络激活层；所述数据处理模块处理后的数据进入神经网络，并通过神经网络进行原始提取特征的提取，待原始提取特征提取后使用原始特征预处理模块根据特征预测结果分批次放入接下模块，之后是Silverman算法模块，经Silverman算法模块使用Silverman’s rule进行带宽设置后，进入FPS算法模块，在FPS算法模块中进行种子点选取进入Mean shift模块，并依据种子点和相应带宽进行Mean shift处理，原始特征处理模块处理后加权特征进入神经网络激活层，通过反向传播调节权重，优化神经网络学习效果预测结果。
为了获取小范围特征，即特征相似的邻域中心点特征f，针对所述数据处理模块本申请详细的数据处理步骤如下：
首先，使用神经网络最后一个mlp层，将神经网络最后激活层的结果作为判定条件对特征进行分类，具体来讲，根据激活层输出记录结果相同的索引集合
根据上述索引分批次将最后一层隐藏层完成抽象化的特征传入MS模块，并对这些特征进行归一化处理，该归一化处理是在数据处理模块的，数据处理模块具体方法如下：先检查各标签点云数量，若数量少于阈值，则复制到阈值并随机插入到原始数据中，其阈值为点云总数与类别个数的比值再在对数据进行归一化处理，其具体表达式如下：
最后，对每一组获得的特征使用silverman’s rule设置带宽，再使用FPS(Farthest Point Sampling)算法对种子点进行选取，送入MS模块进行处理。
对于本申请而言，最后一个mlp得到的特征只会在进入MS模块前使用，MS模块安插在神经网络中，神经网络最后一个隐藏层得到特征，其抽象度以及区分度一般是最好的，然后预先使用激活层对上述特征进行标签预测，将同属标签的特征传入到MS模块；将MS模块放在神经网络的最后一个隐藏层后，复制激活层和原本神经网络的激活层之间，神经网络作为MS模块的backbone，MS模块也可单独使用进行点云的语义分割。
如图3所示，原始特征处理模块对原始提取特征进行初步处理的模块，根据复制的激活层结果，将隐藏层特征逐批次放入后续的MS模块，其中前一个中括号中的符号表示输出的原始提取特征，f1,2表示原始标签为1的第二个特征，后一个中括号为处理后特征，表示原始标签为1划分到a2簇的第三个特征。
在Mean shift算法中，通常以经验法设置带宽值，每换一次数据集就需要重新去校验带宽值，以获得最好的效果，这样做会浪费大量的时间，特别是在有训练网络的任务当中，校验的时间代价更大。为了解决小范围点云分割精度问题，及考虑数据处理模块中特征方差的情况，本申请采用Silverman's Rule设置带宽，所述Silverman’s Rule在获取到前一个模块的特征后，计算所有点的平均特征，将每个点的特征减去该平均特征求和，再除以总点数，将得到的特征求二范数，获取到S值，再根据公式就能获得初始带宽值。带宽设置是为了使带宽在不同数据集下更加合理，计算经验误差S并通过该误差算出带宽B，其表达式如下：
其中，xi表示特征数据，表示平均特征；
所述FPS算法是一种选取种子点的算法，其流程如下：
首先，对于三维点云数据采取欧式距离度量点之间距离，在第一个点采样时求整个数据点云的重心，并选取距离重心最远的点，记为P0；然后，继续选取剩余的所有点距离P0最远的点，记为P1；对于剩下的每个点，分别计算到P0和P1的距离，并选取最短的那个作为该点到P0与P1整体的距离，计算这些距离并选择距离最大的那个点，记为P2；依次重复操作，直到选取所需数目的点。
经过以上两步完成MS模块的初始化，根据每个种子点和相应的带宽进行Meanshift处理过程如下：
首先，对所有点进行归一化处理，种子点带宽内逐点将所有采样到的特征样本(从深度学习网络中获得的特征)与种子点逐点相减，将所有样本点的偏移量相加求均值，得到种子点的移动向量shift，且将样本中属于该簇的点概率增加一个单位；
然后，重复上述步骤直到种子点的偏移量小于设置的阈值ε，则认为种子点移动到了最终位置，检查当前种子点内是否存在其他种子点，若存在其他种子点则将两个区域合并，并记录同簇的中心点，完成所有种子点的平移操作；检查是否还存在种子点不属于任何簇，若有则重复上述过程；
检查所有采样点，根据概率找到最大概率，的簇作为采样点的所属簇，再根据簇中存在的种子点，计算与每个种子点之间的二范数值，其二范数值为xi是点云中的点，/>是其所属的第k个种子点，并依据二范数值将所有种子点的最终特征进行加权求和得到采样点的小领域特征；检查是否存在界外的采样，若存在则将这些采样点重复上述步骤，直到每一个采样点都具有小领域特征，最终得到所有点基于二范数的小领域特征F(P)，其表达式如下：
其中，n(p,ci)表示p与中心点ci的特征二范数，表示ci的特征；
为了更好地结合原始特征和小领域特征，将该特征及之前每个点的特征设置一个倾斜权重，并对权重使用反向传播进行梯度下降调节，得到每个点的最终特征输入到神经网络中激活层进行训练，以优化网络的学习效果。
以上所述仅是本发明的实施方式，再次声明，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进，这些改进也列入本发明权利要求的保护范围内。
Claims (5)
1.基于MS模块的相对较小部分点云语义分割方法，其特征在于：包括数据处理模块、神经网络、原始特征预处理模块，Silverman算法模块、FPS算法模块、Mean shift模块、MS特征处理模块和神经网络激活层；数据处理模块处理后的数据进入神经网络，并通过神经网络进行原始提取特征的提取，待原始提取特征提取后使用原始特征预处理模块根据特征预测结果分批次放入接下模块，之后是Silverman算法模块，经Silverman算法模块使用Silverman’srule进行带宽设置后，进入FPS算法模块，在FPS算法模块中进行种子点选取进入Mean shift模块，并依据种子点和相应带宽进行Mean shift处理，原始特征处理模块处理后加权特征进入神经网络激活层，通过反向传播调节权重，优化神经网络学习效果预测结果。
2.根据权利要求1所述的基于MS模块的相对较小部分点云语义分割方法，其特征在于：所述数据处理模块的数据处理步骤如下：
首先，使用神经网络最后一个mlp层，将神经网络最后激活层的结果作为判定条件对特征进行分类，具体来讲，根据激活层输出记录结果相同的索引集合
根据上述索引分批次将最后一层隐藏层完成抽象化的特征传入MS模块，并对这些特征进行归一化处理，其具体表达式如下：
最后，对每一组获得的特征使用silverman’s rule设置带宽，再使用FPS算法对种子点进行选取，送入MS模块进行处理。
3.根据权利要求1所述的基于MS模块的相对较小部分点云语义分割方法，其特征在于：
本申请采用Silverman's Rule设置带宽，计算经验误差S并通过该误差算出带宽B，其表达式如下：
其中，xi表示特征数据，表示平均特征。
4.根据权利要求1所述的基于MS模块的相对较小部分点云语义分割方法，其特征在于：所述FPS算法是一种选取种子点的算法，其流程如下：
首先，对于三维点云数据采取欧式距离度量点之间距离，在第一个点采样时求整个数据点云的重心，并选取距离重心最远的点，记为P0；然后，继续选取剩余的所有点距离P0最远的点，记为P1；对于剩下的每个点，分别计算到P0和P1的距离，并选取最短的那个作为该点到P0与P1整体的距离，计算这些距离并选择距离最大的那个点，记为P2；依次重复操作，直到选取所需数目的点。
5.根据权利要求1所述的基于MS模块的相对较小部分点云语义分割方法，其特征在于：
所述mean shift处理具体过程如下：
首先，种子点带宽内逐点将所有采样到的特征样本与种子点逐点相减得到偏移量，将所有样本点的偏移量相加求均值，得到种子点的移动向量shift，且将样本中属于该簇的点概率增加一个单位；
然后，重复上述步骤直到种子点的偏移量小于设置的阈值ε，则认为种子点移动到了最终位置，检查当前种子点内是否存在其他种子点，若存在其他种子点则将两个区域合并，并记录同簇的中心点，完成所有种子点的平移操作；检查是否还存在种子点不属于任何簇，若有则重复上述过程；
检查所有采样点，根据概率找到最大概率的簇作为采样点的所属簇，再根据簇中存在的种子点，计算与每个种子点之间的二范数值并依据二范数值将所有种子点的最终特征进行加权求和得到采样点的小领域特征；检查是否存在界外的采样，若存在则将这些采样点重复上述步骤，直到每一个采样点都具有小领域特征，最终得到所有点基于二范数的小领域特征F(P)，其表达式如下：
其中，n(p,ci)表示p与中心点ci的特征二范数，表示ci的特征；
将该特征及之前每个点的特征设置一个倾斜权重，并对权重使用反向传播进行梯度下降调节，得到每个点的最终特征输入到神经网络中激活层进行训练，以优化网络的学习效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311665493.6A CN117496157A (zh) | 2023-12-06 | 2023-12-06 | 基于ms模块的相对较小部分点云语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311665493.6A CN117496157A (zh) | 2023-12-06 | 2023-12-06 | 基于ms模块的相对较小部分点云语义分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117496157A true CN117496157A (zh) | 2024-02-02 |
Family
ID=89685057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311665493.6A Pending CN117496157A (zh) | 2023-12-06 | 2023-12-06 | 基于ms模块的相对较小部分点云语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117496157A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994527A (zh) * | 2024-04-03 | 2024-05-07 | 中国空气动力研究与发展中心低速空气动力研究所 | 基于区域生长的点云分割方法及系统 |
-
2023
- 2023-12-06 CN CN202311665493.6A patent/CN117496157A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994527A (zh) * | 2024-04-03 | 2024-05-07 | 中国空气动力研究与发展中心低速空气动力研究所 | 基于区域生长的点云分割方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108564129B (zh) | 一种基于生成对抗网络的轨迹数据分类方法 | |
| CN111523621B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN107122375B (zh) | 基于图像特征的图像主体的识别方法 | |
| CN110210560B (zh) | 分类网络的增量训练方法、分类方法及装置、设备及介质 | |
| CN112435363B (zh) | 一种刀具磨损状态实时监测方法 | |
| CN110427938A (zh) | 一种基于深度学习的不规则文字识别装置和方法 | |
| CN110942471B (zh) | 一种基于时空约束的长时目标跟踪方法 | |
| CN117496157A (zh) | 基于ms模块的相对较小部分点云语义分割方法 | |
| CN111079847B (zh) | 一种基于深度学习的遥感影像自动标注方法 | |
| CN108710948B (zh) | 一种基于聚类均衡和权重矩阵优化的迁移学习方法 | |
| CN109117856B (zh) | 基于智能边缘云的人及物追踪方法、装置及系统 | |
| CN104809469A (zh) | 一种面向服务机器人的室内场景图像分类方法 | |
| CN110472652A (zh) | 基于语义引导的少量样本分类方法 | |
| CN112036511B (zh) | 基于注意力机制图卷积神经网络的图像检索方法 | |
| CN113554156B (zh) | 基于注意力机制与可变形卷积的多任务图像处理方法 | |
| CN110990498A (zh) | 一种基于fcm算法的数据融合方法 | |
| CN115587543A (zh) | 基于联邦学习和lstm的刀具剩余寿命预测方法及系统 | |
| CN113806582A (zh) | 图像检索方法、装置、电子设备和存储介质 | |
| CN111882057A (zh) | 一种面向时空序列数据建模的多阶段深度学习方法及应用 | |
| CN111611395B (zh) | 一种实体关系的识别方法及装置 | |
| CN103744958A (zh) | 一种基于分布式计算的网页分类算法 | |
| CN111506760A (zh) | 一种基于困难感知的深度集成度量图像检索方法 | |
| Passalis et al. | Adaptive normalization for forecasting limit order book data using convolutional neural networks | |
| CN110263196B (zh) | 图像检索方法、装置、电子设备及存储介质 | |
| CN108874974A (zh) | 基于频繁词集的并行化话题跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |