CN116993748A - 基于并行特征提取的点云语义分割方法 - Google Patents
基于并行特征提取的点云语义分割方法 Download PDFInfo
- Publication number
- CN116993748A CN116993748A CN202310948150.4A CN202310948150A CN116993748A CN 116993748 A CN116993748 A CN 116993748A CN 202310948150 A CN202310948150 A CN 202310948150A CN 116993748 A CN116993748 A CN 116993748A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- semantic
- point
- semantic segmentation
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000000605 extraction Methods 0.000 title claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 5
- 238000006116 polymerization reaction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 241000109539 Conchita Species 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 238000002474 experimental method Methods 0.000 abstract description 4
- 230000015654 memory Effects 0.000 abstract description 4
- 238000004088 simulation Methods 0.000 abstract description 3
- 230000000052 comparative effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012733 comparative method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006886 spatial memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
一种基于并行特征提取的点云语义分割方法，由数据集预处理、构建点云语义分割网络、构建点云语义分割网络、测试点云语义分割网络步骤组成。本发明与其他基于点的点云语义分割方法相比，本发明方法在局部特征提取时将语义信息和几何信息分别编码，降低特征的模糊度。在加强局部每个点的语义表示的同时，有助于网络有效学习局部区域丰富的语义信息，使得网络能够充分挖掘不同邻域之间的几何差异，有效地减少了特征的模糊性和冗余度，提高了大规模无序点云的语义分割。经仿真对比实验表明，本发明能够明确不同区域之间的差异，尤其是在具有相似局部上下文的重叠区域，具有计算方法简单、内存小、分割效果好等优点，可用于三维点云的语义分割。
Description
技术领域
本发明属于自动驾驶、计算机视觉技术领域，具体涉及到三维点云的语义分割方法。
背景技术
随着激光雷达、RGB-D相机等三维数据采集设备的成熟，点云数据的获取变得越来越容易。与二维图像不同的是，三维点云的获取不受光照和遮挡物的影响，所以点云能够更好地反映现实世界。目前，随着深度学习技术的不断进步，三维点云的语义分割技术在计算机视觉领域受到了极大的关注，已成为自动驾驶领域的研究热点。
点云语义分割的目的是推断出每个点的语义类别，用于更好地场景理解。基于深度学习的点云语义分割方法可以分为三类：基于投影、基于体素化、以及基于点的分割方法。基于投影的方法是指将三维点云投影到二维距离图像，再利用二维常规卷积实现语义分割。但这忽略了点云固有的空间信息，且易丢失关键数据导致分割精度降低。基于体素化的方法是将不规则的点云数据转换为体素表示，然后输入到三维卷积中进行处理。这样可以很好地保留点云的空间结构，但随着分辨率的增大，需要大量时间和空间内存。基于点的方法将点云直接输入到网络中，通过计算每个点的空间特征，得到了全局点云的语义分割结果。这种方法减少了信息丢失以及计算负担，成为了点云语义分割的首选方法。
现有的许多基于点的方法在处理小规模点云(4096个点)时，能够实现良好的分割结果，但在预测大规模点云场景(数百万或数十亿个点)的语义标签时，存在不能充分利用点云的语义信息和几何信息，易造成局部点特征的模糊的问题，且会造成严重的计算负担和内存负担，导致语义分割效果不理想。
发明内容
本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种计算方法简单、内存小、分割效果好的基于并行特征提取的点云语义分割方法。
解决上述技术问题所采用的技术方案由下述步骤组成：
(1)数据集预处理
选择点云数据集，并进行预处理：将由激光雷达传感器获取的S3DIS点云数据集按5：1分为训练集、测试集，对点云进行旋转、平移操作。
(2)构建点云语义分割网络
点云语义分割网络由特征编码器、特征解码器、归一化预测模块依次串联组成。
所述的特征编码器由4～6层编码层依次串联组成。
所述的特征编码器的第一层编码层由并行特征提取模块构成；其余层编码层与第一层编码层的结构相同。
所述的特征解码器由4～6层解码层依次串联构成。
(3)训练点云语义分割网络
1)构建交叉熵损失函数
按下式构建交叉熵损失函数：
其中，C表示点语义类别的数量，pi为目标类别，qi为预测类别。
2)训练点云语义分割网络
软件条件为Centos7.5操作系统，基于pytorch1.7.0框架，将训练集输入到点云语义分割网络进行训练，训练过程中参数初始学习率为0.01，动量衰减设置为0.5，权重衰减率为0.0001，批处理量为32，训练轮数为100，服务器为搭载两块Nvidia Tesla v100显卡的华为服务器RH2288H V2，训练至损失函数收敛。
(4)测试点云语义分割网络
将测试集输入到训练后的点云语义分割网络中，得到点云中每个点的最终语义类别。
在本发明的步骤(2)构建点云语义分割网络中，所述的并行特征提取模块由语义信息编码块和位置信息编码块并联，与混合池聚合模块串联构成。
本发明的语义信息编码块构建如下：
按式(1)确定近邻点的欧氏距离r：
其中，n为点的数量、为有限的正整数，xi、yi为任意两点。
按式(2)将K个近邻点的语义特征进行拼接操作：
其中，ci∈RK×d为拼接后的语义特征，fi K为第K个点的语义特征，为拼接操作。
根据式(3)分别获得自适应融合后的语义特征Ci和Fi：
si＝sigmoid(MLP(ci))
其中，sigmoid(.)为sigmoid的函数，MLP为共享多层感知机，为中心点升维后的语义特征，si和/>为注意力分数，/>
按式(4)得编码后点的语义特征Si：
其中，Ci和分别为Fi语义特征。
本发明的位置信息编码块的构建如下：
按式(5)确定点云中任意一点近邻点的欧氏距离r：
按式(6)将局部区域内每个邻近点的坐标、与中心点的相对坐标差、以及相对于中心点的欧氏距离进行拼接操作，得到每个邻点编码后的位置特征
其中，表示第k个近邻点的坐标，/>表示中心点之间的相对距离，表示中心点之间的欧氏距离。
按式(7)得到整个局部区域的位置特征ri g：
其中，mean表示平均池操作，repeat表示将得到的平均特征复制K次。
按照式(8)得编码后点的位置特征Ri：
其中，ri g表示全局特征，表示任意一点的位置特征。
本发明的混合池聚合模块构建如下：
按照式(9)确定最大池化特征Ms和Mg：
根据式(10)确定注意力池化语义特征ASi和位置特征APi：
其中，表示第k个点的语义分数，/>表示第k个点的位置分数。
按照式(11)得混合池聚合模块优化后的特征Fic：
其中，FSi表示最大池化语义特征Ms和注意力池化语义特征ASi拼接，FPi表示最大池化位置特征Mg和注意力池化位置特征APi拼接。
在本发明的步骤(2)构建点云语义分割网络中，所述的特征解码器的第一层解码层由共享多层感知机与插值上采样串联构成；其余解码层与第一层解码层的结构相同。
本发明的共享多层感知机的卷积核大小为1×1，滑动窗口的步长为1。
本发明与现有技术相比，具有以下的有益效果：
本发明与其他基于点的点云语义分割方法相比，本方法在局部特征提取时将语义信息和几何信息分别编码，降低特征的模糊度。在加强局部每个点的语义表示的同时，有助于网络有效学习局部区域丰富的语义信息，使得网络能够充分挖掘不同邻域之间的几何差异，有效地减少了特征的模糊性和冗余度，提高了大规模无序点云的语义分割。经仿真对比实验表明，本发明能够明确不同区域之间的差异，尤其是在具有相似局部上下文的重叠区域，具有计算方法简单、内存小、分割效果好等优点，有利于点云特征的学习和提取，可用于三维点云的语义分割。
附图说明
图1是本发明实施例1的流程图。
图2是本发明实施例1的特征编码器的结构示意图。
图3是本发明实施例1的特征解码器的结构示意图。
具体实施方法
下面结合附图和实施例对本发明中的技术方案进行清楚、详细地说明，但本发明不限于下述的实施方式。
实施例1
在图1中，本实施例的基于并行特征提取的点云语义分割方法由下述步骤组成：
(1)数据集预处理
选择点云数据集，并进行预处理：将由激光雷达传感器获取的S3DIS点云数据集按5：1分为训练集、测试集，对点云进行旋转、平移操作。
(2)构建点云语义分割网络
点云语义分割网络由特征编码器、特征解码器、归一化预测模块依次串联组成。
图2给出了本发明实施例1的特征编码器的结构示意图。在图2中，本实施例的特征编码器由4层编码层依次串联构成，即由第一层编码层与第二层编码层、第三层编码层、第四层编码层依次串联组成。第一层编码层由并行特征提取模块构成，其余层编码层与第一层编码层的结构相同。
本实施例的并行特征提取模块由语义信息编码块和位置信息编码块并联，与混合池聚合模块串联构成。本实施例的语义信息编码块构建如下：
按式(1)确定近邻点的欧氏距离r：
其中，n为点的数量、为有限的正整数，xi、yi为任意两点。
按式(2)将K个近邻点的语义特征进行拼接操作：
其中，ci∈RK×d为拼接后的语义特征，fi K为第K个点的语义特征，为拼接操作；
根据式(3)分别获得自适应融合后的语义特征Ci和Fi：
其中，sigmoid(.)为sigmoid的函数，MLP为共享多层感知机，为中心点升维后的语义特征，si和/>为注意力分数，/>本实施例的si取值为0.5，/>取值为0.5。
按式(4)得编码后点的语义特征Si：
其中，Ci和分别为Fi语义特征。
本实施例的位置信息编码块的构建如下：
按式(5)确定点云中任意一点近邻点的欧氏距离r：
按式(6)将局部区域内每个邻近点的坐标、与中心点的相对坐标差、以及相对于中心点的欧氏距离进行拼接操作，得到每个邻点编码后的位置特征ri k：
其中，表示第k个近邻点的坐标，/>表示中心点之间的相对距离，表示中心点之间的欧氏距离。
按式(7)得到整个局部区域的位置特征ri g：
其中，mean表示平均池操作，repeat表示将得到的平均特征复制K次。
按照式(8)得编码后点的位置特征Ri：
其中，ri g表示全局特征，表示任意一点的位置特征。
本实施例的混合池聚合模块构建如下：
按照式(9)确定最大池化特征Ms和Mg：
根据式(10)确定注意力池化语义特征ASi和位置特征APi：
其中，表示第k个点的语义分数，/>表示第k个点的位置分数。
按照式(11)得混合池聚合模块优化后的特征Fic：
其中，FSi表示最大池化语义特征Ms和注意力池化语义特征ASi拼接，FPi表示最大池化位置特征Mg和注意力池化位置特征APi拼接。
图3给出了本发明实施例1的特征解码器的结构示意图。在图3中，本实施例的特征解码器由4层编码层依次串联构成，即由第一层解码层与第二层解码层、第三层解码层、第四层解码层依次串联组成。第一层解码层由共享多层感知机与插值上采样串联构成，共享多层感知机的卷积核大小为1×1，滑动窗口的步长为1，其余解码层与第一层解码层的结构相同。
(3)训练点云语义分割网络
1)构建交叉熵损失函数
按下式构建交叉熵损失函数：
其中，C表示点语义类别的数量，C为13，pi为目标类别，目标类别包括天花板、地板、墙壁、梁、柱、窗户、门、桌子、椅子、沙发、书柜、木板、杂物，qi为预测类别，预测类别包括天花板、地板、墙壁、梁、柱、窗户、门、桌子、椅子、沙发、书柜、木板和杂物。点语义类别的数量C、目标类别pi、预测类别qi，应根据S3DIS点云数据集包括的具体内容来确定。
2)训练点云语义分割网络
软件条件为Centos7.5操作系统，基于pytorch1.7.0框架，将训练集输入到点云语义分割网络进行训练，训练过程中参数初始学习率为0.01，动量衰减设置为0.5，权重衰减率为0.0001，批处理量为32，训练轮数为100，训练至损失函数收敛；
(4)测试点云语义分割网络
将测试机输入到训练后的点云语义分割网络中，得到点云中每个点的最终语义类别。
完成基于并行特征提取的点云语义分割方法。
实施例2
本实施例的基于并行特征提取的点云语义分割方法由下述步骤组成：
(1)数据集预处理
该步骤与实施例1相同。
(2)构建点云语义分割网络
本实施例的语义信息编码块构建如下：
按式(1)确定近邻点的欧氏距离r：
其中，n为点的数量、为有限的正整数，xi、yi为任意两点。
按式(2)将K个近邻点的语义特征进行拼接操作：
其中，ci∈RK×d为拼接后的语义特征，fi K为第K个点的语义特征，为拼接操作；
根据式(3)分别获得自适应融合后的语义特征Ci和Fi：
其中，sigmoid(.)为sigmoid的函数，MLP为共享多层感知机，为中心点升维后的语义特征，si和/>为注意力分数，/>本实施例的si取值为0.1，/>取值为0.1。
按式(4)得编码后点的语义特征Si：
其中，Ci和分别为Fi语义特征。
该步骤的其它步骤与实施例1相同。
其它步骤与实施例1相同。
完成基于并行特征提取的点云语义分割方法。
实施例3
本实施例的基于并行特征提取的点云语义分割方法由下述步骤组成：
(1)数据集预处理
该步骤与实施例1相同。
(2)构建点云语义分割网络
本实施例的语义信息编码块构建如下：
按式(1)确定近邻点的欧氏距离r：
其中，n为点的数量、为有限的正整数，xi、yi为任意两点。
按式(2)将K个近邻点的语义特征进行拼接操作：
其中，ci∈RK×d为拼接后的语义特征，fi K为第K个点的语义特征，为拼接操作；
根据式(3)分别获得自适应融合后的语义特征Ci和Fi：
其中，sigmoid(.)为sigmoid的函数，MLP为共享多层感知机，为中心点升维后的语义特征，si和/>为注意力分数，/>本实施例的si取值为0.9，/>取值为0.9。
按式(4)得编码后点的语义特征Si：
其中，Ci和分别为Fi语义特征。
该步骤的其它步骤与实施例1相同。
其它步骤与实施例1相同。
完成基于并行特征提取的点云语义分割方法。
为了证明本发明的有益效果，采用本发明实施例1的基于并行特征提取的点云语义分割方法与其他基于点的大规模点云语义分割方法PointCNN(以下简称对比1)、KPConv(以下简称对比2)、RandLA-Net(以下简称对比3)、SCF-Net(以下简称对比4)进行了对比试验，比较总体分割精度，平均交并比以及对13个语义类别分别进行分割的分割性能指标。
在S3DIS数据集上的性能对比实验结果见表1。
表1本发明方法与对比方法的仿真实验结果
| 实验方法 | mIoU | OA | ceil. | floor | wall | beam | col. | wind. | door | table | chair | sofa | book. | board | clut. |
| 对比1 | 65.4 | 88.1 | 94.8 | 97.3 | 75.8 | 63.3 | 51.7 | 58.4 | 57.2 | 71.6 | 69.1 | 39.1 | 61.2 | 52.2 | 58.6 |
| 对比2 | 70.6 | - | 93.6 | 92.4 | 83.1 | 63.9 | 54.3 | 66.1 | 76.6 | 57.8 | 64.0 | 69.3 | 74.9 | 61.3 | 60.3 |
| 对比3 | 70.0 | 88.0 | 93.1 | 96.1 | 80.6 | 62.4 | 48.0 | 64.4 | 69.4 | 69.4 | 76.4 | 60.0 | 64.2 | 65.9 | 60.1 |
| 对比4 | 71.6 | 88.4 | 93.3 | 96.4 | 80.9 | 64.9 | 47.4 | 64.5 | 70.1 | 71.4 | 81.6 | 67.2 | 64.4 | 67.5 | 60.9 |
| 实施例1 | 72.1 | 88.4 | 94.9 | 97.1 | 82.2 | 63.1 | 56.3 | 67.5 | 69.7 | 71.9 | 79.1 | 66.3 | 63.1 | 64.8 | 61.3 |
表1本发明方法有效地提高了模型分割大规模点云室内场景的分割精度，mIou和OA分别达到了72.1％和88.4％，在3个语义类别上(天花板、窗户和杂物)实现了最佳分割性能。本发明方法有效地提取了点云的语义特征和几何特征，提高了分割质量，具有较好的可行性和优越性。
综上，实验结果表明，本发明与其他分割方法相比，有效改善了特征的模糊程度，具有分割性能好、易于实现等特点，有利于点云特征的学习和提取，可用于三维点云的语义分割。
Claims (7)
1.一种基于并行特征提取的点云语义分割方法，其特征在于，包括如下步骤：
(1)数据集预处理
选择点云数据集，并进行预处理：将由激光雷达传感器获取的S3DIS点云数据集按5：1分为训练集、测试集，对点云进行旋转、平移操作；
(2)构建点云语义分割网络
点云语义分割网络由特征编码器、特征解码器、归一化预测模块依次串联组成；
所述的特征编码器由4～6层编码层依次串联组成；
所述的特征编码器的第一层编码层由并行特征提取模块构成；其余层编码层与第一层编码层的结构相同；
所述的特征解码器由4～6层解码层依次串联构成；
(3)训练点云语义分割网络
1)构建交叉熵损失函数
按下式构建交叉熵损失函数：
其中，C表示点语义类别的数量，pi为目标类别，qi为预测类别；
2)训练点云语义分割网络
软件条件为Centos7.5操作系统，基于pytorch1.7.0框架，将训练集输入到点云语义分割网络进行训练，训练过程中参数初始学习率为0.01，动量衰减设置为0.5，权重衰减率为0.0001，批处理量为32，训练轮数为100，服务器为搭载两块Nvidia Tesla v100显卡的华为服务器RH2288H V2，训练至损失函数收敛；
(4)测试点云语义分割网络
将测试集输入到训练后的点云语义分割网络中，得到点云中每个点的最终语义类别。
2.根据权利要求1所述的基于并行特征提取的点云语义分割方法，其特征在于：在步骤(2)构建点云语义分割网络中，所述的并行特征提取模块由语义信息编码块和位置信息编码块并联，与混合池聚合模块串联构成。
3.根据权利要求2所述的基于并行特征提取的点云语义分割方法，其特征在于：所述的语义信息编码块构建如下：
按式(1)确定近邻点的欧氏距离r：
其中，n为点的数量、为有限的正整数，xi、yi为任意两点；
按式(2)将K个近邻点的语义特征进行拼接操作：
其中，ci∈RK×d为拼接后的语义特征，fi K为第K个点的语义特征，为拼接操作；
根据式(3)分别获得自适应融合后的语义特征Ci和语义特征Fi：
si＝sigmoid(MLP(ci))
其中，sigmoid(.)为sigmoid的函数，MLP为共享多层感知机，为中心点升维后的语义特征，si和/>为注意力分数，/>
按式(4)得编码后点的语义特征Si：
4.根据权利要求2所述的基于并行特征提取的点云语义分割方法，其特征在于：所述的位置信息编码块的构建如下：
按式(5)确定点云中任意一点近邻点的欧氏距离r：
按式(6)将局部区域内每个邻近点的坐标、与中心点的相对坐标差、以及相对于中心点的欧氏距离进行拼接操作，得到每个邻点编码后的位置特征ri k：
其中，表示第k个近邻点的坐标，/>表示中心点之间的相对距离，/>表示中心点之间的欧氏距离；
按式(7)得到整个局部区域的位置特征ri g：
ri g＝repeat(mean(ri k)) (7)
其中，mean表示平均池操作，repeat表示将得到的平均特征复制K次；
按照式(8)得编码后点的位置特征Ri：
其中，ri g表示全局特征，ri k表示任意一点的位置特征。
5.根据权利要求2所述的基于并行特征提取的点云语义分割方法，其特征在于：所述的混合池聚合模块构建如下：
按照式(9)确定最大池化特征Ms和Mg：
根据式(10)确定注意力池化语义特征ASi和位置特征APi：
其中，表示第k个点的语义分数，/>表示第k个点的位置分数；
按照式(11)得混合池聚合模块优化后的特征Fic：
其中，FSi表示最大池化语义特征Ms和注意力池化语义特征ASi拼接，FPi表示最大池化位置特征Mg和注意力池化位置特征APi拼接。
6.根据权利要求1所述的基于并行特征提取的点云语义分割方法，其特征在于：在步骤(2)构建点云语义分割网络中，所述的特征解码器的第一层解码层由共享多层感知机与插值上采样串联构成；其余解码层与第一层解码层的结构相同。
7.根据权利要求3或6所述的基于并行特征提取的点云语义分割方法，其特征在于：所述的共享多层感知机的卷积核大小为1×1，滑动窗口的步长为1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310948150.4A CN116993748A (zh) | 2023-07-31 | 2023-07-31 | 基于并行特征提取的点云语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310948150.4A CN116993748A (zh) | 2023-07-31 | 2023-07-31 | 基于并行特征提取的点云语义分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116993748A true CN116993748A (zh) | 2023-11-03 |
Family
ID=88526019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310948150.4A Pending CN116993748A (zh) | 2023-07-31 | 2023-07-31 | 基于并行特征提取的点云语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116993748A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3671531A1 (en) * | 2018-12-17 | 2020-06-24 | Promaton Holding B.V. | Semantic segmentation of non-euclidean 3d data sets using deep learning |
| CN113989504A (zh) * | 2021-10-28 | 2022-01-28 | 广东工业大学 | 一种三维点云数据的语义分割方法 |
| CN114549439A (zh) * | 2022-02-11 | 2022-05-27 | 中北大学 | 一种基于多模态特征融合的rgb-d图像语义分割方法 |
| CN114758129A (zh) * | 2022-04-12 | 2022-07-15 | 西安理工大学 | 一种基于局部特征增强的RandLA-Net室外场景语义分割方法 |
| CN115620287A (zh) * | 2022-11-09 | 2023-01-17 | 杭州师范大学 | 一种基于面片上下文特征的室内点云场景语义分割方法 |
| CN115908814A (zh) * | 2022-12-13 | 2023-04-04 | 浙江零跑科技股份有限公司 | 一种点云语义分割方法、计算机设备、可读存储介质及机动车 |
| CN116206306A (zh) * | 2022-12-26 | 2023-06-02 | 山东科技大学 | 一种类间表征对比驱动的图卷积点云语义标注方法 |
| CN116246073A (zh) * | 2023-03-16 | 2023-06-09 | 重庆理工大学 | 一种基于动态图卷积和空间注意力的点云语义分割网络 |
| CN116363439A (zh) * | 2023-04-21 | 2023-06-30 | 北京石油化工学院 | 一种基于多头自注意力的点云分类方法、装置及设备 |
-
2023
- 2023-07-31 CN CN202310948150.4A patent/CN116993748A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3671531A1 (en) * | 2018-12-17 | 2020-06-24 | Promaton Holding B.V. | Semantic segmentation of non-euclidean 3d data sets using deep learning |
| CN113989504A (zh) * | 2021-10-28 | 2022-01-28 | 广东工业大学 | 一种三维点云数据的语义分割方法 |
| CN114549439A (zh) * | 2022-02-11 | 2022-05-27 | 中北大学 | 一种基于多模态特征融合的rgb-d图像语义分割方法 |
| CN114758129A (zh) * | 2022-04-12 | 2022-07-15 | 西安理工大学 | 一种基于局部特征增强的RandLA-Net室外场景语义分割方法 |
| CN115620287A (zh) * | 2022-11-09 | 2023-01-17 | 杭州师范大学 | 一种基于面片上下文特征的室内点云场景语义分割方法 |
| CN115908814A (zh) * | 2022-12-13 | 2023-04-04 | 浙江零跑科技股份有限公司 | 一种点云语义分割方法、计算机设备、可读存储介质及机动车 |
| CN116206306A (zh) * | 2022-12-26 | 2023-06-02 | 山东科技大学 | 一种类间表征对比驱动的图卷积点云语义标注方法 |
| CN116246073A (zh) * | 2023-03-16 | 2023-06-09 | 重庆理工大学 | 一种基于动态图卷积和空间注意力的点云语义分割网络 |
| CN116363439A (zh) * | 2023-04-21 | 2023-06-30 | 北京石油化工学院 | 一种基于多头自注意力的点云分类方法、装置及设备 |
Non-Patent Citations (2)
| Title |
|---|
| 杨军 等: "基于上下文注意力CNN的三维点云语义分割", 《通信学报》, 31 December 2020 (2020-12-31), pages 199 - 207 * |
| 石川: "异质图表示学习与应用", 31 August 2022, 机械工业出版社, pages: 144 - 145 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111489358B (zh) | 一种基于深度学习的三维点云语义分割方法 | |
| Zhou et al. | Learning to reconstruct 3d manhattan wireframes from a single image | |
| Wu et al. | Stereo matching with fusing adaptive support weights | |
| Xu et al. | Multi-scale geometric consistency guided and planar prior assisted multi-view stereo | |
| Hu et al. | Structure‐aware 3D reconstruction for cable‐stayed bridges: A learning‐based method | |
| CN111414923B (zh) | 基于单幅rgb图像的室内场景三维重建方法及系统 | |
| CN116228792A (zh) | 一种医学图像分割方法、系统及电子装置 | |
| CN111899295A (zh) | 一种基于深度学习的单目场景深度预测方法 | |
| CN111292308A (zh) | 基于卷积神经网络的光伏太阳能板红外缺陷检测方法 | |
| CN117115339A (zh) | 一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法 | |
| CN114821316A (zh) | 一种三维探地雷达裂缝病害识别方法及系统 | |
| CN115908793A (zh) | 一种基于位置注意力机制的编解码结构语义分割模型 | |
| CN112488117B (zh) | 一种基于方向诱导卷积的点云分析方法 | |
| CN117765258A (zh) | 基于密度自适应和注意力机制的大规模点云语义分割方法 | |
| CN111950658B (zh) | 一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法 | |
| CN113838102A (zh) | 一种基于各向异性稠密卷积的光流确定方法和系统 | |
| CN116844004A (zh) | 一种面向数字孪生场景的点云自动语义化建模方法 | |
| CN116721206A (zh) | 一种实时的室内场景视觉同步定位与建图方法 | |
| CN116993748A (zh) | 基于并行特征提取的点云语义分割方法 | |
| CN115937507A (zh) | 一种基于点空洞方向卷积的点云语义分割方法 | |
| CN115620287A (zh) | 一种基于面片上下文特征的室内点云场景语义分割方法 | |
| CN116030335A (zh) | 基于室内建筑框架约束的视觉定位方法及系统 | |
| CN115830707A (zh) | 一种基于超图学习的多视角人体行为识别方法 | |
| CN114627292A (zh) | 工业遮挡目标检测方法 | |
| CN111882545A (zh) | 基于双向信息传递及特征融合的织物疵点检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |