CN116310349B - 基于深度学习的大规模点云分割方法、装置、设备及介质 - Google Patents
基于深度学习的大规模点云分割方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116310349B CN116310349B CN202310596465.7A CN202310596465A CN116310349B CN 116310349 B CN116310349 B CN 116310349B CN 202310596465 A CN202310596465 A CN 202310596465A CN 116310349 B CN116310349 B CN 116310349B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- layer
- cloud segmentation
- convolution
- constructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 136
- 238000013135 deep learning Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000011176 pooling Methods 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000007246 mechanism Effects 0.000 claims abstract description 20
- 230000008447 perception Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000010276 construction Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 22
- 238000000547 structure data Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的大规模点云分割方法、装置、设备及介质，涉及点云数据处理技术领域，包括获取点云数据；构建基于pointnet的点云分割模型，并训练点云分割模型得到训练后的点云分割模型，点云分割模型的第二感知层的后嵌入CA注意力机制层和空洞空间卷积池化金字塔层丰富信息；利用训练后的点云分割模型分割更新后的点云数据，得到点云分割结果；本发明通过在pointnet这个基准网络中嵌入一个CA注意力机制层和空洞空间卷积池化金字塔，CA注意力机制层丰富点云数据上下左右之间的含义，空洞空间卷积池化金字塔层作为桥梁，多级采样率的空洞卷积并行采样扩大感受野，丰富语义信息。
Description
技术领域
本发明涉及点云数据处理技术领域，具体而言，涉及基于深度学习的大规模点云分割方法、装置、设备及可读存储介质。
背景技术
相比较于2D数据（图像数据），三维点云数据大多是非规则化、非结构化并且无序的，保留了原始的几何信息在三维空间中，虽然可以获取对象的形状大小，但对其空间位置、几何属性、实质属性等特征的分割提出了新的要求。同时加上采集桥梁类的人工构造物在数据采集时，由外来车辆的干扰影响，故，对于桥梁类的人工构造物点云数据分割继续一种适宜的点云数据分割方式。
发明内容
本发明的目的在于提供一种基于深度学习的大规模点云分割方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了一种基于深度学习的大规模点云分割方法，包括：获取点云数据，所述点云数据由传感器设备采集铁路桥梁构筑物得到；对所述点云数据进行噪声预处理，得到更新后的点云数据；构建基于pointnet的点云分割模型，并训练点云分割模型得到训练后的点云分割模型，所述点云分割模型的第二感知层的后嵌入CA注意力机制层和空洞空间卷积池化金字塔层丰富信息；利用训练后的所述点云分割模型分割更新后的点云数据，得到点云分割结果。
进一步地,所述构建基于pointnet的点云分割模型，包括：构造三维特征最大池化层，所述三维特征最大池化层的输入信息为第二感知层的输出信息，所述三维特征最大池化层用于分别对深度方向、宽度方向、高度方向上进行最大池化；构建拼接层，所述拼接层的输入信息为所述三维特征最大池化层输出信息，所述拼接层的输出信息为深度方向、宽度方向和高度方向依次连接后的信息；依次构建卷积层、归一化层和激活层，所述拼接层的输出信息依次经过所述卷积层、所述归一化层和所述激活层后输出。
进一步地,所述构建基于pointnet的点云分割模型，包括：构建两个M*M的第三卷积核，两个第三卷积核串联处理拼接特征，所述拼接特征由全局特征和局部特征拼接而成，全局特征由CA注意力机制层生成，所述局部特征由pointnet的特征转化层生成，其中M为正整数；构建三个M*M的第三卷积核，三个第四卷积核串联处理第一信息，所述第一信息为两个第三卷积核串联处理的信息。
进一步地,所述训练点云分割模型得到训练后的点云分割模型，包括：获取已标注的桥梁构筑物数据；构建基于加权计算的改进型损失函数；在每次根据已标注的桥梁构筑物数据训练点云分割模型一次后，基于桥梁构筑物数据的标注计算点云分割模型的分割精度，并利用改进型损失函数计算云分割模型的损失值，并使用Adam优化器对云分割模型的参数进行更新；若在预设数量的训练次数内损失值变化率小于第一预设值，且分割精度变化率小于第二预设值，停止训练并保存模型。
第二方面，本申请还提供了一种基于深度学习的大规模点云分割装置，包括：获取单元，用于获取点云数据，所述点云数据由传感器设备采集铁路桥梁构筑物得到；预处理单元，用于对所述点云数据进行噪声预处理，得到更新后的点云数据；模型构建单元，用于构建基于pointnet的点云分割模型，并训练点云分割模型得到训练后的点云分割模型，所述点云分割模型的第二感知层的后嵌入CA注意力机制层和空洞空间卷积池化金字塔层丰富信息；点云分割单元，用于利用训练后的所述点云分割模型分割更新后的点云数据，得到点云分割结果。
进一步地，所述模型构建单元，包括：第一构建单元，用于构造三维特征最大池化层，所述三维特征最大池化层的输入信息为第二感知层的输出信息，所述三维特征最大池化层用于分别对深度方向、宽度方向、高度方向上进行最大池化；第二构建单元，用于构建拼接层，所述拼接层的输入信息为所述三维特征最大池化层输出信息，所述拼接层的输出信息为深度方向、宽度方向和高度方向依次连接后的信息；第三构建单元，用于依次构建卷积层、归一化层和激活层，所述拼接层的输出信息依次经过所述卷积层、所述归一化层和所述激活层后输出。
进一步地，所述第三构建单元，包括：第四构建单元，用于构建第一数目个的第一卷积核，每个第一卷积核用于对拼接层每个通道的输出信息中进行卷积运算，得到初步特征图集合，所述第一数目等于拼接层的输出信息中通道数；第五构建单元，用于构建第二卷积核，所述第二卷积核用于逐个对初步特征图集合中的特征图进行卷积运算，得到融合特征图。
进一步地，所述模型构建单元，包括：获取子单元，用于获取已标注的桥梁构筑物数据；函数构造单元，用于构建基于加权计算的改进型损失函数；训练单元，用于在每次根据已标注的桥梁构筑物数据训练点云分割模型一次后，基于桥梁构筑物数据的标注计算点云分割模型的分割精度，并利用改进型损失函数计算云分割模型的损失值，并使用Adam优化器对云分割模型的参数进行更新；逻辑单元，用于若在预设数量的训练次数内损失值变化率小于第一预设值，且分割精度变化率小于第二预设值，停止训练并保存模型。
第三方面，本申请还提供了一种基于深度学习的大规模点云分割设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述基于深度学习的大规模点云分割方法的步骤。
第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于深度学习的大规模点云分割方法的步骤。
本发明的有益效果为：
本发明通过在pointnet这个基准网络中嵌入一个CA注意力机制层和空洞空间卷积池化金字塔，CA注意力机制层进一步地从三个维度上丰富点云数据上下左右之间的含义，并且通过空洞空间卷积池化金字塔层作为桥梁，空洞空间卷积池化金字塔层通过多级采样率的空洞卷积并行采样扩大感受野，丰富语义信息，最后结合一个多层感知器，将特征映射分类为逐点操作，通过在最大池化之前将通道数量翻倍来避免瓶颈。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于深度学习的大规模点云分割方法流程示意图;
图2为本发明实施例中所述的基于深度学习的大规模点云分割装置结构示意图；
图3为本发明实施例中所述的基于深度学习的大规模点云分割设备结构示意图。
图中标记：1、获取单元；2、预处理单元；3、模型构建单元；31、第一构建单元；32、第二构建单元；33、第三构建单元；331、第四构建单元；332、第五构建单元；34、第六构建单元；35、第七构建单元；36、获取子单元；37、函数构造单元；38、训练单元；39、逻辑单元；4、点云分割单元；800、基于深度学习的大规模点云分割设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种基于深度学习的大规模点云分割方法。
参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300和步骤S400。
S100、获取点云数据，点云数据由传感器设备采集铁路桥梁构筑物得到。
即，在本申请中通过可以如三维激光扫描仪（LiDAR）的传感器设备进行点云数据采集，其中三维激光扫描仪根据激光测距原理，可以直接获取构筑物表面大量点的三维坐标、反射强度、回波信息等。
S200、对点云数据进行噪声预处理，得到更新后的点云数据。
需要说明的是，由于扫描过程受会受到三维激光扫描仪器误差、灰尘等外界环境以及扫描区域往来行人影响，采集得到点云数据中往往存在噪声（离群点、密集噪声点、非目标区域点云），会给后续分析带来困难。数据集问题及相应的解决方法：滤波算法修改点的部分属性、进行下采样等操作。
S300、构建基于pointnet的点云分割模型，并训练点云分割模型得到训练后的点云分割模型，点云分割模型的第二感知层的后嵌入CA注意力机制层和空洞空间卷积池化金字塔丰富信息。
其中，在本申请中是应用pointnet作为基准网络模型。其中，需要说明的是，pointnet为现有技术本申请中不再赘述。同时，由于在本申请中采用PointNet可以直接从点云数据学习，而不必将点云转化成体素、mesh图等其他规则数据，因此可以减小3D卷积带来的开销。
S400、利用训练后的点云分割模型分割更新后的点云数据，得到点云分割结果。
需要说明的是，在本申请中通过在pointnet这个基准网络中嵌入一个CA注意力机制层和空洞空间卷积池化金字塔，CA注意力机制层进一步地从三个维度上丰富点云数据上下左右之间的含义，并且通过空洞空间卷积池化金字塔层作为桥梁，空洞空间卷积池化金字塔层通过多级采样率的空洞卷积并行采样扩大感受野，丰富语义信息，最后结合一个多层感知器，将特征映射分类为逐点操作，通过在最大池化之前将通道数量翻倍来避免瓶颈。
同时，由于现有技术中对于CA注意力机制中对于维度上的考虑欠佳，造成最终的分割效果仍然具有一些瑕疵，故，在本申请中还提供一种改进型CA注意力机制层的框架结构，具体而言，在本申请的步骤S300中还可以包括步骤S310、步骤S320和步骤S330。同时，需要说明的是，本申请中所提及的第二感知层即为pointnet的网络结构中按照数据流转顺序排列的第二个感知层，其输入信息为n*64的局部信息，输出信息为升维度后n*1024的信息，其中，n为点云数据个数。
S310、构造三维特征最大池化层，三维特征最大池化层的输入信息为第二感知层的输出信息，三维特征最大池化层用于分别对深度方向、宽度方向、高度方向上进行最大池化。
需要说明的是，在第二个感知层输出的点云数据格式为(B, n, 1, C)，因此，本申请中将输入三维特征最大池化层的张量结构表示为 W×H×D×C,其中，D为总深度，W为总宽度，H为总高度，C为总通道数。在本步骤中即为对输入的张量(W,H,D,C),首先沿着深度方向、宽度方向、高度方向上进行最大池化，对尺寸为C∗H∗W∗D输入特征图Input分别按照X方向和Y方向和Z方向进行最大池化，分别生成尺寸为C∗1∗W∗D和C∗H∗1∗D和C∗H∗W∗1的特征图。
还需要说明的是，在本申请中构建的三维特征最大池化层函数关系组为：
；
其中，w为宽度，d为深度，h为总高度，c为通道数,i为变量，为高度为h的第c个通道的输出，/>为宽度为w的第c个通道的输出，/>为宽度为d的第c个通道的输出。
S320、构建拼接层，拼接层的输入信息为三维特征最大池化层输出信息，拼接层的输出信息为深度方向、宽度方向和高度方向依次连接后的信息。
需要说明的是，在本步骤中即为按照深度方向、宽度方向和高度方向依次拼接操作（concat操作）。
S330、依次构建卷积层、归一化层和激活层，拼接层的输出信息依次经过卷积层、归一化层和激活层后输出。
需要说明的是，在本步骤中所使用的归一化层为BN归一化，激活层为高斯激活函数。
在本申请中通过上述步骤采用三维方向进行最大池化式提取三个维度的特征，广泛利用桥梁具有较高高度、深度以及宽度的结构特点，进行特征提取，以提升最后的点云数据分割特点。
进一地，在本申请中为了降低卷积计算量，在步骤S330中还提供了卷积层的结构构建方式：
S331、构建第一数目个的第一卷积核，每个第一卷积核用于对拼接层每个通道的输出信息中进行卷积运算，得到初步特征图集合，第一数目等于拼接层的输出信息中通道数。
需要说明的是，在本申请中第一数目为拼接层的输出信息中通道数；第一卷积核为3*3*3大小的卷积核。即为以64个通道为例子，本步骤即需要建立64个3*3*3大小的卷积核对输入数据进行卷积运算，得到了64个通道的特征图，每个卷积核只对输入中的一个通道进行卷积。
S332、构建第二数目个的第二卷积核，每个第二卷积核用于分别对特征图的像素进行卷积运算，得到融合特征集，特征图为初步特征图集合中的一个特征图。
需要说明的是，本步骤即为1*1*1点卷积运算。用128个1*1*1大小的卷积核在这64个特征图上进行卷积运算，将不同通道的信息进行融合。经过1*1*1的卷积，显著地减小了尺寸深度。
S333、构建拼接层，拼接层用于按照融合特征集中每个特征被计算的位置计算，得到融合特征。
进一步地，在本申请为了与步骤S310结合进一步扩充丰富语义内容，步骤S300中还包括步骤S340和步骤S350。
S340、构建两个M*M的第三卷积核，两个第三卷积核串联处理拼接特征，拼接特征由全局特征和局部特征拼接而成，全局特征由CA注意力机制层生成，局部特征由pointnet的特征转化层生成，其中M为正整数。
需要说明的是，在本步骤中M为3。
S350、构建三个M*M的第三卷积核，三个第四卷积核串联处理第一信息，第一信息为两个第三卷积核串联处理的信息。
通过上述步骤，在本申请中用小卷积核来代替大卷核，两个3*3的卷积核串联相当于一个5*5卷积核的感受野，三个3*3的卷积核串联相当于一个7*7的卷积核感受野。通过上述步骤卷积之后的点云数据为128维，最后即可使用pointnet利用全连接层得到相应的分割标签。
进一步地，在本申请中还提供一个训练方式，即步骤S300中还包括如下训练方式：
S360、获取已标注的桥梁构筑物数据。
S370、构建基于加权计算的改进型损失函数。
需要说明的是，在本申请中所构造的损失函数为：
；
其中，C为通道总数，c为通道数，N为总点数；为在通道c下i的真实值；/>为通道c下i的预测值。
S380、在每次根据已标注的桥梁构筑物数据训练点云分割模型一次后，基于桥梁构筑物数据的标注计算点云分割模型的分割精度，并利用改进型损失函数计算云分割模型的损失值，并使用Adam优化器对云分割模型的参数进行更新。
S390、若在预设数量的训练次数内损失值变化率小于第一预设值，且分割精度变化率小于第二预设值，停止训练并保存模型。
在本申请中将空洞空间卷积池化金字塔ASPP作为该模型的模块之一，经过空洞卷积获取输入特征映射的上下文多尺度信息。以基于加权计算的改进型损失函数，提升标签定义准确性。
实施例2：
如图2所示，本实施例提供了一种基于深度学习的大规模点云分割装置，装置包括：
获取单元1，用于获取点云数据，点云数据由传感器设备采集铁路桥梁构筑物得到。
预处理单元2，用于对点云数据进行噪声预处理，得到更新后的点云数据。
模型构建单元3，用于构建基于pointnet的点云分割模型，并训练点云分割模型得到训练后的点云分割模型，点云分割模型的第二感知层的后嵌入CA注意力机制层和空洞空间卷积池化金字塔层丰富信息。
点云分割单元4，用于利用训练后的点云分割模型分割更新后的点云数据，得到点云分割结果。
在本实施例中，模型构建单元3，包括：
第一构建单元31，用于构造三维特征最大池化层，三维特征最大池化层的输入信息为第二感知层的输出信息，三维特征最大池化层用于分别对深度方向、宽度方向、高度方向上进行最大池化。
第二构建单元32，用于构建拼接层，拼接层的输入信息为三维特征最大池化层输出信息，拼接层的输出信息为深度方向、宽度方向和高度方向依次连接后的信息。
第三构建单元33，用于依次构建卷积层、归一化层和激活层，拼接层的输出信息依次经过卷积层、归一化层和激活层后输出。
在本实施例中，第三构建单元33，包括：
第四构建单元331，用于构建第一数目个的第一卷积核，每个第一卷积核用于对拼接层每个通道的输出信息中进行卷积运算，得到初步特征图集合，第一数目等于拼接层的输出信息中通道数。
第五构建单元332，用于构建第二卷积核，第二卷积核用于逐个对初步特征图集合中的特征图进行卷积运算，得到融合特征图。
在本实施例中，第三构建单元33，包括：
第六构建单元34，用于构建两个M*M的第三卷积核，两个第三卷积核串联处理拼接特征，拼接特征由全局特征和局部特征拼接而成，全局特征由CA注意力机制层生成，局部特征由pointnet的特征转化层生成，其中M为正整数。
第七构建单元35，用于构建三个M*M的第三卷积核，三个第四卷积核串联处理第一信息，第一信息为两个第三卷积核串联处理的信息。
在本实施例中，模型构建单元3，包括：
获取子单元36，用于获取已标注的桥梁构筑物数据。
函数构造单元37，用于构建基于加权计算的改进型损失函数。
训练单元38，用于在每次根据已标注的桥梁构筑物数据训练点云分割模型一次后，基于桥梁构筑物数据的标注计算点云分割模型的分割精度，并利用改进型损失函数计算云分割模型的损失值，并使用Adam优化器对云分割模型的参数进行更新。
逻辑单元39，用于若在预设数量的训练次数内损失值变化率小于第一预设值，且分割精度变化率小于第二预设值，停止训练并保存模型。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：
相应于上面的方法实施例，本实施例中还提供了一种基于深度学习的大规模点云分割设备800，下文描述的一种基于深度学习的大规模点云分割设备800与上文描述的一种基于深度学习的大规模点云分割方法可相互对应参照。
图3是根据示例性实施例示出的一种基于深度学习的大规模点云分割设备800的框图。如图3所示，该基于深度学习的大规模点云分割设备800可以包括：处理器801，存储器802。该基于深度学习的大规模点云分割设备800还可以包括多媒体组件803， I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该基于深度学习的大规模点云分割设备800的整体操作，以完成上述的基于深度学习的大规模点云分割方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于深度学习的大规模点云分割设备800的操作，这些数据例如可以包括用于在该基于深度学习的大规模点云分割设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该基于深度学习的大规模点云分割设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，基于深度学习的大规模点云分割设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital SignalProcessing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的基于深度学习的大规模点云分割方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的基于深度学习的大规模点云分割方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由基于深度学习的大规模点云分割设备800的处理器801执行以完成上述的基于深度学习的大规模点云分割方法。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种基于深度学习的大规模点云分割方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的基于深度学习的大规模点云分割方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (6)
1.一种基于深度学习的大规模点云分割方法，其特征在于，包括：
获取点云数据，所述点云数据由传感器设备采集铁路桥梁构筑物得到；
对所述点云数据进行噪声预处理，得到更新后的点云数据；
构建基于pointnet的点云分割模型，并训练点云分割模型得到训练后的点云分割模型，所述点云分割模型的第二感知层的后嵌入CA注意力机制层和空洞空间卷积池化金字塔层丰富信息；
利用训练后的所述点云分割模型分割更新后的点云数据，得到点云分割结果；
其中,所述构建基于pointnet的点云分割模型，包括：
构造三维特征最大池化层，所述三维特征最大池化层的输入信息为第二感知层的输出信息，所述三维特征最大池化层用于分别对深度方向、宽度方向、高度方向上进行最大池化；
构建拼接层，所述拼接层的输入信息为所述三维特征最大池化层输出信息，所述拼接层的输出信息为深度方向、宽度方向和高度方向依次连接后的信息；
依次构建卷积层、归一化层和激活层，所述拼接层的输出信息依次经过所述卷积层、所述归一化层和所述激活层后输出；
其中，构建卷积层，包括：
构建第一数目个的第一卷积核，每个第一卷积核用于对拼接层每个通道的输出信息中进行卷积运算，得到初步特征图集合，第一数目等于拼接层的输出信息中通道数；
构建第二数目个的第二卷积核，每个第二卷积核用于分别对特征图的像素进行卷积运算，得到融合特征集，特征图为初步特征图集合中的一个特征图；
构建拼接层，拼接层用于按照融合特征集中每个特征被计算的位置计算，得到拼接特征；
构建两个M*M的第三卷积核，两个第三卷积核串联处理拼接特征，所述拼接特征由全局特征和局部特征拼接而成，全局特征由CA注意力机制层生成，所述局部特征由pointnet的特征转化层生成，其中M为正整数；
构建三个M*M的第四卷积核，三个第四卷积核串联处理第一信息，所述第一信息为两个第三卷积核串联处理的信息。
2.根据权利要求1所述的基于深度学习的大规模点云分割方法，其特征在于,所述训练点云分割模型得到训练后的点云分割模型，包括：
获取已标注的桥梁构筑物数据；
构建基于加权计算的改进型损失函数；其中，损失函数为：
其中，C为通道总数，c为通道数，N为总点数；gi，c为在通道c下i的真实值；pi，c为通道c下i的预测值；WC为通道c下类别的权重参数；
在每次根据已标注的桥梁构筑物数据训练点云分割模型一次后，基于桥梁构筑物数据的标注计算点云分割模型的分割精度，并利用改进型损失函数计算云分割模型的损失值，并使用Adam优化器对云分割模型的参数进行更新；
若在预设数量的训练次数内损失值变化率小于第一预设值，且分割精度变化率小于第二预设值，停止训练并保存模型。
3.一种基于深度学习的大规模点云分割装置，其特征在于，包括：
获取单元，用于获取点云数据，所述点云数据由传感器设备采集铁路桥梁构筑物得到；
预处理单元，用于对所述点云数据进行噪声预处理，得到更新后的点云数据；
模型构建单元，用于构建基于pointnet的点云分割模型，并训练点云分割模型得到训练后的点云分割模型，所述点云分割模型的第二感知层的后嵌入CA注意力机制层和空洞空间卷积池化金字塔层丰富信息；
点云分割单元，用于利用训练后的所述点云分割模型分割更新后的点云数据，得到点云分割结果；
其中，所述模型构建单元，包括：
第一构建单元，用于构造三维特征最大池化层，所述三维特征最大池化层的输入信息为第二感知层的输出信息，所述三维特征最大池化层用于分别对深度方向、宽度方向、高度方向上进行最大池化；
第二构建单元，用于构建拼接层，所述拼接层的输入信息为所述三维特征最大池化层输出信息，所述拼接层的输出信息为深度方向、宽度方向和高度方向依次连接后的信息；
第三构建单元，用于依次构建卷积层、归一化层和激活层，所述拼接层的输出信息依次经过所述卷积层、所述归一化层和所述激活层后输出；
其中，所述第三构建单元，包括：
第四构建单元，用于构建第一数目个的第一卷积核，每个第一卷积核用于对拼接层每个通道的输出信息中进行卷积运算，得到初步特征图集合，第一数目等于拼接层的输出信息中通道数；
第五构建单元，用于构建第二卷积核，第二卷积核用于逐个对初步特征图集合中的特征图进行卷积运算，得到融合特征图；构建拼接层，拼接层用于按照融合特征集中每个特征被计算的位置计算，得到拼接特征；
第六构建单元，用于构建两个M*M的第三卷积核，两个第三卷积核串联处理拼接特征，拼接特征由全局特征和局部特征拼接而成，全局特征由CA注意力机制层生成，局部特征由pointnet的特征转化层生成，其中M为正整数；
第七构建单元，用于构建三个M*M的第四卷积核，三个第四卷积核串联处理第一信息，第一信息为两个第三卷积核串联处理的信息。
4.根据权利要求3所述的基于深度学习的大规模点云分割装置，其特征在于，所述模型构建单元，包括：
获取子单元，用于获取已标注的桥梁构筑物数据；
函数构造单元，用于构建基于加权计算的改进型损失函数；其中，损失函数为：
其中，C为通道总数，c为通道数，N为总点数；gi，c为在通道c下i的真实值；pi，c为通道c下i的预测值；WC为通道c下类别的权重参数；
训练单元，用于在每次根据已标注的桥梁构筑物数据训练点云分割模型一次后，基于桥梁构筑物数据的标注计算点云分割模型的分割精度，并利用改进型损失函数计算云分割模型的损失值，并使用Adam优化器对云分割模型的参数进行更新；
逻辑单元，用于若在预设数量的训练次数内损失值变化率小于第一预设值，且分割精度变化率小于第二预设值，停止训练并保存模型。
5.一种基于深度学习的大规模点云分割设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至2任一项所述基于深度学习的大规模点云分割方法的步骤。
6.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述基于深度学习的大规模点云分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310596465.7A CN116310349B (zh) | 2023-05-25 | 2023-05-25 | 基于深度学习的大规模点云分割方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310596465.7A CN116310349B (zh) | 2023-05-25 | 2023-05-25 | 基于深度学习的大规模点云分割方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116310349A CN116310349A (zh) | 2023-06-23 |
| CN116310349B true CN116310349B (zh) | 2023-08-15 |
Family
ID=86819006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310596465.7A Active CN116310349B (zh) | 2023-05-25 | 2023-05-25 | 基于深度学习的大规模点云分割方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116310349B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058380B (zh) * | 2023-08-15 | 2024-03-26 | 北京学图灵教育科技有限公司 | 基于自注意力的多尺度轻量化三维点云分割方法及装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910390A (zh) * | 2019-11-11 | 2020-03-24 | 大连理工大学 | 一种基于深度畸变卷积的全景三维彩色点云语义分割方法 |
| CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
| CN112633330A (zh) * | 2020-12-06 | 2021-04-09 | 西安电子科技大学 | 点云分割方法、系统、介质、计算机设备、终端及应用 |
| CN113052835A (zh) * | 2021-04-20 | 2021-06-29 | 江苏迅捷装具科技有限公司 | 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 |
| CN113313154A (zh) * | 2021-05-20 | 2021-08-27 | 四川天奥空天信息技术有限公司 | 一体化融合多传感器自动驾驶智能感知装置 |
| CN113313176A (zh) * | 2021-06-02 | 2021-08-27 | 东南大学 | 一种基于动态图卷积神经网络的点云分析方法 |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN114373104A (zh) * | 2021-12-13 | 2022-04-19 | 同济大学 | 一种基于动态聚合的三维点云语义分割方法及系统 |
| CN114638794A (zh) * | 2022-03-04 | 2022-06-17 | 南京理工大学 | 基于深度学习和slam技术的裂缝检测与三维定位方法 |
| CN115272673A (zh) * | 2022-07-28 | 2022-11-01 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于三维目标上下文表示的点云语义分割方法 |
| CN115311274A (zh) * | 2022-10-11 | 2022-11-08 | 四川路桥华东建设有限责任公司 | 一种基于空间变换自注意力模块的焊缝检测方法及系统 |
| CN115439653A (zh) * | 2022-10-18 | 2022-12-06 | 国网山西省电力公司电力科学研究院 | 一种变电站场景点云语义分割方法 |
| CN115984286A (zh) * | 2022-09-21 | 2023-04-18 | 广州大学 | 基于合成模拟器和桥联神经网络的拱桥点云分割方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210350620A1 (en) * | 2020-05-07 | 2021-11-11 | Imperial College Innovations Limited | Generative geometric neural networks for 3d shape modelling |
| US20220381914A1 (en) * | 2021-05-30 | 2022-12-01 | Ran Cheng | Systems and methods for sparse convolution of unstructured data |
| US20230072731A1 (en) * | 2021-08-30 | 2023-03-09 | Thomas Enxu LI | System and method for panoptic segmentation of point clouds |
-
2023
- 2023-05-25 CN CN202310596465.7A patent/CN116310349B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910390A (zh) * | 2019-11-11 | 2020-03-24 | 大连理工大学 | 一种基于深度畸变卷积的全景三维彩色点云语义分割方法 |
| CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN112633330A (zh) * | 2020-12-06 | 2021-04-09 | 西安电子科技大学 | 点云分割方法、系统、介质、计算机设备、终端及应用 |
| CN113052835A (zh) * | 2021-04-20 | 2021-06-29 | 江苏迅捷装具科技有限公司 | 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 |
| CN113313154A (zh) * | 2021-05-20 | 2021-08-27 | 四川天奥空天信息技术有限公司 | 一体化融合多传感器自动驾驶智能感知装置 |
| CN113313176A (zh) * | 2021-06-02 | 2021-08-27 | 东南大学 | 一种基于动态图卷积神经网络的点云分析方法 |
| CN114373104A (zh) * | 2021-12-13 | 2022-04-19 | 同济大学 | 一种基于动态聚合的三维点云语义分割方法及系统 |
| CN114638794A (zh) * | 2022-03-04 | 2022-06-17 | 南京理工大学 | 基于深度学习和slam技术的裂缝检测与三维定位方法 |
| CN115272673A (zh) * | 2022-07-28 | 2022-11-01 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于三维目标上下文表示的点云语义分割方法 |
| CN115984286A (zh) * | 2022-09-21 | 2023-04-18 | 广州大学 | 基于合成模拟器和桥联神经网络的拱桥点云分割方法 |
| CN115311274A (zh) * | 2022-10-11 | 2022-11-08 | 四川路桥华东建设有限责任公司 | 一种基于空间变换自注意力模块的焊缝检测方法及系统 |
| CN115439653A (zh) * | 2022-10-18 | 2022-12-06 | 国网山西省电力公司电力科学研究院 | 一种变电站场景点云语义分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 面向部件分割的PointNet注意力加权特征聚合网络;梁振华等;《计算机应用研究》;第40卷(第5期);第1571-1576、1582页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116310349A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
| JP6745328B2 (ja) | 点群データを復旧するための方法及び装置 | |
| US20230076266A1 (en) | Data processing system, object detection method, and apparatus thereof | |
| CN109886066A (zh) | 基于多尺度和多层特征融合的快速目标检测方法 | |
| CN110163208B (zh) | 一种基于深度学习的场景文字检测方法和系统 | |
| CN111507222B (zh) | 一种基于多源数据知识迁移的三维物体检测框架 | |
| CN112464798A (zh) | 文本识别方法及装置、电子设备、存储介质 | |
| CN114049356B (zh) | 一种结构表观裂缝检测方法、装置及系统 | |
| CN109272543B (zh) | 用于生成模型的方法和装置 | |
| CN113610070A (zh) | 一种基于多源数据融合的滑坡灾害识别方法 | |
| CN114332473B (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
| EP4174792A1 (en) | Method for scene understanding and semantic analysis of objects | |
| CN113936195B (zh) | 敏感图像识别模型的训练方法、训练装置和电子设备 | |
| CN114565916B (zh) | 目标检测模型训练方法、目标检测方法以及电子设备 | |
| JP2023527615A (ja) | 目標対象検出モデルのトレーニング方法、目標対象検出方法、機器、電子機器、記憶媒体及びコンピュータプログラム | |
| He et al. | Learning scene dynamics from point cloud sequences | |
| CN113361528B (zh) | 一种多尺度目标检测方法及系统 | |
| CN116310349B (zh) | 基于深度学习的大规模点云分割方法、装置、设备及介质 | |
| Liang et al. | Self-supervised object distance estimation using a monocular camera | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN111950702A (zh) | 一种神经网络结构确定方法及其装置 | |
| CN110110696B (zh) | 用于处理信息的方法和装置 | |
| CN115049945B (zh) | 一种基于无人机图像的小麦倒伏面积提取方法和装置 | |
| CN114283326B (zh) | 一种结合局部感知和高阶特征重构的水下目标重识别方法 | |
| CN111753766A (zh) | 一种图像处理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |