CN114820369A - 一种基于改进的RandLA-Net的变电站设备点云分割方法 - Google Patents
一种基于改进的RandLA-Net的变电站设备点云分割方法 Download PDFInfo
- Publication number
- CN114820369A CN114820369A CN202210450407.9A CN202210450407A CN114820369A CN 114820369 A CN114820369 A CN 114820369A CN 202210450407 A CN202210450407 A CN 202210450407A CN 114820369 A CN114820369 A CN 114820369A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- data
- network
- point
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims abstract description 7
- 238000009795 derivation Methods 0.000 claims abstract description 4
- 238000007526 fusion splicing Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims description 40
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000013461 design Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000002156 mixing Methods 0.000 claims description 5
- 230000017105 transposition Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进的RandLA‑Net的变电站设备点云分割方法，包括：获取点云数据和图像数据；使用点云数据和图像数据制作训练数据集，并对点云数据进行MIX3D数据增强，导入点云分割双流网络，获得点云特征和图像颜色纹理特征；根据图像数据和点云数据的映射关系，将点云特征和图像颜色纹理特征进行融合拼接，获得特征向量，导入分割头网络，输出点云分割结果测试值；代入损失函数计算交叉熵损失，采用反向传播推导；根据反向传播推导的梯度优化点云分割双流网络，基于优化的点云分割双流网络输出变电站设备点云的分割结果。本发明有效地平衡了变电站全局语义信息和局部结构信息，引入图像分支网络补点云的颜色纹理特征，提高变电站设备点云分割的精度。
Description
技术领域
本发明属于全息全景数字变电站、点云语义分割领域，尤其是涉及一种基于改进的RandLA-Net的变电站设备点云分割方法。
背景技术
语义分割作为计算机视觉的基础任务之一，有着丰富的下游应用。二维图像的语义分割任务随着深度学习的发展，已经取得了非常优秀的效果。而计算机视觉的最终体现是三维视觉，近年来，自动驾驶、增强现实、三维场景重建研究火热，深度传感器技术也得到了蓬勃发展，使得人们可以轻易采集到大量点云数据，工业界和学术界逐渐将注意力从二维图像转向三维点云的处理。
传统的变电站点云分割，需要手工设计特征描述子，将提取到的几何特征送入SVM、随机森林、朴素贝叶斯等分类器进行识别分割，或者通过区域生长等聚类方法进行分割，特征描述子设计繁琐复杂，泛化性差，识别精度低。受2D图像深度学习的启发，基于多视图的方法被研究者们提出，将点云投影到多个视角的图像，与传统基于手工设计特征的方法相比，取得了良好的效果，但是投影的方式导致大量关键的几何信息丢失，从而影响点云的分割效果。2017年PointNet的提出，可以直接将点云输入网络，3D点云领域正式进入深度学习时代。发展至今，相对主流的算法有以下三大类。一类是Sparse-ConvNet、MinkowskiNet等基于体素的方法，将点云转化为体素，可以直接使用2D成熟的pipeline，缺点是当点云场景过大时，3D卷积的计算开销很大。第二类是以KCNet、DGCNN为代表的基于图的方法，点云这种非欧数据天然的适合图结构，通过最近邻图进行特征聚合，该方法可以学习到更好的局部信息，但如何处理好复杂大规模点云数据是仍需解决的问题。第三类以KPConv、PointTransformer、RandLANet为代表的基于点方法，直接处理原始点云数据，计算高效。目前的三维建模主要依靠手工，建模周期长，需要耗费大量的人力。
发明内容
发明目的：为了克服现有技术中的不足，本发明提供一种基于改进的RandLA-Net的变电站设备点云分割方法；本发明通过采集多种格式数据制作数据集，并引入MIX3D进行数据增强，有效地平衡了变电站全局语义信息和局部结构信息，防止过拟合，从而提升模型训练效果；最终使用训练好的网络模型对变电站扫描得到的点云数据进行语义分割。
技术方案：第一方面本发明提供一种基于改进的RandLA-Net的变电站设备点云分割方法，其特征在于，包括：
获取点云数据和图像数据，以及图像数据和点云数据的映射关系；
根据获取的点云数据和图像数据制作训练数据集，并对点云数据进行MIX3D数据增强，获得增强后的点云数据；其中训练数据集划分为训练集、验证集和测试集；
将增强后的点云数据和图像数据导入点云分割双流网络，获得点云特征和图像颜色纹理特征，其中点云分割双流网络包括：点云分支网络、图像分支网络和分割头网络；
根据图像数据和点云数据的映射关系，将点云特征和图像颜色纹理特征进行融合拼接，获得特征向量；
将特征向量导入分割头网络，输出点云分割结果预测值；
将点云分割结果预测值代入损失函数计算交叉熵损失，并对交叉熵损失采用反向传播推导，获得交叉熵损失梯度；
根据交叉熵损失梯度优化点云分割双流网络中的网络参数；
基于优化后的点云分割双流网络输入点云数据，获得变电站设备点云的分割结果。
在进一步的实施例中，所述训练数据集中的点云数据带有标注，并按照7:1.5:1.5将训练数据集划分为训练集、验证集和测试集；
其中，所述训练集为训练网络的数据样本；
所述验证集用于提供超参数调优的验证信息；
所述测试集用于测试网络误差的数据样本。
在进一步的实施例中，对点云数据进行MIX3D数据增强，获得增强后的点云数据的方法包括：
对训练集中的每个样本数据中的点云数据依次采用随机子采样，弹性失真，随机亮度和对比度的增强以及颜色抖动的算法进行数据增强，从使每个样本获得增强后的点云数据；
将训练集中具有增强点云数据的所有样本数据，进行两两混合，并对点云数据的标注进行拼接，获得增强后的点云数据。
在进一步的实施例中，所述点云分支网络为改进编码器下采样方法的RandLA-Net网络；
所述图像分支网络由下采样的骨干网络和进行上采样转置卷积组成。
在进一步的实施例中，所述RandLA-Net网络改进的下采样方法为最远点采样方法，包括：
从初始点云数据集中随机挑选单个点云Ai至采样数据集中，并以单个点云Ai为查询点计算获得剩余点云至采样数据集中点云Ai的距离；
根据剩余点云数据至采样数据集中点云数据Ai的距离，再次挑选距离大于其它的点云Aj放入采样数据集B中，此时B＝{Ai，Aj}；
根据点云数据集A中剩余的点云确定查询点，继续计算点云数据集A中剩余的每个点云到查询点的距离，选择距离大于其它的点云输入采样数据集B，
循环确定查询点，并根据确定的查询点选择采样数据直至采样数据集B中的数据数量等于目标数据M为止；
其中，其中确定查询点包括：计算点云数据集A中的任意一剩余点云到采样数据集B中所有点云的距离，在采样数据集B选择距离小于其它的点云作为查询点；
A为点云数据集，并在初始状态下为A＝{A1，A2，......，AN}，N为初始状态下A中所有的点云数据量；
B为采样数据集，并在初始状态下为空；
M为设定的目标数据量。
在进一步的实施例中，所述图像分支网络使用编码器和解码器架构；
编码器设计如下：将残差网络块4结构中的第一个残差结构里的3×3卷积层以及跳跃连接的步长由2改为1，并将3×3的普通卷积层换成膨胀卷积层，块5/6和块4采用同样的设计，使用不同的膨胀率，获得膨胀卷积层残差网络；
根据非零元素上限距离的计算公式对膨胀卷积层残差网络中的所有卷积核的膨胀率进行计算设计，获得膨胀卷积层残差网络各个卷积核的膨胀率的优化值；
其中，解码器使用3个转置卷积层进行上采样解码；
非零元素上限距离的计算公式为：：
Mi＝max[Mi+1-2ri，Mi+1-2(Mi+1-ri)，ri]，M2≤K
式中，Mi表示第i层的非零元素最大距离，且Mn＝rn,，ri表示第i个卷积核的膨胀率，K表示卷积核的尺寸单位；其中对于N个卷积核大小为K*K的N个膨胀率[r1,...ri,...,rn]，M2≤K为非零元素上限距离计算公式的约束条件；
转置卷积形状换算公式为：
n′＝sn+k-2p-s
式中，n为输入特征图的高或宽，n’为输出特征图高或宽，k为卷积核大小，p为卷积核填充数量，s为卷积步幅。
在进一步的实施例中，获取图像数据和点云数据的映射关系的方法为，通过相机成像模型获取图像数据和点云数据的映射关系；
其中，相机成像模型的表达式为：
z*Ii＝K*[R|t]*Pi
式中，K为相机内参数，R为旋转矩阵，t为平移变量，Pi是点云数据坐标，Ii是图像像素坐标。
在进一步的实施例中，所述分割头网络由三个全连接层和dropout函数构成，三个全连接层用于把特征从高维语义空间降维到低维分类空间，dropout函数在第二个全连接层使用用于减少全连接层的冗余特征，防止全连接层输出数据的过拟合，三个全连接层的维度分别为64、32、c，c为变电站设备类别数。
在进一步的实施例中，所述损失函数的表达式为：
式中，N为样本数，C为类别数量，yij为预测值，
为标注值。
有益效果：本发明与现有技术相比具有以下优点：
(1)采集多种格式数据制作数据集，并引入MIX3D进行数据增强，有效地平衡了变电站全局语义信息和局部结构信息，防止过拟合，从而提升模型训练效果；最终使用训练好的网络模型对变电站扫描得到的点云数据进行语义分割，然后将分割结果与模型库里构建好的模型进行匹配，从而自动化的构建出完整的变电站三维模型数据。
(2)采用最远点采样，尽可能的覆盖到空间中所有点，保证对样本的均匀采样。
(3)引入图像分支网络，通过坐标映射关系对图像和点云进行特征级融合，增强模型的分割准确性。
附图说明
图1是本发明所述的点云分割网络训练流程图；
图2是本发明所述的点云分割网络结构图；
图3是本发明图像分支网络的骨干网络结构图。
具体实施方式
为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。
本发明提供的变电站设备点云分割方法在RandLA-Net网络的基础上进行改进，替换了编码器中的下采样方法，在原有的特征提取模块上增加了图像分支网络。并且对数据集进行数据增强，提升模型分割性能。
步骤1：扫描、拍摄变电站，接收扫描件和拍摄的变电站图像，获取点云数据和图像数据，以及图像数据和点云数据的映射关系；；
步骤2：根据获取的点云数据和图像数据制作训练数据集；训练数据集中点云数据带有标注，图像数据不需要标注，本实施例中图像大小为2048*2048；对数据集进行MIX3D数据增强；
上述数据增强具体方法为：
对训练集中的每个样本数据中的点云数据依次采用随机子采样，弹性失真，随机亮度和对比度的增强以及颜色抖动的算法进行数据增强，从使每个样本获得增强后的点云数据；
将训练集中具有增强点云数据的所有样本数据，进行两两混合，并对点云数据的标注进行拼接，获得增强后的点云数据。
两两混合的方法包括：首先对两个场景减去质心，使每个场景的中心位于坐标原点；为了确保两个场景能够在接下来的阶段相互重叠；沿水平方向随机翻转点云，通过均匀采样(Uniform)[-π/64,π/64]沿着垂直轴和另一个轴随机旋转场景；因在混合过程中没有改变场景中点云数据的顺序，直接将标注值取并集并保存用于损失函数的计算参数。
步骤3：将增强后的点云数据和图像数据导入点云分割双流网络，获得点云特征和图像颜色纹理特征，其中点云分割双流网络包括：点云分支网络、图像分支网络和分割头网络；
；如图2；
上述点云分支为替换编码器下采样方法的RandLA-Net网络，使用的下采样方法是FPS，具体步骤如下：
变电站场景原始点云A＝{A1，A2，......，AN}，A中有N个点，采样后的点集为B，初始状态下B为空，从点集A中选择M个点到点集B中。
S301：从A中随机挑选一个点Ai，到B中，B＝{Ai}
S302：计算A中剩余的N-1个点到点集B中的点Ai的距离，选择距离最大的点Aj，放到点集B中，B＝{Ai，Aj}。
S303：点集A中的点到集合B的距离为该点与集合B中所有点距离最小的点的距离。对点集A中剩余点依次计算到B集合的距离，选择距离最大的点到B集合。
S304：循环第三步，直到B集合点数等于M
图像分支网络设计为：
图像分支网络使用编码器和解码器架构；
编码器设计如下：将残差网络块4结构中的第一个残差结构里的3×3卷积层以及跳跃连接的步长由2改为1，并将3×3的普通卷积层换成膨胀卷积层，块5/6和块4采用同样的设计，使用不同的膨胀率，获得膨胀卷积层残差网络；
根据非零元素上限距离的计算公式对膨胀卷积层残差网络中的所有卷积核的膨胀率进行计算设计，获得膨胀卷积层残差网络各个卷积核的膨胀率的优化值；
其中，解码器使用3个转置卷积层进行上采样解码；
非零元素上限距离的计算公式为：：
Mi＝max[Mi+1-2ri，Mi+1-2(Mi+1-ri)，ri]M2≤K
式中，Mi表示第i层的非零元素最大距离，且Mn＝rn,，ri第i个卷积核膨胀率，K卷积核的尺寸元素，N个卷积核大小为K*K；其中，为了避免膨胀卷积网格效应问题，对于N个卷积核大小为K*K的N个膨胀率[r1,...ri,...,rn]，因此设置约束条件M2≤K。
转置卷积形状换算公式为：
n′＝sn+k-2p-s
式中，n为输入特征图的高或宽，n’为输出特征图高或宽，k为卷积核大小，p为卷积核填充，s为卷积步幅。
本实施例中，图像分支网络借鉴Deeplabv3网络的设计，如图三中块1/2/3是原始ResNet网络中的层结构，将残差网络块4结构中的第一个残差结构里的3×3卷积层以及跳跃连接的步长由2改为1，并将3×3的普通卷积层换成膨胀卷积层，块5/6和块4采用同样的设计，膨胀率为2，4，8。获得膨胀卷积层残差网络。
步骤4：训练数据集中的点云数据和图像数据代入相机成像模型计算，获得图像数据和点云数据的映射关系；
根据相机成像模型的原理可知上述映射关系，具体表示公式为：
z*Ii二K*[R|t]*Pi
其中，K为相机内参数，R为旋转矩阵，t为平移变量，Pi是点云数据坐标，Ii是图像像素坐标。
步骤5：根据图像数据和点云数据的映射关系，将点云特征和图像颜色纹理特征进行融合拼接，获得特征向量；
本实施例中点云分支解码器输出特征图通道数为8，图像分支输出特征图通道数为14。我们通过上述对应关系对特征图进行拼接，得到维度为32的特征图。
步骤6：将特征向量导入分割头网络，输出点云分割结果预测值；
分割头网络由三个全连接层和一个dropout函数构成，如图2中三个全连接层与融合层的连接结构；三个全连接层用于把特征从高维语义空间降维到低维分类空间，dropout函数在第二个全连接层使用用于减少全连接层的冗余特征，防止全连接层输出数据的过拟合，三个全连接层的维度分别为64、32、c，c为变电站设备类别数。
步骤7：将点云分割结果代入损失函数计算交叉熵损失，并对交叉熵损失采用反向传播推导，获得交叉熵损失梯度；其中损失函数为：
式中，N为样本数，yij为预测值，
为标注值。
步骤8：根据交叉熵损失梯度优化点云分割双流网络中的网络参数；
步骤9：基于优化后的点云分割双流网络输入点云数据，获得变电站设备点云的分割结果
本发明采集多种格式数据制作数据集，并引入MIX3D进行数据增强，有效地平衡了变电站全局语义信息和局部结构信息，防止过拟合，从而提升模型训练效果；采用最远点采样，尽可能的覆盖到空间中所有点，保证对样本的均匀采样；引入图像分支网络，通过坐标映射关系对图像和点云进行特征级融合，增强模型的分割准确性；最终使用训练好的网络模型对变电站扫描得到的点云数据进行语义分割，然后将分割结果与模型库里构建好的模型进行匹配，从而自动化的构建出完整的变电站三维模型数据。
本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (9)
1.一种变电站设备点云分割方法，其特征在于，包括：
获取点云数据和图像数据，以及图像数据和点云数据的映射关系；
根据获取的点云数据和图像数据制作训练数据集，并对点云数据进行MIX3D数据增强，获得增强后的点云数据；其中训练数据集划分为训练集、验证集和测试集；
将增强后的点云数据和图像数据导入点云分割双流网络，获得点云特征和图像颜色纹理特征，其中点云分割双流网络包括：点云分支网络、图像分支网络和分割头网络；
根据图像数据和点云数据的映射关系，将点云特征和图像颜色纹理特征进行融合拼接，获得特征向量；
将特征向量导入分割头网络，输出点云分割结果预测值；
将点云分割结果预测值代入损失函数计算交叉熵损失，并对交叉熵损失采用反向传播推导，获得交叉熵损失梯度；根据交叉熵损失梯度优化点云分割双流网络中的网络参数；
基于优化后的点云分割双流网络输入点云数据，获得变电站设备点云的分割结果。
2.根据权利要求1所述的变电站设备点云分割方法，其特征在于，所述训练数据集中的点云数据带有标注，并按照7:1.5:1.5将训练数据集划分为训练集、验证集和测试集；
其中，所述训练集为训练网络的数据样本；
所述验证集用于提供超参数调优的验证信息；
所述测试集用于测试网络误差的数据样本。
3.根据权利要求1所述的变电站设备点云分割方法，其特征在于，对点云数据进行MIX3D数据增强，获得增强后的点云数据的方法包括：
对训练集中的每个样本数据中的点云数据依次采用随机子采样，弹性失真，随机亮度和对比度的增强以及颜色抖动的算法进行数据增强，从使每个样本获得增强后的点云数据；
将训练集中具有增强点云数据的所有样本数据，进行两两混合，并对点云数据的标注进行拼接合并，获得增强后的点云数据。
4.根据权利要求1所述的变电站设备点云分割方法，其特征在于，所述点云分支网络为改进编码器下采样方法的RandLA-Net网络；
所述图像分支网络由下采样的骨干网络和进行上采样转置卷积组成。
5.根据权利要求4所述的变电站设备点云分割方法，其特征在于，所述RandLA-Net网络改进的下采样方法为最远点采样方法，包括：
从初始点云数据集中随机挑选单个点云Ai至采样数据集中，并以单个点云Ai为查询点计算获得剩余点云至采样数据集中点云Ai的距离；
根据剩余点云数据至采样数据集中点云数据Ai的距离，再次挑选距离大于其它的点云Aj放入采样数据集B中，此时B＝{Ai，Aj}；
根据点云数据集A中剩余的点云确定查询点，继续计算点云数据集A中剩余的每个点云到查询点的距离，选择距离大于其它的点云输入采样数据集B；
循环确定查询点，并根据确定的查询点选择采样数据直至采样数据集B中的数据数量等于目标数据M为止；
其中，确定查询点包括：计算点云数据集A中的任意一剩余点云到采样数据集B中所有点云的距离，在采样数据集B选择距离小于其它的点云作为查询点；
A为点云数据集，在初始状态下为A＝{A1，A2，......，AN}，N为初始状态下A中所有的点云数据量；
B为采样数据集，在初始状态下为空；
M为设定的目标数据量。
6.根据权利要求1所述的变电站设备点云分割方法，其特征在于，所述图像分支网络使用编码器和解码器架构；
编码器设计为：将残差网络块4结构中的第一个残差结构里的3×3卷积层以及跳跃连接的步长由2改为1，并将3×3的普通卷积层换成膨胀卷积层，块5/6和块4采用同样的设计，使用不同的膨胀率，获得膨胀卷积层残差网络；
根据非零元素上限距离的计算公式对膨胀卷积层残差网络中的所有卷积核的膨胀率进行计算设计，获得膨胀卷积层残差网络各个卷积核的膨胀率的优化值；
其中，解码器使用3个转置卷积层进行上采样解码；
非零元素上限距离的计算公式为：
Mi＝max[Mi+1-2ri，Mi+1-2(Mi+1-ri)，ri]M2≤K
式中，Mi表示第i层的非零元素最大距离，且Mn＝rn,，ri表示第i个卷积核的膨胀率，K表示卷积核的尺寸单位；其中对于N个卷积核大小为K*K的N个膨胀率[r1,...ri,...,rn]，M2≤K为非零元素上限距离计算公式的约束条件；
转置卷积形状换算公式为：
n′＝sn+k-2p-s
式中，n为输入特征图的高或宽，n’为输出特征图高或宽，k为卷积核大小，p为卷积核填充数量，s为卷积步幅大小。
7.根据权利要求1所述的变电站设备点云分割方法，其特征在于，获取图像数据和点云数据的映射关系的方法为，通过相机成像模型获取图像数据和点云数据的映射关系；
其中，相机成像模型的表达式为：
z*Ii＝K*[R|t]*Pi
式中，K为相机内参数，R为旋转矩阵，t为平移变量，Pi是点云数据坐标，Ii是图像像素坐标。
8.根据权利要求1所述的变电站设备点云分割方法，其特征在于，所述分割头网络由三个全连接层和dropout函数构成，三个全连接层用于把特征从高维语义空间降维到低维分类空间，dropout函数在第二个全连接层使用用于减少全连接层的冗余特征，防止全连接层输出数据的过拟合。
9.根据权利要求1所述的变电站设备点云分割方法，其特征在于，所述损失函数L的表达式为：
式中，N为样本数，C为类别数量，yij为预测值，
为标注值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210450407.9A CN114820369A (zh) | 2022-04-24 | 2022-04-24 | 一种基于改进的RandLA-Net的变电站设备点云分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210450407.9A CN114820369A (zh) | 2022-04-24 | 2022-04-24 | 一种基于改进的RandLA-Net的变电站设备点云分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114820369A true CN114820369A (zh) | 2022-07-29 |
Family
ID=82507174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210450407.9A Pending CN114820369A (zh) | 2022-04-24 | 2022-04-24 | 一种基于改进的RandLA-Net的变电站设备点云分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114820369A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117746512A (zh) * | 2024-02-19 | 2024-03-22 | 河海大学 | 一种基于双流点云序列的行为识别方法 |
-
2022
- 2022-04-24 CN CN202210450407.9A patent/CN114820369A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117746512A (zh) * | 2024-02-19 | 2024-03-22 | 河海大学 | 一种基于双流点云序列的行为识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | Epnet: Enhancing point features with image semantics for 3d object detection | |
| CN111627065B (zh) | 一种视觉定位方法及装置、存储介质 | |
| US11640690B2 (en) | High resolution neural rendering | |
| CN112396645B (zh) | 一种基于卷积残差学习的单目图像深度估计方法和系统 | |
| CN112927359A (zh) | 一种基于深度学习和体素的三维点云补全方法 | |
| CN114758337B (zh) | 一种语义实例重建方法、装置、设备及介质 | |
| CN113435269A (zh) | 一种基于YOLOv3改进的水面漂浮物检测与识别方法及系统 | |
| CN114612832A (zh) | 一种实时手势检测方法及装置 | |
| CN115620010A (zh) | 一种rgb-t双模态特征融合的语义分割方法 | |
| CN115984564A (zh) | 一种基于体素聚类和稀疏卷积的点云语义分割方法和系统 | |
| GB2618876A (en) | Lightweight and efficient object segmentation and counting method based on generative adversarial network (GAN) | |
| CN112257727A (zh) | 一种基于深度学习自适应可变形卷积的特征图像提取方法 | |
| CN114820369A (zh) | 一种基于改进的RandLA-Net的变电站设备点云分割方法 | |
| Rabby et al. | BeyondPixels: A comprehensive review of the evolution of neural radiance fields | |
| CN104463962A (zh) | 基于gps信息视频的三维场景重建方法 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN115984949B (zh) | 一种带有注意力机制的低质量人脸图像识别方法及设备 | |
| CN116958324A (zh) | 图像生成模型的训练方法、装置、设备及存储介质 | |
| CN114820755B (zh) | 一种深度图估计方法及系统 | |
| CN116485892A (zh) | 一种弱纹理物体的六自由度位姿估计方法 | |
| CN113129347B (zh) | 一种自监督单视图三维发丝模型重建方法及系统 | |
| WO2022197439A1 (en) | High resolution neural rendering | |
| CN113808006B (zh) | 一种基于二维图像重建三维网格模型的方法及装置 | |
| CN114638866A (zh) | 一种基于局部特征学习的点云配准方法及系统 | |
| CN117853664B (zh) | 基于双分支特征融合三维人脸重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |