CN115527036A - 电网场景点云语义分割方法、装置、计算机设备和介质 - Google Patents
电网场景点云语义分割方法、装置、计算机设备和介质 Download PDFInfo
- Publication number
- CN115527036A CN115527036A CN202211487275.3A CN202211487275A CN115527036A CN 115527036 A CN115527036 A CN 115527036A CN 202211487275 A CN202211487275 A CN 202211487275A CN 115527036 A CN115527036 A CN 115527036A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- semantic segmentation
- segmentation
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 361
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 117
- 238000000605 extraction Methods 0.000 claims abstract description 77
- 238000004590 computer program Methods 0.000 claims abstract description 18
- 238000003860 storage Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims description 43
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000010845 search algorithm Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 26
- 238000005259 measurement Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000002372 labelling Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种电网场景点云语义分割方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取电网场景的实测点云数据；根据实测点云数据，调用预先训练得到的点云语义分割模型，对实测点云数据进行分割预测，得到实测点云数据的语义分割预测结果，其中，点云语义分割模型包括并列的点特征提取层和图结构特征提取层，以及并列的分类网络与分割网络，通过将点特征提取层和图结构特征提取层的结果进行融合，将融合特征分别输入至分类网络与分割网络进行分析，得到语义分割预测结果；根据语义分割预测结果对实测点云数据进行语义分割，得到语义分割后的电网场景点云数据。采用本方法能够有效提升语义分割后电网场景点云数据的准确性。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种电网场景点云语义分割方法、装置、计算机设备和介质。
背景技术
对电网场景进行点云数据采集，是目前对电网场景进行智能化巡检和缺陷去重的常用方法，而对点云数据进行语义分割处理是电网场景点云数据处理的一项重要基础工作。
现有技术中对点云数据进行语义分割，常使用的方法是结合深度学习通过将点云转换为网格、体素、或多角度图片进行语义分割。然而电网场景一般具有场景规模庞大、目标物体较小且稀疏、场景复杂等特点，在对电网场景的点云数据进行语义分割时，通常需要分割出庞大背景下的细小导线、塔杆等物体，这对点云数据分割带来了非常大的挑战，现有技术中的点云分割技术无法保障电网点云语义分割的准确率。
发明内容
基于此，有必要针对上述技术问题，提供一种能够有效提高电网大规模场景中物体点云语义分割准确性的电网场景点云语义分割方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种电网场景点云语义分割方法，所述方法包括：
获取电网场景的实测点云数据；
根据所述实测点云数据，调用预先训练得到的点云语义分割模型，对所述实测点云数据进行分割预测，得到所述实测点云数据的语义分割预测结果，其中，所述点云语义分割模型包括并列的点特征提取层和图结构特征提取层，以及并列的分类网络与分割网络，通过将所述点特征提取层和所述图结构特征提取层的结果进行融合，得到融合特征，将所述融合特征分别输入至所述分类网络与所述分割网络进行分析，得到所述实测点云数据的语义分割预测结果；
根据所述语义分割预测结果对所述实测点云数据进行语义分割，得到语义分割后的电网场景点云数据。
在其中一个实施例中，所述根据所述实测点云数据，调用预先训练得到的点云语义分割模型，对所述实测点云数据进行分割预测，包括：
对所述实测点云数据按照预设切分算法进行区域切分，得到规模一致的各子区域点云数据；
将各所述子区域点云数据输入预先训练得到的点云语义分割模型，根据各所述子区域点云数据对所述实测点云数据进行分割预测。
在其中一个实施例中，所述分类网络与所述分割网络中分别设置有空间注意力模块，所述空间注意力模块用于对输入的所述融合特征进行逐步扩大感受野学习；
所述将各所述子区域点云数据输入预先训练得到的点云语义分割模型，根据各所述子区域点云数据对所述实测点云数据进行分割预测，包括：
将各所述子区域点云数据输入预先训练得到的点云语义分割模型，对各所述子区域点云数据进行随机降采样，得到各降采样点云数据；
通过所述点特征提取层和所述图结构特征提取层分别对各所述降采样点云数据进行特征提取，得到点特征数据与图结构特征数据；
将所述点特征数据与所述图结构特征数据进行融合，得到各所述融合特征；
通过所述分类网络与所述分割网络中的空间注意力模块分别对各所述融合特征进行逐步扩大感受野学习，得到各分类预测值与各分割预测值；
基于各所述分类预测值与各所述分割预测值对所述实测点云数据进行分割预测。
在其中一个实施例中，所述空间注意力模块中的卷积层为稀疏卷积层。
在其中一个实施例中，所述点云语义分割模型的训练方法包括：
获取不同电网场景的点云数据，得到第一点云数据集；
对所述第一点云数据集进行数据增强操作，得到第二点云数据集；
将所述第一点云数据集与所述第二点云数据集进行合并，得到训练样本数据集；
对所述训练样本数据集中的目标物体进行标注，得到标注样本数据集；
根据所述标注样本数据集对初始语义分割模型进行训练，获得所述点云语义分割模型，所述初始语义分割模型包括并列的初始点特征提取层和初始图结构特征提取层，以及并列的初始分类网络与初始分割网络，其中，所述初始分类网络与所述初始分割网络之间相互连接。
在其中一个实施例中，所述根据所述标注样本数据集对初始语义分割模型中进行训练，获得所述点云语义分割模型，包括：
通过初始语义分割模型中并列的初始点特征提取层和初始图结构特征提取层提取所述标注样本数据集中各点云数据的训练点特征数据和训练图结构特征数据；
对所述训练点特征数据和所述训练图结构特征数据进行融合处理，得到训练融合特征；
将所述训练融合特征分别输入初始分类网络与初始分割网络中，得到初始分类预测值与初始分割预测值；
将所述初始分类预测值输入所述初始分割网络中、所述初始分割预测值输入所述初始分类网络中进行迭代学习；
直至满足迭代结束条件时，获得所述点云语义分割模型。
在其中一个实施例中，所述直至满足迭代结束条件时，获得所述点云语义分割模型，包括：
当对所述初始语义分割模型的训练满足迭代结束条件时，通过预设搜索算法进行最优网络搜索，得到优化反馈参数；
根据所述优化反馈参数获得所述点云语义分割模型。
第二方面，本申请还提供了一种电网场景点云语义分割装置，所述装置包括：
点云数据获取模块，用于获取电网场景的实测点云数据；
分割预测模块，用于根据所述实测点云数据，调用预先训练得到的点云语义分割模型，对所述实测点云数据进行分割预测，得到所述实测点云数据的语义分割预测结果，其中，所述点云语义分割模型包括并列的点特征提取层和图结构特征提取层，以及并列的分类网络与分割网络，通过将所述点特征提取层和所述图结构特征提取层的结果进行融合，得到融合特征，将所述融合特征分别输入至所述分类网络与所述分割网络进行分析，得到所述实测点云数据的语义分割预测结果；
语义分割模块，用于根据所述语义分割预测结果对所述实测点云数据进行语义分割，得到语义分割后的电网场景点云数据。
第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
上述电网场景点云语义分割方法、装置、计算机设备、存储介质和计算机程序产品，获取电网场景的实测点云数据，根据实测点云数据调用预先训练得到的点云语义分割模型，对实测点云数据进行分割预测，得到实测点云数据的语义分割预测结果，由于点云语义分割模型包括并列的点特征提取层和图结构特征提取层，以及并列的分类网络与分割网络，加强了模型对于局部特征和全局特征的融合能力，和几何形状的感知能力，因此，在点特征提取层与图结构特征提取层分别从实测点云数据中提取出点云数据的点特征与图结构特征后，可以将点特征与图结构特征进行融合，得到融合特征，将融合特征分别输入分类网络与分割网络中进行分析，得到实测点云数据的语义分割预测结果，根据语义分割预测结果对实测点云数据进行语义分割，可以有效提升语义分割后的电网场景点云数据的准确性。
附图说明
图1为一个实施例中电网场景点云语义分割方法的应用环境图；
图2为一个实施例中电网场景点云语义分割方法的流程示意图；
图3为一个实施例中点云语义分割模型的结构示意图；
图4为一个实施例中将各子区域点云数据输入预先训练得到的点云语义分割模型，根据各子区域点云数据对实测点云数据进行分割预测步骤的流程示意图；
图5为一个实施例中点云语义分割模型训练方法的流程示意图；
图6为一个实施例中根据标注样本数据集对初始语义分割模型中进行训练，获得点云语义分割模型步骤的流程示意图；
图7为另一个实施例中电网场景点云语义分割方法的流程示意图；
图8为一个实施例中电网场景点云语义分割装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的电网场景点云语义分割方法，可以应用于如图1所示的应用环境中。其中，点云处理平台102与点云采集设备104进行通信。数据存储系统可以存储点云处理平台102需要处理的数据。数据存储系统可以集成在点云处理平台102上，也可以放在云上或其他网络服务器上。点云处理平台获取点云采集设备104采集的电网场景的实测点云数据，根据实测点云数据，调用预先训练得到的点云语义分割模型，对实测点云数据进行分割预测，得到实测点云数据的语义分割预测结果，其中，点云语义分割模型包括并列的点特征提取层和图结构特征提取层，以及并列的分类网络和分割网络，通过将点特征提取层与图结构特征提取层的结果进行融合，得到融合特征，将融合特征分别输入至分类网络和分割网络中进行分析，得到实测点云数据的语义分割预测结果，根据语义分割预测结果对实测点云数据进行语义分割，得到分割后的电网场景点云数据。其中，点云处理平台102可以但不限于集成在各种个人计算机、笔记本电脑、智能手机、平板电脑上，也可以集成在独立的服务器或者是多个服务器组成的服务器集群上。点云采集设备104可以是任意一种能够对电网场景进行点云采集的设备，例如激光雷达、三维激光扫描器等。
在一个实施例中，如图2所示，提供了一种电网场景点云语义分割方法，以该方法应用于图1中的点云处理平台为例进行说明，包括以下步骤：
步骤202，获取电网场景的实测点云数据。
其中，电网场景是将发电厂、变电所或变电所之间连接起来的送电网络场景，此场景可以用于承担输送电能的任务，电网场景中包括有输电设备和变电设备等电力输送过程中的常用设备，以及常见的场景物体等，输电设备主要有输电线、杆塔、绝缘子串等，变电设备可以包括有变压器、电抗器、电容器、避雷器等。而在电网场景中场景的场景物体有房屋以及其他与电网输电无关的其他背景物体。
其中，电网场景的实测点云数据可以是包含上述电网场景中全部物体的点云数据，通过搭载了激光雷达或其他点云采集设备的无人机等巡检工具对电网场景进行扫描采集得到。
点云数据可以是在一个三维坐标系统中的一组向量的集合，扫描资料以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息（RGB）或反射强度信息（Intensity），其中，颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息赋予点云中对应的点。强度信息的获取是激光扫描仪接收装置采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
具体地，点云处理平台与点云采集设备连接，从点云采集设备获取点云采集设备对电网场景进行扫描后得到的实测点云数据，其中，实测点云数据是有点云分割需求的电网场景点云数据。可以理解的，实测点云数据可以是点云采集设备实时对电网场景进行采集得到的数据，也可以是采集后存储在点云采集设备中的历史采集数据。
步骤204，根据实测点云数据，调用预先训练得到的点云语义分割模型，对实测点云数据进行分割预测，得到实测点云数据的语义分割预测结果。
其中，点云语义分割模型包括并列的点特征提取层和图结构特征提取层，以及并列的分类网络与分割网络，通过将点特征提取层和图结构特征提取层的结果进行融合，得到融合特征，将融合特征分别输入至分类网络与分割网络进行分析，得到实测点云数据的语义分割预测结果。
点特征提取层是用于对输入的点云数据进行点特征提取的网络层，图结构特征提取层是用于对输入的点云数据进行图结构特征提取的网络层。
分类网络引入了图结构的思想，包括四层特征提取模块，每层均由提取局部几何特征的edgeconv模块和利用空间注意力机制提取点间语义特征的spatial attention模块组成。上层提取的局部几何特征与点间语义特征point feature拼接后作为下一层edgeconv模块的输入。每层edgeconv模块提取的局部几何特征和spatial attention所提取的语义特征的输出维度相同。对各层提取的特征进行拼接，并将得到的维度为n×640的融合特征输入到一个共享的全连接层后，通过最大池化操作可得到1×1024维全局特征描述符，最后使用三个全连接层即可得到目标所属类别的k维向量。
分割网络也包括四层特征提取模块。将edgeconv模块提取局部几何特征及低维几何特征的模块作为feature fusion模块，该模块旨在提高网络的局部特征提取能力；同时，使用mlp直接对点云进行操作，以提取点的全局特征，丰富特征表达。每层局部几何特征的输出维度与全局特征的输出维度相同。将每层提取的全局、局部特征进行拼接可得到维度为n×656的融合特征，进一步对融合特征使用卷积操作和最大池化操作即可得到全局特征描述符。同时，将低维几何特征映射到高维特征空间，挖掘点云隐含在高维特征中潜在的几何形状信息，并与融合特征、全局特征进行拼接，然后使用全连接层进行转换，并使用空间注意力机制挖掘空间语义信息，最后使用一个全连接层（m）输出每个点属于m个类别的概率。
在整个点云语义分割模型中，对输入的点云数据除了提取了点云边缘特征，还提取了点云的形状特征及点的全局特征，下面分别对这几个特征进行介绍。
平均对称边缘特征提取：对于任意一点Pi，寻找其k近邻点{P1，P2，⋯，Pk}⊂R3，连接近邻点构成有向图。将中心点的坐标、中心点与邻域点之间的相对位置信息映射到高维特征空间，从高维特征空间中学习点之间的几何相关性，从而获取点云的边缘特征。边缘特征eij在获取中心点局部邻域信息的同时，编码了中心点的位置信息。在提取到点间的局部邻域信息后，本模型使用最大池化操作作为聚合函数，在选取最重要的特征的同时移除了冗余信息的干扰、降低了网络中的参数量。相比于DGCNN中的边缘函数，基于平均的方式能够有效地减少冗余的特征信息，提升分割精度。
形状特征提取：通过观察可以发现，许多人造物体多是由基本形状组成的，构成物体的点可以大致分为线状点、面状点和散状点。因此，本模型通过分析每个点与邻域点的局部结构得到每个点的空间分布特征。对于任意一点pi，寻找pi的k个邻域点，建立点的局部邻域图G，构造协方差矩阵M。低维度的几何特征对形状信息表达能力较弱，为了更大程度挖掘高维的几何特征信息，所提网络将低维的几何特征映射到高维特征空间，以便获取更丰富的形状信息，从而得到具有形状感知鉴别能力的高维几何特征。所提网络使用mlp作为特征映射函数，最大池化作为聚合函数，以保证点的排列不变性。
点特征提取：边缘特征和形状特征都是通过构造某点的局部邻域图提取局部特征的，在建立图结构时，将整个点云划分为一个个独立的分组，该操作在一定程度上忽略了点云之间的相关性，对全局特征提取有所欠缺。为了弥补所提网络全局特征提取能力不足的缺陷，直接对原始的输入点云数据应用多层感知机，以提取高维全局特征，为提高点云分割的准确性奠定基础。
具体地，点云处理平台根据实测点云数据，调用预先训练得到的点云语义分割模型，对实测点云数据进行分割预测，得到实测点云数据的语义分割预测结果。
步骤206，根据语义分割预测结果对实测点云数据进行语义分割，得到语义分割后的电网场景点云数据。
具体地，点云处理平台根据实测点云数据的语义分割预测结果对实测点云数据进行语义分割，可以得到语义分割后的电网场景点云数据。语义分割后的电网场景点云数据可以用于后续对电网场景进行智能化巡检和缺陷去重等。
上述电网场景点云语义分割方法中，获取电网场景的实测点云数据，根据实测点云数据调用预先训练得到的点云语义分割模型，对实测点云数据进行分割预测，得到实测点云数据的语义分割预测结果，由于点云语义分割模型包括并列的点特征提取层和图结构特征提取层，以及并列的分类网络与分割网络，加强了模型对于局部特征和全局特征的融合能力，和几何形状的感知能力，因此，在点特征提取层与图结构特征提取层分别从实测点云数据中提取出点云数据的点特征与图结构特征后，可以将点特征与图结构特征进行融合，得到融合特征，将融合特征分别输入分类网络与分割网络中进行分析，得到实测点云数据的语义分割预测结果，根据语义分割预测结果对实测点云数据进行语义分割，可以有效提升语义分割后的电网场景点云数据的准确性。
在一个实施例中，根据实测点云数据，调用预先训练得到的点云语义分割模型，对实测点云数据进行分割预测，包括：
对实测点云数据按照预设切分算法进行区域切分，得到规模一致的各子区域点云数据；将各子区域点云数据输入预先训练得到的点云语义分割模型，根据各子区域点云数据对实测点云数据进行分割预测。
其中，预设切分算法为将点云数据进行区域切分的算法，通过预设切分算法可以对点云数据进行区域切分，从而得到规模一致的各子区域点云数据。可以理解的，预设切分算法可以为体积切分算法和/或数量切分算法。
例如，若预设切分算法为体积切分算法，则预设切分算法预先固定区域切分的边长，对点云数据进行切分。若预设切分算法为数量切分算法，则区域切分过程为一个自适应过程，预设切分算法预先固定区域切分的点数量，例如，10万个点为一个区域，对点云数据进行切分。
而若大规模电网场景中，即存在物体分布集中的区域，例如点云画面中间导线和杆塔数量较多，分布较集中，则可以采用体积切分。而在点密集的区域若采用体积切分，后续会产生大量计算量，因此选择采用点切分。
具体地，点云处理平台在获取得到电网场景的实测点云数据后，通过预设切分算法识别点云数据的边缘订单，对实测点云数据进行区域切分，得到规模一致的各子区域点云数据。可以理解的，不同的子区域点云数据之间会有一定的重叠，以保证点云数据的完整性。
将各子区域点云数据输入预先训练得到的点云语义分割模型中，根据子区域点云数据对实测点云数据进行分割预测，可以有效降低分割预测过程的计算量，提升语义分割后的电网场景点云数据的准确性。
在一个实施例中，如图4所示，分类网络与分割网络中分别设置有空间注意力模块，空间注意力模块用于对输入的融合特征进行逐步扩大感受野学习。
将各子区域点云数据输入预先训练得到的点云语义分割模型，根据各子区域点云数据对实测点云数据进行分割预测，包括：
步骤402，将各子区域点云数据输入预先训练得到的点云语义分割模型，对各子区域点云数据进行随机降采样，得到各降采样点云数据。
其中，随机降采样是指从各子区域点云数据中随机选择n个点，每个点被选到的概率相同，可以得到固定的点数量。
具体地，点云处理平台将各子区域点云数据输入预先训练得到的点云语义分割模型，对各子区域点云数据进行随机降采样，得到固定点数量的各降采样点云数据。
步骤404，通过点特征提取层和图结构特征提取层分别对各降采样点云数据进行特征提取，得到点特征数据与图结构特征数据。
具体地，点云处理平台将各降采样点云数据分别输入点特征提取层和图结构特征提取层，点特征提取层和图结构特征提取层分别一次对同一个降采样点云数据进行特征提取，得到各降采样点云数据的点特征数据与图结构特征数据。
步骤406，将点特征数据与图结构特征数据进行融合，得到各融合特征。
具体地，依次将同一个降采样点云数据的点特征数据和图结构特征数据进行数据融合，得到各降采样点云数据的融合特征。
步骤408，通过分类网络与分割网络中的空间注意力模块分别对各融合特征进行逐步扩大感受野学习，得到各分类预测值与各分割预测值。
其中，空间注意力模块是用于保证点之间语义特征描述提取的模块。在提取边缘特征、形状信息的基础上，引入空间注意力模块来捕捉点间的语义特征，以提升点云场景分割的准确性。考虑分别使用两个独立的卷积操作生成两个新的特征B和C。在空间注意力模块中，对特征A应用卷积操作得到特征B和C后，对B和C进行reshape操作，然后在B和C之间进行矩阵相乘，再使用Softmax得到空间注意力图。但是reshape操作会改变特征的形状，导致特征信息的损失，因此本实施例中的注意力模块删除reshape操作，直接对B和C进行矩阵相乘操作，得到自注意力权重矩阵U，并应用Softmax得到归一化的空间注意力权重矩阵。可以理解的，分类网络与分割网络中各自设置有空间注意力模块。
其中，逐步增大感受野可以通过增加网络的深度实现，由于本实施例中为了降低计算量，对各子区域点云数据进行了随机降采样操作，有可能会造成一些信息的遗漏，因此，在空间注意力模块中，需要通过逐步扩大感受野学习的方法，找到特征与特征、点与点之间的关系，从而弥补前面信息遗漏的缺陷，同时兼顾了神经网络对多尺度点云数据的感知能力，解决了不同尺度下分割准确性较低的问题。
具体地，通过分类网络与分割网络中的空间注意力模块分别对各融合特征进行逐步扩大感受野学习，得到各融合特征对应的分类预测值与各分割预测值。
步骤410，基于各分类预测值与各分割预测值对实测点云数据进行分割预测。
具体地，对各分类预测值与各分割预测值使用NMS或Softmax函数进行后处理，得到各子区域点云的分割预测结果，将各子区域点云的分割预测结果进行结合，并去除重复点，得到整个实测点云数据的分割预测结果。
本实施例中，通过对各子区域点云数据随机降采样，可以降低分割预测过程中的计算量，提高分割预测过程的工作效率，同时在分类网络和分割网络中均设置可以实现逐步扩大感受野学习的空间注意力模块，可以弥补降采样导致的信息遗漏问题，进而达到提升不同尺度下分割预测准确性的效果。
进一步的，在一个实施例中，空间注意力模块中的卷积层为稀疏卷积层。
具体地，将空间注意力模块中的传统卷积层通过稀疏卷积来代替，可以有效减少分割预测时的计算复杂度，进一步降低了分割预测过程中的计算量，提高了分割预测过程的工作效率。
在一个实施例中，如图5所示，点云语义分割模型的训练方法包括以下步骤：
步骤502，获取不同电网场景的点云数据，得到第一点云数据集。
具体地，通过点云采集设备不同电网场景进行点云数据采集，得到第一点云数据集。可以理解的，第一点云数据集中包括有完整的点云数据和不完整的点云数据，其中，完整的点云数据是指包含的物体均为完整形态的点云数据，不完整的点云数据是指包含的物体中存在不完整形态的点云数据，例如，点云数据中存在有不完整的房屋、导线等物体，则此点云数据即为不完整的点云数据。
步骤504，对第一点云数据集进行数据增强操作，得到第二点云数据集。
其中，数据增强也叫数据扩增，意思是在不实质性的增加数据的情况下，让有限的数据产生等价于更多数据的价值。具体地，数据增强操作可以是采用预设的数据变换规则，在已有数据的基础上进行数据的扩增操作。
具体地，对采集的第一点云数据集按照预设的数据变换规则，进行数据扩增，将变换后得到的点云数据集作为第二点云数据集。
在其中一个实施例中，数据增强操作包括：旋转、平移、缩放以及水平翻转等。
步骤506，将第一点云数据集与第二点云数据集进行合并，得到训练样本数据集。
具体地，将第一点云数据集与对第一点云数据集进行数据增强后得到的第二点云数据集进行合并，得到训练样本数据集。可以理解的，合并过程可以是将第一点云数据集与第二点云数据集进行直接相加的过程。
步骤508，对训练样本数据集中的目标物体进行标注，得到标注样本数据集。
其中，目标物体是电网场景中需要分割识别的物体，可以根据实际需求对目标物体进行设定，例如电网场景中常见的导线、房屋、杆塔和背景等。
具体地，点云处理平台预先为需要分割识别的目标物体设置对应的物体类别标签，并根据物体类别标签对训练样数据集中的各目标物体进行标注，得到标注样本数据集。可以理解的，标注过程可以采用人工标注，也可以采用任意一种具有点云标注功能的工具进行标注。
步骤510，根据标注样本数据集对初始语义分割模型进行训练，获得点云语义分割模型。
其中，初始语义分割模型包括并列的初始点特征提取层和初始图结构特征提取层，以及并列的初始分类网络与初始分割网络，需要注意的是，初始分类网络与初始分割网络之间相互连接。
具体地，根据标注样本数据集对初始语义分割模型进行训练，获得点云语义分割模型。
本实施例中，通过对获取的不同电网场景的点云数据进行数据增强处理，将原电网场景的第一点云数据集与数据增强处理后的第二点云数据集进行合并后得到训练样本数据集，可以有效避免模型训练的数据量少，导致模型过拟合的问题。将标注后的训练样本数据集输入至初始语义分割模型中，对初始检测模型进行训练，得到具备点云语义分割预测能力的点云语义分割模型，提升了大规模电网场景中点云数据语义分割的效率。
在其中一个实施例汇总，根据标注样本数据集对初始语义分割模型进行训练，获得点云语义分割模型包括：对标注样本数据集中的各点云数据利用预设切分算法进行区域切分，得到规模一致的各子区域训练点云数据，将各子区域训练点云数据输入初始语义分割模型中，对各子区域训练点云数据进行随机降采样，得到各降采样训练点云数据，根据各将降采样训练点云数据对初始语义分割模型进行训练，获得点云语义分割模型。
在一个实施例中，如图6所示，根据标注样本数据集对初始语义分割模型中进行训练，获得点云语义分割模型，包括：
步骤602，通过初始语义分割模型中并列的初始点特征提取层和初始图结构特征提取层提取标注样本数据集中各点云数据的训练点特征数据和训练图结构特征数据。
具体地，通过初始语义分割模型中的初始点特征提取层提取标注样本数据集中各点云数据的训练点特征数据，通过与初始点特征提取层并列支路上的初始图结构特征提取层提取标注样本数据集中各点云数据的训练图结构特征数据。
步骤604，对训练点特征数据和训练图结构特征数据进行融合处理，得到训练融合特征。
具体地，将初始点特征提取层输出的训练点特征数据与初始图结构特征提取层输出的训练图结构特征数据在初始语义分割模型中的融合网络中进行融合处理，得到训练融合特征，可以理解的，融合网络由线性层、卷积层等神经网络结构构成。
步骤606，将训练融合特征分别输入初始分类网络与初始分割网络中，得到初始分类预测值与初始分割预测值。
具体地，将训练融合特征分别输入初始分类网络与初始分割网络中进行分析学习，得到初始分类预测值与初始分割预测值。
在其中一个实施例中，初始分类网络与初始分割网络中均设置有可以进行逐步增大感受野学习的空间注意力模块，将训练融合特征分别输入初始分类网络与初始分割网络中，通过初始分类网络与初始分割网络中的空间注意力模块进行逐步扩大感受野的迭代学习，直至满足预设迭代学习结束条件时，得到初始分类预测值与初始分割预测值。
在其中一个实施例中，预设迭代学习结束条件可以根据最大可迭代次数进行设置，可以理解的，最大可迭代次数为扩大感受野的上限阈值。上限阈值可以根据感受野中点的个数，或者点和点之间的距离差距确定。
步骤608，将初始分类预测值输入初始分割网络中、初始分割预测值输入初始分类网络中进行迭代学习。
具体地，将初始分类预测值输入初始分割网络中、初始分割预测值输入初始分类网络中，即，将初始分割网络的输出作为初始分类网络的输入，将初始分类网络的输出作为初始分割网络的输入，进行相互指导迭代学习，可以进一步提升初始分割网络与初始分类网络之间的关联性，提高最终得到的点云语义分割模型的准确性。
步骤610，直至满足迭代结束条件时，获得点云语义分割模型。
具体地，当相互指导迭代学习满足迭代结束条件时，将此时的初始语义分割模型确定为训练好的点云语义分割模型。
在其中一个实施例中，迭代结束条件可以是相互指导迭代次数小于预设阈值，或，初始分类网络与初始分割网络得到的lost函数准确率差值小于预设差值阈值。
上述实施例中，通过将初始分割网络的输出作为初始分类网络的输入，将初始分类网络的输出作为初始分割网络的输入，进行相互指导迭代学习，可以进一步提升初始分割网络与初始分类网络之间的关联性，提高最终得到的点云语义分割模型的准确性。
在一个实施例中，直至满足迭代结束条件时，获得点云语义分割模型，包括：当对初始语义分割模型的训练满足迭代结束条件时，通过预设搜索算法进行最优网络搜索，得到优化反馈参数；根据优化反馈参数获得点云语义分割模型。
其中，预设搜索算法是用于对神经网络中的最优网络参数进行搜索的算法。可以理解的，预设搜索算法可以是NAS神经网络搜索算法。
具体地，对初始语义分割模型进行训练的目的即得到最优的计算参数，从而保证实际使用时语义分割的准确性，而当初始语义分割模型的训练满足迭代结束条件时，此时整个训练过程中产生了多组计算参数，点云处理平台根据预设搜索算法对各组计算参数进行最优网络搜索，将搜索得到的计算参数作为优化反馈参数，将优化反馈参数作为初始语义分割模型中的目标计算参数，进而得到最终训练完成的点云语义分割模型。
在本实施例中，通过使用预设搜索算法进行最优网络搜索，得到优化反馈参数，可以进一步加速算法的分割速率，提升算法效率。
在一个实施例中，如图7所示，提供了一种电网场景点云语义分割方法，具体包括以下步骤：
首先，点云处理平台获取不同电网场景的点云数据，得到第一点云数据集，对第一点云数据集进行数据增强操作，得到第二点云数据集，将第一点云数据集与第二点云数据集进行合并，得到训练样本数据集。对训练样本数据集中的导线、房屋、杆塔和背景等在输电场景中经常出现的物体设置物体类别，并根据物体类别对物料进行标注，得到标注样本数据集。
对标注样本数据集中的各点云数据利用预设切分算法进行区域切分，得到规模一致的各子区域训练点云数据，将各子区域训练点云数据输入初始语义分割模型中，对各子区域训练点云数据进行随机降采样，得到各降采样训练点云数据。
调用初始语义分割模型，将各降采样训练点云数据分别输入至初始语义分割模型中并列的初始点特征提取层和初始图结构特征提取层，通过初始语义分割模型中的初始点特征提取层提取标注样本数据集中各点云数据的训练点特征数据，通过与初始点特征提取层并列支路上的初始图结构特征提取层提取标注样本数据集中各点云数据的训练图结构特征数据。
对训练点特征数据和训练图结构特征数据进行融合处理，得到训练融合特征。将训练融合特征分别输入初始分类网络与初始分割网络中，通过初始分类网络与初始分割网络中的空间注意力模块进行逐步扩大感受野的迭代学习，直至满足预设迭代学习结束条件时，得到初始分类预测值与初始分割预测值。其中，空间注意力模块中的卷积层用稀疏卷积进行替代。
将初始分割网络的输出作为初始分类网络的输入，将初始分类网络的输出作为初始分割网络的输入，进行相互指导迭代学习，当初始语义分割模型的训练满足迭代结束条件时，点云处理平台根据预设搜索算法对各组计算参数进行最优网络搜索，将搜索得到的计算参数作为优化反馈参数，将优化反馈参数作为初始语义分割模型中的目标计算参数，进而得到最终训练完成的点云语义分割模型。
在实际使用时，点云处理平台获取电网场景的实测点云数据，对实测点云数据按照预设切分算法进行区域切分，得到规模一致的各子区域点云数据，将各子区域点云数据输入预先训练得到的点云语义分割模型，对各子区域点云数据进行随机降采样，得到各降采样点云数据，通过点特征提取层和图结构特征提取层分别对各降采样点云数据进行特征提取，得到点特征数据与图结构特征数据，将点特征数据与图结构特征数据进行融合，得到各融合特征。
通过分类网络与分割网络中的空间注意力模块分别对各融合特征进行逐步扩大感受野学习，得到各分类预测值与各分割预测值。对各分类预测值与各分割预测值使用NMS或Softmax函数进行后处理，得到各子区域点云的分割预测结果，将各子区域点云的分割预测结果进行结合，并去除重复点，得到整个实测点云数据的分割预测结果。
本实施例中，通过对点云的结构化预处理将点云切分为无数个子区域，并引入稀疏卷积来减少算法的计算复杂度，同时利用神经网络搜索算法进行最优网络搜索来加速算法的分割速度，提升了算法效率。为了解决不同尺度下分割准确性较低的问题，在设计神经网络的时候逐层扩大感受野，使得神经网络对多尺度点云数据的感知能力较强，提升在输电场景尺度不同的情况下点云语义分割算法的准确性。针对电网大规模场景进行了数据集的采集、标注和扩充，并针对电网的大规模点云场景设计分割方案设计，因此该方案具有良好泛化能力，能够较好地理解输电场景结构。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的电网场景点云语义分割方法的电网场景点云语义分割装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个电网场景点云语义分割装置实施例中的具体限定可以参见上文中对于电网场景点云语义分割方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种电网场景点云语义分割装置800，包括：点云数据获取模块801、分割预测模块802和语义分割模块803，其中：
点云数据获取模块801，用于获取电网场景的实测点云数据。
分割预测模块802，用于根据实测点云数据，调用预先训练得到的点云语义分割模型，对实测点云数据进行分割预测，得到实测点云数据的语义分割预测结果，其中，点云语义分割模型包括并列的点特征提取层和图结构特征提取层，以及并列的分类网络与分割网络，通过将点特征提取层和图结构特征提取层的结果进行融合，得到融合特征，将融合特征分别输入至分类网络与分割网络进行分析，得到实测点云数据的语义分割预测结果。
语义分割模块803，用于根据语义分割预测结果对实测点云数据进行语义分割，得到语义分割后的电网场景点云数据。
上述电网场景点云语义分割装置，获取电网场景的实测点云数据，根据实测点云数据调用预先训练得到的点云语义分割模型，对实测点云数据进行分割预测，得到实测点云数据的语义分割预测结果，由于点云语义分割模型包括并列的点特征提取层和图结构特征提取层，以及并列的分类网络与分割网络，加强了模型对于局部特征和全局特征的融合能力，和几何形状的感知能力，因此，在点特征提取层与图结构特征提取层分别从实测点云数据中提取出点云数据的点特征与图结构特征后，可以将点特征与图结构特征进行融合，得到融合特征，将融合特征分别输入分类网络与分割网络中进行分析，得到实测点云数据的语义分割预测结果，根据语义分割预测结果对实测点云数据进行语义分割，可以有效提升语义分割后的电网场景点云数据的准确性。
在一个实施例中，分割预测模块还用于：对实测点云数据按照预设切分算法进行区域切分，得到规模一致的各子区域点云数据；将各子区域点云数据输入预先训练得到的点云语义分割模型，根据各子区域点云数据对实测点云数据进行分割预测。
在一个实施例中，分割预测模块还用于：将各子区域点云数据输入预先训练得到的点云语义分割模型，对各子区域点云数据进行随机降采样，得到各降采样点云数据；通过点特征提取层和图结构特征提取层分别对各降采样点云数据进行特征提取，得到点特征数据与图结构特征数据；将点特征数据与图结构特征数据进行融合，得到各融合特征；通过分类网络与分割网络中的空间注意力模块分别对各融合特征进行逐步扩大感受野学习，得到各分类预测值与各分割预测值；基于各分类预测值与各分割预测值对实测点云数据进行分割预测。
在一个实施例中，电网场景点云语义分割装置还包括：模型训练模块，用于获取不同电网场景的点云数据，得到第一点云数据集；对第一点云数据集进行数据增强操作，得到第二点云数据集；将第一点云数据集与第二点云数据集进行合并，得到训练样本数据集；对训练样本数据集中的目标物体进行标注，得到标注样本数据集；根据标注样本数据集对初始语义分割模型进行训练，获得点云语义分割模型，初始语义分割模型包括并列的初始点特征提取层和初始图结构特征提取层，以及并列的初始分类网络与初始分割网络，其中，初始分类网络与初始分割网络之间相互连接。
在一个实施例中，模型训练模块还用于：通过初始语义分割模型中并列的初始点特征提取层和初始图结构特征提取层提取标注样本数据集中各点云数据的训练点特征数据和训练图结构特征数据；对训练点特征数据和训练图结构特征数据进行融合处理，得到训练融合特征；将训练融合特征分别输入初始分类网络与初始分割网络中，得到初始分类预测值与初始分割预测值；将初始分类预测值输入初始分割网络中、初始分割预测值输入初始分类网络中进行迭代学习；直至满足迭代结束条件时，获得点云语义分割模型。
在一个实施例中，模型训练模块还用于：当对初始语义分割模型的训练满足迭代结束条件时，通过预设搜索算法进行最优网络搜索，得到优化反馈参数；根据优化反馈参数获得点云语义分割模型。
上述电网场景点云语义分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是集成了点云处理平台的服务器或终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储实测点云数据、点云语义分割模型、语义分割预测结果等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种电网场景点云语义分割方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述电网场景点云语义分割方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述电网场景点云语义分割方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述电网场景点云语义分割方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种电网场景点云语义分割方法，其特征在于，所述方法包括：
获取电网场景的实测点云数据；
根据所述实测点云数据，调用预先训练得到的点云语义分割模型，对所述实测点云数据进行分割预测，得到所述实测点云数据的语义分割预测结果，其中，所述点云语义分割模型包括并列的点特征提取层和图结构特征提取层，以及并列的分类网络与分割网络，通过将所述点特征提取层和所述图结构特征提取层的结果进行融合，得到融合特征，将所述融合特征分别输入至所述分类网络与所述分割网络进行分析，得到所述实测点云数据的语义分割预测结果；
根据所述语义分割预测结果对所述实测点云数据进行语义分割，得到语义分割后的电网场景点云数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述实测点云数据，调用预先训练得到的点云语义分割模型，对所述实测点云数据进行分割预测，包括：
对所述实测点云数据按照预设切分算法进行区域切分，得到规模一致的各子区域点云数据；
将各所述子区域点云数据输入预先训练得到的点云语义分割模型，根据各所述子区域点云数据对所述实测点云数据进行分割预测。
3.根据权利要求2所述的方法，其特征在于，所述分类网络与所述分割网络中分别设置有空间注意力模块，所述空间注意力模块用于对输入的所述融合特征进行逐步扩大感受野学习；
所述将各所述子区域点云数据输入预先训练得到的点云语义分割模型，根据各所述子区域点云数据对所述实测点云数据进行分割预测，包括：
将各所述子区域点云数据输入预先训练得到的点云语义分割模型，对各所述子区域点云数据进行随机降采样，得到各降采样点云数据；
通过所述点特征提取层和所述图结构特征提取层分别对各所述降采样点云数据进行特征提取，得到点特征数据与图结构特征数据；
将所述点特征数据与所述图结构特征数据进行融合，得到各所述融合特征；
通过所述分类网络与所述分割网络中的空间注意力模块分别对各所述融合特征进行逐步扩大感受野学习，得到各分类预测值与各分割预测值；
基于各所述分类预测值与各所述分割预测值对所述实测点云数据进行分割预测。
4.根据权利要求3所述的方法，其特征在于，所述空间注意力模块中的卷积层为稀疏卷积层。
5.根据权利要求1所述的方法，其特征在于，所述点云语义分割模型的训练方法包括：
获取不同电网场景的点云数据，得到第一点云数据集；
对所述第一点云数据集进行数据增强操作，得到第二点云数据集；
将所述第一点云数据集与所述第二点云数据集进行合并，得到训练样本数据集；
对所述训练样本数据集中的目标物体进行标注，得到标注样本数据集；
根据所述标注样本数据集对初始语义分割模型进行训练，获得所述点云语义分割模型，所述初始语义分割模型包括并列的初始点特征提取层和初始图结构特征提取层，以及并列的初始分类网络与初始分割网络，其中，所述初始分类网络与所述初始分割网络之间相互连接。
6.根据权利要求5所述的方法，其特征在于，所述根据所述标注样本数据集对初始语义分割模型中进行训练，获得所述点云语义分割模型，包括：
通过初始语义分割模型中并列的初始点特征提取层和初始图结构特征提取层提取所述标注样本数据集中各点云数据的训练点特征数据和训练图结构特征数据；
对所述训练点特征数据和所述训练图结构特征数据进行融合处理，得到训练融合特征；
将所述训练融合特征分别输入初始分类网络与初始分割网络中，得到初始分类预测值与初始分割预测值；
将所述初始分类预测值输入所述初始分割网络中、所述初始分割预测值输入所述初始分类网络中进行迭代学习；
直至满足迭代结束条件时，获得所述点云语义分割模型。
7.根据权利要求6所述的方法，其特征在于，所述直至满足迭代结束条件时，获得所述点云语义分割模型，包括：
当对所述初始语义分割模型的训练满足迭代结束条件时，通过预设搜索算法进行最优网络搜索，得到优化反馈参数；
根据所述优化反馈参数获得所述点云语义分割模型。
8.一种电网场景点云语义分割装置，其特征在于，所述装置包括：
点云数据获取模块，用于获取电网场景的实测点云数据；
分割预测模块，用于根据所述实测点云数据，调用预先训练得到的点云语义分割模型，对所述实测点云数据进行分割预测，得到所述实测点云数据的语义分割预测结果，其中，所述点云语义分割模型包括并列的点特征提取层和图结构特征提取层，以及并列的分类网络与分割网络，通过将所述点特征提取层和所述图结构特征提取层的结果进行融合，得到融合特征，将所述融合特征分别输入至所述分类网络与所述分割网络进行分析，得到所述实测点云数据的语义分割预测结果；
语义分割模块，用于根据所述语义分割预测结果对所述实测点云数据进行语义分割，得到语义分割后的电网场景点云数据。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211487275.3A CN115527036A (zh) | 2022-11-25 | 2022-11-25 | 电网场景点云语义分割方法、装置、计算机设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211487275.3A CN115527036A (zh) | 2022-11-25 | 2022-11-25 | 电网场景点云语义分割方法、装置、计算机设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115527036A true CN115527036A (zh) | 2022-12-27 |
Family
ID=84705355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211487275.3A Pending CN115527036A (zh) | 2022-11-25 | 2022-11-25 | 电网场景点云语义分割方法、装置、计算机设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115527036A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115862013A (zh) * | 2023-02-09 | 2023-03-28 | 南方电网数字电网研究院有限公司 | 基于注意力机制的输配电场景点云语义分割模型训练方法 |
| CN116091777A (zh) * | 2023-02-27 | 2023-05-09 | 阿里巴巴达摩院(杭州)科技有限公司 | 点云全景分割及其模型训练方法、电子设备 |
| CN116524197A (zh) * | 2023-06-30 | 2023-08-01 | 厦门微亚智能科技有限公司 | 一种结合边缘点和深度网络的点云分割方法、装置及设备 |
| CN117237643A (zh) * | 2023-11-01 | 2023-12-15 | 重庆数字城市科技有限公司 | 一种点云语义分割方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738673A (zh) * | 2019-10-21 | 2020-01-31 | 哈尔滨理工大学 | 基于实例分割的视觉slam方法 |
| CN112016559A (zh) * | 2020-08-26 | 2020-12-01 | 北京推想科技有限公司 | 实例分割模型的训练方法及装置，图像处理的方法及装置 |
| CN113706486A (zh) * | 2021-08-17 | 2021-11-26 | 西安电子科技大学 | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 |
| CN113902920A (zh) * | 2021-09-27 | 2022-01-07 | 中国地质大学（武汉） | 基于图卷积神经网络的点云特征提取方法及装置 |
| CN114155481A (zh) * | 2021-11-30 | 2022-03-08 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于语义分割的非结构化田间道路场景识别方法及装置 |
-
2022
- 2022-11-25 CN CN202211487275.3A patent/CN115527036A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738673A (zh) * | 2019-10-21 | 2020-01-31 | 哈尔滨理工大学 | 基于实例分割的视觉slam方法 |
| CN112016559A (zh) * | 2020-08-26 | 2020-12-01 | 北京推想科技有限公司 | 实例分割模型的训练方法及装置，图像处理的方法及装置 |
| CN113706486A (zh) * | 2021-08-17 | 2021-11-26 | 西安电子科技大学 | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 |
| CN113902920A (zh) * | 2021-09-27 | 2022-01-07 | 中国地质大学（武汉） | 基于图卷积神经网络的点云特征提取方法及装置 |
| CN114155481A (zh) * | 2021-11-30 | 2022-03-08 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于语义分割的非结构化田间道路场景识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 宋巍 等: "结合动态图卷积和空间注意力的点云分类与分割" * |
| 郝雯 等: "结合空间注意力与形状特征的三维点云语义分割" * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115862013A (zh) * | 2023-02-09 | 2023-03-28 | 南方电网数字电网研究院有限公司 | 基于注意力机制的输配电场景点云语义分割模型训练方法 |
| CN116091777A (zh) * | 2023-02-27 | 2023-05-09 | 阿里巴巴达摩院(杭州)科技有限公司 | 点云全景分割及其模型训练方法、电子设备 |
| CN116524197A (zh) * | 2023-06-30 | 2023-08-01 | 厦门微亚智能科技有限公司 | 一种结合边缘点和深度网络的点云分割方法、装置及设备 |
| CN116524197B (zh) * | 2023-06-30 | 2023-09-29 | 厦门微亚智能科技股份有限公司 | 一种结合边缘点和深度网络的点云分割方法、装置及设备 |
| CN117237643A (zh) * | 2023-11-01 | 2023-12-15 | 重庆数字城市科技有限公司 | 一种点云语义分割方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | A review of deep learning-based semantic segmentation for point cloud | |
| CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
| CN115527036A (zh) | 电网场景点云语义分割方法、装置、计算机设备和介质 | |
| Ping et al. | A deep learning approach for street pothole detection | |
| Gao et al. | Counting from sky: A large-scale data set for remote sensing object counting and a benchmark method | |
| Bai et al. | Sequence searching with CNN features for robust and fast visual place recognition | |
| Çelik et al. | A sigmoid‐optimized encoder–decoder network for crack segmentation with copy‐edit‐paste transfer learning | |
| Li et al. | A GCN-based method for extracting power lines and pylons from airborne LiDAR data | |
| CN113537180B (zh) | 树障的识别方法、装置、计算机设备和存储介质 | |
| Wan et al. | LFRNet: Localizing, focus, and refinement network for salient object detection of surface defects | |
| CN114898357B (zh) | 缺陷识别方法、装置、电子设备及计算机可读存储介质 | |
| Zhang et al. | A graph-voxel joint convolution neural network for ALS point cloud segmentation | |
| CN114387289B (zh) | 输配电架空线路三维点云语义分割方法和装置 | |
| Zhang et al. | JF-YOLO: the jellyfish bloom detector based on deep learning | |
| CN116597267B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| Chen et al. | Plane segmentation for a building roof combining deep learning and the RANSAC method from a 3D point cloud | |
| CN116665054A (zh) | 一种基于改进YOLOv3的遥感影像小目标检测方法 | |
| CN116977265A (zh) | 缺陷检测模型的训练方法、装置、计算机设备和存储介质 | |
| Cao et al. | Understanding 3D point cloud deep neural networks by visualization techniques | |
| Qiao et al. | Revolutionizing building damage detection: A novel weakly supervised approach using high-resolution remote sensing images | |
| Mohammad et al. | Updating of GIS maps with Change Detection of Buildings using Deep Learning techniques | |
| Pei et al. | Improved YOLOv5 for Dense Wildlife Object Detection | |
| CN112861952B (zh) | 一种局部放电图像匹配深度学习方法 | |
| Wei et al. | BuilDiff: 3D Building Shape Generation using Single-Image Conditional Point Cloud Diffusion Models | |
| Jiang et al. | Target‐Aware Deep Feature Compression for Power Intelligent Inspection Tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221227 |
|
| RJ01 | Rejection of invention patent application after publication |