CN114387289A - 输配电架空线路三维点云语义分割方法和装置 - Google Patents

输配电架空线路三维点云语义分割方法和装置 Download PDF

Info

Publication number
CN114387289A
CN114387289A CN202210297570.6A CN202210297570A CN114387289A CN 114387289 A CN114387289 A CN 114387289A CN 202210297570 A CN202210297570 A CN 202210297570A CN 114387289 A CN114387289 A CN 114387289A
Authority
CN
China
Prior art keywords
point cloud
cloud data
processed
data
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210297570.6A
Other languages
English (en)
Other versions
CN114387289B (zh
Inventor
黄文琦
李鹏
周锐烨
曾群生
陈佳捷
梁凌宇
敖榜
姚森敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical Southern Power Grid Digital Grid Research Institute Co Ltd
Priority to CN202210297570.6A priority Critical patent/CN114387289B/zh
Publication of CN114387289A publication Critical patent/CN114387289A/zh
Application granted granted Critical
Publication of CN114387289B publication Critical patent/CN114387289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种输配电架空线路三维点云语义分割方法和装置，所述方法包括：获取待处理点云数据；调用训练完成的场景预测模型对所述待处理点云数据进行识别，得到所述待处理点云数据对应的配电场景和配电场景特征参数；所述配电场景特征参数表征对所述待处理点云数据进行区域划分时的单元区域的大小；根据所述配电场景特征参数，对所述待处理点云数据进行体素化处理，得到所述待处理点云数据对应的体素化数据；调用训练完成的语义分割模型，对所述体素化数据进行语义分割处理，得到所述待处理点云数据的语义分割结果；所述语义分割模型为三维卷积神经网络模型。采用本方法能够提高对配电场景的点云数据进行语义分割的准确性。

Description

输配电架空线路三维点云语义分割方法和装置
技术领域
本申请涉及电网技术领域，特别是涉及一种输配电架空线路三维点云语义分割的方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
点云数据是指在一个三维坐标系统中的一组向量的集合。现有针对点云数据的语义分割方法一般是通过多层感知机（Multilayer Perceptron，MLP）对点云数据进行处理。然而，由于输配电架空线路的配电场景的地理环境十分复杂，不同配电场景的点云信息差异很大，且基于MLP的神经网络的特征提取能力较弱，因此，通过MLP进行点云语义分割的方法难以准确地对配电场景的点云数据进行语义分割。
发明内容
基于此，有必要针对上述点云语义分割的方法难以准确地对配电场景的点云数据进行语义分割的技术问题，提供一种输配电架空线路三维点云语义分割方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种输配电架空线路三维点云语义分割方法。所述方法包括：
获取待处理点云数据；
调用训练完成的场景预测模型对所述待处理点云数据进行识别，得到所述待处理点云数据对应的配电场景和配电场景特征参数；所述配电场景特征参数表征对所述待处理点云数据进行区域划分时的单元区域的大小；
根据所述配电场景特征参数，对所述待处理点云数据进行体素化处理，得到所述待处理点云数据对应的体素化数据；
调用训练完成的语义分割模型，对所述体素化数据进行语义分割处理，得到所述待处理点云数据的语义分割结果；所述语义分割模型为三维卷积神经网络模型。
在其中一个实施例中，所述调用训练完成的场景预测模型对所述待处理点云数据进行识别，得到所述待处理点云数据对应的配电场景和配电场景特征参数，包括：
调用所述训练完成的场景预测模型，将所述待处理点云数据拆分为XYZ空间坐标数据和RGB颜色数据；
基于所述XYZ空间坐标数据与所述RGB颜色数据，得到所述待处理点云数据的特征图；
通过多层感知机模块对所述特征图进行处理，得到所述待处理点云数据对应的配电场景和配电场景特征参数。
在其中一个实施例中，所述场景预测模型通过如下方式训练得到：
获取多个配电场景的样本点云数据；所述样本点云数据具有对应的场景类别标签；
通过待训练场景预测模型对所述样本点云数据进行识别，得到所述样本点云数据属于各所述配电场景的概率，并将概率最大的配电场景确定为预测场景；
基于所述预测场景与所述场景类别标签之间的损失值对所述待训练场景预测模型进行训练，得到所述训练完成的场景预测模型。
在其中一个实施例中，所述根据所述配电场景特征参数，对所述待处理点云数据进行体素化处理，得到所述待处理点云数据对应的体素化数据，包括：
根据所述配电场景特征参数，对所述待处理点云数据进行区域划分，得到多个点云区域；
分别对各所述点云区域进行体素化处理，得到各所述点云区域的体素化数据；
基于各所述点云区域的体素化数据，得到所述待处理点云数据对应的体素化数据。
在其中一个实施例中，所述调用训练完成的语义分割模型，对所述体素化数据进行分割处理，得到所述待处理点云数据的语义分割结果，包括：
通过所述语义分割模型中的卷积层提取所述体素化数据的体素特征；
对所述体素特征进行分类处理，得到所述待处理点云数据对应的点云类别；
基于所述点云类别，对所述待处理点云数据进行语义分割，得到所述语义分割结果。
在其中一个实施例中，在所述基于所述点云类别，对所述待处理点云数据进行语义分割之前，还包括：
对所述体素特征进行上采样处理，得到与所述体素化数据大小相同的采样后体素数据；
对所述采样后体素数据进行反体素化处理，得到反体素化后的点云数据；
所述基于所述点云类别，对所述待处理点云数据进行语义分割，得到所述语义分割结果，包括：
基于所述点云类别，对所述反体素化后的点云数据进行语义分割，得到所述语义分割结果。
第二方面，本申请还提供了一种输配电架空线路三维点云语义分割装置。所述装置包括：
获取模块，用于获取待处理点云数据；
场景预测模块，用于调用训练完成的场景预测模型对所述待处理点云数据进行识别，得到所述待处理点云数据对应的配电场景和配电场景特征参数；所述配电场景特征参数表征对所述待处理点云数据进行区域划分时的单元区域的大小；
体素化模块，用于根据所述配电场景特征参数，对所述待处理点云数据进行体素化处理，得到所述待处理点云数据对应的体素化数据；
语义分割模块，用于调用训练完成的语义分割模型，对所述体素化数据进行语义分割处理，得到所述待处理点云数据的语义分割结果；所述语义分割模型为三维卷积神经网络模型。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待处理点云数据；
调用训练完成的场景预测模型对所述待处理点云数据进行识别，得到所述待处理点云数据对应的配电场景和配电场景特征参数；所述配电场景特征参数表征对所述待处理点云数据进行区域划分时的单元区域的大小；
根据所述配电场景特征参数，对所述待处理点云数据进行体素化处理，得到所述待处理点云数据对应的体素化数据；
调用训练完成的语义分割模型，对所述体素化数据进行语义分割处理，得到所述待处理点云数据的语义分割结果；所述语义分割模型为三维卷积神经网络模型。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待处理点云数据；
调用训练完成的场景预测模型对所述待处理点云数据进行识别，得到所述待处理点云数据对应的配电场景和配电场景特征参数；所述配电场景特征参数表征对所述待处理点云数据进行区域划分时的单元区域的大小；
根据所述配电场景特征参数，对所述待处理点云数据进行体素化处理，得到所述待处理点云数据对应的体素化数据；
调用训练完成的语义分割模型，对所述体素化数据进行语义分割处理，得到所述待处理点云数据的语义分割结果；所述语义分割模型为三维卷积神经网络模型。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取待处理点云数据；
调用训练完成的场景预测模型对所述待处理点云数据进行识别，得到所述待处理点云数据对应的配电场景和配电场景特征参数；所述配电场景特征参数表征对所述待处理点云数据进行区域划分时的单元区域的大小；
根据所述配电场景特征参数，对所述待处理点云数据进行体素化处理，得到所述待处理点云数据对应的体素化数据；
调用训练完成的语义分割模型，对所述体素化数据进行语义分割处理，得到所述待处理点云数据的语义分割结果；所述语义分割模型为三维卷积神经网络模型。
上述输配电架空线路三维点云语义分割方法、装置、计算机设备、存储介质和计算机程序产品，考虑到电网配电场景地理环境十分复杂的特点，一方面引入场景预测模型，通过场景预测模型对配电场景点云进行场景分类，并根据不同场景获得的不同的配电场景特征参数来对点云数据进行体素化，由此降低了对配电场景点云处理的复杂度，解决了点云数据无序性、非结构化的问题，另一方面引入三维卷积神经网络模型作为语义分割模型，基于卷积神经网络的平移不变性和共享卷积核等特性，提高对特征提取的准确性，从而提高语义分割结果的准确性。
附图说明
图1为一个实施例中输配电架空线路三维点云语义分割方法的流程示意图；
图2为一个实施例中场景预测模型的结构示意图；
图3为一个实施例中语义分割模型的结构示意图；
图4为另一个实施例中输配电架空线路三维点云语义分割方法的完整流程示意图；
图5为一个实施例中输配电架空线路三维点云语义分割装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种输配电架空线路三维点云语义分割方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤S110，获取待处理点云数据。
其中，点云数据包括三维坐标XYZ和RGB三通道颜色数据。
具体实现中，可以通过三维激光扫描设备对某一配电区域进行扫描，得到该配电区域的点云数据，作为待处理点云数据。也可以通过采集配电区域的图像，对该图像进行三维重建，得到点云数据。
步骤S120，调用训练完成的场景预测模型对待处理点云数据进行识别，得到待处理点云数据对应的配电场景和配电场景特征参数；配电场景特征参数表征对待处理点云数据进行区域划分时的单元区域的大小。
其中，配电场景可以理解为树林、农田、建筑区和高速公路等场景。
其中，配电场景特征参数可以理解为对待处理点云数据进行体素化处理时的依据。
其中，不同的配电场景具有不同的配电场景特征参数，且各个配电场景的配电场景特征参数之间具有对应的数据关系，例如，树林的配电场景特征参数>农田的配电场景特征参数>建筑区的配电场景特征参数>高速公路的配电场景特征参数。
具体实现中，由于一个配电场景包含的点云数据量可能较多，难以直接进行体素化处理，因此，需要确定待处理点云数据对应的配电场景和该配电场景的配电场景特征参数，以便于根据该配电场景特征参数对待处理点云数据进行体素化处理。
更具体地，可以预先训练一个可用于确定点云数据对应的配电场景的场景预测模型，调用训练完成的场景预测模型对待处理点云数据进行识别，具体可以先将待处理点云数据拆分为XYZ空间坐标数据和RGB颜色数据，基于XYZ空间坐标数据与RGB颜色数据，得到待处理点云数据的特征图，最后通过多层感知机模块对特征图进行处理，得到待处理点云数据对应的配电场景和配电场景特征参数。
步骤S130，根据配电场景特征参数，对待处理点云数据进行体素化处理，得到待处理点云数据对应的体素化数据。
其中，体素是用固定大小的立方块作为最小单元，来表示三维物体的一种数据结构，体素可以理解为粗略版的点云。
具体实现中，配电场景特征参数表征对待处理点云数据进行区域划分时的单元区域的大小，该大小可以用所包含的点云数据的数量来表示。因此，可按照配电场景特征参数，对待处理点云数据进行区域划分，得到多个点云区域，分别对各点云区域进行体素化处理，得到各点云区域的体素化数据，基于各点云区域的体素化数据，得到待处理点云数据对应的体素化数据。其中，每个区域包含的点云数据的数量不超过配电场景特征参数所对应的点云数据的数量。
步骤S140，调用训练完成的语义分割模型，对体素化数据进行语义分割处理，得到待处理点云数据的语义分割结果。
其中，语义分割用于根据点的语义意义将点云划分为多个子集。
具体实现中，语义分割模型可以采用3维卷积神经网络模型（ConvolutionalNeural Networks，CNN），通过样本点云数据预先训练得到语义分割模型，之后调用语义分割模型中的卷积层提取体素化数据的体素特征，对体素特征进行分类处理，得到待处理点云数据对应的点云类别，根据点云类别，对待处理点云数据进行语义分割，得到语义分割结果。
在一示例性实施例中，具体可以通过如下方式训练语义分割模型：获取样本点云数据，该样本点云数据具有对应的点云类别标签，对样本点云数据进行体素化处理，得到样本体素化数据；通过待训练语义分割模型对样本体素化数据进行识别，得到预测点云类别，基于预测点云类别与实际的点云类别标签之间的损失值，对待训练语义分割模型进行训练，得到训练完成的语义分割模型。
其中，语义分割模型的损失函数可以采用交叉熵损失函数，其关系式为：
Figure 608580DEST_PATH_IMAGE002
。
上述输配电架空线路三维点云语义分割方法中，先调用训练完成的场景预测模型对待处理点云数据进行识别，得到待处理点云数据对应的配电场景和配电场景特征参数，之后根据配电场景特征参数，对待处理点云数据进行体素化处理，得到待处理点云数据对应的体素化数据，最后调用训练完成的语义分割模型，对体素化数据进行语义分割处理，得到待处理点云数据的语义分割结果。该方法考虑到电网配电场景地理环境十分复杂的特点，一方面引入场景预测模型，通过场景预测模型对配电场景点云进行场景分类，并根据不同场景获得的不同的配电场景特征参数来对点云数据进行体素化，由此降低了对配电场景点云处理的复杂度，解决了点云数据无序性、非结构化的问题，另一方面引入三维卷积神经网络模型作为语义分割模型，基于卷积神经网络的平移不变性和共享卷积核等特性，提高对特征提取的准确性，从而提高语义分割结果的准确性。
在一示例性实施例中，上述步骤S120具体可以通过以下步骤实现：
步骤S120a，调用训练完成的场景预测模型，将待处理点云数据拆分为XYZ空间坐标数据和RGB颜色数据；
步骤S120b，基于XYZ空间坐标数据与RGB颜色数据，得到待处理点云数据的特征图；
步骤S120c，通过多层感知机模块对特征图进行处理，得到待处理点云数据对应的配电场景和配电场景特征参数。
具体实现中，参考图2，为场景预测模型的模型结构图，在调用场景预测模型对待处理点云数据进行处理时，场景预测模型先将包括XYZRGB六个维度的待处理点云数据拆分为XYZ空间坐标数据和RGB颜色数据，然后通过一个3×3的矩阵对XYZ空间坐标数据进行旋转变换，具体为将XYZ空间坐标数据与该矩阵相乘，得到变换后坐标矩阵，通过变换后坐标矩阵与RGB三通道颜色数据进行拼接，得到特征图，通过4次多层感知机（MLP）对特征图进行处理，得到配电场景特征参数B 1、B 2、B 3、B 4，最后经过softmax分类器对配电场景特征参数B 1、B 2、B 3、B 4进行分类处理，得到待处理点云数据属于各个配电场景的概率，从中选取出概率最大的场景，作为待处理点云数据对应的配电场景，将该配电场景对应的特征参数作为对待处理点云数据进行体素化所依据的配电场景特征参数。
本实施例中，基于电网配电场景地理环境十分复杂的特点，引入场景预测模型，通过场景预测模型对配电场景的点云数据进行场景分类，并根据不同场景获得不同的配电场景特征参数，便于后续根据配电场景特征参数对待处理点云数据进行体素化处理。
在一示例性实施例中，场景预测模型通过如下方式训练得到：
步骤S30，获取多个配电场景的样本点云数据；样本点云数据具有对应的场景类别标签；
步骤S31，通过待训练场景预测模型对样本点云数据进行识别，得到样本点云数据属于各配电场景的概率，并将概率最大的配电场景确定为预测场景；
步骤S32，基于预测场景与场景类别标签之间的损失值对待训练场景预测模型进行训练，得到训练完成的场景预测模型。
具体实现中，可以获取树林、农田、建筑区和高速公路等多个场景的点云数据，并预先对这些点云数据进行标注，得到包含XYZ空间坐标、RGB三通道颜色数据和场景类别标签的样本点云数据。针对任一场景下的任一样本点云数据，将其输入待训练场景预测模型中进行处理，得到该样本点云数据属于各配电场景的概率，并从中确定出概率最大的配电场景，作为待训练场景预测模型对该样本点云数据的预测场景，计算预测场景与该样本点云数据的实际场景类别标签之间的损失值，若该损失值大于预设精度，则调整模型参数，对参数调整后的场景预测模型再次训练，直至得到的损失值达到预设精度，得到训练完成的场景预测模型。
本实施例中，通过多个配电场景的样本点云数据对待训练场景预测模型进行训练，得到训练完成的场景预测模型以便于后续可通过该场景预测模型对待处理点云数据进行识别。
在一示例性实施例中，上述步骤S130具体可以通过以下步骤实现：
步骤S130a，根据配电场景特征参数，对待处理点云数据进行区域划分，得到多个点云区域；
步骤S130b，分别对各点云区域进行体素化处理，得到各点云区域的体素化数据；
步骤S130c，基于各点云区域的体素化数据，得到待处理点云数据对应的体素化数据。
具体实现中，体素化（Voxelization）是将物体的几何形式表示转换成最接近该物体的体素表示形式，产生体数据，包含模型的表面信息和内部属性。由于一个配电场景包含的点云数据量可能较多，难以直接进行体素化处理，因此，需要根据该配电场景特征参数对待处理点云数据进行区域划分，分区域对待处理点云数据进行体素化处理，然后将各点云区域的体素化数据组合，得到待处理点云数据的体素化数据。
本实施例中，通过分区域对待处理点云数据进行体素化处理，可以提高体素化的效率，简化体素化的复杂度。
在一示例性实施例中，上述步骤S140具体可以通过以下步骤实现：
步骤S140a，通过语义分割模型中的卷积层提取体素化数据的体素特征；
步骤S140b，对体素特征进行分类处理，得到待处理点云数据对应的点云类别；
步骤S140c，基于点云类别，对待处理点云数据进行语义分割，得到语义分割结果。
其中，点云类别可包括导线、配电杆塔和植被等类别。
具体实现中，参考图3，为语义分割模型的结构示意图，模型的输入为经过体素化处理后的体素化数据，语义分割模型首先通过3D卷积层提取体素特征，具体可通过2次3D卷积操作得到体素化数据的体素特征，然后对体素特征进行分类处理，得到待处理点云数据的点云类别，进一步可基于点云类别对待处理点云数据进行语义分割，得到对待处理点云数据的语义分割结果。
在一示例性实施例中，在上述步骤S140c之前，还包括：对体素特征进行上采样处理，得到与体素化数据大小相同的采样后体素数据；对采样后体素数据进行反体素化处理，得到反体素化后的点云数据；
步骤S140c，还包括：基于点云类别，对反体素化后的点云数据进行语义分割，得到语义分割结果。
具体地，如图3所示，在得到待处理点云数据的点云类别之前，还需要对2次卷积之后的体素特征进行还原处理，具体可通过上采样单元对体素特征进行上采样处理，以将体素大小恢复至与输入的体素一致，最后通过反体素化处理，将采样后体素数据还原为点云数据，得到包含XYZ空间坐标数据、RGB颜色数据以及点云类别的点云数据。
本实施例中，通过三维卷积神经网络模型作为语义分割模型，基于卷积神经网络的平移不变性和共享卷积核等特性，提高对特征提取的准确性，从而提高语义分割结果的准确性。
在一个实施例中，为了便于本领域技术人员理解本申请实施例，以下将结合附图的具体示例进行说明。参考图4，示出了一种输配电架空线路三维点云语义分割方法的完整流程示意图，包括以下步骤：
（1）点云数据标注：可以获取多个场景的点云数据，对这些点云数据进行分类，区分导线、配电杆塔、植被三个点云类别和树林、农田、建筑区、高速公路四个场景类别，得到包含XYZ空间坐标、RGB三通道颜色数据、点云类别标签和场景类别标签的样本点云数据。
（2）场景预测模型训练：构造如图2所示的场景预测模型，输入为包括XYZRGB六个维度的样本点云数据，首先将输入的样本点云数据拆解为xyz空间坐标数据和rgb三通道颜色数据两部分，其中xyz通过与3*3的矩阵相乘进行旋转变换，然后与rgb拼接为n*6的特征图。然后通过四次MLP操作，得到配电场景特征参数B 1、B 2、B 3、B 4，最后经过softmax分类器，输出大小为4*1场景类别概率class，从中确定出最大概率对应的场景，作为预测场景，基于预测场景与对应的实际的场景类别标签之间的损失值进行模型训练，得到训练完成的场景预测模型。
（3）语义分割模型训练：构造如图3所示的3D卷积神经网络模型，作为语义分割模型，输入为对样本点云数据进行体素化处理后的体素化数据，通过3D卷积层提取体素特征，经过2次卷积之后，通过上采样模块将体素大小恢复至与输入体素一致。最后通过反体素化，输出点云数据，包括xyzrgb六个维度的原始信息和第七个维度的class信息，class包括导线、配电杆塔和植被三个类别，与对应的点云类别标签进行比对，基于输出结果与点云类别标签之间的损失值对待训练语义分割模型进行训练，得到训练完成的语义分割模型。
（4）对待处理点云数据的场景预测：获取待处理点云数据，调用训练完成的场景预测模型对待处理点云数据进行识别，得到待处理点云数据对应的配电场景和配电场景特征参数。
（5）基于配电场景的体素化处理：根据配电场景特征参数，对待处理点云数据进行体素化处理，得到待处理点云数据对应的体素化数据。
（6）对待处理点云数据的语义分割：调用训练完成的语义分割模型，对体素化数据进行语义分割处理，得到待处理点云数据的语义分割结果。
本实施例提供的结合场景理解的电网配电场景的点云体素化语义分割方法，首先通过一个神经网络模型实现电网配电场景的场景预测，区分树林、农田、建筑区、高速公路四个场景。基于场景预测的结果，确定体素化的参数，根据体素化的参数实现电网配电场景点云体素化。最后将电网配电场景体素通过基于二维卷积神经网络2DCNN扩展的三维卷积神经网络3DCNN，实现电网配电场景高精确率点云语义分割。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的输配电架空线路三维点云语义分割方法的输配电架空线路三维点云语义分割装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个输配电架空线路三维点云语义分割装置实施例中的具体限定可以参见上文中对于输配电架空线路三维点云语义分割方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种输配电架空线路三维点云语义分割装置，包括：获取模块510、场景预测模块520、体素化模块530和语义分割模块540，其中：
获取模块510，用于获取待处理点云数据；
场景预测模块520，用于调用训练完成的场景预测模型对待处理点云数据进行识别，得到待处理点云数据对应的配电场景和配电场景特征参数；配电场景特征参数表征对待处理点云数据进行区域划分时的单元区域的大小；
体素化模块530，用于根据配电场景特征参数，对待处理点云数据进行体素化处理，得到待处理点云数据对应的体素化数据；
语义分割模块540，用于调用训练完成的语义分割模型，对体素化数据进行语义分割处理，得到待处理点云数据的语义分割结果；语义分割模型为三维卷积神经网络模型。
在一个实施例中，上述场景预测模块520，具体用于调用训练完成的场景预测模型，将待处理点云数据拆分为XYZ空间坐标数据和RGB颜色数据；基于XYZ空间坐标数据与RGB颜色数据，得到待处理点云数据的特征图；通过多层感知机模块对特征图进行处理，得到待处理点云数据对应的配电场景和配电场景特征参数。
在一个实施例中，上述装置还包括模型训练模块，用于获取多个配电场景的样本点云数据；样本点云数据具有对应的场景类别标签；通过待训练场景预测模型对样本点云数据进行识别，得到样本点云数据属于各配电场景的概率，并将概率最大的配电场景确定为预测场景；基于预测场景与场景类别标签之间的损失值对待训练场景预测模型进行训练，得到训练完成的场景预测模型。
在一个实施例中，上述体素化模块530，具体用于根据配电场景特征参数，对待处理点云数据进行区域划分，得到多个点云区域；分别对各点云区域进行体素化处理，得到各点云区域的体素化数据；基于各点云区域的体素化数据，得到待处理点云数据对应的体素化数据。
在一个实施例中，上述语义分割模块540，具体用于通过语义分割模型中的卷积层提取体素化数据的体素特征；对体素特征进行分类处理，得到待处理点云数据对应的点云类别；基于点云类别，对待处理点云数据进行语义分割，得到语义分割结果。
在一个实施例中，上述语义分割模块540，还用于对体素特征进行上采样处理，得到与体素化数据大小相同的采样后体素数据；对采样后体素数据进行反体素化处理，得到反体素化后的点云数据；基于点云类别，对反体素化后的点云数据进行语义分割，得到语义分割结果。
上述输配电架空线路三维点云语义分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种输配电架空线路三维点云语义分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (9)

1.一种输配电架空线路三维点云语义分割方法，其特征在于，所述方法包括：
获取待处理点云数据；
调用训练完成的场景预测模型对所述待处理点云数据进行识别，得到所述待处理点云数据对应的配电场景和配电场景特征参数；所述配电场景特征参数表征对所述待处理点云数据进行区域划分时的单元区域的大小；
根据所述配电场景特征参数，对所述待处理点云数据进行体素化处理，得到所述待处理点云数据对应的体素化数据；
调用训练完成的语义分割模型，对所述体素化数据进行语义分割处理，得到所述待处理点云数据的语义分割结果；所述语义分割模型为三维卷积神经网络模型。
2.根据权利要求1所述的方法，其特征在于，所述调用训练完成的场景预测模型对所述待处理点云数据进行识别，得到所述待处理点云数据对应的配电场景和配电场景特征参数，包括：
调用所述训练完成的场景预测模型，将所述待处理点云数据拆分为XYZ空间坐标数据和RGB颜色数据；
基于所述XYZ空间坐标数据与所述RGB颜色数据，得到所述待处理点云数据的特征图；
通过多层感知机模块对所述特征图进行处理，得到所述待处理点云数据对应的配电场景和配电场景特征参数。
3.根据权利要求2所述的方法，其特征在于，所述场景预测模型通过如下方式训练得到：
获取多个配电场景的样本点云数据；所述样本点云数据具有对应的场景类别标签；
通过待训练场景预测模型对所述样本点云数据进行识别，得到所述样本点云数据属于各所述配电场景的概率，并将概率最大的配电场景确定为预测场景；
基于所述预测场景与所述场景类别标签之间的损失值对所述待训练场景预测模型进行训练，得到所述训练完成的场景预测模型。
4.根据权利要求1所述的方法，其特征在于，所述根据所述配电场景特征参数，对所述待处理点云数据进行体素化处理，得到所述待处理点云数据对应的体素化数据，包括：
根据所述配电场景特征参数，对所述待处理点云数据进行区域划分，得到多个点云区域；
分别对各所述点云区域进行体素化处理，得到各所述点云区域的体素化数据；
基于各所述点云区域的体素化数据，得到所述待处理点云数据对应的体素化数据。
5.根据权利要求1所述的方法，其特征在于，所述调用训练完成的语义分割模型，对所述体素化数据进行分割处理，得到所述待处理点云数据的语义分割结果，包括：
通过所述语义分割模型中的卷积层提取所述体素化数据的体素特征；
对所述体素特征进行分类处理，得到所述待处理点云数据对应的点云类别；
基于所述点云类别，对所述待处理点云数据进行语义分割，得到所述语义分割结果。
6.根据权利要求5所述的方法，其特征在于，在所述基于所述点云类别，对所述待处理点云数据进行语义分割之前，还包括：
对所述体素特征进行上采样处理，得到与所述体素化数据大小相同的采样后体素数据；
对所述采样后体素数据进行反体素化处理，得到反体素化后的点云数据；
所述基于所述点云类别，对所述待处理点云数据进行语义分割，得到所述语义分割结果，包括：
基于所述点云类别，对所述反体素化后的点云数据进行语义分割，得到所述语义分割结果。
7.一种输配电架空线路三维点云语义分割装置，其特征在于，所述装置包括：
获取模块，用于获取待处理点云数据；
场景预测模块，用于调用训练完成的场景预测模型对所述待处理点云数据进行识别，得到所述待处理点云数据对应的配电场景和配电场景特征参数；所述配电场景特征参数表征对所述待处理点云数据进行区域划分时的单元区域的大小；
体素化模块，用于根据所述配电场景特征参数，对所述待处理点云数据进行体素化处理，得到所述待处理点云数据对应的体素化数据；
语义分割模块，用于调用训练完成的语义分割模型，对所述体素化数据进行语义分割处理，得到所述待处理点云数据的语义分割结果；所述语义分割模型为三维卷积神经网络模型。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
CN202210297570.6A 2022-03-24 2022-03-24 输配电架空线路三维点云语义分割方法和装置 Active CN114387289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210297570.6A CN114387289B (zh) 2022-03-24 2022-03-24 输配电架空线路三维点云语义分割方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210297570.6A CN114387289B (zh) 2022-03-24 2022-03-24 输配电架空线路三维点云语义分割方法和装置

Publications (2)

Publication Number Publication Date
CN114387289A true CN114387289A (zh) 2022-04-22
CN114387289B CN114387289B (zh) 2022-07-29

Family

ID=81204895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210297570.6A Active CN114387289B (zh) 2022-03-24 2022-03-24 输配电架空线路三维点云语义分割方法和装置

Country Status (1)

Country Link
CN (1) CN114387289B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743010A (zh) * 2022-06-13 2022-07-12 山东科技大学 基于深度学习的超高压输电线路点云数据语义分割方法
CN115131562A (zh) * 2022-07-08 2022-09-30 北京百度网讯科技有限公司 三维场景分割方法、模型训练方法、装置和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600622A (zh) * 2016-12-06 2017-04-26 西安电子科技大学 一种基于超体素的点云数据分割方法
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
CN112149677A (zh) * 2020-09-14 2020-12-29 上海眼控科技股份有限公司 一种点云语义分割的方法、装置及设备
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN112348867A (zh) * 2020-11-18 2021-02-09 南通市测绘院有限公司 基于LiDAR点云数据的城市高精度三维地形构建方法及系统
CN112949647A (zh) * 2021-02-26 2021-06-11 中国科学院自动化研究所 三维场景描述方法、装置、电子设备和存储介质
US20210303822A1 (en) * 2020-03-25 2021-09-30 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for posture, dimension and shape measurements of objects in 3d scenes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600622A (zh) * 2016-12-06 2017-04-26 西安电子科技大学 一种基于超体素的点云数据分割方法
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
US20210303822A1 (en) * 2020-03-25 2021-09-30 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for posture, dimension and shape measurements of objects in 3d scenes
CN112149677A (zh) * 2020-09-14 2020-12-29 上海眼控科技股份有限公司 一种点云语义分割的方法、装置及设备
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN112348867A (zh) * 2020-11-18 2021-02-09 南通市测绘院有限公司 基于LiDAR点云数据的城市高精度三维地形构建方法及系统
CN112949647A (zh) * 2021-02-26 2021-06-11 中国科学院自动化研究所 三维场景描述方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王涛 等: "基于深度学习的三维点云语义分割方法研究", 《计算机工程与应用》, 31 December 2021 (2021-12-31), pages 18 - 25 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743010A (zh) * 2022-06-13 2022-07-12 山东科技大学 基于深度学习的超高压输电线路点云数据语义分割方法
CN114743010B (zh) * 2022-06-13 2022-08-26 山东科技大学 基于深度学习的超高压输电线路点云数据语义分割方法
CN115131562A (zh) * 2022-07-08 2022-09-30 北京百度网讯科技有限公司 三维场景分割方法、模型训练方法、装置和电子设备

Also Published As

Publication number Publication date
CN114387289B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
US20210398287A1 (en) Image processing method and image processing device
CN114387289B (zh) 输配电架空线路三维点云语义分割方法和装置
AU2021354030B2 (en) Processing images using self-attention based neural networks
CN113537180B (zh) 树障的识别方法、装置、计算机设备和存储介质
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN110807463B (zh) 图像分割方法、装置、计算机设备和存储介质
CN115082322A (zh) 图像处理方法和装置、图像重建模型的训练方法和装置
Godfrey et al. An adaptable approach for generating vector features from scanned historical thematic maps using image enhancement and remote sensing techniques in a geographic information system
CN114898357A (zh) 缺陷识别方法、装置、电子设备及计算机可读存储介质
CN111639523B (zh) 目标检测方法、装置、计算机设备和存储介质
CN116310308A (zh) 图像分割方法、装置、计算机设备和存储介质
CN116524357A (zh) 高压线路鸟巢检测方法、模型训练方法、装置及设备
CN115223181A (zh) 基于文本检测的报告材料印章文字识别方法和装置
CN116612474B (zh) 对象检测方法、装置、计算机设备及计算机可读存储介质
CN117314756B (zh) 基于遥感图像的验保方法、装置、计算机设备及存储介质
Apellaniz Portos Exploration of learning techniques to improve the spatial resolution of orthoimages
CN117078524A (zh) 图像修复方法、装置、设备、介质和产品
CN114387504A (zh) 一种基于语义分割的配网电缆识别方法及装置
CN117435758A (zh) 图像检索方法、装置、计算机设备及存储介质
CN117670686A (zh) 视频帧增强方法、装置、计算机设备和存储介质
CN114331983A (zh) 划痕检测方法、装置、计算机设备和存储介质
CN115984736A (zh) 输电线路安全预警方法及装置
CN117152428A (zh) 模型训练方法、装置、计算机设备及计算机可读存储介质
CN117237589A (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN115375944A (zh) 确定图像中目标对象资源量的方法、装置、计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant