CN115471832A - 基于三维点云数据的输电线路杆塔塔型识别方法及设备 - Google Patents
基于三维点云数据的输电线路杆塔塔型识别方法及设备 Download PDFInfo
- Publication number
- CN115471832A CN115471832A CN202210908110.2A CN202210908110A CN115471832A CN 115471832 A CN115471832 A CN 115471832A CN 202210908110 A CN202210908110 A CN 202210908110A CN 115471832 A CN115471832 A CN 115471832A
- Authority
- CN
- China
- Prior art keywords
- tower
- point cloud
- transmission line
- power transmission
- dimensional point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000005540 biological transmission Effects 0.000 title claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 230000009467 reduction Effects 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 10
- 238000007689 inspection Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于三维点云数据的输电线路杆塔塔型识别方法及设备。所述方法包括：步骤1：基于杆塔横断方向查找的三维点云到二维特征空间投影，实现数据降维，杆塔激光点云由激光扫描设备获取，或由拍摄的倾斜影像进行三维重建获得；步骤2：采用杆塔投影特征空间的深度学习目标提取方法进行塔形识别。本发明既提高了识别的准确性又加快了检测速度，适用于电力企业的输电线路巡检过程中的杆塔实时目标检测任务中。
Description
技术领域
本发明实施例涉及电力巡检技术领域，尤其涉及一种基于三维点云数据的输电线路杆塔塔型识别方法及设备。
背景技术
当今，输电线路的里程长度每年都在以稳定的速度快速增长，而这些高压电力线路地域覆盖范围非常之广，相当一部分处于经济欠发达地区，地形复杂、环境恶劣，时刻面临着遭受外力破坏的风险。因此，定期组织对电网的巡检是十分必要的。目前的无人机巡检方式仍需要人工识别输电线路走廊环境中的要素，巡检线路仍需要极大的人力成本。输电线路走廊环境以输电线、杆塔以及周围地理环境如地物、地貌等要素为主。就应用方面而言，要提升整个输电线路走廊环境三维建模效率，就必须率先提高输电杆塔的建模效率。因此，开发一种基于三维点云数据的输电线路杆塔塔型识别方法及设备，可以有效克服上述相关技术中的缺陷，就成为业界亟待解决的技术问题。
发明内容
针对现有技术存在的上述问题，本发明实施例提供了一种基于三维点云数据的输电线路杆塔塔型识别方法及设备。
第一方面，本发明的实施例提供了一种基于三维点云数据的输电线路杆塔塔型识别方法，包括：步骤1：基于杆塔横断方向查找的三维点云到二维特征空间投影，实现数据降维，杆塔激光点云由激光扫描设备获取，或由拍摄的倾斜影像进行三维重建获得；步骤2：采用杆塔投影特征空间的深度学习目标提取方法进行塔形识别。
在上述方法实施例内容的基础上，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别方法，步骤1的具体实现包括：通过对杆塔激光点云全局几何分析，基于杆塔结构特征进行主成分的特征分解，实现杆塔横断方向的解算，实现激光点云重定向与杆塔主方向向量的提取；沿着杆塔横断方向进行空间特征投影，实现特征空间的转换，进而完成数据的降维转换。
在上述方法实施例内容的基础上，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别方法，所述实现激光点云重定向与杆塔主方向向量的提取，包括：
其中，(xp,yp,zp)为点云原始坐标，(xp',yp',zp')为重定向后的点云坐标，V(v1,v2)为主成分分析中最小特征值对应的特征向量，θ为归一化坐标转换到杆塔局部坐标系的旋转角度。
在上述方法实施例内容的基础上，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别方法，步骤2的具体实现包括三个子步骤：投影特征图数据预处理、网络模型的构建以及网络模型的训练与验证。
在上述方法实施例内容的基础上，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别方法，所述投影特征图数据预处理，包括：通过自适应锚框计算以及图像自适应缩放，完成杆塔投影特征图的数据预处理，并依据塔型对其进行真值数据标注，完成杆塔识别训练、验证与测试数据集的构建。
在上述方法实施例内容的基础上，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别方法，所述网络模型的构建，包括：采用Global-RegionalTransformer特征提取骨干网，融合全局和局部信息，使用两阶段检测器，建立高效精确的目标检测算法模型，采用训练集数据对此模型进行随机梯度下降训练，获得模型参数。
在上述方法实施例内容的基础上，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别方法，所述网络模型的训练与验证，包括：将待检测杆塔的点云模型输入到提出的检测模型中，在杆塔主方向投影特征空间内实现多类塔型的精确识别。
第二方面，本发明的实施例提供了一种基于三维点云数据的输电线路杆塔塔型识别装置，包括：第一主模块，用于实现步骤1：基于杆塔横断方向查找的三维点云到二维特征空间投影，实现数据降维，杆塔激光点云由激光扫描设备获取，或由拍摄的倾斜影像进行三维重建获得；第二主模块，用于实现步骤2：采用杆塔投影特征空间的深度学习目标提取方法进行塔形识别。
第三方面，本发明的实施例提供了一种电子设备，包括：
至少一个处理器；以及
与处理器通信连接的至少一个存储器，其中：
存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种实现方式中任一种实现方式所提供的基于三维点云数据的输电线路杆塔塔型识别方法。
第四方面，本发明的实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种实现方式中任一种实现方式所提供的基于三维点云数据的输电线路杆塔塔型识别方法。
本发明实施例提供的基于三维点云数据的输电线路杆塔塔型识别方法及设备，既提高了识别的准确性又加快了检测速度，适用于电力企业的输电线路巡检过程中的杆塔实时目标检测任务中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于三维点云数据的输电线路杆塔塔型识别方法流程图；
图2为本发明实施例提供的基于三维点云数据的输电线路杆塔塔型识别装置结构示意图；
图3为本发明实施例提供的电子设备的实体结构示意图；
图4为本发明实施例提供的另一基于三维点云数据的输电线路杆塔塔型识别方法流程图；
图5为本发明实施例提供的GR T-Net网络对输入的二维杆塔投影图进行塔形识别的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明实施例提供了一种基于三维点云数据的输电线路杆塔塔型识别方法，参见图1，该方法包括：步骤1：基于杆塔横断方向查找的三维点云到二维特征空间投影，实现数据降维，杆塔激光点云由激光扫描设备获取，或由拍摄的倾斜影像进行三维重建获得；步骤2：采用杆塔投影特征空间的深度学习目标提取方法进行塔形识别。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别方法，步骤1的具体实现包括：通过对杆塔激光点云全局几何分析，基于杆塔结构特征进行主成分的特征分解，实现杆塔横断方向的解算，实现激光点云重定向与杆塔主方向向量的提取；沿着杆塔横断方向进行空间特征投影，实现特征空间的转换，进而完成数据的降维转换。
具体地，通过无人机载激光雷达获取到的点云数据坐标参考通常为大地坐标系。该坐标系不与杆塔特征坐标系对齐，不利于塔型的目标检测。为了便于在二维平面上对杆塔进行塔型识别，可以使用该方法进行数据降维。利用杆塔点云的横断方向投影为坐标系基准，可显著提高塔型在特征空间中的显著度。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别方法，所述实现激光点云重定向与杆塔主方向向量的提取，包括：
其中，(xp,yp,zp)为点云原始坐标，(xp',yp',zp')为重定向后的点云坐标，V(v1,v2)为主成分分析中最小特征值对应的特征向量，θ为归一化坐标转换到杆塔局部坐标系的旋转角度。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别方法，步骤2的具体实现包括三个子步骤：投影特征图数据预处理、网络模型的构建以及网络模型的训练与验证。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别方法，所述投影特征图数据预处理，包括：通过自适应锚框计算以及图像自适应缩放，完成杆塔投影特征图的数据预处理，并依据塔型对其进行真值数据标注，完成杆塔识别训练、验证与测试数据集的构建。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别方法，所述网络模型的构建，包括：采用Global-Regional Transformer特征提取骨干网，融合全局和局部信息，使用两阶段检测器，建立高效精确的目标检测算法模型，采用训练集数据对此模型进行随机梯度下降训练，获得模型参数。
具体地，采用结合了全局和局部信息优势的Global-Regional Transformer(GRTransformer)为骨干网，结合两阶段检测器构成新的目标检测算法。该算法检测精度高，由于GR Transformer可以同时提取局部窗口信息和全局上下文信息，可对场景中的多种目标特征进行提取和感知，进一步降低了背景误检的概率。此外，GR Transformer本身借鉴CNN网络构建了层次化结构，更能适应不同尺寸目标的检测工作，实现更高的回归和分类精度。本发明采用的数据集均为用无人机激光雷达采集到的不同杆塔线路的点云数据，其对应的塔型与我国现阶段采用的电力杆塔塔型一致，数据量达到3800余级塔，种类包含十余种。表1是GR T-Net杆塔塔型识别精度结果，可见精度显著优于通用目标检测算法，如YOLO等。
表1
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别方法，所述网络模型的训练与验证，包括：将待检测杆塔的点云模型输入到提出的检测模型中，在杆塔主方向投影特征空间内实现多类塔型的精确识别。
本发明实施例提供的基于三维点云数据的输电线路杆塔塔型识别方法，既提高了识别的准确性又加快了检测速度，适用于电力企业的输电线路巡检过程中的杆塔实时目标检测任务中。
在另一实施例中，如图4所示，一种基于三维点云数据的输电线路杆塔塔型识别方法的实现流程为：
首先，通过对杆塔激光点云全局几何分析，基于杆塔结构特征进行主成分的特征分解，实现杆塔横断方向的解算，实现激光点云重定向与杆塔主方向向量的提取。其次，我们沿着横断方向进行投影，实现特征空间的转换，进而完成数据的降维转换；紧接着我们将杆塔主方向投影特征图作为网络输入；最后利用我们提出的GR T-Net网络对输入的二维杆塔投影图进行塔形识别。
所述的基于杆塔横断方向查找的三维点云到二维特征空间投影算法的步骤如下：
(1)设有m条n维数据，将这些数据用向量形式表示，并按列构成矩阵X；
(2)将每一行数据进行零均值化；
(3)求得协方差矩阵
(4)求出C的特征值以及该特征值所对应的特征向量；
(5)将特征向量规范化；
(6)将求出的特征值按从大到小的顺序排列，然后依照特征值的排列顺序将特征向量按行组合成矩阵，并将矩阵的前k行提取出来，作为矩阵P；
(7)Y＝PX即为将原始数据维度降低到k维之后的数据。
如图5所示，基于三维点云数据的输电线路杆塔塔型识别方法，其中GR T-Net网络模型具体细节如下所示，
(1)图像切分(Patch Partition)：由于Transformer结构计算复杂度比较高，在接收图像之前，需要将输入的二维杆塔投影图切分为设定尺寸、互不重叠的N*M个图像块(Patch)，以实现并行地分别对每个图像块进行Transformer操作；
(2)线性编码(Linear Embedding)：在图像块进入Transformer模块之前，需将每个图像块分别线性编码，将图像信息编码成为96维的编码向量；
(3)GR Transformer模块：每个GR Transformer模块包括两个处理流程，首先是接收上一级输出的特征向量，首先利用Regional MSA在设定窗口尺寸内进行多头自注意力(MSA)计算，然后进行层归一化(LN)操作获得的特征向量与原特征向量相加，得到新的特征向量；而后该特征向量经过多层感知网络(MLP)和层归一化后的结果与其本身相加，输入到全局多头注意力(Global MSA)中利用前述窗口的移动固定距离形成新的窗口组合，进行跨窗口计算，后续的模块计算与第一部分流程一致；
(4)块合并(Patch Merging)：将处理后的特征向量中每相邻的n个特征块(c维)进行堆叠操作，得到1个n*c维的特征块，以达到上采样的目的，降低特征图的分辨率；
(5)提取层次化网格特征：在线性编码之后，将4组GR Transformer Block和3个块合并间隔串联起来，其中，每组中的X2/X6分别代表2/6个GR Transformer Block串联，以组成完整的骨干网，以进行特征提取，获得特征图，建立层次化网络特征结构；
(6)层次化特征融合：对后三组GR Transformer Block所产生的特征图先分别经过1*1卷积核进行卷积处理，合并相应特征块的维度信息，并从深层特征开始依次执行上采样和合并(Concat)操作，获得特征信息融合后的多层次特征图；
(7)图像中目标的识别分类：利用多层次特征图结合可生成推荐预选框的RegionProposal Network(RPN)网络进行目标框的生成和筛选，而后通过ROIPooling操作最终生成预测的回归目标框和目标类别的预测结果。
本专利提供了一种基于杆塔横断方向的数据降维，以及杆塔投影特征空间的深度学习目标提取塔形识别方法，在一定程度上既提高了识别的准确性又能加快检测速度，适合应用于电力企业的输电线路巡检过程中的杆塔实时目标检测任务中。
本发明各个实施例的实现基础是通过具有处理器功能的设备进行程序化的处理实现的。因此在工程实际中，可以将本发明各个实施例的技术方案及其功能封装成各种模块。基于这种现实情况，在上述各实施例的基础上，本发明的实施例提供了一种基于三维点云数据的输电线路杆塔塔型识别装置，该装置用于执行上述方法实施例中的基于三维点云数据的输电线路杆塔塔型识别方法。参见图2，该装置包括：第一主模块，用于实现步骤1：基于杆塔横断方向查找的三维点云到二维特征空间投影，实现数据降维，杆塔激光点云由激光扫描设备获取，或由拍摄的倾斜影像进行三维重建获得；第二主模块，用于实现步骤2：采用杆塔投影特征空间的深度学习目标提取方法进行塔形识别。
本发明实施例提供的基于三维点云数据的输电线路杆塔塔型识别装置，采用图2中的若干模块，既提高了识别的准确性又加快了检测速度，适用于电力企业的输电线路巡检过程中的杆塔实时目标检测任务中。
需要说明的是，本发明提供的装置实施例中的装置，除了可以用于实现上述方法实施例中的方法外，还可以用于实现本发明提供的其他方法实施例中的方法，区别仅仅在于设置相应的功能模块，其原理与本发明提供的上述装置实施例的原理基本相同，只要本领域技术人员在上述装置实施例的基础上，参考其他方法实施例中的具体技术方案，通过组合技术特征获得相应的技术手段，以及由这些技术手段构成的技术方案，在保证技术方案具备实用性的前提下，就可以对上述装置实施例中的装置进行改进，从而得到相应的装置类实施例，用于实现其他方法类实施例中的方法。例如：
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别装置，还包括：第一子模块，用于实现步骤1的具体实现包括：通过对杆塔激光点云全局几何分析，基于杆塔结构特征进行主成分的特征分解，实现杆塔横断方向的解算，实现激光点云重定向与杆塔主方向向量的提取；沿着杆塔横断方向进行空间特征投影，实现特征空间的转换，进而完成数据的降维转换。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别装置，还包括：第二子模块，用于实现所述实现激光点云重定向与杆塔主方向向量的提取，包括：
其中，(xp,yp,zp)为点云原始坐标，(xp',yp',zp')为重定向后的点云坐标，V(v1,v2)为主成分分析中最小特征值对应的特征向量，θ为归一化坐标转换到杆塔局部坐标系的旋转角度。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别装置，还包括：第三子模块，用于实现步骤2的具体实现包括三个子步骤：投影特征图数据预处理、网络模型的构建以及网络模型的训练与验证。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别装置，还包括：第四子模块，用于实现所述投影特征图数据预处理，包括：通过自适应锚框计算以及图像自适应缩放，完成杆塔投影特征图的数据预处理，并依据塔型对其进行真值数据标注，完成杆塔识别训练、验证与测试数据集的构建。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别装置，还包括：第五子模块，用于实现所述网络模型的构建，包括：采用Global-Regional Transformer特征提取骨干网，融合全局和局部信息，使用两阶段检测器，建立高效精确的目标检测算法模型，采用训练集数据对此模型进行随机梯度下降训练，获得模型参数。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的基于三维点云数据的输电线路杆塔塔型识别装置，还包括：第六子模块，用于实现所述网络模型的训练与验证，包括：将待检测杆塔的点云模型输入到提出的检测模型中，在杆塔主方向投影特征空间内实现多类塔型的精确识别。
本发明实施例的方法是依托电子设备实现的，因此对相关的电子设备有必要做一下介绍。基于此目的，本发明的实施例提供了一种电子设备，如图3所示，该电子设备包括：至少一个处理器(processor)、通信接口(Communications Interface)、至少一个存储器(memory)和通信总线，其中，至少一个处理器，通信接口，至少一个存储器通过通信总线完成相互间的通信。至少一个处理器可以调用至少一个存储器中的逻辑指令，以执行前述各个方法实施例提供的方法的全部或部分步骤。
此外，上述的至少一个存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个方法实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的一些部分所述的方法。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于这种认识，流程图或框图中的每个方框可以为一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
需要说明的是，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于三维点云数据的输电线路杆塔塔型识别方法，其特征在于，包括：步骤1：基于杆塔横断方向查找的三维点云到二维特征空间投影，实现数据降维，杆塔激光点云由激光扫描设备获取，或由拍摄的倾斜影像进行三维重建获得；步骤2：采用杆塔投影特征空间的深度学习目标提取方法进行塔形识别。
2.根据权利要求1所述的基于三维点云数据的输电线路杆塔塔型识别方法，其特征在于，步骤1的具体实现包括：通过对杆塔激光点云全局几何分析，基于杆塔结构特征进行主成分的特征分解，实现杆塔横断方向的解算，实现激光点云重定向与杆塔主方向向量的提取；沿着杆塔横断方向进行空间特征投影，实现特征空间的转换，进而完成数据的降维转换。
3.根据权利要求2所述的基于三维点云数据的输电线路杆塔塔型识别方法，其特征在于，所述实现激光点云重定向与杆塔主方向向量的提取，包括：
其中，(xp,yp,zp)为点云原始坐标，(xp',yp',zp')为重定向后的点云坐标，V(v1,v2)为主成分分析中最小特征值对应的特征向量，θ为归一化坐标转换到杆塔局部坐标系的旋转角度。
4.根据权利要求3所述的基于三维点云数据的输电线路杆塔塔型识别方法，其特征在于，步骤2的具体实现包括三个子步骤：投影特征图数据预处理、网络模型的构建以及网络模型的训练与验证。
5.根据权利要求4所述的基于三维点云数据的输电线路杆塔塔型识别方法，其特征在于，所述投影特征图数据预处理，包括：通过自适应锚框计算以及图像自适应缩放，完成杆塔投影特征图的数据预处理，并依据塔型对其进行真值数据标注，完成杆塔识别训练、验证与测试数据集的构建。
6.根据权利要求5所述的基于三维点云数据的输电线路杆塔塔型识别方法，其特征在于，所述网络模型的构建，包括：采用Global-Regional Transformer特征提取骨干网，融合全局和局部信息，使用两阶段检测器，建立高效精确的目标检测算法模型，采用训练集数据对此模型进行随机梯度下降训练，获得模型参数。
7.根据权利要求6所述的基于三维点云数据的输电线路杆塔塔型识别方法，其特征在于，所述网络模型的训练与验证，包括：将待检测杆塔的点云模型输入到提出的检测模型中，在杆塔主方向投影特征空间内实现多类塔型的精确识别。
8.一种基于三维点云数据的输电线路杆塔塔型识别装置，其特征在于，包括：第一主模块，用于实现步骤1：基于杆塔横断方向查找的三维点云到二维特征空间投影，实现数据降维，杆塔激光点云由激光扫描设备获取，或由拍摄的倾斜影像进行三维重建获得；第二主模块，用于实现步骤2：采用杆塔投影特征空间的深度学习目标提取方法进行塔形识别。
9.一种电子设备，其特征在于，包括：
至少一个处理器、至少一个存储器和通信接口；其中，
所述处理器、存储器和通信接口相互间进行通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行权利要求1至7任一项权利要求所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至7中任一项权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210908110.2A CN115471832A (zh) | 2022-07-29 | 2022-07-29 | 基于三维点云数据的输电线路杆塔塔型识别方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210908110.2A CN115471832A (zh) | 2022-07-29 | 2022-07-29 | 基于三维点云数据的输电线路杆塔塔型识别方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115471832A true CN115471832A (zh) | 2022-12-13 |
Family
ID=84365882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210908110.2A Pending CN115471832A (zh) | 2022-07-29 | 2022-07-29 | 基于三维点云数据的输电线路杆塔塔型识别方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115471832A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107247916A (zh) * | 2017-04-19 | 2017-10-13 | 广东工业大学 | 一种基于Kinect的三维人脸识别方法 |
| CN108876744A (zh) * | 2018-06-27 | 2018-11-23 | 大连理工大学 | 一种基于区域分割的大尺度点云噪声去噪方法 |
| CN109214994A (zh) * | 2018-08-10 | 2019-01-15 | 河海大学 | 一种基于双控制点的隧道密集点云噪声剔除方法 |
| CN109272524A (zh) * | 2018-08-27 | 2019-01-25 | 大连理工大学 | 一种基于阈值分割的小尺度点云噪声去噪方法 |
| CN109633674A (zh) * | 2018-12-17 | 2019-04-16 | 云南电网有限责任公司带电作业分公司 | 基于激光点云数据的输电巡视三维航迹自动规划方法 |
| CN111830528A (zh) * | 2020-06-29 | 2020-10-27 | 西安交通大学 | 基于激光点云的杆塔特征点自动识别及倾斜参数自动测量方法 |
| CN112132138A (zh) * | 2020-09-21 | 2020-12-25 | 中国科学院合肥物质科学研究院 | 一种基于2d-激光雷达的物料自动识别与定位方法 |
| CN113657124A (zh) * | 2021-07-14 | 2021-11-16 | 内蒙古工业大学 | 基于循环共同注意力Transformer的多模态蒙汉翻译方法 |
-
2022
- 2022-07-29 CN CN202210908110.2A patent/CN115471832A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107247916A (zh) * | 2017-04-19 | 2017-10-13 | 广东工业大学 | 一种基于Kinect的三维人脸识别方法 |
| CN108876744A (zh) * | 2018-06-27 | 2018-11-23 | 大连理工大学 | 一种基于区域分割的大尺度点云噪声去噪方法 |
| CN109214994A (zh) * | 2018-08-10 | 2019-01-15 | 河海大学 | 一种基于双控制点的隧道密集点云噪声剔除方法 |
| CN109272524A (zh) * | 2018-08-27 | 2019-01-25 | 大连理工大学 | 一种基于阈值分割的小尺度点云噪声去噪方法 |
| CN109633674A (zh) * | 2018-12-17 | 2019-04-16 | 云南电网有限责任公司带电作业分公司 | 基于激光点云数据的输电巡视三维航迹自动规划方法 |
| CN111830528A (zh) * | 2020-06-29 | 2020-10-27 | 西安交通大学 | 基于激光点云的杆塔特征点自动识别及倾斜参数自动测量方法 |
| CN112132138A (zh) * | 2020-09-21 | 2020-12-25 | 中国科学院合肥物质科学研究院 | 一种基于2d-激光雷达的物料自动识别与定位方法 |
| CN113657124A (zh) * | 2021-07-14 | 2021-11-16 | 内蒙古工业大学 | 基于循环共同注意力Transformer的多模态蒙汉翻译方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZE LIU 等: "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows", 《2021ICCV》, pages 9992 - 10002 * |
| 吴少龙 等: "架空输电线路杆塔LiDAR点云塔型识别方法", 《测绘科学技术》, vol. 10, no. 3, pages 161 - 172 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108647585B (zh) | 一种基于多尺度循环注意力网络的交通标识符检测方法 | |
| CN110175613B (zh) | 基于多尺度特征和编解码器模型的街景图像语义分割方法 | |
| CN109753885B (zh) | 一种目标检测方法、装置以及行人检测方法、系统 | |
| WO2020046213A1 (en) | A method and apparatus for training a neural network to identify cracks | |
| CN113537180B (zh) | 树障的识别方法、装置、计算机设备和存储介质 | |
| CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
| CN114519819B (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
| CN114612741A (zh) | 缺陷识别模型的训练方法、装置、电子设备及存储介质 | |
| CN116579992A (zh) | 一种用于无人机巡检的小目标螺栓缺陷检测方法 | |
| CN116168246A (zh) | 一种用于铁路工程的弃渣场识别方法、装置、设备及介质 | |
| CN115115863A (zh) | 水面多尺度目标检测方法、装置及系统和存储介质 | |
| Wang et al. | Global perception-based robust parking space detection using a low-cost camera | |
| Gao et al. | SHREC 2023: Point cloud change detection for city scenes | |
| CN114693963A (zh) | 基于电力数据特征提取的识别模型训练、识别方法及装置 | |
| CN114359554A (zh) | 一种基于多感受野上下文语义信息的图像语义分割方法 | |
| CN114218999A (zh) | 一种基于融合图像特征的毫米波雷达目标检测方法及系统 | |
| CN115471832A (zh) | 基于三维点云数据的输电线路杆塔塔型识别方法及设备 | |
| CN115861922A (zh) | 一种稀疏烟火检测方法、装置、计算机设备及存储介质 | |
| CN115937492A (zh) | 一种基于特征识别的变电设备红外图像识别方法 | |
| Hensel et al. | Building Roof Vectorization with PPGNET | |
| CN115018910A (zh) | 点云数据中目标的检测方法、装置和计算机可读存储介质 | |
| Zheng et al. | Multiscale fusion network for rural newly constructed building detection in unmanned aerial vehicle imagery | |
| CN114155524A (zh) | 单阶段3d点云目标检测方法及装置、计算机设备、介质 | |
| Qiao et al. | Revolutionizing building damage detection: A novel weakly supervised approach using high-resolution remote sensing images | |
| CN113870412A (zh) | 一种航空场景图像的处理方法、装置以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |