CN114898221A - 一种杆塔倾斜检测方法、装置、电子设备及介质 - Google Patents

一种杆塔倾斜检测方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN114898221A
CN114898221A CN202210823342.8A CN202210823342A CN114898221A CN 114898221 A CN114898221 A CN 114898221A CN 202210823342 A CN202210823342 A CN 202210823342A CN 114898221 A CN114898221 A CN 114898221A
Authority
CN
China
Prior art keywords
image
detected
tower
preprocessed
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210823342.8A
Other languages
English (en)
Inventor
秦浩
宋彬
涂学峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lingtu Data Hangzhou Co ltd
Original Assignee
Lingtu Data Hangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lingtu Data Hangzhou Co ltd filed Critical Lingtu Data Hangzhou Co ltd
Priority to CN202210823342.8A priority Critical patent/CN114898221A/zh
Publication of CN114898221A publication Critical patent/CN114898221A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，其目的在于提供一种杆塔倾斜检测方法、装置、电子设备及介质。其中的方法包括：构建目标检测模型，并对其进行训练，得到训练后目标检测模型；获取待检测图像；对待检测图像进行预处理，得到预处理后待检测图像；将预处理后待检测图像输入训练后目标检测模型进行检测，得到预处理后待检测图像的定性检测结果；当定性检测结果表征为倾斜杆塔时，对预处理后待检测图像进行轮廓提取处理，得到待检测图像轮廓信息，最后得到待检测图像对应的倾斜角度。本发明的人力物力成本低，同时采用双阶段检测流程，可便于快速获取待检测图像的定性检测结果，检测速度得以提升，适用于大规模架空线路场景使用。

Description

一种杆塔倾斜检测方法、装置、电子设备及介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种杆塔倾斜检测方法、装置、电子设备及介质。
背景技术
当前，在杆塔倾斜检测领域中，主要存在以下检测方法：（1）人工巡检，依靠工作人员巡逻，人眼进行检查发现倾斜的杆塔；然而，人工巡检虽然准确率较高，无需复检，但是成本很高，需要投入大量人力物力。此外，某些场景如高铁线路、山林电网地势复杂，路线遥远，很难全面地进行人力巡检。（2）传统杆塔倾斜监测装置，其主要原理大多是将倾斜传感器、GPS (Global Positioning System，全球定位系统)以及无线通信模块等设备部署在杆塔上，通过传感器来判断杆塔的角度变化进而确定是否倾斜，然后将信号发送给无线传输模块，提醒操作人员维修；然而，传统的杆塔倾斜监测装置中，需要为每一个杆塔安装倾斜监测装置，特别是在环境极端、施工难度较大的场景中，会消耗大量的人力物力，此外，若存在设备出现故障的问题，排查和检修每个杆塔上的装置的工作量较大。
深度学习的发展解决了传统特征提取的困难，在图像分类、目标检测等领域取得了显著效果。为解决上述传统人工巡检及基于监测装置进行杆塔检测的现有技术中，人力物力成本高的问题，目前已出现基于深度学习进行倾斜检测的方法。基于深度学习的倾斜检测技术通过大量倾斜图像的训练，其能够自动提取图像的特征，并对倾斜的杆塔进行定位。但是采用深度学习进行杆塔倾斜检测需要大量的数据进行训练，而工业采集数据成本较高，且杆塔倾斜的场景较少。
现有技术中，公开号为CN110245644A的中国专利已公开一种基于深度学习的无人机图像输电杆塔倒伏识别的方法，在实施过程中，首先制作训练数据集和验证数据集，数据集包括两种类别的无人机图像，分别是不同背景下的直立杆塔以及倒伏杆塔；然后建立深度学习模型，分别以ResNet（残差网络）为基础的Faster R-CNN网络和以Darknet-53（Yolov3网络的主干网络）为基础的Yolov3网络作为深度学习目标检测的基础网络结构；接着进行数据增强，并对深度学习模型进行训练，再固化与测试检测模型，并进行模型融合，最后利用融合后的模型对杆塔图像进行识别。该现有技术通过利用深度学习目标检测方法，实现了巡检过程中对输电杆塔的识别及故障检测。
但是，在使用现有技术过程中，发明人发现现有技术中至少存在如下问题：
上述现有技术主要通过两种深度学习模型共同实现杆塔倾斜的定性检测，在实施过程中，需要对两种传统的目标检测模型进行训练和融合，导致其网络架构庞大，网络参数多，模型占用内存多，且两种模型结合的方式会产生冗余结构导致训练时间长，检测速度慢等问题。
发明内容
本发明旨在至少在一定程度上解决上述技术问题，本发明提供了一种杆塔倾斜检测方法、装置、电子设备及介质。
本发明采用的技术方案是：
第一方面，本发明提供了一种杆塔倾斜检测方法，包括：
构建目标检测模型，并对其进行训练，得到训练后目标检测模型；
获取待检测图像；
对所述待检测图像进行预处理，得到预处理后待检测图像；
将所述预处理后待检测图像输入所述训练后目标检测模型进行检测，得到所述预处理后待检测图像的定性检测结果，所述定性检测结果表征为正常杆塔或倾斜杆塔；
当所述定性检测结果表征为倾斜杆塔时，对所述预处理后待检测图像进行轮廓提取处理，得到待检测图像轮廓信息；
获取所述待检测图像轮廓信息的顶端中心坐标和底端中心坐标，并根据所述待检测图像轮廓信息的顶端中心坐标和底端中心坐标，得到所述待检测图像对应的倾斜角度。
本发明进行杆塔倾斜检测的人力物力成本低，同时采用双阶段检测流程，可便于快速获取待检测图像的定性检测结果，检测速度得以提升，还可获取倾斜杆塔对应的倾斜角度，适用于大规模架空线路场景使用。具体地，本发明在获取待检测图像后，将所述预处理后待检测图像输入目标检测模型进行检测，得到所述预处理后待检测图像的定性检测结果，并可在定性检测结果为倾斜杆塔时，获取其倾斜角度，可便于用户在不需要得到具体倾斜角度的场景时，仅获取定性检测结果，用户体验更好，同时由于采用深度学习进行杆塔倾斜检测，可有效降低人力物力成本。
在一个可能的设计中，对所述待检测图像进行预处理，得到预处理后待检测图像，包括：
获取所述待检测图像的中心点坐标(x,y)、长度w和高度h；
截取所述待检测图像中，横向距离中心点大于指定长度的图像，得到预处理后待检测图像。
在一个可能的设计中，所述待检测图像对应的倾斜角度为：
θ=arctan((y t -y b )/(x t -x b ))；
其中，(x t ,y t )为所述待检测图像轮廓信息的顶端中心坐标，(x b ,y b )为所述待检测图像轮廓信息的底端中心坐标。
在一个可能的设计中，构建目标检测模型，并对其进行训练，得到训练后目标检测模型，包括：
获取杆塔图像；
对所述杆塔图像进行预处理，得到预处理后杆塔图像；
对所述预处理后杆塔图像进行标注，得到包括杆塔类别数据及图像尺寸数据的标注后杆塔图像；
根据所述标注后杆塔图像构建杆塔训练集；
建立基于Transformer的DETR目标检测模型，并根据所述塔训练集对所述DETR目标检测模型进行训练，得到训练后目标检测模型。
在一个可能的设计中，对所述杆塔图像进行预处理，得到预处理后杆塔图像，包括：
对所述杆塔图像进行随机翻转，得到翻转后杆塔图像；
对所述翻转后杆塔图像叠加高斯白噪音，得到加噪后杆塔图像；
对所述加噪后杆塔图像进行缩放，得到预处理后杆塔图像。
在一个可能的设计中，所述DETR目标检测模型包括依次连接的骨干网络、编码器、解码器及结果输出模块，所述结果输出模块包括类别分类器和位置分类器。
在一个可能的设计中，将所述预处理后待检测图像输入所述训练后目标检测模型进行检测，得到所述预处理后待检测图像的定性检测结果，包括：
将所述预处理后待检测图像输入所述骨干网络，以便所述骨干网络对所述预处理后待检测图像进行图像表层特征提取处理，得到所述预处理后待检测图像的表层特征向量；
获取所述预处理后待检测图像的位置编码向量；
将所述表层特征向量与所述位置编码向量输入所述编码器，以便所述编码器提取所述预处理后待检测图像的语义特征并对所述语义特征进行编码，得到所述预处理后待检测图像的编码后语义特征；
获取所述位置编码向量对应的目标查询向量；
将所述编码后语义特征、所述位置编码向量及所述目标查询向量输入所述解码器进行处理，以便所述解码器对所述编码后语义特征进行解码并进行目标预测，得到解码结果；
将所述解码结果输入所述结果输出模块进行计算，得到所述预处理后待检测图像的定性检测结果，所述定性检测结果包括所述预处理后待检测图像的中待检测目标的位置数据和类别数据。
第二方面，本发明提供了一种杆塔倾斜检测装置，用于实现如上述任一项所述的杆塔倾斜检测方法；所述杆塔倾斜检测装置包括：
图像获取模块，用于获取待检测图像；
图像预处理模块，与所述图像获取模块通信连接，用于对所述待检测图像进行预处理，得到预处理后待检测图像；
第一阶段图像检测模块，与所述图像预处理模块通信连接，用于将所述预处理后待检测图像输入训练后目标检测模型进行检测，得到所述预处理后待检测图像的定性检测结果，所述定性检测结果表征为正常杆塔或倾斜杆塔；其中，所述训练后目标检测模型预先构建并对其进行训练得到；
第二阶段图像检测模块，与所述第一阶段图像检测模块通信连接，用于在所述定性检测结果表征为倾斜杆塔时，对所述预处理后待检测图像进行轮廓提取处理，得到待检测图像轮廓信息；还用于获取所述待检测图像轮廓信息的顶端中心坐标和底端中心坐标，并根据所述待检测图像轮廓信息的顶端中心坐标和底端中心坐标，得到所述待检测图像对应的倾斜角度。
第三方面，本发明提供了一种电子设备，包括：
存储器，用于存储计算机程序指令；以及，
处理器，用于执行所述计算机程序指令从而完成如上述任一项所述的杆塔倾斜检测方法的操作。
第四方面，本发明提供了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行如上述任一项所述的杆塔倾斜检测方法的操作。
附图说明
图1是本发明中一种杆塔倾斜检测方法的流程图；
图2是本发明中DETR目标检测模型的模块框图；
图3是本发明中待检测图像的结构示意图；
图4是图2所示结构的具体模块框图；
图5是本发明中待检测图像轮廓信息的结构示意图；
图6是本发明中一种杆塔倾斜检测装置的模块框图。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况。
应当理解，还应当注意到在一些备选实施例中，所出现的功能/动作可能与附图出现的顺序不同。例如，取决于所涉及的功能/动作，实际上可以实质上并发地执行，或者有时可以以相反的顺序来执行连续示出的两个图。
实施例1：
本实施例第一方面提供了一种杆塔倾斜检测方法，可以但不限于由具有一定计算资源的计算机设备或虚拟机执行，例如由个人计算机、智能手机、个人数字助理或可穿戴设备等电子设备执行，或者由虚拟机执行，以便降低杆塔检测的人力物力成本，同时便于提升检测速度。
如图1所示，一种杆塔倾斜检测方法，可以但不限于包括有如下步骤：
S1.构建目标检测模型，并对其进行训练，得到训练后目标检测模型；
本实施例中，构建目标检测模型，并对其进行训练，得到训练后目标检测模型，包括：
S101.获取杆塔图像；
S102.对所述杆塔图像进行预处理，得到预处理后杆塔图像；本实施例中，初始的杆塔图像可为正常杆塔数据，通过使用正常杆塔数据和进行数据增强后的倾斜杆塔图像构建数量平衡的数据集，即正常电塔数据量和倾斜电塔的数据量大致相同，正常电线杆数据量和倾斜电线杆的数据量大致相同。
具体地，对所述杆塔图像进行预处理，得到预处理后杆塔图像，包括：
S1021.对所述杆塔图像进行随机翻转，得到翻转后杆塔图像；
S1022.对所述翻转后杆塔图像叠加高斯白噪音，得到加噪后杆塔图像；
S1023.对所述加噪后杆塔图像进行缩放，得到预处理后杆塔图像。本实施例中，缩放比例为0.7或1.2等，根据图像的大小进行设置，此处不予限制。
本实施例中，预处理可以但不仅限于包括随机翻转、叠加高斯白噪音、缩放等，以便于对杆塔图像的数量进行扩充。具体地，在进行预处理时，可先以一定概率抽取杆塔图像，然后对抽取的图像进行预处理。
S103.对所述预处理后杆塔图像进行标注，得到包括杆塔类别数据及图像尺寸数据的标注后杆塔图像；本实施例中，图像尺寸数据包括所述预处理后杆塔图像的左下角位置坐标及右下角位置坐标，应当理解的是，根据所述预处理后杆塔图像的左下角位置坐标及右下角位置坐标即可得到图像尺寸数据；
S104.根据所述标注后杆塔图像构建杆塔训练集及杆塔测试集；
S105.建立基于Transformer（一种神经网络）的DETR（Detection Transformer，基于Transformer的端到端目标检测网络）目标检测模型，并根据所述塔训练集对所述DETR目标检测模型进行训练，得到训练后目标检测模型。具体地，训练阶段持续150次迭代，学习率为0.01，batch size（单次传递给程序用以训练的参数个数）为32，保存训练好的模型权重，用于后续的测试，测试时，根据杆塔测试集进行测试。需要说明的是，本实施例中的目标检测模型也可以采用如YOLOX（旷视开源的检测器）、Deformable DETR为基础的目标检测模型，以便达到更高的倾斜检测精度和速度。
如图2所示，所述DETR目标检测模型包括依次连接的骨干网络、Transformer编码器、Transformer解码器及结果输出模块，所述结果输出模块包括类别分类器和位置分类器。
S2.获取待检测图像；本实施例中，待检测图像为特定架空线路场景下拍摄的高分辨率待检测图像；
S3.对所述待检测图像进行预处理，得到预处理后待检测图像；
具体地，对所述待检测图像进行预处理，得到预处理后待检测图像，包括：
S301.获取所述待检测图像的中心点坐标(x,y)、长度w和高度h；
S302.截取所述待检测图像中，横向距离中心点大于指定长度（1/3w）的图像，得到预处理后待检测图像。如图3所示，按照中心点的位置，保留距离中心点左右各1/3w的图像，截取掉两边超过中心点1/3w的阴影部分，得到预处理后待检测图像，由此可消除不可避免的俯拍或仰拍导致的画面畸变，减少对画面畸变对检测结果的影响。具体地，本实施例中可以但不仅限于采用openCV（一开源的跨平台计算机视觉和机器学习软件库）图像处理算法对所述待检测图像进行预处理。
S4.将所述预处理后待检测图像输入所述训练后目标检测模型进行检测，得到所述预处理后待检测图像的定性检测结果，所述定性检测结果表征为正常杆塔或倾斜杆塔；具体地，定性检测结果为：{[cls_idx, x, y, w, h, save_conf], …, [cls_idx, x,y,w, h, save_conf]}；其中，x代表所述待检测图像的中心点横坐标，y代表所述待检测图像的中心点纵坐标；w代表所述待检测图像的长度；h代表检测框的高度；x、y、w和h为对应的类别数据，即根据x、y、w和h确定所述定性检测结果包括所述预处理后待检测图像的中待检测目标的位置；cls_idx代表检测框所属的类别，当cls_idx为0时代表正常电塔，当cls_idx为1时代表倾斜电杆，当cls_idx为2时代表倾斜电塔，当cls_idx为4时代表正常电杆，cls_idx为对应的类别数据，即根据cls_idx可确定所述定性检测结果包括所述预处理后待检测图像的中待检测目标的类别；save_conf代表所述待检测图像的置信度。
具体地，将所述预处理后待检测图像输入所述训练后目标检测模型进行检测，得到所述预处理后待检测图像的定性检测结果，包括：
S401.将所述预处理后待检测图像输入所述骨干网络，以便所述骨干网络对所述预处理后待检测图像进行图像表层特征提取处理，得到所述预处理后待检测图像的表层特征向量；需要说明的是，骨干网络可以是ResNet50、ResNet101或者是Swin-T等特征提取结构，此处不予限制。
S402.获取所述预处理后待检测图像的位置编码向量；需要说明的是，所述位置编码向量通过指定编码模块根据所述表层特征向量计算得到，该指定编码模块使用正、余弦编码的方式，其在所述表层特征向量的偶数位置使用sin函数编码，在其奇数位置使用cos函数编码。对于所述表层特征向量
Figure 926205DEST_PATH_IMAGE001
，相应的位置编码向量表示为
Figure 561454DEST_PATH_IMAGE002
。对于所述待检测图像的位置(h,w)，前d/2维表示高度方向的位置编码向量，后d/2维表示长度方向的位置编码向量，此处设置d/2=128，i表示位置编码的维度，pos表示长度或高度，则具体的空间位置编码向量的公式如下：
Figure 544454DEST_PATH_IMAGE003
。
S403.将所述表层特征向量与所述位置编码向量输入所述Transformer编码器，以便所述Transformer编码器提取所述预处理后待检测图像的语义特征并对所述语义特征进行编码，得到所述预处理后待检测图像的编码后语义特征；需要说明的是，如图4所示，本实施例中的Transformer编码器由6个编码模块堆叠而成，每个编码模块包含自注意力机制和残差网络结构。这种编码器具有全局感受野，对整张图片的上下文关系进行建模，在保证模型结构简洁的同时，对较大目标的检测精度更高，因而能够有效的提高本场景下检测倾斜杆塔的准确度。
S404.获取所述位置编码向量对应的目标查询向量；需要说明的是，目标查询向量是与位置编码向量尺寸相同的全零编码向量，其为一个随机初始化的可学习向量，其大小就是可预测的最多图像数量，通常设为100，其本质上相当于解码器在并行解码100个目标。
S405.将所述编码后语义特征、所述位置编码向量及所述目标查询向量输入所述Transformer解码器进行处理，以便所述Transformer解码器对所述编码后语义特征进行解码并进行目标预测，得到解码结果；本实施例中的Transformer解码器由6个解码模块堆叠而成，每个解码模块包含自注意力机制和多头交叉注意力机制等结构。
S406.将所述解码结果输入所述结果输出模块进行计算，得到所述预处理后待检测图像的定性检测结果，所述定性检测结果包括所述预处理后待检测图像的中待检测目标的位置数据和类别数据。具体地，本实施例中，类别分类器和位置分类器采用FFN（Feedforward Neural Network，前馈神经网络）实现，所述结果输出模块利用匈牙利算法进行二分匹配，按照损失最小的原则选择最匹配的目标，以便得到所述预处理后待检测图像的定性检测结果。
需要说明的是，相比于传统的基于CNN的目标检测模型来说，Transformer并不具备天然的局部性和平移等价性优势，但是其核心的self-attention操作可以获得大范围的全局信息，对于图像的信息提取范围具有明显的优势。相比于CNN通过不断的堆积卷积层来获得更大的感受野，Transformer的结构更加简洁有效。此外，与传统模型相比，本申请中的DETR目标检测模型是一个完全地端到端框架，有效地消除了许多额外小模块的需求，例如非极大值抑制、锚框生成等。
S5.当所述定性检测结果表征为倾斜杆塔时，对所述预处理后待检测图像进行轮廓提取处理，得到待检测图像轮廓信息；需要说明的是，进行轮廓提取处理前，还可先对预处理后图像进行剪裁处理，以滤除预处理后待检测图像的背景图像，减少背景图像对后续检测带来的影响。
需要说明的是，图像边缘的像素变化特点保证了边缘检测算法的可行性。由于图像的边缘就是图像中灰度值发生空间突变的像素的集合，沿着与边缘平行的方向，像素值的变化幅度较为平缓，而沿着与边缘垂直的方向，像素值的变化幅度比较大，因此通过对灰度值求导能够实现边缘的确定。具体地，本实施例中，对所述预处理后待检测图像进行轮廓提取处理，得到待检测图像轮廓信息，包括：计算所述预处理后待检测图像的sobel梯度，并对sobel梯度进行非极大值抑制，最后使用双阈值算法检测和连接边缘数据，即可得到所述预处理后待检测图像对应的待检测图像轮廓信息。本实施例中，可以但不仅限于采用Otsu图像二值化处理、canny边缘检测处理、图像灰度化处理以及Hough霍夫直线检测处理等图像处理算法。
S6.获取所述待检测图像轮廓信息的顶端中心坐标和底端中心坐标，并根据所述待检测图像轮廓信息的顶端中心坐标和底端中心坐标，得到所述待检测图像对应的倾斜角度。
具体地，当待检测图像轮廓信息为电线杆时，可将其抽象为圆柱体，如图5所示；当待检测图像轮廓信息为电线塔时，可将其抽象成圆锥体。
本实施例中，所述待检测图像对应的倾斜角度为：
θ=arctan((y t -y b )/(x t -x b ))；
其中，(x t ,y t )为所述待检测图像轮廓信息的顶端中心坐标，相应的，x t 为待检测图像轮廓信息的顶端中心坐标的横坐标，y t 为待检测图像轮廓信息的顶端中心坐标的纵坐标；(x b ,y b )为所述待检测图像轮廓信息的底端中心坐标，相应的，x b 为待检测图像轮廓信息的底端中心坐标的横坐标，y b 为待检测图像轮廓信息的底端中心坐标的纵坐标。
本实施例进行杆塔倾斜检测的人力物力成本低，同时采用双阶段检测流程，可便于快速获取待检测图像的定性检测结果，检测速度得以提升，还可获取倾斜杆塔对应的倾斜角度，适用于待检测杆塔数目较多的大规模架空线路场景使用，如煤矿架空电力线路、通讯线路、以及不良地质区的高压输电线路等场景。具体地，本实施例在获取待检测图像后，将所述预处理后待检测图像输入目标检测模型进行检测，得到所述预处理后待检测图像的定性检测结果，并可在定性检测结果为倾斜杆塔时，获取其倾斜角度，可便于用户在不需要得到具体倾斜角度的场景时，仅获取定性检测结果，用户体验更好，同时由于采用深度学习进行杆塔倾斜检测，可有效降低人力物力成本。
此外，本实施通过例使用DETR目标检测模型，检测精度高于现有技术中Faster R-CNN网络和Yolov3网络结合的目标检测模型。
实施例2：
本实施例提供一种杆塔倾斜检测装置，用于实现实施例1中杆塔倾斜检测方法；如图6所示所述杆塔倾斜检测装置包括：
图像获取模块，用于获取待检测图像；
图像预处理模块，与所述图像获取模块通信连接，用于对所述待检测图像进行预处理，得到预处理后待检测图像；
第一阶段图像检测模块，与所述图像预处理模块通信连接，用于将所述预处理后待检测图像输入训练后目标检测模型进行检测，得到所述预处理后待检测图像的定性检测结果，所述定性检测结果表征为正常杆塔或倾斜杆塔；其中，所述训练后目标检测模型预先构建并对其进行训练得到；
第二阶段图像检测模块，与所述第一阶段图像检测模块通信连接，用于在所述定性检测结果表征为倾斜杆塔时，对所述预处理后待检测图像进行轮廓提取处理，得到待检测图像轮廓信息；还用于获取所述待检测图像轮廓信息的顶端中心坐标和底端中心坐标，并根据所述待检测图像轮廓信息的顶端中心坐标和底端中心坐标，得到所述待检测图像对应的倾斜角度。
实施例3：
在实施例1或2的基础上，本实施例公开了一种电子设备，该设备可以是智能手机、平板电脑、笔记本电脑或者台式电脑等。电子设备可能被称为用于终端、便携式终端、台式终端等，电子设备包括：
存储器，用于存储计算机程序指令；以及，
处理器，用于执行所述计算机程序指令从而完成如实施例1中任一所述的杆塔倾斜检测方法的操作。
实施例4：
在实施例1至3任一项实施例的基础上，本实施例公开了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行如实施例1所述的杆塔倾斜检测方法的操作。
需要说明的是，所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
最后应说明的是，本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (10)

1.一种杆塔倾斜检测方法，其特征在于：包括：
构建目标检测模型，并对其进行训练，得到训练后目标检测模型；
获取待检测图像；
对所述待检测图像进行预处理，得到预处理后待检测图像；
将所述预处理后待检测图像输入所述训练后目标检测模型进行检测，得到所述预处理后待检测图像的定性检测结果，所述定性检测结果表征为正常杆塔或倾斜杆塔；
当所述定性检测结果表征为倾斜杆塔时，对所述预处理后待检测图像进行轮廓提取处理，得到待检测图像轮廓信息；
获取所述待检测图像轮廓信息的顶端中心坐标和底端中心坐标，并根据所述待检测图像轮廓信息的顶端中心坐标和底端中心坐标，得到所述待检测图像对应的倾斜角度。
2.根据权利要求1所述的一种杆塔倾斜检测方法，其特征在于：对所述待检测图像进行预处理，得到预处理后待检测图像，包括：
获取所述待检测图像的中心点坐标(x,y)、长度w和高度h；
截取所述待检测图像中，横向距离中心点大于指定长度的图像，得到预处理后待检测图像。
3.根据权利要求1所述的一种杆塔倾斜检测方法，其特征在于：所述待检测图像对应的倾斜角度为：
θ=arctan((y t -y b )/(x t -x b ))；
其中，(x t ,y t )为所述待检测图像轮廓信息的顶端中心坐标，(x b ,y b )为所述待检测图像轮廓信息的底端中心坐标。
4.根据权利要求1所述的一种杆塔倾斜检测方法，其特征在于：构建目标检测模型，并对其进行训练，得到训练后目标检测模型，包括：
获取杆塔图像；
对所述杆塔图像进行预处理，得到预处理后杆塔图像；
对所述预处理后杆塔图像进行标注，得到包括杆塔类别数据及图像尺寸数据的标注后杆塔图像；
根据所述标注后杆塔图像构建杆塔训练集；
建立基于Transformer的DETR目标检测模型，并根据所述塔训练集对所述DETR目标检测模型进行训练，得到训练后目标检测模型。
5.根据权利要求4所述的一种杆塔倾斜检测方法，其特征在于：对所述杆塔图像进行预处理，得到预处理后杆塔图像，包括：
对所述杆塔图像进行随机翻转，得到翻转后杆塔图像；
对所述翻转后杆塔图像叠加高斯白噪音，得到加噪后杆塔图像；
对所述加噪后杆塔图像进行缩放，得到预处理后杆塔图像。
6.根据权利要求4所述的一种杆塔倾斜检测方法，其特征在于：所述DETR目标检测模型包括依次连接的骨干网络、编码器、解码器及结果输出模块，所述结果输出模块包括类别分类器和位置分类器。
7.根据权利要求6所述的一种杆塔倾斜检测方法，其特征在于：将所述预处理后待检测图像输入所述训练后目标检测模型进行检测，得到所述预处理后待检测图像的定性检测结果，包括：
将所述预处理后待检测图像输入所述骨干网络，以便所述骨干网络对所述预处理后待检测图像进行图像表层特征提取处理，得到所述预处理后待检测图像的表层特征向量；
获取所述预处理后待检测图像的位置编码向量；
将所述表层特征向量与所述位置编码向量输入所述编码器，以便所述编码器提取所述预处理后待检测图像的语义特征并对所述语义特征进行编码，得到所述预处理后待检测图像的编码后语义特征；
获取所述位置编码向量对应的目标查询向量；
将所述编码后语义特征、所述位置编码向量及所述目标查询向量输入所述解码器进行处理，以便所述解码器对所述编码后语义特征进行解码并进行目标预测，得到解码结果；
将所述解码结果输入所述结果输出模块进行计算，得到所述预处理后待检测图像的定性检测结果，所述定性检测结果包括所述预处理后待检测图像的中待检测目标的位置数据和类别数据。
8.一种杆塔倾斜检测装置，其特征在于：用于实现如权利要求1至7中任一项所述的杆塔倾斜检测方法；所述杆塔倾斜检测装置包括：
图像获取模块，用于获取待检测图像；
图像预处理模块，与所述图像获取模块通信连接，用于对所述待检测图像进行预处理，得到预处理后待检测图像；
第一阶段图像检测模块，与所述图像预处理模块通信连接，用于将所述预处理后待检测图像输入训练后目标检测模型进行检测，得到所述预处理后待检测图像的定性检测结果，所述定性检测结果表征为正常杆塔或倾斜杆塔；其中，所述训练后目标检测模型预先构建并对其进行训练得到；
第二阶段图像检测模块，与所述第一阶段图像检测模块通信连接，用于在所述定性检测结果表征为倾斜杆塔时，对所述预处理后待检测图像进行轮廓提取处理，得到待检测图像轮廓信息；还用于获取所述待检测图像轮廓信息的顶端中心坐标和底端中心坐标，并根据所述待检测图像轮廓信息的顶端中心坐标和底端中心坐标，得到所述待检测图像对应的倾斜角度。
9.一种电子设备，其特征在于：包括：
存储器，用于存储计算机程序指令；以及，
处理器，用于执行所述计算机程序指令从而完成如权利要求1至7中任一项所述的杆塔倾斜检测方法的操作。
10.一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，其特征在于：所述计算机程序指令被配置为运行时执行如权利要求1至7中任一项所述的杆塔倾斜检测方法的操作。
CN202210823342.8A 2022-07-14 2022-07-14 一种杆塔倾斜检测方法、装置、电子设备及介质 Pending CN114898221A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210823342.8A CN114898221A (zh) 2022-07-14 2022-07-14 一种杆塔倾斜检测方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210823342.8A CN114898221A (zh) 2022-07-14 2022-07-14 一种杆塔倾斜检测方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN114898221A true CN114898221A (zh) 2022-08-12

Family

ID=82730388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210823342.8A Pending CN114898221A (zh) 2022-07-14 2022-07-14 一种杆塔倾斜检测方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN114898221A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117191821A (zh) * 2023-11-03 2023-12-08 山东宇影光学仪器有限公司 一种基于Deformable-DAB-DETR的高透光菲涅尔透镜实时检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296694A (zh) * 2016-08-13 2017-01-04 哈尔滨理工大学 杆塔倾斜智能图像辨识测量方法
CN109410190A (zh) * 2018-10-15 2019-03-01 广东电网有限责任公司 基于高分辨率遥感卫星影像的杆塔倒断检测模型训练方法
CN110245644A (zh) * 2019-06-22 2019-09-17 福州大学 一种基于深度学习的无人机图像输电杆塔倒伏识别的方法
CN110929646A (zh) * 2019-11-22 2020-03-27 国网福建省电力有限公司 一种基于无人机航拍图像的配电杆塔倒断信息快速识别方法
CN111598889A (zh) * 2020-05-26 2020-08-28 南方电网数字电网研究院有限公司 均压环倾斜故障的识别方法、装置、计算机设备
CN111738259A (zh) * 2020-06-29 2020-10-02 广东电网有限责任公司 一种杆塔状态检测方法及装置
CN114549628A (zh) * 2022-02-23 2022-05-27 广东电网有限责任公司 一种电力杆倾斜检测方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296694A (zh) * 2016-08-13 2017-01-04 哈尔滨理工大学 杆塔倾斜智能图像辨识测量方法
CN109410190A (zh) * 2018-10-15 2019-03-01 广东电网有限责任公司 基于高分辨率遥感卫星影像的杆塔倒断检测模型训练方法
CN110245644A (zh) * 2019-06-22 2019-09-17 福州大学 一种基于深度学习的无人机图像输电杆塔倒伏识别的方法
CN110929646A (zh) * 2019-11-22 2020-03-27 国网福建省电力有限公司 一种基于无人机航拍图像的配电杆塔倒断信息快速识别方法
CN111598889A (zh) * 2020-05-26 2020-08-28 南方电网数字电网研究院有限公司 均压环倾斜故障的识别方法、装置、计算机设备
CN111738259A (zh) * 2020-06-29 2020-10-02 广东电网有限责任公司 一种杆塔状态检测方法及装置
CN114549628A (zh) * 2022-02-23 2022-05-27 广东电网有限责任公司 一种电力杆倾斜检测方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
尹航: "基于Transformer目标检测研究综述", 《现代信息科技》 *
朱晨光: "《机器阅读理解》", 31 March 2020 *
杨金中: "《矿山遥感监测理论方法与实践》", 30 September 2011 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117191821A (zh) * 2023-11-03 2023-12-08 山东宇影光学仪器有限公司 一种基于Deformable-DAB-DETR的高透光菲涅尔透镜实时检测方法
CN117191821B (zh) * 2023-11-03 2024-02-06 山东宇影光学仪器有限公司 一种基于Deformable-DAB-DETR的高透光菲涅尔透镜实时检测方法

Similar Documents

Publication Publication Date Title
CN113657390B (zh) 文本检测模型的训练方法和检测文本方法、装置和设备
US20220114750A1 (en) Map constructing method, positioning method and wireless communication terminal
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
JP2019514123A (ja) 地理的領域におけるコンテナ内に格納された量の遠隔決定
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
US10062195B2 (en) Method and device for processing a picture
CN111784737B (zh) 一种基于无人机平台的目标自动跟踪方法及系统
CN103839277A (zh) 一种户外大范围自然场景的移动增强现实注册方法
Porzi et al. Learning contours for automatic annotations of mountains pictures on a smartphone
CN112967341A (zh) 基于实景图像的室内视觉定位方法、系统、设备及存储介质
CN113591566A (zh) 图像识别模型的训练方法、装置、电子设备和存储介质
CN108229494B (zh) 网络训练方法、处理方法、装置、存储介质和电子设备
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN115937546A (zh) 图像匹配、三维图像重建方法、装置、电子设备以及介质
CN112183148A (zh) 一种批量条码定位方法及识别系统
Xu et al. Fast detection fusion network (FDFnet): An end to end object detection framework based on heterogeneous image fusion for power facility inspection
CN114898221A (zh) 一种杆塔倾斜检测方法、装置、电子设备及介质
CN113139540B (zh) 背板检测方法及设备
Tan et al. Automobile Component Recognition Based on Deep Learning Network with Coarse‐Fine‐Grained Feature Fusion
Ren et al. FCLGYOLO: Feature Constraint and Local Guided Global Feature for Fire Detection in Unmanned Aerial Vehicle Imagery
CN117237681A (zh) 图像处理方法、装置及相关设备
Li et al. DAR‐Net: Dense Attentional Residual Network for Vehicle Detection in Aerial Images
CN116503798A (zh) 一种基于旋转目标检测的电线杆塔倾斜监测方法
CN115270841A (zh) 条码检测方法、装置、存储介质及计算机设备
Jia et al. One‐Shot M‐Array Pattern Based on Coded Structured Light for Three‐Dimensional Object Reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220812