CN116310891A - 一种云边协同输电线路缺陷智能检测系统和方法 - Google Patents

一种云边协同输电线路缺陷智能检测系统和方法 Download PDF

Info

Publication number
CN116310891A
CN116310891A CN202310124700.0A CN202310124700A CN116310891A CN 116310891 A CN116310891 A CN 116310891A CN 202310124700 A CN202310124700 A CN 202310124700A CN 116310891 A CN116310891 A CN 116310891A
Authority
CN
China
Prior art keywords
image
model
aerial vehicle
unmanned aerial
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310124700.0A
Other languages
English (en)
Inventor
李俊楠
洪思源
陈希颖
艾川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Electric Power Test and Research Institute Group Co Ltd
Original Assignee
Yunnan Electric Power Test and Research Institute Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan Electric Power Test and Research Institute Group Co Ltd filed Critical Yunnan Electric Power Test and Research Institute Group Co Ltd
Priority to CN202310124700.0A priority Critical patent/CN116310891A/zh
Publication of CN116310891A publication Critical patent/CN116310891A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Evolutionary Computation (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种云边协同输电线路缺陷智能检测系统和方法，该系统包括无人机、边缘计算设备、云端缺陷检测平台、模型训练和测试模块。本发明摆脱了以往对技术人员丰富经验的需求，通过部署在边缘计算设备的智能检测算法定位出需要识别的电力元件，利用无人机接口调整云台相机以拍摄清晰高质量的影像；最后，影像输入云端的缺陷检测模型实现缺陷电力元件的识别与定位，自动化地完成整个巡检工作，提高了检测效率和精度。

Description

一种云边协同输电线路缺陷智能检测系统和方法
技术领域
本发明涉及输电线路巡检领域，尤其是一种云边协同输电线路缺陷智能检测系统和方法。
背景技术
伴随着我国电力发展的步伐越来越快，架空输电线路的规模日渐庞大，其线路贯穿许多城市与农村，因此输电线路上的电力元件不得不长期裸露在自然环境中，经受自然天气灾害，故而容易出现损坏引发故障，给输电线路的安全运行带来隐患，并最终可能导致危害发生。因此，需要对输电线路进行定期巡检，及时发现输电线路上的缺陷电力元件并处理。
过去几年，我国输电线路巡检基本以人工巡检方式为主，但传统的人工巡检方式效率低，限制多，还往往会消耗大量的人力物力，后来引入直升机沿线巡检的方法，但该方法飞行作业十分危险且培训及维护费用极其昂贵，无法在很大程度上缓解人工巡检带来的问题。因此无人机巡检技术便应运而生，无人机可以代替作业人员登上高空对电力设备进行观察，同时可以轻松跨越地形、障碍物实现多方位的检测，降低了电力工人的劳动强度，保护了电力工人的人身安全，帮助提高了输电线路巡检的速度。
同时，得益于机器视觉技术与GPU计算能力的不断提升，目标检测算法技术被应用于输电线路巡检的工作中。在无人机巡检系统中，目标检测算法可以实现无人机巡检图像的自动判读，在可以对图像中的电力元件进行缺陷识别和位置的检测，极大地加速了输电线路巡检的自动化进程。
目前，无人机在作业过程中需要飞手到达作业现场手动操控无人机执行巡检任务，该方式仍存在一些制约因素，一方面，飞手操控无人机巡检的作业效率和作业频次难以满足电网在物联网建设需求；另一方面，飞手操控水平直接决定巡检图像的质量是否达标，且飞手操控无人机采集的影像中容易出现模糊和曝光现象，极大地影响了缺陷检测模型的检测结果。
发明内容
为了解决上述问题，本发明提出一种云边协同输电线路缺陷智能检测系统和方法，以有效改善当前无人机巡检的短板。
首先，设计无人机智能巡检系统，支持无人机全自动进行输电线路巡检作业，在巡检精细化程度和作业效率方面较常规无人机巡检大幅提升；其次，该系统摆脱了以往对技术人员丰富经验的需求，通过部署在边缘计算设备的智能检测算法定位出需要识别的电力元件，利用无人机接口调整云台相机以拍摄清晰高质量的影像；最后，影像输入云端的缺陷检测模型实现缺陷电力元件的识别与定位，自动化地完成整个巡检工作，提高了检测效率和精度。
本发明技术方案具体如下：
一种云边协同输电线路缺陷智能检测系统，包括无人机、边缘计算设备、云端缺陷检测平台、模型训练和测试模块；
无人机上设有云台相机，根据预设定好的航线和坐标信息进行执行自主巡线作业流程，云台相机实时采集影像；
搭载在无人机上的边缘计算设备执行云台调整策略，利用边缘计算盒子识别影像中的电力元件并获取位置信息，动态调整云台角度及相机镜头焦距，从而使采集到的影像清晰且高质量；
边缘计算基于改进YOLOv4模型进行，将PAN网络中的三个不同尺度的特征图分别融合为对应尺度的三个特征图，然后学习一个融合权重，了解不同特征尺度对预测特征图的贡献；
无人机巡线结束回巢后，所拍摄的影像输入云端缺陷检测平台进行缺陷检测，并对检测结果生成可视化报告；
模型训练和测试模块生成多场景多任务的检测模型，使边缘端和云端根据具体场景部署相对应的最优模型。
进一步地，云端缺陷检测平台采用CascadeRCNN模型进行缺陷检测，采用RPN网络进行第一阶段的粗检测，尽可能地检测图像中的缺陷位置；再利用三个级联检测头在第二阶段逐步精细化检测结果，筛选第一阶段的误报结果。
进一步地，改进YOLOv4模型将主干网络CSPDarkNet53输出的后三层特征图输入到PAN网络进行特征融合，通过ASFF机制自适应地学习各尺度特征映射融合的空间权重，最终将融合后的特征图输入检测网络进行目标识别和目标定位。
进一步地，无人机根据实时接收的RTK信号匹配航点坐标，向航线信息中预设定好的杆塔位置飞行，包括：
到达杆塔点后，根据预设好的精细化巡视方式，无人机调整至指定的拍摄高度；
云台相机拍摄杆塔处的影像，通过边缘计算设备对影像进行判读，调整云台角度，最终使沿线的电力元件处于云台相机镜头的拍摄主体位置；
无人机根据航线信息和坐标信息向下一个塔飞行，期间云台相机拍摄影像输入边缘计算设备进行实时分析并动态调整镜头焦距，以拍摄包含所需电力元件且高质量的巡检影像；
循环执行上述过程，直至无人机已执行完航线信息中的所有飞行线路，之后无人机执行自主返航指令，从当前位置飞回起飞点。
进一步地，边缘计算设备实时推理云台相机拍摄的影像，根据推理结果中的电力元件个数、位置和尺寸占比调用OSDK接口动态调整云台角度和相机镜头焦距，以拍摄清晰且高质量的影像，包括：
云台相机拍摄的杆塔影像输入边缘计算设备检测影像中绝缘子串的数量，若绝缘子串的数量小于阈值，则调用OSDK接口调整云台角度，直至影像中的绝缘子串的数量大于等于阈值；
云台相机拍摄的输电线路巡检影像实时输入边缘计算设备进行电力元件检测，若检测到影像中含有任务要求需要进行缺陷检测的电力元件，则计算电力元件在图像中的尺寸占比，当感兴趣目标在图像中的尺寸占比小于阈值时，则根据该占比数值调用OSDK接口精准调整镜头焦距再进行拍摄；若尺寸占比大于等于阈值，则直接拍摄。
进一步地，模型训练和测试模块中，包括：构建数据集、模型训练和模型测试；
构建数据集包括：
通过无人机巡检输电线路来采集多场景下的图像数据，利用标注工具，对图像中的电力元件和缺陷目标进行标注，标注的信息包含类别名称和位置信息，将图像数据和对应标注文件按照4:1的数量比例划分出训练集和测试集，完成数据集的构建；
模型训练包括：
利用数据集中的训练集训练模型，模型训练采用自适应矩估计优化器作为网络的训练优化策略，共训练100轮次；学习率从0.001开始动态调整，每一轮次更新完成后，学习率乘以0.9；观察训练损失LOSS的变化，当LOSS值连续5个轮次没有下降的时候，可认为模型收敛，停止训练，获取收敛效果最好的模型；
模型测试包括：
利用数据集中的测试集进行模型测试，采用精度PA、召回率RA、mAP、FPS和FLOPs作为模型测试的性能指标。
本发明还涉及的一种云边协同输电线路缺陷智能检测方法，包括如下步骤：
步骤(1)执行无人机自动巡检之前，在云端的高性能计算集群和边缘端的边缘计算盒子上部署符合巡检任务要求的模型；
部署于边缘计算设备和远端缺陷检测平台的模型由模型训练和检测模块生成，包括构建数据集，模型训练和模型测试；
步骤(2)将无人机自动巡线的航线信息导入，并调整好相机拍摄部位，开始自主巡线；根据实时接收的RTK信号匹配航点坐标，向航线信息中预设定好的杆塔位置稳定飞行；
步骤(3)边缘计算设备实时推理云台相机拍摄的影像，根据推理结果中的电力元件个数、位置和尺寸占比调用OSDK接口动态调整云台角度和相机镜头焦距，以拍摄清晰且高质量的影像；
步骤(4)无人机回巢后，将其拍摄的高质量巡检图像上传至云端，基于云端的高性能计算集群，与部署在云端的缺陷检测模型相配合，实现整条航线上电力元件的缺陷识别与定位；标记检测结果中具有缺陷目标的影像，与航线信息上的坐标信息相关联，生成可视化报告。
进一步地，边缘计算基于改进YOLOv4模型进行，改进YOLOv4模型将主干网络CSPDarkNet53输出的后三层特征图输入到PAN网络进行特征融合，通过ASFF机制自适应地学习各尺度特征映射融合的空间权重，最终将融合后的特征图输入检测网络进行目标识别和目标定位。
进一步地，步骤(3)中，云台相机拍摄的杆塔影像输入边缘计算设备检测影像中绝缘子串的数量，若绝缘子串的数量小于阈值，则调用OSDK接口调整云台角度，直至影像中的绝缘子串的数量大于等于阈值；
云台相机拍摄的输电线路巡检影像实时输入边缘计算设备进行电力元件检测，若检测到影像中含有任务要求需要进行缺陷检测的电力元件，则计算电力元件在图像中的尺寸占比，当感兴趣目标在图像中的尺寸占比小于阈值时，则根据该占比数值调用OSDK接口精准调整镜头焦距再进行拍摄；若尺寸占比大于等于阈值，则直接拍摄。
本发明的系统包含行之有效的云边协同巡检的整体流程，具有作业效率高，缺陷检测效果好的特点。
本发明基于检测模型和OSDK接口设计了一种云台调整策略，通过边缘计算设备对云台相机所拍摄影像进行实时分析，动态调整云台角度和相机镜头焦距，以拍摄清晰且高质量的巡检影像用于后续的缺陷检测。
本发明的应用于边缘端检测的改进YOLOv4模型，通过ASFF机制有效提高不同尺度物体的检测精度，更加适用于从巡检影像中定位多种不同尺度的电力元件。
本发明系统中无人机负责进行自主巡线飞行，并结合边缘端的实时计算动态调整云台，从而拍摄清晰且高质量的巡检影像，与传统的人工操纵无人机巡检相比，具有明显的作业效率优势，同时拍摄的影像质量稳定且更加清晰，有利于提高云端进行缺陷检测时的检测精度。
改进后模型更加适用于从巡检影像中定位多种不同尺度的电力元件，进一步提高该系统的实用性。
本发明的云边协同巡检系统能够有效解决传统的输电线路巡检系统实用性低和难管理的问题，具有极大的可拓展性。
附图说明
图1是本发明实施例的系统框图；
图2是本发明实施例的系统内部和系统之间的数据走向图；
图3是本发明实施例方法的流程图；
图4是本发明实施例改进YOLOv4模型检测流程图。
具体实施方式
下面将结合本申请实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另外定义，本申请实施例中使用的技术术语或者科学术语应当为所属领域内具有一般技能的人士所理解的通常意义。本实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。“上”、“下”、“左”、“右”、“横”以及“竖”等仅用于相对于附图中的部件的方位而言的，这些方向性术语是相对的概念，它们用于相对于的描述和澄清，其可以根据附图中的部件所放置的方位的变化而相应地发生变化。
如图1、2所示，本实施例的基于改进YOLOv4模型的云边协同输电线路缺陷智能检测系统，包括无人机、边缘计算设备、云端缺陷检测平台、模型训练和测试模块。
无人机上设有云台相机，根据预设定好的航线和坐标信息进行执行自主巡线作业流程，云台相机用于实时采集影像。
搭载在无人机上的边缘计算设备执行云台调整策略，利用边缘计算盒子和改进YOLOv4模型识别影像中的电力元件并获取位置信息，通过OSDK接口动态调整云台角度及相机镜头焦距，从而使采集到的影像清晰且高质量。
无人机巡线结束回巢后，所拍摄的影像自动地输入云端缺陷检测平台进行缺陷检测，并对检测结果生成可视化报告。
模型训练和测试模块生成多场景多任务的检测模型，使边缘端和云端可以根据具体场景部署相对应的最优模型。该系统具有作业效率高，缺陷检测效果好的特点。
基于上述系统，本实施例的云边协同输电线路缺陷智能检测方法，包括如下步骤：
步骤(1)开始执行无人机自动巡检之前，先在云端的高性能计算集群和边缘端的边缘计算盒子上部署符合巡检任务要求的模型，按以下进行：
步骤1-1：云端高性能计算集群的内存大，计算能力强，且无实时检测的需求，因此在本实施例中部署在云端的模型为CascadeRCNN，该模型首先采用RPN网络进行第一阶段的粗检测，尽可能地检测图像中的缺陷位置，提高模型的召回率；再利用三个级联检测头在第二阶段逐步精细化检测结果，筛选第一阶段的误报结果，提高模型的精确率，CascadeRCNN可以高效地进行电力元件的缺陷识别和定位。
步骤1-2：搭建在无人机的边缘计算盒子内存较小，浮点计算能力相对较弱，且在本发明实施例中为了利用检测结果实时调整无人机云台，检测模型需具有实时检测的能力，因此需部署体积小且可以具有实时性的检测模型，在本实施例中提出一种改进YOLOv4模型部署于边缘端的计算盒子。
不同于CascadeRCNN，YOLOv4仅采用单个阶段的检测流程，因此具有较快的检测速度，同时由于应用了许多先进的网络模块以及模型优化技术，该模型具有较好的检测精度。
YOLOv4模型在利用PAN网络进行特征融合时，特征层上不同特征尺度之间具有不一致性，其他层无用的信息可能会融合在一起，当某一目标在某一层被判别为正类后，其它层会将其判别为负类，因此不同层之间的特征会影响最后的检测结果。
为了提高在实时检测中对不同尺度电力元件的检测精度，本实施例引入ASFF机制改进YOLOv4模型，改进YOLOv4模型检测流程如图4所示。
改进YOLOV4模型的主干网络CSPDarkNet53一共有5层特征图层，模型通过卷积提取输入图像的深层次信息，期间特征图的通道不断加深，尺寸不断缩小，最终将较深的三层特征图输入到PAN进行特征融合，丰富特征图的语义信息，在本实施例中，巡检影像输入到模型后首先将被缩放成640×640的影像，之后通过主干网络进行特征提取，最终输入PAN网络的特征图尺寸分别为80×80、40×40和20×20。ASFF机制将PAN网络中的三个不同尺度的特征图分别融合为对应尺度的三个特征图，然后学习一个融合权重，了解不同特征尺度对预测特征图的贡献，使具有重要信息的特征图在融合时占据主导地位。融合后的特征图输入检测网络进行目标识别和目标定位。
ASFF机制自适应地学习各尺度特征映射融合的空间权重，有效地提高不同尺度物体的检测精度，更加适用于从巡检影像中定位多种不同尺度的电力元件。
步骤(2)操作人员部署好云端和边缘计算设备的检测模型后，将无人机自动巡线的航线信息导入无人机控制软件，并调整好相机拍摄部位，便可开始无人机自主巡线。无人机根据实时接收的RTK信号匹配航点坐标，向航线信息中预设定好的杆塔位置稳定飞行。
步骤2-1：到达杆塔点后，根据预设好的精细化巡视方式，无人机调整至指定的拍摄高度。
步骤2-2：云台相机拍摄杆塔处的影像，通过边缘计算设备对影像进行判读，调整云台角度，最终使沿线的电力元件处于云台相机镜头的拍摄主体位置。
步骤2-3：无人机根据航线信息和坐标信息向下一个塔飞行，期间云台相机拍摄影像输入边缘计算设备进行实时分析并动态调整镜头焦距，以拍摄包含所需电力元件且高质量的巡检影像。
步骤2-4：循环执行步骤2-1至步骤2-3直至无人机已执行完航线信息中的所有飞行线路，之后无人机执行自主返航指令，从当前位置飞回起飞点。
步骤(3)搭建在无人机上的边缘计算设备负责实时推理云台相机拍摄的影像，根据推理结果中的电力元件个数、位置和尺寸占比调用OSDK接口动态调整云台角度和相机镜头焦距，以拍摄清晰且高质量的影像。
步骤3-1：在步骤2-2中，云台相机拍摄的杆塔影像输入边缘计算设备检测影像中绝缘子串的数量，若绝缘子串的数量小于阈值，则调用OSDK接口调整云台角度，直至影像中的绝缘子串的数量大于等于阈值。
在本实施例的云台调整策略中，根据绝缘子串所处图像中的位置偏向设置云台角度的调整方向，根据绝缘子串的数量设置云台角度的调整大小。
步骤3-2：在步骤2-3中，云台相机拍摄的输电线路巡检影像实时输入边缘计算设备进行电力元件检测，若检测到影像中含有任务要求需要进行缺陷检测的电力元件，则计算电力元件在图像中的尺寸占比，当感兴趣目标在图像中的尺寸占比小于阈值时，则根据该占比数值调用OSDK接口精准调整镜头焦距再进行拍摄；若尺寸占比大于等于阈值，则直接拍摄。
步骤(4)无人机回巢后，将其拍摄的高质量巡检图像上传至云端，基于云端的高性能计算集群，与部署在云端的缺陷检测模型相配合，实现整条航线上电力元件的缺陷识别与定位。标记检测结果中具有缺陷目标的影像，与航线信息上的坐标信息相关联，生成可视化报告，以便电力从业人员对该线路进行分析与处理。
步骤(5)在步骤(1)中，部署于边缘计算设备和远端缺陷检测平台的最优模型由模型训练和检测模块生成，该模块包括构建数据集，模型训练和模型测试。
步骤5-1：构建数据集
通过无人机巡检输电线路来采集多场景下的图像数据，以人工分拣的方式，清洗亮度异常、噪声较大和图像模糊的数据，高质量的图像训练数据有利于提高模型的鲁棒性。利用标注工具，对图像中的电力元件和缺陷目标进行标注，标注的信息包含类别名称和位置信息Xmin(标注框左上角X坐标)、Ymin(标注框左上角Y坐标)、Xmax(标注框右下角X坐标)、以及Ymax(标注框右下角Y坐标)，并以VOC数据格式保存成xml标签文件。将图像数据和对应标注文件按照4:1的数量比例划分出训练集和测试集，完成数据集的构建。
步骤5-2：模型训练
利用数据集中的训练集训练模型，模型训练采用自适应矩估计优化器作为网络的训练优化策略，共训练100轮次。学习率从0.001开始动态调整，每一轮次更新完成后，学习率乘以0.9。观察训练损失LOSS的变化，当LOSS值连续5个轮次没有下降的时候，可认为模型收敛，停止训练，获取收敛效果最好(最终Loss值最低)的模型。
步骤5-3：模型测试
利用数据集中的测试集进行模型测试。采用精度PA、召回率PA、mAP(meanAveragePrecision)、FPS(FramesPerSecond)和FLOPs(Floating Point Operations)作为模型测试的性能指标。
精度和召回率的定义公式为：
Figure BDA0004081635010000091
Figure BDA0004081635010000092
上式中：xTP，A表示A类中被正确识别的目标；xFP，A表示A类中被错误识别为正例的目标；xFN，A表示A类中未正确识别的正例；PA表示对于所有识别为类别A的目标中正确识别的目标占比；RA表示图片中所有类别为A的目标中被正确识别的目标占比。置信度是某个目标属于类别A的概率，将测试集中每个类别被检测出的目标按照置信度从高到低进行排序并绘制该类别的精度-召回率曲线，将曲线下的面积作为此类别的AP，接着对所有类别的AP求均值即可得到mAP，mAP反映模型对各个类别的平均检测精度。FPS指模型每秒处理，反映目标的检测速度。FLOPs指模型的计算量，用于衡量模型的复杂度。
使用这5个性能指标共同评估模型性能，经过多次实验获取最优模型。
作为具体应用：
在检测销钉缺陷的应用中，本实施例采集了两种数据用于训练模型，一种是含有绝缘子串的无人机巡检图像数据；一种是含有故障销钉的无人机巡检图像数据，故障销钉的特征包括：开口销缺失、螺母缺失和锈蚀类缺陷。应用于边缘计算的改进YOLOv4模型采用含有绝缘子串的无人机巡检图像数据进行训练，通过步骤5-2的模型训练方法训练得到多个模型后，通过综合评估，挑选速度指标FPS为30.6，平均检测精度指标mAP为95.44模型部署在无人机边缘计算设备上。应用于云端缺陷检测的CascadeRCNN模型采用含有故障销钉的无人机巡检图像数据进行训练，通过步骤5-2的模型训练方法训练得到多个模型后，由于无需考虑检测速度，因此评估时挑选精度较高的模型部署在云端，最终采用平均检测精度指标mAP为75.73的模型，其中开口销缺失的单个类别AP为83.77，螺母缺失的单个类别AP为78.49，锈蚀类缺陷的单个类别AP为64.93。
此外，在实际应用中对于模型mAP一致的情况，改进YOLOv4模型更加注重模型精度PA，更高的精度使云台相机在进行角度调整时更加精准，CascadeRCNN模型则更加注重模型召回率RA，减少缺陷漏检率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种云边协同输电线路缺陷智能检测系统，其特征在于：包括无人机、边缘计算设备、云端缺陷检测平台、模型训练和测试模块；
无人机上设有云台相机，根据预设定好的航线和坐标信息进行执行自主巡线作业流程，云台相机实时采集影像；
搭载在无人机上的边缘计算设备执行云台调整策略，利用边缘计算盒子识别影像中的电力元件并获取位置信息，动态调整云台角度及相机镜头焦距，从而使采集到的影像清晰且高质量；
边缘计算基于改进YOLOv4模型进行，将PAN网络中的三个不同尺度的特征图分别融合为对应尺度的三个特征图，然后学习一个融合权重，了解不同特征尺度对预测特征图的贡献；
无人机巡线结束回巢后，所拍摄的影像输入云端缺陷检测平台进行缺陷检测，并对检测结果生成可视化报告；
模型训练和测试模块生成多场景多任务的检测模型，使边缘端和云端根据具体场景部署相对应的最优模型。
2.根据权利要求1所述的系统，其特征在于：云端缺陷检测平台采用CascadeRCNN模型进行缺陷检测，采用RPN网络进行第一阶段的粗检测，尽可能地检测图像中的缺陷位置；再利用三个级联检测头在第二阶段逐步精细化检测结果，筛选第一阶段的误报结果。
3.根据权利要求1所述的系统，其特征在于：改进YOLOv4模型将主干网络CSPDarkNet53输出的后三层特征图输入到PAN网络进行特征融合，通过ASFF机制自适应地学习各尺度特征映射融合的空间权重，最终将融合后的特征图输入检测网络进行目标识别和目标定位。
4.根据权利要求1所述的系统，其特征在于：无人机根据实时接收的RTK信号匹配航点坐标，向航线信息中预设定好的杆塔位置飞行，包括：
到达杆塔点后，根据预设好的精细化巡视方式，无人机调整至指定的拍摄高度；
云台相机拍摄杆塔处的影像，通过边缘计算设备对影像进行判读，调整云台角度，最终使沿线的电力元件处于云台相机镜头的拍摄主体位置；
无人机根据航线信息和坐标信息向下一个塔飞行，期间云台相机拍摄影像输入边缘计算设备进行实时分析并动态调整镜头焦距，以拍摄包含所需电力元件且高质量的巡检影像；
循环执行上述过程，直至无人机已执行完航线信息中的所有飞行线路，之后无人机执行自主返航指令，从当前位置飞回起飞点。
5.根据权利要求1所述的系统，其特征在于：边缘计算设备实时推理云台相机拍摄的影像，根据推理结果中的电力元件个数、位置和尺寸占比调用OSDK接口动态调整云台角度和相机镜头焦距，以拍摄清晰且高质量的影像，包括：
云台相机拍摄的杆塔影像输入边缘计算设备检测影像中绝缘子串的数量，若绝缘子串的数量小于阈值，则调用OSDK接口调整云台角度，直至影像中的绝缘子串的数量大于等于阈值；
云台相机拍摄的输电线路巡检影像实时输入边缘计算设备进行电力元件检测，若检测到影像中含有任务要求需要进行缺陷检测的电力元件，则计算电力元件在图像中的尺寸占比，当感兴趣目标在图像中的尺寸占比小于阈值时，则根据该占比数值调用OSDK接口精准调整镜头焦距再进行拍摄；若尺寸占比大于等于阈值，则直接拍摄。
6.根据权利要求1所述的系统，其特征在于：模型训练和测试模块中，包括：构建数据集、模型训练和模型测试；
构建数据集包括：
通过无人机巡检输电线路来采集多场景下的图像数据，利用标注工具，对图像中的电力元件和缺陷目标进行标注，标注的信息包含类别名称和位置信息，将图像数据和对应标注文件按照4:1的数量比例划分出训练集和测试集，完成数据集的构建；
模型训练包括：
利用数据集中的训练集训练模型，模型训练采用自适应矩估计优化器作为网络的训练优化策略，共训练100轮次；学习率从0.001开始动态调整，每一轮次更新完成后，学习率乘以0.9；观察训练损失LOSS的变化，当LOSS值连续5个轮次没有下降的时候，可认为模型收敛，停止训练，获取收敛效果最好的模型；
模型测试包括：
利用数据集中的测试集进行模型测试，采用精度
Figure QLYQS_1
、召回率/>
Figure QLYQS_2
、mAP、FPS和FLOPs作为模型测试的性能指标。
7.一种云边协同输电线路缺陷智能检测方法，其特征在于：包括如下步骤：
步骤（1）执行无人机自动巡检之前，在云端的高性能计算集群和边缘端的边缘计算盒子上部署符合巡检任务要求的模型；
部署于边缘计算设备和远端缺陷检测平台的模型由模型训练和检测模块生成，包括构建数据集，模型训练和模型测试；
步骤（2）将无人机自动巡线的航线信息导入，并调整好相机拍摄部位，开始自主巡线；根据实时接收的RTK信号匹配航点坐标，向航线信息中预设定好的杆塔位置稳定飞行；
步骤（3）边缘计算设备实时推理云台相机拍摄的影像，根据推理结果中的电力元件个数、位置和尺寸占比调用OSDK接口动态调整云台角度和相机镜头焦距，以拍摄清晰且高质量的影像；
步骤（4）无人机回巢后，将其拍摄的高质量巡检图像上传至云端，基于云端的高性能计算集群，与部署在云端的缺陷检测模型相配合，实现整条航线上电力元件的缺陷识别与定位；标记检测结果中具有缺陷目标的影像，与航线信息上的坐标信息相关联，生成可视化报告。
8.根据权利要求7所述的方法，其特征在于：边缘计算基于改进YOLOv4模型进行，改进YOLOv4模型将主干网络CSPDarkNet53输出的后三层特征图输入到PAN网络进行特征融合，通过ASFF机制自适应地学习各尺度特征映射融合的空间权重，最终将融合后的特征图输入检测网络进行目标识别和目标定位。
9.根据权利要求7所述的方法，其特征在于：步骤（3）中，云台相机拍摄的杆塔影像输入边缘计算设备检测影像中绝缘子串的数量，若绝缘子串的数量小于阈值，则调用OSDK接口调整云台角度，直至影像中的绝缘子串的数量大于等于阈值；
云台相机拍摄的输电线路巡检影像实时输入边缘计算设备进行电力元件检测，若检测到影像中含有任务要求需要进行缺陷检测的电力元件，则计算电力元件在图像中的尺寸占比，当感兴趣目标在图像中的尺寸占比小于阈值时，则根据该占比数值调用OSDK接口精准调整镜头焦距再进行拍摄；若尺寸占比大于等于阈值，则直接拍摄。
CN202310124700.0A 2023-02-16 2023-02-16 一种云边协同输电线路缺陷智能检测系统和方法 Pending CN116310891A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310124700.0A CN116310891A (zh) 2023-02-16 2023-02-16 一种云边协同输电线路缺陷智能检测系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310124700.0A CN116310891A (zh) 2023-02-16 2023-02-16 一种云边协同输电线路缺陷智能检测系统和方法

Publications (1)

Publication Number Publication Date
CN116310891A true CN116310891A (zh) 2023-06-23

Family

ID=86796984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310124700.0A Pending CN116310891A (zh) 2023-02-16 2023-02-16 一种云边协同输电线路缺陷智能检测系统和方法

Country Status (1)

Country Link
CN (1) CN116310891A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116962649A (zh) * 2023-09-19 2023-10-27 安徽送变电工程有限公司 图像监控调整系统及线路施工模型
CN117557556A (zh) * 2024-01-09 2024-02-13 南京市特种设备安全监督检验研究院 起重装备缺陷智能检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116962649A (zh) * 2023-09-19 2023-10-27 安徽送变电工程有限公司 图像监控调整系统及线路施工模型
CN116962649B (zh) * 2023-09-19 2024-01-09 安徽送变电工程有限公司 图像监控调整系统及线路施工模型
CN117557556A (zh) * 2024-01-09 2024-02-13 南京市特种设备安全监督检验研究院 起重装备缺陷智能检测方法
CN117557556B (zh) * 2024-01-09 2024-03-26 南京市特种设备安全监督检验研究院 起重装备缺陷智能检测方法

Similar Documents

Publication Publication Date Title
CN109977813B (zh) 一种基于深度学习框架的巡检机器人目标定位方法
CN111353413B (zh) 一种输电设备低漏报率缺陷识别方法
CN111222574B (zh) 基于多模型决策级融合的舰船与民船目标检测与分类方法
CN115861855B (zh) 一种光伏电站的运维监测方法及系统
CN108037770B (zh) 基于人工智能的无人机输电线路巡检系统和方法
CN112884931B (zh) 一种用于变电站的无人机巡检方法及系统
CN116310891A (zh) 一种云边协同输电线路缺陷智能检测系统和方法
Sohn et al. Automatic powerline scene classification and reconstruction using airborne lidar data
CN114240868A (zh) 一种基于无人机的巡检分析系统及方法
CN110910341B (zh) 一种输电线路锈蚀区缺陷检测方法及装置
CN107305636A (zh) 目标识别方法、目标识别装置、终端设备和目标识别系统
CN112327906A (zh) 一种基于无人机的智能自动巡检系统
CN113298035A (zh) 基于图像识别的无人机电力杆塔检测及自主巡航方法
CN111027422A (zh) 一种应用于输电线路走廊的应急无人机巡检方法及系统
CN112950634A (zh) 基于无人机巡检的风力机叶片损伤识别方法、设备和系统
CN114815881A (zh) 基于边缘计算与无人机巡检协同的智能巡检方法
CN114035606A (zh) 杆塔巡检系统、杆塔巡检方法、控制装置和存储介质
CN115995058A (zh) 基于人工智能的输电通道安全在线监测方法
CN114037895A (zh) 一种无人机杆塔巡检图像识别方法
CN114021906A (zh) 无人值守的风力发电运维管理方法及系统
CN115912183B (zh) 高压输电线路生态措施巡视方法、系统及可读存储介质
CN117406789A (zh) 基于图像分析的多无人机桥梁支座巡检航线自动规划方法
CN115297303B (zh) 适用于电网输变电设备的图像数据采集处理方法及装置
CN114167245B (zh) 输变电设备表面局放智能检测方法及无人机融合紫外系统
CN115355952A (zh) 一种原油储罐智能巡检系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination