CN112801230B - 一种配电线路无人机智能验收方法 - Google Patents

一种配电线路无人机智能验收方法 Download PDF

Info

Publication number
CN112801230B
CN112801230B CN202110373707.7A CN202110373707A CN112801230B CN 112801230 B CN112801230 B CN 112801230B CN 202110373707 A CN202110373707 A CN 202110373707A CN 112801230 B CN112801230 B CN 112801230B
Authority
CN
China
Prior art keywords
network
equipment
line
defect
tower
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110373707.7A
Other languages
English (en)
Other versions
CN112801230A (zh
Inventor
王文彬
余延武
徐经民
邓志翔
郑蜀江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Kechen Electric Power Test Research Co ltd
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd
Original Assignee
Nanchang Kechen Electric Power Test Research Co ltd
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Kechen Electric Power Test Research Co ltd, State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Jiangxi Electric Power Co Ltd filed Critical Nanchang Kechen Electric Power Test Research Co ltd
Priority to CN202110373707.7A priority Critical patent/CN112801230B/zh
Publication of CN112801230A publication Critical patent/CN112801230A/zh
Application granted granted Critical
Publication of CN112801230B publication Critical patent/CN112801230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)

Abstract

本发明公开了一种配电线路无人机智能验收方法，包括外业飞行、设备定位、图像采集、前端图像分析、人工复核、配网线路自动建模、配网线路成图展示等步骤，本发明通过无人机搭载RFID扫描设备，杆塔上的待验收设备上设置有RFID标签，RFID扫描设备扫描RFID标签来识别实物ID，并将实物ID与杆塔坐标进行绑定，在无人机上搭载前端识别模块接收可见光相机拍摄的配电线路可见光照片，采用改进的SSD目标检测算法进行设备目标识别分析，采用改进的Faster‑Rcnn配网缺陷检测算法进行缺陷目标分析，及时发现配电线路施工工艺缺陷，可提高数据采集效率、巡检工作效率、缺陷隐患发现效率、配电线路建模生成效率。

Description

一种配电线路无人机智能验收方法
技术领域
本发明属于输配电技术领域，具体涉及一种配电线路无人机智能验收方法。
背景技术
配电线路规模日益扩大，规划变更需求逐渐增多，工程竣工情况与初始相比变更较大，竣工质量无有效手段监督，图识不符情况较严重。长期以来依靠人工抽查方式进行配电线路竣工验收问题较突出，常见问题如下：1、验收不够全面，无法覆盖所有配电线路设备，存在金具缺失、线路散断股等影响配电线路安全稳定运行的问题，尤其对横担以上的问题较难发现；2、验收效率低，通过调研发现，依托人工验收全年配电网工程需耗费大半年时间不间断验收，耗时耗力；3、覆盖不够全面，人工验收无法触及鱼塘、湖泊、高山、丘陵等特殊地域的配电线路，导致该地区配电线路质量无法保障；4、归档数据质量低，由于初设与竣工工程变更导致竣工图及工程量变更，依托人工归档工作量大且容易出错。
为了解决人工拍摄安全问题和复杂环境难以拍摄的问题，CN109187586A公开了一种基于无线图像传输的输电线路标准化验收装置，包括无线通信连接的图像采集装置和地面接收装置，所述图像采集装置通过辅助工具靠近待验收部位，采集待验收部位的图像和/或影像，所述地面接收装置接收并显示图像采集装置采集的图像和/或影像，使验收人员在地面接收装置上完成待验收部位的验收。摄像头可分离的设置在所述操作杆和/或无人机上。通过采用操作杆和/或无人机较方便的将图像采集装置移动至靠近待验收部位，由于操作杆和/或无人机体积较小，可较容易的将图像采集装置移动至高处验收人员人眼不容易观察的部位，方便验收人员在地面对人眼不容易观察到的部位进行可视化分析验收，通用性较广，可靠性较高，实现输电线路标准化流程的可视化验收。
但是该文献只是解决拍摄问题，依然需要人工逐个部位进行比对验收，大量的拍摄照片无法与杆塔坐标直接绑定，后续需要人工分类存储照片，工作量大；而且拍摄照片未及时进行图像处理，容易存在拍照不合格，后面发现验收不全的问题，无法实现智能验收。
发明内容
为了提高配电线路验收效率和质量，实现配电线路智能化验收，本发明提供了一种配电线路无人机智能验收方法，无人机搭载RFID扫描设备，杆塔上的待验收设备上设置有RFID标签，RFID扫描设备扫描RFID标签来识别实物ID，并将实物ID与杆塔坐标进行绑定，无需人工归档照片，在无人机上搭载前端识别模块接收可见光相机拍摄的配电线路可见光照片，进行设备识别和缺陷分析，分析之后的结果传回地面端，及时发现配电线路施工工艺缺陷，大大提高传输的照片的有效性和准确性，降低了验收工作量和降低错误率。
本发明通过下述技术方案来实现。一种配电线路无人机智能验收方法，步骤如下：
步骤S1、外业飞行：无人机飞手控制无人机沿线飞行，并在杆塔正上方停留记录坐标信息，构成线路杆塔台账，并保存飞行轨迹；
步骤S2、设备定位：无人机搭载RFID扫描设备和可见光相机，杆塔上的待验收设备上设置有RFID标签，RFID扫描设备扫描RFID标签来识别实物ID，并将实物ID与杆塔坐标进行绑定，从而实现设备定位；利用实物ID获取设备资产系统中的设备信息与现场张贴设备进行比对，及时发现RFID标签张贴是否存在错误；
步骤S3、图像采集：无人机飞行到预设的拍摄距离和角度，通过可见光相机对杆塔上的各设备拍照，获得可见光照片，拍照的目标包括设备目标和缺陷目标，设备目标包括变压器、熔断器、刀闸；缺陷目标包括缺销钉、散断股；
步骤S4、前端图像分析：在无人机上搭载前端识别模块接收可见光相机拍摄的配电线路可见光照片，采用改进的SSD目标检测算法进行设备目标识别分析，采用改进的Faster-Rcnn配网缺陷检测算法进行缺陷目标分析，及时发现配电线路设备和施工工艺缺陷；
步骤S5、人工复核：将前端识别模块的图像分析结果传输至智能验收系统，在智能验收系统中，人工再对自动识别的结果进行复核，及时纠正图像自动识别可能存在的错误，保证设备以及施工工艺缺陷定位的准确性；
步骤S6、配网线路自动建模：智能验收系统接收无人机采集的杆塔坐标、实物ID、可见光照片以及基于可见光照片自动识别的设备信息和缺陷信息，实现缺陷、设备、实物ID三位一体关联，同时与杆塔坐标进行绑定，自动实现配电线路自动建模；
步骤S7、配网线路成图展示：将配网线路台账数据在二维地图中进行实时成图展示，并将配电设备进行符号化。
进一步优选，步骤S4中所改进的SSD目标检测算法，第一部分为深度残差网络Resnet50，第二部分为额外层extra，第三部分为特征金字塔网络fpn，第四部分为分类与回归检测网络；首先将SSD目标检测算法模型的输入尺寸调整为640x640分辨率，采用深度残差网络Resnet50对所拍摄的设备目标照片进行特征提取，然后使用额外层extra对深度残差网络Resnet50提取到的特征进行进一步提取，输出多尺度特征图，之前再使用特征金字塔网络fpn对多尺度特征图进行特征融合，使浅层高分辨率的特征图融合深层特征图丰富的语义信息，增强对小目标的检测效果；最后由分类与回归检测网络输出设备目标检测结果。
进一步优选，步骤S4中所提改进的Faster-Rcnn配网缺陷检测算法，由四部分组成。第一部分为Inception v2网络，第二部分是区域建议网络RPN，第三部分为区域特征图生成网络ROI pooling，第四部分是分类与回归检测网络。采用Inception v2网络作为特征提取网络，用于实现对输入照片进行特征提取，然后将提取得到的特征图，输入到第二部分区域建议网络RPN中，计算得出存在需要识别的目标区域，作为感兴趣区域；在特征图上的感兴趣区域，通过ROI pooling生成感兴趣区域特征图，然后进行分类与回归预测。
进一步优选，本发明还可包括数据统计：基于前端图像分析的设备信息与设备定位的实物ID，自动统计单条配电线路工程的设备使用数量，实现配电网工程关键设备数量自动统计，同时结合在智能验收系统设置中设置的关键设备单价，实现单条配电线路工程关键设备的造价自动统计；
进一步优选，本发明还可包括配电线路勘查:在配电线路设计阶段利用无人机对待建设线路进行线路路径勘察和杆塔定位，并记录线路杆塔高精度坐标数据；在线路竣工验收时再利用无人机对竣工线路进行线路路径勘察和杆塔坐标采集，然后再与设计阶段的采集的线路路径信息和杆塔坐标进行对比分析输出配电线路建设是否存在线路偏移以及偏移是否合理等数据；
进一步优选，本发明还建立施工工艺缺陷库：汇总智能验收系统中的施工工艺缺陷，建设配电线路施工工艺缺陷库，辅助制定配电线路竣工验收施工工艺缺陷标准等。
本发明中，无人机所采集数据通过4G/5G网络实时回传至智能验收系统接，保证配电线路进行实时建模、实时成图展示，并最终将数据存储在数据库中，完成配电线路自动建模自动成图自动符号化等。如果发生无网络情况，同时支持将无人机采集的台账数据以及照片数据导入到配电线路无人机智能验收系统中，完成配电线路自动建模、成图展示、设备识别、缺陷识别、数据统计等操作。
本发明的技术效果：本发明利用无人机根据线路类型制定不同的飞行方案，进行数据采集，并利用图像识别技术对施工的质量进行检查，既保证了竣工的工程质量，又能做到配电线路数据及时归档，同时可对新建线路进行快速建模。本发明在无人机搭载RFID扫描设备，杆塔上的待验收设备上设置有RFID标签，RFID扫描设备扫描RFID标签来识别实物ID，并将实物ID与杆塔坐标进行绑定，实现拍照照片智能匹配。本发明在无人机上搭载前端识别模块接收可见光相机拍摄的配电线路可见光照片，采用改进的SSD目标检测算法进行设备目标识别分析，采用改进的Faster-Rcnn配网缺陷检测算法进行缺陷目标分析，及时发现配电线路设备和施工工艺缺陷，大大提高了照片分析效率和准确度，然后传回智能验收系统验收，提高验收效率。本发明可以提高数据采集效率3~4倍，巡检工作效率提升4倍以上，缺陷隐患发现效率提高近20倍，配电线路建模生成效率提升近6倍。
附图说明
图1是本发明的流程图。
图2是SSD目标检测算法原理图。
图3为多尺度特征图结构图。
图4为特征金字塔网络结构图。
图5为深度残差网络结构图。
图6为改进的SSD目标检测算法结构图。
图7为Faster-Rcnn目标检测算法原理图。
图8为RPN网络结构图。
图9为Inception网络结构原理图。
图10为改进后的Faster-Rcnn配网缺陷检测算法结构图。
具体实施方式
下面结合实施例进一步详细阐明本发明。
如图1所示，配电线路无人机智能验收的步骤如下：
步骤S1、外业飞行：无人机飞手控制无人机沿线飞行，并在杆塔正上方停留记录坐标信息，构成线路杆塔台账，并保存飞行轨迹；
步骤S2、设备定位：无人机搭载RFID扫描设备和可见光相机，杆塔上的待验收设备上设置有RFID标签，RFID扫描设备扫描RFID标签来识别实物ID，并将实物ID与杆塔坐标进行绑定，从而实现设备定位；利用实物ID获取设备资产系统中的设备信息与现场张贴设备进行比对，将获取的设备资产的名称、型号以及设备关联的杆塔或设备与现场拍摄照片中张贴实物ID的设备进行比对，及时发现RFID标签张贴是否存在错误,其中，设备资产系统中的设备信息是预先制作RFID标签时生产的，包含设备编号，设备名称等信息。
步骤S3、图像采集：无人机飞行到预设的拍摄距离和角度，通过可见光相机对杆塔上的各设备拍照，获得可见光照片，拍照的目标包括设备目标和缺陷目标，设备主要包括变压器、熔断器、刀闸，设备目标尺寸较为集中，且尺寸较大，平均尺寸在185x195左右。主要缺陷目标是：缺销钉、散断股，缺陷目标尺寸较分散，且总体尺寸偏小，平均尺寸在51x48左右。在图像采集时，应尽可能考虑到数据集的丰富性，应分别考虑了光照，背景，拍摄距离，拍摄角度等情况，选择合适的拍照方式；
步骤S4、前端图像分析：在无人机上搭载前端识别模块接收可见光相机拍摄的配电线路可见光照片，采用改进的SSD目标检测算法进行设备目标识别分析，采用改进的Faster-Rcnn的配网缺陷检测算法进行缺陷目标分析，及时发现配电线路设备和施工工艺缺陷；
步骤S5、将前端识别模块的图像分析结果传输至智能验收系统，在智能验收系统中，人工再对自动识别的结果进行复核，及时纠正图像自动识别可能存在的错误，保证设备以及施工工艺缺陷定位的准确性；
步骤S6、配网线路自动建模：智能验收系统接收无人机采集的杆塔坐标、实物ID、可见光照片以及基于可见光照片自动识别的设备信息和缺陷信息，实现缺陷、设备、实物ID三位一体关联，同时与杆塔坐标进行绑定，自动实现配电线路自动建模；
步骤S7、配网线路成图展示：将配网线路台账数据在二维地图中进行实时成图展示，并将配电设备进行符号化。
本发明还包括数据统计：在前述所得数据的基础上，基于前端图像分析的设备信息与设备定位的实物ID，自动统计单条配电线路工程的设备使用数量，实现配电网工程关键设备数量自动统计，同时结合在智能验收系统设置中设置的关键设备单价，实现单条配电线路工程关键设备的造价自动统计。
本发明还包括配电线路勘查:在配电线路设计阶段利用无人机对待建设线路进行线路路径勘察和杆塔定位，并记录线路杆塔高精度坐标数据；在线路竣工验收时再利用无人机对竣工线路进行线路路径勘察和杆塔坐标采集，然后再与设计阶段的采集的线路路径信息和杆塔坐标进行对比分析输出配电线路建设是否存在线路偏移以及偏移是否合理等数据。
本发明的智能验收系统中建立施工工艺缺陷库：汇总智能验收系统中的施工工艺缺陷，建设配电线路施工工艺缺陷库，辅助制定配电线路竣工验收施工工艺缺陷标准等。
SSD目标检测算法原理如图2所示，SSD目标检测在整体结构上，分为三个大部分。第一部分为特征提取网络，第二部分为额外层，第三部分为分类与回归检测网络。SSD目标检测算法以VGG16作为特征提取网络，并将VGG16的全连接层fc6、fc7转换成卷积层；并添加额外层extra对VGG16提取到的特征进行进一步提取，最终在SSD模型中输出6种不同尺度的特征图，实现多尺度检测。
特征金字塔网络（Feature Pyramid Networks，FPN），主要解决的是目标检测任务中对多尺度变化处理不足的问题。在目标检测算法中使用多尺度特征图进行检测，一定程度上实现了对不同尺寸目标的检测，但低层特征图语义信息不足，高层特征图分辨率不足。
图3为多尺度特征图结构，在低层特征图上对小尺寸目标进行检测，在高层特征图上对大尺寸目标进行检测。虽然低层特征图分辨率较高，但由于语义信息较少，存在小尺寸目标检测效果不佳的问题。
图4为特征金字塔网络，依然采用多尺度特征图进行检测。但不同点在于，对于提取的多层特征图，不直接用于检测。为了解决低层特征图语义信息不足的问题，首先对具有丰富语义信息的高层特征图进行上采样，将上采样后具有丰富语义的特征图与对应的低层特征图逐元素相加融合特征，组成新的低层特征图，然后再进行检测。
特征金字塔网络（FPN）的特征融合过程中只包含简单1x1卷积以及逐元素相加操作，因而增加的计算量很小。但由于低层特征图融合了高层语义信息，可以提升小目标的检测效果。
深度残差网络：在深度学习中，模型的网络深度越深，网络的特征表达能力更强。但较深的网络在训练时会出现梯度消失的问题。深度残差网络（deep residual network，ResNet）提出了一种残差模块。对于一个堆积的卷积层组成的网络块，假设输入特征为x，网络块最终学习得到的特征记为F(x)，在使用残差网络中，学习目标不再是H(x)，而是学习残差F(x)=H(x)-x，之所以这样做，是因为残差学习相比原始特征直接学习更加容易，即使在网络冗余时，残差为0，此时网络块仅仅做恒等映射，至少不会引起梯度消失。
深度残差网络（ResNet）的结构如图5所示，在卷积块的起始与末尾处，添加一条额外的连接，使得输入x可以直达卷积块末尾。深度残差网络中的卷积块只需在x的基础上学习残差即可。
在采集的配网设备照片中，设备尺寸大小分布均匀，但各类别设备尺寸间存在明显差异。刀闸平均尺寸在156x174，变压器平均尺寸在339x324，熔断器平均尺寸在152,x164。本发明针对配网设备照片数据特点，本发明提出一种用于配电线路设备目标检测改进的SSD目标检测算法。在SSD目标检测算法基础上，进行了以下改进：
1）增大模型输入图像尺寸。原始SSD目标检测模型在模型训练以及最终进行预测时，模型输入图像为300x300像素，需先将待识别照片缩放到300x300像素，然后输入模型。在配网设备检测任务中，存在由于拍摄距离远造成的设备尺寸较小的问题，为改善该问题，本发明将模型的输入尺寸调整为640x640分辨率，保留了更多目标细节，提高了远距离小目标的检测效果。
2）替换模型特征提取网络。配网线路所处环境多变，且不同角度拍摄的照片差异较大。导致采集到的配网设备照片背景较为复杂，为增强模型特征提取能力，将SSD目标检测模型原始的VGG16特征提取网络更换为深度残差网络Resnet50。
深度残差网络Resnet50，在卷积块的起始与末尾处，添加一条额外的连接，使得输入x可以直达卷积块末尾。残差网络中的卷积块只需在x的基础上学习残差即可。残差学习相比原始特征直接学习更加容易，即使在网络冗余时，残差为0，此时网络块仅做恒等映射，至少不会引起梯度消失。深度残差网络Resnet50，采用残差模块进行特征学习。可以更好的训练深层网络，防止梯度消失等问题。而更深的网络往往具有更强的特征提取能力，对复杂场景的描述能力更强。
3）使用特征金字塔网络fpn对多尺度特征图进行特征融合。在深度残差网络中，浅层特征图分辨率较大，具有更好的细节描述，但语义信息不足；深层特征图感受的视野更大，特征变换更多，语义信息丰富，但分辨率不足，丢失了细节信息。为提高SSD目标检测模型对配网设备的检测效果。特征金字塔网络fpn对模型输出的6层多尺度特征图，从深到浅，依次对特征图进行上采样后与上一层特征图进行融合。使浅层高分辨率的特征图融合深层特征图丰富的语义信息，增强对小目标的检测效果。
本发明步骤S4中，改进的SSD目标检测算法结构如图6所示，第一部分为深度残差网络Resnet50，第二部分为额外层extra，第三部分为特征金字塔网络fpn，第四部分为分类与回归检测网络；首先将SSD目标检测算法模型的输入尺寸调整为640x640分辨率，采用深度残差网络Resnet50对所拍摄的设备目标照片进行特征提取，然后使用额外层extra对深度残差网络Resnet50提取到的特征进行进一步提取，输出6层多尺度特征图，之前再使用特征金字塔网络fpn对6层多尺度特征图进行特征融合，使浅层高分辨率的特征图融合深层特征图丰富的语义信息，增强对小目标的检测效果；最后由分类与回归检测网络输出设备目标检测结果。
Faster-Rcnn目标检测算法原理如图7所示，在深度学习目标检测领域，Faster-Rcnn作为单阶段目标检测算法，对小尺寸目标有较好检测效果，且相较于其他多阶段目标检测算法，具有更快的检测速度。Faster-Rcnn目标检测算法在结构上主要由四部分组成。第一部分为特征提取网络，第二部分是区域建议网络（region proposal network，RPN），第三部分为区域特征图生成网络，第四部分是分类与回归检测网络。Faster-Rcnn目标检测算法采用VGG16网络作为特征提取网络，用于实现对输入照片进行特征提取。然后将提取得到的特征图，输入到第二部分RPN网络中，计算得出存在需要识别的目标区域，作为感兴趣区域。在特征图上感兴趣区域，通过ROI pooling生成感兴趣区域特征图，然后进行分类与回归预测。
RPN网络是一个全卷积网络，极大的提升了感兴趣区域生成的速度。RPN网络详细结构图8所示，分为两个分支。第一个分支通过softmax对检测框进行分类，判断是目标还是背景；第二个分支计算检测框的偏移量。最终综合正反例概率与检测框偏移量，获得包含目标的精确检测框。由RPN计算得到的含有目标的精确检测框后，就可以在特征图上找到与精确检测框对应的含有目标的位置，也就是感兴趣区域。但感兴趣区域大小并不统一，不能直接进行分类与回归。为此需要将感兴趣区域输入ROI pooling中统一大小，然后进行分类与回归。
Inception网络的结构原理如图9所示，不同于其他卷积神经网络在加深网络深度方向发展，Inception网络拓宽了网络的宽度。Inception网络在宽度方向使用不同大小的卷积核进行特征提取，可以同时提取不同尺度的特征。
在采集的配网线路缺陷数据中，缺陷尺寸较小，且尺寸大小分布较分散。针对配网缺陷数据特点，本发明提出一直改进Faster-Rcnn的配网缺陷检测算法，在Faster-Rcnn目标检测算法基础上，进行了以下改进：
1）增大模型输入图像尺寸。在采集的配网缺陷数据中，原图大小为1420x946，但缺销子缺陷平均尺寸仅有45x45像素。使用原Faster-Rcnn模型的输入尺寸1000x800，就需要对原图进行缩小，待检测缺陷也会同步缩小三分之一，丢失更多的缺陷细节，导致网络难以对小目标进行有效学习。本发明在原图基础上，将缺陷图像长边下采样到1365像素或短边下采样到800像素，代替原始Faster-Rcnn中长边1000像素或短边600像素，增大训练图像尺寸，保留了更多缺陷细节，提高了对小目标缺陷的检测效果。
2）替换模型特征提取网络。配网缺陷目标尺寸差异较大，缺销子缺陷尺寸较小，宽高比较为固定；导线散断股缺陷尺寸较大，宽高比多变。差异较大的缺陷尺寸，对模型的识别造成了极大的干扰。为解决该问题，本发明将Faster-Rcnn目标检测模型特征提取网络VGG16替换为inception v2网络，以满足对不同尺度缺陷的特征提取。
本发明改进后的Faster-Rcnn配网缺陷检测算法模型结构如图10，由四部分组成。第一部分为Inception v2网络，第二部分是区域建议网络RPN，第三部分为区域特征图生成网络ROI pooling，第四部分是分类与回归检测网络。采用Inception v2网络作为特征提取网络，用于实现对输入照片进行特征提取，然后将提取得到的特征图，输入到第二部分区域建议网络RPN中，计算得出存在需要识别的目标区域，作为感兴趣区域；在特征图上的感兴趣区域，通过ROI pooling生成感兴趣区域特征图，然后进行分类与回归预测。
本发明的改进Faster-Rcnn配网缺陷检测算法可以大幅度提升配网缺陷检测效果。替换模型特征提取网络后，模型精度有所提升，但提升幅度不大，这是由于配网缺陷检测的的难点在于，缺陷目标较拍摄照片所占像素值较少，提升模型特征提取能力，并没有从根本上解决这个问题；增大照片尺寸后，缺陷目标保留了更多特征，模型精确度度与召回率均有大幅提升。
改进前后的SSD目标检测算法和Faster-Rcnn配网缺陷检测算法效果验证实验。采用精确度与召回率作为模型评价标准。
预测结果分为四种情况：
预测存在缺陷 预测不存在缺陷
真实存在缺陷 T<sub>P</sub>（真正例） F<sub>N</sub>（真负例）
真实不存在缺陷 F<sub>P</sub>（假正例） T<sub>N</sub>（假负例）
精确度计算公式如下：
Figure 669003DEST_PATH_IMAGE001
表示所有预测为正例中真实正例所占的比例。
召回率计算公式如下：
Figure 523826DEST_PATH_IMAGE002
召回率也称检出率，表示所有真实正例中，预测为正例所占的比例。
实验以采集的6268张配网设备与缺陷照片作为训练样本。数据以7:3的比例划分训练测试集。配网设备检测任务中，3259张照片作为训练集，1396张照片作为测试集，照片尺寸为640x640；配网缺陷检测任务中，1129张照片作为训练集，484张照片作为测试集，输入照片尺寸为1200x800。
实验使用的深度学习框架为tensorflow，使用的GPU设备为GTX2080TI。
配网设备检测模型训练时，批次大小设置为64，学习率设置为0.04，训练共迭代25000次。
配网缺陷检测模型训练时，批次大小设置为1，学习率设置为0.0002，分别在90000与120000迭代时学习率下降0.1，训练共迭代200000。
为验证本发明所改进算法有效性，分别对配网设备检测模型和缺陷检测模型进行实验。
设备检测效果如下表：
Figure 241247DEST_PATH_IMAGE003
从实验结果中可以看出，替换模型特征提取网络，对模型精度有所提升，提升大概在1.2%左右，对于复杂背景下的配网设备检测，使用resnet50替换VGG16后，增强了模型的特征提取能力；增大输入照片尺寸，可以显著提升模型精度，提升量在4.5%左右，这是由于，采集的配网照片中，存在较多远距离拍摄的照片，造成目标设备像素占比较少，增大输入图像尺寸，可以保留更多目标特征；使用fpn对多尺度特征图进行特征融合后，模型精度也有客观的提升，经分析得出，提升的精度主要来自于远距离拍摄目标，从实验方面证明fpn可以在提升小目标物的检测效果。针对配网设备检测，本文提出一种改进SSD的配网设备检测算法，经实验测试，本文所提算法精确度达到87.9%，召回率达到83.3%。
缺陷检测效果如下表：
Figure 636456DEST_PATH_IMAGE004
从实验结果可以得出，本文所提改进Faster-Rcnn算法可以大幅度提升配网缺陷检测效果。替换模型特征提取网络后，模型精度有所提升，但提升幅度不大，这是由于配网缺陷检测的的难点在于，缺陷目标较拍摄照片所占像素值较少，提升模型特征提取能力，并没有从根本上解决这个问题；增大照片尺寸后，缺陷目标保留了更多特征，模型精确度度与召回率均有大幅提升。针对配网线路缺陷目标检测，本发明提出一种改进Faster-Rcnn的配网缺陷检测算法，经实验测试，本发明所提算法精确度达到80.7%，召回率达到81.3%。

Claims (6)

1.一种配电线路无人机智能验收方法，其特征在于步骤如下：
步骤S1、外业飞行：无人机飞手控制无人机沿线飞行，并在杆塔正上方停留记录坐标信息，构成线路杆塔台账，并保存飞行轨迹；
步骤S2、设备定位：无人机搭载RFID扫描设备和可见光相机，杆塔上的待验收设备上设置有RFID标签，RFID扫描设备扫描RFID标签来识别实物ID，并将实物ID与杆塔坐标进行绑定，从而实现设备定位；利用实物ID获取设备资产系统中的设备信息与现场张贴设备进行比对，及时发现RFID标签张贴是否存在错误；
步骤S3、图像采集：无人机飞行到预设的拍摄距离和角度，通过可见光相机对杆塔上的各设备拍照，获得可见光照片，拍照的目标包括设备目标和缺陷目标，设备目标包括变压器、熔断器、刀闸；缺陷目标包括缺销钉、散断股；
步骤S4、前端图像分析：在无人机上搭载前端识别模块接收可见光相机拍摄的配电线路可见光照片，采用改进的SSD目标检测算法进行设备目标识别分析，采用改进的Faster-Rcnn配网缺陷检测算法进行缺陷目标分析，及时发现配电线路设备和施工工艺缺陷；
步骤S5、人工复核：将前端识别模块的图像分析结果传输至智能验收系统，在智能验收系统中，人工再对自动识别的结果进行复核，及时纠正图像自动识别存在的错误，保证设备以及施工工艺缺陷定位的准确性；
步骤S6、配网线路自动建模：智能验收系统接收无人机采集的杆塔坐标、实物ID、可见光照片以及基于可见光照片自动识别的设备信息和缺陷信息，实现缺陷、设备、实物ID三位一体关联，同时与杆塔坐标进行绑定，自动实现配电线路自动建模；
步骤S7、配网线路成图展示：将配网线路台账数据在二维地图中进行实时成图展示，并将配电设备进行符号化。
2.根据权利要求1所述的一种配电线路无人机智能验收方法，其特征在于：步骤S4中所改进的SSD目标检测算法，第一部分为深度残差网络Resnet50，第二部分为额外层extra，第三部分为特征金字塔网络fpn，第四部分为分类与回归检测网络；首先将SSD目标检测算法模型的输入尺寸调整为640x640分辨率，采用深度残差网络Resnet50对所拍摄的设备目标照片进行特征提取，然后使用额外层extra对深度残差网络Resnet50提取到的特征进行进一步提取，输出多尺度特征图，之前再使用特征金字塔网络fpn对多尺度特征图进行特征融合；最后由分类与回归检测网络输出设备目标检测结果。
3.根据权利要求1所述的一种配电线路无人机智能验收方法，其特征在于：步骤S4中所提改进的Faster-Rcnn配网缺陷检测算法，由四部分组成，第一部分为Inception v2网络，第二部分是区域建议网络RPN，第三部分为区域特征图生成网络ROI pooling，第四部分是分类与回归检测网络；采用Inception v2网络作为特征提取网络，用于实现对输入照片进行特征提取，然后将提取得到的特征图，输入到第二部分区域建议网络RPN中，计算得出存在需要识别的目标区域，作为感兴趣区域；在特征图上的感兴趣区域，通过ROI pooling生成感兴趣区域特征图，然后进行分类与回归预测。
4.根据权利要求1所述的一种配电线路无人机智能验收方法，其特征在于：还包括数据统计：基于前端图像分析的设备信息与设备定位的实物ID，自动统计单条配电线路工程的设备使用数量，实现配电网工程关键设备数量自动统计，同时结合在智能验收系统设置中设置的关键设备单价，实现单条配电线路工程关键设备的造价自动统计。
5.根据权利要求1所述的一种配电线路无人机智能验收方法，其特征在于：在配电线路设计阶段利用无人机对待建设线路进行线路路径勘察和杆塔定位，并记录线路杆塔高精度坐标数据；在线路竣工验收时再利用无人机对竣工线路进行线路路径勘察和杆塔坐标采集，然后再与设计阶段的采集的线路路径信息和杆塔坐标进行对比分析输出配电线路建设是否存在线路偏移以及偏移是否合理的数据。
6.根据权利要求1所述的一种配电线路无人机智能验收方法，其特征在于：智能验收系统中建立施工工艺缺陷库，汇总智能验收系统中的施工工艺缺陷，建设配电线路施工工艺缺陷库，辅助制定配电线路竣工验收施工工艺缺陷标准。
CN202110373707.7A 2021-04-07 2021-04-07 一种配电线路无人机智能验收方法 Active CN112801230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110373707.7A CN112801230B (zh) 2021-04-07 2021-04-07 一种配电线路无人机智能验收方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110373707.7A CN112801230B (zh) 2021-04-07 2021-04-07 一种配电线路无人机智能验收方法

Publications (2)

Publication Number Publication Date
CN112801230A CN112801230A (zh) 2021-05-14
CN112801230B true CN112801230B (zh) 2021-08-06

Family

ID=75816394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110373707.7A Active CN112801230B (zh) 2021-04-07 2021-04-07 一种配电线路无人机智能验收方法

Country Status (1)

Country Link
CN (1) CN112801230B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469099B (zh) * 2021-07-13 2024-03-15 北京航科威视光电信息技术有限公司 目标检测模型的训练方法、检测方法、装置、设备及介质
CN113762132B (zh) * 2021-09-01 2024-07-16 国网浙江省电力有限公司金华供电公司 一种无人机巡检图像自动归类与自动命名系统
CN113781450B (zh) * 2021-09-14 2024-08-27 中科百惟(云南)科技有限公司 一种基于输配电线路无人机图像采集自动化智能缺陷分析系统
CN114397306B (zh) * 2022-03-25 2022-07-29 南方电网数字电网研究院有限公司 一种电网均压环超复杂类别缺陷多阶段模型联合检测方法
CN114785956B (zh) * 2022-05-24 2024-06-14 云南电网有限责任公司红河供电局 一种输电线路停电检修作业全景勘察装置
CN115019210A (zh) * 2022-06-24 2022-09-06 国网河北省电力有限公司南宫市供电分公司 一种配电线路设备图模台账构建系统及方法
CN115514930B (zh) * 2022-08-22 2025-03-28 智洋创新科技股份有限公司 一种配网线路无人机智能巡检方法
CN115219852B (zh) * 2022-09-19 2023-03-24 国网江西省电力有限公司电力科学研究院 一种无人机配电线路的故障智能研判方法
CN116205905B (zh) * 2023-04-25 2023-07-21 合肥中科融道智能科技有限公司 基于移动端的配电网施工安全及质量图像检测方法及系统
CN116385952B (zh) * 2023-06-01 2023-09-01 华雁智能科技(集团)股份有限公司 配网线路小目标缺陷检测方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862395A (zh) * 2017-11-20 2018-03-30 国网山西省电力公司检修分公司 变电站智能验收及巡视告警方法
CN109239721A (zh) * 2018-09-04 2019-01-18 广东电网有限责任公司 一种输电线路杆塔倾斜度自动测量系统及其测量方法
CN112508404A (zh) * 2020-12-07 2021-03-16 云南电网有限责任公司普洱供电局 配电网设备运行的自动验收方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011163143A1 (en) * 2010-06-21 2011-12-29 Optimal Ranging, Inc. Uav power line position and load parameter estimation
CN111062298A (zh) * 2019-12-11 2020-04-24 深圳供电局有限公司 配电网电力设备目标识别方法和系统
CN111444857B (zh) * 2020-03-30 2022-11-15 国网河北省电力有限公司沧州供电分公司 无人机巡检数据处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862395A (zh) * 2017-11-20 2018-03-30 国网山西省电力公司检修分公司 变电站智能验收及巡视告警方法
CN109239721A (zh) * 2018-09-04 2019-01-18 广东电网有限责任公司 一种输电线路杆塔倾斜度自动测量系统及其测量方法
CN112508404A (zh) * 2020-12-07 2021-03-16 云南电网有限责任公司普洱供电局 配电网设备运行的自动验收方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112801230A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN112801230B (zh) 一种配电线路无人机智能验收方法
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN104881865B (zh) 基于无人机图像分析的森林病虫害监测预警方法及其系统
CN115240093B (zh) 基于可见光和激光雷达点云融合的输电通道自动巡检方法
CN110175993A (zh) 一种基于FPN的Faster R-CNN肺结核征象检测系统及方法
CN111582234B (zh) 基于uav和深度学习的大范围油茶林果智能检测与计数方法
CN109166094A (zh) 一种基于深度学习的绝缘子故障定位识别方法
CN109559302A (zh) 基于卷积神经网络的管道视频缺陷检测方法
CN114821376B (zh) 一种基于深度学习的无人机影像地质灾害自动提取方法
Rong et al. Pest Identification and Counting of Yellow Plate in Field Based on Improved Mask R‐CNN
CN113610040B (zh) 一种基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法
CN113657287B (zh) 一种基于深度学习改进YOLOv3的目标检测方法
CN116958643A (zh) 一种基于yolo网络的气传花粉致敏植物智慧识别方法
CN116468666A (zh) 一种专用于输电线路运维的巡检图像缺陷检测方法
CN113537293A (zh) 基于无人机和全卷积神经网络的小麦倒伏区域识别方法
CN114708519B (zh) 一种基于无人机遥感的麋鹿识别与形态轮廓参数提取方法
CN114140703A (zh) 一种森林松材线虫病害智能识别方法及系统
CN112560623A (zh) 一种基于无人机的红树植物种类快速识别方法
CN114898238A (zh) 一种野生动物遥感识别方法及装置
CN116091940A (zh) 一种基于高分辨率卫星遥感影像的作物分类和识别方法
CN118097465A (zh) 一种基于无人机图像和深度学习的田间稻穗定位识别方法
KR102416714B1 (ko) 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법
CN112004063B (zh) 一种基于多相机联动的卸油油管连接正确性的监控方法
CN117422677A (zh) 一种机载端用电力线路图像缺陷检测方法、装置及系统
CN112287787B (zh) 一种基于梯度直方图特征的作物倒伏分级方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Wenbin

Inventor after: Yu Yanwu

Inventor after: Xu Jingmin

Inventor after: Deng Zhixiang

Inventor after: Zheng Shujiang

Inventor before: Wang Wenbin

Inventor before: Yu Yanwu

Inventor before: Xu Jingmin

Inventor before: Deng Zhixiang

Inventor before: Zheng Shujiang

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210514

Assignee: WUHAN ZHONGCHU LUOJIA TECHNOLOGY Co.,Ltd.

Assignor: NANCHANG KECHEN ELECTRIC POWER TEST AND RESEARCH Co.,Ltd.

Contract record no.: X2023980034475

Denomination of invention: An Intelligent Acceptance Method for Unmanned Aerial Vehicles in Distribution Lines

Granted publication date: 20210806

License type: Common License

Record date: 20230406