CN116503375A - 基于CenterNet的输电设备缺陷识别方法及装置 - Google Patents
基于CenterNet的输电设备缺陷识别方法及装置 Download PDFInfo
- Publication number
- CN116503375A CN116503375A CN202310535119.8A CN202310535119A CN116503375A CN 116503375 A CN116503375 A CN 116503375A CN 202310535119 A CN202310535119 A CN 202310535119A CN 116503375 A CN116503375 A CN 116503375A
- Authority
- CN
- China
- Prior art keywords
- transmission equipment
- power transmission
- defect
- defect identification
- center point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 107
- 230000005540 biological transmission Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 30
- 239000012212 insulator Substances 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 5
- 230000009545 invasion Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 14
- 238000007689 inspection Methods 0.000 abstract description 6
- 238000005070 sampling Methods 0.000 abstract description 2
- 238000010438 heat treatment Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Quality & Reliability (AREA)
- Maintenance And Management Of Digital Transmission (AREA)
Abstract
本发明公开了基于CenterNet的输电设备缺陷识别方法及装置，首先通过基础网络提取特征图，然后经过上采样和3个卷积层分支，分别得到中心点热力、中心点偏移量和对象尺寸，再通过解码模块融合检测结果，实现对巡检图像中输电设备的缺陷智能识别；在精度上满足智能化巡检要求，且算法的网络结构简单、网络运行对内存的需求小，可端到端的训练，易于部署，可实现在线检测。
Description
技术领域
本发明属于图像处理技术领域，涉及基于CenterNet的输电设备缺陷识别方法，还涉及基于CenterNet的输电设备缺陷识别装置。
背景技术
随着数码摄像和计算机视觉技术的快速发展和广泛应用，采用无人机等搭载摄像机等手段实现高效、快速的输电线路巡检得到了迅速的推广。以机巡影像为数据源的电力设备诊断方式已经成为维持电力设备稳定运行的日常手段。现阶段大部分对于输电设备缺陷检测是使用基于锚框的目标检测算法，该类算法会在同一像素点上生成若干个不同大小和比例候选框，并通过NMS等方法对其进行筛选，然后再进行分类和回归。虽然在一定程度上可以解决目标尺度不一和遮挡的问题，提高检测精度，但为了降低漏检率，需要生成大量的锚框，这些锚框大多数被标记为负样本，这会导致正负样本间的不平衡，增加了训练的时长，同时大量的锚框增加了计算的复杂度和占用大量内存。
发明内容
本发明的目的是提供一种基于CenterNet的输电设备缺陷识别方法，解决了现有技术中存在的计算复杂度大、占用大量内存的问题。
本发明所采用的技术方案是，基于CenterNet的输电设备缺陷识别方法，包括以下步骤：
步骤1、获取输电设备的图片；
步骤2、建立基于CenterNet的输电设备缺陷识别模型；
步骤3、建立输电设备数据集，并将其分为训练集和测试集，将训练集输入输电设备状态缺陷识别模型进行训练；
步骤4、利用训练完成的输电设备状态缺陷识别模型进行输电设备状态缺陷识别，输出识别结果。
本发明的特点还在于：
步骤2输电设备状态缺陷识别模型包括关键点预测Y分支、中心点偏移量O分支、对象尺寸S分支及解码模块。
输电设备状态缺陷识别模型的识别方法为：将图片经过上采样后，通过关键点预测Y分支、中心点偏移量O分支、对象尺寸S分支，得到中心点热力图、中心点偏移和对象尺寸；中心点热力图、中心点偏移和对象尺寸进入解码模块对齐进行融合后得到目标边界框。
融合过程为：先根据中心点热力图得到中心点预测坐标再将其与中心点偏移量/>相加，得到偏移后的中心点坐标/>最后结合S分支的对象宽高/>生成目标边界框，公式如下所示：
步骤3具体包括以下步骤：
步骤3.1、收集若干张无人机拍摄的高分辨率的电力输送设备缺陷图像，电力输送设备缺陷图像的缺陷类型包括杆塔缺陷和绝缘子缺陷，杆塔缺陷包括杆塔锈蚀和杆塔异物入侵，绝缘子缺陷包括绝缘子套脱落、绝缘子污秽和绝缘子裂纹；
步骤3.2、按照PASCAL VOC的标记格式对电力输送设备缺陷图像中多个缺陷目标进行标注，生成XML文件，XML文件中包括标记框的坐标、缺陷类型。
步骤4识别结果为目标边界框、缺陷类型和置信度。
本发明的另一目的是提供一种基于CenterNet的输电设备缺陷识别装置。
本发明所采用的另一技术方案是，基于CenterNet的输电设备缺陷识别装置，包括：
图片获取模块，用于获取输电设备的图片；
缺陷识别模型建立模块，用于建立基于CenterNet的输电设备缺陷识别模型；
模型训练模块，用于建立输电设备数据集，并将其分为训练集和测试集，将训练集输入输电设备状态缺陷识别模型进行训练；
缺陷识别模块，用于利用训练完成的输电设备状态缺陷识别模型进行输电设备状态缺陷识别，输出识别结果。
本发明的有益效果是：本发明基于CenterNet的输电设备缺陷识别方法，采用Anchor Free的目标检测算法，通过对巡检图像中输电设备的中心点和边界信息的检测实现缺陷识别，相比基于锚框的目标检测算法能缩短训练时间；在精度上满足智能化巡检要求，且算法的网络结构简单、网络运行对内存的需求小，可端到端的训练，易于部署，可实现在线检测。
附图说明
图1是本发明基于CenterNet的输电设备缺陷识别方法的流程图；
图2是本发明基于CenterNet的输电设备缺陷识别方法中输电设备状态缺陷识别模型的结构图；
图3是本发明基于CenterNet的输电设备缺陷识别方法对杆塔锈蚀的识别结果；
图4是本发明基于CenterNet的输电设备缺陷识别方法对绝缘子裂纹的识别结果；
图5是本发明基于CenterNet的输电设备缺陷识别方法对绝缘子污秽的识别结果；
图6是本发明基于CenterNet的输电设备缺陷识别方法对杆塔异物的识别结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
实施例1
基于CenterNet的输电设备缺陷识别方法，如图1所示，包括以下步骤：
步骤1、获取输电设备的图片；
步骤2、建立基于CenterNet的输电设备缺陷识别模型；
步骤3、建立输电设备数据集，并将其分为训练集和测试集，将训练集输入输电设备状态缺陷识别模型进行训练；
步骤4、利用训练完成的输电设备状态缺陷识别模型进行输电设备状态缺陷识别，输出识别结果。
实施例2
基于CenterNet的输电设备缺陷识别方法，包括以下步骤：
步骤1、获取输电设备的图片；
步骤2、建立基于CenterNet的输电设备缺陷识别模型；
具体的，如图2所示，输电设备状态缺陷识别模型包括关键点预测Y分支、中心点偏移量O分支、对象尺寸S分支及解码模块。输电设备状态缺陷识别模型的识别方法为：输电设备的图片经过上采样后，通过关键点预测Y分支、中心点偏移量O分支及对象尺寸S分支3个卷积层卷积，得到中心点热力图、中心点偏移和对象尺寸；先根据中心点热力图得到中心点预测坐标再将其与中心点偏移量/>相加，得到偏移后的中心点坐标最后结合S分支的对象宽高/>生成目标边界框，公式如下所示：
步骤3、建立输电设备数据集，并将其分为训练集和测试集，将训练集输入输电设备状态缺陷识别模型进行训练；
步骤3.1、收集1200张无人机拍摄的高分辨率的电力输送设备缺陷图像，电力输送设备缺陷图像的缺陷类型包括杆塔缺陷和绝缘子缺陷，杆塔缺陷图像为500张，杆塔缺陷包括杆塔锈蚀和杆塔异物入侵，绝缘子缺陷图像为700张，绝缘子缺陷包括绝缘子套脱落、绝缘子污秽和绝缘子裂纹；
步骤3.2、按照PASCAL VOC的标记格式对电力输送设备缺陷图像中超过2800个缺陷目标进行标注，生成XML文件，XML文件中包括标记框的坐标、缺陷类型。
步骤4、利用训练完成的输电设备状态缺陷识别模型进行输电设备状态缺陷识别，输出目标边界框、缺陷类型和置信度。如图3-6所示，分别为模型对杆塔锈蚀、绝缘子裂纹、绝缘子污秽和杆塔异物的检测结果。
实施例3
基于CenterNet的输电设备缺陷识别装置，包括：
图片获取模块，用于获取输电设备的图片；
缺陷识别模型建立模块，用于建立基于CenterNet的输电设备缺陷识别模型；
模型训练模块，用于建立输电设备数据集，并将其分为训练集和测试集，将所述训练集输入输电设备状态缺陷识别模型进行训练；
缺陷识别模块，用于利用训练完成的输电设备状态缺陷识别模型进行输电设备状态缺陷识别，输出识别结果。
通过以上方式，本发明基于CenterNet的输电设备缺陷识别方法，采用AnchorFree的目标检测算法，通过对巡检图像中输电设备的中心点和边界信息的检测实现缺陷识别，相比基于锚框的目标检测算法能缩短训练时间；在精度上满足智能化巡检要求，且算法的网络结构简单、网络运行对内存的需求小，可端到端的训练，易于部署，可实现在线检测。
Claims (7)
1.基于CenterNet的输电设备缺陷识别方法，其特征在于，包括以下步骤：
步骤1、获取输电设备的图片；
步骤2、建立基于CenterNet的输电设备缺陷识别模型；
步骤3、建立输电设备数据集，并将其分为训练集和测试集，将所述训练集输入输电设备状态缺陷识别模型进行训练；
步骤4、利用训练完成的输电设备状态缺陷识别模型进行输电设备状态缺陷识别，输出识别结果。
2.根据权利要求1所述的基于CenterNet的输电设备缺陷识别方法，其特征在于，步骤2所述输电设备状态缺陷识别模型包括关键点预测Y分支、中心点偏移量O分支、对象尺寸S分支及解码模块。
3.根据权利要求2所述的基于CenterNet的输电设备缺陷识别方法，其特征在于，所述输电设备状态缺陷识别模型的识别方法为：将所述图片经过上采样后，通过关键点预测Y分支、中心点偏移量O分支、对象尺寸S分支，得到中心点热力图、中心点偏移和对象尺寸；所述中心点热力图、中心点偏移和对象尺寸进入解码模块对齐进行融合后得到目标边界框。
4.根据权利要求3所述的基于CenterNet的输电设备缺陷识别方法，其特征在于，所述融合过程为：先根据中心点热力图得到中心点预测坐标再将其与中心点偏移量相加，得到偏移后的中心点坐标/>最后结合S分支的对象宽高生成目标边界框，公式如下所示：
5.根据权利要求1所述的基于CenterNet的输电设备缺陷识别方法，其特征在于，步骤3具体包括以下步骤：
步骤3.1、收集若干张无人机拍摄的高分辨率的电力输送设备缺陷图像，所述电力输送设备缺陷图像的缺陷类型包括杆塔缺陷和绝缘子缺陷，所述杆塔缺陷包括杆塔锈蚀和杆塔异物入侵，所述绝缘子缺陷包括绝缘子套脱落、绝缘子污秽和绝缘子裂纹；
步骤3.2、按照PASCAL VOC的标记格式对所述电力输送设备缺陷图像中多个缺陷目标进行标注，生成XML文件，XML文件中包括标记框的坐标、缺陷类型。
6.根据权利要求1所述的基于CenterNet的输电设备缺陷识别方法，其特征在于，步骤4所述识别结果为目标边界框、缺陷类型和置信度。
7.基于CenterNet的输电设备缺陷识别装置，其特征在于，包括：
图片获取模块，用于获取输电设备的图片；
缺陷识别模型建立模块，用于建立基于CenterNet的输电设备缺陷识别模型；
模型训练模块，用于建立输电设备数据集，并将其分为训练集和测试集，将所述训练集输入输电设备状态缺陷识别模型进行训练；
缺陷识别模块，用于利用训练完成的输电设备状态缺陷识别模型进行输电设备状态缺陷识别，输出识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310535119.8A CN116503375A (zh) | 2023-05-12 | 2023-05-12 | 基于CenterNet的输电设备缺陷识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310535119.8A CN116503375A (zh) | 2023-05-12 | 2023-05-12 | 基于CenterNet的输电设备缺陷识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116503375A true CN116503375A (zh) | 2023-07-28 |
Family
ID=87328275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310535119.8A Pending CN116503375A (zh) | 2023-05-12 | 2023-05-12 | 基于CenterNet的输电设备缺陷识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503375A (zh) |
-
2023
- 2023-05-12 CN CN202310535119.8A patent/CN116503375A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599445A (zh) | 一种电网螺母和销的目标鲁棒检测与缺陷识别方法及装置 | |
| CN114743119B (zh) | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 | |
| CN111967313B (zh) | 一种深度学习目标检测算法辅助的无人机图像标注方法 | |
| US20220366682A1 (en) | Computer-implemented arrangements for processing image having article of interest | |
| CN111914720B (zh) | 一种输电线路绝缘子爆裂识别方法及装置 | |
| CN114973002A (zh) | 一种基于改进的YOLOv5的麦穗检测方法 | |
| CN112967255A (zh) | 一种基于深度学习的盾构管片缺陷类型识别及定位系统及其方法 | |
| CN114596278A (zh) | 一种用于光伏电站的光伏面板热斑缺陷检测方法及装置 | |
| CN110598698A (zh) | 基于自适应区域建议网络的自然场景文本检测方法和系统 | |
| WO2023207064A1 (zh) | 基于弱光补偿的MaskRCNN渗水检测方法及系统 | |
| CN114973032A (zh) | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 | |
| CN111507398A (zh) | 基于目标检测的变电站金属仪器锈蚀识别方法 | |
| CN116597270A (zh) | 基于注意力机制集成学习网络的道路损毁目标检测方法 | |
| CN112750113A (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
| CN114898243A (zh) | 基于视频流的交通场景解析方法以及装置 | |
| CN115661097A (zh) | 一种物体表面缺陷检测方法及系统 | |
| CN114663382A (zh) | 基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法 | |
| CN111915565B (zh) | 一种基于yolact算法对输变电线路瓷瓶裂缝实时分析方法 | |
| CN116580026B (zh) | 精密零部件外观缺陷自动光学检测方法、设备及存储介质 | |
| CN111612803B (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
| CN116485802A (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
| CN114758002B (zh) | 一种基于航拍图像的光伏组串位置确定方法及系统 | |
| CN116385465A (zh) | 图像分割模型的构建及图像分割方法、系统、设备和介质 | |
| CN116503375A (zh) | 基于CenterNet的输电设备缺陷识别方法及装置 | |
| CN115131335A (zh) | 一种输电线路销钉缺失检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |