CN115131357B - 一种输电通道挂空悬浮物检测方法 - Google Patents

一种输电通道挂空悬浮物检测方法 Download PDF

Info

Publication number
CN115131357B
CN115131357B CN202211059753.0A CN202211059753A CN115131357B CN 115131357 B CN115131357 B CN 115131357B CN 202211059753 A CN202211059753 A CN 202211059753A CN 115131357 B CN115131357 B CN 115131357B
Authority
CN
China
Prior art keywords
loss
model
training
yolov5l
yolov5s
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211059753.0A
Other languages
English (en)
Other versions
CN115131357A (zh
Inventor
赵裕成
康凯
艾坤
王子磊
刘海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongke Leinao Intelligent Technology Co ltd
Original Assignee
Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zhongke Leinao Intelligent Technology Co ltd filed Critical Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority to CN202211059753.0A priority Critical patent/CN115131357B/zh
Publication of CN115131357A publication Critical patent/CN115131357A/zh
Application granted granted Critical
Publication of CN115131357B publication Critical patent/CN115131357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种输电通道挂空悬浮物检测方法，属于挂空悬浮物检测技术领域，包括以下步骤：制作目标检测数据集；数据增强；在训练中加入无目标负样本图片；知识蒸馏。本发明通过在输电通道的随机位置进行随机地挂空悬浮物贴图，贴图后进行先腐蚀再膨胀、直方图均质化等操作使得贴图更加真实化，丰富训练集数据；增加无目标负样本背景数据，训练时减少负样本损失权重，增加模型对不同场景的鲁棒性；加入了知识蒸馏，根据yolov5L预测结果与label进行比较，构建蒸馏损失正负样本，通过正负样本求出蒸馏损失并加入训练，值得被推广使用。

Description

一种输电通道挂空悬浮物检测方法
技术领域
本发明涉及挂空悬浮物检测技术领域，具体涉及一种输电通道挂空悬浮物检测方法。
背景技术
输电通道（即输电线路）是国家电网的重要组成部分，由于输电通道的跨度大，通常都会横跨数百公里，非常容易遭受各种自然环境或人为因素的影响从而导致挂空悬浮物的出现（挂空悬浮物是指风筝、塑料袋等常见异物由于人为操作不当或者风的作用悬挂在输电通道或者输电设备上）。挂空悬浮物导致供电故障。因此，需要长期对输电通道的运行状态进行监测，目前一般采用人工巡线方式来达到这一要求，但是输电通道纵横跨度大、分布地形复杂；线路状态参数种类繁多，很多环节不易人工发现，不能及时掌握线路状态。因此需要一种自动的、准确的、实时的监测方式，来实现输电通道状态的全天候在线监测与管理。
针对需求选择使用目标检测算法。目标检测任务是找出图像或视频中人们感兴趣的物体，并同时检测出它们的位置和大小。目标检测不同于图像分类任务，目标检测不仅要解决分类问题，还要解决定位问题，是属于Multi-Task（多任务学习）的问题。经过多年的发展，最优秀的目标检测系统整合了大量技巧，例如多尺度检测，难分样本发掘，基于先验框的回归等等。
在现有技术中，公告号为CN109631848B的中国发明专利使用分类网络（SVM分类器）来评判是否存在异物；但巡检人员通过异物报错无法快速找到异物的位置，当存在误检时，会增大巡检人员查找异物的时间，造成效率低下；公告号为CN109801265B的中国发明专利中使用Faster-rcnn目标检测算法，但Faster-rcnn与目前先进的检测算法比在检测精度上有较大差距。
为解决上述技术问题，提出一种输电通道挂空悬浮物检测方法。
发明内容
本发明所要解决的技术问题在于：如何解决现有技术中存在的问题，提供了一种输电通道挂空悬浮物检测方法，本方法将yolov5目标检测算法用于输电通道挂空悬浮物检测上，提升模型对不同输电通道场景的鲁棒性，解决了数据样本单一，数据量少的问题，改进模型蒸馏时正样本的选取方式，提升小模型的检测准确率。
本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
步骤S1：制作目标检测数据集
使用标注工具对原始数据图片进行左上角、右下角进行标注，数据归一化处理后生成标签，标签格式为类别加矩形的中心点和宽高；
步骤S2：数据增强
额外训练一个分割模型，将所有训练图片通过分割模型获取电线所在区域，在分割出的电线所在区域中选取一个随机中心点将随机的悬浮物贴在此处，对图像粘贴区域进行图像处理，再将贴入的挂空悬浮物坐标输入训练标签中进行训练；对输入图片使用常规数据增强方式进行处理，生成数据增强后的数据集；
步骤S3：在训练中加入无目标负样本图片
将设定数量的无目标负样本图片加入到步骤S2中的数据集中，形成训练集，利用训练集训练yolov5L目标检测网络，得到挂空悬浮物检测模型；
步骤S4：知识蒸馏
通过知识蒸馏固定S3中训练得到的yolov5L模型的权重参数，利用该权重参数辅助训练yolov5s目标检测网络，得到知识蒸馏后的yolov5s模型，保存训练完成的yolov5s模型，输入测试集中的缺陷图片，经过非极大值抑制处理后检测出挂空悬浮物的位置。
更进一步地，在所述步骤S1中，数据归一化方式采用目标框坐标除以图像宽、高值的方式。
更进一步地，在所述步骤S2中，对图像粘贴区域进行处理的方式是先进行腐蚀处理、再进行膨胀处理、最后进行直方图均质化处理。
更进一步地，在所述步骤S3中，负样本只产生置信度损失，将损失权重设为原来的0.8，得到：
Figure 575179DEST_PATH_IMAGE001
其中，Loss1为yolov5网络输出与标签label所计算出的损失，pos_box代表正样本边框回归损失，pos_obj代表正样本置信度损失，pos_cls代表正样本置信度损失，neg_obj代表负样本置信度损失，pos代表正样本，neg代表负样本，box表示边框回归损失，obj表示置信度损失，cls表示分类损失。
更进一步地，在所述步骤S4中，得到蒸馏后的yolov5s模型的具体过程为：
步骤S41：通过步骤S3中的训练得到yolov5L模型；
步骤S42：yolov5L目标检测网络的参数被固定不进行更新；训练时同一批数据增强后的训练数据会分别经过yolov5s与yolov5L目标检测网络，分别得到yolov5s模型与yolov5L模型的3个输出特征层；
步骤S43：计算总损失，并利用计算得到的总损失进行知识蒸馏。
更进一步地，在所述步骤S43中，总损失的计算公式如下：
Figure 302963DEST_PATH_IMAGE002
其中，loss2为蒸馏损失。
更进一步地，蒸馏损失计算过程如下：
步骤S431：将yolov5L目标检测网络得到3个输出层进行解码，解码后结果代表先验框经过调整后在原图上的预测框，将预测结果与真实标签进行IOU阈值判断；
步骤S432：若存在同一类的真实框与预测框的IOU大于设定阈值，则称为正样本，反之为负样本；
步骤S433：通过得到的正样本对应的mask，计算边框回归损失、分类损失、置信度损失三者相加后得到蒸馏损失。
更进一步地，在所述步骤S433中，边框回归损失的计算公式如下：
Figure 260555DEST_PATH_IMAGE003
其中，
Figure 230523DEST_PATH_IMAGE004
表示yolov5s模型预测框与yolov5L模型预测框的交并比，
Figure 222750DEST_PATH_IMAGE005
和
Figure 855856DEST_PATH_IMAGE006
分别表示yolov5s模型预测框与yolov5L模型预测框的中心点，
Figure 566323DEST_PATH_IMAGE007
表示欧式距离，
Figure 310288DEST_PATH_IMAGE008
表示yolov5s模型预测框与yolov5L模型预测框的最小外接矩形的对角线距离，
Figure 157022DEST_PATH_IMAGE009
作为权衡参数
Figure 226609DEST_PATH_IMAGE010
，
Figure 158793DEST_PATH_IMAGE011
是用于衡量长宽比一致性的参数
Figure 470563DEST_PATH_IMAGE012
，
Figure 702961DEST_PATH_IMAGE013
，
Figure 677871DEST_PATH_IMAGE014
为yolov5s模型预测框的宽高，
Figure 362930DEST_PATH_IMAGE015
，
Figure 714277DEST_PATH_IMAGE016
为yolov5L模型预测框的宽高；最后乘以mask过滤去除负样本再求和得到
Figure 535602DEST_PATH_IMAGE017
。
更进一步地，在所述步骤S433中，分类损失的计算公式如下：
Figure 884675DEST_PATH_IMAGE018
其中，
Figure 47845DEST_PATH_IMAGE019
，
Figure 202883DEST_PATH_IMAGE020
，
Figure 878715DEST_PATH_IMAGE021
是yolov5s模型预测的分类结果，
Figure 461006DEST_PATH_IMAGE022
是yolov5L模型预测的分类结果。
更进一步地，在所述步骤S433中，置信度损失的计算公式如下：
Figure 855078DEST_PATH_IMAGE023
其中，
Figure 548227DEST_PATH_IMAGE024
，
Figure 344145DEST_PATH_IMAGE025
，
Figure 595873DEST_PATH_IMAGE026
是yolov5s模型预测的置信度结果，
Figure 211662DEST_PATH_IMAGE027
是yolov5L模型预测的置信度结果。
本发明相比现有技术具有以下优点：该输电通道挂空悬浮物检测方法，通过在输电通道的随机位置进行随机地挂空悬浮物贴图，贴图后进行先腐蚀再膨胀、直方图均质化等操作使得贴图更加真实化，丰富训练集数据；增加无目标负样本背景数据，训练时减少负样本损失权重，增加模型对不同场景的鲁棒性；加入了知识蒸馏，根据yolov5L预测结果与label进行比较，构建蒸馏损失正负样本，通过正负样本求出蒸馏损失并加入训练，值得被推广使用。
附图说明
图1是本发明实施例中输电通道挂空悬浮物检测方法的流程示意图；
图2是本发明实施例中大模型yolov5L正样本预测置信度分布示意图；
图3是本发明实施例中大模型yolov5L负样本预测置信度分布示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，其中，yolov5s与yolov5L目标检测网络为标准的yolov5架构，输出层1、输出层2和输出层3是yolov5网络的三个标准输出特征层，本实施例提供一种技术方案：一种输电通道挂空悬浮物检测方法，包括以下步骤：
步骤1：制作输电通道挂空悬浮物目标检测数据集
使用Labelme工具对原始数据图片进行左上角、右下角进行标注；归一化后(数据归一化方式采用目标框坐标除以图像宽、高值的方式)生成标签，标签格式为类别+矩形的中心点和宽高（class，centerx，centery，width，height）；
步骤1完成后本可以直接输入网络进行训练，但在输电场景中存在数据量较少的问题。在挂空悬浮物的数据中有大部分数据属于无人机在不同角度拍摄的同一悬浮物，亦或是同一摄像头在不同帧拍摄的同一悬浮物，虽然在数据获取阶段进行了抽帧处理，但还是存在相似度较高的训练数据；所以图片在输入网络前进行数据增强是必不可少的一步。
步骤2：数据增强
步骤2.1：额外训练一个分割模型用于分割电线区域，将所有训练图片通过分割模型获取电线所在区域（每张图片电线对应区域保存在一个文件中）。然后爬取了约500张悬浮物的图片，接着在数据增强过程中在分割出的电线所在区域中选取一个随机中心点将随机的悬浮物贴在此处，接下来对图像粘贴区域进行先腐蚀再膨胀、直方图均质化等操作使得贴图更加真实化；最后将贴入的挂空悬浮物坐标输入训练标签中进行训练；
步骤2.2：再采用传统的数据处理方式进行数据增强。对输入图片使用常用的数据增强方式如翻转、色调变化、旋转、Mosaic增强(随机使用4张图片，随机缩放，再随机分布进行拼接，大大丰富了检测数据集，特别是随机缩放增加了很多小目标，让网络的鲁棒性更好)、CutMix增强(随机的将样本中的部分区域cut掉，并且填充0像素值，分类的结果不变)等。
步骤2完成后，将增强后的数据集传入yolov5L网络进行训练，得到挂空悬浮物检测模型，但是在测试时发现，对训练集外的其他场景中会在背景中出现较多误检，模型鲁棒性较差，针对此问题，考虑到是训练集背景单一所致，于是在训练集中加入无关负样本图片增加模型对其他场景的鲁棒性。
步骤3：在训练中加入无目标负样本图片
步骤3.1：爬取约3000张不同场景的风景照，加上约4000张VOC数据集加入训练集进行训练；负样本只产生置信度损失，将损失权重设为原来的0.8：
Figure 708502DEST_PATH_IMAGE028
其中，Loss1为yolov5网络输出与标签label所计算出的损失，pos_box代表正样本边框回归损失，pos_obj代表正样本置信度损失，pos_cls代表正样本置信度损失，neg_obj代表负样本置信度损失，pos代表正样本，neg代表负样本，box表示边框回归损失，obj表示置信度损失，cls表示分类损失。
通过步骤3对数据集的扩充重新训练挂空悬浮物检测模型，在训练实验中对比发现yolov5s训练出的模型比yolov5L训练出的模型在检测精确度上少了接近5个点，但是在项目部署时由于算力限制无法部署较大模型(例如yolov5L)只能选择部署小模型（例如yolov5s），所以对小模型精度的提升成为下一阶段的任务。
步骤4：知识蒸馏，通过“大模型”yolov5L作为指导训练yolov5s；
步骤4.1：通过步骤3训练得到大模型yolov5L。
步骤4.2：如图1所示，yolov5L目标检测网络的参数会被固定不进行更新。训练时同一批数据增强后的训练数据会分别经过yolov5s与yolov5L目标检测网络，分别得到3个输出层。
步骤4.3：计算蒸馏损失
步骤4.3.1：计算损失loss1，yolov5s网络的输出结果会与标签label计算得到损失loss1(这部分就是普通yolov5网络的损失)。
步骤4.3.2：计算损失loss2，loss2也被称为蒸馏损失，传统的知识蒸馏一般用于分类任务，但是目标检测任务与之不同，所以设计了新的蒸馏损失计算方法整体思路如下：将输出层分别进行解码，根据解码后的结果与label进行IOU（交并比）的阈值判断，大于IOU阈值的预测框称为正样本，反之称为负样本。正样本产生边框回归损失、置信度损失和分类损失，负样本只产生置信度损失。这样做的目的是因为这里的输出结果是yolov5L的预测结果，预测值的目标是将先验框进行调整得到真实框，对于附近不存在真实框的先验框来说，预测得到的边框回归值与分类值是没有任何学习意义的，所以对于这部分的损失不进行计算。
具体操作如下：将yolov5L目标检测网络得到3个输出层进行解码，解码后结果代表先验框经过调整后在原图上的预测框，将预测结果与真实标签Label进行IOU阈值判断，IOU阈值设为0.5，若存在同一类的真实框与预测框的IOU>0.5，则称为正样本，反之为负样本。通过IOU>0.5得到正样本对应的mask（掩码）。边框回归损失使用Ciou_loss，置信度和分类损失均使用交叉熵损失，公式如下：
边框回归损失：
Figure 358926DEST_PATH_IMAGE029
其中，
Figure 283020DEST_PATH_IMAGE030
表示yolov5s模型预测框与yolov5L模型预测框的交并比，
Figure 917264DEST_PATH_IMAGE005
和
Figure 952216DEST_PATH_IMAGE006
分别表示yolov5s模型预测框与yolov5L模型预测框的中心点，
Figure 457146DEST_PATH_IMAGE007
表示欧式距离，
Figure 552141DEST_PATH_IMAGE031
表示yolov5s模型预测框与yolov5L模型预测框的最小外接矩形的对角线距离，
Figure 375479DEST_PATH_IMAGE009
作为权衡参数
Figure 479701DEST_PATH_IMAGE010
，
Figure 104717DEST_PATH_IMAGE011
是用于衡量长宽比一致性的参数
Figure 370613DEST_PATH_IMAGE032
，
Figure 448291DEST_PATH_IMAGE013
，
Figure 825046DEST_PATH_IMAGE014
为yolov5s模型预测框的宽高，
Figure 38989DEST_PATH_IMAGE015
，
Figure 741366DEST_PATH_IMAGE016
为yolov5L模型预测框的宽高；最后乘以mask过滤去除负样本再求和得到
Figure 804875DEST_PATH_IMAGE017
；
分类损失：
Figure 719741DEST_PATH_IMAGE033
其中，
Figure 319350DEST_PATH_IMAGE034
，
Figure 927049DEST_PATH_IMAGE035
，
Figure 713739DEST_PATH_IMAGE036
是yolov5s模型预测的分类结果，
Figure 697875DEST_PATH_IMAGE022
是yolov5L模型预测的分类结果。
置信度损失：
Figure 151991DEST_PATH_IMAGE037
其中，
Figure 429126DEST_PATH_IMAGE024
，
Figure 703112DEST_PATH_IMAGE025
，
Figure 225361DEST_PATH_IMAGE026
是yolov5s模型预测的置信度结果，
Figure 533982DEST_PATH_IMAGE027
是yolov5L模型预测的置信度结果。
最后得到Loss2损失：
Figure 749063DEST_PATH_IMAGE038
。
步骤4.3.3：计算总损失：
Figure 775925DEST_PATH_IMAGE039
。
通过蒸馏技术，固定大模型yolov5L的权重参数来训练更新yolov5s模型参数，最终蒸馏后的yolov5s模型对比原始不蒸馏yolov5s模型在测试集上map高出约两个点，成功提升模型检测精确度。最后保存训练好的yolov5s模型，输入测试的缺陷图片，经过NMS（非极大值抑制）处理后可检测出挂空悬浮物的位置。
综上所述，上述实施例的输电通道挂空悬浮物检测方法，通过在输电通道的随机位置进行随机地挂空悬浮物贴图，贴图后进行先腐蚀再膨胀、直方图均质化等操作使得贴图更加真实化，丰富训练集数据；增加无目标负样本背景数据，训练时减少负样本损失权重，增加模型对不同场景的鲁棒性；加入了知识蒸馏，根据yolov5L预测结果与label进行比较，构建蒸馏损失正负样本，通过正负样本求出蒸馏损失并加入训练，值得被推广使用。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种输电通道挂空悬浮物检测方法，其特征在于，包括以下步骤：
步骤S1：制作目标检测数据集
使用标注工具对原始数据图片进行左上角、右下角进行标注，数据归一化处理后生成标签，标签格式为类别加矩形的中心点和宽高；
步骤S2：数据增强
额外训练一个分割模型，将所有训练图片通过分割模型获取电线所在区域，在分割出的电线所在区域中选取一个随机中心点将随机的悬浮物贴在此处，对图像粘贴区域进行图像处理，再将贴入的挂空悬浮物坐标输入训练标签中进行训练；对输入图片使用常规数据增强方式进行处理，生成数据增强后的数据集；
步骤S3：在训练中加入无目标负样本图片
将设定数量的无目标负样本图片加入到步骤S2中的数据集中，形成训练集，利用训练集训练yolov5L目标检测网络，得到挂空悬浮物检测模型；
步骤S4：知识蒸馏
通过知识蒸馏固定S3中训练得到的yolov5L模型的权重参数，利用该权重参数辅助训练yolov5s目标检测网络，得到知识蒸馏后的yolov5s模型，保存训练完成的yolov5s模型，输入测试集中的缺陷图片，经过非极大值抑制处理后检测出挂空悬浮物的位置；
在所述步骤S4中，得到蒸馏后的yolov5s模型的具体过程为：
步骤S41：通过步骤S3中的训练得到yolov5L模型；
步骤S42：yolov5L目标检测网络的参数被固定不进行更新；训练时同一批数据增强后的训练数据会分别经过yolov5s与yolov5L目标检测网络，分别得到yolov5s模型与yolov5L模型的3个输出特征层；
步骤S43：计算总损失，并利用计算得到的总损失进行知识蒸馏；
在所述步骤S43中，总损失的计算公式如下：
Figure DEST_PATH_IMAGE001
其中，Loss1为yolov5网络输出与标签label所计算出的损失，loss2为蒸馏损失；
步骤S431：将yolov5L目标检测网络得到3个输出层进行解码，解码后结果代表先验框经过调整后在原图上的预测框，将预测结果与真实标签进行IOU阈值判断；
步骤S432：若存在同一类的真实框与预测框的IOU大于设定阈值，则称为正样本，反之为负样本；
步骤S433：通过得到的正样本对应的mask，计算边框回归损失、分类损失、置信度损失三者相加后得到蒸馏损失；
在所述步骤S433中，边框回归损失的计算公式如下：
Figure 519146DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
表示yolov5s模型预测框与yolov5L模型预测框的交并比，
Figure 639549DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE005
分别表示yolov5s模型预测框与yolov5L模型预测框的中心点，
Figure 91390DEST_PATH_IMAGE006
表示欧式距离，
Figure DEST_PATH_IMAGE007
表示yolov5s模型预测框与yolov5L模型预测框的最小外接矩形的对角线距离，
Figure 922817DEST_PATH_IMAGE008
作为权衡参数，
Figure DEST_PATH_IMAGE009
，
Figure 940452DEST_PATH_IMAGE010
是用于衡量长宽比一致性的参数，
Figure DEST_PATH_IMAGE011
，
Figure 700598DEST_PATH_IMAGE012
，
Figure DEST_PATH_IMAGE013
为yolov5s模型预测框的宽高，
Figure 905314DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE015
为yolov5L模型预测框的宽高；最后乘以mask过滤去除负样本再求和得到
Figure 543362DEST_PATH_IMAGE016
；
在所述步骤S433中，分类损失的计算公式如下：
Figure DEST_PATH_IMAGE017
其中，
Figure 149924DEST_PATH_IMAGE018
，
Figure DEST_PATH_IMAGE019
，
Figure 408867DEST_PATH_IMAGE020
是yolov5s模型预测的分类结果，
Figure DEST_PATH_IMAGE021
是yolov5L模型预测的分类结果；
在所述步骤S433中，置信度损失的计算公式如下：
Figure 100879DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE023
，
Figure 775574DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE025
是yolov5s模型预测的置信度结果，
Figure 735178DEST_PATH_IMAGE026
是yolov5L模型预测的置信度结果。
2.根据权利要求1所述的一种输电通道挂空悬浮物检测方法，其特征在于：在所述步骤S1中，数据归一化方式采用目标框坐标除以图像宽、高值的方式。
3.根据权利要求2所述的一种输电通道挂空悬浮物检测方法，其特征在于：在所述步骤S2中，对图像粘贴区域进行处理的方式是先进行腐蚀处理、再进行膨胀处理、最后进行直方图均质化处理。
4.根据权利要求3所述的一种输电通道挂空悬浮物检测方法，其特征在于：在所述步骤S3中，负样本只产生置信度损失，将损失权重设为原来的0.8，得到：
Figure DEST_PATH_IMAGE027
其中，pos_box代表正样本边框回归损失，pos_obj代表正样本置信度损失，pos_cls代表正样本置信度损失，neg_obj代表负样本置信度损失。
CN202211059753.0A 2022-09-01 2022-09-01 一种输电通道挂空悬浮物检测方法 Active CN115131357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211059753.0A CN115131357B (zh) 2022-09-01 2022-09-01 一种输电通道挂空悬浮物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211059753.0A CN115131357B (zh) 2022-09-01 2022-09-01 一种输电通道挂空悬浮物检测方法

Publications (2)

Publication Number Publication Date
CN115131357A CN115131357A (zh) 2022-09-30
CN115131357B true CN115131357B (zh) 2022-11-08

Family

ID=83387142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211059753.0A Active CN115131357B (zh) 2022-09-01 2022-09-01 一种输电通道挂空悬浮物检测方法

Country Status (1)

Country Link
CN (1) CN115131357B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080562A (zh) * 2019-12-06 2020-04-28 合肥科大智能机器人技术有限公司 一种基于增强图像对比的变电场所悬挂物识别方法
CN111709308A (zh) * 2020-05-25 2020-09-25 五邑大学 一种基于无人机的海上遇险人员检测和跟踪方法及其系统
CN112164054A (zh) * 2020-09-30 2021-01-01 交叉信息核心技术研究院(西安)有限公司 基于知识蒸馏的图像目标检测方法和检测器及其训练方法
CN113362306A (zh) * 2021-06-07 2021-09-07 中山大学 一种基于深度学习的封装芯片缺陷检测方法
WO2021227804A1 (zh) * 2020-05-15 2021-11-18 华为技术有限公司 一种模型训练方法及相关设备
CN114897845A (zh) * 2022-05-20 2022-08-12 南京理工大学 一种基于模型压缩的pcb板缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220121855A1 (en) * 2020-10-16 2022-04-21 Arizona Board Of Regents On Behalf Of Arizona State University Temporal knowledge distillation for active perception

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080562A (zh) * 2019-12-06 2020-04-28 合肥科大智能机器人技术有限公司 一种基于增强图像对比的变电场所悬挂物识别方法
WO2021227804A1 (zh) * 2020-05-15 2021-11-18 华为技术有限公司 一种模型训练方法及相关设备
CN111709308A (zh) * 2020-05-25 2020-09-25 五邑大学 一种基于无人机的海上遇险人员检测和跟踪方法及其系统
CN112164054A (zh) * 2020-09-30 2021-01-01 交叉信息核心技术研究院(西安)有限公司 基于知识蒸馏的图像目标检测方法和检测器及其训练方法
CN113362306A (zh) * 2021-06-07 2021-09-07 中山大学 一种基于深度学习的封装芯片缺陷检测方法
CN114897845A (zh) * 2022-05-20 2022-08-12 南京理工大学 一种基于模型压缩的pcb板缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Compressed YOLOv5 for Oriented Object Detection with Integrated Network Slimming and Knowledge Distillation;Yifan Xu 等;《2022 3rd International Conference on Information Science, Parallel and Distributed Systems》;20220724;全文 *
基于改进YOLOv3 的高压输电线路关键部件检测方法;翁智 等;《计算机应用》;20201231;全文 *
基于知识蒸馏的轻量型浮游植物检测网络;张彤彤等;《应用科学学报》;20200530(第03期);全文 *

Also Published As

Publication number Publication date
CN115131357A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN111784685B (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN111353413A (zh) 一种输电设备低漏报率缺陷识别方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN112837315B (zh) 一种基于深度学习的输电线路绝缘子缺陷检测方法
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN109492596B (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
CN112287941B (zh) 一种基于自动字符区域感知的车牌识别方法
CN110443279B (zh) 一种基于轻量级神经网络的无人机图像车辆检测方法
CN111310756A (zh) 一种基于深度学习的损伤玉米颗粒检测和分类方法
CN110309765B (zh) 一种视频运动目标高效检测方法
CN114743119A (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN113255590A (zh) 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统
CN113255605A (zh) 一种路面病害检测方法、装置、终端设备及存储介质
CN112711981A (zh) 一种高精度输电线路缺陷识别方法
CN110598698A (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN115131747A (zh) 基于知识蒸馏的输电通道工程车辆目标检测方法及系统
CN114882011A (zh) 一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法
CN114511627A (zh) 一种目标果实定位分割方法及系统
CN113221976A (zh) 基于时空光流网络的多视频帧黑烟柴油车检测方法及系统
CN115131357B (zh) 一种输电通道挂空悬浮物检测方法
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
CN106127813A (zh) 基于视觉感知能量的监控视频运动片段分割方法
CN113920254B (zh) 一种基于单目rgb的室内三维重建方法及其系统
CN113705342B (zh) 一种基于人体上下文注意力机制的人脸检测方法
CN111860332B (zh) 基于多阈值级联检测器的双通道电力图零部件检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant