CN115131747A - 基于知识蒸馏的输电通道工程车辆目标检测方法及系统 - Google Patents

基于知识蒸馏的输电通道工程车辆目标检测方法及系统 Download PDF

Info

Publication number
CN115131747A
CN115131747A CN202211025914.4A CN202211025914A CN115131747A CN 115131747 A CN115131747 A CN 115131747A CN 202211025914 A CN202211025914 A CN 202211025914A CN 115131747 A CN115131747 A CN 115131747A
Authority
CN
China
Prior art keywords
distillation
loss
target detection
model
transmission channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211025914.4A
Other languages
English (en)
Inventor
吴晶
吕要要
艾坤
王子磊
刘海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongke Leinao Intelligent Technology Co ltd
Original Assignee
Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zhongke Leinao Intelligent Technology Co ltd filed Critical Hefei Zhongke Leinao Intelligent Technology Co ltd
Priority to CN202211025914.4A priority Critical patent/CN115131747A/zh
Publication of CN115131747A publication Critical patent/CN115131747A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于知识蒸馏的输电通道工程车辆目标检测方法及系统，属于目标检测技术领域，包括以下步骤：步骤1：构建数据集；步骤2：数据处理；步骤3：训练基准模型；步骤4：知识蒸馏；步骤5：目标检测。本发明将知识蒸馏应用于输电通道工程车辆目标检测上，蒸馏教师模型信息到一个紧凑型学生模型，在不带来额外推理消耗的情况下取得更好的性能，提升了检测效果；并提出局部和全局知识蒸馏，局部蒸馏分离前景背景，强制学生模型关注教师模型的关键像素和通道，全局蒸馏重建不同像素之间关系并传递给学生模型，能够补偿局部蒸馏中丢失的全局信息。

Description

基于知识蒸馏的输电通道工程车辆目标检测方法及系统
技术领域
本发明涉及目标检测技术领域，具体涉及基于知识蒸馏的输电通道工程车辆目标检测方法及系统。
背景技术
随着城市建设的发展，国家电网的建设也在同步推进，输电线路的数量和范围也在不断的扩大和增多，构成了一条条输电通道，城市周边的电网环境也日益复杂，对电网的正常运行造成了威胁。为了保障输电通道的环境安全，国网公司对输电通道进行了升级改造，增加了许多固定相机对输电沿线进行实时在线监控，记录输电通道周围环境情况，并且将图像传回运检监控室，进行人工判别或智能判别，其中工程车辆等异物入侵均有可能造成输电通道的线路故障，因此在输电通道环境安全巡检中，工程车辆的准确检测也极为重要。
在人工判别阶段受主观因素影响较大，难以保证结果准确，而且会耗费很大的财力物力，同时也做不到实时监测，不能及时地处理危险情况，无法满足实际需求；在智能判别阶段，传统检测方法如HOG+SVM、DPM、AdaBoost等，需要人工提取特征对目标进行识别，算法的结构复杂，鲁棒性差，随着深度学习的兴起，其在目标检测、语义分割、图像分类等领域均取得了良好的效果，与传统方法对比，深度卷积神经网络对目标特征的提取适应性强，识别定位准确，识别速度快，因此使用深度学习方法进行图像处理已成为主流方向。
知识蒸馏是通过引入教师模型的网络结构指导学生模型的网络结构训练参数，进而实现知识迁移。具体的原理是先训练一个大的教师模型，然后利用教师模型的输出和数据的真实标签去训练一个小的学生模型，从而将教师模型的知识转移到学生模型中，在保证了学生模型的性能接近教师模型性能的同时，使模型的权重减小，有利于降低模型部署的算力要求，便于部署在移动端或者边缘盒子上，具有实际需求。
卷积神经网络在输电目标检测领域得到了广泛应用，但关于知识蒸馏的研究方向仍然很少，当前方法为方便部署，都是直接使用卷积神经网络或对网络增加模块进行检测识别，增大了计算机硬件的消耗，存在检测时间长，性能下降的问题；目前的蒸馏方法均未考虑前背景不均衡的影响，直接针对全局进行蒸馏，在目标检测中，教师模型和学生模型的特征在不同的区域有很大的差异，尤其是在前景和背景中，如果直接进行全局平均蒸馏，特征图直接的不均匀差异将对蒸馏产生负面影响，导致检测精度下降。为此，提出基于知识蒸馏的输电通道工程车辆目标检测方法及系统。
发明内容
本发明所要解决的技术问题在于：如何解决当前蒸馏方法未考虑前、背景不均衡的问题，提供了基于知识蒸馏的输电通道工程车辆目标检测方法。
本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
步骤1：构建数据集
采集图像数据，使用标注工具对标注图像数据，构建训练集和测试集；
步骤2：数据处理
对训练集和测试集中的图像数据进行预处理，使用数据增强对训练集中的图像数据进行预处理；
步骤3：训练基准模型
设定训练集中图像分辨率大小，并设定训练参数，对YOLOv5网络进行训练，得到基准模型；
步骤4：知识蒸馏
提出四种掩码构建蒸馏损失函数，调整网络结构，训练获得最终模型；
步骤5：目标检测
利用步骤4中的最终模型对待检测图像中的工程车辆进行检测识别。
更进一步地，在所述步骤1中，通过沿着输电通道使用巡检机器人和固定相机采集图像。
更进一步地，在所述步骤2中，数据增强处理包括两种方式，其中第一种方式通过生成一个和原图相同分辨率的掩膜，然后将该掩膜与原图相乘得到一个图像实现，第二种通过旋转图像实现。
更进一步地，所述步骤4具体包括以下子步骤：
步骤41：通过局部蒸馏来分类图像并引导学生模型聚焦于关键像素和通道；
步骤42：通过注意力损失强制学生模型学习教师模型的空间和通道掩码；
步骤43：计算局部蒸馏损失；
步骤44：使用Gc块提取教师模型和学生模型的全局特征进行蒸馏，得到全局特征损失；
步骤45：将所有损失函数相加，得到最终的损失函数；
步骤46：将最终的蒸馏损失函数嵌入YOLOv5网络中的Neck层，进行训练，得到最终模型。
更进一步地，在所述步骤41中，提出四种掩码用于特征蒸馏，具体如下：
二进制掩码来区分前景和背景：
Figure 672817DEST_PATH_IMAGE001
其中，
Figure 793220DEST_PATH_IMAGE002
表示真值框，
Figure 41799DEST_PATH_IMAGE003
表示像素点，1表示前景，0表示背景；
尺度掩码S用于均衡前背景和归一化：
Figure 640270DEST_PATH_IMAGE004
Figure 657905DEST_PATH_IMAGE005
其中，
Figure 182165DEST_PATH_IMAGE006
和
Figure 918040DEST_PATH_IMAGE007
表示真值框
Figure 585782DEST_PATH_IMAGE008
的高和宽，如果一个像素属于不同目标，则选择最小框作为真值框；
空间和通道注意力掩码AS和AC用于区分关键像素和通道：
Figure 457923DEST_PATH_IMAGE009
Figure 920128DEST_PATH_IMAGE010
其中，T是温度超参数；
Figure 143299DEST_PATH_IMAGE011
将不同通道的值取绝对平均值，得到空间注意力图，尺寸是H*W，
Figure 349152DEST_PATH_IMAGE012
将同一通道不同位置的值取绝对平均值，得到通道注意力图，通道总数为C，
Figure 577265DEST_PATH_IMAGE011
与
Figure 475951DEST_PATH_IMAGE012
的表达式分别如下：
Figure 186418DEST_PATH_IMAGE013
Figure 930383DEST_PATH_IMAGE014
最终的局部特征损失表示如下：
Figure 777116DEST_PATH_IMAGE015
其中，
Figure 581124DEST_PATH_IMAGE016
和
Figure 778887DEST_PATH_IMAGE017
分别是教师模型和学生模型特征，
Figure 825078DEST_PATH_IMAGE018
和
Figure 526318DEST_PATH_IMAGE019
为控制前景和背景损失均衡的超参数。
更进一步地，在步骤42中，注意力损失表示如下：
Figure 766806DEST_PATH_IMAGE020
其中，
Figure 186287DEST_PATH_IMAGE021
表示L1损失，
Figure 272054DEST_PATH_IMAGE022
是用于平衡注意力损失的超参数。
更进一步地，在步骤43中，局部蒸馏损失表示为局部特征损失和注意力损失相加：
Figure 93380DEST_PATH_IMAGE023
。
更进一步地，在步骤44中，Gc块的公式如下：
Figure 504769DEST_PATH_IMAGE024
其中，
Figure 913010DEST_PATH_IMAGE025
、
Figure 536890DEST_PATH_IMAGE026
和
Figure 478301DEST_PATH_IMAGE027
是卷积层，
Figure 60592DEST_PATH_IMAGE028
表示图层归一化处理，
Figure 454664DEST_PATH_IMAGE029
是像素特征；
全局特征损失表示为：
Figure 882235DEST_PATH_IMAGE030
其中，
Figure 412573DEST_PATH_IMAGE031
为全局损失均衡超参数。
更进一步地，在步骤45中，最终的损失函数：
Figure 664301DEST_PATH_IMAGE032
其中，
Figure 545669DEST_PATH_IMAGE033
是检测器的原始损失，即YOLOv5网络自带的损失函数。
本发明还提供了基于知识蒸馏的输电通道工程车辆目标检测系统，采用上述的方法进行输电通道工程车辆目标检测工作，包括：
构建模块，用于采集图像数据，使用标注工具对标注图像数据，构建训练集和测试集；
处理模块，用于对训练集和测试集中的图像数据进行预处理，使用数据增强对训练集中的图像数据进行预处理；
训练模块，用于设定训练集中图像分辨率大小，并设定训练参数，对YOLOv5网络进行训练，得到基准模型；
知识蒸馏模块，用于提出四种掩码构建蒸馏损失函数，调整网络结构，训练获得最终模型；
目标检测模块，用于利用步骤4中的最终模型对待检测图像中的工程车辆进行检测识别；
控制处理模块，用于向其他模块发出指令，完成相关动作；
所述构建模块、处理模块、训练模块、知识蒸馏模块、目标检测模块均与控制处理模块通信连接。
本发明相比现有技术具有以下优点：该基于知识蒸馏的输电通道工程车辆目标检测方法及系统，将知识蒸馏应用于输电通道工程车辆目标检测上，蒸馏教师模型信息到一个紧凑型学生模型，在不带来额外推理消耗的情况下取得更好的性能，提升了检测效果；并基于四种掩码下提出局部和全局知识蒸馏，局部蒸馏分离前景背景，强制学生模型关注教师模型的关键像素和通道，全局蒸馏重建不同像素之间关系并传递给学生模型，能够补偿局部蒸馏中丢失的全局信息。
附图说明
图1是本发明实施例中基于知识蒸馏的输电通道工程车辆目标检测方法的流程示意图；
图2是本发明实施例中全局蒸馏以及局部蒸馏流程示意图；
图3是本发明实施例中全局蒸馏流程中GcBlock的结构示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本实施例提供一种技术方案：基于知识蒸馏的输电通道工程车辆目标检测方法，以解决现有的现有技术方案不能同时兼顾模型检测精度和模型运行效率的问题，并且提出了全局蒸馏和局部蒸馏来解决前景和背景类别不平衡的问题，经过验证，取得了预期的效果，主要包括如下步骤：
步骤一：沿着输电通道使用巡检机器人和固定相机采集图像，使用labelImg标注图像数据，图像数据标注方式为包围框，包括塔车、吊车等9种工程车辆，构建训练集和测试集。
步骤二：对图像数据进行预处理，使用GridMask数据增强（通过生成一个和原图相同分辨率的mask（掩膜），然后将该mask（掩膜）与原图相乘得到一个图像，本质上可以理解为一种正则化方法）、旋转数据增强。
步骤三：图像分辨率设为640x640，batch-size（批处理大小）设为8，YOLOv5算法训练300epoch，得到基准模型，用来与改进后的网络进行结果对比。
需要说明的是，YOLOv5是目标检测的常用框架，相比YOLOv4而言，在检测精度下降不多的情况下，它在训练时间和推理速度上有明显优势，且易于部署，权重文件小，结构清晰，方便修改，一直深受学者的青睐。
步骤四：
构建蒸馏损失函数，具体如下：
一般的特征蒸馏可以表示为：
Figure 776930DEST_PATH_IMAGE034
其中，
Figure 427354DEST_PATH_IMAGE035
和
Figure 85869DEST_PATH_IMAGE036
分别是教师模型和学生模型的特征，
Figure 188954DEST_PATH_IMAGE037
是自适应层，H，W，C分别是特征图的高，宽和通道数。
由于前景和背景之间的不均衡，提出局部蒸馏来分类图像并引导学生模型聚焦于关键像素和通道，具体来说，本方法提出四种掩码用于特征蒸馏，详细说明如下：
二进制掩码来区分前景和背景：
Figure 223906DEST_PATH_IMAGE001
其中，
Figure 507600DEST_PATH_IMAGE002
表示真值框，
Figure 71436DEST_PATH_IMAGE003
表示像素点，1表示前景，0表示背景；
尺度掩码S用于均衡前背景和归一化：
Figure 927397DEST_PATH_IMAGE004
Figure 766040DEST_PATH_IMAGE038
其中，
Figure 125477DEST_PATH_IMAGE006
和
Figure 125794DEST_PATH_IMAGE007
表示真值框
Figure 203471DEST_PATH_IMAGE008
的高和宽，如果一个像素属于不同目标，则选择最小框作为真值框。
在本发明中，在筛选关键像素和通道时，通过计算得到对应的特征图实现。具体步骤是计算不同像素和通道的绝对平均值，得到空间注意力图
Figure 344340DEST_PATH_IMAGE011
和通道注意力图
Figure 558284DEST_PATH_IMAGE012
：
Figure 995082DEST_PATH_IMAGE013
Figure 560055DEST_PATH_IMAGE014
具体地说，
Figure 474921DEST_PATH_IMAGE011
将不同通道的值取绝对平均值，得到空间注意力图，尺寸是H*W；
Figure 808951DEST_PATH_IMAGE012
将同一通道不同位置的值取绝对平均值，得到通道注意力图，通道总数为C。基于这两种特征图，本发明提出了空间和通道注意力掩码AS和AC用于区分关键像素和通道：
Figure 416650DEST_PATH_IMAGE009
Figure 704805DEST_PATH_IMAGE010
其中，T是温度超参数，用于调整分布；在进行知识蒸馏时，会对教师网络的softmax输出除以一个T得到Soft-target（Soft-target：教师模型softmax层输出的类别概率，每个类别都分配了概率，正标签的概率最高），然后学生网络的softmax输出同样会除以一个T得到Logits（Logits:汇总了网络内部各种信息后，得出的属于各个类别的汇总分值），计算交叉熵，而这个T的取值通常大于1,由于训练好的模型会出现过拟合的现象，所以除以一个大于1的T，可以让分布变得平滑，放大不同类别之间的相似信息。
因此，最终的局部特征损失表示如下：
Figure 423362DEST_PATH_IMAGE015
其中，
Figure 877477DEST_PATH_IMAGE016
和
Figure 390498DEST_PATH_IMAGE017
分别是教师模型和学生模型特征，
Figure 930064DEST_PATH_IMAGE018
和
Figure 452312DEST_PATH_IMAGE019
为控制前景和背景损失均衡的超参数。
另外，提出注意力损失强制学生模型学习教师模型的空间和通道掩码：
Figure 993890DEST_PATH_IMAGE020
其中，
Figure 943391DEST_PATH_IMAGE021
表示L1损失，
Figure 704674DEST_PATH_IMAGE022
是用于平衡注意力损失的超参数。
最后，局部蒸馏损失表示为特征损失和注意力损失相加：
Figure 765034DEST_PATH_IMAGE023
使用
Figure 928162DEST_PATH_IMAGE039
提取教师模型和学生模型的全局特征进行蒸馏，
Figure 48565DEST_PATH_IMAGE039
可将全局上下文信息融合到通道中来提升性能。如图3所示，公式如下：
Figure 562723DEST_PATH_IMAGE024
其中，
Figure 662659DEST_PATH_IMAGE025
、
Figure 680294DEST_PATH_IMAGE026
和
Figure 237177DEST_PATH_IMAGE027
是卷积层，
Figure 707472DEST_PATH_IMAGE028
是layer normalization，即表示图层归一化处理，
Figure 375214DEST_PATH_IMAGE040
是像素特征。
因此，全局特征损失表示为：
Figure 981776DEST_PATH_IMAGE030
其中，
Figure 709561DEST_PATH_IMAGE031
为全局损失均衡超参数。
最后，将所有损失函数相加，得到最终的损失函数：
Figure 431267DEST_PATH_IMAGE032
其中，
Figure 371541DEST_PATH_IMAGE033
是检测器的原始损失，即YOLOv5网络自带的损失函数。
此外，蒸馏损失只需在特征图上计算，该特征图可以从YOLOv5算法的Neck层得到，再将计算后的特征图输入网络，由此，也可以将本发明方便地嵌入应用于其他的检测器。
将最终的蒸馏损失函数嵌入YOLOv5网络（原网络）中的Neck层，如图2所示，取出特征图后蒸馏再输入原网络（原网络指的是未改动的标准YOLOv5网络结构）进行下一步，训练50epoch，得到最终模型。
步骤五：对步骤三得到的基准模型和步骤四中的最终模型进行测试，得到测试结果，使用mAP@0.5、Precision、Recall进行评测，结果如表1、表2所示。
表1基准模型与蒸馏后学生模型在对第一部分工程车辆的测试指标对比表
Figure 363768DEST_PATH_IMAGE041
表2基准模型与蒸馏后学生模型在对第二部分工程车辆的测试指标对比表
Figure 262453DEST_PATH_IMAGE042
其中，mAP@0.5：将IOU（交并比）设为0.5时，计算每一类的所有图片的AP（AveragePrecision，平均准确率），然后所有类别求平均。
Precision（准确率，对应表1-2中的算法指标P）：
Figure 441762DEST_PATH_IMAGE043
Recall（召回率，对应表1-2中的算法指标R）：
Figure 451306DEST_PATH_IMAGE044
其中，TP：被模型预测为正类的正样本；
TN：被模型预测为负类的负样本；
FP：被模型预测为正类的负样本；
FN：被模型预测为负类的正样本。
综上所述，上述实施例的基于知识蒸馏的输电通道工程车辆目标检测方法，实现了输电通道工程车辆的目标检测功能，相较于通过未蒸馏的基准模型进行识别，mAP@0.5提升3.8%，Precision提升2.3%，Recall提升3.8%；在分离前景和背景的同时，通过局部蒸馏计算教师模型特征中不同像素和通道的注意力，使学生模型能够聚焦于教师模型的关键像素和通道；为了弥补局部蒸馏中丢失的全局信息，进一步提出了全局蒸馏，在全局蒸馏中，利用GcBlock提取不同像素之间的关系，然后把它们从教师模型蒸馏到学生模型。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.基于知识蒸馏的输电通道工程车辆目标检测方法，其特征在于，包括以下步骤：
步骤1：构建数据集
采集图像数据，使用标注工具对标注图像数据，构建训练集和测试集；
步骤2：数据处理
对训练集和测试集中的图像数据进行预处理，使用数据增强对训练集中的图像数据进行预处理；
步骤3：训练基准模型
设定训练集中图像分辨率大小，并设定训练参数，对YOLOv5网络进行训练，得到基准模型；
步骤4：知识蒸馏
提出四种掩码构建蒸馏损失函数，调整网络结构，训练获得最终模型；
步骤5：目标检测
利用步骤4中的最终模型对待检测图像中的工程车辆进行检测识别。
2.根据权利要求1所述的基于知识蒸馏的输电通道工程车辆目标检测方法，其特征在于：在所述步骤1中，通过沿着输电通道使用巡检机器人和固定相机采集图像。
3.根据权利要求1所述的基于知识蒸馏的输电通道工程车辆目标检测方法，其特征在于：在所述步骤2中，数据增强处理包括两种方式，其中第一种方式通过生成一个和原图相同分辨率的掩膜，然后将该掩膜与原图相乘得到一个图像实现，第二种通过旋转图像实现。
4.根据权利要求1所述的基于知识蒸馏的输电通道工程车辆目标检测方法，其特征在于：所述步骤4具体包括以下子步骤：
步骤41：通过局部蒸馏来分类图像并引导学生模型聚焦于关键像素和通道；
步骤42：通过注意力损失强制学生模型学习教师模型的空间和通道掩码；
步骤43：计算局部蒸馏损失；
步骤44：使用Gc块提取教师模型和学生模型的全局特征进行蒸馏，得到全局特征损失；
步骤45：将所有损失函数相加，得到最终的损失函数；
步骤46：将最终的蒸馏损失函数嵌入YOLOv5网络中的Neck层，进行训练，得到最终模型。
5.根据权利要求4所述的基于知识蒸馏的输电通道工程车辆目标检测方法，其特征在于：在所述步骤41中，提出四种掩码用于特征蒸馏，具体如下：
二进制掩码来区分前景和背景：
Figure 820616DEST_PATH_IMAGE001
其中，
Figure 490632DEST_PATH_IMAGE002
表示真值框，
Figure 464273DEST_PATH_IMAGE003
表示像素点，1表示前景，0表示背景；
尺度掩码S用于均衡前背景和归一化：
Figure 245147DEST_PATH_IMAGE004
Figure 761579DEST_PATH_IMAGE005
其中，
Figure 212283DEST_PATH_IMAGE006
和
Figure 548587DEST_PATH_IMAGE007
表示真值框
Figure 867573DEST_PATH_IMAGE008
的高和宽，如果一个像素属于不同目标，则选择最小框作为真值框；
空间和通道注意力掩码AS和AC用于区分关键像素和通道：
Figure 363145DEST_PATH_IMAGE009
Figure 374963DEST_PATH_IMAGE010
其中，T是温度超参数；
Figure 73929DEST_PATH_IMAGE011
将不同通道的值取绝对平均值，得到空间注意力图，尺寸是H*W，
Figure 931026DEST_PATH_IMAGE012
将同一通道不同位置的值取绝对平均值，得到通道注意力图，通道总数为C，
Figure 422051DEST_PATH_IMAGE011
与
Figure 749912DEST_PATH_IMAGE012
的表达式分别如下：
Figure 795228DEST_PATH_IMAGE013
Figure 596962DEST_PATH_IMAGE014
最终的局部特征损失表示如下：
Figure 676914DEST_PATH_IMAGE015
其中，
Figure 30535DEST_PATH_IMAGE016
和
Figure 953360DEST_PATH_IMAGE017
分别是教师模型和学生模型特征，
Figure 417840DEST_PATH_IMAGE018
和
Figure 493243DEST_PATH_IMAGE019
为控制前景和背景损失均衡的超参数。
6.根据权利要求5所述的基于知识蒸馏的输电通道工程车辆目标检测方法，其特征在于：在步骤42中，注意力损失表示如下：
Figure 17765DEST_PATH_IMAGE020
其中，
Figure 37674DEST_PATH_IMAGE021
表示L1损失，
Figure 696057DEST_PATH_IMAGE022
是用于平衡注意力损失的超参数。
7.根据权利要求6所述的基于知识蒸馏的输电通道工程车辆目标检测方法，其特征在于：在步骤43中，局部蒸馏损失表示为局部特征损失和注意力损失相加：
Figure 750601DEST_PATH_IMAGE023
。
8.根据权利要求7所述的基于知识蒸馏的输电通道工程车辆目标检测方法，其特征在于：在步骤44中，Gc块的公式如下：
Figure 321391DEST_PATH_IMAGE024
其中，
Figure 828595DEST_PATH_IMAGE025
、
Figure 25090DEST_PATH_IMAGE026
和
Figure 668561DEST_PATH_IMAGE027
是卷积层，
Figure 800465DEST_PATH_IMAGE028
表示图层归一化处理，
Figure 404753DEST_PATH_IMAGE029
是像素特征；
全局特征损失表示为：
Figure 280305DEST_PATH_IMAGE030
其中，
Figure 778283DEST_PATH_IMAGE031
为全局损失均衡超参数。
9.根据权利要求8所述的基于知识蒸馏的输电通道工程车辆目标检测方法，其特征在于：在步骤45中，最终的损失函数：
Figure 208651DEST_PATH_IMAGE032
其中，
Figure 424869DEST_PATH_IMAGE033
是检测器的原始损失，即YOLOv5网络自带的损失函数。
10.基于知识蒸馏的输电通道工程车辆目标检测系统，其特征在于，采用如权利要求1～9任一项所述的方法进行输电通道工程车辆目标检测工作，包括：
构建模块，用于采集图像数据，使用标注工具对标注图像数据，构建训练集和测试集；
处理模块，用于对训练集和测试集中的图像数据进行预处理，使用数据增强对训练集中的图像数据进行预处理；
训练模块，用于设定训练集中图像分辨率大小，并设定训练参数，对YOLOv5网络进行训练，得到基准模型；
知识蒸馏模块，用于提出四种掩码构建蒸馏损失函数，调整网络结构，训练获得最终模型；
目标检测模块，用于利用步骤4中的最终模型对待检测图像中的工程车辆进行检测识别；
控制处理模块，用于向其他模块发出指令，完成相关动作；
所述构建模块、处理模块、训练模块、知识蒸馏模块、目标检测模块均与控制处理模块通信连接。
CN202211025914.4A 2022-08-25 2022-08-25 基于知识蒸馏的输电通道工程车辆目标检测方法及系统 Pending CN115131747A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211025914.4A CN115131747A (zh) 2022-08-25 2022-08-25 基于知识蒸馏的输电通道工程车辆目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211025914.4A CN115131747A (zh) 2022-08-25 2022-08-25 基于知识蒸馏的输电通道工程车辆目标检测方法及系统

Publications (1)

Publication Number Publication Date
CN115131747A true CN115131747A (zh) 2022-09-30

Family

ID=83387439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211025914.4A Pending CN115131747A (zh) 2022-08-25 2022-08-25 基于知识蒸馏的输电通道工程车辆目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN115131747A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311261A (zh) * 2022-10-08 2022-11-08 石家庄铁道大学 高速铁路接触网悬挂装置开口销异常检测方法和系统
CN115829983A (zh) * 2022-12-13 2023-03-21 广东工业大学 一种基于知识蒸馏的高速工业场景视觉质量检测方法
CN117274723A (zh) * 2023-11-22 2023-12-22 国网智能科技股份有限公司 一种用于输电巡检的目标识别方法、系统、介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164054A (zh) * 2020-09-30 2021-01-01 交叉信息核心技术研究院(西安)有限公司 基于知识蒸馏的图像目标检测方法和检测器及其训练方法
CN113743514A (zh) * 2021-09-08 2021-12-03 庆阳瑞华能源有限公司 一种基于知识蒸馏的目标检测方法及目标检测终端
CN114241285A (zh) * 2021-11-25 2022-03-25 华南理工大学 一种基于知识蒸馏和半监督学习的船舶快速检测方法
WO2022141859A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 图像检测方法、装置、电子设备及存储介质
CN114897845A (zh) * 2022-05-20 2022-08-12 南京理工大学 一种基于模型压缩的pcb板缺陷检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164054A (zh) * 2020-09-30 2021-01-01 交叉信息核心技术研究院(西安)有限公司 基于知识蒸馏的图像目标检测方法和检测器及其训练方法
WO2022141859A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 图像检测方法、装置、电子设备及存储介质
CN113743514A (zh) * 2021-09-08 2021-12-03 庆阳瑞华能源有限公司 一种基于知识蒸馏的目标检测方法及目标检测终端
CN114241285A (zh) * 2021-11-25 2022-03-25 华南理工大学 一种基于知识蒸馏和半监督学习的船舶快速检测方法
CN114897845A (zh) * 2022-05-20 2022-08-12 南京理工大学 一种基于模型压缩的pcb板缺陷检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311261A (zh) * 2022-10-08 2022-11-08 石家庄铁道大学 高速铁路接触网悬挂装置开口销异常检测方法和系统
CN115829983A (zh) * 2022-12-13 2023-03-21 广东工业大学 一种基于知识蒸馏的高速工业场景视觉质量检测方法
CN115829983B (zh) * 2022-12-13 2024-05-03 广东工业大学 一种基于知识蒸馏的高速工业场景视觉质量检测方法
CN117274723A (zh) * 2023-11-22 2023-12-22 国网智能科技股份有限公司 一种用于输电巡检的目标识别方法、系统、介质及设备
CN117274723B (zh) * 2023-11-22 2024-03-26 国网智能科技股份有限公司 一种用于输电巡检的目标识别方法、系统、介质及设备

Similar Documents

Publication Publication Date Title
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN111444939B (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN115131747A (zh) 基于知识蒸馏的输电通道工程车辆目标检测方法及系统
CN111368690B (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN112818969B (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN112766334B (zh) 一种基于伪标签域适应的跨域图像分类方法
CN112070135A (zh) 电力设备图像检测方法、装置、电力设备及存储介质
CN110599459A (zh) 基于深度学习的地下管网风险评估云系统
CN111145222A (zh) 一种结合烟雾运动趋势和纹理特征的火灾检测方法
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN115272777A (zh) 面向输电场景的半监督图像解析方法
CN115272252A (zh) 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统
CN110765900B (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN117496426A (zh) 基于互学习的预制梁工序识别方法及装置
CN116895036A (zh) 一种基于深度学习的耕地保护预警方法及装置
CN113724233B (zh) 基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法
CN110163081A (zh) 基于ssd的实时区域入侵检测方法、系统及存储介质
CN113673534A (zh) 一种基于Faster RCNN的RGB-D图像果实检测方法
CN117557775B (zh) 基于红外和可见光融合的变电站电力设备检测方法及系统
CN117809169B (zh) 一种小样本水下声呐图像分类方法及其模型搭建方法
CN115272814B (zh) 一种远距离空间自适应多尺度的小目标检测方法
Wu et al. An Improved Solov2 Based on Attention Mechanism and Weighted Loss Function for Electrical Equipment Instance Segmentation.
CN116994068A (zh) 一种基于知识蒸馏的目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220930

RJ01 Rejection of invention patent application after publication