CN113159334B - 基于轻量型深度学习的电气设备红外图像实时性检测与诊断方法 - Google Patents
基于轻量型深度学习的电气设备红外图像实时性检测与诊断方法 Download PDFInfo
- Publication number
- CN113159334B CN113159334B CN202110206146.1A CN202110206146A CN113159334B CN 113159334 B CN113159334 B CN 113159334B CN 202110206146 A CN202110206146 A CN 202110206146A CN 113159334 B CN113159334 B CN 113159334B
- Authority
- CN
- China
- Prior art keywords
- electrical equipment
- model
- data set
- training
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000003745 diagnosis Methods 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000011897 real-time detection Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 238000012360 testing method Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000010438 heat treatment Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 2
- 239000012212 insulator Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001251371 Betula chinensis Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Operations Research (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Entrepreneurship & Innovation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于轻量型深度学习的电气设备红外图像实时性检测及诊断方法，包括以下步骤：S1、通过红外热成像仪获取变电站电气设备红外图像；S2、对获取的红外图像通过算法进行预处理形成用于训练的数据集；S3、对获取的电气设备正常与故障数据集进行目标的标签处理；S4、将处理完毕的数据集随机分配为训练集与测试集；S5、构建改进的轻量型单发多盒检测器的红外图像实时性检测与诊断模型；S6、使用划分后的训练集进行该模型的参数调节与训练；S7、使用划分后的测试集对训练完毕的检测及诊断模型进行自动检测与诊断，以证明其有效性。通过以上步骤实现多种电气设备（尤其能在受限环境如嵌入式设备中部署有效方案）红外图像的实时检测与诊断。
Description
技术领域
本发明涉及电气设备运行状态安全监测领域，特别是一种基于轻量型深度学习的电气设备红外图像实时性检测及诊断方法。
背景技术
为满足对可持续能源日益增长的需求，因此需要更大更复杂的电力系统。电力系统需要持续的检查和预防性维护，以保证其正常的无故障运行。其中变电站的检测至关重要，因为发生在变电站中的电气问题不仅会造成电力系统的停电、当地经济损失，甚至可能导致人员伤亡。因此对变电站进行实时有效的检测对确保其安全长期的运行至关重要。
红外热像技术因为比其他类型的传感器具有很多优点，因此已经成为一种广泛接受的状态监测技术。红外热像检测是以设备的热分布状态为依据对设备运行状态良好与否进行诊断的技术，该技术可以非接触性的远离被检测设备，并且测温范围宽从而可以快速的进行扫描检测。由于对电气设备红外检测会生成大量的图片数据，通过人工的方式分析红外图像对电气设备进行状态检测可能会耗费大量的时间和精力，还可能导致错误的诊断结果。并且当前经典的机器学习算法难也以有效识别输变电设备红外图像故障异常发热点。
近年来，随着计算机计算能力的提高，深度学习受到了越来越多的研究者的关注。深度学习方法在图像分类、故障诊断和目标检测等方面的应用越来越广泛。例如：B.Wang,M.Dong,M.Ren,Z.Y.Wu,C.X.Guo,T.X.Zhuang,O.Pischler and J.C.Xie.Automatic faultdiagnosis of infrared insulator images based on image instance segmentationand temperature analysis[J].IEEE Transactions on Instrumentation andMeasurement,vol.69,no.8,pp.5345-5355,Aug.2020.该文献基于Mask R-CNN提出来了一种红外绝缘子图像实例分割和温度分析的自动诊断方法。Y.P.Liu,X.X.Ji,S.T.Pei,Z.Ma,G.H.Zhang,Y.Lin and Y.F.Chen.Research on automatic location and recognitionof insulators in substation based on YOLOv3[J].High Voltage,vol.5,no.1,pp.62-68,Mar.2020.该文献提出了一种基于YOLOv3的外部电力绝缘设备自动定位识别与诊断方法，该深度学习算法用于提取绝缘子可见光通道下的图像数据特征。刘云鹏,裴少通,武建华,纪欣欣和梁利辉.基于深度学习的输变电设备异常发热点红外图片目标检测方法[J].南方电网技术,Vol.13,No.2,pp.27-33,Feb.2019.该文献提出一种基于Faster RCNN算法实现对输变电红外图像发热故障的检测、识别及定位。
虽然上述方法在检测精度方面取得了良好的效果，但是并未对模型大小、检测速度和检测精度进行较好的权衡研究，也并未实现在受限的环境中实现对电气设备的运行状态进行有效的判断，因此本发明在进行权衡研究后实现一种可在受限环境下部署的实时性检测及诊断方法。
发明内容
本发明所要解决的技术问题是提供一种基于轻量型深度学习的电气设备红外图像实时性检测及诊断方法，能够在受限环境(例如嵌入式设备)中部署有效的电气设备检测及诊断模型，能够实现对多种电气设备的有效检测，同时满足实时性检测的要求，有效利用运算资源。具有普适性和有效性，确保变电站电气设备的安全、实时的自动检测及诊断。
为解决上述技术问题，本发明所采用的技术方案是：一种基于轻量型深度学习的电气设备红外图像实时性检测及诊断方法，包括以下步骤：
S1、通过红外热成像仪获取变电站电气设备的红外图像；
S2、对获取的图像通过算法进行预处理形成用于训练的数据集；
S3、对获取的正常电气设备数据集与故障电气设备数据集进行目标的标签处理；
S4、将处理完毕的数据集随机分配为训练集与测试集；
S5、构建改进的轻量型单发多盒检测器的红外图像实时性检测及诊断模型；
S6、使用划分后的训练集进行该模型的参数调节与训练；
S7、使用划分后的测试集对训练完毕的检测及诊断模型进行目标的检测及诊断，以证明其有效性；
通过以上步骤实现变电站多种电气设备的红外图像的自动检测及诊断。
优选的方案中，获取的电气设备红外图像是变电站技术人员通过手持红外热成像仪在现场拍摄或通过变电站携带红外热像仪的巡检机器人得到的红外图像；其中五种电气设备分别是避雷器、断路器、隔离开关、互感器与绝缘子。
将获取的数据集(其中包括正常电气设备数据集与故障电气设备数据集)采用随机亮度、对比度、色相、饱和度、随机噪声调整等光度畸变方法和随机翻转、平移、缩放、旋转等几何畸变方法对原始红外图像进行数据扩充，形成应用于模型的数据集。
优选的方案中，步骤S3与S4中，通过框选操作对数据集中的多种电气设备进行标注。其中操作步骤如下：正常的电气设备数据集通过软件标记或算法对设备进行标注，而故障电气设备数据集则是对发热故障点进行标注。最终制作成待训练与待检测的数据集。
优选的方案中，步骤S2中，将多种电气设备的3d形态作为模型，得到多个方向、角度的训练图集，以电气设备的形状作为识别特征，进行训练，包括以下步骤：
S21、将电气设备的方向作为电气设备红外图像数据集的图片的方向向量，对图片进行一种或多种图像处理方式进行预处理以扩充数据集，以使图片中电气设备的方向大致保持一致；
S22、采用VGG16结构，以单个或多个电气设备的形状作为标签区域进行识别，按比例方式进行扩充后对电气设备所在的图形区域作为标签区域，进行智能识别并框选，制作成待训练与待检测的数据集。
优选的方案中，将数据集分为训练集和测试集，训练集数量多于测试集的数量。
优选的方案中，改进的轻量型单发多盒检测器的红外图像实时性检测及诊断模型的主干网络结构为改进的轻量化模型SqueezeNet结构，首先在SqueezeNet网络基础上删除Conv10和全局最大池化层。然后修改的结构代替VGG16结构，作为改进的单发多盒检测器的主干网络。同时为了弥补轻量化对检测精度的影响,首先在主干网络后增加尺度逐渐减小的多个卷积层，然后在主干网络中增加多个旁路连接。
优选的方案中，在改进模型的主干部分采用改进的轻量化模型Squeezenet结构，并且采用一种复杂连接支路的结构以增强特征的传播并且在主干网路后增加多个卷积层，从而减小模型轻量化对检测精度的影响。
优选的方案中，通过采用模型权重随机初始化的策略，将训练集输入模型进行训练，经过详细实验，并根据训练结果进行参数的调整，从而确认最优的轻量化模型；在模型训练完毕后，再采用测试集进行模型测试。
优选的方案中，该模型在不同层次特征图得到不同尺度的先验框，并计算通过匹配得到的默认框的位置损失与置信度损失。总目标损失函数采用置信度损失和位置损失的带权加和的形式，模型损失函数如下所示：
其中，x取值0或1表示先验框是否匹配到真实标签框，c表示类别置信度，l表示预测框的真实信息，g表示真实标签框的真实信息，N表示匹配的默认框数量，α表示两者的权重。置信度损失是SoftMax loss，位置损失是先验框与真实标签框参数之间的smooth-L1损失。
优选的方案中，由于采用模型权重随机初始化的策略，因此模型共训练200000步，数据输入尺寸为300×300像素，一个批次训练16张图片，设置学习率为0.001，动量为0.9，使用随机梯度下降作为优化算法，权重衰减为0.0005。
本发明提供的一种基于轻量型深度学习的电气设备红外图像实时性检测及诊断方法，通过采用人工智能处理、检测及诊断的方案，能够在受限环境(例如嵌入式设备)中部署有效的电气设备检测及诊断模型，能够实现对电气设备的有效检测，同时满足实时性检测的要求，提高检测识别的效率，有效利用运算资源。确保变电站电气设备的安全、实时的自动检测及诊断。通过改进SqueezeNet结构，采用一种复杂连接支路的结构以增强特征的传播并且在主干网路后增加多个卷积层，从而减小模型轻量化对检测精度的影响；通过采用模型权重随机初始化的策略，将训练集输入模型进行训练，经过详细实验，并根据训练结果进行参数的调整，从而确认最优的轻量化模型；进一步优选方案中，通过对现场获取的数据集进行不同的预处理可以提高数据的多样性，防止训练过拟合。本发明具有普适性和有效性。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明实施例的流程示意图。
图2为本发明实施例的部分电气设备的数据集图像。
图3为本发明实施例的改进的轻量型单发多盒检测器的红外图像实时性检测及诊断模型的结构图。
图4为本发明实施例的部分测试集电气设备红外图片的检测效果图。
具体实施方式
如图1中，一种基于轻量型深度学习的电气设备红外图像实时性检测及诊断方法，包括以下步骤：
S1、通过红外热成像仪获取变电站多种电气设备的红外图像；如图2中所示。优选的方案中，获取的多种电气设备红外图像是变电站技术人员通过手持红外热成像仪在现场拍摄或通过变电站携带红外热像仪的巡检机器人得到的红外图像；其中五种电气设备分别是避雷器、断路器、隔离开关、互感器与绝缘子。
S2、对获取的图像通过算法进行预处理形成用于训练的数据集；
S3、对获取的正常电气设备数据集与故障电气设备数据集进行目标的标签处理；
可选的方案中，将获取的数据集(其中包括正常电气设备数据集与故障电气设备数据集)采用随机亮度、对比度、色相、饱和度、随机噪声调整等光度畸变方法和随机翻转、平移、缩放、旋转等几何畸变方法对原始红外图像进行数据扩充，形成应用于模型的数据集。
通过框选操作对数据集中的多种电气设备进行标注。其中操作步骤如下：正常的电气设备数据集通过软件标记或算法对设备进行标注，而故障电气设备数据集则是对发热故障点进行标注。最终制作成待训练与待检测的数据集。
另一可选的方案中，优选的方案中，步骤S2中，将多种电气设备的3d形态作为模型，得到多个方向、角度的训练图集，以多种电气设备的形状作为识别特征，进行训练，包括以下步骤：
S21、将电气设备的方向作为电气设备红外图像数据集的图片的方向向量，对图片进行一种或多种图像处理方式进行预处理以扩充数据集，以使图片中电气设备的方向大致保持一致；
S22、采用VGG16结构，以单个或多个电气设备的形状作为标签区域进行识别，具体为根据电气设备的形状制作3维模型，将单个或多个的模型以不同方向投影导出作为训练集，从而提取电气设备的形状特征，以便于在复杂的背景中快速识别电气设备。例如，圆台形的各个投影特征，以及多个连续疑似图形的投影特征，以及在线状图形中直径增加位置的投影特征。将识别的图像按比例方式进行扩充后对多种电气设备所在的图形区域作为标签区域，进行智能识别并框选，制作成待训练与待检测的数据集。参见图4中，通过智能识别做作的标签区域，大幅降低运算资源的消耗，提高效率。电气设备因为具有比较明显的形状特征很容易从图像中被识别出来，即便识别后存在噪音，但是因为噪音的发热几乎是可以忽略的，因此对最终的检测的运算资源的占用不大，可以忽略。经过该步骤的处理，进一步提高了检测效率。
S4、将数据集随机分配为训练集与测试集；优选的，训练集数量多于测试集的数量。优选的，将数据集的80％分为训练集，20％分为测试集。
S5、构建改进的轻量型单发多盒检测器的红外图像实时性检测及诊断模型；
优选的方案如图3中所示，优选的方案中，改进的轻量型单发多盒检测器的红外图像实时性检测及诊断模型的主干网络结构为改进的轻量化模型SqueezeNet结构，首先在SqueezeNet网络基础上删除Conv10和全局最大池化层。然后修改的结构代替VGG16结构，作为改进的单发多盒检测器的主干网络。同时为了弥补轻量化对检测精度的影响,首先在主干网络后增加尺度逐渐减小的多个卷积层，然后在主干网络中增加多个旁路连接。
优选的方案中，在改进模型的主干部分采用改进的轻量化模型SqueezeNet结构，并且采用一种复杂连接支路的结构以增强特征的传播并且在主干网路后增加多个卷积层，从而减小模型轻量化对检测精度的影响。
S6、使用划分后的训练集进行该模型的参数调节与训练；
优选的方案中，通过采用模型权重随机初始化的策略，将训练集输入模型进行训练，经过详细实验，并根据训练结果进行参数的调整，从而确认最优的轻量化模型；在模型训练完毕后，再采用测试集进行模型测试。
优选的方案中，该模型在不同层次特征图得到不同尺度的先验框，并计算通过匹配得到的默认框的位置损失与置信度损失。总目标损失函数采用置信度损失和位置损失的带权加和的形式，模型损失函数如下所示：
其中，x取值0或1表示先验框是否匹配到真实标签框，c表示类别置信度，l表示预测框的真实信息，g表示真实标签框的真实信息，N表示匹配的默认框数量，α表示两者的权重。置信度损失是SoftMax loss，位置损失是先验框与真实标签框参数之间的smooth-L1损失。
S7、使用划分后的测试集对训练完毕的检测及诊断模型进行目标的检测及诊断，以证明其有效性；
通过以上步骤实现变电站多种电气设备的红外图像的自动检测及诊断。本发明通过以上步骤能够在受限环境(例如嵌入式设备)中部署有效的电气设备检测及诊断模型，能够实现对电气设备的有效检测，同时满足实时性检测的要求，提高检测识别的效率，有效利用运算资源。确保变电站电气设备的安全、实时的自动检测及诊断。
优选的方案中，由于采用模型权重随机初始化的策略，因此模型共训练200000步，数据输入尺寸为300×300像素，一个批次训练16张图片，设置学习率为0.001，动量为0.9，使用随机梯度下降作为优化算法，权重衰减为0.0005。模型测试结果如图4所示，检测取得了很好的效果。对整个测试集进行测试，五种电气设备的最终的识别平均精度分别为避雷器89.03％、断路器80.21％、隔离开关90.50％、互感器90.27％、绝缘子89.08％与整个测试集的平均精度均值87.82％。
实例表明，本发明的方法在实现模型轻量化的同时对多种电气设备能够准确的识别，并为后继电气设备检测工作状态的判断提供实时、可靠的基础。
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。
Claims (5)
1.一种基于轻量型深度学习的电气设备红外图像实时性检测及诊断方法，其特征是包括以下步骤：
S1、通过红外热成像仪获取变电站电气设备的红外图像；
S2、对获取的图像通过算法进行预处理形成用于训练的数据集；
S3、对获取的正常电气设备数据集与故障电气设备数据集进行目标的标签处理；
S4、将处理完毕的数据集随机分配为训练集与测试集；
S5、构建改进的轻量型单发多盒检测器的红外图像实时性检测及诊断模型；
S6、使用划分后的训练集进行该模型的参数调节与训练；
S7、使用划分后的测试集对训练完毕的检测及诊断模型进行目标的检测及诊断，以证明其有效性；
通过以上步骤实现变电站多种电气设备的红外图像的自动检测及诊断；
改进的单发多盒检测器的主干网络结构为改进的轻量化模型SqueezeNet结构，首先在SqueezeNet网络基础上删除Conv10和全局最大池化层；然后修改的结构代替VGG16结构，作为改进的单发多盒检测器的主干网络；同时为了弥补轻量化对检测精度的影响，首先在主干网络后增加尺度逐渐减小的多个卷积层，然后在主干网络中增加多个旁路连接；
在改进模型的主干部分采用改进的轻量化模型SqueezeNet结构，并且采用一种应用残差连接结合1×1卷积的复杂连接支路的结构以增强特征的传播并且在主干网路后增加多个卷积层，从而减小模型轻量化对检测精度的影响；
通过采用模型权重随机初始化的策略，将训练集输入模型进行训练，经过实验，并根据训练结果进行参数的调整，从而确认最优的轻量化模型；在模型训练完毕后，再采用测试集进行模型测试；
该模型在不同层次特征图得到不同尺度的先验框，并计算通过匹配得到的默认框的位置损失与置信度损失；总目标损失函数采用置信度损失和位置损失的带权加和的形式，模型损失函数如下所示：
其中，x取值0或1表示先验框是否匹配到真实标签框，c表示类别置信度，l表示预测框的真实信息，g表示真实标签框的真实信息，N表示匹配的默认框数量，α表示两者的权重；置信度损失是SoftMax loss，位置损失是先验框与真实标签框参数之间的smooth-L1损失。
2.根据权利要求1所述的一种基于轻量型深度学习的电气设备红外图像实时性检测及诊断方法，其特征是：
将获取的数据集，包括正常电气设备数据集与故障电气设备数据集，采用随机亮度、对比度、色相、饱和度、随机噪声调整的光度畸变方法和随机翻转、平移、缩放、旋转的几何畸变方法对原始红外图像进行数据扩充，形成应用于模型的数据集。
3.根据权利要求1所述的一种基于轻量型深度学习的电气设备红外图像实时性检测及诊断方法，其特征是：步骤S3与S4中，通过框选操作对数据集中的多种电气设备进行标注；
其中操作步骤如下：正常的电气设备数据集通过软件或算法标记对设备进行标注，而故障电气设备数据集则是对发热故障点进行标注；最终制作成待训练与待检测的数据集。
4.根据权利要求1所述的一种基于轻量型深度学习的电气设备红外图像实时性检测及诊断方法，其特征是：步骤S2中，将多种电气设备的3d形态作为模型，得到多个方向、角度的训练图集，以电气设备的形状作为识别特征，进行训练，包括以下步骤：
S21、将电气设备的方向作为电气设备红外图像数据集的图片的方向向量，对图片进行一种或多种图像处理方式进行预处理以扩充数据集，以使图片中电气设备的方向保持一致；
S22、采用VGG16结构，以单个或多个电气设备的形状作为标签区域进行识别，按比例方式进行扩充后对电气设备所在的图形区域作为标签区域，进行智能识别并框选，制作成待训练与待检测的数据集。
5.根据权利要求3～4任一项所述的一种基于轻量型深度学习的电气设备红外图像实时性检测及诊断方法，其特征是：将数据集分为训练集和测试集，训练集数量多于测试集的数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110206146.1A CN113159334B (zh) | 2021-02-24 | 2021-02-24 | 基于轻量型深度学习的电气设备红外图像实时性检测与诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110206146.1A CN113159334B (zh) | 2021-02-24 | 2021-02-24 | 基于轻量型深度学习的电气设备红外图像实时性检测与诊断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113159334A CN113159334A (zh) | 2021-07-23 |
| CN113159334B true CN113159334B (zh) | 2022-10-11 |
Family
ID=76883282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110206146.1A Active CN113159334B (zh) | 2021-02-24 | 2021-02-24 | 基于轻量型深度学习的电气设备红外图像实时性检测与诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113159334B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115587975B (zh) * | 2022-09-28 | 2023-06-30 | 国网湖北省电力有限公司超高压公司 | 充油设备套管积污缺陷诊断系统、方法和介质 |
| CN115588265B (zh) * | 2022-12-12 | 2023-04-07 | 华能酒泉风电有限责任公司 | 一种风电场的智能监视系统 |
| CN116664966B (zh) * | 2023-03-27 | 2024-02-20 | 北京鹰之眼智能健康科技有限公司 | 一种红外图像处理系统 |
| CN116050807B (zh) * | 2023-03-30 | 2023-06-23 | 东莞正大康地饲料有限公司 | 基于视频监控巡检的饲料生产设备缺陷识别方法及系统 |
| CN117809083B (zh) * | 2023-12-14 | 2024-08-30 | 国网湖北省电力有限公司武汉供电公司 | 一种基于红外或紫外图像的电缆接头故障检测方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717534A (zh) * | 2019-09-30 | 2020-01-21 | 中国科学院大学 | 一种基于网络监督的目标分类和定位方法 |
| CN110782461A (zh) * | 2019-10-28 | 2020-02-11 | 华北电力大学 | 一种基于Mask-RCNN的电力设备红外图像分割方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860147B (zh) * | 2020-06-11 | 2021-05-11 | 北京市威富安防科技有限公司 | 行人重识别模型优化处理方法、装置和计算机设备 |
| CN111967305B (zh) * | 2020-07-01 | 2022-03-18 | 华南理工大学 | 一种基于轻量级卷积神经网络的实时多尺度目标检测方法 |
| CN112200178B (zh) * | 2020-09-01 | 2022-10-11 | 广西大学 | 基于人工智能的变电站绝缘子红外图像检测方法 |
-
2021
- 2021-02-24 CN CN202110206146.1A patent/CN113159334B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717534A (zh) * | 2019-09-30 | 2020-01-21 | 中国科学院大学 | 一种基于网络监督的目标分类和定位方法 |
| CN110782461A (zh) * | 2019-10-28 | 2020-02-11 | 华北电力大学 | 一种基于Mask-RCNN的电力设备红外图像分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的输变电设备异常发热点红外图片目标检测方法;刘云鹏等;《南方电网技术》;20190220(第02期);第27-33页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113159334A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113159334B (zh) | 基于轻量型深度学习的电气设备红外图像实时性检测与诊断方法 | |
| CN112200178B (zh) | 基于人工智能的变电站绝缘子红外图像检测方法 | |
| CN112199993B (zh) | 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法 | |
| Kurukuru et al. | Fault classification for photovoltaic modules using thermography and image processing | |
| CN113486877B (zh) | 基于轻量化人工智能模型的电力设备红外图像实时检测与诊断方法 | |
| CN108898077B (zh) | 电力设备红外热图的识别方法和电力设备红外识别系统 | |
| CN107742093A (zh) | 一种红外图像电力设备部件实时检测方法、服务器及系统 | |
| Alsafasfeh et al. | Fault detection in photovoltaic system using SLIC and thermal images | |
| CN109870617A (zh) | 一种基于宽度学习和红外图像时空特征的智能电厂电气设备故障诊断方法 | |
| CN112013966B (zh) | 一种基于测量温度的电力设备红外图像处理方法 | |
| CN107833211A (zh) | 基于红外图像的零值绝缘子自动检测方法及装置 | |
| Prabhakaran et al. | Deep Learning-Based Model for Defect Detection and Localization on Photovoltaic Panels. | |
| CN109523543A (zh) | 一种基于边缘距离的导线断股检测方法 | |
| CN113962973A (zh) | 一种基于卫星技术的输电线路无人机智能巡检系统及方法 | |
| Bao et al. | MIAD: A maintenance inspection dataset for unsupervised anomaly detection | |
| CN114155212B (zh) | 一种基于红外图像的变电站异常绝缘子检测方法和装置 | |
| CN115147591A (zh) | 一种变电设备红外图像电压致热型缺陷诊断方法及系统 | |
| Özer et al. | An approach based on deep learning methods to detect the condition of solar panels in solar power plants | |
| Manninen et al. | Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images | |
| Otamendi et al. | A scalable framework for annotating photovoltaic cell defects in electroluminescence images | |
| Ji et al. | Enhancing Transmission Line Safety: Real-Time Detection of Foreign Objects Using MFMAM-YOLO Algorithm | |
| CN106022302A (zh) | 一种通过usfpf特征识别故障跳线联板的方法 | |
| CN114494186B (zh) | 一种高压输变电线路电气设备的故障检测方法 | |
| CN113160236B (zh) | 一种光伏电池阴影遮挡的图像识别方法 | |
| Tang et al. | Fault diagnosis of the external insulation infrared images based on Mask Region convolutional neural network and perceptual hash joint algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210723 Assignee: Henan Guanglai Electronic Technology Co.,Ltd. Assignor: GUANGXI University Contract record no.: X2023980045497 Denomination of invention: A real-time detection and diagnosis method for infrared images of electrical equipment based on lightweight deep learning Granted publication date: 20221011 License type: Common License Record date: 20231103 |