CN114199381A - 一种改进红外检测模型的电气设备故障检测方法 - Google Patents
一种改进红外检测模型的电气设备故障检测方法 Download PDFInfo
- Publication number
- CN114199381A CN114199381A CN202111518315.1A CN202111518315A CN114199381A CN 114199381 A CN114199381 A CN 114199381A CN 202111518315 A CN202111518315 A CN 202111518315A CN 114199381 A CN114199381 A CN 114199381A
- Authority
- CN
- China
- Prior art keywords
- region
- suggestions
- suggestion
- electrical equipment
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000007547 defect Effects 0.000 claims abstract description 6
- 238000012423 maintenance Methods 0.000 claims abstract description 6
- 238000012937 correction Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000001629 suppression Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000010845 search algorithm Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 10
- 238000003709 image segmentation Methods 0.000 abstract description 4
- 239000010410 layer Substances 0.000 description 13
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 6
- 238000013526 transfer learning Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052573 porcelain Inorganic materials 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0096—Radiation pyrometry, e.g. infrared or optical thermometry for measuring wires, electrical contacts or electronic systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种改进红外检测模型的电气设备故障检测方法，对红外图像中的多种电气设备及部位进行类别判定和精确定位，克服了单类设备识别、背景复杂、图像分割效果差的问题，提升设备识别准确率，提高变电站的安全性。包括如下步骤，采集待检测红外图像送入经过预训练处理的红外检测模型中；采用RPN生成区域建议并采用边框回归进行修正；对区域建议特征图中所有的区域建议进行分类处理，识别标识出每个区域建议所属类别；对标识类别的区域建议进行边框回归进一步修正区域建议在待检测红外图像中的位置，定位故障电气设备；结合红外采集设备获取故障电气设备的热状态信息进行故障诊断，并生成缺陷报告和检修建议，故障检测完成。
Description
技术领域
本发明涉及图像检测技术领域，具体为一种改进红外检测模型的电气设备故障检测方法。
背景技术
目前积极探索智能化变电站的建设已经成为主流趋势，许多变电站已经安装了红外检测系统，通过固定红外摄像头和人工手持红外热像仪等巡检方式将采集到的大量红外图像通过网络通信技术传输到监控系统中，由监控中心的技术人员对采集到的图像进行故障排查。目前，红外摄像头和智能巡检机器人等红外设备采集到的红外图像往往包含多类设备，而且由于环境、光线和拍摄角度等因素的影响，红外图像会出现不同程度的畸变、模糊失真或噪声混入，造成图像质量下降；图像中的电气设备也会呈现低分辨率和多形态化特征的问题，且现有的一些红外检测系统在进行故障诊断时很大程度上依靠技术人员，对技术人员的专业知识和经验要求很高，需要具有智能分析与决策的能力。而且这些故障数据具有海量、高频、分散等特点，依靠人工排查需要耗费大量的人力物力而且准确性还难以保障。
传统机器学习通常只能解决单一领域内的问题，基本流程是首先通过大量的样本数据训练得到学习好的网络模型，然后使用模型对测试样本进行分类。传统机器学习框架通常要满足两个条件：训练样本数量足够多、测试样本和训练样本具有相同的分布。随着人工智能技术的不断发展，机器学习应用领域也来越广泛，各个领域都产生了海量的数据，不可避免的会出现旧数据不适合新任务而浪费掉的问题。另外，部分领域因为样本数量有限，在进行训练学习后识别准确率较低且容易出现过拟合现象。传统的图像检测方法需要人工选择最佳参数，导致处理效率不高且鲁棒性较差，无法满足大数据量实时检测以及多目标检测识别的要求。
此外，在使用Faster RCNN红外检测模型对红外图像中电气设备进行目标检测识别过程中，设备部位因为外观相似导致识别错误率较高，为后续电气设备故障诊断带来了极大困扰。
发明内容
为了解决现有技术中存在的问题，本发明提供一种改进红外检测模型的电气设备故障检测方法，对红外图像中的多种电气设备及部位进行类别判定和精确定位，克服了单类设备识别、背景复杂、图像分割效果差的问题，极大提升了设备识别准确率，减少管理成本和人力物力消耗并提高变电站的安全性，保障变电站电气设备的安全稳定运行。
为实现上述目的，本发明提供如下技术方案：
一种改进红外检测模型的电气设备故障检测方法，包括如下步骤，
采集待检测红外图像送入经过预训练处理的红外检测模型中，对待检测红外图像进行特征提取并生成特征图；
采用RPN通过锚点在特征图上生成区域建议并判断生成的区域建议是否是待检测目标电气设备，若不是，则重新提取待检测红外图像，若是，则对生成的区域建议采用边框回归进行初步修正；
将初步修正后不同大小的区域建议转换为固定长度的区域建议，整合固定长度的区域建议和红外检测模型中生成的特征图，获得固定大小的区域建议特征图；
对区域建议特征图中所有的区域建议进行分类处理，识别标识出每个区域建议所属类别；
对标识类别的区域建议进行边框回归进一步修正区域建议在待检测红外图像中的位置，定位故障电气设备；
结合红外采集设备获取故障电气设备的热状态信息进行故障诊断，并生成缺陷报告和检修建议，故障检测完成。
优选地，还包括基于非极大值抑制思想对RPN生成的区域建议进行预处理，预处理包括，
将RPN所有生成的区域建议进行打分后按照得分由大到小或由小到大进行排序；
选取得分最高的区域建议，然后计算其他的区域建议与得分最高的区域建议的重叠度，若某个区域建议与得分最高的区域建议的重叠度超过设定的重叠度阈值，则删掉该区域建议并保留得分最高的区域建议；
从剩余的区域建议中重新选取得分最高的区域建议，重复上述过程，直至所有区域建议筛选完成。
优选地，所述设定的重叠度阈值范围为0-0.5。
优选地，所述重叠度的计算公式为，
其中，IoU为其他区域建议与得分最高的区域建议的重叠度，area(C)为其他区域建议面积，area(G)为得分最高的区域建议面积，∩为求两个区域建议面积的交集，∪求两个区域建议面积的并集。
优选地，还包括基于非极大值抑制思想对识别标识出的区域建议所属类别进行类别修正，类别修正包括，
将所有区域建议类别分为设备和部位两类，通过比较设备和部位中的区域建议重叠面积占部位区域建议面积的比例判断部位和设备的包含关系，
若比例不小于设定的阈值，则部位中的区域建议属于设备中的区域建议，并对部位中的区域建议进行类别修正，修正方法为修改部位中的区域建议的名称前缀与设备一致；
若比例小于设定的阈值，则部位中的区域建议不属于设备中的区域建议，继续部位中下一区域建议的类别修正，直至所有区域建议类别修正完成。
优选地，所述重叠面积占比的计算公式为，
其中，AoR为重叠面积比例，area(Bj)为部位中的区域建议面积，area(Aj)为设备中的区域建议面积，∩为求两个区域建议面积的交集。
优选地，所述红外检测模型采用经过预训练处理的VGG16、ResNet50或ResNet101卷积神经网络模型。
优选地，所述预训练处理包括，
对红外检测模型在ImageNet数据集上进行初步训练；
将完成初步训练的红外检测模型在建立的红外图像数据集上调整红外检测模型的网络权值。
优选地，所述建立红外图像数据集包括，采用选择性搜索算法建立多标记的红外图像数据集。
优选地，所述获取待检测目标电气设备的热状态信息包括采用绝对温度法和相对温差法对待检测目标电气设备区域的表面温度和相对温度进行判断运行状态是否正常。
与现有技术相比，本发明具有以下有益效果：
本发明提供一种改进红外检测模型的电气设备故障检测方法，提取图像特征领域表现较好的深度卷积神经网络模型作为基础特征提取网络对红外图像中的各类电气设备进行特征提取，避免了传统手工特征提取方法涉及到的繁琐步骤和繁杂计算，极大的提高了计算效率，克服了传统特征在复杂数据集上表征能力不强的问题。利用迁移学习的原理，对红外检测模型进行预训练处理，在提取到良好特征的同时，能够大大降低了训练网络所需的时间。同时，使用NMS思想对Faster RCNN目标检测算法进行了改进，从而对红外图像中的多种电气设备及部位进行类别判定和精确定位，克服了单类设备识别、背景复杂、图像分割效果差等问题，设备识别准确率有了极大的提升，取得了良好的应用效果。
本发明为了解决Faster RCNN红外检测模型对电气设备部位识别准确率低的问题，借鉴非极大值抑制思想对Faster RCNN进行了改进，在原有算法基础上添加了类别修正功能，通过计算面积重叠比例在设备区域建议与设备部位区域建议之间建立了关联关系，使模型可以对识别错误的设备部位类型进行类别修正，从而提高了红外图像中电气设备的识别准确率。
附图说明
图1是本发明的电气设备故障检测流程示意图；
图2是本发明实施例中故障检测算法流程图；
图3是本发明Faster RCNN模型示意图；
图4是本发明VGG16预训练模型分类过程图；
图5是本发明锚点框图；
图6是本发明边框回归图；
图7是本发明RPN结构图；
图8是本发明分类和边框回归图；
图9是本发明实施例中Faster RCNN改进前后总体识别准确率对比图。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
如图2所示，本发明是对于采集到的避雷器、电流互感器(CT)、电压互感器(PT)、断路器、隔离开关等高压电气设备的红外图像，使用Faster RCNN技术进行特征提取、目标检测、模式识别等相关算法进行分析处理，从而实现对电气设备红外图像的智能识别与诊断。
如图1所示，本发明一种改进红外检测模型的电气设备故障检测方法，包括如下步骤，
采集待检测红外图像送入经过预训练处理的红外检测模型中，对待检测红外图像进行特征提取并生成特征图；其中，预训练处理的红外检测模型可以采用基于迁移学习方法将ImageNet数据集上训练完成的VGG16预训练模型的网络结构和权重参数设定为红外检测模型的初始状态；
采用RPN通过锚点在特征图上生成区域建议并判断生成的区域建议是否是待检测目标电气设备，若不是，则重新提取待检测红外图像，若是，则对生成的区域建议采用边框回归进行初步修正；
将初步修正后不同大小的区域建议转换为固定长度的区域建议，整合固定长度的区域建议和红外检测模型中生成的特征图，获得固定大小的区域建议特征图；
对区域建议特征图中所有的区域建议进行分类处理，识别标识出每个区域建议所属类别；
对标识类别的区域建议进行边框回归进一步修正区域建议在待检测红外图像中的位置，定位故障电气设备；
结合红外采集设备获取故障电气设备的热状态信息进行故障诊断，并生成缺陷报告和检修建议，故障检测完成。
本发明提供一种改进红外检测模型的电气设备故障检测方法，在Faster RCNN的基础上，提取图像特征领域表现较好的VGG16深度卷积神经网络模型作为基础特征提取网络对红外图像中的各类电气设备进行特征提取，避免了传统手工特征提取方法涉及到的繁琐步骤和繁杂计算，极大的提高了计算效率，克服了传统特征在复杂数据集上表征能力不强的问题。利用迁移学习的原理，使用在ImageNet数据集上训练好的VGG16预训练模型的网络结构和权值在红外数据集上进行再训练，对网络参数进行微调，在提取到良好特征的同时，大大降低了训练网络所需的时间。同时，使用NMS思想对Faster RCNN目标检测算法进行了改进，从而对红外图像中的多种电气设备及部位进行类别判定和精确定位，克服了单类设备识别、背景复杂、图像分割效果差等问题，设备识别准确率有了极大的提升，取得了良好的应用效果。
本发明中的Faster RCNN红外检测模型将目标检测的特征提取，区域建议生成、分类和边框回归四个步骤整合到一个深度网络框架之内，所有计算没有重复，完全在GPU中完成，大大提高了运行速度。应用Faster RCNN网络结构图，如图3所示，可以清晰地看到该网络对于一副任意大小PxQ的红外图像，首先缩放至固定大小MxN，然后送入V6616模型进行特征提取并生成特征图；RPN网络在特征图上生成区域建议并判断区域建议是否为目标，同时对区域建议做边框回归；Roi Pooling整合特征图和区域建议送入全连接层进行分类并做最后的边框回归，完成检测定位和分类。
进一步地，本发明在进行目标检测和分类处理时，为了使模型更好适应红外图像中电气设备的图像特点，保证模型特征提取的针对性和有效性，采用选择性搜索SS(Selected Search)算法辅助判别和标记样本中的目标类别和位置，建立了多标记的红外图像数据集以改善参数学习效果，从而提高电气设备红外热成像检测的工程实用性。
迁移学习的出现和不断发展，使得机器学习的过程从原有的每次从零开始学习模式转变成为了一种积累学习的模式。迁移学习具有较高的数据忍耐力，可以在目标领域数据相同的分布情况下不做要求，具有良好的灵活性和可扩展性。因此本发明放弃使用随机初始化参数方法，改用迁移学习方法将ImageNet数据集上训练好的VGG16预训练模型的网络结构和权重参数作为电气设备红外热成像检测模型的初始状态，然后在红外数据集上微调(fine tune)整个网络权值，对模型中的所有参数进行更新以适应新的分类任务，更好地提取红外图像特征，如图4所示。
进一步地，使用VGG16预训练模型提取图像特征后可以获取到红外图像的特征图，每一层卷积网络都在前一层的信息基础上提取更加抽象的特征，最终经过若干次卷积池化操作后得到特征值在空间维度上比原始图像小很多，但是表征更深的特征图。但是当红外图像样本过少时，模型在训练时容易陷入过拟合，为保持模型复杂度与数据量之间的动态平衡，本发明采用正则化降低高维参数值的权重，使参数自动适应不同拍摄角度的红外图像，将每个卷积层的大小和滤波器参数均调谐到合理的范围，改善其泛化性能。
进一步地，本发明中RPN通过锚点直接在特征图上生成区域建议，引入了检测中常用到的多尺度方法。锚点是位置和大小固定的框，可以理解成事先设置好的固定的区域建议，根据红外图像设置会为特征图中每个像素生成不同尺寸和比例(1:1,1:2,2:1三种)的9个锚点框，如图5所示，初始得到的锚点框很不准确，所以RPN网络会通过边框回归调整锚点以更好的拟合其预测的目标。
对于区域建议一般用四维向量(x,y,w,h)表示，分别表示窗口的中心点坐标和宽高。如图6所示，框A代表RPN网络生成的原始的目标定位，框G代表真正的目标定位。边框回归就是寻找一种关系，使得原始目标A经过映射得到一个跟真实目标G更接近的回归窗口G'，即给定A＝(Ax,Ay,Aw,Ah)，寻找一种映射f，使得f(Ax,Ay,Aw,Ah)＝(G'x,G'y,G'w,G'h)，其中(G'x,G'y,G'w,G'h)≈(Gx,Gy,Gw,Gh)。
其中比较简单的思路就是平移和缩放操作，计算公式分别如下式1和2所示：
观察公式(1)和(2)可以发现，需要学习的是dx(A),dy(A),dw(A),dh(A)这四个变换。当输入的原始目标A与真实目标G相差较小时，可以认为这种变换是一种线性变换，可以通过线性回归建模对目标区域进行微调。对于给定输入的特征向量X(x,y,w,h)，学习一组参数W，使得经过线性回归后的值跟真实值Y非常接近，即Y＝WX。
通过锚点和边框回归，RPN网络可以接受所有区域建议并为目标输出一套好的建议。RPN网络包含两个输出：第一个输出是锚点作为目标的概率，RPN不关心目标的类别，只在意它实际上是不是一个目标(而不是背景)；第二个输出是边框回归，用于调整锚点以更好的拟合其预测的目标，如图7所示。
进一步地，ROI Pooling整合RPN生成的区域建议和VGG16得到的特征图生成区域建议特征图并将不同大小的输入转换为固定长度的输出，得到固定大小的建议特征图；然后对图像中所有区域建议进行识别，输出区域建议所属的类，并再次进行边框回归进一步修正区域建议在图像中的精确位置，如图8所示。
进一步地，还包括基于非极大值抑制思想对RPN生成的区域建议进行预处理，预处理包括，
将RPN所有生成的区域建议进行打分后按照得分由大到小或由小到大进行排序；
选取得分最高的区域建议，然后计算其他的区域建议与得分最高的区域建议的重叠度，若某个区域建议与得分最高的区域建议的重叠度超过设定的重叠度阈值，则删掉该区域建议并保留得分最高的区域建议；
从剩余的区域建议中重新选取得分最高的区域建议，重复上述过程，直至所有区域建议筛选完成。
非极大值抑制(Non-Maximum Suppression，NMS)，即为抑制不是极大值的元素，可以理解为局部最大搜索。这个局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小。
本发明为了解决Faster RCNN红外检测模型对电气设备部位识别准确率低的问题，借鉴非极大值抑制思想对Faster RCNN进行了改进，在进行目标检测时一般会采取窗口滑动的方式，在红外图像上生成很多的区域建议，然后把这些区域建议进行特征提取后送入分类器，将区域建议得分进行排序。选取得分最高的区域建议，然后计算其他区域建议与当前区域建议的重叠度IoU，IoU全称为交并比(Intersection over Union)，计算的是预测边框和真实边框的交集和并集的比值。
本实施例中，IoU的阈值是一个可优化的参数，一般范围为0-0.5，可以使用交叉验证来选择最优的参数。
其中，所述重叠度的计算公式为，
其中，IoU为其他区域建议与得分最高的区域建议的重叠度，area(C)为其他区域建议面积，area(G)为得分最高的区域建议面积，∩为求两个区域建议面积的交集，∪求两个区域建议面积的并集。
其中，如果重叠度大于一定阈值就删除，同一个电气设备可能会出现好几个高得分的区域建议，选择其中一个效果最好的即可。
非极大值抑制实际上是一个迭代的过程，具体处理方法如下，
假如有6个区域建议按照分类得分从小到大排序分别为A、B、C、D、E、F。
(1)首先选取最大得分区域建议F，分别判断A～E与F的重叠率IoU是否大于某个设定的阈值。
(2)假如A和C与F的重叠度超过阈值，那么就删掉A和C；并标记F为第一个保留下来的区域建议。
(3)从剩下的矩形框B、D、E中，选择得分最高的E，然后判断E与B、D的重叠度，如果重叠度大于一定的阈值，那么就删掉B和D，并标记E为保留下来的第二个区域建议。
(4)重复上述过程，找到所有被保留下来的区域建议。
区域建议生成后送入后续全连接层或者分类器进行分类处理，然而一般卷积神经网络后接的全连接层或者分类器都需要固定的输入尺寸，因此不得不对输入数据进行crop或者warp，这些预处理会造成数据的丢失或几何的失真。而在红外智能识别的实际应用过程中，红外设备生产厂家不同导致采集到的红外图像尺寸大小不同；另外由于拍摄距离不同、角度不同、不同电气设备大小不一等原因，会导致红外图像中设备的尺度不同。针对这一问题，Faster RCNN通过以下两个操作对图像进行处理以适应设备图像多尺度问题，
1).针对红外图像尺寸大小不同问题，Faster RCNN在接收到原始红外图像后会将所有所有图像缩放至一个固定的尺寸以确保经过若干次卷积池化操后得到的特征图尺寸是统一的。
2).针对区域建议不同问题，Faster RCNN卷积层和全连接层之间引入了ROIPooling层。ROI Pooling层可以看做单层SPP Net(Spatial Pyramid Pooling，空间金字塔池化)的网络层，这个网络层可以把不同大小的输入映射到一个固定尺度的特征向量，从而使得输出尺度始终是固定的。
进一步地，还包括基于非极大值抑制思想对识别标识出的区域建议所属类别进行类别修正，类别修正包括，
将所有区域建议类别分为设备和部位两类，通过比较设备和部位中的区域建议重叠面积占部位区域建议面积的比例判断部位和设备的包含关系，
若比例不小于设定的阈值，则部位中的区域建议属于设备中的区域建议，并对部位中的区域建议进行类别修正，修正方法为修改部位中的区域建议的名称前缀与设备一致；
若比例小于设定的阈值，则部位中的区域建议不属于设备中的区域建议，继续部位中下一区域建议的类别修正，直至所有区域建议类别修正完成。
本发明为了解决Faster RCNN红外检测模型对电气设备部位识别准确率低的问题，借鉴非极大值抑制思想对Faster RCNN进行了改进，在原有算法基础上添加了类别修正功能，通过计算面积重叠比例在设备区域建议与设备部位区域建议之间建立了关联关系，使模型可以对识别错误的设备部位类型进行类别修正，从而提高了红外图像中电气设备的识别准确率。
其中，所述重叠面积占比的计算公式为，
其中，AoR为重叠面积比例，area(Bj)为部位中的区域建议面积，area(Aj)为设备中的区域建议面积，∩为求两个区域建议面积的交集。
类别修正具体实施步骤如下，
(1)将红外图像识别出的所有区域建议按照命名规则分为设备整体A和设备部位B两类(设备整体命名规则为设备简称，例如避雷器“BLQ”、断路器“DLQ”；设备部位命名规则为“设备_部位”，例如避雷器接头“BLQ_JT”、断路器瓷瓶套管“DLQ_CT”)。分类完成后分别将A、B中所有区域建议按照面积从小到大进行排序。
(2)从A中选取面积最小的区域建议Ai，依次遍历B中区域建议(Bj)并与Ai进行计算重叠面积比例(Area overlap ratio)，计算公式如下式所示：
然后将AoR与设定好的阈值0.8进行比较。如果AoR>＝0.8,说明区域建议Bj绝大部分区域包含在Ai中，可以认为Bj属于设备整体Ai。然后对Bj进行类别修正，如果Bj名称前缀(即“_”之前设备名称)与Ai名称相同，说明部位识别正确不需要进行修正；如果如果Bj名称前缀与Ai名称不同，说明部位识别错误需要进行修正，修正方法为修改Bj名称前缀跟Ai相同即可。并添加数组索引确保后续遍历不再访问，减少计算量和缩短处理时间。
如果AoR<0.8，则认为Bj不属于Ai，不做处理继续下一个区域建议Bj+1的计算。
依次遍历A中区域建议并重复(2)过程直到所有区域建议修改完成。
优选地，所述红外检测模型采用经过预训练处理的VGG16、ResNet50或ResNet101卷积神经网络模型作为红外检测模型对待检测红外图像进行特征提取。
进一步地，所述预训练处理包括，
对红外检测模型在ImageNet数据集上进行初步训练；
将完成初步训练的红外检测模型在建立的红外图像数据集上调整红外检测模型的网络权值。
再进一步地，所述建立红外图像数据集包括，采用选择性搜索算法建立多标记的红外图像数据集。
进一步地，所述获取待检测目标电气设备的热状态信息包括采用绝对温度法和相对温差法对待检测目标电气设备区域的表面温度和相对温度进行判断运行状态是否正常。
本发明为了实现电气设备的实时状态检测和故障自动诊断，还设计开发了一套基于Web的红外成像智能识别与诊断系统。通过Faster RCNN红外检测模型对采集到的红外图像进行智能分析和处理准确定位和识别红外图像中的各类设备，同时使用绝对温度法和相对温差法对识别设备区域的热状态信息进行二次判断给出准确的运行状态和故障类型，并通过人工二次分析生成缺陷报告和给出检修意见。
本发明使用目标检测、模式识别等手段对摄像头、红外热像仪和智能巡检机器人等设备采集到的红外图像进行分析处理，准确定位红外图像中的多种电气设备位置以及识别电气设备类别，同时结合红外采集设备获取到的电气设备热状态信息对电气设备进行故障诊断，并生成缺陷报告和给出检修建议。通过对获取到的红外图像进行智能分析和诊断，可以在很大程度上降低人工巡检的强度，减少管理成本和人力物力消耗并提高变电站的安全性，对保障变电站电气设备的安全稳定运行具有重要意义。
实施例
应用本发明的技术对测试集中5517张红外测试图像的识别结果进行了统计，选取样本数量较多的避雷器、电压互感器、电流互感器和断路器四类设备的识别准确率来说明本发明提供的基于Faster RCNN红外检测模型的电气设备故障检测方法改进前后的应用效果，如下表1所示。
表1 Faster RCNN算法改进前后识别准确率对比
从表中可以看出，采用本发明提供的基于Faster RCNN红外检测模型的电气设备故障检测方法后四类设备的识别准确率有了不同程度的提高，本发明中新增的类别修正功能，使得电气设备部位的识别准确率有了显著提高，从而提高设备的总体识别准确率。改进Faster RCNN算法电气设备的总体识别准确率达到92.8％，比改进前的83.1％提高了9.7个百分点，对比结果如图9所示。
除了上述的实施例之外，本发明还提供了其他几种实施例之间的对比实验，包括对VGG16、ResNet50和ResNet101三种特征提取网络的性能进行对比，下表2是三种特征提取网络性能对比实验结果。
表2 特征提取网络性能对比
实验结果表明，使用VGG16、ResNet50和ResNet101三种卷积神经网络模型对电气设备红外图像进行特征提取时都可以达到较好的分类效果。其中，VGG16模型运行时间最短，ResNet101模型识别准确率最高，但是对电脑配置要求较高，相应的运行时间也最长。
为实现上述目的,在本发明中采取的主要技术手段。要清楚、完整、准确地加以描述，要对发明的实质内容加以说明，公开的程度以所属技术领域的普通技术人员能够理解和实现为准。
Claims (10)
1.一种改进红外检测模型的电气设备故障检测方法，其特征在于，包括如下步骤，
采集待检测红外图像送入经过预训练处理的红外检测模型中，对待检测红外图像进行特征提取并生成特征图；
采用RPN通过锚点在特征图上生成区域建议并判断生成的区域建议是否是待检测目标电气设备，若不是，则重新提取待检测红外图像，若是，则对生成的区域建议采用边框回归进行初步修正；
将初步修正后不同大小的区域建议转换为固定长度的区域建议，整合固定长度的区域建议和红外检测模型中生成的特征图，获得固定大小的区域建议特征图；
对区域建议特征图中所有的区域建议进行分类处理，识别标识出每个区域建议所属类别；
对标识类别的区域建议进行边框回归进一步修正区域建议在待检测红外图像中的位置，定位故障电气设备；
结合红外采集设备获取故障电气设备的热状态信息进行故障诊断，并生成缺陷报告和检修建议，故障检测完成。
2.根据权利要求1所述的一种改进红外检测模型的电气设备故障检测方法，其特征在于，还包括基于非极大值抑制思想对RPN生成的区域建议进行预处理，预处理包括，
将RPN所有生成的区域建议进行打分后按照得分由大到小或由小到大进行排序；
选取得分最高的区域建议，然后计算其他的区域建议与得分最高的区域建议的重叠度，若某个区域建议与得分最高的区域建议的重叠度超过设定的重叠度阈值，则删掉该区域建议并保留得分最高的区域建议；
从剩余的区域建议中重新选取得分最高的区域建议，重复上述过程，直至所有区域建议筛选完成。
3.根据权利要求2所述的一种改进红外检测模型的电气设备故障检测方法，其特征在于，所述设定的重叠度阈值范围为0-0.5。
4.根据权利要求2所述的一种改进红外检测模型的电气设备故障检测方法，其特征在于，所述重叠度的计算公式为，
其中，IoU为其他区域建议与得分最高的区域建议的重叠度，area(C)为其他区域建议面积，area(G)为得分最高的区域建议面积，∩为求两个区域建议面积的交集，∪求两个区域建议面积的并集。
5.根据权利要求1所述的一种改进红外检测模型的电气设备故障检测方法，其特征在于，还包括基于非极大值抑制思想对识别标识出的区域建议所属类别进行类别修正，类别修正包括，
将所有区域建议类别分为设备和部位两类，通过比较设备和部位中的区域建议重叠面积占部位区域建议面积的比例判断部位和设备的包含关系，
若比例不小于设定的阈值，则部位中的区域建议属于设备中的区域建议，并对部位中的区域建议进行类别修正，修正方法为修改部位中的区域建议的名称前缀与设备一致；
若比例小于设定的阈值，则部位中的区域建议不属于设备中的区域建议，继续部位中下一区域建议的类别修正，直至所有区域建议类别修正完成。
6.根据权利要求5所述的一种改进红外检测模型的电气设备故障检测方法，其特征在于，所述重叠面积占比的计算公式为，
其中，AoR为重叠面积比例，area(Bj)为部位中的区域建议面积，area(Aj)为设备中的区域建议面积，∩为求两个区域建议面积的交集。
7.根据权利要求1所述的一种改进红外检测模型的电气设备故障检测方法，其特征在于，所述红外检测模型采用经过预训练处理的VGG16、ResNet50或ResNet101卷积神经网络模型。
8.根据权利要求1所述的一种改进红外检测模型的电气设备故障检测方法，其特征在于，所述预训练处理包括，
对红外检测模型在ImageNet数据集上进行初步训练；
将完成初步训练的红外检测模型在建立的红外图像数据集上调整红外检测模型的网络权值。
9.根据权利要求8所述的一种改进红外检测模型的电气设备故障检测方法，其特征在于，所述建立红外图像数据集包括，采用选择性搜索算法建立多标记的红外图像数据集。
10.根据权利要求1所述的一种改进红外检测模型的电气设备故障检测方法，其特征在于，所述获取待检测目标电气设备的热状态信息包括采用绝对温度法和相对温差法对待检测目标电气设备区域的表面温度和相对温度进行判断运行状态是否正常。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111518315.1A CN114199381A (zh) | 2021-12-13 | 2021-12-13 | 一种改进红外检测模型的电气设备故障检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111518315.1A CN114199381A (zh) | 2021-12-13 | 2021-12-13 | 一种改进红外检测模型的电气设备故障检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114199381A true CN114199381A (zh) | 2022-03-18 |
Family
ID=80652972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111518315.1A Pending CN114199381A (zh) | 2021-12-13 | 2021-12-13 | 一种改进红外检测模型的电气设备故障检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114199381A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116486140A (zh) * | 2023-03-22 | 2023-07-25 | 中化现代农业有限公司 | 土壤质地分类方法、装置和电子设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004198436A (ja) * | 2004-02-09 | 2004-07-15 | Hitachi Ltd | 欠陥検査方法及びその装置 |
| CN107607207A (zh) * | 2017-08-22 | 2018-01-19 | 中国科学院深圳先进技术研究院 | 一种电力设备热故障诊断方法、系统及电子设备 |
| CN108564565A (zh) * | 2018-03-12 | 2018-09-21 | 华南理工大学 | 一种基于深度学习的电力设备红外图像多目标定位方法 |
| CN110850723A (zh) * | 2019-12-02 | 2020-02-28 | 西安科技大学 | 一种基于变电站巡检机器人系统的故障诊断及定位方法 |
| CN111191570A (zh) * | 2019-12-26 | 2020-05-22 | 国网北京市电力公司 | 图像识别方法和装置 |
| CN111242123A (zh) * | 2020-01-07 | 2020-06-05 | 西安交通大学 | 一种基于红外图像的电力设备故障诊断方法 |
| CN111382766A (zh) * | 2018-12-29 | 2020-07-07 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于Faster R-CNN的设备故障检测方法 |
| CN111831430A (zh) * | 2020-06-15 | 2020-10-27 | 国网上海市电力公司 | 一种基于边缘计算的电力设备缺陷识别系统 |
| CN112116573A (zh) * | 2020-09-16 | 2020-12-22 | 四川嘉能佳网创新能源科技有限责任公司 | 一种高精度的红外图像异常检测方法及系统 |
| CN113052103A (zh) * | 2021-03-31 | 2021-06-29 | 株洲时代电子技术有限公司 | 一种基于神经网络的电气设备缺陷检测方法及装置 |
| CN113591645A (zh) * | 2021-07-21 | 2021-11-02 | 东北电力大学 | 一种基于区域卷积神经网络的电力设备红外图像识别方法 |
| CN115620084A (zh) * | 2022-09-30 | 2023-01-17 | 西安咸林能源科技有限公司 | 一种基于无人机智能巡检诊断光伏组件故障的方法 |
-
2021
- 2021-12-13 CN CN202111518315.1A patent/CN114199381A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004198436A (ja) * | 2004-02-09 | 2004-07-15 | Hitachi Ltd | 欠陥検査方法及びその装置 |
| CN107607207A (zh) * | 2017-08-22 | 2018-01-19 | 中国科学院深圳先进技术研究院 | 一种电力设备热故障诊断方法、系统及电子设备 |
| CN108564565A (zh) * | 2018-03-12 | 2018-09-21 | 华南理工大学 | 一种基于深度学习的电力设备红外图像多目标定位方法 |
| CN111382766A (zh) * | 2018-12-29 | 2020-07-07 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于Faster R-CNN的设备故障检测方法 |
| CN110850723A (zh) * | 2019-12-02 | 2020-02-28 | 西安科技大学 | 一种基于变电站巡检机器人系统的故障诊断及定位方法 |
| CN111191570A (zh) * | 2019-12-26 | 2020-05-22 | 国网北京市电力公司 | 图像识别方法和装置 |
| CN111242123A (zh) * | 2020-01-07 | 2020-06-05 | 西安交通大学 | 一种基于红外图像的电力设备故障诊断方法 |
| CN111831430A (zh) * | 2020-06-15 | 2020-10-27 | 国网上海市电力公司 | 一种基于边缘计算的电力设备缺陷识别系统 |
| CN112116573A (zh) * | 2020-09-16 | 2020-12-22 | 四川嘉能佳网创新能源科技有限责任公司 | 一种高精度的红外图像异常检测方法及系统 |
| CN113052103A (zh) * | 2021-03-31 | 2021-06-29 | 株洲时代电子技术有限公司 | 一种基于神经网络的电气设备缺陷检测方法及装置 |
| CN113591645A (zh) * | 2021-07-21 | 2021-11-02 | 东北电力大学 | 一种基于区域卷积神经网络的电力设备红外图像识别方法 |
| CN115620084A (zh) * | 2022-09-30 | 2023-01-17 | 西安咸林能源科技有限公司 | 一种基于无人机智能巡检诊断光伏组件故障的方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116486140A (zh) * | 2023-03-22 | 2023-07-25 | 中化现代农业有限公司 | 土壤质地分类方法、装置和电子设备 |
| CN116486140B (zh) * | 2023-03-22 | 2024-04-05 | 中化现代农业有限公司 | 土壤质地分类方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827251B (zh) | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 | |
| CN112380952B (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
| CN109902732B (zh) | 车辆自动分类方法及相关装置 | |
| CN108875821A (zh) | 分类模型的训练方法和装置、移动终端、可读存储介质 | |
| CN111798412B (zh) | 一种基于红外图像的变电设备缺陷智能诊断方法及系统 | |
| CN110570454B (zh) | 一种检测异物入侵的方法及装置 | |
| CN108876797B (zh) | 一种基于Spiking-SOM神经网络聚类的图像分割系统及方法 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN111310756B (zh) | 一种基于深度学习的损伤玉米颗粒检测和分类方法 | |
| CN112446429B (zh) | 一种基于cgan的巡检图像数据小样本扩充方法 | |
| CN107808116B (zh) | 一种基于深度多层特征融合学习的小麦麦蜘蛛检测方法 | |
| CN109784205B (zh) | 一种基于多光谱巡检图像的杂草智能识别方法 | |
| CN111507426A (zh) | 基于视觉融合特征的无参考图像质量分级评价方法及装置 | |
| CN115131325A (zh) | 一种基于图像识别分析的断路器故障运维监测方法及系统 | |
| CN111753805A (zh) | 安全帽佩戴检测方法和装置 | |
| CN116614705B (zh) | 基于多模态视频特征分析的采煤工作面相机调控系统 | |
| CN112233074A (zh) | 一种基于可见光及红外融合图像的电力故障检测方法 | |
| CN114199381A (zh) | 一种改进红外检测模型的电气设备故障检测方法 | |
| CN116665092A (zh) | 基于ia-yolov7的污水悬浮物识别方法及系统 | |
| CN114359167A (zh) | 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 | |
| CN112911171B (zh) | 一种基于加速处理的智能光电信息处理系统及方法 | |
| CN116485802B (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
| CN104933725B (zh) | 模拟人类视觉的图像分割方法 | |
| CN114187380A (zh) | 基于视觉显著性和通道注意力机制的色彩传递方法 | |
| CN111046861A (zh) | 识别红外影像是否存在样本设备的方法、构建电力设备识别模型的方法及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |