CN113469950A - 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 - Google Patents
一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 Download PDFInfo
- Publication number
- CN113469950A CN113469950A CN202110638523.9A CN202110638523A CN113469950A CN 113469950 A CN113469950 A CN 113469950A CN 202110638523 A CN202110638523 A CN 202110638523A CN 113469950 A CN113469950 A CN 113469950A
- Authority
- CN
- China
- Prior art keywords
- network
- composite insulator
- training
- abnormal heating
- cnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 125
- 239000002131 composite material Substances 0.000 title claims abstract description 114
- 238000010438 heat treatment Methods 0.000 title claims abstract description 106
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000007547 defect Effects 0.000 title claims abstract description 57
- 238000013135 deep learning Methods 0.000 title claims abstract description 46
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 63
- 238000011176 pooling Methods 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 37
- 238000006731 degradation reaction Methods 0.000 claims abstract description 31
- 230000015556 catabolic process Effects 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 83
- 230000006870 function Effects 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 19
- 238000012706 support-vector machine Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000002405 diagnostic procedure Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000003745 diagnosis Methods 0.000 description 25
- 238000012360 testing method Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000011160 research Methods 0.000 description 9
- 238000007689 inspection Methods 0.000 description 7
- 230000032683 aging Effects 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000020169 heat generation Effects 0.000 description 3
- 238000002329 infrared spectrum Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012847 principal component analysis method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000002209 hydrophobic effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
- Image Analysis (AREA)
Abstract
本发明创造公开基于深度学习的复合绝缘子异常发热缺陷的诊断方法,其基于改进的Faster R‑CNN深度学习神经网络，根据不同发热热源引起的复合绝缘子异常发热红外图像，及时判断出存在芯棒劣化缺陷的复合绝缘子；所述的改进的Faster R‑CNN深度学习神经网络包括FastR‑CNN网络和区域建议网络，其中，所述区域建议网络称之为RPN网络；所述Fast R‑CNN网络包括基础特征提取网络和分类回归网络；所述分类回归网络包括Ro I池化层和全连接层；所述Fast R‑CNN网络和所述区域建议网络共享所述基础特征提取网络的卷积层。本发明创造的技术效果在于从异常发热红外图像中及时判断出芯棒酥朽劣化的绝缘子，降低故障误检率，保障电网安全运行。
Description
技术领域
本发明创造涉及图像数据处理的图像分析技术领域(G06T 7/00)。本发明创造尤其涉及基于深度学习的复合绝缘子异常发热缺陷的诊断方法。
背景技术
海南电网输电线路复合绝缘子占线路绝缘子总数的80％，其中110kV 线路复合绝缘子使用率达到90％以上。
近年来，由于复合绝缘子劣化导致的线路跳闸事故频发，2019年申请人对运行20年以上的复合绝缘子开展抽样送检，检测内容为复合绝缘子护套材料理化分析，合格率约为10％；复合绝缘子劣化最为明显的表现特征是异常发热，很多高压线路的复合绝缘子就因异常发热导致全线更换；现有的手段仅能对退运的复合绝缘子进行护套试验和红外测温，无法评估芯棒的劣化水平和发热的严重程度。因此亟需对热带海岛环境下复合绝缘子伞套及芯棒劣化机理、发热缺陷特性，以及复合绝缘子劣化特性与发热缺陷的对应关系进行研究。
专利文献CN110992306A公开基于深度学习的红外图像中劣化绝缘子的分割方法及装置，包括全卷积神经网络和多尺度特征融合两部分，利用全卷积神经网络模型对红外图谱中的劣化绝缘子进行自动提取以及学习劣化绝缘子的纹理、形状等特征，避免了传统分割模型对于复杂背景无法有效分离的弊端，避免了传统分割算法模型复杂的特征选择过程，通过FCN模型实现了端到端的特征提取的自主化与智能化。在减少人工电力巡检的工作量的同时，提高了巡检的效率和准确度，具有很大的实用性，十分符合复杂的现场环境。该自动分割和诊断方法，极大的减少了误检的情况，使得高压绝缘子劣化检测全自动巡检成为可能。
专利文献CN110967600A公开针对现有技术中复合绝缘子老化的检测主要是通过憎水性检测、拉力检测和温度检测手段实现而导致的测量结果不准确的问题，本发明提供一种基于无人机红外检测的复合绝缘子劣化诊断方法。利用无人机红外检测装置通过制定无人机巡检流程，采集待检测复合绝缘子的红外图像数据，然后将采集到的红外图像数据进行数据分析，获得复合绝缘子劣化结果；本发明为输电线路绝缘子的故障诊断提供了基础和依据，提升了诊断结果的准确率。
专利文献CN111027569A公开一种基于红外图像的劣化绝缘子识别诊断方法及其装置，包括以下步骤：获取绝缘子红外图谱数据库；对红外图谱数据库中的全部图像进行预处理，将图像的大小调整为同一尺寸；从预处理后的图像中按照一定比例随机选取出训练集和测试集；提取训练集中的图像的方向梯度直方图特征并采用主成分分析法进行降维处理；提取测试集中的图像的方向梯度直方图特征并采用主成分分析法进行降维处理；将降维处理后的训练集中的图像的方向梯度直方图特征输送至支持向量机模型中，通过贝叶斯优化算法进行优化，得到优化后的支持向量机模型；将降维处理后的测试集中的图像的方向梯度直方图特征输送至优化后的支持向量机模型中，进行故障诊断。
现有技术中针对热带海岛环境下复合绝缘子伞套及芯棒缺陷诊断的技术方案并未深入研究，因此，基于深度学习的复合绝缘子异常发热缺陷的诊断方法依然是本领域技术人员的研究方向。
复合绝缘子劣化特性及发热缺陷问题研究
(1)通过实验及检测手段分析海南现场运行复合绝缘子伞套及芯棒的劣化特性及其与异常发热的联系。
复合绝缘子伞套加速老化及其异常发热机理研究
(1)开展复合绝缘子伞套人工老化试验，分析其劣化机理。
(2)开展复合绝缘子伞套劣化引起异常发热的机理研究。
复合绝缘子芯棒加速老化及其异常发热机理研究：
(1)模拟复合绝缘子高湿热环境下的芯棒酥朽劣化过程，研究其酥朽劣化机理。
(2)开展复合绝缘子芯棒劣化引起异常发热的机理研究。
基于深度学习的复合绝缘子异常发热缺陷诊断研究：
(1)建立复合绝缘子异常发热红外图像特征库。
(2)开展基于深度学习的复合绝缘子异常发热缺陷诊断算法研究。
本发明需构建样本充足的复合绝缘子异常发热红外特征图库，选择方便有效的智能算法对不同热源引起的复合绝缘子异常发热红外图像进行诊断，避免出现算法过于冗长复杂，占用大量资源且无法保障诊断的时效性和准确性。
发明内容
本发明对实际运行复合绝缘子开展全尺寸温升试验及电气特征量和宏观、微观检测，搭建复合绝缘子湿、热、电、力的人工综合加速老化实验室平台，模拟复合绝缘子由伞套劣化到伞套-芯棒界面失效再到芯棒酥朽劣化的发展过程，分析热带海岛环境下复合绝缘子伞套及芯棒的劣化机理，研究复合绝缘子劣化特性与发热缺陷的对应关系，提出基于深度学习的复合绝缘子异常发热缺陷诊断方法。
根据不同发热热源引起的复合绝缘子异常发热红外图像，建立异常发热红外特征图库。提出基于深度学习的复合绝缘子异常发热缺陷诊断方法，从异常发热红外图像中及时判断出存在芯棒劣化缺陷的复合绝缘子，对线路复合绝缘子的检修运维工作提供指导。
为实现本发明创造的上述目的，采用如下技术方案：
基于深度学习的复合绝缘子异常发热缺陷的诊断方法,其基于改进的Faster R-CNN深度学习神经网络，根据不同发热热源引起的复合绝缘子异常发热红外图像，及时判断出存在芯棒劣化缺陷的复合绝缘子；
所述的改进的Faster R-CNN深度学习神经网络包括Fast R-CNN网络和区域建议网络，其中，所述区域建议网络称之为RPN网络；所述Fast R-CNN网络包括基础特征提取网络和分类回归网络；所述分类回归网络包括RoI池化层和全连接层；
其特征在于：所述Fast R-CNN网络和所述区域建议网络共享所述基础特征提取网络的卷积层；
所述诊断方法包括：
综合训练步骤S101：综合训练所述改进的Faster R-CNN网络；
特征提取步骤S102：输入待测的复合绝缘子异常发热红外图像至基础特征提取网络，提取卷积特征图，其中，所述待测的复合绝缘子异常发热红外图像称之为输入红外图片；
候选框推荐步骤S103：所述卷积特征图一方面输入所述区域建议网络，得到推荐候选框；
特征融合步骤S104：所述卷积特征图另一方面输入所述分类回归网络的RoI池化层；所述推荐候选框也输入所述分类回归网络的RoI池化层；所述推荐候选框与所述卷积特征图在所述RoI池化层中融合，并提取对应的推荐候选框的特征图，称之为候选特征图；
识别与定位步骤S105：所述候选特征图经过所述全连接层由所述分类回归网络输出所述推荐候选框的分类得分以及检测定位的坐标框位置，其中所述分类得分对应于所述输入红外图片的故障点的置信度或者概率，所述坐标框位置对应于所述输入红外图片的故障点所在区域的坐标位置；
故障点输出步骤S106：将输出的所述分类得分及所述坐标框位置叠加在所述输入红外图片上，输出展示所述输入红外图片的故障点识别与定位的结果。
根据本发明创造的其它技术方案，其还可以包括本文所述的一个或多个技术特征。只要这样的技术特征的组合是可实施的，由此组成的新的技术方案都属于本发明创造的一部分。
相比现有技术，本发明创造的有益效果在于：
通过本发明的技术方法可提高存在内部隐蔽性缺陷复合绝缘子的筛查效率，进一步提升复合绝缘子等复合材料的实验室理化分析能力，为复合绝缘子的运行维护提供理论依据和技术支持。
本发明将对现场运行中异常发热的复合绝缘子进行温升试验及相关理化参数检测，通过实验室人工模拟复合绝缘子由伞套老化到伞套- 芯棒界面失效再到芯棒酥朽劣化的发展过程，结合劣化发展过程中的红外图像特征和电气、理化参量的变化，采用深度学习算法提出基于红外图像的海岛特殊环境下复合绝缘子高压侧异常发热智能诊断技术。该智能诊断技术可从异常发热红外图像中及时判断出芯棒酥朽劣化的绝缘子，降低故障误检率，保障电网安全运行。同时可大大减少因存在异常发热但无法判断是否需要立即更换而造成的人力物力损耗。
附图说明
参照附图，本发明创造的特征、优点和特性通过下文的具体实施方式的描述得以更好的理解，附图中：
图1：本发明创造的基于深度学习的复合绝缘子异常发热缺陷的诊断方法的实施方式中的Faster R-CNN深度学习神经网络的概要示意图；
图2：本发明创造的基于深度学习的复合绝缘子异常发热缺陷的诊断方法的实施方式中的Faster R-CNN深度学习神经网络的发热点目标检测算法框图；
图3：本发明创造的基于深度学习的复合绝缘子异常发热缺陷的诊断方法的实施方式中的共享卷积层的综合训练流程图；
图4：本发明创造的基于深度学习的复合绝缘子异常发热缺陷的诊断方法的实施方式中的RPN网络的结构示意图；
图5：本发明创造的基于深度学习的复合绝缘子异常发热缺陷的诊断方法的实施方式中的分类回归网络的结构示意图；
图6：本发明创造的基于深度学习的复合绝缘子异常发热缺陷的诊断方法的实施方式中的空间金字塔池化层的结构示意图；
图7：本发明创造的基于深度学习的复合绝缘子异常发热缺陷的诊断方法的实施方式中的支持向量机SVM的分类预测示意图；
具体实施方式
在下文中，结合附图以及具体实施方式，对本发明创造做进一步描述。
下文描述发明人的发明构思，以便更好地理解本发明所要保护的技术方案。
根据不同发热热源引起的复合绝缘子异常发热红外图像，建立异常发热红外特征图库。提出基于深度学习的复合绝缘子异常发热缺陷诊断方法，从异常发热红外图像中及时判断出存在芯棒劣化缺陷的复合绝缘子，对线路复合绝缘子的检修运维工作提供指导。
步骤一：发热点目标检测
如图2所示为深度学习算法体系中Faster R-CNN算法在异常发热点红外图像检测算法原理框架图，首先向由13层卷积层、13层Relu层——也就是修正线性单元、4层池化层构成的ZF-Net深度卷积网络模型输入任意大小图片，经过ZF-Net网络前向传播至最后共享的卷积特征图，一方面输入至候选区域网络或者区域建议网络得到位置坐标以及分类得分信息，另一方面在ROI池化层与卷积特征图融合，提取对应区域建议的特征，最终经过多层全连接层输出该区域的分类得分以及检测检测定位的坐标框，将输出的分类得分及坐标框位置叠加在输入红外图片上，输出展示输入红外图片故障点识别与定位的结果。以下将详细描述该算法理论依据。
Faster RCNN损失函数:模型的成功训练的基础在于模型训练过程中损失函数的逐渐收敛，Faster RCNN的目标损失函数如公式(3)如下：
其中,目标损失函数包括分类损失和归回损失两个部分。在损失函数中，i表示一个最小训练步长(mini-batch)中某个参考窗口(Anchor) 的下标，pi表示该第i个参考窗口为检测目标的概率，当参考窗口为负样本或者负标签时
当参考窗口为正样本或者正标签时
由此可知，回归损失项仅会在在参考窗口为正样本情况下才会被激活。ti＝{tx,ty,tw,th}是一个向量，表示该预测的包围框(bounding box)或者锚点预测框的x坐标、y坐标、宽度、高度这四项参数化坐标，
是与正样本参考窗口的标注框(ground truthbounding box)或者锚点参考框的坐标向量。
模型网络综合训练:由于Faster R-CNN包括Fast R-CNN和区域建议网络(RPN)两个网络结构部分。RPN和Fast R-CNN都是独立训练的，要用不同方式修改它们的卷积层。这不是仅仅定义一个包含了RPN和 Fast R-CNN的单独网络，然后用反向传播联合优化它那么简单。因此需要开发一种允许两个网络间共享卷积层的技术，而不是分别学习两个网络。原因是Fast R-CNN训练依赖于固定的目标建议框，当同时改变建议机制时，学习模型Fast R-CNN可能会不收敛。如图3所示，通过四步交替训练方法，不断优化学习至共享特征：
i)区域建议网络RPN预训练：异常发热红外图片样本集使得RPN 网络被ZF网络进行有监督预训练，具体通过反向传播 (back-propagation,BP)和随机梯度下降(stochastic gradient descent,SGD)进行端到端训练。依照Fast R-CNN中的“image-centric”采样策略训练这个网络。每个最小步长由包含了许多正负样本的单个图像组成。同时采用标准差0.01均值为0的高斯分布对新增的层随机初始化。
ii)Fast R-CNN网络预训练：异常发热红外图片样本集进行ZF模型的卷积神经网络的有监督预训练，利用其训练结束时生成的网络参数作为联合训练的初始化参数。
iii)RPN网络微调训练：RPN网络微调训练的正样本来源于与人工标记框(GroundTruth)与算法生成锚备选框(anchors)重合度(IoU)大于 70％的数据样本，负样本来源于小于30％重合度的算法生成备选框。正样本仅表示前景，负样本仅表示背景；回归操作仅针对正样本进行；训练时弃用所有超出图像边界的算法生成备选框，否则在训练过程中会产生较大难以处理的修正误差项，导致训练过程无法收敛；对去掉超出边界后的算法生成的备选框集采用非极大值抑制。固定共享卷积层，即设置其学习速率为零，不进行参数更新，仅微调RPN网络独有层的网络参数，实现共享卷积。
iv)Fast R-CNN网络微调训练：Fast R-CNN网络微调训练的正样本来源于人工标记框与算法生成备选框重合度大于阈值区域建议的数据样本，负样本来源于人工标记框与算法生成备选框重合度小于阈值区域建议的数据样本，仅微调Fast R-CNN独有的层，至此形成共享卷积模型的统一网络，如图3所示。
步骤二：提取特征量
对于深度学习、BP神经网络等算法，其输入特征参量的选择往往是决定算法效果的最直观影响因素。在图像分类等问题的特征提取的传统方法包括了颜色矩、颜色直方图、HOG特征、LSS特征等。
①颜色直方图
颜色直方图是一种基于RGB颜色多通道的信息表达函数图，它通过分析不同颜色通道的像素出现统计次数，实现对整张图像像素的统计分布图，形成最终不同通道像素统计分布颜色直方图。
②颜色矩
颜色矩特征是由Strieker和Orengo所提出的是一种对不同颜色通道简单有效的特征表示方法，可大幅度降低图像中像素参量的输入维度，以达到降低计算量的目的。该方法相比较颜色直方图来说，颜色矩的特征信息更为抽象，主要采用颜色信息中的一阶矩(均值mean)、二阶距 (方差variance)、三阶矩(偏度skewness)以表达图像中的颜色特征量，即以颜色矩来表示颜色特征。
③HOG特征
2005年，Dalai等人首次提出方向梯度直方图(HOG)算法并用于行人检测研宄，取得了不错的实验结果。HOG算法主要思想为梯度的大小和方向分布可以较好地描述图像边缘、轮廓特征。HOG特征最小计算单位是cell单元，首先计算cell单元内像素点梯度并进行直方图统计。然后，相邻cell单元组成block，在block中对cell单元特征向量进行归一化拼接。
④LSS特征等
LSS特征提取首先输入红外图片局部区域内，以各像素为中心取相同大小邻域，计算其与对应局部区域的SSD(Sum of Square Differences), 变换为相关面Sq(x,y)。然后，为提升LSS特征对局部仿射形变的适应性，将相关面Sq(x,y)继续转换至极坐标系下。最后，对极角和极径进行区间划分，归一化、串联拼接各区域特征值形成最终的LSS特征向量。
步骤三：SVM分类预测
支持向量机(supportvectormachine，SVM)，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。
SVM分类器的核心思想是求解能够正确分类数据集正、负样本且间隔最大的超平面，如图7所示。本项目中正样本为存在芯棒劣化的复合绝缘子异常发热红外图像，负样本为其他发热干扰项。对于提取的融合特征样本集(xi,yi),xi∈RD,yi∈(-1,1),i＝1,2,…,n，求解最大间隔超平面可以表示为凸二次规划问题。
将采用不同特征提取算法提取的多维特征训练集，分别送入支持向量机分类器迭代训练。利用GridSearch网格搜索算法确定最优的参数，然后将各算法对应提取的特征测试集送入训练好的分类器进行分类测试。
试验计划：
(1)初期对现场选取的劣化绝缘子或异常发热复合绝缘子进行试验与检测；
(2)中期通过实验人工模拟复合绝缘子伞套和芯棒材料劣化过程，探究复合绝缘子高压侧发热机理与影响因素，并建立不同热源引起的异常发热红外图像特征图库。
(3)后期在中前期实验结果的基础上，采用深度学习算法对异常发热红外图像进行专家诊断。同时申请前往常年高湿热地区对复合绝缘子异常发热频发的输电线路进行实地验证，对系统进行进一步的调试和完善。
创新点:
1、研究了现场典型异常发热复合绝缘子的发热特征，明确了发热热源、原因及影响因素；
2、搭建了高低温湿热循环试验用湿、热、电、力联合试验平台，研究了高湿热环境下复合绝缘子芯棒材料劣化机理；
3、建立了不同热源、不同环境因素影响下的复合绝缘子异常发热红外特征图库，提出了基于红外图像的海岛环境下复合绝缘子异常发热热源智能诊断方法。充分利用红外成像技术，可带电检测或者无人机检测，应用成熟度高的特点，有效克服其在高湿热环境下的检测盲点，搭配后台专家诊断系统，可大大提高线路巡检效率，降低误检率，节约人力物力资源成本。
红外热像技术由于非接触、高精度等优点已成为绝缘子劣化检测的最新发展方向。本项目根据高湿条件下复合绝缘子异常发热红外检测图像，结合热带海岛环境下复合绝缘子伞套和芯棒材料的劣化机理，提出一种基于深度学习的复合绝缘子异常发热缺陷诊断方法，用于在热带海岛高湿环境下准确检测因芯棒劣化引起异常发热的复合绝缘子。同时针对热带海岛环境开展复合绝缘子劣化评价方法研究，以期应用于运行10 年以上线路复合绝缘子异常发热缺陷检测及劣化状态评估，为保障输电线路安全运行提供技术支持。
基于上述发明构思，根据本发明的基于深度学习的复合绝缘子异常发热缺陷的诊断方法的优选实施方式，其基于改进的Faster R-CNN深度学习神经网络，根据不同发热热源引起的复合绝缘子异常发热红外图像，及时判断出存在芯棒劣化缺陷的复合绝缘子。可以理解的是，Faster R-CNN网络以区域建议网络为基础，可以实现对待测目标的实时检测，因此，非常适合在复合绝缘子异常发热红外图像中检测复合绝缘子的芯棒劣化缺陷。
参照图1，所述的改进的Faster R-CNN深度学习神经网络包括Fast R-CNN网络和区域建议网络，其中，所述区域建议网络称之为RPN网络；所述Fast R-CNN网络包括基础特征提取网络和分类回归网络；所述分类回归网络包括RoI池化层和全连接层。可以理解的是，参照图3，最早出现的Faster R-CNN网络的RPN网络和分类回归网络分别由不同的基础特征提取网络来提供不同的输入特征图：例如图3中ZF卷积模型1 所在的第一基础特征提取网络，和ZF卷积模型2所在的第二基础特征提取网络；这样的网络配置导致大量的重复计算，影响整个Faster R-CNN 网络的运行速度。
本发明的改进之一在于，参照图3，所述Fast R-CNN网络和所述区域建议网络共享所述基础特征提取网络的卷积层。可以理解的是，RPN 网络和分类回归网络的输入由同一基础特征提取网络提供特征图，可以节省大量的重复计算，提高运行速度。这样的网络配置达到了共享基础特征提取网络虽的卷积层的目的。
当然，所述Fast R-CNN网络和所述区域建议网络也可以仅共享所述基础特征提取网络的一部分卷积层，例如，在所述RPN网络仅提取比较简单的颜色直方图、HOG等特征的情形下，仅共享所述基础特征提取网络的第1至3或第1至5卷积层是可形的。
基于上述改进的Faster R-CNN网络，所述复合绝缘子异常发热缺陷的诊断方法包括：
综合训练步骤S101：综合训练所述改进的Faster R-CNN网络；可以理解的是，训练复杂神经网络的方法有两类：一是对整个网络进行端到端的训练，其数据集可以是网络公开的数据集和/或本发明的红外图像样本集，当然，使用网络公开的数据集训练网络后，进行迁移学习，再使用所述的红外图像样本集进行训练，也能获得较好的效果；二是对子网进行局部训练，然后再整个网络进行微调训练，例如下述所述的四步交替训练法，和端到联合训练方法。
所述端到端联合训练方法是将区域建议网络和分类回归网络当作一个部分进行研究，对这两个子网进行同步训练，从这一点上可以看出端到端的联合训练方法与四步交替训练方法有着本质的区别。具体训练步骤如下：
1)首先使用MSTAR混合目标数据集预训练模型作用在被检测目标图像的分类回归网络上，并对该网络的特征提取网络作初始化操作，设定初始化值符合高斯分布函数，且函数的标准差等于0.01,其他层的初始值均为0。
2)完成上述步骤后微调整个网络，采用端到端的操作方式。
通过对端到端联合训练方法的深入学习，可以了解到在该训练方法中是将
区域建议网络和分类回归网络两个网络视为一个整体，共同作用在特征提取网络上，因此两网络可以在特征提取网络中找到各自所需要的特征，通过两个训练方法的比较，可以明显看出端到端联合训练方法的网络性能明显优于四步交替训练方法。
特征提取步骤S102：输入待测的复合绝缘子异常发热红外图像至基础特征提取网络，提取卷积特征图，其中，所述待测的复合绝缘子异常发热红外图像称之为输入红外图片；可以理解的是，所述改进的Faster R-CNN网络一旦完成训练，就可以用来进行复合绝缘子异常发热缺陷的诊断，参照图2或图3，所述基础特征提取网络是卷积神经网络，其具有下文所述的ZF-Net网络结构、或者VGG网络、resNet残差网络的结构；输入一张待检测复合绝缘子异常发热红外图像，根据所述基础特征提取网络的卷积层数目或深度，提取浅层特征图或特征数据，或者深层特征图或特征信息。
候选框推荐步骤S103：所述卷积特征图一方面输入所述区域建议网络，得到推荐候选框；可以理解的是，所述区域建议网络——也称为RPN 网络——是卷积神经网络，其具有下文所述的网络结构，其输入是所述基础特征提取网络输出的卷积特征图，其输出是推荐候选框的分类得分或分类信息或置信度、及坐标位置。
特征融合步骤S104：所述卷积特征图另一方面输入所述分类回归网络的RoI池化层；所述推荐候选框也输入所述分类回归网络的RoI池化层；所述推荐候选框与所述卷积特征图在所述RoI池化层中融合，并提取对应的推荐候选框的特征图，称之为候选特征图；可以理解的是，参照图3和图5，来自所述区域建议网络的所述推荐候选框或者候选区域和直接来自所述基础特征提取网络的卷积特征图，经过所述分类回归网络的RoI池化层进行池化处理，使其变成统一大小的特征图，也就是对应的推荐候选框的特征图。当然为了方便处理不同尺寸的推荐候选框或者特征图，所述RoI池化层可以是如图6所示的金字塔池化层，由于全连接层在处理特征向量时，对于特征向量的维度有较严格的限制，即在输入之前，必须保证所有的输入向量维度相同，而区域建议网络所输出的推荐候选框的大小和形状都不尽相同，其中特征向量也必然不同，因此建议区域的特征向量不能直接被输送进入全连接层内。空间金字塔池化层根据其对形状、大小不同的特征图的特殊处理，输出的特征向量都规定为统一的维度，这样即使特征图的维度千差万别，也可以进入全连接层处理。空间金字塔池化层的结构示意图如图6所示。
根据图6所示，空间金字塔池化层可以输入任意大小的特征图，在其内部主要由大量不同种类的池化层组成，可以对特征图进行池化操作，输出统一维度的特征向量，而且输入的特征图与输出的特征向量无关。 Faster R-CNN算法所采用的ROIpooling层只包含单一尺度的池化层，是一种相对简单的结构，
利用ROIpooling层把不同的建议区域特征向量的维度进行统一，为进入全连接层做准备。
识别与定位步骤S105：所述候选特征图经过所述全连接层由所述分类回归网络输出所述推荐候选框的分类得分以及检测定位的坐标框位置，其中所述分类得分对应于所述输入红外图片的故障点的置信度或者概率，所述坐标框位置对应于所述输入红外图片的故障点所在区域的坐标位置；可以理解的是，如图7所示，在所述分类回归网络中包括支持向量机SVM，它是一种二类分类模型，本发明中正样本为存在芯棒劣化的复合绝缘子异常发热红外图像，负样本为其他发热干扰项。而正样本坐标位置由所述分类回归网络的位置回归分支给出。当然，也可以使用其它类型的分类器，例如Adaboost算法分类器。
故障点输出步骤S106：将输出的所述分类得分及所述坐标框位置叠加在所述输入红外图片上，输出展示所述输入红外图片的故障点识别与定位的结果。参照图7，可以在所述输入红外图片的对应的坐标框位置标记出芯棒劣化的位置，并且同时标记出异常发热缺陷的类型。
上述技术方案基本正确地检测出所述输入红外图片上出现的异常发热缺陷的类型和位置区域。
优选地，所述的基于深度学习的复合绝缘子异常发热缺陷的诊断方法还包括制作红外图像样本集步骤S100:通过红外成像仪或者无人机拍摄输电线路上的复合绝缘子的红外发热图像；或者在实验室中根据不同发热热源模拟形成复合绝缘子异常发热缺陷，并拍摄红外发热图像；对所述红外发热图像进行分类和位置标记标签；所述具有标签的红外发热图像构成红外图像样本集，能够用于训练所述改进的Faster R-CNN网络；或者
还包括红外图像样本集数据增强步骤S100a：通过图像翻转与镜像、加入噪声、亮度与对比度的修改、掩模扩充方式增加数据；或者通过对抗网络DCGAN生成数据，扩充所述红外图像样本集。
所述红外图像样本集的数据量越大，越有利于训练出更加准确的 Faster R-CNN网络。
优选地，参照图2、3、5，所述基础特征提取网络是ZF-Net网络，其包括13个卷积层、13个Relu层、和4个池化层，其能够输入任意大小的图片；
所述RPN网络是卷积神经网络，其包括由一个卷积核大小为n x n 深度为256的卷积层以及两个卷积核大小为1x1、深度分别为2k和4k的分支卷积层，其中，n是滑动窗口的尺寸，k代表固定在每个滑动窗口几何中心的K个尺寸、比例不同的锚点参考框；
所述分类回归网络包括1个池化层、2个全连接层、2个分支全连接层、1个Softmax层；
上述技术方案是一优选的改进的Faster R-CNN网络，其能够快速、准确地诊断出所述异常发热缺陷。
优选地，在综合训练步骤S101中，使用四步交替训练法训练所述改进的Faster R-CNN网络，其包括以下子步骤：
RPN网络预训练子步骤S201：所述红外图像样本集通过所述ZF-Net 网络对所述RPN网络进行有监督的预训练，通过反向传播和随机梯度下降进行端到端训练；
Fast R-CNN网络预训练子步骤S202：通过所述红外图像样本集进行所述ZF-Net网络的有监督预训练，并利用其训练结束时生成的网络参数作为综合训练的初始化参数。
RPN网络微调训练子步骤S203：所述RPN网络微调训练的正样本来源于与人工标记框与算法生成锚备选框重合度大于70％的数据样本，负样本来源于小于30％重合度的算法生成备选框；正样本仅表示前景，负样本仅表示背景；回归操作仅针对正样本进行；训练时弃用所有超出图像边界的算法生成备选框；对去掉超出边界后的算法生成的备选框集采用非极大值抑制；固定共享卷积层，即设置其学习速率为零，不进行参数更新，仅微调所述RPN网络独有层的网络参数，实现共享卷积。
Fast R-CNN网络微调训练子步骤S204：所述Fast R-CNN网络微调训练的正样本来源于人工标记框与算法生成备选框重合度大于阈值区域建议的数据样本，负样本来源于人工标记框与算法生成备选框重合度小于阈值区域建议的数据样本，仅微调Fast R-CNN独有的层，至此形成共享卷积模型的统一网络。
四步交替训练法在复合绝缘子异常发热缺陷的诊断中，具有较好的快速训练效果。
优选地，在所述特征提取步骤S102中，提取颜色矩、颜色直方图、 HOG特征、或者LSS特征。
优选地，在所述特征提取步骤S102中，将所述ZF-Net网络的第2、 3、5卷积层的特征进行融合；或者
所述ZF-Net网络的池化层的最大池化和平均池化各占50％。
这样的配置能够提高复合绝缘子异常发热缺陷的诊断的速度和准确率。
优选地，在所述候选框推荐步骤S103中，所述K个锚点参考框是 15个，其对应的3个尺寸是642、1282、2562，和5个长宽比是1：1、1： 2、2：1、1：4、4：1；或者所述K个锚点参考框是3个，其对应的3 个尺寸是1282、2562、5122和相应的3个长宽比是3：1、1：2、1：3。
如图4所示，RPN在共亨骨干网络提取的最后一张特征图上滑动一个n x n窗口。每个滑动窗口都通过完全连接并以ReLU作为激活函数来生成特征向量。
该向量与两个分支全连接层相连，用于生成一个用于分类的2k 维向量以及一个用于边界框回归的4k维向量。其中k代表固定在每个滑动窗口几何中心的K个尺寸、比例不同的参考框，该参考框又称为错点(anchor)。由于连接到滑动窗口的网络和两个后续分支的参数均在所有滑动位置上共享，因此RPN网络实际上是由一个卷积核大小为n x n深度为256的卷积层以及两个卷积核大小为l x l、深度分别为2k 和4k的分支卷积层构成的。
这样的配置能够提高复合绝缘子异常发热缺陷的诊断的速度和准确率。
优选地，在特征融合步骤S104中，所述RPN网络包括分类预测分支和位置回归分支，所述分类预测分支按如下分类损失函数将与任意真实框IoU重叠最高或高于0.7的锚点参考框被视为正标签，而所有IoU 小于0.3的锚点参考框视为负标签，其中，所述分类损失函数定义为：
式中，i代表锚点预测框在一个mini-batch中的序号；如果锚点参考框标签为正，则
为1；如果标签为负，则
为0,pi是第i个锚点预测框中存在待检测目标的概率，Ncls是归一化因子；
锚点预测框使用如下损失函数进行回归：
式中，t表示由4个校正后的相对位置坐标组成的矢量，函数R采用L1平滑损失函数，Nreg是归一化因子；
所述RPN网络可以按如下多任务联合损失函数进行计算：
L({pi}，{ti})＝Lds+λLreg
式中λ是回归损失和分类损失之间的权重。
上述损失函数有利于所述RPN网络快速收敛，提高计算速度。
优选地，在所述识别与定位步骤S105中，所述池化层是空间金字塔池化层或者RoIAlign池化层；
所述分类回归网络包括支持向量机SVM，所述支持向量机SVM包括所述的2个分支全连接层中的1个和所述的Softmax层。
上述技术方案使得所述分类回归网络能够处理众多不同尺寸的锚点参考框或者锚点预测框，或者快速展示缺陷分类结果。
优选地，在所述故障点输出步骤S106中，利用非极大值抑制NMS 方法丢弃冗余的故障点区域后输出结果，其中所述非极大值抑制NMS的 IoU阈值设置为0.25。
这样的设计有利于剔除输出结果中重复的缺陷区域，使得输出结果更加简洁，没有冗余。
以上详细描述了本发明创造的优选的或具体的实施例。应当理解，本领域的技术人员无需创造性劳动就可以根据本发明创造的设计构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明创造的设计构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在本发明创造的范围之内和/或由权利要求书所确定的保护范围内。
Claims (10)
1.基于深度学习的复合绝缘子异常发热缺陷的诊断方法,其基于改进的Faster R-CNN深度学习神经网络，根据不同发热热源引起的复合绝缘子异常发热红外图像，及时判断出存在芯棒劣化缺陷的复合绝缘子；
所述的改进的Faster R-CNN深度学习神经网络包括Fast R-CNN网络和区域建议网络，其中，所述区域建议网络称之为RPN网络；所述Fast R-CNN网络包括基础特征提取网络和分类回归网络；所述分类回归网络包括RoI池化层和全连接层；
其特征在于：所述Fast R-CNN网络和所述区域建议网络共享所述基础特征提取网络的卷积层；
所述诊断方法包括：
综合训练步骤S101：综合训练所述改进的Faster R-CNN网络；
特征提取步骤S102：输入待测的复合绝缘子异常发热红外图像至基础特征提取网络，提取卷积特征图，其中，所述待测的复合绝缘子异常发热红外图像称之为输入红外图片；
候选框推荐步骤S103：所述卷积特征图一方面输入所述区域建议网络，得到推荐候选框；
特征融合步骤S104：所述卷积特征图另一方面输入所述分类回归网络的RoI池化层；所述推荐候选框也输入所述分类回归网络的RoI池化层；所述推荐候选框与所述卷积特征图在所述RoI池化层中融合，并提取对应的推荐候选框的特征图，称之为候选特征图；
识别与定位步骤S105：所述候选特征图经过所述全连接层由所述分类回归网络输出所述推荐候选框的分类得分以及检测定位的坐标框位置，其中所述分类得分对应于所述输入红外图片的故障点的置信度或者概率，所述坐标框位置对应于所述输入红外图片的故障点所在区域的坐标位置；
故障点输出步骤S106：将输出的所述分类得分及所述坐标框位置叠加在所述输入红外图片上，输出展示所述输入红外图片的故障点识别与定位的结果。
2.根据权利要求1所述的基于深度学习的复合绝缘子异常发热缺陷的诊断方法，其特征在于：还包括制作红外图像样本集步骤S100:通过红外成像仪或者无人机拍摄输电线路上的复合绝缘子的红外发热图像；或者在实验室中根据不同发热热源模拟形成复合绝缘子异常发热缺陷，并拍摄红外发热图像；对所述红外发热图像进行分类和位置标记标签；所述具有标签的红外发热图像构成红外图像样本集，能够用于训练所述改进的Faster R-CNN网络；或者
还包括红外图像样本集数据增强步骤S100a：通过图像翻转与镜像、加入噪声、亮度与对比度的修改、掩模扩充方式增加数据；或者通过对抗网络DCGAN生成数据，扩充所述红外图像样本集。
3.根据权利要求1或者2所述的基于深度学习的复合绝缘子异常发热缺陷的诊断方法，其特征在于：所述基础特征提取网络是ZF-Net网络，其包括13个卷积层、13个Relu层、和4个池化层，其能够输入任意大小的图片；
所述RPN网络是卷积神经网络，其包括由一个卷积核大小为n x n深度为256的卷积层以及两个卷积核大小为1x1、深度分别为2k和4k的分支卷积层，其中，n是滑动窗口的尺寸，k代表固定在每个滑动窗口几何中心的K个尺寸、比例不同的锚点参考框；
所述分类回归网络包括1个池化层、2个全连接层、2个分支全连接层、1个Softmax层。
4.根据权利要求3所述的基于深度学习的复合绝缘子异常发热缺陷的诊断方法，其特征在于：在综合训练步骤S101中，使用四步交替训练法训练所述改进的Faster R-CNN网络，其包括以下子步骤：
RPN网络预训练子步骤S201：所述红外图像样本集通过所述ZF-Net网络对所述RPN网络进行有监督的预训练，通过反向传播和随机梯度下降进行端到端训练；
Fast R-CNN网络预训练子步骤S202：通过所述红外图像样本集进行所述ZF-Net网络的有监督预训练，并利用其训练结束时生成的网络参数作为综合训练的初始化参数。
RPN网络微调训练子步骤S203：所述RPN网络微调训练的正样本来源于与人工标记框与算法生成锚备选框重合度大于70％的数据样本，负样本来源于小于30％重合度的算法生成备选框；正样本仅表示前景，负样本仅表示背景；回归操作仅针对正样本进行；训练时弃用所有超出图像边界的算法生成备选框；对去掉超出边界后的算法生成的备选框集采用非极大值抑制；固定共享卷积层，即设置其学习速率为零，不进行参数更新，仅微调所述RPN网络独有层的网络参数，实现共享卷积。
Fast R-CNN网络微调训练子步骤S204：所述Fast R-CNN网络微调训练的正样本来源于人工标记框与算法生成备选框重合度大于阈值区域建议的数据样本，负样本来源于人工标记框与算法生成备选框重合度小于阈值区域建议的数据样本，仅微调Fast R-CNN独有的层，至此形成共享卷积模型的统一网络。
5.根据权利要求3所述的基于深度学习的复合绝缘子异常发热缺陷的诊断方法，其特征在于：在所述特征提取步骤S102中，提取颜色矩、颜色直方图、HOG特征、或者LSS特征。
6.根据权利要求3所述的基于深度学习的复合绝缘子异常发热缺陷的诊断方法，其特征在于：在所述特征提取步骤S102中，将所述ZF-Net网络的第2、3、5卷积层的特征进行融合；或者
所述ZF-Net网络的池化层的最大池化和平均池化各占50％。
7.根据权利要求3所述的基于深度学习的复合绝缘子异常发热缺陷的诊断方法，其特征在于：在所述候选框推荐步骤S103中，所述K个锚点参考框是15个，其对应的3个尺寸是642、1282、2562，和5个长宽比是1：1、1：2、2：1、1：4、4：1；或者所述K个锚点参考框是3个，其对应的3个尺寸是1282、2562、5122和相应的3个长宽比是3：1、1：2、1：3。
8.根据权利要求3所述的基于深度学习的复合绝缘子异常发热缺陷的诊断方法，其特征在于：在特征融合步骤S104中，所述RPN网络包括分类预测分支和位置回归分支，所述分类预测分支按如下分类损失函数将与任意真实框IoU重叠最高或高于0.7的锚点参考框被视为正标签，而所有IoU小于0.3的锚点参考框视为负标签，其中，所述分类损失函数定义为：
式中，i代表锚点预测框在一个mini-batch中的序号；如果锚点参考框标签为正，则
为1；如果标签为负，则
为0,pi是第i个锚点预测框中存在待检测目标的概率，Ncls是归一化因子；
锚点预测框使用如下损失函数进行回归：
式中，t表示由4个校正后的相对位置坐标组成的矢量，函数R采用L1平滑损失函数，Nreg是归一化因子；
所述RPN网络可以按如下多任务联合损失函数进行计算：
L({pi}，{ti})＝Lcls+λLreg
式中λ是回归损失和分类损失之间的权重。
9.根据权利要求3所述的基于深度学习的复合绝缘子异常发热缺陷的诊断方法，其特征在于：在所述识别与定位步骤S105中，所述池化层是空间金字塔池化层或者RoI Align池化层；
所述分类回归网络包括支持向量机SVM，所述支持向量机SVM包括所述的2个分支全连接层中的1个和所述的Softmax层。
10.根据权利要求1所述的基于深度学习的复合绝缘子异常发热缺陷的诊断方法，其特征在于：在所述故障点输出步骤S106中，利用非极大值抑制NMS方法丢弃冗余的故障点区域后输出结果，其中所述非极大值抑制NMS的IoU阈值设置为0.25。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110638523.9A CN113469950A (zh) | 2021-06-08 | 2021-06-08 | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110638523.9A CN113469950A (zh) | 2021-06-08 | 2021-06-08 | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113469950A true CN113469950A (zh) | 2021-10-01 |
Family
ID=77869401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110638523.9A Pending CN113469950A (zh) | 2021-06-08 | 2021-06-08 | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469950A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114398942A (zh) * | 2021-12-08 | 2022-04-26 | 河北航天信息技术有限公司 | 一种基于集成的个人所得税异常检测方法及装置 |
| CN114577853A (zh) * | 2022-05-05 | 2022-06-03 | 国网浙江省电力有限公司电力科学研究院 | 复合绝缘子发热缺陷自动判断方法 |
| CN115035084A (zh) * | 2022-06-27 | 2022-09-09 | 泸州豪能传动技术有限公司 | 锻件缺陷的监控方法、装置、电子设备及存储介质 |
| CN115222738A (zh) * | 2022-09-20 | 2022-10-21 | 合肥中科类脑智能技术有限公司 | 一种基于特征迁移的在线学习异常检测方法及系统 |
| CN116977274A (zh) * | 2023-05-22 | 2023-10-31 | 中山大学 | 适用于移动生产线上的坚果智能检测方法及系统 |
| CN118470051A (zh) * | 2024-07-12 | 2024-08-09 | 国网江西省电力有限公司电力科学研究院 | 基于实例分割的电力设备绝缘子串红外温度异常检测方法 |
| CN118644482A (zh) * | 2024-08-14 | 2024-09-13 | 广东电网有限责任公司东莞供电局 | 一种基于改进的一维残差网络的绝缘子发热缺陷智能检测方法、设备及存储介质 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106969836A (zh) * | 2017-03-21 | 2017-07-21 | 华北电力大学（保定） | 一种绝缘子发热点的检测方法 |
| CN107133578A (zh) * | 2017-04-19 | 2017-09-05 | 华南理工大学 | 一种基于文件传输的人脸表情识别方法及系统 |
| CN107180225A (zh) * | 2017-04-19 | 2017-09-19 | 华南理工大学 | 一种针对卡通人物面部表情的识别方法 |
| CN107274451A (zh) * | 2017-05-17 | 2017-10-20 | 北京工业大学 | 基于共享卷积神经网络的绝缘子检测方法及装置 |
| CN108229296A (zh) * | 2017-09-30 | 2018-06-29 | 深圳市商汤科技有限公司 | 人脸皮肤属性识别方法和装置、电子设备、存储介质 |
| CN108717693A (zh) * | 2018-04-24 | 2018-10-30 | 浙江工业大学 | 一种基于rpn的视盘定位方法 |
| CN108846418A (zh) * | 2018-05-24 | 2018-11-20 | 广东电网有限责任公司 | 一种电缆设备温度异常定位与识别方法 |
| CN109063586A (zh) * | 2018-07-11 | 2018-12-21 | 东南大学 | 一种基于候选优化的Faster R-CNN驾驶员检测方法 |
| CN109101906A (zh) * | 2018-07-27 | 2018-12-28 | 中国南方电网有限责任公司超高压输电公司贵阳局 | 一种变电站电力设备红外图像异常实时检测方法及装置 |
| CN109543754A (zh) * | 2018-11-23 | 2019-03-29 | 中山大学 | 基于端对端深度学习的目标检测与语义分割的并行方法 |
| CN109597907A (zh) * | 2017-12-07 | 2019-04-09 | 深圳市商汤科技有限公司 | 服饰管理方法和装置、电子设备、存储介质 |
| CN109801284A (zh) * | 2019-01-25 | 2019-05-24 | 华中科技大学 | 一种基于深度学习的高铁接触网绝缘子故障检测方法 |
| CN110276358A (zh) * | 2018-03-13 | 2019-09-24 | 南京航空航天大学 | 密集堆叠下的高相似度木块横截面检测方法 |
| CN110334661A (zh) * | 2019-07-09 | 2019-10-15 | 国网江苏省电力有限公司扬州供电分公司 | 基于深度学习的红外输变电异常发热点目标检测方法 |
| CN110599448A (zh) * | 2019-07-31 | 2019-12-20 | 浙江工业大学 | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 |
| CN111653023A (zh) * | 2020-05-22 | 2020-09-11 | 深圳欧依云科技有限公司 | 一种智能工厂监管方法 |
| CN111860488A (zh) * | 2020-07-31 | 2020-10-30 | 广东电网有限责任公司 | 一种杆塔鸟巢检测与识别方法、装置、设备及其介质 |
| CN112613454A (zh) * | 2020-12-29 | 2021-04-06 | 国网山东省电力公司建设公司 | 一种电力基建施工现场违章识别方法及系统 |
-
2021
- 2021-06-08 CN CN202110638523.9A patent/CN113469950A/zh active Pending
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106969836A (zh) * | 2017-03-21 | 2017-07-21 | 华北电力大学（保定） | 一种绝缘子发热点的检测方法 |
| CN107133578A (zh) * | 2017-04-19 | 2017-09-05 | 华南理工大学 | 一种基于文件传输的人脸表情识别方法及系统 |
| CN107180225A (zh) * | 2017-04-19 | 2017-09-19 | 华南理工大学 | 一种针对卡通人物面部表情的识别方法 |
| CN107274451A (zh) * | 2017-05-17 | 2017-10-20 | 北京工业大学 | 基于共享卷积神经网络的绝缘子检测方法及装置 |
| CN108229296A (zh) * | 2017-09-30 | 2018-06-29 | 深圳市商汤科技有限公司 | 人脸皮肤属性识别方法和装置、电子设备、存储介质 |
| CN109597907A (zh) * | 2017-12-07 | 2019-04-09 | 深圳市商汤科技有限公司 | 服饰管理方法和装置、电子设备、存储介质 |
| CN110276358A (zh) * | 2018-03-13 | 2019-09-24 | 南京航空航天大学 | 密集堆叠下的高相似度木块横截面检测方法 |
| CN108717693A (zh) * | 2018-04-24 | 2018-10-30 | 浙江工业大学 | 一种基于rpn的视盘定位方法 |
| CN108846418A (zh) * | 2018-05-24 | 2018-11-20 | 广东电网有限责任公司 | 一种电缆设备温度异常定位与识别方法 |
| CN109063586A (zh) * | 2018-07-11 | 2018-12-21 | 东南大学 | 一种基于候选优化的Faster R-CNN驾驶员检测方法 |
| CN109101906A (zh) * | 2018-07-27 | 2018-12-28 | 中国南方电网有限责任公司超高压输电公司贵阳局 | 一种变电站电力设备红外图像异常实时检测方法及装置 |
| CN109543754A (zh) * | 2018-11-23 | 2019-03-29 | 中山大学 | 基于端对端深度学习的目标检测与语义分割的并行方法 |
| CN109801284A (zh) * | 2019-01-25 | 2019-05-24 | 华中科技大学 | 一种基于深度学习的高铁接触网绝缘子故障检测方法 |
| CN110334661A (zh) * | 2019-07-09 | 2019-10-15 | 国网江苏省电力有限公司扬州供电分公司 | 基于深度学习的红外输变电异常发热点目标检测方法 |
| CN110599448A (zh) * | 2019-07-31 | 2019-12-20 | 浙江工业大学 | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 |
| CN111653023A (zh) * | 2020-05-22 | 2020-09-11 | 深圳欧依云科技有限公司 | 一种智能工厂监管方法 |
| CN111860488A (zh) * | 2020-07-31 | 2020-10-30 | 广东电网有限责任公司 | 一种杆塔鸟巢检测与识别方法、装置、设备及其介质 |
| CN112613454A (zh) * | 2020-12-29 | 2021-04-06 | 国网山东省电力公司建设公司 | 一种电力基建施工现场违章识别方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| 焦李成等: "《人工智能前沿技术丛书 简明人工智能》", 30 September 2019 * |
| 牛海清等: "基于Radon和Fourier-Mellin变换的电缆终端红外图像识别", 《华南理工大学学报（自然科学版）》 * |
| 石小磊: "基于卷积神经网络的复杂条件车牌识别", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 董洪义: "《 深度学习之PyTorch物体检测实战》", 31 January 2020 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114398942A (zh) * | 2021-12-08 | 2022-04-26 | 河北航天信息技术有限公司 | 一种基于集成的个人所得税异常检测方法及装置 |
| CN114577853A (zh) * | 2022-05-05 | 2022-06-03 | 国网浙江省电力有限公司电力科学研究院 | 复合绝缘子发热缺陷自动判断方法 |
| CN115035084A (zh) * | 2022-06-27 | 2022-09-09 | 泸州豪能传动技术有限公司 | 锻件缺陷的监控方法、装置、电子设备及存储介质 |
| CN115222738A (zh) * | 2022-09-20 | 2022-10-21 | 合肥中科类脑智能技术有限公司 | 一种基于特征迁移的在线学习异常检测方法及系统 |
| CN116977274A (zh) * | 2023-05-22 | 2023-10-31 | 中山大学 | 适用于移动生产线上的坚果智能检测方法及系统 |
| CN118470051A (zh) * | 2024-07-12 | 2024-08-09 | 国网江西省电力有限公司电力科学研究院 | 基于实例分割的电力设备绝缘子串红外温度异常检测方法 |
| CN118644482A (zh) * | 2024-08-14 | 2024-09-13 | 广东电网有限责任公司东莞供电局 | 一种基于改进的一维残差网络的绝缘子发热缺陷智能检测方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112380952B (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
| CN113469950A (zh) | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 | |
| CN110598736B (zh) | 一种电力设备红外图像故障定位、识别与预测方法 | |
| WO2021046951A1 (zh) | 图像识别方法、系统及存储介质 | |
| CN110827251A (zh) | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 | |
| CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
| CN110264444B (zh) | 基于弱分割的损伤检测方法及装置 | |
| CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
| CN115731164A (zh) | 基于改进YOLOv7的绝缘子缺陷检测方法 | |
| CN109886947A (zh) | 基于区域的卷积神经网络的高压电线缺陷检测方法 | |
| CN113283282B (zh) | 一种基于时域语义特征的弱监督时序动作检测方法 | |
| CN115375614A (zh) | 用于对通过制造过程制造的产品进行分类的系统和方法 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 | |
| Tan | Automatic insulator detection for power line using aerial images powered by convolutional neural networks | |
| CN110751005B (zh) | 融合深度感知特征和核极限学习机的行人检测方法 | |
| CN112949510A (zh) | 基于Faster R-CNN热红外影像人物探测方法 | |
| CN111598854A (zh) | 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法 | |
| CN114359695A (zh) | 基于不确定性估计的绝缘子破损识别方法 | |
| CN111079807A (zh) | 一种地物分类方法及装置 | |
| CN118279320A (zh) | 基于自动提示学习的目标实例分割模型建立方法及其应用 | |
| He et al. | CBAM‐YOLOv5: A promising network model for wear particle recognition | |
| CN114219763A (zh) | 基于Faster RCNN算法的配电设备异常发热点红外图片检测方法 | |
| CN113763384A (zh) | 工业质检中的缺陷检测方法、缺陷检测装置 | |
| CN117496223A (zh) | 一种基于深度学习的轻量化绝缘子缺陷检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211001 |