CN112001922A - 带电设备的缺陷诊断方法及设备 - Google Patents

带电设备的缺陷诊断方法及设备 Download PDF

Info

Publication number
CN112001922A
CN112001922A CN202011184875.3A CN202011184875A CN112001922A CN 112001922 A CN112001922 A CN 112001922A CN 202011184875 A CN202011184875 A CN 202011184875A CN 112001922 A CN112001922 A CN 112001922A
Authority
CN
China
Prior art keywords
frame
feature map
fault
equipment
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011184875.3A
Other languages
English (en)
Other versions
CN112001922B (zh
Inventor
丁顺意
席林
何慧钧
曾旭
许毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Thermal Image Science And Technology Co ltd
Original Assignee
Feichuke Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Feichuke Intelligent Technology Shanghai Co ltd filed Critical Feichuke Intelligent Technology Shanghai Co ltd
Priority to CN202011184875.3A priority Critical patent/CN112001922B/zh
Publication of CN112001922A publication Critical patent/CN112001922A/zh
Application granted granted Critical
Publication of CN112001922B publication Critical patent/CN112001922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明的目的是提供一种带电设备的缺陷诊断方法及设备，本发明克服了现有技术的不足，包括：将各种带电设备的热像图进行预处理得到灰度图；在所述灰度图中标出各个真实框，分别对各个真实框进行标记，以标记后的灰度图建立带电设备的检测数据集；将所述带电设备的检测数据集划分训练集、验证集和测试集；构建改进的Faser R‑CNN网络模型，Faser R‑CNN网络模型的训练。本发明可以对带电设备进行识别，对设备的故障进行初步诊断，本发明用算法代替人工进行自动识别，能够提升带电设备的检测精度，同时提升带电设备的故障的检测精度。本发明针对带电设备的红外热像检测及其故障诊断，检测精度高，检测速度快。

Description

带电设备的缺陷诊断方法及设备
技术领域
本发明涉及计算机领域，尤其涉及一种带电设备的缺陷诊断方法及设备。
背景技术
电力是国民经济发展的重要能源，因此保障电厂的安全具有重要意义。电厂红外检测是用红外热像仪对电气设备表面温度分布进行较大面积的巡视性检查，用检测电压致热型和部分电流致热型设备的表面温度分布去发现内部故障，对设备故障作精确判断。
然而目前对设备故障的判断大都通过固定的故障公式计算得出，检测精度较低。
发明内容
本发明的一个目的是提供一种带电设备的缺陷诊断方法及设备。
根据本发明的一个方面，提供了一种带电设备的缺陷诊断方法，该方法包括：
将各种带电设备的热像图进行预处理得到灰度图；
在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
将所述带电设备的检测数据集划分训练集、验证集和测试集；
构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图FM1；边框生成网络利用生成的第一特征图FM1从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图FM1的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4；分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行卷积和非极大值抑制获得预测框；
Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；解冻骨干特征提取网络并冻结骨干特征提取网络中的第1~4浅层卷积层，训练包括冻结第1~4浅层卷积层的骨干特征提取网络、边框生成网络、融合上下文的感兴趣区域池化模块以及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
进一步的，上述方法中，融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4，包括：
将第一特征图FM1作为全局特征图；
将所述全局特征图进行融合上下文的感兴趣区域池化得到第二特征图FM2；
由所述候选框映射到所述全局特征图上产生局部特征图；
将所述局部特征图进行融合上下文的感兴趣区域池化，得到第三特征图FM3，其中，所述第二特征图FM2和第三特征图FM3的尺寸相同；
对所述第二特征图FM2和第三特征图FM3先进行关联然后进行卷积，得到区域特征图FM4。
进一步的，上述方法中，分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，包括：
将区域特征图FM4经过k 2 （C i +1）个尺寸为3×3、步长为1的卷积核进行卷积得到从左到右有k 2 （C i +1）个通道的第五特征图FM5，其中，k是超参数，一般取3，C i =C 1 是带电设备的类型的个数，C i =C 2 是故障的类别的个数；
将第五特征图FM5在每个通道上平均分成k 2 份的格子，最终得到k 2 个的格子，每个格子的通道的个数为（C i +1），每一个通道代表一个带电设备的类型或故障的类别，其中，k 2 份中每个格子的位置是和通道是从左到右且从上到下的一一对应的关系，k 2 份的格子中的左上角的格子对应k 2 份中的第一份（C i +1）通道，k 2 份的格子中的右下角的格子对应k 2 份中的最后一份（C i +1）通道；
在每一份的格子内做最大池化得到k 2 个的格子且每个格子的通道的个数为（C i +1）的第六特征图FM6；
对第六特征图FM6再进行全局平均池化，得到1×1×（C i +1）个特征的第七特征图FM7，其中，当C i =C 1 时第七特征图FM7表示带电设备的类型，当C i =C 2 时第七特征图FM7表示故障的类别。
进一步的，上述方法中，骨干特征提取网络的总损失的计算公式如下：
Figure 689752DEST_PATH_IMAGE001
；
其中，故障预测的分类损失为
Figure 289230DEST_PATH_IMAGE002
；
边框回归损失为
Figure 254912DEST_PATH_IMAGE003
；
Figure 390489DEST_PATH_IMAGE004
；
Figure 517845DEST_PATH_IMAGE005
；
p i 表示9个锚框中第个锚框预测为真实的标签的概率，p i * 当为正样本时为1，当为负样本时为0，t i 表示预测9个锚框中第i个锚框的边界框回归参数，t i * 表示9个锚框中第i个锚框对应的真实框（GT BOX）的回归参数，N cls 表示一个样本训练批次（mini-batch）中的所有样本的数量，N reg 表示锚框位置的个数。
进一步的，上述方法中，融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失的计算公式如下：
Figure 807881DEST_PATH_IMAGE006
；
设备类型预测的分类损失为
Figure 311675DEST_PATH_IMAGE007
；
故障类别预测的分类损失为
Figure 567338DEST_PATH_IMAGE008
；
边框回归损失
Figure 193491DEST_PATH_IMAGE009
；
Figure 783872DEST_PATH_IMAGE010
，其中，
p 1 是带电设备的类型的分类器预测的softmax概率分布
Figure 543887DEST_PATH_IMAGE011
，p 2 是故障的类别的分类器预测的softmax概率分布
Figure 637745DEST_PATH_IMAGE012
，u 2 对应故障真实的类别标签，
Figure 123215DEST_PATH_IMAGE013
对应预测框回归预测的对应类别u 2 的回归参数，v对应真实故障的预测框回归参数。
进一步的，上述方法中，基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断，包括：
将待检测的带电设备的热像图转化为灰度图输入优化的改进的Faser R-CNN网络模型中得到预测结果，所述预测结果中：如果待检测的带电设备没有故障则预测结果为无故障，如果待检测的带电设备有故障则预测结果为故障所在的位置、故障的类别以及故障所在的带电设备的类型。
根据本发明的另一方面，还提供了一种基于计算的设备，其中，包括：
处理器；
以及，被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
将各种带电设备的热像图进行预处理得到灰度图；
在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
将所述带电设备的检测数据集划分训练集、验证集和测试集；
构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图FM1；边框生成网络利用生成的第一特征图FM1从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图FM1的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4；分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行卷积和非极大值抑制获得预测框；
Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；解冻骨干特征提取网络并冻结骨干特征提取网络中的第1~4浅层卷积层，训练包括冻结第1~4浅层卷积层的骨干特征提取网络、边框生成网络、融合上下文的感兴趣区域池化模块以及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
将各种带电设备的热像图进行预处理得到灰度图；
在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
将所述带电设备的检测数据集划分训练集、验证集和测试集；
构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图FM1；边框生成网络利用生成的第一特征图FM1从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图FM1的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4；分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行卷积和非极大值抑制获得预测框；
Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；解冻骨干特征提取网络并冻结骨干特征提取网络中的第1~4浅层卷积层，训练包括冻结第1~4浅层卷积层的骨干特征提取网络、边框生成网络、融合上下文的感兴趣区域池化模块以及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
与现有技术相比，本发明克服了现有技术的不足，提供一种基于改进Faster R-CNN的带电设备的缺陷诊断方法，可以对带电设备进行识别，对设备的故障进行初步诊断，本发明用算法代替人工进行自动识别，能够提升带电设备的检测精度，同时提升带电设备的故障的检测精度。本发明针对带电设备的红外热像检测及其故障诊断，检测精度高，检测速度快。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出原始的Faster R-CNN网络结构示意图；
图2示出本发明一实施例的改进的Faster R-CNN网络结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
在附图中，各附图标记含义如下：1表示EfficientNet-B4 Backbone； 2表示边框生成网络RPN；3表示候选框；4表示分类损失；5表示边框回归损失；6表示设备分类；7表示故障分类；8表示边框参数；11表示全局RoI池化；12表示局部RoI池化；21表示Concat&Conv，即关联然后进行卷积；31表示用于得到设备分类的位置敏感平均池化；32表示用于得到故障分类的位置敏感平均池化；以及，33表示Conv+NMS，即进行卷积和非极大值抑制处理。
具体实施方式
下面结合附图对本发明作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、 磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
本发明可以使用Tensorflow2.2框架构建模型，使用openCV(开源计算机视觉库)对图像进行预处理。实验采用的硬件配置为Core i7-9700K处理器，RTX 2080Ti显卡，软件环境为CUDA10.0和cuDNN7.6。
如图2所示，本发明提供一种带电设备的缺陷诊断方法，所述方法包括：
步骤S1，构建不同类型设备和故障的数据集，具体是：
步骤S11，将各种带电设备的热像图进行预处理得到灰度图；
在此，可以将带电设备热像图进行预处理得到图像大小及位深一致的灰度图；
步骤S12，在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
在此，首先对电厂采集到的带电设备红外热像图转化为灰度图，对灰度图进行打标，标记内容不仅包括故障类别和故障位置，还包括故障所在的设备的类型，以构建不同类型带电设备不同类别故障的带电设备故障检测数据集。
步骤S13，将所述带电设备的检测数据集分别以7：1：2的比例划分训练集、验证集和测试集；
在此，可以利用改进的Mosaic方法或其他数据增强方法，扩充数据集以进行数据增强，并将数据集以7：1：2的比例划分训练集、验证集和测试集；
步骤S2：为了实现对带电设备识别及其故障诊断，需要将在检测效率上表现不好的原始的Faster R-CNN算法进行改进，同时进一步提高识别精度，原始的Faster R-CNN网络结构如图1所示，在带电设备故障检测问题中，为了将危险隐患降到最低，我们需要对故障进行精确识别，故对原始的Faster R-CNN网络进行了改进，构建改进的Faser R-CNN网络模型，如图2所示，改进后的Faster R-CNN算法网络模型主要包含四个部分，结构如下：
步骤S21， 采用EfficientNet-B4作为骨干特征提取网络（Backbone），所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图（feature maps），以得到第一特征图FM1；
在此，主干特征提取网络采用EfficientNet-B4，提取输入图片的特征feature maps。一般Fast R-CNN采用VGG16或表现更好的ResNet-50，但经我们研究表明，ResNet-50网络具有比较明显的冗余性和过拟合现象，因此本发明采用EfficientNet-B4作为主干提取网络。EfficientNet-B4比ResNet-50精度更高，且参数更少模型更小，采用EfficientNet-B4作为主干提取网络能够更有效率地进行目标检测；
步骤S22，边框生成网络（Region Proposal Networks，RPN）利用步骤S21中生成的第一特征图FM1从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框（锚框）是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图FM1的每个像素位置上分别采用三种面积像素（该面积相对于原图）并分别采用三种长宽比例的方式，共获得9个锚框；
步骤S23， 融合上下文的感兴趣区域池化模块（RoI Pooling），该模块利用步骤S21中生成的第一特征图FM1作为全局特征图，并利用步骤S22中产生的候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4。本发明与原始RoI Pooling只利用局部特征不同，本发明的融合上下文的感兴趣区域池化还利用了全局特征，具体是：
步骤S231，将第一特征图FM1作为全局特征图；
步骤S232，将所述全局特征图进行融合上下文的感兴趣区域池化（RoI Pooling）得到第二特征图FM2；
步骤S233，由所述候选框映射到所述全局特征图上产生局部特征图；
步骤S234，将所述局部特征图进行融合上下文的感兴趣区域池化（RoI Pooling），得到第三特征图FM3，其中，所述第二特征图FM2和第三特征图FM3的尺寸相同；
步骤S235，对所述第二特征图FM2和第三特征图FM3先进行关联（concatenate)然后进行卷积（Conv），得到区域特征图FM4（proposal feature maps）。
在此，这样做的目的在于在识别局部目标时会考虑全局的特征，类似于扩大感受野。这种方式尽管简单但非常有效，因为故障的类别与故障所在的设备类型有关，感兴趣区域（RoI）周围的上下文信息对于判断这个RoI的类别是很有帮助的。
步骤S24，分类和边框回归模块（Classification & Regression）利用步骤S23中产生的区域特征图FM4并结合位置敏感平均池化（Position Sensitive Average Pooling）得到带电设备的类型和故障的类别（RoI），同时对所述候选框进行卷积和非极大值抑制（NMS）获得预测框。
在此，与如图1所示的原始Faster R-CNN不同的是，本发明在该阶段采用了位置敏感平均池化。传统池化时带电设备的每个部分对于故障诊断的贡献几乎是相同的，但事实却是不同的，比如接头（电器设备与金属部件的连接）这一特征要比外壳（电器设备金属外壳）得到的关注更多。因为分类网络的位置不敏感性和检测网络的位置敏感性的一个矛盾问题，而在目标检测中不仅要分类也要定位。所以对位置输出的每个区域进行加权平均敏感的池化以重新加权区域。具体是：
步骤S241，将步骤S23中产生的区域特征图FM4经过k 2 （C i +1）个尺寸为3×3、步长为1的卷积核进行卷积得到从左到右有k 2 （C i +1）个通道的第五特征图FM5（图中未示出），其中，k是超参数，一般取3，C i =C 1 是带电设备的类型的个数，C i =C 2 是故障的类别的个数；
步骤S242，然后将第五特征图FM5在每个通道上平均分成k 2 份的格子，最终得到k 2 个的格子，每个格子的通道的个数为（C i +1），每一个通道代表一个带电设备的类型或故障的类别，其中，k 2 份中每个格子的位置是和通道是从左到右且从上到下的一一对应的关系，k 2 份的格子中的左上角的格子对应k 2 份中的第一份（C i +1）通道，k 2 份的格子中的右下角的格子对应k 2 份中的最后一份（C i +1）通道；
步骤S242，在每一份的格子内做最大池化（Max Pooling）得到个的格子且每个格子的通道的个数为（C i +1）的第六特征图FM6（图中未示出）；
步骤S243，对第六特征图FM6再进行全局平均池化，就得到了1×1×（C i +1）个特征的第七特征图FM7（图中未示出），其中，当C i =C 1 时第七特征图FM7表示带电设备的类型，当C i =C 2 时第七特征图FM7表示故障的类别。
步骤S3训练，具体是：
Faser R-CNN网络模型的训练，是在灰度ImageNet预训练的主干特征提取网络（EfficientNet-B4）的基础上继续进行训练。实际中训练过程分为2个步骤：
步骤S31，首先冻结所述骨干特征提取网络即EfficientNet-B4；
步骤S32，训练边框生成网络（RPN），包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；
优选的，骨干特征提取网络的总损失的计算公式如下：
Figure 997630DEST_PATH_IMAGE014
；
其中，故障预测的分类损失为
Figure 374385DEST_PATH_IMAGE015
；
边框回归损失为
Figure 775279DEST_PATH_IMAGE016
；
Figure 946498DEST_PATH_IMAGE004
；
Figure 308209DEST_PATH_IMAGE005
；
p i 表示9个锚框中第个锚框预测为真实的标签的概率，p i * 当为正样本时为1，当为负样本时为0，t i 表示预测9个锚框中第i个锚框的边界框回归参数，t i * 表示9个锚框中第i个锚框对应的真实框（GT BOX）的回归参数，N cls 表示一个样本训练批次中的所有样本的数量，N reg 表示锚框位置的个数。
在此，利用二值交叉熵损失计算故障预测的分类损失，利用
Figure 708228DEST_PATH_IMAGE017
函数计算边框回归损失，这两个损失构成了RPN总损失。
步骤S33，训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；
优选的，融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失的计算公式如下：
Figure 776679DEST_PATH_IMAGE018
；
设备类型预测的分类损失为
Figure 305749DEST_PATH_IMAGE019
；
故障类别预测的分类损失为
Figure 92439DEST_PATH_IMAGE008
；
边框回归损失
Figure 607734DEST_PATH_IMAGE009
；
Figure 547002DEST_PATH_IMAGE010
，其中，
p 1 是带电设备的类型的分类器预测的softmax概率分布
Figure 794444DEST_PATH_IMAGE020
，p 2 是故障的类别的分类器预测的softmax概率分布
Figure 255381DEST_PATH_IMAGE012
，u 2 对应故障真实的类别标签，
Figure 512050DEST_PATH_IMAGE021
对应预测框回归预测的对应类别u 2 的回归参数，v对应真实故障的预测框回归参数。
在此，将训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块作为预测网络部分，预测网络部分具体是计算设备类型预测的分类损失、故障类别预测的分类损失和边框回归损失构成的总损失。
步骤S34，然后解冻骨干特征提取网络（Backbone）并冻结骨干特征提取网络中的第1~4浅层卷积层，训练包括冻结第1~4浅层卷积层的骨干特征提取网络、边框生成网络RPN、融合上下文的感兴趣区域池化模块以及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型。
在此，接着训练包括冻结第1~4浅层卷积层的骨干特征提取网络，融合上下文的感兴趣区域池化模块以及分类和边框回归模块的整个网络权重。其中边框生成网络RPN和最终的预测网络部分的损失计算方法同上。
可以采用测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型。
步骤S4，基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断，具体是：
将待检测的带电设备的热像图转化为灰度图输入优化的改进的Faser R-CNN网络模型中得到预测结果，所述预测结果中：如果待检测的带电设备没有故障则预测结果为无故障，如果待检测的带电设备有故障则预测结果为故障所在的位置（以边框呈现）、故障的类别以及故障所在的带电设备的类型。
其中，Faster R-CNN计算过程是：
灰度图输入EfficientNet-B4，提取输入图片的特征，产生第一特征图FM1；基于第一特征图FM1通过边框生成网络生成候选框；将候选框投影到第一特征图FM1（全局特征图）上产生局部特征图，再进行融合上下文的感兴趣区域池化RoI Pooling和位置敏感平均池化得到带电设备的预测的类型和故障的预测类别及其位置坐标。
综上所述，本发明克服了现有技术的不足，提供一种基于改进Faster R-CNN的带电设备的缺陷诊断方法，可以对带电设备进行识别，对设备的故障进行初步诊断，本发明用算法代替人工进行自动识别，能够提升带电设备的检测精度，同时提升带电设备的故障的检测精度。本发明针对带电设备的红外热像检测及其故障诊断，检测精度高，检测速度快。
根据本发明的另一方面，还提供了一种基于计算的设备，其中，包括：
处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
将各种带电设备的热像图进行预处理得到灰度图；
在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
将所述带电设备的检测数据集划分训练集、验证集和测试集；
构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图FM1；边框生成网络利用生成的第一特征图FM1从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图FM1的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4；分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行卷积和非极大值抑制获得预测框；
Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；解冻骨干特征提取网络并冻结骨干特征提取网络中的第1~4浅层卷积层，训练包括冻结第1~4浅层卷积层的骨干特征提取网络、边框生成网络、融合上下文的感兴趣区域池化模块以及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
将各种带电设备的热像图进行预处理得到灰度图；
在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
将所述带电设备的检测数据集划分训练集、验证集和测试集；
构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图FM1；边框生成网络利用生成的第一特征图FM1从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图FM1的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4；分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行边框回归获得和非极大值抑制获得预测框；
Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；解冻骨干特征提取网络并冻结骨干特征提取网络中的第1~4浅层卷积层，训练包括冻结第1~4浅层卷积层的骨干特征提取网络、边框生成网络、融合上下文的感兴趣区域池化模块以及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路（ASIC）、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序（包括相关的数据结构）可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (8)

1.一种带电设备的缺陷诊断方法，其中，该方法包括：
将各种带电设备的热像图进行预处理得到灰度图；
在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记的内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
将所述带电设备的检测数据集划分训练集、验证集和测试集；
构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图（FM1）；边框生成网络利用生成的第一特征图（FM1）从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图（FM1）的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图（FM1）作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图（FM4）；分类和边框回归模块利用区域特征图（FM4）并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行卷积和非极大值抑制获得预测框；
Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的概率、设备的概率以及锚框调整后的参数，进而基于故障的概率、设备的概率以及锚框调整后的参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；解冻骨干特征提取网络，并冻结骨干特征提取网络中的第1~4浅层卷积层，训练包括冻结第1~4浅层卷积层的骨干特征提取网络、边框生成网络、融合上下文的感兴趣区域池化模块以及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
2.根据权利要求1所述的方法，其中，融合上下文的感兴趣区域池化模块利用生成的第一特征图（FM1）作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图（FM4），包括：
将第一特征图（FM1）作为全局特征图；
将所述全局特征图进行融合上下文的感兴趣区域池化得到第二特征图（FM2）；
由所述候选框映射到所述全局特征图上产生局部特征图；
将所述局部特征图进行融合上下文的感兴趣区域池化，得到第三特征图（FM3），其中，所述第二特征图（FM2）和第三特征图（FM3）的尺寸相同；
对所述第二特征图（FM2）和第三特征图（FM3）先进行关联然后进行卷积，得到区域特征图（FM4）。
3.根据权利要求1所述的方法，其中，分类和边框回归模块利用区域特征图（FM4）并结合位置敏感平均池化得到带电设备的类型和故障的类别，包括：
将区域特征图（FM4）经过k 2 （C i +1）个尺寸为3×3、步长为1的卷积核进行卷积得到从左到右有k 2 （C i +1）个通道的第五特征图（FM5），其中，k是超参数，k取3，C i =C 1 是带电设备的类型的个数，C i =C 2 是故障的类别的个数；
将第五特征图（FM5）在每个通道上平均分成k 2 份的格子，最终得到k 2 个的格子，每个格子的通道的个数为（C i +1），每一个通道代表一个带电设备的类型或故障的类别，其中，k 2 份中每个格子的位置是和通道是从左到右且从上到下的一一对应的关系，k 2 份的格子中的左上角的格子对应k 2 份中的第一份（C i +1）通道，k 2 份的格子中的右下角的格子对应k 2 份中的最后一份（C i +1）通道；
在每一份的格子内做最大池化得到k 2 个的格子且每个格子的通道的个数为（C i +1）的第六特征图（FM6）；
对第六特征图（FM6）再进行全局平均池化，得到1×1×（C i +1）个特征的第七特征图（FM7），其中，当C i =C 1 时第七特征图（FM7）表示带电设备的类型，当C i =C 2 时第七特征图（FM7）表示故障的类别。
4.根据权利要求1所述的方法，其中，骨干特征提取网络的总损失的计算公式如下：
Figure DEST_PATH_IMAGE002
；
其中，故障预测的分类损失为
Figure DEST_PATH_IMAGE004
；
边框回归损失为
Figure DEST_PATH_IMAGE006
；
Figure DEST_PATH_IMAGE008
；
Figure DEST_PATH_IMAGE010
；
p i 表示9个锚框中第个锚框预测为真实的标签的概率，p i * 当为正样本时为1，当为负样本时为0，t i 表示预测9个锚框中第i个锚框的边界框回归参数，t i * 表示9个锚框中第i个锚框对应的真实框的回归参数，N cls 表示一个样本训练批次中的所有样本的数量，N reg 表示锚框位置的个数。
5.根据权利要求1所述的方法，其中，融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失的计算公式如下：
Figure DEST_PATH_IMAGE012
；
设备类型预测的分类损失为
Figure DEST_PATH_IMAGE014
；
故障类别预测的分类损失为
Figure DEST_PATH_IMAGE016
；
边框回归损失
Figure DEST_PATH_IMAGE018
；
Figure DEST_PATH_IMAGE020
，其中，
p 1 是带电设备的类型的分类器预测的softmax概率分布
Figure DEST_PATH_IMAGE022
，p 2 是故障的类别的分类器预测的softmax概率分布
Figure DEST_PATH_IMAGE024
，u 2 对应故障真实的类别标签，
Figure DEST_PATH_IMAGE026
对应预测框回归预测的对应类别u 2 的回归参数，v对应真实故障的预测框回归参数。
6.根据权利要求1所述的方法，其中，基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断，包括：
将待检测的带电设备的热像图转化为灰度图输入优化的改进的Faser R-CNN网络模型中得到预测结果，所述预测结果中：如果待检测的带电设备没有故障则预测结果为无故障，如果待检测的带电设备有故障则预测结果为故障所在的位置、故障的类别以及故障所在的带电设备的类型。
7.一种基于计算的设备，其中，包括：
处理器；
以及，被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
将各种带电设备的热像图进行预处理得到灰度图；
在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
将所述带电设备的检测数据集划分训练集、验证集和测试集；
构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图（FM1）；边框生成网络利用生成的第一特征图（FM1）从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图（FM1）的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图（FM1）作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图（FM4）；分类和边框回归模块利用区域特征图（FM4）并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行卷积和非极大值抑制获得预测框；
Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；
后解冻骨干特征提取网络并冻结骨干特征提取网络中的第1~4浅层卷积层，训练包括冻结第1~4浅层卷积层的骨干特征提取网络、边框生成网络、融合上下文的感兴趣区域池化模块以及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
8.一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
将各种带电设备的热像图进行预处理得到灰度图；
在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
将所述带电设备的检测数据集划分训练集、验证集和测试集；
构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图（FM1）；边框生成网络利用生成的第一特征图（FM1）从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图（FM1）的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图（FM1）作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图（FM4）；分类和边框回归模块利用区域特征图（FM4）并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行卷积和非极大值抑制获得预测框；
Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；
后解冻骨干特征提取网络并冻结骨干特征提取网络中的第1~4浅层卷积层，训练包括冻结第1~4浅层卷积层的骨干特征提取网络、边框生成网络、融合上下文的感兴趣区域池化模块以及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
CN202011184875.3A 2020-10-29 2020-10-29 带电设备的缺陷诊断方法及设备 Active CN112001922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011184875.3A CN112001922B (zh) 2020-10-29 2020-10-29 带电设备的缺陷诊断方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011184875.3A CN112001922B (zh) 2020-10-29 2020-10-29 带电设备的缺陷诊断方法及设备

Publications (2)

Publication Number Publication Date
CN112001922A true CN112001922A (zh) 2020-11-27
CN112001922B CN112001922B (zh) 2021-02-02

Family

ID=73475297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011184875.3A Active CN112001922B (zh) 2020-10-29 2020-10-29 带电设备的缺陷诊断方法及设备

Country Status (1)

Country Link
CN (1) CN112001922B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232309A (zh) * 2020-12-08 2021-01-15 飞础科智慧科技(上海)有限公司 用于热像人脸识别的方法、电子设备和存储介质
CN112749741A (zh) * 2020-12-30 2021-05-04 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的手闸紧固故障识别方法
CN113269678A (zh) * 2021-06-25 2021-08-17 石家庄铁道大学 接触网输电线路的故障点定位方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797769A (zh) * 2020-07-06 2020-10-20 东北大学 一种小目标敏感的车辆检测系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797769A (zh) * 2020-07-06 2020-10-20 东北大学 一种小目标敏感的车辆检测系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232309A (zh) * 2020-12-08 2021-01-15 飞础科智慧科技(上海)有限公司 用于热像人脸识别的方法、电子设备和存储介质
CN112232309B (zh) * 2020-12-08 2021-03-09 飞础科智慧科技(上海)有限公司 用于热像人脸识别的方法、电子设备和存储介质
CN112749741A (zh) * 2020-12-30 2021-05-04 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的手闸紧固故障识别方法
CN112749741B (zh) * 2020-12-30 2021-10-01 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的手闸紧固故障识别方法
CN113269678A (zh) * 2021-06-25 2021-08-17 石家庄铁道大学 接触网输电线路的故障点定位方法

Also Published As

Publication number Publication date
CN112001922B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
Hnewa et al. Object detection under rainy conditions for autonomous vehicles: A review of state-of-the-art and emerging techniques
Zhang et al. CAD-Net: A context-aware detection network for objects in remote sensing imagery
Deitsch et al. Automatic classification of defective photovoltaic module cells in electroluminescence images
CN112001922B (zh) 带电设备的缺陷诊断方法及设备
Su et al. RCAG-Net: Residual channelwise attention gate network for hot spot defect detection of photovoltaic farms
CN111444939B (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN111553397B (zh) 基于区域全卷积网络和自适应的跨域目标检测方法
CN111242144B (zh) 电网设备异常的检测方法和装置
CN113344475B (zh) 基于序列模态分解的变压器套管缺陷识别方法及系统
CA3136674C (en) Methods and systems for crack detection using a fully convolutional network
Noh et al. Unsupervised change detection based on image reconstruction loss
CN112801227B (zh) 一种台风识别模型的生成方法、装置、设备及存储介质
Bu et al. Mask-CDNet: A mask based pixel change detection network
Jayadevan et al. A new contrast-enhancing feature for cloud detection in ground-based sky images
Gao et al. Sea ice change detection in SAR images based on collaborative representation
Chen et al. Real-time garbage object detection with data augmentation and feature fusion using SUAV low-altitude remote sensing images
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN117115412A (zh) 一种基于加权得分标签分配的小目标检测方法
Samsami et al. Classification of the air quality level based on analysis of the sky images
Liu et al. Simple, Fast, Accurate Object Detection based on Anchor-Free Method for High Resolution Remote Sensing Images
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
Roy et al. AWDMC-Net: classification of adversarial weather degraded multiclass scenes using a convolution neural network
Vattem et al. Rethinking LiDAR Object Detection in adverse weather conditions
Luo et al. Self-guided instance-aware network for depth completion and enhancement
Varela Streak Detection in Wide Field of View Images Using Deep Learning and Data Augmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231218

Address after: Room 703-704, no.238, JIANGCHANG Third Road, Jing'an District, Shanghai, 200436

Patentee after: SHANGHAI THERMAL IMAGE SCIENCE AND TECHNOLOGY Co.,Ltd.

Address before: 201306 Room 201, building 10, 1211 Hongyin Road, Nicheng Town, Pudong New Area, Shanghai

Patentee before: Feichuke Intelligent Technology (Shanghai) Co.,Ltd.