CN114494185A - 一种基于rgb-t多尺度特征融合的电气设备故障检测方法 - Google Patents

一种基于rgb-t多尺度特征融合的电气设备故障检测方法 Download PDF

Info

Publication number
CN114494185A
CN114494185A CN202210085659.6A CN202210085659A CN114494185A CN 114494185 A CN114494185 A CN 114494185A CN 202210085659 A CN202210085659 A CN 202210085659A CN 114494185 A CN114494185 A CN 114494185A
Authority
CN
China
Prior art keywords
image
rgb
electrical equipment
convolution
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210085659.6A
Other languages
English (en)
Other versions
CN114494185B (zh
Inventor
赵天成
杨瀛
刘赫
司昌健
许志浩
袁小翠
陈捷元
于群英
李嘉帅
张赛鹏
栾靖尧
翟冠强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JILIN ELECTRIC POWER CO Ltd
Electric Power Research Institute of State Grid Jilin Electric Power Co Ltd
Nanchang Institute of Technology
Original Assignee
JILIN ELECTRIC POWER CO Ltd
Electric Power Research Institute of State Grid Jilin Electric Power Co Ltd
Nanchang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JILIN ELECTRIC POWER CO Ltd, Electric Power Research Institute of State Grid Jilin Electric Power Co Ltd, Nanchang Institute of Technology filed Critical JILIN ELECTRIC POWER CO Ltd
Priority to CN202210085659.6A priority Critical patent/CN114494185B/zh
Publication of CN114494185A publication Critical patent/CN114494185A/zh
Application granted granted Critical
Publication of CN114494185B publication Critical patent/CN114494185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/08—Locating faults in cables, transmission lines, or networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RGB‑T多尺度特征融合的电气设备故障检测方法，包括：将RGB图像和对应的T图像构成RGB‑T图像；对多通道RGB‑T图像中的RGB图像和T图像分别进行不同尺度特征提取，并将不同尺度特征进行交叉融合，构建图像目标分割模型；根据损失函数，通过标签样本对图像目标分割模型的输出进行深度监督训练；将待检测RGB‑T图像输入训练后的图像目标分割模型中，分割识别出待检测电气设备；根据T图像的温度值和不同电气设备过热检测标准，检测电气设备是否存在过热现象。本发明通过构建的图像目标分割模型，充分挖掘RGB图像的颜色、纹理和红外热图像中的温度信息分割和识别出红外热图像中的电气设备，为在红外热图像中检测电气设备提供准确的数据源。

Description

一种基于RGB-T多尺度特征融合的电气设备故障检测方法
技术领域
本发明涉及机器视觉缺陷检测领域，特别涉及一种基于RGB-T图像多尺 度特征融合的复杂背景下输配电线路电气设备故障检测方法。
背景技术
由于输配电线路电气设备在工作时电流效应，伴随着发热现象，特别是在 出现异常时，热损耗在异常部位会发生局部温度升高，通过红外热像仪能够有 效获取其表面温度分布情况，进而来诊断其故障情况。
目前，许多学者对红外热图像处理展开了研究，在电力系统中使用红外检 测技术诊断故障的方法主要包括两类：一类是直接基于红外热图像图像，对红 外热图像目标区域检测，根据检测出来的不同对象利用不同标准进行判断；另 一类是在基于可见光图像处理，在高分辨率的可见光图像中检测目标区域，再 利用配准算法将可见光图像中的目标区域配准到红外热图像中，从而检测出目 标区域。然而，这些检测方法还存在以下问题：
(1)红外热图像没有丰富的颜色及纹理信息，因此，当电气设备处于复 杂的环境下，红外热图像中一些小的电气元部件因缺乏颜色及纹理特征无法分 割及识别，导致细小的电气设备无法分割及识别，从而导致该类电气设备漏检。
(2)红外热图像通常分辨率比较低，需要检测的电气设备若比较小，当 在红外热图像中待检测的电气设备因缺乏颜色及纹理信息时，容易淹没在复杂 背景中。
(3)目前，基于红外热成像电气设备故障检测方法每张图像中一般只检 测一类电气设备，不能同时检测图像中包含的各类电气设备，对不同电气设备 的检测需要进行多次独立检测，因此，检测效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种基于RGB-T多尺度特征融 合的电气设备故障检测方法。
本发明实施例提供一种基于RGB-T多尺度特征融合的电气设备故障检测 方法，包括：
获取电气设备的可见光RGB图像、和与可见光RGB图像对应的红外热T 图像，并将RGB图像和对应的T图像构成RGB-T图像；
基于深度卷积神经网络，构建图像目标分割模型；
对RGB图像和T图像制作待检测电气设备的标签样本，定义损失函数； 根据损失函数，通过标签样本对图像目标分割模型进行深度监督训练；
将待检测RGB-T图像输入训练后的图像目标分割模型中，分割识别出待 检测电气设备；
根据T图像的温度值和不同电气设备过热检测标准，检测电气设备是否存 在过热现象；
其中，所述构建图像目标分割模型，包括：
将RGB-T图像构成了6通道图像，其中，RGB图像和T图像分别为3通 道图像；
设T图像进行5次卷积及4次下采样表示为
Figure BDA0003487670940000021
i表示第i次卷 积；对RGB图像进行4次卷积和3次下采样表示为
Figure BDA0003487670940000022
j表示第j 次卷积，当i＝j时，
Figure BDA0003487670940000023
与
Figure BDA0003487670940000024
所包含特征图数量和大小相同；
对
Figure BDA0003487670940000025
经过一次上采样和一次卷积后得到
Figure BDA0003487670940000026
将
Figure BDA0003487670940000027
经过 特征拼接及一次卷积后得到
Figure BDA0003487670940000028
Figure BDA0003487670940000029
都一次上采样和一次卷积后分别得到
Figure BDA00034876709400000210
将
Figure BDA00034876709400000211
Figure BDA00034876709400000212
经过特征拼接及一次卷积后得到
Figure BDA00034876709400000213
Figure BDA00034876709400000214
经过特征拼 接及一次卷积后得到
Figure BDA00034876709400000215
Figure BDA0003487670940000031
都经过一次上采样及一次卷积后分别得到
Figure BDA0003487670940000032
Figure BDA0003487670940000033
经过特征拼接及一次卷积得到
Figure BDA0003487670940000034
Figure BDA0003487670940000035
特 征拼接后经过一次卷积得到
Figure BDA0003487670940000036
将
Figure BDA0003487670940000037
及
Figure BDA0003487670940000038
特征拼接后 经过一次卷积得到
Figure BDA0003487670940000039
对
Figure BDA00034876709400000310
分别经过一次上采样和一次卷积后得到
Figure BDA00034876709400000311
Figure BDA00034876709400000312
将
Figure BDA00034876709400000313
及
Figure BDA00034876709400000314
特征拼接后经过一次卷积得到
Figure BDA00034876709400000315
将
Figure BDA00034876709400000316
Figure BDA00034876709400000317
特征拼接后经过一次卷积得到
Figure BDA00034876709400000318
Figure BDA00034876709400000319
及
Figure BDA00034876709400000320
特征拼接后经过一次卷积得到
Figure BDA00034876709400000321
将
Figure BDA00034876709400000322
经过特征拼接后经过一次卷积得到
Figure BDA00034876709400000323
采用大小为1×1×C的模板对输出
Figure BDA00034876709400000324
卷积，调整输出特 征图的通道数量，其中C为待检测电气设备种类数。
进一步地，所述RGB-T图像，包括：
采用的红外热像仪，同时采集场景的RGB图像和T图像；且所述RGB-T 图像中的RGB图像和T图像大小一致、场景一致。
进一步地，本发明实施例提供的一种基于RGB-T多尺度特征融合的电气 设备故障检测方法，还包括：
当所述RGB-T图像中的RGB图像和T图像的大小不一致时，对RGB图 像进行下采样，使采样后的RGB图像与T图像大小及分辨率一致；
当所述RGB-T图像中的RGB图像和T图像的场景不一致时，对RGB图 像和T图像做配准，使RGB图像和T图像的像素点与场景一一对应。
进一步地，所述根据损失函数，通过标签样本对图像目标分割模型的输出 进行深度监督训练，具体包括：
根据损失函数，通过标签样本对4路输出
Figure BDA00034876709400000325
分别进行深度监督 训练，得到图像目标分割模型参数；且，在
Figure BDA00034876709400000326
的输出上附带C核的 1×1卷积和sigmoid激活函数，C为数据集中总样本标签的类别数。
进一步地，所述损失函数，定义如下：
Figure BDA0003487670940000041
其中，Lloss表示损失函数，其定义了像素级的交叉熵和Dice损失函数构成 的混合函数，k表示图像中第k个像素点，c表示分类，C为数据集中总样本标 签的类别数，N为图像像素点的个数，
Figure BDA0003487670940000042
为真值标签，表示是否分类正确，其 值为0或者1，
Figure BDA0003487670940000043
表示图像中第k个像素点分为c类的预测概率。
进一步地，所述标签样本，其制作步骤包括：
对RGB-T图像中的RGB图像和T图像样本分别通过手动制作待检测电气 设备的标签，构成RGB标签样本和T标签样本；其中，RGB标签样本包括 RGB图像及其标签图像，T标签样本包括T图像及其标签图像。
进一步地，所述将待检测RGB-T图像输入训练后的图像目标分割模型中， 分割识别出待检测电气设备，具体包括：
将RGB-T图像中的RGB图像和T图像分别输入到图像目标分割模型中的 RGB通道特征提取模块和T通道特征提取模块中，并根据训练后的图像目标 分割模型融合RGB图像和T图像的特征，在T图像中分割、识别并标记出待 检测电气设备区域。
进一步地，所述T图像的温度值，其获取步骤包括：
根据利用红外热图像的颜色条提供的颜色及温度映射关系，获取红外热图 像各像素点对应的温度值。
进一步地，所述颜色及温度映射关系，其确定步骤包括：
将红外热图像转换为灰度图像，利用已训练好的字符识别模型自动识别红 外热图像中的颜色条对应的最高温度Tmax和最低温度值Tmin；
根据下述公式计算每一个电气设备区域颜色对应的温度值T；
Figure BDA0003487670940000044
其中，gray为当前像素点对应的灰度值。
本发明实施例提供的上述基于RGB-T多尺度特征融合的电气设备故障检 测方法，与现有技术相比，其有益效果如下：
(1)本发明实施例利用红外热像仪同时拍摄可见光RGB图像和红外热图 像(T图像)，构建RGB-T图像对，并对RGB-T图像进行多尺度信息挖掘及 交叉融合，为复杂环境下电气设备目标分割提供准确的数据源。
(2)通过构建RGB-T多尺度特征提取深度卷积神经网络模型，利用样本 标签深度监督训练模型，可以同时准确分割及识别复杂背景下红外热图像中的 各种电气设备，如绝缘子，连接头、电压互感器和电流互感器是否存在过热现 象，提高对电气设备故障检测的准确性和检测效率。
附图说明
图1为一个实施例中提供的RGB-T多尺度特征融合深度卷积神经网络目 标分割模型；
图2为一个实施例中提供的多尺度特征提取模型；
图3是一个实施例中提供的红外热像仪拍摄的RGB-T图像；
图4是一个实施例中提供的电气设备分割及识别结果图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅 用以解释本申请，并不用于限定本申请。
一个实施例中，提供的一种基于RGB-T多尺度特征融合的电气设备故障 检测方法，该方法包括：
S1、红外热相仪采集复杂环境下包含待检测电气设备的的可见光RGB图 像，简称RGB图像，和红外热图像(Thermal图像)，简称T图像，RGB图像 和Thermal图像和场景一一对应，构成RGB-T图像。
S2、对RGB图像和T图像分别进行多尺度特征提取、构建RGB-T多尺度 特征提及信息交叉融合深度卷积神经网络目标分割模型。
S3、对RGB和T图像制作待检测电气设备的标签样本，定义损失函数， 利用标签样本对S2构建深度卷积神经网络模型进行深度监督训练模型。
S4、将需要检测的RGB-T图像输入S2构建的模型中，根据S3训练的模 型参数分割并识别红外热图像(T图像)中需要检测的电气设备。
S5、利用红外热图像的颜色条提供的颜色及温度映射关系，计算红外热图 像各像素点对应的温度值，根据红外热图像的温度值及不同电气设备过热检测 标准检测电气设备是否存在过热现象。
上述步骤S1的实现方法包括以下步骤：
采用红外热像仪能够同时采集场景的RGB图像和T图像，且RGB和T 图像的大小完全一样，RGB和T图像与场景一一对应，若大小不一致，可对 RGB图像进行下采样，使采样后的RGB图像与T图像大小及分辨率保持一致， 若RGB和T图像与场景不完全一一对应，需要对RGB和T图像做配准，使 RGB和T图像的像素点与场景一一对应。
本例实施中，采用手持式红外热像仪拍摄变电站及高压输变电线路上需要 检测的电气设备，采集的RGB-T图像大小均为320×240，RGB图像和T图像 一一对应，没有做配准和其他变换。
结合图1及图2，上述步骤S2的实现方法包括以下步骤：
RGB-T图像构成了6通道图像，RGB和T图像分别为三通道图像，RGB 和T图像可以作为独立图像，也可以构成图像对，对RGB-T6通道图像提取不 同尺度的特征，并将不同尺度的特征交叉融合来分割及识别T图像中的电气设 备，构建RGB-T多尺度特征提及信息融合深度卷积神经网络模型包括如下：
步骤S21，对采集的RGB-T图像进行边缘填充，使RGB和T图像的高和 宽均为512，即可见光和红外热图像大小为512×512×3，对输入T图像样本， 用3×3×64的模板对样本进行卷积，即模板的大小为3×3，卷积核个数为64， 得到512×512×64特征图
Figure BDA00034876709400000729
用大小为2×2步长为1的模板对
Figure BDA0003487670940000071
最大池化操 作后用3×3×128模板对其卷积，输出256×256×128特征图
Figure BDA0003487670940000072
用大小为2×2 步长为1的模板对
Figure BDA0003487670940000073
进行最大池化后用3×3×256模板对其卷积，输出 128×128×256特征图
Figure BDA0003487670940000074
用模板大小为2×2步长为1的模板对
Figure BDA0003487670940000075
进行最大 池化操作后用3×3×512的卷积模板对其卷积，输出64×64×512的特征图
Figure BDA0003487670940000076
用大小为2×2步长为1的模板对
Figure BDA0003487670940000077
嘴啊池化后用3×3×1024模板对其卷积， 输出32×32×1024的特征图
Figure BDA0003487670940000078
对RGB可见光样本图像，用3×3×64的模板 对样本进行卷积，模板的大小为3×3，卷积核个数为64，输出512×512×64特 征图
Figure BDA0003487670940000079
用模板大小为2×2步长为1的模板对
Figure BDA00034876709400000710
进行最大池化后用 3×3×128模板对其卷积，输出256×256×128特征图
Figure BDA00034876709400000711
对用模板大小为2×2 步长为1的模板
Figure BDA00034876709400000712
进行最大池化后用3×3×256模板对其卷积，输出 128×128×256特征图
Figure BDA00034876709400000713
用模板大小为2×2步长为1的模板对
Figure BDA00034876709400000714
进行最大 池化后用3×3×512的卷积模板对其卷积，输出特征64×64×512的特征图
Figure BDA00034876709400000715
步骤S22，对大小为32×32×1024的特征图
Figure BDA00034876709400000716
进行一次上采样后得到 64×64×1024特征图，用3×3×512的模板对上采样的结果进行卷积，得到大小 为64×64×512的特征图
Figure BDA00034876709400000717
将大小为64×64×512的特征图
Figure BDA00034876709400000718
及
Figure BDA00034876709400000719
与
Figure BDA00034876709400000720
进行特征拼接得到大小为64×64×1536的特征图，用3×3×512模板对该特征图 进行卷积得到
Figure BDA00034876709400000721
步骤S23，对大小为64×64×512的特征图
Figure BDA00034876709400000722
和
Figure BDA00034876709400000723
均进行上采样，得到大 小为128×128×512的特征图，采样后用3×3×256的模板对其卷积，输出大小为 128×128×256的特征图
Figure BDA00034876709400000724
对大小为128×128×256特征图
Figure BDA00034876709400000725
Figure BDA00034876709400000726
进行特征拼接，得到大小为128×128×768特征图，再用3×3×256的模板 对拼接后的特征图卷积，得到大小为128×128×256特征图
Figure BDA00034876709400000727
将大小为大小 为128×128×256特征图
Figure BDA00034876709400000728
进行特征拼接得到大小为 128×128×1024的特征图，用3×3×256的模板对大小为128×128×1024的特征图 进行卷积，得到大小为128×128×256特征图
Figure BDA0003487670940000081
步骤S24，对大小为128×128×256的特征图
Figure BDA0003487670940000082
都经过一次上 采用后大小为256×256×256，采样后用大小为3×3×128的模板卷积输出大小为 256×256×128的特征图
Figure BDA0003487670940000083
对大小为256×256×128的特征图
Figure BDA0003487670940000084
Figure BDA0003487670940000085
的进行特征拼接输出256×256×384特征图，对该特征图用3×3×128 的模板卷积，输出大小为256×256×128的特征图
Figure BDA0003487670940000086
大小为256×256×128的
Figure BDA0003487670940000087
特征图进行特征拼接得到大小为256×256×512，再对 256×256×512的特征图用3×3×128的模板卷积，得到大小为256×256×128的特 征图
Figure BDA0003487670940000088
将大小为256×256×128的特征图
Figure BDA0003487670940000089
及
Figure BDA00034876709400000810
特征 拼接后输出大小为256×256×640的特征图，再用3×3×128的模板对其卷积得到 大小为256×256×128的特征图
Figure BDA00034876709400000811
步骤S25，对大小为256×256×128的特征图
Figure BDA00034876709400000812
均经过 一次上采样后大小为512×512×128，用大小为3×3×64的模板对采样的结果卷 积，输出大小为512×512×64的特征图
Figure BDA00034876709400000813
将大小为 512×512×64的特征图
Figure BDA00034876709400000814
及
Figure BDA00034876709400000815
经过特征拼接后大小得到大小为 512×512×192的特征图，再用3×3×64模板对其卷积，输出大小为512×512×64 的特征图
Figure BDA00034876709400000816
对大小为512×512×64的特征图
Figure BDA00034876709400000817
特征拼 接得到大小为512×512×256的特征图，再用3×3×64的模板卷积对其卷积，输 出大小为512×512×64的特征图
Figure BDA00034876709400000818
对大小为512×512×64的特征图
Figure BDA00034876709400000819
Figure BDA00034876709400000820
及
Figure BDA00034876709400000821
特征拼接得到大小为512×512×320的特征图，再用3×3×64的 模板卷积，输出大小为512×512×64的特征图
Figure BDA00034876709400000822
对大小为512×512×64的特 征图
Figure BDA00034876709400000823
经过特征拼接后得到大小为512×512×384 特征图，再用3×3×64的模板卷积，输出大小为512×512×64的特征图
Figure BDA00034876709400000824
步骤S26，用1×1×C的模板对大小为512×512×64的特征图
Figure BDA00034876709400000825
Figure BDA00034876709400000826
分别卷积，输出大小为512×512×C的特征图，其中C表示样本中总的分类 数，本例实施中C＝2。
需要说明的是，本发明实施例中在构建图像目标分割模型时，将红外热像 仪采集的可见光和红外热图像构造成配对的RGB-T 6通道图像，对RGB和T 图像进行不同尺度特征交叉融合，充分利用RGB图像中的纹理和边缘特征， 从而准确分割出红外热图像中的目标区域；然而，现有技术中涉及的不同尺度 特征融合技术时，其融合的图像特征通常是某一类型的图像，如只是RGB图 像的多尺度特征，并没有将RGB和T图像的特征交叉融合，因此无法准确分 割及识别复杂环境下获取的红外热图像中的目标。显然，本发明实施例提供的融合方式能够充分挖掘RGB和T图像中的不同尺度的高级特征，从而使构建 的模型能够更为准确的分割出目标。
结合图3，上述步骤S3的实现方法包括以下步骤：
准备样本集，本例实施中所采用的样本数量为3000对RGB-T图像，即 RGB样本图像和T样本图像各3000张，70％的样本用来训练步骤S2构建的模 型参数，30％的样本用来对模型做验证集和测试集，对训练样本图像制作标签， 分别对RGB和T样本图像中需要检测的电气设备制作标签，根据标签图像对 步骤S2中构建的模型进行深度监督训练，本例实施中用vgg16模型分别提取 RGB和T图像的多尺度特征
Figure BDA0003487670940000091
RGB和T图像及相 应的标签图像分别输入到RGB和T通道特征提取网络，根据公式(1)定义的 损失函数对S26输出
Figure BDA0003487670940000092
的卷积结果分别进行训练，从而得 到整个模型的参数。用15％的样本集做验证集，微调网络参数，剩下的15％做 测试集，测试网络的性能。上述公式(1)损失函数定义如下：
Figure BDA0003487670940000093
其中，Lloss表示损失函数，其定义了像素级的交叉熵和Dice损失函数构 成的混合函数，k表示图像中第k个像素点，c表示分类，C为数据集中总样本 标签的类别数，N为图像像素点的个数，
Figure BDA0003487670940000101
为真值标签，表示是否分类正确， 其值为0或者1，
Figure BDA0003487670940000102
表示图像中第k个像素点分为c类的预测概率。
上述步骤S4的实现方法包括以下步骤：
本例实施中，RGB-T图像分为RGB图像和T图像分别作为S2构建的模 型输入，RGB图像和T图像分别输入到RGB特征提取模块和T通道提取模块， 根据S3中训练好的模型融合RGB图像和T图像的特征，在T图像中分割和 识别并标记出需要检测的电气设备区域。
上述步骤S5的实现方法包括以下步骤：
将T图像转换为灰度图像，利用已训练好的字符识别模型VCR自动识别 红外热图像中的颜色条对应的最高温度Tmax和最低温度值Tmin，根据公式(2) 计算每一个电气设备区域颜色对应的温度值T：
Figure BDA0003487670940000103
其中，gray为当前像素点对应的灰度值。
根据DLT 664-2016带电设备红外诊断应用规范，对不同的电气设备根据 热点温度值判断电气设备的故障状态。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改 进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权 利要求为准。

Claims (9)

1.一种基于RGB-T多尺度特征融合的电气部件电气设备故障检测方法，其特征在于，包括：
获取电气设备的可见光RGB图像、和与可见光RGB图像对应的红外热T图像，并将RGB图像和对应的T图像构成RGB-T图像；
基于深度卷积神经网络，构建图像目标分割模型；
对RGB图像和T图像制作待检测电气设备的标签样本；定义损失函数，根据损失函数，通过标签样本对图像目标分割模型进行深度监督训练；
将待检测RGB-T图像输入训练后的图像目标分割模型中，分割识别出待检测电气设备；
根据T图像的温度值和不同电气设备过热检测标准，检测电气设备是否存在过热现象；
其中，所述构建图像目标分割模型，包括：
将RGB-T图像构成6通道图像，其中，RGB图像和T图像分别为3通道图像；
对T图像进行5次卷积及4次下采样表示为
Figure FDA0003487670930000011
i表示第i次卷积；对RGB图像进行4次卷积和3次下采样表示为
Figure FDA0003487670930000012
j表示第j次卷积，当i＝j时，
Figure FDA0003487670930000013
与
Figure FDA0003487670930000014
所包含特征图数量和大小相同；
对
Figure FDA0003487670930000015
经过一次上采样和一次卷积后得到
Figure FDA0003487670930000016
将
Figure FDA0003487670930000017
经过特征拼接及一次卷积后得到
Figure FDA0003487670930000018
Figure FDA0003487670930000019
都一次上采样和一次卷积后分别得到
Figure FDA00034876709300000110
将
Figure FDA00034876709300000111
Figure FDA00034876709300000112
经过特征拼接及一次卷积后得到
Figure FDA00034876709300000113
Figure FDA00034876709300000114
经过特征拼接及一次卷积后得到
Figure FDA00034876709300000115
Figure FDA00034876709300000116
都经过一次上采样及一次卷积后分别得到
Figure FDA00034876709300000117
Figure FDA00034876709300000118
经过特征拼接及一次卷积得到
Figure FDA00034876709300000119
Figure FDA00034876709300000120
特征拼接后经过一次卷积得到
Figure FDA0003487670930000021
将
Figure FDA0003487670930000022
及
Figure FDA0003487670930000023
特征拼接后经过一次卷积得到
Figure FDA0003487670930000024
对
Figure FDA0003487670930000025
分别经过一次上采样和一次卷积后得到
Figure FDA0003487670930000026
Figure FDA0003487670930000027
将
Figure FDA0003487670930000028
及
Figure FDA0003487670930000029
特征拼接后经过一次卷积得到
Figure FDA00034876709300000210
将
Figure FDA00034876709300000211
Figure FDA00034876709300000212
特征拼接后经过一次卷积得到
Figure FDA00034876709300000213
Figure FDA00034876709300000214
及
Figure FDA00034876709300000215
特征拼接后经过一次卷积得到
Figure FDA00034876709300000216
将
Figure FDA00034876709300000217
经过特征拼接后经过一次卷积得到
Figure FDA00034876709300000218
采用大小为1×1×C的模板对输出
Figure FDA00034876709300000219
Figure FDA00034876709300000220
卷积，调整输出特征图的通道数量，其中C为待检测电气设备种类数。
2.如权利要求1所述的基于RGB-T多尺度特征融合的电气设备故障检测方法，其特征在于，所述RGB-T图像，包括：
采用的红外热像仪，同时采集场景的RGB图像和T图像；且所述RGB-T图像中的RGB图像和T图像大小一致、场景一致。
3.如权利要求2所述的基于RGB-T多尺度特征融合的电气设备故障检测方法，其特征在于，还包括：
当所述RGB-T图像中的RGB图像和T图像的大小不一致时，对RGB图像进行下采样，使采样后的RGB图像与T图像大小及分辨率一致；
当所述RGB-T图像中的RGB图像和T图像的场景不一致时，对RGB图像和T图像做配准，使RGB图像和T图像的像素点与场景一一对应。
4.如权利要求1所述的基于RGB-T多尺度特征融合的电气设备故障检测方法，其特征在于，所述根据损失函数，通过标签样本对图像目标分割模型的进行深度监督训练，具体包括：
根据损失函数，通过标签样本对4路输出
Figure FDA00034876709300000221
分别进行深度监督训练，得到图像目标分割模型参数；且，在
Figure FDA00034876709300000222
的输出上附带C核的1×1卷积和sigmoid激活函数，C为数据集中总样本标签的类别数。
5.如权利要求4所述的基于RGB-T多尺度特征融合的电气设备故障检测方法，其特征在于，所述损失函数，定义如下：
Figure FDA0003487670930000031
其中，Lloss表示损失函数，其定义了像素级的交叉熵和Dice损失函数构成的混合函数，k表示图像中第k个像素点，c表示分类，C为数据集中总样本标签的类别数，N为图像像素点的个数，
Figure FDA0003487670930000032
为真值标签，表示是否分类正确，其值为0或者1，
Figure FDA0003487670930000033
表示图像中第k个像素点分为c类的预测概率。
6.如权利要求4所述的基于RGB-T多尺度特征融合的电气设备故障检测方法，其特征在于，所述标签样本，其制作步骤包括：
对RGB-T图像中的RGB图像和T图像样本分别通过手动制作待检测电气设备的标签，构成RGB标签样本和T标签样本；其中，RGB标签样本包括RGB图像及其标签图像，T标签样本包括T图像及其标签图像。
7.如权利要求1所述的基于RGB-T多尺度特征融合的电气设备故障检测方法，其特征在于，所述将待检测RGB-T图像输入训练后的图像目标分割模型中，分割识别出待检测电气设备，具体包括：
将RGB-T图像中的RGB图像和T图像分别输入到图像目标分割模型中的RGB通道特征提取模块和T通道特征提取模块中，并根据训练后的图像目标分割模型融合RGB图像和T图像的特征，在T图像中分割、识别并标记出待检测电气设备区域。
8.如权利要求1所述的基于RGB-T多尺度特征融合的电气设备故障检测方法，其特征在于，所述T图像的温度值，其获取步骤包括：
根据利用红外热图像的颜色条提供的颜色及温度映射关系，获取红外热图像各像素点对应的温度值。
9.如权利要求8所述的基于RGB-T多尺度特征融合的电气设备故障检测方法，其特征在于，所述颜色及温度映射关系，其确定步骤包括：
将红外热图像转换为灰度图像，利用已训练好的字符识别模型自动识别红外热图像中的颜色条对应的最高温度Tmax和最低温度值Tmin；
根据下述公式计算每一个电气设备区域颜色对应的温度值T；
Figure FDA0003487670930000041
其中，gray为当前红外热图像的灰度图像的灰度值。
CN202210085659.6A 2022-01-25 2022-01-25 一种基于rgb-t多尺度特征融合的电气设备故障检测方法 Active CN114494185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210085659.6A CN114494185B (zh) 2022-01-25 2022-01-25 一种基于rgb-t多尺度特征融合的电气设备故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210085659.6A CN114494185B (zh) 2022-01-25 2022-01-25 一种基于rgb-t多尺度特征融合的电气设备故障检测方法

Publications (2)

Publication Number Publication Date
CN114494185A true CN114494185A (zh) 2022-05-13
CN114494185B CN114494185B (zh) 2022-09-30

Family

ID=81474930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210085659.6A Active CN114494185B (zh) 2022-01-25 2022-01-25 一种基于rgb-t多尺度特征融合的电气设备故障检测方法

Country Status (1)

Country Link
CN (1) CN114494185B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114724041A (zh) * 2022-06-02 2022-07-08 浙江天铂云科光电股份有限公司 基于深度学习的电力设备红外热图的识别方法及系统
CN115656701A (zh) * 2022-12-12 2023-01-31 广东电网有限责任公司佛山供电局 一种基于红外图像的电容器发热故障识别方法及装置
CN116930262A (zh) * 2023-09-15 2023-10-24 佰聆数据股份有限公司 基于多端交互实现电力设备的缺陷检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949316A (zh) * 2019-03-01 2019-06-28 东南大学 一种基于rgb-t融合的电网设备图像弱监督实例分割方法
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
CN111209810A (zh) * 2018-12-26 2020-05-29 浙江大学 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
CN111915619A (zh) * 2020-06-05 2020-11-10 华南理工大学 一种双特征提取与融合的全卷积网络语义分割方法
CN113850825A (zh) * 2021-09-27 2021-12-28 太原理工大学 基于上下文信息和多尺度特征融合的遥感图像道路分割方法
CN113887459A (zh) * 2021-10-12 2022-01-04 中国矿业大学(北京) 一种基于改进Unet++的露天矿区采场变化区域检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
CN111209810A (zh) * 2018-12-26 2020-05-29 浙江大学 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
CN109949316A (zh) * 2019-03-01 2019-06-28 东南大学 一种基于rgb-t融合的电网设备图像弱监督实例分割方法
CN111915619A (zh) * 2020-06-05 2020-11-10 华南理工大学 一种双特征提取与融合的全卷积网络语义分割方法
CN113850825A (zh) * 2021-09-27 2021-12-28 太原理工大学 基于上下文信息和多尺度特征融合的遥感图像道路分割方法
CN113887459A (zh) * 2021-10-12 2022-01-04 中国矿业大学(北京) 一种基于改进Unet++的露天矿区采场变化区域检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHREYAS S. SHIVAKUMAR ET AL.: "PST900: RGB-Thermal Calibration, Dataset and Segmentation Network", 《ARXIV》 *
ZONGWEI ZHOU ET AL.: "UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation", 《IEEE》 *
孔琛 等: "线性灰度变换算法在红外测温系统中应用", 《红外技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114724041A (zh) * 2022-06-02 2022-07-08 浙江天铂云科光电股份有限公司 基于深度学习的电力设备红外热图的识别方法及系统
CN115656701A (zh) * 2022-12-12 2023-01-31 广东电网有限责任公司佛山供电局 一种基于红外图像的电容器发热故障识别方法及装置
CN116930262A (zh) * 2023-09-15 2023-10-24 佰聆数据股份有限公司 基于多端交互实现电力设备的缺陷检测方法及系统
CN116930262B (zh) * 2023-09-15 2023-11-28 佰聆数据股份有限公司 基于多端交互实现电力设备的缺陷检测方法及系统

Also Published As

Publication number Publication date
CN114494185B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN114494185B (zh) 一种基于rgb-t多尺度特征融合的电气设备故障检测方法
CN110598736B (zh) 一种电力设备红外图像故障定位、识别与预测方法
Wang et al. Automatic fault diagnosis of infrared insulator images based on image instance segmentation and temperature analysis
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN108564565A (zh) 一种基于深度学习的电力设备红外图像多目标定位方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN106951863B (zh) 一种基于随机森林的变电站设备红外图像变化检测方法
CN110736748A (zh) 免疫组化核浆染色切片诊断方法及系统
CN110307903B (zh) 一种家禽特定部位无接触温度动态测量的方法
CN114882039B (zh) 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法
CN113255590A (zh) 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统
CN114580515A (zh) 用于半导体脱焊智能检测的神经网络训练方法
CN113344475A (zh) 基于序列模态分解的变压器套管缺陷识别方法及系统
CN116310274A (zh) 一种输变电设备的状态评估方法
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
Yu et al. Design of the transmission line inspection system based on UAV
CN111027565A (zh) 一种光学视觉语义提取的输变电设备报告内容生成方法
CN113191362B (zh) 一种变电设备油渗漏缺陷检测装置及方法
CN112419243B (zh) 一种基于红外图像分析的配电房设备故障识别方法
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN111931721B (zh) 年检标签颜色和个数的检测方法、装置及电子设备
CN116704526B (zh) 工尺谱扫描机器人及其方法
CN117670820A (zh) 一种塑料薄膜生产缺陷检测方法及系统
CN112465797A (zh) 一种电缆终端热状态智能诊断方法及系统
CN111830051A (zh) 一种基于深度学习的变电站设备漏油检测方法及检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant