CN114757938B - 一种变压器漏油识别方法和系统 - Google Patents

一种变压器漏油识别方法和系统 Download PDF

Info

Publication number
CN114757938B
CN114757938B CN202210526335.1A CN202210526335A CN114757938B CN 114757938 B CN114757938 B CN 114757938B CN 202210526335 A CN202210526335 A CN 202210526335A CN 114757938 B CN114757938 B CN 114757938B
Authority
CN
China
Prior art keywords
module
residual error
error network
network module
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210526335.1A
Other languages
English (en)
Other versions
CN114757938A (zh
Inventor
李旭旭
刘小江
何伟
杨晓梅
肖云
张垚
张文海
胡循勇
肖先勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Original Assignee
Sichuan University
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University, Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd filed Critical Sichuan University
Priority to CN202210526335.1A priority Critical patent/CN114757938B/zh
Publication of CN114757938A publication Critical patent/CN114757938A/zh
Application granted granted Critical
Publication of CN114757938B publication Critical patent/CN114757938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种变压器漏油识别方法和系统，该方法包括获取变压器漏油图像，构建基于融合注意力机制的残差U‑Net深度学习网络模型，并进行模型训练，利用训练后的基于融合注意力机制的残差U‑Net深度学习网络模型对获取的变压器漏油图像进行识别，得到漏油区域的分割结果。本发明通过引入一种自注意力机制来促进全局特征融合，加强像素特征间的语义关联，减少细节信息丢失，提升了分类准确率；然后采用ResNet18网络来代替传统U‑Net网络的编码器部分，并利用在ImageNet数据集上预训练得到的ResNet18权重进行模型参数的初始化，提升了模型的训练与检测效率；最后采用焦点损失Focal Loss函数作为改进网络的损失函数，解决漏油图像中前景与背景正负样本不平衡的问题。

Description

一种变压器漏油识别方法和系统
技术领域
本发明涉及图像识别技术领域，具体涉及一种变压器漏油识别方法和系统。
背景技术
传统的漏油检测方法大多采用基于光学、声学、红外等探测技术。其中光学和声学方法的检测效果易受光线变化、环境噪声等因素影响，从而影响探测准确性。而红外热成像检测设备造价昂贵，成本较高，大规模使用经济性较差。而基于图像处理的传统方法则存在图像纹理等细节识别不足、复杂背景图像识别精度和效率较低、泛化能力较差，存在误分割等问题。
发明内容
针对现有技术中的上述不足，本发明提供了一种变压器漏油识别方法和系统。
为了达到上述发明目的，本发明采用的技术方案为：
第一方面，本发明提出了一种变压器漏油识别方法，包括以下步骤：
S1、获取变压器漏油图像；
S2、构建基于融合注意力机制的残差U-Net深度学习网络模型，并进行模型训练；
S3、利用训练后的基于融合注意力机制的残差U-Net深度学习网络模型对获取的变压器漏油图像进行识别，得到漏油区域的分割结果。
可选地，步骤S2中构建的基于融合注意力机制的残差U-Net深度学习网络模型包括：
编码器、解码器和在每一层编码器与解码器之间融合注意力机制的跳跃连接；
所述编码器包括多层结构相同的残差网络模块，相邻的两个残差网络模块的输入特征和输出特征之间通过最大池化层连接，且输出特征与输出特征之间通过残差连接；
所述解码器包括多层结构相同的卷积模块，相邻的两个卷积模块的输入特征和输出特征之间通过上采样操作连接；
其中同一层的残差网络模块与卷积模块之间通过自注意力机制模块将残差网络模块输出的编码特征与卷积模块经过上采样操作后的解码特征进行融合，得到注意力系数，再通过跳跃连接将残差网络模块输出的编码特征与注意力系数进行拼接，得到下一层卷积模块的输入特征。
可选地，所述编码器具体包括：
第一残差网络模块、第二残差网络模块、第三残差网络模块、第四残差网络模块和第五残差网络模块；
所述第一残差网络模块的输出特征通过最大池化层处理后作为第二残差网络模块的输入特征，且通过残差模块将第一残差网络模块的输出特征与第二残差网络模块的输出特征进行连接；
所述第二残差网络模块的输出特征通过最大池化层处理后作为第三残差网络模块的输入特征，且通过残差模块将第二残差网络模块的输出特征与第三残差网络模块的输出特征进行连接；
所述第三残差网络模块的输出特征通过最大池化层处理后作为第四残差网络模块的输入特征，且通过残差模块将第三残差网络模块的输出特征与第四残差网络模块的输出特征进行连接；
所述第四残差网络模块的输出特征通过最大池化层处理后作为第五残差网络模块的输入特征，且通过残差模块将第四残差网络模块的输出特征与第五残差网络模块的输出特征进行连接。
可选地，所述解码器具体包括：
第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块；
所述第一卷积模块通过自注意力机制模块将第四残差网络模块输出的编码特征与第五残差网络模块的解码特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第四残差网络模块输出的编码特征与注意力系数进行拼接，得到第二卷积模块的输入特征；
所述第二卷积模块通过自注意力机制模块将第三残差网络模块输出的编码特征与第一卷积模块的输出特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第三残差网络模块输出的编码特征与注意力系数进行拼接，得到第二卷积模块的输入特征；
所述第三卷积模块通过自注意力机制模块将第二残差网络模块输出的编码特征与第二卷积模块的输出特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第二残差网络模块输出的编码特征与注意力系数进行拼接，得到第三卷积模块的输入特征；
所述第四卷积模块通过自注意力机制模块将第一残差网络模块输出的编码特征与第三卷积模块的输出特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第一残差网络模块输出的编码特征与注意力系数进行拼接，得到第四卷积模块的输入特征。
可选地，所述自注意力机制模块具体包括：
将编码特征和上采样操作后的解码特征分别进行卷积运算后相加，再通过ReLU激活函数进行激活；然后将融合后的特征再次进行卷积运算后经过Sigmoid激活函数进行激活，得到注意力系数。
可选地，步骤S2中对构建的基于融合注意力机制的残差U-Net深度学习网络模型进行模型训练具体包括：
将获取的漏油图像数据集划分为训练集、验证集和测试集，并对训练集进行标注生成标注集；
利用ImageNet数据集预训练模型的编码器中各个残差网络模块，得到各个残差网络模块的网络权重；
利用标注集、验证集和得到的各个残差网络模块的网络权重，采用随机梯度下降法对基于融合注意力机制的残差U-Net深度学习网络模型进行优化修正训练；
根据设定的损失函数确定停止训练条件，当达到停止训练条件时输出模型的权重集合。
可选地，步骤S2中进行模型训练时，具体采用焦点损失函数。
第二方面，本发明提出了一种变压器漏油识别系统，包括：
图像采集模块，用于获取变压器漏油图像；
模型训练模块，用于构建基于融合注意力机制的残差U-Net深度学习网络模型，并进行模型训练；
图像识别模块，用于利用训练后的基于融合注意力机制的残差U-Net深度学习网络模型对获取的变压器漏油图像进行识别，得到漏油区域的分割结果。
本发明具有以下有益效果：
本发明首先针对变压器漏油图像部分荧光油迹相对尺度较小，不易识别的问题，引入一种自注意力机制来促进全局特征融合，加强像素特征间的语义关联，减少细节信息丢失，提升了分类准确率。然后采用ResNet18网络来代替传统U-Net网络的编码器部分，并利用在ImageNet数据集上预训练得到的ResNet18权重进行模型参数的初始化，提升了模型的训练与检测效率。最后采用焦点损失Focal Loss函数作为改进网络的损失函数，解决漏油图像中前景与背景正负样本不平衡的问题。
附图说明
图1为本发明实施例中一种变压器漏油识别方法的流程示意图；
图2为本发明实施例中构建的基于融合注意力机制的残差U-Net深度学习网络模型的结构示意图；
图3为本发明实施例中自注意力机制模块的结构示意图；
图4为本发明实施例中一种变压器漏油识别系统的结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例1
如图1所示，本发明实施例提供了一种变压器漏油识别方法，包括以下步骤S1至S3：
S1、获取变压器漏油图像；
在本实施例中，本发明利用电力变压器中绝缘油在紫外光照射下所具有的荧光反应的特点，通过硬件设备采集黑暗环境下经过紫外灯照射的的变压器荧光图像，然后利用基于融合注意力机制的残差U-Net深度学习网络模型对上述图像进行识别，从而自动地检测处变压器漏油区域。
其中硬件装置利用变压器油在紫外光照射下所具有的荧光反应，将紫外光源发生器和数码相机集成在采集装置中，并通过控制单位实现对紫外光源和相机的开关控制和操作。
S2、构建基于融合注意力机制的残差U-Net深度学习网络模型，并进行模型训练；
在本实施例中，本发明通过融合注意力机制的残差U-Net深度学习网络模型进行漏油区域识别的。首先针对变压器漏油图像部分荧光油迹相对尺度较小，不易识别的问题，引入一种自注意力机制来促进全局特征融合，加强像素特征间的语义关联，减少细节信息丢失，提升了分类准确率。然后采用ResNet18网络来代替传统U-Net网络的编码器部分，并利用在ImageNet数据集上预训练得到的ResNet18权重进行模型参数的初始化，提升了模型的训练与检测效率。最后采用焦点损失Focal Loss函数作为改进网络的损失函数，解决漏油图像中前景与背景正负样本不平衡的问题。
本发明实施例构建的基于融合注意力机制的残差U-Net深度学习网络模型包括：
编码器、解码器和在每一层编码器与解码器之间融合注意力机制的跳跃连接；
所述编码器包括多层结构相同的残差网络模块，相邻的两个残差网络模块的输入特征和输出特征之间通过最大池化层连接，且输出特征与输出特征之间通过残差连接；
所述解码器包括多层结构相同的卷积模块，相邻的两个卷积模块的输入特征和输出特征之间通过上采样操作连接；
其中同一层的残差网络模块与卷积模块之间通过自注意力机制模块将残差网络模块输出的编码特征与卷积模块经过上采样操作后的解码特征进行融合，得到注意力系数，再通过跳跃连接将残差网络模块输出的编码特征与注意力系数进行拼接，得到下一层卷积模块的输入特征。
为实现渗漏油检测，本发明将在传统U-net网络架构的基础上，通过引入残差模块和注意力机制构建Resatt-Unet网络。该网络由编码器、解码器和跳跃连接的拓扑结构所构成，如图2所示。不同于传统的U-net网络，在Resatt-Unet网络左侧的编码器部分，每一层的卷积－池化阶段中引入了残差学习机制，利用ResNet残差网络模块替代基本的卷积模块，有助于网络捕捉更多漏油特征细节信息，使网络性能不会因为深度的增加而降低。在右侧的解码器部分，在每一层编-解码器之间的跳跃连接中加入了注意力机制，从而通过增大漏油区域像素的权重来增强模型对漏油像素的学习能力。
具体而言，本发明实施例中编码器具体包括：
第一残差网络模块、第二残差网络模块、第三残差网络模块、第四残差网络模块和第五残差网络模块；
所述第一残差网络模块的输出特征通过最大池化层处理后作为第二残差网络模块的输入特征，且通过残差模块将第一残差网络模块的输出特征与第二残差网络模块的输出特征进行连接；
所述第二残差网络模块的输出特征通过最大池化层处理后作为第三残差网络模块的输入特征，且通过残差模块将第二残差网络模块的输出特征与第三残差网络模块的输出特征进行连接；
所述第三残差网络模块的输出特征通过最大池化层处理后作为第四残差网络模块的输入特征，且通过残差模块将第三残差网络模块的输出特征与第四残差网络模块的输出特征进行连接；
所述第四残差网络模块的输出特征通过最大池化层处理后作为第五残差网络模块的输入特征，且通过残差模块将第四残差网络模块的输出特征与第五残差网络模块的输出特征进行连接。
本发明实施例中解码器具体包括：
第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块；
所述第一卷积模块通过自注意力机制模块将第四残差网络模块输出的编码特征与第五残差网络模块的解码特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第四残差网络模块输出的编码特征与注意力系数进行拼接，得到第二卷积模块的输入特征；
所述第二卷积模块通过自注意力机制模块将第三残差网络模块输出的编码特征与第一卷积模块的输出特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第三残差网络模块输出的编码特征与注意力系数进行拼接，得到第二卷积模块的输入特征；
所述第三卷积模块通过自注意力机制模块将第二残差网络模块输出的编码特征与第二卷积模块的输出特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第二残差网络模块输出的编码特征与注意力系数进行拼接，得到第三卷积模块的输入特征；
所述第四卷积模块通过自注意力机制模块将第一残差网络模块输出的编码特征与第三卷积模块的输出特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第一残差网络模块输出的编码特征与注意力系数进行拼接，得到第四卷积模块的输入特征。
本发明实施例中自注意力机制模块具体包括：
将编码特征和上采样操作后的解码特征分别进行卷积运算后相加，再通过ReLU激活函数进行激活；然后将融合后的特征再次进行卷积运算后经过Sigmoid激活函数进行激活，得到注意力系数。
本发明考虑到实际采集的变压器漏油荧光图像数据集较小，倘若采用深层次的残差网络模型，将使训练参数量剧增，导致网络训练困难且易产生过拟合现象；其次考虑到ResNet18在ImageNet数据集上有良好的表现，可以利用迁移学习策略，借用其预训练好的权重使网络快速地适应于漏油图像数据集。因此本发明将ResNet18应用于改进的U-Net网络编码器中实现图像的特征提取。为了适用于U-Net架构，本发明去除了原ResNet18网络中的全连接层，仅采用卷积层作为编码器部分，其中每个卷积层均采用3×3的卷积核，并采用ReLU作为激活函数。
由于传统U-Net网络采用的特征提取方法在下采样操作时，丢失的边界信息较多，且采用临近插值进行上采样，使得网络模型对于漏油目标边界部分的分割效果不佳。当使用该网络模型检测变压器漏油图像时，距离图像主体部分较远和面积较小的漏油区域容易被漏检或者误检，因此，为了突出显著漏油特征并抑制背景像素的干扰，聚焦局部漏油特征，从而提高模型的学习能力，本发明在解码器部分引入了自注意力机制来改善这一问题。
自注意力机制模块在编码过程中提取不同分辨率特征，调整后再赋以不同的权重，从而突出不同空间位置的重要特征，然后再将调整后的编码特征和对应的解码部分特征进行拼接，得到聚焦于漏油特征的输出，该模块的具体结构如图3所示。
自注意力机制模块有两个输入，分别为上采样解码特征g(Fg×Hg×Wg×Dg)通过跳跃连接传输的上采样编码特征xl(Fl×Hx×Wx×Dx)，其中两个输入具有相同的分辨率，具体流程如下：首先对两个输入进行1×1×1的卷积运算操作，得到Wg和Wx，然后将其相加再通过ReLU函数进行激活，其次将融合的特征再次进行1×1×1卷积运算，并经过激活函数Sigmoid(σ2)得到注意力系数α，表示为
其中，代表偏差项，ψ代表1×1×1大小的卷积核。最后把编码特征乘上求出的注意力系数α，即可得到最终的输出xl。
本发明实施例中对构建的基于融合注意力机制的残差U-Net深度学习网络模型进行模型训练具体包括：
将获取的漏油图像数据集划分为训练集、验证集和测试集，并对训练集进行标注生成标注集；
利用ImageNet数据集预训练模型的编码器中各个残差网络模块，得到各个残差网络模块的网络权重；
利用标注集、验证集和得到的各个残差网络模块的网络权重，采用随机梯度下降法对基于融合注意力机制的残差U-Net深度学习网络模型进行优化修正训练；
根据设定的损失函数确定停止训练条件，当达到停止训练条件时输出模型的权重集合。
具体而言，在实际拍摄的变压器漏油图像中，漏出的油迹分布并不均匀，形状不同，位置分布和大小也不同，严重影响了对于小样本和难分类漏油图像的油迹分割效果。为此，本文采用焦点损失(Focal Loss)函数作为网络训练的损失函数，为小样本或难分类样本分配更多的权重，从而加强对纠正错误分类示例的重视。
Focal Loss函数表示为
FL(pt)＝-αt(1-pt)γlog(pt)
其中γ为焦点参数，α∈[0,1]为加权因子，pt为估计概率，表示为
其中p∈[0,1]是y＝1这一正类样本的分类模型输出，y是对应的真实标签。
S3、利用训练后的基于融合注意力机制的残差U-Net深度学习网络模型对获取的变压器漏油图像进行识别，得到漏油区域的分割结果。
实施例2
如图4所示，本发明实施例提出了一种变压器漏油识别系统，包括：
图像采集模块，用于获取变压器漏油图像；
模型训练模块，用于构建基于融合注意力机制的残差U-Net深度学习网络模型，并进行模型训练；
图像识别模块，用于利用训练后的基于融合注意力机制的残差U-Net深度学习网络模型对获取的变压器漏油图像进行识别，得到漏油区域的分割结果。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.一种变压器漏油识别方法，其特征在于，包括以下步骤：
S1、获取变压器漏油图像；
S2、构建基于融合注意力机制的残差U-Net深度学习网络模型，并进行模型训练；其中构建的基于融合注意力机制的残差U-Net深度学习网络模型包括：
编码器、解码器和在每一层编码器与解码器之间融合注意力机制的跳跃连接；
所述编码器包括多层结构相同的残差网络模块，相邻的两个残差网络模块的输入特征和输出特征之间通过最大池化层连接，且输出特征与输出特征之间通过残差连接；
所述解码器包括多层结构相同的卷积模块，相邻的两个卷积模块的输入特征和输出特征之间通过上采样操作连接；
其中同一层的残差网络模块与卷积模块之间通过自注意力机制模块将残差网络模块输出的编码特征与卷积模块经过上采样操作后的解码特征进行融合，得到注意力系数，再通过跳跃连接将残差网络模块输出的编码特征与注意力系数进行拼接，得到下一层卷积模块的输入特征；
S3、利用训练后的基于融合注意力机制的残差U-Net深度学习网络模型对获取的变压器漏油图像进行识别，得到漏油区域的分割结果。
2.根据权利要求1所述的变压器漏油识别方法，其特征在于，所述编码器具体包括：
第一残差网络模块、第二残差网络模块、第三残差网络模块、第四残差网络模块和第五残差网络模块；
所述第一残差网络模块的输出特征通过最大池化层处理后作为第二残差网络模块的输入特征，且通过残差模块将第一残差网络模块的输出特征与第二残差网络模块的输出特征进行连接；
所述第二残差网络模块的输出特征通过最大池化层处理后作为第三残差网络模块的输入特征，且通过残差模块将第二残差网络模块的输出特征与第三残差网络模块的输出特征进行连接；
所述第三残差网络模块的输出特征通过最大池化层处理后作为第四残差网络模块的输入特征，且通过残差模块将第三残差网络模块的输出特征与第四残差网络模块的输出特征进行连接；
所述第四残差网络模块的输出特征通过最大池化层处理后作为第五残差网络模块的输入特征，且通过残差模块将第四残差网络模块的输出特征与第五残差网络模块的输出特征进行连接。
3.根据权利要求1所述的变压器漏油识别方法，其特征在于，所述解码器具体包括：
第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块；
所述第一卷积模块通过自注意力机制模块将第四残差网络模块输出的编码特征与第五残差网络模块的解码特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第四残差网络模块输出的编码特征与注意力系数进行拼接，得到第二卷积模块的输入特征；
所述第二卷积模块通过自注意力机制模块将第三残差网络模块输出的编码特征与第一卷积模块的输出特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第三残差网络模块输出的编码特征与注意力系数进行拼接，得到第二卷积模块的输入特征；
所述第三卷积模块通过自注意力机制模块将第二残差网络模块输出的编码特征与第二卷积模块的输出特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第二残差网络模块输出的编码特征与注意力系数进行拼接，得到第三卷积模块的输入特征；
所述第四卷积模块通过自注意力机制模块将第一残差网络模块输出的编码特征与第三卷积模块的输出特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第一残差网络模块输出的编码特征与注意力系数进行拼接，得到第四卷积模块的输入特征。
4.根据权利要求3所述的变压器漏油识别方法，其特征在于，所述自注意力机制模块具体包括：
将编码特征和上采样操作后的解码特征分别进行卷积运算后相加，再通过ReLU激活函数进行激活；然后将融合后的特征再次进行卷积运算后经过Sigmoid激活函数进行激活，得到注意力系数。
5.根据权利要求1所述的变压器漏油识别方法，其特征在于，步骤S2中对构建的基于融合注意力机制的残差U-Net深度学习网络模型进行模型训练具体包括：
将获取的漏油图像数据集划分为训练集、验证集和测试集，并对训练集进行标注生成标注集；
利用ImageNet数据集预训练模型的编码器中各个残差网络模块，得到各个残差网络模块的网络权重；
利用标注集、验证集和得到的各个残差网络模块的网络权重，采用随机梯度下降法对基于融合注意力机制的残差U-Net深度学习网络模型进行优化修正训练；
根据设定的损失函数确定停止训练条件，当达到停止训练条件时输出模型的权重集合。
6.根据权利要求5所述的变压器漏油识别方法，其特征在于，步骤S2中进行模型训练时，具体采用焦点损失函数。
7.一种应用权利要求1所述方法的变压器漏油识别系统，其特征在于，包括：
图像采集模块，用于获取变压器漏油图像；
模型训练模块，用于构建基于融合注意力机制的残差U-Net深度学习网络模型，并进行模型训练；
图像识别模块，用于利用训练后的基于融合注意力机制的残差U-Net深度学习网络模型对获取的变压器漏油图像进行识别，得到漏油区域的分割结果。
CN202210526335.1A 2022-05-16 2022-05-16 一种变压器漏油识别方法和系统 Active CN114757938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210526335.1A CN114757938B (zh) 2022-05-16 2022-05-16 一种变压器漏油识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210526335.1A CN114757938B (zh) 2022-05-16 2022-05-16 一种变压器漏油识别方法和系统

Publications (2)

Publication Number Publication Date
CN114757938A CN114757938A (zh) 2022-07-15
CN114757938B true CN114757938B (zh) 2023-09-15

Family

ID=82335007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210526335.1A Active CN114757938B (zh) 2022-05-16 2022-05-16 一种变压器漏油识别方法和系统

Country Status (1)

Country Link
CN (1) CN114757938B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205895B (zh) * 2023-03-16 2024-04-02 四川轻化工大学 一种基于改进YOLOv5的变压器漏油检测方法
CN116256720B (zh) * 2023-05-09 2023-10-13 武汉大学 基于三维探地雷达的地下目标探测方法、装置和电子设备
CN117557493A (zh) * 2023-08-30 2024-02-13 四川轻化工大学 一种变压器漏油检测方法、系统、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN111612790A (zh) * 2020-04-29 2020-09-01 杭州电子科技大学 一种基于t型注意力结构的医学图像分割方法
WO2020173329A1 (zh) * 2019-02-26 2020-09-03 腾讯科技（深圳）有限公司 一种图像融合的方法、模型训练的方法以及相关装置
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法
AU2020103715A4 (en) * 2020-11-27 2021-02-11 Beijing University Of Posts And Telecommunications Method of monocular depth estimation based on joint self-attention mechanism
WO2021067186A2 (en) * 2019-10-01 2021-04-08 Subtle Medical, Inc. Systems and methods of using self-attention deep learning for image enhancement
CN113393469A (zh) * 2021-07-09 2021-09-14 浙江工业大学 基于循环残差卷积神经网络的医学图像分割方法和装置
CN113569881A (zh) * 2020-04-28 2021-10-29 上海舜瞳科技有限公司 一种基于链式残差与注意力机制的自适应语义分割方法
CN113902757A (zh) * 2021-10-09 2022-01-07 天津大学 基于自注意力机制和卷积神经网络混合模型的血管分割方法
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN114037714A (zh) * 2021-11-02 2022-02-11 大连理工大学人工智能大连研究院 一种面向前列腺系统穿刺的3d mr与trus图像分割方法
CN114066866A (zh) * 2021-11-23 2022-02-18 湖南科技大学 一种基于深度学习的医学图像自动分割方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020173329A1 (zh) * 2019-02-26 2020-09-03 腾讯科技（深圳）有限公司 一种图像融合的方法、模型训练的方法以及相关装置
WO2021067186A2 (en) * 2019-10-01 2021-04-08 Subtle Medical, Inc. Systems and methods of using self-attention deep learning for image enhancement
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN113569881A (zh) * 2020-04-28 2021-10-29 上海舜瞳科技有限公司 一种基于链式残差与注意力机制的自适应语义分割方法
CN111612790A (zh) * 2020-04-29 2020-09-01 杭州电子科技大学 一种基于t型注意力结构的医学图像分割方法
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
AU2020103715A4 (en) * 2020-11-27 2021-02-11 Beijing University Of Posts And Telecommunications Method of monocular depth estimation based on joint self-attention mechanism
CN113393469A (zh) * 2021-07-09 2021-09-14 浙江工业大学 基于循环残差卷积神经网络的医学图像分割方法和装置
CN113902757A (zh) * 2021-10-09 2022-01-07 天津大学 基于自注意力机制和卷积神经网络混合模型的血管分割方法
CN114037714A (zh) * 2021-11-02 2022-02-11 大连理工大学人工智能大连研究院 一种面向前列腺系统穿刺的3d mr与trus图像分割方法
CN114066866A (zh) * 2021-11-23 2022-02-18 湖南科技大学 一种基于深度学习的医学图像自动分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于密集注意力网络的视网膜血管图像分割;梅旭璋;江红;孙军;;计算机工程(03);273-278+285 *
基于帧差检测技术与区域特征的红外与可见光图像融合算法;贺兴容等;现代电子技术;第42卷(第1期);57-61 *
基于深层双向Transformer编码器的早期谣言检测;琚心怡;;信息通信(05);22-27 *

Also Published As

Publication number Publication date
CN114757938A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN114757938B (zh) 一种变压器漏油识别方法和系统
CN108108768B (zh) 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN111553929A (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
Shi et al. Single‐shot detector with enriched semantics for PCB tiny defect detection
CN110503619B (zh) 图像处理方法、装置及可读存储介质
CN110135446A (zh) 文本检测方法及计算机存储介质
CN115439442A (zh) 基于共性和差异的工业品表面缺陷检测与定位方法及系统
CN114022736A (zh) 一种垃圾检测方法以及装置
Tang et al. A visual defect detection for optics lens based on the YOLOv5-C3CA-SPPF network model
CN112528782A (zh) 水下鱼类目标检测方法及装置
CN113658182A (zh) 基于并行多分支特征融合的表面缺陷区域分割方法及装置
CN116343015A (zh) 基于人工智能的医用食物含水量测量系统
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及系统
CN117252817A (zh) 一种透明导电薄膜玻璃表面缺陷检测方法及系统
CN113034432B (zh) 一种产品缺陷检测方法、系统、装置及存储介质
CN116630763A (zh) 一种基于多尺度上下文感知的多聚焦图像融合方法
CN116012372A (zh) 基于改进YOLOv5的铝表面实时缺陷检测方法及系统
CN112927250B (zh) 一种基于多粒度注意力分层网络的边缘检测系统和方法
CN114998183A (zh) 一种循环再生铝合金模板表面缺陷识别方法
CN112651926A (zh) 一种基于递归注意力机制的裂纹检测的方法及装置
CN115375677B (zh) 基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统
CN114511503B (zh) 一种自适应板材厚度的刨花板表面缺陷检测方法
CN114022420B (zh) 一种自动识别光伏电池el组件缺陷的检测方法
CN117372375A (zh) 一种焊接缺陷检测方法及装置
CN117372935B (zh) 一种视频目标检测方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant