CN117292716A - 基于声纹与红外特征融合的变压器故障诊断方法与系统 - Google Patents

基于声纹与红外特征融合的变压器故障诊断方法与系统 Download PDF

Info

Publication number
CN117292716A
CN117292716A CN202311581171.3A CN202311581171A CN117292716A CN 117292716 A CN117292716 A CN 117292716A CN 202311581171 A CN202311581171 A CN 202311581171A CN 117292716 A CN117292716 A CN 117292716A
Authority
CN
China
Prior art keywords
voiceprint
features
fusion
feature
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311581171.3A
Other languages
English (en)
Other versions
CN117292716B (zh
Inventor
于光远
王思源
胡旭冉
任志刚
胥明凯
韦良
褚壮壮
鲍新
瞿寒冰
刘晓
范岩
翟晨龙
刘冠祥
孙志周
王振利
孙世颖
孟健
韩为超
亓才
朱玉
蒋超
杨广辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
State Grid Intelligent Technology Co Ltd
Jinan Power Supply Co of State Grid Shandong Electric Power Co Ltd
Original Assignee
Institute of Automation of Chinese Academy of Science
State Grid Intelligent Technology Co Ltd
Jinan Power Supply Co of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science, State Grid Intelligent Technology Co Ltd, Jinan Power Supply Co of State Grid Shandong Electric Power Co Ltd filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202311581171.3A priority Critical patent/CN117292716B/zh
Publication of CN117292716A publication Critical patent/CN117292716A/zh
Application granted granted Critical
Publication of CN117292716B publication Critical patent/CN117292716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
    • Y04S10/52—Outage or fault management, e.g. fault detection or location

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于声纹与红外特征融合的变压器故障诊断方法与系统，属于变压器多传感器融合故障感知与诊断技术领域，方法包括：采集变压器运行过程中的声纹信号和红外图像；提取声纹信号的声纹特征以及三种不同尺度的红外图像特征；基于级联通道注意力和空间注意力机制将声纹特征分别与三种尺度的红外特征进行融合，获得三个尺度的融合特征；建立特征融合故障诊断模型，利用所述特征融合故障诊断模型对三种尺度的融合特征进行聚合，利用两个多层感知机构建检测和分割多任务网络，进行预测故障类型和位置。本发明将红外图像信息和声纹信息进行有机结合，提供了更加综合、准确的故障诊断结果，有效提高了复杂故障的诊断准确率。

Description

基于声纹与红外特征融合的变压器故障诊断方法与系统
技术领域
本发明涉及一种基于声纹与红外特征融合的变压器故障诊断方法与系统，属于电力变压器多传感器融合故障感知与诊断技术领域。
背景技术
电力变压器是电力系统中最重要的设备之一，对于电力系统的安全稳定运行具有重要作用，一旦电力变压器发生故障而造成停电，将造成重大的经济损失。早期的变压器主要依靠人工巡检，通过观察各种分析仪器和仪表数据来分析故障结果，准确率低且无法实时监测。
随着人工智能和自动化技术的发展，变压器故障的自动诊断方法和设备得到了深入研究。目前的变压器故障自动诊断系统通常利用单一的可见光图像、红外图像或各类仪表等数据，建立机器学习或深度学习分类模型实现故障诊断。但是，单一传感器的数据中包含信息有限，一些复杂故障需要多种检测手段综合判断。
目前，同时利用多种传感器信息进行融合，实现复杂故障综合诊断的研究较少。
发明内容
为了解决上述问题，本发明提出了一种基于声纹与红外特征融合的变压器故障诊断方法与系统，能够将红外图像信息和声纹信息进行有机结合，最终实现更准确、综合的故障诊断。
本发明解决其技术问题采取的技术方案是：
第一方面，本发明实施例提供的一种基于声纹与红外特征融合的变压器故障诊断方法，包括以下步骤：
采集变压器运行过程中的声纹信号和红外图像；
提取声纹信号的声纹特征以及三种不同尺度的红外图像特征；
基于级联通道注意力和空间注意力机制将声纹特征分别与三种尺度的红外特征进行融合，获得三个尺度的融合特征；
建立特征融合故障诊断模型，利用所述特征融合故障诊断模型对三种尺度的融合特征进行聚合，利用两个多层感知机构建检测和分割多任务网络，进行预测故障类型和位置。
作为本实施例一种可能的实现方式，通过在变压器本体上安装声纹传感器以及在变压器周围架设红外相机，实时获得变压器的声纹信号和红外图像。
作为本实施例一种可能的实现方式，所述提取声纹信号的声纹特征以及三种不同尺度的红外图像特征，包括：
对所述声纹信号利用长短期记忆网络提取声纹特征；
利用卷积神经网络和特征金字塔网络从所述红外图像中提取三种不同尺度的红外图像特征。
作为本实施例一种可能的实现方式，所述三种不同尺度分别为原图像尺度、原尺度的四分之一和原尺度的十六分之一。
作为本实施例一种可能的实现方式，所述提取声纹信号的声纹特征以及三种不同尺度的红外图像特征，包括：
利用卷积神经网络CNN对红外图像数据进行处理，得到初步提取的红外图像特征；
将红外图像特征送入特征金字塔网络进行处理，提取不同尺度的红外图像特征、/>、/>；
利用长短期记忆模型LSTM对声纹数据进行特征提取，获得声纹特征。
作为本实施例一种可能的实现方式，所述基于级联通道注意力和空间注意力机制将声纹特征分别与三种尺度的红外特征进行融合，获得三个尺度的融合特征，包括：
将声纹特征经过两个全连接层FC处理得到不同阶段融合的初始特征/>、/>；
将声纹特征和第j尺度的红外图像特征/>经过哈达玛积运算得到通道注意力输入特征/>；
利用通道注意力机制对通道注意力输入特征进行处理，得到通道注意力融合特征/>；
将声纹特征和通道注意力融合特征/>经过哈达玛积运算得到空间注意力输入特征/>；
利用空间注意力机制对空间注意力输入特征进行处理，得到声纹特征与第j尺度的红外图像特征融合结果/>。
作为本实施例一种可能的实现方式，所述利用通道注意力机制对通道注意力输入特征进行处理，得到通道注意力融合特征/>，包括：
将输入特征由最大值池化和平均值池化操作并行处理，经过最大值池化和平均值池化的特征/>和/>被输入至两个全连接层进行特征变换，变换后的特征通过逐元素的加法合并得到/>：
，
，
其中，和/>表示ReLU作为激活函数的全连接层，/>是sigmoid函数，/>和分别表示最大值池化操作和平均值池化操作。
作为本实施例一种可能的实现方式，所述利用空间注意力机制对空间注意力输入特征进行处理，得到声纹特征与第j尺度的红外图像特征融合结果/>，包括：
将空间注意力输入特征采用沿通道维度的最大值池化和平均值池化处理，将得到的特征进行拼接和二维卷积处理，生成空间注意力特征输出/>：
，
其中，[;]表示拼接操作，是卷积操作。
作为本实施例一种可能的实现方式，所述建立特征融合故障诊断模型，利用所述特征融合故障诊断模型对三种尺度的融合特征进行聚合，利用两个多层感知机构建检测和分割多任务网络，进行预测故障类型和位置，包括：
建立特征融合故障诊断模型并进行模型训练；
将三个尺度的融合特征分别经过全连接层FC进行特征映射，得到维度统一的融合特征/>；
将三个尺度的融合特征进行拼接；
分别利用两个多层感知机MLP构建多任务学习网络，其中一个多层感知机MLP的输出为在红外图像上的故障位置检测结果，即故障区域的定位框中心位置坐标及宽度高度值，另外一个多层感知机MLP输出一个与输入图像相同尺寸的分割掩码，从而定位出具体的故障区域细节。
作为本实施例一种可能的实现方式，所述特征融合故障诊断模型通过故障定位损失函数和故障分割损失函数/>进行端到端训练，总的损失函数为：
，
其中为平衡两种损失函数的超参数；
所述故障定位损失函数为：
，
其中和/>分别表示定位框的预测坐标和置信度，/>和/>是真值,/>是目标检测的锚点数；/>包含两个损失函数，/>交叉熵和Smooth-/>损失函数用来分别计算定位框的中心位置和定位框的宽度与高度的回归损失；/>是用于计算置信度得分损失的0-1交叉熵损失函数。
所述故障分割损失函数为：
，
其中和/>分别表示分割掩码中元素的真值和预测值。
第二方面，本发明实施例提供的一种基于声纹与红外特征融合的变压器故障诊断系统，包括：
数据采集模块，用于采集变压器运行过程中的声纹信号和红外图像；
特征提取模块，用于提取声纹信号的声纹特征以及三种不同尺度的红外图像特征；
特征融合模块，用于基于级联通道注意力和空间注意力机制将声纹特征分别与三种尺度的红外特征进行融合，获得三个尺度的融合特征；
故障诊断预测模块，用于建立特征融合故障诊断模型，利用所述特征融合故障诊断模型对三种尺度的融合特征进行聚合，利用两个多层感知机构建检测和分割多任务网络，进行预测故障类型和位置。
作为本实施例一种可能的实现方式，所述特征提取模块，包括：
声纹特征提取模块，用于对所述声纹信号利用长短期记忆网络提取声纹特征；
图像特征提取模块，用于利用卷积神经网络和特征金字塔网络从所述红外图像中提取三种不同尺度的红外图像特征。
作为本实施例一种可能的实现方式，所述三种不同尺度分别为原图像尺度、原尺度的四分之一和原尺度的十六分之一。
作为本实施例一种可能的实现方式，所述特征提取模块，具体用于：
利用卷积神经网络CNN对红外图像数据进行处理，得到初步提取的红外图像特征；
将红外图像特征送入特征金字塔网络进行处理，提取不同尺度的红外图像特征、/>、/>；
利用长短期记忆模型LSTM对声纹数据进行特征提取，获得声纹特征。
作为本实施例一种可能的实现方式，所述特征融合模块，具体用于：
将声纹特征经过两个全连接层FC处理得到不同阶段融合的初始特征/>、/>；
将声纹特征和第j尺度的红外图像特征/>经过哈达玛积运算得到通道注意力输入特征/>；
利用通道注意力机制对通道注意力输入特征进行处理，得到通道注意力融合特征/>；
将声纹特征和通道注意力融合特征/>经过哈达玛积运算得到空间注意力输入特征/>；
利用空间注意力机制对空间注意力输入特征进行处理，得到声纹特征与第j尺度的红外图像特征融合结果/>。
作为本实施例一种可能的实现方式，所述利用通道注意力机制对通道注意力输入特征进行处理，得到通道注意力融合特征/>，包括：
将输入特征由最大值池化和平均值池化操作并行处理，经过最大值池化和平均值池化的特征/>和/>被输入至两个全连接层进行特征变换，变换后的特征通过逐元素的加法合并得到/>：
，
，
其中，和/>表示ReLU作为激活函数的全连接层，/>是sigmoid函数，/>和分别表示最大值池化操作和平均值池化操作。
作为本实施例一种可能的实现方式，所述利用空间注意力机制对空间注意力输入特征进行处理，得到声纹特征与第j尺度的红外图像特征融合结果/>，包括：
将空间注意力输入特征采用沿通道维度的最大值池化和平均值池化处理，将得到的特征进行拼接和二维卷积处理，生成空间注意力特征输出/>：
，
其中，[;]表示拼接操作，是卷积操作。
作为本实施例一种可能的实现方式，所述故障诊断预测模块，具体用于：
建立特征融合故障诊断模型并进行模型训练；
将三个尺度的融合特征分别经过全连接层FC进行特征映射，得到维度统一的融合特征/>；
将三个尺度的融合特征进行拼接；
分别利用两个多层感知机MLP构建多任务学习网络，其中一个多层感知机MLP的输出为在红外图像上的故障位置检测结果，即故障区域的定位框中心位置坐标及宽度高度值，另外一个多层感知机MLP输出一个与输入图像相同尺寸的分割掩码，从而定位出具体的故障区域细节。
作为本实施例一种可能的实现方式，所述特征融合故障诊断模型通过故障定位损失函数和故障分割损失函数/>进行端到端训练，总的损失函数为：
，
其中为平衡两种损失函数的超参数；
所述故障定位损失函数为：
，
其中和/>分别表示定位框的预测坐标和置信度，/>和/>是真值,/>是目标检测的锚点数；/>包含两个损失函数，/>交叉熵和Smooth-/>损失函数用来分别计算定位框的中心位置和定位框的宽度与高度的回归损失；/>是用于计算置信度得分损失的0-1交叉熵损失函数。
所述故障分割损失函数为：
，
其中和/>分别表示分割掩码中元素的真值和预测值。
第三方面，本发明实施例提供的一种计算机设备，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述任意基于声纹与红外特征融合的变压器故障诊断方法的步骤。
第四方面，本发明实施例提供的一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述任意基于声纹与红外特征融合的变压器故障诊断方法的步骤。
本发明实施例的技术方案可以具有的有益效果如下：
本发明实施例的技术方案的一种基于声纹与红外特征融合的变压器故障诊断方法，包括以下步骤：采集变压器运行过程中的声纹信号和红外图像；提取声纹信号的声纹特征以及三种不同尺度的红外图像特征；基于级联通道注意力和空间注意力机制将声纹特征分别与三种尺度的红外特征进行融合，获得三个尺度的融合特征；建立特征融合故障诊断模型，利用所述特征融合故障诊断模型对三种尺度的融合特征进行聚合，利用两个多层感知机构建检测和分割多任务网络，进行预测故障类型和位置。针对变压器故障诊断，本发明将红外图像信息和声纹信息进行有机结合，从声纹和红外图像的多模态数据融合角度进行研究分析，提供了更加综合、准确的故障诊断结果。本发明通过诊断变压器复杂故障的综合诊断分析进行深入研究分析，有效提高了复杂故障的诊断准确率。
本发明实施例的技术方案的一种基于声纹与红外特征融合的变压器故障诊断系统，具备与基于声纹与红外特征融合的变压器故障诊断方法同样的有益效果。
本发明实现了变压器故障的自动诊断和实时监测，提高了电力系统的安全稳定运行。
附图说明
图1是根据一示例性实施例示出的一种基于声纹与红外特征融合的变压器故障诊断方法的流程图；
图2是根据一示例性实施例示出的一种基于声纹与红外特征融合的变压器故障诊断系统的示意图；
图3是根据一示例性实施例示出的一种计算机设备的应用结构图；
图4是根据一示例性实施例示出的一种特征融合诊断模型的结构示意图；
图5是根据一示例性实施例示出的一种注意力机制特征融合模块的结构示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明：
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
如图1所示，本发明实施例提供的一种基于声纹与红外特征融合的变压器故障诊断方法，包括以下步骤：
采集变压器运行过程中的声纹信号和红外图像；
提取声纹信号的声纹特征以及三种不同尺度的红外图像特征；
基于级联通道注意力和空间注意力机制将声纹特征分别与三种尺度的红外特征进行融合，获得三个尺度的融合特征；
建立特征融合故障诊断模型，利用所述特征融合故障诊断模型对三种尺度的融合特征进行聚合，利用两个多层感知机构建检测和分割多任务网络，进行预测故障类型和位置。
作为本实施例一种可能的实现方式，通过在变压器本体上安装声纹传感器以及在变压器周围架设红外相机，实时获得变压器的声纹信号和红外图像。
在采集声纹信号和红外图像过程中，在变压器本体上安装一对声纹传感器，该传感器可以实时采集变压器声音的特征信息，包括频率、音调和音量等；将采集到的变压器声音信号进行处理，提取出关键帧，用于构建声音的声纹图像。为了更好的获得声纹信号，可以通过选择合适的声纹传感器和信号处理算法，来提高声纹信号的质量和精度。在变压器周围架设一台红外相机，该相机可以实时捕捉变压器周围的红外辐射信号，将采集到的变压器红外辐射信号进行处理，提取出关键帧，用于构建变压器的红外图像。为了更好的获得红外图像，可以通过选择合适的红外相机和信号处理算法，来提高红外图像的质量和精度。声纹信号和红外图像的优化可以使得获取的变压器声纹图像和红外图像具有较高的质量，并且可以实时监测变压器的状态。
作为本实施例一种可能的实现方式，所述提取声纹信号的声纹特征以及三种不同尺度的红外图像特征，包括：
对所述声纹信号利用长短期记忆网络提取声纹特征；
利用卷积神经网络和特征金字塔网络从所述红外图像中提取三种不同尺度的红外图像特征。
针对声纹信号提取，可以采用长短期记忆网络(LSTM)和循环神经网络(RNN)等技术，通过捕获声音信号中的长期依赖关系和序列性特征，实现对声纹信号的提取。对于红外图像提取，可以采用卷积神经网络(CNN)和特征金字塔网络(金字塔网络)等技术，通过从不同尺度的红外图像中提取具有代表性特征，实现对红外图像的提取。具体来说，使用金字塔网络对红外图像进行尺度变换，提取不同尺度的特征图，然后利用CNN对特征图进行特征提取和分类，获取不同尺度的红外图像特征，从而实现更高准确率的红外图像识别。
作为本实施例一种可能的实现方式，所述三种不同尺度分别为原图像尺度、原尺度的四分之一和原尺度的十六分之一。
作为本实施例一种可能的实现方式，所述提取声纹信号的声纹特征以及三种不同尺度的红外图像特征，包括：
利用卷积神经网络CNN对红外图像数据进行处理，得到初步提取的红外图像特征；
将红外图像特征送入特征金字塔网络进行处理，提取不同尺度的红外图像特征、/>、/>；
利用长短期记忆模型LSTM对声纹数据进行特征提取，获得声纹特征。
作为本实施例一种可能的实现方式，所述基于级联通道注意力和空间注意力机制将声纹特征分别与三种尺度的红外特征进行融合，获得三个尺度的融合特征，包括：
将声纹特征经过两个全连接层FC处理得到不同阶段融合的初始特征/>、/>；
将声纹特征和第j尺度的红外图像特征/>经过哈达玛积运算得到通道注意力输入特征/>；
利用通道注意力机制对通道注意力输入特征进行处理，得到通道注意力融合特征/>；
将声纹特征和通道注意力融合特征/>经过哈达玛积运算得到空间注意力输入特征/>；
利用空间注意力机制对空间注意力输入特征进行处理，得到声纹特征与第j尺度的红外图像特征融合结果/>。
作为本实施例一种可能的实现方式，所述利用通道注意力机制对通道注意力输入特征进行处理，得到通道注意力融合特征/>，包括：
将输入特征由最大值池化和平均值池化操作并行处理，经过最大值池化和平均值池化的特征/>和/>被输入至两个全连接层进行特征变换，变换后的特征通过逐元素的加法合并得到/>：
，
，
其中，和/>表示ReLU作为激活函数的全连接层，/>是sigmoid函数，/>和分别表示最大值池化操作和平均值池化操作。
作为本实施例一种可能的实现方式，所述利用空间注意力机制对空间注意力输入特征进行处理，得到声纹特征与第j尺度的红外图像特征融合结果/>，包括：
将空间注意力输入特征采用沿通道维度的最大值池化和平均值池化处理，将得到的特征进行拼接和二维卷积处理，生成空间注意力特征输出/>：
，
其中，[;]表示拼接操作，是卷积操作。
作为本实施例一种可能的实现方式，所述建立特征融合故障诊断模型，利用所述特征融合故障诊断模型对三种尺度的融合特征进行聚合，利用两个多层感知机构建检测和分割多任务网络，进行预测故障类型和位置，包括：
建立特征融合故障诊断模型并进行模型训练；
将三个尺度的融合特征分别经过全连接层FC进行特征映射，得到维度统一的融合特征/>；
将三个尺度的融合特征进行拼接；
分别利用两个多层感知机MLP构建多任务学习网络，其中一个多层感知机MLP的输出为在红外图像上的故障位置检测结果，即故障区域的定位框中心位置坐标及宽度高度值，另外一个多层感知机MLP输出一个与输入图像相同尺寸的分割掩码，从而定位出具体的故障区域细节。
作为本实施例一种可能的实现方式，所述特征融合故障诊断模型通过故障定位损失函数和故障分割损失函数/>进行端到端训练，总的损失函数为：
，
其中为平衡两种损失函数的超参数；
所述故障定位损失函数为：
，
其中和/>分别表示定位框的预测坐标和置信度，/>和/>是真值,/>是目标检测的锚点数；/>包含两个损失函数，/>交叉熵和Smooth-/>损失函数用来分别计算定位框的中心位置和定位框的宽度与高度的回归损失；/>是用于计算置信度得分损失的0-1交叉熵损失函数。
所述故障分割损失函数为：
，
其中和/>分别表示分割掩码中元素的真值和预测值。
本实施例将红外图像信息和声纹信息进行有机结合，从声纹和红外图像的多模态数据融合角度进行研究分析，提供了更加综合、准确的故障诊断结果。本发明通过诊断变压器复杂故障的综合诊断分析进行深入研究分析，有效提高了复杂故障的诊断准确率。本实施例实现了变压器故障的自动诊断和实时监测，提高了电力系统的安全稳定运行。
如图2所示，本发明实施例提供的一种基于声纹与红外特征融合的变压器故障诊断系统，包括：
数据采集模块，用于采集变压器运行过程中的声纹信号和红外图像；
特征提取模块，用于提取声纹信号的声纹特征以及三种不同尺度的红外图像特征；
特征融合模块，用于基于级联通道注意力和空间注意力机制将声纹特征分别与三种尺度的红外特征进行融合，获得三个尺度的融合特征；
故障诊断预测模块，用于建立特征融合故障诊断模型，利用所述特征融合故障诊断模型对三种尺度的融合特征进行聚合，利用两个多层感知机构建检测和分割多任务网络，进行预测故障类型和位置。
作为本实施例一种可能的实现方式，所述特征提取模块，包括：
声纹特征提取模块，用于对所述声纹信号利用长短期记忆网络提取声纹特征；
图像特征提取模块，用于利用卷积神经网络和特征金字塔网络从所述红外图像中提取三种不同尺度的红外图像特征。
作为本实施例一种可能的实现方式，所述三种不同尺度分别为原图像尺度、原尺度的四分之一和原尺度的十六分之一。
作为本实施例一种可能的实现方式，所述特征提取模块，具体用于：
利用卷积神经网络CNN对红外图像数据进行处理，得到初步提取的红外图像特征；
将红外图像特征送入特征金字塔网络进行处理，提取不同尺度的红外图像特征、/>、/>；
利用长短期记忆模型LSTM对声纹数据进行特征提取，获得声纹特征。
作为本实施例一种可能的实现方式，所述特征融合模块，具体用于：
将声纹特征经过两个全连接层FC处理得到不同阶段融合的初始特征/>、/>；
将声纹特征和第j尺度的红外图像特征/>经过哈达玛积运算得到通道注意力输入特征/>；
利用通道注意力机制对通道注意力输入特征进行处理，得到通道注意力融合特征/>；
将声纹特征和通道注意力融合特征/>经过哈达玛积运算得到空间注意力输入特征/>；
利用空间注意力机制对空间注意力输入特征进行处理，得到声纹特征与第j尺度的红外图像特征融合结果/>。/>
作为本实施例一种可能的实现方式，所述利用通道注意力机制对通道注意力输入特征进行处理，得到通道注意力融合特征/>，包括：
将输入特征由最大值池化和平均值池化操作并行处理，经过最大值池化和平均值池化的特征/>和/>被输入至两个全连接层进行特征变换，变换后的特征通过逐元素的加法合并得到/>：
，
，
其中，和/>表示ReLU作为激活函数的全连接层，/>是sigmoid函数，/>和分别表示最大值池化操作和平均值池化操作。
作为本实施例一种可能的实现方式，所述利用空间注意力机制对空间注意力输入特征进行处理，得到声纹特征与第j尺度的红外图像特征融合结果/>，包括：
将空间注意力输入特征采用沿通道维度的最大值池化和平均值池化处理，将得到的特征进行拼接和二维卷积处理，生成空间注意力特征输出/>：
，
其中，[;]表示拼接操作，是卷积操作。
作为本实施例一种可能的实现方式，所述故障诊断预测模块，具体用于：
建立特征融合故障诊断模型并进行模型训练；
将三个尺度的融合特征分别经过全连接层FC进行特征映射，得到维度统一的融合特征/>；
将三个尺度的融合特征进行拼接；
分别利用两个多层感知机MLP构建多任务学习网络，其中一个多层感知机MLP的输出为在红外图像上的故障位置检测结果，即故障区域的定位框中心位置坐标及宽度高度值，另外一个多层感知机MLP输出一个与输入图像相同尺寸的分割掩码，从而定位出具体的故障区域细节。
作为本实施例一种可能的实现方式，所述特征融合故障诊断模型通过故障定位损失函数和故障分割损失函数/>进行端到端训练，总的损失函数为：
，
其中为平衡两种损失函数的超参数；
所述故障定位损失函数为：/>
，
其中和/>分别表示定位框的预测坐标和置信度，/>和/>是真值,/>是目标检测的锚点数；/>包含两个损失函数，/>交叉熵和Smooth-/>损失函数用来分别计算定位框的中心位置和定位框的宽度与高度的回归损失；/>是用于计算置信度得分损失的0-1交叉熵损失函数。
所述故障分割损失函数为：
，
其中和/>分别表示分割掩码中元素的真值和预测值。
本实施例将红外图像信息和声纹信息进行有机结合，从声纹和红外图像的多模态数据融合角度进行研究分析，提供了更加综合、准确的故障诊断结果。本发明通过诊断变压器复杂故障的综合诊断分析进行深入研究分析，有效提高了复杂故障的诊断准确率。本实施例实现了变压器故障的自动诊断和实时监测，提高了电力系统的安全稳定运行。
本发明实施例提供的一种计算机设备，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述装置运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述任意基于声纹与红外特征融合的变压器故障诊断方法的步骤。
针对变电站的变压器故障诊断任务，本发明采用声纹和红外图像特征融合的方式，进行故障的自动检测。如图3所示，通过在变压器本体上安装声纹传感器以及在变压器周围架设红外相机，实时获得变压器的红外图像和声纹信号。将红外图像信息和声纹信号同时输入计算机控制中心的计算机设备中进行故障诊断，计算机控制中心（计算机设备）运行提前训练好的特征融合诊断模型，根据实时输入的红外图像和声纹信号，进行变压器故障检测和分割，根据输出的故障类型和故障在红外图像中的区域，系统进行故障报警。
如图4所示，特征融合诊断模型由特征提取、特征融合、结果输出三个阶段组成。
在特征提取阶段，对红外图像和声纹数据分别提取特征。对红外图像数据，利用卷积神经网络CNN进行处理，得到初步提取的红外图像特征，接着将该特征送入特征金字塔网络进行处理，进一步提取不同尺度的红外图像特征。选取三种尺度，分别为原图像尺度、原尺度的四分之一和原尺度的十六分之一。因此，特征金字塔网络输出三组红外图像特征、/>、/>。针对声纹数据，利用长短期记忆模型LSTM进行特征提取，从而获得声纹特征/>。
在特征融合阶段，将多尺度的红外图像特征和声纹特征进行融合。构建注意力机制特征融合模块将声纹特征分别与三种尺度的红外图像特征进行融合。注意力机制特征融合模块结构如图5所示，通过级联通道注意力模块和空间注意力模块实现在声纹特征的时序引导下对融合特征的不同通道和不同空间位置特征进行强化。首先，将声纹特征经过两个全连接层FC处理得到不同阶段融合的初始特征/>、/>。然后，在通道注意力模块，将声纹特征/>和第j尺度的红外图像特征/>经过哈达玛积得到通道注意力模块输入特征。经过通道注意力机制模块处理后，得到通道注意力融合特征/>。通道注意力机制的计算过程为将输入特征/>由最大值池化和平均值池化操作并行处理，经过最大值池化和平均值池化的特征/>和/>被输入至两个全连接层进行特征变换，最后，变换后的特征通过逐元素的加法合并得到/>：
，
，
其中，和/>表示ReLU作为激活函数的全连接层，/>是sigmoid函数，/>和分别表示最大值池化操作和平均值池化操作。
接着，在空间注意力模块，将声纹特征和通道注意力融合特征/>经过哈达玛积得到空间注意力模块输入特征/>。经过空间注意力机制模块处理后，得到声纹特征与第j尺度的红外图像特征融合结果/>。空间注意力机制的计算过程对将输入特征/>采用沿通道维度的最大值池化和平均值池化处理，接着将得到的特征进行拼接和二维卷积处理以生成空间注意力特征输出/>：
，
其中，[;]表示拼接操作，是卷积操作。
在结果输出阶段，将三个尺度的融合结果进行特征拼接，并进行分类结果预测。由于特征向量维度不统一，先将三个尺度的融合特征分别经过全连接层FC进行特征映射，得到维度统一的融合特征/>。然后将三个尺度的融合特征进行拼接/>，最后，分别利用两个多层感知机MLP构建多任务学习网络，其中第一个MLP的输出为在红外图像上的故障位置检测结果，即故障区域的定位框中心位置坐标及宽度高度值，另外一个MLP输出一个与输入图像相同尺寸的分割掩码，从而定位出具体的故障区域细节。
特征融合诊断模型在部署到计算机控制中心之前，要进行模型训练。采集变压器运行过程中的红外图像数据和声纹数据，对每一帧红外图像数据，截取该时刻前10s的声纹数据，构成一组训练样本，由人工对红外图像中的故障定位框和故障区域掩码进行标注，构成数据集。
所构建的故障诊断模型通过故障定位损失函数和故障分割损失函数/>进行端到端训练，总的损失函数为：
，
其中为平衡两种损失函数的超参数。/>
对于定位损失函数，可以表示为：
，
其中和/>分别表示定位框的预测坐标和置信度，/>和/>是真值,/>是目标检测的锚点数。/>包含两个损失函数。/>交叉熵和Smooth-/>损失函数用来分别计算定位框的中心位置和定位框的宽度与高度的回归损失。/>是用于计算置信度得分损失的0-1交叉熵损失函数。
分割损失可以通过如下方式计算：
其中和/>分别表示分割掩码中元素的真值和预测值。
利用上述损失函数进行模型训练，并将训练好的模型进行部署。
本实施例将红外图像信息和声纹信息进行有机结合，从声纹和红外图像的多模态数据融合角度进行研究分析，提供了更加综合、准确的故障诊断结果。本发明通过诊断变压器复杂故障的综合诊断分析进行深入研究分析，有效提高了复杂故障的诊断准确率。本实施例实现了变压器故障的自动诊断和实时监测，提高了电力系统的安全稳定运行。
具体地，上述存储器和处理器能够为通用的存储器和处理器，这里不做具体限定，当处理器运行存储器存储的计算机程序时，能够执行上述基于声纹与红外特征融合的变压器故障诊断方法。
本领域技术人员可以理解，所述计算机设备的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。
在一些实施例中，该计算机设备还可以包括触摸屏可用于显示图形用户界面（例如，应用程序的启动界面）和接收用户针对图形用户界面的操作（例如，针对应用程序的启动操作）。具体的触摸屏可包括显示面板和触控面板。其中显示面板可以采用LCD(LiquidCrystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置。触控面板可收集用户在其上或附近的接触或者非接触操作，并生成预先设定的操作指令，例如，用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作。另外，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位、姿势，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成处理器能够处理的信息，再送给处理器，并能接收处理器发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板，也可以采用未来发展的任何技术实现触控面板。进一步的，触控面板可覆盖显示面板，用户可以根据显示面板显示的图形用户界面，在显示面板上覆盖的触控面板上或者附近进行操作，触控面板检测到在其上或附近的操作后，传送给处理器以确定用户输入，随后处理器响应于用户输入在显示面板上提供相应的视觉输出。另外，触控面板与显示面板可以作为两个独立的部件来实现也可以集成而来实现。
对应于上述应用程序的启动方法，本发明实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述任意基于声纹与红外特征融合的变压器故障诊断方法的步骤。
本申请实施例所提供的应用程序的启动装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (17)

1.一种基于声纹与红外特征融合的变压器故障诊断方法，其特征在于，包括以下步骤：
采集变压器运行过程中的声纹信号和红外图像；
提取声纹信号的声纹特征以及三种不同尺度的红外图像特征；
基于级联通道注意力和空间注意力机制将声纹特征分别与三种尺度的红外特征进行融合，获得三个尺度的融合特征；
建立特征融合故障诊断模型，利用所述特征融合故障诊断模型对三种尺度的融合特征进行聚合，利用两个多层感知机构建检测和分割多任务网络，进行预测故障类型和位置。
2.根据权利要求1所述的基于声纹与红外特征融合的变压器故障诊断方法，其特征在于，所述提取声纹信号的声纹特征以及三种不同尺度的红外图像特征，包括：
对所述声纹信号利用长短期记忆网络提取声纹特征；
利用卷积神经网络和特征金字塔网络从所述红外图像中提取三种不同尺度的红外图像特征。
3.根据权利要求1所述的基于声纹与红外特征融合的变压器故障诊断方法，其特征在于，所述三种不同尺度分别为原图像尺度、原尺度的四分之一和原尺度的十六分之一。
4.根据权利要求1-3任意一项所述的基于声纹与红外特征融合的变压器故障诊断方法，其特征在于，所述提取声纹信号的声纹特征以及三种不同尺度的红外图像特征，包括：
利用卷积神经网络CNN对红外图像数据进行处理，得到初步提取的红外图像特征；
将红外图像特征送入特征金字塔网络进行处理，提取不同尺度的红外图像特征/>、、/>；
利用长短期记忆模型LSTM对声纹数据进行特征提取，获得声纹特征。
5.根据权利要求4所述的基于声纹与红外特征融合的变压器故障诊断方法，其特征在于，所述基于级联通道注意力和空间注意力机制将声纹特征分别与三种尺度的红外特征进行融合，获得三个尺度的融合特征，包括：
将声纹特征经过两个全连接层FC处理得到不同阶段融合的初始特征/>、/>；
将声纹特征和第j尺度的红外图像特征/>经过哈达玛积运算得到通道注意力输入特征/>；
利用通道注意力机制对通道注意力输入特征进行处理，得到通道注意力融合特征；
将声纹特征和通道注意力融合特征/>经过哈达玛积运算得到空间注意力输入特征/>；
利用空间注意力机制对空间注意力输入特征进行处理，得到声纹特征与第j尺度的红外图像特征融合结果/>。
6.根据权利要求5所述的基于声纹与红外特征融合的变压器故障诊断方法，其特征在于，所述利用通道注意力机制对通道注意力输入特征进行处理，得到通道注意力融合特征/>，包括：
将输入特征由最大值池化和平均值池化操作并行处理，经过最大值池化和平均值池化的特征/>和/>被输入至两个全连接层进行特征变换，变换后的特征通过逐元素的加法合并得到/>：
其中，和/>表示ReLU作为激活函数的全连接层，/>是sigmoid函数，/>和/>分别表示最大值池化操作和平均值池化操作。
7.根据权利要求5所述的基于声纹与红外特征融合的变压器故障诊断方法，其特征在于，所述利用空间注意力机制对空间注意力输入特征进行处理，得到声纹特征与第j尺度的红外图像特征融合结果/>，包括：
将空间注意力输入特征采用沿通道维度的最大值池化和平均值池化处理，将得到的特征进行拼接和二维卷积处理，生成空间注意力特征输出/>：
其中，[;]表示拼接操作，是卷积操作。
8.根据权利要求5所述的基于声纹与红外特征融合的变压器故障诊断方法，其特征在于，所述建立特征融合故障诊断模型，利用所述特征融合故障诊断模型对三种尺度的融合特征进行聚合，利用两个多层感知机构建检测和分割多任务网络，进行预测故障类型和位置，包括：
建立特征融合故障诊断模型并进行模型训练；
将三个尺度的融合特征分别经过全连接层FC进行特征映射，得到维度统一的融合特征/>；
将三个尺度的融合特征进行拼接；
分别利用两个多层感知机MLP构建多任务学习网络，其中一个多层感知机MLP的输出为在红外图像上的故障位置检测结果，即故障区域的定位框中心位置坐标及宽度高度值，另外一个多层感知机MLP输出一个与输入图像相同尺寸的分割掩码，从而定位出具体的故障区域细节。
9.根据权利要求8所述的基于声纹与红外特征融合的变压器故障诊断方法，其特征在于，所述特征融合故障诊断模型通过故障定位损失函数和故障分割损失函数/>进行端到端训练，总的损失函数为：
其中为平衡两种损失函数的超参数；
所述故障定位损失函数为：
其中和/>分别表示定位框的预测坐标和置信度，/>和/>是真值,/>是目标检测的锚点数；/>包含两个损失函数，/>交叉熵和Smooth-/>损失函数用来分别计算定位框的中心位置和定位框的宽度与高度的回归损失；/>是用于计算置信度得分损失的0-1交叉熵损失函数；
所述故障分割损失函数为：
其中和/>分别表示分割掩码中元素的真值和预测值。
10.一种基于声纹与红外特征融合的变压器故障诊断系统，其特征在于，包括：
数据采集模块，用于采集变压器运行过程中的声纹信号和红外图像；
特征提取模块，用于提取声纹信号的声纹特征以及三种不同尺度的红外图像特征；
特征融合模块，用于基于级联通道注意力和空间注意力机制将声纹特征分别与三种尺度的红外特征进行融合，获得三个尺度的融合特征；
故障诊断预测模块，用于建立特征融合故障诊断模型，利用所述特征融合故障诊断模型对三种尺度的融合特征进行聚合，利用两个多层感知机构建检测和分割多任务网络，进行预测故障类型和位置。
11.根据权利要求10所述的基于声纹与红外特征融合的变压器故障诊断系统，其特征在于，所述特征提取模块，包括：
声纹特征提取模块，用于对所述声纹信号利用长短期记忆网络提取声纹特征；
图像特征提取模块，用于利用卷积神经网络和特征金字塔网络从所述红外图像中提取三种不同尺度的红外图像特征。
12.根据权利要求10所述的基于声纹与红外特征融合的变压器故障诊断系统，其特征在于，所述三种不同尺度分别为原图像尺度、原尺度的四分之一和原尺度的十六分之一。
13.根据权利要求10-12任意一项所述的基于声纹与红外特征融合的变压器故障诊断系统，其特征在于，所述特征提取模块，具体用于：
利用卷积神经网络CNN对红外图像数据进行处理，得到初步提取的红外图像特征；
将红外图像特征送入特征金字塔网络进行处理，提取不同尺度的红外图像特征/>、、/>；
利用长短期记忆模型LSTM对声纹数据进行特征提取，获得声纹特征。
14.根据权利要求13所述的基于声纹与红外特征融合的变压器故障诊断系统，其特征在于，所述特征融合模块，具体用于：
将声纹特征经过两个全连接层FC处理得到不同阶段融合的初始特征/>、/>；
将声纹特征和第j尺度的红外图像特征/>经过哈达玛积运算得到通道注意力输入特征/>；
利用通道注意力机制对通道注意力输入特征进行处理，得到通道注意力融合特征；
将声纹特征和通道注意力融合特征/>经过哈达玛积运算得到空间注意力输入特征/>；
利用空间注意力机制对空间注意力输入特征进行处理，得到声纹特征与第j尺度的红外图像特征融合结果/>。
15.根据权利要求14所述的基于声纹与红外特征融合的变压器故障诊断系统，其特征在于，所述故障诊断预测模块，具体用于：
建立特征融合故障诊断模型并进行模型训练；
将三个尺度的融合特征分别经过全连接层FC进行特征映射，得到维度统一的融合特征/>；
将三个尺度的融合特征进行拼接；
分别利用两个多层感知机MLP构建多任务学习网络，其中一个多层感知机MLP的输出为在红外图像上的故障位置检测结果，即故障区域的定位框中心位置坐标及宽度高度值，另外一个多层感知机MLP输出一个与输入图像相同尺寸的分割掩码，从而定位出具体的故障区域细节。
16.一种计算机设备，其特征在于，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-9任一所述的基于声纹与红外特征融合的变压器故障诊断方法的步骤。
17.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-9任一所述的基于声纹与红外特征融合的变压器故障诊断方法的步骤。
CN202311581171.3A 2023-11-24 2023-11-24 基于声纹与红外特征融合的变压器故障诊断方法与系统 Active CN117292716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311581171.3A CN117292716B (zh) 2023-11-24 2023-11-24 基于声纹与红外特征融合的变压器故障诊断方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311581171.3A CN117292716B (zh) 2023-11-24 2023-11-24 基于声纹与红外特征融合的变压器故障诊断方法与系统

Publications (2)

Publication Number Publication Date
CN117292716A true CN117292716A (zh) 2023-12-26
CN117292716B CN117292716B (zh) 2024-02-06

Family

ID=89252029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311581171.3A Active CN117292716B (zh) 2023-11-24 2023-11-24 基于声纹与红外特征融合的变压器故障诊断方法与系统

Country Status (1)

Country Link
CN (1) CN117292716B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117725529A (zh) * 2024-02-18 2024-03-19 南京邮电大学 基于多模态自注意力机制的变压器故障诊断方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10475468B1 (en) * 2018-07-12 2019-11-12 Honeywell International Inc. Monitoring industrial equipment using audio
CN113469281A (zh) * 2021-07-22 2021-10-01 西北工业大学 一种工业齿轮箱多源信息融合故障诊断方法
CN113780060A (zh) * 2021-07-26 2021-12-10 华北电力大学（保定） 一种基于多模态深度学习的高压开关柜态势感知方法
CN113865859A (zh) * 2021-08-25 2021-12-31 西北工业大学 多尺度多源异构信息融合的齿轮箱状态故障诊断方法
CN115798516A (zh) * 2023-02-07 2023-03-14 海纳科德（湖北）科技有限公司 一种可迁移的端到端声信号诊断方法及系统
CN116012350A (zh) * 2023-01-16 2023-04-25 国网湖南省电力有限公司 一种基于声纹特征的变压器故障检测方法、系统及介质
CN116434777A (zh) * 2023-06-09 2023-07-14 国网山东省电力公司济南供电公司 基于多级注意力和特征融合的变压器故障诊断方法及系统
CN116861303A (zh) * 2023-05-15 2023-10-10 温州电力建设有限公司 一种变电站数字孪生多源信息融合诊断方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10475468B1 (en) * 2018-07-12 2019-11-12 Honeywell International Inc. Monitoring industrial equipment using audio
CN113469281A (zh) * 2021-07-22 2021-10-01 西北工业大学 一种工业齿轮箱多源信息融合故障诊断方法
CN113780060A (zh) * 2021-07-26 2021-12-10 华北电力大学（保定） 一种基于多模态深度学习的高压开关柜态势感知方法
CN113865859A (zh) * 2021-08-25 2021-12-31 西北工业大学 多尺度多源异构信息融合的齿轮箱状态故障诊断方法
CN116012350A (zh) * 2023-01-16 2023-04-25 国网湖南省电力有限公司 一种基于声纹特征的变压器故障检测方法、系统及介质
CN115798516A (zh) * 2023-02-07 2023-03-14 海纳科德（湖北）科技有限公司 一种可迁移的端到端声信号诊断方法及系统
CN116861303A (zh) * 2023-05-15 2023-10-10 温州电力建设有限公司 一种变电站数字孪生多源信息融合诊断方法
CN116434777A (zh) * 2023-06-09 2023-07-14 国网山东省电力公司济南供电公司 基于多级注意力和特征融合的变压器故障诊断方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117725529A (zh) * 2024-02-18 2024-03-19 南京邮电大学 基于多模态自注意力机制的变压器故障诊断方法
CN117725529B (zh) * 2024-02-18 2024-05-24 南京邮电大学 基于多模态自注意力机制的变压器故障诊断方法

Also Published As

Publication number Publication date
CN117292716B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
JP6596164B2 (ja) 単一ビューオブジェクト再構成のためのファイングレインデータセットにおける教師なしマッチング
CN117292716B (zh) 基于声纹与红外特征融合的变压器故障诊断方法与系统
CN110796018B (zh) 一种基于深度图像和彩色图像的手部运动识别方法
CN109993734A (zh) 用于输出信息的方法和装置
CN110009614A (zh) 用于输出信息的方法和装置
CN108475350A (zh) 使用基于学习的模型加速半导体相关计算
CN109978870A (zh) 用于输出信息的方法和装置
CN111078552A (zh) 页面显示异常的检测方法、装置及存储介质
CN111008576B (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
CN104616002A (zh) 用于年龄段判断的面部识别设备
CN114120432A (zh) 基于视线估计的在线学习注意力跟踪方法及其应用
CN116434777B (zh) 基于多级注意力和特征融合的变压器故障诊断方法及系统
CN114359970A (zh) 行人重识别方法、装置、电子设备及存储介质
CN116596916A (zh) 缺陷检测模型的训练和缺陷检测方法及其装置
CN107992873A (zh) 目标检测方法及装置、存储介质、电子设备
Zhang et al. Energy-based generative cooperative saliency prediction
CN108875500A (zh) 行人再识别方法、装置、系统及存储介质
CN114898447B (zh) 一种基于自注意力机制的个性化注视点检测方法及装置
CN115937993A (zh) 活体检测模型训练方法、活体检测方法、装置和电子设备
CN113870320B (zh) 一种基于深度神经网络的行人追踪监控方法及系统
CN115083229A (zh) 基于ai视觉识别的飞行训练设备智能识别与警示系统
CN114140879A (zh) 基于多头级联注意网络与时间卷积网络的行为识别方法及装置
CN109684954A (zh) 在无人设备上实现目标检测的在线训练方法
Ayumi et al. Forest Fire Detection Using Transfer Learning Model with Contrast Enhancement and Data Augmentation
Kayalvizhi et al. A Comprehensive Study on Supermarket Indoor Navigation for Visually Impaired using Computer Vision Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant