CN116434777B - 基于多级注意力和特征融合的变压器故障诊断方法及系统 - Google Patents
基于多级注意力和特征融合的变压器故障诊断方法及系统 Download PDFInfo
- Publication number
- CN116434777B CN116434777B CN202310677308.9A CN202310677308A CN116434777B CN 116434777 B CN116434777 B CN 116434777B CN 202310677308 A CN202310677308 A CN 202310677308A CN 116434777 B CN116434777 B CN 116434777B
- Authority
- CN
- China
- Prior art keywords
- gru
- fault diagnosis
- module
- layer
- transformer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000004927 fusion Effects 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000012360 testing method Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 230000008447 perception Effects 0.000 claims abstract description 7
- 238000007499 fusion processing Methods 0.000 claims abstract 2
- 230000002457 bidirectional effect Effects 0.000 claims description 63
- 239000013598 vector Substances 0.000 claims description 46
- 230000007246 mechanism Effects 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 40
- 238000011176 pooling Methods 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 22
- 230000002441 reversible effect Effects 0.000 claims description 22
- 241000288105 Grus Species 0.000 claims description 21
- 210000002569 neuron Anatomy 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Abstract
本发明公开了一种基于多级注意力和特征融合的变压器故障诊断方法及系统，属于电力变压器声纹感知与故障诊断技术领域，方法包括：实时采集待测电力变压器的声纹信号；对采集的声纹信号数据进行预处理并划分训练集和测试集；根据采集的声纹信号和故障诊断模型，进行变压器故障诊断；其中，所述故障诊断模型是通过建立卷积神经网络提取数据特征，利用低层特征分辨率高包含更多的位置细节信息而噪声多和高层特征具有更高的语义信息而分辨率低对细节的感知力差的特点，对低层特征和高层特征进行融合处理，并基于变压器不同故障类型的声纹信号构成训练集和测试集进行训练、测试得到的。本发明能够确定故障类型及故障位置，提高了故障诊断的准确率。
Description
技术领域
本发明涉及一种基于多级注意力和特征融合的变压器故障诊断方法及系统，属于电力变压器声纹感知与故障诊断技术领域。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。
进入二十一世纪后，结合信号处理技术发展以及最新的研究成果，故障诊断技术已成为一门独立且完整的学科，并应用在如电网、高铁等多个行业领域。近年来，随着电网规模的不断增加，电网的拓扑结构的逐渐复杂，导致影响电网运行的不确定性因素增加，变压器故障诊断是电网诊断的核心一环，因此针对变压器的故障诊断技术成为电力系统研究的主攻方向，并取得了显著性成果。尤其是基于深度学习的电网故障诊断方法也得到了诸多学者的青睐。
电力变压器的振动噪声与其目前的工作状态紧密相关，当电力设备的零部件故障导致状态变化后，其声纹信号特征也会相应改变，因此通过监视声纹信号的特征便能判断设备的运行状态，并及时发现设备是否发生故障，以及故障类别。
依靠专家对设备进行观察和诊断是最早的电网诊断和维修方法，通过合理安装传感器并使用合适的方法来分析结果进而确定故障类型及故障位置，但这种方法不仅造成了劳动力的浪费，而且维护的效率和质量难以保证。
发明内容
为了解决上述问题，本发明提出了一种基于多级注意力和特征融合的变压器故障诊断方法及系统，能够确定故障类型及故障位置，提高故障诊断的准确率。
本发明解决其技术问题采取的技术方案是：
第一方面，本发明实施例提供的一种基于多级注意力和特征融合的变压器故障诊断方法，包括以下步骤：
实时采集待测电力变压器的声纹信号；
对采集的声纹信号数据进行预处理并划分训练集和测试集；
根据采集的待测电力变压器的声纹信号和故障诊断模型，进行变压器故障诊断；
其中，所述故障诊断模型是通过建立卷积神经网络提取数据底层特征，使用底层的卷积网络提取底层特征，并连续使用卷积层和双向GRU层提取高层特征，之后将底层特征和高层特征分别作为注意力机制的查询向量和键向量进行特征融合，从而将电力变压器声纹数据中的位置信息嵌入到注意力机制中。
作为本实施例一种可能的实现方式，所述声纹信号为通过声阵列设备采集的待测电力变压器的声纹信号。
作为本实施例一种可能的实现方式，所述对采集的声纹信号数据进行预处理并划分训练集和测试集，包括：
对采集的声纹信号数据进行切片处理，获得数据集；
将变压器的声纹信号数据的赋予标签，并转换为独热编码；
利用NumPy产生一个随机数列，利用该随机数列将切片后的数据以及标签打乱，并划分训练集和测试集。
作为本实施例一种可能的实现方式，所述训练集和测试集的样本数据比例为4:1。
作为本实施例一种可能的实现方式，所述故障诊断模型的建立过程为：
将卷积神经网络的两个卷积层和一个池化层封装为CFE模块，将双向求和GRU（Gate Recurrent Unit，循环神经网络）和注意力机制（attention）封装为GAT模块，所述的CFE和GAT模块各有三个且一一相对应；
将每一个CFE模块的输出特征作为目标域(Target)，并作为相对应的GAT中注意力机制的查询向量(query)；
将最后一个CFE模块的输出连接到第一个GAT模块中的双向GRU，并计算双向GRU的向量和；
将双向求和GRU网络的输出作为源域(Source)，并作为相对应注意力机制中的键向量(key)；
对建立的模型进行训练学习，得到最终的故障诊断模型。
作为本实施例一种可能的实现方式，所述CFE模块的建立过程为：构建一个轻量级的卷积网络，所述卷积网络由六个卷积层和三个池化层组成，由两个卷积层和一个池化层组成一个CFE模块；
所述卷积层的卷积运算表达式为：
(1)
其中，表示第l层的输出;/>表示第/>层第i个通道的输出；/>表示/>层的第c个通道；/>和/>分别表示权重和偏置；
每个卷积层都采用线性整流函数ReLU作为激活函数，且在每一个卷积层中激活一半的神经元；
ReLU函数表达式为：
(2)
所述池化层的池化计算表达式为：
(3)
其中，表示第l层第i个通道第t个神经元的值；S表示池化内核的大小；/>表示第l层第i个通道的第j个神经元的值。
作为本实施例一种可能的实现方式，所述GAT模块的建立过程为：
定义GRU的网络的重置门和更新门：
(4)
(5)
(6)
(7)
其中，r t和u t分别表示当前时间步的重置门和更新门，为当前时间步输入；/>为上一时间步的隐藏状态，W表示权重矩阵，/>，/>表示重置门和更新门的权重参数，/>，为偏差参数，/>为按元素相乘，/>为GRU的输出，/>为候选隐藏层输出；
在GRU的基础上设置双向求和GRU，双向GRU的输出为：
(8)
(9)
其中，和/>表示正向GRU隐藏状态和输入的权重矩阵，/>为正向GRU的偏置项；/>和/>表示反向GRU隐藏状态和输入的权重矩阵，/>为反向GRU的偏置项；
将两个双向GRU堆叠形成两层不同方向的GRU层，利用Bidirectional函数将两层GRU的结果进行拼接联合：
(10)
其中，为正向GRU输出，/>为反向GRU输出，/>为双向GRU输出。
作为本实施例一种可能的实现方式，所述注意力机制的计算公式为：
(11)
其中，score()表示评价函数，表示注意力分布，即在给定key和query条件下选择第i个输入向量的概率，key为键向量，query为查询向量。
第二方面，本发明实施例提供的一种基于多级注意力和特征融合的变压器故障诊断系统，包括：
数据采集模块，用于实时采集待测电力变压器的声纹信号；
数据预处理模块，用于对采集的声纹信号数据进行预处理并划分训练集和测试集；
故障诊断模块，用于根据采集的待测电力变压器的声纹信号和故障诊断模型，进行变压器故障诊断；
其中，所述故障诊断模型是通过建立卷积神经网络提取数据底层特征，使用底层的卷积网络提取底层特征，并连续使用卷积层和双向GRU层提取高层特征，之后将底层特征和高层特征分别作为注意力机制的查询向量和键向量进行特征融合，从而将电力变压器声纹数据中的位置信息嵌入到注意力机制中。
作为本实施例一种可能的实现方式，所述数据采集模块通过声阵列设备采集待测电力变压器的声纹信号。
作为本实施例一种可能的实现方式，所述数据预处理模块包括：
切片处理模块，用于对采集的声纹信号数据进行切片处理，获得数据集；
标签赋予模块，用于将变压器的声纹信号数据的赋予标签，并转换为独热编码；
样本划分模块，用于利用NumPy产生一个随机数列，利用该随机数列将切片后的数据以及标签打乱，并划分训练集和测试集。
作为本实施例一种可能的实现方式，所述训练集和测试集的样本数据比例为4:1。
作为本实施例一种可能的实现方式，所述故障诊断模块建立故障诊断模型的过程为：
将卷积神经网络的两个卷积层和一个池化层封装为CFE模块，将双向求和GRU和注意力机制封装为GAT模块，所述的CFE和GAT模块各有三个且一一相对应；
将每一个CFE模块的输出特征作为目标域(Target)，并作为相对应的GAT中注意力机制的查询向量（query）；
将最后一个CFE模块的输出连接到第一个GAT模块中的双向GRU，并计算双向GRU的向量和；
将双向求和GRU网络的输出作为源域(Source)，并作为相对应注意力机制中的键向量(key)；
对建立的模型进行训练学习，得到最终的故障诊断模型。
作为本实施例一种可能的实现方式，所述故障诊断模块建立CFE模块的过程为：构建一个轻量级的卷积网络，所述卷积网络由六个卷积层和三个池化层组成，由两个卷积层和一个池化层组成一个CFE模块；
所述卷积层的卷积运算表达式为：
(1)
其中，表示第l层的输出;/>表示第/>层第i个通道的输出；/>表示/>层的第c个通道；/>和/>分别表示权重和偏置；
每个卷积层都采用线性整流函数ReLU作为激活函数，且在每一个卷积层中激活一半的神经元；
ReLU函数表达式为：
(2)
所述池化层的池化计算表达式为：
(3)
其中，表示第l层第i个通道第t个神经元的值；S表示池化内核的大小；/>表示第l层第i个通道的第j个神经元的值。
作为本实施例一种可能的实现方式，所述故障诊断模块建立GAT模块的过程为：
定义GRU的网络的重置门和更新门：
(4)
(5)
(6)
(7)
其中，r t和u t分别表示当前时间步的重置门和更新门，为当前时间步输入；/>为上一时间步的隐藏状态，W表示权重矩阵，/>，/>表示重置门和更新门的权重参数，/>，为偏差参数，/>为按元素相乘，/>为GRU的输出，/>为候选隐藏层输出；
在GRU的基础上设置双向求和GRU，双向GRU的输出为：
(8)
(9)
其中，和/>表示正向GRU隐藏状态和输入的权重矩阵，/>为正向GRU的偏置项；/>和/>表示反向GRU隐藏状态和输入的权重矩阵，/>为反向GRU的偏置项；
将两个双向GRU堆叠形成两层不同方向的GRU层，利用Bidirectional函数将两层GRU的结果进行拼接联合：
(10)
其中，为正向GRU输出，/>为反向GRU输出，/>为双向GRU输出。
作为本实施例一种可能的实现方式，所述注意力机制的计算公式为：
(11)
其中，score()表示评价函数，表示注意力分布，即在给定key和query条件下选择第i个输入向量的概率。
第三方面，本发明实施例提供的一种计算机设备，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述任意基于多级注意力和特征融合的变压器故障诊断方法的步骤。
第四方面，本发明实施例提供的一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述任意基于多级注意力和特征融合的变压器故障诊断方法的步骤。
本发明实施例的技术方案可以具有的有益效果如下：
本发明利用一种新网络处理融合多层卷积提取的高层特征和低层特征，并将时序数据的位置信息输入到注意力机制中，对双向GRU的输出特征求和进行相加融合，将不同部分封装为CFE模块和GAT模块，对CFE模块提取的不同层次特征，连接到对应的GAT模块，解决了对低层特征和高层特征的高效融合、注意力机制难以捕捉位置信息以及在噪声影响下变压器故障诊断准确率低的问题。本发明探讨了在一维卷积方向上的注意力机制的改进问题，提出了学习声纹信号特征的新方式，并进一步杜绝了梯度消失问题的发生；本发明提出了一种新的端到端诊断的新网络(CFE-GATs)，使用新的方法学习、处理和融合低层特征和高层特征；本发明将含有更多位置信息的低层特征连接到注意力机制，解决了注意力机制难以捕捉位置信息的问题。
附图说明
图1是根据一示例性实施例示出的一种基于多级注意力和特征融合的变压器故障诊断方法的流程图；
图2是根据一示例性实施例示出的一种基于多级注意力和特征融合的变压器故障诊断系统的示意图；
图3是根据一示例性实施例示出的一种利用所述系统进行变压器故障诊断的具体流程图；
图4是根据一示例性实施例示出的一种故障诊断模型的结构示意图；
图5是根据一示例性实施例示出的一种CFE模块的结构示意图；
图6是根据一示例性实施例示出的一种GAT模块的结构示意图；
图7是根据一示例性实施例示出的一种GRU的结构示意图；
图8是根据一示例性实施例示出的一种双向求和GRU的结构示意图；
图9是根据一示例性实施例示出的一种注意力机制的结构示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明：
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
随着机器学习和深度学习的发展，极大的提高了通过声纹信号进行变压器故障诊断的效率和准确率。人工神经网络通过自动提取并学习数据的一些特征，自动调整网络参数自我学习，相比于专家系统具有更大的优势，但由于模型较浅，无法有效地提取出足够且明显的特征。而支持向量机虽然具有优秀的泛化能力，显著的提高了准确率，但是当样本数量较多时，将耗费计算机大量的内存，浪费运算时间，并且难以处理多分类问题。深度学习构建了多层结构，能够更深层次的挖掘数据中隐含的特征，大大加强了神经网络对数据的学习能力。
基于CNN的电网故障诊断模型具有较强的数据处理和隐藏特征提取的能力，但是对于声纹信号这种连续且具有明显序列特征的数据无能为力。RNN的长距离特征捕获能力使其在对序列数据的学习任务中大放异彩，而GRU则具有更少的参数以及避免了长期依赖问题使其得到广泛的应用。
但随着CNN模型层数的加深，池化层将会逐步丢失大量有价值的信息，忽略了局部与整体之间的相关性，并且黑盒效应严重影响了模型的可解释性，高层特征具有更高的语义信息，但分辨率低，对细节的感知力较差；而低层特征尽管由于经过较少的卷积层，语义性低且噪声多，但是其特征分辨率更高，包含更多的位置细节信息，而注意力机制无法捕捉位置信息，也就是难以学习时间序列中的顺序关系，因此需要找到合适的方法，将低层特征和高层特征融合，目前，大多数基于CNN和双向GRU以及注意力模块的故障诊断模型仅仅是将不同模块连接起来搭建顺序模型，却忽略了不同层次的特征尤其是低层特征在模型中发挥的作用。
为了克服以上缺点，本发明提出了一种新型的基于多级注意力引导全局特征融合神经网络(CFE-GATs)，可以为多个注意力模块提取到输入信息不同层次的特征，提高故障诊断的准确率。
如图1所示，本发明实施例提供的一种基于多级注意力和特征融合的变压器故障诊断方法，包括以下步骤：
实时采集待测电力变压器的声纹信号；
对采集的声纹信号数据进行预处理并划分训练集和测试集；
根据采集的待测电力变压器的声纹信号和故障诊断模型，进行变压器故障诊断；
其中，所述故障诊断模型是通过建立卷积神经网络提取数据底层特征，使用底层的卷积网络提取底层特征，并连续使用卷积层和双向GRU层提取高层特征，之后将底层特征和高层特征分别作为注意力机制的查询向量和键向量进行特征融合，从而将电力变压器声纹数据中的位置信息嵌入到注意力机制中。
通过对卷积网络的研究得知，随着模型层数的加深，池化层会逐步丢失大量有价值的信息。越深层的特征包含的语义性更强、分辨能力也越强，即高层特征虽然具有更好的语义信息，但其分辨率低，对细节的感知力较差。而底层特征尽管经过较少的卷积层，语义性低且噪声多，但其特征分辨率更高，包含更多的细节信息，目标位置明确。使用底层的卷积网络提取底层特征，并连续使用卷积层和双向GRU层提取高层特征，之后将底层特征和高层特征分别作为注意力机制的查询向量(query)和键向量(key)，进行特征融合，从而将电力变压器声纹数据中的位置信息通过特征融合的方法嵌入到注意力机制中。该故障诊断模型通过对低层特征和高层特征的高效融合和注意力机制位置信息的融合，提高了在噪声影响下变压器故障诊断的准确率。
作为本实施例一种可能的实现方式，所述声纹信号为通过声阵列设备采集的待测电力变压器的声纹信号。
作为本实施例一种可能的实现方式，所述对采集的声纹信号数据进行预处理并划分训练集和测试集，包括：
对采集的声纹信号数据进行切片处理，获得数据集；
将变压器的声纹信号数据的赋予标签，并转换为独热编码；
利用NumPy产生一个随机数列，利用该随机数列将切片后的数据以及标签打乱，并划分训练集和测试集。
作为本实施例一种可能的实现方式，所述训练集和测试集的样本数据比例为4:1。
作为本实施例一种可能的实现方式，所述故障诊断模型的建立过程为：
将卷积神经网络的两个卷积层和一个池化层封装为CFE模块，将双向求和GRU和注意力机制封装为GAT模块，所述的CFE和GAT模块各有三个且一一相对应；
将每一个CFE模块的输出特征作为目标域，并作为相对应的GAT中注意力机制的query；
将最后一个CFE模块的输出连接到第一个GAT模块中的双向GRU，并计算双向GRU的向量和；
将双向求和GRU网络的输出作为源域，并作为相对应注意力机制中的key；
对建立的模型进行训练学习，得到最终的故障诊断模型。
将数据经过三个CFE模块提取到的高层特征连接到首个GAT模块，首先经过双向求和GRU网络，其输出通过add将特征叠加，使数据的维度本身不变的情况下，增强每一个维度的特征强度，更有利于故障诊断。
作为本实施例一种可能的实现方式，所述CFE模块的建立过程为：构建一个轻量级的卷积网络，所述卷积网络由六个卷积层和三个池化层组成，由两个卷积层和一个池化层组成一个CFE模块；
所述卷积层的卷积运算表达式为：
(1)
其中，表示第l层的输出;/>表示第/>层第i个通道的输出；/>表示/>层的第c个通道；/>和/>分别表示权重和偏置；
每个卷积层都采用线性整流函数ReLU作为激活函数，且在每一个卷积层中激活一半的神经元；
ReLU函数表达式为：
(2)
所述池化层的池化计算表达式为：
(3)
其中，表示第l层第i个通道第t个神经元的值；S表示池化内核的大小；/>表示第l层第i个通道的第j个神经元的值。
作为本实施例一种可能的实现方式，所述GAT模块的建立过程为：
定义GRU的网络的重置门和更新门：
(4)
(5)
(6)
(7)
其中，r t和u t分别表示当前时间步的重置门和更新门，为当前时间步输入；/>为上一时间步的隐藏状态，W表示权重矩阵，/>，/>表示重置门和更新门的权重参数，/>，为偏差参数，/>为按元素相乘，/>为GRU的输出，/>为候选隐藏层输出；
在GRU的基础上设置双向求和GRU，双向GRU的输出为：
(8)
(9)
其中，和/>表示正向GRU隐藏状态和输入的权重矩阵，/>为正向GRU的偏置项；/>和/>表示反向GRU隐藏状态和输入的权重矩阵，/>为反向GRU的偏置项；
将两个双向GRU堆叠形成两层不同方向的GRU层，利用Bidirectional函数将两层GRU的结果进行拼接联合：
(10)
其中，为正向GRU输出，/>为反向GRU输出，/>为双向GRU输出。
作为本实施例一种可能的实现方式，所述注意力机制的计算公式为：
(11)
其中，score()表示评价函数，表示注意力分布，即在给定key和query条件下选择第i个输入向量的概率。
如图2所示，本发明实施例提供的一种基于多级注意力和特征融合的变压器故障诊断系统，包括：
数据采集模块，用于实时采集待测电力变压器的声纹信号；
数据预处理模块，用于对采集的声纹信号数据进行预处理并划分训练集和测试集；
故障诊断模块，用于根据采集的待测电力变压器的声纹信号和故障诊断模型，进行变压器故障诊断；
其中，所述故障诊断模型是通过建立卷积神经网络提取数据底层特征，使用底层的卷积网络提取底层特征，并连续使用卷积层和双向GRU层提取高层特征，之后将底层特征和高层特征分别作为注意力机制的查询向量和键向量进行特征融合，从而将电力变压器声纹数据中的位置信息嵌入到注意力机制中。
作为本实施例一种可能的实现方式，所述数据采集模块通过声阵列设备采集待测电力变压器的声纹信号。
作为本实施例一种可能的实现方式，所述数据预处理模块包括：
切片处理模块，用于对采集的声纹信号数据进行切片处理，获得数据集；
标签赋予模块，用于将变压器的声纹信号数据的赋予标签，并转换为独热编码；
样本划分模块，用于利用NumPy产生一个随机数列，利用该随机数列将切片后的数据以及标签打乱，并划分训练集和测试集。
作为本实施例一种可能的实现方式，所述训练集和测试集的样本数据比例为4:1。
作为本实施例一种可能的实现方式，所述故障诊断模块建立故障诊断模型的过程为：
将卷积神经网络的两个卷积层和一个池化层封装为CFE模块，将双向求和GRU和注意力机制封装为GAT模块，所述的CFE和GAT模块各有三个且一一相对应；
将每一个CFE模块的输出特征作为目标域，并作为相对应的GAT中注意力机制的query；
将最后一个CFE模块的输出连接到第一个GAT模块中的双向GRU，并计算双向GRU的向量和；
将双向求和GRU网络的输出作为源域，并作为相对应注意力机制中的key；
对建立的模型进行训练学习，得到最终的故障诊断模型。
作为本实施例一种可能的实现方式，所述故障诊断模块建立CFE模块的过程为：构建一个轻量级的卷积网络，所述卷积网络由六个卷积层和三个池化层组成，由两个卷积层和一个池化层组成一个CFE模块；
所述卷积层的卷积运算表达式为：
(1)
其中，表示第l层的输出;/>表示第/>层第i个通道的输出；/>表示/>层的第c个通道；/>和/>分别表示权重和偏置；
每个卷积层都采用线性整流函数ReLU作为激活函数，且在每一个卷积层中激活一半的神经元；
ReLU函数表达式为：
(2)
所述池化层的池化计算表达式为：
(3)
其中，表示第l层第i个通道第t个神经元的值；S表示池化内核的大小；/>表示第l层第i个通道的第j个神经元的值。
作为本实施例一种可能的实现方式，所述故障诊断模块建立GAT模块的过程为：
定义GRU的网络的重置门和更新门：
(4)
(5)
(6)
(7)
其中，r t和u t分别表示当前时间步的重置门和更新门，为当前时间步输入；/>为上一时间步的隐藏状态，W表示权重矩阵，/>，/>表示重置门和更新门的权重参数，/>，为偏差参数，/>为按元素相乘，/>为GRU的输出，/>为候选隐藏层输出；
在GRU的基础上设置双向求和GRU，双向GRU的输出为：
(8)
(9)
其中，和/>表示正向GRU隐藏状态和输入的权重矩阵，/>为正向GRU的偏置项；/>和/>表示反向GRU隐藏状态和输入的权重矩阵，/>为反向GRU的偏置项；
将两个双向GRU堆叠形成两层不同方向的GRU层，利用Bidirectional函数将两层GRU的结果进行拼接联合：
(10)
其中，为正向GRU输出，/>为反向GRU输出，/>为双向GRU输出。
作为本实施例一种可能的实现方式，所述注意力机制的计算公式为：
(11)
其中，score()表示评价函数，表示注意力分布，即在给定key和query条件下选择第i个输入向量的概率。
如图3所示，利用所述系统进行变压器故障诊断的具体过程如下。
步骤1，采集待测变压器的声纹信号。
利用声纹信号完成故障诊断，利用声纹信号采集设备采集变压器的信号，电力变压器内部故障时，空气震动产生得声纹信号特征会相应改变。相比于单麦克风噪声采集系统，声阵列设备可有效避免背景噪声和外界干扰, 通过声阵列设备对故障声纹信号进行采集。
步骤2，对采集的声纹数据进行预处理。
对采集的声纹数据进行切片预处理，选取合适的训练样本L，为了提高数据间的相关性，提取到足够的特征，取L=5000；
将变压器的声纹信号的赋予标签，并将其转换为独热编码；
划分训练集测试集，利用NumPy产生一个随机数列，利用该随机数列将切片后的数据以及标签打乱，消除数据间的相关性。并将数据集的80%划分为训练集，20%划分为测试集。NumPy是Python语言的一个矩阵及多维数组计算库。
步骤3，训练故障诊断模型。
其中，故障诊断模型是在卷积和注意力机制的基础上，将两个卷积层和一个池化层封装为CFE模块，将双向求和GRU和注意力机制封装为GAT模块，各有三个相对应的CFE和GAT模块。选择不同CFE模块的输出作为相对应的GAT中注意力机制的query，将最后一个CFE模块的输出连接到第一个GAT模块中的双向GRU，并计算双向GRU的向量和，结果作为相对应注意力机制中的key，模型连接方式如图4，进行训练学习，从而优化诊断效果。
具体的，包括以下内容：
建立CFE模块：构建一个轻量级的卷积网络，该网络由六个卷积层和三个池化层组成，其中每两个卷积层和一个池化层组成一个卷积特征提取(Convolution featureextraction, CFE)模块，网络共有三个CFE模块，如图5所示。通过叠加多层卷积运算，使得网络可以从低层特征提取出更全局的特征表示。为了使低层的网络获得足够的长距离相关的特征，采用变化的卷积核和池大小，卷积模块的卷积核大小分别设为1x9，1x6，1x3，同时为了减少多通道带来的多参数问题，设置通道数从32逐步增加到128。逐步提取更高层次的特征，并将不同层次的特征连接到不同的GAT模块，如图6所示。
卷积运算表达式：
(1)
其中，表示第l层的输出;/>表示第/>层第i个通道的输出；/>表示/>层的第c个通道；/>和/>分别表示权重和偏置。
每个卷积层都采用线性整流函数ReLU作为激活函数，在每一层中仅仅激活一半的神经元，从而提高模型的训练速度，抑制梯度消失现象，而ReLU函数虽然是线性函数，但可以表现出非线性的特征，增强模型的泛化能力。有公式(2)：
(2)
池化层在卷积层后进行特征选择，降低特征数量，减少训练参数，缓解过拟合现象。采用最大池化，计算表达式为公式(3)：
(3)
其中，表示第l层第i个通道第t个神经元的值；S表示池化内核的大小；/>表示第l层第i个通道的第j个神经元的值。
前一个卷积模块的输出作为下一个卷积模块的输入，同时每个卷积模块第二个卷积层输出作为注意力层的query，来计算注意力分布。
建立GAT模块：GRU的网络结构如图7所示，定义了两个门控：重置门（Reset gate）和更新门（upset gate），两者联动互补，用来忘记过去的信息，保证信息的平衡。其计算和更新过程如公式(4)-(7)所示：
(4)
(5)
(6)
(7)
其中，r t和u t分别表示当前时间步的重置门和更新门，为当前时间步输入；/>为上一时间步的隐藏状态，W表示权重矩阵，/>，/>表示重置门和更新门的权重参数，/>，为偏差参数，/>为按元素相乘，/>为GRU的输出，/>为候选隐藏层输出；tanh为激活函数。为sigmoid非线性激活函数，可将元素的值缩放至[0,1]，因此重置门r t和更新门u t中的每个元素的值域都是[0,1]。
为了更好的处理时序信息，在GRU的基础上，提出了双向求和GRU，双向GRU的输出可以表示为公式(8)，(9)：
(8)
(9)
其中，和/>表示正向GRU隐藏状态和输入的权重矩阵，/>为正向GRU的偏置项；/>和/>表示反向GRU隐藏状态和输入的权重矩阵，/>为反向GRU的偏置项。在此处，将两个双向GRU堆叠形成双向GRU层，以实现模型中进一步的特征提取和选择，通常BiGRU层的定义，是在定义两层不同方向的GRU层之后，利用Bidirectional函数将两层GRU的结果进行拼接联合。由于两个方向上的GRU的输出特征具有良好的互补性，且对应通道的特征语义类似，add将两层GRU的特征信息进行叠加融和，叠加之后的特征本身的维度不变，而每一个维度的特征强度增加了，这有利于故障的分类。同时，相比于向量拼接，选用向量求和还可以减少参数和计算量，双向求和GRU结构如图8所示，计算公式如公式(10)：
(10)
如图8所示，将分别代入公式（8）和（9）进行双向求和GRU，得到正向GRU层/>和反向GRU层/>，然后将正向GRU层/>和反向GRU层代入公式求解得到双向GRU输出/>。
选择不同CFE模块的输出作为相对应的GAT中注意力机制的目标域，目标域中的每个元素作为query；将最后一个CFE模块的输出连接到第一个GAT模块中的双向GRU，并计算双向GRU的向量和，结果作为相对应注意力机制中的源域，源域中的每个元素作为key；模型连接方式如图4所示，注意力机制的计算流程如图9所示，图9中，score()为评价函数，q为查询向量，key1、key2、key3和key4为键向量，value1、value2、value3和value4为值向量，softmax为Sofmax分类器。计算公式如公式(11)：
(11)
score()表示评价函数，表示注意力分布，即在给定key和query条件下选择第i个输入向量的概率。得到每个元素的注意力分布后，使用公式(12)得到注意力数值：
(12)
本发明满足key和query长度相同，因此评价函数score()采取点积计算两个信号的相关。其计算公式描述为公式(13)：
(13)
其中q为query，key为Bigru层的输出结果，即两个方向相反的GRU输出向量和。
模型编译时，优化器采用Adam优化器进行模型参数的学习，公式为(16)-(18)：
(16)
(17)
(18)
其中，表示梯度；各参数设置如下：/>，/>，/>;
使用交叉熵函数作为损失函数，来说明模型的预测值和真实值的差异程度。有公式(19)：
(19)/>
其中，m为批量样本的数目；n是样本所属类别；为期望样本输出；/>为样本的实际输出。
步骤4，利用故障诊断模型进行故障测试，输出故障诊断结果。
模型训练好后，将声纹数据输入模型中，即可得到最终的诊断结果。
本发明提供了一种基于多级注意力引导全局特征融合的变压器故障诊断方法，获取待测变压器的声纹信号，根据获取的变压器声纹信号和故障诊断模型，得到故障诊断结果。其中，故障诊断模型是基于变压器不同故障类型的声纹信号构成训练集和测试集进行训练、测试得到的，故障诊断模型首先建立卷积神经网络提取数据特征，利用低层特征分辨率高包含更多的位置细节信息而噪声多，高层特征具有更高的语义信息而分辨率低对细节的感知力差的特点，对低层和高层特征处理融合，从而提高了模型训练效果。封装基于卷积池化层的CFE模块和基于双向求和GRU及注意力层的GAT模块，并基于两种模块提出了一种新型的基于多级注意力引导全局特征融合神经网络(CFE-GATs)的优化模型。
本发明实施例提供的一种计算机设备，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述装置运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述任意基于多级注意力和特征融合的变压器故障诊断方法的步骤。
具体地，上述存储器和处理器能够为通用的存储器和处理器，这里不做具体限定，当处理器运行存储器存储的计算机程序时，能够执行上述基于多级注意力和特征融合的变压器故障诊断方法。
本领域技术人员可以理解，所述计算机设备的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。
在一些实施例中，该计算机设备还可以包括触摸屏可用于显示图形用户界面（例如，应用程序的启动界面）和接收用户针对图形用户界面的操作（例如，针对应用程序的启动操作）。具体的触摸屏可包括显示面板和触控面板。其中显示面板可以采用LCD(LiquidCrystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置。触控面板可收集用户在其上或附近的接触或者非接触操作，并生成预先设定的操作指令，例如，用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作。另外，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位、姿势，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成处理器能够处理的信息，再送给处理器，并能接收处理器发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板，也可以采用未来发展的任何技术实现触控面板。进一步的，触控面板可覆盖显示面板，用户可以根据显示面板显示的图形用户界面，在显示面板上覆盖的触控面板上或者附近进行操作，触控面板检测到在其上或附近的操作后，传送给处理器以确定用户输入，随后处理器响应于用户输入在显示面板上提供相应的视觉输出。另外，触控面板与显示面板可以作为两个独立的部件来实现也可以集成而来实现。
对应于上述应用程序的启动方法，本发明实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述任意基于多级注意力和特征融合的变压器故障诊断方法的步骤。
本申请实施例所提供的应用程序的启动装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (16)
1.一种基于多级注意力和特征融合的变压器故障诊断方法，其特征在于，包括以下步骤：
实时采集待测电力变压器的声纹信号；
对采集的声纹信号数据进行预处理并划分训练集和测试集；
根据采集的待测电力变压器的声纹信号和故障诊断模型，进行变压器故障诊断；
其中，所述故障诊断模型是通过建立卷积神经网络提取数据底层特征，使用底层的卷积网络提取底层特征，并连续使用卷积层和双向GRU层提取高层特征，之后将底层特征和高层特征分别作为注意力机制的查询向量和键向量进行特征融合，从而将电力变压器声纹数据中的位置信息嵌入到注意力机制中。
2.根据权利要求1所述的基于多级注意力和特征融合的变压器故障诊断方法，其特征在于，所述声纹信号为通过声阵列设备采集的待测电力变压器的声纹信号。
3.根据权利要求1所述的基于多级注意力和特征融合的变压器故障诊断方法，其特征在于，所述对采集的声纹信号数据进行预处理并划分训练集和测试集，包括：
对采集的声纹信号数据进行切片处理，获得数据集；
将变压器的声纹信号数据的赋予标签，并转换为独热编码；
利用NumPy产生一个随机数列，利用该随机数列将切片后的数据以及标签打乱，并划分训练集和测试集。
4.根据权利要求1-3任意一项所述的基于多级注意力和特征融合的变压器故障诊断方法，其特征在于，所述故障诊断模型的建立过程为：
将卷积神经网络的两个卷积层和一个池化层封装为CFE模块，将双向求和GRU和注意力机制封装为GAT模块，所述的CFE和GAT模块各有三个且一一相对应；
将每一个CFE模块的输出特征作为目标域，并作为相对应的GAT中注意力机制的查询向量；
将最后一个CFE模块的输出连接到第一个GAT模块中的双向GRU，并计算双向GRU的向量和；
将双向求和GRU网络的输出作为源域，并作为相对应注意力机制中的键向量；
对建立的模型进行训练学习，得到最终的故障诊断模型。
5.根据权利要求4所述的基于多级注意力和特征融合的变压器故障诊断方法，其特征在于，所述CFE模块的建立过程为：构建一个轻量级的卷积网络，所述卷积网络由六个卷积层和三个池化层组成，由两个卷积层和一个池化层组成一个CFE模块；
所述卷积层的卷积运算表达式为：
(1)
其中，表示第l层的输出;/>表示第/>层第i个通道的输出；/>表示/>层的第c个通道；/>和/>分别表示权重和偏置；
每个卷积层都采用线性整流函数ReLU作为激活函数，且在每一个卷积层中激活一半的神经元；
ReLU函数表达式为：
(2)
所述池化层的池化计算表达式为：
(3)
其中，表示第l层第i个通道第t个神经元的值；S表示池化内核的大小；/>表示第l层第i个通道的第j个神经元的值。
6.根据权利要求4所述的基于多级注意力和特征融合的变压器故障诊断方法，其特征在于，所述GAT模块的建立过程为：
定义GRU的网络的重置门和更新门：
(4)
(5)
(6)
(7)
其中，r t和u t分别表示当前时间步的重置门和更新门，为当前时间步输入；/>为上一时间步的隐藏状态，W表示权重矩阵，/>，/>表示重置门和更新门的权重参数，/>，/>为偏差参数，/>为按元素相乘，/>为GRU的输出，/>为候选隐藏层输出；
在GRU的基础上设置双向求和GRU，双向GRU的输出为：
(8)
(9)
其中，和/>表示正向GRU隐藏状态和输入的权重矩阵，/>为正向GRU的偏置项；/>和/>表示反向GRU隐藏状态和输入的权重矩阵，/>为反向GRU的偏置项；
将两个双向GRU堆叠形成两层不同方向的GRU层，利用Bidirectional函数将两层GRU的结果进行拼接联合：
(10)
其中，为正向GRU输出，/>为反向GRU输出，/>为双向GRU输出。
7.根据权利要求4所述的基于多级注意力和特征融合的变压器故障诊断方法，其特征在于，所述注意力机制的计算公式为：
(11)
其中，score()表示评价函数，表示注意力分布，即在给定key和query条件下选择第i个输入向量的概率，key为键向量，query为查询向量。
8.一种基于多级注意力和特征融合的变压器故障诊断系统，其特征在于，包括：
数据采集模块，用于实时采集待测电力变压器的声纹信号；
数据预处理模块，用于对采集的声纹信号数据进行预处理并划分训练集和测试集；
故障诊断模块，用于根据采集的待测电力变压器的声纹信号和故障诊断模型，进行变压器故障诊断；
其中，所述故障诊断模型是通过建立卷积神经网络提取数据特征，利用低层特征分辨率高包含更多的位置细节信息而噪声多和高层特征具有更高的语义信息而分辨率低对细节的感知力差的特点，对低层特征和高层特征进行融合处理，并基于变压器不同故障类型的声纹信号构成训练集和测试集进行训练、测试得到的。
9.根据权利要求8所述的基于多级注意力和特征融合的变压器故障诊断系统，其特征在于，所述数据采集模块通过声阵列设备采集待测电力变压器的声纹信号。
10.根据权利要求8所述的基于多级注意力和特征融合的变压器故障诊断系统，其特征在于，所述数据预处理模块包括：
切片处理模块，用于对采集的声纹信号数据进行切片处理，获得数据集；
标签赋予模块，用于将变压器的声纹信号数据的赋予标签，并转换为独热编码；
样本划分模块，用于利用NumPy产生一个随机数列，利用该随机数列将切片后的数据以及标签打乱，并划分训练集和测试集。
11.根据权利要求8-10任意一项所述的基于多级注意力和特征融合的变压器故障诊断系统，其特征在于，所述故障诊断模块建立故障诊断模型的过程为：
将卷积神经网络的两个卷积层和一个池化层封装为CFE模块，将双向求和GRU和注意力机制封装为GAT模块，所述的CFE和GAT模块各有三个且一一相对应；
将每一个CFE模块的输出特征作为目标域，并作为相对应的GAT中注意力机制的查询向量；
将最后一个CFE模块的输出连接到第一个GAT模块中的双向GRU，并计算双向GRU的向量和；
将双向求和GRU网络的输出作为源域，并作为相对应注意力机制中的key；
对建立的模型进行训练学习，得到最终的故障诊断模型。
12.根据权利要求11所述的基于多级注意力和特征融合的变压器故障诊断系统，其特征在于，所述故障诊断模块建立CFE模块的过程为：构建一个轻量级的卷积网络，所述卷积网络由六个卷积层和三个池化层组成，由两个卷积层和一个池化层组成一个CFE模块；
所述卷积层的卷积运算表达式为：
(1)
其中，表示第l层的输出;/>表示第/>层第i个通道的输出；/>表示/>层的第c个通道；/>和/>分别表示权重和偏置；
每个卷积层都采用线性整流函数ReLU作为激活函数，且在每一个卷积层中激活一半的神经元；
ReLU函数表达式为：
(2)
所述池化层的池化计算表达式为：
(3)
其中，表示第l层第i个通道第t个神经元的值；S表示池化内核的大小；/>表示第l层第i个通道的第j个神经元的值。
13.根据权利要求11所述的基于多级注意力和特征融合的变压器故障诊断系统，其特征在于，所述故障诊断模块建立GAT模块的过程为：
定义GRU的网络的重置门和更新门：
(4)
(5)
(6)
(7)
其中，r t和u t分别表示当前时间步的重置门和更新门，为当前时间步输入；/>为上一时间步的隐藏状态，W表示权重矩阵，/>，/>表示重置门和更新门的权重参数，/>，/>为偏差参数，/>为按元素相乘，/>为GRU的输出，/>为候选隐藏层输出；
在GRU的基础上设置双向求和GRU，双向GRU的输出为：
(8)
(9)
其中，和/>表示正向GRU隐藏状态和输入的权重矩阵，/>为正向GRU的偏置项；/>和/>表示反向GRU隐藏状态和输入的权重矩阵，/>为反向GRU的偏置项；
将两个双向GRU堆叠形成两层不同方向的GRU层，利用Bidirectional函数将两层GRU的结果进行拼接联合：
(10)
其中，为正向GRU输出，/>为反向GRU输出，/>为双向GRU输出。
14.根据权利要求11所述的基于多级注意力和特征融合的变压器故障诊断系统，其特征在于，所述注意力机制的计算公式为：
(11)
其中，score()表示评价函数，表示注意力分布，即在给定key和query条件下选择第i个输入向量的概率，key为键向量，query为查询向量。
15.一种计算机设备，其特征在于，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-7任一所述的基于多级注意力和特征融合的变压器故障诊断方法的步骤。
16.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-7任一所述的基于多级注意力和特征融合的变压器故障诊断方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310677308.9A CN116434777B (zh) | 2023-06-09 | 2023-06-09 | 基于多级注意力和特征融合的变压器故障诊断方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310677308.9A CN116434777B (zh) | 2023-06-09 | 2023-06-09 | 基于多级注意力和特征融合的变压器故障诊断方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116434777A CN116434777A (zh) | 2023-07-14 |
| CN116434777B true CN116434777B (zh) | 2023-10-20 |
Family
ID=87085759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310677308.9A Active CN116434777B (zh) | 2023-06-09 | 2023-06-09 | 基于多级注意力和特征融合的变压器故障诊断方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116434777B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094705B (zh) * | 2023-10-19 | 2024-01-02 | 国网安徽省电力有限公司电力科学研究院 | 一种应用于高压开关柜缺陷预测的方法、系统及设备 |
| CN117292716B (zh) * | 2023-11-24 | 2024-02-06 | 国网山东省电力公司济南供电公司 | 基于声纹与红外特征融合的变压器故障诊断方法与系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102189269B1 (ko) * | 2019-10-22 | 2020-12-09 | 경북대학교 산학협력단 | 컨볼루션 신경망을 이용한 유도 모터의 결함 진단방법 및 시스템 |
| CN114283847A (zh) * | 2021-11-22 | 2022-04-05 | 国网河南省电力公司电力科学研究院 | 一种基于cnn+lstm的变压器铁芯部件松动识别方法及装置 |
| CN114660375A (zh) * | 2021-11-24 | 2022-06-24 | 国网青海省电力公司海南供电公司 | 一种电力设备故障的辨识方法 |
| CN114926754A (zh) * | 2022-04-18 | 2022-08-19 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像检测方法、存储介质及处理器 |
| CN115497501A (zh) * | 2022-11-18 | 2022-12-20 | 国网山东省电力公司济南供电公司 | 基于sw-music的变压器故障声纹定位方法及系统 |
| CN115758212A (zh) * | 2022-11-10 | 2023-03-07 | 四川轻化工大学 | 一种基于并行网络和迁移学习的机械设备故障诊断方法 |
| CN115932657A (zh) * | 2022-01-04 | 2023-04-07 | 中国电力科学研究院有限公司 | 一种变压器综合分析方法、装置、终端及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11184218B2 (en) * | 2019-09-25 | 2021-11-23 | Microsoft Technology Licensing, Llc | Service issue prioritisation based on impact using software telemetry |
| CN111785287B (zh) * | 2020-07-06 | 2022-06-07 | 北京世纪好未来教育科技有限公司 | 说话人识别方法、装置、电子设备及存储介质 |
| CN112710969B (zh) * | 2020-12-18 | 2021-11-09 | 武汉大学 | 一种单相半桥五电平逆变器开关管开路故障诊断方法 |
-
2023
- 2023-06-09 CN CN202310677308.9A patent/CN116434777B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102189269B1 (ko) * | 2019-10-22 | 2020-12-09 | 경북대학교 산학협력단 | 컨볼루션 신경망을 이용한 유도 모터의 결함 진단방법 및 시스템 |
| CN114283847A (zh) * | 2021-11-22 | 2022-04-05 | 国网河南省电力公司电力科学研究院 | 一种基于cnn+lstm的变压器铁芯部件松动识别方法及装置 |
| CN114660375A (zh) * | 2021-11-24 | 2022-06-24 | 国网青海省电力公司海南供电公司 | 一种电力设备故障的辨识方法 |
| CN115932657A (zh) * | 2022-01-04 | 2023-04-07 | 中国电力科学研究院有限公司 | 一种变压器综合分析方法、装置、终端及存储介质 |
| CN114926754A (zh) * | 2022-04-18 | 2022-08-19 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像检测方法、存储介质及处理器 |
| CN115758212A (zh) * | 2022-11-10 | 2023-03-07 | 四川轻化工大学 | 一种基于并行网络和迁移学习的机械设备故障诊断方法 |
| CN115497501A (zh) * | 2022-11-18 | 2022-12-20 | 国网山东省电力公司济南供电公司 | 基于sw-music的变压器故障声纹定位方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于多特征声纹图谱的变压器绕组松动在线故障 诊断方法;马宏忠等;电机与控制学报;全文 * |
| 基于通道注意力与残差卷积神经网络的变压器故障诊断;王陈恩等;黑龙江电力;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116434777A (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112131760B (zh) | 基于cbam模型的航空发动机剩余寿命预测方法 | |
| CN116434777B (zh) | 基于多级注意力和特征融合的变压器故障诊断方法及系统 | |
| CN112783940B (zh) | 基于图神经网络的多源时序数据故障诊断方法和介质 | |
| CN101063643B (zh) | 飞机故障智能诊断方法及系统 | |
| CN109977918A (zh) | 一种基于无监督域适应的目标检测定位优化方法 | |
| CN108596327B (zh) | 一种基于深度学习的地震速度谱人工智能拾取方法 | |
| CN114970605A (zh) | 一种多模态特征融合神经网络的制冷设备故障诊断方法 | |
| CN108921285A (zh) | 基于双向门控循环神经网络的序列中单一元素分类方法 | |
| CN113869563A (zh) | 一种基于故障特征迁移的航空涡扇发动机剩余寿命预测方法 | |
| CN108628164A (zh) | 一种基于循环神经网络模型的工业过程半监督软测量方法 | |
| CN113884844A (zh) | 一种变压器局部放电类型识别方法及系统 | |
| CN113203914A (zh) | 基于dae-cnn的地下电缆早期故障检测和识别方法 | |
| CN116399579A (zh) | 变压器机械故障诊断方法、装置、计算机设备及存储介质 | |
| CN115906949A (zh) | 一种石油管道故障诊断方法及系统、存储介质和石油管道故障诊断设备 | |
| KR102404498B1 (ko) | 적응적 시간-주파수 표현 기반 합성곱 신경망을 활용한 산업용 기어박스 고장진단 장치 및 방법 | |
| Zhou et al. | Functional networks and applications: A survey | |
| CN117390407B (zh) | 变电站设备的故障识别方法、系统、介质和设备 | |
| Li et al. | Transformer-based meta learning method for bearing fault identification under multiple small sample conditions | |
| CN106503066A (zh) | 基于人工智能的处理搜索结果方法和装置 | |
| CN113111786A (zh) | 基于小样本训练图卷积网络的水下目标识别方法 | |
| CN117292716A (zh) | 基于声纹与红外特征融合的变压器故障诊断方法与系统 | |
| CN114385619B (zh) | 一种多通道海洋观测时序标量数据缺失值预测方法及系统 | |
| CN116011507A (zh) | 融合元学习与图神经网络的稀有故障诊断方法 | |
| CN115512214A (zh) | 一种基于因果注意力的室内视觉导航方法 | |
| Fan et al. | Construction of a neural network and its application on target classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |