CN116825131A - 融合频带自向下注意力机制的电厂设备状态听觉监测方法 - Google Patents

融合频带自向下注意力机制的电厂设备状态听觉监测方法 Download PDF

Info

Publication number
CN116825131A
CN116825131A CN202211214042.6A CN202211214042A CN116825131A CN 116825131 A CN116825131 A CN 116825131A CN 202211214042 A CN202211214042 A CN 202211214042A CN 116825131 A CN116825131 A CN 116825131A
Authority
CN
China
Prior art keywords
sound
mel
layer
attention mechanism
band self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211214042.6A
Other languages
English (en)
Inventor
陈满
姚建超
赵增涛
张晖
陈弘昊
张豪
窦博文
李重阳
林伟杰
郑春
叶超欣
黄璐琦
吴盛彪
徐添
何健辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Energy Storage Research Institute Of China Southern Power Grid Peak Regulation And Frequency Regulation Power Generation Co ltd
Original Assignee
Energy Storage Research Institute Of China Southern Power Grid Peak Regulation And Frequency Regulation Power Generation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Energy Storage Research Institute Of China Southern Power Grid Peak Regulation And Frequency Regulation Power Generation Co ltd filed Critical Energy Storage Research Institute Of China Southern Power Grid Peak Regulation And Frequency Regulation Power Generation Co ltd
Priority to PCT/CN2022/135718 priority Critical patent/WO2023245991A1/zh
Publication of CN116825131A publication Critical patent/CN116825131A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了融合频带自向下注意力机制的电厂设备状态听觉监测方法。所述方法包括以下步骤：设置声音传感器，获取电气设备运行的声音；对电气设备运行的声音进行预处理，得到预处理后的声音数据；对预处理后的声音数据进行频带自向下注意力机制处理；进行卷积神经网络识别，得到识别结果。本发明提出的方法解决了传统声音监测方法需要深度挖掘不同电气设备运行状态声音特征从而导致难度大、效率低的问题；本发明提出的方法解决了机器学习方法直接套用从而导致样本需求大、训练次数多的问题；本发明提出的新的频带自向下注意力机制，结合电气设备运行声音的特点，对梅尔频谱图中集中向下蔓延的区域惊醒关注，识别效果更好，训练次数更少。

Description

融合频带自向下注意力机制的电厂设备状态听觉监测方法
技术领域
本发明涉及计算机听觉技术领域，具体涉及融合频带自向下注意力机制的电厂设备状态听觉监测方法。
背景技术
计算机听觉技术主要针对非人声进行识别与处理，包括结合音乐领域知识的音乐信号处理和其他领域知识的音频信息处理。计算机听觉技术是一个基于音频信号处理和机器学习、对数字声音与音乐的内容进行理解和分析的学科，是使用计算方法对数字化声音与音乐内容进行理解和分析的交叉学科，主要基础学科是音频信号处理和机器学习。当前，计算机听觉技术的发展方向主要分为2个类别：面向音乐的计算机听觉技术和面向环境声的计算机听觉技术(可称为基于一般音频的计算机听觉技术)。
计算机听觉技术的应用特点主要体现在：在传统音频信号处理的基础上，提取音频特征，结合机器学习算法(主要是模式识别方法)完成状态监测与故障诊断。在工业领域，计算机听觉技术也有很多的研究与应用，根据设备运转噪声进行故障诊断，主要进行声目标识别的应用。
在电力领域，电力设备在运行过程中，由于机械振动会产生声音，正常运行下的声音一般具有一定的规律性，但当设备发生某种故障后，由于运行状态或运行结构改变，其声音也会随之改变，比如出现机械故障时，其振动特性或部分频段内的振动能量将发生改变，同时会伴随刺耳或尖锐的噪声。此外，设备的超负荷运行或其他故障也会引起异常的声音变化。因此，电力设备的声音信号包含许多运行状态信息，具有丰富经验的工程师可以根据现场设备的异常声音，通过音色、音量、音高等音频特征的变化判断出设备是否处于不正常运行状态，甚至判别出故障的类型和严重程度。
现有技术中，传统电气设备声音监测方法具体如下：
由于旋转设备的工作状态与运行环境等条件导致的目标声信号夹杂大量的噪声信号，当计算机听觉技术用于旋转设备的状态监测时，大多结合频谱分析或小波变换等传统音频处理方法([1]胡胜，郝剑波，罗忠启，等.基于噪声频段提取的水轮发电机故障诊断方法[J].大电机技术，2017(6):25-29)来判断设备故障是否存在，再通过WPT、EMD或MFCC等音频特征提取复杂算法进行处理，最后采用HMM或SVM等传统分类器完成状态监测与故障预警任务。旋转设备的声信号处理一般会与传统的振动信号等其他监测参数结合，音频信号分析的结果用于辅助判断，使基于振动信号分析的结果更加可靠。但目前仍没有统一、可靠的设备声信号处理算法能够应用于电力系统的全部设备，需要结合设备自身运行特点与工作状态选择不同的声信号特征提取方法，在应用中大多采用传统的音频信号处理技术。
与旋转设备相比，非旋转设备主要包括电厂的小型设备或变电站的一、二次设备，由于没有高功率旋转装置的运行，具有振动幅度小、环境噪音小等特点。由上述分析可以看出，通过设备声信号进行状态监测的非旋转设备不需要其他辅助信息的帮助即可完成状态监测任务；同时由于非旋转设备大多在空旷环境中运行，处理难度相对简单，故非旋转设备的音频处理仅需要FFT、STFT或WA等传统时频域算法提取特征，并通过VQ、自相关系数或模糊聚类等数学统计算法进行状态分类就能够满足基本监测要求。但当前算法的应用降低了音频处理技术与机器学习算法的结合度，不利于状态监测识别率与稳定性的提高。
现有技术中，基于机器学习的电气设备声音监测方法具体如下：
基于声音的在线监测是一种简单可靠的非侵入性监测方法,不会干扰电气设备的正常运行,并可以良好地反映电气设备的工作状态和异常情况。电气设备种类多、结构复杂、故障类型多样,难以直接根据声音推断出健康状况。采用机器学习方法对电气设备进行声学异常监测受到了广泛的关注，深度学习技术比传统机器学习通常需要更多数据进行训练,但也不会因为数据规模、特征维度过大而显著增大训练难度,在线运行时仅需要神经网络的前向传播,具有很高的计算效率。然而,将深度学习技术应用于无/半监督的异常监测,还处于刚起步阶段。目前深度学习异常检测方法([3]梁延昌.基于机器学习的变压器声学异常检测方法研究[D].华北电力大学(北京))包括自编码器、变分自编码器、单目标生成对抗式主动学习和多目标生成对抗式主动学习。主成分分析和自编码器原理类似,主成分分析是使用线性代数技术的向量线性组合，而自动编码器是使用深度神经网络技术的向量非线性组合。变分自编码器在计算异常分数时使用了概率方法,相对于自编码器更具有可解释性。多目标生成对抗式主动学习在单目标生成对抗式主动学习的基础上使用了多个生成器以提高性能。现有技术通过深度神经网络方法,搭建卷积神经网络和循环神经网络模型,提取声音信号的语谱图和梅尔倒谱系数作为训练样本进行训练。([2]陈明泉.基于声音特征识别的12kV中压开关设备绝缘放电监测研究[D].厦门理工学院,2019.DOI:10.27866/d.cnki.gxlxy.2019.000074.)。
现有电气设备声音监测技术多数采用传统声音监测方法，效率低、难度大，利用机器学习方法需要数据规模大、训练次数多，还处于起步阶段。部分研究通过利用注意力机制提高声音识别效果，未曾结合电厂设备音频构建新注意机制。([4]黄聪.基于频带注意力和多度量学习的说话人识别算法[D].南昌大学,2021.DOI:10.27232/d.cnki.gnchu.2021.001316.)
发明内容
本发明结合发电厂设备声音特性，提出了一种融合频带自向下注意力机制的发电厂设备状态听觉监测方法，训练次数少，所需数据量也有一定程度上的减少。
本发明的目的至少通过如下技术方案之一实现。
融合频带自向下注意力机制的电厂设备状态听觉监测方法，有效解决了当前采用的传统声音监测方法，效率低、难度大以及机器学习方法数据规模大、训练次数多的问题，包括以下步骤：
S1、设置声音传感器，获取电气设备运行的声音；
S2、对电气设备运行的声音进行预处理，得到预处理后的声音数据；
S3、对预处理后的声音数据进行频带自向下注意力机制处理；
S4、进行卷积神经网络识别，得到识别结果。
进一步地，步骤S1中，通过预置声音传感器位置，收集监测的电气设备运行的声音并进行存储。
进一步地，步骤S2中，对电气设备运行的声音进行预处理包括声音时长处理、傅里叶变换以及梅尔频谱变换。
进一步地，所述声音时长处理具体如下：
将完整的一段电气设备运行的音频以设置的时长进行切割分离，若未满足时长要求，则舍去。
进一步地，所述傅里叶变换将声音时长处理得到的每段音频进行时频域变换，将时域信号变为频域信号，具体如下：
其中，f(t)为时域信号，F(ω)为频域信号，i为虚数单位，ω为角频率。
进一步地，所述梅尔频谱变换将傅里叶变换得到的频域信号以梅尔标度为单位进行变换，得到声音信号的梅尔频谱图，具体如下：
其中，f为频率，MEL(f)为梅尔频谱标度下的梅尔频率。
进一步地，步骤S3中，频带自向下注意力机制处理具体如下：
由梅尔频谱图可以看出频带在空间的分布，具有左右分布不均匀、集中在低频段且由往下蔓延的趋势，因此本发明提出了频带自向下注意力机制，能更好关注电气设备的频带向下集中的区域，将梅尔频谱矩阵进行如下的变换，得到一个注意力矩阵，将注意力矩阵与原梅尔频谱矩阵进行元素相乘，具体如下：
M′＝X注意力·M (4)
其中，M为由MEL(f)所组成的梅尔频谱矩阵，M'为经过注意力机制处理后的梅尔频谱矩阵，xj,k为梅尔频谱矩阵中第j行、第k列的数值，xj,k'为向下叠加归一化后的数值，用以构成变换后的注意力矩阵X注意力中的元素，j≤n，k≤m，n和m分别为梅尔频谱矩阵的行数与列数。
进一步地，步骤S4中，卷积神经网络包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和输出层；
输入层输入经过频带自向下注意力机制处理后的梅尔频谱图，第一卷积层设置卷积核为3*3，卷积核个数为32；第一池化层设置窗口大小为2*2，向下采样；第二卷积层设置卷积核为3*3，卷积核个数为64；第二池化层设置窗口大小为2*2，向下采样；第一全连接层设置列表长度为512；第二全连接层设置列表长度为所需监测的电气设备状态数量；输出层的输出为统计后的测试集或验证集的识别准确率。
对卷积神经网络进行训练，将待检测音频的梅尔频谱图作为输入，调用训练好的卷积神经网络，即可得到识别结果。
相比与现有技术，本发明的优点在于：
本发明提出的方法解决了传统声音监测方法需要深度挖掘不同电气设备运行状态声音特征从而导致难度大、效率低的问题；
本发明提出的方法解决了机器学习方法直接套用从而导致样本需求大、训练次数多的问题；
本发明提出的新的频带自向下注意力机制，结合电气设备运行声音的特点，对梅尔频谱图中集中向下蔓延的区域惊醒关注，识别效果更好，训练次数更少。
附图说明
图1为本发明实施例中融合频带自向下注意力机制的电厂设备状态听觉监测方法的步骤流程图；
图2为本发明实施例中的梅尔顿谱图；
图3为本发明实施例中的卷积神经网络结构图；
图4为本发明实施例1中的识别结果示意图；
图5为本发明实施例2中的识别结果示意图。
图6为本发明实施例3中的识别结果示意图。
具体实施方式
上述识别和跟踪方法组合为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他任何未背离本发明的精神实质和原理下所作的修改、修饰、替代、组合、简化，均应为等效的置换方式，都应包含在本发明的保护范围之内。
实施例1：
融合频带自向下注意力机制的电厂设备状态听觉监测方法，有效解决了当前采用的传统声音监测方法，效率低、难度大以及机器学习方法数据规模大、训练次数多的问题，如图1所示，包括以下步骤：
S1、设置声音传感器，获取电气设备运行的声音；
通过预置声音传感器位置，收集监测的电气设备运行的声音，以单通道WAV形式存储。
S2、对电气设备运行的声音进行预处理，得到预处理后的声音数据；
对电气设备运行的声音进行预处理包括声音时长处理、傅里叶变换以及梅尔频谱变换。
所述声音时长处理具体如下：
将完整的一段电气设备运行的音频以0.25ms为时长进行切割分离，若未满足时长要求，则舍去。
所述傅里叶变换将声音时长处理得到的每段音频进行时频域变换，将时域信号变为频域信号，具体如下：
其中，f(t)为时域信号F(ω)为频域信号，i为虚数单位，ω为角频率。
如图2所示，所述梅尔频谱变换将傅里叶变换得到的频域信号以梅尔标度为单位进行变换，得到声音信号的梅尔频谱图，具体如下：
其中，f为频率，MEL(f)为梅尔频谱标度下的梅尔频率。
S3、对预处理后的声音数据进行频带自向下注意力机制处理，具体如下：
由梅尔频谱图可以看出频带在空间的分布，具有左右分布不均匀、集中在低频段且由往下蔓延的趋势，因此本发明提出了频带自向下注意力机制，能更好关注电气设备的频带向下集中的区域，将梅尔频谱矩阵进行如下的变换，得到一个注意力矩阵，将注意力矩阵与原梅尔频谱矩阵进行元素相乘，具体如下：
M′＝X注意力·M (4)
其中，M为由MEL(f)所组成的梅尔频谱矩阵，M'为经过注意力机制处理后的梅尔频谱矩阵，xj,k为梅尔频谱矩阵中第j行、第k列的数值，xj,k'为向下叠加归一化后的数值，用以构成变换后的注意力矩阵X注意力中的元素，j≤n，k≤m，n和m分别为梅尔频谱矩阵的行数与列数。
S4、进行卷积神经网络识别，得到识别结果；
如图3所示，卷积神经网络包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和输出层；
训练数据为2400音频数量，测试数据为600音频数量，时长为25ms。输入层输入经过频带自向下注意力机制处理后的梅尔频谱图，第一卷积层设置卷积核为3*3，卷积核个数为32；第一池化层设置窗口大小为2*2，向下采样；第二卷积层设置卷积核为3*3，卷积核个数为64；第二池化层设置窗口大小为2*2，向下采样；第一全连接层设置列表长度为512；第二全连接层设置列表长度为所需监测的电气设备状态数量；输出层的输出为统计后的测试集或验证集的识别准确率。
对卷积神经网络进行训练，将待检测音频的梅尔频谱图作为输入，调用训练好的卷积神经网络，即可得到识别结果。
识别结果如图4所示。直线为本发明方法的训练识别准确率，横虚线为二层卷积神经网络方法的训练识别准确率。
根据前两次准确率的对比，本发明方法比二层卷积神经网络和三层卷积神经网络有高的准确率，识别效果较好。随着训练迭代数的增加，本发明方法、二层卷积神经网络均逐渐提高准确率
其中，二层卷积神经网络包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和输出层。输入层直接输入梅尔频谱图，第一卷积层设置卷积核为3*3，卷积核个数为32；第一池化层设置窗口大小为2*2，向下采样；第二卷积层设置卷积核为3*3，卷积核个数为64；第二池化层设置窗口大小为2*2，向下采样；第一全连接层设置列表长度为512；第二全连接层设置列表长度为所需监测的电气设备状态数量；输出层的输出为统计后的测试集或验证集的识别准确率。
实施例2：
训练数据为2000音频数量，测试数据为500音频数量，时长为25ms。输入层输入经过频带自向下注意力机制处理后的梅尔频谱图，第一卷积层设置卷积核为3*3，卷积核个数为32；第一池化层设置窗口大小为2*2，向下采样；第二卷积层设置卷积核为3*3，卷积核个数为64；第二池化层设置窗口大小为2*2，向下采样；第一全连接层设置列表长度为512；第二全连接层设置列表长度为所需监测的电气设备状态数量；输出层的输出为统计后的测试集或验证集的识别准确率。
对卷积神经网络进行训练，将待检测音频的梅尔频谱图作为输入，调用训练好的卷积神经网络，即可得到识别结果。
识别结果如图5所示。直线为本发明方法的训练识别准确率，横虚线为二层卷积神经网络方法的训练识别准确率。
根据前两次准确率的对比，本发明方法比二层卷积神经网络有高的准确率，识别效果较好。随着训练迭代数的增加，本发明方法、二层卷积神经网络均逐渐提高准确率
其中，二层卷积神经网络包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和输出层。输入层直接输入梅尔频谱图，第一卷积层设置卷积核为3*3，卷积核个数为32；第一池化层设置窗口大小为2*2，向下采样；第二卷积层设置卷积核为3*3，卷积核个数为64；第二池化层设置窗口大小为2*2，向下采样；第一全连接层设置列表长度为512；第二全连接层设置列表长度为所需监测的电气设备状态数量；输出层的输出为统计后的测试集或验证集的识别准确率。
实施例3：
训练数据为1200音频数量，测试数据为300音频数量，时长为50ms。输入层输入经过频带自向下注意力机制处理后的梅尔频谱图，第一卷积层设置卷积核为3*3，卷积核个数为32；第一池化层设置窗口大小为2*2，向下采样；第二卷积层设置卷积核为3*3，卷积核个数为64；第二池化层设置窗口大小为2*2，向下采样；第一全连接层设置列表长度为512；第二全连接层设置列表长度为所需监测的电气设备状态数量；输出层的输出为统计后的测试集或验证集的识别准确率。
对卷积神经网络进行训练，将待检测音频的梅尔频谱图作为输入，调用训练好的卷积神经网络，即可得到识别结果。
识别结果如图6所示。直线为本发明方法的训练识别准确率，横虚线为二层卷积神经网络方法的训练识别准确率。
根据前两次准确率的对比，本发明方法比二层卷积神经网络有高的准确率，识别效果较好。随着训练迭代数的增加，本发明方法、二层卷积神经网络均逐渐提高准确率。
其中，二层卷积神经网络包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和输出层。输入层直接输入梅尔频谱图，第一卷积层设置卷积核为3*3，卷积核个数为32；第一池化层设置窗口大小为2*2，向下采样；第二卷积层设置卷积核为3*3，卷积核个数为64；第二池化层设置窗口大小为2*2，向下采样；第一全连接层设置列表长度为512；第二全连接层设置列表长度为所需监测的电气设备状态数量；输出层的输出为统计后的测试集或验证集的识别准确率。

Claims (10)

1.融合频带自向下注意力机制的电厂设备状态听觉监测方法，其特征在于，包括以下步骤：
S1、设置声音传感器，获取电气设备运行的声音；
S2、对电气设备运行的声音进行预处理，得到预处理后的声音数据；
S3、对预处理后的声音数据进行频带自向下注意力机制处理；
S4、进行卷积神经网络识别，得到识别结果。
2.根据权利要求1所述的融合频带自向下注意力机制的电厂设备状态听觉监测方法，其特征在于，步骤S1中，通过预置声音传感器位置，收集监测的电气设备运行的声音并进行存储。
3.根据权利要求1所述的融合频带自向下注意力机制的电厂设备状态听觉监测方法，其特征在于，步骤S2中，对电气设备运行的声音进行预处理包括声音时长处理、傅里叶变换以及梅尔频谱变换。
4.根据权利要求3所述的融合频带自向下注意力机制的电厂设备状态听觉监测方法，其特征在于，所述声音时长处理具体如下：
将完整的一段电气设备运行的音频以设置的时长进行切割分离，若未满足时长要求，则舍去。
5.根据权利要求4所述的融合频带自向下注意力机制的电厂设备状态听觉监测方法，其特征在于，所述傅里叶变换将声音时长处理得到的每段音频进行时频域变换，将时域信号变为频域信号，具体如下：
其中，f(t)为时域信号，F(ω)为频域信号，i为虚数单位，ω为角频率。
6.根据权利要求5所述的融合频带自向下注意力机制的电厂设备状态听觉监测方法，其特征在于，所述梅尔频谱变换将傅里叶变换得到的频域信号以梅尔标度为单位进行变换，得到声音信号的梅尔频谱图，具体如下：
其中，f为频率，MEL(f)为梅尔频谱标度下的梅尔频率。
7.根据权利要求1所述的融合频带自向下注意力机制的电厂设备状态听觉监测方法，其特征在于，步骤S3中，频带自向下注意力机制处理具体如下：
将梅尔频谱矩阵进行如下的变换，得到一个注意力矩阵，将注意力矩阵与原梅尔频谱矩阵进行元素相乘，具体如下：
M′＝X注意力·M (4)
其中，M为由MEL(f)所组成的梅尔频谱矩阵，M'为经过注意力机制处理后的梅尔频谱矩阵，xj,k为梅尔频谱矩阵中第j行、第k列的数值，xj,k'为向下叠加归一化后的数值，用以构成变换后的注意力矩阵X注意力中的元素，j≤n，k≤m，n和m分别为梅尔频谱矩阵的行数与列数。
8.根据权利要求1所述的融合频带自向下注意力机制的电厂设备状态听觉监测方法，其特征在于，步骤S4中，卷积神经网络包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和输出层。
9.根据权利要求8所述的融合频带自向下注意力机制的电厂设备状态听觉监测方法，其特征在于，输入层输入经过频带自向下注意力机制处理后的梅尔频谱图，第一卷积层设置卷积核为3*3，卷积核个数为32；第一池化层设置窗口大小为2*2，向下采样；第二卷积层设置卷积核为3*3，卷积核个数为64；第二池化层设置窗口大小为2*2，向下采样；第一全连接层设置列表长度为512；第二全连接层设置列表长度为所需监测的电气设备状态数量；输出层的输出为统计后的测试集或验证集的识别准确率。
10.根据权利要求1～8任一项所述的融合频带自向下注意力机制的电厂设备状态听觉监测方法，其特征在于，步骤S4中，对卷积神经网络进行训练，将待检测音频的梅尔频谱图作为输入，调用训练好的卷积神经网络，即可得到识别结果。
CN202211214042.6A 2022-06-24 2022-09-30 融合频带自向下注意力机制的电厂设备状态听觉监测方法 Pending CN116825131A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/135718 WO2023245991A1 (zh) 2022-06-24 2022-11-30 融合频带自向下注意力机制的电厂设备状态听觉监测方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210727116X 2022-06-24
CN202210727116 2022-06-24

Publications (1)

Publication Number Publication Date
CN116825131A true CN116825131A (zh) 2023-09-29

Family

ID=88118984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211214042.6A Pending CN116825131A (zh) 2022-06-24 2022-09-30 融合频带自向下注意力机制的电厂设备状态听觉监测方法

Country Status (2)

Country Link
CN (1) CN116825131A (zh)
WO (1) WO2023245991A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117854540B (zh) * 2024-03-08 2024-05-17 中国人民解放军军事科学院战略评估咨询中心 基于神经网络和多维特征融合的水声目标识别方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109065030B (zh) * 2018-08-01 2020-06-30 上海大学 基于卷积神经网络的环境声音识别方法及系统
JP7385381B2 (ja) * 2019-06-21 2023-11-22 株式会社日立製作所 異常音検知システム、擬似音生成システム、および擬似音生成方法
CN110782878B (zh) * 2019-10-10 2022-04-05 天津大学 一种基于注意力机制的多尺度音频场景识别方法
CN111933188B (zh) * 2020-09-14 2021-02-05 电子科技大学 一种基于卷积神经网络的声音事件检测方法
CN112885372B (zh) * 2021-01-15 2022-08-09 国网山东省电力公司威海供电公司 电力设备故障声音智能诊断方法、系统、终端及介质
CN113011302B (zh) * 2021-03-11 2022-04-01 国网电力科学研究院武汉南瑞有限责任公司 一种基于卷积神经网络的雷声信号识别系统及方法
CN113362854B (zh) * 2021-06-03 2022-11-15 哈尔滨工业大学 基于稀疏自注意力机制的声学事件检测方法、系统、存储介质及设备

Also Published As

Publication number Publication date
WO2023245991A1 (zh) 2023-12-28

Similar Documents

Publication Publication Date Title
JP7199608B2 (ja) 風力タービン翼を検査するための方法および装置、ならびにそれらの機器および記憶媒体
WO2023245990A1 (zh) 一种多元信息融合的发电厂电气设备分类与异常检测方法
Han et al. A recursive sparse representation strategy for bearing fault diagnosis
CN110044623B (zh) 经验模态分解剩余信号特征的滚动轴承故障智能识别方法
CN112885372B (zh) 电力设备故障声音智能诊断方法、系统、终端及介质
CN112289341A (zh) 变电站设备声音异常识别方法及系统
CN107993648A (zh) 一种无人机识别方法、装置及电子设备
CN111276125A (zh) 一种面向边缘计算的轻量级语音关键词识别方法
CN102789779A (zh) 一种语音识别系统及其识别方法
CN112857767B (zh) 基于卷积神经网络的水轮发电机组转子故障声学判别方法
Salman et al. Machine learning inspired efficient audio drone detection using acoustic features
CN112268615B (zh) 一种机电设备振动信号特征提取方法
CN116825131A (zh) 融合频带自向下注意力机制的电厂设备状态听觉监测方法
CN109658943A (zh) 一种音频噪声的检测方法、装置、存储介质和移动终端
CN113077806A (zh) 音频处理方法及装置、模型训练方法及装置、介质和设备
Zhu et al. Complex disturbances identification: A novel PQDs decomposition and modeling method
CN112397090B (zh) 一种基于fpga的实时声音分类方法及系统
CN101566999B (zh) 一种快速音频检索的方法
Qi et al. Feature classification method of frequency cepstrum coefficient based on weighted extreme gradient boosting
CN117496998A (zh) 一种音频分类方法、装置、存储介质
Zhao et al. A novel feature extraction approach for mechanical fault diagnosis based on ESAX and BoW model
CN116840743A (zh) 电力变压器故障处理方法、装置、电子设备及存储介质
CN115410599A (zh) 一种基于声纹感知的变压器运行状态识别的方法及系统
CN115406630A (zh) 一种基于机器学习的无源声信号对风力发电机叶片故障检测方法
CN112733927A (zh) 一种基于一维卷积神经网络的风叶声音边界定位方法和存储设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination