CN112560913A - 一种基于麦克风阵列的工业设备故障信号定位与识别方法 - Google Patents

一种基于麦克风阵列的工业设备故障信号定位与识别方法 Download PDF

Info

Publication number
CN112560913A
CN112560913A CN202011416944.9A CN202011416944A CN112560913A CN 112560913 A CN112560913 A CN 112560913A CN 202011416944 A CN202011416944 A CN 202011416944A CN 112560913 A CN112560913 A CN 112560913A
Authority
CN
China
Prior art keywords
layer
output
cnn
fault
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011416944.9A
Other languages
English (en)
Other versions
CN112560913B (zh
Inventor
栾峰
李旭
张子明
吴艳
韩月娇
张殿华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202011416944.9A priority Critical patent/CN112560913B/zh
Publication of CN112560913A publication Critical patent/CN112560913A/zh
Priority to US17/781,475 priority patent/US20230152187A1/en
Priority to PCT/CN2021/109200 priority patent/WO2022116570A1/zh
Application granted granted Critical
Publication of CN112560913B publication Critical patent/CN112560913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G01M99/005—Testing of complete machines, e.g. washing-machines or mobile phones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M7/00—Vibration-testing of structures; Shock-testing of structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G01H3/04—Frequency
    • G01H3/08—Analysing frequencies present in complex vibrations, e.g. comparing harmonics present
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开一种基于麦克风阵列的工业设备故障信号定位与识别方法，采集声音信号，分为训练集、验证集和测试集；对训练集中的声音信号进行特征提取，提取频谱图的相位谱图和幅度谱图；将特征提取模块的输出作为输入被送到卷积神经网络，在每层CNN网络中，使用2D CNN来学习频谱图中的平移不变性；在每层CNN之间，使用批量归一化对输出进行归一化，并沿着频率轴使用最大池化层来降低维数；将来自CNN层的输出，送到RNN层；使用线性激活函数；将全连接层的输出输入到两个并行的全连接层分支，分别用于故障识别和故障定位。本发明使用基于音频信号的非接触式方法，受环境和接触限制更小，故障定位与故障识别同步进行，提高运行效率。

Description

一种基于麦克风阵列的工业设备故障信号定位与识别方法
技术领域
本发明涉及一种工业设备故障信号定位与识别技术，具体为一种基于 麦克风阵列的工业设备故障信号定位与识别方法。
背景技术
随着现代自动化程度的愈加广泛和科技的飞速发展，各行各业都日益 趋向智能化、高速化和自动化。在各种机械设备中不仅设备内的各部分密 切联系，不同设备之间也相关紧密，最终形成一系列复杂的生产系统。在 生产过程中运用先进的故障诊断技术，把机械设备的检测维修列入到生产 过程中，实现机械设备可预知，不仅可以延长设备的使用时间，而且还避 免了灾难性事故的发生，从一定角度来看，间接的给企业带来巨大的经济效益。
目前常用的故障检测的方法是基于振动。然而在许多实际的生产环境 中，由于其工作条件或是设备的精度等因素的限制，接收振动信号的传感 器的安装其实并不能实现。而且在高压、高温、高负载、高湿度或是高度 腐蚀的工作环境中，传感器所接受到的振动信号其实并不完全只包含器件 的信息，也会掺杂很多干扰信息。通过麦克风阵列采集到机械设备运行过 程中的声音信号来分析其工作状态已经成为诊断技术较为新颖的解决方 案。这进一步解决了传感器放置不便且受到工作环境影响诊断结果的难题， 同时从振动信号转为对声音信号分析这一改进，已经不需要过多的机械专 业性知识和经验性的判断，从某种层面上降低了故障诊断技术的入门水平， 也打破了局限性。
神经网络具有良好的数据拟合功能，利于处理多变量、非线性、强耦 合等的复杂问题，然而，目前基于神经网络的故障识别方法没有将故障识 别与故障定位二者结合，所估计故障的位置都是相对静止不动的；另外， 目前的方法都是使用分类器，从而以固定角度估计故障存在的可能性，导 致故障信号定位的精度有限。
发明内容
针对现有技术中工业设备故障信号定位与识别掺杂干扰信息导致故障 信号定位的精度有限等不足，本发明要解决的问题是提供一种基于麦克风 阵列的工业设备故障信号定位与识别方法，使故障信号的定位具备更高的 分精度。
为解决上述技术问题，本发明采用的技术方案是：
本发明提供一种基于麦克风阵列的工业设备故障信号定位与识别方 法，包括以下步骤：
1)采集声音信号，将其分为训练集、验证集和测试集；
2)对训练集中的声音信号进行特征提取，将信号进行离散傅里叶变换 来提取频谱图的相位谱图和幅度谱图；
3)将特征提取模块的输出作为输入被送到卷积神经网络，在每层CNN 网络中，使用2D CNN来学习频谱图中的平移不变性。
4)在每层CNN之间，使用批量归一化对输出进行归一化，并沿着频 率轴使用最大池化层来降低维数；
5)将来自CNN层的输出，送到RNN层用来学习音频信号的时间上下 文信息；
6)输入一层全连接层，包含D个节点，使用线性激活函数；
7)将全连接层的输出输入到两个并行的全连接层分支，分别用于故障 识别和故障定位；
8)使用验证集验证模型的性能指标，使用测试集验证模型的泛化能力。
步骤4)中，沿着频率轴使用最大池化层来降低维数，包括：
401)将上一层的输出结果根据池化滤波器的大小进行分割区块，选择 每个区块的最大值来表示特征值；
402)平均池化在分割的区块中，取区块的平均值作为特征值；
403)池化层输出结果通过如下公式计算：
Figure BDA0002818965200000021
其中，O是输出图像的尺寸，I表示输出入图像的尺寸，Ps为池化层的 尺寸，S为移动步长。
步骤5)中，将来自CNN层的输出，送到RNN层用来学习音频信号 的时间上下文信息，包括：
501)CNN网络输出的维度被重塑成长度为2B个特征向量的T帧序列， 被送到RNN层用来学习音频信号的时间上下文信息；
502)RNN层选用长短期记忆网络，每层LSTM包含C个节点，使用 tanh激活函数，此时维度从(T×2×B)调整为(T×C)维度；其中T为特征 序列帧长度，B为卷积核数量，C为每层LSTM网络节点数。
步骤7)中，将全连接层的输出输入到两个并行的全连接层分支，具体 为：
声音识别分支中，由具有sigmoid激活函数的全连接层组成，包含2个 节点，每个节点对应于重叠声源中的两个声音，使用sigmoid激活函数可以 同时识别这两个声音类别。
步骤8)中，用验证集验证模型的性能指标，具体为：
801)采用以下公式进行DOA误差计算：
Figure BDA0002818965200000022
其中，
Figure BDA0002818965200000031
表示第t个时间帧中的所有实际DOA值，
Figure BDA0002818965200000032
表示第t 个时间帧中的所有预测DOA值，T表示测试集的所有时间帧长度，
Figure BDA0002818965200000033
是第 t个时间帧中
Figure BDA0002818965200000034
的DOA数量，如果
Figure BDA0002818965200000035
表示预测的声源数量，即预测结果 为单声源，则
Figure BDA0002818965200000036
为1；如果预测结果为重叠声源，则
Figure BDA0002818965200000037
为2，H表示匈牙利 算法，DOA误差越小，代表网络模型预测精度越高；
802)采用以下公式分别计算分类指标的精确率和召回率，公式分别如 下：
Figure BDA0002818965200000038
Figure BDA0002818965200000039
其中，TP为将正类预测为正类数，FP为将负类预测为正类数，FN为 将正类预测为负类数，TN为将负类预测为负类数；
803)计算精确率和召回率的调和均值F1，在0到1之间，值越大代表 网络模型的识别性能越好，F1计算公式为：
Figure BDA00028189652000000310
其中，TP(t)是在第t个时间帧，实际和预测都是活跃的声音类别的数量， FP(t)是在第t个时间帧，预测中活跃但实际不活跃的声音类别的数量，FN(t) 表示在预测中不活跃但实际活跃的声音类别数量；T表示测试集上的总时间 帧长度。
本发明具有以下有益效果及优点：
1.本发明使用基于音频信号的非接触式方法，而非基于振动的接触式 方法，受环境和接触限制更小；定位使用的是回归算法，相对于常规的分 类器方法，分辨率更高，并且并行运行故障定位与故障识别分支，两者同 步进行的，同时得到结果，提高了运行效率。
2.本发明方法通过串联CNN与RNN，搭建卷积递归神经网络，利用 CNN学习声音的频谱结构信息，RNN学习时间上下文信息，实现了动态故 障定位和跟踪，而且定位精度远高于CNN模型；针对多处故障数据集，设 计改进的卷积递归神经网络，对多处故障进行识别与定位，并且在每个时 间帧上预测重叠故障各自的DOA。
3.本发明方法对于包含更多故障类别的重叠故障场景，只需调整卷积 递归神经网络模型的故障类别数量等参数，允许无缝集成到更加广泛的故 障定位任务中，基于神经网络采用回归方式预测故障的DOA，其优点是网 络不限于一组DOA角度，可以作为高分辨率连续DOA估计器执行。
附图说明
图1为本发明基于神经网络的多故障定位与识别方法的流程图；
图2A为本发明方法中多故障的实际重叠声源图；
图2B为本发明方法中多故障的识别结果的重叠声源预测图；
图3A为本发明方法中的实际方位角图；
图3B为本发明方法中的实际方位角图；
图4A为本发明方法中的实现仰角图；
图4B为本发明方法中的预测仰角图。
具体实施方式
下面结合说明书附图对本发明作进一步阐述。
如图1所示，本发明提供一种基于麦克风阵列的工业设备故障信号定位 与识别方法，串联CNN和RNN，使用CNN提取声音的频谱信息，随后这 些特征作为RNN的输入做进一步的时间建模，与单独计算相比提升了定位 精度。同时加入了故障识别分支，实现了多故障的识别与定位，且两者是 同时进行的，具有很高的运行效率。
本发明包括以下步骤：
1)采集声音信号，将其分为训练集、验证集和测试集；
2)对训练集中的声音信号进行特征提取，将信号进行离散傅里叶变换 来提取频谱图的相位谱图和幅度谱图；
3)将特征提取模块的输出作为输入被送到卷积神经网络，在每层CNN 网络中，使用2D CNN来学习频谱图中的平移不变性。
4)在每层CNN之间，使用批量归一化对输出进行归一化，并沿着频 率轴使用最大池化层来降低维数；
5)将来自CNN层的输出，送到RNN层用来学习音频信号的时间上下 文信息；
6)输入一层全连接层，包含D个节点，使用线性激活函数；
7)将全连接层的输出输入到两个并行的全连接层分支，分别用于故障 识别和故障定位；
8)使用验证集验证模型的性能指标，使用测试集验证模型的泛化能力。
步骤1)中，建立的坐标系为以声源平面为XOY平面，以麦克风阵列 在XOY平面的投影点为坐标原点O，建立空间直角坐标系O-XYZ。伞形 阵列中心是网络摄像头的位置，用于捕捉目标声源移动的视频数据。声源 所在的平面XOY与阵列平面平行，且两个平面是同轴的。
同时在不同位置播放不同声音信号。设置麦克风阵列通道数K＝16，音 频采样频率f＝12800Hz，摄像头每秒视频帧数FPS＝25，开始采集，采集时 间300秒，此时TDMS文件中包含音频数据和视频数据两个部分。
将采集到的声音信号分为训练集、验证集和测试集，各集合间保持独 立。
步骤2)中，对于K通道的音频信号中的每一通道信号，使用长度为M＝1024且50％重叠的汉明窗截取信号，并进行离散傅里叶变换来提取频谱 图的相位谱图和幅度谱图，使用M/2个包含基频和各次谐波的正频率部分 作为单独的特征。特征提取模块的输出是T帧的特征序列，维度为 T×M/2×(2K)，其中2K维度由K维度幅度分量和K维度相位分量组成。
步骤3)中，CNN网络具体为：卷积层的主要功能是将前一层输出的 特征图与卷积核进行卷积运算，其结果作为这一层的输出。卷积核大小为 3×3，数量为B个，其沿着时间-频率-通道轴作用，卷积运算之后输出图像 的尺寸大小为：
Figure BDA0002818965200000051
其中O为输出图像的尺寸，I是输入图像的尺寸，K为卷积核的尺寸，S 是卷积核移动的步长，P表示填充数。使用ReLU对每层CNN的输出进行 激活。ReLU公式为：y＝max(0,x)。
卷积核沿着时间-频率-通道轴作用，使用ReLU对每层CNN的输出进 行激活。
步骤4)中，沿着频率轴使用最大池化层来降低维数，包括：
401)将上一层的输出结果根据池化滤波器的大小进行分割区块，选择 每个区块的最大值来表示特征值；
402)平均池化在分割的区块中，取区块的平均值作为特征值；
403)池化层输出结果通过如下公式计算：
Figure BDA0002818965200000052
其中，O是输出图像的尺寸，I表示输出入图像的尺寸，Ps为池化层的 尺寸，S为移动步长。
池化层可以将参数矩阵极大地缩小，从而降低模型训练的复杂度，减 少信息的冗余度其次，还能防止模型过拟合。
在每层CNN之间，使用批量归一化对输出进行归一化，特征序列长度 T帧保持不变，当每层CNN的最大池化值为(8，8，4)时，具有B个卷 积核的最后一层CNN之后是T×2×B维的输出，其中降为2的频率维度是 最大池化的结果。这样频谱图张量(T×M/2×2K)通过这样3层CNN网络 后，维度降为T×2×B。
其中序列长度T、CNN的最大池化值分别为在控制变量法下单独改变该 参数的值，观察DOA误差的变化，取DOA误差最小时对应的值。序列长 度T与DOA误差的关系如表1所示。CNN的最大池化值与DOA误差的关 系如表2所示。
表1为特征序列长度对DOA误差影响：
Figure BDA0002818965200000053
Figure BDA0002818965200000061
可以看出在特征序列长度T取32时，DOA误差最小。
表2为最大池化值对DOA误差影响：
实验 每层CNN的最大池化值 DOA误差
1 (8，2，2) 4.73
2 (8，2，4) 4.24
3 (8，2，8) 2.76
4 (8，4，2) 4.15
5 (8，4，4) 2.52
6 (8，4，8) 1.92
7 (8，8，2) 2.53
8 (8，8，4) 1.62
9 (8，8，8) 2.73
当三层CNN的最大池化值分别为8、8、4时，卷积递归神经网络预测 的DOA误差最小。
步骤5)中，将来自CNN层的输出，送到RNN层用来学习音频信号 的时间上下文信息，包括：
501)CNN网络输出的维度被重塑成长度为2B个特征向量的T帧序列， 被送到RNN层用来学习音频信号的时间上下文信息；
502)RNN层选用长短期记忆网络，每层LSTM包含C个节点，使用 tanh激活函数，此时维度从(T×2×B)调整为(T×C)维度；其中T为特征 序列帧长度，B为卷积核数量，C为每层LSTM网络节点数；
其中RNN与CNN层数的选取是根据在不同情况下计算DOA误差，取 其中最小的DOA误差得到的，CNN-RNN网络层数与DOA关系如表3。
表3为CNN-RNN层数对DOA误差的影响：
Figure BDA0002818965200000062
Figure BDA0002818965200000071
根据上表，可知在3层CNN，2层LSTM时效果最好。
CNN与RNN层节点数量的选取也是根据固定其他变量时，计算不同 节点数量时的DOA误差，选取DOA误差最小时对应的节点数量得到。节 点数与DOA误差关系如表4。
表4为CNN、RNN层节点数量对DOA误差影响：
CNN节点数 RNN节点数 DOA误差
32 32 2.81
32 64 1.17
32 128 2.71
64 32 4.01
64 64 2.43
64 128 1.62
128 32 2.43
128 64 2.11
128 128 3.03
当每层CNN节点数量为32时，且RNN层节点数量为CNN的两倍时， DOA误差最小。取这个数值为CNN-RNN网络节点数值。
步骤6)中，输入一层全连接层，具体为：
全连接层将前面全连接神经元的输出值连接在一个神经元中。依靠全 连接神经网络，将其转换成一个一维的输出神经元，输出公式为：
Figure BDA0002818965200000072
其中，
Figure BDA0002818965200000073
为第l层中第j个神经元的输出值，
Figure BDA0002818965200000074
为第(l-1)层第i个神经元 的输出，作为第l层的输入，f(·)表示激活函数，Mj表示为l层输入数据的集 合，
Figure BDA0002818965200000075
表示为第l层第j个神经元的偏置项，
Figure BDA0002818965200000076
表示为第l层的第j个神经元 与输入的第i个神经元的连接权重。
经过全连接层后，数据的维度被调整为T×D。
步骤7)的故障识别分支中，由具有sigmoid激活函数的全连接层组成， 包含2个节点，每个节点对应于故障中的不同类型的故障信号，使用sigmoid 激活函数可以同时识别这两个故障类别。故障定位分支中的全连接层，包 含2×2个节点，分别对应两个声源的方位角、仰角，使用线性激活函数。
步骤8)中，采用以下公式进行DOA误差计算：
Figure BDA0002818965200000077
其中，
Figure BDA0002818965200000078
表示第t个时间帧中的所有实际DOA值(实际DOA值表 示空间中声源的实际方位角和仰角值)，
Figure BDA0002818965200000079
表示第t个时间帧中的所有 预测DOA值，T表示测试集的所有时间帧长度，
Figure BDA00028189652000000710
是第t个时间帧中
Figure BDA00028189652000000711
的DOA数量，如果
Figure BDA00028189652000000712
表示预测的声源数量，即预测结果为单声源，则
Figure BDA00028189652000000713
为 1；如果预测结果为重叠声源，则
Figure BDA00028189652000000714
为2，H表示匈牙利算法，DOA误差越 小，代表网络模型预测精度越高；
802)采用以下公式分别计算分类指标的精确率和召回率，公式分别如 下：
Figure BDA0002818965200000081
Figure BDA0002818965200000082
其中，TP(True Positive)为将正类预测为正类数，FP(False Positive)： 为将负类预测为正类数，FN(False Negative)：为将正类预测为负类数， TN(True Negative)：为将负类预测为负类数；
803)计算精确率和召回率的调和均值F1(F-Score)，在0到1之间， 值越大代表网络模型的识别性能越好，F1计算公式为：
Figure BDA0002818965200000083
其中，TP(t)是在第t个时间帧，实际和预测都是活跃的声音类别的数量， FP(t)是在第t个时间帧，预测中活跃但实际不活跃的声音类别的数量，FN(t) 表示在预测中不活跃但实际活跃的声音类别数量，T表示测试集上的总时间 帧长度。
本步骤使用DOA误差作为实验的评估指标，DOA误差是预测DOA与 实际DOA之间的平均角度误差，设
Figure BDA0002818965200000086
表示第t个时间帧中的所有实际 DOA值(实际DOA值表示空间中故障的实际方位角和仰角值)，
Figure BDA0002818965200000085
表 示第t个时间帧中的所有预测DOA值，T表示测试集的所有时间帧长度。H 为匈牙利算法，用于解决分配问题，通过使用预测和实际DOA之间的球面距离来预测它们之间的成对成本，即将各个预测DOA与对应的实际DOA 进行匹配[48]。匈牙利算法计算公式如下：
H＝arccos(sinφPsinφR+cosφPcosφRcos(λR-λP))
其中，实际DOA的方位角、仰角记为(φR,λR)，预测DOA的方位角、 仰角记为(φP,λP)。DOA误差越小，代表网络模型预测精度越高。
将数据分为split1、split2、split3、split4四个独立的部分，分别作为训 练集、验证集和测试集，对模型进行交叉训练与验证，验证结果如表5所 示：
表5为交叉验证集的结果：
Figure BDA0002818965200000084
Figure BDA0002818965200000091
将最佳参数集合代入网络模型，一组交叉验证上模型的训练时间约为 2.5小时，共658305个参数，训练完成后，测试集上只需极短的时间。从 四个交叉验证中，故障识别分支的F1值大约为0.975，表明提出的卷积递归 神经网络成功地识别了故障，而且识别率很高。当训练集为split1、split2， 验证集为split4，测试集上取得了最低DOA误差，即split3中预测故障的 DOA与实际DOA之间的平均角度误差为2.62度。
故障识别的结果比较如图2A～2B所示。定位中方向角与仰角结果比较 如图3A～3B和图4A～4B所示。
本发明方法通过串联CNN与RNN，搭建卷积递归神经网络，利用CNN 学习声音的频谱结构信息，RNN学习时间上下文信息，此网络实现了动态 故障定位和跟踪，而且定位精度远高于CNN模型。针对多处故障数据集， 设计改进的卷积递归神经网络，对多处故障进行识别与定位，并且在每个 时间帧上预测重叠故障各自的DOA。此外，对于包含更多故障类别的重叠 故障场景，只需调整卷积递归神经网络模型的故障类别数量等参数，允许 无缝集成到更加广泛的故障定位任务中。本文基于神经网络采用回归方式 预测故障的DOA，其优点是网络不限于一组DOA角度，可以作为高分辨 率连续DOA估计器执行。

Claims (5)

1.一种基于麦克风阵列的工业设备故障信号定位与识别方法，其特征在于包括以下步骤：
1)采集声音信号，将其分为训练集、验证集和测试集；
2)对训练集中的声音信号进行特征提取，将信号进行离散傅里叶变换来提取频谱图的相位谱图和幅度谱图；
3)将特征提取模块的输出作为输入被送到卷积神经网络，在每层CNN网络中，使用2DCNN来学习频谱图中的平移不变性；
4)在每层CNN之间，使用批量归一化对输出进行归一化，并沿着频率轴使用最大池化层来降低维数；
5)将来自CNN层的输出，送到RNN层用来学习音频信号的时间上下文信息；
6)输入一层全连接层，包含D个节点，使用线性激活函数；
7)将全连接层的输出输入到两个并行的全连接层分支，分别用于故障识别和故障定位；
8)使用验证集验证模型的性能指标，使用测试集验证模型的泛化能力。
2.根据权利要求1所述的基于麦克风阵列的工业设备故障信号定位与识别方法，其特征在于步骤4)中，沿着频率轴使用最大池化层来降低维数，包括：
401)将上一层的输出结果根据池化滤波器的大小进行分割区块，选择每个区块的最大值来表示特征值；
402)平均池化在分割的区块中，取区块的平均值作为特征值；
403)池化层输出结果通过如下公式计算：
Figure FDA0002818965190000011
其中，O是输出图像的尺寸，I表示输出入图像的尺寸，Ps为池化层的尺寸，S为移动步长。
3.根据权利要求1所述的基于麦克风阵列的工业设备故障信号定位与识别方法，其特征在于步骤5)中，将来自CNN层的输出，送到RNN层用来学习音频信号的时间上下文信息，包括：
501)CNN网络输出的维度被重塑成长度为2B个特征向量的T帧序列，被送到RNN层用来学习音频信号的时间上下文信息；
502)RNN层选用长短期记忆网络，每层LSTM包含C个节点，使用tanh激活函数，此时维度从(T×2×B)调整为(T×C)维度；其中T为特征序列帧长度，B为卷积核数量，C为每层LSTM网络节点数。
4.根据权利要求1所述的基于麦克风阵列的工业设备故障信号定位与识别方法，其特征在于步骤7)中，将全连接层的输出输入到两个并行的全连接层分支，具体为：
声音识别分支中，由具有sigmoid激活函数的全连接层组成，包含2个节点，每个节点对应于重叠声源中的两个声音，使用sigmoid激活函数可以同时识别这两个声音类别。
5.根据权利要求1所述的基于麦克风阵列的工业设备故障信号定位与识别方法，其特征在于步骤8)中，用验证集验证模型的性能指标，具体为：
801)采用以下公式进行DOA误差计算：
Figure FDA0002818965190000021
其中，
Figure FDA0002818965190000022
表示第t个时间帧中的所有实际DOA值，
Figure FDA0002818965190000023
表示第t个时间帧中的所有预测DOA值，T表示测试集的所有时间帧长度，
Figure FDA0002818965190000024
是第t个时间帧中
Figure FDA0002818965190000025
的DOA数量，如果
Figure FDA0002818965190000026
表示预测的声源数量，即预测结果为单声源，则
Figure FDA0002818965190000027
为1；如果预测结果为重叠声源，则
Figure FDA0002818965190000028
为2，H表示匈牙利算法，DOA误差越小，代表网络模型预测精度越高；
802)采用以下公式分别计算分类指标的精确率和召回率，公式分别如下：
Figure FDA0002818965190000029
Figure FDA00028189651900000210
其中，TP为将正类预测为正类数，FP为将负类预测为正类数，FN为将正类预测为负类数，TN为将负类预测为负类数；
803)计算精确率和召回率的调和均值F1，在0到1之间，值越大代表网络模型的识别性能越好，F1计算公式为：
Figure FDA00028189651900000211
其中，TP(t)是在第t个时间帧，实际和预测都是活跃的声音类别的数量，FP(t)是在第t个时间帧，预测中活跃但实际不活跃的声音类别的数量，FN(t)表示在预测中不活跃但实际活跃的声音类别数量；T表示测试集上的总时间帧长度。
CN202011416944.9A 2020-12-04 2020-12-04 一种基于麦克风阵列的工业设备故障信号定位与识别方法 Active CN112560913B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011416944.9A CN112560913B (zh) 2020-12-04 2020-12-04 一种基于麦克风阵列的工业设备故障信号定位与识别方法
US17/781,475 US20230152187A1 (en) 2020-12-04 2021-07-29 Fault signal locating and identifying method of industrial equipment based on microphone array
PCT/CN2021/109200 WO2022116570A1 (zh) 2020-12-04 2021-07-29 一种基于麦克风阵列的工业设备故障信号定位与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011416944.9A CN112560913B (zh) 2020-12-04 2020-12-04 一种基于麦克风阵列的工业设备故障信号定位与识别方法

Publications (2)

Publication Number Publication Date
CN112560913A true CN112560913A (zh) 2021-03-26
CN112560913B CN112560913B (zh) 2023-11-03

Family

ID=75059094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011416944.9A Active CN112560913B (zh) 2020-12-04 2020-12-04 一种基于麦克风阵列的工业设备故障信号定位与识别方法

Country Status (3)

Country Link
US (1) US20230152187A1 (zh)
CN (1) CN112560913B (zh)
WO (1) WO2022116570A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113835065A (zh) * 2021-09-01 2021-12-24 深圳壹秘科技有限公司 基于深度学习的声源方向确定方法、装置、设备及介质
CN114254680A (zh) * 2022-02-28 2022-03-29 成都大公博创信息技术有限公司 基于多特征信息的深度学习网络调制识别方法
WO2022116570A1 (zh) * 2020-12-04 2022-06-09 东北大学 一种基于麦克风阵列的工业设备故障信号定位与识别方法
CN115691556A (zh) * 2023-01-03 2023-02-03 北京睿科伦智能科技有限公司 一种设备端多通道语音质量的检测方法
CN113835065B (zh) * 2021-09-01 2024-05-17 深圳壹秘科技有限公司 基于深度学习的声源方向确定方法、装置、设备及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115828165B (zh) * 2023-02-15 2023-05-02 南京工大金泓能源科技有限公司 一种新能源智能微电网数据处理方法及系统
CN116310599B (zh) * 2023-05-17 2023-08-15 湖北工业大学 基于改进cnn-pnn网络的电力变压器故障诊断方法及系统
CN116698977B (zh) * 2023-08-07 2023-10-31 山东科技大学 一种基于声音信号的煤矸识别传感器及识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154037A (zh) * 2017-04-20 2017-09-12 西安交通大学 基于深度层次特征提取的风机叶片故障识别方法
US20190273510A1 (en) * 2018-03-01 2019-09-05 Crowdstrike, Inc. Classification of source data by neural network processing
CN111160167A (zh) * 2019-12-18 2020-05-15 北京信息科技大学 基于s变换深度卷积神经网络的主轴故障分类识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2567850B (en) * 2017-10-26 2020-11-04 Gb Gas Holdings Ltd Determining operating state from complex sensor data
CN112560913B (zh) * 2020-12-04 2023-11-03 东北大学 一种基于麦克风阵列的工业设备故障信号定位与识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154037A (zh) * 2017-04-20 2017-09-12 西安交通大学 基于深度层次特征提取的风机叶片故障识别方法
US20190273510A1 (en) * 2018-03-01 2019-09-05 Crowdstrike, Inc. Classification of source data by neural network processing
CN111160167A (zh) * 2019-12-18 2020-05-15 北京信息科技大学 基于s变换深度卷积神经网络的主轴故障分类识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李恒 等: "基于短时傅里叶变换和卷积神经网络的轴承故障诊断方法", 振动与冲击, no. 19, pages 132 - 139 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116570A1 (zh) * 2020-12-04 2022-06-09 东北大学 一种基于麦克风阵列的工业设备故障信号定位与识别方法
CN113835065A (zh) * 2021-09-01 2021-12-24 深圳壹秘科技有限公司 基于深度学习的声源方向确定方法、装置、设备及介质
CN113835065B (zh) * 2021-09-01 2024-05-17 深圳壹秘科技有限公司 基于深度学习的声源方向确定方法、装置、设备及介质
CN114254680A (zh) * 2022-02-28 2022-03-29 成都大公博创信息技术有限公司 基于多特征信息的深度学习网络调制识别方法
CN115691556A (zh) * 2023-01-03 2023-02-03 北京睿科伦智能科技有限公司 一种设备端多通道语音质量的检测方法

Also Published As

Publication number Publication date
CN112560913B (zh) 2023-11-03
WO2022116570A1 (zh) 2022-06-09
US20230152187A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
CN112560913A (zh) 一种基于麦克风阵列的工业设备故障信号定位与识别方法
Wang et al. Multiscale convolutional attention network for predicting remaining useful life of machinery
Jiménez et al. Maintenance management based on machine learning and nonlinear features in wind turbines
CN110705525A (zh) 一种诊断滚动轴承故障的方法及装置
US11137322B2 (en) Diagnosing method of engine condition and diagnostic modeling method thereof
CN111860446A (zh) 一种卫星遥测时序数据未知模式的检测系统与方法
CN113780412A (zh) 故障诊断模型训练方法、系统及其诊断方法、系统
Zhang et al. Intelligent machine fault diagnosis using convolutional neural networks and transfer learning
Jiménez et al. Machine learning and neural network for maintenance management
Weng et al. A one-dimensional vision transformer with multiscale convolution fusion for bearing fault diagnosis
CN116012681A (zh) 基于声振信号融合的管道机器人电机故障诊断方法及系统
CN117034003A (zh) 航空航天重大产品制造装备的全生命周期自适应故障诊断方法、系统、设备及介质
Nacer et al. A novel method for bearing fault diagnosis based on BiLSTM neural networks
Qiu et al. A piecewise method for bearing remaining useful life estimation using temporal convolutional networks
CN107608937B (zh) 一种基于云计算平台的机器学习风机状态监测方法及装置
CN113703422A (zh) 一种基于特征分析处理的燃气轮机气动执行机构故障诊断方法
CN117009916A (zh) 基于多传感器信息融合与迁移学习的促动器故障诊断方法
CN116630728A (zh) 基于注意力残差孪生网络的加工精度预测方法
CN114841196A (zh) 一种基于监督学习的机械设备智能故障检测方法及系统
Wolf et al. Unsupervised data-driven automotive diagnostics with improved deep temporal clustering
Chen et al. An Integration of Spectrum Analysis and Attention-based Network for Condition Monitoring of Vibration Components
Ahmet A Hybrid Prognostic Approach Based on Deep Learning for the Degradation Prediction of Machinery
CN111814953B (zh) 一种基于通道剪枝的深度卷积神经网络模型的定位方法
Sha et al. Climate Time Series Prediction with Deep Learning and LSTM
Yin et al. Real-Time Fault-Tolerant Computing with Machine Learning Enhancements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant