CN115588439B - 一种基于深度学习的声纹采集装置的故障检测方法及装置 - Google Patents

一种基于深度学习的声纹采集装置的故障检测方法及装置 Download PDF

Info

Publication number
CN115588439B
CN115588439B CN202211594009.0A CN202211594009A CN115588439B CN 115588439 B CN115588439 B CN 115588439B CN 202211594009 A CN202211594009 A CN 202211594009A CN 115588439 B CN115588439 B CN 115588439B
Authority
CN
China
Prior art keywords
fault
voiceprint
frequency domain
information
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211594009.0A
Other languages
English (en)
Other versions
CN115588439A (zh
Inventor
曹祖杨
陈卓楠
张永全
张凯强
方吉
包君健
陶慧芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Crysound Electronics Co Ltd
Original Assignee
Hangzhou Crysound Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Crysound Electronics Co Ltd filed Critical Hangzhou Crysound Electronics Co Ltd
Priority to CN202211594009.0A priority Critical patent/CN115588439B/zh
Publication of CN115588439A publication Critical patent/CN115588439A/zh
Application granted granted Critical
Publication of CN115588439B publication Critical patent/CN115588439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明实施例提供一种基于深度学习的声纹采集装置的故障检测方法及装置，所述方法包括：对声纹采集装置的故障类型进行排列组合，得到故障声纹信息以及正常声纹信息，然后进行预处理，得到对应的正常频域特征、故障频域特征，并将正常频域特征、故障频域特征以及故障类型输入卷积神经网络模型进行训练，并将目标设备的运行声纹信息输出卷积神经网络模型，根据输出的故障类型数据判断目标设备是否故障及故障类型。采用本方法不仅能够在进行设备的声纹检测时检测声纹采集装置是否存在故障，从而提高了目标设备的检测准确性，同时也能够通过深度学习检测声纹采集装置的故障类型，方便相关工作人员进行后续处理。

Description

一种基于深度学习的声纹采集装置的故障检测方法及装置
技术领域
本发明涉及故障检测技术领域，尤其涉及一种基于深度学习的声纹采集装置的故障检测方法及装置。
背景技术
随着声音相关的检测技术的飞速发展，越来越多的设备的检测或报警系统也向通过声音检测发展，比如气体运输装置，比如气体管道，当存在气体泄漏时，通常都会有对应的声纹采集装置采集管道声纹，然后通过管道声纹对气体管道进行检测，判断管道是否存在泄漏，让对应的工作人员能够及时的对气体泄漏进行处理。
但是，目前对于现有技术的研究在于如何通过声音检测各种领域、各种情况下的设备，但有时进行声音检测时，声纹采集装置可能本身就会存在故障，导致采集的声纹数据不准确，而目前对于声纹采集装置的故障判断，往往还依赖相关领域技术人员的经验进行判断。
发明内容
针对现有技术中存在的问题，本发明实施例提供一种基于深度学习的声纹采集装置的故障检测方法及装置。
本发明实施例提供一种基于深度学习的声纹采集装置的故障检测方法，包括：
获取声纹采集装置的故障类型，将所述故障类型进行排列组合，得到声纹采集装置的故障类型集合，并分别通过携带所述故障类型集合中各故障类型的故障声纹采集装置采集目标设备的故障声纹信息；
对所述故障声纹信息进行信息预处理，生成对应的故障频谱图，所述信息预处理，包括：将所述故障声纹信息转化为数字信号，并对所述数字信号进行傅里叶变换，获取所述目标设备正常运行时的声纹数据范围，根据所述声纹数据范围对傅里叶变换后的数字信号进行数字滤波，生成对应的故障频谱图；
获取未携带任意故障类型的正常声纹采集装置采集目标设备的正常声纹信息，进行信息预处理得到对应的正常频谱图，分别对故障频谱图及正常频谱图进行图像识别，得到对应的故障频域特征及正常频域特征；
将所述正常频域特征、故障频域特征以及对应的故障类型输入卷积神经网络模型进行训练，直至所述正常频域特征与故障频域特征的差值与故障类型的关联性出现收敛，得到训练后的卷积神经网络模型；
通过运行声纹采集装置采集所述目标设备的运行声纹信息，将所述运行声纹信息与正常声纹信息进行匹配，当匹配结果不符合时，对所述运行声纹信息进行信息预处理，得到对应的运行频谱图，对所述运行频谱图进行图像识别，得到对应的运行频域特征；
将所述运行频域特征输入训练后的卷积神经网络模型，检测训练后的卷积神经网络模型是否输出故障类型，当训练后的卷积神经网络模型输出故障类型时，输出所述运行声纹采集装置的故障结果以及故障类型的报警信息。
在其中一个实施例中，所述方法还包括：
基于频域特征类型的不同，分别计算在不同频域特征类型下，正常频域特征与故障频域特征的差值，并生成对应的频域差值集合，生成所述频域差值集合对应的差值矩阵，将所述差值矩阵以及对应的故障类型输入卷积神经网络模型进行训练。
在其中一个实施例中，所述方法还包括：
当所述运行声纹信息为人类声纹信息时，所述当匹配结果不符合之后，还包括：
发出报错指令，并接收所述报错指令对应的运行声纹信息。
在其中一个实施例中，所述方法还包括：
当训练后的卷积神经网络模型未输出故障类型时，输出所述目标设备存在故障的报警信息。
在其中一个实施例中，所述故障类型，包括：
传感器故障、电路故障、通信故障。
本发明实施例提供一种基于深度学习的声纹采集装置的故障检测装置，包括：
获取模块，用于获取声纹采集装置的故障类型，将所述故障类型进行排列组合，得到声纹采集装置的故障类型集合，并分别通过携带所述故障类型集合中各故障类型的故障声纹采集装置采集目标设备的故障声纹信息；
预处理模块，用于对所述故障声纹信息进行信息预处理，生成对应的故障频谱图，所述信息预处理，包括：将所述故障声纹信息转化为数字信号，并对所述数字信号进行傅里叶变换，获取所述目标设备正常运行时的声纹数据范围，根据所述声纹数据范围对傅里叶变换后的数字信号进行数字滤波，生成对应的故障频谱图；
图像识别模块，用于获取未携带任意故障类型的正常声纹采集装置采集目标设备的正常声纹信息，进行信息预处理得到对应的正常频谱图，分别对故障频谱图及正常频谱图进行图像识别，得到对应的故障频域特征及正常频域特征；
训练模块，用于将所述正常频域特征、故障频域特征以及对应的故障类型输入卷积神经网络模型进行训练，直至所述正常频域特征与故障频域特征的差值与故障类型的关联性出现收敛，得到训练后的卷积神经网络模型；
匹配模块，用于通过运行声纹采集装置采集所述目标设备的运行声纹信息，将所述运行声纹信息与正常声纹信息进行匹配，当匹配结果不符合时，对所述运行声纹信息进行信息预处理，得到对应的运行频谱图，对所述运行频谱图进行图像识别，得到对应的运行频域特征；
输出模块，用于将所述运行频域特征输入训练后的卷积神经网络模型，检测训练后的卷积神经网络模型是否输出故障类型，当训练后的卷积神经网络模型输出故障类型时，输出所述运行声纹采集装置的故障结果以及故障类型的报警信息。
在其中一个实施例中，所述装置还包括：
计算模块，用于基于频域特征类型的不同，分别计算在不同频域特征类型下，正常频域特征与故障频域特征的差值，并生成对应的频域差值集合，生成所述频域差值集合对应的差值矩阵，将所述差值矩阵以及对应的故障类型输入卷积神经网络模型进行训练。
在其中一个实施例中，所述装置还包括：
第二输出模块，用于当训练后的卷积神经网络模型未输出故障类型时，输出所述目标设备存在故障的报警信息。
本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于深度学习的声纹采集装置的故障检测方法的步骤。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于深度学习的声纹采集装置的故障检测方法的步骤。
本发明实施例提供的一种基于深度学习的声纹采集装置的故障检测方法及装置，获取声纹采集装置的故障类型，将故障类型进行排列组合，得到声纹采集装置的故障类型集合，并分别通过携带所述故障类型集合中各故障类型的故障声纹采集装置采集目标设备的故障声纹信息；对故障声纹信息进行信息预处理，生成对应的故障频谱图，信息预处理，包括：将故障声纹信息转化为数字信号，并对数字信号进行傅里叶变换，获取目标设备的声纹数据范围，根据声纹数据范围对傅里叶变换后的数字信号进行数字滤波，生成对应的故障频谱图；获取未携带任意故障类型的正常声纹采集装置采集目标设备的正常声纹信息，进行信息预处理得到对应的正常频谱图，分别对故障频谱图及正常频谱图进行图像识别，得到对应的故障频域特征及正常频域特征；将正常频域特征、故障频域特征以及对应的故障类型输入卷积神经网络模型进行训练，直至正常频域特征与故障频域特征的差值与故障类型的关联性出现收敛，得到训练后的卷积神经网络模型；通过运行声纹采集装置采集目标设备的运行声纹信息，将运行声纹信息与正常声纹信息进行匹配，当匹配结果不符合时，对运行声纹信息进行信息预处理，得到对应的运行频谱图，对运行频谱图进行图像识别，得到对应的运行频域特征；将运行频域特征输入训练后的卷积神经网络模型，检测训练后的卷积神经网络模型是否输出故障类型，当训练后的卷积神经网络模型输出故障类型时，输出运行声纹采集装置的故障结果以及故障类型的报警信息。这样不仅能够在进行设备的声纹检测时检测声纹采集装置是否存在故障，从而提高了目标设备的检测准确性，同时也能够通过深度学习检测声纹采集装置的故障类型，方便相关工作人员进行后续处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于深度学习的声纹采集装置的故障检测方法的流程图；
图2为本发明实施例中一种基于深度学习的声纹采集装置的故障检测装置的结构图；
图3为本发明实施例中电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种基于深度学习的声纹采集装置的故障检测方法的流程示意图，如图1所示，本发明实施例提供了一种基于深度学习的声纹采集装置的故障检测方法，包括：
步骤S101，获取声纹采集装置的故障类型，将所述故障类型进行排列组合，得到声纹采集装置的故障类型集合，并分别通过携带所述故障类型集合中各故障类型的故障声纹采集装置采集目标设备的故障声纹信息。
具体地，在进行声纹数据采集的过程中，进行声纹采集的装置，比如传感器、录音机、麦克风阵列等等，本身也可能存在故障，从而影响采集的声纹数据的准确性，获取声纹采集装置的故障类型，比如可以包括传感器故障、电路故障、通信故障等等故障类型，将故障类型进行排列组合，得到声纹采集装置的故障类型集合，比如，故障类型集合可以包括传感器故障、电路故障、通信故障、传感器故障和电路故障、传感器故障和通信故障、电路故障和通信故障、三种故障的集合，然后分别通过故障类型集合中各故障类型的故障声纹采集装置采集目标设备的故障声纹信息，即获取每种故障类型下的目标设备的声纹信息，对于目标设备来说，通过故障类型穷举法获取对应的故障声纹信息后，能够更进一步准确的排除声纹采集装置故障时的故障声纹信息集合，从而更准确的得到目标设备的准确声纹信息。
步骤S102，对所述故障声纹信息进行信息预处理，生成对应的故障频谱图，所述信息预处理，包括：将所述故障声纹信息转化为数字信号，并对所述数字信号进行傅里叶变换，获取所述目标设备正常运行时的声纹数据范围，根据所述声纹数据范围对傅里叶变换后的数字信号进行数字滤波，生成对应的故障频谱图。
具体地，对各种故障类型的故障声纹采集装置采集到的故障声纹信息进行信息的预处理，其中信息的预处理包括，将故障声纹信息转化为对应的数字信号，并对数字信号进行傅里叶变换，得到对应的傅里叶变换数据，并且，获取目标设备在正常运行工作时，及没有任意故障时产生的声纹数据的声纹数据范围，根据声纹数据范围确定傅里叶变换数据的滤波标准，并根据滤波标准对傅里叶变换后的数字信号进行数字滤波，然后进行加权算法，得到对应的故障频谱图。
步骤S103，获取未携带任意故障类型的正常声纹采集装置采集目标设备的正常声纹信息，进行信息预处理得到对应的正常频谱图，分别对故障频谱图及正常频谱图进行图像识别，得到对应的故障频域特征及正常频域特征。
具体地，获取没有任何故障的正常声纹采集装置采集到的目标设备的正常声纹信息，对正常声纹信息进行上述的信息的预处理步骤得到对应的正常频谱图，并分别对故障频谱图及正常频谱图进行图像识别，得到对应的故障频域特征及正常频域特征，其中，图象识别得到的频域特征可以包括频谱图中的斜率变化曲线，也可以包括频谱图中的均值、方差、峰值指标、频谱能量、等等指标。
步骤S104，将所述正常频域特征、故障频域特征以及对应的故障类型输入卷积神经网络模型进行训练，直至所述正常频域特征与故障频域特征的差值与故障类型的关联性出现收敛，得到训练后的卷积神经网络模型。
具体地，将正常频域特征、故障频域特征以及对应的故障类型输入卷积神经网络模型进行训练，其中，正常频域特征、故障频域特征可以根据频域特征类型的不同，分别计算不同频域特征类型下，正常频域特征、故障频域特征的差值，并生成频域差值集合，生成所述频域差值集合对应的差值矩阵，然后将频域差值集合对应的差值矩阵与故障类型的关联性之间进行深度模型训练，以频域差值集合于故障类型的关联性收敛为目的进行模型训练，得到训练后的卷积神经网络模型，其中，声纹采集装置的声纹数据与神经网络模型的输出之间的残差表示为：
根据此序列，按照表中所示组成训练样本：
其中，q表示输入值的特征维数，p表示声纹采集装置故障的种类，表示某种声纹采集装置故障，当对应的故障发生时，，如表中所示，将样本通过可重复采样技术生成n组不同的样本，来进行n次神经网络训练，从而来形成可靠的声纹采集装置故障集成分类器；
声纹采集装置故障集成分类器的分类结果可以看成如下函数：
表示t时刻声纹采集装置故障集成分类器的分类结果，表示第i个神经网络在时刻t的输出，g表示各个神经网络集成的函数，X(t)为时刻t各个神经网络的输入，n表示要集成神经网络的数目。
步骤S105，通过运行声纹采集装置采集所述目标设备的运行声纹信息，将所述运行声纹信息与正常声纹信息进行匹配，当匹配结果不符合时，对所述运行声纹信息进行信息预处理，得到对应的运行频谱图，对所述运行频谱图进行图像识别，得到对应的运行频域特征。
具体地，当运行声纹采集装置采集目标设备的运行声纹信息时，其中，运行声纹采集装置为正在实际工作的声纹采集装置，将运行声纹信息与正常声纹信息进行匹配，当匹配结果不符合时，说明目标设备与运行声纹采集装置中存在故障，则对运行声纹信息进行上述的信息预处理步骤，得到对应的运行频谱图，并对运行的频谱图进行图像识别，得到运行声纹信息对应的运行频域特征。
另外，当运行声纹信息为人类声纹信息时，即运行声纹采集装置采集的是人类声纹，比如声控门禁系统等，则在采集到的用户的运行声纹信息与数据库中预存的正常声纹信息匹配结果不符合之后，发出报错指令，比如提示用户发出“故障检测”的语音，然后接收“故障检测”的语音，作为后续处理步骤中的运行声纹信息。
步骤S106，将所述运行频域特征输入训练后的卷积神经网络模型，检测训练后的卷积神经网络模型是否输出故障类型，当训练后的卷积神经网络模型输出故障类型时，输出所述运行声纹采集装置的故障结果以及故障类型的报警信息。
具体地，将运行频域特征输入训练后的卷积神经网络模型，检测训练后的卷积神经网络模型是否能够输出对应地故障类型，当训练后的卷积神经网络模型能够输出对应故障类型时，说明运行声纹采集装置存在故障，则输出运行声纹采集装置的故障结果以及故障类型的报警信息，当训练后的卷积神经网络模型不能够输出对应故障类型时，说明目标设备存在故障，输出目标设备存在故障的报警信息。
本发明实施例提供的一种基于深度学习的声纹采集装置的故障检测方法，获取声纹采集装置的故障类型，将故障类型进行排列组合，得到声纹采集装置的故障类型集合，并分别通过携带所述故障类型集合中各故障类型的故障声纹采集装置采集目标设备的故障声纹信息；对故障声纹信息进行信息预处理，生成对应的故障频谱图，信息预处理，包括：将故障声纹信息转化为数字信号，并对数字信号进行傅里叶变换，获取目标设备的声纹数据范围，根据声纹数据范围对傅里叶变换后的数字信号进行数字滤波，生成对应的故障频谱图；获取未携带任意故障类型的正常声纹采集装置采集目标设备的正常声纹信息，进行信息预处理得到对应的正常频谱图，分别对故障频谱图及正常频谱图进行图像识别，得到对应的故障频域特征及正常频域特征；将正常频域特征、故障频域特征以及对应的故障类型输入卷积神经网络模型进行训练，直至正常频域特征与故障频域特征的差值与故障类型的关联性出现收敛，得到训练后的卷积神经网络模型；通过运行声纹采集装置采集目标设备的运行声纹信息，将运行声纹信息与正常声纹信息进行匹配，当匹配结果不符合时，对运行声纹信息进行信息预处理，得到对应的运行频谱图，对运行频谱图进行图像识别，得到对应的运行频域特征；将运行频域特征输入训练后的卷积神经网络模型，检测训练后的卷积神经网络模型是否输出故障类型，当训练后的卷积神经网络模型输出故障类型时，输出运行声纹采集装置的故障结果以及故障类型的报警信息。这样不仅能够在进行设备的声纹检测时检测声纹采集装置是否存在故障，从而提高了目标设备的检测准确性，同时也能够通过深度学习检测声纹采集装置的故障类型，方便相关工作人员进行后续处理。
图2为本发明实施例提供的一种基于深度学习的声纹采集装置的故障检测装置，包括：获取模块S201、预处理模块S202、图像识别模块S203、训练模块S204、匹配模块S205、输出模块S206，其中：
获取模块S201，用于获取声纹采集装置的故障类型，将所述故障类型进行排列组合，得到声纹采集装置的故障类型集合，并分别通过携带所述故障类型集合中各故障类型的故障声纹采集装置采集目标设备的故障声纹信息。
预处理模块S202，用于对所述故障声纹信息进行信息预处理，生成对应的故障频谱图，所述信息预处理，包括：将所述故障声纹信息转化为数字信号，并对所述数字信号进行傅里叶变换，获取所述目标设备正常运行时的声纹数据范围，根据所述声纹数据范围对傅里叶变换后的数字信号进行数字滤波，生成对应的故障频谱图。
图像识别模块S203，用于获取未携带任意故障类型的正常声纹采集装置采集目标设备的正常声纹信息，进行信息预处理得到对应的正常频谱图，分别对故障频谱图及正常频谱图进行图像识别，得到对应的故障频域特征及正常频域特征。
训练模块S204，用于将所述正常频域特征、故障频域特征以及对应的故障类型输入卷积神经网络模型进行训练，直至所述正常频域特征与故障频域特征的差值与故障类型的关联性出现收敛，得到训练后的卷积神经网络模型。
匹配模块S205，用于通过运行声纹采集装置采集所述目标设备的运行声纹信息，将所述运行声纹信息与正常声纹信息进行匹配，当匹配结果不符合时，对所述运行声纹信息进行信息预处理，得到对应的运行频谱图，对所述运行频谱图进行图像识别，得到对应的运行频域特征。
输出模块S206，用于将所述运行频域特征输入训练后的卷积神经网络模型，检测训练后的卷积神经网络模型是否输出故障类型，当训练后的卷积神经网络模型输出故障类型时，输出所述运行声纹采集装置的故障结果以及故障类型的报警信息。
在其中一个实施例中，所述装置还包括：
计算模块，用于基于频域特征类型的不同，分别计算在不同频域特征类型下，正常频域特征与故障频域特征的差值，并生成对应的频域差值集合，生成所述频域差值集合对应的差值矩阵，将所述差值矩阵以及对应的故障类型输入卷积神经网络模型进行训练。
在其中一个实施例中，所述装置还包括：
第二输出模块，用于当训练后的卷积神经网络模型未输出故障类型时，输出所述目标设备存在故障的报警信息。
关于基于深度学习的声纹采集装置的故障检测装置的具体限定可以参见上文中对于基于深度学习的声纹采集装置的故障检测方法的限定，在此不再赘述。上述基于深度学习的声纹采集装置的故障检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、存储器(memory)302、通信接口(Communications Interface)303和通信总线304，其中，处理器301，存储器302，通信接口303通过通信总线304完成相互间的通信。处理器301可以调用存储器302中的逻辑指令，以执行如下方法：获取声纹采集装置的故障类型，将故障类型进行排列组合，得到声纹采集装置的故障类型集合，并分别通过携带所述故障类型集合中各故障类型的故障声纹采集装置采集目标设备的故障声纹信息；对故障声纹信息进行信息预处理，生成对应的故障频谱图，信息预处理，包括：将故障声纹信息转化为数字信号，并对数字信号进行傅里叶变换，获取目标设备的声纹数据范围，根据声纹数据范围对傅里叶变换后的数字信号进行数字滤波，生成对应的故障频谱图；获取未携带任意故障类型的正常声纹采集装置采集目标设备的正常声纹信息，进行信息预处理得到对应的正常频谱图，分别对故障频谱图及正常频谱图进行图像识别，得到对应的故障频域特征及正常频域特征；将正常频域特征、故障频域特征以及对应的故障类型输入卷积神经网络模型进行训练，直至正常频域特征与故障频域特征的差值与故障类型的关联性出现收敛，得到训练后的卷积神经网络模型；通过运行声纹采集装置采集目标设备的运行声纹信息，将运行声纹信息与正常声纹信息进行匹配，当匹配结果不符合时，对运行声纹信息进行信息预处理，得到对应的运行频谱图，对运行频谱图进行图像识别，得到对应的运行频域特征；将运行频域特征输入训练后的卷积神经网络模型，检测训练后的卷积神经网络模型是否输出故障类型，当训练后的卷积神经网络模型输出故障类型时，输出运行声纹采集装置的故障结果以及故障类型的报警信息。
此外，上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：获取声纹采集装置的故障类型，将故障类型进行排列组合，得到声纹采集装置的故障类型集合，并分别通过携带所述故障类型集合中各故障类型的故障声纹采集装置采集目标设备的故障声纹信息；对故障声纹信息进行信息预处理，生成对应的故障频谱图，信息预处理，包括：将故障声纹信息转化为数字信号，并对数字信号进行傅里叶变换，获取目标设备的声纹数据范围，根据声纹数据范围对傅里叶变换后的数字信号进行数字滤波，生成对应的故障频谱图；获取未携带任意故障类型的正常声纹采集装置采集目标设备的正常声纹信息，进行信息预处理得到对应的正常频谱图，分别对故障频谱图及正常频谱图进行图像识别，得到对应的故障频域特征及正常频域特征；将正常频域特征、故障频域特征以及对应的故障类型输入卷积神经网络模型进行训练，直至正常频域特征与故障频域特征的差值与故障类型的关联性出现收敛，得到训练后的卷积神经网络模型；通过运行声纹采集装置采集目标设备的运行声纹信息，将运行声纹信息与正常声纹信息进行匹配，当匹配结果不符合时，对运行声纹信息进行信息预处理，得到对应的运行频谱图，对运行频谱图进行图像识别，得到对应的运行频域特征；将运行频域特征输入训练后的卷积神经网络模型，检测训练后的卷积神经网络模型是否输出故障类型，当训练后的卷积神经网络模型输出故障类型时，输出运行声纹采集装置的故障结果以及故障类型的报警信息。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的声纹采集装置的故障检测方法，其特征在于，包括：
获取声纹采集装置的故障类型，将所述故障类型进行排列组合，得到声纹采集装置的故障类型集合，并分别通过携带所述故障类型集合中各故障类型的故障声纹采集装置采集目标设备的故障声纹信息；
对所述故障声纹信息进行信息预处理，生成对应的故障频谱图，所述信息预处理，包括：将所述故障声纹信息转化为数字信号，并对所述数字信号进行傅里叶变换，获取所述目标设备正常运行时的声纹数据范围，根据所述声纹数据范围对傅里叶变换后的数字信号进行数字滤波，生成对应的故障频谱图；
获取未携带任意故障类型的正常声纹采集装置采集目标设备的正常声纹信息，进行信息预处理得到对应的正常频谱图，分别对故障频谱图及正常频谱图进行图像识别，得到对应的故障频域特征及正常频域特征；
将所述正常频域特征、故障频域特征以及对应的故障类型输入卷积神经网络模型进行训练，直至所述正常频域特征与故障频域特征的差值与故障类型的关联性出现收敛，得到训练后的卷积神经网络模型；
通过运行声纹采集装置采集所述目标设备的运行声纹信息，将所述运行声纹信息与正常声纹信息进行匹配，当匹配结果不符合时，对所述运行声纹信息进行信息预处理，得到对应的运行频谱图，对所述运行频谱图进行图像识别，得到对应的运行频域特征；
将所述运行频域特征输入训练后的卷积神经网络模型，检测训练后的卷积神经网络模型是否输出故障类型，当训练后的卷积神经网络模型输出故障类型时，输出所述运行声纹采集装置的故障结果以及故障类型的报警信息。
2.根据权利要求1所述的基于深度学习的声纹采集装置的故障检测方法，其特征在于，所述将所述正常频域特征、故障频域特征以及对应的故障类型输入卷积神经网络模型进行训练，包括：
基于频域特征类型的不同，分别计算在不同频域特征类型下，正常频域特征与故障频域特征的差值，并生成对应的频域差值集合，生成所述频域差值集合对应的差值矩阵，将所述差值矩阵以及对应的故障类型输入卷积神经网络模型进行训练。
3.根据权利要求1所述的基于深度学习的声纹采集装置的故障检测方法，其特征在于，所述方法还包括：
当所述运行声纹信息为人类声纹信息时，所述当匹配结果不符合之后，还包括：
发出报错指令，并接收所述报错指令对应的运行声纹信息。
4.根据权利要求1所述的基于深度学习的声纹采集装置的故障检测方法，其特征在于，所述检测训练后的卷积神经网络模型是否输出故障类型之后，包括：
当训练后的卷积神经网络模型未输出故障类型时，输出所述目标设备存在故障的报警信息。
5.根据权利要求1所述的基于深度学习的声纹采集装置的故障检测方法，其特征在于，所述故障类型，包括：
传感器故障、电路故障、通信故障。
6.一种基于深度学习的声纹采集装置的故障检测装置，其特征在于，所述装置包括：
获取模块，用于获取声纹采集装置的故障类型，将所述故障类型进行排列组合，得到声纹采集装置的故障类型集合，并分别通过携带所述故障类型集合中各故障类型的故障声纹采集装置采集目标设备的故障声纹信息；
预处理模块，用于对所述故障声纹信息进行信息预处理，生成对应的故障频谱图，所述信息预处理，包括：将所述故障声纹信息转化为数字信号，并对所述数字信号进行傅里叶变换，获取所述目标设备正常运行时的声纹数据范围，根据所述声纹数据范围对傅里叶变换后的数字信号进行数字滤波，生成对应的故障频谱图；
图像识别模块，用于获取未携带任意故障类型的正常声纹采集装置采集目标设备的正常声纹信息，进行信息预处理得到对应的正常频谱图，分别对故障频谱图及正常频谱图进行图像识别，得到对应的故障频域特征及正常频域特征；
训练模块，用于将所述正常频域特征、故障频域特征以及对应的故障类型输入卷积神经网络模型进行训练，直至所述正常频域特征与故障频域特征的差值与故障类型的关联性出现收敛，得到训练后的卷积神经网络模型；
匹配模块，用于通过运行声纹采集装置采集所述目标设备的运行声纹信息，将所述运行声纹信息与正常声纹信息进行匹配，当匹配结果不符合时，对所述运行声纹信息进行信息预处理，得到对应的运行频谱图，对所述运行频谱图进行图像识别，得到对应的运行频域特征；
输出模块，用于将所述运行频域特征输入训练后的卷积神经网络模型，检测训练后的卷积神经网络模型是否输出故障类型，当训练后的卷积神经网络模型输出故障类型时，输出所述运行声纹采集装置的故障结果以及故障类型的报警信息。
7.根据权利要求6所述的基于深度学习的声纹采集装置的故障检测装置，其特征在于，所述装置还包括：
计算模块，用于基于频域特征类型的不同，分别计算在不同频域特征类型下，正常频域特征与故障频域特征的差值，并生成对应的频域差值集合，生成所述频域差值集合对应的差值矩阵，将所述差值矩阵以及对应的故障类型输入卷积神经网络模型进行训练。
8.根据权利要求6所述的基于深度学习的声纹采集装置的故障检测装置，其特征在于，所述装置还包括：
第二输出模块，用于当训练后的卷积神经网络模型未输出故障类型时，输出所述目标设备存在故障的报警信息。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述基于深度学习的声纹采集装置的故障检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述基于深度学习的声纹采集装置的故障检测方法的步骤。
CN202211594009.0A 2022-12-13 2022-12-13 一种基于深度学习的声纹采集装置的故障检测方法及装置 Active CN115588439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211594009.0A CN115588439B (zh) 2022-12-13 2022-12-13 一种基于深度学习的声纹采集装置的故障检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211594009.0A CN115588439B (zh) 2022-12-13 2022-12-13 一种基于深度学习的声纹采集装置的故障检测方法及装置

Publications (2)

Publication Number Publication Date
CN115588439A CN115588439A (zh) 2023-01-10
CN115588439B true CN115588439B (zh) 2023-04-07

Family

ID=84783034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211594009.0A Active CN115588439B (zh) 2022-12-13 2022-12-13 一种基于深度学习的声纹采集装置的故障检测方法及装置

Country Status (1)

Country Link
CN (1) CN115588439B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117914003B (zh) * 2024-03-19 2024-05-24 沈阳智帮电气设备有限公司 基于云边协同的箱式变压器智能监测辅助方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111044621B (zh) * 2018-10-11 2022-04-26 苏州奥科姆自动化科技有限公司 一种基于声音品质及声学特征的无损检测系统及方法
CN110189769B (zh) * 2019-05-23 2021-11-19 复钧智能科技(苏州)有限公司 基于多个卷积神经网络模型结合的异常声音检测方法
CN112487865A (zh) * 2020-11-02 2021-03-12 杭州兆华电子有限公司 一种基于机器学习的扬声器自动分类方法
CN112946531B (zh) * 2021-02-03 2024-04-30 中国电建集团贵州电力设计研究院有限公司 一种变压器故障诊断装置及诊断方法
CN113450827A (zh) * 2021-06-23 2021-09-28 成都瑞贝英特信息技术有限公司 基于压缩神经网络的设备异常工况声纹分析算法
CN114495983A (zh) * 2022-02-21 2022-05-13 安徽南瑞继远电网技术有限公司 一种基于云边协同的设备故障声纹监测系统
CN115376526A (zh) * 2022-08-23 2022-11-22 国网江苏省电力有限公司泰州供电分公司 一种基于声纹识别的电力设备故障检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵焕兴 ; 周威 ; 王光辉 ; .基于共振解调的拉普拉斯金字塔变换在直升机传动系统滚动轴承故障检测中的应用.机械研究与应用.2011,(01),全文. *

Also Published As

Publication number Publication date
CN115588439A (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN111860573B (zh) 模型训练方法、图像类别检测方法、装置和电子设备
CN108108902B (zh) 一种风险事件告警方法和装置
CN109065027B (zh) 语音区分模型训练方法、装置、计算机设备及存储介质
CN110472675B (zh) 图像分类方法、图像分类装置、存储介质与电子设备
KR20210020007A (ko) 보험 녹음의 품질 검사 방법, 장치, 기기와 컴퓨터 저장 매체
CN115588439B (zh) 一种基于深度学习的声纹采集装置的故障检测方法及装置
CN111312286A (zh) 年龄识别方法、装置、设备及计算机可读存储介质
CN115080290B (zh) 一种基于智能算法的异常数据检测方法及系统
CN115102789B (zh) 一种反通信网络诈骗研判预警拦截综合平台
CN109088793B (zh) 用于检测网络故障的方法和装置
CN116520068B (zh) 一种电力数据的诊断方法、装置、设备及存储介质
CN114168788A (zh) 音频审核的处理方法、装置、设备及存储介质
CN117370832A (zh) 基于贝叶斯神经网络的水声目标识别方法及装置
CN113239075A (zh) 一种施工数据自检方法及系统
RU2148274C1 (ru) Способ идентификации личности по особенностям подписи
CN113723466B (zh) 文本相似度量化方法、设备及系统
CN112131541A (zh) 一种基于振动信号的身份验证方法和系统
CN116541713B (zh) 基于局部时频特征迁移学习的轴承故障诊断模型训练方法
CN117033983B (zh) 一种无人船自噪声检测识别方法及系统
CN115988100B (zh) 基于多协议自适应的设备智能感知物联网网关管理方法
CN113965729B (zh) 一种区域安全监控系统及方法
KR101327664B1 (ko) 음성 영역 검출 방법 및 그 장치
CN117262942A (zh) 电梯异常检测方法、装置、计算机设备及存储介质
CN117711433A (zh) 基于深度u型网络的声纹异常检测方法、设备及存储介质
CN118193934A (zh) 一种换流阀异常放电智能定位方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant