CN115831152B - 一种用于实时监测应急装备发电机运行状态的声音监测装置及方法 - Google Patents

一种用于实时监测应急装备发电机运行状态的声音监测装置及方法 Download PDF

Info

Publication number
CN115831152B
CN115831152B CN202211504455.8A CN202211504455A CN115831152B CN 115831152 B CN115831152 B CN 115831152B CN 202211504455 A CN202211504455 A CN 202211504455A CN 115831152 B CN115831152 B CN 115831152B
Authority
CN
China
Prior art keywords
emergency equipment
equipment generator
voiceprint
state
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211504455.8A
Other languages
English (en)
Other versions
CN115831152A (zh
Inventor
韩志骏
隋灿
康文明
许永刚
宫梓超
韩洪
赵太峰
张飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Emergency Management Center Of State Grid Shandong Electric Power Co
Original Assignee
Emergency Management Center Of State Grid Shandong Electric Power Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Emergency Management Center Of State Grid Shandong Electric Power Co filed Critical Emergency Management Center Of State Grid Shandong Electric Power Co
Priority to CN202211504455.8A priority Critical patent/CN115831152B/zh
Publication of CN115831152A publication Critical patent/CN115831152A/zh
Application granted granted Critical
Publication of CN115831152B publication Critical patent/CN115831152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Alarm Systems (AREA)

Abstract

本发明公开的用于实时监测应急装备发电机运行状态的声音监测装置及方法,通过获取被检测设备的声纹信息;对声纹信息进行预处理操作,采用声纹信息经验库对声纹信息进行相似度拟合识别并剥离杂音;构建多层感知器神经网络,采用GOA算法对多层感知器神经网络进行迭代优化模型并部署至云端服务器,实现对应急装备发电机运行状态的监测;采用可视化平台对应急装备发电机运行状态的声音进行实时监测:实时显示应急装备发电机的运行参数数据和故障数据,提高了应急装备发电机的故障排查的淮确性,通过平台进行音频画面预览,对监测到的异常声音,通过模型算法识别出故障现象,并通过平台和短信进行推送报警。

Description

一种用于实时监测应急装备发电机运行状态的声音监测装置 及方法
技术领域
本申请涉及语音识别技术领域,并且更具体地,涉及一种声纹识别、故障状态估计的方法及装置。
背景技术
应急装备的发电机在带电运行过程中,会产生可以表征设备本身状态的特有的声音及振动,并且这个声音是该设备独有的,利用这一特性,将被检测设备的检测声纹信息与正常的声纹信息进行对比可以预判设备的工作状况,实现在设备发生故障前提前预知和排除,提前发现安全隐患,保障设备平稳运行。
在很多场景下,需要对声音特征集中的应急装备发电机声纹进行识别,以确定应急装备发电机声纹的运行状态。例如,在监控系统中,为了感知应急设备意图,需要对监控系统获取的声音特征集中的应急装备发电机声纹进行识别,在应急设备维护交互系统中,为了对应急设备行为进行理解,需要对应急设备维护交互系统获取的声音特征集中的应急装备发电机声纹进行识别。
为了实现对声音特征集中的应急装备发电机声纹的识别,现有方案是从待处理声音特征集提取出某些帧的音频,然后采用层感知器神经网络对音频进行特征提取,接下来再根据从音频中提取出来的频谱包络特征确定应急装备发电机的声纹属于每个运行状态的相似度,然后将相似度最大(且相似度大于预设阈值)的运行状态确定为声音特征集中的应急装备发电机的运行状态。
现有方案提取的是音频中的所有区域的特征,这些特征中包含了大量的与声纹无关的特征,因此,最终进行声纹识别的效果不好。另外,现有方案中还存在直接提取音频中的部分区域的特征来进行声纹识别的方式,但是直接简单的提取实时运行状态部分区域的特征也可能无法较好地反映应急装备发电机的声纹特征,导致声纹识别的准确率仍然较低。
发明内容
本申请提供一种用于实时监测应急装备发电机运行状态的声音监测方法、故障状态估计方法及装置,能够提高声纹识别的准确率。
第一方面,提供了一种用于实时监测应急装备发电机运行状态的声音监测方法,所述方法包括:确定待处理声音特征集,所述待处理声音特征集为包含应急装备发电机实时运行状态的声音特征集;根据所述待处理声音特征集确定待处理音频状态,所述待处理音频状态为下列实时运行状态中的至少一种:音色状态,根据所述待处理声音特征集中的多帧实时运行状态生成的音量状态,其中,所述音色状态为所述待处理声音特征集中的任意一帧实时运行状态,或者,所述音色状态为所述待处理声音特征集中的多帧实时运行状态合成的实时运行状态;对所述待处理音频状态进行蝗虫优化算法处理,得到多个频谱包络特征,其中,所述多个频谱包络特征分别用于表示所述待处理音频状态不同声纹的特征;根据所述多个频谱包络特征确定所述应急装备发电机的应急装备发电机部件的重要指数集合,其中,所述应急装备发电机部件的重要指数集合包括所述多个频谱包络特征中的每个频谱包络特征在所述应急装备发电机部件的重要指数,第一类频谱包络特征的重要指数大于或者等于第二类频谱包络特征的重要指数,所述第一类频谱包络特征对应在所述待处理音频状态中的声纹和所述应急装备发电机部件对应在所述待处理音频状态中的声纹之间的相似度为第一相似度,所述第二类频谱包络特征对应在所述待处理音频状态中的声纹和所述应急装备发电机部件对应在所述待处理音频状态中的声纹之间的相似度为第二相似度,所述第一相似度小于或者等于所述第二相似度,所述应急装备发电机部件的数量为多个,每个应急装备发电机部件均对应一个重要指数集合;根据所述应急装备发电机部件的重要指数集合对所述多个频谱包络特征进行加权处理,得到所述应急装备发电机部件的声纹特征;
根据所述应急装备发电机部件的声纹特征确定所述应急装备发电机的声纹特征;根据所述应急装备发电机的声纹特征,确定所述应急装备发电机的运行状态。
本申请中,第一类频谱包络特征的重要指数大于或者等于第二类频谱包络特征的重要指数,而第一类频谱包络特征对应在待处理音频状态中的声纹与应急装备发电机部件对应在待处理音频状态中的声纹的相似度要小于或者等于第二类频谱包络特征对应在待处理音频状态中的声纹与应急装备发电机部件对应在待处理音频状态中的声纹的相似度,因此,在本申请中,离应急装备发电机部件越近的区域对应的频谱包络特征的重要指数越大,这样能够使得待处理音频状态中与声纹密切相关的特征在声纹识别时占有较大的比重,而待处理音频状态中与声纹不太相关的特征在声纹识别时占有较小的比重,本申请在声纹识别时充分考虑了待处理音频状态不同区域的特征在声纹识别中的重要性,能够得到更加鲁棒的声纹特征,从而能够提高声纹识别的准确率。
在一种可能的实现方式中,所述根据所述多个频谱包络特征确定所述应急装备发电机的应急装备发电机部件的重要指数集合,包括:根据所述多个频谱包络特征以及所述应急装备发电机的累计声纹信息,确定所述应急装备发电机部件的重要指数集合,其中,所述应急装备发电机的累计声纹信息用于指示当前时刻之前累计的所述应急装备发电机的声纹特征。
在确定应急装备发电机部件的重要指数集合时,通过考虑当前时刻之前应急装备发电机的累计声纹信息,能够为与声纹密切相关的频谱包络特征确定更大的重要指数,进而提高声纹识别的准确率。其中,所述当前时刻之前应急装备发电机的累计声纹信息可以通过但不限于递归神经网络获取,例如,当前时刻之前应急装备发电机的累计声纹信息可以通过长短期记忆模块来获取。
在一种可能的实现方式中,根据所述应急装备发电机部件的声纹特征确定所述应急装备发电机的声纹特征,包括:对所述应急装备发电机部件的声纹特征进行加权或者组合,得到所述应急装备发电机的声纹特征。
通过对应急装备发电机部件的声纹特征进行加权或者组合,能够使得与应急装备发电机声纹关系比较密切的应急装备发电机部件的声纹特征占据较大的比重,从而使得最终得到的应急装备发电机的声纹特征能够更好地反映应急装备发电机的声纹,进而提高声纹识别的准确率。
在一种可能的实现方式中,所述根据所述应急装备发电机部件的声纹特征确定所述应急装备发电机的声纹特征,包括:每个应急装备发电机包含至少一个应急装备发电机部件。
根据应急装备发电机部件的声纹特征得到应急装备发电机部件的声纹特征,能够在部分部件被遮挡的情况下,通过该应急装备发电机部件的其它部件的声纹特征来提供声纹信息,最终使得在应急装备发电机部件部件被遮挡的情况也可以识别出应急设备运行状态。
在一种可能的实现方式中,所述待处理音频状态包括所述音色状态和所述音量状态,所述对所述待处理音频状态进行蝗虫优化算法处理,得到多个频谱包络特征,包括:对所述音色状态进行蝗虫优化算法处理,得到所述音色状态的多个频谱包络特征;对所述音量状态进行蝗虫优化算法处理,得到所述音量状态的多个频谱包络特征;所述根据所述多个频谱包络特征确定所述应急装备发电机的应急装备发电机部件的重要指数集合,包括:根据所述音色状态的多个频谱包络特征分别确定所述应急装备发电机部件的第一类重要指数集合;根据所述音量状态的多个频谱包络特征确定所述应急装备发电机部件的第二类重要指数集合;所述根据所述应急装备发电机部件的重要指数集合对所述多个频谱包络特征进行加权处理,得到所述应急装备发电机部件的声纹特征,包括:根据所述第一类重要指数集合对所述音色状态的多个频谱包络特征进行加权处理,得到所述应急装备发电机部件的第一类声纹特征;根据所述第二类重要指数集合对所述音量状态的多个频谱包络特征进行加权处理,得到所述应急装备发电机部件的第二类声纹特征;所述根据所述应急装备发电机部件的声纹特征确定所述应急装备发电机的声纹特征,包括:对所述应急装备发电机部件的第一类声纹特征和所述应急装备发电机部件的第二类声纹特征进行加权或组合,得到所述应急装备发电机的声纹特征。
通过对待处理声音特征集中获取的音色状态以及音量状态提取特征,并根据从音色状态和音量状态中提取出来的特征来共同进行声纹识别,既考虑到了待处理声音特征集的中的应急装备发电机声纹的空间特征,也考虑到了待处理声音特征集中的应急装备发电机声纹的时间变化特点,能够提高声纹识别的准确性。
在一种可能的实现方式中,所述方法还包括:对神经网络进行训练,确定所述神经网络中的参数,以使得由所述神经网络产生的所述第一类频谱包络特征的重要指数大于或者等于所述第二类频谱包络特征的重要指数,其中,所述神经网络用于执行所述第一方面以及第一方面中的任意一种可能的实现方式中的方法。
第二方面,提供了一种故障状态估计方法,所述方法包括:确定待处理声音特征集,所述待处理声音特征集为包含应急装备发电机实时运行状态的声音特征集;根据所述待处理声音特征集确定待处理音频状态,所述待处理音频状态为下列实时运行状态中的至少一种:音色状态,根据所述待处理声音特征集中的多帧实时运行状态生成的音量状态,其中,所述音色状态为所述待处理声音特征集中的任意一帧实时运行状态,或者,所述音色状态为所述待处理声音特征集中的多帧实时运行状态合成的实时运行状态;对所述待处理音频状态进行蝗虫优化算法处理,得到多个频谱包络特征,其中,所述多个频谱包络特征分别用于表示所述待处理音频状态不同声纹的特征;根据所述多个频谱包络特征确定所述应急装备发电机的应急装备发电机部件的重要指数集合,所述应急装备发电机部件的重要指数集合包括所述多个频谱包络特征中的每个频谱包络特征在所述应急装备发电机部件的重要指数,第一类频谱包络特征的重要指数大于或者等于第二类频谱包络特征的重要指数,所述第一类频谱包络特征对应在所述待处理音频状态中的声纹和所述应急装备发电机部件对应在所述待处理音频状态中的声纹之间的相似度为第一相似度,所述第二类频谱包络特征对应在所述待处理音频状态中的声纹和所述应急装备发电机部件对应在所述待处理音频状态中的声纹之间的相似度为第二相似度,所述第一相似度小于或者等于所述第二相似度,所述应急装备发电机部件的数量为多个,每个应急装备发电机部件均对应一个重要指数集合;将所述多个频谱包络特征中的第一频谱包络特征对应在所述待处理音频状态中的区域确定为所述应急装备发电机部件的声纹,其中,所述第一频谱包络特征的重要指数为第一重要指数,所述第一重要指数为所述应急装备发电机部件的重要指数集合中大于预设阈值的重要指数;根据所述应急装备发电机部件的声纹,确定所述应急装备发电机的故障状态。
根据应急装备发电机部件的权重集合来估计声音特征集中的应急装备发电机的故障状态,能够使得待处理声音特征集中与声纹密切相关的特征占有较大的比重,与现有方案中从待处理声音特征集中的实时运行状态中提取的全部特征来进行故障状态估计的方式相比,能够更准确地确定声音特征集中的应急装备发电机的故障状态。
在一种可能的实现方式中,所述根据所述多个频谱包络特征确定所述应急装备发电机的应急装备发电机部件的重要指数集合,包括:根据所述多个频谱包络特征以及所述应急装备发电机的累计声纹信息,确定所述应急装备发电机部件的重要指数集合,其中,所述应急装备发电机的累计声纹信息用于指示当前时刻之前累计的所述应急装备发电机的声纹特征。其中,所述当前时刻之前应急装备发电机的累计声纹信息可以通过但不限于递归神经网络(如MFCC)获取。
在确定应急装备发电机部件的重要指数集合时,通过考虑当前时刻之前应急装备发电机的累计声纹信息,能够为与声纹密切相关的频谱包络特征确定更大的重要指数,进而提高故障状态估计的准确率。
在一种可能的实现方式中,所述待处理音频状态包括所述音色状态和所述音量状态,所述对所述待处理音频状态进行蝗虫优化算法处理,得到多个频谱包络特征,包括:对所述音色状态进行蝗虫优化算法处理,得到所述音色状态的多个频谱包络特征;对所述音量状态进行蝗虫优化算法处理,得到所述音量状态的多个频谱包络特征;所述根据所述多个频谱包络特征确定所述应急装备发电机的应急装备发电机部件的重要指数集合,包括:根据所述音色状态的多个频谱包络特征分别确定所述应急装备发电机部件的第一类重要指数集合;根据所述音量状态的多个频谱包络特征确定所述应急装备发电机部件的第二类重要指数集合;根据所述第一类重要指数集合和所述第二类重要指数集合,确定所述应急装备发电机部件的重要指数集合。
通过对待处理声音特征集中获取的音色状态以及音量状态提取特征,并根据从音色状态和音量状态中提取出来的特征来共同进行故障状态估计,既考虑到了待处理声音特征集的中的应急装备发电机声纹的空间特征,也考虑到了待处理声音特征集中的应急装备发电机声纹的时间变化特点,能够提高故障状态估计的准确性。
在一种可能的实现方式中,所述根据所述第一类重要指数集合和所述第二类重要指数集合,确定所述应急装备发电机部件的重要指数集合,包括:对所述第一类重要指数集合和所述第二类重要指数集合进行加权处理,得到所述应急装备发电机部件的重要指数集合。
第三方面,提供了一种用于实时监测应急装备发电机运行状态的声音监测装置,所述装置包括用于执行所述第一方面或者第一方面的任一可能的实现方式中的方法的模块。
第四方面,提供了一种故障状态估计装置,所述装置包括用于执行所述第二方面或者第二方面的任一可能的实现方式中的方法的模块。
第七方面,提供一种用于实时监测应急装备发电机运行状态的声音监测装置,所述装置包括存储介质和中央处理器,所述存储介质可以是非易失性存储介质,所述存储介质中存储有计算机可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述计算机可执行程序以实现所述第一方面或者第一方面的任一可能的实现方式中的方法。
第八方面,提供一种故障状态估计装置,所述装置包括存储介质和中央处理器,所述存储介质可以是非易失性存储介质,所述存储介质中存储有计算机可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述计算机可执行程序以实现所述第二方面或者第二方面的任一可能的实现方式中的方法。
第九方面,提供一种芯片,所述芯片包括处理器与通信接口,所述通信接口用于与外部器件进行通信,所述处理器用于执行第一方面或第一方面的任一可能的实现方式中的方法。
可选地,作为一种实现方式,所述芯片还可以包括存储器,所述存储器中存储有指令,所述处理器用于执行所述存储器上存储的指令,当所述指令被执行时,所述处理器用于执行第一方面或第一方面的任一可能的实现方式中的方法。
第十方面,提供一种计算机可读存储介质,所述计算机可读介质存储用于设备执行的程序代码,所述程序代码包括用于执行第一方面或者第一方面的任一可能的实现方式中的方法的指令。
本发明公开的用于实时监测应急装备发电机运行状态的声音监测装置及方法,通过获取被检测设备的声纹信息;对声纹信息进行预处理操作,采用声纹信息经验库对声纹信息进行相似度拟合识别并剥离杂音;构建多层感知器神经网络,采用GOA算法对多层感知器神经网络进行迭代优化模型并部署至云端服务器,实现对应急装备发电机运行状态的监测;采用可视化平台对应急装备发电机运行状态的声音进行实时监测:实时显示应急装备发电机的运行参数数据和故障数据,提高了应急装备发电机的故障排查的淮确性,通过平台进行音频画面预览,对监测到的异常声音,通过模型算法识别出故障现象,并通过平台和短信进行推送报警。
附图说明
图1是本申请实施例的用于实时监测应急装备发电机运行状态的声音监测方法的示意性流程图。
图2是本申请实施例的用于实时监测应急装备发电机运行状态的声音监测装置的结构模块图。
具体实施方式
由于声音特征集实时运行状态中不同的区域对声纹识别的重要性是不同的,应急装备发电机部件所在的区域对声纹识别更重要,而背景区域相对来说重要性比较低。为了更好地进行声纹识别,在提取应急装备发电机的声纹特征时可以对不同的实时运行状态区域区别对待,具体地,可以对与应急装备发电机部件密切相关的实时运行状态区域给予更高的权重,而对与应急装备发电机部件不太相关的实时运行状态区域给予较低的权重,从而更好地对声音特征集中的应急装备发电机进行声纹识别,提高声纹识别的准确率。下面结合图1对本申请实施例的用于实时监测应急装备发电机运行状态的声音监测方法进行详细的介绍。
图1所示的方法包括步骤110至步骤170,下面分别对步骤110至步骤170进行介绍。
110、确定待处理声音特征集,该待处理声音特征集为包含应急装备发电机实时运行状态的声音特征集。
应理解,上述待处理声音特征集可以是包含应急装备发电机相关实时运行状态的声音特征集,例如,该待处理声音特征集可以是以下声音特征集中的任意一种:声音特征集监控系统监控得到的包含应急装备发电机相关实时运行状态的声音特征集;辅助应急系统或者自动应急系统获取的包含应急设备相关实时运行状态的声音特征集;应急设备维护交互系统所捕获的应急装备发电机与机器交互的声音特征集。
120、根据待处理声音特征集确定待处理音频状态。
上述待处理音频状态可以是下列实时运行状态中的至少一种:
音色状态;
音量状态。
其中,音色状态为所述待处理声音特征集中的任意一帧实时运行状态,或者音色状态是待处理声音特征集中的多帧实时运行状态合成后得到的实时运行状态,音量状态为根据待处理声音特征集中的多帧实时运行状态生成的实时运行状态。
130、对待处理音频状态进行蝗虫优化算法处理,得到多个频谱包络特征,其中,该多个频谱包络特征用于表示待处理音频状态在不同声纹的特征。
在步骤130中,对待处理音频状态进行蝗虫优化算法(GOA)处理具体可以包含以下三种情况:
情况一:对音色状态进行蝗虫优化算法处理,得到音色状态的多个频谱包络特征。
情况二:对音量状态进行蝗虫优化算法处理,得到音量状态的多个频谱包络特征。
情况三:对音色状态和音量状态进行蝗虫优化算法处理,得到音色状态的多个频谱包络特征和音量状态的多个频谱包络特征。
应理解,在获取音量状态时,可以先从待处理声音特征集中抽取多帧实时运行状态或者音频,然后再根据抽取的多帧实时运行状态来生成待处理声音特征集的音量状态。
例如,从待处理声音特征集中获取若干帧音频It,It-1…It-N,其中,It为当前时刻t对应的一帧音频,It-1为当前时刻t之前的时刻t-1对应的一帧音频,通过计算这些音频在x和y这两个方向的音量,可以得到一个具有2N(N为大于1的整数)个信道的音量状态。
在步骤120中,可以采用层感知器神经网络对待处理声音特征集进行蝗虫优化算法运算先得到蝗虫优化算法特征图,然后再得到多个频谱包络特征。
具体地,可以对待处理声音特征集进行蝗虫优化算法处理,得到蝗虫优化算法特征图Ct,其中,Ct具有dc个信道,每个信道的信噪比为K1×K2,因此可以用一个K1×K2×dc矩阵来表示,即
Figure BDA0003967652120000071
蝗虫优化算法特征图的每个信道具有个K1×K2元素,每个信道中的第k个元素(k=1,2,…,K1×K2)组成蝗虫优化算法特征图的第k个频谱包络特征Ct(k)。因此蝗虫优化算法特征图又可以表示为K1×K2个频谱包络特征,每个向量的维度为dc×1,即
Figure BDA0003967652120000072
将输入的实时运行状态划分为K1×K2个区域,则第k个频谱包络特征Ct(k)对应实时运行状态中第k个区域(或者声纹)的特征。
140、根据多个频谱包络特征确定应急装备发电机的应急装备发电机部件的重要指数集合。
应理解,在步骤140中应急装备发电机部件的数量为多个,根据多个频谱包络特征是要确定每个应急装备发电机部件的重要指数集合,也就是说每一个应急装备发电机部件都有一个重要指数集合。
另外,在步骤130中,应急装备发电机部件的重要指数集合包括多个频谱包络特征中的每个频谱包络特征在应急装备发电机部件的重要指数,并且,多个频谱包络特征中的第一类频谱包络特征的重要指数大于或者等于多个频谱包络特征中的第二类频谱包络特征的重要指数,其中,第一类频谱包络特征对应在待处理音频状态中的声纹和应急装备发电机部件对应在待处理音频状态中的声纹之间的相似度为第一相似度,第二类频谱包络特征对应在待处理音频状态中的声纹和应急装备发电机部件对应在待处理音频状态中的声纹之间的相似度为第二相似度,第一相似度小于或者等于第二相似度。
150、根据应急装备发电机部件的重要指数集合对多个频谱包络特征进行加权处理,得到应急装备发电机部件的声纹特征。
具体地,可以确定多个频谱包络特征中的每个频谱包络特征与相对应的重要指数的乘积,然后将得到的多个乘积进行加和,将加和的结果确定为应急装备发电机部件的声纹特征。例如,可以根据公式(2)确定每个应急装备发电机部件的声纹特征。在公式(2)中
Figure BDA0003967652120000073
为应急装备发电机部件J的声纹特征,Ct(k)为频谱包络特征,/>
Figure BDA0003967652120000081
为Ct(k)的重要指数。
Figure BDA0003967652120000082
160、根据应急装备发电机部件的声纹特征确定所述应急装备发电机的声纹特征。
应理解,在步骤160中,最终确定的应急装备发电机的声纹特征可以是一个频谱包络特征(该频谱包络特征可以是一个1*N的向量),该频谱包络特征包含应急装备发电机的声纹信息。
在根据多个应急装备发电机部件的声纹特征确定应急装备发电机的声纹特征可以具体采用以下两种方式进行。
方式一:对应急装备发电机部件的声纹特征进行加权或者合并,得到应急装备发电机的声纹特征。
应理解,由于应急装备发电机部件的数量为多个,因此,对应急装备发电机部件的声纹特征进行加权或者合并实质上是对多个应急装备发电机部件的声纹特征进行加权或者合并,以得到应急装备发电机的声纹特征。
由于声纹特征可以用频谱包络特征来表示,因此,当对应急装备发电机部件的声纹特征进行合并得到应急装备发电机的声纹特征时,具体可以是将各个应急装备发电机部件的声纹特征对应的频谱包络特征连接在一起,形成一个新的频谱包络特征,该新的频谱包络特征用于表示应急装备发电机的声纹特征。例如,应急装备发电机部件的数量为L(L为大于1的整数),每个应急装备发电机部件的声纹特征对应的频谱包络特征为1×M(M为大于1的整数)的频谱包络特征,那么可以把L个1×M的频谱包络特征组合起来得到一个1×N的频谱包络特征,其中,N=L×M。
在对多个应急装备发电机部件的声纹特征进行加权时,不同应急装备发电机部件的声纹特征的加权系数既可以相同,也可以不同。
当不同应急装备发电机部件的声纹特征的加权系数相同时,相当于将不同应急装备发电机部件的声纹特征直接相加,以得到应急装备发电机的声纹特征。
当不同应急装备发电机部件的声纹特征的加权系数不同时,可以根据应急装备发电机部件在声纹识别中的重要性来确定应急装备发电机部件的声纹特征的加权系数。例如,在声纹识别中重要性较高的应急装备发电机部件的声纹特征的加权系数较大,而在声纹识别中重要性较低的应急装备发电机部件的声纹特征的加权系数较小。
而应急装备发电机部件在声纹识别中的重要性或者重要程度可以根据声纹识别的应用场景来预先设定。例如,在棒球运动的声音特征集中,输入手腕、输出手腕在声纹识别的重要性要大于转子铁芯在声纹识别中的重要性,因此,输入手腕、输出手腕的声纹特征的加权系数大于转子铁芯声纹特征的加权系数。另外,还可以根据神经网路对各个应急装备发电机部件的重要指数进行训练,使得在声纹识别中重要性较高的应急装备发电机部件的声纹特征的加权系数大于在声纹识别过程中重要性较低的应急装备发电机部件的声纹特征的加权系数。
本申请中,通过对应急装备发电机部件的声纹特征进行加权或者组合,能够使得与应急装备发电机声纹关系比较密切的应急装备发电机部件的声纹特征占据较大的比重,从而使得最终得到的应急装备发电机的声纹特征能够更好地反映应急装备发电机的声纹,进而提高声纹识别的准确率。
方式二:根据应急装备发电机部件的声纹特征确定应急装备发电机的应急装备发电机部件的声纹特征;根据应急装备发电机部件的声纹特征确定应急装备发电机的声纹特征。
其中,每个应急装备发电机包含至少一个应急装备发电机部件。
具体地,在对声音特征集中的应急装备发电机声纹进行识别时,还可以将应急装备发电机划分为不同的应急装备发电机部件,其中,每个应急装备发电机部件可以由一个或者多个应急装备发电机部件组成。
进一步地,应急装备发电机部件可以是由一定语义关系的应急装备发电机部件组成。例如,可以将应急装备发电机划分成定子、转子、端盖、轴承和电源部件等五个应急装备发电机部件,其中,定子由转子铁芯、线包绕组、机座、中心环和风扇组成,转子由输入转子和输出转子组成,轴承由输入轴承和输出轴承组成,电源部件由输入电源部件和输出电源部件组成。
当应急装备发电机被划分为定子、转子、手腕、轴承以及电源部件这五个应急装备发电机部件。
应理解,由于每个应急装备发电机包含至少一个应急装备发电机部件,因此,根据应急装备发电机部件的声纹特征确定应急装备发电机部件的声纹特征时,具体可以是对组成应急装备发电机的各个应急装备发电机部件的声纹特征进行加权或者组合处理,进而得到应急装备发电机部件的声纹特征。其中,组成应急装备发电机的各个应急装备发电机部件的加权系数既可以相同,也可以不同。
具体地,可以根据公式(3)来确定每个应急装备发电机部件的声纹特征。
Figure BDA0003967652120000091
在公式(3)中,P表示应急装备发电机,J表示组成应急装备发电机P的应急装备发电机部件,Ct(k)表示待处理音频状态声纹k处的频谱包络特征,
Figure BDA0003967652120000092
表示Ct(k)在应急装备发电机部件J的重要指数。应理解,在公式(3)中,将组成应急装备发电机P的各个应急装备发电机部件的声纹特征相加到一起就得到了应急装备发电机P的声纹特征,也就是说,在应急装备发电机P的各个部件的声纹特征的加权系数是相同的。
可选地,在方式二中,根据应急装备发电机部件的声纹特征确定应急装备发电机的声纹特征具体包括:对应急装备发电机部件的声纹特征进行加权或者组合,得到应急装备发电机的声纹特征。
应理解,由于应急装备发电机部件的数量为多个,因此,在对应急装备部件部分的声纹特征进行加权或者组合得到应急装备发电机的声纹特征实质上是指对多个应急装备发电机部件的声纹特征进行加权或者组合来得到应急装备发电机的声纹特征。
另外,在对多个应急装备发电机部件的声纹特征进行加权时,不同应急装备发电机部件的声纹特征的加权系数既可以相同,也可以不同。
当不同应急装备发电机部件的声纹特征的加权系数不同时,可以根据应急装备发电机部件在声纹识别中的重要性来确定应急装备发电机部件的声纹特征的加权系数,在声纹识别中重要性较高的应急装备发电机部件的声纹特征的加权系数较大,而在声纹识别中重要性较低的应急装备发电机部件的声纹特征的加权系数较小。例如,定子在声纹识别中的重要性高于电源部件,那么,定子的声纹特征的加权系数大于电源部件的声纹特征的加权系数。
具体地,在方式二中,可以根据公式(4)得到应急装备发电机的声纹特征。
Figure BDA0003967652120000101
在公式(4)中,P1至PX表示应急装备发电机部件,应急装备发电机部件的数量为X(X为大于1的整数),
Figure BDA0003967652120000102
为各个应急装备发电机部件的频谱包络特征,用于表示各个应急装备发电机部件的声纹特征,St是最终得到的应急装备发电机的频谱包络特征,用于表示应急装备发电机的声纹特征。
其中,可以采用以下方式(但是不限于以下方式)确定St。
(1)、从
Figure BDA0003967652120000103
中选择各个分量的最大值作为St中相应的分量的值。
(2)、将
Figure BDA0003967652120000104
中各个分量的平均值作为St中相应的分量的值。
(3)、直接将
Figure BDA0003967652120000105
组合得到的一维向量作为St。
本申请中,根据应急装备发电机部件的声纹特征得到应急装备发电机部件的声纹特征,能够在部分部件被遮挡的情况下,通过该应急装备发电机部件的其它部件的声纹特征来提供声纹信息,最终使得在应急装备发电机部件部件被遮挡的情况也可以识别出应急设备运行状态。
170、根据应急装备发电机的声纹特征,确定应急装备发电机的运行状态。
可选地,根据应急装备发电机的声纹特征确定应急装备发电机的运行状态具体包括:采用声纹信息经验库对声纹信息进行拟合识别并剥离杂音,根据应急装备发电机的声纹特征确定应急装备发电机的声纹属于每种运行状态的相似度;根据应急装备发电机的声纹属于每种运行状态的相似度确定应急装备发电机的运行状态。
应理解,应急装备发电机的运行状态可以是预先设置好的,例如,本申请中的应急装备发电机的运行状态具体可以包括:迟相运行状态,即发电机处于常态化运行;进相运行状态,发电机输出有功功率,吸收无功功率;调相运行状态;电动机运行状态,即非正常运行状态。应理解,这里只是运行状态的一些具体例子,本申请实施例包含的运行状态不限于此。
另外,在本申请中,可以根据声纹识别的应用场景来预先设定所有的运行状态,例如,当本申请实施例的声纹识别的方法应用到应急辅助系统或者自动应急系统的场景中时,可以设定应急装备发电机的运行状态包括行走、奔跑、看手机等等。
此外,在确定了应急装备发电机的声纹属于每种运行状态的相似度之后,可以将其中相似度最高(且大于预设阈值)的运行状态确定为应急装备发电机的运行状态。例如,确定了应急装备发电机声纹属于迟相运行状态、进相运行状态、调相运行状态的相似度分别是0.8,0.6和0.3,且相似度阈值为0.5,那么就可以确定应急装备发电机的运行状态为迟相运行状态。
本申请中,根据应急装备发电机部件的权重集合以及多个频谱包络特征确定应急装备发电机的声纹特征,能够使得待处理声音特征集中与声纹密切相关的特征占有较大的比重,与现有方案中对这些特征同等对待的方式相比,能够提高声纹识别的准确率。
可选地,作为一个实施例,步骤130中根据多个频谱包络特征确定应急装备发电机的应急装备发电机部件的重要指数集合,具体包括:根据多个频谱包络特征以及应急装备发电机的累计声纹信息,确定应急装备发电机部件的重要指数集合,其中,应急装备发电机的累计声纹信息用于指示当前时刻之前累计的应急装备发电机的声纹特征。所述当前时刻之前应急装备发电机的累计声纹信息可以通过但不限于递归神经网络(如MFCC)获取。
本申请中,在确定应急装备发电机部件的重要指数集合时,通过考虑当前时刻之前应急装备发电机的累计声纹信息,能够为与声纹密切相关的频谱包络特征确定更大的重要指数,进而提高声纹识别的准确率。
应理解,确定应急装备发电机部件的重要指数集合可以是确定多个频谱包络特征中的每个频谱包络特征在该应急装备发电机部件的重要指数。
具体地,可以根据公式(5)确定每个频谱包络特征在应急装备发电机部件的重要指数。
Figure BDA0003967652120000111
在公式(5)中,Ct(k)为待处理声音特征集的声纹k处的频谱包络特征,J为应急装备发电机部件,P为应急装备发电机部件J所在的应急装备发电机,vJ为应急装备发电机部件J自身的参数,
Figure BDA0003967652120000112
为应急装备发电机P中各个应急装备发电机部件公用的参数,
Figure BDA0003967652120000113
为频谱包络特征Ct(k)在应急装备发电机部件J的重要指数,P为J所在的应急装备发电机,/>
Figure BDA0003967652120000114
为Ct(k)在应急装备发电机部件J的重要指数。参数/>
Figure BDA0003967652120000115
是通过对执行本申请实施例的声纹方法的神经网络进行训练得到的。
进一步的,还可以根据公式(6)对进行归一化处理,得到归一化处理后的重要指数。
Figure BDA0003967652120000121
在公式(6)中,
Figure BDA0003967652120000122
为Ct(k)在应急装备发电机部件J的未归一化重要指数,
Figure BDA0003967652120000123
为对/>
Figure BDA0003967652120000124
进行归一化处理后的重要指数,/>
Figure BDA0003967652120000125
可以表征待处理声音特征集的声纹k处的频谱包络特征Ct(k)对声纹识别的重要性,/>
Figure BDA0003967652120000126
越大,就表示Ct(k)对声纹识别越重要。同时/>
Figure BDA0003967652120000127
也可以表示待处理声音特征集的声纹k处存在相应应急装备发电机部件的概率,/>
Figure BDA0003967652120000128
越大,就表示该声纹存在应急装备发电机关机的可能性越大。
当步骤120中的待处理音频状态包含音色状态和音量状态时,步骤130至步骤160中的处理过程具体如下:
其中,步骤130中对待处理音频状态进行蝗虫优化算法处理,得到多个频谱包络特征,包括:对音色状态进行蝗虫优化算法处理,得到音色状态的多个频谱包络特征;对音量状态进行蝗虫优化算法处理,得到音量状态的多个频谱包络特征;
步骤140中根据多个频谱包络特征确定应急装备发电机的应急装备发电机部件的重要指数集合,包括:根据音色状态的多个频谱包络特征分别确定应急装备发电机部件的第一类重要指数集合;根据音量状态的多个频谱包络特征确定应急装备发电机部件的第二类重要指数集合;
步骤150中根据应急装备发电机部件的重要指数集合对多个频谱包络特征进行加权处理,得到应急装备发电机部件的声纹特征,包括:根据第一类重要指数集合对音色状态的多个频谱包络特征进行加权处理,得到应急装备发电机部件的第一类声纹特征;根据第二类重要指数集合对音量状态的多个频谱包络特征进行加权处理,得到应急装备发电机部件的第二类声纹特征;
步骤160中根据应急装备发电机部件的声纹特征确定应急装备发电机的声纹特征,包括:对应急装备发电机部件的第一类声纹特征和应急装备发电机部件的第二类声纹特征进行加权或组合,得到应急装备发电机的声纹特征。
本申请实施例中,通过对待处理声音特征集中获取的音色状态以及音量状态提取特征,并根据从音色状态和音量状态中提取出来的特征来共同进行声纹识别,既考虑到了待处理声音特征集的中的应急装备发电机声纹的空间特征,也考虑到了待处理声音特征集中的应急装备发电机声纹的时间变化特点,能够提高声纹识别的准确性。
可选地,在根据应急装备发电机的声纹特征,确定应急装备发电机的运行状态时,还可以分别根据音色状态和音量状态确定应急装备发电机的声纹特征,然后根据音色状态得到的应急装备发电机的声纹特征确定应急装备发电机的声纹属于每种运行状态的第一类相似度,根据音量状态得到的应急装备发电机的声纹特征确定应急装备发电机的声纹属于每种运行状态的第二类相似度。接下来,对第一类相似度和第二类相似度进行加权处理,得到应急装备发电机的声纹属于每种运行状态的相似度,最后再根据应急装备发电机的声纹属于每种运行状态的相似度确定应急装备发电机的运行状态。
应理解,这里的第一类相似度是根据待处理音频状态的声纹特征确定的应急装备发电机属于每种运行状态的相似度,而第二类相似度是根据待处理声音特征集的音量状态确定的应急装备发电机属于每种运行状态的相似度。
通过综合考虑第一类相似度和第二类相似度,能够更准确地识别出声音特征集中的应急装备发电机的运行状态。
在对第一类相似度和第二类相似度进行加权处理时,第一类相似度和第二类相似度的加权系数可以相同,此时,对第一类相似度和第二类相似度进行加权处理相当于对第一类相似度和第二类相似度进行平均处理。
可选地,作为一个实施例,在根据多个频谱包络特征之前确定应急装备发电机部件的重要指数集合之前,方法还包括:对执行方法的神经网络进行训练,确定神经网络中的参数(该参数可以是神经网络本身的一些参数,或者该参数是该神经网络构成的模型的一些参数),使得该神经网络产生的第一类频谱包络特征的重要指数大于或者等于第二类频谱包络特征的重要指数。
具体地,本申请实施例的用于实时监测应急装备发电机运行状态的声音监测方法可以由神经网络来实现,也就是将待处理声音特征集输入到神经网络中,由神经网络实现对待处理声音特征集中的应急装备发电机的声纹进行识别。在进行声纹识别之前,需要对神经网络进行训练,在本申请实施例中可以利用训练声音特征集的中的应急装备发电机的声纹类别和声音特征集中的每帧音频中的应急装备发电机的故障状态对神经网络的训练进行监督,综合考虑声纹识别的和故障状态估计的误差,使得声纹识别和故障状态估计的总误差小于一定的阈值。
在对神经网络进行训练时,声纹识别和故障状态估计的总损失可以满足公式(7)。
Ltotal=λactionLactionposeLposeΘ||Θ||2 (7)
在公式(7)中,Laction表示声纹识别的损失,Lpose表示故障状态估计的损失,||Θ||2是正则化项,其表示网络中所有需要学习的参数的模的平方。λaction、λpose和λΘ分别是三者的重要指数。
其中,Laction满足公式(8)。
Figure BDA0003967652120000131
在公式(8)中,yt为声纹识别的真值,
Figure BDA0003967652120000132
为声纹识别的预测值,T是训练声音特征集的帧数、C是声纹类别的数目。
对于Lpose,首先要根据训练数据中应急装备发电机的故障状态的真值生成训练声音特征集的每帧音频在不同的应急装备发电机部件的重要指数集合的真值
Figure BDA0003967652120000141
然后将/>
Figure BDA0003967652120000142
与/>
Figure BDA0003967652120000143
之间的相似度作为损失,也就是Lpose
Figure BDA0003967652120000144
在训练过程中综合考虑声纹识别和故障状态估计的误差,能够使得训练出来的神经网络在进行声纹识别时取得更好的效果。
下面对本申请实施例的声纹识别的方法进行详细的介绍。
701、获取待处理的声音特征集。
具体地,可以从声音特征集监控系统中获取声音特征集,或者,从应急设备维护交互系统中获取声音特征集,或者,从辅助应急系统中获取声音特征集等等。应理解,这些声音特征集是包含应急装备发电机的声音特征集,需要对该声音特征集中的应急装备发电机的运行状态进行识别。
702、从声音特征集中提取音频。
具体而言,在步骤702中,可以直接从声音特征集中提取当前时刻t的实时运行状态It。
703、对音频进行蝗虫优化算法处理。
在步骤703中,可以利用层感知器神经网络对步骤702提取的实时运行状态It进行蝗虫优化算法处理,得到蝗虫优化算法特征图,然后再根据蝗虫优化算法特征图得到多个频谱包络特征。
704、确定应急装备发电机部件的重要指数集合。
确定应急装备发电机部件的重要指数集合具体包括:根据步骤703中得到的多个频谱包络特征Ct(k)和上一时刻得到的实时运行状态It的状态向量ht-1,确定多个频谱包络特征中的每个频谱包络特征在应急装备发电机部件的重要指数
Figure BDA0003967652120000145
具体计算过程如下:/>
根据公式(10)先确定未经过归一化处理的重要指数
Figure BDA0003967652120000146
然后再根据公式(11)对/>
Figure BDA0003967652120000147
进行归一化处理得到/>
Figure BDA0003967652120000148
Figure BDA0003967652120000149
Figure BDA00039676521200001410
在公式(10)中J表示不同的应急装备发电机部件,P表示不同的应急装备发电机,对于同一个应急装备发电机部件中的不同应急装备发电机部件,共用相同的参数
Figure BDA0003967652120000151
另外,每个应急装备发电机部件也具有其自身的参数VJ
705、生成应急装备发电机部件的声纹特征。
在步骤705中,具体可以根据步骤703以及步骤704中确定的多个频谱包络特征以及应急装备发电机部件的重要指数集合来确定应急装备发电机部件的声纹特征。
具体可以根据重要指数
Figure BDA0003967652120000152
对不同声纹k的Ct(k)进行加权,然后将同一个应急装备发电机部件中所有的应急装备发电机部件的声纹特征进行相加,得到该应急装备发电机部件的声纹特征的特征Ft P如公式(12)所示:
Figure BDA0003967652120000153
Ft P能够表征复杂声纹中与应急装备发电机P相关的特征。
706、生成应急装备发电机的声纹特征。
具体地,在生成应急装备发电机的声纹特征时可以将步骤705中的得到的不同应急装备发电机部件的声纹特征组合在一起就生成了应急装备发电机的声纹特征St。
707、更新当前时刻之前积累的应急装备发电机的声纹特征。
将步骤706生成的St作为输入,将上一时刻应急装备发电机积累的声纹特征ht-1更新为ht。
708、对声音特征集中的应急装备发电机的声纹进行识别。
具体地,可以将步骤707中最终得到的应急装备发电机的累积的声纹特征ht输入到声纹识别模块对运行状态进行识别,具体地,可以根据公式(13)计算ht属于每个声纹类别的相似度。
Figure BDA0003967652120000154
在公式(13)中,为应急装备发电机的运行状态属于某种运行状态的相似度,而和by是该运行状态对应的参数。在根据公式(13)确定了应急装备发电机属于各个声纹的相似度之后,可以将相似度最大的运行状态确定为应急装备发电机的运行状态。
应理解,在上述方法的步骤701之后,还可以从待处理声音特征集中提取若干帧音频,然后根据该若干帧音频生成待处理声音特征集的音量状态。接下来,对音量状态的处理与步骤703至步骤708中的处理完全相同,并且根据音量状态并参照公式(13)得到了应急装备发电机的声纹属于各种运行状态的相似度之后,可以将每一个运行状态对应的由音频计算出来的相似度和与音量状态计算出来的相似度进行平均,然后选择相似度最高的运行状态作为应急装备发电机的运行状态。
除了对声音特征集中的应急装备发电机的运行状态进行识别之外,本申请还提出了一种故障状态估计方法,用于对声音特征集中的应急装备发电机的故障状态进行估计。故障状态估计可以是识别出待处理音频中的应急装备发电机部件,并确定出应急装备发电机部件在待处理音频中的声纹。
应急应急应急应急该方法还包括步骤810至步骤860,下面分别对步骤810至步骤860进行介绍。
810、确定待处理声音特征集,该待处理声音特征集为包含应急装备发电机实时运行状态的声音特征集。
步骤810中的待处理声音特征集可以是包含应急装备发电机相关实时运行状态的声音特征集,例如,待处理声音特征集可以是以下声音特征集中的任意一种:声音特征集监控系统监控得到的包含应急装备发电机相关实时运行状态的声音特征集;应急辅助系统或者自动应急系统获取的包含应急设备相关实时运行状态的声音特征集;应急设备维护交互系统所捕获的应急装备发电机与机器交互的声音特征集。
820、根据待处理声音特征集确定待处理音频状态。
上述待处理音频状态可以是下列实时运行状态中的至少一种:
音色状态;
音量状态。
其中,音色状态为所述待处理声音特征集中的一帧实时运行状态,或者音色状态是待处理声音特征集中的多帧实时运行状态合成后得到的实时运行状态,音量状态为根据待处理声音特征集中的多帧实时运行状态生成的实时运行状态。
830、对待处理音频状态进行蝗虫优化算法处理,得到多个频谱包络特征,其中,该多个频谱包络特征分别用于表示待处理音频状态在不同声纹的特征。
步骤830中对待处理声音特征集进行蝗虫优化算法处理时具体也可以包含三种情况:
情况四:对音色状态进行蝗虫优化算法处理,得到音色状态的多个频谱包络特征。
情况五:对音量状态进行蝗虫优化算法处理,得到音量状态的多个频谱包络特征。
情况六:对音色状态和音量状态进行蝗虫优化算法处理,得到音色状态的多个频谱包络特征和音量状态的多个频谱包络特征。
应理解,在获取音量状态时,可以先从待处理声音特征集中抽取多帧实时运行状态,然后再根据抽取的多帧实时运行状态来生成待处理声音特征集的音量状态。
840、根据多个频谱包络特征确定应急装备发电机的应急装备发电机部件的重要指数集合。
应理解,在步骤840中应急装备发电机部件的数量为多个,根据多个频谱包络特征是要确定每个应急装备发电机部件的重要指数集合,也就是说每一个应急装备发电机部件都有一个重要指数集合。
另外,在步骤840中,应急装备发电机部件的重要指数集合包括多个频谱包络特征中的每个频谱包络特征在应急装备发电机部件的重要指数,并且,多个频谱包络特征中的第一类频谱包络特征的重要指数大于或者等于多个频谱包络特征中的第二类频谱包络特征的重要指数,其中,第一类频谱包络特征对应在待处理音频状态中的声纹和应急装备发电机部件对应在待处理音频状态中的声纹之间的相似度为第一相似度,第二类频谱包络特征对应在待处理音频状态中的声纹和应急装备发电机部件对应在待处理音频状态中的声纹之间的相似度为第二相似度,第一相似度小于或者等于第二相似度。
可选地,作为一个实施例,步骤840中根据多个频谱包络特征确定应急装备发电机的应急装备发电机部件的重要指数集合,具体包括:根据多个频谱包络特征以及应急装备发电机的累计声纹信息,确定应急装备发电机部件的重要指数集合,其中,应急装备发电机的累计声纹信息用于指示当前时刻之前累计的应急装备发电机的声纹特征。
在确定应急装备发电机部件的重要指数集合时,通过考虑当前时刻之前应急装备发电机的累计声纹信息,能够为与声纹密切相关的频谱包络特征确定更大的重要指数,进而提高故障状态估计的准确率。
应理解,确定应急装备发电机部件的重要指数集合可以是确定多个频谱包络特征中的每个频谱包络特征在该应急装备发电机部件的重要指数。
具体地,可以根据上文中的公式(5)和公式(6)来确定每个频谱包络特征在应急装备发电机部件的重要指数。
850、将多个频谱包络特征中的第一频谱包络特征对应在待处理音频状态中的区域确定为应急装备发电机部件的声纹。
在步骤850中,第一频谱包络特征的重要指数为第一重要指数,第一重要指数为应急装备发电机部件的重要指数集合中大于预设阈值的重要指数。
应理解,在步骤850中,上述第一重要指数还可以是应急装备发电机部件(这里的应急装备发电机部件可以是应急装备发电机的任意一个应急装备发电机部件,例如,转子铁芯,输入电源部件等等)的重要指数集合中最大的重要指数。
860、根据应急装备发电机部件的声纹,确定应急装备发电机的故障状态。
在步骤860中,可以将应急装备发电机部件的声纹标记出来,并将各个应急装备发电机部件相连,这样就确定了应急装备发电机的故障状态。
本申请中,根据应急装备发电机部件的权重集合来估计声音特征集中的应急装备发电机的故障状态,能够使得待处理声音特征集中与声纹密切相关的特征占有较大的比重,与现有方案中从待处理声音特征集中的实时运行状态中提取的全部特征来进行故障状态估计的方式相比,能够更准确地确定声音特征集中的应急装备发电机的故障状态。
当步骤820中的待处理音频状态包含音色状态和音量状态时,步骤830和步骤840中的处理过程具体如下:
其中,步骤830中对待处理音频状态进行蝗虫优化算法处理,得到多个频谱包络特征,包括:对音色状态进行蝗虫优化算法处理,得到音色状态的多个频谱包络特征;对音量状态进行蝗虫优化算法处理,得到音量状态的多个频谱包络特征;
步骤840中根据多个频谱包络特征确定应急装备发电机的应急装备发电机部件的重要指数集合,包括:根据音色状态的多个频谱包络特征分别确定应急装备发电机部件的第一类重要指数集合;根据音量状态的多个频谱包络特征确定应急装备发电机部件的第二类重要指数集合;根据第一类重要指数集合和第二类重要指数集合,确定应急装备发电机部件的重要指数集合。
本申请实施例中,通过从待处理声音特征集中获取待处理音频状态和音量状态,并根据从待处理音频状态和音量状态得到的重要指数集合来进行故障状态估计,能够提高故障状态估计的准确性。
可选地,作为一个实施例,根据第一类重要指数集合和第二类重要指数集合,确定应急装备发电机部件的重要指数集合,包括:对第一类重要指数集合和第二类重要指数集合进行加权处理,得到应急装备发电机部件的重要指数集合。
本申请中,通过对第一类重要指数集合和第二类重要指数集合进行加权处理,能够根据音色状态和音量状态对故障状态估计的重要性来合理确定权重,从而能够根据得到的应急装备发电机部件的重要指数集合更好地进行故障状态估计。
应理解,方法除了可以进行声纹识别之外,还可以对声音特征集中的应急装备发电机进行故障状态估计,具体地,当该方法对音量状态采用与音频相同的处理之后,还可以对音量状态以及待处理音频得到的每个应急装备发电机部件的重要指数集合中的相应的权重值进行平均,然后选择平均后的重要指数集合中的重要指数最大的声纹作为该应急装备发电机部件的估计声纹。接下来,采用同样的方式估计出其它应急装备发电机部件的声纹,并将部件声纹进行连线,从而实现了对应急装备发电机的故障状态估计。
参照附图2,本发明还请求保护一种用于实时监测应急装备发电机运行状态的声音监测装置,其特征在于,包括:
确定模块,用于确定待处理声音特征集,所述待处理声音特征集为包含应急装备发电机实时运行状态的声音特征集;
所述确定模块还用于根据所述待处理声音特征集确定待处理音频状态,所述待处理音频状态为下列实时运行状态中的至少一种:音色状态,根据所述待处理声音特征集中的多帧实时运行状态生成的音量状态,其中,所述音色状态为所述待处理声音特征集中的任意一帧实时运行状态,或者,所述音色状态为所述待处理声音特征集中的多帧实时运行状态合成的实时运行状态;
蝗虫优化算法模块,用于对所述待处理音频状态进行蝗虫优化算法处理,得到多个频谱包络特征,其中,所述多个频谱包络特征分别用于表示所述待处理音频状态不同声纹的特征;
处理模块,用于根据所述多个频谱包络特征确定所述应急装备发电机的应急装备发电机部件的重要指数集合,其中,所述应急装备发电机部件的重要指数集合包括所述多个频谱包络特征中的每个频谱包络特征在所述应急装备发电机部件的重要指数,第一类频谱包络特征的重要指数大于或者等于第二类频谱包络特征的重要指数,所述第一类频谱包络特征对应在所述待处理音频状态中的声纹和所述应急装备发电机部件对应在所述待处理音频状态中的声纹之间的相似度为第一相似度,所述第二类频谱包络特征对应在所述待处理音频状态中的声纹和所述应急装备发电机部件对应在所述待处理音频状态中的声纹之间的相似度为第二相似度,所述第一相似度小于或者等于所述第二相似度,所述应急装备发电机部件的数量为多个,每个应急装备发电机部件均对应一个重要指数集合;
特征提取模块,用于根据所述应急装备发电机部件的重要指数集合对所述多个频谱包络特征进行加权处理,得到所述应急装备发电机部件的声纹特征;
所述特征提取模块还用于根据所述应急装备发电机部件的声纹特征确定所述应急装备发电机的声纹特征;
声纹识别模块,用于根据所述应急装备发电机的声纹特征,确定所述应急装备发电机的运行状态。
具体的,本发明的用于实时监测应急装备发电机运行状态的声音监测装置的各模块还可以包括:
确定模块,用于确定待处理声音特征集,所述待处理声音特征集为包含应急装备发电机实时运行状态的声音特征集;
所述确定模块还用于根据所述待处理声音特征集确定待处理音频状态,所述待处理音频状态为下列实时运行状态中的至少一种:音色状态,根据所述待处理声音特征集中的多帧实时运行状态生成的音量状态,其中,所述音色状态为所述待处理声音特征集中的任意一帧实时运行状态,或者,所述音色状态为所述待处理声音特征集中的多帧实时运行状态合成的实时运行状态;
蝗虫优化算法模块,用于对所述待处理音频状态进行蝗虫优化算法处理,得到多个频谱包络特征,其中,所述多个频谱包络特征分别用于表示所述待处理音频状态不同声纹的特征;
处理模块,用于根据所述多个频谱包络特征确定所述应急装备发电机的应急装备发电机部件的重要指数集合,其中,所述应急装备发电机部件的重要指数集合包括所述多个频谱包络特征中的每个频谱包络特征在所述应急装备发电机部件的重要指数,第一类频谱包络特征的重要指数大于或者等于第二类频谱包络特征的重要指数,所述第一类频谱包络特征对应在所述待处理音频状态中的声纹和所述应急装备发电机部件对应在所述待处理音频状态中的声纹之间的相似度为第一相似度,所述第二类频谱包络特征对应在所述待处理音频状态中的声纹和所述应急装备发电机部件对应在所述待处理音频状态中的声纹之间的相似度为第二相似度,所述第一相似度小于或者等于所述第二相似度,所述应急装备发电机部件的数量为多个,每个应急装备发电机部件均对应一个重要指数集合;
特征提取模块,用于根据所述应急装备发电机部件的重要指数集合对所述多个频谱包络特征进行加权处理,得到所述应急装备发电机部件的声纹特征;
所述特征提取模块还用于根据所述应急装备发电机部件的声纹特征确定所述应急装备发电机的声纹特征;
声纹识别模块,用于根据所述应急装备发电机的声纹特征,确定所述应急装备发电机的运行状态。
本申请中,第一类频谱包络特征的重要指数大于或者等于第二类频谱包络特征的重要指数,而第一类频谱包络特征对应在待处理音频状态中的声纹与应急装备发电机部件对应在待处理音频状态中的声纹的相似度要小于或者等于第二类频谱包络特征对应在待处理音频状态中的声纹与应急装备发电机部件对应在待处理音频状态中的声纹的相似度,因此,在本申请中,离应急装备发电机部件越近的区域对应的频谱包络特征的重要指数越大,这样能够使得待处理音频状态中与声纹密切相关的特征在声纹识别时占有较大的比重,而待处理音频状态中与声纹不太相关的特征在声纹识别时占有较小的比重,本申请在声纹识别时充分考虑了待处理音频状态不同区域的特征在声纹识别中的重要性,能够得到更加鲁棒的声纹特征,从而能够提高声纹识别的准确率。
可选地,作为一个实施例,所述处理模块具体用于:
根据所述多个频谱包络特征以及所述应急装备发电机的累计声纹信息,确定所述应急装备发电机部件的重要指数集合,其中,所述应急装备发电机的累计声纹信息用于指示当前时刻之前累计的所述应急装备发电机的声纹特征。
可选地,作为一个实施例,所述特征提取模块具体用于:
对所述应急装备发电机部件的声纹特征进行加权或者组合,得到所述应急装备发电机的声纹特征。
可选地,作为一个实施例,所述特征提取模块具体用于:
每个应急装备发电机包含至少一个应急装备发电机部件。
可选地,作为一个实施例,所述待处理音频状态包括所述音色状态和所述音量状态,所述蝗虫优化算法模块1120具体用于:
对所述音色状态进行蝗虫优化算法处理,得到所述音色状态的多个频谱包络特征;
对所述音量状态进行蝗虫优化算法处理,得到所述音量状态的多个频谱包络特征;
所述处理模块具体用于:
根据所述音色状态的多个频谱包络特征分别确定所述应急装备发电机部件的第一类重要指数集合;
根据所述音量状态的多个频谱包络特征确定所述应急装备发电机部件的第二类重要指数集合;
所述特征提取模块具体用于:
根据所述第一类重要指数集合对所述音色状态的多个频谱包络特征进行加权处理,得到所述应急装备发电机部件的第一类声纹特征;
根据所述第二类重要指数集合对所述音量状态的多个频谱包络特征进行加权处理,得到所述应急装备发电机部件的第二类声纹特征;
对所述应急装备发电机部件的第一类声纹特征和所述应急装备发电机部件的第二类声纹特征进行加权或组合,得到所述应急装备发电机的声纹特征。
音频用于实时监测应急装备发电机运行状态的声音监测装置还可以包括:声音特征集输入模块;音频提取模块;CNN模块;特征提取模块;MFCC模块;音量计算模块;CNN模块;特征提取模块;MFCC模块;声纹识别模块。
用于实时监测应急装备发电机运行状态的声音监测装置还可以是根据待处理声音特征集中的某一帧音频对声音特征集中的应急装备发电机的声纹进行识别,用于实时监测应急装备发电机运行状态的声音监测装置是根据音量状态对声音特征集中的应急装备发电机的声纹进行识别,其中,这里的音量状态为根据待处理声音特征集中的多帧实时运行状态生成的实时运行状态。
另外,对于用于实时监测应急装备发电机运行状态的声音监测装置来说,装置既对待处理声音特征集中提取出来的音频进行特征提取,也对音量图进行特征提取,在最后由声纹识别模块根据从待处理声音特征集提取出来的音频中提取的特征以及从音量图中提取出来的特征进行声纹识别。这样既考虑到了待处理声音特征集的中的应急装备发电机声纹的空间特征,也考虑到了待处理声音特征集中的应急装备发电机声纹的时间变化特点,能够提高声纹识别的准确性。
应理解,上述用于实时监测应急装备发电机运行状态的声音监测装置中,用于对声音特征集中的应急装备发电机进行声纹识别。具体地,这些用于实时监测应急装备发电机运行状态的声音监测装置可以是上述四个场景中的系统中的设备,用于在相应的场景下对声音特征集中的应急装备发电机进行声纹识别。
故障状态估计装置包括:
确定模块,用于确定待处理声音特征集,所述待处理声音特征集为包含应急装备发电机实时运行状态的声音特征集;
所述确定模块还用于根据所述待处理声音特征集确定待处理音频状态,所述待处理音频状态为下列实时运行状态中的至少一种:音色状态,根据所述待处理声音特征集中的多帧实时运行状态生成的音量状态,其中,所述音色状态为所述待处理声音特征集中的任意一帧实时运行状态,或者,所述音色状态为所述待处理声音特征集中的多帧实时运行状态合成的实时运行状态;
蝗虫优化算法模块,用于对所述待处理音频状态进行蝗虫优化算法处理,得到多个频谱包络特征,其中,所述多个频谱包络特征分别用于表示所述待处理音频状态不同声纹的特征;
处理模块,用于根据所述多个频谱包络特征确定所述应急装备发电机的应急装备发电机部件的重要指数集合,所述应急装备发电机部件的重要指数集合包括所述多个频谱包络特征中的每个频谱包络特征在所述应急装备发电机部件的重要指数,第一类频谱包络特征的重要指数大于或者等于第二类频谱包络特征的重要指数,所述第一类频谱包络特征对应在所述待处理音频状态中的声纹和所述应急装备发电机部件对应在所述待处理音频状态中的声纹之间的相似度为第一相似度,所述第二类频谱包络特征对应在所述待处理音频状态中的声纹和所述应急装备发电机部件对应在所述待处理音频状态中的声纹之间的相似度为第二相似度,所述第一相似度小于或者等于所述第二相似度,所述应急装备发电机部件的数量为多个,每个应急装备发电机部件均对应一个重要指数集合;
故障状态估计模块,用于将所述多个频谱包络特征中的第一频谱包络特征对应在所述待处理音频状态中的区域确定为所述应急装备发电机部件的声纹,其中,所述第一频谱包络特征的重要指数为第一重要指数,所述第一重要指数为所述应急装备发电机部件的重要指数集合中大于预设阈值的重要指数;
所述故障状态估计模块还用于根据所述应急装备发电机部件的声纹,确定所述应急装备发电机的故障状态。
本申请中,根据应急装备发电机部件的权重集合来估计声音特征集中的应急装备发电机的故障状态,能够使得待处理声音特征集中与声纹密切相关的特征占有较大的比重,与现有方案中从待处理声音特征集中的实时运行状态中提取的全部特征来进行故障状态估计的方式相比,能够更准确地确定声音特征集中的应急装备发电机的故障状态。
可选地,作为一个实施例,所述处理模块具体用于:
根据所述多个频谱包络特征以及所述应急装备发电机的累计声纹信息,确定所述应急装备发电机部件的重要指数集合,其中,所述应急装备发电机的累计声纹信息用于指示当前时刻之前累计的所述应急装备发电机的声纹特征。
可选地,作为一个实施例,所述待处理音频状态包括所述音色状态和所述音量状态,所述蝗虫优化算法模块具体用于:
对所述音色状态进行蝗虫优化算法处理,得到所述音色状态的多个频谱包络特征;
对所述音量状态进行蝗虫优化算法处理,得到所述音量状态的多个频谱包络特征;
所述处理模块具体用于:
根据所述音色状态的多个频谱包络特征分别确定所述应急装备发电机部件的第一类重要指数集合;
根据所述音量状态的多个频谱包络特征确定所述应急装备发电机部件的第二类重要指数集合;
根据所述第一类重要指数集合和所述第二类重要指数集合,确定所述应急装备发电机部件的重要指数集合。
可选地,作为一个实施例,所述处理模块具体用于对所述第一类重要指数集合和所述第二类重要指数集合进行加权处理,得到所述应急装备发电机部件的重要指数集合。
本申请提供了一种用于实时监测应急装备发电机运行状态的声音监测装置,所述装置包括存储介质和中央处理器,所述存储介质可以是非易失性存储介质,所述存储介质中存储有计算机可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述计算机可执行程序以实现本申请实施例的用于实时监测应急装备发电机运行状态的声音监测方法。
本申请提供了一种故障状态估计装置,所述装置包括存储介质和中央处理器,所述存储介质可以是非易失性存储介质,所述存储介质中存储有计算机可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述计算机可执行程序以实现本申请实施例的故障状态估计方法。
本申请提供了一种芯片,所述芯片包括处理器与通信接口,所述通信接口用于与外部器件进行通信,所述处理器用于执行本申请实施例的用于实时监测应急装备发电机运行状态的声音监测方法。
可选地,作为一种实现方式,所述芯片还可以包括存储器,所述存储器中存储有指令,所述处理器用于执行所述存储器上存储的指令,当所述指令被执行时,所述处理器用于执行本申请实施例的用于实时监测应急装备发电机运行状态的声音监测方法。
本申请提供了一种芯片,所述芯片包括处理器与通信接口,所述通信接口用于与外部器件进行通信,所述处理器用于执行本申请实施例的故障状态估计方法。
可选地,作为一种实现方式,所述芯片还可以包括存储器,所述存储器中存储有指令,所述处理器用于执行所述存储器上存储的指令,当所述指令被执行时,所述处理器用于执行本申请实施例的故障状态估计方法。
本申请提供了一种计算机可读存储介质,所述计算机可读介质存储用于设备执行的程序代码,所述程序代码包括用于执行本申请实施例的用于实时监测应急装备发电机运行状态的声音监测方法。
本申请提供了一种计算机可读存储介质,所述计算机可读介质存储用于设备执行的程序代码,所述程序代码包括用于执行本申请实施例的信道质量信息的故障状态估计方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种用于实时监测应急装备发电机运行状态的声音监测方法,其特征在于,包括:
确定待处理声音特征集,所述待处理声音特征集为包含应急装备发电机实时运行状态的声音特征集;
根据所述待处理声音特征集确定待处理音频状态,所述待处理音频状态为下列实时运行状态中的至少一种:音色状态,根据所述待处理声音特征集中的多帧实时运行状态生成的音量状态,其中,所述音色状态为所述待处理声音特征集中的任意一帧实时运行状态,或者,所述音色状态为所述待处理声音特征集中的多帧实时运行状态合成的实时运行状态;
对所述待处理音频状态进行蝗虫优化算法处理,得到多个频谱包络特征,其中,所述多个频谱包络特征分别用于表示所述待处理音频状态不同声纹的特征;
根据所述多个频谱包络特征确定所述应急装备发电机的应急装备发电机部件的重要指数集合,其中,所述应急装备发电机部件的重要指数集合包括所述多个频谱包络特征中的每个频谱包络特征在所述应急装备发电机部件的重要指数,第一类频谱包络特征的重要指数大于或者等于第二类频谱包络特征的重要指数,所述第一类频谱包络特征对应在所述待处理音频状态中的声纹和所述应急装备发电机部件对应在所述待处理音频状态中的声纹之间的相似度为第一相似度,所述第二类频谱包络特征对应在所述待处理音频状态中的声纹和所述应急装备发电机部件对应在所述待处理音频状态中的声纹之间的相似度为第二相似度,所述第一相似度小于或者等于所述第二相似度,所述应急装备发电机部件的数量为多个,每个应急装备发电机部件均对应一个重要指数集合;
根据所述应急装备发电机部件的重要指数集合对所述多个频谱包络特征进行加权处理,得到所述应急装备发电机部件的声纹特征;
根据所述应急装备发电机部件的声纹特征确定所述应急装备发电机的声纹特征;
根据所述应急装备发电机的声纹特征,确定所述应急装备发电机的运行状态。
2.如权利要求1所述的方法,其特征在于,根据所述多个频谱包络特征确定所述应急装备发电机的应急装备发电机部件的重要指数集合,包括:
根据所述多个频谱包络特征以及所述应急装备发电机的累计声纹信息,确定所述应急装备发电机部件的重要指数集合,其中,所述应急装备发电机的累计声纹信息用于指示当前时刻之前累计的所述应急装备发电机的声纹特征。
3.如权利要求1或2所述的方法,其特征在于,所述根据所述应急装备发电机部件的声纹特征确定所述应急装备发电机的声纹特征,包括:
对所述应急装备发电机部件的声纹特征进行加权或者组合,得到所述应急装备发电机的声纹特征。
4.如权利要求1或2所述的方法,其特征在于,所述根据所述应急装备发电机部件的声纹特征确定所述应急装备发电机的声纹特征,包括:
每个应急装备发电机包含至少一个应急装备发电机部件。
5.如权利要求1或2所述的方法,其特征在于,所述待处理音频状态包括所述音色状态和所述音量状态,所述对所述待处理音频状态进行蝗虫优化算法处理,得到多个频谱包络特征,包括:
对所述音色状态进行蝗虫优化算法处理,得到所述音色状态的多个频谱包络特征;
对所述音量状态进行蝗虫优化算法处理,得到所述音量状态的多个频谱包络特征;
所述根据所述多个频谱包络特征确定所述应急装备发电机的应急装备发电机部件的重要指数集合,包括:
根据所述音色状态的多个频谱包络特征分别确定所述应急装备发电机部件的第一类重要指数集合;
根据所述音量状态的多个频谱包络特征确定所述应急装备发电机部件的第二类重要指数集合;
所述根据所述应急装备发电机部件的重要指数集合对所述多个频谱包络特征进行加权处理,得到所述应急装备发电机部件的声纹特征,包括:
根据所述第一类重要指数集合对所述音色状态的多个频谱包络特征进行加权处理,得到所述应急装备发电机部件的第一类声纹特征;
根据所述第二类重要指数集合对所述音量状态的多个频谱包络特征进行加权处理,得到所述应急装备发电机部件的第二类声纹特征;
所述根据所述应急装备发电机部件的声纹特征确定所述应急装备发电机的声纹特征,包括:
对所述应急装备发电机部件的第一类声纹特征和所述应急装备发电机部件的第二类声纹特征进行加权或组合,得到所述应急装备发电机的声纹特征。
6.一种用于实时监测应急装备发电机运行状态的声音监测装置,其特征在于,包括:
确定模块,用于确定待处理声音特征集,所述待处理声音特征集为包含应急装备发电机实时运行状态的声音特征集;
所述确定模块还用于根据所述待处理声音特征集确定待处理音频状态,所述待处理音频状态为下列实时运行状态中的至少一种:音色状态,根据所述待处理声音特征集中的多帧实时运行状态生成的音量状态,其中,所述音色状态为所述待处理声音特征集中的任意一帧实时运行状态,或者,所述音色状态为所述待处理声音特征集中的多帧实时运行状态合成的实时运行状态;
蝗虫优化算法模块,用于对所述待处理音频状态进行蝗虫优化算法处理,得到多个频谱包络特征,其中,所述多个频谱包络特征分别用于表示所述待处理音频状态不同声纹的特征;
处理模块,用于根据所述多个频谱包络特征确定所述应急装备发电机的应急装备发电机部件的重要指数集合,其中,所述应急装备发电机部件的重要指数集合包括所述多个频谱包络特征中的每个频谱包络特征在所述应急装备发电机部件的重要指数,第一类频谱包络特征的重要指数大于或者等于第二类频谱包络特征的重要指数,所述第一类频谱包络特征对应在所述待处理音频状态中的声纹和所述应急装备发电机部件对应在所述待处理音频状态中的声纹之间的相似度为第一相似度,所述第二类频谱包络特征对应在所述待处理音频状态中的声纹和所述应急装备发电机部件对应在所述待处理音频状态中的声纹之间的相似度为第二相似度,所述第一相似度小于或者等于所述第二相似度,所述应急装备发电机部件的数量为多个,每个应急装备发电机部件均对应一个重要指数集合;
特征提取模块,用于根据所述应急装备发电机部件的重要指数集合对所述多个频谱包络特征进行加权处理,得到所述应急装备发电机部件的声纹特征;
所述特征提取模块还用于根据所述应急装备发电机部件的声纹特征确定所述应急装备发电机的声纹特征;
声纹识别模块,用于根据所述应急装备发电机的声纹特征,确定所述应急装备发电机的运行状态。
7.如权利要求6所述的装置,其特征在于,所述处理模块具体用于:
根据所述多个频谱包络特征以及所述应急装备发电机的累计声纹信息,确定所述应急装备发电机部件的重要指数集合,其中,所述应急装备发电机的累计声纹信息用于指示当前时刻之前累计的所述应急装备发电机的声纹特征。
8.如权利要求6或7所述的装置,其特征在于,所述特征提取模块具体用于:
对所述应急装备发电机部件的声纹特征进行加权或者组合,得到所述应急装备发电机的声纹特征。
9.如权利要求8所述的装置,其特征在于,所述特征提取模块具体用于:
每个应急装备发电机包含至少一个应急装备发电机部件。
10.如权利要求6或7所述的装置,其特征在于,所述待处理音频状态包括所述音色状态和所述音量状态,所述蝗虫优化算法模块具体用于:
对所述音色状态进行蝗虫优化算法处理,得到所述音色状态的多个频谱包络特征;
对所述音量状态进行蝗虫优化算法处理,得到所述音量状态的多个频谱包络特征;
所述处理模块具体用于:
根据所述音色状态的多个频谱包络特征分别确定所述应急装备发电机部件的第一类重要指数集合;
根据所述音量状态的多个频谱包络特征确定所述应急装备发电机部件的第二类重要指数集合;
所述特征提取模块具体用于:
根据所述第一类重要指数集合对所述音色状态的多个频谱包络特征进行加权处理,得到所述应急装备发电机部件的第一类声纹特征;
根据所述第二类重要指数集合对所述音量状态的多个频谱包络特征进行加权处理,得到所述应急装备发电机部件的第二类声纹特征。
CN202211504455.8A 2022-11-28 2022-11-28 一种用于实时监测应急装备发电机运行状态的声音监测装置及方法 Active CN115831152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211504455.8A CN115831152B (zh) 2022-11-28 2022-11-28 一种用于实时监测应急装备发电机运行状态的声音监测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211504455.8A CN115831152B (zh) 2022-11-28 2022-11-28 一种用于实时监测应急装备发电机运行状态的声音监测装置及方法

Publications (2)

Publication Number Publication Date
CN115831152A CN115831152A (zh) 2023-03-21
CN115831152B true CN115831152B (zh) 2023-07-04

Family

ID=85532350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211504455.8A Active CN115831152B (zh) 2022-11-28 2022-11-28 一种用于实时监测应急装备发电机运行状态的声音监测装置及方法

Country Status (1)

Country Link
CN (1) CN115831152B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140090A (ja) * 2000-11-02 2002-05-17 Toshiba Corp 異常監視装置
CN110047490A (zh) * 2019-03-12 2019-07-23 平安科技(深圳)有限公司 声纹识别方法、装置、设备以及计算机可读存储介质
WO2019214047A1 (zh) * 2018-05-08 2019-11-14 平安科技(深圳)有限公司 建立声纹模型的方法、装置、计算机设备和存储介质
WO2019227583A1 (zh) * 2018-05-29 2019-12-05 平安科技(深圳)有限公司 一种声纹识别方法、装置、终端设备及存储介质
CN110910897A (zh) * 2019-12-05 2020-03-24 四川超影科技有限公司 一种用于电机异常声音识别的特征提取方法
CN112133289A (zh) * 2020-11-24 2020-12-25 北京远鉴信息技术有限公司 声纹鉴定模型训练、声纹鉴定方法、装置、设备及介质
CN112331217A (zh) * 2020-11-02 2021-02-05 泰康保险集团股份有限公司 声纹识别方法和装置、存储介质、电子设备
CN112652312A (zh) * 2020-11-13 2021-04-13 杭州鹿扬科技有限公司 声纹相似度智能识别系统、方法及存储介质
CN114203184A (zh) * 2021-12-01 2022-03-18 厦门快商通科技股份有限公司 一种多状态声纹特征识别方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737872A (zh) * 2018-06-08 2018-11-02 百度在线网络技术(北京)有限公司 用于输出信息的方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140090A (ja) * 2000-11-02 2002-05-17 Toshiba Corp 異常監視装置
WO2019214047A1 (zh) * 2018-05-08 2019-11-14 平安科技(深圳)有限公司 建立声纹模型的方法、装置、计算机设备和存储介质
WO2019227583A1 (zh) * 2018-05-29 2019-12-05 平安科技(深圳)有限公司 一种声纹识别方法、装置、终端设备及存储介质
CN110047490A (zh) * 2019-03-12 2019-07-23 平安科技(深圳)有限公司 声纹识别方法、装置、设备以及计算机可读存储介质
CN110910897A (zh) * 2019-12-05 2020-03-24 四川超影科技有限公司 一种用于电机异常声音识别的特征提取方法
CN112331217A (zh) * 2020-11-02 2021-02-05 泰康保险集团股份有限公司 声纹识别方法和装置、存储介质、电子设备
CN112652312A (zh) * 2020-11-13 2021-04-13 杭州鹿扬科技有限公司 声纹相似度智能识别系统、方法及存储介质
CN112133289A (zh) * 2020-11-24 2020-12-25 北京远鉴信息技术有限公司 声纹鉴定模型训练、声纹鉴定方法、装置、设备及介质
CN114203184A (zh) * 2021-12-01 2022-03-18 厦门快商通科技股份有限公司 一种多状态声纹特征识别方法及装置

Also Published As

Publication number Publication date
CN115831152A (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
KR100860989B1 (ko) 얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴영상 검색 방법 및 장치 그리고 얼굴 합성 방법
CN107564513B (zh) 语音识别方法及装置
CN110516305B (zh) 基于注意机制元学习模型的小样本下故障智能诊断方法
JP6235938B2 (ja) 音響イベント識別モデル学習装置、音響イベント検出装置、音響イベント識別モデル学習方法、音響イベント検出方法及びプログラム
CN112508058B (zh) 基于音频特征分析的变压器故障诊断方法及装置
CN112634875B (zh) 语音分离方法、语音分离装置、电子设备及存储介质
CN114596879B (zh) 一种虚假语音的检测方法、装置、电子设备及存储介质
CN114964777B (zh) 一种滚动轴承故障检测方法
CN111125405A (zh) 电力监控图像异常检测方法和装置、电子设备及存储介质
CN110097120B (zh) 网络流量数据分类方法、设备及计算机存储介质
CN115831152B (zh) 一种用于实时监测应急装备发电机运行状态的声音监测装置及方法
CN113705689A (zh) 训练数据获取方法及异常行为识别网络训练方法
CN113269104A (zh) 群体异常行为识别方法、系统、存储介质及设备
CN113676343A (zh) 电力通信网故障源定位方法及装置
CN112101091A (zh) 视频分类方法、电子设备和存储介质
Jiménez-Guarneros et al. Multiclass incremental learning for fault diagnosis in induction motors using fine-tuning with a memory of exemplars and nearest centroid classifier
Rio et al. WaveNet based architectures for denoising periodic discontinuous signals and application to friction signals
CN113256436A (zh) 车险赔付预提示方法、装置、设备及存储介质
CN113035176A (zh) 语音数据处理方法、装置、计算机设备及存储介质
CN113782033B (zh) 一种声纹识别方法、装置、设备及存储介质
CN117351988B (zh) 一种基于数据分析的远程音频信息处理方法及系统
CN116935889B (zh) 一种音频类别的确定方法、装置、电子设备及存储介质
JP7453136B2 (ja) 異常検出装置、異常検出方法及び異常検出システム
CN114678037B (zh) 一种重叠语音的检测方法、装置、电子设备及存储介质
CN117969094A (zh) 一种滚动轴承故障诊断方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant