CN114360581A - 识别设备故障的方法、装置及电子设备 - Google Patents

Abstract

本公开提供了一种识别设备故障的方法、装置及电子设备，涉及工业大数据领域，尤其涉及人工智能领域。具体实现方案为：获取待检测设备发生故障时的声音数据；对声音数据进行特征提取，得到声音数据对应的声音组合特征；从预设样本库中所包含的多个组合特征中确定目标组合特征，其中，目标组合特征与声音组合特征的相似度满足预设条件，预设样本库至少包括：至少一种故障类型标签、多个组合特征，多个组合特征是基于待检测设备的历史环境信息以及待检测设备发生历史故障时的声音数据所确定的；根据目标组合特征所对应的目标故障类型标签确定待检测设备的故障类型。本公开至少解决了现有技术中存在的故障声音识别准确度低的技术问题。

Description

识别设备故障的方法、装置及电子设备

技术领域

本公开涉及工业大数据领域，尤其涉及人工智能领域，具体而言，涉及一种识别设备故障的方法、装置及电子设备。

背景技术

声音是工业场景中非常常见且重要的因素，工业设备在运行过程中会发出各种各样的声音，并且，工业设备在出现故障时，所对应的声音也会发生一些变化，因此，通过采集并分析工业设备发出的声音，可以识别工业设备的运行状态。

然而，现有技术中对工业场景下的声音研究是承袭语音识别技术，对于声音数据的数量以及质量要求很高，在声音数据发生一点变化时，便会影响整体分析结果的准确性。

发明内容

本公开提供了一种识别设备故障的方法、装置及电子设备。根据本公开的一方面，提供了一种识别设备故障的方法，包括：获取待检测设备发生故障时的声音数据；对声音数据进行特征提取，得到声音数据对应的声音组合特征，其中，声音组合特征由多个声音特征组成；从预设样本库中所包含的多个组合特征中确定目标组合特征，其中，目标组合特征与声音组合特征的相似度满足预设条件，预设样本库至少包括：至少一种故障类型标签、多个组合特征，多个组合特征是基于待检测设备的历史环境信息以及待检测设备发生历史故障时的声音数据所确定的；根据目标组合特征所对应的目标故障类型标签确定待检测设备的故障类型。

进一步地，识别设备故障的方法还包括：对声音数据进行第一特征提取，得到声谱特征；对声音数据进行第二特征提取，得到频率倒谱系数特征，其中，声音组合特征至少包括声谱特征和频率倒谱系数特征。

进一步地，识别设备故障的方法还包括：在从预设样本库中所包含的多个组合特征中确定目标组合特征之前，获取待检测设备对应的设备标识；从多个样本库中确定与设备标识对应的预设样本库。

进一步地，识别设备故障的方法还包括：从预设样本库中获取多个第一声音特征以及多个第二声音特征，其中，多个第一声音特征的特征类型与声谱特征的特征类型相同，多个第二声音特征的特征类型与频率倒谱系数特征的特征类型相同；计算多个第一声音特征中的每个第一声音特征与声谱特征之间的余弦相似度，得到多个第一相似度；根据多个第一相似度从多个第一声音特征中确定多个第一目标特征；计算多个第二声音特征中的每个第二声音特征与频率倒谱系数特征之间的余弦相似度，得到多个第二相似度；根据多个第二相似度从多个第二声音特征中确定多个第二目标特征；对多个第一目标特征和多个第二目标特征进行组合，得到多个组合特征；从多个组合特征中确定目标组合特征。

进一步地，识别设备故障的方法还包括：获取多个组合特征中每个组合特征中的第一目标特征对应的第一权重值，以及每个组合特征中的第二目标特征对应的第二权重值；计算每个组合特征中的第一目标特征与声谱特征的第三相似度，以及每个组合特征中的第二目标特征与频率倒谱系数特征的第四相似度；根据第一权重值、第二权重值、第三相似度以及第四相似度计算每个组合特征对应的评分值；根据评分值从多个组合特征中确定目标组合特征。

进一步地，识别设备故障的方法还包括：在根据目标组合特征所对应的目标故障类型标签确定待检测设备的故障类型之后，响应目标对象对故障类型的调整指令；基于调整指令对特征提取函数中的参数、第一权重值、第二权重值之中的任意一个或多个进行调整，其中，特征提取函数用于对声音数据进行特征提取。

进一步地，识别设备故障的方法还包括：在根据目标组合特征所对应的目标故障类型标签确定待检测设备的故障类型之后，基于声谱特征和/或频率倒谱系数特征对预设样本库进行更新。

进一步地，识别设备故障的方法还包括：对声音数据进行分帧处理，得到多帧第一声音数据；对多帧第一声音数据进行加窗处理，得到多帧第二声音数据；对多帧第二声音数据进行傅里叶变换，得到多帧第三声音数据；对多帧第三声音数据进行堆叠处理，得到声谱特征。

进一步地，识别设备故障的方法还包括：对声音数据预加重处理，得到第四声音数据；对第四声音数据进行分帧和加窗处理，得到第五声音数据；对第五声音数据进行傅里叶变换，得到第六声音数据；对第六声音数据进行滤波处理，得到滤波后的第六声音数据；对滤波后的第六声音数据进行对数计算，得到第七声音数据；对第七声音数据进行离散余弦变换，得到频率倒谱系数特征。

根据本公开的另一方面，提供了一种识别设备故障的装置，包括：获取模块，用于获取待检测设备发生故障时的声音数据；特征提取模块，用于对声音数据进行特征提取，得到声音数据对应的声音组合特征，其中，声音组合特征由多个声音特征组成；特征确定模块，用于从预设样本库中所包含的多个组合特征中确定目标组合特征，其中，目标组合特征与声音组合特征的相似度满足预设条件，预设样本库至少包括：至少一种故障类型标签、多个组合特征，多个组合特征是基于待检测设备的历史环境信息以及待检测设备发生历史故障时的声音数据所确定的；识别模块，用于根据目标组合特征所对应的目标故障类型标签确定待检测设备的故障类型。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的识别设备故障的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述的识别设备故障的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述的识别设备故障的方法。

在本公开的技术方案中，采用将多个组合特征与至少一种故障类型标签相关联的方式，在获取待检测设备发生故障时的声音数据之后，对声音数据进行特征提取，得到声音数据对应的声音组合特征，然后从预设样本库中所包含的多个组合特征中确定目标组合特征，进而根据目标组合特征所对应的目标故障类型标签确定待检测设备的故障类型。其中，声音组合特征由多个声音特征组成，目标组合特征与声音组合特征的相似度满足预设条件，预设样本库至少包括：至少一种故障类型标签、多个组合特征，多个组合特征是基于待检测设备的历史环境信息以及待检测设备发生历史故障时的声音数据所确定的。

由上述内容可知，由于本公开中的声音组合特征中包含有是由多个声音特征组成的，因此，本公开可综合多个维度从预设样本库中确定目标组合特征，与根据一种声音特征确定目标组合特征相比，采用本公开的技术方案确定目标组合特征时具有更加全面、更准确的优点，从而提升了设备故障声音的识别准确度。另外，由于本公开中预设样本库中的多个组合特征是基于待检测设备的历史环境信息以及待检测设备发生历史故障时的声音数据所确定的，因此，即便外部环境中出现干扰声音，本公开仍可结合环境声音与设备运行声音共同确定待检测设备所对应的目标组合特征，并根据目标组合特征确定待检测设备的故障类型，从而解决了现有技术中由于抗干扰能力差导致的故障声音识别准确度低的技术问题。此外，本公开通过目标组合特征所对应的目标故障类型标签，不仅仅可确定待检测设备是否出现故障，还可在待检测设备出现故障时确定待检测设备的故障类型，有利于提高设备维修效率。

由此可见，通过本申请的技术方案，达到了通过声音数据准确确定待检测设备的故障类型的目的，从而实现了保证设备稳定运行的效果，进而解决了现有技术中存在的故障声音识别准确度低的技术问题。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的识别设备故障的方法的流程图；

图2是根据本公开实施例的第一特征提取过程的流程图；

图3是根据本公开实施例的第二特征提取过程的流程图；

图4是根据本公开实施例的识别设备故障的方法的流程图；

图5是根据本公开实施例的识别设备故障的装置的示意图；

图6是用来实现本公开实施例的识别设备故障的方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

另外，还需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

实施例1

根据本公开实施例，提供了一种识别设备故障的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

另外，还需要说明的是，电子设备可作为本公开中的识别设备故障的方法的执行主体。

图1是根据本公开实施例识别设备故障的方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取待检测设备发生故障时的声音数据。

在步骤S102中，待检测设备可以是工业场景下的工业设备，例如，机床、机械手以及机械臂等设备。其中，工业设备在正常运行工作时会发出声音，并且，在工业设备出现故障时，根据不同的故障类型，工业设备所发出的声音会发生变化。另外，电子设备可通过安装在待检测设备上的声音传感器获取待检测设备的声音数据。其中，声音传感器可安装在待检测设备中，声音传感器在采集到待检测设备的声音数据之后，将声音数据发送至电子设备，并由电子设备将声音数据保存为音频文件。另外，待检测设备的声音数据中至少包含待检测设备发生故障时的声音数据、以及待检测设备正常运行时的声音数据以及。另外，待检测设备的声音数据中还可以包括周围环境中的环境声音数据。

需要注意到的是，现有技术对工业场景下声音数据的研究都是承袭语音识别技术。具体的，现有技术通过提取声音数据中的标准特征，可根据标准特征训练马尔可夫模型、神经网络模型以及一些混合模型，从而生成故障声音检测模型，并根据故障声音检测模型识别工业设备发出的声音，以判断工业设备的状态。

然而，基于故障声音检测模型判断工业设备的状态对声音数据的数量以及质量要求很高，但是由于实际生产环境的复杂性，在工业场景下很难搜集到大量的声音数据，尤其是很难收集到大量的高质量声音数据，因此会导致故障声音检测模型的故障声音识别准确度低的问题。另外，故障声音检测模型的准确性很容易受到外部环境的影响，当采集的声音数据稍微发生变化时，故障声音检测模型的预测结果就可能出现错误，尤其是在一些对故障类型定位要求比较高的场景下，故障声音检测模型的识别准确度往往很难达到理想的效果。

而在本公开中，由于采集的声音数据中包含有环境声音，并且预设样本库中的多个组合特征也是基于待检测设备的历史环境信息以及待检测设备发生历史故障时的声音数据所确定的，因此，即便外部环境中出现干扰声音，本公开仍可结合环境声音与设备运行声音共同确定待检测设备所对应的目标组合特征，并根据目标组合特征确定待检测设备的故障类型，从而解决了由于故障声音检测模型抗干扰能力差导致的故障声音识别准确度低的问题，进而实现了在不需要很多高质量的声音数据的情况下稳定识别待检测设备的故障类型的效果。

步骤S104，对声音数据进行特征提取，得到声音数据对应的声音组合特征。

在步骤S104中，声音组合特征由多个声音特征组成。其中，多个声音特征至少包括：声谱特征以及频率倒谱系数特征。

可选的，电子设备可通过生成声谱图二维矩阵的方式，对声音数据进行特征提取，从而得到声音数据对应的声谱特征。另外，电子设备还可通过MFCC(Mel FrequencyCepstrum Coefficient，Mel频率倒谱系数)特征提取的方式，对声音数据进行特征提取，从而得到声音数据对应的频率倒谱系数特征(即MFCC特征)。

需要注意到的是，由于本公开中的声音组合特征至少由两个声音特征组成，因此，本公开可综合多个维度从预设样本库中确定目标组合特征，与根据一种声音特征确定目标组合特征相比，本公开具有更全面、更准确的优点，有利于进一步提高设备故障声音的识别准确度。

步骤S106，从预设样本库中所包含的多个组合特征中确定目标组合特征。

在步骤S106中，目标组合特征与声音组合特征的相似度满足预设条件。预设样本库至少包括：至少一种故障类型标签、多个组合特征。另外，多个组合特征是基于待检测设备的历史环境信息以及待检测设备发生历史故障时的声音数据所确定的。

可选的，预设条件可以由操作人员根据待检测设备的实际情况自定义设置，例如，根据待检测设备的类型设置不同的预设条件，根据待检测设备所处环境的不同设置不同的预设条件。其中，预设条件可以计算声音组合特征与样本库中的每一个组合特征之间的相似度得分，将相似度得分最高的组合特征确定为目标组合特征。

可选的，在构建预设样本库时，电子设备可通过历史的检修记录以及维修记录，确定每种故障类型所对应的至少一个组合特征，并为每种故障类型建立故障类型标签。需要说明的是，在相同故障发生时，外部环境可能不会完全相同，因此一种故障类型可能对应至少一个组合特征。另外，预设样本库中还包含有待检测设备正常运行时所对应的组合特征。例如，以下示出了一种预设样本库中的数据：

故障A：(声谱特征A1/MFCC特征A1，声谱特征A2/MFCC特征A2……声谱特征An/MFCC特征An)；

故障B：(声谱特征B1/MFCC特征B1，声谱特征B2/MFCC特征B2……声谱特征Bn/MFCC特征Bn)；

故障C：(声谱特征C1/MFCC特征C1，声谱特征C2/MFCC特征C2……声谱特征Cn/MFCC特征Cn)……

故障N：(声谱特征N1/MFCC特征N1，声谱特征N2/MFCC特征N2……声谱特征Nn/MFCC特征Nn)；

正常数据：(声谱特征1/MFCC特征1，声谱特征2/MFCC特征2……声谱特征n/MFCC特征n)。

由上述过程可知，本公开通过采用将多个组合特征与至少一种故障类型标签相关联的方式，实现了根据声音数据准确确定待检测设备的故障类型的效果，从而降低了故障检测的成本，提高了设备维修效率。

步骤S108，根据目标组合特征所对应的目标故障类型标签确定待检测设备的故障类型。

在步骤S108中，在电子设备确定目标组合特征之后，电子设备将获取目标组合特征对应的目标故障类型标签，并根据目标故障类型标签的信息确定待检测设备的故障类型。例如，电子设备确定待检测设备A对应的目标组合特征为目标组合特征1。其中，目标组合特征1的目标故障类型标签表征目标组合特征1对应的故障类型为断电故障，从而电子设备可确定待检测设备当前出现了断电故障。

需要注意到的是，本公开通过目标组合特征所对应的目标故障类型标签不仅仅可确定待检测设备是否出现故障，还可在待检测设备出现故障时确定待检测设备的故障类型，从而实现了保证设备稳定运行的效果。

在本公开的技术方案中，采用将多个组合特征与至少一种故障类型标签相关联的方式，在获取待检测设备发生故障时的声音数据之后，对声音数据进行特征提取，得到声音数据对应的声音组合特征，然后从预设样本库中所包含的多个组合特征中确定目标组合特征，进而根据目标组合特征所对应的目标故障类型标签确定待检测设备的故障类型。其中，声音组合特征由多个声音特征组成，目标组合特征与声音组合特征的相似度满足预设条件，预设样本库至少包括：至少一种故障类型标签、多个组合特征，多个组合特征是基于待检测设备的历史环境信息以及待检测设备发生历史故障时的声音数据所确定的。

由上述内容可知，由于本公开中的声音组合特征中包含有是由多个声音特征组成的，因此，本公开可综合多个维度从预设样本库中确定目标组合特征，与根据一种声音特征确定目标组合特征相比，采用本公开的技术方案确定目标组合特征时具有更加全面、更准确的优点，从而提升了设备故障声音的识别准确度。另外，由于本公开中预设样本库中的多个组合特征是基于待检测设备的历史环境信息以及待检测设备发生历史故障时的声音数据所确定的，因此，即便外部环境中出现干扰声音，本公开仍可结合环境声音与设备运行声音共同确定待检测设备所对应的目标组合特征，并根据目标组合特征确定待检测设备的故障类型，从而解决了现有技术中由于抗干扰能力差导致的故障声音识别准确度低的技术问题。此外，本公开通过目标组合特征所对应的目标故障类型标签，不仅仅可确定待检测设备是否出现故障，还可在待检测设备出现故障时确定待检测设备的故障类型，有利于提高设备维修效率。

由此可见，通过本申请的技术方案，达到了通过声音数据准确确定待检测设备的故障类型的目的，从而实现了保证设备稳定运行的效果，进而解决了现有技术中存在的故障声音识别准确度低的技术问题。

在一种可选的实施例中，电子设备可对声音数据进行第一特征提取，得到声谱特征，并对声音数据进行第二特征提取，得到频率倒谱系数特征，其中，声音组合特征至少包括声谱特征和频率倒谱系数特征。

可选的，在获取得到声音数据之后，电子设备可通过生成声谱图二维矩阵的方式对声音数据进行第一特征提取，从而得到声音数据对应的声谱特征。具体的，如图2所示，电子设备可首先对声音数据进行分帧处理，得到多帧第一声音数据，然后电子设备对多帧第一声音数据进行加窗处理，得到多帧第二声音数据，随后电子设备对多帧第二声音数据进行傅里叶变换，得到多帧第三声音数据，最后电子设备对多帧第三声音数据进行堆叠处理(对应图2中的结果堆叠)，得到声谱特征。其中，声谱特征可以以声谱矩阵的形式进行展示，声音数据可以是一段连续的声音信号。

进一步地，在获取得到声音数据之后，电子设备还可通过MFCC特征提取的方式对声音数据进行第二特征提取，从而得到频率倒谱系数特征。具体的，如图3所示，电子设备可首先对声音数据进行预加重处理，得到第四声音数据，然后电子设备对第四声音数据进行分帧和加窗处理，得到第五声音数据，进一步地，电子设备对第五声音数据进行快速傅里叶变换，得到第六声音数据，然后电子设备使用Mel滤波器组对第六声音数据进行滤波处理，得到滤波后的第六声音数据，之后电子设备对滤波后的第六声音数据进行取对数计算，得到第七声音数据，最后电子设备对第七声音数据进行离散余弦变换，得到频率倒谱系数特征(即MFCC特征)。

需要说明的是，预设样本库中的组合特征也是基于上述第一特征提取方式以及第二特征提取方式所提取得到的。

在上述过程中，通过对声音数据分别提取声谱特征以及MFCC特征，实现了在至少两个维度通过声音数据分析待检测设备的故障类型，从而提升了设备故障声音的识别准确性。

在一种可选的实施例中，在从预设样本库中所包含的多个组合特征中确定目标组合特征之前，电子设备可获取待检测设备对应的设备标识，并从多个样本库中确定与设备标识对应的预设样本库。

可选的，由于每台待检测设备的使用情况以及所处环境不同，因此，不同的待检测设备所对应的声音数据也可能不同。为了确保准确识别每台待检测设备的故障类型，电子设备在构建预设样本库时，可根据每台待检测设备构建一个对应预设样本库，例如，设备标识为设备1的待检测设备位于第一工位，电子设备将第一样本库作为设备1对应的预设样本库；设备标识为设备2的待检测设备位于第二工位，电子设备将第二样本库作为设备2对应的预设样本库。其中，第一样本库是电子设备根据从设备1采集到的声音数据所构建的，第二样本库是电子设备根据从设备2采集到的声音数据所构建的。

需要注意到的是，通过建立每个待检测设备对应的预设样本库，实现了对每台待检测设备的精细化管理，从而实现了提高预设样本库的管理效率的效果。

在一种可选的实施例中，电子设备可从预设样本库中获取多个第一声音特征以及多个第二声音特征，并计算多个第一声音特征中的每个第一声音特征与声谱特征之间的余弦相似度，得到多个第一相似度，从而根据多个第一相似度从多个第一声音特征中确定多个第一目标特征。另外，电子设备还可计算多个第二声音特征中的每个第二声音特征与频率倒谱系数特征之间的余弦相似度，得到多个第二相似度，从而根据多个第二相似度从多个第二声音特征中确定多个第二目标特征。最后，电子设备对多个第一目标特征和多个第二目标特征进行组合，得到多个组合特征，并从多个组合特征中确定目标组合特征。其中，多个第一声音特征的特征类型与声谱特征的特征类型相同，多个第二声音特征的特征类型与频率倒谱系数特征的特征类型相同。

可选的，电子设备可根据声音组合特征中的声谱特征和频率倒谱系数特征确定与声音组合特征最相似的目标组合特征。例如，待检测设备1的声音数据为声音A，其中，声音A对应的声谱特征为声谱特征A，声音A对应的频率倒谱系数特征为MFCC特征A。另外，待检测设备1对应的预设样本库中存在3个第一声音特征。通过计算每个第一声音特征与声谱特征A之间的余弦相似度，电子设备确定第一相似度由高到低的第一声音特征分别为第一声音特征1、第一声音特征2、第一声音特征3。在此基础上，电子设备根据第一相似度可对第一声音特征进行初步筛选，从而过滤掉第一相似度最低的第一声音3，将第一声音特征1、第一声音特征2确定为第一目标特征。其中，在存在多个第一声音特征时，为了提高计算效率，电子设备可选择第一相似度排序靠前的N个第一声音特征作为第一目标特征。进一步地，第二目标特征的确定过程与第一目标特征的确定过程相同，在此不再进行赘述。

可选的，在得到多个第一目标特征以及多个第二目标特征之后，电子设备可将多个第一目标特征以及多个第二目标特征进行组合，从而得到多个目标组合特征。其中，组合方式可以是排列组合的方式，即任意一个第一目标特征与任意一个第二目标特征进行组合。

在上述过程中，电子设备利用相似度检索算法，对新输入的声音数据可进行快速准确的匹配，由于整个过程计算简单，效果稳定，因此可高效率地确定待检测设备的故障类型。

在一种可选的实施例中，在得到多个组合特征之后，电子设备可获取多个组合特征中每个组合特征中的第一目标特征对应的第一权重值，以及每个组合特征中的第二目标特征对应的第二权重值，并计算每个组合特征中的第一目标特征与声谱特征的第三相似度，以及每个组合特征中的第二目标特征与频率倒谱系数特征的第四相似度，从而根据第一权重值、第二权重值、第三相似度以及第四相似度计算每个组合特征对应的评分值，进而根据评分值从多个组合特征中确定目标组合特征。

可选的，操作人员可根据实际应用场景在电子设备上赋予第一目标特征与第二目标特征不同的权重值。例如，第一目标特征对应的第一权重值可用w₁表示，第二目标特征对应的第二权重值可用w₂表示。同时，电子设备还将计算每个组合特征中的第一目标特征与声谱特征的第三相似度，以及每个组合特征中的第二目标特征与频率倒谱系数特征的第四相似度。其中，第三相似度可用S_声谱特征表示，第四相似度可用S_MFCC表示。最后，在得到第一权重值、第二权重值、第三相似度以及第四相似度之后，电子设备可通过以下公式计算每个组合特征对应的评分值(即公式中的Score)，并将评分值最高的组合特征确定为目标组合特征。

Score＝w₁*S_声谱特征+w₂*S_MFCC

需要注意到的是，通过计算每个组合特征的评分值，可确保将与声音数据最为相似的组合特征确定为目标组合特征，从而保证了电子设备可稳定准确地识别故障声音。另外，通过权重值的设计，操作人员可根据实际场景对电子设备的识别过程进行调整，从而提升了识别过程的灵活性。

在一种可选的实施例中，在根据目标组合特征所对应的目标故障类型标签确定待检测设备的故障类型之后，电子设备响应目标对象对故障类型的调整指令，从而基于调整指令对特征提取函数中的参数、第一权重值、第二权重值之中的任意一个或多个进行调整，其中，特征提取函数用于对声音数据进行特征提取。

可选的，在电子设备根据目标组合特征对应的目标故障类型标签确定待检测设备的故障类型之后，操作人员可对电子设备的故障识别结果进行验证。具体的，针对电子设备的故障识别结果，操作人员可通过专家经验和数据分析判断故障识别结果的准确性，如果电子设备的故障识别结果不准确，则操作人员可通过调整特征提取函数、调整第一权重值、调整第二权重值以及增加预设样本库中的样本数量等方式对电子设备的故障识别过程进行优化。

需要注意到的是，通过对故障识别结果进行验证，并对识别过程中的计算参数进行调整，实现了根据实际情况及时调整电子设备的识别过程的效果，从而进一步地保证了对故障类型的准确识别。

在一种可选的实施例中，在根据目标组合特征所对应的目标故障类型标签确定待检测设备的故障类型之后，电子设备可基于声谱特征和/或频率倒谱系数特征对预设样本库进行更新。

可选的，如果电子设备的故障识别结果是准确的，操作人员可在电子设备上对故障识别结果进行确认，电子设备在接收到确认指令之后，将声谱特征和/或频率倒谱系数特征主动添加至待检测设备对应的预设样本库中，实现了对预设样本库的自动更新。

需要注意到的是，通过对预设样本库自动更新，实现了丰富预设样本库中数据的效果，从而有利于进一步提升故障识别的准确度。

在一种可选的实施例中，图4示出了根据本公开实施例的识别设备故障的方法流程图。如图4所示，首先，电子设备通过声音传感器采集声音数据，然后对采集到的声音数据进行特征提取，其中，电子设备至少提取声音数据的声谱特征以及MFCC特征。然后，电子设备调用根据历史维修记录以及故障维修记录所构建的预设样本库，并基于预设样本库对声音数据进行分析，其中，具体分析过程至少包括：预设样本库检索、相似度计算以及计算结果的加权求和。最后，电子设备根据分析结果输出故障识别结果，并由操作人员验证故障识别结果，在电子设备输出的故障识别结果正确时，电子设备可将识别过程中所提取的声音特征添加至预设样本库中，从而实现更新预设样本库的效果。

由上述内容可知，由于本公开中的声音组合特征中包含有是由多个声音特征组成的，因此，本公开可综合多个维度从预设样本库中确定目标组合特征，与根据一种声音特征确定目标组合特征相比，采用本公开的技术方案确定目标组合特征时具有更加全面、更准确的优点，从而提升了设备故障声音的识别准确度。另外，由于本公开中预设样本库中的多个组合特征是基于待检测设备的历史环境信息以及待检测设备发生历史故障时的声音数据所确定的，因此，即便外部环境中出现干扰声音，本公开仍可结合环境声音与设备运行声音共同确定待检测设备所对应的目标组合特征，并根据目标组合特征确定待检测设备的故障类型，从而解决了现有技术中由于抗干扰能力差导致的故障声音识别准确度低的技术问题。此外，本公开通过目标组合特征所对应的目标故障类型标签，不仅仅可确定待检测设备是否出现故障，还可在待检测设备出现故障时确定待检测设备的故障类型，有利于提高设备维修效率。

由此可见，通过本申请的技术方案，达到了通过声音数据准确确定待检测设备的故障类型的目的，从而实现了保证设备稳定运行的效果，进而解决了现有技术中存在的故障声音识别准确度低的技术问题。

实施例2

根据本公开实施例，还提供了一种识别设备故障的装置实施例，其中，图5是根据本公开实施例的识别设备故障的装置示意图，如图5所示，该装置包括如下模块：获取模块501、特征提取模块503、特征确定模块505以及识别模块507。

其中，获取模块501，用于获取待检测设备发生故障时的声音数据；特征提取模块503，用于对声音数据进行特征提取，得到声音数据对应的声音组合特征，其中，声音组合特征由多个声音特征组成；特征确定模块505，用于从预设样本库中所包含的多个组合特征中确定目标组合特征，其中，目标组合特征与声音组合特征的相似度满足预设条件，预设样本库至少包括：至少一种故障类型标签、多个组合特征，多个组合特征是基于待检测设备的历史环境信息以及待检测设备发生历史故障时的声音数据所确定的；识别模块507，用于根据目标组合特征所对应的目标故障类型标签确定待检测设备的故障类型。

需要说明的是，上述获取模块501、特征提取模块503、特征确定模块505以及识别模块507对应于上述实施例中的步骤S102至步骤S108，四个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。

可选的，上述特征提取模块还包括：第一特征提取模块以及第二特征提取模块。其中，第一特征提取模块，用于对声音数据进行第一特征提取，得到声谱特征；第二特征提取模块，用于对声音数据进行第二特征提取，得到频率倒谱系数特征，其中，声音组合特征至少包括声谱特征和频率倒谱系数特征。

可选的，识别设备故障的装置还包括：第一获取模块以及确定模块。其中，第一获取模块，用于获取待检测设备对应的设备标识；确定模块，用于从多个样本库中确定与设备标识对应的预设样本库。

可选的，确定模块还包括：第二获取模块、第一计算模块、第一确定模块、第二计算模块、第二确定模块、组合模块以及第三确定模块。其中，第二获取模块，用于从预设样本库中获取多个第一声音特征以及多个第二声音特征，其中，多个第一声音特征的特征类型与声谱特征的特征类型相同，多个第二声音特征的特征类型与频率倒谱系数特征的特征类型相同；第一计算模块，用于计算多个第一声音特征中的每个第一声音特征与声谱特征之间的余弦相似度，得到多个第一相似度；第一确定模块，用于根据多个第一相似度从多个第一声音特征中确定多个第一目标特征；第二计算模块，用于计算多个第二声音特征中的每个第二声音特征与频率倒谱系数特征之间的余弦相似度，得到多个第二相似度；第二确定模块，用于根据多个第二相似度从多个第二声音特征中确定多个第二目标特征；组合模块，用于对多个第一目标特征和多个第二目标特征进行组合，得到多个组合特征；第三确定模块，用于从多个组合特征中确定目标组合特征。

可选的，第三确定模块还包括：第三获取模块、第三计算模块、第四计算模块以及第四确定模块。其中，第三获取模块，用于获取多个组合特征中每个组合特征中的第一目标特征对应的第一权重值，以及每个组合特征中的第二目标特征对应的第二权重值；第三计算模块，用于计算每个组合特征中的第一目标特征与声谱特征的第三相似度，以及每个组合特征中的第二目标特征与频率倒谱系数特征的第四相似度；第四计算模块，用于根据第一权重值、第二权重值、第三相似度以及第四相似度计算每个组合特征对应的评分值；第四确定模块，用于根据评分值从多个组合特征中确定目标组合特征。

可选的，识别设备故障的装置还包括：响应模块以及调整模块。其中，响应模块，用于响应目标对象对故障类型的调整指令；调整模块，用于基于调整指令对特征提取函数中的参数、第一权重值、第二权重值之中的任意一个或多个进行调整，其中，特征提取函数用于对声音数据进行特征提取。

可选的，识别设备故障的装置还包括：更新模块，用于基于声谱特征和/或频率倒谱系数特征对预设样本库进行更新。

可选的，第一特征提取模块还包括：分帧模块、加窗模块、傅里叶变换模块以及堆叠处理模块。其中，分帧模块，用于对声音数据进行分帧处理，得到多帧第一声音数据；加窗模块，用于对多帧第一声音数据进行加窗处理，得到多帧第二声音数据；傅里叶变换模块，用于对多帧第二声音数据进行傅里叶变换，得到多帧第三声音数据；堆叠处理模块，用于对多帧第三声音数据进行堆叠处理，得到声谱特征。

可选的，第二特征提取模块还包括：预加重处理模块、第一分帧模块、第一傅里叶变换模块、滤波处理模块、对数计算模块以及离散余弦变换模块。其中，预加重处理模块，用于对声音数据预加重处理，得到第四声音数据；第一分帧模块，用于对第四声音数据进行分帧和加窗处理，得到第五声音数据；第一傅里叶变换模块，用于对第五声音数据进行傅里叶变换，得到第六声音数据；滤波处理模块，用于对第六声音数据进行滤波处理，得到滤波后的第六声音数据；对数计算模块，用于对滤波后的第六声音数据进行对数计算，得到第七声音数据；离散余弦变换模块，用于对第七声音数据进行离散余弦变换，得到频率倒谱系数特征。

实施例3

根据本公开的实施例，本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述实施例1中的识别设备故障的方法。

实施例4

根据本公开的实施例，本公开还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述实施例1中的识别设备故障的方法。

实施例5

根据本公开的实施例，本公开还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例1中的识别设备故障的方法。

图6示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如识别设备故障的方法。例如，在一些实施例中，识别设备故障的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的识别设备故障的方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行识别设备故障的方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (13)

1.一种识别设备故障的方法，包括：

获取待检测设备发生故障时的声音数据；

对所述声音数据进行特征提取，得到所述声音数据对应的声音组合特征，其中，所述声音组合特征由多个声音特征组成；

从预设样本库中所包含的多个组合特征中确定目标组合特征，其中，所述目标组合特征与所述声音组合特征的相似度满足预设条件，所述预设样本库至少包括：至少一种故障类型标签、所述多个组合特征，所述多个组合特征是基于所述待检测设备的历史环境信息以及所述待检测设备发生历史故障时的声音数据所确定的；

根据所述目标组合特征所对应的目标故障类型标签确定所述待检测设备的故障类型。

2.根据权利要求1所述的方法，其中，对所述声音数据进行特征提取，得到所述声音数据对应的声音组合特征，包括：

对所述声音数据进行第一特征提取，得到声谱特征；

对所述声音数据进行第二特征提取，得到频率倒谱系数特征，其中，所述声音组合特征至少包括所述声谱特征和所述频率倒谱系数特征。

3.根据权利要求1所述的方法，在从预设样本库中所包含的多个组合特征中确定目标组合特征之前，所述方法还包括：

获取所述待检测设备对应的设备标识；

从多个样本库中确定与所述设备标识对应的预设样本库。

4.根据权利要求2所述的方法，其中，从预设样本库中所包含的多个组合特征中确定目标组合特征，包括：

从所述预设样本库中获取多个第一声音特征以及多个第二声音特征，其中，所述多个第一声音特征的特征类型与所述声谱特征的特征类型相同，所述多个第二声音特征的特征类型与所述频率倒谱系数特征的特征类型相同；

计算所述多个第一声音特征中的每个第一声音特征与所述声谱特征之间的余弦相似度，得到多个第一相似度；

根据所述多个第一相似度从所述多个第一声音特征中确定多个第一目标特征；

计算所述多个第二声音特征中的每个第二声音特征与所述频率倒谱系数特征之间的余弦相似度，得到多个第二相似度；

根据所述多个第二相似度从所述多个第二声音特征中确定多个第二目标特征；

对所述多个第一目标特征和所述多个第二目标特征进行组合，得到多个组合特征；

从所述多个组合特征中确定所述目标组合特征。

5.根据权利要求4所述的方法，其中，从所述多个组合特征中确定所述目标组合特征，包括：

获取所述多个组合特征中每个组合特征中的第一目标特征对应的第一权重值，以及所述每个组合特征中的第二目标特征对应的第二权重值；

计算所述每个组合特征中的第一目标特征与所述声谱特征的第三相似度，以及所述每个组合特征中的第二目标特征与所述频率倒谱系数特征的第四相似度；

根据所述第一权重值、所述第二权重值、所述第三相似度以及所述第四相似度计算所述每个组合特征对应的评分值；

根据所述评分值从所述多个组合特征中确定目标组合特征。

6.根据权利要求5所述的方法，在根据所述目标组合特征所对应的目标故障类型标签确定所述待检测设备的故障类型之后，所述方法还包括：

响应目标对象对所述故障类型的调整指令；

基于所述调整指令对特征提取函数中的参数、所述第一权重值、所述第二权重值之中的任意一个或多个进行调整，其中，所述特征提取函数用于对所述声音数据进行特征提取。

7.根据权利要求2所述的方法，在根据所述目标组合特征所对应的目标故障类型标签确定所述待检测设备的故障类型之后，所述方法还包括：

基于所述声谱特征和/或所述频率倒谱系数特征对所述预设样本库进行更新。

8.根据权利要求2所述的方法，其中，对所述声音数据进行第一特征提取，得到声谱特征，包括：

对所述声音数据进行分帧处理，得到多帧第一声音数据；

对所述多帧第一声音数据进行加窗处理，得到多帧第二声音数据；

对所述多帧第二声音数据进行傅里叶变换，得到多帧第三声音数据；

对所述多帧第三声音数据进行堆叠处理，得到所述声谱特征。

9.根据权利要求2所述的方法，其中，对所述声音数据进行第二特征提取，得到频率倒谱系数特征，包括：

对所述声音数据预加重处理，得到第四声音数据；

对所述第四声音数据进行分帧和加窗处理，得到第五声音数据；

对所述第五声音数据进行傅里叶变换，得到第六声音数据；

对所述第六声音数据进行滤波处理，得到滤波后的第六声音数据；

对所述滤波后的第六声音数据进行对数计算，得到第七声音数据；

对所述第七声音数据进行离散余弦变换，得到所述频率倒谱系数特征。

10.一种识别设备故障的装置，包括：

获取模块，用于获取待检测设备发生故障时的声音数据；

特征提取模块，用于对所述声音数据进行特征提取，得到所述声音数据对应的声音组合特征，其中，所述声音组合特征由多个声音特征组成；

特征确定模块，用于从预设样本库中所包含的多个组合特征中确定目标组合特征，其中，所述目标组合特征与所述声音组合特征的相似度满足预设条件，所述预设样本库至少包括：至少一种故障类型标签、所述多个组合特征，所述多个组合特征是基于所述待检测设备的历史环境信息以及所述待检测设备发生历史故障时的声音数据所确定的；

识别模块，用于根据所述目标组合特征所对应的目标故障类型标签确定所述待检测设备的故障类型。

11.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的识别设备故障的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1至9中任一项所述的识别设备故障的方法。

13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至9中任一项所述的识别设备故障的方法。

Images