CN115798511A - 一种通过声音检测工业设备异常的方法 - Google Patents

Abstract

本发明涉及一种通过声音检测工业设备异常的方法，包括声音采集装置和模型库，所述声音采集装置与特征提取器之间为电性连接，且特征提取器与参数功能配置、特征数据库、模型判定器、相似性判断器和在线学习判断器之间均为电性连接，所述相似性判断器与例外名单库之间为电性连接，所述在线学习判断器与用户交互功能之间为电性连接，所述特征数据库与模型训练器之间为电性连接。本发明通过声音检测工业设备是否工作正常，通过在线学习模型实现热启动，同时将技术人员的判定反馈修正模型参数，提高了检测精度，通过例外名单方式相似性判定，识别已经发生的误判，避免后续误报持续产生，通过综合多种模型提升报警准确性。

Description

一种通过声音检测工业设备异常的方法

技术领域

本发明涉及工业设备技术领域，具体为一种通过声音检测工业设备异常的方法。

背景技术

工业设备指的是工业生产过程中使用的各种设备，比如水力发电站中的电动机、发电机、水泵、水轮机等机器，并且工业设备在正常运转过程时的声音是有一定规律的，而设备处于不正常情况下的声音是和正常情况下是存在差异，而且这些差异是可以通过人耳分辨出来。

现有技术一般有两种：其中分类监督学习是通过收集大量的正常样本和异常样本，使用监督学习算法如支持向量机训练，并用训练的模型来预测新的样本，该算法的主要缺点是需要大量的异常样本，而在工业场景中，异常一种罕见的状态，很难或根本无法收集到大量的异常样本，其次异常样本特征表现不集中，即异常种类繁多，所以不可能收集到全部的异常种类样本，而统计方法则是先建立一个数据模型，如聚类或密度模型等进行建模，并基于正常样本进行训练得到一组模型参数，那些同模型不能完美拟合的对象就是异常，该算法应用比较广泛，但对于异常分布的随机性导致其存在误判，即使知道误判后，异常的数据也对该算法没用，即没办法更新参数。此外，该算法没法和有经验的技术人员协同配合来做到算法实时更新。

发明内容

本发明是要解决以上所提出的问题：分类监督学习是通过收集大量的正常样本和异常样本，使用监督学习算法如支持向量机训练，并用训练的模型来预测新的样本，该算法的主要缺点是需要大量的异常样本，而在工业场景中，异常一种罕见的状态，很难或根本无法收集到大量的异常样本，其次异常样本特征表现不集中，即异常种类繁多，所以不可能收集到全部的异常种类样本，而统计方法则是先建立一个数据模型，如聚类或密度模型等进行建模，并基于正常样本进行训练得到一组模型参数，那些同模型不能完美拟合的对象就是异常，该算法应用比较广泛，但对于异常分布的随机性导致其存在误判，即使知道误判后，异常的数据也对该算法没用，即没办法更新参数。此外，该算法没法和有经验的技术人员协同配合来做到算法实时更新技术问题。

一种通过声音检测工业设备异常的方法，包括声音采集装置和模型库，所述声音采集装置与特征提取器之间为电性连接，且特征提取器与参数功能配置、特征数据库、模型判定器、相似性判断器和在线学习判断器之间均为电性连接，所述相似性判断器与例外名单库之间为电性连接，所述在线学习判断器与用户交互功能之间为电性连接，所述特征数据库与模型训练器之间为电性连接，所述模型库与模型判定器之间为电性连接，所述线学习判断器与报警决策器之间为电性连接。

优选的，所述声音采集装置：通过在设备附近安装拾音器或麦克风阵列等装置，采集设备运行声音，并将声音信号由模拟信号转换成数字信号。

优选的，所述参数功能配置：参数功能配置包括声音最小长度、提取声音特征选择项、当前的运行状态(如收集训练集过程状态、训练状态、判别状态)、模型算法选择、算法参数配置、判定器权重及综合算法；

所述的声音特征选择项包括但不限于：过零率、能量、能量熵、频谱熵、频谱一阶矩、频谱二阶矩、频谱对比度、频谱衰减度即滚降点、梅尔频率倒谱系数MFCC、色度频率、谱通量、频谱平坦度以及各特征的均值、均方误差、一阶差分均值、一阶差分均方误差；

所述的模型算法选择包括但不限于IsolationForest(孤立森林)、OneClassSVM(一类支持向量机)、GMM(高斯混合模型)、HMM(隐马尔可夫模型)、LOF(局部异常因子算法)、AutoEncoder(自编码)；

所述的算法超参数根据所选择的不同算法其包含不同的配置，配置值至少包括范围步长配置、给定列表配置等多种，用于算法训练时挑选最优超参数。

优选的，所述特征提取器：根据参数功能配置选择的提取声音特征选择项，对音频数据计算时域、频域和倒谱域的特征值，并将特征值发送到消息管道中，供训练或判别使用。

优选的，所述特征数据库：保存特征提取器生成的声音特征数据，如果当前的运行状态是训练状态则将数据保存到训练数据库，否则保存到临时数据库，训练数据库数据永久保存，而临时数据库有效期保存。

优选的，所述模型训练器：根据参数功能配置所选择的模型算法及参数对特征数据库中的训练数据库进行模型训练，训练后得到的模型保存到模型库中，且模型库：包括模型名、该模型训练后的参数值、训练数据的统计参数。

优选的，所述模型判定器：通过加载模型库数据建构模型，在当前的运行状态是判别状态时判定当前声音(根据特征提取器后的声音特征项判定)是否为正常，如正常输出0，异常输出1。

优选的，所述相似性判定器：在当前的运行状态是判别状态时，根据例外名单库中的数据，判定当前输入和名单库的是否相似，假设正常声音判定输出1，异常声音判定输出-1，如和名单库中的某异常样本相似度达到95％则输出-1，和名单库中的某正常样本相似度达到95％则输出1，其它情况输出0。

优选的，所述在线学习判定器：其流程包括：将模型的预测结果展现给用户，然后收集用户的反馈数据，再用来训练模型，形成闭环的系统，其模型初始参数可以使用其它数据训练后迁移使用。

用户交互功能：报警决策器如果判定异常，那么会提示给用户，由用户通过听取声音或检查现场情况确认是否为异常。

例外名单库：保存一些将正常误判定为异常的或异常误判为正常的样本信息，该库供相似性判定器使用。

报警决策器：根据参数功能配置的权重配置综合模型判定器、相似性判定器、在线学习判定器的输出决定本次声音是正常还是异常。

与现有技术相比，本发明的有益效果如下：

本发明通过声音检测工业设备是否工作正常，通过在线学习模型实现热启动，同时将技术人员的判定反馈修正模型参数，提高了检测精度，通过例外名单方式相似性判定，识别已经发生的误判，避免后续误报持续产生，通过综合多种模型提升报警准确性。

附图说明

图1为本发明工业设备声音异常检测系统流程图；

图2为本发明收集模型训练集流程图；

图3为本发明模型训练过程图；

图4为本发明当前运行状态为判别状态下的模型判别流程图；

图5为本发明异常误判正常的处理流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

参阅图1-3，一种通过声音检测工业设备异常的方法，包括声音采集装置1、特征提取器2、参数功能配置3、特征数据库4、模型训练器5、模型判定器6、模型库7、相似性判断器8、例外名单库9、在线学习判断器10、用户交互功能11和报警决策器12，声音采集装置1与特征提取器2之间为电性连接，且特征提取器2与参数功能配置3、特征数据库4、模型判定器6、相似性判断器8和在线学习判断器10之间均为电性连接，相似性判断器8与例外名单库9之间为电性连接，在线学习判断器10与用户交互功能11之间为电性连接，特征数据库4与模型训练器5之间为电性连接，模型库7与模型判定器6之间为电性连接，线学习判断器10与报警决策器12之间为电性连接。

优选的，声音采集装置1：通过在设备附近安装拾音器或麦克风阵列等装置，采集设备运行声音，并将声音信号由模拟信号转换成数字信号。

优选的，参数功能配置3：参数功能配置包括声音最小长度、提取声音特征选择项、当前的运行状态(如收集训练集过程状态、训练状态、判别状态)、模型算法选择、算法参数配置、判定器权重及综合算法；

的声音特征选择项包括但不限于：过零率、能量、能量熵、频谱熵、频谱一阶矩、频谱二阶矩、频谱对比度、频谱衰减度即滚降点、梅尔频率倒谱系数MFCC、色度频率、谱通量、频谱平坦度以及各特征的均值、均方误差、一阶差分均值、一阶差分均方误差；

的模型算法选择包括但不限于IsolationForest孤立森林、OneClassSVM一类支持向量机、GMM高斯混合模型、HMM隐马尔可夫模型、LOF局部异常因子算法、AutoEncoder自编码；

的算法超参数根据所选择的不同算法其包含不同的配置，配置值至少包括范围步长配置、给定列表配置等多种，用于算法训练时挑选最优超参数。

优选的，特征提取器2：根据参数功能配置3选择的提取声音特征选择项，对音频数据计算时域、频域和倒谱域的特征值，并将特征值发送到消息管道中，供训练或判别使用。

优选的，特征数据库4：保存特征提取器2生成的声音特征数据，如果当前的运行状态是训练状态则将数据保存到训练数据库，否则保存到临时数据库，训练数据库数据永久保存，而临时数据库有效期保存。

优选的，模型训练器5：根据参数功能配置3所选择的模型算法及参数对特征数据库4中的训练数据库进行模型训练，训练后得到的模型保存到模型库7中，且模型库7：包括模型名、该模型训练后的参数值、训练数据的统计参数。

优选的，模型判定器6：通过加载模型库7数据建构模型，在当前的运行状态是判别状态时判定当前声音根据特征提取器2后的声音特征项判定是否为正常，如正常输出0，异常输出1。

优选的，相似性判定器8：在当前的运行状态是判别状态时，根据例外名单库9中的数据，判定当前输入和名单库的是否相似，假设正常判定输出1，异常判定输出-1，那么如和名单库中的某异常样本相似度达到95％则输出-1，和名单库中的某正常样本相似度达到95％则输出1，其它情况输出-1。

优选的，在线学习判定器10：其流程包括：将模型的预测结果展现给用户，然后收集用户的反馈数据，再用来训练模型，形成闭环的系统，其模型初始参数可以使用其它数据训练后迁移使用。

用户交互功能11：报警决策器12如果判定异常，那么会提示给用户，由用户通过听取声音或检查现场情况确认是否为异常。

例外名单库9：保存一些将正常误判定为异常的或异常误判为正常的样本信息，该库供相似性判定器8使用。

报警决策器12：根据参数功能配置3的权重配置综合模型判定器6、相似性判定器8、在线学习判定器10的输出决定本次声音是正常还是异常；

其判别算法可以由多种，下面仅以简单权重计算方式举例如下：

1、假如：模型判定器6的权值为0.4，相似性判定器8权值为1，在线学习判定器10权值0.6，判定阈值为0；

若：模型判定器6输出1，相似性判定器8输出-1，在线学习判定器10输出1；

因为相似性判定器8权值为1且相似度判定为-1，输出异常；

若：模型判定器6输出为-1，相似性判定器8输出为1，在线学习判定器10输出为-1；

因为相似性判定器8权值为1且相似度判定为1，输出正常；

若：模型判定器6输出1，相似性判定器8输出0，在线学习判定器10输出-1；

那么0.4*1+0.6*(-1)＝-0.2，，小于阈值0，输出异常；

若：模型判定器6输出-1，相似性判定器8输出0，在线学习判定器10输出1；

那么0.4*(-1)+0.6*1＝0.2，大于阈值0，输出正常；

2、假如：模型判定器6的权值为0.25，相似性判定器8权值为0.4，在线学习判定器10权值0.35，判定阈值为0.5；

若：模型判定器6输出1，相似性判定器8输出-1，在线学习判定器10输出1；

那么0.25*1+0.4*(-1)+0.35*1＝0.2，小于阈值0.5，输出异常；

若：模型判定器6输出-1，相似性判定器8输出1，在线学习判定器10输出1；

那么0.25*(-1)+0.4*1+0.35*1＝0.5，大于等于阈值0.5，输出正常；

若：模型判定器6输出-1，相似性判定器8输出0，在线学习判定器10输出1；

因为判定器8输出0，不参与权重计算，所以计算公式如下：

(0.25*(-1)+0.35*1)/(0.25+0.35)＝0.16，小于阈值0.5，输出异常；

若：模型判定器6输出1，相似性判定器8输出0，在线学习判定器10输出1；

那么(0.25*1+0.35*1)/(0.25+0.36)＝1，大于阈值0.5，输出正常。

实例一：

以下结合图2介绍收集模型训练数据集收集过程，包括如下步骤：

步骤0：特征提取器读取参数功能配置需要提取的特征，从声音文件提取特征向量，并将特征向量通过消息中间件或文件方式等转由下一阶段处理。

步骤1：在线学习判定器读取特征向量进行判定。

步骤2：报警决策器判断当前不是判定状态，直接将在线学习判定器结果作为最终结果，判定当前声音是否异常。如果异常跳转至步骤3，正常则跳转至步骤6。

步骤3：提示用户声音异常，用户可以播放该声音进行下一步操作

步骤4：用户判定该声音是否正常，如正常跳转至步骤6，否则跳转至步骤5。此外，用户也可以配置在训练中不判定异常，即系统默认自动设置为正常。

步骤5：保存数据至特征数据的异常集。

步骤6：保存数据至特征数据的训练集。

步骤7：反馈判定到在线学习判定器供其在线学习。

实施例二：

以下结合图3介绍模型训练过程，包括如下步骤：

步骤0：参数功能配置设置当前状态为训练状态。此时特征数据库会生成当前的训练集和异常集作为快照。

步骤1：模型训练器读取特征数据库的训练集、异常集、算法选择，选择的算法的相关参数等信息。

步骤2：根据配置参数将训练集的进行切分，将其部分训练集连同异常集作为测试集，其它全部用于模型训练。

步骤3：使用选定的模型和参数对训练数据进行训练，直至训练完成。

步骤4：使用训练好的模型对测试集进行测试。

步骤5：输出测试结果的多种模型评估的性能度量，包括但不限于F1度量、P-R曲线、ROC曲线等。

步骤6：保存模型及测试结果到模型参数库中。

步骤7：用户查看性能度量结果是否满足其需求，如不满足或不满意用户可以选择另外一个模型或更改模型参数值重新训练。

步骤8：用户可以从模型参数库中选择一个模型作为模型判定器使用模型。

步骤9：训练结束，切换运行状态为判别状态。

实施例三：

以下结合图表4当前运行状态为判别状态下的模型判别流程介绍模型判别过程，包括如下步骤：

步骤0：运行状态为判定状态，特征提取器读取参数功能配置需要提取的特征，从声音文件提取特征向量，并将特征向量通过消息中间件或文件方式等转由下一阶段处理。

步骤1：模型判定器读取参数功能配置当前状态为判定状态，如模型为加载则从模型库加载模型并读取特征向量进行判定；同样相似性判定器、在线学习判定器同样对该特征向量进行判定，判定结果交由报警决策器处理。

步骤2：报警决策器根据判定器权重及综合算法从参数功能配置加载计算当前声音是否正常，如异常进入步骤3，正常进入跳至步骤8

步骤3：提示用户设备声音异常，用户可以点击声音文件播放进行进一步判断

步骤4：用户认定声音正常则进入步骤7，用户认为声音异常则进入步骤5

步骤5：保存原始声音文件到特征数据库，跳转至步骤7

步骤6：反馈异常到在线学习判定器并报警

步骤7：保存到例外名单库

步骤8：反馈正常到在线学习判定器，无需报警

实施例四：

以下结合图表5异常误判正常的处理流程增加，包括如下步骤：

步骤0：声音未判定为异常，但设备在运行一段时间后通过其它监测出故障后，重新来听取声音看是否有故障，并大致判定故障发生的范围。

步骤1：依次读取特征数据库中的临时库的声音文件及对应的特征。

步骤2：人工判定声音是否异常，如果正常则跳转到步骤1，否则步骤3。

步骤3：将异常样本误判为正常的移到例外名单库，供相似性判定器使用。

步骤4：将异常样本误判为正常的移动到异常集中。可以供后续模型升级时测试用。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种通过声音检测工业设备异常的方法，包括声音采集装置(1)、特征提取器(2)、参数功能配置(3)、特征数据库(4)、模型训练器(5)、模型判定器(6)、模型库(7)、相似性判断器(8)、例外名单库(9)、在线学习判断器(10)、用户交互功能(11)和报警决策器(12)，其特征在于：所述声音采集装置(1)与特征提取器(2)之间为电性连接，且特征提取器(2)与参数功能配置(3)、特征数据库(4)、模型判定器(6)、相似性判断器(8)和在线学习判断器(10)之间均为电性连接，所述相似性判断器(8)与例外名单库(9)之间为电性连接，所述在线学习判断器(10)与用户交互功能(11)之间为电性连接，所述特征数据库(4)与模型训练器(5)之间为电性连接，所述模型库(7)与模型判定器(6)之间为电性连接，所述线学习判断器(10)与报警决策器(12)之间为电性连接。

2.根据权利要求1所述的通过声音检测工业设备异常的方法，其特征是：所述声音采集装置(1)：通过在设备附近安装拾音器或麦克风阵列等装置，采集设备运行声音，并将声音信号由模拟信号转换成数字信号。

3.根据权利要求1所述的通过声音检测工业设备异常的方法，其特征是：参数功能配置(3)：参数功能配置包括声音最小长度、声音特征提取项、当前的运行状态(如收集训练集过程状态、训练状态、判别状态)、模型算法选择、算法参数配置、判定器权重及综合算法等；

所述的声音特征选择项包括但不限于：过零率、能量、能量熵、频谱熵、频谱一阶矩、频谱二阶矩、频谱对比度、频谱衰减度(即滚降点)、梅尔频率倒谱系数(MFCC)、色度频率、谱通量、频谱平坦度以及各特征的均值、均方误差、一阶差分均值、一阶差分均方误差；

所述的模型算法选择包括但不限于IsolationForest(孤立森林)、OneClassSVM(一类支持向量机)、GMM(高斯混合模型)、HMM(隐马尔可夫模型)、LOF(局部异常因子算法)、AutoEncoder(自编码)；

所述的算法超参数根据所选择的不同算法其包含不同的配置，配置值至少包括范围步长配置、给定列表配置等多种，用于算法训练时挑选最优超参数等。

4.根据权利要求1所述的通过声音检测工业设备异常的方法，其特征是：特征提取器(2)：根据参数功能配置(3)选择的提取声音特征选择项，对音频数据计算时域、频域和倒谱域的特征值供训练或判别使用。

5.根据权利要求1所述的通过声音检测工业设备异常的方法，其特征是：所述特征数据库(4)：保存特征提取器(2)生成的声音特征数据，如果当前的运行状态是训练状态则将数据保存到训练数据库，否则保存到临时数据库，训练数据库数据可设置永久保存，而临时数据库一般设置有效期保存。

6.根据权利要求1所述的通过声音检测工业设备异常的方法，其特征是：所述模型训练器(5)：根据参数功能配置(3)所选择的模型算法及参数对特征数据库(4)中的训练数据库进行模型训练，训练后得到的模型保存到模型库(7)中，且模型库(7)：包括模型名、该模型训练后的参数值、训练数据的统计参数。

7.根据权利要求1所述的通过声音检测工业设备异常的方法，其特征是：所述模型判定器(6)：通过加载模型库(7)数据建构模型，在当前的运行状态是判别状态时判定当前声音(根据特征提取器(2)后的声音特征项判定)是否为正常，假设正常判定输出1，异常判定输出-1，那么正常情况下的声音判定器输出1，异常情况下声音判定器输出-1。

8.根据权利要求1所述的通过声音检测工业设备异常的方法，其特征是：所述相似性判定器(8)：在当前的运行状态是判别状态时，根据例外名单库(9)中的数据，判定当前输入和名单库的是否相似，假设正常声音判定输出1，异常声音判定输出-1，假设相似度判定参数设置为95％，那么和例外名单库中的任一异常样本相似度达到95％则输出-1，和例外名单库中的任一正常样本相似度达到95％则输出1，其它情况输出0。

9.根据权利要求1所述的通过声音检测工业设备异常的方法，其特征是：所述在线学习判定器(10)：其流程包括：将模型的预测结果展现给用户，然后收集用户的反馈数据，再用来训练模型，形成闭环的系统，其模型初始参数也可以使用其它数据训练后迁移使用。

用户交互功能(11)：报警决策器(12)如果判定异常，那么会提示给用户，用户可以选择听取声音或检查现场情况进一步确认是否为异常。

例外名单库(9)：保存一些将正常误判定为异常的或异常误判为正常的样本信息，该库供相似性判定器(8)使用。

报警决策器(12)：根据参数功能配置(3)的权重配置综合模型判定器(6)、相似性判定器(8)、在线学习判定器(10)的输出决定本次声音是正常还是异常。

Images