CN112669879A - 一种基于时频域深度学习算法的空调内机噪声异常检测方法 - Google Patents

Abstract

本发明涉及一种基于时频域深度学习算法的空调内机噪声异常检测方法,包括：采集待检测的原始声音信号，提取有效时域声音信号，变换得到有效频域声音信号；进行阈值检测和波动检测；有效时域声音信号输入到训练好的全局信息检测模型中进行检测，得到全局检测结果；有效时域声音信号输入到训练好的局部信息检测模型进行检测，得到局部检测结果；将所得检测结果进行加权融合，得到最终的检测结果。该方法自动进行有效声音提取及异常检测，检测速度快，检测准确率高，同时减少人工成本，降低噪音对检测工人健康带来的损害。

Description

一种基于时频域深度学习算法的空调内机噪声异常检测方法

技术领域

本发明涉及一种基于时频域深度学习算法的空调内机噪声异常检测方法，属于声音信号处理和空调质量检测技术领域。

背景技术

在空调制造领域，在空调出厂销售之前，需要对制造的空调运行时的声音进行检测，从而判断出待检测空调是否存在某些故障。传统空调制造领域该检测过程需要专门的工作人员进行，但是此方式存在一定问题。

首先，这项工作对工作人员有一定要求，声音检测员需要通过专门的培训过程才可以分辨正常的声音和异常的声音。而且由于声音检测员长时间机械性工作的原因，可能会产生误判，对空调质量造成影响。其次，在检测过程中长期暴露于工业生产以及空调运行的噪声之中，该工作可能会对声音检测员的身体健康产生危害。此外，由于需要人工的参与，会影响全生产线向自动化以及智能化发展，成为限制整条产线产能的瓶颈与短板。

使用自动化声音检测方式取代人工检测方式是一项有意义的工作。通过分析收集的空调运行时的声音信号，对其时域和频域序列进行可视化，发现正常信号与异常信号存在一定的区别。但是，异常信号的表现存在多样性，难以通过人工分析所有的异常信号并总结其特征，因此传统的先对样本进行特征提取再使用分类器进行分类的方法难以实现。

对于声音信号，其有两个维度的特征被广泛研究与使用，一是时域特征，一是频域特征。时域特征记录声音信号的振幅变化，由抽样定理可知，当抽样速率大于两倍的声音信号的最高频率时，可以使用抽样点完全记录声音信号的信息，并可以无失真的恢复声音连续信号；频域信号可通过对时域信号进行傅里叶变换得到，其记录了声音信号含有的频率分量以及频率幅值大小。声音的时域信号可直观表示信号的持续时间以及振幅变化，频域信号可以准确的表示声音的频率信息，因此如果同时使用时域信号与频域信号来对声音信号进行分析可增加分析时使用的特征量，有助于分析准确性与可靠性的提高。

在对声音信号的采集过程中，为了隔绝生产车间的各种其他声音，通常将空调放置在噪声房中采集，在检测空调质量时，需使用在噪声房房门关闭时采集的声音进行判断。自动提取噪声房关闭期间的声音是实现空调声音自动检测的首要步骤。噪声房关闭和开启时会发出有一定规律的声音，使用算法检测识别噪声房房门的关闭和开启的声音，从而提取出期间的声音是一种可行的方案。

深度学习是目前发展迅速且效果显著的分类算法，在一维序列分类领域，有RNN(Recurrent Neural Network,循环神经网络)，LSTM((Long Short Term Memory,长短期记忆网络)，GRU(Gated Recurrent Unit,门控循环单元)等经过大量理论与实践证明为有效的深度学习算法，其中LSTM算法又是其中使用最为广泛的算法。

LSTM网络是一种特殊的RNN算法，可以学习长期依赖信息。LSTM由Hochreiter&Schmidhuber(1997)提出，并在近期被Alex Graves进行了改良和推广。在很多问题，LSTM都取得相当巨大的成功，并得到了广泛的使用。LSTM通过特别的设计来避免长期记忆消失问题。记住长期的信息在实践中是LSTM的默认行为，而非需要付出很大代价才能获得的能力。所有RNN都具有一种重复神经网络模块的链式的形式。在标准的RNN中，这个重复的模块只有一个非常简单的结构，例如一个tanh层。LSTM同样是这样的结构，但是重复的模块拥有一个不同的结构。不同于单一神经网络层，这里是有四个，以一种非常特殊的方式进行交互。LSTMs的核心是细胞状态，用贯穿细胞的水平线表示。细胞状态像传送带一样。它贯穿整个细胞却只有很少的分支，这样能保证信息不变的流过整个RNNs。LSTM网络能通过一种被称为门的结构对细胞状态进行删除或者添加信息。门能够有选择性的决定让哪些信息通过。LSTM由三个门来控制细胞状态，这三个门分别称为忘记门、输入门和输出门，通过这种机制可以使算法具有对信息的长期记忆能力，在时序信号处理中可同时利用近期信息和长期信息。

发明内容

针对现有技术的不足，本发明提供一种基于时频域深度学习算法的空调内机噪声异常检测方法,将空调运行时的原始声音信号转换为标准的时域声音信号和频域声音信号，有效时域声音信号进行全局检测和局部检测，并对有效时域声音信号和有效频域声音信号进行阈值检测和波动检测；对所得检测结果进行加权融合，得到最终的检测结果，增加检测方法的准确率，且检测速度快。

术语解释：

1.有监督的学习：有监督的学习是指在深度学习训练时，训练的样本是带有标签的。用已知某种或某些特性的样本作为训练集，以建立一个数学模型(如模式识别中的判别模型，人工神经网络法中的权重模型等)，再用已建立的模型来预测未知样本，此种方法称为有监督学习。

2.fft函数：MATLAB快速傅里叶变换函数。

本发明的技术方案为：

一种基于时频域深度学习算法的空调内机噪声异常检测方法,该检测方法包括：

1)采集已知状况空调的原始声音信号，然后对原始声音信号进行预处理，即从原始声音信号提取有效时域声音信号；再将有效时域声音信号进行傅里叶变换得到有效频域声音信号，空调状况包括合格和异常；

2)将步骤1)得到的有效时域声音信号补齐到固定长度，将补齐后的有效时域声音信号作为第一LSTM神经网络训练的样本TRAIN_X1，并将空调状况作为第一LSTM神经网络训练的标签TRAIN_Y1，然后将带有标签的固定长度的有效时域声音信号输入到第一LSTM神经网络中，第一LSTM神经网络进行有监督的学习，训练得到全局信息检测模型；

3)从步骤1)得到的有效时域声音信号中截取定长局部信号，将截取的信号作为第二LSTM神经网络训练的样本TRAIN_X2，并将空调状况作为第二LSTM神经网络训练的标签TRAIN_Y2，然后将有标签的截取的信号输入到第二LSTM神经网络中，第二LSTM神经网络进行有监督的学习，训练得到局部信息检测模型；

4)采集待检测空调的原始声音信号，然后对原始声音信号进行预处理，即从原始声音信号中提取有效时域声音信号；再将有效时域声音信号进行傅里叶变换得到有效频域声音信号；

5)对步骤4)得到的有效时域声音信号和有效频域声音信号分别进行阈值检测和波动检测；

6)将步骤4)得到的有效时域声音信号补齐到固定长度，然后补齐后的固定长度的有效时域声音信号作为TEST_X输入到步骤2)训练好的全局信息检测模型中进行检测，得到全局检测结果；

7)从步骤4)得到的有效时域声音信号中截取定长局部信号，然后截取的信号作为TEST_X输入到步骤3)训练好的局部信息检测模型进行检测，得到局部检测结果；

8)将步骤5)、步骤6)以及步骤7)所得检测结果进行加权融合，得到最终的检测结果。

根据本发明优选的，步骤1)和步骤4)中，对原始声音信号进行预处理，即从原始声音信号中提取有效时域声音信号，具体过程为：

从原始声音信号中，确定有效时域声音信号的开始时刻和截止时刻，从而提取有效时域声音信号；利用斜率检测确定有效时域声音信号中近似正弦波的振动信号中从持续为负的幅值转为正幅值的时刻为效时域声音信号的开始时刻，有效时域声音信号的截止时刻为第二个高值脉冲出现时刻的前30000个抽样点对应的时刻。

将待测空调放置在噪音房中，开始收集空调的原始声音信号，然后工作人员离开噪音房，关闭噪音房的房门，到达设定时间后，工作人员开启噪音房的房门，结束收集空调的原始声音信号；通过对原始声音样本进行大量可视化观察发现在噪声房关闭时，时域声音信号会产生一端形似正弦波的振动信号，虽然持续时间与在原始位置的出现位置不同，但是其先上升后下降继而再上升的趋势是普遍存在的，因此通过检测样本值有一段持续为正的信号并且之后跟随一段持续为负的信号来确定有效信号开始的位置，该位置为从持续为负的信号转为正值的时刻。相似的，在原始声音信号采集完成后的开门时刻，声音时序信号会产生振幅很高的脉冲信号，因此检测在有效信号开始时刻后的第一个高值脉冲信号作为噪音房开门的特征信号，但是在高值脉冲产生之前，会有门开门的过程，不应算入有效信号之中，通过对大量样本的统计发现，该段时间持续时间较为固定，大约为30000个抽样点，因此将有效信息截止时刻选为高值脉冲出现时刻的前30000个抽样点处。

根据本发明优选的，步骤1)和步骤4)中，使用MATLAB中的fft函数对有效时域声音信号进行傅里叶变换得到有效频域声音信号。

根据本发明优选的，步骤2)中，所述第一LSTM神经网络包括三层网络结构，第一层为LSTM层，第一层的输出为长度为512的一维向量；第二层也为LSTM层，第二层的输出为长度为64的一维向量；第三层为全连接层，经过三层网络结构后通过一个softmax层输出分类结果。

根据本发明优选的，步骤3)中，所述第二LSTM神经网络包括三层网络结构，第一层为LSTM层，第一层的输出为长度为256的一维向量，第二层也为LSTM层，第二层输出为长度为32的一维向量，第三层为全连接层，经过三层网络结构后通过一个softmax层输出分类结果。

根据本发明优选的，步骤5)中，对步骤4)得到的有效时域声音信号和有效频域声音信号进行阈值检测以及波动检测，具体步骤包括：

5-1：对合格空调的有效时域声音信号的最大幅值MAX_VALUE以及有效时域声音信号的幅值标准差MAX_STD进行统计，将最大幅值MAX_VALUE和幅值标准差MAX_STD作为异常检测的基准值，然后遍历待检测的有效时域声音信号的幅值；

计算待检测的有效时域声音信号的幅值是否超出最大幅值MAX_VALUE或待检测的有效时域声音信号的幅值标准差是否超出幅值标准差MAX_STD，如有超出，则该待检测信号的有效时域声音信号的检测结果置为异常；如没有超过，则该待检测信号的有效时域声音信号的检测结果置为正常；标准差用来反映最大波动情况；

5-2：对合格空调的有效频域声音信号的最大频率值MAX_FREQUENCY进行统计，然后取待检测的有效频域声音信号的最大频率值；

计算待检测的有效频域声音信号的最大频率值是否超出最大频率值MAX_FREQUENCY，如有超出，则该待检测信号的频域信号检测结果置为异常；如没有超过，则该待检测信号的时域信号检测结果置为正常。

阈值检测和波动检测是为了检测比较明显的异常，比如说出现振幅非常高的信号或者波动很剧烈的信号，一般来说就是该空调出现了故障，比如说零件松动、脱落或者部件质量不合格。

根据本发明优选的，步骤6)中，将步骤4)得到的有效时域声音信号补齐到固定长度，具体过程为：

针对步骤4)采集到的有效时域声音信号，采用对称补齐的方式将有效时域声音信号补齐到固定长度，固定长度大于有效时域声音信号的最大持续时间，对称补齐的方式能够避免在补齐点处发生突变导致误判，即当有效时域声音信号需要补齐时，将原来的有效时域声音信号对称翻转得到补齐区域的信息；如果补齐前的有效时域声音信号较短，则需要将有效时域声音信号多次对称翻转，直至补齐到固定长度。

根据本发明优选的，步骤7)中，从步骤4)得到的有效时域声音信号中截取定长局部信号，具体过程为：

使用滑动窗口法从步骤4)得到有效时域声音信号中截取子区间得到定长局部信号，以异常平均持续的时间DURATION_TIME作为滑动窗口宽度，DURATION_TIME的二分之一作为滑动步长进行截取；如最后一次截取时，所截取的长度小于滑动窗口的宽度，则使用对称翻转补齐的方法将子区间补齐。

采用滑动窗口法进行截取能够减小计算复杂度以及简化对子区间进行标注的过程。通过对大量的异常样本进行观察统计，得出异常平均持续的时间DURATION_TIME，所以选择DURATION_TIME作为滑动窗口宽度。

根据本发明优选的，步骤8)中，将步骤5)、步骤6)以及步骤7)得到的检测结果进行加权融合，得到最终的检测结果，具体过程包括：

步骤5-1、步骤5-2、步骤6)和步骤7)分别输出一个检测结果，

如果四个检测结果中大于等于两个检测结果显示为异常，则将待检测空调判定为异常；

如果四个检测结果中小于两个检测结果显示为异常，则将该待检测空调判定为合格。

对检测结果进行加权融合具有如下优点：1.提升异常空调检出率。造成空调异常的原因有很多，异常的程度也不尽相同，因此表现在噪声上的异常就是多样的：有的表现在时域上，需要时域检测方法；有的表现在频域上，需要频域检测方法；有的比较明显，使用简单的阈值检测和波动检测就可以检出；但有的不是很明显，使用深度学习算法可以增加检出的概率。因此使用多种方式对信号进行检测，然后加权融合，可以增加检出的概率。2.降低异常误报率。当检测系统报出异常后需要将空调进行检修，如果检测系统过于敏感，会导致过高的误报率，增加检修的成本。使用加权融合的方式，要同时有两个检测算法判断为异常时才将该空调判定为异常。可降低误报率，节约成本。

本发明的有益效果为：

1.本发明提供的基于深度学习算法的空调质量检测时频域噪声检测方法，针对待检测的空调声音信号的有效时域声音信号，输入到训练好的全局信息检测模型中得到全局检测结果，实现对整体声音信号异常的检测；输入到训练好的局部信息检测模型中得到局部检测结果，能够检测到全局信号检测模型可能会导致忽略掉一些细微的异常；针对待检测的空调声音信号的有效频域声音信号和有效时域声音信号分别进行阈值检测和波动检测，能够实现对明显异常的检测；对所得检测结果进行加权融合，得到最终的检测结果，提升异常空调检出率，同时降低异常误报率。

2.本发明提供的基于深度学习算法的空调质量检测时频域噪声检测方法，对待测空调的有效时域声音信号和有效频域声音信号分别进行检测，可增加分析时使用的特征量，有助于分析准确性与可靠性的提高。

3.本发明提供的基于深度学习算法的空调质量检测时频域噪声检测方法，在空调声音信号的预处理过程中，从原始声音信号中提取有效时域声音信号，利用斜率检测自动寻找有效时域声音信号的开始时刻以及确定截止时刻，增加了对声音信号检测的可靠性，且声音信号提取速度快。

4.本发明提供的基于深度学习算法的空调质量检测时频域噪声检测方法，能够避免人工检测的误判，降低噪音对检测工人健康带来的损害，减少人工成本，促进生产线的自动化以及智能化发展。

附图说明

图1为本发明步骤4)中得到的原始声音信号时域图；

图2为本发明步骤4)中转换得到的原始声音信号频域图；

图3为本发明步骤4)中从原始声音时域信号中提取有效声音时域信号前后的示意图。

图4为本发明提供的一种基于时频域深度学习算法的空调内机噪声异常检测方法的流程示意图。

具体实施方式

下面结合实施例和说明书附图对本发明做进一步说明，但不限于此。

实施例1

一种基于时频域深度学习算法的空调内机噪声异常检测方法,如图4所示，该检测方法包括：

1)采集已知状况空调的原始声音信号，然后对原始声音信号进行预处理，即从原始声音信号提取有效时域声音信号；再将有效时域声音信号进行傅里叶变换得到有效频域声音信号，空调状况包括合格和异常；

2)将步骤1)得到的有效时域声音信号补齐到固定长度，将补齐后的有效时域声音信号作为第一LSTM神经网络训练的样本TRAIN_X1，并将空调状况作为第一LSTM神经网络训练的标签TRAIN_Y1，然后将带有标签的固定长度的有效时域声音信号输入到第一LSTM神经网络中，第一LSTM神经网络进行有监督的学习，训练得到全局信息检测模型；

3)从步骤1)得到的有效时域声音信号中截取定长局部信号，将截取的信号作为第二LSTM神经网络训练的样本TRAIN_X2，并将空调状况作为第二LSTM神经网络训练的标签TRAIN_Y2，然后将有标签的截取的信号输入到第二LSTM神经网络中，第二LSTM神经网络进行有监督的学习，训练得到局部信息检测模型；

4)采集待检测空调的原始声音信号，然后对原始声音信号进行预处理，即从原始声音信号中提取有效时域声音信号；再将有效时域声音信号进行傅里叶变换得到有效频域声音信号；

5)对步骤4)得到的有效时域声音信号和有效频域声音信号分别进行阈值检测和波动检测；

6)将步骤4)得到的有效时域声音信号补齐到固定长度，然后补齐后的固定长度的有效时域声音信号作为TEST_X输入到步骤2)训练好的全局信息检测模型中进行检测，得到全局检测结果；

7)从步骤4)得到的有效时域声音信号中截取定长局部信号，然后截取的信号作为TEST_X输入到步骤3)训练好的局部信息检测模型进行检测，得到局部检测结果；

8)将步骤5)、步骤6)以及步骤7)所得检测结果进行加权融合，得到最终的检测结果。

实施例2

根据实施例1提供的一种基于时频域深度学习算法的空调内机噪声异常检测方法,区别之处在于：

通过声音信号预处理，得到噪音房关闭时的收集到的有效信号，然后使用空调测试时的测试声音的时域信号和频域信号来共同检测异音。将时域信号和频域信号分别送入检测模型中进行检测，然后对各个检测模型的输出结果进行融合处理，得到最终的检测结果。

步骤1)中，对原始声音信号进行预处理，即从原始声音信号中提取有效时域声音信号，具体过程为：

从原始声音信号中，确定有效时域声音信号的开始时刻和截止时刻，从而提取有效时域声音信号；利用斜率检测确定有效时域声音信号中近似正弦波的振动信号中从持续为负的幅值转为正幅值的时刻为效时域声音信号的开始时刻，有效时域声音信号的截止时刻为第二个高值脉冲出现时刻的前30000个抽样点对应的时刻。

步骤1)中，使用MATLAB中的fft函数对有效时域声音信号进行傅里叶变换得到有效频域声音信号。

步骤2)中，第一LSTM神经网络包括三层网络结构，第一层为LSTM层，第一层的输出为长度为512的一维向量；第二层也为LSTM层，第二层的输出为长度为64的一维向量；第三层为全连接层，经过三层网络结构后通过一个softmax层输出分类结果；

第一LSTM神经网络的训练迭代数为100次，学习率为0.01，训练优化器为Adam，训练结束条件为达到训练迭代次数。

步骤3)中，第二LSTM神经网络包括三层网络结构，第一层为LSTM层，第一层的输出为长度为256的一维向量，第二层也为LSTM层，第二层输出为长度为32的一维向量，第三层为全连接层，经过三层网络结构后通过一个softmax层输出分类结果；

训练迭代数为100次，学习率为0.01，训练优化器为Adam，当达到训练迭代次数后训练结束。

如图3所示，步骤4)中，对原始声音信号进行预处理，即从原始声音信号中提取有效时域声音信号，具体过程为：

从原始声音信号中，确定有效时域声音信号的开始时刻和截止时刻，从而提取有效时域声音信号；利用斜率检测确定有效时域声音信号中近似正弦波的振动信号中从持续为负的幅值转为正幅值的时刻为效时域声音信号的开始时刻，有效时域声音信号的截止时刻为第二个高值脉冲出现时刻的前30000个抽样点对应的时刻。

将待测空调放置在噪音房中，开始收集空调的原始声音信号，然后工作人员离开噪音房，关闭噪音房的房门，到达设定时间后，工作人员开启噪音房的房门，结束收集空调的原始声音信号；通过对原始声音样本进行大量可视化观察发现在噪声房关闭时，时域声音信号会产生一端形似正弦波的振动信号，虽然持续时间与在原始位置的出现位置不同，但是其先上升后下降继而再上升的趋势是普遍存在的，因此通过检测样本值有一段持续为正的信号并且之后跟随一段持续为负的信号来确定有效信号开始的位置，该位置为从持续为负的信号转为正值的时刻。相似的，在原始声音信号采集完成后的开门时刻，声音时序信号会产生振幅很高的脉冲信号，因此检测在有效信号开始时刻后的第一个高值脉冲信号作为噪音房开门的特征信号，但是在高值脉冲产生之前，会有门开门的过程，不应算入有效信号之中，通过对大量样本的统计发现，该段时间持续时间较为固定，大约为30000个抽样点，因此将有效信息截止时刻选为高值脉冲出现时刻的前30000个抽样点处。

步骤4)中，使用MATLAB中的fft函数对有效时域声音信号进行傅里叶变换得到有效频域声音信号。

原始声音信号时域图如图1所示，转换得到的原始声音信号频域图如图2所示。

步骤5)中，对步骤4)得到的有效时域声音信号和有效频域声音信号进行阈值检测以及波动检测，具体步骤包括：

5-1：对合格空调的有效时域声音信号的最大幅值MAX_VALUE以及有效时域声音信号的幅值标准差MAX_STD进行统计，将最大幅值MAX_VALUE和幅值标准差MAX_STD作为异常检测的基准值，然后遍历待检测的有效时域声音信号的幅值；

计算待检测的有效时域声音信号的幅值是否超出最大幅值MAX_VALUE或待检测的有效时域声音信号的幅值标准差是否超出幅值标准差MAX_STD，如有超出，则该待检测信号的有效时域声音信号的检测结果置为异常；如没有超过，则该待检测信号的有效时域声音信号的检测结果置为正常；标准差用来反映最大波动情况；

5-2：对合格空调的有效频域声音信号的最大频率值MAX_FREQUENCY进行统计，然后取待检测的有效频域声音信号的最大频率值；

计算待检测的有效频域声音信号的最大频率值是否超出最大频率值MAX_FREQUENCY，如有超出，则该待检测信号的频域信号检测结果置为异常；如没有超过，则该待检测信号的时域信号检测结果置为正常。

阈值检测和波动检测是为了检测比较明显的异常，比如说出现振幅非常高的信号或者波动很剧烈的信号，一般来说就是该空调出现了故障，比如说零件松动、脱落或者部件质量不合格。

步骤6)中，将步骤4)得到的有效时域声音信号补齐到固定长度，具体过程为：

针对步骤4)采集到的有效时域声音信号，采用对称补齐的方式将有效时域声音信号补齐到固定长度，固定长度大于有效时域声音信号的最大持续时间，对称补齐的方式能够避免在补齐点处发生突变导致误判，即当有效时域声音信号需要补齐时，将原来的有效时域声音信号对称翻转得到补齐区域的信息；如果补齐前的有效时域声音信号较短，则需要将有效时域声音信号多次对称翻转，直至补齐到固定长度。

步骤7)中，从步骤4)得到的有效时域声音信号中截取定长局部信号，具体过程为：

使用滑动窗口法从步骤4)得到有效时域声音信号中截取子区间得到定长局部信号，以异常平均持续的时间DURATION_TIME作为滑动窗口宽度，DURATION_TIME的二分之一作为滑动步长进行截取；如最后一次截取时，所截取的长度小于滑动窗口的宽度，则使用对称翻转补齐的方法将子区间补齐。

采用滑动窗口法进行截取能够减小计算复杂度以及简化对子区间进行标注的过程。通过对大量的异常样本进行观察统计，得出异常平均持续的时间DURATION_TIME，所以选择DURATION_TIME作为滑动窗口宽度。

步骤8)中，将步骤5)、步骤6)以及步骤7)得到的检测结果进行加权融合，得到最终的检测结果，具体过程包括：

步骤5-1、步骤5-2、步骤6)和步骤7)分别输出一个检测结果，

如果四个检测结果中大于等于两个检测结果显示为异常，则将待检测空调判定为异常；

如果四个检测结果中小于两个检测结果显示为异常，则将该待检测空调判定为合格。

对检测结果进行加权融合具有如下优点：1.提升异常空调检出率。造成空调异常的原因有很多，异常的程度也不尽相同，因此表现在噪声上的异常就是多样的：有的表现在时域上，需要时域检测方法；有的表现在频域上，需要频域检测方法；有的比较明显，使用简单的阈值检测和波动检测就可以检出；但有的不是很明显，使用深度学习算法可以增加检出的概率。因此使用多种方式对信号进行检测，然后加权融合，可以增加检出的概率。本发明提供的检测方法对异常空调的检出率可以高达90％，且大大节约了人工成本。

2.降低异常误报率。当检测系统报出异常后需要将空调进行检修，如果检测系统过于敏感，会导致过高的误报率，增加检修的成本。使用加权融合的方式，要同时有两个检测算法判断为异常时才将该空调判定为异常，可降低误报率，节约成本。

Claims (9)

1.一种基于时频域深度学习算法的空调内机噪声异常检测方法,其特征在于，该检测方法包括：

1)采集已知状况空调的原始声音信号，然后对原始声音信号进行预处理，即从原始声音信号提取有效时域声音信号；再将有效时域声音信号进行傅里叶变换得到有效频域声音信号；

2)将步骤1)得到的有效时域声音信号补齐到固定长度，将补齐后的有效时域声音信号作为第一LSTM神经网络训练的样本TRAIN_X1，并将空调状况作为第一LSTM神经网络训练的标签TRAIN_Y1，然后将带有标签的固定长度的有效时域声音信号输入到第一LSTM神经网络中，第一LSTM神经网络进行有监督的学习，训练得到全局信息检测模型；

3)从步骤1)得到的有效时域声音信号中截取定长局部信号，将截取的信号作为第二LSTM神经网络训练的样本TRAIN_X2，并将空调状况作为第二LSTM神经网络训练的标签TRAIN_Y2，然后将有标签的截取的信号输入到第二LSTM神经网络中，第二LSTM神经网络进行有监督的学习，训练得到局部信息检测模型；

4)采集待检测空调的原始声音信号，然后对原始声音信号进行预处理，即从原始声音信号中提取有效时域声音信号；再将有效时域声音信号进行傅里叶变换得到有效频域声音信号；

5)对步骤4)得到的有效时域声音信号和有效频域声音信号分别进行阈值检测和波动检测；

6)将步骤4)得到的有效时域声音信号补齐到固定长度，然后补齐后的固定长度的有效时域声音信号作为TEST_X输入到步骤2)训练好的全局信息检测模型中进行检测，得到全局检测结果；

7)从步骤4)得到的有效时域声音信号中截取定长局部信号，然后截取的信号作为TEST_X输入到步骤3)训练好的局部信息检测模型进行检测，得到局部检测结果；

8)将步骤5)、步骤6)以及步骤7)所得检测结果进行加权融合，得到最终的检测结果。

2.根据权利要求1所述的一种基于时频域深度学习算法的空调内机噪声异常检测方法,其特征在于，步骤1)和步骤4)中，对原始声音信号进行预处理，即从原始声音信号中提取有效时域声音信号，具体过程为：

从原始声音信号中，确定有效时域声音信号的开始时刻和截止时刻，从而提取有效时域声音信号；利用斜率检测确定有效时域声音信号中近似正弦波的振动信号中从持续为负的幅值转为正幅值的时刻为效时域声音信号的开始时刻，有效时域声音信号的截止时刻为第二个高值脉冲出现时刻的前30000个抽样点对应的时刻。

3.根据权利要求1所述的一种基于时频域深度学习算法的空调内机噪声异常检测方法,其特征在于，步骤1)和步骤4)中，使用MATLAB中的fft函数对有效时域声音信号进行傅里叶变换得到有效频域声音信号。

4.根据权利要求1所述的一种基于时频域深度学习算法的空调内机噪声异常检测方法,其特征在于，步骤2)中，所述第一LSTM神经网络包括三层网络结构，第一层为LSTM层，第一层的输出为长度为512的一维向量；第二层也为LSTM层，第二层的输出为长度为64的一维向量；第三层为全连接层，经过三层网络结构后通过一个softmax层输出分类结果。

5.根据权利要求1所述的一种基于时频域深度学习算法的空调内机噪声异常检测方法,其特征在于，步骤3)中，所述第二LSTM神经网络包括三层网络结构，第一层为LSTM层，第一层的输出为长度为256的一维向量，第二层也为LSTM层，第二层输出为长度为32的一维向量，第三层为全连接层，经过三层网络结构后通过一个softmax层输出分类结果。

6.根据权利要求1所述的一种基于时频域深度学习算法的空调内机噪声异常检测方法,其特征在于，步骤5)中，对步骤4)得到的有效时域声音信号和有效频域声音信号进行阈值检测以及波动检测，具体步骤包括：

5-1：对合格空调的有效时域声音信号的最大幅值MAX_VALUE以及有效时域声音信号的幅值标准差MAX_STD进行统计，将最大幅值MAX_VALUE和幅值标准差MAX_STD作为异常检测的基准值，然后遍历待检测的有效时域声音信号的幅值；

计算待检测的有效时域声音信号的幅值是否超出最大幅值MAX_VALUE或待检测的有效时域声音信号的幅值标准差是否超出幅值标准差MAX_STD，如有超出，则该待检测信号的有效时域声音信号的检测结果置为异常；如没有超过，则该待检测信号的有效时域声音信号的检测结果置为正常；

5-2：对合格空调的有效频域声音信号的最大频率值MAX_FREQUENCY进行统计，然后取待检测的有效频域声音信号的最大频率值；

计算待检测的有效频域声音信号的最大频率值是否超出最大频率值MAX_FREQUENCY，如有超出，则该待检测信号的频域信号检测结果置为异常；如没有超过，则该待检测信号的时域信号检测结果置为正常。

7.根据权利要求1所述的一种基于时频域深度学习算法的空调内机噪声异常检测方法,其特征在于，步骤6)中，将步骤4)得到的有效时域声音信号补齐到固定长度，具体过程为：

针对步骤4)采集到的有效时域声音信号，采用对称补齐的方式将有效时域声音信号补齐到固定长度，固定长度大于有效时域声音信号的最大持续时间，即当有效时域声音信号需要补齐时，将原来的有效时域声音信号对称翻转得到补齐区域的信息；如果补齐前的有效时域声音信号较短，则需要将有效时域声音信号多次对称翻转，直至补齐到固定长度。

8.根据权利要求1所述的一种基于时频域深度学习算法的空调内机噪声异常检测方法,其特征在于，步骤7)中，从步骤4)得到的有效时域声音信号中截取定长局部信号，具体过程为：

使用滑动窗口法从步骤4)得到有效时域声音信号中截取子区间得到定长局部信号，以异常平均持续的时间DURATION_TIME作为滑动窗口宽度，DURATION_TIME的二分之一作为滑动步长进行截取；如最后一次截取时，所截取的长度小于滑动窗口的宽度，则使用对称翻转补齐的方法将子区间补齐。

9.根据权利要求1-8所述的一种基于时频域深度学习算法的空调内机噪声异常检测方法,其特征在于，步骤8)中，将步骤5)、步骤6)以及步骤7)得到的检测结果进行加权融合，得到最终的检测结果，具体过程包括：

步骤5-1、步骤5-2、步骤6)和步骤7)分别输出一个检测结果，

如果四个检测结果中大于等于两个检测结果显示为异常，则将待检测空调判定为异常；

如果四个检测结果中小于两个检测结果显示为异常，则将该待检测空调判定为合格。

Images