CN116386669A - 基于分组自动编码器的机器运行声学状态监测方法和系统 - Google Patents
基于分组自动编码器的机器运行声学状态监测方法和系统 Download PDFInfo
- Publication number
- CN116386669A CN116386669A CN202310399046.4A CN202310399046A CN116386669A CN 116386669 A CN116386669 A CN 116386669A CN 202310399046 A CN202310399046 A CN 202310399046A CN 116386669 A CN116386669 A CN 116386669A
- Authority
- CN
- China
- Prior art keywords
- machine
- encoder
- sample
- acoustic
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 70
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 45
- 208000035475 disorder Diseases 0.000 claims abstract description 45
- 238000010606 normalization Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 26
- 230000002159 abnormal effect Effects 0.000 description 15
- 238000012360 testing method Methods 0.000 description 15
- 230000005856 abnormality Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 9
- 238000012512 characterization method Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种基于分组自动编码器的机器运行声学状态监测方法和系统，该方法包括：获取各样本机器的运行语音，得到样本语音，并根据各样本机器的机器型号对所述样本语音进行数据划分，得到训练数据集；对所述训练集数据进行特征提取，得到样本声学特征，并对各样本声学特征进行乱序处理；根据乱序数据后的各样本声学特征对分组自动编码器和辅助分类器进行训练；将目标机器的待测运行语音输入训练后的所述分组自动编码器和所述辅助分类器进行状态监测，得到所述目标机器的运行状态监测结果。本发明通过对各样本声学特征进行乱序处理，使得分组自动编码器在训练时重构乱序前的原始特征，提高了分组自动编码器的鲁棒性。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于分组自动编码器的机器运行声学状态监测方法和系统。
背景技术
随着机器学习的快速发展，工业设备的无监督异常检测成为第四次工业革命的一项重要技术。目前，基于计算机视觉的工业设备缺陷检测已经被广泛地应用，并取得较好的效果。类似地，无监督声音异常检测也是工业异常检测的重要分支。
现有技术中，我们无法通过破坏正常运行的设备来获得异常样本。因此，我们只能通过设备正常运行的样本来进行异常监测，且异常样本具有先验未知的特性，给机器状态监测的研究带来挑战。此外，考虑到设备寿命、设备工作电压、设备运行环境等因素的影响，需要在域转移的条件下设计算法来保证模型的鲁棒性。
尽管近年来涌现了大量异常检测算法，但在工业界，自动编码器以其设计简单且易于使用的特性，在机器运行状态监测过程被广泛使用。但现有的机器运行状态监测过程中，自动编码器的鲁棒性较差，降低了机器运行状态监测的准确性。
发明内容
本发明实施例的目的在于提供一种基于分组自动编码器的机器运行声学状态监测方法和系统，旨在解决现有的机器运行状态监测准确性低下的问题。
本发明实施例是这样实现的，一种基于分组自动编码器的机器运行声学状态监测方法，所述方法包括：
获取各样本机器的运行语音，得到样本语音，并根据各样本机器的机器型号对所述样本语音进行数据划分，得到训练数据集；
对所述训练集数据进行特征提取，得到样本声学特征，并对各样本声学特征进行乱序处理；
根据乱序数据后的各样本声学特征对分组自动编码器和辅助分类器进行训练，所述分组自动编码器包括编码器和多个解码器，所述编码器用于对同一类别的样本声学特征进行重构任务，所述辅助分类器用于对乱序数据后的各样本声学特征进行分类任务；
将目标机器的待测运行语音输入训练后的所述分组自动编码器和所述辅助分类器进行状态监测，得到所述目标机器的运行状态监测结果。
优选的，所述对所述训练集数据进行特征提取，得到样本声学特征，并对各样本声学特征进行乱序处理，包括：
分别查询所述训练集数据中各样本语音对应的机器型号，并根据所述机器型号确定各样本语音的采集特征；
根据所述采集特征对各样本语音进行特征采集，得到各样本声学特征，并分别查询各样本语音中的低频数据；
在各样本声学特征中，对各低频数据对应的声学特征进行特征乱序。
优选的，所述将目标机器的待测运行语音输入训练后的所述分组自动编码器和所述辅助分类器进行状态监测，包括：
根据所述目标机器的机器型号对所述待测运行语音进行特征提取，得到待测声学特征，并将所述待测声学特征输入训练后的所述分组自动编码器中的编码器进行特征编码处理，得到待测编码特征；
根据所述目标机器的机器型号确定训练后的所述分组自动编码器中的目标解码器，并将所述待测编码特征输入所述目标解码器进行特征解码，得到待测解码特征；
根据所述待测解码特征和所述待测声学特征确定目标重构误差，并根据训练后的所述辅助分类器对所述待测运行语音进行分类处理，得到概率置信度得分；
根据所述目标重构误差和所述概率置信度得分确定所述目标机器的异常得分，得到所述运行状态监测结果。
优选的，所述据所述目标重构误差和所述概率置信度得分确定所述目标机器的异常得分，包括：
分别对所述目标重构误差和所述概率置信度得分进行均值方差归一化处理，并计算均值方差归一化处理后所述目标重构误差与所述概率置信度得分之间的平均值，得到所述异常得分。
优选的，所述根据所述待测解码特征和所述待测声学特征确定目标重构误差采用的公式包括：
xt是所述待测声学特征，Arec(xt)是所述目标重构误差，
和/>
为第j个解码器和编码器，参数分别为/>
和θE；
所述根据训练后的所述辅助分类器对所述待测运行语音进行分类处理采用的公式包括：
Aaux(xt)是所述概率置信度得分，
代表所述辅助分类器指数归一化函数的输出。
优选的，所述编码器包括4个线性模块和1层瓶颈层，各解码器与所述编码器结构对称，所述线性模块全连接层、组归一化层和线性整流单元，所述辅助分类器包括全连接层、批归一化层和归一化指数函数层。
优选的，所述分组自动编码器的损失函数为：
所述编码器与对应解码器之间构成一个编码组，所述分组自动编码器中各编码组的损失函数遵循均方误差：
xi为第i个输入样本，
和/>
为第j个解码器和编码器，参数分别为/>
和θE，M是所述解码器的数量，wj是第j个编码组的权重；
所述辅助分类器的损失函数为交叉熵：
本发明实施例的另一目的在于提供一种基于分组自动编码器的机器运行声学状态监测系统，所述系统包括：
数据划分模块，用于获取各样本机器的运行语音，得到样本语音，并根据各样本机器的机器型号对所述样本语音进行数据划分，得到训练数据集；
特征乱序模块，用于对所述训练集数据进行特征提取，得到样本声学特征，并对各样本声学特征进行乱序处理；
模型训练模块，用于根据乱序数据后的各样本声学特征对分组自动编码器和辅助分类器进行训练，所述分组自动编码器包括编码器和多个解码器，所述编码器用于对同一类别的样本声学特征进行重构任务，所述辅助分类器用于对乱序数据后的各样本声学特征进行分类任务；
状态监测模块，用于将目标机器的待测运行语音输入训练后的所述分组自动编码器和所述辅助分类器进行状态监测，得到所述目标机器的运行状态监测结果。
优选的，所述特征乱序模块还用于：
分别查询所述训练集数据中各样本语音对应的机器型号，并根据所述机器型号确定各样本语音的采集特征；
根据所述采集特征对各样本语音进行特征采集，得到各样本声学特征，并分别查询各样本语音中的低频数据；
在各样本声学特征中，对各低频数据对应的声学特征进行特征乱序。
优选的，所述状态监测模块还用于：
根据所述目标机器的机器型号对所述待测运行语音进行特征提取，得到待测声学特征，并将所述待测声学特征输入训练后的所述分组自动编码器中的编码器进行特征编码处理，得到待测编码特征；
根据所述目标机器的机器型号确定训练后的所述分组自动编码器中的目标解码器，并将所述待测编码特征输入所述目标解码器进行特征解码，得到待测解码特征；
根据所述待测解码特征和所述待测声学特征确定目标重构误差，并根据训练后的所述辅助分类器对所述待测运行语音进行分类处理，得到概率置信度得分；
根据所述目标重构误差和所述概率置信度得分确定所述目标机器的异常得分，得到所述运行状态监测结果。
本发明实施例，通过对各样本声学特征进行乱序处理，使得分组自动编码器在训练时重构乱序前的原始特征，进而提高了分组自动编码器的鲁棒性，基于乱序数据后的各样本声学特征对分组自动编码器和辅助分类器进行训练，使得辅助分类器能对分组自动编码器进行隐层表征的分类，提高了训练后分组自动编码器的异常监测性能，基于分组自动编码器中的多个解码器，赋予了分组自动编码器中模型域专门化能力，最大程度地利用了数据的先验信息，进一步提高了训练后分组自动编码器的异常监测性能。
附图说明
图1是本发明第一实施例提供的基于分组自动编码器的机器运行声学状态监测方法的流程图；
图2是本发明第一实施例提供的训练数据集划分的示意图；
图3是本发明第一实施例提供的特征乱序机制的示意图；
图4是本发明第一实施例提供的分组自动编码器与辅助分类器之间的结构示意图；
图5是本发明第一实施例提供的分组自动编码器的结构示意图；
图6是本发明第一实施例提供的辅助分类器的结构示意图；
图7是本发明第二实施例提供的基于分组自动编码器的机器运行声学状态监测方法的流程图；
图8是本发明第三实施例提供的基于分组自动编码器的机器运行声学状态监测系统的结构示意图；
图9是本发明第三实施例提供的基于分组自动编码器的机器运行声学状态监测系统的具体实施步骤图；
图10是本发明第四实施例提供的终端设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一
请参阅图1，是本发明第一实施例提供的基于分组自动编码器的机器运行声学状态监测方法的流程图，该基于分组自动编码器的机器运行声学状态监测方法可以应用于任一终端设备或系统，该基于分组自动编码器的机器运行声学状态监测方法包括步骤：
步骤S10，获取各样本机器的运行语音，得到样本语音，并根据各样本机器的机器型号对所述样本语音进行数据划分，得到训练数据集；
其中，通过各样本机器的机器型号划分样本语音，建立训练数据集，例如，请参阅图2，针对同一种机器的不同M种型号，划分成M个类别，收集的运行语音均为正常运行的机器声音，以16kHZ单通道音频录制，并将录音分割为每段5秒的音频文件，该步骤中使用DCASE 2021任务二发布的两个数据集ToyADMOS2和MIMII DUE进行模型的训练和测试。
该步骤中，ToyADMOS2数据集和MIMII DUE数据集包含七种机器运行时的正常和异常声音，即相当于七个子数据集，异常情况包含泄漏、旋转不平衡、弯曲、损坏、过载等，人耳难以区分这些异常。每段声音都被记录为单通道的10秒钟片段，并降采样到16khz。通过选用开发集进行测试，在开发集中每种机器类型的数据被分为3个类别，其被定义为每种数据的子集。每个类别大约有1000个正常的片段可被用于训练，100个正常和异常的片段被用于测试。
步骤S20，对所述训练集数据进行特征提取，得到样本声学特征，并对各样本声学特征进行乱序处理；
其中，通过特征提取器对训练数据集中的样本语音进行特征提取，并采取部分特征乱序机制，对各样本声学特征进行乱序处理，使得分组自动编码器在训练时重构乱序前的原始特征，进而提高了分组自动编码器的鲁棒性。
该步骤中，特征提取器对样本语音的音频波形文件进行频域变换，采用1024点的短时傅里叶变换，其中帧大小为64毫秒，50％的跳距，最后用128维的对数梅尔谱或513维的短时傅里叶变换谱作为特征。
可选的，该步骤中，所述对所述训练集数据进行特征提取，得到样本声学特征，并对各样本声学特征进行乱序处理，包括：
分别查询所述训练集数据中各样本语音对应的机器型号，并根据所述机器型号确定各样本语音的采集特征；
根据所述采集特征对各样本语音进行特征采集，得到各样本声学特征，并分别查询各样本语音中的低频数据；
在各样本声学特征中，对各低频数据对应的声学特征进行特征乱序；
其中，基于机器型号能有效地确定到各样本语音对应的目标频率类型，对于能量集中在高频的机器(目标频率类型为高频的样本语音)，设置的采集特征为短时傅里叶变换特征，对于能量集中在低频的机器(目标频率类型为低频样本语音)，设置的采集特征为对数梅尔谱特征；
该步骤中，对于各样本语音中的低频数据(平稳信号)，在频谱的低频段采用部分特征乱序机制，请参阅图3，按时间维度随机打乱频谱顺序，并保持高频部分不变；
由于异常检测难以找到通用的方法，本实施例对不同类型或型号的机器可以选用不同的特征。选用对数梅尔谱或短时傅里叶变换谱作为特征，采用1024点的快速傅里叶变换，短时傅里叶变换的帧长为64毫秒，50％的跳距。因此，对于对数梅尔谱图，计算128维的梅尔滤波器组，对短时傅里叶变换谱，计算513维的频谱特征。此外，对于平稳信号，采取了低频的特征乱序机制，在帧坐标轴上打乱顺序，实现性能提升。特征设置与特征乱序比率如下表：
自动编码器的鲁棒性较差是因为其在训练时重构了大量真实场景下的噪声，冲淡了有用信息的显著性，某些机器的声音是能量集中在高频的平稳信号，但大量的噪声集中在低频。因此，该步骤中对输入的特征以一定的比率划分为低频和高频，在低频部分随机打乱帧的顺序，高频部分保持不变，对输入的特征进行部分的乱序，让分组自动编码器在训练时试图重构出乱序前的原始特征，将提升分组自动编码器的鲁棒性。
步骤S30，根据乱序数据后的各样本声学特征对分组自动编码器和辅助分类器进行训练；
其中，建立带辅助分类器的分组自动编码器神经网络模型，请参阅图4，分组自动编码器包括编码器和多个解码器，编码器用于对同一类别的样本声学特征进行重构任务，辅助分类器用于对乱序数据后的各样本声学特征进行分类任务，本实施例中对每种机器类型分别训练一个模型(分组自动编码器+辅助分类器)，所有模型都用Adam优化器训练，分组自动编码器的学习率被设置为0.001，辅助分类器模块学习率被设置为0.00001，批大小被设置为32，训练600轮。分组自动编码器的损失函数遵循均方误差损失，辅助分类器的损失函数为交叉熵损失。
该步骤中，请参阅图5至图6，分组自动编码器的编码器包含4个512维的线性模块和一个8维的瓶颈层线性模块，线性模块全连接层、组归一化层和线性整流单元，辅助分类器包括全连接层、批归一化层和归一化指数函数层，分组解码器与编码器完全对称，分组自编码器与辅助分类器利用多任务学习同时训练。
优选的，按机器型号对分组自动编码器进行模型训练，利用辅助分类器进行多任务学习，采用非对称的重构结构，用多个解码器共享同一个编码器，把同类机器型号的输入数据分为一组，每个解码器对应一组数据，该方式称之为分组自动编码器。即认为每个分组的数据属于同一分布，而不是全部输入样本属于同一分布，在重构时编码器负责提取通用特征，而解码器负责重构各自分组的样本，因此，在保证编码器表征提取能力的同时，解码器尽可能保留了每个分组的分布信息，提升异常检测性能。此外，该方式有利于在分布之间形成更明确的分类边界，又促进了辅助分类器的性能，这有利于异常检测的检出率。经特征提取器处理训练数据集后，按划分的M类别，每一类随机、有放回地选取N个样本，作为模型的训练输入数据。
该步骤中，利用输入数据(乱序数据后的各样本声学特)对分组自动编码器神经网络模型进行多任务学习训练，自编码器分支进行重构任务，辅助分类器分支进行分类任务。
分组自动编码器的损失函数遵循：
损失函数
以编码器-相应组解码器为一组分组自动编码器，各个分组自动编码器每个组的损失函数遵循均方误差：
损失函数
xi为第i个输入样本，
和/>
为第j个解码器和编码器，参数分别为/>
和θE，M是解码器的数量，wj是第j个编码组的权重，此外，为了关注更难优化的样本，本实施例给难优化的分组自动编码器赋予更高的权重wj，表示为：
辅助分类器的损失函数为交叉熵：
损失函数
分组自动编码器和辅助分类器模块采用多任务学习的方式共用同一个编码器联合训练。由于上述重构任务和分类任务的特征提取过程复用了同一个编码器，将使得瓶颈层的表征同时具备了重构和分类任务的特性。一方面，模型通过重构任务把信息压缩到瓶颈层表征中，另一方面，模型最大程度地利用了机器的型号信息，使得隐空间中的表征产生明显的分类边界，因此，总的损失函数被定义为：
总损失函数
当完成分组自动编码器和辅助分类器的训练之后，将测试数据经过特征提取器，标记所属型号，通过分组自动编码器，按型号选择对应的解码器，计算其输出与编码器输入端的重构误差，通过辅助分类器，计算测试数据的概率置信度，通过均值-方差归一化分别对重构误差与概率置信度进行归一化，取二者平均值作为测试数据的异常得分；
计算相应第j组重构误差：
其中
为第i个测试样本。此外，本实施例的辅助分类器利用概率置信度对分类结果进行计算，其表示为：
上述重构误差表示异常程度，重构误差越大代表异常程度越大，辅助分类器的概率置信度的得分计算式代表置信度越低，则异常程度越高，请参阅图5，对上述两种异常得分进行均值-方差归一化，再利用模型平均，对两种异常得分取平均值，作为最终的异常得分，该模型平均进一步提升了异常检测性能。
步骤S40，将目标机器的待测运行语音输入训练后的所述分组自动编码器和所述辅助分类器进行状态监测，得到所述目标机器的运行状态监测结果；
其中，利用训练后的分组自动编码器与辅助分类器的设计得分计算器，输出目标机器的待测运行语音的异常得分，以判断目标机器是否存在运行状态的异常，实现机器运行状态的监测。
该步骤中，通过各机器工作特征曲线下的面积(AUC)来衡量模型性能，本实施例得到的实验结果在7种机器上的平均AUC比官方基线系统相对提升了15.06％，证明了本实施例的有效性。
本实施例中，通过对各样本声学特征进行乱序处理，使得分组自动编码器在训练时重构乱序前的原始特征，进而提高了分组自动编码器的鲁棒性，基于乱序数据后的各样本声学特征对分组自动编码器和辅助分类器进行训练，使得辅助分类器能对分组自动编码器进行隐层表征的分类，提高了训练后分组自动编码器的异常监测性能，进一步提高了训练后分组自动编码器的异常监测性能。本实施例提出的辅助分类器，通过实现对自动编码器隐层表征的分类，巧妙地融入了机器型号的先验信息，解决了传统自动编码器的“捷径”问题，提高了异常检测性能，提出的分组自动编码器模型采用多个解码器，按机器型号对解码器进行分组，赋予了模型域专门化能力，最大程度地利用了数据的先验信息，对输入的声学特征的部分进行乱序，让模型在训练时试图重构出乱序前的原始特征，将提升模型的鲁棒性。
实施例二
请参阅图7，是本发明第二实施例提供的基于分组自动编码器的机器运行声学状态监测方法的流程图，该实施例用于对第一实施例中步骤S40作进一步细化，包括步骤：
步骤S41，根据所述目标机器的机器型号对所述待测运行语音进行特征提取，得到待测声学特征，并将所述待测声学特征输入训练后的所述分组自动编码器中的编码器进行特征编码处理，得到待测编码特征；
其中，基于目标机器的机器型号确定待采集的特征，基于确定到的待采集特征对待测运行语音进行特征提取，得到待测声学特征。
步骤S42，根据所述目标机器的机器型号确定训练后的所述分组自动编码器中的目标解码器，并将所述待测编码特征输入所述目标解码器进行特征解码，得到待测解码特征；
其中，基于目标机器的机器型号确定训练后的分组自动编码器中的目标解码器，提高了对待测编码特征的特征重构的准确性，通过将待测编码特征输入目标解码器进行特征解码，能有效地将待测编码特征进行特征的重构，得到该待测解码特征。
步骤S43，根据所述待测解码特征和所述待测声学特征确定目标重构误差，并根据训练后的所述辅助分类器对所述待测运行语音进行分类处理，得到概率置信度得分；
可选的，该步骤中，所述根据所述待测解码特征和所述待测声学特征确定目标重构误差采用的公式包括：
xt是待测声学特征，Arec(xt)是目标重构误差，
和/>
为第j个解码器和编码器，参数分别为/>
和θE；
所述根据训练后的所述辅助分类器对所述待测运行语音进行分类处理采用的公式包括：
Aaux(xt)是概率置信度得分，
代表辅助分类器指数归一化函数的输出。
步骤S44，根据所述目标重构误差和所述概率置信度得分确定所述目标机器的异常得分，得到所述运行状态监测结果；
其中，若该异常得分大于异常阈值，则判定该目标设备的运行存在异常，该异常阈值可以根据需求进行设置；
可选的，该步骤中，所述据所述目标重构误差和所述概率置信度得分确定所述目标机器的异常得分，包括：
分别对所述目标重构误差和所述概率置信度得分进行均值方差归一化处理，并计算均值方差归一化处理后所述目标重构误差与所述概率置信度得分之间的平均值，得到所述异常得分。
实施例三
请参阅图8，是本发明第三实施例提供的基于分组自动编码器的机器运行声学状态监测系统100的结构示意图，包括：数据划分模块10、特征乱序模块11、模型训练模块12和状态监测模块13，其中：
数据划分模块10，用于获取各样本机器的运行语音，得到样本语音，并根据各样本机器的机器型号对所述样本语音进行数据划分，得到训练数据集。
特征乱序模块11，用于对所述训练集数据进行特征提取，得到样本声学特征，并对各样本声学特征进行乱序处理。
可选的，特征乱序模块11还用于：分别查询所述训练集数据中各样本语音对应的机器型号，并根据所述机器型号确定各样本语音的采集特征；
根据所述采集特征对各样本语音进行特征采集，得到各样本声学特征，并分别查询各样本语音中的低频数据；
在各样本声学特征中，对各低频数据对应的声学特征进行特征乱序。
模型训练模块12，用于根据乱序数据后的各样本声学特征对分组自动编码器和辅助分类器进行训练，所述分组自动编码器包括编码器和多个解码器，所述编码器用于对同一类别的样本声学特征进行重构任务，所述辅助分类器用于对乱序数据后的各样本声学特征进行分类任务。
可选的，所述分组自动编码器的损失函数为：
所述编码器与对应解码器之间构成一个编码组，所述分组自动编码器中各编码组的损失函数遵循均方误差：
xi为第i个输入样本，
和/>
为第j个解码器和编码器，参数分别为/>
和θE，M是所述解码器的数量，wj是第j个编码组的权重；
所述辅助分类器的损失函数为交叉熵：
状态监测模块13，用于将目标机器的待测运行语音输入训练后的所述分组自动编码器和所述辅助分类器进行状态监测，得到所述目标机器的运行状态监测结果。
可选的，状态监测模块13还用于：根据所述目标机器的机器型号对所述待测运行语音进行特征提取，得到待测声学特征，并将所述待测声学特征输入训练后的所述分组自动编码器中的编码器进行特征编码处理，得到待测编码特征；
根据所述目标机器的机器型号确定训练后的所述分组自动编码器中的目标解码器，并将所述待测编码特征输入所述目标解码器进行特征解码，得到待测解码特征；
根据所述待测解码特征和所述待测声学特征确定目标重构误差，并根据训练后的所述辅助分类器对所述待测运行语音进行分类处理，得到概率置信度得分；
根据所述目标重构误差和所述概率置信度得分确定所述目标机器的异常得分，得到所述运行状态监测结果。
进一步地，状态监测模块13还用于：分别对所述目标重构误差和所述概率置信度得分进行均值方差归一化处理，并计算均值方差归一化处理后所述目标重构误差与所述概率置信度得分之间的平均值，得到所述异常得分。
更进一步地，所述根据所述待测解码特征和所述待测声学特征确定目标重构误差采用的公式包括：
xt是所述待测声学特征，Arec(xt)是所述目标重构误差，
和/>
为第j个解码器和编码器，参数分别为/>
和θE；
所述根据训练后的所述辅助分类器对所述待测运行语音进行分类处理采用的公式包括：
Aaux(xt)是所述概率置信度得分，
代表所述辅助分类器指数归一化函数的输出。
请参阅图9，在基于分组自动编码器的机器运行声学状态监测系统100中，包括训练阶段和测试阶段，在训练阶段中，按机器型号划分训练集，对训练数据集进行声学特征提取，对提取到的声学特征提取进行部分特征乱序，基于特征乱序后的声学特征提取，联合训练分组自动编码器和辅助分类器，并保存训练后的模型；
在测试阶段中，按机器型号划分测试集，对测试集数据进行声学特征提取，将提取到的声学特征输入训练后的分组自动编码器和辅助分类器进行声学状态监测，分组自动编码器和辅助分类器分别计算重构误差和概率置信度，对重构误差和概率置信度进行异常得分融合，得到异常得分，基于异常得分生成测试集数据的异常检测结果，当分组自动编码器和辅助分类器的测试结果满足测试条件后，将目标机器的待测运行语音输入分组自动编码器和辅助分类器进行状态监测，得到目标机器的运行状态监测结果。
本实施例，通过对各样本声学特征进行乱序处理，使得分组自动编码器在训练时重构乱序前的原始特征，进而提高了分组自动编码器的鲁棒性，基于乱序数据后的各样本声学特征对分组自动编码器和辅助分类器进行训练，使得辅助分类器能对分组自动编码器进行隐层表征的分类，提高了训练后分组自动编码器的异常监测性能，基于分组自动编码器中的多个解码器，赋予了分组自动编码器中模型域专门化能力，最大程度地利用了数据的先验信息，进一步提高了训练后分组自动编码器的异常监测性能。
实施例四
图10是本申请第四实施例提供的一种终端设备2的结构框图。如图10所示，该实施例的终端设备2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如基于分组自动编码器的机器运行声学状态监测方法的程序。处理器20执行所述计算机程序22时实现上述各个基于分组自动编码器的机器运行声学状态监测方法各实施例中的步骤。
示例性的，所述计算机程序22可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器21中，并由所述处理器20执行，以完成本申请。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。所述终端设备可包括，但不仅限于，处理器20、存储器21。
所称处理器20可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是所述终端设备2的内部存储单元，例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备，例如所述终端设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。其中，计算机可读存储介质可以是非易失性的，也可以是易失性的。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于分组自动编码器的机器运行声学状态监测方法，其特征在于，所述方法包括：
获取各样本机器的运行语音，得到样本语音，并根据各样本机器的机器型号对所述样本语音进行数据划分，得到训练数据集；
对所述训练集数据进行特征提取，得到样本声学特征，并对各样本声学特征进行乱序处理；
根据乱序数据后的各样本声学特征对分组自动编码器和辅助分类器进行训练，所述分组自动编码器包括编码器和多个解码器，所述编码器用于对同一类别的样本声学特征进行重构任务，所述辅助分类器用于对乱序数据后的各样本声学特征进行分类任务；
将目标机器的待测运行语音输入训练后的所述分组自动编码器和所述辅助分类器进行状态监测，得到所述目标机器的运行状态监测结果。
2.如权利要求1所述的基于分组自动编码器的机器运行声学状态监测方法，其特征在于，所述对所述训练集数据进行特征提取，得到样本声学特征，并对各样本声学特征进行乱序处理，包括：
分别查询所述训练集数据中各样本语音对应的机器型号，并根据所述机器型号确定各样本语音的采集特征；
根据所述采集特征对各样本语音进行特征采集，得到各样本声学特征，并分别查询各样本语音中的低频数据；
在各样本声学特征中，对各低频数据对应的声学特征进行特征乱序。
3.如权利要求1所述的基于分组自动编码器的机器运行声学状态监测方法，其特征在于，所述将目标机器的待测运行语音输入训练后的所述分组自动编码器和所述辅助分类器进行状态监测，包括：
根据所述目标机器的机器型号对所述待测运行语音进行特征提取，得到待测声学特征，并将所述待测声学特征输入训练后的所述分组自动编码器中的编码器进行特征编码处理，得到待测编码特征；
根据所述目标机器的机器型号确定训练后的所述分组自动编码器中的目标解码器，并将所述待测编码特征输入所述目标解码器进行特征解码，得到待测解码特征；
根据所述待测解码特征和所述待测声学特征确定目标重构误差，并根据训练后的所述辅助分类器对所述待测运行语音进行分类处理，得到概率置信度得分；
根据所述目标重构误差和所述概率置信度得分确定所述目标机器的异常得分，得到所述运行状态监测结果。
4.如权利要求3所述的基于分组自动编码器的机器运行声学状态监测方法，其特征在于，所述据所述目标重构误差和所述概率置信度得分确定所述目标机器的异常得分，包括：
分别对所述目标重构误差和所述概率置信度得分进行均值方差归一化处理，并计算均值方差归一化处理后所述目标重构误差与所述概率置信度得分之间的平均值，得到所述异常得分。
5.如权利要求3所述的基于分组自动编码器的机器运行声学状态监测方法，其特征在于，所述根据所述待测解码特征和所述待测声学特征确定目标重构误差采用的公式包括：
xt是所述待测声学特征，Arec(xt)是所述目标重构误差，
和/>
为第j个解码器和编码器，参数分别为/>
和θE；
所述根据训练后的所述辅助分类器对所述待测运行语音进行分类处理采用的公式包括：
Aaux(xt)是所述概率置信度得分，
代表所述辅助分类器指数归一化函数的输出。
6.如权利要求1所述的基于分组自动编码器的机器运行声学状态监测方法，其特征在于，所述编码器包括4个线性模块和1层瓶颈层，各解码器与所述编码器结构对称，所述线性模块全连接层、组归一化层和线性整流单元，所述辅助分类器包括全连接层、批归一化层和归一化指数函数层。
7.如权利要求1至6任一所述的基于分组自动编码器的机器运行声学状态监测方法，其特征在于，所述分组自动编码器的损失函数为：
所述编码器与对应解码器之间构成一个编码组，所述分组自动编码器中各编码组的损失函数遵循均方误差：
xi为第i个输入样本，
和/>
为第j个解码器和编码器，参数分别为/>
和θE，M是所述解码器的数量，wj是第j个编码组的权重；
所述辅助分类器的损失函数为交叉熵：
8.一种基于分组自动编码器的机器运行声学状态监测系统，其特征在于，所述系统包括：
数据划分模块，用于获取各样本机器的运行语音，得到样本语音，并根据各样本机器的机器型号对所述样本语音进行数据划分，得到训练数据集；
特征乱序模块，用于对所述训练集数据进行特征提取，得到样本声学特征，并对各样本声学特征进行乱序处理；
模型训练模块，用于根据乱序数据后的各样本声学特征对分组自动编码器和辅助分类器进行训练，所述分组自动编码器包括编码器和多个解码器，所述编码器用于对同一类别的样本声学特征进行重构任务，所述辅助分类器用于对乱序数据后的各样本声学特征进行分类任务；
状态监测模块，用于将目标机器的待测运行语音输入训练后的所述分组自动编码器和所述辅助分类器进行状态监测，得到所述目标机器的运行状态监测结果。
9.如权利要求8所述的基于分组自动编码器的机器运行声学状态监测系统，其特征在于，所述特征乱序模块还用于：
分别查询所述训练集数据中各样本语音对应的机器型号，并根据所述机器型号确定各样本语音的采集特征；
根据所述采集特征对各样本语音进行特征采集，得到各样本声学特征，并分别查询各样本语音中的低频数据；
在各样本声学特征中，对各低频数据对应的声学特征进行特征乱序。
10.如权利要求8所述的基于分组自动编码器的机器运行声学状态监测系统，其特征在于，所述状态监测模块还用于：
根据所述目标机器的机器型号对所述待测运行语音进行特征提取，得到待测声学特征，并将所述待测声学特征输入训练后的所述分组自动编码器中的编码器进行特征编码处理，得到待测编码特征；
根据所述目标机器的机器型号确定训练后的所述分组自动编码器中的目标解码器，并将所述待测编码特征输入所述目标解码器进行特征解码，得到待测解码特征；
根据所述待测解码特征和所述待测声学特征确定目标重构误差，并根据训练后的所述辅助分类器对所述待测运行语音进行分类处理，得到概率置信度得分；
根据所述目标重构误差和所述概率置信度得分确定所述目标机器的异常得分，得到所述运行状态监测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310399046.4A CN116386669A (zh) | 2023-04-14 | 2023-04-14 | 基于分组自动编码器的机器运行声学状态监测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310399046.4A CN116386669A (zh) | 2023-04-14 | 2023-04-14 | 基于分组自动编码器的机器运行声学状态监测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116386669A true CN116386669A (zh) | 2023-07-04 |
Family
ID=86969138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310399046.4A Pending CN116386669A (zh) | 2023-04-14 | 2023-04-14 | 基于分组自动编码器的机器运行声学状态监测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116386669A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116957991A (zh) * | 2023-09-19 | 2023-10-27 | 北京渲光科技有限公司 | 三维模型补全方法以及三维模型补全模型的生成方法 |
-
2023
- 2023-04-14 CN CN202310399046.4A patent/CN116386669A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116957991A (zh) * | 2023-09-19 | 2023-10-27 | 北京渲光科技有限公司 | 三维模型补全方法以及三维模型补全模型的生成方法 |
| CN116957991B (zh) * | 2023-09-19 | 2023-12-15 | 北京渲光科技有限公司 | 三维模型补全方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109473123B (zh) | 语音活动检测方法及装置 | |
| CN109036382B (zh) | 一种基于kl散度的音频特征提取方法 | |
| CN111477250B (zh) | 音频场景识别方法、音频场景识别模型的训练方法和装置 | |
| US11386916B2 (en) | Segmentation-based feature extraction for acoustic scene classification | |
| US20220207707A1 (en) | Image defect detection method, electronic device using the same | |
| CN111540342B (zh) | 一种能量阈值调整方法、装置、设备及介质 | |
| CN110797031A (zh) | 语音变音检测方法、系统、移动终端及存储介质 | |
| CN116386669A (zh) | 基于分组自动编码器的机器运行声学状态监测方法和系统 | |
| CN110689885B (zh) | 机器合成语音识别方法、装置、存储介质及电子设备 | |
| CN114822578A (zh) | 语音降噪方法、装置、设备及存储介质 | |
| CN116705059A (zh) | 一种音频半监督自动聚类方法、装置、设备及介质 | |
| CN113782051B (zh) | 广播效果分类方法及系统、电子设备和存储介质 | |
| CN115565548A (zh) | 异常声音检测方法、装置、存储介质及电子设备 | |
| CN111477248B (zh) | 一种音频噪声检测方法及装置 | |
| CN111402898B (zh) | 音频信号处理方法、装置、设备及存储介质 | |
| CN113679386A (zh) | 对注意力进行识别的方法、装置、终端及介质 | |
| CN112216285A (zh) | 多人会话检测方法、系统、移动终端及存储介质 | |
| CN112735470B (zh) | 基于时延神经网络的音频切割方法、系统、设备及介质 | |
| CN111048110A (zh) | 乐器识别方法、介质、装置和计算设备 | |
| CN116091489B (zh) | 基于深度学习的心电图图像识别方法及其系统 | |
| CN116434770A (zh) | 基于伪样本对抗训练的机器运行声学状态监测方法和系统 | |
| CN117316178A (zh) | 电力设备声纹识别方法、装置、设备及介质 | |
| CN114049887A (zh) | 用于音视频会议的实时语音活动检测方法及系统 | |
| CN114997210A (zh) | 一种基于深度学习的机器异响识别检测方法 | |
| CN114067831A (zh) | 一种端到端录音设备源识别方法、识别系统、计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |