CN114154538A - 一种基于相位编码和设备信息的工业声音异常检测系统 - Google Patents

一种基于相位编码和设备信息的工业声音异常检测系统 Download PDF

Info

Publication number
CN114154538A
CN114154538A CN202111421620.9A CN202111421620A CN114154538A CN 114154538 A CN114154538 A CN 114154538A CN 202111421620 A CN202111421620 A CN 202111421620A CN 114154538 A CN114154538 A CN 114154538A
Authority
CN
China
Prior art keywords
industrial
acoustic
information
abnormal
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111421620.9A
Other languages
English (en)
Other versions
CN114154538B (zh
Inventor
关键
柳友德
肖飞扬
兰海燕
兰宇晨
康金敏
魏玉明
谢明杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202111421620.9A priority Critical patent/CN114154538B/zh
Publication of CN114154538A publication Critical patent/CN114154538A/zh
Application granted granted Critical
Publication of CN114154538B publication Critical patent/CN114154538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明属于工业声音异常检测技术领域,具体涉及一种基于相位编码和设备信息的工业声音异常检测系统。本发明能借助相位信息补足工业声音信号的精细度,获得高精度的声学特征,能够对高精度的声学特征进行建模,着重提升系统对于异常信息的敏感度,同时感知到不同工业设备之间的细微差异,规避了设备之间产生的声学干扰,并对建模结果进行高效率高精度的异常分数判定,具备优秀的工业声音异常检测性能。

Description

一种基于相位编码和设备信息的工业声音异常检测系统
技术领域
本发明属于工业声音异常检测技术领域,具体涉及一种基于相位编码和设备信息的工业声音异常检测系统。
背景技术
信息时代的社会生活中,在分析真实世界的数据时,一个常见的需求是确定哪些实例是与众不同的,这样的实例称为异常,异常是由恶意行为、系统故障、故意欺诈等原因导致且与大多数的数据分布不一致或与预期模式不匹配。异常检测,也被称为离群值检测,其目标是以数据驱动的方式通过方法、模型以及算法确定所有这样与众不同的实例。
声音异常检测是通过对声学信号的分析来检测引发异常声音的异常事件。一方面由于异常的声音往往表明了异常的症状或者恶意的活动,另一方面声音是全向传播的,能够传播很远的距离,且不受光线影响,故而声音能够在黑暗及未知的环境下传达图像所不能传达的信息。因此,声音异常检测被广泛应用于音频监控、畜牧业、产品检验、预测维修等方面,本发明的下游任务有着广泛的适配场景。
在工业生产中,熟练的维修人员能够根据机器运转时发出的声音来判断机器是否正常运行。而工业声音异常检测的目的就是通过检测工业设备发出的声音来自动检测设备异常,从而减少工业生产中设备维护所需要的费用,同时及时的设备异常检测能够很大程度上减少由于设备损坏而造成的损失。此外,提出的方案只需要提供固定成本的运算资源及配套硬件便可实现,无需常年累月的培养专门的技术工人,并有效降低了检修工人长期暴露在高噪声环境的潜在隐患。因此本发明在生产需求和经济成本上是切合实际所需的。
当前,声音数据的处理基于频谱信息展开,但处理过程中会丢失有关振动偏移量的相位信息,这会导致信息的缺失以及误检测率的提高。在现实的工厂场景中,生产情况复杂多变,通常涉及不同的设备操作条件,同类别设备集群中的不同子设备差异与短时出现的异常难以区分,为工业声音检测提出了难题。
发明内容
本发明的目的在于提供一种基于相位编码和设备信息的工业声音异常检测系统。
一种基于相位编码和设备信息的工业声音异常检测系统,包括线性相位编码器、设备信息辅助的声学建模器和加权异常分数判定器;工业声音信号经过声学特征提取获取到基础的频谱数据,同时借助线性相位编码器实现对频谱数据的精度补足,得到工业声学时序特征矩阵,此特征矩阵传入设备信息辅助的声学建模器;在设备信息辅助的声学建模器中,特征矩阵被模块映射到一个评估矩阵上,联合特征矩阵和评估矩阵来突显声学特征所包含的场景信息,并判断特征矩阵与某一设备的相关性,为场景信息附加来自设备的精细度;所述加权异常分数判定器对设备信息辅助的声学建模器的输出进行分析及判定,锁定出现异常事件的工业设备,为工业生产提供高质量高精度的声音异常检测保障机制。
进一步地,所述线性相位编码器将工业声学信号的相位偏置信息输入一个线性变换的映射模块,将其映射到一个潜在域空间的编码特征,与工业声学信号的对应的梅尔谱图将结合,补偿梅尔谱图缺失的声学信息,为工业声音异常检测提供高精度的信息补偿。
进一步地,所述设备信息辅助的声学建模器对工业声学信号的特征进行建模,借助来自工业设备的辅助信息,将工业设备生产运行时的固有属性加以利用,构建自监督分类模块用以提取潜在的固有属性特征,并将固有属性特征作用于对工业声学信号的建模;注意力机制被引入在建模过程中,以其长序列依赖的特性获得对工业声学特征的整体建模,并强化特异值信息以为检测异常提供支撑;为保证上下文信息的完备感知,设计了中间帧预测策略,从而获得了对突发性异常的敏感度。
进一步地,所述加权异常分数判定器对声学建模结果进行异常分数计算,并根据计算结果判定是否出现工业异常事件,全局加权排序池化计算被引入异常分数计算,其计算公式如下所示:
Figure BDA0003377597220000021
其中,0≤r≤1是一个预定义的超参数;
Figure BDA0003377597220000022
是一个可自定义的正则化项;加权异常分数判定器强化了对工业声音事件中短时异常的关注程度,其异常分数计算直接着力于细粒度的短时区间,增强了对异常事件的敏感度。
本发明的有益效果在于:
本发明能借助相位信息补足工业声音信号的精细度,获得高精度的声学特征,能够对高精度的声学特征进行建模,着重提升系统对于异常信息的敏感度,同时感知到不同工业设备之间的细微差异,规避了设备之间产生的声学干扰,并对建模结果进行高效率高精度的异常分数判定,具备优秀的工业声音异常检测性能。
附图说明
图1为本发明的总体技术路线图。
具体实施方式
下面结合附图对本发明做进一步描述。
为满足工业场景中对声音信息精度的需求,规避设备差异带来的影响,提升具体任务中对异常事件的检测精度,本发明提供了一种基于相位编码和设备信息的工业声音异常检测系统,包括线性相位编码器、设备信息辅助的声学建模器和加权异常分数判定器。
工业声音信号经过声学特征提取获取到基础的频谱数据,同时借助线性相位编码器实现对频谱数据的精度补足,得到工业声学时序特征矩阵,此特征矩阵传入设备信息辅助的声学分析模块;在设备信息辅助的声学建模器中,特征矩阵被模块映射到一个评估矩阵上,联合特征矩阵和评估矩阵来突显声学特征所包含的场景信息,并判断特征矩阵与某一设备的相关性,为场景信息附加来自设备的精细度;声学建模过程可在仅有正常运行环境样本的条件下进行,没有对异常数据的有监督需求,规避了对复杂多变异常数据进行采集的高昂成本;加权异常分数判定器对声学建模器的输出进行分析及判定,锁定出现异常事件的工业设备,为工业生产提供高质量高精度的声音异常检测保障机制。
所述声学建模器基于无监督学习思想构建,仅通过工业设备正常运行的样本数据即可实现对于声学信息的建模,从而指导加权异常分数判别器的异常检测判定,规避了传统有监督检测方法面临的工业生产环境中异常数据复杂多样,发生频次少,采集成本高昂等现实条件的制约。
所述加权异常分数判定器的加权异常分数基于加权排序池化计算实现,其计算公式如下所示:
Figure BDA0003377597220000031
其中,0≤r≤1是一个预定义的超参数,
Figure BDA0003377597220000032
是一个正则化项。加权异常分数判定器强化了对工业声音事件中短时异常的关注程度,其异常分数计算直接着力于细粒度的短时区间,增强了对异常事件的敏感度。
与现有技术相比,本发明的有益效果是:
本发明能借助相位信息补足工业声音信号的精细度,获得高精度的声学特征,能够对高精度的声学特征进行建模,着重提升系统对于异常信息的敏感度,同时感知到不同工业设备之间的细微差异,规避了设备之间产生的声学干扰,并对建模结果进行高效率高精度的异常分数判定,具备优秀的工业声音异常检测性能。
实施例1:
基于相位编码和设备信息的工业声音异常检测,从工业声音信号的相位偏置出发获得高精度的声学特征补偿,从设备差异性出发获取对不同设备的建模感知,以及最终进行对工业异常事件的检测。显而易见的是,信息的感知精度决定了异常检测的精细度与有效性,本发明基于此引入了对工业生产场景信息的补充和分析,有力提升了工业声音异常检测的性能。
具体如下:
(1)声学相位偏置的引入与编码补偿。
声音信号是时序振动信号,为了获取更多的特征信息,将工业声学信号映射到频率域的频谱图特征,并根据人耳感知特性,将频谱图特征转换为梅尔谱图。工业声学信号的相位偏置被提取,经过线性编码器的浅层映射,与梅尔谱图相结合,从而实现基于声学相位偏置的高精度编码补偿。
(2)声学建模与设备辅助。
基于注意力机制实现对于高精度声学编码特征的建模分析,依赖于注意力机制的长序列感知能力突出对于异常信息的建模,设计了中间帧预测模型以提升对时频帧信息处理的精准度。对于输入模型的每一组时频域梅尔谱特征,抽出其居中的一帧(中间帧),并期望模型对这一帧的信息进行预测,预测效果与中间帧越接近,则模型对于声学特征的表征能力越强,越能够对任务中不常见的异常信息加以区分。设备辅助则是为了将训练数据中所包含的大量工业设备正常运行的潜在信息(如机器类型信息)加以抽象利用,进而对模型学习得到的正常的工业设备声音事件分布加以约束,使得异常工业声学信息在系统的“眼中”更为突出和鲜明。声学建模器学习到了常态下工业设备的运行模式,当异常事件发生时,声学建模器对异常数据进行的建模结果将与常态工业数据产生明显差异,从而突显特异值信息,为后续分析和异常检测判定提供支撑。
(3)声学模型加权分析与异常检测。
将声学建模结果进行全局加权排序池化计算,可以通过对异常分数序列中不同的异常分数赋予不同的权值来突出较大的异常分数从而提高由异常分数序列计算得到的最终的异常分数。并在计算过程中关注到短时段的特异值点,从而实现对短时异常的灵敏捕捉。并将声学建模过程所感知的设备信息引入对异常事件的判定决策中,规避不同设备之间的细微差异带来的精度误差。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于相位编码和设备信息的工业声音异常检测系统,其特征在于:包括线性相位编码器、设备信息辅助的声学建模器和加权异常分数判定器;工业声音信号经过声学特征提取获取到基础的频谱数据,同时借助线性相位编码器实现对频谱数据的精度补足,得到工业声学时序特征矩阵,此特征矩阵传入设备信息辅助的声学建模器;在设备信息辅助的声学建模器中,特征矩阵被模块映射到一个评估矩阵上,联合特征矩阵和评估矩阵来突显声学特征所包含的场景信息,并判断特征矩阵与某一设备的相关性,为场景信息附加来自设备的精细度;所述加权异常分数判定器对设备信息辅助的声学建模器的输出进行分析及判定,锁定出现异常事件的工业设备,为工业生产提供高质量高精度的声音异常检测保障机制。
2.根据权利要求1所述的一种基于相位编码和设备信息的工业声音异常检测系统,其特征在于:所述线性相位编码器将工业声学信号的相位偏置信息输入一个线性变换的映射模块,将其映射到一个潜在域空间的编码特征,与工业声学信号的对应的梅尔谱图将结合,补偿梅尔谱图缺失的声学信息,为工业声音异常检测提供高精度的信息补偿。
3.根据权利要求1所述的一种基于相位编码和设备信息的工业声音异常检测系统,其特征在于:所述设备信息辅助的声学建模器对工业声学信号的特征进行建模,借助来自工业设备的辅助信息,将工业设备生产运行时的固有属性加以利用,构建自监督分类模块用以提取潜在的固有属性特征,并将固有属性特征作用于对工业声学信号的建模;注意力机制被引入在建模过程中,以其长序列依赖的特性获得对工业声学特征的整体建模,并强化特异值信息以为检测异常提供支撑;为保证上下文信息的完备感知,设计了中间帧预测策略,从而获得了对突发性异常的敏感度。
4.根据权利要求1所述的一种基于相位编码和设备信息的工业声音异常检测系统,其特征在于:所述加权异常分数判定器对声学建模结果进行异常分数计算,并根据计算结果判定是否出现工业异常事件,全局加权排序池化计算被引入异常分数计算,其计算公式如下所示:
Figure FDA0003377597210000011
其中,0≤r≤1是一个预定义的超参数;
Figure FDA0003377597210000012
是一个可自定义的正则化项;加权异常分数判定器强化了对工业声音事件中短时异常的关注程度,其异常分数计算直接着力于细粒度的短时区间,增强了对异常事件的敏感度。
CN202111421620.9A 2021-11-26 2021-11-26 一种基于相位编码和设备信息的工业声音异常检测系统 Active CN114154538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111421620.9A CN114154538B (zh) 2021-11-26 2021-11-26 一种基于相位编码和设备信息的工业声音异常检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111421620.9A CN114154538B (zh) 2021-11-26 2021-11-26 一种基于相位编码和设备信息的工业声音异常检测系统

Publications (2)

Publication Number Publication Date
CN114154538A true CN114154538A (zh) 2022-03-08
CN114154538B CN114154538B (zh) 2022-09-02

Family

ID=80458022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111421620.9A Active CN114154538B (zh) 2021-11-26 2021-11-26 一种基于相位编码和设备信息的工业声音异常检测系统

Country Status (1)

Country Link
CN (1) CN114154538B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882906A (zh) * 2022-06-30 2022-08-09 广州伏羲智能科技有限公司 一种新型环境噪声识别方法及系统
CN116230015A (zh) * 2023-03-14 2023-06-06 哈尔滨工程大学 一种基于音频时序信息加权的频域特征表示异音检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447237A (zh) * 2018-09-05 2019-03-08 浙江长兴笛卡尔科技有限公司 基于统计异常值的池化计算方法、电子设备、存储介质
CN110519637A (zh) * 2019-08-27 2019-11-29 西北工业大学 基于音频视频监控结合的异常监测方法
CN112183647A (zh) * 2020-09-30 2021-01-05 国网山西省电力公司大同供电公司 一种基于深度学习的变电站设备声音故障检测及定位方法
CN113033490A (zh) * 2021-04-23 2021-06-25 山东省计算中心(国家超级计算济南中心) 基于声音信号的工业设备通用故障检测方法及系统
CN113313146A (zh) * 2021-05-10 2021-08-27 上海核工程研究设计院有限公司 一种设备异常运行状态智能监测的方法
CN113470695A (zh) * 2021-06-30 2021-10-01 平安科技(深圳)有限公司 声音异常检测方法、装置、计算机设备及存储介质
CN113539294A (zh) * 2021-05-31 2021-10-22 河北工业大学 一种生猪异常状态声音采集及识别方法
CN113593605A (zh) * 2021-07-09 2021-11-02 武汉工程大学 一种基于深度神经网络的工业音频故障监测系统和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447237A (zh) * 2018-09-05 2019-03-08 浙江长兴笛卡尔科技有限公司 基于统计异常值的池化计算方法、电子设备、存储介质
CN110519637A (zh) * 2019-08-27 2019-11-29 西北工业大学 基于音频视频监控结合的异常监测方法
CN112183647A (zh) * 2020-09-30 2021-01-05 国网山西省电力公司大同供电公司 一种基于深度学习的变电站设备声音故障检测及定位方法
CN113033490A (zh) * 2021-04-23 2021-06-25 山东省计算中心(国家超级计算济南中心) 基于声音信号的工业设备通用故障检测方法及系统
CN113313146A (zh) * 2021-05-10 2021-08-27 上海核工程研究设计院有限公司 一种设备异常运行状态智能监测的方法
CN113539294A (zh) * 2021-05-31 2021-10-22 河北工业大学 一种生猪异常状态声音采集及识别方法
CN113470695A (zh) * 2021-06-30 2021-10-01 平安科技(深圳)有限公司 声音异常检测方法、装置、计算机设备及存储介质
CN113593605A (zh) * 2021-07-09 2021-11-02 武汉工程大学 一种基于深度神经网络的工业音频故障监测系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张晨旭: "基于自编码器的无监督机器异常声检测", 《复旦学报(自然科学版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882906A (zh) * 2022-06-30 2022-08-09 广州伏羲智能科技有限公司 一种新型环境噪声识别方法及系统
CN116230015A (zh) * 2023-03-14 2023-06-06 哈尔滨工程大学 一种基于音频时序信息加权的频域特征表示异音检测方法
CN116230015B (zh) * 2023-03-14 2023-08-08 哈尔滨工程大学 一种基于音频时序信息加权的频域特征表示异音检测方法

Also Published As

Publication number Publication date
CN114154538B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN114154538B (zh) 一种基于相位编码和设备信息的工业声音异常检测系统
CN110059601B (zh) 一种多特征提取与融合的智能故障诊断方法
Müller et al. Acoustic anomaly detection for machine sounds based on image transfer learning
Tejedor et al. A contextual GMM-HMM smart fiber optic surveillance system for pipeline integrity threat detection
Huang et al. Memory residual regression autoencoder for bearing fault detection
CN111562108A (zh) 一种基于cnn和fcmc的滚动轴承智能故障诊断方法
CN110166484A (zh) 一种基于LSTM-Attention网络的工业控制系统入侵检测方法
CN113076975A (zh) 一种基于无监督学习的大坝安全监测数据异常检测方法
CN116304820B (zh) 一种基于多源域迁移学习的轴承故障类型预测方法及系统
CN104795064A (zh) 低信噪比声场景下声音事件的识别方法
Liao et al. Research on a rolling bearing fault detection method with wavelet convolution deep transfer learning
CN113376516A (zh) 一种基于深度学习的中压真空断路器运行故障自诊断与预警方法
CN114926825A (zh) 一种基于时空特征融合的车辆驾驶行为检测方法
CN118052558B (zh) 基于人工智能的风控模型决策方法及系统
CN114509266A (zh) 一种基于故障特征融合的轴承健康监测方法
CN113158722A (zh) 基于多尺度深度神经网络的旋转机械故障诊断方法
Li et al. Intelligent fault diagnosis of aeroengine sensors using improved pattern gradient spectrum entropy
CN117992953A (zh) 基于操作行为跟踪的异常用户行为识别方法
CN117113170A (zh) 一种基于多尺度信息融合的轻量化旋转机械故障诊断方法
Suawa et al. Noise-robust machine learning models for predictive maintenance applications
Khan et al. Automatic diagnosis of rice leaves diseases using hybrid deep learning model
CN117786349A (zh) 基于数据挖掘技术的设备故障预警系统及方法
Wu et al. Abstraction-based multi-object acoustic anomaly detection for low-complexity big data analysis
CN116702005A (zh) 一种基于神经网络的数据异常诊断方法和电子设备
Guo et al. Research on bearing fault diagnosis based on novel MRSVD-CWT and improved CNN-LSTM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant