CN110807901B - 一种非接触式工业异常声音检测方法 - Google Patents

一种非接触式工业异常声音检测方法 Download PDF

Info

Publication number
CN110807901B
CN110807901B CN201911084734.1A CN201911084734A CN110807901B CN 110807901 B CN110807901 B CN 110807901B CN 201911084734 A CN201911084734 A CN 201911084734A CN 110807901 B CN110807901 B CN 110807901B
Authority
CN
China
Prior art keywords
signal
source
industrial
equipment
sonar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911084734.1A
Other languages
English (en)
Other versions
CN110807901A (zh
Inventor
项彬
马石磊
陈建峰
蔺贝
李晓强
温洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lianfeng Acoustic Technologies Co ltd
Original Assignee
Lianfeng Acoustic Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lianfeng Acoustic Technologies Co ltd filed Critical Lianfeng Acoustic Technologies Co ltd
Priority to CN201911084734.1A priority Critical patent/CN110807901B/zh
Publication of CN110807901A publication Critical patent/CN110807901A/zh
Application granted granted Critical
Publication of CN110807901B publication Critical patent/CN110807901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/187—Machine fault alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明提供了一种非接触式工业异常声音检测方法，在复杂工业环境中对异常声音的检测，通过在空气声呐中心集成摄像机模块，可以在实时监控声音信息的同时，捕捉视频画面，通过对摄像机画面的与声源目标实际位置的标定校准，可以快速将空气声呐定位角度映射到摄像机画面所对应的像素点上，实现工业异常声音的快速检测预警。进一步计算场景中的声波，进行工业故障的快速精准检测，确定设备故障的根本原因，以便进行快速维修或其他正确合理操作。

Description

一种非接触式工业异常声音检测方法
技术领域
本发明属于信号处理领域，涉及声呐波束形成、声信号检测、声像联合、目标定位等理论。
背景技术
常见工业场景中的各种工业设备正常工作时都会发出各式各样的声音，但是从发声机理的角度考虑，各种工业设备的所发出的噪声其实都可以分为两种声音，一种是由于机械摩擦产生的谐波噪声，一种是由机械碰撞产生的冲击噪声。大部分工业设备在稳定工作的时候发出的噪声状态相对平稳，多为谐波噪声或者冲击噪声，两种声音叠加但是整体保持平衡。当工业设备发生不可预见的故障时，往往会发出异常声音，这些异常声音一般都是由于机械零固件的异常振动产生的声音，有的是由于发生了非正常的摩擦产生的谐波噪声，有的则是零件碰撞产生的冲击噪声。这些非正常的噪声可以作为设备工作状态的诊断依据，而对机械噪声的谐波冲击分离可以有效量化设备在不同工作状态下的噪声的谐波分量与冲击分量，则当其中的某一种噪声分量比例不正常时，可以作为设备故障的检测标志。
空气声呐由一定数目的声音传感器按一定几何形状排列组合而成，不同数目的声音传感器及不同的组合形状会给空气声呐带来不同的性能差异，具体可以根据实际需求选用不同数目的声传感器及阵列形状。通过在空气声呐中心集成摄像机模块，可以在实时监控声音信息的同时，捕捉视频画面，获取完备的视觉信息和听觉信息，目前空气声呐只在语音信号处理和违法鸣笛抓拍领域有所应用，由于工业应用场景中一般噪声复杂且噪声级较高，不能将空气声纳设备直接应用于工业异常声音检测。
目前工业设备的异常声音预警及故障检测主要通过人工方式进行，难以实现全区域覆盖全时段的实时监测，延迟预警及故障检测缓慢容易引发二次危害，甚至带来巨大的经济损失及人员伤亡。
发明内容
为了克服现有技术的不足，本发明提出的一种非接触式工业异常声音检测方法，能够通过空气声纳和摄像机设备对工业生产线进行全区域覆盖不间断的实时监测，颠覆了以往的故障监测方式，实现智能化异常声音监控，为工业智能化发展与实际工程应用提供足够的技术支撑。
本发明解决其技术问题所采用的技术方案包括以下步骤：
第一步，空气声纳传感器采集声信号，第i个声纳传感器接收到的信号表示为
xi(t)＝hi(t)*s(t)+ni(t)，i＝1，2，…，N
式中*表示卷积运算，s(t)是声源原始信号，hi(t)是声源与第i个声传感器之间的环境冲激响应，ni(t)代表工业设备周围的环境噪声，N为传感器数目；
第二步，对信号进行预处理，包括去直流分量与二元归一化，预处理后的信号表示为
Figure BDA0002265044610000021
第三步，对指定长度的预处理信号进行短时傅里叶变换进行时频谱分析，得到
Figure BDA0002265044610000022
w(t)为窗函数，起到时限作用，e-jωt起频限作用；
第四步，运用谐波冲击源分离算法将经过短时傅里叶变换的时频谱进行分离，得到信号的谐波分量和冲击分量，分离后的谐波源
Figure BDA0002265044610000023
冲击源
Figure BDA0002265044610000024
其中
Figure BDA0002265044610000025
Hh，i和Ph，i的初始值为0.5Wh，i，Wh，i＝|STF T(τ，ω)|2为能量谱，
Figure BDA0002265044610000026
Figure BDA0002265044610000027
和
Figure BDA0002265044610000028
为权重平滑因子，k为迭代次数；
第五步，采集一段工业设备正常工作时的平稳噪声，分析设备正常工作时的噪声源分量，判断设备正常工作时的噪声源的各个分量，获取设备正常工作时的信号特征阈值；
第六步，当新的信号分离后的谐波或者冲击任意一个分量超出第五步所设定的特征阈值时，则证明接收信号中含有非正常的声音分量，判断设备异常；
第七步，用空气声呐波束形成计算异常声源相对声纳传感器阵列中心的位置，通过摄像机与声纳联合校准方法将异常声源位置反应在视频画面中。
本发明的有益效果是：能够在复杂的工业背景噪声下，实现对异常声音的检测，并通过空气声纳和摄像机设备对工业生产线进行全区域覆盖不间断的实时监测，颠覆了以往的故障监测方式，实现智能化异常声音监控，并为后续的快速故障诊断和远程故障诊断打好基础，为工业智能化发展与实际工程应用提供足够的技术支撑。对于建设智慧工业，智能制造具有深远意义。推动了被动定位技术在安防、监控等领域的应用与发展。
附图说明
图1是本发明的方法流程示意图。
图2是声像联合定位示意图。
具体实施方式
针对工业设备的异常声音检测难以实现全区域覆盖不间断的实时监测的问题，本发明提出一种非接触式工业异常声音检测方法，该方法可实现在复杂工业环境中对异常声音的检测，通过在空气声呐中心集成摄像机模块，可以在实时监控声音信息的同时，捕捉视频画面，通过对摄像机画面的与声源目标实际位置的标定校准，可以快速将空气声呐定位角度映射到摄像机画面所对应的像素点上，实现工业异常声音的快速检测预警。进一步计算场景中的声波，进行工业故障的快速精准检测，确定设备故障的根本原因，以便进行快速维修或其他正确合理操作。
本发明的主步骤如下：
第一步：空气声纳传感器采集声信号
第i个声纳传感器接收到的信号xi(t)可以表示为
xi(t)＝hi(t)*s(t)+ni(t)，i＝1，2，…，N
式中*表示卷积运算，s(t)是声源原始信号，hi(t)是声源与第i个声传感器之间的环境冲激响应。ni(t)代表工业设备周围的环境噪声，N为传感器数目。
第二步：信号预处理
信号预处理主要进行去直流分量与二元归一化。去直流分量后的信号exi(t)可以表示为：
Figure BDA0002265044610000031
第三步：时频变换
对指定长度的预处理信号进行短时傅里叶变换进行时频谱分析。
Figure BDA0002265044610000032
式中ex(t)代表预处理后的声信号，w(t)为窗函数，起到时限作用，e-jωt起频限作用。
第四步：谐波冲击源分离
运用谐波冲击源分离算法将经过短时傅里叶变换的时频谱进行有效分离，得到信号的谐波分量和冲击分量，用于判断噪声信号中不同噪声源分量的高低。分离后的谐波源和冲击源分别为：
Figure BDA0002265044610000041
Figure BDA0002265044610000042
其中
Figure BDA0002265044610000043
Hh，i和Ph，i的初始值为0.5Wh，i，Wh，i＝|STFT(τ，ω)|2为能量谱，
Figure BDA0002265044610000044
Figure BDA0002265044610000045
和
Figure BDA0002265044610000046
为权重平滑因子，k为迭代次数。
第五步：正常阈值设定
采集一段工业设备正常工作时的平稳噪声，分析设备正常工作时的噪声源分量，判断设备正常工作时的噪声源的各个分量，获取设备正常工作时的信号特征阈值。
第六步：异常判断
当新的信号分离后的谐波或者冲击任意一个分量超出第五步所设定的特征阈值时，则证明接收信号中含有非正常的声音分量，则判断设备异常。
第七步：空气声呐与摄像机联合定位
用空气声呐波束形成计算异常声源相对声纳传感器阵列中心的位置，通过摄像机与声纳联合校准方法将异常声源位置反应在视频画面中。
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
如图1所示，本发明的实施例包括以下步骤：
第一步：空气声纳传感器采集声信号
在工业应用环境下，工业设备所发出的声音经过多种途径传播先后到达声传感器的过程可以看作是声场环境对声源信号滤波的过程，则第i个声传感器接收到的信号xi(t)可以表示为
xi(t)＝hi(t)*s(t)+ni(t)，i＝1，2，…，N
式中*表示卷积运算，s(t)是声源原始信号，hi(t)是声源与第i个声传感器之间的环境冲激响应。ni(t)代表工业设备周围的环境噪声，N为传感器数目，一般取值范围为16-64个。不同声传感器间的环境噪声可以是相关的。环境冲激响应hi(t)包含了声源多径传播的所有信息。
第二步：信号预处理
由于通过工业采集设备采集的声音信号仍含有较强直流分量，且为了排除不同工业设备的时域能量特征变化给工业检测带来的影响，这里信号预处理主要进行去直流分量与二元归一化。二元归一化主要将信号幅度归一化到-1到1之间。
去直流分量后的信号exi(t)可以表示为：
Figure BDA0002265044610000051
第三步：时频变换
对3秒的预处理后信号进行短时傅里叶变换进行时频谱分析。
Figure BDA0002265044610000052
式中ex(t)代表预处理后的声信号，w(t)为窗函数，起到时限作用，e-jωt起频限作用。窗函数可选用汉宁窗，汉宁窗主瓣加宽并降低，旁瓣则显著减小，从而使旁瓣互相抵消，消去高频干扰和漏能。傅里叶变换点数选为1024，窗长度选为1024。
第四步：谐波冲击源分离
运用谐波冲击源分离算法将经过短时傅里叶变换的时频谱进行有效分离，得到信号的谐波分量和冲击分量，用于判断噪声信号中不同噪声源分量的高低。分离后的谐波源和冲击源分别为：
Figure BDA0002265044610000053
Figure BDA0002265044610000054
其中
Figure BDA0002265044610000055
Hh,i和Ph,i的初始值为0.5Wh,i，Wh,i＝|STFT(τ,ω)|2为能量谱，
Figure BDA0002265044610000056
Figure BDA0002265044610000057
和
Figure BDA0002265044610000058
为权重平滑因子,k为迭代次数。迭代次数一般在15-20次即可实现分离效果。
第五步：正常阈值设定
采集一段工业设备正常工作时的平稳噪声，分析设备正常工作时的噪声源分量，判断设备正常工作时的噪声源的各个分量，获取设备正常工作时的信号特征阈值。
第六步：异常判断
当新的信号分离后的谐波或者冲击任意一个分量超出第五步所设定的特征阈值时，则证明接收信号中含有非正常的声音分量，则判断设备异常。
第七步：空气声呐与摄像机联合定位
用空气声呐波束形成计算异常声源相对声纳传感器阵列中心的位置，通过摄像机与声纳联合校准方法将异常声源位置反应在视频画面中。

Claims (1)

1.一种非接触式工业异常声音检测方法，其特征在于包括下述步骤：
第一步，空气声纳传感器采集声信号，第i个声纳传感器接收到的信号表示为
xi(t)＝hi(t)*s(t)+ni(t)，i＝1，2，…，N
式中*表示卷积运算，s(t)是声源原始信号，hi(t)是声源与第i个声传感器之间的环境冲激响应，ni(t)代表工业设备周围的环境噪声，N为传感器数目；
第二步，对信号进行预处理，包括去直流分量与二元归一化，预处理后的信号表示为
Figure FDA0002265044600000011
第三步，对指定长度的预处理信号进行短时傅里叶变换进行时频谱分析，得到
Figure FDA0002265044600000012
w(t)为窗函数，起到时限作用，e-jωt起频限作用；
第四步，运用谐波冲击源分离算法将经过短时傅里叶变换的时频谱进行分离，得到信号的谐波分量和冲击分量，分离后的谐波源
Figure FDA0002265044600000013
冲击源
Figure FDA0002265044600000014
其中
Figure FDA0002265044600000015
Hh,i和Ph,i的初始值为0.5Wh,i，Wh,i＝|STFT(τ,ω)|2为能量谱，
Figure FDA0002265044600000016
Figure FDA0002265044600000017
和
Figure FDA0002265044600000018
为权重平滑因子，k为迭代次数；
第五步，采集一段工业设备正常工作时的平稳噪声，分析设备正常工作时的噪声源分量，判断设备正常工作时的噪声源的各个分量，获取设备正常工作时的信号特征阈值；
第六步，当新的信号分离后的谐波或者冲击任意一个分量超出第五步所设定的特征阈值时，则证明接收信号中含有非正常的声音分量，判断设备异常；
第七步，用空气声呐波束形成计算异常声源相对声纳传感器阵列中心的位置，通过摄像机与声纳联合校准方法将异常声源位置反应在视频画面中。
CN201911084734.1A 2019-11-08 2019-11-08 一种非接触式工业异常声音检测方法 Active CN110807901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911084734.1A CN110807901B (zh) 2019-11-08 2019-11-08 一种非接触式工业异常声音检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911084734.1A CN110807901B (zh) 2019-11-08 2019-11-08 一种非接触式工业异常声音检测方法

Publications (2)

Publication Number Publication Date
CN110807901A CN110807901A (zh) 2020-02-18
CN110807901B true CN110807901B (zh) 2021-08-03

Family

ID=69501731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911084734.1A Active CN110807901B (zh) 2019-11-08 2019-11-08 一种非接触式工业异常声音检测方法

Country Status (1)

Country Link
CN (1) CN110807901B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111573197B (zh) * 2020-04-22 2021-11-30 北京华能新锐控制技术有限公司 一种分布式皮带机异常声音检测方法
CN111505650B (zh) * 2020-04-28 2022-11-01 西北工业大学 一种基于hpss的水下目标被动检测方法
CN111915918A (zh) * 2020-06-19 2020-11-10 中国计量大学 一种基于动态特性的汽车鸣笛抓拍装置现场校准系统及方法
CN112363020A (zh) * 2020-11-11 2021-02-12 国网江苏省电力有限公司盐城供电分公司 一种基于不同天气的输配电线路声音异常检测方法
CN113108898B (zh) * 2021-05-08 2023-03-31 陕煤集团神木红柳林矿业有限公司 一种基于声振联合监测的堆煤保护方法
CN113763679B (zh) * 2021-08-24 2022-11-29 杭州意能电力技术有限公司 气体绝缘封闭式组合电器异响监测方法及装置
CN113689676B (zh) * 2021-08-31 2023-05-30 索奥斯(广东)玻璃技术股份有限公司 一种钢化玻璃生产线的监控分析方法及其监控分析系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007221327A (ja) * 2006-02-15 2007-08-30 Sony Corp 監視システム、撮像装置、情報処理方法、プログラム、声音出力装置
CN202974427U (zh) * 2012-11-17 2013-06-05 四川瞭望工业自动化控制技术有限公司 噪音监测仪
CN104409078A (zh) * 2014-12-11 2015-03-11 黑龙江真美广播通讯器材有限公司 异常声音检测和识别系统
CN109541548A (zh) * 2018-11-22 2019-03-29 西安联丰迅声信息科技有限责任公司 一种基于匹配场的空气声呐定位方法
CN110070856A (zh) * 2019-03-26 2019-07-30 天津大学 一种基于谐波冲击源分离数据增强的音频场景识别方法
CN110073301A (zh) * 2017-08-02 2019-07-30 强力物联网投资组合2016有限公司 工业物联网中具有大数据集的数据收集环境下的检测方法和系统
CN110133663A (zh) * 2019-05-08 2019-08-16 西安联丰迅声信息科技有限责任公司 一种分布式声像联合校准定位方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113002A (ja) * 2004-10-18 2006-04-27 Nsk Ltd 機械設備の異常診断システム
US7640139B2 (en) * 2004-10-18 2009-12-29 Nsk Ltd. Abnormality diagnosing system for mechanical equipment
JP2012058046A (ja) * 2010-09-08 2012-03-22 Nissin Electric Co Ltd 電力機器の異常診断装置
CN107328582A (zh) * 2017-08-25 2017-11-07 中国人民解放军镇江船艇学院 柴油机故障检测装置
CN110221250A (zh) * 2019-06-27 2019-09-10 中国科学院西安光学精密机械研究所 一种异常声音定位方法及定位装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007221327A (ja) * 2006-02-15 2007-08-30 Sony Corp 監視システム、撮像装置、情報処理方法、プログラム、声音出力装置
CN202974427U (zh) * 2012-11-17 2013-06-05 四川瞭望工业自动化控制技术有限公司 噪音监测仪
CN104409078A (zh) * 2014-12-11 2015-03-11 黑龙江真美广播通讯器材有限公司 异常声音检测和识别系统
CN110073301A (zh) * 2017-08-02 2019-07-30 强力物联网投资组合2016有限公司 工业物联网中具有大数据集的数据收集环境下的检测方法和系统
CN109541548A (zh) * 2018-11-22 2019-03-29 西安联丰迅声信息科技有限责任公司 一种基于匹配场的空气声呐定位方法
CN110070856A (zh) * 2019-03-26 2019-07-30 天津大学 一种基于谐波冲击源分离数据增强的音频场景识别方法
CN110133663A (zh) * 2019-05-08 2019-08-16 西安联丰迅声信息科技有限责任公司 一种分布式声像联合校准定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
乐曲与歌声分离算法研究;秦翔宇;《中国优秀硕士学位论文全文数据库信息科技辑》;20160331;第9，39-44页 *
异常声音探测系统的研究与实现;伍宗富，陈日新，黄建春，梅彬运;《机电产品开发与创新》;20091130;第22卷(第6期);第174-176页 *

Also Published As

Publication number Publication date
CN110807901A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110807901B (zh) 一种非接触式工业异常声音检测方法
CN112560822B (zh) 一种基于卷积神经网络的道路声信号分类方法
CN107748314A (zh) 基于声波震荡检测的变压器故障分析系统
US10741195B2 (en) Sound signal enhancement device
CN104794894A (zh) 一种汽车鸣笛噪声监视装置、系统及方法
CN110006672A (zh) 基于声成像技术的轨道车辆故障监测方法
KR102311559B1 (ko) 초음파 트랜스듀서의 에코 신호 처리 방법
JP2007033445A (ja) 信号源の軌跡をモデル化する方法及びシステム
KR20210129942A (ko) 이음 검사 장치 및 그 검사 방법
CN112965053B (zh) 一种基于匹配垂直阵波束强度的浅海声源深度分辨方法
CN111598039A (zh) 用于石油管道监控的异常声音监测方法及监测装置
CN102625912A (zh) 缺陷检测方法和系统
KR20200093149A (ko) 음원 인식 방법 및 장치
US20220381606A1 (en) Method for determining abnormal acoustic source and ai acoustic image camera
CN104243894A (zh) 一种声视频融合监控方法
CN106153363A (zh) 一种基于声像监测的机械设备故障自动识别方法
CN117116293A (zh) 一种复杂声场环境中机器设备故障诊断系统
CN105785319B (zh) 机场场面目标声学定位方法、装置及系统
CN109884483A (zh) 绝缘管型母线局部放电声学在线监测方法及装置
KR20150104459A (ko) 기계 구조물의 결함 진단 시스템 및 그 방법
Baek et al. In-process noise inspection system for product fault detection in a loud shop-floor environment
Siwek Analysis of microphone use for perception of autonomous vehicles
CN117782403B (zh) 一种基于分离网络的松动螺栓定位方法、装置、介质
KR101809831B1 (ko) 전자전 위협신호 분류를 위한 pdw 파라미터 생성 장치 및 방법
CN117825898B (zh) 一种gis分布式振声联合监测方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant