CN115389008A - 一种密闭空间的智能噪音传感器及异常声音检测与定位方法 - Google Patents

Abstract

本发明公开了一种密闭空间的智能噪音传感器及异常声音检测与定位方法，属于舰船信息化技术领域，包括：采集模块、主处理模块及接口模块；所述采集模块用于完成声音数据的采集，包括依次连接的传感器阵列和通道阵列采集；所述主处理模块用于完成异常声音的检测与定位功能，并具备异常声音定位可视化功能；所述接口模块用于完成外部电源输入的适配，以及与外部进行通信的功能。通过本发明能够对潜器密闭空间内的异常声音(告警音、金属滑落音、撞击音、喊叫音等)进行有效检测与定位。

Description

一种密闭空间的智能噪音传感器及异常声音检测与定位方法

技术领域

本发明属于舰船信息化技术领域，更具体地，涉及一种密闭空间的智能噪音传感器及异常声音检测与定位方法，适用于潜器。

背景技术

常规大型潜器需要较多的人员进行日常状态巡检与异常排查，给潜器带来了较大的负担。为了精简人员数量，国内在信息化领域也做了很多工作，但是人员较多依然是比较突出的问题。信息化、智能技术的快速发展能够有效地精简人员数量，从而促进潜器舱室无人化的发展。

在潜器领域，智能状态监测与评估一直是一个比较热的话题，但是密闭空间异常声音的检测与定位目前尚未看到较好的成果。通过对密闭空间进行异常声音检测与定位，能够有效提升舱室的智能状态监测及评估水平，能够帮助人员在远程快速的发现异常行为并做出及时响应，从而提高对潜器的安全监测能力，因此，潜器全艇的状态监测及评估是一个复杂而艰巨的任务。

发明内容

针对潜器智能状态监测及评估中的不足，本发明提出了一种密闭空间的智能噪音传感器及异常声音的检测与定位方法，能够对潜器密闭空间内的异常声音(告警音、金属滑落音、撞击音、喊叫音等)进行有效检测与定位。

为实现上述目的，按照本发明的一个方面，提供了一种密闭空间的智能噪音传感器，包括：采集模块、主处理模块及接口模块；

所述采集模块用于完成声音数据的采集，包括依次连接的传感器阵列和通道阵列采集；所述主处理模块用于完成异常声音的检测与定位功能，并具备异常声音定位可视化功能；所述接口模块用于完成外部电源输入的适配，以及与外部进行通信的功能。

在一些可选的实施方案中，所述主处理模块内部基于FPGA实现电路设计，并配置相机模组，进行视频图像显示，用于异常声音定位结果的可视化。

在一些可选的实施方案中，所述接口模块采用两种外部接口，一种是标准的POE接口，另一个是以太网+DC24V供电接口，两个接口互为备用。

在一些可选的实施方案中，所述智能噪音传感器外观主体结构分为前面板与主机壳，整体密封腔体与外界接触的部分有前面板和主机壳连接处、摄像头玻璃与前面板连接处、噪音传感器阵列开孔处、主机壳和连接器连接处，摄像头玻璃采用灌胶密封处理，前面板和主机壳连接螺钉孔处在装配完成后适当点胶密封，密封条选用导电型环形结构，用户连接器采用螺钉安装紧固使接插件和结构件充分接触，内部灌胶密封，避免电磁泄漏。

在一些可选的实施方案中，所述传感器阵列基于多臂对数螺旋阵的设计原则，设计了多通道传感器阵列阵型，该多臂对数螺旋阵设计中需要考虑的参数有最内环半径r₁，最外环半径r₂，螺旋角v，臂数m，各臂上的阵元数，即环数n，以及阵元分布策略，每条对数螺旋臂的曲线为：r(θ)＝r₁exp[cot(v)θ]，θ表示极化角度，单位rad，cot(*)为余切函数。

按照本发明的另一方面，提供了一种基于上述任一项所述的密闭空间的智能噪音传感器的异常声音的检测与定位方法，包括：

对采集的传感器阵列数据进行声音信号降噪滤波；

采用高分辨率和低分辨率功率谱匹配度估计的异常声音检测方法对降噪滤波后的数据进行异常声音检测；

若存在异常声音，则同步进行视频信号采集、异常声音识别及异常声音定位；

将异常声音识别结果、异常声音定位结果及视频信号进行融合后，将融合结果进行可视化展示。

在一些可选的实施方案中，采用高分辨率和低分辨率功率谱匹配度估计的异常声音检测方法对降噪滤波后的数据进行异常声音检测，包括：

利用高分辨率谱对降噪滤波后的数据线谱进行初步检测，然后将初步检测后的信号用多个低分辨率谱进行校验来降低高分辨率谱的虚警率，并抽取出一组最有效和最具有代表性的特征，然后将抽取的特征向量从特征空间映射到目标类型空间，从而检测目标。

在一些可选的实施方案中，异常声音识别包括：

基于采集的环境噪音和异常声音搭建样本数据库，并利用并行结合CNN和LSTM的复合深度神经网络模型从噪声信号短时谱图中自动进行特征提取和分类识别，优化信号的局部时频信息和时序相关信息的表征，以提高异常噪音信号连续识别的鲁棒性和正确率。

在一些可选的实施方案中，复合深度神经网络模型包括CNN、LSTM、特征融合层、全连接层和Softmax层，其中，将异常声音信号分别输入CNN和LSTM中，CNN和LSTM得到的结果通过特征融合层融合后进入全连接层，然后经由Softmax层输出。

在一些可选的实施方案中，异常声音定位，包括：

利用传感器阵列采集目标的辐射噪音，对目标所在区域划分网格后采用球面波假设对各网格点进行数据处理，进而获得目标各部位的噪音源强度与频谱特征。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提出密闭空间的智能噪音传感器及异常声音检测与定位方法，旨在利用先进的人工智能与机器学习技术，设计一种智能传感器，能够进行密闭空间异常声音的检测与定位，提高潜器的安全监测能力，进而进一步精简人员的数量，促进无人化的发展。

(2)本发明提出一种完全自主可控的国产智能噪音传感器设计方案，本智能噪音传感器方案是基于国产元器件进行设计，自主可控，不受国外技术约束。

(3)本发明提出一种基于密闭空间的异常声音检测与定位方法，包括对告警音、金属滑落音、撞击音、喊叫音异常声音的检测与定位，该方法能够有效提升潜器异常状态监测的能力，能够快速帮助人员发现异常事件并进行准确定位，进而有效促进潜器舱室走向无人化的发展。

(4)体积小，可以节约空间并易于安装；重量轻，利于在重量控制严格的地方使用；防护等级高：IP68，可以在较为潮湿的环境试验使用；采用加固方式，抗振动，抗冲击，适用于船舶海洋恶劣环境下的网络应用场合。

附图说明

图1是本发明实施例提供的一种智能噪音传感器架构图；

图2是本发明实施例提供的一种智能噪音传感器外形图；

图3是本发明实施例提供的一种智能噪音传感器阵列图(64通道)；

图4是本发明实施例提供的一种异常声音检测与定位流程图；

图5是本发明实施例提供的一种复合深度神经网络模型。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示是本发明系统架构示意图，主要包括采集模块、主处理模块及接口模块；

采集模块主要完成声音数据的采集，包括传感器阵列和通道阵列采集，其中，传感器阵列和通道阵列采集可以选用国产传感器阵列和高性能的采集芯片进行设计。

主处理模块完成异常声音的检测与定位功能，并具备异常声音定位可视化功能，其中，主处理模块内部主要基于FPGA实现电路设计，完成核心处理功能，配置相机模组，进行视频图像显示，用于异常声音定位结果的可视化。

对于主处理模块，传统实现大量使用进口FPGA芯片，本发明考虑国产化芯片，最终FPGA芯片可以选用复旦微型号FMQL10S400芯片，该芯片具有四核Cortex-A7处理器，最高工作频率可达1GHz，支持DDR3模式，能够满足需求，主处理模块中其余所有电子元器件也均选用国产器件。

接口模块主要完成外部电源输入的适配，以及与外部进行通信的功能。本发明采用两种外部接口，一种是标准的POE接口，另一个是以太网+DC24V供电接口，两个接口互为备用。可适应标准化的POE供电与通信，同时也可满足潜器的专用需求，并且可以提高设备的可靠性。接口模块所有电子元器件均为国产器件。

在本发明实施例中，为了满足潜器密闭空间应用场景，智能噪音传感器结构总体设计思想是轻量化，小型化；同时兼顾安装方便、装配简单、角度可调、电磁兼容、密封、抗冲击要求等。结构示意图如图2所示。智能噪音传感器设备外观主体结构分为前面板与主机壳。整体密封腔体与外界接触的部分主要有前面板和主机壳连接处、摄像头玻璃与前面板连接处、噪音传感器阵列开孔处、主机壳和连接器连接处。摄像头玻璃采用灌胶密封处理。前面板和主机壳连接螺钉孔处在装配完成后适当点胶密封。密封条选用导电型环形结构，在起到密封的同时阻止电磁信号通过。用户连接器采用螺钉安装紧固使接插件和结构件充分接触，内部灌胶密封，避免电磁泄漏。经过结构设计与工艺处理，传感器阵列腔体在实现电磁兼容性要求的同时，防尘防水等级上可达IP68。

本发明实施例还提供一种基于密闭空间的异常声音检测与定位方法，该方法包括如下步骤：

(1)设计一种64通道传感器阵列进行声音信号收集；

(2)采集传感器阵列信号；

(3)对声音信号进行降噪滤波；

(4)进行异常声音检测，本发明采用高分辨率和低分辨率功率谱匹配度估计的异常声音检测方法；

(5)同步进行异常声音识别、异常声音定位、视频信号采集，考虑CNN和LSTM各自的优点及本应用场景的特点，本发明提出一种并行结合CNN和LSTM的复合深度神经网络模型，来实现异常声音识别；

(6)将定位结果与视频图像进行融合；

(7)将结果输出。

其中，传感器阵列设计如下：

本发明设计了一种64通道传感器阵列进行声音信号收集，如图3所示，阵列圆面最大直径180mm。该阵列兼顾基本的对数螺旋阵用于声源的各项优点，同时基于本设备小型化的特点、潜器密闭空间等特点，设计了一种新型的64通道传感器阵列，通过仿真分析与试验，该阵列能够有效地解决密闭空间异常声音检测与定位的问题。

本发明基于多臂对数螺旋阵的设计原则，设计了64通道传感器阵列阵型，该多臂对数螺旋阵设计中需要考虑的参数有最内环半径r₁，最外环半径r₂，螺旋角v，臂数m，各臂上的阵元数，即环数n，以及阵元分布策略。每条对数螺旋臂的曲线为：

r(θ)＝r₁exp[cot(v)θ]

θ表示极化角度，单位rad，cot(*)为余切函数。

其中，异常声音检测与定位如下：

异常声音检测与定位的主要流程如图4所示，首先通过对采集的64通道传感器阵列数据，进行声音信号降噪滤波，然后通过异常声音检测技术进行异常声音进行判别。如果发现了所定义的四类声音(告警音、金属滑落音、撞击音、喊叫音)，则同步进行视频信号采集、异常声音识别、异常声音定位。最后通过将异常声音识别结果、异常声音定位结果及视频信号进行融合，将结果输出给用户。

其中，异常声音检测可以通过以下方式实现：

异常声音检测过程是获得目标辐射噪音信号特征后可对异常声音实现检测，并从中抽取出一组最有效和最具有代表性的特征，然后将特征向量从特征空间映射到目标类型空间，从而检测目标。在本发明中，考虑潜器密闭空间特点，容易产生混响的影响，因此传统的能量检测方法无法获得理想的检测效果，本发明采用高分辨率和低分辨率功率谱匹配度估计的异常声音检测方法。该方法利用高分辨率谱对线谱进行初步检测，然后将初步检测后的帧信号用多个低分辨率谱进行校验来降低高分辨率谱的虚警率。相比于传统检测算法，新方法不需要预知噪声功率谱，且具有计算复杂度低，虚警率恒定等优点。

其中，异常声音识别可以通过以下方式实现：

为了满足本发明的应用场景，需要分辨出异常声音的种类，即告警音、金属滑落音、撞击音、喊叫音。近年来随着深度学习技术的快速发展，深度学习等机器学习方法被越来越多的用于声信号识别，以实现目标声学特征优化和识别。本发明应用中由于潜器密闭空间中存在多径传播，导致直达声与反射声之间的相位差变化明显，信号在某些频率上相互抵消或增强，短时谱图中产生多个波谷、波峰。这些波谷、波峰改变了部分线谱信号的信噪比，使声信号特征频率表征的连续性、稳定性受到干扰。这些干扰，加上实际应用中机械噪声等环境噪声的影响，使得异常声音的连续识别鲁棒性受到影响，往往不能连续正确识别。因此本发明在长期采集环境噪音和异常声音的基础上，搭建样本数据库，并利用机器学习技术从噪声信号短时谱图中自动进行特征提取和分类识别，优化信号的局部时频信息和时序相关信息的表征，以提高异常噪音信号连续识别的鲁棒性和正确率。卷积神经网络(Convolutional Neural Network,CNN)和长短时记忆神经网络(Long Short-TermMemory,LSTM)是深度学习中的经典模型，已被广泛应用语音识别、声学场景分析等众多研究和应用领域。本发明中，考虑CNN和LSTM各自的优点及本发明应用场景的特点，采用一种并行结合CNN和LSTM的复合深度神经网络模型，来实现异常声音识别。复合深度神经网络模型架构如图5所示，通过仿真分析，该方法在本发明应用场景中取得了较好的效果。

其中，异常声音定位可以通过以下方式实现：

异常声音定位方法利用传感器阵列采集目标的辐射噪音，对目标所在区域划分网格后采用球面波假设对各网格点进行数据处理，进而获得目标各部位的噪音源强度与频谱特征。常见的声音源定位方法大多基于波束形成类方法，本发明在嵌入式软件中采用延迟求和波束形成方法进行异常声音定位。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种密闭空间的智能噪音传感器，其特征在于，包括：采集模块、主处理模块及接口模块；

所述采集模块用于完成声音数据的采集，包括依次连接的传感器阵列和通道阵列采集；所述主处理模块用于完成异常声音的检测与定位功能，并具备异常声音定位可视化功能；所述接口模块用于完成外部电源输入的适配，以及与外部进行通信的功能。

2.根据权利要求1所述的智能噪音传感器，其特征在于，所述主处理模块内部基于FPGA实现电路设计，并配置相机模组，进行视频图像显示，用于异常声音定位结果的可视化。

3.根据权利要求2所述的智能噪音传感器，其特征在于，所述接口模块采用两种外部接口，一种是标准的POE接口，另一个是以太网+DC24V供电接口，两个接口互为备用。

4.根据权利要求1至3任一项所述的智能噪音传感器，其特征在于，所述智能噪音传感器外观主体结构分为前面板与主机壳，整体密封腔体与外界接触的部分有前面板和主机壳连接处、摄像头玻璃与前面板连接处、噪音传感器阵列开孔处、主机壳和连接器连接处，摄像头玻璃采用灌胶密封处理，前面板和主机壳连接螺钉孔处在装配完成后适当点胶密封，密封条选用导电型环形结构，用户连接器采用螺钉安装紧固使接插件和结构件充分接触，内部灌胶密封，避免电磁泄漏。

5.根据权利要求4所述的智能噪音传感器，其特征在于，所述传感器阵列基于多臂对数螺旋阵的设计原则，设计了多通道传感器阵列阵型，该多臂对数螺旋阵设计中需要考虑的参数有最内环半径r₁，最外环半径r₂，螺旋角v，臂数m，各臂上的阵元数，即环数n，以及阵元分布策略，每条对数螺旋臂的曲线为：r(θ)＝r₁exp[cot(v)θ]，θ表示极化角度，单位rad，cot(*)为余切函数。

6.一种基于权利要求1至5任一项所述的密闭空间的智能噪音传感器的异常声音的检测与定位方法，其特征在于，包括：

对采集的传感器阵列数据进行声音信号降噪滤波；

采用高分辨率和低分辨率功率谱匹配度估计的异常声音检测方法对降噪滤波后的数据进行异常声音检测；

若存在异常声音，则同步进行视频信号采集、异常声音识别及异常声音定位；

将异常声音识别结果、异常声音定位结果及视频信号进行融合后，将融合结果进行可视化展示。

7.根据权利要求6所述的方法，其特征在于，采用高分辨率和低分辨率功率谱匹配度估计的异常声音检测方法对降噪滤波后的数据进行异常声音检测，包括：

利用高分辨率谱对降噪滤波后的数据线谱进行初步检测，然后将初步检测后的信号用多个低分辨率谱进行校验来降低高分辨率谱的虚警率，并抽取出一组最有效和最具有代表性的特征，然后将抽取的特征向量从特征空间映射到目标类型空间，从而检测目标。

8.根据权利要求7所述的方法，其特征在于，异常声音识别包括：

基于采集的环境噪音和异常声音搭建样本数据库，并利用并行结合CNN和LSTM的复合深度神经网络模型从噪声信号短时谱图中自动进行特征提取和分类识别，优化信号的局部时频信息和时序相关信息的表征，以提高异常噪音信号连续识别的鲁棒性和正确率。

9.根据权利要求8所述的方法，其特征在于，复合深度神经网络模型包括CNN、LSTM、特征融合层、全连接层和Softmax层，其中，将异常声音信号分别输入CNN和LSTM中，CNN和LSTM得到的结果通过特征融合层融合后进入全连接层，然后经由Softmax层输出。

10.根据权利要求9所述的方法，其特征在于，异常声音定位，包括：

利用传感器阵列采集目标的辐射噪音，对目标所在区域划分网格后采用球面波假设对各网格点进行数据处理，进而获得目标各部位的噪音源强度与频谱特征。

Images