CN114001816B - 一种基于mpsoc的声学成像仪音频采集系统 - Google Patents

一种基于mpsoc的声学成像仪音频采集系统 Download PDF

Info

Publication number
CN114001816B
CN114001816B CN202111638160.5A CN202111638160A CN114001816B CN 114001816 B CN114001816 B CN 114001816B CN 202111638160 A CN202111638160 A CN 202111638160A CN 114001816 B CN114001816 B CN 114001816B
Authority
CN
China
Prior art keywords
digital
module
unit
output
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111638160.5A
Other languages
English (en)
Other versions
CN114001816A (zh
Inventor
门正兴
包芸奇
黄富强
陈虎
屈仁春
黎桂岑
王伟
龚宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aeronautic Polytechnic
Original Assignee
Chengdu Aeronautic Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aeronautic Polytechnic filed Critical Chengdu Aeronautic Polytechnic
Priority to CN202111638160.5A priority Critical patent/CN114001816B/zh
Publication of CN114001816A publication Critical patent/CN114001816A/zh
Application granted granted Critical
Publication of CN114001816B publication Critical patent/CN114001816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H11/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties
    • G01H11/06—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties by electric means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
    • G01M3/04—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point
    • G01M3/24—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point using infrasonic, sonic, or ultrasonic vibrations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/12—Testing dielectric strength or breakdown voltage ; Testing or monitoring effectiveness or level of insulation, e.g. of a cable or of an apparatus, for example using partial discharge measurements; Electrostatic testing
    • G01R31/1209—Testing dielectric strength or breakdown voltage ; Testing or monitoring effectiveness or level of insulation, e.g. of a cable or of an apparatus, for example using partial discharge measurements; Electrostatic testing using acoustic measurements

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种基于MPSOC的声学成像仪音频采集系统，其包括数字麦克风采集模块、主处理器模块、内存模块、声源分布显示模块、用户操作输入模块；所述主处理器模块包括FPGA子模块，用于将数字信号进行数字滤波和扫描降噪，包括ARM子模块，用于获取频谱特性参数和进行波束成形和重构成像；数字麦克风采集模块，用于采集并将音频信号处理成数字信号；内存模块，用于给FPGA子模块提供加速，以及给主处理器模块提供物理内存；声源分布显示模块，用于显示采集到的声源分布图像。上述FPGA子模块和ARM子模块设置在一个MPSOC芯片中，通过AXI总线进行通信，提高了系统的采集速率、测量精度和减小了系统功耗。

Description

一种基于MPSOC的声学成像仪音频采集系统
技术领域
本发明涉及声学成像仪技术领域，具体涉及一种基于MPSOC的声学成像仪音频采集系统。
背景技术
声学成像是基于传声器阵列测量技术，通过测量一定空间内的声波到达各传声器的信号相位差异，依据相控阵原理确定声源的位置，测量声源的幅值，并以图像的方式显示声源在空间的分布，即取得空间声场分布云图－声像图，其中以图像的颜色和亮度代表强弱。将声像图与阵列上配装的摄像头所拍的视频图像以透明的方式叠合在一起，就形成了可直观分析被测物产生状态。这种利用声学、电子学和信息处理等技术，变换成人眼可见的图像的技术可以帮助人们直观地认识声场、声波、声源，便捷地了解机器设备产生的部位和原因，机器设备的声像图反映了其所处的状态。
声学成像仪一般需要一种多传声器阵列，即由MEMS数字麦克风阵列组成，一般通过连接DSP或者FPGA作为扫描预处理，通过DSP或者FPGA内部的数字滤波器滤除麦克风噪声，并进行同步扫描以及快速傅里叶变换FFT，然后进行频谱特性分析，最后获得到声场分布图。一般声学成像仪需要两个或两个以上的处理芯片完成处理，这样不仅存在芯片间的处理延迟，在整体系统功耗上也比较大。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于MPSOC的声学成像仪音频采集系统解决了现有技术延迟长和功耗大的问题。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种基于MPSOC的声学成像仪音频采集系统，其包括数字麦克风采集模块、主处理器模块、内存模块、声源分布显示模块、用户操作输入模块；主处理器模块包括FPGA子模块和ARM子模块；
数字麦克风采集模块，用于采集音频信号，并将音频信号处理成数字信号；
FPGA子模块，用于将数字信号进行数字滤波和扫描降噪，得到频谱特性；
ARM子模块，用于获取频谱特性参数，进行频谱计算，且进行波束成形和重构成像，得到声源分布图像；
内存模块，用于给FPGA子模块提供加速，以及给主处理器模块提供物理内存；
声源分布显示模块，用于显示采集到的声源分布图像；
用户操作输入模块，用于调整系统参数，系统参数包括增益和滤波器带宽。
进一步地：
内存模块包括DDR4内存模块和LPDDR4内存模块；
DDR4内存模块，用于给FPGA模块提供加速；
LPDDR4内存模块，用于作为主处理器模块的物理内存。
进一步地：
FPGA子模块包括PDM时钟控制器、前置数字滤波单元、低通滤波器、麦克风阵列扫描单元、存储器、麦克风前端降噪单元、快速傅里叶变换单元、卷积神经网络单元和DDR4控制器；
PDM时钟控制器分别与数字麦克风采集模块和ARM子模块相连，用于接收ARM子模块的频率控制信号并控制数字麦克风采集模块；
前置数字滤波单元与数字麦克风采集模块相连，用于将来自数字麦克风采集模块的数字信号进行数字滤波；
低通滤波器与前置数字滤波单元相连，用于将数字滤波后的数字信号进行低通滤波；
麦克风阵列扫描单元与低通滤波器相连，用于将低通滤波后的数字信号进行阵列扫描和信号合成，得到合成的音频信号；
存储器与麦克风阵列扫描单元相连，用于存储合成的音频信号；
麦克风前端降噪单元分别与RAM子模块和存储器相连，用于对合成的音频信号进行降噪处理；
所述快速傅里叶变换单元分别与麦克风前端降噪单元和ARM子模块相连，用于将降噪后的音频信号进行快速傅里叶变换，得到并将频谱特性发送至ARM子模块；
卷积神经网络单元，用于对ARM子模块获取的频谱特性参数进行处理，并将处理后的结果送回ARM子模块；
DDR4控制器，用于向卷积神经网络单元提供DDR4内存模块来实现加速运行。
进一步地：
ARM子模块包括频谱特性分析单元、带通滤波器、目标声源定位与波束成型单元、主控制器及自适应降噪控制单元、噪声智能识别单元和LPDDR4控制器；
频谱特性分析单元与快速傅里叶变换单元相连，用于对频谱特性进行互谱和自谱计算，得到信号功率谱；
噪声智能识别单元，用于从主控制器及自适应降噪控制单元获取频谱特性参数，并发送至卷积神经网络单元，识别卷积神经网络单元的对频谱特性参数进行处理后的噪声，将结果反馈至主控制器及自适应降噪控制单元；
主控制器及自适应降噪控制单元，用于接收频谱特性分析单元的处理结果，并发送给噪声智能识别单元；接收噪声智能识别单元的反馈；接收并根据用户操作输入模块的输入对相应模块进行工作参数调整，把调整后的工作参数发送至相应模块；
带通滤波器，用于对频谱特性分析单元处理结果和主控制器及自适应降噪控制单元处理结果进行带通滤波；
目标声源定位与波束成型单元，用于通过带通滤波后的结果进行目标声源定位与波束成型，得到声源分布图像；
LPDDR4控制器分别连接噪声智能识别单元和LPDDR4内存模块，用于驱动LPDDR4内存模块。
进一步地：数字麦克风采集模块包括64个MEMS数字超声波麦克风，前置数字滤波单元和低通滤波器的数量与MEMS数字超声波麦克风的数量相等。
进一步地：卷积神经网络单元包括卷积层、池化层和矩阵乘法计算结构。
进一步地：
PDM时钟控制器的输出为0时，数字麦克风采集模块处于关机模式；
PDM时钟控制器的输出为250kHz时，数字麦克风采集模块处于待机模式；
PDM时钟控制器的输出为1.024MHz时，数字麦克风采集模块处于标准模式，采集带宽为0-20kHz；
PDM时钟控制器的输出为351kHz时，数字麦克风采集模块处于低电量模式；
PDM时钟控制器的输出为3.072MHz时，数字麦克风采集模块处于超声波模式，采集带宽为0-80kHz。
进一步地：
前置数字滤波单元包括累加器、抽取器、差分器、输出寄存器和输出同步器；
累加器，用于对输入的数字信号进行算术累加，并进行5次迭代；
抽取器，用于获取前置数字滤波单元的抽头个数，即前置数字滤波单元的系数；
差分器，用于对累加器的输出数据进行迭代求差；
输出寄存器，用于寄存差分器的输出数据，并根据外部输入的抽取速率选择输出；
输出同步器，用于对累加器和差分器的输出信号实现同步输出。
进一步地：
前置数字滤波单元的输入信号包括时钟信号、数字信号、抽取速率信号和复位信号；前置数字滤波单元的输出信号包括数字输出信号、数据使能信号；
时钟信号分别输入累加器、抽取器和输出同步器；
数字信号输入累加器；
抽取速率信号分别输入抽取器、输出寄存器和输出同步器；
复位信号分别输入累加器、抽取器、差分器和输出同步器；
输出寄存器输出数字输出信号；
输出同步器输出数据使能信号。
本发明的有益效果为：降低了原有声学成像仪多板级芯片的系统功耗，提高手持声学成像仪的续航能力。通过在MPSOC的FPGA部分实现多麦克风数字滤波和扫描，提高了扫描系统的速率，并且对于快速傅里叶变换FFT进行优化，提高了仪器的采样速率和测量精度。在对于一种基于MPSOC的声学成像仪音频采集系统气动系统检漏，电力系统局部放电检测，空气动力学分析等领域具有更显著的应用价值。
附图说明
图1为本发明整体结构框图；
图2为本发明细节结构框图；
图3为数字麦克风采集模块的工作模式图；
图4为SINC5前置数字滤波器单元的内部结构图；
图5为目标声源定位及波束成型单元内部结构图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1和图2所示，该基于MPSOC的声学成像仪音频采集系统，包括数字麦克风采集模块、主处理器模块、内存模块、声源分布显示模块、用户操作输入模块；主处理器模块包括FPGA子模块和ARM子模块；
数字麦克风采集模块，用于采集音频信号，并将音频信号处理成数字信号；
FPGA子模块，用于将数字信号进行数字滤波和扫描降噪，得到频谱特性；
ARM子模块，用于获取频谱特性参数，进行频谱计算，且进行波束成形和重构成像，得到声源分布图像；
内存模块，用于给FPGA子模块提供加速，以及给主处理器模块提供物理内存；
声源分布显示模块，用于显示采集到的声源分布图像；
用户操作输入模块，用于调整系统参数，系统参数包括增益和滤波器带宽。
内存模块包括DDR4内存模块和LPDDR4内存模块；
DDR4内存模块，用于给FPGA模块提供加速；
LPDDR4内存模块，用于作为主处理器模块的物理内存。
FPGA子模块包括PDM时钟控制器、前置数字滤波单元、低通滤波器、麦克风阵列扫描单元、存储器、麦克风前端降噪单元、快速傅里叶变换单元、卷积神经网络单元和DDR4控制器；
PDM时钟控制器分别与数字麦克风采集模块和ARM子模块相连，用于接收ARM子模块的频率控制信号并控制数字麦克风采集模块；
前置数字滤波单元与数字麦克风采集模块相连，用于将来自数字麦克风采集模块的数字信号进行数字滤波；
低通滤波器与前置数字滤波单元相连，用于将数字滤波后的数字信号进行低通滤波；
麦克风阵列扫描单元与低通滤波器相连，用于将低通滤波后的数字信号进行阵列扫描和信号合成，得到合成的音频信号；
存储器与麦克风阵列扫描单元相连，用于存储合成的音频信号；
麦克风前端降噪单元分别与RAM子模块和存储器相连，用于对合成的音频信号进行降噪处理；
所述快速傅里叶变换单元分别与麦克风前端降噪单元和ARM子模块相连，用于将降噪后的音频信号进行快速傅里叶变换，得到并将频谱特性发送至ARM子模块；
卷积神经网络单元，用于对ARM子模块获取的频谱特性参数进行处理，并将处理后的结果送回ARM子模块；
DDR4控制器，用于向卷积神经网络单元提供DDR4内存模块来实现加速运行。
ARM子模块包括频谱特性分析单元、带通滤波器、目标声源定位与波束成型单元、主控制器及自适应降噪控制单元、噪声智能识别单元和LPDDR4控制器；
频谱特性分析单元与快速傅里叶变换单元相连，用于对频谱特性进行互谱和自谱计算，得到信号功率谱；
噪声智能识别单元，用于从主控制器及自适应降噪控制单元获取频谱特性参数，并发送至卷积神经网络单元，识别卷积神经网络单元的对频谱特性参数进行处理后的噪声，将结果反馈至主控制器及自适应降噪控制单元；
主控制器及自适应降噪控制单元，用于接收频谱特性分析单元的处理结果，并发送给噪声智能识别单元；接收噪声智能识别单元的反馈；接收并根据用户操作输入模块的输入对相应模块进行工作参数调整，把调整后的工作参数发送至相应模块；
带通滤波器，用于对频谱特性分析单元处理结果和主控制器及自适应降噪控制单元处理结果进行带通滤波；
目标声源定位与波束成型单元，用于通过带通滤波后的结果进行目标声源定位与波束成型，得到声源分布图像；
LPDDR4控制器分别连接噪声智能识别单元和LPDDR4内存模块，用于驱动LPDDR4内存模块。
数字麦克风采集模块包括64个MEMS数字超声波麦克风，前置数字滤波单元和低通滤波器的数量与MEMS数字超声波麦克风的数量相等。
卷积神经网络单元包括卷积层、池化层和矩阵乘法计算结构。
如图3所示，PDM时钟控制器的输出为0时，数字麦克风采集模块处于关机模式；
PDM时钟控制器的输出为250kHz时，数字麦克风采集模块处于待机模式；
PDM时钟控制器的输出为1.024MHz时，数字麦克风采集模块处于标准模式，采集带宽为0-20kHz；
PDM时钟控制器的输出为351kHz时，数字麦克风采集模块处于低电量模式；
PDM时钟控制器的输出为3.072MHz时，数字麦克风采集模块处于超声波模式，采集带宽为0-80kHz。
前置数字滤波单元包括累加器、抽取器、差分器、输出寄存器和输出同步器；
累加器，用于对输入的数字信号进行算术累加，并进行5次迭代；
抽取器，用于获取前置数字滤波单元的抽头个数，即前置数字滤波单元的系数；
差分器，用于对累加器的输出数据进行迭代求差；
输出寄存器，用于寄存差分器的输出数据，并根据外部输入的抽取速率选择输出；
输出同步器，用于对累加器和差分器的输出信号实现同步输出。
如图4所示，前置数字滤波单元的输入信号包括时钟信号、数字信号、抽取速率信号和复位信号；前置数字滤波单元的输出信号包括数字输出信号、数据使能信号；
时钟信号分别输入累加器、抽取器和输出同步器；
数字信号输入累加器；
抽取速率信号分别输入抽取器、输出寄存器和输出同步器；
复位信号分别输入累加器、抽取器、差分器和输出同步器；
输出寄存器输出数字输出信号；
输出同步器输出数据使能信号。
在本发明的一个实施例中：
本领域技术人员应当理解的是，所述FPGA子模块和ARM子模块在一个MPSOC芯片中完成，通过芯片内部AXI总线进行通信。本发明实施例采用的一实施例方案采用的是美国XILINX公司的ZYNQ ULTRASCALE MPSOC。
如图5所示，目标声源定位与波束成型单元包括输入待测信号，计算协方差矩阵，对协方差矩阵进行特征分解，将分解后的参数进行二维MUSIC谱峰搜索，根据搜索结果得到声波到达方位角和俯仰角并输出；该单元主要采用了DOA方向估计算法实现对目标声源的俯仰角和方位角实现估算，从而得到声源分布图像。
第一步，输入待测信号：
将频谱特性分析单元输出的信号功率谱带通滤波后，输入目标声源定位与波束成型单元；
将带通滤波器单元输出的频域信号进行逆快速傅里叶变换，得到时域信号s(t)；本发明实施例中，麦克风阵列数量m=64，其阵列构型主要为螺旋线型，这样可以降低旁瓣，从而使方向更加集中；
由m个麦克风阵列组成的任意阵列被k个窄带信号源（即目标声源）激励，定义三维空间中第m个麦克风的笛卡尔坐标为r m =(x m ,y m ,z m ) ；
麦克风构型的第k个方向向量为：
Figure 913679DEST_PATH_IMAGE001
其中cos为余弦函数，sin为正弦函数，
Figure 420884DEST_PATH_IMAGE002
为第k个方位角，
Figure DEST_PATH_IMAGE004AAA
为第k个俯仰角，λ为声波波长，j为虚数单位，π为180度角，
Figure 492745DEST_PATH_IMAGE005
为大小为M×1的矩阵；
方向矩阵为
Figure 401796DEST_PATH_IMAGE006
，
Figure 940224DEST_PATH_IMAGE007
为大小为M×K 的矩阵，麦克风阵列接收信号表达为x(t)=As(t)+n(t)，从而得到接收信号模型为X=AS+N，S为输入麦克风阵列信号，n(t)和N均为噪声。
第二步，计算协方差矩阵：
计算接收信号的协方差矩阵
Figure 934725DEST_PATH_IMAGE008
，进一步计算得到协方差计算公式
Figure 341436DEST_PATH_IMAGE009
，其中L为快拍数，所述快拍数是指输入信号时域上的采样点数；
Figure 104992DEST_PATH_IMAGE010
和
Figure 79902DEST_PATH_IMAGE011
为接收信号的复共轭转置矩阵，协方差计算位于信号时域上；并通过MDL信息论准则对信源个数k进行估计。
第三步，对协方差矩阵进行特征分解，得到：
Figure 296119DEST_PATH_IMAGE012
其中D s 表示对角元素包含K个较大特征值的K×K维对角矩阵，D n 表示对角元素包含4M-K个较小特征值的对角矩阵。E s 为信号子空间矩阵，E n 为噪声子空间矩阵，
Figure 506521DEST_PATH_IMAGE013
为信号子空间矩阵取共轭转置，
Figure 124584DEST_PATH_IMAGE014
为噪声子空间矩阵E n 取共轭转置。
第四步，将分解后的参数进行二维MUSIC谱峰搜索，其中方位角θ和俯仰角φ在一定范围里进行扫描，比如方位角θ可以在
Figure 67132DEST_PATH_IMAGE015
范围里扫描，俯仰角φ在
Figure 708329DEST_PATH_IMAGE016
范围内扫描。根据二维任意阵列MUSIC谱峰搜索函数为：
Figure 394525DEST_PATH_IMAGE017
其中f 2D-MUSIC (θ, φ)的值即为由方位角θ和俯仰角φ构成二维平面的谱峰的幅度大小，以dB表示，其最大值所对应的函数值，即方位角θ和俯仰角φ，即为二维面阵上声波到达的方位角和俯仰角，通过对函数值方位角θ和俯仰角φ的不断扫描遍历搜索，进而计算出声源在二维空间中的位置。
第五步，输出方位角和俯仰角。
本领域技术人员应当理解的是，对上述二维MUSIC算法可以进行降维计算，可以降低算法的复杂度，从而降低处理器功耗，在本发明中不再赘述。
本发明降低了原有声学成像仪多板级芯片的系统功耗，提高手持声学成像仪的续航能力。通过在MPSOC的FPGA部分实现多麦克风数字滤波和扫描，提高了扫描系统的速率，并且对于快速傅里叶变换FFT进行优化，提高了仪器的采样速率和测量精度。在对于一种基于MPSOC的声学成像仪音频采集系统气动系统检漏，电力系统局部放电检测，空气动力学分析等领域具有更显著的应用价值。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (7)

1.一种基于MPSOC的声学成像仪音频采集系统，其特征在于：包括数字麦克风采集模块、主处理器模块、内存模块、声源分布显示模块、用户操作输入模块；所述主处理器模块包括FPGA子模块和ARM子模块；
所述数字麦克风采集模块，用于采集音频信号，并将音频信号处理成数字信号；
所述FPGA子模块，用于将数字信号进行数字滤波和扫描降噪，得到频谱特性；
所述ARM子模块，用于获取频谱特性参数，进行频谱计算，且进行波束成形和重构成像，得到声源分布图像；
所述内存模块，用于给FPGA子模块提供加速，以及给主处理器模块提供物理内存；
所述声源分布显示模块，用于显示采集到的声源分布图像；
所述用户操作输入模块，用于调整系统参数，系统参数包括增益和滤波器带宽；
所述内存模块包括DDR4内存模块和LPDDR4内存模块；
所述DDR4内存模块，用于给FPGA模块提供加速；
所述LPDDR4内存模块，用于作为主处理器模块的物理内存；
所述FPGA子模块包括PDM时钟控制器、前置数字滤波单元、低通滤波器、麦克风阵列扫描单元、存储器、麦克风前端降噪单元、快速傅里叶变换单元、卷积神经网络单元和DDR4控制器；
所述PDM时钟控制器分别与数字麦克风采集模块和ARM子模块相连，用于接收ARM子模块的频率控制信号并控制数字麦克风采集模块；
所述前置数字滤波单元与数字麦克风采集模块相连，用于将来自数字麦克风采集模块的数字信号进行数字滤波；
所述低通滤波器与前置数字滤波单元相连，用于将数字滤波后的数字信号进行低通滤波；
所述麦克风阵列扫描单元与低通滤波器相连，用于将低通滤波后的数字信号进行阵列扫描和信号合成，得到合成的音频信号；
所述存储器与麦克风阵列扫描单元相连，用于存储合成的音频信号；
所述麦克风前端降噪单元分别与RAM子模块和存储器相连，用于对合成的音频信号进行降噪处理；
所述快速傅里叶变换单元分别与麦克风前端降噪单元和ARM子模块相连，用于将降噪后的音频信号进行快速傅里叶变换，得到并将频谱特性发送至ARM子模块；
所述卷积神经网络单元，用于对ARM子模块获取的频谱特性参数进行处理，并将处理后的结果送回ARM子模块；
所述DDR4控制器，用于向卷积神经网络单元提供DDR4内存模块来实现加速运行。
2.根据权利要求1所述的基于MPSOC的声学成像仪音频采集系统，其特征在于：
所述ARM子模块包括频谱特性分析单元、带通滤波器、目标声源定位与波束成型单元、主控制器及自适应降噪控制单元、噪声智能识别单元和LPDDR4控制器；
所述频谱特性分析单元与快速傅里叶变换单元相连，用于对频谱特性进行互谱和自谱计算，得到信号功率谱；
所述噪声智能识别单元，用于从主控制器及自适应降噪控制单元的信号功率谱中获取频谱特性参数，并发送至卷积神经网络单元，识别卷积神经网络单元的对频谱特性参数进行处理后的噪声，将结果反馈至主控制器及自适应降噪控制单元；
所述主控制器及自适应降噪控制单元，用于接收频谱特性分析单元的处理结果，并发送给噪声智能识别单元；接收噪声智能识别单元的反馈；接收并根据用户操作输入模块的输入对相应模块进行工作参数调整，把调整后的工作参数发送至相应模块；
所述带通滤波器，用于对频谱特性分析单元处理结果和主控制器及自适应降噪控制单元处理结果进行带通滤波；
所述目标声源定位与波束成型单元，用于通过带通滤波后的结果进行目标声源定位与波束成型，得到声源分布图像；
所述LPDDR4控制器分别连接噪声智能识别单元和LPDDR4内存模块，用于驱动LPDDR4内存模块。
3.根据权利要求1所述的基于MPSOC的声学成像仪音频采集系统，其特征在于：所述数字麦克风采集模块包括64个MEMS数字超声波麦克风，前置数字滤波单元和低通滤波器的数量与MEMS数字超声波麦克风的数量相等。
4.根据权利要求1所述的基于MPSOC的声学成像仪音频采集系统，其特征在于：所述卷积神经网络单元包括卷积层、池化层和矩阵乘法计算结构。
5.根据权利要求1所述的基于MPSOC的声学成像仪音频采集系统，其特征在于：
所述PDM时钟控制器的输出为0时，数字麦克风采集模块处于关机模式；
所述PDM时钟控制器的输出为250kHz时，数字麦克风采集模块处于待机模式；
所述PDM时钟控制器的输出为1.024MHz时，数字麦克风采集模块处于标准模式，采集带宽为0-20kHz；
所述PDM时钟控制器的输出为351kHz时，数字麦克风采集模块处于低电量模式；
所述PDM时钟控制器的输出为3.072MHz时，数字麦克风采集模块处于超声波模式，采集带宽为0-80kHz。
6.根据权利要求1所述的基于MPSOC的声学成像仪音频采集系统，其特征在于：
所述前置数字滤波单元包括累加器、抽取器、差分器、输出寄存器和输出同步器；
所述累加器，用于对输入的数字信号进行算术累加，并进行5次迭代；
所述抽取器，用于获取前置数字滤波单元的抽头个数，即前置数字滤波单元的系数；
所述差分器，用于对累加器的输出数据进行迭代求差；
所述输出寄存器，用于寄存差分器的输出数据，并根据外部输入的抽取速率选择输出；
所述输出同步器，用于对累加器和差分器的输出信号实现同步输出。
7.根据权利要求6所述的基于MPSOC的声学成像仪音频采集系统，其特征在于：
所述前置数字滤波单元的输入信号包括时钟信号、数字信号、抽取速率信号和复位信号；所述前置数字滤波单元的输出信号包括数字输出信号、数据使能信号；
所述时钟信号分别输入累加器、抽取器和输出同步器；
所述数字信号输入累加器；
所述抽取速率信号分别输入抽取器、输出寄存器和输出同步器；
所述复位信号分别输入累加器、抽取器、差分器和输出同步器；
所述输出寄存器输出数字输出信号；
所述输出同步器输出数据使能信号。
CN202111638160.5A 2021-12-30 2021-12-30 一种基于mpsoc的声学成像仪音频采集系统 Active CN114001816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111638160.5A CN114001816B (zh) 2021-12-30 2021-12-30 一种基于mpsoc的声学成像仪音频采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111638160.5A CN114001816B (zh) 2021-12-30 2021-12-30 一种基于mpsoc的声学成像仪音频采集系统

Publications (2)

Publication Number Publication Date
CN114001816A CN114001816A (zh) 2022-02-01
CN114001816B true CN114001816B (zh) 2022-03-08

Family

ID=79932445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111638160.5A Active CN114001816B (zh) 2021-12-30 2021-12-30 一种基于mpsoc的声学成像仪音频采集系统

Country Status (1)

Country Link
CN (1) CN114001816B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495971A (zh) * 2022-02-25 2022-05-13 四川天中星航空科技有限公司 一种采用嵌入式硬件运行神经网络的语音增强方法
CN115113141A (zh) * 2022-06-07 2022-09-27 国网湖北省电力有限公司电力科学研究院 一种基于mems麦克风的声像仪系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07219581A (ja) * 1994-01-31 1995-08-18 Babcock Hitachi Kk 音響信号の識別方法および装置
CN101846594A (zh) * 2010-06-22 2010-09-29 上海交通大学 基于波束形成声像模式识别的故障检测装置及其检测方法
KR20110031647A (ko) * 2009-09-21 2011-03-29 삼성전자주식회사 이기종 멀티프로세서 시스템 온 칩에서의 ｒｐｃ 데이터 배치 방법 및 장치
CN102184321A (zh) * 2002-07-09 2011-09-14 威洛吉公司 软件中的有源干涉信号分析
CN103278801A (zh) * 2013-05-22 2013-09-04 河南省电力公司周口供电公司 一种变电站噪声成像侦测装置及侦测计算方法
WO2016049513A1 (en) * 2014-09-25 2016-03-31 Sunhouse Technologies, Inc. Systems and methods for capturing and interpreting audio
CN105534546A (zh) * 2015-12-30 2016-05-04 哈尔滨工业大学 一种基于zynq系列fpga的超声成像方法
CN106441553A (zh) * 2016-09-30 2017-02-22 中国海洋大学 一种基于海洋环境噪声的声学监测系统及方法
CN107238498A (zh) * 2017-08-01 2017-10-10 四川霄云航空科技有限公司 一种用于涡轴发动机振动监测数据的装置
CN111681668A (zh) * 2020-05-20 2020-09-18 陕西金蝌蚪智能科技有限公司 声学成像方法及终端设备
CN112557512A (zh) * 2020-11-26 2021-03-26 国网上海市电力公司 声成像方法、装置、设备及基于声成像设备的巡检机器人
CN213715133U (zh) * 2020-12-31 2021-07-16 西北工业大学深圳研究院 一种基于边缘计算平台实现的声学成像装置
CN113267330A (zh) * 2021-05-14 2021-08-17 国网重庆市电力公司电力科学研究院 一种基于声学成像的gis设备机械故障检测系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10033979B2 (en) * 2012-03-23 2018-07-24 Avigilon Fortress Corporation Video surveillance systems, devices and methods with improved 3D human pose and shape modeling
US11039108B2 (en) * 2013-03-15 2021-06-15 James Carey Video identification and analytical recognition system
KR101962198B1 (ko) * 2018-06-25 2019-03-26 (주)에스엠인스트루먼트 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템
CN112151056B (zh) * 2020-09-27 2023-08-04 浙江诺尔康神经电子科技股份有限公司 带自定义的智能耳蜗声音处理系统和方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07219581A (ja) * 1994-01-31 1995-08-18 Babcock Hitachi Kk 音響信号の識別方法および装置
CN102184321A (zh) * 2002-07-09 2011-09-14 威洛吉公司 软件中的有源干涉信号分析
KR20110031647A (ko) * 2009-09-21 2011-03-29 삼성전자주식회사 이기종 멀티프로세서 시스템 온 칩에서의 ｒｐｃ 데이터 배치 방법 및 장치
CN101846594A (zh) * 2010-06-22 2010-09-29 上海交通大学 基于波束形成声像模式识别的故障检测装置及其检测方法
CN103278801A (zh) * 2013-05-22 2013-09-04 河南省电力公司周口供电公司 一种变电站噪声成像侦测装置及侦测计算方法
WO2016049513A1 (en) * 2014-09-25 2016-03-31 Sunhouse Technologies, Inc. Systems and methods for capturing and interpreting audio
CN105534546A (zh) * 2015-12-30 2016-05-04 哈尔滨工业大学 一种基于zynq系列fpga的超声成像方法
CN106441553A (zh) * 2016-09-30 2017-02-22 中国海洋大学 一种基于海洋环境噪声的声学监测系统及方法
CN107238498A (zh) * 2017-08-01 2017-10-10 四川霄云航空科技有限公司 一种用于涡轴发动机振动监测数据的装置
CN111681668A (zh) * 2020-05-20 2020-09-18 陕西金蝌蚪智能科技有限公司 声学成像方法及终端设备
CN112557512A (zh) * 2020-11-26 2021-03-26 国网上海市电力公司 声成像方法、装置、设备及基于声成像设备的巡检机器人
CN213715133U (zh) * 2020-12-31 2021-07-16 西北工业大学深圳研究院 一种基于边缘计算平台实现的声学成像装置
CN113267330A (zh) * 2021-05-14 2021-08-17 国网重庆市电力公司电力科学研究院 一种基于声学成像的gis设备机械故障检测系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视觉传感成像技术与数据处理进展;王程 等;《中国图象图形学报》;20210616;第26卷(第6期);第1450-1469页 *

Also Published As

Publication number Publication date
CN114001816A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
Chiariotti et al. Acoustic beamforming for noise source localization–Reviews, methodology and applications
CN114001816B (zh) 一种基于mpsoc的声学成像仪音频采集系统
Sun et al. Robust localization of multiple sources in reverberant environments using EB-ESPRIT with spherical microphone arrays
US6552964B2 (en) Steerable beamforming system
JPH09512676A (ja) 適応性ビーム形成方法及び装置
EP1571875A2 (en) A system and method for beamforming using a microphone array
JP2001187055A (ja) 超音波映像システムおよびそのビームパターン化方法
US6721235B2 (en) Steerable beamforming system
CN114527427B (zh) 一种基于球形麦克风阵列的低频波束形成声源定位方法
CN104414687A (zh) 超声波测定装置、超声波图像装置及超声波测定方法
Teutsch et al. Detection and localization of multiple wideband acoustic sources based on wavefield decomposition using spherical apertures
WO2020053601A1 (en) Microphone arrays
CN109597021B (zh) 一种波达方向估计方法及装置
Yang Superdirective beamforming applied to SWellEx96 horizontal arrays data for source localization
Jing et al. Sound source localisation using a single acoustic vector sensor and multichannel microphone phased arrays
US20140269198A1 (en) Beamforming Sensor Nodes And Associated Systems
Wang et al. Root-MUSIC algorithm with real-valued eigendecomposition for acoustic vector sensor array
CN113068101B (zh) 指环阵列拾音控制方法、装置、存储介质及指环阵列
CN114563760B (zh) 一种基于sca阵型的二阶超波束形成方法、设备及介质
Nascimento et al. Acoustic imaging using the Kronecker array transform
CN112698169B (zh) 一种电晕放电定位方法、装置、电子设备及存储介质
Palmese et al. Pruned chirp zeta transform beamforming for 3-D imaging with sparse planar arrays
WO2001031972A1 (en) System and method for adaptive interference canceling
Bonnal et al. Speaker localization and speech extraction with the EAR sensor
Gur Modal beamforming for small circular arrays of particle velocity sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant