CN112017688A - 一种声学成像方法 - Google Patents
一种声学成像方法 Download PDFInfo
- Publication number
- CN112017688A CN112017688A CN202011174825.7A CN202011174825A CN112017688A CN 112017688 A CN112017688 A CN 112017688A CN 202011174825 A CN202011174825 A CN 202011174825A CN 112017688 A CN112017688 A CN 112017688A
- Authority
- CN
- China
- Prior art keywords
- matrix
- sound source
- intensity distribution
- source intensity
- frequency range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims abstract description 72
- 238000009826 distribution Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 238000012937 correction Methods 0.000 claims abstract description 16
- 238000010586 diagram Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 9
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000007599 discharging Methods 0.000 abstract description 2
- 238000013386 optimize process Methods 0.000 abstract 1
- 238000012800 visualization Methods 0.000 abstract 1
- 239000003086 colorant Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L21/14—Transforming into visible information by displaying frequency domain information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/18—Details of the transformation process
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明涉及的是一种声学成像方法，解决了一般噪声检测需要较大算力，且不能进行调整以适应不同算力条件系统的问题，包括以下步骤：通过麦克风采集原始音频数据；对原始音频数据进行数据处理，得到声源强度分布图；通过摄像头采集图像信息；将声源强度分布图与图像信息融合得到声学成像图片。本发明的有益效果是：通过声源强度分布图与拍摄图像的结合实现声音强度可视化、具体化；采用修正矩阵校准修正声源强度分布矩阵的计算偏差，排出不必要的干扰使结果更为精确；将高倍插值处理放于FFT处理之后，减轻了算力压力，同时也保证了分辨率；精简优化的流程使用小型轻量的载体装置也可实现，能够适用更多的应用场景。
Description
技术领域
本发明涉及声学成像领域，尤其涉及一种声学成像方法。
背景技术
随着工业的不断发展，对于工业生产的流程要求也随之不断提高，尤其是在相关的检测环节。现有的很多地方都是通过噪声的检测来判断相关的设备运行情况等，例如在汽车生产中NVH、BSR的噪声检测，某些生产环境中利用噪声检测来判断气体泄漏的情况等等。可见噪声检测在众多相关领域有着重要广泛的应用前景。但现有的噪声检测通常只能得到某一处的噪声值，如果想要知道噪声强度的变化情况或分部情况，则需要通过仪器一个一个去检测，非常麻烦。目前对于噪音强度计算不够准确，而提高准确度则会增加算力的负担，需要较大算力的系统；另外，目前的计算方法不能够通过调整参数来适应不同算力条件的系统。
发明内容
本发明解决了一般噪声检测需要较大算力，且不能进行调整以适应不同算力条件系统的问题，提供了一种声学成像方法。
为了解决上述存在的技术问题，本发明的技术方案是：一种声学成像方法，包括以下步骤：
S1：通过麦克风采集N个通道原始音频数据；
S2：对原始音频数据进行数据处理，得到声源强度分布图；数据处理包括以下步骤：
S21：对N个通道原始音频数据进行长度为K的FFT计算，得到N路FFT数据组成N*K维复数矩阵X’；其中 FFT算法计算的长度K可以是多种长度规格，根据实际处理能力进行选择；FFT算法使用的时候需要加窗函数，窗函数可选汉明窗。
S22：对复数矩阵X’进行二次处理，得到声源强度分布矩阵Q；
S23：对声源强度分布矩阵Q进行校准修正得到矩阵W；
S24：对矩阵W进行高倍插值处理得到声源强度分布矩阵E；
S25：对声源强度分布矩阵E进行变换得到声源强度分布图；
S3：通过摄像头采集图像信息；
S4：将声源强度分布图与图像信息融合得到声学成像图片。
声源强度分布图采用不同颜色表示不同的声音强度，通过与拍摄的图像结合，可以更为直观地看到图像中不同地方的声音强度情况。
其中，对原始音频数据进行FFT处理是对其进行2的n次幂的FFT，n的值由具体设备的计算速率、目标频率或分辨率决定。对矩阵W进行高倍插值能够在一定程度上提高矩阵W的分辨率，同时能够保证相当的准确度。将高倍插值处理这步放于FFT处理之后，避免了因分辨率的提高而增加算力的负担。此外，通过调整目标分辨率和插值的倍数可以使系统适应不同的算力条件，而且不会造成声源强度分布结果的巨大差异。
作为上述方案的一种优选方案，所述步骤S22中的二次处理包括以下步骤：
S31：设定频率范围；
S32：按照设定频率范围，从复数矩阵X’中抽取部分数据组成N*k维复数矩阵X，其中k<=K/2，和设定的频率范围有关；将同一频率点的FFT数据抽取出来组成这个频率点的音频矩阵，然后通过连续抽取设定频率范围内不同频率点的数据组成一组连续的音频矩阵，实现对这一频率范围的覆盖。
S33：根据麦克风阵列的阵型设定阵列导向矢量，按照设定频率范围，从阵列导向矢量选取对应的权值组成权值矩阵W，将不同的权值分别同复数矩阵X进行点乘，得到RES个矩阵W.*X，对每个矩阵按行求和sum（W.*X），得到RES个1*k维向量，对每个向量求范数，得到RES个数据结果，RES个数据结果为声源强度分布矩阵Q，其中阵列导向量为根据麦克风阵列结构实现生成的常量，为复数，包括RES*N*K个数据，RES为约定的常数，表示声源前度图片的分辨率。
作为上述方案的一种优选方案，所述步骤S33中的转换求和包括以下步骤：
S41：根据麦克风阵列的阵型以及目标分辨率得到波束形成计算矩阵M；
S42：将设定频率范围内每一个频率点的音频矩阵与波束形成计算矩阵M进行波束形成计算得到设定频率范围内每一个频率点的声源强度矩阵；
S43：将设定频率范围内每一个频率点的声源强度矩阵相加，得到设定频率范围的声源强度分布矩阵Q。
作为上述方案的一种优选方案，所述步骤S23中的校准修正是对麦克风阵列进行测试后得到修正矩阵，利用修正矩阵对声源强度分布矩阵Q进行校准修正。修正矩阵可以修正二维图像的旋转、缩放、扭曲和平移。校准修正能够矫正阵型的物理尺寸偏差导致的声源强度分布矩阵Q的计算偏差。
与现有技术相比，本发明的有益效果是：
1.通过声源强度分布图与拍摄图像的结合实现声音强度可视化、具体化，采用不同颜色表示不同的声音强度显得更为直观形象；
2.采用修正矩阵进行校准修正声源强度分布矩阵的计算偏差，排出不必要的干扰使结果更为精确；
3.将高倍插值处理放于FFT处理之后，大大减轻了算力压力，同时也保证了分辨率；通过调整目标分辨率和插值的倍数可以使系统适应不同的算力条件，而且不会造成声源强度分布结果的巨大差异；
4.本方法能够降低算力，并且能对对算力进行调整，使得小型轻量的载体装置也可实现，且能够适用更多的应用场景。
附图说明
图1是本发明的流程框图；
图2是本发明的数据处理的流程框图；
图3是本发明的二次处理的流程框图；
图4是本发明的转换求和的流程框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面通过实施例，并结合附图，对本发明的技术方案作进一步的说明。
实施例：本实施例一种声学成像方法，如图1~4所示，包括以下步骤：
步骤S1，先通过麦克风采集N个通道原始音频数据。
步骤S2，对采集来的原始音频数据进行数据处理，得到声源强度分布图。
数据处理包括以下步骤：
S21：对N个通道原始音频数据进行长度为K的FFT计算，得到N路FFT数据组成N*K维复数矩阵X’，
其中e为自然数，j为虚数单位，a为实数， QUOTE 
表示一个复数；
FFT算法计算的长度K可以是多种长度规格，根据实际处理能力进行选择；FFT算法使用的时候需要加窗函数，窗函数可选汉明窗。
S22：对复数矩阵X’进行二次处理，得到声源强度分布矩阵Q；二次处理包括以下步骤：
S31：设定频率范围；
S32：按照设定频率范围，从复数矩阵X’中抽取部分数据组成N*k维复数矩阵X，其中k<=K/2；
S33：根据麦克风阵列的阵型设定阵列导向矢量，按照设定频率范围，从阵列导向矢量选取对应的权值组成权值矩阵W，将不同的权值分别同复数矩阵X进行点乘，得到RES个矩阵W.*X，对每个矩阵按行求和sum（W.*X），得到RES个1*k维向量，对每个向量求范数，得到RES个数据结果，RES个数据结果为声源强度分布矩阵Q，其中阵列导向量为根据麦克风阵列结构实现生成的常量，为复数，包括RES*N*K个数据，RES为约定的常数，表示声源前度图片的分辨率。
步骤S33中的转换求和包括以下步骤：
S41：根据麦克风阵列的阵型以及目标分辨率得到波束形成计算矩阵M；
S42：将设定频率范围内每一个频率点的音频矩阵与波束形成计算矩阵M进行波束形成计算得到设定频率范围内每一个频率点的声源强度矩阵；
S43：将设定频率范围内每一个频率点的声源强度矩阵相加，得到设定频率范围的声源强度分布矩阵Q。
S23：对声源强度分布矩阵Q进行校准修正得到矩阵W；校准修正是对麦克风阵列进行测试后得到修正矩阵，利用修正矩阵对声源强度分布矩阵Q进行校准修正，修正矩阵可以修正二维图像的旋转、缩放、扭曲和平移。
S24：对矩阵W进行高倍插值处理得到声源强度分布矩阵E；
S25：对声源强度分布矩阵E进行变换得到声源强度分布图；
声源强度分布矩阵中的每个数值对应不同的颜色，将数值转换成相对应的颜色也就是声源强度分布图了。
步骤S3，通过高清摄像头采集图像信息。即用高清摄像头对目标对象（例如运行中的机器设备、泄露的管道等）进行录像，从而得到图像信息。
步骤S4，将声源强度分布图与图像信息融合也就得到了声学成像图片。即将声源强度分布图和用摄像头采集的图像进行直接重叠，使在摄像头采集的图像上同时能看到声源强度的分布，其效果可以类比于热成像图。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (4)
1.一种声学成像方法，其特征在于，包括以下步骤：
S1：通过麦克风采集N个通道原始音频数据；
S2：对原始音频数据进行数据处理，得到声源强度分布图；数据处理包括以下步骤：
S21：对N个通道原始音频数据进行长度为K的FFT计算，得到N路FFT数据组成N*K维复数矩阵X’；
S22：对复数矩阵X’进行二次处理，得到声源强度分布矩阵Q；
S23：对声源强度分布矩阵Q进行校准修正得到矩阵W；
S24：对矩阵W进行高倍插值处理得到声源强度分布矩阵E；
S25：对声源强度分布矩阵E进行变换得到声源强度分布图；
S3：通过摄像头采集图像信息；
S4：将声源强度分布图与图像信息融合得到声学成像图片。
2.根据权利要求1所述的一种声学成像方法，其特征在于，所述步骤S22中的二次处理包括以下步骤：
S31：设定频率范围；
S32：按照设定频率范围，从复数矩阵X’中抽取部分数据组成N*k维复数矩阵X，其中k<=K/2；
S33：根据麦克风阵列的阵型设定阵列导向矢量，按照设定频率范围，从阵列导向矢量选取对应的权值组成权值矩阵W，将不同的权值分别同复数矩阵X进行点乘，得到RES个矩阵W.*X，对每个矩阵按行求和sum（W.*X），得到RES个1*k维向量，对每个向量求范数，得到RES个数据结果，RES个数据结果为声源强度分布矩阵Q，其中阵列导向量为根据麦克风阵列结构实现生成的常量，为复数，包括RES*N*K个数据，RES为约定的常数，表示声源前度图片的分辨率。
3.根据权利要求2所述的一种声学成像方法，其特征在于，所述步骤S33中的转换求和包括以下步骤：
S41：根据麦克风阵列的阵型以及目标分辨率得到波束形成计算矩阵M；
S42：将设定频率范围内每一个频率点的音频矩阵与波束形成计算矩阵M进行波束形成计算得到设定频率范围内每一个频率点的声源强度矩阵；
S43：将设定频率范围内每一个频率点的声源强度矩阵相加，得到设定频率范围的声源强度分布矩阵Q。
4.根据权利要求1所述的一种声学成像方法，其特征在于，所述步骤S23中的校准修正是对麦克风阵列进行测试后得到修正矩阵，利用修正矩阵对声源强度分布矩阵Q进行校准修正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011174825.7A CN112017688B (zh) | 2020-10-28 | 2020-10-28 | 一种声学成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011174825.7A CN112017688B (zh) | 2020-10-28 | 2020-10-28 | 一种声学成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112017688A true CN112017688A (zh) | 2020-12-01 |
| CN112017688B CN112017688B (zh) | 2021-01-19 |
Family
ID=73528119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011174825.7A Active CN112017688B (zh) | 2020-10-28 | 2020-10-28 | 一种声学成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112017688B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112857560A (zh) * | 2021-02-06 | 2021-05-28 | 河海大学 | 一种基于声音频率的声学成像方法 |
| CN113176538A (zh) * | 2021-04-16 | 2021-07-27 | 杭州爱华仪器有限公司 | 一种基于麦克风阵列的声源成像方法 |
| CN114018499A (zh) * | 2021-09-28 | 2022-02-08 | 雅砻江流域水电开发有限公司 | 一种水电站水车室噪声声源成像方法 |
| CN114089141A (zh) * | 2022-01-24 | 2022-02-25 | 杭州兆华电子股份有限公司 | 一种局部放电检测方法及局部放电检测装置 |
| CN114089277A (zh) * | 2022-01-24 | 2022-02-25 | 杭州兆华电子股份有限公司 | 三维声源声场重构方法及系统 |
| CN114325584A (zh) * | 2022-03-14 | 2022-04-12 | 杭州兆华电子股份有限公司 | 基于合成孔径的多阵元超声波声源三维成像方法及系统 |
| CN114460588A (zh) * | 2022-04-12 | 2022-05-10 | 杭州兆华电子股份有限公司 | 基于主动式声学成像仪的高精度成像方法 |
| CN115452141A (zh) * | 2022-11-08 | 2022-12-09 | 杭州兆华电子股份有限公司 | 一种非均匀声学成像方法 |
-
2020
- 2020-10-28 CN CN202011174825.7A patent/CN112017688B/zh active Active
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112857560A (zh) * | 2021-02-06 | 2021-05-28 | 河海大学 | 一种基于声音频率的声学成像方法 |
| CN113176538A (zh) * | 2021-04-16 | 2021-07-27 | 杭州爱华仪器有限公司 | 一种基于麦克风阵列的声源成像方法 |
| CN114018499A (zh) * | 2021-09-28 | 2022-02-08 | 雅砻江流域水电开发有限公司 | 一种水电站水车室噪声声源成像方法 |
| CN114018499B (zh) * | 2021-09-28 | 2022-09-09 | 雅砻江流域水电开发有限公司 | 一种水电站水车室噪声声源成像方法 |
| CN114089141A (zh) * | 2022-01-24 | 2022-02-25 | 杭州兆华电子股份有限公司 | 一种局部放电检测方法及局部放电检测装置 |
| CN114089277A (zh) * | 2022-01-24 | 2022-02-25 | 杭州兆华电子股份有限公司 | 三维声源声场重构方法及系统 |
| CN114089277B (zh) * | 2022-01-24 | 2022-05-03 | 杭州兆华电子股份有限公司 | 三维声源声场重构方法及系统 |
| CN114325584A (zh) * | 2022-03-14 | 2022-04-12 | 杭州兆华电子股份有限公司 | 基于合成孔径的多阵元超声波声源三维成像方法及系统 |
| CN114325584B (zh) * | 2022-03-14 | 2022-06-24 | 杭州兆华电子股份有限公司 | 基于合成孔径的多阵元超声波声源三维成像方法及系统 |
| CN114460588A (zh) * | 2022-04-12 | 2022-05-10 | 杭州兆华电子股份有限公司 | 基于主动式声学成像仪的高精度成像方法 |
| CN115452141A (zh) * | 2022-11-08 | 2022-12-09 | 杭州兆华电子股份有限公司 | 一种非均匀声学成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112017688B (zh) | 2021-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112017688B (zh) | 一种声学成像方法 | |
| CN109375171B (zh) | 一种基于正交匹配追踪算法的声源定位方法 | |
| CN110335330B (zh) | 图像模拟生成方法及其系统、深度学习算法训练方法及电子设备 | |
| CN107180642B (zh) | 音频信号校正方法、装置及设备 | |
| Lee et al. | Deep learning-enabled high-resolution and fast sound source localization in spherical microphone array system | |
| WO2021052020A1 (zh) | 振动检测系统 | |
| CN103124334B (zh) | 一种镜头畸变校正的方法 | |
| CN113607346A (zh) | 一种基于嵌入式处理器的三维声学成像实时信号处理装置 | |
| CN106686281B (zh) | 融合电路板噪声抑制能力测试系统 | |
| CN114663509A (zh) | 一种关键点热力图引导的自监督单目视觉里程计方法 | |
| WO1999067743A1 (fr) | Procede de correction d'images et dispositif d'entree d'images | |
| CN109709510A (zh) | 一种相干信源二维波达方向的估计方法及系统 | |
| CN114640885B (zh) | 视频插帧方法、训练方法、装置和电子设备 | |
| CN109145360B (zh) | 基于稀疏约束的头相关传输函数个性化建模系统 | |
| CN110035273A (zh) | 一种畸变校正方法、装置及使用其的显示设备 | |
| CN117135530B (zh) | 听音空间感知信息的获取方法、装置、设备及存储介质 | |
| Lee et al. | Global HRTF interpolation via learned affine transformation of hyper-conditioned features | |
| Aussal et al. | A study of spherical harmonics interpolation for HRTF exchange | |
| Gu et al. | Reliable event generation with invertible conditional normalizing flow | |
| US20200143815A1 (en) | Device and method for capturing and processing a three-dimensional acoustic field | |
| CN115151942A (zh) | 基于卷积神经网络模型训练的带钢表面缺陷检测方法 | |
| CN112698169B (zh) | 一种电晕放电定位方法、装置、电子设备及存储介质 | |
| CN115035252A (zh) | 一种基于神经辐射场的燃气厂站三维重建方法及装置 | |
| US9582887B2 (en) | Methods and apparatus for determining field of view dependent depth map correction values | |
| CN113593009B (zh) | 一种基于超表面的反射型声学全息成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 311100 building 1-3, No. 31-1, Xianxing Road, Xianlin street, Yuhang District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Zhaohua Electronics Co.,Ltd. Address before: 311100 building 1-3, No. 31-1, Xianxing Road, Xianlin street, Yuhang District, Hangzhou City, Zhejiang Province Patentee before: CRY SOUND CO.,LTD. |