CN106488358B - 优化声场成像定位方法及系统 - Google Patents
优化声场成像定位方法及系统 Download PDFInfo
- Publication number
- CN106488358B CN106488358B CN201510569534.0A CN201510569534A CN106488358B CN 106488358 B CN106488358 B CN 106488358B CN 201510569534 A CN201510569534 A CN 201510569534A CN 106488358 B CN106488358 B CN 106488358B
- Authority
- CN
- China
- Prior art keywords
- frequency
- sound field
- time
- analysis
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
一种优化声场成像定位方法及系统,使用麦克风阵列采集与视频同步的多通道声场样品,然后从声场样品中获取其时频分布特征,再根据时频分布获得时间信息与分析频率之间的对应关系,以此获得与分析时刻、分析频率所对应的声场状态,并将声场状态以云图的方式与所述视频融合,实现声场成像。本发明能够实现直观快速地获得多个声源的具体位置以及各个声源的不同声音频段的属性。
Description
技术领域
本发明涉及的是一种音频和图像处理领域的技术,具体是一种优化声场成像定位方法及系统,能够准确获取当前声音信号所对应的成像频带范围,快捷、动态地实现频带范围参数的设置。
背景技术
麦克风阵列技术利用分布在空间中的麦克风传感拾取声音信号,而后使用信号处理技术,对拾取到的声音信号进行分析处理,测量出声源的空间分布信息,重现声场,与光学图像合成后,可对声源进行成像,便于直观的获得声场中声源的位置、声压分布等信息。实际检测过程中,一般通过对信号进行傅里叶变换获取声音信号的频谱,分析声音信号的主要频带,然后从声音信号中提取该频段的信息,并利用这些信息对声场进行成像,以获得该频段内,声场的分布情况。这种设置频带范围的方法,对于频域分布较为稳定的检测目标,有很好的效果。但由于有些检测目标,如齿轮箱等,在运行或工况切换的过程中,需要进行分析的频段会改变,如果还是使用之前设置的频带范围对声场进行成像,就无法准确的反应出声场的真实情况。
频带的作用是对多个声源进行区分。对于一些结构,当其运行时,会有多个噪声源。需要根据划分频带的方法对这些噪声源进行区别。获得特定频带的声音所对应的声源位置。很多情况下,我们不仅需要找到声源,还需要了解这些声源所发出的声音所集中的频带。当获取了声源对应的频带信息后,就可根据实际的需要有针对性的进行一些降噪或者其他的处理。
麦克风阵列声场成像时需要对成像的分析频段进行设置,现有的方法是获取声音信号的频谱,对频谱进行观察分析后,设置声场成像的频段。但使用这种方式进行声场成像时,存在以下缺点:通过傅里叶变换获得的信号频谱反应的是整个信号的频域特性,是对信号的整体性分析,无法获取信号频率成分随着时间变化的规律与特性。当声场信号为稳态信号时,用此方法获取的分析频段,误差较小。但当声场的主要频率分布随着时间改变,或声场分析对象就是瞬变声源时,使用上述方式就无法准确获取所需的成像频段。
经过对现有技术的检索发现,中国专利文献号CN102854494,公开日2013年1月2日公开了一种声源定位方法及装置,包括:麦克风阵列采集声源信号,并对其中任意两个麦克风采集的声源信号进行预处理;确定经过所述两路声源信号的互功率谱密度函数;确定随当前信噪比变化而调整的加权函数;根据所述互功率谱密度函数和加权函数确定所述两路声源信号的互相关函数的值序列,并根据所述互相关函数的最大值确定声源信号到达所述两个麦克风的时延;根据麦克风阵列的排列分布和所述声源信号到达其中任意两个麦克风的时延,定位声源位置。但该技术的缺陷在于无法实现分析频率的自动切换,需要手动切换到不同频率以实现声源定位。
发明内容
本发明针对现有麦克风阵列声场成像技术无法根据声场的情况快速的调整分析频率,导致无法对声场进行有效成像的不足,提出一种优化声场成像定位方法及系统,在声源定位时,通过时频变换获取分析频率与时间的变化规律,以此作为参数自动的设置分析频率,本发明能够直观显示当前声场在不同频率下的特点以供工程人员快速的定位声源。
本发明是通过以下技术方案实现的:
本发明涉及一种优化声场成像定位方法,使用麦克风阵列采集与视频同步的多通道声场样本,然后从声场样本中获取其时频分布特征,再根据时频分布获得时间信息与分析频率之间的对应关系,以此获得与分析时刻、分析频率所对应的声场状态,并将声场状态以云图的方式与所述视频融合,实现声场成像。
所述的声场样本为声压信号。
所述的时频分布特征,即声场样本在各个时刻的频率信息及相应的幅度信息,该时频分布特征采用但不限于短时傅里叶变换、小波变换、Wigner-Ville分布以及希尔伯特黄变换等计算得到。
所述的声场状态是指:M个通道的麦克风阵列中所有通道的除自谱的幅值系数其中:w为角频率;r为位置矢量;Cnm(w)为麦克风阵列中第n号和第m号传声器接收声压信号的互功率谱;vn(r),vm(r)第为n号和第m号传声器所对应的导向矢量,v(r)=e-jk|r|/|r|,其中k为波数。为第n号和第m号传声器所对应的导向矢量的共轭值。
所述的时频分布特征,通过以下方式实现自动调整频段:根据时频分布特征,描绘出所需的时间-频率曲线,软件将自动的读取该时间-频率曲线。对声场样品进行分析时,通过获取被分析获取声场样本所对应的时间,并通过时间-频率对应曲线,获得所对应的分析频率。软件将使用该分析频率对声场状态进行分析,以获得该时刻的声场成像结果。
本发明涉及一种实现上述方法的系统,包括:麦克风阵列、图像采集装置、数据处理模块和显示模块,其中:数据处理模块分别接收麦克风阵列和图像采集装置输出的多通道声场样本和视频信息,通过从多通道声场样本中提取出声场状态后与视频信息合并,生成声场视频。
技术效果
与现有技术相比,本发明将声音信号的时频分析结果作为检测分析依据,提升了对被测声场了解的全面性,本发明使用声场的频段和时间之间的对应关系作为成像参数,提升了声场成像的准确性,声场成像过程中,成像程序根据时间参数自动的设置成像频段,提升了使用的便捷性。
本发明技术效果包括:
1.相对于传统使用频谱获取声音信号频段的方法,使用时频分析的方法不仅可以获知信号的频域特性,还能获取频域特性与时域特性之间的对应关系,对被测声场有更全面的了解。
2.将声场成像的对应频段与时间信息进行关联,相比于将声场成像的频率参数设为定值,频率参数依据时间信息自动改变的方法,能够更准确的设置频率参数,声场成像结果能够更加准确的描述声源的分布情况。
3.声场成像软件自动的根据时间参数调整频段信息,相比于手动的更改参数设置,更加便捷,在处理时间较长,频率变化较为复杂的声场检测时,便捷性尤为突出。
附图说明
图1为实施例中时频分析结果示意图;
图2为实施例中利用光标描绘出所需分析频段的趋势线示意图;
图3为实施例效果示意图;
图中:(a)摄像头采集的光学图像,(b)利用声学信息获取的声源空间分布图像,(c)将光学图像和声学图像进行整合后的定位结果;以及
图4为根据本发明实施例的一种优化声场成像定位系统100的框图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1
本实施例包括以下步骤:
步骤1、构建优化声场成像定位系统,该系统包括:麦克风阵列、图像采集装置、数据处理模块和显示模块,其中:数据处理模块分别接收麦克风阵列和图像采集装置输出的多通道声压信号样本和视频信息,通过从多通道声压信号样本中提取出声场状态后与视频信息合并,生成声场视频。
步骤2、采集多通道声压信号样本以及视频信号。
步骤3、根据声压信号的时域波形特性,选择合适的时频分析手段。
如图1所示,为声压信号样本时频分析的结果,从分析结果可以看出有声压信号的能量所集中的频带随时间的变化规律趋势。通过描点等手段,可以很方便的获得分析频段随时间的变化关系,如图2所示,即使用光标进行描点获得的。
图1中横轴是时间,纵轴为频率。从图中可以看出,时间0~1秒内,声压信号能量集中的频段是随着频率逐渐增加的,在1秒后,声压信号能量集中的频段就不随着时间改变,基本维持在5kHz左右。通过描点等方法可以获得声压信号样本时间与分析频率的对应关系。本方法在实际分析时,就可以利用这一对应关系,根据分析的声压信号时间,改变分析的频率。
步骤4、使用时频分析手段对声压信号样本进行分析,获取声压样本信号各个时刻的频率信息及相应的幅度信息,即声压信号样本的时频分布特征。
步骤5、根据声压信号样本的时频分布特征,获得所需的分析频段随时间变化的趋势线。
步骤6、根据分析频段与时间信息的对应关系对成像算法进行设置。
麦克风阵列声场成像时需要对成像的分析频段进行设置,传统的设置方法是对声压信号样本求频谱,确定分析频段范围。这样的缺点是整个分析过程中,分析的频段是不会改变的。有些情况中,分析的频段需要改变,如图1所对应的声压信号,它的能量成分集中的频段就会随着时间改变。若用固定不变的分析频段进行声场成像时,成像的效果就会比较的差。此时就需要根据5中图2描出的时间与分析频率之间的对应关系对分析频率进行设置。然后成像的过程中,软件会根据当前被分析的数据所对应的时间点,使用相应的分析频率进行声场成像。分析频率不是定值,会根据分析信号的时间信息改变。
步骤7、对数据进行回放分析,成像算法将自动根据声压信号时间信息与成像算法的对应关系,获得当前声压信号所对应的分析频段,并使用该分析频段对声压信号进行信息的提取,而后对声场进行成像。
如图3(a)所示,为本实施例使用摄像头采集光学图像,
如图3(b)所示,为经过使用麦克风阵列采集声压信号,并通过信号处理技术,对声压信号进行分析处理。获得声场的空间分布图像。
由于从图3(b)所示的声场的空间分布图像中无法直观的获取声场的分布所对应的空间位置之间的关系。所以利用图3(a)和图3(b)的对应关系,对其进行图像合并,生成图3(c)所示的定位结果图。从图3(c)中就可以很直观的发现声源的位置,即笔记本电脑右侧的喇叭。
从图3(c)所示,声源定位结果可以很直观的获得声场中声源的位置,且可获得被测区域内,各个点的声压值,即被测区域内各点的声压值以及其相应的空间位置。一般本方法找声源就是在定位结果中找声压值最大的位置。
实施例2
图4是根据本发明实施例的一种优化声场成像定位系统100的框图。如图4所示,所述优化声场成像定位系统100包括:麦克风阵列102用于采集声场的声压信号、图像采集装置104用于采集声场的光学图像、数据处理模块106,分别与所述麦克风阵列102和所述图像采集装置104连接,用于分别接收所述麦克风阵列102和所述图像采集装置104输出的多通道声压信号样本和视频信息,通过从多通道声压信号样本中提取出声场状态后与光学图像合并,生成优化声场图像,和显示模块108,用于显示所述声场图像。所述数据处理模块106包括时频分析单元110用于用时频分析手段对声压信号样本进行分析,获取声压样本信号各个时刻的频率信息及相应的幅度信息,即声压信号样本的时频分布特征,并根据声压信号样本的时频分布特征,获得所需的分析频段随时间变化的趋势线,和成像单元112用于根据分析频段与时间信息的对应关系对声场成像算法进行设置,并对数据进行回放分析,根据声压信号时间信息与成像算法的对应关系,获得当前声压信号所对应的分析频段,并使用该分析频段对声压信号进行信息的提取,而后对声场进行成像。所述数据处理模块106可以是中央处理器CPU,单片机,或者微处理器MCU等具备数据运算功能的处理器。
至此已经结合优选实施例对本发明进行了描述。应该理解,本领域技术人员在不脱离本发明的精神和范围的情况下,可以进行各种其它的改变、替换和添加。因此,本发明的范围不局限于上述特定实施例,而应由所附权利要求所限定。
Claims (3)
1.一种优化声场成像定位方法,其特征在于,使用麦克风阵列采集与视频同步的多通道声场样品,然后从声场样品中获取其时频分布特征,再根据时频分布获得时间信息与分析频率之间的对应关系,以此获得与分析时刻、分析频率所对应的声场状态,并将声场状态以云图的方式与所述视频融合,实现声场成像;
所述的声场状态是指:M个通道的麦克风阵列中所述通道的除自谱的幅值系数其中:w为角频率;r为位置矢量;Cnm(w)为麦克风阵列中第n号和第m号传声器接收声压信号的互功率谱;Vn(r),Vm(r)为第n号和第m号传声器所对应的导向矢量,v(r)=e-jk|r|/|r|,其中K为波数;为第n号和第m号传声器所对应的导向矢量的共轭值;
所述的时频分布特征,通过以下方式实现自动调整频段:根据时频分布特征,描绘出所需的时间-频率曲线,软件将自动的读取该时间-频率曲线,具体为:根据声压信号样本时频分析结果图得出声压信号的能量所集中的频带随时间的变化规律趋势,通过描点获得分析频段随时间的变化关系;
所述的声压信号样本时频分析结果图的横轴是时间,纵轴为频率;所述的变化规律趋势是指时间0~1秒内,声压信号能量集中的频段是随着频率逐渐增加的,在1秒后,声压信号能量集中的频段就不随着时间改变,基本维持在5kHz左右;
对声场样品进行分析时,通过获取被分析声场样本所对应的时间,并通过时间-频率对应曲线,获得所对应的分析频率,具体为:
根据频带随时间的变化规律趋势中得到的时间与分析频率之间的对应关系,对分析频率进行设置,然后成像的过程中,软件根据当前被分析的数据所对应的时间点,使用相应的分析频率进行声场成像;
所述的分析频率根据分析信号的时间信息改变;
软件将使用该分析频率对声场状态进行分析,以获得该时刻的声场成像结果,具体为:成像算法将自动根据声压信号时间信息与成像算法的对应关系,获得当前声压信号所对应的分析频段,并使用该分析频段对声压信号进行信息的提取,而后对声场进行成像。
2.根据权利要求1所述的方法,其特征是,所述的时频分布特征,即声场样本在各个时刻的频率信息及相应的幅度信息,该时频分布特征采用短时傅里叶变换、小波变换、Wigner-Ville分布或希尔伯特黄变换计算得到。
3.一种实现权利要求1或2所述方法的系统,其特征在于,包括:麦克风阵列、图像采集装置、数据处理模块和显示模块,其中:数据处理模块分别接收麦克风阵列和图像采集装置输出的多通道声场样本和视频信息,通过从多通道声场样本中提取出声场状态后与视频信息合并,生成声场视频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510569534.0A CN106488358B (zh) | 2015-09-09 | 2015-09-09 | 优化声场成像定位方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510569534.0A CN106488358B (zh) | 2015-09-09 | 2015-09-09 | 优化声场成像定位方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106488358A CN106488358A (zh) | 2017-03-08 |
CN106488358B true CN106488358B (zh) | 2019-07-19 |
Family
ID=58238595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510569534.0A Active CN106488358B (zh) | 2015-09-09 | 2015-09-09 | 优化声场成像定位方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106488358B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108445450B (zh) * | 2018-04-13 | 2024-03-12 | 上海其高电子科技有限公司 | 超大规模声源定位方法 |
CN108806560A (zh) * | 2018-06-27 | 2018-11-13 | 四川长虹电器股份有限公司 | 屏幕发声显示屏及声场画面同步定位方法 |
US11106191B2 (en) * | 2018-09-19 | 2021-08-31 | Hypertherm, Inc. | Multi-sensor analysis and data point correlation for predictive monitoring and maintenance of a pressurized fluid cutting system |
CN112863540A (zh) * | 2019-11-28 | 2021-05-28 | 睿捷国际股份有限公司 | 声源分布可视化方法及电脑程式产品 |
CN111443330B (zh) * | 2020-05-15 | 2022-06-03 | 浙江讯飞智能科技有限公司 | 声学成像方法、装置、设备及可读存储介质 |
CN111739554A (zh) * | 2020-06-19 | 2020-10-02 | 浙江讯飞智能科技有限公司 | 声学成像频率确定方法、装置、设备及存储介质 |
CN113763679B (zh) * | 2021-08-24 | 2022-11-29 | 杭州意能电力技术有限公司 | 气体绝缘封闭式组合电器异响监测方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1731388A (zh) * | 2004-12-30 | 2006-02-08 | 中国科学院长春光学精密机械与物理研究所 | 超声信号的数字信号处理方法 |
WO2011129061A1 (en) * | 2010-04-12 | 2011-10-20 | Canon Kabushiki Kaisha | Acoustic wave imaging apparatus and acoustic wave imaging method |
CN102854494A (zh) * | 2012-08-08 | 2013-01-02 | Tcl集团股份有限公司 | 一种声源定位方法及装置 |
CN102914592A (zh) * | 2012-10-31 | 2013-02-06 | 安泰科技股份有限公司 | 管状复合件中扩散焊连接界面的超声检测成像方法 |
CN103605868A (zh) * | 2013-11-29 | 2014-02-26 | 中国医学科学院生物医学工程研究所 | 基于介质有限元叠加的磁声耦合成像声信号求解方法 |
-
2015
- 2015-09-09 CN CN201510569534.0A patent/CN106488358B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1731388A (zh) * | 2004-12-30 | 2006-02-08 | 中国科学院长春光学精密机械与物理研究所 | 超声信号的数字信号处理方法 |
WO2011129061A1 (en) * | 2010-04-12 | 2011-10-20 | Canon Kabushiki Kaisha | Acoustic wave imaging apparatus and acoustic wave imaging method |
CN102854494A (zh) * | 2012-08-08 | 2013-01-02 | Tcl集团股份有限公司 | 一种声源定位方法及装置 |
CN102914592A (zh) * | 2012-10-31 | 2013-02-06 | 安泰科技股份有限公司 | 管状复合件中扩散焊连接界面的超声检测成像方法 |
CN103605868A (zh) * | 2013-11-29 | 2014-02-26 | 中国医学科学院生物医学工程研究所 | 基于介质有限元叠加的磁声耦合成像声信号求解方法 |
Non-Patent Citations (1)
Title |
---|
实时阵列声成像定位技术研究;余立志;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140415(第04期);摘要,2.3节,4.2节,图4-1、4-9 |
Also Published As
Publication number | Publication date |
---|---|
CN106488358A (zh) | 2017-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106488358B (zh) | 优化声场成像定位方法及系统 | |
US11762089B2 (en) | Systems and methods for representing acoustic signatures from a target scene | |
CN106653041B (zh) | 音频信号处理设备、方法和电子设备 | |
Katz et al. | A comparative study of interaural time delay estimation methods | |
EP2991382B1 (en) | Sound signal processing method and apparatus | |
JP7194897B2 (ja) | 信号処理装置及び信号処理方法 | |
US20220146668A1 (en) | Multi-modal acoustic imaging tool | |
CN107888973B (zh) | 一种脑电控制的视频输入听觉显示导盲装置及方法 | |
RU2015140752A (ru) | Модуль определения коэффициентов частотной корректирующей фильтрации, устройство, процессор коэффицентов частотной корректирующей фильтрации, система и способы | |
CN104703090A (zh) | 一种基于人脸识别的自动调节拾音设备及自动调节方法 | |
US9559794B2 (en) | Apparatus and method for detecting signals | |
CN105989846B (zh) | 一种多通道语音信号同步方法及装置 | |
WO2020245631A1 (en) | Sound modification based on frequency composition | |
US20140086551A1 (en) | Information processing apparatus and information processing method | |
WO2022057834A1 (zh) | Vr系统中多摄像头曝光中心点的对齐方法、系统 | |
CN108509856A (zh) | 音频调整方法、装置和音响设备 | |
JP2015023508A (ja) | 収音装置及びプログラム | |
CN106648489B (zh) | 一种计算机图像处理设备 | |
CN111551921A (zh) | 一种声像联动的声源定向系统及方法 | |
CN106153363A (zh) | 一种基于声像监测的机械设备故障自动识别方法 | |
CN112562717B (zh) | 啸叫检测方法、装置、存储介质、计算机设备 | |
KR20150137491A (ko) | 다중 음원 국지화 기법을 이용한 얼굴 검출 장치 및 방법 | |
CN105529036B (zh) | 一种语音质量的检测系统及方法 | |
CN105719602A (zh) | 用于调节显示装置亮度的调节系统及显示装置 | |
CN109060114A (zh) | 一种模拟人耳听觉效应声相仪检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
DD01 | Delivery of document by public notice |
Addressee: SHANGHAI KEYGO ELECTRONIC TECHNOLOGY CO., LTD. Document name: Notification to Make Rectification |
|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |