JP2018146948A - 音源探査装置、音源探査方法およびそのプログラム - Google Patents
音源探査装置、音源探査方法およびそのプログラム Download PDFInfo
- Publication number
- JP2018146948A JP2018146948A JP2017216735A JP2017216735A JP2018146948A JP 2018146948 A JP2018146948 A JP 2018146948A JP 2017216735 A JP2017216735 A JP 2017216735A JP 2017216735 A JP2017216735 A JP 2017216735A JP 2018146948 A JP2018146948 A JP 2018146948A
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- unit
- correlation matrix
- weight
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
【解決手段】探査対象の音源の方向を探査する音源探査装置1であって、互いに離間して配置された2以上のマイクロホンユニットから構成されるマイクロホンアレイ200により収音された音響信号である観測信号の相関行列である第1相関行列を算出する相関行列算出部10と、記憶部20に予め記憶されている複数の第2相関行列であって、マイクロホンアレイ200のアレイ配列から算出された方向別の相関行列である複数の第2相関行列それぞれに重みを乗算した線形和が第1相関行列と等しくなるように、重みを学習によって算出する学習部40と、学習部40により算出された重みを用いて、方向別の音圧強度を示す空間スペクトルであって観測信号の空間スペクトルを算出する空間スペクトル算出部100とを備える。
【選択図】図1
Description
図1は、実施の形態1における音源探査システム1000の構成の一例を示す図である。
マイクロホンアレイ200は、互いに離間して配置された2以上のマイクロホンユニットから構成され、全ての方向から到来する音波を観測すなわち収音して電気信号に変換した音響信号を出力する。本実施の形態では、マイクロホンアレイ200は、3つのマイクロホンユニットすなわちマイクロホンユニット201,202,203で構成されているとして、以下説明する。マイクロホンユニット201、マイクロホンユニット202およびマイクロホンユニット203は、例えば音圧に対する感度が高い無指向性のマイクロホン素子であり、離間して(換言すると異なる位置に)配される。ここで、マイクロホンユニット201は、収音した音波を電気信号に変換した時間領域信号である音響信号m1(n)を出力する。同様に、マイクロホンユニット202は、収音した音波を電気信号に変換した時間領域の信号である音響信号m2(n)を出力し、マイクロホンユニット203は、収音した音波を電気信号に変換した時間領域の信号である音響信号m3(n)を出力する。
周波数分析部300は、2以上のマイクロホンユニットそれぞれにおいて観測された音響信号を周波数領域の信号に変換して、周波数スペクトル信号として出力する。より具体的には、周波数分析部300は、マイクロホンアレイ200から入力された音響信号を周波数分析を行い、周波数領域の信号である周波数スペクトル信号を出力する。なお、周波数分析には、高速フーリエ変換(Fast Fourier Transform:FFT)または離散フーリエ変換(Discrete Fourier Transform:DFT)など時間信号を周波数成分毎の振幅情報と位相情報に変換するものを用いればよい。
図4は、図1に示す音源探査装置1の詳細構成の一例を示す図である。
相関行列算出部10は、マイクロホンアレイ200により収音された音響信号である観測信号の相関行列である第1相関行列を算出する。
記憶部20は、マイクロホンアレイ200のアレイ配列から算出された方向別の相関行列である複数の第2相関行列を予め記憶する。
選択部30は、第1相関行列を構成する要素のうちの一つである第1要素と、複数の第2相関行列それぞれを構成する要素のうち、第1要素と対応する位置にある要素である第2要素を選択し、かつ、選択する第1要素および第2要素を逐次に切り替える。ここで、選択部30は、第1相関行列および第2相関行列を構成する対角成分を除く要素のうち、対角成分により区切られる2組の複数の要素の一方の組の複数の要素のうちからのみ、第1要素および第2要素を選択すればよい。
学習部40は、記憶部20に予め記憶されている複数の第2相関行列それぞれに重みを乗算した線形和が第1相関行列と等しくなるように、当該重みを学習によって算出する。ここで、学習部40は、LMSアルゴリズム、またはICA(Independent Component Analysis)を用いることにより、当該線形和および第1相関行列の差である誤差と、第2相関行列とから、重みを算出する。より具体的には、学習部40は、選択部30により選択された第2要素に第1重みを乗算した第1要素線形和が、選択部30により選択された第1要素と等しくなるように、第1重みを学習によって算出した第2重みに更新する。続いて、学習部40は、更新した第2重みを、次に選択部30により選択された第2要素に乗算した第2要素線形和が、次に選択部30により選択された第1要素と等しくなるように、第2重みを学習によって算出した第3重みに更新する。学習部40は、これらの更新を逐次に繰り返すことにより、当該重みを学習により算出する。
保持部50は、重み更新部90により更新される重みを保持する。保持部50は、参照相関行列Rr(θ,ω)毎に対して乗算する重みを保持している。換言すると、当該重みは、参照相関行列Rr(θ1,ω)〜Rr(θN,ω)それぞれの相関行列を構成する各要素に対して共通である。
線形和算出部60は、複数の第2相関行列それぞれに、保持部50が保持する重みを乗算した線形和を算出する。
誤差算出部70は、線形和算出部60により算出された線形和と第1相関行列との差である誤差を算出する。本実施の形態では、誤差算出部70は、図4に示すように、信号減算部71を備える。
非線形関数部80は、所定の非線形関数を用いて、誤差に非線形性を加える。より具体的には、非線形関数部80は、信号減算部71から入力された誤差信号e(ω)を、非線形入出力特性を持つ関数である非線形関数により非線形性を加えた信号に変換する。非線形関数は、例えばハイパブリックタンジェントであるが、これに限られない。信号振幅に制限を与えることができる非線形入出力特性を有する非線形関数であれば、どのような関数であってもよい。外乱により位相差を狂わされて誤差信号e(ω)が一時的に大きくなったとしても、後述する重み更新部90において学習される重み更新量への影響を抑制することができるからである。
重み更新部90は、LMS(Least Mean Square)アルゴリズム、またはICA(Independent Component Analysis)を用いることにより、誤差および第2相関行列から重み更新量を算出し、保持部50が保持する重みに当該重み更新量を加えて保持部50が保持する重みとする。また、音源探査装置1が非線形関数部80を備える場合には、重み更新部90は、非線形関数部80により非線形性が加えられた誤差、および、第2相関行列から重み更新量を算出し、保持部50が保持する重みに当該重み更新量を加えて保持部50が保持する重みとする。
空間スペクトル算出部100は、学習部40により算出された重みを用いて、方向別の音圧強度を示す空間スペクトルであって観測信号の空間スペクトルを算出する。
以上のように構成される音源探査装置1が行う音源探査処理について説明する。
次に、複数の参照相関行列Rr(θ,ω)それぞれに重み係数a(θ,ω)を乗算した線形和が、観測相関行列Rx(ω)と等しくなる重み係数a(θ,ω)を学習によって算出できる原理について説明する。また、得られた重み係数a(θ,ω)を用いて空間スペクトルp(θ)を算出できる原理についても説明する。
以上のように、本実施の形態の音源探査装置1によれば、マイクロホンアレイ200の複数素子であるマイクロホンユニットで観測した音響信号の観測相関行列Rx(ω)を基に空間スペクトルp(θ)を求めることができる。より具体的には、マイクロホンアレイ200のアレイ配列から理論値として計算できる方向別の参照相関行列Rr(θ,ω)を予め用意し、各々の方向を示す参照相関行列Rr(θ,ω)に各々重み係数a(θ,ω)を乗算した線形和が、観測相関行列Rx(ω)と等しくなるように重み係数a(θ,ω)を学習によって算出する。そして、得られた重み係数a(θ,ω)を用いて空間スペクトルp(θ)を算出する。これにより、演算量の大きい相関行列と方向ベクトルから空間スペクトルを導出する計算を行わずに、妨害音となる音源および探査対象の音源の方向に対応する強度を重み係数a(θ,ω)として逐次的に推定することができるので、周波数分析フレーム単位のミリ秒〜秒オーダといった間隔でマイクロホンユニットにおいて観測した音響信号の観測相関行列Rx(ω)を基に空間スペクトルp(θ)を求めることができる。つまり、本実施の形態によれば、音の変化に対する追従性に優れた音源探査装置1を実現できるのがわかる。
実施の形態1では、学習した重み係数a(θ,ω)を用いて空間スペクトルp(θ)を算出する場合について説明したがこれに限らない。学習した重み係数a(θ,ω)を用いて、指定した方向から到来する音響信号波形を算出してもよい。以下、この場合を実施の形態2として説明する。
音響信号スペクトル算出部100Aは、保持部50に保持される重み係数a(θ,ω)と、マイクロホンユニット201からの音響信号m1(n)に対する周波数スペクトル信号Sm1(ω)と、信号取得のために指定する方向である方向θ0とを入力として、出力の音響信号スペクトルY(ω)を算出する。
IFFT(Inverse Fast Fourier Transform)120は、音響信号スペクトル算出部100Aにより算出された音響信号スペクトルY(ω)を、高速逆フーリエ変換した音響信号波形y(n)を算出し、出力部110Aに出力する。
以上のように、本実施の形態の音源探査システム1000Aによれば、耐騒音性に優れた音源探査装置において学習により算出した重み係数a(θ,ω)を使って、指定した特定の方向のみの音響信号波形y(n)を出力することができる。これにより、特定の方向のみの音を抽出するマイクロホン装置の機能を実現することができる。
10 相関行列算出部
20 記憶部
30 選択部
31、32−1、32−m、32−N 行列要素選択部
40 学習部
50 保持部
60 線形和算出部
61−1、61−N 信号乗算部
62、806 信号加算部
70 誤差算出部
71 信号減算部
80 非線形関数部
90 重み更新部
100 空間スペクトル算出部
100A 音響信号スペクトル算出部
110、110A 出力部
120 IFFT
200 マイクロホンアレイ
201、202、203 マイクロホンユニット
300 周波数分析部
301、302、303 FFT
801 実部抽出部
802 虚部抽出部
803、804 非線形性追加部
805 虚数単位乗算部
1000、1000A 音源探査システム
Claims (9)
- 探査対象の音源の方向を探査する音源探査装置であって、
互いに離間して配置された2以上のマイクロホンユニットから構成されるマイクロホンアレイにより収音された音響信号である観測信号の相関行列である第1相関行列を算出する相関行列算出部と、
記憶部に予め記憶されている複数の第2相関行列であって、前記マイクロホンアレイのアレイ配列から算出された方向別の相関行列である複数の第2相関行列それぞれに重みを乗算した線形和が前記第1相関行列と等しくなるように、前記重みを学習によって算出する学習部と、
前記学習部により算出された前記重みを用いて、方向別の音圧強度を示す空間スペクトルであって前記観測信号の空間スペクトルを算出する空間スペクトル算出部とを備える、
音源探査装置。 - 前記音源探査装置は、さらに、
前記第1相関行列を構成する要素のうちの一つである第1要素と、前記複数の第2相関行列それぞれを構成する要素のうち、前記第1要素と対応する位置にある要素である第2要素を選択し、かつ、選択する前記第1要素および前記第2要素を逐次に切り替える選択部を備え、
前記学習部は、前記第2要素に第1重みを乗算した第1要素線形和が前記第1要素と等しくなるように、前記第1重みを前記学習によって算出した第2重みに更新し、更新した前記第2重みを、次に前記選択部により選択された前記第2要素に乗算した第2要素線形和が、次に前記選択部により選択された前記第1要素と等しくなるように、前記第2重みを前記学習によって算出した第3重みに更新することを前記逐次に繰り返すことにより、前記重みを前記学習により算出する、
請求項1に記載の音源探査装置。 - 前記選択部は、前記第1相関行列および前記第2相関行列を構成する対角成分を除く要素のうち、前記対角成分により区切られる2組の複数の要素の一方の組の複数の要素のうちからのみ、前記第1要素および前記第2要素を選択する、
請求項2に記載の音源探査装置。 - 前記学習部は、
LMS(Least Mean Square)アルゴリズム、またはICA(Independent Component Analysis)を用いることにより、前記線形和および前記第1相関行列の差である誤差と前記第2相関行列とから、前記重みを算出する、
請求項1〜3のいずれか1項に記載の音源探査装置。 - 前記学習部は、
重みを保持する保持部と、
前記複数の第2相関行列それぞれに、前記保持部が保持する重みを乗算した線形和を算出する線形和算出部と、
前記線形和および前記第1相関行列の差である誤差を算出する誤差算出部と、
前記誤差と前記第2相関行列の積から重み更新量を算出し、前記保持部が保持する重みに前記重み更新量を加えることで前記保持部が保持する重みとする重み更新部とを備える、
請求項1〜3のいずれか1項に記載の音源探査装置。 - 前記重み更新部は、
LMSアルゴリズムまたはICAを用いることにより、前記誤差および前記第2相関行列から重み更新量を算出する、
請求項5に記載の音源探査装置。 - 前記学習部は、さらに、
所定の非線形関数を用いて、前記誤差に非線形性を加える非線形関数部を備え、
前記重み更新部は、前記非線形関数部により非線形性が加えられた前記誤差、および、前記第2相関行列から重み更新量を算出し、前記保持部が保持する重みに前記重み更新量を加えることで前記保持部が保持する重みとする、
請求項5または6に記載の音源探査装置。 - 探査対象の音源の方向を探査する音源探査方法であって、
互いに離間して配置された2以上のマイクロホンユニットから構成されるマイクロホンアレイにより収音された音響信号である観測信号の相関行列である第1相関行列を算出する相関行列算出ステップと、
記憶部に予め記憶されている複数の第2相関行列であって、前記マイクロホンアレイのアレイ配列から算出された方向別の相関行列である複数の第2相関行列それぞれに重みを乗算した線形和が前記第1相関行列と等しくなるように、前記重みを学習によって算出する学習ステップと、
前記学習ステップにおいて算出された前記重みを用いて、方向別の音圧強度を示す空間スペクトルであって前記観測信号の空間スペクトルを算出する空間スペクトル算出ステップとを含む、
音源探査方法。 - 探査対象の音源の方向を探査する音源探査方法をコンピュータに実行させるためのプログラムであって、
互いに離間して配置された2以上のマイクロホンユニットから構成されるマイクロホンアレイにより収音された音響信号である観測信号の相関行列である第1相関行列を算出する相関行列算出ステップと、
記憶部に予め記憶されている複数の第2相関行列であって、前記マイクロホンアレイのアレイ配列から算出された方向別の相関行列である複数の第2相関行列それぞれに重みを乗算した線形和が前記第1相関行列と等しくなるように、前記重みを学習によって算出する学習ステップと、
前記学習ステップにおいて算出された前記重みを用いて、方向別の音圧強度を示す空間スペクトルであって前記観測信号の空間スペクトルを算出する空間スペクトル算出ステップとをコンピュータに実行させる、
プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/898,896 US10264350B2 (en) | 2017-03-03 | 2018-02-19 | Sound source probing apparatus, sound source probing method, and storage medium storing program therefor |
EP18157565.5A EP3370232B1 (en) | 2017-03-03 | 2018-02-20 | Sound source probing apparatus, sound source probing method, and storage medium storing program therefor |
CA2995697A CA2995697A1 (en) | 2017-03-03 | 2018-02-20 | Sound source probing apparatus, sound source probing method, and storage medium storing program therefor |
CN201810158701.6A CN108540898B (zh) | 2017-03-03 | 2018-02-26 | 声源探测装置及方法、记录有声源探测程序的记录介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762466498P | 2017-03-03 | 2017-03-03 | |
US62/466,498 | 2017-03-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018146948A true JP2018146948A (ja) | 2018-09-20 |
JP6953287B2 JP6953287B2 (ja) | 2021-10-27 |
Family
ID=63592117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017216735A Active JP6953287B2 (ja) | 2017-03-03 | 2017-11-09 | 音源探査装置、音源探査方法およびそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6953287B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020075008A1 (ja) * | 2018-10-11 | 2020-04-16 | 株式会社半導体エネルギー研究所 | 車両警報装置 |
CN111323750A (zh) * | 2020-03-19 | 2020-06-23 | 哈尔滨工程大学 | 一种基于声矢量阵列网络的直接定位方法 |
CN111983357A (zh) * | 2020-08-21 | 2020-11-24 | 国网重庆市电力公司电力科学研究院 | 一种结合声纹检测功能的超声可视化故障检测方法 |
CN112903081A (zh) * | 2021-01-21 | 2021-06-04 | 中国海洋石油集团有限公司 | 声矢量传感器阵列自适应波束形成方法、系统及存储介质 |
CN113270108A (zh) * | 2021-04-27 | 2021-08-17 | 维沃移动通信有限公司 | 语音活动检测方法、装置、电子设备及介质 |
CN116092297A (zh) * | 2023-04-07 | 2023-05-09 | 南京航空航天大学 | 一种低渗透率分布式差分信号控制的边缘计算方法及系统 |
-
2017
- 2017-11-09 JP JP2017216735A patent/JP6953287B2/ja active Active
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020075008A1 (ja) * | 2018-10-11 | 2020-04-16 | 株式会社半導体エネルギー研究所 | 車両警報装置 |
CN112805764A (zh) * | 2018-10-11 | 2021-05-14 | 株式会社半导体能源研究所 | 车辆警报装置 |
JPWO2020075008A1 (ja) * | 2018-10-11 | 2021-11-25 | 株式会社半導体エネルギー研究所 | 車両警報装置 |
JP7402811B2 (ja) | 2018-10-11 | 2023-12-21 | 株式会社半導体エネルギー研究所 | 車両警報装置 |
US12049167B2 (en) | 2018-10-11 | 2024-07-30 | Semiconductor Energy Laboratory Co., Ltd. | Vehicle alarm device |
CN111323750A (zh) * | 2020-03-19 | 2020-06-23 | 哈尔滨工程大学 | 一种基于声矢量阵列网络的直接定位方法 |
CN111323750B (zh) * | 2020-03-19 | 2022-08-02 | 哈尔滨工程大学 | 一种基于声矢量阵列网络的直接定位方法 |
CN111983357A (zh) * | 2020-08-21 | 2020-11-24 | 国网重庆市电力公司电力科学研究院 | 一种结合声纹检测功能的超声可视化故障检测方法 |
CN112903081A (zh) * | 2021-01-21 | 2021-06-04 | 中国海洋石油集团有限公司 | 声矢量传感器阵列自适应波束形成方法、系统及存储介质 |
CN113270108A (zh) * | 2021-04-27 | 2021-08-17 | 维沃移动通信有限公司 | 语音活动检测方法、装置、电子设备及介质 |
CN113270108B (zh) * | 2021-04-27 | 2024-04-02 | 维沃移动通信有限公司 | 语音活动检测方法、装置、电子设备及介质 |
CN116092297A (zh) * | 2023-04-07 | 2023-05-09 | 南京航空航天大学 | 一种低渗透率分布式差分信号控制的边缘计算方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP6953287B2 (ja) | 2021-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108540898B (zh) | 声源探测装置及方法、记录有声源探测程序的记录介质 | |
JP2018146948A (ja) | 音源探査装置、音源探査方法およびそのプログラム | |
Li et al. | Application of differential evolution algorithm on self-potential data | |
JP6594222B2 (ja) | 音源情報推定装置、音源情報推定方法、およびプログラム | |
Hamid et al. | Performance comparison of time-domain and frequency-domain beamforming techniques for sensor array processing | |
Zavala et al. | Generalized inverse beamforming with optimized regularization strategy | |
US9264809B2 (en) | Multitask learning method for broadband source-location mapping of acoustic sources | |
Malgoezar et al. | On the use of global optimization methods for acoustic source mapping | |
Muhamad et al. | On the orthogonalised reverse path method for nonlinear system identification | |
Park et al. | Compressive time delay estimation off the grid | |
JP6106571B2 (ja) | 音源位置推定装置、方法及びプログラム | |
KR101958337B1 (ko) | 신호의 도래각을 추정하는 방법 및 장치 | |
Bai et al. | Observer-based beamforming algorithm for acoustic array signal processing | |
Chen et al. | Selective range iterative adaptive approach for high-resolution DOA estimation | |
CN105572629A (zh) | 一种适用于任意阵列结构的低运算复杂度的二维测向方法 | |
JP2022092827A (ja) | 計算機システム及びデータ処理方法 | |
US11482239B2 (en) | Joint source localization and separation method for acoustic sources | |
Yu et al. | A novel adaptive beamforming technique for large-scale arrays | |
Zhang et al. | Broadband underwater multi-source localization with a computationally efficient coherent OMP algorithm | |
CN108896967A (zh) | 基于杂波协方差矩阵估计的距离扩展目标检测方法及装置 | |
WO2018110008A1 (ja) | 目的音強調装置、雑音推定用パラメータ学習装置、目的音強調方法、雑音推定用パラメータ学習方法、プログラム | |
JP7159928B2 (ja) | 雑音空間共分散行列推定装置、雑音空間共分散行列推定方法、およびプログラム | |
Tao et al. | A novel approach to fast DOA estimation of multiple spatial narrowband signals | |
JP6685943B2 (ja) | 分離行列設計装置、フィルタ係数算出装置、その方法、及びプログラム | |
Bai et al. | Bayesian approach of nearfield acoustic reconstruction with particle filters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200602 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210406 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210929 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6953287 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |