JP2018146948A - 音源探査装置、音源探査方法およびそのプログラム - Google Patents

音源探査装置、音源探査方法およびそのプログラム Download PDF

Info

Publication number
JP2018146948A
JP2018146948A JP2017216735A JP2017216735A JP2018146948A JP 2018146948 A JP2018146948 A JP 2018146948A JP 2017216735 A JP2017216735 A JP 2017216735A JP 2017216735 A JP2017216735 A JP 2017216735A JP 2018146948 A JP2018146948 A JP 2018146948A
Authority
JP
Japan
Prior art keywords
sound source
unit
correlation matrix
weight
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017216735A
Other languages
English (en)
Other versions
JP6953287B2 (ja
Inventor
丈郎 金森
Takeo Kanamori
丈郎 金森
亘平 林田
Kohei Hayashida
亘平 林田
信太郎 吉國
Shintaro Yoshikuni
信太郎 吉國
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to US15/898,896 priority Critical patent/US10264350B2/en
Priority to EP18157565.5A priority patent/EP3370232B1/en
Priority to CA2995697A priority patent/CA2995697A1/en
Priority to CN201810158701.6A priority patent/CN108540898B/zh
Publication of JP2018146948A publication Critical patent/JP2018146948A/ja
Application granted granted Critical
Publication of JP6953287B2 publication Critical patent/JP6953287B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】探査対象範囲にある探査対象の音源の方向をより確実に探査することができる音源探査装置を提供する。
【解決手段】探査対象の音源の方向を探査する音源探査装置1であって、互いに離間して配置された2以上のマイクロホンユニットから構成されるマイクロホンアレイ200により収音された音響信号である観測信号の相関行列である第1相関行列を算出する相関行列算出部10と、記憶部20に予め記憶されている複数の第2相関行列であって、マイクロホンアレイ200のアレイ配列から算出された方向別の相関行列である複数の第2相関行列それぞれに重みを乗算した線形和が第1相関行列と等しくなるように、重みを学習によって算出する学習部40と、学習部40により算出された重みを用いて、方向別の音圧強度を示す空間スペクトルであって観測信号の空間スペクトルを算出する空間スペクトル算出部100とを備える。
【選択図】図1

Description

本開示は、音源探査装置、音源探査方法およびそのプログラムに関する。
例えば特許文献1には、複数のマイクロホンユニットで得た複数の音響信号から音源の方向を精度よく推定できる音源方向推定装置が提案されている。この特許文献1では、複数の音響信号に基づく雑音信号の相関行列を用いて雑音対策を行うことで、複数の音響信号から音源の方向を精度よく推定する。
特開2014−56181号公報
しかしながら、特許文献1では、観測信号である複数のマイクロホンユニットで得た複数の音響信号に基づいて雑音信号の相関行列を算出する。そのため、騒音源と探査対象の音源とが同時に存在する場合や、騒音が探査対象の音源より高いレベルである場合に、騒音成分のみの相関行列を正確に求めることが困難である。つまり、複数のマイクロホンユニットで得た複数の音響信号の信号位相差に基づいて音源探査を行う方式では、探査対象の音源よりも高い音圧レベルの騒音が存在する場合、その騒音の影響で探査対象の音源を検知すなわち探査できなくなるという課題がある。
本開示は、上述の事情を鑑みてなされたもので、探査対象範囲にある探査対象の音源の方向をより確実に探査することができる音源探査装置を提供することを目的とする。
本開示の一態様に係る音源探査装置は、探査対象の音源の方向を探査する音源探査装置であって、互いに離間して配置された2以上のマイクロホンユニットから構成されるマイクロホンアレイにより収音された音響信号である観測信号の相関行列である第1相関行列を算出する相関行列算出部と、記憶部に予め記憶されている複数の第2相関行列であって、前記マイクロホンアレイのアレイ配列から算出された方向別の相関行列である複数の第2相関行列それぞれに重みを乗算した線形和が前記第1相関行列と等しくなるように、前記重みを学習によって算出する学習部と、前記学習部により算出された前記重みを用いて、方向別の音圧強度を示す空間スペクトルであって前記観測信号の空間スペクトルを算出する空間スペクトル算出部とを備える。
なお、これらのうちの一部の具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD−ROMなどの記録媒体を用いて実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせを用いて実現されてもよい。
本開示によれば、探査対象範囲にある探査対象の音源の方向をより確実に探査することができる音源探査装置等を実現できる。
図1は、実施の形態1における音源探査システムの構成の一例を示す図である。 図2は、実施の形態1におけるマイクロホンアレイと探査対象の音源がある音源方向との位置関係を示す説明図である。 図3は、図2に示す位置関係においてマイクロホンアレイが観測する観測信号の空間スペクトル図である。 図4は、図1に示す音源探査装置の詳細構成の一例を示す図である。 図5は、実施の形態1における選択部の選択方法の説明図である。 図6は、実施の形態1における非線形関数部の構成の一例を示す図である。 図7は、実施の形態1における音源探査装置の音源探査処理を示すフローチャートである。 図8は、図7に示す音源探査処理の詳細を示すフローチャート図である。 図9は、比較例における空間スペクトル図である。 図10は、実施の形態1における空間スペクトル図である。 図11は、実施の形態2における音源探査システムの構成の一例を示す図である。
本開示の一態様に係る音源探査装置は、探査対象の音源の方向を探査する音源探査装置であって、互いに離間して配置された2以上のマイクロホンユニットから構成されるマイクロホンアレイにより収音された音響信号である観測信号の相関行列である第1相関行列を算出する相関行列算出部と、記憶部に予め記憶されている複数の第2相関行列であって、前記マイクロホンアレイのアレイ配列から算出された方向別の相関行列である複数の第2相関行列それぞれに重みを乗算した線形和が前記第1相関行列と等しくなるように、前記重みを学習によって算出する学習部と、前記学習部により算出された前記重みを用いて、方向別の音圧強度を示す空間スペクトルであって前記観測信号の空間スペクトルを算出する空間スペクトル算出部とを備える。
この構成により、探査対象範囲にある探査対象の音源の方向をより確実に探査することができる。さらに、学習により算出された重みを用いて観測信号の空間スペクトルを算出するので、耐騒音性および音の変化に対して追従性に優れた音源探査装置を実現することができる。
ここで、例えば、前記音源探査装置は、さらに、前記第1相関行列を構成する要素のうちの一つである第1要素と、前記複数の第2相関行列それぞれを構成する要素のうち、前記第1要素と対応する位置にある要素である第2要素を選択し、かつ、選択する前記第1要素および前記第2要素を逐次に切り替える選択部を備え、前記学習部は、前記第2要素に第1重みを乗算した第1要素線形和が前記第1要素と等しくなるように、前記第1重みを前記学習によって算出した第2重みに更新し、更新した前記第2重みを、次に前記選択部により選択された前記第2要素に乗算した第2要素線形和が、次に前記選択部により選択された前記第1要素と等しくなるように、前記第2重みを前記学習によって算出した第3重みに更新することを前記逐次に繰り返すことにより、前記重みを前記学習により算出してもよい。
これにより、第1相関行列と複数の第2相関行列との対応する行列要素ごとに同時に等しくなる重みを学習により算出できるので、3以上のマイクロホンユニットからなるマイクロホンアレイにより収音された音響信号に基づいて、探査対象範囲にある探査対象の音源の方向をより確実に探査することができる。
また、例えば、前記選択部は、前記第1相関行列および前記第2相関行列を構成する対角成分を除く要素のうち、前記対角成分により区切られる2組の複数の要素の一方の組の複数の要素のうちからのみ、前記第1要素および前記第2要素を選択するとしてもよい。
これにより、演算量を削減できるので、より高速に探査対象範囲にある探査対象の音源の方向を探査することができる。
また、例えば、前記学習部は、LMS(Least Mean Square)アルゴリズム、またはICA(Independent Component Analysis)を用いることにより、前記線形和および前記第1相関行列の差である誤差と前記第2相関行列とから、前記重みを算出するとしてもよい。
これにより、方向間の影響を互いにキャンセルしながら方向別の強度を算出できるので、耐騒音性により優れた音源探査装置を実現することができる。
また、例えば、前記学習部は、重みを保持する保持部と、前記複数の第2相関行列それぞれに、前記保持部が保持する重みを乗算した線形和を算出する線形和算出部と、前記線形和および前記第1相関行列の差である誤差を算出する誤差算出部と、前記誤差と前記第2相関行列の積から重み更新量を算出し、前記保持部が保持する重みに前記重み更新量を加えることで前記保持部が保持する重みとする重み更新部とを備えるとしてもよい。
ここで、例えば、前記重み更新部は、LMSアルゴリズムまたはICAを用いることにより、前記誤差および前記第2相関行列から重み更新量を算出するとしてもよい。
また、例えば、前記学習部は、さらに、所定の非線形関数を用いて、前記誤差に非線形性を加える非線形関数部を備え、前記重み更新部は、前記非線形関数部により非線形性が加えられた前記誤差、および、前記第2相関行列から重み更新量を算出し、前記保持部が保持する重みに前記重み更新量を加えることで前記保持部が保持する重みとするとしてもよい。
これにより、算出した誤差に非線形性を与えて、方向間相互影響を抑制することができるので、耐騒音性により優れた音源探査装置を実現することができる。
また、本開示の一態様に係る音源探査方法は、探査対象の音源の方向を探査する音源探査方法であって、互いに離間して配置された2以上のマイクロホンユニットから構成されるマイクロホンアレイにより収音された音響信号である観測信号の相関行列である第1相関行列を算出する相関行列算出ステップと、記憶部に予め記憶されている複数の第2相関行列であって、前記マイクロホンアレイのアレイ配列から算出された方向別の相関行列である複数の第2相関行列それぞれに重みを乗算した線形和が前記第1相関行列と等しくなるように、前記重みを学習によって算出する学習ステップと、前記学習ステップにおいて算出された前記重みを用いて、方向別の音圧強度を示す空間スペクトルであって前記観測信号の空間スペクトルを算出する空間スペクトル算出ステップとを含む。
また、本開示の一態様に係るプログラムは、探査対象の音源の方向を探査する音源探査方法をコンピュータに実行させるためのプログラムであって、互いに離間して配置された2以上のマイクロホンユニットから構成されるマイクロホンアレイにより収音された音響信号である観測信号の相関行列である第1相関行列を算出する相関行列算出ステップと、記憶部に予め記憶されている複数の第2相関行列であって、前記マイクロホンアレイのアレイ配列から算出された方向別の相関行列である複数の第2相関行列それぞれに重みを乗算した線形和が前記第1相関行列と等しくなるように、前記重みを学習によって算出する学習ステップと、前記学習ステップにおいて算出された前記重みを用いて、方向別の音圧強度を示す空間スペクトルであって前記観測信号の空間スペクトルを算出する空間スペクトル算出ステップとをコンピュータに実行させる。
なお、これらのうちの一部の具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD−ROM等の記録媒体を用いて実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせを用いて実現されてもよい。
以下、本開示の一態様に係る音源探査装置について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
(実施の形態1)
図1は、実施の形態1における音源探査システム1000の構成の一例を示す図である。
音源探査システム1000は、探査対象の音源の方向を探査するために用いられる。本実施の形態では、音源探査システム1000は、図1に示すように、音源探査装置1と、マイクロホンアレイ200と、周波数分析部300とを備える。
[マイクロホンアレイ200]
マイクロホンアレイ200は、互いに離間して配置された2以上のマイクロホンユニットから構成され、全ての方向から到来する音波を観測すなわち収音して電気信号に変換した音響信号を出力する。本実施の形態では、マイクロホンアレイ200は、3つのマイクロホンユニットすなわちマイクロホンユニット201,202,203で構成されているとして、以下説明する。マイクロホンユニット201、マイクロホンユニット202およびマイクロホンユニット203は、例えば音圧に対する感度が高い無指向性のマイクロホン素子であり、離間して(換言すると異なる位置に)配される。ここで、マイクロホンユニット201は、収音した音波を電気信号に変換した時間領域信号である音響信号m1(n)を出力する。同様に、マイクロホンユニット202は、収音した音波を電気信号に変換した時間領域の信号である音響信号m2(n)を出力し、マイクロホンユニット203は、収音した音波を電気信号に変換した時間領域の信号である音響信号m3(n)を出力する。
図2は、実施の形態1におけるマイクロホンアレイ200と探査対象の音源Sがある音源方向との位置関係を示す説明図である。図3は、図2に示す位置関係においてマイクロホンアレイ200が観測する観測信号の空間スペクトル図である。図2には、マイクロホンユニット201、マイクロホンユニット202およびマイクロホンユニット203がθ=0度の軸に一列に配列されたアレイ配列からなるマイクロホンアレイ200の構成が示されている。また、図2には、マイクロホンアレイ200に対して、θ=θsの方向に探査対象の音源Sが存在しており、妨害音となる音源が存在しない場合が示されている。この場合、音源探査装置1の探査結果である空間スペクトルは、図3に示すようになる。すなわち、探査結果である図3に示す空間スペクトルにおいて最も高い強度を示す角度がθsとなる。
[周波数分析部300]
周波数分析部300は、2以上のマイクロホンユニットそれぞれにおいて観測された音響信号を周波数領域の信号に変換して、周波数スペクトル信号として出力する。より具体的には、周波数分析部300は、マイクロホンアレイ200から入力された音響信号を周波数分析を行い、周波数領域の信号である周波数スペクトル信号を出力する。なお、周波数分析には、高速フーリエ変換(Fast Fourier Transform:FFT)または離散フーリエ変換(Discrete Fourier Transform:DFT)など時間信号を周波数成分毎の振幅情報と位相情報に変換するものを用いればよい。
本実施の形態では、周波数分析部300は、高速フーリエ変換を行うFFT301、FFT302およびFFT303で構成されている。FFT301は、マイクロホンユニット201から出力された音響信号m1(n)を入力として、高速フーリエ変換を用いて時間領域から周波数領域への変換を行って周波数スペクトル信号Sm1(ω)を出力する。FFT302は、マイクロホンユニット202から出力された音響信号m2(n)を入力として、高速フーリエ変換を用いて時間領域から周波数領域への変換を行って周波数スペクトル信号Sm2(ω)を出力する。FFT303は、マイクロホンユニット203から出力された音響信号m3(n)を入力として、高速フーリエ変換を用いて時間領域から周波数領域への変換を行って周波数スペクトル信号Sm3(ω)を出力する。
[音源探査装置1]
図4は、図1に示す音源探査装置1の詳細構成の一例を示す図である。
音源探査装置1は、探査対象の音源の方向を探査する。本実施の形態では、音源探査装置1は、図1および図4に示すように、相関行列算出部10と、記憶部20と、選択部30と、学習部40と、空間スペクトル算出部100と、出力部110とを備える。なお、音源探査装置1は、マイクロホンアレイ200を構成するマイクロホンユニットの数が2であれば選択部30を備えなくてもよい。また、音源探査装置1は、マイクロホンアレイ200および周波数分析部300を備えるとしてもよい。以下、各構成要素について説明する。
<相関行列算出部10>
相関行列算出部10は、マイクロホンアレイ200により収音された音響信号である観測信号の相関行列である第1相関行列を算出する。
本実施の形態では、相関行列算出部10は、周波数分析部300が出力した周波数スペクトルから、第1相関行列である観測相関行列Rx(ω)を算出する。より具体的には、相関行列算出部10は、下記の(式1)および(式2)を用いて、FFT301からの周波数スペクトル信号Sm1(ω)と、FFT302からの周波数スペクトル信号Sm2(ω)と、FFT303からの周波数スペクトル信号Sm3(ω)とを入力として、観測相関行列Rx(ω)を算出する。
ここで、観測相関行列Rx(ω)を構成する各要素Xij(ω)は、各マイクロホンユニットに到来する複数の音波であって実環境に存在する複数の音源からの複数の音波に対する位相差情報が蓄えられたものである。例えば、(式1)に示される要素X12(ω)は、マイクロホンユニット201およびマイクロホンユニット202に到来する音波に対する位相差情報を示している。また、例えば(式1)に示される要素X13(ω)は、マイクロホンユニット201およびマイクロホンユニット203に到来する音波に対する位相差情報を示している。(式2)に示される(・)は複素共役を示している。
Figure 2018146948
Figure 2018146948
なお、本実施の形態ではマイクロホンユニット201〜203として示される各マイクロホンユニットの音圧感度特性がほぼ等しく均一である場合、観測相関行列Rx(ω)の各要素Xij(ω)を、(式3)により示すことができる。(式3)に示される観測相関行列Rx(ω)の各要素Xij(ω)は、(式2)における分母の正規化項が省略されたものに該当する。
Figure 2018146948
<記憶部20>
記憶部20は、マイクロホンアレイ200のアレイ配列から算出された方向別の相関行列である複数の第2相関行列を予め記憶する。
本実施の形態では、記憶部20は、メモリ等で構成され、第2相関行列である、探査方向θ毎の参照相関行列Rr(θ,ω)を予め記憶している。図4に示す例では、記憶部20は、例えば方向数N=180個の0≦θ≦180の範囲における参照相関行列Rr(θ,ω)〜Rr(θ,ω)を予め記憶している。
参照相関行列Rr(θ,ω)は、方向θ毎の音波に対するマイクロホンユニット間の位相差を表すので、音源の方向θと、マイクロホンアレイ200のマイクロホンユニット配列であるアレイ配列とが決まれば理論的に算出することができる。以下、図2に示すマイクロホンアレイ200のアレイ配列を例に挙げて、参照相関行列Rr(θ,ω)の算出する方法について説明する。
図2には、上述したように、マイクロホンアレイ200を構成するマイクロホンユニット201〜203が直線状に配列されたアレイ配列の例が示されている。また、図2には、方向θsに音源Sが存在するといった位置関係も示されている。
マイクロホンユニット201〜203への音源Sからの音波の到来時刻は、中央のマイクロホンユニット202を基準にすると、マイクロホンユニット201では時間τ早く、マイクロホンユニット203では時間τ遅くなる。時間τは、以下の(式4)を用いて算出できる。(式4)において、Lはマイクロホンユニット間距離、cは音速を示す。
Figure 2018146948
そして、方向θの音源からの音波に対するマイクロホンユニット201〜203の位相差関係を示す方向ベクトルは、中央にあるマイクロホンユニット202の位置を基準とすると、(式5)を用いて表せる。
Figure 2018146948
したがって、音源が方向θにあるときの換言すると方向θに対する、参照相関行列Rr(θ,ω)は、(式2)、(式3)および(式5)の関係から、(式6)に示されるように定義できる。(式6)において、(・)は、複素共役転置を示す。
Figure 2018146948
このようにして、方向θ〜θ(例えばN=180)に対する参照相関行列Rr(θ,ω)〜Rr(θ,ω)を算出できる。
<選択部30>
選択部30は、第1相関行列を構成する要素のうちの一つである第1要素と、複数の第2相関行列それぞれを構成する要素のうち、第1要素と対応する位置にある要素である第2要素を選択し、かつ、選択する第1要素および第2要素を逐次に切り替える。ここで、選択部30は、第1相関行列および第2相関行列を構成する対角成分を除く要素のうち、対角成分により区切られる2組の複数の要素の一方の組の複数の要素のうちからのみ、第1要素および第2要素を選択すればよい。
本実施の形態では、選択部30は、相関行列算出部10からの観測相関行列Rx(ω)と記憶部20からの参照相関行列Rr(θ,ω)とを入力として、観測相関行列Rx(ω)および複数の参照相関行列Rr(θ,ω)における対応する相関行列の要素を選択して出力する。選択部30は、例えば図4に示すように、行列要素選択部31と、行列要素選択部32−1〜行列要素選択部32−Nとを備える。なお、図4には、方向θに対する参照相関行列Rr(θ,ω)が入力される行列要素選択部32−1と、方向θに対する参照相関行列Rr(θ,ω)が入力される行列要素選択部32−Nとの2つが設けられている場合の例が示されているが、これに限られない。方向数N=180の場合は、方向θ〜θに対する参照相関行列Rr(θ,ω)〜Rr(θ,ω)が入力されるN個の行列要素選択部32−1〜行列要素選択部32−Nが設けられる。
以下、選択部30の選択方法の一例について図5を用いて具体的に説明する。
図5は、実施の形態1における選択部30の選択方法の説明図である。
図5に示すように、行列要素選択部31は、相関行列算出部10から入力された観測相関行列Rx(ω)を構成する要素(行列要素とも称する)のうちの一つを選択して、位相差信号x(ω)として出力する。行列要素選択部32−m(mは1以上N以下の自然数)は、記憶部20から入力された参照相関行列Rr(θ,ω)を構成する要素のうち行列要素選択部31が選択した要素と同じ行と列の要素を選択して、位相差信号r(θ,ω)として出力する。
なお、通常は相関行列の対角要素は1となり信号処理上意味を持たない。また、相関行列において行番号と列番号とが入れ替わったxijとxjiとは、位相回転が逆の関係で情報としては同一である。これらを考慮して、選択部30は、参照相関行列Rr(θ,ω)および観測相関行列Rx(ω)の相関行列を構成する対角成分を除く要素のうち、対角成分により区切られる2組の複数の要素の一方の組の複数の要素から要素を選択して出力すればよい。つまり、選択部30は、参照相関行列Rr(θ,ω)および観測相関行列Rx(ω)の相関行列の対角成分を除いた上三角行列または下三角行列の要素を選択して出力すればよい。これにより、音源探査装置1は演算量を削減できる。
さらに、選択部30は、演算量の削減などの観点から、上三角行列または下三角行列の要素を選択する数を間引いてもよい。
<学習部40>
学習部40は、記憶部20に予め記憶されている複数の第2相関行列それぞれに重みを乗算した線形和が第1相関行列と等しくなるように、当該重みを学習によって算出する。ここで、学習部40は、LMSアルゴリズム、またはICA(Independent Component Analysis)を用いることにより、当該線形和および第1相関行列の差である誤差と、第2相関行列とから、重みを算出する。より具体的には、学習部40は、選択部30により選択された第2要素に第1重みを乗算した第1要素線形和が、選択部30により選択された第1要素と等しくなるように、第1重みを学習によって算出した第2重みに更新する。続いて、学習部40は、更新した第2重みを、次に選択部30により選択された第2要素に乗算した第2要素線形和が、次に選択部30により選択された第1要素と等しくなるように、第2重みを学習によって算出した第3重みに更新する。学習部40は、これらの更新を逐次に繰り返すことにより、当該重みを学習により算出する。
本実施の形態では、学習部40は、図1および図4に示すように、保持部50と、線形和算出部60と、誤差算出部70と、非線形関数部80と、重み更新部90とを備える。なお、非線形関数部80は必須の構成ではなく、学習部40は非線形関数部80を備えなくてもよい。
≪保持部50≫
保持部50は、重み更新部90により更新される重みを保持する。保持部50は、参照相関行列Rr(θ,ω)毎に対して乗算する重みを保持している。換言すると、当該重みは、参照相関行列Rr(θ,ω)〜Rr(θ,ω)それぞれの相関行列を構成する各要素に対して共通である。
また、重みはθおよびωを変数とする関数であるが、ωは定数として扱うことで一次元の係数として扱うことができる。以下、重みを重み係数a(θ,ω)と称して説明する。
本実施の形態では、重み係数a(θ,ω)は、方向θ毎の参照相関行列Rr(θ,ω)に乗算される係数である。図4には、一例として、例えば180個の0≦θ≦180の範囲における参照相関行列Rr(θ,ω)に対応する方向θ〜θ(N=180)の重み係数a(θ,ω)〜a(θ,ω)が示されている。
保持部50は、重み更新部90により更新される重み係数a(θ,ω)を保持する。つまり、重み係数a(θ,ω)は、重み更新部90で算出された重み更新量に基づいて、値が更新される学習係数である。また、保持部50は、保持する重み係数a(θ,ω)を空間スペクトル算出部100へ出力する。
≪線形和算出部60≫
線形和算出部60は、複数の第2相関行列それぞれに、保持部50が保持する重みを乗算した線形和を算出する。
本実施の形態では、線形和算出部60は、図4に示すように、信号乗算部61−1〜信号乗算部61−Nと、信号加算部62とを備える。
信号乗算部61−1は、行列要素選択部32−1で選択された参照相関行列Rr(θ,ω)の要素r(θ,ω)に、方向θの重み係数a(θ,ω)乗算して、信号加算部62に出力する。同様にして、信号乗算部61−Nは、行列要素選択部32−Nで選択された参照相関行列Rr(θ,ω)の要素r(θ,ω)に、方向θの重み係数a(θ,ω)乗算して、信号加算部62に出力する。このように、信号乗算部61−1〜信号乗算部61−Nはそれぞれ、方向θ〜θ毎において参照相関行列Rr(θ,ω)に重み係数a(θ,ω)を乗算した信号を信号加算部62に出力する。
信号加算部62は、信号乗算部61−1〜信号乗算部61−Nから出力された信号を加算した推定位相差信号xr(ω)を、誤差算出部70に出力する。より具体的には、信号加算部62は、(式7)を用いて、信号乗算部61−1〜信号乗算部61−Nから出力された信号の線形和を、推定位相差信号xr(ω)として算出する。
Figure 2018146948
≪誤差算出部70≫
誤差算出部70は、線形和算出部60により算出された線形和と第1相関行列との差である誤差を算出する。本実施の形態では、誤差算出部70は、図4に示すように、信号減算部71を備える。
信号減算部71は、行列要素選択部31からの位相差信号x(ω)から、信号加算部62からの推定位相差信号xr(ω)を減算することで誤差信号e(ω)を算出する。より具体的には、信号減算部71は、(式8)を用いて、誤差信号e(ω)を算出する。
Figure 2018146948
≪非線形関数部80≫
非線形関数部80は、所定の非線形関数を用いて、誤差に非線形性を加える。より具体的には、非線形関数部80は、信号減算部71から入力された誤差信号e(ω)を、非線形入出力特性を持つ関数である非線形関数により非線形性を加えた信号に変換する。非線形関数は、例えばハイパブリックタンジェントであるが、これに限られない。信号振幅に制限を与えることができる非線形入出力特性を有する非線形関数であれば、どのような関数であってもよい。外乱により位相差を狂わされて誤差信号e(ω)が一時的に大きくなったとしても、後述する重み更新部90において学習される重み更新量への影響を抑制することができるからである。
図6は、実施の形態1における非線形関数部80の構成の一例を示す図である。非線形関数部80は、図6に示すように、実部抽出部801と、虚部抽出部802と、非線形性追加部803と、非線形性追加部804と、虚数単位乗算部805と、信号加算部806とを備える。
実部抽出部801は、入力された誤差信号e(ω)の実数部を抽出して、非線形性追加部803に出力する。虚部抽出部802は、入力された誤差信号e(ω)の虚数部を抽出して、非線形性追加部804に出力する。
非線形性追加部803は、実部抽出部801から入力された誤差信号e(ω)の実数部の信号振幅に非線形関数により非線形性を加えて、信号加算部806に出力する。非線形性追加部804は、虚部抽出部802から入力された誤差信号e(ω)の虚数部の信号振幅に非線形関数により非線形性を加えて、虚数単位乗算部805に出力する。
虚数単位乗算部805は、非線形性追加部804から入力された信号を虚数に戻すため、虚数単位jを乗算して、信号加算部806に出力する。信号加算部806は、実部信号である非線形性追加部803から入力された信号と、虚部信号である虚数単位乗算部805から入力された信号とを加算した非線形性が加えられた複素信号f(e(ω))、重み更新部90に出力する。
非線形性が加えられた複素信号f(e(ω))の一例を、(式9)に示す。(式9)は、非線形関数にハイパブリックタンジェントtanh(・)を用いた場合の例である。real(・)は実数部、imag(・)は虚数部を表し、jは虚数単位である。
Figure 2018146948
≪重み更新部90≫
重み更新部90は、LMS(Least Mean Square)アルゴリズム、またはICA(Independent Component Analysis)を用いることにより、誤差および第2相関行列から重み更新量を算出し、保持部50が保持する重みに当該重み更新量を加えて保持部50が保持する重みとする。また、音源探査装置1が非線形関数部80を備える場合には、重み更新部90は、非線形関数部80により非線形性が加えられた誤差、および、第2相関行列から重み更新量を算出し、保持部50が保持する重みに当該重み更新量を加えて保持部50が保持する重みとする。
本実施の形態では、重み更新部90は、非線形関数部80から入力された複素信号f(e(ω))と、選択部30から入力されたN個の位相差信号r(θ,ω)〜r(θ,ω)とが入力される。そして、重み更新部90は、N個の位相差信号r(θ,ω)〜r(θ,ω)に乗算される重み係数a(θ,ω)〜a(θ,ω)に対する重み更新量Δa(θ,ω)〜Δa(θ,ω)を算出する。
例えば、音源探査装置1が非線形関数部80を備えない場合には、重み更新部90は、(式10)を用いて、重み更新量Δa(θ,ω)〜Δa(θ,ω)を算出する。一方、音源探査装置1が非線形関数部80を備える場合には、重み更新部90は、(式11)を用いて、重み更新量Δa(θ,ω)〜Δa(θ,ω)を算出する。
Figure 2018146948
Figure 2018146948
なお、(式10)および(式11)は、LMSアルゴリズムを用いて重み更新量を算出する場合が示されている。βは更新速度を制御するパラメータである。また、相関行列では、要素rij(ω)とrji(ω)とにおいて位相反転の関係がある。そのため、(式10)および(式11)では、複素共役の関係から虚部がキャンセルされるためreal(・)の部分を設けている。
そして、重み更新部90は、下記の(式12)に示すように、算出した重み更新量を用いて、保持部50に保持される重み係数a(θ,ω)を更新する。
Figure 2018146948
≪空間スペクトル算出部100≫
空間スペクトル算出部100は、学習部40により算出された重みを用いて、方向別の音圧強度を示す空間スペクトルであって観測信号の空間スペクトルを算出する。
本実施の形態では、空間スペクトル算出部100は、保持部50が保持する、重み更新部90により学習により更新された重み係数a(θ,ω)〜a(θ,ω)を入力として、空間スペクトルp(θ)を算出して、出力部110に出力する。
より具体的には、空間スペクトル算出部100は、下記の(式13)に示すように、保持部50が保持する重み係数a(θ,ω)を周波数ωについて和または平均を計算することで空間スペクトルp(θ)を得ることができる。原理は後述するが、重み係数a(θ,ω)は、方向θおよび周波数ω毎の音波の強度を示す関数として扱えるからである。
Figure 2018146948
[音源探査装置1の動作]
以上のように構成される音源探査装置1が行う音源探査処理について説明する。
図7は、実施の形態1における音源探査装置1の音源探査処理を示すフローチャートである。
まず、音源探査装置1は、観測信号の相関行列算出処理を行う(S10)。より具体的には、音源探査装置1は、互いに離間して配置された2以上のマイクロホンユニットから構成されるマイクロホンアレイ200により収音された音響信号である観測信号の相関行列である観測相関行列Rx(ω)を算出する。
次に、音源探査装置1は、参照相関行列それぞれに乗算する重みの学習処理を行う(S20)。より具体的には、音源探査装置1は、記憶部20に予め記憶されている複数の参照相関行列Rr(θ,ω)であって、マイクロホンアレイのアレイ配列から算出された方向別の相関行列である複数の参照相関行列Rr(θ,ω)それぞれに重み係数a(θ,ω)を乗算した線形和が観測相関行列Rx(ω)と等しくなるように、重みを学習によって算出する。
次に、音源探査装置1は、観測信号の空間スペクトル算出処理を行う(S30)。より具体的には、音源探査装置1は、ステップS20において算出された重みを用いて、方向別の音圧強度を示す空間スペクトルp(θ)であって観測信号の空間スペクトルp(θ)を算出する。
図8は、図7に示す音源探査処理の詳細を示すフローチャートである。図7と同様の要素には同一の符号を付している。
より詳細には、まず、ステップS10において、マイクロホンアレイ200は、時刻tの音響信号を取得する(S101)。次いで、周波数分析部300は、ステップS101で取得した音響信号の周波数分析を行い(S102)、周波数領域の信号である周波数スペクトル信号に変換する。そして、音源探査装置1は、ステップS102において変換された周波数スペクトル信号から、時刻tにおける観測信号の相関行列である観測相関行列Rx(ω)を算出する(S103)。
次に、ステップS20において、まず、重みの学習処理を行う回数として所定回数Ntを音源探査装置1に設定する(S201)。次いで、音源探査装置1は、観測相関行列Rx(ω)および参照相関行列Rr(θ,ω)の対応する行列要素を選択し、位相差信号x(ω)および位相差信号r(θ,ω)を出力する(S202)。次いで、音源探査装置1は、位相差信号x(ω)と、位相差信号r(θ,ω)と、重み係数a(θ,ω)とから、誤差信号e(ω)を算出する(S203)。次いで、音源探査装置1は、誤差信号e(ω)に非線形性を加えた複素信号f(e(ω))を算出する(S204)。次いで、音源探査装置1は、ステップS204で算出した複素信号f(e(ω))と、ステップS203で算出した位相差信号r(θ,ω)とから、重み係数a(θ,ω)の重み更新量Δa(θ,ω)を算出し、重み係数a(θ,ω)を更新する(S205)。そして、音源探査装置1は、ステップS202で選択した観測相関行列Rx(ω)および参照相関行列Rr(θ,ω)の行列要素が一巡したか判断する(S206)。一巡した場合には(S206でYES)、重み係数a(θ,ω)の学習処理を行う回数が所定回数Ntに達したかを判断する(S207)。所定回数Ntに達した場合には(S207でYES)、音源探査装置1は、次のステップS30に処理に進む。なお、ステップS206またはステップS207において、一巡していない場合(S206でNO)または所定回数Ntに達していない場合(S207でNO)、ステップS202に戻り処理を繰り返す。
次に、ステップS30において、音源探査装置1は、ステップS20での学習により更新された重み係数a(θ,ω)から、観測信号の空間スペクトルp(θ)を算出する(S301)。
次に、音源探査装置1は、ステップS40において、例えば時刻t+Δtに時刻tを更新して、ステップS50において、音源探査処理を終了するかを判定する。なお、音源探査処理を終了しない場合には(S50でNO)、ステップS10に戻り、時刻t+Δtにおける観測信号の相関行列である観測相関行列Rx(ω)を算出する。
このように、音源探査装置1は、複数の参照相関行列Rr(θ,ω)それぞれに重み係数a(θ,ω)を乗算した線形和が、観測相関行列Rx(ω)と等しくなるように、行列要素すべてについての重み係数a(θ,ω)を学習するまで、対応する行列要素ごとの学習を繰り返す。さらに、音源探査装置1は、学習の繰り返しを所定回数Nt行ってもよい。
例えば、3行3列の参照相関行列Rr(θ,ω)および観測相関行列Rx(ω)であり、所定回数Ntが3回であるとすると、上三角行列または下三角行列の3つ要素について3回学習処理することになるので、合計9回学習処理を行うことになる。
このように、複数の参照相関行列Rr(θ,ω)それぞれに重み係数a(θ,ω)を乗算した線形和が、観測相関行列Rx(ω)とより等しくなる重み係数a(θ,ω)を学習することができる。
[動作の原理]
次に、複数の参照相関行列Rr(θ,ω)それぞれに重み係数a(θ,ω)を乗算した線形和が、観測相関行列Rx(ω)と等しくなる重み係数a(θ,ω)を学習によって算出できる原理について説明する。また、得られた重み係数a(θ,ω)を用いて空間スペクトルp(θ)を算出できる原理についても説明する。
マイクロホンアレイ200からの信号を基に観測される観測相関行列Rx(ω)、すなわち相関行列算出部10の出力である観測相関行列Rx(ω)は、下記の(式14)に示すように、方向θに存在する空間の音源に対する相関行列Rs(θ,ω)と強度u(θ,ω)との線形和で近似できることが知られている。Rs(θ,ω)は音波の到来方向によるマイクロホンユニット間の位相差情報であり、方向情報を示す。強度u(θ,ω)は音波の強さを示す。そして、方向θ毎の音波に対する強度u(θ,ω)を求めることで空間スペクトルp(θ)を導出することができる。
Figure 2018146948
(式14)において、観測相関行列Rx(ω)は、観測可能な相関行列であり既知数である。一方で強度u(θ,ω)および相関行列Rs(θ,ω)は未知数である。ここで、相関行列Rs(θ,ω)は、方向θ別の相関行列であり、その行列要素は音波到来方向が方向θであるときのマイクロホンユニット間の位相差である。このことに着目すると、相関行列Rs(θ,ω)は、既知情報であるマイクロホンアレイにおけるマイクロホンユニット配列と方向θと音速cとを使って、理論値に置き換えることができる。なお、上述した(式4)、(式5)および(式6)は、相関行列Rs(θ,ω)を、既知情報を用いて予め計算したすなわち理論値である参照相関行列Rr(θ,ω)に置き換えたものである。
また、音源探査装置1において空間スペクトルとして求める未知数を重み係数a(θ,ω)、すなわち重み係数a(θ,ω)が(式14)の強度u(θ,ω)に等しいとすることで、(式14)は(式15)に書き換えることができる。
Figure 2018146948
したがって、(式15)を算出することは、観測相関行列Rx(ω)が観測値であり、参照相関行列Rr(θ,ω)が既知の理論値であることから、重み係数a(θ,ω)を求める問題となる。なお、このような問題は、セミブラインド同定の問題とも称される。
ここで、通常の音響信号の同定と異なる点は、観測相関行列Rx(ω)と参照相関行列Rr(θ,ω)とが行列であり、重み係数a(θ,ω)が1次元の係数である点と、観測信号と参照信号とに相当する信号が位相差を表す回転子であり、常に振幅1の複素数である点である。
観測相関行列Rx(ω)と参照相関行列Rr(θ,ω)とが行列であり、重み係数a(θ,ω)が1次元の係数である点から、重み係数a(θ,ω)は、観測相関行列Rx(ω)と参照相関行列Rr(θ,ω)との、対応する各行列要素に対して共通に成り立つ値を求めることになるのがわかる。つまり、行列の要素で(式15)を書き直した(式16)を満たす重み係数a(θ,ω)を求めることとなる。(式16)において、xij(ω)は、観測相関行列Rx(ω)の行列要素を示す。rij(θ,ω)は参照相関行列Rr(θ,ω)の行列要素を示す。
Figure 2018146948
本実施の形態では、(式16)を(式17)と書きなおし、推定誤差である誤差信号e(ω)を最小化するLMSまたはICA(Independent Component Analysis)などの学習方式を用いることでa(θ,ω)を求める。なお、学習方式はこれらに限らない。
Figure 2018146948
より具体的には、(式17)において、xij(ω)およびrij(θ,ω)の行列要素に対して共通に成り立つ重み係数a(θ,ω)を算出するため、選択部30によって、行列要素を順次選択して重み係数の学習を行う。そして、信号乗算部61−1,・・・,61−Nは(式17)の右辺第2項の乗算、信号加算部62は(式17)の右辺のΣ、信号減算部71は、(式17)の右辺の減算に対応する。
また、観測信号と参照信号とに相当する信号が位相差を表す回転子であり、常に振幅1の複素数である点から、誤差信号e(ω)に非線形性を与えて、方向間相互影響を抑制するよう独立成分分析(ICA)の効果を加える。
本実施の形態では、図6に示すように実部と虚部に分解した上で、上述した(式9)のような非線形関数を適用する。このようにすることで音波到来方向としての方向θの違いを独立な成分として学習することができるので、異なる方向の影響を受けにくい収束動作を得ることができる。
以上のような考えで、重み係数の更新を、(式11)および(式12)を用いて行う。そして、学習後の重み係数a(θ,ω)を用いて、(式13)を用いることにより、音源探査装置1の出力である空間スペクトルp(θ)を算出することができる。
[効果]
以上のように、本実施の形態の音源探査装置1によれば、マイクロホンアレイ200の複数素子であるマイクロホンユニットで観測した音響信号の観測相関行列Rx(ω)を基に空間スペクトルp(θ)を求めることができる。より具体的には、マイクロホンアレイ200のアレイ配列から理論値として計算できる方向別の参照相関行列Rr(θ,ω)を予め用意し、各々の方向を示す参照相関行列Rr(θ,ω)に各々重み係数a(θ,ω)を乗算した線形和が、観測相関行列Rx(ω)と等しくなるように重み係数a(θ,ω)を学習によって算出する。そして、得られた重み係数a(θ,ω)を用いて空間スペクトルp(θ)を算出する。これにより、演算量の大きい相関行列と方向ベクトルから空間スペクトルを導出する計算を行わずに、妨害音となる音源および探査対象の音源の方向に対応する強度を重み係数a(θ,ω)として逐次的に推定することができるので、周波数分析フレーム単位のミリ秒〜秒オーダといった間隔でマイクロホンユニットにおいて観測した音響信号の観測相関行列Rx(ω)を基に空間スペクトルp(θ)を求めることができる。つまり、本実施の形態によれば、音の変化に対する追従性に優れた音源探査装置1を実現できるのがわかる。
また、本実施の形態の音源探査装置1によれば、方向間の影響を互いにキャンセルしながら方向別の強度を算出できる。例えば、θ〜θの角度範囲を検知すべき探査範囲の方向、θm+1〜θの角度範囲を妨害音があり非探査範囲の方向であるとする。そして、(式15)を、検知すべき探査範囲を左辺、妨害音が存在する非探査範囲を右辺にくるように、(式18)のように変形する。
Figure 2018146948
すると、(式18)の左辺は、音源探査結果として得られる空間スペクトルに対応する相関行列に該当するのがわかる。(式18)の右辺の第1項は観測される全方向の音波が混在した観測相関行列に該当し、(式18)の右辺の第2項は妨害音成分を示す相関行列に該当するのがわかる。また、(式18)の右辺の減算により、妨害音成分の相関行列が観測相関行列Rx(ω)から減算されて、キャンセル効果が得られることがわかる。このことは、各方向θの成分毎に互いに干渉をキャンセルする動作となるため耐騒音性能が高まるのがわかる。また、全ての方向に対する重み係数a(θ,ω)に関して同時に解を求めるため、音の変化に対する追従性にも優れるのがわかる。
したがって、本実施の形態の音源探査装置1は、探査範囲の重み係数a(θ,ω)から空間スペクトルp(θ)を算出することで、耐騒音性能と音の変化に対する追従性とに優れた音源探査を実現することができる。
以上のように、本実施の形態の音源探査装置1によれば、探査対象範囲にある探査対象の音源の方向をより確実に探査することができる。さらに、本実施の形態の音源探査装置1は、重み係数a(θ,ω)を用いて空間スペクトルp(θ)を算出することにより、耐騒音性および音の変化に対して優れた追従性を発揮することができる。
ここで、図9および図10を用いて、本実施の形態における音源探査装置1の効果について説明する。
図9は、比較例における空間スペクトル図である。図9では、探査対象の音源Sと、音源Sの近傍に音源Sの妨害音となる音源N1および音源N2が存在している場合において、特許文献1の技術を用いて空間スペクトルを算出したときの図が比較例として示されている。
図9に示す空間スペクトルにおいて、妨害音である音源N1の強度は、音源N1が存在する方向のみでなく音源N1の方向から(角度が)離れるに従って減衰するように現れる。妨害音である音源N2の強度も音源N1と同様の振る舞いで現れる。そのため、図9に示すように、音源N1と音源N2との音圧レベルが探査対象の音源Sの音圧レベルよりも高い場合、音源Sの強度のピークは、妨害音である2つの音源N1と音源N2の強度のピークに埋もれる状態となる。そのため、比較例では探査対象の音源Sの存在すなわち音源Sの強度のピークを検知できないので、音源Sの方向を探査できない。
一方、図10は、実施の形態1における空間スペクトル図である。図10においても、探査対象の音源Sと、音源Sの近傍に音源Sの妨害音となる音源N1および音源N2が存在している場合に、本実施の形態の音源探査装置1が空間スペクトルを算出したときの図が示されている。音源探査装置1は、重み係数a(θ,ω)を用いて空間スペクトルp(θ)を算出するので、各方向θの成分毎に互いに干渉をキャンセルすることができる。そのため、図10に示すように、音源N1と音源N2との音圧レベルが探査対象の音源Sの音圧レベルよりも高くて低くても関係なく、音源Sの強度のピーク、妨害音である2つの音源N1と音源N2の強度のピークとが独立して現れる状態となる。つまり、妨害音である音源N1、音源N2および探査対象の音源Sの強度のピークを同時に独立して探査することができる。
したがって、本実施の形態の音源探査装置1によれば、探査対象範囲にある探査対象の音源の方向をより確実に探査することができるのがわかる。
なお、相関行列算出部10が算出する観測相関行列Rx(ω)および記憶部20に記憶される探査方向θ毎の参照相関行列Rr(θ,ω)は、演算に使用する相関行列の上三角行列の要素または任意に選んだ要素をベクトルの形にして実現しても良い。その場合、選択部30は、ベクトルの要素を順次選択して出力すればよい。
また、本実施の形態では、方向θ毎の参照相関行列Rr(θ,ω)と重み係数a(θ,ω)とにおいて、方向数Nが180個であるとして説明したが、これに限らない。音源探査装置1の用途、マイクロホンアレイの規模または演算規模に応じて方向数Nは、多くても少なくてもよく、特に制限を持たない。また、設定する角度間隔は均一でもよいし、偏りを持っていてもよい。
また、本実施の形態では、周波数ω毎の観測相関行列Rx(ω)と参照相関行列Rr(θ,ω)と重み係数a(θ,ω)とにおいて、周波数ωの範囲を特に制限しなかったが、探査対象の音源に含まれる周波数成分に応じて、周波数ωの範囲に制限を設けてもよい。
(実施の形態2)
実施の形態1では、学習した重み係数a(θ,ω)を用いて空間スペクトルp(θ)を算出する場合について説明したがこれに限らない。学習した重み係数a(θ,ω)を用いて、指定した方向から到来する音響信号波形を算出してもよい。以下、この場合を実施の形態2として説明する。
図11は、実施の形態2における音源探査システム1000Aの構成の一例を示す図である。音源探査システム1000Aは、音源探査装置を利用したマイクロホン装置に相当する。図1および図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図11に示す音源探査システム1000Aは、実施の形態1に係る音源探査システム1000に対して、音響信号スペクトル算出部100A、出力部110AおよびIFFT120の構成が異なる。
[音響信号スペクトル算出部100A]
音響信号スペクトル算出部100Aは、保持部50に保持される重み係数a(θ,ω)と、マイクロホンユニット201からの音響信号m1(n)に対する周波数スペクトル信号Sm1(ω)と、信号取得のために指定する方向である方向θとを入力として、出力の音響信号スペクトルY(ω)を算出する。
より具体的には、音響信号スペクトル算出部100Aは、(式19)を用いて、音響信号スペクトルY(ω)を算出する。
Figure 2018146948
なお、音源探査の角度分解能の観点から、マイクロホンアレイ200のサイズまたはマイクロホンユニット数によっては、指定する方向θの隣接する角度の重み係数を(式20)のように加算して用いても良い。
Figure 2018146948
(式19)および(式20)における重み係数a(θ,ω)は、上記動作の原理において述べたように方向θ毎の音波に対する強度を表すことから、全方向のスペクトルに対するθ方向のスペクトルの強度比率を表す。そのため、全方向の周波数スペクトルSm1(ω)に乗算することで、指定する方向θから到来する音波に対する音響信号スペクトルY(ω)を算出することができる。
[IFFT120]
IFFT(Inverse Fast Fourier Transform)120は、音響信号スペクトル算出部100Aにより算出された音響信号スペクトルY(ω)を、高速逆フーリエ変換した音響信号波形y(n)を算出し、出力部110Aに出力する。
[効果]
以上のように、本実施の形態の音源探査システム1000Aによれば、耐騒音性に優れた音源探査装置において学習により算出した重み係数a(θ,ω)を使って、指定した特定の方向のみの音響信号波形y(n)を出力することができる。これにより、特定の方向のみの音を抽出するマイクロホン装置の機能を実現することができる。
以上、本開示の一つまたは複数の態様に係る音源探査装置等について、実施の形態および変形例に基づいて説明したが、本開示は、これら実施の形態等に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。例えば、以下のような場合も本開示に含まれる。
(1)上記の音源探査装置等は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムでもよい。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各構成要素は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の音源探査装置等を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
(3)上記の音源探査装置等を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
本開示は、複数のマイクロホンユニットを用いた音源探査装置に利用でき、特に、音源探査装置から比較的遠い位置にあるラジコンヘリまたはドローンなどマイクロホンユニットに到達する音が周囲の音と比較して小さい音源の方向をより確実に探査可能な音源探査装置に利用可能である。
1 音源探査装置
10 相関行列算出部
20 記憶部
30 選択部
31、32−1、32−m、32−N 行列要素選択部
40 学習部
50 保持部
60 線形和算出部
61−1、61−N 信号乗算部
62、806 信号加算部
70 誤差算出部
71 信号減算部
80 非線形関数部
90 重み更新部
100 空間スペクトル算出部
100A 音響信号スペクトル算出部
110、110A 出力部
120 IFFT
200 マイクロホンアレイ
201、202、203 マイクロホンユニット
300 周波数分析部
301、302、303 FFT
801 実部抽出部
802 虚部抽出部
803、804 非線形性追加部
805 虚数単位乗算部
1000、1000A 音源探査システム

Claims (9)

  1. 探査対象の音源の方向を探査する音源探査装置であって、
    互いに離間して配置された2以上のマイクロホンユニットから構成されるマイクロホンアレイにより収音された音響信号である観測信号の相関行列である第1相関行列を算出する相関行列算出部と、
    記憶部に予め記憶されている複数の第2相関行列であって、前記マイクロホンアレイのアレイ配列から算出された方向別の相関行列である複数の第2相関行列それぞれに重みを乗算した線形和が前記第1相関行列と等しくなるように、前記重みを学習によって算出する学習部と、
    前記学習部により算出された前記重みを用いて、方向別の音圧強度を示す空間スペクトルであって前記観測信号の空間スペクトルを算出する空間スペクトル算出部とを備える、
    音源探査装置。
  2. 前記音源探査装置は、さらに、
    前記第1相関行列を構成する要素のうちの一つである第1要素と、前記複数の第2相関行列それぞれを構成する要素のうち、前記第1要素と対応する位置にある要素である第2要素を選択し、かつ、選択する前記第1要素および前記第2要素を逐次に切り替える選択部を備え、
    前記学習部は、前記第2要素に第1重みを乗算した第1要素線形和が前記第1要素と等しくなるように、前記第1重みを前記学習によって算出した第2重みに更新し、更新した前記第2重みを、次に前記選択部により選択された前記第2要素に乗算した第2要素線形和が、次に前記選択部により選択された前記第1要素と等しくなるように、前記第2重みを前記学習によって算出した第3重みに更新することを前記逐次に繰り返すことにより、前記重みを前記学習により算出する、
    請求項1に記載の音源探査装置。
  3. 前記選択部は、前記第1相関行列および前記第2相関行列を構成する対角成分を除く要素のうち、前記対角成分により区切られる2組の複数の要素の一方の組の複数の要素のうちからのみ、前記第1要素および前記第2要素を選択する、
    請求項2に記載の音源探査装置。
  4. 前記学習部は、
    LMS(Least Mean Square)アルゴリズム、またはICA(Independent Component Analysis)を用いることにより、前記線形和および前記第1相関行列の差である誤差と前記第2相関行列とから、前記重みを算出する、
    請求項1〜3のいずれか1項に記載の音源探査装置。
  5. 前記学習部は、
    重みを保持する保持部と、
    前記複数の第2相関行列それぞれに、前記保持部が保持する重みを乗算した線形和を算出する線形和算出部と、
    前記線形和および前記第1相関行列の差である誤差を算出する誤差算出部と、
    前記誤差と前記第2相関行列の積から重み更新量を算出し、前記保持部が保持する重みに前記重み更新量を加えることで前記保持部が保持する重みとする重み更新部とを備える、
    請求項1〜3のいずれか1項に記載の音源探査装置。
  6. 前記重み更新部は、
    LMSアルゴリズムまたはICAを用いることにより、前記誤差および前記第2相関行列から重み更新量を算出する、
    請求項5に記載の音源探査装置。
  7. 前記学習部は、さらに、
    所定の非線形関数を用いて、前記誤差に非線形性を加える非線形関数部を備え、
    前記重み更新部は、前記非線形関数部により非線形性が加えられた前記誤差、および、前記第2相関行列から重み更新量を算出し、前記保持部が保持する重みに前記重み更新量を加えることで前記保持部が保持する重みとする、
    請求項5または6に記載の音源探査装置。
  8. 探査対象の音源の方向を探査する音源探査方法であって、
    互いに離間して配置された2以上のマイクロホンユニットから構成されるマイクロホンアレイにより収音された音響信号である観測信号の相関行列である第1相関行列を算出する相関行列算出ステップと、
    記憶部に予め記憶されている複数の第2相関行列であって、前記マイクロホンアレイのアレイ配列から算出された方向別の相関行列である複数の第2相関行列それぞれに重みを乗算した線形和が前記第1相関行列と等しくなるように、前記重みを学習によって算出する学習ステップと、
    前記学習ステップにおいて算出された前記重みを用いて、方向別の音圧強度を示す空間スペクトルであって前記観測信号の空間スペクトルを算出する空間スペクトル算出ステップとを含む、
    音源探査方法。
  9. 探査対象の音源の方向を探査する音源探査方法をコンピュータに実行させるためのプログラムであって、
    互いに離間して配置された2以上のマイクロホンユニットから構成されるマイクロホンアレイにより収音された音響信号である観測信号の相関行列である第1相関行列を算出する相関行列算出ステップと、
    記憶部に予め記憶されている複数の第2相関行列であって、前記マイクロホンアレイのアレイ配列から算出された方向別の相関行列である複数の第2相関行列それぞれに重みを乗算した線形和が前記第1相関行列と等しくなるように、前記重みを学習によって算出する学習ステップと、
    前記学習ステップにおいて算出された前記重みを用いて、方向別の音圧強度を示す空間スペクトルであって前記観測信号の空間スペクトルを算出する空間スペクトル算出ステップとをコンピュータに実行させる、
    プログラム。
JP2017216735A 2017-03-03 2017-11-09 音源探査装置、音源探査方法およびそのプログラム Active JP6953287B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/898,896 US10264350B2 (en) 2017-03-03 2018-02-19 Sound source probing apparatus, sound source probing method, and storage medium storing program therefor
EP18157565.5A EP3370232B1 (en) 2017-03-03 2018-02-20 Sound source probing apparatus, sound source probing method, and storage medium storing program therefor
CA2995697A CA2995697A1 (en) 2017-03-03 2018-02-20 Sound source probing apparatus, sound source probing method, and storage medium storing program therefor
CN201810158701.6A CN108540898B (zh) 2017-03-03 2018-02-26 声源探测装置及方法、记录有声源探测程序的记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762466498P 2017-03-03 2017-03-03
US62/466,498 2017-03-03

Publications (2)

Publication Number Publication Date
JP2018146948A true JP2018146948A (ja) 2018-09-20
JP6953287B2 JP6953287B2 (ja) 2021-10-27

Family

ID=63592117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017216735A Active JP6953287B2 (ja) 2017-03-03 2017-11-09 音源探査装置、音源探査方法およびそのプログラム

Country Status (1)

Country Link
JP (1) JP6953287B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020075008A1 (ja) * 2018-10-11 2020-04-16 株式会社半導体エネルギー研究所 車両警報装置
CN111323750A (zh) * 2020-03-19 2020-06-23 哈尔滨工程大学 一种基于声矢量阵列网络的直接定位方法
CN111983357A (zh) * 2020-08-21 2020-11-24 国网重庆市电力公司电力科学研究院 一种结合声纹检测功能的超声可视化故障检测方法
CN112903081A (zh) * 2021-01-21 2021-06-04 中国海洋石油集团有限公司 声矢量传感器阵列自适应波束形成方法、系统及存储介质
CN113270108A (zh) * 2021-04-27 2021-08-17 维沃移动通信有限公司 语音活动检测方法、装置、电子设备及介质
CN116092297A (zh) * 2023-04-07 2023-05-09 南京航空航天大学 一种低渗透率分布式差分信号控制的边缘计算方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020075008A1 (ja) * 2018-10-11 2020-04-16 株式会社半導体エネルギー研究所 車両警報装置
CN112805764A (zh) * 2018-10-11 2021-05-14 株式会社半导体能源研究所 车辆警报装置
JPWO2020075008A1 (ja) * 2018-10-11 2021-11-25 株式会社半導体エネルギー研究所 車両警報装置
JP7402811B2 (ja) 2018-10-11 2023-12-21 株式会社半導体エネルギー研究所 車両警報装置
US12049167B2 (en) 2018-10-11 2024-07-30 Semiconductor Energy Laboratory Co., Ltd. Vehicle alarm device
CN111323750A (zh) * 2020-03-19 2020-06-23 哈尔滨工程大学 一种基于声矢量阵列网络的直接定位方法
CN111323750B (zh) * 2020-03-19 2022-08-02 哈尔滨工程大学 一种基于声矢量阵列网络的直接定位方法
CN111983357A (zh) * 2020-08-21 2020-11-24 国网重庆市电力公司电力科学研究院 一种结合声纹检测功能的超声可视化故障检测方法
CN112903081A (zh) * 2021-01-21 2021-06-04 中国海洋石油集团有限公司 声矢量传感器阵列自适应波束形成方法、系统及存储介质
CN113270108A (zh) * 2021-04-27 2021-08-17 维沃移动通信有限公司 语音活动检测方法、装置、电子设备及介质
CN113270108B (zh) * 2021-04-27 2024-04-02 维沃移动通信有限公司 语音活动检测方法、装置、电子设备及介质
CN116092297A (zh) * 2023-04-07 2023-05-09 南京航空航天大学 一种低渗透率分布式差分信号控制的边缘计算方法及系统

Also Published As

Publication number Publication date
JP6953287B2 (ja) 2021-10-27

Similar Documents

Publication Publication Date Title
CN108540898B (zh) 声源探测装置及方法、记录有声源探测程序的记录介质
JP2018146948A (ja) 音源探査装置、音源探査方法およびそのプログラム
Li et al. Application of differential evolution algorithm on self-potential data
JP6594222B2 (ja) 音源情報推定装置、音源情報推定方法、およびプログラム
Hamid et al. Performance comparison of time-domain and frequency-domain beamforming techniques for sensor array processing
Zavala et al. Generalized inverse beamforming with optimized regularization strategy
US9264809B2 (en) Multitask learning method for broadband source-location mapping of acoustic sources
Malgoezar et al. On the use of global optimization methods for acoustic source mapping
Muhamad et al. On the orthogonalised reverse path method for nonlinear system identification
Park et al. Compressive time delay estimation off the grid
JP6106571B2 (ja) 音源位置推定装置、方法及びプログラム
KR101958337B1 (ko) 신호의 도래각을 추정하는 방법 및 장치
Bai et al. Observer-based beamforming algorithm for acoustic array signal processing
Chen et al. Selective range iterative adaptive approach for high-resolution DOA estimation
CN105572629A (zh) 一种适用于任意阵列结构的低运算复杂度的二维测向方法
JP2022092827A (ja) 計算機システム及びデータ処理方法
US11482239B2 (en) Joint source localization and separation method for acoustic sources
Yu et al. A novel adaptive beamforming technique for large-scale arrays
Zhang et al. Broadband underwater multi-source localization with a computationally efficient coherent OMP algorithm
CN108896967A (zh) 基于杂波协方差矩阵估计的距离扩展目标检测方法及装置
WO2018110008A1 (ja) 目的音強調装置、雑音推定用パラメータ学習装置、目的音強調方法、雑音推定用パラメータ学習方法、プログラム
JP7159928B2 (ja) 雑音空間共分散行列推定装置、雑音空間共分散行列推定方法、およびプログラム
Tao et al. A novel approach to fast DOA estimation of multiple spatial narrowband signals
JP6685943B2 (ja) 分離行列設計装置、フィルタ係数算出装置、その方法、及びプログラム
Bai et al. Bayesian approach of nearfield acoustic reconstruction with particle filters

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210929

R150 Certificate of patent or registration of utility model

Ref document number: 6953287

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150