JP2018170717A - 収音装置、プログラム及び方法 - Google Patents

Abstract

【課題】 より演算量で、事前に決定しなければならないパラメータなしに、マイク及びマイクアレイそれぞれの数と配置に制限されることなく目的エリア音のみを強調することができる。
【解決手段】 複数のマイクアレイが出力する捕捉信号を周波数領域に変換した入力信号のそれぞれに対し、ビームフォーマによって目的エリア音方向へ指向性を形成する際の指向性ゲインを取得する指向性ゲイン算出手段と、それぞれのマイクアレイの指向性ゲインに基づいて目的エリア音を強調するエリア強調ゲインを取得するエリア強調ゲイン算出手段と、マイクアレイの入力信号と、エリア強調ゲイン算出手段が取得したエリア強調ゲインに基づいて、目的エリア音を強調した目的エリア強調信号を取得する目的エリア音取得手段とを有することを特徴とする。
【選択図】 図１

Description

本発明は、収音装置、プログラム及び方法に関し、例えば、特定のエリアの音のみを強調し、それ以外のエリアの音を抑圧する場合に適用し得るものである。

従来、特定の方向に存在する音（音声や音響；以下、音声及び音響をまとめて音響と呼ぶこともある）を強調し、それ以外の音を抑圧する技術として、マイクアレイを用いたビームフォーマがある。ビームフォーマとは、各マイクに到達する信号の時間差を利用して指向性や死角を形成する技術である（非特許文献１、非特許文献２参照）。

しかし、単純にビームフォーマの指向性を収音目的とするエリア（以下、「目的エリア」と呼ぶ）に向けただけでは、目的エリアの周囲に雑音源が存在する場合、目的エリア内に存在する音源（以下、「目的エリア音」と呼ぶ）だけでなく、目的エリア外に存在する雑音源（以下、「非目的エリア音」と呼ぶ）も同時に収音してしまうという問題が存在する。

この問題に対して、複数のマイクアレイを用いて、別々の方向から指向性を目的エリアに向けて交差させ、目的エリア音を収音する従来方式が提案されている（特許文献１）。特許文献１に記載された方式では、各マイクアレイのビームフォーマ出力を同時に処理することで、目的エリアを抽出する。

図６は、従来の複数のマイクアレイを用いた収音処理の例について示した説明図である。

図６では、２つのマイクアレイＭＡ（ＭＡ_１、ＭＡ_２）の指向性を目的エリアに向けた場合の例について示している。

図６（ａ）は、２つのマイクアレイＭＡ_１、ＭＡ_２の指向性を目的エリアに向けた場合の各マイクアレイＭＡや、目的エリア音の音源との位置関係について示している。また、図６（ａ）では、マイクアレイＭＡ_１、ＭＡ_２に対応する指向性（ビームフォーマの指向性）Ｄ１、Ｄ２についても図示している。さらに、図６（ａ）の例では、目的エリアの音源の周囲に非目的エリア音の音源が存在している。従って、図６（ａ）の状態では、マイクアレイＭＡ_１、ＭＡ_２のビームフォーマ出力には、共に、目的エリアにある音源による目的エリア音だけでなく、同じ指向性方向の非目的エリアにある音源による非目的エリア音が含まれてしまう。

図６（ｂ）、図６（ｃ）は、それぞれ、２つのマイクアレイＭＡ_１、ＭＡ_２のビームフォーマ出力の周波数成分を示している。音声のスパース性を仮定すると、図６（ｂ）、図６（ｃ）に示すように、一つの周波数成分には一つの音源（目的エリア音又は非目的エリア音）しか含まれない。そして、目的エリアは全てのマイクアレイの指向性に含まれているため、目的エリア音の周波数成分は、全てのビームフォーマ出力に、同じ割合、同じ分布で含まれる。これと比較して、非目的エリア音の周波数成分は、ビームフォーマ出力ごとに異なっている。このような特徴から、各ビームフォーマ出力に共通に含まれる周波数成分は、目的エリア音が有する成分と推定することができ、これに基づいて、特許文献１等に記載された従来の目的エリア音の収音方法が実現されている。

図７は、従来の収音方法を適用した収音装置１０の機能的構成について示したブロック図である。

図６に示す従来の収音装置１０は、データ入力部２、周波数領域変換部３、指向性形成部４、伝搬遅延差補正部５、パワー補正部６、第１の減算部７、及び第２の減算部８を有している。

マイクアレイＭＡ_１、ＭＡ_２からの捕捉信号は、それぞれ、データ入力部２においてアナログ信号からデジタル信号（データ）に変換され、周波数領域変換部３において時間領域から周波数領域へと変換されて捕捉信号群Ｘ_１及びＸ_２が得られる。そして、指向性形成部４において図６（ａ）の指向性Ｄ１、指向性Ｄ２のような指向性を有するビームフォーマが適用されてビームフォーマ出力信号Ｘ_ｍａ１（ｆ）及びＸ_ｍａ２（ｆ）が得られる。そして、伝搬遅延差補正部５において各マイクアレイと目的エリアとの距離（既知の情報）に基づいていずれかのビームフォーマ出力信号Ｘ_ｍａ１（ｆ）及びＸ_ｍａ２（ｆ）を遅延させてタイミングを合わせて、遅延補正信号Ｘ’_ｍａ１（ｆ）及びＸ’_ｍａ２（ｆ）が得られる。

パワー補正部６では、各マイクアレイと目的エリアとの距離による振幅差に加えて、目的エリア内の話者の向きに適応するため、（１）式によって振幅補正係数α_ｍａ１（アルファ）を算出する。なお、（１）式中の演算子ｍｏｄｅ_ｆ（Ａ（ｆ））は、変数ｆにより値が変わる関数値Ａ（ｆ）のうち最も多く出現した値（最頻値）を得る演算子である。また、最頻値に代えて、（２）式のように中央値を用いても良い。なお、（２）式中の演算子ｍｅｄｉａｎ_ｆ（Ａ（ｆ））は、変数ｆにより値が変わる関数値Ａ（ｆ）の中央値を得る演算子である。

そして、第１の減算部７において、マイクアレイＭＡ_１に係る遅延補正信号Ｘ’_ｍａ１（ｆ）から振幅補正係数α_ｍａ１によって振幅を補正したマイクアレイＭＡ_２に係る遅延補正信号Ｘ’_ｍａ２（ｆ）をスペクトル減算することにより、両ビームフォーマ出力で重なっている目的エリア音成分が消去され、マイクアレイＭＡ_１に係る遅延補正信号Ｘ’_ｍａ１（ｆ）に含まれている非目的エリア音成分Ｎ_ｍａ１（ｆ）が抽出される。（３）式は、概ねこのような考え方に従っている算出式である。
Ｎ_ｍａ１＝Ｘ’_ｍａ１−α_ｍａ１・Ｘ’_ｍａ２ …（３）

そして、第２の減算部８において、マイクアレイＭＡ_１に係る遅延補正信号Ｘ’_ｍａ１（ｆ）から非目的エリア音成分Ｎ_ｍａ１（ｆ）をスペクトル減算することにより、目的エリア音Ｙ_ｍａ１（ｆ）が抽出される。（４）式は、概ねこのような考え方に従っている算出式である（（４）式中のβ_ｍａ１（ベータ）は、非目的エリア音の除去強度を定めている一定値を取る係数である）。
Ｙ_ｍａ１＝Ｘ’_ｍａ１−β_ｍａ１・Ｎ_ｍａ１…（４）

以上のように、従来の収音方法を適用した収音装置では、目的エリアの周囲に非目的エリア音源が存在していても、目的エリア音のみを収音することができる。

特開２０１４−７２７０８号公報

浅野太著、"音のアレイ信号処理 −音源の定位・追跡と分離"、社団法人日本音響学会、コロナ社、２０１１年２月２５日発行 矢頭隆、森戸誠、山田圭、小川哲司共著、"正方形マイクロホンアレイによる音源分離技術（＜特集＞音声認識技術の実用化への取り組み）"、一般社団法人情報処理学会、情報処理５１（１１）、ｐｐ．１４１０−１４１６．２０１０年

しかし、従来の収音方法では、各マイクアレイＭＡと目的エリアとの距離による振幅差と目的エリア内の話者の向きとに適応するために、（１）式のような最頻値の演算か、（２）式のような中央値の演算を必要とする。最頻値を算出するには度数分布（ヒストグラムとも呼ぶ）を作成する必要があり、度数分布を作成するには多数の比較演算に加えて、階級の細かさ（分解能）を経験的に決める必要がある。また、中央値を算出するには与えられたデータを大小の順で並べ替える必要があり、多数の比較演算を行う必要がある。

また、さらに、従来の収音方法では、やはり各マイクアレイＭＡと目的エリアとの距離による振幅差と目的エリア内の話者の向きとに適応するための振幅補正係数α_ｍａ１を算出するために、マイクアレイの数は２個でなければならない。そのため、例えば、図８のように、目的エリアを３次元的に設定する場合には、２つのマイクアレイＭＡ_１、ＭＡ_２をマイク数３個以上の平面マイクアレイ（図８は、４つのマイク１_１〜１_４を用いた平面マイクアレイの例を示している）として、２つのマイクアレイＭＡ_１、ＭＡ_２の指向性が目的エリア内（例えば、目的エリアの中心位置近傍）で交差するように注意深く設置しなければならない。

つまり、従来の収音方法では、演算量が多いという課題や、パラメータを事前に経験的に決めなければならないという課題や、マイク及びマイクアレイそれぞれの数と配置が制限されるという課題があった。

そのため、より少ない演算量で、事前に決定しなければならないパラメータなしに、マイク及びマイクアレイそれぞれの数と配置に制限されることなく、目的エリア音のみを強調する収音装置、プログラム及び方法が望まれている。

第１の本発明の収音装置は、（１）複数のマイクアレイが出力する捕捉信号を周波数領域に変換した入力信号のそれぞれに対し、ビームフォーマによって目的エリア音方向へ指向性を形成する際の指向性ゲインを取得する指向性ゲイン算出手段と、（２）それぞれの前記マイクアレイの指向性ゲインに基づいて目的エリア音を強調するエリア強調ゲインを取得するエリア強調ゲイン算出手段と、（３）前記マイクアレイの入力信号と、前記エリア強調ゲイン算出手段が取得したエリア強調ゲインに基づいて、目的エリア音を強調した目的エリア強調信号を取得する目的エリア音取得手段とを有することを特徴とする。

第２の本発明の収音プログラムは、コンピュータを、（１）複数のマイクアレイが出力する捕捉信号を周波数領域に変換した入力信号のそれぞれに対し、ビームフォーマによって目的エリア音方向へ指向性を形成する際の指向性ゲインを取得する指向性ゲイン算出手段と、（２）それぞれの前記マイクアレイの指向性ゲインに基づいて目的エリア音を強調するエリア強調ゲインを取得するエリア強調ゲイン算出手段と、（３）前記マイクアレイの入力信号と、前記エリア強調ゲイン算出手段が取得したエリア強調ゲインに基づいて、目的エリア音を強調した目的エリア強調信号を取得する目的エリア音取得手段として機能させることを特徴とする。

第３の本発明は、収音方法において、（１）指向性ゲイン算出手段、エリア強調ゲイン算出手段、及び目的エリア音取得手段を備え、（２）前記指向性ゲイン算出手段は、複数のマイクアレイが出力する捕捉信号を周波数領域に変換した入力信号のそれぞれに対し、ビームフォーマによって目的エリア音方向へ指向性を形成する際の指向性ゲインを取得し、（３）前記エリア強調ゲイン算出手段は、それぞれの前記マイクアレイの指向性ゲインに基づいて目的エリア音を強調するエリア強調ゲインを取得し、（４）前記目的エリア音取得手段は、前記マイクアレイの入力信号と、前記エリア強調ゲイン算出手段が取得したエリア強調ゲインに基づいて、目的エリア音を強調した目的エリア強調信号を取得することを特徴とする。

本発明によれば、より少ない演算量で、事前に決定しなければならないパラメータなしに、マイク及びマイクアレイそれぞれの数と配置に制限されることなく目的エリア音のみを強調することができる。

第１、第３、第４の実施形態に係る収音装置の機能的構成について示したブロック図である。 第１の実施形態に係る収音装置における収音処理の概要（技術思想）について示した説明図（イメージ図）である。 第１の実施形態に係るマイクアレイの構成例について示した説明図である。 第１の実施形態に係る指向性ゲイン算出部の内部構成について示したブロック図である。 第２の実施形態に係る収音装置の機能的構成について示したブロック図である。 従来の収音方法の例について示した説明図である。 従来の収音装置の機能的構成について示したブロック図である。 従来の収音装置で用いられる平面マイクアレイの構成例について示した説明図である。

（Ａ）第１の実施形態
以下、本発明による収音装置、プログラム及び方法の第１の実施形態を、図面を参照しながら詳述する。

（Ａ−１）第１の実施形態の構成
図１は、この実施形態の収音装置１００の機能的構成について示したブロック図である。なお、図１において、括弧内の符号は、後述する第３及び第４の実施形態で用いられる符号である。

収音装置１００は、Ｍ個のマイクアレイＭＡ（ＭＡ_１〜ＭＡ_Ｍ）から供給される音響信号を用いて、目的エリアの音源からの目的エリア音を収音する目的エリア音収音処理を行う。

各マイクアレイＭＡは、それぞれ目的エリアが存在する空間の、目的エリアを指向できる場所に配置される。

なお、図１のマイクアレイＭＡ_１〜ＭＡ_Ｍは、それぞれマイク１を直線状に等間隔で配置するように図示したが、この限りではなく、ビームフォーマを実行できる配置であればよい。各マイクアレイＭＡを構成するマイク１の個数は、少なくとも２個以上である以外に制限はなく、マイクアレイＭＡごとに異なっても良く、全てのマイクアレイＭＡで同じであっても良い。以下では、任意のｉ番目のマイクアレイＭＡ_ｉのマイク１の個数をＬ_ｉと表すものとする。したがって、マイクアレイＭＡ_１〜ＭＡ_Ｍのマイク１の個数はそれぞれＬ_１〜Ｌ_Ｍとなる。

また、各マイクアレイＭＡを構成するマイク１の配置は、目的エリアを指向できること以外に制限はない、例えば、第１の実施形態において、複数のマイク１を直線状に配置したリニアマイクアレイでも良いし、複数のマイク１を平面上に配置した平面マイクアレイでも良いし、複数のマイク１を結晶型（正多角形配置、長方形配置、正多面体配置、正多角柱配置、直方体配置など）に配置した結晶型マイクアレイ等でも良い。また、マイク１の配置は、マイクアレイＭＡごとに異なっても良く、全てのマイクアレイＭＡで同じであっても良い。

次に、収音装置１００における収音処理（目的エリア音の強調方法；この実施形態の収音方法）の概要（技術思想）について、図２を用いて説明する。

まず、図２（ａ−１）〜図２（ａ−３）を参照する。図２（ａ−１）では、マイクアレイＭＡ_１を構成するいずれかのマイク１によって捕捉された捕捉信号に係る周波数成分（以下、「ＭＡ_１の振幅」と呼ぶ）を示している。また、図２（ａ−３）では、マイクアレイＭＡ_１に係るビームフォーマ出力（ＢＦ出力）の周波数成分（以下、「ＢＦ１の振幅」とも呼ぶ）を示している。さらに、図２（ａ−２）は、「ＢＦ１の振幅」を「ＭＡ_１の振幅」で除した値（以下、「ＭＡ_１の指向性ゲイン」と呼ぶ）を示している。

次に、図２（ｂ−１）〜図２（ｂ−３）を参照する。図２（ｂ−１）では、マイクアレイＭＡ_２を構成するいずれかのマイク１によって捕捉された捕捉信号に係る周波数成分（以下、「ＭＡ_２の振幅」と呼ぶ）を示している。また、図２（ｂ−３）では、マイクアレイＭＡ_２に係るビームフォーマ出力（ＢＦ出力）の周波数成分（以下、「ＢＦ２の振幅」とも呼ぶ）を示している。さらに、図２（ｂ−２）は、「ＢＦ２の振幅」を「ＭＡ_２の振幅」で除した値（以下、「ＭＡ_２の指向性ゲイン」と呼ぶ）を示している。

次に、図２（ｃ−１）〜図２（ｃ−３）を参照する。図２（ｃ−１）は、図２（ａ−１）と同様に「ＭＡ_１の振幅」を示している。図２（ｃ−２）は、「ＭＡ_１の指向性ゲイン」と「ＭＡ２の指向性ゲイン」を乗じたもの（以下、「エリア強調ゲイン」と呼ぶ）である。図２（ｃ−３）は、「ＭＡ_１の振幅」から「ＭＡ_１の指向性ゲイン」を用いて抽出した目的エリア音を示している。

「ＭＡ_１の指向性ゲイン」と「ＭＡ_２の指向性ゲイン」は、ビームフォーマの方法によって、ビームフォーマ後に算出する必要がある場合とない場合とがある。例えば、遅延和法によるビームフォーマ（非特許文献１参照）ではビームフォーマ後の振幅が求まるので、指向性ゲインは除算によって求める必要がある。また例えば、従来のスペクトル減算によるビームフォーマに関する非特許文献２参照では、ビームフォーマ後の振幅を求めるように記載されているが、実際には式変形によって指向性ゲインを求めるようにすることもできる。また例えば、特開２００７−３１８５２８号公報（以下、「参考文献１」と呼ぶ）に記載された方法は、指向性ゲインを求めて捕捉信号の周波数成分に乗じることでビームフォーマ後の振幅を得る方法なので、指向性ゲインは直接求まる。

以上のようにして得られた「ＭＡ_１の指向性ゲイン」と「ＭＡ_２の指向性ゲイン」は、非目的エリア音に対しては０と１が互い違いになっているが、目的エリア音の周波数成分に対しては必ず１となっている。したがって、２つの指向性ゲインを掛け合わせることで、図２（ｃ−２）の「エリア強調ゲイン」のように、目的エリア音の周波数成分のみを強調するゲインが得られる。言い換えると、「ＭＡ_１の指向性ゲイン」及び「ＭＡ_２の指向性ゲイン」は、非目的エリア音の成分については、０又は１のいずれかの値（０又は１に近似した値）をとり得るが、目的エリア音の周波数成分については両方とも必ず１（１に近似した値）となっている。

なお、「ＭＡ_１の指向性ゲイン」と「ＭＡ_２の指向性ゲイン」において、それぞれが抑圧可能な非目的エリア音に対する指向性ゲインは必ず０になるとは限らないが、必ず小さな値（例えば、０に近似した値）にはなっており、目的エリア音に対する指向性ゲインは必ず１以下になるので、「エリア強調ゲイン」における非目的エリア音に対するゲインは必ず小さくなる。

そこで、この実施形態の収音装置１００では、マイクアレイＭＡごとに算出された指向性ゲインを、周波数成分ごとに全マイクアレイＭＡに渡って掛け合わせることで算出したエリア強調ゲインを用いて目的エリア音を抽出するものとする。これにより、この実施形態の収音装置１００では、従来技術のように最頻値や中央値を求める必要がないので、比較的少ない演算量で、目的エリア音を強調する処理を実現することができる。

ところで、各マイクアレイＭＡの構成は、例えば、図３のように、３つのマイクアレイＭＡ_１〜ＭＡ_３を用意し、２つのマイクアレイＭＡ_１、ＭＡ_３は２つのマイク１_１、１_２を横方向（図３における水平方向）に並べたリニアアレイとし、マイクアレイＭＡ_２はマイク２個を縦方向（図３における垂直方向）に並べたリニアアレイとしてもよい。

図３のように各マイクアレイＭＡを配置した場合、収音装置１００は、それぞれのマイクアレイＭＡにおいて目的エリア方向を収音するビームフォーマからビームフォーマのゲインを算出し、周波数成分ごとに３つのビームフォーマのゲインを全て掛け合わせることで、目的エリア音を抽出することができる。図３において、マイクアレイＭＡ_１〜ＭＡ_３の指向性（指向性の中心面）をＤ１１〜Ｄ１３と図示している。つまり、マイクアレイＭＡ_１〜ＭＡ_３のそれぞれの指向性Ｄ１１〜Ｄ１３の中心面は、図３中の指向性Ｄ１１〜Ｄ１３に示す平面となり、この実施形態の収音装置１００によって定まる目的エリアは指向性Ｄ１１〜Ｄ１３の中心面が交わる位置の周辺となる。

次に、収音装置１００の内部構成について図１を用いて説明する。

図１に示すように、第１の実施形態に係る収音装置１００は、データ入力部１０２、周波数領域変換部１０３、指向性ゲイン算出部１０４、エリア強調ゲイン算出部１０５、及び目的エリア音抽出部１０６を有している。収音装置１００内部の各構成要素の詳細については後述する。

収音装置１００において、デジタル信号に変換された後の処理構成を、プロセッサやメモリ等を備えるコンピュータにプログラム（実施形態に係る収音プログラムを含む）を実行させるようにしてもよいが、その場合であっても、機能的には、図１で表すことができる。

次に、指向性ゲイン算出部１０４の内部構成について図４を用いて説明する。

図４は指向性ゲイン算出部１０４内部の機能的構成について示したブロック図である。

指向性ゲイン算出部１０４は、マイクアレイＭＡ_１〜ＭＡ_Ｍに対してそれぞれ雑音推定部１１１_１〜１１１_Ｍ及びスペクトル減算ゲイン算出部１１２_１〜１１２_Ｍを有している。指向性ゲイン算出部１０４内部の各構成要素の詳細については後述する。

（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の収音装置１００の動作（この実施形態の収音方法）を説明する。

データ入力部１０２は、マイクアレイＭＡ１_１〜ＭＡ_Ｍで捕捉した音響信号を、マイク１ごとにアナログ信号からデジタル信号（データ）に変換する。そして、データ入力部１０２は、得られた捕捉信号群ｘ_１（ｔ）〜ｘ_Ｍ（ｔ）は、周波数領域変換部１０３に与えられる。ｉ番目の捕捉信号群ｘ_ｉ（ｔ）は、（５）式に示すように、Ｌ_ｉ個の捕捉信号ｘ_ｉ，１（ｔ）〜ｘ_ｉ，Ｌｉ（ｔ）で構成されるベクトルである。
ｘ_ｉ（ｔ）＝［ｘ_ｉ，１（ｔ），・・・，ｘ_ｉ，Ｌｉ（ｔ）］ …（５）

周波数領域変換部１０３は、マイクアレイＭＡ_１〜ＭＡ_Ｍから入力されたデータを、マイクごとに時間領域から周波数領域へと変換する。周波数領域変換部１０３は、得られた周波数領域の捕捉信号群Ｘ_１（ｆ）〜Ｘ_Ｍ（ｆ）を、指向性ゲイン算出部１０４及び目的エリア音抽出部１０６に与える。ｉ番目の周波数領域の捕捉信号群Ｘ_ｉ（ｆ）は、（６）式に示すように、Ｌ_ｉ個の捕捉信号Ｘ_ｉ，１（ｆ）〜Ｘ_ｉ，Ｌｉ（ｆ）で構成されるベクトルである。周波数領域変換部１０３における変換には、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）やウェーブレット変換、フィルタバンクなどを利用することができるが、ＦＦＴが最も好適である。ここで、周波数領域変換部１０３は、ＦＦＴを行う際、ハミング窓などの各種窓関数を用いるようにしても良い。
Ｘ_ｉ（ｆ）＝［Ｘ_ｉ，１（ｆ），・・・，Ｘ_ｉ，Ｌｉ（ｆ）］ …（６）

指向性ゲイン算出部１０４は、マイクアレイＭＡごとに、周波数領域の捕捉信号群Ｘ_１（ｆ）〜Ｘ_Ｍ（ｆ）に基づいてビームフォーマを適用して指向性ゲインＧ_１（ｆ）〜Ｇ_Ｍ（ｆ）を算出する。得られた指向性ゲインＧ_１（ｆ）〜Ｇ_Ｍ（ｆ）は、エリア強調ゲイン算出部１０５に与えられる。指向性ゲインは、１つのマイクアレイに属する捕捉信号群Ｘ_１（ｆ）から、周波数ごとに１つだけ求まる（つまり、Ｘ_ｉ（ｆ）とは異なり、Ｇ_ｉ（ｆ）はスカラーである）。指向性ゲイン算出部１０４において、ビームフォーマの方法には、任意の方法を用いることができるが、非特許文献２に記載のスペクトル減算による方法に代表される鋭い指向性を形成できる方法が好適に用いられる。この実施形態の指向性ゲイン算出部１０４は、例として、図３のように、目的エリアが全てのマイク１に対して正面に位置しており、全てのマイクアレイＭＡが２つのマイク１_１、１_２で構成され、いずれのマイクアレイＭＡも同一の方法で指向性ゲインを算出し、指向性ゲインはスペクトル減算に基づく方法で算出されるものとして説明する。

次に図４を用いて、指向性ゲイン算出部１０４の内部処理について説明する。

全てのマイクアレイＭＡに対して同様の処理が行われるため、ここではｉ番目のマイクアレイＭＡ_ｉに対応する雑音推定部１１１_ｉ、及びスペクトル減算ゲイン算出部１１２_ｉの動作についてのみ記す。

雑音推定部１１１_ｉは、（７）式に示すように、片方の捕捉信号からもう片方の捕捉信号を減じることで、正面方向（目的エリア方向）にある音源（目的エリア音）を抑圧し、雑音（非目的エリア音）を推定する。スペクトル減算ゲイン算出部１１２_ｉは、（８）式に示すように、１から非目的エリア音と捕捉信号との振幅比を減じる（スペクトル減算する）ことで、指向性ゲインＧ_ｉ（ｆ）を算出する。（８）式において、β（ｆ）（ベータ）は推定された非目的エリア音の振幅を補正したりスペクトル減算の強さ（非目的エリア音の除去強度）を調整したりする周波数成分ごとに定められた定数係数である。また、（８）式において、Ｇ_ｍｉｎは、指向性ゲインの最小値（最大抑圧量とも呼ばれる）を定める定数値である。なお、（８）式の両辺にＸ_ｉ，１（ｆ）の絶対値を乗じると、（９）式が得られ、スペクトル減算によるビームフォーマ出力の振幅が求まる。ビームフォーマ出力を得る場合には（９）式を用いるのが一般的だが、本実施形態では（８）式を用いることで指向性ゲインを直接算出するものとする。

エリア強調ゲイン算出部１０５は、（１０）式のように、周波数成分ごとに指向性ゲインＧ_１（ｆ）〜Ｇ_Ｍ（ｆ）を掛け合わせてエリア強調ゲインＨ（ｆ）を算出する。得られたエリア強調ゲインＨ（ｆ）は、目的エリア音抽出部１０６に与えられる。
Ｈ（ｆ） ＝ Ｇ_１（ｆ）・Ｇ_２（ｆ）・…・Ｇ_Ｍ（ｆ） …（１０）

目的エリア音抽出部１０６は、捕捉信号群Ｘ_１（ｆ）〜Ｘ_Ｍ（ｆ）のいずれか又はそれらを統合した信号に、エリア強調ゲインＨ（ｆ）を乗じることで目的エリア強調信号Ｙ（ｆ）を算出する。得られた目的エリア強調信号Ｙ（ｆ）は、次段へ与えられる。エリア強調ゲインＨ（ｆ）が乗じられる信号は任意であり、先頭のＸ_１，１（ｆ）としても良いし、最も目的エリアに近いマイク１に係る捕捉信号としても良いし、最も目的エリアに近いマイクアレイＭＡの捕捉信号群に遅延和ビームフォーマを適用して目的エリア音を少しだけ強調した信号としても良い。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。

第１の実施形態によれば、マイクアレイＭＡごとに算出された指向性ゲインを、周波数成分ごとに全マイクアレイＭＡに渡って掛け合わせることで算出したエリア強調ゲインを用いて目的エリア音を抽出するので、比較的少ない演算量で、事前に決定しなければならないパラメータなしに、マイク１及びマイクアレイＭＡそれぞれの数と配置に制限されることなく、目的エリアが非目的エリア音源に囲まれている状況でも、目的エリア音のみを強調することができる。

（Ｂ）第２の実施形態
以下、本発明による収音装置、プログラム及び方法の第２の実施形態を、図面を参照しながら詳述する。

（Ｂ−１）第２の実施形態の構成
図５は、第２の実施形態の収音装置２００の機能的構成について示したブロック図であり、上述の図１と同一部分又は対称部分には、同一符号又は対称符号を付している。以下では、第２の実施形態の収音装置１００Ａについて、第１の実施形態との差異のみを説明する。

第１の実施形態（収音装置１００）の説明では、各マイクアレイＭＡと目的エリアとの間の距離（以下、「アレイ収音距離」と呼ぶ）について何ら言及しなかった。例えば、第１の実施形態において、アレイ収音距離が高々１５０ｃｍ程度であるような、ある程度小規模な環境の場合には、収音装置１００においてアレイ収音距離は無視して信号処理しても著しく出力信号の品質が低下することはない。しかし、アレイ収音距離の差（例えば、マイクアレイＭＡ_１のアレイ収音距離とマイクアレイＭＡ_２のアレイ収音距離との差）が３００ｃｍ以上となるような場合、各マイクアレイＭＡに目的エリア音が到達する時間差が大き過ぎるために、マイクアレイＭＡ間で目的エリア音方向を強調するタイミングがずれ、正しくエリア音を抽出できないことがある。

そこで、第２の実施形態の収音装置２００では、各マイクアレイＭＡのアレイ収音距離、又はマイクアレイＭＡ同士のアレイ収音距離の差が既知であるとして、指向性ゲインを遅延させることでタイミングを合わせる。

図５に示すように、収音装置２００では、エリア強調ゲイン算出部１０５がエリア強調ゲイン算出部１０５に置き換わり、さらに伝搬遅延補正部２０７が追加されている点で第１の実施形態と異なっている。

（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の収音装置２００の動作（この実施形態の収音方法）を説明する。

第２の実施形態に係る収音装置２００の動作は、伝搬遅延補正部２０７とエリア強調ゲイン算出部２０５除けば、第１の実施形態に係る収音装置１００の動作と同様であるためその他の要素の動作説明を省略する。

伝搬遅延補正部２０７は、事前に確認されたマイクアレイＭＡごとのアレイ収音距離又は各マイクアレイ間のアレイ収音距離の差に基づいて、アレイ収音距離が最も小さい（目的エリアと最も近い）マイクアレイＭＡ以外のマイクアレイＭＡに由来する指向性ゲインＧ_１（ｆ）〜Ｇ_Ｍ（ｆ）を遅延させる。得られた遅延指向性ゲインＧ’_１（ｆ）〜Ｇ’_Ｍ（ｆ）は、エリア強調ゲイン算出部２０５に与えられる。すなわち、遅延指向性ゲインＧ’_１（ｆ）〜Ｇ’_Ｍ（ｆ）は、全てのマイクアレイＭＡについてアレイ収音距離に基づくタイミングのずれ（遅延）を補正して、タイミングを同期させた指向性ゲインとなる。

エリア強調ゲイン算出部２０５は、（１１）式のように周波数成分ごとに遅延指向性ゲインＧ’_１（ｆ）〜Ｇ’_Ｍ（ｆ）を掛け合わせてエリア強調ゲインＨ（ｆ）を算出する。エリア強調ゲイン算出部２０５は、得られたエリア強調ゲインＨ（ｆ）は、目的エリア音抽出部１０６に与える。
Ｈ（ｆ） ＝ Ｇ’_１（ｆ）・Ｇ’_２（ｆ）・…・Ｇ’_Ｍ（ｆ） …（１１）

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、第１の実施形態の効果に加えて以下のような効果を奏することができる。

第２の実施形態の収音装置２００では、マイクアレイＭＡ間のアレイ収音距離の差が３００ｃｍを超えるような大規模な環境で、かつ、目的エリアが非目的エリア音源に囲まれている状況でも、目的エリア音のみを強調することができる。

（Ｃ）第３の実施形態
以下、本発明による収音装置、プログラム及び方法の第３の実施形態を、図面を参照しながら詳述する。

（Ｃ−１）第３の実施形態の構成
第３の実施形態の収音装置３００も上述の図１を用いて示すことができる。

以下では、第３の実施形態について第１及び第２の実施形態との差異のみを説明する。

第１及び第２の実施形態の収音装置１００、２００では、全マイクアレイＭＡ（ＭＡ_１〜ＭＡ_Ｍ）由来する指向性ゲインを掛け合わせることでエリア強調ゲインを算出していた。しかし、この方法は、信号に雑音を抑圧するフィルタをＭ回掛けていることに相当するため、第１及び第２の実施形態の収音装置１００、２００の出力信号はひずむおそれがある。

そこで、第３の実施形態の収音装置３００では、単にＭ個の指向性ゲインを掛け合わせるのでなく、Ｍ個の指向性ゲインを掛け合わせた後でＭ乗根を取ることで、当該ひずみを回避する。

図１に示すように、第３の実施形態の収音装置３００では、エリア強調ゲイン算出部１０５がエリア強調ゲイン算出部３０５に置き換わっている点で第１の実施形態の収音装置１００と異なっている。

（Ｃ−２）第３の実施形態の動作
次に、以上のような構成を有する第３の実施形態の収音装置３００の動作（この実施形態の収音方法）を説明する。

第３の実施形態に係る収音装置３００の動作は、エリア強調ゲイン算出部３０５を除けば、第１の実施形態に係る収音装置１００の動作と同様であるためその他の要素の動作説明を省略する。

エリア強調ゲイン算出部３０５は、（１２）式のように、周波数成分ごとに指向性ゲインＧ_１（ｆ）〜Ｇ_Ｍ（ｆ）を掛け合わせて、さらにＭ乗根を取ることで、エリア強調ゲインＨ（ｆ）を算出する。そして、エリア強調ゲイン算出部３０５で得られたエリア強調ゲインＨ（ｆ）は、目的エリア音抽出部１０６に与えられる。

（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、第２の実施形態の効果に加えて、以下のような効果を奏することができる。

第３の実施形態の収音装置３００では、エリア強調ゲインを算出する際に、掛け合わせる指向性ゲインの数の累乗根を取るので、第１の実施形態のような信号に雑音を抑圧するフィルタを多重で掛ける処理を回避できるので、より少ないひずみで目的エリア音のみを強調することができる。

（Ｄ）第４の実施形態
以下、本発明による収音装置、プログラム及び方法の第４の実施形態を、図面を参照しながら詳述する。

（Ｄ−１）第４の実施形態の構成
第４の実施形態の収音装置４００も上述の図１を用いて示すことができる。

以下では、第４の実施形態について第３の実施形態との差異のみを説明する。

第３の実施形態の収音装置３００では、エリア強調ゲインを算出する際に、掛け合わせる指向性ゲインの数の累乗根を取ることで、第１の実施形態のような信号に雑音を抑圧するフィルタを多重で掛ける処理を回避していた。一方、周波数成分ごとに全てのマイクアレイに対する指向性ゲインの最小値をエリア強調ゲインとすることでも同様の効果を奏することができ、さらに第３の実施形態よりも少ない演算量で実現することができる。そこで、第４の実施形態の収音装置４００では、周波数成分ごとに全てのマイクアレイに対する指向性ゲインの最小値を集め、エリア強調ゲインとするものとする。

図１に示すように、第４の実施形態の収音装置４００では、エリア強調ゲイン算出部３０５がエリア強調ゲイン算出部４０５に置き換わっている点で第３の実施形態の収音装置３００と異なっている。

（Ｄ−２）第４の実施形態の動作
次に、以上のような構成を有する第４の実施形態の収音装置４００の動作（この実施形態の収音方法）を説明する。

第４の実施形態に係る収音装置４００の動作は、エリア強調ゲイン算出部４０５を除けば、第３の実施形態に係る収音装置３００の動作と同様であるためその他の要素の動作説明を省略する。

エリア強調ゲイン算出部４０５は、周波数成分ごとに全てのマイクアレイに対する指向性ゲインＧ_１（ｆ）〜Ｇ_Ｍ（ｆ）の最小値をエリア強調ゲインＨ（ｆ）として算出する。エリア強調ゲイン算出部４０５により得られたエリア強調ゲインＨ（ｆ）は、目的エリア音抽出部１０６に与えられる。

上述の通り、音声のスパース性に基づき目的エリア音と雑音は周波数領域では重ならない。そして、上述の図２に示す通り、「ＭＡ_１の指向性ゲイン」及び「ＭＡ_２の指向性ゲイン」は、非目的エリア音の成分については０又は１のいずれかの値（０又は１に近似した値のいずれか）をとり得るが、目的エリア音の周波数成分については両方とも必ず１（１に近似した値）となっている。そうすると、図２（ｃ−２）に示すように、周波数成分ごとに指向性ゲインＧ_１（ｆ）、Ｇ_２（ｆ）の最小値をとったとしても、周波数成分ごとに指向性ゲインＧ_１（ｆ）、Ｇ_２（ｆ）の最小値を取った場合と同一又は近似した値が得られることになる。

（Ｄ−３）第４の実施形態の効果
第４の実施形態によれば、第３の実施形態の効果に加えて、以下のような効果を奏することができる。

第４の実施形態の収音装置４００（エリア強調ゲイン算出部４０５）では、第３の実施形態と異なり、累乗根の計算が不要なので、より少ない演算量で目的エリア音のみを強調することができる。

（ｅ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（ｅ−１）第２の実施形態の収音装置２００のエリア強調ゲイン算出部１０５において、エリア強調ゲインを算出する際に、（１１）式のように遅延指向性ゲインＧ’_１（ｆ）〜Ｇ’_Ｍ（ｆ）掛け合わせた後、第３の実施形態のエリア強調ゲイン算出部３０５と同様に、遅延指向性ゲインの数（Ｍ）の累乗根をとることで、エリア強調ゲインを得るようにしてもよい。

また、第２の実施形態のエリア強調ゲイン算出部１０５において、第４の実施形態のエリア強調ゲイン算出部４０５と同様に、周波数成分ごとに全てのマイクアレイＭＡに対する遅延指向性ゲインＧ’_１（ｆ）〜Ｇ’_Ｍ（ｆ）の最小値を集め、エリア強調ゲインとして取得するようにしてもよい。

１００…収音装置、１０２…データ入力部、１０３…周波数領域変換部、１０４…指向性ゲイン算出部、１０５…エリア強調ゲイン算出部、１０６…目的エリア音抽出部。

Claims (7)

1. 複数のマイクアレイが出力する捕捉信号を周波数領域に変換した入力信号のそれぞれに対し、ビームフォーマによって目的エリア音方向へ指向性を形成する際の指向性ゲインを取得する指向性ゲイン算出手段と、
   それぞれの前記マイクアレイの指向性ゲインに基づいて目的エリア音を強調するエリア強調ゲインを取得するエリア強調ゲイン算出手段と、
   前記マイクアレイの入力信号と、前記エリア強調ゲイン算出手段が取得したエリア強調ゲインに基づいて、目的エリア音を強調した目的エリア強調信号を取得する目的エリア音取得手段と
   を有することを特徴とする収音装置。
2. 前記エリア強調ゲイン算出手段は、周波数成分ごとに、全ての前記マイクアレイに係る指向性ゲインを掛け合わせてエリア強調ゲインを算出することを特徴とする請求項１に記載の収音装置。
3. 前記エリア強調ゲイン算出手段は、周波数成分ごとに、全ての前記マイクアレイに係る指向性ゲインを掛け合わせ、さらに前記マイクアレイの数に対応する累乗根を取ることでエリア強調ゲインを算出することを特徴とする請求項２に記載の収音装置。
4. 前記エリア強調ゲイン算出手段は、周波数成分ごとに全ての前記マイクアレイに対する指向性ゲインの最小値を選択することでエリア強調ゲインを求める
   ことを特徴とする請求項１に記載の収音装置。
5. それぞれの前記マイクアレイと目的エリアとの距離の差分に応じて、全ての前記マイクアレイの指向性ゲインのタイミングのずれを補正した指向性ゲインを取得する補正手段をさらに備え、
   前記エリア強調ゲイン算出手段は、前記補正手段が補正した指向性ゲインを用いてエリア強調ゲインを求める
   ことを特徴とする請求項１〜４のいずれかに記載の収音装置。
6. コンピュータを、
   複数のマイクアレイが出力する捕捉信号を周波数領域に変換した入力信号のそれぞれに対し、ビームフォーマによって目的エリア音方向へ指向性を形成する際の指向性ゲインを取得する指向性ゲイン算出手段と、
   それぞれの前記マイクアレイの指向性ゲインに基づいて目的エリア音を強調するエリア強調ゲインを取得するエリア強調ゲイン算出手段と、
   前記マイクアレイの入力信号と、前記エリア強調ゲイン算出手段が取得したエリア強調ゲインに基づいて、目的エリア音を強調した目的エリア強調信号を取得する目的エリア音取得手段と
   して機能させることを特徴とする収音プログラム。
7. 収音方法において、
   指向性ゲイン算出手段、エリア強調ゲイン算出手段、及び目的エリア音取得手段を備え、
   前記指向性ゲイン算出手段は、複数のマイクアレイが出力する捕捉信号を周波数領域に変換した入力信号のそれぞれに対し、ビームフォーマによって目的エリア音方向へ指向性を形成する際の指向性ゲインを取得し、
   前記エリア強調ゲイン算出手段は、それぞれの前記マイクアレイの指向性ゲインに基づいて目的エリア音を強調するエリア強調ゲインを取得し、
   前記目的エリア音取得手段は、前記マイクアレイの入力信号と、前記エリア強調ゲイン算出手段が取得したエリア強調ゲインに基づいて、目的エリア音を強調した目的エリア強調信号を取得する
   ことを特徴とする収音方法。

Images