JP2018170617A

JP2018170617A - 収音装置、プログラム及び方法

Info

Publication number: JP2018170617A
Application number: JP2017065983A
Authority: JP
Inventors: 大藤枝; Masaru Fujieda; 一浩片桐; Kazuhiro Katagiri
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2017-03-29
Filing date: 2017-03-29
Publication date: 2018-11-01

Abstract

【課題】各マイクアレイの位置を調整することなく、かつ各マイクアレイと目的エリアとの距離の測定無しに、目的エリアが雑音源に囲まれている状況でも目的エリア音のみを強調でき、かつ目的エリアが変更にも容易に対応する。【解決手段】本発明は、収音装置に関する。そして、本発明の収音装置は、複数のマイクアレイが出力する捕捉信号のそれぞれに対し、ビームフォーマによって目的エリア音方向へ指向性を形成して、マイクアレイごとに目的方向信号を取得する指向性形成手段と、周波数成分ごとに、それぞれのマイクアレイの目的方向信号からパワーが最少となる目的方向信号を選択し、周波数成分ごとに選択した目的方向信号を収音結果として出力する目的エリア音強調手段とを有することを特徴とする。【選択図】図１

Description

本発明は、収音装置及びプログラムに関し、例えば、特定のエリアの音のみを強調し、それ以外のエリアの音を抑圧する場合に適用し得るものである。

ビームフォーマにおいて基本となる手法は、遅延和法である。図６は、遅延和法に係る構成を示すブロック図である。遅延和法では、複数（図６ではＭ個；Ｍは２以上の整数）のマイク１_１〜１_Ｍが直線状に等間隔（距離ｄ）で配置されたマイクアレイＭＡと、各マイク１_１〜１_Ｍのそれぞれに対応して設けられ、対応するマイク１_１〜１_Ｍによる捕捉信号ｘ_１（ｔ）〜ｘ_Ｍ（ｔ）に対して予め事前に設定された遅延時間（遅延量）Ｄ_１〜Ｄ_Ｍを付与する遅延器２_１〜２_Ｍと、全ての遅延器２_１〜２_Ｍからの出力信号ｘ_１（ｔ−Ｄ_１）〜ｘ_Ｍ（ｔ−Ｄ_Ｍ）の総和を求める総和器３が用いられる。

マイク１_ｉ（ｉは１〜Ｍ）の正面から目的方向への角度をθ_Ｌ、音速をｃとする。目的方向の音源からの音響が、隣り合うマイク（例えば、マイク１_１及び１_２）に到達するのは、（１）式に示す伝搬遅延時間τ_Ｌだけタイミングがずれる。そこで、各遅延量Ｄ_ｉを（２）式のように選定すると、全ての遅延器２_１〜２_Ｍからの出力信号ｘ_１（ｔ−Ｄ_１）〜ｘ_Ｍ（ｔ−Ｄ_Ｍ）は、目的方向θ_Ｌからの音響成分に対しては位相が揃ったものとなる。（３）式に示すように、以上のように位相が揃った目的方向θ_Ｌからの音響成分の総和を求めることにより、総和器３からの出力信号ｙ（ｔ）は、目的方向の音響を強調したものとなる。なお、他の方向の音は、遅延器群（遅延器２_１〜２_Ｍ）を介しても位相は揃わずに強調されない。遅延器２_ｉとして、遅延量Ｄ_ｉを変更できるものを適用することにより、目的方向の変更にも容易に対応できる。以上の処理は、時間領域で行うだけでなく、周波数領域でも同様に行うことができる。

実環境では、ある特定のエリアの音響だけを収音したい場合、そのエリアの周囲に多数の雑音が存在する状況が考えられる。通常、ビームフォーマは、直線的にしか指向性を形成することができない。そのため、図７に示すように、目的エリアと同方向に雑音が存在する場合、目的エリアから発生している音響（以下、「目的エリア音」と呼ぶ）だけでなく目的エリア方向の雑音まで強調してしまうことになる。

この課題を解決するために、特許文献１では、図８に示すように、２つのマイクアレイＭＡ_１、ＭＡ_２を用いて、別々の位置から各マイクアレイＭＡ_１、ＭＡ_２の指向性をビームフォーマにより目的エリア方向、目的エリア以外の方向に向け、各出力の周波数成分のパワーの比から目的エリアの音響を推定して強調する手法を提案している。

特開２００７−２３５３５８号公報

大賀寿郎、金田豊、山崎芳男著、"音響システムとディジタル処理"、電子情報通信学会編・発行、１９９５年３月。

しかしながら、特許文献１の提案手法では、マイクアレイＭＡ_１、ＭＡ_２を目的エリアから等距離に配置しなければならない。すなわち、マイクアレイＭＡ_１から目的エリアへの距離とマイクアレイＭＡ_２から目的エリアへの距離を等しくする必要がある。このため、目的エリアを変更する場合には、変更の度にマイクアレイＭＡ_１、ＭＡ_２を配置し直さなければならないという課題がある。

そのため、各マイクアレイの位置を調整することなく、目的エリアが雑音源に囲まれている状況でも目的エリア音のみを特定することができ、目的エリアの変更にも容易に対応できる収音装置及びプログラムが望まれている。

第１の本発明の収音装置は、（１）複数のマイクアレイが出力する捕捉信号のそれぞれに対し、ビームフォーマによって目的エリア音方向へ指向性を形成して、前記マイクアレイごとに目的方向信号を取得する指向性形成手段と、（２）周波数成分ごとに、それぞれの前記マイクアレイの目的方向信号からパワーが最少となる目的方向信号を選択し、周波数成分ごとに選択した目的方向信号を収音結果として出力する目的エリア音強調手段とを有することを特徴とする。

第２の本発明の収音プログラムは、コンピュータを、（１）複数のマイクアレイが出力する捕捉信号のそれぞれに対し、ビームフォーマによって目的エリア音方向へ指向性を形成して、前記マイクアレイごとに目的方向信号を取得する指向性形成手段と、（２）周波数成分ごとに、それぞれの前記マイクアレイの目的方向信号からパワーが最少となる目的方向信号を選択し、周波数成分ごとに選択した目的方向信号を収音結果として出力する目的エリア音強調手段として機能させることを特徴とする。

第３の本発明は、収音方法において、（１）指向性形成手段、及び目的エリア音強調手段を備え、（２）前記指向性形成手段は、複数のマイクアレイが出力する捕捉信号のそれぞれに対し、ビームフォーマによって目的エリア音方向へ指向性を形成して、前記マイクアレイごとに目的方向信号を取得し、（３）前記目的エリア音強調手段は、周波数成分ごとに、それぞれの前記マイクアレイの目的方向信号からパワーが最少となる目的方向信号を選択し、周波数成分ごとに選択した目的方向信号を収音結果として出力することを特徴とする。

本発明によれば、各マイクアレイの位置を調整することなく、目的エリアが雑音源に囲まれている状況でも目的エリア音のみを特定することができ、目的エリアの変更にも容易に対応できる。

実施形態に係る収音装置の機能的構成について示したブロック図である。実施形態に係る収音装置において、２つのマイクアレイから供給された信号処理の過程について示した説明図である。実施形態に係るマイクアレイの配置構成の変形例（その１）について示した説明図である。実施形態に係るマイクアレイの配置構成の変形例（その２）について示した説明図である。実施形態に係るマイクアレイの配置構成の変形例（その３）について示した説明図である。従来の遅延和法に係る構成を示すブロック図である。１つのマイクアレイの指向性をビームフォーマにより目的エリア方向に向けた場合の構成について示した説明図である。２つのマイクアレイの指向性をビームフォーマにより目的エリア方向に向けた場合の構成について示した説明図である。

（Ａ）主たる実施形態
以下、本発明による収音装置、プログラム及び方法の一実施形態を、図面を参照しながら詳述する。

（Ａ−１）実施形態の構成
図１は、この実施形態の収音装置１００の機能的構成について示したブロック図である。

収音装置１００は、Ｎ個のマイクアレイＭＡ（ＭＡ_１〜ＭＡ_Ｎ）から供給される音響信号を用いて、目的エリアの音源からの目的エリア音を収音する目的エリア音収音処理を行う。

マイクアレイＭＡ_１〜ＭＡ_Ｎは、目的エリアが存在する空間の、目的エリアを指向できる場所に配置される。マイクアレイＭＡ_ｊ（ｊは１〜Ｎ）はＭ個（Ｍ≧２）のマイク１（１_１〜１_Ｍ）を用いて構成され、各マイク１が音響を捕捉して音響信号を当該収音装置１００に入力する。なお、図１のマイクアレイＭＡ_１〜ＭＡ_Ｎは、それぞれマイク１を直線状に等間隔で配置するように図示したが、この限りではなく、ビームフォーマを実行できる配置であればよい。

直線状に配置されたマイクアレイ（リニアアレイとも呼ばれる）の指向性は左右の１軸についてのみであるが、例えば３個以上のマイクが平面上に配置されたマイクアレイ（平面アレイとも呼ばれる）なら前後左右（上下左右でも良い）の２軸の指向性を制御することができる。また、また例えば４個以上のマイクが３次元的に配置されたマイクアレイなら前後左右上下の３軸の指向性を制御することができる。さらに、マイクを結晶型（正多角形配置、長方形配置、正多面体配置、正多角柱配置、直方体配置など）に配置した結晶型マイクアレイを用いると、拡散性雑音を効果的に抑圧できる。この実施形態のマイクアレイＭＡ_１〜ＭＡ_Ｎにおいても、上述のようにマイクを平面に配置したり、３次元的に配置したり、結晶型に配置するようにしてもよい。マイクアレイＭＡ_１〜ＭＡ_Ｎのマイクの配置は、このような様々なマイク配置から任意のマイク配置を採用することができる。また、採用されるマイク配置は、全マイクアレイＭＡで共通であっても良く、マイクアレイＭＡごとに異なっても良い。

収音装置１００において、ディジタル信号に変換された後の処理構成を、プロセッサやメモリ等を備えるコンピュータにプログラム（実施形態に係る収音プログラムを含む）を実行させるようにしてもよいが、その場合であっても、機能的には、図１で表すことができる。

図１において、収音装置１００は、データ入力部１０２、周波数領域変換部１０３、指向性形成部１０４、目的エリア音強調部１０５、時間領域変換部１０６及びデータ出力部１０７を有している。

データ入力部１０２は、マイクアレイＭＡ_１〜ＭＡ_Ｎで捕捉した音響信号をアナログ信号からディジタル信号（データ）に変換するものである。

周波数領域変換部１０３は、マイクアレイＭＡ_１〜ＭＡ_Ｎから入力されたデータを時間領域から周波数領域へと変換する。変換には、高速フーリエ変換（ＦＦＴ）やウェーブレット変換、フィルタバンクなどを利用することができるが、ＦＦＴが最も好適である。ここで、ＦＦＴを行う際、ハミング窓などの各種窓関数を用いるようにしても良い。

指向性形成部１０４は、マイクアレイＭＡごとに、目的エリアとマイクアレイＭＡの置と向きから角度を求め、上述した（１）式及び（２）式に基づいて、各マイク１からのデータに適用する遅延を算出し、目的エリア方向に向けてビームフォーマを行って目的方向信号（ビームフォーマ出力）を得る。ビームフォーマは、遅延和法をはじめとした各種法のいずれを適用しても良い。

目的エリア音強調部１０５は、周波数成分ごとに、マイクアレイＭＡごとに得られたＮ個の目的方向信号の中からパワーが最小である目的方向信号を選択し、当該目的方向信号の周波数成分を目的エリア音の周波数成分の推定値とする。目的エリア音強調部１０５の処理の詳細については、動作の項で明らかにする。

時間領域変換部１０６は、目的エリア音が強調された周波数領域信号を時間領域の信号へ変換する。変換には、周波数領域変換部１０３で用いた変換方法に合わせた方法を使うのが好適であり、例えば周波数領域変換部１０３で高速フーリエ変換（ＦＦＴ：ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）を用いたなら、時間領域変換部１０６では逆高速フーリエ変換（ＩＦＦＴ：ＩｎｖｅｒｓｅＦＦＴ）を用いる。

データ出力部１０７は、時間領域変換部１０６で処理されたデータを出力する。このとき、データ出力部１０７が出力するデータは、ディジタル信号のままでも良く、アナログ信号に変換しても良い。

（Ａ−２）実施形態の動作
次に、以上のような構成を有するこの実施形態の収音装置１００の動作を説明する。

目的エリアが存在する空間に存在する各種の音源からの音響は、マイクアレイＭＡ_１〜ＭＡ_Ｎを構成する各マイク１によって捕捉され、得られた音響信号がデータ入力部１０２に入力されてディジタル信号に変換される。

これらの音響信号は、周波数領域変換部１０３によって時間領域から周波数領域の信号に変換される。マイクアレイＭＡ_１〜ＭＡ_Ｎに係る周波数領域信号のそれぞれに対し、指向性形成部１０４によって、目的エリア方向に向けたビームフォーマが実行され、目的方向信号が得られる。

そして、目的エリア音強調部１０５が、周波数成分ごとに、マイクアレイＭＡごとに得られたＮ個の目的方向信号の中からパワーが最小である目的方向信号を選択することで目的エリア音の周波数成分を推定する。すなわち、目的エリア音強調部１０５は、周波数成分ごとに選択した目的方向信号をあわせ、収音結果として出力する。

以下に、マイクアレイＭＡの数が２個（Ｎ＝２）で、各マイクアレイＭＡ_１、ＭＡ_２が図８のように配置されている例を想定する。以下では、指向性形成部１０４と目的エリア音強調部１０５の動作イメージを、図２を参照しながら説明する。

図２は、収音装置１００において、マイクアレイＭＡ_１、ＭＡ_２から供給された信号処理の過程について示した説明図である。

図２（ａ）、図２（ｂ）は、それぞれマイクアレイＭＡ_１、ＭＡ_２の任意のマイク１から供給された入力信号が、周波数領域に変換された信号（周波数領域変換部１０３の出力）について示した図である。図２（ｃ）、図２（ｄ）は、それぞれマイクアレイＭＡ_１、ＭＡ_２から供給された信号について目的エリア方向に向けたビームフォーマが実行された目的方向信号（指向性形成部１０４の出力）について示した図である。図２（ｅ）は、マイクアレイＭＡ_１、ＭＡ_２の目的方向信号（図２（ｃ）、図２（ｄ）の信号）に基づき目的エリア音が強調された信号（目的エリア音強調部１０５の出力）について示した図である。

ここでは、マイクアレイＭＡ_ｊのｉ番目のマイク１_ｊが補足した音響信号の周波数成分（パワー）をＸ_ｊｉ（ｆ）と書くことにする。ここで、ｆは周波数（ただし離散値）である。また、目的エリア音の周波数成分をＳ（ｆ）、図８における雑音Ａの周波数成分をＮ_Ａ（ｆ）、図８における雑音Ｂの周波数成分をＮ_Ｂ（ｆ）と書くことにする。すると、Ｘ_ｊｉ（ｆ）は（４）式のように書ける。（４）式中のＡ_ｋｊｉ（ｆ）（ｋ＝１，２，３）は、目的エリア音、雑音Ａ、雑音Ｂから各マイク１へのゲイン（伝達関数のパワー）である。ここで、音声のスパース性を仮定すれば、目的エリア音と雑音は周波数領域では重ならない。つまり、各周波数成分には、目的エリア音と雑音（複数）のいずれか１つだけが存在することになる。したがって、マイクアレイＭＡ_１、ＭＡ_２の各マイク１が捕捉した音響信号の周波数成分は、（５）式、及び図２（ａ）、図２（ｂ）のようになる。

そして、指向性形成部１０４においてマイクで捕捉された音響信号にビームフォーマを適用すると、目的エリア方向にない雑音（マイクアレイＭＡ_１における雑音Ｂ、及びＭＡ_２における雑音Ａ）が抑圧されて、目的方向信号は、（６）式、（７）式、及び図２（ｃ）、図２（ｄ）のようになる。（６）式及び（７）式中のＧ_１（ｆ）及びＧ_２（ｆ）は、各ビームフォーマの目的エリア方向以外の方向に対する減衰ゲイン（伝達関数のパワー）であり、大きくとも０．５より小さい正の値となる（例えば０．１など）。目的方向信号は、雑音Ａ又は雑音Ｂが目的エリア音と同等以上のパワーを持っており、目的エリア音が抽出できていない。

そして、目的エリア音強調部１０５において、（８）式のように、周波数成分ごとに、２つの目的方向信号の最小値を選択すると、雑音Ａが存在する周波数ではＧ_２（ｆ）が乗算されているＹ_２（ｆ）が選択され、雑音Ｂが存在する周波数ではＧ_１（ｆ）が乗算されているＹ_１（ｆ）が選択され、（９）式、（１０）式のようになる。Ａ_ｍｉｎ（ｆ）も２つのゲインの小さい方であるが、Ａ_ｋｊｉ（ｆ）は音源からマイクまでの伝達特性に係るゲインであり、１．０より小さいもののＧ_１（ｆ）及びＧ_２（ｆ）よりははるかに大きい（例えば０．９や０．８）。したがって、Ｚ（ｆ）は図示すると図２（ｅ）のようになり、目的エリア音の周波数成分以外が抑圧されて、目的エリア音の周波数成分を強調できる。

目的エリア音の周波数成分が強調された信号は、時間領域変換部１０６によって、時間領域の信号へ変換される。その後、データ出力部１０７によって、次段に出力される。

（Ａ−３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。

収音装置１００では、各マイクアレイＭＡにおける目的エリア方向のビームフォーマ後の目的方向信号について、周波数成分ごとにパワーが最小となる目的方向信号を選択する。これにより、収音装置１００では、各マイクアレイＭＡの位置の調整及び各マイクアレイＭＡと目的エリアとの距離の計測なしに、目的エリアが雑音源に囲まれている状況でも目的エリア音のみを強調することができる。すなわち、この実施形態の収音装置１００では、複数のマイクアレイＭＡを異なる方向に一度配置するだけで目的エリア音のみを強調することができる。したがって、この実施形態の収音装置１００では、指向性形成部が形成する指向性を変更することができるので、複数のマイクアレイＭＡの位置などを変更することなく、目的エリアの変更にも容易に対応することができる。

以上のように、この実施形態の収音装置１００では、各マイクアレイＭＡの位置を調整することなく、目的エリアが雑音源に囲まれている状況でも目的エリア音のみを特定することができ、目的エリアの変更にも容易に対応できる。

（Ｂ）他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（Ｂ−１）上記の実施形態では、マイクアレイＭＡの数が２個で、各マイクアレイＭＡ_１、ＭＡ_２が図８のように配置されている場合について詳細に説明したが、前述した通り、本発明に係るマイクアレイＭＡの配置は図８に限定されない。

例えば、指向性形成部１０４において、図３のように指向性を変更することで、異なるエリアを収音することができる。この場合、マイクアレイＭＡの配置を変えずに目的エリアを変更できるので、各マイクアレイＭＡが壁など動かせないものに固定されている場合などに効果的である。

また、上記の実施形態の収音装置１００では、各マイクアレイＭＡと目的エリアとの距離の測定なしに目的エリア音を強調することができるので、例えば、指向性形成部１０４において、図４のように配置を変更することでも、図３と同じエリアを収音することができる。

以上のように、指向性形成部１０４において、動的に各マイクアレイＭＡの指向性を変更してエリア収音を行うように構成してもよい。例えば、収音装置１００（周波数領域変換部１０３）において、ユーザから上述のθ_Ｌの調整（変更）を受付け、調整後（変更後）のθ_Ｌに基づく指向性の形成を行うように構成してもよい。例えば、収音装置１００（周波数領域変換部１０３）において、コマンドライン、ＧＵＩ、各種パラメータのデータが設定された設定ファイルの差し替え等により、各マイクアレイＭＡの指向性の調整を受け付ける手段を構成するようにしてもよい。

（Ｂ−２）上記の実施形態の収音装置１００において、例えば３個のマイクアレイＭＡを使う場合には、図５のように配置することで、雑音源に囲まれた目的エリア音を強調することができる。上記の実施形態の収音装置１００では、各マイクアレイＭＡと目的エリアとの距離がわからなくても良いので、マイクアレイＭＡの向きのみに注意すれば良い。また、マイクアレイＭＡの向きが微妙にずれていて、マイクアレイＭＡの配置による改善が難しい場合には、収音装置１００において、指向性を調整することで適切に目的エリア音を強調することができる。

（Ｂ−３）上記の実施形態の収音装置１００において、データ入力部１０２及び周波数領域変換部１０３を除外し、周波数領域に変換された状態の入力信号の供給を受けて処理するようにしてもよい。また、上記の実施形態の収音装置１００において、時間領域変換部１０６を除外し、周波数領域の信号を出力するようにしてもよい。

１００…収音装置、１０２…データ入力部、１０３…周波数領域変換部、１０４…指向性形成部、１０５…目的エリア音強調部、１０６…時間領域変換部、１０７…データ出力部、ＭＡ、ＭＡ_１〜ＭＡ_Ｎ…マイクアレイ、１、１_１〜１_Ｍ…マイク。

Claims

複数のマイクアレイが出力する捕捉信号のそれぞれに対し、ビームフォーマによって目的エリア音方向へ指向性を形成して、前記マイクアレイごとに目的方向信号を取得する指向性形成手段と、
周波数成分ごとに、それぞれの前記マイクアレイの目的方向信号からパワーが最少となる目的方向信号を選択し、周波数成分ごとに選択した目的方向信号を収音結果として出力する目的エリア音強調手段と、
を有することを特徴とする収音装置。
前記指向性形成手段で用いられるそれぞれの前記マイクアレイの指向性の調整を受け付ける調整受付手段をさらに有することを特徴とする請求項１に記載の収音装置。
コンピュータを、
複数のマイクアレイが出力する捕捉信号のそれぞれに対し、ビームフォーマによって目的エリア音方向へ指向性を形成して、前記マイクアレイごとに目的方向信号を取得する指向性形成手段と、
周波数成分ごとに、それぞれの前記マイクアレイの目的方向信号からパワーが最少となる目的方向信号を選択し、周波数成分ごとに選択した目的方向信号を収音結果として出力する目的エリア音強調手段と
して機能させることを特徴とする収音プログラム。
収音方法において、
指向性形成手段、及び目的エリア音強調手段を備え、
前記指向性形成手段は、複数のマイクアレイが出力する捕捉信号のそれぞれに対し、ビームフォーマによって目的エリア音方向へ指向性を形成して、前記マイクアレイごとに目的方向信号を取得し、
前記目的エリア音強調手段は、周波数成分ごとに、それぞれの前記マイクアレイの目的方向信号からパワーが最少となる目的方向信号を選択し、周波数成分ごとに選択した目的方向信号を収音結果として出力する
ことを特徴とする収音方法。