JP2015046759A - ビームフォーミング処理装置およびビームフォーミング処理方法 - Google Patents

Abstract

【課題】音声帯域の音を収音しビームフォーミングを行う場合に、ビームフォーミングに係る演算量の増加を抑制可能で、ＳＮ比を向上でき、音声品質の劣化を低減できる、ビームフォーミング処理装置を提供する。【解決手段】マイク部４０１−１〜４０１−Ｌで生成した収音信号Ｚ１（ｎ）〜ＺＬ（ｎ）を、変換部４０２−１〜４０２−Ｌによってフーリエ変換を行う。マイク間隔情報記憶部４０３は、複数のマイク部の相互間隔を表す情報を記憶する。音源距離情報記憶部４０４は、各マイク部に関する目的音距離を表す情報を記憶する。記憶した２つの情報を用いて、複数のマイク部の中から、各演算部４０７−１〜４０７−Ｍの演算に用いるマイク部の組合せを決定し、各演算部の演算結果毎の、合成部４０８における合成の際の周波数範囲を決定し、逆変換部４０９は、逆フーリエ変換を行い、時間領域の信号Ｙ（ｎ）を求める。【選択図】図４

Description

本発明は、一般的には、信号処理技術に関し、特には、音声処理技術に関する。

マイクロフォンに代表される収音手段により生成された信号（以下、収音信号と記載。）について、収音の目的となる音（以下、目的音と記載。）、例えば音声、の信号対雑音比（以下、ＳＮ比と記載。）を向上させる方法として、いわゆるビームフォーミング（Ｂｅａｍ Ｆｏｒｍｉｎｇ）技術が知られている。

上記ビームフォーミング技術では、異なる位置に配置された複数の収音手段によりアレイ構成する。複数の収音信号の特性差、例えば位相差、を利用して目的音の音源の方向または目的音の到来方向にビームを形成することで、指向性を持たせ、その結果、雑音、妨害音といった不要な音を抑圧しながら目的音を強調する。

このようなビームフォーミング技術は、例えば、背景雑音が大きい中で行う音声認識処理、車室内でのハンズフリー通話といった、様々な場面で用いられている。

ビームフォーミングの方式としては、例えば、固定的なビームフォーミング方式（以下、固定ビームフォーミングと記載。）である遅延和（ＤＳ：Ｄｅｌａｙ ａｎｄ Ｓｕｍ）法、適応的なビームフォーミング方式（以下、適応ビームフォーミングと記載。）として最小分散（ＭＶ：Ｍｉｎｉｍｕｍ Ｖａｒｉａｎｃｅ）法が知られている。（非特許文献１）
ＤＳ法は、音源から各収音手段までの到達時間に差があることを利用しており、各収音手段が生成した収音信号に対し、遅延を付加し、それらの総和を取ることで、目的音の方向にビームを形成する方法である。

非特許文献１に記載のＭＶ法は、収音手段から目的音への方向を表すステアリング・ベクトル（Ｓｔｅｅｒｉｎｇ Ｖｅｃｔｏｒ）を用いて目的音の音源の方向にビームを形成し、一方で、不要な音の収音を最小にするようヌルビーム（Ｎｕｌｌ Ｂｅａｍ）を適応的に形成し、その結果として高いＳＮ比の収音を可能にする方法である。

一方、ビームフォーミング技術が利用される他の分野として、複数のアンテナを用いたアレイ・アンテナ（Ａｒｒａｙ Ａｎｔｅｎｎａ）がある。（特許文献１）

特許文献１では、適応ビームフォーミングの演算量を低減するために、アレイを構成するアンテナ群をいくつかの集合（サブアレイ）に分割し、サブアレイ毎に適応ビームフォーミング演算を行い、さらに、各サブアレイで得られた演算結果を用いて適応ビームフォーミング演算を行う。このような２段階のビームフォーミング演算を行うことにより、アレイ・アンテナ全体としてのビームフォーミング結果を求めている。

浅野太 「音のアレイ信号処理−音源の定位・追跡と分離」４．５章、コロナ社、２０１１年

特開２００９−２９０２９４号公報

一般的に、適応ビームフォーミングは、固定ビームフォーミングと比較して目的音の方向に向いたビームに鋭い指向性を持たせることが可能である。しかし、収音手段の数（Ｌ）が増えるにつれて処理に必要な演算量がＯ（Ｌ^３）オーダーで増加し、例えば上記ＭＶ法では、フィルタ係数決定に対してＬ^３＋２Ｌ^２＋Ｌのオーダーで演算量が増加する。

このため、音声のようなリアルタイム処理を必要とする音の場合には、演算装置、例えばＣＰＵなどの演算装置、の負荷が重くなるという課題がある。

また、特許文献１では、演算量を低減することが可能であるが、ＳＮ比の向上が優先された方式であることから、音声に適用した場合には、複数段階の適応ビームフォーミング演算によって音声品質が劣化するという課題がある。

本発明は、上述した課題を解決するためになされたものであり、複数の収音手段からの収音信号に対しビームフォーミングを適用する場合に、ビームフォーミングに係る演算量の増加を抑制可能であるとともに、ＳＮ比を向上でき、音声品質の劣化を低減できる、ビームフォーミング処理装置を提供することを目的とする。

本発明に係るビームフォーミング処理装置は、 複数の収音手段から収音信号を受けとるとともに、前記収音信号を対象とする第１のビームフォーミング演算の演算結果および第２のビームフォーミング演算の演算結果を合成するビームフォーミング処理装置であって、
前記複数の収音手段の収音手段同士の間隔を表す情報および前記複数の収音手段から目的音の音源までの距離を表す情報に基づいて、前記第１のビームフォーミング演算に用いる第１の収音手段の組合せおよび前記第２のビームフォーミング演算に用いる第２の収音手段の組合せと、前記合成に用いる前記第１のビームフォーミング演算の演算結果の周波数範囲および前記第２のビームフォーミング演算の演算結果の周波数範囲と、を決定する決定手段と、
前記決定手段で決定された前記第１の収音手段の組合せから受けとった収音信号の組に対し、前記第１のビームフォーミング演算を行い、前記決定手段で決定された前記第２の収音手段の組合せから受けとった収音信号の組に対し、前記第２のビームフォーミング演算を行う、演算手段と、
前記決定手段で決定された前記第１のビームフォーミング演算の演算結果の周波数範囲および前記第２のビームフォーミング演算の演算結果の周波数範囲に基づき、前記演算手段で求められた前記第１のビームフォーミング演算の演算結果と前記第２のビームフォーミング演算の演算結果とを合成する合成手段と、を備えることを特徴とする。

本発明のビームフォーミング処理装置によれば、複数の収音手段の収音手段同士の間隔を表す情報および複数の収音手段から目的音の音源までの距離を表す情報に基づいて、第１のビームフォーミング演算に用いる第１の収音手段の組合せおよび第２のビームフォーミング演算に用いる第２の収音手段の組合せと、合成に用いる前記第１のビームフォーミング演算の演算結果の周波数範囲および第２のビームフォーミング演算の演算結果の周波数範囲と、を決定する決定手段と、
第１の収音手段の組合せから受けとった収音信号の組に対し第１のビームフォーミング演算を行い、第２の収音手段の組合せから受けとった収音信号の組に対し第２のビームフォーミング演算を行う、演算手段と、
第１のビームフォーミング演算の演算結果の周波数範囲および第２のビームフォーミング演算の演算結果の周波数範囲に基づき、第１のビームフォーミング演算の演算結果と第２のビームフォーミング演算の演算結果とを合成する合成手段と、
を備えるようにしたので、ビームフォーミングに係る演算量の増加を抑制可能であるとともに、ＳＮ比を向上でき、音声品質の劣化を低減できる、ビームフォーミング処理装置を提供することができる。

本発明の実施の形態１における、ビームフォーミング処理装置の概略構成を示す図である。 本発明の実施の形態１における、ビームフォーミングの動作原理を示す図である。 本発明の実施の形態１における、マイクロフォンの組合せおよび合成帯域の決定方法のフローチャートを示す図である。 本発明の実施の形態２における、ビームフォーミング処理装置の概略構成を示す図である。 本発明の実施の形態２における、ビームフォーミング処理装置の概略構成の第１の変形例を示す図である。 本発明の実施の形態２における、ビームフォーミング処理装置の概略構成の第２の変形例を示す図である。 本発明の実施の形態３における、ビームフォーミング処理装置の概略構成を示す図である。 本発明の実施の形態３における、ビームフォーミング処理装置の概略構成の第１の変形例を示す図である。

以下に、本発明の各実施の形態について図を用いて説明する。

なお、各実施の形態の図において、同一ないしは同様なものについては同一ないしは同様の番号を付け、各実施の形態の説明においてその説明を一部省略する場合がある。

また、図の各要素は、本発明を説明するために便宜的に分けたものであり、その実装形態は図の構成、分割、名称等に限定されない。

また、以下の記載における各要素は、例えば「・・・手段」、「・・・回路」、「・・・機能単位」、「・・・処理」、「・・・ステップ」と置換えてもよい。

実施の形態１.

以下に、本発明の実施の形態１について図１および図２を用いて説明する。

図１は、本発明の実施の形態１における、ビームフォーミング処理装置の１例を示す概略構成を示す図である。

図１において、１０１−１ないし１０１−Ｌはマイクロフォン、１０２は処理部、１０３は入力用インターフェース（以下、入力Ｉ／Ｆと記載。また、図中ではＩＮＰＵＴ Ｉ／Ｆと記載。）、１０４はＣＰＵ、１０５は読出し書込みメモリ（図中ではＲＡＭと記載。）、１０６は読出し専用メモリ（図中ではＲＯＭと記載。）、１０７は出力用インターフェース（以下、出力Ｉ／Ｆと記載。また、図中ではＯＵＴＰＵＴ Ｉ／Ｆと記載。）、１０８は制御用インターフェース（以下、制御Ｉ／Ｆと記載。また、図中ではＣＯＮＴ Ｉ／Ｆと記載。）、１０９は伝送路を示す。

なお、例えばマイクロフォン１０１を含まない、狭義のビームフォーミング処理装置を定義することが可能である。または、図示しないその他の構成要素を含む、広義のビームフォーミング処理装置を定義することも可能である。

また、本実施の形態においては、マイクロフォン１０１−１ないし１０１−Ｌが収音手段に対応し、主にＣＰＵ１０４が決定手段、演算手段および合成手段に対応する。

マイクロフォン１０１−１ないし１０１−Ｌは、音声帯域の音を収音可能な収音手段であり、各々のマイクロフォンにおいて収音信号が生成される。

以下の説明においては、本発明を分かりやすくするために簡略化し、全てのマイクロフォン１０１の特性が同一であるとして説明する。但し、マイクロフォン１０１の特性が同一であることは必ずしも必要ではなく、本発明が適用可能であれば上記構成に限定されない。

なお、以下の説明において、マイクロフォン１０１−１ないし１０１−Ｌを単に「マイクロフォン１０１」と記載する場合がある。

入力Ｉ／Ｆ１０３には、各マイクロフォン１０１からの収音信号を伝送する信号径路が接続され、各マイクロフォン１０１が生成する収音信号を受け取る。また、入力Ｉ／Ｆ１０３は、伝送路１０９を介して上記各構成要素と接続される。

なお、マイクロフォン１０１と入力Ｉ／Ｆ１０３とは物理的に一体的に構成されていても分離可能に構成されていてもよい。

入力Ｉ／Ｆ１０３の具体的な部品名としては、例えば、コネクタ、増幅器が想定される。

ＣＰＵ１０４は、ビームフォーミングに必要な演算を含む、各種データおよび情報の処理を行う。また、ＣＰＵ１０４は、図に示した各構成要素の制御を行う。

ＲＡＭ１０５およびＲＯＭ１０６は、（１）上記演算、処理および制御に必要なデータおよび情報、（２）マイクロフォン１０１同士の間隔（以下、マイク間隔と記載。）を表す情報、および（３）各マイクロフォン１０１から目的音の音源までの距離（以下、目的音距離と記載。）を表す情報、を記憶する。

また、ＲＡＭ１０５およびＲＯＭ１０６は、上記演算、処理および制御に必要なプログラムを記憶する。

出力Ｉ／Ｆ１０７は、各種データをビームフォーミング装置１００の外部に出力するためのインターフェースであり、例えば、ビームフォーミング演算の演算結果を出力する。

制御Ｉ／Ｆ１０８は、ビームフォーミング装置１００の外部と各種制御データおよび情報をやりとりするためのインターフェースであり、例えばビームフォーミング装置１００の使用者が装置の各種設定を人為的に行う場合に使用する。

次に、ビームフォーミング処理装置の動作原理について、簡単な例を用いて説明する。

図２は、本発明の実施の形態１における、ビームフォーミングの動作原理を示す図である。

図２では、マイクロフォンを総計３個用いた収音状況を表しており、各マイクロフォンにおいて直接音が収音される場合を示している。また、本発明の動作を分かりやすく説明するために、目的音の音源からの直接音を収音する場合を示している。さらに、動作原理を分かりやすくするため、目的音以外の音は省略している。

図において、１０１−１ないし１０１−３がマイクロフォン、２０１が目的音の音源、ａがマイクロフォン１０１−１と１０１−２との間のマイク間隔、ｂが１０１−１と１０１−３との間のマイク間隔を示す。

マイクロフォン１０１−１と１０１−２の組合せ（以下、マイクセット１と記載。）において、生成された収音信号の組に対するビームフォーミング演算の演算結果を、ＢＦ出力１とする。

ここで、演算に用いるビームフォーミングの方式は特定の方式に限定されず、例えば上記ＭＶ法により演算を行う。

同様に、マイクロフォン１０１−1と１０１−３の組合せ（以下、マイクセット２と記載。）におけるビームフォーミング演算の演算結果をＢＦ出力２とする。

なお、ビームフォーミングの方式およびアルゴリズムに関しては特に限定しない。

一般的に、マイクロフォン間隔とビームフォーミング特性（指向性パターン）との関係には次のような性質がある。

（１）マイク間隔が同じ場合、高音になるほど指向性が鋭くなる。即ち、主ビーム幅が狭くなる。そのため、高音になるほど、雑音などの目的音以外の音に対するブロック性能が向上する。

（２）マイク間隔が大きくなるほど指向性は鋭くなり、目的音以外の音に対するブロック性能が向上する。

上記性質を考慮すると、ＢＦ出力１とＢＦ出力２に関しては、下記のような性質がある。

（１）マイクセット１の方が、マイクセット２に比べ音源２０１に近いので、ＢＦ出力1の方がＢＦ出力２に比べ目的音の収音レベルを大きくでき、ＳＮ比が大きい。

但し、ビームフォーミングの性質により、ＢＦ出力1の低音域は高音域と比較して指向性が緩くなる。

（２）一方、マイクセット２はマイクロフォン間隔が広いので、ＢＦ出力２はＢＦ出力1と比較して指向性が鋭くなる。

このように、マイク間隔と目的音距離とに依存して、各ビームフォーミング演算におけるＳＮ比が、音域に依存して変化する。

そこで、音域毎に、ＢＦ出力１とＢＦ出力２のうちでよりＳＮ比が大きい方を用いて演算結果を合成する。

合成後の信号Ｙ（λ、Ｆ）は、以下のような形式で表すことができる。

・・・・・数式１

ここで、Ａ１（λ、Ｆ）はＢＦ出力１、Ａ２（λ、Ｆ）はＢＦ出力2、λは周波数、Ｆはデジタル処理を行う場合の処理単位としての収音信号のフレーム番号を、λTHRは２つの周波数範囲（ここでは低音域と高音域に対応。）を区分けする閾値周波数である。λTHRの決定方法については後述する。

即ち、マイク間隔および目的音距離に基づいて、ビームフォーミング演算毎のマイクセットを決定するとともに、ある周波数範囲についてはＢＦ出力１を用い、他の周波数範囲についてはＢＦ出力２を用いて合成後の信号Ｙ（λ、Ｆ）を生成する。

図１を参照すると、ＣＰＵ１０４は、メモリ（図中のＲＡＭ１０５、ＲＯＭ１０６の少なくとも一方。）に記憶されているマイク間隔を表す情報および目的音距離を表す情報を用いて、（１）マイクロフォン１０１−１ないし１０１−３の中から、ビームフォーミング演算に用いるマイクセットを２組決定するとともに、（２）各マイクセットに対する演算結果（ＢＦ出力１、ＢＦ出力２）について、合成に用いる周波数範囲を決定し、（３）決定した周波数範囲に基づき、演算結果（ＢＦ出力１、ＢＦ出力２）を合成する。

以上、マイクロフォン１０１の総数が３個の場合について説明したが、図１に示すようにＬ個に一般化された場合でも基本的な考え方は同様である。

すなわち、総数Ｌ個のマイクロフォンから、マイクセットがＭ個決定される。これは、合成前の演算結果がＭ個あり、合成に用いる周波数範囲がＭ種類あることに対応する。

マイクセットの決定方法としては、例えばマイクロフォン１０１の並びが直線的な配置で、各マイク間隔が一定の場合、まず、最小のマイク間隔でマイクロフォンを複数個選択してマイクセット１とする。次に、マイクセットのマイク間隔より大きいマイク間隔でマイクロフォン１０１を複数個選択しマイクセット２とする。以下、同様にして、順次マイクセットを決めるという方法がある。

その際に、各マイクセットにおいては、目的音距離が最も小さいマイクロフォンから、順次マイクロフォンを選択する。

このようにすることで、各マイクセットの指向特性が明確に異なり、周波数帯域毎に適したマイクセットを使用しやすくなる。

なお、上記「複数個」の個数は、各種設定方法が適用可能であり、例えば、（１）予めメモリに設定する、（２）制御Ｉ／Ｆから入力する、（３）プログラム中で規定する、ことにより決定される。

なお、複数のマイクセットに共通するマイクロフォンが存在しても構わない。例えば目的音距離が最も近いマイクは全てのマイクセットに含めることにより、各ビームフォーミング処理結果において高いＳＮ比が期待できる。

さらに、あるマイクロフォンと目的音距離が、音源に最も近いマイクロフォンに関するマイクロフォンと音源との距離より、例えば２倍以上離れていたら、そのマイクロフォンは使用しないようにしてもよい。これにより、マイク間隔が大きいことで主ローブの空間折り返しが発生し目的音以外の音に対するブロック性能が劣化すること、を低減できる。

マイクセットの他の決定方法として、例えば、まず、目的音距離が最も小さいマイクロフォン１０１を含み組合せをマイクセット1とし、次に、マイクセット１のマイクロフォン以外で目的音距離の小さいマイクを選択しマイクセット２とし、マイクセット１および２のマイクロフォン以外で音源との距離の小さいマイクを選択しマイクセット３とし、同様にして順次残りのマイクセットを決めるという方法がある。

この場合、例えば、各マイクセット１０１における複数のマイクロフォンは、最も小さいマイク間隔で配置されているものを選択する。

これにより、目的音距離が近いマイクロフォンを用いたほうがＳＮ比は高いことから、よりＳＮ比の大きいマイクロフォンを優先的に選択できる。

このように、マイク間隔および目的音距離をもとに、各マイクセットにおけるマイクロフォンの組合せを決定する。

一方、Ｍ個の周波数範囲の決定方法としては、例えば、Ｍ個の周波数範囲の境界を規定する複数の閾値周波数λ（λＴＨＲ１、λＴＨＲ２、・・・）を決定することにより、周波数範囲を決定する方法がある。

マイクロフォンの配置が直線的な配置の場合においては、主ローブの幅（２φ）を設定し、Ｍ個の周波数範囲の各々で２φ以下の主ローブ幅を実現するように閾値周波数λ（λＴＨＲ１、λＴＨＲ２、・・・）を決定する方法がある。なお、２φの値はどのように規定してもよいが、例えば、ビームフォーミング処理装置の想定される設置環境に応じて予め規定しておく。

上記マイクセットの選択方法などにより決定した、あるマイクセットのマイクロフォンの数をＮとする。

主ローブ幅２φを実現する周波数λは、音速をｃ、隣接するマイクロフォン１０１のマイク間隔が全て一定（＝ｄ）とした場合、例えばＤＳ法においては下記の式により求めることができる。

・・・・・数式２

そこで、閾値周波数を下記のように決定する。

・・・・・数式３

マイクロフォンが不等間隔に配置される場合においては、各間隔をｄ１、・・・、ｄＮ１とすると、例えば下記式により求められる平均マイク間隔ｄ

・・・・・数式４
で、マイクロフォン１０１が等間隔に配置されているものと見做し、上記同様にλを求め、周波数範囲を決定する。

上記のようにＤＳ法を想定した場合の式を用いることにより、簡単な式で閾値周波数の決定が可能になる。

閾値周波数の他の決定方法として、例えば以下の方法がある。

上記マイクセットの選択方法などにより決定した、あるマイクセットｍと別のマイクセットｎの平均マイク間隔をそれぞれｄｍ、ｄｎとし、ｄｍ＜ｄｎの関係にあるとする。また、ｄｎは、ｄｍの次に大きいものとする。

また、マイクセットｍの中で中心に位置するマイクロフォンの、目的音距離をａｍ、マイクセットｎの中で中心に位置するマイクロフォンに係る目的音距離をａｎとする。

なお、マイクセットを構成するマイクロフォンの数が偶数の場合は、例えば中心部に位置する２つのマイクロフォンに関する目的音距離の統計平均を使用する。

ａｍ＜ａｎが成立する場合に、マイクセットｍによるビームフォーミングのビームの指向特性はマイクセットｎによる指向特性よりも幅が広くなり妨害音に対するブロック性能は落ちるが、マイク間隔は小さいので、マイクセットｍの収音信号ＳＮ比はマイクセットｎと比較して高い。

そこで、マイクセットｍの閾値周波数（λ_ＴＨＲｍ）を上記数式３で決定した閾値周波数よりより大きくすることが可能となる。そこで、λ_ＴＨＲｍを例えば以下の数式を満たすように決める。

・・・・・数式５

ここで，Ｎｍはマイクセットｍに含まれるマイクロフォンの個数である。

Ｍ個のマイクセットについて行われたビームフォーミング演算の演算結果Ａ_１（λ、Ｆ）、・・・、をＡ_Ｍ（λ、Ｆ）を上記閾値周波数に従って合成する。
合成後の信号Ｙ（λ、Ｆ）は、上記数式１をＭ個のマイクセットに拡張するとこにより、以下の形式の数式を用いて表すことができる。

・・・・・数式６

なお、数式６で等号が成立する周波数については、隣接する周波数範囲のいずれに含めてもよい。

図３は、上記決定方法を組合せた１例としての、本発明の実施の形態１におけるマイクセットおよび周波数範囲の決定方法のフローチャートを示す図である。

図３において、ｉがマイクセットを識別するためのインデックス、Ｍがマイクセットの個数を示す。

まず、ＣＰＵ１０４は、インデックスｉを１とする（ステップ３０１）。これは、まずマイクセット１に用いるマイクロフォンを決定することに対応する。

次に、ＣＰＵ１０４は、メモリに記憶されている目的音距離の情報を元に、音源に最も近いマイクロフォン１０１（図中、マイクＡと記載。）を、マイクセットｉ（ｉ＝１、・・・、Ｍ）に共通の要素として決定する（ステップ３０２）。

次に、ＣＰＵ１０４は、メモリに記憶されているマイク間隔の情報を元に、マイクＡとの間隔が小さい他のマイクロフォン（図中、マイクＢと記載。）を１つ選択する（ステップ３０３）。

次に、ＣＰＵ１０４は、メモリに記憶されている目的音距離の情報を元に、選択したマイクＢと音源との距離が、マイクＡと音源との距離の２倍以上かどうか確認する（ステップ３０４）。

２倍未満の場合（図中、ＮＯの場合。）は、選択したマイクＢをマイクセット１の要素として決定する。（ステップ３０５）
そして、マイクの選択するステップ（ステップ３０２）に移行し、選択されていないマイクロフォンの１つをマイクＢとして、同様にして順次マイクセット１の要素を決定する。

一方、２倍以上の場合（図中、ＹＥＳの場合。）、選択したマイクＢはマイクセット１の要素とせず、次のステップ（ステップ３０６）に移行し、インデックスｉの値がマイクセットの個数（Ｍ）に等しいか確認する。

即ち、ＣＰＵ１０４は、全てのマイクセットが決定されたかの確認を行う。

ステップ３０６において、全てのマイクセットが決定されていないと判断された場合（図中、ＮＯの場合。）、ＣＰＵ１０４は、インデックスｉの値に１を加算する。（ステップ３０７）
これは、次のマイクセットの決定に移行することに対応する。
次のマイクセットの決定においては、ステップ３０２において、マイク同士の間隔が、既に決定したマイクセットのマイク同士の間隔より大きくなるようにして、マイクセットの要素を選択する。例えばマイクセット２の決定では、マイクセット１のマイク同士の間隔より大きくなるようにして要素を選択する。
以降、順次ステップ３０２ないしステップ３０７を繰り返し、残りのマイクセットの要素を決定する。

一方、ステップ３０６において、全てのマイクセットが決定されたと判断された場合（図中、ＹＥＳの場合。）、ＣＰＵ１０４は、各マイクセット（ｉ＝１、・・・、Ｍ）におけるマイクロフォン隔の平均値を求める。（ステップ３０８）
なお、装置の適用場面において、配置されたマイクロフォンのマイク間隔が全て一定の場合は、（１）装置としてはステップ３０８の処理機能を有するが本ステップを省略するような処理フローにする、（２）装置からステップ３０８の処理動作を削除して実装するなど、各種処理形態または実装形態が適用可能である。

次に、ＣＰＵ１０４は、合成に用いる各ビームフォーミング演算の演算結果の各周波数範囲を、上記説明した方法により決定する。

以上のように、本実施の形態のビームフォーミング処理装置によれば、（１）収音手段の総数より少ない数の収音手段を用いてビームフォーミング演算を行うことができるので、ビームフォーミング処理に係る演算量を低減することができ、（２）マイク間隔および目的音距離を考慮してビームフォーミングを適用することで、収音した音声のＳＮ比を向上させるとともに、（３）ビームフォーミング演算が１段階でよいので、音声品質の劣化を低減することができる。

また、演算量が低減することにより、ビームフォーミング処理装置の消費エネルギーを低減することができる。

また、特定のマイクロフォンの数に依存しないので、汎用的な処理装置を構成できる。

なお、本実施の形態の図１中のＣＰＵ１０４は、マイクロプロセッサ（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）など、演算、制御等の機能を実現可能であればよい。また、アナログ処理、デジタル処理、両者の混在処理のいずれであってもよい。さらに、ハードウェアによる構成、ソフトウェアによる構成、両者の混在による構成など、実装方法は限定されない。

また、読出し書込みメモリ１０５は、図中では単にＲＡＭ（Rａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）としているが、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）、ＤＤＲ−ＳＤＲＡＭ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ）など、データを揮発的に記憶保持可能なものであればよい。また、ハードウェアによる構成、ソフトウェアによる構成、両者の混在による構成など、実装方法は限定されない。

また、読出し専用メモリ１０６は、図中では単にＲＯＭ（Read Only Memory）と記載しているが、ＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）など、データを記憶保持可能なものであればよく、本実施の形態に限定されない。また、ハードウェアによる構成、ソフトウェアによる構成、両者の混在による構成など実装方法は限定されない。

また、上記説明においては各ビームフォーミング演算の周波数範囲は限定していないが、合成に使用する演算結果毎の周波数範囲の決定に基づいて、各ビームフォーミング演算を各々の周波数範囲の範囲内に限定して行うようにしてもよい。

この場合、ＣＰＵ１０４は、（１）収音信号を周波数領域の信号に変換し、（２）周波数領域の信号に変換された収音信号に対してビームフォーミング演算を行い、（３）上記数式６のように合成して合成後の信号Ｙ（λ、Ｆ）を生成する。

即ち、各演算が限定された周波数範囲で行われ、全ての演算結果を合成することにより、合成後の信号Ｙ（λ、Ｆ）の周波数範囲は、必要な周波数範囲を網羅する。

例えば図２のように、総個数３個のマイクロフォンで、各マイクセットのマイクロフォンの数が２個の場合に、全てのビームフォーミング演算に係る演算量は、マイクロフォンを２個用いた場合の１つのビームフォーミング演算の演算量相当になる。

従って、３個のマイクロフォン全てを用いてＭＶＤＲ法でビームフォーミング演算を行う場合と比較して、演算量は（２^３＋２ｘ２^２＋２）／（３^３＋２ｘ３^２＋３）＝３／８となり、さらに演算量を低減することができる。

マイクロフォンの数が大きい場合として例えば、９個マイクロフォンでＭＤ法により演算を行う場合と、本実施の形態1において総個数９個で各マイクセットにおけるマイクロフォンの個数が３個の場合とで比較すると、演算量は（３^３＋２ｘ３^２＋３）／（９^３＋２ｘ９^２＋９）＝４／７５となり、マイクロフォンの数が大きい場合の演算量の増加を抑制できることが分かる。

ちなみに、ＤＳ法を用いた演算の場合には、演算量は１／３になり、同様に低減される。

実施の形態２.

以下に、本発明の各実施の形態２について図４を用いて説明する。

図４は、本発明の実施の形態２における、ビームフォーミング処理装置の概略構成を示す図である。

なお、図中の各要素は、本発明を説明するために便宜的に分けたものであり、その実装形態は図の構成、分割、名称等に限定されない。例えば図１に示した構成を採用し、図２の機能を実現することが可能である。
例えば、図４の変換部４０２、選択部４０６、演算部４０７、合成部４０８、逆変換部４０９を図１の主にＣＰＵ１０４により実現し、図４のマイク間隔情報記憶部４０３および目的音距離情報記憶部４０４を図１の読出し書込みメモリ１０５および読出し専用メモリ１０６の少なくとも一方により実現する。

図４において、４０１（図中、４０１−１ないし４０１−Ｌと記載。）はマイク部、４０２（図中、４０２−１ないし４０２−Ｌと記載。）は変換部（図中、ＦＦＴ_１ないしＦＦＴ_Ｍと記載。）、４０３はマイク間隔情報記憶部（図中、Ｄ_ＭＩＣと記載。)、４０４は目的音距離情報記憶部（図中、Ｄ_{ＳＯＵＲＣＥ}と記載。)、４０５は処理部、４０６は選択部（図中、ＳＥＬＥＣＴと記載。)、４０７（図中、４０７−１ないし４０７−Ｍと記載。）は演算部（図中、４０７−１ないしＢＦ_１ないしＢＦ_Ｍと記載。）、４０８は合成部（図中、Ｓｙｎと記載。）、４０９は逆変換部（図中、ＩＦＦＴと記載。）を示す。

本実施の形態においては、マイク部４０１−１ないし４０１−Ｌが収音手段に対応し、選択部４０６が決定手段、処理部４０７が演算手段、合成部４０８が合成手段に対応する。

また、以下の説明において、例えばマイク部４０１−１ないし４０１−Ｌを単に「マイク部４０１」と記載する場合がある。

マイク部４０１−１ないし４０１−Ｌは、音声帯域の音を収音可能であり、収音信号Ｚ１（ｎ）、・・・、ＺＬ（ｎ）を生成する。例えば、各マイク部４０１はマイクロフォンを備え、１つのマイク部が１つのマイクロフォンに対応する。

図において、複数のマイク部４０１が、サンプリング処理された時間軸領域の収音信号Ｚ１（ｎ）、・・・、ＺＬ（ｎ）を生成する場合を示している。ここで、ｎは、サンプリングのタイミング、またはサンプリング後の収音信号の順番、を識別するパラメータである。

変換部４０２は、マイク部４０１で生成した収音信号に対し、フーリエ変換を行い、フーリエ変換後の信号として周波数領域の信号Ｚ１（λ、Ｆ）、・・・、ＺＬ（λ、Ｆ）を求める。ここで、Ｆはフーリエ変換の対象とする時間フレームを識別するパラメータである。変換部４０２は、変換手段に対応する。

マイク間隔情報記憶部４０３は、複数のマイク部４０１の相互間隔を表す情報を記憶する。

音源距離情報記憶部４０４は、各マイクロフォン部４０１に関する目的音距離を表す情報を記憶する。

選択部４０６は、マイク間隔情報記憶部４０３が記憶するマイク間隔を表す情報および音源距離情報記憶部４０４が記憶する目的音距離を表す情報を用いて、（１）複数のマイク部１０１−１、・・・、４０１−Ｌの中から、各演算部４０７−１、・・・、４０７−Ｍの演算に用いるマイク部４０１の組合せ（マイクセット）を決定するとともに、（２）演算部４０７−１、・・・、４０７−Ｍの演算結果毎の、合成部４０８における合成の際の周波数範囲を決定する。

選択部４０６における、マイクセットおよび周波数範囲の決定方法は、決定主体の名称は異なるが、上記実施の形態１で説明したものと同様であるので、以下では詳細な説明を省略する。

なお、各マイクセットを選択することは、フーリエ変換後の信号Ｚ１（λ、Ｆ）、・・・、ＺＬ（λ、Ｆ）の中から、各ビームフォーミング演算部４０５の演算に用いるマイクセットから受け取る収音信号の組、または、収音信号を受けとる信号径路の組、を決定することに相当するので、そのように言い換えても本発明のビームフォーミング処理装置と同様なビームフォーミング処理装置が得られる。

演算部４０７は、選択部４０６で決定されたマイクセット毎に、ビームフォーミング演算を行う。

合成部４０８は、選択部４０６が決定したＭ個の周波数範囲を表す情報λＴＨＲを元に、Ｍ個の演算結果Ａ１（λ、Ｆ）、・・・ＡＭ（λ、Ｆ）を合成し、合成後の信号Ｙ（λ、Ｆ）を求める。

逆変換部４０９は、合成信号Ｙ（λ、Ｆ）に対し逆フーリエ変換を行い、逆フーリエ変換後の信号として時間領域の信号Ｙ（ｎ）を求める。

次に、図４の動作の流れを説明する。

マイク部４０１が生成した収音信号Ｚ１（ｎ）、・・・、ＺＬ（ｎ）はそれぞれ、変換部４０２−１、・・・、４０２−Ｌによって、周波数領域の信号Ｚ１（λ、Ｆ）、・・・、ＺＬ（λ、Ｆ）に変換される。

各演算部に必要な信号Ｚ１,１（λ、Ｆ）、・・・、ＺＭ,ＮＭ（λ、Ｆ）は、周波数領域の信号Ｚ１（λ、Ｆ）、・・・、ＺＬ（λ、Ｆ）の中から、選択部の決定に従って決定される。

なお、Ｚ１（λ、Ｆ）、・・・、ＺＬ（λ、Ｆ）の各々とＺ１,１（λ、Ｆ）、・・・、ＺＭ,ＮＭ（λ、Ｆ）各々との対応関係は、選択部の決定に従って、１対１、１対多、対応無しなどとなる。

各マイクセットに対応する信号の組は、対応する演算部４０７によってビームフォーミング演算され、演算結果Ａ１（λ、Ｆ）、・・・ＡＭ（λ、Ｆ）となる。

演算結果Ａ１（λ、Ｆ）、・・・ＡＭ（λ、Ｆ）は、合成部４０８によって、演算結果毎に決定された周波数範囲を用いて、数式６により合成され、合成後の信号Ｙ（λ、Ｆ）となる。

合成後の信号Ｙ（λ、Ｆ）は、逆変換部４０９で逆フーリエ変換されて、合成後の信号Ｙ（ｎ）となる。

以上のように、本実施の形態のビームフォーミング処理装置によれば、上記実施の形態１と同様な効果を得ることができる。

本発明の実施の形態２の第１の変形例を、図５を用いて説明する。

図５において、図４と大きく異なる点は、制御部５０１が追加されている点である。なお、図中では、制御部５０１からの各種制御情報の流れを示す矢印は省略している。

図４においては、選択部４０６がマイクセットおよび周波数範囲を決定していたが、図５においては、制御部５０１がマイクセットおよび周波数範囲の決定を行うとともに、各部の制御を行う。

選択部４０６は、制御部５０１に従って、実際のマイク部４０１の選択動作のみを行い、マイクセットおよび周波数範囲の決定は行わない。

本発明の実施の形態２の第２の変形例を、図６を用いて説明する。

図６において、図５と大きく異なる点は、変換部４０２が、選択部４０６で決定されたマイクセットの収音信号に対しフーリエ変換を行う点である。

図５においては、フーリエ変換された周波数領域の信号Ｚ１（λ、Ｆ）、・・・、ＺＬ（λ、Ｆ）に対し選択が行われるが、図６においては、収音信号Ｚ１（ｎ）、・・・、ＺＬ（ｎ）のうち選択されたものに対しフーリエ変換が行われる。

これにより、変換部４０２の数を減らすことができる。

なお、図中では、各演算部４０７に必要な信号（Ｚ１,１（λ、Ｆ）、・・・、ＺＭ,ＮＭ（λ、Ｆ））毎に変換部４０２が存在するが、選択後の各信号に対しフーリエ変換がされることを示したものであり、同一の収音信号に対するフーリエ変換が別個に行われる必要はない。

なお、本実施の形態においては、マイク部４０１が、サンプリングされた収音信号を生成するようにしているが、マイク部４０１が時間領域のアナログ信号を生成し、かつビームフォーミング演算部１０７がデジタル処理で演算を行う場合に、アナログデジタル変換手段（図示しない）を備えても良い。

アナログデジタル変換手段は、変換部４０２と同様に、選択部４０６の前にあっても後にあってもよい。

また、本実施の形態においては、各収音信号に対し個別に変換部４０２でフーリエ変換を行うようにしているが、変換部４０２の処理タイミングについて各種方法が適用可能であり、例えば（１）全ての変換部４０２で同時並列処理で行う、（２）図の個数より少ない数の変換部４０２により時間差処理で行うといった方法が可能である。

また、本実施の形態においては、決定されたマイクロフォンの組合せに係る収音信号の組に対し個別にビームフォーミング演算を行うようにしているが、演算のタイミングについて各種方法が適用可能であり、例えば（１）同時並列処理で行う、（２）図の個数より少ない数の演算部４０７によって時間差処理で行うといった方法が可能である。

また、本実施の形態においては、変換部４０２でフーリエ変換を行っているが、時間領域から周波数領域への変換であればよく、本実施の形態に限定されない。同様に、逆変換部４０９についても、周波数領域から時間数領域への変換であればよく、本実施の形態に限定されない。

実施の形態３.

図７は、本発明の実施の形態３における、ビームフォーミング処理装置の概略構成を示す図である。

実施の形態２の図４と異なる点は、推定部７０１が追加されている点である。

推定部７０１は、ビームフォーミング演算部４０７の演算結果Ａ１（λ、Ｆ）、・・・、ＡＭ（λ、Ｆ）の各々についてのＳＮ比を推定する。推定方法は各種方法が適用可能であり、例えば、（１）実測、（２）予測、（３）平均化、（４）サンプリングによって行うことが可能である。従って、ＳＮ比を推定する元となる演算結果Ａ１（λ、Ｆ）、・・・ＡＭ（λ、Ｆ）は、（１）過去の演算結果、（２）現在の演算結果、（３）両者の混合などが可能である。

また、推定されたＳＮ比の表現形式としては各種表現形式を適用可能であり、例えば、（１）連続的な値として求める、（２）複数の区分した範囲をもとにした代表値として求める、さらに、（３）真数表現の値として求める、（４）対数（ｄＢ）表現の値として求めることが可能である。

選択部４０６は、ＳＮ比推定部４２０が求めたＳＮ比も考慮して、マイクセットおよび周波数範囲を決定する。

合成部４０８で合成する際の周波数範囲は、例えば以下のようにして決定する。

まず、選択部４０６は、各演算部４０７の演算結果の周波数範囲が一部重複するように各々の演算部４０７の演算の周波数範囲を決定する。

推定部７０１は、各マイクセットに対するビームフォーミング演算結果のＳＮ比（ＳＮＲ１（λ）、・・・、ＳＮＲＭ（λ））を求める。

重複する周波数領域、例えば実施の形態１でもとめた閾値周波数の間の周波数領域（λＴＨＲ２＜λ＜λＴＨＲ１）、のなかでＳＮＲ２（λ）＜ＳＮＲ１（λ）を満たす最小のλをλ’ＴＨＲ１とする。他の重複した周波数領域についても同様に、λＴＨＲ_ｋ＋１＜λ＜λＴＨＲ１_ｋのなかでＳＮＲｋ＋１（λ）＜ＳＮＲｋ（λ）を満たす最小のλをλ’ＴＨＲｋする。

合成部４０８は、合成処理を下記の計算により、合成後の信号Ｙ（λ、Ｆ）を求める。

・・・・・数式７
以上のように、本実施の形態のビームフォーミング処理装置によれば、合成に用いる演算結果の演算結果毎の周波数範囲を、演算結果のＳＮ比も考慮してよりＳＮ比を高くするように出力信号の合成を行うことができ、実施の形態１に比べてＳＮ比の向上した合成語の信号を得ることができる。

本発明の実施の形態３の変形例を、図８を用いて説明する。

図８において、実施の形態１の図６と大きく異なる点は、推定部７０１が追加されている点である。

制御部５０１は、推定部７０１が求めたＳＮ比も考慮して、マイクセットおよび周波数範囲を決定する。

なお、本実施の形態においては、推定部７０１においてＳＮ比を「推定」しているが、ＳＮ比が得られればよく、例えば「決定」といった推定以外の概念も含む。

また、本発明の実施の形態おいては、目的音を含む音を実際に収音して推定しているが、例えば、（１）装置試験の際にテスト信号を用いて推定する、（２）装置の設置時にテスト信号を用いて推定する、などにより、別途メモリに記憶しておくようにしてもよい。

なお、上記各実施の形態では、マイクロフォン１０１およびマイクロフォン部４０１について、音声帯域の音を収音可能としているが、少なくとも音声帯域の音を収音可能であればよく、上記説明に限定されない。

また、例えば、用途に応じて、音声帯域のうち限定的な周波数範囲で収音するようにしてもよい。

また、上記各実施の形態では、音源が１つの場合について説明したが、音源が複数想定される場合にも適用可能である。その場合に、例えば、音源毎に上記各実施の形態の選択手段、演算手段および合成手段を複数備えるようにしてもよい。

また、上記各実施の形態では、目的音距離についての情報が予め与えられている場合に対応しているが、別途目的音距離を特定する特定手段を備え、または特定手段からの特定結果を受けとり、その特定された目的音距離をもとに、マイクセットと周波数範囲を決定するようにしても良い。

また、各実施の形態で示した図は、わかりやすく説明するため、詳細な機能、内部構造等を省略した図となっている。従って、本発明の処理装置の構成および実装においては、図に示した機能または構成要素のほかの機能または構成要素、例えば表示手段（機能）、通信手段（機能）、を含んでもよい。

なお、上記各実施の形態における装置の構成、機能および処理の分割のしかたは一例であり、装置の実装においては、同一または別々のハードウェアまたはソフトウェアまたはそれらの組合せとしてもよく、図に示す分割の仕方に限定されない。また、等価な機能を実現できればよく各本実施の形態に限定されない。

また、図の各部の間を結ぶ矢印によって運ばれる信号、データ、情報の内容は、分割のしかたによって変わることがあり、その場合、矢印によって運ばれる信号または情報が明示的に実装される情報か黙示的な情報か、また明示的に規定される情報か否か、といった情報の属性が異なってもよい。

また、上記各実施の形態における各種処理または動作は、（１）実質的に等価（または相当する）処理（または動作）に変形して実装する、（２）実質的に等価な複数の処理に分割して実装する、（３）複数のブロックに共通する処理はそれらを含むブロックの処理として実装する、（４）あるブロックがまとめて実装する、など本発明の課題及び効果の範囲で各種変形が可能である。

１００ ビームフォーミング処理装置、１０１ マイクロフォン、１０２ 処理部、１０３ 入力Ｉ／Ｆ、１０４ ＣＰＵ、１０５ ＲＡＭ、１０ ＲＯＭ、１０７出力Ｉ／Ｆ、１０８制御Ｉ／Ｆ、１０９ 伝送路、２０１ 音源、４０１ マイク部、４０２ 変換部、４０３ マイク間隔情報記憶部、４０４ 目的音距離情報記憶部、４０５ 処理部、４０６ 選択部、４０７ 演算部、４０８ 合成部、４０９ 逆変換部、５０１ 制御部、７０１ 推定部

Claims (7)

1. 複数の収音手段から収音信号を受けとるとともに、前記収音信号を対象とする第１のビームフォーミング演算の演算結果および第２のビームフォーミング演算の演算結果を合成するビームフォーミング処理装置であって、
   前記複数の収音手段の収音手段同士の間隔を表す情報および前記複数の収音手段から目的音の音源までの距離を表す情報に基づいて、前記第１のビームフォーミング演算に用いる第１の収音手段の組合せおよび前記第２のビームフォーミング演算に用いる第２の収音手段の組合せと、前記合成に用いる前記第１のビームフォーミング演算の演算結果の周波数範囲および前記第２のビームフォーミング演算の演算結果の周波数範囲と、を決定する決定手段と、
   前記決定手段で決定された前記第１の収音手段の組合せから受けとった収音信号の組に対し、前記第１のビームフォーミング演算を行い、前記決定手段で決定された前記第２の収音手段の組合せから受けとった収音信号の組に対し、前記第２のビームフォーミング演算を行う、演算手段と、
   前記決定手段で決定された前記第１のビームフォーミング演算の演算結果の周波数範囲および前記第２のビームフォーミング演算の演算結果の周波数範囲に基づき、前記演算手段で求められた前記第１のビームフォーミング演算の演算結果と前記第２のビームフォーミング演算の演算結果とを合成する合成手段と、
   を備えたビームフォーミング処理装置。
2. 前記決定手段は、
   前記収音手段同士の間隔を表す情報および前記複数の収音手段から目的音の音源までの距離を表す情報に基づいて、閾値周波数を決定し、前記閾値周波数により前記合成に用いる第１のビームフォーミング演算の演算結果の周波数範囲および前記第２のビームフォーミング演算の演算結果の周波数範囲を決定する
   請求項１に記載のビームフォーミング処理装置。
3. 前記第１のビームフォーミング演算の演算結果のＳＮ比および前記第２のビームフォーミング演算の演算結果のＳＮ比を得るための推定手段
   をさらに備え、
   前記決定手段は、前記推定手段で求めた第１のビームフォーミング演算の演算結果のＳＮ比および前記第２のビームフォーミング演算の演算結果のＳＮ比にさらに基づいて、前記合成に用いる前記第１のビームフォーミング演算の演算結果の周波数範囲および前記第２のビームフォーミング演算の演算結果の周波数範囲を決定する
   請求項１または２に記載のビームフォーミング処理装置。
4. 前記収音信号を周波数領域の信号に変換する変換手段
   をさらに備え、
   前記演算手段は、
   前記周波数領域の信号に変換された前記収音信号に対して、前記第１のビームフォーミング演算および前記第２のビームフォーミング演算を行うとともに、
   前記第１のビームフォーミング演算の周波数範囲および前記第２のビームフォーミング演算の周波数範囲を、前記合成に用いる前記第１のビームフォーミング演算の演算結果の周波数範囲および前記第２のビームフォーミング演算の演算結果の周波数範囲に基づいて変更する
   請求項１に記載のビームフォーミング処理装置。
5. 前記決定手段は、
   前記第１および第２のビームフォーミング演算のビームフォーミング特性における主ローブの幅が設定値以下になるように、前記演算の周波数範囲を決定する
   請求項１に記載のビームフォーミング処理装置。
6. 第１のビームフォーミング演算の演算結果および第２のビームフォーミング演算の演算結果を合成するビームフォーミング処理装置であって、
   収音信号を生成する複数の収音手段と、
   前記複数の収音手段の収音手段同士の間隔を表す情報および前記複数の収音手段から目的音の音源までの距離を表す情報に基づいて、前記第１のビームフォーミング演算に用いる第１の収音手段の組合せおよび前記第２のビームフォーミング演算に用いる第２の収音手段の組合せと、前記合成に用いる前記第１のビームフォーミング演算の演算結果の周波数範囲および前記第２のビームフォーミング演算の演算結果の周波数範囲と、を決定する決定手段と、
   前記決定手段で決定された前記第１の収音手段の組合せから受けとった収音信号の組に対し、前記第１のビームフォーミング演算を行い、前記決定手段で決定された前記第２の収音手段の組合せから受けとった収音信号の組に対し、前記第２のビームフォーミング演算を行う、演算手段と、
   前記決定手段で決定された前記第１のビームフォーミング演算の演算結果の周波数範囲および前記第２のビームフォーミング演算の演算結果の周波数範囲に基づき、前記演算手段で求められた前記第１のビームフォーミング演算の演算結果と前記第２のビームフォーミング演算の演算結果とを合成する合成手段と、
   を備えたビームフォーミング処理装置。
7. 複数の収音手段から収音信号を受けとるとともに、前記収音信号を対象とする第１のビームフォーミング演算の演算結果および第２のビームフォーミング演算の演算結果を合成するビームフォーミング処理方法であって、
   前記複数の収音手段の収音手段同士の間隔を表す情報および前記複数の収音手段から目的音の音源までの距離を表す情報に基づいて、前記第１のビームフォーミング演算に用いる第１の収音手段の組合せおよび前記第２のビームフォーミング演算に用いる第２の収音手段の組合せと、前記合成に用いる前記第１のビームフォーミング演算の演算結果の周波数範囲および前記第２のビームフォーミング演算の演算結果の周波数範囲と、を決定する決定ステップと、
   前記決定ステップで決定された前記第１の収音手段の組合せから受けとった収音信号の組に対し、前記第１のビームフォーミング演算を行い、前記決定手段で決定された前記第２の収音手段の組合せから受けとった収音信号の組に対し、前記第２のビームフォーミング演算を行う、演算ステップと、
   前記決定ステップで決定された前記第１のビームフォーミング演算の演算結果の周波数範囲および前記第２のビームフォーミング演算の演算結果の周波数範囲に基づき、前記演算ステップで求められた前記第１のビームフォーミング演算の演算結果と前記第２のビームフォーミング演算の演算結果とを合成する合成ステップと、
   を備えたビームフォーミング処理方法。

Images