JP2006270876A - 音声入出力装置 - Google Patents

Abstract

【課題】スピーカアレイの指向性制御パラメータを容易に設定する。
【解決手段】マイクロフォンアレイ（Ｍ１〜Ｍ７）と、スピーカアレイ（ＳＰ１〜ＳＰ７）と、マイクロフォンアレイにより検出した発話者の方向に関する情報（ｔ）に基づいてスピーカアレイの指向性制御パラメータ（Ｄ）を決定するパラメータ決定手段（２、４）と、指向性制御パラメータに基づき前記スピーカアレイの指向性を前記発話者の方向に向ける制御手段（５）とから構成した。また、マイクロフォン（Ｍ１〜Ｍ７）とスピーカ（ＳＰ１〜ＳＰ７）とを空間的に同期させて配列した。
【選択図】 図２

Description

本発明は、音声入出力装置に関する。より詳しくは、マイクロフォンアレイにより発話者の位置を推定する音声入出力装置に関する。

従来より、複数のマイクロフォンを用いて発話者の位置を推定し、その推定結果に基づいてスピーカの出力を制御する技術が提案されている。
例えば、特許文献１には、複数のマイクロフォンを用いて話者までの距離を求め、その距離に応じて適切な音声認識エンジンやスピーカを選択することが記載されている。また、特許文献２には、マイクロフォンアレイを用いて発話者の位置を推定し、それに応じて複数のスピーカによって形成される音場をその発話者にとって最適なものとする仮想現実実現システムが開示されている。

一方、電話機のハンドセットや携帯電話機等の通信端末装置に手を触れることなく通話を行う、いわゆる「ハンズフリー通話」に対する需要が高まっている。例えば、上述した特許文献１に記載された音声入出力装置は、ハンズフリー通話を実現するための装置の１つである。より使い勝手の良いハンズフリー通話システムを実現するには、スピーカ出力に指向性を持たせ、かつ発話者の位置に応じてその指向性を制御することが考えられる。

特開２００４−２２６６５６号公報 特開２０００−１０６７００号公報

しかしながら、従来の音声入出力装置においては、発話者の方向とスピーカ出力の指向性とを関連づけるという発想はなかった。例えば、特許文献１に記載された音声入出力装置は、マイクロフォンと話者との距離に応じてスピーカを選択するものはあっても、発話者の方向を考慮するものではない。したがって、特許文献１記載の技術によっては、スピーカ出力に指向性を持たせることはできない。また、特許文献２に記載された技術は、発話者の位置において仮想現実における最適な音場を実現するための技術であって、スピーカ出力の指向性を視野に入れたものではない。そのため、音声入出力装置において発話者の方向にスピーカ出力の指向性を制御することにこの技術を応用することはできない。

そこで、本発明にかかる音声入出力装置は、配列された複数のマイクロフォンからなるマイクロフォンアレイと、配列された複数のスピーカからなるスピーカアレイと、このマイクロフォンアレイにより検出した発話者の方向に関する情報に基づいて前記スピーカアレイの指向性を前記発話者の方向に向ける指向性制御手段とを備えたことを特徴とする。

具体的には、マイクロフォンアレイと、スピーカアレイと、前記マイクロフォンアレイにより検出した発話者の方向に関する情報に基づいて前記スピーカアレイの指向性制御パラメータを決定するパラメータ決定手段と、指向性制御パラメータに基づき前記スピーカアレイの指向性を前記発話者の方向に向ける制御手段とを備えたことを特徴とする。

本発明において、前記パラメータ決定手段は、前記発話者の方向に関する情報として、前記複数のマイクロフォンからそれぞれ出力される複数の信号のうち少なくとも２つの信号間の位相差に基づいて前記スピーカアレイの指向性制御パラメータを決定するようにしてもよいが、マイクロフォンアレイを構成する複数のマイクロフォンの配列とスピーカアレイを構成する複数のスピーカの配列とを空間的に同期させれば、前記指向性制御パラメータ決定手段は、前記発話者の方向に関する情報として、前記複数のスピーカのそれぞれに対応するマイクロフォンから出力される複数の信号の相対的な時間差を検出するとともに、それらの時間差を前記指向性制御パラメータとし、前記制御手段は、前記時間差を相殺する遅延時間を、前記マイクロフォンに対応する各スピーカに入力される信号にそれぞれ付加するようにしてもよい。

また、本発明においては、前記マイクロフォンアレイを構成する前記複数のマイクロフォンから出力される複数の信号にそれぞれ遅延を付加する遅延手段と、それぞれ遅延を付加された前記複数の信号の総和をとる加算手段とを備え、前記遅延手段により付加される遅延量は、前記複数のスピーカのそれぞれに対応するマイクロフォンから出力される複数の信号の相対的な時間差を相殺するようにしてもよい。

本発明によれば、発話者の位置に応じてスピーカ出力の指向性を制御することができる。
また、マイクロフォンアレイを構成する複数のマイクロフォンの配列とスピーカアレイを構成する複数のスピーカの配列とを空間的に同期させることにより、複数のスピーカのそれぞれに対応するマイクロフォンから出力される複数の信号の相対的な時間差をそのままスピーカアレイの指向性制御パラメータとすることができるので、複雑な演算を行わなくても、発話者の位置に応じてスピーカ出力の指向性を制御することができる。
さらに、マイクロフォンアレイの出力に対して遅延加算を行うことにより、マイクロフォンアレイの指向性を高め、周囲の雑音を拾いにくくすることが可能となる。

［第１の実施の形態］
以下、図面を参照しながら、本発明の実施の形態について説明する。
図１は、本発明の第１の実施の形態にかかる音声入出力装置の正面図、図２は、その音声入出力装置の構成を説明する図である。
図１に示すように、複数のマイクロフォンＭ１〜Ｍ７とスピーカＳＰ１〜ＳＰ７とが同一の筐体のフロントパネル１０内において水平方向に互いに平行に配列されて、それぞれマイクロフォンアレイとスピーカアレイを構成している。本実施の形態においては、マイクロフォンＭ１〜Ｍ７の数とスピーカＳＰ１〜ＳＰ７の数とは同数で、ともに同一のピッチで、水平方向において同一の位置に配列されている。

次に図２を参照すると、この音声入出力装置は、大きく分けてマイクロフォンアレイによる音声入力系と、スピーカアレイによる音声出力系と、音声入出力制御部３と、システム制御部４とに分けることができる。
音声入力系は、マイクロフォンアレイを構成する複数のマイクロフォンＭ１〜Ｍ７と、各マイクロフォンＭ１〜Ｍ７から出力される信号を増幅するアンプ１−１〜１−７と、これらの信号から発話者の位置、特に方向を検出するマイクロフォンアレイ信号検出部２とから構成される。

このマイクロフォンアレイ信号検出部２は、各マイクロフォンＭ１〜Ｍ７の信号にそれぞれ遅延を付加する遅延回路２−１〜２−７と、これらの遅延回路の出力を加算する加算回路２−８とを含み、各マイクロフォンＭ１〜Ｍ７からそれぞれ出力される信号間の位相差、すなわち、相対的な時間差ｔ1〜ｔ7を検出して、これを発話者の方向に関する情報としてシステム制御部４に出力するとともに、各遅延回路２−１〜２−７によって各マイクロフォンＭ１〜Ｍ７からの信号にそれぞれ時間差ｔ1〜ｔ7に相当する遅延量ｄ1〜ｄ7を与えることによって、時間差ｔ1〜ｔ7を相殺し、これらの信号を加算回路２−８によって加算することによって、マイクロフォンアレイの指向性を発話者の方向に向けることもできる。このような遅延加算処理によって得られた信号Ｓinは、音声入出力制御部３に入力される。

一方、音声出力系は、スピーカアレイを構成する複数のスピーカＳＰ１〜ＳＰ７と、各スピーカＳＰ１〜ＳＰ７に入力する信号を増幅するアンプ６−１〜６ー７と、システム制御部４から与えられる指向性制御パラメータに基づきスピーカアレイの指向性を制御するスピーカアレイ制御演算部５とから構成される。ここで、スピーカアレイ制御演算部５は、各スピーカＳＰ１〜ＳＰ７に与えられる信号にそれぞれ遅延を付加する遅延回路５−１〜５−７を備え、指向性制御パラメータに基づいて遅延回路５−１〜５−７が各信号に付加する遅延量Ｄ1〜Ｄ7を決定することによって、スピーカアレイの指向性を制御するものである。

音声入出力制御部３は、上述した音声入力系からの信号Ｓinを図示しない他の機器や通信ネットワークに送信し、他の機器や通信ネットワーク等から信号を受信し、これを信号Ｓout として音声出力系に出力するインターフェース回路である。
システム制御部４は、マイクロフォンアレイ信号検出部２から得られた時間差ｔ1〜ｔ7に基づいてスピーカアレイ制御演算部５に与える指向性制御パラメータを決定する。

なお、上述したマイクロフォンアレイ信号検出部２、システム制御部４、スピーカアレイ制御演算部５は、電子回路等によってハードウェア的に実現することもできるが、ＣＰＵ等の演算回路とメモリ等の記憶装置等からなるコンピュータと、所定の情報処理の手順を規定したプログラムとによって実現することも可能である。

次の本実施の形態にかかる音声入出力装置の動作について説明する。
本実施の形態においては、図１に示すように、マイクロフォンＭ１〜Ｍ７とスピーカＳＰ１〜ＳＰ７がそれぞれ１対１に対応し、かつそれらの配列が互いに空間的に同期している。したがって、スピーカアレイの指向性を発話者の方向に向けるためには、各スピーカＳＰ１〜ＳＰ７に入力される信号にスピーカアレイ制御演算部５の遅延回路５−１〜５−７によってそれぞれ付加すべき遅延量Ｄ1〜Ｄ7を、スピーカＳＰ１〜ＳＰ７のそれぞれに対応して配置されたマイクロフォンＭ１〜Ｍ７からの信号の時間差ｔ1〜ｔ7とすればよい。
また、マイクロフォンアレイの指向性を発話者の方向に向けるためには、各マイクロフォンＭ１〜Ｍ７からの信号にマイクロフォンアレイ信号検出部２の遅延回路２−１〜２−７においてそれぞれ付加すべき遅延量ｄ1〜ｄ7は、それぞれ、各マイクロフォンＭ１〜Ｍ７からのそれぞれからの信号の時間差ｔ1〜ｔ7とすればよい。

上述した時間差ｔ1〜ｔ7と遅延量Ｄ1〜Ｄ7、ｄ1〜ｄ7との関係を図３を参照して説明する。
図３は、図１に示す音声入出力装置のマイクロフォンアレイと発話者１１とこの発話者１１から発せられた音声の波面Ｓの平面的位置関係を示す図である。発話者１１から発せられた音声の波面は、発話者１１を中心とする球面波となって大気中を伝搬し、マイクロフォンアレイを構成する複数のマイクロフォンＭ１〜Ｍ７に到達する。このとき、図３に示すように発話者の位置がマイクロフォンアレイに向かって右側にずれているとすると、音声は、発話者１１に最も近いマイクロフォンＭ７に最初に到達した後、発話者に近い方からマイクロフォンＭ６、マイクロフォンＭ５、・・・マイクロフォンＭ１の順で到達し、音声はマイクロフォンにより順次電気信号に変換される。すると、発話者１１から最も遠いマイクロフォンＭ１が音声を受信したときよりも、マイクロフォンＭ２はｔ2 だけ、Ｍ３はｔ3 だけ、・・・Ｍ７はｔ7 だけ早く受信していることになる（この場合、ｔ1＝０と考える。）。このような時間差ｔ1〜ｔ7は、マイクロフォンアレイ信号検出部２において検出される。

音声出力系を考えると、本実施の形態においてはスピーカＳＰ１〜ＳＰ７は、マイクロフォンＭ１〜Ｍ７と平面内において同じ位置に配列されているから、スピーカアレイの指向性を考える場合には、図３においてマイクロフォンＭ１〜Ｍ７をスピーカＳＰ１〜ＳＰ７にそれぞれ置き換えたのと同じこととなる。したがって、スピーカアレイ制御演算部５内において、各スピーカＳＰ１〜ＳＰ７に対する信号にそれぞれ付加される遅延量Ｄ1〜Ｄ7を、上記の時間差を相殺するように、それぞれ
Ｄ1＝ｔ1＋Ｄ0（＝Ｄ0）
Ｄ2＝ｔ2＋Ｄ0
・・・
Ｄ7＝ｔ7＋Ｄ0
とすれば、スピーカアレイの指向性が発話者１１の方向に向けられることがわかる。ただし、Ｄ0 は、ｔi （i＝１，２，・・，７）が小さすぎて、スピーカアレイ制御演算部５における遅延特性をディジタルフィルタで実現する際に精度が低下することを防ぐために付加される固定遅延量である。

さらに、音声入力系において、マイクロフォンアレイ信号検出部２内の遅延回路２−１〜２−７において、上記の時間差ｔ1〜ｔ7をそれぞれ相殺する遅延量、例えば、
ｄ1＝t1＋ｄ0
ｄ2＝t2＋ｄ0
・・・
ｄ7＝t7＋ｄ0
を各マイクロフォンＭ１〜Ｍ７からの信号に付加することによって、マイクロフォンＭ１〜Ｍ７において受信された際の位相差が解消され、これらを加算回路２−８によって加算して信号Ｓinとすれば、マイクロフォンアレイの指向性を発話者１１の方向に向けることもできる。ここで、ｄ0 は、ｔi （i＝１，２，・・，７）が小さすぎて、マイクロフォンアレイ信号検出部２における遅延特性をディジタルフィルタで実現する際に精度が低下することを防ぐために付加される固定遅延量である。

なお、マイクロフォンアレイ信号検出部２において、音声の到来方向（Direction of Arrival：ＤＯＡ）に対応する時間差ｔ1〜ｔ7を検出する技術としては、例えば線形予測法、最小分散法、ＭＵＳＩＣ法など、公知の手法を用いればよい。

以上のように、上述した本発明の第１の実施の形態にかかる音声入出力装置によれば、マイクロフォンアレイにより検出した発話者の方向に関する情報、すなわち発話者の方向に依存した信号間の時間差ｔ1〜ｔ7に基づいて、スピーカアレイの指向性制御パラメータ、すなわち、各スピーカＳＰ１〜ＳＰ７に入力される信号に付加すべき遅延量を決定することによって、発話者の位置に応じてスピーカ出力の指向性を制御することができる。したがって、スピーカアレイの指向性制御パラメータを別途設定する手間を省くことができる。
しかも、マイクロフォンアレイを構成する複数のマイクロフォンＭ１〜Ｍ７の配列とスピーカアレイを構成する複数のスピーカＳＰ１〜ＳＰ７の配列とを水平面内において一致させたことにより、マイクロフォンアレイにより検出された時間差ｔ1〜ｔ7をそのまま前記マイクロフォンに対応する各スピーカに入力される信号にそれぞれ付加する遅延量Ｄ1〜Ｄ7とすることができるので、マイクロフォンアレイとスピーカアレイの相対的な位置関係を考慮した複雑な演算を行う必要がない。
さらには、マイクロフォンアレイ信号検出部２において、上記の時間差ｔ1〜ｔ7に相当する遅延量ｄ１〜ｄ7を用いて遅延加算処理を行うことにより、マイクロフォンアレイの指向性を話者の方向に向けることができるので、周囲の雑音を拾いにくくすることができる。
また、上述した処理を周期的に行うことにより、発話者が会話を継続している限り、スピーカの指向性をその発話者の移動に追従させることもできる。

なお、上記の第１の実施の形態においては、マイクロフォンアレイ信号検出部２において検出した時間差ｔ1〜ｔ7に基づいて、システム制御部４がスピーカアレイ制御演算部５に対する指向性制御パラメータを入力するものとして説明したが、マイクロフォンアレイ信号検出部２から時間差ｔ1〜ｔ7を、システム制御部４を介することなく、スピーカアレイ制御演算部５に直接入力するようにしてもよい。この場合は、マイクロフォンアレイ信号検出部２が指向性制御パラメータを決定していると考えることができる。
また、マイクロフォンおよびスピーカの数をそれぞれ７個として説明したが、これをＮ個（Ｎは２以上の自然数）に拡張できることは、いわゆる当業者にとっては自明の事項である。
また、図３においては、発話者の音声が球面波となって伝搬することを前提として説明したが、マイクロフォンアレイと発話者との距離がアレイ長よりも遙かに大きくなれば、平面波として扱うことができることは言うまでもない。

また、上記の実施の形態においては、マイクロフォンアレイを構成するマイクロフォンＭ１〜Ｍ７のすべてについて時間差ｔ1〜ｔ7を検出するものとして説明したが、少なくとも２つのマイクロフォン（例えば、マイクロフォンＭ１とＭ７）についてその時間差を求め、その結果とマイクロフォン同士の位置関係から、他のマイクロフォンについての時間差を内挿または外挿することによって推定するようにしてもよい。

［第２の実施の形態］
次に本発明の他の実施例にかかる音声入出力装置について説明する。
図４は、本発明の他の実施の形態にかかる音声入出力装置の正面図である。図４に示すように、本実施の形態にかかる音声入出力装置は、複数のマイクロフォンＭ１〜Ｍ１３とスピーカＳＰ１〜ＳＰ７とが一の筐体のフロントパネル２０内に水平方向に互いに平行に配列され、それぞれマイクロフォンアレイとスピーカアレイを構成している。上述した第１の実施の形態との相違点は、マイクロフォンの数とスピーカの数とが異なることと、マイクロフォン同士のピッチ（２Ｔ）とスピーカ同士のピッチ（Ｔ）も異なることである。

しかしながら、図４に示すように、マイクロフォンＭ１〜Ｍ１３は、スピーカＳＰ１〜ＳＰ７の間隔の半分の間隔で配列されており、しかも、マイクロフォンＭ１〜Ｍ１３は、１つおきにスピーカＳＰ１〜ＳＰ７と水平方向において同一の位置に縦方向に配置されており、マイクロフォンＭ１〜Ｍ１３の配列とスピーカＳＰ１〜ＳＰ７の配列とは空間的に同期しているということができる。

本実施の形態において、音声入出力装置の回路構成は、マイクロフォンアレイを構成するマイクロフォンＭ１〜Ｍ１３の数とそれらに対応するアンプおよびマイクロフォンアレイ信号検出部２内の遅延回路の数が異なるものの、その構成および動作は図２に記載した第１の実施の形態と基本的には同じである。
ただし、本実施の形態にかかる音声入出力装置においては、発話者の方向に関する情報または指向性制御パラメータとして、マイクロフォンＭ１〜Ｍ１３における時間差ｔ1〜ｔ13のうち、スピーカＳＰ１〜ＳＰ７にそれぞれ対応する位置に配置されたマイクロフォンＭ１，Ｍ３，Ｍ５，Ｍ７，Ｍ９，Ｍ１１，Ｍ１３における時間差を利用する。
このような構成をとることによって、これらの時間差を指向性制御パラメータとして直接スピーカアレイ制御演算部５に入力することができる。

本発明の第１の実施の形態にかかる音声入出力装置の正面図である。 本発明の第１の実施の形態にかかる音声入出力装置の構成を説明する図である。 本発明の第１の実施の形態にかかる音声入出力装置の動作原理を説明する図である。 本発明の第２の実施の形態にかかる音声入出力装置の正面図である。

符号の説明

Ｍ１〜Ｍ１３…マイクロフォン、ＳＰ１〜ＳＰ７…スピーカ、２…マイクロフォンアレイ信号検出部、２−１〜２−７…遅延回路、２−８…加算回路、３…音声入出力制御部、４…システム制御部、５…スピーカアレイ制御演算部、５−１〜５−７…遅延回路。

Claims (5)

1. 配列された複数のマイクロフォンからなるマイクロフォンアレイと、
   配列された複数のスピーカからなるスピーカアレイと、
   前記マイクロフォンアレイにより検出した発話者の方向に関する情報に基づいて前記スピーカアレイの指向性を前記発話者の方向に向ける制御手段と
   を備えたことを特徴とする音声入出力装置。
2. 請求項１に記載された音声入出力装置において、
   前記制御手段は、
   前記複数のマイクロフォンからそれぞれ出力される複数の信号のうち少なくとも２つの信号間の位相差に基づいて前記スピーカアレイの指向性制御パラメータを決定する指向性制御パラメータ決定手段を有する
   ことを特徴とする音声入出力装置。
3. 請求項２に記載された音声入出力装置において、
   前記複数のマイクロフォンの配列と前記複数のスピーカの配列とは空間的に同期しており、
   前記指向性制御パラメータ決定手段は、
   前記発話者の方向に関する情報として、前記複数のスピーカのそれぞれに対応するマイクロフォンから出力される複数の信号の相対的な時間差を検出するとともに、それらの時間差を前記指向性制御パラメータとし、
   前記制御手段は、
   前記時間差を相殺する遅延時間を、前記マイクロフォンに対応する各スピーカに入力される信号にそれぞれ付加する
   ことを特徴とする音声入出力装置。
4. 請求項１乃至３のいずれか１つに記載された音声入出力装置において、
   前記複数のマイクロフォンと前記複数のスピーカとはともに同一の筐体に収容されていることを特徴とする音声入出力装置。
5. 請求項１乃至４のいずれか１つに記載された音声入出力装置において、
   前記マイクロフォンアレイを構成する前記複数のマイクロフォンから出力される複数の信号にそれぞれ遅延を付加する遅延手段と、
   それぞれ遅延を付加された前記複数の信号の総和をとる加算手段と
   を備え、
   前記遅延手段により付加される遅延量は、前記複数のスピーカのそれぞれに対応するマイクロフォンから出力される複数の信号の相対的な時間差を相殺する
   ことを特徴とする音声入出力装置。
   
   

Images