JP2008175733A - 音声到来方向推定・ビームフォーミングシステム、移動装置及び音声到来方向推定・ビームフォーミング方法 - Google Patents

Abstract

【課題】移動する音源から発せられる音声の到来方向をリアルタイムに推定するとともに、該音声についてリアルタイムにビームフォーミングを行う。
【解決手段】音声到来方向推定・ビームフォーミングシステム１が音源２から受信した音声をフレーム毎に短時間フーリエ変換し、現在のフレームについての受信信号ベクトルを取得し、該受信信号ベクトルを用いて、現在のフレームの一つ前のフレームまでの相関行列を更新して、現在のフレームまでの相関行列を算出する。そして、音声到来方向推定・ビームフォーミングシステム１が該現在のフレームまでの相関行列に基づいて、ＭＵＳＩＣスペクトルを算出し、該ＭＵＳＩＣスペクトルに基づいて、音声の到来方向を算出する。また、上記短時間フーリエ変換によって得られた受信信号ベクトルと到来方向とに基づいて、ビームフォーミング処理を行う。
【選択図】図１

Description

本発明は、音声到来方向推定・ビームフォーミングシステム、移動装置及び音声到来方向推定・ビームフォーミング方法に関し、特に、移動する音源から発せられる音声の到来方向をリアルタイムに推定するとともに、該音声についてリアルタイムにビームフォーミングを行う音声到来方向推定・ビームフォーミングシステム、移動装置及び音声到来方向推定・ビームフォーミング方法に関する。

サービスロボットＥＮＯＮ等、近年、人間と共生することを目的としたホームユースロボットが登場している。ホームユースロボットが人間とコミュニケーションを行う際、音声が最も自然なインタフェースであると言える。ホームユースロボットは、人間とのコミュニケーションを円滑に行うため、話者に対して自身の顔を向けるとともに、話者から発せられる音声を精度良く認識することが求められている。このため、ホームユースロボットは、話者から発せられる音声の到来方向を推定するとともに、話者から発せられる音声を強調して雑音の影響を減少させることが必要である。

特に、話者またはホームユースロボットが移動して、話者とホームユースロボットの位置関係が時々刻々と変化する場合、話者から発せられる音声の到来方向の推定処理と、該音声の強調処理（例えば、Broadband Beamforming 法を用いたビームホーミング）をリアルタイムに行うことが必要である。

従来、ＭＵＳＩＣ法を用いて音声の到来方向を推定する技術が提案されている。ＭＵＳＩＣ法を用いた具体的な到来方向推定技術として、下記の特許文献１に、受信信号の相関行列から得られる複数の固有値のうちの一つの最小固有値のみを用いてＭＵＳＩＣスペクトルを算出し、算出されたＭＵＳＩＣスペクトルに含まれる各ピーク波形の位置に基づいて、到来波の到来方向を推定する装置に関して記載されている。
特開２０００−１２１７１６号公報

しかし、ＭＵＳＩＣ法を用いた到来方向の推定には、固有値計算などの計算負荷の大きい処理が伴うことから、従来、音源が移動する場合に、該音源から発せられる音声の到来方向をリアルタイムに推定するとともに、該音声についてリアルタイムにビームフォーミングを行う技術はなかった。

本発明は、移動する音源から発せられる音声の到来方向をリアルタイムに推定するとともに、該音声についてリアルタイムにビームフォーミングを行う音声到来方向推定・ビームフォーミングシステム、移動装置及び音声到来方向推定・ビームフォーミング方法の提供を目的とする。

上記課題を解決するため、本発明の音声到来方向推定・ビームフォーミングシステム及び移動装置は、ＭＵＳＩＣ法を用いて、リアルタイムに音声の到来方向を推定する。具体的には、本発明の音声到来方向推定・ビームフォーミングシステム及び移動装置は、移動する音源から各マイクが受信した受信信号を短時間フーリエ変換し、該短時間フーリエ変換結果をベクトル表示して受信信号ベクトルを得る。そして、本発明の音声到来方向推定・ビームフォーミングシステム及び移動装置は、現在の受信信号ベクトルと所定の忘却係数とに基づいて、過去の相関行列を更新して、現在の相関行列を算出する。そして、本発明の音声到来方向推定・ビームフォーミングシステム及び移動装置は、算出した相関行列を固有値分解した結果に基づいて、ＭＵＳＩＣスペクトルを算出し、算出したＭＵＳＩＣスペクトルが最大となるθを到来方向として出力する。

また、本発明の音声到来方向推定・ビームフォーミングシステム及び移動装置は、推定された到来方向と上記フーリエ変換によって得られる受信信号ベクトルとに基づいて、該音声についてリアルタイムにビームフォーミングを行う。

すなわち、本発明の音声到来方向推定・ビームフォーミングシステムは、移動する音源から発せられる音声を受信信号として受信する複数のマイクと、各マイクが受信した受信信号を短時間フーリエ変換し、該短時間フーリエ変換結果をベクトル表示して受信信号ベクトルを取得するフーリエ変換手段と、前記フーリエ変換手段によって取得された受信信号ベクトルと所定の忘却係数とに基づいて、過去の相関行列を更新して、現在の相関行列を算出する相関行列演算手段と、前記相関行列演算手段によって算出された相関行列を固有値分解し、該固有値分解によって得られる固有値のうち最大の固有値を算出する固有値演算手段と、前記固有値分解によって得られる固有値のうち、前記最大の固有値以外の固有値に対応する固有ベクトルである雑音部分空間を算出する固有ベクトル演算手段と、前記固有ベクトル演算手段によって算出された雑音部分空間と、前記各マイクのうち一つのマイクを基準としたときの各マイクにおける位相差を示す方向ベクトルとに基づいて、ＭＵＳＩＣスペクトルを算出するＭＵＳＩＣスペクトル演算手段と、前記ＭＵＳＩＣスペクトル演算手段によって算出されたＭＵＳＩＣスペクトルと前記固有値演算手段によって算出された最大の固有値とに基づいて、前記音源から発せられる音声の到来方向を推定する到来方向推定手段と、前記到来方向推定手段によって推定された前記音声の到来方向と前記フーリエ変換手段による受信信号の短時間フーリエ変換結果とに基づいて、前記音声についてビームフォーミングを行うビームフォーミング手段とを備える。

また、本発明の音声到来方向推定・ビームフォーミングシステムにおいて、前記ＭＵＳＩＣスペクトル演算手段が、過去の到来方向の値を中心とした所定の範囲の値を、各マイクにおける位相差の探索範囲として、前記各マイクにおける位相差を探索して、前記方向ベクトルを求める。

また、本発明の移動装置は、移動する音源から発せられる音声を受信信号として受信する複数のマイクと、各マイクが受信した受信信号を短時間フーリエ変換し、該短時間フーリエ変換結果をベクトル表示して受信信号ベクトルを取得するフーリエ変換手段と、前記フーリエ変換手段によって取得された受信信号ベクトルと所定の忘却係数とに基づいて、過去の相関行列を更新して、現在の相関行列を算出する相関行列演算手段と、前記相関行列演算手段によって算出された相関行列を固有値分解し、該固有値分解によって得られる固有値のうち最大の固有値を算出する固有値演算手段と、前記固有値分解によって得られる固有値のうち、前記最大の固有値以外の固有値に対応する固有ベクトルである雑音部分空間を算出する固有ベクトル演算手段と、前記固有ベクトル演算手段によって算出された雑音部分空間と、前記各マイクのうち一つのマイクを基準としたときの各マイクにおける位相差を示す方向ベクトルとに基づいて、ＭＵＳＩＣスペクトルを算出するＭＵＳＩＣスペクトル演算手段と、前記ＭＵＳＩＣスペクトル演算手段によって算出されたＭＵＳＩＣスペクトルと前記固有値演算手段によって算出された最大の固有値とに基づいて、前記音源から発せられる音声の到来方向を推定する到来方向推定手段と、前記到来方向推定手段によって推定された前記音声の到来方向と前記フーリエ変換手段による受信信号の短時間フーリエ変換結果とに基づいて、前記音声についてビームフォーミングを行うビームフォーミング手段と、前記移動装置が前記到来方向推定手段によって推定された到来方向を向くように、前記移動装置を駆動する駆動手段とを備える。

また、本発明の音声到来方向推定・ビームフォーミング方法は、移動する音源から発せられる音声を受信信号として受信する複数のマイクが受信した受信信号を短時間フーリエ変換し、該短時間フーリエ変換結果をベクトル表示して受信信号ベクトルを取得するステップと、前記取得された受信信号ベクトルと所定の忘却係数とに基づいて、過去の相関行列を更新して、現在の相関行列を算出するステップと、前記算出された相関行列を固有値分解し、該固有値分解によって得られる固有値のうち最大の固有値を算出するステップと、前記固有値分解によって得られる固有値のうち、前記最大の固有値以外の固有値に対応する固有ベクトルである雑音部分空間を算出するステップと、前記算出された雑音部分空間と、前記各マイクのうち一つのマイクを基準としたときの各マイクにおける位相差を示す方向ベクトルとに基づいて、ＭＵＳＩＣスペクトルを算出するステップと、前記算出されたＭＵＳＩＣスペクトルと前記算出された最大の固有値とに基づいて、前記音源から発せられる音声の到来方向を推定するステップと、前記推定された前記音声の到来方向と前記フーリエ変換手段による受信信号の短時間フーリエ変換結果とに基づいて、前記音声についてビームフォーミングを行うステップとを有する。

また、本発明の音声到来方向推定・ビームフォーミング方法において、前記ＭＵＳＩＣスペクトルを算出するステップは、過去の到来方向の値を中心とした所定の範囲の値を、各マイクにおける位相差の探索範囲として、前記各マイクにおける位相差を探索して、前記方向ベクトルを求める。

本発明の音声到来方向推定・ビームフォーミングシステムは、ＭＵＳＩＣ法を用いた音声の到来方向の推定処理を行う際に、移動する音源から受信した音声を短時間フーリエ変換して受信信号ベクトルを取得し、現在の受信信号ベクトルと所定の忘却係数とに基づいて、過去の相関行列を更新して、現在の相関行列を算出し、算出した現在の相関行列に基づいて、音声の到来方向を推定する。従って、本発明によれば、移動する音源から発せられる音声の到来方向をリアルタイムに推定することが可能となる。

また、本発明の移動装置は、ＭＵＳＩＣ法を用いてリアルタイムに音声の到来方向を推定するとともに、自装置が上記推定された到来方向を向くように、自装置を駆動する。従って、本発明によれば、例えば移動する音源としての話者とのコミュニケーションをより円滑に行うことが可能となる。

また、本発明の音声到来方向推定・ビームフォーミングシステム及び移動装置は、到来方向推定処理において行った短時間フーリエ変換の結果を用いてビームフォーミング処理を行う。従って、本発明によれば、到来方向推定処理とビームフォーミング処理のそれぞれにおいて別個に短時間フーリエ変換処理を行う必要がなくなる。その結果、システム全体の計算負荷を軽減することが可能となる。

また、本発明の音声到来方向推定・ビームフォーミングシステムは、前回の到来方向の値を中心とした所定の範囲の値を、各マイクにおける位相差の探索範囲として、各マイクにおける位相差を探索して、方向ベクトルを求め、求めた方向ベクトルに基づいて、ＭＵＳＩＣスペクトルを算出する。従って、本発明によれば、全ての方向（３６０度方向）の範囲についてのＭＵＳＩＣスペクトルを算出する場合と比べて、計算量を大幅に削減することが可能となる。

以下に、図を用いて、本発明の実施の形態について説明する。図１は、本発明の音声到来方向推定・ビームフォーミングシステムの構成の一例を示す図である。音声到来方向推定・ビームフォーミングシステム１は、ＭＵＳＩＣ法を用いて、移動する音源２から発せられる音声の到来方向をリアルタイムに推定するとともに、該音声についてリアルタイムにビームフォーミングを行う処理システムである。音源２は、移動するとともに、音声を発する。音源２は、例えば話者である。

音声到来方向推定・ビームフォーミングシステム１は、マイク１１−１〜１１−３、メモリ１２、フーリエ変換部１３、相関行列演算部１４、固有値演算部１５、固有ベクトル演算部１６、ＭＵＳＩＣスペクトル演算部１７、到来方向推定部１８、ビームフォーミング部１９、相関行列記憶部２０、到来方向記憶部２１を備える。

マイク１１−１〜１１−３は、音源２から発せられる音声を受信して、メモリ１２に記憶する。マイク１１−１〜１１−３は、図１に示すように、各マイクの並びが１直線にならないように（例えば、各マイクが三角形の頂点に位置するように）配置されている。マイク１１−１〜１１−３が、各マイクの並びが１直線にならないように配置されているのは、マイク１１−１〜１１−３が、各マイクの並びが１直線になるように配置されると、後述する到来方向を示す、ＭＵＳＩＣスペクトルが最大となるθが複数となり、到来方向が一つに定まらないからである。

メモリ１２は、マイク１１−１〜１１−３によって受信された受信信号（音声信号）を記憶する。フーリエ変換部１３は、メモリ１２に記憶された受信信号を、フレーム毎に短時間フーリエ変換する。フレームとは、所定の時間幅を持ち、時系列上で連続的に並ぶ時間帯である。具体的には、マイク１１−１、１１−２、１１−３によって受信された受信信号を、それぞれｘ₁ （ｔ）、ｘ₂ （ｔ）、ｘ₃ （ｔ）とすると、フーリエ変換部１３は、まず、各受信信号にｈａｍｍｉｎｇ関数ｈ（ｎ）を適用した上で、フレーム毎に短時間フーリエ変換する。ｈａｍｍｉｎｇ関数ｈ（ｎ）は、所定の窓関数である。

上記短時間フーリエ変換処理によって、例えば、現在のフレームについての短時間フーリエ変換結果であるＸ_i+1,1 （ω，ｔ）、Ｘ_i+1,2 （ω，ｔ）、Ｘ_i+1,3 （ω，ｔ）が得られる。ｉはフレーム番号である。

また、フーリエ変換部１３は、短時間フーリエ変換の結果をベクトル表示して、受信信号ベクトルを作成し、出力する。例えば、以下の式で表される、現在のフレームについての受信信号ベクトルＸ_i+1 が出力される。

Ｘ_i+1 ＝［Ｘ_i+1,1 （ω，ｔ）、Ｘ_i+1,2 （ω，ｔ）、Ｘ_i+1,3 （ω，ｔ）］^T
相関行列演算部１４は、フーリエ変換部１３によって出力された受信信号ベクトルの相関行列を周波数毎に算出し、算出した相関行列を相関行列記憶部２０に記憶する。すなわち、相関行列演算部１４は、現在のフレームについての受信信号ベクトルＸ_i+1 と所定の忘却係数αとに基づいて、以下の式（１）に従って、現在のフレームの一つ前のフレームまでの（過去の）相関行列Ｒ（ω）_i を更新して、周波数毎に、現在のフレームまでの相関行列Ｒ（ω）_i+1 を算出する。

Ｒ（ω）_i+1 ＝αＲ（ω）_i ＋（１−α）Ｘ_i+1 Ｘ_i+1 ^T ・・・式（１）
なお、初期の相関行列Ｒ（ω）₀ については、例えば以下のようにして求められる。すなわち、相関行列演算部１４は、以下の式
Ｒ（ω）₀ ＝Ｅ［Ｘ₀ Ｘ₀ ^H ］
に従って、Ｒ（ω）₀ を算出する。上記の式において、Ｘ₀ は、初期の受信信号ベクトル［Ｘ_{0 ,1}（ω，ｔ）、Ｘ_0,2 （ω，ｔ）、Ｘ_0,3 （ω，ｔ）］^T であり、Ｅ［Ｘ₀ Ｘ₀ ^H ］は、Ｘ₀ Ｘ₀ ^H の期待値を示す。

固有値演算部１５は、算出された相関行列を固有値分解し、該固有値分解によって得られる固有値のうち最大の固有値（最大固有値）λ（ω）を算出する。固有ベクトル演算部１６は、算出された最大固有値に対応する固有ベクトルである音声部分空間Ｕ_s （ω）と、固有値分解によって得られる固有値のうち、最大固有値λ（ω）以外の固有値に対応する固有ベクトルである雑音部分空間Ｕ_N （ω）とを算出する。

ＭＵＳＩＣスペクトル演算部１７は、算出された雑音部分空間Ｕ_N （ω）と、方向ベクトルａ（θ，ω）とに基づいて、以下の式（２）で示されるＭＵＳＩＣスペクトルＰ（θ，ω）を算出する。

Ｐ（θ，ω）＝ａ^H （θ，ω）ａ（θ，ω）／ａ^H （θ，ω）Ｕ_N （ω）Ｕ_N ^H （ω）ａ（θ，ω） ・・・式（２）
方向ベクトルａ（θ，ω）は、マイク１１−１〜１１−３のうちの一つのマイクを基準としたときの、各マイクにおける位相差を示すベクトルである。ＭＵＳＩＣスペクトル演算部１７は、例えば、全ての方向（３６０度）の到来方向について、各マイクにおける位相差を探索して、上記方向ベクトルａ（θ，ω）を求め、上記式（２）を用いて、３６０度の範囲についてのＭＵＳＩＣスペクトルＰ（θ，ω）を算出する。

ここで、音源２の移動速度を考慮すると、２回目以降の到来方向推定は、全方向（３６０度方向）行う必要はないと考えられる。従って、本発明の一実施形態によれば、ＭＵＳＩＣスペクトル演算部１７は、到来方向記憶部２１から前回の（前回算出された）到来方向の値を抽出し、抽出された前回の到来方向の値を中心とした所定の範囲の値を、各マイクにおける位相差の探索範囲として、各マイクにおける位相差を探索して、上記方向ベクトルａ（θ，ω）を求め、上記式（２）を用いて、該探索範囲分のＭＵＳＩＣスペクトルＰ（θ，ω）を算出するようにしてもよい。なお、ＭＵＳＩＣスペクトル演算部１７は、音源２（例えば、話者）の移動速度（例えば４ｋｍ／時間）に応じて予め定められた範囲（例えば前回算出された到来方向の前後１５度）を上記各マイクにおける位相差の探索範囲とするようにしてもよい。

ＭＵＳＩＣスペクトル演算部１７が、上記所定の探索範囲分のＭＵＳＩＣスペクトルＰ（θ，ω）を算出する構成を採る場合、全ての方向（３６０度）の範囲についてのＭＵＳＩＣスペクトルＰ（θ，ω）を算出する場合と比べて、計算量が大幅に削減される。

到来方向推定部１８は、算出されたＭＵＳＩＣスペクトルＰ（θ，ω）に基づいて、音声の到来方向を推定する。具体的には、到来方向推定部１８は、算出されたＭＵＳＩＣスペクトルＰ（θ，ω）を、各周波数の最大固有値λ（ω）で重み付けした上で、全ての周波数について加算して、以下の式（３）で表されるＰ（θ）を得る。

上記式（３）において、ω_t は最低周波数、ω_h は最高周波数である。

そして、到来方向推定部１８は、Ｐ（θ）が最大となるθを、音声の到来方向として算出し、到来方向記憶部２１に記憶する。

ビームフォーミング部１９は、フーリエ変換部１３による短時間フーリエ変換結果Ｘ_{i+1 ,m}（ω，ｔ）と到来方向記憶部２１に記憶された到来方向θとに基づいて、各マイクによって受信された受信信号についてビームフォーミングを行う。

具体的には、ビームフォーミング部１９は、以下の式（４）に従って、強調された受信信号Ｙ（ω）を算出する。

上記式（４）において、Ｘ_m （ω）は、Ｘ_{i+1 ,m}（ω，ｔ）を簡略化した表記であり、

は、Ｘ_m （ω）についての遅延項であり、τ_m は、Ｘ_m （ω）の遅れ時間である。

τ_m は、例えば、以下のようにして算出される。例えば、マイク１１−１の位置ベクトルを（ｘ₁ ，ｙ₁ ）、マイク１１−２の位置ベクトルを（ｘ₂ ，ｙ₂ ）、マイク１１−３の位置ベクトルを（ｘ₃ ，ｙ₃ ）とする。上記各位置ベクトルを用いて、図２に示すような行列ｒを定義する。τ_m は、図３に示す式（５）で表される。θは到来方向、ｃは音速である。

ビームフォーミング部１９は、上記算出されたＹ（ω）を対象に逆フーリエ変換処理を行って、時間域のデータに戻すとともに、前述したｈａｍｍｉｎｇ関数ｈ（ｎ）で割って、時間域における強調された受信信号を算出して出力する。

相関行列記憶部２０には、相関行列演算部１４によって算出された相関行列が記憶される。到来方向記憶部２１には、到来方向推定部１８によって算出された到来方向θが記憶される。

なお、上述した音声到来方向推定・ビームフォーミングシステム１及びその各部の機能は、ＣＰＵとその上で実行されるプログラムにより実現される。当該本発明を実現するプログラムは、コンピュータが読み取り可能な記録媒体、例えば半導体メモリ、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等に格納することができ、これらの記録媒体に記録して提供され、又は、通信インタフェースを介してネットワークを利用した送受信により提供される。

図４は、音声到来方向推定・ビームフォーミングシステムの動作処理フローの一例を示す図である。

まず、マイク１１−１〜１１−３が、音源２から発せられる音声を受信して、受信信号としてメモリ１２に記憶する（ステップＳ１）。次に、フーリエ変換部１３が、メモリ１２に記憶された受信信号を、フレーム毎に短時間フーリエ変換し、現在のフレームについての受信信号ベクトル（Ｘ_i+1 ）を取得する（ステップＳ２）。

次に、相関行列演算部１４が受信信号ベクトル（Ｘ_i+1 ）を用いて、前述した式（１）に従って、現在のフレームまでの相関行列（Ｒ（ω）_i+1 ）を算出し（ステップＳ３）、相関行列記憶部２０に記憶する。

そして、固有値演算部１５が、算出された相関行列を固有値分解して、最大固有値（λ（ω））を算出する（ステップＳ４）。また、固有ベクトル演算部１６が、音声部分空間（Ｕ_s （ω））と雑音部分空間（Ｕ_N （ω））とを算出する（ステップＳ５）。

次に、ＭＵＳＩＣスペクトル演算部１７が、算出された雑音部分空間（Ｕ_N （ω））と、方向ベクトル（ａ（θ，ω））とに基づいて、前述した式（２）に従って、ＭＵＳＩＣスペクトル（Ｐ（θ，ω））を算出する（ステップＳ６）。ステップＳ６においては、ＭＵＳＩＣスペクトル演算部１７は、到来方向記憶部２１から前回の到来方向の値を抽出し、抽出された前回の到来方向の値を中心とした所定の範囲の値を、各マイクにおける位相差の探索範囲として、各マイクにおける位相差を探索して、上記方向ベクトルａ（θ，ω）を求め、上記式（２）を用いて、上記探索範囲分のＭＵＳＩＣスペクトルＰ（θ，ω）を算出するようにしてもよい。

そして、到来方向推定部１８が、算出されたＭＵＳＩＣスペクトルＰ（θ，ω）に基づいて、音声の到来方向を算出し（ステップＳ７）、算出された到来方向を到来方向記憶部２１に記憶する。

また、ビームフォーミング部１９が、フーリエ変換部１３による短時間フーリエ変換結果と到来方向記憶部２１に記憶された到来方向とに基づいて、各マイクによって受信された受信信号（音声信号）についてビームフォーミング処理を行い、強調された受信信号を出力する（ステップＳ８）。

図５は、本発明の移動装置の構成の一例を示す図である。移動装置３は、ＭＵＳＩＣ法を用いて、移動する音源２から発せられる音声の到来方向をリアルタイムに推定するとともに、該音声についてリアルタイムにビームフォーミングを行う処理装置である。また、移動装置３は、推定された音声の到来方向に自装置（移動装置３）が向くように自装置を駆動する。また、移動装置３は、該ビームフォーミングされた音声を対象に音声認識し、該音声認識結果に基づいて、発話する。音源２は、移動するとともに、音声を発する。音源２は、例えば話者である。

移動装置３は、マイク１１−１〜１１−３、メモリ１２、フーリエ変換部１３、相関行列演算部１４、固有値演算部１５、固有ベクトル演算部１６、ＭＵＳＩＣスペクトル演算部１７、到来方向推定部１８、ビームフォーミング部１９、相関行列記憶部２０、到来方向記憶部２１、音声認識部２２、駆動部２３、対話部２４を備える。

移動装置３が備える構成要素のうち、図１に示す音声到来方向推定・ビームフォーミングシステム１が備える構成要素と同じ符号が付けられた構成要素は、音声到来方向推定・ビームフォーミングシステム１が備える構成要素と同じであるので、該構成要素についての詳細な説明は省略する。

音声認識部２２は、ビームフォーミング部１９によるビームフォーミング処理によって得られた、強調された受信信号を音声認識する。駆動部２３は、移動装置３が到来方向推定部１８によって算出された到来方向を向くように、移動装置３を駆動する。駆動部２３による駆動処理によって、移動装置３が音源２の方向を向くこととなる。

対話部２４は、音声認識部２２による音声認識結果に基づいて発話する。具体的には、対話部２４は、例えば、上記音声認識によって得られる文と、図示を省略する記憶手段内に記憶された文と発話内容との対応情報とに基づいて、該音声認識によって得られる文に対応する発話内容を発話する。

なお、上述した移動装置３及びその各部の機能は、ＣＰＵとその上で実行されるプログラムにより実現される。当該本発明を実現するプログラムは、コンピュータが読み取り可能な記録媒体、例えば半導体メモリ、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等に格納することができ、これらの記録媒体に記録して提供され、又は、通信インタフェースを介してネットワークを利用した送受信により提供される。

図６は、移動装置の動作処理フローの一例を示す図である。まず、マイク１１−１〜１１−３が、音源２から発せられる音声を受信して、メモリ１２に記憶する（ステップＳ１１）。次に、フーリエ変換部１３が、メモリ１２に記憶された受信信号を、フレーム毎に短時間フーリエ変換し、現在のフレームについての受信信号ベクトル（Ｘ_i+1 ）を取得する（ステップＳ１２）。

次に、相関行列演算部１４が、受信信号ベクトル（Ｘ_i+1 ）を用いて、前述した式（１）に従って、現在のフレームまでの相関行列（Ｒ（ω）_i+1 ）を算出し（ステップＳ１３）、相関行列記憶部２０に記憶する。

そして、固有値演算部１５が、算出された相関行列を固有値分解して、最大固有値（λ（ω））を算出する（ステップＳ１４）。また、固有ベクトル演算部１６が、音声部分空間（Ｕ_s （ω））と雑音部分空間（Ｕ_N （ω））とを算出する（ステップＳ１５）。

次に、ＭＵＳＩＣスペクトル演算部１７が、算出された雑音部分空間（Ｕ_N （ω））と、方向ベクトル（ａ（θ，ω））とに基づいて、前述した式（２）に従って、ＭＵＳＩＣスペクトル（Ｐ（θ，ω））を算出する（ステップＳ１６）。

そして、到来方向推定部１８が、算出されたＭＵＳＩＣスペクトルＰ（θ，ω）に基づいて、音声の到来方向を算出し（ステップＳ１７）、算出された到来方向を到来方向記憶部２１に記憶する。

また、ビームフォーミング部１９が、フーリエ変換部１３による短時間フーリエ変換結果と到来方向記憶部２１に記憶された到来方向とに基づいて、各マイクによって受信された受信信号（音声信号）についてビームフォーミング処理を行い、強調された受信信号を出力する（ステップＳ１８）。

次に、駆動部２３が、上記ステップＳ１７の処理によって算出された到来方向に移動装置３が向くように移動装置３を駆動する（ステップＳ１９）。

また、音声認識部２２が、上記ステップＳ１８の処理によって出力された、強調された受信信号を音声認識し（ステップＳ２０）、対話部２４が、ステップＳ２０の処理による音声認識結果に基づいて発話する。

以上から把握できるように、本発明の実施形態の特徴を述べると以下の通りである。

（付記１）音声到来方向推定・ビームフォーミングシステムであって、
移動する音源から発せられる音声を受信信号として受信する複数のマイクと、
各マイクが受信した受信信号を短時間フーリエ変換し、該短時間フーリエ変換結果をベクトル表示して受信信号ベクトルを取得するフーリエ変換手段と、
前記フーリエ変換手段によって取得された受信信号ベクトルと所定の忘却係数とに基づいて、過去の相関行列を更新して、現在の相関行列を算出する相関行列演算手段と、
前記相関行列演算手段によって算出された相関行列を固有値分解し、該固有値分解によって得られる固有値のうち最大の固有値を算出する固有値演算手段と、
前記固有値分解によって得られる固有値のうち、前記最大の固有値以外の固有値に対応する固有ベクトルである雑音部分空間を算出する固有ベクトル演算手段と、
前記固有ベクトル演算手段によって算出された雑音部分空間と、前記各マイクのうち一つのマイクを基準としたときの各マイクにおける位相差を示す方向ベクトルとに基づいて、ＭＵＳＩＣスペクトルを算出するＭＵＳＩＣスペクトル演算手段と、
前記ＭＵＳＩＣスペクトル演算手段によって算出されたＭＵＳＩＣスペクトルと前記固有値演算手段によって算出された最大の固有値とに基づいて、前記音源から発せられる音声の到来方向を推定する到来方向推定手段と、
前記到来方向推定手段によって推定された前記音声の到来方向と前記フーリエ変換手段による受信信号の短時間フーリエ変換結果とに基づいて、前記音声についてビームフォーミングを行うビームフォーミング手段とを備える
ことを特徴とする音声到来方向推定・ビームフォーミングシステム。

（付記２）付記１に記載の音声到来方向推定・ビームフォーミングシステムにおいて、
前記ＭＵＳＩＣスペクトル演算手段が、過去の到来方向の値を中心とした所定の範囲の値を、各マイクにおける位相差の探索範囲として、前記各マイクにおける位相差を探索して、前記方向ベクトルを求める
ことを特徴とする音声到来方向推定・ビームフォーミングシステム。

（付記３）移動装置であって、
移動する音源から発せられる音声を受信信号として受信する複数のマイクと、
各マイクが受信した受信信号を短時間フーリエ変換し、該短時間フーリエ変換結果をベクトル表示して受信信号ベクトルを取得するフーリエ変換手段と、
前記フーリエ変換手段によって取得された受信信号ベクトルと所定の忘却係数とに基づいて、過去の相関行列を更新して、現在の相関行列を算出する相関行列演算手段と、
前記相関行列演算手段によって算出された相関行列を固有値分解し、該固有値分解によって得られる固有値のうち最大の固有値を算出する固有値演算手段と、
前記固有値分解によって得られる固有値のうち、前記最大の固有値以外の固有値に対応する固有ベクトルである雑音部分空間を算出する固有ベクトル演算手段と、
前記固有ベクトル演算手段によって算出された雑音部分空間と、前記各マイクのうち一つのマイクを基準としたときの各マイクにおける位相差を示す方向ベクトルとに基づいて、ＭＵＳＩＣスペクトルを算出するＭＵＳＩＣスペクトル演算手段と、
前記ＭＵＳＩＣスペクトル演算手段によって算出されたＭＵＳＩＣスペクトルと前記固有値演算手段によって算出された最大の固有値とに基づいて、前記音源から発せられる音声の到来方向を推定する到来方向推定手段と、
前記到来方向推定手段によって推定された前記音声の到来方向と前記フーリエ変換手段による受信信号の短時間フーリエ変換結果とに基づいて、前記音声についてビームフォーミングを行うビームフォーミング手段と、
前記移動装置が前記到来方向推定手段によって推定された到来方向を向くように、前記移動装置を駆動する駆動手段とを備える
ことを特徴とする移動装置。

（付記４）音声到来方向推定・ビームフォーミング方法であって、
移動する音源から発せられる音声を受信信号として受信する複数のマイクが受信した受信信号を短時間フーリエ変換し、該短時間フーリエ変換結果をベクトル表示して受信信号ベクトルを取得するステップと、
前記取得された受信信号ベクトルと所定の忘却係数とに基づいて、過去の相関行列を更新して、現在の相関行列を算出するステップと、
前記算出された相関行列を固有値分解し、該固有値分解によって得られる固有値のうち最大の固有値を算出するステップと、
前記固有値分解によって得られる固有値のうち、前記最大の固有値以外の固有値に対応する固有ベクトルである雑音部分空間を算出するステップと、
前記算出された雑音部分空間と、前記各マイクのうち一つのマイクを基準としたときの各マイクにおける位相差を示す方向ベクトルとに基づいて、ＭＵＳＩＣスペクトルを算出するステップと、
前記算出されたＭＵＳＩＣスペクトルと前記算出された最大の固有値とに基づいて、前記音源から発せられる音声の到来方向を推定するステップと、
前記推定された前記音声の到来方向と前記フーリエ変換手段による受信信号の短時間フーリエ変換結果とに基づいて、前記音声についてビームフォーミングを行うステップとを有する
ことを特徴とする音声到来方向推定・ビームフォーミング方法。

（付記５）付記４に記載の音声到来方向推定・ビームフォーミング方法において、
前記ＭＵＳＩＣスペクトルを算出するステップは、過去の到来方向の値を中心とした所定の範囲の値を、各マイクにおける位相差の探索範囲として、前記各マイクにおける位相差を探索して、前記方向ベクトルを求める
ことを特徴とする音声到来方向推定・ビームフォーミング方法。

（付記６）音声到来方向推定・ビームフォーミングプログラムであって、
コンピュータに、
移動する音源から発せられる音声を受信信号として受信する複数のマイクが受信した受信信号を短時間フーリエ変換し、該短時間フーリエ変換結果をベクトル表示して受信信号ベクトルを取得する処理と、
前記取得された受信信号ベクトルと所定の忘却係数とに基づいて、過去の相関行列を更新して、現在の相関行列を算出する処理と、
前記算出された相関行列を固有値分解し、該固有値分解によって得られる固有値のうち最大の固有値を算出する処理と、
前記固有値分解によって得られる固有値のうち、前記最大の固有値以外の固有値に対応する固有ベクトルである雑音部分空間を算出する処理と、
前記算出された雑音部分空間と、前記各マイクのうち一つのマイクを基準としたときの各マイクにおける位相差を示す方向ベクトルとに基づいて、ＭＵＳＩＣスペクトルを算出する処理と、
前記算出されたＭＵＳＩＣスペクトルと前記算出された最大の固有値とに基づいて、前記音源から発せられる音声の到来方向を推定する処理と、
前記推定された前記音声の到来方向と前記フーリエ変換手段による受信信号の短時間フーリエ変換結果とに基づいて、前記音声についてビームフォーミングを行う処理とを実行させる
ことを特徴とする音声到来方向推定・ビームフォーミングプログラム。

（付記７）付記６に記載の音声到来方向推定・ビームフォーミングプログラムにおいて、
前記ＭＵＳＩＣスペクトルを算出する処理は、過去の到来方向の値を中心とした所定の範囲の値を、各マイクにおける位相差の探索範囲として、前記各マイクにおける位相差を探索して、前記方向ベクトルを求める
ことを特徴とする音声到来方向推定・ビームフォーミングプログラム。

以上、説明したように、本発明によれば、移動する音源から発せられる音声の到来方向をリアルタイムに推定することが可能となる。また、本発明によれば、本発明によれば、例えば移動する音源としての話者とのコミュニケーションをより円滑に行うことが可能となる。

本発明の音声到来方向推定・ビームフォーミングシステムの構成の一例を示す図である。 マイクの位置ベクトルを用いて定義される行列ｒを示す図である。 τ_m を表す式を示す図である。 音声到来方向推定・ビームフォーミングシステムの動作処理フローの一例を示す図である。 本発明の移動装置の構成の一例を示す図である。 移動装置の動作処理フローの一例を示す図である。

符号の説明

１ 音声到来方向推定・ビームフォーミングシステム
２ 音源
３ 移動装置
１１−１、１１−２、１１−３ マイク
１２ メモリ
１３ フーリエ変換部
１４ 相関行列演算部
１５ 固有値演算部
１６ 固有ベクトル演算部
１７ ＭＵＳＩＣスペクトル演算部
１８ 到来方向推定部
１９ ビームフォーミング部
２０ 相関行列記憶部
２１ 到来方向記憶部
２２ 音声認識部
２３ 駆動部
２４ 対話部

Claims (5)

1. 音声到来方向推定・ビームフォーミングシステムであって、
   移動する音源から発せられる音声を受信信号として受信する複数のマイクと、
   各マイクが受信した受信信号を短時間フーリエ変換し、該短時間フーリエ変換結果をベクトル表示して受信信号ベクトルを取得するフーリエ変換手段と、
   前記フーリエ変換手段によって取得された受信信号ベクトルと所定の忘却係数とに基づいて、過去の相関行列を更新して、現在の相関行列を算出する相関行列演算手段と、
   前記相関行列演算手段によって算出された相関行列を固有値分解し、該固有値分解によって得られる固有値のうち最大の固有値を算出する固有値演算手段と、
   前記固有値分解によって得られる固有値のうち、前記最大の固有値以外の固有値に対応する固有ベクトルである雑音部分空間を算出する固有ベクトル演算手段と、
   前記固有ベクトル演算手段によって算出された雑音部分空間と、前記各マイクのうち一つのマイクを基準としたときの各マイクにおける位相差を示す方向ベクトルとに基づいて、ＭＵＳＩＣスペクトルを算出するＭＵＳＩＣスペクトル演算手段と、
   前記ＭＵＳＩＣスペクトル演算手段によって算出されたＭＵＳＩＣスペクトルと前記固有値演算手段によって算出された最大の固有値とに基づいて、前記音源から発せられる音声の到来方向を推定する到来方向推定手段と、
   前記到来方向推定手段によって推定された前記音声の到来方向と前記フーリエ変換手段による受信信号の短時間フーリエ変換結果とに基づいて、前記音声についてビームフォーミングを行うビームフォーミング手段とを備える
   ことを特徴とする音声到来方向推定・ビームフォーミングシステム。
2. 請求項１に記載の音声到来方向推定・ビームフォーミングシステムにおいて、
   前記ＭＵＳＩＣスペクトル演算手段が、過去の到来方向の値を中心とした所定の範囲の値を、各マイクにおける位相差の探索範囲として、前記各マイクにおける位相差を探索して、前記方向ベクトルを求める
   ことを特徴とする音声到来方向推定・ビームフォーミングシステム。
3. 移動装置であって、
   移動する音源から発せられる音声を受信信号として受信する複数のマイクと、
   各マイクが受信した受信信号を短時間フーリエ変換し、該短時間フーリエ変換結果をベクトル表示して受信信号ベクトルを取得するフーリエ変換手段と、
   前記フーリエ変換手段によって取得された受信信号ベクトルと所定の忘却係数とに基づいて、過去の相関行列を更新して、現在の相関行列を算出する相関行列演算手段と、
   前記相関行列演算手段によって算出された相関行列を固有値分解し、該固有値分解によって得られる固有値のうち最大の固有値を算出する固有値演算手段と、
   前記固有値分解によって得られる固有値のうち、前記最大の固有値以外の固有値に対応する固有ベクトルである雑音部分空間を算出する固有ベクトル演算手段と、
   前記固有ベクトル演算手段によって算出された雑音部分空間と、前記各マイクのうち一つのマイクを基準としたときの各マイクにおける位相差を示す方向ベクトルとに基づいて、ＭＵＳＩＣスペクトルを算出するＭＵＳＩＣスペクトル演算手段と、
   前記ＭＵＳＩＣスペクトル演算手段によって算出されたＭＵＳＩＣスペクトルと前記固有値演算手段によって算出された最大の固有値とに基づいて、前記音源から発せられる音声の到来方向を推定する到来方向推定手段と、
   前記到来方向推定手段によって推定された前記音声の到来方向と前記フーリエ変換手段による受信信号の短時間フーリエ変換結果とに基づいて、前記音声についてビームフォーミングを行うビームフォーミング手段と、
   前記移動装置が前記到来方向推定手段によって推定された到来方向を向くように、前記移動装置を駆動する駆動手段とを備える
   ことを特徴とする移動装置。
4. 音声到来方向推定・ビームフォーミング方法であって、
   移動する音源から発せられる音声を受信信号として受信する複数のマイクが受信した受信信号を短時間フーリエ変換し、該短時間フーリエ変換結果をベクトル表示して受信信号ベクトルを取得するステップと、
   前記取得された受信信号ベクトルと所定の忘却係数とに基づいて、過去の相関行列を更新して、現在の相関行列を算出するステップと、
   前記算出された相関行列を固有値分解し、該固有値分解によって得られる固有値のうち最大の固有値を算出するステップと、
   前記固有値分解によって得られる固有値のうち、前記最大の固有値以外の固有値に対応する固有ベクトルである雑音部分空間を算出するステップと、
   前記算出された雑音部分空間と、前記各マイクのうち一つのマイクを基準としたときの各マイクにおける位相差を示す方向ベクトルとに基づいて、ＭＵＳＩＣスペクトルを算出するステップと、
   前記算出されたＭＵＳＩＣスペクトルと前記算出された最大の固有値とに基づいて、前記音源から発せられる音声の到来方向を推定するステップと、
   前記推定された前記音声の到来方向と前記フーリエ変換手段による受信信号の短時間フーリエ変換結果とに基づいて、前記音声についてビームフォーミングを行うステップとを有する
   ことを特徴とする音声到来方向推定・ビームフォーミング方法。
5. 請求項４に記載の音声到来方向推定・ビームフォーミング方法において、
   前記ＭＵＳＩＣスペクトルを算出するステップは、過去の到来方向の値を中心とした所定の範囲の値を、各マイクにおける位相差の探索範囲として、前記各マイクにおける位相差を探索して、前記方向ベクトルを求める
   ことを特徴とする音声到来方向推定・ビームフォーミング方法。

Images