JP2010085733A - 音声強調システム - Google Patents

Abstract

【課題】適応ベクトル推定のための初期値を求めることによって、複数のマイクロフォンが取得した音声信号から雑音を効果的に除去することができ、目的音声のみを強調して取り出すことができ、確実性が高く、信頼性が高くなるようにする。
【解決手段】所定の方向から到来した音声信号を強調する静的ベクトルを備える固定ビームフォーミング部と、所定の方向から到来した音声信号を無歪（ひず）みにするブロッキング行列を備えるブロッキング行列部１２と、音声信号の分布をスーパーガウシアン分布に近付ける適応ベクトルを備える多入力キャンセラ１３と、初期値を求めることによって前記適応ベクトルを推定する適応ベクトル推定ユニット１４とを有し、複数のマイクロフォンが取得した複数の音源からの音声信号が入力されると、目的音声の音声信号を強調して出力する。
【選択図】図１

Description

本発明は、目的音声を強調する音声強調システムに関するものであり、特に、自動車のような車両の内部の雑音環境において、雑音を抑圧して音声認識の対象となる音声信号を取得するために好適な音声強調システムに関するものである。

従来、複数の音源が発生した音声信号の中から特定の音声信号、すなわち、目的音声のみを取得するための技術として、複数のマイクロフォンから成るマイクロフォンアレイ等を使用するアレイ信号処理技術が提案されている（例えば、非特許文献１参照。）。

例えば、固定ビームフォーマ、ブロッキング行列及び多入力キャンセラを備えるＧＳＣ（Ｇｅｎｅｒａｌｉｚｅｄ Ｓｉｄｅｌｏｂｅ Ｃａｎｃｅｌｌｅｒ：一般化サイドローブキャンセラ）型ビームフォーマを使用することができる。この場合、固定ビームフォーマは、Ｄｅｌａｙ−ａｎｄ−ｓｕｍビームフォーマと呼ばれるタイプのものであり、マイクロフォンアレイにおける各マイクロフォンに到来する音声信号の時間遅れを補償するように構築される。また、ブロッキング行列は、ある方向から来る音声信号に歪（ひず）みを加えないように計算される。さらに、多入力キャンセラは、無歪の制約が課されている状態で、ＧＳＣ型ビームフォーマ全体の出力信号の分散を最小化するように構築される。

このような方法では、目的信号としての目的音声の方向以外から到来する雑音を効果的に抑圧することはできるが、目的音声と相関の強い音声信号が目的音声の方向以外から到来した場合には、目的音声をも消去してしまうという欠点があった。そして、実際の環境では、例えば、目的音声は、壁のように表面の硬い物質から成る面等によって反射されるので、このような問題、すなわち、目的信号打消し問題（ｓｉｇｎａｌ ｃａｎｃｅｌｌａｔｉｏｎ ｐｒｏｂｌｅｍｓ）は避けられないものである。

つまり、ＧＳＣ型ビームフォーマを使用するシステムには目的信号打消し問題があるので、目的音声が存在しているときには、固定ビームフォーマを停止する必要があった。

そこで、目的信号打消し問題を解決するために、ブロッキング行列の出力信号から目的音声と相関のある要素を取り除く技術が提案されている（例えば、特許文献１参照。）。この場合、ブロッキング行列は、その出力信号から固定ビームフォーマの信号成分を取り除くように構築されている。

ただし、このようにブロッキング行列を構築すると、固定ビームフォーマの出力信号に雑音が含まれていた場合には、多入力キャンセラの雑音抑圧性能が著しく劣化してしまう。例えば、音源の位置推定に誤りがあると、固定ビームフォーマの信号成分に雑音が含まれる。また、空間エリアスィング（例えば、非特許文献１参照。）の影響によって、固定ビームフォーマの出力信号に雑音が多く含まれる場合もある。

つまり、特許文献１に記載される技術及び該技術に基づいた技術（例えば、非特許文献２参照。）は、目的信号打消し問題の解決と雑音抑圧性能とがトレードオフの関係となる、という問題を含んでいる。

そこで、目的信号打消し問題と雑音抑圧問題とを同時に解決するために、新しい基準を用いたビームフォーミングの技術が提案されている（例えば、非特許文献３、４及び５参照。）。この場合、ＧＳＣ型ビームフォーマ全体の出力信号の分散を最小化するのではなく、無歪の制約を課したままＧＳＣ型ビームフォーマ全体の出力信号の分布がスーパーガウシアン分布になるように適応ベクトルを推定する。
特許第３００１０９２号公報 H. L. Van Trees, Optimum Array Processing. New York: Wiley-Interscience, 2002. W. Herbordt, W. Kellermann, "Frequency-domain integration of acoustic echo cancellation and a generalized sidelobe canceller with improved robustness", European Trans. on Telecommunications (ETT), vol. 13, no. 2, pp. 123-132, Mar. 2002 Kenichi Kumatani, Tobias Gehrig, Uwe Mayer, Emilian Stoimenov, John McDonough and Matthias Wolfel,"Adaptive Beamforming with a Minimum Mutual Information Criterion", IEEE Trans. Audio, Speech and Language Processing, Vol. 15, pp. 2527-2541, November, 2007 Kenichi Kumatani, John McDonough, Dietrich Klakow, Philip N. Garner, Weifeng Li "Adaptive Beamforming with a Maximum Negentropy Criterion", for The Joint Workshop on Hands-free Speech Communication and Microphone Arrays (HSCMA), Trento, Italy, May 2008 Kenichi Kumatani, John McDonough, Barbara Rauch, Philip N. Garner, Weifeng Li, and John Dines,"Maximum kurtosis beamforming with the generalized sidelobe canceller, "in Proc. Interspeech-2008, Brisbane, Australia, Septempber 2008

しかしながら、前記従来の音声強調システムにおいては、無歪の制約を課したままＧＳＣ型ビームフォーマ全体の出力信号の分布がスーパーガウシアン分布になるように適応ベクトルを推定すると、勾（こう）配法のような数値最適化アルゴリズムを使用して解を得る必要がある。一般的に、このような数値最適化アルゴリズムによって得られた解が最適解である保証はない。つまり、数値最適化アルゴリズムによって推定された適応ベクトルを使用しても、ＧＳＣ型ビームフォーマ全体の出力信号の分布がスーパーガウシアン分布に最も近くなるとは限らない。これは、原理的に、適応ベクトルの推定結果が初期値に依存してしまうからである。

本発明は、前記従来の音声強調システムの問題点を解決して、適応ベクトル推定のための初期値を求めることによって、複数のマイクロフォンが取得した音声信号から雑音を効果的に除去することができ、目的音声のみを強調して取り出すことができる確実性が高く、信頼性の高い高性能な音声強調システムを提供することを目的とする。

そのために、本発明の音声強調システムにおいては、所定の方向から到来した音声信号を強調する静的ベクトルを備える固定ビームフォーミング部と、所定の方向から到来する目的信号を無歪に近付けるように制約するブロッキング行列を備えるブロッキング行列部と、音声信号の分布をスーパーガウシアン分布に近付ける適応ベクトルを備える多入力キャンセラと、初期値を求めることによって前記適応ベクトルを推定する適応ベクトル推定ユニットとを有し、複数のマイクロフォンが取得した複数の音源からの音声信号が入力されると、目的音声の音声信号を強調して出力する。

本発明の他の音声強調システムにおいては、さらに、前記適応ベクトル推定ユニットは、前記多入力キャンセラが出力する音声信号に含まれる目的音声の音声信号を検出する目的信号検出部と、該目的信号検出部によって目的音声の音声信号が検出されない場合に適応ベクトルの初期値を推定する初期値適応ベクトル推定部と、該初期値適応ベクトル推定部が推定した初期値を更新し、前記多入力キャンセラが出力する音声信号の分布のスーパーガウシアンの度合いを最大にする適応ベクトルを推定する最終適応ベクトル推定部とを備える。

本発明の更に他の音声強調システムにおいては、さらに、前記初期値適応ベクトル推定部は、各々が適応ベクトルの初期値を推定する複数の初期値推定用ビームフォーミング部を含み、前記最終適応ベクトル推定部は、各初期値を更新して複数の適応ベクトルを推定し、推定した複数の適応ベクトルの中から前記多入力キャンセラが出力する音声信号の分布のスーパーガウシアンの度合いを最大にする適応ベクトルを選択する。

請求項１の構成によれば、複数のマイクロフォンが取得した音声信号から雑音を効果的に除去することができ、目的音声のみを強調して取り出すことができる。

請求項２の構成によれば、適切な初期値を推定することができ、適切な適応ベクトルを推定することができる。

請求項３の構成によれば、推定された複数の適応ベクトルの中から最適なものを選択することができる。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。

図１は本発明の実施の形態における音声強調システムの構成を示すブロック図、図２は本発明の実施の形態における適応ベクトルと目的関数との関係を説明する図である。

図１において、１０は、本実施の形態における音声強調システムであり、複数の音源が発生した音声信号の中から特定の音声信号としての目的音声のみを取得するために使用されるコンピュータシステムである。前記音声強調システム１０は、例えば、乗用車、トラック、バス、二輪車等の車両に装着されたナビゲーション装置、空調装置、オーディオ装置、映像装置、エンジン制御装置、サスペンション制御装置等の各種装置が備える音声入力装置において、運転者等が発生する音声を認識する音声認識の対象となる音声信号を雑音環境の下で取得するために使用されるものであるが、いかなる用途に使用されてもよい。また、前記音声強調システム１０は、コンピュータシステムであるので、ＣＰＵ、ＭＰＵ等の演算手段、磁気ディスク、半導体メモリ等の記憶手段、入出力インターフェイス等を備えるものであるが、物理的には、必ずしも独立したコンピュータシステムである必要はなく、例えば、前記各種装置の備えるコンピュータシステムと一体化されたものであってもよい。

ここで、前記音声強調システム１０は、機能の観点から、固定ビームフォーミング部としての固定ビームフォーマ１１と、ブロッキング行列によって音声信号を処理するブロッキング行列部１２と、多入力キャンセラ１３と、適応ベクトル推定ユニット１４とを有する。そして、該適応ベクトル推定ユニット１４は、目的信号検出部１５と、初期値推定用ビームフォーミング部としての初期値適応ベクトル推定部１６と、最終ビームフォーミング部としての最終適応ベクトル推定部１７とを備える。なお、矢印２１は、音声強調システム１０の入力信号であって、図示されない複数のマイクロフォンから成るマイクロフォンアレイからのマイクロフォンアレイ信号を示している。該マイクロフォンアレイ信号は、各マイクロフォンが集音した音に応じて出力した音声信号の集合であり、多チャンネル信号である。また、矢印２２は、音声強調システム１０の出力信号であって、目的音声の音声信号である。

前記音声強調システム１０は、ＧＳＣ型ビームフォーマの一種であり、固定ビームフォーマ１１の重みとしての静的ベクトル、ブロッキング行列部１２のブロッキング行列、及び、多入力キャンセラ１３の適応ベクトルによってマイクロフォンアレイ信号を処理することにより、複数の音源が発生した音声信号の中から目的音声を取得する。そして、適応ベクトル推定ユニット１４は、音声強調システム１０の出力信号の分布がスーパーガウシアン分布に近くなるように、前記多入力キャンセラ１３の適応ベクトルを推定する。

そのため、前記適応ベクトル推定ユニット１４において、前記目的信号検出部１５は目的信号の有無を判別する。つまり、前記目的信号検出部１５は 多入力キャンセラ１３が出力する音声信号に含まれる目的音声の音声信号を検出する。また、前記初期値適応ベクトル推定部１６は、前記目的信号検出部１５が目的信号なしと判断した場合、すなわち、目的音声の音声信号が検出されない場合、目的音声の方向以外から到来した音声信号を抑圧するために、出力信号の分散又はパワーの和を最小化する適応ベクトルの初期値を推定する。さらに、前記最終適応ベクトル推定部１７は、初期値適応ベクトル推定部１６によって推定された値を初期値とし、最終の出力信号の分布がスーパーガウシアン分布となるように適応ベクトルを求める。前記最終適応ベクトル推定部１７は求めた適応ベクトルを出力し、該適応ベクトルは多入力キャンセラ１３の適応ベクトルとして用いられる。

なお、前記初期値適応ベクトル推定部１６は、その出力信号の分散を最小化する適応ベクトルの最適解又はそれに近い解を、少ない計算量で求めることができる。さらに、前記最終適応ベクトル推定部１７が勾配法を用いる場合には、前記初期値適応ベクトル推定部１６によって得られた適応ベクトルの結果を初期値として勾配法を開始することにより、その収束を早めることができる。また、前記初期値適応ベクトル推定部１６によって得られた初期値は、基本的には最適値に近いので、音声強調システム１０の最終の出力信号の分布のスーパーガウシアンの度合いが最大になる解に収束しやすくなる。なお、前記最適解とは、音声強調システム１０の出力信号の分布のスーパーガウシアンの度合いを最大にする適応ベクトルの値である。

図２には、音声強調システム１０の出力信号の分布のスーパーガウシアンの度合いと、適応ベクトルの値との関係の一例が示されている。なお、図２において、横軸は適応ベクトルの１要素の実数であり、縦軸は音声強調システム１０の出力信号の分布のスーパーガウシアンの度合い、すなわち、目的関数の値である。

図２に示されるように、多数の極大値を持っている目的関数の最大値を勾配法によって求める場合、勾配法の最終推定結果は初期値に依存する。例えば、図２に示される例において、初期値１を初期値として勾配法によって解を推定すると、極大値１に収束する可能性が高くなってしまう。しかし、図２から明らかなように、初期値２を初期値として勾配法によって解を推定すると、最大値に収束する確率が高くなる。

なお、図２は、説明の都合上、非常に簡単化された例を示しており、実際には、多複素数の同時推定の問題となる。したがって、実際の目的関数の形状は非常に複雑であり、初期値を示す初期ベクトルの値は非常に重要である。

また、前記初期値適応ベクトル推定部１６は、複数の初期値推定用ビームフォーミング部を含むことが望ましい。この場合、複数の初期値推定用ビームフォーミング部によって得られた複数の推定結果の各値を初期値とし、最終の出力信号の分布がスーパーガウシアンになるように複数の適応ベクトルを推定する。そして、最終適応ベクトル推定部１７は、前記複数の適応ベクトルの推定結果の中から、出力信号の分布が最もスーパーガウシアン分布に近くになるようなものを選択する。このように、複数の初期値推定用ビームフォーミング部によって複数の良好な初期値を求めることができるので、音声強調システム１０の最終の出力信号の分布のスーパーガウシアンの度合いが最大になる解、すなわち、最適解により収束しやすくなる。

さらに、前記複数の初期値推定用ビームフォーミング部の少なくとも１つはＧｒｉｆｆｉｔｈｓ−Ｊｉｍ型ビームフォーマ（例えば、非特許文献１参照。）であることが望ましい。

さらに、前記初期値推定用ビームフォーミング部の少なくとも１つはＧＳＣ型ビームフォーマであって、ブロッキング行列部１２の出力信号から固定ビームフォーマ１１の出力信号と相関のある成分を取り除くようにブロッキング行列部１２のブロッキング行列を適応的に推定し、さらに、全体の出力信号の分散を最小化する適応ベクトルを求めるもの（例えば、特許文献１参照。）であることが望ましい。

さらに、前記初期値推定用ビームフォーミング部の少なくとも１つはＧＳＣ型ビームフォーマであって、音源から各マイクロフォンへの伝達関数の推定に基づいて固定ビームフォーマ１１の重みを表す静的ベクトルを求め、続いて、該静的ベクトルと直交するようなブロッキング行列を求め、さらに、全体の出力信号の分散を最小化する適応ベクトルを求めるもの（例えば、非特許文献６参照。）であることが望ましい。
S. Gannot and I. Chohen,"Speech enhancement based on the general transfer function GSC and postfiltering ", IEEE Transactions on Speech and Audio Processing, Volume 12, Issue 6, Nov. 2004 Page(s): 561-571。

さらに、前記初期値推定用ビームフォーミング部の少なくとも１つはＧＳＣ型ビームフォーマであって、ＳＮＲ（Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏｎ）最大化に基づいて固定ビームフォーマ１１の重みである静的ベクトルを求め、続いて、該静的ベクトルと直交するようなブロッキング行列を求め、さらに、全体の出力信号の分散を最小化する適応ベクトルを求めるもの（例えば、非特許文献７参照。）であることが望ましい。
Ernst Warsitz, Alexander Krueger, and Reinhold Haeb-Umbach, "SPEECH ENHANCEMENT WITH A NEW GENERALIZED EIGENVECTOR BLOCKING MATRIX FOR APPLICATION IN A GENERALIZED SIDELOBE CANCELLER ", in Proc. ICASSP2008。

次に、前記構成の音声強調システム１０の動作について説明する。まず、信号処理について説明する。

図３は本発明の実施の形態における音声強調システムの信号処理の流れを示すブロック図である。

図において、２４は固定ビームフォーマ１１による処理を示し、ｗ_q は固定ビームフォーマ１１の重みを表す静的ベクトルである。また、２５はブロッキング行列部１２による処理を示し、Ｂはブロッキング行列部１２のブロッキング行列である。さらに、２６は多入力キャンセラ１３による処理を示し、ｗ_a は多入力キャンセラ１３の適応ベクトルである。さらに、Ｘは音声強調システム１０の入力信号であり、Ｙは音声強調システム１０の出力信号である。

前述のように、本実施の形態における音声強調システム１０は、ＧＳＣ型ビームフォーマの一種であり、その出力信号Ｙは、マイクロフォンアレイからのマイクロフォンアレイ信号である入力信号Ｘを用い、次の式（１）によって表される。
Ｙ＝（ｗ_q −Ｂｗ_a ）^H Ｘ ・・・式（１）
ここで、（ ）^H は、（ ）で示される行列のエルミート行列を表す。

なお、フレームｔでマイクロフォンアレイによって取得された入力信号Ｘ_t の出力信号Ｙ_t は、次の式（２）によって表される。
Ｙ_t ＝（ｗ_q −Ｂｗ_a ）^H Ｘ_t ・・・式（２）
前記静的ベクトルｗ_q は、ある方向から到来した音声信号を強調する固定ベクトルであって、多チャンネル信号である入力信号Ｘの各チャンネルの信号の遅延時間差を補償する目的で使用される。特に、そのような遅延時間差を補償するビームフォーマは、Ｄｅｌａｙ−ａｎｄ−ｓｕｍビームフォーマと呼ばれる。

また、前記ブロッキング行列Ｂは、ある方向から到来した音声信号を無歪に近付けるように制約するものである、Ｂ^H ｗ_q ＝０の直交条件を満たすように設定される。この直交条件を満たすことによって、ある方向から到来した音声信号に無歪に近付けるように制約を課すことができる。

なお、従来のビームフォーマでは、目的音源の到来方向が既知であると仮定しており、到来方向が不明である場合でも、既存の音源追跡アルゴリズム（例えば、非特許文献８参照。）を用いて音源方向の自動推定が可能である。
A. Quintan and Asano, F."Tracking a varying number of speakers using particle filtering" Proc. ICASSP2008, March 30-April 4 2008。

また、前記適応ベクトルｗ_a は、多入力キャンセラ１３によって音声強調システム１０の出力信号Ｙの分布がスーパーガウシアン分布に近くなるように設定される（例えば、非特許文献３及び４参照。）。なお、このような適応ベクトルｗ_a は、前述のような初期値推定用ビームフォーミング部によって求められる。そして、このような適応ベクトルｗ_a を使用することによって、雑音を抑圧することができるだけでなく、残響音の除去又は残響音を用いた目的信号の強調を達成することができる。

なお、前記静的ベクトルｗ_q 、ブロッキング行列Ｂ及び適応ベクトルｗ_a の値は、周波数上で求めることもできるし、サブバンド上又は主成分分析等を用いた部分空間上でも求めることができる。

しかし、従来では、適応ベクトルｗ_a の閉形式解（ｔｈｅ ｃｌｏｓｅｄ−ｆｏｒｍ ｓｏｌｕｔｉｏｎ）が存在しないので、勾配法等の数値最適化アルゴリズムを用いて適応ベクトルｗ_a を推定しなければならなかった（例えば、非特許文献３及び４参照。）。なお、数値最適化アルゴリズムとしては、Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｅｓと呼ばれるもの（例えば、非特許文献９参照。）を用いることができる。
William H. Press, Saul A. Teukolsky and William T. Vetterling,"Numerical Recipes ", Cambridge Univ Pr (Sd)。

本実施の形態においては、適応ベクトル推定ユニット１４が、出力信号Ｙの分布のスーパーガウシアンの度合いが最大となる適応ベクトルｗ_a を推定する。ここでは、非特許文献３及び４に記載されているような目的関数の微分関数を使う勾配法を用いて適応ベクトルｗ_a を推定する場合についてのみ説明するが、必ずしも、勾配法に限定されるものではなく、勾配法以外の数値最適化アルゴリズムを用いて適応ベクトルｗ_a を推定することもできる。

なお、勾配法を用いて出力信号Ｙの分布のスーパーガウシアンの度合いが最大となる適応ベクトルｗ_a を推定した場合、その収束性能及び収束する解は初期値に大きく依存することになる。そこで、本実施の形態においては、収束性能の向上及び収束する解が最適解である確率を増加させる。

次に、前記適応ベクトル推定ユニット１４が適応ベクトルｗ_a を推定する動作について詳細に説明する。

図４は本発明の実施の形態における音声強調システムの適応ベクトルを推定する動作を示すフローチャートである。

まず、適応ベクトル推定ユニット１４の最終適応ベクトル推定部１７は、その出力である適応ベクトルを初期化し、適応ベクトルの初期値をゼロにする（ステップＳ１）。そして、初期値がゼロの適応ベクトルが多入力キャンセラ１３の適応ベクトルｗ_a として設定される。

続いて、目的信号検出部１５は、初期値がゼロの適応ベクトルが設定された多入力キャンセラ１３の出力信号である音声強調システム１０の出力信号Ｙに含まれる目的音声の音声信号、すなわち、目的信号を検出する。そして、目的信号が含まれていないか否か、すなわち、目的信号なしか否かを判断する（ステップＳ２）。なお、目的信号の検出は、目的音声を発する発話者が手動操作によって行ってもよいし、既に知られている自動音声区間検出装置（例えば、特許文献２参照。）を用いて目的音声の方向からの音声区間を検出することによって行ってもよい。
特開２００８−１７０７８９号公報。

そして、目的信号が含まれていない場合、初期値適応ベクトル推定部１６に含まれる初期値推定用ビームフォーミング部は、適応ベクトルの推定を行う（ステップＳ３）。この場合、出力信号Ｙの分散が最小になるように適応ベクトルの推定が行われる。そして、推定された適応ベクトルは、音声強調システム１０の記憶手段に保存される。

続いて、適応ベクトル推定ユニット１４は、音声強調システム１０の入力信号Ｘ、すなわち、受信信号を音声強調システム１０の記憶手段に保存する（ステップＳ４）。なお、受信信号の保存は、目的信号なしか否かに係わらず行われる。

続いて、適応ベクトル推定ユニット１４は、十分な量の受信信号が保存されたか否か、すなわち、保存した受信信号が十分になったか否かを判断する（ステップＳ５）。

そして、保存した受信信号が十分になった場合、例えば、１００フレーム以上の受信信号が保存された場合、最終適応ベクトル推定部１７は、出力信号Ｙの分布のスーパーガウシアンの度合いが最大となる適応ベクトルを推定する（ステップＳ６）。なお、ここで推定された適応ベクトルが最適解であるとは限らない。つまり、推定された値以外の適応ベクトルで、出力信号Ｙの分布のスーパーガウシアンの度合いをより大きくするようなものが存在する可能性がある。

そこで、最終適応ベクトル推定部１７は、初期値適応ベクトル推定部１６の初期値推定用ビームフォーミング部がステップＳ３で推定した適応ベクトルを初期値として、勾配法を用いて適応ベクトルを更新する。これにより、収束する値が最適解である確率を高くすることができる。なお、前記勾配法の数値最適化アルゴリズムには、Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｅｓと呼ばれるもの以外にも、多数のものが存在するが、例えば、最急降下法等を用いることもできるし、また、ｃｏｎｊｕｇａｔｅ勾配法を用いることもできる。

ここでは、初期値適応ベクトル推定部１６の初期値推定用ビームフォーミング部がＧｒｉｆｆｉｔｈｓ−Ｊｉｍ型ビームフォーマである場合におけるステップＳ３での適応ベクトルの推定について説明する。

Ｇｒｉｆｆｉｔｈｓ−Ｊｉｍ型ビームフォーマは、ＧＳＣ型ビームフォーマの一種であり、そのフレームｔでの出力信号Ｙ_t の分散はΣ_YYであり、次の式（３）によって表される。
Σ_YY＝Ｅ｛Ｙ_t Ｙ_t ^H ｝＝（ｗ_q −Ｂｗ_a ）^H Σ_XX（ｗ_q −Ｂｗ_a ） ・・・式（３）
ここで、Σ_XXは入力信号Ｘ_t の共分散行列であり、次の式（４）で表される。
Σ_XX＝Ｅ｛Ｘ_t Ｘ_t ^H ｝ ・・・式（４）
このとき、出力信号Ｙ_t の分散Σ_YYを最小にする適応ベクトルｗ_a は、次の式（５）のように解くことができる。
ｗ_a ＝（Ｂ^H Σ_XXＢ）^-1Ｂ^H Σ_XXｗ_q ・・・式（５）
ただし、通常は、各フレームでの入力信号Ｘ_t を用い、ｗ_a は適応的にフレーム毎に更新される。その場合、フレームｔ＋１での適応ベクトルｗ_a,t+1 は、次の式（６）のように求められる。
ｗ_a,t+1 ＝ｗ_a,t ＋（μ／Ｐ_est ）Ｂ^H Ｘ_t Ｙ_t ^* ・・・式（６）
ここで、μは、スッテプサイズであり、例えば、０．０１である。また、Ｐ_est は、正規化変数であり、例えば、入力信号のパワーの平均である。

このように、初期値適応ベクトル推定部１６の初期値推定用ビームフォーミング部は、勾配法によって適応ベクトルを推定するが、推定された適応ベクトルの収束性能は、最終適応ベクトル推定部１７がステップＳ６で推定した適応ベクトルの収束性能よりも良好である。そして、前記式（３）又は（６）によって推定した適応ベクトルを初期値として、最終適応ベクトル推定部１７は、ステップＳ６で、出力信号Ｙの分布のスーパーガウシアンの度合いが最大となる適応ベクトルを推定する。なお、ステップＳ３で初期値適応ベクトル推定部１６の初期値推定用ビームフォーミング部がフレーム毎に適応ベクトルを更新した場合には、最終フレームの適応ベクトルが初期値として用いられる。

なお、ステップＳ３で適応ベクトルを推定する初期値適応ベクトル推定部１６の初期値推定用ビームフォーミング部は、Ｇｒｉｆｆｉｔｈｓ−Ｊｉｍ型ビームフォーマに限定されるものではなく、他の手段であってもよい。例えば、特許文献１に記載されたビームフォーマであってもよいし、非特許文献５に記載されたビームフォーマであってもよいし、非特許文献６に記載されたビームフォーマであってもよい。ただし、最終適応ベクトル推定部１７がステップＳ６で用いるスーパーガウシアン最大化基準よりも簡単なアルゴリズムを導く、ビームフォーマの出力信号の分散の最小化基準であることが望ましい。特許文献１、非特許文献５及び６に記載された技術は、いずれも、ビームフォーマの出力信号の分散の最小化基準によって適応ベクトルを推定している。

次に、前記初期値適応ベクトル推定部１６に含まれる複数の初期値推定用ビームフォーミング部を使用する場合の適応ベクトルｗ_a を推定する動作について詳細に説明する。

図５は本発明の実施の形態における音声強調システムの複数の初期値推定用ビームフォーミング部を使用して適応ベクトルを推定する動作を示すフローチャートである。

まず、適応ベクトル推定ユニット１４の最終適応ベクトル推定部１７は、その出力である適応ベクトルを初期化し、適応ベクトルの初期値をゼロにする（ステップＳ１１）。

続いて、目的信号検出部１５は、音声強調システム１０の出力信号Ｙに含まれる目的音声の音声信号、すなわち、目的信号を検出する。そして、目的信号が含まれていないか否か、すなわち、目的信号なしか否かを判断する（ステップＳ１２）。

そして、目的信号が含まれていない場合、初期値適応ベクトル推定部１６に含まれる複数の初期値推定用ビームフォーミング部、すなわち、１個目〜Ｎ個目（Ｎは任意の自然数）の初期値推定用ビームフォーミング部は、適応ベクトルの推定を行う（ステップＳ１３−１〜１３−Ｎ）。

例えば、１個目の初期値推定用ビームフォーミング部がＧｒｉｆｆｉｔｈｓ−Ｊｉｍ型ビームフォーマである場合には、前述のようにして適応ベクトルの推定を行う。そして、適応ベクトルの１個目の初期値を得る。また、２個目の初期値推定用ビームフォーミング部が特許文献１に記載されたビームフォーマである場合も、同様に、適応ベクトルの推定を行って、適応ベクトルの２個目の初期値を得る。さらに、３個目の初期値推定用ビームフォーミング部が非特許文献５に記載されたビームフォーマである場合も、同様に、適応ベクトルの推定を行って、適応ベクトルの３個目の初期値を得る。さらに、４個目の初期値推定用ビームフォーミング部が非特許文献６に記載されたビームフォーマである場合も、同様に、適応ベクトルの推定を行って、適応ベクトルの４個目の初期値を得る。このようにして、適応ベクトルのＮ個の初期値を得ることができる。

続いて、適応ベクトル推定ユニット１４は、音声強調システム１０の入力信号Ｘ、すなわち、受信信号を音声強調システム１０の記憶手段に保存する（ステップＳ１４）。なお、受信信号の保存は、目的信号なしか否かに係わらず行われる。

続いて、適応ベクトル推定ユニット１４は、十分な量の受信信号が保存されたか否か、すなわち、保存した受信信号が十分になったか否かを判断する（ステップＳ１５）。

そして、保存した受信信号が十分になった場合、最終適応ベクトル推定部１７は、出力信号Ｙの分布のスーパーガウシアンの度合いが最大となる適応ベクトルを推定する（ステップＳ１６−１〜１６−Ｎ）。この場合、最終適応ベクトル推定部１７は、ステップＳ１３−１〜１３−Ｎで得られた適応ベクトルの１〜Ｎ個目の初期値をそれぞれ用いて、出力信号Ｙの分布のスーパーガウシアンの度合いが最大となる適応ベクトルを推定する。これにより、Ｎ個の適応ベクトルの推定結果を得ることができる。

このように、初期値適応ベクトル推定部１６に含まれる複数の初期値推定用ビームフォーミング部を使用して適応ベクトルの複数の初期値をそれぞれ求めることによって、複数の良好な初期値を得ることができるので、出力信号Ｙの分布のスーパーガウシアンの度合いが最大となる解により収束しやすくなる。

最後に、最終適応ベクトル推定部１７は、Ｎ個の適応ベクトルの推定結果の中から、出力信号Ｙの分布のスーパーガウシアンの度合いが最大となる適応ベクトルを選択する。すなわち、Ｎ個の候補から最終選択を行う（ステップＳ１７）。そして、選択した適応ベクトルは、多入力キャンセラ１３の適応ベクトルｗ_a として設定され、該適応ベクトルｗ_a を使用して、音声強調システム１０は音声強調を行う。

なお、その他の点については、図４に示されるステップＳ１〜Ｓ６の動作と同様であるので、説明を省略する。

このように、本実施の形態において、音声強調システム１０は、固定ビームフォーマ１１と、ブロッキング行列部１２と、多入力キャンセラ１３と、適応ベクトル推定ユニット１４とを有する。そして、固定ビームフォーマ１１の静的ベクトル、ブロッキング行列部１２のブロッキング行列、及び、多入力キャンセラ１３の適応ベクトルによってマイクロフォンアレイ信号を処理することにより、複数の音源が発生した音声信号の中から目的音声を取得する。また、適応ベクトル推定ユニット１４は、音声強調システム１０の出力信号の分布がスーパーガウシアン分布に近くなるように、多入力キャンセラ１３の適応ベクトルを推定する。

これにより、音声強調システム１０は、マイクロフォンアレイの複数のマイクロフォンが取得した音声信号から雑音を効果的に除去することができるとともに、目的音声のみを強調して取り出すことができる。

また、適応ベクトル推定ユニット１４は、目的信号検出部１５と、初期値適応ベクトル推定部１６と、最終適応ベクトル推定部１７とを備える。そして、目的信号検出部１５は目的信号の有無を判別し、初期値適応ベクトル推定部１６は、目的信号検出部１５が目的信号なしと判断した場合には、目的音声の方向以外から到来した音声信号を抑圧するために出力信号の分散又はパワーの和を最小化し、最終適応ベクトル推定部１７は、初期値適応ベクトル推定部１６によって推定された値を初期値とし、最終の出力信号の分布のスーパーガウシアンの度合いの高い適応ベクトルを求める。

これにより、最終の出力信号の分布がスーパーガウシアン分布に極めて近いものとなるので、目的音声のみを効果的に取り出して音声強調を行うことができる。

なお、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。

また、ブロッキング行列Ｂは、無歪に近づけるように制約すると説明したが、具体的には、静的ベクトルからの出力をヌル（ゼロ）空間に投影するブロッキング行列は、ある所定の方向から到来する目的信号を無歪にすることができる場合と、静的ベクトルからの出力の成分をブロッキング行列の出力から取り除くようにブロッキング行列を求めて、ある所定の方向から到来する目的信号を無歪にすることができない場合があるが、これらを含む概念であり、ブロッキング行列が無歪であれば望ましいがある特定の目的信号をある程度の歪を許して無歪に近いブロッキング行列を求めても良い。

本発明の実施の形態における音声強調システムの構成を示すブロック図である。 本発明の実施の形態における適応ベクトルと目的関数との関係を説明する図である。 本発明の実施の形態における音声強調システムの信号処理の流れを示すブロック図である。 本発明の実施の形態における音声強調システムの適応ベクトルを推定する動作を示すフローチャートである。 本発明の実施の形態における音声強調システムの複数の初期値推定用ビームフォーミング部を使用して適応ベクトルを推定する動作を示すフローチャートである。

符号の説明

１０ 音声強調システム
１１ 固定ビームフォーマ
１２ ブロッキング行列部
１３ 多入力キャンセラ
１４ 適応ベクトル推定ユニット
１５ 目的信号検出部
１６ 初期値適応ベクトル推定部
１７ 最終適応ベクトル推定部

Claims (3)

1. 所定の方向から到来した音声信号を強調する静的ベクトルを備える固定ビームフォーミング部と、
   所定の方向から到来する目的信号を無歪に近付けるように制約するブロッキング行列を備えるブロッキング行列部と、
   音声信号の分布をスーパーガウシアン分布に近付ける適応ベクトルを備える多入力キャンセラと、
   初期値を求めることによって前記適応ベクトルを推定する適応ベクトル推定ユニットとを有し、
   複数のマイクロフォンが取得した複数の音源からの音声信号が入力されると、目的音声の音声信号を強調して出力することを特徴とする音声強調システム。
2. 前記適応ベクトル推定ユニットは、前記多入力キャンセラが出力する音声信号に含まれる目的音声の音声信号を検出する目的信号検出部と、該目的信号検出部によって目的音声の音声信号が検出されない場合に適応ベクトルの初期値を推定する初期値適応ベクトル推定部と、該初期値適応ベクトル推定部が推定した初期値を更新し、前記多入力キャンセラが出力する音声信号の分布のスーパーガウシアンの度合いを最大にする適応ベクトルを推定する最終適応ベクトル推定部とを備える請求項１に記載の音声強調システム。
3. 前記初期値適応ベクトル推定部は、各々が適応ベクトルの初期値を推定する複数の初期値推定用ビームフォーミング部を含み、
   前記最終適応ベクトル推定部は、各初期値を更新して複数の適応ベクトルを推定し、推定した複数の適応ベクトルの中から前記多入力キャンセラが出力する音声信号の分布のスーパーガウシアンの度合いを最大にする適応ベクトルを選択する請求項２に記載の音声強調システム。

Images