JP2005208648A - スイッチング状態空間モデルによるマルチモーダル的変分推論を使用して音声を認識する方法 - Google Patents

Abstract

【課題】 少なくとも２つであるがフレームのすべてより少ないフレームを含むウィンドウを定義することによって、スイッチング状態空間モデルの事後確率パラメータを効率的に設定する方法を提供すること。
【解決手段】 別々の事後確率パラメータが、ウィンドウ内のフレームごとに判定される。ウィンドウを、時間的に左から右に順次移動し、その結果、ウィンドウに、フレームのシーケンスの１つまたは複数の後続フレームが含まれるようにする。別々の事後確率パラメータを、移動したウィンドウのフレームごとに判定する。この方法は、より厳格な解をよく近似するが、２から３桁だけ計算コストを節約する。さらに、フレームごとの基礎で観測ベクトルを直接に利用し、時間的に左から右に動作する、スイッチング状態空間モデルの最適の離散状態シーケンスを判定する方法が得られる。
【選択図】 図３

Description

本発明は、パターン認識に関する。具体的には、本発明は、音声認識に関する。

音声認識システムなどのパターン認識システムでは、入力信号を取得し、その信号のデコードを試みて信号によって示されているパターンが見つけられる。たとえば、音声認識システムでは、（しばしばテスト信号と称される）音声信号が、認識システムによって受け取られ、音声信号によって表される単語の列を識別するためにデコードされる。

多くの音声認識システムでは、隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）が使用され、このモデルでは音響単位（ａｃｏｕｓｔｉｃ ｕｎｉｔ）または音声単位（ｓｐｅｅｃｈ ｕｎｉｔ）とも称する音声単位（ｐｈｏｎｅｔｉｃ ｕｎｉｔ）が、単一層の接続された状態によって表される。トレーニング信号を使用して、状態を占める確率分布および状態間を推移する確率分布が、音声単位ごとに判定される。音声信号をデコードするため、信号がフレームに分割され、各フレームが特徴ベクトルに変換される。この特徴ベクトルを状態の分布と比較して、フレームによって表せるＨＭＭ状態の最も可能性のあるシーケンスを識別する。そのシーケンスに対応する音声単位が選択される。

ＨＭＭベースの認識システムは、多くの比較的単純な音声認識タスクで良好に動作するが、音声のある種の重要な動的態様を直接にモデル化しない（また、会話音声などの困難なタスクについてうまく機能しないことが知られている）。その結果、ＨＭＭベースの認識システムは、トレーニングに使用される音声信号とデコードされる音声信号との間の動的な言語音（ａｒｔｉｃｕｌａｔｉｏｎ）の差に対処することができない。

ＨＭＭシステムに対する代替となるシステムが提案されてきている。具体的には、音声信号の生成（ｐｒｏｄｕｃｔｉｏｎ）関連パラメータの統計的に定義された軌道または挙動を直接、モデル化することが提案された。生成関連パラメータの値は直接測定できないので、これらのモデルを隠れ動的モデル（Ｈｉｄｄｅｎ Ｄｙｎａｍｉｃ Ｍｏｄｅｌ、ＨＤＭ）と称する。隠れ動的モデルは、２種類の隠れ状態を提供するスイッチング状態空間モデル（ｓｗｉｔｃｈｉｎｇ ｓｔａｔｅ ｓｐａｃｅ ｍｏｄｅｌ）と称するモデルのクラスの一例である。２種類の隠れ状態は、２つの１次マルコフ連鎖を形成し、連続鎖は、離散鎖の上で条件付けられる。

スイッチング状態空間モデルに関する問題の１つが、期待値最大化（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムなどの一般的なトレーニングアルゴリズムでは、スイッチング状態空間モデルが手におえないので、トレーニングが困難であることである。具体的に言うと、この計算は、音声信号の追加のフレームの各々について指数関数的に増加することになるのである。

したがって、スイッチング状態空間動的モデルのパラメータを効率的にトレーニングできるようにするトレーニングシステムが必要である。

スイッチング状態空間モデルの事後確率パラメータを設定する方法は、フレームのシーケンスのうちの少なくとも２つだがすべてより少ないフレームを含むウィンドウを定義することによって開始される。別々の事後確率パラメータが、ウィンドウ内のフレームごとに判定される。その後、ウィンドウを移動し、その結果、ウィンドウに、フレームのシーケンス内の１つまたは複数の後続フレームが含まれるようにする。別々の事後確率パラメータが、移動したウィンドウ内のフレームごとに判定される。

本発明のさらなる態様では、スイッチング状態空間モデルのモデルパラメータが保管され、音声信号が観測ベクトルの組に変換されるが、ここで、各ベクトルは音声信号の別々のフレームに関連する。音声信号のフレームごとに、フレーム内の離散的な隠れ状態への各経路（ｐａｔｈ）について経路表（ｐａｔｈ ｓｃｏｒｅ）を判定する。経路表を使用して、フレームの各離散的な隠れ状態への単一の経路を選択する。

図１に、本発明を実施することができる適切なコンピューティングシステム環境１００の例を示す。コンピューティングシステム環境１００は、適切なコンピューティング環境の一例にすぎず、本発明の使用または機能の範囲に関する制限を提案することを意図されたものではない。コンピューティング環境１００を、例示的なオペレーティング環境１００に示された１つの構成要素またはその組合せに関する依存性または要件を有するものと解釈してもならない。

本発明は、多数の他の汎用または専用コンピューティングシステム環境またはコンピューティングシステム構成と共に動作する。本発明と共に使用するのに適する可能性がある周知のコンピューティングシステム、コンピューティング環境、および／またはコンピューティング構成の例に、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド装置、ラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブル民生用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、テレフォニシステム、上記のシステムまたは装置のいずれかを含む分散コンピューティング環境、および類似物が含まれるが、これに制限はされない。

本発明を、コンピュータによって実行される、プログラムモジュールなどのコンピュータ実行可能命令の全般的な文脈で説明することができる。一般に、プログラムモジュールには、特定のタスクを実行するか特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。本発明は、通信ネットワークを介してリンクされたリモート処理装置によってタスクが実行される分散コンピューティング環境で実施されるように設計されている。分散コンピューティング環境では、プログラムモジュールが、メモリ記憶装置を含むローカルおよびリモートの両方のコンピュータ記憶媒体に配置される。

図１を参照すると、本発明を実施する例示的なシステムには、コンピュータ１１０の形の汎用コンピューティング装置が含まれることがわかる。コンピュータ１１０の構成要素に、処理ユニット１２０、システムメモリ１３０、およびシステムメモリを含む様々なシステム構成要素を処理ユニット１２０に結合するシステムバス１２１が含まれるが、これに制限されない。システムバス１２１は、メモリバス、メモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスを含む複数の種類のバス構造のいずれかとすることができる。制限ではなく例として、そのようなアーキテクチャに、Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、Ｅｎｈａｎｃｅｄ ＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカルバス、およびメザニンバスとも称するＰｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）バスが含まれる。

コンピュータ１１０に、通常は、様々なコンピュータ読取可能な媒体が含まれる。コンピュータ読取可能な媒体は、コンピュータ１１０によってアクセスできるすべての使用可能な媒体とすることができ、これには、揮発性および不揮発性の媒体、取外し可能および固定の媒体の両方が含まれる。制限ではなく例として、コンピュータ読取可能な媒体には、コンピュータ記憶媒体および通信媒体を含めることができる。コンピュータ記憶媒体に、コンピュータ読取可能命令、データ構造、プログラムモジュール、または他のデータなどの情報の保管の方法または手法で実施された揮発性および不揮発性、取外し可能および固定の両方の媒体が含まれる。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のメモリテクノロジ、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、または他の光学ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶装置、あるいは、所望の情報を保管するのに使用でき、コンピュータ１１０によってアクセスできるすべての他の媒体が含まれるが、これに制限されない。通信媒体によって、通常は、搬送波または他のトランスポート機構などの変調されたデータ信号でコンピュータ読取可能命令、データ構造、プログラムモジュール、または他のデータが実装され、通信媒体には、すべての情報配布媒体が含まれる。用語「変調されたデータ信号」は、信号内に情報をエンコードする形でその特性の１つまたは複数を設定または変更された信号を意味する。制限ではなく例として、通信媒体に、有線ネットワークまたは直接配線接続などの有線媒体と、音響、ＲＦ、赤外線、および他の無線媒体などの無線媒体が含まれる。上記のいずれかの組合せも、コンピュータ読取可能な媒体の範囲に含まれなければならない。

システムメモリ１３０に、読取専用メモリ（ＲＯＭ）１３１およびランダムアクセスメモリ（ＲＡＭ）１３２など、揮発性および／または不揮発性のメモリの形のコンピュータ記憶媒体が含まれる。スタートアップ中などにコンピュータ１１０内の要素の間での情報の転送を助ける基本ルーチンを含む基本入出力システム１３３（ＢＩＯＳ）が、通常はＲＯＭ１３１に保管される。ＲＡＭ１３２には、通常は、処理ユニット１２０から即座にアクセス可能かつ／または処理ユニット１２０によって現在操作されつつあるデータおよび／またはプログラムモジュールが含まれる。制限ではなく例として、図１に、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７を示す。

コンピュータ１１０に、他の取外し可能／固定、揮発性／不揮発性のコンピュータ記憶媒体も含めることができる。例としてのみ、図１に、固定不揮発性磁気媒体から読み取るかこれに書き込むハードディスクドライブ１４１、取外し可能不揮発性磁気ディスク１５２から読み取るかこれに書き込む磁気ディスクドライブ１５１、ＣＤ ＲＯＭまたは他の光学媒体などの取外し可能不揮発性光ディスク１５６から読み取るかこれに書き込む光ディスクドライブ１５５を示す。例示的なオペレーティング環境で使用できる他の取外し可能／固定、揮発性／不揮発性のコンピュータ記憶媒体に、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭ、および類似物が含まれるが、これに制限はされない。ハードディスクドライブ１４１は、通常は、インターフェース１４０などの固定メモリインターフェースを介してシステムバス１２１に接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は、通常は、インターフェース１５０などの取外し可能メモリインターフェースによってシステムバス１２１に接続される。

上述したように、図１に示されたドライブおよびそれに関連するコンピュータ記憶媒体により、コンピュータ１１０のコンピュータ読取可能命令、データ構造、プログラムモジュール、および他のデータの記憶装置が提供される。図１では、たとえば、ハードディスクドライブ１４１が、オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７を保管するものとして図示されている。これらの構成要素を、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７と同一または異なるもののいずれかとすることができることに留意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７は、最小限でこれらが異なるコピーであることを示すために、異なる符号を与えられている。

ユーザは、キーボード１６２、マイクロホン１６３、および、マウス、トラックボール、またはタッチパッドなどのポインティング装置１６１などの入力装置を介してコンピュータ１１０にコマンドおよび情報を入力することができる。他の入力装置（図示せず）に、ジョイスティック、ゲームパッド、衛星パラボラアンテナ、スキャナ、または類似物を含めることができる。上記および他の入力装置は、しばしば、システムバスに結合されたユーザ入力インターフェース１６０を介して処理ユニット１２０に接続されるが、パラレルポート、ゲームポート、またはｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ（ＵＳＢ）などの他のインターフェースおよびバス構造によって接続することができる。モニタ１９１または他のタイプのディスプレイ装置も、ビデオインターフェース１９０などのインターフェースを介してシステムバス１２１に接続される。モニタに加えて、コンピュータに、スピーカ１９７およびプリンタ１９６など、出力周辺インターフェース１９５を介して接続できる他の周辺出力装置も含めることができる。

コンピュータ１１０は、リモートコンピュータ１８０などの１つまたは複数のリモートコンピュータへの論理接続を使用して、ネットワーク化された環境で動作する。リモートコンピュータ１８０は、パーソナルコンピュータ、ハンドヘルド装置、サーバ、ルータ、ネットワークＰＣ、ピア装置、または他の一般的なネットワークノードとすることができ、通常は、コンピュータ１１０に関して上で説明した要素の多くまたはすべてが含まれる。図１に示された論理接続に、ローカルエリアネットワーク（ＬＡＮ）１７１および広域ネットワーク（ＷＡＮ）１７３が含まれるが、他のネットワークも含めることができる。そのようなネットワーキング環境は、オフィス、会社全体のコンピュータネットワーク、イントラネット、およびインターネットでは通常のものである。

ＬＡＮネットワーキング環境で使用される時に、コンピュータ１１０は、ネットワークインターフェースまたはネットワークアダプタ１７０を介してＬＡＮ１７１に接続される。ＷＡＮネットワーキング環境で使用される時に、コンピュータ１１０に、通常は、インターネットなどのＷＡＮ１７３を介する通信を確立する、モデム１７２または他の手段が含まれる。モデム１７２は、内蔵または外付けとすることができるが、ユーザ入力インターフェース１６０または他の適当な機構を介してシステムバス１２１に接続することができる。ネットワーク化された環境では、コンピュータ１１０に関して図示したプログラムモジュールまたはその一部を、リモートメモリ記憶装置に保管することができる。制限ではなく例として、図１に、リモートコンピュータ１８０に常駐するものとしてリモートアプリケーションプログラム１８５を示す。図示のネットワーク接続が、例示的であり、コンピュータの間の通信リンクを確立する他の手段を使用できることを諒解されたい。

図２は、例示的なコンピューティング環境であるモバイル装置２００のブロック図である。モバイル装置２００は、マイクロプロセッサ２０２、メモリ２０４、入出力構成要素２０６、およびリモートコンピュータまたは他のモバイル装置と通信する通信インターフェース２０８を備える。一実施形態で、上述の構成要素は、適切なバス２１０を介して相互の通信のために結合される。

メモリ２０４は、バッテリバックアップモジュール（図示せず）を有するランダムアクセスメモリ（ＲＡＭ）などの不揮発性電子メモリとして実装され、モバイル装置２００への全体の電力がシャットダウンされても、メモリ２０４に保管された情報が失われないようになっている。メモリ２０４の一部は、プログラム実行のためにアドレス可能メモリとして割り振られることが望ましく、メモリ２０４のもう一方の部分は、ディスクドライブへの保管をシミュレートするなど、記憶装置に使用されることが好ましい。

メモリ２０４には、オペレーティングシステム２１２、アプリケーションプログラム２１４、ならびにオブジェクト記憶部２１６が含まれる。動作中に、オペレーティングシステム２１２は、プロセッサ２０２によってメモリ２０４から実行されることが好ましい。オペレーティングシステム２１２は、好ましい実施形態で、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ社が市販するＷＩＮＤＯＷＳ（登録商標）ＣＥブランドのオペレーティングシステムである。オペレーティングシステム２１２は、モバイル装置用に設計されることが望ましく、公開されたアプリケーションプログラミングインターフェースおよびメソッドの組によってアプリケーションプログラム２１４が使用することのできるデータベース機能を実装する。オブジェクト記憶部２１６のオブジェクトは、公開されたアプリケーションプログラミングインターフェースおよびメソッドへの呼出しに少なくとも部分的に応答して、アプリケーション２１４およびオペレーティングシステム２１２によって維持される。

通信インターフェース２０８は、モバイル装置２００が情報を送受できるようにする多数の装置および技術を表している。装置には、たとえば有線モデム、無線モデム、衛星受信器、および放送チューナが含まれる。モバイル装置２００をコンピュータに直接に接続して、データを交換することもできる。その場合に、通信インターフェース２０８は、赤外線トランシーバ接続、シリアル通信接続、またはパラレル通信接続とすることができ、これらのすべてが、ストリーミング情報を伝送することができる。

入出力構成要素２０６に、接触感知スクリーン、ボタン、ローラー、およびマイクロホンなどの様々な入力装置、ならびに音声発生器、振動装置、およびディスプレイなどの様々な出力装置が含まれる。上記でリストした装置は、例であり、すべてがモバイル装置２００に存在する必要はない。さらに、他の入出力装置を、本発明の範囲内でモバイル装置２００に接続するか、モバイル装置２００を用いて見つけることができる。

本発明は、音声の生成モデルを提供する。このモデルを使用すると、音声は、音声単位のシーケンスの言語学的定義を音声によって実施するための、話者により企図された出力として表される。この企図が実行される間に、話者は、統計的に定義され、現在の音声単位に関連するターゲットに向かう軌道（再帰的雑音（ｒｅｃｕｒｓｉｖｅ ｎｏｉｓｅ）を伴う状態空間定式化（ｓｔａｔｅ−ｓｐａｃｅ ｆｏｒｍｕｌａｔｉｏｎ）を使用する）に従う生成関連パラメータの値を生成する。本発明の一実施形態では、この軌道は、スイッチング状態空間モデルとしてモデル化される。

本発明のモデルは、各フレームで追加される雑音と共に軌道が再帰的に定義される、隠れ軌道モデル（Ｈｉｄｄｅｎ Ｔｒａｊｅｃｔｏｒｙ Ｍｏｄｅｌ）の特殊形である。このスイッチング状態空間モデルは、２種類すなわち離散および連続の隠れ変数（あるいは、状態とも称する）を有する。この状態は、直接測定できないので隠れと見なされる。隠れ状態の各々はマルコフ連鎖を形成し、連続的隠れ状態鎖は離散的な隠れ状態鎖の上で条件付けられる。

２つの異なる種類の隠れ状態は、２つの階層（ｌａｙｅｒ）、すなわち隠れた連続的な生成関連パラメータ（声道共振周波数など）を記述する動的モデル構成要素または軌道モデル構成要素と、生成関連パラメータをメル周波数ケプストラム係数（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔ）などの観測可能な音響特徴に変換するマッピングモデル構成要素とを含むモデルを生成する。状態空間モデルの状態式は、生成関連パラメータの連続的な状態の値のシーケンス（ｘ_１，．．．，ｘ_ｎ，．．．，ｘ_Ｎ）を予測する。マッピングモデルまたは観測方程式は、連続的な隠れ状態値のシーケンスを与えられて、音響観測ベクトルのシーケンスｙ_ｎを予測する。

再帰的に定義される軌道およびマッピングモデルは、２つの式によって簡潔に表現することができる。
ｘ_ｎ＝Ａ_ｓｘ_ｎ−１＋ａ_ｓ＋ｗ 式１
ｙ_ｎ＝Ｃ_ｓｘ_ｎ＋ｃ_ｓ＋ｖ 式２
ここで、ｎはフレーム番号インデックスであり、ｓは音声単位を表す隠れ離散状態であり、ｘは隠れ生成関連状態であり、ｙは音響特徴ベクトルであり、Ａ_ｓおよびＣ_ｓは音声単位依存システム行列であり、ａ_ｓは音声単位依存制御入力（同等に、音声単位依存ターゲットとして表すことができる）であり、ｃ_ｓは音声単位依存定数であり、ｗおよびｖはガウス雑音項である。

一実施形態で、式１および２のモデルが、下記のように確率分布に関して表される。
ｐ（ｓ_ｎ＝ｓ｜ｓ_ｎ−１＝ｓ’）＝π_ｓｓ’ 式３
ｐ（ｘ_ｎ｜ｓ_ｎ＝ｓ，ｘ_ｎ−１）＝Ｎ（ｘ_ｎ｜Ａ_ｓｘ_ｎ−１＋ａ_ｓ，Ｂ_ｓ） 式４
ｐ（ｙ_ｎ｜ｓ_ｎ＝ｓ，ｘ_ｎ）＝Ｎ（ｙ_ｎ｜Ｃ_ｓｘ_ｎ＋ｃ_ｓ，Ｄ_ｓ） 式５
ただし、初期条件は、

である。Ｂ_ｓ、Ｂ_ｓ ^０、およびＤ_ｓは、プレシジョンマトリックス（ｐｒｅｃｉｓｉｏｎ ｍａｔｒｉｘ、共分散行列の逆行列）であり、雑音項ｗおよびｖに関連する分散に基づく。

一般に、式３から５のモデルパラメータのトレーニングは、反復的な２ステップの工程を必要とする。第１ステップは推論と称し、その間にモデルパラメータの初期の組を与えられ、事後分布ｐ（ｓ_１：Ｎ，ｘ_１：Ｎ｜ｙ_１：Ｎ）が計算される。学習またはパラメータ推定と称する第２ステップ中に、モデルパラメータが更新される。これらのステップは、モデルパラメータが収束するか、所定の反復の最大回数に達するまで繰り返される。一般化された期待値最大化トレーニングを実行するとき、Ｅステップが推論ステップであり、Ｍステップが学習ステップである。

推論ステップは、事後計算が解決困難なので、式３から５のモデルについて直接に実行することができない。本発明の一実施形態は、事後ＨＭＭ（ＨＭＭ ｐｏｓｔｅｒｉｏｒ）を使用して事後分布を近似することによって、この問題を克服する。具体的に言うと、事後分布ｐ（ｓ_１：Ｎ，ｘ_１：Ｎ｜ｙ_１：Ｎ）を、

と定義される事後ＨＭＭを使用して近似する。
近似と実際の事後分布との間の発散を最小にすることによって、本発明者は、確率ｑ（ｘ_ｎ｜ｓ_ｎ，ｙ_１：Ｎ）が、正規分布に従うことを発見した。
ｑ（ｘ_ｎ｜ｓ_ｎ，ｙ_１：Ｎ）＝Ｎ（ｘ_ｎ｜ρ_ｓ，ｎ，Γ_ｓ，ｎ） 式７
ここで、平均ρ_ｓ，ｎおよび精度Γ_ｓ，ｎは、

によって与えられる。ここで、

は、時刻ｎの状態ｓを与えられて、時刻ｎ−１の状態ｓ’から時刻ｎの状態ｓに推移する事後推移確率：

であり、

は、時刻ｎの状態ｓから時刻ｎ＋１の状態ｓ’に推移する事後確率

である。

事後推移確率は、ｎ＝Ｎ，．．．，１に関して記述される逆方向経路

によって再帰的に計算される。

ｎ＝０について、

ここで、

ただし、＜＞は、２つの等しいサイズのベクトルまたは行列の要素単位の積の合計によって得られるスカラを表し、ｓ’は、合計に関する音声単位のインデックスである。

式９の現在のρ_ｓ，ｎの計算は、前の時間点ｎ−１でのρ_{ｓ，ｎ−１}および次の時間点ｎ＋１でのρ_{ｓ，ｎ＋１}に依存するので、すべてのフレームにまたがってρ_ｓ，ｎの値をカバーする連立方程式の解が値の計算に必要であった。これは、通常は、式の組を行列の形に編成し、行列反転を実行することによって行われる。この計算は、オーダーＯ（（ＮＳ）^３）の複雑さを有し、ここで、Ｎは時間点の数であり、Ｓは各時間点の可能な状態の数である。通常の音声信号についてこの計算を行なうと、実用的なシステムで実行できなくなるほど時間を消費することとなる。

本発明で、この計算の複雑さを低減する方法を図３のフローチャートに示す。図３のステップ３００で、モデルパラメータの初期値を保管する。この初期値は、ランダムに設定するか、母音構成素音（ｆｏｒｍａｎｔ）の所与の既知の特性および母音構成素音と観測ベクトルの間の期待される関係を与えられた場合に妥当な推定に基づいて設定することができる。ステップ３０１で、音声信号のフレームを観測ベクトルに変換する。ステップ３０２で、高速母音構成素音探知器（ｆａｓｔ ｆｏｒｍａｎｔ ｔｒａｃｋｅｒ）を使用して、音声信号のフレームごとにρ_ｓ，ｎの初期推定値を作成する。時間点ｎでの各初期のρ_ｓ，ｎが、状態ｓのすべてについて同一であることに留意されたい。この実施形態では、隠れ生成関連パラメータが、母音構成素音に似た声道共振値であるという前提に基づいて、初期推定値について母音構成素音探知器を使用する。隠れ生成関連パラメータが、異なるタイプの値である時には、異なる技法を使用して、ρ_ｓ，ｎの初期値を推定する。

ステップ３０３で、ρ_ｓ，ｎの初期値を使用して、式１０から１２を使用して事後推移確率を判定する。推移確率を判定したならば、ステップ３０４で、音声信号の第２フレームから始めて音声信号のＭ個のフレームのウィンドウを選択するが、Ｍは総フレーム数Ｎ未満である。図４に、フレーム４０２、４０４、４０６、および４０８を含むウィンドウ４００の例を示す。

ステップ３０６で、Ｍ個のフレームのウィンドウ内の各フレームｎの状態ｓごとにΓ_ｓ，ｎおよびρ_ｓ，ｎを計算する。この計算を行うために、ウィンドウの前のフレームおよびウィンドウの後のフレームのρ_ｓ，ｎの値が必要である。最初のウィンドウについて、この値の両方が、母音構成素音探知器によって作られた最初のρ_ｓ，ｎの推定値から算出される。第１ウィンドウの後のすべてのウィンドウについて、ウィンドウの前のフレームのρ_ｓ，ｎの値は、前のウィンドウについて実行された計算から算出される。ウィンドウの後のフレームのρ_ｓ，ｎの値は、母音構成素音探知器によって判定された初期値から算出される。

ウィンドウは、音声信号全体よりはるかに小さいので、この計算は、音声信号全体におよぶ従来の計算よりはるかに少ない時間ですむ。一実施形態では、この計算に行列反転を使用して連立方程式を解くことが含まれる。

ウィンドウ内のすべてのフレームについてΓ_ｓ，ｎおよびρ_ｓ，ｎの値を判定した後に、この処理は、ステップ３０８で、処理すべきフレームがまだあるかどうかを判定する。フレームがまだある場合には、ステップ３１０でウィンドウをＪフレームだけ移動させる。この処理は、ステップ３０６に戻って、移動したウィンドウに含まれるＭ個のフレームのΓ_ｓ，ｎおよびρ_ｓ，ｎの値を計算する。

図４に、フレーム４０６、４０８、４１２、および４１４におよぶウィンドウ４１０として示された移動したウィンドウの例を示す。この実施形態で、移動したウィンドウ４１０が、部分的にウィンドウ４００にオーバーラップすることに留意されたい。これが、ρ_ｓ，ｎおよびΓ_ｓ，ｎの値の不連続性を緩和するのに役立つのである。

ρ_ｓ，ｎの値は推移確率に依存し、推移確率の値はρ_ｓ，ｎに依存するので、本発明のいくつかの実施形態では、複数の反復を実行してステップ３０２で新しいρ_ｓ，ｎに基づいて推移確率の値を更新し、ステップ３０６で更新された推移確率に基づいてρ_ｓ，ｎの値を更新する。ステップ３１２で、これらの値の更新のもう１つの繰り返しを実行しなければならないかどうかを判定する。追加の反復が必要な場合には、ステップ３０２に戻る。これ以上反復が必要でない場合には、この処理はステップ３１４で終了する。

図３の処理によって実行される計算は、ρ_ｓ，ｎを計算する従来の技法よりはるかに効率的である。具体的に言うと、図３の処理は、桁数（ｏｒｄｅｒ）Ｏ（（ＭＳ）^２Ｎ／Ｊ）の計算が必要なほど複雑であるが、これは、従来技術の桁数Ｏ（（ＮＳ）^３）よりはるかに簡易である。

推論ステップが完了した後に、Γ_ｓ，ｎおよびρ_ｓ，ｎの値を学習ステップで使用して、モデルパラメータΘ＝｛π_ｓｓ’，Ａ_１：Ｓ,ａ_１：Ｓ,Ｂ_１：Ｓ,Ｃ_１：Ｓ,ｃ_１：Ｓ,Ｄ_１：Ｓ｝の値を、下記に従って設定する。

π_ｓｓ’は、別々にトレーニングされた言語モデルによって、または異なる音が互いにどのように続くかを記述した音素配列論モデルによって設定される。このモデルは、そのような知識が使用できない場合、均一とすることができる。

ここで、γ_ｓ，ｎは、順方向経路

によって再帰的に決定される。

推論ステップおよび学習ステップを複数回繰り返して、トレーニングを完了することができる。

音声認識
モデルパラメータをトレーニングした後に、モデルパラメータおよび近似を使用して、音声認識を実行することができる。これには、音声信号を表す観測特徴ベクトルのシーケンスを与えて、音などの音声単位の最も可能性のあるシーケンスを識別するステップが含まれる。

過去において、音声認識は、γ_ｓ，ｎの判定を必要とし、γ_ｓ，ｎは、音声素片全体におよぶ時刻ｎの状態の確率を提供し、バックワードフォワードリカージョン（ｂａｃｋｗａｒｄ−ｆｏｒｗａｒｄ ｒｅｃｕｒｓｉｏｎ）を必要とする。その結果、音声認識は、音声のフレームが受け取られる際にビタビデコーダで直接に実施することができなかった。ビタビデコーディングでは、フレームｎの状態への経路表が、経路ごとに生成される。最も高い経路表を有する状態への経路が保持され、その状態への残りの経路は、将来の検討から外される。本発明の一実施形態では、γ_ｓ，ｎの判定を明示的にまたは直接必要とせずに音声をデコードできるようにする経路表の新しい定式化が提供される。

本発明での経路表は、本発明者による発見、

に基づいて構築される。

式２２および２３を組み合わせて、

と定義される、状態ｓ’から状態ｓに入る経路表を形成することができる。

図５に、この経路表を使用する音声認識システムのブロック図を示す。図５では、上述のトレーニング処理によって判定された生成モデルパラメータが、生成モデル５２８として保管される。

話者５００がマイクロホン５０４に話すと、認識の処理が開始される。マイクロホン５０４は、１つまたは複数の雑音源５０２からの相加性雑音も受け取る。マイクロホン５０４によって検出された音声信号は電気信号に変換され、アナログ−デジタルコンバータ５０６に供給される。

ＡＤ（Ａ−ｔｏ−Ｄ）コンバータ５０６は、マイクロホン５０４からのアナログ信号を、一連のデジタル値に変換する。一実施形態で、ＡＤコンバータ５０６は、１６ｋＨｚにおいて１６ビット毎サンプルでアナログ信号をサンプリングし、これによって毎秒３２キロバイトの音声データを作成する。これらのデジタル値が、フレーム構成器５０７に供給され、フレーム構成器（ｆｒａｍｅ ｃｏｎｓｔｒｕｃｔｏｒ）５０７は、一実施形態で、この値を１０ミリ秒離れて始まる２５ミリ秒フレームにグループ化する。

フレーム構成器５０７によって作成されるデータのフレームが、特徴抽出器５０８に供給され、特徴抽出器５０８は、各フレームから特徴を抽出する。特徴抽出モジュールの例に、線形予測符号化（ＬＰＣ）、ＬＰＣから派生したケプストラム、パーセプティブリニアプレディクション（Ｐｅｒｃｅｐｔｉｖｅ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ、ＰＬＰ）、聴覚モデル特徴抽出、およびメル周波数ケプストラム係数（ＭＦＣＣ）特徴抽出を実行するモジュールが含まれる。本発明が、これらの特徴抽出モジュールに制限されず、本発明の文脈内で他のモジュールを使用することができることに留意されたい。

一連の特徴ベクトルが、トレーナ５２４に供給され、トレーナ５２４は、Γ_ｓ，ｎおよびρ_ｓ，ｎの組を順次判定し、この組の各々が、図４に示されたオーバーラップするウィンドウに関連する。具体的に言うと、トレーナ５２４は、上の式８および９の、生成モデル５２８のパラメータと、ウィンドウの現在位置で見つかったフレームの観測ベクトルを使用する。ウィンドウの後のフレームの観測ベクトルは、ウィンドウ内のフレームのΓ_ｓ，ｎおよびρ_ｓ，ｎの値の判定に使用されない。複数のウィンドウ内で見つかるフレームについて、そのフレームが見つかった最後のウィンドウの計算が、そのフレームのΓ_ｓ，ｎおよびρ_ｓ，ｎの値として使用される。式８および９の計算で、事後推移確率が、式１０から１２によって設定される。以上のようなウィンドウ化（ｗｉｎｄｏｗｉｎｇ）技法を使用して、現在のシステムは、時間的にほぼシーケンシャルに動作することができる。

あるフレームのΓ_ｓ，ｎおよびρ_ｓ，ｎの値が判定されると、これらの値は事後近似モデル５２７に置かれる。デコーダ５１２は、特徴ベクトルのストリーム、辞書５１４、言語モデル５１６、近似モデル５２７、および生成モデル５２８に基づいて、最も可能性のある単語のシーケンスを識別する。

具体的に言うと、デコーダ５１２は、式２４の経路表を使用して、次のウィンドウとオーバーラップしない現在のウィンドウ内の各フレームの各状態への最も可能性のある経路を判定し、選択する。この種のビタビデコーディングは、従来技術のＨＭＭシステムで一般的に使用されているので、本発明のデコーダは、ビタビデコーディングの効率を高めるために開発された技法を利用することができるが、このような技法には、状態の一部への最も可能性のある経路を刈取る（判定しなければならない経路表の数を減らす）様々な刈取り技法が含まれる。言い換えると、刈取りによって状態の一部について選択された最良の経路が除去され、これによって、それへの経路を有しない状態が作られる。

仮定された単語の最も可能性のあるシーケンスが、信頼性測定モジュール５２０に供給される。信頼性測定モジュール５２０は、副音響モデル（図示せず）に部分的に基づいて、音声認識器によって誤って識別された可能性が最も高い単語を識別する。信頼性測定モジュール５２０は、仮定された単語のシーケンスを、誤って識別された可能性がある単語を示す識別子と共に、出力モジュール５２２に供給する。当業者は、信頼性測定モジュール５２０が、本発明の実施に必要ではないことを理解するであろう。

特定の実施形態に関して本発明を説明したが、本発明の趣旨および範囲から逸脱せずに、形態および詳細において変更を行えることを当業者は理解するであろう。

本発明を実施できる１つのコンピューティング環境を示すブロック図である。 本発明を実施できる代替のコンピューティング環境を示すブロック図である。 本発明の実施形態の下でオーバーラップするウィンドウを使用して事後確率パラメータを設定する方法を示すフローチャートである。 本発明の実施形態の下でのオーバーラップするウィンドウを示すグラフである。 本発明の一実施形態の下での音声認識システムを示すブロック図である。

符号の説明

１３０ システムメモリ
１３４ オペレーティングシステム
１３５ アプリケーションプログラム
１３６ 他のプログラムモジュール
１３７ プログラムデータ
１２０ 処理ユニット
１９０ ビデオインターフェース
１９５ 出力周辺インターフェース
１９１ モニタ
１９６ プリンタ
１９７ スピーカ
１４０ 固定不揮発性メモリインターフェース
１５０ 取外し可能不揮発性メモリインターフェース
１６０ ユーザ入力インターフェース
１７０ ネットワークインターフェース
１７１ ローカルエリアネットワーク
１４４ オペレーティングシステム
１４５ アプリケーションプログラム
１４６ 他のプログラムモジュール
１４７ プログラムデータ
１７２ モデム
１７３ 広域ネットワーク
１６２ キーボード
１６１ ポインティング装置
１６３ マイクロホン
１８０ リモートコンピュータ
１８５ リモートアプリケーションプログラム
２０２ プロセッサ
２０６ 入出力
２０８ 通信インターフェース
２０４ メモリ
２１２ オペレーティングシステム
２１４ アプリケーションプログラム
２１６ オブジェクト記憶部
５００ 話者
５０２ 相加性雑音
５０４ マイクロホン
５０７ フレーム構成器
５０８ 特徴抽出器
５１２ デコーダ
５２６ トレーニングテキスト
５２４ トレーナ
５２８ 生成モデル
５２７ 事後近似モデル
５１４ 辞書
５１６ 言語モデル
５２０ 信頼性測定モジュール
５２２ 出力モジュール

Claims (17)

1. スイッチング状態空間モデルのフレームのシーケンスに関連する入力値に基づいて前記フレームのシーケンスの隠れ状態の組の尤度を提供する事後確率の事後確率パラメータを設定する方法であって、
   前記フレームのシーケンス内の少なくとも２つであるが、すべてより少ないフレームを含むウィンドウを定めるステップと、
   前記ウィンドウ内のフレームごとに別々の事後確率パラメータを判定するステップと、
   前記ウィンドウを移動させて、前記移動したウィンドウを形成するため前記フレームのシーケンス内の少なくとも１つの後続フレームを含むようにする移動させるステップと、
   前記移動したウィンドウ内のフレームごとに別々の事後確率パラメータを判定するステップと
   を含むことを特徴とする方法。
2. 前記移動したウィンドウは、移動の前の前記ウィンドウに存在したフレームを少なくとも１つは含むことを特徴とする請求項１に記載の方法。
3. 前記ウィンドウ内のフレームごとに別々の事後確率パラメータを判定するステップは、前記ウィンドウ内のフレームのすべてについて連立方程式を解くステップを含むことを特徴とする請求項１に記載の方法。
4. 前記隠れ状態は、連続的であることを特徴とする請求項３に記載の方法。
5. 前記フレームごとに別々の事後確率パラメータを判定するステップは、前記連続的な隠れ状態とは異なる離散的な隠れ状態の組の各々について別々の事後確率パラメータを判定するステップを含むことを特徴とする請求項４に記載の方法。
6. 前記事後確率は、離散的な隠れ状態および入力値を与えられて、連続的な隠れ状態の前記確率を提供することを特徴とする請求項４に記載の方法。
7. 前記ウィンドウの移動の前に、フレームについて判定された前記事後確率パラメータを使用して前記フレーム中に離散的な隠れ状態に入る経路表を生成するステップをさらに備えたことを特徴とする請求項５に記載の方法。
8. 前記経路表を生成するステップは、ビタビデコーダの一部として経路表を生成するステップを含むことを特徴とする請求項７に記載の方法。
9. 音声単位のシーケンスを識別するために音声信号をデコードする方法であって、
   離散的な隠れ状態および連続的な隠れ状態を有するスイッチング状態空間モデルのモデルパラメータを保管するステップであって、前記連続的な隠れ状態は前記離散的な隠れ状態に依存する保管するステップと、
   前記音声信号を観測ベクトルの組に変換するステップであって、前記観測ベクトルの各々は前記音声信号の別々のフレームに関連する変換するステップと、
   前記音声信号のフレームごとに、前記フレーム内の各離散的な隠れ状態への少なくとも１つの経路の経路表を判定するステップと、
   前記フレームの各離散的な隠れ状態への単一の経路を選択するために前記経路表を使用するステップと
   を備えたことを特徴とする方法。
10. 前記離散的な隠れ状態は、音声単位を表すことを特徴とする請求項９に記載の方法。
11. 前記経路表を判定するステップは、離散的な隠れ状態および観測ベクトルを与えられて、連続的隠れ状態の確率を記述する事後確率パラメータに基づいて経路表を判定するステップを含むことを特徴とする請求項９に記載の方法。
12. 現在のフレーム内の離散的な隠れ状態の事後確率パラメータを判定するステップをさらに備えたことを特徴とする請求項１１に記載の方法。
13. 前記事後確率パラメータを判定するステップは、前記音声信号の前記フレームのすべてより少ない数のフレームしか含まないフレームのウィンドウを定めるステップを含むことを特徴とする請求項１２に記載の方法。
14. 連立方程式を解くことによって、前記ウィンドウ内の各フレーム内の各離散的な隠れ状態の別々の事後確率パラメータを判定するステップをさらに備えたことを特徴とする請求項１３に記載の方法。
15. 前のフレームの離散的な隠れ状態の組から現在のフレームの離散的な隠れ状態への各経路の経路表を判定するステップをさらに備えたことを特徴とする請求項９に記載の方法。
16. 現在のフレーム内の各離散的な隠れ状態の経路表を判定するステップをさらに備えたことを特徴とする請求項１５に記載の方法。
17. 所定の状態への少なくとも１つの選択された経路が離散的な隠れ状態のシーケンスを介する考えられる経路の一部としてもはや考慮されなくなるように、前記経路を刈取りするステップをさらに備えたことを特徴とする請求項１６に記載の方法。
    

Images