JP2002510076A

JP2002510076A - 言語モデルに基づく情報検索および音声認識

Info

Publication number: JP2002510076A
Application number: JP2000541667A
Authority: JP
Inventors: ミリント゛ヴィ．マハジャン; シュドンディー．ファン
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 1998-03-30
Filing date: 1999-02-09
Publication date: 2002-04-02
Anticipated expiration: 2019-02-09
Also published as: WO1999050830A1; JP4494632B2; CA2321112A1; KR100609253B1; JP4664423B2; DE69932044D1; DE69932044T2; US6418431B1; CA2321112C; CN1295705A; CN1171199C; KR20010042377A; CN1253821C; EP1066625B1; EP1066625A1; JP2009238235A; CN1474378A

Abstract

(57)【要約】より小さい第１のデータ記憶装置（７２）およびより大きい第２のデータ記憶装置（７４）を有する音声認識システム（６０）中で言語モデル（７０）が使用される。言語モデル（７０）は、第１のデータ記憶装置（７２）に含まれる情報に基づいて情報検索質問を案出して第２のデータ記憶装置（７４）に質問することによって適合される。第２のデータ記憶装置（７４）から検索された情報は、言語モデル（７０）を適合させる際に使用される。また、言語モデルは、第２のデータ記憶装置（７４）から情報を検索する際にも使用される。言語モデルは、第１のデータ記憶装置（７２）中の情報に基づいて、かつ第２のデータ記憶装置（７４）中の情報に基づいて構築される。第１の言語モデルが与えられ、第２の言語モデルが与えられれば、第２のデータ記憶装置（７４）中の文書のパープレキシティが決定される。第１および第２のパープレキシティに基づいて、文書の適合性が決定される。しきい値レベルを超えた適合度を有する文書が検索される。

Description

【発明の詳細な説明】

【０００１】（発明の背景）本発明は、音声認識および情報検索を扱う。より詳細には、本発明は、情報検
索技術を採用して言語モデルを適合させる音声認識システムと、適合性のある文
書を検索するために音声認識言語モデルを採用する情報検索技術を扱う。

【０００２】一般に、情報検索は、ユーザが大規模な情報記憶装置からユーザに関係する情
報を見つけて取り出すためのプロセスである。情報検索を行う際には、ユーザが
必要とするすべての情報を検索することが重要であり（すなわち完全（ｃｏｍｐ
ｌｅｔｅ）であることが重要であり）、同時に、ユーザに対して検索される無関
係の情報を制限することが重要である（すなわち選択的（ｓｅｌｅｃｔｉｖｅ）
であることが重要である）。これらの側面はしばしば、再現度（完全性）および
精度（選択性）という語で呼ばれる。多くの情報検索システムでは、再現度と精
度の両面にわたって優れた性能を達成することが必要である。

【０００３】現在のいくつかの検索システムでは、質問し探索できる情報量は非常に多い。
例えば、いくつかの情報検索システムは、インターネット、ディジタルビデオデ
ィスク、およびその他一般のコンピュータデータベース上で情報を探索するよう
にセットアップされる。これらの情報検索システムは通常、例えばインターネッ
トサーチエンジンやライブラリカタログサーチエンジンとして組み入れられる。

【０００４】多くの情報検索技術が知られている。そのような技術におけるユーザ入力質問
は通常、ユーザによって生成される明示的な質問として、あるいはユーザが、あ
る既存の文書セットに類似する文書または情報を要求するときなどの暗黙的な質
問として呈示される。次いで通常の情報検索システムは、大規模なデータ記憶装
置中で、単一の単語レベルまたはタームレベルで文書を探索する。各文書には適
合性（または類似性）スコアが割り当てられ、情報検索システムは、探索された
、所与のしきい値を超えた適合性スコアを通常有するある文書サブセットをユー
ザに呈示する。

【０００５】現在知られているいくつかの情報検索技術または方法には、全文走査、シグネ
チャファイルの使用、転置、ベクトルモデリングおよびクラスタリング、ｔｆ＊
ｉｄｆ（ｔｅｒｍｆｒｅｑｕｅｎｃｙ＊ｉｎｖｅｒｓｅｄｏｃｕｍｅｎｔ
ｆｒｅｑｕｅｎｃｙ）が含まれる。全文走査では、質問中でブール関数を使用し
て、探索される文書が、ある文字列を含んでいるかどうかが判定される。このよ
うな走査技術では、文書の各文字を探索して、それが探索列（すなわち質問）を
満たすかどうかを調べ、次いで、ミスマッチが見つかると探索を右に１ポジショ
ン移動させるのが普通である。このシステムは、ミスマッチが見つかると右に１
ポジションより多く移動させるなど、質問に前処理をする他の方式を使用するよ
うに適合されてきた。

【０００６】シグネチャファイルの使用は、探索される文書からありふれた語を廃棄し、あ
りふれていない語を語幹に切り詰めることを含む。探索される各文書は、ビット
列（シグネチャ）を生じる。様々な文書に対するシグネチャは、文書自体とは別
のファイルに連続して記憶される。

【０００７】転置技術は、各文書を表すキーワードのリストを構築することを含む。キーワ
ードは索引ファイルに記憶される。各キーワードに、適格な文書を明らかにする
ポインタのリストが維持される。次いで、質問は索引に向かって進められ、ポイ
ンタを使用して適合性のある適格な文書が識別される。

【０００８】ベクトルモデリングおよびクラスタリングは、類似の文書をクラスタと呼ばれ
るグループに分類することを含む（この技術はまた、文書ではなくターム（ｔｅ
ｒｍ）に適用することもできる）。クラスタを生成するために、ありふれた単語
を除去して残りの単語を語幹に切り詰めること（これは接頭辞および接尾辞の除
去を含む）によって索引が形成される。類義語もまた、そのタームを頻度、特異
性、適合性などによって重み付けすることのできる概念クラス中に一般に配置さ
れる。索引は、文書をｔ次元空間中の点として表すのに使用される。次いでそれ
らの点は、反復プロセスを通して通常開発される類似性行列でグループに分割さ
れる。クラスタを探索するために、質問はｔ次元ベクトルとして表され、クラス
タ中心（ｃｌｕｓｔｅｒｃｅｎｔｒｏｉｄ）と比較される。クラスタ対質問の
類似性関数が生成され、適合性のある文書を抜き取るのに使用される。抜き取ら
れる（または検索される）文書は通常、所定のしきい値を超える類似値を有する
。

【０００９】いくつかの情報検索技術では、よりよい性能を達成するために、意味情報が使
用されて、情報記憶装置内の、各文書に関するより多くの情報が取り込まれる。
このようなシステムの１つでは、自然言語処理が使用されて、質問の意味内容が
、探索される文書の意味内容に照合される。探索される文書に索引を付けるため
のタームとして、文または句を使用することができる。潜在意味インデクシング
（ＬａｔｅｎｔＳｅｍａｎｔｉｃｉｎｄｅｘｉｎｇ）は、特定の文書におけ
るタームの発生回数が行列上に表される、ターム／文書行列を形成することを含
む。通常、小さい特異値は除去され、残りのターム頻度ベクトルがマッピングさ
れる。質問もまた、ターム頻度ベクトルで形成され、文書のターム頻度ベクトル
を含む行列に対してマッピングされる。文書は、余弦類似度を得るために、正規
化線形積を使用してランクされる。

【００１０】意味情報を使用するもう１つのタイプの情報検索技術は、ニューラルネットワ
ークである。本質的に、シソーラス（ｔｈｅｓａｕｒｕｓ）が構築され、シソー
ラス中の各概念に対応するように隠れ層中のノードが生成される。次いで、活性
化拡散方法を使用して探索が行われる。

【００１１】ｔｆ＊ｉｄｆ（ｔｅｒｍｆｒｅｑｕｅｎｃｙ＊ｉｎｖｅｒｓｅｄｏｃｕｍ
ｅｎｔｆｒｅｑｕｅｎｃｙ）は、文書の適合性を決定するのに使用されるもう
１つの技術である。まず、質問中で使用されるタームが文書に対して測定されて
、文書中のそのタームの頻度が決定される。文書とタームが関係する度合いは、
文書中のタームの頻度が増加するにつれて増加すると考えられる。また、文書間
を区別する際のタームの有用性は、そのタームが現れる文書の数が増加するにつ
れて低下すると考えられる。したがって、データ記憶装置全体に対する特定のタ
ームの頻度もまた測定されて、すべての文書におけるそのタームの頻度レベルが
決定される。この２つの測定は、探索されるデータ記憶装置中のいずれか所与の
文書の適合性を決定するのに使用される。

【００１２】探索する際にアクセス可能なデータベースがより一層多数になるにつれて、か
つ、これらのデータベースがより大規模になるにつれて、情報検索に関連する問
題もまた大きくなる。言い換えれば、探索中のデータベースが大規模かつ多数で
あるほど、再現度および精度の面にわたって許容できる性能を得るのは難しいこ
とが多い。

【００１３】音声認識システムは、発話の意味の写しを生成するために、発話に含まれる音
響情報と言語学（または言語）情報の組合せを使用する。音声認識システム中の
認識装置によって使用される言語情報は、集合的に言語モデルと呼ばれる。

【００１４】現在の音声認識システムの多くは、本質的に統計的な言語モデルを使用する。
このような言語モデルは通常、言語モデルジェネレータに呈示される多量のテキ
スト訓練データに基づいて周知の技術を使用して生成される。Ｎ−ｇｒａｍ言語
モデルは、例えば、Ｋａｔｚの技術のような周知の統計技術や、二項事後分布バ
ックオフ技術を使用する。こうした技術を使用する際、言語モデルは、単語ｗ（
ｎ）が単語の連続ｗ１、ｗ２、．．．ｗ（ｎ−１）に続く確率を推定する。これ
らの確率値は、集合的にＮ−ｇｒａｍ言語モデルを形成する。

【００１５】言語モデルジェネレータに呈示される大きなテキストコーパスからこれらの確
率値を推定するのに使用できる周知の方法は多くあり、これを行うための正確な
方法は、本発明にとって重要ではない。言語モデルが、言語における単語の連続
の見込み、許容性、または有意味度に関する情報を認識装置が使用できるように
することにより、認識プロセスの正確さおよび速度の向上に重要な役割を果たし
ていると言うだけで十分である。さらに、言語に関する情報を多く取り込む言語
モデルほど、より速くより正確な音声認識システムをもたらす。

【００１６】通常、言語モデルを訓練するのに使用される大きな訓練テキストコーパス（ｔ
ｅｘｔｃｏｒｐｕｓ）は、その特定の目的のために特に収集されて、言語モデ
ルジェネレータに呈示される。したがって、言語モデルは通常、いくつかの広範
な使用クラスのために生成される。使用クラスのいくつかは、一般英語、事務通
信文、スポーツなどである場合がある。

【００１７】しかし、いずれかの特定ユーザの関心は、したがってその特定ユーザによって
使用される言語は、通常、これらの広い言語モデル範疇よりもずっと具体的であ
る可能性がある。したがって、このような言語モデルによって生成された確率推
定は、ユーザによって使用される実際の言語を正確にモデリングしない可能性が
ある。さらに、ユーザ間の様々な関心はほぼ無限であるため、各ユーザに高度に
特化させた言語モデルを生成することは非常に難しい。

【００１８】従来のいくつかのシステムは、使用とともに言語モデルを適合させることによ
ってこの問題を扱うことを試みてきた。適合の間、言語モデルによって単語の連
続に割り当てられる確率推定は、ユーザの実際の言語をより厳密に反映するよう
に調節される。適合に使用されるテキストデータはユーザ特有である。このテキ
ストデータは、例えば、ユーザによって口述されたテキストや、ユーザによって
生成され、読まれ、または記憶された文書中のテキストで構成することができる
。しかし、言語モデルが正確に適合されるためには、それに大量のデータが供給
されなければならない。言語モデルを迅速に適合させるには、あるいは有意義な
ユーザ特有の言語モデルを生成するには、通常、利用可能なユーザ特有データで
は乏しすぎる。

【００１９】（発明の概要）より小さい第１のデータ記憶装置およびより大きい第２のデータ記憶装置にア
クセスできる音声認識システム中で、言語モデルが使用される。言語モデルは、
第１のデータ記憶装置に含まれる情報に基づいて情報検索質問を案出して第２の
データ記憶装置に質問することによって適合される。第２のデータ記憶装置から
検索された情報は、言語モデルを適合させる、あるいは構築する際に使用される
。

【００２０】好ましい一実施形態では、第１の記憶装置は一般により小さく、音声認識シス
テムのユーザによって目下使用されている言語をよりよく表すと考えられる。第
２の記憶装置は一般により大きく、パーセント値からみてユーザの言語を表す率
がより低い見込みが非常にある。

【００２１】また、言語モデルは、第２のデータ記憶装置から情報を検索するのにも使用さ
れる。言語モデルは、第１のデータ記憶装置中の情報に基づいて、かつ第２のデ
ータ記憶装置中の情報に基づいて構築される。第１の言語モデルが与えられ、第
２の言語モデルが与えられれば、第２のデータ記憶装置中の文書のパープレキシ
ティが決定される。文書の適合性は、第１および第２のパープレキシティに基づ
いて決定される。しきい値レベルを超える適合度を有する文書が検索される。

【００２２】一実施形態では、第１のデータ記憶装置はユーザによる質問または要求を表し
、第２のデータ記憶装置は探索されるライブラリを表す。

【００２３】（好ましい実施形態の詳細な説明）（概要）図１および関連の考察は、本発明を実施できる適したコンピューティング環境
の簡潔かつ一般的な記述を提供することを目的としている。必要ではないが本発
明は、少なくとも部分的に、パーソナルコンピュータによって実行される、プロ
グラムモジュールなどのコンピュータ実行可能命令の一般的なコンテキストで説
明する。一般にプログラムモジュールは、ルーチンプログラム、オブジェクト、
コンポーネント、データ構造などを含み、これらは特定のタスクを実行する、あ
るいは特定の抽象データ型を実装する。さらに本発明が、ハンドヘルド装置、マ
ルチプロセッサシステム、マイクロプロセッサベースのまたはプログラム可能な
消費者電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピ
ュータなどを含めた他のコンピュータシステム構成でも実施できることを、当業
者なら理解するであろう。本発明はまた、通信ネットワークでリンクされた遠隔
処理装置によってタスクが実行される分散コンピューティング環境で実施するこ
ともできる。分散コンピューティング環境では、プログラムモジュールは、ロー
カルメモリ記憶装置とリモートメモリ記憶装置の両方に配置することができる。

【００２４】図１を参照すると、本発明を実施するための例示的なシステムは、従来のパー
ソナルコンピュータの形をとる汎用コンピューティング装置２０を含み、この汎
用コンピューティング装置２０は、プロセッシングユニット２１（これは１つま
たは複数のプロセッサを含むことができる）と、システムメモリ２２と、システ
ムメモリを含む様々なシステムコンポーネントをプロセッシングユニット２１に
結合するシステムバス２３とを含む。システムバス２３は、メモリバスまたはメ
モリコントローラ、周辺バス、様々なバス構造のいずれかを使用するローカルバ
スを含めた、いくつかのタイプのバス構造のいずれでもよい。システムメモリは
、読取専用メモリ（ＲＯＭ）２４およびランダムアクセスメモリ（ＲＡＭ）２５
を含む。ＲＯＭ２４には、起動中などにパーソナルコンピュータ２０内の要素間
で情報を転送するのを助ける基本ルーチンを含むＢＩＯＳ（ｂａｓｉｃｉｎｐ
ｕｔ／ｏｕｔｐｕｔ）２６が記憶される。パーソナルコンピュータ２０はさらに
、ハードディスク（図示せず）から読み取り、かつ、それに書き込むためのハー
ドディスクドライブ２７と、取外し可能磁気ディスク２９から読み取る、または
それに書き込むための磁気ディスクドライブ２８と、ＣＤＲＯＭやその他の光
学媒体などの光学ディスク３１から読み取る、またはそれに書き込むための光学
ディスクドライブ３０とを含む。ハードディスクドライブ２７、磁気ディスクド
ライブ２８、光学ディスクドライブ３０は、それぞれハードディスクドライブイ
ンタフェース３２、磁気ディスクドライブインタフェース３３、光学ドライブイ
ンタフェース３４によってシステムバス２３に接続される。ドライブおよび関連
するコンピュータ読取可能媒体は、コンピュータ読取可能命令、データ構造、プ
ログラムモジュール、およびその他のデータの不揮発性記憶装置をパーソナルコ
ンピュータ２０に提供する。

【００２５】本明細書で述べる例示的な環境は、ハードディスク、取外し可能磁気ディスク
２９、および取外し可能光学ディスク３１を採用しているが、磁気カセット、フ
ラッシュメモリカード、ディジタルビデオディスク、ベルヌーイカートリッジ、
ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）など、コンピュ
ータからアクセス可能であるデータを記憶できる他のタイプのコンピュータ読取
可能媒体もこの例示的な動作環境で使用できることを、当業者は理解されたい。

【００２６】ハードディスク、磁気ディスク２９、光学ディスク３１、ＲＯＭ２４、または
ＲＡＭ２５には、オペレーティングシステム３５、１つまたは複数のアプリケー
ションプログラム３６、その他のプログラムモジュール３７、およびプログラム
データ３８を含めたいくつかのプログラムモジュールを記憶することができる。
ユーザは、キーボード４０やポインティングデバイス４２などの入力装置を介し
てパーソナルコンピュータ２０にコマンドおよび情報を入力することができる。
その他の入力装置（図示せず）には、マイクロホン、ジョイスティック、ゲーム
パッド、衛星放送用パラボラアンテナ、スキャナなどを含めることができる。こ
れらおよび他の入力装置は、システムバスに結合されたシリアルポートインタフ
ェース４６を介してプロセッシングユニット２１に接続されることが多いが、パ
ラレルポート、ゲームポート、ユニバーサルシリアルバス（ＵＳＢ）などの他の
インタフェースによって接続されてもよい。モニタ４７または他のタイプの表示
装置もまた、ビデオアダプタ４８などのインタフェースを介してシステムバス２
３に接続される。モニタ４７に加え、パーソナルコンピュータは通常、スピーカ
やプリンタなどの他の周辺出力装置（図示せず）も含むことができる。

【００２７】パーソナルコンピュータ２０は、リモートコンピュータ４９などの１つまたは
複数のリモートコンピュータへの論理接続を使用してネットワーク化環境で動作
することもできる。リモートコンピュータ４９は、別のパーソナルコンピュータ
、サーバ、ルータ、ネットワークＰＣ、ピア装置、または他のネットワークノー
ドとすることができ、図１にはメモリ記憶装置５０しか示していないが、通常、
パーソナルコンピュータ２０に関して上に述べた多くのまたはすべての要素を含
む。図１に示す論理接続は、ローカルエリアネットワーク（ＬＡＮ）５１および
ワイドエリアネットワーク（ＷＡＮ）５２を含む。このようなネットワーキング
環境は、オフィス、企業全体のコンピュータネットワークイントラネット、およ
びインターネットで普通に見られる。

【００２８】ＬＡＮネットワーキング環境で使用されるとき、パーソナルコンピュータ２０
は、ネットワークインタフェースまたはアダプタ５３を介してローカルエリアネ
ットワーク５１に接続される。ＷＡＮネットワーキング環境で使用されるとき、
パーソナルコンピュータ２０は通常、インターネットなどのワイドエリアネット
ワーク５２を介して通信を確立するためのモデム５４または他の手段を含む。モ
デム５４は、内蔵でも外付けでもよく、シリアルポートインタフェース４６を介
してシステムバス２３に接続される。ネットワーク環境では、パーソナルコンピ
ュータ２０に関して示したプログラムモジュールまたはそれらの一部は、リモー
トメモリ記憶装置に記憶することもできる。図示のネットワーク接続が例示的な
ものであり、コンピュータ間の通信リンクを確立する他の手段も使用できること
は理解されるであろう。

【００２９】図２に、本発明の一態様による音声認識／情報検索（ＳＲ／ＩＲ）システム６
０のブロック図を示す。ＳＲ／ＩＲシステム６０は、マイクロホン６２、アナロ
グディジタル（Ａ／Ｄ）変換器６４、ユーザ入力装置６６、ＳＲ／ＩＲプロセッ
サモジュール６８、言語モデル（ＬＭ）記憶モジュール７０、トピックデータ記
憶装置７２、一般データ記憶装置７４、およびユーザ出力装置７６を含む。

【００３０】システム６０全体またはシステム６０の一部が、図１に示した環境で実施でき
ることに留意されたい。例えば、マイクロホン６２は、適切なインタフェースを
介して、かつＡ／Ｄ変換器６４を介してパーソナルコンピュータ２０への入力装
置として提供されるのが好ましい。ユーザ入力装置６６は、キーボード４０、マ
ウス４２、またはいずれか他の適した入力装置として実装されるのが好ましい。
言語モデル記憶モジュール７０は、図１に示したいずれかの適した記憶装置に記
憶される、あるいは図１に関して述べたデータ入力機構のいずれかによってＳＲ
／ＩＲモジュール６８に提供されるのが好ましい。ＳＲ／ＩＲモジュール６８は
、コンピュータ２０中のハードウェアモジュール（ＣＰＵ２１とは別個の、また
はＣＰＵ２１中に実装された、専用の音声認識または情報検索プロセッサなど）
であること、あるいは図１に開示した情報記憶装置のいずれかに記憶され、ＣＰ
Ｕ２１またはいずれか他の適したプロセッサからアクセス可能なソフトウェアモ
ジュールであることが好ましい。

【００３１】トピックデータ記憶装置７２もまた、図１に示したいずれかの適した記憶装置
に記憶されること、あるいは図１によって示したシステムからアクセス可能であ
ることが好ましい。また、トピックデータ記憶装置７２は、コンピュータ２０に
対してローカルである必要はなく、コンピュータ２０からアクセス可能であるだ
けでよい。例えば、トピックデータ記憶装置７２は、部分的にまたは全体的にメ
モリ５０に記憶することができる。生成されつつある特定の文書、ならびにユー
ザによって生成された他の文書は、トピックデータ記憶装置７２に記憶される。
もちろん、トピックデータ記憶装置７２に含まれるデータが、主題、文書のタイ
プ（例えば手紙、メモ、電子メール転送、ファクシミリ、他）など、任意の数の
基準またはいずれか他の適した基準に従って構成できることは理解されるであろ
う。

【００３２】一般データ記憶装置７４は、より大きな、トピックデータ記憶装置７２よりも
大きなデータベースであることが好ましく、図１に示したシステムからアクセス
可能である。一般データ記憶装置は、例えば、ワイドエリアネットワーク５２を
介して、またはローカルエリアネットワーク５１を介してアクセス可能などんな
データベースまたはデータベースの集合でもよい。

【００３３】さらに、出力装置７６は、好ましい一実施形態では、モニタ４７またはプリン
タとして、あるいはいずれか他の適した出力装置として実装することができる。

【００３４】いずれの場合でも、当面の記述のために、システム６０は、音声認識と情報検
索の両方を行うのに適したシステムを例示する。しかし、以下に述べる本発明の
様々な機能および態様に合うように、システム６０を音声認識のみ、または情報
検索のみを行うように構成することもできることに留意されたい。

【００３５】（言語モデルの適合）ここで、音声認識に関してシステム６０を述べる。音声認識では、システム６
０は、周知の方式で音響情報を利用して訓練される。システム６０はこの情報を
、後でマイクロホン６２を介してシステム６０に入力された発話を認識する際に
利用する。簡潔に言えば、音声は、ユーザからマイクロホン６２を介して提供さ
れる可聴音声信号の形でシステム６０に入力される。マイクロホン６２は可聴音
声信号をアナログ電子信号に変換し、これはＡ／Ｄ変換器６４に提供される。Ａ
／Ｄ変換器６４はアナログ音声信号を一連のディジタル信号に変換し、これはＳ
Ｒ／ＩＲモジュール６８に提供される。

【００３６】好ましい一実施形態では、ＳＲ／ＩＲモジュール６８は、ディジタル信号上で
分光分析を行って周波数スペクトルの各周波数帯の振幅値を計算する従来のアレ
イプロセッサである特徴抽出モジュールを含む。特徴抽出モジュールはディジタ
ル信号を、複数のディジタルサンプルを含むフレームに分割し、これらのディジ
タルサンプルは、複数の周波数帯の確率値を含む出力確率分布の列に変換される
。出力確率分布は周知の方式で処理されて、マイクロホン６２によって受信され
た音声を表す、見込まれる音声ユニット（音素、単語、または単語の連続など）
が得られる。

【００３７】好ましい一実施形態では、ＳＲ／ＩＲモジュール６８は、表されたＮ個のもっ
とも見込まれる単語または単語の連続を示すＮ個の見込まれる単語仮説を識別す
る。次いでＳＲ／ＩＲモジュール６８は、ＬＭ記憶モジュール７０にアクセスす
る。ＬＭ記憶モジュール７０に記憶された言語モデルを使用して、単語ｗ（ｎ）
が単語の連続ｗ１、ｗ２、．．．ｗ（ｎ−１）に続く確率が推定される。次いで
、これらの確率を使用して、発話によって表されるもっとも見込まれる単語また
は単語の連続を得るためにＮ個の最良仮説からの選択がなされる。このもっとも
見込まれる仮説は、ユーザ出力装置７６で出力される。

【００３８】ＬＭ記憶モジュール７０に記憶される言語モデルは、最初にＳＲ／ＩＲモジュ
ール６８によって構築することもでき、あるいは図１で考察したようなデータ入
力機構を使用して（例えばフロッピーディスクを使用して）ＬＭ記憶モジュール
７０にロードすることもできる。ＳＲ／ＩＲモジュール６８が言語モジュールを
構築する実施形態では、大きな訓練テキストコーパスがＳＲ／ＩＲモジュール６
８に提供される。ＳＲ／ＩＲモジュール６８は、その訓練テキストコーパスを使
用して、周知の方式で言語モデルを構築し、それをＬＭ記憶モジュール７０に記
憶する。

【００３９】さらに、複数の言語モデルをＬＭ記憶モジュール７０に記憶することができる
ことにも留意されたい。例えば、いくつかのトピック依存言語モデルをＬＭ記憶
モジュール７０に記憶し、音声認識システムによって生成されつつある特定の文
書の主題に関するユーザからの入力に基づいてＳＲ／ＩＲモジュール６８によっ
て取り出すことができる。

【００４０】いずれの場合でも、ＬＭ記憶モジュール７０に記憶される特定の言語モデル（
ただし最初に得られた）は、ユーザによって使用される実際の言語を正確にモデ
リングするより速くより正確なモデルを得るために、システム６０のユーザによ
る実際の言語の使用に基づいて適合されることが望ましい。

【００４１】図３に、本発明の一態様による、ＬＭ記憶モジュール７０に記憶された言語モ
デルの適合を達成するための一技術を示す。まず、言語モデルがシステム６０に
よって受け取られる。言語モデルは、主題特有、ユーザ特有、アプリケーション
特有のいずれでも、あるいは単に一般言語モデルでもよい。先に考察したように
、言語モデルは、システム６０によって構築してＬＭ記憶モジュール７０に記憶
することもでき、単に適切な入力機構を介してＬＭ記憶モジュール７０にロード
することもできる。言語モデルを受け取るステップを、図３のブロック７８で示
す。

【００４２】言語モデルを適合させるために、システム６０は、モジュール７０に記憶され
た言語モデルを適合させるのに使用されるテキストコーパスの一部としてトピッ
クデータ記憶装置７２に記憶された情報を使用することが好ましい。トピックデ
ータ記憶装置７２は、作成されつつある現在の文書、現在のユーザによって作成
された他の文書、あるいは現在のユーザによって読まれた、または現在のユーザ
によって記憶された、または現在のユーザによって現行のタスクに関係すると識
別された他の文書を含むことが好ましい。

【００４３】通常、モジュール７０に記憶された言語モデルを迅速に適合させるには、ある
いはよりユーザ／タスク特有の言語モデルを生成するには、これだけの量のユー
ザ特有または現行のトピックあるいはタスク特有のデータでは不十分である。し
たがってシステム６０は、トピックデータ記憶装置７２に記憶されたユーザ／タ
スク特有の情報を利用して、一般データ記憶装置７４に対する質問を生成する。
一般データ記憶装置７４は、インターネットを介して（例えばＷＡＮ５２を介し
て）アクセス可能な１つまたは複数のデータベース、ライブラリデータベース、
またはシステム６０から（ＬＡＮ５１などを介して）アクセス可能な別の適した
大規模データベースを含むことができることを想起されたい。一般データ記憶装
置７４に対する質問を、図３のブロック８０で示す。

【００４４】一般データ記憶装置７４に対する質問の生成および実行に使用される特定の情
報検索技術は、本発明のこの機能にクリティカルではない。むしろ、適した質問
開発および情報検索の技術はどれでも使用することができる。目下の技術による
適合が情報検索技術によりよく作用し、それにより、より適合性のある文書が得
られることに、ただ留意されたい。

【００４５】次に、情報検索質問によって識別された文書が検索される。これをブロック８
２によって示す。好ましい一実施形態では、図３の破線８４で示すように、処理
は単にブロック８６で継続する。この好ましい実施形態では、モジュール７０に
記憶されたトピック言語モデルは、トピックデータ記憶装置７２に記憶された情
報に基づいて、かつ、一般データ記憶装置７４に対して実行された質問の結果と
して一般データ記憶装置７４から検索された情報に基づいて、調節または適合さ
れる。したがって、言語モデルによって生成された確率推定は、トピックデータ
記憶装置７２中の情報と一般データ記憶装置７４から検索された情報の両方を含
むテキストコーパスに基づいて調節される。これは、トピックデータ記憶装置７
２に記憶された情報を使用するだけの場合よりもずっと大きな、モジュール７０
に記憶された言語モデルを適合させるためのテキストコーパスを提供する。適合
テキストコーパスがずっと大きいため、言語モデルによって生成される確率はよ
りよく推定され、得られる言語モデルは、ユーザによる実際の使用をモデリング
するためのよりよい（すなわちより速くより正確な）機構をもたらす。この適合
をブロック８６によって示す。

【００４６】言語モデルが適合される方式は、いくつかの形のどれを取ってもよい。好まし
い一実施形態では、一般データ記憶装置７４に対する質問によって検索された文
書のサブセットだけが、モジュール７０に記憶された言語モデルを適合させるの
に使用される。また、一般データ記憶装置７４に対する質問に基づいて検索され
た文書は、すでにトピックデータ記憶装置７２に含まれている文書に対して相対
的に重み付けすることもできる。検索された文書は、すでにデータ記憶装置７２
に記憶されている文書よりも低く重み付けされることが好ましい。したがって、
検索された文書に基づく、モジュール７０に記憶された言語モデルへの影響は、
すでに記憶されている（かつ、おそらくユーザに適合性があると分かっている）
文書に基づくそれよりも小さい。

【００４７】さらに、言語モデルは別の方式で適合させることもできる。質問の結果を使用
して、すでにモジュール７０に記憶された言語モデルに結合される言語モデルを
構築することができる。この結合は、補間や削除補間など、いずれかの周知の平
滑化技術、またはいずれか他の適した技術を使用して行うことができる。モジュ
ール７０に記憶されたトピック言語モデルを適合させるために削除補間を使用す
る実施形態では、一般データ記憶装置７４から検索された文書およびすでにトピ
ックデータ記憶装置７２に記憶されている文書は、次のように重み付けされる。

【００４８】 λＰ_r＋（１−λ）Ｐ_t

【００４９】上式で、Ｐ_rは検索された文書に基づく言語モデルによって生成された確率値であり、Ｐ_tは、すでにトピックデータ記憶装置７２にある文書に基づく言語モデルによって生成された確率値であり、 λは、実験に基づいて決定されることが好ましい値を有する削除補間パラメー
タである。情報検索技術が非常に正確であると考えられる場合、λは、より高い
値（０．８または０．９など）を有することになる。しかし、情報検索技術が正
確であると考えられない場合、λは、より低い値（０．４または０．５など）を
有する可能性がある。しかし、０．１〜０．９などの、どんな値のλも適する。

【００５０】他の実施形態では、λの値は、質問の数が増加するにつれてインクリメンタル
に増加される。言い換えれば、実行された質問の数が増加するにつれて、言語モ
デルを適合させるのに使用されるテキストコーパスはより大きくなるか、または
より正確になる見込みがある。というのは、トピックデータ記憶装置７２に記憶
される情報の量がより多くなる見込みがあるからである。したがって、情報検索
技術を使用して検索される文書は、最初に検索されたものよりも適合性がある見
込みがある。したがって、λの値は、質問の数が増加するにつれてインクリメン
タルに増加し得る。

【００５１】さらに、検索されたデータからいくつかの言語モデルを構築できることにも留
意されたい。例えば、ある言語モデルを、最も適合性のある１００個の文書を使
用して構築し、第２の言語モデルを、最も適合性のある２００個の文書を使用し
て構築することなどができる。次いで、検索された文書を使用して構築した複数
の言語モデルを、トピックデータ記憶装置７２からの適合性のある既知のデータ
から生成されて、かつ一般言語モデルからも生成された言語モデルと結合するこ
とができる。削除補間を使用した言語モデルの結合は、次のように表すことがで
きる。

【００５２】 Σλ_iＰ_i

【００５３】上式で、Ｐ_iはｉ番目の言語モデルであり、０≦λ_i≦１はｉ番目の言語モデル
に対する補間重みであり、Σλ_i＝１である。

【００５４】言語モデルが適合されると、次いで、適合されたまたは調節された言語モデル
は、音声認識で使用される。これをブロック８８で示す。

【００５５】本発明の好ましい一態様によれば、システム６０は、トピック特有の質問を自
動的かつ断続的に再生成して、それを一般データ記憶装置７４に記憶された情報
に向けるように構成される。例えば、好ましい一実施形態では、モジュール７０
に記憶された言語モデルは、実行中に（例えばユーザがシステム６０を使用して
いるときに）適合される。したがって、システム６０は、システム６０が起動さ
れるとすぐに、かつ、次いで新しい文書が作成される度に、最初に質問を実行し
て言語モデルを適合させるように構成することができる。しかし、システム６０
は、文書が生成されている間にも、新しい質問を作成して言語モデルを断続的に
適合させることがより好ましい。したがって、システム６０は、所定の単語数ご
とに、所定の時間間隔ごとに、またはいずれか他の適した基準に基づいて、質問
を繰り返すように構成することができる。

【００５６】どんな基準であれ、それは、質問しきい値を設定するのに使用される。したが
って、システム６０は、質問しきい値が達せられたかどうかを判定する。達せら
れた場合、システム６０は、ブロック８０で示すように、別の質問を生成してそ
れを一般データ記憶装置に対して実行する。質問しきい値が達せられていない場
合、システム６０は、単に通常通りに音声認識を継続するだけである。これを図
３のブロック９０および９２で示す。

【００５７】本発明の他の好ましい機能によれば、モジュール７０に記憶された言語モデル
を適合させるのに他の情報を使用することもできる。これらの機能を図３のブロ
ック９４、９６、９８で表す。例えば、好ましい一実施形態では、一般データ記
憶装置７４中の情報に対して質問を実行した後で、質問から返された各文書の適
合度が決定される。次いで、文書は適合度に従ってランクされる。これはブロッ
ク９４で示す。次いで、返された文書のサブセット（適合性しきい値より高い適
合度を有するもの）が、言語モデルの適合に使用される。さらに、返された文書
は、ブロック９６で示すように、適合度に従って重み付けすることもできる。次
いで文書は、モジュール７０に記憶された言語モデルを適合させるために、重み
付けされたように使用することができる。

【００５８】本発明の他の好ましい実施形態では、言語モデルを調節するのに他の情報を使
用することもできる。例えば、システム６０は、特定のアプリケーションを識別
するように構成し、次いで、文書を作成するためにユーザが使用することができ
る。例えば、ユーザがワードプロセッサアプリケーションにある場合、そのユー
ザは、そのユーザが電子メールアプリケーションにある場合よりも正式な文書を
生成している可能性がある。システム６０は、アプリケーションを認識し、一般
データ記憶装置７２に含まれる情報に対する質問を生成する際にその情報を使用
して、より正式な文書（すなわちより正式な単語の使用および単語の連続）を探
すか、あるいは単に、質問によって検索されたより正式な文書を、検索されたよ
り正式でない文書より高く重み付けするように構成することができる。さらに、
ユーザがメモテンプレートを立ち上げ、したがって内部メモを生成している場合
、システム６０は、一般データ記憶装置７４に記憶された情報に対する質問を生
成する際にトピックデータ記憶装置７２から類似のメモだけしか検索しないよう
に構成することができる。

【００５９】他の多くのパラメータも、本発明によって使用することができる。例えば、ユ
ーザは勤務時間中に、会社の手紙やメモなどのより正式な文書を口述するが、そ
の後、昼間または夜に、私的な手紙などのより正式でない文書を生成する傾向が
ある。したがって、システム６０は、ユーザによって文書が作成される時刻に基
づいて、同じ時刻に作成された文書をトピックデータ記憶装置７２から検索する
ことによって質問を生成するように構成することができる。システム６０はまた
、単に、質問に基づいて取り出された同様の文書を他の文書よりも重く重み付け
するように構成することもできる。

【００６０】また、モジュール７０に記憶された言語モデルの適合は、ユーザがシステム６
０の音声認識機能を利用しているかどうかに関わらず断続的に行うことができる
ことにも留意されたい。システム６０に電源が投入されている限り、これは、一
般データ記憶装置７４に記憶された情報に対する質問を繰り返し、モジュール７
０に記憶された言語モデルをいずれかの所与の基準によって適合させるように構
成することができる。

【００６１】したがって、本発明の言語モデル適合機能を使用して、モジュール７０に記憶
される言語モデルを生成し向上させるのに利用可能なユーザ特有のデータの量を
速く効率的に拡大することができることが分かる。利用可能なユーザ特有のデー
タはまず、ユーザ特有の文書に類似するテキストまたは文書を識別するために、
大規模な情報記憶装置に対する質問として使用される。その場合、モジュール７
０に記憶されるユーザ特有の言語モデルを生成する、または適合させるのに使用
されるテキストコーパスは、普通ならそうなるよりもずっと大きな集合となり、
言語モデルによって提供される確率は、よりよく推定される。この場合にやはり
、言語モデルが構築および適合される特定の方式、および情報検索を行う特定の
技術が本発明のこの態様にクリティカルなものではなく、適したどんな技術も使
用できることに留意されたい。

【００６２】（情報検索を向上させるための言語モデルの使用）図４は、システム６０が情報検索を向上させることのできる技術を示す流れ図
である。前述のように、統計的ｎ−ｇｒａｍ言語モデルは、その単語までの単語
の連続が与えられれば（すなわち単語履歴Ｈが与えられれば）、単語の確率推定
を生成する。ｎ−ｇｒａｍ言語モデルは、履歴Ｈ中の先行する（ｎ−１）個の単
語しか、次の単語の確率に影響するものと見なさない。例えば、ｂｉ−ｇｒａｍ
（２−ｇｒａｍ）言語モデルは、前の単語を次の単語に影響するものと見なす。
したがって、ｎ−ｇｒａｍ言語モデルでは、単語発生の確率は次のように表され
る。

【００６３】式１：Ｐ（ｗ／Ｈ）＝Ｐ（ｗ／ｗ１，ｗ２，．．．ｗ（ｎ−１））

【００６４】ｗは対象の単語であり、ｗ１は、連続の中で単語ｗに先行する最初の単語であり、ｗ２は、単語ｗに先行する２番目の単語であり、ｗ（ｎ−１）は、単語ｗに先行する、ｎ−１の位置にある単語である。

【００６５】また、単語の連続の確率は、その履歴が与えられれば、各単語の確率の乗算に
基づいて決定される。したがって、単語の連続ｗ１．．．ｗｍの確率は、次のよ
うに表される。

【００６６】式２：

【００６７】

【数１】

【００６８】言語モデルを考察する際、単語の連続のパープレキシティの概念もまた知られ
る。パープレキシティは、言語モデルの平均的な分岐ファクタの統計的測定値で
ある。言い換えれば、パープレキシティは、対象の単語または単語の連続が与え
らた場合に言語モデルによって予測されることになる可能な単語の平均数の統計
的測定値である。したがって、その履歴が与えられた場合、単語の連続ｗ１．．
．ｗｍのパープレキシティは、次のように表される。

【００６９】式３

【００７０】

【数２】

【００７１】さらに、所与の言語モデルＬＭに関する単語の連続の

【数３】

【００７２】パープレキシティは、次のように表されることになる。

【００７３】式４

【００７４】

【数４】

【００７５】したがって、言語モデルが与えられた場合、単語の連続のパープレキシティは
、その単語の連続およびその履歴が与えられた場合にその言語モデルによって予
測されることになる単語の平均数にほぼ等しい。この値は、使用されている特定
の言語モデルの予測能力によって変化する。言語モデルが構築される特定の方式
、および使用される特定の言語モデルは、本発明にクリティカルなものではない
。

【００７６】本発明の一態様は、システム６０によって実行される情報検索の正確さを向上
させるために、パープレキシティの概念を言語モデルに関する限り利用する。こ
れを行うために、システム６０はまず、図４のブロック１００で示すように、一
般言語モデルを受け取るかまたは生成する。したがってシステム６０は、言語モ
デルジェネレータで構成することができる。そうした例では、大きな訓練データ
のテキストコーパスが言語モデルジェネレータに提供されて、言語モデルジェネ
レータが、周知の適した方式により、この大きなテキストコーパスに基づいて一
般言語モデルを生成することが好ましい。訓練データは、一般データ記憶装置７
４に記憶された情報（または情報のサブセット）であることが好ましい。次いで
、その言語モデルはモジュール７０に記憶される。しかし、別法として、従来の
市販の一般言語モデルをシステム６０に提供し、これを単にモジュール７０にロ
ードすることもできる。別の代替例では、システム６０は、一般データ記憶装置
７４中のデータとは異なるテキストデータの別の大きなセットから一般言語モデ
ルを生成する。好ましい実施形態では、システム６０は、ｔｒｉｇｒａｍ言語モ
デルを生成する、あるいは提供される。

【００７７】次に、システム６０は、ユーザが関心を持つ特定のトピックに適合性のあるト
ピック言語モデルを受け取るかまたは生成する。この場合にやはり、システム６
０は、市販のトピック言語モデルを備えるか、あるいはトピック言語モデルその
ものを生成して訓練することができる。

【００７８】トピック言語モデルを生成するために、ユーザは、対象となる具体的なトピッ
クに適合性のある訓練データをシステム６０に提供することが好ましい。例えば
、ユーザはいくつかの記事を有し、一般データ記憶装置７４に記憶されている情
報から他の類似する記事を検索したいと思う場合がある。あるいは、ユーザは単
に探索質問またはシステムへの要求を供給する可能性がある。トピック言語モデ
ルは適合性のある記事を使用してシステム６０によって生成されるか、あるいは
、適合性のあるこれらの記事のテキストの一部を使用して、一般データ記憶装置
７４に記憶された情報に対する質問を表し、その質問に基づいて検索された情報
を使用して、ユーザから供給された情報と組み合わせてトピック言語モデルが生
成される。別の好ましい実施形態では、トピック言語モデルを生成するのに使用
される訓練データが乏しいとき、その乏しいデータを使用してトピック言語モデ
ルが生成され、次いで、一般言語モデルと結合されて新しいトピックモデルが得
られる。結合の技術は本発明にクリティカルなものではなく、補間や削除補間な
どの平滑化技術、またはいずれか他の適した技術を使用して達成することができ
る。トピック言語モデルの受領または生成のプロセスを、図４のブロック１０２
で示す。

【００７９】一般言語モデルおよびトピック言語モデルがシステム６０によって生成または
受領された後、システム６０は、情報検索プロセス中で考察されることになる一
般データ記憶装置７４中の各文書（または文書の一部）に類似度を割り当てるこ
とに取りかかる。これを行うために、システム６０はまず、一般データ記憶装置
７４から文書を選択する。これをブロック１０４で示す。

【００８０】次に、システム６０は、ブロック１０６で示すように、一般言語モデルについ
てその文書のパープレキシティを決定する。これは、次のように表される。

【００８１】式５Ｐｅｒｐ（ｄｏｃ_i／ＧＬＭ）

【００８２】上式で、ＧＬＭは一般言語モデルを表し、ｄｏｃ_iは選択された文書を表す。

【００８３】次いでシステム６０は、ブロック１０８で示すように、トピック言語モデルに
ついてその文書のパープレキシティを決定する。これは、次のように表される。

【００８４】式６Ｐｅｒｐ（ｄｏｃ_i／ＴＬＭ）ＴＬＭはトピック言語モデルを表す。

【００８５】次いでシステム６０は、ブロック１０６および１０８で決定されたパープレキ
シティに基づいて、選択された文書の適合度を決定する。適合度は、次のように
、２つのパープレキシティの比率のタームで表されることが好ましい。７３式７

【００８６】

【数５】

【００８７】特定の言語モデルが与えられれば、（単語の連続としての）文書のパープレキ
シティが、その文書が与えられた場合にその言語モデルによって予測できる単語
のほぼ平均数を表すことを想起されたい。したがって、パープレキシティ数が相
対的に高い場合、その言語モデルを開発するのに使用された訓練データは、その
文書に使用されるタームについてその言語モデルをまだあまり訓練していない。
したがって、考察中の文書は、言語モデルを開発するのに使用された訓練データ
に類似しない傾向がある。しかし、その文書のパープレキシティが低い場合、そ
の言語モデルを開発するのに使用された訓練データは、その文書中に現れるター
ムについてその言語モデルをよく訓練していると見込まれ、その文書は、その言
語モデルを訓練するのに使用された訓練データに類似すると見込まれる。

【００８８】したがって、好ましい一実施形態では、類似度は、トピック言語モデルだけを
使用して返すことができる。しかし、より好ましい一実施形態では、トピック言
語モデルも一般言語モデルも両方とも使用される。これは、文書中のいくつかの
言語構造が、考察中の文書が適合性を有するかどうかに関わらず、多かれ少なか
れ現れる見込みがある場合があるからである。トピック言語モデルのパープレキ
シティを適用することによって得られた生の適合性スコアが非常に高くても、情
報検索システムは、これらの類似する文書を差別しないことが望まれる。そのよ
うな場合、かつ、対象の文書中で使用される言語構造が全くありそうでない場合
、一般言語モデルについて返されるパープレキシティ値もまた高くなることにな
る。一般言語モデルとトピック言語モデルとに決定されたパープレキシティの比
率を使用することにより、システムは本質的に、基準（一般言語モデル）に対し
て決定された数を、したがって単にトピック言語モデルに関する文書のパープレ
キシティを提供することによって返されることになる生の数よりも意義のある数
を返す。したがって、２つのパープレキシティの比率として適合度を提供するこ
とにより、より正確な適合度がもたらされると考えられる。

【００８９】同様に、対象のトピックに関わらず、対象の文書中で使用される言語構造が非
常にありふれたものである場合は、文書が特に適合性を有しない可能性があって
も、トピック言語モデルによって返されるパープレキシティ値は相対的に低くな
る。しかし、一般言語モデルによって返されるパープレキシティ値もまた、非常
に低くなることが見込まれる。したがって、２つのパープレキシティの比率とし
て適合度を提供することにより、情報検索技術はより適合性のある文書を検索す
ると考えられる。

【００９０】選択された文書の適合性をパープレキシティに基づいて決定するステップを、
ブロック１１０で示す。２つのパープレキシティの割合としての適合性ファクタ
の表現は、次のように拡張することができる。

【００９１】式８

【００９２】

【数６】

【００９３】上式で、Ｐ_T＝その履歴が与えられた場合の、トピック言語モデルに関する単語の連続の確率であり、Ｐ_G＝その履歴が与えられた場合の、一般言語モデルに関する単語の連続の確率である。

【００９４】適合度が決定されれば、システム６０は、適合度が適合性しきい値を満たすか
どうかを判定する。適合性しきい値は、事前に決定しても、ユーザが入力しても
、システム６０によって検索される文書の数に基づいて調節してもよく、あるい
は他の基準に基づいてもよい。システム６０はただ、ユーザに提供されるのに十
分な高い適合度を文書が有するかどうかを判定するだけである。これをブロック
１１２で示す。

【００９５】文書が適合性しきい値を満たさない場合、それはユーザに提供されず、処理は
ブロック１１６に関して継続する。しかし、文書が適合性しきい値を満たす場合
、それは検索され、トピックデータ記憶装置７２に記憶されるか、あるいは出力
装置７６でユーザに提供される。これをブロック１１４で示す。

【００９６】次いでシステム６０は、一般データ記憶装置７４中の追加の文書を検査すべき
かどうかを判定する。そうすべきである場合、処理はブロック１０４に戻り、そ
こで別の文書が選択されて、その文書の適合性が決定される。もう検査すべき文
書がない場合、処理はオプションのブロック１１８に関して継続する。これをブ
ロック１１６で示す。

【００９７】すべての文書（または文書のサブセット）が検査されれば、システム６０は、
単にユーザに文書を提供するか、文書を記憶するか、文書を適合性に従ってラン
クすることができる。文書が適合性に従ってランクされる実施形態では、システ
ム６０は単に、各文書に対して決定された適合度に従って文書をランクする。次
いでシステム６０は、適合性に従ってランクされた文書をユーザに提供するか、
または単にランキングに基づいて検索された文書のサブセットを提供することが
できる。これをブロック１１８で示す。

【００９８】この技術を使用すると、一般言語モデルは、一般データ記憶装置７４に記憶さ
れた情報またはその情報を表すいくつかのサンプルに基づいて一度生成される必
要があるだけであることが分かる。別法として、一般言語モデルは、一般データ
記憶装置７４中の情報が変わるときに断続的に更新することもできる。トピック
言語モデルは、ユーザから提供された質問ごとに１度生成することが好ましい。

【００９９】（結論）本発明の一態様は、情報検索を使用して、音声認識の間に使用される言語モデ
ルを向上および適合させる技術を提供する。このシステムは、ユーザによってす
でに生成されたテキストの既知の履歴を使用して言語モデルを直接に開発し、適
合させるが、また、類似の文書を見つけて言語モデルの生成および適合に使用さ
れる訓練データを拡大するために、一般データ記憶装置に対してトピック特有の
質問を向ける。これにより、過去に使用された、広範かつあらかじめ考えられた
トピック依存言語モデルよりもずっと正確な言語モデルが実現する。大規模なデ
ータ記憶装置に対する質問はまた、定期的または断続的に繰り返されて、動的に
適合された、正確さの向上した言語モデルが得られることが好ましい。

【０１００】本発明の別の態様は、言語モデルを使用して情報検索技術を向上させる。この
システムは、（前述の技術か別の周知の技術を使用して）一般言語モデルおよび
トピック言語モデルを得ることが好ましい。次いでこのシステムは、得られた言
語モデルによって返されたパープレキシティ値に基づいて、探索された文書の適
合度を計算する。言語モデルが文脈依存モデルであるため、これにより、システ
ムは、単語自体だけでなく単語が現れる文脈も考慮して文書の適合性を決定する
ことが可能になる。これにより、情報検索技術の再現度と精度の両方が向上し、
検索されている文書中に適合性のある情報が現れる見込み（または確率）がより
よく推定され、したがって、情報検索システムのよりよい性能がもたらされる。

【０１０１】本発明を好ましい実施形態を参照しながら述べたが、本発明の趣旨および範囲
を逸脱することなく形式および細部に変更を加えることができることを、当業者
なら理解するであろう。

【図面の簡単な説明】

【図１】本発明によるシステムを実施するための例示的な環境のブロック図である。

【図２】本発明によるシステムのより詳細なブロック図である。

【図３】本発明の好ましい一実施形態による文書検索技術を示す流れ図である。

【図４】本発明の別の好ましい実施形態による、言語モデルを適合させるための技術を
示す流れ図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者ファンシュドンディー．アメリカ合衆国 98072 ワシントン州ウッディンビルノースイースト 121 ストリート 20020 Ｆターム(参考） 5B075 MM01 MM11 NK32 PP02 PP03 PP07 PQ02 QT04 QT10 UU40 5D015 HH23 LL00

Claims

【特許請求の範囲】

【請求項１】第１のデータ記憶装置および第２のデータ記憶装置にアクセ
スできる音声認識システム中で使用される言語モデルを適合させる方法であって
、前記第２のデータ記憶装置が前記第１のデータ記憶装置に対して相対的に大き
く、前記第１のデータ記憶装置に含まれる情報に基づいて情報検索質問を案出する
こと、前記案出した質問に基づいて前記第２のデータ記憶装置に質問すること、前記質問に基づいて前記第２のデータ記憶装置から情報を検索すること、およ
び、前記検索した情報および前記第１のデータ記憶装置中の前記情報に基づいて前
記言語モデルを適合させることを備えることを特徴とする方法。
【請求項２】ユーザが前記音声認識システムを使用している間に、前記案
出、質問、検索、適合のステップを繰り返すことをさらに備えることを特徴とす
る、請求項１に記載の方法。
【請求項３】ユーザが前記音声認識システムを使用している間に、前記案
出、質問、検索、適合のステップが断続的に行われることを特徴とする請求項２
に記載の方法。
【請求項４】情報検索質問を案出することが、ユーザによって事前に作成されて前記第１のデータ記憶装置に記憶された文書
に基づいて情報検索質問を案出することを備えることを特徴とする請求項１に記
載の方法。
【請求項５】情報検索質問を案出することが、次いでユーザによって作成されている文書に含まれる情報に基づいて情報検索
質問を案出することを備えることを特徴とする請求項１に記載の方法。
【請求項６】情報検索質問を案出することが、次いでユーザによって作成されている文書のタイプに関係する情報に基づいて
情報検索質問を案出することを備えることを特徴とする請求項１に記載の方法。
【請求項７】情報検索質問を案出することが、次いでユーザによって文書を作成するのに使用されているテンプレートに基づ
いて情報検索質問を案出することを備えることを特徴とする請求項６に記載の方
法。
【請求項８】情報検索質問を案出することが、次いでユーザによって文書を作成するのに使用されているアプリケーションプ
ログラムに基づいて情報検索質問を案出することを備えることを特徴とする請求
項６に記載の方法。
【請求項９】情報検索質問を案出することが、ユーザが文書を作成している時刻に基づいて情報検索質問を案出することを備
えることを特徴とする請求項６に記載の方法。
【請求項１０】情報を検索することが、前記第２の情報記憶装置から複数の文書を検索すること、および、検索された各文書に関連する適合度を決定することを備えることを特徴とする
請求項１に記載の方法。
【請求項１１】前記言語モデルを適合させることが、検索された、しきい値を満たす適合度を有する文書に基づいて前記言語モデル
を適合させることを備えることを特徴とする請求項１０に記載の方法。
【請求項１２】前記言語モデルを適合させることが、適合性のある各文書に重みを割り当てること、および適合性のある各文書に割り当てられた重みに従って前記言語モデルを適合させ
ることを備えることを特徴とする請求項１１に記載の方法。
【請求項１３】前記第２のデータ記憶装置から情報を検索することが前記
第２のデータ記憶装置から複数の文書を検索することを含み、さらに、方法が、前記第２のデータ記憶装置から検索された文書を前記第１のデータ記憶装置中
の情報よりも低く重み付けすることを含み、前記言語モデルを適合させることが、前記第１のデータ記憶装置中の情報と、
前記検索された、前記第１のデータ記憶装置中の情報に対して重み付けされた文
書とに基づいて前記言語モデルを適合させることを備えることを特徴とする請求
項１に記載の方法。
【請求項１４】前記言語モデルが単語の連続の確率推定を含み、前記言語
モデルを適合させることが、前記第１のデータ記憶装置中の情報と、前記第２のデータ記憶装置から検索さ
れた情報とに基づいて前記確率推定を調節することを備えることを特徴とする請
求項１に記載の方法。
【請求項１５】前記第２のデータ記憶装置から検索された文書に重みを割
り当てることが、少なくとも、増加される重みが重みしきい値に達するまで、前記第２のデータ
記憶装置が質問される回数が増加するように、前記第２のデータ記憶装置から検
索された文書に増加される重みを割り当てることを備えることを特徴とする請求
項１２に記載の方法。
【請求項１６】前記第２のデータ記憶装置に質問することが、グローバルコンピュータネットワークを介して情報を質問することを備えるこ
とを特徴とする請求項１に記載の方法。
【請求項１７】適合させることが、第１の質問から検索された情報と前記第１のデータ記憶装置中の情報にに基づ
いて第１の言語モデルを構築することを備えることを特徴とする請求項１に記載
の方法。
【請求項１８】適合させることがさらに、後続の質問から検索された情報に基づいて第２の言語モデルを構築すること、
および、前記第１および第２の言語モデルを結合することを備えることを特徴とする請
求項１７に記載の方法。
【請求項１９】第１のデータ記憶装置に記憶された情報に適合性のある情
報を第２のデータ記憶装置から検索する方法であって、前記第２のデータ記憶装
置が前記第１のデータ記憶装置よりも大きく、前記第１のデータ記憶装置に記憶された情報に基づいて第１の言語モデルを提
供すること、第２の言語モデルを提供すること、前記第１の言語モデルが与えられた場合に、前記第２のデータ記憶装置中の文
書の第１のパープレキシティを決定すること、前記第２の言語モデルが与えられた場合に、前記文書の第２のパープレキシテ
ィを決定すること、前記第１および第２のパープレキシティに基づいて、前記文書の適合度を決定
すること、および、前記適合度に基づいて前記文書を選択的に検索することを備えることを特徴と
する方法。
【請求項２０】前記第２のデータ記憶装置中に複数の文書に対して、第１
のパープレキシティを決定するステップ、第２のパープレキシティを決定するス
テップ、適合度を決定するステップを繰り返すこと、および、しきい値レベルを満たす適合度を有する複数の文書から適合性のある文書を検
索することをさらに備えることを特徴とする、請求項１８に記載の方法。
【請求項２１】第２の言語モデルを提供することが、前記第２のデータ記憶装置に記憶された情報に基づいて前記第２の言語モデル
を提供することを備えることを特徴とする請求項１９に記載の方法。
【請求項２２】適合度を決定することが、前記第１と第２のパープレキシティの相互に相対的な比率を決定すること、お
よび、前記比率に基づいて適合度を決定することを備えることを特徴とする請求項１
９に記載の方法。
【請求項２３】適合性のある文書を検索することが、各文書に決定された適合度に従って文書をランクすることを備えることを特徴
とする請求項２０に記載の方法。
【請求項２４】第１のデータ記憶装置に記憶された情報に適合性のある情
報を第２のデータ記憶装置から検索する方法であって、前記第２のデータ記憶装
置が前記第１のデータ記憶装置よりも大きく、前記第１のデータ記憶装置中の情報に基づいて第１の文脈依存言語モデルを提
供すること、前記第２のデータ記憶装置中の情報に基づいて第２の文脈依存言語モデルを提
供すること、前記第２のデータ記憶装置中の文書の適合性を、前記文書が与えられた場合の
前記第１の言語モデルの予測能力に基づいて、かつ、前記文書が与えられた場合
の第２の言語モデルの予測能力に基づいて決定すること、および、前記適合性が適合性しきい値を満たす場合に、前記文書を検索することを備え
ることを特徴とする方法。
【請求項２５】前記第１および第２の言語モデルの予測能力に基づいて前
記文書の適合性を決定することが、前記文書が与えられた場合の前記第１の言語モデルの分岐ファクタに基づいて
、かつ、前記文書が与えられた場合の前記第２の言語モデルの分岐ファクタに基
づいて、前記適合性を決定することを備えることを特徴とする、請求項２４に記
載の方法。
【請求項２６】前記第２のデータ記憶装置内の複数の文書の適合性を決定
するステップを繰り返すこと、前記決定した適合性を前記適合性しきい値と比較すること、および前記適合性しきい値を満たす適合性を有する文書を検索することをさらに備え
ることを特徴とする、請求項２４に記載の方法。
【請求項２７】前記適合性しきい値を満たすいくつかの文書に基づいて、
前記適合性しきい値を適合させることをさらに備えることを特徴とする、請求項
２６に記載の方法。
【請求項２８】前記第１の言語モデルを適合させることが、前記第１のデータ記憶装置中の情報に基づいて前記第２のデータ記憶装置に質
問すること、および、前記第１のデータ記憶装置に基づいて、かつ、前記第２のデータ記憶装置から
前記質問に基づいて検索された情報に基づいて、前記第１の言語モデルを構築す
ることを備えることを特徴とする請求項２４に記載の方法。
【請求項２９】前記第１の言語モデルを提供することが、前記第１のデータ記憶装置中の情報に基づいて予備言語モデルを構築すること
、および、前記予備言語モデルを前記第２の言語モデルに結合して、前記第１の言語モデ
ルを得ることを備えることを特徴とする請求項２４に記載の方法。
【請求項３０】前記第２の言語モデルを提供することが、前記第２のデータ記憶装置に記憶されたすべての情報のサブセットに基づいて
前記第２の言語モデルを構築することを備えることを特徴とする請求項２４に記
載の方法。
【請求項３１】第１のデータ記憶装置に記憶された情報に適合性のある情
報を第２のデータ記憶装置から検索する方法であって、前記第２のデータ記憶装
置が前記第１のデータ記憶装置よりも大きく、前記第１のデータ記憶装置に記憶された情報に基づいて第１の言語モデルを提
供すること、前記第１の言語モデルが与えられた場合に、前記第２のデータ記憶装置中の文
書の第１のパープレキシティを決定すること、前記第１のパープレキシティに基づいて前記文書の適合度を決定すること、前記第２のデータ記憶装置中の複数の文書に対して、第１のパープレキシティ
を決定するステップと適合度を決定するステップとを繰り返すこと、および、しきい値レベルを満たす適合度を有する複数の文書から適合性のある文書を検
索することを備えることを特徴とする方法。
【請求項３２】前記第２のデータ記憶装置に記憶された情報に基づいて第
２の言語モデルを提供すること、および、前記第２の言語モデルが与えられた場合に、前記文書の第２のパープレキシテ
ィを決定することをさらに含み、適合度を決定することが、前記第１のパープレキシティに基づいて、かつ前記
第２のパープレキシティに基づいて前記文書の適合度を決定することを含み、繰り返すことが、前記第２のデータ記憶装置中の複数の文書に対して、第１の
パープレキシティを決定するステップと、第２のパープレキシティを決定するス
テップと、適合度を決定するステップとを繰り返すことを備えることを特徴とす
る請求項３１に記載の方法。
【請求項３３】音声を認識する方法であって、第１のデータ記憶装置を提供すること、前記第１のデータ記憶装置に対して相対的に大きい第２のデータ記憶装置を提
供すること、言語モデルを提供すること、前記第１のデータ記憶装置に含まれる情報に基づいて情報検索質問を案出する
こと、前記案出した質問に基づいて前記第２のデータ記憶装置に質問すること、前記質問に基づいて前記第２のデータ記憶装置から情報を検索すること、およ
び、前記検索した情報と前記第１のデータ記憶装置中の情報とに基づいて前記言語
モデルを適合させることを備えることを特徴とする方法。
【請求項３４】ユーザが前記音声認識システムを使用している間に、前記
案出、質問、検索、適合のステップを断続的に繰り返すことをさらに備えること
を特徴とする、請求項３３に記載の方法。
【請求項３５】繰り返すことが、時間に基づいて断続的に前記ステップを繰り返すことを備えることを特徴とす
る請求項３４に記載の方法。
【請求項３６】繰り返すことが、ユーザが前記音声認識システムを使用して文書を作成している間、前記文書の
作成中に所定数の単語が認識された後で、前記ステップを繰り返すことを備える
ことを特徴とする請求項３４に記載の方法。