JP2008516294A - 対話システムの忠実度を向上させる方法及びシステム - Google Patents

Abstract

【課題】対話システムの忠実度を向上させる方法を提供する。
【解決手段】ステップ４１０において、第１のシステムの第１のユーザからの第１の入力にアクセスする。変更コンポーネント２１４はテキスト入力１２１にアクセスし、認識されていないテキスト入力のインスタンスを識別して、それらを辞書に格納する。ステップ４２０において、第２のシステムの第２のユーザからの第２の入力にアクセスする。変更コンポーネント２１４はまた、音声入力１５２にもアクセスし、認識されていない音声入力のインスタンスを識別して、それらを辞書に格納する。ステップ４３０において、第２の入力を利用して第１のシステムの出力を変更する。変更コンポーネント２１４は、認識されていないテキスト入力のインスタンスが認識されていない音声入力のインスタンスに対応する場合を判断するように構成される。
【選択図】図４

Description

本発明の実施の形態は、テキスト・音声変換（text-to-speech）システム及び自動音声認識システムの分野に関する。

通信技術において高まっている傾向は、異なる通信モダリティを単一のマルチモーダル通信システムに結合することである。たとえば、テキストメッセージを使用している（たとえばコンピュータ端末で）第１の人と、話す方を好む（たとえば車を運転している）第２の人との間のライブチャットである。第１の人がテキスト入力装置を使用してタイプ入力するテキストは、テキスト・音声（ＴＴＳ）変換器を使用して可聴音声に変換される。これを、第２の人が（たとえば携帯電話の受話口を使用して）スピーカで聞くことができる。第２のユーザは、マイク（たとえば携帯電話の送話口）に単語又は文字を話す。自動音声認識（ＡＳＲ）エンジンが、発話された単語をテキストに変換し、その後テキストが第１の人に表示される。

しかしながら、マルチモーダル通信を実装することは困難である。たとえば、ＴＴＳシステムによっては、書かれたテキストを正確に聞こえる音声に変換することが困難な場合がある。この問題は、特に、適切な名前及び／又はＴＴＳ変換システムの語彙にない他の単語を変換する場合によく見られる。ＴＴＳシステムによっては、単語がいかに発音される可能性があるかの仮説を立てることができるものもあるが、単語の適切な発音を正確に近似しないことが多い。さらに、外来語を発音しようとする場合、ＴＴＳシステムは、さまざまな文字の組合せの発音及び／又は単語のアクセント及び発声の文化的な相違を考慮しない場合もある。

現在、ＡＳＲの分野における研究の多くは、依然として単一ユーザの音声の認識を向上させることを対象としている。別の適応は、ユーザの音声を認識する際のＡＳＲシステムの有効性を劣化させる可能性のある環境雑音を補償することを対象としている。ＡＳＲの分野における他の研究は、言語のネイティブでない話者の音声を、そうした話者の音声を認識する確率を向上させるように認識することに向けられている。

ＡＳＲにおける別の適応は、何の話題について話されているか判断し、その主題に適当な辞書にアクセスするというものである。通常、ユーザの音声の認識は、そのユーザが何を言おうとしているかを事前に推定することに基づく。ＡＳＲシステムは、特定の主題に対してより限定された辞書にアクセスすることにより、特定の辞書における各単語に関連する確率値を増大させる。これにより、ユーザが話す時にＡＳＲシステムがそのユーザを正確に認識する確率が上昇する。たとえば、ユーザが会計について話している場合、ＡＳＲシステムは、会計、銀行業務、金銭等に関する単語を含む辞書にアクセスする。そして、ＡＳＲシステムは、ユーザの前の挙動に基づいてユーザが金融関係のことに関して話し続ける可能性があるため、この辞書における各単語に関連する確率値を増大させる。このため、ユーザが「税（tax）」という単語を話す場合、ＡＳＲシステムは、ユーザが話す単語を、「鋲（tacks）」という単語ではなく「税」であると解釈する可能性の方が高くなる。
米国特許第５９９５５９０号 国際公開第０１／６９８９５号 MASARU OHKI他, 「SIGN LANGUAGE TRANSLATION SYSTEM USING PATTERN RECOGNITION AND SYNTHESIS」 HITACHI REVIEW, HITACHI LTD. TOKOYO, JP, vol. 44, no. 4, 1995年8月 XP000550280 ISSN: 0018-277X abstract; figure 1

ＡＳＲシステムは、音声メールシステム等の商用アプリケーションでますます使用されてきている。ＡＳＲシステムは、ユーザに、選択すべき選択肢の絞り込まれたセットを提示する、入念に文言が選ばれた階層状の質問を利用するように構成されることが多い。ＡＳＲシステムは、質問の言い回しにより可能性のある回答を予め「知っている」ため、問われる質問に応じて聞こえると予測する単語の確率を増大させることができる。しかしながら、これらのシステムは、種々のユーザの音声を認識する際の誤り率を最小限にするために、実装する前に非常に長い設定及び訓練が必要である場合が多い。このため、これらのシステムはセットアップに費用がかかり、入念に文言が選ばれた階層状の質問を実装することができない状況では容易に適応できない。

本発明の実施の形態は、対話システムの忠実度を向上させる方法及びシステムを説明する。一実施の形態では、第１のモダリティで動作している第１のシステムのユーザによって生成される第１の入力にアクセスする。本発明の実施の形態では、第１のシステムはまた、第１の入力に対応する第１の出力を生成する。第１のユーザと会話している第２のユーザからの第２の入力に、第２のシステムがアクセスする。そして第２の入力を利用して、第１のシステムの第１の出力を変更する。

本明細書に組み込まれるとともにその一部を形成する添付図面は、本発明の実施の形態を例示し、説明とともに本発明の原理を説明する役割を果たす。特に指摘しない限り、この説明において参照する図面は、一定比例尺で描かれていないと理解されるべきである。

ここで、本発明の実施形態に詳細に言及する。その例は添付図面に示されている。本発明を、以下の実施形態に関連して説明するが、それらは本発明をこれらの実施形態のみに限定するようには意図されていないことが理解されよう。それどころか、本発明は、添付の特許請求の範囲によって規定されるような本発明の精神及び範囲内に含まれ得る代替形態、変更形態及び均等物を包含するように意図されている。さらに、本発明の以下の詳細な説明では、本発明が完全に理解されるように、多数の特定の詳細が示されている。しかしながら、本発明の実施形態を、これらの特定の詳細なしに実施してもよい。他の場合、本発明の態様を不必要に不明瞭にしないように、既知の方法、手順、構成要素及び回路については詳細に説明していない。

表記及び用語
以下の詳細な説明の一部は、手順、論理ブロック、処理、及びコンピュータメモリ内のデータビットに対する動作の他の記号的表現に関して提示する。これらの説明及び表現は、データ処理技術における当業者が自身の作業の内容を他の当業者に最も有効に伝達するために使用する手段である。本出願において、手順、論理ブロック、プロセス等は、所望の結果に導くステップ又は命令の一貫したシーケンスであると考えられる。それらのステップは、物理量の物理操作を必要とするものである。通常、必ずしもではないが、これらの量は、コンピュータシステムにおいて格納、転送、結合、比較、及び他の方法で操作することができる電気信号又は磁気信号の形態をとる。

しかしながら、これらの用語及び同様の用語のすべてが、適当な物理量に関連するものであり、これらの量に適用される都合のよいラベルであるに過ぎないということが念頭に置かれるべきである。以下の論考から明らかであるように特に明記しない限り、本発明を通して「アクセスする」、「利用する」、「変更する」「代用する」等の用語を利用して論じる際、それは、コンピュータシステム又は同様の電子コンピューティングデバイスであって、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを処理し、コンピュータシステムメモリ若しくはレジスタ又は他のこうした情報記憶装置、伝送装置又は表示装置内の物理量として同様に表される他のデータに変換する、コンピュータシステム又は同様の電子コンピューティングデバイスの動作及びプロセスを指すことが理解される。

図１は、本発明の実施形態によって使用される通信ネットワーク１００の図である。図１において、第１のユーザ１１０は、コンピュータ１２０を使用して第２のユーザ１６０と通信する。本発明の実施形態では、コンピュータ１２０は、１つ又は複数の通信ネットワーク（たとえばインターネット１３０及び携帯電話ネットワーク１４０）を介して第２のユーザ１６０の携帯電話１５０と通信可能に結合される。本発明の実施形態において、公衆交換電話網（ＰＳＴＮ）、Ｂｌｕｅｔｏｏｔｈ通信ネットワーク等を含む他の通信ネットワークを使用してもよいということが理解される。本発明の実施形態により、２人以上のユーザ間の会話が容易になる。それらのユーザのうちの一方は、第１のモダリティで動作している第１のシステム（たとえば、コンピュータ、個人情報端末（ＰＤＡ）又は他のテキスト入出力装置によってアクセスされるテキスト・音声変換システム）を使用してもよく、もう一方のユーザは、第２のモダリティで動作している第２のシステム（たとえば、電話又は専用ＡＳＲ装置等の他の音声入出力装置によってアクセスされる自動音声認識システム）を使用する。しかしながら、以下の論考は特にテキスト・音声変換システム及び自動音声認識システムを引用するが、本発明の実施形態は、これらのモダリティのみには限定されない。たとえば、本発明の実施形態の入出力を、ブライユ点字入出力装置を使用して実行してもよい。後述するように、本発明の他の実施形態では、第１のシステムは自動音声認識システムを含み、第２のシステムはテキスト・音声変換システムを含む。

図２Ａ、図２Ｂ、図２Ｃ及び図２Ｄは、本発明の実施形態による変換を容易にする例示的な対話システム２００の実施形態の図である。本発明の実施形態では、第１のユーザ１１０と第２のユーザ１６０との間の通信は、変更コンポーネント２１４と通信可能に結合される第１のシステム（たとえばテキスト・音声変換システム２１１）と第２のシステム（たとえば自動音声認識システム２１２）とを備える会話エンジン２１０によって容易にされる。本発明の実施形態では、会話エンジン２１０が複数のヒント２１３にアクセスすることにより、テキスト・音声変換システム２１１及び／又は自動音声認識システム２１２のより高い忠実度が促進される。本発明の実施形態では、ヒント２１３を、会話エンジン２１０、テキスト・音声変換システム（ＴＴＳ）２１１、自動音声認識（ＡＳＲ）システム２１２、変更コンポーネント２１４の一構成要素であるか、又はたとえばネットワーク接続を介してアクセスされるリモートアクセスデータベースであってもよいデータベースに格納してもよい。

これらの構成要素を単一の装置（たとえばコンピュータ１２０又は携帯電話１５０）に実装してもよく、又は分散して（たとえばコンピュータネットワーク）実装してもよい、ということが理解される。さらに、会話エンジン２１０を、インターネット１３０を介してインターネットプロバイダ（図示せず）によるか又はネットワーク１４０（たとえば携帯電話ネットワーク）によって提供されるサービスとして実装してもよい。本発明の実施形態では、データは、テキスト・音声変換システム２１１、自動音声認識システム２１２、及び両システムの忠実度を向上させるために使用される変更コンポーネント２１４間で交換される。本発明の目的で、このデータを「ヒント」（たとえば図２の２１３）と呼ぶ。

後に詳細に説明するように、変更コンポーネント２１４は、テキスト・音声変換システム及び自動音声認識システムの忠実度を、いずれかのシステムからのデータにアクセスして他方のシステムの忠実度に改良を加えることによって促進する。上述したように、一般に、２人のユーザが会話している時、彼らは通常、同じ話題（複数可）に関して話している。このため、図２Ａ、図２Ｂ、図２Ｃ及び図２Ｄの実施形態では、テキスト入力１２１を含む認識されていない単語は、音声入力１５２を含む認識されていない単語に一致する可能性が高い。

図２Ａ〜図２Ｄを参照してより詳細に後述するように、本発明の実施形態は、事前に規定されたパラメータを利用して、所与の認識されていないテキスト入力が認識されていない音声入力に対応する場合を判断する。その結果、本発明の実施形態では、テキスト入力１２１を使用して、自動音声認識システム２１２のテキスト出力１２２の忠実度を向上させることができる。これは、テキスト・音声変換システム２１１からの「ヒント」が、自動音声認識システム２１２の忠実度を向上させるために使用される一例である。別の実施形態では、音声入力（たとえば１５２）を使用して、テキスト・音声変換システム２１１の音声出力１５１の忠実度を向上させてもよい。これは、自動音声認識システムからの「ヒント」が、テキスト・音声変換システムの忠実度を向上させるために使用される一例である。これらの実施形態は相互に排他的ではないことが理解される。言い換えれば、会話エンジン２１０は、同じ会話中にテキスト・音声変換システム２１１及び自動音声認識システム２１２の忠実度を向上させることができる。

図２Ａを参照すると、時刻Ｔ_０において、第１のユーザ１１０は、コンピュータ１２０を使用してテキスト入力１２１を（たとえば図５の英数字入力装置５０７を介して）生成する。本発明の実施形態では、時刻Ｔ_１において、テキスト・音声変換システム２１１によってテキスト入力１２１がアクセスされる。テキスト・音声変換システム２１１は、時刻Ｔ_２においてテキスト入力１２１を音声出力１５１に変換し、それは、図１に関して上述したように時刻Ｔ_３において携帯電話１５０のスピーカ１５３に伝達される。

それに応じて、時刻Ｔ_４において、携帯電話１５０のユーザは、音声入力１５２を生成し、それは時刻Ｔ_５において会話エンジン２１０によって受け取られる。最後に、時刻Ｔ_６において、自動音声認識システム２１２はテキスト出力１２２を生成し、それは時刻Ｔ_７においてコンピュータ１２０で受け取られる。本発明の実施形態では、イベントの順序を逆にしてもよいということが理解される。すなわち、本発明の実施形態において、音声入力１５２の生成が、テキスト入力１２１の生成に先立ってもよい。

本発明の実施形態では、会話エンジン２１０によってテキスト入力１２１及び／又は音声入力１５２がアクセスされる時、その入力はまた、変更コンポーネント２１４によってもアクセスされる。本発明の実施形態では、図２Ａに示すように、テキスト入力１２１は、テキスト・音声変換システム２１１を介して変更コンポーネント２１４によって受け取られてもよく、又は図２Ｂに示すように、変更コンポーネント２１４が連結２１６を介してテキスト入力１２１に直接アクセスしてもよい。同様に、本発明の実施形態では、図２Ａに示すように、音声入力１５２は、自動音声認識システム２１２を介して変更コンポーネント２１４によって受け取られてもよく、又は図２Ｂに示すように、変更コンポーネント２１４が連結２１７を介して音声入力１５２に直接アクセスしてもよい。

図３は、本発明の実施形態による例示的な変更コンポーネント２１４のブロック図である。本発明の実施形態では、変更コンポーネント２１４は、本実施形態ではテキスト入力１２１にアクセスするように構成される第１のアクセス機構（たとえばテキスト入力アクセス機構３１０）を備える。変更コンポーネント２１４は、本実施形態では音声入力１５２にアクセスするように構成される第２のアクセス機構（たとえば音声入力アクセス機構３２０）をさらに備える。さらに、変更コンポーネント２１４は、ヒント（たとえば図２Ａ〜図２Ｄの２１３）のデータベースを備える。図３の実施形態では、変更コンポーネント２１４はまた、ヒント２１３のデータベースも備える。上述したように、ヒント２１３はまた、テキスト・音声変換システム２１１若しくは自動音声認識システム２１２のデータベース構成要素、又は会話エンジン２１０によってアクセス可能なリモートアクセスデータベースであってもよい。本発明の実施形態では、ヒント２１３は、ＴＴＳシステム２１１及び／又はＡＳＲシステム２１２のいずれか又は両方が、テキストから音声に又は音声からテキストに変換する時に使用する辞書を備えてもよい。さらに、本発明の実施形態では、ヒント２１３は、ＴＴＳシステム２１１及びＡＳＲシステム２１２によって認識されない単語の連想を含む。

判断コンポーネント３３０は、テキスト入力アクセス機構３１０及び音声入力アクセス機構３２０に通信可能に結合され、本実施形態では、一方のモダリティからの入力がもう一方のモダリティからの入力に一致する場合を判断するように構成される。たとえば、本実施形態では、判断コンポーネント３３０は、所与の音声入力１５２が所与のテキスト入力１２１に一致すると判断することができる。判断コンポーネント３３０はさらに、自動音声認識システム２１２に対し、そのテキスト入力（たとえば１２１）を、所与の音声入力（たとえば１５２）の連続したインスタンスに対してテキスト出力（たとえば１２２）を構成するプロセスにおいて使用させる。

本発明の実施形態では、判断コンポーネント３３０を使用して、テキスト・音声変換システム２１１に対し、所与のテキスト入力（たとえば１２１）の連続したインスタンスに対して音声出力（たとえば１５１）を構成するプロセスにおいて、音声入力（たとえば１５２）を使用させてもよい。図２Ｂに示すように、テキスト入力アクセス機構３１０をテキスト入力１２１と直接通信可能に結合してもよく、又は図２Ａに示すようにテキスト・音声変換システム２１１に直接通信可能に結合してもよい。同様に、音声入力アクセス機構３２０を、図２Ｂに示すように音声入力１５２に直接通信可能に結合してもよく、又は図２Ａに示すように自動音声認識システム２１２に直接通信可能に結合してもよい。

ここで図２Ａ及び図２Ｂに戻って参照すると、本発明の実施形態では、変更コンポーネント２１４は、携帯電話１５０からの音声入力１５２にアクセスし、音声入力１５２のインスタンスがテキスト出力１２２に対応するか否かを判断する。たとえば、本発明の実施形態では、ＡＳＲシステム２１２は、データベースに格納された辞書にアクセスすることにより、音声入力（たとえば１５２）を対応するテキスト出力（たとえば１２２）と照合する。このため、ＡＳＲシステム２１２によって受け取られる音声入力１５２の各インスタンスに対し、対応するテキスト出力１２２がアクセスされ出力される。そして、このテキスト出力は受信側に送信され、そこで第１のユーザ１１０に対しコンピュータ１２０の表示装置５０６を介して表示される。

本発明の実施形態では、自動音声認識システム２１２は、アクセスされた辞書に格納されていない音声入力１５２のインスタンスを受け取ると、その単語のあり得るスペルを近似する発音に即した（phonetic）テキスト出力を生成する。上述したように、従来のＡＳＲシステムは、それらの辞書に含まれていない単語を正確に認識しないことが多い。このため、ＡＳＲシステムは、知らない音声入力のインスタンスを受け取る場合、その単語の不正確に綴られたテキスト出力を容易に生成する可能性がある。

図２Ａ及び図２Ｂの実施形態では、自動音声認識システム２１２及び／又は変更コンポーネント２１４によって認識されない音声入力１５２のインスタンスは、変更コンポーネント２１４により、後に参照するために格納される。図２Ｂの実施形態では、音声入力１５２の認識は、変更コンポーネント２１４によって実行される。同様に、テキスト入力１２１の認識されていないインスタンスは、後に参照するために変更コンポーネント２１４によって格納される。そして、認識されていない音声入力のインスタンスは、認識されていないテキスト入力のインスタンスと比較される。本発明の実施形態では、その後、変更コンポーネント２１４は、認識されていないテキスト入力（たとえば１２１）のインスタンスが認識されていない音声入力（たとえば１５１）のインスタンスに対応するか否かを判断しようと試みる。本発明の実施形態では、変更コンポーネント２１４により、事前に求められたパラメータを使用して、テキスト入力１２１と音声出力１５２との間に、それらをデータの対応するインスタンスとして指定するために十分な類似性があるか否かが判断される。

たとえば、テキスト入力１２１の認識されていないインスタンスが受け取られると、テキスト・音声変換システム２１１は、単語の発音の仮説を立てようと試みる。この仮説が立てられた発音を認識されていない音声入力１５２と比較することにより、それらが実際に同じ単語を指していると想定するために十分な類似性があるか否かを判断することができる。それらが同じ単語を指していると判断されると、変更コンポーネント２１４は、テキスト・音声変換システム２１１及び／又は自動音声認識システム２１２によってアクセスされる辞書を更新する。それにより、音声入力１５２の認識されていないインスタンスはこの時、テキスト入力１２１の認識されていないインスタンス（たとえばヒント２１３にある）と関連付けられる。その結果、次にテキスト入力１２１の認識されていないインスタンスが会話エンジン２１０によってアクセスされる時、関連する音声入力１５２が、テキスト・音声変換システム２１１の音声出力１５１として使用される。本発明の実施形態では、たとえばコンピュータ１２０からのテキスト入力を使用して自動音声認識システム２１２のテキスト出力を変更することができるように、同様のプロセスを使用することができる。

本発明の実施形態は、概して、会話における２人の参加者が同じ話題について話している可能性が高いという前提の下で動作する。このため、認識されていないテキスト入力１２１及び認識されていない音声入力１５２は、実際には同じものを指している可能性がある。したがって、本発明の実施形態では、変更コンポーネント２１４は、認識されていないテキスト入力１２１のインスタンスを認識されていない音声入力１５２のインスタンスと照合するために１組のパラメータに頼る。２つのインスタンスが規定されたパラメータ内で一致する場合、変更コンポーネント２１４は、テキスト入力１２１を生成している第１のユーザ及び音声入力１５２を生成している第２のユーザが同じものに言及していると想定する。その結果、テキスト・音声変換システム２１１及び／又は自動音声認識システム２１２によってアクセスされる辞書（たとえばヒント２１３）は、テキスト入力１２１と音声入力１５２とが関連付けられるように変更コンポーネント２１４によって更新される。言い換えれば、テキスト入力１２１の所与の単語のスペルが、ＡＳＲシステム２１２によって所与の単語のスペルのためのヒントとして使用される。

再び図２Ａ及び図２Ｂを参照すると、次に第２のユーザ１６０が時刻Ｔ_Ｎにおいて音声入力１５２を生成する時、会話エンジン２１３は、時刻Ｔ_Ｎ＋１において音声入力にアクセスし、認識されていない音声入力１５２のインスタンスをテキスト出力１２１の格納されているインスタンスと比較する。認識されていない音声入力１５２が格納されているテキスト入力１２１に一致すると判断されると、変更コンポーネント２１４は、自動音声認識システム２１２に対して、時刻_Ｎ＋２において、音声入力のそれ自体のスペルを近似させるのではなく、関連するテキスト入力１２１をテキスト出力１２２として利用させる。その結果、自動音声認識システム２１２の忠実度が向上する。なぜなら、それがもはや知らない単語のスペルを近似しないためである。会話の参加者が、汎用辞書に含まれていない可能性のあるいくつかの単語のスペル又は発音を知っている可能性の方が高いため、本発明の実施形態は、一方のシステムがヒントとしてアクセスするスペル及び／又は発音を、他方のシステムの忠実度を向上させるために使用する。

さらに、テキスト・音声変換システム２１１及び／又は自動音声認識システム２１２のいずれかによって認識される会話で使用される単語に応じて、会話エンジン２１０は、テキスト入力１２１又は音声入力１５２のいずれかに応じて話題に特有の辞書にアクセスされる「辞書適応」と呼ばれるプロセスを実行してもよい。通常、ＴＴＳシステムは、単一の音声出力を所与のテキスト入力に関連付けるか、又は所与のテキスト入力が種々の方法で発音される可能性がある場合、自然言語処理を実行して、テキスト入力の最も可能性の高い発音を選択する。ＡＳＲシステムは、通常、各単語に対し先に発話された単語に基づいて確率が関連付けられている辞書に依存する。

本発明の実施形態では、会話エンジン２１０は、テキスト入力１２１又は音声入力１５２のいずれかに関連する他の単語の確率を変更してもよい。このため、「猫（cat）」という単語が発話される場合、会話エンジン２１０により、猫の話題に関連する他の単語に対してより高い確率が割り当てられることになる。その結果、テキスト入力１２１を使用して、自動音声認識システム２１２によって使用される辞書において単語に関連する確率を変更することができる。同様に、音声入力１５２を使用して、テキスト・音声変換システム２１１によって使用される辞書において単語に関連する確率を変更することができる。これは、この場合もまた、会話の参加者が同じか又は同様の話題について話している可能性があるため有利である。このため、会話中に使用されている関連単語の確率が高くなる。

別の実施形態では、音声入力１５２を使用して、テキスト・音声変換システム２１１の音声出力を変更することができる。この実施形態では、次にテキスト入力１２１がテキスト・音声変換システム２１１によってアクセスされる時、テキスト・音声変換システム２１１はこの時、音声出力１５１を生成する代りに、ヒント２１３においてテキスト入力１２１に関連する音声入力１５２を出力する。

図２Ｃ及び図２Ｄを参照すると、時刻Ｔ_０において、第２のユーザ１６０は携帯電話１５０を使用して音声入力１５２を（たとえばマイク１５４を介して）生成する。本発明の実施形態では、時刻Ｔ_１において、会話エンジン２１０によって音声入力１５２がアクセスされる。自動音声認識システム２１２は、時刻Ｔ_２において音声入力１５２をテキスト出力１２２に変換し、それは時刻Ｔ_３においてコンピュータ１２０の表示装置５０６に伝達される。

これに応じて、時刻Ｔ_４において、コンピュータ１２０のユーザはテキスト入力１２１を生成し、それは時刻Ｔ_５において会話エンジン２１０によって受け取られる。最後に、時刻Ｔ_６において、テキスト・音声変換システム２１１は音声出力１５１を生成し、この音声出力１５１は時刻Ｔ_７において携帯電話１５０に受け取られる。本発明の実施形態では、イベントの順序を逆にしてもよいことが理解される。すなわち、本発明の実施形態では、音声入力１５２の生成が、テキスト入力１２１の生成に先立ってもよい。

本発明の実施形態では、ＡＳＲシステム２１２によって認識されない単語のインスタンスは、会話エンジン２１０によって格納される。図２Ｃの実施形態では、ＡＳＲシステム２１２が知らない音声入力のインスタンスを受け取ると、その音声入力のコピーが変更コンポーネント２１４に送出されそこで格納される。図２Ｄの実施形態では、音声入力１５２のインスタンスは、変更コンポーネント２１４によって認識されない場合、変更コンポーネント２１４によって格納される。

そして、認識されていない音声入力のこれらのインスタンスは、認識されていないテキスト入力のインスタンスと比較される。本発明の実施形態では、その後、変更コンポーネント２１４は、認識されていないテキスト入力（たとえば１２１）のインスタンスが認識されていないの音声入力（たとえば１５２）のインスタンスに対応するか否かを判断しようと試みる。本発明の実施形態では、変更コンポーネント２１４が、事前に求められたパラメータを使用して、テキスト入力１２１と音声出力１５２との間に、それらをデータの対応するインスタンスとして指定するために十分な類似性があるか否かを判断する。

２つのインスタンスが規定されたパラメータ内で一致する場合、変更コンポーネント２１４は、テキスト入力１２１を生成している第１のユーザと音声入力１５２を生成している第２のユーザとが同じものに言及していると想定する。その結果、テキスト・音声変換システム２１１及び／又は自動音声認識システム２１２によってアクセスされる辞書（たとえばヒント２１３）は、変更コンポーネント２１４によって、テキスト入力１２１及び音声入力１５２が関連付けられるように更新される。言い換えれば、音声入力１５２の所与の単語の発音が、ＴＴＳシステム２１１によって所与の単語の発音のためのヒントとして使用される。

再び図２Ｃ及び図２Ｄを参照すると、次に第１のユーザ１１０が時刻Ｔ_Ｎにおいてテキスト入力１１２を生成する時、会話エンジン２１３は、時刻Ｔ_Ｎ＋１においてテキスト入力１２１にアクセスし、認識されていないテキスト入力１２１のインスタンスを音声出力１５２の格納されているインスタンスと比較する。認識されていないテキスト入力１２１が格納されている音声入力１５２に対応すると判断されると、変更コンポーネント２１４は、テキスト・音声変換システム２１１に対し、時刻Ｔ_Ｎ＋２において、テキスト入力１２１のそれ自体の発音を近似させるのではなく、関連するテキスト入力１５２をテキスト出力１２２として利用させる。

このデータベース（たとえば２１３）の拡張では、音声入力１５２は、基本ＴＴＳシステムに対して適当であるいかなる記述言語をも使用して特徴付けられる。通常、これは、オリジナルの音声サンプルではなく、相対的な持続時間及び語勢が留意される一連の音素である。しかしながら、これは、記録された表現としてオリジナルの音声サンプルを使用することを排除しない。その結果、次にテキスト入力１２１がテキスト・音声変換システム２１１によってアクセスされる時、テキスト・音声変換システム２１１はこの時、以前のように音声出力１５１を生成する代りに、音声入力１５２（たとえば、ヒント２１３に格納された関連音声入力１５２）から生成される記録された表現を使用する。記録された表現がオリジナルの音声入力１５２である場合、その音声を音声出力に、任意選択で知覚的一致を向上させるために音声変換をともなって混合することができる。参照として与えられるあり得る変換の一例は、Slaney、Covell及びLassiterによる、Institute of Electrical and Electronics Engineers(IEEE) International Conference on Acoustics, Speech, and Signal Processing, Atlanta GA, May 1996, vol.2, pages 1001-1004で提示された「Automatic Audio Morphing」である。

別の実施形態では、変更コンポーネント２１４を使用して、携帯電話１５０のユーザの話し方のパターンに似るように音声出力１５１を生成するようテキスト・音声変換システム２１１を構成することも可能である。たとえば、携帯電話１５０のユーザが独特なアクセントで話す場合、変更コンポーネント２１４は、音声入力１５２にアクセスして上述したように音声出力１５１を構成する単語の発音を変更することができる。その結果、本発明の実施形態により、音声出力１５１は、自動音声認識システム２１２によって正確に認識される単語を含む、音声入力１５２を構成する単語の発音により近似することができる。

本発明の実施形態では、ＴＴＳシステム２１１は、アクセスされた辞書に格納されていないテキスト入力１２１のインスタンスを受け取ると、その単語が何と聞こえ得るかを近似する発音に即した音声出力を生成する。上述したように、従来のＴＴＳシステムは、発音することが訓練されなかった適当な名詞に対する正確な音声出力を生成しないことが多い。このように、ＴＴＳシステムは、知らないテキスト入力のインスタンスを受け取る場合、その単語の不正確な発音を安易に生成する可能性がある。これは、特に、ＴＴＳシステムが、さまざまな文字の組合せの発音並びに／又は外来語（たとえば非英語）のアクセント及び発声における文化的な相違を考慮しないことが多いという点で問題がある。本発明の実施形態では、テキスト・音声変換システム２１１によって認識されない単語のインスタンスはヒント２１３に格納される。

したがって、本発明の実施形態は、テキスト・音声変換システム２１１に対するより高い忠実度を促進する。それは、テキスト・音声変換システム２１１が、知らない単語の発音を推測又は近似する必要がないためである。同様に、本発明の実施形態は、自動音声認識システム２１２に対するより高い忠実度を促進する。それは、自動音声認識システム２１２が、知らない単語のスペルを推測又は近似する必要がないためである。さらに、前にアクセスされたテキスト入力を使用して、関連する単語の確率を上昇させることができる。その結果、発話された単語を認識する際の自動音声認識システム２１２の忠実度が向上する。

以下の論考は、本発明の実施形態による対話システム２００を使用する例示的な会話である。第１のユーザ１１０は、第２のユーザ１６０に「ジョーはどんな種類の猫を手に入れたのですか？」と質問するテキスト入力１２１を生成する。会話エンジン２１０は、テキスト入力１２１にアクセスし、テキスト・音声変換システム２１１を使用して、第２のユーザ１６０に出力される音声出力１５１を「ジョーはどんな種類の猫を手にいれたのですか？」として生成する。さらに、会話エンジン２１０は、単語「猫」に関連する単語に対しより高い確率が与えられる辞書適応プロセスを実行する。このため、第１のユーザ１１０又は第２のユーザ１６０により、足、ひげ、ロングヘア、ショートヘア、とら猫、犬、ネズミ、鳥等、「猫」という単語に関連する他の単語が使用される場合、それらは会話エンジン２１０によってより容易に認識されることとなる。

音声出力１５１に応じて、ユーザ１６０は、「Usikiはロシアンショートヘアです」という音声入力１５２を生成する。会話エンジン２１０は、音声入力１５２にアクセスして、自動音声認識システム２１２を使用してテキスト出力１２２を生成する。しかしながら、自動音声認識システム２１２は、「Usiki」という単語を認識するように訓練されていないため、近似する単語を出力する。このため、第１のユーザ１１０は、「Oozekeはロシアンショートヘアです」として出力されるテキスト出力１２２を受け取る。さらに、「Usiki」という単語は通常英語の辞書には記載されていないため、自動音声認識システム２１２はその単語を認識しない。本発明の実施形態では、その後、会話エンジン２１０によってその認識されていない単語が辞書に追加される。より具体的には、音声入力１５２（たとえばUsikiの発音の音声ファイル）が辞書（たとえばヒント２１３）に追加される。同じ文において、会話エンジン２１０がすでに辞書適応を実行しているため、「ショートヘア」という句は、「ショーター」として不正確に認識されることなく正確に認識された。このため、会話エンジン２１０は、テキスト入力１２１を使用してあり得る音声入力をより正確に識別した。その結果、自動音声認識システムの出力を変更するために前にアクセスされたテキスト入力を使用することができるため、本発明の実施形態によって自動音声認識システム２１２の忠実度が向上する。本発明の実施形態では、「ロシアン」という単語に関連する単語に対してより高い確率が与えられる別の辞書適応プロセスを実行してもよい。

話題になっている猫にUsikiという名前がつけられていることを知っている第１のユーザ１１０は、Oozekeというテキスト出力１２２がスペルミスであると認識する。そして、第１のユーザ１１０は、「どこでUsikiを見つけたのですか？」という応答（たとえばテキスト入力１２１）を生成する。ここでは、「Usiki」という単語は正確に綴られている。Usikiは英語の辞書に通常記載されている単語ではないため、会話エンジン２１０はその辞書にUsikiという単語を追加する（たとえば、Usikiのテキスト入力がヒント２１３に追加される）。さらに、会話エンジン２１０は、Usikiのテキストエントリ（たとえばテキスト入力１２１）を、テキスト入力と音声入力とを照合するための事前に規定されたパラメータに従ってテキストエントリに一致する可能性がある任意の音声ファイルと照合するように試みる。このため、変更コンポーネントは、UsikiのテキストエントリがUsikiの音声ファイル（たとえば音声入力１５２）と一致すると判断する。その結果、これらの２つの単語は、ヒント２１３に格納されている辞書において関連付けられる。本発明の実施形態では、次に音声入力１５２において「Usiki」という単語が発話される時、テキスト出力１２２が生成される時に「Usiki」という単語に対する関連テキストファイルがアクセスされる。言い換えれば、「Usiki」という単語が次に音声入力１５２として使用される時、自動音声認識システム２１２からテキスト出力１２２を構成するプロセスにおいて、先に生成された近似する単語の代りに、ユーザ１１０がタイプ入力した先に格納されたテキスト入力１２１が使用される。

そして、会話エンジン２１０は、テキスト入力１２１（たとえば「Usikiとはどういう意味ですか？」）にアクセスし、テキスト・音声変換システム２１１を使用して、「Usikiとはどういう意味ですか？」として第２のユーザ１６０に出力される音声出力１５１を生成する。しかしながら、会話エンジン２１０によって出力される「Usiki」という発音は、第２のユーザ１６０によって先に入力された発音に概ね近似する。

したがって、本発明の実施形態は、自動音声認識システム２１２のより高い忠実度を促進する。それは、自動音声認識システム２１２が知らない単語のスペルを推測又は近似する必要がないためである。さらに、先にアクセスされたテキスト入力を使用して、関連する単語の確率を上昇させることができる。その結果、発話された単語を認識する際の自動音声認識システム２１２の忠実度が向上する。

上述した例示的なシナリオを参照すると、第１のユーザ１１０は、テキスト入力１２１を生成する時に「Usiki」を正確に綴り得る。しかしながら、ＴＴＳシステム２１１は、その辞書にその単語がないため、「Usiki」を不正確に発音する音声出力１５１を生成する。さらに、「Usiki」という単語は認識されないため、会話エンジン２１０によって（たとえば変更コンポーネント２１４によって）格納される。

「Usiki」の正確な発音を知っている第２のユーザ１６０は、「Usiki」が正確に発音される音声入力１５２を生成する。この場合もまた、「Usiki」という単語は認識されない（たとえばＡＳＲシステム２１２又は変更コンポーネント２１４によって）ため、「Usiki」の音声表現は会話エンジン２１０によって格納される。

本発明の実施形態では、判断コンポーネント３３０が、「Usiki」のテキスト表現を「Usiki」という単語の音声表現と比較し、それらがその単語の対応するインスタンスであると判断する。そして、判断コンポーネント２１４は、次にテキスト入力１２１が「Usiki」という単語を含む時、「Usiki」という単語に対する関連音声ファイルがヒント２１３を介してアクセスされるように、ヒント２１３を更新する。言い換えれば、「Usiki」という単語が次にテキスト入力１２１として使用される時、テキスト・音声変換システム２１１からの音声出力１５１を構成するプロセスにおいて、テキスト・音声変換システム２１１によって先に生成された近似する単語の代りに、ユーザ１６０によって発話された先に格納された音声出力１５２が使用される。

図４は、本発明の実施形態によるテキスト・音声変換システム及び自動音声認識システムの忠実度を向上させる方法４００のフローチャートである。図４のステップ４１０において、第１のモダリティで動作している第１のシステムの第１のユーザからの第１の入力にアクセスする。図２に関連して上述したように、本発明の実施形態では、変更コンポーネント２１４はテキスト入力１２１にアクセスする。本発明の実施形態では、変更コンポーネント２１４は、認識されていないテキスト入力のインスタンスを識別し、それらを辞書（たとえば図２の２１５）に格納する。

図４のステップ４２０において、第２のモダリティで動作している第２のシステムの第２のユーザからの第２の入力にアクセスする。図２に関連して上述したように、本発明の実施形態では、変更コンポーネント２１４はまた、音声入力１５２にもアクセスする。本発明の実施形態では、変更コンポーネント２１４は、認識されていない音声入力のインスタンスを識別し、それらを辞書（たとえば図２の２１５）に格納する。

図４のステップ４３０において、第２の入力を利用して第１のシステムの出力を変更する。図２に関連して上述したように、変更コンポーネント２１４は、認識されていないテキスト入力のインスタンスが認識されていない音声入力のインスタンスに対応する場合を判断するように構成される。本発明の実施形態では、これを判断することに応じて、変更コンポーネント２１４は、テキスト・音声変換システム２１１に対し、対応するテキスト入力１２１がアクセスされる時に音声出力１５１を構成するプロセスにおいて音声入力１５２を使用させる。さらに、変更コンポーネント２１４は、自動音声認識システム２１２に対し、テキスト入力１２１を同様にテキスト出力１２２として使用させることができる。

図５を参照すると、本発明の部分は、たとえば汎用コンピュータネットワーク（図示せず）の一部として使用されるコンピュータシステム５００に存在する、コンピュータ読取可能且つコンピュータ実行可能命令から構成される。図５のコンピュータシステム５００は例示的なものに過ぎず、本発明は、汎用コンピュータシステム、組込みコンピュータシステム、ラップトップコンピュータシステム、ハンドヘルドコンピュータシステム及びスタンドアロンコンピュータシステムを含む多数の種々のコンピュータシステム内で動作することができるということが理解される。

本実施形態では、コンピュータシステム５００は、さまざまな構成要素間でデジタル情報を伝達するアドレス／データバス５０１と、デジタル情報及び命令を処理する中央処理装置（ＣＰＵ）５０２と、デジタル情報及び命令を格納する揮発性ランダムアクセスメモリ（ＲＡＭ）から構成される揮発性メインメモリ５０３と、より永続的な性質の情報及び命令を格納する不揮発性リードオンリメモリ（ＲＯＭ）５０４とを含む。さらに、コンピュータシステム５００はまた、大量のデータを格納するデータ記憶装置５０５（たとえば、磁気ドライブ、光ドライブ、フロッピー（登録商標）ドライブ又はテープドライブ等）を含んでもよい。本発明のテキスト・音声変換システム及び自動音声認識システムの忠実度を向上させる方法を実行するソフトウェアプログラムを、揮発性メモリ５０３、データ記憶装置５０５、又は外部記憶装置（図示せず）のいずれかに格納することができることに留意されたい。

任意選択でコンピュータシステム５００に結合される装置には、コンピュータユーザに情報を表示する表示装置５０６と、英数字入力装置５０７（たとえばキーボード）と、データ、選択、更新等を入力するカーソル制御装置５０８（たとえば、マウス、トラックボール、ライトペン等）とが含まれる。コンピュータシステム５００はまた、可聴信号を発する機構（図示せず）を含むことも可能である。

さらに図５を参照すると、図５の任意選択の表示装置５０６は、液晶装置、ブラウン管、又はユーザに認識可能なグラフィックイメージ及び英数字を作成するために適した他の表示装置であってもよい。任意選択のカーソル制御装置５０８により、コンピュータユーザは、表示装置５０６の表示画面における可視シンボル（カーソル）の２次元移動を動的に通知することができる。変位の所与の方向又は方法の移動を通知することができる英数字入力装置５０７上のトラックボール、マウス、タッチパッド、ジョイスティック、又は特別なキーを含むカーソル制御装置５０８の多くのインプリメンテーションが、当該技術分野において既知である。別法として、カーソルを、英数字入力装置５０７からの入力を介して特別なキー及びキーシーケンスコマンドを使用して誘導（direct）及び／又は起動することができるということが理解されよう。別法として、カーソルを、特別に適合された多数のカーソル誘導装置からの入力を介して誘導及び／又は起動してもよい。

さらに、コンピュータシステム５００は、周辺装置５１０（たとえば、コンピュータネットワーク、モデム、大容量記憶装置等）とインタフェースする入出力（Ｉ／Ｏ）信号ユニット（たとえばインタフェース）５０９を含むことができる。したがって、コンピュータシステム５００を、クライアント／サーバ環境等のネットワークに結合してもよく、それにより、多数のクライアント（たとえばパーソナルコンピュータ、ワークステーション、ポータブルコンピュータ、ミニコンピュータ、端末等）を使用して所望のタスクを実行するプロセスが実行される。特に、コンピュータシステム５００を、テキスト・音声変換システム及び自動音声認識システムの忠実度を向上させる方法のためのシステムに結合することができる。

このように、本発明、すなわち対話システムの忠実度を向上させる方法及びシステムの好ましい実施形態について説明した。本発明を特定の実施形態で説明したが、本発明はこうした実施形態によって限定されるものと解釈されるべきではなく、添付の特許請求の範囲に従って解釈されるべきであることが理解されるべきである。

本発明の実施形態によって使用される通信ネットワークの図である。 本発明の実施形態による例示的な対話システムの図である。 本発明の実施形態による例示的な対話システムの図である。 本発明の実施形態による例示的な対話システムの図である。 本発明の実施形態による例示的な対話システムの図である。 本発明の実施形態による例示的な変更コンポーネントのブロック図である。 本発明の実施形態による対話システムの忠実度を向上させる方法のフローチャートである。 本発明の実施形態を実装してもよい例示的なコンピュータシステムの図である。

符号の説明

１００・・・通信ネットワーク
１２０・・・コンピュータ
１３０・・・インターネット
１４０・・・ネットワーク
１５０・・・携帯電話
２００・・・対話システム
１２１・・・テキスト入力
１２２・・・テキスト出力
１５１・・・音声出力
１５２・・・音声入力
１５３・・・スピーカ
１５４・・・マイク
２１０・・・会話エンジン
２１１・・・テキスト・音声変換システム
２１２・・・自動音声認識システム
２１３・・・ヒント
２１４・・・変更コンポーネント
５０６・・・表示装置
５０７・・・英数字入力装置
３１０・・・テキスト入力アクセス機構
３２０・・・音声入力アクセス機構
３３０・・・判断コンポーネント
５０２・・・プロセッサ
５０３・・・揮発性メモリ（ＲＡＭ）
５０４・・・不揮発性メモリ（ＲＯＭ）
５０５・・・データ記憶装置
５０６・・・表示装置
５０７・・・英数字入力装置
５０８・・・カーソル制御
５０９・・・入出力通信装置
５１０・・・周辺装置

Claims (10)

1. 対話システムの忠実度を向上させる方法であって、
   第１のモダリティで動作している第１のシステム（２１１）のユーザによって生成される第１の入力（１２１）にアクセスすることであって、前記第１のシステム（２１１）は前記第１の入力（１２１）に対応する第１の出力（１５１）を生成する、アクセスすることと、
   第２のモダリティで動作している第２のシステム（２１２）のユーザによって生成される第２の入力（１５２）にアクセスすることであって、前記第１のシステム（２１１）の前記ユーザ及び前記第２のシステム（２１２）の前記ユーザは会話をしている、アクセスすることと、
   前記第１のシステム（２１１）の前記第１の出力（１５１）を変更するために前記第２の入力（１５２）を利用することと
   を含む方法。
2. 前記第１のシステム（２１１）は、
   テキスト・音声変換システム
   を含み、
   前記第２のシステム（２１２）は、
   自動音声認識システム
   を含み、
   前記利用することは、
   前記テキスト・音声変換システム（２１１）の音声出力（１５１）を変更するために、前記自動音声認識システム（２１２）の音声入力（１５２）を利用すること
   を含む
   請求項１に記載の方法。
3. データベース（２１３）を変更することであって、本質的に辞書適応（dictionary adaptation）及び辞書増強（dictionary augmentation）からなる群から選択されるプロセスが実行される、変更すること
   をさらに含む請求項１に記載の方法。
4. 前記データベース（２１３）は、
   前記第１のシステム（２１１）の一構成要素
   を含む
   請求項３に記載の方法。
5. 前記データベース（２１３）は、
   前記第２のシステム（２１２）の一構成要素
   を含む
   請求項３に記載の方法。
6. 前記データベース（２１３）は、
   前記第１のシステム（２１１）及び前記第２のシステム（２１２）の共通の構成要素
   を含む
   請求項３に記載の方法。
7. 前記利用することは、
   前記第１の出力（１２１）の少なくとも一部を前記第２の入力（１５２）で代用すること
   を含む
   請求項１に記載の方法。
8. 前記第１のシステムは、
   自動音声認識システム（２１２）
   を含み、
   前記第２のシステムは、
   テキスト・音声変換システム（２１１）を含み、
   前記利用することは、
   前記自動音声認識システム（２１２）のテキスト出力（１２２）を変更するために前記テキスト・音声変換システム（２１１）のテキスト入力（１２１）を利用すること
   を含む
   請求項１に記載の方法。
9. コンピュータシステムに対し、対話システムの忠実度を向上させる方法を実行させるコンピュータ読取可能プログラムコードが組み込まれたコンピュータ使用可能媒体であって、
   前記方法は、
   第１のモダリティで動作している第１のシステム（２１１）のユーザによって生成される第１の入力（１２１）にアクセスすることであって、前記第１のシステム（２１１）は前記第１の入力（１２１）に対応する第１の出力（１５１）を生成する、アクセスすることと、
   第２のモダリティで動作している第２のシステム（２１２）のユーザによって生成される第２の入力（１５２）にアクセスすることであって、前記第１のシステム（２１１）の前記ユーザ及び前記第２のシステム（２１１）の前記ユーザは会話をしている、アクセスすることと、
   前記第１のシステム（２１１）の前記第１の出力（１５１）を変更するために前記第２の入力（１５２）を利用することと
   を含むコンピュータ使用可能媒体。
10. 前記第１のシステムは、
    テキスト・音声変換システム（２１１）
    を含み、
    前記第２のシステムは、
    自動音声認識システム（２１２）
    を含み、
    前記利用することは、
    前記テキスト・音声変換システム（２１１）の音声出力（１５１）を変更するために、前記自動音声認識システム（２１２）の音声入力（１５２）を利用すること
    を含む
    請求項９に記載のコンピュータ使用可能媒体。

Images