JP2006330298A - コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム - Google Patents

Abstract

【課題】利用者が再入力する負担を軽減し、適切な対訳文を出力することができるコミュニケーション支援装置を提供する。
【解決手段】複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置において、翻訳の元となる原言語による音声を認識して認識の結果である原言語文を出力する音声認識部１０１と、連続して認識した複数の音声の間の類似性に基づいて類似する音声が連続して入力されたか否かを判定する連続入力判定部１０２と、原言語文を翻訳して対象言語で記述された対訳文に変換して出力する言語変換部１０３とを備え、言語変換部１０３は、連続入力判定部１０２が類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して出力した対訳文と異なる対訳文を、後に認識した音声に対応する原言語文に対して出力する。
【選択図】 図１

Description

この発明は、複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラムに関するものである。

近年、自然言語処理技術の進展に伴い、例えば日本語で書かれたテキストを、英語などの他の言語によるテキストへ翻訳する機械翻訳システムが実用化され、広く普及している。

また、音声処理技術の進展に伴い、利用者が発声した文章を文字に変換することにより、音声による自然言語文字列の入力を可能にする音声ディクテーションシステムや、電子データとして得られた文章やシステムから出力された自然言語文字列を、音声出力に変換する音声合成システムも利用されている。

また、画像処理技術の進展に伴い、カメラ等で撮影した文字画像を解析することにより、画像内の文を機械処理可能な文字データに変換する文字認識システムが実現されている。さらに、手書き文字認識技術の進展によって、利用者がペン入力装置などによって手書き入力した文を機械処理可能な文字データへと変換する技術が実現されている。

一方、文化や経済のグローバル化に伴い、異なる言語を母語とする人同士のコミュニケーションの機会が増加している。そこで、上述のような自然言語処理技術、音声処理技術、画像処理技術、手書き文字認識技術を統合して、異なる言語を母語とする人同士のコミュニケーションを支援するコミュニケーション支援装置に適用する技術に対する期待が高まっている。

このような装置として、例えば次のようなコミュニケーション支援装置が考えられる。まず、日本語話者が発声またはペン入力した日本語文を、音声認識技術または手書き文字認識技術を利用して、機械処理可能な日本語文字データに変換する。次に、機械翻訳技術を使って意味が等価な英語文へと翻訳し、その結果を英語文字列として提示する。または、音声合成技術を利用して英語音声の形式により英語話者に提示する。他方、英語話者が発生またはペン入力した英語文に対しては、逆の処理を施すことにより、翻訳した日本語文を日本語話者に提示する。このような方法により、異なる言語を母語とする人同士の双方向のコミュニケーションを可能としたコミュニケーション支援装置の実現が試みられている。

また、別の例として、例えば次のようなコミュニケーション支援装置が考えられる。まず、英語で表記されている現地の看板や注意書きなどの文字列をカメラで撮影する。次に、画像処理技術および文字認識技術を利用して、撮影した文字列を機械処理可能な英語文字列データに変換する。さらに、機械翻訳技術を使って意味が等価な日本語文へと翻訳し、その結果を日本語文字列として利用者に提示する。または、音声合成技術を利用して日本語音声の形式により利用者に提示する。このような方法により、英語圏の地域を旅行する日本語を母語とし英語を解さない旅行者が、英語で表記されている看板や注意書きを理解できるようにするコミュニケーション支援装置の実現が試みられている。

このようなコミュニケーション支援装置では、利用者から入力される原言語による入力文を音声認識処理、手書き文字認識処理、または画像文字認識処理によって認識して機械処理可能な文字データへと変換する際に、正しい候補を間違いなく得ることは非常に困難であり、一般に複数の解釈候補が得られることによる曖昧性が生じる。

また、機械翻訳処理においても、原言語文を意味的に等価な対訳文へと変換する際に曖昧性が生じ、複数の対訳文の候補が存在するために、意味的に等価な対訳文を一意に選択できず、曖昧性が解消できないことが多い。

その原因としては、例えば、元の原言語文自体が複数の解釈が存在する曖昧な表現であった場合や、元の原言語文自体が文脈依存性の高い表現であるために複数の解釈が生じる場合や、原言語と対象言語との間の、言語的・文化的な背景や概念の体系などが異なっているために複数の翻訳候補が生じる場合が考えられる。

このような曖昧性を解消するため、複数の候補が得られた場合に、最初に得られた候補を選択する方法や、複数の候補を利用者に提示して、その中から利用者が選択する方法が提案されている。また、複数の候補が得られた場合に、それぞれの候補を何らかの基準に従いスコア付けして、このスコアが高い候補を選択する方法も提案されている。例えば、特許文献１においては、単語から想起される概念の類似性が高い訳語を、翻訳の結果得られた複数の訳語から選択することにより、訳文の品質を向上させる技術が提案されている。

特開平０７−３３４５０６号公報

しかしながら、特許文献１の方法では、利用者が訳語を選択する負担はなくなるが、スコア付けの根拠となる基準の設定が困難であるため、必ずしも最適な候補が選ばれる保証は無く、原言語文の意図に沿わない対訳文が出力される可能性があるという問題があった。

さらに、上述のようなコミュニケーション支援装置は、相互に理解できる言語が異なる利用者間のコミュニケーションを支援するものであり、一般に利用者は出力される対象言語を理解できないため、複数の候補から利用者が選択する方法では、誤訳が発生した場合であってもその誤りを発見して訂正することができないという問題があった。

このため、誤訳が発生して相手に発話の意図がうまく伝わらなかった場合、通常、利用者は同じ文を再入力する。このとき、例えば、音声認識と言語翻訳とを組み合わせて実現されたコミュニケーション支援装置において音声認識の失敗により誤訳が発生した場合であれば、再入力して再度音声認識を実行することにより、音声認識が成功し、誤訳を回避することができる場合がある。

しかし、音声認識が成功し、その後の翻訳処理において誤訳が発生している場合は、何度利用者が同じ文を再入力しても音声認識の出力結果は変わらないため、翻訳処理において同じ誤訳が繰り返し発生し、誤訳を回避することができないという問題があった。また、繰り返し入力を行うことによる利用者の負担が増加するという問題があった。

本発明は、上記に鑑みてなされたものであって、原言語文を翻訳して対訳文を出力する処理において誤りが発生し、利用者の意図が正しく伝わらなかった場合であっても、利用者が再入力する負担を軽減し、適切な対訳文を出力することができるコミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置において、翻訳の元となる原言語による音声を認識して認識の結果である原言語文を出力する音声認識手段と、前記音声認識手段が連続して認識した複数の音声の間の類似性に基づいて、類似する音声が連続して入力されたか否かを判定する連続入力判定手段と、前記音声認識手段が出力した前記原言語文を翻訳し、翻訳の対象言語で記述された対訳文に変換して出力する言語変換手段と、を備え、前記言語変換手段は、前記連続入力判定手段が類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して出力した前記対訳文と異なる前記対訳文を、後に認識した音声に対応する原言語文に対して出力することを特徴とする。

また、本発明は、複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置において、翻訳の元となる原言語による音声を認識して認識の結果である原言語文を出力する音声認識手段と、前記音声認識手段が連続して認識した複数の音声の間の類似性に基づいて、類似する音声が連続して入力されたか否かを判定する連続入力判定手段と、前記音声認識手段が出力した前記原言語文を翻訳し、翻訳の対象言語で記述された対訳文に変換して出力する言語変換手段と、前記言語変換手段が出力した前記対訳文を対象言語による音声に合成し、合成した音声を複数の発声様式から選択した１の発声様式によって出力する音声合成手段と、を備え、前記音声合成手段は、前記連続入力判定手段が類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して選択した前記発声様式と異なる前記発声様式を、後に認識した音声に対応する原言語文に対して選択することを特徴とする。

また、本発明は、上記装置を実行することができるコミュニケーション支援方法およびコミュニケーション支援プログラムである。

本発明によれば、利用者が複数の対訳文の候補を有する原言語文を連続して入力したときに、先に入力された原言語文に対して出力した対訳文と異なる対訳文を、後に入力された原言語文に対して出力することができる。このため、翻訳の誤りにより相手に発話の意図が伝わらず、利用者が再度同様の原言語文を入力した場合であっても、利用者に特別な操作をさせることなく、適切な対訳文を出力することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかるコミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラムの最良な実施の形態を詳細に説明する。

（第１の実施の形態）
第１の実施の形態にかかるコミュニケーション支援装置は、原言語による文と対訳候補文とを対応付けて格納した対訳データ記憶手段から、入力された原言語文に対応する対訳候補文を選択して出力するものである。その際、原言語文に対応する対訳候補文が複数存在し、かつ、選択した対訳候補文が不適切であったため、利用者が類似する原言語文を連続して入力した場合に、最初に選択した対訳候補文と異なる対訳候補文を、後に入力された原言語文に対して選択して対訳文として出力するものである。

ここで、対訳文とは、入力された原言語文に対して出力された対象言語による文をいい、１つの原言語文に対して１つの対訳文が出力される。また、対訳候補文とは、入力された原言語文に対する対訳文の候補となりうる文であり、当該原言語文に対応付けられて対訳データ記憶手段に格納されている文をいう。１つの原言語文に対して、複数の対訳候補文が存在しうる。なお、原言語文、対訳文、対訳候補文は、句点で区切られる文に限るものではなく、文章、段落、句、単語などであってもよい。

第１の実施の形態にかかるコミュニケーション支援装置は、例えば、原言語による文とそれに対応する対訳文とを対応付けて格納した情報を参照して翻訳を行う用例ベース翻訳や統計ベース翻訳などの直接変換方式の機械翻訳を利用するコミュニケーション支援装置に適用することができる。

図１は、第１の実施の形態にかかるコミュニケーション支援装置１００の構成を示すブロック図である。同図に示すように、コミュニケーション支援装置１００は、音声認識部１０１と、連続入力判定部１０２と、言語変換部１０３と、出力制御部１０４と、候補データ記憶部１１０と、先行認識結果記憶部１１１と、対訳データ記憶部１１２を備えている。言語変換部１０３と、出力制御部１０４とが、本発明における言語変換手段に相当する。

対訳データ記憶部１１２は、原言語による文と、当該原言語による文と同じ意味内容を表す対象言語による文である少なくとも１つの対訳候補文とを対応付けて格納するものである。対訳データ記憶部１１２は、入力された原言語文に対する対訳候補文を言語変換部１０３が選択して対訳文として出力する際に参照される。

図２は、対訳データ記憶部１１２のデータ構造の一例を示す説明図である。同図に示すように、対訳データ記憶部１１２は、原言語による文と、当該原言語による文に対応する対訳候補文を予め定められた優先度順に並べた対訳候補リストとを対応付けて格納している。例えば、同図においては、原言語である日本語の文「すみません」に対し、英語による対訳候補文として「Excuse me.」および「I'm sorry.」を含む対訳候補リストが格納されている。なお、対訳候補リスト内では、対訳候補文を一意に識別するための候補インデックスが、対訳候補文の優先度順に付与されている。また、優先度は対訳候補文の出現頻度などによって予め定められた値を用いる。

同図においては、原言語が日本語であり、対象言語が英語である場合の例が示されているが、コミュニケーション支援装置１００が扱うことのできるすべての言語に対して、同様のデータを対訳データ記憶部１１２に格納することができる。

候補データ記憶部１１０は、原言語文と、原言語文を検索キーとして対訳データ記憶部１１２から検索した結果である少なくとも１つの対訳候補文とを対応付けて格納するものである。候補データ記憶部１１０は、原言語文に対応する対訳候補文を一時的に格納するものであり、言語変換部１０３が出力制御部１０４の指定に応じて当該対訳候補文から１つの対訳候補文を選択する際に参照される。

図３は、候補データ記憶部１１０のデータ構造の一例を示す説明図である。同図に示すように、候補データ記憶部１１０は、音声認識部１０１により認識され出力された原言語文と、当該原言語文に対して言語変換部１０３が対訳データ記憶部１１２から検索した対訳候補文の個数である候補数と、１つまたは複数の対訳候補文を含む対訳候補リストとを対応付けて格納している。

先行認識結果記憶部１１１は、音声認識部１０１によって直前に認識され出力された原言語文を格納するものである。先行認識結果記憶部１１１は、連続入力判定部１０２が類似する原言語文が連続して入力されたか否かを判断する際に参照される。

図４は、先行認識結果記憶部１１１のデータ構造の一例を示す説明図である。同図に示すように、先行認識結果記憶部１１１は、先行認識結果である原言語文を格納している。

音声認識部１０１は、利用者が発した原言語による音声を受け取り、音声認識を行うことによって、発話内容を書き下した原言語文を連続入力判定部１０２および言語変換部１０３に出力するものである。なお、音声認識部１０１により行われる音声認識処理は、ＬＰＣ分析、隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）、ダイナミックプログラミング、ニューラルネットワーク、Ｎグラム言語モデルなどを用いた、一般的に利用されているあらゆる音声認識方法を適用することができる。

連続入力判定部１０２は、音声認識部１０１から出力される原言語文を受け取り、受け取った原言語文と、先行認識結果記憶部１１１に記憶された先行認識結果との類似性の比較を行うことにより、類似する音声が連続して入力されたか否かを判定するものである。

連続入力判定部１０２により行われる類似性の判定は、例えば、ＨＭＭ、ダイナミックプログラミング、ニューラルネットワークなどを用いた文字列などのシンボル系列の一致・不一致の度合いを比較する方法により、その類似の度合いを数値として算出するように構成することができる。または、両者の文字列の間の編集距離を比較して、その類似の度合いを数値として算出するように構成してもよい。

ここで、編集距離とは、一方の文字から他方の文字へ変換する際の文字の編集操作の回数をいう。編集距離の算出方法は、Ｓｍｉｔｈ−Ｗａｔｅｒｍａｎ法などの従来から用いられているあらゆる方法を適用することができる。このようにして算出した類似の度合いが、予め定められた値を超えた場合に、原言語文と先行認識結果とが類似すると判定する。

なお、類似性の判定は上記手法に限られるものではなく、音声認識結果の類似性を判断するものであれば、従来から用いられているあらゆる手法を適用することができる。例えば、音声認識の結果得られる音声の波形の類似性により判定するように構成してもよい。

言語変換部１０３は、音声認識部１０１から出力される原言語文を受け取り、受け取った原言語文に対応する対訳候補文を対訳データ記憶部１１２に格納された対訳候補リストから検索して候補データ記憶部１１０に出力するとともに、後述する出力制御部１０４から指定された候補インデックスに対応する対訳候補文を、候補データ記憶部１１０に格納された対訳候補リストから取得して対訳文として出力するものである。

なお、言語変換部１０３は、対訳文をディスプレイなどの出力部（図示せず）にテキストとして出力するように構成してもよいし、対訳文を音声合成機能により合成した音声として出力するように構成してもよい。

出力制御部１０４は、連続入力判定部１０２が類似する原言語文が連続して入力されたと判定した場合に、言語変換部１０３が先に選択した対訳候補文と異なる対訳候補文を、後に入力された原言語文に対して選択して対訳文として出力するように、言語変換部１０３による出力処理を制御するものである。入力された原言語文に対応する対訳候補文が１つしか存在しない場合には、選択する対訳候補文の切り替えの制御は行われない。

次に、このように構成された第１の実施の形態にかかるコミュニケーション支援装置１００によるコミュニケーション支援処理について説明する。図５および図６は、第１の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。

まず、音声認識部１０１が、初期化処理を実行する（ステップＳ５０１）。初期化処理では、連続入力回数カウンタを１に、候補インデックスを０に設定し、先行認識結果記憶部１１１のクリアを実行する。

次に、音声認識部１０１は、タイマの初期化後、タイマの計時をスタートする（ステップＳ５０２）。その後、音声認識部１０１は、タイマの値が予め定められた閾値未満であるか否かを判断し（ステップＳ５０３）、閾値以上である場合は（ステップＳ５０３：ＮＯ）、初期化処理を再度実行し、処理を繰り返す（ステップＳ５０１）。一定時間経過後に類似する音声が連続して入力された場合は、利用者が発話する状況や発話の相手が異なる可能性が高いため、言い直しにより連続して入力されたと判断せず、対訳候補出力処理を初めから実行する必要があるからである。

ステップＳ５０３において、タイマの値が閾値未満であると判断された場合は（ステップＳ５０３：ＹＥＳ）、音声認識部１０１は、原言語による音声が入力されたか否かを判断する（ステップＳ５０４）。

音声が入力されていない場合は（ステップＳ５０４：ＮＯ）、タイマの値と閾値との比較処理に戻り処理を繰り返す（ステップＳ５０３）。音声が入力された場合は（ステップＳ５０４：ＹＥＳ）、音声認識部１０１は、入力された音声を認識する（ステップＳ５０５）。

次に、連続入力判定部１０２が、先行認識結果記憶部１１１が空か否か、すなわち、前回の認識結果が記憶されているか否かを判断する（ステップＳ５０６）。

先行認識結果記憶部１１１が空である場合は（ステップＳ５０６：ＹＥＳ）、言語変換部１０３が対訳データ記憶部１１２から認識結果である原言語に対応する対訳候補文を検索し、候補データ記憶部１１０に出力する（ステップＳ５１４）。先行認識結果が存在しないため、現在の認識結果に対応する対訳候補文を取得する必要があるからである。なお、対訳データ記憶部１１２から検索した対訳候補文の個数を、候補データ記憶部１１０の候補数欄に設定する。

先行認識結果記憶部１１１が空でない場合は（ステップＳ５０６：ＮＯ）、連続入力判定部１０２は、音声認識部１０１から受け取った認識結果と、先行認識結果記憶部１１１に記憶されている先行認識結果との類似性を判定する（ステップＳ５０７）。

連続入力判定部１０２は、認識結果と先行認識結果とが類似しているか否かを判断し（ステップＳ５０８）、類似していない場合は（ステップＳ５０８：ＮＯ）、言語変換部１０３による対訳候補出力処理が実行される（ステップＳ５１４）。利用者により異なる原言語文が入力されたと考えられるため、新たにその原言語文に対応する対訳候補文を取得する必要があるからである。

類似している場合は（ステップＳ５０８：ＹＥＳ）、連続入力判定部１０２は、連続入力回数カウンタに１を加算する（ステップＳ５０９）。次に、連続入力判定部１０２は、連続入力回数カウンタが予め定められた閾値以上であるか否かを判断する（ステップＳ５１０）。

閾値以上でない場合は（ステップＳ５１０：ＮＯ）、言語変換部１０３による対訳候補出力処理が実行される（ステップＳ５１４）。

連続入力回数カウンタが予め定められた閾値以上である場合は（ステップＳ５１０：ＹＥＳ）、連続入力判定部１０２は、候補インデックスに１を加算する（ステップＳ５１１）。

次に、連続入力判定部１０２は、候補インデックスが全候補数以下であるか否かを判断する(ステップＳ５１２)。全候補数は、候補データ記憶部１１０の候補数欄から取得することができる。候補インデックスが全候補数を超えている場合は（ステップＳ５１２：ＮＯ）、言語変換部１０３による対訳候補出力処理が実行される（ステップＳ５１４）。候補インデックスに対応する対訳候補文が存在しないため、対訳候補出力処理からやり直す必要があるからである。

候補インデックスが全候補数以下である場合は(ステップＳ５１２：ＹＥＳ)、出力制御部１０４は、ステップＳ５１１で１を加算された候補インデックスに対応する対訳候補文を、候補データ記憶部１１０から取得するように言語変換部１０３に対して指定する（ステップＳ５１３）。

例えば、連続して３回類似する原言語文が入力された場合に、出力する対訳候補文を切り替えるようにする場合は、閾値として３を予め定めておく。連続して３回類似する原言語文が入力されると、連続入力回数カウンタが３となり、閾値（＝３）に達するため（ステップＳ５１０：ＹＥＳ）、出力制御部１０４は、１加算された候補インデックスに対応する対訳候補文の取得を指定する。

ステップＳ５１４において、言語変換部１０３が対訳データ記憶部１１２から認識結果である原言語に対応する対訳候補文を検索し、候補データ記憶部１１０に出力した後、言語変換部１０３は、候補インデックスを１に初期化する（ステップＳ５１５）。次に、連続入力判定部１０２は、先行認識結果記憶部１１１に認識結果を格納する（ステップＳ５１６）。

次に、出力制御部１０４は、初期化された候補インデックス（＝１）に対応する対訳候補文、すなわち、対訳候補リストの先頭の対訳候補文を、候補データ記憶部１１０から取得するように言語変換部１０３に対して指定する（ステップＳ５１３）。

次に、言語変換部１０３は、出力制御部１０４により指定された対訳候補文を候補データ記憶部１１０から取得して出力し（ステップＳ５１７）、次の入力を受付けるために、タイマ計時開始処理（ステップＳ５０２）に戻り処理を繰り返す。

次に、上述した手順に従って実行されるコミュニケーション支援処理の具体例について説明する。図７は、コミュニケーション支援処理において処理されるデータの一例を示す説明図である。なお、ここでは簡略化のため連続入力回数カウンタの閾値として２が設定され、対訳データ記憶部１１２には、図２に示すようなデータが格納されていることを前提とする。

まず、時点ｔ０において、利用者が日本語で音声「おこさまはいらっしゃいますか」を入力したとする（ステップＳ５０４：ＹＥＳ）。これに対し、音声認識部１０１が音声認識を行い（ステップＳ５０５）、時点ｔ１に、正しい認識結果「お子様はいらっしゃいますか」を出力したとする。この時点ｔ２では、先行認識結果記憶部１１１は空である（ステップＳ５０６：ＹＥＳ）。したがって、言語変換部１０３が通常の対訳候補文検索処理を実行し、時点ｔ３において、対訳候補文１「Will your child come here?」と、対訳候補文２「Do you have any children?」との２つの対訳候補文を候補データ記憶部１１０に出力する（ステップＳ５１４）。

次に、時点ｔ４において、言語変換部１０３が、第１番目の候補インデックスを設定し（ステップＳ５１５）、先行認識結果記憶部１１１には、「お子様はいらっしゃいますか」を格納する（ステップＳ５１６）。次に、時点ｔ５において、言語変換部１０３が、出力制御部１０４により指定された候補インデックス＝１に対応する対訳候補文１「Will your child come here?」を対訳文として出力する（ステップＳ５１７）。

しかし、対訳候補文１は、ユーザが意図していた内容と異なり、文脈に合わない誤った対訳文であったため、発話の相手に適切に伝わらず、通訳が失敗したとする（時点ｔ６）。これに対して、利用者は英語で記述された対訳文を理解できないため、なぜ通訳が失敗したか分からず、時点ｔ７において、再度同一の音声入力を行い、時点ｔ８において、また正しく音声認識がされ、認識結果「お子様はいらっしゃいますか」が得られたとする。

この場合、時点ｔ９において、連続入力判定部１０２が、認識結果と先行認識結果とが類似していると判断し（ステップＳ５０８）、連続入力回数カウンタに１を加算する（ステップＳ５０９）。また、連続入力判定部１０２は、時点ｔ１０において、連続入力回数が閾値（＝２）に達することを検知し（ステップＳ５１０）、時点ｔ１１において、候補インデックスに１を加算する（ステップＳ５１１）。時点ｔ１２において、言語変換部１０３は、出力制御部１０４により指定された前回と異なる対訳候補文２「Do you have any children?」を対訳文として出力し（ステップＳ５１７）、通訳が成功する（時点ｔ１３）。

このように、従来の技術では、再入力された場合でも前回と同様の処理が行われ、何度でも同じ失敗が発生するに対し、本実施の形態においては、上述のような処理により、同じ失敗の繰り返しが発生することを回避することができる。

次に、第１の実施の形態にかかるコミュニケーション支援装置１００により表示される画面の表示例について説明する。図８は、表示画面の一例を示す説明図である。なお、表示画面は、本装置が備えるディスプレイなどの出力部（図示せず）に表示される。

同図の（ａ）は、最初に入力された音声の認識結果が表示された状態の表示画面８００を表している。表示画面８００では、入力文８０１に、音声認識結果である「お子様はいらっしゃいますか」が表示された例が示されている。また、この時点では、翻訳結果である出力文８０２は表示されていない。

同図の（ｂ）は、最初に入力された音声の認識結果と、それに対する翻訳結果が表示された状態の表示画面８１０を表している。表示画面８１０では、入力文８１１に対応する翻訳結果である出力文８１２「Will your child come here?」が表示された例が示されている。

同図の（ｃ）は、翻訳が失敗し、再度入力された音声の認識結果と、それに対する翻訳結果が表示された状態の表示画面８２０を表している。表示画面８２０では、入力文８２１に、音声認識結果である「お子様はいらっしゃいますか」が表示された例が示されている。また、この時点では、翻訳結果である出力文８２２は表示されていない。

同図の（ｄ）は、再度入力された音声の認識結果と、それに対する翻訳結果が表示された状態の表示画面８３０を表している。表示画面８３０では、入力文８３１に対応して、最初に出力された翻訳結果と異なる翻訳結果である出力文８３２「Do you have any children?」が表示された例が示されている。

このように、連続して同じ音声が入力された場合、利用者が特別な操作を行うことなく、異なる出力文を画面に表示することができる。なお、表示画面には出力文を表示せず、出力文を対象言語により音声合成した音声のみ出力するように構成してもよい。

このように、第１の実施の形態にかかるコミュニケーション支援装置１００では、類似した音声認識結果が連続して得られた場合、最初に出力した対訳候補文と異なる対訳候補文を、後に認識した原言語文に対する対訳候補文として対訳データ記憶手段から検索して対訳文として出力することができる。このため、誤訳が発生したため、利用者が再度同様の原言語文を入力した場合であっても、同じ誤訳が繰り返されるのを防止し、利用者が再入力する負担を軽減し、適切な対訳文を出力することができる。

（第２の実施の形態）
第２の実施の形態にかかるコミュニケーション支援装置は、原言語文の意味内容を解析して対応する対象言語による文に翻訳して出力するものである。その際、原言語の解析結果の候補が複数存在し、かつ、選択した候補が不適切で誤訳が発生したため、利用者が類似する原言語文を連続して入力した場合に、最初に選択した候補と異なる候補を、後に入力された原言語文に対して選択し、それに対応する対訳文を出力するものである。

第２の実施の形態にかかるコミュニケーション支援装置は、例えば、原言語文の解析、解析結果の変換、変換結果から対訳文の生成を行うトランスファ方式の機械翻訳を利用するコミュニケーション支援装置に適用することができる。

図９は、第２の実施の形態にかかるコミュニケーション支援装置９００の構成を示すブロック図である。同図に示すように、コミュニケーション支援装置９００は、音声認識部１０１と、連続入力判定部１０２と、言語変換部９０３と、出力制御部９０４と、原言語解析部９０５と、候補データ記憶部９１０と、先行認識結果記憶部１１１とを備えている。

第２の実施の形態においては、原言語解析部９０５を追加したこと、言語変換部９０３と出力制御部９０４の機能、および候補データ記憶部９１０のデータ構造が第１の実施の形態と異なっている。その他の構成および機能は、第１の実施の形態にかかるコミュニケーション支援装置１００の構成を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

原言語解析部９０５は、音声認識部１０１により認識された原言語文を受け取り、原言語の語彙情報、文法規則を参照した形態素解析、構文解析、係り受け解析、照応解析、省略補完関係解析、発話意図解析などの自然言語解析処理を行うことによって、原言語文が表している意味内容の解釈の候補である解析結果候補を出力するものである。解析結果候補は、上述の自然言語解析処理の解析処理（形態素解析、構文解析、係り受け解析、照応解析、省略補完関係解析、発話意図解析）のうち、いずれの解析処理における解析結果候補を出力してもよい。

なお、原言語解析部９０５により行われる自然言語解析処理は、ＣＹＫ法による形態素解析や、アーリー法、チャート法、一般化ＬＲ法による構文解析など、一般的に利用されているあらゆる方法を適用することができる。また、形態素情報、構文情報、文法規則、翻訳規則などを格納した自然言語処理用の辞書が、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスク、メモリカードなどの一般的に利用されている記憶手段に格納され、これらの自然言語解析処理において参照される。

言語変換部９０３は、原言語解析部９０５が出力した解析結果候補から１つを選択し、その解析結果候補が表す意味内容と同じ意味内容を表す対象言語による文に翻訳し、翻訳結果を対訳文として出力するものである。その際、言語変換部９０３は、後述する出力制御部９０４から指定された候補インデックスに対応する解析結果候補を選択する。言語変換部９０３は、トランスファ方式の機械翻訳における変換処理、生成処理を実行する部分に相当する。

出力制御部９０４は、連続入力判定部１０２が類似する原言語文が連続して入力されたと判定した場合に、言語変換部９０３が先に選択した解析結果候補と異なる解析結果候補を、後に入力された原言語文に対して選択するように、言語変換部９０３による解析結果候補の選択処理を制御するものである。入力された原言語文に対応する解析結果候補が１つしか存在しない場合には、選択する解析結果候補の切り替えを制御する処理は行われない。

候補データ記憶部９１０は、原言語文と、原言語解析部９０５が当該原言語文を解析した結果である少なくとも１つの解析結果候補とを対応付けて格納するものである。図１０は、候補データ記憶部９１０のデータ構造の一例を示す説明図である。

同図に示すように、候補データ記憶部９１０は、音声認識部１０１により認識され出力された原言語文と、当該原言語文に対して原言語解析部９０５が出力した解析結果候補の個数である候補数と、１つまたは複数の解析結果候補を含む解析候補リストとを対応付けて格納している。

なお、原言語解析部９０５により解析結果候補をスコアづけして優先度順に候補インデックスを付与して候補データ記憶部９１０に格納するように構成してもよい。スコアづけの方法は、特許文献１に記載された方法などの従来から用いられているあらゆる方法を適用することができる。このように構成することにより、適切な候補から順に選択することができるため、より適切な対訳文を出力することが可能となる。

候補データ記憶部９１０は、いずれの解析処理の解析結果を格納するかにより、その格納する内容が異なる。図１０においては、（ａ）は形態素解析処理の解析結果を格納した例、（ｂ）は構文解析処理の解析結果を格納した例、（ｃ）は係り受け解析処理の解析結果を格納した例、（ｄ）は照応解析処理の解析結果を格納した例、（ｅ）は省略補完関係解析処理の解析結果を格納した例、（ｆ）は発話意図解析処理の解析結果を格納した例を、それぞれ表している。

図１０の（ａ）に示す例では、原言語文「かばんはいりません」に対し、形態素解析結果候補数が２であり、形態素解析結果候補として「鞄/は/要り/ませ/ん」および「鞄/入り/ませ/ん」を含む解析候補リストが格納されている。なお、解析候補リスト内では、解析結果候補を一意に識別するための候補インデックスが付与されている。

図１０の（ｂ）に示す例では、原言語文「急いで走る太郎を見た」に対し、構文解析結果候補数が２であり、構文解析結果候補として「構文木１」および「構文木２」を含む解析候補リストが格納されている。ここで、「構文木１」「構文木２」とは、木構造で表現された構文解析結果を示している。

図１１は、木構造で表現された構文解析結果の一例を示す説明図である。同図は、田中穂積監修、「自然言語処理−基礎と応用−」（社団法人電子情報通信学会刊、ISBN4-88552-160-2、1999）Ｐ．２２の図１．１４に示された例を引用したものである。同図の（ａ）および（ｂ）に、原言語文「急いで走る太郎を見た」に対して出力された構文解析結果である「構文木１」、「構文木２」の２つの木構造がそれぞれ示されている。構文木１は、副詞「急いで」が、動詞「走る」のみを含む動詞句を修飾して、ひとつの動詞句を形成する構造を表している。また、構文木２は、副詞「急いで」が、「走る一郎を見た」から構成される動詞句全体を修飾して、文全体に対応する動詞句を構成する構造を表している。構文解析の結果を解析結果候補として格納する場合は、このような木構造のデータに候補インデックスを付与して解析候補リストに格納する。

図１０の（ｃ）に示す例では、原言語文「昨日買った本を読んだ」に対し、係り受け解析結果候補数が２であり、係り受け解析結果候補として「昨日→買った」および「昨日→読んだ」を含む解析候補リストが格納されている。すなわち、この例では、「昨日」が「買った」または「読んだ」のどちらに係るかにより、２つの解析結果候補が出力されている。

図１０の（ｄ）に示す例では、原言語文「太郎から本をもらった次郎はうれしかった。彼は笑っていた。」に対し、照応解析結果候補数が２であり、照応解析結果候補として「彼→太郎」および「彼→次郎」を含む解析候補リストが格納されている。すなわち、この例では、「彼」が「太郎」を表すのか、または「次郎」を表すのかにより、２つの解析結果候補が出力されている。

図１０の（ｅ）に示す例では、原言語文「行けますか？」に対し、省略補完関係解析結果候補数が２であり、省略補完関係解析結果候補として「私は行けますか」および「あなたは行けますか」を含む解析候補リストが格納されている。すなわち、この例では、省略された主語が「私」か「あなた」かにより、２つの解析結果候補が出力されている。

図１０の（ｆ）に示す例では、原言語文「結構です」に対し、発話意図解析結果候補数が２であり、発話意図解析結果候補として「ＯＫです」および「いりません」を含む解析候補リストが格納されている。すなわち、この例では、「結構です」の表す意味として肯定および否定の２つが存在しうるため、発話意図として２つの解析結果候補が出力されている。

なお、解析結果候補は、上述の（ａ）から（ｆ）のいずれか１つのみに限られるものではない。すなわち、形態素解析、構文解析、係り受け解析、照応解析、省略補完関係解析、発話意図解析のうち複数の解析結果候補を候補データ記憶部９１０に格納し、出力制御部９０４による選択処理の制御の対象とすることができる。

次に、このように構成された第２の実施の形態にかかるコミュニケーション支援装置９００によるコミュニケーション支援処理について説明する。図１２−１および図１２−２は、第２の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。

ステップＳ１２０１からステップＳ１２１２までの、入力処理、連続入力判定処理は、第１の実施の形態にかかるコミュニケーション支援装置１００におけるステップＳ５０１からステップＳ５１２までと同様の処理なので、その説明を省略する。

第１の実施の形態では、ステップＳ５１４において言語変換部１０３が認識結果に対応する対訳候補文を候補データ記憶部１１０に出力するが、第２の実施の形態においては、原言語解析部９０５が認識結果を解析してその結果である解析結果候補を候補データ記憶部９１０に出力する点が第１の実施の形態と異なっている（ステップＳ１２１４）。

この後、原言語解析部９０５が、候補インデックスを１に初期化し（ステップＳ１２１５）、連続入力判定部１０２が、先行認識結果記憶部１１１に認識結果を格納する（ステップＳ１２１６）。

次に、出力制御部９０４は、候補インデックスに対応する候補を、候補データ記憶部９１０から取得するよう指定する（ステップＳ１２１３）。すなわち、例えば、最初の入力時であれば、解析処理実行後（ステップＳ１２１４）、候補インデックスに１が設定されているため（ステップＳ１２１５）、解析結果候補のうち候補インデックスが１である最初の候補の取得が指定される。

また、連続して類似する音声が入力された場合は、候補インデックスに１加算された値が設定されているため（ステップＳ１２１１）、ステップＳ１２１４で再度解析処理を実行することなく、前回の処理で格納されている解析結果候補から、次の候補インデックスに対応する候補の取得が指定される。

次に、言語変換部９０３は、出力制御部９０４により指定された候補を候補データ記憶部９１０から取得し、取得した解析結果候補が表す意味内容と同じ意味内容を表す対象言語による文に翻訳し、翻訳結果を対訳文として出力する（ステップＳ１２１７）。

次に、上述した手順に従って実行されるコミュニケーション支援処理の具体例について説明する。なお、ここでは簡略化のため連続入力回数カウンタの閾値として２が設定されていることを前提とする。

例えば、利用者が「いらない」という意味で「結構です」という原言語文を入力した場合を考える（ステップＳ１２０４）。この場合、原言語解析部９０５により、図１０（ｆ）に示すような形態素解析結果候補が出力され（ステップＳ１２１４）、初回の入力に対しては、候補インデックス１に対応する解析結果候補である「ＯＫです」が選択されて（ステップＳ１２１３）、それに対応する対訳文が出力される（ステップＳ１２１７）。

しかし、利用者の意図が正しく伝わらないため、利用者が再度「結構です」という原言語文を入力すると、連続入力判定部１０２により類似する原言語文が入力されたと判定され（ステップＳ１２０８）、連続入力回数カウンタに１が加算される（ステップＳ１２０９）。また、連続入力回数カウンタが閾値である２と同値になるため（ステップＳ１２１０：ＹＥＳ）、候補インデックスにも１が加算され（ステップＳ１２１１）、出力制御部９０４により候補インデックスが２の候補の取得が指定される（ステップＳ１２１３）。これにより、言語変換部９０３は、図１０（ｆ）の候補インデックス２に対応する解析結果候補である「いりません」を取得し、正しい対訳文を出力することができる（ステップＳ１２１７）。

このように、第２の実施の形態にかかるコミュニケーション支援装置９００では、原言語解析結果が複数存在し、かつ、類似した音声認識結果が連続して得られた場合、最初に選択した解析結果と異なる解析結果を、後に認識した原言語文に対して選択し、それに対応する対訳文を出力することができる。このため、誤訳が発生したため、利用者が再度同様の原言語文を入力した場合であっても、同じ誤訳が繰り返されるのを防止し、利用者が再入力する負担を軽減し、適切な対訳文を出力することができる。また、類似する音声が入力された場合に、再度原言語の解析処理を実行することなく、前回の解析結果の候補から異なる候補を選択して翻訳処理を行うことができるため、処理負荷の高い解析処理の実行回数を軽減することができる。

（第３の実施の形態）
第３の実施の形態にかかるコミュニケーション支援装置は、原言語文の意味内容を解析して対応する対象言語による文に翻訳して対訳文として出力するものである。その際、翻訳時の訳語の候補が複数存在し、かつ、選択した候補が不適切で誤訳が発生したため、利用者が類似する原言語文を連続して入力した場合に、最初に選択した候補と異なる候補を、後に入力された原言語文に対して選択し、それに対応する対訳文を出力するものである。

第３の実施の形態にかかるコミュニケーション支援装置は、第２の実施の形態と同様に、原言語文の解析、解析結果の変換、変換結果から対訳文の生成を行うトランスファ方式の機械翻訳を利用するコミュニケーション支援装置に適用することができる。第２の実施の形態では、原言語文の解析過程において出力された複数の候補に対して選択制御が行われるが、第３の実施の形態では、解析結果の変換過程において出力された複数の候補に対して選択制御が行われる。

図１３は、第３の実施の形態にかかるコミュニケーション支援装置１３００の構成を示すブロック図である。同図に示すように、コミュニケーション支援装置１３００は、音声認識部１０１と、連続入力判定部１０２と、言語変換部１３０３と、出力制御部１３０４と、原言語解析部９０５と、候補データ記憶部１３１０と、先行認識結果記憶部１１１とを備えている。

第３の実施の形態においては、言語変換部１３０３と出力制御部１３０４の機能、および候補データ記憶部１３１０のデータ構造が第２の実施の形態と異なっている。その他の構成および機能は、第２の実施の形態にかかるコミュニケーション支援装置９００の構成を表すブロック図である図９と同様であるので、同一符号を付し、ここでの説明は省略する。

言語変換部１３０３は、原言語解析部９０５により出力された解析結果を、当該解析結果が表す意味内容と同じ意味内容を表す対象言語で翻訳し、少なくとも１つの翻訳結果である訳語候補を出力し、出力した訳語候補から１つの候補を選択して対訳文を生成して出力するものである。その際、言語変換部１３０３は、後述する出力制御部１３０４から指定された候補インデックスに対応する訳語候補を選択する。

出力制御部１３０４は、連続入力判定部１０２が類似する原言語文が連続して入力されたと判定した場合に、言語変換部１３０３が先に選択した訳語候補と異なる訳語候補を、後に入力された原言語文に対して選択するように、言語変換部１３０３による訳語候補の選択処理を制御するものである。入力された原言語文に対応する訳語候補が１つしか存在しない場合には、選択する訳語候補の切り替えを制御する処理は行われない。

候補データ記憶部１３１０は、原言語による解析結果と、言語変換部１３０３が当該解析結果を翻訳した結果である少なくとも１つの訳語候補とを対応付けて格納するものである。図１４は、候補データ記憶部１３１０のデータ構造の一例を示す説明図である。

同図に示すように、候補データ記憶部１３１０は、原言語解析部９０５が出力した解析結果と、言語変換部１３０３が当該原言語を翻訳した結果である訳語候補の個数である候補数と、１つまたは複数の訳語候補を含む訳語候補リストとを対応付けて格納している。なお、同図においては、翻訳の原言語が英語、翻訳の対象言語が日本語であり、英語の意味内容を表す日本語の訳語候補が複数存在する場合の例が示されている。

次に、このように構成された第３の実施の形態にかかるコミュニケーション支援装置１３００によるコミュニケーション支援処理について説明する。図１５−１および図１５−２は、第３の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。

ステップＳ１５０１からステップＳ１５１２までの、入力処理、連続入力判定処理は、第２の実施の形態にかかるコミュニケーション支援装置９００におけるステップＳ１２０１からステップＳ１２１２までと同様の処理なので、その説明を省略する。

第２の実施の形態では、ステップＳ１２１４において原言語解析部９０５が認識結果を解析してその結果である解析結果候補を候補データ記憶部１１０に出力するが、第３の実施の形態においては、原言語解析部９０５が認識結果を解析し（ステップＳ１５１４）、その解析結果を言語変換部１３０３が翻訳し、翻訳結果である訳語候補を候補データ記憶部１３１０に出力する点が第２の実施の形態と異なっている（ステップＳ１５１５）。

この後、言語変換部１３０３が、候補インデックスを１に初期化し（ステップＳ１５１６）、連続入力判定部１０２が、先行認識結果記憶部１１１に認識結果を格納する（ステップＳ１５１７）。

次に、出力制御部１３０４は、候補インデックスに対応する候補を、候補データ記憶部１３１０から取得するよう指定する（ステップＳ１５１３）。すなわち、例えば、最初の入力時であれば、翻訳処理実行後（ステップＳ１５１５）、候補インデックスに１が設定されているため（ステップＳ１５１６）、解析結果候補のうち候補インデックスが１である最初の候補の取得が指定される。

また、連続して類似する音声が入力された場合は、候補インデックスに１加算された値が設定されているため（ステップＳ１５１１）、ステップＳ１５１４およびステップＳ１５１５で再度解析処理および翻訳処理を実行することなく、前回の処理で格納されている訳語候補から、候補インデックスに対応する候補の取得が指定される。

次に、言語変換部１３０３は、出力制御部１３０４により指定された候補を候補データ記憶部１３１０から取得し、取得した訳語候補を用いて対訳文を生成して出力する（ステップＳ１５１８）。

このように、第３の実施の形態にかかるコミュニケーション支援装置１３００では、翻訳時の訳語候補が複数存在し、かつ、類似した音声認識結果が連続して得られた場合、最初に選択した訳語候補と異なる訳語候補を、後に認識した原言語文に対して選択し、選択した訳語候補から対訳文を生成することができる。このため、誤訳が発生したため、利用者が再度同様の原言語文を入力した場合であっても、同じ誤訳が繰り返されるのを防止し、利用者が再入力する負担を軽減し、適切な対訳文を出力することができる。また、類似する音声が入力された場合に、再度原言語の解析処理、変換処理を実行することなく、前回の変換処理結果の候補から異なる候補を選択して翻訳処理を行うことができるため、処理負荷の高い解析処理、変換処理の実行回数を軽減することができる。

（第４の実施の形態）
第４の実施の形態にかかるコミュニケーション支援装置は、翻訳の元となる原言語と翻訳の対象言語との組み合わせを表す翻訳方向を状況に応じて適切に選択して翻訳処理を実行するものである。その際、翻訳方向が複数存在し、かつ、選択した翻訳方向が不適切で誤訳が発生したため、利用者が類似する原言語文を連続して入力した場合に、最初に選択した翻訳方向と異なる翻訳方向を、後に入力された原言語文に対して選択し、それに対応する対訳文を出力するものである。ここで、翻訳方向とは、翻訳の元となる原言語と翻訳の対象言語との組み合わせをいう。

なお、第４の実施の形態においては、第２または第３の実施の形態と同様に、トランスファ方式の機械翻訳により構成した形態を前提として説明するが、第１の実施の形態のように直接変換方式の機械翻訳に適用するように構成することもできる。

図１６は、第４の実施の形態にかかるコミュニケーション支援装置１６００の構成を示すブロック図である。同図に示すように、コミュニケーション支援装置１６００は、音声認識部１０１と、連続入力判定部１０２と、言語変換部１６０３と、出力制御部１６０４と、翻訳方向データ記憶部１６１０と、先行認識結果記憶部１１１とを備えている。

第４の実施の形態においては、言語変換部１６０３と出力制御部１６０４の機能、および翻訳方向データ記憶部１６１０を追加したことが第２の実施の形態と異なっている。その他の構成および機能は、第２の実施の形態にかかるコミュニケーション支援装置９００の構成を表すブロック図である図９と同様であるので、同一符号を付し、ここでの説明は省略する。

翻訳方向データ記憶部１６１０は、コミュニケーション支援装置１６００で使用できる翻訳方向を格納するものである。図１７は、翻訳方向データ記憶部１６１０のデータ構造の一例を示す説明図である。

同図に示すように、翻訳方向データ記憶部１６１０は、翻訳方向を一意に識別するための候補インデックスと、翻訳方向とを対応付けて格納している。なお、同図においては、日本語、英語、中国語をそれぞれ原言語、対象言語として組み合わせた６つの翻訳方向が格納されている場合の例が示されている。翻訳方向およびその格納順序は、本装置を利用する状況等に応じて変更可能とするように構成してもよい。

言語変換部１６０３は、原言語解析部９０５により出力された解析結果を、当該解析結果が表す意味内容と同じ意味内容を表す対象言語で翻訳した訳語から対訳文を生成して出力するものである。その際、言語変換部１６０３は、後述する出力制御部１６０４から指定された候補インデックスに対応する翻訳方向を選択し、選択した翻訳方向に従って対訳文を翻訳する。

出力制御部１６０４は、連続入力判定部１０２が類似する原言語文が連続して入力されたと判定した場合に、言語変換部１６０３が先に選択した翻訳方向と異なる翻訳方向を、後に入力された原言語文に対して選択するように、言語変換部１６０３による翻訳方向の選択処理を制御するものである。

次に、このように構成された第４の実施の形態にかかるコミュニケーション支援装置１６００によるコミュニケーション支援処理について説明する。図１８−１および図１８−２は、第４の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。

ステップＳ１８０１からステップＳ１８１２までの、入力処理、連続入力判定処理は、第２の実施の形態にかかるコミュニケーション支援装置９００におけるステップＳ１２０１からステップＳ１２１２までと同様の処理なので、その説明を省略する。

第２の実施の形態では、ステップＳ１２１４において原言語解析部９０５による解析処理が実行されるが、第４の実施の形態においては、解析処理は実行されず、候補インデックスの初期化処理（ステップＳ１８１４）、および認識結果の格納処理（ステップＳ１８１５）が実行される点が、第２の実施の形態と異なっている。

すなわち、第２の実施の形態においては、入力された原言語文によって候補データ（解析結果候補）が変動するが、第４の実施の形態においては、候補データ（翻訳方向の候補）が事前に用意されているため、候補データを出力する処理は実行されない。代わりに、単に候補インデックスを初期化し、デフォルトの翻訳方向を指定する処理が実行される。

次に、原言語解析部９０５が、認識結果を解析し、解析結果を出力する（ステップＳ１８１３）。次に、出力制御部１６０４は、候補インデックスに対応する翻訳方向を、翻訳方向データ記憶部１６１０から選択するよう指定する（ステップＳ１８１６）。

例えば、最初の入力時であれば、ステップＳ１８１４において指定された候補インデックスが１の翻訳方向の選択が指定される。また、連続して類似する音声が入力された場合は、候補インデックスに１加算された値が設定されているため（ステップＳ１８１１）、その候補インデックスに対応する翻訳方向の選択が指定される。

次に、言語変換部１６０３は、出力制御部１６０４により指定された翻訳方向を翻訳方向データ記憶部１６１０から選択し（ステップＳ１８１７）、選択した翻訳方向に従い原言語解析部９０５が出力した解析結果を変換し、対訳文を生成して出力する（ステップＳ１８１８）。

次に、上述した手順に従って実行されるコミュニケーション支援処理の具体例について説明する。例えば、利用者が日本語により音声入力を行い（ステップＳ１８０４）、英語の対訳文が出力されたが（ステップＳ１８１８）、発話の相手は中国語を理解するが英語を理解しないため、利用者の発話の意図が伝わらなかったとする。この際、利用者が再度同じ音声入力を行うと（ステップＳ１８０４）、翻訳方向の次の候補として「日本語→中国語」が選択されるため（ステップＳ１８１７）、適切に中国語の対訳文を出力することができる（ステップＳ１８１８）。

このように、第４の実施の形態にかかるコミュニケーション支援装置１６００では、翻訳方向が複数存在し、かつ、類似した音声認識結果が連続して得られた場合、最初に選択した翻訳方向と異なる翻訳方向を、後に認識した原言語文に対して選択し、選択した翻訳方向に従い翻訳を行って対訳文を出力することができる。このため、誤訳が発生したため、利用者が再度同様の原言語文を入力した場合であっても、同じ誤訳が繰り返されるのを防止し、利用者が再入力する負担を軽減し、適切な対訳文を出力することができる。

（第５の実施の形態）
第５の実施の形態にかかるコミュニケーション支援装置は、複数の発声様式から適切な発声様式を選択し、選択した発声様式により対訳文を音声合成して出力するものである。その際、発声様式が不適切であったため利用者の意図が相手に伝わらず、利用者が類似する原言語文を連続して入力した場合に、最初に選択した発声様式と異なる発声様式を、後に入力された原言語文に対して選択し、それに対応する対訳文を音声合成して出力するものである。

図１９は、第５の実施の形態にかかるコミュニケーション支援装置１９００の構成を示すブロック図である。同図に示すように、コミュニケーション支援装置１９００は、音声認識部１０１と、連続入力判定部１０２と、言語変換部１９０３と、出力制御部１９０４と、原言語解析部９０５と、音声合成部１９０６と、発声様式データ記憶部１９１０と、先行認識結果記憶部１１１とを備えている。

第５の実施の形態においては、音声合成部１９０６と発声様式データ記憶部１９１０を追加したこと、および、言語変換部１９０３と出力制御部１９０４の機能が第２の実施の形態と異なっている。その他の構成および機能は、第２の実施の形態にかかるコミュニケーション支援装置９００の構成を表すブロック図である図９と同様であるので、同一符号を付し、ここでの説明は省略する。

発声様式データ記憶部１９１０は、コミュニケーション支援装置１９００の音声合成処理において使用できる発生様式を格納するものである。図２０は、発声様式データ記憶部１９１０のデータ構造の一例を示す説明図である。

同図に示すように、発声様式データ記憶部１９１０は、発声様式を一意に識別するための候補インデックスと、発声様式とを対応付けて格納している。発声様式は、例えば、音量、発声の速度、声の高さ、抑揚、アクセントなどの要素をさまざまに組み合わせて指定することができる。なお、これらの要素は例示であり、合成した音声の発声の方法を変えるものであればあらゆる要素を用いることができる。

言語変換部１９０３は、原言語解析部９０５により出力された解析結果を、当該解析結果が表す意味内容と同じ意味内容を表す対象言語で翻訳し、翻訳した訳語から対訳文を生成して出力するものである。

音声合成部１９０６は、言語変換部１９０３が出力した対訳文を受け取り、その内容を対象言語の合成音声として出力するものである。その際、音声合成部１９０６は、後述する出力制御部１９０４から指定された候補インデックスに対応する発声様式を選択し、選択した発声様式に従って対訳文の音声合成処理を実行する。

なお、音声合成部１９０６により行われる音声合成処理は、音声素片編集音声合成、フォルマント音声合成などを用いたテキストトゥスピーチシステムなどの一般的に利用されているあらゆる方法を適用することができる。

出力制御部１９０４は、連続入力判定部１０２が類似する原言語文が連続して入力されたと判定した場合に、音声合成部１９０６が先に選択し発声様式と異なる発声様式を、後に入力された原言語文に対して選択するように、音声合成部１９０６による発声様式の選択処理を制御するものである。

次に、このように構成された第５の実施の形態にかかるコミュニケーション支援装置１９００によるコミュニケーション支援処理について説明する。図２１−１および図２１−２は、第５の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。

ステップＳ２１０１からステップＳ２１１２までの、入力処理、連続入力判定処理は、第２の実施の形態にかかるコミュニケーション支援装置９００におけるステップＳ１２０１からステップＳ１２１２までと同様の処理なので、その説明を省略する。

連続入力判定部１０２が、候補インデックスが全候補数を超えていると判断した場合（ステップＳ２１１２：ＮＯ）、原言語解析部９０５は、認識結果を解析し、解析結果を出力する（ステップＳ２１１４）。次に、言語変換部１９０３が、原言語解析部９０５が出力した解析結果を翻訳し対訳文を出力した後（ステップＳ２１１５）、候補インデックスを１に初期化する（ステップＳ２１１６）。また、連続入力判定部１０２が、先行認識結果記憶部１１１に認識結果を格納する（ステップＳ２１１７）。

次に、出力制御部１９０４は、候補インデックスに対応する発声様式を、発声様式データ記憶部１９１０から選択するよう指定する（ステップＳ２１１３）。

例えば、最初の入力時であれば、ステップＳ２１１６において指定された候補インデックスが１である最初の発声様式の選択が指定される。また、連続して類似する音声が入力された場合は、候補インデックスに１加算された値が設定されているため（ステップＳ２１１１）、その候補インデックスに対応する発声様式の選択が指定される。

次に、言語変換部１９０３は、出力制御部１９０４により指定された発声様式を発声様式データ記憶部１９１０から選択し、選択した発声様式に従いステップＳ２１１５において出力した対訳文に対して音声合成処理を実行し、その結果を出力する（ステップＳ２１１８）。

このように、第５の実施の形態にかかるコミュニケーション支援装置１９００では、音声合成時の発声様式が複数存在し、かつ、類似した音声認識結果が連続して得られた場合、最初に選択した発声様式と異なる発声様式を、後に認識した原言語文に対して選択し、選択した発声様式に従い音声合成を行って対訳文の音声を出力することができる。このため、不適切な音声合成処理により利用者の発話の意図が相手に伝わらず、利用者が再度同様の原言語文を入力した場合であっても、不適切な音声合成処理が繰り返されるのを防止し、利用者が再入力する負担を軽減し、適切な対訳文を出力することができる。

なお、第１〜第５の実施の形態においては、認識処理として音声認識を用いた構成について説明したが、認識処理は音声認識に限らず、例えば、文字認識や、手書き入力認識や、画像認識を利用するように構成してもよい。また、学習機能を追加して、過去に何度も一回で正しく訳せている入力には上述のような連続入力の判定処理や出力の制御処理を実行しないように構成してもよい。

なお、第１〜第５の実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等に予め組み込まれて提供される。

第１〜第５の実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、第１〜第５の実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、第１〜第５の実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

第１〜第５の実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムは、上述した各部（音声認識部、連続入力判定部、言語変換部、出力制御部、原言語解析部、音声合成部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が上記ＲＯＭからコミュニケーション支援プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

以上のように、本発明にかかるコミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラムは、音声入力した原言語文を対象言語に翻訳して文字出力または音声出力するコミュニケーション支援装置に適している。

第１の実施の形態にかかるコミュニケーション支援装置の構成を示すブロック図である。 対訳データ記憶部のデータ構造の一例を示す説明図である。 候補データ記憶部のデータ構造の一例を示す説明図である。 先行認識結果記憶部のデータ構造の一例を示す説明図である。 第１の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 第１の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 コミュニケーション支援処理において処理されるデータの一例を示す説明図である。 表示画面の一例を示す説明図である。 第２の実施の形態にかかるコミュニケーション支援装置の構成を示すブロック図である。 候補データ記憶部のデータ構造の一例を示す説明図である。 木構造で表現された構文解析結果の一例を示す説明図である。 第２の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 第２の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 第３の実施の形態にかかるコミュニケーション支援装置の構成を示すブロック図である。 候補データ記憶部のデータ構造の一例を示す説明図である。 第３の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 第３の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 第４の実施の形態にかかるコミュニケーション支援装置の構成を示すブロック図である。 翻訳方向データ記憶部のデータ構造の一例を示す説明図である。 第４の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 第４の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 第５の実施の形態にかかるコミュニケーション支援装置の構成を示すブロック図である。 発声様式データ記憶部のデータ構造の一例を示す説明図である。 第５の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 第５の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。

符号の説明

１００ コミュニケーション支援装置
１０１ 音声認識部
１０２ 連続入力判定部
１０３ 言語変換部
１０４ 出力制御部
１１０ 候補データ記憶部
１１１ 先行認識結果記憶部
１１２ 対訳データ記憶部
８００、８１０、８２０、８３０ 表示画面
８０１、８１１、８２１、８３１ 入力文
８０２、８１２、８２２、８３２ 出力文
９００ コミュニケーション支援装置
９０３ 言語変換部
９０４ 出力制御部
９０５ 原言語解析部
９１０ 候補データ記憶部
１３００ コミュニケーション支援装置
１３０３ 言語変換部
１３０４ 出力制御部
１３１０ 候補データ記憶部
１６００ コミュニケーション支援装置
１６０３ 言語変換部
１６０４ 出力制御部
１６１０ 翻訳方向データ記憶部
１９００ コミュニケーション支援装置
１９０３ 言語変換部
１９０４ 出力制御部
１９０６ 音声合成部
１９１０ 発声様式データ記憶部

Claims (16)

1. 複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置において、
   翻訳の元となる原言語による音声を認識して認識の結果である原言語文を出力する音声認識手段と、
   前記音声認識手段が連続して認識した複数の音声の間の類似性に基づいて、類似する音声が連続して入力されたか否かを判定する連続入力判定手段と、
   前記音声認識手段が出力した前記原言語文を翻訳し、翻訳の対象言語で記述された対訳文に変換して出力する言語変換手段と、を備え、
   前記言語変換手段は、前記連続入力判定手段が類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して出力した前記対訳文と異なる前記対訳文を、後に認識した音声に対応する原言語文に対して出力することを特徴とするコミュニケーション支援装置。
2. 原言語による文と、該原言語による文と同じ意味内容を表す対象言語による文である少なくとも１つの対訳候補文とを対応付けて記憶する対訳データ記憶手段をさらに備え、
   前記言語変換手段は、前記連続入力判定手段が類似する音声が連続して入力されたと判定した場合に、前記音声認識手段が出力した前記原言語文を検索キーとして前記対訳データ記憶手段から少なくとも１つの前記対訳候補文を検索し、検索した前記対訳候補文から、先に認識した音声に対応する原言語文に対して選択した前記対訳候補文と異なる前記対訳候補文を、後に認識した音声に対応する原言語文に対して選択して前記対訳文として出力することを特徴とする請求項１に記載のコミュニケーション支援装置。
3. 前記音声認識手段が出力した前記原言語文の意味内容を解析する際に少なくとも１つの解析結果候補を出力する原言語解析手段をさらに備え、
   前記言語変換手段は、前記連続入力判定手段が類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して選択した前記解析結果候補と異なる前記解析結果候補を、後に認識した音声に対応する原言語文に対して選択し、選択した前記解析結果候補に基づいて前記原言語文を翻訳して前記対訳文を出力することを特徴とする請求項１に記載のコミュニケーション支援装置。
4. 前記原言語解析手段は、前記音声認識手段が出力した前記原言語文を形態素解析して少なくとも１つの形態素解析結果候補を前記解析結果候補として出力し、
   前記言語変換手段は、前記連続入力判定手段が類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して選択した前記形態素解析結果候補と異なる前記形態素解析結果候補を、後に認識した音声に対応する原言語文に対して選択し、選択した前記形態素解析結果候補に基づいて前記原言語文を翻訳して前記対訳文を出力することを特徴とする請求項３に記載のコミュニケーション支援装置。
5. 前記原言語解析手段は、前記音声認識手段が出力した前記原言語文を構文解析して少なくとも１つの構文解析結果候補を前記解析結果候補として出力し、
   前記言語変換手段は、前記連続入力判定手段が類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して選択した前記構文解析結果候補と異なる前記構文解析結果候補を、後に認識した音声に対応する原言語文に対して選択し、選択した前記構文解析結果候補に基づいて前記原言語文を翻訳して前記対訳文を出力することを特徴とする請求項３に記載のコミュニケーション支援装置。
6. 前記原言語解析手段は、前記音声認識手段が出力した前記原言語文を係り受け解析して少なくとも１つの係り受け解析結果候補を前記解析結果候補として出力し、
   前記言語変換手段は、前記連続入力判定手段が類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して選択した前記係り受け解析結果候補と異なる前記係り受け解析結果候補を、後に認識した音声に対応する原言語文に対して選択し、選択した前記係り受け解析結果候補に基づいて前記原言語文を翻訳して前記対訳文を出力することを特徴とする請求項３に記載のコミュニケーション支援装置。
7. 前記原言語解析手段は、前記音声認識手段が出力した前記原言語文を照応解析して少なくとも１つの照応解析結果候補を前記解析結果候補として出力し、
   前記言語変換手段は、前記連続入力判定手段が類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して選択した前記照応解析結果候補と異なる前記照応解析結果候補を、後に認識した音声に対応する原言語文に対して選択し、選択した前記照応解析結果候補に基づいて前記原言語文を翻訳して前記対訳文を出力することを特徴とする請求項３に記載のコミュニケーション支援装置。
8. 前記原言語解析手段は、前記音声認識手段が出力した前記原言語文の省略補完関係を解析して少なくとも１つの省略補完関係解析結果候補を前記解析結果候補として出力し、
   前記言語変換手段は、前記連続入力判定手段が類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して選択した前記省略補完関係解析結果候補と異なる前記省略補完関係解析結果候補を、後に認識した音声に対応する原言語文に対して選択し、選択した前記省略補完関係解析結果候補に基づいて前記原言語文を翻訳して前記対訳文を出力することを特徴とする請求項３に記載のコミュニケーション支援装置。
9. 前記原言語解析手段は、前記音声認識手段が出力した前記原言語文の発話意図を解析して少なくとも１つの発話意図解析結果候補を前記解析結果候補として出力し、
   前記言語変換手段は、前記連続入力判定手段が類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して選択した前記発話意図解析結果候補と異なる前記発話意図解析結果候補を、後に認識した音声に対応する原言語文に対して選択し、選択した前記発話意図解析結果候補に基づいて前記原言語文を翻訳して前記対訳文を出力することを特徴とする請求項３に記載のコミュニケーション支援装置。
10. 前記音声認識手段が出力した前記原言語文の意味内容を解析し解析結果を出力する原言語解析手段をさらに備え、
    前記言語変換手段は、前記連続入力判定手段が類似する音声が連続して入力されたと判定した場合に、前記原言語解析手段が出力した前記解析結果に基づき前記原言語文と同じ意味内容を表す対象言語による文である少なくとも１つの訳語候補を出力し、出力した前記訳語候補から、先に認識した音声に対応する原言語文に対して選択した前記訳語候補と異なる前記訳語候補を、後に認識した音声に対応する原言語文に対して選択し、選択した前記訳語候補に基づいて前記対訳文を生成して出力することを特徴とする請求項１に記載のコミュニケーション支援装置。
11. 前記言語変換手段は、前記連続入力判定手段が類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して選択した翻訳の元となる原言語と翻訳の対象言語との組み合わせを表す翻訳方向と異なる前記翻訳方向を、後に認識した音声に対応する原言語文に対して選択し、選択した前記翻訳方向に基づいて前記音声認識手段が出力した前記原言語文を翻訳して前記対訳文を出力することを特徴とする請求項１に記載のコミュニケーション支援装置。
12. 複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置において、
    翻訳の元となる原言語による音声を認識して認識の結果である原言語文を出力する音声認識手段と、
    前記音声認識手段が連続して認識した複数の音声の間の類似性に基づいて、類似する音声が連続して入力されたか否かを判定する連続入力判定手段と、
    前記音声認識手段が出力した前記原言語文を翻訳し、翻訳の対象言語で記述された対訳文に変換して出力する言語変換手段と、
    前記言語変換手段が出力した前記対訳文を対象言語による音声に合成し、合成した音声を複数の発声様式から選択した１の発声様式によって出力する音声合成手段と、を備え、
    前記音声合成手段は、前記連続入力判定手段が類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して選択した前記発声様式と異なる前記発声様式を、後に認識した音声に対応する原言語文に対して選択することを特徴とするコミュニケーション支援装置。
13. 複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援方法において、
    翻訳の元となる原言語による音声を認識して認識の結果である原言語文を出力する音声認識ステップと、
    前記音声認識ステップが連続して認識した複数の音声の間の類似性に基づいて、類似する音声が連続して入力されたか否かを判定する連続入力判定ステップと、
    前記音声認識ステップが出力した前記原言語文を翻訳し、翻訳の対象言語で記述された対訳文に変換して出力する言語変換ステップと、を備え、
    前記言語変換ステップは、前記連続入力判定ステップが類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して出力した前記対訳文と異なる前記対訳文を、後に認識した音声に対応する原言語文に対して出力することを特徴とするコミュニケーション支援方法。
14. 複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援方法において、
    翻訳の元となる原言語による音声を認識して認識の結果である原言語文を出力する音声認識ステップと、
    前記音声認識ステップが連続して認識した複数の音声の間の類似性に基づいて、類似する音声が連続して入力されたか否かを判定する連続入力判定ステップと、
    前記音声認識ステップが出力した前記原言語文を翻訳し、翻訳の対象言語で記述された対訳文に変換して出力する言語変換ステップと、
    前記言語変換ステップが出力した前記対訳文を対象言語による音声に合成し、合成した音声を複数の発声様式から選択した１の発声様式によって出力する音声合成ステップと、を備え、
    前記音声合成ステップは、前記連続入力判定ステップが類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して選択した前記発声様式と異なる前記発声様式を、後に認識した音声に対応する原言語文に対して選択することを特徴とするコミュニケーション支援方法。
15. 複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置におけるコミュニケーション支援プログラムにおいて、
    翻訳の元となる原言語による音声を認識して認識の結果である原言語文を出力する音声認識手順と、
    前記音声認識手順が連続して認識した複数の音声の間の類似性に基づいて、類似する音声が連続して入力されたか否かを判定する連続入力判定手順と、
    前記音声認識手順が出力した前記原言語文を翻訳し、翻訳の対象言語で記述された対訳文に変換して出力する言語変換手順と、をコンピュータに実行させ、
    前記言語変換手順は、前記連続入力判定手順が類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して出力した前記対訳文と異なる前記対訳文を、後に認識した音声に対応する原言語文に対して出力することを特徴とするコミュニケーション支援プログラム。
16. 複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置におけるコミュニケーション支援プログラムにおいて、
    翻訳の元となる原言語による音声を認識して認識の結果である原言語文を出力する音声認識手順と、
    前記音声認識手順が連続して認識した複数の音声の間の類似性に基づいて、類似する音声が連続して入力されたか否かを判定する連続入力判定手順と、
    前記音声認識手順が出力した前記原言語文を翻訳し、翻訳の対象言語で記述された対訳文に変換して出力する言語変換手順と、
    前記言語変換手順が出力した前記対訳文を対象言語による音声に合成し、合成した音声を複数の発声様式から選択した１の発声様式によって出力する音声合成手順と、をコンピュータに実行させ、
    前記音声合成手順は、前記連続入力判定手順が類似する音声が連続して入力されたと判定した場合に、先に認識した音声に対応する原言語文に対して選択した前記発声様式と異なる前記発声様式を、後に認識した音声に対応する原言語文に対して選択することを特徴とするコミュニケーション支援プログラム。

Images