JP2008243222A - コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム - Google Patents

Abstract

【課題】発話者間の理解が不一致のまま会話が進められることを回避するコミュニケーション支援装置を提供する。
【解決手段】第１発話から重要語句を抽出する抽出条件と、第１発話から抽出した重要語句を第１発話に対応して発話された第２発話に関連付けて出力する関連付け方法とを対応づけて記憶する重要語句規則記憶部１１１と、第１発話および第２発話の入力を受付ける入力受付部１０１と、記憶された抽出条件に基づいて、受付けた第１発話から重要語句を抽出する重要語句抽出部１０２と、抽出する際に用いた抽出条件に対応づけられた関連付け方法に基づいて、抽出した重要語句を、第２発話に関連付けて出力する重要語句付加部１０３と、重要語句が関連付けられた第２発話を、第２の言語で翻訳する翻訳部１０４と、重要語句が関連付けられた第２発話を出力する出力制御部１０６とを備えた。
【選択図】 図１

Description

この発明は、複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラムに関するものである。

近年、グローバル化の進展や計算機ネットワーク技術の発展などに伴い、異言語間でコミュニケーションをとる機会が増加している。一方、自然言語処理技術の進展に伴い、例えば日本語で書かれた任意のテキストを、英語などの他言語テキストに変換する機械翻訳装置が開発され、実用化されている。

また、音声処理技術の進展に伴い、電子データとしてある自然言語文字列を、音声出力に変換する音声合成装置や、ユーザによる音声発話を入力とし、これを文字列変換することで、音声による自然言語文字列の入力を可能にする音声入力装置が開発され、実用化されている。

以上述べたような、自然言語処理技術および音声処理技術の進展に伴い、これら技術を統合し、異なる言語を母語とする者同士のコミュニケーションを支援するコミュニケーション支援装置の実現への期待が高まっている。

頑健な音声翻訳装置を実現するためには、多様な発話を高精度に認識する音声認識装置や、幅広い表現を的確に翻訳可能な翻訳装置が必要不可欠であるが、従来の音声翻訳装置では、正しく認識または訳出が行われない事例が散見される。

例えば、英語話者が発話した「I have a room for 50 dollars a night.」をコミュニケーション支援装置が翻訳する際、「I have a room for 15 dollars a night.」と誤認識して日本語に翻訳したとする。この場合、文法や文脈などに問題はないため、日本語話者は翻訳された日本語が正しいことを前提として次の発話を行う。したがって部屋の値段が「15 dollars」と「50 dollars」とで異なる理解のまま、対話が進められる場合があった。

このように発話者間の理解が不一致のまま対話が進められる問題に対処する方法として、従来は、音声認識結果や音声翻訳結果が発話者の意図と合致か否かを確認するために原言語の認識結果を発話者にフィードバックする方式や、原言語の音声翻訳結果である目的言語文を、再度、原言語文に翻訳し直して原言語発話者にフィードバックする技術などが提案されている。

例えば、特許文献１では、音声翻訳装置において原言語入力者が入力した原言語の音声翻訳処理結果を、再度原言語の合成音声に変換して、原言語入力者にフィードバックする技術が提案されている。

特開２００１−２２２５３１号公報

しかしながら、特許文献１などの方法では、自己の発話の認識結果や翻訳結果を確認し、修正を加えてから相手側に提示する必要があるため、会話が中断される場合が多く、円滑なコミュニケーションを阻害するという問題があった。

本発明は、上記に鑑みてなされたものであって、円滑な会話を妨げずに、発話者間の理解が不一致のまま会話が進められることを回避することができるコミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置において、発話から重要語句を抽出する際の抽出条件と、抽出した重要語句を、重要語句を抽出した発話より後に発話された発話に関連付けて出力する際の関連付け方法とを対応づけて記憶する規則記憶手段と、発話の入力を受付ける入力受付手段と、前記規則記憶手段に記憶された前記抽出条件に基づいて、前記入力受付手段が受付けた第１の言語により発話された第１発話から重要語句を抽出する抽出手段と、前記入力受付手段が受付けた前記第１発話を、第１の言語から第２の言語に翻訳する翻訳手段と、前記翻訳手段が翻訳した前記第１発話を出力する出力手段と、前記抽出手段が重要語句を抽出する際に用いた前記抽出条件に対応づけられた前記関連付け方法に基づいて、前記抽出手段が抽出した重要語句を、前記出力手段により出力された前記第１発話の直後に発話され、前記入力受付手段が受付けた第２の言語による第２発話に関連付ける関連付け手段と、を備え、前記翻訳手段は、さらに前記関連付け手段により重要語句が関連付けられた前記第２発話を、第２の言語から第１の言語に翻訳し、前記出力手段は、さらに前記第２発話に関連づけられた重要語句と、前記翻訳手段が翻訳した前記第２発話とを出力することを特徴とする。

また、本発明は、上記装置を実行することができるコミュニケーション支援方法およびコミュニケーション支援プログラムである。

本発明によれば、対話中の重要語句を翻訳結果に関連付けて対話相手に提示することができるため、対話の中で重要語句の確認を対話相手に促すことが可能となる。このため、円滑な会話を妨げずに、発話者間の理解が不一致のまま会話が進められることを回避することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかるコミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラムの最良な実施の形態を詳細に説明する。

一般に、コミュニケーション支援装置を対話相手が準備できない場合や、特に、利用者が所有するコミュニケーション支援装置を共有できない状況下においては、対話相手が自身の発話内容の認識結果や翻訳結果を確認し、修正することは非常に困難である。

また、例えば、対話相手が初対面の人間に機器を向けられることに抵抗を感じる場合があるという問題がある。また、利用者側としても機器の盗難を危惧し、積極的な共有状態を作ることに抵抗を感じる場合もある。また、所有者である利用者に比べて、対話相手が機器に不慣れである可能性が非常に高い。このため、対話を開始する前に、機器の操作方法や、表示内容、出力の意味などを説明し理解させる必要があるが、利用者、対話相手双方にとって非常に負担の大きい作業となる。このため、従来のように、認識結果や訳出結果の修正を行う装置の場合は、対話間で理解に齟齬が生じていても、認識結果や訳出結果の修正が適切に実行できない状況に陥るという問題がある。

（第１の実施の形態）
第１の実施の形態にかかるコミュニケーション支援装置は、対話中の重要語句を抽出し、抽出した重要語句を翻訳結果に関連付けて出力するものである。したがって対話の中で確認すべき内容を対話相手に提示することができ、上述のような問題を回避することが可能となる。

以下では、日本語と英語間の通訳コミュニケーションを前提として説明するが、原言語および目的言語の組み合わせはこれに限るものではなく、あらゆる言語の組み合わせについて適用することができる。また、以下では日本語および英語のいずれもが原言語または目的言語となりうる。すなわち、例えば、日本語話者が発話した場合、原言語文は日本語の文、目的言語文は英語の文となり、英語話者が発話した場合、原言語文は英語の文、目的言語文は日本語の文となる。

図１は、第１の実施の形態にかかるコミュニケーション支援装置１００の構成を示すブロック図である。同図に示すように、コミュニケーション支援装置１００は、入力受付部１０１と、重要語句抽出部１０２と、重要語句付加部１０３と、翻訳部１０４と、換言部１０５と、出力制御部１０６と、重要語句規則記憶部１１１と、発話履歴記憶部１１２と、換言情報記憶部１１３とを備えている。

重要語句規則記憶部１１１は、発話内容から重要語句を抽出するための条件と、抽出した重要語句を発話の翻訳結果に関連付けて出力する際の付加方法とを含む重要語句規則を記憶するものである。

図２は、重要語句規則記憶部１１１に記憶された重要語句規則のデータ構造の一例を示す説明図である。同図に示すように、重要語句規則は、一意に識別するための識別子であるＩＤと、重要語句を抽出するための抽出条件と、抽出した重要語句を翻訳結果へ関連づける方法を記載した重要語句付加方法とを対応付けた構造となっている。ただし、ＩＤは以降の説明を簡便に進めるために付与した補足的な要素であり、各規則を個別に区別できるならば必須項目ではない。

抽出条件としては、予め定められた検索対象語句を有する語句を重要語句として抽出するキーワード条件と、発話の用例に含まれる予め定められた重要語句に対応する語句を重要語句として抽出する例文条件とを指定することができる。

例えば、同図の抽出条件２０１は、キーワード条件の一例を示している。キーワード条件である抽出条件２０１は、金額表現であるという条件を満たす語句を発話中から重要語句として抽出するという条件を示している。なお、例文条件と区別するため、キーワード条件には記号「＄」を先頭に付記して表すようにしている。

また、例えば、同図の抽出条件２０３は、例文条件の一例を示している。例文条件である抽出条件２０３は、発話の用例中の重要語句を予め特定しており、記号「＜＞」で括ることで重要語句であることを表している。すなわち、抽出条件２０３は、「Do you have an invention card?」に類似する発話が入力されたとき、入力された発話からから「＜an invention card＞」に対応する語句を重要語句として抽出するという条件を示している。

重要語句付加方法には、翻訳結果に付加する際に変化させずに直接付加する定型部と、抽出条件に従い抽出された重要語句を埋め込む変数部からなる文が記述されている。すなわち、この文の変数部に重要語句を埋め込んで、入力された発話に付加して出力することを表している。同図に示すように、変数部は、[重要語句]のように表現する。

例えば、重要語句付加方法２０２は、抽出条件２０１によって重要語句が抽出された場合に、抽出された重要語句を「Did you say」の後に埋め込んだ文を、翻訳結果に付加して出力するという方法を示している。

また、重要語句付加方法２０４は、抽出条件２０３によって重要語句が抽出された場合に、抽出された重要語句を「I have」の後に埋め込んだ文を、翻訳結果に付加して出力するという方法を示している。

発話履歴記憶部１１２は、コミュニケーション支援装置１００を介してなされた双方の話者の発話の履歴を記憶するものである。発話履歴記憶部１１２は、最新の発話に対して付加する重要語句を、過去の発話から抽出するために参照される。

図３は、発話履歴記憶部１１２に記憶された発話履歴のデータ構造の一例を示す説明図である。同図に示すように、発話履歴は、原言語または目的言語による発話内容と、発話から抽出された重要語句と、重要語句を抽出する際に適用した重要語句規則のＩＤとを対応づけた構造となっている。

同図では、１発話を１レコードとする表形式で記憶するようにしており、同図において下のレコードほど新しい発話となるように記憶している。また、発話から重要語句が抽出されなかった場合は、重要語句およびＩＤ欄は空欄となる。

例えば、同図では、発話内容３０１は日本語話者による発話であり、発話内容３０１からは重要語句が抽出されなかったため重要語句およびＩＤ欄が空欄とされている例が示されている。また、発話内容３０２は発話内容３０１に対して英語話者が発話した内容であり、発話内容３０２から「50 dollars」が重要語句３０４として抽出された例が示されている。さらに、発話内容３０３は発話内容３０２に対して日本語話者が発話した内容であり、発話内容３０３からは重要語句が抽出されなかった例が示されている。

換言情報記憶部１１３は、任意の語句と同一の言語における同じ意味内容で表現形式の異なる別の語句である換言語句の情報（換言情報）を記憶するものである。換言情報記憶部１１３は、過去の発話から抽出した重要語句をそのまま付加するのではなく、別の語句で換言して出力することにより、発話者間の理解の不一致を回避するために利用される。

図４は、換言情報記憶部１１３に記憶された換言情報のデータ構造の一例を示す説明図である。同図に示すように、換言情報は、換言対象となる変換前語句と、換言結果である変換後語句とを対応付けた構造となっている。

例えば、同図の変換前語句４０１（「car」）が、同図の変換後語句４０２（「automobile」）に変換されることを表している。

なお、重要語句規則記憶部１１１、発話履歴記憶部１１２、および換言情報記憶部１１３は、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶手段により構成することができる。

入力受付部１０１は、利用者からの音声入力を受付け、受付けた音声に対し音声認識処理を行い、認識結果である原言語によるテキストデータの入力を受付けるものである。このとき、入力手段として、キーボード、ポインティングデバイス、手書き文字認識などの一般的に用いられているあらゆる入力方法と併用、あるいは代用して構成してもよい。

この際に行われる音声認識処理は、ＬＰＣ分析、隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）、ダイナミックプログラミング、ニューラルネットワーク、Ｎグラム言語モデルなどを用いた、一般的に利用されているあらゆる音声認識方法を適用することができる。

重要語句抽出部１０２は、重要語句規則記憶部１１１に記憶された抽出条件を参照しながら入力された発話中の重要語句を抽出するものである。

具体的には、重要語句抽出部１０２は、キーワード条件である抽出条件を満たす語句を入力された発話の中から検索し、検索した語句を重要語句として抽出する。また、重要語句抽出部１０２は、入力された発話と同一の例文または類似する例文を例文条件である抽出条件から検索し、検索した例文中の重要語句部分に対応する語句を発話中の重要語句として抽出する。

なお、キーワード条件の抽出条件を満たす語句を検索するとは、キーワード条件で指定された語句と同一の語句を検索する場合だけでなく、類似する語句を検索する場合も含む。類似する語句には、キーワード条件で指定された語句と意味内容が同一である語句や、構造的または表層的な一致の度合いが予め定められた値より大きい語句が含まれる。

この際には、構文解析、意味解析などの一般的な自然言語解析処理を適用することができ、さらに構造的または表層的な一致の度合いを最大とする割当て方を計算するためには動的計画法などの、従来から用いられているあらゆる技術を適用することができる。

また、例文条件を使用して類似する例文を検索する場合は、例えば、特許第３１３５２２１号公報に記載された方法などの、従来から用いられているあらゆる類似例文検索技術を適用することができる。

重要語句抽出部１０２おいて、１つの発話に対して、適用可能な抽出条件が複数存在する場合は、予め定められた優先度が最大の抽出条件を適用する。例えば、例文条件を優先して適用するため、キーワード条件より高い優先度に設定しておく。また、例文条件間では、より発話内容との類似度が高い例文に対応する例文条件を適用するように構成してもよい。さらに、先に登録された抽出条件、すなわち、ＩＤが小さい抽出条件を優先して適用するように構成してもよい。なお、すべての抽出条件または優先度順に予め定められた個数の抽出条件を複数適用して重要語句を複数抽出するように構成してもよい。

重要語句付加部１０３は、対話相手の発話から抽出された重要語句を、抽出の際に重要語句抽出部１０２が適用した抽出条件に対応づけられた重要語句付加方法によって、入力された発話に関連付けて出力するものである。

例えば、図２の抽出条件２０１により金額表現が重要語句として抽出された場合、対応する重要語句付加方法２０２を適用し、「Did you say」の後に抽出した重要語句である金額を表す語句を埋め込んだ文を、入力された発話に付加して出力する。

なお、重要語句付加部１０３は、翻訳の目的言語で翻訳済みの文を、入力された発話に付加して出力するように構成してもよい。この場合は、原言語および目的言語双方で記述された文を重要語句規則記憶部１１１の重要語句付加方法欄に記載し、出力する言語に応じて適切な言語により記述された文に重要語句を埋め込んで出力する。これにより、翻訳の目的言語で翻訳済みの文を付加して出力することが可能となる。

翻訳部１０４は、重要語句が付加された発話を目的言語文に翻訳するものである。なお、翻訳部１０４より行われる翻訳処理は、一般的なトランスファ方式、用例ベース方式、統計ベース方式、中間言語方式の機械翻訳システムにおいて利用されているあらゆる方法を適用することができる。

なお、重要語句付加部１０３が翻訳済みの重要語句を含む文を付加して出力する構成の場合は、翻訳部１０４は、入力された発話のみを翻訳する。

換言部１０５は、換言情報記憶部１１３に記憶された換言情報を参照し、重要語句付加部１０３よって付与された重要語句の訳語を、換言語句に変換するものである。

なお、換言部１０５は、翻訳部１０４が翻訳する前の発話に関連付けられた重要語句を換言語句に置換するように構成してもよい。この場合は、翻訳部１０４は、換言語句で置換された重要語句が付加された発話を目的言語文に翻訳する。

出力制御部１０６は、換言部１０５により換言語句に変換された重要語句と、翻訳部１０４が翻訳した翻訳結果とを出力するものである。この際、翻訳結果を目的言語である英語の合成音声として出力する。出力制御部１０６により行われる音声合成処理は、音声素片編集音声合成、フォルマント音声合成、音声コーパスベースの音声合成、テキストトゥスピーチなどの一般的に利用されているあらゆる方法を適用することができる。

なお、出力制御部１０６による音声出力は、テキストを画面表示するディスプレイなどの表示装置による目的言語のテキスト出力や、プリンタなどへのテキスト印刷により目的言語文を出力などの種々の出力、表示手段と併用、あるいは代用して構成してもよい。

次に、このように構成された第１の実施の形態にかかるコミュニケーション支援装置１００によるコミュニケーション支援処理について説明する。図５は、第１の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。

まず、入力受付部１０１が、原言語文Ｓｉの入力を受付ける（ステップＳ５０１）。具体的には、入力受付部１０１は、音声により入力された原言語文を音声認識し、その認識結果である原言語のテキストデータである原言語文Ｓｉの入力を受付ける。

次に、重要語句抽出部１０２が、受付けた原言語文Ｓｉから重要語句を抽出する重要語句抽出処理を実行する（ステップＳ５０２）。重要語句抽出処理の詳細については後述する。

なお、ステップＳ５０２の重要語句抽出処理は、入力された最新の発話から重要語句を抽出処理であり、この処理で抽出された重要語句は、これ以降にさらに入力された発話に対して付加されうる語句となる。また、ステップＳ５０３以降で重要語句付加部１０３により付加される重要語句は、ステップＳ５０２で最新の発話から抽出した重要語句ではなく、過去の発話から抽出した重要語句である。

次に、重要語句付加部１０３は、発話履歴記憶部１１２から、１発話前のレコードＲを取得する（ステップＳ５０３）。次に、重要語句付加部１０３は、レコードＲ内に重要語句が存在するか否かを判断する（ステップＳ５０４）。

重要語句が存在する場合（ステップＳ５０４：ＹＥＳ）、重要語句付加部１０３は、レコードＲ内の重要語句付加方法により、原言語文Ｓｉに重要語句を付加し、訳出対象文Ｓｔとして出力する（ステップＳ５０５）。

重要語句が存在しない場合（ステップＳ５０４：ＮＯ）、重要語句付加部１０３は、原言語文Ｓｉを訳出対象文Ｓｔとして出力する（ステップＳ５０６）。

次に、翻訳部１０４が、訳出対象文Ｓｔを翻訳し、目的言語文Ｔｏを出力する（ステップＳ５０７）。なお、翻訳部１０４による翻訳では、例えばトランスファ方式の翻訳の場合は、形態素解析、構文解析、意味解析等の自然言語処理で用いられる各種辞書（図示せず）が参照される。また、例えば用例ベース方式の翻訳の場合は、原言語と目的言語による対訳の用例を記憶した辞書（図示せず）等が参照される。

次に、換言部１０５が、訳出対象文Ｓｔに重要語句が付加されているか否かを判断する（ステップＳ５０８）。付加されている場合は（ステップＳ５０８：ＹＥＳ）、換言部１０５は、換言情報記憶部１１３を検索し、重要語句に対応する換言語句が存在するか否かを判断する（ステップＳ５０９）。

換言語句が存在する場合は（ステップＳ５０９：ＹＥＳ）、換言部１０５は、検索した換言語句で重要語句を置換した目的言語文Ｔｏを出力する（ステップＳ５１０）。

ステップＳ５０８で訳出対象文Ｓｔに重要語句が付加されていないと判断された場合（ステップＳ５０８：ＮＯ）、ステップＳ５０９で換言語句が存在しないと判断された場合（ステップＳ５０９：ＮＯ）、またはステップＳ５１０で換言部１０５が目的言語文Ｔｏを出力した後、出力制御部１０６は、Ｔｏを目的言語の音声で音声合成し、その結果を出力する（ステップＳ５１１）。

次に、ステップＳ５０２の重要語句抽出処理の詳細について説明する。図６は、第１の実施の形態における重要語句抽出処理の全体の流れを示すフローチャートである。

まず、重要語句抽出部１０２は、重要語句規則記憶部１１１から、原言語文Ｓｉに適合する例文条件である抽出条件Ｋを検索する（ステップＳ６０１）。具体的には、重要語句抽出部１０２は、類似例文検索技術を用いて原言語文Ｓｉと同一または類似する例文が記載された例文条件を検索する。

次に、重要語句抽出部１０２は、抽出条件Ｋが検索されたか否かを判断し（ステップＳ６０２）、抽出条件Ｋが検索されなかった場合（ステップＳ６０２：ＮＯ）、重要語句規則記憶部１１１から、原言語文Ｓｉに適合するキーワード条件である抽出条件Ｋを検索する（ステップＳ６０３）。

具体的には、重要語句抽出部１０２は、キーワード条件に記載された語句が、原言語文Ｓｉの中に含まれるか否かを検索し、検索された場合は、対応するキーワード条件を原言語文Ｓｉに適合する抽出条件Ｋとして取得する。

次に、重要語句抽出部１０２は、キーワード条件Ｋが検索されたか否かを判断し（ステップＳ６０４）、キーワード条件Ｋが検索されなかった場合（ステップＳ６０４：ＮＯ）、原言語文Ｓｉには重要語句が含まれないものとして重要語句抽出処理を終了する。

ステップＳ６０２で例文条件である抽出条件Ｋが検索された場合（ステップＳ６０２：ＹＥＳ）、または、ステップＳ６０４でキーワード条件である抽出条件Ｋが検索された場合は（ステップＳ６０４：ＹＥＳ）、重要語句抽出部１０２は、抽出条件Ｋにより重要語句Ｉを抽出する（ステップＳ６０５）。

例えば、「Do you have any cards? 」という原言語文Ｓｉが入力された場合、図２の例文条件である抽出条件２０３が適合する抽出条件Ｋとして検索される（ステップＳ６０１）。さらに、抽出条件２０３の「＜an invention card＞」に対応する部分として、原言語文Ｓｉから「cards」が重要語句Ｉとして抽出される（ステップＳ６０５）。

次に、重要語句抽出部１０２は、原言語文Ｓｉ、重要語句Ｉ、抽出条件Ｋに対応するＩＤを発話履歴記憶部１１２に保存し（ステップＳ６０６）、重要語句抽出処理を終了する。

上述のような手順により、ステップＳ６０５で抽出された重要語句が、ステップＳ５０５で原言語文Ｓｉに付加され、ステップＳ５０７で翻訳されてステップＳ５１１で対話相手に出力される。この際、認識結果が正しいか否かを判断する処理などが含まれていないため、会話が中断されることがなく、円滑にコミュニケーションを継続することが可能となる。さらに、重要語句が付加された翻訳結果が対話相手に出力されるため、認識が不一致のまま会話が進められる可能性を低減することができる。

次に、第１の実施の形態におけるコミュニケーション支援処理の具体例について説明する。図７は、相互に発話される文の一例を示した説明図である。また、図８は、図７で示した文が発話されたときに発話履歴記憶部１１２に記憶される情報の一例を示す説明図である。さらに、図９は、コミュニケーション支援装置１００が出力する出力文の一例を示す説明図である。

以下では、日本語話者による発話であり、「もっと安い部屋はありませんか？」を意味する図７の日本語７０１が既に入力され、図８の発話内容８０１に示すレコードが発話履歴記憶部１１２に保持されていることを前提とする。また、重要語句規則記憶部１１１および換言情報記憶部１１３には、それぞれ図２および図４に示す情報が記憶されていることを前提とする。

この状態で、英語話者が英語７０２（「Well, we have a room for 50 dollars a night. 」）を発話したとする。この場合、入力受付部１０１が英語７０２の入力を受付け、原言語文Ｓｉとする。

ここでは、入力受付部１０１が、入力された音声を「Well, we have a room for 15 dollars a night. 」と誤って認識し、原言語文Ｓｉとして出力したと仮定する（ステップＳ５０１）。

次に、重要語句抽出処理が実行される（ステップＳ５０２）。まず、重要語句抽出部１０２は、重要語句規則記憶部１１１を参照して、原言語文Ｓｉに類似する例文条件を検索する（ステップＳ６０１）。図２のような重要語句規則記憶部１１１からは類似する例文が検索されないため（ステップＳ６０２：ＮＯ）、原言語文Ｓｉに適合するキーワード条件を検索する（ステップＳ６０３）。

この例では、原言語文Ｓｉに金額表現（「15 dollars」）が含まれるため、図２のキーワード条件である抽出条件２０１が検索され、「15 dollars」が重要語句Ｉとして抽出される（ステップＳ６０５）。

これにより、原言語文Ｓｉ（「Well, we have a room for 15 dollars a night. 」）、重要語句Ｉ（「15 dollars」）、適合した抽出条件のＩＤ（「１」）が発話履歴記憶部１１２に記憶される（ステップＳ６０６）。このときの発話履歴記憶部１１２は、図８に示したような状態となる。

次に、重要語句付加部１０３は、発話履歴記憶部１１２を参照し、原言語文Ｓｉの１発話前のレコードとして、図８の発話内容８０１（「もっと安い部屋はありませんか？」）に対応するレコードＲを取得する（ステップＳ５０３）。取得したレコードＲは、重要語句を含まないため（ステップＳ５０４：ＮＯ）、原言語文Ｓｉが訳出対象文Ｓｔとして出力される（ステップＳ５０６）。

次に、翻訳部１０４が訳出対象文Ｓｔを翻訳して目的言語文Ｔｏを出力する（ステップＳ５０７）。また、重要語句が付加されていないため（ステップＳ５０８：ＮＯ）、出力制御部１０６により目的言語文Ｔｏが音声合成して出力される（ステップＳ５１１）。この結果、原言語文Ｓｉ（「Well, we have a room for 15 dollars a night. 」）を翻訳した日本語の文（「ええっと、一晩１５ドルの部屋があります。」）が出力される。

続いて、日本語話者が日本語７０３（「それにします。」）を発話したとする。この場合、入力受付部１０１が日本語７０３の入力を受付け、原言語文Ｓｉとする。

ここでは、入力受付部１０１が、入力された音声を正しく認識し、原言語文Ｓｉとして出力したと仮定する（ステップＳ５０１）。

次に、重要語句抽出処理が実行される（ステップＳ５０２）。まず、重要語句抽出部１０２は、重要語句規則記憶部１１１を参照して、原言語文Ｓｉに類似する例文条件を検索する（ステップＳ６０１）。図２のような重要語句規則記憶部１１１からは類似する例文が検索されないため（ステップＳ６０２：ＮＯ）、原言語文Ｓｉに適合するキーワード条件を検索する（ステップＳ６０３）。

図２のような重要語句規則記憶部１１１からは適合するキーワード条件も検索されないため（ステップＳ６０４：ＮＯ）、原言語文Ｓｉのみが発話履歴記憶部１１２に保存される（ステップＳ６０６）。

次に、重要語句付加部１０３は、発話履歴記憶部１１２を参照し、原言語文Ｓｉの１発話前のレコードとして、図８の発話内容８０２（「Well, we have a room for 15 dollars a night. 」）に対応するレコードＲを取得する（ステップＳ５０３）。取得したレコードＲは、重要語句を含むため（ステップＳ５０４：ＹＥＳ）、レコードＲ内のＩＤ＝１に対応する重要語句付加方法に従い、原言語文Ｓｉに「Did you say 15 dollars? 」を付加した訳出対象文Ｓｔが出力される（ステップＳ５０５）。

次に、翻訳部１０４が訳出対象文Ｓｔを翻訳して目的言語文Ｔｏを出力する（ステップＳ５０７）。なお、この例では付加した文（「Did you say 15 dollars? 」）は既に目的言語である英語で記述されているため、翻訳部１０４は翻訳を行う必要はない。

また、訳出対象文Ｓｔに重要語句が付加されているため（ステップＳ５０８：ＹＥＳ）、換言語句の検索処理が実行されるが（ステップＳ５０９）、図４の換言情報記憶部１１３には該当する重要語句が存在しないため（ステップＳ５０９：ＮＯ）、出力制御部１０６により目的言語文Ｔｏが音声合成して出力される（ステップＳ５１１）。この結果、原言語文Ｓｉ（「それにします。」）を翻訳し、重要語句が付加された英語の文として、図９に示す出力文９０１（「Did you say 15 dollars? I'll take it」）が出力される。

以上のような処理により、英語話者が発話した「Well, I have a room for 50 dollars a night. 」が、「Well, I have a room for 15 dollars a night. 」と認識された例のように、重要な部分が誤認識された場合であっても、日本語話者の発話の訳出結果に重要な部分の訳出結果（「15 dollars. 」）を付加して出力することができる。

このため、重要語句の認識結果を対話相手が確認できるように提示し、かつ、利用者発話の訳出タイミングに合わせて提示することができる。したがって、対話者間のコミュニケーションや、利用者とコミュニケーション支援装置１００との間の処理に影響を与えることなく処理内容を確認することが可能となる。

次に、第１の実施の形態におけるコミュニケーション支援処理の別の具体例について説明する。図１０は、相互に発話される文の一例を示した説明図である。また、図１１は、図１０で示した文が発話されたときに発話履歴記憶部１１２に記憶される情報の一例を示す説明図である。さらに、図１２は、コミュニケーション支援装置１００が出力する出力文の一例を示す説明図である。

以下では、発話履歴記憶部１１２には発話内容が記憶されていない空の状態であることを前提とする。また、重要語句規則記憶部１１１および換言情報記憶部１１３には、それぞれ図２および図４に示す情報が記憶されていることを前提とする。

この状態で、英語話者が図１０に示す英語１００１（「Do you have any cards? 」）を発話したとする。この場合、入力受付部１０１が英語１００１の入力を受付け、原言語文Ｓｉとする。

ここでは、入力受付部１０１が、入力された音声を「Do you have any cars? 」と誤って認識し、原言語文Ｓｉとして出力したと仮定する（ステップＳ５０１）。

次に、重要語句抽出処理が実行される（ステップＳ５０２）。まず、重要語句抽出部１０２は、重要語句規則記憶部１１１を参照して、原言語文Ｓｉに類似する例文条件を検索する（ステップＳ６０１）。この例では、図２のような重要語句規則記憶部１１１から、例文条件である抽出条件２０３が検索される（ステップＳ６０２：ＹＥＳ）。

また、抽出条件２０３の重要語句の部分に対応する語句「cars」が重要語句Ｉとして抽出される（ステップＳ６０５）。

これにより、原言語文Ｓｉ（「Do you have any cars? 」）、重要語句Ｉ（「cars」）、適合した抽出条件のＩＤ（「４」）が発話履歴記憶部１１２に記憶される（ステップＳ６０６）。このときの発話履歴記憶部１１２には、図１１の英語１１０１、重要語句１１０３、ＩＤ１１０４が記憶された状態となる。

次に、重要語句付加部１０３は、発話履歴記憶部１１２を参照するが、原言語文Ｓｉの１発話前のレコードが存在せず重要語句が取得できないため（ステップＳ５０４：ＮＯ）、原言語文Ｓｉが訳出対象文Ｓｔとして出力される（ステップＳ５０６）。

次に、翻訳部１０４が訳出対象文Ｓｔを翻訳して目的言語文Ｔｏを出力する（ステップＳ５０７）。また、重要語句が付加されていないため（ステップＳ５０８：ＮＯ）、出力制御部１０６により目的言語文Ｔｏが音声合成して出力される（ステップＳ５１１）。この結果、原言語文Ｓｉ（「Do you have any cars? 」）を翻訳した日本語の文（「車を持っていますか？」）が出力される。

続いて、日本語話者が図１０に示す日本語１００２（「はい。」）を発話したとする。この場合、入力受付部１０１が日本語１００２の入力を受付け、原言語文Ｓｉとする。

ここでは、入力受付部１０１が、入力された音声を正しく認識し、原言語文Ｓｉとして出力したと仮定する（ステップＳ５０１）。

次に、重要語句抽出処理が実行される（ステップＳ５０２）。まず、重要語句抽出部１０２は、重要語句規則記憶部１１１を参照して、原言語文Ｓｉに類似する例文条件を検索する（ステップＳ６０１）。図２のような重要語句規則記憶部１１１からは類似する例文が検索されないため（ステップＳ６０２：ＮＯ）、原言語文Ｓｉに適合するキーワード条件を検索する（ステップＳ６０３）。

図２のような重要語句規則記憶部１１１からは適合するキーワード条件も検索されないため（ステップＳ６０４：ＮＯ）、原言語文Ｓｉのみが発話履歴記憶部１１２に保存される（ステップＳ６０６）。このときの発話履歴記憶部１１２は、図１１に示したように、英語１１０１、日本語１１０２が格納された状態となる。

次に、重要語句付加部１０３は、発話履歴記憶部１１２を参照し、原言語文Ｓｉの１発話前のレコードとして、図１１の英語１１０１（「Do you have any cars? 」）に対応するレコードＲを取得する（ステップＳ５０３）。取得したレコードＲは、重要語句を含むため（ステップＳ５０４：ＹＥＳ）、レコードＲ内のＩＤ＝４に対応する重要語句付加方法に従い、原言語文Ｓｉに「I have cars. 」を付加した訳出対象文Ｓｔが出力される（ステップＳ５０５）。

次に、翻訳部１０４が訳出対象文Ｓｔを翻訳して目的言語文Ｔｏを出力する（ステップＳ５０７）。なお、この例では付加した文（「I have cars. 」）は既に目的言語である英語で記述されているため、翻訳部１０４は翻訳を行う必要はない。

次に、訳出対象文Ｓｔに重要語句が付加されているため（ステップＳ５０８：ＹＥＳ）、換言語句の検索処理が実行される（ステップＳ５０９）。この例では、図４の換言情報記憶部１１３から重要語句「cars」の換言語句として「automobiles」が存在するため（ステップＳ５０９：ＹＥＳ）、目的言語文Ｔｏの重要語句を換言語句で置換する（ステップＳ５１０）。

次に、出力制御部１０６により目的言語文Ｔｏが音声合成して出力される（ステップＳ５１１）。この結果、原言語文Ｓｉ（「はい。」）を翻訳し、換言語句に置換された重要語句が付加された英語の文として、図１２に示す出力文１２０１（「Yes,I have automobiles. 」）が出力される。

以上のような処理により、英語話者が発話した「 Do you have cards? 」が、「Do you have cars? 」と認識された例のように、重要な部分が誤認識された場合であっても、日本語話者の発話の訳出結果に重要な部分を換言して訳出した結果（「automobiles」）を付加して出力することができる。

このため、重要語句を単純に聞き返すだけでなく、対話相手の発話内容と異なる表現で訳出することができる。したがって、発話内容の認識結果の確認をより効果的に実行することが可能となる。

なお、重要語句の付加の可否を利用者に問い合わせ、重要語句を付加して出力するか否かを制御するように構成してもよい。また、出力制御部１０６が、重要語句付加部１０３によって付加された重要語句や、換言部１０５において換言された重要語句を、その他の部分と異なる方法で出力するように構成してもよい。

例えば、音声合成して出力する際の出力音声の音量や声質などの音声の属性を変えて出力するように構成してもよい。また、画面またはプリンタに出力する際に、付加された部分に下線を引く、または、フォントサイズ、スタイル、フォントの色を変更するなどの加工を加えて出力するように構成してもよい。これにより、対話相手が重要語句であることを容易に認識することができるようになる。

このように、第１の実施の形態にかかるコミュニケーション支援装置は、対話中の重要語句を抽出して翻訳結果に関連付けて対話相手に提示することができるため、対話の中で重要語句の確認を対話相手に促すことが可能となる。また、抽出した重要語句を、対話相手の発話内容と異なる表現で訳出することができるため、対話相手の発話内容が正しく認識され、訳出されたことをより適切に確認させることが可能となる。このため、円滑な会話を妨げずに、発話者間の理解が不一致のまま会話が進められることを回避することができる。

（第２の実施の形態）

第２の実施の形態にかかるコミュニケーション支援装置は、発話の意図を解析し、予め定められた発話意図に対応する発話の場合のみ、重要語句の付加処理を実行するものである。

図１３は、第２の実施の形態にかかるコミュニケーション支援装置１３００の構成を示すブロック図である。同図に示すように、コミュニケーション支援装置１３００は、入力受付部１０１と、重要語句抽出部１０２と、重要語句付加部１３０３と、翻訳部１０４と、換言部１０５と、出力制御部１０６と、発話意図解析部１３０７と、重要語句規則記憶部１１１と、発話履歴記憶部１３１２と、換言情報記憶部１１３と、付加条件記憶部１３１４とを備えている。

第２の実施の形態では、発話意図解析部１３０７と付加条件記憶部１３１４とを追加したこと、および、重要語句付加部１３０３の機能が第１の実施の形態と異なっている。また、発話履歴記憶部１３１２のデータ構造が第１の実施の形態と異なっている。その他の構成および機能は、第１の実施の形態にかかるコミュニケーション支援装置１００の構成を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

付加条件記憶部１３１４は、重要語句の付加処理を実行する条件である付加条件を記憶するものであり、発話意図に応じて付加処理の実行可否を制御するために参照される。

図１４は、付加条件記憶部１３１４に記憶された付加条件のデータ構造の一例を示す説明図である。同図に示すように、付加条件は、発話意図と、付加処理を実行するか否かを示す付加処理フラグとを対応付けた構造となっている。

発話意図欄には、後述する発話意図解析部１３０７により解析された発話意図または発話意図の組合せが指定される。同図では、例えば発話意図１４０１は、２つの発話がそれぞれ質問と回答という発話意図を有する場合の発話意図の組合せを示している。また、例えば発話意図１４０３は、１つの発話が挨拶という発話意図を有する場合の発話意図を示している。

付加処理フラグ欄には、付加処理を実行する場合のフラグを示すＹｅｓ、または付加処理を実行しない場合のフラグを示すＮｏのいずれかが指定される。同図では、例えば付加処理フラグ１４０２（「Ｙｅｓ」）は、発話意図が質問と回答の組合せである場合は、付加処理を実行することを示している。また、例えば付加処理フラグ１４０４（「Ｎｏ」）は、発話意図が挨拶の場合は、付加処理を実行しないことを示している。

なお、付加条件記憶部１３１４の付加条件の付加処理フラグ欄を省略し、付加処理を実行する場合の発話意図のみを指定するように構成してもよい。この場合、付加条件記憶部１３１４に記憶されていない発話意図の場合は、付加処理を実行しないものと判断する。

発話履歴記憶部１３１２は、各発話内容について、発話意図を対応づけて格納する点が、第１の実施の形態の発話履歴記憶部１１２と異なっている。

図１５は、発話履歴記憶部１３１２に記憶された発話履歴のデータ構造の一例を示す説明図である。同図に示すように、発話履歴は、発話内容と、重要語句と、発話意図と、重要語句規則のＩＤとを対応づけた構造となっている。

発話意図欄には、後述する発話意図解析部１３０７が解析した各発話の発話意図を格納する。発話意図としては、例えば、質問、回答、承諾、依頼、挨拶などが指定できる。

例えば、同図の発話内容１５０１に対しては、「質問」という発話意図１５０４が対応づけられる。また、発話内容１５０２に対しては、「回答」という発話意図１５０５が対応づけられる。また、発話内容１５０３に対しては、「承諾」という発話意図１５０６が対応づけられる。発話内容１５０２からは、重要語句として重要語句１５０７が抽出される。

発話意図解析部１３０７は、入力受付部１０１が受付けた原言語文に対し、原言語の語彙情報、文法規則を参照した形態素解析、構文解析、係り受け解析、意味解析、文脈解析などの自然言語解析処理を行うことによって、原言語文が表している意味内容の解釈である原言語解釈を出力するものである。

また、発話意図解析部１３０７は、発話履歴記憶部１３１２の対話履歴を参照し、談話の構造と併せて現在入力されている原言語文が持つ発話意図を解析し、解析結果を出力するものである。

例えば、発話意図解析部１３０７は、「バス停はどこですか？」という「質問」の発話意図を持った発話に対し、「郵便局の前です。」という発話が入力されたとき、この発話が前の発話に対する「回答」の発話意図を持つ発話である、という解析を行う。

ここで、発話意図解析部１３０７における自然言語解析処理は、Ａ＊アルゴリズムを用いた形態素解析や、アーリー法、チャート法、一般化ＬＲ法による構文解析、あるいは、Ｓｈａｎｋのスクリプト、談話表示理論に基づく文脈解析や談話解析など、一般的に広く知られ、利用されているあらゆる方法を適用することができる。

なお、形態素情報、構文情報、意味情報などを格納した自然言語処理用の辞書を、ＨＤＤ、光ディスク、メモリカード、ＲＡＭなどの一般的に利用されている記憶手段に格納し、これらを参照しながら各自然言語解析処理が実行される。

重要語句付加部１３０３は、発話履歴記憶部１３１２を参照しながら、入力受付部１０１が入力を受付けた発話に対して、重要語句の付加処理を実施するか否かを判断する点が、第１の実施の形態における重要語句付加部１０３と異なっている。

具体的には、重要語句付加部１３０３は、発話履歴記憶部１３１２から、最新の発話の発話意図と、１発話前の発話の発話意図とを取得し、取得した発話意図の組合せまたは最新の発話の発話意図が、付加条件記憶部１３１４の発話意図欄に記載された条件と一致するか否かを判断する。そして、一致する発話意図が存在する場合には、対応する付加処理フラグを付加条件記憶部１３１４から取得し、付加処理の実行可否を判断する。

次に、このように構成された第２の実施の形態にかかるコミュニケーション支援装置１３００によるコミュニケーション支援処理について説明する。図１６は、第２の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。

まず、入力受付部１０１が、原言語文Ｓｉの入力を受付ける（ステップＳ１６０１）。本処理は、第１の実施の形態におけるステップＳ５０１と同様である。

次に、発話意図解析部１３０７が、原言語文Ｓｉを解析し、発話意図ＩＮＴを出力する（ステップＳ１６０２）。具体的には、発話意図解析部１３０７は、発話履歴記憶部１３１２に記憶された過去の発話と、入力された原言語文Ｓｉとを参照し、文脈解析などの自然言語処理により、原言語文Ｓｉの発話意図を解析し出力する。

次に、重要語句抽出部１０２が、重要語句抽出処理を実行する（ステップＳ１６０３）。第２の実施の形態における重要語句抽出処理は、ステップＳ６０６で発話意図ＩＮＴも同時に発話履歴記憶部１３１２に保存する点が第１の実施の形態と異なっている。それ以外の重要語句抽出処理の全体の流れは第１の実施の形態における図６に示したフローチャートと同様であるのでその説明を省略する。

次に、重要語句付加部１３０３は、原言語文Ｓｉが重要語句付加対象か否かを判断する（ステップＳ１６０４）。例えば、発話履歴記憶部１３１２から、１発話前の発話の発話意図として「質問」が取得され、最新の発話の発話意図が「回答」であった場合、図１４に示すような付加条件記憶部１３１４の発話意図１４０１と一致するため、対応する付加処理フラグ１４０２（Ｙｅｓ）を取得し、付加処理を実行する、すなわち、重要語句付加対象であると判断する。

重要語句付加対象である場合は（ステップＳ１６０４：ＹＥＳ）、重要語句付加部１３０３は、発話履歴記憶部１３１２から、１発話前のレコードＲを取得する（ステップＳ１６０５）。重要語句付加対象でない場合は（ステップＳ１６０４：ＮＯ）、重要語句付加部１３０３は、原言語文Ｓｉを訳出対象文Ｓｔとして出力する（ステップＳ１６０８）。

このように、発話意図を考慮して重要語句の付加処理の実行可否を判断することができるため、重要語句を常に確認するのではなく、効果的なタイミングで重要語句を確認することが可能となり、対話の流れを途切れさせることなく円滑なコミュニケーション支援が可能となる。

ステップＳ１６０６からステップＳ１６１３までの、重要語句付加処理、翻訳処理、換言処理、出力処理は、第１の実施の形態にかかるコミュニケーション支援装置１００におけるステップＳ５０４からステップＳ５１１までと同様の処理なので、その説明を省略する。

次に、第２の実施の形態におけるコミュニケーション支援処理の具体例について説明する。図１７は、発話履歴記憶部１３１２に記憶される情報の一例を示す説明図である。

以下では、付加条件記憶部１３１４には、図１４に示す情報が記憶されていることを前提とする。

この状態で、日本語話者が日本語１７０１（「もっと安い部屋はありませんか？」）を発話したとする。この場合、入力受付部１０１が日本語１７０１の入力を受付け、原言語文Ｓｉとする（ステップＳ１６０２）。

次に、発話意図解析部１３０７は、日本語１７０１が「質問」の発話意図を有することを解析し、出力する（ステップＳ１６０２）。出力された発話意図は発話意図解析部１３０７に格納される（図１７の発話意図１７０３）。

この後、重要語句付加部１３０３は、発話履歴記憶部１３１２を参照して、原言語文Ｓｉが重要語句付加対象か否かを判断する（ステップＳ１６０４）。この段階では、発話履歴記憶部１３１２には、日本語１７０１のみが格納されており、さらに発話意図「質問」に対しては付加条件記憶部１３１４にレコードが存在しないため、重要語句付加対象でないと判断される（ステップＳ１６０４：ＮＯ）。

一方、日本語１７０１に対して英語話者が英語１７０２（「Well, we have a room for 15 dollars a night.」）を発話したとすると、入力受付部１０１が英語１７０２の入力を受付け、原言語文Ｓｉとする（ステップＳ１６０２）。

次に、発話意図解析部１３０７は、英語１７０２が「回答」の発話意図を有することを解析し、出力する（ステップＳ１６０２）。出力された発話意図は発話意図解析部１３０７に格納される（図１７の発話意図１７０４）。なお、この場合は重要語句として図１７の重要語句１７０５が抽出され（ステップＳ６０５）、発話意図解析部１３０７に記憶される（ステップＳ６０６）。

重要語句付加部１３０３は、発話履歴記憶部１３１２を参照して、原言語文Ｓｉが重要語句付加対象か否かを判断する（ステップＳ１６０４）。この段階では、発話履歴記憶部１３１２には、日本語１７０１および英語１７０２が格納されており、これらの発話意図の組合せは、「質問」「回答」となる。この組合せは、図１４の付加条件記憶部１３１４の発話意図１４０１と一致するため、重要語句付加対象であると判断される（ステップＳ１６０４：ＹＥＳ）。

したがって、重要語句付加部１３０３は、ステップＳ１６０５からステップＳ１６０７までの処理を実行し、重要語句の検索および付加処理を行う。

このように、第２の実施の形態にかかるコミュニケーション支援装置では、発話意図を解析し、予め定められた発話意図に対応する発話の場合のみ、重要語句の付加処理を実行することができる。このため、効果的なタイミングで重要語句を確認することが可能となり、対話の流れを途切れさせることなく円滑なコミュニケーション支援が可能となる。

（第３の実施の形態）
第３の実施の形態にかかるコミュニケーション支援装置は、発話中の照応表現の指示対象である先行詞を特定し、先行詞の修飾語または被修飾語に重要語句が含まれる場合に、発話中の照応表現に当該重要語句を含む修飾語または被修飾語を付加して出力するものである。

図１８は、第３の実施の形態にかかるコミュニケーション支援装置１８００の構成を示すブロック図である。同図に示すように、コミュニケーション支援装置１８００は、入力受付部１０１と、重要語句抽出部１０２と、重要語句付加部１８０３と、翻訳部１０４と、換言部１０５と、出力制御部１０６と、発話意図解析部１３０７と、照応解析部１８０８と、重要語句規則記憶部１１１と、発話履歴記憶部１３１２と、換言情報記憶部１１３と、付加条件記憶部１３１４とを備えている。

第２の実施の形態では、照応解析部１８０８を追加したこと、および重要語句付加部１８０３の機能が第１の実施の形態と異なっている。その他の構成および機能は、第２の実施の形態にかかるコミュニケーション支援装置１３００の構成を表すブロック図である図１３と同様であるので、同一符号を付し、ここでの説明は省略する。

照応解析部１８０８は、発話履歴記憶部１３１２に記憶された過去の発話履歴を参照し、原言語発話中に現れる代名詞などの表現が、過去の発話内に現れた名詞句などの表現と同じ内容や対象を表すことを検出する照応解析処理を行うものである。検出した原言語発話中に現れる代名詞などの発話中の他の対象を指し示す表現を照応表現という。また、照応表現が指し示す指示対象を先行詞という。

例えば、照応解析部１８０８は、第１の発話として「こちらの服は、少し大きめのサイズになっています。」が入力され、続いて第２の発話として「それを買います。」が入力された場合、第２の発話における代名詞である照応表現「それ」に対応する先行詞を解析し、第１の発話中の「服」であることを特定する。

なお、照応解析部１８０８により実行される照応解析処理は、キャッシュモデルや、中心化理論に基づく文脈解析を利用し、代名詞の先行詞を推定する方法などの、従来から用いられているあらゆる方法を適用することができる。

重要語句付加部１８０３は、照応解析部１８０８が入力された原言語文の照応表現と、過去の発話中の対応する先行詞を検出した場合に、検出した先行詞の被修飾語または修飾語に重要語句が含まれる場合、入力された原言語文の照応表現に先行詞の被修飾語または修飾語を関連付けて出力するものである。

なお、照応表現および先行詞が検出されなかった場合の処理は、第２の実施の形態にかかる重要語句付加部１３０３の処理と同様である。

次に、このように構成された第３の実施の形態にかかるコミュニケーション支援装置１８００によるコミュニケーション支援処理について説明する。図１９は、第３の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。

ステップＳ１９０１からステップＳ１９０６までの、入力受付処理、発話意図解析処理、重要語句抽出処理、重要語句存在確認処理は、第２の実施の形態にかかるコミュニケーション支援装置１３００におけるステップＳ１６０１からステップＳ１６０６までと同様の処理なので、その説明を省略する。

ステップＳ１９０６で１発話前のレコードＲに重要語句が存在すると判断された場合（ステップＳ１９０６：ＹＥＳ）、照応解析部１８０８が、原言語文Ｓｉについて照応解析を実行し、先行詞が含まれる発話のレコードＲａを発話履歴記憶部１３１２から取得する（ステップＳ１９０７）。

次に、重要語句付加部１８０３は、レコードＲａが取得されたか否か、すなわち、照応表現および対応する先行詞が検出されたか否かを判断する（ステップＳ１９０８）。レコードＲａが取得された場合は（ステップＳ１９０８：ＹＥＳ）、重要語句付加部１８０３は、レコードＲａに含まれる先行詞に重要語句が付随しているか否かを判断する（ステップＳ１９０９）。

ここで、先行詞に重要語句が付随しているとは、先行詞の修飾語または被修飾語から重要語句が抽出できることをいう。重要語句の抽出は、原言語文から重要語句を抽出すると同様に、重要語句規則記憶部１１１を参照して、適合する抽出条件を検索することにより行う。

ステップＳ１９０９で先行詞に重要語句が付随していると判断された場合は（ステップＳ１９０９：ＹＥＳ）、重要語句付加部１８０３は、付随する重要語句を原言語文Ｓｉ中の照応表現に付随させた訳出対象文Ｓｔを出力する（ステップＳ１９１０）。

付随する重要語句とは、重要語句を含む修飾語または被修飾語をいう。また、付随する重要語句を照応表現に付随させるとは、照応表現を修飾するように重要語句を含む修飾語を付加すること、または、照応表現から修飾されるように重要語句を含む被修飾語を付加することをいう。

ステップＳ１９１１からステップＳ１９１７までの、重要語句付加処理、翻訳処理、換言処理、出力処理は、第２の実施の形態にかかるコミュニケーション支援装置１３００におけるステップＳ１６０７からステップＳ１６１３までと同様の処理なので、その説明を省略する。

次に、第３の実施の形態におけるコミュニケーション支援処理の具体例について説明する。図２０は、コミュニケーション支援装置１８００が出力する出力文の一例を示す説明図である。

以下では、日本語話者による発話であり、「もっと安い部屋はありませんか？」を意味する図７の日本語７０１、および、英語話者により発話された英語７０２が既に入力され、図８に示すレコードが発話履歴記憶部１３１２に保持されていることを前提とする。また、重要語句規則記憶部１１１および換言情報記憶部１１３には、それぞれ図２および図４に示す情報が記憶されていることを前提とする。

この状態で、日本語話者が、「I'll take it」を意味する日本語７０３（「それにします。」）を発話したとする。この場合、入力受付部１０１が日本語７０３の入力を受付け、原言語文Ｓｉとする。

ここでは、入力受付部１０１が、入力された音声を正しく認識し、原言語文Ｓｉとして出力したと仮定する（ステップＳ１９０１）。また、発話意図解析部１３０７により、発話意図が「承諾」であると解析される（ステップＳ１９０２）。

次に、重要語句抽出処理が実行されるが（ステップＳ１９０３）、適合する抽出条件が検索されないため（ステップＳ６０４：ＮＯ）、原言語文Ｓｉのみが発話履歴記憶部１３１２に保存される（ステップＳ６０６）。

次に、発話意図の関係から重要語句付加対象か否かが判断される（ステップＳ１９０４）。ここでは、１発話前の発話の発話意図が「回答」であり、入力された発話の発話意図が「承諾」であるため、図１４に対応する発話意図の組合せが存在し、重要語句付加対象であると判断される（ステップＳ１９０４：ＹＥＳ）。

次に、重要語句付加部１８０３は、発話履歴記憶部１３１２を参照し、原言語文Ｓｉの１発話前のレコードとして、図８の発話内容８０２（「Well, we have a room for 15 dollars a night. 」）に対応するレコードＲを取得する（ステップＳ１９０５）。取得したレコードＲは、重要語句を含むため（ステップＳ１９０６：ＹＥＳ）、照応解析部１８０８により照応解析処理が実行される。この処理で、原言語文Ｓｉ（「それにします。」）から、「it」を意味する日本語の照応表現（「それ」）が検出され、対応する先行詞として図８の発話内容８０２から「room」が取得される。すなわち、発話内容８０２に対応するレコードがレコードＲａとして取得される（ステップＳ１９０７）。

レコードＲａが取得されたため（ステップＳ１９０８：ＹＥＳ）、重要語句付加部１８０３は、レコードＲａに含まれる先行詞「room」に重要語句が付随しているか否かを判断する（ステップＳ１９０９）。この場合、先行詞「room」には修飾語「for 15 dollars」が付随しており、「15 dollars」は金額表現であるため重要語句である。したがって、先行詞に重要語句が付随していると判断される（ステップＳ１９０９：ＹＥＳ）。

次に、重要語句付加部１８０３は、原言語文Ｓｉ中の照応表現に修飾語を付随させた訳出対象文Ｓｔを出力する（ステップＳ１９１０）。この例では、「it」を意味する日本語の照応表現（「それ」）の部分に、修飾語「for 15 dollars」を付随させた訳出対象文Ｓｔ（「それ for 15 dollarsにします。」）が出力される。

次に、翻訳部１０４が訳出対象文Ｓｔを翻訳して目的言語文Ｔｏを出力する（ステップＳ１９１３）。

また、訳出対象文Ｓｔに重要語句が付加されているため（ステップＳ１９１４：ＹＥＳ）、換言語句の検索処理が実行されるが（ステップＳ１９１５）、図４の換言情報記憶部１１３には該当する重要語句が存在しないため（ステップＳ１９１５：ＮＯ）、出力制御部１０６により目的言語文Ｔｏが音声合成して出力される（ステップＳ１９１７）。この結果、原言語文Ｓｉ（「それにします。」）を翻訳し、重要語句が付加された英語の文として、図２０に示す出力文２００１（「I'll take it for 15 dollars.」）が出力される。

以上のような処理により、英語話者が発話した「Well, I have a room for 50 dollars a night. 」が、「Well, I have a room for 15 dollars a night. 」と認識された例のように、重要な部分が誤認識された場合であっても、日本語話者の発話の訳出結果に重要な部分の訳出結果（「15 dollars. 」）を付加して出力することができる。

このように、第３の実施の形態にかかるコミュニケーション支援装置では、発話中の照応表現の指示対象である先行詞を特定し、先行詞の修飾語または被修飾語に重要語句が含まれる場合に、発話中の照応表現に当該重要語句を含む修飾語または被修飾語を付加して出力することができる。このため、先行詞に重要語句が修飾語または被修飾語として付随する場合に、当該先行詞に対応する照応表現に適切に重要語句を付加することができる。

第１〜第３の実施の形態にかかるコミュニケーション支援装置は、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）、ＣＤ（Compact Disc）ドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

なお、第１〜第３の実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムは、ＲＯＭ（Read Only Memory）等に予め組み込まれて提供される。

第１〜第３の実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、第１〜第３の実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、第１〜第３の実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

第１〜第３の実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムは、上述した各部（入力受付部、重要語句抽出部、重要語句付加部、翻訳部、換言部、出力制御部、発話意図解析部、照応解析部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Central Processing Unit）が上記ＲＯＭからコミュニケーション支援プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

以上のように、本発明にかかるコミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラムは、音声入力または文字入力した原言語文を目的言語に翻訳して文字出力または音声出力する装置に適している。

第１の実施の形態にかかるコミュニケーション支援装置の構成を示すブロック図である。 重要語句規則記憶部に記憶された重要語句規則のデータ構造の一例を示す説明図である。 発話履歴記憶部に記憶された発話履歴のデータ構造の一例を示す説明図である。 換言情報記憶部に記憶された換言情報のデータ構造の一例を示す説明図である。 第１の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 第１の実施の形態における重要語句抽出処理の全体の流れを示すフローチャートである。 相互に発話される文の一例を示した説明図である。 発話履歴記憶部に記憶される情報の一例を示す説明図である。 コミュニケーション支援装置が出力する出力文の一例を示す説明図である。 相互に発話される文の一例を示した説明図である。 発話履歴記憶部に記憶される情報の一例を示す説明図である。 コミュニケーション支援装置が出力する出力文の一例を示す説明図である。 第２の実施の形態にかかるコミュニケーション支援装置の構成を示すブロック図である。 付加条件記憶部に記憶された付加条件のデータ構造の一例を示す説明図である。 発話履歴記憶部に記憶された発話履歴のデータ構造の一例を示す説明図である。 第２の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 発話履歴記憶部に記憶される情報の一例を示す説明図である。 第３の実施の形態にかかるコミュニケーション支援装置の構成を示すブロック図である。 第３の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 コミュニケーション支援装置が出力する出力文の一例を示す説明図である。

符号の説明

１００ コミュニケーション支援装置
１０１ 入力受付部
１０２ 重要語句抽出部
１０３ 重要語句付加部
１０４ 翻訳部
１０５ 換言部
１０６ 出力制御部
１１１ 重要語句規則記憶部
１１２ 発話履歴記憶部
１１３ 換言情報記憶部
２０１ 抽出条件
２０２ 重要語句付加方法
２０３ 抽出条件
２０４ 重要語句付加方法
３０１、３０２、３０３ 発話内容
３０４ 重要語句
４０１ 変換前語句
４０２ 変換後語句
７０１、７０３ 日本語
７０２ 英語
８０１、８０２ 発話内容
９０１ 出力文
１００１ 英語
１００２ 日本語
１１０１ 英語
１１０２ 日本語
１１０３ 重要語句
１１０４ ＩＤ
１２０１ 出力文
１３００ コミュニケーション支援装置
１３０３ 重要語句付加部
１３０７ 発話意図解析部
１３１２ 発話履歴記憶部
１３１４ 付加条件記憶部
１４０１、１４０３ 発話意図
１４０２、１４０４ 付加処理フラグ
１５０１、１５０２、１５０３ 発話内容
１５０４、１５０５、１５０６ 発話意図
１５０７ 重要語句
１７０１ 日本語
１７０２ 英語
１７０３、１７０４ 発話意図
１７０５ 重要語句
１８００ コミュニケーション支援装置
１８０３ 重要語句付加部
１８０８ 照応解析部
２００１ 出力文

Claims (8)

1. 複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置において、
   発話から重要語句を抽出する際の抽出条件と、抽出した重要語句を、重要語句を抽出した発話より後に発話された発話に関連付けて出力する際の関連付け方法とを対応づけて記憶する規則記憶手段と、
   発話の入力を受付ける入力受付手段と、
   前記規則記憶手段に記憶された前記抽出条件に基づいて、前記入力受付手段が受付けた第１の言語により発話された第１発話から重要語句を抽出する抽出手段と、
   前記入力受付手段が受付けた前記第１発話を、第１の言語から第２の言語に翻訳する翻訳手段と、
   前記翻訳手段が翻訳した前記第１発話を出力する出力手段と、
   前記抽出手段が重要語句を抽出する際に用いた前記抽出条件に対応づけられた前記関連付け方法に基づいて、前記抽出手段が抽出した重要語句を、前記出力手段により出力された前記第１発話の直後に発話され、前記入力受付手段が受付けた第２の言語による第２発話に関連付ける関連付け手段と、を備え、
   前記翻訳手段は、さらに前記関連付け手段により重要語句が関連付けられた前記第２発話を、第２の言語から第１の言語に翻訳し、
   前記出力手段は、さらに前記第２発話に関連づけられた重要語句と、前記翻訳手段が翻訳した前記第２発話とを出力することを特徴とするコミュニケーション支援装置。
2. 前記規則記憶手段は、予め定められた検索対象語句を重要語句として発話から抽出する際の前記抽出条件と、抽出した重要語句を予め定められた位置に埋め込んだ語句を、重要語句を抽出した発話より後に発話された発話に関連付けて出力する際の前記関連付け方法とを対応づけて記憶し、
   前記抽出手段は、前記規則記憶手段に記憶された前記抽出条件に基づいて、前記検索対象語句と同一または類似の語句を前記入力受付手段が受付けた前記第１発話から重要語句として抽出し、
   前記関連付け手段は、前記抽出手段が重要語句を抽出する際に用いた前記抽出条件に対応づけられた前記関連付け方法に基づいて、前記抽出手段が抽出した重要語句を予め定められた位置に埋め込んだ語句を前記第２発話に関連付けることを特徴とする請求項１に記載のコミュニケーション支援装置。
3. 前記規則記憶手段は、予め定められた発話の用例に含まれる予め定められた重要語句である重要語句用例に対応する語句を重要語句として発話から抽出する際の前記抽出条件と、抽出した重要語句を予め定められた位置に埋め込んだ語句を、重要語句を抽出した発話より後に発話された発話に関連付けて出力する際の前記関連付け方法とを対応づけて記憶し、
   前記抽出手段は、前記規則記憶手段に記憶された前記抽出条件に基づいて、前記入力受付手段が受付けた前記第１発話と同一または類似の前記用例を前記規則記憶手段から検索し、検索した前記用例に含まれる前記重要語句用例に対応する語句を前記入力受付手段が受付けた前記第１の発話に含まれる語句の中から重要語句として抽出し、
   前記関連付け手段は、前記抽出手段が重要語句を抽出する際に用いた前記抽出条件に対応づけられた前記関連付け方法に基づいて、前記抽出手段が抽出した重要語句を予め定められた位置に埋め込んだ語句を前記第２発話に関連付けることを特徴とする請求項１に記載のコミュニケーション支援装置。
4. 前記第１発話および前記第２発話の発話の履歴を記憶する発話履歴記憶手段と、
   前記発話履歴記憶手段に記憶された前記発話の履歴と、前記入力受付手段が受付けた前記第２発話とに基づき、前記入力受付手段が受付けた前記第２発話の発話意図を解析する発話意図解析手段と、をさらに備え、
   前記関連付け手段は、前記入力受付手段が受付けた前記第２発話の発話意図が予め定められた発話意図と一致する場合に、前記抽出手段が重要語句を抽出する際に用いた前記抽出条件に対応づけられた前記関連付け方法に基づいて、前記抽出手段が抽出した重要語句を、前記第２発話に関連付けることを特徴とする請求項１に記載のコミュニケーション支援装置。
5. 前記入力受付手段が受付けた前記第２発話の意味内容を解析し、前記入力受付手段が受付けた前記第２発話に含まれる発話中の他の対象を指し示す表現である照応表現の指示対象を、前記発話履歴記憶手段に記憶された前記発話の履歴から取得する照応解析手段をさらに備え、
   前記関連付け手段は、前記照応解析手段が取得した前記指示対象の被修飾語または修飾語に前記抽出手段が抽出した重要語句が含まれる場合、前記第２発話に含まれる前記照応表現に前記指示対象の被修飾語または修飾語を関連付けることを特徴とする請求項１に記載のコミュニケーション支援装置。
6. 任意の語句と、前記任意の語句と同じ意味内容で表現形式の異なる換言語句とを対応づけて記憶する換言情報記憶手段と、
   前記翻訳手段が翻訳した前記第２発話に関連付けられた重要語句に対応する前記換言語句を前記換言情報記憶手段から検索し、前記翻訳手段が翻訳した前記第２発話に関連付けられた重要語句を、検索した前記換言語句で置換する換言手段と、をさらに備え、
   前記出力手段は、前記翻訳手段が翻訳した前記第１発話と、前記換言手段が前記換言語句で置換した重要語句と、前記翻訳手段が翻訳した前記第２発話を出力することを特徴とする請求項１に記載のコミュニケーション支援装置。
7. 複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置で実行されるコミュニケーション支援方法において、
   入力受付手段が、第１の言語により発話された第１発話の入力を受付ける第１入力受付ステップと、
   抽出手段が、発話から重要語句を抽出する際の抽出条件と、抽出した重要語句を、重要語句を抽出した発話より後に発話された発話に関連付けて出力する際の関連付け方法とを対応づけて記憶する規則記憶手段に記憶された前記抽出条件に基づいて、前記第１入力受付ステップが受付けた前記第１発話から重要語句を抽出する抽出ステップと、
   翻訳手段が、前記第１入力受付ステップが受付けた第１発話を、第１の言語から第２の言語に翻訳する第１翻訳ステップと、
   出力手段が、前記第１翻訳ステップが翻訳した前記第１発話を出力する第１出力ステップと、
   入力受付手段が、前記第１出力ステップにより出力された前記第１発話の直後に発話された第２の言語による第２発話の入力を受付ける第２入力受付ステップと、
   関連付け手段が、前記抽出ステップが重要語句を抽出する際に用いた前記抽出条件に対応づけられた前記関連付け方法に基づいて、前記抽出ステップが抽出した重要語句を、前記第２入力受付ステップが受付けた前記第２発話に関連付ける関連付けステップと、
   翻訳手段が、前記関連付けステップにより重要語句が関連付けられた前記第２発話を、第２の言語から第１の言語に翻訳する第２翻訳ステップと、
   出力手段が、前記第２発話に関連づけられた重要語句と、前記第２翻訳ステップが翻訳した前記第２発話とを出力する第２出力ステップと、
   を備えたことを特徴とするコミュニケーション支援方法。
8. コンピュータを、
   発話の入力を受付ける入力受付手段と、
   発話から重要語句を抽出する際の抽出条件と、抽出した重要語句を、重要語句を抽出した発話より後に発話された発話に関連付けて出力する際の関連付け方法とを対応づけて記憶する規則記憶手段に記憶された前記抽出条件に基づいて、前記入力受付手段が受付けた第１の言語により発話された第１発話から重要語句を抽出する抽出手段と、
   前記入力受付手段が受付けた前記第１発話を、第１の言語から第２の言語に翻訳する翻訳手段と、
   前記翻訳手段が翻訳した前記第１発話を出力する出力手段と、
   前記抽出手段が重要語句を抽出する際に用いた前記抽出条件に対応づけられた前記関連付け方法に基づいて、前記抽出手段が抽出した重要語句を、前記出力手段により出力された前記第１発話の直後に発話され、前記入力受付手段が受付けた第２の言語による第２発話に関連付ける関連付け手段と、として機能させ、
   前記翻訳手段は、さらに前記関連付け手段により重要語句が関連付けられた前記第２発話を、第２の言語から第１の言語に翻訳し、
   前記出力手段は、さらに前記第２発話に関連づけられた重要語句と、前記翻訳手段が翻訳した前記第２発話とを出力することを特徴とするコミュニケーション支援プログラム。

Images