JP2008083993A - コミュニケーションを支援する装置、方法およびプログラム - Google Patents

Abstract

【課題】対話を円滑に行うコミュニケーション支援装置を提供する。
【解決手段】第１言語文の入力を受付ける第１言語受付部１０１と、第１言語文を構文解析して１または複数の単語を構成要素とする第１言語構造情報を生成する第１言語解析部１０２と、受付けた第１言語文を翻訳した第２言語文を生成する第２言語文生成部１０４と、第２言語文を受付ける第２言語受付部１１１と、第２言語文を構文解析して１または複数の単語を構成要素とする第２言語構造情報を生成する第２言語解析部１１２と、第１言語構造情報を構成する第１単語と、第２言語構造情報を構成する第２単語とを比較し、同一または類似の意味内容を含む第１単語が存在しない第２単語を抽出する抽出部１３１と、第２言語文を翻訳し、抽出した第２単語に対応する第３単語を、抽出した第２単語以外に対応する第４単語より優先して出力する第１言語文を生成する第１言語文生成部１１４と、を備えた。
【選択図】 図１

Description

この発明は、複数の言語間の翻訳を行うことによりコミュニケーションを支援する装置、方法およびプログラムに関するものである。

近年、文化や経済のグローバル化に伴い、異なる言語を母語とする人同士のコミュニケーションの機会が増加している。そこで、自然言語処理技術、音声処理技術、画像処理技術、手書き文字認識技術を統合して、異なる言語を母語とする人同士のコミュニケーションを支援する音声翻訳装置などのコミュニケーション支援装置に適用する技術に対する期待が高まっている。

音声翻訳装置では一般に、第１言語文の音声を入力し、その音声認識結果（第１言語文）を第２言語に機械翻訳し、機械翻訳結果を音声合成した音声を出力する。この際、発話内容を正確に過不足なく翻訳することが求められ、特に発話の中の重要事項を正確に伝える必要がある。

一方、音声認識や機械翻訳には一定の処理時間がかかるので、第１言語の音声発話が終了して、翻訳結果を聞き終えるまでには、例えば日本語で１０文字程度の簡単な文であっても数秒以上の時間がかかる場合がある。この時間の遅れは、２人の人間が異なる言語で対話する場合に、対話の進行をスムーズに進めることのできない最大の原因となりうる。

例えば、英語、日本語間の音声を翻訳して対話を支援する音声翻訳装置を使って以下のような対話を行う場面を考える。

まず、英語発話者ＳＥ（Speaker of English）が「Do you know when the major league games open？」と発話し、対応する日本語（「あなたはメジャーリーグの試合はいつ開幕するか知っていますか？」）が音声出力されたとする。

これに対して日本語発話者ＳＪ（Speaker of Japanese）が「メジャーリーグは４月２日に開幕します。」を意味する日本語を発話した場合、音声翻訳装置により英語（「The major league opens on April 2nd.」）に翻訳され、さらに音声合成された英訳文が出力される。

この英訳文の中でＳＥが最も期待するフレーズは文末の「April 2nd」であるが、そのフレーズを聞くまでには、内容としては新しい情報が存在しない「The major league opens on」の部分を聞かなくてはならない。

このように、従来の音声翻訳装置では、聞き手が期待する回答の重要部分を聞くまでに無駄な時間を費やし、発話の重要部分を適切に対話相手に伝えられない場合がある。

発話の重要部分を適切に相手に伝える技術としては、例えば特許文献１では、原言語情報の重要度や緊急度に応じて翻訳精度を変えて出力する技術が提案されている。

特開２００４−３５５１１８号公報

しかしながら、特許文献１の方法では、発話した話者の発話内容（原言語情報）のみを考慮して翻訳を行っているため、対話相手の発話内容を考慮して翻訳内容を制御することができず、対話を円滑に行うことができない場合があるという問題があった。

本発明は、上記に鑑みてなされたものであって、話し手および聞き手の双方の発話を考慮して重要な部分を優先して出力することにより、対話を円滑に行うことができるコミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、第１言語による第１言語文の入力を受付ける第１言語受付手段と、受付けた前記第１言語文を構文解析して１または複数の単語を構成要素とする構造である第１言語構造情報を生成する第１言語解析手段と、受付けた前記第１言語文を、前記第１言語構造情報に基づいて第２言語で翻訳し、前記第２言語による第２言語文を生成する第２言語文生成手段と、生成した前記第２言語文を出力する第２言語文出力手段と、出力した前記第２言語文に対して発話された第２言語応答文を受付ける第２言語受付手段と、受付けた前記第２言語応答文を構文解析して１または複数の単語を構成要素とする構造である第２言語構造情報を生成する第２言語解析手段と、前記第１言語構造情報の構成要素である第１単語と、前記第２言語構造情報の構成要素である第２単語とを比較し、同一または類似の意味内容を含む前記第１単語が存在しない前記第２単語を新情報として抽出する抽出手段と、受付けた前記第２言語応答文を、前記第２言語構造情報に基づいて前記第１言語で翻訳し、新情報として抽出した前記第２単語に対応する第３単語を、新情報として抽出した前記第２単語以外の前記第２単語に対応する第４単語より優先して出力する前記第１言語文を生成する第１言語文生成手段と、生成した前記第１言語文を出力する第１言語文出力手段と、を備えたことを特徴とする。

また、本発明は、上記装置を実行することができるコミュニケーション支援方法およびコミュニケーション支援プログラムである。

本発明によれば、聞き手にとって重要な部分を優先して音声出力することができるため、無駄な時間を費やすことなく、対話を円滑に行うことができるという効果を奏する。

以下に添付図面を参照して、この発明にかかるコミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラムの最良な実施の形態を詳細に説明する。

本実施の形態にかかるコミュニケーション支援装置は、対話を行っている双方の話者の発話内容を構文解析し、解析結果を照合することにより、後に発話した話者の発話で新たに発話された内容である新情報を重要部分として抽出し、新情報を優先して出力するように翻訳を行うものである。

以下では、主に翻訳の原言語を第１言語、翻訳の目的言語を第２言語とし、第１言語として英語、第２言語として日本語を用いた場合の例について説明するが、第１言語および第２言語の組み合わせはこれに限るものではなく、あらゆる言語の組み合わせについて適用することができる。

図１は、本実施の形態にかかるコミュニケーション支援装置１００の構成を示すブロック図である。同図に示すように、コミュニケーション支援装置１００は、構造記憶部１２１と、第１言語受付部１０１と、第１言語解析部１０２と、第１変換部１０３と、第２言語文生成部１０４と、第２言語文出力部１０５と、第２言語受付部１１１と、第２言語解析部１１２と、第２変換部１１３と、第１言語文生成部１１４と、第１言語文出力部１１５と、抽出部１３１と、を備えている。

構造記憶部１２１は、後述する第１言語解析部１０２または第２言語解析部１１２によって生成された文の言語構造を記憶するものであり、第１構造記憶部１２１ａと、第２構造記憶部１２１ｂとを備えている。

第１構造記憶部１２１ａは、後述する第１言語解析部１０２が生成した第１言語文の言語構造を記憶するものである。図２は、第１構造記憶部１２１ａに記憶された言語構造の一例を示す説明図である。

同図に示すように、第１構造記憶部１２１ａは、形態素解析、構文解析および意味解析の結果得られた構文木の形式で言語構造を記憶している。構文木は、形態素解析で得られた単語をノードとし、各ノード間の関係を結んだアークによって表される。

同図は、英語の発話「Do you know when the major league games open？」を解析した結果である構文木を表している。なお、同図には図示していないが、例えばルートノード２０１（know）には、文全体がＹＥＳ／ＮＯ疑問文であることを示す属性（type YNQ）が付与されているとともに、ノード２０２（when）には、疑問詞であることを示す属性（category WH）が付与されている。

同図のノード内の符号であるＡ１等は、ノードを一意に識別する識別子である。また、ノードの上方に付された「SUBJECT」、「OBJECT」、および「PREP_PHRASE」などは、各ノードが表す単語の品詞を表す上方であり、それぞれは主語、目的語、前置詞句を表す。この他、量詞句を表す「QUANTITY」なども指定されうる。

第２構造記憶部１２１ｂは、後述する第２言語解析部１１２が生成した第２言語文の言語構造を記憶するものである。図３は、第２構造記憶部１２１ｂに記憶された言語構造の一例を示す説明図である。同図に示すように、第２構造記憶部１２１ｂは、第１構造記憶部１２１ａと同様に構文木の形式で言語構造を記憶する。

なお、図３は、「メジャーリーグの試合はいつ開幕するか知っていますか？」を意味する日本語の発話を解析した結果である構文木を表している。

また、構造記憶部１２１は、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。

第１言語受付部１０１は、第１言語の文や語句（以下、第１言語文という。）の入力を受付けるものである。具体的には、第１言語受付部１０１は、マイクなどにより利用者からの音声入力を受付け、受付けた音声に対し音声認識処理を行い、認識結果であるテキストデータの入力を受付けるものである。このとき、入力手段として、キーボード、ポインティングデバイス、手書き文字認識などの一般的に用いられているあらゆる入力方法と併用、または代用するように構成してもよい。

この際に行われる音声認識処理は、ＬＰＣ分析、隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）、ダイナミックプログラミング、ニューラルネットワーク、Ｎグラム言語モデルなどを用いた、一般的に利用されているあらゆる音声認識方法を適用することができる。

第１言語解析部１０２は、入力された第１言語文を構文解析した結果である言語構造を生成して構造記憶部１２１に記憶するものである。具体的には、第１言語解析部１０２は、第１言語文を形態素解析し、形態素解析結果を構文解析した結果である構文木を第１構造記憶部１２１ａに記憶する。なお、第１言語解析部１０２は、さらに意味解析を行って、後述する第２言語文生成部１０４が高精度に翻訳処理を実行可能とするように構成してもよい。

第１変換部１０３は、第１言語解析部１０２が生成した第１言語による言語構造を、第２言語の言語構造に変換し、第１構造記憶部１２１ａに記憶するものである。第１変換部１０３は、一般的に利用されているトランスファ方式の機械翻訳処理で行われる処理と同様の方法で、言語構造の変換処理を行う。

第２言語文生成部１０４は、第１変換部１０３が変換した言語構造を参照し、入力された第１言語文を第２言語で翻訳した第２言語文を生成するものである。第２言語文生成部１０４による生成処理も、一般的なトランスファ方式の機械翻訳処理で行われる処理と同様の方法で実現する。

第２言語文出力部１０５は、第２言語文生成部１０４により生成された第２言語文を、テキストまたは音声で出力するものである。音声で出力する場合は、第２言語文出力部１０５は、第２言語文を目的言語の合成音声として出力する。第２言語文出力部１０５により行われる音声合成処理は、音声素片編集音声合成、フォルマント音声合成、音声コーパスベースの音声合成、テキストトゥスピーチなどの一般的に利用されているあらゆる方法を適用することができる。

第２言語受付部１１１は、第２言語文の入力を受付けるものである。第２言語受付部１１１は、第１言語受付部１０１と同様の機能を有するが、第２言語による文や語句を受付ける点が第１言語受付部１０１と異なる。

第２言語解析部１１２は、入力された第２言語文を構文解析した結果である言語構造を生成して第２構造記憶部１２１ｂに記憶するものである。第２言語解析部１１２は、第１言語解析部１０２と同様の機能を有するが、第２言語文を処理対象とする点が第１言語解析部１０２と異なる。

第２変換部１１３は、第２言語解析部１１２が生成した第２言語による言語構造を、第１言語の言語構造に変換し、第２構造記憶部１２１ｂに記憶するものである。第２変換部１１３は、第１変換部１０３と同様にトランスファ方式の機械翻訳処理で行われる処理と同様の方法により言語構造の変換処理を行う。

第１言語文生成部１１４は、第２変換部１１３が変換した言語構造を参照し、入力された第２言語文を第１言語で翻訳した第１言語文を生成するものである。この際、第１言語文生成部１１４は、抽出部１３１が抽出した新情報を参照し、当該新情報を優先して出力するような第１言語文を翻訳結果として生成する。第１言語文生成処理の詳細については後述する。

第１言語文出力部１１５は、第２言語文出力部１０５と同様の機能により、第１言語文生成部１１４により生成された第１言語文を、テキストまたは音声で出力するものである。

抽出部１３１は、第１構造記憶部１２１ａに記憶された第１言語文の言語構造と、第２構造記憶部１２１ｂに記憶された第２言語文の言語構造とを照合し、第２言語文の言語構造にのみ存在する情報を新情報として抽出するものである。具体的には、抽出部１３１は、各言語構造である木構造を比較してアークやノードを相互に対応づけ、対応づけることができない部分等を新情報として抽出する。

次に、このように構成された本実施の形態にかかるコミュニケーション支援装置１００によるコミュニケーション支援処理について説明する。図４は、本実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。

まず、第１言語受付部１０１が、第１言語を母語とする話し手によって発話された第１言語文の入力を受付ける（ステップＳ４０１）。具体的には、第１言語受付部１０１は、マイク等により第１言語による音声を受付け、受付けた音声を音声認識することにより、音声認識結果である第１言語文を受付ける。

次に、第１言語解析部１０２は、受付けた第１言語文を形態素解析、構文解析し、解析結果である言語構造（構文木）を構造記憶部１２１に記憶する（ステップＳ４０２）。この段階では、第１言語による言語構造が生成され、第１構造記憶部１２１ａには第１言語によって記述された第１言語文の言語構造が記憶される。

次に、第１変換部１０３が、言語構造を第２言語の言語構造に変換し、変換結果を構造記憶部１２１に記憶する（ステップＳ４０３）。上述のように、第１変換部１０３は、トランスファ方式の翻訳処理と同様の処理で言語構造の変換を行う。また、この段階では、第２言語による言語構造が生成されるため、第１構造記憶部１２１ａに第２言語によって記述された第１言語文の言語構造が記憶される。

次に、第２言語文生成部１０４は、変換後の言語構造を参照して第１言語文を第２言語で翻訳した第２言語文を生成する（ステップＳ４０４）。

続いて、第２言語文出力部１０５は、第２言語文を音声合成して、第２言語を母語とする聞き手に対して出力する（ステップＳ４０５）。

第２言語を母語とする話者は、出力された第２言語文に対する応答を第２言語で発話する。第２言語受付部１１１は、この発話内容を第２言語文として入力を受付ける（ステップＳ４０６）。

次に、第２言語解析部１１２は、受付けた第２言語文を形態素解析、構文解析し、解析結果である言語構造（構文木）を構造記憶部１２１に記憶する（ステップＳ４０７）。この段階では、第２言語による言語構造が生成され、第２構造記憶部１２１ｂに第２言語によって記述された第２言語文の言語構造が記憶される。

次に、第２変換部１１３が、言語構造を第１言語の言語構造に変換し、変換結果を構造記憶部１２１に記憶する（ステップＳ４０８）。この段階では、第１言語による言語構造が生成されるため、第２構造記憶部１２１ｂに第１言語によって記述された第２言語文の言語構造が記憶される。

次に、抽出部１３１が、第１言語の話者が発話した第１言語文の言語構造、および第２言語の話者が発話した第２言語文の言語構造を比較して、第２言語文で新たに発話された内容を表す新情報を抽出する抽出処理を実行する（ステップＳ４０９）。抽出処理の詳細は後述する。

次に、第１言語文生成部１１４は、抽出された新情報と、第２言語の話者が発話した第２言語文の言語構造とを参照して、当該第２言語文を第１言語で翻訳した第１言語文を生成する（ステップＳ４１０）。この際、第１言語文生成部１１４は、抽出された新情報が、その他の情報よりも優先して出力されるような第１言語文を生成する。第１言語文生成処理の詳細は後述する。

次に、第１言語文出力部１１５は、生成された第１言語文を音声合成して、第１言語を母語とする聞き手（最初の話して）に対して出力し（ステップＳ４１１）、コミュニケーション支援処理を終了する。

このように、本実施の形態によれば、双方の話者の発話内容の言語構造から、応答の発話内の新情報を抽出し、抽出した新情報を優先して対話相手に出力することができる。このため、発話の重要部分を把握するまでに無駄な時間を費やすことなく、対話を円滑に行うことができる。

次に、ステップＳ４０９の抽出処理の詳細について説明する。図５は、抽出処理の全体の流れを示すフローチャートである。

以下では、英語の発話「Do you know when the major league games open？」に対し、「メジャーリーグは４月２日に開幕します。」を意味する日本語が発話された場合を例に説明する。

図６は、この場合に第２構造記憶部１２１ｂに記憶される言語構造の一例を示す説明図である。同図は、上述の日本語発話（「メジャーリーグは４月２日に開幕します。」）に対する構文解析結果を第１言語（英語）で変換し、「The major league opens on April 2nd.」という翻訳結果を生成する前の言語構造を示す図である。一般的には変換処理と呼ばれる過程を経て、日本語の単語を示す各ノードに英語の訳語が付与された段階の言語構造である。

なお、この例では、第１構造記憶部１２１ａには図２に示すような内容が記憶される。また、図２は、英語の発話を構文解析した結果を第２言語（日本語）に変換する前の言語構造を示している。

まず、抽出部１３１は、発話された第２言語文について第２構造記憶部１２１ｂに記憶された言語構造のノードから１つのノードを取得する（ステップＳ５０１）。図６の例では、例えば、「（B1）open」、「（B2） major league」、「（B3） April 2nd」の順にノードを取得することができる。

次に、抽出部１３１は、第１構造記憶部１２１ａから第２言語文の前に発話された第１言語文の言語構造のノードから１つのノードを取得する（ステップＳ５０２）。図２の例では、例えば、「（A1） know」、「（A2） you」、「（A3） open」、「（A4） major league games」、「（A5） when」の順にノードを取得することができる。

次に、抽出部１３１は、取得した両ノードが対応するか否かを判断する（ステップＳ５０３）。対応するとは、両ノードが表す単語が一致する場合だけでなく、例えば「major league」と「major league games」のように同義語として対応する場合や、「I」と「you」のように代名詞として対応する場合なども含む。

なお、同義語か否かの判断は、図示しない同義語辞書等を参照して行う。また、代名詞の対応関係の判断は、従来から用いられている照応解析処理を適用して実現できる。

ノードが対応しない場合は（ステップＳ５０３：ＮＯ）、抽出部１３１は、両ノードが矛盾するか否かを判断する（ステップＳ５０４）。矛盾するとは、例えば、両ノードの単語が同一の名詞を修飾しているが、修飾する内容が一致しない場合や、話題となっている人名・地名が一致しない場合などをいう。前者の例としては、同じ「homer」を修飾しているが、一方のノードは「30」であり、他方は「only 20」である場合が該当する。

ノードが矛盾する場合は（ステップＳ５０４：ＹＥＳ）、抽出部１３１は、第２言語文のノードは第１言語文のノードの内容を否定していることを表すための否定情報を、第２言語文のノードに設定する（ステップＳ５０５）。

否定情報を設定後、または、ステップＳ５０４でノードが矛盾しないと判断された場合は（ステップＳ５０４：ＮＯ）、抽出部１３１は、すべての第１言語文のノードを処理したか否かを判断する（ステップＳ５０６）。

すべてのノードを処理していない場合は（ステップＳ５０６：ＮＯ）、次にノードを取得して処理を繰り返す（ステップＳ５０２）。すべてのノードを処理した場合は（ステップＳ５０６：ＹＥＳ）、対応する第１言語文のノードが存在しなかったことを意味するため、抽出部１３１は、第２言語文のノードを新情報として抽出する（ステップＳ５０７）。

次に、抽出部１３１は、すべての第２言語文のノードを処理したか否かを判断し（ステップＳ５０８）、すべての第２言語文のノードを処理していない場合は（ステップＳ５０８：ＮＯ）、次のノードを取得して処理を繰り返す（ステップＳ５０１）。

すべての第２言語文のノードを処理した場合は（ステップＳ５０８：ＹＥＳ）、抽出部１３１は抽出処理を終了する。

次に、抽出処理の具体例について説明する。図７から図１０は、構造記憶部１２１に記憶された言語構造の別の一例を示す説明図である。

図７は、第１構造記憶部１２１ａのデータの一例であり、英語の発話「How many homers do you think Matsui will hit？」を構文解析した言語構造を示す図である。ルートノード「（C1）think」には、文全体がＷＨ疑問文であることを示す属性（type WHQ）が付与されていると共に、ノード「（C6）how many」には、疑問詞であることを示す属性（category WH）が付与されている。

図８は、第２構造記憶部１２１ｂのデータの一例であり、図７で説明した英語の発話に対して応答された「私は彼がホームランを２０本打つと思います。」を意味する日本語の発話に対する構文解析結果から「I think he will hit 20 homers.」を生成する前の言語構造を示す図である。

図９は、第１構造記憶部１２１ａのデータの一例であり、英語の発話「Do you believe he will hit 30 homers？」を解析した言語構造を示す図である。ルートノード「（E1）believe」には、文全体がＹＥＳ／ＮＯ疑問文であることを示す属性（type YNQ）が付与されている。

図１０は、第２構造記憶部１２１ｂのデータの一例であり、図９で説明した英語の発話に対して応答された「私は彼がホームランを２０本しか打てないと思います。」を意味する日本語の発話に対する構文解析結果から「I think he can hit only 20 homers.」を生成する前の言語構造を示す図である。

図１１〜１３は、図５で示したフローチャートによって第１言語文の言語構造のノードと第２言語文の言語構造のノードの対応関係を調べて、新情報が抽出される過程を示す図である。ここでは、ノードが示す語句の情報のみを参照して対応関係を調べているが、より正確には、言語構造に示されるアーク（関係）名情報を参照することで実現できる。

図１１は、図６に示すような第２言語文の言語構造データと、図２に示すような第１言語文の言語構造データから、「April 2nd」が新情報として抽出される過程を示している。

第２言語文の言語構造のノードの「（B1）open」は、第１言語文の言語構造のノード「（A3）open」と対応する。同図では、対応欄に「○」を記載することで両者が対応することを表している。

第２言語文の言語構造のノードの「（B2）major league」は、第１言語文の言語構造のノード「（A4）major league games」と同義語として対応する。

ところが、第２言語文の言語構造のノードの「（B3）April 2nd」は、第１言語いずれのノードとも対応しない。したがって、（B3）「April 2nd」を新情報として抽出する。

図１２は、図８に示すような第２言語文の言語構造データと、図７に示すような第１言語文の言語構造データから、「２０」が新情報として抽出される過程を示している。

第２言語文の言語構造のノードの「（D1）think」は、第１言語文の言語構造のノード「（C1）think」と対応する。

第２言語文の言語構造のノードの「（D2）I」は、第１言語文の言語構造のノード「（C2）you」と代名詞対応関係で対応する。

第２言語文の言語構造のノードの「（D3）hit」は、第１言語文の言語構造のノード「（C3）hit」と対応する。

第２言語文の言語構造のノードの「（D4）he」は、第１言語文の言語構造のノード「（C4）Matsui」と代名詞照合で対応する。

第２言語文の言語構造のノードの「（D5）homer」は、第１言語文の言語構造のノード「（C5）homer」と対応する。

ところが、第２言語文の言語構造のノードの「（D6）20」は、第１言語文のいずれのノードとも対応しない。したがって、「（D6）20」を新情報として抽出する。

図１３は、図１０の第２言語文の言語構造データと、図９の第１言語文の言語構造データから、「only 20」が新情報として抽出される過程を示している。

第２言語文の言語構造のノードの「（F1）believe」は、第１言語文の言語構造のノード「（E1）believe」と対応する。

第２言語文の言語構造のノードの「（F2）I」は、第１言語文の言語構造のノード「（E2）you」と代名詞対応関係で対応する。

第２言語文の言語構造のノードの「（F3）hit」は、第１言語文の言語構造のノード「（E3）hit」と対応する。

第２言語文の言語構造のノードの「（F4）he」は、第１言語文の言語構造のノード「（E4）Matsui」と代名詞照合で対応する。

第２言語文の言語構造のノードの「（F5）homer」は、第１言語文の言語構造のノード「（E5）homer」と対応する。

ところが、第２言語文の言語構造のノードの「（F6）only 20」は、第１言語いずれのノードとも対応しない。したがって、「（F6）only 20」を新情報として抽出する。さらにここでは、第１言語文の言語構造のノードの「（E6）30」と矛盾する内容であるため、否定情報も同時に抽出する。

次に、第１言語文生成処理の詳細について説明する。まず、従来の手法により、入力された第２言語文を翻訳した第１言語文を生成する処理について説明する。

図１４は、新情報を参照しない従来の手法による英語生成文法の一例を示す説明図である。

同図の規則（１）は、文（SENTENCE）の生成を、主語（SUBJECT）、動詞（verb）、目的語（OBJECT）、前置詞句（PREP_PHRASE）の順に行うことを示している。

規則（２）は、主語（SUBJECT）を、名詞句（$NP=Noun Phrase）として生成することを示している。

規則（３）は、目的語（OBJECT）を、名詞句（$NP）として生成することを示している。

規則（４）は、前置詞句（PREP_PHRASE）の生成を、前置詞（prep）、前置詞句目的語（PREP_OBJECT）の順に行うことを示している。

規則（５）は、前置詞句目的語（PREP_OBJECT）を、名詞句（$NP）として生成することを示している。

規則（６）は、名詞句（$NP）の生成を、量詞句（QUANTITY）、形容詞句（ADJECT）、名詞（noun）の順に行うことを示している。

規則（７）は、量詞句（QUANTITY）を、数字（digit）として生成することを示している。

規則（８）は、形容詞句（ADJECT）を、形容詞（adjective）として生成することを示している。

以上のような、従来から用いられている一般的な英語生成文法を用いると、図６、図８、図１０に示すような第２言語文の言語構造から、以下のような英文がそれぞれ生成される。
図６：「The major league opens on April 2nd.」
図８：「I think he will hit 20 homers.」
図１０：「I think he can hit only 20 homers.」

このように、従来の方法では、対話相手が最も望む回答の部分が文末に位置するため、回答の内容を把握するのに無駄な時間がかかり、円滑な対話が阻害される場合がある。

図１５〜図１７は、本実施の形態で用いる文法であり、新情報を参照して英語の訳文を生成するための英語生成文法の一例を示す説明図である。

図１５の文法には、一文を生成する際、新情報の語句を先頭に生成するための規則が記述されている。

従来の規則とは、規則（１）が異なっており、前置詞句（PREP_PHRASE）が新情報であれば（if NEW_INFO）、主語の前に生成することが記述されている。また、目的語の後に生成するのは、新情報でない（if not NEW_INFO）場合であることが記述されている。

このような規則を適用することにより、図２で示した例の発話に対する図６で示した応答例の翻訳結果として、「On April 2nd, the major league opens.」を生成することができる。

図１６の文法には、一文を生成する前に、新情報の語句を独立して生成するための規則が記述されている。

従来の規則とは、規則（１）が異なっており、量詞句（QUANTITY）が新情報であれば（if NEW_INFO）、主語の前にも追加生成することが記述されている。

このような規則を適用することにより、図７で示した例の発話に対する図８で示した応答例の翻訳結果として、「20. I think he will hit 20 homers.」を生成することができる。

図１７の文法には、一文を生成する前に、新情報を参照して、文頭に「Yes」または「No」を付加するための規則が記述されている。第1言語文全体がＹＥＳ／ＮＯ疑問文で、す属性（type YNQ）が付与されている場合に適用する。

従来の規則とは、規則（１）が異なっており、ステップＳ５０５による否定情報が設定されていなければ「Yes」を、設定されていれば「No」を、主語の前にも追加生成することが記述されている。

このような規則を適用することにより、図９で示した例の発話に対する図１０で示した応答例の翻訳結果として「No. I think he can hit only 20 homers.」を生成することができる。

このように、本実施の形態にかかるコミュニケーション支援装置では、対話を行っている双方の話者の発話内容を構文解析し、解析結果を照合することにより、後に発話した話者の発話で新たに発話された内容である新情報を重要部分として抽出し、新情報を優先して出力するように翻訳を行うことができる。このため、後の発話の内容中の重要部分を把握するまでに無駄な時間を費やすことなく、対話を円滑に行うことが可能となる。

図１８は、本実施の形態にかかるコミュニケーション支援装置のハードウェア構成を示す説明図である。

本実施の形態にかかるコミュニケーション支援装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

本実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

本実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムは、上述した各部（第１言語受付部、第１言語解析部、第１変換部、第２言語文生成部、第２言語文出力部、第２言語受付部、第２言語解析部、第２変換部、第１言語文生成部、第１言語文出力部、抽出部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１が上記ＲＯＭ５２からコミュニケーション支援プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

以上のように、本発明にかかるコミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラムは、音声入力した原言語文を対象言語に翻訳して文字出力または音声出力する音声翻訳装置に適している。

本実施の形態にかかるコミュニケーション支援装置の構成を示すブロック図である。 第１構造記憶部に記憶された言語構造の一例を示す説明図である。 第２構造記憶部に記憶された言語構造の一例を示す説明図である。 本実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 抽出処理の全体の流れを示すフローチャートである。 第２構造記憶部に記憶される言語構造の一例を示す説明図である。 構造記憶部に記憶された言語構造の別の一例を示す説明図である。 構造記憶部に記憶された言語構造の別の一例を示す説明図である。 構造記憶部に記憶された言語構造の別の一例を示す説明図である。 構造記憶部に記憶された言語構造の別の一例を示す説明図である。 新情報が抽出される過程を示す図である。 新情報が抽出される過程を示す図である。 新情報が抽出される過程を示す図である。 従来の手法による英語生成文法の一例を示す説明図である。 本実施の形態で用いる英語生成文法の一例を示す説明図である。 本実施の形態で用いる英語生成文法の一例を示す説明図である。 本実施の形態で用いる英語生成文法の一例を示す説明図である。 本実施の形態にかかるコミュニケーション支援装置のハードウェア構成を示す説明図である。

符号の説明

５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ 通信Ｉ／Ｆ
６１ バス
１００ コミュニケーション支援装置
１０１ 第１言語受付部
１０２ 第１言語解析部
１０３ 第１変換部
１０４ 第２言語文生成部
１０５ 第２言語文出力部
１１１ 第２言語受付部
１１２ 第２言語解析部
１１３ 第２変換部
１１４ 第１言語文生成部
１１５ 第１言語文出力部
１２１ 構造記憶部
１２１ａ 第１構造記憶部
１２１ｂ 第２構造記憶部
１３１ 抽出部
２０１ ルートノード
２０２ ノード

Claims (11)

1. 第１言語による第１言語文の入力を受付ける第１言語受付手段と、
   受付けた前記第１言語文を構文解析して１または複数の単語を構成要素とする構造である第１言語構造情報を生成する第１言語解析手段と、
   受付けた前記第１言語文を、前記第１言語構造情報に基づいて第２言語で翻訳し、前記第２言語による第２言語文を生成する第２言語文生成手段と、
   生成した前記第２言語文を出力する第２言語文出力手段と、
   出力した前記第２言語文に対して発話された第２言語応答文を受付ける第２言語受付手段と、
   受付けた前記第２言語応答文を構文解析して１または複数の単語を構成要素とする構造である第２言語構造情報を生成する第２言語解析手段と、
   前記第１言語構造情報の構成要素である第１単語と、前記第２言語構造情報の構成要素である第２単語とを比較し、同一または類似の意味内容を含む前記第１単語が存在しない前記第２単語を新情報として抽出する抽出手段と、
   受付けた前記第２言語応答文を、前記第２言語構造情報に基づいて前記第１言語で翻訳し、新情報として抽出した前記第２単語に対応する第３単語を、新情報として抽出した前記第２単語以外の前記第２単語に対応する第４単語より優先して出力する前記第１言語文を生成する第１言語文生成手段と、
   生成した前記第１言語文を出力する第１言語文出力手段と、
   を備えたことを特徴とするコミュニケーション支援装置。
2. 前記第１言語によって表現された前記第１言語構造情報を、前記第２言語による表現に変換する第１変換手段をさらに備え、
   前記第１言語解析手段は、前記第１言語によって表現された前記第１言語構造情報を生成し、
   前記第２言語解析手段は、前記第２言語によって表現された前記第２言語構造情報を生成し、
   前記抽出手段は、前記第１変換手段によって前記第２言語による表現に変換された前記第１言語構造情報の前記第１単語と、前記第２言語によって表現された前記第２言語構造情報の前記第２単語とを比較すること、
   を特徴とする請求項１に記載のコミュニケーション支援装置。
3. 前記第２言語によって表現された前記第２言語構造情報を、前記第１言語による表現に変換する第２変換手段をさらに備え、
   前記第１言語解析手段は、前記第１言語によって表現された前記第１言語構造情報を生成し、
   前記第２言語解析手段は、前記第２言語によって表現された前記第２言語構造情報を生成し、
   前記抽出手段は、前記第１言語によって表現された前記第１言語構造情報の前記第１単語と、前記第２変換手段によって前記第１言語による表現に変換された前記第２言語構造情報の前記第２単語とを比較すること、
   を特徴とする請求項１に記載のコミュニケーション支援装置。
4. 前記抽出手段は、前記第２単語と一致する前記第１単語、前記第２単語の同義語である前記第１単語、または前記第２単語が代名詞として指し示す前記第１単語が存在しない前記第２単語を前記新情報として抽出すること、
   を特徴とする請求項１に記載のコミュニケーション支援装置。
5. 前記第１言語文生成手段は、前記第１言語文に含まれる語句のうち、前記第３単語を含む語句を先頭に出力する前記第１言語文を生成すること、
   を特徴とする請求項１に記載のコミュニケーション支援装置。
6. 前記第１言語文生成手段は、前記第３単語を含む前置詞句を先頭に出力する前記第１言語文を生成すること、
   を特徴とする請求項５に記載のコミュニケーション支援装置。
7. 前記第１言語文生成手段は、前記第３単語を含む前記第１言語文と、前記第３単語を含み、前記第１言語文の前に出力する語句とを生成し、
   前記第１言語文出力手段は、生成した前記語句の後に、生成した前記第１言語文を出力すること、
   を特徴とする請求項１に記載のコミュニケーション支援装置。
8. 前記第１言語文生成手段は、量を表す内容である前記第３単語を含む前記第１言語文と、前記第３単語を含み、前記第１言語文の前に出力する語句である量詞句とを生成し、
   前記第１言語文出力手段は、生成した前記量詞句の後に、生成した前記第１言語文を出力すること、
   を特徴とする請求項７に記載のコミュニケーション支援装置。
9. 前記第１言語文生成手段は、前記第３単語を含む前記第１言語文と、前記第３単語が表す肯定または否定の意味を含み、前記第１言語文の前に出力する語句とを生成し、
   前記第１言語文出力手段は、生成した前記語句の後に、生成した前記第１言語文を出力すること、
   を特徴とする請求項１に記載のコミュニケーション支援装置。
10. 第１言語受付手段によって、第１言語による第１言語文の入力を受付ける第１言語受付ステップと、
    第１言語解析手段によって、受付けた前記第１言語文を構文解析して１または複数の単語を構成要素とする構造である第１言語構造情報を生成する第１言語解析ステップと、
    第２言語文生成手段によって、受付けた前記第１言語文を、前記第１言語構造情報に基づいて第２言語で翻訳し、前記第２言語による第２言語文を生成する第２言語文生成ステップと、
    第２言語文出力手段によって、生成した前記第２言語文を出力する第２言語文出力ステップと、
    第２言語受付手段によって、出力した前記第２言語文に対して発話された第２言語応答文を受付ける第２言語受付ステップと、
    第２言語解析手段によって、受付けた前記第２言語応答文を構文解析して１または複数の単語を構成要素とする構造である第２言語構造情報を生成する第２言語解析ステップと、
    抽出手段によって、前記第１言語構造情報の構成要素である第１単語と、前記第２言語構造情報の構成要素である第２単語とを比較し、同一または類似の意味内容を含む前記第１単語が存在しない前記第２単語を新情報として抽出する抽出ステップと、
    第１言語文生成手段によって、受付けた前記第２言語応答文を、前記第２言語構造情報に基づいて前記第１言語で翻訳し、新情報として抽出した前記第２単語に対応する第３単語を、新情報として抽出した前記第２単語以外の前記第２単語に対応する第４単語より優先して出力する前記第１言語文を生成する第１言語文生成ステップと、
    第１言語文出力手段によって、生成した前記第１言語文を出力する第１言語文出力ステップと、
    を備えたことを特徴とするコミュニケーション支援方法。
11. 第１言語による第１言語文の入力を受付ける第１言語受付手順と、
    受付けた前記第１言語文を構文解析して１または複数の単語を構成要素とする構造である第１言語構造情報を生成する第１言語解析手順と、
    受付けた前記第１言語文を、前記第１言語構造情報に基づいて第２言語で翻訳し、前記第２言語による第２言語文を生成する第２言語文生成手順と、
    生成した前記第２言語文を出力する第２言語文出力手順と、
    出力した前記第２言語文に対して発話された第２言語応答文を受付ける第２言語受付手順と、
    受付けた前記第２言語応答文を構文解析して１または複数の単語を構成要素とする構造である第２言語構造情報を生成する第２言語解析手順と、
    前記第１言語構造情報の構成要素である第１単語と、前記第２言語構造情報の構成要素である第２単語とを比較し、同一または類似の意味内容を含む前記第１単語が存在しない前記第２単語を新情報として抽出する抽出手順と、
    受付けた前記第２言語応答文を、前記第２言語構造情報に基づいて前記第１言語で翻訳し、新情報として抽出した前記第２単語に対応する第３単語を、新情報として抽出した前記第２単語以外の前記第２単語に対応する第４単語より優先して出力する前記第１言語文を生成する第１言語文生成手順と、
    生成した前記第１言語文を出力する第１言語文出力手順と、
    をコンピュータに実行させるコミュニケーション支援プログラム。

Images