JP2004501429A - 機械翻訳技法 - Google Patents

Abstract

機械翻訳デコーディングが、目的言語に翻訳すべき原始言語のテキストセグメントを入力として受け取り、初期翻訳文を現行目的言語翻訳文として生成し、その現行目的言語翻訳文に、１又は２以上の修正オペレータを適用して、１又は２以上の修正された目的言語翻訳文を生成し、その修正された目的言語翻訳文の１又は２以上が、現行目的言語翻訳文と比べて改良された翻訳文になっているかどうかを確認し、修正された目的言語翻訳文を、現行目的言語翻訳文として設定し、次いで終了条件が生じるまでこれらのステップを繰り返すことによって達成される。ツリー（例えば構文のツリー又は談話のツリー）は、原始言語テキストセグメントに対応するツリーを入力として受け取り、次いでその受け取った入力に、１又は２以上の決定則を適用して、目的言語テキストセグメントに対応するツリーを生成することによって自動的に生成することができる。

Description

【０００１】
関連する出願
本願は、２０００年５月１１日付けで出願された米国仮特許願第６０／２０３，６４３号の特典を主張し、かつその内容は本願に援用するものである。
【０００２】
本発明の起源
本願に記載されている研究と開発は、援助番号ＭＤＡ９０４−９７−０２６２に基づいてＮＳＡによって、及び援助番号ＭＤＡ９０４−９９−Ｃ−２５３５に基づいてＤＡＲＰＡ／ＩＴＯによって援助を受けたものである。米国政府は本願発明に特定の権利を有している。
【０００３】
発明の技術分野
本願は、計量言語学に関し、さらに詳しく述べると機械翻訳技法に関する。さらに具体的に述べると、本願は、原始テキストセグメント（ｓｏｕｒｃｅ ｔｅｘｔ ｓｅｇｍｅｎｔ）の目的テキストセグメント（ｔａｒｇｅｔ ｔｅｘｔ ｓｅｇｍｅｎｔ）へのデコーディングを実行し、次いで第一言語空間から別の言語空間へツリー（ｔｒｅｅ）を書き換える技法について述べる。
【０００４】
背景と要約
機械翻訳（ＭＴ）とは、例えばコンピュータシステムを使用して第一言語（例えばフランス語）を別の言語（例えば英語）へ自動翻訳することである。ＭＴ技法を実行するシステムは、原始言語を目的言語へ「デコーディングする」といわれている。エンドユーザの眼から見て、ＭＴのプロセスは比較的簡明である。図１Ａに示すように、ＭＴ１０２は、例えばフランス語の原始文１００（例えば「ｃｅ ｎｅ ｅｓｔ ｐａｓ ｊｕｓｔｅ」）を入力として受け取り、次にその入力された文を処理した後、目的言語、この実施例の場合、英語の等価のデコーディングされた文（「ｉｔ ｉｓ ｎｏｔ ｆａｉｒ」）を出力する。
【０００５】
従来のＭＴデコーダの一つのタイプは、例えば発明の名称が「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｔｒａｎｓｌａｔｉｏｎ」の米国特許第５，４７７，４５１号（Ｂｒｏｗｎら）に記載されている「スタックデコーダ」である。スタックデコーダでは、可能な翻訳文の領域が、グラフ構造に編制され、次いで最適解（翻訳文）が見つかるまで、網羅的に探索される。スタックデコーダは、優れた結果を生成する傾向があるがそれを実行するには大きな経費がかかる。すなわち、例えばスタックデコーダが使用する、可能性のある大きな解の空間を維持し探索することは、計算と空間の点で（例えばコンピュータメモリによって）高価である。これに対応して、本発明の発明者らは、反復して増加させるデコーディング技法が最適か又は最適に近い結果を生成し、しかも、計算と空間の必要量をかなり減らすことができることを見出した。このデコーダは、本願では「グリーディー（ｇｒｅｅｄｙ）」デコーダ又は等価的に「ファースト（ｆａｓｔ）デコーダ」と呼称する。用語「グリーディー」は近視的な最適化に基づいた解を生成する技法すなわち、部分的解が与えられると、次の推定として、その目的を最もよく改善する新しい解を生成する技法を意味する。他の言葉で言えば、グリーディーアルゴリズムは、一般に近似解で始まり、次いで満足すべき解に到達するまで、その近似解を徐々に改善しようとする。
【０００６】
上記グリーディーデコーダの実行には、下記機能の各種の組合せが含まれている。
【０００７】
一側面で、機械翻訳（ＭＴ）のデコーディングには以下のことが含まれている。すなわち、目的言語に翻訳すべき原始言語のテキストセグメント（例えば節、文、パラグラフ又は全書）を入力として受け取り、初期翻訳文［例えば逐語的な又は逐語句的なグロス（ｗｏｒｄ−ｆｏｒ−ｗｏｒｄ ｏｒ ｐｈｒａｓｅ−ｆｏｒ−ｐｈｒａｓｅ ｇｌｏｓｓ）］を現行目的言語の翻訳文として作成し、その現行目的言語翻訳文に１又は２以上の修正オペレータを適用して１又は２以上の修正目的語翻訳文を作成し、その１又は２以上の修正目的言語翻訳文が該現行目的言語翻訳文と比べて改良された翻訳文になっているかどうかを確認し、修正目的言語翻訳文を現行目的言語翻訳文として設定し、次いでこれらのステップを、終了条件が生じるまで繰り返すことが含まれている。
【０００８】
１又は２以上の修正オペレータの適用には、現行目的言語翻訳文の１又は２以上の単語の訳語の変更が含まれていてもよい。あるいは又はその上に、１又は２以上の修正オペレータの適用には、（ｉ）現行目的言語翻訳文中の一単語の翻訳文を変更すること、及び同時に（ｉｉ）原始言語テキストセグメントと現行目的言語翻訳文の間の最高確率の整合（ａｌｉｇｎｍｅｎｔ）をもたらす位置に別の単語を挿入することが含まれていてもよい。その挿入される別の単語は、ゼロ値ファーティリティ（ｚｅｒｏ−ｖａｌｕｅ ｆｅｒｔｉｌｉｔｙ）である確率が高くてもよい。
【０００９】
１又は２以上の修正オペレータを適用することに、現行目的言語翻訳文から、ゼロ値ファーティリティの単語を削除すること；及び／又は現行目的言語翻訳文内のオーバーラップしていない目的言語の単語セグメントをスワップする（ｓｗａｐ）ことによって、原始言語テキストセグメントと現行目的言語翻訳文の間の整合を修正すること；及び／又は（ｉ）目的言語単語を現行目的言語翻訳文から除き次に（ｉｉ）原始言語テキストセグメント中の単語をリンクすることによって、原始言語テキストセグメントと現行目的言語翻訳文の間の整合を修正することが含まれていてもよい。
【００１０】
各種の実施態様では、修正オペレータを適用することが、下記のことのうち二つ以上を適用することを含んでいてもよい。すなわち（ｉ）現行目的言語翻訳文中の１又は２の単語の訳語を変更すること；（ｉｉ）現行目的言語翻訳文中の一単語の訳語を変更し、同時に、原始言語テキストセグメントと現行目的言語翻訳文の間の最高確率の整合をもたらす位置に、ゼロ値ファーティリティである確率が高い別の単語を挿入すること；（ｉｉｉ）現行目的言語翻訳文からゼロ値ファーティリティの一単語を削除すること；（ｉｖ）現行目的言語翻訳文中のオーバーラップしていない目的言語単語セグメントをスワップすることによって、原始言語テキストセグメントと現行目的言語翻訳文の間の整合を修正すること；及び／又は（Ｖ）目的言語の単語を、現行目的言語翻訳文から除き次に原始言語テキストセグメント中の単語をリンクすることによって、原始言語テキストセグメントと現行目的言語翻訳文の間の整合を修正すること；の二つ以上を含んでいてもよい。
【００１１】
修正された目的言語翻訳文の１又は２以上が現行目的言語翻訳文と比べて改良された翻訳文になっているかどうかを確認することに、修正された目的言語翻訳文各々の正当性の確率を計算することが含まれていてもよい。
【００１２】
終了条件は、修正された目的言語翻訳文の正当性の確率が現行目的言語翻訳文の正当性の確率より大きくないことを確認することを含んでいてもよい。その終了条件は、予め定められた回数の繰り返しが完了すること及び／又は予め定められた時間が経過することであってもよい。
【００１３】
別の側面で、コンピュータ実行（ｃｏｍｐｕｔｅｒ−ｉｍｐｌｅｍｅｎｔｅｄ）機械翻訳デコーディング法は、例えば、終了条件（例えば予め定められた数の繰り返しの完了、予め定められた時間の経過、及び／又は修正された翻訳文の正当性の確率が前の翻訳文の正当性の確率より大きくないことの確認）が発生するまで、原始言語テキストセグメント（例えば、節、文、パラグラフ又は全書）の目的言語翻訳文を繰り返し修正するグリーディーデコーディングアルゴリズムを実行してもよい。
【００１４】
該ＭＴデコーディング法は、近似目的言語翻訳文で出発し次いでその翻訳文を、各逐次反復によって繰り返し改良することができる。その近似目的言語翻訳文は、例えば逐次的な又は句を造ったグロスであってもよく、又は近似目的言語翻訳文は、複数の予め定められた翻訳文の中から選択される予め定められた翻訳文であってもよい。
【００１５】
翻訳文を繰り返し修正することに、例えば該翻訳文に対して１又は２以上の修正操作を適用することによって、各反復で翻訳文を徐々に改良することが含まれていてもよい。
【００１６】
その１又は２以上の修正操作は下記操作の１又は２以上を含んでいる。すなわち（ｉ）翻訳文中の一つ又は二つの単語を変更すること；（ｉｉ）一つの単語の翻訳文を変更し、同時に、原始言語テキストセグメントと翻訳文の間の最高確率の整合をもたらす位置に別の単語を挿入し、その挿入される別の単語がゼロ値ファーティリティである確率が高いこと；（ｉｉｉ）翻訳文から、ゼロ値ファーティリティの単語を除くこと；（ｉｖ）翻訳文中のオーバーラップしていない目的言語の単語セグメントをスワップすることによって、原始言語テキストセグメントと翻訳文の間の整合を修正すること；（ｖ）目的言語の単語を翻訳文から除き次いで原始言語テキストセグメント中の単語をリンクすることによって、原始言語テキストセグメントと翻訳文の間の整合を修正すること；の１又は２以上の操作を含んでいる。
【００１７】
別の側面で、機械翻訳デコーダは、現行目的言語翻訳文に適用されて１又は２以上の修正された目的言語翻訳文を生成する１又は２以上の修正オペレータを含むデコーディングエンジン；及び１又は２以上の修正オペレータを使用して、現行目的言語翻訳文を繰り返し修正するプロセスループを備えていてもよい。そのプロセスループは、終了条件が生じたときに終了することができる。そのプロセスループは、現行目的言語翻訳文を各繰り返しによって徐々に改良するようにデコーディングエンジンを制御することができる。
【００１８】
ＭＴデコーダは、さらに、翻訳文に対する正当性の確率を求めるためのモジュール（例えば、言語モデル及び翻訳モデルを含む）を備えていてもよい。
【００１９】
上記プロセスループは、修正された翻訳文の正当性の確率が前の翻訳文の正当性の確率より大きいということを確認したとき及び／又は予め定められた数の繰り返しを完了したとき；及び／又は予め定められた時間が経過した後に終了できる。
【００２０】
下記利点の１又は２以上を、本願に記載されているようなグリーディーデコーダが提供できる。ここで述べる技術と方法は、高い正確さ、高速及び比較的低い計算と空間のコストで機能するＭＴデコーダをもたらすことができる。グリーディーデコーダは、文修正操作の完全セット又はそのサブセットを実行するよう所望どおりに修正することができる。これは、システム設計者及び／又はエンドユーザに、所望の目的又は制限に適合させるために該デコーダの速度、正確さ及び／又は他の性能特性値を適応させるためのかなりの適応性を提供する。一スタンドアロンオペレータ（ｓｔａｎｄａｌｏｎｅ ｏｐｅｒａｔｏｒ）として又は他のオペレータとともに各々使用することができる一組の基本的修正操作を使用するとこの適応性がさらに高まる。さらに、独立したスタンドアロンオペレータを、該デコーディングエンジンの構成要素として使用すると、そのデコーダが拡張可能でかつ大きさを変えることが可能（スケーラブル）になる。すなわち、異なるか又は追加の修正オペレータを、システムの設計者及び／又はエンドユーザの目的又は制限に適合するように利用することができる。
【００２１】
計量言語学におけるＭＴの研究と関連する分野と関連づけて、研究者らは、各種タイプのツリー構造を開発ししばしば利用して、テキストセグメント（例えば節、文、パラグラフ又は全書）の構造を図式で示している。二つの基本的ツリー構造として次のものがある。すなわち（１）テキストセグメントの要素間の統語的関係を図式で示すのに使用できる統語的ツリー（ｓｙｎｔａｃｔｉｃ ｔｒｅｅ）、及び（２）テキストセグメントの要素間の修辞的関係を図式で示すのに使用できる修辞的ツリー（等しく、修辞的構造ツリー（ＲＳＴ）又は談話のツリー）がある。修辞的構造ツリー（談話ツリー（ｄｉｓｃｏｕｒｓｅ ｔｒｅｅ）とも呼称される）は、Ｗｉｌｌｉａｍ Ｃ． Ｍａｎｎ及びＳａｎｄｒａ Ａ． Ｔｈｏｍｐｓｏｎ、「Ｒｈｅｔｏｒｉｃａｌ ｓｔｒｕｃｔｕｒｅ ｔｈｅｏｒｙ： Ｔｏｗａｒｄ ａ ｆｕｎｃｔｉｏｎａｌ ｔｈｅｏｒｙ ｏｆ ｔｅｘｔ ｏｒｇａｎｉｚａｔｉｏｎ」、Ｔｅｘｔ、８（３）巻２４３〜２８１頁１９８８年に詳細に考察されている。
【００２２】
図６に示す実施例は、テキストフラグメント用の修辞構造ツリー中に存在しうる構造のタイプを示している。前記ツリーの葉は基本談話ユニット（ｅｌｅｍｅｎｔａｒｙ ｄｉｓｃｏｕｒｓｅ ｕｎｉｔ）（「ｅｄｕ」）に対応し、そしてその内部ノードは連続テキストスパン（ｃｏｎｔｉｇｕｏｕｓ ｔｅｘｔ ｓｐａｎ）に対応する。修辞的構造ツリーの各ノードは、「状態（ｓｔａｔｕｓ）」（すなわち「核」又は「衛星」）及び「修辞的関係」（二つのオーバーラップしていないテキストスパン間を保持する関係）が特徴である。図６では、核を直線で表し、一方、衛星を円弧で表してある。
【００２３】
本発明の発明者らは、異なる言語（例えば日本語と英語）のテキストの翻訳文の修辞構造間に大きな差があることを見出したのである。したがって、ＭＴの品質を改良するため、より大きいＭＴシステムの要素として、本発明の発明者らは、修辞構造を、一つの言語からもう一つの言語へ自動的に書き換える（例えばコンピュータシステムを使用して）方法、例えば、日本語のテキストセグメントに対する修辞ツリー（ｒｈｅｔｏｒｉｃａｌ ｔｒｅｅ）を、英語の対応するテキストセグメントに対する修辞ツリーに書き換える方法を開発した。
【００２４】
開示されている、ツリーを書き換える方法の実行には、下記機能の各種の組み合わせが含まれていてもよい。
【００２５】
一つの側面では、ツリー（例えば、統語的ツリー又は談話的ツリー）を自動的に生成することに、原始言語テキストセグメントに対応するツリーを、入力として受け取り、次に、その受け取った入力に１又は２以上の決定則を適用して、目的言語のテキストセグメントに対応するツリーを生成させることが含まれる。
【００２６】
別の側面では、コンピュータ実行ツリー生成法（ｃｏｍｐｕｔｅｒ−ｉｍｐｌｅｍｅｎｔｅｄ ｔｒｅｅ ｇｅｎｅｒａｔｉｏｎ ｍｅｔｈｏｄ）は、原始言語テキストセグメント（例えば節、文、パラグラフ又は全書）に対応するツリーを入力として受け取り、次いで１又は２以上の決定則（例えば一つの変換関数を集合的に表す一連の決定則）を、前記受け取った入力に適用して、目的言語のテキストセグメント（異なるタイプのテキストセグメントであってもよい）に対応するツリーを生成することを含んでいてもよい。
【００２７】
上記ツリーの生成方法は、さらにトレーニングセット（ｔｒａｉｎｉｎｇ ｓｅｔ）、例えば複数の入力−出力ツリーペア（ｉｎｐｕｔ−ｏｕｔｐｕｔ ｔｒｅｅ ｐａｉｒ）及び各入力−出力ツリーペア間のマッピングに基づいた１又は２以上の決定則を自動的に決定することを含んでいてもよい。上記の各入力−出力ツリーペア間のマッピングは、前記入力ツリーの葉及びペアの出力ツリーの葉の間のマッピングであってもよい。入力−出力ツリーのペアの葉の間のマッピングは、１対１、１対多数、多数対１又は多数対多数のマッピングでもよい。
【００２８】
１又は２以上の決定則を自動的に決定することが、ペアの入力ツリーに適用されると出力ツリーを生成する一連の操作を決定することを含んでいてもよい。一連の操作を決定することが、入力ツリーを入力ツリーのペアになった出力ツリーに翻訳するのに集合的に充分な複数の既定義操作を使用することを含んでいてもよい。上記複数の既定義操作は下記の操作の１又は２以上を含んでいる。すなわち、基本談話ツリー（ｅｄｔ）を、入力並び（入力リスト；ｉｎｐｕｔ ｌｉｓｔ）からスタックに変換するシフト操作；二つのｅｄｔをスタックのトップからポップ（ｐｏｐ）させ、その二つのポップされたｅｄｔを新しい一つのツリーに結合し、次いでその新しいツリーをスタックのトップにプッシュする還元操作（ｒｅｄｕｃｅ ｏｐｅｒａｔｉｏｎ）；一つのｅｄｔを予め定められた数のユニットにブレークするブレーク操作（ｂｒｅａｋ ｏｐｅｒａｔｉｏｎ）；原始言語のツリーの中で接続関係がない目的言語談話要素をつくるクリエイトネクスト（ｃｒｅａｔｅ−ｎｅｘｔ）操作；スタックのトップのｅｄｔを直前のｅｄｔに融合する融合操作；入力並び中のｅｄｔの位置をスワップするスワップ操作；及び下記タイプ：ユニット、マルチユニット、文、パラグラフ、マルチパラグラフ及びテキストの１又は２以上をｅｄｔに割り当てる、アサインタイプ操作（ａｓｓｉｇｎ Ｔｙｐｅ ｏｐｅｒａｔｉｏｎ）のうち１又は２以上を含んでいる。
【００２９】
複数の既定義操作は、前記のシフト操作、還元操作、ブレーク操作、クリエイトネクスト操作、融合操作、スワップ操作及びアサインタイプ操作を含むクローズドセット（ｃｌｏｓｅｄ ｓｅｔ）であってもよい。
【００３０】
一連の操作を決定すると、複数の学習ケースがもたらされ、すなわち各入力−出力のツリーのペアに対して一つの学習ケースがもたらされる。その場合、ツリーの生成方法は、さらに、１又は２以上の特徴を、コンテキスト（文脈）に基づいて複数の学習ケース各々と関連づけることを含んでいてもよい。その関連づける特徴としては、操作と談話の特徴、対応ベースの特徴及び語彙の特徴がある。
【００３１】
前記ツリー生成方法はさらに、学習プログラム（例えばＣ４．５）を複数の学習ケースに適用して、１又は２以上の決定則を生成することを含んでいてもよい。
【００３２】
別の側面で、コンピュータ実行のツリー生成モジュールは、原始言語テキストセグメントに対応するツリー（統語的ツリー又は談話的ツリー）に適用すると、目的言語テキストセグメントに対応するツリーを生成する決定則の予め定められたセットを含んでいてもよい。その決定則の予め定められたセットは、原始言語のツリーと目的言語のツリーの間の変換関数を定義することができる。
【００３３】
別の側面で、異なるタイプのツリー（例えば、統語的ツリー又は談話的ツリー）の間の変換関数を決定することが、複数のツリーのペア及び各ツリーのペア間のマッピングを含むトレーニングセットを生成すること（但しツリーのペアは各々原始のツリー及び対応する目的のツリーを含んでいる）；及び原始のツリーに適用されると目的のツリーをもたらす一連の操作をツリーのペア各々に対して決定することによって複数の学習ケースを生成すること；及び学習アルゴリズムを複数の学習ケースに適用することによって複数の決定則を生成することを含んでいてもよい。
【００３４】
異なるタイプのツリーの間の変換関数を決定することは、さらに、複数の決定則を生成する前に、１又は２以上の特徴を、コンテキストに基づいた各学習ケースと関連させることを含んでいてもよい。
【００３５】
別の側面で、コンピュータ実行談話ベースの機械翻訳システムは、原始言語テキストセグメントの談話構造を解析して、そのテキストセグメントに対する原始言語の談話ツリーを生成する談話パーサ（ｄｉｓｃｏｕｒｓｅ ｐａｒｓｅｒ）；上記原始言語の談話ツリーを入力として受け取り、出力として目的言語談話ツリーを生成する談話構造変換モジュール；及び上記目的言語の談話ツリーを目的テキストセグメント中にマッピングするマッピングモジュールを含んでいてもよい。その談話構造変換モジュールは、原始言語−目的言語のツリーのペアのトレーニングセットから生成した複数の決定則を含んでいてもよい。
【００３６】
下記利点のうちの１又は２以上を、本願に記載されているようなツリー書き換えによって提供することができる。ここに記載の技術と方法は、ユーザ（例えば言語研究者などのヒトのエンドユーザ又はＭＴシステムなどのコンピュータプロセス）に、目的言語に翻訳されたテキストセグメントに対するツリーに、書き換えられるか又は翻訳される原始言語のテキストセグメントに対するツリーを自動的にもたせるツリー書き換え性能をもたらすことができる。この機能性は、そのスタンドアロン形態で及びより大きなシステムの要素として、例えば談話ベースの機械翻訳システムにおいて有用である。さらに、ここに記載するツリー書き換え器は、ツリーを一つの言語から別の言語に書き換える方法を自動的に学習するので、上記システムは、容易にかつ便利に使用できる。
【００３７】
該ツリーの書き換え器をトレーニングするのに利用されるマッピング方式も、いくつもの利点を提供する。例えば原始のツリーと目的のツリーの葉の間に任意のグルーピング（例えば１対１、１対多数、多数対１、多数対多数）をさせることによって、得られるマッピングの適応性、リッチネス（ｒｉｃｈｎｅｓｓ）及び堅牢性が高まる。
【００３８】
また、ツリー書き換え器をトレーニングするのに使用されるエンハンストシフト還元操作（ｅｎｈａｎｃｅｄ ｓｈｉｆｔ−ｒｅｄｕｃｅ ｏｐｅｒａｔｉｏｎ）もいくつもの利点を提供する。例えば、どんな入力ツリーでもそのペアの出力ツリーに翻訳するのに、集合的に充分である基本的操作のセットは、ツリー構造を書き換えるための強力でしかもコンパクトなツールを提供する。
【００３９】
１又は２以上の実施態様の詳細を、添付図面と以下の記載で説明する。本発明の他の特徴、目的及び利点は、下記説明と添付図面及び特許請求の範囲から明らかになるであろう。
【００４０】
本発明のこれらおよび他の側面を、ここで添付図面を参照して詳細に説明する。
【００４１】
詳細な説明
グリーディーデコーダ
例えば、フランス語の文を英語に翻訳する統計的ＭＴシステムは、三つの部分、すなわち（１）英語文字列（Ｅｎｇｌｉｓｈ ｓｔｒｉｎｇ）に確率Ｐ（ｅ）を割り当てる言語モデル（ＬＭ）；（２）英語とフランス語の文字列のペアに対し確率Ｐ（ｆ｜ｅ）を割り当てる翻訳モデル（ＴＭ）；及び（３）デコーダに分割することができる。そのデコーダは、まだ見られていない文ｆを取り出して、Ｐ（ｆ｜ｅ）を最大限にし、又は等しくＰ（ｅ）・Ｐ（ｆ｜ｅ）を最大限にするｅを見つけようとする。
【００４２】
Ｂｒｏｗｎら、「Ｔｈｅ ｍａｔｈｅｍａｔｉｃｓ ｏｆ ｓｔａｔｉｓｔｉｃａｌ ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ： Ｐａｒａｍｅｔｅｒ ｅｓｔｉｍａｔｉｏｎ」、Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ、１９（２）巻１９９３年は、逐語的に置換し再び順序付けする（ｒｅ−ｏｒｄｅｒ）ことに基づいた一連のＴＭを紹介したが、デコーディングアルゴリズムは含まれていなかった。原始言語と目的言語が同じ語順を有するように強制されている場合（選んで又は適切な前処理によって）、線形ビタアルゴリズムを、Ｔｉｌｌｍａｎｎら、「Ａ ＤＰ−ｂａｓｅｄ ｓｅａｒｃｈ ｕｓｉｎｇ ｍｏｎｏｔｏｎｅ ａｌｉｇｎｍｅｎｔｓ ｉｎ ｓｔａｔｉｓｔｉｃａｌ ｔｒａｎｓｌａｔｉｏｎ」、Ｉｎ Ｐｒｏｃ． ＡＣＬ １９９７年に記載されているように適用することができる。再順序付けが２分ツリー（ｂｉｎａｒｙ ｔｒｅｅ）のノードのまわりの回転に限定される場合、最適のデコーディングが、高多項式アルゴリズム（Ｗｕ、「Ａ ｐｏｌｙｎｏｍｉａｌ−ｔｉｍｅ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｓｔａｔｉｓｔｉｃａｌ ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ」、Ｉｎ Ｐｒｏｃ． ＡＣＬ、１９９６年）によって実行できる。任意の単語再順序付けの場合、デコーディングの問題は、ＮＰ−完全（ＮＰ−ｃｏｍｐｌｅｔｅ）問題（非決定性多項式時間完全問題）（Ｋｎｉｇｈｔ、「Ｄｅｃｏｄｉｎｇ ｃｏｍｐｌｅｘｉｔｙ ｉｎ ｗｏｒｄ−ｒｅｐｌａｃｅｍｅｎｔ ｔｒａｎｓｌａｔｉｏｎ ｍｏｄｅｌｓ」、Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ、２５（４）巻１９９９年）である。
【００４３】
一つの戦略（Ｂｒｏｗｎらの米国特許第５，４７７，４５１号１９９５年「Ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｔｒａｎｓｌａｔｉｏｎ」；Ｗａｎｇら「Ｄｅｃｏｄｉｎｇ ａｌｇｏｒｉｔｈｍ ｉｎ ｓｔａｔｉｓｔｉｃａｌ ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ」、Ｉｎ Ｐｒｏｃ． ＡＣＬ、１９９７年）は、適当に行うデコーディングの大きなサブセットを検査してそれから選択することである。勿論、このようにして優れた翻訳文を見逃すこともある。
【００４４】
したがって、デコーディングは、あらゆる問題のインスタンス（ｐｒｏｂｌｅｍ ｉｎｓｔａｎｃｅ）が正しい応答を有しているクリアーカット最適化タスク（ｃｌｅａｒ−ｃｕｔ ｏｐｔｉｍｉｚａｔｉｏｎ ｔａｓｋ）であるが、優れた応答を迅速に提供することは困難である。以下に、高速グリーディーデコーダの詳細を説明し、その性能を、伝統的なスタックデコーダの性能と比較する。
【００４５】
グリーディーデコーダを開発する際、一対の文にわたる単語整合（ｗｏｒｄ ａｌｉｇｎｍｅｎｔ）の概念に基づいて作動するＩＢＭモデル４を使用した（図１Ｂ参照）。単語の整合は、単一ホーム（英語文字列の位置）をフランス語の各単語に割り当てる。フランス語の二つの単語が同じ一つの英語の単語に整合すると、その英語の単語は、ファーティリティ２（ｆｅｒｔｉｌｉｔｙ ２）を有しているといわれる。さらに、一つの英単語が整合しないままの場合、その英単語はファーティリティがゼロである。図１Ｂに示す単語整合は、英語文字列がフランス語文字列に変換される仮説確率論的プロセス（ｈｙｐｏｔｈｅｔｉｃａｌ ｓｔｏｃｈａｓｔｉｃ ｐｒｏｃｅｓｓ）の省略表現である。なすべき決定のいくつものセットがある。
【００４６】
第一に、あらゆる英語の単語にファーティリティが割り当てられる。これらの割り当ては、表ｎ（φ｜ｅ_ｉ）にしたがって確率論的に行われる。ファーティリティがゼロの単語はどれも文字列から削除され、ファーティリティ２の単語はどれも複製されるなどが行われる。一単語が１より大きいファーティリティを有している場合、その単語は非常にファータイル（ｆｅｒｔｉｌｅ）であると呼ばれる。
【００４７】
新しい文字列中の各英語単語の後に、確率ｐ_１（一般に約０．０２）の不可視英語ヌルエレメント（ｉｎｖｉｓｉｂｌｅ Ｅｎｇｌｉｓｈ ＮＵＬＬ ｅｌｅｍｅｎｔ）のファーティリティが加えられる。そのヌルエレメントは、結局、「スプリアス（ｓｐｕｒｉｏｕｓ）」フランス語単語を生成する。
【００４８】
次に、英語の単語（ヌルを含む）が、表ｔ（ｆ_ｊ｜ｅ_ｉ）にしたがってフランス語の単語で逐次的に置換される。
【００４９】
最後に、これらのフランス語の単語が並びかえられる。並びかえを行う際、ＩＢＭモデル４が、ヘッド（ｈｅａｄ）（特定の英語単語から生成した左端のフランス語の単語）、ノン−ヘッド（ｎｏｎ−ｈｅａｄ）（非常にファーファイルな英語単語だけによって生成した左端以外のフランス語の単語）及びヌル生成単語（ＮＵＬＬ−ｇｅｎｅｒａｔｅｄ）であるフランス語単語を識別する。
【００５０】
ヘッド：一つの英語単語のヘッドは、その前の英語単語に割り当てられた位置を基準にして、フランス語文字列の位置を割り当てられる。英語単語Ｅ_ｅ−１を、フランス語位置ｊの何らかの単語に翻訳する場合、ｅ_ｉのフランス語ヘッドの単語は、ひずみ確率（ｄｉｓｔｏｒｔｉｏｎ ｐｒｏｂａｂｉｌｉｔｙ）ｄ_１（ｋ−ｊ｜ｃｌａｓｓ（ｅ_ｉ−１）、ｃｌａｓｓ（ｆ_ｋ）でフランス語位置ｋに確率論的に配置される。なお上記「ｃｌａｓｓ」は、フランス語と英語の語い項目（ｖｏｃａｂｕｌａｒｙ ｉｔｅｍ）に対して自動的に決定される単語のクラスを意味する。この相対的オフセットｋ−ｊが、隣接する英語単語をインカレッジ（ｅｎｃｏｕｒａｇｅ）して、隣接するフランス語単語に翻訳する。ｅ_ｉ−１がインファータイル（ｉｎｆｅｒｔｉｌｅ）である場合、ｊはｅ_ｉ−２などから取り出される。ｅ_ｉ−１が非常にファータイルである場合、ｊはそのフランス語翻訳文の位置の平均位置である。
【００５１】
ノンヘッド：英語単語ｅ_ｉのヘッドがフランス語の位置ｊに配置される場合、その最初のノンヘッドは、別のテーブルｄ_＞１（ｋ−ｊ｜ｃｌａｓｓ（ｆ_ｋ））にしたがって、フランス語の位置ｋ（＞ｊ）に配置される。次のノンヘッドは、位置ｑに、確率ｄ_＞１（ｑ−ｋ｜ｃｌａｓｓ（ｆ_ｑ））などで配置される。
【００５２】
ヌル生成単語：ヘッドとノン−ヘッドが配置された後、ヌル生成単語が、残っている空スロット（ｖａｃａｎｔ ｓｌｏｔ）中にランダムに置換される。φ_０ヌル生成単語がある場合、配置方式は確立１／φ_０！で選択される。
【００５３】
ｅで出発するこれらの確率論的決定によって、ｆの異なる選択及びｆとｅの整合が行われる。ｅは特定の＜ａ、ｆ＞のペアにマッピングすることができる。
【００５４】
【数１】

上記式中、ｘ記号で分離されている因数は、ファーティリティ、翻訳、ヘッド置換（ｈｅａｄ ｐｅｒｍｕｔａｔｉｏｎ）、ノンヘッド置換、ヌルファーティリティ及びヌル翻訳の確率を示す。上記式中の諸記号は次のとおりである。ｌ（ｅの長さ）、ｍ（ｆの長さ）、ｅ_ｉ（ｅにおけるｉ番目の英語単語）、Ｅ_０（ヌル単語）、φ_ｉ（ｅ_ｉのファーティリティ）、φ_０（ヌル単語のファーティリティ）、τ_ｉｋ（ａ中のｅ_ｉによって生成したｋ番目のフランス単語）、π_ｉｋ（ｆ中のτ_ｉｋの位置）、ρ_Ｉ（ａ中ｅ_ｉの左側の第一ファータイル単語の位置）、ｃ_{ρ Ｉ}（ρ_ｉに対する全π_ρｉｋの平均値の最大値（ｃｅｉｌｉｎｇ）又はρ_ｉが未定義の場合０である）である。
【００５５】
上記のことから見て、新しい文ｆが与えられると、最適のデコーダが、Ｐ（ｅ｜ｆ）≒Ｐ（ｅ）・Ｐ（ｆ｜ｅ）を最大限にするｅを探索する。ここでＰ（ｆ｜ｅ）は、可能なすべての整合ａにわたるＰ（ａ、ｆ｜ｅ）の和である。この和は、重要な計算を含んでいるので、一般に、代わりに、Ｐ（ｅ、ａ｜ｆ）≒Ｐ（ｅ）・Ｐ（ａ、ｆ｜ｅ）を最大限にする＜ｅ、ａ＞のペアを探索することによって回避される。言語モデルＰ（ｅ）が英語の平滑化ｎ−ｇｒａｍモデルであると想定される。
【００５６】
図２は、ＭＴを実行するグリーディーデコーダの一実施態様の作動のフローチャートである。図２に示すように、第一ステップ２００は、翻訳すべき入力文を受け取るステップである。この実施例では、翻訳されているテキストセグメントが文であるが、例えば節、パラグラフ又は全書といった他のどんなテキストセグメントでも事実上使用することができる。
【００５７】
ステップ２０２において、翻訳文の第一近似文として、グリーディーデコーダが、入力文の「グロス（ｇｌｏｓｓ）」、特に逐語的翻訳文を生成する。そのグロスは、各フランス語単語ｆ_ｊを、その最も適当な英語翻訳文ｅｆ_ｊ（ｅｆ_ｊ＝ａｒｇｍａｘ_ｅｔ（ｅ｜ｆ_ｊ））と整合させる（ａｌｉｇｎ）ことによって構築される。例えば、フランス語の文「Ｂｉｅｎ ｅｎｔｅｎｄｕ、ｉｌ ｐａｒｌｅ ｄｅ ｕｎｅ ｂｅｌｌｅ ｖｉｃｔｏｉｒｅ」を翻訳する際、グリーディーデコーダは、「ｂｉｅｎ」の最良の訳語は「ｗｅｌｌ」であり、「ｅｎｔｅｎｄｕ」の最良訳語は「ｈｅａｒｄ」であるなどであるから、最初、良好な翻訳文が「Ｗｅｌｌ ｈｅａｒｄ、ｉｔ ｔａｌｋｉｎｇ ａ ｂｅａｕｔｉｆｕｌ ｖｉｃｔｏｒｙ」であると想定する。この翻訳文に対応する字並び（ａｌｉｇｎｍｅｎｔ）は図３のトップに示してある。
【００５８】
ステップ２０４において、デコーダは、現行翻訳文の正当性の確率Ｐ（ｃ）を推定する。
【００５９】
最初の字並びがステップ２０２で生成された後、グリーディーデコーダは、その字並びを、ステップ２０６で改良しようとする。すなわち、該デコーダは、以下に説明する１又は２以上の文修正オペレータを適用することによって、確率が一層高い字並び（及び暗黙のうちに翻訳文）を見出そうとする。この特定の実施態様に対しては、単語レベルの字並び及び下記の特定のオペレータを使用することを選んだ。しかし、異なる統計的モデルを使用する別の実施態様は、異なる操作又は追加の操作によって利益を得ることができる。
【００６０】
下記のオペレータが、集合的に、該デコーダの翻訳エンジンを構成しており、下記のものがある。
【００６１】
一つ又は二つの単語の翻訳（ｔｒａｎｓｌａｔｅ Ｏｎｅ ｏｒ Ｔｗｏ Ｗｏｒｄｓ）（ｊ_１、ｅ_１、ｊ_２、ｅ_２）
この操作は、ｊ_１とｊ_２の位置に位置している一つ又は二つのフランス語の単語の翻訳文を、ｅｆ_ｊ１とｅｆ_ｊ２からｅ_１とｅ_２に変更する。ｅｆ_ｊがファーティリティ１の単語でかつｅ_ｋがヌルであれば、ｅｆ_ｊは翻訳から削除される。ｅｆ_ｊがヌル単語であれば、翻訳文中の、最高確率の字並びを生じる位置に単語ｅ_ｋを挿入する。ｅｆ_ｊ１＝ｅ_１又はｅｆ_ｊ２＝ｅ_２であれば、この操作は、結局、単一単語の訳語を変えることになる。
【００６２】
翻訳と挿入（ｔｒａｎｓｌａｔｅ Ａｎｄ Ｉｎｓｅｒｔ）（ｊ、ｅ_１、ｅ_２）
この操作は、ｊ位置に位置するフランス語単語の訳語をｅ_ｆｊからｅ_１に変更し、かつ同時に、最高確率の字並びを生じる位置に単語ｅ_２を挿入する。単語ｅ_２は、ファーティリティがゼロの確率が高い１０２４個の単語の自動的に導出されるリストから選択される。ｅ_ｆｊ＝ｅ_１の場合、この操作は結局ファーティリティがゼロの単語を該字並び中に挿入することになる。
【００６３】
ファーティリティゼロの単語の除去（ｒｅｍｏｖｅ Ｗｏｒｄ ｏｆ Ｆｅｒｔｉｌｉｔｙ ０）（ｉ）
この操作によって、現行字並びのｉ位置のファーティリティゼロの単語を削除する。
【００６４】
セグメントのスワップ（Ｓｗａｐ Ｓｅｇｍｅｎｔｓ）（ｉ_１、ｉ_２、ｊ_１、ｊ_２）
この操作は、オーバーラップしていない英語単語セグメント［ｉ_１、ｉ_２］及び［ｊ_１、ｊ_２］をスワップすることによって、新しい字並びを古い字並びからつくる。スワップ操作中、英語単語とフランス語単語の間のすべての既存リンクは保存される。それらのセグメントは、一つの単語と同じほど小さいか又は｜ｅ｜−１個の単語と同じほど長くてもよく、この場合｜ｅ｜は英語の文の長さである。
【００６５】
単語の結合（ｊｏｉｎ Ｗｏｒｄｓ）（ｉ_１、ｉ_２）
この操作は、字並びから、ｉ_１（又はｉ_２）の位置にある英語単語を除き、次いでｅ_ｉ１（又はｅ_ｉ２）が生成したフランス語単語をｅ_ｉ２（又はｅ_ｉ１）に連結する。
【００６６】
ステップ２０８において、デコーダは、前記文修正操作の結果各々の正当性の確率Ｐ（Ｍ_１）…Ｐ（Ｍ_ｎ）を推定する。すなわち、新しく得られた各翻訳文の確率が求められる。
【００６７】
ステップ２１０において、デコーダは、新しい翻訳文がどれも現行翻訳文より優れているかどうかを、それら翻訳文それぞれの正当性の確率を比較することによって確認する。新しい翻訳文がどれも、現行翻訳文より優れた解を示す場合、最良の新しい翻訳文（すなわち正当性の確率が最高の翻訳文の解）がステップ２１４で現行翻訳文として設定され、次いでそのデコーディングプロセスはステップ２０６に戻り、前記新しい現行翻訳文の解に対し１又は２以上の文修正操作を実行する。
【００６８】
文修正操作が終わって（ステップ２１０で決定されるように）正当性の確率がより高い翻訳文の解が生成するまで、ステップ２０６、２０８、２１０及び２１４を繰り返し、その時点で、デコーディングプロセスはステップ２１２にて停止して、現行翻訳文が最終デコード解として出力される。あるいは、デコーダは、例えばヒトのエンドユーザによって、又はデコーダを翻訳エンジンとして使用するアプリケーションプログラムによって選択される予め定められた回数の繰り返しの後、停止することができる。
【００６９】
したがって、段階的方式で、初期グロスから出発して、グリーディーデコーダは、プロセスループ（例えば、図２に示すようにステップ２０６、２０８、２１０及び２１４）を利用して、考慮中の字並びから１操作離れているすべての字並びを網羅的に繰り返す。あらゆるステップで、デコーダは、現行の字並びの確率がもはや改良できなくなるまで、確率が最高の字並びを選択する。それが例えば、フランス語文「Ｂｉｅｎ ｅｎｔｅｎｄｕ、ｉｌ ｐａｒｌｅ ｄｅ ｕｎｅ ｂｅｌｌｅ ｖｉｃｔｏｉｒｅ」のグロスから出発すると、グリーディーデコーダは、初期の字並びを、図３に示すように、徐々に変え、最終的に、翻訳文「Ｑｕｉｔｅ ｎａｔｕｒａｌｌｙ、ｈｅ ｔａｌｋｓ ａｂｏｕｔ ａ ｇｒｅａｔ ｖｉｃｔｏｒｙ」を生成する。このプロセスにおいて、デコーダは、翻訳文に対して合計７７４２１の異なる字並びを探索し、その翻訳文「Ｑｕｉｔｅ ｎａｔｕｒａｌｌｙ、ｈｅ ｔａｌｋｓ ａｂｏｕｔ ａ ｇｒｅａｔ ｖｉｃｔｏｒｙ」は確率が最高である。
【００７０】
デコーディングプロセスのステップ２０６において、システム設計者及び／又はエンドユーザの選好に応じて、前記五つの文の修正操作のすべてを使用できるか又はそのサブセットを、その他を除外して使用できる。例えば、該デコーダの最も時間のかかる操作は、セグメントのスワップ、一つ又は二つの単語の翻訳及び翻訳と挿入である。セグメントのスワップは、長さ｜ｅ｜のシーケンスで構築できるすべての可能なオーバーラップしていないスパンのペアを繰り返す。一つ又は二つの単語の翻訳は、｜ｆ｜^２×｜ｔ｜^２の字並びを繰り返す。なお、｜ｆ｜はフランス語文の大きさであり、そして｜ｔ｜は各単語と関連する翻訳文の数である（この実行では、この数はトップ１０の翻訳文までに限定される）。翻訳と挿入は｜ｆ｜×｜ｔ｜×｜ｚ｜の字並びにわたって繰り返す。なお｜ｚ｜はファーティリティがゼロの確率が高い単語のリストの大きさである（この実施態様では１０２４語）。したがって、デコーダは、デコーディングを速く行うためこれらの遅い操作の１又は２以上を省くように設計できるが、正確さが犠牲になることがある。あるいは又はその上に、デコーダは、システム設計者及び／又はエンドユーザの目的に応じて別の又は追加の文修正操作を使用するように設計することができる。
【００７１】
グリーディーデコーダの利点はその速度から生まれる。下記の実験が示すように、グリーディーデコーダは他のいかなるデコーダよりも速く翻訳文を生成することができる。グリーディーデコーダは「エニタイムアルゴリズム（ａｎｙｔｉｍｅ ａｌｇｏｒｉｔｈｍ）」の一例であり、作動時間が長ければ長いほど、そのデコーダが見つける翻訳文は優れている。グリーディーデコーダの一つの潜在的トレードオフ（ｔｒａｄｅｏｆｆ）は、そのデコーダが探索する解空間（ｓｏｌｕｔｉｏｎ ｓｐａｃｅ）に関連しており、その空間は比較的小さい。優れた翻訳文が初期のグロスから離れていればいる程、グリーディーデコーダが優れた翻訳文を見つける可能性は小さい。
【００７２】
図４は４回の繰り返しで許容可能な解に到達する動作をしているグリーディーデコーダの別の実施例を示す。図４に示すように、翻訳すべき入力文は「ｃｅ ｎｅ ｅｓｔ ｐａｓ ｊｕｓｔｅ．」である。このデコーダはその初期グロス「ｔｈａｔ ｎｏｔ ｉｓ ｎｏｔ ｆａｉｒ．」を使用して、この翻訳文の解（繰り返し１）は、言語モデル確率（ＬＭｐｒｏｂ）：２．９８４５７ｅ−１４及び翻訳モデル確率（ＴＭｐｒｏｂ）：３．７９１５６ｅ−０９に基づいて、正当性の確率（「Ａｐｒｏｂ」−ＬＭｐｒｏｂとＴＭｐｒｏｂの積）が１．１３１６２ｅ−２２であることを確認している。
【００７３】
第二の繰り返しにおいて、このデコーダは、該翻訳文中の単語「ｎｏｔ」の第一インスタンスを、１又は２以上の単語の翻訳の操作を適用することによって「ｉｓ」に変更して、図４の繰り返し２に示す確率を有する新しい翻訳文の解「ｔｈａｔ ｉｓ ｉｓ ｎｏｔ ｆａｉｒ」が得られる。第三の繰り返しにおいて、このデコーダは、ファーティリティゼロの単語の除去の操作を適用して、該翻訳文中の単語「ｉｓ」の一インスタンスをドロップさせて、図４の繰り返し３に示す確率を有する新しい翻訳文の解「ｔｈａｔ ｉｓ ｎｏｔ ｆａｉｒ」が得られる。第四の最後の繰り返しにおいて、このデコーダは、１又は２の単語の翻訳の操作を再び適用して該翻訳文中の単語「ｔｈａｔ」を「ｉｔ」に変更して、図４の繰り返し４に示す確率を有する最終の翻訳文解「ｉｔ ｉｓ ｎｏｔ ｆａｉｒ」が得られる。
【００７４】
グリーディーデコーダの性能を確認するため、一連の実験を行った。すべての実験で、デコーディングは、トレーニング中に確認される、一単語のトップの１０の翻訳文だけ、及びテストコーパス（ｔｅｓｔ ｃｏｒｐｕｓ）から自動的に抽出された、ファーティリティゼロの１０２４の単語のリストを利用して、実行した。
【００７５】
本願に記載のグリーディーデコーダの正確さを確認しそして該デコーダの速度を従来のスタックデコーダ（例えばＢｒｏｗｎらの米国特許第５，４７７，４５１号に記載されているようなデコーダ）と比較する実験で、長さ６、８、１０、１５および２０にわたって均一に分布させた５０５の文からなるテストコレクションを使用した。デコーダは、（１）速度及び（２）翻訳の正確さについて評価された。
【００７６】
三重字（ｔｒｉｇｒａｍ）言語モデルを利用するデコーダで得られた図５に示す結果は、グリーディーデコーダアルゴリズムが、伝統的なスタックデコーディングアルゴリズムに代わる有利な代替物であることを示している。グリーディーデコーダが、一度にせいぜい一単語が翻訳され、移動され又は挿入される、速度を最適化する操作のセット（すなわち先に考案した５文修正操作の全セットのサブセット）（図５に「グリーディー^＊」と標記されている）を利用したときでさえ、その翻訳文の正確さはごくわずかしか損われない。対照的に、その翻訳速度は少なくとも一桁増大する。対象の用途によっては、最適の結果を提供する遅いデコーダを使用するか、又は最適ではないが許容可能な結果を提供する速いグリーディーデコーダを使用するかを選択することができる。
【００７７】
グリーディーデコーダの別の実施態様も可能である。例えばグリーディーデコーダは、複数の異なる初期翻訳文（例えば図２のステップ２０２で使用されるグロスの異なる変型）で出発し、次いでグリーディーデコーディングアルゴリズム（すなわち図２に示すステップ２０４〜２１４）を、並列している異なる初期翻訳文に実行することができる。例えば、グリーディーデコーダの符号は、メモリに記憶された、多数の翻訳された語句から選択された初期の近似翻訳文で出発する。最後に、最良の翻訳文を選択することができる。異なる初期解のこの並列翻訳文によって、より正確な翻訳文を得ることができる。
【００７８】
ツリー書き換え器（ｔｒｅｅ ｒｅｗｒｉｔｅｒ）
ほとんどすべての従来のＭＴシステムは、テキストの一つの文を同時に処理する。このように焦点が限定されているので、ＭＴシステムは一般に、入力テキストの節や文を再グループ化（ｒｅ−ｇｒｏｕｐ）し次いで再順序付け（ｒｅ−ｏｒｄｅｒ）して目的言語の最も自然な翻訳文を達成することはできない。しかも、英語とフランス語のような類似した言語間でさえ、文の数の不一致が１０％ある。すなわち、一言語で二つの文に言われていることが、別の言語では一つの文だけ又は三つの文で言われる（Ｇａｌｅら、「Ａ ｐｒｏｇｒａｍ ｆｏｒ ａｌｉｇｎｉｎｇ ｓｅｎｔｅｎｃｅｓ ｉｎ ｂｉｌｉｎｇｕａｌ ｃｏｒｐｏｒａ」、Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ、１９（１）巻７５〜１０２頁１９９３年）。日本語と英語のようなかけはなれた言語のペアの場合、その差はさらに大きい。
【００７９】
例えば、図７に示す日本語の文（「テキスト（１）」）を検討する。下記の文（「テキスト（２）」）はテキスト（１）の逐次的「グロス」である。
【００８０】
【表１】

【００８１】
対照的に、職業翻訳家がつくった、日本語文の二つの文からなる翻訳文（「テキスト（３）」）は以下のように書かれている。
【００８２】
【表２】

【００８３】
テキストの標識をつけたスパンは、基本談話ユニット（ｅｄｕ）すなわち明白な談話機能を有する最小のテキストスパンを示す（Ｍａｎｎら、「Ｒｈｅｔｏｒｉｃａｌ ｓｔｒｕｃｔｕｒｅ ｔｈｅｏｒｙ： Ｔｏｗａｒｄ ａ ｆｕｎｃｔｉｏｎａｌ ｔｈｅｏｒｙ ｏｆ ｔｅｘｔ ｏｒｇａｎｉｚａｔｉｏｎ」、Ｔｅｘｔ、８（３）巻２４３〜２８１頁１９８８年）。そのテキストフラグメントを綿密に解析すると、テキスト（１）を翻訳する際に、職業翻訳家は、第一に、日本語ユニット２の情報を認識し（テキスト（１）のユニット２はテキスト（３）のユニット１にほぼ対応している）；次に日本語ユニット１の情報のいくらかを認識し（テキスト（１）のユニット１の一部はテキスト（３）のユニット２に対応している）；次にテキスト（１）のユニット１、３及び５に与えられた情報を拒絶し次いでその情報を英語でユニット３として認識する；などを選択することが分かる。また、該翻訳家は、元の日本語文の情報を、二つの英語文中にリパッケージ（ｒｅ−ｐａｃｋａｇｅ）することを選択する。
【００８４】
基本ユニットレベルにおいて、テキスト（１）の日本語とテキスト（３）の前記日本語の英語翻訳文との間の対応は下記マッピング（４）のように表すことができる。式中、ｊ⊂ｅは、ユニットｊの意味内容がユニットｅに完全に認識されていることを示し；ｊ⊃ｅは、ユニットｅの意味内容がユニットｊに完全に認識されていることを示し；ｊ＝ｅは、ユニットｊとｅが意味が同等であることを示し、そしてｊ≒ｅは、ユニットｊとｅの間に意味のオーバーラップがあることを示す。
【００８５】
【数２】

【００８６】
したがって、（４）に示すマッピングは、情報が、日本語から英語に翻訳される時に再順序付けされ次にリパッケージされる方法を明確に示す。しかし、テキストを翻訳するとき、その場合も修辞的翻訳が変化する。対照の関係（ｃｏｎｔｒａｓｔ ｒｅｌａｔｉｏｎ）を利用して日本語で認識されることは、例えば比較又は譲歩の関係（ａ Ｃｏｍｐａｒｉｓｏｎ ｏｒ ａ Ｃｏｎｃｅｓｓｉｏｎ ｒｅｌａｔｉｏｎ）を利用して英語で認識することができる。
【００８７】
図８と９は、前掲Ｍａｎｎの論文のスタイルで、上記テキストフラグメント（１）と（３）の談話構造を示す。各談話構造は一つのツリーであり、その葉は連続テキストスパンに相当する。各ノードは状態（ｓｔａｔｕｓ）（核又は衛星）及び修辞的関係が特徴であり、その修辞的関係は二つのオーバーラップしていないテキストスパンを保持する関係である。核と衛星の相違は、その核が、衛星よりライタ（ｗｒｉｔｅｒ）の意図に不可欠なことを表現し、そして修辞的関係の核は衛星とは無関係に広範囲にわたっているがその逆はないという実験観測から生じる。スパンが等しく重要である場合、修辞的関係は多核性である。例えば、図８と９に示す英語テキストの修辞的構造中のユニット［３］とスパン［４、５］の間を保持するコントラストの関係は多核性である。サフィックス「−ｅ」で終わる修辞的関係は、埋めこまれた統語的要素に対応する関係を示す。例えば、英語の談話構造のユニット２と１の間を保持する精緻化−目的語−限定語−Ｅ（ＥＬＡＢＯＬＡＴＩＯＮ−ＯＢＪＥＣＴ−ＡＴＴＲＩＢＵＴＥ−Ｅ）の関係は限定相対語（ｒｅｓｔｒｉｃｔｉｖｅ ｒｅｌａｔｉｖｅ）に対応する。
【００８８】
ｅｄｕレベルのマッピングを知っている場合、スパン（談話要素）レベルでもマッピングを確認できる。例えば、（４）の基本マッピングを使用して、日本語のスパン［１、２］が英語のスパン［１、２］に対応すること、日本語ユニット［４］が英語スパン［４、５］に対応すること、日本語スパン［６、７］が英語ユニット［６］に対応すること、日本語スパン［１、５］が英語スパン［１、５］に対応することなどを確認できる。図８と９が示すように、日本語のツリーのスパン［１、５］と［６、７］の間を保持する譲歩（ｃｏｎｃｅｓｓｉｏｎ）の関係が、英語のツリーのスパン［１、５］とユニット［６］の間を保持する類似の関係に対応する（日本語の場合、前記関係は文フラグメント間を保持するが英語の場合、前記関係は完全な文の間を保持することをモジュロ（ｍｏｄｕｌｏ）する）。しかし、日本語のツリーユニット［３］と［４］の間を保持する時を表すａｆｔｅｒ（ＴＥＭＰＯＲＡＬ−ＡＦＴＥＲ）の関係は、英語のツリーのユニット［３］とスパン［４、５］間の対照の関係として認識される。そして、日本語ユニット［６］と［７］は、英語では融合してユニット［６］になるから、前記の精緻化−目的語−限定語−Ｅの関係は、英語のテキストにおいてもはや明白には述べられない。
【００８９】
図８と９に示す二つの談話のツリーの間の差のいくつかは、ＭＴシステムにおいて統語的レベルで、伝統的にアドレス指定されている。例えばユニット１と２の再順序付けは統語的モデルだけを使用して処理できる。しかし、以下に考察するように、情報が文レベルでのみならずパラグラフ及びテキストのレベルで修辞的にパッケージされ編成される方式については、日本語と英語の間に有意な差がある。さらに具体的に述べると、ヒトは、日本語を英語に翻訳するとき、日本語テキストの節、文及びパラグラフを再順序付けし、その情報を、元の日本語ユニットの一対一マッピングでない節、文及びパラグラフに再パッケージし、次いで、英語に特異的な修辞的制約を反映させるため、該翻訳されたテキストの構造を修辞的に再編成する。翻訳システムは、文法的に正しいだけでなく首尾一貫しているテキストをつくらねばならぬ場合、目的テキストの談話構造が、目的言語の自然な翻訳を反映し、かつ原始言語の自然な翻訳を反映しないことを保証しなければならない。
【００９０】
下記実験の章で、日本語テキストとそれに対応する英語翻訳文の修辞的構造の間に有意な差があることを実験で示す。これらの差は、談話構造を書き換えるための計算モデルを開発することが必要で望ましいことを示している。
【００９１】
実験
ＭＴの談話構造の役割を評価するため、談話のツリーのコーパスを、４０の日本語テキストとそれらテキストの対応する翻訳文について手動操作でつくった。これらのテキストは、ＡＲＰＡコーパス（Ｗｈｉｔｅら、「Ｅｖａｌｕａｔｉｏｎ ｉｎ ｔｈｅ ＡＲＰＡ ｍａｃｈｉｎｅ−ｔｒａｎｓｌａｔｉｏｎ ｐｒｏｇｒａｍ：１９９３ ｍｅｔｈｏｄｏｌｏｇｙ」、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＲＰＡ Ｈｕｍａｎ Ｌａｎｇｕａｇｅ Ｔｅｃｈｎｏｌｏｇｙ Ｗｏｒｋｓｈｏｐ、１３５〜１４０頁米国ワシントンＤ．Ｃ．１９９４年）から無作為に選んだ。各テキストは、平均して約４６０個の単語を有していた。それら日本語のテキストは合計３３５個のパラグラフと７７３の文を有していた。英語のテキストは合計３３７個のパラグラフと８２７個の文を有していた。
【００９２】
談話注釈プロトコル（ｄｉｓｃｏｕｒｓｅ ａｎｎｏｔａｔｉｏｎ ｐｒｏｔｏｃｏｌ）を、日本語と英語について、Ｍａｒｃｕら、「Ｅｘｐｅｒｉｍｅｎｔｓ ｉｎ ｃｏｎｓｔｒｕｃｔｉｎｇ ａ ｃｏｒｐｕｓ ｏｆ ｄｉｓｃｏｕｒｓｅ ｔｒｅｅｓ」、Ｉｎ Ｐｒｏｃ． Ｏｆ ｔｈｅ ＡＣＬ’９９ Ｗｏｒｋｓｈｏｐ ｏｎ Ｓｔａｎｄａｒｄｓ ａｎｄ Ｔｏｏｌｓ ｆｏｒ Ｄｉｓｃｏｕｒｓｅ Ｔａｇｇｉｎｇ、４８〜５７頁米国メリーランド１９９９年）によって追跡されたラインにそって開発した。コーパス中の日本語と英語のテキストすべての談話構造を手動操作で構築するため、Ｍａｒｃｕの談話注釈ツール（１９９９年）を利用した。日本語と英語のテキストの比率は、二つのアナテータ（ａｎｎｏｔａｔｏｒ）で修辞的に標識をつけた。前記ツールと注釈プロトコルは、ｈｔｔｐ：／／ｗｗｗ．ｉｓｉ．ｅｄｕ／￣ｍａｒｃｕ／ｓｏｆｔｗａｒｅ／で入手できる。その注釈手続によって、全コーパスにわたって、２６４１の日本語ｅｄｕと２３６３の英語ｅｄｕが得られた。
【００９３】
【表３】

【００９４】
上記注釈に信頼性があるのは、コンピュータが階層的構造にわたって、カッパ統計量（ｋａｐｐａ ｓｔａｔｉｓｔｉｃ）（Ｓｉｅｇｅｌら、Ｎｏｎ−ｐａｒａｍｅｔｒｉｃ Ｓｔａｔｉｓｔｉｃｓ ｆｏｒ ｔｈｅ Ｂｅｈａｖｉｏｒａｌ Ｓｃｉｅｎｃｅｓ、ＭｃＧｒａｗ−Ｈｉｌｌ、第二版１９８８年）を計算するＭａｒｃｕらの１９９９年の方法を使用しているからであった。上記表１は、注釈の信頼性を反映する、基本談話ユニットの平均カッパ統計量ｋ_ｕ、階層的談話スパンの平均カッパ統計量ｋ_ｓ、階層的中核性のアサインメント（ｈｉｅｒａｒｃｈｉｃａｌ ｎｕｃｌｅａｒｉｔｙ ａｓｓｉｇｎｍｅｎｔｓ）の平均カッパ統計量ｋ_ｎ、及び階層の修辞的関係のアサインメントの平均カッパ統計量ｋ_ｒを示す。０．８より大きいカッパ数学は良好な一致に対応し、０．６より大きいカッパ数字は許容可能な一致に対応する。すべてのカッパ統計量がα＝０．０１より高いレベルで統計的に有意であった。カッパ統計量に加えて、表１は、カッパ統計量が計算された一文書当たりのデータ点の平均数も括弧内に示す。
【００９５】
日本語−英語の談話構造の各対に対するアラインメントファイル（ａｌｉｇｎｍｅｎｔ ｆｉｌｅ）も、手動操作で組み立てられた。なおそのファイルは、１頁で考察した注釈において、日本語テキストのｅｄｕと英語翻訳文のｅｄｕの間の対応を指定した。
【００９６】
英語と日本語の談話のツリーの類似性が、ｅｄｕ境界、階層的スパン、中核性及び修辞的関係の日本語と英語の談話構造のアサインメントに関するそれら構造の類似性を反映するラベル付き再表示（ｌａｂｅｌｅｄ ｒｅｃａｌｌ）及び精度の数字を使用して計算された。
【００９７】
比較されるツリーは、一言語と他の言語では、基本ユニットの数、これらユニットの順序、及びそれらユニットが談話スパン中に再帰的にグループ化される方法が異なるので、二つのタイプの再表示及び精度の数字が計算された。位置依存性（Ｐ−Ｄ）の再表示と精度の数字を計算する場合、日本語のスパンは、それが英語スパンのｅｄｕに対応するすべての日本語ｅｄｕを含んでいたとき、及び日本語と英語のスパンが全構造に対して同じ位置に出現したときに、英語スパンに整合しているとみなした。例えば、図８と９の英語のツリーは、１０個のサブセンテンシャルスパン（ｓｕｂｓｅｎｔｅｎｔｉａｌ ｓｐａｎ：［１］、［２］、［３］、［４］、［５］、［６］、［１、２］、［４、５］、［３、５］及び［１、５］が特徴的である）（スパン［１、６］は二つの文を包含する（ｓｕｂｓｕｍｅ）のでサブセンテンシャルではない）。日本語の談話のツリーは、同じ位置で英語のスパンと整合しうるスパンを四つしかすなわちスパン［１、２］、［４］、［５］及び［１、５］しかもっていない。したがって、日本語のツリーと英語のツリーの間の、それら談話に関する、文レベルより低い類似性は、再表示が４／１０で精度が４／１１である（図８と９には、１１個のサブステンシャル日本語スパンがある）。
【００９８】
位置と無関係（Ｐ−Ｉ）の再表示と精度の数字を計算する場合、日本語スパンが、翻訳文中、英語のツリーの位置まで「浮動」したときでさえ、Ｐ−Ｉの再表示と精度の数字は影響を受けない。これら位置に無関係の数字は、二つのツリーｔ_１とｔ_２の両者が一つのサブツリーｔを有している場合、ｔ_１とｔ_２は、それらが一つのツリーを共有していない場合より類似しているという直観を反映している。文レベルで、例えば、関係節の統語的構造が適正に翻訳されると、（その構造がたとえ適正に連結されていなくても）これはその関係節を間違って翻訳するより優れていると考えられる。位置と無関係の数字は、談話のツリーを比較するのに一層楽観的メトリック（ｍｏｒｅ ｏｐｔｉｍｉｓｔｉｃ ｍｅｔｒｉｃ）を提供する。その位置と無関係の数字は位置依存性の数字より広い範囲の値にまたがっている。このことによって、日本語と英語の談話構造の間の差のより優れた特性決定を行うことができる。表１に示すツリーにおいて、サブセンテンシャルレベルでのスパンに対して、楽観的な立場をとると、スパン［１、２］、［４］、［５］及び［１、５］に加えて、日本語スパン［１］を英語スパン［２］に、及び日本語スパン［２］を日本語スパン［１］にも整合させることができるので、再表示は６／１０になりそして精度は６／１１になる。
【００９９】
二つの談話のツリーがいかに精密であるかをより良好に推定するため、位置依存性の及び位置と無関係の再表示と精度の数字を、文レベルで（この場合、ユニットはｅｄｕによって与えられ、スパンはｅｄｕ又は単文のセットで与えられる）；パラグラフレベルで（この場合、ユニットは文によって与えられ、スパンは文又は単パラグラフのセットによって与えられる）；及びテキストレベルで（この場合、ユニットはパラグラフによって与えられ、スパンはパラグラフのセットによって与えられる）計算した。これらの数字は、談話の構造と関係がすべての談話レベルを横切り一つの言語から別の言語へ、文からテキストへどのようにマップされるかを詳細に示す。文レベルでの差異は、日本語と英語の統語的構造間の差異によって説明することができる。パラグラフレベルとテキストレベルでの差異は、純粋に修辞的な意味を有している。
【０１００】
再表示と精度の数字を、中核性と関係のアサインメントについて計算したとき、スパンの各ペアにラベルを付けた状態及び修辞的関係も要因として含めた。
【０１０１】
【表４】

【０１０２】
上記表２に、各レベル（文、パラグラフ及びテキストのレベル）に対する結果［Ｐ−ＤとＰ−Ｉの再表示（Ｒ）と精度（Ｐ）の数字］を要約してある。「重み付け平均値」の行の数字は、各レベルにおけるユニットの数によって重み付けを行った文、パラグラフ及びテキストそれぞれに特異的な数字の平均値を報告する。「全体」の行の数字は、文とパラグラフの境界に全く注意せずにツリー全体にわたって計算された再表示と精度の数字を反映している。
【０１０３】
日本と英語の有意に異なる統語的構造が与えられると、再表示と精度の結果は、文レベル以下で組み立てられた談話のツリーの間の類似性を反映して低かった。しかし表２が示すように、パラグラフレベルとテキストレベルでも談話のツリーの間に有意差がある。例えば、位置に無関係の数字は、文の約６２％のみ及び文全体にわたって組み立てられた階層的スパンの約５３％のみが、前記二つのコーパス間で整合させることができることを示している。パラグラフレベルで文全体にわたって組み立てられたスパンに関連した状態と修辞的関係を見ると、Ｐ−Ｉの再表示数字と精度の数字がそれぞれ約４３％と３５％まで低下する。
【０１０４】
再表示及び精度の差はともに、情報が二つの言語のパラグラフ中にパッケージされる方法、及び情報がパラグラフレベル内に及びパラグラフレベルのまわりに修辞的に構築される方法の差異によって説明される。
【０１０５】
これらの結果は、文単位ベースで、日本語を英語に翻訳しようとする場合、得られるテキストは談話の観点から不自然であろうと強く示唆している。例えば、日本語に比較の関係（ＣＯＮＴＲＡＳＴ ｒｅｌａｔｉｏｎ）を使用して翻訳されたなんらかの情報が、英語に精緻化の関係（ＥＬＡＢＯＲＡＴＩＯＮ ｒｅｌａｔｉｏｎ）を使用して翻訳されると、英語翻訳中に「しかし」のような談話標識を使うことは不適当であろうが、それは日本語の談話構造と矛盾しない。
【０１０６】
日本語と英語の間の修辞的マッピングを検査したところ、いくつかの日本語の修辞的翻訳文が英語の一つ又はいくつもの好ましい翻訳文に一貫してマップされていることが明らかになった。例えば、日本語テキスト中の１１５の対照的関係（ＣＯＮＴＲＡＳＴ ｒｅｌａｔｉｏｎ）のうち３４が英語の対照の関係にマップされており；２７は対句（ＡＮＴＩＴＨＥＳＩＳ）と譲歩（ＣＯＮＣＥＳＳＩＯＮ）などの関係の核になり；１４は比較の関係として翻訳され、６は譲歩関係の衛星として翻訳され、５はリスト（ＬＩＳＴ）の関係として翻訳される。
【０１０７】
談話ベースの変換モデル
図１０は、訓練中のプロセスにおけるツリー書き換え器のブロック図である。図１０に示すように、ツリー書き換え器７００は、二つの異なるタイプのツリー、例えばＡタイプのツリーとＢタイプのもう一つのツリーを入力として受け取り、次にタイプＡのツリーをタイプＢのツリーに書き換える方法を自動的に学習する。ツリー書き換え器７００は、出力として、タイプＡのツリーをタイプＢのツリーに書き換えるための変換関数：Ｈ（Ａ→Ｂ）を生成する。したがって、タイプＡが日本語のツリーに対応しそしてタイプＢが英語のツリーに対応すると仮定すると、Ｈ（Ａ→Ｂ）は、ユーザ（例えばヒトのエンドユーザ又はツリー書き換え器を起動するソフトウェアアプリケーション）が、英語のツリー構造を日本語の対応するツリー構造に自動的に変換できるようにする。
【０１０８】
ツリー書き換え器は、構文のツリー（シンタックスツリー；ｓｙｎｔａｃｔｉｃ ｔｒｅｅ）、修辞のツリー及び事実上、計量言語学に使用される他のどんなタイプのツリー構造に対しても作動する。ツリー書き換え器は、機械翻訳におけるアプリケーションのみならず、集計、談話解析、統語解析、情報検索、自動試験採点及びツリーを生成し使用する他のアプリケーションも有する。例えば機械翻訳の場合、ツリー書き換え器は、一言語に特異的な統語／修辞のツリーを、もう一つの言語に対する統語／修辞のツリーに書き換えるのに使用できる。集計の場合、ツリー書き換え器は、長いテキスト又は文の談話／構文構造を、短いテキスト又は文の談話／構文構造に書き換えるのに使用できる。
【０１０９】
この高い汎用性は図１１に示してあるが、図１１中のツリー書き換え器８０１は、変換関数Ｈ（ツリー→ツリー’）を学習するように訓練された後、ツリーを出力として生成するアプリケーション８００から、ツリーを入力として受け入れることができる。ツリー書き換え器の出力（ツリー’−上記入力されたツリーの書き換えられたバージョン）は、出力側で、ツリーを入力として使用するアプリケーションに入力として使用できる。
【０１１０】
図１２は、より大きいシステムすなわち談話ベースの機械翻訳システムの要素としてのツリー書き換え器の特定アプリケーションのブロック図である。例えば、より大きい著作（例えば全書）の個々の文を別々に翻訳することによって「タイルド（ｔｉｌｅｄ）」法を翻訳に有効に採用する従来のＭＴシステムと異なり、図１２の談話ベースのＭＴシステムは、全テキストを全体として翻訳し、原本と文の数及び／又は配列は異なるが、元テキストの基礎になっている談話又は修辞をうまくとらえた翻訳文をもたらすことができる。
【０１１１】
図１２に示すように、談話ベースＭＴシステム９１０は、原始言語テキスト９００を入力として受け取りついで目的言語テキスト９０８（該原始言語テキスト９００の談話ベース翻訳文）を出力として生成する。そのシステム９１０は、三つの基本的要素、すなわち談話パーサ（ｄｉｓｃｏｕｒｓｅ ｐａｒｓｅｒ）９０２、談話構造変換モジュール９０４（すなわち、変換関数：Ｈ（ツリー→ツリー’）を使用してツリーを書き換えるようトレーニングされたツリー書き換え器の具体例）、及び目的言語のツリー−テキストマッパー（ｔａｒｇｅｔ ｌａｎｇｕａｇｅ ｔｒｅｅ−ｔｅｘｔ ｍａｐｐｅｒ）９０６を備えている。
【０１１２】
上記談話パーサ９０２は、最初、原始言語テキストの談話構造を引き出し次いで対応する談話のツリーを出力として生成する。談話パーサ９０２として使用できる談話パーサの詳細は、Ｄａｎｉｅｌ Ｍａｒｃｕ、「Ａ Ｄｅｃｉｓｉｏｎ−Ｂａｓｅｄ Ａｐｐｒｏａｃｈ ｔｏ Ｒｈｅｔｏｒｉｃａｌ Ｐａｒｓｉｎｇ」Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ＡＣＬ’９９、１９９９年に記載されている。なおこの文献は本願に援用するものである。
【０１１３】
目的言語のツリーテキストマッパー９０６は、談話の特異的特徴を取りこんだ翻訳と言語のモデルを使用して目的言語中に入力テキストをマッピングする統計的モジュールである。なおその談話の特異的特徴は、談話パーサ９０２の出力及び談話構造変換モジュール９０４の出力から抽出される。適切なマッパー９０６の詳細は、Ｕｌｒｉｃｈ Ｇｅｒｍａｎｎ、Ｍｉｃｈａｅｌ Ｊａｈｒ、Ｋｅｖｉｎ Ｋｎｉｇｈｔ、Ｄａｎｉｅｌ Ｍａｒｃｕ、Ｋｅｎｊｉ Ｙａｍａｄａ、「Ｆａｓｔ Ｄｅｃｏｄｉｎｇ ａｎｄ Ｏｐｔｉｍａｌ Ｄｅｃｏｄｉｎｇ ｆｏｒ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ３９^ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ、２００１年７月６〜１１日に記載されている。なお、この文献は本願に援用するものである。
【０１１４】
上記のように、談話構造変換モジュール９０４は、ツリーを、所望の入力タイプから所望の出力タイプに書き換えるようトレーニングされたツリー書き換え器の具体例である。さらに具体的に述べると、談話構造変換モジュール９０４は、目的テキストに対して自然な談話翻訳を反映するように、入力テキストの談話構造を書き換える。
【０１１５】
図１３は、二つの異なるタイプのツリー構造、例えばタイプＡのツリーとタイプＢのツリーの間の変換関数を自動的に学習するように、ツリー書き換え器をトレーニングするのに利用できるプロセス１３００を示す流れ図である。
【０１１６】
図１３に示すように、第一ステップ１３０１は、ツリーの入力−出力ペアのトレーニングセット［Ｔ_ｓ、Ｔ_ｔ］及び入力−出力ツリーペア各々の葉の間のマッピングＣを生成するステップである。そのペアの入力ツリーは、そのタイプから変換することが望ましいタイプのツリーであり、換言すると、原始ツリータイプのＴ_ｓである。そのペアの出力ツリーは、そのタイプに変換することが望ましいタイプのツリーであり、換言すれば目的ツリータイプのＴ_ｔである。
【０１１７】
入力ツリー及びそのペアの出力ツリーの葉の間のマッピングＣは、原始テキストセグメントとその対応する目的言語翻訳文の間の対応を定義する。これらのマッピングは、下記のように手動操作で、又はＫｅｖｉｎ Ｋｎｉｇｈｔ及びＤａｎｉｅｌ Ｍａｒｃｕ、「Ｓｔａｔｉｓｔｉｃｓ−Ｂａｓｅｄ Ｓｕｍｍａｒｉｚａｔｉｏｎ−Ｓｔｅｐ Ｏｎｅ： Ｓｅｎｔｅｎｃｅ Ｃｏｍｐｒｅｓｓｉｏｎ」、Ｔｈｅ １７^ｔｈ Ｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＡＡＡＩ−２０００）７０３〜７１０頁に記載されているように自動的に生成することができる。なお、この文献は本願に援用するものである。
【０１１８】
利用できる日本語−英語の入力−出力ペアの葉の間の利用可能なタイプのマッピングは、上記式（４）（式中、ｊは日本語テキストセグメントを意味しそしてｅはそのテキストセグメントの英語翻訳文を意味する）に示してある。式（４）で表されるマッピングは、１対１のマッピングに限定されず、任意のマッピング、すなわち１対１のみならず１対多数、多数対１及び多数対多数のマッピングであってもよいことに留意すべきである。マッピングにおけるこの適応性は、入力ツリーと出力ツリーの間の関連が定義されるリッチネス（ｒｉｃｈｎｅｓｓ）を劇的に高め、そしてさらに、自動的に学習される変換関数Ｈ［］の適応性を高める。
【０１１９】
トレーニングセット（入力−出力のツリーのペア及びそれらツリーの間のマッピング）がつくられた後、次に、そのトレーニングプロセスは、ステップ１３０３で、そのペアになっている入力ツリーから出発する所定の入力ツリーを生成する操作のグルーピングと順序を決定する。このステップは、総合的に、「拡張シフト−還元」操作（“ｅｘｔｅｎｄｅｄ ｓｈｉｆｔ−ｒｅｄｕｃｅ”ｏｐｅｒａｔｉｏｎ）と呼称される下記七つの基本的操作すなわちシフト、還元、ブレーク（ｂｒｅａｋ）、クリエイト−ネクスト（ｃｒｅａｔｅ−ｎｅｘｔ）、融合（ｆｕｓｉｏｎ）、スワップ及びアサインタイプ（ａｓｓｉｇｎ Ｔｙｐｅ）に基づいて実行される。なおこれらの操作は、「談話ベースの変換モデル」という標題の後記の章で詳細に説明する。これら七つの操作は、与えられた入力ツリーをそのペアになっている出力ツリーに書き換えるのに充分な操作である。
【０１２０】
ステップ１３０３の出力は、学習ケースすなわちトレーニングセット中の入力−出力ツリーのペア各々の学習ケースのセットである。各学習ケースは、本質において、入力ツリーに適用されると、ペアの出力ツリーを生成する拡張シフト−還元操作の順序付けられたセットである。
【０１２１】
次に、ステップ１３０５において、ツリー書き換え器のトレーニングプロセス１３００は、特徴（例えば操作と談話の特徴、対応ベースの特徴及び字句の特徴）を、学習ケースと関連づけて、操作を実行すべきコンテキスト（文脈；ｃｏｎｔｅｘｔ）を反映させる。ステップ１３０５の詳細は、表題が「Ｌｅａｒｎｉｎｇ ｔｈｅ ｐａｒａｍｅｔｅｒｓ ｏｆ ｔｈｅ ｄｉｓｃｏｕｒｓｅ−ｔｒａｎｓｆｅｒ ｍｏｄｅｌ」の後記章で考察する。
【０１２２】
次にステップ１３０７において、ツリー書き換え器トレーニングプロセス１３００は、学習アルゴリズム、例えばＪ． Ｒｏｓｓ Ｑｕｉｎｌａｎ、「Ｃ４．５： Ｐｒｏｇｒａｍｓ ｆｏｒ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ」Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ Ｐｕｂｌｉｓｈｅｒｓ１９９３年に記載されているようなＣ４．５アルゴリズムを適用して、決定則のセットを学習ケースから学習する。ステップ１３０７の詳細は、表題が「Ｌｅａｒｎｉｎｇ ｔｈｅ ｐａｒａｍｅｔｅｒｓ ｏｆ ｔｈｅ ｄｉｓｃｏｕｒｓｅ−ｔｒａｎｓｆｅｒ ｍｏｄｅｌ」の後記章で考察する。この決定則のセットは、タイプＴ_ｓのツリーを、タイプＴ_ｔのツリーに書き換えるのに用いる変換関数：Ｈ（Ｔ_ｓ→Ｔ_ｔ）を統合的に構成している。その場合、この変換関数は、前には見えなかったタイプＴ_ｓのツリーを、タイプＴ_ｔのツリーに書き換えるため、ユーザ、アプリケーション又は他の自動化プロセスが利用できる。
【０１２３】
ツリー書き換え器のトレーニングのより詳細な考察は次のとおりである。
【０１２４】
談話構造のツリーを書き換えることを学習するため、定義３．１で以下に定義される関連する問題がアドレス指定される。
【０１２５】
定義３．１　二つのツリーＴ_ｓとＴ_ｔ及び対応テーブルＣが、＝、⊂、⊃及び≒のリアクション（ｒｅａｃｔｉｏｎ）によって葉のレベルにてＴ_ｓとＴ_ｔの間で定義されれば、ツリーＴ_ｓをＴ_ｔに書き換える一連のアクションを見つける。
【０１２６】
任意の組（ｔｕｐｌｅ）（Ｔ_ｓ、Ｔ_ｔ、Ｃ）に対し、このような一連のアクションを引き出すことができるならば、ツリーＴ_ｓと同じ構造特性を有する見えない（ｕｎｓｅｅｎ）ツリーＴ_ｓｉから、Ｔ_ｔと類似の構造特性を有するツリーＴ_ｔｊを引き出すように自動的に学習するため、（Ｔ_ｓ、Ｔ_ｔ、Ｃ）の組のコーパスを使うことが可能である。
【０１２７】
定義３．１の問題を解決するには、Ｍａｎｇｅｒｍａｎ、「Ｓｔａｔｉｓｔｉｃａｌ ｄｅｃｉｓｉｏｎ−ｔｒｅｅ ｍｏｄｅｌｓ ｆｏｒ ｐａｒｓｉｎｇ」Ｉｎ Ｐｒｏｃ． Ｏｆ ＡＣＬ’９５、２７６〜２８３頁米国マサチューセッツ州ケンブリッジ１９９５年；Ｈｅｒｍｊａｋｏｂ ら、「Ｌｅａｒｎｉｎｇ ｐａｒｓｅ ａｎｄ ｔｒａｎｓｌａｔｉｏｎ ｄｅｃｉｓｉｏｎｓ ｆｒｏｍ ｅｘａｍｐｌｅｓ ｗｉｔｈ ｒｉｃｈ ｃｏｎｔｅｘｔ」Ｉｎ Ｐｒｏｃ． Ｏｆ ＡＣＬ’９７４８２〜４８９頁スペイン、マドリード１９９７年；及びＭａｒｃｕ、「Ａ ｄｅｃｉｓｉｏｎ−ｂａｓｅｄ ａｐｐｒｏａｃｈ ｔｏ ｒｈｅｔｏｒｉｃａｌ ｐａｒｓｉｎｇ」Ｉｎ Ｐｒｏｃ． Ｏｆ ＡＣＬ’９９、３６５〜３７２頁米国メリーランド１９９９年によって適用されるシフト−還元解析パラダイムをいくぶん拡張する必要がある。この拡張されたパラダイムにおいて、該変換プロセスは、空スタック及び一連の基本談話のツリーのｅｄｔを含有する入力並び（入力リスト；Ｉｎｐｕｔ Ｌｉｓｔ）から出発し、ツリーＴ_ｓの各ｅｄｕに対する一つのｅｄｔが入力として与えられる。各ｅｄｔと関連する状態及び修辞的関係は定義されていない。各ステップにおいて、変換モジュールは、Ｔ_ｓ内のユニットから談話のツリーＴ_ｔを組み立てることを目的とする操作を適用する。前記談話変換モジュールに関連して、以下の七つのタイプの操作が実行される。
【０１２８】
・シフト操作が第一ｅｄｔを、入力並びからスタックに変換する。
・還元操作が、スタックのトップに位置する二つの談話のツリーをポップ（ｐｏｐ）し、それらのツリーを、その操作に関与するツリーの状態と修辞関係名を更新する新しいツリーに結合し、次いでその新しいツリーをスタックのトップにプッシュする。これらの操作は、談話のツリーの構造を、目的言語中に組み立てるために利用される。
・ブレーク操作が、入力並びを、予め定められた数のユニット中に開始する際、ｅｄｔをブレークするために利用される。これらの操作は、得られたツリーがＴ_ｔと同じ数のｅｄｔをもっていることを保証するために使用される。例えば、一つの日本語ｅｄｕが複数の英語ユニット中にマップされるときはいつも、一つのブレーク操作が利用される。
・クリエイト−ネクスト操作が、例えば、日本語（原始言語）のツリーに対応物がない英語（目的言語）の談話要素をつくるために利用される。
・融合操作が、スタックのトップに位置するｅｄｔを、その直前を先行するツリーに融合させるために利用される。これら操作は、例えば、複数の日本語ｅｄｕが一つの英語ｅｄｕにマップされるときはいつでも利用される。
・スワップ操作が、入力並びの最初のｅｄｔを、右側の１又は２以上の位置に見つけられたｅｄｔでスワップする。これら操作は、談話の要素を再順序付けするために使用される。
・アサインタイプの操作が、下記タイプすなわちユニット、マルチユニット、文、パラグラフ、マルチパラグラフ及びテキストの１又は２以上を、スタックのトップに位置するツリーｔに割り当てる。これらの操作は、目的言語に特異的な文及びパラグラフの境界を保証するために利用される。
【０１２９】
例えば、図９の英語のツリーの第一文は、下記アクション（５）のシーケンスをたどることによって、原日本語のシーケンスから得ることができ、そのアクションの効果は図１４に示してある。簡潔にするため、図１４にはアサインタイプのアクションの効果を示していない。同じく簡潔にするため、いくつものラインは２以上のアクションに相当するラインである。
【０１３０】
（５）ブレーク２；スワップ２；シフト；アサインタイプユニット；シフト；還元−ＮＳ−精緻化−目的語−限定語−Ｅ；アサインタイプマルチユニット；シフト；アサインタイプユニット；シフト；アサインタイプユニット；融合；アサインタイプユニット；スワップ２；シフト；アサインタイプユニット；融合；ブレーク２；シフト；アサインタイプユニット；シフト；アサインタイプユニット；還元−ＮＳ−精緻化−追加（ＡＤＤＩＴＩＯＮＡＬ）；アサインタイプマルチユニット；還元−ＮＳ−対照；アサインタイプマルチユニット；還元−ＳＮ−バックグランド；アサインタイプ文。
【０１３１】
談話ベースの変換モジュールが日本語の談話のツリーから出発する英語の談話のツリーを引き出すことができるようにするために使用されるコーパスに対して、下記の事を実施すれば充分である。
【０１３２】
・一つのシフト操作
・３×２×８５の還元操作；（中核性アサインメントの三つの可能なペア：核−衛星（ＮＳ）、衛星−核（ＳＮ）および核−核（ＮＮ）の各々について、二つの隣接するツリーを還元する二つの可能な方法がある（一方のツリーは二分ツリーをもたらし残りのツリーは非二分ツリーをもたらす）（Ｍａｒｃｕ、「Ａ ｄｅｃｉｓｉｏｎ−ｂａｓｅｄ ａｐｐｒｏａｃｈ ｔｏ ｒｈｅｔｏｒｉｃａｌ ｐａｒｓｉｎｇ」 Ｉｎ Ｐｒｏｃ． Ｏｆ ＡＣＬ’ ９９、３６５〜３７２頁　米国メリーランド１９９９年）、及び８５の関係名）
・三つのタイプのブレーク操作；（使用されるコーパスにおいて、日本語ユニットが、２ユニット、３ユニット又はせいぜい４ユニットにブレークされる）；
・一つのタイプのクリエイト−ネクスト操作；
・一つのタイプの融合操作；
・１１タイプのスワップ操作；（コーパスにおいて、日本語ユニットは、英語特異的翻訳文のそれらの位置からせいぜい１１位置離れている）
・七つのタイプのアサインタイプ操作：ユニット、マルチユニット、文、マルチ文、パラグラフ、マルチパラグラフ及びテキスト。
【０１３３】
これらのアクションは、任意のツリーＴ_ｓを任意のツリーＴ_ｔに書き換えるのに充分なアクションであり、この場合、Ｔ_ｔは異なる数のｅｄｕを有していてもよく、Ｔ_ｔのｅｄｕはＴ_ｓのｅｄｕとは異なる順序付けがなされていてもよく、かつこれら二つのツリーの階層構造も異なっていてもよい。
【０１３４】
談話−変換モデルのパラメータの学習
この変換モデルの構成は各々、学習ケースと関連がある。これらのケースは、手動操作で構築される対応（ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）を、基本ユニットレベルで使用して、コーパス中の日本語のツリーを同胞の英語のツリーにマッピングするアクションのシーケンスを自動的に引き出すプログラムによってつくった。全体にわたって、日本語と英語の談話のツリーの４０個のペアが１４１０８個のケースを生じた。
【０１３５】
各学習実施例に対して、下記クラス由来の特徴のセットを関連づけた。
【０１３６】
操作と談話の特徴は、スタック、入力並び、及び最後の五つの操作のタイプに、ツリーの数を反映する。これらの特徴は、特定の時間までに組み立てられる部分のツリーのタイプ、及びこれらのツリーの間を保持する修辞的関係に関連する情報を符号化する。
【０１３７】
対応ベースの特徴は、中核性、修辞的関係、及び与えられた時間までに引き出される英語様部分のツリーに対応する日本語のツリーのタイプを反映する。
【０１３８】
字句の特徴は、与えられた時間までに引き出される構造に対応する日本語のスパンが、潜在的な談話標識、例えば「だから」（ｂｅｃａｕｓｅ）や「のに」（ａｌｔｈｏｕｇｈ）を使うかどうかを指定する。
【０１３９】
談話変換モジュールは、決定のツリー、及び日本語の談話のツリーが英語様のツリーにどのようにマップされるべきかを指定するルールを学習するため、Ｃ４．５プログラム（Ｑｕｉｎｌａｎ著、Ｃ４．５： Ｐｒｏｇｒａｍｓ ｆｏｒ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ、Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ Ｐｕｂｌｉｓｈｅｒｓ １９９３年）を使用する。分類器（ｃｌａｓｓｉｆｉｅｒ）の１０倍相互妥当性の評価（ｔｅｎ−ｆｏｌｄ ｃｒｏｓｓ−ｖａｌｉｄａｔｉｏｎ ｅｖａｌｕａｔｉｏｎ）は、正確さが７０．２％（±０．２１）になった。
【０１４０】
分類器の強みと弱点を充分に理解するために、問題をより小さい要素に分けた。したがって、すべてのアクションを同時に学習する代わりに、書換え手順が、シフト、還元、ブレーク、融合、スワップ又はアサインタイプの操作（表３に示す「主アクションタイプ」）を選ぶべきかどうかが第一に決定され、その次にはじめて、どんなタイプの還元操作を実施して日本語のユニットをいくつのユニットに分けるか、スワップされたユニットに対する距離をどんな大きさにすべきか、及びどんなタイプのアサインタイプの操作を実行すべきかを決定することによって前記決定が改善される。下記の表３は、１０倍相互妥当性評価法を使用して測定される、各データセットの大きさとこれら分類器各々の性能を示す。比較するために、各分類器はマジョリティベースライン（ｍａｊｏｒｉｔｙ ｂａｓｅｌｉｎｅ）とペアにしてある。
【０１４１】
【表５】

【０１４２】
表３に示す結果は、最も困難な学習すべきサブタスクが日本語ユニットの分けなければならないユニットの数を決定するサブタスク及びスワップすべきユニットに対する距離を決定するサブタスクであることを示す。利用される特徴は、これらアクションタイプのベースライン分類器を改良できない。「主アクションタイプ」の分類器についての混同マトリックス（ｃｏｎｆｕｓｉｏｎ ｍａｔｒｉｘ）（表４参照）は、該システムが、ブレークとクリエイト−ネクストのアクションをほとんど同一視する問題があることを示している。該システムは、どんなタイプの中核性順序付けを選ぶか（「中核性−還元」分類器）及びどんな関係を英語様構造に選ぶか（「関係−還元」分類器）を学習することは困難である。
【０１４３】
【表６】

【０１４４】
図１５は典型的な学習曲線すなわち「還元関係」分類器に対応する学習曲線である。この学習曲線は、より多くのトレイニングデータが性能を改善できることを示唆している。しかし、その学習曲線は、性能を有意に改善するためには、より優れた特徴が必要であろうということも示唆している。
【０１４５】
下記表５はいくつかの学習されたルールを示す。第一のルールは、日本語から英語に翻訳される時に限定の関係（ＡＴＴＲＩＢＵＴＩＯＮ ｒｅｌａｔｉｏｎ）の核と衛星の順序が変更される修辞マッピングを説明する。第二のルールは、例（ＥＸＡＭＰＬＥ）の日本語衛星を根拠（ＥＶＩＤＥＮＣＥ）の英語衛星にマッピングするために学習された。
【０１４６】
【表７】

【０１４７】
談話ベース変換モジュールの評価
汎用分類器又はその他の６種の分類器を続けて適用することによって、日本語の談話のツリーを、その構造が英語の自然な翻訳文に近くなるツリーにマッピングすることができる。談話ベース変換モジュールを評価するため、１０倍相互妥当性評価実験を行った。すなわち、それら分類器を、手動操作で組み立てて整列させた談話構造の３６ペアのトレーニングを行い次いでその学習された分類器を使って、四つの見えない日本語の談話のツリーを、英語様ツリーにマップした。その引き出されたツリーと手動操作で組み立てられた英語のツリーの類似性を、さきに考察したマトリクスを使用して測定した。この手順を１０回繰り返したが、各回で、異なるサブセットのツリーのペアのトレーニングと試験を行った。
【０１４８】
表２に報告した結果は、該モデルに対するベースラインとしての報告であった。そのベースラインは、談話の知識を全く適用しないことに対応している。下記表６は、汎用分類器を使用して、日本語のツリーを英語様ツリーにマップしたときに得られた再表示と精度の数字の絶対改良（パーセント）を示す。汎用分類器が最良の結果を示した。表６に示す結果は、１０倍相互妥当性評価実験での平均値である。
【０１４９】
【表８】

【０１５０】
表６の結果は、ここに記載のモデルが、英語様談話構造を文に対して組み立てることについてはベースラインより優れているが、英語様構造を、パラグラフとテキストのレベルで組み立てることについてはベースラインより劣ることを示している。このモデルの一つの潜在的欠点は、パラグラフの境界を割り当てる（ａｓｓｉｇｎ）性能が低いことが原因のようである。分類器は、どちらのスパンがパラグラフを考慮すべきでどのスパンがパラグラフを考慮すべきでないかを正しく学習しないので、そのパラグラフとテキストのレベルでの再表示と精度の結果はマイナスの影響を受ける。また、パラグラフとテキストのレベルでの劣った結果は、一ステップずつツリーを再構築する過程でその効果が累積する誤り、及びこれらのレベルについては、それから学習すべきデータが少ないことによって説明できる。
【０１５１】
しかし、文とパラグラフの境界を無視し、談話構造全体を評価するならば、このモデルは、位置依存評価によって、どうあってもベースラインより優れており；位置独立評価によって、基本ユニット、階層スパン及び中核性状態の割り当て（ａｓｓｉｇｎｍｅｎｔ）についてはベースラインより優れており；そして位置独立評価によって、修辞的関係の割り当てについてはベースラインにごくわずか劣ることが分かる。より高性能の談話の特徴、例えばＭａｙａｒｄ著、Ｐｒｉｎｃｉｐｌｅｓ ｏｆ Ｊａｐａｎｅｓｅ Ｄｉｓｃｌｏｓｕｒｅ： Ａ Ｈａｎｄｂｏｏｋ， Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖ． Ｐｒｅｓｓ １９９８年に記載されている特徴、及びこれら二つの言語のレキシコグラマー（ｌｅｘｉｃｏｇｒａｍｍａｒ）によるより密接な統合によって、談話ベースの翻訳モデルを学習するより優れたきっかけが生まれる。
【０１５２】
ツリー書き換え器の別の実施態様が可能である。例えば、可能性があることはツリーを書き換える手順に組み入れることができる。あるいは又は追加して、複数のツリーは平行して書き換えることができそして最良のツリーが最後に選択される。現行の実施態様では、目的のツリーＴ_ｔは一連の決定性ステップにて再帰（ｒｅｃｕｒｓｉｏｎ）又は分岐なしで生成する。あるいは、可能性があることを個々の各ステップと関連づけ、次いで複数の代替物を同時に探索することによって目的のツリーＴ_ｔを再構築することが可能である。目的のツリーＴ_ｔの確率は、そのツリーに生じるすべてのステップの確率の積で表される。この場合、目的のツリーＴ_ｔは、最大の確率で得られたツリーであると解される。このような方法の利点は、確率的変換関数Ｈ［］を学習できることである。
【０１５３】
ごく少数の実施態様だけを詳細に説明してきたが、当業技術者は、好ましい実施態様において多くの変形が、本願の教示から逸脱することなく可能であることが確実に分かるであろう。このような変形はすべて本願の特許請求の範囲に含まれる。

【図面の簡単な説明】
【図１Ａ】ユーザからみた機械翻訳のブロック図を示す。
【図１Ｂ】単語レベルの整合の一例を示す。
【図２】グリーディーデコーダの一実施態様の操作の流れ図を示す。
【図３】フランス語の文の英語翻訳文を生成するグリーディーデコーダの一実施例を示す。
【図４】グリーディーデコーダがフランス語の文の英語翻訳文を生成するとき、ユーザが見る出力の一実施例を示す。
【図５】三文字言語のモデルを使用して行った異なるデコーダ間の比較を示す表である。
【図６】修辞構造のツリーの一実施例を示す。
【図７】日本語の原始文の一例である。
【図８】図７に示す日本語原始文の談話構造である。
【図９】図７に示す日本語原始文から翻訳された英語の目的文の談話構造である。
【図１０】ツリー書き換え器のブロック図を示す。
【図１１】ツリー書き換え器がより大きいシステムのサブシステムとしてどのように使用できるかを示すブロック図である。
【図１２】サブシステムとしてツリー書き換え器を備えた談話ベースの機械翻訳システムのブロック図を示す。
【図１３】ツリー書き換え器を組み立てるのに利用する手順の流れ図である。
【図１４Ａ】ツリーを徐々に再構築している一実施例を示す。
【図１４Ｂ】ツリーを徐々に再構築している一実施例を示す。
【図１５】関係−還元分類器の学習曲線のグラフである。

Claims (65)

1. 目的言語に翻訳すべき原始言語のテキストセグメントを入力として受け取り、
   初期翻訳分を、現行目的言語翻訳文として生成し、
   その現行目的言語翻訳文に、１又は２以上の修正オペレータを適用して、１又は２以上の修正された目的言語翻訳文を生成し、
   その修正された目的言語翻訳文の１又は２以上が、該現行目的言語翻訳文と比較して改良された翻訳文になっているかどうかを確認し、
   修正された目的言語翻訳文を、現行目的言語翻訳文として設定し、次いで
   前記適用、前記確認及び前記設定を、終了条件が生じるまで繰り返す、
   ことを含んでなる機械翻訳デコーディング方法。
2. テキストセグメントが、節、文、パラグラフ又は全書を含んでいる請求項１に記載の方法。
3. 初期翻訳文を生成することがグロスをつくることを含む請求項１に記載の方法。
4. 該グロスが逐語的グロスか又は逐語句的グロスである請求項３に記載の方法。
5. １又は２以上の修正オペレータを適用することが、現行目的言語翻訳文の一つ又は二つの単語の訳語を変更することを含んでいる請求項１に記載の方法。
6. １又は２以上の修正オペレータを適用することが、（ｉ）現行目的言語翻訳文の一つの単語の訳語を変更すること、及び同時に（ｉｉ）原始言語テキストセグメントと現行目的言語翻訳文との間に最高確率の整合を生じる位置に別の単語を挿入することを含み、その挿入される別の単語はファーティリティがゼロ値である確率が高い請求項１に記載の方法。
7. １又は２以上の修正オペレータを適用することが、現行目的言語翻訳文から、ファーティリティがゼロ値の単語を削除することを含む請求項１に記載の方法。
8. １又は２以上の修正オペレータを適用することが、現行目的言語翻訳文中のオーバーラップしていない目的言語の単語セグメントをスワップすることによって、原始言語テキストセグメントと現行目的言語翻訳文の間の整合を修正することを含む請求項１に記載の方法。
9. １又は２以上の修正オペレータを適用することが、（ｉ）現行目的言語翻訳文から目的言語の単語を除き、及び（ｉｉ）原始言語テキストセグメント中の単語をリンクすることによって、原始言語テキストセグメントと現行目的言語翻訳文の間の整合を修正することを含む請求項１に記載の方法。
10. １又は２以上の修正パラメータを適用することが、下記のこと、すなわち
    （ｉ）現行目的言語翻訳文の一つ又は二つの単語の訳語を変更すること、
    （ｉｉ）現行目的言語翻訳文の一つの単語の訳語を変更し、同時に、原始言語テキストセグメントと現行目的言語翻訳文の間の最高確率の整合を生じる位置に別の単語を挿入することであって、その挿入された別の単語がゼロ値のファーティリティを有する確率が高いこと、
    （ｉｉｉ）現行目的言語翻訳文から、ファーティリティがゼロ値の単語を削除すること、
    （ｉｖ）現行目的言語翻訳文中のオーバーラップしていない目的言語単語セグメントをスワップすることによって、原始言語テキストセグメントと現行目的言語翻訳文の間の整合を修正すること、並びに
    （Ｖ）目的言語の単語を現行目的言語翻訳文から除き及び原始言語テキストセグメント中の単語をリンクすることによって、原始言語テキストセグメントと現行目的言語翻訳文の間の整合を修正すること、
    の２又は３以上を適用することを含む請求項１に記載の方法。
11. 該修正された目的言語翻訳文の１又は２以上が現行目的言語翻訳文と比べて改良された翻訳文になっているかどうかを確認することが、該修正された目的言語翻訳文各々の正当性の確率を計算することを含む請求項１に記載の方法。
12. 該終了条件が、修正された目的言語翻訳文の正当性の確率が現行目的言語翻訳文の正当性の確率より大きくないことを確認することを含む請求項１に記載の方法。
13. 該終了条件が、予め定められた数の繰り返しの完了を含む請求項１に記載の方法。
14. 該終了条件が、予め定められた時間が経過することを含む請求項１に記載の方法。
15. 原始言語テキストセグメントの目的言語翻訳文を、終了条件が生じるまで繰り返し修正することを含むコンピュータ実行機械翻訳デコーディング方法。
16. 該終了条件が、修正された翻訳文の正当性の確率がその前の翻訳文の正当性の確率より大きくないことを確認することを含む請求項１５に記載の方法。
17. 該終了条件が、予め定められた数の繰り返しの完了を含む請求項１５に記載の方法。
18. 該原始言語テキストセグメントが、節、文、パラグラフ又は全書を含む請求項１５に記載の方法。
19. 近似目的言語翻訳文から出発し、次いでその翻訳文を、連続する各繰り返しによって繰り返し改良する請求項１５に記載の方法。
20. 該近似目的言語翻訳文がグロスを含む請求項１９に記載の方法。
21. 該グロスが、逐語的グロス又は逐語句的グロスを含む請求項２０に記載の方法。
22. 該近似目的言語翻訳文が、複数の予め定められた翻訳文から選択された予め定められた翻訳文を含む請求項１９に記載の方法。
23. グリーディーアルゴリズムを実行する請求項１５に記載の方法。
24. 翻訳文を繰り返し修正することが、翻訳文を、各繰り返しによって徐々に改良することを含む請求項１５に記載の方法。
25. 翻訳文を繰り返し修正することが、その翻訳文に対し１又は２以上の修正操作を、各繰り返しで実行することを含む請求項１５に記載の方法。
26. １又は２以上の修正操作が、下記操作すなわち
    （ｉ）翻訳文中の一つ又は二つの単語を変更する操作、
    （ｉｉ）一つの単語の訳語を変更し、同時に、原始言語テキストセグメントとその翻訳文との間に最高確率の整合を生じる位置に別の単語を挿入する操作であって、その挿入された別の単語がファーティリティがゼロ値である確率が高い操作、
    （ｉｉｉ）該翻訳文から、ファーティリティがゼロ値の一つの単語を削除する操作、
    （ｉｖ）該翻訳文中のオーバーラップしていない目的言語単語セグメントをスワップすることによって、原始言語テキストセグメントと該翻訳文との間の整合を修正する操作、及び
    （Ｖ）一つの目的言語単語を該翻訳文から除き次いで原始言語テキストセグメント中の単語をリンクすることによって、原始言語テキストセグメントと翻訳文との間の整合を修正する操作、
    のうちの１又は２以上を含む請求項２５に記載の方法。
27. 現行目的言語翻訳文に適用されて１又は２以上の修正された目的言語翻訳文を生成する１又は２以上の修正オペレータを含むデコーディングエンジンと、
    １又は２以上の修正オペレータを使用して現行目的言語翻訳文を繰り返し修正し、終了条件が生じたときに終了するプロセスループとを含む機械翻訳デコーダ。
28. 該プロセスループが、該デコーディングエンジンを制御して、現行目的言語翻訳文を、各繰り返しで徐々に改良する請求項２７に記載のデコーダ。
29. 翻訳文の正当性の確率を決定するためのモジュールをさらに含む請求項２７に記載のデコーダ。
30. 翻訳文の正当性の確率を決定するためのモジュールが言語モデルと翻訳モジュールを備えている請求項２９に記載のデコーダ。
31. プロセスループが、修正された翻訳文の正当性の確率がその前の翻訳文の正当性の確率より大きくないことを確認すると終了する請求項２９に記載のデコーダ。
32. プロセスループが、予め定められた数の繰り返しが完了すると終了する請求項２７に記載のデコーダ。
33. 該１又は２以上の修正オペレータが、下記オペレータ、すなわち
    （ｉ）現行目的言語翻訳文の一つ又は二つの単語の訳語を変更するオペレータ、
    （ｉｉ）現行目的言語翻訳文の一単語の訳語を変更し、同時に、原始言語テキストセグメントと現行目的言語翻訳文の間に最高確率の整合を生じる位置に別の単語を挿入するオペレータであって、その挿入された別の単語が、ファーティリティがゼロ値である確率が高いオペレータ、
    （ｉｉｉ）現行目的言語翻訳文からファーティリティがゼロ値である一単語を削除するオペレータ、
    （ｉｖ）現行目的言語翻訳文のオーバーラップしていない目的言語単語セグメントをスワップすることによって、原始言語テキストセグメントと現行目的言語翻訳文の間の整合を修正するオペレータ、及び
    （Ｖ）現行目的言語翻訳文から一目的言語単語を除き次に原始言語テキストセグメントの単語をリンクすることによって、原始言語テキストセグメントと現行目的言語翻訳文の間の整合を修正するオペレータ、
    のうちの１又は２以上を含む請求項２７に記載のデコーダ。
34. 原始言語テキストセグメントに対応するツリーを入力として受け取り、次に
    その受け取った入力に対し１又は２以上の決定則を適用して、目的言語テキストセグメントストに対応するツリーを生成する、
    ことを含むコンピュータ実行のツリー生成方法。
35. 該１又は２以上の決定則が一連の決定則を含む請求項３４に記載の方法。
36. 該１又は２以上の決定則が、総合的に、変換関数を表す請求項３４に記載の方法。
37. トレーニングセットに基づいて、１又は２以上の決定則を自動的に決定することをさらに含む請求項３４に記載の方法。
38. 該トレーニングセットが、複数の入力−出力のツリーのペア及びその入力−出力のツリーのペア各々の間のマッピングを含む請求項３７に記載の方法。
39. 該入力−出力のツリーのペアの各々の間のマッピングが、その入力のツリーの葉とそのペアになっている出力のツリーの葉との間のマッピングを含んでいる請求項３８に記載の方法。
40. 入力−出力のツリーのペアの葉の間のマッピングが、１対１、１対多数、多数対１又は多数対多数であってもよい請求項３９に記載の方法。
41. 該１又は２以上の決定則を自動的に決定することが、ペアになった入力のツリーに適用されたときに出力のツリーを生成する一連の操作を決定することを含む請求項３８に記載の方法。
42. 一連の操作を決定することが、入力のツリーを、その入力のツリーのペアになった出力のツリーにするのに総合的に充分である複数の予め定義された操作を使用することを含む請求項４１に記載の方法。
43. 該複数の予め定義された操作が、下記操作、すなわち
    基本談話のツリー（ｅｄｔ）を、入力並びからスタックに変換するシフト操作、
    二つのｅｄｔをスタックのトップからポップさせ、その二つのポップさせたｅｄｔを新しいツリーに結合し、次いでその新しいツリーをスタックのトップにプッシュする還元操作、
    一つのｅｄｔを予め定められた数のユニットにブレークするブレーク操作、
    原始言語のツリーの中で接続関係がない目的言語談話要素をつくるクリエイトネクスト操作、
    スタックのトップのｅｄｔを直前のｅｄｔに融合する融合操作、
    入力並び中のｅｄｔの位置をスワップするスワップ操作、及び
    下記タイプすなわちユニット、マルチユニット、文、パラグラフ、マルチパラグラフ及びテキストの１又は２以上をｅｄｔに割り当てるアサインタイプ操作、のうち１又は２以上を含む請求項４２に記載の方法。
44. 複数の既定義の操作が、前記のシフト操作、還元操作、ブレーク操作、クリエイトネクスト操作、融合操作、スワップ操作及びアサインタイプ操作を含むクローズドセットを含む請求項４３に記載の方法。
45. 一連の操作を決定することが、複数の学習ケースをもたらし、すなわち入力−出力のツリーのペア各々に対し一つの学習ケースがもたらされる請求項４１に記載の方法。
46. １又は２以上の特徴を、コンテキストに基づいて、複数の学習ケース各々と関連づけることをさらに含む請求項４５に記載の方法。
47. 該関連づけられた特徴が、下記の特徴すなわち操作及び談話の特徴、対応ベースの特徴、並びに語彙の特徴のうち１又は２以上を含む請求項４６に記載の方法。
48. 学習プログラムを複数の該学習ケースに適用して、１又は２以上の決定則を生成することをさらに含む請求項４５に記載の方法。
49. 該学習プログラムがＣ４．５を含む請求項４８に記載の方法。
50. 原始言語テキストセグメントが、節、文、パラグラフ又は全書を含む請求項３４に記載の方法。
51. 目的言語テキストセグメントが、節、文、パラグラフ又は全書を含む請求項３４に記載の方法。
52. 原始言語テキストセグメントと目的言語テキストセグメントが、異なるタイプのテキストセグメントである請求項３４に記載の方法。
53. 原始言語のツリーと目的言語のツリーが各々、構文のツリーを含んでいる請求項３４に記載の方法。
54. 原始言語のツリーと目的言語のツリーが各々、談話のツリーを含んでいる請求項３４に記載の方法。
55. 原始言語テキストセグメントに対応するツリーに適用されると、目的言語テキストセグメントに対応するツリーを生成する決定則の予め定められたセットを含むコンピュータ実行のツリーを生成するモジュール。
56. 原始言語テキストセグメントが、節、文、パラグラフ又は全書を含む請求項５５に記載のモジュール。
57. 目的言語テキストセグメントが、節、文、パラグラフ又は全書を含む請求項５５に記載のモジュール。
58. 原始言語テキストセグメントと目的言語テキストセグメントが、異なるタイプのテキストセグメントである請求項５５に記載のモジュール。
59. 原始言語のツリーと目的言語のツリーが各々、構文のツリーを含む請求項５５に記載のモジュール。
60. 原始言語のツリーと目的言語のツリーが各々、談話のツリーを含む請求項５５に記載のモジュール。
61. 決定則の予め定められたセットが、原始言語のツリーと目的言語のツリーの間の変換関数を定義する請求項５５に記載のモジュール。
62. 複数のツリーのペア及び各ツリーのペア間のマッピングを含むトレーニングセットを生成し、そのツリーのペア各々が原始のツリーと対応する目的のツリーを含み、
    各ツリーのペアについて、原始のツリーに適用されたとき目的のツリーをもたらす一連の操作を決定することによって、複数の学習ケースを生成し、次に
    その複数の学習ケースに、学習アルゴリズムを適用することによって複数の決定則を生成する、
    ことを含む、異なるタイプのツリーの間の変換関数を決定する方法。
63. 複数の決定則を生成する前に、１又は２以上の特徴を、コンテキストに基づいて学習ケース各々と関連づけることをさらに含む請求項６２に記載の方法。
64. 原始言語テキストセグメントの談話構造を解析して、テキストセグメントに対する原始言語談話のツリーを生成する談話パーサと、
    原始言語談話のツリーを入力として受け入れて目的言語談話のツリーを出力として生成する談話構造変換モジュールと、
    目的言語談話のツリーを目的テキストセグメント中にマッピングするマッピングモジュールと、
    を含むコンピュータ実行談話ベースの機械翻訳システム。
65. 該談話構造変換モジュールが、原始言語−目的言語のツリーのペアのトレーニングセットから生成される複数の決定則を含む請求項６４に記載のシステム。

Images