JP2005092253A - 機械学習用データ生成システム及び機械学習用データ生成方法、類似文書対生成システム及び類似文書対生成方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 ブートストラッピング手法の学習データ成長の過程において、評価予測が誤っているデータが学習データに組み込まれることを回避する。
【解決手段】 各サブ学習データを用いて複数回、機械学習を実施し、得られた複数の学習結果に基づいてそれぞれ評価予測を行ない、評価予測の多数決をとるなどして総合的な評価予測を最終的に行なう。学習データ中には、各データの特徴（素性）とその評価の間の対応規則の一般化を阻害する不適格なデータが含まれる。バギングでは、学習データを複数のサブ学習データに分割し、不適格なデータを含まない学習データに基づく機械学習を行なう機会を得る。
【選択図】 図１

Description

本発明は、学習データを入力とし統計処理手法を用いることによってデータの特徴を説明するための一般規則を出力する機械学習を行なうためのデータを生成する機械学習用データ生成システム及び機械学習用データ生成方法、類似文書対生成システム及び類似文書対生成方法、並びにコンピュータ・プログラムに係り、特に、学習データ中の各データに、データの評価があらかじめ付与されている教師あり機械学習のための学習データを生成する機械学習用データ生成システム及び機械学習用データ生成方法、類似文書対生成システム及び類似文書対生成方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、小量の学習データから始め、大量の非学習データ集合の中から予測された評価が統計的に最も確からしいデータを自動抽出し、そのデータを予測された評価とともに学習データに組み込むという手順を繰り返すことによって学習データを成長させていく「ブートストラッピング」手法により学習用データを生成する機械学習用データ生成システム及び機械学習用データ生成方法、類似文書対生成システム及び類似文書対生成方法、並びにコンピュータ・プログラムに係り、特に、ブートストラッピング手法の学習データ成長の過程において、評価予測が誤っているデータが学習データに組み込まれることを回避する機械学習用データ生成システム及び機械学習用データ生成方法、類似文書対生成システム及び類似文書対生成方法、並びにコンピュータ・プログラムに関する。

機械学習とは、学習データを入力とし、統計処理手法を用いることによって、データの特徴を説明するための一般規則を出力する方法である。教師あり機械学習と呼ばれる機械学習では、学習データ中の各データに、データの評価があらかじめ（人手によって）付与されている。学習データ中の各データの特徴（素性）とその評価の間の対応関係を学習することによって、非学習データが与えられたときにその評価を予測することが可能となる。これまでに、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒｅ Ｍａｃｈｉｎｅ（ＳＶＭ）、Ｍａｘｉｍｕｍ Ｅｎｔｏｒｐｙ（ＭＥ）などさまざまな教師あり機械学習手法が提案され、自然言語処理、生物情報学といった分野で実用的に使用されている。

教師あり機械学習の最大の問題は、より精度の高い評価予測を実現するためには大量の学習データが必要となるという点にある。学習データの評価は人手で付与する必要があるため、大量の学習データを用意するには膨大な工数を要することになってしまう。

かかる問題を解決するために、「ブートストラッピング」と呼ばれる手法が提案されている。ここで言うブートストラッピングとは、「小量の学習データから始め、大量の非学習データ集合の中から、予測された評価が統計的に最も確からしい（最も高い確信度を持つ）データを自動抽出し、そのデータを予測された評価と共に学習データに組み込む」という手順を繰り返すことにより、徐々に学習データを成長させていく手法である。

例えば、自然言語処理分野において、２ヶ国語翻訳文書対集合を生成するための、ブートストラッピング手法が提案されている（例えば、非特許文献１、非特許文献２を参照のこと）。この場合、あるパラレル・コーパスを初期の学習データとして機械学習を行なう。得られた学習結果を基に多言語文書検索を行ない、２ヶ国語の文書が混在する文書集合中から最も類似する２ヶ国語文書対を決定し、得られた文書対を翻訳文書対とみなして初期の学習データに追加し、得られた学習データに基づいて再度機械学習及び多言語文書検索を行なう。この多言語文書検索処理と、得られた文書対の学習データへの追加処理を交互に繰り返すことによって、学習データを成長させ、最終的に大規模な２ヶ国語文書対の集合（パラレル・コーパス）を得る。

なお、パラレル・コーパスは２ヶ国語翻訳文書対集合のことであり、大規模なパラレル・コーパスは、機械翻訳や多言語検索のアプリケーションを実現するための重要な機械学習用データである。

このようなブートストラッピング手法によれば、小量の初期学習データを用意するだけで、学習データを成長させることによって、より精度の高い機械学習と信頼性の高い大規模機械学習用データの生成を実現することが可能となる。

しかしながら、ブートストラッピング手法では、非学習データ集合のうちで予測された評価が統計的に最も確からしい（最も高い確信度を持つ）データを自動抽出する処理に問題がある。すなわち、評価の確信度が十分高くないデータであっても、他のデータと比べて相対的に確信度が高ければ、そのデータを学習データに追加せざるを得ない。

例えば、統語意味解析処理を行なうことによってブートストラッピングの精度向上を実現するシステムについて提案がなされている（例えば、特許文献１を参照のこと）。この場合、対訳関係にある第１の言語で書かれた文書と第２の言語で書かれた文書からなる文書ペアの集合を初期コーパスとして保持するとともに、第１及び第２の言語で書かれた文書の集合を全体コーパスとして保持し、初期コーパスとして保持されている文書ペア中の単語の出現頻度情報と統語意味解析結果に基づいて、第１及び第２の言語で書かれた文書間の類似度を統計的に定量化し、この統計処理結果に基づいて文書ペアを初期コーパスに追加していく。ブートストラップ処理で十分なサイズの類似文書ペアの集合を生成する際に精度を向上させることができる。

ところが、ブートストラッピング手法では、（特に処理の初期段階において）不適切な（評価が誤っている）データが学習データに一旦組み込まれると、最終的に得られる学習データの信頼性が低いものになってしまう（例えば、非特許文献１を参照のこと）。

特開２００３−１４１１０９号公報 Ｈｉｒｏｓｈｉ Ｍａｓｕｉｃｈｉ、Ｒａｙｍｏｎｄ Ｆｌｏｕｒｎｏｙ、 Ｓｔｅｆａｎ Ｋａｕｆｍａｎｎ、Ｓｔａｎｌｅｙ Ｐｅｔｅｒｓ共著"Ａ Ｂｏｏｔｓｔｒａｐｐｉｎｇ ｍｅｔｈｏｄ ｆｏｒ Ｅｘｔｒａｃｔｉｎｇ Ｂｉｌｉｎｇｕａｌ Ｔｅｘｔ Ｐａｉｒｓ"（Ｔｈｅ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｔｈｅ １８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ，ｐｐ．１０６６−１０７０ （２０００）） 増市著「多言語テキストペア抽出のためのブートストラッピング手法」（富士ゼロックス テクニカル レポート Ｎｏ．１３（ｈｔｔｐ：／／ｗｗｗ．ｆｕｊｉｘｅｒｏｘ．ｃｏ．ｊｐ／ｒａｎｄｄ／１３／Ｍａｓｕｉｃｈｉ／ａｂｓｊ．ｈｔｍｌ 平成１５年９月７日現在））

本発明の目的は、学習データ中の各データに、データの評価があらかじめ付与されている教師あり機械学習のための学習データを好適に生成することができる、優れた機械学習用データ生成システム及び機械学習用データ生成方法、類似文書対生成システム及び類似文書対生成方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、小量の学習データから始め、大量の非学習データ集合の中から予測された評価が統計的に最も確からしいデータを自動抽出し、そのデータを予測された評価とともに学習データに組み込むという手順を繰り返すことによって学習データを成長させていく「ブートストラッピング」手法により学習用データを好適に生成することができる、優れた機械学習用データ生成システム及び機械学習用データ生成方法、類似文書対生成システム及び類似文書対生成方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、ブートストラッピング手法の学習データ成長の過程において、評価予測が誤っているデータが学習データに組み込まれることを回避し、精度の高い機械学習用データを生成することができる、優れた機械学習用データ生成システム及び機械学習用データ生成方法、類似文書対生成システム及び類似文書対生成方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、
評価の付与された機械学習用データを保持する初期データ保持手段と、
初期データ保持手段中のデータから学習データを生成する学習データ生成手段と、
評価の付与されていない非学習データを保持する非学習データ保持手段と、
学習データを用いて機械学習を行なう機械学習手段と、
機械学習手段の学習結果に基づいて非学習データの評価予測を行ない、該予測された評価の確信度を出力する評価手段と、
該評価の確信度が所定の条件を満たす非学習データを初期データ保持手段に追加する初期データ更新手段と、
を備えることを特徴とする機械学習用データ生成システムである。図１には、本発明に係る機械学習用データ生成システムの機能構成を模式的に示している。

本発明では、ブートストラッピング手法において、評価予測が誤っているデータが学習データに組み込まれてしまうことを回避するために、バギング（ｂａｇｇｉｎｇ）と呼ばれる機械学習手順の概念を利用する。

バギングでは、まず、学習データを複数のサブ学習データに分割する。各サブ学習データを用いて複数回、機械学習を実施し、得られた複数の学習結果に基づいてそれぞれ評価予測を行なう。そして、これらの評価予測を用い、評価予測の多数決をとるなどして総合的な評価予測を最終的に行なう。

一般に、学習データの中には、学習データとして不適格なデータが存在する。不適格なデータを学習データに加えると、各データの特徴（素性）とその評価の間における対応規則の一般化を阻害してしまう。これに対し、バギングでは、学習データを複数のサブ学習データに分割することにより、このような不適格なデータを含まない学習データに基づく機械学習を行なう機会を得ることができる。したがって、バギングを用いない機械学習と比較して、学習データの質に左右されにくい頑健な機械学習を行なうことが可能となる。

なお、バギングの詳細については、例えば、Ｎａｏｋｉ Ａｂｅ、Ｈｉｒｏｓｈｉ Ｍａｍｉｔｓｕｋａ共著の論文“Ｑｕｅｒｙ Ｌｅａｒｎｉｎｇ Ｓｔｒａｔｅｇｉｅｓ Ｕｓｉｎｇ Ｂｏｏｓｔｉｎｇ ａｎｄ Ｂａｇｇｉｎｇ”（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｔｈｅ Ｆｉｆｔｅｅｎｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，ＰＰ．１−９（１９９８））を参照されたい。

また、本発明の第２の側面は、非学習データ集合から機械学習用データを生成するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
評価の付与された機械学習用データを初期データとして保持する初期データ保持ステップと、
前記初期データから学習データを生成する学習データ生成ステップと、
評価の付与されていない非学習データを保持する非学習データ保持ステップと、
学習データを用いて機械学習を行なう機械学習ステップと、
前記機械学習ステップにおける学習結果を基に非学習データの評価予測を行ない、さらに予測された評価の確信度を出力する評価ステップと、
評価の確信度が所定の条件を満たす非学習データを初期データに追加する初期データ更新ステップと、
を具備することを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る機械学習用データ生成システムと同様の作用効果を得ることができる。

本発明によれば、ブートストラッピング手法の学習データ成長の過程において、評価予測が誤っているデータが学習データに組み込まれることを回避し、精度の高い機械学習用データを生成することができる、優れた機械学習用データ生成システム及び機械学習用データ生成方法、類似文書対生成システム及び類似文書対生成方法、並びにコンピュータ・プログラムを提供することができる。

本発明によれば、ブートストラッピング手法を利用した機械学習用データの生成処理にバギングの概念を取り入れることにより、常に評価予測の確信度が十分に高いデータのみを学習データに追加することが可能となり、信頼性の高い大規模な機械学習用データを生成することができる。得られたデータを用いることによって、精度の高い機械学習を実現することが可能である。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

図２は、本発明の一実施形態に係る機械学習用データ生成システムの機能構成を模式的に示している。なお、本実施形態では、日英の２ヶ国語翻訳対集合（パラレルコーパス）を生成するための機械学習を対象として説明を行なう。但し、本発明の要旨はこれに限定されるものではなく、ブートストラッピング手法を用いる機械学習であればいかなるものであっても、同様に本発明の効果を得ることができる。

同図に示すように、機械学習用データ生成システムは、初期コーパス保持部１１と、学習コーパス抽出部１２と、学習コーパス保持部１３と、全体コーパス保持部１４と、単語ベクトル生成部１５と、文書ベクトル生成部１６と、文書対候補検索部１７と、文書対決定部１８とからなる。

初期コーパス保持部１１は、日本語文書とその英訳である英語文書の対を複数、計算機内部に保持している。保持されている日英文書対の個数をＹ個とする。

学習コーパス抽出部１２は、初期コーパス保持部１１に保持されているＹ個の日英文書対からｙ個の日英文書対をランダムに抽出する。但し、ｙの値は、Ｔ１＜ｙ＜Ｔ２（Ｔ１，Ｔ２は、０＜Ｔ１＜Ｔ２＜Ｙを満たす整数定数）を満たす範囲でランダムに決定する。

学習コーパス保持部１３は、学習コーパス抽出部１２からｙ個の日英文書対を受け取り、計算機内部に保持する。

全体コーパス保持部１４は、複数の日本語文書と複数の英語文書を計算機内部に保持する。全体コーパスとして、初期コーパス保持部１１に保持されている日英文書対集合（パラレル・コーパス）と同じ分野の文書集合（共通の専門用語を含んでいる文書集合）を保持することが望ましいが、日本語文書と英語文書が対訳関係にある必要はない。

単語ベクトル生成部１５は、学習コーパス保持部１３に保持されるｙ個の日英文書対を学習データとして、そこに含まれるすべての日本語単語及び英語単語に対して、対応する多次元ベクトル（単語ベクトル）を計算する。単語ベクトルを計算するアルゴリズムについて、以下に説明する。

［ステップ１］
学習データ中に含まれるすべての日本語文書及び英語文書に対して形態素解析処理を施し、単語に分割する。

［ステップ２］
ステップ１で得られた全単語のうち、学習データ中で出現頻度の多いものから順にｎ個の単語を選択する。ここで得られたｎ個の単語のことを特徴表現語と呼ぶことにする。ｎの値は数千のオーダーとすることが望ましい。

［ステップ３］
行と列がそれぞれ、ステップ１で得られたすべての日本語並びに英語単語、及びステップ２で得られた特徴表現語に対応する行列を作成する。ステップ１で得られたすべての日本語並びに英語単語の総異なり語数が１０万であり、ｎの値を３，０００とした場合、１０万行×３，０００列の行列ができることになる。
こ の行列の各要素には、その要素の行に対応する単語と列に対応する特徴表現語が、学習データ中に含まれるすべての日英文書対中で何度共起しているか（同時に出現しているか）を記録する。すなわち、日英の文書対を１つの文書であるとみなして、文書内の共起回数をカウントする。こうして得られた行列のことを共起行列と呼ぶことにする。このようにして、全日本語単語と全英語単語をｎ次元のベクトルで表現する共起行列を作成することができる。このベクトルは、各単語がどのようなコンテキストで出現し易い傾向にあるかを示すベクトルであると言える。
［ステップ４］
ステップ３で得られたｎ次元のベクトルは次元数が大きいため、後に必要となる処理で計算時間が膨大なものになってしまう。そこで、計算処理を実時間の範囲に抑えるために、元のｎ次元のベクトルを行列の次元圧縮手法によって、ｎ'次元（数百次元）のベクトルへと圧縮する（但し、ｎ'＜ ｎ）。
次元圧縮手法にはさまざまなものが存在するが、例えば、Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎを利用することができる。Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ手法の詳細については、例えばＢｅｒｒｙ，Ｍ．、Ｄｏ，Ｔ．、Ｏ‘Ｂｒｉｅｎ，Ｇ．、Ｋｒｉｓｈｎａ，Ｖ．、Ｖａｒａｄｈａｎ，Ｓ．共著の論文“ＳＶＤＰＡＣＫＣ ＵＳＥＲ’Ｓ ＧＵＩＤＥ”（Ｔｅｃｈ. Ｒｅｐ．ＣＳ−９３−１９４．Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｎｎｅｓｓｅｅ，Ｋｎｏｘｖｉｌｌｅ，ＴＮ（１９９３））を参照されたい。

このようにしてすべての日本語単語及び英語単語に対して得られたｎ'次元のベクトルを単語ベクトルと呼ぶことにする。

文書ベクトル生成部１６は、単語ベクトル生成部１５で得られた単語ベクトルを用いて、全体コーパス保持部１４中に保持されているすべての日本語文書及び英語文書に対応する文書ベクトルを計算する。まず、全体コーパス保持部１４中に保持されているすべての日本語文書及び英語文書に形態素解析処理を施し、単語へと分割する。次に、各文書中に含まれるすべての単語に対応する単語ベクトルの総和を正規化した（ベクトルの長さを１とした）ベクトルを計算し、得られたベクトルを文書ベクトルとする。但し、対応する単語ベクトルが単語ベクトル生成部１５によって生成されていない単語は無視するものとする。

文書対候補検索部１７は、文書ベクトル生成部１６で得られる文書ベクトルを基に、類似する日英の文書対候補を検索する。すべての日本語文書ベクトルと英語文書ベクトルの組み合わせを対象として、両ベクトルの内積を計算し、その値が最も大きい日英文書対を内積値とともに文書対決定部１８に渡す。

文書対決定部１８は、文書対候補検索部１７から日英文書対及び対応するベクトルの内積値を受け取る。そして、内積値がｋ（ｋは、０＜ｋ＜１を満たす実数定数)よりも大きい場合は、この日英文書対を翻訳対とみなして、初期コーパス保持部１１に追加する。初期コーパスへ追加された日本語文書及び英語文書は、全体コーパス保持手段１４から削除する。一方、内積値がｋよりも小さい場合には、得られた文書ベクトル対を破棄する。初期コーパスに追加しない日本語文書並びに英語文書は、全体コーパス保持部１４に残したままとする。

本実施形態に係る機械学習用データ生成システムは、上述したような構成により、以下の処理を繰り返し実行する。

（１）初期コーパス保持部１１中のデータからランダムに学習コーパスを生成する。
（２）学習コーパスに基づいて、単語ベクトル集合及び文書ベクトル集合を生成する。
（３）文書ベクトルの内積値に基づいて、意味内容が最も近い（類似度が最も高い）日英文書対を抽出する。
（４）得られた文書対を初期コーパス保持部１１中のデータに追加する。

この処理の繰り返し回数があらかじめ設定された回数Ｒに達したときの初期コーパス保持部１１に保持されている文書対を、最終的に得られる日英文書対（機械学習用データ）とする。但し、上記の処理ステップ（３）において、意味内容が十分近い（内積値がkよりも大きい）日英文書対が見つからない場合は、初期コーパス保持部１１へのデータの追加を行なうことなく、ステップ（１）に戻る。但し、この際、意味内容が十分近い日英文書対が連続してＳ回見つからない場合は、初期コーパス保持部１１へのデータの追加を行ない、ステップ（１）に戻る。より信頼性の高い日英文書対データを得るためには、Ｓの値をなるべく大きくすることが望ましい。

図３には、本実施形態に係る機械学習用データの生成処理手順をフローチャートの形式で示している。

まず、初期コーパスから学習コーパスを生成する（ステップＳ１）。具体的には、学習コーパス抽出部１２が、初期コーパス保持部１１に保持されているＹ個の日英文書対からｙ個の日英文書対をランダムに抽出する。

次いで、学習コーパスから単語ベクトル及び文書ベクトルを生成する（ステップＳ２）。具体的には、単語ベクトル生成部１５が、学習コーパス保持部１３に保持されるｙ個の日英文書対を学習データとして、そこに含まれるすべての日本語単語及び英語単語に対して、対応する多次元ベクトル（単語ベクトル）を計算する。そして、文書ベクトル生成部１６が、単語ベクトル生成部１５で得られた単語ベクトルを用いて、全体コーパス保持部１４中に保持されているすべての日本語文書及び英語文書に対応する文書ベクトルを計算する。

次いで、文書ベクトルの内積値を基に、全体コーパスから最も意味内容が近い英日文書対候補を抽出する（ステップＳ３）。具体的には、文書対候補検索部１７が、ステップＳ２で得られた文書ベクトルを基に、類似する日英の文書対候補を検索する。そして、すべての日本語文書ベクトルと英語文書ベクトルの組み合わせを対象として、両ベクトルの内積を計算し、その値が最も大きい日英文書対を求める。

次いで、文書対決定部１８は、抽出された日英文書の文書ベクトルの内積値がｋ（ｋは、０＜ｋ＜１を満たす実数定数)よりも大きいかどうかを判別する（ステップＳ４）。

ここで、内積値がｋよりも大きい場合は、文書対決定部１８は、この日英文書対を翻訳対とみなして、初期コーパス保持部１１に追加する。そして、初期コーパスへ追加された日本語文書及び英語文書は、全体コーパス保持手段１４から削除する（ステップＳ６）。

一方、内積値がｋよりも小さい場合には、文書対決定部１８は、意味内容が十分近い日英文書対が連続して見つからなかった回数がＳ回に到達したかどうかを判別する（ステップＳ５）。そして、Ｓ回に到達した場合も、同様に、当該日英文書対を翻訳対とみなして、初期コーパス保持部１１に追加するとともに、これら日本語文書及び英語文書を全体コーパス保持手段１４から削除する（ステップＳ６）。

そして、このような機械学習用データを追加する処理が所定の回数Ｒに到達したかどうかを判別する（ステップＳ７）。

繰り返し回数がＲ回に未だ到達していない場合には、ステップＳ１に戻り、上述と同様の追加処理を繰り返し実行する。また、所定回数Ｒに到達した場合には、初期コーパス保持部１１に保持されている文書対を、最終的に得られる日英文書対（機械学習用データ）として出力し、本処理ルーチン全体を終了する。

図３に示した処理手順により、意味内容が十分に近いと評価された日英文書対候補のみが初期コーパスに追加されることになり、信頼性の高い大規模な日英文書対データへと成長させることが可能となる。

［背景技術］の欄でも述べた通り、機械学習は「学習データ中の各データの特徴（素性）とその評価の間の対応関係を学習することによって、非学習データが与えられたときにその評価を予測する」ものである。

本実施形態では、学習データの「素性」として単語ベクトル（あるいは文書ベクトル）の各要素値を取り扱い、また、「評価」は日本語文書と英語文書が翻訳対の関係を有しているか否かという情報に相当する。「非学習データ」は、全体コーパス中の文書データであり、「評価の予測」とは、全体コーパス中で翻訳対とみなすことができる文書対を予測することである。

また、［背景技術］の欄において、ブートストラッピングとは、「小量の学習データから始め、大量の非学習データ集合の中から、予測された評価が統計的に最も確からしい（すなわち最も高い確信度を持つ）データを自動抽出し、そのデータを予測された評価とともに学習データに組み込む」という手順を繰り返すことにより、徐々に学習データを成長させていく手法であるということを述べた。

本実施形態では、「確信度」として文書ベクトル対の内積値を用いて、非学習データ集合の中から書く震度の高いデータを抽出して学習データに組み込んでいく。

上述した本発明の実施形態では、初期データ（初期コーパス）からランダムにデータ・サンプリングを行なうことによって学習データ（学習コーパス）を生成し、バギングの概念を利用したが、本発明の要旨はこれに限定されるものではない。機械学習を行なう際に用いる素性を変化させることによっても同様の効果を得ることができる。例えば、本実施形態では素性として特徴表現語の共起回数を用いているが、その特徴表現語を変化させる手法が考えられる。

また、本実施形態では、出現頻度の多いｎ個の単語を特徴表現語としているが、名詞や動詞のみを特徴表現語とする、あるいは、ｎの値を変化させる、といった方法でバギングの概念を利用することが可能である。

また、本実施形態では、文書対候補検索部１７が、ベクトルの内積値が最も大きい日英文書対を内積値とともに文書対決定部１８に渡すものとしたが、内積値が大きいものからＮ個の日英文書対を渡すものとしても、同様に本発明の効果を得ることができる。

［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書中では、日英の２ヶ国語翻訳対集合（パラレル・コーパス）を生成するための機械学習を対象として説明を行なったが、ブートストラッピング手法を用いる機械学習であればいかなるものであっても同様に本発明の効果を得ることができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。

図１は、本発明に係る機械学習用データ生成システムの機能構成を模式的に示した図である。 図２は、本発明の一実施形態に係る機械学習用データ生成システムの機能構成を模式的に示した図である。 図３は、本実施形態に係る機械学習用データの生成処理手順を示したフローチャートである。

符号の説明

１１…初期コーパス保持部
１２…学習コーパス抽出部
１３…学習コーパス保持部
１４…全体コーパス保持部
１５…単語ベクトル生成部
１６…文書ベクトル生成部
１７…文書対候補検索部
１８…文書対決定部

Claims (11)

1. 非学習データ集合から機械学習用データを生成する機械学習用データ生成システムであって、
   評価の付与された機械学習用データを初期データとして保持する初期データ保持手段と、
   前記初期データから学習データを生成する学習データ生成手段と、
   評価の付与されていない非学習データを保持する非学習データ保持手段と、
   学習データを用いて機械学習を行なう機械学習手段と、
   前記機械学習手段による学習結果を基に非学習データの評価予測を行ない、さらに予測された評価の確信度を出力する評価手段と、
   評価の確信度が所定の条件を満たす非学習データを初期データ保持手段に追加する初期データ更新手段と、
   を具備することを特徴とする機械学習用データ生成システム。
2. 前記学習データ生成手段は、前記初期データの一部を抽出して学習データを生成する、
   ことを特徴とする請求項１に記載の機械学習用データ生成システム。
3. 前記機械学習手段は、学習データを用いて機械学習を行なう際に、学習に用いる素性情報を変化させることが可能である、
   ことを特徴とする請求項１に記載の機械学習用データ生成システム。
4. 非学習データ集合から機械学習用データを生成する機械学習用データ生成方法であって、
   評価の付与された機械学習用データを初期データとして保持する初期データ保持ステップと、
   前記初期データから学習データを生成する学習データ生成ステップと、
   評価の付与されていない非学習データを保持する非学習データ保持ステップと、
   学習データを用いて機械学習を行なう機械学習ステップと、
   前記機械学習ステップにおける学習結果を基に非学習データの評価予測を行ない、さらに予測された評価の確信度を出力する評価ステップと、
   評価の確信度が所定の条件を満たす非学習データを初期データに追加する初期データ更新ステップと、
   を具備することを特徴とする機械学習用データ生成方法。
5. 前記学習データ生成ステップでは、前記初期データの一部を抽出して学習データを生成する、
   ことを特徴とする請求項４に記載の機械学習用データ生成方法。
6. 前記機械学習ステップでは、学習データを用いて機械学習を行なう際に、学習に用いる素性情報を変化させることが可能である、
   ことを特徴とする請求項４に記載の機械学習用データ生成方法。
7. 対訳関係にある第１の言語で書かれた文書と第２の言語で書かれた文書の対の集合を初期コーパスとして保持する初期コーパス保持手段と、
   前記初期コーパス中の文書対から学習コーパスを生成する学習コーパス生成手段と、
   前記第１の言語で書かれた文書の集合と前記第２の言語で書かれた文書の集合を全体コーパスとして保持する全体コーパス保持手段と、
   前記学習コーパスを用いて機械学習を行なう機械学習手段と、
   前記機械学習手段による学習結果を基に、前記全体コーパス中の前記第１の言語で書かれた文書と前記第２の言語で書かれた文書の間の類似度を評価する評価手段と、
   前記全体コーパス中で、類似度が所定の条件を満たす文書の対を前記初期コーパスに追加する初期コーパス更新手段と、
   を具備することを特徴とする類似文書対生成システム。
8. 前記機械学習手段は、学習コーパスを用いることによって、単語及び文書を多次元ベクトルとして表現し、
   前記評価手段は、文書のベクトル表現に基づいて文書間の類似度を評価する、
   ことを特徴とする請求項７に記載の類似文書対生成システム。
9. 対訳関係にある第１の言語で書かれた文書と第２の言語で書かれた文書の対の集合を初期コーパスとして保持する初期コーパス保持ステップと、
   前記初期コーパス中の文書対から学習コーパスを生成する学習コーパス生成ステップと、
   前記第１の言語で書かれた文書の集合と前記第２の言語で書かれた文書の集合を全体コーパスとして保持する全体コーパス保持ステップと、
   前記学習コーパスを用いて機械学習を行なう機械学習ステップと、
   前記機械学習ステップにおける学習結果を基に、前記全体コーパス中の前記第１の言語で書かれた文書と前記第２の言語で書かれた文書の間の類似度を評価する評価ステップと、
   前記全体コーパス中で、類似度が所定の条件を満たす文書の対を前記初期コーパスに追加する初期コーパス更新ステップと、
   を具備することを特徴とする類似文書対生成方法。
10. 前記機械学習ステップでは、学習コーパスを用いることによって、単語及び文書を多次元ベクトルとして表現し、
    前記評価ステップでは、文書のベクトル表現に基づいて文書間の類似度を評価する、
    ことを特徴とする請求項９に記載の類似文書対生成方法。
11. 非学習データ集合から機械学習用データを生成するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
    評価の付与された機械学習用データを初期データとして保持する初期データ保持ステップと、
    前記初期データから学習データを生成する学習データ生成ステップと、
    評価の付与されていない非学習データを保持する非学習データ保持ステップと、
    学習データを用いて機械学習を行なう機械学習ステップと、
    前記機械学習ステップにおける学習結果を基に非学習データの評価予測を行ない、さらに予測された評価の確信度を出力する評価ステップと、
    評価の確信度が所定の条件を満たす非学習データを初期データに追加する初期データ更新ステップと、
    を具備することを特徴とするコンピュータ・プログラム。

Images