JP2012043225A - 相互機械学習装置、相互機械学習方法、及びプログラム - Google Patents

Abstract

【課題】高精度の機械学習を行う相互機械学習装置を提供する。
【解決手段】第１方法で第１のコーパスから抽出された、意味関係のある語のペア候補の第１関係ペア候補と、第２方法で第２のコーパスから抽出された、意味関係のある語のペア候補の第２関係ペア候補とに共通する共通ペア、第１のコーパスから抽出された、意味関係のない語のペア候補と第２関係ペア候補に共通する共通ペア、第２のコーパスから抽出された、意味関係のない語のペア候補と第１関係ペア候補に共通する共通ペアが記憶される共通ペア記憶部２０、共通ペアの関係の有無を、第１及び第２の学習データの学習結果で分類する第１及び第２の分類部２３、２４、第１及び第２の分類部２３、２４による確信度が高い共通ペアを第２及び第１の学習データに追加する追加部２５を備え、機械学習、分類、学習データの追加を繰り返す。
【選択図】図１

Description

本発明は、２個の機械学習を用いて相互機械学習を行う相互機械学習装置等に関する。

従来、教師データを用いた機械学習において、複数の機械学習を組み合わせた相互機械学習という手法が提案されている（例えば、非特許文献１，２参照）。非特許文献１の手法では、同じ語のペアを対象として、学習時に利用する素性を人手によって分けて複数の機械学習器を生成し、一つの機械学習器から得られた信頼できる結果を、別の機械学習器の学習データとして使用している。非特許文献２では、異なる言語を対象として、言語ごとに機械学習器を生成し、一つの機械学習器から得られた信頼できる結果を、別の機械学習器の学習データとして使用している。

Ａｖｒｉｍ Ｂｌｕｍ、Ｔｏｍ Ｍｉｔｃｈｅｌｌ、「Ｃｏｍｂｉｎｉｎｇ Ｌａｂｅｌｅｄ ａｎｄ Ｕｎｌａｂｅｌｅｄ Ｄａｔａ ｗｉｔｈ Ｃｏ−Ｔｒａｉｎｉｎｇ」、Ｉｎ ＣＯＬＴ'９８：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｅｌｅｖｅｎｔｈ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ ｌｅａｒｎｉｎｇ ｔｈｅｏｒｙ、ｐ．９２−１００、１９９８年 Ｊｏｎｇ−Ｈｏｏｎ Ｏｈ、Ｋｉｙｏｔａｋａ Ｕｃｈｉｍｏｔｏ、Ｋｅｎｔａｒｏ Ｔｏｒｉｓａｗａ、「Ｂｉｌｉｎｇｕａｌ Ｃｏ−Ｔｒａｉｎｉｎｇ ｆｏｒ Ｍｏｎｏｌｉｎｇｕａｌ Ｈｙｐｏｎｙｍｙ−Ｒｅｌａｔｉｏｎ Ａｃｑｕｉｓｉｔｉｏｎ」、Ｉｎ Ｐｒｏｃ ｏｆ ＡＣＬ−０９：ＩＪＣＮＬＰ、ｐ．４３２−４４０、２００９年

しかしながら、非特許文献１の手法では、複数の機械学習器が扱う処理対象が同じでなければならず、異なる処理対象を扱うことができないという問題があった。また、従来の相互機械学習よりも、より精度の高い相互機械学習の実現が望まれていた。

本発明は、上記課題を解決するためになされたものであり、複数の機械学習器が異なる処理対象を扱うことができ、精度の高い機械学習を実現可能な相互機械学習装置等を提供することを目的とする。

上記目的を達成するため、本発明による相互機械学習装置は、第１の方法によって第１のコーパスから抽出された、意味的関係を有する言語表現のペアの候補である複数の第１関係ペア候補と、第１の方法とは異なる第２の方法によって第２のコーパスから抽出された、意味的関係を有する言語表現のペアの候補である複数の第２関係ペア候補とに共通する共通ペアであるジェニュイン共通ペアと、第１のコーパスから抽出された、意味的関係を有さない言語表現のペアの候補である複数の第１無関係ペア候補と、複数の第２関係ペア候補とに共通する共通ペアであるバーチャル共通ペア、及び、第２のコーパスから抽出された、意味的関係を有さない言語表現のペアの候補である複数の第２無関係ペア候補と、複数の第１関係ペア候補とに共通する共通ペアであるバーチャル共通ペアとが記憶される共通ペア記憶部と、第１関係ペア候補が意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第１の学習データが記憶される第１の学習データ記憶部と、第１の学習データを用いて機械学習を行い、機械学習の結果を用いて、ジェニュイン共通ペア及びバーチャル共通ペアが意味的関係を有しているかどうか分類する第１の分類部と、第２関係ペア候補が意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第２の学習データが記憶される第２の学習データ記憶部と、第２の学習データを用いて機械学習を行い、機械学習の結果を用いて、ジェニュイン共通ペア及びバーチャル共通ペアが意味的関係を有しているかどうか分類する第２の分類部と、第１の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを第２の学習データに追加し、第２の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを第１の学習データに追加する追加部と、を備え、第１及び第２の分類部による機械学習及び分類と、追加部による学習データの追加とが繰り返して実行される、ものである。

このような構成により、第１及び第２の分類部は、異なる処理対象、すなわち、第１の方法によって抽出された言語表現のペア、及び、第１の方法とは異なる第２の方法によって抽出された言語表現のペアを扱うことができると共に、バーチャル共通ペアをも用いて相互機械学習を行うため、より精度の高い機械学習を実現することができる。その結果、その機械学習の結果を用いて意味的関係を有する言語表現のペアの分類を行うことによって、意味的関係を有する言語表現のペアを精度高く獲得することができるようになる。

また、本発明による相互機械学習装置は、第１の方法によって第１のコーパスから抽出された、意味的関係を有する言語表現のペアの候補である複数の第１関係ペア候補と、前記第１の方法とは異なる第２の方法によって第２のコーパスから抽出された、前記意味的関係を有する言語表現のペアの候補である複数の第２関係ペア候補とに共通する共通ペアであるジェニュイン共通ペア、及び、前記複数の第１関係ペア候補と、前記複数の第２関係ペア候補と、前記第１のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第１無関係ペア候補と、前記第２のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第２無関係ペア候補とのうち、前記ジェニュイン共通ペアではないペアである共通ペアであるバーチャル共通ペアが記憶される共通ペア記憶部と、前記第１関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第１の学習データが記憶される第１の学習データ記憶部と、前記第１の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第１の分類部と、前記第２関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第２の学習データが記憶される第２の学習データ記憶部と、前記第２の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第２の分類部と、第１の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを第２の学習データに追加し、第２の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを第１の学習データに追加する追加部と、を備え、第１及び第２の分類部による機械学習及び分類と、追加部による学習データの追加とが繰り返して実行される、ものである。
このような構成により、前述の相互機械学習装置と同様に、異なる処理対象を扱うことができると共に、精度の高い機械学習を実現できる。また、前述の相互機械学習装置よりも多くのバーチャル共通ペアを用いた処理が可能となる。

また、本発明による相互機械学習装置では、前記追加部は、前記第１の分類部の分類による確信度が高い共通ペアと当該共通ペアに関する分類結果とを前記第２の学習データに追加し、前記第２の分類部の分類による確信度が高い共通ペアと当該共通ペアに関する分類結果とを前記第１の学習データに追加してもよい。
このような構成により、一方の分類部によって確信度が高く分類された共通ペアは信頼できるものであると考えられるため、このような構成によって、適切に学習データを増やすことができると考えられる。

また、本発明による相互機械学習装置では、追加部は、第１の分類部の分類による確信度が高く、第１及び第２の分類部の分類結果が同じである共通ペアと共通ペアに関する分類結果とを第２の学習データに追加し、第２の分類部の分類による確信度が高く、第１及び第２の分類部の分類結果が同じである共通ペアと共通ペアに関する分類結果とを第１の学習データに追加してもよい。

第１及び第２の分類部による分類結果が同じであり、一方の分類部によって確信度が高く分類された共通ペアは、他方の分類部の分類による確信度にかかわらず、信頼できるものであると考えられる。したがって、このような構成により、その共通ペアを、他方の分類部の学習データに追加することによって、適切に学習データを増やすことができると考えられる。

また、本発明による相互機械学習装置では、追加部は、第１の分類部の分類による確信度が高く、第２の分類部の分類による確信度が低い共通ペアと共通ペアに関する分類結果とを第２の学習データに追加し、第２の分類部の分類による確信度が高く、第１の分類部の分類による確信度が低い共通ペアと共通ペアに関する分類結果とを第１の学習データに追加してもよい。

一方の分類部によって確信度が高く分類され、他方の分類部によって確信度が低く分類された共通ペアは、前者の分類部による分類が信頼できるものと考えられる。したがって、このような構成により、その共通ペアを、後者の分類部の学習データに追加することによって、適切に学習データを増やすことができると考えられる。

また、本発明による相互機械学習装置では、複数の第１関係ペア候補が記憶される第１関係ペア候補記憶部と、複数の第１無関係ペア候補が記憶される第１無関係ペア候補記憶部と、複数の第２関係ペア候補が記憶される第２関係ペア候補記憶部と、複数の第２無関係ペア候補が記憶される第２無関係ペア候補記憶部と、複数の第１関係ペア候補と複数の第２関係ペア候補とを用いて、ジェニュイン共通ペアを取得して共通ペア記憶部に蓄積し、複数の第１関係ペア候補と複数の第２関係ペア候補と複数の第１無関係ペア候補と複数の第２無関係ペア候補とを用いて、バーチャル共通ペアを取得して共通ペア記憶部に蓄積する取得部と、をさらに備えてもよい。
このような構成により、相互機械学習装置において、ジェニュイン共通ペアとバーチャル共通ペアとを取得する処理をも行うことができるようになる。

また、本発明による相互機械学習装置では、第１のコーパスが記憶される第１のコーパス記憶部と、第２のコーパスが記憶される第２のコーパス記憶部と、第１のコーパスから複数の第１関係ペア候補を抽出して第１関係ペア候補記憶部に蓄積し、第１のコーパスから複数の第１無関係ペア候補を抽出して第１無関係ペア候補記憶部に蓄積する第１の抽出部と、第２のコーパスから複数の第２関係ペア候補を抽出して第２関係ペア候補記憶部に蓄積し、第２のコーパスから複数の第２無関係ペア候補を抽出して第２無関係ペア候補記憶部に蓄積する第２の抽出部と、をさらに備えてもよい。
このような構成により、相互機械学習装置において、第１及び第２のコーパスから、第１関係ペア候補等を抽出する処理をも行うことができるようになる。

また、本発明による相互機械学習装置では、第１の分類部は、機械学習及び分類と学習データの追加との繰り返しの後に、複数の第１関係ペア候補に対して分類を行い、第２の分類部は、機械学習及び分類と学習データの追加との繰り返しの後に、複数の第２関係ペア候補に対して分類を行ってもよい。
このような構成により、前述のようにして共通ペアの追加された学習データを機械学習した結果を用いて第１関係ペア候補及び第２関係ペア候補の分類を行うため、より精度の高い分類を行うことができるようになる。

また、本発明による相互機械学習装置では、第１のコーパスは、構造化されたコーパスであり、第２のコーパスは、構造化されていない自然言語文のコーパスであってもよい。
このような構成により、異なる処理対象として、構造化されたコーパスから取得された言語表現のペア、及び、構造化されていないコーパスから取得された言語表現のペアを扱うことができる。

また、本発明による相互機械学習装置では、意味的関係は、上位下位の関係であってもよい。

本発明による相互機械学習装置等によれば、異なる処理対象を扱うことができると共に、より精度の高い機械学習を実現することができる。

本発明の実施の形態１による相互機械学習装置の構成を示すブロック図 同実施の形態による相互機械学習装置の動作を示すフローチャート 同実施の形態による相互機械学習装置の動作を示すフローチャート 同実施の形態における共通ペアについて説明するための図 同実施の形態における構造化されたコーパスについて説明するための図 同実施の形態における実験結果を示す図 同実施の形態における実験結果を示す図 同実施の形態におけるコンピュータシステムの外観一例を示す模式図 同実施の形態におけるコンピュータシステムの構成の一例を示す図

以下、本発明による相互機械学習装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。

（実施の形態１）
本発明の実施の形態１による相互機械学習装置について、図面を参照しながら説明する。
図１は、本実施の形態による相互機械学習装置１の構成を示すブロック図である。本実施の形態による相互機械学習装置１は、第１のコーパス記憶部１１と、第２のコーパス記憶部１２と、第１の抽出部１３と、第２の抽出部１４と、第１関係ペア候補記憶部１５と、第１無関係ペア候補記憶部１６と、第２関係ペア候補記憶部１７と、第２無関係ペア候補記憶部１８と、取得部１９と、共通ペア記憶部２０と、第１の学習データ記憶部２１と、第２の学習データ記憶部２２と、第１の分類部２３と、第２の分類部２４と、追加部２５と、第１関係ペア記憶部２６と、第２関係ペア記憶部２７とを備える。

第１のコーパス記憶部１１では、第１のコーパスが記憶され、第２のコーパス記憶部１２では、第２のコーパスが記憶される。第１及び第２のコーパスは、異なる種類のコーパスであってもよく、あるいは、同じ種類のコーパスであってもよい。前者の場合には、例えば、第１のコーパスは構造化されたコーパスであり、第２のコーパスは構造化されていない自然言語文のコーパスであってもよい。本実施の形態では、主にその場合について説明する。ここで、構造化されたコーパスとは、そのコーパスに含まれる文書が階層構造や、ツリー構造等の何らかの構造を有しているコーパスのことである。構造化されたコーパスは、例えば、百科事典の情報であってもよく、その他の情報であってもよい。それらの情報では、例えば、タイトル、セクション、サブセクション、リスト等の階層構造やツリー構造があるものとする。百科事典のコーパスとしては、例えば、ウェブで公開されているＷＩＫＩＰＥＤＩＡ（登録商標）等がある。構造化されていない自然言語文のコーパスとは、階層構造やツリー構造等の構造を有さないコーパスのことであり、例えば、新聞の情報や、小説の情報、構造化されていないウェブの情報等であってもよい。自然言語文の文書を含む情報であれば、通常、構造化されていない自然言語文のコーパスとなる。したがって、構造を有するコーパスであっても、その構造を用いないことによって、構造化されていないコーパスとして用いることも可能である。構造化されていないウェブの情報として、例えば、「検索エンジン研究基盤ＴＳＵＢＡＫＩ」等で対象としている日本語のウェブ文書の大規模コーパスが存在する。

第１のコーパス記憶部１１、及び第２のコーパス記憶部１２にコーパスが記憶される過程は問わない。例えば、記録媒体を介してコーパスが第１のコーパス記憶部１１等で記憶されるようになってもよく、あるいは、通信回線等を介して送信されたコーパスが第１のコーパス記憶部１１等で記憶されるようになってもよい。

第１の抽出部１３は、第１のコーパス記憶部１１で記憶されている第１のコーパスから複数の第１関係ペア候補を抽出して第１関係ペア候補記憶部１５に蓄積する。また、第１の抽出部１３は、第１のコーパス記憶部１１で記憶されている第１のコーパスから複数の第１無関係ペア候補を抽出して第１無関係ペア候補記憶部１６に蓄積する。第１関係ペア候補は、ある意味的関係を有する言語表現のペアの候補である。なお、第１関係ペア候補は、その意味的関係を有する言語表現のペアに関する候補であるため、必ずしもその意味的関係を有しているとは限らない。第１無関係ペア候補は、その意味的関係を有さない言語表現のペアの候補である。また、第１無関係ペア候補は、その意味的関係を有さない言語表現のペアに関する候補であるため、必ずしもその意味的関係を有さないとは限らない。意味的関係とは、例えば、上位下位の関係（例えば、飲み物とコーヒー）であってもよく、原因結果の関係（例えば、豪雨と洪水）であってもよく、全体部分の関係（例えば、人と手、自動車とタイヤ）であってもよく、ライバルや対義語の関係（例えば、上と下）であってもよく、製品とメーカーの関係（例えば、掃除機とＡ社）であってもよく、事象と方法の関係（例えば、爆発と爆弾）であってもよく、事象とツールの関係（例えば、授業と教科書）であってもよく、事象と防ぐものの関係（例えば、病気と薬）であってもよく、物と材料の関係（例えば、缶とアルミニウム）であってもよく、名所・建物と場所の関係（例えば、二条城と京都）であってもよく、その他の種類の関連であってもよい。言語表現は、例えば、単語（形態素）であってもよく、単語の並びであるフレーズであってもよい。また、言語表現は、複数の単語の連続（例えば、複合名詞など）であってもよい。第１の抽出部１３は、通常、いずれか一つの意味的関係を有する言語表現のペアの候補である第１関係ペア候補を抽出する。本実施の形態では、第１の抽出部１３が、上位下位の関係を有する言語表現のペアの候補である第１関係ペア候補を抽出する場合について主に説明する。また、第１の抽出部１３は、第１関係ペア候補が有しているとされる意味的関係を有していないと考えられる言語表現のペアを、第１無関係ペア候補として抽出してもよく、あるいは、第１関係ペア候補が有しているとされる意味的関係ではない意味的関係を有していると考えられる言語表現のペアを、第１無関係ペア候補として抽出してもよい（第１関係ペア候補が有しているとされる意味的関係ではない意味的関係を有している言語表現のペアは、その第１関係ペア候補が有しているとされる意味的関係を有していないであろうと考えられるからである）。本実施の形態では、第１の抽出部１３が、上位下位の関係を有さない言語表現のペアの候補である第１無関係ペア候補を抽出する場合について主に説明する。

第２の抽出部１４は、第２のコーパス記憶部１２で記憶されている第２のコーパスから複数の第２関係ペア候補を抽出して第２関係ペア候補記憶部１７に蓄積する。また、第２の抽出部１４は、第２のコーパス記憶部１２で記憶されている第２のコーパスから複数の第２無関係ペア候補を抽出して第２無関係ペア候補記憶部１８に蓄積する。第２関係ペア候補は、第１関係ペア候補が有していると考えられる意味的関係と同じ意味的関係を有する言語表現のペアの候補である。なお、第２関係ペア候補は、その意味的関係を有する言語表現のペアに関する候補であるため、必ずしもその意味的関係を有しているとは限らない。第２無関係ペア候補は、その意味的関係を有さない言語表現のペアの候補である。また、第２無関係ペア候補は、その意味的関係を有さない言語表現のペアに関する候補であるため、必ずしもその意味的関係を有さないとは限らない。第２の抽出部１４は、通常、いずれか一つの意味的関係を有する言語表現のペアの候補である第２関係ペア候補を抽出する。その意味的関係は、前述のように、第１関係ペア候補が有していると考えられる意味的関係と同じ意味的関係である。本実施の形態では、第２の抽出部１４が、上位下位の関係を有する言語表現のペアの候補である第２関係ペア候補を抽出する場合について主に説明する。また、第２の抽出部１４は、第２関係ペア候補が有しているとされる意味的関係を有していないと考えられる言語表現のペアを、第２無関係ペア候補として抽出してもよく、あるいは、第２関係ペア候補が有しているとされる意味的関係ではない意味的関係を有していると考えられる言語表現のペアを、第２無関係ペア候補として抽出してもよい。本実施の形態では、第２の抽出部１４が、上位下位の関係ではない意味的関係を有する言語表現のペアの候補である第２無関係ペア候補を抽出する場合について主に説明する。

第１及び第２の抽出部１３，１４は、言語表現のペアを抽出する元となるコーパスが異なる以外に、その抽出方法が異なるものとする。すなわち、第１の抽出部１３は、第１の方法によって第１コーパスから複数の第１関係ペア候補を抽出し、第２の抽出部１４は、第２の方法によって第２のコーパスから複数の第２関係ペア候補を抽出する。なお、第１の方法と第２の方法とは異なるものとする。したがって、第１及び第２のコーパスの種類が一緒であったとしても、各コーパスから第１及び第２関係ペア候補を抽出する方法が異なるため、第１関係ペア候補と第２関係ペア候補とは異なる種類のものとなる。本実施の形態では、第１の方法は、第１のコーパスが有する構造を用いて第１関係ペア候補を抽出する方法であり、第２の方法は、レキシコシンタクティックパターン（Ｌｅｘｉｃｏ−ｓｙｎｔａｃｔｉｃ ｐａｔｔｅｒｎｓ）を用いて第２関係ペア候補を抽出する方法である場合について説明する。それらの抽出方法の詳細については後述する。

取得部１９は、複数の第１関係ペア候補と複数の第２関係ペア候補とを用いて、ジェニュイン（ｊｅｎｕｉｎｅ）共通ペアを取得して共通ペア記憶部２０に蓄積する。また、取得部１９は、複数の第１関係ペア候補と複数の第２関係ペア候補と複数の第１無関係ペア候補と複数の第２無関係ペア候補とを用いて、バーチャル（ｖｉｒｔｕａｌ）共通ペアを取得して共通ペア記憶部２０に蓄積する。ジェニュイン共通ペアとは、第１関係ペア候補記憶部１５で記憶されている複数の第１関係ペア候補と、第２関係ペア候補記憶部１７で記憶されている複数の第２関係ペア候補とに共通するペアである。したがって、ある第１関係ペア候補と、ある第２関係ペア候補とが同じ言語表現のペアである場合に、その第１関係ペア候補（その第２関係ペア候補）は、ジェニュイン共通ペアとなる。また、バーチャル共通ペアとは、第１無関係ペア候補記憶部１６で記憶されている複数の第１無関係ペア候補と、第２関係ペア候補記憶部１７で記憶されている複数の第２関係ペア候補とに共通するペア、及び、第２無関係ペア候補記憶部１８で記憶されている複数の第２無関係ペア候補と、第１関係ペア候補記憶部１５で記憶されている複数の第１関係ペア候補とに共通するペアである。したがって、ある第１無関係ペア候補と、ある第２関係ペア候補とが同じ言語表現のペアである場合に、その第１無関係ペア候補（その第２関係ペア候補）は、バーチャル共通ペアとなる。また、ある第２無関係ペア候補と、ある第１関係ペア候補とが同じ言語表現のペアである場合に、その第２無関係ペア候補（その第１関係ペア候補）は、バーチャル共通ペアとなる。なお、ジェニュイン共通ペアとバーチャル共通ペアとをあわせて共通ペアと呼ぶ。

第１の学習データ記憶部２１では、第１関係ペア候補が意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第１の学習データが記憶される。
第２の学習データ記憶部２２では、第２関係ペア候補が意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第２の学習データが記憶される。

なお、第１の学習データ記憶部２１、第２の学習データ記憶部２２に第１の学習データや第２の学習データが記憶される過程は問わない。例えば、記録媒体を介して第１の学習データ等が第１の学習データ記憶部２１等で記憶されるようになってもよく、あるいは、通信回線等を介して送信された第１の学習データ等が第１の学習データ記憶部２１等で記憶されるようになってもよい。

第１の分類部２３は、第１の学習データを用いて機械学習を行い、機械学習の結果を用いて、ジェニュイン共通ペア及びバーチャル共通ペアが意味的関係を有しているかどうか分類する。その分類によって、第１の分類部２３は、分類結果（意味的関係を有するかどうか）と、その分類結果の確信度とを得ることができる。なお、後述するように、追加部２５によって第１の学習データが追加された場合には、第１の分類部２３は、その追加された第１の学習データをも用いて学習を行うものとする。また、第１の分類部２３は、機械学習及び分類と学習データの追加との繰り返しの後に、第１関係ペア候補記憶部１５で記憶されている複数の第１関係ペア候補に対して分類を行う。そして、第１の分類部２３は、意味的関係を有すると判断した第１関係ペア候補である第１関係ペアを、第１関係ペア記憶部２６に蓄積する。

第２の分類部２４は、第２の学習データを用いて機械学習を行い、機械学習の結果を用いて、ジェニュイン共通ペア及びバーチャル共通ペアが意味的関係を有しているかどうか分類する。その分類によって、第２の分類部２４は、分類結果（意味的関係を有するかどうか）と、その分類結果の確信度とを得ることができる。なお、後述するように、追加部２５によって第２の学習データが追加された場合には、第２の分類部２４は、その追加された第２の学習データをも用いて学習を行うものとする。また、第２の分類部２４は、機械学習及び分類と学習データの追加との繰り返しの後に、複数の第２関係ペア候補に対して分類を行う。そして、第２の分類部２４は、意味的関係を有すると判断した第２関係ペア候補である第２関係ペアを、第２関係ペア記憶部２７に蓄積する。

ここで、第１及び第２の分類部２３，２４による機械学習を用いた分類について簡単に説明する。第１及び第２の分類部２３，２４は、機械学習を用いて、第１及び第２関係ペア候補を、意味的関係を有するものと、そうでないものとに分類する。この機械学習の入力は、第１及び第２関係ペア候補である。また、その機械学習の出力は、その第１及び第２関係ペア候補が意味的関係を有するかどうかである。また、その機械学習で用いられる教師データとしての学習データ（訓練データ）は、２個の言語表現のペアと、そのペアの意味的関係の有無を示す情報（すなわち、意味的関係を有しているか、有していないかの情報）とである。学習データを用いた学習の後に、分類の対象となる第１関係ペア候補や第２関係ペア候補を入力すると、その第１関係ペア候補等に関する素性の各値が取得され、その第１関係ペア候補等が意味的関係を有するかどうかと、その確信度とが出力される。その機械学習で用いられる素性については後述する。

なお、第１及び第２の分類部２３，２４は、例えば、機械学習として、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いてもよく、その他のものを用いてもよい。本実施の形態では、機械学習としてＳＶＭを用いる場合について説明する。

追加部２５は、第１の分類部２３の分類による確信度が高い共通ペアと、その共通ペアに関する分類結果とを第２の学習データに追加する。また、追加部２５は、第２の分類部２４の分類による確信度が高い共通ペアと、その共通ペアに関する分類結果とを第１の学習データに追加する。具体的には、追加部２５は、第１の分類部２３の分類による確信度が高く、第１及び第２の分類部２３，２４の分類結果が同じである共通ペアと、その共通ペアに関する分類結果とを第２の学習データに追加してもよく、第２の分類部２４の分類による確信度が高く、第１及び第２の分類部２３，２４の分類結果が同じである共通ペアと、その共通ペアに関する分類結果とを第１の学習データに追加してもよい。また、追加部２５は、第１の分類部２３の分類による確信度が高く、第２の分類部２４の分類による確信度が低い共通ペアと、その共通ペアに関する分類結果とを第２の学習データに追加してもよく、第２の分類部２４の分類による確信度が高く、第１の分類部２３の分類による確信度が低い共通ペアと、その共通ペアに関する分類結果とを第１の学習データに追加してもよい。ここで、バーチャル共通ペアは、一方のコーパスにおいては意味的関係の候補とされているが、実際に意味的関係を有している可能性は低いと考えられる。したがって、バーチャル共通ペアは、負例として追加される可能性が高い。一方、ジェニュイン共通ペアは、バーチャル共通ペアよりも意味的関係を有している可能性が高いと考えられ、正例として追加される可能性もある。

ある共通ペアと分類結果とを第１の学習データに追加するとは、その共通ペア等を第１の学習データ記憶部２１に蓄積することであってもよく、あるいは、その共通ペア等をも第１の分類部２３が第１の学習データとして使用するように設定することであってもよい。後者の場合には、第１の学習データに追加された、共通ペア記憶部２０で記憶されている共通ペアと、その分類結果とを、第１の分類部２３が第１の学習データとして読み出すように設定することであってもよい。ここで、その分類結果は、第２の分類部２４によって共通ペア記憶部２０に蓄積されてもよい。また、ある共通ペアと分類結果とを第２の学習データに追加するとは、その共通ペア等を第２の学習データ記憶部２２に蓄積することであってもよく、あるいは、その共通ペア等をも第２の分類部２４が第２の学習データとして使用するように設定することであってもよい。後者の場合には、第２の学習データに追加された、共通ペア記憶部２０で記憶されている共通ペアと、その分類結果とを、第２の分類部２４が第２の学習データとして読み出すように設定することであってもよい。ここで、その分類結果は、第１の分類部２３によって共通ペア記憶部２０に蓄積されてもよい。本実施の形態では、追加部２５が、第１の学習データへの追加対象である共通ペア等を第１の学習データ記憶部２１に蓄積し、第２の学習データへの追加対象である共通ペア等を第２の学習データ記憶部２２に蓄積する場合について説明する。なお、第１の学習データ記憶部２１及び第２の学習データ記憶部２２であらかじめ記憶されている学習データをそれぞれ、初期の第１の学習データ、初期の第２の学習データと呼ぶこともある。その初期の第１の学習データ及び初期の第２の学習データは、それぞれ異なったものであってもよく、あるいは、同じものであってもよい。

なお、第１及び第２の分類部２３，２４による機械学習及び分類と、追加部２５による学習データの追加とは繰り返して実行される。その繰り返しの際に、第１及び第２の分類部２３，２４は、追加部２５による追加が行われた後の学習データを用いて、機械学習を行うことになる。

なお、第１のコーパス記憶部１１、第２のコーパス記憶部１２、第１関係ペア候補記憶部１５、第１無関係ペア候補記憶部１６、第２関係ペア候補記憶部１７、第２無関係ペア候補記憶部１８、共通ペア記憶部２０、第１の学習データ記憶部２１、第２の学習データ記憶部２２、第１関係ペア記憶部２６、第２関係ペア記憶部２７での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。また、これらの記憶部は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

また、第１のコーパス記憶部１１、第２のコーパス記憶部１２、第１関係ペア候補記憶部１５、第１無関係ペア候補記憶部１６、第２関係ペア候補記憶部１７、第２無関係ペア候補記憶部１８、共通ペア記憶部２０、第１の学習データ記憶部２１、第２の学習データ記憶部２２、第１関係ペア記憶部２６、第２関係ペア記憶部２７のうち、任意の２以上の記憶部は、同一の記録媒体によって実現されてもよく、あるいは、別々の記録媒体によって実現されてもよい。前者の場合には、例えば、第１のコーパスを記憶している領域が第１のコーパス記憶部１１となり、第２のコーパスを記憶している領域が第２のコーパス記憶部１２となる。

次に、本実施の形態による相互機械学習装置１の動作について、図２のフローチャートを用いて説明する。ここで、第１のコーパスを「Ｓ」とし、第２のコーパスを「Ｕ」とし、第１関係ペア候補の集合を「Ｘ_Ｓ」とし、第１無関係ペア候補の集合を「Ｒ_Ｓ」とし、第２関係ペア候補の集合を「Ｘ_Ｕ」とし、第２無関係ペア候補の集合を「Ｒ_Ｕ」とし、共通ペアの集合を「Ｙ」とし、ジェニュイン共通ペアの集合を「Ｇ」とし、バーチャル共通ペアの集合を「Ｖ」とする。Ｘ_ＳやＸ_Ｕ、Ｇ、Ｖ等の関係は、図４で示されるようになる。なお、Ｙ＝Ｇ∪Ｖである。また、あらかじめ第１の学習データ記憶部２１で記憶されている第１の学習データを「Ｌ^０ _Ｓ」とし、あらかじめ第２の学習データ記憶部２２で記憶されている第２の学習データを「Ｌ^０ _Ｕ」とする。

（ステップＳ１０１）第１の抽出部１３は、第１のコーパスＳから複数の第１関係ペア候補の集合Ｘ_Ｓを抽出して第１関係ペア候補記憶部１５に蓄積する。

（ステップＳ１０２）第２の抽出部１４は、第２のコーパスＵから複数の第２関係ペア候補の集合Ｘ_Ｕを抽出して第２関係ペア候補記憶部１７に蓄積する。

（ステップＳ１０３）第１の抽出部１３は、第１のコーパスＳから複数の第１無関係ペア候補の集合Ｒ_Ｓを抽出して第１無関係ペア候補記憶部１６に蓄積する。なお、Ｘ_Ｓ∩Ｒ_Ｓは空集合である。

（ステップＳ１０４）第２の抽出部１４は、第２のコーパスＵから複数の第２無関係ペア候補の集合Ｒ_Ｕを抽出して第２無関係ペア候補記憶部１８に蓄積する。なお、Ｘ_Ｕ∩Ｒ_Ｕは空集合である。

（ステップＳ１０５）取得部１９は、複数の第１関係ペア候補の集合Ｘ_Ｓ、複数の第１無関係ペア候補の集合Ｒ_Ｓ、複数の第２関係ペア候補の集合Ｘ_Ｕ、複数の第２無関係ペア候補の集合Ｒ_Ｕを用いて、ジェニュイン共通ペアの集合Ｇと、バーチャル共通ペアの集合Ｖとを取得し、それらを共通ペア記憶部２０に蓄積する。図４で示されるように、ジェニュイン共通ペアの集合Ｇは、第１関係ペア候補の集合Ｘ_Ｓと、第２関係ペア候補の集合Ｘ_Ｕとの共通部分である。すなわち、Ｇ＝Ｘ_Ｓ∩Ｘ_Ｕとなる。また、バーチャル共通ペアの集合Ｖは、第１関係ペア候補の集合Ｘ_Ｓと、第２無関係ペア候補の集合Ｒ_Ｕとの共通部分、及び、第２関係ペア候補の集合Ｘ_Ｕと、第１無関係ペア候補の集合Ｒ_Ｓとの共通部分である。すなわち、Ｖ＝（Ｘ_Ｓ∩Ｒ_Ｕ）∪（Ｒ_Ｓ∩Ｘ_Ｕ）となる。

（ステップＳ１０６）追加部２５は、カウンタｉを０に設定する。このカウンタｉは、ステップＳ１０７〜Ｓ１１３のサイクルをカウントするためのカウンタである。

（ステップＳ１０７）第１の分類部２３は、第１の学習データ記憶部２１で記憶されている第１の学習データＬ^ｉ _Ｓを用いて機械学習を行う。その機械学習によって得られた分類器をｃ^ｉ _Ｓとする。なお、機械学習を行う際に用いる素性は、例えば、あらかじめ第１の学習データ記憶部２１で記憶されていてもよく、あるいは、第１のコーパスを参照して取得してもよい。

（ステップＳ１０８）第２の分類部２４は、第２の学習データ記憶部２２で記憶されている第２の学習データＬ^ｉ _Ｕを用いて機械学習を行う。その機械学習によって得られた分類器をｃ^ｉ _Ｕとする。なお、機械学習を行う際に用いる素性は、例えば、あらかじめ第２の学習データ記憶部２２で記憶されていてもよく、あるいは、第２のコーパスを参照して取得してもよい。

（ステップＳ１０９）第１の分類部２３は、機械学習の結果である分類器ｃ^ｉ _Ｓを用いて、共通ペアの集合Ｙに含まれる各共通ペアに対して分類を行う。この分類の結果、意味的関係を有するかどうかを示すクラスラベルｃｌ∈｛ｙｅｓ、ｎｏ｝と、確信度ｒ∈Ｒ^＋とを得ることができる。なお、クラスラベルｃｌ「ｙｅｓ」は、意味的関係を有すると分類されたことを示し、クラスラベルｃｌ「ｎｏ」は、意味的関係を有さないと分類されたことを示す。また、「Ｒ^＋」は、負でない実数である。分類器ｃによるｙ∈Ｙの分類結果を、ｃ（ｙ）＝（ｙ、ｃｌ、ｒ）と記述することがある。なお、この分類の際に、Ｙに含まれる共通ペアのうち、第１の学習データＬ^ｉ _Ｓ、または、第２の学習データＬ^ｉ _Ｕに含まれる共通ペアについては、分類を行わなくてもよい。また、この分類の際に用いる各共通ペアの素性は、例えば、あらかじめ共通ペア記憶部２６で記憶されていてもよく、あるいは、第１のコーパスを参照して取得してもよい。

（ステップＳ１１０）第２の分類部２４は、機械学習の結果である分類器ｃ^ｉ _Ｕを用いて、共通ペアの集合Ｙに含まれる各共通ペアに対して分類を行う。この分類の結果、意味的関係を有するかどうかを示すクラスラベルｃｌと、確信度ｒとを得ることができることは、第１の分類部２３の場合と同様である。なお、この分類の際に、Ｙに含まれる共通ペアのうち、第１の学習データＬ^ｉ _Ｓ、または、第２の学習データＬ^ｉ _Ｕに含まれる共通ペアについては、分類を行わなくてもよい。また、この分類の際に用いる各共通ペアの素性は、例えば、あらかじめ共通ペア記憶部２６で記憶されていてもよく、あるいは、第２のコーパスを参照して取得してもよい。

（ステップＳ１１１）追加部２５は、分類結果を用いて、所定の条件を満たす共通ペアを、第１の学習データＬ^{（ｉ＋１）} _Ｓや第２の学習データＬ^{（ｉ＋１）} _Ｕに追加する。また、第１の学習データＬ^{（ｉ＋１）} _Ｓは、Ｌ^ｉ _Ｓのすべての要素を含むものであり、第２の学習データＬ^{（ｉ＋１）} _Ｕは、Ｌ^ｉ _Ｕのすべての要素を含むものである。なお、この学習データの追加の処理の詳細については、図３のフローチャートを用いて後述する。

（ステップＳ１１２）追加部２５は、ステップＳ１０７〜Ｓ１１３のサイクルの繰り返しの終了条件が満たされるかどうか判断する。そして、その終了条件が満たされる場合には、ステップＳ１１４に進み、そうでない場合には、ステップＳ１１３に進む。

その終了条件は、例えば、ｄ^ｉ＝｜σ^ｉ−σ^{（ｉ−１）}｜／｜σ^{（ｉ−１）}｜の値が、連続した所定回数（例えば、３回であってもよい）のサイクルだけ、あらかじめ決められたしきい値「ε」未満であることであってもよい。なお、σ^ｉは、カウンタｉのサイクルにおけるステップＳ１０９，Ｓ１１０において分類された各ｙ∈Ｙの第１の分類部２３による分類の確信度をｒ１とし、第２の分類部２４による分類の確信度をｒ２とした場合に、
σ^ｉ＝Σ｜ｒ１−ｒ２｜
で示される値である。なお、その和は、すべてのｙ∈Ｙに対してとられるものである。ｄ^ｉ＜εであるということは、前回のサイクルと比較して、学習結果である超平面がほとんど変化していないこと、すなわち、新たな学習データの追加を行っても、学習結果がほとんど変化していないことを意味する。なお、そのようになるようにしきい値εが選択されることが好適である。そのしきい値εは、例えば、０．００１等であってもよい。

なお、異なる終了条件を用いてもよいことは言うまでもない。例えば、経験則によって、ステップＳ１０７〜Ｓ１１３のサイクルの繰り返し回数が所定の回数になった場合（例えば、カウンタｉ＝Ａとなった場合。ただし、Ａは１以上の整数である）に、新たな学習データの追加を行っても学習結果がほとんど変化していないことが分かっている場合には、終了条件は、カウンタｉ＝Ａとなったことであってもよい。

その終了条件を示す情報は、図示しない記録媒体で記憶されており、追加部２５は、その記録媒体から終了条件を示す情報を読み出し、その終了条件が満たされるかどうかの判断を行ってもよい。また、ここでは、追加部２５が終了条件に関する判断を行う場合について説明したが、その判断を行うのは追加部２５以外の構成要素であってもよいことは言うまでもない。

（ステップＳ１１３）追加部２５は、カウンタｉを１だけインクリメントする。そして、ステップＳ１０７に戻る。

（ステップＳ１１４）第１の分類部２３は、その時点の学習結果である分類器を用いて、第１関係ペア候補記憶部１５で記憶されている各第１関係ペア候補の分類を行い、その分類によって意味的関係を有するとされた第１関係ペア候補である第１関係ペアを、第１関係ペア記憶部２６に蓄積する。なお、この分類の際に用いる各第１関係ペア候補の素性は、例えば、あらかじめ第１関係ペア候補記憶部１５で記憶されていてもよく、あるいは、第１のコーパスを参照して取得してもよい。

（ステップＳ１１５）第２の分類部２４は、その時点の学習結果である分類器を用いて、第２関係ペア候補記憶部１７で記憶されている各第２関係ペア候補の分類を行い、その分類によって意味的関係を有するとされた第２関係ペア候補である第２関係ペアを、第２関係ペア記憶部２７に蓄積する。なお、この分類の際に用いる各第２関係ペア候補の素性は、例えば、あらかじめ第２関係ペア候補記憶部１７で記憶されていてもよく、あるいは、第２のコーパスを参照して取得してもよい。

このようにして、相互学習と、その学習結果を用いた分類との一連の処理が終了することになる。なお、図２のフローチャートにおいて、ステップＳ１０１〜Ｓ１０４までの処理の順序を問わないことは言うまでもない。ステップＳ１０７，Ｓ１０８の処理の順序、ステップＳ１０９，Ｓ１１０の処理の順序、ステップＳ１１４，Ｓ１１５の処理の順序を問わないことも言うまでもない。また、並列して実行できる処理については、並列処理を行ってもよいことは言うまでもない。このように、図２のフローチャートにおいて、一連の処理の目的が達成される範囲内における種々の変更が可能である。

図３は、図２のフローチャートにおける学習データの追加の処理（ステップＳ１１１）の詳細を示すフローチャートである。
（ステップＳ２０１）追加部２５は、ステップＳ１０９における第１の分類部２３による分類結果から、Ｌ^ｉ _Ｓ∪Ｌ^ｉ _Ｕに含まれない共通ペアに対する分類結果の集合ＣＲ^ｉ _Ｓを特定する。ＣＲ^ｉ _Ｓは、次式で示されるものである。なお、ステップＳ１０９において、Ｌ^ｉ _Ｓ∪Ｌ^ｉ _Ｕに含まれない共通ペアに対する分類のみを行っている場合には、第１の分類部２３による分類結果そのものが、ＣＲ^ｉ _Ｓとなる。なお、集合ＣＲ^ｉ _Ｓを特定する処理は、特定したものと特定していないものとを区別できるようにする処理であれば、その内容を問わない。集合ＣＲ^ｉ _Ｓを特定する処理は、例えば、その特定した集合ＣＲ^ｉ _Ｓを図示しない記録媒体に蓄積することであってもよく、特定した集合ＣＲ^ｉ _Ｓの各要素に特定したことを示すフラグ等を設定することであってもよい。なお、このことは、他の特定の処理についても同様である。

（ステップＳ２０２）追加部２５は、ステップＳ１１０における第２の分類部２４による分類結果から、Ｌ^ｉ _Ｓ∪Ｌ^ｉ _Ｕに含まれない共通ペアに対する分類結果の集合ＣＲ^ｉ _Ｕを特定する。ＣＲ^ｉ _Ｕは、次式で示されるものである。なお、ステップＳ１１０において、Ｌ^ｉ _Ｓ∪Ｌ^ｉ _Ｕに含まれない共通ペアに対する分類のみを行っている場合には、第２の分類部２４による分類結果そのものが、ＣＲ^ｉ _Ｕとなる。

（ステップＳ２０３）追加部２５は、分類結果の集合ＣＲ^ｉ _Ｓから、確信度ｒの大きい順に選択したＮ個の分類結果の集合ＴｏｐＮ（ＣＲ^ｉ _Ｓ）を特定する。このＮは、あらかじめ決められた１以上の整数であり、例えば、９００などであってもよい。追加部２５は、分類結果の集合ＣＲ^ｉ _Ｓを確信度ｒの降順にソートして、上位からＮ個の分類結果の集合ＴｏｐＮ（ＣＲ^ｉ _Ｓ）を選択してもよい。

（ステップＳ２０４）追加部２５は、カウンタｊを１に設定する。

（ステップＳ２０５）追加部２５は、ステップＳ２０３で特定した分類結果の集合ＴｏｐＮ（ＣＲ^ｉ _Ｓ）に含まれるｊ番目の共通ペアｙ^ｊの分類結果（ｙ^ｊ、ｃｌ^ｊ _Ｓ、ｒ^ｊ _Ｓ）∈ＴｏｐＮ（ＣＲ^ｉ _Ｓ）と、同じ共通ペアｙ^ｊに対する第２の分類部２４による分類結果（ｙ^ｊ、ｃｌ^ｊ _Ｕ、ｒ^ｊ _Ｕ）∈ＣＲ^ｉ _Ｕとを用いて、その共通ペアｙ^ｊが第２の学習データＬ^{（ｉ＋１）} _Ｕへの追加対象となるかどうか判断する。そして、共通ペアｙ^ｊが第２の学習データＬ^{（ｉ＋１）} _Ｕへの追加対象となる場合には、ステップＳ２０６に進み、そうでない場合には、ステップＳ２０７に進む。なお、ステップＳ２０３で特定した分類結果の集合ＴｏｐＮ（ＣＲ^ｉ _Ｓ）に含まれるｊ番目の共通ペアｙ^ｊの分類結果（ｙ^ｊ、ｃｌ^ｊ _Ｓ、ｒ^ｊ _Ｓ）は、分類結果の集合ＣＲ^ｉ _Ｓを確信度ｒの降順にソートした結果におけるｊ番目の共通ペアｙ^ｊの分類結果（ｙ^ｊ、ｃｌ^ｊ _Ｓ、ｒ^ｊ _Ｓ）であってもよい。

具体的には、次の（条件１）または（条件２）を満たす場合に、追加部２５は、その共通ペアｙ^ｊを第２の学習データＬ^{（ｉ＋１）} _Ｕに追加すると判断する。
（条件１）：ｒ^ｊ _Ｓ＞α、かつ、ｒ^ｊ _Ｕ＜β
（条件２）：ｒ^ｊ _Ｓ＞α、かつ、ｃｌ^ｊ _Ｓ＝ｃｌ^ｊ _Ｕ

なお、条件１は、第１の分類部２３の分類による確信度が高く、第２の分類部２４の分類による確信度が低いことに対応している。また、条件２は、第１の分類部２３による確信度が高く、第１及び第２の分類部２３，２４の分類結果が同じであることに対応している。なお、α、βの値は、あらかじめ適切に設定されているものとする。また、本実施の形態では、条件１，２の両方を用いて判断を行う場合について説明するが、いずれか一方の条件のみを用いて判断を行ってもよい。

（ステップＳ２０６）追加部２５は、共通ペアｙ^ｊとその分類結果ｃｌ^ｊ _Ｓとを、次のサイクルの機械学習で用いる第２の学習データＬ^{（ｉ＋１）} _Ｕに追加する。すなわち、
Ｌ^{（ｉ＋１）} _Ｕ←Ｌ^{（ｉ＋１）} _Ｕ∪（ｙ^ｊ、ｃｌ^ｊ _Ｓ）
とする。なお、ステップＳ２０５〜Ｓ２０８のサイクルによる共通ペアの追加の処理が開始される以前に、Ｌ^{（ｉ＋１）} _Ｕ←Ｌ^ｉ _Ｕとされているものとする。

（ステップＳ２０７）追加部２５は、カウンタｊを１だけインクリメントする。

（ステップＳ２０８）追加部２５は、ステップＳ２０３で特定した分類結果の集合ＴｏｐＮ（ＣＲ^ｉ _Ｓ）にｊ番目の共通ペアｙ^ｊの分類結果（ｙ^ｊ、ｃｌ^ｊ _Ｓ、ｒ^ｊ _Ｓ）が含まれるかどうか判断する。そして、ｊ番目の分類結果が含まれる場合には、ステップＳ２０５に戻り、そうでない場合には、ステップＳ２０９に進む。なお、ステップＳ２０３で特定した分類結果の集合ＴｏｐＮ（ＣＲ^ｉ _Ｓ）にはＮ個の要素が含まれるため、追加部２５は、ｊ≦Ｎであるかどうか判断し、ｊ≦Ｎである場合にはステップＳ２０５に戻り、そうでない場合にはステップＳ２０９に進んでもよい。

（ステップＳ２０９）追加部２５は、分類結果の集合ＣＲ^ｉ _Ｕから、確信度ｒの大きい順に選択したＮ個の分類結果の集合ＴｏｐＮ（ＣＲ^ｉ _Ｕ）を特定する。

（ステップＳ２１０）追加部２５は、カウンタｊを１に設定する。

（ステップＳ２１１）追加部２５は、ステップＳ２０９で特定した分類結果の集合ＴｏｐＮ（ＣＲ^ｉ _Ｕ）に含まれるｊ番目の共通ペアｙ^ｊの分類結果（ｙ^ｊ、ｃｌ^ｊ _Ｕ、ｒ^ｊ _Ｕ）∈ＴｏｐＮ（ＣＲ^ｉ _Ｕ）と、同じ共通ペアｙ^ｊに対する第１の分類部２３による分類結果（ｙ^ｊ、ｃｌ^ｊ _Ｓ、ｒ^ｊ _Ｓ）∈ＣＲ^ｉ _Ｓとを用いて、その共通ペアｙ^ｊが第１の学習データＬ^{（ｉ＋１）} _Ｓへの追加対象となるかどうか判断する。そして、共通ペアｙ^ｊが第２の学習データＬ^{（ｉ＋１）} _Ｓへの追加対象となる場合には、ステップＳ２１２に進み、そうでない場合には、ステップＳ２１３に進む。なお、ステップＳ２０９で特定した分類結果の集合ＴｏｐＮ（ＣＲ^ｉ _Ｕ）に含まれるｊ番目の共通ペアｙ^ｊの分類結果（ｙ^ｊ、ｃｌ^ｊ _Ｕ、ｒ^ｊ _Ｕ）は、分類結果の集合ＣＲ^ｉ _Ｕを確信度ｒの降順にソートした結果におけるｊ番目の共通ペアｙ^ｊの分類結果（ｙ^ｊ、ｃｌ^ｊ _Ｕ、ｒ^ｊ _Ｕ）であってもよい。

具体的には、次の（条件３）または（条件４）を満たす場合に、追加部２５は、その共通ペアｙ^ｊを第１の学習データＬ^{（ｉ＋１）} _Ｓに追加すると判断する。
（条件３）：ｒ^ｊ _Ｕ＞α、かつ、ｒ^ｊ _Ｓ＜β
（条件４）：ｒ^ｊ _Ｕ＞α、かつ、ｃｌ^ｊ _Ｕ＝ｃｌ^ｊ _Ｓ

なお、条件３は、第２の分類部２４の分類による確信度が高く、第１の分類部２３の分類による確信度が低いことに対応している。また、条件４は、第２の分類部２４による確信度が高く、第１及び第２の分類部２３，２４の分類結果が同じであることに対応している。また、本実施の形態では、条件３，４の両方を用いて判断を行う場合について説明するが、いずれか一方の条件のみを用いて判断を行ってもよい。

（ステップＳ２１２）追加部２５は、共通ペアｙ^ｊとその分類結果ｃｌ^ｊ _Ｕとを、次のサイクルの機械学習で用いる第１の学習データＬ^{（ｉ＋１）} _Ｓに追加する。すなわち、
Ｌ^{（ｉ＋１）} _Ｓ←Ｌ^{（ｉ＋１）} _Ｓ∪（ｙ^ｊ、ｃｌ^ｊ _Ｕ）
とする。なお、ステップＳ２１１〜Ｓ２１４のサイクルによる共通ペアの追加の処理が開始される以前に、Ｌ^{（ｉ＋１）} _Ｓ←Ｌ^ｉ _Ｓとされているものとする。

（ステップＳ２１３）追加部２５は、カウンタｊを１だけインクリメントする。

（ステップＳ２１４）追加部２５は、ステップＳ２０９で特定した分類結果の集合ＴｏｐＮ（ＣＲ^ｉ _Ｕ）にｊ番目の共通ペアｙ^ｊの分類結果（ｙ^ｊ、ｃｌ^ｊ _Ｕ、ｒ^ｊ _Ｕ）が含まれるかどうか判断する。そして、ｊ番目の分類結果が含まれる場合には、ステップＳ２１１に戻り、そうでない場合には、図２のフローチャートに戻る。なお、ステップＳ２０９で特定した分類結果の集合ＴｏｐＮ（ＣＲ^ｉ _Ｕ）にはＮ個の要素が含まれるため、追加部２５は、ｊ≦Ｎであるかどうか判断し、ｊ≦Ｎである場合にはステップＳ２１１に戻り、そうでない場合には図２のフローチャートに戻ってもよい。

ここで、第１のコーパスが構造化されたものであり、第２のコーパスが構造化されていないものである場合に、第１及び第２関係ペア候補、及び、第１及び第２無関係ペア候補を抽出する方法について説明する。なお、意味的関係は、上位下位の関係であるとする。また、ここでは、構造化された第１コーパスとして、百科事典コーパスを用いる場合について説明する。百科事典のコーパスでは、例えば、図５（ａ）で示されるように、タイトル「Ｔｉｇｅｒ」に対して、セクション「Ｒａｎｇｅ」「Ｔａｘｏｎｏｍｙ」が存在し、そのセクション「Ｔａｘｏｎｏｍｙ」に対して、サブセクション「Ｓｕｂｓｐｅｃｉｅｓ」が存在し、そのサブセクション「Ｓｕｂｓｐｅｃｉｅｓ」に対して、リスト「Ｂｅｎｇａｌ ｔｉｇｅｒ」「Ｍａｌａｙａｎ ｔｉｇｅｒ」「Ｓｉｂｅｒｉａｎ ｔｉｇｅｒ」が存在する。その百科事典のコーパスがＨＴＭＬやＸＭＬ等のマークアップ言語によって記述されている場合には、タイトルを特定するタイトルタグや、セクションを特定するセクションタグ、サブセクションを特定するサブセクションタグ、リストを特定するリストタグ等を用いることによって、タイトルやセクション、サブセクション、リスト等を特定することができ、図５（ｂ）で示されるように、それらのツリー構造を取得することができる。ツリー構造は、例えば、次のようにして取得することができる。例えば、セクションのタグＡよりも後に存在するセクションよりも下位の階層のタグ（例えば、サブセクションのタグや、リストのタグ）であって、サブセクションのタグまたはサブセクションよりも上位の階層のタグ（例えば、タイトルダグ）が出現するまでに出現するタグのうち、セクションのタグＡに最も近いタグ（これを「タグＢ」とする）は、そのセクションのタグＡのノードとつながる一階層だけ下位のノードとなる。また、そのタグＢよりも後に存在するタグであって、そのタグＢと異なる階層のタグが出現するまでに出現するタグ（このタグはタグＢと同じ階層である）も、そのセクションのタグＡのノードとつながる一階層だけ下位のノードとなる。なお、上位階層から順にタイトル、セクション、サブセクション、リストとなることがあらかじめ決められているものとする。このようにして、図５（ｂ）で示されるツリー構造が得られると、上位のノードと、その上位のノードに対する直接または間接の下位のノードとのペアが、第１関係ペア候補となる。図５（ｂ）の場合には、例えば、（Ｔｉｇｅｒ、Ｒａｎｇｅ）、（Ｔｉｇｅｒ、Ｔａｘｏｎｏｍｙ）、（Ｔｉｇｅｒ、Ｓｕｂｓｐｅｃｉｅｓ）、（Ｔｉｇｅｒ、Ｂｅｎｇａｌ ｔｉｇｅｒ）、（Ｔａｘｏｎｏｍｙ、Ｓｕｂｓｐｅｃｉｅｓ）、（Ｔａｘｏｎｏｍｙ、Ｂｅｎｇａｌ ｔｉｇｅｒ）等が第１関係ペア候補となる。なお、その第１関係ペア候補において、（上位の言語表現、下位の言語表現）となっている。また、百科事典のコーパスにおけるツリー構造において、上位のノードと、その上位のノードに対する直接または間接の下位のノードとのペアでないペア、例えば、同じ親ノードを有するノードのペアが、第１無関係ペア候補となる。図５（ｂ）の場合には、例えば、（Ｒａｎｇｅ、Ｔａｘｏｎｏｍｙ）、（Ｂｅｎｇａｌ ｔｉｇｅｒ、Ｍａｌａｙａｎ ｔｉｇｅｒ）等が第１無関係ペア候補となる。なお、第１の抽出部１３は、第１関係ペア候補を抽出するために用いる第１のコーパスの部分と、第１無関係ペア候補を抽出するために用いる第１のコーパスの部分とを別にしてもよい。例えば、日本語のＷＩＫＩＰＥＤＩＡ（登録商標）から上位下位の関係を抽出する方法については、前述の非特許文献２を参照されたい。また、その文献に記載の方法を用いることによって、ＷＩＫＩＰＥＤＩＡ（登録商標）のツリー構造を知ることができるため、前述のようにして、上位下位の関係でない関係を抽出することができる。

次に、第２のコーパスから第２関係ペア候補、第２無関係ペア候補を抽出する方法について説明する。ここでは、構造化されていない第２のコーパスとして、ウェブの情報を用いる場合について説明する。第２の抽出部１４は、レキシコシンタクティックパターンを用いることによって、第２関係ペア候補、及び第２無関係ペア候補を抽出することができる。第２の抽出部１４は、その第２のコーパスにおいて、例えば、上位下位の関係に対応するレキシコシンタクティックパターン「ＡというＢ」、「ＡなどのＢ」等に一致する箇所を特定し、言語表現Ａ，Ｂを抽出することによって、第２関係ペア候補（Ａ，Ｂ）を抽出することができる。また、第２の抽出部１４は、その第２のコーパスにおいて、例えば、上位下位以外の関係（例えば、因果関係等）に対応するレキシコシンタクティックパターン「Ｃが原因となるＤ」、「Ｃに使用されるＤ」等に一致する箇所を特定し、言語表現Ｃ，Ｄを抽出することによって、第２無関係ペア候補（Ｃ，Ｄ）を抽出することができる。なお、このようにレキシコシンタクティックパターンを用いて意味的関係を有する言語表現のペアの候補を抽出する方法については、例えば、次の文献を参照されたい。
文献：Ｍａｙａ Ａｎｄｏ、Ｓａｔｏｓｈｉ Ｓｅｋｉｎｅ、Ｓｈｕｎ Ｉｓｈｉｚａｋｉ、「Ａｕｔｏｍａｔｉｃ ｅｘｔｒａｃｔｉｏｎ ｏｆ ｈｙｐｏｎｙｍｓ ｆｒｏｍ Ｊａｐａｎｅｓｅ ｎｅｗｓｐａｐｅｒ ｕｓｉｎｇ ｌｅｘｉｃｏ−ｓｙｎｔａｃｔｉｃ ｐａｔｔｅｒｎｓ」、Ｉｎ Ｐｒｏｃ．ｏｆ ＬＲＥＣ'０４、２００４年

また、第１のコーパスが構造化されたものであり、第２のコーパスが構造化されていないものであり、意味的関係が上位下位の関係である場合に、第１及び第２の分類部２３，２４の機械学習で用いられる素性について説明する。ここでは、第１のコーパスがＷＩＫＩＰＥＤＩＡ（登録商標）であり、第２のコーパスがウェブテキストである場合について説明する。

第１の分類部２３による機械学習の素性には、第１関係ペア候補や学習データに含まれる２個の言語表現（この言語表現を言語表現Ａ，Ｂとする）そのものや、各言語表現Ａ，Ｂの形態素、品詞が含まれる。また、各言語表現Ａ，Ｂの主辞の形態素が含まれてもよい。主辞とは、他の部分とつながっている主要な形態素のことである。日本語では通常、最後に位置する形態素が主辞となる。例えば、言語表現「ＸＹＺ大学」の場合には、最後の形態素「大学」が主辞となる。また、ツリー構造における言語表現Ａ，Ｂの距離（階層の深さ）が素性に含まれてもよい。例えば、図５の場合には、「Ｔｉｇｅｒ」と「Ｒｎａｇｅ」とは距離が「１」であり、「Ｔｉｇｅｒ」と「Ｂｅｎｇａｌ ｔｉｇｅｒ」とは距離が「３」である。また、言語表現Ａ，Ｂが、項目の一覧やリストが現れるセクション等の複数のパターン（例えば、「〜の一覧」や、「〜のリスト」等）のいずれかに一致するかどうかの情報、言語表現Ａ，Ｂが、ＷＩＫＩＰＥＤＩＡ（登録商標）の見出し語（タイトル、セクションタイトル、サブセクションタイトルを含む。リストは含まない。）に頻出するもの（例えば、ＷＩＫＩＰＥＤＩＡ（登録商標）にあらかじめ決められた頻度より多く出現するもの。例えば、「参考文献」や「外部リンク」等が該当する）に一致するかどうかの情報、言語表現Ａ，Ｂのレイアウトタイプ（例えば、タイトル、セクション、リスト等）、言語表現Ａ，Ｂのツリー構造のノードタイプ（例えば、ルートノード、リーフノード、中間ノードなどがある。図５の場合、「Ｔｉｇｅｒ」がルートノードであり、「Ｂｅｎｇａｌ ｔｉｇｅｒ」がリーフノードであり、「Ｒａｎｇｅ」が中間ノードである）、言語表現Ａ，Ｂの親ノード、子ノードのうち、任意の１以上のものが素性に含まれてもよい。また、ＷＩＫＩＰＥＤＩＡ（登録商標）のＩｎｆｏｂｏｘから得られる属性や属性値が素性に含まれてもよい。なお、これらの素性については、前述の非特許文献２を参照されたい。

第２の分類部２４による機械学習の素性には、第２関係ペア候補や学習データに含まれる２個の言語表現（この言語表現を言語表現Ａ，Ｂとする）そのものや、各言語表現Ａ，Ｂの形態素、品詞が含まれる。また、その２個の言語表現を取得するのに用いたレキシコシンタクティックパターンの識別子、その２個の言語表現とパターンとの間のＰＭＩ（ｐｏｉｎｔ−ｗｉｓｅ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）スコア、言語表現Ａ，Ｂ間のＰＭＩスコア、言語表現Ａ，Ｂの名詞クラスのうち、任意の１以上のものが素性に含まれてもよい。なお、名詞クラスとは、次の文献によって示されるＥＭベースのクラスタリングによって５×１０^５個の名詞を５００個のクラスに分けたものである。例えば、名詞クラスＣ_３１１は、「多糖」、「有機化合物」などの生物学や化学に関する名詞を有するクラスである。
文献：Ｊｕｎ'ｉｃｈｉ Ｋａｚａｍａ、Ｋｅｎｔａｒｏ Ｔｏｒｉｓａｗａ、「Ｉｎｄｕｃｉｎｇ ｇａｚｅｔｔｅｅｒｓ ｆｏｒ ｎａｍｅｄ ｅｎｔｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ ｌａｒｇｅ−ｓｃａｌｅ ｃｌｕｓｔｅｒｉｎｇ ｏｆ ｄｅｐｅｎｄｅｎｃｙ ｒｅｌａｔｉｏｎｓ」、 Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＬ−０８：ＨＬＴ、ｐ．４０７−４１５、２００８年

また、第１及び第２の分類部２３，２４による機械学習や分類で用いられる素性は、上記説明のものに限定されないことは言うまでもない。他の素性が用いられてもよく、上記説明の一部の素性が用いられなくてもよい。また、意味的関係が上位下位ではない関係になった場合には、その意味的関係に応じた適切な素性が用いられることが好適である。

［実験例］
次に、本実施の形態による相互機械学習装置１の実験例について説明する。ここで、第１のコーパスとして、２００９年７月バージョンの日本語のＷＩＫＩＰＥＤＩＡ（登録商標）を用いた。そして、１．９×１０^７個の第１関係ペア候補を取得した。この第１関係ペア候補の抽出は、ＷＩＫＩＰＥＤＩＡ（登録商標）のメインの記事のところから行った。なお、そこから２４０００個の第１関係ペア候補をランダムに抽出し、それらが意味的関係（上位下位の関係）を有するかどうかを手作業で判断した。そして、そのうちの２００００個のペアを学習データとし、残りの４０００個のペアをディベロップメントデータと、テストデータとに均等に分けた。ディベロップメントデータは、最適なパラメータの選択のために用いられるものである。また、テストデータは、評価のために用いられるものである。なお、学習データ、ディベロップメントデータ、テストデータのそれぞれには、人手で判断した正例と負例とが含まれている。

また、第２のコーパスとして、前述のＴＳＵＢＡＫＩからの５×１０^７ページ分のウェブテキストを用いた。そして、それらのウェブテキストから上位下位の関係のレキシコシンタクティックパターンを用いて６×１０^６個の第２関係ペア候補を取得した。また、ウェブテキストから９５００個の第２関係ペア候補をランダムに抽出し、それらが意味的関係（上位下位の関係）を有するかどうかを手作業で判断した。そして、そのうちの７５００個のペアを学習データとし、残りの２０００個のペアをディベロップメントデータと、テストデータとに均等に分けた。なお、学習データ、ディベロップメントデータ、テストデータのそれぞれには、人手で判断した正例と負例とが含まれている。
なお、本実験例において、第１関係ペア候補の集合や第２関係ペア候補の集合における意味的関係（上位下位の関係）を有する候補の割合はあまり高くなく、２５〜３０％程度であった。

また、ＷＩＫＩＰＥＤＩＡ（登録商標）のカテゴリーシステムを用いて、第１無関係ペア候補を抽出した。すなわち、第１関係ペア候補はメインの記事から抽出し、第１無関係ペア候補はカテゴリーシステムを用いて抽出したため、第１関係ペア候補を抽出するために用いる第１のコーパスの部分と、第１無関係ペア候補を抽出するために用いる第１のコーパスの部分とは別である。なお、その第１無関係ペア候補は、前述のように、そのペアに含まれる一方の言語表現が、他方の言語表現の祖先となっていないものである。また、ＴＳＵＢＡＫＩのページから因果関係等のレキシコシンタクティックパターンを用いて第２無関係ペア候補を抽出した。

また、この実験例では、ｐｏｌｙｎｏｍｉａｌ ｋｅｒｎｅｌ ｄ＝２のＴｉｎｙＳＶＭ（ｈｔｔｐ：／／ｃｈａｓｅｎ．ｏｒｇ／〜ｔａｋｕ／ｓｏｆｔｗａｒｅ／ＴｉｎｙＳＶＭ／）を第１及び第２の分類部２３，２４として用いた。また、ディベロップメントデータを用いた実験によって、パラメータα、β、Ｎを決定した。この実験例では、α＝１．０、β＝０．３、Ｎ＝９００とした。また、適合率（Ｐ）、再現率（Ｒ）、Ｆ値（Ｆ）を用いて評価を行った。

この実験例では、６個のシステムを比較した。そのうちの３個はＢ１、Ｂ２、Ｂ３であり、異なる素性のセットと異なる学習データとの効果を示すためのものである。Ｂ１，Ｂ２では、２個の分類部を分けて機械学習したのに対して、Ｂ３では、単一の分類部の機械学習に、統合した素性のセットと学習データとを用いた。

Ｂ１は、完全に独立した分類部から構成される。ＳとＵの分類部は、それぞれ自分自身の素性と学習データとを用いて学習され、評価された。すなわち、Ｓの分類部に対してはＷＩＫＩＰＥＤＩＡ（登録商標）の素性と学習データが用いられ、Ｕの分類部に対してはウェブの素性と学習データが用いられた。

Ｂ２は、２個の分類部が、統合された学習データを用いて学習された以外は、Ｂ１と同じである。すなわち、２個の分類部は、それぞれ、２７５００個の学習データで機械学習を行った。なお、その機械学習で用いる素性はそれぞれ別個である。ここで、Ｕの分類部の機械学習において、ウェブテキストから取得された学習データを学習する場合には、ディスタンス等の素性が存在しないが、それは存在しないものとして学習を行った。

Ｂ３は、Ｂ１に対してマスター分類部を付加したものである。Ｂ２と同様に、統合された学習データを用いて学習された。また、すべての利用可能な素性を用いて機械学習を行った。すなわち、２個の分類部の両方において、同じ素性を用いた。さらに、Ｂ１の２個の分類部によって得られた各ペアに対するＳＶＭスコアも素性に含めた。

その他の３個のシステム、ＢＩＣＯ，Ｃｏ−Ｂ，Ｃｏ−ＳＴＡＲ（本実施の形態による相互機械学習装置１）は、二言語相互機械学習（ＢＩＣＯ）と、相互機械学習（Ｃｏ−ＢとＣｏ−ＳＴＡＲ）とを比較するためのものである。特に、Ｃｏ−ＢとＣｏ−ＳＴＡＲとは、バーチャル共通ペアの使用の有無を評価するための比較を行う。また、Ｃｏ−ＢとＣｏ−ＳＴＡＲとについて、Ｂ１、Ｂ２と同様の初期の学習データを用いた。なお、Ｂ１と同様の初期の学習データを用いたものは、Ｃｏ−Ｂ、Ｃｏ−ＳＴＡＲと表記し、Ｂ２と同様の初期の学習データを用いたものは、Ｃｏ−Ｂ＊、Ｃｏ−ＳＴＡＲ＊と表記している。すなわち、Ｃｏ−Ｂ、Ｃｏ−ＳＴＡＲについては、第１の学習データが２００００個（ＷＩＫＩＰＥＤＩＡ（登録商標）から抽出されたもの）であり、第２の学習データが７５００個（ウェブから抽出されたもの）であるが、Ｃｏ−Ｂ＊、Ｃｏ−ＳＴＡＲ＊については、第１及び第２の学習データが２７５００個（ＷＩＫＩＰＥＤＩＡ（登録商標）から抽出されたものとウェブから抽出されたものとをあわせたもの）ずつとなる。

ＢＩＣＯは、前述の非特許文献２に記載されている二言語相互機械学習アルゴリズムを用いたものである。そのアルゴリズムでは、二言語の上位下位の意味的関係が協同的に２個の処理によって取得されていく。そのＢＩＣＯのために、２００００個の英語の学習データと、２００００個の日本語の学習データとを用意した。なお、その２００００個の日本語の学習データは、前述のＷＩＫＩＰＥＤＩＡ（登録商標）から取得した学習データと同じものである。

Ｃｏ−Ｂは、本実施の形態による相互機械学習装置１（Ｃｏ−ＳＴＡＲ）の変形であり、前述のように、ジェニュイン共通ペアのみを用いるものである。この実験例では、６７０００個のジェニュイン共通ペアが用いられた。

Ｃｏ−ＳＴＡＲは、本実施の形態による相互機械学習装置１であり、ジェニュイン共通ペアとバーチャル共通ペアとの両方を用いた。それらの共通ペアの総数は６４３０００個であった。

その実験結果は、図６で示されるとおりである。その実験結果は、前述のような初期の学習データと素性（前述の説明のすべての素性）とを用いて、終了条件が満たされるまで、順次、機械学習と共通ペアの分類と学習データの追加とを繰り返した後に、テストデータに対して分類を行った結果である。そのテストデータの分類部による結果が、人手による判断結果と同じかどうかによって、正解、不正解を判定した。なお、終了条件としては、ｄ^ｉの値が３回連続して０．００１未満であることを採用した。また、ＢＩＣＯでは、二言語でＷＩＫＩＰＥＤＩＡ（登録商標）のデータを用いた処理を行ったため、ウェブデータのほうについては結果が存在しない。図６の実験結果において、ＷｅｂＳｅｔは、ウェブテキストを用いた実験結果（すなわち、第２の分類部２４の分類による結果）であり、ＷｉｋｉＳｅｔは、ＷＩＫＩＰＥＤＩＡ（登録商標）を用いた実験結果（すなわち、第１の分類部２３の分類による結果）である。

Ｂ１〜Ｂ３の比較により、Ｂ２，Ｂ３がＢ１よりＦ値についてすぐれていることが分かる。Ｂ２，Ｂ３は、より多くの学習データ（２７５００個）を用いたため、それに比べて少数の学習データ（７５００個と２００００個）を用いたＢ１よりもよい結果になった。Ｂ２，Ｂ３は、分類部の個数が異なり、その分類部では異なる素性と学習データを用いて学習が行われたにもかかわらず、両者のＦ値は同様の結果となっている。

Ｃｏ−ＳＴＡＲは、Ｂ１〜Ｂ３よりもより性能が優れていることが分かる。また、Ｃｏ−ＳＴＡＲは、ＢＩＣＯに対しても、より少ない学習データで、よりよい性能であることが分かる。なお、Ｃｏ−ＳＴＡＲの学習データは全部で２７５００個であり、ＢＩＣＯの学習データは全部で４００００個である。Ｃｏ−ＢとＣｏ−ＳＴＡＲとの性能の違いは、バーチャル共通ペアの使用の有無の効果を示している。Ｃｏ−ＢよりもＣｏ−ＳＴＡＲのほうがＦ値が高いことによって、ジェニュイン共通ペアと共にバーチャル共通ペアを用いた方が、２個の分類部のより効果的な協同を実現できることが分かる。

このように、本実施の形態による相互機械学習装置１（Ｃｏ−ＳＴＡＲ）は、他の方法に対して、Ｆ値が１．４〜８．５％高く、他の方法よりも性能の高い学習を実現できていることが分かる。なお、そのようにして機械学習を行った相互機械学習装置１によって、ウェブテキストから４．３×１０^５個の第１関係ペア（上位下位の関係のペア）を取得することができ、ＷＩＫＩＰＥＤＩＡ（登録商標）から４．６×１０^６個の第２関係ペア（上位下位の関係のペア）を取得することができた。また、ＳＶＭのしきい値をウェブデータに対しては０．２３に設定し、ＷＩＫＩＰＥＤＩＡ（登録商標）に対しては０．１に設定することによって、９０％の適合率を得ることもできた。

次に、本実施の形態による相互機械学習装置１のロバスト性を評価する実験例について説明する。この実験例では、構造化されたコーパス（ＷＩＫＩＰＥＤＩＡ（登録商標））については、前述の実験例と同様の人手による学習データを用い、構造化されていないコーパス（ウェブテキスト）については、自動的に取得したノイズの多い（すなわち、必ずしも高精度でない）学習データを用いた。その学習データについて簡単に説明する。その学習データの正例については、次のように取得した。まず、ＷＩＫＩＰＥＤＩＡ（登録商標）の定義文（ＷＩＫＩＰＥＤＩＡ（登録商標）の記事の頭の文）から「（下位の言語表現）は（上位の言語表現）である」や「（下位の言語表現）は（上位の言語表現）の一種である」等のパターンを用いて取得した上位下位の関係のペアと、ＷＩＫＩＰＥＤＩＡ（登録商標）のカテゴリーを用いて取得した上位下位の関係のペアとを取得した。ＷＩＫＩＰＥＤＩＡ（登録商標）のカテゴリーを用いて上位下位の関係のペアを取得する際には、まず、タイトルを下位の言語表現、そのタイトルのカテゴリーを上位の言語表現とするペアを取得した。そして、そのタイトルが下位の言語表現である上位下位の関係のペアが、ＷＩＫＩＰＥＤＩＡ（登録商標）の定義文からパターンを用いて取得できており、かつ、その上位下位の関係のペアの上位の言語表現と、カテゴリーである上位の言語表現との主辞が一致している場合に、そのタイトルを下位の言語表現、そのタイトルのカテゴリーを上位の言語表現とするペアを上位下位の関係のペアとした。例えば、タイトル「新型インフルエンザ」、定義文「新型インフルエンザは、インフルエンザウイルスのうち ヒト−ヒト間の伝染能力を新たに有するようになったウイルスを病原体とするインフルエンザ感染症である」から、定義文のパターンを用いて、上位下位の関係（インフルエンザ感染症、新型インフルエンザ）を正例のペアとして取得する。また、「新型インフルエンザ」のカテゴリーに「ウイルス感染症」がある場合には、そのカテゴリーの主辞の「感染症」が、定義文のパターンを用いて取得された上位下位の関係の上位の言語表現の主辞と一致するため、このカテゴリーから取得された「ウイルス感染症」も、「新型インフルエンザ」の上位の言語表現の正例として取得する。すなわち、カテゴリーから、上位下位の関係（ウイルス感染症、新型インフルエンザ）を正例のペアとして取得することになる。

そのようにして取得した上位下位の関係のうち、第２関係ペア候補との共通するものを正例の学習データとした。学習データの負例については、バーチャル共通ペア、特にＲ_Ｓ∩Ｘ_Ｕから取得した。このようにして取得した学習データのサイズは非常に大きくなるため、前述の実験例と同じになるように、７５００個の学習データをランダムに選択した。その際に、正例と負例の比が１：４となるように選択を行った。

そのような学習データを用いて、前述の実験例と同様の実験を行ったところ、結果は、図７で示されるようになった。その図７の結果から、本実施の形態による相互機械学習装置１（Ｃｏ−ＳＴＡＲ）は、精度の低い学習データに対してロバスト性を有していることが分かる。また、本実施の形態による相互機械学習装置１（Ｃｏ−ＳＴＡＲ）は、図６の結果に比べると、少しは性能が落ちているが、Ｂ１〜Ｂ３に対して、よりよい性能を有していることが分かる。したがって、性能が少し落ちてもよい場合には、人手によって学習データを用意する労力を軽減することができることが分かる。

以上のように、本実施の形態による相互機械学習装置１によれば、共通ペア、すなわち、ジェニュイン共通ペアと、バーチャル共通ペアとを用いて相互機械学習を行うことによって、より性能の高い相互機械学習を実現することができる。前述の非特許文献１，２は、ジェニュイン共通ペアしか用いていないため、本実施の形態による相互機械学習装置１は、バーチャル共通ペアを用いた２個の機械学習の共同によって、それら非特許文献１，２の手法よりも、より高い性能を実現できたことになる。また、本実施の形態による相互機械学習装置１は、精度の低い学習データに対してもロバスト性を有していることが分かる。したがって、学習データを用意する際の人手による作業を軽減することも可能となる。また、本実施の形態による相互機械学習装置１によれば、構造化されたデータと、構造化されていないデータのように、第１及び第２の分類部２３，２４ごとに、異なる処理対象を扱うことも可能となる。

このようにして、本実施の形態による相互機械学習装置１を用いて取得された意味的関係は、例えば、ウェブ検索などの情報検索システムや、機械翻訳システムなどで用いることができる。具体的には、ウェブ検索において、意味的関係を用いたクエリの拡張が可能となる。例えば、辞書に登録されていない未知語が入力された場合に、その未知語を下位語とする上位下位の関係が本実施の形態による相互機械学習装置１によって取得されているのであれば、その未知語の上位語による検索を行うことができる。また、機械翻訳システムにおいても、意味的関係を有することによって、より適切な訳語を選択することができると共に、訳語の登録がなくても、その上位語を用いて翻訳するなどの柔軟な翻訳を行うことができる。なお、本実施の形態による相互機械学習装置１を用いて取得された意味的関係の使用方法はこれらに限定されるものではなく、他の種々の活用方法があることは言うまでもない。

なお、本実施の形態において、バーチャル共通ペアを拡張してもよい。すなわち、バーチャル共通ペアの集合Ｖは、図４で示されるＶの領域以外の共通ペアをも含むものであってもよい。例えば、バーチャル共通ペアは、複数の第１関係ペア候補と、複数の第２関係ペア候補と、複数の第１無関係ペア候補と、複数の第２無関係ペア候補とのうち、ジェニュイン共通ペアではないペアである共通ペアであってもよい。その場合には、バーチャル共通ペアの集合Ｖは、図４において、Ｘ_Ｓ、Ｒ_Ｓ、Ｘ_Ｕ、Ｒ_Ｕの網掛けのない部分をも含むようになる。ここで、厳密に言えば、Ｘ_Ｓ、Ｒ_Ｓ、Ｘ_Ｕ、Ｒ_Ｕの網掛けのない部分のペアは共通ペアではないが、ここではバーチャル共通ペアを拡張しているため、便宜上、そのペアについても共通ペアと呼ぶことにする。すなわち、この場合には、バーチャル共通ペアの集合Ｖは、本来の共通ペア（２個の集合に共通するペア）を含むペアの集合となる。

また、本実施の形態において、追加部２５が、第１及び第２の分類部２３，２４の分類による確信度の高い共通ペアとその分類結果とを学習データに追加する場合について説明したが、追加部２５は、それ以外の処理を行ってもよい。すなわち、追加部２５は、第１の分類部２３の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、その共通ペアとその共通ペアに関する分類結果とを第２の学習データに追加し、第２の分類部２４の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、その共通ペアとその共通ペアに関する分類結果とを第１の学習データに追加してもよい。ここで、「共通ペアの分類結果と確信度との少なくとも一方に応じて、その共通ペアとその共通ペアに関する分類結果とを学習データに追加する」とは、共通ペアの分類結果と確信度との少なくとも一方が所定の条件を満たしている場合には、その共通ペアと分類結果が学習データに追加され、共通ペアの分類結果と確信度との少なくとも一方がその所定の条件を満たしていない場合には、その共通ペア等が学習データに追加されないことを意味している。その所定の条件は、例えば、分類結果のみに関するものであってもよく、確信度のみに関するものであってもよく、あるいは、分類結果と確信度の両方に関するものであってもよい。例えば、追加部２５は、ある共通ペアについて、第１及び第２の分類部２３，２４の分類結果が同じである場合に、その共通ペアとその共通ペアの分類結果とを第１及び第２の学習データに追加してもよい。また、例えば、追加部２５は、第１の分類部２３の分類による確信度が高い共通ペアのうち、ランダムに選択された共通ペアとその分類結果とを第２の学習データに追加し、第２の分類部２４の分類による確信度が高い共通ペアのうち、ランダムに選択された共通ペアとその分類結果とを第１の学習データに追加してもよい。また、例えば、追加部２５は、第１の分類部２３の分類による確信度が高い共通ペアのうち、正例となる共通ペアとその分類結果とを第２の学習データに追加し、第２の分類部２４の分類による確信度が高い共通ペアのうち、正例となる共通ペアとその分類結果とを第１の学習データに追加してもよい。また、例えば、追加部２５は、第１の分類部２３の分類による正例の共通ペアとその分類結果とを第２の学習データに追加し、第２の分類部２４の分類による正例の共通ペアとその分類結果とを第１の学習データに追加してもよい。

また、本実施の形態では、第１のコーパスが構造を有するものであり、第２のコーパスが構造を有しないものである場合について主に説明したが、そうでなくてもよい。例えば、両者共に、構造を有するものであってもよい。その場合であっても、例えば、第１のコーパスから、本実施の形態と同様に、構造を用いて第１関係ペア候補等を抽出し、第２のコーパスから、本実施の形態と同様に、レキシコシンタクティックパターンを用いて第２関係ペア候補等を抽出してもよい。なお、意味的関係が上位下位の関係でない場合には、その意味的関係に応じた構造等を用いた第１関係ペア候補等や、第２関係ペア候補等の抽出が行われることが好適である。例えば、文書構造や文書間構造、テーブル（表）構造等を用いて第１関係ペア候補等を抽出してもよい。

また、本実施の形態では、第１の抽出部１３が第１関係ペア候補、第１無関係ペア候補を抽出し、第２の抽出部１４が第２関係ペア候補、第２無関係ペア候補を抽出する場合について説明したが、そうでなくてもよい。その場合には、相互機械学習装置１は、第１のコーパス記憶部１１、第２のコーパス記憶部１２、第１の抽出部１３、第２の抽出部１４を備えていなくてもよい。また、その場合には、第１関係ペア候補、第１無関係ペア候補、第２関係ペア候補、第２無関係ペア候補は、第１及び第２の抽出部１３，１４の抽出と同様にして抽出されたものであってもよく、あるいは、他の方法（例えば、人手による方法等）によって抽出されたものであってもよい。また、第１関係ペア候補記憶部１５、第１無関係ペア候補記憶部１６、第２関係ペア候補記憶部１７、第２無関係ペア候補記憶部１８に第１関係ペア候補等が記憶される過程は問わない。例えば、記録媒体を介して第１関係ペア候補等が第１関係ペア候補記憶部１５等で記憶されるようになってもよく、あるいは、通信回線等を介して送信された第１関係ペア候補等が第１関係ペア候補記憶部１５等で記憶されるようになってもよい。なお、機械学習や分類を行う際には、素性が必要であるため、相互機械学習装置１が第１及び第２のコーパス記憶部１１，１２を備えていない場合には、第１関係ペア候補等の言語表現のペアに、あらかじめ素性の情報が対応付けられていることが好適である。第１及び第２の分類部２３，２４は、その素性の情報を用いることによって、機械学習や分類を行うことができる。

また、本実施の形態では、第１及び第２の分類部２３，２４が第１及び第２関係ペア候補を分類した結果である第１及び第２関係ペアが蓄積される第１及び第２関係ペア記憶部２６，２７を備える場合について説明したが、第１及び第２の分類部２３，２４が第１及び第２関係ペア候補の分類を行わない場合や、第１及び第２の分類部２３，２４が第１及び第２関係ペアの蓄積を行わない場合（例えば、第１及び第２関係ペア候補記憶部１５，１７で記憶されている第１及び第２関係ペアに対してフラグを設定するような場合）には、相互機械学習装置１は、第１及び第２関係ペア記憶部２６，２７を備えていなくてもよい。

また、本実施の形態では、取得部１９が共通ペアの取得を行う場合について説明したが、そうでなくてもよい。その場合には、相互機械学習装置１は、第１関係ペア候補記憶部１５、第１無関係ペア候補記憶部１６、第２関係ペア候補記憶部１７、第２無関係ペア候補記憶部１８、取得部１９を備えていなくてもよい。また、その場合に、共通ペア記憶部２０に共通ペア（ジェニュイン共通ペアやバーチャル共通ペア）が記憶される過程は問わない。例えば、記録媒体を介して共通ペアが共通ペア記憶部２０で記憶されるようになってもよく、あるいは、通信回線等を介して送信された共通ペアが共通ペア記憶部２０で記憶されるようになってもよい。

また、本実施の形態による相互機械学習装置１は、当該装置内で生成された情報を出力する図示しない出力部をさらに備えてもよい。その出力対象の情報は、例えば、第１関係ペア記憶部２６で記憶される第１関係ペアであってもよく、第２関係ペア記憶部２７で記憶される第２関係ペアであってもよく、第１の分類部２３による学習結果の情報であってもよく、第２の分類部２４による学習結果の情報であってもよく、その他の情報であってもよい。その図示しない出力部による出力は、例えば、所定の機器への通信回線を介した送信でもよく、記録媒体への蓄積でもよい。なお、その図示しない出力部は、出力を行うデバイス（例えば、通信デバイスなど）を含んでもよく、あるいは含まなくてもよい。また、その図示しない出力部は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

また、本実施の形態では、機械学習の後に、第１及び第２の分類部２３，２４が第１関係ペア候補、第２関係ペア候補の分類を行う場合について説明したが、第１及び第２の分類部２３，２４は、第１無関係ペア候補、第２無関係ペア候補についても、分類を行ってもよい。

また、本実施の形態では、第１のコーパスと、第２のコーパスとを用いて相互機械学習を行う場合について説明したが、３個以上のコーパスを用いて本実施の形態による相互機械学習装置１と同様の相互機械学習を行ってもよいことは言うまでもない。なお、その場合であっても、その３個以上のコーパスのうち、２個のコーパスに注目すると、本実施の形態による相互機械学習装置１と同様の処理が行われることになる。

また、上記実施の形態では、相互機械学習装置１がスタンドアロンである場合について説明したが、相互機械学習装置１は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部等は、例えば、通信回線を介して情報を出力してもよい。

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。

また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いるしきい値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していない場合であっても、ユーザが適宜、それらの情報を変更できるようにしてもよく、あるいは、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。

また、上記実施の形態において、相互機械学習装置１に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、あるいは、別々のデバイスを有してもよい。

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記実施の形態における相互機械学習装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、第１の方法によって第１のコーパスから抽出された、意味的関係を有する言語表現のペアの候補である複数の第１関係ペア候補と、第１の方法とは異なる第２の方法によって第２のコーパスから抽出された、意味的関係を有する言語表現のペアの候補である複数の第２関係ペア候補とに共通する共通ペアであるジェニュイン共通ペアと、第１のコーパスから抽出された、意味的関係を有さない言語表現のペアの候補である複数の第１無関係ペア候補と、複数の第２関係ペア候補とに共通する共通ペアであるバーチャル共通ペア、及び、第２のコーパスから抽出された、意味的関係を有さない言語表現のペアの候補である複数の第２無関係ペア候補と、複数の第１関係ペア候補とに共通する共通ペアであるバーチャル共通ペアとが記憶される共通ペア記憶部と、第１関係ペア候補が意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第１の学習データが記憶される第１の学習データ記憶部と、第２関係ペア候補が意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第２の学習データが記憶される第２の学習データ記憶部とにアクセス可能なコンピュータを、第１の学習データを用いて機械学習を行い、機械学習の結果を用いて、ジェニュイン共通ペア及びバーチャル共通ペアが意味的関係を有しているかどうか分類する第１の分類部、第２の学習データを用いて機械学習を行い、機械学習の結果を用いて、ジェニュイン共通ペア及びバーチャル共通ペアが意味的関係を有しているかどうか分類する第２の分類部、第１の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを第２の学習データに追加し、第２の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを第１の学習データに追加する追加部として機能させ、第１及び第２の分類部による機械学習及び分類と、追加部による学習データの追加とが繰り返して実行される、プログラムである。

また、上記実施の形態における相互機械学習装置１を実現するソフトウェアは、以下のようなプログラムであってもよい。つまり、このプログラムは、第１の方法によって第１のコーパスから抽出された、意味的関係を有する言語表現のペアの候補である複数の第１関係ペア候補と、前記第１の方法とは異なる第２の方法によって第２のコーパスから抽出された、前記意味的関係を有する言語表現のペアの候補である複数の第２関係ペア候補とに共通する共通ペアであるジェニュイン共通ペア、及び、前記複数の第１関係ペア候補と、前記複数の第２関係ペア候補と、前記第１のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第１無関係ペア候補と、前記第２のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第２無関係ペア候補とのうち、前記ジェニュイン共通ペアではないペアである共通ペアであるバーチャル共通ペアが記憶される共通ペア記憶部と、前記第１関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第１の学習データが記憶される第１の学習データ記憶部と、前記第２関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第２の学習データが記憶される第２の学習データ記憶部とにアクセス可能なコンピュータを、前記第１の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第１の分類部、前記第２の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第２の分類部、第１の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを第２の学習データに追加し、第２の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを第１の学習データに追加する追加部として機能させ、前記第１及び第２の分類部による機械学習及び分類と、前記追加部による学習データの追加とが繰り返して実行される、プログラムである。

なお、プログラムにおいて、そのプログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、そのプログラムが実現する機能には少なくとも含まれない。

また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

図８は、上記プログラムを実行して、上記実施の形態による相互機械学習装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。

図８において、コンピュータシステム９００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ９０５、ＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）ドライブ９０６を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。

図９は、コンピュータシステム９００の内部構成を示す図である。図９において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５、ＦＤドライブ９０６に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム９００に、上記実施の形態による相互機械学習装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１、またはＦＤ９２２に記憶されて、ＣＤ−ＲＯＭドライブ９０５、またはＦＤドライブ９０６に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１やＦＤ９２２、またはネットワークから直接、ロードされてもよい。

プログラムは、コンピュータ９０１に、上記実施の形態による相互機械学習装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。

また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上より、本発明による相互機械学習装置等によれば、より精度の高い機械学習を実現できるという効果が得られ、機械学習を行う装置等として有用である。

１ 相互機械学習装置
１１ 第１のコーパス記憶部
１２ 第２のコーパス記憶部
１３ 第１の抽出部
１４ 第２の抽出部
１５ 第１関係ペア候補記憶部
１６ 第１無関係ペア候補記憶部
１７ 第２関係ペア候補記憶部
１８ 第２無関係ペア候補記憶部
１９ 取得部
２０ 共通ペア記憶部
２１ 第１の学習データ記憶部
２２ 第２の学習データ記憶部
２３ 第１の分類部
２４ 第２の分類部
２５ 追加部
２６ 第１関係ペア記憶部
２７ 第２関係ペア記憶部

Claims (14)

1. 第１の方法によって第１のコーパスから抽出された、意味的関係を有する言語表現のペアの候補である複数の第１関係ペア候補と、前記第１の方法とは異なる第２の方法によって第２のコーパスから抽出された、前記意味的関係を有する言語表現のペアの候補である複数の第２関係ペア候補とに共通する共通ペアであるジェニュイン共通ペアと、前記第１のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第１無関係ペア候補と、前記複数の第２関係ペア候補とに共通する共通ペアであるバーチャル共通ペア、及び、前記第２のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第２無関係ペア候補と、前記複数の第１関係ペア候補とに共通する共通ペアであるバーチャル共通ペアとが記憶される共通ペア記憶部と、
   前記第１関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第１の学習データが記憶される第１の学習データ記憶部と、
   前記第１の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第１の分類部と、
   前記第２関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第２の学習データが記憶される第２の学習データ記憶部と、
   前記第２の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第２の分類部と、
   前記第１の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを前記第２の学習データに追加し、前記第２の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを前記第１の学習データに追加する追加部と、を備え、
   前記第１及び第２の分類部による機械学習及び分類と、前記追加部による学習データの追加とが繰り返して実行される、相互機械学習装置。
2. 第１の方法によって第１のコーパスから抽出された、意味的関係を有する言語表現のペアの候補である複数の第１関係ペア候補と、前記第１の方法とは異なる第２の方法によって第２のコーパスから抽出された、前記意味的関係を有する言語表現のペアの候補である複数の第２関係ペア候補とに共通する共通ペアであるジェニュイン共通ペア、及び、前記複数の第１関係ペア候補と、前記複数の第２関係ペア候補と、前記第１のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第１無関係ペア候補と、前記第２のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第２無関係ペア候補とのうち、前記ジェニュイン共通ペアではないペアである共通ペアであるバーチャル共通ペアが記憶される共通ペア記憶部と、
   前記第１関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第１の学習データが記憶される第１の学習データ記憶部と、
   前記第１の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第１の分類部と、
   前記第２関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第２の学習データが記憶される第２の学習データ記憶部と、
   前記第２の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第２の分類部と、
   前記第１の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを前記第２の学習データに追加し、前記第２の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを前記第１の学習データに追加する追加部と、を備え、
   前記第１及び第２の分類部による機械学習及び分類と、前記追加部による学習データの追加とが繰り返して実行される、相互機械学習装置。
3. 前記追加部は、
   前記第１の分類部の分類による確信度が高い共通ペアと当該共通ペアに関する分類結果とを前記第２の学習データに追加し、前記第２の分類部の分類による確信度が高い共通ペアと当該共通ペアに関する分類結果とを前記第１の学習データに追加する、請求項１または請求項２記載の相互学習装置。
4. 前記追加部は、
   前記第１の分類部の分類による確信度が高く、前記第１及び第２の分類部の分類結果が同じである共通ペアと当該共通ペアに関する分類結果とを前記第２の学習データに追加し、前記第２の分類部の分類による確信度が高く、前記第１及び第２の分類部の分類結果が同じである共通ペアと当該共通ペアに関する分類結果とを前記第１の学習データに追加する、請求項３記載の相互機械学習装置。
5. 前記追加部は、
   前記第１の分類部の分類による確信度が高く、前記第２の分類部の分類による確信度が低い共通ペアと当該共通ペアに関する分類結果とを前記第２の学習データに追加し、前記第２の分類部の分類による確信度が高く、前記第１の分類部の分類による確信度が低い共通ペアと当該共通ペアに関する分類結果とを前記第１の学習データに追加する、請求項３または請求項４記載の相互機械学習装置。
6. 前記複数の第１関係ペア候補が記憶される第１関係ペア候補記憶部と、
   前記複数の第１無関係ペア候補が記憶される第１無関係ペア候補記憶部と、
   前記複数の第２関係ペア候補が記憶される第２関係ペア候補記憶部と、
   前記複数の第２無関係ペア候補が記憶される第２無関係ペア候補記憶部と、
   前記複数の第１関係ペア候補と前記複数の第２関係ペア候補とを用いて、前記ジェニュイン共通ペアを取得して前記共通ペア記憶部に蓄積し、前記複数の第１関係ペア候補と前記複数の第２関係ペア候補と前記複数の第１無関係ペア候補と前記複数の第２無関係ペア候補とを用いて、前記バーチャル共通ペアを取得して前記共通ペア記憶部に蓄積する取得部と、をさらに備えた、請求項１から請求項５のいずれか記載の相互機械学習装置。
7. 前記第１のコーパスが記憶される第１のコーパス記憶部と、
   前記第２のコーパスが記憶される第２のコーパス記憶部と、
   前記第１のコーパスから前記複数の第１関係ペア候補を抽出して前記第１関係ペア候補記憶部に蓄積し、前記第１のコーパスから前記複数の第１無関係ペア候補を抽出して前記第１無関係ペア候補記憶部に蓄積する第１の抽出部と、
   前記第２のコーパスから前記複数の第２関係ペア候補を抽出して前記第２関係ペア候補記憶部に蓄積し、前記第２のコーパスから前記複数の第２無関係ペア候補を抽出して前記第２無関係ペア候補記憶部に蓄積する第２の抽出部と、をさらに備えた、請求項６記載の相互機械学習装置。
8. 前記第１の分類部は、機械学習及び分類と学習データの追加との繰り返しの後に、前記複数の第１関係ペア候補に対して分類を行い、
   前記第２の分類部は、機械学習及び分類と学習データの追加との繰り返しの後に、前記複数の第２関係ペア候補に対して分類を行う、請求項６または請求項７記載の相互機械学習装置。
9. 前記第１のコーパスは、構造化されたコーパスであり、
   前記第２のコーパスは、構造化されていない自然言語文のコーパスである、請求項１から請求項８のいずれか記載の相互機械学習装置。
10. 前記意味的関係は、上位下位の関係である、請求項１から請求項９のいずれか記載の相互機械学習装置。
11. 第１の方法によって第１のコーパスから抽出された、意味的関係を有する言語表現のペアの候補である複数の第１関係ペア候補と、前記第１の方法とは異なる第２の方法によって第２のコーパスから抽出された、前記意味的関係を有する言語表現のペアの候補である複数の第２関係ペア候補とに共通する共通ペアであるジェニュイン共通ペアと、前記第１のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第１無関係ペア候補と、前記複数の第２関係ペア候補とに共通する共通ペアであるバーチャル共通ペア、及び、前記第２のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第２無関係ペア候補と、前記複数の第１関係ペア候補とに共通する共通ペアであるバーチャル共通ペアとが記憶される共通ペア記憶部と、前記第１関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第１の学習データが記憶される第１の学習データ記憶部と、第１の分類部と、前記第２関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第２の学習データが記憶される第２の学習データ記憶部と、第２の分類部と、追加部とを用いて処理される相互機械学習方法であって、
    前記第１の分類部が、前記第１の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第１の分類ステップと、
    前記第２の分類部が、前記第２の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第２の分類ステップと、
    前記追加部が、前記第１の分類ステップでの分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを前記第２の学習データに追加し、前記第２の分類ステップでの分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを前記第１の学習データに追加する追加ステップと、を備え、
    前記第１及び第２の分類ステップにおける機械学習及び分類と、前記追加ステップにおける学習データの追加とが繰り返して実行される、相互機械学習方法。
12. 第１の方法によって第１のコーパスから抽出された、意味的関係を有する言語表現のペアの候補である複数の第１関係ペア候補と、前記第１の方法とは異なる第２の方法によって第２のコーパスから抽出された、前記意味的関係を有する言語表現のペアの候補である複数の第２関係ペア候補とに共通する共通ペアであるジェニュイン共通ペア、及び、前記複数の第１関係ペア候補と、前記複数の第２関係ペア候補と、前記第１のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第１無関係ペア候補と、前記第２のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第２無関係ペア候補とのうち、前記ジェニュイン共通ペアではないペアである共通ペアであるバーチャル共通ペアが記憶される共通ペア記憶部と、前記第１関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第１の学習データが記憶される第１の学習データ記憶部と、第１の分類部と、前記第２関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第２の学習データが記憶される第２の学習データ記憶部と、第２の分類部と、追加部とを用いて処理される相互機械学習方法であって、
    前記第１の分類部が、前記第１の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第１の分類ステップと、
    前記第２の分類部が、前記第２の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第２の分類ステップと、
    前記追加部が、前記第１の分類ステップでの分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを前記第２の学習データに追加し、前記第２の分類ステップでの分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを前記第１の学習データに追加する追加ステップと、を備え、
    前記第１及び第２の分類ステップにおける機械学習及び分類と、前記追加ステップにおける学習データの追加とが繰り返して実行される、相互機械学習方法。
13. 第１の方法によって第１のコーパスから抽出された、意味的関係を有する言語表現のペアの候補である複数の第１関係ペア候補と、前記第１の方法とは異なる第２の方法によって第２のコーパスから抽出された、前記意味的関係を有する言語表現のペアの候補である複数の第２関係ペア候補とに共通する共通ペアであるジェニュイン共通ペアと、前記第１のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第１無関係ペア候補と、前記複数の第２関係ペア候補とに共通する共通ペアであるバーチャル共通ペア、及び、前記第２のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第２無関係ペア候補と、前記複数の第１関係ペア候補とに共通する共通ペアであるバーチャル共通ペアとが記憶される共通ペア記憶部と、前記第１関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第１の学習データが記憶される第１の学習データ記憶部と、前記第２関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第２の学習データが記憶される第２の学習データ記憶部とにアクセス可能なコンピュータを、
    前記第１の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第１の分類部、
    前記第２の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第２の分類部、
    前記第１の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを前記第２の学習データに追加し、前記第２の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを前記第１の学習データに追加する追加部として機能させ、
    前記第１及び第２の分類部による機械学習及び分類と、前記追加部による学習データの追加とが繰り返して実行される、プログラム。
14. 第１の方法によって第１のコーパスから抽出された、意味的関係を有する言語表現のペアの候補である複数の第１関係ペア候補と、前記第１の方法とは異なる第２の方法によって第２のコーパスから抽出された、前記意味的関係を有する言語表現のペアの候補である複数の第２関係ペア候補とに共通する共通ペアであるジェニュイン共通ペア、及び、前記複数の第１関係ペア候補と、前記複数の第２関係ペア候補と、前記第１のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第１無関係ペア候補と、前記第２のコーパスから抽出された、前記意味的関係を有さない言語表現のペアの候補である複数の第２無関係ペア候補とのうち、前記ジェニュイン共通ペアではないペアである共通ペアであるバーチャル共通ペアが記憶される共通ペア記憶部と、前記第１関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第１の学習データが記憶される第１の学習データ記憶部と、前記第２関係ペア候補が前記意味的関係を有しているかどうかの分類に関する機械学習で用いられる教師データである第２の学習データが記憶される第２の学習データ記憶部とにアクセス可能なコンピュータを、
    前記第１の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第１の分類部、
    前記第２の学習データを用いて機械学習を行い、当該機械学習の結果を用いて、前記ジェニュイン共通ペア及び前記バーチャル共通ペアが前記意味的関係を有しているかどうか分類する第２の分類部、
    前記第１の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを前記第２の学習データに追加し、前記第２の分類部の分類による共通ペアの分類結果と確信度との少なくとも一方に応じて、当該共通ペアと当該共通ペアに関する分類結果とを前記第１の学習データに追加する追加部として機能させ、
    前記第１及び第２の分類部による機械学習及び分類と、前記追加部による学習データの追加とが繰り返して実行される、プログラム。

Images