JP2015075854A

JP2015075854A - 矛盾表現収集装置及びそのためのコンピュータプログラム

Info

Publication number: JP2015075854A
Application number: JP2013210793A
Authority: JP
Inventors: ジュリアンクロエツェー; Kloetzer Julien; 健太郎鳥澤; Kentaro Torisawa; 力橋本; Chikara Hashimoto; 大樹佐野; Motoki Sano; 鍾勲呉; Jong Hoon Oh; 清敬大竹; Kiyotaka Otake
Original assignee: National Institute of Information and Communications Technology
Current assignee: National Institute of Information and Communications Technology
Priority date: 2013-10-08
Filing date: 2013-10-08
Publication date: 2015-04-20
Anticipated expiration: 2033-10-08
Also published as: WO2015053236A1; KR20160067102A; CN105612515B; US20160260026A1; EP3057003A1; CN105612515A; EP3057003A4; JP6150291B2; KR102235990B1

Abstract

【課題】文より小さな単位で矛盾表現を効率よく収集できる装置を提供する。
【解決手段】矛盾表現収集装置は、「ＸがＹを○○する」という形式のパターンからなるパターン対を学習データとする機械学習により、互いに矛盾するパターンからなるパターン対を抽出する第１段階矛盾パターン分類部と、抽出されたパターン対の各々について、含意関係を適用して、一方のパターンを書換えて新たなパターン対を導出する追加矛盾パターン対導出部１３０と、導出された新たなパターン対の内で、互いに矛盾するパターンからなる可能性が高いパターン対を学習データに追加することで学習データを拡張する学習データ拡張部１３６と、拡張された学習データを用いた機械学習により、与えられたパターン対を互いに矛盾するパターンからなるパターン対とそれ以外とに分類する第２段階分類を行なうＳＶＭ１４２とを含む。
【選択図】図４

Description

この発明は、大量のテキストから矛盾した表現を抽出する装置に関し、特に、大量のテキストから、互いに矛盾する表現のペアを信頼性高く抽出する装置に関する。

テキスト中で矛盾した表現を検出できれば、その結果を多くの目的に使用できる。例えば、長大なテキストの中で互いに矛盾した表現を検出できれば、それらをマークすることによりテキストの作成者の注意を喚起できる。他人が作成したテキストを査読する場合、その論理の一貫性を検証できる。異なる著者の作成したテキストを比較したりする場合には、その主張の異同を確認できる。

例えば、日本語で記載されたウェブページには、「アガリクスがガンを防ぐ」という主旨の記載が多くみられる。こうした主張は多くの日本人により受け入れられている。しかし、例えば「アガリクスガン促進する」というキーワードでウェブを検索すると、「アガリクスによりラットのガンが促進する」という報告を見出すことができる。その報告は、販売されていた一部のアガリクス製品によりラットのガンが促進されたとする、厚生労働省により承認された報告を参照したものである。このような記事により、アガリクスがガンを防止するという主張と矛盾する報告が存在することが分かり、その結果、アガリクスについて興味を持つものはさらに調査を進めることになる。

また、災害の発生時には、ネットワーク上のいわゆるブログ、ミニブログ、ソーシャルメディア等に多くの情報が寄せられる。これらの情報は、適切な避難をしたり、適時に支援を行なったりする上で非常に有用である。しかし、これらの中には、根拠のない情報、及びいわゆるデマ情報が含まれることが多い。それらの情報は見かけ上、正しい情報と区別することは難しい。そのため、正しい判断を行なう上で無益であるばかりでなく、正常な情報流通を妨げ、災害による被害を大きくしたり、復旧を遅らせたりする危険性がある。ネットワーク上の情報を分析し、矛盾する情報を抽出してユーザに提示できれば、ユーザは信頼できる情報とそうでない情報とを整理でき、結果的に非常時の混乱を早期に収拾できる。

こうした例を考えると、ある事柄について互いに矛盾した主張を目にした読者は、その事柄についてさらに調査を進め、結局は真実を知ることができる可能性が高い。これは、事実に関する知識についてだけではなく、日々の生活で見出される、事実に関する事柄とは異なるものについてもあてはまる。例えば、ＴＰＰ（ＴｒａｎｓＰａｃｉｆｉｃＰａｒｔｎｅｒｓｈｉｐ）と呼ばれる経済連携協定を例にとる。ＴＰＰに関しては、日本がＴＰＰに加盟すべきか否かに関して様々な主張がなされている。それらの中には、非常に重大で、かつ互いに矛盾する主張が見出される。すなわち、ＴＰＰにより日本の農業は壊滅するであろう、という主張と、ＴＰＰにより日本の農業は強化されるであろう、という主張とが混在している。これらは主張又は予想であって、実際に日本がＴＰＰに加盟するか否かという決定がなされて初めてその成否が検証できる。

さらに、ときには、互いに矛盾する主張を含む、異なるテキストを読んだときに、それらの根拠となる論理には見たところ誤りがないように思われる場合がある。例えば「ＴＰＰにより、日本からの農産物の輸出が増加する」という主張、「安価な農産物が大量に日本に輸入されるだろう」という主張等がある。例えば円の為替相場の変動という予想しがたい理由によって、これらの主張の１つのみが結果的に正しくなることもあるだろう。しかし、これら互いに矛盾する主張の根拠となる理論についてはよく調べ、それら複数の視点からの意見を十分に検討し、バランスのとれた決定をし、予測される問題に適切に対応しなければならない。矛盾表現の認識は、そうした場合に検討すべき文書を選択するために非常に大きな助けとなるだろう。

M. Ohki, S. Matsuyoshi, J. Mizuno, K. Inui, E. Nichols, K. Murakami, S. Masuda, and Y. Matsumoto. 2011. Recognizing confinement in web texts. In the Proceedings of the Ninth International Conference on Computational Semantics, page 215-224. C. Hashimoto, K. Torisawa, S. De Saeger, J.-H. Oh, and J. Kazama. 2012. Excitatory or inhibitory: A new semantic orientation extracts contradiction and causality from the web. In Proceedings of EMNLP 2012.

このような矛盾表現の認識に関する研究には、前掲の非特許文献１に記載されたものがある。非特許文献１に記載された研究は、文の間の矛盾、又は文書全体の間の矛盾を認識するためのものである。しかし、矛盾表現をより効率よく判断するためには、より細かい単位での矛盾表現を認識する技術が必要である。そうした技術が得られれば、文全体の間の矛盾又は文書全体の間での矛盾の認識をより効率よくかつ精度よくできる可能性がある。

また、前述した例は日本語での例のみだが、こうした問題は日本語に限らず全ての言語に共通するものである。

したがって本発明の目的は、文全体よりも小さな単位で矛盾表現を効率よく収集できる矛盾表現収集装置を提供することである。

本発明の他の目的は、文全体よりも小さな単位で矛盾表現を効率よく収集できる、言語独立な矛盾表現収集装置を提供することである。

本発明の第１の局面に係る矛盾表現収集装置は、単語の含意関係を記憶する含意関係記憶手段と、複数の二元パターン対を記憶する第１の記憶装置とに接続して用いられる。二元パターン対は、２つの二元パターンを含み、各二元パターンは一元パターンをサブパターンとして含む。矛盾表現収集装置は、第１の記憶装置に記憶された二元パターン対から選択された二元パターン対を学習データとする機械学習により、第１の記憶装置に記憶された複数の二元パターン対から、互いに矛盾する二元パターン対を抽出する第１の分類手段と、第１の分類手段により抽出された二元パターン対の各々について、含意関係記憶手段に記憶された含意関係を適用して、一方の二元パターンを書換えて新たな二元パターン対を導出する導出手段と、導出手段により導出された新たな二元パターン対の内で、互いに矛盾する二元パターンからなる可能性が高い二元パターン対を抽出し、学習データに追加することで学習データを拡張する学習データ拡張手段と、学習データ拡張手段により拡張された学習データを用いた機械学習により、与えられた二元パターン対を互いに矛盾する二元パターン対とそれ以外とに分類する第２の分類手段とを含む、矛盾表現収集装置。

好ましくは、矛盾表現収集装置はさらに、一元パターンの極性を記憶する極性記憶手段に接続して用いられ、第１の分類手段は、極性記憶手段に記憶された一元パターンの極性を用いて、互いに極性が反対の一元パターン対を含む二元パターン対を第１の記憶装置から抽出する第１のパターン対抽出手段と、互いに矛盾する二元パターンからなるか否かを示すラベルが付された複数の二元パターン対を学習データとして、互いに矛盾する二元パターンからなる二元パターン対を選択する機能を機械学習により学習し、第１の記憶装置に記憶された複数の二元パターン対から、互いに矛盾する二元パターンからなる二元パターン対を選択し出力する機械学習手段とを含む。

より好ましくは、第１の分類手段は、出力する二元パターン対に、当該二元パターン対が互いに矛盾する二元パターンからなるか否かの可能性を示すスコアを付して出力し、学習データ拡張手段は、第１の分類手段により抽出された二元パターン対のグループの各々について、当該グループに含まれる二元パターン対のうち、スコアが予め定めたしきい値以上であるものの割合を当該グループに含まれる各二元パターンのスコアとして算出するスコア算出手段と、第１の分類手段により新たに導出された二元パターン対の各々について、当該二元パターン対に対してスコア算出手段により算出されたスコアが最大のものを割当てることで、各二元パターン対のスコアを確定させるスコア確定手段と、第１の分類手段により新たに導出された二元パターン対のうち、スコア確定手段により確定されたスコアが上位のものから所定個数を選択し、学習データに追加する追加手段とを含む。

さらに好ましくは、追加手段は、第１の分類手段により新たに導出された二元パターン対のうち、第１の分類手段により抽出された二元パターン対の集合に既に含まれているものは、学習データへの追加時に除外する。

第１の分類手段と、第２の分類手段とのいずれかは、教師付学習による分類手段、例えばＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅによる分類手段を含んでもよい。

本発明の第２の局面に係るコンピュータプログラムは、単語の含意関係を記憶する含意関係記憶手段と、複数の二元パターン対を記憶する第１の記憶装置とに接続されるコンピュータにおいて実行される。二元パターン対は、２つの二元パターンを含み、各二元パターンは一元パターンをサブパターンとして含む。このコンピュータプログラムは、当該コンピュータを、第１の記憶装置に記憶された二元パターン対から選択された二元パターン対を学習データとする機械学習により、第１の記憶装置に記憶された複数の二元パターン対から、互いに矛盾する二元パターン対を抽出する第１の分類手段と、第１の分類手段により抽出された二元パターン対の各々について、含意関係記憶手段に記憶された含意関係を適用して、一方の二元パターンを書換えて新たな二元パターン対を導出する導出手段と、導出手段により導出された新たな二元パターン対の内で、互いに矛盾する二元パターンからなる可能性が高い二元パターン対を抽出し、学習データに追加することで学習データを拡張する学習データ拡張手段と、学習データ拡張手段により拡張された学習データを用いた機械学習により、与えられた二元パターン対を互いに矛盾する二元パターン対とそれ以外とに分類する第２の分類手段として機能させる。

本発明の一実施の形態に係る矛盾表現収集装置を用いたＷｅｂ質問応答システムの概略ブロック図である。図１に示す矛盾表現収集装置の概略構成を示すブロック図である。図２に示す第１段階矛盾パターン対分類部の概略ブロック図である。図２に示す第２段階矛盾パターン対分類部の概略ブロック図である。図４に示す追加矛盾パターン対導出部、スコアリング部、及び学習データ拡張部の概略構成を示すブロック図である。実施の形態による矛盾表現の収集に関する実験結果を従来の装置による精度と比較して示す実験結果を示すグラフである。実施の形態による矛盾表現の収集に関する実験結果を、対照実験による精度と比較して示す実験結果を示すグラフである。図１に示すＷｅｂ質問応答システムを実現するためのサーバコンピュータの外観図である。図８に示すサーバコンピュータのハードウェア構成を示すブロック図である。

以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。

［構成］
以下に述べる実施の形態に係る装置は、２つの要素を持つ、互いに矛盾するパターン対、例えば「ＸはＹを促進する」及び「ＸはＹを防ぐ」、「ＸはＹを駆逐するだろう」及び「ＸはＹを強化するだろう」というパターン対を収集する。各パターンは、Ｘ及びＹのように２つの要素を持つ。以下の説明では、こうしたパターンを、２つの可変要素を持つという意味で「二元パターン」と呼ぶ。こうした二元パターン対を収集することで、前述した「アガリクスがガンを予防する」と「アガリクスはガンを促進する」という矛盾した表現のテキストを認識するシステムを容易に構築できる。

また、以下の実施の形態では、上記した非特許文献２で提案された、パターンの活性・不活性（両者をまとめて表現の「極性」と呼ぶ。）という性質を用いる。非特許文献２の提案にしたがい、ある表現（１つの可変要素を含む述部を表すサブパターン。「ＸがＹを○○する」の内の「Ｙを○○する」の部分。例えば「Ｙを促進する」、「Ｙを防止する」等。これらを、１つの可変要素を持つという意味で、以下「一元パターン」と呼ぶ。）の極性を活性、不活性、及び中性の３つに分類する。活性とは、そのパターンに含まれる可変要素の機能、効果、目的、又は役割が発動されること又は強化されることを示す。例えば「Ｙを引き起こす。」の「を引き起こす。」、「Ｙを増加させる。」の「を増加させる。」等である。不活性とは、逆にそのパターンに含まれる可変要素の機能、効果、目的、又は役割が停止されること又は弱められることを示す。例えば「Ｙを防止する。」又は「Ｙが消失する。」等である。中性とは、活性でも不活性でもないものを指す。例えば「Ｙに近い。」という表現は中性である。

図１を参照して、この実施の形態に係るＷｅｂ質問応答システム３０は、インターネット３２に接続され、パーソナルコンピュータ（以下ＰＣと呼ぶ。）３４からの質問に対して、その質問に対する回答候補となるＷｅｂ上の複数の文書であって、互いに矛盾する表現を含む文書を、その回答候補が含む矛盾箇所を強調して並列表示するシステムである。この実施の形態では、ＰＣ３４が質問文をＷｅｂ質問応答システム３０に入力すると、Ｗｅｂ質問応答システム３０がＷｅｂ上からその質問文に対する互いに矛盾する回答を検索し、矛盾する箇所を強調した画面を示すＨＴＭＬのソースファイルをＰＣ３４に返信する。ＰＣ３４のユーザは、このＨＴＭＬファイルをブラウザで表示することにより自分が選択した質問文に対する互いに矛盾する回答を比較できる。

Ｗｅｂ質問応答システム３０は、インターネット３２のＷｅｂページから大量の文書を収集し、その中から互いに矛盾した表現である二元パターン対を収集する矛盾パターン対収集装置４０と、矛盾パターン対収集装置４０が収集した矛盾表現を記憶する矛盾パターン対記憶装置４２と、ＰＣ３４からの質問文の入力を受け、矛盾パターン対記憶装置４２に記憶された矛盾表現を用いて、Ｗｅｂ上の文書内で、質問文に対する回答として互いに矛盾した表現を検出し、それら箇所を強調して左右対照する形で示すＷｅｂ画面のソーステキストを生成してＰＣ３４に返信する矛盾表現の提示システム４４とを含む。矛盾表現の提示システム４４は、図示しないＷｅｂサーバと所定のプログラム言語によるプログラムの実行系とを含む。ＰＣ３４からあるプログラムと質問文とを指定したリクエストを受けると、Ｗｅｂサーバは指定されたプログラムに対して指定された質問文を渡す。そのプログラムは、受け取った質問文を解析し、Ｗｅｂ上の文書からその質問文に対する回答候補を含む表現を検索して読出し、矛盾パターン対記憶装置４２に格納された矛盾表現を学習データとして学習した矛盾表現分類器を用いてこれらの表現を互いに矛盾する表現とそうでない表現とに分類する。このプログラムはさらに、検出された表現の箇所に強調の修飾を追加して、互いに矛盾する表現を対照する形で左右に表示するＨＴＭＬソーステキストを生成し、Ｗｅｂサーバを介してＰＣ３４に返信する。

図２は、矛盾パターン対収集装置４０の概略構成を示しており、一元パターンの極性辞書を記憶した極性辞書記憶装置６２と、Ｗｅｂ上から収集した大量の二元パターン対であって、矛盾パターンの候補となる集合を記憶する候補パターン対記憶装置６０と、名詞・動詞等の含意関係を記憶する含意関係記憶装置６４と、候補パターン対記憶装置６０、極性辞書記憶装置６２、及び含意関係記憶装置６４に接続され、候補パターン対記憶装置６０に記憶された候補パターン対を矛盾パターン対と非矛盾パターン対とに分類する矛盾パターン対分類部６８とを含む。矛盾パターン対分類部６８により矛盾パターン対に分類されたパターン対は矛盾パターン対記憶装置４２に記憶される。矛盾パターン対収集装置４０はさらに、矛盾パターン対分類部６８により非矛盾パターン対に分類されたパターン対を記憶する非矛盾パターン対記憶装置６６を含む。

矛盾パターン対分類部６８は、２段階構成となっている。矛盾パターン対分類部６８の第１段階は、極性辞書記憶装置６２を参照して、候補パターン対記憶装置６０に記憶された大量の二元パターン対を、同じ要素を持つ一元パターン対を持ち、かつそれらの極性が反対である第１の種類のパターン対と、それ以外の第２の種類のパターン対とに分類するための分類器を含む第１段階矛盾パターン対分類部８０と、第１段階矛盾パターン対分類部８０により分類された第１の種類のパターン対を記憶する矛盾パターン対中間記憶装置８２と、第１段階矛盾パターン対分類部８０により分類された第２の種類のパターン対を記憶する非矛盾パターン対中間記憶装置８４と、第１段階矛盾パターン対分類部８０の内部作業で生成される、一元パターン部分の極性が互いに反対となっているパターン対である反対極性対を記憶する反対極性対記憶装置１０２と、第１段階矛盾パターン対分類部８０の内部作業で生成される、第１段階矛盾パターン対分類部８０の学習を行なう際の学習データを記憶するための学習データ記憶装置１０８とを含む。矛盾パターン対記憶装置４２、反対極性対記憶装置１０２、及び学習データ記憶装置１０８に記憶されたデータは、後述するように第２段階矛盾パターン対分類部８６への入力となる。

ここでいう第１の種類のパターン対とは、例えば「Ｙを促進する」というパターンと、「Ｙを防止する」というパターンのように、「Ｙ」の部分が共通し、互いに極性が反対の一元パターンを持つパターン対を指す。

矛盾パターン対収集装置４０の第２段階は、矛盾パターン対中間記憶装置８２に記憶された矛盾パターン対と、含意関係記憶装置６４に記憶された含意関係とに基づいて、分類器の再学習を行ない、再学習後の分類器を用いて、再度、候補パターン対記憶装置６０に記憶された候補パターン対を矛盾パターンと非矛盾パターンとに分類し、矛盾パターンを矛盾パターン対記憶装置４２に、非矛盾パターンを非矛盾パターン対記憶装置６６に、それぞれ記憶させる第２段階矛盾パターン対分類部８６を含む。

図３は、第１段階矛盾パターン対分類部８０の概略構成を示しており、極性辞書記憶装置６２を参照して、候補パターン対記憶装置６０に記憶された候補パターン対の中から反対極性対を抽出し、反対極性対記憶装置１０２に格納する反対極性対抽出部１００と、反対極性対記憶装置１０２に記憶された反対極性対を、互いに矛盾すると考えられるパターン対と必ずしも矛盾するとは考えられないパターン対とに分類する分類器として機能し、前者を矛盾パターン対中間記憶装置８２、後者を非矛盾パターン対中間記憶装置８４に、それぞれ格納させるＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）１０４とを含む。ＳＶＭ１０４は、パターン対を分類する際に、そのパターン対が矛盾パターン対に分類されるべき程度を示すスコアを各パターン対に付与する。

第１段階矛盾パターン対分類部８０はさらに、ＳＶＭ１０４の学習データを作成するためのパターン対を候補パターン対記憶装置６０に記憶された候補パターン対から抽出して必要なタグを付与する処理等を手作業で行ない、学習データ記憶装置１０８に記憶させるための学習データ作成部１０６と、学習データ記憶装置１０８に記憶された学習データにより、ＳＶＭ１０４の学習を行なうためのＳＶＭ学習部１１０とを含む。

ＳＶＭ学習部１１０は、学習データ記憶装置１０８に記憶された学習データから、ＳＶＭ１０４の学習を行なうための素性ベクトルを生成する。この素性ベクトルの要素として、本実施の形態では以下のようなものを用いる。素性としては主に２種類を用いる。すなわち、パターンの内容自体から得られる表層構造の素性と、語彙に関する素性とである。本実施の形態で使用する素性の一覧を次のテーブルに示す。このテーブルには、上記した２つの分類に属さないものも「その他」として示してある。これらはＳＶＭ１０４と後述する第２段階矛盾パターン対分類部８６内のＳＶＭとの双方において共通に使用する。なお、素性の選択が表１に示されるものに限定されるわけではないことはもちろんである。

図４は、第２段階矛盾パターン対分類部８６の概略構成を示している。第２段階矛盾パターン対分類部８６は、矛盾パターン対中間記憶装置８２に記憶されている矛盾パターン対の各々について、一方のパターンに含意関係記憶装置６４に記憶された含意関係を適用して書換えることにより新たな矛盾パターン対を導出する追加矛盾パターン対導出部１３０と、追加矛盾パターン対導出部１３０により導出された矛盾パターン対を記憶する追加矛盾パターン対記憶装置１３２と、追加矛盾パターン対記憶装置１３２に記憶された矛盾パターン対の各々について、矛盾パターン対中間記憶装置８２を参照することにより、後述するＣＤＰ（ＣｏｎｔｒａｄｉｃｔｉｏｎＤｅｒｉｖａｔｉｏｎＰｒｅｃｉｓｉｏｎ）と呼ぶ尺度を算出するために必要なサブスコアＣＤＰｓｕｂを算出し各追加矛盾パターン対に付与するスコアリング部１３４と、追加矛盾パターン対記憶装置１３２に記憶された追加矛盾パターン対のサブスコアＣＤＰｓｕｂを用いて追加矛盾パターンごとのスコアＣＤＰを確定させ、スコアＣＤＰが上位の所定割合の矛盾パターン対を学習データ記憶装置１０８（図３参照）に記憶された学習データとマージすることで学習データを拡張する学習データ拡張部１３６と、学習データ拡張部１３６の出力する学習データを記憶する拡張学習データ記憶装置１３８とを含む。

第２段階矛盾パターン対分類部８６はさらに、候補パターン対記憶装置６０に記憶された候補パターン対を矛盾パターン対と非矛盾パターン対とに分類し、矛盾パターン対を矛盾パターン対記憶装置４２に、非矛盾パターン対を非矛盾パターン対記憶装置６６に、それぞれ格納するＳＶＭ１４２と、拡張学習データ記憶装置１３８に記憶された拡張学習データを用いてＳＶＭ１４２の学習を行なうＳＶＭ学習部１４０とを含む。すなわち、ＳＶＭ学習部１４０は、学習データ記憶装置１０８に記憶された、最初に得られた学習データに加え、追加矛盾パターン対導出部１３０、スコアリング部１３４、及び学習データ拡張部１３６により追加された矛盾パターン対を含む学習データを用いて候補パターン対を分類する。このような構成により、ＳＶＭ１４２による分類精度が第１段階のＳＶＭ１０４による分類精度と比較して高くなることが実験により確認できた。実験結果については後述する。

図５を参照して、図４に示した追加矛盾パターン対導出部１３０、追加矛盾パターン対記憶装置１３２、スコアリング部１３４、及び学習データ拡張部１３６の機能について説明する。

追加矛盾パターン対導出部１３０は、矛盾パターン対中間記憶装置８２から矛盾パターン対１６２を読出し、その各々について、その一方のパターンに、含意関係記憶装置６４から読出した含意関係１６０を適用して書換えることで、新たな矛盾パターン対を生成する矛盾パターン対候補生成部１６４を含む。この拡張の際の論理は以下の通りである。

もしもパターンｐがパターンｑを含意し、パターンｑが第３のパターンｒと矛盾するなら、パターンｐもまたパターンｒと矛盾する。例えば、「ＸがＹを生ずる」（パターンｐ）は「ＸはＹを促進する」（パターンｑ）を含意し、パターンｑが「ＸはＹを防ぐ」（パターンｒ）と矛盾するなら、パターンｐはパターンｒと矛盾する。この場合のパターンｑとｒからなる矛盾パターン対〈ｑ、ｒ〉をソースパターン対と呼び、パターンｐとパターンｒからなる矛盾パターン対〈ｐ、ｒ〉を拡張パターン対と呼ぶ。

追加矛盾パターン対記憶装置１３２は、矛盾パターン対候補生成部１６４により生成された矛盾パターン対の候補（候補対）からなる候補グループ１８０、１８２、１８４等を記憶する。

スコアリング部１３４は、候補グループ１８０、１８２、１８４等の各々について、その候補グループ内の候補対に対してＳＶＭ１０４(図３)による分類時のスコアが所定のしきい値αより大きいか否かを判定し、その判定結果に応じて各候補対にそれぞれ１又は０の値を持つフラグを付与する候補対判定部２００と、候補グループ１８０、１８２、１８４等の各々について、その中の候補対に対して候補対判定部２００が付与したフラグに基づいて以下の式によりサブスコアＣＤＰｓｕｂを算出し、その候補グループに属する各候補対のサブスコアＣＤＰｓｕｂとして候補グループ１８０、１８２、１８４等に書込むサブスコア算出部２０２とを含む。しきい値αは、開発データを用いて予め適切に定めておく。

あるソース矛盾パターンペア〈ｑ、ｒ〉に対して、サブスコアＣＤＰｓｕｂ（ｑ、ｒ）は以下のように定義される。

ここで、Ｅｘ（ｐ，ｒ）はソースパターン対〈ｑ、ｒ〉から導出された拡張パターン対の集合を指し、ＳｃはＳＶＭ１０４によりソースパターン対に付与されたスコアを指す。後述する実験では、α＝０．４６に設定した。この値は、ＳＶＭ１０４がしきい値α以上のスコアを付与するパターン対の割合がＳＶＭ１０４の出力の上位５％となるように選ばれた。

学習データ拡張部１３６は、スコアリング部１３４により候補グループ１８０、１８２、１８４等に含まれる候補対の全てについてサブスコアＣＤＰｓｕｂが付与されたことに応答して、各候補対のスコアＣＤＰの値を以下に示す式により確定するスコア確定部２１８を含む。

追加矛盾パターン対記憶装置１３２に記憶されたスコアＣＤＰ付与済の候補対の中には、複数の矛盾パターン対から別々に導出された同一の矛盾パターン対が存在することがある。導出のもととなった矛盾パターンが異なるので、それらのスコアＣＤＰは互いに異なることが一般的である。スコア確定部２１８は、そのような候補対が存在する場合には、上記式により示されるように、サブスコア算出部２０２によりその候補対に対して算出されたサブスコアＣＤＰｓｕｂ値の最大値をその候補対にスコアＣＤＰとして付与する。

学習データ拡張部１３６はさらに、候補対をＣＤＰの降順でソートして、上位のＮ個の候補対を抽出する上位候補抽出部２２０と、上位候補抽出部２２０により抽出された候補対を学習データ記憶装置１０８に記憶されていた学習データとマージし新たな学習データを出力する候補マージ部２２２と、候補マージ部２２２により出力される学習データのうち、新たに追加された候補データと競合する矛盾パターン対を削除するネガティブ・クリーニング処理を行なうネガティブ・クリーニング処理部２２４とを含む。

追加矛盾パターン対記憶装置１３２に記憶されたスコア付与済の候補対の中には、複数の矛盾パターン対から別々に導出された同一の矛盾パターン対が存在することがある。導出のもととなった矛盾パターンが異なるので、それらのＣＤＰは互いに異なることが一般的である。上位候補抽出部２２０は、そのような候補対が存在する場合には、サブスコア算出部２０２によりその候補対に対して算出された値の内の最大値をその候補対のＣＤＰとして付与する。

上位候補抽出部２２０は、スコア確定部２１８により各候補対のＣＤＰが確定された後に、候補パターンのうち、矛盾パターン対中間記憶装置８２に記憶されている矛盾パターン対の集合内にないもののみを抽出し、それらの中の上位Ｎ個を候補マージ部２２２に対して出力する。すなわち、上位候補抽出部２２０は、候補パターンのうち、既に矛盾パターン対中間記憶装置８２に記憶されているものは、追加の対象から除外する。

ネガティブ・クリーニング処理部２２４による処理は、学習データを互いに整合させるために必要である。ここでは、ＳＶＭ１０４による分類で得られた矛盾パターン対の内で、候補マージ部２２２により追加されたパターン対と競合するものを削除する。パターン対の内、内容語の対はそのパターン対が互いに矛盾するか否かに関する最も強力な証拠となると考えられる。したがって、ここでは、最初に得られた矛盾パターン対の内で、新たに追加された矛盾パターン対のいずれかと内容語を共通にする矛盾パターン対（ネガティブサンプルと呼ぶ。）を削除する。

以上を擬似コードとして記載するなら以下の通りになる。

［動作］
以上のように構成された矛盾パターン対収集装置４０は、以下のように動作する。図２を参照して、候補パターン対記憶装置６０には、インターネット３２のウェブページをクローリングして得られた多数の候補パターン対が記憶されている。この候補パターン対の収集には、既存の技術が適用できる。ここで収集される候補パターン対は、係り受け解析の結果得られる、意味的な係り受け関係ツリーにおいて２つの名詞をつなぐパス上に存在する、二元パターンの単語列（例えば「ＸがＹを引き起こす」等）である。このパターンのＸ及びＹに相当する部分には、予めそれらの単語の型を示す情報がタグとして付与されている。例えば「Ｙ_{ｏｒｇａｎｉｚａｔｉｏｎ}がＸ_{ｌｏｃａｔｉｏｎ}にある。」等である。ここで、Ｘ，Ｙに付与されている添え字（ｏｒｇａｎｉｚａｔｉｏｎ，ｌｏｃａｔｉｏｎ）は、Ｘ及びＹに相当する部分に入る単語の意味的クラスを指す。意味的クラスにより、あいまいなパターンが持ち得る複数の意味を区別できるので、パターンの曖昧性による誤りを少なくできる。

本実施の形態では、極性辞書記憶装置６２には、予め人手で準備したものを使用する。含意関係記憶装置６４に記憶された含意関係は、人手で準備したものでもよいし、人手で準備した学習データを用いて機械学習により学習した分類器を用いて準備したものでもよい。

図３を参照して、図２に示す第１段階矛盾パターン対分類部８０は、候補パターン対記憶装置６０から候補パターン対を読出し、各候補パターン対について、極性辞書記憶装置６２を参照することにより、パターン対を構成するパターンの一元パターン部分の極性が反対（活性と不活性）か否かを判定する。第１段階矛盾パターン対分類部８０はさらに、極性が反対のパターン対を選択して反対極性対記憶装置１０２に記憶させる。

一方、オペレータが学習データ作成部１０６を用いて候補パターン対記憶装置６０から学習データとなる候補パターン対を抽出し、各候補パターン対が互いに矛盾するパターンからなっているか否かに関するタグ付けをすることで学習データを作成する。学習データは学習データ記憶装置１０８に記憶される。ＳＶＭ学習部１１０は、学習データ記憶装置１０８に記憶された学習データから、ＳＶＭ１０４の学習を行なうための素性ベクトルを生成し、ＳＶＭ１０４の学習を行なう。ここでも、ＳＶＭ１０４の学習には、予め人手で準備した学習データを用いるが、直接人手で準備するのではなく、学習済の分類器で分類しラベル付したものを学習データとしてもよい。また、人間による判断が必要ない学習データ作成方法を利用することもできる。

ＳＶＭ１０４は、反対極性対記憶装置１０２に記憶された、互いに極性が反対の候補パターン対の各々を、学習結果にしたがって矛盾パターン対と非矛盾パターン対に分類し、それぞれ矛盾パターン対中間記憶装置８２及び非矛盾パターン対中間記憶装置８４に格納する。この際、ＳＶＭ１０４は、出力するパターン対の各々に、ＳＶＭスコアを付与する。このスコアは、パターン対が矛盾パターン対である可能性が高い場合に高く、そうでない場合には低くなる。

図４を参照して、追加矛盾パターン対導出部１３０は、矛盾パターン対中間記憶装置８２から矛盾パターン対を読出し、その各々について、含意関係記憶装置６４から読出した含意関係を用いて追加矛盾パターン対を生成し、追加矛盾パターン対記憶装置１３２に格納する。

追加矛盾パターン対導出部１３０による追加矛盾パターン対の生成が完了すると、スコアリング部１３４が、各矛盾パターン対のＣＤＰを算出する。図５を参照して、この際、候補対判定部２００は、ある矛盾パターン対１６２から生成された追加矛盾パターン対である候補対の各々について、そのスコアがしきい値α以上か否かを判定し、フラグを各候補対に付与する。サブスコア算出部２０２は、このフラグに基づいて、ある矛盾パターン対１６２から生成された候補グループ内の候補対の全てに対するＣＤＰｓｕｂを算出し、その候補グループに割当てる。

学習データ拡張部１３６のスコア確定部２１８は、追加矛盾パターン対記憶装置１３２に記憶された追加矛盾パターン対の内、複数の矛盾パターンから導出された候補対には、その候補対に割当てられた最大のＣＤＰｓｕｂを割り当て、そうでない候補対にはＣＤＰｓｕｂをＣＤＰとして割当てることにより、各候補対のＣＤＰを確定する。上位候補抽出部２２０は、追加矛盾パターン対記憶装置１３２に記憶された候補対のうち、矛盾パターン対中間記憶装置８２内に記憶されている矛盾パターン対内のスコアが上位５％以内の集合にないもののみを抽出し、それらの中の上位Ｎ個を学習データ拡張部１３６の候補マージ部２２２に対し出力する。

候補マージ部２２２は、学習データ記憶装置１０８に記憶されたに上位候補抽出部２２０から出力された候補対をマージし、ネガティブ・クリーニング処理部２２４に出力する。

ネガティブ・クリーニング処理部２２４は、候補マージ部２２２により出力された学習データのうち、新たに追加された候補対と競合するものを削除し、残りの学習データを拡張学習データ記憶装置１３８に格納する。

再び図４を参照して、ＳＶＭ学習部１４０は、拡張学習データ記憶装置１３８に記憶された学習データからＳＶＭ１４２の学習のための素性ベクトルを生成し、ＳＶＭ１４２の学習を行なう。学習が済んだＳＶＭ１４２が候補パターン対記憶装置６０に含まれる候補パターン対を再度分類することにより、新たな矛盾パターン対の集合と非矛盾パターン対の集合とが得られる。これらはそれぞれ矛盾パターン対記憶装置４２及び非矛盾パターン対記憶装置６６に記憶される。

このようにして得られた矛盾パターン対記憶装置４２内の矛盾パターン対について、その精度を以下の実験により確認したところ、先行技術に対して明らかに優れたものであることが確認できた。

［実験１］
上記実施の形態では、図３に示す反対極性対抽出部１００により、学習データを抽出する際に極性が反対の候補パターン対のみを使用している。この効果がどの程度のものかを実験により確認した。

実験では、６億の日本語のウェブページについて、ＫＮＰ（後掲の参考１）を用いて係り受け関係の解析をしたものから二元パターンとそのパターンで共起している単語ペアとを抽出した。それらを、最も頻度の高い３９０万のパターン（「ＸがＹにある」等のような「Ｘ─［格助詞］Ｙ─［格助詞］述部」の形式のもの）であって、否定、数詞、シンボル、及び句読文字のいずれも含まないものに限定した。意味のある矛盾パターン対は共起する名詞対を共有する傾向があることに鑑み、２つのパターンが３つの共起する単語対を共有するような７億９，２００万のパターン対の集合Ｐａｌｌを分類器への入力として用いた。

さらに、一元パターン対で極性が逆のものは互いに矛盾するものである可能性が高いことに鑑み、前述したとおり、反対極性対抽出部１００により、集合Ｐａｌｌの内でそれらの一元パターンの極性が反対のもののみからなる集合Ｐｏｐｐを選択した。使用した極性辞書記憶装置６２は、手作業により極性が付された６，４７０個の一元パターンを記憶していた。これらのうち、４，８８２個は活性とラベリングされ、１，５５８個は不活性とラベリングされていた。

集合Ｐｏｐｐは８００万の一元パターン対を含み、そのうち約３８％が真の矛盾対で、これをＳＶＭ１０４（図３参照）への入力とした。

学習データ作成部１０６による作業は、３人の作業者による多数決で行なった。その結果、学習データ記憶装置１０８に記憶された学習データは７９６個のパターン対を含み、そのうち２３８対には矛盾対というラベルが付され、５５８対には非矛盾対のラベルが付されていた。これらの一元パターン対は、分布類似度が高いものから、極性が反対か否かにかかわらず選択した。

集合Ｐａｌｌからさらに矛盾する一元パターンを含む２５６，０００個のパターン対と、非矛盾の一元パターンを含む５２０万個のパターン対とを抽出した。これらはそれぞれポジティブ学習データ及びネガティブ学習データとして使用した。

予め、開発データを用いて学習データ記憶装置１０８に記憶する学習データの構成割合を決定した。この決定作業には、手作業によりラベル付された１，０００個のサンプルを使用した。６，２５０個〜５０，０００個のポジティブサンプル（４つの集合）と、１２，５００個〜２００，０００個のネガティブサンプル（５つの集合）を、各ステップごとに個数を倍にしながら２０種類の分類器の学習を行なった。その結果得られた最適な学習データセットは、１２，５００個のポジティブサンプルと１０万個のネガティブサンプルとを含むものであった。実験ではこのサンプルを使用した。

ＳＶＭの学習には、２次多項式カーネルのＴｉｎｙＳＶＭ（後掲の参考２）を用いた。この設定は、事前の予備テストで最もよい成績を示したものである。

この設定で、反対極性対記憶装置１０２への入力パターンを、極性が反対のパターン対に限定したことによる効果を調べる実験を行なった。実験には、手作業によりラベル付けした２，０００個のサンプルからなるテストセットと、集合Ｐａｌｌのうち、スコアが上位のものに３人の作業者による手作業により多数決でラベル付された２５０個のサンプルとをＳＶＭ１０４への入力として、集合ＰｏｐｐとＰａｌｌとの双方の上位２００万のパターン対について分類を行ない、その結果の精度曲線を描いた。

図６に示す精度曲線は、パターン対を分類結果のスコアにしたがって降順にソートし、上位から順に横軸に示す個数のパターン対を取出したときに、そのパターン対の集合の精度（取出したパターン対の数に対する、分類結果が正解であるパターンの数の割合）がどの程度になるかを縦軸に示したものである。図６に示すように、集合Ｐｏｐｐに対して得られる精度曲線２４２の方が集合Ｐａｌｌに対して得られる精度曲線２４０に対してかなり高くなることが分かった。すなわち、反対極性対抽出部１００により候補パターン対のうち、極性が反対のもののみに限定することにより精度が高くなることが確認できた。

［実験２］
実験２でも、上記したように開発セットとテストセットとを使用した。そのために、３人の作業者に対し、３，０００個の二元パターンの各々について矛盾パターン対か非矛盾パターン対かについてのラベル付をするよう依頼した。この３，０００個のパターン対は集合Ｐоｐｐから無作為に選択したものである。この３，０００個のパターン対の内、１，０００個を開発セット、２，０００個をテストセットとした。３人の作業者によるラベル付では、多数決によりパターン対のラベルを決定した。なお、この開発セットは、実験１で学習データ記憶装置１０８に記憶する学習データの構成割合を決定する際に使用した、手作業によりラベル付された１，０００個のサンプルからなるデータと同じものである。

「矛盾」の定義として、参考３として後掲する文献で提案されたincompatibility（２つの文が同時に真となることは非常にまれであること）という条件を採用した。この結果、例えば「ＸがＹを引き起こす。」及び「ＸがＹを防ぐ」というパターン対が互いに矛盾していると言えるのは、これらパターン内の可変要素部分の意味的クラスに属する名詞対のいずれを各可変要素部分に入れても上記した条件が成立する場合である、ということができる。

実験では、以下の３つによる分類結果を比較した。結果を図７に示す。

・ＰＲＯＰＯＳＥＤ：［精度曲線２６０］上記実施の形態のＳＶＭ１４２による出力。学習データに追加されるパターン対の個数Ｎは、開発セットを用いた事前の実験結果にしたがい、最も高い精度が得られた６，０００個とした。

・ＢＡＳＥ：［精度曲線２６４］図３に示すＳＶＭ１０４による出力。

・ＰＲＯＰ−ＳＣＯＲＥ：［精度曲線２６２］ＰＲＯＰＯＳＥＤと基本的には同じで、スコアＣＤＰに代えてＳＶＭ１０４のスコアを用いるもの。個数Ｎは３０，０００に設定した。

図７を参照して、ＰＲＯＰＯＳＥＤがＢＡＳＥに対して高い精度を示すことが分かる。ＰＲＯＰＯＳＥＤにより、精度約８０％で７５０，０００個の矛盾パターン対が得られた。これらの矛盾パターン対を反義語辞書と対照したところ、これらのパターン対のうち反義語対を含むものは１００，８８６個だけであることが分かった。すなわち、抽出された矛盾パターン対は、単に反義語対のみからなるものではなく、より複雑な意味的矛盾を示すものを多数含むことが分かる。

同じ精度８０％では、ＢＡＳＥとＰＲＯＰ−ＳＣＯＲＥとからは、それぞれ２８５，０００個と６３６，０００個の矛盾パターン対が得られたのみであった。この結果から、上記実施の形態のように２段階で矛盾パターン対を抽出する方法により、正しく抽出される矛盾パターン対の数が倍以上となり、その範囲も広くなること、及び、第２段階で学習データに候補対を追加する際にスコアＣＤＰを使用した方が、第１段階のＳＶＭ１０４によるスコアを使用する方法よりも正確に、より多くの矛盾パターン対を抽出できることが分かる。

［コンピュータによる実現］
上記実施の形態に係る矛盾パターン対収集装置４０は、コンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図８はこのコンピュータシステム５３０の外観を示し、図９はコンピュータシステム５３０の内部構成を示す。

図８を参照して、このコンピュータシステム５３０は、メモリポート５５２及びＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）ドライブ５５０を有するコンピュータ５４０と、キーボード５４６と、マウス５４８と、モニタ５４２とを含む。

図９を参照して、コンピュータ５４０は、メモリポート５５２及びＤＶＤドライブ５５０に加えて、ＣＰＵ（中央処理装置）５５６と、ＣＰＵ５５６、メモリポート５５２及びＤＶＤドライブ５５０に接続されたバス５６６と、ブートプログラム等を記憶する読出専用メモリ（ＲＯＭ）５５８と、バス５６６に接続され、プログラム命令、システムプログラム及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）５６０と、ハードディスク５５４を含む。コンピュータシステム５３０はさらに、他端末との通信を可能とするために、インターネット３２への接続を提供するネットワークインターフェイス（Ｉ／Ｆ）５４４を含む。

コンピュータシステム５３０を上記した実施の形態に係る矛盾パターン対収集装置４０の各機能部として機能させるためのコンピュータプログラムは、ＤＶＤドライブ５５０又はメモリポート５５２に装着されるＤＶＤ５６２又はリムーバブルメモリ５６４に記憶され、さらにハードディスク５５４に転送される。又は、プログラムはインターネット３２を通じてコンピュータ５４０に送信されハードディスク５５４に記憶されてもよい。プログラムは実行の際にＲＡＭ５６０にロードされる。ＤＶＤ５６２から、リムーバブルメモリ５６４から又はインターネット３２を介して、直接にＲＡＭ５６０にプログラムをロードしてもよい。

このプログラムは、コンピュータ５４０を、上記実施の形態に係る矛盾パターン対収集装置４０の各機能部として機能させるための複数の命令からなる命令列を含む。コンピュータ５４０にこの動作を行なわせるのに必要な基本的機能のいくつかは、コンピュータ５４０上で動作するオペレーティングシステム若しくはサードパーティのプログラム又はコンピュータ５４０にインストールされる各種プログラミングツールキット又はプログラムライブラリ（例えばＳＶＭ用のコンピュータプログラムライブラリ）によりプログラム作成時に静的にリンクすることも、プログラムの実行時に動的にリンクすることも可能である。したがって、このプログラム自体は、流通の際には、この実施の形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令の内、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット又はプログラムライブラリ内の適切なプログラムを実行時に動的に呼出すことにより、上記したシステムとしての機能を実現する命令のみを含んでいればよい。もちろん、プログラムに必要な機能を全て静的にリンクし、他のリソースがなくても動作可能な構成としてもよい。

［参考文献・ウェブページ一覧］
〈参考１〉 S. Kurohashi and M. Nagao. 1994. KN parser: Japanese dependency/case structure analyzer. In Proceedings of the Workshop on Sharable Natural Language Resources, page 48-55.
〈参考２〉 http://chasen.org/~taku/software/TinySVM/
〈参考３〉 M.-C. De Marneffe, A. N. Rafferty, and C. D. Manning. 2008. Finding contradictions in text. Proceedings of ACL 2008, page 1039-1047.

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。

例えば、上記実施の形態では分類器としてＳＶＭを使用している。しかし本発明はそのような実施の形態には限定されない。例えばナイーブベイズ分類器、最大エントロピーモデル等の教師あり学習による分類器を使用できる。

３０Ｗｅｂ質問応答システム
３２インターネット
３４ＰＣ
４０矛盾パターン対収集装置
４２矛盾パターン対記憶装置
４４矛盾表現の提示システム
６０候補パターン対記憶装置
６２極性辞書記憶装置
６４含意関係記憶装置
６６非矛盾パターン対記憶装置
６８矛盾パターン対分類部
８０第１段階矛盾パターン対分類部
８２矛盾パターン対中間記憶装置
８４非矛盾パターン対中間記憶装置
８６第２段階矛盾パターン対分類部
１００反対極性対抽出部
１０２反対極性対記憶装置
１０４、１４２ＳＶＭ
１０６学習データ作成部
１０８学習データ記憶装置
１１０、１４０ＳＶＭ学習部
１３０追加矛盾パターン対導出部
１３２追加矛盾パターン対記憶装置
１３４スコアリング部
１３６学習データ拡張部
１３８拡張学習データ記憶装置
２００候補対判定部
２０２サブスコア算出部
２１８スコア確定部
２２０上位候補抽出部
２２２候補マージ部
２２４ネガティブ・クリーニング処理部

Claims

単語の含意関係を記憶する含意関係記憶手段と、複数の二元パターン対を記憶する第１の記憶装置とに接続して用いられる矛盾表現収集装置であって、
二元パターン対は、２つの二元パターンを含み、各二元パターンは一元パターンをサブパターンとして含み、
前記矛盾表現収集装置は、
前記第１の記憶装置に記憶された二元パターン対から選択された二元パターン対を学習データとする機械学習により、前記第１の記憶装置に記憶された複数の前記二元パターン対から、互いに矛盾する二元パターン対を抽出する第１の分類手段と、
前記第１の分類手段により抽出された二元パターン対の各々について、前記含意関係記憶手段に記憶された含意関係を適用して、一方の二元パターンを書換えて新たな二元パターン対を導出する導出手段と、
前記導出手段により導出された新たな二元パターン対の内で、互いに矛盾する二元パターンからなる可能性が高い二元パターン対を抽出し、前記学習データに追加することで前記学習データを拡張する学習データ拡張手段と、
前記学習データ拡張手段により拡張された学習データを用いた機械学習により、与えられた二元パターン対を互いに矛盾する二元パターン対とそれ以外とに分類する第２の分類手段とを含む、矛盾表現収集装置。
前記矛盾表現収集装置はさらに、一元パターンの極性を記憶する極性記憶手段に接続して用いられ、
前記第１の分類手段は、
前記極性記憶手段に記憶された一元パターンの極性を用いて、互いに極性が反対の一元パターン対を含む二元パターン対を前記第１の記憶装置から抽出する第１のパターン対抽出手段と、
互いに矛盾する二元パターンからなるか否かを示すラベルが付された複数の二元パターン対を学習データとして、互いに矛盾する二元パターンからなる二元パターン対を選択する機能を機械学習により学習し、前記第１の記憶装置に記憶された前記複数の二元パターン対から、互いに矛盾する二元パターンからなる二元パターン対を選択し出力する機械学習手段とを含む、請求項１に記載の矛盾表現収集装置。
前記第１の分類手段は、出力する二元パターン対に、当該二元パターン対が互いに矛盾する二元パターンからなるか否かの可能性を示すスコアを付して出力し、
前記学習データ拡張手段は、
前記第１の分類手段により抽出された二元パターン対のグループの各々について、当該グループに含まれる二元パターン対のうち、スコアが予め定めたしきい値以上であるものの割合を当該グループに含まれる各二元パターンのスコアとして算出するスコア算出手段と、
前記第１の分類手段により新たに導出された二元パターン対の各々について、当該二元パターン対に対して前記スコア算出手段により算出されたスコアが最大のものを割当てることで、各二元パターン対のスコアを確定させるスコア確定手段と、
前記第１の分類手段により新たに導出された二元パターン対のうち、前記スコア確定手段により確定されたスコアが上位のものから所定個数を選択し、前記学習データに追加する追加手段とを含む、請求項２に記載の矛盾表現収集装置。
前記追加手段は、前記第１の分類手段により新たに導出された二元パターン対のうち、前記第１の分類手段により抽出された二元パターン対の集合に既に含まれているものは、前記学習データへの追加時に除外する、請求項１〜請求項３のいずれかに記載の矛盾表現収集装置。
前記第１の分類手段と、前記第２の分類手段とのいずれかは教師付学習による分類手段を含む、請求項１〜請求項４のいずれかに記載の矛盾表現収集装置。
単語の含意関係を記憶する含意関係記憶手段と、複数の二元パターン対を記憶する第１の記憶装置とに接続されるコンピュータにおいて、当該コンピュータを、矛盾表現収集装置として機能させるコンピュータプログラムであって、
二元パターン対は、２つの二元パターンを含み、各二元パターンは一元パターンをサブパターンとして含み、
前記コンピュータプログラムは、前記コンピュータを、
前記第１の記憶装置に記憶された二元パターン対から選択された二元パターン対を学習データとする機械学習により、前記第１の記憶装置に記憶された複数の前記二元パターン対から、互いに矛盾する二元パターン対を抽出する第１の分類手段と、
前記第１の分類手段により抽出された二元パターン対の各々について、前記含意関係記憶手段に記憶された含意関係を適用して、一方の二元パターンを書換えて新たな二元パターン対を導出する導出手段と、
前記導出手段により導出された新たな二元パターン対の内で、互いに矛盾する二元パターンからなる可能性が高い二元パターン対を抽出し、前記学習データに追加することで前記学習データを拡張する学習データ拡張手段と、
前記学習データ拡張手段により拡張された学習データを用いた機械学習により、与えられた二元パターン対を互いに矛盾する二元パターン対とそれ以外とに分類する第２の分類手段として機能させる、コンピュータプログラム。