JP2006031143A - 文書解析装置、および文書解析方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 高精度なテキストマイニングを可能とするタームペアの選択を実現する装置および方法を提供する。
【解決手段】 形態素解析処理部からの出力データに基づいて、単語の組データとしてのタームペアを選択するタームペア選択部において、直接的な係り受け関係の有無に関わらず、予め設定された品詞関係にある単語の組の全てをタームペアとして抽出する処理を実行する。品詞の対応が［名詞、動詞］、［名詞、目的語］、［目的語、動詞］、［名詞、名詞］、［形容詞、名詞］、［形容詞、目的語］、［形容詞、動詞］のいずれかの関係を持つ単語の組をタームペアとして全て選択する構成としたので、オリジナルテキストに含まれる重要な情報の維持を可能とした処理可能となり、高精度なテキストマイニングが実現される。
【選択図】 図１

Description

本発明は、文書データの解析による文書分類、文書の特徴抽出などデータマイニング処理を実行する文書解析装置、および文書解析方法、並びにコンピュータ・プログラムに関する。特に、最適な単語の組（タームペア）の抽出を実行し、高精度なデータマイニングを実現する文書解析装置、および文書解析方法、並びにコンピュータ・プログラムに関する。

大量の情報が流通している情報産業界では、効率的で精度の高いデータの分類方法や装置が求められている。近年、例えばデータベースに蓄積された文書データの分類処理、重要単語の抽出、単語間の関連抽出など、様々なテキストマイニング技術が提案されている。

例えば、非特許文献１および非特許文献２には、テキストデータを解析処理の対象とし、市場調査などに有効利用可能なテキストマイニング技術を開示している。また、非特許文献３には、文章を単語に分解するソフトウェアを開示している。また、非特許文献４には、文章に含まれる単語の相関関係を示す規則（相関規則；相関ルール）を求める方法が開示されており、さらに、非特許文献５には、相関規則を求めるソフトウェア（Ａｐｒｉｏｒｉ）が開示されている。また、非特許文献６には、テキストの集合からその特徴を抽出するソフトウェア（Ａｌｅｐｈ）が開示されている。また、非特許文献７には、日本語分の単語の係り受け関係（例えば、主語と動詞、動詞と目的語・補語）を解析するためのソフトウェア（ＣａｂｏＣｈａ）が開示されている。

データマイニングは、例えば、コンピュータやＯＡ機器のメーカー・商社などに設けられたユーザの相談を受け付ける部門として設けられるコールセンターの受領した相談内容解析処理などにおいて適用される。コールセンターの受領するユーザの相談には、製品開発のためのヒントが多く含まれるが、ユーザと製品開発者との間で、文章に用いる言葉が違うことがある。従って、コールセンターが受け付けた相談をデータベース化しても、製品開発者が、ユーザが相談に用いる言葉を知らなければ、有用な情報を上手く引き出すことができない。

このような問題点に対し、例えば、非特許文献８，９は、コールセンターで受け付けられたテキストに対して、単語間の相関の抽出を行うことにより、テキストに基づく有用な知識を得る手法を開示している。

一般的なテキストマイニング処理においては、解析処理対象となるテキストデータを構成する文章（センテンス）に基づいて生成する係り受け関係を考慮した構文木から係り受け関係にある単語の組（タームペア）の抽出を実行し、この単語の組を入力として意味ある相関ルールの発見・抽出を行っている。従って、タームペア（単語の組）の選択精度がテキストマイニングの有効性を左右することになる。すなわち、テキストマイニングの前処理プロセスとして実行されるタームペア選択処理においては、オリジナルテキストからのノイズ除去と、オリジナルテキストに含まれる重要な情報をいかに残すかということが重要となる。

これまでのタームペア（単語の組）の選択においては、［名詞と動詞］など特定の品詞関係を持ち、さらに直接的な係り受け関係にあるタームペア（単語の組）のみの選択を実行していた。しかし、このような品詞限定型の系列データ抽出処理を実行すると、本来、意味を解釈できるにもかかわらず、文章の意味を発見・抽出することが出来ないという問題が発生する。
特集「テキストマイニング」，人工知能学会誌 ｖｏｌ．１６， Ｎｏ．２， ２００１ 特集「ナレッジ・マネージメントとその支援技術」，人工知能学会誌 ｖｏｌ．１６， Ｎｏ．１， ２００１ ｈｔｔｐ：／／ｃｈａｓｅｎ．ａｉｓｔ−ｎａｒａ．ａｃ．ｊｐ／ｉｎｄｅｘ．ｈｔｍｌ．ｊａ データマイニング（データサイエンス・シリーズ３，福田他、共立出版社（２００１年９月１日初版第１刷），ＩＳＢＮ−４−３２０−１２００２−７） ｈｔｔｐ：／／ｆｕｚｚｙ．ｃｓ．ｕｎｉ−ｍａｇｄｅｂｕｒｇ．ｄｅ／〜ｂｏｒｇｅｌｔ／ａｐｒｉｏｒｉ／ ｈｔｔｐ：／／ｗｅｂ．ｃｏｍｌａｂ．ｏｘ．ａｃ．ｕｋ／ｏｕｃｌ／ｒｅｓｅａｒｃｈ／ａｒｅａｓ／ｍａｃｈｌｅａｒｎ／Ａｌｅｐｈ／ ｈｔｔｐ：／／ｃｌ．ａｉｓｔ−ｎａｒａ．ａｃ．ｊｐ／〜ｔａｋｕ−ｋｕ／ｓｏｆｔｗａｒｅ／ｃａｂｏｃｈａ／ コールセンターにおけるテキストマイニング（人工知能学会誌１６巻２号、ｐ２２０〜２２５、那須川） テキストマイニング：膨大な文章データからの知識獲得−意図の認識−（情報処理学会第５７回（平成１０年後期）全国大会予稿；３−７５、那須川他）

本発明は、上述の問題点に鑑みてなされたものであり、テキストマイニングにおいて適用するタームペア（単語の組）の選択処理において、オリジナルテキストからのノイズ除去と、オリジナルテキストに含まれる重要な情報の維持を可能とした処理を実現し、高精度なテキストマイニングを可能とする文書解析装置、および文書解析方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明は、詳細には、タームペア（単語の組）の選択処理において、形態素解析処理部の出力データに含まれる単語の品詞の対応が［名詞、動詞］のみならず、［名詞、動詞］、［名詞、目的語］、［目的語、動詞］、［名詞、名詞］、［形容詞、名詞］、［形容詞、目的語］、［形容詞、動詞］のいずれかの関係を持つ単語の組をタームペアとして全て選択することで、オリジナルテキストに含まれる重要な情報の維持を可能とした処理を実現し、高精度なテキストマイニングを可能とする文書解析装置、および文書解析方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、文書解析装置であり、解析処理対象のテキストデータを入力し形態素解析を実行する形態素解析処理部と、前記形態素解析処理部からの出力データに基づいて、単語の組データとしてのタームペアを選択するタームペア選択部と、前記タームペア選択部において選択されたタームペアに基づくルール検出を実行するルール検出部とを有し、前記タームペア選択部は、前記形態素解析処理部の出力データに含まれる単語の品詞に基づいて、直接的な係り受け関係の有無に関わらず、予め設定された品詞関係にある単語の組の全てを抽出する処理を実行する構成を有することを特徴とする文書解析装置にある。

本構成によれば、オリジナルテキストからのノイズ除去と、オリジナルテキストに含まれる重要な情報の維持を可能としたタームペア選択処理が実現され、高精度なテキストマイニングが可能となる。

さらに、本発明の文書解析装置の一実施態様において、前記タームペア選択部は、前記形態素解析処理部の出力データに含まれる単語の品詞に基づいて、［名詞、動詞］、［名詞、目的語］、［目的語、動詞］、［名詞、名詞］、［形容詞、名詞］、［形容詞、目的語］、［形容詞、動詞］のいずれかの関係を持つ単語の組をタームペアとして選択する処理を実行する構成であることを特徴とする。

本構成によれば、従来の［名詞，動詞］など特定の品詞関係にあるタームペアのみならず、多くの品詞関係にあるタームペアの抽出が可能となり、オリジナルテキストに含まれる重要な情報の維持を可能としたタームペア選択処理が実現され、高精度なテキストマイニングが可能となる。

さらに、本発明の文書解析装置の一実施態様において、前記文書解析装置は、さらに、前記形態素解析処理部から出力される単語から不要単語を機械学習システムに基づいて削除する処理を実行する不要ワード削除処理部を有し、前記タームペア選択部は、前記不要ワード削除処理部において削除された単語を除く単語に基づいて、タームペアの選択処理を実行する構成であることを特徴とする。

本構成によれば、タームペア選択部において実行するタームペア選択処理を、機械学習システムに基づいて不要ワードを削除した残りのデータに対して実行することが可能となり、効率的な処理が実現される。

さらに、本発明の文書解析装置の一実施態様において、前記形態素解析処理部は、ｎグラム解析処理に基づく生成辞書に従ったテキスト解析において抽出された特定品詞列データを辞書に再登録して生成した辞書を適用した形態素解析処理を実行する構成であることを特徴とする。

本構成によれば、例えば日本語のように、単語抽出が困難な構成を持つデータにおいても、テキスト対応の辞書の生成が可能となるので、的確な単語抽出が実現される。

さらに、本発明の第２の側面は、文書解析方法であり、解析処理対象のテキストデータを入力し形態素解析を実行する形態素解析処理ステップと、前記形態素解析処理ステップにおける生成データに基づいて、単語の組データとしてのタームペアを選択するタームペア選択ステップと、前記タームペア選択ステップにおいて選択されたタームペアに基づくルール検出を実行するルール検出ステップとを有し、前記タームペア選択ステップは、前記形態素解析処理ステップの生成データに含まれる単語の品詞に基づいて、直接的な係り受け関係の有無に関わらず、予め設定された品詞関係にある単語の組の全てを抽出する処理を実行することを特徴とする文書解析方法にある。

本構成によれば、オリジナルテキストからのノイズ除去と、オリジナルテキストに含まれる重要な情報の維持を可能としたタームペア選択処理が実現され、高精度なテキストマイニングが可能となる。

さらに、本発明の文書解析方法の一実施態様において、前記タームペア選択ステップは、前記形態素解析処理ステップの生成データに含まれる単語の品詞に基づいて、［名詞、動詞］、［名詞、目的語］、［目的語、動詞］、［名詞、名詞］、［形容詞、名詞］、［形容詞、目的語］、［形容詞、動詞］のいずれかの関係を持つ単語の組をタームペアとして選択する処理を実行することを特徴とする。

本構成によれば、従来の［名詞，動詞］など特定の品詞関係にあるタームペアのみならず、多くの品詞関係にあるタームペアの抽出が可能となり、オリジナルテキストに含まれる重要な情報の維持を可能としたタームペア選択処理が実現され、高精度なテキストマイニングが可能となる。

さらに、本発明の文書解析方法の一実施態様において、前記文書解析方法は、さらに、前記形態素解析処理ステップの生成するデータに含まれる単語から不要単語を機械学習システムに基づいて削除する処理を実行する不要ワード削除処理ステップを有し、前記タームペア選択ステップは、前記不要ワード削除処理ステップにおいて削除された単語を除く単語に基づいて、タームペアの選択処理を実行することを特徴とする。

本構成によれば、タームペア選択部において実行するタームペア選択処理を、機械学習システムに基づいて不要ワードを削除した残りのデータに対して実行することが可能となり、効率的な処理が実現される。

さらに、本発明の文書解析方法の一実施態様において、前記形態素解析処理ステップは、ｎグラム解析処理に基づく生成辞書に従ったテキスト解析において抽出された特定品詞列データを辞書に再登録して生成した辞書を適用した形態素解析処理を実行するステップを含むことを特徴とする。

本構成によれば、例えば日本語のように、単語抽出が困難な構成を持つデータにおいても、テキスト対応の辞書の生成が可能となるので、的確な単語抽出が実現される。

さらに、本発明の第３の側面は、文書解析処理を実行するコンピュータ・プログラムであり、解析処理対象のテキストデータを入力し形態素解析を実行する形態素解析処理ステップと、前記形態素解析処理ステップにおける生成データに基づいて、単語の組データとしてのタームペアを選択するタームペア選択ステップと、前記タームペア選択ステップにおいて選択されたタームペアに基づくルール検出を実行するルール検出ステップとを有し、前記タームペア選択ステップは、前記形態素解析処理ステップの生成データに含まれる単語の品詞に基づいて、直接的な係り受け関係の有無に関わらず、予め設定された品詞関係にある単語の組の全てを抽出する処理を実行するステップとして設定されていることを特徴とするコンピュータ・プログラムにある。

本構成によれば、オリジナルテキストからのノイズ除去と、オリジナルテキストに含まれる重要な情報の維持を可能としたタームペア選択処理が実現され、高精度なテキストマイニングが可能となる。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、形態素解析処理部からの出力データに基づいて単語の組データとしてのタームペアを選択するタームペア選択部において、直接的な係り受け関係の有無に関わらず、予め設定された品詞関係にある単語の組の全てをタームペアとして抽出する処理を実行する構成とし、このタームペアに基づくルール生成処理を行なう構成としたので、オリジナルテキストに含まれる重要な情報の維持を可能とした処理可能となり、高精度なテキストマイニングが実現される。

本発明の構成によれば、テキストマイニングにおいて適用するタームペア（単語の組）の選択処理において、形態素解析処理部の出力データに含まれる単語の品詞の対応が［名詞、動詞］のみならず、［名詞、動詞］、［名詞、目的語］、［目的語、動詞］、［名詞、名詞］、［形容詞、名詞］、［形容詞、目的語］、［形容詞、動詞］のいずれかの関係を持つ単語の組をタームペアとして全て選択する構成としたので、オリジナルテキストに含まれる重要な情報の維持を可能とした処理可能となり、高精度なテキストマイニングが実現される。

以下、図面を参照しながら本発明の文書解析装置、および文書解析方法、並びにコンピュータ・プログラムの詳細について説明する。

まず、図１に示すフローチャートを参照しては本発明の文書解析処理手順について説明する。本発明の文書解析処理は、以下の４つのステップから構成される。
ステップＳ１０１：形態素解析の実行
ステップＳ１０２：不要単語の削除を実行
ステップＳ１０３：テキストをタームペア（単語の組）からなるアイテムに変換し、係り受け解析による有効タームペア（単語の組）としてのアイテム選択を実行
以下、これら３つのステップの詳細について、順次説明する。

［（１）形態素解析］
まず、ステップＳ１０１で実行する形態素解析処理について説明する。形態素解析は、解析対象となるテキスト２０１を入力し、テキスト２０１を構成するセンテンス（文書）を最小有意ユニットに分割する処理として実行される。なお、処理対象が日本語の場合には、このユニット分割における問題が存在する。すなわち、日本語は英語と異なり、単語間にスペースを設定することがないため、スペースに基づいて単語区分を行なうことができない。従って、解析エンジンによるユニット分割処理が困難となるという問題がある。

具体例について、図２を参照して説明する。図２に示すように、解析対象のテキストデータが、
「ニワニワニワトリガイル」というテキストデータである場合、ユニット分割による単語識別処理を行うと、
「ニワ／ニワ／ニワトリ／ガイル」というユニット分割に基づいて単語識別を行なうと、「庭には鶏がいる」という意味になる。一方、
「ニワ／ニワ／ニワ／トリ／ガイル」というユニット分割に基づいて単語識別を行なうと、「庭には二羽鳥がいる」という意味になる。このようにユニット分割の適用によって異なる意味の文書として解釈される。

一般的に、ユニット分割に基づいて単語識別を行なう場合、辞書が適用される。辞書の適用により、文書中に辞書に対応する単語（ワード）が出現した場合、これを抽出することが可能となる。辞書は、ユニット分割に基づく単語識別処理、いわゆるワードセグメンテーションにおける有効な情報ソースである。しかし、辞書によって、解析対象の文章（センテンス）を構成する各文字単位で解析を行なうことは処理が膨大となり、実質的に不可能である。これを解決する手法がｎグラム解析である。

ｎグラム解析は、解析対象の文章（センテンス）の開始文字から終了文字までをｎ文字ずつに区切り、区切られたｎ文字毎に出現頻度の高いものを単語として識別する処理である。例えば、文献１「Nagao M., Mori, S.: A New Method of N-gram Statistics for Large Number of N and Automatic Extraction of Words and Phrases from Large Text Data of Japanese, Proc. COLING'94. 1994.」には、日本の新聞の記事データを解析対象としてｎ＝６としたｎグラム解析、すなわち、６グラム解析を実行した処理例が記載されている。この処理例では、解析に基づいて抽出された単語の上位４０の出現頻度はすべて０．０１％程度（値の小さいことが高精度であることを示す）であることが示されている。われわれの解析によれば、同一の新聞記事データをデータソースとして５グラム解析を実行した場合、抽出された単語の上位４０の出現頻度は０．１％程度となることが分かった。

さらに、上記文献１は、日本語の文字種類の多さに起因する問題についても記述している。英語は２６文字のアルファベットによって構成されるが、日本語は、４０００〜５０００の文字が存在し、例えば２グラム解析を行おうとした場合、抽出データとの照合処理のために４０００×４０００〜５０００×５０００のテーブルデータが必要となる。このように単純な統計学的な解析を行おうとすると膨大なテーブルデータが必要となるという問題がある。

そこで、本発明においては、図１に示すステップＳ１０１の形態素解析を図１に示すステップＳ１０１ａ〜ｃの各ステップによって実行することとした。すなわち、
［ステップＳ１０１−ａ］
処理対象テキスト２０１に対して、５グラム解析を実行し、出現頻度が０．１％以上のものを辞書に登録する。
［ステップＳ１０１−ｂ］
入力テキスト２０１を辞書に従って単語（ワード）に区分する。ワード配列が、（名詞１／名詞２／・・・／名詞ｎ／・・・／その他の品詞）の場合、名詞１〜／名詞ｎまでの連結データを辞書に登録する。
［ステップＳ１０１−ｃ］
上記ステップにおいて生成した辞書を適用して形態素解析、すなわち、ユニット分割に基づく単語識別処理、いわゆるワードセグメンテーションを実行する。

なお、上述の例では、５グラム解析を適用したが、ｎ＝５以外の設定におけるｎグラム解析を適用してもよい。このように、本発明の処理における形態素解析処理は、ｎグラム解析と処理テキストに基づく辞書の更新によって生成した辞書を適用して形態素解析を実行する。この結果として、ワード２０２が出力される。なお、区分ワードには、それぞれ名詞、動詞、目的語、形容詞、副詞、関係詞などの品詞タイプが属性情報として設定される。

［（２）不要ワードの削除］
次に、図１の処理フローにおけるステップＳ１０２の不要ワードの削除処理について説明する。図１のステップＳ１０１において、入力テキストに対して辞書を適用した単語識別処理を実行することで、テキストが複数の単語（ワード）に区分される。ステップＳ１０２においては、この単語中から不要な単語を除去する処理を実行する。

日本語には、単独では意味を持たない様々な単語が存在する。すなわち、これらの不要な単語は、内容を把握するために意味がないのみならず、抽出ワードに基づく意味解釈処理などにおいて誤解をもたらす場合があり、テキストマイニングの妨げになる。このようなことを防止するため不要単語の除去を実行する。この不要単語の除去処理には、例えばあらかじめ定めたルールに従って単語除去処理を実行する機械学習システムの適用が可能である。この不要単語の削除処理によって、抽出ワード２０３が出力される。

［（３）アイテム選択処理］
次に、図１の処理フローにおけるステップＳ１０３の不要アイテム選択処理について説明する。このステップでは、抽出ワード２０３を入力し、テキストをタームペア（単語の組）からなるアイテムに変換し、係り受け解析による有効タームペア（単語の組）としてのアイテムの選択を実行する。

単語（ワード）の組からなるアイテムセットの抽出は、ステップＳ１０２において生成した抽出ワード２０３に含まれる単語の関係を解析して実行される。すなわち、テキストを構成する２単語間の係り受け関係を解析する。この解析処理は係り受け解析とよばれ、テキスト解析手法の１つの有効な手段である。この係り受け解析は、例えば、単語の関係のタイプ分類処理を含む処理として実行される。単語は、「名詞」、「動詞」、「目的語」、「形容詞（副詞）」、「接続詞」、および「独立単語」のいずれかに分類される。

解析対象の文章（センテンス）は、以下に示すいずれかの品詞関係を持つ単語の組としてのアイテムに変換される。
［名詞、動詞］
［名詞、目的語］
［目的語、動詞］
［名詞、名詞］
［形容詞、名詞］
［形容詞、目的語］
［形容詞、動詞］

上記の品詞関係を持つ単語の組（タームペア）をアイテムと呼ぶ。複数のアイテムからなるアイテムセットを解析することにより、処理が効率化される。従来手法においては、図３に示すように、構文木から直接的な係り受け関係にある［名詞と動詞］、［形容詞、名詞］など特定の品詞関係を持つアイテムのみを抽出し、それを、例えば事前確信度と事後確信度の差により絞り込むなどの処理により意味ある相関ルールの発見・抽出を行っていた。

図３の例において、入力テキストは、例えば、
「父は赤い大きい車を買う」
であり、
この入力テキストに基づいて、形態素解析、不要単語の削除などが実行され、その結果として、［父］、［赤い］、［大きい］、［車］、［買う］の各単語が抽出ワードとして選定されたものである。この抽出ワードが係り受け関係の解析処理対象となる。

従来の処理において、構文木に基づく係り受け関係図は、図３（ｂ）のように設定される。図３（ｂ）の矢印で結ばれた品詞の組が、［名詞と動詞］、［形容詞、名詞］など特定の品詞関係を持ち、かつ直接的な係り受け関係にあるタームペア（単語の組）、すなわちアイテムとして選定される。この品詞関係を限定した限定的な係り受け関係の絞り込み処理を適用した場合、図３（ｃ）に示すように、
［父，買う］
［車，買う］
［大きい，車］
［赤い，大きい］
の４つのタームペア（単語の組）、すなわちアイテムが抽出される。なお、アイテムは、系列データとも呼ばれる。

図３の例は、［名詞と動詞］、［形容詞、名詞］など特定の品詞関係を持ち値直接的な係り受け関係にあるタームペア（単語の組）の抽出処理によるものであるが、このような品詞限定型の系列データ抽出処理を実行すると、本来、意味を解釈できるにもかかわらず、文章の意味を発見・抽出することが出来ないという問題が存在する。

本発明では、図４（ｂ）に示すように、拡張構文木に基づく係り受け関係図を設定する。すべての品詞関係、すなわち、上述した［名詞、動詞］、［名詞、目的語］、［目的語、動詞］、［名詞、名詞］、［形容詞、名詞］、［形容詞、目的語］、［形容詞、動詞］のすべての関係を持つタームペア（単語の組）を抽出するようにする。すなわち、図３を参照して説明した例のように、［名詞と動詞］、［形容詞、名詞］など特定の品詞関係を持ち直接的な係り受け関係にあるタームペアのみならず、品詞関係を拡張し、さらに直接的な係り受け関係にあるか否かにかかわらず、［名詞、動詞］、［名詞、目的語］、［目的語、動詞］、［名詞、名詞］、［形容詞、名詞］、［形容詞、目的語］、［形容詞、動詞］のいずれかの品詞関係を持つタームペア（単語の組）を抽出する。すなわち、図４（ｂ）に示すように、拡張構文木に基づく係り受け関係図において弧で結ばれた全てのタームペア（単語の組）を選択する。

図４に示すように、単語間の品詞関係を拡張し、［名詞、動詞］、［名詞、目的語］、［目的語、動詞］、［名詞、名詞］、［形容詞、名詞］、［形容詞、目的語］、［形容詞、動詞］の品詞関係を持つ組を抽出した例では、抽出されるタームペア（単語の組）は、図４（ｃ）に示すように、
［父，買う］
［車，買う］
［大きい，車］
［赤い，大きい］
［赤い，車］
［赤い，買う］
［大きい，買う］
の７つのタームペア（単語の組）となる。このタームペア（単語の組）は、直接的な係り受け関係を考慮せず、品詞関係が、［名詞、動詞］、［名詞、目的語］、［目的語、動詞］、［名詞、名詞］、［形容詞、名詞］、［形容詞、目的語］、［形容詞、動詞］のいずれかの品詞関係を持つ組を全て抽出したものである。このタームペア（単語の組）を適用して、さらに、例えば、最小支持率や、最小確信度を適用した絞込み処理や、事前確信度と事後確信度の差により絞り込むことにより意味ある相関ルールの発見・抽出が可能となる。このように、［名詞、動詞］のみ等、限定的な品詞関係を持つ係り受け関係の組に限定せず、単語間の品詞関係を拡張してタームペアの抽出を実行し、抽出したタームペアに基づくルール作成を行なうことで、本来、意味を解釈できるにもかかわらず、文章の意味を発見・抽出することが出来ないという問題が解決される。具体的なルール作成、検証処理例については後述する。

さらに、処理対象テキストが英文の場合の例を図５、図６を参照して説明する。処理対象テキストが、
［Ｗｅ ｓｉｍｐｌｙ ｃｏｍｐａｒｅ ｓｍａｌｌ−ｓｉｚｅ ｐｒｉｎｔｅｒ ａｎｄ ｂｉｇ ｓｉｚｅｃｏｐｉｅｒ］
であるとき、構文木は、図５（ｂ）のように設定される。構文木の構成について説明する。上位階層から順次説明する。
センテンス（Ｓ）は名詞（Ｎ）＝Ｗｅと動詞フレーズ（ＶＰ）に分離され、
動詞フレーズ（ＶＰ）は、副詞（Ａｄｖ）と、動詞フレーズ（ＶＰ）に分離され、
動詞フレーズ（ＶＰ）は、動詞（Ｖ）と、名詞フレーズ（ＶＰ）に分離され、
名詞フレーズ（ＶＰ）は、２つの名詞フレーズ（ＶＰ）と関係詞（Ｃｏｎｊ）に分離され、
２つの名詞フレーズ（ＶＰ）はそれぞれ副詞（Ａｄｖ）と名詞（Ｎ）に分離される。

この構文木に基づく係り受け関係図を図６（ｃ）に示す。図６（ｃ）に示す係り受け関係図を適用し、特定品詞関係として［名詞，動詞］および［名詞，名詞］関係にあり、直接的な係り受け関係にある単語の組を抽出した場合のタームペア（単語の組）が図６（ｄ）の（１）に示すタームペア（単語の組）である。

すなわち、｛（ｃｏｍｐａｒｅ，ｗｅ），（ｃｏｍｐａｒｅ，ｐｒｉｎｔｅｒ），（ｐｒｉｎｔｅｒ，ｃｏｐｉｅｒ）｝の３つのタームペア（単語の組）が抽出される。

一方、［名詞，動詞］および［名詞，名詞］関係のみならず、上述した［名詞、動詞］、［名詞、目的語］、［目的語、動詞］、［名詞、名詞］、［形容詞、名詞］、［形容詞、目的語］、［形容詞、動詞］のいずれかの関係にあり、さらに直接的な係り受け関係にある単語に限らないタームペア（単語の組）の抽出を実行した場合には、図６（ｄ）の（２）に示すタームペア（単語の組）が抽出される。

すなわち、｛（ｃｏｍｐａｒｅ，ｗｅ），（ｃｏｍｐａｒｅ，ｓｉｍｐｌｙ），（ｃｏｍｐａｒｅ，ｐｒｉｎｔｅｒ），（ｓｍａｌｌ−ｓｉｚｅ，ｐｒｉｎｔｅｒ），（ｐｒｉｎｔｅｒ，ｃｏｐｉｅｒ），（ｂｉｇ−ｓｉｚｅ，ｃｏｐｉｅｒ），（ｃｏｍｐａｒｅ，ｃｏｐｉｅｒ），（ｓｍａｌｌ−ｓｉｚｅ，ｃｏｐｉｅｒ）｝の７つのタームペア（単語の組）が抽出される。

このように、特定の品詞関係を持つ係り受け関係にある組に限定せず、単語間の品詞関係を拡張してタームペア（単語の組）の抽出を実行することで、本来、意味を解釈できるにもかかわらず、文章の意味を発見・抽出することが出来ないという問題が解決される。

上述した品詞拡張型のタームペア（単語の組）抽出処理を実行することで、より的確に文章（センテンス）の意味を把握することが可能となるが、一方、意味の把握などに不要なタームペア（単語の組）が抽出される可能性も高い。そこで、図１のステップＳ１０３では不要タームの除去処理を実行する。例えば図５、図６を参照して説明した例において、図６（ｄ）の（２）に示す系列データ中、（ｃｏｍｐａｒｅ，ｓｉｍｐｌｙ）は、文章の意味の把握において重要でないと判断され、これらのタームの除去を実行する。このターム除去処理によって解析処理における計算量の削減が可能となる。この処理の結果として選択タームペア２０４が出力され、この選択タームペア２０４を適用した解析処理が実行される。

［２．本発明の適用処理具体例］
次に、上述した本発明に従ってテキストから取得したタームペアを適用したテキストマイニング処理の具体的処理例について説明する。上述したタームペア（単語の組）の選択精度がテキストマイニングの有効性を左右することになる。すなわち、テキストマイニングの前処理プロセスとしてのタームペア選択処理においては、オリジナルテキストからのノイズ除去と、オリジナルテキストに含まれる重要な情報をいかに残すかということが重要となる。

以下、テキストマイニングにおいて適用される既存の前処理アルゴリズムによって選択されたタームペアを適用したルール抽出処理と、上述した本発明の処理によって選択されたタームペアを適用したルール抽出処理との対比を行ないながら、本発明の処理の有効性について検証する。

図７は、同一の処理対象テキストに対して、それぞれ異なった処理アルゴリズムに従ったタームペア選出処理としてのプリプロセスを実行した場合の結果を比較したテーブルである。以下に説明する（１）〜（４）の異なる前処理アルゴリズムを実行した場合に抽出されるタームペア（単語の組）としての［全アイテム数］と、［１アイテムあたりの平均アイテム数］と、［個別アイテム数］とを示している。［１アイテムあたりの平均アイテム数］とは１つの同じ種類のアイテムについて抽出された数であり、［個別アイテム数］は抽出された異なるアイテムの数、すなわちアイテム種類の数を示している。なお、アイテム＝タームペア（単語の組）である。

図７において、各プリプロセスアルゴリズムは、
（１）テキストセグメンテーションのみを実行した場合
（２）係り受け関係を持つ全アイテムの抽出を実行した場合
（３）本発明に従ったアイテム選択処理を実行した場合
（４）品詞限定手法に従ったアイテム選択処理を実行した場合
である。

図７のテーブルから理解されるように、（２）係り受け関係を持つ全アイテムの抽出を実行した場合には、（１）テキストセグメンテーションのみを実行した場合に比較して、全アイテム数が約５８％削減され、１アイテムあたりの平均アイテム数においては約２５％削減されている。しかし、個別アイテム数については、約３．７倍に増加している。また、（３）本発明に従ったアイテム選択処理を実行した場合、（２）係り受け関係を持つ全アイテムの抽出を実行した場合に比較して、全アイテム数が約４％削減され、１アイテムあたりの平均アイテム数においては約２０％改善されている。また、個別アイテム数については、約９６％になり、わずかな減少を示している。

また、（３）本発明に従ったアイテム選択処理を実行した場合、（１）テキストセグメンテーションのみを実行した場合と比較すると、全アイテム数が約６０％削減され、１アイテムあたりの平均アイテム数においては約４０％削減されている。しかし、個別アイテム数については、約３．６倍に増加している。

さらに、（４）品詞限定手法に従ったアイテム選択処理を実行した場合、（１）テキストセグメンテーションのみを実行した場合と比較すると、全アイテム数が約８４％削減され、一方、個別アイテム数については、約１５０％に増加している。また、（４）品詞限定手法に従ったアイテム選択処理を実行した場合、（３）本発明に従ったアイテム選択処理を実行した場合と比較すると、個別アイテム数については、約４２％削減されている。

この図７に示すテーブルのみからは、（４）品詞限定手法に従ったアイテム選択処理を実行した場合が最も優れているように判定され得るが、さらにこれらの各アルゴリズムに従った処理において抽出されたタームがテキストの作者の意図に対応したデータであるかの検証を行なった。

上記（１）〜（４）の異なるアルゴリズムによって生成されるアイテムシーケンスに対して、相関規則（ルール）を求めるソフトウェア（Ａｐｒｉｏｒｉ）を適用して、最小支持率（ｍｉｎｉｍｕｍ ｓｕｐｐｏｒｔ）＝０．２５％、最小確信度（ｍｉｎｉｍｕｍ ｃｏｎｆｉｄｅｎｃｅ）＝８０％の設定でルールを抽出し、抽出ルールの評価を実行した。評価結果を図８に示す。

図８は、（１）〜（４）の異なるアルゴリズムによって生成されるアイテムシーケンスに対するルール抽出の結果を示すテーブルであり、（１）〜（４）のそれぞれのアイテムシーケンスに対して抽出された［全ルール数］、［有意ルール数］、［作者の意図を反映したルール数］を示している。

（１）テキストセグメンテーションのみを実行した場合、［全ルール数］に占める［有意ルール数］の割合は約４８％であり、６２％がオリジナル文書の再構築に適用できない意味のないルールであった。さらに、［作者の意図を反映したルール数］は０であり、全く抽出できなかった。

（２）係り受け関係を持つ全アイテムの抽出を実行した場合には、（１）テキストセグメンテーションのみを実行した場合に比較すると、［全ルール数］は約０．１％に減少し、そのうち約８１％が［有意ルール数］であった。また、約５７％が［作者の意図を反映したルール数］として抽出できた。

（３）本発明に従ったアイテム選択処理を実行した場合、（２）係り受け関係を持つ全アイテムの抽出を実行した場合に比較すると、［全ルール数］は約８６％に減少し、そのうち約８９％が［有意ルール数］であり、約６３％が［作者の意図を反映したルール数］として抽出できた。

（４）品詞限定手法に従ったアイテム選択処理を実行した場合、（１）テキストセグメンテーションのみを実行した場合に比較すると、［全ルール数］は約０．００８％に減少している。これは、（３）本発明に従ったアイテム選択処理を実行した場合のわずか９％にすぎない。抽出全ルール数における約７５％が［作者の意図を反映したルール数］であった。

このように、（４）品詞限定手法に従ったアイテム選択処理を実行した場合には、
［作者の意図を反映したルール］が効率よく抽出できず、（３）本発明に従ったアイテム選択処理を実行した場合には、［作者の意図を反映したルール］を効率よく抽出できる。

図９は、（１）〜（４）の異なるアルゴリズムによって生成されるアイテムシーケンスに対するルール抽出の結果を示すテーブルであり、相関規則（ルール）を求めるソフトウェア（Ａｐｒｉｏｒｉ）を適用して、最小支持率（ｍｉｎｉｍｕｍ ｓｕｐｐｏｒｔ）＝０．２５％〜１．５０％、最小確信度（ｍｉｎｉｍｕｍ ｃｏｎｆｉｄｅｎｃｅ）＝０〜１００％の複数の設定で、抽出された［全ルール数］を示すテーブルである。

図９に示すテーブルから理解されるように、（１）テキストセグメンテーションのみを実行した場合、例えば、最小支持率＝１．５％、最小確信度＝１００％の設定では、３２１のルールが抽出された。一方、（４）品詞限定手法に従ったアイテム選択処理を実行した場合には、最小支持率＝０．２５％、最小確信度＝０％の設定でも、２３１のみのルール抽出しか実現されていない。

（２）係り受け関係を持つ全アイテムの抽出を実行した場合、最小支持率を０．２５％から０．５％に増加させると、抽出ルールは、約１／１０に減少し、さらに最小支持率を０．７５％に増加させると、抽出ルールは、さらに約１／３に減少する。しかし、さらに最小支持率を増加させても抽出ルール数の大きな減少は発生しない。

（３）本発明に従ったアイテム選択処理を実行した場合には、（２）係り受け関係を持つ全アイテムの抽出を実行した場合に比較すると、最小指示率＝０．２５％の場合において、約１６％の減少がみられるが、その他の最小指示率の場合には、ほぼ同様の値となっている。

上述した各種解析の結果をまとめて説明する。図１０には、最小支持率＝０．２５％、最小確信度＝１００％の設定における（１）〜（４）のアルゴリズムに従った処理によって抽出される［全ルール数］、［有意ルール数とその割合］、および［作者の意図を反映したルール数およびその割合］を表として示した。

（３）本発明に従ったアイテム選択処理を実行した場合は、最小支持率＝０．２５％、最小確信度＝１００％の設定において、（１）テキストセグメンテーションのみを実行した場合に比較すると、抽出される［全ルール数］は約０．１％に減少するが、（１）テキストセグメンテーションのみを実行した場合の［全ルール数］に占める［有意ルール数］の割合が３８％であったのに対し、（３）本発明に従ったアイテム選択処理を実行した場合は、［全ルール数］に占める［有意ルール数］の割合が８９％に上昇する。

さらに、（１）テキストセグメンテーションのみを実行した場合の［全ルール数］に占める［作者の意図を反映したルール数］の割合が０％であったのに対し、（３）本発明に従ったアイテム選択処理を実行した場合は、［全ルール数］に占める［作者の意図を反映したルール数］の割合が６３％に上昇する。

同様に、最小支持率＝０．２５％、最小確信度＝１００％の設定において、（２）係り受け関係を持つ全アイテムの抽出を実行した場合の抽出される［全ルール数］は、（３）本発明に従ったアイテム選択処理を実行した場合に抽出される［全ルール数］より６３多いが、（２）係り受け関係を持つ全アイテムの抽出を実行した場合、［全ルール数］に占める［有意ルール数］の割合は約８１％であり、さらに、［作者の意図を反映したルール数］の割合は約５７％である。

また、最小支持率＝０．２５％、最小確信度＝１００％の設定において、（４）品詞限定手法に従ったアイテム選択処理を実行した場合、抽出される［全ルール数］は、３６のみであり、そのうち［作者の意図を反映したルール数］の割合は約７５％となる。

（３）本発明に従ったアイテム選択処理は、近接した直接係り受け関係にある［名詞，動詞］のみならず、これら以外の近接しない係り受け関係のタームを除去することのないアイテム（タームペア）選択を実行した結果、オリジナルテキストからのノイズ除去と、オリジナルテキストに含まれる重要な情報の残存性が高まり、アイテム（タームペア）に基づくルール設定により、高精度なオリジナル文章の意味の発見・抽出が可能となる。

次に、図１１を参照して、本発明の文書解析装置の構成について説明する。図１１に示すように、文書解析装置３００は、タームペア選択処理として実行されるプリプロセス実行部３１０と、プリプロセス実行部３１０において抽出したタームペアを適用したルール検出を実行するルール検出部３２０とを有する。

プリプロセス実行部３１０は、形態祖解析処理部３１１、不要ワード削除処理部３１２、タームペア選択部３１３を有し、ルール検出部３２０は相関ルール作成部３２１、相関ルール絞込み部３２２を有する。

プリプロセス実行部３１０における、形態素解析処理部３１１、不要ワード削除処理部３１２、タームペア選択部３１３の各構成部は、それぞれ図１におけるステップＳ１０１、Ｓ１０２、Ｓ１０３の処理を実行する。

形態素解析処理部３１１は、テキストデータを入力し、形態素解析を実行する。なお、この形態素解析においては辞書を適用したユニット分割に基づく単語識別処理、いわゆるワードセグメンテーションを行なうが、前述したように、適用する辞書は、入力テキストに対するｎグラム解析を実行し、出現頻度が所定閾値（例えば０．１％）以上のものを辞書に登録し、さらに、辞書に従った単語（ワード）区分を実行し、ワード配列が、あらかじめ定めた特定配列に該当する場合、例えば、（名詞１／名詞２／・・・／名詞ｎ／・・・／その他の品詞）の場合、その特定配列データ（名詞１〜／名詞ｎまでの連結データ）を辞書に登録することによって生成した辞書である。

不要ワード削除処理部３１２は、形態素解析処理部３１１の出力したワード情報から不要ワードを削除する処理を実行する。前述したように、テキスト中には、単独では意味を持たない様々な単語が存在する。すなわち、これらの不要な単語は、内容を把握するために意味がないのみならず、抽出ワードに基づく意味解釈処理などにおいて誤解をもたらす場合があり、テキストマイニングの妨げになる。このようなことを防止するため不要単語の除去を実行する。この不要単語の除去処理には、例えばあらかじめ定めたルールに従って単語除去処理を実行する機械学習システムの適用が可能である。この不要単語の削除処理によって、抽出ワードがタームペア選択部３１３に出力される。

タームペア選択部３１３は、前述したように、品詞関係を拡張し、かつ直接的な係り受け関係の有無に関わらないタームペアの抽出処理を実行する。具体的には、先に図４、図６等を参照して説明したように、［名詞、動詞］、［名詞、目的語］、［目的語、動詞］、［名詞、名詞］、［形容詞、名詞］、［形容詞、目的語］、［形容詞、動詞］のいずれかの関係を持つタームペア（単語の組）を抽出する。なお、このタームペア選択部３１３では、文章の意味の把握において重要でないと判断される不要なタームペアの除去を実行する。

タームペア選択部３１３で選択されたタームペア、すなわちアイテムに基づいて、ルール検出部３２０においてルールの抽出処理が実行される。まず、相関ルール作成部３２１において、入力タームペアに基づくルールが作成され、さらに、相関ルール絞込み部３２２においてルールの絞込みが実行され、解析結果が出力される。このルール検出部３２０の処理は従来の手法が適用され、前述したように、例えば、相関ルール作成部３２１では、相関規則（ルール）を求めるソフトウェア（Ａｐｒｉｏｒｉ）を適用してルールが生成され、相関ルール絞込み部３２２では、最小支持率や、最小確信度を適用した処理、事前確信度と事後確信度の差によるルール絞り込み処理が実行され、解析結果が出力される。

次に、上述した文書解析装置のハードウェア構成例について、図１２を参照して説明する。

ＣＰＵ（Central Processing Unit）５０１は、ＯＳ（Operating System)、通信制御プログラム、図１他を参照して説明したタームペアの選択処理、ルール生成、絞込み処理プログラム等、各種コンピュータ・プログラムに従った処理を実行する制御部である。

ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。

ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。

キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージで表示する。

ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内臓し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、処理対象となるデータ、例えばテキストデータ、具体的には、コールセンターにおいて集積されたテキストデータなどの処理対象データが格納される。また、図１他を参照して説明したタームペア選択等のデータ処理を実行するプログラム等、各種コンピュータ・プログラムが格納される。

ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。

接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、ＣＰＵ５０１、またはＨＤＤ５１１等からの供給データの送信、データ受信を実行する。

なお、図１２に示すデータ分類処理装置のハードウェア構成例は、例えばＰＣを適用して構成した文書解析装置の一例であり、本発明の文書解析装置は、図１２に示す構成に限らず、図１１に示す処理ブロックに対応する構成が実現され、図１に示すフローチャートに従った処理を実行可能な構成であればよい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、形態素解析処理部からの出力データに基づいて単語の組データとしてのタームペアを選択するタームペア選択部において、直接的な係り受け関係の有無に関わらず、予め設定された品詞関係にある単語の組の全てをタームペアとして抽出する処理を実行する構成とし、このタームペアに基づくルール生成処理を行なう構成としたので、オリジナルテキストに含まれる重要な情報の維持を可能とした処理可能となり、高精度なテキストマイニングが実現される。

本発明の構成によれば、テキストマイニングにおいて適用するタームペア（単語の組）の選択処理において、形態素解析処理部の出力データに含まれる単語の品詞の対応が［名詞、動詞］のみならず、［名詞、動詞］、［名詞、目的語］、［目的語、動詞］、［名詞、名詞］、［形容詞、名詞］、［形容詞、目的語］、［形容詞、動詞］のいずれかの関係を持つ単語の組をタームペアとして全て選択する構成としたので、オリジナルテキストに含まれる重要な情報の維持を可能とした処理可能となり、高精度なテキストマイニングが実現される。

本発明に係る文書解析処理の処理手順を説明するフローチャートを示す図である。 日本語における形態素解析処理における問題点を説明する図である。 タームペア（系列データ）の出力例を説明する図である。 本発明の文書解析処理を適用したタームペア（系列データ）の出力例を説明する図である。 英文テキストにおける構文木設定例について説明する図である。 英文テキストに対するタームペア（系列データ）の出力例を説明する図である。 本発明を適用したアイテム抽出処理と、既存アルゴリズムにおける抽出アイテム処理の比較テーブルを示す図である。 本発明を適用して抽出したアイテムと、既存アルゴリズムにおける抽出アイテムに基づいて設定されるルールの比較テーブルを示す図である。 本発明を適用して抽出したアイテムと、既存アルゴリズムにおける抽出アイテムに基づいて設定されるルールの比較テーブルを示す図である。 本発明を適用して抽出したアイテムと、既存アルゴリズムにおける抽出アイテムに基づいて設定されるルールの比較テーブルを示す図である。 本発明に係る文書解析装置の構成を示すブロック図である。 本発明に係る文書解析装置のハードウェア構成例について説明する図である。

符号の説明

２０１ テキスト
２０２ ワード
２０３ 抽出ワード
２０４ 抽出タームペア
３００ 文書解析装置
３１０ プリプロセス実行部
３１１ 形態素解析処理部
３１２ 不要ワード削除処理部
３１３ タームペア選択部
３２０ ルール検出部
３２１ 相関ルール作成部
３２２ 相関ルール絞込み部
５０１ ＣＰＵ(Central processing Unit)
５０２ ＲＯＭ（Read-Only-Memory）
５０３ ＲＡＭ（Random Access Memory）
５０４ ホストバス
５０５ ブリッジ
５０６ 外部バス
５０７ インタフェース
５０８ キーボード
５０９ ポインティングデバイス
５１０ ディスプレイ
５１１ ＨＤＤ（Hard Disk Drive）
５１２ ドライブ
５１４ 接続ポート
５１５ 通信部
５２１ リムーバブル記録媒体
５２２ 外部接続機器

Claims (9)

1. 文書解析装置であり、
   解析処理対象のテキストデータを入力し形態素解析を実行する形態素解析処理部と、
   前記形態素解析処理部からの出力データに基づいて、単語の組データとしてのタームペアを選択するタームペア選択部と、
   前記タームペア選択部において選択されたタームペアに基づくルール検出を実行するルール検出部とを有し、
   前記タームペア選択部は、
   前記形態素解析処理部の出力データに含まれる単語の品詞に基づいて、直接的な係り受け関係の有無に関わらず、予め設定された品詞関係にある単語の組の全てを抽出する処理を実行する構成を有することを特徴とする文書解析装置。
2. 前記タームペア選択部は、
   前記形態素解析処理部の出力データに含まれる単語の品詞に基づいて、［名詞、動詞］、［名詞、目的語］、［目的語、動詞］、［名詞、名詞］、［形容詞、名詞］、［形容詞、目的語］、［形容詞、動詞］のいずれかの関係を持つ単語の組をタームペアとして選択する処理を実行する構成であることを特徴とする請求項１に記載の文書解析装置。
3. 前記文書解析装置は、さらに、
   前記形態素解析処理部から出力される単語から不要単語を機械学習システムに基づいて削除する処理を実行する不要ワード削除処理部を有し、
   前記タームペア選択部は、
   前記不要ワード削除処理部において削除された単語を除く単語に基づいて、タームペアの選択処理を実行する構成であることを特徴とする請求項１に記載の文書解析装置。
4. 前記形態素解析処理部は、
   ｎグラム解析処理に基づく生成辞書に従ったテキスト解析において抽出された特定品詞列データを辞書に再登録して生成した辞書を適用した形態素解析処理を実行する構成であることを特徴とする請求項１に記載の文書解析装置。
5. 文書解析方法であり、
   解析処理対象のテキストデータを入力し形態素解析を実行する形態素解析処理ステップと、
   前記形態素解析処理ステップにおける生成データに基づいて、単語の組データとしてのタームペアを選択するタームペア選択ステップと、
   前記タームペア選択ステップにおいて選択されたタームペアに基づくルール検出を実行するルール検出ステップとを有し、
   前記タームペア選択ステップは、
   前記形態素解析処理ステップの生成データに含まれる単語の品詞に基づいて、直接的な係り受け関係の有無に関わらず、予め設定された品詞関係にある単語の組の全てを抽出する処理を実行することを特徴とする文書解析方法。
6. 前記タームペア選択ステップは、
   前記形態素解析処理ステップの生成データに含まれる単語の品詞に基づいて、［名詞、動詞］、［名詞、目的語］、［目的語、動詞］、［名詞、名詞］、［形容詞、名詞］、［形容詞、目的語］、［形容詞、動詞］のいずれかの関係を持つ単語の組をタームペアとして選択する処理を実行することを特徴とする請求項５に記載の文書解析方法。
7. 前記文書解析方法は、さらに、
   前記形態素解析処理ステップの生成するデータに含まれる単語から不要単語を機械学習システムに基づいて削除する処理を実行する不要ワード削除処理ステップを有し、
   前記タームペア選択ステップは、
   前記不要ワード削除処理ステップにおいて削除された単語を除く単語に基づいて、タームペアの選択処理を実行することを特徴とする請求項５に記載の文書解析方法。
8. 前記形態素解析処理ステップは、
   ｎグラム解析処理に基づく生成辞書に従ったテキスト解析において抽出された特定品詞列データを辞書に再登録して生成した辞書を適用した形態素解析処理を実行するステップを含むことを特徴とする請求項５に記載の文書解析方法。
9. 文書解析処理を実行するコンピュータ・プログラムであり、
   解析処理対象のテキストデータを入力し形態素解析を実行する形態素解析処理ステップと、
   前記形態素解析処理ステップにおける生成データに基づいて、単語の組データとしてのタームペアを選択するタームペア選択ステップと、
   前記タームペア選択ステップにおいて選択されたタームペアに基づくルール検出を実行するルール検出ステップとを有し、
   前記タームペア選択ステップは、
   前記形態素解析処理ステップの生成データに含まれる単語の品詞に基づいて、直接的な係り受け関係の有無に関わらず、予め設定された品詞関係にある単語の組の全てを抽出する処理を実行するステップとして設定されていることを特徴とするコンピュータ・プログラム。

Images