JP2008065468A - テキスト多重分類装置、テキストを多重分類する方法、プログラムおよび記憶媒体 - Google Patents

Abstract

【課題】学習データを事前に用意しなくても、テキストを多重分類することができる多重分類装置を提供することを目的とする。
【解決手段】第１のテキストを文単位に分解し、この分解した各文を形態素分析し、この形態素分析によって得られた名詞を検索語として抽出し、抽出した検索語を利用して、ウェブ上で検索し、この検索された第２のテキストを形態素分析し、この形態素分析で得られた名詞のうちで、頻度が予め設定された閾値以上の名詞を、文単位で、関連語として取得し、第１のテキストを分解した複数の文のうちの１つの文から抽出された上記検索語と、この検索語を使用して取得された上記関連語とを組み合わせてキーワード集合を作成し、複数の上記キーワード集合の間で共通して出現する単語を共通単語として抽出し、この抽出された共通単語を、上記第１のテキストの分野を示す用語として出力する。
【選択図】図２

Description

本発明は、計算機を利用して、テキストに記述されている内容が属する分野を自動判定し、自動分類する方法に関する。

近年、急速な計算機の性能向上に伴い、莫大なテキスト（文字列だけで構成される文の集合）を蓄積してデータベースを構築することが可能である。一方、保存されたテキストを、人手で整理・管理することは、一般的に困難である。

そこで、データベースに記憶されているテキストを解析し、テキストの内容に応じて、自動的に分類する研究が行われている。たとえば、テキストの内容から、複数の分野（政治と経済等の分野）を同時に判定する多重分類技術が提案されている（たとえば、非特許文献１参照）。

つまり、上記「多重分類」は、所定の１つのテキストの内容が属する複数の分野である。または、上記「多重分類」は、所定の１つのテキストの内容が属する分野を複数、決定することである。

この技術では、多重分類を行うために、事前に学習データを作成する必要がある。ここで、上記「学習データ」は、単語と、この単語に対応するジャンル（分野）との組が、複数個記述されているデータ群である。

たとえば、「サッカー」という単語には、「スポーツ」という分野が記述され、また、「野球」という単語には、「スポーツ」という分野が記述されている。

従来の多重分類技術では、上記学習データを大量に作成することによって、多重分類の精度を向上させることができ、また、幅広い分野への対応が可能である。
上田修功・斉藤和巳著「多重トピックテキストの確率モデル−パラメトリック混合モデル−」電子情報通信学会論文誌、Vol. J87-D-II、 No.3、 pp.872-883、2004年

たとえば「サッカー」、「野球」に対応するラベル（分野）は、「スポーツ」等であるが、従来は、学習データを自動的に作成する方法が提案されていないので、上記のように、「サッカー」、「野球」のそれぞれに対応する「スポーツ」等のラベル（分野）付けを、人手で行っている。

このために、一般的には、上記学習データを予め大量に作成することは、莫大な労力を必要とする。また、学習データが正しくなければ、多重分類を適切に実行することができないので、上記学習データには、正確性が要求される。

本発明は、学習データを事前に用意しなくても、テキストを多重分類することができる多重分類方法、およびその装置、プログラム、記憶媒体を提供することを目的とする。

本発明は、第１のテキストを文単位に分解し、この分解した各文を形態素分析し、この形態素分析によって得られた名詞を検索語として抽出し、抽出した検索語を利用して、ウェブ上で検索し、この検索された第２のテキストを形態素分析し、この形態素分析で得られた名詞のうちで、頻度が所定以上高い名詞を、文単位で、関連語として取得し、第１のテキストを分解した複数の文のうちの１つの文から抽出された上記検索語と、この検索語を使用して取得された上記関連語とを組み合わせてキーワード集合を作成し、複数の上記キーワード集合の間で共通して出現する単語を共通単語として抽出し、この抽出された共通単語を、上記第１のテキストの分野を示す用語として出力するテキスト多重分類装置である。

本発明によれば、ウェブで検索する概念を利用するので、学習データを事前に用意しなくても、多重分類することができるという効果を有する。

発明を実施するための最良の形態は、以下の実施例である。

図１は、本発明の実施例１であるテキスト多重分類装置１００を示す図である。

テキスト多重分類装置１００は、ウェブ検索を利用し、学習データを使用せずに、多重分類する装置であり、コンピュータ１０と、表示部２０とを有する。コンピュータ１０は、ネットワークＮＷ１を介して、ウェブＷＢ１に接続され、ＨＴＭＬ形式の第２のテキストＴ２を取得する。

コンピュータ１０は、テキスト分解手段１１と、検索語抽出手段１２と、関連語取得手段１３と、共通単語抽出手段１４と、制御部１５と、入力部１６と、出力部１７と、分解文記憶装置Ｍ１と、検索語記憶装置Ｍ２と、関連語記憶装置Ｍ３と、共通単語記憶装置Ｍ４とを実現する手段である。

また、コンピュータ１０は、ネットワークＮＷ１を介して、ウェブＷＢ１にアクセスすることができ、ウェブＷＢ１には、複数のＨＴＭＬ形式のテキスト（第２のテキスト）Ｔ２が蓄積されている。

第１のテキストＴ１は、コンピュータ１０の入力部１６に入力されるテキストの例である。表示部２０は、制御部１５から出力部１７を通じて出力された結果を表示する装置である。

テキスト多重分類装置１００は、ウェブ上でキーワード検索を行う概念に着目した新しい多重分類技術によるものである。上記「ウェブ」は、インターネット等のネットワークを介してアクセスできるＨＴＭＬ形式のテキストの集合である。現在、ウェブ上には、膨大な情報が蓄積され、最新の話題も常に提供されている。つまり、ウェブは、様々な情報を持つ辞書として捉えることができる。

実際に、我々は、ある事に関して調べる際、検索サイトで検索語を入力し、ウェブ上で検索し、単語の意味や物事の内容を調べている。この観点から、学習データを使用しなくても、ウェブ上にある情報を適切に利用すれば、たとえば「サッカー」や「野球」に対応するのは、「スポーツ」や「ボール」という概念であることを取得できる。

テキスト分解手段１１は、第１のテキストを文単位に分解し、記憶装置に記憶するテキスト分解手段の例である。

検索語抽出手段１２は、テキスト分解手段が分解した各文を形態素分析し、この形態素分析によって得られた名詞を検索語として抽出し、記憶装置に記憶する検索語抽出手段の例である。

関連語取得手段１３は、検索語抽出手段が抽出した検索語を利用して、ウェブ上で検索し、この検索された第２のテキストを形態素分析し、この形態素分析で得られた名詞のうちで、頻度が所定以上高い名詞を、文単位で、関連語として取得し、記憶装置に記憶する関連語取得手段の例である。

共通単語抽出手段１４は、テキスト分解手段が分解した複数の文のうちの１つの文から抽出された上記検索語と、この検索語を使用して取得された上記関連語とを組み合わせてキーワード集合を作成し、複数の上記キーワード集合の間で共通して出現する単語を共通単語として抽出し、記憶装置に記憶する共通単語抽出手段の例である。

出力部１７は、抽出された共通単語を、上記第１のテキストの分野を示す用語として出力する出力手段の例である。

分解文記憶装置Ｍ１は、テキスト分解手段が分解した文を記憶する文記憶装置の例である。検索語記憶装置Ｍ２は、検索語抽出手段が抽出した検索語を記憶する検索語記憶装置の例である。関連語記憶装置Ｍ３は、関連語取得手段が取得した関連語を記憶する関連語記憶装置の例である。共通単語記憶装置Ｍ４は、共通単語抽出手段が抽出した共通単語を記憶する共通単語記憶装置の例である。

制御部１５は、上記手段１１〜１４と、入力部１６と、出力部１７と、記憶装置Ｍ１〜Ｍ４とを制御する。

図２は、本発明の実施例１であるテキスト多重分類装置１００における処理手順の概要を示す図である。

図２において、Ｓ１で、第１のテキストＴ１を入力し、Ｓ２で、入力された第１のテキストＴ１を文単位に分割し、Ｓ３で、分割された各文から、出現頻度の高い名詞を検索語として抽出する。Ｓ４で、抽出された検索語を利用してウェブ上で検索し、検索結果の中で、頻度の高いものを関連語として取得する。

そして、Ｓ５で、第１のテキストＴ１の文毎に、抽出された検索語と取得された関連語とを組み合わせて、キーワード集合を作る。

その後、Ｓ６で、複数のキーワード集合の間で、共通する単語である共通単語を抽出する。Ｓ７で、抽出された共通単語を、第１のテキストＴ１の分野を示す用語として出力する。

次に、実施例１におけるテキスト多重分類の処理手順を具体的に説明する。

まず、第１のテキストＴ１が、入力部１６を通じて入力されると、制御部１５によってテキスト分解手段１１が呼び出される。テキスト分解手段１１は、第１のテキストＴ１を１文字ずつ読み込み、文単位で切り出す。そして、これらの切り出された複数の文を、制御部１５を介して、分解文記憶装置Ｍ１に記憶する。ここで、「文」は、句点「。」で区切られる一文である。

図３は、テキスト多重分類装置１００で使用する第１のテキストＴ１の例を示す図である。

図３に示す第１のテキストＴ１について、テキスト分解手段１１を実行すると、文単位に分解された６つの文４１〜４６が生成され、分解文記憶装置Ｍ１に記憶される。

テキスト分解手段１１が生成する文の個数は、入力されたテキストによって異なる。また、意味的に複数の文が連続し、形式的に１つの文を形成している場合や、句点「。」を入力ミスした場合には、複数の文が１つの文として扱われる。

次に、分解文記憶装置Ｍ１に記憶されている各文について、制御部１５の指示によって、検索語抽出手段１２が抽出する。ここで、「検索語」は、ウェブ上で検索を行う際に入力する１つまたは複数の単語である。検索語抽出手段１２は、最初に入力された文について、形態素解析を行う。

そして、名詞に分類された複数の単語を、検索語として取り出し、制御部１５を介して、検索語記憶装置Ｍ２に記憶する。ただし、名詞を取り出すだけでは、「年」や「時」のように、一般的に使用される単語も抽出される。そこで、「年」や「時」等の単語が登録される不要語リストＬ１を予め作成し、この不要語リストＬ１に登録されていない名詞を、検索語として扱う。

新聞記事データベース等のテキストデータ全体に現われる名詞の出現頻度を調べ、出現頻度が、所定の頻度よりも高い単語を、不要語として選択する方法が考えられる。分野を問わず様々なテキストでよく現われる「年」や「時」は、一般的な単語であり、検索語としては使用する意味が少ないので、不要語として選択する。

次に、検索語抽出手段１２の実行例について、説明する。

図４は、第１のテキストＴ１を分解した文の例を示す図である。

文４１は、第１のテキストＴ１の１番目の文である。また、文４２、４３、４４、４５は、第１のテキストＴ１のそれぞれ、２、３、４、５番目の文である。これらの文４１〜４５は、分解文記憶装置Ｍ１に記憶される。

図４に示す文４１を、検索語抽出手段１２に入力すると、最初に形態素解析が実行され、この実行結果から、名詞として、「ドライブ」と「久里浜」とが検出される。

図５は、テキスト多重分類装置１００で使用する不要語リストＬ１の例を示す図である。

不要語リストＬ１には、不要語が登録されている。なお、上記「不要語」は、検索語としては使用しない名詞である。

図６は、第１のテキストＴ１を分解した文から抽出された名詞（検索語）の例を示す図である。

検索語６１は、第１の文４１に対応する検索語である。また、検索語６２、６３、６４、６５、６６は、それぞれ、文４２、４３、４４、４５、４６に対応する検索語である。これら検索語６１〜６６は、検索語記憶装置Ｍ２に記憶される。

上記２つの名詞「ドライブ」、「久里浜」は、不要語リストＬ１に登録されていないので、図６に示すように、検索語記憶装置Ｍ２に、検索語６１としてそのまま記憶される。

また、文４３を形態素解析した結果、「時間」・「仕事場」・「富士山」・「箱根」・「視野」・「ドライブ」が、名詞として抽出される。そして、不要語リストＬ１として、「時間」・「仕事場」・「視野」が登録されているので、これらの不要語を除去すると、検索語として、「富士山」・「箱根」・「ドライブ」が検出される。そして、これらの検索語が、３番目の文４３に対する検索語６３として、検索語記憶装置Ｍ２に記憶される。なお、不要語リストＬ１に登録される不要語が変われば、検索語記憶装置Ｍ２に記憶される検索語は変わる。

また、抽出された単語が、全て不要語である場合や、文４２のように、名詞が存在していない場合、検索語抽出手段１２は、検索語を抽出しない。この場合、検索語抽出手段１２は、検索語記憶装置Ｍ２に、単語を何も記憶させない。

文４１〜文４６にそれぞれ対応する検索語６１〜検索語６６が作成された後に、制御部１５が、関連語取得手段１３を呼び出す。関連語取得手段１３は、まず、検索語抽出手段１２が抽出した検索語を、制御部１５を介して、検索語記憶装置Ｍ２から取り出し、この取り出された検索語を用いて、ネットワークＮＷ１で接続されているウェブＷＢ１上で検索する。この検索結果で参照されている複数のＨＴＭＬ形式の第２のテキストＴ２を、ネットワークＮＷ１を介して、ウェブＷＢ１から取得し、この取得した第２のテキストＴ２の本文の内容を抽出する。

ＨＴＭＬ形式の第２のテキストＴ２において、本文の内容は、第２のテキストＴ２であり、“＜”と“＞”とで囲まれている文字列によって構成されているタグを解析すると、本文の第２のテキストＴ２を得ることができる。抽出された複数の第２のテキストＴ２に対して、関連語取得手段１３は、形態素解析し、名詞を抽出する。

そして、複数の第２のテキストＴ２から抽出された名詞の出現頻度を調べ、出現頻度の高い順に並べ、出現頻度が所定値以上である名詞を、関連語とし、これら関連語を、関連語記憶装置Ｍ３に記憶する。

図７は、テキスト多重分類装置１００において、抽出された検索語を使ってウェブで検索したテキスト中の頻度の高い名詞（関連語）の例を示す図である。

図７において、関連語７１は、検索語６１に対応する関連語である。また、関連語７２、７３、７４、７５、７６は、それぞれ、検索語６２、６３、６４、６５、６６に対応する関連語である。これら関連語７１〜７６は、関連語記憶装置Ｍ３に記憶される。

ところで、名詞をそのまま関連語として使用すると、検索語抽出手段１２と同様に、「年」や「月」等、普遍的に使用される単語が関連語として扱われる場合がある。そこで、関連語取得手段１３においても、検索語抽出手段１２と同様に、不要語リストＬ１を参照し、不要語に登録されていない単語を、関連語として、関連語記憶装置Ｍ３に記憶する。

検索語６１を関連語取得手段１３に入力すると、名詞として「渋滞」・「三浦」・「天気」等、複数の頻出単語が抽出される。そして、これら抽出された単語から、「天気」のように、不要語リストＬ１に格納されている単語を除き、関連語７１を、関連語記憶装置Ｍ３に記憶する。これらの処理を、残りの検索語６２〜６６についても実行し、関連語７２〜７６を得る。

関連語取得手段１３が得た関連語は、検索語を入力する順番には影響しない。たとえば、検索語６１について、「ドライブ」・「久里浜」の順で検索語を入力し、検索した場合でも、「久里浜」・「ドライブ」の順で検索語を入力し、検索した場合でも、得られる関連語７１は変わらない。

一方、検索語抽出手段１２と同様に、関連語取得手段１３でも、不要語リストＬ１を参照しているので、不要語リストＬ１が変わると、取得される関連語も変化する。また、参照されているＨＴＭＬ形式の第２のテキストＴ２の本文から抽出した名詞が、全て不要語リストＬ１に含まれている場合、または、検索語記憶装置Ｍ２に検索語が記憶されていない場合、関連語取得手段１３は、関連語を取得する処理を実行せず、また、関連語記憶装置Ｍ３に関連語を記憶する処理を実行しない。

最後に、分解文記憶装置Ｍ１に記憶されている全ての文について、検索語抽出手段Ｍ２による処理が終了し、関連語取得手段１３による処理も終了すると、制御部１５は、共通単語抽出手段１４に共通単語を抽出させる。

共通単語抽出手段１４は、まず、制御部１５を介して、検索語記憶装置Ｍ２と関連語記憶装置Ｍ３とに、それぞれ記憶されている検索語と関連語とを順に取り出し、これらを組み合わせ、キーワード集合を作成する処理を繰り返す。

たとえば、検索語が「果物」であり、関連語が「りんご」と「みかん」であれば、キーワード集合は、「果物」・「りんご」・「みかん」によって構成される。共通単語抽出手段１４に、検索語がないか、または関連語がなければ、キーワード集合を作成しない。

図８は、テキスト多重分類装置１００において、第１のテキストＴ１の文毎に、検索語と関連語とを組み合わせたキーワード集合の例を示す図である。

キーワード集合８１は、検索語６１と関連語７１との組から生成されたキーワード集合である。キーワード集合８２、８３、８４、８５、８６は、それぞれ、検索語６２と関連語７２との組から生成されたキーワード集合、検索語６３と関連語７３との組から生成されたキーワード集合、検索語６４と関連語７４との組から生成されたキーワード集合、検索語６５と関連語７５との組から生成されたキーワード集合、検索語６６と関連語７６との組から生成されたキーワード集合である。

なお、図８中、キーワード集合中の単語であって、下線が付されている単語が、検索語であり、下線が付されていない単語が、関連語である。

図６に示す検索語の例と、図７に示す関連語の例とから作成したキーワード集合の例を、図８に示してある。

上記のように、キーワード集合８１は、検索語６１と関連語７１とから作成されたものであり、キーワード集合の作成が終了すると、生成されたキーワード集合同士を比較し、部分的に共通して現われる単語を見つめる。

この生成されたキーワード集合同士を比較する方法として、様々な方法が考えられる。

キーワード集合同士を比較して共通単語を検出する第１の方法は、全てのキーワード集合の組み合わせを調べ、共通単語の個数が少なくとも１つ存在するように、キーワード集合を集める方法である。ただし、単語が存在していないキーワード集合（図８に示すキーワード集合８２等）については、キーワード集合同士の比較を行わない。

たとえば、図８に示す例では、共通単語が少なくとも１つ存在するように、キーワード集合の組み合わせの１つとして、キーワード集合８１、８３、８４の組み合わせがある。これらのキーワード集合８１、８３、８４について、共通単語は「ドライブ」・「渋滞」・「富士山」であり、組み合わせたキーワード集合の数は、３つである。

実際には、キーワード集合を組み合わせる場合、共通単語が少なくとも１つ存在するように、組み合わせることが最低限必要な条件であるが、さらに、できるだけ多くの数のキーワード集合を組み合わせることが、必須条件ではないが、望ましい。

たとえば、キーワード集合８１、８４という２つのキーワードの組み合わせでは、共通単語が、「ドライブ」・「渋滞」・「富士山」・「バイク」・「海岸線」・「東海道」・「宿泊」であり、共通単語が少なくとも１つ存在するという条件を満たす。一方、キーワード集合８１、８３、８４という３つのキーワードの組み合わせでは、共通単語が、「ドライブ」・「渋滞」・「富士山」であり、共通単語が少なくとも１つ存在するという条件を満たす。この場合、３つのキーワード集合８１、８３、８４の組み合わせで求めた共通単語の方が、キーワード集合の数が多いので、好ましい。このように、組み合わせるキーワード集合の数が多いほど、共通単語をよく絞込むことができ、より適切な共通単語（分類名）を得ることができる。

一方、キーワード集合８１、８３、８４の組み合わせに、キーワード集合８６を追加し、４つのキーワード集合を組み合わせると、共通単語が存在しなくなるので、キーワード集合８６を、キーワード集合８１、８３、８４の組み合わせに追加することができない。

また、残りのキーワード集合８５、８６の組み合わせは、共通単語が少なくとも１つ存在するので、この組み合わせで、共通単語を得ることができる。

図９は、テキスト多重分類装置１００において、複数のキーワード集合の間で共通する単語（共通単語）の例を示す図である。

最終的に、キーワード集合同士を比較して共通単語を検出する第１の方法では、キーワード集合８１、８３、８４に含まれている共通単語は、図９に示す共通単語９１であり、これらが、共通単語記憶装置Ｍ４に記憶される。また、キーワード集合８５、８６に含まれている共通単語は、図９に示す共通単語９２であり、これらが、共通単語記憶装置Ｍ４に記憶される。共通単語９１は、１番目の共通単語であり、共通単語９２は、２番目の共通単語である。

図９に示す例から、第１のテキストＴ１に書かれている内容は、２つに分類されると判断できる。そして、分類された１つ目の内容は、「ドライブ」・「渋滞」・「富士山」等に関するものであり、分類された２つ目の内容は、「特徴選択」・「統計学」・「変換」等に関するものであることが分かる。

キーワード集合同士を比較して共通単語を検出する第２の方法は、先頭から順に、キーワード集合同士を比較し、共通単語が少なくとも１つあるかどうかを調べ、共通単語が完全に見つからなくなるまで、キーワード集合を順に追加する方法である。

この場合、キーワード集合に含まれている単語がなければ、次のキーワード集合を追加して比較する必要がある。共通単語を発見できなければ、１つ前の段階で抽出された共通単語を、制御部１５を通じて、共通単語記憶装置Ｍ４に記憶し、新たな２つのキーワード集合を比較する。上記処理を、全てのキーワード集合について実行する。

ただし、上記第２の方法では、２つのキーワード集合（ｉ番目のキーワード集合とｊ番目のキーワード集合（ただし、ｉ＜ｊとする））を比較した結果、共通単語が見つからない場合が考えられる。この場合、ｉ番目とｊ番目のキーワード集合のうちで、ｉ番目のキーワード集合に含まれている名詞を、そのまま共通単語とし、共通単語記憶装置Ｍ４に記憶し、次のキーワード集合（ｋ番目のキーワード集合）を追加して、比較する。

次に、図８に示すキーワード集合の例を用いて、キーワード集合同士を比較して共通単語を検出する第２の方法について、具体的に説明する。

第２の方法は、上記のように、先頭から順に、キーワード集合同士を比較し、共通単語が少なくとも１つあるかどうかを調べ、共通単語が完全に見つからなくなるまで、キーワード集合を順に追加する方法である。

まず、キーワード集合８１、８３を比較する。キーワード集合８２は、単語が何も登録されていないので、比較対象から除外する。キーワード集合８１、８３において、共通する単語は、「ドライブ」・「渋滞」・「房総」・「富士山」・「バイク」・「走行」・「小田原」・「宿泊」・「庭園」の９単語である。共通単語が見つかる間は、順に、次のキーワード集合を追加するので、キーワード集合８１、８３に、キーワード集合８４を追加し、３つのキーワード集合で比較し、共通単語を検出する。

この結果、共通する単語は、「ドライブ」・「渋滞」・「富士山」・「宿泊」であり、４つの共通単語が存在するので、さらに、キーワード集合８５を追加し、合計４つのキーワード集合同士で比較し、共通単語を検出する。この場合、共通する単語は、０個であるので、１つ前の段階で見つけた共通単語「ドライブ」・「渋滞」・「富士山」・「宿泊」を、共通単語記憶装置Ｍ４に記憶する。これを記憶した後に、キーワード集合８５、８６を比較し、共通単語を抽出する。

なお、上記第２の方法では、ｎ番目キーワード集合〜ｎ＋ｍ番目のキーワード集合を組み合わせて共通単語が抽出されなければ、次の組み合わせでは、ｎ＋ｍ＋１番目のキーワード集合とｎ＋ｍ＋２番目のキーワード集合とが組み合わされる。

これによって、全てのキーワード集合８１〜８６が比較されたので、この段階での共通単語を、制御部１５を通じて、共通単語記憶装置Ｍ４に記憶する。最終的に得られたキーワード集合は、第１の方法（全てのキーワード集合同士を比較して共通単語を検出する第１の方法）と同様に、キーワード集合８１、８３、８４から抽出された共通単語９１と、キーワード集合８５、８６から抽出された共通単語９２とである。

キーワード集合に基づいて共通単語を抽出する場合、キーワード集合をどのように組み合わせて考えるかによって、共通単語を求めるまでの計算時間が変化する。

しかし、最終的に得られる共通単語は同じであるので、共通単語抽出手段１４におけるキーワード集合の組み合わせは、テキスト多重分類の結果については、影響しない。したがって、キーワード集合の組み合わせ順序は、任意の方法でよい。共通単語抽出手段１４の処理が終了すると、制御部１５は、この抽出結果を、出力部１７を介して、表示部２０に表示する。ここでは、「ドライブ」・「渋滞」・「富士山」と「特徴選択」・「統計学」・「変換」等の文字列だけを表示することが考えられる。

また、上記実施例をプログラムの発明として把握することができる。つまり、上記実施例は、第１のテキストを文単位に分解し、記憶装置に記憶するテキスト分解手順と、上記テキスト分解手順で分解された各文を形態素分析し、この形態素分析によって得られた名詞を検索語として抽出し、記憶装置に記憶する検索語抽出手順と、上記検索語抽出手順で抽出された検索語を利用して、ウェブ上で検索し、この検索された第２のテキストを形態素分析し、この形態素分析で得られた名詞のうちで、頻度が所定以上高い名詞を、文単位で、関連語として取得し、記憶装置に記憶する関連語取得手順と、上記テキスト分解手順で分解された複数の文のうちの１つの文から抽出された上記検索語と、この検索語を使用して取得された上記関連語とを組み合わせてキーワード集合を作成し、複数の上記キーワード集合の間で共通して出現する単語を共通単語として抽出し、記憶装置に記憶する共通単語抽出手順と、上記抽出された共通単語を、上記第１のテキストの分野を示す用語として出力する出力手順とをコンピュータに実行させるプログラムの例である。

さらに、上記プログラムを、ＣＤ、ＤＶＤ、ＨＤ、半導体メモリ等、コンピュータ読み取り可能なの記録媒体に記録するようにしてもよい。

上記実施例によれば、ウェブで検索する概念を利用するので、学習データを事前に用意しなくても、多重分類することができる。多重分類技術の莫大なテキストデータを扱う分野や、ニュース記事を配信する分野において、上記実施例を、データベースの整理・更新を自動的に行う支援策として応用できる。

本発明の実施例１であるテキスト多重分類装置１００を示す図である。 本発明の実施例１であるテキスト多重分類装置１００における処理手順の概要を示す図である。 テキスト多重分類装置１００で使用する第１のテキストＴ１の例を示す図である。 第１のテキストＴ１を分解した文の例を示す図である。 テキスト多重分類装置１００で使用する不要語リストＬ１の例を示す図である。 第１のテキストＴ１を分解した文から抽出された名詞（検索語）の例を示す図である。 テキスト多重分類装置１００において、抽出された検索語を使ってウェブで検索したテキスト中の頻度の高い名詞（関連語）の例を示す図である。 テキスト多重分類装置１００において、第１のテキストＴ１の文毎に、検索語と関連語とを組み合わせたキーワード集合の例を示す図である。 テキスト多重分類装置１００において、複数のキーワード集合の間で共通する単語（共通単語）の例を示す図である。

符号の説明

１００…テキスト多重分類装置、
１０…コンピュータ、
１１…テキスト分解手段、
１２…検索語抽出手段、
１３…関連語取得手段、
１４…共通単語抽出手段、
１５…制御部、
１６…入力部、
１７…出力部、
Ｍ１…分解文記憶装置、
Ｍ２…検索語記憶装置、
Ｍ３…関連語記憶装置、
Ｍ４…共通単語記憶装置、
Ｔ１、Ｔ２…テキスト、
２０…表示部。

Claims (10)

1. 第１のテキストを文単位に分解し、記憶装置に記憶するテキスト分解手段と；
   上記テキスト分解手段が分解した各文を形態素分析し、この形態素分析によって得られた名詞を検索語として抽出し、記憶装置に記憶する検索語抽出手段と；
   上記検索語抽出手段が抽出した検索語を利用して、ウェブ上で検索し、この検索された第２のテキストを形態素分析し、この形態素分析で得られた名詞のうちで、頻度が予め設定された閾値以上の名詞を、文単位で、関連語として取得し、記憶装置に記憶する関連語取得手段と；
   上記テキスト分解手段が分解した複数の文のうちの１つの文から抽出された上記検索語と、この検索語を使用して取得された上記関連語とを組み合わせてキーワード集合を作成し、複数の上記キーワード集合の間で共通して出現する単語を共通単語として抽出し、記憶装置に記憶する共通単語抽出手段と；
   上記抽出された共通単語を、上記第１のテキストの分野を示す用語として出力する出力手段と；
   を有することを特徴とするテキスト多重分類装置。
2. 請求項１において、
   上記共通単語抽出手段は、少なくとも１つの上記共通単語を抽出する手段であることを特徴とするテキスト多重分類装置。
3. 請求項１において、
   上記共通単語抽出手段は、全ての上記キーワード集合の組み合わせを調べ、少なくとも１つの共通単語を抽出する手段であることを特徴とするテキスト多重分類装置。
4. 請求項１において、
   上記共通単語抽出手段は、複数のキーワード集合同士を比較し、共通単語があるかどうかを調べ、共通単語が完全に見つからなくなるまで、キーワード集合を順に追加することによって、上記共通単語を抽出する手段であることを特徴とするテキスト多重分類装置。
5. 請求項１において、
   上記第１のテキストの分野を示す用語としての上記共通単語を表示する表示部を有することを特徴とするテキスト多重分類装置。
6. 請求項１において、
   上記検索語抽出手段は、予め作成された不要語リストに登録されていない名詞を、検索語として抽出する手段であることを特徴とするテキスト多重分類装置。
7. 請求項１において、
   上記関連語取得手段は、予め作成された不要語リストに登録されていない名詞を、関連語として取得する手段であることを特徴とするテキスト多重分類装置。
8. 第１のテキストを文単位に分解し、記憶装置に記憶するテキスト分解工程と；
   上記テキスト分解工程で分解された各文を形態素分析し、この形態素分析によって得られた名詞を検索語として抽出し、記憶装置に記憶する検索語抽出工程と；
   上記検索語抽出工程で抽出された検索語を利用して、ウェブ上で検索し、この検索された第２のテキストを形態素分析し、この形態素分析で得られた名詞のうちで、頻度が予め設定された閾値以上の名詞を、文単位で、関連語として取得し、記憶装置に記憶する関連語取得工程と；
   上記テキスト分解工程で分解された複数の文のうちの１つの文から抽出された上記検索語と、この検索語を使用して取得された上記関連語とを組み合わせてキーワード集合を作成し、複数の上記キーワード集合の間で共通して出現する単語を共通単語として抽出し、記憶装置に記憶する共通単語抽出工程と；
   上記抽出された共通単語を、上記第１のテキストの分野を示す用語として出力する出力工程と；
   を有することを特徴とするテキストを多重分類する方法。
9. 第１のテキストを文単位に分解し、記憶装置に記憶するテキスト分解手順と；
   上記テキスト分解手順で分解された各文を形態素分析し、この形態素分析によって得られた名詞を検索語として抽出し、記憶装置に記憶する検索語抽出手順と；
   上記検索語抽出手順で抽出された検索語を利用して、ウェブ上で検索し、この検索された第２のテキストを形態素分析し、この形態素分析で得られた名詞のうちで、頻度が予め設定された閾値以上の名詞を、文単位で、関連語として取得し、記憶装置に記憶する関連語取得手順と；
   上記テキスト分解手順で分解された複数の文のうちの１つの文から抽出された上記検索語と、この検索語を使用して取得された上記関連語とを組み合わせてキーワード集合を作成し、複数の上記キーワード集合の間で共通して出現する単語を共通単語として抽出し、記憶装置に記憶する共通単語抽出手順と；
   上記抽出された共通単語を、上記第１のテキストの分野を示す用語として出力する出力手順と；
   をコンピュータに実行させるプログラム。
10. 第１のテキストを文単位に分解し、記憶装置に記憶するテキスト分解手順と；
    上記テキスト分解手順で分解された各文を形態素分析し、この形態素分析によって得られた名詞を検索語として抽出し、記憶装置に記憶する検索語抽出手順と；
    上記検索語抽出手順で抽出された検索語を利用して、ウェブ上で検索し、この検索された第２のテキストを形態素分析し、この形態素分析で得られた名詞のうちで、頻度が予め設定された閾値以上の名詞を、文単位で、関連語として取得し、記憶装置に記憶する関連語取得手順と；
    上記テキスト分解手順で分解された複数の文のうちの１つの文から抽出された上記検索語と、この検索語を使用して取得された上記関連語とを組み合わせてキーワード集合を作成し、複数の上記キーワード集合の間で共通して出現する単語を共通単語として抽出し、記憶装置に記憶する共通単語抽出手順と；
    上記抽出された共通単語を、上記第１のテキストの分野を示す用語として出力する出力手順と；
    をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記憶媒体。

Images