JP2014135045A - 文書分類装置、文書分類方法、及びプログラム - Google Patents

Abstract

【課題】文書を分類するにあたり、網羅的に文書を分類することで、より精緻な分類を行うことが可能な文書分類装置、文書分類方法、及びプログラムを提供する。
【解決手段】入力された未分類の文書と少なくとも１以上の階層的に分野分類された文書との類似度、及び前記分野分類された文書が属する分野の数を用いて求めた、当該階層における文書間の類似度の和に対して、未分類の文書と分野分類された文書との類似度、及び分野分類された文書が属する階層を構成する１つの階層の分野の数を用いて求めた１つの階層における分野の文書間の類似度の和を除算することで、入力文書の分野のベクトルを求める。
【選択図】図７

Description

本発明は、電子的に記憶された文書を、文書の内容に基づいて、当該文書の分野を特定すると共に、特定した分野に基づき文書をクラスタリングする技術に関する。

世の中において、作成される電子文書は増大する一方であり、電子文書の自動的な分類に対するニーズは高まっている。

近年、文書を、文書のテキストを構成する単語のベクトル（特徴ベクトル）と見做し、特徴ベクトルの近さにより文書相互の類似の度合い（類似度）を数値化することで文書分類を実現する手法が提案されている。

特許文献１には、未分類の文書から抽出した単語を基にした特徴ベクトルに対し、予め分野分類済みの文書から抽出した単語に基づく特徴ベクトルとの類似度を計算し、最も類似する分野分類済み文書が属する分野を、未分類の文書の属する分野と判定する手法が記載されている。

また、特許文献２には、文書から抽出した単語ベクトルに対し、自己組織化マップを用いて文書をクラスタリングする手法が記載されている。

特開平１１−１６７５８１号公報 特開平８−２６３５１４号公報

上記特許文献１では、文書から抽出した単語ベクトルを用いて、文書の属する分野を特定することが可能であることが示されており、また、上記特許文献２では、文書から抽出した単語ベクトルを用いて、文書をクラスタリングすることが可能であることが示されている。

しかしながら、特許文献１および特許文献２では、構成する単語で文書の特徴として表現するため、学習および分類の対象となる文書が特定の分野に属していることが前提であることは自明であり、不特定の分野の内容を含む文書集合を分類することができないという問題を有する。

また、特許文献１では、分類結果として何れかの一つの分野に特定するため、文書の内容が複数の分野にまたがる場合や、階層的に上位の分野に属する場合に対応することができないという問題もある。更に、特許文献１では、分類したい対象に応じた学習データを個別に用意する必要がある。

そこで、本発明の目的は、文書を分類するにあたり、網羅的に文書を分類することで、より精緻な分類を行うことを支援するが可能な文書分類装置、文書分類方法、及びプログラムを提供する。

上記課題を解決するための第１の発明は、未分類の入力文書と少なくとも１以上の階層的に分野分類された文書との類似度、及び前記分野分類された文書が属する分野の数を用いて、当該階層における文書間の総類似度を求める第一の分野判定部と、前記類似度、及び前記分野分類された文書が属する前記階層を構成する１階層の分野の数を用いて、当該１階層における分野の文書間の総類似度を求める第二の分野判定部と、前記第一の分野判定部によって求まる階層における文書間の総類似度に対する第二の分野判定部によって求まる１階層における分野の文書間の総類似度から、前記入力文書の前記分野のベクトルを求める第三の分野判定部と、を備えたことを特徴とする。

上記課題を解決するための第２の発明は、文書分類装置における未分類の文書を分野分類する文書分類方法であって、前記文書分類装置の第一の分野判定部は、未分類の入力文書と少なくとも１以上の階層的に分野分類された文書との類似度、及び前記分野分類された文書が属する分野の数を用いて、当該階層における文書間の総類似度を求める第一の分野判定ステップ、前記文書分類装置の第二の分野判定部は、前記類似度、及び前記分野分類された文書が属する前記階層を構成する１階層の分野の数を用いて、当該１階層における分野の文書間の総類似度を求める第二の分野判定ステップ、前記文書分類装置の第三の分野判定部は、前記第一の分野判定ステップによって求まる階層における文書間の総類似度に対する第二の分野判定部によって求まる１階層における分野の文書間の総類似度から、前記入力文書の前記分野のベクトルを求める第三の分野判定ステップ、を含むことを特徴とする。

上記課題を解決するための第３の発明は、文書分類装置で読取実行可能なプログラムであって、前記文書分類装置を、未分類の入力文書と少なくとも１以上の階層的に分野分類された文書との類似度、及び前記分野分類された文書が属する分野の数を用いて、当該階層における文書間の総類似度を求める第一の分野判定部と、前記類似度、及び前記分野分類された文書が属する前記階層を構成する１階層の分野の数を用いて、当該１階層における分野の文書間の総類似度を求める第二の分野判定部と、前記第一の分野判定部によって求まる階層における文書間の総類似度に対する第二の分野判定部によって求まる１階層における分野の文書間の総類似度から、前記入力文書の前記分野のベクトルを求める第三の分野判定部と、して機能させることを特徴とする。

本発明によれば、網羅的、階層的な分野分類済み文書に基づき分類を行うので、特定の分野に限定されない、広く一般的な分野分類を実現することが可能となる。

本発明の実施形態に係る文書分類装置の機能構成の一例を示す構成図である。 本発明の実施形態に係る文書分類装置に適用可能な情報処理装置のハードウェア構成を示すブロック図である。 本発明の実施形態における文書分類装置の分野知識構築処理の一例を示すフローチャートである。 本発明の実施形態における文書分類装置で用いられる類似文検索の一例を示す図である。 本発明の実施形態における分野知識文書の一例を示す図である。 本発明の実施形態における分野情報テーブルの構成例を示す構成図である。 本発明の実施形態における文書分類装置の分野判定処理の一例を示すフローチャートである。 本発明の実施形態における未分類文書の一例を示す図である。 本発明の実施形態における文書分類装置の分野判定部により生成される処理対象文書に対する類似文検索の結果の一例を示す図である。 本発明の実施形態における文書分類装置の分野判定部により生成される処理対象文書に対する分野情報の一例を示す図である。 本発明の実施形態における文書分類装置の分野判定部による分野ベクトル算出処理の出力結果の一例を示す図である。 本発明の実施形態における文書分類装置の機能構成の一例を示す構成図である。 本発明の実施形態における処理対象となる未分類文書の一覧を示す図である。 本発明の実施形態における文書に対する分野判定部の出力結果の一例を示す図である。 本発明の実施形態における文書クラスタリング処理の一例を示すフローチャートである。 本発明の実施形態における文書相互の類似度の一覧を示す図である。 本発明の実施形態における文書に対するクラスタリング結果の一例を示す図である。 本発明の実施形態における文書クラスタリング処理の一例を示すフローチャートである。 本発明の実施形態における処理対象となる未分類文書の一覧を示す図である。 本発明の実施形態における文書クラスタリング部により分野ベクトルと単語ベクトルとから合成された文書の特徴ベクトルの一例を示す図である。 本発明の実施形態における類文書相互の類似度の一覧を示す図である。 本発明に実施形態における未分類文書が属する分野の位置等をグラフ図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明の文書分類装置の機能構成の一例を示す図である。

文書分類装置１００は、分野判定部１０３及び分野知識構築部１０６を含んで構成され、分野判定部１０３は、予め外部から与えられた分野知識文書１０７に基づき、分野知識文書１０７の本文を抽出したり、分野を特定して、類似文検索インデックス１０２及び分野情報テーブル１０４へ記憶する。

分野判定部１０３は、外部から与えられた未分類文書１０１の内容を解析し、未分類文書１０１が属する分野を類似文検索インデックス１０２及び分野情報テーブル１０４用いて特定し、特定結果を分野ベクトル１０５として出力する。

尚、各機能の詳細な説明は、後述するフローチャートを用いて説明する。

以下、図２を用いて、図１に示した文書分類装置１００に適用可能な情報処理装置のハードウェア構成について説明する。

図２は、図１に示した文書分類装置１００に適用可能な情報処理装置のハードウェア構成を示すブロック図である。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、キーボード（ＫＢ）２０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器への表示を制御する。なお、図２では、ＣＲＴ２１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。

２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ４００）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。

（分野知識構築）
次に、図３のフローチャートを参照して、本実施形態の文書分類装置における分野知識構築処理について説明する。

ステップＳ３０１において分野知識構築部１０６は、分野知識文書１０７の全ての分野知識文書に対してステップＳ３０４までの繰り返し処理を開始する。

ステップＳ３０２において分野知識構築部１０６は、分野知識文書の本文と文書ＩＤを関連付けて類似文検索インデックス１０２に追加する。

ステップＳ３０３において分野知識構築部１０６は、分野知識文書の文書ＩＤと分野情報を関連付けて分野情報テーブル１０４に追加する。

ステップＳ３０４において分野知識構築部１０６は、次の分野知識文書がある場合、ステップＳ３０１からの処理を実施する。次の分野知識文書がない場合、処理を終了する。

（具体例）
分野知識構築処理の具体例について説明する。

分野知識文書１０７は網羅的かつ階層的な分野に整理された文書の集合である。

例えばWikipedia(http://ja.wikipedia.org)のような文書集合を基に構築することが可能である。

図５に分野知識文書１０７の一例を示す。分野知識文書１０７は複数の分野知識文書からなり、分野知識文書１０７は、本文と分野が一意に特定できれば、どのような構成であっても構わない。

本実施形態において、分野知識文書１０７は、分野知識文書を一意に識別する文書ＩＤ列５０１、本文列５０２、分野列５０３から構成されるテーブルに格納されているとする。

ステップＳ３０１において分野知識構築部１０６は、図５の最初の分野知識文書（文書ＩＤ=１０１）に対して処理を開始する。

ステップＳ３０２において分野知識構築部１０６は、分野知識文書（文書ＩＤ=１０１）の本文列５０２と文書ＩＤ列５０１を関連付けて、類似文検索インデックス１０２に追加する。

図４に類似文検索の一例を示す。

まず、登録されている文書を単語に分解し、当該文書を一意に識別する出現文書ＩＤと共に、分解して得られた単語をインデックスに追加する。

検索文（類似文検索では、この文書に類似する登録文書を取得する。）を単語に分解し、前記のインデックスから当該検索文の単語に該当する出現文書ＩＤを取得する。

そして、取得した出現文書ＩＤに関して、登録された文書と検索文との類似度を算出する。尚、類似度の算出方法としては、簡易な方法の一例として、検索文の一致単語数と被検索文書（登録された文書）の一致単語数とを加算してえられた値を、検索文の単語数と被検索文書（登録された文書）の単語数とを加算して得られた値で、除算したものを用いる。

すると、各出現文書ＩＤ毎に、類似度が求められ、最も類似度の高い出現文書ＩＤから特定される登録された文書が、検索文に類似していると判定することが可能である。

本実施形態では、単語に基づく類似文書の判定について述べているが、連接文字（n-gram）などに基づいて判定してもよい、また文書の類似度の算出に際しては、単語や連接文字に対しtf・idfや出現頻度などに基づき重み付けを与えてもよいし、重みや品詞などに基づき対象から外してもよい。さらに類似度の算出方法についてはコサイン類似度など別の方法を用いてもよい。

ステップＳ３０３において分野知識構築部１０６は、分野知識文書（文書ＩＤ=１０１）の文書ＩＤ列５０１と分野列５０３を関連付けて分野情報テーブル１０４に追加する。

図６に分野情報テーブルの一例を示す。

ステップＳ３０４において分野知識構築部１０６は、次の分野知識文書（文書ＩＤ=１０２）があるので、ステップＳ３０１に処理を戻す。

以下、同様のステップを繰り返す。

（分野判定処理）
次に、図７のフローチャートを参照して、本実施形態の文書分類装置における分野判定処理について説明する。

ステップＳ７０１において分野判定部１０３は、外部から入力された未分類文書１０１の本文に類似する文書を類似文検索インデックス１０２を用いて検索し、類似度が高い順に規定の数まで類似文書の文書ＩＤと類似度の組を取得する。

取得する類似文書を、類似度が規定の値より大きい文書だけに制限してもよいし、文書数および類似度両方の規定値により制限してもよい。

ステップＳ７０２において分野判定部１０３は、分野情報テーブル１０４からステップＳ７０１で取得した各々の文書ＩＤに関連付けられた分野情報を取得する。

ステップＳ７０３において分野判定部１０３は、ステップＳ７０１およびステップＳ７０２において取得した類似度と分野情報の類似度の合計を式１を用いて算出する。一つの文書に複数の分野に対応する場合は、分野の数だけ文書があると見做して算出する。

一つの文書に複数の分野が対応する場合に、それぞれの分野に対して類似度を等分するように構成してもよいし、階層などにより重み付けを行って配分してもよい。
［式１］

ステップＳ７０４において分野判定部１０３は、取得した全ての類似文書に対してステップＳ７１２までの繰り返し処理を開始する。

ステップＳ７０５において分野判定部１０３は、処理対象となっている類似文書に対応する分野情報全てに対してステップＳ７１１までの繰り返し処理を開始する。

ステップＳ７０６において分野判定部１０３は、処理対象となっている分野情報の階層を分解する。

ステップＳ７０７において分野判定部１０３は、ステップＳ７０６で分解した各階層の分野全てに対して、ステップＳ７１０までの繰り返し処理を開始する。

ステップＳ７０８において分野判定部１０３は、分野のスコアが既に算出済みか否かを判定する。スコアが算出済みであれば、ステップＳ７１０に処理を移す。スコアが算出されていなければ、ステップＳ７０９に処理を移す。

ステップＳ７０９において分野判定部１０３は、式２および式３により、処理対象となっている分野のスコアを算出する。各式は一例であり、階層の高さを加味した式など異なる式を用いてもよい。
［式２］

［式３］

ステップＳ７１０において分野判定部１０３は、次の分野がある場合、ステップＳ７０７からの処理を実施する。次の分野がない場合、ステップＳ７１１に処理を移す。

ステップＳ７１１において分野判定部１０３は、次の分野情報がある場合、ステップＳ７０５からの処理を実施する。次の分野情報がない場合、ステップＳ７１２に処理を移す。

ステップＳ７１２において分野判定部１０３は、次の類似文書がある場合、ステップＳ７０４からの処理を実施する。次の類似文書がない場合、処理を終了する。

（具体例）
分野判定処理の具体例について説明する。

図８に示す文書８０１が未分類に入力文書として与えられた場合について説明する。

ステップＳ７０１において分野判定部１０３は、未分類入力文書８０１に類似する文書を類似文検索インデックス１０２から検索し、図９に示す類似文検索結果を得る。

ステップＳ７０２において分野判定部１０３は、分野情報テーブル１０４からステップＳ７０１で取得した文書ＩＤごとに関連付けられた分野情報を取得し、図１０に示す分野情報を得る。

ステップＳ７０３において分野判定部１０３は、図９に示す類似度と分野情報から式１を用いて類似度の合計Ｓを算出する。
S=0.37×2+0.35×2+0.32×2+0.30×1+0.22×1+0.20×1+0.03×2=2.86

ステップＳ７０４において分野判定部１０３は、類似文書（文書ＩＤ=１０５）に対してステップＳ７１２までの繰り返し処理を開始する。

ステップＳ７０５において分野判定部１０３は、処理対象となっている類似文書（文書ＩＤ=１０５）に対応する分野情報１００１に対してステップＳ７１１までの繰り返し処理を開始する。

ステップＳ７０６において分野判定部１０３は、処理対象となっている分野情報１００１（「スポーツ/野球/プロ野球/野球選手」）の階層を分解して「スポーツ」、「野球」、「プロ野球」、「野球選手」の４つの分野を得る。

ステップＳ７０７において分野判定部１０３は、ステップＳ７０６で取得した分野「スポーツ」に対して、ステップＳ７１０までの繰り返し処理を開始する。

ステップＳ７０８において分野判定部１０３は、分野「スポーツ」のスコアが算出されていないので、ステップＳ７０９に処理を移す。

ステップＳ７０９において分野判定部１０３は、式２および式３により、処理対象となっている分野のスコアを算出する。
S(スポーツ)=0.37×2+0.35×2+0.32×2+0.30×1+0.22×1+0.20×1=2.80
score(スポーツ)=S(スポーツ)/S=2.8/2.86=0.98

ステップＳ７１０において分野判定部１０３は、次の分野「野球」があるので、ステップＳ７０７からの処理を実施する。

分野「野球」に対し、ステップＳ７０７からステップＳ７０９の処理を実施し、score(野球) = 0.63を得る。

同様に分野「プロ野球」「野球選手」に対し score(プロ野球)=0.63、score(野球選手)=0.31を得る。

ステップＳ７１０において分野判定部１０３は、次の分野がないので、ステップＳ７１１に処理を移す。

ステップＳ７１１において分野判定部１０３は、次の分野情報１００２があるので、ステップＳ７０５からの処理を実施する。

ステップＳ７０５において分野判定部１０３は、分野情報１００２に対してステップＳ７１１までの繰り返し処理を開始する。

ステップＳ７０６において分野判定部１０３は、処理対象となっている分野情報１００２（「スポーツ/野球/プロ野球/セントラル・リーグ/阪神」）の階層を分解して「スポーツ」、「野球」、「プロ野球」、「セントラル・リーグ」、「阪神」を得る。

ステップＳ７０７において分野判定部１０３は、ステップＳ７０６で取得した分野「スポーツ」に対して、ステップＳ７１０までの繰り返し処理を開始する。

ステップＳ７０８において分野判定部１０３は、分野「スポーツ」のスコアが算出されているので、ステップＳ７１０に処理を移す。

以下、同様の処理を繰り返し、新たに分野「セントラル・リーグ」、「阪神」に対し score(セントラル・リーグ)=0.39、score(阪神)=0.21を得て、処理をステップＳ７１０に処理を移す。

ステップＳ７１０において分野判定部１０３は、次の分野がないので、ステップＳ７１１に処理を移す。

ステップＳ７１１において分野判定部１０３は、次の分野情報ないので、ステップＳ７１２に処理を移す。

ステップＳ７１２において分野判定部１０３は、次の類似文書がある場合、ステップＳ７０４に処理を移す。

以下、同様の処理を繰り返し、図１１に示す結果を得る。

図１１は、図８に示す文書が属する分野を表現する分野ベクトルと見做すことができる。図８の文書が主に分野「スポーツ」に関するものであり「野球」と「サッカー」両方に関する内容を含んでいると判断することが可能となる。

分野に対して関連する度合いを数値化することにより様々な応用が可能となる。一例として、任意に選択された分野（観点）に対し、文書集合を視覚的に分析する場合について説明する。

観点として２つの分野「野球」と分野「サッカー」が選択されたとする。観点は１または３以上で構成してもよい。

分野ベクトルの「野球」と「サッカー」のスコアに応じて、文書を平面上に配置する。分野「野球」と分野「サッカー」を２軸とする平面上に文書８０１を配置した場合を図２２に示す。文書８０１は配置された位置により、分野「野球」との関連が強く、分野「サッカー」とも関連していることを示している。

同様に文書集合に含まれるすべての文書を同一平面上に配置すれば、文書集合全体の特性を視覚化することが可能となる。例えば、図２２から、文書集合においては、分野「野球」に関する文書が多く、分野「サッカー」に関する文書は少ないことを視覚的に把握することが可能となる。

さらに選択する分野を変更すれば、様々な観点により文書集合を分析することが可能となる。

これにより、文書を一つの分野ではなく、関連する複数の分野に対し関連する度合いで数値化し、重み付きの分野のベクトル（分野ベクトル）として表現することで、文書を様々な観点で比較することが可能となる。

これにより各種クラスタリング手法を用いた場合（詳細後述）に、人間の直観に適う文書のグループ分けを実現することを目的とする。つまり文書の内容が複数の分野にまたがる場合や、階層的に上位の分野に属する場合も分類するのに好適である。

また、網羅的な分野分類済み文書に基づく分野知識を一度構築すれば、分類対象によらず利用することが可能であり、分類対象が変わっても分野知識を都度構築する必要がない。

（第２の実施形態）
図１２は、第２の実施形態における文書分類装置の構成の一例を示す図である。

第２の実施形態における文書分類装置は、第１の実施形態における文書分類装置１００に、複数の文書に対する分野ベクトルを保存する分類済み文書情報保存領域１２０１と、保存した複数の分野ベクトルに基づき文書集合をクラスタリングする文書クラスタリング部１２０２を追加し、クラスタリング結果１２０３を出力するように構成する。

分野知識構築部１０６の動作は第１の実施形態と同様である。

分野判定部１０３の動作は、出力した分野ベクトル１０５を分類済み文書情報保存領域１２０１に保存する以外は、第１の実施形態と同様である。
（クラスタリング処理）

次に、図１５のフローチャートを参照して、本実施形態の文書分類装置における文書クラスタリング処理について説明する。本実施形態においては、ウォード法などの階層的クラスタリング手法のように文書相互の類似度に基づいた手法を用いる場合についての説明するが、Ｋ平均法や自己組織化マップなどの手法を用いてクラスタリングする構成にしてもよい。

ステップＳ１５０１において文書クラスタリング部１２０２は、分類済み文書情報保存領域１２０１に保存されている文書相互の類似度を分野ベクトルに基づいて算出する。

式４に分野ベクトルに基づく文書の類似度を算出する式の一例である。本実施の形態においてはコサイン類似度（各パラメータは、各文書の分野ベクトルを用いる。）を用いるが、別の類似度算出式を用いて構成してもよい。
［式４］

ステップＳ１５０２において文書クラスタリング部１２０２は、算出した文書間の類似度に基づいて、ウォード法などの階層的クラスタリング手法を用いて文書をクラスタリングする。

（具体例）文書クラスタリング処理の具体例について説明する。

図１３に示す４つの未分類文書が入力され、分野判定部１０３により分野ベクトルを算出し、分類済み文書情報保存領域１２０１に保存した結果、分類済み文書情報保存領域１２０１が図１４に４つの分野ベクトルがあるとする。

ステップＳ１５０１において文書クラスタリング部１２０２は、図１４に保存されている文書相互の分野ベクトルに基づく類似度を、式４を用いて算出した結果、図１６の表を得る。

ステップＳ１５０２において文書クラスタリング部１２０２は、図１６の表を用いて、文書の類似度に基づき、階層的クラスタリング手法により文書のクラスタリングを実施する。

クラスタリング処理の詳細は省略するが、ウォード法などの階層的クラスタリグ手法を用いると、図１６の類似関係から図１７のような順位付けられた階層を持つクラスタが得られる。

一般的に単語ベクトルに基づき文書間の類似度を求めると「阪神」「延長」が共通する文書１と文書４が最も類似すると判定され、同じ野球の話題である文書１と文書２は共通の単語が存在しないため最も類似しない文書と判定され、クラスタリングの結果も人間の直観に適わない。

しかし、本実施の形態によれば、共通する単語がない文書１と文書２を最も類似すると判断でき、人間の直観に適うクラスタリングの結果を得ることが可能となる。

図１７に示すクラスタリングの結果において最上位の階層で分割すると、文書１〜文書４からなる文書集合は、スポーツの文書集合（文書１〜文書３）とスポーツ以外の文書集合（文書４）の２つのグループに分割することができる。

文書集合を３つのグループにしたい場合は、更に２番目の階層から分割することで、スポーツの文書集合を野球の文書集合（文書１、文書２）とサッカーの文書集合（文書３）に分けることができる。

具体例では文書集合の文書数が４であり、全ての文書の内容を見て判断することは容易であるが、対象となる文書数が数千、数万と大きい場合、全ての文書の内容を目視して判断することは困難となる。また、分類の基準となる例文を与えることにより分類を行う手法では、文書集合の内容に応じて例文を用意する必要があるが、妥当な分類基準となる例文を用意することは困難である。

本手法を用いれば、文書の内容に基づき、文書集合の特性に応じた任意の数のグループに、人手を介すことなく分割することが可能となる。また、階層的にグループ化されるので、グループの統合および分割も容易となる。グループに分割された文書に対しては、ラベルや属性を一括して付与するなど様々な応用が可能となる。

（第３の実施形態）
第３の実施形態における文書分類装置は、第２の実施形態における文書分類装置と同様の構成からなるが、文書の分野ベクトルと単語ベクトルを合成して文書の特徴ベクトルとする点が異なる。

図１８のフローチャートを参照して、本実施形態の文書分類装置における文書クラスタリング処理について説明する。

ステップＳ１８０１において、文書クラスタリング部１２０２は、分野ベクトルに単語ベクトルを合成する。

単語ベクトルの算出手順は割愛するが、式５に単語ベクトルにおける単語に対する要素の値の算出方法の一例を示す。dは分野ベクトルと単語ベクトルの影響の度合いを調整するための重みである。単語に対するWの値はtf・idf値や頻度などから算出するように構成してもよい。
［式５］

以後は、第２の実施形態と同様の処理を行う（ステップＳ１５０１、ステップＳ１５０２）。

本実施の形態においては、分野ベクトルと単語ベクトルを合成した特徴ベクトルに対して類似度を求めたが、分野ベクトルから算出した類似度と単語ベクトルから算出した類似度から文書の類似度を算出するように構成してもよい。式６に分野ベクトルの類似度と単語ベクトルの類似度から文書の類似度を算出する式の一例を示す。
［式６］

（具体例）
d=1のときに、図１９の文書集合に対し、算出した文書の特徴ベクトルの一例を図２０に示す。

本実施形態においては助詞、助動詞や記号等を単語ベクトルの要素から除外している。単語の品詞以外にtf・idfや頻度などの値を利用して単語を限定するように構成してもよい。

図２０の文書特徴ベクトルから類似度を算出した結果を図２１に示す。

分野ベクトルのみを用いた場合、文書５に対し文書１および文書２ともに同じくらい類似していると判定される。しかし単語ベクトルを合成した場合、共通する単語（「鈴木一男」「延長」「巨人」）が多い文書１のほうをより類似していると判定することが可能となる。

網羅的、階層的な分野分類済み文書に基づき分類を行うので、特定の分野に限定されない、広く一般的な分野分類を実現することが可能となる。

（第４の実施形態）
第４の実施形態における文書分類装置は、第１の実施形態におけるステップＳ７０９にでは、分野判定部１０３が、式２および式３により、処理対象となっている分野のスコアを算出しているが、階層の高さを加味したスコアの算出方法を適用する態様を説明する。

基本的には、式３に対するカテゴリの階層の深さに対して重み付けを行うことで、当該態様を実現するが、その１例として、式３を改良した式７を用いて算出を行う。
［式７］

ステップＳ７０９において分野判定部１０３は、式２および式７により、処理対象となっている分野のスコアを算出する。

rw(r)は、階層の深さに関連した重みであり、rの値が大きくなるにつれrw(r)の値が大きくなるように構成すれば、より深い階層の概念に対するスコアを大きくなるように調整することが可能となる。尚、第１の実施形態では、その１例として、rw(r)の値は、階層の深さに関係なく常に1として考えて良い。但し、各式は一例であり異なる式を用いてもよい。

また、本発明は、例えば、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータで稼働しているＯＳ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステム、あるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ 文書分類装置
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ キーボード
２１０ ディスプレイ
２１１ 外部メモリ

Claims (6)

1. 未分類の入力文書と少なくとも１以上の階層的に分野分類された文書との類似度、及び前記分野分類された文書が属する分野の数を用いて、当該階層における文書間の総類似度を求める第一の分野判定部と、
   前記類似度、及び前記分野分類された文書が属する前記階層を構成する１階層の分野の数を用いて、当該１階層における分野の文書間の総類似度を求める第二の分野判定部と、
   前記第一の分野判定部によって求まる階層における文書間の総類似度に対する第二の分野判定部によって求まる１階層における分野の文書間の総類似度から、前記入力文書の前記分野のベクトルを求める第三の分野判定部と、
   を備えたことを特徴とする文書分類装置。
2. 前記第三の分野判定部は、複数の前記入力文書に対して、前記入力文書毎の分野のベクトルから、前記入力文書間の類似度を算出することを特徴とする請求項１に記載の文書分類装置。
3. 前記第三の分野判定部は、前記算出した類似度を用いて、前記入力文書を階層的にクラスタリングすることを特徴とする請求項２に記載の文書分類装置。
4. 前記第三の分野判定部は、前記入力文書の分野のベクトルと前記入力文書の単語の単語ベクトルとを合成することで、前記入力文書間の類似度を算出することを特徴とする請求項２または３に記載の文書分類装置。
5. 文書分類装置における未分類の文書を分野分類する文書分類方法であって、
   前記文書分類装置の第一の分野判定部は、未分類の入力文書と少なくとも１以上の階層的に分野分類された文書との類似度、及び前記分野分類された文書が属する分野の数を用いて、当該階層における文書間の総類似度を求める第一の分野判定ステップ、
   前記文書分類装置の第二の分野判定部は、前記類似度、及び前記分野分類された文書が属する前記階層を構成する１階層の分野の数を用いて、当該１階層における分野の文書間の総類似度を求める第二の分野判定ステップ、
   前記文書分類装置の第三の分野判定部は、前記第一の分野判定ステップによって求まる階層における文書間の総類似度に対する第二の分野判定部によって求まる１階層における分野の文書間の総類似度から、前記入力文書の前記分野のベクトルを求める第三の分野判定ステップ、
   を含むことを特徴とする文書分類方法。
6. 文書分類装置で読取実行可能なプログラムであって、
   前記文書分類装置を、
   未分類の入力文書と少なくとも１以上の階層的に分野分類された文書との類似度、及び前記分野分類された文書が属する分野の数を用いて、当該階層における文書間の総類似度を求める第一の分野判定部と、
   前記類似度、及び前記分野分類された文書が属する前記階層を構成する１階層の分野の数を用いて、当該１階層における分野の文書間の総類似度を求める第二の分野判定部と、
   前記第一の分野判定部によって求まる階層における文書間の総類似度に対する第二の分野判定部によって求まる１階層における分野の文書間の総類似度から、前記入力文書の前記分野のベクトルを求める第三の分野判定部と、
   して機能させることを特徴とするプログラム。

Images