JP2010282483A - 文書分類装置及び文書分類プログラム - Google Patents

Abstract

【課題】ユーザが意図するように複数のカテゴリに文書を適切に自動分類する。
【解決手段】分類先カテゴリ指定部４１により指定された複数の分類先カテゴリの特徴ベクトルと、分類する文書データの特徴ベクトルとを比較し、その比較の結果から、各分類先カテゴリの特徴ベクトルを調整する特徴ベクトル調整部４２と、特徴ベクトル調整部４２により調整した複数の分類先カテゴリの特徴ベクトルを用いて、文書記憶部１０に記憶された各文書データを、カテゴリ記憶部２０に記憶された各カテゴリに再分類する文書再分類部４３と、再分類の結果を提示する再分類結果提示部４４とを具備している。
【選択図】図１

Description

本発明は、大量の文書を自動分類する文書分類装置に関し、例えば、ユーザが意図するように複数のカテゴリに文書を適切に自動分類し得る文書分類装置に関する。

近年、計算機の高性能化や記憶媒体の大容量化、計算機ネットワークの普及などに伴い、電子化された文書を計算機システムに大量に記憶して利用できるようになっている。

電子化された文書としては、例えば、帳票、企画書、設計書、議事録といった業務文書や、マニュアル、特許文献、技術文献、法令、規程、ニュース記事、電子メール、ウェブページ、書籍などが挙げられる。このような電子化された文書を未整理のまま大量に計算機のファイルシステムやデータベースに記憶するだけでは、どのような情報がどこに存在するのかが分からなくなり、せっかくの情報が利用できなくなる。従って、電子化された文書の内容や用途に応じて分類・整理し、情報の有効活用や共有の促進が図られている。

電子化された文書を計算機システムに記憶する際、互いに内容が類似した文書同士のグルーピングが行われる。例えば、日々作成され蓄積される日報や週報などの報告書や、顧客から送付されてくる問い合わせ情報、製品等の不具合情報、特許文献・技術文献等の知的財産に関する情報などをグルーピングし、分析・調査すれば、記憶されている文書の内容の傾向を把握したり、新たな知見を得たりすることが可能である。

ところが、上述したような文書の分類作業を人手で行うには労力がかかるため、文書を自動的に分類する技術が開発されている。大量の文書を自動的に分類する技術には、大別すると、教師あり分類と教師なし分類とがある。「教師あり分類」は、あらかじめユーザが与えたカテゴリの構造と、各カテゴリに分類されるべき教師文書とに基づき、未分類の文書を自動的に分類する方法である。「教師なし分類」は、主にクラスタリングと呼ばれ、ユーザが定義した文書の類似度に基づき、類似した文書同士を自動的にグルーピングし、カテゴリ構造自体も自動生成する方法である。

しかしながら、これらの技術による自動分類の結果は、ユーザが意図したものにならないことが少なくない。また、ある文書集合を自動または手作業で分類してカテゴリ構造を作成した後、新たな文書集合を追加して分類しようとすると、既存のカテゴリ構造では新しい文書を適切に分類できないこともある。計算機処理による自動分類では、人間が手作業で行うような質の良い分類結果を得ることは困難であるし、文書をどのようなカテゴリ構造に分類すべきかは、ユーザ自身の意図にもよる。従って、ユーザが意図する適切なカテゴリ構造が効率よく作成されることが望まれている。

また、文書を分類する際に、１つの文書を、複数のカテゴリに分類したいときがある。具体的には、ある技術分野の特許文書を調査等の目的で分類する場合、複数のカテゴリに分類することがある。例えば、「機械翻訳による言語横断検索に関する特許」を、「翻訳」のカテゴリと「検索」のカテゴリとの両方に分類したい、といった場合がある。

一般に、１つの文書を１つのカテゴリへ分類する排他的な（ｈａｒｄな）分類に比べ、1つの文書を複数のカテゴリへ分類する排他的でない（ｓｏｆｔな）分類は、精度や性能の面で劣る。そこで、従来の教師あり分類や教師なし分類の手法を改良することで、排他的でない分類を自動で行う試みがある（例えば、特許文献１・特許文献２参照）。また、教師あり分類における教師文書を、複数カテゴリへの帰属度として重み付きで各々与える方法も検討されている（例えば、特許文献３参照）。

特許第３４９７７１３号公報 特許第３８８０５３４号公報 特開２００３−９１５４２号公報

上述したように、従来技術では、ユーザが意図するように文書が適切に自動分類されないことがある。

一般的な自動分類の手法では、分類対象である各文書の特徴を表すために、単語ベクトルを用いることが多い。「単語ベクトル」とは、文書中に出現する単語の各々をベクトルの次元とし、各次元の値を、当該単語の品詞や頻度などに基づいて計算した重みとして構成したベクトルである。

教師なし分類（クラスタリング）の処理においては、文書の間の類似度は、両文書の単語ベクトルの類似度（余弦など）を用いて定義する。この類似度を用いて、文書集合から、互いによく類似した文書同士を選んでグルーピングしていくのがクラスタリングの処理である。

一方、教師あり分類の処理においては、その学習段階で、ユーザが所定のカテゴリに教師文書を手作業で分類することで、当該カテゴリの特徴が、教師文書の単語ベクトルの平均などによって表される。そして、分類処理の段階では、分類対象の文書の単語ベクトルと類似した単語ベクトルを持つカテゴリを、当該文書の分類先カテゴリとして自動的に選択する。なお、教師あり分類の方法には、上述のような単語ベクトルを用いる方法のほかに、例えばナイーブベイズ法やサポートベクターマシン法などがある。

いずれにせよ、教師なし分類においても教師あり分類においても、文書間の類似度の計算やカテゴリへの文書の分類に対して、文書に含まれる各単語が及ぼす影響は、機械的に定められる。そのため、その分類結果が、ユーザの意図しないものになってしまうことが少なくない。

このような問題は、１つの文書を複数のカテゴリに分類する場合に、特に顕著になる。例えば「機械翻訳による言語横断検索に関する特許」を教師文書として、「検索」のカテゴリだけでなく「翻訳」のカテゴリにも分類すると、当該文書が持つ特徴のうち、本来「検索」のカテゴリにのみ関係すべき特徴が、「翻訳」のカテゴリにも関連付けられる。そのため、翻訳には関係のない、検索に関する文書が「翻訳」のカテゴリに分類されやすくなり、ユーザの意図どおりの分類ができなくなる。また、複数のカテゴリに分類すべき文書は、単一のカテゴリに分類する文書に比べて数が少ない。そのため、十分な数の教師文書を与えることが難しく、その作業にも労力がかかる。

特許文献１に係る技術では、“共有カテゴリ”を作成する手段を備えている。これにより、例えば、カテゴリ「選挙」とカテゴリ「国会」との合成により共用カテゴリ「政治」を作成した場合、カテゴリ「選挙」とカテゴリ「国会」との双方に分類されたテキスト群が、共用カテゴリ「政治」にも重複して分類されるようにしている。しかしながら、この共有カテゴリは、複数のカテゴリのいわば上位概念に相当するものである。それゆえ、カテゴリ「選挙」に分類された文書を共有カテゴリ「政治」にも分類するという目的には利用できるものの、カテゴリ「選挙」とカテゴリ「国会」との両方に分類すべき文書を求める目的には利用できない。

特許文献２に係る技術は、１つの文書を複数のクラスタに分類できるようにし、単語ベクトルにおいて文書の重要語を決定する方法と、文書が所属するクラスタによって文書の単語ベクトルを補正する方法とを有する点に特徴がある。しかしながら、特許文献２に係る技術では、自動分類の結果がユーザの意図に合わないという課題に対して、解決方法を提供するものではない。すなわち、文書の単語ベクトルの補正が、特許文献２の発明の主目的である文書検索の精度向上のために行われており、自動分類自体の精度を向上するために行なわれているわけではない。

特許文献３に係る技術は、ある文書の自動分類の結果がユーザの意図に合わない場合、複数のカテゴリへの当該文書の帰属度を、重みづけして各々与えることによって学習を行わせることができる点に特徴がある。しかしながら、特許文献３の技術では、複数のカテゴリへ文書を分類させることの副作用によって、分類精度が低下する。また、ユーザが教師文書の各カテゴリへの帰属度を与える作業をする必要があり、多大な労力を要する。

本発明は上記実情に鑑みてなされたものであり、ユーザが意図するように複数のカテゴリに文書を適切に自動分類し得る文書分類装置を提供することを目的とする。

本発明は上記課題を解決するために、複数の文書を記憶する文書記憶手段と、前記文書が有する文書特徴ベクトルを求める文書特徴ベクトル算出手段と、前記文書の分類先である複数のカテゴリを記憶するカテゴリ記憶手段と、前記複数のカテゴリが有するカテゴリ特徴ベクトルを当該カテゴリに分類されている前記文書特徴ベクトルに基づいて求めるカテゴリ特徴ベクトル算出手段と、前記文書記憶手段に記憶された各文書を前記文書特徴ベクトルに基づき複数のカテゴリに分類する文書分類手段と、前記カテゴリ記憶手段に記憶されたカテゴリを編集するためのカテゴリ編集手段とを具備する文書分類装置であって、前記カテゴリ編集手段は、ユーザによる一の文書の選択及び当該文書を分類するための複数のカテゴリの指定を支援する分類先カテゴリ指定手段と、前記分類先カテゴリ指定手段により指定された複数の分類先のカテゴリ特徴ベクトルと、前記分類する文書特徴ベクトルとを比較する特徴ベクトル比較手段と、前記比較の結果から、前記文書特徴ベクトルの成分のうち、各分類先カテゴリとの関連がある成分と、複数の分類先カテゴリに共通して関連がある成分と、当該文書に固有の特徴であり分類先カテゴリとの関連がない成分とを求め、これら求めた前記文書特徴ベクトルの各成分に基づいて、各分類先のカテゴリ特徴ベクトルを調整する特徴ベクトル調整手段と、前記特徴ベクトル調整手段により調整した複数の分類先のカテゴリ特徴ベクトルを用いて、前記文書記憶手段に記憶された各文書を、前記カテゴリ記憶手段に記憶された各カテゴリに再分類する文書再分類手段と、前記再分類の結果を提示する再分類結果提示手段とを具備することを特徴とする文書分類装置およびそのプログラムを提供する。

本発明によれば、ユーザが意図するように複数のカテゴリに文書を適切に自動分類することができる。

本発明の第１の実施形態に係る文書分類装置１の構成を示す模式図である。 同実施形態に係る文書記憶部１０の構成を示す模式図である。 同実施形態に係るカテゴリ記憶部２０の構成を示す模式図である。 同実施形態に係る文書分類装置１の全体的な処理を説明するためのフローチャートである。 同実施形態に係る「特徴ベクトル生成処理」を説明するためのフローチャートである。 同実施形態に係る「自動分類処理」の流れを説明するためのフローチャートである。 同実施形態に係るカテゴリの特徴ベクトルの再計算処理を説明するためのフローチャートである。 同実施形態に係るカテゴリの閲覧と編集を行うための画面の一例を示す図である。 同実施形態に係るカテゴリの閲覧と編集を行うための画面の一例を示す図である。 同実施形態に係る「特徴ベクトル調整処理」を説明するためのフローチャートである。 同実施形態に係る「特徴ベクトル調整処理」の具体例を説明するための図である。 同実施形態に係る「再分類処理」を説明するためのフローチャートである。 同実施形態に係る「再分類処理」の具体例を説明するための図である。 同実施形態に係る再分類提示部４４による提示画面の一例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。

＜第１の実施形態＞
（文書分類装置の構成）
図１は本発明の第１の実施形態に係る文書分類装置１の構成を示す模式図である。

文書分類装置１は、文書記憶部１０、カテゴリ記憶部２０、文書分類部３０及びカテゴリ編集部４０を備えている。なお、文書分類装置１は、ハードウェア構成とソフトウェア構成との組合せにより実現可能である。具体的には、予めコンピュータ読み取り可能な記憶媒体またはネットワークから得られた「文書分類プログラム」がコンピュータにインストールされることにより、文書分類装置１としての各機能が実現される。

文書記憶部１０は、文書データを記憶する記憶装置であるが、ここでは例えば個別に特徴ベクトルを含む複数の文書データを記憶している。なお、以下の説明において、「文書」とは、文書記憶部１０に記憶されている電子化された文書データのことをいうものとする。

この文書記憶部１０は、図２に示すように、ユニークな識別子である文書番号１１に関連付けて、文書名１２や本文１３、文書の特徴を表す特徴ベクトル（文書特徴ベクトル）１４などの情報を記憶する。

特徴ベクトル１４は、後述する「特徴ベクトル生成処理」により求められる。図２においては図の見易さのため、値が０である次元、すなわち当該文書には出現していない単語は特徴ベクトル１４として示していない。また、特徴ベクトル１４の表示の仕方として、分かり易さのため、単語の重みを括弧内の実数で表わし、この単語の重みが大きい順に単語を示している。

具体的には、図２中、「検索」という単語は、文書中に１４回出現しており（後述するｔｆ＝１４）、その重みは約０．６６と最も大きい。一方、「文書」という単語は、文書中に１０回出現しているが、この例では、単語「文書」が出現する文書数が単語「検索」が出現する文書数よりも多いため、重みは０．３３と比較的小さくなる。

なお、本実施形態では一例として、文書の特徴ベクトルを、当該文書に出現する単語を次元とした単語ベクトルで表現している。ただし、これに限らず、例えば文書の属性情報（日時、種別、作成者など）を、文書を特徴付けるベクトルの次元としてもよい。

カテゴリ記憶部２０は、文書の分類先である複数のカテゴリを特徴ベクトルと関連付けて記憶する記憶装置である。また、カテゴリ記憶部２０は、後述するように、複数のカテゴリについて、その各々に分類されている文書の情報を記憶する。

このカテゴリ記憶部２０は、図３に示すように、ユニークな識別子であるカテゴリ番号２１に関連付けて、カテゴリ名２２や文書名２３、カテゴリの特徴を表わす特徴ベクトル２４などの情報を記憶する。例えば図３（ａ）のカテゴリには、文書番号が「Ｄ１７」、「Ｄ２３」、「Ｄ４１」などの文書が分類されている。カテゴリの特徴を表す特徴ベクトル（カテゴリ特徴ベクトル）２４は、後述する「自動分類処理」の際に求められる。図３においては、値が０である次元、すなわち当該文書には出現していない単語は、単語として出現していないため特徴ベクトル２４として示していない。

また、特徴ベクトル２４の表示の仕方として、分かり易さのため、単語の重みを括弧内の実数で表わし、この単語の重みが大きい順に単語を示している。例えば図３（ａ）のカテゴリ番号「Ｃ０１」に対応する特徴ベクトル２４には、「検索」、「文書」、「条件」といった単語が、当該カテゴリの特徴をよく表す単語として示されているが、これは、このカテゴリが持つ文書（例えば図２に示す文書「Ｄ２３」）に、これらの単語が出現する頻度が多いことによる。すなわち、カテゴリｃの特徴ベクトルｖｃは、カテゴリｃに含まれる複数の文書の特徴を表す平均的なベクトルに相当する。

文書分類部３０は、文書記憶部１０に記憶された各文書を特徴ベクトルに基づき複数のカテゴリに分類するものである。この文書分類部３０は、特徴ベクトル生成部３１と、分類・クラスタリング部３２とを有している。

特徴ベクトル生成部３１は、後述する「（Ａ）特徴ベクトル生成処理」を実行するものであり、文書記憶部１０に記憶されている各文書から、当該文書の特徴を表す特徴ベクトルを生成する。また、特徴ベクトル生成部３１は、カテゴリに含まれる複数の文書の特徴ベクトル用いて、当該カテゴリの特徴ベクトルを生成する。なお、カテゴリは文書の部分集合として表現するものである。

分類・クラスタリング部３２は、後述する「（Ｂ）自動分類処理」を実行するものであり、文書とカテゴリとの間の類似度、もしくは、文書間の類似度を、上述の特徴ベクトルの類似度によって計算し、その類似度に基づいて文書を自動的に分類もしくはクラスタリングする。

カテゴリ編集部４０は、カテゴリ記憶部１０に記憶されたカテゴリを編集するためのものである。このカテゴリ編集部４０により、ユーザは、１つの文書を複数のカテゴリに分類する操作が行え、その操作に応じて、文書の再分類が行なわれる。具体的には、カテゴリ編集部４０は、分類先カテゴリ指定部４１、特徴ベクトル調整部４２、文書再分類部４３及び再分類結果提示部４４を有している。

分類先カテゴリ指定部４１は、一の文書を選択するとともに、当該文書を分類するための複数のカテゴリを指定するものである。この分類先カテゴリ指定部４１により、ユーザは、ある文書を、１つまたは複数のカテゴリに分類できる。

特徴ベクトル調整部４２は、後述する「（Ｃ）特徴ベクトル調整処理」を実行するものであり、分類先カテゴリ指定部４１によってユーザが行った操作に従い、文書の分類先として指定されたカテゴリの特徴ベクトルを調整する。具体的には、特徴ベクトル調整部４２は、分類先カテゴリ指定部４１により指定された複数の分類先カテゴリの特徴ベクトルと、分類する文書の特徴ベクトルとを比較する機能を有している。

さらに、特徴ベクトル調整部４２は、比較の結果から、文書の特徴ベクトルの成分のうち、各分類先カテゴリとの関連がある成分と、複数の分類先カテゴリに共通して関連がある成分と、当該文書に固有の特徴であり分類先カテゴリとの関連がない成分とを求め、求めた特徴ベクトルの成分に基づいて、各分類先カテゴリの特徴ベクトルを調整する機能を有している。なお、この特徴ベクトルを調整する機能については、「（Ｃ）特徴ベクトル調整処理」において［数１］および［数２］を用いて後に詳述する。

文書再分類部４３は、後述する「（Ｄ）再分類処理」を実行するものであり、特徴ベクトル調整部４２により調整した複数の分類先カテゴリの特徴ベクトルを用いて、文書記憶部１０に記憶された各文書を、カテゴリ記憶部２０に記憶された各カテゴリに再分類する。この文書分類部４３は、後述するように、ユーザが分類先に指定したカテゴリに分類されていた文書について、当該文書が分類されていない別のカテゴリに当該文書を追加して分類したり、当該文書が分類されているカテゴリから当該文書を除いたりする処理を行う。

再分類結果提示部４４は、文書再分類部４３による再分類の結果をユーザに提示するものである。この再分類結果提示部４４により、ユーザは、再分類の結果を確認することができる。これにより、不適切な再分類が行われた場合には、これを却下する作業も可能となる。

なお、カテゴリ編集部４０には、上述のように、文書を１つまたは複数のカテゴリに分類する操作以外にも、新しいカテゴリを作成する機能や、既存のカテゴリを削除する機能、複数のカテゴリを１つのカテゴリに統合する機能、１つのカテゴリを複数のカテゴリに分割する機能などを設けて、これらの各機能による操作をユーザが行えるようにしてもよい。これらの機能は従来技術による文書分類装置の一部で実現可能である。

（文書分類装置の動作）
次に本実施形態に係る文書分類装置１の全体的な処理について図４のフローチャートを用いて説明する。

ユーザの指示に従って、分類の対象とする文書が追加された場合（Ｓ４０１−Ｙｅｓ）、特徴ベクトル生成部３１にて、後述する「（Ａ）特徴ベクトル生成処理」が実行される（Ｓ４０２）。これにより、追加された文書の特徴ベクトルが作成される。作成された特徴ベクトルは、文書自体のデータとともに、図２に例示した形で文書記憶部１０に記憶される（Ｓ４０３）。一方、分類の対象とする文書の追加指示がなければ、次の処理に進む（Ｓ４０１−Ｎｏ，Ｓ４０４）。

次に、ユーザの操作により、分類の対象とする文書集合の自動分類の実行が指示されると（Ｓ４０４−Ｙｅｓ）、分類・クラスタリング部３２にて、後述する「（Ｂ）自動分類処理」が実行される（Ｓ４０５）。自動分類の結果、カテゴリが作成または変更され、カテゴリの特徴ベクトルも変更される。そして、これらのデータが図３に例示した形でカテゴリ記憶部２０に記憶される（Ｓ４０６）。一方、自動分類の実行指示がなければ、次の処理に進む（Ｓ４０４−Ｎｏ，Ｓ４０７）。

次に、ユーザのカテゴリ編集部４０の操作により、分類構造の編集処理が実行されると（Ｓ４０７−Ｙｅｓ）、カテゴリが編集される。この際、特徴ベクトル調整部４２により必要に応じて編集されたカテゴリに対して後述する「（Ｃ）特徴ベクトル調整処理」が実行される。そして、処理実行後のカテゴリのデータがカテゴリ記憶部２０に記憶される（Ｓ４０９）。一方、ユーザにより、分類構造の編集処理が実行されない場合、次の処理に進む（Ｓ４０７−Ｎｏ，Ｓ４１０）。

次に、ユーザの操作により「（Ｄ）再分類処理」の実行が指示されると（Ｓ４１０−Ｙｅｓ）、後述するように、文書再分類部４３によって文書の再分類が行なわれる（Ｓ４１１）。この処理は、主には、前述のカテゴリの編集操作の後に実行される。そして、その結果として変更されたカテゴリのデータがカテゴリ記憶部２０に記憶される。一方、再分類処理の実行が指示されない場合、次の処理に進む（Ｓ４１０−Ｎｏ，Ｓ４１３）。

そして、ユーザの操作により終了の指示がなされると（Ｓ４１３−Ｙｅｓ）、文書分類装置１の処理が終了する。一方、終了の指示がなされない場合は（ステップＳ４１３−Ｎｏ）、ステップＳ４０１の処理に戻る。

（Ａ）特徴ベクトル生成処理
図５は「特徴ベクトル生成処理」を説明するためのフローチャートである。この「特徴ベクトル生成処理」は、特徴ベクトル生成部３１によって実行され、前述の図４のステップＳ４０２で行われる処理である。

まず、特徴ベクトル生成部３１では、文書の全体集合Ｄａｌｌの中の、処理対象とする文書ｄから、特徴ベクトルを生成する対象のテキストを取得する（Ｓ５０１）。この際、「文書名」と「本文」のテキスト以外は対象テキストから除外する。例えば、図２に示した特許文書では、「要約」、「課題」、「解決方法」などの見出しの部分は文書の内容には直接は関係がないので、これを対象テキストから除去する。

次に、特徴ベクトル生成部３１は、テキストを形態素解析し（Ｓ５０２）、形態素結果の各単語ｔに対して、ステップＳ５０３〜Ｓ５０７の処理を実行する。

特徴ベクトル生成部３１は、単語ｔの品詞が、特徴ベクトルに含めるべき所定の品詞の単語であるか、あるいは、不要語であるかどうかを調べる（Ｓ５０４）。ここでは例えば、品詞が名詞やサ変名詞、固有名詞などである単語は特徴ベクトルに含め、接続詞や副詞などは特徴ベクトルに含めないといった単語の選別を行う。また、例えば特許文書を処理対象とする場合には、「装置」、「方法」、「当該」、「前記」といった単語は特許文書の特徴を表さないので、不要語として除去する。

特徴ベクトル生成部３１は、単語ｔの品詞が、特徴ベクトルに含めるべき所定の品詞の単語であり、かつ不要語でない場合（Ｓ５０４−Ｙｅｓ）、文書ｄのテキスト中で単語ｔが出現する頻度ｔｆを求める（Ｓ５０５）。

さらに、特徴ベクトル生成部３１は、文書の全体集合Ｄａｌｌの中で単語ｔが出現する文書数ｄｆを求める（Ｓ５０６）。

それから、特徴ベクトル生成部３１は、単語ｔを文書ｄの特徴ベクトルｖｄにおける１つの次元とし、その次元のベクトルの値、すなわち単語の重みを、ｔｆ＊（ｌｏｇ（｜Ｄａｌｌ｜／ｄｆ）＋１）の式から算出する（Ｓ５０７）。ここで、｜Ｄａｌｌ｜は、文書集合Ｄａｌｌの文書数である。この計算式は一般にＴＦ・ＩＤＦと呼ばれ、情報検索や文書分類の分野で広く使用されている。すなわち、単語ｔが文書ｄに出現する頻度が多い（ｔｆが大きい）ほど、当該単語は文書ｄの特徴をよく表す単語であるとみなされる。また、全文書のうち単語ｔを含む文書が少ない（ｄｆが小さい）ほど、当該単語は文書ｄの特徴をよく表す単語であるとみなされる。

また、特徴ベクトル生成部３１は、ステップＳ５０３〜Ｓ５０７の処理により求めた特徴ベクトルｖｄの各次元の値を、ノルム｜ｖｄ｜で割ることによって正規化する（Ｓ５０８）。その結果、特徴ベクトルは、文書ｄによらず、ノルムが１のベクトルとなる。この正規化された特徴ベクトルは、図２に示す形式で文書記憶部１０に記憶される。

なお、ステップＳ５０６にて、単語ｔを含む文書数を求める処理では、例えば情報検索における転置ファイルのような手段を用いることで、処理の効率を向上してもよい。

（Ｂ）自動分類処理
図６は「自動分類処理」の流れを説明するためのフローチャートである。自動分類処理は、分類・クラスタリング部３２によって実行され、図４のステップＳ４０５にて行なわれる処理である。本実施形態では、文書の分類やクラスタリングを自動で行う方法として、ｌｅａｄｅｒ−ｆｏｌｌｏｗｅｒ法と呼ばれるクラスタリング手法を用いる。

まず、分類・クラスタリング部３２は、分類対象の文書集合Ｄと、その分類先の候補のカテゴリ集合Ｃとを設定する（Ｓ６０１）。文書集合Ｄは、通常は未分類の文書の集合とし、その場合のカテゴリ集合Ｃは既存のカテゴリの集合とする。また、例えば、カテゴリを階層的に構成する場合には、あるカテゴリに含まれる文書集合Ｄと、当該カテゴリの下位のカテゴリ集合Ｃとを設定することで、当該カテゴリの文書を当該カテゴリの下位のカテゴリに分類するようにしてもよい。

次に、分類・クラスタリング部３２は、文書集合Ｄ中の各文書ｄに対して、ステップＳ６０２〜Ｓ６１２の処理を行う。

分類・クラスタリング部３２は、文書ｄの分類先であるカテゴリｃｍａｘの初期値を「なし」とし、文書ｄとカテゴリｃｍａｘの類似度ｓｍａｘの初期値を０とする（Ｓ６０３）。

続いて、分類・クラスタリング部３２は、カテゴリ集合Ｃ中の全てのカテゴリｃに対して、ステップＳ６０４〜Ｓ６０７の処理を実行する。詳しくは、分類・クラスタリング部１２は、文書ｄとカテゴリｃとの類似度ｓを求める（Ｓ６０５）。ここで、「類似度ｓ」は、例えば文書の特徴ベクトルｖｄとカテゴリの特徴ベクトルｖｃとに対し、ベクトルの余弦、すなわち、（ｖｄ・ｖｃ）／（｜ｖｄ｜＊｜ｖｃ｜）の式から求める。なお、ｖｄ・ｖｃはベクトルの内積を表し、｜ｖｄ｜等はベクトルのノルムを表す。この類似度ｓが所定の閾値ｓｔｈｒ以上で、かつ、カテゴリｃｍａｘの類似度ｓｍａｘより大きければ（Ｓ６０６−Ｙｅｓ）、分類・クラスタリング部３２は、ｃｍａｘ＝ｃ、ｓｍａｘ＝ｓとする（Ｓ６０７）。

ステップＳ６０４の繰り返し処理を終了後（Ｓ６０４−Ｎｏ）、既存のカテゴリのうち、文書ｄとの類似度が最大で、かつ、その類似度が閾値以上のカテゴリｃｍａｘが存在すれば（Ｓ６０８−Ｙｅｓ）、分類・クラスタリング部３２が、文書ｄをカテゴリｃｍａｘに分類する（Ｓ６１１）。そのようなカテゴリｃｍａｘが存在せず（Ｓ６０８−Ｎｏ）、かつ、新規のカテゴリを作成するよう指示されているならば（Ｓ６０９−Ｙｅｓ）、分類・クラスタリング部３２は、カテゴリｃｍａｘを新規に作成し、これをカテゴリ集合Ｃに追加し（Ｓ６１０）、文書ｄをカテゴリｃｍａｘに分類する（Ｓ６１１）。ステップＳ６１０にて新規カテゴリを自動で作成することは、クラスタリングを行うことを意味する。一方、新規カテゴリを作成しない場合には（Ｓ６０９−Ｎｏ）、分類・クラスタリング部３２は、既存のカテゴリのうち最も適切なカテゴリに文書ｄを分類する。ただし、適切なカテゴリが存在しない場合（いずれのカテゴリとも文書ｄの類似度が閾値未満である場合）、分類・クラスタリング部３２は、どのカテゴリにも文書ｄを分類しない。このような処理は、教師あり分類と同等の処理であると言える。

ステップＳ６１１において、文書ｄがカテゴリｃｍａｘに分類されると、特徴ベクトル生成部３１が、文書ｄが分類されたカテゴリｃｍａｘの特徴ベクトルを再計算する（Ｓ６１２）。カテゴリｃｍａｘの特徴ベクトルの再計算については図７を用いて後で説明する。

上述したように、分類・クラスタリング部３２は、ステップＳ６０３〜Ｓ６１２の処理を文書集合Ｄの各文書ｄについて繰り返し行い、文書集合Ｄ中の文書を、既存もしくは新規のカテゴリに分類する。ただし、ステップＳ６１０にて新規に作成したカテゴリが１つの文書しか有していない場合は、カテゴリとして意味をなさず不要である。この場合、分類・クラスタリング部３２は、文書数が所定の閾値ｎｔｈｒ未満である新規カテゴリを削除する（ステップＳ６０２−Ｎｏ，Ｓ６１３）。なお、閾値ｎｔｈｒは２としてもよいし、文書数が５個未満のカテゴリは不要であるとする場合には５としてもよい。

図７は特徴ベクトル生成部３１によるカテゴリの特徴ベクトルを再計算する処理を示すフローチャートである。この処理は、前述のステップＳ６１２で行われる。

まず、特徴ベクトル生成部３１では、カテゴリｃに分類された文書集合Ｄｃを求める（Ｓ７０１）。前述したように、カテゴリが持つ文書の情報は、カテゴリ記憶部２０にて、図３で説明した形式で記憶されている。例えば図３（ａ）のカテゴリ番号「Ｃ０１」に分類されている文書として、文書「Ｄ１７」、「Ｄ２３」、「Ｄ４１」などが記憶されている。

次に、特徴ベクトル生成部３１は、カテゴリｃの特徴ベクトルｖｃの初期値を空（すべての次元の値が０のベクトル）とする（Ｓ７０２）。

次に、特徴ベクトル生成部３１は、文書集合Ｄｃ中の各文書ｄに対して、ステップＳ７０３〜Ｓ７０５の処理を実行する。

具体的には、特徴ベクトル生成部３１は、文書ｄの特徴ベクトルｖｄを求める（Ｓ７０４）。この特徴ベクトルｖｄは、前述した「特徴ベクトル生成処理」によって求めることができ、図２に示す形式で文書記憶部１０に記憶される。

続いて、特徴ベクトル生成部３１は、各文書の特徴ベクトルｖｄを順次加えていき、カテゴリの特徴ベクトルｖｃを求める（Ｓ７０５）。これにより、カテゴリの特徴ベクトルが再計算される。

以上に説明した自動分類処理によって、文書の教師あり分類と教師なし分類とを兼ねた自動分類の処理を比較的簡単に実現できる。ただし、本実施形態に係る文書分類装置１は、複数のカテゴリに文書が分類されたときに、カテゴリの特徴ベクトルが再計算され、文書記憶部１０に記憶された文書が適切に再分類されるものであれば、上述の方法に限定されるものではない。

なお、上述の自動分類処理により文書の集合を自動的に分類すると、各文書が、それぞれの特徴に応じた既存または新規のカテゴリに分類される。ただし、本実施形態に係る文書分類装置１においては、この自動分類処理の段階では、各文書がそれぞれ１つ以下のカテゴリ（上述のｃｍａｘ）に自動分類されることとする。文書を複数のカテゴリに自動分類することは、図６で説明した処理を変形して、例えば類似度が閾値ｓｔｈｒ以上となる複数のカテゴリに文書を分類するようにすれば可能である。しかしながら、一般的には、複数のカテゴリに分類すべき文書は、あまり多くはない上、ある文書を１つのカテゴリのみに分類すべきか、複数のカテゴリに分類すべきかを、自動的に精度よく決定することは困難である。したがって本実施形態では、最初の自動分類の処理においては、複数のカテゴリに文書を分類することはせず、最も確からしい１つのカテゴリに分類することとし、後のユーザの操作と、それを受けた再分類の処理によって、複数のカテゴリに文書を精度よく自動分類するという方法をとる。

（Ｃ）特徴ベクトル調整処理
特徴ベクトル調整処理の前提として、ユーザによるカテゴリ編集部４０の操作を説明する。

本実施形態に係る文書分類装置１は、図４に示したように、文書分類部３０による自動分類処理の結果を、ユーザが画面上で閲覧し、ユーザの意図通りに分類が行われていない場合は、カテゴリ編集部４０の操作に応じて編集処理がなされる。例えば、画面上にて、カテゴリの作成、削除や、あるカテゴリから他のカテゴリへの文書の移動などの操作が行なわれる。

図８及び図９は、ユーザがカテゴリの閲覧と編集を行うための画面の例を表す図である。これらの画面の制御は、全体的にはカテゴリ編集部４０により行なわれる。図８に示すように、本実施形態の文書分類装置１が表示する画面は３つの部分（３ペイン）８１、８２、８３から構成されており、画面左の部分８１にはカテゴリの一覧が表示され、その一覧中に、「検索」のカテゴリ８４、「翻訳」のカテゴリ８５、「要約」のカテゴリ８６などが表示される。なお、一般的な文書分類装置では、カテゴリの構造を階層構造（ツリー構造）とすることで、文書の大分類、中分類、小分類などを表現できるようにしたものがある。

本実施形態では、カテゴリの構造をそのような階層構造にはせず、図８に示すようなフラットな構造でカテゴリを表現することとする。本発明を説明する上で、階層構造は本発明のポイントではないと考えられるためである。ただし、本実施形態では、階層構造を構成するようにカテゴリを作成し、これを表示・編集できるようにすることも可能とする。

図８の画面左の部分８１にて、ユーザがあるカテゴリを選択すると、画面右上の部分８２には、そのカテゴリに分類されている文書の一覧が表示される。例えば、「検索」のカテゴリ８４をユーザが選択した場合には、このカテゴリ８４が強調表示されるとともに、このカテゴリ８４に含まれる「言語横断検索方法および装置」の文書８７などが表示される。そして、図８の部分８２でユーザが文書８７を選択すると、この文書８７が強調表示されるとともに、この文書の文書名や本文などの内容が、画面右下の部分８３に表示される。さらに、当該文書の分類先のカテゴリが、分類８８の箇所に表示される。図８の例では、文書８７が分類されているカテゴリは「検索」であるので、これと同じ内容が分類８８の箇所にも表示される。

本実施形態に係る文書分類装置１では、ユーザが、１つの文書を複数のカテゴリに分類することができる。以下はこの操作を中心に、図９を用いて説明する。

例えば、図８の文書８７は、すでに「検索」のカテゴリ８４に分類されているが、これを「翻訳」のカテゴリ８５にも分類したい場合に、ユーザは、例えば、文書８７のアイコンをカテゴリ８５のアイコン上にドラッグ・アンド・ドロップするという操作によって、文書８７をカテゴリ８５にも分類できる。

図９（ａ）はその操作結果の画面例を表す図であり、「検索」のカテゴリ９１と「翻訳」のカテゴリ９２とに文書９３が分類されていることが表示されている（なお、図９の符号９１、９２、９３は、それぞれ、図８の符号８４、８５、８７と同じものを表す）。すなわち、画面右上の部分にて文書９３を選択すると、当該文書が分類されているカテゴリとして、「検索」のカテゴリ９１に加え、この文書を新しく分類した「翻訳」のカテゴリ９２も強調表示される。また、画面右下の部分には、文書９３の分類９４として、「検索」のみならず「翻訳」も表示される。

一方、図９（ｂ）は、画面左側のカテゴリ一覧表示の部分にて、ユーザが、カテゴリ９５とカテゴリ９６との両方を選択した場合の表示例である。この例では、カテゴリ９５とカテゴリ９６との両方に分類されている文書の一覧が、画面右上の部分に表示されるようになっており、その文書一覧中には、両カテゴリに分類されている文書９７（図９（ａ）の９３と同じ）が表示される。

図１０は「特徴ベクトル調整処理」を説明するためのフローチャートである。ここでは、上述したように、ユーザが１つの文書を複数のカテゴリに分類する操作を行なう。特徴ベクトル調整処理は、特徴ベクトル調整部４２によって実行され、前述の図４ではステップＳ４０８で行われる処理である。ここで、以下の説明で図４のフローチャートで説明される動作では、特徴ベクトル調整部４２が動作の主体となる。

本実施形態においては、特徴ベクトル調整部４２での処理の前提として、分類先カテゴリ指定部４１でのユーザの操作により、ステップＳ１００１の段階で文書ｄの分類先として、複数のカテゴリが指定されるようになっている。

次いで、特徴ベクトル調整部４２では、ステップＳ１００２でユーザの操作前に文書ｄが分類されていたカテゴリ集合Ｃ１と、ユーザの操作後に文書ｄが分類されるカテゴリ集合Ｃ２とを設定する。ここで、カテゴリ集合Ｃ１とカテゴリ集合Ｃ２とには、重複したカテゴリが含まれることがある。

更に、ステップＳ１００３で文書ｄの特徴ベクトルをｖｄとする。この特徴ベクトルｖｄについては、図５で説明した特徴ベクトル生成処理によって求めたデータを用いる。

続いて、特徴ベクトル調整部４２は、カテゴリ集合Ｃ１中の全てのカテゴリｃに対して、ステップＳ１００４〜Ｓ１００６の処理を行う。具体的には、特徴ベクトル調整部４２は、カテゴリｃがカテゴリ集合Ｃ２に含まれていない場合、すなわち、ユーザの分類操作後、文書ｄがカテゴリｃに分類されていない場合には（ステップＳ１００５でＹｅｓの場合）、ステップＳ１００６でカテゴリｃの特徴ベクトルｖｃから文書ｄの特徴ベクトルｖｄを除く。

同様に、特徴ベクトル調整部４２は、カテゴリ集合Ｃ２中の全てのカテゴリｃに対しても、ステップＳ１００７〜Ｓ１００９の処理を行う。具体的には、特徴ベクトル調整部４２は、カテゴリｃがカテゴリ集合Ｃ１に含まれていない場合、すなわち、ユーザの分類操作後、文書ｄがカテゴリｃに分類された場合には（ステップＳ１００８でＹｅｓの場合）、ステップＳ１００９でカテゴリｃの特徴ベクトルｖｃに文書ｄの特徴ベクトルｖｄを追加する。これらステップＳ１００６とステップＳ１００９の処理は、前述の図６で説明した処理と同様に、各々の処理で単純に、カテゴリｃの単語ベクトルを、当該カテゴリが持つ文書の特徴ベクトルの和として計算するということを意味する。

次に、ステップＳ１０１０とＳ１０１１の処理において、文書ｄがユーザによって複数のカテゴリに分類されたという情報を用いて、カテゴリの特徴ベクトルを調整する。すなわち、カテゴリ集合Ｃ２中の全てのカテゴリｃについて終了するまで（ステップＳ１０１０でＹｅｓの場合）、ステップＳ１０１１でカテゴリｃの特徴ベクトルｖｃを再分類処理用に次式（１）で調整する。

ステップＳ１０１１に示す式（１）により、カテゴリｃの特徴ベクトルｖｃに関して、ある次元（すなわち単語）ｔに対する値ｖｃ［ｔ］は、調整されてｖｃ’［ｔ］となる。

このとき、文書ｄの特徴ベクトルｖｄの次元ｔに対する値ｖｄ［ｔ］の値が大きいほど、ｖｃ’［ｔ］はｖｃ［ｔ］に対して、より大きく増加する。そして、文書ｄに次元（すなわち単語）ｔが存在しない（つまりｖｄ［ｔ］＝０である）場合には、ｖｃ’［ｔ］はｖｃ［ｔ］に対して変化しない。

また、ｖｃ［ｔ］の値が、カテゴリ集合Ｃ２中の各カテゴリｃｉの特徴ベクトルのｖｃｉ［ｔ］の平均的な値と比べて大きいほど、ｖｃ’［ｔ］はｖｃ［ｔ］に対して、より大きく増加する。逆に、ｖｃ［ｔ］の値が各カテゴリｃｉの特徴ベクトルのｖｃｉ［ｔ］の平均的な値と比べて、小さい、あるいは、あまり変わらない場合には、ｖｃ’［ｔ］はｖｃ［ｔ］に対して、あまり大きく増加しない。

結果として、次元（すなわち単語）ｔが、文書ｄにおいて特徴的な単語であり、かつ、カテゴリ集合Ｃ２中のカテゴリｃ以外のカテゴリにおいて特徴的な単語ではなければ、次元ｔはカテゴリｃにおいて特徴的な単語となる。そして、ｖｃ'［ｔ］の値は、元のｖｃ［ｔ］の値に対して、より大きく増加する。

なお、本発明では、カテゴリの特徴ベクトルに対してこのような調整が行えるような計算式であれば、式（１）を用いることには限定されないものとする。

また、文書ｄについても、特徴ベクトル調整部４２では、ステップＳ１０１２においてカテゴリ集合Ｃ２以外のカテゴリに分類すべきかどうかを判断する目的で、次式（２）を用いて文書ｄの特徴ベクトルｖｄを調整する。

ステップＳ１０１２に示す式（２）により、文書ｄの特徴ベクトルｖｄに関して、ある次元ｔに対する値ｖｄ［ｔ］は、調整されてｖｄ’［ｔ］となる。

このとき、カテゴリ集合Ｃ２中の各カテゴリｃｉの特徴ベクトルのｖｃｉ［ｔ］について、平均的な値が大きい次元ｔほど、ｖｄ’［ｔ］はｖｄ［ｔ］に対して、より大きく減少する。逆に、ｖｃｉ［ｔ］の平均的な値が小さい次元ｔでは、ｖｄ’［ｔ］はｖｄ［ｔ］に対して、あまり減少しない。そして、どのカテゴリｃｉの文書にも存在しない単語ｔ（すなわち全ｃｉでｖｃｉ［ｔ］＝０であるｔ）については、ｖｄ’［ｔ］はｖｄ［ｔ］に対して変化しない。

結果として、次元ｔ（すなわち単語）が、カテゴリ集合Ｃ２中のカテゴリｃ以外のカテゴリにおいて特徴的な単語ではなければ、次元ｔはカテゴリｄにおいて特徴的な単語となり、ｖｄ'［ｔ］の値は、元のｖｄ［ｔ］の値に対して、あまり減少しない。

なお、本発明では、文書の特徴ベクトルに対してこのような調整が行えるような計算式であれば、式（２）を用いることには限定されない。

したがって、調整後の特徴ベクトルｖｄ’は、元の特徴ベクトルｖｄの、カテゴリ集合Ｃ２の各カテゴリの特徴ベクトルと重複する成分の値を小さくしたものとなり、カテゴリ集合Ｃ２との関連が小さい。それ故に、文書ｄ固有の特徴をよく表すベクトルとなる。このような特徴ベクトルｖｄ’を用いることは、文書ｄを分類すべきカテゴリ集合Ｃ２以外のカテゴリを求めるのに有効である。

以下、図１１を用いて具体的に説明する。図１１では、「検索」のカテゴリ１１０１、「翻訳」のカテゴリ１１０２、「要約」のカテゴリ１１０３について、その各々の特徴ベクトル１１０４、１１０５、１１０６の例を示している。一方、文書の特徴ベクトルの例として、図１１の文書１１０７の特徴ベクトルを１１０８に示す。ただし、これらの特徴ベクトルの各次元（すなわち単語）の値は、図の見易さのため図１１では省略している。

この例において、ユーザが文書１１０７を「検索」のカテゴリ１１０１と「翻訳」のカテゴリ１１０２とに分類したとする。文書１１０７の特徴ベクトルのうち、「検索」のカテゴリ１１０１の特徴ベクトルと重複する成分は、図中の欄１１０９に示した成分となる。また同様に、文書１１０７の特徴ベクトルのうち、「翻訳」のカテゴリ１１０２の特徴ベクトルと重複する成分は、図中の欄１１１０に示した成分となる。

図中の欄１１０９と欄１１１０とにおいて、下線を付した単語は、カテゴリの特徴ベクトル１１０４と１１０５との片方のみに重複する成分である。このような単語は各々のカテゴリの特徴的な単語であると推定され、図１０のステップＳ１０１１の計算値が大きくなる。具体的には例えば、「他国語」、「翻訳」、「対訳」などの単語は、「翻訳」のカテゴリ１１０２の特徴をよく表す単語であると推定される。

一方、図中で下線を付していない「文書」、「単語」などの単語は、両カテゴリの特徴ベクトルに重複する成分である。そのため、図１０のステップＳ１０１１の式（１）および上述したステップＳ１０１１の説明によれば、上記の「他国語」などの単語に比べて、値があまり大きくならない。このようにして、図１０のステップＳ１０１０とＳ１０１１とによって、カテゴリ集合Ｃ２の複数のカテゴリの特徴ベクトルが調整される。

また、図１０のステップＳ１０１２では、文書ｄの特徴ベクトルが調整される。調整された特徴ベクトルｖｄ’を用いると、文書ｄを分類すべきカテゴリ集合Ｃ２以外のカテゴリを求めるのに有効である。例えば図１１に示す例では、Ｓ１０１２の式（２）および上述したステップＳ１０１２の説明によれば、文書の特徴ベクトル１１０８から、カテゴリ１１０１および１１０２の重複した成分を除いた特徴ベクトルは、「文章」、「要約」、「提示」などの単語の値が大きくなる。また、これらの成分は、例えば「要約」のカテゴリ１１０３の特徴ベクトル１１０６と重複する単語が多いことが図中の欄１１１１に示されている。

（Ｄ）再分類処理
図１２は「再分類処理」を説明するためのフローチャートである。この再分類処理は、文書再分類部４３によって実行される処理であり、前述の図４ではステップＳ４１１で行われる処理である。ここでは、図１２のフローチャートとともに、図１３を用いて再分類処理を具体的に説明する。なお、以下の説明で図１２のフローチャートで説明される動作では、文書再分類部４３が動作の主体となる。

まず、本実施形態においては、文書再分類部４３での処理の前提として、ステップＳ１２０１の段階で、ユーザが文書ｄを複数のカテゴリへ分類したときの分類先のカテゴリ集合Ｃを設定するようになっている。具体的には、まずユーザによる一の文書の選択及び当該文書を分類するための複数のカテゴリの指定を支援する分類先カテゴリ指定部４１によって、ユーザが文書ｄを複数のカテゴリへ手作業で分類する操作を行う。次に、文書分類装置１に対して、再分類を実行するように画面上に表示されたメニューなどで明示的にユーザが指示する。そして、文書分類装置１が内部的に特徴ベクトル調整部４２によって調整を行い、その後、文書再分類部４３で再分類の処理を実行する。

続いて、文書再分類部４３は、ステップＳ１２０２でカテゴリ集合Ｃ中のカテゴリに分類されている文書集合Ｄを設定する。図１３中、ユーザが分類操作を行う前の状態を表したのが図１３（ａ）であり、図中、ｃ１〜ｃ３はカテゴリを表し、これらの左側に関連付けて図示しているｄ１〜ｄ５は文書を表している。

図１３（ａ）の状態は、例えば、図６で説明したような自動分類による分類結果と考えてよく、この時点では、１つの文書は１つのカテゴリに分類されている。このうち、ユーザがある文書を選択して、複数のカテゴリに分類した結果の例を表したのが図１３（ｂ）であり、この例では実線１３０１に示すように、文書ｄ２が、元々の「検索」のカテゴリｃ１だけでなく、「翻訳」のカテゴリｃ２にも分類されている。この状態ではカテゴリ集合Ｃは「検索」のカテゴリｃ１および「翻訳」のカテゴリｃ２となり、文書集合Ｄはｄ１、ｄ２、ｄ３、ｄ４となる。

次に、文書再分類部４３は、カテゴリ集合Ｃ中の各カテゴリｃｉに対して、ステップＳ１２０３〜Ｓ１２１０の処理を行う。具体的には、ステップＳ１２０４で、図１０で説明した方法で各カテゴリｃｉの特徴ベクトルを調整してｖｃｉ’を求める。続いて、文書再分類部４３は、文書集合Ｄ中の各文書ｄｊに対して、ステップＳ１２０５〜Ｓ１２１０の処理を行う。

具体的には、ステップＳ１２０６で文書ｄｊの特徴ベクトルｖｄｊと、カテゴリの特徴ベクトルｖｃｉ’との類似度ｓを求める。この類似度の求め方は、前述した図６のステップＳ６０５で説明した方法と同じである。

次に、文書再分類部４３は、文書ｄｊがカテゴリｃｉに分類されておらず、かつ、類似度ｓが所定の閾値ｓｔｈｒ’以上であるならば（ステップＳ１２０７でＹｅｓの場合）、ステップＳ１２０８で文書ｄｊをカテゴリｃｉに加える。例えば、文書再分類部４３は、図１３（ｃ）の実線１３０２や１３０３に示すように、文書ｄ３を「検索」のカテゴリｃ１に分類したり、文書ｄ１を「翻訳」のカテゴリｃ２に分類したり、という処理を自動的に行う。

また、文書再分類部４３は、文書ｄｊがカテゴリｃｉにすでに分類されており、かつ、類似度が所定の閾値ｓｔｈｒ’未満であるならば（ステップＳ１２０９でＹｅｓの場合）、ステップＳ１２１０で文書ｄｊをカテゴリｃｉから除く処理を行なう。例えば、図１３（ｄ）の破線１３０４に示すように、文書ｄ４を「翻訳」のカテゴリｃ２から除く、という処理を自動的に行う。これらステップＳ１２０８〜Ｓ１２１０の再分類処理は、図１０で説明したように、カテゴリの特徴ベクトルを適切に調整した結果、実現される。

ステップＳ１２０３において、カテゴリ集合Ｃ中の各カテゴリｃｉに対する処理が終了すると、文書再分類部４３は、文書ｄ（図１３の例では文書ｄ２）に対して、図１２のステップＳ１２１１〜Ｓ１２１５の処理を行う。

まず、ステップＳ１２１１で上述した「特徴ベクトル調整処理」による文書ｄの特徴ベクトルｖｄ’を求める。

次に、文書再分類部４３は、文書ｄがすでに分類されているカテゴリ集合Ｃ以外の全てのカテゴリｃｋに対して、ステップＳ１２１２〜Ｓ１２１５の処理を行う。具体的には、ステップＳ１２１３でカテゴリｃｋの特徴ベクトルｖｃｋと、文書ｄの調整後の単語ベクトルｖｄ’との類似度ｓを求める。この類似度が所定の閾値ｓｔｈｒ”以上であるならば（ステップＳ１２１４でＹｅｓの場合）、ステップＳ１２１５で文書ｄをカテゴリｃｋに加える。図１３の例では、図１３（ｅ）の実線１３０５に示すように、文書ｄ２を「要約」のカテゴリｃ３にも分類する。

なお、図１２のステップＳ１２０８やＳ１２１５によれば、各処理で対象としている文書は、類似度が所定の閾値以上の複数のカテゴリに再分類される可能性がある。そこで、これを図６と同様の形に変形して、例えば、類似度が最大となるようなカテゴリにのみ再分類するという方法をとってもよい。

上述した再分類処理により、図１３（ｃ）の実線１３０２、実線１３０３や、図１３（ｅ）の実線１３０５に例示したように、１つの文書が複数のカテゴリに分類される。また、この再分類の結果を受けて、各カテゴリの特徴ベクトルを図１０で説明した方法でさらに調整してもよい。その結果、別の文書が再分類されるようにすることも可能である。例えば、図１３（ｅ）に示した再分類の結果、「翻訳」のカテゴリｃ２と「要約」のカテゴリｃ３の特徴ベクトルが調整されるので、図１３（ｆ）に示すように、文書ｄ５を「翻訳」のカテゴリｃ２にも自動的に分類することが可能である。

図１４は文書の再分類の結果をユーザに提示した画面の一例を示す図である。この提示画面は、再分類結果提示部４４によって表示装置に表示される。

図１４（ａ）中、ユーザの操作により、カテゴリ１４０１とカテゴリ１４０２とに文書１４０４が分類されると（図１４の文書１４０４は、図８の８７および図９の文書９３と同じであり、図１３の文書ｄ２にも相当する）、図１２の処理（特にステップＳ１２１５）によって文書１４０４が「要約」のカテゴリ１４０３に自動的に再分類される。そして、再分類結果提示部４４が、その再分類処理の結果を、カテゴリ１４０３の表示色の変更により強調表示し、そして再分類したカテゴリ名を分類１４０５に表示する。

また、図９（ｂ）で説明したのと同様に、図１４（ｂ）にて、ユーザが、「検索」のカテゴリ１４０６と「翻訳」のカテゴリ１４０７との両方を選択した場合、再分類結果提示部４４が、画面右上の部分に両カテゴリに分類されている文書の一覧を表示する。そして、この文書の一覧中でユーザにより文書１４０８が選択されると、再分類結果提示部４４が、この文書の内容を画面右下の部分に表示する。これにより、図１２の処理（特にＳ１２０８）によって、この文書１４０８が「翻訳」のカテゴリ１４０７に再分類されたことが、分類したカテゴリの表示１４０９によってユーザに示される。

（文書分類装置の効果）
以上説明したように、本実施形態に係る文書分類装置１は、ユーザが少数の文書を複数のカテゴリに分類するという簡単な操作を行うだけで、ユーザが意図するように各カテゴリの特徴ベクトルが自動的に調整され、他の文書も適切に複数のカテゴリに自動分類される。この結果、大量の文書を分類する作業を効率化することができる。

ここで、本実施形態に係る文書分類装置１の作用について補足する。ユーザが、ある文書ｄを、ある２つのカテゴリｃ１とカテゴリｃ２とに分類した場合、その操作から、文書分類装置１は以下のことを把握し得る。まず、カテゴリｃ１は文書を分類する意味のある有用なカテゴリであり、カテゴリｃ２も文書を分類する意味のある有用なカテゴリである。そうでなければ、ユーザが、カテゴリｃ１もしくはカテゴリｃ２を、削除してしまってもよいはずだからである。次に、文書ｄ自体は、価値のある文書である。そうでなければ、ユーザが、文書ｄを削除してしまってよいはずだからである。

次に、カテゴリｃ１とカテゴリｃ２とは、それぞれ、別々の意味内容を持つカテゴリである。そうでなければ、ユーザが、カテゴリｃ１とカテゴリｃ２とを統合してしまってもよいはずだからである。次に、文書ｄは、カテゴリｃ１とカテゴリｃ２とのそれぞれに関連する、別々の特徴を持っている。そうでなければ、ユーザは、文書ｄを、カテゴリｃ１かカテゴリｃ２かのどちらか一方にのみ分類するはずだからである。

そして、文書ｄの持つ特徴のうち、カテゴリｃ１に関連する特徴と、カテゴリｃ２に関連する特徴とを、明確に区別することができれば、これを用いることで、より精度よく、カテゴリｃ１およびカテゴリｃ２への自動分類を行うことができる可能性がある。また、カテゴリｃ１とカテゴリｃ２の両方に分類すべき文書が、文書ｄ以外に存在する可能性がある。さらに、文書ｄ自体についても、カテゴリｃ１とカテゴリｃ２以外に分類すべきカテゴリが存在する可能性がある。このような考えに基づくことで、文書分類装置１は、ユーザが文書を複数カテゴリへ分類する操作に応じて、当該文書およびそれ以外の文書を、複数のカテゴリへ自動的に精度よく分類する。

また、本実施形態に係る文書分類装置１では、文書再分類部４３が、分類先カテゴリ指定部４１により指定された複数の分類先カテゴリのいずれかに分類されている文書の特徴ベクトルと、特徴ベクトル調整部４２により調整されたカテゴリの特徴ベクトルとに基づき、当該文書が分類されていないカテゴリのうち、当該文書を分類するのに適切なカテゴリが存在する場合に、このカテゴリに当該文書を分類するので、複数のカテゴリに適切に文書を自動分類できる。

さらに、本実施形態に係る文書分類装置１では、文書再分類部４３が、分類先カテゴリ指定部４１により指定された複数の分類先カテゴリのいずれかに分類されている文書の特徴ベクトルと、特徴ベクトル調整部により調整されたカテゴリの特徴ベクトルとに基づき、当該文書が分類されているカテゴリのうち、当該文書を分類するのに適切でないカテゴリが存在する場合に、このカテゴリから当該文書を除くので、複数のカテゴリに適切に文書を自動分類できる。

加えて、本実施形態に係る文書分類装置１では、文書再分類部４３が、分類先カテゴリ指定部４１により、複数のカテゴリに分類するように選択された文書の特徴ベクトルのうち、当該文書に固有の特徴であり分類先カテゴリとの関連がない成分と、指定された複数の分類先カテゴリ以外のカテゴリの特徴ベクトルとに基づき、当該文書を分類するのに適切なカテゴリが存在する場合に、このカテゴリに当該文書データを分類するので、複数のカテゴリに適切に文書を自動分類できる。

＜実施形態に関するその他の事項＞
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。

そして、上記実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。

また、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。

さらに、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が上記実施形態を実現するための各処理の一部を実行しても良い。

加えて、本発明における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

また、記憶媒体は１つに限らず、複数の媒体から上記実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。

なお、本発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、上記実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。

また、本発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。

１・・・文書分類装置、１０・・・文書記憶部、２０・・・カテゴリ記憶部、３０・・・文書分類部、３１・・・特徴ベクトル生成部、３２・・・分類・クラスタリング部、４０・・・カテゴリ編集部、４１・・・分類先カテゴリ指定部、４２・・・特徴ベクトル調整部、４３・・・文書再分類部、４４・・・再分類結果提示部。

Claims (5)

1. 複数の文書を記憶する文書記憶手段と、
   前記文書が有する文書特徴ベクトルを求める文書特徴ベクトル算出手段と、
   前記文書の分類先である複数のカテゴリを記憶するカテゴリ記憶手段と、
   前記複数のカテゴリが有するカテゴリ特徴ベクトルを当該カテゴリに分類されている前記文書特徴ベクトルに基づいて求めるカテゴリ特徴ベクトル算出手段と、
   前記文書記憶手段に記憶された各文書を前記文書特徴ベクトルに基づき複数のカテゴリに分類する文書分類手段と、
   前記カテゴリ記憶手段に記憶されたカテゴリを編集するためのカテゴリ編集手段と
   を具備する文書分類装置であって、
   前記カテゴリ編集手段は、
   ユーザによる一の文書の選択及び当該文書を分類するための複数のカテゴリの指定を支援する分類先カテゴリ指定手段と、
   前記分類先カテゴリ指定手段により指定された複数の分類先のカテゴリ特徴ベクトルと、前記分類する文書特徴ベクトルとを比較する特徴ベクトル比較手段と、
   前記比較の結果から、前記文書特徴ベクトルの成分のうち、各分類先カテゴリとの関連がある成分と、複数の分類先カテゴリに共通して関連がある成分と、当該文書に固有の特徴であり分類先カテゴリとの関連がない成分とを求め、これら求めた前記文書特徴ベクトルの各成分に基づいて、各分類先のカテゴリ特徴ベクトルを調整する特徴ベクトル調整手段と、
   前記特徴ベクトル調整手段により調整した複数の分類先のカテゴリ特徴ベクトルを用いて、前記文書記憶手段に記憶された各文書を、前記カテゴリ記憶手段に記憶された各カテゴリに再分類する文書再分類手段と、
   前記再分類の結果を提示する再分類結果提示手段と
   を具備することを特徴とする文書分類装置。
2. 請求項1に記載の文書分類装置において、
   前記文書再分類手段は、前記分類先カテゴリ指定手段により指定された複数の分類先カテゴリのいずれかに分類されている文書の特徴ベクトルと、前記特徴ベクトル調整手段により調整されたカテゴリの特徴ベクトルとに基づき、当該文書が分類されていないカテゴリのうち、当該文書を分類するのに適切なカテゴリが存在する場合に、このカテゴリに当該文書データを分類する、
   ことを特徴とする文書分類装置。
3. 請求項１又は請求項２に記載の文書分類装置において、
   前記文書再分類手段は、前記分類先カテゴリ指定手段により指定された複数の分類先カテゴリのいずれかに分類されている文書特徴ベクトルと、前記特徴ベクトル調整手段により調整されたカテゴリ特徴ベクトルとに基づき、当該文書が分類されているカテゴリのうち、当該文書を分類するのに適切でないカテゴリが存在する場合に、このカテゴリから当該文書を除く、
   ことを特徴とする文書分類装置。
4. 請求項１乃至請求項３のいずれか１項に記載の文書分類装置において、
   前記文書再分類手段は、前記分類先カテゴリ指定手段により、複数のカテゴリに分類するように選択された文書特徴ベクトルのうち、当該文書に固有の特徴であり分類先カテゴリとの関連がない成分と、前記指定された複数の分類先カテゴリ以外のカテゴリ特徴ベクトルとに基づき、当該文書を分類するのに適切なカテゴリが存在する場合に、このカテゴリに当該文書を分類する、
   ことを特徴とする文書分類装置。
5. 複数の文書を記憶する文書記憶手段と、前記文書の分類先である複数のカテゴリを記憶するカテゴリ記憶手段と、
   を具備する文書分類装置のコンピュータに用いられる文書分類プログラムであって、
   前記コンピュータを、
   前記文書が有する文書特徴ベクトルを求める文書特徴ベクトル算出手段、
   前記複数のカテゴリが有するカテゴリ特徴ベクトルを当該カテゴリに分類されている前記文書特徴ベクトルに基づいて求めるカテゴリ特徴ベクトル算出手段、
   前記文書記憶手段に記憶された各文書を前記文書特徴ベクトルに基づき複数のカテゴリに分類する文書分類手段、
   一の文書を選択するとともに、当該文書を分類するための複数のカテゴリを指定する分類先カテゴリ指定手段、
   ユーザによる一の文書の選択及び当該文書を分類するための複数のカテゴリの指定を支援する分類先カテゴリ指定手段、
   前記分類先カテゴリ指定手段により指定された複数の分類先のカテゴリ特徴ベクトルと、前記分類する文書特徴ベクトルとを比較する特徴ベクトル手段、
   前記比較の結果から、前記文書特徴ベクトルの成分のうち、各分類先カテゴリとの関連がある成分と、複数の分類先カテゴリに共通して関連がある成分と、当該文書に固有の特徴であり分類先カテゴリとの関連がない成分とを求め、これら求めた前記文書特徴ベクトルの各成分に基づいて、各分類先のカテゴリ特徴ベクトルを調整する特徴ベクトル調整手段と、
   前記特徴ベクトル調整手段により調整した複数の分類先のカテゴリ特徴ベクトルを用いて、前記文書記憶手段に記憶された各文書を、前記カテゴリ記憶手段に記憶された各カテゴリに再分類する文書再分類手段と、
   前記再分類の結果を提示する再分類結果提示手段、
   として機能させる文書分類プログラム。

Images