JP2002269120A - 文書分類装置、文書分類方法及び該文書分類方法を実行するプログラム記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ユーザが実際に内容を評価するに値する部分
文書集合のみを分類結果として出力する文書分類装置を
提供する。 【解決手段】 文書の集合を入力する文書入力部１０１
と、入力された文書毎に形態素解析を適用し、各文書の
単語を品詞情報等と共に抽出する文書解析部１０２と、
抽出された単語情報により各文書を多次元ベクトル空間
で表現する文書ベクトル空間生成部１０３と、単語情報
より類似性を測定する統計手法により複数の部分文書集
合を生成し、各部分文書集合に各文書を分類して帰属さ
せる文書分類部１０４と、各部分文書集合に帰属させた
各文書の単語情報により各部分文書集合毎の妥当性評価
値を算出し、指定された条件を満たすか否かを示す識別
子を割り当てる分類結果妥当性判定部１０５と、前記条
件を満たす識別子を割り当てられた部分文書集合のみを
分類結果として出力する分類結果出力部１０６とを有す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、情報分類、情報分
析、情報検索を容易化する文書分類装置、文書分類方法
及び該文書分類方法を実行するプログラム記録媒体に関
する。

【０００２】

【従来の技術】近年、インターネット等の普及により、
大量の各種文書データへのアクセスが可能になり、その
結果として、興味のある情報が記述されている文書デー
タを、簡単に、かつ、大量に収集することが可能になっ
てきている。しかし、その一方で、収集した文書データ
が大量であるがために、それら文書データから有効な情
報を読み取る作業は非常に困難なものになってしまって
いる。このため、大量の文書データから、自動的に、も
しくは、半自動的に、有効な情報を簡単に抽出すること
を目的として、文書データ分類に関する研究・開発が盛
んに行なわれるようになってきている。

【０００３】文書データ分類を行なうための手法には、
クラスタリング手法を基にしたものが多く見られる。例
えば、代表的なものとして、Scatter/Gather法（D.Cutt
inget.al.,"Scatter/Gather: A Cluster-based Approac
h to Browsing Large Document Collections", Proc. A
CM SIGIR '92）がある。該Scatter/Gather法において
は、まず、文書データ集合に対してクラスタリングを適
用し、いくつかの部分文書データ集合に分類する。そし
て、その後、話題が不明瞭であったり、理解しにくい部
分文書データ集合に対しては、逐次クラスタリングを適
用し、より小さな部分文書データ集合に分割していくこ
とにより、文書データ集合に含まれている様々な話題を
理解していくことを可能としている。

【０００４】かくのごとく、Scatter/Gather法は、文書
データ集合に含まれる様々な話題を理解するための手法
としては、従来の文書データ分類手法と比較して、非常
に有効な手法である。しかし、前記の作業過程におい
て、ユーザは、自力で、すべての部分文書データ集合に
ついて、代表単語や所属文書データなどの情報を頼り
に、それらの内容について評価を行なわなければならな
い。

【０００５】

【発明が解決しようとする課題】従って、例えば、１０
０個の文書データ集合を１０の部分文書データ集合に分
類する程度であれば、平均して１０個の文書データがそ
れぞれに所属されることになるので、１０個程度の部分
文書データ集合について、ユーザは、内容の評価を行な
えば足りるが、これが数万個、あるいは、数十万個の文
書データ集合を対象としていたり、新聞データのよう
に、定期的に数千の新規文書データが追加されるような
文書データ集合を対象とするような場合においては、ユ
ーザ自身が、自力で、部分文書データ集合の内容につい
て評価を行なうことは不可能であると言わざるを得な
い。

【０００６】本発明は、かかる問題点に鑑みてなされた
ものであり、「部分文書データ集合の内容の妥当性が、
部分文書データ集合を構成する最小構成要素である単語
に関する見えのまとまり程度により測定可能である」と
仮定し、該単語に関する見えのまとまり程度を定量化す
ることにより、ユーザが実際に内容を評価する価値のあ
る部分文書データ集合だけをユーザに提示することを可
能とし、部分文書データ集合の内容を評価するためのユ
ーザの作業負荷を軽減せんとすることを目的とする。

【０００７】即ち、請求項１，８，１５に記載の発明に
おいては、文書データ集合に対して、類似性を測定する
ことができる統計的手法を適用することにより、生成さ
れるすべての部分文書データ集合に対し、各部分文書デ
ータ集合に出現する単語情報等の解析情報を基にして、
各部分文書データ集合の内容（すなわち、帰属させた文
書データ）に関する妥当性の評価値を算出し、かかる妥
当性評価値を用いることにより、ユーザが実際に内容を
評価するに値する部分文書データ集合（すなわち、類似
性があると判定された文書データからなる部分文書デー
タ集合）のみを分類結果として出力する文書分類装置を
提供することを目的とする。

【０００８】請求項２，９，１６に記載の発明において
は、前記目的に加え、部分文書データ集合の妥当性の評
価値を、部分文書データ集合に帰属された文書データに
おける単語の出現頻度か、あるいは、前記単語の出現頻
度と部分文書データ集合に帰属された文書データの個数
を基に算出することにより、部分文書データ集合に帰属
された文書データにおいて、より多くの単語が、より多
くの文書データに共有されていればいるほど、妥当性が
高くなるような妥当性評価値（すなわち、類似性が高い
文書データの集合と判断される評価値）を算出すること
を目的とする。さらに、前記妥当性評価値に対して、部
分文書データ集合に帰属された文書データの個数が少な
い場合は、相対的に妥当性が低くなるような因子を付加
することにより、部分文書データ集合における文書デー
タ数も含む妥当性評価値を算出することも目的とする。

【０００９】請求項３，１０，１７に記載の発明におい
ては、前記目的に加え、部分文書データ集合に所属する
文書データの単語数を基に、あらかじめ指定された基準
により代表単語数を算出し、算出された前記代表単語数
の単語だけを用いて、部分文書データ集合の妥当性の評
価値を算出することにより、文書データの長さに依存し
ない良質な妥当性評価値を算出することを目的とする。

【００１０】請求項４，１１，１８に記載の発明におい
ては、前記目的に加え、部分文書データ集合に所属する
文書データのうち、部分文書データ集合の代表値との類
似度が高い文書データ、すなわち、部分文書データ集合
に所属する妥当性が高い文書データのみを対象として、
部分文書データ集合の妥当性評価値を算出することによ
り、より良質な妥当性評価値を算出することを目的とす
る。

【００１１】請求項５，１２，１９に記載の発明におい
ては、前記目的に加え、生成した部分文書データ集合の
中から任意に選択した２つの部分文書データ集合につい
て、まず、該２つの部分文書データ集合間の関連度（類
似度）を算出し、該関連度の値があらかじめ指定された
閾値よりも大きい値であれば、該２つの部分文書データ
集合を１つの新たな部分文書データ集合に融合し、一
方、該関連度があらかじめ指定された前記値未満であっ
ても、該２つの部分文書データ集合を１つの別の部分文
書データ集合候補と見なした場合の妥当性評価値を算出
し、算出された該妥当性評価値があらかじめ指定された
条件を満たすような場合、前記部分文書データ集合候補
を新たな部分文書データ集合として融合する処理を、再
帰的に、すべての部分文書データ集合について繰り返し
行なうことにより、内容的に類似した２つの部分文書デ
ータ集合から、より抽象的な内容を有する新たな部分文
書データ集合を生成することを目的とする。

【００１２】請求項６，１３，２０に記載の発明におい
ては、前記目的に加え、非階層クラスタリング手法を用
いて、生成した部分文書データ集合に対し、妥当性評価
値を算出し、あらかじめ指定される値以上の妥当性評価
値を有する部分文書データ集合のみを結果として出力す
ることにより、良質な内容を有する部分文書データ集合
のみを出力することを可能とする。また、特に、初期ク
ラスタ数を比較的多く設定することにより、自動的に内
容の妥当性が保証された部分文書データ集合を複数自動
生成することができるので、非階層クラスタリング手法
の際に、しばしば問題となる初期クラスタ数の決定に対
する解決策を提供することを目的とする。

【００１３】請求項７，１４，２１に記載の発明におい
ては、前記目的に加え、クラスタ数を変更させて生成し
た部分文書データ集合に対し、妥当性評価値による選別
と、新たな部分文書データ集合の生成の処理を行なうこ
とにより、分類対象である文書データの集合から可能な
限りの妥当性が保証された部分文書データ集合を抽出す
ることを目的とする。

【００１４】

【課題を解決するための手段】請求項１に記載の発明
は、複数の文書データからなる文書データ集合を、該文
書データの内容に従って分類する文書分類装置におい
て、該文書データの集合を入力する文書入力手段と、該
文書入力手段にて入力された前記文書データ毎に形態素
解析を適用し、各前記文書データを構成する単語を、該
単語の品詞情報等と共に、解析情報として抽出する文書
解析手段と、該文書解析手段にて抽出された前記解析情
報に基づいて、前記文書データを多次元ベクトル空間で
表現するための文書ベクトル空間を生成する文書ベクト
ル空間生成手段と、前記文書解析手段にて抽出された前
記解析情報に基づいて、類似性を測定することができる
統計手法を用いることにより、あらかじめ指定された個
数からなる複数の部分文書データ集合を生成し、該指定
された複数個の部分文書データ集合それぞれに、前記文
書データ集合を構成する前記各文書データを分類して帰
属させる文書分類手段と、該文書分類手段にて生成され
た各前記部分文書データ集合について、各前記部分文書
データ集合に帰属させた前記文書データに関する前記解
析情報に基づいて、各前記部分文書データ集合毎の妥当
性評価値を算出し、各前記部分文書データ集合に対し
て、前記妥当性評価値があらかじめ指定された条件を満
たすか否かを示す識別子を割り当てる分類結果妥当性判
定手段と、該分類結果妥当性判定手段にてあらかじめ指
定された前記条件を満たす前記識別子が割り当てられた
前記部分文書データ集合のみを分類結果として出力する
分類結果出力手段と、を含む文書分類装置とすることを
特徴とするものである。

【００１５】請求項２に記載の発明は、請求項１に記載
の文書分類装置において、前記分類結果妥当性判定手段
にて算出される各前記部分文書データ集合の前記妥当性
評価値が、該部分文書データ集合に帰属させた前記文書
データにおける単語の出現頻度、もしくは、前記出現頻
度と該部分文書データ集合に帰属させた前記文書データ
の個数に基づいて算出される文書分類装置とすることを
特徴とするものである。

【００１６】請求項３に記載の発明は、請求項２に記載
の文書分類装置において、前記分類結果妥当性判定手段
にて算出される各前記部分文書データ集合の前記妥当性
評価値における前記単語の前記出現頻度が、該部分文書
データ集合に帰属させた前記文書データの単語数とあら
かじめ定められた基準値とに基づいて、該部分文書デー
タ集合において抽出すべき単語数を示す代表単語数を算
出し、前記代表単語数が示す個数の単語の出現頻度だけ
を用いる文書分類装置とすることを特徴とするものであ
る。

【００１７】請求項４に記載の発明は、請求項１乃至請
求項３のいずれかに記載の文書分類装置において、各前
記文書データについて、該文書データが帰属された各前
記部分文書データ集合の代表値との類似度を算出する類
似度算出手段を、さらに含み、かつ、前記分類結果妥当
性判定手段にて算出される前記妥当性評価値が、前記類
似度算出手段にて算出された各文書データの前記類似度
があらかじめ定められた類似基準値以上となる文書デー
タのみを用いて算出される文書分類装置とすることを特
徴とするものである。

【００１８】請求項５に記載の発明は、請求項１乃至請
求項４のいずれかに記載の文書分類装置において、前記
分類結果妥当性判定手段にて、あらかじめ指定された前
記条件を満たす前記識別子が割り当てられた部分文書デ
ータ集合のうち、任意の２つの部分文書データ集合につ
いて、部分文書データ集合間の関連度を算出し、該関連
度が、あらかじめ指定された閾値よりも大きい値である
場合は、該２つの前記部分文書データ集合を１つの新た
な部分文書データ集合として融合・合成させる部分文書
集合合成手段と、あらかじめ指定された前記条件を満た
す前記識別子が割り当てられた部分文書データ集合のう
ち、任意の２つの部分文書データ集合について、新たに
１つの部分文書データ集合候補として生成し、該部分文
書データ集合候補に関する前記妥当性評価値を改めて算
出し、該妥当性評価値があらかじめ指定された前記条件
を満たす場合には、前記部分文書データ集合候補を１つ
の新たな部分文書データ集合として生成する新規部分文
書集合生成手段と、をさらに含み、すべての２つの部分
文書データ集合について、前記部分文書集合合成手段と
前記新規部分文書集合生成手段とを再帰的に繰り返し実
行せしめる文書分類装置とすることを特徴とするもので
ある。

【００１９】請求項６に記載の発明は、請求項１乃至請
求項５のいずれかに記載の文書分類装置において、前記
文書分類手段にて用いられる前記統計手法が、非階層ク
ラスタリング手法である文書分類装置とすることを特徴
とするものである。

【００２０】請求項７に記載の発明は、請求項１乃至請
求項６のいずれかに記載の文書分類装置において、前記
文書データ集合の分類数を決定する分類数決定手段と、
該分類数決定手段から前記文書分類手段までの手続きを
繰り返し行なうか否かの判定をおこなう繰り返し判定手
段とを、さらに含む文書分類装置とすることを特徴とす
るものである。

【００２１】請求項８に記載の発明は、複数の文書デー
タからなる文書データ集合を、該文書データの内容に従
って分類する文書分類方法において、該文書データの集
合を入力する文書入力ステップと、該文書入力ステップ
にて入力された前記文書データ毎に形態素解析を適用
し、各前記文書データを構成する単語を、該単語の品詞
情報等と共に、解析情報として抽出する文書解析ステッ
プと、該文書解析ステップにて抽出された前記解析情報
に基づいて、前記文書データを多次元ベクトル空間で表
現するための文書ベクトル空間を生成する文書ベクトル
空間生成ステップと、前記文書解析ステップにて抽出さ
れた前記解析情報に基づいて、類似性を測定することが
できる統計手法を用いることにより、あらかじめ指定さ
れた個数からなる複数の部分文書データ集合を生成し、
該指定された複数個の部分文書データ集合それぞれに、
前記文書データ集合を構成する前記各文書データを分類
して帰属させる文書分類ステップと、該文書分類ステッ
プにて生成された各前記部分文書データ集合について、
各前記部分文書データ集合に帰属させた前記文書データ
に関する前記解析情報に基づいて、各前記部分文書デー
タ集合毎の妥当性評価値を算出し、各前記部分文書デー
タ集合に対して、前記妥当性評価値があらかじめ指定さ
れた条件を満たすか否かを示す識別子を割り当てる分類
結果妥当性判定ステップと、該分類結果妥当性判定ステ
ップにてあらかじめ指定された前記条件を満たす前記識
別子が割り当てられた前記部分文書データ集合のみを分
類結果として出力する分類結果出力ステップと、を含む
文書分類方法とすることを特徴とするものである。

【００２２】請求項９に記載の発明は、請求項８に記載
の文書分類方法において、前記分類結果妥当性判定ステ
ップにて算出される各前記部分文書データ集合の前記妥
当性評価値が、該部分文書データ集合に帰属させた前記
文書データにおける単語の出現頻度、もしくは、前記出
現頻度と該部分文書データ集合に帰属させた前記文書デ
ータの個数に基づいて算出される文書分類方法とするこ
とを特徴とするものである。

【００２３】請求項１０に記載の発明は、請求項９に記
載の文書分類方法において、前記分類結果妥当性判定ス
テップにて算出される各前記部分文書データ集合の前記
妥当性評価値における前記単語の前記出現頻度が、該部
分文書データ集合に帰属させた前記文書データの単語数
とあらかじめ定められた基準値とに基づいて、該部分文
書データ集合において抽出すべき単語数を示す代表単語
数を算出し、前記代表単語数が示す個数の単語の出現頻
度だけを用いる文書分類方法とすることを特徴とするも
のである。

【００２４】請求項１１に記載の発明は、請求項８乃至
請求項１０のいずれかに記載の文書分類方法において、
各前記文書データについて、該文書データが帰属された
各前記部分文書データ集合の代表値との類似度を算出す
る類似度算出ステップを、さらに含み、かつ、前記分類
結果妥当性判定ステップにて算出される前記妥当性評価
値が、前記類似度算出ステップにて算出された各文書デ
ータの前記類似度があらかじめ定められた類似基準値以
上となる文書データのみを用いて算出される文書分類方
法とすることを特徴とするものである。

【００２５】請求項１２に記載の発明は、請求項８乃至
請求項１１のいずれかに記載の文書分類方法において、
前記分類結果妥当性判定ステップにて、あらかじめ指定
された前記条件を満たす前記識別子が割り当てられた部
分文書データ集合のうち、任意の２つの部分文書データ
集合について、部分文書データ集合間の関連度を算出
し、該関連度が、あらかじめ指定された閾値よりも大き
い値である場合は、該２つの前記部分文書データ集合を
１つの新たな部分文書データ集合として融合・合成させ
る部分文書集合合成ステップと、あらかじめ指定された
前記条件を満たす前記識別子が割り当てられた部分文書
データ集合のうち、任意の２つの部分文書データ集合に
ついて、新たに１つの部分文書データ集合候補として生
成し、該部分文書データ集合候補に関する前記妥当性評
価値を改めて算出し、該妥当性評価値があらかじめ指定
された前記条件を満たす場合には、前記部分文書データ
集合候補を１つの新たな部分文書データ集合として生成
する新規部分文書集合生成ステップと、をさらに含み、
すべての２つの部分文書データ集合について、前記部分
文書集合合成ステップと前記新規部分文書集合生成ステ
ップとを再帰的に繰り返し実行せしめる文書分類方法と
することを特徴とするものである。

【００２６】請求項１３に記載の発明は、請求項８乃至
請求項１２のいずれかに記載の文書分類方法において、
前記文書分類ステップにて用いられる前記統計手法が、
非階層クラスタリング手法である文書分類方法とするこ
とを特徴とするものである。

【００２７】請求項１４に記載の発明は、請求項８乃至
請求項１３のいずれかに記載の文書分類方法において、
前記文書データ集合の分類数を決定する分類数決定ステ
ップと、該分類数決定ステップから前記文書分類ステッ
プまでの手続きを繰り返し行なうか否かの判定をおこな
う繰り返し判定ステップとを、さらに含む文書分類方法
とすることを特徴とするものである。

【００２８】請求項１５に記載の発明は、複数の文書デ
ータからなる文書データ集合を、該文書データの内容に
従って分類する文書分類方法を、コンピュータでプログ
ラムとして実施させることを可能とするコンピュータ読
み取り可能なプログラム記録媒体において、該文書デー
タの集合を入力する文書入力ステップと、該文書入力ス
テップにて入力された前記文書データ毎に形態素解析を
適用し、各前記文書データを構成する単語を、該単語の
品詞情報等と共に、解析情報として抽出する文書解析ス
テップと、該文書解析ステップにて抽出された前記解析
情報に基づいて、前記文書データを多次元ベクトル空間
で表現するための文書ベクトル空間を生成する文書ベク
トル空間生成ステップと、前記文書解析ステップにて抽
出された前記解析情報に基づいて、類似性を測定するこ
とができる統計手法を用いることにより、あらかじめ指
定された個数からなる複数の部分文書データ集合を生成
し、該指定された複数個の部分文書データ集合それぞれ
に、前記文書データ集合を構成する前記各文書データを
分類して帰属させる文書分類ステップと、該文書分類ス
テップにて生成された各前記部分文書データ集合につい
て、各前記部分文書データ集合に帰属させた前記文書デ
ータに関する前記解析情報に基づいて、各前記部分文書
データ集合毎の妥当性評価値を算出し、各前記部分文書
データ集合に対して、前記妥当性評価値があらかじめ指
定された条件を満たすか否かを示す識別子を割り当てる
分類結果妥当性判定ステップと、該分類結果妥当性判定
ステップにてあらかじめ指定された前記条件を満たす前
記識別子が割り当てられた前記部分文書データ集合のみ
を分類結果として出力する分類結果出力ステップと、を
含む文書分類方法を、コンピュータでプログラムとして
実施させることを可能とするコンピュータ読み取り可能
なプログラム記録媒体とすることを特徴とするものであ
る。

【００２９】請求項１６に記載の発明は、請求項１５に
記載の文書分類方法をコンピュータでプログラムとして
実施させることを可能とするコンピュータ読み取り可能
なプログラム記録媒体において、前記分類結果妥当性判
定ステップにて算出される各前記部分文書データ集合の
前記妥当性評価値が、該部分文書データ集合に帰属させ
た前記文書データにおける単語の出現頻度、もしくは、
前記出現頻度と該部分文書データ集合に帰属させた前記
文書データの個数に基づいて算出される文書分類方法
を、コンピュータでプログラムとして実施させることを
可能とするコンピュータ読み取り可能なプログラム記録
媒体とすることを特徴とするものである。

【００３０】請求項１７に記載の発明は、請求項１６に
記載の文書分類方法をコンピュータでプログラムとして
実施させることを可能とするコンピュータ読み取り可能
なプログラム記録媒体において、前記分類結果妥当性判
定ステップにて算出される各前記部分文書データ集合の
前記妥当性評価値における前記単語の前記出現頻度が、
該部分文書データ集合に帰属させた前記文書データの単
語数とあらかじめ定められた基準値とに基づいて、該部
分文書データ集合において抽出すべき単語数を示す代表
単語数を算出し、前記代表単語数が示す個数の単語の出
現頻度だけを用いる文書分類方法を、コンピュータでプ
ログラムとして実施させることを可能とするコンピュー
タ読み取り可能なプログラム記録媒体とすることを特徴
とするものである。

【００３１】請求項１８に記載の発明は、請求項１５乃
至請求項１７のいずれかに記載の文書分類方法をコンピ
ュータでプログラムとして実施させることを可能とする
コンピュータ読み取り可能なプログラム記録媒体におい
て、各前記文書データについて、該文書データが帰属さ
れた各前記部分文書データ集合の代表値との類似度を算
出する類似度算出ステップを、さらに含み、かつ、前記
分類結果妥当性判定ステップにて算出される前記妥当性
評価値が、前記類似度算出ステップにて算出された各文
書データの前記類似度があらかじめ定められた類似基準
値以上となる文書データのみを用いて算出される文書分
類方法を、コンピュータでプログラムとして実施させる
ことを可能とするコンピュータ読み取り可能なプログラ
ム記録媒体とすることを特徴とするものである。

【００３２】請求項１９に記載の発明は、請求項１５乃
至請求項１８のいずれかに記載の文書分類方法をコンピ
ュータでプログラムとして実施させることを可能とする
コンピュータ読み取り可能なプログラム記録媒体におい
て、前記分類結果妥当性判定ステップにて、あらかじめ
指定された前記条件を満たす前記識別子が割り当てられ
た部分文書データ集合のうち、任意の２つの部分文書デ
ータ集合について、部分文書データ集合間の関連度を算
出し、該関連度が、あらかじめ指定された閾値よりも大
きい値である場合は、該２つの前記部分文書データ集合
を１つの新たな部分文書データ集合として融合・合成さ
せる部分文書集合合成ステップと、あらかじめ指定され
た前記条件を満たす前記識別子が割り当てられた部分文
書データ集合のうち、任意の２つの部分文書データ集合
について、新たに１つの部分文書データ集合候補として
生成し、該部分文書データ集合候補に関する前記妥当性
評価値を改めて算出し、該妥当性評価値があらかじめ指
定された前記条件を満たす場合には、前記部分文書デー
タ集合候補を１つの新たな部分文書データ集合として生
成する新規部分文書集合生成ステップと、をさらに含
み、すべての２つの部分文書データ集合について、前記
部分文書集合合成ステップと前記新規部分文書集合生成
ステップとを再帰的に繰り返し実行せしめる文書分類方
法を、コンピュータでプログラムとして実施させること
を可能とするコンピュータ読み取り可能なプログラム記
録媒体とすることを特徴とするものである。

【００３３】請求項２０に記載の発明は、請求項１５乃
至請求項１９のいずれかに記載の文書分類方法をコンピ
ュータでプログラムとして実施させることを可能とする
コンピュータ読み取り可能なプログラム記録媒体におい
て、前記文書分類ステップにて用いられる前記統計手法
が、非階層クラスタリング手法である文書分類方法を、
コンピュータでプログラムとして実施させることを可能
とするコンピュータ読み取り可能なプログラム記録媒体
とすることを特徴とするものである。

【００３４】請求項２１に記載の発明は、請求項１５乃
至請求項２０のいずれかに記載の文書分類方法をコンピ
ュータでプログラムとして実施させることを可能とする
コンピュータ読み取り可能なプログラム記録媒体におい
て、前記文書データ集合の分類数を決定する分類数決定
ステップと、該分類数決定ステップから前記文書分類ス
テップまでの手続きを繰り返し行なうか否かの判定をお
こなう繰り返し判定ステップとを、さらに含む文書分類
方法を、コンピュータでプログラムとして実施させるこ
とを可能とするコンピュータ読み取り可能なプログラム
記録媒体とすることを特徴とするものである。

【００３５】

【発明の実施の形態】まず、本発明に係る文書分類装置
及び文書分類方法における実施例においては、自然言語
で記述された１つ以上の文の集まりにより構成されてい
て、かかる構成の文の集まりが分類対象となる場合に
は、かかる構成の文の集まりを文書データと称してい
る。また、１つの文書データの終端には、かかる文書デ
ータの終端が判別可能となる文書データ終端記号が付置
されているものとする。文書データの具体的な例を挙げ
ると、特許公開公報や特定の新聞記事も文書データであ
り、更に、例えば、特許公開公報の中に含まれている請
求項に記載されている文や特定の１文だけを取り出した
ものであっても、文書データと見なす。

【００３６】図１は、本発明に係る請求項１乃至４およ
び請求項６に記載の文書分類装置、請求項８乃至１１お
よび請求項１３に記載の文書分類方法を実施する文書分
類装置に関する実施例を説明するための文書分類装置の
ブロック構成図である。なお、請求項８乃至１１および
請求項１３に記載の文書分類方法をコンピュータにプロ
グラムとして実施させるためにコンピュータ読み取り可
能なプログラム記録媒体として実現させることも可能で
ある。図１において、文書入力部１０１においては、キ
ーボード、ＯＣＲ装置、ハードディスク等の補助記憶装
置から、または、ネットワークなどを経由して、文書や
文書群が獲得されて、文書データとして入力される。こ
の際、入力される各文書データを一意に識別可能とする
ために、例えば、ユニークな数字列などからなる、識別
子が各文書データ毎に割り当てられる。

【００３７】また、文書解析部１０２においては、文書
入力部１０１に入力された文書データそれぞれに対し
て、形態素解析が適用されて、各文書データを構成する
単語が品詞情報等と共に、解析情報として抽出される。
この際、抽出された単語を識別可能とするために、抽出
された単語のうち、ユニークな表記を有する単語につい
ては、前記文書データの場合と同様に、ユニークな識別
子を付置しておく。例として、文書データに対して形態
素解析を適用し、文書データ全体で表記と品詞とがユニ
ークである単語を同定し、各単語に対して、識別子とし
て一意な識別番号を付与するとともに、各文書データに
関し、該各文書データを構成する単語の識別番号と該単
語の出現頻度とにより表現させるための擬似コードを図
４に示す。

【００３８】即ち、図４に示すように、各文書データに
対して、形態素解析を適用して、抽出された単語すべて
に対して、ユニーク単語リストに、該単語の表記と品詞
とを登録して、一意に識別可能なユニークな識別番号を
付与し、更に、文書データ構成単語リストに、各単語毎
の識別番号を登録すると共に、該識別番号対応に各文書
データにおける各単語毎の出現頻度を格納する。而し
て、文書解析部１０２においては、たとえば、各文書デ
ータ毎に、出現する単語の表記と該単語の品詞とがユニ
ーク単語リストに登録され、かつ、各文書データ毎に、
出現する単語の出現頻度が各単語を同定する識別番号に
対応させた形で、文書データ構成単語リストに登録され
ていることになる。なお、本発明において使用される形
態素解析系としては、必要な情報を抽出できるものであ
れば、どのようなものであっても構わない。

【００３９】また、文書ベクトル空間生成部１０３にお
いては、前記文書解析部１０２にて抽出された各文書デ
ータ毎の前記解析情報即ち単語情報を基に、各文書デー
タをベクトル表現するための空間が生成される。文書ベ
クトル空間を生成する例として、文書解析部１０２にて
示した前述の図４に示す例を基に、文書データ全体とし
てユニークな単語の出現頻度を正規化させた正規化出現
頻度によって、各文書データに関する文書ベクトルデー
タを生成させる擬似コードを図５に示す。

【００４０】即ち、図５に示すように、文書データ全体
で出現するユニークな単語数に相当する次元数を有する
文書データベクトル（文書ベクトル空間）を生成し、文
書データベクトルの各要素に対して、各文書データ毎
に、前記文書データ構成単語リストの識別番号に対応し
て登録されている各単語毎の出現頻度を代入していく。
更に、文書データベクトルの長さを「１」とするように
正規化する。而して、文書ベクトル空間生成部１０３に
おいては、文書データ全体で出現するユニークな単語数
に相当する次元数からなる文書ベクトル空間上に全体の
長さが「１」に正規化された各単語の正規化出現頻度か
らなる文書ベクトルデータが、各文書データ毎に作成さ
れることになる。ただし、本発明においては、文書ベク
トル空間の生成手法は、前述のごとき方法に限定される
ものではなく、例えば、特異値分解などを利用して、単
語出現頻度で構成されるベクトルに線形変換を施すこと
により、文書ベクトル空間を生成することもできる。

【００４１】また、文書分類部１０４においては、前記
文書ベクトル空間生成部１０３にて生成された文書デー
タベクトル（文書ベクトル空間）に対して、文書解析部
１０２にて抽出された各文書データ毎の前記解析情報即
ち単語情報を基にして、類似性を測定することができる
統計手法を適用することにより、複数の部分文書データ
集合を生成する。かかる統計手法としては、様々なもの
が利用可能であるが、ここでは、類似度算出手段の一例
として、クラスタリング手法を用いて、文書データベク
トルを複数の部分文書データ集合に分類させる擬似コー
ドを、図６に示す。即ち、図６に示すように、クラスタ
リング手法として、ここでは、該クラスタリング手法の
１つであるｋ−ｍｅａｎｓ法を一部変更した非階層クラ
スタリング手法を用いることとし、また、類似度を測定
するための類似測度としては、余弦測度を使用すること
にしている。かかる非階層クラスタリング手法を用いる
ことにより、簡便に多数の部分文書データ集合を生成す
ることができる。

【００４２】ここに、図６においては、まず、部分文書
データ集合の分類数をＮ個とする場合、前記文書データ
ベクトルの中からランダムにＮ個の要素を選出して、選
出された各要素を重心ベクトルとする。次いで、各対象
文書データベクトルと最も余弦測度が「１」に近い重心
ベクトルを抽出し、該抽出された前記重心ベクトルと対
象文書データベクトルとの平均により、抽出された前記
重心ベクトルを置換する。かかる置換処理を全ての文書
データベクトルに対して繰り返す。ここで、繰り返し数
があらかじめ定められた許容値を超えるか、あるいは、
重心ベクトルと文書データベクトルの二乗平均誤差があ
らかじめ定められた許容値以下になるまで、更に、前記
置換処理を繰り返す。繰り返し数があらかじめ定められ
た許容値を超えるか、あるいは、重心ベクトルと文書デ
ータベクトルの二乗平均誤差があらかじめ定められた許
容値以下になれば、対象重心ベクトルに固有の所属文書
データリストを生成し、対象文書データベクトルと最も
余弦測度が１に近い重心ベクトルを求めて、該当重心ベ
クトルに固有の所属文書データリストに、該文書データ
ベクトルの識別番号を追加していくことを繰り返す。

【００４３】而して、各文書データベクトルは、重心ベ
クトルで代表されるＮ個の部分文書データ集合のうち、
それぞれ余弦測度ができる限り「１」に近い値を有する
いずれかの部分文書データ集合に帰属されるように分類
され、部分文書データ集合の代表値との類似値が、あら
かじめ定められた類似基準値以上となる文書データ毎に
分類されていくこととなる。また、各文書データベクト
ルは、帰属された各部分文書データ集合の代表値との余
弦測度即ち類似度と共に保存されて、分類結果の妥当性
を判定する際の判断項目としても利用される。かくのご
とく、文書分類部１０４に類似度算出部１０４ａを備え
ることにより、クラスタリング手法に基づいて、各文書
データが帰属される各部分文書データ集合の代表値との
類似度を算出することが可能となっている。なお、クラ
スタリング手法に関しては、“多変量解析入門”（森北
出版）に詳しい。

【００４４】また、分類結果妥当性判定部１０５におい
ては、前記文書分類部１０４で生成された各部分文書デ
ータ集合について、前記各部分文書データ集合に帰属さ
れた文書データの前記解析情報即ち単語情報などを基
に、部分文書データ集合の妥当性評価値を算出し、前記
妥当性評価値が指定された条件を満たすか否かにより、
前記各部分文書データ集合に対し、妥当あるいは不当
（無効）のいずれかを示す異なる識別子を割り当てる。
前記妥当性評価値は、部分文書データ集合の表記レベル
でまとまりを的確に測定可能なものであれば、どのよう
な形式でもよい。すなわち、部分文の妥当性評価値は、
表記レベルで類似した文書データが多数含まれている部
分文書データ集合が高い値を採るように定式化すればよ
い。ここでは、一例として、部分文書データ集合の妥当
性評価値として、部分文書データ集合の単語ベクトル空
間を張る単語の文書データにおける正規化文書データ間
出現頻度の平均値を採用し、与えられた部分文書データ
集合から妥当性評価値を算出する動作について、以下に
説明する。

【００４５】変数ｂ_ｉｊが、部分文書データ集合に所属
するｉ番目の文書データｄ_ｉに単語ｗ_ｊが存在する時は
１を、存在しない時は０の値をとる変数とし、Ｎが、部
分文書データ集合に所属する文書データ数とし、Ｍが、
部分文書データ集合の単語ベクトル空間を張る単語数と
すると、単語ｗ_ｊの部分文書データ集合における正規化
文書データ間出現頻度ｆ（ｗ_ｊ）は式（１）で与えられ
る。

【００４６】

【式１】

【００４７】なお、式（１）において、ｂ_ｉｊの代わり
に、文書データ内における単語の出現頻度そのものを用
いて計算することも可能である。ここで、クラスタリン
グ手法を用いて、部分文書データ集合を生成する場合を
考えると、基本的にすべての文書データはいずれか特定
の１つの部分文書データ集合に所属することになるた
め、すべての文書データが所属する部分文書データ集合
の代表値と高い類似度を有することは現実的には不可能
である。そのため、部分文書データ集合の代表値と該部
分文書データ集合に所属する文書データの類似度が測定
可能な場合は、適切な閾値処理などを施すことにより、
式（１）で計算対象とする文書データの間引きを行なっ
て、算出する妥当性評価値の確度を向上させることが可
能となる場合が考えられる。すなわち、式（１）を用い
ると、部分文書データ集合の妥当性評価値νは、式
（２）で与えることができる。

【００４８】

【式２】

【００４９】例えば、部分文書データ集合１、部分文書
データ集合２、および部分文書データ集合３が、それぞ
れ図７、図８、および図９に示すような単語の出現頻度
で与えられている場合、部分文書データ集合１、部分文
書データ集合２、および部分文書データ集合３の妥当性
評価値をそれぞれν１、ν２、およびν３とすると、各
部分文書データ集合の妥当性評価値ν１、ν２、ν３
は、以下のように算出される。 ν１＝（４／４＋３／４＋３／４＋３／４＋３／４）／
５＝０.８ ν２＝（２／４＋２／４＋２／４＋２／４＋３／４）／
５＝０.５５ ν３＝（４／４＋１／４＋３／４＋４／４＋１／４＋３
／４＋３／４＋１／４＋４／４＋２／４）／１０＝０.
６５

【００５０】また、部分文書データ集合と文書データと
の類似度が、図７、図８、および図９に示すような値で
ある時、類似度０.５以上の文書データのみを用いた場
合における部分文書データ集合１、部分文書データ集合
２、および部分文書データ集合３の妥当性評価値をそれ
ぞれν１′、ν２′、およびν３′とすると、各妥当性
評価値ν１′、ν２′、ν３′は、以下のように算出さ
れる。すなわち、図７に示す部分文書データ集合１にお
いては、文書データ４が、また、図８に示す部分文書デ
ータ集合２においては、文書データ８が、それぞれ、類
似度０.５よりも小さいことから、妥当性評価値の計算
対象から除外される。 ν１′＝（３／３＋２／３＋２／３＋３／３＋３／３）
／５＝０.８７ ν２′＝（２／３＋１／３＋２／３＋１／３＋３／３）
／５＝０.６０ ν３′＝（４／４＋１／４＋３／４＋４／４＋１／４＋
３／４＋３／４＋１／４＋４／４＋２／４）／１０＝
０.６５

【００５１】なお、式（２）においては、部分文書デー
タ集合の単語ベクトル空間を張る全単語が用いられてい
る。しかしながら、分類対象の文書データの文書データ
長が長い（すなわち、含まれる単語数が多い）ほど、文
書データ出現頻度が低い単語の数が多くなるものと考え
られる。このため、式（２）を妥当性評価値とする場合
には、文書データ長が異なる部分文書データ集合間にお
ける相対的な妥当性評価値による内容の評価の有効性が
低くなることが予想される。かかる問題に対しては、式
（２）を計算する際に、文書データ長に応じて動的に変
化するように代表単語数を算出することとし、式（１）
において計算される各単語の正規化文書データ間出現頻
度が大きい上位の前記代表単語数分の出現頻度に関する
値だけを用いることにより対処可能であると考えられ
る。代表単語数の決定手法には、様々な手法が適用可能
であるが、ここでは、部分文書データ集合に所属する各
文書データ全体における平均の単語数を定数乗すること
により、代表単語数を決定することを考える。すなわ
ち、部分文書データ集合の各文書データ全体における平
均単語数をＮａ、乗ずる定数をｔとすると、代表単語数
Ｎｔは、式（３）となる。

【００５２】

【式３】

【００５３】ここで、［ｘ］は、ｘを越えない整数値を
示す。例えば、平均単語数が１０語である場合には代表
単語数が３乃至５語程度、平均単語数が１００語である
場合には代表単語が１５乃至２０語程度が適当であると
した場合、ｔ＝０.６５とすると、［１０^0.65］＝４、
［１００^0.65］＝２０となる。かくのごとく、ｔ＝０．
６５と設定した場合、前記図７、図８、および図９に示
す部分文書データ集合１、部分文書データ集合２、およ
び部分文書データ集合３の代表単語数は、それぞれ、
［５^0.65］＝２、［５^0.65］＝２、および［１０ ^0.65］
＝４となる。而して、妥当性評価値を、それぞれν
１″、ν２″、およびν３″とすると、妥当性評価値ν
１″、ν２″、ν３″は、以下のように算出される。す
なわち、図７に示す部分文書データ集合１においては、
出現頻度が上位２個である単語１と単語２が、図８に示
す部分文書データ集合２においては、同じく単語６と単
語１０が、また、図９に示す部分文書データ集合３にお
いては、出現頻度が上位４個である単語１１、単語１
３、単語１４、単語１９が、それぞれ代表単語として選
出される。 ν１″＝（４／４＋３／４）／２＝０.８８ ν２″＝（２／４＋３／４）／２＝０.６３ ν３″＝（４／４＋３／４＋４／４＋４／４）／４＝
０.９４

【００５４】このように、各文書データの文書データ長
（即ち、単語数）に応じて、動的に変化するように算出
される代表単語数に基づいて、妥当性評価値を算出する
ことにより、文書データ長の影響が排除されることがわ
かる。

【００５５】最後に、かかる妥当性評価値の算出結果と
あらかじめ指定される閾値とに基づいて、部分文書デー
タ集合として妥当であるか否かの識別子が割り当てられ
る。例えば、算出された部分文書データ集合が、図７、
図８、図９に示す部分文書データ集合１、部分文書デー
タ集合２、部分文書データ集合３であって、それぞれの
妥当性評価値が上記ν１″、ν２″、ν３″である場合
において、妥当性評価値の前記閾値を０.８とする場
合、図７に示す部分文書データ集合１と図９に示す部分
文書データ集合３に対しては、前記閾値０.８の条件を
満たすとして、妥当とする識別子が付与され、一方、図
８に示す部分文書データ集合２には、前記閾値０.８を
満たさないとして、無効とする識別子がそれぞれ付与さ
れる。

【００５６】分類結果出力部１０６では、前記分類結果
妥当性判定部１０５にて指定された条件（すなわち、前
記妥当性評価値の前記閾値）を満たす妥当とする識別子
が割り当てられた部分文書データ集合のみを分類結果と
して適切な形式で出力する。

【００５７】図２は、本発明に係る請求項５に記載の文
書分類装置、請求項１２に記載の文書分類方法を実施す
る文書分類装置に関する実施例を説明するための文書分
類装置のブロック構成図であるが、図１に示すブロック
と同一の機能を有するブロックに関しては、同じ番号を
付している。なお、請求項１２に記載の文書分類方法を
コンピュータにプログラムとして実施させるためにコン
ピュータ読み取り可能なプログラム記録媒体として実現
させることも可能である。ここで、図２においては、図
１に示すブロック構成図の分類結果妥当性判定部１０５
と分類結果出力部１０６との間に、部分文書集合合成部
２０１と新規部分文書集合生成部２０２とを介在させて
いるものである。

【００５８】部分文書集合合成部２０１においては、分
類結果妥当性判定部１０５にて算出された各部分文書デ
ータ集合の妥当性評価値に基づいて妥当とする識別子が
付置された任意の２つの部分文書データ集合間における
関連度（即ち、類似度）を算出し、該関連度（類似度）
があらかじめ指定された閾値よりも大きい場合には、か
かる２つの部分文書データ集合を１つの部分文書データ
集合に融合・合成する。部分文書データ集合間の前記関
連度（類似度）としては、定量的な尺度で測れるもので
あれば、どのようなものでも適用可能であるが、部分文
書データ集合の前記妥当性評価値は、部分文書データ集
合内の文書データにおける表記レベルの類似性に着目し
て算出されているため、部分文書データ集合間の前記関
連度（類似度）についても、各部分文書データ集合に含
まれている文書データの表記レベルでの類似性・共通性
が考慮されたものである方が、評価基準に一貫性がある
ものと考えられる。

【００５９】かかる観点から、部分文書データ集合間の
関連度（即ち、類似度）を算出する手法の一つとして、
本出願人が先に出願した特願２０００−２９３５９７号
「文書分類装置、文書分類方法及び該方法を実行するた
めの記録媒体」にて記述しているごとき手続きを用いる
こととしても良い。即ち、該特願２０００−２９３５９
７号においては、各部分文書データ集合を代表する代表
単語セットとして位置付けられた各単語に関して、関連
語辞書を適用することにより、関連語を抽出して、各部
分文書データ集合における関連語セットを作成し、該関
連語セット及び／又は代表単語セットの出現個数に基づ
いて任意の他の部分文書データ集合との関連度（類似
度）を算出する例が示されている。なお、該特願２００
０−２９３５９７号には、関連度（類似度）の算出に用
いる前記関連語辞書としては、前述の例に限るものでは
なく、一般に、前記関連語辞書として、同義語辞書，広
義語辞書，狭義語辞書，類似語辞書，反対語辞書，兄弟
語辞書，上位概念語辞書，下位概念語辞書など、いずれ
の形式の辞書を用いてもよく、採用した関連語辞書の形
式に対応して、各部分文書データ集合間の関連情報とし
て、前記関連語セット及び／又は代表単語セットの積集
合や和集合や差集合等を用いて、前記各部分文書データ
集合間の関連度（類似度）を算出する例も示されてい
る。

【００６０】いずれにしても、かかるごときいずれかの
手続きを利用すれば、各部分文書データ集合に含まれて
いる文書データの表記レベルにおける類似性・共通性が
考慮された部分文書データ集合間の関連度（類似度）を
算出することができる。即ち、任意に選択された２つの
部分文書データ集合について、相互間の関連度（類似
度）が算出され、該関連度の値があらかじめ指定された
閾値よりも大きい値であれば、類似性があるものと判定
されて、該２つの部分文書データ集合は1つの部分文書
データに融合・合成されることとなる。

【００６１】また、新規部分文書集合生成部２０２にお
いては、分類結果妥当性判定部１０５にて算出された各
部分文書データ集合の妥当性評価値に基づいて妥当とす
る識別子が付置された任意の２つの部分文書データ集合
に関し、部分文書データ集合候補として新たに生成し、
該部分文書データ集合候補の妥当性評価値を改めて算出
し、該妥当性評価値が指定された条件を満たす場合に
は、前記部分文書データ集合候補を新たな部分文書デー
タ集合とする。すなわち、妥当とする前記識別子が付置
された任意の２つの部分文書データ集合が、部分文書集
合合成部２０１において、各部分文書データ集合間の関
連度（類似度）の観点から評価がなされた場合に、たと
え、新たな部分文書データ集合として融合・合成され得
ないと評価された場合であったとしても、新規部分文書
集合生成部２０２において、改めて、部分文書データ集
合候補として融合させた場合の妥当性評価値の観点か
ら、再度評価し直すことにより、新たな部分文書データ
集合として生成させることができる。

【００６２】部分文書集合合成部２０１と新規部分文書
集合生成部２０２との手続きの擬似コードの一例を図１
０に示す。即ち、図１０において、まず、部分文書集合
合成部２０１として、すべての部分文書データ集合に対
し、順番に昇順となる識別子を付与した後、異なる２つ
の前記識別子の部分文書データ集合を順次抽出して、２
つの部分文書データ集合間の関連度（類似度）を算出し
て、あらかじめ指定された閾値よりも大きい場合、識別
子が小さい方の部分文書データ集合に対して、識別子が
大きい方の部分文書データ集合に関する文書データの重
複がないようにして所属させた後、識別子が大きい方の
部分文書データ集合を削除する。かかる手続きを、再帰
的にすべての部分文書データ集合について、繰り返す。

【００６３】次に、新規部分文書集合生成部２０２とし
て、前記識別子が異なる２つの部分文書データ集合を順
次抽出して、該２つの部分文書データ集合の文書データ
を融合させて、部分文書データ集合候補を作成し、該部
分文書データ集合候補の妥当性評価値を算出する。該妥
当性評価値があらかじめ指定された閾値よりも大きい場
合には、前記部分文書データ集合候補に対して、新たな
識別番号を付与して、新たな部分文書データ集合とす
る。かかる手続きを、再帰的にすべての部分文書データ
集合について、繰り返す。なお、新規部分文書集合生成
部２０２の前記手続きにおいて、新たな部分文書データ
集合が作成された場合には、部分文書集合合成部２０１
に関する前記手続きに戻って、改めて、任意の２つの部
分文書データ集合間に関する関連度（類似度）の算出、
融合・合成の手続きが繰り返され、新たな部分文書デー
タの生成がなくなるまで、再帰的に、部分文書集合合成
部２０１と新規部分文書集合生成部２０２との手続き
が、繰り返される。

【００６４】図３は、本発明に係る請求項７に記載の文
書分類装置、請求項１４に記載の文書分類方法を実施す
る文書分類装置に関する実施例を説明するための文書分
類装置のブロック構成図であるが、図１，図２に示すブ
ロックと同一の機能を有するブロックに関しては、同じ
番号を付している。なお、請求項１４に記載の文書分類
方法をコンピュータにプログラムとして実施させるため
にコンピュータ読み取り可能なプログラム記録媒体とし
て実現させることも可能である。ここで、図３において
は、図２に示す文書ベクトル空間生成部１０３と文書分
類部１０４との間に、分類数決定部３０１を、また、文
書分類部１０４と分類結果妥当性判定部１０５との間
に、繰り返し判定部３０２とを介在させているものであ
る。

【００６５】分類数決定部３０１においては、繰り返し
て文書データの分類を行なう際の分類数を決定する。分
類数としては、｛定数×分類繰り返し数｝を用いること
としても良い。一方、繰り返し判定部３０２では、繰り
返して文書データの分類を行なう際の繰り返しを継続す
るか否かの判定を行なう。かかる分類数決定部３０１と
繰り返し判定部３０２との手続きを実現させる一つの手
法として、本出願人が先に出願した特願２０００−２９
３５９７号「文書分類装置、文書分類方法及び該方法を
実行するための記録媒体」にて記述しているごとき手続
きを用いることとしても良い。即ち、該特願２０００−
２９３５９７号においては、たとえば、次の手続きによ
って、分類数を決定する例が示されている

【００６６】分類数決定部３０１の手続きとしては、前
記定数を示す分類数をＮとし、前記分類繰り返し数をＬ
とし、更に、最大繰り返し数をＭとして、まず、分類繰
り返し数Ｌの初期値として「１」を設定して、文書分類
部１０４を起動する。ここで、文書分類部１０４におい
ては、前記文書データベクトルの中から、ランダムにＬ
×Ｎ個のベクトルを選出して、選出された各ベクトルを
重心ベクトルとする手続きがなされることになるが、分
類繰り返し数Ｌの初期値が「１」である場合には、前述
した図６に示す場合と同様に、分類数はＮ個のままであ
り、前記重心ベクトル数はＮ個である。文書分類部１０
４の手続きが終了すると、繰り返し判定部３０２が起動
されるので、該繰り返し判定部３０２において、分類繰
り返し数Ｌが、最大繰り返し数Ｍに達しているかが判定
される。まだ、分類繰り返し数Ｌが最大繰り返し数Ｍに
達していない場合は、分類繰り返し数Ｌに「１」を加算
して、再度、文書分類部１０４の手続きを繰り返させ
る。かかる場合、分類繰り返し数Ｌの値が初期値から更
新されているので、文書分類部１０４においては、分類
数がＬ×Ｎ個となり、前記重心ベクトル数もＬ×Ｎ個と
なる。以降、同様の手続きを、分類繰り返し数Ｌが、最
大繰り返し数Ｍに到達するまで繰り返させる。

【００６７】

【発明の効果】請求項１，８，１５に記載の発明におい
ては、文書データ集合に対して、類似性を測定すること
ができる統計的手法を適用することにより、生成される
すべての部分文書データ集合に対し、各部分文書データ
集合に出現する単語情報等の解析情報を基にして、各部
分文書データ集合の内容（すなわち、帰属させた文書デ
ータ）に関する妥当性の評価値を算出し、かかる妥当性
評価値を用いることにより、ユーザが実際に内容を評価
するに値する部分文書データ集合（すなわち、類似性が
あると判定された文書データからなる部分文書データ集
合）のみを分類結果として出力する文書分類装置を提供
することができる。

【００６８】請求項２，９，１６に記載の発明において
は、部分文書データ集合の妥当性の評価値を、部分文書
データ集合に帰属された文書データにおける単語の出現
頻度か、あるいは、前記単語の出現頻度と部分文書デー
タ集合に帰属された文書データの個数を基に算出するこ
とにより、部分文書データ集合に帰属された文書データ
において、より多くの単語が、より多くの文書データで
共有されていればいるほど、妥当性が高くなるような妥
当性評価値（すなわち、類似性が高い文書データの集合
と判断される評価値）を算出することができる。さら
に、前記妥当性評価値に対して、部分文書データ集合に
帰属された文書データの個数が少ない場合は、相対的に
妥当性が低くなるような因子を付加することにより、部
分文書データ集合における文書データ数も含む妥当性評
価値を算出することができる。

【００６９】請求項３，１０，１７に記載の発明におい
ては、部分文書データ集合に所属する文書データの単語
数を基に、あらかじめ指定された基準により代表単語数
を算出し、算出された前記代表単語数の単語だけを用い
て、部分文書データ集合の妥当性の評価値を算出するこ
とにより、文書データの長さに依存しない良質な妥当性
評価値を算出することができる。

【００７０】請求項４，１１，１８に記載の発明におい
ては、部分文書データ集合に所属する文書データのう
ち、部分文書データ集合の代表値との類似度が高い文書
データ、すなわち、部分文書データ集合に所属する妥当
性が高い文書データのみを対象として、部分文書データ
集合の妥当性評価値を算出することにより、より良質な
評価値を算出することができる。

【００７１】請求項５，１２，１９に記載の発明におい
ては、生成した部分文書データ集合の中から任意に選択
した２つの部分文書データ集合について、まず、該２つ
の部分文書データ集合間の関連度（類似度）を算出し、
該関連度の値があらかじめ指定された閾値よりも大きい
値であれば、該２つの部分文書データ集合を１つの新た
な部分文書データ集合に融合し、該関連度があらかじめ
指定された前記値未満であっても、該２つの部分文書デ
ータ集合を１つの別の部分文書データ集合候補と見なし
た場合の妥当性評価値を算出し、算出された該妥当性評
価値があらかじめ指定された条件を満たすような場合、
前記部分文書データ集合候補を新たな部分文書データ集
合として融合する処理を、再帰的に、すべての部分文書
データ集合について繰り返し行なうことにより、内容的
に類似した２つの部分文書データ集合から、より抽象的
な内容をもつ部分文書データ集合を生成することができ
る。

【００７２】請求項６，１３，２０に記載の発明におい
ては、非階層クラスタリング手法を用いて生成した部分
文書データ集合に対し、妥当性評価値を算出し、あらか
じめ指定される値以上の妥当性評価値を有する部分文書
データ集合のみを結果として出力することにより、良質
な内容を有する部分文書データ集合のみを出力すること
ことができ、また、特に、初期クラスタ数を比較的多く
設定することにより、自動的に内容の妥当性が保証され
た部分文書データ集合を複数自動生成することができる
ので、非階層クラスタリング手法の際に、しばしば問題
となる初期クラスタ数の決定に対する解決策を提供する
ことができる。

【００７３】請求項７，１４，２１に記載の発明におい
ては、クラスタ数を変更させて生成した部分文書データ
集合に対し、妥当性評価値による選別と、新たな部分文
書データ集合の生成の処理を行なうことにより、分類対
象である文書データの集合から可能な限りの妥当性が保
証された部分文書データ集合を抽出することができる。

【図面の簡単な説明】

【図１】 本発明に係る請求項１乃至４および請求項６
に記載の文書分類装置、請求項８乃至１１および請求項
１３に記載の文書分類方法を実施する文書分類装置に関
する実施例を説明するための文書分類装置のブロック構
成図である。

【図２】 本発明に係る請求項５に記載の文書分類装
置、請求項１２に記載の文書分類方法を実施する文書分
類装置に関する実施例を説明するための文書分類装置の
ブロック構成図である。

【図３】 本発明に係る請求項７に記載の文書分類装
置、請求項１４に記載の文書分類方法を実施する文書分
類装置に関する実施例を説明するための文書分類装置の
ブロック構成図である。

【図４】 文書データに対して形態素解析を適用し、表
記と品詞とがユニークである単語を同定し、一意な識別
番号を付与し、各文書データに関し、該各文書データを
構成する単語の識別番号とその出現頻度を表現するため
の擬似コードの一例を示す図である。

【図５】 文書データ全体としてユニークな単語の出現
頻度を正規化させた正規化出現頻度によって、各文書デ
ータに関する文書データベクトルを生成する擬似コード
の一例を示す図である。

【図６】 クラスタリング手法を用いて、文書データベ
クトルを複数の部分文書データ集合に分類する擬似コー
ドの一例を示す図である。

【図７】 部分文書データ集合１における単語の出現頻
度の例を示す図である。

【図８】 部分文書データ集合２における単語の出現頻
度の例を示す図である。

【図９】 部分文書データ集合３における単語の出現頻
度の例を示す図である。

【図１０】 部分文書集合合成部と新規部分文書集合生
成部とにおける手続きの擬似コードの一例を示す図であ
る。

【符号の説明】

１０１…文書入力部、１０２…文書解析部、１０３…文
書ベクトル空間生成部、１０４…文書分類部、１０４ａ
…類似度算出部、１０５…分類結果妥当性判定部、１０
６…分類結果出力部、２０１…部分文書集合合成部、２
０２…新規部分文書集合生成部、３０１…分類数決定
部、３０２…繰り返し判定部。

Claims (21)

【特許請求の範囲】
1. 【請求項１】 複数の文書データからなる文書データ集
   合を、該文書データの内容に従って分類する文書分類装
   置において、該文書データの集合を入力する文書入力手
   段と、該文書入力手段にて入力された前記文書データ毎
   に形態素解析を適用し、各前記文書データを構成する単
   語を、該単語の品詞情報等と共に、解析情報として抽出
   する文書解析手段と、該文書解析手段にて抽出された前
   記解析情報に基づいて、前記文書データを多次元ベクト
   ル空間で表現するための文書ベクトル空間を生成する文
   書ベクトル空間生成手段と、前記文書解析手段にて抽出
   された前記解析情報に基づいて、類似性を測定すること
   ができる統計手法を用いることにより、あらかじめ指定
   された個数からなる複数の部分文書データ集合を生成
   し、該指定された複数個の部分文書データ集合それぞれ
   に、前記文書データ集合を構成する前記各文書データを
   分類して帰属させる文書分類手段と、該文書分類手段に
   て生成された各前記部分文書データ集合について、各前
   記部分文書データ集合に帰属させた前記文書データに関
   する前記解析情報に基づいて、各前記部分文書データ集
   合毎の妥当性評価値を算出し、各前記部分文書データ集
   合に対して、前記妥当性評価値があらかじめ指定された
   条件を満たすか否かを示す識別子を割り当てる分類結果
   妥当性判定手段と、該分類結果妥当性判定手段にてあら
   かじめ指定された前記条件を満たす前記識別子が割り当
   てられた前記部分文書データ集合のみを分類結果として
   出力する分類結果出力手段と、を含むことを特徴とする
   文書分類装置。
2. 【請求項２】 請求項１に記載の文書分類装置におい
   て、前記分類結果妥当性判定手段にて算出される各前記
   部分文書データ集合の前記妥当性評価値が、該部分文書
   データ集合に帰属させた前記文書データにおける単語の
   出現頻度、もしくは、前記出現頻度と該部分文書データ
   集合に帰属させた前記文書データの個数に基づいて算出
   されることを特徴とする文書分類装置。
3. 【請求項３】 請求項２に記載の文書分類装置におい
   て、前記分類結果妥当性判定手段にて算出される各前記
   部分文書データ集合の前記妥当性評価値における前記単
   語の前記出現頻度が、該部分文書データ集合に帰属させ
   た前記文書データの単語数とあらかじめ定められた基準
   値とに基づいて、該部分文書データ集合において抽出す
   べき単語数を示す代表単語数を算出し、前記代表単語数
   が示す個数の単語の出現頻度だけを用いることを特徴と
   する文書分類装置。
4. 【請求項４】 請求項１乃至請求項３のいずれかに記載
   の文書分類装置において、各前記文書データについて、
   該文書データが帰属された各前記部分文書データ集合の
   代表値との類似度を算出する類似度算出手段を、さらに
   含み、かつ、前記分類結果妥当性判定手段にて算出され
   る前記妥当性評価値が、前記類似度算出手段にて算出さ
   れた各文書データの前記類似度があらかじめ定められた
   類似基準値以上となる文書データのみを用いて算出され
   ることを特徴とする文書分類装置。
5. 【請求項５】 請求項１乃至請求項４のいずれかに記載
   の文書分類装置において、前記分類結果妥当性判定手段
   にて、あらかじめ指定された前記条件を満たす前記識別
   子が割り当てられた部分文書データ集合のうち、任意の
   ２つの部分文書データ集合について、部分文書データ集
   合間の関連度を算出し、該関連度が、あらかじめ指定さ
   れた閾値よりも大きい値である場合は、該２つの前記部
   分文書データ集合を１つの新たな部分文書データ集合と
   して融合・合成させる部分文書集合合成手段と、あらか
   じめ指定された前記条件を満たす前記識別子が割り当て
   られた部分文書データ集合のうち、任意の２つの部分文
   書データ集合について、新たに１つの部分文書データ集
   合候補として生成し、該部分文書データ集合候補に関す
   る前記妥当性評価値を改めて算出し、該妥当性評価値が
   あらかじめ指定された前記条件を満たす場合には、前記
   部分文書データ集合候補を１つの新たな部分文書データ
   集合として生成する新規部分文書集合生成手段と、をさ
   らに含み、すべての２つの部分文書データ集合につい
   て、前記部分文書集合合成手段と前記新規部分文書集合
   生成手段とを再帰的に繰り返し実行せしめることを特徴
   とする文書分類装置。
6. 【請求項６】 請求項１乃至請求項５のいずれかに記載
   の文書分類装置において、前記文書分類手段にて用いら
   れる前記統計手法が、非階層クラスタリング手法である
   ことを特徴とする文書分類装置。
7. 【請求項７】 請求項１乃至請求項６のいずれかに記載
   の文書分類装置において、前記文書データ集合の分類数
   を決定する分類数決定手段と、該分類数決定手段から前
   記文書分類手段までの手続きを繰り返し行なうか否かの
   判定をおこなう繰り返し判定手段とを、さらに含むこと
   を特徴とする文書分類装置。
8. 【請求項８】 複数の文書データからなる文書データ集
   合を、該文書データの内容に従って分類する文書分類方
   法において、該文書データの集合を入力する文書入力ス
   テップと、該文書入力ステップにて入力された前記文書
   データ毎に形態素解析を適用し、各前記文書データを構
   成する単語を、該単語の品詞情報等と共に、解析情報と
   して抽出する文書解析ステップと、該文書解析ステップ
   にて抽出された前記解析情報に基づいて、前記文書デー
   タを多次元ベクトル空間で表現するための文書ベクトル
   空間を生成する文書ベクトル空間生成ステップと、前記
   文書解析ステップにて抽出された前記解析情報に基づい
   て、類似性を測定することができる統計手法を用いるこ
   とにより、あらかじめ指定された個数からなる複数の部
   分文書データ集合を生成し、該指定された複数個の部分
   文書データ集合それぞれに、前記文書データ集合を構成
   する前記各文書データを分類して帰属させる文書分類ス
   テップと、該文書分類ステップにて生成された各前記部
   分文書データ集合について、各前記部分文書データ集合
   に帰属させた前記文書データに関する前記解析情報に基
   づいて、各前記部分文書データ集合毎の妥当性評価値を
   算出し、各前記部分文書データ集合に対して、前記妥当
   性評価値があらかじめ指定された条件を満たすか否かを
   示す識別子を割り当てる分類結果妥当性判定ステップ
   と、該分類結果妥当性判定ステップにてあらかじめ指定
   された前記条件を満たす前記識別子が割り当てられた前
   記部分文書データ集合のみを分類結果として出力する分
   類結果出力ステップと、を含むことを特徴とする文書分
   類方法。
9. 【請求項９】 請求項８に記載の文書分類方法におい
   て、前記分類結果妥当性判定ステップにて算出される各
   前記部分文書データ集合の前記妥当性評価値が、該部分
   文書データ集合に帰属させた前記文書データにおける単
   語の出現頻度、もしくは、前記出現頻度と該部分文書デ
   ータ集合に帰属させた前記文書データの個数に基づいて
   算出されることを特徴とする文書分類方法。
10. 【請求項１０】 請求項９に記載の文書分類方法におい
    て、前記分類結果妥当性判定ステップにて算出される各
    前記部分文書データ集合の前記妥当性評価値における前
    記単語の前記出現頻度が、該部分文書データ集合に帰属
    させた前記文書データの単語数とあらかじめ定められた
    基準値とに基づいて、該部分文書データ集合において抽
    出すべき単語数を示す代表単語数を算出し、前記代表単
    語数が示す個数の単語の出現頻度だけを用いることを特
    徴とする文書分類方法。
11. 【請求項１１】 請求項８乃至請求項１０のいずれかに
    記載の文書分類方法において、各前記文書データについ
    て、該文書データが帰属された各前記部分文書データ集
    合の代表値との類似度を算出する類似度算出ステップ
    を、さらに含み、かつ、前記分類結果妥当性判定ステッ
    プにて算出される前記妥当性評価値が、前記類似度算出
    ステップにて算出された各文書データの前記類似度があ
    らかじめ定められた類似基準値以上となる文書データの
    みを用いて算出されることを特徴とする文書分類方法。
12. 【請求項１２】 請求項８乃至請求項１１のいずれかに
    記載の文書分類方法において、前記分類結果妥当性判定
    ステップにて、あらかじめ指定された前記条件を満たす
    前記識別子が割り当てられた部分文書データ集合のう
    ち、任意の２つの部分文書データ集合について、部分文
    書データ集合間の関連度を算出し、該関連度が、あらか
    じめ指定された閾値よりも大きい値である場合は、該２
    つの前記部分文書データ集合を１つの新たな部分文書デ
    ータ集合として融合・合成させる部分文書集合合成ステ
    ップと、あらかじめ指定された前記条件を満たす前記識
    別子が割り当てられた部分文書データ集合のうち、任意
    の２つの部分文書データ集合について、新たに１つの部
    分文書データ集合候補として生成し、該部分文書データ
    集合候補に関する前記妥当性評価値を改めて算出し、該
    妥当性評価値があらかじめ指定された前記条件を満たす
    場合には、前記部分文書データ集合候補を１つの新たな
    部分文書データ集合として生成する新規部分文書集合生
    成ステップと、をさらに含み、すべての２つの部分文書
    データ集合について、前記部分文書集合合成ステップと
    前記新規部分文書集合生成ステップとを再帰的に繰り返
    し実行せしめることを特徴とする文書分類方法。
13. 【請求項１３】 請求項８乃至請求項１２のいずれかに
    記載の文書分類方法において、前記文書分類ステップに
    て用いられる前記統計手法が、非階層クラスタリング手
    法であることを特徴とする文書分類方法。
14. 【請求項１４】 請求項８乃至請求項１３のいずれかに
    記載の文書分類方法において、前記文書データ集合の分
    類数を決定する分類数決定ステップと、該分類数決定ス
    テップから前記文書分類ステップまでの手続きを繰り返
    し行なうか否かの判定をおこなう繰り返し判定ステップ
    とを、さらに含むことを特徴とする文書分類方法。
15. 【請求項１５】 複数の文書データからなる文書データ
    集合を、該文書データの内容に従って分類する文書分類
    方法を、コンピュータでプログラムとして実施させるこ
    とを可能とするコンピュータ読み取り可能なプログラム
    記録媒体において、該文書データの集合を入力する文書
    入力ステップと、該文書入力ステップにて入力された前
    記文書データ毎に形態素解析を適用し、各前記文書デー
    タを構成する単語を、該単語の品詞情報等と共に、解析
    情報として抽出する文書解析ステップと、該文書解析ス
    テップにて抽出された前記解析情報に基づいて、前記文
    書データを多次元ベクトル空間で表現するための文書ベ
    クトル空間を生成する文書ベクトル空間生成ステップ
    と、前記文書解析ステップにて抽出された前記解析情報
    に基づいて、類似性を測定することができる統計手法を
    用いることにより、あらかじめ指定された個数からなる
    複数の部分文書データ集合を生成し、該指定された複数
    個の部分文書データ集合それぞれに、前記文書データ集
    合を構成する前記各文書データを分類して帰属させる文
    書分類ステップと、該文書分類ステップにて生成された
    各前記部分文書データ集合について、各前記部分文書デ
    ータ集合に帰属させた前記文書データに関する前記解析
    情報に基づいて、各前記部分文書データ集合毎の妥当性
    評価値を算出し、各前記部分文書データ集合に対して、
    前記妥当性評価値があらかじめ指定された条件を満たす
    か否かを示す識別子を割り当てる分類結果妥当性判定ス
    テップと、該分類結果妥当性判定ステップにてあらかじ
    め指定された前記条件を満たす前記識別子が割り当てら
    れた前記部分文書データ集合のみを分類結果として出力
    する分類結果出力ステップと、を含む文書分類方法を、
    コンピュータでプログラムとして実施させることを可能
    とすることを特徴とするコンピュータ読み取り可能なプ
    ログラム記録媒体。
16. 【請求項１６】 請求項１５に記載の文書分類方法をコ
    ンピュータでプログラムとして実施させることを可能と
    するコンピュータ読み取り可能なプログラム記録媒体に
    おいて、前記分類結果妥当性判定ステップにて算出され
    る各前記部分文書データ集合の前記妥当性評価値が、該
    部分文書データ集合に帰属させた前記文書データにおけ
    る単語の出現頻度、もしくは、前記出現頻度と該部分文
    書データ集合に帰属させた前記文書データの個数に基づ
    いて算出される文書分類方法を、コンピュータでプログ
    ラムとして実施させることを可能とすることを特徴とす
    るコンピュータ読み取り可能なプログラム記録媒体。
17. 【請求項１７】 請求項１６に記載の文書分類方法をコ
    ンピュータでプログラムとして実施させることを可能と
    するコンピュータ読み取り可能なプログラム記録媒体に
    おいて、前記分類結果妥当性判定ステップにて算出され
    る各前記部分文書データ集合の前記妥当性評価値におけ
    る前記単語の前記出現頻度が、該部分文書データ集合に
    帰属させた前記文書データの単語数とあらかじめ定めら
    れた基準値とに基づいて、該部分文書データ集合におい
    て抽出すべき単語数を示す代表単語数を算出し、前記代
    表単語数が示す個数の単語の出現頻度だけを用いる文書
    分類方法を、コンピュータでプログラムとして実施させ
    ることを可能とすることを特徴とするコンピュータ読み
    取り可能なプログラム記録媒体。
18. 【請求項１８】 請求項１５乃至請求項１７のいずれか
    に記載の文書分類方法をコンピュータでプログラムとし
    て実施させることを可能とするコンピュータ読み取り可
    能なプログラム記録媒体において、各前記文書データに
    ついて、該文書データが帰属された各前記部分文書デー
    タ集合の代表値との類似度を算出する類似度算出ステッ
    プを、さらに含み、かつ、前記分類結果妥当性判定ステ
    ップにて算出される前記妥当性評価値が、前記類似度算
    出ステップにて算出された各文書データの前記類似度が
    あらかじめ定められた類似基準値以上となる文書データ
    のみを用いて算出される文書分類方法を、コンピュータ
    でプログラムとして実施させることを可能とすることを
    特徴とするコンピュータ読み取り可能なプログラム記録
    媒体。
19. 【請求項１９】 請求項１５乃至請求項１８のいずれか
    に記載の文書分類方法をコンピュータでプログラムとし
    て実施させることを可能とするコンピュータ読み取り可
    能なプログラム記録媒体において、前記分類結果妥当性
    判定ステップにて、あらかじめ指定された前記条件を満
    たす前記識別子が割り当てられた部分文書データ集合の
    うち、任意の２つの部分文書データ集合について、部分
    文書データ集合間の関連度を算出し、該関連度が、あら
    かじめ指定された閾値よりも大きい値である場合は、該
    ２つの前記部分文書データ集合を１つの新たな部分文書
    データ集合として融合・合成させる部分文書集合合成ス
    テップと、あらかじめ指定された前記条件を満たす前記
    識別子が割り当てられた部分文書データ集合のうち、任
    意の２つの部分文書データ集合について、新たに１つの
    部分文書データ集合候補として生成し、該部分文書デー
    タ集合候補に関する前記妥当性評価値を改めて算出し、
    該妥当性評価値があらかじめ指定された前記条件を満た
    す場合には、前記部分文書データ集合候補を１つの新た
    な部分文書データ集合として生成する新規部分文書集合
    生成ステップと、をさらに含み、すべての２つの部分文
    書データ集合について、前記部分文書集合合成ステップ
    と前記新規部分文書集合生成ステップとを再帰的に繰り
    返し実行せしめる文書分類方法を、コンピュータでプロ
    グラムとして実施させることを可能とすることを特徴と
    するコンピュータ読み取り可能なプログラム記録媒体。
20. 【請求項２０】 請求項１５乃至請求項１９のいずれか
    に記載の文書分類方法をコンピュータでプログラムとし
    て実施させることを可能とするコンピュータ読み取り可
    能なプログラム記録媒体において、前記文書分類ステッ
    プにて用いられる前記統計手法が、非階層クラスタリン
    グ手法である文書分類方法を、コンピュータでプログラ
    ムとして実施させることを可能とすることを特徴とする
    コンピュータ読み取り可能なプログラム記録媒体。
21. 【請求項２１】 請求項１５乃至請求項２０のいずれか
    に記載の文書分類方法をコンピュータでプログラムとし
    て実施させることを可能とするコンピュータ読み取り可
    能なプログラム記録媒体において、前記文書データ集合
    の分類数を決定する分類数決定ステップと、該分類数決
    定ステップから前記文書分類ステップまでの手続きを繰
    り返し行なうか否かの判定をおこなう繰り返し判定ステ
    ップとを、さらに含む文書分類方法を、コンピュータで
    プログラムとして実施させることを可能とすることを特
    徴とするコンピュータ読み取り可能なプログラム記録媒
    体。