JP2001290826A

JP2001290826A - 文書分類装置、文書分類方法及び文書分類プログラムを記録した記録媒体

Info

Publication number: JP2001290826A
Application number: JP2000103890A
Authority: JP
Inventors: Tetsuo Nagatsuka; 哲郎長束
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2000-04-05
Filing date: 2000-04-05
Publication date: 2001-10-19

Abstract

(57)【要約】【課題】文書の分類基準を他の文書群にも適用でき、ユ
ーザの意図を直接的に表現することができ、文書の部分
的な話題の適合による文書部分集合を生成することがで
きる文書分類装置を提供することを目的とする。【解決手段】文書群を文書の内容に従って文書部分集
合に分類する文書分類装置が提供され、文書データを入
力する文書入力部と、文書群を文書の内容に従って１つ
以上の一次文書部分集合に分類する文書分類部と、生成
された一次文書部分集合から求めるべき文書部分集合の
基準となる文書部分集合定義を生成する文書部分集合定
義生成部と、生成された文書部分集合定義を記憶する文
書部分集合定義記憶部と、記憶された文書部分集合定義
を用いて文書部分集合を生成する文書部分集合生成部
と、生成された文書部分集合を記憶する文書部分集合記
憶部と、記憶された文書部分集合を表示する文書部分集
合表示部とを有するよう構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書集合をその内
容に基づいて自動分類する技術に関する。

【０００２】

【従来の技術】文書集合をその内容に基づいて自動分類
する文書自動分類装置としては、分類対象文書集合に含
まれる単語を特徴量とする文書特徴ベクトルを用い、そ
の文書特徴ベクトルに対してクラスタリング手法を適用
して分類を行う自動分類装置（特開平７−３６８９７）
や、単語の多義性／同義性を考慮するために文書間の内
積行列に特異値分解を適用することにより文書間の単語
の共起性を基に潜在的意味空間を生成して、文書と単語
を潜在的意味空間に射影し、その潜在的意味空間におい
てクラスタリング手法などを用いて文書分類を行う文書
分類手法（論文“Projections for Efficient Document
Clustering”）などがある。これらの手法は文書を単
語に基づいた特徴ベクトルで表現し、その特徴空間内で
の文書間の類似性を用いてクラスタリングなどの手法を
適用することで文書を分類するものである。

【０００３】上記論文における文書分類装置において
は、文書を単語に基づいた特徴ベクトルで表現し、単語
の多義性／同義性を考慮するために文書間の内積行列に
特異値分解を適用することにより文書間の単語の共起性
を基に潜在的意味空間を生成して、文書と単語を潜在的
意味空間に射影し、その潜在的意味空間においてクラス
タリング手法などを用いて文書分類を行う方法をとって
いる。本方法における欠点としては、１）ある文書集合
に対して行った分類構造や文書部分集合基準を他の文書
集合に適用すること（分類基準の再利用）ができない。
２）生成された文書部分集合をユーザが自分が望むよう
に修正することが難しい。３）特定の既知の話題を含む
文書部分集合が望まれる場合（ユーザの意図が明確な場
合）に、それを指定して望む文書部分集合を生成するこ
とが難しい。４）文書が複数の話題で構成される場合、
文書全体の類似性によって文書部分集合を生成するの
で、文書の内容に含まれる話題ごとに文書を分類、整理
することが難しい、などがあげられる。

【０００４】

【発明が解決しようとする課題】上述したように、文書
群を文書の内容に従って分類する文書分類における従釆
技術では、分類対象文書集合に含まれる単語を特徴量と
する文書特徴ベクトルを用いてその文書特徴ベクトルに
対してクラスタリング手法を適用したり、あるいは文書
特徴ベクトルを用いて文書間の単語の共起性を基に潜在
的意味空間を生成して、文書と単語を潜在的意味空間に
射影し、その潜在的意味空間においてクラスタリング手
法を適用する技術がある。こうした従来の技術では以下
のような問題点があった。

【０００５】１）ある文書群で行った分類の分類構造や
分類によって生成される文書部分集合の分類基準を別の
文書群に適用し、同じ内容の分類を生成することができ
ない。これは、従来技術では分類対象である文書群毎に
特徴空間を計算するために、文書群が異なると分類基準
の基礎となる特徴空間も異なるために、ある文書群に対
して行った文書分類の基準を別の文書群に適用すること
ができないからである。

【０００６】２）望む文書部分集合を生成するために、
ユーザが文書分類処理を操作することが難しい。つま
り、生成された文書部分集合の修正を行ったり、文書部
分集合を生成するための分類基準（話題）が明確な場合
に文書部分集合を生成することが難しい。これは、文書
特徴ベクトルなどによる特徴空間上でのクラスタリング
による文書分類では、ユーザが意図した分類基準（話
題）を直接的に指定するためのパラメータがなく、ユー
ザが意図通りに文書部分集合を修正したり、また、あら
かじめ文書部分集合を生成するための基準である話題が
明確である場合に望む文書部分集合を生成することが難
しいからである。

【０００７】３）複数の話題を含む文書の分類におい
て、文書の部分的な話題の適合によって文書部分集合を
生成することができない。これは、従来技術では文書全
体での類似性により文書の分類を行うために、話題の組
み合わせが似ている文書を類似しているとみなし、文書
の部分的な話題の類似性を計算することができないから
である。

【０００８】さて、ある基準をもとに文書を収集する技
術としては文書検索技術がある。文書検索技術では単語
の論理式によって検索基準（検索式）を表現し、検索式
を満たす文書を収集する方法が一般的である。文書検索
技術では、１）検索基準が単語の論理式であるので対象
となる文書群が変わっても同じ検索基準を適用すること
ができる、２）ユーザは単語の論理式という直接的な方
法で検索基準を表現することができ、検索基準が明確な
場合の検索や検索式の修正による検索結果の修正などを
行うことができる、３）文書検索技術では、単語の論理
式による文書内の部分的なマッチングを算出することが
でき、文書の部分的な話題の適合による文書の収集を行
うことができる、というように上記の文書分類技術にな
い利点がある。しかし、文書分類という課題に関しては
文書検索技術は以下の問題を有している。

【０００９】４）文書群に含まれる話題を自動的に抽出
して分類することができない。ユーザが検索基準を明示
する必要がある。

【００１０】５）文書検索技術によって収集される文書
部分集合は、ある話題の含む文書からなる文書部分集合
としてはノイズが多く、関係のない文書を多く含む可能
性がある。

【００１１】本発明は、上記の問題点に鑑みてなされた
ものであり、文書の分類基準を他の文書群にも適用で
き、ユーザの意図を直接的に表現することができ、文書
の部分的な話題の適合による文書部分集合を生成するこ
とができる文書分類装置を提供することを目的とする。

【００１２】

【課題を解決するための手段】本発明では従来の文書分
類技術を文書群に含まれる話題を抽出する技術として利
用し、その結果を利用して文書部分集合を生成するため
の分類基準である文書部分集合定義を生成する。文書部
分集合の生成には文書検索技術を応用し、文書部分集合
定義に適合する文書を収集することで文書部分集合を生
成する。これにより、１）文書部分集合定義を記憶し、
別の文書群に適用することができる、２）ユーザは文書
部分定義を作成、編集することにより、意図を直接的に
表現することができる、３）情報検索技術を応用するこ
とで文書の部分的な話題の類似性を算出することがで
き、文書の部分的な話題の適合による文書部分集合を生
成することができる、というように従来の問題を解決す
ることができる。

【００１３】文書検索技術を文書部分集合生成に利用す
ることの問題のうち、５）文書集合に関係のない文書を
多く含む可能性がある、については文書部分集合定義と
して単語の論理式だけでなく、文書部分集合に対する文
書の適合度を用いたしきい値処理やユーザによる文書部
分集合に帰属する文書の指定などにより、ユーザの望む
文書部分集合を生成することができるようにすることな
どで解決する。

【００１４】請求項１に記載の発明は、文書群を文書の
内容に従って分類する文書分類装置であって、文書群を
所定の方法で分類した一次文書部分集合から作成した文
書部分集合定義を用いて文書部分集合を生成する文書部
分集合生成部と、生成された文書部分集合を出力する文
書部分集合出力部とを有する。

【００１５】本発明によれば、文書部分集合定義を用い
て文書部分集合を生成するので、文書部分集合定義の内
容を適宜変更することによって、ユーザは自分の意図を
反映させた文書部分集合を得ることができる。また、他
の文書群にもその文書部分集合定義を適用することが可
能となる。

【００１６】請求項２に記載された発明は、文書群を文
書の内容に従って文書部分集合に分類する文書分類装置
であって、文書データを入力する文書入力部と、文書群
を文書の内容に従って１つ以上の一次文書部分集合に分
類する文書分類部と、生成された一次文書部分集合から
求めるべき文書部分集合の基準となる文書部分集合定義
を生成する文書部分集合定義生成部と、生成された文書
部分集合定義を記憶する文書部分集合定義記憶部と、記
憶された文書部分集合定義を用いて文書部分集合を生成
する文書部分集合生成部と、生成された文書部分集合を
記憶する文書部分集合記憶部と、記憶された文書部分集
合を表示する文書部分集合表示部とを有する。

【００１７】本発明によれば、文書部分集合定義を記
憶、複製することで、ある文書群に対して行った分類で
生成された文書部分集合の分類基準を、別の文書群に適
用することができる。

【００１８】請求項３に記載された発明は、請求項１又
は２の記載において、ユーザが前記文書部分集合定義を
生成もしくは編集するための文書部分集合定義指定部を
含む。

【００１９】本発明によれば、文書部分集合定義をユー
ザが生成、修正することできるようになる。これにより
望む文書部分集合の分類基準が明確な場合に、ユーザが
文書部分集合定義を生成することで意図を直接的に表現
することができる。また、生成された文書部分集合の文
書部分集合定義を修正することで、文書部分集合を意図
に合うように簡単に修正することができる。

【００２０】請求項４に記載された発明は、請求項１又
は２の記載において、前記文書部分集合定義は、単語論
理式及び適合度しきい値を含み、該単語論理式を、前記
一次文書部分集合から抽出した単語のうち出現率が所定
値以上の単語を用いて構成する。

【００２１】本発明によれば、文書部分集合定義として
単語の論理式を使用するので、ユーザは分類基準である
話題を単語により直接的に表現することができる。また
単語の論理式を用いることで文書部分集合生成において
全文検索技術などの検索技術を利用することができる。
また、適合度しきい値を用いることによって、検索され
た文書を文書部分集合に含めるかどうかの判断を容易に
行うことができる。

【００２２】請求項５に記載された発明は、請求項４の
記載において、前記文書部分集合生成部は、前記単語論
理式を用いて文書を検索し、検索された各文書の適合度
を算出し、該適合度を前記適合度しきい値と比較するこ
とによって文書部分集合を生成することとする。これに
より、例えば、適合度しきい値以下の適合度の文書を文
書部分集合に含めないことによって、文書部分集合内に
関係のない文書を含まないようにすることができる。

【００２３】請求項６に記載された発明は、請求項４の
記載において、前記適合度しきい値を、前記文書部分集
合生成部において自動的に決定する。例えば、文書の適
合度の変化点を抽出することによって適合度しきい値を
自動的に決定することができ、これにより、文書分類処
理を迅速に行うことができる。

【００２４】請求項７に記載された発明は、請求項１な
いし４のうちの1項の記載において、前記文書部分集合
定義は帰属文書指定情報を含み、該帰属文書指定情報
は、前記一次文書部分集合の中の文書が文書部分集合に
属するか否かを示す情報を含み、ユーザにより設定する
ようにする。

【００２５】本発明によれば、単語の論理式では収集で
きない文書部分集合に帰属すべき文書を収集することが
できる。また、単語の論理式や適合度のしきい値処理で
は文書部分集合から排除することのできない文書を排除
することができる。

【００２６】請求項８に記載された発明は、請求項１な
いし４のうちの1項の記載において、前記文書部分集合
定義は、既存の文書部分集合の演算式を含むようにす
る。

【００２７】本発明によれば、ユーザは既存の文書部分
集合の文書部分集合定義を再利用したり、複数の文書部
分集合の集合演算結果を新たな文書部分集合として生成
することができる。

【００２８】請求項９に記載された発明は、請求項１な
いし４のうちの1項の記載において、文書の文書部分集
合への適合度を複数の異なる適合度算出方法で算出し、
算出された適合度を生成された文書部分集合とともに表
示する手段と、ユーザに該複数の異なる適合度算出方法
の中から所望の適合度算出方法を指定させる手段とを有
する。

【００２９】本発明によれば、ユーザは自分の意図に合
った文書部分集合を得ることができる。

【００３０】請求項１０に記載された発明は、請求項１
ないし４のうちの1項の記載において、前記文書部分集
合定義として複数種類の単語論理式を用いて文書部分集
合生成を行う手段を有する。

【００３１】本発明によれば、例えば１つめの単語論理
式によって文書部分集合に帰属する文書を収集し、２つ
めの単語論理式により１つめの単語論理式によって集め
られた文書部分集合内の文書に対して文書部分集合に対
する適合度を計算することができる。文書の収集基準と
適合度計算基準を変えることで、まず文書部分集合に帰
属すべき文書をもれなく収集し、次により分類基準に適
した単語論理式により適合度を算出することができ、文
書部分集合の精度を高めることができる。

【００３２】請求項１１に記載された発明は、請求項１
ないし４のうちの1項の記載において、前記文書部分集
合定義に含まれる単語論理式、又は単語論理式に含まれ
る単語を、生成された文書部分集合とともに表示する手
段を有する。

【００３３】本発明によれば、ユーザはこの情報を文書
部分集合定義を生成、修正する際に参照することがで
き、よりユーザの意図に合った文書部分集合定義を得る
ことが可能になる。

【００３４】請求項１２〜２２に記載された発明は、文
書分類方法であり、上記の文書分類装置と同様な作用効
果を奏する。また、請求項２３〜２７に記載された発明
は、文書分類プログラムを記録したコンピュータ読み取
り可能な記録媒体であり、このプログラムをコンピュー
タにインストールし、実行させることにより、上記の文
書分類装置と同様な作用効果を奏する。

【００３５】

【発明の実施の形態】図１は本発明の実施例における文
書分類装置の構成図である。図２は文書分類部で生成さ
れる一次文書部分集合の例である。図３は一次文書部分
集合から抽出された単語と文書出現率の例である。図４
は文書部分集合生成処理を示すフローチャートである。
図５は文書部分集合生成結果例である。図６は文書部分
集合記憶部で記憶するデータ例である。図７は文書部分
集合表示例である。図８は文書に含まれる単語論理式内
単語を表示した場合の文書部分集合表示例である。図９
は文書分類装置として使用されるコンピュータの一例を
示す図である。

【００３６】図１に示す文書分類装置は、文書を入力す
る文書入力部１0１、文書群を１つ以上の一次文書部分
集合に分類する文書分類部１0２、一次文書部分集合か
ら文書部分集合定義を生成する文書部分集合定義生成部
１0３、生成された文書部分集合定義を記憶する文書部
分集合定義記憶部１0４、ユーザが文書部分集合定義の
生成、修正を行う文書部分集合定義指定部１0５、記憶
された文書部分集合定義を用いて文書部分集合を生成す
る文書部分集合生成部１0６、生成された文書部分集合
を記憶する文書部分集合記憶部１0７、記憶された文書
部分集合を表示する文書部分集合表示部１0８を有す
る。

【００３７】以下、本発明の文書分類装置の動作につい
て詳細に説明する。

【００３８】文書入力部１０１では、文書分類対象とな
る文書群を入力する。入力された文書には識別子（Ｉ
Ｄ）が割り振られる。

【００３９】文書分類部１0２では、文書群を１つ以上
の一次文書部分集合に分類する処理が行われる。文書分
類方法として、例えば、分類対象文書集合に含まれる単
語を特徴量とする文書特徴ベクトルを用いてその文書特
徴ベクトルに対してクラスタリング手法を適用する技術
や、あるいは文書特徴ベクトルを用いて文書間の単語の
共起性を基に潜在的意味空間を生成して、文書と単語を
潜在的意味空間に射影し、その潜在的意味空間において
クラスタリング手法を適用する技術などの従来技術を利
用することができる。生成された一次文書部分集合には
識別子（ＩＤ）が割り振られる。

【００４０】文書分類部１0２で生成される一次文書部
分集合の例を図２に示す。図２では一次文書部分集合に
帰属する文書とその文書の一次文書部分集合との類似度
が算出されている。例えば、文書ＩＤ２３の文書の類似
度は０．８９である。

【００４１】ここで、文書分類部１０２における処理で
は、分類対象文書集合に含まれるすべての文書を対象と
する必要はない。一般的に文書分類処理には大量の計算
時間と計算資源を必要とするために、対象文書集合が大
きい場合には現実的に計算不可能の場合がある。そこ
で、対象文書が多い場合にはサンプリング処理を行うこ
とにより部分集合を生成し、その部分集合に対して分類
処理を行うこともできる。この場合、部分集合に対する
分類処理により生成される一次文書部分集合から生成さ
れる後述する文書部分集合定義を用いて分類対象文書集
合全体を分類することができる。

【００４２】文書部分集合定義生成部１0３では文書分
類部１0２で生成された一次文書部分集合それぞれに対
して文書部分集合定義を生成する。文書部分集合定義の
例を以下に示す。本実施例では、文書部分集合定義は単
語論理式、文書部分集合に対する文書適合度しきい値、
ユーザによる文書部分集合帰属文書指定情報により構成
される。

【００４３】単語論理式：（エルニーニョOR気象OR
異常OR世界的）適合度しきい値：0．４帰属文書指定：（文書ＩＤ［１９］，IN），（文書Ｉ
Ｄ［４１］，OUT）文書部分集合定義生成部１0３では上記のような文書部
分集合定義の単語論理式を生成し、適合度しきい値にデ
フォルト値を設定する。適合度しきい値については、ユ
ーザが設定してもよいし、文書部分集合生成部１0６に
おいて文書部分集合を生成する際に文書部分集合に帰属
する文書の適合度の変化点抽出などにより適合度しきい
値を自動的に決定することもできる。

【００４４】ここで、帰属文書指定はユーザが手動で文
書部分集合に帰属文書を追加したり、帰属している文書
を排除する際の指定であるので、文書部分集合定義生成
部１0３では生成されない。

【００４５】本実施例において、文書部分集合定義の単
語論理式は以下の方法で生成される。まず対象となる一
次文書部分集合に帰属する全文書、あるいは類似度があ
る値以上の文書に含まれる単語を形態素解析技術により
抽出し、各単語の文書出現率を算出する。文書出現率と
は単語抽出対象文書に出現する割合である。一次文書部
分集合から抽出された単語と文書出現率の例を図３に示
す。単語論理式は、本実施例のように、例えば抽出され
た単語のうち文書出現率の高い単語の和で構成すること
ができる。図３の例に対して文書出現率が0．５以上の
単語により単語論理式を構成すると以下のような論理式
が得られる。

【００４６】単語論理式：（エルニーニョOR気象OR異常
OR世界的）また文書部分集合生成部１0６において検索語に重みを
付けて検索することもできる。検索技術を利用する場合
は単語論理式の各単語に重みを付けることもできる。重
みとしては例えば各単語の文書出現率を利用することが
できる。重みを付けた場合の単語論理式の例を以下に示
す。

【００４７】単語論理式：（（エルニーニョ WEIGHT
1）OR（気象WEIGHT 1）OR（異常WEIGHT 0.8）OR（世界
的 WEIGHT 0.8））このように重み付けすることによって、より的確に文書
部分集合を生成することが可能となる。

【００４８】生成された文書部分集合定義は文書部分集
合定義記憶部１0４に記憶される。文書部分集合生成部
１0６では文書部分集合定義記憶部１0４に記憶されてい
る文書部分集合定義を用いて文書部分集合を生成する。
図４に文書部分集合生成処理のフローチャートを示す。

【００４９】すなわち、ステップ１として、文書部分集
合生成部１0６ではまず文書部分集合定義の単語論理式
を用いて、単語論理式に適合する文書を文書群から検索
し収集する。検索には文字列マッチングによる全文検索
技術などの従来の情報検索技術を利用することができ
る。ここでは検索処理時に各文書の検索スコア（適合
度）を算出する検索手法を利用している。

【００５０】ステップ２として、収集された文書のうち
適合度が文書部分集合定義の適合度しきい値より大きい
文書だけを抽出する。図５に文書部分集合生成部１0６
により生成された文書部分集合例を示す。図５は単語論
理式（エルニーニョOR気象OR異常OR世界的）、適合度し
きい値0．４による文書部分集合生成結果例である。太
線内の文書が文書部分集合帰属文書であり、それ以外の
文書は適合度がしきい値以下であるために非帰属文書で
ある。

【００５１】ステップ３として、ユーザにより文書部分
集合定義の帰属文書指定が指定されている場合は処理の
最後に指定されている文書の追加あるいは排除を行う。

【００５２】適合度しきい値処理を行う際に、単語論理
式により収集された文書部分集合帰属文書を適合度順に
ソートし、高い順に一定数の文書、あるいは一定割合数
の文書を選択したり、適合度の微分値を算出することで
適合度が一番変化する変化点を抽出することなどによ
り、適合度しきい値を自動的に決定し処理することもで
きる。

【００５３】文書部分集合記憶部１0７では文書部分集
合生成部１0６で生成された文書部分集合を記憶する。
文書部分集合記憶部１0７では文書部分集合生成部１0６
において適合度しきい値処理により排除された文書の情
報も保持している。これは後にユーザが適合度しきい値
を修正して文書部分集合を修正する場合に利用するため
である。

【００５４】図６に文書部分集合記憶部１0７に記憶さ
れた文書部分集合のデータの例を示す。図６に示す文書
部分集合帰属フラグは文書が文書部分集合に帰属するか
どうかを示す。ここでは１であれば帰属、0であれば非
帰属である。本実施例においては、文書部分集合データ
は、文書部分集合生成部１0６において、単語論理式で
収集されたが、適合度しきい値で非帰属とされた文書、
あるいは帰属文書指定により非帰属と指定された文書は
この文書部分集合帰属フラグが0になる。

【００５５】文書部分集合表示部１0８では文書部分集
合記憶部１0７に記憶されている文書部分集合を表示す
る。表示の際には文書部分集合と文書部分集合定義をあ
わせて表示することもできる。更に、ユーザは表示させ
たい文書部分集合を指定することができる。文書部分集
合表示例を図７に示す。同図に示すように、文書部分集
合定義が示され、また、文書部分集合定義に基づき、文
書部分集合に帰属する文書が太線で囲まれて表示され
る。

【００５６】また文書部分集合を表示する際に付属情報
として文書内に含まれる文書部分集合定義単語論理式、
あるいは単語論理式に含まれる単語を表示することもで
きる。文書に含まれる単語論理式内単語を表示した場合
の文書部分集合表示例を図８に示す。このように、単語
論理式や単語を表示することによって、ユーザは文書部
分集合定義の修正等の判断を行い易くなる。

【００５７】文書分類装置における文書部分集合定義指
定部１0５では、ユーザが新規の部分集合定義を生成し
たり、すでに生成されている文書部分集合の文書部分集
合定義を修正することができる。また、ユーザが過去に
生成され記憶されている文書部分集合定義を複製して利
用することもできる。ユーザが文書部分集合定義を生
成、修正すると、すぐに文書部分集合生成部１0６によ
り文書部分集合が生成され、文書部分集合表示部１0８
に結果が表示される。ユーザは生成される文書部分集合
を確認しながら望む文書部分集合を生成することができ
る。

【００５８】また、文書部分集合定義指定部１0５にお
いてユーザが行った文書部分集合帰属文書指定を用い
て、ユーザが帰属すると指定した文書情報から文書部分
集合定義生成部１0３により単語論理式を生成すること
ができる。

【００５９】さて、文書部分集合定義として既存の文書
部分集合の演算式を利用することが可能である。文書部
分集合演算式により文書部分集合を生成するには、例え
ば、指定された文書部分集合の文書部分集合定義を用い
て個々の文書部分集合を生成し、生成された文書部分集
合の集合演算を行うことで、新しい文書部分集合を生成
する。以下に、既存の文書部分集合の演算式を利用する
場合における文書部分集合演算式の例を示す。

【００６０】文書部分集合演算式：（文書部分集合ＩＤ
［１］AND 文書部分集合ＩＤ［２］）上記の文書部分集合演算式例では、まず文書部分集合
［１］と文書部分集合［２］をそれぞれの文書部分集合
定義を用いて生成し、文書部分集合演算式に従って、２
つの文書部分集合両方に帰属する文書を抽出することで
新しい文書部分集合を生成する。

【００６１】また、もう１つの方法として、指定された
文書部分集合の文書部分集合定義単語論理式を参照し、
新しい単語論理式を構成することもできる。例えば文書
部分集合ＩＤ［１］と文書部分集合ＩＤ［２］の単語論
理式が以下のとおりであるとすると、文書部分集合ＩＤ［１］単語論理式：（異常OR気象ORエ
ルニーニョ）文書部分集合ＩＤ［２］単語論理式：（温暖化OR二酸化
炭素）生成される文書部分集合定義論理式は以下のようにな
る。

【００６２】単語論理式：（異常OR気象ORエルニーニ
ョ）AND（温暖化OR二酸化炭素）ここで、全文検索技術には文書を検索する際に文書の適
合度を算出する技術があり、適合度の算出モデルは複数
種類ある。それぞれ適合度算出結果は異なる。そこで、
これらの複数種類の適合度算出モデルを用いて適合度算
出を行い、適合度しきい値処理を行うようにしてもよ
い。すなわち、文書部分集合生成部１０６において文書
の文書部分集合への適合度を複数の異なる算出方法で算
出し、文書部分集合表示部１０８において算出された適
合度を表示し、文書部分集合定義指定部１０５において
ユーザがもっとも適した適合度算出方法を指定するよう
にする。これらの結果を文書部分集合表示部においてユ
ーザに表示することで、ユーザは自分の望む文書部分集
合を生成する適合度算出モデルを選択することができ
る。

【００６３】また、文書部分集合定義として単語論理式
を複数種類指定し、文書部分集合生成において指定され
た複数の単語論理式を用いて文書部分集合生成を行うよ
うにしてもよい。例えば、まず、以下のように２つの単
語論理式を指定する。

【００６４】一次単語論理式：（異常OR気象ORエルニー
ニョ）二次単語論理式：（異常OR気象ORエルニーニョOR世界的
OR海水温OR上昇OR太平洋）そして、文書部分集合生成部１0６において文書部分集
合を生成する際に、まず一次単語論理式を用いて適合す
る文書を収集する。次に一次単語論理式により収集され
た文書に対して、二次単語論理式を用いて適合度の算出
を行う。一次単語論理式には分類基準である話題を構成
する中心的な単語を指定することで、話題とは関係のな
い文書を収集することを防ぐことができる。二次単語論
理式には話題を構成する中心的な単語と話題と関連する
二次的な単語を利用することでより話題に適合した文書
の適合度を高く算出することができる。これにより生成
される文書部分集合の精度を高めることができる。

【００６５】本発明の文書分類装置の構成は、図１に示
した例に限定されることなく、各々の構成要件をソフト
ウェア（プログラム）で構築し、ディスク装置等に記録
しておき、必要に応じて文書分類処理を行うコンピュー
タにインストールして文書分類処理を行うことも可能で
ある。さらに、構築されたプログラムをフロッピー（登
録商標）ディスク、メモリカード、ＣＤ−ＲＯＭ等の可
搬記録媒体に格納し、このような文書分類処理を用いる
場面で汎用的に使用することも可能である。

【００６６】図９は、文書分類装置として使用されるコ
ンピュータの構成例を示す。本コンピュータは、ＣＰＵ
（中央処理装置）２０１、メモリ２０２、入力装置２０
３、表示装置２０４、ＣＤ−ＲＯＭドライブ２０５、ハ
ードディスク２０６を有する。ＣＰＵ２０１は装置の全
体を制御する。メモリ２０２はＣＰＵ２０１で処理する
データやプログラムを保持する。入力装置２０３はキー
ボードやマウス等のデータを入力するための装置であ
る。表示装置２０４はディスプレイ等の装置である。Ｃ
Ｄ−ＲＯＭドライブ２０５はＣＤ−ＲＯＭ等を駆動し、
読み書きを行う。ハードディスク２０６には、プログラ
ムや、本発明の処理に関わる文書データが格納される。
例えば、入力文書、文書部分集合定義、生成された文書
部分集合等が格納される。本発明の文書分類処理を実行
するプログラムは、コンピュータに予めインストールさ
れていてもよいし、例えばＣＤ−ＲＯＭに格納され、Ｃ
Ｄ−ＲＯＭドライブ２０５を介してハードディスク２０
６にロードするようにしてもよい。プログラムが起動さ
れると、所定のプログラム部分がメモリ２０２に展開さ
れ、処理が実行される。

【００６７】本発明は、上記の実施例に限定されること
なく、特許請求の範囲内で種々変更・応用が可能であ
る。

【００６８】

【発明の効果】上述したように、本発明によれば、文書
部分集合定義を記憶し、別の文書群に適用することがで
きるようになる。また、ユーザは文書部分定義を作成、
編集することにより、意図を直接的に表現することが可
能となる。更に、文書の部分的な話題の類似性を算出す
ることができ、文書の部分的な話題の適合による文書部
分集合を生成することが可能

【図面の簡単な説明】

【図１】本発明の実施例における文書分類装置の構成図
である。

【図２】文書分類部で生成される一次文書部分集合の例
である。

【図３】一次文書部分集合から抽出された単語と文書出
現率の例である。

【図４】文書部分集合生成処理を示すフローチャートで
ある。

【図５】文書部分集合生成結果例である。

【図６】文書部分集合記憶部で記憶するデータ例であ
る。

【図７】文書部分集合表示例である。

【図８】文書に含まれる単語論理式内単語を表示した場
合の文書部分集合表示例である。

【図９】文書分類装置として使用されるコンピュータの
一例である。

【符号の説明】

１０１文書入力部１０２文書分類部１０３文書部分集合定義生成部１０４文書部分集合定義記憶部１０５文書部分集合定義指定部１０６文書部分集合生成部１０７文書部分集合記憶部１０８文書部分集合表示部２０１ＣＰＵ２０２メモリ２０３入力装置２０４表示装置２０５ＣＤ−ＲＯＭドライブ２０６ハードディスク

Claims

【特許請求の範囲】

【請求項１】文書群を文書の内容に従って分類する文
書分類装置であって、文書群を所定の方法で分類した一次文書部分集合から作
成した文書部分集合定義を用いて文書部分集合を生成す
る文書部分集合生成部と、生成された文書部分集合を出力する文書部分集合出力部
とを有することを特徴とする文書分類装置。
【請求項２】文書群を文書の内容に従って文書部分集
合に分類する文書分類装置であって、文書データを入力する文書入力部と、文書群を文書の内容に従って１つ以上の一次文書部分集
合に分類する文書分類部と、生成された一次文書部分集合から求めるべき文書部分集
合の基準となる文書部分集合定義を生成する文書部分集
合定義生成部と、生成された文書部分集合定義を記憶する文書部分集合定
義記憶部と、記憶された文書部分集合定義を用いて文書部分集合を生
成する文書部分集合生成部と、生成された文書部分集合を記憶する文書部分集合記憶部
と、記憶された文書部分集合を表示する文書部分集合表示部
とを有することを特徴とする文書分類装置。
【請求項３】ユーザが前記文書部分集合定義を生成も
しくは編集するための文書部分集合定義指定部を含む請
求項１又は２に記載の文書分類装置。
【請求項４】前記文書部分集合定義は、単語論理式及
び適合度しきい値を含み、該単語論理式を、前記一次文書部分集合から抽出した単
語のうち出現率が所定値以上の単語を用いて構成するよ
うにした請求項１又は２に記載の文書分類装置。
【請求項５】前記文書部分集合生成部は、前記単語論
理式を用いて文書を検索し、検索された各文書の適合度
を算出し、該適合度を前記適合度しきい値と比較するこ
とによって文書部分集合を生成する請求項４に記載の文
書分類装置。
【請求項６】前記適合度しきい値を、前記文書部分集
合生成部において自動的に決定する請求項４に記載の文
書分類装置。
【請求項７】前記文書部分集合定義は帰属文書指定情
報を含み、該帰属文書指定情報は、前記一次文書部分集
合の中の文書が文書部分集合に属するか否かを示す情報
を含み、ユーザにより設定する請求項１ないし４のうち
いずれか１項に記載の文書分類装置。
【請求項８】前記文書部分集合定義は、既存の文書部
分集合の演算式を含む請求項１ないし４のうちいずれか
１項に記載の文書分類装置。
【請求項９】文書の文書部分集合への適合度を複数の
異なる適合度算出方法で算出し、算出された適合度を生
成された文書部分集合とともに表示する手段と、ユーザに該複数の異なる適合度算出方法の中から所望の
適合度算出方法を指定させる手段とを有する請求項１な
いし４のうちいずれか１項に記載の文書分類装置。
【請求項１０】前記文書部分集合定義として複数種類
の単語論理式を用いて文書部分集合生成を行う手段を有
する請求項１ないし４のうちいずれか１項に記載の文書
分類装置。
【請求項１１】前記文書部分集合定義に含まれる単語
論理式、又は単語論理式に含まれる単語を、生成された
文書部分集合とともに表示する手段を有する請求項１な
いし４のうちいずれか１項に記載の文書分類装置。
【請求項１２】文書群を文書の内容に従って分類する
文書分類方法であって、文書群を所定の方法で分類した一次文書部分集合から作
成した文書部分集合定義を用いて文書部分集合を生成す
る文書部分集合生成ステップと、生成された文書部分集合を出力する文書部分集合出力ス
テップとを有することを特徴とする文書分類方法。
【請求項１３】文書群を文書の内容に従って文書部分
集合に分類する文書分類方法であって、文書データを入力する文書入力ステップと、文書群を文書の内容に従って１つ以上の一次文書部分集
合に分類する文書分類ステップと、生成された一次文書部分集合から求めるべき文書部分集
合の基準となる文書部分集合定義を生成する文書部分集
合定義生成ステップと、生成された文書部分集合定義を記憶部に記憶するステッ
プと、記憶された文書部分集合定義を用いて文書部分集合を生
成する文書部分集合生成ステップと、生成された文書部分集合を記憶部に記憶するステップ
と、記憶された文書部分集合を表示する文書部分集合表示ス
テップとを有することを特徴とする文書分類方法。
【請求項１４】ユーザが前記文書部分集合定義を生成
もしくは編集するステップを含む請求項１２又は１３に
記載の文書分類方法。
【請求項１５】前記文書部分集合定義は、単語論理式
及び適合度しきい値を含み、該単語論理式を、前記一次文書部分集合から抽出した単
語のうち出現率が所定値以上の単語を用いて構成するよ
うにした請求項１２又は１３に記載の文書分類方法。
【請求項１６】前記文書部分集合生成ステップは、前
記単語論理式を用いて文書を検索し、検索された各文書
の適合度を算出し、該適合度を前記適合度しきい値と比
較することによって文書部分集合を生成するステップを
有する請求項１５に記載の文書分類方法。
【請求項１７】前記適合度しきい値を、前記文書部分
集合生成ステップにて自動的に決定する請求項１５に記
載の文書分類方法。
【請求項１８】前記文書部分集合定義は帰属文書指定
情報を含み、該帰属文書指定情報は、前記一次文書部分
集合の中の文書が文書部分集合に属するか否かを示す情
報を含み、ユーザにより設定する請求項１２ないし１５
のうちいずれか１項に記載の文書分類方法。
【請求項１９】前記文書部分集合定義は、既存の文書
部分集合の演算式を含む請求項１２ないし１５のうちい
ずれか１項に記載の文書分類方法。
【請求項２０】文書の文書部分集合への適合度を複数
の異なる適合度算出方法で算出し、算出された適合度を
生成された文書部分集合とともに表示するステップと、ユーザが該複数の異なる適合度算出方法の中から所望の
適合度算出方法を指定するステップとを有する請求項１
２ないし１５のうちいずれか１項に記載の文書分類方
法。
【請求項２１】前記文書部分集合定義として複数種類
の単語論理式を用いて文書部分集合生成を行うステップ
を有する請求項１２ないし１５のうちいずれか１項に記
載の文書分類方法。
【請求項２２】前記文書部分集合定義に含まれる単語
論理式、又は単語論理式に含まれる単語を、生成された
文書部分集合とともに表示するステップを有する請求項
１２ないし１５のうちいずれか１項に記載の文書分類方
法。
【請求項２３】文書群を文書の内容に従って分類する
処理をコンピュータに実行させる文書分類プログラムを
記録したコンピュータ読み取り可能な記録媒体であっ
て、文書群を所定の方法で分類した一次文書部分集合から作
成した文書部分集合定義を用いて文書部分集合を生成す
る文書部分集合生成手順と、生成された文書部分集合を出力する文書部分集合出力手
順とをコンピュータに実行させる文書分類プログラムを
記録したコンピュータ読み取り可能な記録媒体。
【請求項２４】文書群を文書の内容に従って文書部分
集合に分類する処理をコンピュータに実行させる文書分
類プログラムを記録したコンピュータ読み取り可能な記
録媒体であって、文書データを入力する文書入力手順と、文書群を文書の内容に従って１つ以上の一次文書部分集
合に分類する文書分類手順と、生成された一次文書部分集合から求めるべき文書部分集
合の基準となる文書部分集合定義を生成する文書部分集
合定義生成手順と、生成された文書部分集合定義を記憶部に記憶する手順
と、記憶された文書部分集合定義を用いて文書部分集合を生
成する文書部分集合生成手順と、生成された文書部分集合を記憶部に記憶する手順と、記憶された文書部分集合を表示する文書部分集合表示手
順とをコンピュータに実行させる文書分類プログラムを
記録したコンピュータ読み取り可能な記録媒体。
【請求項２５】前記文書部分集合定義は、単語論理式
及び適合度しきい値を含み、該単語論理式を、前記一次文書部分集合から抽出した単
語のうち出現率が所定値以上の単語を用いて構成するよ
うにした請求項２３又は２４に記載の文書分類プログラ
ムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２６】前記文書部分集合生成部は、前記単語
論理式を用いて文書を検索し、検索された各文書の適合
度を算出し、該適合度を前記適合度しきい値と比較する
ことによって文書部分集合を生成する請求項２５に記載
の文書分類プログラムを記録したコンピュータ読み取り
可能な記録媒体。
【請求項２７】前記文書部分集合定義は帰属文書指定
情報を含み、該帰属文書指定情報は、前記一次文書部分
集合の中の文書が文書部分集合に属するか否かを示す情
報を含み、ユーザにより設定する請求項２３ないし２５
のうちいずれか１項に記載の文書分類プログラムを記録
したコンピュータ読み取り可能な記録媒体。