JP2002352244A - データ分類装置およびデータ分類方法 - Google Patents

データ分類装置およびデータ分類方法

Info

Publication number
JP2002352244A
JP2002352244A JP2001162654A JP2001162654A JP2002352244A JP 2002352244 A JP2002352244 A JP 2002352244A JP 2001162654 A JP2001162654 A JP 2001162654A JP 2001162654 A JP2001162654 A JP 2001162654A JP 2002352244 A JP2002352244 A JP 2002352244A
Authority
JP
Japan
Prior art keywords
category
data
degree
categories
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001162654A
Other languages
English (en)
Other versions
JP4682339B2 (ja
Inventor
Noriaki Yamazaki
憲明 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Systems and Services Ltd
Original Assignee
Hitachi Systems and Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Systems and Services Ltd filed Critical Hitachi Systems and Services Ltd
Priority to JP2001162654A priority Critical patent/JP4682339B2/ja
Publication of JP2002352244A publication Critical patent/JP2002352244A/ja
Application granted granted Critical
Publication of JP4682339B2 publication Critical patent/JP4682339B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 傾向がまったく不明の大量のデータを自動的
に一元的分類することのできるデータ分類装置およびデ
ータ分類方法等を提供する。 【解決手段】 結合度決定手段24は、ツリー構造のカ
テゴリー体系を構成する各カテゴリーについて、当該カ
テゴリーを構成する文書相互の類似度に基づいて、当該
カテゴリーのまとまりの良さを示す結合度を決定する。
最適カテゴリー決定手段10は、カテゴリーの結合度が
当該カテゴリーを構成する直下のいずれのカテゴリーの
結合度よりも高いカテゴリーのうち、ツリー構造の最も
上位にあるカテゴリーを最適カテゴリーとして決定す
る。文書再配置手段12は、最適カテゴリーと当該最適
カテゴリーを構成する文書とを対応付けて記憶させる。
このようにして、階層的なツリー構造のカテゴリー体系
を、最適カテゴリーを構成要素とする1元的なカテゴリ
ー体系に変換することができ、データを一元的に分類す
るができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明はデータ分類装置お
よびデータ分類方法等に関し、とくに複数のデータを1
以上のカテゴリーに分類する技術等に関する。
【0002】
【従来の技術】多数の文書など、多数のデータを、複数
のカテゴリーに分類する方法がいくつか知られている。
たとえば、予めカテゴリーとその特徴値とを設定してお
き、各データの特徴値がどのカテゴリーの特徴値に近い
かによって、それらのデータを各カテゴリーに分類する
方法がある。この方法を、ここでは「教師あり分類法」
と呼ぶこととする。
【0003】教師あり分類法は、データの傾向が予め分
かっている場合には効果があるが、データの傾向が予め
分からない場合には、そもそも、カテゴリーとその特徴
値の設定ができないため、適用することができない。
【0004】予めカテゴリーとその特徴値とを設定して
おかなくても、カテゴリーの数さえ設定しておけば、デ
ータの特徴値空間を自動的に分割してカテゴリーを生成
できる方法(K-means法)も知られている。しかし、K-m
eans法においても、少なくともカテゴリーの数を設定し
うる程度にデータの傾向が分かっている必要があり、デ
ータ傾向がまったく不明の大量のデータに適用すること
は難しい。
【0005】このような問題点を解決する方法として、
凝集法が知られている。図11は、従来から行われてい
る凝集法を説明するための模式図である。説明の便宜の
ため、図11においては、分類の対象となるデータD1
D14として、ある集団を構成するメンバーの年齢を想定
し、年齢をそのまま特徴値として用いている。したがっ
て、この場合、特徴値はスカラー量で表現される。図1
1の各データD1〜D14を表す矩形内に記載された数値が
特徴値(年齢)である。図11に基づいて、凝集法を用
いてこれらのデータD1〜D14を分類する方法を説明す
る。
【0006】まず、特徴値の近いデータ同士を統合する
ことにより、カテゴリーを形成する。たとえば、特徴値
「8」のデータD4と特徴値「9」のデータD5とを統合し
て、カテゴリー102を形成する。同様に、特徴値「1
1」、「12」および「13」のデータD6、D7およびD8
の3つを統合して、別のカテゴリー104を形成する。
【0007】つぎに、未だカテゴリーを形成していない
データや、上述のようにして形成されたカテゴリーを、
特徴値の近いもの同士統合して、さらに別のカテゴリー
を形成する。たとえば、上述のカテゴリー102とカテ
ゴリー104とを統合して、上位のカテゴリー106を
形成する。この場合、カテゴリー106には、特徴値
「8」、「9」、「11」、「12」および「13」の
5つのデータD4〜D8が含まれることになる。
【0008】全てのデータを含む最上位のカテゴリー1
08が形成されるまで、このような操作を繰り返すこと
により、ツリー構造のカテゴリー体系を得ることができ
る。
【0009】このように、凝集法を用いれば、各データ
の特徴値さえ与えられていれば、教師あり分類法のよう
に予めカテゴリーとそのカテゴリーの特徴値を設定して
おいたり、K-means法のようにカテゴリーの数を設定し
ておいたりすることなく、自動的にツリー構造のカテゴ
リー体系を得ることができる。このため、データ傾向が
まったく不明の大量のデータを分類して、それらの傾向
を知ることができる。
【0010】
【発明が解決しようとする課題】しかしながら、従来の
凝集法には次のような問題点があった。このような方法
を用いてデータを分類する場合、データ傾向をツリー構
造の階層的なカテゴリー体系として把握するには都合が
よいが、各データについてどの階層のカテゴリーを採用
するのが最適であるかまでは知ることができなかった。
【0011】たとえば、図11に示す特徴値「8」のデ
ータは、カテゴリー102、カテゴリー106およびさ
らに上位のカテゴリーのいずれにも属するが、どのカテ
ゴリーに属するとするのが最も良いかは、最終的に人の
判断に頼らざるをえなかった。このため、教師あり分類
法やK-means法のように、各データが属するカテゴリー
をそれぞれ1つだけ決定するような分類(1元的分類)
を自動的に行うことができなかった。
【0012】この発明は、このような従来のデータ分類
方法の問題点を解決し、傾向がまったく不明の大量のデ
ータを自動的に一元的分類することのできるデータ分類
装置およびデータ分類方法等を提供することを目的とす
る。
【0013】
【発明の作用および効果】請求項1のデータ分類装置、
請求項2のデータ分類プログラム、請求項3のプログラ
ムを記録した記録媒体および請求項10のデータ分類方
法においては、類似度の高いカテゴリー同士を順次統合
して行くことにより、1個のデータのみを構成要素とす
る最下位のカテゴリーから全データを構成要素とする最
上位のカテゴリーに至るツリー構造のカテゴリー体系を
構築し、カテゴリー体系を構成する各カテゴリーについ
て、当該カテゴリーを構成するデータ相互の類似度に基
づいて、当該カテゴリーのまとまりの良さを示す結合度
を決定し、カテゴリーの結合度が当該カテゴリーを構成
する直下のいずれのカテゴリーの結合度よりも少なくと
も低くないカテゴリーのうち、ツリー構造の最も上位に
あるカテゴリーを最適カテゴリーとして決定し、最適カ
テゴリーと当該最適カテゴリーを構成するデータとを対
応付けて記憶させることを特徴とする。
【0014】したがって、傾向がまったく不明の大量の
データであっても、これらのデータ相互の類似度に基づ
いてツリー構造のカテゴリー体系を構築することができ
る。このようにして構築したツリー構造のカテゴリー体
系を構成する各カテゴリーについて、各カテゴリーを構
成するデータ相互の類似度に基づいて各カテゴリーの結
合度を決定し、決定した結合度に基づいて各カテゴリー
の中から最適カテゴリーを決定するようにしている。
【0015】このようにして最適カテゴリーを決定する
ことで、階層的なツリー構造のカテゴリー体系を、最適
カテゴリーを構成要素とする1元的なカテゴリー体系、
すなわち、ある最適カテゴリーが他の最適カテゴリーに
含まれることがないような構造のカテゴリー体系、に変
換することができる。
【0016】さらに、最適カテゴリーと当該最適カテゴ
リーを構成するデータとを対応付けて記憶させること
で、データを一元的に分類すること、つまり、ある最適
カテゴリーに属するデータが他の最適カテゴリーに含ま
れることがないように分類すること、ができる。
【0017】すなわち、傾向がまったく不明の大量のデ
ータを自動的に一元的分類することができる。
【0018】請求項4の装置、プログラムおよび記録媒
体においては、カテゴリーの結合度は、当該カテゴリー
を構成するデータ1個あたりのデータ相互の類似度の総
和に対応する量であることを特徴とする。
【0019】すなわち、カテゴリーの結合度を、当該カ
テゴリーを構成している1つのデータと当該カテゴリー
を構成している他のデータとの類似度の総和の平均的な
値としている。このようにすることで、カテゴリーの結
合度を、当該カテゴリーを構成している1つのデータを
当該カテゴリーを構成している他の全てのデータから引
き離すのに必要な平均的なエネルギーとして定義するこ
とが可能となる。したがって、カテゴリーの結合度を、
物質の硬さと対応付けて定量的に処理することが可能と
なる。
【0020】請求項5の装置、プログラムおよび記録媒
体においては、カテゴリーGaとカテゴリーGbとを統合し
て得られる新たなカテゴリーをGとし、それぞれのカテ
ゴリーの結合度をJ(Ga)、J(Gb)、J(G)とし、それぞれの
カテゴリーを構成する文書の数をC(Ga)、C(Gb)、C(G)と
したとき、下記の式(1)にしたがって、カテゴリーG
の結合度J(G)を算出するようにしている。
【0021】[式(1)]
【0022】J(G)=(J(Ga)・(C(Ga)-1)+J(Gb)・(C(Gb)-
1)+β)/(C(Ga)+C(Gb)-1)
【0023】ただし、カテゴリーGaを構成するC(Ga)個
のデータおよびカテゴリーGbを構成するC(Gb)個のデー
タを、それぞれデータD、D、...、DmおよびデータD
m+1、Dm+2、...、Dnとし、文書Diの文書Djに対する類似
度をAijとしたとき、上式のβは式(2)で表現され
る。
【0024】[式(2)]
【0025】
【0026】したがって、このような漸化式の形で表現
された式に基づいて結合度J(G)を算出することで、既に
求めてあるJ(Ga)、J(Gb)の値を利用できるため、演算時
間を大幅に短縮することができる。
【0027】請求項6の装置、プログラムおよび記録媒
体においては、データ分類装置は、いずれの最適カテゴ
リーにも含まれないデータを構成要素とする最下位のカ
テゴリーを準最適カテゴリーとして最適カテゴリーと同
様に取り扱うことを特徴とする。
【0028】データ総数が少ないために他のデータから
孤立したように見えるデータであっても、データ総数が
増えると、そのようなデータをカテゴリーとして分類す
るのが妥当なケースがある。したがって、このようなケ
ースにおいては、いずれの最適カテゴリーにも含まれな
いデータを構成要素とする最下位のカテゴリーを準最適
カテゴリーとして最適カテゴリーと同様に取り扱うこと
で、妥当な分類を行うことができる。
【0029】請求項7の装置、プログラムおよび記録媒
体においては、データは文書であり、データ相互の類似
度を決定する基礎となるデータの特徴値として、文書の
特徴を示すベクトルを用いることを特徴とする。
【0030】したがって、文書の特徴を定量的に示すベ
クトルを用いて文書相互の類似度を定量的に決定するこ
とで、決定された文書相互の類似度に基づいて、一般的
なデータと同様に、傾向がまったく不明の大量の文書を
自動的に一元的分類することができる。
【0031】請求項8の装置、プログラムおよび記録媒
体においては、データ分類装置は、最適カテゴリーを表
示する際、当該最適カテゴリーの結合度および類似度の
うち少なくとも一方を表示するよう制御することを特徴
とする。
【0032】したがって、データ分類装置の表示手段に
は、最適カテゴリーが表示される際、当該最適カテゴリ
ーの結合度および類似度のうち少なくとも一方が表示さ
れる。このため、各最適カテゴリーがどの程度まとまり
のあるカテゴリーであるか、および/または、各最適カ
テゴリーを構成するデータ相互がどの程度類似している
かを、容易に把握することが可能となる。
【0033】請求項9の装置、プログラムおよび記録媒
体において、データ分類装置は、ツリー構造のカテゴリ
ー体系を表示するとともに、当該ツリー構造のカテゴリ
ー体系を構成するカテゴリーのうち最適カテゴリーを他
のカテゴリーと異なる態様で表示するよう制御すること
を特徴とする。
【0034】したがって、データ分類装置の表示手段に
は、ツリー構造のカテゴリー体系が表示されるととも
に、当該ツリー構造のカテゴリー体系を構成するカテゴ
リーのうち最適カテゴリーが、他のカテゴリーと異なる
態様で表示される。このため、ツリー構造のカテゴリー
体系における最適カテゴリーの位置付けを視覚的に把握
することが容易となる。
【0035】請求項11の結合度算出方法は、コンピュ
ータを用いて、複数のデータからなるカテゴリーのまと
まりの良さを算出する方法であって、当該カテゴリーを
構成するデータ相互の類似度を算出するステップと、算
出されたデータ相互の類似度に基づいて、当該カテゴリ
ーを構成するデータ1個あたりのデータ相互の類似度の
総和に対応する量を、当該カテゴリーのまとまりの良さ
を表す結合度として算出するステップとを備えたことを
特徴とする。
【0036】すなわち、カテゴリーのまとまりの良さを
表す結合度を、当該カテゴリーを構成している1つのデ
ータと当該カテゴリーを構成している他のデータとの類
似度の総和の平均的な値として算出している。このよう
にすることで、カテゴリーの結合度を、当該カテゴリー
を構成している1つのデータを当該カテゴリーを構成し
ている他の全てのデータから引き離すのに必要な平均的
なエネルギーとして定義することが可能となる。したが
って、カテゴリーの結合度を、物質の硬さと対応付けて
定量的に処理することが可能となる。このため、どのカ
テゴリーがよいカテゴリーであるかを、定量的に把握す
ることができる。
【0037】請求項12のカテゴリー体系変換方法は、
コンピュータを用いて、ツリー構造のカテゴリー体系を
一元的なカテゴリー体系に変換する方法であって、ツリ
ー構造のカテゴリー体系を構成する各カテゴリーについ
て、カテゴリーのまとまりの良さを表すカテゴリーの結
合度を決定するステップと、カテゴリーの結合度が当該
カテゴリーを構成する直下のいずれのカテゴリーの結合
度よりも少なくとも低くないカテゴリーのうち、ツリー
構造の最も上位にあるカテゴリーを最適カテゴリーとし
て決定するステップと、最適カテゴリーと当該最適カテ
ゴリーを構成するデータとを対応付けて記憶させるステ
ップとを備えたことを特徴とする。
【0038】したがって、このようにして決定された最
適カテゴリーを構成要素とするカテゴリー体系は、ある
最適カテゴリーが他の最適カテゴリーに含まれることが
ないような構造のカテゴリー体系となっている。すなわ
ち、ツリー構造のカテゴリー体系を、最適カテゴリーを
構成要素とする1元的なカテゴリー体系に変換すること
ができる。
【0039】
【発明の実施の形態】図1は、この発明の一実施形態に
よるデータ分類装置である文書分類装置2の構成を説明
するためのブロック図である。文書分類装置2は、複数
のデータである複数の文書を1以上の最適なカテゴリー
に自動的に分類するための装置である。
【0040】文書分類装置2は、データ入力手段である
文書入力手段4、データ相互間類似度決定手段である文
書相互間類似度決定手段6、カテゴリー体系構築・結合
度決定手段8、最適カテゴリー決定手段10、データ再
配置手段である文書再配置手段12、および、最適カテ
ゴリー表示手段14を備えている。
【0041】文書入力手段4は、与えられた複数の文書
を文書分類装置2に取り込み、文書相互間類似度決定手
段6に与える。
【0042】文書相互間類似度決定手段6は、与えられ
た文書相互間の類似度を決定する手段であって、特徴ベ
クトル生成手段16、類似度算出手段18,および、類
似度行列生成手段20を備えている。
【0043】特徴ベクトル生成手段16は、各文書ごと
に、当該文書の特徴に基づいて、特徴値である特徴ベク
トルを生成する。特徴ベクトルとは、各文書が、予め設
定されたp個の特徴に、それぞれどの程度合致するかを
表したものであり、p次元の特徴空間において定義され
るベクトルである。
【0044】類似度算出手段18は、各文書の特徴ベク
トルに基づいて、各文書相互間の類似度を算出する。こ
の実施形態においては、対比する2つの文書の特徴ベク
トルのなす角の余弦を百分率で表した数字を、当該2つ
の文書の類似度と定義している。たとえば、同一文書の
類似度は「100」であり、全く無関係の2つの文書の
類似度は「0」となる。
【0045】もちろん、2つの文書の類似度は、これに
限定されるものではなく、要は、2つの文書の特徴ベク
トルの似ている程度を表現できるものであれば何でもよ
い。たとえば、特徴ベクトル空間が1次元の場合には、
ベクトルの長さの差(または比)を利用して類似度を算
出するようにしてもよい。
【0046】類似度行列生成手段20は、各文書相互間
の類似度をマトリックスで表現した類似度行列を生成す
る。文書の総数がnである場合、類似度行列はn次の正
方行列となる。
【0047】カテゴリー体系構築・結合度決定手段8
は、各文書相互間の類似度に基づいてツリー構造のカテ
ゴリー体系を構築するとともに、カテゴリー体系を構成
する各カテゴリーの結合度を決定する手段であって、カ
テゴリー体系構築手段22および結合度決定手段24を
備えている。
【0048】カテゴリー体系構築手段22は、類似度の
高いカテゴリー同士を順次統合して行くことにより、1
個の文書のみを構成要素とする最下位のカテゴリーから
全文書を構成要素とする最上位のカテゴリーに至るツリ
ー構造のカテゴリー体系を構築する。
【0049】類似度の高いカテゴリーを順次統合する手
順は特に限定されるものではないが、たとえば、カテゴ
リー相互間の類似度が最も高い2つのカテゴリーをまと
めて新たな1つのカテゴリーに統合する処理を繰り返す
ようにすることができる。もちろん、カテゴリー相互間
の類似度が最も高い3つ以上のカテゴリーを一度にまと
めて新たな1つのカテゴリーに統合するようにしてもよ
い。
【0050】結合度決定手段24は、ツリー構造のカテ
ゴリー体系を構成する各カテゴリーについて、当該カテ
ゴリーを構成する文書相互の類似度に基づいて、当該カ
テゴリーのまとまりの良さを示す結合度を決定する。こ
の実施形態においては、カテゴリーの結合度を、当該カ
テゴリーを構成する文書1個あたりの文書相互の類似度
の総和に対応する量としている。
【0051】さらに具体的には、カテゴリーGaとカテゴ
リーGbとを統合して得られる新たなカテゴリーをGと
し、それぞれのカテゴリーの結合度をJ(Ga)、J(Gb)、J
(G)とし、それぞれのカテゴリーを構成する文書の数をC
(Ga)、C(Gb)、C(G)としたとき、下記の式(1)にした
がって、カテゴリーGの結合度J(G)を算出するようにし
ている。
【0052】[式(1)]
【0053】J(G)=(J(Ga)・(C(Ga)-1)+J(Gb)・(C(Gb)-
1)+β)/(C(Ga)+C(Gb)-1)
【0054】ただし、カテゴリーGaを構成するC(Ga)個
のデータおよびカテゴリーGbを構成するC(Gb)個のデー
タを、それぞれデータD、D、...、DmおよびデータD
m+1、Dm+2、...、Dnとし、文書Diの文書Djに対する類似
度をAijとしたとき、上式のβは式(2)で表現され
る。
【0055】[式(2)]
【0056】
【0057】最適カテゴリー決定手段10は、カテゴリ
ーの結合度が当該カテゴリーを構成する直下のいずれの
カテゴリーの結合度よりも少なくとも低くないカテゴリ
ーのうち、ツリー構造の最も上位にあるカテゴリーを最
適カテゴリーとして決定する。なお、この実施形態にお
いては、カテゴリーの結合度が当該カテゴリーを構成す
る直下のいずれのカテゴリーの結合度よりも高いカテゴ
リーのうち、ツリー構造の最も上位にあるカテゴリーを
最適カテゴリーとして決定するようにしている。
【0058】文書再配置手段12は、最適カテゴリーと
当該最適カテゴリーを構成する文書とを対応付けて記憶
させる。また、最適カテゴリー表示手段14は、決定さ
れた最適カテゴリーを表示する。なお、この実施形態に
おいては、最適カテゴリー表示手段14は、ツリー構造
のカテゴリー体系と併せて最適カテゴリーを表示するよ
うにしている。
【0059】なお、いずれの最適カテゴリーにも含まれ
ない文書を構成要素とする最下位のカテゴリーを準最適
カテゴリーとして最適カテゴリーと同様に取り扱うよう
にすることもできる。この場合、準最適カテゴリーと当
該準最適カテゴリーを構成する文書とを対応付けて記憶
し、最適カテゴリー表示手段14には、最適カテゴリー
とともに準最適カテゴリーを表示するようにしてもよ
い。しかし、この発明はこれに限定されるものではな
く、たとえば、いずれの最適カテゴリーにも含まれない
文書を独立の文書として扱うようにしてもよい。
【0060】図2は、図1に示す文書分類装置2を、C
PU42を用いて実現した場合のハードウェア構成の一
例を示す図面である。
【0061】文書分類装置2は、データ分類プログラム
である文書分類プログラムを記録した記録媒体であるC
D−ROM(コンパクトディスク・リードオンリーメモ
リー)54を駆動するためのCD−ROMドライブ5
2、同じく記録媒体であり記憶手段でもあるハードディ
スク50を備えている。
【0062】CD−ROM54に記録された該プログラ
ムは、CD−ROMドライブ52を介して、ハードディ
スク50にインストールされる。
【0063】文書分類装置2は、さらに、ハードディス
ク50にインストールされたプログラムを実行する制御
手段であるCPU42,表示手段であるCRT44,入
力手段であるキーボード46およびマウス48を備えて
いる。
【0064】図2のCPU42が、図1の文書入力手段
4、文書相互間類似度決定手段6、カテゴリー体系構築
・結合度決定手段8、最適カテゴリー決定手段10、お
よび、文書再配置手段12に対応する。また、図2のC
RT44が、図1の最適カテゴリー表示手段14に対応
する。
【0065】図3は、文書分類装置2における文書分類
処理の手順の一例を示すフローチャートである。図4
は、図3に示す処理のうち、文書相互間類似度算出処理
の詳細な処理手順の一例を示すフローチャートである。
図5は、図3に示す処理のうち、カテゴリー体系構築・
結合度算出処理の詳細な処理手順の一例を示すフローチ
ャートである。図6は、図3に示す処理のうち、最適カ
テゴリー決定処理において用いられるサブプログラムの
処理手順の一例を示すフローチャートである。
【0066】図7は、文書の特徴ベクトルおよび文書相
互の類似度を説明するための図面である。図8A〜図8
Cは、カテゴリー体系を構築する処理を説明するための
図面である。図9は、構築されたカテゴリー体系および
最適カテゴリーを説明するための図面である。図10は
最適カテゴリーが表示されたCRT44の表示画面を示
す図面である。
【0067】図2〜図10を用いて、文書分類装置2を
用いた文書分類処理について説明する。図2に示すCP
U42は、まず、記憶手段であるハードディスク50に
記憶されているn個の文書を取り込む(図3、ステップ
S1)。
【0068】つぎに、CPU42は、取り込んだ各文書
相互間の類似度を算出する(図3、ステップS2)。ス
テップS2の詳細な処理手順を図4に示す。すなわち、
図4に示すように、CPU42は、まず、取り込んだ各
文書の特徴ベクトルを算出する(図4,ステップS1
1)。
【0069】このステップにおいては、特徴ベクトル空
間の各軸を構成するキーワードと各文書に含まれる単語
とをマッチングすることにより、各文書の特徴ベクトル
を算出するようにしている。
【0070】説明の便宜上、図7に示すような第1軸
(犬軸)AX1、第2軸(好き軸)AX2および第3軸(男
軸)AX3の3次元の特徴ベクトル空間を想定する。たと
えば、文書D1が「犬の好きな男」であるとすれば、文書
D1は「犬」、「好き」および「男」を含むから、第1軸
AX1、第2軸AX2、第3軸AX3の成分が全て「1」にな
る。したがって、文書D1の特徴ベクトルV1は、図7のよ
うになる。
【0071】同様に、文書D2が「犬の好きな子供」であ
るとすれば、文書D2は「犬」、「好き」を含むが「男」
を含まないから、第1軸AX1、第2軸AX2、第3軸AX3
成分は、それぞれ、「1」、「1」、「0」となる。し
たがって、文書D2の特徴ベクトルV2は、図7のようにな
る。
【0072】このようにして全ての文書D1〜Dnの特徴ベ
クトルV1〜Vnを算出すると、CPU42は、つぎに各文
書相互の類似度を算出する(図4,ステップS12)。
この実施形態においては、文書Diの文書Djに対する類似
度Aijを、特徴ベクトル空間における文書Diの特徴ベク
トルViと文書Djの特徴ベクトルVjとのなす角θij(図
7、角θ12参照)の余弦(cosθij)を百分率で表した
数値で表現している。一般的には、データ相互間の類似
度は、データ相互間の特徴値の類似度として把握するこ
とができる。
【0073】なお、文書Diの文書Djに対する類似度Aij
と、文書Djの文書Diに対する類似度A jiとは等しいの
で、どちらか一方のみを計算しておけばよい。また、自
己との類似度Aiiは計算する必要がないので、n個の文
書の類似度の計算は、(n2-n)/2回行われることになる。
【0074】つぎに、CPU42は、算出した類似度に
基づいて、類似度行列を生成する(図4,ステップS1
3)。類似度行列は、前ステップにおいて生成された類
似度Aijを要素とするn次正方行列である。ただし、対角
成分Aiiは全て「100」となる。
【0075】説明の便宜のため、文書数n=5の場合の類
似度行列60を図8Aに示す。図8Aおよび図8Bで
は、対角成分Aiiを棒線で表している。以後の計算では
対角成分Aiiを用いないから、便宜上、このように表現
しているのである。なお、類似度行列は、成分Aij(i>
j)を全て「0」とした下方三角行列として表現される
場合もある。
【0076】つぎに、CPU42は、生成した類似度行
列に基づいて、取り込んだ全文書についてのツリー構造
のカテゴリー体系を構築するとともに、当該カテゴリー
体系を構成する各カテゴリーの結合度を算出する(図
3、ステップS3)。ステップS3の詳細な処理手順を
図5に示す。すなわち、図5に示すように、CPU42
は、まず、最も類似度の高い2つのカテゴリーを統合す
る(図5,ステップS21)。
【0077】統合前においては、各文書D1〜Dnが、それ
ぞれ1つのカテゴリーG1〜Gnを構成しているものとす
る。したがって、カテゴリーG1〜Gnの特徴ベクトルは、
各文書D1〜Dnの特徴ベクトルV1〜Vnに一致する。カテゴ
リーG1〜Gn相互間の類似度とは、各文書D1〜Dn相互間の
類似度Aijにほかならない。つまり、CPU42は、こ
のステップにおいて、まず、図8Aに示す類似度行列6
0に基づいて最も類似度の高い2つの文書を統合するの
である。
【0078】図8Aにおいて、対角成分を除いて最も高
い類似度が、たとえば、A23(=A32)であったとする。
CPU42は、カテゴリーG2(文書D2)とカテゴリーG3
(文書D3)とを統合して新たなカテゴリーGxを生成する
とともに、新たなカテゴリーGxの特徴ベクトルVxを決定
する。
【0079】特徴ベクトルVxの決定方法は特に限定され
るものではないが、たとえば、カテゴリーGxを構成して
いる複数のカテゴリーの特徴ベクトルを平均したベクト
ルをあらたな特徴ベクトルVxとしたり、カテゴリーGx
構成している複数のカテゴリーの特徴ベクトルのひとつ
(たとえば、カテゴリーGxを構成している複数のカテゴ
リーの特徴ベクトルのうち、カテゴリーGxとの類否が問
題となっている他のカテゴリーの特徴ベクトルに最も近
いカテゴリーの特徴ベクトル)をあらたな特徴ベクトル
Vxとしたりすることができる。一般的には、カテゴリー
の特徴値は、当該カテゴリーを構成するデータの特徴値
に基づいて決定することができる。
【0080】CPU42は、このようにして決定された
新たなカテゴリーGxの特徴ベクトルVxと、統合されなか
った他のカテゴリーG1、G4、G5の特徴ベクトルとの類似
度を算出し、算出結果に基づいて、類似度行列を書き直
す。
【0081】すなわち、図8Aに示す類似度行列60か
ら、カテゴリーG2およびカテゴリーG3に関連する要素を
除去し、代わりに、カテゴリーG2とカテゴリーG3とを統
合した新たなカテゴリーGxと統合されなかった他のカテ
ゴリーG1、G4、G5との類似度を挿入する。このようにし
て書き直された類似度行列62を図8Bに示す。このよ
うに、カテゴリーの統合を1回行うことにより、類似度
行列の次数は1次小さくなることになる。
【0082】つぎに、CPU42は、あらたなカテゴリ
ーGxの結合度J(Gx)を算出する(図5,ステップS2
2)。算出式の一般形は、上述の式(1)、(2)で表
される。ここでは、たとえば類似度A23=90である場合を
例に、結合度J(Gx)を算出してみる。
【0083】式(1)において、G=Gx、Ga=G2、Gb=G3
おけば、C(G)=C(G3)=1であるから、J(Gx)=βとなる。
【0084】一方、式(2)から分かるように、βは、
統合前の一方のカテゴリーを形成する各文書から見た他
方のカテゴリーを形成する各文書との類似度の総和と、
統合前の他方のカテゴリーを形成する各文書から見た一
方のカテゴリーを形成する各文書との類似度の総和との
和をとったものである。したがって、上述のケースで
は、β=A23+A32=180となる。つまり、あらたなカテゴリ
ーGxの結合度J(Gx)=180となる。
【0085】ここで、式(1)、(2)の妥当性につい
て考察をしておく。まず、「カテゴリーの内部エネルギ
ーE(G)」なる概念を導入する。カテゴリーの内部エネル
ギーE(G)を、1つのまとまりをなすカテゴリーを構成し
ている各文書をバラバラにするために必要な総エネルギ
ーと定義する。
【0086】すなわち、あるカテゴリーを構成している
1つの文書を当該カテゴリーを構成している他の全ての
文書から引き離すのに必要なエネルギーを、当該カテゴ
リーを構成する各文書について合計したものを、当該カ
テゴリーの内部エネルギーE(G)とする。
【0087】ここで、2つの文書が類似しているほど引
き離すのが困難であるとして、2つの文書Di、Djを引き
離すエネルギーは2つの文書DiとDjの類似度Aijに等し
い、という仮定をおくと、構成文書数C(G)=nのカテゴリ
ーGの内部エネルギーE(G)は、次式(3)で表すことが
できる。
【0088】[式(3)]
【0089】
【0090】なお、図8Aに示す行列の対角成分Aii
除く要素の総和が、構成文書数C(G)=5の場合におけるカ
テゴリーの内部エネルギーE(G)となっている。
【0091】カテゴリーGが、2つのカテゴリーGa(構
成文書数C(Ga)=m)とGb(構成文書数C(Gb)=n-m)とを統
合して形成された新たなカテゴリーであるとすると、式
(3)は次式(4)で表現することができる。
【0092】[式(4)]
【0093】
【0094】一方、1つの文書のみを構成要素とするカ
テゴリー(すなわちC(G)=1)の内部エネルギーは「0」
であることを考慮すれば、構成文書数C(G)=nのカテゴリ
ーGの内部エネルギーE(G)は、次式(5)のように表す
こともできる。
【0095】[式(5)]
【0096】E(G)=J(G)・(n-1)
【0097】式(5)において、J(G)は、あるカテゴリ
ーを構成している1つの文書を当該カテゴリーを構成し
ている他の全ての文書から引き離すのに必要なエネルギ
ーの平均値、すなわち、あるカテゴリーから1つの文書
を引き離すのに必要な平均的なエネルギーと考えられ
る。
【0098】カテゴリーから文書を引き離すのに要する
エネルギーが高いほど、そのカテゴリーはまとまりが良
いと考えられる。そこで、本願では、J(G)を、カテゴリ
ーGのまとまりの良さを表す結合度(カテゴリーGの硬
さ)と位置づけ、良いカテゴリーか否かを判断する基準
としたのである。
【0099】なお、式(5)の形から、カテゴリーGの
結合度J(G)は、分子数n、分子の運動エネルギーを無視
した場合の内部エネルギーE(G)、であるような物質の硬
度と類似していることが分かる。
【0100】式(4)および式(5)から導かれたの
が、結合度J(G)を示す式(1)、(2)である。式
(1)、(2)を用いると、既に求めてあるJ(Ga)、J(G
b)を利用できるので、演算時間が短くて済むという利点
がある。
【0101】なお、演算時間が長くはなるものの、式
(3)および式(5)から導かれる次式(6)を用いて
結合度J(G)を算出することもできる。
【0102】[式(6)]
【0103】
【0104】式(6)から分かるように、結合度J(G)
は、あるカテゴリーを構成している1つの文書と当該カ
テゴリーを構成している他の文書との類似度の総和の平
均的な値と見ることもできる。つまり、結合度J(G)は、
カテゴリーを構成する個々の文書同士の類似度が高いほ
ど高くなり、しかも、カテゴリーを構成する文書数が多
いほど高くなることになる。
【0105】したがって、カテゴリーの結合度は、上述
の各式に限定されるものではなく、カテゴリーを構成す
る文書同士の類似度が高いほど高くなり、かつ、カテゴ
リーを構成する文書数が多いほど高くなるような条件を
満たす関数を用いればよいことがわかる。さらに、ニュ
ーラルネットワークのような自己学習型の情報処理手段
を用いて、上記条件を満足するような結合度を算出させ
るようにしてもよい。
【0106】さて、このようにして、新たなカテゴリー
の結合度が算出されると、CPU42は、生成された新
たなカテゴリーが、与えられた全文書を含むか否かを判
断する(図5,ステップS23)。新たなカテゴリーが
全文書を包含しない場合には、CPU42は制御をステ
ップS21に戻し、今度は書き直された類似度行列62
(図8B参照)に基づいて、最も類似度の高い2つのカ
テゴリー(文書)を統合するのである。
【0107】以下、CPU42は、生成された新たなカ
テゴリーが全文書を含むようになるまで、ステップS2
1〜ステップS23の処理を繰り返す。このようにして
生成された最後の類似度行列64を図8Cに示す。な
お、図8Cに示す類似度行列64は、全文書を包含する
最上位のカテゴリーGrの自己類似度Arrのみを要素とす
る1行1列の行列である。
【0108】このようにして、与えられたn個の文書D1
〜Dnについてのツリー構造のカテゴリー体系が構築され
るとともに、当該カテゴリー体系を構成する各カテゴリ
ーの結合度が算出される。
【0109】図9は、このようにして構築されたツリー
構造のカテゴリー体系、および当該カテゴリー体系を構
成する各カテゴリーの結合度を説明するための図面であ
る。ただし図9においては、説明の便宜のため、図11
にて説明した例と同じ例を用いている。すなわち、図9
の例においては、分類の対象となるデータとして、文書
ではなく、ある集団を構成するメンバーの年齢を想定
し、年齢をそのまま特徴値として用いている。図9の各
データD1〜D14を示す矩形内に記載された数値が特徴値
(年齢)である。
【0110】つまり、データ数n=14とし、各データD1
D14の特徴を表す14個の特徴値を全てスカラー量S
i(1次元の特徴ベクトル)で表現している。また、類
似度Aij(パーセント)を次式(7)で算出するように
している。
【0111】[式(7)]
【0112】Aij = (1/|Si-Sj|)×100
【0113】また、図9の例においては、カテゴリー相
互間の類似度が最も高いカテゴリーが3つ以上ある場
合、それら3つ以上のカテゴリーを一度にまとめて新た
な1つのカテゴリーに統合するようにしている。
【0114】また、統合により生成された新たなカテゴ
リーを構成している複数の下位のカテゴリーの特徴ベク
トルのうち、あらたなカテゴリーとの類否が問題となっ
ている他のカテゴリーの特徴ベクトルに最も近いカテゴ
リーの特徴ベクトルを、新たなカテゴリーの特徴ベクト
ルとしている。
【0115】図9から分かるように、これまでの処理に
よって、1個のデータのみを構成要素とする最下位のカ
テゴリーである14個のカテゴリーG1〜G14(それぞ
れ、データD1〜D14のうち1つのみを構成要素としてい
る)から、中間位のカテゴリーである10個のカテゴリ
ーG15〜G24を経て、最上位のカテゴリーであるカテゴリ
ーGrに至るツリー構造のカテゴリー体系が形成されると
ともに、このカテゴリー体系を構成する25個のカテゴ
リーG1〜G24およびGrの結合度が、それぞれ算出され
る。
【0116】図9において、カテゴリーG15〜G24および
Grを示す楕円内にそれらの結合度が記載されている。な
お、カテゴリーG1〜G14の結合度は、上述のように、い
ずれも「0」である。
【0117】図3に戻って、CPU42は、つぎに、算
出した各カテゴリーの結合度に基づいて、最適なカテゴ
リーを決定する(図3、ステップS4)。ステップS4
の処理に用いられるサブプログラム(図6参照)におい
ては、当該サブプログラムの実行中に自己をサブプログ
ラムとして呼び出して実行する、いわゆる再帰呼び出し
手法を用いている。このような構成の処理を行うこと
で、ツリー構造の処理を効率よく行うことができる。
【0118】図3のステップS4に示すように、CPU
42は、まず、ツリー構造の最上位のカテゴリーGrを処
理対象カテゴリーGとして設定し、図6に示すサブプロ
グラムに制御を移す。
【0119】図6に示すサブプログラムにおいて、CP
U42は、まず、処理対象カテゴリーGの要素数C(G)が
1つであるか否かを判断する(図6、ステップS3
1)。処理対象となっているカテゴリーGが最下位のカ
テゴリーでないかぎり、CPU42は、ステップS32
を実行することになる。
【0120】ステップS32において、CPU42は、
処理対象カテゴリーGの結合度J(G)が、処理対象カテゴ
リーGを構成する直下のカテゴリーGa、Gbの結合度J
(Ga)、J(Gb)のいずれよりも大きいか否かを判断する
(図6,ステップS32)。本ステップにおいて、処理
対象カテゴリーGの結合度J(G)が、処理対象カテゴリーG
を構成する直下のカテゴリーGa、Gbの結合度J(Ga)、J(G
b)のいずれよりも大きい場合は、当該処理対象カテゴリ
ーGを、最適カテゴリーに決定し(図6、ステップS3
5)、当該処理対象カテゴリーGに関する処理(サブプ
ログラム)を終了する。
【0121】したがって、最上位のカテゴリーGrが最適
カテゴリーと決定された場合には、最適カテゴリー決定
処理(図3,ステップS4)は終了する。
【0122】一方、ステップS32において、処理対象
カテゴリーGの結合度J(G)が、処理対象カテゴリーGを構
成する直下のカテゴリーGa、Gbの結合度J(Ga)、J(Gb)の
いずれか一方よりも大きいか、いずれか一方と等しいよ
うな場合は、当該処理対象カテゴリーGは最適カテゴリ
ーではないと判断し、直下のカテゴリーGa、Gbそれぞれ
について、最適カテゴリー決定処理を行う。
【0123】すなわち、このような場合、CPU42
は、上述のカテゴリーGa、Gbをそれぞれ新たな処理対象
カテゴリーGとして設定し、図6に示すサブプログラム
を実行する(図6,ステップS33、ステップS3
4)。
【0124】このような再帰呼び出し処理を繰り返すこ
とで、ツリー構造のカテゴリー体系において、カテゴリ
ーの結合度が当該カテゴリーを構成する直下のいずれの
カテゴリーの結合度よりも高いカテゴリーのうち、ツリ
ー構造の最も上位にあるカテゴリーを最適カテゴリーと
して決定することができる。
【0125】なお、図6のステップS31において、処
理対象カテゴリーGの要素数C(G)が「1」である場合、
当該処理対象カテゴリーGを最適カテゴリーに決定する
(図6,ステップS35)。
【0126】すなわち、最下位のカテゴリー(要素数が
1つのカテゴリー)より上位のカテゴリーに最適カテゴ
リが存在しなかった場合、つまり、当該最下位のカテゴ
リーからツリー構造をたどって最上位のカテゴリーGr
至る経路上に最適カテゴリーが存在しない場合には、当
該最下位のカテゴリーを最適カテゴリーとみなして、通
常の最適カテゴリーと同様に取り扱うようにしているの
である。最適カテゴリーとみなされた最下位のカテゴリ
ーが、上述の準最適カテゴリーである。
【0127】ただし、上述のように、最下位のカテゴリ
ーより上位のカテゴリーに最適カテゴリが存在しなかっ
た場合、当該最下位のカテゴリーを構成するデータを、
いずれの最適カテゴリーにも属さない独立のデータとし
て扱うようにしてもよい。このように取り扱うには、図
6のステップS31において、処理対象カテゴリーGの
要素数C(G)が「1」である場合に当該処理対象カテゴリ
ーGについての図6に示すサブプログラムを終了するよ
うにしておけばよい。
【0128】図9の例では、カテゴリーを示す楕円が太
線で描かれているものが最適カテゴリーを表している。
すなわち、カテゴリーG17、G18およびG22が最適カテゴ
リーである。
【0129】なお、図9の例では、上述の3つの最適カ
テゴリーG17、G18およびG22のいずれにも属しないカテ
ゴリーG9およびG14を構成するデータD9およびD14を独立
したデータとして扱うようにしているが、上述のよう
に、カテゴリーG9およびG14を最適カテゴリーとして扱
うようにしてもよい。
【0130】図3に戻って、CPU42は、このように
して決定された最適カテゴリーに、これら最適カテゴリ
ーを構成する各文書(各データ)を再配置する(図3、
ステップS5)。たとえば、各最適カテゴリーとこれら
を構成する文書とを関連付けて、ハードディスク50に
記憶するという形で、この処理が実行される。
【0131】CPU42は、つぎに、最適カテゴリーを
CRT44上に表示する(図3,ステップS6)。図9
の例における最適カテゴリーG17、G18およびG22をCR
T44上に表示した場合の例を、図10に示す。図10
に示す表示画面70うち、特徴グループ一覧表示部72
に、最適カテゴリーG17、G18およびG22に関する情報が
表示されている。
【0132】すなわち、特徴グループ一覧表示部72に
は、各最適カテゴリーG17、G18およびG22について、最
適カテゴリーを示す表示(星マークの付されたフォルダ
ーのアイコン)とともに、当該最適カテゴリーを構成す
る文書(データ)の数、当該最適カテゴリーの結合度、
当該最適カテゴリーの類似度(当該最適カテゴリーの構
成要素である直下のカテゴリー相互間の類似度)、当該
最適カテゴリーのキーワード(特徴値)が表示されてい
る。
【0133】たとえば、特徴グループ一覧表示部72に
表示されているいずれかのフォルダのアイコンを、マウ
ス48等を用いて選択することで、当該フォルダに対応
する最適カテゴリーの構成要素である文書(データ)の
一覧(目録)がCRT44上に表示され(図示せず)、
表示された文書の一覧からマウス48等を用いて所望の
文書を選択することにより、当該文書の内容をCRT4
4上に表示させることができる。
【0134】なお、この実施形態においては、図10に
示す表示画面70に、上述の特徴グループ一覧表示部7
2とともに、全グループ階層表示部74も表示されてい
る。全グループ階層表示部74には、ツリー構造のカテ
ゴリー体系が視覚的に確認できるよう各カテゴリーが表
示され、併せて、各カテゴリーの情報も表示されてい
る。
【0135】すなわち、全グループ階層表示部74に
は、カテゴリー体系を構成する全てのカテゴリーがツリ
ー状に階層表示されるとともに、各カテゴリーについ
て、カテゴリーを示す表示(フォルダーのアイコン)と
ともに、当該カテゴリーを構成する文書(データ)の
数、当該カテゴリーの類似度(当該カテゴリーの構成要
素である文書(データ)相互間の類似度)、当該カテゴ
リーの結合度が表示されている。また、全グループ階層
表示部74には、最適カテゴリーに含まれない書類(デ
ータ)が、孤立した文書として表示されている。
【0136】全グループ階層表示部74に表示された各
カテゴリーのうち、最適カテゴリーには、最適カテゴリ
ーを示す表示(星マークのアイコン)が、さらに付され
ている。つまり、ツリー構造のカテゴリー体系を表示す
るとともに、当該カテゴリー体系を構成するカテゴリー
のうち最適カテゴリーを他のカテゴリーと異なる態様で
表示するようにしている。このように表示すれば、ツリ
ー構造のカテゴリー体系における最適カテゴリーの位置
づけが視覚的に把握し易くなり、好都合である。
【0137】もちろん、全グループ階層表示部74の表
示から、ツリー構造のカテゴリーをたどって、所望の文
書(データ)の内容をCRT44上に表示させることも
できる。
【0138】このように、文書分類装置2においては、
類似度の高いカテゴリー同士を順次統合して行くことに
より、1個の文書のみを構成要素とする最下位のカテゴ
リーから全文書を構成要素とする最上位のカテゴリーに
至るツリー構造のカテゴリー体系を構築するようにして
いる。また、カテゴリー体系を構成する各カテゴリーに
ついて、当該カテゴリーを構成する文書相互の類似度に
基づいて、当該カテゴリーのまとまりの良さを示す結合
度を決定するようにしている。さらに、カテゴリーの結
合度が当該カテゴリーを構成する直下のいずれのカテゴ
リーの結合度よりも少なくとも低くないカテゴリーのう
ち、ツリー構造の最も上位にあるカテゴリーを最適カテ
ゴリーとして決定するようにしている。そして、最適カ
テゴリーと当該最適カテゴリーを構成する文書とを対応
付けて記憶させるようにしている。
【0139】したがって、傾向がまったく不明の大量の
文書であっても、これらの文書相互の類似度に基づいて
ツリー構造のカテゴリー体系を構築することができる。
このようにして構築したツリー構造のカテゴリー体系を
構成する各カテゴリーについて、各カテゴリーを構成す
る文書相互の類似度に基づいて各カテゴリーの結合度を
決定し、決定した結合度に基づいて各カテゴリーの中か
ら最適カテゴリーを決定するようにしている。
【0140】このようにして最適カテゴリーを決定する
ことで、階層的なツリー構造のカテゴリー体系を、最適
カテゴリーを構成要素とする1元的なカテゴリー体系、
すなわち、ある最適カテゴリーが他の最適カテゴリーに
含まれることがないような構造のカテゴリー体系、に変
換することができる。
【0141】さらに、最適カテゴリーと当該最適カテゴ
リーを構成する文書とを対応付けて記憶させることで、
文書を一元的分類、つまり、ある最適カテゴリーに属す
る文書が他の最適カテゴリーに含まれることがないよう
な分類、を行うことができる。
【0142】このようにして、傾向がまったく不明の大
量の文書を自動的に一元的分類することができるのであ
る。
【0143】なお、上述の実施形態において、図3の文
書入力処理(ステップS1)が、図1の文書入力手段4
に対応する。
【0144】文書相互間類似度算出処理(ステップS
2)が、文書相互間類似度決定手段6に対応する。図4
のステップS11が、図1の特徴ベクトル生成手段16
に対応する。ステップS12が類似度算出手段18に対
応する。ステップS13が類似度行列生成手段20に対
応する。
【0145】カテゴリー体系構築・結合度算出処理(ス
テップS3)が、カテゴリー体系構築・結合度決定手段
8に対応する。図5のステップS21およびステップS
23が、図1のカテゴリー体系構築手段22に対応す
る。ステップS22が結合度決定手段24に対応する。
【0146】最適カテゴリー決定処理(ステップS4)
が、最適カテゴリー決定手段10に対応する。最適カテ
ゴリーに各文書を配置する処理(ステップS5)が、文
書再配置手段12に対応する。最適カテゴリー表示処理
(ステップS6)が、最適カテゴリー表示手段14に対
応する。
【0147】また、請求項における、類似度の高いカテ
ゴリー同士を順次統合して行くことにより、1個のデー
タのみを構成要素とする最下位のカテゴリーから全デー
タを構成要素とする最上位のカテゴリーに至るツリー構
造のカテゴリー体系を構築するステップが、実施形態に
おけるステップS21およびステップS23に対応す
る。
【0148】請求項における、ツリー構造のカテゴリー
体系を構成する各カテゴリーについて、当該カテゴリー
を構成するデータ相互の類似度に基づいて、当該カテゴ
リーのまとまりの良さを示す結合度を決定するステップ
が、ステップS22に対応する。
【0149】請求項における、カテゴリーの結合度が当
該カテゴリーを構成する直下のいずれのカテゴリーの結
合度よりも少なくとも低くないカテゴリーのうち、ツリ
ー構造の最も上位にあるカテゴリーを最適カテゴリーと
して決定するステップが、ステップS4に対応する。
【0150】請求項における、最適カテゴリーと当該最
適カテゴリーを構成するデータとを対応付けて記憶させ
るステップが、ステップS5に対応する。
【0151】また、請求項における、カテゴリーを構成
するデータ相互の類似度を算出するステップが、ステッ
プS2に対応する。
【0152】請求項における、算出されたデータ相互の
類似度に基づいて、当該カテゴリーを構成するデータ1
個あたりのデータ相互の類似度の総和に対応する量を、
当該カテゴリーのまとまりの良さを表す結合度として算
出するステップが、ステップS22に対応する。
【0153】また、請求項における、ツリー構造のカテ
ゴリー体系を構成する各カテゴリーについて、カテゴリ
ーのまとまりの良さを表すカテゴリーの結合度を決定す
るステップが、ステップS22に対応する。
【0154】請求項における、カテゴリーの結合度が当
該カテゴリーを構成する直下のいずれのカテゴリーの結
合度よりも少なくとも低くないカテゴリーのうち、ツリ
ー構造の最も上位にあるカテゴリーを最適カテゴリーと
して決定するステップが、ステップS4に対応する。
【0155】請求項における、最適カテゴリーと当該最
適カテゴリーを構成するデータとを対応付けて記憶させ
るステップが、ステップS5に対応する。
【0156】なお、上述の実施形態においては、新たに
カテゴリーを統合するごとに新たなカテゴリーの結合度
を算出するようにしたが、この発明はこれに限定される
ものではない。たとえば、カテゴリーの統合を全て終了
してから、まとめて各カテゴリーの結合度を算出するよ
うにしてもよい。
【0157】また、上述の実施形態においては、データ
の例として主として文書を例に説明したが、この発明は
これに限定されるものではない。たとえば、単純な実験
データ等の他、画像データ、音声データ等、少なくとも
一次元または多次元のベクトル空間で定義可能な特徴値
を持つデータは、この発明の適用対象となる。
【0158】なお、上述のブロック図、ハードウェア構
成、フローチャート、表示画面、その他説明に用いた図
面等は例として挙げたものであり、本願発明は、上述の
ブロック図等に限定されるものではない。
【0159】なお、上述の実施形態においては、スタン
ドアローンで動作するコンピュータをもちいて文書分類
装置2を実現する場合を例に説明したが、本発明はこれ
に限定されるものではない。
【0160】たとえば、サーバコンピュータ(サーバ装
置)のハードディスク(記録媒体)に上述の文書分類装
置2を構成するプログラム等を記憶させておき、サーバ
コンピュータにより、インターネット(通信網)を介し
て1台以上のパーソナルコンピュータ(端末装置)をコ
ントロールすることで、パーソナルコンピュータ側の入
力装置(入力手段)から処理すべき文書を入力させ、入
力された文書を分類する処理をサーバコンピュータ側で
実行し、分類結果をパーソナルコンピュータ側に送信
し、パーソナルコンピュータの表示装置(表示手段)に
表示されるよう構成することもできる。
【0161】また、本装置を構成するプログラムの一部
をパーソナルコンピュータ側に持たせるようにしてもよ
い。もちろん、サーバコンピュータとして複数のコンピ
ュータを用いてもよい。サーバコンピュータとして複数
のコンピュータを用いる場合には、それら複数のコンピ
ュータを通信回線(たとえばインターネット)を介して
接続するようにしてもよい。
【0162】なお、上の例では、通信網としてインター
ネットを例に説明したが、通信網はインターネットに限
定されるものではない。たとえば、LAN(ローカルエ
リアネットワーク)を介してサーバコンピュータとパー
ソナルコンピュータ等の端末装置とを接続するようなネ
ットワークにおいて本発明を実現するようにしてもよ
い。
【0163】なお、この実施形態においては、CD−R
OMに記録されたプログラムをハードディスクにインス
トールして実行するようにしている。ただし、プログラ
ムの保持形態はこれらに限定されるものではない。たと
えば、本装置を構成するプログラムを、フロッピー(登
録商標)ディスク、磁気テープ等に記録するようにして
もよい。
【0164】また、プログラムの実行方法も、特に限定
されるものではない。たとえば、CD−ROM、フロッ
ピーディスク、磁気テープ等に記録されたプログラム
を、ハードディスクにインストールすることなく、直
接、実行するようにしてもよい。
【0165】さらに、有線や無線の通信回線を介して当
該プログラムを配信するようにしてもよい。また、当該
プログラムをメインのサーバコンピュータにインストー
ルしておき、たとえばインターネットなどの通信回線を
介してローカルのサーバコンピュータに本システムのプ
ログラムを実行させるようにしてもよい。
【0166】また、プログラムやデータの記録態様は特
に限定されるものではない。直接実行できる形で記録媒
体に記録されている場合の他、たとえば、解凍して使用
するように圧縮された形で記録媒体に記録されていても
よい。
【0167】なお、上述の実施形態においては、コンピ
ュータを用いて図1の各機能を実現する場合を例に説明
したが、図1の機能の一部または全部をハードウェアロ
ジックを用いて構成するようにしてもよい。
【図面の簡単な説明】
【図1】この発明の一実施形態によるデータ分類装置で
ある文書分類装置2の構成を説明するためのブロック図
である。
【図2】図1に示す文書分類装置2を、CPU42を用
いて実現した場合のハードウェア構成の一例を示す図面
である。
【図3】文書分類装置2における文書分類処理の手順の
一例を示すフローチャートである。
【図4】図3に示す処理のうち、文書相互間類似度算出
処理の詳細な処理手順の一例を示すフローチャートであ
る。
【図5】図3に示す処理のうち、カテゴリー体系構築・
結合度算出処理の詳細な処理手順の一例を示すフローチ
ャートである。
【図6】図3に示す処理のうち、最適カテゴリー決定処
理において用いられるサブプログラムの処理手順の一例
を示すフローチャートである。
【図7】文書の特徴ベクトルおよび文書相互の類似度を
説明するための図面である。
【図8】図8A〜図8Cは、カテゴリー体系を構築する
処理を説明するための図面である。
【図9】構築されたカテゴリー体系および最適カテゴリ
ーを説明するための図面である。
【図10】最適カテゴリーが表示されたCRT44の表
示画面を示す図面である。
【図11】従来から行われている凝集法を説明するため
の模式図である。
【符号の説明】
10・・・・・最適カテゴリー決定手段 12・・・・・文書再配置手段 24・・・・・結合度決定手段

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】複数のデータを1以上のカテゴリーに分類
    するためのデータ分類装置であって、 類似度の高いカテゴリー同士を順次統合して行くことに
    より、1個のデータのみを構成要素とする最下位のカテ
    ゴリーから全データを構成要素とする最上位のカテゴリ
    ーに至るツリー構造のカテゴリー体系を構築し、 ツリー構造のカテゴリー体系を構成する各カテゴリーに
    ついて、当該カテゴリーを構成するデータ相互の類似度
    に基づいて、当該カテゴリーのまとまりの良さを示す結
    合度を決定し、 カテゴリーの結合度が当該カテゴリーを構成する直下の
    いずれのカテゴリーの結合度よりも少なくとも低くない
    カテゴリーのうち、ツリー構造の最も上位にあ るカテゴリーを最適カテゴリーとして決定し、最適カテ
    ゴリーと当該最適カテゴリーを構成するデータとを対応
    付けて記憶させること、 を特徴とするデータ分類装置。
  2. 【請求項2】コンピュータを、複数のデータを1以上の
    カテゴリーに分類するためのデータ分類装置として機能
    させるためのデータ分類プログラムであって、 類似度の高いカテゴリー同士を順次統合して行くことに
    より、1個のデータのみを構成要素とする最下位のカテ
    ゴリーから全データを構成要素とする最上位のカテゴリ
    ーに至るツリー構造のカテゴリー体系を構築し、 ツリー構造のカテゴリー体系を構成する各カテゴリーに
    ついて、当該カテゴリーを構成するデータ相互の類似度
    に基づいて、当該カテゴリーのまとまりの良さを示す結
    合度を決定し、 カテゴリーの結合度が当該カテゴリーを構成する直下の
    いずれのカテゴリーの結合度よりも少なくとも低くない
    カテゴリーのうち、ツリー構造の最も上位にあるカテゴ
    リーを最適カテゴリーとして決定し、 最適カテゴリーと当該最適カテゴリーを構成するデータ
    とを対応付けて記憶させる処理をコンピュータに実行さ
    せるためのデータ分類プログラム。
  3. 【請求項3】請求項2のデータ分類プログラムを記録し
    たコンピュータ読み取り可能な記録媒体。
  4. 【請求項4】請求項1ないし3のいずれかの装置、プロ
    グラムまたは記録媒体において、 カテゴリーの結合度は、当該カテゴリーを構成するデー
    タ1個あたりのデータ相互の類似度の総和に対応する量
    であること、 を特徴とするもの。
  5. 【請求項5】請求項1ないし4のいずれかの装置、プロ
    グラムまたは記録媒体において、 カテゴリーGaとカテゴリーGbとを統合して得られる新た
    なカテゴリーをGとし、それぞれのカテゴリーの結合度
    をJ(Ga)、J(Gb)、J(G)とし、それぞれのカテゴリーを構
    成するデータの数をC(Ga)、C(Gb)、C(G)としたとき、カ
    テゴリーGの結合度J(G)が、次式 J(G)=(J(Ga)・(C(Ga)-1)+J(Gb)・(C(Gb)-1)+β)/(C(Ga)
    +C(Gb)-1) で表されることを特徴とするもの、 ただし、カテゴリーGaを構成するC(Ga)個のデータおよ
    びカテゴリーGbを構成するC(Gb)個のデータを、それぞ
    れデータD、D、...、DmおよびデータDm+1
    Dm+2、...、Dnとし、データDiのデータDjに対する類似
    度をAijとしたとき、上式のβは次式 で表現される。
  6. 【請求項6】請求項1ないし5のいずれかの装置、プロ
    グラムまたは記録媒体において、 データ分類装置は、いずれの最適カテゴリーにも含まれ
    ないデータを構成要素とする最下位のカテゴリーを準最
    適カテゴリーとして最適カテゴリーと同様に取り扱うこ
    と、 を特徴とするもの。
  7. 【請求項7】請求項1ないし6のいずれかの装置、プロ
    グラムまたは記録媒体において、 前記データは文書であり、データ相互の類似度を決定す
    る基礎となるデータの特徴値として、文書の特徴を示す
    ベクトルを用いること、を特徴とするもの。
  8. 【請求項8】請求項1ないし7のいずれかの装置、プロ
    グラムまたは記録媒体において、 データ分類装置は、最適カテゴリーを表示する際、当該
    最適カテゴリーの結合度および類似度のうち少なくとも
    一方を表示するよう制御すること、 を特徴とするもの。
  9. 【請求項9】請求項1ないし8のいずれかの装置、プロ
    グラムまたは記録媒体において、 データ分類装置は、ツリー構造のカテゴリー体系を表示
    するとともに、当該ツリー構造のカテゴリー体系を構成
    するカテゴリーのうち最適カテゴリーを他のカテゴリー
    と異なる態様で表示するよう制御すること、 を特徴とするもの。
  10. 【請求項10】コンピュータを用いて、複数のデータを
    1以上のカテゴリーに分類するためのデータ分類方法で
    あって、 類似度の高いカテゴリー同士を順次統合して行くことに
    より、1個のデータのみを構成要素とする最下位のカテ
    ゴリーから全データを構成要素とする最上位のカテゴリ
    ーに至るツリー構造のカテゴリー体系を構築するステッ
    プと、 ツリー構造のカテゴリー体系を構成する各カテゴリーに
    ついて、当該カテゴリーを構成するデータ相互の類似度
    に基づいて、当該カテゴリーのまとまりの良さを示す結
    合度を決定するステップと、 カテゴリーの結合度が当該カテゴリーを構成する直下の
    いずれのカテゴリーの結合度よりも少なくとも低くない
    カテゴリーのうち、ツリー構造の最も上位にあるカテゴ
    リーを最適カテゴリーとして決定するステップと、 最適カテゴリーと当該最適カテゴリーを構成するデータ
    とを対応付けて記憶させるステップと、 を備えたことを特徴とするデータ分類方法。
  11. 【請求項11】コンピュータを用いて、複数のデータか
    らなるカテゴリーのまとまりの良さを算出する方法であ
    って、 当該カテゴリーを構成するデータ相互の類似度を算出す
    るステップと、 算出されたデータ相互の類似度に基づいて、当該カテゴ
    リーを構成するデータ1個あたりのデータ相互の類似度
    の総和に対応する量を、当該カテゴリーのまとまりの良
    さを表す結合度として算出するステップと、 を備えたことを特徴とする結合度算出方法。
  12. 【請求項12】コンピュータを用いて、ツリー構造のカ
    テゴリー体系を一元的なカテゴリー体系に変換する方法
    であって、 ツリー構造のカテゴリー体系を構成する各カテゴリーに
    ついて、カテゴリーのまとまりの良さを表すカテゴリー
    の結合度を決定するステップと、 カテゴリーの結合度が当該カテゴリーを構成する直下の
    いずれのカテゴリーの結合度よりも少なくとも低くない
    カテゴリーのうち、ツリー構造の最も上位にあるカテゴ
    リーを最適カテゴリーとして決定するステップと、 最適カテゴリーと当該最適カテゴリーを構成するデータ
    とを対応付けて記憶させるステップと、 を備えたことを特徴とするカテゴリー体系変換方法。
JP2001162654A 2001-05-30 2001-05-30 データ分類装置およびデータ分類方法 Expired - Fee Related JP4682339B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001162654A JP4682339B2 (ja) 2001-05-30 2001-05-30 データ分類装置およびデータ分類方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001162654A JP4682339B2 (ja) 2001-05-30 2001-05-30 データ分類装置およびデータ分類方法

Publications (2)

Publication Number Publication Date
JP2002352244A true JP2002352244A (ja) 2002-12-06
JP4682339B2 JP4682339B2 (ja) 2011-05-11

Family

ID=19005747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001162654A Expired - Fee Related JP4682339B2 (ja) 2001-05-30 2001-05-30 データ分類装置およびデータ分類方法

Country Status (1)

Country Link
JP (1) JP4682339B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09265529A (ja) * 1996-03-28 1997-10-07 Nippon Telegr & Teleph Corp <Ntt> クラスタ分類方法及びクラスタ分類装置
JPH09325890A (ja) * 1996-06-04 1997-12-16 Toshiba Corp パターン発見方法およびパターン発見装置
JPH10307815A (ja) * 1997-05-06 1998-11-17 N T T Data:Kk 多変量解析結果の表示方法および装置、並びに多変量解析結果の表示方法を実行させるためのプログラムを記録したコンピュ−タ読取り可能な記録媒体
JP2000029910A (ja) * 1998-06-24 2000-01-28 Lucent Technol Inc 階層的クラスタリングされた情報を表示するためのコンピュ―タシステムの動作方法
JP2000132558A (ja) * 1998-10-22 2000-05-12 Nri & Ncc Co Ltd 分類ルール探求式クラスター分析装置
JP2000250945A (ja) * 1999-02-26 2000-09-14 Fuji Xerox Co Ltd 手書きノート用インデックス発生方法、インクワードの等価クラス識別方法、コンピュータリーダブル媒体及びコンピュータ
JP2000311246A (ja) * 1999-04-28 2000-11-07 Ricoh Co Ltd 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09265529A (ja) * 1996-03-28 1997-10-07 Nippon Telegr & Teleph Corp <Ntt> クラスタ分類方法及びクラスタ分類装置
JPH09325890A (ja) * 1996-06-04 1997-12-16 Toshiba Corp パターン発見方法およびパターン発見装置
JPH10307815A (ja) * 1997-05-06 1998-11-17 N T T Data:Kk 多変量解析結果の表示方法および装置、並びに多変量解析結果の表示方法を実行させるためのプログラムを記録したコンピュ−タ読取り可能な記録媒体
JP2000029910A (ja) * 1998-06-24 2000-01-28 Lucent Technol Inc 階層的クラスタリングされた情報を表示するためのコンピュ―タシステムの動作方法
JP2000132558A (ja) * 1998-10-22 2000-05-12 Nri & Ncc Co Ltd 分類ルール探求式クラスター分析装置
JP2000250945A (ja) * 1999-02-26 2000-09-14 Fuji Xerox Co Ltd 手書きノート用インデックス発生方法、インクワードの等価クラス識別方法、コンピュータリーダブル媒体及びコンピュータ
JP2000311246A (ja) * 1999-04-28 2000-11-07 Ricoh Co Ltd 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体

Also Published As

Publication number Publication date
JP4682339B2 (ja) 2011-05-11

Similar Documents

Publication Publication Date Title
US11106647B2 (en) Dimension limits in information mining and analysis
US8180767B2 (en) Inferred relationships from user tagged content
JP5175511B2 (ja) オントロジー構築支援装置
Iacobucci et al. Recommendation agents on the internet
US10693750B2 (en) Hierarchical service oriented application topology generation for a network
Berka et al. Designing recommender systems for tourism
Gilson et al. From web data to visualization via ontology mapping
JP4111198B2 (ja) 画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法
CN107368516B (zh) 一种基于层次聚类的日志审计方法及装置
Schclar et al. Ensemble methods for improving the performance of neighborhood-based collaborative filtering
US6563952B1 (en) Method and apparatus for classification of high dimensional data
JP6696568B2 (ja) アイテム推奨方法、アイテム推奨プログラムおよびアイテム推奨装置
Mythily et al. Clustering models for data stream mining
Zhou et al. Model tree pruning
JP2008134750A (ja) データ分類装置、データ分類方法およびデータ分類プログラムならびに記録媒体
JP2001273313A (ja) プロセス記述装置および方法ならびにプロセス分類方法
JP2002352244A (ja) データ分類装置およびデータ分類方法
JP2000132558A (ja) 分類ルール探求式クラスター分析装置
Ordoñez et al. Collaborative Evaluation to Build Closed Repositories on Business Process Models
JP4815887B2 (ja) 情報処理装置及び情報処理用表示装置
Wang et al. Research on collaborative filtering recommendation algorithm based on Mahout
Tonon et al. Improving Recommendations by Using a Heterogeneous Network and User's Reviews
KR20040028081A (ko) 유전자 알고리즘에 있어서 효율적인 적응도 함수 계산을위한 데이터 분류 방법
JP2006107354A (ja) 自動分類方法、自動分類プログラム、記録媒体、および、自動分類装置
Akila et al. Onotology-based service discovery for intelligent Big Data analytics

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101005

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20110114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees