JP2003140942A - 共起する対象の階層的ソフトクラスタリングのための製造方法、装置および製品 - Google Patents

Abstract

(57)【要約】 【課題】 任意の対象を階層における１つ以上のクラス
タに割当てることができるように対象を階層的にクラス
タリングする。 【解決手段】 コンピュータ１００は、（文書、単語）
ペアの共起の統計的モデリングに基づき、テキストデー
タの階層的トピッククラスタリングを実施する。コンピ
ュータ１００は、各文書が複数の単語を含む文書コレク
ションを受取り、このコレクションに対して、修正され
た確定的アニーリング期待値最大化（ＥＭ）処理を実行
して、ソフト割当てされたノードの階層を生成する。こ
の処理では、文書及び文書のフラグメントを、これらの
文書に含まれる単語に基づき階層内の多数のノードに割
当て、１つの文書が階層に含まれる任意の祖先ノードに
割当てられるようにすることで、文書の階層へのハード
割当てを解消する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は対象の階層的クラス
タリングに関し、より詳細には対象ペアの共起（co-occ
urrence）に基づく、対象の階層的ソフトクラスタリン
グのための製造の方法、装置及び製品に関する。

【０００２】

【従来の技術】データ分類は依然としてその魅力が増し
ているが、これはほとんどその一部が、多数のアクセス
媒体、例えばインターネットを通じてデータが利用でき
ることによる。このような媒体の人気が高まるにつれ、
データプロバイダがすばやくかつ効率的なデータアクセ
スを提供する責任も増す。したがって、これらのプロバ
イダは種々の技術を駆使して、効率的なデータアクセス
を保証している。かかる技術の１つがクラスタリングを
用いたデータ管理である。クラスタリングにより、デー
タをその特性に基づいて階層的に分類する（クラスタリ
ングする）ことができる。このようなクラスタリング技
術の前提として、互いに類似する対象、例えば文書にお
けるテキストデータなどが、ある階層の共通クラスタに
配置される。例えば、データプロバイダ、例えばＹａｈ
ｏｏ（商標）が提供するサブジェクトカタログは、クラ
スタの階層を生成することによりデータを類別できる。
このクラスタの階層においては、一般的なカテゴリクラ
スタは最上層レベルに位置し、より下層のクラスタリー
フはより特定的なトピックに関連付けられている。

【０００３】

【発明が解決しようとする課題】従来の管理技術、例え
ば階層的クラスタリングでは、共通する対象をまとめる
ことはできるが、この結果得られる階層は一般に対象の
クラスタへのハード（厳密な）割当て（hard assignmen
t）を含んでいる。ここで、ハード割当てとは、対象を
階層におけるただ１つのクラスタに割当てる手法を意味
する。このような割当て形式では、対象、例えばテキス
ト文書を１つ以上のクラスタに関連付けることのできる
潜在性が制限されてしまう。例えば、ある文書コレクシ
ョンに対するトピックを生成するシステムにおいては、
文書（対象）をクラスタ（トピック）にハード割当てす
ることにより、その文書が他のクラスタ（トピック）に
含まれることは禁じられる。このように、テキストデー
タなどの対象をハード割当てする結果となる階層的クラ
スタリング技術では、特定の処理、例えばある文書コレ
クションに関するテキスト検索などにおいて、これらの
対象が効率的に配置されることを妨げる可能性がある。

【０００４】したがって、所与の任意の対象を階層にお
ける１つ以上のクラスタに割当てることができるように
対象を階層的にクラスタリングする方法及び装置が望ま
れている。

【０００５】

【課題を解決するための手段】本発明に関する特定の原
理による製造の方法、装置および製品により、コンピュ
ータ装置は、各文書が複数の単語を含む文書のコレクシ
ョンを受信し、ある文書の部分を、各部分と該文書に含
まれる１つ以上の単語との共起にもとづき、階層におけ
る１つ以上のクラスタに割当てることができる。本発明
に関する特定の原理による製造の方法、装置及び製品
は、コレクションの各文書を第１の対象（例えば
「ｉ」）と定め、所与の文書の単語を第２の対象（例え
ば、「ｊ」）と定めることにより上述の割当て特性を実
行することができる。まず始めに、コレクションを、階
層の単一ルートクラスタを表すことのできる単一のクラ
スに割当てることできる。本発明に関する特定原理によ
る、修正された期待値最大化（ＥＭ：Expectation-Maxi
mization）法を、ルートクラスが２つの子クラスに分裂
するまで、該クラスにおいて定められた各対象ペア
（ｉ，ｊ）に基づき実行することができる。次に、各子
クラスが再びさらに２つの子クラスに分裂するまで、各
子クラスに対して同一の修正ＥＭ処理を行う。階層に関
する選択された制約が満たされるまで、例えば階層が最
大数のリーフクラスタに達するまで、この処理を繰り返
す。生成される階層に含まれる各クラスタは、それぞれ
が互いに祖先（ancestors）ではないクラスタを含む、
階層の他のクラスタに割当てられた対象を含んでもよ
い。

【０００６】

【発明の実施の形態】本発明の特性及び原理による製造
の方法、装置及び製品により、演算（コンピュータ）装
置は、任意の文書が、該文書に含まれる単語に基づき、
トピック階層における１つ以上のトピックに割当てられ
るように、文書コレクションの階層的ソフトクラスタリ
ングを実行できる。

【０００７】本発明の特性に係る方法、装置及び製品
は、文書と単語のそれぞれを表す対象のペアに関して、
修正された期待値最大化（ＥＭ）処理を実行し、対象の
所与のクラスがトピック階層のすべてのノードにわた
り、文書のトピックへの割当てが該所与のクラスのどの
祖先にも基づくようにすることで上記の機能を実施する
ことができる。さらに、階層の任意のトピックへの所与
の文書の割当ては、その処理において考慮される特定の
（文書、単語）ペアに基づいてもよい。本発明に関する
特定原理による製造の方法、装置及び製品は、トピック
階層に関連する選択された制約が満たされるまで、ある
祖先クラスから生成されるすべての子クラスに対し、修
正されたＥＭ処理を行ってもよい。結果的に生成される
トピッククラスタの階層表示が作成され、文書コレクシ
ョンのトピックを要求するエンティティに対してこれを
利用可能にすることができる。

【０００８】図１には、本発明による特定の特性及び原
理を実施できるコンピュータ装置環境の一例が示されて
いる。図示されるように、演算装置環境はコンピュータ
装置１００を含んでもよい。このコンピュータ装置１０
０は、デスクトップコンピュータ、ワークステーショ
ン、メインフレーム、クライアントサーバ、ラップトッ
プ、パーソナルディジタルアシスタント、または当業界
で知られる同様の汎用またはアプリケーション特定コン
ピュータシステムでもよい。例えば、コンピュータ１０
０は、プロセッサ１０２と、メインメモリ１０４と、補
助メモリ１０６と、バス１０８と、コンピュータ装置に
おいて利用できる他の多くの要素及び機能を含んでもよ
い。これらの要素は、バス１０８を介して種々の入出力
装置、例えばキーボード１１０、ディスプレイ１１２、
ネットワークコネクタ１１４、及び大容量記憶装置１１
６に関連付けることができる。

【０００９】プロセッサ１０２は、本発明に関する特定
の特性による論理的及び数学的演算を実行する、当業界
で周知の任意の汎用または専用プロセッサでよい。さら
に、プロセッサ１０２を、マルチタスク処理を行う複数
のプロセッサに置換えても、これらで補ってもよい。

【００１０】メインメモリ１０４及び補助メモリ１０６
は、データを記憶する既知の任意のタイプの記憶装置で
よい。メインメモリ１０４は及び補助メモリ１０６に
は、磁気、半導体、光学の少なくともいずれかのタイプ
の記憶装置を含んでもよいが、これらに限定されない。
補助メモリ１０６は、さらに、プロセッサ１０２のデー
タに対する迅速なアクセスを可能にする記憶装置、例え
ばキャッシュメモリなどでもよい。本発明に関する選択
された特性による１構成においては、メインメモリ１０
４及び補助メモリ１０６は、クラスタリングするデー
タ、クラスタリングされたデータ、プログラム命令の少
なくともいずれかを記憶し、本発明に関する特定の特性
による方法を実施することができる。

【００１１】バス１０８は、単一及び／または複数バス
構成であり、コンピュータ１００の要素と外部要素、例
えば、キーボード１１０、ディスプレイ１１２、ネット
ワークコネクタ１１４及び大容量記憶装置１１６を含む
出入力装置などとの間のデータ転送を可能にする。キー
ボード１１０により、コンピュータ装置環境のユーザは
コンピュータ１００と接続が可能になる。キーボード１
１０は、他の入力装置、例えばマウス、タッチスクリー
ン要素などで置換えたり、これらで補ったりしてもよ
い。ディスプレイ１１２は、当業界で知られるように、
ユーザに対して情報を表示することができる。ネットワ
ークコネクタ１１４は、ローカルエリアネットワークな
どのネットワークまたはインターネットに対してコンピ
ュータ１００を接続したり、情報交換したりできるよう
にする。大容量記憶装置１１６は、コンピュータ１００
の外部に設けられた、データを記憶する任意の既知の記
憶装置でよい。この大容量記憶装置１１６は、磁気、半
導体、光学、テープの少なくともいずれかのタイプの記
憶装置でよく、クラスタリングするデータ、クラスタリ
ングされたデータ、プロセッサ１０２により実行可能な
プログラム命令の少なくともいずれかを記憶し、本発明
に関する特定の特性による方法を実行することができ
る。

【００１２】コンピュータ１００は、対象、例えばそれ
ぞれが複数の単語を含むテキスト文書などの階層的ソフ
トクラスタリングを実行すべく構成することができる。
階層的ソフトクラスタリングを実行する方法は、例え
ば、最大尤度及び期待値最大化（ＥＭ）アルゴリズムの
確定的変型（deterministic variant）を使用する方法
など複数の方法がある。最大尤度技術は、データ観測
（observe）尤度を最大化するパラメータ値を求める技
術であり、クラスタリング技術の自然なフレームワーク
である。ＥＭアルゴリズムは最大尤度内の確率的モデル
のパラメータを知るために使用される既知のアルゴリズ
ムである。ＥＭアルゴリズムについては、Ｇ．Ｊ．マク
ラクラン（G.J.McLachlan）及びＴ．クリシュナン（T.K
rishnan）による”The EM Algorithm and Extension
s”, Wiley, New York, 1997（その開示内容を本願明細
書の一部として援用する）にさらなる記載がある。確定
的アニーリングＥＭ（deterministic annealing EM）と
して知られる、ＥＭアルゴリズムの変型（variant）
は、対象の階層的クラスタリングを実行する。しかしな
がら、特定の例では、このような階層的クラスタリング
が対象のハード割当てを行う結果になることもある。確
定的アニーリングＥＭについては、ローズ他（Rose et
al.）による”Statistical Mechanics and Phase Trans
itions in Clustering”, Physical Review Letters, V
ol. 65, No. 8, American Physical Society,August 2
0, 1990, pages 945-48（その開示内容を本願明細書の
一部として援用する）にさらなる情報が記載されてい
る。

【００１３】確定的アニーリングＥＭは、標準ＥＭアル
ゴリズムに比して複数の利点がある。以下、このＥＭア
ルゴリズムの変型について簡単に説明する。

【００１４】確定的アニーリングＥＭ 観測可能なデータサンプルｘ（∈Ｘ）が与えられ、密度
がｐ（ｘ；Θ）（Θは推定される密度分布のパラメー
タ）である場合、Ｘに対応する観測不可能データの測度
空間Ｙが存在する。

【００１５】さらに、不完全データサンプル｛Ｘ＝ｘ_ｒ
｜ｒ＝１，．．．，Ｌ｝が与えられた場合、ＥＭアルゴ
リズムの目標は、尤度関数を最大化するΘの最尤推定値
を算出することである。これは、Ｌ_ｃで示される完全デ
ータ対数尤度関数の最大化に等しく、次式により定めら
れる。

【００１６】

【数１】 さらに、Θの初期推定値から始まり、次の２つのステッ
プを交互にする反復手順が、（完全データ）対数尤度関
数の局所最大値に収束することが示されている。この手
順をＥＭアルゴリズムと呼ぶ。

【００１７】Ｅステップ：Ｑ関数を下記のように計算す
る。

【００１８】

【数２】 Ｍステップ：Θ^{（ｔ＋１）}をΘと等しく設定し、Ｑ
_β（Θ；Θ^（ｔ））を最大にする。

【００１９】Ｌ_ｃ（Θ；Ｘ）を置き換えることにより、
Ｑ_β（Θ；Θ^（ｔ））を次式のように書き換えることが
できる。

【００２０】

【数３】 さらに、次式により、

【数４】 Ｑ（Θ；Θ^（ｔ））が求められ、次式のように書くこと
ができる。

【００２１】

【数５】 ＥＭアルゴリズムの確定的アニーリング変型は、次式の
ように、ｐ（ｙ_ｒ｜ｘ _ｒ；Θ^（ｔ））における事後確率
のパラメータβによるパラメータ表示を含む。

【００２２】

【数６】 このように、βが１であれば、ｆ（ｙ_ｒ｜ｘ_ｒ；Θ）＝
ｐ（ｙ_ｒ｜ｘ_ｒ；Θ）である。したがって、Ｑ（Θ；Θ
^（ｔ））を求める式において定められる確率ｐ（ｙ_ｒ｜
ｘ_ｒ；Θ^（ｔ））を、ｆ（ｙ_ｒ｜ｘ_ｒ；Θ^（ｔ））で置
き換えると、関数Ｑ_βは、ＥＭアルゴリズムのＱ関数に
一致する。これは確定的アニーリングＥＭアルゴリズム
が示唆している。確定的アニーリングＥＭアルゴリズム
の特性については、ウエダ他（Ueda et al.）による”A
dvances in Neural InformationProcessing Systems
7”, Chapter on Deterministic Annealing variant of
the EM Algorithm, MIT Press, 1995に記載される。こ
こでは、処理を以下ように記載している。 １．β＝β_ｍｉｎに設定する。０＜β_ｍｉｎ＜＜１ ２．初期推定値Θ^（０）を任意に選択し、ｔ＝０に設定
する。

【００２３】３．収束するまで次の２つのステップを反
復する。

【００２４】Ｅステップ：次式を計算する。

【００２５】

【数７】 Ｍステップ：Θ^{（ｔ＋１）}をΘと等しく設定し、これに
よりＱ_β（Θ；Θ^{（ｔ ）}）を最大にする。

【００２６】４．βを増加させる ５．β＜β_ｍａｘであれば、ｔ＝ｔ＋１に設定し、処理
をステップ３から繰り返す。β＜β_ｍａｘでなければ、
処理を停止する。

【００２７】上記の確定的アニーリングＥＭ処理は、標
準的なＥＭアルゴリズムに優る３つの主な利点を有す
る。すなわち、（１）標準ＥＭアルゴリズムに比べて、
大域最大値（global maximum）に収束しやすく、（２）
β_ｍａｘ＜１に設定することにより、オーバーフィッテ
ィング（over fitting）が回避され、（３）データを説
明するために必要なクラスタの数がβに依存するので、
クラスタ階層を誘導する。

【００２８】対象の階層の誘導を助けるために確定的ア
ニーリングＥＭのバリエーションが提案されている。階
層的非対称クラスタリングモデル（ＨＡＣＭ：Hierarch
icalAsymmetric Clustering Model）と呼ばれるこのよ
うなモデルの１つには、分布クラスタリング（distribu
tional clustering）と呼ばれる技術が含まれる。ＨＡ
ＣＭに関するさらなる情報が、ホフマン他（Hofmann et
al.）による”Statistical Models for Co-Occurrence
Data”, A.I. Memo No. 1625, MassachusettsInstitut
e of Technology, 1998に記載されている。ＨＡＣＭは
２つの隠れた変数に依拠している。第１の変数、Ｉ_ｉα
は、対象「ｉ」のクラスαへの割当てを示す。第２の変
数Ｖ_ｒανは、クラスαと対象ｉ及びｊが与えられた場
合の階層におけるクラスνの選択を示す。（ｉ，ｊ）
は、対象ｉが対象ｊと共に起きること（joint occurren
ce）を示す。ここで、（ｉ，ｊ）∈ＩＸＪであり、すべ
てのデータに番号が付けられ、サンプル集合Ｓ＝（ｉ
（ｒ），ｊ（ｒ），ｒ）：１≦ｒ≦Ｌに収集される。２
つの変数、Ｉ_ｉα及びＶ_ｒανを２値化することによ
り、尤度関数を簡素化することができる。

【００２９】図２のブロック図は、ホフマン他による”
Statistical Models for Co-Occurrence Data”, A.I.
Memo No. 1625, Massachusetts Institute of Technolo
gy,1998に示されるように、ＨＡＣＭがどのように機能
するかを例示する。図２に示されるように、階層２００
は、祖先ノード２１０−２２０及びリーフノード２２２
−２２８を含む複数ノードを含む。ＨＡＣＭによれば、
各対象ｉは、変数Ｉ_{ｉ α}を使用して、階層２００の１リ
ーフノードに割当てられる。例えば、リーフノード２２
６は、対象ｉが割当てられたとして黒で示されている。
さらに、あるリーフノード、例えばノード２２６に割当
てられた任意の対象ｉに対して対象ｊのレベルを生成す
るための選択は、割当てられたリーフノードから階層の
ルートまでのアクティブ垂直パスに限定されている。ま
た、ｎ_ｉで示される、ある対象ｉに関連するすべての対
象が同一の垂直パスから生成され、変数Ｖ_ｉｊανがそ
の垂直パスにおけるノードの選択を制御する。例えば、
図２に示されるように、対象ｊは、図において影をつけ
ていないノード２１０から２１６を含むノードのパスか
らのみ、変数Ｖ_ｉｊανに基づき選択可能である。

【００３０】ＨＡＣＭをさらに説明するため、図３にこ
のモデルの例示的な表示を示す。ＨＡＣＭに対する依存
（dependencies）には、観測及び非観測データを含む。
ＨＡＣＭはサンプル集合Ｓ_ｉの生成を直接モデリング
し、サンプル集合Ｓ_ｉは、Ｉ（対象ｉを含む集合）に関
する経験分布ｎ_ｊ｜ｉを表す。ここで、 である。図示されるように、ＨＡＣＭにより、対象ｉ
を、ｉに依存する確率ｐ（ｉ）を介して生成することが
できる。さらに、ｉ（ｒ）＝ｉとなるよう、任意の組み
合わせ（ｉ（ｒ），ｊ（ｒ））に対する対象ｊの生成
は、Ｉ_ｉαを使用しクラスαにより決定する。したがっ
て、対象ｊの生成は、変換Ｖ_ｒαｖにより、ｉ及びαの
祖先の集合に依存することがわかる。

【００３１】ＨＡＣＭは次の確率に基づく。

【００３２】

【数８】 上式において、α（ｉ）は、所与のｉに対してＳ_ｉを生
成するのに使用するクラスを表し、ν（ｒ）は、α
（ｉ）が与えられた場合にｊ（ｒ）を生成するために使
用されるクラスを表している。

【００３３】しかしながら、ｉ（ｒ）＝ｉであるのはち
ょうどｎ_ｉの対象であり、さらに、Ｖ_ｒανは二値化さ
れ、ｊ（ｒ）の生成に使用される（未知の）クラスν
（ｒ）を除いて０に等しいので、ｐ（Ｓ_ｉ｜α（ｉ））
は次式のように書き換えることができる。

【００３４】

【数９】 ｐ（Ｓ_ｉ）に対する完全モデル式（complete model for
mula）は、α（ｉ）に関する加算（summing）により求
められ、次式のように表すことができる。

【００３５】

【数１０】 νがαとｉ（ｐ（ν｜α，ｉ）＝ｐ（ν｜α）によって
ではなく、αだけによって条件付けられているので、上
記の確率ｐ（Ｓ_ｉ）は、ＨＡＣＭの簡素化されたバージ
ョンを表しているが、当業者であれば、ここに記載され
たＨＡＣＭの特徴及び処理が複雑なバージョンにも同様
に適用されることがわかるであろう。

【００３６】なお、積は（ｉ，ｊ）のペアに関して求め
られ、ここで、ｉは固定値である。したがって、この積
はｊにのみ関するものとして見ることができる。上記の
モデルから、ｐ（Ｓ_ｉ）を求める式は完全データ対数尤
度Ｌ^ｃであり、以下のように表すことができる。

【００３７】確定的アニーリングＥＭの別の変形につい
て、Ｌ．Ｄ．ベーカ他（L.D. Bakeret al.）による”A
Hierarchical Probabilistic Model for Novelty Detec
tion in Text,” Neural Information Processing Syst
ems, 1998に記載されている。ベーカ他に記載されるモ
デルは、階層的マルコフモデル（ＨＭＬＭ）と呼ぶこと
ができる。ＨＡＣＭと同様に、ＨＭＬＭも次式に基づい
てｐ（Ｓ_ｉ）を直接モデリングする。

【００３８】

【数１１】 完全データの対数尤度は、ｐ（Ｓ_ｉ）からＨＭＬＭに対
して求めることができ、以下のように表すことができ
る。

【００３９】

【数１２】 図４には、ＨＭＬＭが例示的に示されている。図示され
るように、ＨＡＣＭとＨＭＬＭの唯一の相違点は、ＨＭ
ＬＭでは、集合Ｓ_ｉを観測する事前確率ｐ（ｉ）を使用
しない点である。しかしながら、当業者であれば、特定
のアプリケーション、例えばトレーニング集合における
文書に関して優先度が与えられないテキスト分類などで
は、集合Ｓ_ｉに対する均一の事前確率が望ましいことが
わかるであろう。このような場合には、ＨＭＬＭとＨＡ
ＣＭとの上記の差異は除去される。

【００４０】ＨＡＣＭ及びＨＭＬＭは対象の階層的ソフ
トクラスタリングを提供できるが、これらのモデルは、
モデルに関連する２つの特性のために、依然としてハー
ド割当てとなる可能性があることに留意すべきである。
２つの特性とは、第１に、クラスαが階層のリーフのみ
の範囲にわたり、クラスνがαの祖先にのみわたること
である。第２に、対象ｊからの寄与（contributions）
は直接、積（product）に収集される。第１の特性は、
対象ｉが、誘導階層のリーフにのみ割当てられることを
示している。例えば、図２を参照すると、ＨＡＣＭ及び
ＨＭＬＭでは、対象ｉをノード２２４から２２８にのみ
割当てる。第２の特性は、対象ｉが与えられた場合、対
象ｉに関連する全対象ｊが同一のリーフαの祖先により
説明されなければならないことを示している。すなわ
ち、ｉに関連する対象ｊをαのどの祖先によっても説明
できない場合には、ｉをαに割当てることはできない。
したがって、ｉの割当てに関するこのような制限の結
果、一般に、対象ｉとｊのいずれかまたは両方が、誘導
階層にハード割当てされることになる。よって、テキス
ト分類システムでは、ＨＡＣＭ及びＨＭＬＭを実施する
ことにより、文書とその文書の単語の少なくともいずれ
かの特定クラスタへのハード割当てに基づき、粒度が限
定されたトピックが形成される可能性がある。

【００４１】本発明に関する特定の原理による製造の方
法、装置及び製品は、リーフノードだけに対する依存を
解消し、任意の集合Ｓ_ｉを、誘導階層に含まれる任意の
リーフノード及び／または祖先ノードの組み合わせによ
り説明可能にする。すなわち、対象ｉをブロックと考え
るのではなく、それらと共起する任意の対象ｊに基づい
て階層に割当てられるピースと考えることができる。例
えば、本発明に関する特定の特性及び原理による１構成
においては、コンピュータ１００により実行されるトピ
ック的クラスタリングアプリケーションにより、ある文
書ｉの部分を、その文書ｉに含まれる異なる単語ｊに対
する誘導階層内の異なるノードに割当てることができ
る。これは、各文書ｉが、その文書ｉに含まれるすべて
の単語ｊに対する階層中の同一リーフノードに関連する
ことが想定されるＨＡＣＭ及びＨＭＬＭとは対照的であ
る。

【００４２】本発明の１実施形態は、変数Ｉ_ｒα（文書
の階層への割当てを制御する）を、トピック的クラスタ
リング処理において考慮される特定の文書と単語のペア
（ｉ，ｊ）に依存するように定義することにより、共起
する任意の対象ペア、例えば文書と単語のペア（ｉ，
ｊ）などを観測する確率を直接的にモデリングできる。
本発明に関する特定の原理による１構成においては、ク
ラスαは誘導階層における全ノードにわたり、文書（対
象ｉ）をリーフノードだけでなく、その階層における任
意のノードに割当てることができる。さらに、クラスν
を階層におけるαの任意の祖先として定義してもよい。
νに関する制約により、ノードが階層的に組織されてい
ることが保証される。

【００４３】図５は、本発明の１実施形態により実施さ
れたモデルを例示的に示す図である。上述のモデルと本
発明の１実施形態との１つの相違点は、本発明では、Ｈ
ＡＣＭ及びＨＭＬＭの場合のような確率ｐ（Ｓｉ）では
なく、確率ｐ（ｉ（ｒ），ｊ（ｒ））をモデリングす
る。

【００４４】

【数１３】 式ｐ（ｉ（ｒ），ｊ（ｒ））の代替式は、ｐ（α）ｐ
（ｉ（ｒ）｜α）をｐ（ｉ（ｒ））ｐ（α｜ｉ（ｒ）
（いずれもｐ（α，ｉ（ｒ））に等しい）で置き換え
る。よって、代替式は次のようになる。

【００４５】

【数１４】 ワークアラウンドにより、同等の代替式を使用して、ｐ
（ｉ（ｒ），ｊ（ｒ））の本来の式と同じ結果を得るこ
とができる。

【００４６】前述のモデルと本発明との差をより明確に
説明するために、ｐ（Ｓ_ｉ）＝П_{ｒ ：ｉ（ｒ）＝ｉ}ｐ
（ｉ（ｒ），ｊ（ｒ））により、ｐ（Ｓ_ｉ）を本発明に
対して求めることができる。したがって、ｐ（Ｓ_ｉ）を
次のように表すことができる。

【００４７】

【数１５】 完全データ対数尤度は、次式により与えられる。

【００４８】

【数１６】 ｐ（Ｓ_ｉ）の上記求められた式からわかるように、所与
のαに対し、対象ｊは、ＨＡＣＭ及びＨＭＬＭの場合の
ように積に収集されず、本発明では、積がすべてのクラ
スαにわたる混合の後にのみ得られるように確率ｐ（Ｓ
_ｉ）を決定する。よって、ある誘導階層の異なる垂直パ
スから異なる対象ｊが生成できる。すなわち、Ｉ_ｉαの
非ヌル値に関連する階層中のパスから生成できる。すべ
ての対象ｊはある階層の同じ垂直パスから生成されなけ
ればならないという、ＨＡＣＭ及びＨＭＬＭにおける制
約は、Ｉ_ｉαが二値を有することを強いる。図５に示さ
れるモデルを実施する製造方法、装置及び製品では、Ｈ
ＡＣＭ及びＨＭＬＭに共通するこの制約を除去し、隠れ
た変数Ｉ_ｉαのすべての例が、以下に説明する修正版Ｅ
Ｍ処理を使用した再推定の後に実際の値を求めることが
できる。さらに、αは階層におけるどのノードでもよい
ので、対象ｉを階層の異なるレベルに割当てることがで
きる。したがって、図５に示す方法によってモデルを実
施することにより、ｉ及びｊの対象のハード割当てを解
消し、これらの対象のいずれにも純粋な階層的ソフトク
ラスタリングを行うことができる。

【００４９】すでに述べたように、本発明の１実施形態
では、修正された確定的アニーリングＥＭ処理を実行し
て、図５に示されるモデルを実施することができる。本
発明に関する特定の原理による１構成においては、確率
ｐ（ｘ_ｒ，ｙ_ｒ：Θ）におけるΘは、確率ｐ（ｉ
（ｒ），ｊ（ｒ））により求められる現在の推定値の集
合に関連付けられる。本発明の特性及び原理によるＱ関
数は、次のように定義できる。

【００５０】

【数１７】 ここで、

【数１８】 本発明の特性による製造の方法、装置及び製品は、さら
に、確定的アニーリングＥＭ処理の修正されたＥ及びＭ
ステップを実施して、図５に示されるモデルに関する確
率を決定することもできる。例えば、Ｅステップ処理は
Ｑ_βから直接求められ、ｉが与えられれば、Ｉ_ｉαは１
つのαを除きすべてに対してゼロに等しく、ｉ，ｊ及び
αが与えられれば、Ｖ_ｉｊανは１つのνを除きすべて
に対してゼロと等しいので、Ｑ関数Ｑ_β（Θ；
Θ^（ｔ））＝Ａ＋Ｂである。ここで、

【数１９】 及び

【数２０】 しかしながら、

【数２１】 これにより、上式におけるＡを次のように定義すること
ができる。

【００５１】

【数２２】 ここで、

【数２３】 Ａの決定と同様に、Ｂは次の形式で求めることができ
る。

【００５２】

【数２４】 ここで、

【数２５】 上記のように、＜Ｉ_ｉｊα＞_β及び＜Ｉ_ｉｊα Ｖ
_ｉｊαν＞_βは、本発明に関する特定の原理による修正
された確定的アニーリングＥＭ処理のＥステップ処理に
対応する。さらに、＜Ｉ_ｉｊα Ｖ_ｉｊαν＞_βは、α
が与えられた場合の、誘導階層における任意の祖先への
割当てに対応する。

【００５３】本発明の１実施形態により実行される、修
正されたＭステップ処理は、Ｑ_β（Θ；Θ^（ｔ））を最
大にするパラメータΘを求めることを目的とする。この
ような確率分布において固有なのは、次の形式を有する
制約に関連する制約された最適化限定（constrained op
timization restriction）である。

【００５４】

【数２６】Σ_ｘｐ（ｘ；Θ）＝１ 本発明に関する特定の原理による１構成においては、ラ
グランジェ乗数法を用いて対応する非制約最大値を検索
することができる。例えば、図５に示されるモデルにお
いて実施された確率ｐ（α）を求めるために、ラグラン
ジェ乗数法が導入され、次のようにｐ（ｘ；Θ）を求め
る。

【００５５】

【数２７】 これは、制約Σ_ｘｐ（α；Θ）＝１を利用することによ
り、次に示す結果となる。

【００５６】

【数２８】 上記と同じ原理を用いて、図５に示されるモデルで実施
された残りの確率を求めることができる。結果は次の通
りである。

【００５７】

【数２９】

【数３０】

【数３１】 上記のように、確率ｐ（α；Θ），ｐ（ｉ｜α；Θ），
ｐ（ν｜α；Θ），ｐ（ｊ｜ν；Θ）は、本発明により
実施される修正された確定的アニーリングＥＭ処理にお
いて使用されるＭステップ再推定処理を定義する。

【００５８】本発明に関する特定の原理による製造の方
法、装置及び製品を、対象ｉ及びｊに与えられた意味に
よって、異なるアプリケーションに対し、図５に示され
たモデルを実施すべく構成することもできる。このよう
な１つ構成は、トピック検出に基づく文書クラスタリン
グに適用することが可能である。このような構成では、
対象ｉが文書を表し、対象ｊが文書に含まれる単語を表
し、文書のクラスタとトピックの少なくともいずれか
が、誘導階層のリーフとノードの一方または両方により
与えられる。文書コレクションに関連するトピックは、
任意のクラスタを図５に示される単語確率分布ｐ（ｊ｜
ν）により定められるトピックと解釈することにより得
ることができる。本発明に関する特定原理による階層的
ソフトモデルは、クラスタの解釈に際し、複数の特性を
考慮することができる。複数の特性とは、例えば、
（１）ある文書は複数のトピックをカバーすることがで
きる（または複数のトピックにより説明できる）。（ｐ
（ｉ｜α）により提供される対象ｉのソフト割当て）、
（２）トピックは、多義性（複数の異なるが、関連のあ
る意味を表す単語の特性）及び特殊性のために異なるト
ピックに属することができる単語の集合により最適に記
述される（ｐ（ｊ｜ν）により提供される対象ｊのソフ
ト割当て）、及び（３）トピックは階層的に組織でき、
これはクラスタに関して誘導された階層に対応する。本
発明に関する特定原理による１構成においては、階層に
対する一般的な確率モデルが、トピックを階層的に組織
できない文書コレクションを処理できる（すなわち、平
坦な（flat）モデル）。この場合、確率ｐ（ν｜α）
は、ν＝αに集中し、この結果、トピックは階層ではな
く平坦な集合となる。

【００５９】図６は、本発明の１実施形態により実行で
きる文書クラスタリング処理の例を表すフローチャート
である。本発明に関する特定原理による１構成では、コ
ンピュータ１００は、文書（対象ｉ）の集合またはコレ
クションによってカバーされるトピックを識別すること
により文書をクラスタリングすべく構成できる。この場
合、各文書は複数の単語（対象ｊ）を含むことができ
る。コンピュータ１００は、要求発行者（requesting e
ntity）からの要求に基づき、本発明に関する特定原理
によるクラスタリング特性を実行できる。要求発行者
は、図１のコンピュータ装置に関連する入出力要素を介
してコンピュータに接続するユーザでもよいし、コンピ
ュータ１００から隔てて位置するユーザでもよい。遠隔
ユーザは、遠隔位置、例えばネットワークに接続された
別のコンピュータ装置から、ネットワークコネクタ１１
４によりコンピュータ１００に接続できる。さらに、要
求発行者は、コンピュータ１００のサービスを要求する
方法（process）または演算者（computing entity）で
もよい。例えば、要求発行者は、文書コレクションに関
連するクラスタリング処理を要求する別のコンピュータ
装置（ネットワークを介して遠隔配置される、またはバ
ス１０８に局所的に接続される）に関連付けてもよい。
例えば、文書コレクションに関連する検索処理を提供す
るサーバがコンピュータ１００に対し、特定の文書コレ
クションのトピックを決めるよう要求してもよい。この
例では、コンピュータ１００は、文書コレクションのク
ラスタリングの要求を受け、クラスタリング処理の結果
を要求発行者に対して利用可能にすることができる。な
お、当業者であれば、異なるタイプの多数の要求発行者
及び要求タイプを、本発明の範囲を逸脱することなく実
施できることがわかるであろう。

【００６０】文書コレクションは、メモリ１０４，１０
６及び１１６のいずれにも配置することができる。ま
た、文書コレクションを、図１に示されるコンピュータ
環境から隔てて、例えばネットワークに接続されたサー
バに配置してもよい。このような場合には、コンピュー
タ１００は、ネットワークコネクタ１１４を介して文書
コレクションを受信するよう構成できる。当業者であれ
ば、文書コレクションの位置は上記の例に限定されず、
コンピュータ１００は、当業界で知られた方法及び装置
を使用してこれらの位置に対してアクセスできるよう構
成可能であることがわかるであろう。

【００６１】図６を参照すると、本発明に関する特定原
理による１構成においては、コンピュータ１００は、誘
導可能な階層（ツリー）に関連する１つ以上の条件を定
めることにより、本発明に関する特定原理によるクラス
タリング技術を開始することができる（ステップ６０
５）。この条件により、コンピュータ１００は、誘導階
層がそこに定められるクラスタに関する所望の構造にい
つ達するかを決定することが可能になる。例えば、（本
発明の特性による階層的ソフトモデルを実施するための
命令及び／またはプログラムコードを実行することので
きる）プロセッサ１０２に、クラスタリングされている
文書コレクションにおいて共起する対象（ｉ，ｊ）の検
索の停止を命令するという条件を定めてもよい。このよ
うな条件は、所定数のリーフと誘導階層のレベルの少な
くともいずれかに基づくことができる。本発明に関する
特定原理による１構成においては、コンピュータ１００
は、ユーザからキーボード１１０などの入出力装置を介
してこれらの条件を受信してもよい。例えば、コンピュ
ータ１００によりユーザに条件を提供するよう促しても
よいし、文書コレクションのサイズに基づき、ユーザが
コンピュータ１００に自発的に条件を決定するよう命令
してもよい。当業者であれば、本発明の範囲を逸脱する
ことなく、他の多数の条件を実施可能であることがわか
るであろう。

【００６２】図６を再び参照すると、１つ以上の条件が
決定すると、コンピュータ１００は、クラスタリングの
対象である文書コレクションを受信（または検索）する
ことができる（ステップ６１０）。文書コレクションに
コンピュータ１００がアクセス可能になると、プロセッ
サ１０２は文書コレクション全体をクラスαに割当てる
ことができる（ステップ６１５）。まず、クラスαは、
文書コレクションに関連する単数または複数のメイント
ピックを表すルートノードまたはクラスタを表すことが
できる。また、プロセッサ１０２は、パラメータβを初
期値に設定することができる（ステップ６２０）。１実
施形態においては、パラメータβは、目的関数の複雑性
を制御してクラスタの数によって最適化を行い、かつパ
ラメータ値自体の計算を制御する値であってもよい。β
の初期値は、１までの非常に低い値で（すなわち、．０
１）、これに対して、目的関数の一義的な（unique）最
大値を求めるためには、１つのクラスタのみが要求され
る。βの値は、コレクションのサイズに基づき、プロセ
ッサ１０２によって自発的に決定してもよいし、キーボ
ード１１０などの入出力装置を介してユーザが提供して
もよい。

【００６３】次に、プロセッサ１０２は、本発明に関す
る特定原理による修正された確定的アニーリングＥＭ処
理における修正されたＥステップを実行することができ
る（ステップ６２５）。よって、クラスα及び決定した
パラメータβの値が与えられれば、Ｑ_β（Θ；
Θ^（ｔ））を、本発明に関する特性及び原理による上記
の式にしたがって計算することができる。（すなわち、
Ｑ_β（Θ；Θ^（ｔ））＝Ａ＋Ｂ） さらに、プロセッサ１０２は、クラスα及びパラメータ
βの決定値が与えられれば、本発明に関する特定の原理
にしたがって、最大化処理を実行することができる（ス
テップ６３０）。すなわち、確率分布ｐ（α；Θ），ｐ
（ｉ｜α；Θ），ｐ（ν｜α；Θ），ｐ（ｊ｜ν；Θ）
を決定する。本発明に関する特定原理による修正された
確定的アニーリングＥＭ処理が実行されると、プロセッ
サ１０２は、クラスαが２つの子クラスに分裂している
かを決定することができる（ステップ６３５）。

【００６４】本発明に関する特定原理による１構成にお
いては、プロセッサ１０２は、確率分布ｐ（ｉ｜α）に
基づき、クラスαの分裂を認識することができる。ま
ず、パラメータβが非常に低い値に設定された場合に
は、文書コレクションに含まれるすべての文書及び単語
（ｉ及びｊ）は、クラスαに割当てられる同じ確率を有
する。しかしながら、パラメータβの値が増すにつれ、
異なる文書に関するこの同じ確率は、これらの文書に含
まれる異なる単語に基づき互いに分岐し始める。この分
岐の結果、文書の２つのクラス（またはクラスタ）が、
ある祖先クラスから実現する。これにより各子クラスに
は、各文書に含まれる異なる単語に基づき同様の確率ｐ
（ｉ｜α）を有する文書が含まれることになる。例え
ば、ステップ６１５において、まずクラスαに割当てら
れた文書コレクションが、単語Ｗ１，Ｗ２及びＷ３を含
む文書ＤＯＣ１と、単語Ｗ４，Ｗ５及びＷ６を含む文書
ＤＯＣ２とを含むと想定する。ＤＯＣ１及びＤＯＣ２を
含むこの初期クラスαは、パラメータβの初期値におい
ては、このコレクションの各文書の単語に基づき、該各
文書に対して同じ確率ｐ（ｉ｜α）を生成することがで
きる。しかしながら、βの値が高くなると、この同じク
ラスαでも、Ｗ１に基づいた場合にはＤＯＣ１に関して
第１の確率ｐ（ｉ｜α）となり、Ｗ２の基づいた場合に
はＤＯＣ１に対して第２の確率となる。同様に、より高
いβの値では、ＤＯＣ２は、Ｗ４，Ｗ５，Ｗ６に基づ
き、第１の確率に関連付けることができる。ここで、本
発明に関する特定原理によれば、単一の文書、例えばＤ
ＯＣ１を、同一文書内に含まれる単語に基づいて２つの
クラス（またはクラスタ）に割当てることができる。

【００６５】ステップ６３５において、確率ｐ（ｉ｜
α）がコレクションの各文書に関して同一であるか、ま
たはコレクションの残りの文書に対応する、２つの確率
値の一方にあたるかを決定すべく構成することができ
る。クラスαの分裂があったと判断すると（ステップ６
３５；ＹＥＳ）、プロセッサ１０２は、ステップ６０５
において決めた条件が満たされているかを決定すること
ができる（ステップ６４０）。処理におけるこの段階に
おいて、階層が誘導されている（すなわち、クラスαの
２つの子クラスへの分裂）。したがって、プロセッサ１
０２が、条件（例えば、リーフの最大数など）が満たさ
れていると判断すると（ステップ６４０；ＹＥＳ）、誘
導階層が完成し、文書は、各文書に含まれる単語に関連
するトピックに基づきクラスタリングされ、クラスタリ
ング処理が終了する（ステップ６４５）。

【００６６】一方、プロセッサ１０２が、現在のパラメ
ータβの値では初期クラスαが分裂していないと判断す
ると（ステップ６３５；ＮＯ）、パラメータβの値を増
加することができ（ステップ６５０）、処理はパラメー
タβの増加した値と共にステップ６２５に戻る。パラメ
ータβを増加する方法は、ステップ値を用いて制御しも
よい。このステップ値は、ユーザにより予め定めてもよ
いし、パラメータβの初期値及びユーザにより提供され
るさらなるパラメータ（すなわち、クラスタの数、階層
の深さなど）から計算してもよい。さらに、初期クラス
αは２つのクラス（それぞれが個別のクラスαとして定
義される）に分裂しているが（ステップ６３５；ＹＥ
Ｓ）、階層の条件が満たされていない場合（ステップ６
４０；ＮＯ）には、プロセッサ１０２は、各新しい子ク
ラスαに対するパラメータβを、初期クラスαを分裂さ
せた値に設定する（ステップ６５５）。続いて、プロセ
ッサ１０２は、階層の条件が満たされるまで（ステップ
６４０；ＹＥＳ）、新しい子クラスαのそれぞれに対し
て同じステップを実行し（ステップ６２５−６５５）、
クラスタリング処理を終了する（ステップ６４５）。

【００６７】本発明に関する特定原理による１構成にお
いては、クラスタ処理の終了（ステップ６４５）を、コ
ンピュータ１００による、誘導階層に関連する表示を生
成により行い、この表示をメモリ（すなわち、メモリ１
０６，１０４及び／または１１６）に記憶してもよい。
この表示は、クラスタリングされた文書コレクションに
関するトピックを反映することができ、種々の形式、例
えば、階層とクラスタの少なくともいずれかに関する１
つ以上の表、リスト、チャート、グラフ、及び文書コレ
クションのトピックに関連する誘導階層及びクラスタを
反映する他の任意のタイプの表示として生成できるが、
これらの限定されるものではない。コンピュータ１００
は、クラスタリング処理を実行する（すなわち、文書コ
レクションのトピックを決定する）ための要求に応じ
て、既に説明したように、記憶された表示を要求発行者
が利用可能にすることができる。表示は、ネットワーク
コネクタ１１４またはバス１０８を介して発行者に利用
できるようにしてもよい。さらに、表示をコンピュータ
１００によって送信してもよいし、発行者が検索しても
よい。さらに、階層の表示を、発行者による検索及び／
または使用のためにメモリ（例えばデータベース）に送
信するようにコンピュータ１００を構成してもよい。例
えば、コンピュータ１００から隔てて位置するサーバ
が、コンピュータ１００により提供される１つ以上の階
層に関する表示を１つ以上含むデータベースにアクセス
することもできる。階層は、１つ以上の文書コレクショ
ンに関連するトピックのクラスタを含んでもよい。例え
ば、サーバは、データベースにアクセスし、特定の文書
コレクションに関して検索動作を処理することができ
る。本発明に関する特定原理による別の実施形態におい
ては、コンピュータ１００はディスプレイ１１２を介し
て表示をユーザに対して利用可能にしてもよい。この構
成では、コンピュータ１００は、誘導階層及び階層のク
ラスタが表すトピックを反映するグラフ表示を生成し、
この表示を、ユーザが見られるようにディプレイ１１２
に供給することができる。

【００６８】本発明による特定の構成をさらに説明する
ために、図７には、本発明により生成できる、例示的な
文書コレクションに対する例示的なトピック階層７００
が示されている。階層７００は、オクラホマシティの爆
破に関するニュース記事に関連付けられた特定数の文書
（すなわち、２７３の別々の文書）を含む文書コレクシ
ョンを反映することができる。この例では、文書は７６
８４の異なる空でない（non-empty）単語を含んでもよ
い。空の単語とは、限定詞、前置詞などを表し、当業界
で知られた技術、例えばストップリストなどを用いて、
コレクションから省くことができる。階層７００の生成
に先立ち、プロセッサ１０２は、誘導階層７００に対し
て最大４つのリーフという階層条件を定めていてもよ
い。

【００６９】図示されるように、階層７００は７つのノ
ード（７１０から７７０）と４つのリーフ（７４０から
７７０）を含む。各ノードを、ｐ（ｊ｜ν）が最高であ
る、コレクションの最初の５つの単語に関連付けること
ができる。本発明による階層７００の生成において、ノ
ード７１０（パラメータβ_１で、クラスα_１に定義され
ている）に関連付けられた文書コレクションは、パラメ
ータβ_１の値の増加に続いてクラスα_１の分裂を決定し
た際に、２つの子トピック／クラスタに分割されていて
もよい。この例示的な階層７００においては、この２つ
の子トピック／クラスタは、クラスα_１１及びα_１２に
よってそれぞれ定められるノード７２０と７３０に関連
付けられ、クラスα_１の分裂がパラメータ値β_２で発生
している。

【００７０】さらなる生成の間に、パラメータ値がβ_２
からβ_３に増加した際に、α_１１及びα_１２の各クラス
が、２つの子トピック／クラスタに分裂してる。図示さ
れるように、クラスα_１１で定められるノード７２０
は、クラスα_２１及びα_２２によってそれぞれ定められ
るノード７４０と７５０とに分裂している。一方、クラ
スα_１２で定められるノード７３０は、クラスα_２３及
びα_２４によってそれぞれ定められるノード７６０と７
７０とに分裂されている。

【００７１】図７よりわかるように、本発明では、例示
的な文書コレクションを、（文書、単語）のペアの共起
に基づき、選択されたトピックにクラスタリングするこ
とができる。例えば、階層７００においては、ノード７
２０は爆破の調査に関するトピック／クラスタを反映す
ることができ、ノード７３０は爆破事件そのものに関連
するトピック／クラスタを反映してもよい。ノード７２
０は、さらに２つのトピック、すなわち、調査自体に関
連するトピック（７４０）と爆破に関する裁判に関連す
るトピック（７５０）とに分裂してもよい。一方、ノー
ド７３０は、２つのトピック、すなわち爆破の説明及び
死傷者に関するトピック（ノード７６０）と、爆破現場
における救助チームの働きに関するトピック（７７０）
とに分裂していてもよい。例示的な階層７００では、上
位レベルのノードを用いて、ｐ（ν｜α）及びｐ（ｊ｜
ν）により、所与のトピックを記載した。したがって、
コレクションの全文書において頻繁に現れる単語、例え
ば「オクラホマ」は、これらを階層７００における多く
のトピック／クラスタに割当てることにより最適に説明
される。

【００７２】なお、１実施形態においては、階層７００
の各クラスタ／ノードに関連するトピックの「タイトル
（名称）」をユーザが提供することもできる。例えば、
ユーザに、各クラスタ／ノードに関するＮ個の最も確率
の高い単語を与えることができる。ユーザはこれらの単
語からあるトピックに関連するクラスタ／ノードに対す
る「タイトル」を推定することができる。あるいは、各
クラスタ／ノードに対する「タイトル」をプロセッサ１
０２が自動的に決めることもできる。この構成では、プ
ロセッサ１０２は、特定のクラスタ／ノードに関連付け
られた文書から最頻のｎグラムを抽出し、抽出したｎグ
ラムに基づいて、そのクラスタ／ノードに対する「タイ
トル」を決定することができる。

【００７３】本発明に関する特定原理による１構成にお
いては、コンピュータ１００を、本発明の１実施形態に
より誘導されたトピック階層の妥当性を評価すべく構成
してもよい。この構成においては、プロセッサ１０２
は、テスト文書コレクションに基づく誘導階層に含まれ
るクラスタを、予めこのテストコレクションに割当てら
れたマニュアルラベルの集合と比較することを可能にす
る命令またはプログラムコードを実行できる。この評価
を行うため、プロセッサ１０２は、誘導階層に含まれる
ラベル及びクラスタに関するＧｉｎｉ（ジニ）関数の平
均を使用することができ、ジニ関数は次式のように定め
られる。

【００７４】

【数３２】 及び

【数３３】 上記のＧｉｎｉ関数において、Ｌは異なるラベルの数を
表し、Λは異なるクラスタの数を表す。さらに、Ｇ_ｌは
ラベルｌに関する、求められたクラスタαの純度を測定
し、Ｇ_αに対しては相互的である。Ｇｉｎｉ関数Ｇ_ｌ及
びＧ_αの値が小さいほど、よい結果を表すが、これはク
ラスタとラベルがより密接に対応しているためである。
すなわち、データクラスタとラベルクラスタが同じ重み
の同じ文書を含む場合には、Ｇｉｎｉ指数は０である。
Ｇｉｎｉ関数Ｇ_ｌ及びＧ_αはそれぞれが、上限値１を有
する。

【００７５】したがって、コンピュータシステム１００
が、本発明に関する特定原理による階層的ソフトクラス
タリング動作の有効性を評価しようとする際には、テス
ト文書コレクションにアクセスし、図６に示される処理
をこのコレクションに関して行い、トピック階層を生成
することができる。クラスタに関するＧｉｎｉ関数の実
施結果は、Ｇｉｎｉ指数の形で提供することができる。
プロセッサ１０２は、Ｇｉｎｉ関数の結果を分析して、
本発明の特性によるクラスタリング処理が適正なトピッ
ク結果を生み出しているかを決定するよう構成すること
ができる。

【００７６】本発明に関する特定原理による１構成にお
いては、図６に示された処理に関するＧｉｎｉ指数を、
他のクラスタリング処理、例えばＨＭＬＭや、分離混合
モデル（ＳＭＭ；Separable Mixture Model）など、文
書を誘導階層のリーフにのみ割当てる平坦なクラスタリ
ングモデルに関するＧｉｎｉ指数と比較することができ
る。例えば、表１は、本発明の特性による階層的ソフト
クラスタリング処理、ＨＭＬＭに基づくクラスタリング
処理、及びＳＭＭクラスタリング処理を使用してプロセ
ッサ１０２によりクラスタリングされたテスト文書コレ
クションに関する例示的なＧｉｎｉ指数テーブルを示す
ものである。表１に示されるように、本発明の特性によ
る階層的ソフトクラスタリング処理に関するＧｉｎｉ指
数は、他の２つのモデル（ＨＭＬＭ及びラベル）に関す
るＧｉｎｉ指数より小さい。このような結果は、コンピ
ュータシステム１００に、他のクラスタリング処理に比
べ、本発明に関する特定原理によるクラスタリング処理
を実行して生成されたトピッククラスタがより効率的で
あることを示すことができる。

【００７７】

【表１】 以上のように、本発明によれば、コンピュータシステム
は、文書及び単語のコレクションからトピッククラスタ
を生成し、各クラスタを別のクラスタに割当てられた文
書にも関連付づけることができる。しがって、誘導クラ
スタ階層における対象のハード割当てを回避することが
できる。

【００７８】本発明は、上記の実施及び構成例に限定さ
れるものではない。例えば、本発明により、ある文書コ
レクションに関連するトピッククラスタの階層を、この
コレクションに追加される単数または複数の新しい文書
に基づき更新することができる。この構成においては、
コンピュータ１００は、１つ以上の新しい文書の追加時
に文書コレクションを更新し、この修正されたコレクシ
ョンに関して本発明に関する特定原理によるクラスタリ
ング動作を実行することができる。したがって、本発明
の実施により、新しい１文書（または文書の集合）が文
書コレクションに追加されるたびごとに、その文書コレ
クションに関するトピック階層を修正することができ
る。

【００７９】さらに、本発明を使用して、ある文書コレ
クションに関してそのユーザが実行する行動（例えば、
書込み、プリント、ブラウジング）に基づきユーザをク
ラスタリングすることもできる。この構成では、対象
「ｉ」がユーザを表し、対象「ｊ」が文書を表す。さら
に、本発明を使用し、画像を、その画像に関連づけられ
たテキストに基づきクラスタリングすることもできる。
例えば、関連付けられたテキストは画像のタイトルであ
ってもよいし、例えばウェブページのように画像の周囲
のテキストであってもよい。この構成では、対象「ｉ」
は画像を表し、対象「ｊ」は各画像のタイトルに含まれ
る単語を表す。さらに、本発明を使用し、企業の活動領
域または消費者関係に基づき企業をクラスタリングする
こともできる。例えば、後者の例の場合、「ｉ」は企業
を表し、「ｊ」は企業と消費者との関係（例えば、「販
売（sells to）」）を表す。すなわち、１つ以上の企業
には、それらの企業から異なるタイプの製品及び／また
はサービスを購入した消費者の集合を有することができ
る。したがって、本発明の特定の態様によれば、階層の
クラスタにより、これらの企業から類似するタイプの製
品及び／またはサービスを購入した（例えば、ハードウ
ェアの購入、コンピュータソフトウェアの購入、ルータ
部品の購入など）消費者のグループを表すことができ
る。よって、この構成においては、「ｉ」が消費者を表
すことができ、「ｊ」によって企業を表してもよい。あ
るいは、別の構成に、特定のタイプの企業から種々のタ
イプの製品及び／またはサービスを購入した消費者の集
合を含んでもよい。この構成では、階層のクラスタが、
製品及び／またはサービスのタイプ（ハードウェアの販
売、コンピュータソフトウェアの販売、紙製品の販売な
ど）のグループを表すことができる。この構成において
は、「ｉ」により企業を表し、「ｊ」により消費者を表
すことができる。このように、当業者であれば、本発明
を任意のタイプの共起する対象のクラスタリングに適用
できることが理解できるであろう。

【図面の簡単な説明】

【図１】 コンピュータ装置環境の例を示す図であり、
これにより本発明の特定原理による製造の方法、装置及
び製品を実施することができる。

【図２】 第１の階層的クラスタリングモデルの作用
（behavior）を表す例示的なブロック図である。

【図３】 第２の階層的クラスタリングモデルに関連す
るモデルを表す例示的なブロック図である。

【図４】 第３の階層的クラスタリングモデルを表す例
示的なブロック図である。

【図５】 本発明に関する特定の特性及び原理による、
階層的クラスタリングモデルに関連する例示的なブロッ
ク図である。

【図６】 本発明に関する特定の特性及び原理による製
造の方法、装置及び製品により実施可能な例示的な処理
を表すフローチャートである。

【図７】 本発明に関する特定の特性による製造の方
法、装置、及び製品により製造できる、文書コレクショ
ンに関連する例示的なトピック階層を示す図である。

【符号の説明】

１００ コンピュータ装置、１０２ プロセッサ、１０
４ メインメモリ、１０６ 補助メモリ、１０８ バ
ス、１１０ キーボード、１１２ ディスプレイ、１１
４ ネットワークコネクタ、１１６ 大容量記憶装置。

フロントページの続き (72)発明者 フランシン アール チェン アメリカ合衆国 カリフォルニア メンロ ー パーク シャーマン アベニュー 975 (72)発明者 アショク シー ポパット アメリカ合衆国 カリフォルニア サン カルロス セダー ストリート 625 ア パートメント ケイ Ｆターム(参考） 5B082 EA01

Claims (3)

【特許請求の範囲】
1. 【請求項１】 複数の文書を、複数のクラスタで構成さ
   れる階層的データ構造にクラスタリングする、コンピュ
   ータにより実施される方法であって、各文書は複数の単
   語を含み、前記方法は、 文書コレクションにアクセスするステップと、 前記コレクションの文書の分類を反映するクラスタの階
   層を、文書に含まれる単語に基づき作成するクラスタリ
   ング処理を実行するステップであって、前記コレクショ
   ンの任意の文書は各文書の第１セグメントに基づき前記
   階層の第１クラスタに割当てることができ、各文書は該
   各文書の第２セグメントに基づき前記階層の第２クラス
   タに割当てることができ、前記第１及び第２のクラスタ
   は前記階層の異なるパスに関連づけられているステップ
   と、 クラスタの階層の表示をメモリに記憶するステップと、
   前記表示を、前記文書コレクションに関連付けられた要
   求に応じて、エンティティに対して利用可能にするステ
   ップと、を含む方法。
2. 【請求項２】 請求項１に記載の方法において、前記ク
   ラスタリング処理を実行するステップは、 前記文書コレクションを第１クラスに割当てるステップ
   と、 確率パラメータを初期値に設定するステップと、 前記パラメータの値にある、前記コレクションの各文書
   に対し、前記コレクションの文書が前記階層のあるクラ
   スタに割当てられる確率を、該文書に含まれる単語及び
   前記第１クラスに基づき決定するステップと、 を含む方法。
3. 【請求項３】 複数の画像を、その画像に関連するテキ
   ストに基づき、複数のサブノードに関連付けられたルー
   トノードを含む階層的データ構造にクラスタリングす
   る、コンピュータで実施される方法であって、各サブノ
   ードは異なるトピックを表し、前記方法は、 画像コレクションにアクセスするステップと、 前記階層的データ構造を作成するクラスタリング処理を
   実行するステップと、を含み、前記クラスタリング処理
   は、 第１の画像を、該第１の画像に関連付けられたテキスト
   の第１部分に基づき第１サブノードに関連付けるステッ
   プと、 前記第１の画像を、該第１の画像に関連付けられたテキ
   ストの第２部分に基づき第２サブノードに関連付けるス
   テップと、を含み、 前記第１及び第２サブノードは前記階層的データ構造の
   異なる子孫パスに関連づけられ、 前記方法は、さらに、 前記階層的データ構造の表示をメモリに記憶するステッ
   プと、 前記表示を、前記画像コレクションに関連づけられた要
   求に応じてエンティティに対して利用可能にするステッ
   プと、 を含む方法。