JP2007272291A - 潜在クラス抽出方法および装置ならびに潜在クラス抽出プログラムおよびその記録媒体 - Google Patents

Abstract

【課題】短時間での潜在クラス分析を可能にする潜在クラス抽出方法および装置ならびに潜在クラス抽出プログラムおよびその記録媒体を提供する。
【解決手段】特異値分解部２は、分析対象DB１から分析対象データ行列Aを読み出して特異値分解を施す。この特異値分解により、分析対象データ行列Aから、関連性の深い成分同士がひとつの次元にまとまった概念空間が生成される。次元圧縮部３は、前記特異値分解の結果に基づいて、大きさが上位の特異値のみを使用して前記分析対象データ行列Aを次元圧縮し、近似行列A'を求める。離散化部４は、近似行列A'の各成分を離散化して離散化近似行列A''を求める。潜在クラス抽出部５は、前記離散化近似行列A''に既知のEMアルゴリズムや確定的アニーリングEMアルゴリズムなどの手法を適用して潜在クラス抽出を行う。
【選択図】図２

Description

本発明は、潜在クラス抽出方法および装置ならびに潜在クラス抽出プログラムおよびその記録媒体に係り、特に、多次元行列で表現された分析データを次元圧縮して近似行列に変換し、この近似行列から潜在クラスを抽出する方法および装置ならびにプログラムおよびその記録媒体に関する。

マーケティング分析などにおいて、顧客の購買履歴などのデータを大量に分析するための手法として潜在クラス分析が知られている。潜在クラス分析とは、分析対象データに潜在的に存在するクラスを抽出する統計的分析手法であり、たとえば顧客を購買履歴に基づいて複数のカテゴリに分類する場合などに利用できる。

この潜在クラス分析の代表的な手法としてEMアルゴリズムが知られている。EMアルゴリズムは、測定可能な「顕在変数」をもとに、この顕在変数の隠れた要因となる「潜在変数」を推測するためのアルゴリズムであり、非特許文献１において詳細に論じられている。

また、EMアルゴリズムの問題として知られている初期値依存性を解決する手法として、非特許文献２では「確定的アニーリングEMアルゴリズム」が提案されている。

上記の各アルゴリズムなどによって得られる潜在クラス抽出結果は、たとえばマーケティング分析システムなどに応用することができる。たとえば、本出願人による特許出願の特許文献１では、市場データから抽出される因子データをもとにマーケティング分析を支援するシステムが提案されている。
A.P. Dempster, N.M. Laird, D.B. Rubin: Maximum likelihood from incomplete data via the EM algorithm, Journal of Royal Statistic Society, Series B39, pp. 1-38, 1976. 上田、中野：確定的アニーリングEMアルゴリズム、信学論D-II、Vol. J80-D-II, No. 1, pp. 267-276, 1997. 特開２００１−１６７２０３号公報

上記した従来のEMアルゴリズムなどの潜在クラス分析の手法は、分析対象データが増えるにつれて計算に要する時間が膨大になる。また、EMアルゴリズムには初期値に依存して潜在クラス抽出結果が局所解に陥ってしまう問題が知られているが、特に、分析対象データ内の偏りが多い場合、その傾向が顕著になり、有意な分析結果を得ることが困難である。

一方、確定的アニーリングEMアルゴリズムによれば、EMアルゴリズムの初期値依存性はある程度解決できるものの、計算時間がEMアルゴリズムのさらに数倍かかるので実用化は困難である。

本発明の目的は、上記した従来技術の課題を解決し、短時間での潜在クラス分析を可能にする潜在クラス抽出方法および装置ならびに潜在クラス抽出プログラムおよびその記録媒体を提供することにある。

上記した目的を達成するために、本発明の潜在クラス抽出装置は、以下のような手段を有することを特徴とする。
(1)多次元行列で表現された分析対象のデータ行列を次元圧縮する次元圧縮手段と、前記次元圧縮により得られた近似行列の各成分を離散化する離散化手段と、前記離散化後の近似行列から潜在クラスを抽出する潜在クラス抽出手段とを含むことを特徴とする。
(2)分析対象のデータ行列を特異値分解する特異値分解手段をさらに含み、次元圧縮手段は、特異値分解の結果に基づいてデータ行列を次元圧縮することを特徴とする。
(3)離散化手段が、特異値の大きい成分ほど存在確率が高くなるように各成分を離散化することを特徴とする。

本発明によれば、以下のような効果が達成される。
上記した特徴(1)によれば、分析対象のデータ行列に予め次元圧縮が実施されて近似行列に圧縮され、データ量を削減された後に潜在クラス抽出が行われるので、潜在クラス抽出に要する処理時間を短縮できる。

上記した特徴(2)によれば、分析対象のデータ行列が特異値分解の結果に基づいて次元圧縮されるので、圧縮された近似行列では関連性の深い成分同士が一つの次元にまとまった概念空間が生成される。したがって、分析対象データに局所的な偏りがある場合でも潜在クラス抽出の結果が局所解に陥ってしまうことを防止できる。

上記した特徴(3)によれば、次元圧縮により得られた近似行列では、特異値の大きい成分ほど存在確率が高くなるように各成分が離散化されるので、特異値の算出結果を反映した離散化が可能になる。

以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明に係る潜在クラス抽出装置の主要部の構成を示したブロック図である。

分析対象データベース(DB)１には、潜在クラス抽出の対象となる多次元のデータ行列Aが記憶されており、例えばデータ行列Aがユーザの購買履歴であれば、商品が行項目に設定され、ユーザが列項目に設定される。特異値分解部２は、前記分析対象DB１から分析対象データ行列Aを読み出して特異値分解を施す。この特異値分解により、後に詳述するように、分析対象データ行列Aの各行項目に関して相互関係が捉えられ、行項目に関して関連性の深い成分同士がひとつの次元にまとめられる。

次元圧縮部３は、前記特異値分解の結果に基づいて、大きさが上位の特異値のみを使用して前記分析対象データ行列Aを次元圧縮し、近似行列A'を求める。離散化部４は、前記近似行列A'の各成分を離散化して離散化近似行列A''を求める。潜在クラス抽出部５は、前記離散化近似行列A''に既知のEMアルゴリズムや確定的アニーリングEMアルゴリズムなどの手法を適用して潜在クラス抽出を行う。潜在クラス抽出の結果は、ユーザに提示されても良いし、あるいはデータ分析支援システム（図示せず）などに出力されるようにしても良い。

図２は、上記した潜在クラス抽出装置における潜在クラス抽出手順を示したフローチャートである。

ステップS１では、分析対象DB１から分析対象のデータ行列Aが読み出される。ステップS２では、前記読み出されたデータ行列Aに対して、特異値分解部２において特異値分解(SVD：Singular Value Decomposition)が施される。この特異値分解により、分析対象データ行列Aが次式(1)を満足する行列成分U、Σ、Vtに分解される。

A＝UΣVt (1)

図３は、分析対象データAの特異値分解および次元圧縮を模式的に表現した図であり、分析対象データ行列Aがｎ行ｍ列（ｎ×ｍ：ｎ＞ｍ）であれば、行列成分Uはｎ行ｎ列の直交行列であり、左特異ベクトルを示している。行列成分Vt はｍ行ｍ列の直交行列であり、右特異ベクトルを示している。行列成分Σは、特異値σ（σ1，σ2，…，σr，０，…０）を対角成分に持ち、対角成分以外の成分が全て「０」となるような対角行列であって、各特異値σは上の行ほど値が大きくなる（σ1≧σ2≧…≧σr＞０）ように求められるのが一般的である。

ステップS３では、次元圧縮部３において、前記特異値分解の結果に基づいて分析対象データ行列Aが次元圧縮される。すなわち、次元圧縮部３は直交行列Uの先頭のｋ個の列成分（左特異ベクトル）からなるｎ行ｋ列の射影行列Ukを生成する。直交行列Vt についても同様に、先頭のｋ個の列成分（右特異ベクトル）からなるｍ行ｋ列の行列Vkを生成する。さらに、対角行列Σの第１行から第ｋ行までの成分からなるｋ行ｋ列の直交行列Σkを生成する。そして、次式に基づいてｋ行ｍ列に次元圧縮された近似行列A'を求める。なお、行列ＶkTは行列Ｖkの転置行列である。

A'＝ ＵkΣkＶkT （２）

ここまでの処理により、例えばｍ人のユーザのｎ件の商品に関する購買履歴としての分析対象データ行列Aが、関連性の強い商品同士をまとめてｋ件の商品群とされたｍ行ｋ列の近似行列A'に次元圧縮される。

ステップS４では、近似行列A'の各成分が、EMアルゴリズムや確定的アニーリングEMアルゴリズムなどの手法を適用できるように離散化される。すなわち、分析対象データ行列Aの各成分が離散化されていても、上記した特異値分解および次元圧縮により各成分が実数となっており、このままではEMアルゴリズム等を適用できない。そこで、ステップS４では近似行列A'の各成分が離散化される。

図４は、本実施形態における離散化の手順を示したフローチャートであり、ここでは２値化による離散化を例にして説明する。

ステップS４１では、離散化対象の行を指定する変数ｊに初期値「１」がセットされる。ステップS４２では、各列のｊ番目の行の全ての成分（ａj1，ａj2…ａjm）が抽出され、ステップS４３において降順にソートされる。ステップS４４では、第ｊ行に関して、離散化処理の結果、「１」が発生する率（以下、単に発生率と表現する）αj（％）が、変数ｊ、特異値σおよび基準発生率αrefの関数として、次式(3)に基づいて求められる。

αj＝（σj／σ1）×αref (3)

ステップＳ４５では、降順にソートされた成分の上位αj％のみを「１」とし、それ以外を全て「０」とすることで第ｊ行の各成分が離散化される。ステップＳ４６では変数ｊが行数ｋと比較され、全ての行に関して離散化が完了（ｊ≧ｋ）するまでは、ステップＳ４６で変数ｊを更新した後にステップＳ４２へ戻って上記した各処理が繰り返される。

本実施形態では、式(3)で示されたように、各行の発生率αjが変数ｊおよび特異値σの関数として求められ、基準発生率αrefが８０（％）であれば、第１行目に関しては、αj＝αとなるので、上位８０％の成分が「１」となり、下位２０％が「０」となる。第２行目に関しては、αj＝（σ2／σ1）×αとなり、一般的にはσ2＜σ1なので、上位８０％未満の成分が「１」となり、下位２０％以上の成分が「０」となる。以下同様に、特異値の大きい成分ほど存在確率が高くなるように、行が下がるに従って前記発生率αjが漸減するので、特異値の大きさを反映した離散化が可能になる。

図２に戻り、ステップS５では、以上のようにして次元圧縮され、かつ各成分が離散化された近似行列A''から、前記潜在クラス抽出部５において、既知のEMアルゴリズムや確定的アニーリングEMアルゴリズムなどの手法を適用して潜在クラス抽出が行われる。

図５は、本発明に係る潜在クラス抽出装置として機能できるコンピュータ５０の主要部の構成を示した機能ブロック図であり、オペレーティングシステム(OS)を含む基本プログラムや各種の基本データが記憶されたROM５２と、各種のプログラムやデータが記憶されるハードディスクドライブ装置(HDD)５７と、CR-ROMやDVD等の記憶メディア６１からプログラムやデータを読み出すメディアドライブ装置５６と、プログラムを実行するCPU５１と、このCPU５１にワークエリアを提供するRAM５３と、入出力インターフェース(I/F)５５を介して接続されたディスプレイ５８、キーボード５９およびマウス等のポインティングデバイス６０と、外部装置と通信するパラレル／シリアルI/F５４とを主要な構成としている。

本実施形態では、分析対象のデータ行列Aがシリアル／パラレルI/F５４から入力、またはメディアドライブ装置５６で読み取られてHDD５４に予め記憶される。前記図２に関して説明した潜在クラス抽出処理のプログラムは記憶メディア６１に記憶され、メディアドライブ装置５６で読み取られてHDD５７にインストールされる。

このような構成において、オペレータがキーボード５９およびポインティングデバイス６０を操作して潜在クラス抽出プログラムを起動し、さらに分析対象のデータ行列Aを指定すると、CPU５１において潜在クラス抽出プログラムが実行され、上記した特異値分解、次元圧縮、離散化および潜在クラス抽出が順次に実行される。潜在クラスの抽出結果はディスプレイ５８に表示される。

本発明に係る潜在クラス抽出装置の主要部の構成を示したブロック図である。 潜在クラス抽出手順を示したフローチャートである。 分析対象データの特異値分解および次元圧縮を模式的に表現した図である。 近似行列の各成分を離散化する手順を示したフローチャートである。 本発明に係る潜在クラス抽出装置として機能できるコンピュータの主要部の構成を示した機能ブロック図である。

符号の説明

１…分析対象データベース，２…特異値分解部，３…次元圧縮部，４…離散化部，５…潜在クラス抽出部

Claims (10)

1. 多次元行列で表現された分析対象のデータ行列から潜在クラスを抽出する潜在クラス抽出装置において、
   分析対象のデータ行列を次元圧縮する次元圧縮手段と、
   前記次元圧縮により得られた近似行列の各成分を離散化する離散化手段と、
   前記離散化後の近似行列から潜在クラスを抽出する潜在クラス抽出手段とを含むことを特徴とする潜在クラス抽出装置。
2. 分析対象のデータ行列を特異値分解する特異値分解手段をさらに含み、
   前記次元圧縮手段は、特異値分解の結果に基づいてデータ行列を次元圧縮することを特徴とする請求項１に記載の潜在クラス抽出装置。
3. 前記離散化手段は、特異値の大きい成分ほど存在確率が高くなるように各成分を離散化することを特徴とする請求項２に記載の潜在クラス抽出装置。
4. 多次元行列で表現された分析対象のデータ行列から潜在クラスを抽出する潜在クラス抽出方法において、
   分析対象のデータ行列を次元圧縮する手順と、
   前記次元圧縮により得られた近似行列の各成分を離散化する手順と、
   前記離散化後の近似行列から潜在クラスを抽出する手順とを含むことを特徴とする潜在クラス抽出方法。
5. 分析対象のデータ行列を特異値分解する手順をさらに含み、
   前記データ行列が、特異値分解の結果に基づいて次元圧縮されることを特徴とする請求項４に記載の潜在クラス抽出方法。
6. 前記離散化手順では、特異値の大きい成分ほど存在確率が高くなるように各成分が離散化されることを特徴とする請求項５に記載の潜在クラス抽出方法。
7. 多次元行列で表現された分析対象のデータ行列から潜在クラスを抽出する潜在クラス抽出プログラムにおいて、
   分析対象のデータ行列を次元圧縮する手順と、
   前記次元圧縮により得られた近似行列の各成分を離散化する手順と、
   前記離散化後の近似行列から潜在クラスを抽出する手順とを、コンピュータに実行させるための潜在クラス抽出プログラム。
8. 分析対象のデータ行列を特異値分解する手順をさらに含み、
   前記データ行列が、特異値分解の結果に基づいて次元圧縮されることを特徴とする請求項７に記載の潜在クラス抽出プログラム。
9. 前記離散化手順では、特異値の大きい成分ほど存在確率が高くなるように各成分が離散化されることを特徴とする請求項８に記載の潜在クラス抽出プログラム。
10. 前記請求項７ないし９のいずれかに記載の潜在クラス抽出プログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images