JP3708724B2 - カテゴライズ利用特徴抽出装置 - Google Patents
カテゴライズ利用特徴抽出装置 Download PDFInfo
- Publication number
- JP3708724B2 JP3708724B2 JP27107298A JP27107298A JP3708724B2 JP 3708724 B2 JP3708724 B2 JP 3708724B2 JP 27107298 A JP27107298 A JP 27107298A JP 27107298 A JP27107298 A JP 27107298A JP 3708724 B2 JP3708724 B2 JP 3708724B2
- Authority
- JP
- Japan
- Prior art keywords
- category
- data
- attribute
- partial data
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、ユーザの分析の目的属性の指定に応じてデータをカテゴライズし、各カテゴリのデータが基礎統計量や相関係数等の特徴量に関して全体と異なる傾向を示すことを検出し、部分データの示す特徴として抽出するカテゴライズ利用特徴抽出方法および装置とカテゴライズ利用特徴抽出プログラムを記録した記録媒体に関し、更に詳しくは、データベースまたはファイルに蓄積された情報を、視覚化定義を自動生成することにより自動視覚化を実現するような場合に、ユーザが興味対象の属性に関する指定を行った時にその属性に対して何らかの特性を持つ属性群を自動抽出することにより視覚化対象とすべき属性を自動選択し、視覚化定義を自動生成する場合に利用して有効なカテゴライズ利用特徴抽出方法および装置とカテゴライズ利用特徴抽出プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、自動的に抽出できる特徴はデータ全体に対して高い相関係数を有する等のように全体に現れるもののみであり、部分的に現れる特徴を自動的に抽出して視覚化するものはない。
【０００３】
【発明が解決しようとする課題】
上述したように、従来の自動視覚化のための特徴抽出方法では、データ全体に現れる特徴を抽出することはできるが、部分的に現れる特徴、例えば地位の高い力士にのみ当てはまるような特徴を抽出することができないという問題がある。
本発明は、上記に鑑みてなされたもので、その目的とするところは、ユーザの分析の目的属性の指定に応じてデータをカテゴライズし、各カテゴリのデータが示す全体と異なる特徴を抽出するカテゴライズ利用特徴抽出装置を提供することにある。
【００１７】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の本発明は、複数の属性を有するデータに対してユーザが指定した属性および方法によってデータを「値による等分割」「数による等分割」「多次元メッシュ」または「多次元クラスタリング」を含む手法を用いて、複数のデータ群であるカテゴリに分割するカテゴライズを行うカテゴライズ機能部と、前記カテゴライズの結果のそれぞれのカテゴリに対してカテゴライズに利用された属性であるカテゴリ対象属性以外の任意の属性の値の分布がデータ全体の分布と比較して乖離している度合を部分データの平均値と全体の平均値との差分から部分データの正規化された値を求める手順と、この部分データの正規化された値と該部分データのばらつきとを比較し、当該ばらつきが有意性を評価する手順と、部分データの数が少数であるときの統計的補正を行う手順を含み、他の部分データまたは他の属性と相対的に比較可能な数値を算出する評価関数
【数３】
ｆA （ｎP ，ｍP ，ｓP ，ｍA ）
＝｛１−１／（ｎP ）1/2 ｝（ｍP −ｍA ）／ｓP
(但し、ｎ P は部分データの数、ｍ P は部分データの平均値、ｍ A は全体の平均値、ｓP は部分データの標準偏差)
によって判定する評価関数計算機能部と、乖離の度合が顕著である属性と対応するカテゴリをそのデータの部分的な特徴として抽出する属性抽出機能部とを有することを要旨とする。
【００１８】
請求項１記載の本発明にあっては、複数の属性を有するデータに対し、ユーザ指定の属性および方法によってデータを複数のデータ群であるカテゴリに分割するカテゴライズを行い、カテゴライズの結果のそれぞれのカテゴリに対してカテゴライズに利用された属性であるカテゴリ対象属性以外の属性における特徴を検出する。つまり、分割生成されたカテゴリにおいてカテゴリ対象属性以外の任意の属性の値の分布がデータ全体の分布と比較して、乖離している度合を評価関数によって判定し、乖離の度合が顕著である属性と対応するカテゴリをそのデータの部分的な特徴として抽出するため、該部分的な特徴を利用して、例えばビジュアルマイニング支援のための自動視覚化において大きさ、形、色、座標軸等の視覚化属性にマッピングする属性を決定することができる。
【００２０】
請求項２記載の本発明は、複数の属性を有するデータに対し、ユーザが指定した属性および方法によってデータを「値による等分割」「数による等分割」「多次元メッシュ」または「多次元クラスタリング」を含む手法を用いて、複数のデータ群であるカテゴリに分割するカテゴライズを行うカテゴライズ機能部と、前記カテゴライズの結果のそれぞれのカテゴリに対してカテゴライズに利用された属性であるカテゴリ対象属性を除いた任意の２つの属性の相関係数の全体の相関係数との乖離の度合を部分データ自身の相関係数の大きさと全体データの相関係数の大きさとの乖離をこれらの差分により求める手順と、この差分と部分データ自身の相関係数の大きさとの積を求め、該差分と部分データ自身の相関係数の大きさの影響を求める手順と、部分データの数が少数であるときの統計的補正を行う手順とを有して、他属性と比較可能な数値を算出する評価関数
【数４】
ｆB （ｒA ，ｒP ，ｎP ，）
＝｛１−１／（ｎP ）1/2 ｝ｒP （ｒP −ｒA ）
（但し、ｎ P は部分データの数、ｒ A は全体の相関係数、ｒ P は部分データの相関係数）
によって判定する評価関数計算機能部と、乖離の度合が顕著である属性対と対応するカテゴリをそのデータの部分的な特徴として抽出する属性抽出機能部とを有することを要旨とする。
【００２１】
請求項２記載の本発明にあっては、分割生成されたカテゴリに対して、カテゴリ対象属性を除いた任意の２つの属性の相関係数の全体の相関係数との乖離の度合を評価関数によって判定し、乖離の度合が顕著である属性対と対応するカテゴリをそのデータの部分的な特徴として抽出するため、該部分的な特徴を利用して、例えばビジュアルマイニング支援のための自動視覚化において大きさ、形、色、座標軸等の視覚化属性にマッピングする属性を決定することができる。
【００２３】
また、請求項３記載の本発明は、前記抽出された特徴および前記評価関数の結果を用いて、特に顕著な特徴を出力する出力手段を有することを要旨とする。
【００２４】
請求項３記載の本発明にあっては、抽出された特徴および評価関数の結果を用いて、特に顕著な特徴を出力する。
【００２５】
請求項４記載の本発明は、前記カテゴリ対象属性が単一である場合、前記特徴が最も顕著に現れるようなカテゴリの範囲であるカテゴリ区間を前記評価関数により求めるカテゴリ区間最適化手段を有することを要旨とする。
【００２６】
請求項４記載の本発明にあっては、カテゴリ対象属性が単一である場合、特徴が最も顕著に現れるようなカテゴリの範囲であるカテゴリ区間を評価関数により求める。
【００２７】
請求項５記載の本発明は、前記カテゴリ対象属性が複数である場合、前記特徴が最も顕著に現れるようなカテゴリの範囲であるカテゴリ区間を前記評価関数により求めるカテゴリ区間最適化手段を有することを要旨とする。
【００２８】
請求項５記載の本発明にあっては、カテゴリ対象属性が複数である場合、特徴が最も顕著に現れるようなカテゴリの範囲であるカテゴリ区間を評価関数により求める。
【００２９】
請求項６記載の本発明は、前記カテゴリ手段および特徴抽出についてプログラミングすることなく、マウスを含む簡易なツールを用いて条件を入力できるグラフィカルユーザインタフェース（ＧＵＩ）画面を表示する表示手段を有することを要旨とする。
【００３０】
請求項６記載の本発明にあっては、カテゴリ処理および特徴抽出についてプログラミングすることなく、マウスを含む簡易なツールを用いて条件を入力できるグラフィカルユーザインタフェース（ＧＵＩ）画面を表示する。
【００４４】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について説明する。図１は、本発明の一実施形態に係わるカテゴライズ利用特徴抽出方法を実施するカテゴライズ利用特徴抽出装置の構成を示すブロック図である。同図に示すカテゴライズ利用特徴抽出装置は、例えばマウスやキーボード等からなる外部入力装置１からの入力をユーザインタフェース機能部３で受け取り、これに従って入力データ７および入力スキーマ９等の入力ファイルを読み込み、カテゴライズ機能部５を起動する。カテゴライズ機能部５は、数値演算機能部１１と連携を取りつつ、データのカテゴライズを行う。このカテゴライズの結果を受けて、評価関数計算機能部１３が起動され、評価関数計算機能部１３は、適宜数値演算機能部１１を呼び出しながら、評価結果のリストを作成する。なお、数値演算機能部１１は、平均、分散、相関関数、多次元クラスタリング、動的メッシュ、因子分析などの演算を行う部分である。
【００４５】
次に、評価関数計算機能部１３からの評価結果リストを用いて、属性抽出機能部１５が起動され、視覚化属性リストを作成する。この視覚化属性リストを基に生成された視覚化定義１７を視覚化装置１９に入力することにより自動視覚化が行われる。更に、ユーザによって区間最適化が指定されている場合は、区間自動決定機能部２１が呼び出される。この区間自動決定機能部２１も適宜数値演算機能部１１を使用して区間最適化処理を行う。
【００４６】
図２は、図１に示したユーザインタフェース機能部３によるＧＵＩの一例を示す図である。同図に示すように、ユーザは、カテゴライズ手法としてカテゴリ内包数指定またはカテゴリ数指定を選択する。但し、カテゴリ内包数指定手法は、カテゴリ対象属性が１つの場合、またはカテゴリ対象が複数で評価式が入力されている場合のみ有効である。選択した手法について、内包数またはカテゴリ数をカウンタウィンドウから指定する。また、分析対象データの属性リストからカテゴライズの対象の属性を指定する。指定されなかった場合は、カテゴリ属性不定の場合のカテゴリ手法が起動される。
【００４７】
複数の属性を指定した場合は、複数の属性の場合のカテゴリ手法が起動されるが、評価式が入力される場合は、この評価式を属性群に適用した結果を用いて、単一属性の場合のカテゴリ手法が起動される。特徴抽出手法として、基礎統計量利用手法（式（１）を使用する抽出方式）かまたは相関係数利用手法（式（２）を使用する抽出方式）のどちらか、または両方をチェックボックスにより指定できる。また、詳細設定画面からシステムが利用できる分割手法が指定できる。また、視覚化時にカテゴリ対象属性の主成分を利用したい場合は、詳細設定画面で「主成分計算実行」をチェックする。カテゴリ範囲の最適化を行いたい場合も、同様に「カテゴリ範囲の最適化」をチェックする。
【００４８】
次に、図３に示すフローチャートを参照して、図１に示した実施形態の全体の処理について説明する。
【００４９】
図３においては、ユーザの指定に従ってカテゴライズ処理が起動される（ステップＳ１１）。このカテゴライズ処理の結果に対して、基礎統計利用の次式（１）に示す評価関数ｆA を用いた特徴抽出（ステップＳ１３）、または相関係数利用の次式（２）に示す評価関数ｆB を用いた特徴抽出（ステップＳ１５）、または両方を用いた特徴抽出（ステップＳ１３，１５）を行う。
【００５０】
基礎統計利用の評価関数ｆA は、次式の通りである。
【００５１】
【数１９】
ｆA （ｎP ，ｍP ，ｓP ，ｍA ）
＝｛１−１／（ｎP ）1/2 ｝（ｍP −ｍA ）／ｓP ・・・（１）
ここで、ｎ P は部分データの数、ｍ P は部分データの平均値、ｍ A は全体の平均値、ｓ P は部分データの標準偏差である。
【００５２】
また、相関係数利用の評価関数ｆB は、次式の通りである。
【００５３】
【数２０】
ここで、ｎP は部分データの数、ｒA は全体の相関係数、ｒP は部分データの相関係数である。
【００５４】
次に、カテゴリ範囲の最適化が指定されているか否かを判断し（ステップＳ１７）、指定されている場合には、カテゴリ最適化処理を行うべく、カテゴリ対象属性数が単数かまたは複数かをチェックする（ステップＳ１９）。単数の場合には、後述する図７に示す最適化手法Ｉを実行し（ステップＳ２３）、複数の場合には、後述する図８に示す最適化手法ＩＩを実行する（ステップＳ２１）。
【００５５】
上述したように、本実施形態では、ユーザに条件を指定させ、このユーザが指定した条件に従ってカテゴライズし、このカテゴライズされたデータおよびデータ全体から平均、分散、相関係数を計算し、この計算結果を用いて、あるカテゴリに属するデータのある属性値の分布が全体に比べてどの程度偏っているかを判定するために評価関数ｆA を計算し、またあるカテゴリに属するある属性対の間の相関がデータ全体に比べてどの程度高いかを判定するために評価関数ｆ B を計算し、この計算結果を用いて、最も特徴的ないくつかの属性を抽出し、視覚化属性候補として提示している。
【００５６】
すなわち、本実施形態では、全データがユーザの指定によりカテゴライズされた各カテゴリにおいて、データ全体が規格化されるように変換した場合に、あるカテゴリ内のデータ分布が全体の分布からどれくらい離れているかを評価し、更に内包データ数が少数の場合の補正を行った評価関数ｆA を計算するとともに、また相関係数では、カテゴリ内データの相関係数自身の値が大きく、かつ全データの相関係数の差の絶対値が大きな値を有し、更に内包データ数が少数の場合の補正を行った評価関数ｆB を計算することにより、カテゴライズ対象とならなかったすべての属性についてその値域とデータ数に関わらず比較し、特徴的な属性を抽出している。
【００５７】
次に、図４に示すフローチャートを参照して、図３のステップＳ１１のカテゴライズ処理について説明する。
【００５８】
図４においては、まずユーザのＧＵＩからの指定に従って適当なカテゴライズ手法が選択される（ステップＳ３１）。このカテゴライズ手法には内包数による分割、値による等分割、数による等分割、多次元動的メッシュ、多次元クラスタリングなどがある。内包数による分割の場合には、内包数が指定され、内包数による分割によりカテゴライズが行われる（ステップＳ３３）。
【００５９】
また、その他の場合には、分割数が指定され、カテゴリ属性数が１個であるかまたは複数であるかまたは不定であるかが判断される（ステップＳ３５）。１個の場合には、値による等分割（ステップＳ４１）または数による等分割（ステップＳ４３）によりカテゴライズが行われる。カテゴリ属性数が複数の場合には、評価式があるか否かがチェックされ（ステップＳ３７）、評価式がある場合には、評価式の計算を行い（ステップＳ３９）、この計算結果に基づいて値による等分割（ステップＳ４１）または数による等分割（ステップＳ４３）によりカテゴライズが行われる。
【００６０】
更に、カテゴリ属性数が不定である場合には、主成分計算が指定されているか否かをチェックし（ステップＳ４６）、主成分計算が指定されている場合には、主成分計算を行い、多次元動的メッシュ（ステップＳ５５）または多次元クラスタリング（ステップＳ５７）によりカテゴライズが行われる。
【００６１】
また、ステップＳ３５の判定において、カテゴリ属性数が不定である場合には、因子分析を用いて、属性のグルーピングを行う（ステップＳ４９）。それから、主成分計算が指定されているか否かをチェックし（ステップＳ５１）、指定されている場合には、第１因子負荷量の計算を行い（ステップＳ５３）、それぞれの因子に関連の高い属性群を用いて、多次元動的メッシュ（ステップＳ５５）または多次元クラスタリング（ステップＳ５７）によりカテゴライズを行う。
【００６２】
次に、図５に示すフローチャートを参照して、図３のステップＳ１３の基礎統計利用の評価関数ｆA を用いた特徴抽出処理について説明する。図５において、評価関数の結果でソートし（ステップＳ６１）、評価結果最大の特徴を取得する（ステップＳ６３）。それから、特徴にフラグを立て（ステップＳ６５）、同じカテゴリ内で次に大きい特徴を取得し（ステップＳ６７）、特徴にフラグを立てる（ステップＳ６９）。そして、この属性対を視覚化属性リストに追加し（ステップＳ７１）、次に評価結果の大きい特徴を取得し（ステップＳ７３）、この評価結果がしきい値より大きいか否かを判定し（ステップＳ７５）、大きい場合には、ステップＳ６５に戻って、同じ処理を評価結果がしきい値より小さくなるまで繰り返す。
【００６３】
次に、図６に示すフローチャートを参照して、図３のステップＳ１５の相関係数利用の評価関数ｆB を用いた特徴抽出処理について説明する。図６において、評価関数の結果でソートし（ステップＳ８１）、評価結果最大の特徴を取得する（ステップＳ８３）。それから、特徴にフラグを立てる（ステップＳ８５）。そして、この属性対を視覚化属性リストに追加し（ステップＳ８７）、次に評価結果の大きい特徴を取得し（ステップＳ８９）、この評価結果がしきい値より大きいか否かを判定し（ステップＳ９０）、大きい場合には、ステップＳ８５に戻って、同じ処理を評価結果がしきい値より小さくなるまで繰り返す。
【００６４】
次に、図７に示すフローチャートを参照して、図３のステップＳ２３の最適化手法Ｉ（対象属性が１つの場合）について説明する。
【００６５】
図７においては、まず抽出された特徴からカテゴリを最適化する特徴、すなわち最適化処理の対象とする特徴を選択する（ステップＳ１１１）。そして、データをカテゴリ対象属性の値の昇順にソートする（ステップＳ１１３）。カテゴリの最初のデータ番号を変数ｉとし、カテゴリの最後のデータ番号を変数ｊとする（ステップＳ１１５）。
【００６６】
次に、フェーズ１の始まりであり、まず対象となる特徴を持つカテゴリの範囲内で最初のデータのデータ番号をｉC とし、最後のデータ番号をｊC とすると、これらをそれぞれｉ，ｊに代入する（ステップＳ１１７）、次に、変数ＦＭに（ｉ，ｊ）＝（ｉC ，ｊC ）における評価関数の計算結果ｆ（ｉ，ｊ）を代入し、変数ｉM ，ｊM に現在の値（ｉC ，ｊC ）を代入する（ステップＳ１１９）。なお、評価関数は内包データ数、平均、分散等の関数であるが、実際にはカテゴリ範囲が決まれば決定されるので、ここではカテゴリの始点ｉ、終点ｊの関数としている。
【００６７】
次に、カテゴリの始点を現在の内包数より半分だけ小さい点にとる（ステップＳ１２１）。そして、カテゴリの終点をカテゴリ内包データ数が最初と同じになるようにとり、評価関数計算結果ｆ（ｉ，ｊ）を計算する（ステップＳ１２３）。それから、評価関数計算結果ｆ（ｉ，ｊ）をＦＭと比較し（ステップＳ１２５）、ＦＭよりも大きい場合には、ＦＭにこの新しい値を代入し、変数ｉM ，ｊM に現在の値（ｉ，ｊ）を代入する（ステップＳ１２７）。なお、ＦＭよりも小さい場合には、ステップＳ１２７をスキップする。次にカテゴリの始点を１つずらす。すなわち、変数ｉを１だけ大きくする（ステップＳ１２９）。
【００６８】
それから、カテゴリの始点が元のカテゴリ範囲の中間地点までいっているかどうかを判断する（ステップＳ１３１）。中間地点までいっていない場合には、ステップＳ１２３に戻って、同じ処理を繰り返すが、中間地点に達している場合には、フェーズ１の終了であり、フェーズ２に進む。
【００６９】
フェーズ２の始まりであり、カテゴリの始点ｉを評価関数結果が最大だった範囲（ｉM ，ｊM ）の始点ｉM から内包数の半分だけ小さい点にとる（ステップＳ１３３）。それから、カテゴリの終点ｊをｉ M ＋ｊ M −ｉにとり、評価関数ｆ（ｉ，ｊ）を計算する（ステップＳ１３５）。この評価関数ｆ（ｉ，ｊ）の結果がＦＭより大きいか否かをチェックし（ステップＳ１３７）、ＦＭよりも大きい場合には、ＦＭにこの値を代入し、変数ｉM Ｍ，ｊM Ｍに現在のｉ，ｊの値を代入する（ステップＳ１３９）。
【００７０】
次に、カテゴリの始点を１つずらし（ステップＳ１４１）、カテゴリの始点がフェーズ２の最初の地点から元のカテゴリ内包数分の地点まで達しているか否かをチェックし（ステップＳ１４３）、達していれば、フェーズ２の終了であるが、達していない場合には、ステップＳ１３５に戻って、同じ処理を繰り返す。
【００７１】
以上のようにして、（ｉ ＭＭ ，ｊ ＭＭ ）をこの特徴における最適のカテゴリとする（ステップＳ１４５）。そして、すべての特徴について最適カテゴリの計算を行う（ステップＳ１４７）。
【００７２】
上述したように、最適化手法１では、最も評価ポイントの高かったカテゴリに対して、カテゴライズ対象の属性のそのカテゴリの始まりのデータ番号をｉ、終わりをｊとすると、カテゴライズ対象でない属性の評価関数結果が最大となる（ｉ，ｊ）＝（ｉC ，ｊC ）を検出する。それから、ｊ−ｉ＝ｎP を保ったまま、ｉをｉC −ｎP ／２からｉC ＋ｎP ／２までふり、評価値が最大となるポイント（ｉ，ｊ）＝（ｉM ，ｊM ）を見つけ、更にｉ＋ｊ＝ｉM ＋ｊM を保ったまま、ｉM をｉM −ｎP ／２からｉM ＋ｎP ／２までふり、最大ポイントを見つけるものである。
【００７３】
すなわち、カテゴリ区間最適化手法Ｉでは、ｉとｊで張る平面を考えた場合に、評価関数が直線ｊ＝ｉ上の点（ｉ，ｊ）＝（０，ｎA ）上で０となり、ｊ＝ｉ＋ａO （０《ａO 《ｎ）の付近で極値をとるという性質とユーザ指定のカテゴライズ結果の評価点がａO ＝ｎP とした場合の前記直線上の点となることから、これらの点を中心に最適点を探すことにより、データ数に対して１次のオーダで近似的な最適点を求めることができる。
【００７４】
次に、図８に示すフローチャートを参照して、図３のステップＳ２１の最適化手法ＩＩについて説明する。図８では、まず抽出された特徴からカテゴリを最適化する特徴を選択する（ステップＳ１５１）。それから、ユーザが指定したＫ個全てのカテゴリの重心を求める（ステップＳ１５３）。このＫ個の重心に対して階層的クラスタリングをかける（ステップＳ１５５）。結果としてできるΣＫ＝Ｋ（Ｋ＋１）／２個のクラスタ（カテゴリ）に対して評価関数を計算する（ステップＳ１５７）。そして、評価値最大のクラスタによって表現されるカテゴリ範囲（部分空間）ＣM を得る（ステップＳ１５９）。
【００７５】
この得られたカテゴリ範囲ＣM を更にＫ個のクラスタに分解する（ステップＳ１６１）。そして、得られたＫ個のクラスタの重心を用いて再度階層的クラスタリングを行う（ステップＳ１６３）。結果としてできるΣＫ＝Ｋ（Ｋ＋１）／２個のクラスタ（カテゴリ）に対して評価関数を計算する（ステップＳ１６５）。評価値最大のクラスタ（カテゴリ範囲）ＣMMを得る（ステップＳ１６７）。このＣMMを最適のカテゴリ範囲とする（ステップＳ１６９）。
【００７６】
上述したように、最適化手法ＩＩでは、複数の属性を対象としたカテゴライズの結果として生成されたユーザ指定数のクラスタのクラスタ核（重心）を求め、これらのクラスタ核を用いて、階層的クラスタリングを行う。階層的クラスタリングの結果のすべてのクラスタに対して評価関数を計算し、ポイント最大のクラスタＣM を求める。それから、このＣM に対して再度ユーザ指定数のクラスタに分解（階層的クラスタリング）を行い、それぞれのクラスタに対して最大の評価関数結果を有するクラスタＣMMを求めるものである。
【００７７】
すなわち、カテゴリ区間最適化手法ＩＩでは、カテゴライズ対象である複数属性の張る空間を非階層的クラスタリング手法を用いて、互いに包含関係を持つ複数の部分空間に分解することにより、評価関数が高い値を持つ部分空間（カテゴリ範囲）ＣM を推定することができる。更に、その空間を非階層クラスタリングによる重心を用いて、再度階層クラスタリングして評価関数を計算することにより、ＣM の中でも特に評価関数が高い値をもつ部分空間ＣMMを決定することができる。これをこの空間における近似的な最適部分空間と見なすことができる。
【００７８】
図９は、上述した実施形態の適用例を概念的に示した図である。同図では、一例として相撲力士のデータに対して普通に相関係数を計算すると、図９（ａ）に示すように特に属性間に高い相関は見られないが、図９（ｂ）に示すようにデータを「地位」属性でカテゴライズし、それぞれのデータに対して相関係数を計算すると、図９（ｃ）に示すように、地位の高いカテゴリのデータでは身長と体重の間に高い相関関係が検出される。この結果から、身長と体重を座標軸に地位を大きさにとって視覚化装置１９にかけると、大きい図形がほぼ直線上にならび、地位の高い力士の特徴を直観的に把握することができる。
【００７９】
図１０は、評価関数ｆA の作用を概念的に示したものである。同図に示すように、データ全体が平均値ｍA 、標準偏差ＳA で分布しているとし、あるカテゴリに内包されるデータ（以下、部分データと称する）のある属性の値が平均値ｍP 、標準偏差ＳP で分布しているとすると、評価関数はｍA −ｍP が大きく、ＳP が小さいほど高い値を示す。すなわち、部分データの分布が全体から離れていて、かつ狭い部分に集まっている時に高い値を示す。実際には全体の分布が平均値０，分散１の分布に正規化する関数で部分データを変換し、更に内包データ数が少数のときの補正を行っている。
【００８０】
図１１は、カテゴリ対象属性が１つの場合の最適化の作用を概念的に示したものである。第１軸をカテゴリの始点ｉに第２軸を終点ｊに、評価関数を第３軸にとったグラフが本図である。評価関数はＡ，Ｂどちらも、点（ｉ，ｊ）＝（０，ｎA ）でゼロで、直線ｊ＝ｉ上に向ってゆるやかに大きくなり、カテゴリ内包数がゼロに近付くに連れ、不連続に減少し、直線ｊ＝ｉ上では再びゼロになるという特性を持つ。この特性を利用し、この関数が最大値を取るカテゴリ範囲を求めるために、まず直線ｊ＝ｉ−ｉC ＋ｊC 上を走査し（処理フローのフェーズ１）、この直線上で関数が最大値をとる地点（ｉM ，ｊM ）から直線ｊ＝−ｉ＋ｉM ＋ｊM 上を走査して（処理フローのフェーズ２）いる。
【００８１】
図１２は、カテゴリ対象属性が複数の場合の最適化の作用を概念的に示したものである。同図はカテゴリ対象となっている属性の張る多次元空間とデータの存在を示す点を示す概念図となっている。最適化処理の前の特徴抽出の過程で行なわれたクラスタリングの結果、データが図のようにカテゴライズ（クラスタリング）され、また処理対象特徴を持つカテゴリ（この場合クラスタ）が、“元のカテゴリ”として示されている部分とする。本処理ではこれらクラスタを用いて階層的クラスタリングを行ない、それぞれの新しいクラスタに対し、評価関数を計算する。この結果、最大の評価関数結果を持つものが、クラスタＣM （２つクラスタを１つにしたもの）とすると、こクラスタＣM に含まれる全てのデータに対し、再度多次元クラスタリング（非階層クラスタリング手法）を行なう。さらにこの結果として生成されたクラスタに対し、２回目の階層的階層クラスタリングを適用して、結果のクラスタそれぞれに対して再度評価関数を計算する。そしてここで評価関数結果が最大となったクラスタを結果のカテゴリとする。
【００８２】
【発明の効果】
以上説明したように、本発明によれば、プログラミング等の複雑な手続きなしに、簡単なグラフィカルインタフェースで統計手法等の数量的結果から自動的に特徴を抽出し、その度合を判断して自動視覚化を支援することができる。また、例えばビジュアルマイニング支援のための自動視覚化において大きさ、形、色、座標軸等の視覚化属性にマッピングする属性を決定するために、部分的な特徴を利用することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わるカテゴライズ利用特徴抽出方法を実施するカテゴライズ利用特徴抽出装置の構成を示すブロック図である。
【図２】図１に示したユーザインタフェース機能部によるＧＵＩの一例を示す図である。
【図３】図１に示した実施形態の全体の処理を示すフローチャートである。
【図４】図３のステップＳ１１のカテゴライズ処理を示すフローチャートである。
【図５】図３のステップＳ１３の基礎統計利用の評価関数ｆA を用いた特徴抽出処理を示すフローチャートである。
【図６】図３のステップＳ１５の相関係数利用の評価関数ｆB を用いた特徴抽出処理を示すフローチャートである。
【図７】図３のステップＳ２３の最適化手法Ｉを示すフローチャートである。
【図８】図３のステップＳ２１の最適化手法ＩＩを示すフローチャートである。
【図９】図１の実施形態の適用例を概念的に示した図である。
【図１０】評価関数ｆA の作用を概念的に示した図である。
【図１１】カテゴリ対象属性が１つの場合の最適化作用を概念的に示した図である。
【図１２】カテゴリ対象属性が複数の場合の最適化の作用を概念的に示した図である。
【符号の説明】
１ 外部入力装置
３ ユーザインタフェース機能部
５ カテゴライズ機能部
１１ 数値演算機能部
１３ 評価関数計算機能部
１５ 属性抽出機能部
１７ 視覚化定義
１９ 視覚化装置
２１ 区間自動決定機能部
【発明の属する技術分野】
本発明は、ユーザの分析の目的属性の指定に応じてデータをカテゴライズし、各カテゴリのデータが基礎統計量や相関係数等の特徴量に関して全体と異なる傾向を示すことを検出し、部分データの示す特徴として抽出するカテゴライズ利用特徴抽出方法および装置とカテゴライズ利用特徴抽出プログラムを記録した記録媒体に関し、更に詳しくは、データベースまたはファイルに蓄積された情報を、視覚化定義を自動生成することにより自動視覚化を実現するような場合に、ユーザが興味対象の属性に関する指定を行った時にその属性に対して何らかの特性を持つ属性群を自動抽出することにより視覚化対象とすべき属性を自動選択し、視覚化定義を自動生成する場合に利用して有効なカテゴライズ利用特徴抽出方法および装置とカテゴライズ利用特徴抽出プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、自動的に抽出できる特徴はデータ全体に対して高い相関係数を有する等のように全体に現れるもののみであり、部分的に現れる特徴を自動的に抽出して視覚化するものはない。
【０００３】
【発明が解決しようとする課題】
上述したように、従来の自動視覚化のための特徴抽出方法では、データ全体に現れる特徴を抽出することはできるが、部分的に現れる特徴、例えば地位の高い力士にのみ当てはまるような特徴を抽出することができないという問題がある。
本発明は、上記に鑑みてなされたもので、その目的とするところは、ユーザの分析の目的属性の指定に応じてデータをカテゴライズし、各カテゴリのデータが示す全体と異なる特徴を抽出するカテゴライズ利用特徴抽出装置を提供することにある。
【００１７】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の本発明は、複数の属性を有するデータに対してユーザが指定した属性および方法によってデータを「値による等分割」「数による等分割」「多次元メッシュ」または「多次元クラスタリング」を含む手法を用いて、複数のデータ群であるカテゴリに分割するカテゴライズを行うカテゴライズ機能部と、前記カテゴライズの結果のそれぞれのカテゴリに対してカテゴライズに利用された属性であるカテゴリ対象属性以外の任意の属性の値の分布がデータ全体の分布と比較して乖離している度合を部分データの平均値と全体の平均値との差分から部分データの正規化された値を求める手順と、この部分データの正規化された値と該部分データのばらつきとを比較し、当該ばらつきが有意性を評価する手順と、部分データの数が少数であるときの統計的補正を行う手順を含み、他の部分データまたは他の属性と相対的に比較可能な数値を算出する評価関数
【数３】
ｆA （ｎP ，ｍP ，ｓP ，ｍA ）
＝｛１−１／（ｎP ）1/2 ｝（ｍP −ｍA ）／ｓP
(但し、ｎ P は部分データの数、ｍ P は部分データの平均値、ｍ A は全体の平均値、ｓP は部分データの標準偏差)
によって判定する評価関数計算機能部と、乖離の度合が顕著である属性と対応するカテゴリをそのデータの部分的な特徴として抽出する属性抽出機能部とを有することを要旨とする。
【００１８】
請求項１記載の本発明にあっては、複数の属性を有するデータに対し、ユーザ指定の属性および方法によってデータを複数のデータ群であるカテゴリに分割するカテゴライズを行い、カテゴライズの結果のそれぞれのカテゴリに対してカテゴライズに利用された属性であるカテゴリ対象属性以外の属性における特徴を検出する。つまり、分割生成されたカテゴリにおいてカテゴリ対象属性以外の任意の属性の値の分布がデータ全体の分布と比較して、乖離している度合を評価関数によって判定し、乖離の度合が顕著である属性と対応するカテゴリをそのデータの部分的な特徴として抽出するため、該部分的な特徴を利用して、例えばビジュアルマイニング支援のための自動視覚化において大きさ、形、色、座標軸等の視覚化属性にマッピングする属性を決定することができる。
【００２０】
請求項２記載の本発明は、複数の属性を有するデータに対し、ユーザが指定した属性および方法によってデータを「値による等分割」「数による等分割」「多次元メッシュ」または「多次元クラスタリング」を含む手法を用いて、複数のデータ群であるカテゴリに分割するカテゴライズを行うカテゴライズ機能部と、前記カテゴライズの結果のそれぞれのカテゴリに対してカテゴライズに利用された属性であるカテゴリ対象属性を除いた任意の２つの属性の相関係数の全体の相関係数との乖離の度合を部分データ自身の相関係数の大きさと全体データの相関係数の大きさとの乖離をこれらの差分により求める手順と、この差分と部分データ自身の相関係数の大きさとの積を求め、該差分と部分データ自身の相関係数の大きさの影響を求める手順と、部分データの数が少数であるときの統計的補正を行う手順とを有して、他属性と比較可能な数値を算出する評価関数
【数４】
ｆB （ｒA ，ｒP ，ｎP ，）
＝｛１−１／（ｎP ）1/2 ｝ｒP （ｒP −ｒA ）
（但し、ｎ P は部分データの数、ｒ A は全体の相関係数、ｒ P は部分データの相関係数）
によって判定する評価関数計算機能部と、乖離の度合が顕著である属性対と対応するカテゴリをそのデータの部分的な特徴として抽出する属性抽出機能部とを有することを要旨とする。
【００２１】
請求項２記載の本発明にあっては、分割生成されたカテゴリに対して、カテゴリ対象属性を除いた任意の２つの属性の相関係数の全体の相関係数との乖離の度合を評価関数によって判定し、乖離の度合が顕著である属性対と対応するカテゴリをそのデータの部分的な特徴として抽出するため、該部分的な特徴を利用して、例えばビジュアルマイニング支援のための自動視覚化において大きさ、形、色、座標軸等の視覚化属性にマッピングする属性を決定することができる。
【００２３】
また、請求項３記載の本発明は、前記抽出された特徴および前記評価関数の結果を用いて、特に顕著な特徴を出力する出力手段を有することを要旨とする。
【００２４】
請求項３記載の本発明にあっては、抽出された特徴および評価関数の結果を用いて、特に顕著な特徴を出力する。
【００２５】
請求項４記載の本発明は、前記カテゴリ対象属性が単一である場合、前記特徴が最も顕著に現れるようなカテゴリの範囲であるカテゴリ区間を前記評価関数により求めるカテゴリ区間最適化手段を有することを要旨とする。
【００２６】
請求項４記載の本発明にあっては、カテゴリ対象属性が単一である場合、特徴が最も顕著に現れるようなカテゴリの範囲であるカテゴリ区間を評価関数により求める。
【００２７】
請求項５記載の本発明は、前記カテゴリ対象属性が複数である場合、前記特徴が最も顕著に現れるようなカテゴリの範囲であるカテゴリ区間を前記評価関数により求めるカテゴリ区間最適化手段を有することを要旨とする。
【００２８】
請求項５記載の本発明にあっては、カテゴリ対象属性が複数である場合、特徴が最も顕著に現れるようなカテゴリの範囲であるカテゴリ区間を評価関数により求める。
【００２９】
請求項６記載の本発明は、前記カテゴリ手段および特徴抽出についてプログラミングすることなく、マウスを含む簡易なツールを用いて条件を入力できるグラフィカルユーザインタフェース（ＧＵＩ）画面を表示する表示手段を有することを要旨とする。
【００３０】
請求項６記載の本発明にあっては、カテゴリ処理および特徴抽出についてプログラミングすることなく、マウスを含む簡易なツールを用いて条件を入力できるグラフィカルユーザインタフェース（ＧＵＩ）画面を表示する。
【００４４】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について説明する。図１は、本発明の一実施形態に係わるカテゴライズ利用特徴抽出方法を実施するカテゴライズ利用特徴抽出装置の構成を示すブロック図である。同図に示すカテゴライズ利用特徴抽出装置は、例えばマウスやキーボード等からなる外部入力装置１からの入力をユーザインタフェース機能部３で受け取り、これに従って入力データ７および入力スキーマ９等の入力ファイルを読み込み、カテゴライズ機能部５を起動する。カテゴライズ機能部５は、数値演算機能部１１と連携を取りつつ、データのカテゴライズを行う。このカテゴライズの結果を受けて、評価関数計算機能部１３が起動され、評価関数計算機能部１３は、適宜数値演算機能部１１を呼び出しながら、評価結果のリストを作成する。なお、数値演算機能部１１は、平均、分散、相関関数、多次元クラスタリング、動的メッシュ、因子分析などの演算を行う部分である。
【００４５】
次に、評価関数計算機能部１３からの評価結果リストを用いて、属性抽出機能部１５が起動され、視覚化属性リストを作成する。この視覚化属性リストを基に生成された視覚化定義１７を視覚化装置１９に入力することにより自動視覚化が行われる。更に、ユーザによって区間最適化が指定されている場合は、区間自動決定機能部２１が呼び出される。この区間自動決定機能部２１も適宜数値演算機能部１１を使用して区間最適化処理を行う。
【００４６】
図２は、図１に示したユーザインタフェース機能部３によるＧＵＩの一例を示す図である。同図に示すように、ユーザは、カテゴライズ手法としてカテゴリ内包数指定またはカテゴリ数指定を選択する。但し、カテゴリ内包数指定手法は、カテゴリ対象属性が１つの場合、またはカテゴリ対象が複数で評価式が入力されている場合のみ有効である。選択した手法について、内包数またはカテゴリ数をカウンタウィンドウから指定する。また、分析対象データの属性リストからカテゴライズの対象の属性を指定する。指定されなかった場合は、カテゴリ属性不定の場合のカテゴリ手法が起動される。
【００４７】
複数の属性を指定した場合は、複数の属性の場合のカテゴリ手法が起動されるが、評価式が入力される場合は、この評価式を属性群に適用した結果を用いて、単一属性の場合のカテゴリ手法が起動される。特徴抽出手法として、基礎統計量利用手法（式（１）を使用する抽出方式）かまたは相関係数利用手法（式（２）を使用する抽出方式）のどちらか、または両方をチェックボックスにより指定できる。また、詳細設定画面からシステムが利用できる分割手法が指定できる。また、視覚化時にカテゴリ対象属性の主成分を利用したい場合は、詳細設定画面で「主成分計算実行」をチェックする。カテゴリ範囲の最適化を行いたい場合も、同様に「カテゴリ範囲の最適化」をチェックする。
【００４８】
次に、図３に示すフローチャートを参照して、図１に示した実施形態の全体の処理について説明する。
【００４９】
図３においては、ユーザの指定に従ってカテゴライズ処理が起動される（ステップＳ１１）。このカテゴライズ処理の結果に対して、基礎統計利用の次式（１）に示す評価関数ｆA を用いた特徴抽出（ステップＳ１３）、または相関係数利用の次式（２）に示す評価関数ｆB を用いた特徴抽出（ステップＳ１５）、または両方を用いた特徴抽出（ステップＳ１３，１５）を行う。
【００５０】
基礎統計利用の評価関数ｆA は、次式の通りである。
【００５１】
【数１９】
ｆA （ｎP ，ｍP ，ｓP ，ｍA ）
＝｛１−１／（ｎP ）1/2 ｝（ｍP −ｍA ）／ｓP ・・・（１）
ここで、ｎ P は部分データの数、ｍ P は部分データの平均値、ｍ A は全体の平均値、ｓ P は部分データの標準偏差である。
【００５２】
また、相関係数利用の評価関数ｆB は、次式の通りである。
【００５３】
【数２０】
【００５４】
次に、カテゴリ範囲の最適化が指定されているか否かを判断し（ステップＳ１７）、指定されている場合には、カテゴリ最適化処理を行うべく、カテゴリ対象属性数が単数かまたは複数かをチェックする（ステップＳ１９）。単数の場合には、後述する図７に示す最適化手法Ｉを実行し（ステップＳ２３）、複数の場合には、後述する図８に示す最適化手法ＩＩを実行する（ステップＳ２１）。
【００５５】
上述したように、本実施形態では、ユーザに条件を指定させ、このユーザが指定した条件に従ってカテゴライズし、このカテゴライズされたデータおよびデータ全体から平均、分散、相関係数を計算し、この計算結果を用いて、あるカテゴリに属するデータのある属性値の分布が全体に比べてどの程度偏っているかを判定するために評価関数ｆA を計算し、またあるカテゴリに属するある属性対の間の相関がデータ全体に比べてどの程度高いかを判定するために評価関数ｆ B を計算し、この計算結果を用いて、最も特徴的ないくつかの属性を抽出し、視覚化属性候補として提示している。
【００５６】
すなわち、本実施形態では、全データがユーザの指定によりカテゴライズされた各カテゴリにおいて、データ全体が規格化されるように変換した場合に、あるカテゴリ内のデータ分布が全体の分布からどれくらい離れているかを評価し、更に内包データ数が少数の場合の補正を行った評価関数ｆA を計算するとともに、また相関係数では、カテゴリ内データの相関係数自身の値が大きく、かつ全データの相関係数の差の絶対値が大きな値を有し、更に内包データ数が少数の場合の補正を行った評価関数ｆB を計算することにより、カテゴライズ対象とならなかったすべての属性についてその値域とデータ数に関わらず比較し、特徴的な属性を抽出している。
【００５７】
次に、図４に示すフローチャートを参照して、図３のステップＳ１１のカテゴライズ処理について説明する。
【００５８】
図４においては、まずユーザのＧＵＩからの指定に従って適当なカテゴライズ手法が選択される（ステップＳ３１）。このカテゴライズ手法には内包数による分割、値による等分割、数による等分割、多次元動的メッシュ、多次元クラスタリングなどがある。内包数による分割の場合には、内包数が指定され、内包数による分割によりカテゴライズが行われる（ステップＳ３３）。
【００５９】
また、その他の場合には、分割数が指定され、カテゴリ属性数が１個であるかまたは複数であるかまたは不定であるかが判断される（ステップＳ３５）。１個の場合には、値による等分割（ステップＳ４１）または数による等分割（ステップＳ４３）によりカテゴライズが行われる。カテゴリ属性数が複数の場合には、評価式があるか否かがチェックされ（ステップＳ３７）、評価式がある場合には、評価式の計算を行い（ステップＳ３９）、この計算結果に基づいて値による等分割（ステップＳ４１）または数による等分割（ステップＳ４３）によりカテゴライズが行われる。
【００６０】
更に、カテゴリ属性数が不定である場合には、主成分計算が指定されているか否かをチェックし（ステップＳ４６）、主成分計算が指定されている場合には、主成分計算を行い、多次元動的メッシュ（ステップＳ５５）または多次元クラスタリング（ステップＳ５７）によりカテゴライズが行われる。
【００６１】
また、ステップＳ３５の判定において、カテゴリ属性数が不定である場合には、因子分析を用いて、属性のグルーピングを行う（ステップＳ４９）。それから、主成分計算が指定されているか否かをチェックし（ステップＳ５１）、指定されている場合には、第１因子負荷量の計算を行い（ステップＳ５３）、それぞれの因子に関連の高い属性群を用いて、多次元動的メッシュ（ステップＳ５５）または多次元クラスタリング（ステップＳ５７）によりカテゴライズを行う。
【００６２】
次に、図５に示すフローチャートを参照して、図３のステップＳ１３の基礎統計利用の評価関数ｆA を用いた特徴抽出処理について説明する。図５において、評価関数の結果でソートし（ステップＳ６１）、評価結果最大の特徴を取得する（ステップＳ６３）。それから、特徴にフラグを立て（ステップＳ６５）、同じカテゴリ内で次に大きい特徴を取得し（ステップＳ６７）、特徴にフラグを立てる（ステップＳ６９）。そして、この属性対を視覚化属性リストに追加し（ステップＳ７１）、次に評価結果の大きい特徴を取得し（ステップＳ７３）、この評価結果がしきい値より大きいか否かを判定し（ステップＳ７５）、大きい場合には、ステップＳ６５に戻って、同じ処理を評価結果がしきい値より小さくなるまで繰り返す。
【００６３】
次に、図６に示すフローチャートを参照して、図３のステップＳ１５の相関係数利用の評価関数ｆB を用いた特徴抽出処理について説明する。図６において、評価関数の結果でソートし（ステップＳ８１）、評価結果最大の特徴を取得する（ステップＳ８３）。それから、特徴にフラグを立てる（ステップＳ８５）。そして、この属性対を視覚化属性リストに追加し（ステップＳ８７）、次に評価結果の大きい特徴を取得し（ステップＳ８９）、この評価結果がしきい値より大きいか否かを判定し（ステップＳ９０）、大きい場合には、ステップＳ８５に戻って、同じ処理を評価結果がしきい値より小さくなるまで繰り返す。
【００６４】
次に、図７に示すフローチャートを参照して、図３のステップＳ２３の最適化手法Ｉ（対象属性が１つの場合）について説明する。
【００６５】
図７においては、まず抽出された特徴からカテゴリを最適化する特徴、すなわち最適化処理の対象とする特徴を選択する（ステップＳ１１１）。そして、データをカテゴリ対象属性の値の昇順にソートする（ステップＳ１１３）。カテゴリの最初のデータ番号を変数ｉとし、カテゴリの最後のデータ番号を変数ｊとする（ステップＳ１１５）。
【００６６】
次に、フェーズ１の始まりであり、まず対象となる特徴を持つカテゴリの範囲内で最初のデータのデータ番号をｉC とし、最後のデータ番号をｊC とすると、これらをそれぞれｉ，ｊに代入する（ステップＳ１１７）、次に、変数ＦＭに（ｉ，ｊ）＝（ｉC ，ｊC ）における評価関数の計算結果ｆ（ｉ，ｊ）を代入し、変数ｉM ，ｊM に現在の値（ｉC ，ｊC ）を代入する（ステップＳ１１９）。なお、評価関数は内包データ数、平均、分散等の関数であるが、実際にはカテゴリ範囲が決まれば決定されるので、ここではカテゴリの始点ｉ、終点ｊの関数としている。
【００６７】
次に、カテゴリの始点を現在の内包数より半分だけ小さい点にとる（ステップＳ１２１）。そして、カテゴリの終点をカテゴリ内包データ数が最初と同じになるようにとり、評価関数計算結果ｆ（ｉ，ｊ）を計算する（ステップＳ１２３）。それから、評価関数計算結果ｆ（ｉ，ｊ）をＦＭと比較し（ステップＳ１２５）、ＦＭよりも大きい場合には、ＦＭにこの新しい値を代入し、変数ｉM ，ｊM に現在の値（ｉ，ｊ）を代入する（ステップＳ１２７）。なお、ＦＭよりも小さい場合には、ステップＳ１２７をスキップする。次にカテゴリの始点を１つずらす。すなわち、変数ｉを１だけ大きくする（ステップＳ１２９）。
【００６８】
それから、カテゴリの始点が元のカテゴリ範囲の中間地点までいっているかどうかを判断する（ステップＳ１３１）。中間地点までいっていない場合には、ステップＳ１２３に戻って、同じ処理を繰り返すが、中間地点に達している場合には、フェーズ１の終了であり、フェーズ２に進む。
【００６９】
フェーズ２の始まりであり、カテゴリの始点ｉを評価関数結果が最大だった範囲（ｉM ，ｊM ）の始点ｉM から内包数の半分だけ小さい点にとる（ステップＳ１３３）。それから、カテゴリの終点ｊをｉ M ＋ｊ M −ｉにとり、評価関数ｆ（ｉ，ｊ）を計算する（ステップＳ１３５）。この評価関数ｆ（ｉ，ｊ）の結果がＦＭより大きいか否かをチェックし（ステップＳ１３７）、ＦＭよりも大きい場合には、ＦＭにこの値を代入し、変数ｉM Ｍ，ｊM Ｍに現在のｉ，ｊの値を代入する（ステップＳ１３９）。
【００７０】
次に、カテゴリの始点を１つずらし（ステップＳ１４１）、カテゴリの始点がフェーズ２の最初の地点から元のカテゴリ内包数分の地点まで達しているか否かをチェックし（ステップＳ１４３）、達していれば、フェーズ２の終了であるが、達していない場合には、ステップＳ１３５に戻って、同じ処理を繰り返す。
【００７１】
以上のようにして、（ｉ ＭＭ ，ｊ ＭＭ ）をこの特徴における最適のカテゴリとする（ステップＳ１４５）。そして、すべての特徴について最適カテゴリの計算を行う（ステップＳ１４７）。
【００７２】
上述したように、最適化手法１では、最も評価ポイントの高かったカテゴリに対して、カテゴライズ対象の属性のそのカテゴリの始まりのデータ番号をｉ、終わりをｊとすると、カテゴライズ対象でない属性の評価関数結果が最大となる（ｉ，ｊ）＝（ｉC ，ｊC ）を検出する。それから、ｊ−ｉ＝ｎP を保ったまま、ｉをｉC −ｎP ／２からｉC ＋ｎP ／２までふり、評価値が最大となるポイント（ｉ，ｊ）＝（ｉM ，ｊM ）を見つけ、更にｉ＋ｊ＝ｉM ＋ｊM を保ったまま、ｉM をｉM −ｎP ／２からｉM ＋ｎP ／２までふり、最大ポイントを見つけるものである。
【００７３】
すなわち、カテゴリ区間最適化手法Ｉでは、ｉとｊで張る平面を考えた場合に、評価関数が直線ｊ＝ｉ上の点（ｉ，ｊ）＝（０，ｎA ）上で０となり、ｊ＝ｉ＋ａO （０《ａO 《ｎ）の付近で極値をとるという性質とユーザ指定のカテゴライズ結果の評価点がａO ＝ｎP とした場合の前記直線上の点となることから、これらの点を中心に最適点を探すことにより、データ数に対して１次のオーダで近似的な最適点を求めることができる。
【００７４】
次に、図８に示すフローチャートを参照して、図３のステップＳ２１の最適化手法ＩＩについて説明する。図８では、まず抽出された特徴からカテゴリを最適化する特徴を選択する（ステップＳ１５１）。それから、ユーザが指定したＫ個全てのカテゴリの重心を求める（ステップＳ１５３）。このＫ個の重心に対して階層的クラスタリングをかける（ステップＳ１５５）。結果としてできるΣＫ＝Ｋ（Ｋ＋１）／２個のクラスタ（カテゴリ）に対して評価関数を計算する（ステップＳ１５７）。そして、評価値最大のクラスタによって表現されるカテゴリ範囲（部分空間）ＣM を得る（ステップＳ１５９）。
【００７５】
この得られたカテゴリ範囲ＣM を更にＫ個のクラスタに分解する（ステップＳ１６１）。そして、得られたＫ個のクラスタの重心を用いて再度階層的クラスタリングを行う（ステップＳ１６３）。結果としてできるΣＫ＝Ｋ（Ｋ＋１）／２個のクラスタ（カテゴリ）に対して評価関数を計算する（ステップＳ１６５）。評価値最大のクラスタ（カテゴリ範囲）ＣMMを得る（ステップＳ１６７）。このＣMMを最適のカテゴリ範囲とする（ステップＳ１６９）。
【００７６】
上述したように、最適化手法ＩＩでは、複数の属性を対象としたカテゴライズの結果として生成されたユーザ指定数のクラスタのクラスタ核（重心）を求め、これらのクラスタ核を用いて、階層的クラスタリングを行う。階層的クラスタリングの結果のすべてのクラスタに対して評価関数を計算し、ポイント最大のクラスタＣM を求める。それから、このＣM に対して再度ユーザ指定数のクラスタに分解（階層的クラスタリング）を行い、それぞれのクラスタに対して最大の評価関数結果を有するクラスタＣMMを求めるものである。
【００７７】
すなわち、カテゴリ区間最適化手法ＩＩでは、カテゴライズ対象である複数属性の張る空間を非階層的クラスタリング手法を用いて、互いに包含関係を持つ複数の部分空間に分解することにより、評価関数が高い値を持つ部分空間（カテゴリ範囲）ＣM を推定することができる。更に、その空間を非階層クラスタリングによる重心を用いて、再度階層クラスタリングして評価関数を計算することにより、ＣM の中でも特に評価関数が高い値をもつ部分空間ＣMMを決定することができる。これをこの空間における近似的な最適部分空間と見なすことができる。
【００７８】
図９は、上述した実施形態の適用例を概念的に示した図である。同図では、一例として相撲力士のデータに対して普通に相関係数を計算すると、図９（ａ）に示すように特に属性間に高い相関は見られないが、図９（ｂ）に示すようにデータを「地位」属性でカテゴライズし、それぞれのデータに対して相関係数を計算すると、図９（ｃ）に示すように、地位の高いカテゴリのデータでは身長と体重の間に高い相関関係が検出される。この結果から、身長と体重を座標軸に地位を大きさにとって視覚化装置１９にかけると、大きい図形がほぼ直線上にならび、地位の高い力士の特徴を直観的に把握することができる。
【００７９】
図１０は、評価関数ｆA の作用を概念的に示したものである。同図に示すように、データ全体が平均値ｍA 、標準偏差ＳA で分布しているとし、あるカテゴリに内包されるデータ（以下、部分データと称する）のある属性の値が平均値ｍP 、標準偏差ＳP で分布しているとすると、評価関数はｍA −ｍP が大きく、ＳP が小さいほど高い値を示す。すなわち、部分データの分布が全体から離れていて、かつ狭い部分に集まっている時に高い値を示す。実際には全体の分布が平均値０，分散１の分布に正規化する関数で部分データを変換し、更に内包データ数が少数のときの補正を行っている。
【００８０】
図１１は、カテゴリ対象属性が１つの場合の最適化の作用を概念的に示したものである。第１軸をカテゴリの始点ｉに第２軸を終点ｊに、評価関数を第３軸にとったグラフが本図である。評価関数はＡ，Ｂどちらも、点（ｉ，ｊ）＝（０，ｎA ）でゼロで、直線ｊ＝ｉ上に向ってゆるやかに大きくなり、カテゴリ内包数がゼロに近付くに連れ、不連続に減少し、直線ｊ＝ｉ上では再びゼロになるという特性を持つ。この特性を利用し、この関数が最大値を取るカテゴリ範囲を求めるために、まず直線ｊ＝ｉ−ｉC ＋ｊC 上を走査し（処理フローのフェーズ１）、この直線上で関数が最大値をとる地点（ｉM ，ｊM ）から直線ｊ＝−ｉ＋ｉM ＋ｊM 上を走査して（処理フローのフェーズ２）いる。
【００８１】
図１２は、カテゴリ対象属性が複数の場合の最適化の作用を概念的に示したものである。同図はカテゴリ対象となっている属性の張る多次元空間とデータの存在を示す点を示す概念図となっている。最適化処理の前の特徴抽出の過程で行なわれたクラスタリングの結果、データが図のようにカテゴライズ（クラスタリング）され、また処理対象特徴を持つカテゴリ（この場合クラスタ）が、“元のカテゴリ”として示されている部分とする。本処理ではこれらクラスタを用いて階層的クラスタリングを行ない、それぞれの新しいクラスタに対し、評価関数を計算する。この結果、最大の評価関数結果を持つものが、クラスタＣM （２つクラスタを１つにしたもの）とすると、こクラスタＣM に含まれる全てのデータに対し、再度多次元クラスタリング（非階層クラスタリング手法）を行なう。さらにこの結果として生成されたクラスタに対し、２回目の階層的階層クラスタリングを適用して、結果のクラスタそれぞれに対して再度評価関数を計算する。そしてここで評価関数結果が最大となったクラスタを結果のカテゴリとする。
【００８２】
【発明の効果】
以上説明したように、本発明によれば、プログラミング等の複雑な手続きなしに、簡単なグラフィカルインタフェースで統計手法等の数量的結果から自動的に特徴を抽出し、その度合を判断して自動視覚化を支援することができる。また、例えばビジュアルマイニング支援のための自動視覚化において大きさ、形、色、座標軸等の視覚化属性にマッピングする属性を決定するために、部分的な特徴を利用することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わるカテゴライズ利用特徴抽出方法を実施するカテゴライズ利用特徴抽出装置の構成を示すブロック図である。
【図２】図１に示したユーザインタフェース機能部によるＧＵＩの一例を示す図である。
【図３】図１に示した実施形態の全体の処理を示すフローチャートである。
【図４】図３のステップＳ１１のカテゴライズ処理を示すフローチャートである。
【図５】図３のステップＳ１３の基礎統計利用の評価関数ｆA を用いた特徴抽出処理を示すフローチャートである。
【図６】図３のステップＳ１５の相関係数利用の評価関数ｆB を用いた特徴抽出処理を示すフローチャートである。
【図７】図３のステップＳ２３の最適化手法Ｉを示すフローチャートである。
【図８】図３のステップＳ２１の最適化手法ＩＩを示すフローチャートである。
【図９】図１の実施形態の適用例を概念的に示した図である。
【図１０】評価関数ｆA の作用を概念的に示した図である。
【図１１】カテゴリ対象属性が１つの場合の最適化作用を概念的に示した図である。
【図１２】カテゴリ対象属性が複数の場合の最適化の作用を概念的に示した図である。
【符号の説明】
１ 外部入力装置
３ ユーザインタフェース機能部
５ カテゴライズ機能部
１１ 数値演算機能部
１３ 評価関数計算機能部
１５ 属性抽出機能部
１７ 視覚化定義
１９ 視覚化装置
２１ 区間自動決定機能部
Claims (6)
- 複数の属性を有するデータに対してユーザが指定した属性および方法によってデータを「値による等分割」「数による等分割」「多次元メッシュ」または「多次元クラスタリング」を含む手法を用いて、複数のデータ群であるカテゴリに分割するカテゴライズを行うカテゴライズ機能部と、
前記カテゴライズの結果のそれぞれのカテゴリに対してカテゴライズに利用された属性であるカテゴリ対象属性以外の任意の属性の値の分布がデータ全体の分布と比較して乖離している度合を部分データの平均値と全体の平均値との差分から部分データの正規化された値を求める手順と、この部分データの正規化された値と該部分データのばらつきとを比較し、当該ばらつきが有意性を評価する手順と、部分データの数が少数であるときの統計的補正を行う手順を含み、他の部分データまたは他の属性と相対的に比較可能な数値を算出する評価関数
によって判定する評価関数計算機能部と、
乖離の度合が顕著である属性と対応するカテゴリをそのデータの部分的な特徴として抽出する属性抽出機能部と
を有することを特徴とするカテゴライズ利用特徴抽出装置。 - 複数の属性を有するデータに対し、ユーザが指定した属性および方法によってデータを「値による等分割」「数による等分割」「多次元メッシュ」または「多次元クラスタリング」を含む手法を用いて、複数のデータ群であるカテゴリに分割するカテゴライズを行うカテゴライズ機能部と、
前記カテゴライズの結果のそれぞれのカテゴリに対してカテゴライズに利用された属性であるカテゴリ対象属性を除いた任意の２つの属性の相関係数の全体の相関係数との乖離の度合を部分データ自身の相関係数の大きさと全体データの相関係数の大きさとの乖離をこれらの差分により求める手順と、この差分と部分データ自身の相関係数の大きさとの積を求め、該差分と部分データ自身の相関係数の大きさの影響を求める手順と、部分データの数が少数であるときの統計的補正を行う手順とを有して、他属性と比較可能な数値を算出する評価関数
によって判定する評価関数計算機能部と、
乖離の度合が顕著である属性対と対応するカテゴリをそのデータの部分的な特徴として抽出する属性抽出機能部と
を有することを特徴とするカテゴライズ利用特徴抽出装置。 - 前記抽出された特徴および前記評価関数の結果を用いて、特に顕著な特徴を出力する出力手段を有することを特徴とする請求項１または２記載のカテゴライズ利用特徴抽出装置。
- 前記カテゴリ対象属性が単一である場合、前記特徴が最も顕著に現れるようなカテゴリの範囲であるカテゴリ区間を前記評価関数により求めるカテゴリ区間最適化手段を有することを特徴とする請求項１または２記載のカテゴライズ利用特徴抽出装置。
- 前記カテゴリ対象属性が複数である場合、前記特徴が最も顕著に現れるようなカテゴリの範囲であるカテゴリ区間を前記評価関数により求めるカテゴリ区間最適化手段を有することを特徴とする請求項１または２記載のカテゴライズ利用特徴抽出装置。
- 前記カテゴリ手段および特徴抽出についてプログラミングすることなく、マウスを含む簡易なツールを用いて条件を入力できるグラフィカルユーザインタフェース（ＧＵＩ）画面を表示する表示手段を有することを特徴とする請求１乃至３項記載のカテゴライズ利用特徴抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27107298A JP3708724B2 (ja) | 1998-09-25 | 1998-09-25 | カテゴライズ利用特徴抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27107298A JP3708724B2 (ja) | 1998-09-25 | 1998-09-25 | カテゴライズ利用特徴抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000099746A JP2000099746A (ja) | 2000-04-07 |
| JP3708724B2 true JP3708724B2 (ja) | 2005-10-19 |
Family
ID=17495003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27107298A Expired - Lifetime JP3708724B2 (ja) | 1998-09-25 | 1998-09-25 | カテゴライズ利用特徴抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3708724B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210154418A (ko) * | 2020-06-12 | 2021-12-21 | 윤정호 | 오프라인 모임 운영방법 및 시스템 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10196498T1 (de) * | 2000-08-09 | 2003-07-31 | Hideo Fujita | Informationsverarbeitungsverfahren, zugehöriges Zubehörsystem, und Werkzeuge zum Einsatz bei diesem |
| WO2004072866A1 (ja) | 2003-02-14 | 2004-08-26 | Fujitsu Limited | データ解析装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0877010A (ja) * | 1994-09-07 | 1996-03-22 | Hitachi Ltd | データ分析方法および装置 |
| JP4155363B2 (ja) * | 1997-06-19 | 2008-09-24 | 富士通株式会社 | データ表示装置、データ表示方法、およびデータ表示用プログラムを記録した記録媒体 |
-
1998
- 1998-09-25 JP JP27107298A patent/JP3708724B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210154418A (ko) * | 2020-06-12 | 2021-12-21 | 윤정호 | 오프라인 모임 운영방법 및 시스템 |
| KR102500620B1 (ko) | 2020-06-12 | 2023-02-15 | 윤정호 | 오프라인 모임 운영방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000099746A (ja) | 2000-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11720598B2 (en) | Data analysis engine | |
| US7707533B2 (en) | Data-mining-based knowledge extraction and visualization of analog/mixed-signal/custom digital circuit design flow | |
| JP4429236B2 (ja) | 分類ルール作成支援方法 | |
| JPWO2009072466A1 (ja) | 画像分類装置および画像分類プログラム | |
| CN109815042B (zh) | 异常因素的定位方法、装置、服务器和存储介质 | |
| CN113961187B (zh) | Rpa组件智能推荐方法及系统 | |
| CN108596789B (zh) | 一种菜品标准化的方法 | |
| CN111126865B (zh) | 一种基于科技大数据的技术成熟度判断方法和系统 | |
| JP3708724B2 (ja) | カテゴライズ利用特徴抽出装置 | |
| Nocaj et al. | Adaptive disentanglement based on local clustering in small-world network visualization | |
| JP4407272B2 (ja) | 文書分類方法、文書分類装置及び文書分類プログラム | |
| JP2020135053A (ja) | データ分析装置及びデータ分析方法 | |
| JP5045240B2 (ja) | データ分割プログラム、該プログラムを記録した記録媒体、データ分割装置、およびデータ分割方法 | |
| CN108197183B (zh) | 一种基于安卓应用的控件布局推荐方法及其系统 | |
| CN115906213A (zh) | 一种可视化兵棋评估统计模型的编辑方法及系统 | |
| CN111104781A (zh) | 图表处理方法和装置 | |
| CN113885979A (zh) | 一种智能调整用户界面的方法和装置 | |
| US11886513B2 (en) | Data analysis system, data analysis method, and computer program product | |
| JP2020135054A (ja) | データ分析装置及びデータ分析方法 | |
| US20230098522A1 (en) | Automated categorization of data by generating unity and reliability metrics | |
| CN111475500B (zh) | 一种自动发现审计规则和异常数据的方法 | |
| Ingram et al. | Glint: An MDS Framework for Costly Distance Functions. | |
| JP2017211756A (ja) | 予測不可データ判定システム及び予測不可データ判定方法 | |
| CN108255583B (zh) | 一种应用程序对比方法及装置 | |
| Griffin et al. | Multi-scale Hierarchical Segmentation. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050104 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050530 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050802 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050804 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080812 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090812 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090812 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100812 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100812 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110812 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130812 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |