JP2019174960A - データ前処理装置、データ前処理方法及びデータ前処理プログラム - Google Patents

Abstract

【課題】非熟練者であってもデータの前処理を実施できる技術を提供する。【解決手段】クラスタリングサーバ５０が、高次元データをクラスタに分類するとともに、高次元データの任意の２次元の組み合わせに対するスコアを計算し、可視化サーバ３０が、２次元の組み合わせに対するスコアを表形式で表示して選択を受け付け、選択された２次元の組み合わせの各次元を軸とする２次元平面上に高次元データをクラスタに分けてプロットし、高次元データに対する前処理装置を受け付ける。【選択図】図２

Description

本発明は、データ分析においてデータを前処理する技術に関する。

近年、ビジネスデータを分析して事業戦略策定に活用するビジネスアナリティクスが盛んである。実ビジネスデータは、高次元かつノイズや欠損、必要なラベル情報の欠落が多く、クレンジング、ラベル付け、及び特徴選択などの前処理が不可欠である。前処理の作業に要する利用者の試行錯誤や工数を削減できる技術として特許文献１に記載の技術がある。

特開２０１２−２４３０１３号公報

データ分析は前処理が９割とも言われている。前処理によりデータサイエンティストの稼働が圧迫され、本来業務であるモデル構築に十分な稼働が割けないという問題があった。また、データサイエンティストの不足も深刻である。

本発明は、上記に鑑みてなされたものであり、データに対してのドメイン知識を有するが確率・統計等のデータサイエンスの基礎知識を持たない非熟練者であってもデータの前処理を実施できる技術を提供することを目的とする。

第１の本発明に係るデータ前処理装置は、高次元データをクラスタに分類するとともに、前記高次元データの任意の２次元の組み合わせに対するスコアを計算するクラスタリング部と、複数の前記２次元の組み合わせに対するスコアを表示し、前記２次元の組み合わせの選択を受け付ける大域分析画面表示部と、選択された前記任意の２次元の組み合わせの各次元を軸とする２次元平面上に前記高次元データをクラスタに分けて描画し、前記高次元データに対する操作を受け付ける局所分析画面表示部と、を有することを特徴とする。

第２の本発明に係るデータ前処理方法は、コンピュータが実行するデータ前処理方法であって、高次元データをクラスタに分類するとともに、前記高次元データの任意の２次元の組み合わせに対するスコアを計算するステップと、複数の前記２次元の組み合わせに対するスコアを表示し、前記２次元の組み合わせの選択を受け付けるステップと、選択された前記２次元の組み合わせの各次元を軸とする２次元平面上に前記高次元データをクラスタに分けて描画し、前記高次元データに対する操作を受け付けるステップと、を有することを特徴とする。

第３の本発明に係るデータ前処理プログラムは、上記データ前処理装置の各部としてコンピュータを動作させることを特徴とする。

本発明によれば、非熟練者であってもデータの前処理を実施できる。

本実施形態のデータ前処理システムの概要を説明するための図である。 本実施形態のデータ前処理システムの構成を示す機能ブロック図である。 図３（ａ）は変換前の実ビジネスデータの例を示す図であり、図３（ｂ）は変換後データの例を示す図である。 ＤＢサーバのデータベース構成の例を示す図である。 大域分析を可視化した大域分析画面の例である。 局所分析を可視化した局所分析画面の例である。 局所分析において外れ値を除去する例を示す図である。 局所分析においてラベルを付ける例を示す図である。 本実施形態のデータ前処理システムによるデータの変換処理の流れを示すフロートチャートである。 本実施形態のデータ前処理システムによる大域分析処理の流れを示すフロートチャートである。 本実施形態のデータ前処理システムによる局所分析処理の流れを示すフロートチャートである。 本実施形態のデータ前処理システムによるデータの変換処理の流れを示すシーケンス図である。 本実施形態のデータ前処理システムによる大域分析処理の流れを示すシーケンス図である。 本実施形態のデータ前処理システムによる局所分析処理の流れを示すシーケンス図である。

以下、本発明の実施の形態について図面を用いて説明する。

図１に示すように、本実施形態のデータ前処理システムは、大域分析画面として、高次元の実ビジネスデータの任意の２次元の組み合わせに対して計算されたスコアを円の直径に対応させて表形式にて可視化し、スコアを表す円の選択を受け付ける。なお、スコアの可視化方法として円の直径ではなく、色の濃淡や、数値そのものの表記など、他の方法を選択することもできる。また、円の大きさが顕著に異なるようであれば、対数化するなどして表示上の差を小さくすることもできる。また、本実施形態のデータ前処理システムは、局所分析画面として、選択された円に対応する２次元の平面上にデータをプロットして可視化し、データの外れ値の除去およびラベル付けを実施できるようにする。大域分析として任意の２次元の組み合わせに対するスコアを表示して可視化し、２次元の組み合わせの選択を受け付け、選択された２次元の組み合わせの各次元を軸とする２次元平面上にデータを描画してデータに対する操作を受け付けることで、高次元データが理解しやすい直感的な形式で可視化されるので、非熟練者であってもデータの前処理を実行できる。また、大域分析と局所分析との間を容易に移行して繰り返すことができるので、クラスタリングの結果を多角的な視点で俯瞰しつつ、データ前処理を実行できる。

図２は、本実施形態のデータ前処理システムの構成を示す機能ブロック図である。図２に示すデータ前処理システムは、変換サーバ１０、データベース（ＤＢ）サーバ２０、可視化サーバ３０、履歴管理サーバ４０、及びクラスタリングサーバ５０を備える。データ前処理システムが備える各装置は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各装置の処理がプログラムによって実行されるものとしてもよい。このプログラムは各装置が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。データ前処理システムの各装置の機能を１台のコンピュータで実現してもよいし、各装置の機能を複数のコンピュータで分散して実現してもよい。以下、各装置について説明する。

変換サーバ１０は、高次元の実ビジネスデータのデータ変換処理を実行する。図３（ａ）に変換前の実ビジネスデータ（訪問営業履歴）の例を示し、図３（ｂ）に変換後データの例を示す。変換サーバ１０は、データ変換処理として、カテゴリ変数の除去、連続値（例えば日付など）の数値変換、及び列ごとの標準化等を行う。図３の例では、性別の列を除去し、訪問日を数値に変換し、列ごとに標準化を行っている。なお、ＩＤは識別用に残している。

ＤＢサーバ２０は、変換後データテーブル２１、前処理履歴テーブル２２、及びクラスタリング結果テーブル２３を有する。

変換後データテーブル２１は、変換サーバ１０が実ビジネスデータから変換した変換後データを保持する。前処理履歴テーブル２２は、変換後データに対する前処理の各操作の履歴を保持する。本実施形態では、変換後データをイミュータブル（不変の）オブジェクトとして扱い、前処理の各操作（外れ値除去、ラベル付け）に対してバージョン管理を行い、全ての変更履歴をＧｉｔ等の版管理システムで管理する。可視化サーバ３０およびクラスタリングサーバ５０が変換後データを参照する際は、変換後データテーブル２１の変換後データに対して前処理履歴テーブル２２の変更履歴を反映した最新データ（以下、「データ」、「高次元データ」と称することもある）を参照する。変換後データを変更せずに、変換後データに対する各操作の履歴を管理することで、誤った操作をした場合に、任意の時点のデータに復元することができる。

クラスタリング結果テーブル２３は、クラスタリングサーバ５０によるクラスタリング結果を保持する。クラスタリング結果は、高次元データをクラスタに分類した結果および高次元データの任意の２次元の組み合わせに対するスコアを含む。

図４に、ＤＢサーバ２０のデータベース構成の例を示す。図中の矢印は、従属関係を示す。前処理履歴テーブル２２には、履歴ＩＤと操作・値のレコード、履歴ＩＤと対象ＩＤのレコードが登録されている。例えば、履歴ＩＤがＨ０には、操作として削除が登録され、対象ＩＤとしてＤ１が登録されている。これは、変換後データからデータＩＤがＤ１のデータを削除した操作を示す。クラスタリング結果テーブル２３には、クラスタＩＤと履歴ＩＤ・軸１・軸２・スコアのレコード、クラスタＩＤと対象ＩＤ・クラスタ番号のレコードが登録されている。例えば、クラスタＩＤがＣ０のレコードには、履歴ＩＤがＨ０、軸１が年齢、軸２が契約日数、スコアが２５６のデータが登録されている。これは、変換後データに履歴ＩＤがＨ０までの各操作を反映したデータについて、軸１を年齢、軸２を契約日数としてクラスタリングしたときのスコアが２５６であることを示す。また、クラスタＩＤがＣ０のクラスタリングでは、Ｄ１のデータはクラスタ番号が０のクラスタに属し、Ｄ２のデータはクラスタ番号が１のクラスタに属することが示されている。

可視化サーバ３０は、大域分析の可視化として、クラスタリング結果テーブル２３の保持するスコアの情報を用い、高次元データを構成する任意の２次元の組み合わせに対して計算されたスコアを表示する。より具体的には、可視化サーバ３０は、縦軸と横軸のそれぞれに高次元データを構成する任意の各次元を表す文字列を並べて表示し、任意の２次元の組み合わせに対して計算されたスコアの大きさを円の直径に対応させ、表形式にて可視化する。図５に、大域分析を可視化した大域分析画面の例を示す。

分析者は、大域分析において、可視化されたスコアをもとに、関心のある２次元（２軸の交点にある円）を選択できる。可視化サーバ３０は、大域分析においていずれかの円が選択されると、選択された円に対応する２次元における局所分析に移行し、局所分析の結果を可視化する。

可視化サーバ３０は、局所分析の可視化として、大域分析において選択された２次元平面上に全てのデータをプロットする。可視化サーバ３０は、各データの属するクラスタがわかるように、形状あるいは色を変えてデータを描画する。全てのデータは、いずれかのクラスタに属する。図６に、局所分析を可視化した局所分析画面の例を示す。図６の例では、横軸の次元として問い合わせ数をとり、縦軸の次元として訪問後日数をとった平面上にデータをプロットした。各データは、データの属するクラスタを示す形状および色で描画される。画面の左上には、各クラスタを示す形状および色とクラスタ名、クラスタの中心点の形状、各クラスタの最遠点の形状を説明する凡例を表示する。

可視化サーバ３０が局所分析の結果を表示しているとき、分析者は、各データが属するクラスタを視覚的に確認するとともに、外れ値の除去およびデータのラベル付けを実施する。

図７に、外れ値の除去の様子を示す。外れ値の除去では、利用者は、２次元平面上においてデータを示す任意の点または点集合を選択し、選択した点または点集合に対して削除操作を行う。この削除操作の履歴は、履歴管理サーバ４０によって記録される。

図８に、ラベル付けの様子を示す。ラベル付けをする際、分析者は、凡例として表示されたクラスタ名を選択し、選択したクラスタ名を付与したいラベル名に変更する。この操作により、ラベルが付与されたクラスタに属するデータに対して一括してラベル付けが行われる。クラスタに属する全てのデータに対してラベル付けが行えるならば、どのような方法であってもよい。このラベル付けの履歴は、履歴管理サーバ４０によって記録される。

履歴管理サーバ４０は、局所分析におけるデータに対する前処理操作の履歴を管理する。履歴管理サーバ４０は、操作履歴をＤＢサーバ２０の前処理履歴テーブル２２に記録する。

クラスタリングサーバ５０は、前処理履歴テーブル２２に記録した操作履歴を変換後データに適用した最新データをクラスタリングするとともに、高次元データを構成する任意の２次元の組み合わせに対してスコアを計算する。クラスタリング結果と任意の２次元の組み合わせに対するスコアは、クラスタリング結果テーブル２３に記録される。

クラスタリングには、ｋ−ｍｅａｎｓ＋＋を用いる。他のアルゴリズムを用いてもよい。分析者は、データに対する知識を元に、データを幾つかのグループに分けて分析する。このときのグループ数をクラスタ数ｋに指定する。スコアの算出には、クラスタ間分散とクラスタ内分散の比からなるＣａｌｉｎｓｋｉ−Ｈａｒａｂａｚ ｉｎｄｅｘと呼ばれる下記指標を用いる。他の指標を用いてもよい。

ここで、ＳＳ_Wはクラスタ内の分散（距離二乗和）、ＳＳ_Bはクラスタ間の分散（全サンプルの中心点からの距離二乗和からＳＳ_Wを減じたもの）、ｋはクラスタ数、Ｎは全サンプル数である。

端末６０は、分析者が操作する装置である。端末６０は、可視化サーバ３０の作成した大域分析画面および局所分析画面の表示、局所分析する２次元の組み合わせの受け付け、データに対する操作の入力などを行う。

次に、本実施形態のデータ前処理システムの動作について説明する。

図９は、本実施形態のデータ前処理システムによるデータの変換処理の流れを示すフロートチャートである。

変換サーバ１０は、実データを読み込み（ステップＳ１１）、実データの変換処理を行い（ステップＳ１２）、変換後データをＤＢサーバ２０へ送信する（ステップＳ１３）。

ＤＢサーバ２０は、変換後データを受信すると、受信した変換後データで変換後データテーブル２１を初期化する（ステップＳ１４）。

クラスタリングサーバ５０は、変換後データをクラスタリング処理するとともに、高次元データを構成する任意の２次元の組み合わせに対してスコアを計算する（ステップＳ１５）。クラスタリング結果とスコアは、クラスタリング結果テーブル２３に記録される。

図１０は、本実施形態のデータ前処理システムによる大域分析処理の流れを示すフロートチャートである。

可視化サーバ３０は、クラスタリング結果テーブル２３からスコアを取得し、大域分析の可視化処理を実行する（ステップＳ２１）。

可視化サーバ３０は、高次元データを構成する任意の２次元の組み合わせの選択を受け付ける。いずれかの２次元の組み合わせが選択された場合（ステップＳ２２のＹＥＳ）、局所分析を行う（ステップＳ２３）。

可視化サーバ３０は、データの出力指示を受信すると、前処理を完了し（ステップＳ２４のＹＥＳ）、変換後データテーブル２１の保持する変換後データに前処理履歴テーブル２２に記録された操作履歴を適用してデータを作成して出力する（ステップＳ２５）。

前処理を完了しない場合（ステップＳ２４のＮＯ）、大域分析（ステップＳ２１）および局所分析（ステップＳ２３）を繰り返す。ステップＳ２３の局所分析において外れ値の除去が行われていた場合、可視化サーバ３０はクラスタリング結果テーブル２３の保持する最新のスコアの情報を用い、大域分析の可視化処理を実行する。

図１１は、本実施形態のデータ前処理システムによる局所分析処理の流れを示すフロートチャートである。

可視化サーバ３０は、大域分析において選択された２次元の組み合わせについて、局所分析の可視化処理を実行する（ステップＳ３１）。

分析者が任意の点または点集合を選択して削除操作を行った場合（ステップＳ３２のＹＥＳ）、選択された点または点集合を削除し、履歴管理サーバ４０が削除操作の履歴を管理する（ステップＳ３３，Ｓ３４）。

クラスタリングサーバ５０は、選択された点または点集合が削除された最新データを用いてクラスタリング処理を行う（ステップＳ３５）。

分析者が凡例からクラスタを選択して名称を変更した場合（ステップＳ３６のＹＥＳ）、選択されたクラスタに対してラベル付けを行い、履歴管理サーバ４０がラベル付け操作の履歴を管理する（ステップＳ３７，Ｓ３８）。

外れ値の除去とラベル付けの実施順序は問わない。複数回外れ値を除去してもよいし、複数個のクラスタにラベル付けをしてもよい。

次に、本実施形態のデータ前処理システム全体の動作について説明する。

図１２Ａ〜１２Ｃは、本実施形態のデータ前処理システムの処理の流れを示すシーケンス図である。

まず、図１２Ａを参照し、データ変換処理の流れについて説明する。

変換サーバ１０は、実データの変換処理を行い（ステップＳ１０１）、変換後データをＤＢサーバ２０へ送信する（ステップＳ１０２）。

ＤＢサーバ２０は、受信した変換後データで変換後データテーブル２１を初期化する（ステップＳ１０３）。

ＤＢサーバ２０は、変換後データテーブル２１の保持する変換後データに前処理履歴テーブル２２の保持する操作履歴を適用して最新データを作成し（ステップＳ１０４）、最新データをクラスタリングサーバ５０へ送信する（ステップＳ１０５）。なお、この段階では操作履歴は無いので変換後データテーブル２１の保持する変換後データが最新データとして送信される。

クラスタリングサーバ５０は、最新データを用いてクラスタリング処理を行い（ステップＳ１０６）、クラスタリング結果をＤＢサーバ２０へ送信する（ステップＳ１０７）。

ＤＢサーバ２０は、受信したクラスタリング結果でクラスタリング結果テーブル２３を更新する（ステップＳ１０８）。

続いて、図１２Ｂを参照し、大域分析の流れについて説明する。

ＤＢサーバ２０は、変換後データテーブル２１の保持する変換後データに前処理履歴テーブル２２の保持する操作履歴を適用して最新データを作成し（ステップＳ２０１）、最新データおよびクラスタリング結果を可視化サーバ３０へ送信する（ステップＳ２０２）。

可視化サーバ３０は、最新データおよびクラスタリング結果を用いて大域分析画面を作成し（ステップＳ２０３）、大域分析画面を端末６０に表示させる（ステップＳ２０４）。

端末６０は、分析者の選択を受け付けて（ステップＳ２０５）、選択された２次元（軸１及び軸２）を可視化サーバ３０へ送信する（ステップＳ２０６）。

続いて、図１２Ｃを参照し、局所分析の流れについて説明する。

ＤＢサーバ２０は、変換後データテーブル２１の保持する変換後データに前処理履歴テーブル２２の保持する操作履歴を適用して最新データを作成し（ステップＳ３０１）、最新データおよびクラスタリング結果を可視化サーバ３０へ送信する（ステップＳ３０２）。

可視化サーバ３０は、最新データおよびクラスタリング結果を用いて局所分析画面を作成し（ステップＳ３０３）、局所分析画面を端末６０に表示させる（ステップＳ３０４）。

端末６０は、分析者から外れ値の選択および削除の操作を受け付けると（ステップＳ３０５）、外れ値のデータＩＤを含む外れ値データを履歴管理サーバ４０へ送信する（ステップＳ３０６）。

履歴管理サーバ４０は、外れ値データを受信すると、外れ値データに含まれるデータＩＤの示すデータを削除する履歴データを作成し（ステップＳ３０７）、作成した履歴データをＤＢサーバ２０へ送信する（ステップＳ３０８）。

ＤＢサーバ２０は、受信した履歴データを前処理履歴テーブル２２に登録する（ステップＳ３０９）。

データを削除する操作が行われたので、ＤＢサーバ２０は、変換後データテーブル２１の保持する変換後データに前処理履歴テーブル２２の保持する操作履歴を適用して最新データを作成し（ステップＳ３１０）、最新データをクラスタリングサーバ５０へ送信する（ステップＳ３１１）。

クラスタリングサーバ５０は、最新データを用いてクラスタリング処理を行い（ステップＳ３１２）、クラスタリング結果をＤＢサーバ２０へ送信する（ステップＳ３１３）。

ＤＢサーバ２０は、受信したクラスタリング結果でクラスタリング結果テーブル２３を更新する（ステップＳ３１４）。

また、端末６０は、分析者からラベル付けの操作を受け付けると（ステップＳ３１５）、ラベルを付けるクラスタ番号と付与するラベル名を含むラベルデータを履歴管理サーバ４０へ送信する（ステップＳ３１６）。

履歴管理サーバ４０は、ラベルデータを受信すると、ラベルデータに含まれるクラスタ番号にラベル名を付与する履歴データを作成し（ステップＳ３１７）、作成した履歴データをＤＢサーバ２０へ送信する（ステップＳ３１８）。

ＤＢサーバ２０は、受信した履歴データを前処理履歴テーブル２２に登録する（ステップＳ３１９）。

なお、本実施形態では、分析者が、大域分析画面から局所分析する２次元の組み合わせを選択し、局所分析画面から除去する外れ値を選択していたが、これらの処理を自動的に処理する処理部を備えて自動化することもできる。

例えば、大域分析では、処理部が、全ての２次元の組み合わせからスコアが最大の２次元の組み合わせを選択する。

局所分析での外れ値の除去については、処理部が、各クラスタについて、下記基準にて外れ値を選択して除去する。

外れ値閾値θ_th（１以上）と繰り返し最大数Ｎ_rを設定し、除去数Ｎ_d＝０として、クラスタｎ（１≦ｎ＜ｋ）に属するデータ点Ｘ_n＝｛ｘ_n1，ｘ_n2，・・・，ｘ_nN｝について以下の処理を行う。

すべてのｘ_nm＝（ｘ_nm1，ｘ_nm2）（１≦ｍ＜Ｎ）に対して、ｘ_nmのクラスタｎの中心点ｃ_n＝（ｃ_n1，ｃ_n2）からのＬ²距離（ユークリッド距離）を次式で計算する。

すべてのｄから、最大値ｄをとる最遠点ｘ_np（１≦ｐ＜Ｎ）を求める。

ｘ_npに対して局所外れ値因子法（ｌｏｆ法）による異常度判定を行う。異常度がθ_thを超える場合、外れ値とみなし、Ｎ_d＜Ｎ_rの場合はｘ_npを除去して、Ｎ_d＝Ｎ_d＋１とし、Ｎ_d≧Ｎ_rの場合は外れ値の除去を終了する。

局所分析でのラベル付けに関して、各クラスタに対してラベルを自動付与してもよい。

以上説明したように、本実施の形態によれば、クラスタリングサーバ５０が、高次元データをクラスタに分類するとともに、高次元データの任意の２次元の組み合わせに対するスコアを計算し、可視化サーバ３０が、２次元の組み合わせに対するスコアを表形式で表示して選択を受け付け、選択された２次元の組み合わせの各次元を軸とする２次元平面上に高次元データをクラスタに分けてプロットし、高次元データに対する前処理装置を受け付けることにより、高次元データが非熟練者にも理解しやすい直感的な形式で可視化されるので、非熟練者であってもデータ前処理を実行できる。

本実施の形態によれば、高次元データを不変とし、履歴管理サーバ４０が高次元データに対する前処理の操作履歴を管理し、高次元データを参照するときは、変換後データテーブル２１の変換後データに操作履歴を反映した最新データを用いることにより、誤った操作をした場合に、任意の時点のデータに復元することができる。

１０…変換サーバ
２０…ＤＢサーバ
２１…変換後データテーブル
２２…前処理履歴テーブル
２３…クラスタリング結果テーブル
３０…可視化サーバ
４０…履歴管理サーバ
５０…クラスタリングサーバ
６０…端末

第１の本発明に係るデータ前処理装置は、高次元データをクラスタに分類するとともに、前記高次元データの任意の２次元の組み合わせに対するスコアを計算するクラスタリング部と、複数の前記２次元の組み合わせに対するスコアを表示し、前記２次元の組み合わせの選択を受け付ける大域分析画面を表示する大域分析画面表示部と、前記大域分析画面において前記２次元の組み合わせが選択されると、選択された前記２次元の組み合わせの各次元を軸とする２次元平面上に前記高次元データをクラスタに分けて描画し、前記高次元データに対する操作を受け付ける局所分析画面を表示する局所分析画面表示部と、前記高次元データを不変とし、前記高次元データに対する操作の履歴を管理する履歴管理部と、を有し、前記局所分析画面において前記高次元データに対する操作を受け付けた場合、当該高次元データに対する操作の履歴を前記履歴管理部に登録し、前記クラスタリング部は前記高次元データに前記操作の履歴の示す操作を反映した最新データを用いて前記スコアを再計算し、前記局所分析画面から前記大域分析画面に移行すると、前記大域分析画面表示部は再計算された前記スコアを表示し、前記２次元の組み合わせの選択を受け付けることを特徴とする。

第２の本発明に係るデータ前処理方法は、コンピュータが実行するデータ前処理方法であって、高次元データをクラスタに分類するとともに、前記高次元データの任意の２次元の組み合わせに対するスコアを計算するステップと、複数の前記２次元の組み合わせに対するスコアを表示し、前記２次元の組み合わせの選択を受け付ける大域分析画面を表示するステップと、前記大域分析画面において前記２次元の組み合わせが選択されると、選択された前記２次元の組み合わせの各次元を軸とする２次元平面上に前記高次元データをクラスタに分けて描画し、前記高次元データに対する操作を受け付ける局所分析画面を表示するステップと、を有し、前記高次元データを不変とし、前記局所分析画面において前記高次元データに対する操作を受け付けた場合、当該高次元データに対する操作の履歴を履歴管理部に登録し、前記高次元データに前記操作の履歴の示す操作を反映した最新データを用いて前記スコアを再計算し、前記局所分析画面から前記大域分析画面に移行すると、前記大域分析画面には再計算された前記スコアが表示されて、前記２次元の組み合わせの選択を受け付けることを特徴とする。

Claims (6)

1. 高次元データをクラスタに分類するとともに、前記高次元データの任意の２次元の組み合わせに対するスコアを計算するクラスタリング部と、
   複数の前記２次元の組み合わせに対するスコアを表示し、前記２次元の組み合わせの選択を受け付ける大域分析画面表示部と、
   選択された前記２次元の組み合わせの各次元を軸とする２次元平面上に前記高次元データをクラスタに分けて描画し、前記高次元データに対する操作を受け付ける局所分析画面表示部と、
   を有することを特徴とするデータ前処理装置。
2. 前記大域分析画面表示部は、前記高次元データの各次元を表す文字列を縦軸と横軸に並べて表示し、前記スコアを表形式で表示することを特徴とする請求項１に記載のデータ前処理装置。
3. 前記高次元データを不変とし、
   前記高次元データに対する操作の履歴を管理する履歴管理部を有し、
   前記高次元データを参照するときは、前記高次元データに前記操作の履歴の示す操作を反映した最新データを用いることを特徴とする請求項１又は２に記載のデータ前処理装置。
4. 前記２次元の組み合わせの各次元を軸とする２次元平面上における各クラスタの中心点と当該クラスタに属する前記高次元データとの距離が所定の条件を満たす前記高次元データを外れ値として除去する処理手段を有することを特徴とする請求項１乃至３のいずれかに記載のデータ前処理装置。
5. コンピュータが実行するデータ前処理方法であって、
   高次元データをクラスタに分類するとともに、前記高次元データの任意の２次元の組み合わせに対するスコアを計算するステップと、
   複数の前記２次元の組み合わせに対するスコアを表示し、前記２次元の組み合わせの選択を受け付けるステップと、
   選択された前記２次元の組み合わせの各次元を軸とする２次元平面上に前記高次元データをクラスタに分けて描画し、前記高次元データに対する操作を受け付けるステップと、
   を有することを特徴とするデータ前処理方法。
6. 請求項１乃至４のいずれかに記載のデータ前処理装置の各部としてコンピュータを動作させることを特徴とするデータ前処理プログラム。

Images