JP2007334871A - データ処理方法、データ処理装置、プログラムおよび記録媒体 - Google Patents
データ処理方法、データ処理装置、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2007334871A JP2007334871A JP2007129889A JP2007129889A JP2007334871A JP 2007334871 A JP2007334871 A JP 2007334871A JP 2007129889 A JP2007129889 A JP 2007129889A JP 2007129889 A JP2007129889 A JP 2007129889A JP 2007334871 A JP2007334871 A JP 2007334871A
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- data
- coordinate
- coordinates
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
【解決手段】 比較対象のオブジェクトに関するデータをネットワーク上で収集する。そして、比較対象のオブジェクトの座標と、その代表点の座標とを決定する(ST3,4,5)。分析対象のオブジェクトのデータをネットワーク上で収集する。そして、分析対象のオブジェクトの座標を決定する(ST8)。上記決定した座標に対応する位置に画像を表示する。
【選択図】 図3
Description
自動的に処理する場合には、分析対象とするWebに出現する単独な言葉の頻度分布が他の通常のWeb上に出現する単独の言葉の出現頻度分布との違いによる特徴などから、それらの言葉を抽出することが考えられる。
従来、ある論文又は記事の要約を作ることを目的に特徴を示す言葉を抽出する技術は開発されている。それは参照基準となる論文を多数集め、その単独な言葉の分布に照らし当該論文の単独な言葉の分布を比較することによって、当該論文の特徴を抽出するものである。このような方法を援用することが考えられる。
また、前記コンピュータは、前記n行m列の行列データを基に、前記n個の比較対象のオブジェクトが当該比較対象のオブジェクトに関しての前記m個の基準対象のオブジェクトとの長さmの指標値ベクトルの近似度が高まるに従って座標系内に近い位置に配置されるように、前記n個の比較対象のオブジェクトの各々についてr次元の第2の座標を計算する。
ここで、前記処理回路は、前記行列データを基に、前記ジェクトの各々について、当該基準対象のオブジェクトに関する前記n個の比較対象のオブジェクトとの接続関係を示す長さnの指標値ベクトルの近似度が高まるに従って座標系内で近い位置に配置されるように、r次元の第1の座標を計算し、前記n行m列の行列データを基に、前記n個の比較対象のオブジェクトが当該比較対象のオブジェクトに関しての前記m個の基準対象のオブジェクトとの長さmの指標値ベクトルの近似度が高まるに従って座標系内に近い位置に配置されるように、前記n個の比較対象のオブジェクトの各々についてr次元の第2の座標を計算し、分析対象のオブジェクトについて前記m個の基準対象のオブジェクトに関して取得した接続関係を示す指標値を示す1行m列のデータと、前記計算した前記第1の座標とを基に、前記分析対象のオブジェクトについてのr次元の第3の座標を計算し、座標系内の前記計算した前記第1の座標および前記2の座標の少なくとも一方と、前記計算した前記第3の座標の画像を表示し、前記m個の基準対象のオブジェクトが分類される分類項目を示す分類データと、前記計算した前記1の座標とを基に、前記分類項目の各々についてのr次元の代表値を示す第4の座標を計算し、当該第4の座標に画像を表示し、前記n個の比較対象のオブジェクトが分類される分類項目を示す分類データと、前記計算した前記2の座標とを基に、前記分類項目の各々についてのr次元の代表値を示す第5の座標を計算し、当該第5の座標に画像を表示し、複数の異なるタイミングで前記分析対象オブジェクトについて取得した1行m列のデータを基に、前記第3の座標の平均的な座標である代表座標を計算し、当該代表座標を基準として前記座標系内に監視基準を示す第6の座標を決定を行う。
<第1実施形態>
以下、本発明の第1実施形態を説明する。
先ず、本実施形態の構成要素と、本発明の構成要素との対応関係を説明する。
図3に示すステップST3および図4に示す処理が、本発明の第1の工程および第2の工程の一例である。
また、図3に示すステップST8が本発明の第2の工程の一例である。
また、図3に示すステップST9が本発明の第3の工程の一例である。
また、図3に示すステップST4が本発明の第4の工程の一例である。
また、図3に示すステップST5が本発明の第5の工程の一例である。
また、表5および式(1)に示すYが本発明の第1の座標の一例であり、表6および式 (1)に示すXが本発明の第2の座標の一例である。
また、表10等に示す分析対象行列データB1等が本発明の分析対象のオブジェクトについての1行m列のデータの一例である。
また、表12等に示す分析対象座標行列データCが本発明の第3の座標の一例である。
図1に示すように、通信システム1は、例えば、複数の情報提供サーバ4、検索サーバ6および分析装置10を有し、これらがネットワーク9を介して通信する。
情報提供サーバ4は、例えば、Webサーバである。
図2に示すように、分析装置10は、例えば、インタフェース21、ディスプレイ22、操作部23、メモリ24および処理回路25を有し、これらがデータ線20を介して接続されている。
ディスプレイ22は、処理部25からの表示信号に応じた画面を表示する。
操作部23は、キーボード、マウス、タッチパネルなどであり、ユーザの操作に応じた操作信号を処理部25に出力する。
処理部25は、メモリ24から読み出したプログラムPRGを実行して、以下に示すデータ処理装置1の動作を統括的に制御する。
プログラムPRGは、例えば、半導体メモリ、光ディスク、光磁気ディスクあるいは磁気ディスク等の記録媒体に記録される。
[基準対象オブジェクト分類データSTOCD]
基準対象オブジェクト分類データSTOCDは、m個(m≧2)の各基準対象オブジェクトについて、その基準対象オブジェクト(例えば、はっきり、心情的等の形容詞)が分類される分類項目(例えば、心、感覚等)を示す。
基準対象オブジェクト分類データSTOCDは、例えば、下記表1に示すように、基準対象オブジェクトの数分の行(m行)と、分類項目の数分の列とからなる行列によって規定される。
表1に示す例では、基準対象オブジェクトとして、はっきり、心情的、無頓着、痛切、まぶしく、感慨無量が規定されている。
また、分類項目として、心、感覚、感動、恐れが規定されている。
d11〜d64は、「1」、「0」以外の属性オブジェクトが分類に所属する強さを示すメンバーシップ関数値でもよい。
表1に示す基準対象オブジェクト分類データSTOCDは、例えば、言語辞書などを基に予め生成され、メモリ24に記憶されている。
比較対象オブジェクト分類データRTOCDは、n個(n≧2)の各比較対象オブジェクトについて、その比較対象オブジェクト(例えば、NPO、OL等の名詞)が分類される分類項目(例えば、人物、成員等)を示す。
比較対象オブジェクト分類データRTOCDは、例えば、下記表2に示すように、比較対象オブジェクトの数分の行(n行)と、分類項目の数分の列とからなる行列によって規定される。
表2に示す例では、比較対象オブジェクトとして、NPO、OL、おじ、おば、お互い、お前が規定されている。
また、分類項目として、人物、成員、社会、機関が規定されている。
e11〜e64は、「1」、「0」以外の比較対象のオブジェクトが分類項目に所属する強さを示すメンバーシップ関数値でもよい。
表2に示す比較対象オブジェクト分類データRTOCDは、例えば、言語辞書などを基に予め生成され、メモリ24に記憶されている。
比較対象行列データA1は、n個の比較対象オブジェクトの各々について、その比較対象オブジェクト(例えば、NPO,OL等)と、m個の基準対象オブジェクト(はっきり、心情的等)との接続関係を示している。
比較対象行列データA1は、例えば、下記表3に示すように、比較対象オブジェクトの数分の行(n行)と、基準対象オブジェクトの数分の列(m列)とからなる行列によって規定される。なお、本実施形態では、説明の簡単化のため、行列データを表形式としても表現する。
本実施形態において、上記接続関係値は、例えば、ネットワーク上に公開されている情報(例えば、URL)を対象に、比較対象オブジェクトと基準対象オブジェクトとの双方を含む情報を図1に示す検索サーバ6(検索エンジン)を用いて検索した場合のヒット数を示している。当該情報は、例えば、Webページである。すなわち、接続関係は、各比較対象オブジェクトと基準対象オブジェクトとの間の関連度を示している。
比較対象行列データAは、上記比較対象行列データA1の各要素データを平準化したデータであり、下記表4で示される。
比較対象行列データAの各要素は、比較対象行列データA1の各要素を、平均値や分散が一定の範囲になるように変換された値を示す。
基準基盤地図行列データYは、複数の基準対象オブジェクト(はっきり、心情的等)の各々について、所定のr次元(r≧2)の座標系の座標を示している。
基準基盤地図行列データ(右特異ベクトル)Yは、r行m列の行列データである。
本実施形態では、r=3であるため座標系は3次元であり、その1軸、2軸および3軸の座標が示されている。
基準基盤地図行列データ(右特異ベクトル)Yは、例えば、下記表5のように示される。
比較基盤地図行列データXは、複数の比較対象オブジェクト(NPO、OL的等)の各々について、所定のr次元の座標系の座標を示している。
比較基盤地図行列データ(左特異ベクトル)Xは、n行r列の行列データである。
本実施形態では、r=3であるため、座標系は3次元であり、その1軸、2軸および3軸の座標が示されている。
比較基盤地図行列データ(左特異ベクトル)Xは、例えば、下記表6のように示される。
X:n×rの行列
Y:r×mの行列
λ:r×rの対角行列であり、r=3の場合には、下記式(2)で示され、r1>r2>r3が成り立つように並べたものである。
基準代表座標行列データSPは、基準対象オブジェクト分類データSTOCDが示す分類項目の各々についてのr次元(軸)の座標を示している。
基準代表座標行列データSPは、例えば、下記表7で示される。
比較代表座標行列データRPは、比較対象オブジェクト分類データRTOCDが示す分類項目の各々についてのr次元(軸)の座標を示している。
比較代表座標行列データRPは、例えば、下記表8で示される。
分析対象オブジェクト分類データATOCDは、各分析対象オブジェクトについて、その分析対象オブジェクト(例えば、イ社、ロ社等)が分類される分類項目(例えば、飲料、菓子等)を示す。
分析対象オブジェクト分類データATOCDは、例えば、下記表9に示すように、分析対象オブジェクトの数分の行と、分類項目の数分の列とからなる行列によって規定される。
当該行列の要素データh11〜h64の各々は、それぞれ当該要素データに対応する分析対象オブジェクトが、当該要素データに対応する分類項目に割り当てられている場合に「1」を示し、属さない場合に「0」を示している。
表9に示す例では、分析対象オブジェクトとして、イ社、ロ社、ハ社が規定されている。
また、分類項目として、飲料、菓子、車、電気が規定されている。
h11〜h64は、「1」、「0」以外の比較対象のオブジェクトが分類項目に所属する強さを示すメンバーシップ関数値でもよい。
分析対象行列データB1は、p個の分析対象オブジェクトの各々について、その分析対象オブジェクト(例えば、イ社、ロ社等)と、上記m個の基準対象オブジェクト(はっきり、心情的等)との接続関係を示している。
分析対象行列データB1は、例えば、下記表10に示すように、分析対象オブジェクトの数分の行(p行)と、基準対象オブジェクトの数分の列(m列)とからなる行列によって規定される。
当該行列の要素データb11〜b36の各々は、それぞれ当該要素データに対応する分析対象オブジェクトと、当該要素データに対応する基準対象オブジェクトとの接続関係値を示している。
上述したように、本実施形態において、上記接続関係値は、例えば、ネットワーク上に公開されている情報を対象に、分析対象オブジェクトと基準対象オブジェクトとの双方を含む情報を所定の検索エンジンを用いて検索した場合のヒット数を示している。当該情報は、例えば、Webページである。図2に示す処理回路25は、上記ネットワークから取得した情報を基に分析対象行列データB1を生成し、これをメモリ24に書き込む。
分析対象行列データBは、上記分析対象行列データB1の各要素データを平準化したデータであり、下記表11で示される。
分析対象行列データBの各要素は、分析対象行列データB1の各要素を、累積度数分布を当てはめて0〜1の範囲になるように変換された値を示す。
分析対象座標行列データCは、上述した分析対象行列データBと、基準基盤地図行列データY(右特異ベクトルY)とを用いて、下記式(5)により計算される。
ここで、iは分析対象オブジェクト(イ社、ロ社、ハ社)の番号を示し、jは次元数を示している。
分析対象代表座標行列データAPは、分析対象オブジェクト分類データATOCDが示す分類項目の各々の代表についてのr次元(軸)の座標を示している。
分析対象代表座標行列データAPは、例えば、下記表13で示される。
また、処理回路25は、各比較対象オブジェクトを、上記3次元の座標系において、比較基盤地図データXで規定される座標に割り当てる。
また、処理回路25は、基準対象オブジェクト分類データSTOCDが示す分類項目の各々を、上記3次元の座標系において、基準代表座標行列データSPで規定される座標に割り当てる。
また、処理回路25は、比較対象オブジェクト分類データRTOCDが示す分類項目の各々を、上記3次元の座標系において、比較代表座標行列データRPで規定される座標に割り当てる。
また、処理回路25は、各分析対象オブジェクトを、上記3次元の座標系において、分析対象座標行列データCで規定される座標に割り当てる。
処理回路25は、上記割り当てた座標間の距離等を基に、上記3次元座標系における各オブジェクトや分類項目の相互間の関連度を規定し、それを様々な分析処理に用いる。
以下に示す図3〜図5の処理の内容は、図2に示すメモリ24に記憶されたプログラムPRGに記述されている。これらの処理は、処理回路25がプログラムPRGを実行することによって実現される。
図3は、図2に示す分析装置10の動作例を説明するためのフローチャートである。
図3に示す処理を開始する前に、図2に示すメモリ24には、表1に示す基準対象オブジェクト分類データSTOCDと表2に示す比較対象オブジェクト分類データRTOCDとが予め記憶されている。これらのデータは、言語分類辞典等に情報を基に予め作成され、メモリ24に書き込まれる。
ステップST1:
図2に示す操作部23をユーザが操作して、表3に示す比較対象行列データA1の各比較対象オブジェクトと、各基準対象オブジェクトとの双方を含む情報(Webページ)を検索することを指示する検索要求を入力する。
処理回路25は、上記入力された検索要求を、インタフェース21からネットワーク9を介して検索サーバ6に送信する。
検索サーバ6は、受信した上記検索要求を基に、比較対象行列データA1の各比較対象オブジェクトと、基準対象オブジェクトとの双方を含む情報のアドレスを分析装置10に送信する。
処理回路25は、検索サーバ6から受信した上記アドレスを基に、比較対象行列データA1の各比較対象オブジェクトと、各基準対象オブジェクトとの双方を含む情報(Webページ)の数を計数し、その計数した数を比較対象行列データA1の対応する要素データの値とし、比較対象行列データA1を生成する。
例えば、表3の例では、処理回路25は、「NPO」と「はっきり」との双方を含む情報の検索要求を出し、検索結果として得られた情報(アドレス)の数を計数し、その結果を要素データa11の値に設定する。比較対象行列データA1は、比較対象オブジェクトと基準対象オブジェクトとの接続の強さを示す行列データであれば、Web検索でなくても良い。
処理回路25は、上記生成した比較対象行列データA1を図2に示すメモリ24に書き込む。
処理回路25は、メモリ24から比較対象行列データA1を読み出し、その要素データに累積度数分布を当てはめて0〜1の範囲になるように変換して新たな比較対象行列データAを生成する。このとき必要であれば、処理回路25は、異常値などを除去する。
処理回路25は、比較対象行列データAをメモリ24に書き込む。
処理回路25は、メモリ24から比較対象行列データAを読み出し、これを上記式(1)に示す特異値分解を行って、上記表5に示す基準基盤地図行列データ(右特異ベクトル)Yと上記表6に示す比較基盤地図行列データ(左特異ベクトル)Xとを生成する。
処理回路25は、上記生成した基準基盤地図行列データ(右特異ベクトル)Yと上記表6に示す比較基盤地図行列データ(左特異ベクトル)Xとをメモリ24に書き込む。
このとき、後述するステップST3のアルゴリズムにより、例えば、比較対象行列データA内の複数の基準対象オブジェクトは、それらについての比較対象オブジェクトの要素データの値のパターン(本発明の長さnの指標値ベクトルの一例)の近似度が高まるにしたがって、相互間の距離が近くなるように座標が計算される。
また、比較対象行列データA内の複数の比較対象オブジェクトは、それらについての基準対象オブジェクトの要素データの値のパターン(本発明の長さmの指標値ベクトルの一例)の近似度が高まるにしたがって、相互間の距離が近くなるように座標が計算される。
ステップST3の処理については後に詳細に説明する。
処理回路25は、メモリ24から読み出した基準対象オブジェクト分類データSTOCDと、メモリ24から読み出した基準基盤地図行列データY(右特異ベクトルY)とを用いて、上記式(3)により基準代表座標行列データSPの各要素データを生成する。
処理回路25は、この生成した基準代表座標行列データSPをメモリ24に書き込む。
なお、処理回路25は、代表点の座標を基準として所定の範囲を代表領域として規定して表示してもよい。
処理回路25は、メモリ24から読み出した比較対象オブジェクト分類データRTOCD、メモリ24から読み出した比較基盤地図行列データX(左特異ベクトルX)とを用いて、上記式(4)により比較代表座標行列データRPの各要素データを生成する。
処理回路25は、この生成した比較代表座標行列データRPをメモリ24に書き込む。
なお、処理回路25は、代表点の座標を基準として所定の範囲を代表領域として規定して表示してもよい。
図2に示す操作部23をユーザが操作して、表10に示す分析対象行列データB1の各分析対象オブジェクトと、各基準対象オブジェクトとの双方を含む情報(Webページ)を検索することを指示する検索要求を入力する。
処理回路25は、上記入力された検索要求を、インタフェース21からネットワーク9を介して検索サーバ6に送信する。
検索サーバ6は、受信した上記検索要求を基に、分析対象行列データB1の各比較対象オブジェクトと、基準対象オブジェクトとの双方を含む情報のアドレスを分析装置10に送信する。
処理回路25は、検索サーバ6から受信した上記アドレスを基に、分析対象行列データB1の各比較対象オブジェクトと、各基準対象オブジェクトとの双方を含む情報(Webページ)の数を計数し、その計数した数を比較対象行列データB1の対応する要素データの値とし、分析対象行列データB1を生成する。
例えば、表10の例では、処理回路25は、「イ社」と「はっきり」との双方を含む情報の検索要求を出し、検索結果として得られた情報(アドレス)の数を計数し、その結果を要素データb11の値に設定する。「イ社」と「はっきり」との双方を含む情報は、Web検索でなく、アンケート調査の結果などでも良い。
処理回路25は、上記生成した分析対象行列データB1を図2に示すメモリ24に書き込む。
処理回路25は、メモリ24から分析対象行列データB1を読み出し、その要素データに累積度数分布を当てはめて0〜1の範囲になるように変換して新たな分析対象行列データBを生成する。
処理回路25は、分析対象行列データBをメモリ24に書き込む。
処理回路25は、メモリ24から読み出した分析対象行列データBと、メモリ24から読み出した基準基盤地図行列データY(右特異ベクトルY)とを用いて、上記式(5)により、分析対象座標行列データCを生成する。また上記式(5-1)により、分析対象代表座標行列データrを生成する。
処理回路25は、この生成した分析対象座標行列データC、およびまたは分析対象代表座標行列データrををメモリ24に書き込む。
処理回路25は、ディスプレイ22に表示する画面内に規定された所定の座標系内において、ステップST3で生成した基準基盤地図行列データ(右特異ベクトル)Yと比較基盤地図行列データ(左特異ベクトル)Xとによって規定される座標に、それぞれのデータを識別するための画像を表示する処理を行う。
また、処理回路25は、上記座標系内において、基準代表座標行列データSPおよび比較代表座標行列データRPによって規定される座標に、それぞれのデータを識別するための画像を表示する処理を行う。
また、処理回路25は、上記座標系内において、分析対象座標行列データCによって規定される座標に、分析対象代表座標r等それぞれのデータを識別するための画像を表示する処理を行う。
これにより、ユーザは、ディスプレイ22上に表示された各オブジェクトの画像や、分類項目の代表点の画像を見ることで、オブジェクト間の関連度や、代表点が持つ意味とオブジェクトとの関連度を視覚的に把握できる。また、出現頻度や出現構造の変化の通常との変化を検出することができる。
図4は、図3に示すステップST3を説明するためのフローチャートである。
以下、図3に示す各ステップについて説明する。
ステップST21:
図2に示す処理回路25は、図3に示すステップST2でメモリ24に書き込まれたn行m列の比較対象行列データAを読み出す。
ステップST22:
処理回路25は、例えば、ステップST3の処理の終了条件を設定する。
処理回路25は、座標系の次元を示す変数jの上限値r(次元数)を設定する。
なお、処理回路25は、上限値rの代わりに、収束条件判定係数Cを設定してもよい。
処理回路25は、ステップST21で読み出した比較対象行列データAを基に、下記式(6)の演算を行い、行列データA2を生成する。
下記式(6)において、Atは、Aの転置行列であり、A2はm行m列の行列データである。
処理回路25は、上記次元を示す変数jに初期値「0」を設定する。
処理回路25は、変数jを「1」インクリメントする。
処理回路25は、ステップST23で生成した行列データA2の上位j個の固有値(σ12,σ22,...,σj2)と、それらに対応した固有ベクトルである右特異ベクトルYj(yj1,yj2,...,yjm)を計算する。
当該ステップST26の処理については後に詳細に説明する。
処理回路25は、ステップST26で生成したσj2が「0」であるか否かを判断し、0であると判断すると処理を終了し、そうでない場合にはステップST28に進む。
すなわち、σj2が「0」である場合には、ステップST26の処理を打ち切る。
処理回路25は、ステップST22で設定した処理終了条件を満たしたか否かを判断し、満たしたと判断するとステップST29に進み、そうでない場合にはステップST25に戻る。
例えば、処理回路25は、変数jが上限値rを超えたか否かを判断する。
なお、処理回路25は、σr2/Σσi2がC以下であるか等を基に上記判断を行ってもよい。ここで、Σはσi2をi=1〜rまで加算することを意味している。
処理回路25は、下記式(7)に基づいて、ステップST26で生成したσj2と、Yjとを基に、例えば、表6に示す比較基盤地図行列データ(左特異ベクトル)Xj(=(xj1,xj2,....,xjr))を生成する。
図5は、図4に示すステップST26を説明するためのフローチャートである。
ステップST41:
処理回路25は、m行m列の行列データA2をメモリ24から読み出す。
処理回路25は、変数iに初期値「0」を設定する。
変数iは、座標系の次元を示しており、上限値はjである。
処理回路25は、変数iを1インクリメントする。
処理回路25は、右特異ベクトルYj(y1j、y2j,...,ymj)の初期値として、Yj(b1j,b2j,....bmj)に設定してメモリ24に書き込む。各要素は、乱数にて生成する。
処理回路25は、下記式(8)により、Y2jを計算してメモリ24に書き込む。次に、処理回路25は、メモリ24から読み出したY2jのノルム平方根を計算し、その結果をσjとしてメモリ24に書き込む。
処理回路25は、メモリ24からYjの各要素(y1j、y2j,...,ymj)を読み出し、これらをメモリ24から読み出したσjで除算して、新たな右特異ベクトルYjの要素(y1j、y2j,...,ymj)としてメモリ24に書き込む。
処理回路25は、変数iが、図4に示すステップST25で設定した変数jと一致するか否かを判断し、一致すると判断した場合にはステップST49に進み、そうでない場合にはステップST48に進む。
処理回路25は、ステップST45で生成したσjと、ステップST46で生成したYjと、メモリ24から読み出した上記行列データA2とを基に下記式(9)に示す演算を行い、新たな行列データA2を生成し、これをメモリ24に書き込む。
下記式(9)において、A2(h,k)は行列データBのh行k列の要素データを示す。 Yj(h)およびYj(k)はそれぞれ右特異ベクトルYjのh番目およびk番目の要素データを示す。
そのため、これらのオブジェクトがネットワーク上の情報においてユーザによってどのように認識されているかを、分類項目の内容を基に意味づけて把握することが可能になる。
以下、上述した第1実施形態で生成した分析対象座標行列データCによって規定されるイ,ロ、ハ社の座標値の経時的な変化を監視する場合を説明する。
ステップST51:
処理回路25は、複数の異なるタイミングu=1〜Uにおいて取得した分析対象行列データBの各々を基に、分析対象座標行列データCを生成する。当該生成方法は、第1実施形態で説明したものと同じである。
Uは、好ましくは、25〜30程度である。本実施形態では、基準基盤地図行列データY(右特異ベクトルY)としては新たなものを用いないが、これについても各タイミングで取得した新たなものを用いてもよい。
分析対象座標行列データCの要素データは、前述したようにcijで示され、上述した例では、j=1〜rいずれかであり、i=1(イ社),2(ロ社),3(ハ社)となる。
処理回路25は、タイミングu=1〜Uの各々について、座標(ci1(1),ci2(1),ci3(1))〜(ci1(U),ci2(U),ci3(U))を算出する。
処理回路25は、ステップST51で算出した上記座標(ci1(1),ci2(1),ci3(1))〜(ci1(U),ci2(U),ci3(U))の各軸についての値を平均した代表座標(ci1(ave),ci2(ave),ci3(ave))を計算する。
処理回路25は、重付移動平均値の計算において、予め決められた数(移動平均区間q)の過去タイミングの座標値に所定の重み付けを付けて平均値を算出する。
処理回路25は、例えば、重付移動平均区間qを「3」としたときの期間移動平均は、初めのu=1,2,3のタイミング分のデータを使ったu=3のタイミングでの移動平均(ci1(mave,3),ci2(mave,3),ci3(mave,3))から計算可能となり、そこから逐次計算する。
処理回路25は、u=3のタイミング以降の重付移動平均値を、同様に、(ci1(mave,4),ci2(mave,4),ci3(mave,4))以下をw1、w2、w3を使って移動しながら平均値を計算して、u=3〜Uの各々について計算する。
処理回路25は、u=q〜Uまでの重付移動平均値(ci1(mave,u),ci2(mave,u),ci3(mave,u))の各次元を平均し、それを代表座標(ci1(ave),ci2(ave),ci3(ave))とする。
また、処理回路25は、重付移動平均値を重みの総和の平方で開きそれを乗じた数値で除算してもよい。すなわち、重みをw1、w2,,,wWとした時の値は、{wravei1,wravei2,wravei3}としたとき、{wravei1,wravei2,wravei3}=Σ[i=該当範囲内で{ci1,ci2,ci3}]/Σ[i=該当範囲内で{(wi)**(1/2)}]としてもよい。
処理回路25は、上記計算した代表座標(ci1(ave),ci2(ave),ci3(ave))を基に以下に示すように監視基準範囲(警戒限界)を計算する。
処理回路25は、例えば、代表座標(ci1(ave),ci2(ave),ci3(ave))から予め決められた距離に警戒限界を規定する。
この場合には、処理回路25は、重付移動平均値を(ci1(mave,u), ci2(mave,u),ci3(mave,u))とすると、これは、u=q〜Uまでの重付移動平均値の総和を求めてその個数(U−q)で除算して計算する。
処理回路25は、重付移動平均値の分散共分散行列Gを、下記式(10)により計算する。
下記式(11)の右辺は、スカラーであり、座標系内の右辺の条件を満たす領域の座標がUCL(gci1, gci2, gci3)である。
本実施形態では、r=3なので、下記表14に示されている市販のカイ2乗分布表から、12.84が得られる。ここで、αの値をα1=0.003、α1= 0.01、あるいはα3=0.05と変えたとき、それに対応して、カイ2乗値χ(α1)、χ(α2)、χ(α3)を定めることができる。αの値を適当に例えば0.01と設定したとき、UCL(gci1k,
gci2k, gci3k)=χ(α=0.01)が成立する、
式(10)と式(11)による3次元の2次形式で表現された等高面の警戒限界を示す座標を形成することができる。
処理回路25は、ステップST63で規定した警戒限界を基に、異常性の判断を行う。
すなわち、処理回路25は、任意のタイミングuにおいて重付移動平均値(ci1(mave,u), ci2(mave,u),ci3(mave,u))を計算した場合に、その座標値を、UCL(gci1, gci2, gci3)に代入し、上記式(11)の右辺の演算を行う。そして、処理回路25は、その演算結果が12.84を超えていれば、“通常ではない”と判断する。この場合に、その判断が誤る確率は、0.5%以下となる。
ちなみに、上記警戒限界を示す座標は、2次元であれば楕円で示される等高線であり、新しい分析対象オブジェクトがこの警戒領域外側に落ちれば異常であると判定できる。
上述した第2実施形態は、ワームの発生条件を警戒限界として規定して、ワームの発生を警告するシステムに適用可能である。
本実施形態では、処理回路25は、基準対象のオブジェクトの座標をYとした場合に、基準対象空間上の上記比較対象のオブジェクトの座標Xについて下記式(12)の演算により計算する。処理回路25は、メモリ24からY,A、Wa1を読み出して式(12)の計算を行い、その結果をメモリ24に書き込む。当該計算は、例えば、図3に示すステップST3の後に行われる。
また、ここで比較対象のオブジェクトの座標をXとした場合に、処理回路25は、下記式(14)により、比較対象(座標)空間での基準対象のオブジェクトの座標を計算する。このとき、処理回路25は、メモリ24からA,Wa2およびXを読み出して下記式(14)の演算を行い、その結果をメモリ24に書き込む。
また、処理回路25は、上記式(14)の重み付け行列Wa2を下記式(15)により計算する。ここで、Xはr行m列の行列である。XtはXの転置行列である。
すなわち、処理回路25は、分析対象のオブジェクトについての前記1行m列の行列データB(b1,b2,...bm)と、上記右特異行列データYと、重み付け行列Wbとを用いて、下記式(16)により、r次元の前記第3の座標を示す1行r列のベクトルCを計算する。
そのため、処理回路25は、マッピングされた座標を基にオブジェクト相互間の関連度を特定する処理を行うことができる。
第4実施形態では、図3に示すステップST3の行列データX,Yを第1実施形態とは異なる手法で生成する。
図7は、本実施形態における図3に示すステップST3の行列データX,Yを生成する方法を説明するためのフローチャートである。
ステップST71:
処理回路25は、メモリ24から、前述した比較対象行列データAを読み出す。
ステップST72:
処理回路25は、基準基盤地図行列データ(右特異ベクトル)Yの初期値として、生成した乱数を設定する。
ここで、Yは前記r行m列の行列データ、YtはYを転置した行列データ、m行m列のWa1はAから求める重み付行列、Xはn行r列の行列データである、
また、Wa1=(diag(At 1/2*A1/2))-1、または、Wa1=(diag(At 1/2*A1/2))-1/2である。
ここで、diag(「・」)は「・」の対角要素のみを取り出して作られる対角行列、対角以外はゼロの正方行列、「・」1/2は行列「・」の要素を全て平方に開いて作られる行列、「・」tは行列「・」の転置行列、「・」-1は行列「・」の逆行列である
そして、処理回路25は、当該計算により得られた新しいYを用いて「X=A*Wa1*Yt」を基にXを計算する。
そして、処理回路25は、当該計算で得られたXを平均がゼロとなるように正規化し、さらに各軸が直交化するように変換し、それぞれの軸の分散が所定の定数となるように変換して、新しく修正されたXを生成する。
ここで、YtはYを転置した行列データ、Atは前記行列データAの転置行列、n行n列のWa2はAから求める重み付行列、XtはXの転置行列である。
また、Wa2=(diag(A1/2*At 1/2))-1、または、Wa2=(diag(A1/2*At 1/2))-1/2である。
ステップST74:
そして、処理回路25は、XおよびYの少なくとも一方が収束するまで、または、計算回数が十分になるまで前記計算を繰り返す。
すなわち、処理回路25は、比較対象空間上の基準対象のオブジェクトの座標Yの計算を「Yt=At*Wa2*X」をXの初期値に乱数を与えて計算し、得られたYを平均がゼロとなるように正規化し、さらに各軸が直交化するように変換し、それぞれの軸の分散が所定の定数となるように変換して、新しく修正されたYを生成する。
そして、処理回路25は、当該生成した新しいXを使って「Yt=At*Wa2*X」を基にYを計算し、当該計算で得られたYを平均がゼロとなるように正規化し、さらに各軸が直交化するように変換し、それぞれの軸の分散が所定の定数となるように変換して、新しく修正されたYを生成する。
そして、処理回路25は、上記計算により、さらに再び得られた新しいXを使って「Yt=At*Wa2*X」を基にYを計算し、得られたYを平均がゼロとなるように正規化し、さらに各軸が直交化するように変換し、それぞれの軸の分散が所定の定数となるように変換して、さらに新しく修正されたYを生成する。
そして、処理回路25は、XおよびYの少なくとも一方が収束するまで、または、計算回数が十分になるまで前記計算を繰り返してXおよびYの少なくとも一方を得る。
[1]:上記式(1)により、AからXとYの計算をし、これらに関するXベースかYベースの空間を規定し、そこに、分析対象のオブジェクトと、その他に基準対象のオブジェクト、またはそれらの代表値かそれらの代表領域の内1種をマッピング(座標計算)する。(この場合、Aには、異なる時点を含んだデータである場合も含み、代表領域には、安定領域も含む)
[2]:AからXとYの計算をし、これらに関するXベースかYベースの空間を造り、そこに、新たな分析対象オブジェクトに関するデータを得てそれをマッピング(座標計算)する。
[3]:AからXとYの計算をし、これらに関するXベースかYベースの空間を造り、そこに、時系列的に採った分析対象オブジェクトをマッピング(座標計算)し、モニタリングする。この場合、空間上の代表領域は、分析対象オブジェクトを移動平均やマハラノビスの距離などを使って、通常状態であればその多次元空間上で一定確率で出現することが判っている判定領域)を設定しておくことが必要。
[4]:ワームの出現監視などのようなシステムで、[3]と基本は同じだが、例示が単純な言葉ではなく、複数のカテゴリーを所有する複数のアイテムからなる属性オブジェクトを持つ。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
例えば、上述した実施形態では、図3に示すステップST1〜ST8で生成した座標に対応した画像をディスプレイ22に表示する場合を例示したが、これらの座標を基に各オブジェクトの近似度や変化の結果を座標上への画像表示以外の方法で出力してもよい。
社会情報の特徴診断法、システム、プログラム:
従来、Webやメデイアでの評判やその社会的な特徴の認識の状態を調べるのに、内容に関する分析は、人が読んで判断することが多かった。
また自動的に処理する場合でも、Webに出現する単独な言葉の頻度分布が他の通常のWeb上に出現する単独の言葉の出現頻度分布との違いによる特徴などから、それらの言葉を抽出することが考えられる。
従来の技術では、ある論文又は記事の要約を作ることを目的に特徴を示す言葉を抽出する技術を開発している。それは参照基準となる論文を多数集め、その単独な言葉の分布に照らし当該論文の単独な言葉の分布を比較することによって、当該論文の特徴を抽出するものである。このような方法を援用することが考えられる。
しかし、このような方法では抽出されたこれらの言葉の相互間の構造的な意味を解析空間上に表示することが出来ず、これらの言葉を相互に関連付けて評判の文脈を理解することは難しいという問題点があった。特に言葉の持つ意味や文脈の変化の特徴や変化の方向性を理解するのは極めて困難であった。また、ある1つの単独なWebの分析には適用できるが、集団を扱う方法は、確立されていなかった。
また、“基準空間地図”上に、第1の集合及びまたは第2の集合のいずれかもしくは双方のメンバーと、その集合のいずれかもしくは双方のメンバーに複数の“属性を示す表示指標”のうち複数の種類の記号を基盤地図にマップし、“意味空間地図”を構成する。
そこに第2のグループと同類の関心の対象である第3のオブジェクトと、第1の集合の言葉や記号の一部または全てを基準のオブジェクトセットとして、それらの組み合わせてその出現頻度や相互関係を示す多次元データを得て、基準のオブジェクトセットの全てまたは一部を媒介にして“意味空間地図”上に第3のグループをマッピングし、“解析空間地図”を構成する。
第1のオブジェクト・セットと第2のオブジェクト・セットの各メンバーの関係を情報圧縮した3次元空間に布置して“基盤空間地図”を構成することで、基準として第1のオブジェクトを修飾語とし、また第2のオブジェクトをメタファー(暗喩)とし、第3の個々または全体のオブジェクトセットの特徴をそれらの位置関係から解釈することが容易になる。
それに加えて第1の集合となる形容詞や副詞には、感情的な表現を示す言葉や、合理的な心理状態を表現する言葉などのメンバーを区分する複数の属性があり、第2の集合の主語となる名詞にも、個人的な人間的な主体語や、組織的な機関的な主体語などのメンバーを区分する複数の属性があり、それらの属性を代表する表示指標を持っている。これらの属性の表示指標を“基盤空間地図”上に示すことによって、“意味空間地図”を構成し、そこに布置された第3の個々または全体のオブジェクトの位置の意味を解釈しやすくできる。
この方法は、関心のあるオブジェクトが社会的に認識されている状況を視覚的に理解することも助ける。
IT化の進展によって社会の利便性が進展している。一般の企業に実ならず公共性の高い銀行などの決済業務、さらにライフラインを司る公共サービス諸機関や、e−ガバメント構想も進められ、社会生活から政治に至るまで、IT依存性を高めている。
一方、IT化によるリスクやそれに伴う社会の脆弱性も増大している。既にスパムの増殖現象がネットワークのボトルネックを生じさせトラフィックをささえるインフラの負担を増大させている。また、パソコンの普及とインターネットの増殖によって分散性が高まる一方結合性も高まり、特定のインシデンスがネットワーク社会で急速に増殖して津波のような被害をもたらす可能性がある。さらに例えばワーム等により人為的にあるキーとなるレイヤーに集中的に攻撃が行われたとき、社会的責任がある機関の機能を損壊させるリスクも高まっている。これらの事が重なると通信のみでなく、放送や場合によると送配電や給排水などのライフラインへの障害も来たしかねない。具体的にはインシデンスの発生したネットワークレイヤー、発生場所、ワームの種類等の複数のカテゴリーのアトリビュートを多次元で同時に処理することによってより感度が高くかつ、安定な異常性の検出が可能になる。このようなワームによるインシデンス対策においても従来は発生件数の急激な増大という単純な計量的な側面の変化だけをモニタリングしており、定量的な側面と定性的な側面を同時に扱い、その症状を診断し、適切な対処法に結びつく効果的な方法は、取り扱われていなかった。
また、高度化する生産ラインや検査工程の多様な属性と、多様なアトリビュートを持った製品や検査データから、製品や工程の異常性への検出への応用も考えられる。
このような時々刻々リアルタイムで異常や有徴現象の生起の有無をモニタリングすることへのニーズが、ますます高まっている。
しかし、それが誰にとっての判断かは、極めて解釈が難しいという問題があった。例えばA社とB社が特許やM&Aで争っており、その社会的反響があるとき、関連のネガテブな記事の件数がA社で引いても、B社で引いても多かったとして、どちらにとってネガテブな記事が多いかは、不明である。それは、その記事に両者の名前がほぼ等しく現れるからである。
核燃料開発機構は、ボールベアリングなどの器機の異常状態をモニタリングするためた地点の振動周波数別などの定性的な多数の属性を持つ多次元データを採取して、過去の異常値データに照らして、その異常性の判定を行うことを発明している。(特許第3108405号)
しかし、これは、測定されたある時点の騒音というスペクトルを持ったオブジェクトの異常性の診断を、本来各種の異常パターンが予定され、その幾つかの複数の種類の参照基準となるデータセットが事前に測定されその分布状態の情報が用意されていて、それらと比較することが前提となっている。事前に複数の種類の教師データがあり、そのどのケースに該当するか、つまり判っている病気の種類が予め決まっていて、そのどれに当たるかを診断することに限られている。またはこの発明は、器機等のハードウエアーの異常診断のためのものである。
例えば、基準となる第1と第2の2つのオブジェクトからなる記号群を設定し、それらの記号を組み合わせて、安定期にそれらの出現頻度を採取して、“基準空間地図”を設定し、また、第1の集合及びまたは第2の集合のいずれかもしくはどちらかに、その集合のメンバーに複数の“属性を示す表示指標”を付して、基盤地図にマップし“意味空間地図”を構成する。
これに、逐次新たな時点の第3のオブジェクトを基準となる第1のオブジェクトと組み合わせてデータを得て、逐次マッピングし、“安定性の判定の基準ゾーン”に照らしてモニタリングを行うことで、問題点を解決する。
この方法は、関心のあるオブジェクトが時系列で変化をする状況を視覚的に理解することも助ける。
4…情報提供サーバ
6…検索サーバ
9…ネットワーク
20…データ線
21…インタフェース
22…ディスプレイ
23操作部
24…メモリ
25…処理回路
STOCD…基準対象オブジェクト分類データ
RTOCD…比較対象オブジェクト分類データ
A1…比較対象行列データ
Y…基準基盤地図行列データ(右特異ベクトル)
X…比較基盤地図行列データ(左特異ベクトル)
SP…基準代表座標行列データ
RP…比較代表座標行列データ
ATOCD…分析基準対象オブジェクト分類データ
B…分析対象行列データ
C…分析対象座標行列データ
Claims (17)
- n(≧2)個の比較対象のオブジェクトの各々についてm(≧2)個の基準対象のオブジェクトに関する接続関係を示す指標値を規定したn行m列の行列データを基に、前記m個の基準対象のオブジェクトの各々について、当該基準対象のオブジェクトに関する前記n個の比較対象のオブジェクトとの接続関係を示す長さnの指標値ベクトルの近似度が高まるに従って座標系内で近い位置に配置されるように、r次元の第1の座標を計算し、前記n行m列の行列データを基に、前記n個の比較対象のオブジェクトが当該比較対象のオブジェクトに関しての前記m個の基準対象のオブジェクトとの長さmの指標値ベクトルの近似度が高まるに従って座標系内に近い位置に配置されるように、前記n個の比較対象のオブジェクトの各々についてr次元の第2の座標を計算する第1の工程
をコンピュータが実行するデータ処理方法。 - 分析対象のオブジェクトについて前記m個の基準対象のオブジェクトに関して取得した接続関係を示す指標値を示す1行m列のデータと、前記第1の工程で計算した前記第1の座標とを基に、前記分析対象のオブジェクトについてのr次元の第3の座標を計算する第2の工程
をさらに前記コンピュータが実行するデータ処理方法。 - 座標系内の前記第1の工程で計算した前記第1の座標および前記2の座標の少なくとも一方と、前記第2の工程で計算した前記第3の座標の画像を表示する第3の工程
をさらに前記コンピュータが実行する請求項2に記載のデータ処理方法。 - 前記m個の基準対象のオブジェクトが分類される分類項目を示す分類データと、前記第1の工程で計算した前記1の座標とを基に、前記分類項目の各々についてのr次元の代表値を示す第4の座標を計算する第4の工程
をさらに前記コンピュータが実行し、
前記第3の工程は、前記座標系内の前記第4の工程で計算した前記第4の座標に画像を表示する
請求項1〜3のいずれかに記載のデータ処理方法。 - 前記n個の比較対象のオブジェクトが分類される分類項目を示す分類データと、前記第1の工程で計算した前記2の座標とを基に、前記分類項目の各々についてのr次元の代表値を示す第5の座標を計算する第5の工程
をさらに前記コンピュータが実行し、
前記第3の工程は、前記座標系内の前記第5の工程で計算した前記第5の座標に画像を表示する
請求項1〜4のいずれかに記載のデータ処理方法。 - 前記第1の工程は、
Aを、前記n行m列の行列データとし、
Xを、前記n個の比較対象のオブジェクトの各々についてのr次元の前記第2の座標を示すn行r列の行列データである左特異行列とし、
Yを、前記m個の基準対象のオブジェクトの各々についてのr次元の前記第1の座標を示すr行m列の行列データである右特異行列とし、
λを、前記行列データAの特異値を大きさの大きな順番で並べて構成されたr行r列の対角行列とし、
rを、2以上で特異値が全て正となる任意の値とし、
A=X・λ・Y
を基に、前記左特異行列および右特異行列を計算する
請求項1〜5のいずれかに記載のデータ処理方法。 - 前記第2の工程は、前記分析対象のオブジェクトについての前記1行m列のベクトルからなる行列データBと、前記右特異行列データYと、行列データWbとを用いて、下記式により、前記基準対象のオブジェクトの座標をベースとした基準対象空間におけるr次元の前記第3の座標を示す1行r列のベクトルCを計算する
請求項2に記載のデータ処理方法。
C=B*Wb*Yt
Wbは、Bから求めるm行m列の重み付行列、
Ytは、右特異行列Yを転置したm行r列の行列データ
ここで、Wb=(diag(Bt1/2*B1/2))-1、または、Wb=(diag(Bt1/2*B1/2))-1/2、である。
diag(「・」)は、「・」の対角要素のみを取り出して作られる対角行列で、対角以外はゼロの正方行列。「・」1/2は、行列「・」の要素を全て平方に開いて作られる行列。[・]-1/2は、[・]の要素を平方で開いてその逆数で構成される行列、「・」-1は、行列「・」の逆行列。「・」tは行列「・」の転置行列。 - 複数の異なるタイミングで前記分析対象オブジェクトについて取得した1行m列のベクトルからなるデータを基に、前記第3の座標の平均的な座標である代表座標を計算し、当該代表座標を基準として前記座標系内に監視基準範囲を示す第6の座標を決定する第6の工程と、
前記第6の工程の後に、新たに取得した前記1行n列のデータを用いて前記第3の工程で計算した前記第3の座標が、前記第6の工程で決定した前記監視基準範囲外になった場合に判定処理を行う第7の工程と
をさらに前記コンピュータが実行する請求項1〜7いずれかに記載のデータ処理方法。 - 前記基準対象のオブジェクトの座標をベースとした基準対象空間における前記分析対象のオブジェクトの座標を計算する処理、または前記比較対象のオブジェクトの座標をベースとした比較対象空間における前記基準対象のオブジェクトの座標を計算する処理を行う第8の工程
をさらに前記コンピュータが実行する
請求項1〜8のいずれかに記載のデータ処理方法。 - 前記第1の工程は、
前記基準対象空間上の前記比較対象のオブジェクトの座標Xの計算「X=A*Wa1*Yt」をYに初期値として乱数を与えて行い、当該計算で得られたXを平均が所定の値となるように正規化し、さらに各軸が直交化するように変換し、それぞれの軸の分散が所定の定数となるように変換して新しく修正されたXを得て、
前記比較対象空間上の前記基準対象のオブジェクトの座標Yの計算を「Yt=At*Wa2*X」を基に行い、
当該計算により得られた新しいYを用いて「X=A*Wa1*Yt」を基にXを計算し、得られたXを平均がゼロとなるように正規化し、さらに各軸が直交化するように変換し、それぞれの軸の分散が所定の定数となるように変換して、新しく修正されたXを得て、
当該計算により得られた新しいXを用いて、比較対象空間上の前記基準対象のオブジェクトの座標Yの計算を「Yt=At*Wa2*X」を基に行い、
当該計算により得られた新しいYを使ってXの計算を「X=A*Wa1*Yt」を基に行い、得られたXを平均が所定の値となるように正規化し、さらに各軸が直交化するように変換し、それぞれの軸の分散が所定の定数となるように変換して、さらに新しく修正されたXを得て、
XおよびYの少なくとも一方が収束するまで、または、計算回数が十分になるまで前記計算を繰り返してXおよびYの少なくとも一方を得る、
ここで、Yは前記r行m列の行列データ、YtはYを転置した行列データ、Atは前記行列データAの転置行列、m行m列のWa1およびn行n列のWa2は各々Aから求める重み付行列、Xはn行r列の行列データ、XtはXの転置行列である、
Wa1=(diag(At 1/2*A1/2))-1、または、Wa1=(diag(At 1/2*A1/2))-1/2、
Wa2=(diag(A1/2*At 1/2))-1、または、Wa2=(diag(A1/2*At 1/2))-1/2、
であり、
diag(「・」)は「・」の対角要素のみを取り出して作られる対角行列、対角以外はゼロの正方行列、「・」1/2は行列「・」の要素を全て平方に開いて作られる行列、「・」tは行列「・」の転置行列、「・」-1は行列「・」の逆行列である
請求項1〜9のいずれかに記載のデータ処理方法。 - 前記第1の工程は、
前記比較対象空間上の前記基準対象のオブジェクトの座標Yの計算を「Yt=At*Wa2*X」をXの初期値に乱数を与えて計算し、得られたYを平均が所定の値となるように正規化し、さらに各軸が直交化するように変換し、それぞれの軸の分散が所定の定数となるように変換して、新しく修正されたYを得て、
前記基準対象空間上の前記比較対象のオブジェクトの座標Xの計算を「X=A*Wa1*Yt」を基に行い、当該計算で得られたXを平均がゼロとなるように正規化し、さらに各軸が直交化するように変換し、それぞれの軸の分散が所定の定数となるように変換して、新しく修正されたXを得て、
当該得られた新しいXを使って「Yt=At*Wa2*X」を基にYを計算し、新しく修正されたYを得て、
前記基準対象空間上の前記比較対象のオブジェクトの座標Xの計算を「X=A*Wa1*Yt」を基に行い、
さらに再び得られた新しいXを使って「Yt=At*Wa2*X」を基にYを計算し、得られたYを平均が所定の値となるように正規化し、さらに各軸が直交化するように変換し、それぞれの軸の分散が所定の定数となるように変換して、さらに新しく修正されたYを得て、
XおよびYの少なくとも一方が収束するまで、または、計算回数が十分になるまで前記計算を繰り返してXおよびYの少なくとも一方を得る、
ここで、Yは前記r行m列の行列データ、YtはYを転置した行列データ、Atは前記行列データAの転置行列、m行m列のWa1およびn行n列のWa2は各々Aから求める重み付行列、Xはn行r列の行列データ、XtはXの転置行列である、
Wa1=(diag(At 1/2*A1/2))-1、または、Wa1=(diag(At 1/2*A1/2))-1/2、
Wa2=(diag(A1/2*At 1/2))-1、または、Wa2=(diag(A1/2*At 1/2))-1/2、
であり、
diag(「・」)は「・」の対角要素のみを取り出して作られる対角行列、対角以外はゼロの正方行列、「・」1/2は行列「・」の要素を全て平方に開いて作られる行列、「・」tは行列「・」の転置行列、「・」-1は行列「・」の逆行列である
請求項1〜9のいずれかに記載のデータ処理方法。 - 前記比較対象のオブジェクトは名詞を含み、前記基準対象のオブジェクトは形容詞を含みそれらのオブジェクト間の接続の強さを表す行列データを直交する数次元空間に配置し、そこに前記分析のオブジェクトは企業や商品名を含んだオブジェクトと前記比較対象あるいは基準対象のオブジェクトとの接続強度を示すデータを得て前記数次元の空間にマップする方法であって、
前記分析対象のオブジェクトもしくはその代表値の前記数次元の空間上のポジションを時系列によって変化する動きを表現し、もしくは警戒限界を設定してモニタリングをする
前記請求項2〜11のいずれかにデータ処理方法。 - 前記比較対象のオブジェクトは購入または決済に関するトランザクション・イベントの単位記録もしくは購入者もしくは決裁者を区別する記録を含み、前記基準対象のオブジェクトはトランザクション・イベントの対象となった購入アイテムまたは決済に関するトランザクション・イベントもしくは購入者もしくは決裁者の属性を含みそれらのオブジェクト間の接続の強さを表す行列データを直交する数次元空間に配置し、そこに前記分析対象のオブジェクトはトランザクションに関わった購入者または決裁者を含み、前記基準対象のオブジェクトとの接続強度を示すデータを得て前記数次元の空間にマップする方法であって、
前記分析対象のオブジェクトもしくはその代表値の前記数次元の空間上のポジションを時系列によって変化する動きを表現し、もしくは警戒限界を設定してモニタリングをする
前記請求項2〜11のいずれかに記載のデータ処理方法。 - 前記比較対象のオブジェクトは発生が検知されたインターネット上のワームの発生に関する発生のイベントを区別する記録を含み、前記基準対象のオブジェクトは前記比較対象のオブジェクトの属性を含みそれらのオブジェクト間の接続の強さを表す行列データを所定数のタイミング以上採取し、それらを直交する数次元空間に配置しその分布から警戒範囲を設定し、そこに前記分析対象のオブジェクトはインターネット上に発生するワームの発生に関する発生のイベントを区別する記録をオブジェクトとして前記基準対象のオブジェクトとの接続強度を示すデータを得て、
前記分析対象のオブジェクトもしくはその代表値の前記数次元の空間上のポジションを時系列によって変化する動きを表現し、警戒限界を持って異常が発生したかをモニタリングをする
前記請求項2〜11のいずれかに記載のデータ処理方法。 - n(≧2)個の比較対象のオブジェクトの各々についてm(≧2)個の基準対象のオブジェクトに関する接続関係を示す指標値を規定したn行m列の行列データを記憶するメモリと、
前記メモリから読み出した前記行列データを基に処理を行う処理回路と
を有し、
前記処理回路は、
前記行列データを基に、前記ジェクトの各々について、当該基準対象のオブジェクトに関する前記n個の比較対象のオブジェクトとの接続関係を示す長さnの指標値ベクトルの近似度が高まるに従って座標系内で近い位置に配置されるように、r次元の第1の座標を計算し、前記n行m列の行列データを基に、前記n個の比較対象のオブジェクトが当該比較対象のオブジェクトに関しての前記m個の基準対象のオブジェクトとの長さmの指標値ベクトルの近似度が高まるに従って座標系内に近い位置に配置されるように、前記n個の比較対象のオブジェクトの各々についてr次元の第2の座標を計算し、
分析対象のオブジェクトについて前記m個の基準対象のオブジェクトに関して取得した接続関係を示す指標値を示す1行m列のデータと、前記計算した前記第1の座標とを基に、前記分析対象のオブジェクトについてのr次元の第3の座標を計算し、
座標系内の前記計算した前記第1の座標および前記2の座標の少なくとも一方と、前記計算した前記第3の座標の画像を表示し、
前記m個の基準対象のオブジェクトが分類される分類項目を示す分類データと、前記計算した前記1の座標とを基に、前記分類項目の各々についてのr次元の代表値を示す第4の座標を計算し、当該第4の座標に画像を表示し、
前記n個の比較対象のオブジェクトが分類される分類項目を示す分類データと、前記計算した前記2の座標とを基に、前記分類項目の各々についてのr次元の代表値を示す第5の座標を計算し、当該第5の座標に画像を表示し、
複数の異なるタイミングで前記分析対象オブジェクトについて取得した1行m列のデータを基に、前記第3の座標の平均的な座標である代表座標を計算し、当該代表座標を基準として前記座標系内に監視基準を示す第6の座標を決定を行う
データ処理装置。 - n(≧2)個の比較対象のオブジェクトの各々についてm(≧2)個の基準対象のオブジェクトに関する接続関係を示す指標値を規定したn行m列の行列データを基に、前記m個の基準対象のオブジェクトの各々について、当該基準対象のオブジェクトに関する前記n個の比較対象のオブジェクトとの接続関係を示す長さnの指標値ベクトルの近似度が高まるに従って座標系内で近い位置に配置されるように、r次元の第1の座標を計算し、前記n行m列の行列データを基に、前記n個の比較対象のオブジェクトが当該比較対象のオブジェクトに関しての前記m個の基準対象のオブジェクトとの長さmの指標値ベクトルの近似度が高まるに従って座標系内に近い位置に配置されるように、前記n個の比較対象のオブジェクトの各々についてr次元の第2の座標を計算する第1の手順と、
分析対象のオブジェクトについて前記m個の基準対象のオブジェクトに関して取得した接続関係を示す指標値を示す1行m列のデータと、前記第1の手順で計算した前記第1の座標とを基に、前記分析対象のオブジェクトについてのr次元の第3の座標を計算する第2の手順と、
座標系内の前記第1の手順で計算した前記第1の座標および前記2の座標の少なくとも一方と、前記第3の手順で計算した前記第3の座標の画像を表示する第3の手順と、
前記m個の基準対象のオブジェクトが分類される分類項目を示す分類データと、前記第1の手順で計算した前記1の座標とを基に、前記分類項目の各々についてのr次元の代表値を示す第4の座標を計算する第4の手順と、
前記n個の比較対象のオブジェクトが分類される分類項目を示す分類データと、前記第1の手順で計算した前記2の座標とを基に、前記分類項目の各々についてのr次元の代表値を示す第5の座標を計算する第5の手順と、
複数の異なるタイミングで前記分析対象オブジェクトについて取得した1行m列のデータを基に、前記第3の座標の平均的な座標である代表座標を計算し、当該代表座標を基準として前記座標系内に監視基準を示す第6の座標を決定する第6の手順と
を有し、
前記第3の手順は、前記座標系内の前記第4の手順で計算した前記第4の座標に画像と、前記座標系内の前記第5の手順で計算した前記第5の座標に画像とを表示する
処理をコンピュータに実行させるプログラム。 - 前記請求項16のプログラムをコンピュータが実行して生成した画像データを記録する記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007129889A JP4986226B2 (ja) | 2006-05-15 | 2007-05-15 | データ処理方法、データ処理装置およびプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006135368 | 2006-05-15 | ||
JP2006135368 | 2006-05-15 | ||
JP2007129889A JP4986226B2 (ja) | 2006-05-15 | 2007-05-15 | データ処理方法、データ処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007334871A true JP2007334871A (ja) | 2007-12-27 |
JP4986226B2 JP4986226B2 (ja) | 2012-07-25 |
Family
ID=38934249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007129889A Active JP4986226B2 (ja) | 2006-05-15 | 2007-05-15 | データ処理方法、データ処理装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4986226B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010257360A (ja) * | 2009-04-28 | 2010-11-11 | Data Keekibeeka Kk | 警報処理方法、警報処理装置およびそのプログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001351127A (ja) * | 2000-06-07 | 2001-12-21 | Sharp Corp | データ表示システム |
JP2002024283A (ja) * | 2000-06-30 | 2002-01-25 | Fuji Xerox Co Ltd | 接続関係表示方法及び装置 |
JP2004086262A (ja) * | 2002-08-23 | 2004-03-18 | Nippon Telegr & Teleph Corp <Ntt> | 視覚的情報分類方法、視覚的情報分類装置、視覚的情報分類プログラムおよびそのプログラムを記録した記録媒体 |
JP2005092356A (ja) * | 2003-09-12 | 2005-04-07 | Shin Etsu Polymer Co Ltd | 文書分類装置及び文書分類方法 |
JP2005092442A (ja) * | 2003-09-16 | 2005-04-07 | Mitsubishi Research Institute Inc | 多次元空間モデル表現装置および多次元空間モデル表現方法 |
JP2005316897A (ja) * | 2004-04-30 | 2005-11-10 | Nippon Telegr & Teleph Corp <Ntt> | 視覚的分類方法及び装置及びプログラム及び視覚的分類プログラムを格納した記憶媒体 |
JP2005332080A (ja) * | 2004-05-18 | 2005-12-02 | Nippon Telegr & Teleph Corp <Ntt> | 視覚的情報分類方法及び装置及びプログラム及び視覚的情報分類プログラムを記録した記憶媒体 |
JP2005339050A (ja) * | 2004-05-25 | 2005-12-08 | Som Japan:Kk | 球状自己組織化マップを利用した樹形図作成装置、樹形図作成方法及び樹形図作成プログラム |
WO2006028154A1 (ja) * | 2004-09-09 | 2006-03-16 | Kyoto University | 情報管理システム、情報管理方法、情報管理プログラムおよびその記録媒体 |
-
2007
- 2007-05-15 JP JP2007129889A patent/JP4986226B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001351127A (ja) * | 2000-06-07 | 2001-12-21 | Sharp Corp | データ表示システム |
JP2002024283A (ja) * | 2000-06-30 | 2002-01-25 | Fuji Xerox Co Ltd | 接続関係表示方法及び装置 |
JP2004086262A (ja) * | 2002-08-23 | 2004-03-18 | Nippon Telegr & Teleph Corp <Ntt> | 視覚的情報分類方法、視覚的情報分類装置、視覚的情報分類プログラムおよびそのプログラムを記録した記録媒体 |
JP2005092356A (ja) * | 2003-09-12 | 2005-04-07 | Shin Etsu Polymer Co Ltd | 文書分類装置及び文書分類方法 |
JP2005092442A (ja) * | 2003-09-16 | 2005-04-07 | Mitsubishi Research Institute Inc | 多次元空間モデル表現装置および多次元空間モデル表現方法 |
JP2005316897A (ja) * | 2004-04-30 | 2005-11-10 | Nippon Telegr & Teleph Corp <Ntt> | 視覚的分類方法及び装置及びプログラム及び視覚的分類プログラムを格納した記憶媒体 |
JP2005332080A (ja) * | 2004-05-18 | 2005-12-02 | Nippon Telegr & Teleph Corp <Ntt> | 視覚的情報分類方法及び装置及びプログラム及び視覚的情報分類プログラムを記録した記憶媒体 |
JP2005339050A (ja) * | 2004-05-25 | 2005-12-08 | Som Japan:Kk | 球状自己組織化マップを利用した樹形図作成装置、樹形図作成方法及び樹形図作成プログラム |
WO2006028154A1 (ja) * | 2004-09-09 | 2006-03-16 | Kyoto University | 情報管理システム、情報管理方法、情報管理プログラムおよびその記録媒体 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010257360A (ja) * | 2009-04-28 | 2010-11-11 | Data Keekibeeka Kk | 警報処理方法、警報処理装置およびそのプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4986226B2 (ja) | 2012-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Empirical studies of information visualization: a meta-analysis | |
TWI772673B (zh) | 行業識別模型確定方法和裝置 | |
CN110032665B (zh) | 确定关系网络图中图节点向量的方法及装置 | |
Toledano et al. | Real-time anomaly detection system for time series at scale | |
WO2021068781A1 (zh) | 一种疲劳状态识别方法、装置和设备 | |
Yu et al. | Oil price forecasting with an EMD-based multiscale neural network learning paradigm | |
Liu et al. | Damage assessment with state–space embedding strategy and singular value decomposition under stochastic excitation | |
CN103530312B (zh) | 使用多方面足迹的用户标识的方法和系统 | |
CN109829721A (zh) | 基于异质网络表征学习的线上交易多主体行为建模方法 | |
CN115577701A (zh) | 针对大数据安全的风险行为识别方法、装置、设备及介质 | |
CN109711849B (zh) | 以太坊地址画像生成方法、装置、电子设备及存储介质 | |
CN112631889B (zh) | 针对应用系统的画像方法、装置、设备及可读存储介质 | |
JP4986226B2 (ja) | データ処理方法、データ処理装置およびプログラム | |
CN108282468A (zh) | 一种应用层DDoS攻击检测方法及装置 | |
Pascual et al. | Monitoring a bivariate INAR (1) process with application to Hepatitis A | |
Hou | Financial Abnormal Data Detection System Based on Reinforcement Learning | |
Li et al. | A commonsense knowledge-enabled textual analysis approach for financial market surveillance | |
JP4519880B2 (ja) | 指標抽出装置、指標抽出方法及びそのコンピュータプログラム | |
Keim et al. | Visual analytics challenges | |
Chauhan et al. | Bertops: Studying bert representations under a topological lens | |
CN113642669A (zh) | 基于特征分析的防欺诈检测方法、装置、设备及存储介质 | |
Wu et al. | Leveraging free labels to power up heterophilic graph learning in weakly-supervised settings: An empirical study | |
CN110798335A (zh) | 网络资产指数分析方法、装置、服务终端和存储介质 | |
Huneiti | Interpreting web usage patterns generated using a hybrid SOM-based clustering technique | |
JPWO2012127646A1 (ja) | 計算機システム及び計算機システムを用いた情報提示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120323 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120420 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4986226 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |