JP2017072882A - アノマリ評価プログラム、アノマリ評価方法、および情報処理装置 - Google Patents
アノマリ評価プログラム、アノマリ評価方法、および情報処理装置 Download PDFInfo
- Publication number
- JP2017072882A JP2017072882A JP2015197554A JP2015197554A JP2017072882A JP 2017072882 A JP2017072882 A JP 2017072882A JP 2015197554 A JP2015197554 A JP 2015197554A JP 2015197554 A JP2015197554 A JP 2015197554A JP 2017072882 A JP2017072882 A JP 2017072882A
- Authority
- JP
- Japan
- Prior art keywords
- state
- transition
- unit
- cluster
- anomaly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 21
- 238000011156 evaluation Methods 0.000 title claims description 19
- 230000007704 transition Effects 0.000 claims abstract description 181
- 239000011159 matrix material Substances 0.000 claims abstract description 80
- 230000008859 change Effects 0.000 claims abstract description 22
- 238000003860 storage Methods 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 23
- 230000002159 abnormal effect Effects 0.000 abstract description 16
- 230000002123 temporal effect Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 86
- 230000008569 process Effects 0.000 description 63
- 230000006870 function Effects 0.000 description 34
- 230000014509 gene expression Effects 0.000 description 24
- 239000013598 vector Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 238000012800 visualization Methods 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 13
- 238000009826 distribution Methods 0.000 description 13
- 238000003745 diagnosis Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000001276 Kolmogorov–Smirnov test Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000000546 chi-square test Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/079—Root cause analysis, i.e. error or fault diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0751—Error or fault detection not based on redundancy
- G06F11/0754—Error or fault detection not based on redundancy by exceeding limits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
- G06F11/0778—Dumping, i.e. gathering error/state information after a fault for later diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Abstract
【解決手段】情報処理装置10は、時系列に連続する複数の単位期間ごとの、管理対象のシステム1の状態を示す状態情報を、所定の条件でクラスタリングする。次に情報処理装置10は、クラスタリングにより生成された複数のクラスタそれぞれを状態の遷移元および遷移先とする。さらに情報処理装置10は、複数の単位期間それぞれの状態情報が属するクラスタの時間変化に基づいて、遷移元と遷移先との組ごとの、遷移元から遷移先へのシステム1の状態の遷移確率を示す、遷移確率行列2を生成する。そして情報処理装置10は、遷移確率行列2に基づいて、複数の単位期間のうちの第1の単位期間の状態情報に示される状態から、第1の単位期間よりも後の第2の単位期間の状態情報に示される状態への、システム1の状態の遷移が、アノマリか否かを判定する。
【選択図】図1
Description
コンピュータは、時系列に連続する複数の単位期間ごとの、管理対象のシステムの状態を示す状態情報を、所定の条件でクラスタリングする。次にコンピュータは、クラスタリングにより生成された複数のクラスタそれぞれを状態の遷移元および遷移先とし、複数の単位期間それぞれの状態情報が属するクラスタの時間変化に基づいて、該遷移元と該遷移先との組ごとの、該遷移元から該遷移先へのシステムの状態の遷移確率を示す、遷移確率行列を生成する。そしてコンピュータは、遷移確率行列に基づいて、複数の単位期間のうちの第1の単位期間の状態情報に示される状態から、第1の単位期間よりも後の第2の単位期間の状態情報に示される状態への、システムの状態の遷移が、アノマリか否かを判定する。
〔第1の実施の形態〕
まず第1の実施の形態について説明する。第1の実施の形態では、情報処理装置が、システムの複数の項目間の値の時間変化の相関関係に基づいて、単位期間ごとに、システムの状態を示す相関情報を生成する。そして、情報処理装置は、複数の相関情報のクラスタリングを行う。このとき、「システムの状態」と「クラスタ」を同一視することができ、生成される相関情報がどのクラスタに属するかにより、システムの状態変化を的確に監視することができる。
次に第2の実施の形態について説明する。
図2は、第2の実施の形態のシステム構成例を示す図である。システム30は、ネットワーク20を介して観測装置100に接続されている。システム30は、サーバ、ストレージ装置、ネットワーク機器などの装置を含むICTシステムである。観測装置100は、システム30から動作状態を示す情報を取得し、取得した情報に基づいて、システム30の動作を監視する。
図4は、観測装置の機能を示すブロック図である。観測装置100は、動作情報収集部110、動作ログ記憶部120、統計量生成部130、事前学習部140、学習結果記憶部150、オンライン識別部160、定常性判定部170、アノマリ判定部180、および可視化部190を有する。
図5は、動作ログ記憶部に格納されている動作ログの一例を示す図である。動作ログ記憶部120には、複数の動作ログ121,122,・・・が格納されている。
図6は、事前学習モードでの動作状態解析処理を示す図である。まず、統計量生成部130が、動作ログ121,122,・・・に基づいて統計量生成処理を実行し、多次元統計量(SDR)41,42,・・・を生成する。1つのSDRは、特定の単位期間の動作ログに基づいて生成される。性能項目がN個(Nは2以上の整数)の場合、SDRは、N行N列の行列(相関行列)で表すことができる。行列内の各要素は、2つの性能項目間の相関関係の有無を表している。相関行列内の要素を、一列に並べ、SDRをベクトルで表すこともできる。生成された複数のSDR41,42,・・・は、それぞれ、対応する単位期間内でのシステム30の動作状態を表している。
図7は、統計量生成処理の一例を示すフローチャートである。以下、図7に示す処理をステップ番号に沿って説明する。
[ステップS102]統計量生成部130は、システム30に含まれる各装置の単位期間内の動作を示す動作ログに基づいて、単位期間内でのシステム30の各性能項目の時間変化を算出する。例えば統計量生成部130は、性能項目ごとに、システム30内の複数の装置それぞれの動作ログに示される数値(時系列データ)の時刻ごとの平均を採り、平均値の時間変化とする。
図8は、SDRの生成例を示す図である。N個の性能項目があるとき、2つずつの組み合わせごとの相関係数が算出され、相関行列51が生成される。例えば、性能項目M1と性能項目M2との相関係数が、相関行列51の第1行・第2列の要素および第2行・第1列の要素として設定されている。
次に、事前学習処理について詳細に説明する。
図9は、事前学習処理の一例を示すフローチャートである。以下、図9に示す処理をステップ番号に沿って説明する。
[ステップS112]事前学習部140は、集合Sに属するSDR間の類似度を計算する。類似度としては、例えばジャッカード(Jaccard)係数を用いることができる。ジャッカード係数を類似度とする場合、任意のx,y∈Sに対して、類似度J(x,y)は以下の式で定義される。
J(x,y)=Bit(x∩y)/Bit(x∪y) ・・・(1)
Bit()関数は、ベクトルの「1」の数を数える関数である。「x∩y」は、xのSDRのベクトルとyのSDRのベクトルとの要素ごとの論理積である。例えばx=(1,0,0,1)、y=(0,1,0,1)のとき、「x∩y=(0,0,0,1)」となる。「x∪y」は、xのSDRのベクトルとyのSDRのベクトルとの要素ごとの論理和である。例えばx=(1,0,0,1)、y=(0,1,0,1)のとき、「x∪y=(1,1,0,1)」となる。類似度の値が大きいほど、比較された2つのSDR(SDRペア)が類似していることを示す。
x,y∈S,x〜y ⇔ J(x,y)≧th ・・・(2)
[ステップS114]事前学習部140は、集合Sに属するSDRのうち、類似関係にある相手を最も多く有するSDRを、中心核S1*に決定する。
Sim(S1*)={∀Si∈S|J(S1*,Si)≧th} ・・・(3)
類似集合Sim(S1*)内の要素の順序は、類似度による降順である。すなわち、類似集合Sim(S1*)の要素の先頭は、中心核S1*である。類似集合Sim(S1*)に含まれる要素数をm(mは1以上の整数)とすると、類似集合Sim(S1*)は、以下のように表すことができる。
Sim(S1*)={s1=S1*,s2,・・・,sm} ・・・(4)
事前学習部140は、類似集合Sim(S1*)に含まれるSDRのうち、互いに類似関係を有するSDRの集合により、クラスタCを生成する。互いに類似関係を有するSDRの数がk(kは1以上の整数)のとき、クラスタCは以下の式で表される。
C={s1,s2,・・・,sk} ・・・(5)
ここで、クラスタC内の任意の2つのSDRをsi,sjとしたとき、常に類似度J(si,sj)≧thが成り立つ。
[ステップS117]事前学習部140は、集合Sが空集合になったか否かを判断する。集合Sが空集合であれば、処理がステップS118に進められる。集合Sに少なくとも1つのSDRが含まれていれば、処理がステップS114に進められる。
図10は、発生確率の算出例を示す図である。例えば事前学習部140は、1日の時間帯ごとのシステム30の状態を示すクラスタIDを、クラスタID管理表61に設定する。クラスタID管理表61には、1日をK個の時間帯に分割して得られる時間帯の終了する時刻に対応付けて、各日における該当時間帯内でのシステム30の状態を示すクラスタIDが設定されている。事前学習部140は、観測期間内の各日の時刻T1に設定されたクラスタIDを抽出し、各クラスタIDの出現頻度(出現した回数)を計数する。これにより、時刻T1におけるクラスタIDの頻度分布が得られる。
図12は、学習結果の一例を示す図である。学習結果151には、例えば発生確率情報151a、遷移確率行列151b、およびクラスタ情報151cが含まれる。発生確率情報151aには、時刻ごとに、該当時刻におけるクラスタIDごとの発生確率が設定される。
[ステップS131]定常性判定部170は、事前学習期間Ltrainを2分割する。定常性判定部170は、2分割で得られた分割期間を、LA,LBとする。
[ステップS136]定常性判定部170は、P−定常性が存在すると判断する。
[ステップS138]定常性判定部170は、3つの期間から2つずつの組(3通り)を生成し、組となった2つの期間の遷移確率行列の間に、有意な差が存在するか否かを検定する。
[ステップS141]定常性判定部170は、T−定常性が存在すると判断する。その後、処理がステップS143に進められる。
[ステップS143]定常性判定部170は、T−定常性がある場合、P−定常性の判定結果により、処理を分岐させる。P−定常性がない場合、処理がステップS144に進められる。P−定常性がある場合、処理がステップS145に進められる。
[ステップS145]定常性判定部170は、T−定常性とP−定常性との両方がある場合、アノマリ判定の動作モードを「通常モード」に設定し、処理を終了する。
図14は、稼働診断モードでの動作状態解析処理を示す図である。稼働診断モードでは、システム30からリアルタイム方式により、動作ログ121a,122a,・・・が収集される。そして動作ログ121a,122a,・・・を取得するごとに、統計量生成部130により、SDR41a,42a,・・・が生成される。
図15は、オンライン識別処理の一例を示すフローチャートである。以下、図15に示す処理をステップ番号に沿って説明する。
[ステップS202]オンライン識別部160は、選択したクラスタの代表和と代表積とを算出する。
Ctrain={C1,C2,・・・,Cn} ・・・(6)
各クラスタ∀Ciについての代表和Si:+と代表積Si:Xとを、以下のように定義する。
∀Ci∈Ctrain,∀Sk∈Ci,Si:+=∪kSk,Si:X=∩kSk ・・・(7)
代表和は、クラスタ内のSDRの要素ごとのビット値の論理和である。すなわち代表和は、いずれか1つのSDRにおいて「1」の要素については「1」、すべてのSDRにおいて「0」の要素は「0」としたベクトルである。代表積は、クラスタ内のSDRの要素ごとのビット値の論理積である。すなわち代表積は、クラスタ内のすべてのSDRにおいて「1」の要素については「1」、いずれか1つのSDRにおいて「0」の要素は「0」としたベクトルである。
Sx∈Ci ⇔ ∃Ci∈Ctrain,(Sx⊂Si:+)&(Sx⊃Si:X) ・・・(8)
式(8)において、「Sx⊂Si:+」は、新たなSDRのベクトルにおいて「1」となっている要素は、クラスタCiの代表和においても「1」となっていることを示す。「Sx⊃Si:X」は、クラスタCiの代表積で「1」となっている要素は、新たなSDRのベクトルにおいても「1」となっていることを示す。新たなSDRが「Sx⊂Si:+」と「Sx⊃Si:X」との両方を満たす場合、そのSDRはクラスタCiに属するものと判断できる。このような計算により、ビットベクトルの比較を2回行うだけで、新たなSDRがどのクラスタに属するのかを判定できる。
J((Si:+∪Sx),(Si:X∩Sx))≧th ・・・(9)
新たなSDRに対して、式(8)を満たさなくても式(9)を満たすクラスタCiがあれば、新たなSDRはそのクラスタCiに属していると判断できる。
Cn+1={Sx} ・・・(10)
[ステップS208]オンライン識別部160は、新たに生成したクラスタに基づいて、発生確率情報151a(図12参照)と遷移確率行列151b(図12参照)とを拡張する。具体的にはオンライン識別部208は、発生確率情報151aに対して、クラスタIDの欄を1つ増やす。またオンライン識別部160は、遷移確率行列151bに対して、遷移元クラスタIDの列を1つ追加し、遷移先クラスタIDの行を1つ追加する。
次に、アノマリ判定処理について詳細に説明する。第2の実施の形態では、アノマリ判定として、「状態アノマリ」、「時系列アノマリ」、「定常性アノマリ」の有無を判定する。
また、アノマリ判定部180は、新規のSDRが既存のクラスタに属する場合でも、そのSDRの生成元となる動作ログの採取時刻において、そのSDRが属するクラスタについてのクラスタID発生確率が所定の閾値以下であれば、状態アノマリとする。
Ase(id)=N(F(Eval(P(id,t)))) ・・・(11)
式(11)において、P(id,t)は、時刻tにおける「id」に示されるクラスタIDの発生確率である。Eval(x)は、確率評価関数である。F(x)は、フィルタ関数であり、Eval関数の結果を強調するなどの変換を行う関数である。N(x)は、規格化関数であり、アノマリの値を0〜1に収める働きをする。
<状態アノマリスコア(第1の例)>
P(id,t)=0の場合、Ase(id)=1 ・・・(12)
P(id,t)≠0の場合、
・Eval(x)=1/P(id,t) ・・・(13)
・F(x)=if(x>10) then 1 else 0 ・・・(14)
・N(x)=x ・・・(15)
式(12)は、新規のSDRが属するクラスタについて、そのSDRのオンライン識別前におけるそのクラスタのクラスタIDに対する発生確率が「0」の場合である。この場合、状態アノマリスコアを最大値「1」にすることで、状態アノマリの発生が表される。
P(id,t)=0の場合、Ase(id)=1 ・・・(16)
P(id,t)≠0の場合、
・Eval(x)=1/P(id,t) ・・・(17)
・F(x)=ln(x) ・・・(18)
・N(x)=x ・・・(19)
第2の例における式(16)、(17)、(19)は、それぞれ第1の例の式(12)、(13)、(15)と同じである。式(18)のln(x)は自然対数を表している。
P(id,t)=0の場合、Ase(id)=1 ・・・(20)
P(id,t)≠0の場合、
・Eval(x)=Rank(P(id,t)) ・・・(21)
・F(x)=x ・・・(22)
・N(x)=x/IDmax ・・・(23)
第3の例における式(20)は、第1の例の式(12)と同じである。式(21)におけるRank(x)は、存在するクラスタIDそれぞれの発生確率を、値の大きい順でソートしたときの、クラスタID「id」の発生確率の順位である。例えば、クラスタID=1〜3について、発生確率がP(1,t)=0.1、P(2,t)=0.7、P(3,t)=0.2であるものとする。このとき、Rank(P(1,t))=3、Rank(P(2,t))=1、Rank(P(3,t))=2となる。式(22)に示すフィルタ関数では何もせず、入力された値がそのまま出力される。式(23)の「IDmax」は、クラスタIDの最大値である。クラスタID=1〜3であればIDmax=3であり、N(x)=x/3である。新規に生成されたSDRが属するクラスタのクラスタIDが「1」(P(1,t)=0.1、Rank(P(1,t))=3)の場合、状態アノマリスコアは以下の通りとなる。
Ase(1)=Rank(P(1,t))/IDmax=3/3=1 ・・・(24)
上記のいずれかの計算式により状態アノマリスコアを算出できる。そして状態アノマリスコアが所定値以上であれば、状態アノマリが発生していると判断される。
例えば,時刻t0−1における各クラスタに属するSDRの発生頻度が得られているものとする。このとき、時刻t0における各クラスタに属するSDRの発生頻度は、以下の式で表される。
Φt0=TΦt0-1 ・・・(26)
Φt0は、Φt0=(Φt0(S1),Φt0(S2),・・・,Φt0(SM))の列ベクトルである。Φt0-1は、Φt0-1=(Φt0-1(S1),Φt0-1(S2),・・・,Φt0-1(SM))の列ベクトルである。Tは、遷移確率行列である。
Φ1=TΦ0
Φ2=TΦ1
:
Φn=TΦn-1 ・・・(27)
すると、任意の時刻における各クラスタに属するSDRの発生確率は、遷移確率行列Tを用いて、以下のように表すことができる。
Φn=TnΦ0 ・・・(28)
式(28)を用いれば、任意の時刻における各クラスタに属するSDRの発生確率について、その時刻の過去の複数の時刻の発生確率分布それぞれから計算できる。
現在から「τ×Δt」(τ=1,2,・・・,τmax)だけ遡った時点から、クラスタID「id」の遷移確率行列を用いて計算した発生確率を、Φ1(id),Φ2(id),…,Φτmax(id)とする。なお、Δtは、例えば動作ログの取得間隔である。このとき時系列アノマリスコアは、例えば以下の式で計算できる。
Ass(id)=N(F(Eval(Φ1(id),Φ2(id),…,Φτmax(id)))) ・・・(29)
ここで「Eval(x1,x2, …xτmax)」は、遷移確率評価関数である。F(x)は、遷移確率評価関数の結果を強調するためのフィルタ関数である。N(x)は、アノマリ値を0〜1に収めるための規格化関数である。具体的には、以下のような計算式で時系列アノマリスコアを計算できる。
Eval(x1,…,xτmax)=A1×Rank(x1)+A2×Rank(x2)+…+Aτmax×Rank(xτmax) ・・・(30)
F(x)=x ・・・(31)
N(x)=x/(τmax×IDmax) ・・・(32)
式(30)のA1,・・・,Aτmaxは、重みを示す定数である。例えばA1=1,A2=1/2,A3=1/3,・・・,Aτmax=1/τmaxである。このように重み付けをすることで、現在に近いほど高い重み付けとなり、過去に遡るほど低い重み付けとなる。これにより、現在に近い時点の状態に基づく発生確率ほど時系列アノマリスコアに対する影響度が高くなる。現在に近い時点の状態に基づく発生確率の方が、現在から遠い時点の状態に基づく発生確率よりも信頼性が高い。そのため、このような重み付けを行うことで、信頼性の高い時系列アノマリスコアを計算できる。
なお、アノマリ判定部180は、状態アノマリスコアと時系列アノマリスコアとを統合したアノマリスコア(状態・時系列アノマリスコア)を計算することもできる。状態・時系列アノマリスコアは、時系列アノマリスコアを拡張して、例えば以下の式で表される。
Ass(id)=N(F(Eval(Φ0(id),Φ1(id),Φ2(id),…,Φτmax(id)))) ・・・(33)
式(33)の「Φ0(id)」は、発生確率情報151aに示されている、現在の時刻におけるクラスタID「id」の発生確率「P(id,t)」である。「Eval(x0,x1,x2, …xτmax)」は、評価関数である。F(x)は、評価関数の結果を強調するためのフィルタ関数である。N(x)は、アノマリ値を0〜1に収めるための規格化関数である。
次に、アノマリ判定処理の手順について説明する。
[ステップS221]アノマリ判定部180は、定常性判定部170から直近とその前との定常性判定結果を取得する。定常性判定結果には、例えばT−定常性の有無、P−定常性の有無、アノマリ判定の適用が不適かどうか、動作モードが非周期モードなのか通常モードなのかの情報が含まれる。
[ステップS225]アノマリ判定部180は、状態アノマリスコアが所定値以上か否かを判断する。所定値以上であれば、処理がステップS226に進められる。所定値未満であれば、処理がステップS227に進められる。
[ステップS227]アノマリ判定部180は、遷移確率行列151bに基づいて、時系列アノマリスコアを計算する。
[ステップS230]アノマリ判定部180は、定常性から逸脱したか否かを判断する。例えば、T−定常性またはP−定常性について、前回の定常性判定において定常性が存在していたのに、今回の定常性判定において定常性が存在しないと判断された場合、定常性から逸脱したと判断する。定常性から逸脱した場合、処理がステップS231に進められる。定常性から逸脱していない場合、アノマリ判定処理が終了する。
このようにして、システム30の状態を表すSDRが、どのクラスタに属するのかによって、アノマリの検出が可能となる。アノマリの検出状況は、可視化部190によって、モニタ21に表示される。
図22は、性能項目の可視化の一例を示す図である。図22の例では、可視化画面84内に、複数の性能項目表示部84a,84b,84c,84d,・・・が設けられている。性能項目表示部84a,84b,84c,84d,・・・それぞれには、項目の値の時間変化が示されている。
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の2以上の構成(特徴)を組み合わせたものであってもよい。
2 遷移確率行列
10 情報処理装置
11 記憶部
11a,11b,・・・ 時系列データ
11−1 状態管理テーブル
12 演算部
Claims (7)
- コンピュータに、
時系列に連続する複数の単位期間ごとの、管理対象のシステムの状態を示す状態情報を、所定の条件でクラスタリングし、
クラスタリングにより生成された複数のクラスタそれぞれを状態の遷移元および遷移先とし、前記複数の単位期間それぞれの状態情報が属するクラスタの時間変化に基づいて、該遷移元と該遷移先との組ごとの、該遷移元から該遷移先への前記システムの状態の遷移確率を示す、遷移確率行列を生成し、
前記遷移確率行列に基づいて、前記複数の単位期間のうちの第1の単位期間の状態情報に示される状態から、前記第1の単位期間よりも後の第2の単位期間の状態情報に示される状態への、前記システムの状態の遷移が、アノマリか否かを判定する、
処理を実行させるアノマリ評価プログラム。 - 前記判定では、前記複数の単位期間を前記第1の単位期間とし、複数の前記第1の単位期間それぞれの状態情報に示される状態から、複数の前記第1の単位期間のすべてより後の前記第2の単位期間の状態情報に示される状態への、前記システムの状態の遷移が、アノマリか否かを判定する、
請求項1記載のアノマリ評価プログラム。 - 前記判定では、複数の前記第1の単位期間それぞれについて、前記第1の単位期間の状態情報が属する第1のクラスタと、前記第2の単位期間の状態情報が属する第2のクラスタとの組に対応する遷移確率を、前記遷移確率行列から取得し、複数の前記第1の単位期間それぞれに応じて取得した遷移確率に基づいて、複数の前記第1の単位期間の状態情報それぞれに示される状態から、前記第2の単位期間の状態情報に示される状態へ、前記システムの状態が遷移する可能性を示す評価値を算出し、該評価値に基づいてアノマリか否かを判定する、
請求項2記載のアノマリ評価プログラム。 - 前記評価値の算出では、前記第1の単位期間と前記第2の単位期間との時間差が小さいほど、前記第1の単位期間に応じて取得した遷移確率に対して高い重み付けを行い、前記評価値を算出する、
請求項3記載のアノマリ評価プログラム。 - コンピュータに、
時系列に連続する複数の単位期間ごとの、管理対象のシステムの状態を示す状態情報を、所定の条件でクラスタリングし、
前記複数の単位期間を包含する全期間の中から、前記全期間の少なくとも一部である第1の期間と、前記全期間の少なくとも一部であり、前記第1の期間とは異なる第2の期間とを特定し、
クラスタリングにより生成された複数のクラスタそれぞれを状態の遷移元および遷移先とし、前記第1の期間に含まれる単位期間それぞれの状態情報が属するクラスタの時間変化に基づいて、該遷移元と該遷移先との組ごとの、該遷移元から該遷移先への前記システムの状態の遷移確率を示す、第1の遷移確率行列を生成し、
クラスタリングにより生成された複数のクラスタそれぞれを状態の遷移元および遷移先とし、前記第2の期間に含まれる単位期間それぞれの状態情報が属するクラスタの時間変化に基づいて、該遷移元と該遷移先との組ごとの、該遷移元から該遷移先への前記システムの状態の遷移確率を示す、第2の遷移確率行列を生成し、
前記第1の遷移確率行列と前記第2の遷移確率行列とに有意な差があるか否かにより、アノマリか否かを判定する、
処理を実行させるアノマリ評価プログラム。 - コンピュータが、
時系列に連続する複数の単位期間ごとの、管理対象のシステムの状態を示す状態情報を、所定の条件でクラスタリングし、
クラスタリングにより生成された複数のクラスタそれぞれを状態の遷移元および遷移先とし、前記複数の単位期間それぞれの状態情報が属するクラスタの時間変化に基づいて、該遷移元と該遷移先との組ごとの、該遷移元から該遷移先への前記システムの状態の遷移確率を示す、遷移確率行列を生成し、
前記遷移確率行列に基づいて、前記複数の単位期間のうちの第1の単位期間の状態情報に示される状態から、前記第1の単位期間よりも後の第2の単位期間の状態情報に示される状態への、前記システムの状態の遷移が、アノマリか否かを判定する、
アノマリ評価方法。 - 時系列に連続する複数の単位期間ごとの、管理対象のシステムの状態を示す状態情報を記憶する記憶部と、
前記複数の単位期間ごとの状態情報を所定の条件でクラスタリングし、クラスタリングにより生成された複数のクラスタそれぞれを状態の遷移元および遷移先とし、前記複数の単位期間それぞれの状態情報が属するクラスタの時間変化に基づいて、該遷移元と該遷移先との組ごとの、該遷移元から該遷移先への前記システムの状態の遷移確率を示す、遷移確率行列を生成し、前記遷移確率行列に基づいて、前記複数の単位期間のうちの第1の単位期間の状態情報に示される状態から、前記第1の単位期間よりも後の第2の単位期間の状態情報に示される状態への、前記システムの状態の遷移が、アノマリか否かを判定する演算部と、
を有する情報処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015197554A JP6652699B2 (ja) | 2015-10-05 | 2015-10-05 | アノマリ評価プログラム、アノマリ評価方法、および情報処理装置 |
US15/284,128 US9753801B2 (en) | 2015-10-05 | 2016-10-03 | Detection method and information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015197554A JP6652699B2 (ja) | 2015-10-05 | 2015-10-05 | アノマリ評価プログラム、アノマリ評価方法、および情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017072882A true JP2017072882A (ja) | 2017-04-13 |
JP6652699B2 JP6652699B2 (ja) | 2020-02-26 |
Family
ID=58447878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015197554A Expired - Fee Related JP6652699B2 (ja) | 2015-10-05 | 2015-10-05 | アノマリ評価プログラム、アノマリ評価方法、および情報処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9753801B2 (ja) |
JP (1) | JP6652699B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101775478B1 (ko) * | 2017-05-04 | 2017-09-06 | 국방과학연구소 | 발사절차 또는 점검절차 과정에서 특이점 행렬을 이용한 데이터 비정상 오류 검출 방법 |
JP2019003533A (ja) * | 2017-06-19 | 2019-01-10 | 日本電信電話株式会社 | 検知装置および検知方法 |
JP2019008711A (ja) * | 2017-06-28 | 2019-01-17 | 富士通株式会社 | 表示制御プログラム、表示制御方法、及び表示制御装置 |
WO2019142591A1 (ja) * | 2018-01-22 | 2019-07-25 | 日本電気株式会社 | 異常検知装置 |
JP2019185673A (ja) * | 2018-04-17 | 2019-10-24 | 株式会社Nttドコモ | 認証装置 |
US11210157B2 (en) | 2019-03-12 | 2021-12-28 | Fujitsu Limited | Output method and information processing apparatus |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5875726B1 (ja) * | 2015-06-22 | 2016-03-02 | 株式会社日立パワーソリューションズ | 異常予兆診断装置のプリプロセッサ及びその処理方法 |
US10642813B1 (en) | 2015-12-14 | 2020-05-05 | Amazon Technologies, Inc. | Techniques and systems for storage and processing of operational data |
US9785495B1 (en) * | 2015-12-14 | 2017-10-10 | Amazon Technologies, Inc. | Techniques and systems for detecting anomalous operational data |
US10338982B2 (en) * | 2017-01-03 | 2019-07-02 | International Business Machines Corporation | Hybrid and hierarchical outlier detection system and method for large scale data protection |
US10474523B1 (en) * | 2017-10-27 | 2019-11-12 | EMC IP Holding Company LLC | Automated agent for the causal mapping of complex environments |
CN109976986B (zh) * | 2017-12-28 | 2023-12-19 | 阿里巴巴集团控股有限公司 | 异常设备的检测方法及装置 |
US11032152B2 (en) | 2018-04-25 | 2021-06-08 | Dell Products L.P. | Machine-learning based self-populating dashboard for resource utilization monitoring in hyper-converged information technology environments |
US11966218B2 (en) * | 2018-06-15 | 2024-04-23 | Mitsubishi Electric Corporation | Diagnosis device, diagnosis method and program |
JP7310137B2 (ja) * | 2018-12-28 | 2023-07-19 | 株式会社Gsユアサ | データ処理装置、データ処理方法、及びコンピュータプログラム |
GB2583718A (en) * | 2019-05-01 | 2020-11-11 | Samsung Electronics Co Ltd | Method, apparatus and computer program for updating a cluster probability model |
CN111091223B (zh) * | 2019-10-30 | 2023-08-04 | 华电电力科学研究院有限公司 | 一种基于物联网智能感知技术的配变短期负荷预测方法 |
CN110837432A (zh) * | 2019-11-14 | 2020-02-25 | 北京金山云网络技术有限公司 | 服务集群中异常节点的确定方法、装置和监控服务器 |
WO2021215019A1 (en) * | 2020-04-23 | 2021-10-28 | Nec Corporation | Information processing apparatus, information processing method and non-transitory computer readable medium |
CN113379182B (zh) * | 2021-04-27 | 2022-09-16 | 云南电网有限责任公司昆明供电局 | 一种基于多维状态参数的中低压设备健康状态评估方法 |
US20230206196A1 (en) * | 2021-12-28 | 2023-06-29 | Optum Services (Ireland) Limited | Granular process fault detection |
CN115709200A (zh) * | 2022-11-25 | 2023-02-24 | 贵州电网有限责任公司 | 一种高性能计算集群系统故障预测装置及其使用方法 |
CN116340796B (zh) * | 2023-05-22 | 2023-12-22 | 平安科技(深圳)有限公司 | 时序数据分析方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012141909A (ja) * | 2011-01-06 | 2012-07-26 | Hitachi Ltd | 異常検知方法およびそれを用いた情報処理システム |
US20140142727A1 (en) * | 2011-03-02 | 2014-05-22 | Carrier Corporation | SPC Fault Detection and Diagnostics Algorithm |
JP2014120001A (ja) * | 2012-12-17 | 2014-06-30 | Kddi Corp | 監視装置、監視対象ホストの監視方法、監視プログラム及び記録媒体 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6735550B1 (en) * | 2001-01-16 | 2004-05-11 | University Corporation For Atmospheric Research | Feature classification for time series data |
US7917333B2 (en) * | 2008-08-20 | 2011-03-29 | Caterpillar Inc. | Virtual sensor network (VSN) based control system and method |
WO2012067031A1 (ja) | 2010-11-17 | 2012-05-24 | 日本電気株式会社 | 違反予兆条件設定支援システム、違反予兆条件設定支援方法および違反予兆条件設定支援プログラム |
TWI515522B (zh) | 2010-12-28 | 2016-01-01 | 萬國商業機器公司 | 測定系統情況的方法、電腦程式及電腦 |
US9075713B2 (en) | 2012-05-24 | 2015-07-07 | Mitsubishi Electric Research Laboratories, Inc. | Method for detecting anomalies in multivariate time series data |
JP6066825B2 (ja) * | 2013-05-17 | 2017-01-25 | 株式会社日立製作所 | データ分析装置及び保健事業支援方法 |
-
2015
- 2015-10-05 JP JP2015197554A patent/JP6652699B2/ja not_active Expired - Fee Related
-
2016
- 2016-10-03 US US15/284,128 patent/US9753801B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012141909A (ja) * | 2011-01-06 | 2012-07-26 | Hitachi Ltd | 異常検知方法およびそれを用いた情報処理システム |
US20140142727A1 (en) * | 2011-03-02 | 2014-05-22 | Carrier Corporation | SPC Fault Detection and Diagnostics Algorithm |
JP2014120001A (ja) * | 2012-12-17 | 2014-06-30 | Kddi Corp | 監視装置、監視対象ホストの監視方法、監視プログラム及び記録媒体 |
Non-Patent Citations (1)
Title |
---|
菅谷 みどり 他: "「組込みシステム向けオンライン障害検出システムの提案」", 情報処理学会研究報告 2010 APRIL[DVD−ROM], JPN6019008959, 16 April 2010 (2010-04-16), JP, pages 第1頁-第8頁 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101775478B1 (ko) * | 2017-05-04 | 2017-09-06 | 국방과학연구소 | 발사절차 또는 점검절차 과정에서 특이점 행렬을 이용한 데이터 비정상 오류 검출 방법 |
JP2019003533A (ja) * | 2017-06-19 | 2019-01-10 | 日本電信電話株式会社 | 検知装置および検知方法 |
JP2019008711A (ja) * | 2017-06-28 | 2019-01-17 | 富士通株式会社 | 表示制御プログラム、表示制御方法、及び表示制御装置 |
WO2019142591A1 (ja) * | 2018-01-22 | 2019-07-25 | 日本電気株式会社 | 異常検知装置 |
JPWO2019142591A1 (ja) * | 2018-01-22 | 2021-01-14 | 日本電気株式会社 | 異常検知装置 |
JP2019185673A (ja) * | 2018-04-17 | 2019-10-24 | 株式会社Nttドコモ | 認証装置 |
JP7003361B2 (ja) | 2018-04-17 | 2022-01-20 | 株式会社Nttドコモ | 認証装置 |
US11210157B2 (en) | 2019-03-12 | 2021-12-28 | Fujitsu Limited | Output method and information processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
US9753801B2 (en) | 2017-09-05 |
JP6652699B2 (ja) | 2020-02-26 |
US20170097863A1 (en) | 2017-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6652699B2 (ja) | アノマリ評価プログラム、アノマリ評価方法、および情報処理装置 | |
JP6555061B2 (ja) | クラスタリングプログラム、クラスタリング方法、および情報処理装置 | |
US9298538B2 (en) | Methods and systems for abnormality analysis of streamed log data | |
US10216558B1 (en) | Predicting drive failures | |
US9921937B2 (en) | Behavior clustering analysis and alerting system for computer applications | |
US9652318B2 (en) | System and method for automatically managing fault events of data center | |
JP5444673B2 (ja) | ログ管理方法、ログ管理装置、ログ管理装置を備えた情報処理装置、及びプログラム | |
US10452458B2 (en) | Computer performance prediction using search technologies | |
US20150205691A1 (en) | Event prediction using historical time series observations of a computer application | |
US9870294B2 (en) | Visualization of behavior clustering of computer applications | |
JP2017076360A (ja) | 予測信頼性マイニングのためのシステム及び方法 | |
CN111459700A (zh) | 设备故障的诊断方法、诊断装置、诊断设备及存储介质 | |
JP2018045403A (ja) | 異常検知システム及び異常検知方法 | |
US20210026725A1 (en) | Method and device for determining an estimated time before a technical incident in a computing infrastructure from values of performance indicators | |
JP2007207173A (ja) | 性能分析プログラム、性能分析方法、および性能分析装置 | |
US20160255109A1 (en) | Detection method and apparatus | |
JPWO2019239542A1 (ja) | 異常検知装置、異常検知方法及び異常検知プログラム | |
US20210026719A1 (en) | Method and device for determining a technical incident risk value in a computing infrastructure from performance indicator values | |
CN114169604A (zh) | 性能指标的异常检测方法、异常检测装置、电子设备和存储介质 | |
WO2015110873A1 (en) | Computer performance prediction using search technologies | |
US8812659B2 (en) | Feedback-based symptom and condition correlation | |
Amram et al. | Interpretable predictive maintenance for hard drives | |
Zeydan et al. | Cloud 2 HDD: large-scale HDD data analysis on cloud for cloud datacenters | |
WO2019073512A1 (ja) | システム分析方法、システム分析装置、および、プログラム | |
Sylligardos et al. | Choose wisely: An extensive evaluation of model selection for anomaly detection in time series |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190520 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190520 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6652699 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |