JP2018055294A - Program for detecting abnormal condition from event groups in time series, device and method - Google Patents
Program for detecting abnormal condition from event groups in time series, device and method Download PDFInfo
- Publication number
- JP2018055294A JP2018055294A JP2016188905A JP2016188905A JP2018055294A JP 2018055294 A JP2018055294 A JP 2018055294A JP 2016188905 A JP2016188905 A JP 2016188905A JP 2016188905 A JP2016188905 A JP 2016188905A JP 2018055294 A JP2018055294 A JP 2018055294A
- Authority
- JP
- Japan
- Prior art keywords
- event group
- state
- evaluation value
- evaluation
- value distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
- Maintenance And Management Of Digital Transmission (AREA)
Abstract
Description
本発明は、状態変化を伴う時系列のイベント群から、異常状態を検知する技術に関する。 The present invention relates to a technique for detecting an abnormal state from a time-series event group accompanied by a state change.
ICT(Information and Communication Technologies)のネットワーク内では、1つの原因から多様なイベントが大量に発生することがある。例えば、1台の通信装置の障害発生によって、サーバやルータ等の異なる多数の通信装置から、異常時に特有のイベントが大量に発生する。ネットワーク管理者は、障害発生の通信装置を迅速に検知し、異常状態期間をできる限り短縮する必要がある。一般に、ネットワークにおける異常状態は、通信装置が自ら発信するアラートによって直接的に検知される。 In an ICT (Information and Communication Technologies) network, a large number of various events may occur from one cause. For example, when a failure occurs in one communication device, a large number of unique events are generated from a large number of different communication devices such as servers and routers at the time of abnormality. The network administrator needs to quickly detect the communication device in which the failure has occurred and to shorten the abnormal state period as much as possible. In general, an abnormal state in the network is directly detected by an alert transmitted by the communication device itself.
一方で、異常状態の発生時に、必ずしもアラートが発信されるとは限らない。障害発生の通信装置の挙動を許容しつつ、ネットワーク全体として正常に動作しようとする。そのために、アラート以外の情報に基づいて、異常状態を検知する必要がある。 On the other hand, an alert is not always transmitted when an abnormal state occurs. The network as a whole tries to operate normally while allowing the behavior of the communication device in which the failure has occurred. Therefore, it is necessary to detect an abnormal state based on information other than the alert.
従来、通信装置から発信される時系列のイベント群を用いて、異常状態を検知しようとする技術がある。
例えば、ナイーブベイズやサポートベクタマシン、決定木などの機械学習アルゴリズムを用いる技術がある(例えば特許文献1〜3参照)。この技術によれば、発生したイベントの組み合わせによって、異常状態を検知する。
また、時間付きマルコフモデルを用いて、発生数の少ない時系列のイベント群を用いる技術もある(例えば非特許文献1参照)。この技術によれば、イベントの発生順序及び発生時間間隔を紐付けて、異常状態を検知する。
Conventionally, there is a technique for detecting an abnormal state using a time-series event group transmitted from a communication device.
For example, there are techniques using machine learning algorithms such as naive Bayes, support vector machines, and decision trees (see, for example, Patent Documents 1 to 3). According to this technique, an abnormal state is detected by a combination of events that have occurred.
There is also a technique that uses a time-series event group with a small number of occurrences using a timed Markov model (see, for example, Non-Patent Document 1). According to this technique, an abnormal state is detected by associating the occurrence order and occurrence time interval of events.
特許文献1〜3に記載の技術によれば、イベントの発生順及び発生時間間隔を考慮しないために、ネットワーク全体への異常状態の波及を検知することはできない。
また、非特許文献1に記載の技術によれば、時系列のイベントの発生確率のみに基づいて判定しているために、異常の判定真偽の確率が低くなっていた。特に、異常状態か否かの判定閾値が任意に設定されており、時系列イベントにおける異常状態の判定基準が最適化されていないという問題があった。
According to the techniques described in Patent Literatures 1 to 3, since the order of occurrence of events and the time interval between occurrences are not taken into account, the propagation of an abnormal state to the entire network cannot be detected.
Further, according to the technique described in Non-Patent Document 1, since the determination is based only on the occurrence probability of the time series event, the probability of abnormality determination true / false has been low. In particular, there is a problem that a threshold value for determining whether or not an abnormal state is set is arbitrarily set, and a criterion for determining an abnormal state in a time series event is not optimized.
そもそも、様々な大量のイベント群を、正常状態/異常状態でリアルタイムに切り分けることができれば、その原因となる障害箇所も推定しやすくなると考えられる。しかしながら、一般的に、イベント同士の関連性は極めて複雑で且つ規則性が無いために、正常状態/異常状態を切り分けて判断することが難しい。 In the first place, if a large number of various event groups can be separated in a normal state / abnormal state in real time, it may be easy to estimate a failure location that causes the event group. However, in general, since the relationship between events is extremely complicated and has no regularity, it is difficult to determine whether the normal state / abnormal state is separated.
これに対し、本願の発明者らは、状態変化を表すイベントであれば、正常時イベント群と異常時イベント群とで、異なるふるまいを検知できるのではないか?と考えた。即ち、異なるふるまいとなる判定閾値を最適に設定できれば、異常の判定真偽の確率を高めることができるのではないか?と考えた。 On the other hand, the inventors of the present application may detect different behaviors between the normal event group and the abnormal event group if the event represents a state change. I thought. In other words, if the determination threshold value with different behavior can be set optimally, can the probability of abnormality determination true / false be increased? I thought.
そこで、本発明は、様々な時系列のイベント群から、イベントの状態変化に基づいて、異常状態か否かの判定閾値を最適に設定することができるプログラム、装置及び方法を提供することを目的とする。 Accordingly, the present invention provides a program, an apparatus, and a method capable of optimally setting a determination threshold value for determining whether or not an abnormal state has occurred based on a change in the state of an event from various time-series event groups. And
本発明によれば、時系列の運用時イベント群E'Mに対する異常を判定する装置に搭載されたコンピュータを機能させるプログラムであって、
教師データに基づく時系列の全てのイベント群ENを用いて、状態iの滞在時間に応じた状態iから状態jへの遷移確率を算出した時間付きマルコフモデルを学習するマルコフモデル学習手段と、
教師データに基づく過去の時系列の正常時イベント群P0及び異常時イベント群P1それぞれに対して、状態遷移における遷移確率の加算値又は乗算値を評価値として算出し、該評価値に対する出現頻度を計数した評価値分布Rを算出する評価値分布算出手段と、
正常イベント群の評価値分布R0と異常イベント群の評価値分布R1との間で、所定条件の評価閾値を算出する評価閾値算出手段と
してコンピュータを機能させると共に、
評価値分布算出手段は、運用時イベント群E'Mに対して更に評価値分布Rを算出し、
運用時イベント群E'Mの評価値分布が、評価閾値以下に偏っている場合に、異常と判定する異常判定手段と
して更にコンピュータを機能させることを特徴とする。
According to the present invention, there is provided a program for causing a computer mounted on a device for determining an abnormality to a time-series operational event group E ′ M to function,
A Markov model learning means for learning a timed Markov model that calculates the transition probability from the state i to the state j according to the stay time of the state i using all the time series of events E N based on the teacher data;
For each of the normal time event group P 0 and the abnormal time event group P 1 in the past time series based on the teacher data, an addition value or a multiplication value of the transition probability in the state transition is calculated as an evaluation value, and the appearance of the evaluation value Evaluation value distribution calculating means for calculating an evaluation value distribution R counting the frequency;
Between the evaluation value distribution R 1 evaluation value distribution R 0 abnormal event group normal event group causes the computer to function as an evaluation threshold calculating means for calculating an evaluation threshold of a predetermined condition,
The evaluation value distribution calculating means further calculates an evaluation value distribution R for the operational event group E ′ M ,
When the evaluation value distribution of the operating event group E ′ M is biased to be equal to or less than the evaluation threshold value, the computer is further caused to function as an abnormality determination means for determining an abnormality.
本発明のプログラムにおける他の実施形態によれば、
状態iの滞在時間に応じた状態iから状態jへの遷移確率は、
gij×Fij(T)
gij:状態iから状態jへの状態間の遷移確率
Fij(Ti):状態iから状態jへの遷移について状態iでの滞在時間Ti=tj−ti以内に状態遷移する確率
として表すようにコンピュータを機能させることも好ましい。
According to another embodiment of the program of the present invention,
The transition probability from state i to state j according to the stay time of state i is
g ij × F ij (T)
g ij : Probability of transition between states from state i to state j F ij (T i ): Transition from state i to state j within a stay time T i = t j −t i in state i It is also preferred to have the computer function as expressed as a probability.
本発明のプログラムにおける他の実施形態によれば、
イベント群EN={e1,e2,・・・,eN}における各イベントenは、発生時刻及び発生後状態を含む
en=(tn,xn)
tn:enの発生時刻
xn:enの発生後状態、xn∈Y
Y:イベント群ENによって生じ得る全状態集合
Y={y1,y2,・・・,ys}
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the program of the present invention,
Event group E N = {e 1, e 2, ···, e N} each event e n in the, e n, including the generation time and generating post-state = (t n, x n)
t n : occurrence time of e n
x n : state after occurrence of e n , x n ∈ Y
Y: All state sets that can be generated by event group E N
Y = {y 1 , y 2 ,..., Y s }
It is also preferable to make the computer function.
本発明のプログラムにおける他の実施形態によれば、
イベント群ENの中で、連続する時系列の所定数K個をスライディングウィンドウ方式で切り出したイベント群Pv,Kについて、
過去の時系列の正常時イベント群P0は、各イベント群Pv,Kの中で正常時と判定されたイベント群であり、
過去の時系列の異常時イベント群P1は、各イベント群Pv,Kの中で異常時と判定されたイベント群である
Pv,K={ev,ev+1,・・・,ev+K-1}、v=(1,2,・・・,N-K+1)
P={P1,K,P2,K,・・・,PN-K+1,K}
P0={P0|P0は正常時イベント群,P0∈P}
P1={P1|P1は異常時イベント群,P1∈P}
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the program of the present invention,
Among the event group E N , the event group P v, K obtained by cutting out a predetermined number K of continuous time series by the sliding window method,
The past normal time event group P 0 is an event group determined to be normal among the event groups P v, K.
The abnormal time event group P 1 in the past time series is an event group determined to be abnormal in each event group P v, K. P v, K = {e v , e v + 1 ,. , e v + K-1 }, v = (1,2, ..., N-K + 1)
P = {P1 , K , P2 , K ,..., PN-K + 1, K }
P 0 = {P 0 | P 0 is a normal event group, P 0 ∈P}
P 1 = {P 1 | P 1 is an abnormal event group, P 1 ∈P}
It is also preferable to make the computer function.
本発明のプログラムにおける他の実施形態によれば、
評価閾値算出手段は、i状態からj状態への状態間の遷移確率gxixjに、正常時イベント群の評価値分布R0の最小評価値R0 minと、異常時イベント群の評価値分布R1の最大評価値R1 maxとの差を最大化する係数αxixjを重み付けて、評価閾値を算出する
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the program of the present invention,
The evaluation threshold value calculation means includes a transition probability g xixj between states from the i state to the j state, a minimum evaluation value R 0 min of the normal event group evaluation value distribution R 0 , and an abnormal event group evaluation value distribution R the difference between the first maximum evaluation value R 1 max Te weighting coefficients alpha XiXj maximize, preferably also causes a computer to function so as to calculate the evaluation threshold.
本発明のプログラムにおける他の実施形態によれば、
係数αxixjは、以下の目的関数及び制約条件に基づいて、線形計画問題として最適化して算出されたものである
目的関数:
最大化 αmax=R0 min−R1 max
制約条件:
R(P0)={R(p0)|p0∈P0}:正常時イベント群に基づく評価値の集合
R(P1)={R(p1)|p1∈P1}:異常時イベント群に基づく評価値の集合
R0 min=min(R(P0)):正常時イベント群に基づく最小評価値
R1 max=min(R(P1)):正常時イベント群に基づく最大評価値
R0 min>R1 max:正常時イベント群に基づく評価値の方が大きな値
αxixj>0
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the program of the present invention,
The coefficient α xixj is calculated by optimizing as a linear programming problem based on the following objective function and constraints: Objective function:
Maximization α max = R 0 min −R 1 max
Restrictions:
R (P 0 ) = {R (p 0 ) | p 0 ∈P 0 }: Set of evaluation values based on normal event groups R (P 1 ) = {R (p 1 ) | p 1 ∈P 1 }: Set of evaluation values based on abnormal event group R 0 min = min (R (P 0 )): Minimum evaluation value based on normal event group R 1 max = min (R (P 1 )): Normal event group Maximum evaluation value based on R 0 min > R 1 max : Evaluation value based on normal event group is larger α xixj > 0
It is also preferable to make the computer function.
本発明のプログラムにおける他の実施形態によれば、
評価閾値算出手段は、正常イベント群に基づく評価値分布の最小評価値R0 minと、異常イベント群に基づく評価値分布の最大評価値R1 maxとの中央値を、評価閾値として算出する
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the program of the present invention,
The evaluation threshold value calculation means calculates a median value of the minimum evaluation value R 0 min of the evaluation value distribution based on the normal event group and the maximum evaluation value R 1 max of the evaluation value distribution based on the abnormal event group as the evaluation threshold value. It is also preferable to make the computer function.
本発明のプログラムにおける他の実施形態によれば、
イベントは、通信装置から発信されたデータパケットであり、
状態は、通信装置の各ポートにおける「リンク有り+第1の速度」「リンク有り+第2の速度」「リンク無し」である
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the program of the present invention,
An event is a data packet transmitted from a communication device,
It is also preferable to cause the computer to function such that “with link + first speed”, “with link + second speed”, and “without link” at each port of the communication device.
本発明によれば、時系列の運用時イベント群E'Mに対する異常を判定する装置であって、
教師データに基づく時系列の全てのイベント群ENを用いて、状態iの滞在時間に応じた状態iから状態jへの遷移確率を算出した時間付きマルコフモデルを学習するマルコフモデル学習手段と、
教師データに基づく過去の時系列の正常時イベント群P0及び異常時イベント群P1それぞれに対して、状態遷移における遷移確率の加算値又は乗算値を評価値として算出し、該評価値に対する出現頻度を計数した評価値分布Rを算出する評価値分布算出手段と、
正常イベント群の評価値分布R0と異常イベント群の評価値分布R1との間で、所定条件の評価閾値を算出する評価閾値算出手段と
を有すると共に、
評価値分布算出手段は、運用時イベント群E'Mに対して更に評価値分布Rを算出し、
運用時イベント群E'Mの評価値分布が、評価閾値以下に偏っている場合に、異常と判定する異常判定手段と
を更に有することを特徴とする。
According to the present invention, an apparatus for determining an abnormality with respect to a time-series operational event group E ′ M ,
A Markov model learning means for learning a timed Markov model that calculates the transition probability from the state i to the state j according to the stay time of the state i using all the time series of events E N based on the teacher data;
For each of the normal time event group P 0 and the abnormal time event group P 1 in the past time series based on the teacher data, an addition value or a multiplication value of the transition probability in the state transition is calculated as an evaluation value, and the appearance of the evaluation value Evaluation value distribution calculating means for calculating an evaluation value distribution R counting the frequency;
Between the evaluation value distribution R 1 evaluation value distribution R 0 abnormal event group normal event group, and having an evaluation threshold calculating means for calculating an evaluation threshold of a predetermined condition,
The evaluation value distribution calculating means further calculates an evaluation value distribution R for the operational event group E ′ M ,
The system further includes an abnormality determination unit that determines that an abnormality occurs when the evaluation value distribution of the operating event group E ′ M is biased to be equal to or less than the evaluation threshold value.
本発明によれば、時系列の運用時イベント群E'Mに対する異常を判定する装置の異常判定方法であって、
装置は、
学習段階として、
教師データに基づく時系列の全てのイベント群ENを用いて、状態iの滞在時間に応じた状態iから状態jへの遷移確率を算出した時間付きマルコフモデルを学習する第11のステップと、
教師データに基づく過去の時系列の正常時イベント群P0及び異常時イベント群P1それぞれに対して、状態遷移における遷移確率の加算値又は乗算値を評価値として算出し、該評価値に対する出現頻度を計数した評価値分布Rを算出する第12のステップと、
正常イベント群の評価値分布R0と異常イベント群の評価値分布R1との間で、所定条件の評価閾値を算出する第13のステップと
を実行し、
運用段階として、
運用時イベント群E'Mに対して、状態遷移における遷移確率の加算値又は乗算値を評価値として算出し、該評価値に対する出現頻度を計数した評価値分布Rを算出する第21のステップと、
運用時イベント群E'Mの評価値分布が、評価閾値以下に偏っている場合に、異常と判定する第22のステップと
を更に実行することを特徴とする。
According to the present invention, there is provided an abnormality determination method for an apparatus for determining an abnormality with respect to a time-series operational event group E ′ M ,
The device
As a learning stage,
Using all sets of events E N time series based on the training data, and the eleventh step of learning Timed Markov model to calculate the probability of transition from state i corresponding to the residence time of the state i to state j,
For each of the normal time event group P 0 and the abnormal time event group P 1 in the past time series based on the teacher data, an addition value or a multiplication value of the transition probability in the state transition is calculated as an evaluation value, and the appearance of the evaluation value A twelfth step of calculating an evaluation value distribution R counting the frequency;
Between the evaluation value distribution R 1 evaluation value distribution R 0 abnormal event group normal event group to perform a thirteenth step of calculating an evaluation threshold of a predetermined condition,
As an operational stage,
A twenty-first step of calculating an evaluation value distribution R in which an added value or a multiplied value of transition probabilities in state transitions is calculated as an evaluation value for the operating event group E ′ M and the appearance frequency with respect to the evaluation value is counted; ,
When the evaluation value distribution of the operation event group E ′ M is biased to be equal to or less than the evaluation threshold value, a twenty-second step for determining an abnormality is further performed.
本発明のプログラム、装置及び方法によれば、様々な時系列のイベント群から、イベントの状態変化に基づいて、異常状態か否かの判定閾値を最適に設定することができるプログラム、装置及び方法を提供することを目的とする。 According to the program, apparatus, and method of the present invention, a program, apparatus, and method that can optimally set a threshold for determining whether or not there is an abnormal state based on a change in the state of an event from various time-series event groups. The purpose is to provide.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の異常判定装置を有するシステム構成図である。 FIG. 1 is a system configuration diagram having an abnormality determination device of the present invention.
図1によれば、異常判定装置1は、事業者ネットワークに配置されており、多数の通信装置における異常状態を検知するものである。各通信装置は、異常を通知するアラーム(例えばリンクダウンや信号同期エラー)に限られず、自らの状態を表す「イベント」を発信している。異常判定装置1は、それらイベント群を収集することによって、異常状態を検知する。事業者ネットワークに配置される通信装置としては、例えばルータやスイッチのような経路制御装置がある。
事業者ネットワークとしては、例えばLTE(Long Term Evolution)やWiMAX(Worldwide Interoperability for Microwave Access)のようなアクセスネットワークであってもよいし、IMSのようなコアネットワークであってもよい。
According to FIG. 1, the abnormality determination device 1 is arranged in an operator network and detects an abnormal state in a large number of communication devices. Each communication device is not limited to an alarm for notifying an abnormality (for example, a link down or a signal synchronization error), and transmits an “event” indicating its own state. The abnormality determination device 1 detects an abnormal state by collecting these event groups. As a communication device arranged in the carrier network, for example, there is a route control device such as a router or a switch.
The provider network may be an access network such as LTE (Long Term Evolution) or WiMAX (Worldwide Interoperability for Microwave Access), or may be a core network such as IMS.
「イベント」とは、通信装置から発信された、状態を含むデータパケットである。
「状態」とは、例えばスイッチの場合、各ポートにおける「リンク有り+第1の速度」「リンク有り+第2の速度」「リンク無し」のようなものである。
また、イベント群EN={e1,e2,・・・,eN}における各イベントenは、発生時刻及び発生後状態を含む。
en=(tn,xn)
en:n番目のイベント
tn:enの発生時刻
xn:enの発生後状態
イベントには、他のイベントとの相関性を表す情報は全く含まれておらず、イベント同士のみを比較しても、その相関性は見出せないものである。
An “event” is a data packet that includes a state and is transmitted from a communication device.
For example, in the case of a switch, the “status” is “with link + first speed”, “with link + second speed”, “without link” at each port.
Also, each event e n in an event group E N = {e 1, e 2, ···, e N} includes occurrence time and after occurrence state.
e n = (t n , x n )
e n : nth event
t n : occurrence time of e n
x n: the generation state after event e n, information indicating the correlation with other events is not included at all, as compared to only each other event, but can not find its correlation.
図2は、本発明における異常判定装置の機能構成図である。 FIG. 2 is a functional configuration diagram of the abnormality determination device according to the present invention.
図2によれば、本発明の異常判定装置1は、教師データ蓄積部10と、全イベント群入力部110と、学習イベント群入力部120と、運用イベント群入力部210とを有する。また、異常判定装置は、マルコフモデル学習部11と、評価値分布算出部12、21と、評価閾値算出部13と、異常判定部22とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置を用いた異常判定方法としても理解できる。
According to FIG. 2, the abnormality determination device 1 of the present invention includes a teacher
また、本発明の異常判定装置1は、<モデル学習段階>、<評価閾値学習段階>及び<運用段階>に区分される。
異常判定装置1は、モデル学習段階として、全イベント群入力部110と、マルコフモデル学習部11とを有する。
また、異常判定装置1は、評価閾値学習段階として、学習イベント群入力部120と、評価値分布算出部12と、評価閾値算出部13とを有する。
更に、異常判定装置1は、運用段階として、運用イベント群入力部210と、評価値分布算出部21と、異常判定部22とを有する。
Further, the abnormality determination device 1 of the present invention is divided into <model learning stage>, <evaluation threshold learning stage>, and <operation stage>.
The abnormality determination device 1 includes an all event
In addition, the abnormality determination device 1 includes a learning event
Furthermore, the abnormality determination device 1 includes an operation event
[教師データ蓄積部10]
教師データ蓄積部10は、過去に収集した「正常時イベント群」と「異常時イベント群」とを予め教師データとして蓄積したものである。ここでは、正常時と異常時とを区別して、時系列のイベント群を記憶している。
モデル学習段階では、教師データ蓄積部10は、全てのイベント群を出力する。
評価閾値学習段階では、教師データ蓄積部10は、正常時イベント群と異常時イベント群とを別々に出力する。
[Teacher data storage unit 10]
The teacher
In the model learning stage, the teacher
In the evaluation threshold learning stage, the teacher
<モデル学習段階>
[全イベント群入力部110]
全イベント群入力部110は、教師データ蓄積部10から全てのイベント群を入力し、マルコフモデル学習部11へ出力する。
<Model learning stage>
[All event group input unit 110]
The all event
[マルコフモデル学習部11]
マルコフモデル学習部11は、教師データに基づく時系列の全てのイベント群ENを用いて、「状態iの滞在時間に応じた状態iから状態jへの遷移確率を算出した時間付きマルコフモデル」を学習する。
[Markov model learning unit 11]
Markov
「マルコフモデル」とは、未来の状態が現在の状態だけで決定され、過去の挙動と無関係であるという性質を持つ確率モデルをいう。
「時間付きマルコフモデル」とは、状態遷移確率が時間に依存するマルコフモデルであり、ある状態から次の状態に遷移するまでの遷移元状態での滞在時間に応じて遷移確率が変化する状態遷移モデルをいう。
The “Markov model” refers to a probabilistic model having the property that the future state is determined only by the current state and is not related to the past behavior.
The “timed Markov model” is a Markov model whose state transition probability depends on time, and the state transition in which the transition probability changes according to the staying time in the transition source state until transition from one state to the next state A model.
図3は、時間付きマルコフモデル学習における状態遷移を表す説明図である。 FIG. 3 is an explanatory diagram showing state transitions in timed Markov model learning.
例えばイベントen発生後の通信装置の状態xnと、イベント群ENによって生じ得る全状態集合Yとは、以下の関係となる。
xn ∈ Y={y1,y2,・・・,ys}
y:時間付きマルコフモデルの状態
xn:en発生後の状態
ENにおける任意の連続する2つのイベントeh、eh+1(h=1,2,・・・,N-1)から、1つの状態遷移xh→xh+1を表す。このとき、遷移元状態に滞在していた時間は、th+1−thで表される。
ENから全ての状態遷移を抽出し、yi→yj(i,j=1,2,・・・,S)について、以下を算出する。
gij:状態yiから状態yjへの状態間の遷移確率
fyiyj(Ti):yi→yjの状態遷移について、状態yiでの滞在時間Ti=tj−tiの分布を表す確率密度
図3の状態遷移は、教師データの全てのイベント群によって学習して構築されたものである。
For example the state x n events e n occurs after the communication device, the all-state group Y which may be caused by an event group E N, the following relationship.
x n ∈ Y = {y 1 , y 2 ,..., y s }
y: State of Markov model with time
x n : State after occurrence of e n From any two consecutive events e h , e h + 1 (h = 1, 2,..., N−1) in E N , one state transition x h → x h + 1 is represented. At this time, the time was staying in source state is represented by t h + 1 -t h.
All state transitions are extracted from E N and the following is calculated for y i → y j (i, j = 1, 2,..., S).
g ij : Probability of transition between states y i to state y j f yijj (T i ): y i → y j State transition time T i = t j −t i of state y i Probability Density Representing Distribution State transitions in FIG. 3 are constructed by learning with all event groups of teacher data.
<評価閾値学習段階>
[学習イベント群入力部120]
学習イベント群入力部120は、教師データ蓄積部10から、正常時イベント群と異常時イベント群とを別々に入力し、それらイベント群を評価値分布算出部12へ出力する。
<Evaluation threshold learning stage>
[Learning event group input unit 120]
The learning event
[評価値分布算出部12]
評価値分布算出部12は、教師データに基づく過去の時系列の正常時イベント群及び異常時イベント群それぞれに対して、状態遷移における遷移確率の加算値又は乗算値を評価値として算出し、その評価値に対する出現頻度を計数した評価値分布Rを算出する。
[Evaluation Value Distribution Calculation Unit 12]
The evaluation value
正常時/異常時それぞれの各イベント群ENから、連続する時系列の所定数K個をスライディングウィンドウ方式で、イベント群Pv,Kを切り出す。
Pv,K={ev,ev+1,・・・,ev+K-1}、v=(1,2,・・・,N-K+1)
K:ENから連続する長さ(任意の整数)
切り出したイベント群Pv,Kの集合を、以下のように表す。
P={P1,K,P2,K,・・・,PN-K+1,K}
From the normal time / abnormal each respective event group E N, a predetermined number of K a sliding window of time series continuous cuts out an event group P v, K.
Pv, K = { ev , ev + 1 , ..., ev + K-1 }, v = (1,2, ..., N-K + 1)
K: Length continuous from E N (any integer)
A set of extracted event groups P v, K is expressed as follows.
P = {P1 , K , P2 , K ,..., PN-K + 1, K }
そして、正常時/異常時それぞれの2つの集合に分ける。
過去の時系列の正常時イベント群P0は、各イベント群Pv,Kの中で正常時と判定されたイベント群である。
P0={P0|P0は正常時イベント群,P0∈P}
過去の時系列の異常時イベント群P1は、各イベント群Pv,Kの中で異常時と判定されたイベント群である。
P1={P1|P1は異常時イベント群,P1∈P}
Then, it is divided into two sets of normal time / abnormal time.
The past time series normal event group P 0 is an event group determined to be normal among the event groups P v, K.
P 0 = {P 0 | P 0 is a normal event group, P 0 ∈P}
The past time series abnormal event group P 1 is an event group determined to be abnormal in each event group P v, K.
P 1 = {P 1 | P 1 is an abnormal event group, P 1 ∈P}
P0及びP1の各要素から評価値を算出し、評価値分布R(Pv,K)を作成する。
R(Pv,K)=q(xv)Σv+K-2 i=v(gxixi+1×Fxixi+1(ti+1−ti))
Fyiyj(Ti)=∫0 Tifyiyj(u)du
q(xn):全状態の中でxnが初期状態である確率
Fij(Ti):yiからyjへの遷移について、yiでの滞在時間Ti=tj−ti以内に状態遷移する確率
「状態iの滞在時間に応じた状態iから状態jへの遷移確率」は、以下の式によって表されている。
gij×Fij(T)
An evaluation value is calculated from each element of P 0 and P 1 to create an evaluation value distribution R (P v, K ).
R (P v, K ) = q (x v ) Σ v + K−2 i = v (g xixi + 1 × F xixi + 1 (t i + 1 −t i ))
F yiyj (T i ) = ∫ 0 Ti f yiyj (u) du
q (x n ): probability that x n is the initial state among all states
F ij (T i ): Probability of state transition within the stay time T i = t j −t i at y i for the transition from y i to y j “from state i to state according to stay time of state i The “transition probability to j” is expressed by the following equation.
g ij × F ij (T)
そして、評価値分布算出部12は、正常イベント群の評価値分布R0と異常イベント群の評価値分布R1とをそれぞれ、評価閾値算出部13へ出力する。
Then, the evaluation value
[評価閾値算出部13]
評価閾値算出部13は、正常イベント群の評価値分布R0と異常イベント群の評価値分布R1との間で、所定条件の評価閾値を算出する。
[Evaluation Threshold Calculation Unit 13]
Evaluation
図4は、正常状態の評価値分布と異常状態の評価値分布とを用いた判定の評価閾値を表す説明図である。 FIG. 4 is an explanatory diagram showing evaluation threshold values for determination using the evaluation value distribution in the normal state and the evaluation value distribution in the abnormal state.
図4(a)によれば、正常状態と異常状態と別々に、評価値に対する出現頻度の分布が表されている。
正常なイベント群から算出された評価値は、異常なイベント群から算出された評価値よりも、大きな値となる。また、正常時イベント群の評価値分布と異常時イベント群の評価値分布との境界では、正常/異常を判定するための指標(評価閾値)となる。
According to Fig.4 (a), distribution of the appearance frequency with respect to an evaluation value is represented separately in a normal state and an abnormal state.
The evaluation value calculated from the normal event group is larger than the evaluation value calculated from the abnormal event group. In addition, the boundary between the evaluation value distribution of the normal event group and the evaluation value distribution of the abnormal event group is an index (evaluation threshold) for determining normality / abnormality.
(評価閾値の最適化における第1の実施形態)
図4(b)によれば、正常状態と異常状態と別々に、評価値に対する出現頻度の分布が表されている。
ここでは単純に、評価閾値算出部13は、正常イベント群に基づく評価値分布の最小評価値R0 minと、異常イベント群に基づく評価値分布の最大評価値R1 maxとの中央値を、評価閾値Rzとして算出している。
z=(R0 min+R1 max)/2
(First Embodiment in Evaluation Threshold Optimization)
According to FIG.4 (b), distribution of the appearance frequency with respect to an evaluation value is represented separately with a normal state and an abnormal state.
Here, simply, the evaluation threshold
z = (R 0 min + R 1 max ) / 2
(評価閾値の最適化における第2の実施形態)
図4(c)によれば、係数αxixjを重み付けた正常状態と異常状態と別々の評価値分布が表されている。
正常時イベント群の評価値分布R0と、異常時イベント群の評価値分布R1とが離れているほど、正確に正常状態/異常状態を判定することができる。
そこで、評価閾値算出部13は、i状態からj状態への状態間の遷移確率gxixjに、正常時イベント群の評価値分布R0の最小評価値R0 minと、異常時イベント群の評価値分布R1の最大評価値R1 maxとの差を最大化する係数αxixjを重み付けて、評価閾値を算出する。
(Second Embodiment in Optimization of Evaluation Threshold)
According to FIG. 4C , different evaluation value distributions are represented for the normal state and the abnormal state weighted by the coefficient α xixj .
An evaluation value distribution R 0 of the normal time of event groups, as evaluation value of abnormal event group and the distribution R 1 is away, it is possible to determine exactly normal state / an abnormal state.
Therefore, the evaluation threshold
前述した評価値分布R(Pv,K)の式に、係数αxixjを重み付ける。
R(Pv,K)=q(xv)Σv+K-2 i=v(αxixi+1×gxixi+1×Fxixi+1(ti+1−ti))
係数αyiyjは、以下の目的関数及び制約条件に基づいて、線形計画問題として最適化して算出されたものとする。
目的関数:
最大化 αmax=R0 min−R1 max
制約条件:
R(P0)={R(p0)|p0∈P0}:正常時イベント群に基づく評価値の集合
R(P1)={R(p1)|p1∈P1}:異常時イベント群に基づく評価値の集合
R0 min=min(R(P0)):正常時イベント群に基づく最小評価値
R1 max=min(R(P1)):正常時イベント群に基づく最大評価値
R0 min>R1 max:正常時イベント群に基づく評価値の方が大きな値
αxixj>0
The coefficient α xixj is weighted to the formula of the evaluation value distribution R (P v, K ) described above.
R (P v, K ) = q (x v ) Σv + K−2 i = v (α xixi + 1 × g xixi + 1 × F xixi + 1 (t i + 1 −t i ))
The coefficient α yiyj is assumed to be optimized and calculated as a linear programming problem based on the following objective function and constraint conditions.
Objective function:
Maximization α max = R 0 min −R 1 max
Restrictions:
R (P 0 ) = {R (p 0 ) | p 0 ∈P 0 }: Set of evaluation values based on normal event groups R (P 1 ) = {R (p 1 ) | p 1 ∈P 1 }: Set of evaluation values based on abnormal event group R 0 min = min (R (P 0 )): Minimum evaluation value based on normal event group R 1 max = min (R (P 1 )): Normal event group Maximum evaluation value based on R 0 min > R 1 max : Evaluation value based on normal event group is larger α xixj > 0
<運用段階>
[運用イベント群入力部210]
運用イベント群入力部210は、時系列の運用時イベント群E'Mを入力し、評価値分布算出部21へ出力する。
<Operation stage>
[Operation Event Group Input Unit 210]
The operation event
[評価値分布算出部21]
評価値分布算出部21は、前述と同様に、運用時イベント群E'Mに対して評価値分布R'を算出する。
時系列の運用時イベント群E'M={e'1,e'2,・・・,e'M}から、連続する時系列の所定数K個をスライディングウィンドウ方式でイベント群P'v,Kを切り出す。
P'w,K={ew,ew+1,・・・,ew+K-1}、w=(1,2,・・・,M-K+1)
切り出したイベント群Pv,Kの集合を、以下のように表す。
P'={P'1,K,P'2,K,・・・,P'M-K+1,K}
そして、P'の各要素について、評価値R(P'w,K)を算出する。
[Evaluation Value Distribution Calculation Unit 21]
The evaluation value
From the time-series operational event group E ′ M = {e ′ 1 , e ′ 2 ,..., E ′ M }, a predetermined number K of continuous time series are converted into the event group P ′ v, Cut out K.
P ′ w, K = {e w , e w + 1 ,..., E w + K−1 }, w = (1,2,..., M−K + 1)
A set of extracted event groups P v, K is expressed as follows.
P ′ = {P ′ 1, K , P ′ 2, K ,..., P ′ M−K + 1, K }
Then, an evaluation value R (P ′ w, K ) is calculated for each element of P ′.
[異常判定部22]
異常判定部22は、運用時イベント群E'Mの評価値分布R'が、評価閾値Rz以下に偏っている場合に、異常と判定する。
[Abnormality determination unit 22]
The
図5は、運用時のイベント群から異常状態か否かの判定を表す説明図である。 FIG. 5 is an explanatory diagram showing determination of whether or not there is an abnormal state from an event group during operation.
図5(a)によれば、運用時のイベント群に基づく評価値分布R'の中心が、評価閾値Rz以下に偏っている。この場合、運用時のイベント群は、異常であると判定される。
図5(b)によれば、運用時のイベント群に基づく評価値分布R'の中心が、評価閾値Rzよりも高い方に偏っている。この場合、運用時のイベント群は、正常であると判定される。
According to FIG. 5A, the center of the evaluation value distribution R ′ based on the event group at the time of operation is biased to be equal to or less than the evaluation threshold value R z . In this case, the event group during operation is determined to be abnormal.
According to FIG. 5B, the center of the evaluation value distribution R ′ based on the event group during operation is biased to be higher than the evaluation threshold value R z . In this case, the event group during operation is determined to be normal.
前述した実施形態として、イベントは、事業者ネットワークに配置された通信装置から発信されるパケットとして説明したが、本発明は、これに限られるものではない。即ち、状態変化を表すイベント群であれば、様々な用途の中で異常を判定することができる。例えば、発電・送電システムや、水道等の配給システム、各種生産・製造プラントのような様々な大規模な事業システムに適用することができる。 In the embodiment described above, the event has been described as a packet transmitted from a communication device arranged in the operator network, but the present invention is not limited to this. That is, if it is an event group showing a state change, abnormality can be determined in various uses. For example, the present invention can be applied to various large-scale business systems such as power generation / transmission systems, distribution systems such as water supplies, and various production / manufacturing plants.
以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、様々な時系列のイベント群から、イベントの状態変化に基づいて、異常状態か否かの判定閾値を最適に設定することができる。 As described above in detail, according to the program, apparatus, and method of the present invention, the determination threshold value for determining whether or not there is an abnormal state is optimally set based on a change in the state of an event from various time-series event groups. can do.
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 Various changes, modifications, and omissions of the above-described various embodiments of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.
1 異常判定装置
10 教師データ蓄積部
110 全イベント群入力部
11 マルコフモデル学習部
120 学習イベント群入力部
12、21 評価値分布算出部
13 評価閾値算出部
210 運用イベント群入力部
22 異常判定部
DESCRIPTION OF SYMBOLS 1
Claims (10)
教師データに基づく時系列の全てのイベント群ENを用いて、状態iの滞在時間に応じた状態iから状態jへの遷移確率を算出した時間付きマルコフモデルを学習するマルコフモデル学習手段と、
教師データに基づく過去の時系列の正常時イベント群P0及び異常時イベント群P1それぞれに対して、状態遷移における前記遷移確率の加算値又は乗算値を評価値として算出し、該評価値に対する出現頻度を計数した評価値分布Rを算出する評価値分布算出手段と、
正常イベント群の評価値分布R0と異常イベント群の評価値分布R1との間で、所定条件の評価閾値を算出する評価閾値算出手段と
してコンピュータを機能させると共に、
前記評価値分布算出手段は、運用時イベント群E'Mに対して更に評価値分布Rを算出し、
運用時イベント群E'Mの評価値分布が、前記評価閾値以下に偏っている場合に、異常と判定する異常判定手段と
して更にコンピュータを機能させることを特徴とするプログラム。 A program for causing a computer mounted in a device for judging an abnormality to a time series operation event group E ′ M to function,
A Markov model learning means for learning a timed Markov model that calculates the transition probability from the state i to the state j according to the stay time of the state i using all the time series of events E N based on the teacher data;
For each of the normal time event group P 0 and the abnormal time event group P 1 in the past time series based on the teacher data, an addition value or a multiplication value of the transition probabilities in the state transition is calculated as an evaluation value. Evaluation value distribution calculating means for calculating an evaluation value distribution R counting the appearance frequency;
Between the evaluation value distribution R 1 evaluation value distribution R 0 abnormal event group normal event group causes the computer to function as an evaluation threshold calculating means for calculating an evaluation threshold of a predetermined condition,
The evaluation value distribution calculating means further calculates an evaluation value distribution R for the operational event group E ′ M ,
A program that further causes a computer to function as an abnormality determination unit that determines an abnormality when an evaluation value distribution of an operation event group E ′ M is biased to be equal to or less than the evaluation threshold value.
gij×Fij(T)
gij:状態iから状態jへの状態間の遷移確率
Fij(Ti):状態iから状態jへの遷移について状態iでの滞在時間Ti=tj−ti以内に状態遷移する確率
として表すようにコンピュータを機能させることを特徴とする請求項1に記載のプログラム。 The transition probability from state i to state j according to the stay time of state i is
g ij × F ij (T)
g ij : Probability of transition between states from state i to state j F ij (T i ): Transition from state i to state j within a stay time T i = t j −t i in state i The program according to claim 1, wherein the computer is caused to function as a probability.
en=(tn,xn)
tn:enの発生時刻
xn:enの発生後状態、xn∈Y
Y:イベント群ENによって生じ得る全状態集合
Y={y1,y2,・・・,ys}
ようにコンピュータを機能させることを特徴とする請求項1又は2に記載のプログラム。 Event group E N = {e 1, e 2, ···, e N} each event e n in the, e n, including the generation time and generating post-state = (t n, x n)
t n : occurrence time of e n
x n : state after occurrence of e n , x n ∈ Y
Y: All state sets that can be generated by event group E N
Y = {y 1 , y 2 ,..., Y s }
The program according to claim 1 or 2, wherein the computer functions as described above.
過去の時系列の正常時イベント群P0は、各イベント群Pv,Kの中で正常時と判定されたイベント群であり、
過去の時系列の異常時イベント群P1は、各イベント群Pv,Kの中で異常時と判定されたイベント群である
Pv,K={ev,ev+1,・・・,ev+K-1}、v=(1,2,・・・,N-K+1)
P={P1,K,P2,K,・・・,PN-K+1,K}
P0={P0|P0は正常時イベント群,P0∈P}
P1={P1|P1は異常時イベント群,P1∈P}
ようにコンピュータを機能させることを特徴とする請求項1から3のいずれか1項に記載のプログラム。 Among the event group E N , the event group P v, K obtained by cutting out a predetermined number K of continuous time series by the sliding window method,
The past normal time event group P 0 is an event group determined to be normal among the event groups P v, K.
The abnormal time event group P 1 in the past time series is an event group determined to be abnormal in each event group P v, K. P v, K = {e v , e v + 1 ,. , e v + K-1 }, v = (1,2, ..., N-K + 1)
P = {P1 , K , P2 , K ,..., PN-K + 1, K }
P 0 = {P 0 | P 0 is a normal event group, P 0 ∈P}
P 1 = {P 1 | P 1 is an abnormal event group, P 1 ∈P}
The program according to any one of claims 1 to 3, wherein the computer functions as described above.
ようにコンピュータを機能させることを特徴とする請求項1から4のいずれか1項に記載のプログラム。 The evaluation threshold value calculation means includes a transition probability g xixj between states from the i state to the j state, a minimum evaluation value R 0 min of the normal event group evaluation value distribution R 0 , and an abnormal event group evaluation value distribution. the difference between the maximum evaluation value R 1 max of R 1 Te weighting factor alpha XiXj to maximize any one of claims 1 to 4, characterized in that causes a computer to function so as to calculate the evaluation threshold The program described in.
目的関数:
最大化 αmax=R0 min−R1 max
制約条件:
R(P0)={R(p0)|p0∈P0}:正常時イベント群に基づく評価値の集合
R(P1)={R(p1)|p1∈P1}:異常時イベント群に基づく評価値の集合
R0 min=min(R(P0)):正常時イベント群に基づく最小評価値
R1 max=min(R(P1)):正常時イベント群に基づく最大評価値
R0 min>R1 max:正常時イベント群に基づく評価値の方が大きな値
αxixj>0
ようにコンピュータを機能させることを特徴とする請求項5に記載のプログラム。 The coefficient α xixj is calculated by optimizing as a linear programming problem based on the following objective function and constraints: Objective function:
Maximization α max = R 0 min −R 1 max
Restrictions:
R (P 0 ) = {R (p 0 ) | p 0 ∈P 0 }: Set of evaluation values based on normal event groups R (P 1 ) = {R (p 1 ) | p 1 ∈P 1 }: Set of evaluation values based on abnormal event group R 0 min = min (R (P 0 )): Minimum evaluation value based on normal event group R 1 max = min (R (P 1 )): Normal event group Maximum evaluation value based on R 0 min > R 1 max : Evaluation value based on normal event group is larger α xixj > 0
The program according to claim 5, which causes the computer to function as described above.
ようにコンピュータを機能させることを特徴とする請求項1から6のいずれか1項に記載のプログラム。 The evaluation threshold value calculation means calculates a median value between the minimum evaluation value R 0 min of the evaluation value distribution based on the normal event group and the maximum evaluation value R 1 max of the evaluation value distribution based on the abnormal event group as the evaluation threshold value. The program according to any one of claims 1 to 6, wherein the computer is caused to function.
前記状態は、前記通信装置の各ポートにおける「リンク有り+第1の速度」「リンク有り+第2の速度」「リンク無し」である
ようにコンピュータを機能させることを特徴とする請求項1から7のいずれか1項に記載のプログラム。 The event is a data packet transmitted from a communication device,
2. The computer according to claim 1, wherein the state functions the computer to be “with link + first speed”, “with link + second speed”, and “without link” at each port of the communication device. 8. The program according to any one of items 7.
教師データに基づく時系列の全てのイベント群ENを用いて、状態iの滞在時間に応じた状態iから状態jへの遷移確率を算出した時間付きマルコフモデルを学習するマルコフモデル学習手段と、
教師データに基づく過去の時系列の正常時イベント群P0及び異常時イベント群P1それぞれに対して、状態遷移における前記遷移確率の加算値又は乗算値を評価値として算出し、該評価値に対する出現頻度を計数した評価値分布Rを算出する評価値分布算出手段と、
正常イベント群の評価値分布R0と異常イベント群の評価値分布R1との間で、所定条件の評価閾値を算出する評価閾値算出手段と
を有すると共に、
前記評価値分布算出手段は、運用時イベント群E'Mに対して更に評価値分布Rを算出し、
運用時イベント群E'Mの評価値分布が、前記評価閾値以下に偏っている場合に、異常と判定する異常判定手段と
を更に有することを特徴とする装置。 A device for determining an abnormality with respect to a time-series operational event group E ′ M ,
A Markov model learning means for learning a timed Markov model that calculates the transition probability from the state i to the state j according to the stay time of the state i using all the time series of events E N based on the teacher data;
For each of the normal time event group P 0 and the abnormal time event group P 1 in the past time series based on the teacher data, an addition value or a multiplication value of the transition probabilities in the state transition is calculated as an evaluation value. Evaluation value distribution calculating means for calculating an evaluation value distribution R counting the appearance frequency;
Between the evaluation value distribution R 1 evaluation value distribution R 0 abnormal event group normal event group, and having an evaluation threshold calculating means for calculating an evaluation threshold of a predetermined condition,
The evaluation value distribution calculating means further calculates an evaluation value distribution R for the operational event group E ′ M ,
The apparatus further comprising: an abnormality determination unit that determines that an abnormality occurs when an evaluation value distribution of the operation event group E ′ M is biased to be equal to or less than the evaluation threshold value.
前記装置は、
学習段階として、
教師データに基づく時系列の全てのイベント群ENを用いて、状態iの滞在時間に応じた状態iから状態jへの遷移確率を算出した時間付きマルコフモデルを学習する第11のステップと、
教師データに基づく過去の時系列の正常時イベント群P0及び異常時イベント群P1それぞれに対して、状態遷移における前記遷移確率の加算値又は乗算値を評価値として算出し、該評価値に対する出現頻度を計数した評価値分布Rを算出する第12のステップと、
正常イベント群の評価値分布R0と異常イベント群の評価値分布R1との間で、所定条件の評価閾値を算出する第13のステップと
を実行し、
運用段階として、
運用時イベント群E'Mに対して、状態遷移における前記遷移確率の加算値又は乗算値を評価値として算出し、該評価値に対する出現頻度を計数した評価値分布Rを算出する第21のステップと、
運用時イベント群E'Mの評価値分布が、前記評価閾値以下に偏っている場合に、異常と判定する第22のステップと
を更に実行することを特徴とする装置の異常判定方法。
An apparatus abnormality determination method for determining an abnormality with respect to a time-series operation event group E ′ M ,
The device is
As a learning stage,
Using all sets of events E N time series based on the training data, and the eleventh step of learning Timed Markov model to calculate the probability of transition from state i corresponding to the residence time of the state i to state j,
For each of the normal time event group P 0 and the abnormal time event group P 1 in the past time series based on the teacher data, an addition value or a multiplication value of the transition probabilities in the state transition is calculated as an evaluation value. A twelfth step of calculating an evaluation value distribution R counting the appearance frequency;
Between the evaluation value distribution R 1 evaluation value distribution R 0 abnormal event group normal event group to perform a thirteenth step of calculating an evaluation threshold of a predetermined condition,
As an operational stage,
A twenty-first step of calculating an evaluation value distribution R in which an added value or a multiplied value of the transition probabilities in the state transition is calculated as an evaluation value for the operating event group E ′ M and the appearance frequency with respect to the evaluation value is counted. When,
An abnormality determination method for an apparatus, further comprising a twenty-second step of determining an abnormality when an evaluation value distribution of an operation event group E ′ M is biased to be equal to or less than the evaluation threshold value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016188905A JP6646553B2 (en) | 2016-09-27 | 2016-09-27 | Program, apparatus, and method for detecting abnormal state from time-series event group |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016188905A JP6646553B2 (en) | 2016-09-27 | 2016-09-27 | Program, apparatus, and method for detecting abnormal state from time-series event group |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018055294A true JP2018055294A (en) | 2018-04-05 |
JP6646553B2 JP6646553B2 (en) | 2020-02-14 |
Family
ID=61836607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016188905A Expired - Fee Related JP6646553B2 (en) | 2016-09-27 | 2016-09-27 | Program, apparatus, and method for detecting abnormal state from time-series event group |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6646553B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109308411A (en) * | 2018-08-20 | 2019-02-05 | 中国电力科学研究院有限公司 | The method and system of layered weighting software action defect based on artificial intelligence decision tree |
JP2020047846A (en) * | 2018-09-20 | 2020-03-26 | 株式会社Screenホールディングス | Data processing method, data processor, data processing system and data processing program |
JP2020047847A (en) * | 2018-09-20 | 2020-03-26 | 株式会社Screenホールディングス | Data processing method, data processor and data processing program |
CN111368290A (en) * | 2018-12-26 | 2020-07-03 | 中兴通讯股份有限公司 | Data anomaly detection method and device and terminal equipment |
WO2020152848A1 (en) * | 2019-01-25 | 2020-07-30 | 日本電気株式会社 | Recognizer training device, recognition device, data processing system, data processing method, and storage medium |
WO2021240612A1 (en) * | 2020-05-25 | 2021-12-02 | 日本電信電話株式会社 | Transient fluctuation detection device, transient fluctuation detection method, and program |
JPWO2022038752A1 (en) * | 2020-08-20 | 2022-02-24 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003256957A (en) * | 2001-12-25 | 2003-09-12 | Matsushita Electric Ind Co Ltd | Device and system for detecting abnormality |
JP2011090627A (en) * | 2009-10-26 | 2011-05-06 | Panasonic Electric Works Co Ltd | Signal identification method and signal identification apparatus |
JP2013132682A (en) * | 2011-12-27 | 2013-07-08 | Jfe Steel Corp | Device for detecting abnormal sheet passing |
JP2015161745A (en) * | 2014-02-26 | 2015-09-07 | 株式会社リコー | pattern recognition system and program |
-
2016
- 2016-09-27 JP JP2016188905A patent/JP6646553B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003256957A (en) * | 2001-12-25 | 2003-09-12 | Matsushita Electric Ind Co Ltd | Device and system for detecting abnormality |
JP2011090627A (en) * | 2009-10-26 | 2011-05-06 | Panasonic Electric Works Co Ltd | Signal identification method and signal identification apparatus |
JP2013132682A (en) * | 2011-12-27 | 2013-07-08 | Jfe Steel Corp | Device for detecting abnormal sheet passing |
JP2015161745A (en) * | 2014-02-26 | 2015-09-07 | 株式会社リコー | pattern recognition system and program |
Non-Patent Citations (1)
Title |
---|
近藤喜芳、外5名: "時間付きマルコフモデルを用いた障害検知手法の提案", 電子情報通信学会技術研究報告, vol. 第115巻, 第482号, JPN6019040561, 25 February 2016 (2016-02-25), JP, pages 109 - 112, ISSN: 0004182778 * |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109308411B (en) * | 2018-08-20 | 2022-08-30 | 中国电力科学研究院有限公司 | Method and system for hierarchically detecting software behavior defects based on artificial intelligence decision tree |
CN109308411A (en) * | 2018-08-20 | 2019-02-05 | 中国电力科学研究院有限公司 | The method and system of layered weighting software action defect based on artificial intelligence decision tree |
JP7188950B2 (en) | 2018-09-20 | 2022-12-13 | 株式会社Screenホールディングス | Data processing method and data processing program |
KR102280389B1 (en) * | 2018-09-20 | 2021-07-21 | 가부시키가이샤 스크린 홀딩스 | Data processing method, data processing device, and computer readable recording medium with data processing program thereon |
CN110928264B (en) * | 2018-09-20 | 2023-08-01 | 株式会社斯库林集团 | Data processing, data processing apparatus, and computer-readable recording medium |
KR20200033726A (en) * | 2018-09-20 | 2020-03-30 | 가부시키가이샤 스크린 홀딩스 | Data processing method, data processing device, and computer readable recording medium with data processing program thereon |
KR20200033727A (en) * | 2018-09-20 | 2020-03-30 | 가부시키가이샤 스크린 홀딩스 | Data processing method, data processing device, data processing system, and computer readable recording medium with data processing program thereon |
JP2020047847A (en) * | 2018-09-20 | 2020-03-26 | 株式会社Screenホールディングス | Data processing method, data processor and data processing program |
CN110928265A (en) * | 2018-09-20 | 2020-03-27 | 株式会社斯库林集团 | Data processing method, device and system, and computer readable recording medium |
US11474150B2 (en) | 2018-09-20 | 2022-10-18 | SCREEN Holdings Co., Ltd. | Data processing method, data processing device, and non-transitory computer-readable recording medium |
KR102280390B1 (en) * | 2018-09-20 | 2021-07-21 | 가부시키가이샤 스크린 홀딩스 | Data processing method, data processing device, data processing system, and computer readable recording medium with data processing program thereon |
JP2020047846A (en) * | 2018-09-20 | 2020-03-26 | 株式会社Screenホールディングス | Data processing method, data processor, data processing system and data processing program |
CN110928264A (en) * | 2018-09-20 | 2020-03-27 | 株式会社斯库林集团 | Data processing, data processing device, and computer-readable recording medium |
CN110928265B (en) * | 2018-09-20 | 2023-04-11 | 株式会社斯库林集团 | Data processing method, device and system, and computer readable recording medium |
JP7188949B2 (en) | 2018-09-20 | 2022-12-13 | 株式会社Screenホールディングス | Data processing method and data processing program |
CN111368290B (en) * | 2018-12-26 | 2023-06-09 | 中兴通讯股份有限公司 | Data anomaly detection method and device and terminal equipment |
CN111368290A (en) * | 2018-12-26 | 2020-07-03 | 中兴通讯股份有限公司 | Data anomaly detection method and device and terminal equipment |
WO2020152848A1 (en) * | 2019-01-25 | 2020-07-30 | 日本電気株式会社 | Recognizer training device, recognition device, data processing system, data processing method, and storage medium |
JPWO2020152848A1 (en) * | 2019-01-25 | 2021-11-11 | 日本電気株式会社 | Recognizer training equipment, recognition equipment, data processing systems, data processing methods, and programs |
JP7238905B2 (en) | 2019-01-25 | 2023-03-14 | 日本電気株式会社 | Recognizer training device, recognition device, data processing system, data processing method, and program |
JP7392845B2 (en) | 2020-05-25 | 2023-12-06 | 日本電信電話株式会社 | Unsteady fluctuation detection device, unsteady fluctuation detection method and program |
WO2021240612A1 (en) * | 2020-05-25 | 2021-12-02 | 日本電信電話株式会社 | Transient fluctuation detection device, transient fluctuation detection method, and program |
JPWO2021240612A1 (en) * | 2020-05-25 | 2021-12-02 | ||
WO2022038752A1 (en) * | 2020-08-20 | 2022-02-24 | 日本電信電話株式会社 | Estimation method, estimation device, and program |
JPWO2022038752A1 (en) * | 2020-08-20 | 2022-02-24 |
Also Published As
Publication number | Publication date |
---|---|
JP6646553B2 (en) | 2020-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6646553B2 (en) | Program, apparatus, and method for detecting abnormal state from time-series event group | |
EP3439241B1 (en) | Using machine learning to monitor link quality and predict link faults | |
US9628340B2 (en) | Proactive operations, administration, and maintenance systems and methods in networks using data analytics | |
WO2020123985A1 (en) | Explainability-based adjustment of machine learning models | |
EP3704502A1 (en) | System and method for anomaly detection in an electrical network | |
US20180211171A1 (en) | Machine Discovery of Aberrant Operating States | |
US20180211172A1 (en) | Machine Discovery and Rapid Agglomeration of Similar States | |
CN114785666B (en) | Network troubleshooting method and system | |
US11874732B2 (en) | Recommendations for remedial actions | |
WO2019025944A1 (en) | Integrated method for automating enforcement of service level agreements for cloud services | |
JP2011170802A (en) | Trouble pattern creating program and trouble pattern creating apparatus | |
Ang et al. | Predictive handling of asynchronous concept drifts in distributed environments | |
US20200112488A1 (en) | Network management based on modeling of cascading effect of failure | |
CN113778802B (en) | Abnormality prediction method and device | |
WO2016095710A1 (en) | Method and device for adjusting srlg | |
Rafique et al. | Analytics-driven fault discovery and diagnosis for cognitive root cause analysis | |
US20230153680A1 (en) | Recommendation generation using machine learning data validation | |
CN109993391B (en) | Method, device, equipment and medium for dispatching network operation and maintenance task work order | |
CN115102844A (en) | Fault monitoring and processing method and device and electronic equipment | |
Pal et al. | DLME: distributed log mining using ensemble learning for fault prediction | |
Boldt et al. | Alarm prediction in cellular base stations using data-driven methods | |
Yemeni et al. | CFDDR: A centralized faulty data detection and recovery approach for WSN with faults identification | |
CN111611097A (en) | Fault detection method, device, equipment and storage medium | |
Liu | A Real‐Time Detection Method for Abnormal Data of Internet of Things Sensors Based on Mobile Edge Computing | |
JP2013150083A (en) | Network abnormality detection device and network abnormality detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6646553 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |