JP5711675B2 - ネットワーク異常検出装置およびネットワーク異常検出方法 - Google Patents

ネットワーク異常検出装置およびネットワーク異常検出方法 Download PDF

Info

Publication number
JP5711675B2
JP5711675B2 JP2012007590A JP2012007590A JP5711675B2 JP 5711675 B2 JP5711675 B2 JP 5711675B2 JP 2012007590 A JP2012007590 A JP 2012007590A JP 2012007590 A JP2012007590 A JP 2012007590A JP 5711675 B2 JP5711675 B2 JP 5711675B2
Authority
JP
Japan
Prior art keywords
abnormality
past
threshold value
eigenvector
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012007590A
Other languages
English (en)
Other versions
JP2013150083A (ja
Inventor
直規 立石
直規 立石
木原 拓
拓 木原
光穂 田原
光穂 田原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012007590A priority Critical patent/JP5711675B2/ja
Publication of JP2013150083A publication Critical patent/JP2013150083A/ja
Application granted granted Critical
Publication of JP5711675B2 publication Critical patent/JP5711675B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Description

本発明は、ネットワークの異常を検出する技術に関する。
通信事業者は、ネットワークサービスを安定して提供するために、ネットワーク内の装置(ノード)において異常の発生を検知できるようにしている。異常検出の方法としては、大きく分けて、以下の2つの方法I,IIが用いられている。
方法Iは、SyslogやSNMP Trap(Simple Network Management Protocol Trap)等を用いて、ネットワーク内の装置から自発的に送信される警報を利用するものである。方法Iでは、装置内の自装置監視プログラムが温度の上昇やリンク断といった異常を検出したときにのみ警報が発出される。したがって、方法Iは、トラフィック量が徐々に減少する事象等、自装置監視プログラムに設定されていない異常を検出することはできない。
方法IIは、ping(Packet Internet Grouper)やSNMP Request等を用いて、ネットワーク内の装置に対して問い合わせて得た情報を解析して、異常を検出するものである。方法IIでは、装置に対して問い合わせて得たCPU(Central Processing Unit)温度やトラフィック情報等の種々の情報を収集可能であるが、収集した情報を別途解析することで正常/異常を判定することになるため、解析スキルが必要とされる。
例えば、正常時の挙動に近い現象は、方法Iでは警報が発出されず、また、方法IIでも異常として検出することが難しい。その一例について、図10(a)(b)を用いて説明する。図10(a)(b)は、ルータA,B,Cが直列に接続されているケースを表している。図10(a)は、ルータA−B間のトラフィック量とルータB−C間のトラフィック量とが等しい場合を表している。この図10(a)の場合には、方法I,II双方において正常と判定される。
それに対して、図10(b)に示す例は、ルータBにおいて経年劣化等の原因により異常が発生し、ルータA−B間のトラフィック量とルータB−C間のトラフィック量とが等しくなくなる現象が発生している場合を表している。図10(b)の場合において、ルータB−C間のトラフィック量が徐々に減少していったとしても、トラフィックが完全には遮断されていないため、方法Iでは警報は発出されない。また、方法IIでは、各ルータから収集したトラフィック量に関する情報を解析したとしても、トラフィック量がネットワークの利用状況に依存して自然と減少するケースや、災害やイベント等により突発的に増加するケース等が発生するため、トラフィック量の増減傾向のみから異常か否かを判定することは難しい。
下記非特許文献1,2は、方法IIによる異常検出に関する技術を開示している。具体的には、図11に示すように、装置A,B,Cが直列に接続されているケースにおいて、行列の行を送信側の装置、列を受信側の装置として、行列を生成する。その行列の成分には所定の周期で取得されたトラフィック量を用いて、行列の固有ベクトルを所定の周期で算出する。行列の固有ベクトルは、行列の全成分が定数倍された場合には変化しないが、行列の一部の成分の値が変化した場合には変化する。したがって、ネットワークの一部で異常等によるトラフィック変動が発生する場合に、固有ベクトルが変動することになり、異常を検出することができる。
非特許文献1,2に記載の技術では、異常が発生していないときの過去K個の固有ベクトル時系列の移動平均を、基準ベクトル(Vec-Ref)として定義する。基準ベクトル(Vec-Ref)は、現時点の固有ベクトル(すなわち、現在ベクトル(Vec-Now))が異常か否かの判定基準として用いられる。そして、現在ベクトル(Vec-Now)と基準ベクトル(Vec-Ref)との間の角度差から異常スコア(θ)を算出し、当該異常スコア(θ)が閾値を超える場合、ネットワークに異常を検出したと判定する。
また、非特許文献1,2は、基準ベクトル(Vec-Ref)を固定せずに、加入者の増減やサービスの変化等に伴うトラフィック量の変化や装置の負荷の変化を考慮して、新たに算出される現在ベクトル(Vec-Now)を学習しつつ最新の基準ベクトル(Vec-Ref)を算出する方法を開示している。その学習の例としては、現在から過去に至る一定期間の基準ベクトル(Vec-Ref)の移動平均をとるケースが記載されている。また、非特許文献1,2は、閾値を固定せずに、過去の一定期間の異常スコア(θ)の値の出現頻度分布を求め、所定の確率(例えば、5%)となるときを閾値として算出している。
Ide,T. and Kashima,H. "Eigenspace-based anomaly detection in computer systems" In Proceedings of the 10th ACM SIGKDD international conference on knowledge discovery and data mining, ACM Press, New York, NY, USA, p.440-449, 2004 井手剛,鹿島久嗣, "固有空間におけるコンピュータシステムの障害検知", 第18回人工知能学会全国大会予稿集, 3F3-05, 2004
しかしながら、非特許文献1,2では、基準ベクトル(Vec-Ref)を現在から過去に至る一定期間の固有ベクトル時系列を用いた移動平均により算出し、閾値を過去一定期間の異常スコア(θ)の値の出現頻度分布から算出しているので、1タイムスロット(タイムスロットとは、固有ベクトルを算出する所定の周期のこと)先の未来におけるネットワークの正常/異常を判定する場合に適していない虞がある。つまり、ネットワークの周期的な変動に十分に適応できていないという虞がある。
例えば、通信事業者のネットワークでは、深夜に、映像配信のトラフィック量が増大する傾向がある。また、企業のネットワークでは、従業員の出勤時間帯に、Webサーバへのアクセス数やメールの増加にともなってトラフィック量が増大する傾向がある。このように、ネットワークのトラフィック量は、時間帯ごとに周期的に大きく変動している。そのため、ネットワークが正常な状態であっても、1タイムスロット先の未来の変動傾向は、過去一定期間の時系列全体から求められる緩やかな変動傾向とは、大きく異なる虞がある。したがって、非特許文献1,2に記載の方法では、ネットワークの周期的な変動に対して、正常/異常を正しく判定できない虞がある。
そこで、本発明は、ネットワークの異常検出においてネットワークの周期的な変動に適応可能な技術を提供することを課題とする。
本発明は、ネットワーク異常検出装置が、現時点のネットワーク内の装置間の状態を示す行列から固有ベクトルを算出し、算出した当該固有ベクトルを現在ベクトルとし、前記現在ベクトルを算出した時刻と関連付けて当該固有ベクトルを記憶部に過去固有ベクトルとして記憶する固有ベクトル演算部と、前記記憶部に記憶されている前記過去固有ベクトルの中から、ネットワーク内の装置間の状態の変動周期を示す第1の周期で所定の時間帯に存在する前記過去固有ベクトルを取得し、取得した当該過去固有ベクトルから基準ベクトルを算出する基準ベクトル演算部と、前記現在ベクトルと前記基準ベクトルとの角度差から異常スコアを算出し、前記異常スコアと閾値とを比較して、前記異常スコアと前記閾値との大小関係に基づいてネットワークの異常を判定する異常判定部と、前記異常判定部によって算出された過去一定期間の前記異常スコアを前記現在ベクトルを算出した時刻と関連付けて前記記憶部に記憶している場合、前記記憶部に記憶されている前記異常スコアを過去異常スコアとして取得し、取得した前記過去異常スコアを時系列予測演算法に適用して予測異常スコアを算出し、算出した当該予測異常スコアの値の出現頻度分布を求め、所定の確率となるときを前記閾値に設定する閾値演算部と、を備えることを特徴とする。
また、本発明は、ネットワークの異常を判定するネットワーク異常検出装置のネットワーク異常検出方法であって、前記ネットワーク異常検出装置が、現時点のネットワーク内の装置間の状態を示す行列から固有ベクトルを算出し、算出した当該固有ベクトルを現在ベクトルとし、前記現在ベクトルを算出した時刻と関連付けて当該固有ベクトルを記憶部に過去固有ベクトルとして記憶する固有ベクトル演算ステップと、前記記憶部に記憶されている前記過去固有ベクトルの中から、ネットワーク内の装置間の状態の変動周期を示す第1の周期で所定の時間帯に存在する前記過去固有ベクトルを取得し、取得した当該過去固有ベクトルから基準ベクトルを算出する基準ベクトル演算ステップと、前記現在ベクトルと前記基準ベクトルとの角度差から異常スコアを算出し、前記異常スコアと閾値とを比較して、前記異常スコアと前記閾値との大小関係に基づいてネットワークの異常を判定する異常判定ステップと、前記異常判定ステップによって算出された過去一定期間の前記異常スコアを前記現在ベクトルを算出した時刻と関連付けて前記記憶部に記憶している場合、前記記憶部に記憶されている前記異常スコアを過去異常スコアとして取得し、取得した前記過去異常スコアを時系列予測演算法に適用して予測異常スコアを算出し、算出した当該予測異常スコアの値の出現頻度分布を求め、所定の確率となるときを前記閾値に設定する閾値演算ステップと、を実行することを特徴とする。
このような構成によれば、ネットワーク異常検出装置は、ネットワーク内の装置間の状態の変動周期(第1の周期)で所定の時間帯に存在する過去固有ベクトルを用いて、1タイムスロット先の基準ベクトルを算出することができる。つまり、現在ベクトルの変化を見越した基準ベクトルを算出できる。そのため、ネットワーク異常検出装置は、ネットワークの周期的な変動に適応可能となり、正常な状態を異常と判定することを抑制できる。また、ネットワークの周期的な変動に適応した基準ベクトルと現在ベクトルとの角度差から算出された異常スコア(過去異常スコア)の値は、ばらつきが小さくなる。つまり、基準ベクトルの急な変化にともなって、過去異常スコアが大きな値になることを抑制することができる。そして、閾値は、過去異常スコアを時系列予測演算法に適用して算出された予測異常スコアに基づいて算出される。そのため、ネットワーク異常検出装置は、出現頻度分布の分散が小さくなることによって、基準ベクトルの急な変化に適応した閾値を安定して算出することができる。したがって、ネットワーク異常検出装置は、ネットワークの異常検出においてネットワークの周期的な変動に適応して、ネットワークの異常検出を安定して行うことができる。
また、本発明は、前記閾値演算部が、前記記憶部に記憶されている前記異常スコアの中から、前記第1の周期で所定の時間帯に存在する前記異常スコアを前記過去異常スコアとして取得することを特徴とする。
このような構成によれば、閾値は、ネットワーク内の装置間の状態の変動周期(第1の周期)で所定の時間帯に存在する過去異常スコアに基づいて算出される。したがって、ネットワーク異常検出装置は、ネットワークの異常検出においてネットワークの周期的な変動に適応可能となる。
また、本発明は、現時点のネットワーク内の装置間の状態を示す行列から固有ベクトルを算出し、算出した当該固有ベクトルを現在ベクトルとし、前記現在ベクトルを算出した時刻と関連付けて当該固有ベクトルを記憶部に過去固有ベクトルとして記憶する固有ベクトル演算部と、前記記憶部に記憶されている前記過去固有ベクトルの中から、ネットワーク内の装置間の状態の変動周期を示す第1の周期で所定の時間帯に存在する前記過去固有ベクトルを取得し、取得した当該過去固有ベクトルから基準ベクトルを算出する基準ベクトル演算部と、前記現在ベクトルと前記基準ベクトルとの角度差から異常スコアを算出し、前記異常スコアと閾値とを比較して、前記異常スコアと前記閾値との大小関係に基づいてネットワークの異常を判定する異常判定部と、前記異常スコアとの比較に用いた過去一定期間の前記閾値を前記現在ベクトルを算出した時刻と関連付けて前記記憶部に記憶している場合、前記記憶部から前記閾値を過去閾値として取得し、取得した当該過去閾値を時系列予測演算法に適用して新たな閾値を算出し、算出した前記新たな閾値を前記閾値に設定する閾値演算部と、を備えることを特徴とする。
また、本発明は、ネットワークの異常を判定するネットワーク異常検出装置のネットワーク異常検出方法であって、前記ネットワーク異常検出装置が、現時点のネットワーク内の装置間の状態を示す行列から固有ベクトルを算出し、算出した当該固有ベクトルを現在ベクトルとし、前記現在ベクトルを算出した時刻と関連付けて当該固有ベクトルを記憶部に過去固有ベクトルとして記憶する固有ベクトル演算ステップと、前記記憶部に記憶されている前記過去固有ベクトルの中から、ネットワーク内の装置間の状態の変動周期を示す第1の周期で所定の時間帯に存在する前記過去固有ベクトルを取得し、取得した当該過去固有ベクトルから基準ベクトルを算出する基準ベクトル演算ステップと、前記現在ベクトルと前記基準ベクトルとの角度差から異常スコアを算出し、前記異常スコアと閾値とを比較して、前記異常スコアと前記閾値との大小関係に基づいてネットワークの異常を判定する異常判定ステップと、前記異常スコアとの比較に用いた過去一定期間の前記閾値を前記現在ベクトルを算出した時刻と関連付けて前記記憶部に記憶している場合、前記記憶部から前記閾値を過去閾値として取得し、取得した当該過去閾値を時系列予測演算法に適用して新たな閾値を算出し、算出した前記新たな閾値を前記閾値に設定する閾値演算ステップと、を実行することを特徴とする。
このような構成によれば、ネットワーク異常検出装置は、ネットワーク内の装置間の状態の変動周期(第1の周期)で所定の時間帯に存在する過去固有ベクトルを用いて、1タイムスロット先の基準ベクトルを算出することができる。つまり、現在ベクトルの変化を見越した基準ベクトルを算出できる。なお異常スコアと比較される閾値は、過去閾値を時系列予測演算法に適用して算出される。したがって、ネットワーク異常検出装置は、ネットワークの異常検出においてネットワークの周期的な変動に適応可能となる。
また、本発明は、前記閾値演算部が、前記記憶部に記憶されている前記閾値の中から、前記第1の周期で所定の時間帯に存在する前記閾値を前記過去閾値として取得することを特徴とする。
このような構成によれば、閾値は、ネットワーク内の装置間の状態の変動周期(第1の周期)で所定の時間帯に存在する過去閾値に基づいて算出される。したがって、ネットワーク異常検出装置は、ネットワークの異常検出においてネットワークの周期的な変動に適応可能となる。
また、本発明は、前記閾値演算部が、前記出現頻度分布を一次元正規分布、多次元正規分布または多変量正規分布で生成することを特徴とする。
このような構成によれば、多次元で分布を扱う場合には、異常スコアのベクトル成分ごとに細かく閾値を設定することができる。
本発明によれば、ネットワークの異常検出においてネットワークの周期的な変動に適応可能な技術を提供することができる。
(a)は本実施形態におけるネットワーク異常検出装置を含むネットワーク異常検出システムの構成を表す図であり、(b)は異常判定方法を表す図である。 本実施形態における異常判定方法の概要を示す図であり、(a)は比較例を表し、(b)は閾値を予測したケースを表し、(c)は基準ベクトル(Vec-Ref)を予測したケースを表す。 ネットワーク異常検出装置の構成例を示す図である。 過去固有ベクトルDBの一例を示す図である。 過去異常スコアDBの一例を示す図である。 過去閾値DBの一例を示す図である。 ネットワーク異常検出装置の処理フロー例を示す図である。 基準ベクトル(Vec-Ref)の算出例を示す図であり、(a)は使用するデータを表し、(b)は算出方法を表し、(c)は実行する組み合わせを表す。 閾値の算出例を示す図であり、(a)は使用するデータを表し、(b)は算出方法を表し、(c)は分布生成方法を表し、(d)は実行する組み合わせを表す。 従来技術において異常を検出しない場合の例を示す図であり、(a)は、正常な場合を表し、(b)は、異常が発生している状態であっても異常の検出が困難な場合を表す。 従来技術において、異常を検出するための処理例を示す図である。
本発明を実施するための形態(以降、「本実施形態」と称す。)について、適宜図面を参照しながら詳細に説明する。
(概要)
はじめに、本実施形態のネットワーク異常検出装置を含むネットワーク異常検出システムの構成およびネットワーク異常検出装置の異常判定方法について、図1(a)(b)を用いて説明する。
ネットワーク異常検出システム1は、図1(a)に示すように、ネットワーク11内のノードである装置10(10A,10B,10C)とネットワーク異常検出装置100とを通信可能に接続して構成される。ネットワーク異常検出装置100は、前記した方法IIのように、装置10に対して問い合わせて得た情報を分析して、ネットワーク11の異常を検出する機能を備えている。なお、図1(a)では、装置が3台記載されているが、3台に限らなくてもよい。
ネットワーク異常検出装置100は、ネットワーク11の異常を検出する場合には、図11で説明した場合と同様に、基準ベクトル(Vec-Ref)を、現時点の現在ベクトル(Vec-Now)が異常か否かの判定基準として用いる。なお、現在ベクトル(Vec-Now)は、現時点のネットワーク11内の装置10間の状態を示す行列から算出される固有ベクトルである。また、基準ベクトル(Vec-Ref)は、過去に算出された固有ベクトルに基づいて算出される。
そして、ネットワーク異常検出装置100は、図1(b)に示すように、基準ベクトル(Vec-Ref)と現在ベクトル(Vec-Now)との角度差から求めた異常スコア(θ)が閾値より大きいか否かを比較し、異常スコア(θ)が閾値より大きい場合に異常と判定する。
次に、ネットワークの周期的な変動として、図2の最上段に示すように、企業のネットワークにおいて従業員の出勤時間帯にトラフィック量が増大するケースを一例として取り上げて、異常判定方法について説明する。
図2の最上段に示すように、企業のネットワークにおけるトラフィック量は、一般的に、深夜では小さい値で緩やかな変動を示し、出勤時には、急激な変動を示し、昼間には大きな値で緩やかな変動を示す傾向にある。
まず、図2(a)は、比較例として、基準ベクトル(Vec-Ref)を過去一定期間の固有ベクトル時系列を用いた移動平均により算出し、閾値を過去一定期間の異常スコア(θ)の値の出現頻度分布から算出した場合を模式的に表したものである。特に、一点鎖線の楕円で囲まれた範囲では、現在ベクトル(Vec-Now)は、出勤にともなう急激な変動で大きく変化する。それに対して、基準ベクトル(Vec-Ref)は、過去の固有ベクトル時系列の移動平均で算出しているため、大きく変化することはない。そのため、異常スコア(θ)は、突出して大きくなる。そして、異常スコア(θ)は閾値より大きくなり(異常スコア(θ)>閾値となり)、異常と判定される。
しかしながら、ネットワークに異常があったわけではないのに異常と判定してしまうため、ネットワーク保守者に、無用の点検作業を行わせることになり、ネットワーク運用業務の効率を低下させることとなる。
次に、図2(b)は、異常スコア(θ)の変化を予測して、その変化に応じて閾値を変化させる(閾値を予測する)ケースを模式的に表したものである。すなわち、異常スコア(θ)が大きくなるときに閾値を大きくして、異常と判定してしまうことを抑制するものである。
このケースでは、現在ベクトル(Vec-Now)および基準ベクトル(Vec-Ref)の計算方法は、比較例の場合と同様であっても構わない。しかし、閾値を、過去一定期間の異常スコア(θ)または閾値を用いて時系列予測演算を行うことによって、1タイムスロット先の閾値を予測する。そして、正常な状態で発生する異常スコア(θ)の大きな変化を異常と判定しないような閾値を予め設定する。これにより、異常スコア(θ)<閾値となって、正常な状態を間違って異常な状態と判定してしまうことを抑制することができる。
図2(c)は、現在ベクトル(Vec-Now)の変化を予測して、その変化に応じて基準ベクトル(Vec-Ref)を変化させる(基準ベクトル(Vec-Ref)を予測する)ケースを模式的に表したものである。すなわち、現在ベクトル(Vec-Now)と基準ベクトル(Vec-Ref)との角度差から算出される異常スコア(θ)をほぼ一定に保つことによって、異常と判定してしまうことを抑制するものである。
このケースでは、現在ベクトル(Vec-Now)および閾値の計算方法は、比較例の場合と同様であっても構わない。しかし、基準ベクトル(Vec-Ref)を、過去一定期間の固有ベクトルを用いて時系列予測演算を行うことによって、1タイムスロット先の基準ベクトル(Vec-Ref)を算出する。そのため、異常スコア(θ)の変動が、比較例の場合より小さくなるように算出される。これにより、異常スコア(θ)<閾値となって、正常な状態を間違って異常な状態と判定してしまうことを抑制することができる。
(ネットワーク異常検出装置の構成)
まず、ネットワーク異常検出装置100の構成について、図3を用いて説明する(適宜、図1,11参照)。ネットワーク異常検出装置100は、図3に示すように、処理部110、記憶部120、および入出力部130を備えている。
処理部110は、さらに、行列生成部111、固有ベクトル演算部112、基準ベクトル演算部113、異常判定部114、および閾値演算部115を備える。処理部110は、図示しないCPU(Central Processing Unit)およびメインメモリによって構成され、記憶部120に記憶されているアプリケーションプログラムをメインメモリに展開して、処理部110内の各部を具現化する。
行列生成部111は、入出力部130の入力部131を介して取得したネットワーク11内の装置10間におけるトラフィック量を成分として、行列の行を送信側の装置10、列を受信側の装置10として行列(図11参照)を生成する機能を有する。行列の生成は、所定の周期またはネットワーク11の管理者もしくは保守者等に指示されたときに行われる。
固有ベクトル演算部112は、行列生成部111によって生成された行列の固有ベクトル(図11参照)を所定の周期で算出する機能を有する。なお、算出した最新の固有ベクトルは、現在ベクトル(Vec-Now)として、異常判定部114に出力される。また、固有ベクトル演算部112は、固有ベクトル(現在ベクトル)を、当該固有ベクトル(現在ベクトル)を算出した時刻と関連付けて過去固有ベクトルDB121に過去固有ベクトルとして記憶する機能を有する。
基準ベクトル演算部113は、過去固有ベクトルDB121から過去固有ベクトルを読み出して、基準ベクトル(Vec-Ref)を算出する機能を有する。なお、基準ベクトル(Vec-Ref)の算出方法の詳細については後記する。
異常判定部114は、固有ベクトル演算部112から現在ベクトル(Vec-Now)を取得し、基準ベクトル演算部113から基準ベクトル(Vec-Ref)を取得し、現在ベクトル(Vec-Now)と基準ベクトル(Vec-Ref)との角度差から異常スコア(θ)を算出する。そして、異常判定部114は、異常スコア(θ)と閾値とを比較し、前記異常スコアと前記閾値との大小関係に基づいてネットワークの異常を判定する機能を有する。なお、閾値は、後記する閾値演算部115によって算出される。例えば、異常判定部114は、異常スコア(θ)が閾値以下の場合に正常と判定し、異常スコア(θ)が閾値より大きい場合に異常と判定する。また、異常判定部114は、異常スコア(θ)を、当該異常スコア(θ)の算出に用いた現在ベクトルを算出した時刻と関連付けて過去異常スコアDB122に記憶する機能を有する。また、異常判定部114は、異常状態等の情報を入出力部130の出力部132を介して表示装置に出力する機能を有する。
閾値演算部115は、過去異常スコアDB122から異常スコア(θ)を過去異常スコアとして読み出して所定の演算を実行し、1タイムスロット先の閾値を算出(設定)する機能を有する。また、閾値演算部115は、算出した閾値を、当該閾値の算出時において用いた現在ベクトル(Vec-Now)を算出した時刻と関連付けて過去閾値DB123に記憶するとともに、過去閾値DB123に記憶している閾値を過去閾値として読み出して、1タイムスロット先の閾値(新たな閾値)を算出する機能を有する。なお、閾値の算出方法の詳細については後記する。
入出力部130は、入力部131および出力部132を備える。入力部131は、ネットワーク11に接続するための通信インタフェースであり、ネットワーク11内の装置10からトラフィック量等の情報を受信する。出力部132は、表示装置に接続するためのインタフェースであり、処理部110の処理結果等の情報を表示装置に出力する。
記憶部120は、ハードディスク等であって、過去固有ベクトルDB121、過去異常スコアDB122および過去閾値DB123を格納している。
過去固有ベクトルDB121は、図4に示すように、固有ベクトル演算部112(図3参照)が固有ベクトルを算出した時刻t(n)とその固有ベクトルU(n)とを関連付けて記憶している。ただし、現在時刻t(n)において、既に所定時間(k+1)を経過している固有ベクトルU(n−k−1)は時刻t(n−k−1)とともに削除される。なお、時刻t(n)におけるnは、算出した周期を識別する番号である。過去固有ベクトルDB121に記憶されている時刻t(n)は現在を表し、時刻t(n)の固有ベクトルは現在ベクトル(Vec-Now)となる。また、時刻t(n−1)以前の過去の固有ベクトルU(n−1)、U(n−2)、・・等は、基準ベクトル演算部113(図3参照)における基準ベクトル(Vec-Ref)の算出処理のために用いられる。
過去異常スコアDB122は、図5に示すように、時刻t(n)と異常スコアθ(n)とを関連付けて記憶している。ただし、現在時刻t(n)において、既に所定時間(k+1)を経過している異常スコアθ(n−k−1)は時刻t(n−k−1)とともに削除される。
過去閾値DB123は、図6に示すように、時刻t(n)と閾値演算部115によって算出された閾値th(n)とを関連付けて記憶している。ただし、現在時刻t(n)において、既に所定時間(k+1)を経過している閾値th(n−k−1)は時刻t(n−k−1)とともに削除される。
(ネットワーク異常検出装置の処理フロー)
次に、ネットワーク異常検出装置100の処理フロー例について、図7を用いて説明する(適宜、図3参照)。
ステップS701では、行列生成部111は、入力部131を介して、ネットワーク11内の装置10間におけるトラフィック量等のトラフィック情報を取得し、例えばトラフィック量を成分とする行列を生成する。行列の生成は、所定の周期またはネットワーク11の管理者もしくは保守者等に指示されたときに行われる。
ステップS702では、固有ベクトル演算部112は、行列生成部111によって生成された行列から、固有ベクトルである現在ベクトル(Vec-Now)を所定の周期で算出する。
ステップS703では、固有ベクトル演算部112は、現在ベクトル(Vec-Now)を、その算出した時刻と関連付けて過去固有ベクトルDB121に過去固有ベクトルとして記憶する。
ステップS704では、基準ベクトル演算部113は、過去固有ベクトルDB121から過去固有ベクトルを読み出して、所定の演算を実行して、基準ベクトル(Vec-Ref)を算出する。なお、基準ベクトル(Vec-Ref)の演算方法の詳細については、後記する。
ステップS705では、閾値演算部115は、過去異常スコアDB122から異常スコアを過去異常スコアとして読み出して、所定の演算を実行して、1タイムスロット先の閾値を算出する。または、閾値演算部115は、過去閾値DB123から閾値を過去閾値として読み出して、所定の演算を実行して、1タイムストッロ先の閾値を算出する。なお、閾値の演算方法の詳細については、後記する。
ステップS706では、異常判定部114は、現在ベクトル(Vec-Now)と基準ベクトル(Vec-Ref)とから異常スコア(θ)を算出する。具体的には、異常判定部114は、現在ベクトル(Vec-Now)と基準ベクトル(Vec-Ref)との角度差を算出し、その角度差から異常スコア(θ)を算出する。
ステップS707では、異常判定部114は、ステップS706で算出した異常スコア(θ)が、ステップS705で算出した閾値より大きいか否かを判定する。
異常スコア(θ)が閾値より大きいと判定した場合(ステップS707でYes)、ステップS708へ進み、異常スコア(θ)が閾値以下と判定した場合(ステップS707でNo)、ステップS709へ進む。
ステップS708では、異常判定部114は、異常時の対応策を実行する。具体的には、異常判定部114は、異常を知らせるメッセージや警報等を出力部132を介して、表示装置に出力する。
ステップS709では、異常判定部114は、ステップS706で算出した異常スコア(θ)を過去異常スコアDB122に記憶する。そして、ステップS709の処理が終了すると、処理はステップS701へ戻る。
なお、図7には記載をしていないが、ステップS705より後の処理において、閾値演算部115は、ステップS705で算出した閾値を過去閾値DB123に記憶するようにしても構わない。また、ステップS704とステップS705とは、順番が逆であっても構わない。
(基準ベクトルの算出)
次に、ステップS704における基準ベクトル(Vec-Ref)の演算方法の詳細について、図8を用いて説明する。ここでは、主に、図2(c)で説明したように、1タイムスロット先の基準ベクトル(Vec-Ref)の予測について説明する。
まず、予測に使用するデータを選択するための選択方法について説明し、次に、予測値の算出方法について説明する。
図8(a)に示すように、予測に使用するデータを過去固有ベクトルDB121から選択するための選択方法は、方法A1では過去の所定期間内の固有ベクトルの時系列を選択する場合、方法A2では過去の所定期間内の所定周期(1日、1週間等)の同時間帯の固有ベクトルを選択する場合とした。
方法A1は、図2(a)に示す比較例で使用されているものである。
方法A2は、現時点や1タイムスロット先の変動傾向と合致しうる過去の時点として、例えば、1日前、2日前、・・、x日前の同時間帯や、1週間前、2週間前、・・、y週間前の同曜日同時間帯の過去の固有ベクトルを用いるものである。その理由は、例えば、企業のネットワークでは、1日周期や1週間周期(第1の周期)でトラフィック量が変動する傾向を持つことが多いためである。同曜日とは、例えば、現在の曜日が水曜日であれば、その1週間前、2週間前、・・を選択する。同時間帯とは、例えば、現在時刻が13時15分であれば、時間データに13時を含む固有ベクトルを選択することを表す。または、同時間帯とは、現在時刻の前後の所定時間(例えば、30分)以内の固有ベクトルを選択することを表しても構わない。
また、予測値の算出方法は、図8(b)に示すように、方法B1では重み付き移動平均法を用いる場合、方法B2では時系列予測演算法(例えば、AR(Auto-Regressive)モデル、ARMA(Auto-Regressive Moving Average)モデル、カルマンフィルタ等)を用いる場合とした。
方法B1は、図2(a)に示す比較例で使用されているものである。
方法B2は、現在ベクトル(Vec-Now)の各成分の値が独立に近い動きをする場合、例えば、ネットワークのノードAから出力されるトラフィックが近隣のノードBに流れ込む等の場合では、ベクトル各成分に対して、ARモデルやカルマンフィルタ等の1次元時系列予測法を適用可能である。
また、方法B2は、ネットワークのノードCから出力されるトラフィックが多くのノードを通過するようなフローが多い等、現在ベクトル(Vec-Now)の各成分の値の変動に関連性がある場合、多変量ARモデル等を適用することで、1タイムスロット先の未来の挙動を表現することができる。
そして、図8(c)に示すように、予測値の算出を実行する組み合わせは、方法A1,A2と方法B1,B2との組み合わせによって決められる。
第1の基準ベクトル算出方法は、方法A1と方法B1との組み合わせであり、図2(a)に示す比較例で使用されるものである。
第2の基準ベクトル算出方法は、方法A2と方法B1との組み合わせである。
第3の基準ベクトル算出方法は、方法A2と方法B2との組み合わせである。
(閾値の算出)
次に、ステップS705における閾値の演算方法の詳細について、図9を用いて説明する。ここでは、主に、図2(b)で説明したように、1タイムスロット先の閾値の予測方法について説明する。
まず、予測に使用するデータを選択するための選択方法について説明し、次に、予測値の算出方法について説明する。
図9(a)に示すように、予測に使用するデータを選択するための選択方法は4通りある。方法a11は過去の所定期間内の閾値の時系列を過去閾値DB123から選択する場合、方法a12は過去の所定期間内の所定周期(1日、1週間等)の同時間帯の閾値を過去閾値DB123から選択する場合である。また、方法a21は、過去の所定期間内の異常スコア(θ)の時系列を過去異常スコアDB122から選択する場合、方法a22は過去の所定期間内で所定周期(1日、1週間等)の同時間帯の異常スコア(θ)を過去異常スコアDB122から選択する場合である。
方法a11,a12は、過去閾値を用いて閾値の予測値を直接算出する。それに対して、方法a21,a22は、過去異常スコア(θ)の予測値を示す予測異常スコアを算出してから、当該予測異常スコアの値の出現頻度分布を求め、所定の確率(例えば、5%)となるときを閾値として算出する。
また、方法a12,a22では、例えば、企業のネットワークでは、1日周期や1週間周期(第1の周期)でトラフィック量が変動する傾向を持つことが多いので、1タイムスロット先の変動傾向と合致しうる過去の時点として、例えば、1日前、2日前、・・、x日前の同時間帯や、1週間前、2週間前、・・、y週間前の同曜日同時間帯の(第1の周期で所定の時間帯に存在する)過去の値を用いることとする。
また、予測値の算出方法は、図9(b)に示すように、方法b1では重み付き移動平均法を用いる場合、方法b2では時系列予測演算法(例えば、ARモデル、ARMAモデル、カルマンフィルタ等)を用いる場合とした。
図9(c)には、分布生成方法を2通り示した。方法c1では一次元正規分布の場合、方法c2では多次元正規分布または多変量正規分布の場合とした。この分布生成方法は、方法a21,a22において、異常スコアの値や予測異常スコアの値の出現頻度分布を生成するときに使用される。
そして、図9(d)に示すように、閾値の予測値の算出を実行する組み合わせは、方法a11,a12,a21,a22と方法b1,b2と方法c1,c2との組み合わせによって決められる。
第1の閾値算出方法は、方法a21と方法b1と方法c1との組み合わせであり、図2(a)に示す比較例で用いられたものである。
第2の閾値算出方法は、方法a11と方法b2との組み合わせである。
第3の閾値算出方法は、方法a12と方法b2との組み合わせである。
なお、第2,第3の閾値算出方法は、閾値を直接算出するため、方法c1または方法c2を用いる必要がない。
第4の閾値算出方法は、方法a21と方法b2と方法c1との組み合わせである。
第5の閾値算出方法は、方法a21と方法b2と方法c2との組み合わせである。
第6の閾値算出方法は、方法a22と方法b2と方法c1との組み合わせである。
第7の閾値算出方法は、方法a22と方法b2と方法c2との組み合わせである。
なお、図7に示すステップS706で用いられる基準ベクトル(Vec-Ref)およびステップS707で用いられる閾値の組み合わせは、第1〜第3の基準ベクトル算出方法によって算出された基準ベクトル(Vec-Ref)と、第1〜第7の閾値算出方法によって算出された閾値と、の組み合わせとすることができる。ただし、第1の基準ベクトル算出方法と第1の閾値算出方法との組み合わせは、図2(a)に示す比較例となるので、本実施形態には含まないものとする。
以上、本実施形態で説明したネットワーク異常検出装置100は、行列の行を送信側の装置、列を受信側の装置として、行列の成分にはトラフィック量を用い、行列の固有ベクトル(現在ベクトル(Vec-Now))を算出し、現在ベクトル(Vec-Now)と基準ベクトル(Vec-Ref)との角度差から異常スコア(θ)を算出する。そして、ネットワーク異常検出装置100は、異常スコア(θ)が閾値より大きい場合、ネットワーク11の異常と判定する。その際、ネットワーク異常検出装置100は、ネットワーク11内のトラフィック量の周期的な変動に適用可能なように、過去の固有ベクトルに対して時系列予測演算を行って1タイムスロット先の基準ベクトル(Vec-Ref)を算出する。または、ネットワーク異常検出装置100は、閾値をネットワーク11内のトラフィック量の周期的な変動に適用可能なように変化させるため、過去の閾値に対して時系列予測演算を行って1タイムスロット先の閾値を算出する。または、ネットワーク異常検出装置100は、閾値をネットワーク11内のトラフィック量の周期的な変動に適用可能なように変化させるため、過去の異常スコア(θ)に対して時系列予測演算を行って予測異常スコアを算出し、その予測異常スコアの値の出現頻度分布を求め、所定の確率となるときを1タイムスロット先の閾値に設定する。つまり、ネットワーク異常検出装置100は、このような構成を備えているため、正常なネットワークにおける周期的な変動を異常と判定することを抑制することができる。
1 ネットワーク異常検出システム
10(10A,10B,10C) 装置
11 ネットワーク
100 ネットワーク異常検出装置
110 処理部
111 行列生成部
112 固有ベクトル演算部
113 基準ベクトル演算部
114 異常判定部
115 閾値演算部
120 記憶部
121 過去固有ベクトルDB
122 過去異常スコアDB
123 過去閾値DB
130 入出力部
131 入力部
132 出力部

Claims (7)

  1. 現時点のネットワーク内の装置間の状態を示す行列から固有ベクトルを算出し、算出した当該固有ベクトルを現在ベクトルとし、前記現在ベクトルを算出した時刻と関連付けて当該固有ベクトルを記憶部に過去固有ベクトルとして記憶する固有ベクトル演算部と、
    前記記憶部に記憶されている前記過去固有ベクトルの中から、ネットワーク内の装置間の状態の変動周期を示す第1の周期で所定の時間帯に存在する前記過去固有ベクトルを取得し、取得した当該過去固有ベクトルから基準ベクトルを算出する基準ベクトル演算部と、
    前記現在ベクトルと前記基準ベクトルとの角度差から異常スコアを算出し、前記異常スコアと閾値とを比較して、前記異常スコアと前記閾値との大小関係に基づいてネットワークの異常を判定する異常判定部と、
    前記異常判定部によって算出された過去一定期間の前記異常スコアを前記現在ベクトルを算出した時刻と関連付けて前記記憶部に記憶している場合、前記記憶部に記憶されている前記異常スコアを過去異常スコアとして取得し、取得した前記過去異常スコアを時系列予測演算法に適用して予測異常スコアを算出し、算出した当該予測異常スコアの値の出現頻度分布を求め、所定の確率となるときを前記閾値に設定する閾値演算部と、
    を備えることを特徴とするネットワーク異常検出装置。
  2. 現時点のネットワーク内の装置間の状態を示す行列から固有ベクトルを算出し、算出した当該固有ベクトルを現在ベクトルとし、前記現在ベクトルを算出した時刻と関連付けて当該固有ベクトルを記憶部に過去固有ベクトルとして記憶する固有ベクトル演算部と、
    前記記憶部に記憶されている前記過去固有ベクトルの中から、ネットワーク内の装置間の状態の変動周期を示す第1の周期で所定の時間帯に存在する前記過去固有ベクトルを取得し、取得した当該過去固有ベクトルから基準ベクトルを算出する基準ベクトル演算部と、
    前記現在ベクトルと前記基準ベクトルとの角度差から異常スコアを算出し、前記異常スコアと閾値とを比較して、前記異常スコアと前記閾値との大小関係に基づいてネットワークの異常を判定する異常判定部と、
    前記異常スコアとの比較に用いた過去一定期間の前記閾値を前記現在ベクトルを算出した時刻と関連付けて前記記憶部に記憶している場合、前記記憶部から前記閾値を過去閾値として取得し、取得した当該過去閾値を時系列予測演算法に適用して新たな閾値を算出し、算出した前記新たな閾値を前記閾値に設定する閾値演算部と、
    を備えることを特徴とするネットワーク異常検出装置。
  3. 記閾値演算部は、前記記憶部に記憶されている前記異常スコアの中から、前記第1の周期で所定の時間帯に存在する前記異常スコアを前記過去異常スコアとして取得する
    ことを特徴とする請求項に記載のネットワーク異常検出装置。
  4. 前記閾値演算部は、前記記憶部に記憶されている前記閾値の中から、前記第1の周期で所定の時間帯に存在する前記閾値を前記過去閾値として取得する
    ことを特徴とする請求項に記載のネットワーク異常検出装置。
  5. 前記閾値演算部は、前記出現頻度分布を一次元正規分布、多次元正規分布または多変量正規分布で生成する
    ことを特徴とする請求項または請求項に記載のネットワーク異常検出装置。
  6. ネットワークの異常を判定するネットワーク異常検出装置のネットワーク異常検出方法であって、
    前記ネットワーク異常検出装置は、
    現時点のネットワーク内の装置間の状態を示す行列から固有ベクトルを算出し、算出した当該固有ベクトルを現在ベクトルとし、前記現在ベクトルを算出した時刻と関連付けて当該固有ベクトルを記憶部に過去固有ベクトルとして記憶する固有ベクトル演算ステップと、
    前記記憶部に記憶されている前記過去固有ベクトルの中から、ネットワーク内の装置間の状態の変動周期を示す第1の周期で所定の時間帯に存在する前記過去固有ベクトルを取得し、取得した当該過去固有ベクトルから基準ベクトルを算出する基準ベクトル演算ステップと、
    前記現在ベクトルと前記基準ベクトルとの角度差から異常スコアを算出し、前記異常スコアと閾値とを比較して、前記異常スコアと前記閾値との大小関係に基づいてネットワークの異常を判定する異常判定ステップと、
    前記異常判定ステップによって算出された過去一定期間の前記異常スコアを前記現在ベクトルを算出した時刻と関連付けて前記記憶部に記憶している場合、前記記憶部に記憶されている前記異常スコアを過去異常スコアとして取得し、取得した前記過去異常スコアを時系列予測演算法に適用して予測異常スコアを算出し、算出した当該予測異常スコアの値の出現頻度分布を求め、所定の確率となるときを前記閾値に設定する閾値演算ステップと、
    を実行することを特徴とするネットワーク異常検出方法。
  7. ネットワークの異常を判定するネットワーク異常検出装置のネットワーク異常検出方法であって、
    前記ネットワーク異常検出装置は、
    現時点のネットワーク内の装置間の状態を示す行列から固有ベクトルを算出し、算出した当該固有ベクトルを現在ベクトルとし、前記現在ベクトルを算出した時刻と関連付けて当該固有ベクトルを記憶部に過去固有ベクトルとして記憶する固有ベクトル演算ステップと、
    前記記憶部に記憶されている前記過去固有ベクトルの中から、ネットワーク内の装置間の状態の変動周期を示す第1の周期で所定の時間帯に存在する前記過去固有ベクトルを取得し、取得した当該過去固有ベクトルから基準ベクトルを算出する基準ベクトル演算ステップと、
    前記現在ベクトルと前記基準ベクトルとの角度差から異常スコアを算出し、前記異常スコアと閾値とを比較して、前記異常スコアと前記閾値との大小関係に基づいてネットワークの異常を判定する異常判定ステップと、
    前記異常スコアとの比較に用いた過去一定期間の前記閾値を前記現在ベクトルを算出した時刻と関連付けて前記記憶部に記憶している場合、前記記憶部から前記閾値を過去閾値として取得し、取得した当該過去閾値を時系列予測演算法に適用して新たな閾値を算出し、算出した前記新たな閾値を前記閾値に設定する閾値演算ステップと、
    を実行することを特徴とするネットワーク異常検出方法。
JP2012007590A 2012-01-18 2012-01-18 ネットワーク異常検出装置およびネットワーク異常検出方法 Active JP5711675B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012007590A JP5711675B2 (ja) 2012-01-18 2012-01-18 ネットワーク異常検出装置およびネットワーク異常検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012007590A JP5711675B2 (ja) 2012-01-18 2012-01-18 ネットワーク異常検出装置およびネットワーク異常検出方法

Publications (2)

Publication Number Publication Date
JP2013150083A JP2013150083A (ja) 2013-08-01
JP5711675B2 true JP5711675B2 (ja) 2015-05-07

Family

ID=49047198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012007590A Active JP5711675B2 (ja) 2012-01-18 2012-01-18 ネットワーク異常検出装置およびネットワーク異常検出方法

Country Status (1)

Country Link
JP (1) JP5711675B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6259379B2 (ja) * 2014-09-02 2018-01-10 日本電信電話株式会社 トラフィック異常検出装置およびブログラム
JP6378655B2 (ja) * 2015-08-24 2018-08-22 日本電信電話株式会社 監視装置および監視方法
JP6993559B2 (ja) 2017-05-16 2022-01-13 富士通株式会社 トラフィック管理装置、トラフィック管理方法およびプログラム
WO2019094287A1 (en) * 2017-11-09 2019-05-16 Corning Incorporated Sub-displays with alignment structures and tiled displays fabricated from the sub-displays
CN110298552B (zh) * 2019-05-31 2023-12-01 国网上海市电力公司 一种结合历史用电特征的配电网个体功率异常检测方法
CN114007132A (zh) * 2020-07-28 2022-02-01 中国电信股份有限公司 异常检测方法、装置及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4688083B2 (ja) * 2007-06-12 2011-05-25 日本電信電話株式会社 基準値予測方法とシステムおよびプログラム
JP4721362B2 (ja) * 2007-06-12 2011-07-13 日本電信電話株式会社 閾値設定方法とシステムおよびプログラム

Also Published As

Publication number Publication date
JP2013150083A (ja) 2013-08-01

Similar Documents

Publication Publication Date Title
US10554526B2 (en) Feature vector based anomaly detection in an information technology environment
JP5711675B2 (ja) ネットワーク異常検出装置およびネットワーク異常検出方法
US8930757B2 (en) Operations management apparatus, operations management method and program
US10338982B2 (en) Hybrid and hierarchical outlier detection system and method for large scale data protection
JP5767617B2 (ja) ネットワーク障害検出システムおよびネットワーク障害検出装置
US10318366B2 (en) System and method for relationship based root cause recommendation
US20160162346A1 (en) Root cause analysis for service degradation in computer networks
US9524223B2 (en) Performance metrics of a computer system
JP6823501B2 (ja) 異常検知装置、異常検知方法及びプログラム
US7903657B2 (en) Method for classifying applications and detecting network abnormality by statistical information of packets and apparatus therefor
KR102440335B1 (ko) 이상 감지 관리 방법 및 그 장치
CN104778111A (zh) 一种进行报警的方法和装置
CN108418710B (zh) 一种分布式监控系统、方法及装置
US20150378806A1 (en) System analysis device and system analysis method
JP6280862B2 (ja) イベント分析システムおよび方法
CN112596975A (zh) 对网络设备进行监控处理的方法、系统、设备和存储介质
CN116975938B (zh) 一种产品制造过程中的传感器数据处理方法
Du et al. ATOM: Automated tracking, orchestration and monitoring of resource usage in infrastructure as a service systems
WO2019142414A1 (ja) ネットワーク監視システム、方法及びプログラムを格納した非一時的なコンピュータ可読媒体
JP4559462B2 (ja) 通信関係構造変化による異常検出方法、装置、プログラム、および記録媒体
JP6627258B2 (ja) システムモデル生成支援装置、システムモデル生成支援方法、及び、プログラム
JP5498440B2 (ja) ネットワーク異常検出装置およびネットワーク異常検出方法
CN113485891A (zh) 业务日志监控方法、装置、存储介质及电子设备
US10580082B2 (en) Flow generating program, flow generating method, and flow generating device
AU2021106268A4 (en) Nature-inspired adaptive defense system for early intrusion detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140117

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140502

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140930

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150306

R150 Certificate of patent or registration of utility model

Ref document number: 5711675

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150