JP2021533482A - イベント監視装置、方法及びプログラム - Google Patents
イベント監視装置、方法及びプログラム Download PDFInfo
- Publication number
- JP2021533482A JP2021533482A JP2021505937A JP2021505937A JP2021533482A JP 2021533482 A JP2021533482 A JP 2021533482A JP 2021505937 A JP2021505937 A JP 2021505937A JP 2021505937 A JP2021505937 A JP 2021505937A JP 2021533482 A JP2021533482 A JP 2021533482A
- Authority
- JP
- Japan
- Prior art keywords
- subsequences
- subsequence
- group
- event
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/86—Event-based monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
各ログメッセージはタイムスタンプと一以上のフィールドを持つテキスト内容を含む、異種ログメッセージをキャプチャし;
ログメッセージからログフォーマットを認識し;
テキスト内容を時系列データの集合に変換し、ログフォーマットごとに一つ時系列データを作成し;
トレーニングフェイズでは、時系列データの集合を分析し、異種ログの各周期的イベントタイプのカテゴリモデルを構築し;および、
実行動作中に、実行時の異種ログメッセージからの時系列データのストリームにカテゴリモデルを適用し、カテゴリモデルに違反する時系列データポイントにフラグを生成し、対応するログメッセージのアラームレポートを生成する。
時系列データの周期を計算し、
前記時系列データから、周期として設定された長さの複数のサブシーケンスを生成し、
前記複数のサブシーケンスの特徴量を計算し、
前記複数のサブシーケンスを、前記複数のサブシーケンスの特徴量に基づいて、一つ以上のグループにカテゴライズし、
一つのグループに共通に属する前記サブシーケンスの発生順序に基づいて、一つのグループに共通に属する前記サブシーケンスの周期を検出し、
前記一つのグループに共通して属する前記サブシーケンスの周期に応じて発生が期待されるが、見つからない前記サブシーケンスを識別することにより、欠落イベントの検出を行う、イベント監視方法が提供される。
時系列データの周期を計算し、
前記時系列データから、周期として設定された長さの複数のサブシーケンスを生成し、
前記複数のサブシーケンスの特徴量を計算し、
前記複数のサブシーケンスを、前記複数のサブシーケンスの特徴量に基づいて、一つ以上のグループにカテゴライズし、
一つのグループに共通に属する前記サブシーケンスの発生順序に基づいて、一つのグループに共通に属する前記サブシーケンスの周期を検出し、
前記一つのグループに共通して属する前記サブシーケンスの周期に応じて発生が期待されるが、見つからない前記サブシーケンスを識別することにより、欠落イベントの検出を行う処理をコンピュータに実行させるプログラムを格納した、コンピュータ読み取り可能な記録媒体が提供される。本発明の別の側面によれば、上記したプログラムが提供される。
101 処理部
102 記憶部
103 入力装置
104 出力装置
110 前処理部
120 周期算出部
130 サブシーケンス生成部
140 特徴抽出部
150 クラスタリング部
151 サブシーケンスクラスタリングモジュール
160 イベント解析部
161 インシデンス行列生成部
162 列方向周期算出部
163 欠落イベント識別部
170 分類モデル学習部
180 推定部
190 教師付きサブシーケンス区分部
200 コンピュータシステム
201 プロセッサ
202 メモリ
203、204 I/Oインターフェイス
205 通信インターフェイス
206 入出力装置
207 記憶装置
208 ネットワーク
Claims (13)
- 時系列データの周期を計算する周期計算部と、
前記時系列データから、周期として設定された長さの複数のサブシーケンスを生成するサブシーケンス生成部と、
前記複数のサブシーケンスの特徴量を計算する特徴抽出部と、
前記複数のサブシーケンスを、前記複数のサブシーケンスの特徴量に基づいて、一つ又は複数のグループに分類する分類部と、
前記一つのグループに共通に属する、前記サブシーケンスの発生順序に基づいて、前記一つのグループに共通に属する前記サブシーケンスの周期を求め、前記一つのグループに共通に属する前記サブシーケンスの周期に応じて発生が期待されるが見つからない前記サブシーケンスを識別して欠落イベントの検出を実行するイベント解析部と、
を含むイベント監視装置。 - 前記イベント解析部が、
各要素が、行の前記サブシーケンスと列の各グループとの関係を定義し、前記サブシーケンスが前記グループに分類されている場合には、該列の各グループは値1をとり、そうでない場合は値0をとるインシデンス行列を作成するインシデンス行列作成部と、
前記インシデンス行列の各列における値1の発生の周期を計算する列単位の周期計算部と、
前記要素が属する列の周期に基づいて、値1を取ると期待される前記インシデンス行列の要素が値0をとる場合に、欠落イベントを識別する欠落イベント検出部と、
を含む、請求項1記載のイベント監視装置。 - 前記インシデンス行列が、前記サブシーケンスの数を行数とし、前記サブシーケンスが分類されるグループの数を列数とし、
前記インシデンス行列のi行j列要素は、i番目のサブシーケンスがj番目のグループに分類される場合に値1をとり、そうでない場合には値0をとる(但し、1<=i<=行数、1<=j<=列数)、請求項2記載のイベント監視装置。 - 前記分類部が、
前記複数のサブシーケンスを、前記複数のサブシーケンスの特徴量に基づいて、一つ又は複数のグループにクラスタリングするクラスタリング部を含む、請求項1乃至3のいずれか一に記載のイベント監視装置。 - 前記分類部が、前記複数のサブシーケンスを、前記複数のサブシーケンスの特徴量に基づいて、一つ又は複数のグループに分類するクラシフィケーション部を含む、請求項1乃至3のいずれか一に記載のイベント監視装置。
- 前記クラシフィケーション部が、前記周期を有するトレーニングサブシーケンスを用いて分類モデルを学習する分類モデル学習部と、
前記サブシーケンスが前記サブシーケンスの特徴量に基づいて分類されるグループを、前記分類モデルを用いて推定する推定部と、
を含む、請求項5記載のイベント監視装置。 - 前記周期計算部が、前記時系列データのピリオドグラムおよび前記時系列データの自己相関のうち少なくとも一つを用いて、前記時系列データの周期を算出する、請求項1乃至6のいずれか一に記載のイベント監視装置。
- 前記周期算出部が、前記ピリオドグラム中の最大ピークを検出し、前記自己相関において、前記最大ピークに対応するラグと前記ピリオドグラム中の最大ピークの周波数に対応する時刻に隣接する一つ又は複数のラグで発生する一つ又は複数のピークを検出し、前記ピークに対応するラグと前記ピリオドグラム中の最大ピークの周波数に対応する時刻との距離に基づいて、前記ラグを前記周期として選択することを特徴とする、
請求項7記載のイベント監視装置。 - 時系列データの周期を計算し、
前記時系列データから、周期として設定された長さの複数のサブシーケンスを生成し、
前記複数のサブシーケンスの特徴量を計算し、
前記複数のサブシーケンスを、前記複数のサブシーケンスの特徴量に基づいて、一つ以上のグループにカテゴライズし、
一つのグループに共通に属する前記サブシーケンスの発生順序に基づいて、一つのグループに共通に属する前記サブシーケンスの周期を検出し、
前記一つのグループに共通して属する前記サブシーケンスの周期に応じて発生が期待されるが見つからない前記サブシーケンスを識別することにより、欠落イベントの検出を行う、イベント監視方法。 - 前記サブシーケンスの周期の検出では、
各要素がサブシーケンスの関係を行において定義し、前記サブシーケンスがグループに分類されている場合は列の各グループは値1をとり、そうでない場合は値0をとるインシデンス行列を作成し、
インシデンス行列の各列における値1の発生の周期を計算する列ごとの周期を計算し、
前記欠落イベントの検出は、前記要素が属する列の周期に基づいて、値1を取ると期待される前記インシデンス行列の要素が値0をとる場合に、前記欠落イベントを識別する、請求項9記載のイベント監視方法。 - 前記インシデンス行列は、前記サブシーケンスの数を行の数とし、前記サブシーケンスが分類されるグループの数を列の数とし、前記インシデンス行列のi行j列要素の値は、i番目のサブシーケンスがj番目のグループに分類される場合に1となり、そうでない場合には0となること、但し1<=i<=行の数、1<=j<=列の数とすること、
を特徴とする請求項10記載のイベント監視方法。 - 時系列データの周期を計算し、
前記時系列データから、周期として設定された長さの複数のサブシーケンスを生成し、
前記複数のサブシーケンスの特徴量を計算し、
前記複数のサブシーケンスを、前記複数のサブシーケンスの特徴量に基づいて、一つ以上のグループにカテゴライズし、
一つのグループに共通に属する前記サブシーケンスの発生順序に基づいて、一つのグループに共通に属する前記サブシーケンスの周期を検出し、
前記一つのグループに共通して属する前記サブシーケンスの周期に応じて発生が期待されるが見つからない前記サブシーケンスを識別することにより、欠落イベントの検出を行う、処理を、コンピュータに実行させるプログラムを格納した、コンピュータ読み取り可能な記録媒体。 - 前記サブシーケンスの周期を検出する処理は、
各要素が、行の前記サブシーケンスと列の各グループとの関係を定義し、前記サブシーケンスが前記グループに分類されている場合には、該列の各グループは値1をとり、そうでない場合は値0をとるインシデンス行列を作成する処理と、
前記インシデンス行列の各列における値1の発生の周期を列ごとに計算する処理と、
前記欠落イベントの検出処理は、前記要素が属する列の周期に基づいて、値1をとると期待される前記インシデンス行列の要素が値0をとる場合に、欠落イベントを識別する処理、を含む、請求項12記載のコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/029269 WO2020026442A1 (en) | 2018-08-03 | 2018-08-03 | Event monitoring apparatus, method and program recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021533482A true JP2021533482A (ja) | 2021-12-02 |
JP7173284B2 JP7173284B2 (ja) | 2022-11-16 |
Family
ID=69232521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021505937A Active JP7173284B2 (ja) | 2018-08-03 | 2018-08-03 | イベント監視装置、方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11755448B2 (ja) |
JP (1) | JP7173284B2 (ja) |
WO (1) | WO2020026442A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023170896A1 (ja) * | 2022-03-11 | 2023-09-14 | 三菱電機株式会社 | 学習装置、推論装置、学習方法、及び推論方法 |
WO2023209798A1 (ja) * | 2022-04-26 | 2023-11-02 | 日本電信電話株式会社 | 特徴量抽出装置、特徴量抽出方法及びプログラム |
JP7483095B2 (ja) | 2022-04-26 | 2024-05-14 | 株式会社日立製作所 | 産業システムのための多目的異常検出システム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021135766A (ja) * | 2020-02-27 | 2021-09-13 | 三菱電機株式会社 | IoTシステム向け時系列データ管理システム |
JP2022007313A (ja) * | 2020-06-26 | 2022-01-13 | ルネサスエレクトロニクス株式会社 | 時系列センサデータ処理装置および時系列センサデータ処理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060224356A1 (en) * | 2005-03-31 | 2006-10-05 | Ibm Corporation | Systems and methods for structural clustering of time sequences |
US20170132523A1 (en) * | 2015-11-09 | 2017-05-11 | Nec Laboratories America, Inc. | Periodicity Analysis on Heterogeneous Logs |
WO2018092073A1 (en) * | 2016-11-16 | 2018-05-24 | Anodot Ltd. | Fast automated detection of seasonal patterns in time series data without prior knowledge of seasonal periodicity |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4505589B2 (ja) * | 2005-03-15 | 2010-07-21 | 独立行政法人産業技術総合研究所 | 周期判定装置、周期判定方法および周期判定プログラム |
US20100205039A1 (en) | 2009-02-11 | 2010-08-12 | International Business Machines Corporation | Demand forecasting |
EP2410438A1 (en) | 2010-07-20 | 2012-01-25 | European Space Agency | Method and telemetric device for resampling time series data |
WO2012103485A2 (en) | 2011-01-28 | 2012-08-02 | The Board Of Regents Of The Nevada System Of Higher Education On Behalf Of The Desert Research Institute | Signal identification methods and systems |
WO2015059272A1 (en) | 2013-10-24 | 2015-04-30 | Universite Libre De Bruxelles | Improved non-intrusive appliance load monitoring method and device |
DE102014208034A1 (de) | 2014-04-29 | 2015-10-29 | Siemens Aktiengesellschaft | Verfahren zum Bereitstellen von zuverlässigen Sensordaten |
-
2018
- 2018-08-03 WO PCT/JP2018/029269 patent/WO2020026442A1/en active Application Filing
- 2018-08-03 JP JP2021505937A patent/JP7173284B2/ja active Active
-
2021
- 2021-01-27 US US17/263,728 patent/US11755448B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060224356A1 (en) * | 2005-03-31 | 2006-10-05 | Ibm Corporation | Systems and methods for structural clustering of time sequences |
US20170132523A1 (en) * | 2015-11-09 | 2017-05-11 | Nec Laboratories America, Inc. | Periodicity Analysis on Heterogeneous Logs |
WO2018092073A1 (en) * | 2016-11-16 | 2018-05-24 | Anodot Ltd. | Fast automated detection of seasonal patterns in time series data without prior knowledge of seasonal periodicity |
Non-Patent Citations (2)
Title |
---|
HESAM IZAKIAN,外1名: ""Anomaly Detection in Time Series Data using a Fuzzy C-Means Clustering"", [ONLINE], JPN6022013646, 26 September 2013 (2013-09-26), ISSN: 0004749257 * |
RAWSHAN BASHA: ""UNUSUAL SUB-SEQUENCE IDENTIFICATIONS IN TIME SERIES"", [ONLINE], JPN6022013644, April 2007 (2007-04-01), ISSN: 0004749258 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023170896A1 (ja) * | 2022-03-11 | 2023-09-14 | 三菱電機株式会社 | 学習装置、推論装置、学習方法、及び推論方法 |
JP7466802B2 (ja) | 2022-03-11 | 2024-04-12 | 三菱電機株式会社 | 学習装置、推論装置、学習方法、及び推論方法 |
WO2023209798A1 (ja) * | 2022-04-26 | 2023-11-02 | 日本電信電話株式会社 | 特徴量抽出装置、特徴量抽出方法及びプログラム |
JP7483095B2 (ja) | 2022-04-26 | 2024-05-14 | 株式会社日立製作所 | 産業システムのための多目的異常検出システム |
Also Published As
Publication number | Publication date |
---|---|
US20210374031A1 (en) | 2021-12-02 |
WO2020026442A1 (en) | 2020-02-06 |
JP7173284B2 (ja) | 2022-11-16 |
US11755448B2 (en) | 2023-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7173284B2 (ja) | イベント監視装置、方法及びプログラム | |
US11403164B2 (en) | Method and device for determining a performance indicator value for predicting anomalies in a computing infrastructure from values of performance indicators | |
US20200034730A1 (en) | Machine Discovery of Aberrant Operating States | |
Song et al. | Identifying performance anomalies in fluctuating cloud environments: A robust correlative-GNN-based explainable approach | |
US11307916B2 (en) | Method and device for determining an estimated time before a technical incident in a computing infrastructure from values of performance indicators | |
US20180211172A1 (en) | Machine Discovery and Rapid Agglomeration of Similar States | |
Pavlovski et al. | Hierarchical convolutional neural networks for event classification on PMU measurements | |
JP6183450B2 (ja) | システム分析装置、及び、システム分析方法 | |
US20100306597A1 (en) | Automated identification of performance crisis | |
US11675643B2 (en) | Method and device for determining a technical incident risk value in a computing infrastructure from performance indicator values | |
Su et al. | Detecting outlier machine instances through gaussian mixture variational autoencoder with one dimensional cnn | |
Perini et al. | Quantifying the confidence of anomaly detectors in their example-wise predictions | |
US20160255109A1 (en) | Detection method and apparatus | |
Iturrino-García et al. | An innovative single shot power quality disturbance detector algorithm | |
JP2023501062A (ja) | 異常機器トレース検出および分類 | |
EP3716279A1 (en) | Monitoring, predicting and alerting for census periods in medical inpatient units | |
Zhang et al. | Robust KPI anomaly detection for large-scale software services with partial labels | |
Du et al. | Behavioral anomaly detection approach based on log monitoring | |
WO2017127260A1 (en) | System and method for allocating machine behavioral models | |
US9613271B2 (en) | Determining severity of a geomagnetic disturbance on a power grid using similarity measures | |
CN113052302B (zh) | 基于循环神经网络的机器健康监控方法、装置及终端设备 | |
CN115495274B (zh) | 基于时序数据的异常处理方法、网络设备和可读存储介质 | |
US12019433B2 (en) | Periodicity analysis apparatus, method and program recording medium | |
Lan et al. | Anomaly detection on it operation series via online matrix profile | |
Amoateng et al. | A deep unsupervised learning approach to PMU event detection in an active distribution network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210202 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221017 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7173284 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |