JP2020009411A - 多次元時系列におけるスパース・ニューラル・ネットワーク・ベース異常検出 - Google Patents
多次元時系列におけるスパース・ニューラル・ネットワーク・ベース異常検出 Download PDFInfo
- Publication number
- JP2020009411A JP2020009411A JP2019050932A JP2019050932A JP2020009411A JP 2020009411 A JP2020009411 A JP 2020009411A JP 2019050932 A JP2019050932 A JP 2019050932A JP 2019050932 A JP2019050932 A JP 2019050932A JP 2020009411 A JP2020009411 A JP 2020009411A
- Authority
- JP
- Japan
- Prior art keywords
- time series
- parameters
- neural network
- dimensional
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 title abstract description 24
- 230000005856 abnormality Effects 0.000 title abstract description 7
- 230000009467 reduction Effects 0.000 claims abstract description 36
- 230000002159 abnormal effect Effects 0.000 claims abstract description 30
- 230000000306 recurrent effect Effects 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 18
- 238000010200 validation analysis Methods 0.000 claims description 9
- 230000008878 coupling Effects 0.000 claims description 8
- 238000010168 coupling process Methods 0.000 claims description 8
- 238000005859 coupling reaction Methods 0.000 claims description 8
- 238000012886 linear function Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 6
- 230000008602 contraction Effects 0.000 claims description 6
- 238000013459 approach Methods 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 12
- 230000006399 behavior Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 230000002547 anomalous effect Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0495—Quantised networks; Sparse networks; Compressed networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
- G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
- G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Security & Cryptography (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Debugging And Monitoring (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】多次元時系列について有効な異常検出手法を提供する。【解決手段】エンティティの複数のパラメータに対応する多次元時系列における異常検出のためのスパース・ニューラル・ネットワークは、次元削減モデルを使用することによってフィードフォワード層を介して多次元時系列から次元削減された時系列を取得し、多層スパース・ニューラル・ネットワークを取得するために、次元削減モデルとリカレント・ニューラル・ネットワークエンコーダデコーダ・モデルとを同時に学習し、異常スコアを取得するために、多次元時系列の時間インスタンスに対応する複数の誤差ベクトルを計算し、複数の誤差ベクトルに基づいて異常スコアを生成する。【選択図】図２
Description
関連出願の相互参照および優先権
本出願は、その全体が参照により本明細書に組み込まれる、２０１８年７月９日に出願されたインド特許出願第２０１８２１０２５６０２号の優先権を主張する。
本出願は、その全体が参照により本明細書に組み込まれる、２０１８年７月９日に出願されたインド特許出願第２０１８２１０２５６０２号の優先権を主張する。
本明細書の開示は、一般に時系列分析に関し、より詳細には、スパース・ニューラル・ネットワーク（Ｓｐａｒｓｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）に基づく多次元時系列における異常検出のためのシステムおよび方法に関する。
現在のデジタル時代において、ストリーミング・データはユビキタスであり、急速に増大しており、たとえば、産業用モノのインターネット（Ｉｎｄｕｓｔｒｉａｌ Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）を使用して、機器の動作挙動をキャプチャする多数のセンサーを用いて、システムの自動監視を可能にする。エンジン、タービン、航空機などの複雑な産業用システムは一般に、多数（数十、さらには数百）のセンサーを備えており、多次元ストリーミング・データが生じる。遠隔健康監視サービスを提供し、フィールド・エンジニアがインフォームド・ディシジョン（informed decisions）を行うのを助けるために、このデータを活用することの関心が、相手先商標製造会社（original equipment manufacturers）（ＯＥＭ）の間で高まっている。
時系列からの異常検出は、健康監視システムを構築する際の重要な構成要素のうちの１つである。たとえば、機械の切迫した障害の早期症状を異常の形態で検出することは、障害を回避するためのまたは保守費と機械休止時間とを低減するための是正措置をとるのを助けることができる。最近、リカレント・ニューラル・ネットワーク（Recurrent Neural Networks）（ＲＮＮ）が、マルチセンサー・データから複雑なシステムの正常挙動のモデルを構築し、次いで、学習された正常挙動からの逸脱に異常のフラグを付けることによる、多変量時系列における異常検出のために広範に適用され始めている。したがって、有意味な異常を見つけるという概念は、多次元データにおいて実質的により複雑になる。
ＲＮＮを使用する異常検出のためのドメイン駆動センサー選択は、異常の所与のセットをキャプチャするための重要なセンサーを知ることによって制限され、したがって、関連するセンサーのセット中に含まれないセンサーにおける他のタイプの異常シグネチャを逃す。同様に、そのようなシナリオを扱うために各センサーまたはセンサーのサブセットを別個に考慮する手法は、ａ）それが有用なセンサー依存性情報の消失につながり、ｂ）センサーの数が大きいとき、各センサーについて別個のＲＮＮモデルを構築および展開することが実際的でなく、計算量的に実現不可能であり得ることを仮定すれば、適切でないことがある。しかしながら、既存の異常検出手法は、多次元時系列についてあまり有効でない。
本開示の実施形態は、従来のシステムにおける、発明者によって認識された上述の技術的問題のうちの１つまたは複数に対する解決策としての技術改善を提示する。たとえば、一態様では、スパース・ニューラル・ネットワークに基づいて多次元時系列において異常を検出するためのプロセッサ実装方法が提供される。本方法は、入力層において、エンティティの複数のパラメータに対応する多次元時系列を受信するステップと、次元削減モデル（ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｒｅｄｕｃｔｉｏｎ ｍｏｄｅｌ）を使用して、少なくとも１つのフィードフォワード層を介して多次元時系列から次元削減された（ｒｅｄｕｃｅｄ−ｄｉｍｅｎｓｉｏｎａｌ）時系列を取得するステップであって、入力層とフィードフォワード層との間の結合が、複数のパラメータの少なくとも一部分にアクセスするためにスパース（sparse）である、取得するステップと、リカレント・ニューラル・ネットワーク（ＲＮＮ）エンコーダデコーダ・モデルを使用することによって、次元削減モデルによって取得された次元削減された時系列を使用して多次元時系列を推定するステップと、推定された多次元時系列を使用することによって、多層スパース・ニューラル・ネットワークを取得するために次元削減モデルとＲＮＮエンコーダデコーダ・モデルとを同時に学習するステップと、多層スパース・ニューラル・ネットワークを使用することによって、多次元時系列と推定された多次元時系列との比較を実施することによって多次元時系列の少なくとも１つの時間インスタンスに対応する複数の誤差ベクトルを計算するステップと、複数の誤差ベクトルに基づいて少なくとも１つの異常スコアを生成するステップとを含む。
一実施形態では、次元削減された時系列における複数のパラメータの各々は、多次元時系列の複数のパラメータのサブセットの非線形関数である。次元削減モデルは、複数のフィードフォワード層の複数のパラメータに関する最小絶対収縮および選択演算子（ＬＡＳＳＯ：Ｌｅａｓｔ Ａｂｓｏｌｕｔｅ Ｓｈｒｉｎｋａｇｅ ａｎｄ Ｓｅｌｅｃｔｉｏｎ Ｏｐｅｒａｔｏｒ）スパース性（ｓｐａｒｓｉｔｙ）制約をもつフィードフォワード層を含む。本方法は、異常スコアがしきい値（たとえば、動的しきい値）よりも大きい場合、多次元時系列における少なくとも１つの時間インスタンスを異常として分類するステップをさらに含み得る。本方法は、異常スコアがしきい値よりも小さいかまたはそれに等しい場合、多次元時系列における少なくとも１つの時間インスタンスを正常として分類するステップをさらに含み得る。しきい値は、Ｆスコアを最大にしながらホールドアウト検証セット（ｈｏｌｄ−ｏｕｔ ｖａｌｉｄａｔｉｏｎ ｓｅｔ）に基づいて学習され得る。ホールドアウト検証セットは、多次元時系列の少なくとも１つの正常時間インスタンスおよび少なくとも１つの異常時間インスタンスを含む。
別の態様では、スパース・ニューラル・ネットワークに基づいて多次元時系列において異常を検出するためのプロセッサ実装システムが提供される。本システムは、命令を記憶するメモリと、１つまたは複数の通信インターフェースと、１つまたは複数の通信インターフェースを介してメモリに接続された１つまたは複数のハードウェア・プロセッサであって、入力層において、エンティティの複数のパラメータに対応する多次元時系列を受信することと、次元削減モデルを使用して、少なくとも１つのフィードフォワード層を介して多次元時系列から次元削減された時系列を取得することであって、入力層とフィードフォワード層との間の結合が、複数のパラメータの少なくとも一部分にアクセスするためにスパースである、取得することと、リカレント・ニューラル・ネットワーク（ＲＮＮ）エンコーダデコーダ・モデルを使用することによって、次元削減モデルによって取得された次元削減された時系列を使用して多次元時系列を推定することと、推定された多次元時系列を使用することによって、多層スパース・ニューラル・ネットワークを取得するために次元削減モデルとＲＮＮエンコーダデコーダ・モデルとを同時に学習することと、多層スパース・ニューラル・ネットワークを使用することによって、多次元時系列と推定された多次元時系列との比較を実施することによって多次元時系列の少なくとも１つの時間インスタンスに対応する複数の誤差ベクトルを計算することと、複数の誤差ベクトルに基づいて少なくとも１つの異常スコアを生成することとを行うように命令によって構成された、１つまたは複数のハードウェア・プロセッサとを備える。
一実施形態では、次元削減された時系列における複数のパラメータの各々は、多次元時系列の複数のパラメータのサブセットの非線形関数である。一実施形態では、次元削減モデルは、複数のフィードフォワード層の複数のパラメータに関する最小絶対収縮および選択演算子（ＬＡＳＳＯ）スパース性制約をもつ複数のフィードフォワード層を含む。一実施形態では、１つまたは複数のハードウェア・プロセッサは、異常スコアがしきい値（たとえば、動的しきい値）よりも大きい場合、多次元時系列における少なくとも１つの時間インスタンスを異常として分類することと、異常スコアがしきい値よりも小さいかまたはそれに等しい場合、多次元時系列における少なくとも１つの時間インスタンスを正常として分類することとを行うようにさらに構成される。しきい値は、Ｆスコアについて最大にしながらホールドアウト検証セットに基づいて学習され得る。ホールドアウト検証セットは、多次元時系列の少なくとも１つの正常時間インスタンスおよび少なくとも１つの異常時間インスタンスを含み得る。
また別の態様では、１つまたは複数のハードウェア・プロセッサによって実行されたとき、入力層において、エンティティの複数のパラメータに対応する多次元時系列を受信することと、次元削減モデルを使用して、少なくとも１つのフィードフォワード層を介して多次元時系列から次元削減された時系列を取得することであって、入力層とフィードフォワード層との間の結合が、複数のパラメータの少なくとも一部分にアクセスするためにスパースである、取得することと、リカレント・ニューラル・ネットワーク（ＲＮＮ）エンコーダデコーダ・モデルを使用することによって、次元削減モデルによって取得された次元削減された時系列を使用して多次元時系列を推定することと、推定された多次元時系列を使用することによって、多層スパース・ニューラル・ネットワークを取得するために次元削減モデルとＲＮＮエンコーダデコーダ・モデルとを同時に学習することと、多層スパース・ニューラル・ネットワークを使用することによって、多次元時系列と推定された多次元時系列との比較を実施することによって多次元時系列の少なくとも１つの時間インスタンスに対応する複数の誤差ベクトルを計算することと、複数の誤差ベクトルに基づいて少なくとも１つの異常スコアを生成することとを引き起こす１つまたは複数の命令を含む１つまたは複数の非一時的機械可読情報記憶媒体が提供される。
一実施形態では、命令は、１つまたは複数のハードウェア・プロセッサによって実行されたとき、次元削減された時系列における複数のパラメータの各々が多次元時系列の複数のパラメータのサブセットの非線形関数になることをさらに引き起こし得る。次元削減モデルは、複数のフィードフォワード層の複数のパラメータに関する最小絶対収縮および選択演算子（ＬＡＳＳＯ）スパース性制約をもつ複数のフィードフォワード層を含む。本方法は、異常スコアがしきい値（たとえば、動的しきい値）よりも大きい場合、多次元時系列における少なくとも１つの時間インスタンスを異常として分類することをさらに含み得る。本方法は、異常スコアがしきい値よりも小さいかまたはそれに等しい場合、多次元時系列における少なくとも１つの時間インスタンスを正常として分類することをさらに含み得る。しきい値（たとえば、動的しきい値）は、Ｆスコアについて最大にしながらホールドアウト検証セットに基づいて学習され得る。ホールドアウト検証セットは、多次元時系列の少なくとも１つの正常時間インスタンスおよび少なくとも１つの異常時間インスタンスを含み得る。
上記の概略的な説明と以下の詳細な説明の両方が、例示的および説明的なものにすぎず、請求される本発明を限定するものではでないことを理解されたい。
本開示の一部に組み込まれ、それを構成する添付の図面は、例示的な実施形態を示し、その説明とともに、開示される原理について説明するのに役立つ。
添付の図面を参照しながら、例示的な実施形態が説明される。図では、参照番号の（１つまたは複数の）左端の桁は、参照番号が最初に現れる図を識別する。好都合な場合はいつでも、同じまたは同様の部分を指すために図面全体にわたって同じ参照番号が使用される。開示される原理の例および特徴が本明細書で説明されるが、開示される実施形態の趣旨および範囲から逸脱することなく、変更形態、適応形態、および他の実装形態が可能である。以下の詳細な説明は例示にすぎないと見なされ、真の範囲および趣旨は以下の特許請求の範囲によって示されることが意図される。
本開示では、その関連する実施形態およびシステムおよび方法は、多次元時系列のためのそのような手法の拡張のための効率的なやり方を提供する。本手法は、エンドツーエンド学習フレームワークによる時系列モデル化のために非時間次元削減技法の利点とリカレント・オートエンコーダの利点とを組み合わせる。リカレント・エンコーダは、フィードフォワード層を介した入力次元へのスパース・アクセスを得るが、リカレント・デコーダは、すべての入力次元を再構成することを強制され、それにより、より良い正規化およびロバストな時間モデルにつながる。このようにして正常時系列に関してトレーニングされたオートエンコーダは、任意の異常時系列パターンについて、高い再構成誤差と、対応する高い異常スコアとを与える可能性がある。
本開示は、スパース・ニューラル・ネットワーク・ベース異常検出（ＳＰＲＥＡＤ：Ｓｐａｒｓｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｂａｓｅｄ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ）、すなわち、システムの正常挙動をモデル化するために、エンドツーエンド学習設定において、入力層上で１つまたは複数のスパースに結合されたフィードフォワード層を介して点別（point-wise）（すなわち非時間（non-temporal））次元削減をリカレント・ニューラル・エンコーダデコーダと組み合わせる手法を提案する。正常挙動のためのモデルが学習されると、そのモデルは、リカレント・エンコーダの出力を使用して元の時系列を再構成することを試みるリカレント・デコーダを介して再構成を分析することによって、正常から逸脱する挙動を検出するために使用され得る。正常データのみに関してトレーニングされたので、そのモデルは、異常時系列を再構成することに失敗し、高い再構成誤差を生じる可能性がある。再構成におけるこの誤差は、異常スコアを取得するために使用される。
本開示では、いくつかのベースラインにわたる異常検出性能におけるパブリック・データセットおよび２つの現実世界のデータセットの実験を通して提案される手法を実装することによって、有意な改善に関するさらなる有効性が観測される。提案される手法は、多次元設定において異常シグネチャを伝える関連する次元を知らなくても、うまく実施することが可能である。本開示は、さらに、多次元時系列における異常検出のためにＬ１正規化を介してスパース・ネットワークを活用する有効なやり方を提案する。
次に、同様の参照符号が図全体にわたって一貫して対応する特徴を示す図面、より詳細には、図１から図４Ａ〜図４Ｃを参照すると、好ましい実施形態が示されており、これらの実施形態は、以下の例示的なシステムおよび／または方法のコンテキストにおいて説明される。
図１は、本開示の一実施形態による、スパース・ニューラル・ネットワークに基づいて多次元時系列において異常を検出するためのシステム１００の例示的なブロック図を示す。一実施形態では、システム１００は、１つまたは複数のプロセッサ１０４と、（１つまたは複数の）通信インターフェース・デバイスまたは（１つまたは複数の）入出力（Ｉ／Ｏ）インターフェース１０６と、１つまたは複数のプロセッサ１０４に動作可能に接続された１つまたは複数のデータ記憶デバイスまたはメモリ１０２とを含む。メモリ１０２はデータベース１０８を備える。ハードウェア・プロセッサである１つまたは複数のプロセッサ１０４は、１つまたは複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理ユニット、状態機械、論理回路、および／または動作命令に基づいて信号を操作する任意のデバイスとして実装され得る。複数の能力の中でも、（１つまたは複数の）プロセッサは、メモリに記憶されたコンピュータ可読命令をフェッチし、実行するように構成される。一実施形態では、システム１００は、ラップトップ・コンピュータ、ノートブック、ハンドヘルド・デバイス、ワークステーション、メインフレーム・コンピュータ、サーバ、ネットワーク・クラウドなど、様々なコンピューティング・システムにおいて実装され得る。
（１つまたは複数の）Ｉ／Ｏインターフェース・デバイス１０６は、様々なソフトウェアおよびハードウェア・インターフェース、たとえば、ウェブ・インターフェース、グラフィカル・ユーザ・インターフェースなどを含むことができ、ワイヤード・ネットワーク、たとえば、ＬＡＮ、ケーブルなどと、ＷＬＡＮ、セルラー、または衛星など、ワイヤレス・ネットワークとを含む、多種多様なネットワークＮ／Ｗおよびプロトコル・タイプ内での複数の通信を可能にすることができる。一実施形態では、（１つまたは複数の）Ｉ／Ｏインターフェース・デバイスは、いくつかのデバイスを互いにまたは別のサーバに結合するための１つまたは複数のポートを含むことができる。
メモリ１０２は、たとえば、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）およびダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）などの揮発性メモリ、ならびに／または、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ、フラッシュ・メモリ、ハードディスク、光ディスク、および磁気テープなどの不揮発性メモリを含む、当技術分野で知られている任意のコンピュータ可読媒体を含み得る。
データベース１０８は、情報を記憶し、限定はしないが、１つまたは複数のセンサーから取得された複数のパラメータを記憶し得、パラメータは、エンティティ（たとえば、ユーザ、機械など）に固有である。一実施形態では、１つまたは複数のセンサーは、温度センサー、動きセンサー、圧力センサー、振動センサーなどであり得る。パラメータは、ユーザおよび／または機械のいずれかに結合されたセンサーを通してキャプチャされたセンサー・データを含み得る。さらに、データベース１０８は、本明細書で説明される方法論に固有の、（たとえば、各段階において）システム１００に供給された入力および／またはシステムによって生成された出力に関係する情報を記憶する。より詳細には、データベース１０８は、提案される方法論の各ステップにおいて処理されている情報を記憶する。
図２は、図１を参照しながら、本開示の一実施形態による、図１のシステム１００を使用してスパース・ニューラル・ネットワークに基づいて多次元時系列において異常を検出するための方法を示す例示的な流れ図を示す。一実施形態では、システム１００は、１つまたは複数のハードウェア・プロセッサ１０４に動作可能に接続された１つまたは複数のデータ記憶デバイスまたはメモリ１０２を備え、１つまたは複数のプロセッサ１０４による方法のステップの実行のための命令を記憶するように構成される。図２に示されている流れ図は、以下の説明／記述を介してより良く理解される。
図３Ａに示されているＲＮＮベース・エンコーダデコーダ異常検出（ＥｎｃＤｅｃ−ＡＤ：Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ ａｎｏｍａｌｙ ｄｅｔｅｃｔｉｏｎ）は、最初に、再構成誤差を損失関数として使用して時間オートエンコーダとしてリカレント・ニューラル・ネットワーク・エンコーダデコーダ（ＲＮＮ−ＥＤ：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ）をトレーニングする。オートエンコーダは正常時系列に関してトレーニングされ、したがって、ネットワークは、正常時系列をうまく再構成することを学習するが、異常時系列を再構成しない可能性がある。次いで、再構成誤差は、異常スコアを取得するために使用される。
より詳細には、図３Ｂは、図１〜図２を参照しながら、本開示のいくつかの実施形態による、図１のシステム１００によって実装されるスパース・ニューラル・ネットワーク・エンコーダデコーダ・ベース異常検出を示す。より詳細には、リカレント・ニューラル・ネットワーク・エンコーダデコーダ（ＲＮＮ−ＥＤ）は、ｉ番目の時系列インスタンスについて、ターゲット時系列
が入力時系列
の逆であるような様式でトレーニングされる。一実施形態では、ｘ１．．．Ｔは、長さＴの多変量実数値時系列（multivariate real-valued time series）ｘ１、ｘ２、．．．、ｘＴを示し、ここで、各ｘｔ∈Ｒｄである（ｄは入力次元、たとえばこの場合はセンサーの数である）。全体的プロセスは、エンコーダ関数ｆＥを介した入力多変量時系列と固定次元ベクトル
との非線形マッピングと、その後に続く、デコーダ関数ｆＤを介した固定次元ベクトルと多変量時系列との別の非線形マッピングとして考えられ得る。ＲＮＮ−ＥＤは、２乗再構成誤差（squared reconstruction error）の平均によって与えられる損失関数Ｌを最小にするようにトレーニングされる。
ここで、Ｎは、トレーニング・セット中の多変量時系列インスタンスの数であり、
はＬ２ノルムを示し、ＷＥとＷＤとは、それぞれエンコーダＲＮＮのパラメータとデコーダＲＮＮのパラメータとを表す。
誤差ベクトル
を仮定すれば、以下のように、異常スコア
を計算するためにマハラノビス距離（Mahalanobis distance）が使用される。
ここで、μおよびΣは、正常トレーニング時系列インスタンスに対応する誤差ベクトルの平均および共分散行列（mean and covariance matrix）である。この異常スコアは、現在の時間ｔにおいて終了する長さＴのウィンドウを入力として使用することによってオンライン設定において取得され、異常挙動に関係する適時のアラームを生成することが可能になり得る。点
は、
である場合、異常として分類され、しきい値τは、Ｆスコアについて最適化しながらホールドアウト検証セットを使用して学習され得る。
次に、図１に示されているシステム１００の構成要素、および図２の流れ図を参照しながら、本開示の方法のステップが説明される。本開示の実施形態では、ステップ２０２において、１つまたは複数のハードウェア・プロセッサ１０４は、入力層において、エンティティ（たとえば、この場合、エンティティはユーザまたは機械などであり得る）の複数のパラメータに対応する多次元時系列を受信する。一実施形態では、多次元時系列の各次元は、エンティティの複数のパラメータからの少なくとも１つのパラメータに対応する。本開示の実施形態では、ステップ２０４において、１つまたは複数のハードウェア・プロセッサ１０４は、次元削減モデルを使用して、少なくとも１つのフィードフォワード層を介して多次元時系列から次元削減された時系列を取得する。一実施形態では、入力層とフィードフォワード層との間の結合は、複数のパラメータの少なくとも一部分にアクセスするためにスパースである。一実施形態では、フィードフォワード次元削減層（ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｒｅｄｕｃｔｉｏｎ ｌａｙｅｒ）を介して入力時系列における各多次元点を次元削減された点にマッピングするためのプロビジョンが、次いで、次元削減された空間における時系列を使用して、ＥｎｃＤｅｃ−ＡＤの場合のように、ＲＮＮ−ＥＤを介して元の多次元時系列を再構成する。
フィードフォワード層中の各ユニットが入力パラメータ（たとえば、入力次元）のサブセットへのアクセスを有するように、スパース性制約がフィードフォワード層の重みに関して追加される。整流された線形ユニット（ＲｅＬＵ：Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）を介した非線形変換を通して、ｒ＜ｄであるように、
を
にマッピングするために、入力層からのスパース結合ＷＲをもつフィードフォワード層が使用される。次いで、変換された低次元入力
が、
の代わりにＲＮＮ−ＥＤネットワークへの入力として使用され、式（１）におけるステップを以下のように変更する。
ここで、
（ここで、ｗｊは行列ＷＲの要素である）は、次元削減層中のスパース性を誘起し、すなわち、ＷＲの要素の小数（fraction）を０に近くなる（パラメータλを介して制御される）ように制約するために採用されるＬＡＳＳＯペナルティである。これは、密な全結合フィードフォワード層（dense, fully-connected feedforward layer）をスパース層に変換する。スパース・フィードフォワード層とＲＮＮ−ＥＤとは、確率的勾配降下（stochastic gradient descent）を介してエンドツーエンド様式でトレーニングされる。
であり、ここで、ｗｉは行列ＷＲの要素である。一実施形態では、トレーニングすることは、ここでは、図２の場合のように各段階／ステップ（２０２〜２０８）の出力を学習することを意味する。Ｌ１ノルムが０において微分可能でないとき、実際には劣勾配（ｓｕｂｇｒａｄｉｅｎｔ）０が使用される。一実施形態では、次元削減モデルは、ＬＡＳＳＯスパース性制約をもつ複数のフィードフォワード層を含む。たとえば、次元削減された時系列におけるパラメータの各々は、多次元時系列のサブセットの非線形関数である。
得られたスパース重み行列ＷＲは、フィードフォワード層中の各ユニットが入力次元のうちのほんのいくつかへのアクセスを潜在的に有するように入力層とフィードフォワード層との間の結合がスパースであることを保証する。したがって、
の各次元は、比較的小さい数の入力次元の線形結合であり、教師なし特徴選択（unsupervised feature selection）を効果的に生じる。
本開示の実施形態では、ステップ２０６において、１つまたは複数のハードウェア・プロセッサ１０４は、図３Ｂに示されているように、リカレント・ニューラル・ネットワーク（ＲＮＮ）エンコーダデコーダ・モデルを介して、次元削減モデルによって取得された次元削減された時系列を使用して多次元時系列を推定する。より詳細には、図３Ｂは、図１〜図３Ａを参照しながら、本開示のいくつかの実施形態による、図１のシステム１００によって実装されるリカレント・ニューラル・ネットワーク・エンコーダデコーダ（ＲＮＮ−ＥＤ）モデルを示す。一実施形態では、ＲｅＬＵ層は次元削減を暗示するが、オートエンコーダは、元の時系列自体を再構成するようにトレーニングされる。一実施形態では、スパース・フィードフォワード層は、ＲｅＬＵ層中の削減された次元が、すべての元の入力次元を再構成することに関連する情報をキャプチャすることを強制されるように、強力な正規化器（ｒｅｇｕｌａｒｉｚｅｒ）として働く。
本開示の実施形態では、ステップ２０８において、１つまたは複数のハードウェア・プロセッサ１０４は、推定された多次元時系列を使用することによって、多層スパース・ニューラル・ネットワークを取得するために次元削減モデルとＲＮＮエンコーダデコーダ・モデルとを同時に学習する。一実施形態では、学習することは、図２の場合のように各ステップ／段階（２０２〜２０８）における入力および出力を包含する。本開示の実施形態では、ステップ２１０において、１つまたは複数のハードウェア・プロセッサ１０４は、多層スパース・ニューラル・ネットワークによって、多次元時系列と推定された多次元時系列との比較を実施することによって多次元時系列の少なくとも１つの時間インスタンスに対応する複数の誤差ベクトルを計算する。本開示の実施形態では、ステップ２１２において、１つまたは複数のハードウェア・プロセッサ１０４は、複数の誤差ベクトルに基づいて１つまたは複数の異常スコアを生成する。一実施形態では、システム１００がトレーニングされると異常スコアが計算される。一実施形態では、次元削減された時系列における複数のパラメータの各々は、多次元時系列の複数のパラメータのサブセットの非線形関数である。
別の実施形態では、次元削減モデルは、複数のフィードフォワード層の複数のパラメータに関する最小絶対収縮および選択演算子（ＬＡＳＳＯ）スパース性制約をもつ複数のフィードフォワード層を含む。一実施形態では、この手法は、異常スコアがしきい値よりも大きい場合、多次元時系列における少なくとも１つの時間インスタンスを異常として分類するステップをさらに含む。一実施形態では、この手法は、異常スコアがしきい値よりも小さいかまたはそれに等しい場合、多次元時系列における少なくとも１つの時間インスタンスを正常として分類するステップをさらに含む。一実施形態では、Ｆスコアは、２つのクラス、すなわち、正常クラス（０）および異常クラス（１）をもつバイナリ分類器に対応する。
一実施形態では、これは、元の各次元の、異常スコアへの寄与が推定され得るように、異常スコアが依然として解釈可能であることを保証する。別の実施形態では、ＲＮＮ−ＥＤは、時間依存性がネットワークにおいてうまくキャプチャされることを保証し、スパース・フィードフォワード層は、所与の時間における様々な次元間の依存性がうまくキャプチャされることを保証する。
実験評価：
比較のために考慮される例示的な手法：
本開示では、スパース・ニューラル・ネットワーク・エンコーダデコーダ（ＳＰＲＥＡＤ）は、標準ＥｎｃＤｅｃ−ＡＤ（すなわち、以下でＡＤとして参照される）と比較され得る。比較のために使用される他の手法は、以下の通りである。
ｉ． トレイン・インスタンスからの元の点別入力のμおよびΣを使用する多次元入力空間におけるマハラノビス距離に基づく単純な非時間異常検出モデル、すなわち、ＭＤ（式２と同様。ここで、異常スコアを得るためにｅｔの代わりにｘｔが使用される）。
ｉｉ． （領域の専門家によって示唆されるような）異常挙動または障害を決定するのに十分な最も関連するパラメータに関してのみＡＤモデルがトレーニングされる、関連ＡＤ（Ｒｅｌｅｖａｎｔ−ＡＤ）。これは、多数の入力センサーの小さいサブセット中に存在するにすぎない弱い異常シグネチャを検出することが可能であることにおけるＳＰＲＥＡＤの有効性を評価するために使用される。
ｉｉｉ． エンドツーエンド学習を介したＳＰＲＥＡＤにおける暗黙的次元削減を標準次元削減技法と比較するために、ＰＣＡ−ＡＤが考慮され、ここで、ＡＤに供給されている入力の次元を削減するために、最初に主成分分析（Principal Components Analysis）（ＰＣＡ）が使用される（データの分散の９５％をキャプチャする最上位主成分を考慮する）。
ｉｖ． ＬＡＳＳＯスパース性制約をもつフィードフォワード層中のスパース結合の影響を評価するために、ＦＦ−ＡＤ（フィードフォワードＥｎｃＤｅｃ−ＡＤ）モデルが考慮され、これは、事実上、Ｌ１正規化を用いないＳＰＲＥＡＤである（すなわちλ＝０）。
ｖ． 性能評価について、時系列における各点が０（正常）または１（異常）としてのグランド・トゥルース（ground truth）を与えられる。オンライン様式で各点についての異常スコアが取得され、（しきい値τを変化させることによって取得された）レシーバ動作特性曲線下面積（ＡＵＲＯＣ：Ａｒｅａ ｕｎｄｅｒ Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｃｕｒｖｅ）が性能メトリックとして使用される。
ｉ． トレイン・インスタンスからの元の点別入力のμおよびΣを使用する多次元入力空間におけるマハラノビス距離に基づく単純な非時間異常検出モデル、すなわち、ＭＤ（式２と同様。ここで、異常スコアを得るためにｅｔの代わりにｘｔが使用される）。
ｉｉ． （領域の専門家によって示唆されるような）異常挙動または障害を決定するのに十分な最も関連するパラメータに関してのみＡＤモデルがトレーニングされる、関連ＡＤ（Ｒｅｌｅｖａｎｔ−ＡＤ）。これは、多数の入力センサーの小さいサブセット中に存在するにすぎない弱い異常シグネチャを検出することが可能であることにおけるＳＰＲＥＡＤの有効性を評価するために使用される。
ｉｉｉ． エンドツーエンド学習を介したＳＰＲＥＡＤにおける暗黙的次元削減を標準次元削減技法と比較するために、ＰＣＡ−ＡＤが考慮され、ここで、ＡＤに供給されている入力の次元を削減するために、最初に主成分分析（Principal Components Analysis）（ＰＣＡ）が使用される（データの分散の９５％をキャプチャする最上位主成分を考慮する）。
ｉｖ． ＬＡＳＳＯスパース性制約をもつフィードフォワード層中のスパース結合の影響を評価するために、ＦＦ−ＡＤ（フィードフォワードＥｎｃＤｅｃ−ＡＤ）モデルが考慮され、これは、事実上、Ｌ１正規化を用いないＳＰＲＥＡＤである（すなわちλ＝０）。
ｖ． 性能評価について、時系列における各点が０（正常）または１（異常）としてのグランド・トゥルース（ground truth）を与えられる。オンライン様式で各点についての異常スコアが取得され、（しきい値τを変化させることによって取得された）レシーバ動作特性曲線下面積（ＡＵＲＯＣ：Ａｒｅａ ｕｎｄｅｒ Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｃｕｒｖｅ）が性能メトリックとして使用される。
考慮されるデータセット
本開示のシステムおよび方法は、実験について表４において要約されるように、３つのマルチセンサー時系列データセット、すなわち、ｉ）ＧＨＬ：公的に入手可能なガス油加熱ループ（Ｇａｓｏｉｌ Ｈｅａｔｉｎｇ Ｌｏｏｐ）データセット、（ｉｉ）ターボ機械：現実世界のターボ機械データセット、およびｉｉｉ）粉砕機（Pulverizer）：現実世界の粉砕機データセットを利用した。ＧＨＬデータセットにおける異常は、システムに対するサイバー攻撃に対応し、ターボ機械データセットおよび粉砕機データセットにおける異常は、システムの障害挙動に対応する。各データセットは、トレイン・セット、検証セットおよびテスト・セットに分割され、トレイン・セットおよび検証セットは正常時系列のみを含んでおり、テスト・セットは正常時系列ならびに異常時系列を含んでいた。
データセット情報
ＧＨＬ：ＧＨＬデータセットは、ガス油プラント加熱ループの正常動作についてのデータと、当該ループの制御論理を変更することによって誘起されるプラントにおける（サイバー攻撃による）障害挙動についてのデータとを含んでいた。１４個の主変数と５つの補助変数とがあり、１４個の主変数を考慮し、障害ＩＤ２５〜４８を利用し、危険センサーをグランド・トゥルース（１：異常、０：正常）として利用した。元の時系列は、４点平均を使用して計算効率のために４でダウンサンプリングされ、時系列インスタンスを生成するために１００点のウィンドウがとられた（または考慮された）。
ターボ機械：これは、強制停止までの１時間の間に障害シグネチャが存在していた４稼働日の間に記録された、５６個のセンサーからの毎分のセンサー読み取りをもつ現実世界のデータセットであった。考慮されるセンサーは、機械の異なる構成要素に属する温度センサー、圧力センサー、制御センサーなどを含む。これらの５６個のセンサーのうち、障害は、最初に、２つのセンサーのみにおいて現れた。最終的に、数個の他のセンサーも異常挙動を示し始めた。
粉砕機：粉砕機は、３５個のセンサーからの毎分のセンサー読み取りをもつ、粉砕機ミルから取得された現実世界のデータセットであった。このデータセットは４５稼働日のセンサー読み取りを有しており、障害の症状は強制停止までの１２時間の間に断続的に現れ始めた。考慮されるセンサーは、機械の異なる構成要素に属する温度、差圧力（differential pressure）、負荷などを含む。このデータセットは、異常挙動を識別するのに十分な３つの関連するセンサーを有していた。
トレーニング詳細
表４：データセットの詳細。ここで、Ｔ：ウィンドウの長さ、ｄ：センサーの数、ｄｒ：異常についての関連するセンサーの数、ｐ：主成分の数、ｎｆ：障害の数、ｎａ：異常点の数、ｎ：ウィンドウの数。
システムおよび方法は、すべての実験について０．０００５の初期学習レートを用いてネットワークの重みを最適化するためのＡｄａｍオプティマイザを利用する。システムおよび方法は、以下のハイパーパラメータ、すなわち、ＲＮＮエンコーダおよびデコーダ中のリカレント層の数Ｌ＝｛１、２、３｝、５０のステップにおける５０〜２５０の範囲内の層ごとの隠れユニットの数、およびフィードフォワード層中のユニットの数
に対するグリッド探索を介して正常時系列のみを含んでいるホールドアウト検証セットに関する最小再構成誤差（least reconstruction error）をもつものとしてのアーキテクチャを利用する。システムおよび方法は、ＳＰＲＥＡＤについてのλ＝０．０１と、正規化のためのエンコーダおよびデコーダ中のフィードフォワード結合における０．２５のドロップアウト・レートとを利用する。
表１：ＡＵＲＯＣの観点からの異常検出モデルの性能比較。ＡＤはＥｎｃＤｅｃ−ＡＤを指す。図４Ａ〜図４Ｃを参照すると、フォールス・ポジティブ・レート（false positive rate）に対応するＦＰＲがＸ軸にあり、トゥルー・ポジティブ・レート（True positive rate lies）に対応するＴＰＲがＹ軸にある。
表２：スパース性ファクタ
表３：ターボ機械：センサーを別個に扱うことの影響
結果および所見：
表１と、図４Ａ〜図４ＣにおけるＡＵＲＯＣの観点からの異常検出モデルの性能比較を示すグラフィカル表現とにおける結果からの以下の重要な所見：
ｉ． 非時間ＭＤ手法は、異常の時間性質、したがって、ＡＤとＳＰＲＥＡＤとを含む時間モデルの適用可能性を強調しているデータセットにわたって十分に機能しない。それはまた、元の入力空間の代わりに誤差空間において適用されるマハラノビス距離が、弱い時間異常の影響を増幅することを示唆する。
ｉｉ． ＰＣＡ−ＡＤは、ＰＣＡを介した明示的次元削減が、異常シグネチャに関係する情報の消失につながることを示唆しているＦＦ−ＡＤおよびＳＰＲＥＡＤと比較してうまく機能しないが、ＦＦ−ＡＤおよびＳＰＲＥＡＤは、フィードフォワード次元削減層を介した内部次元削減の利益を活用することが可能である。
ｉｉｉ． 予想されるように、関連するセンサーについての知識を活用する関連ＡＤは、強力なベースラインである。これは、ＥｎｃＤｅｃ−ＡＤが関連ＡＤシナリオなどの低次元の場合にうまく機能することを強調する。言い換えれば、関連ＡＤと比較して不十分なＡＤの性能は、関連する次元の事前知識が入手可能でないときに異常シグネチャを検出することが困難であることを強調し、これは、実際によくあることである。しかしながら、粉砕機データセットおよびＧＨＬデータセットでは、これらの場合、センサーにおいて発生する異常の影響が、他の相関するセンサーにおいても認識でき、より多くのセンサーを一緒に考慮するときに異常シグネチャの増幅により異常を検出することがより容易になるので、ＡＤが関連ＡＤよりもうまく機能することがわかる。
ｉｖ． ＳＰＲＥＡＤは、（上記で説明された関連ＡＤを除いて）たいていのデータセット上で他の方法と比較して著しくうまく機能する。ＳＰＲＥＡＤは、スパース結合の正規化影響を強調しているＦＦ−ＡＤよりもうまく機能するか、またはそれに匹敵する。スパース性ファクタ（表２）は、ＦＦ−ＡＤと比較したＳＰＲＥＡＤにおける結合のスパース性質を示す。スパース性ファクタは、重みの小数として測定され、絶対値＜０．１×絶対重みの平均である。
ｖ． 関連ＡＤがターボ機械データセットに適用され、２つの関連するセンサーＲ１とセンサーＲ２とが別個に考慮され、表３に示されているように、両方の関連するセンサーを一緒に使用するモデルと比較して性能の著しい低下が観測された。これは、センサー間の相関関係（または依存関係）をキャプチャすることが、異常を検出するために重要であることを示唆する。
ｉ． 非時間ＭＤ手法は、異常の時間性質、したがって、ＡＤとＳＰＲＥＡＤとを含む時間モデルの適用可能性を強調しているデータセットにわたって十分に機能しない。それはまた、元の入力空間の代わりに誤差空間において適用されるマハラノビス距離が、弱い時間異常の影響を増幅することを示唆する。
ｉｉ． ＰＣＡ−ＡＤは、ＰＣＡを介した明示的次元削減が、異常シグネチャに関係する情報の消失につながることを示唆しているＦＦ−ＡＤおよびＳＰＲＥＡＤと比較してうまく機能しないが、ＦＦ−ＡＤおよびＳＰＲＥＡＤは、フィードフォワード次元削減層を介した内部次元削減の利益を活用することが可能である。
ｉｉｉ． 予想されるように、関連するセンサーについての知識を活用する関連ＡＤは、強力なベースラインである。これは、ＥｎｃＤｅｃ−ＡＤが関連ＡＤシナリオなどの低次元の場合にうまく機能することを強調する。言い換えれば、関連ＡＤと比較して不十分なＡＤの性能は、関連する次元の事前知識が入手可能でないときに異常シグネチャを検出することが困難であることを強調し、これは、実際によくあることである。しかしながら、粉砕機データセットおよびＧＨＬデータセットでは、これらの場合、センサーにおいて発生する異常の影響が、他の相関するセンサーにおいても認識でき、より多くのセンサーを一緒に考慮するときに異常シグネチャの増幅により異常を検出することがより容易になるので、ＡＤが関連ＡＤよりもうまく機能することがわかる。
ｉｖ． ＳＰＲＥＡＤは、（上記で説明された関連ＡＤを除いて）たいていのデータセット上で他の方法と比較して著しくうまく機能する。ＳＰＲＥＡＤは、スパース結合の正規化影響を強調しているＦＦ−ＡＤよりもうまく機能するか、またはそれに匹敵する。スパース性ファクタ（表２）は、ＦＦ−ＡＤと比較したＳＰＲＥＡＤにおける結合のスパース性質を示す。スパース性ファクタは、重みの小数として測定され、絶対値＜０．１×絶対重みの平均である。
ｖ． 関連ＡＤがターボ機械データセットに適用され、２つの関連するセンサーＲ１とセンサーＲ２とが別個に考慮され、表３に示されているように、両方の関連するセンサーを一緒に使用するモデルと比較して性能の著しい低下が観測された。これは、センサー間の相関関係（または依存関係）をキャプチャすることが、異常を検出するために重要であることを示唆する。
異常検出のためのＲＮＮベース・オートエンコーダは、多次元時系列について実際に準最適な性能をもたらし得る。これに対処するために、システム１００の提案されるＳＰＲＥＡＤは、オートエンコーダとともにエンドツーエンド様式でトレーニングされた次元削減層を明示的にプロビジョニングし、多次元時系列モデル化のための強力な正規化器として働く。ＳＰＲＥＡＤは、ストリーミング適用例のために望ましいオンライン様式で動作する。
パブリック・データセットおよび２つの現実世界のデータセットの実験は、提案される手法の有効性を証明する。さらに、ＳＰＲＥＡＤは内部で次元削減を使用するが、異常検出は入力特徴空間において起こり、したがって、各入力次元についての再構成誤差がアクセス可能であり、実際に異常スコアを解釈可能にする。この提案される手法は、本開示で説明されるシナリオおよび／または例の場合の限定的な範囲と解釈されないものとし、任意の多次元時系列異常検出に適用可能であり得る。
本明細書は、当業者が実施形態を製作および使用することを可能にするために、本明細書の主題について説明する。主題の実施形態の範囲は、特許請求の範囲によって定義され、当業者が思い付く他の変更形態を含み得る。そのような他の変更形態は、それらが特許請求の範囲の文字通りの文言と異ならない類似の要素を有する場合、または、それらが特許請求の範囲の文字通りの文言とのわずかな差をもつ等価要素を含む場合、特許請求の範囲内に入ることが意図される。
本開示の実施形態は、多変量時系列のロバストな非線形時間モデルを学習にすることを可能にする。その上、本明細書の実施形態は、同じ時間インスタンスにおける複数のパラメータ間の関係、すなわち、所与の時点における複数の次元またはパラメータ間の依存性および相関関係をキャプチャする。さらに、提案される手法は、時間にわたる複数のパラメータ間の時間関係、すなわち、期間にわたる多変量時系列における複数の次元または変数間の依存性および相関関係をキャプチャする。さらに、提案される手法は、バックプロパゲーション（backpropagation）を介してトレーニング可能であるエンドツーエンド学習フレームワークにおいて上記の２つの能力に応えることができる単一のニューラル・ネットワーク・モデルを学習することを可能にする。
保護の範囲は、そのようなプログラムに、および追加として、その中にメッセージを有するコンピュータ可読手段に拡張されることを理解されたい。そのようなコンピュータ可読記憶手段は、プログラムがサーバまたはモバイル・デバイスあるいは任意の好適なプログラマブル・デバイス上で動作するとき、方法の１つまたは複数のステップの実装のためのプログラムコード手段を含んでいる。ハードウェア・デバイスは、たとえば、サーバまたはパーソナル・コンピュータなど、あるいはそれらの任意の組合せのような任意の種類のコンピュータを含む、プログラムされ得る任意の種類のデバイスであり得る。デバイスは、たとえば、たとえば特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）のようなハードウェア手段、あるいは、ハードウェア手段とソフトウェア手段の組合せ、たとえばＡＳＩＣおよびＦＰＧＡ、またはソフトウェア・モジュールがその中にある少なくとも１つのマイクロプロセッサおよび少なくとも１つのメモリであり得る、手段をも含み得る。したがって、手段は、ハードウェア手段とソフトウェア手段の両方を含むことができる。本明細書で説明された方法実施形態は、ハードウェアおよびソフトウェアにおいて実装され得る。デバイスはソフトウェア手段をも含み得る。代替的に、実施形態は、たとえば複数のＣＰＵを使用して、異なるハードウェア・デバイス上で実装され得る。
本明細書の実施形態は、ハードウェア要素とソフトウェア要素とを含み得る。ソフトウェアで実装される実施形態は、限定はしないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含む。本明細書で説明された様々なモジュールによって実施される機能は、他のモジュールまたは他のモジュールの組合せにおいて実装され得る。この説明では、コンピュータ使用可能またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによる使用のための、あるいはそれらに関するプログラムを含むか、記憶するか、通信するか、伝搬するか、トランスポートすることができる任意の装置であり得る。
示されたステップは図示の例示的な実施形態について説明するために提示され、進行中の技術発展が、特定の機能が実施される様式を変更することが予期されるべきである。これらの例は、限定ではなく例示の目的で本明細書で提示される。さらに、機能的ビルディング・ブロックの境界は、説明の便宜のために、任意に、本明細書で定義された。指定された機能およびその関係が適宜に実施される限り、代替境界が定義され得る。（本明細書で説明されたものの等価物、拡張、変形、逸脱などを含む）代替は、本明細書に含まれている教示に基づいて当業者に明らかになろう。そのような代替は、開示された実施形態の範囲および趣旨内に入る。また、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」、および「含む（ｉｎｃｌｕｄｉｎｇ）」という単語、ならびに他の類似の形式は、意味において等価であり、これらの単語のいずれか１つの後にくる１つまたは複数の項目が、そのような１つまたは複数の項目の網羅的なリスティングであるように意図されていないか、または、１つまたは複数のリストされた項目のみに限定されるように意図されていないという点で、オープンエンドであることが意図される。本明細書でおよび添付の特許請求の範囲において使用される単数形「ａ」、「ａｎ」、および「ｔｈｅ」が、文脈が別段に明確に規定するのでなければ、複数形の言及を含むことにも留意されたい。
さらに、１つまたは複数のコンピュータ可読記憶媒体が、本開示に従う実施形態を実装する際に利用され得る。コンピュータ可読記憶媒体は、プロセッサによって可読な情報またはデータが記憶され得る任意のタイプの物理的メモリを指す。したがって、コンピュータ可読記憶媒体は、（１つまたは複数の）プロセッサに本明細書で説明された実施形態に従うステップまたは段階を実施させるための命令を含む、１つまたは複数のプロセッサが実行するための命令を記憶し得る。「コンピュータ可読媒体」という用語は、有形の品物を含み、搬送波および過渡信号を除外し、すなわち、非一時的であることを理解されよう。例は、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハード・ドライブ、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュ・ドライブ、ディスク、および任意の他の知られている物理的記憶媒体を含む。
本開示および例は例示にすぎないと見なされ、開示された実施形態の真の範囲および趣旨は以下の特許請求の範囲によって示されることが意図される。
Claims (15)
- 入力層において、エンティティの複数のパラメータに対応する多次元時系列を受信するステップ（２０２）と、
次元削減モデルを使用して、少なくとも１つのフィードフォワード層を介して前記多次元時系列から次元削減された時系列を取得するステップであって、前記入力層と前記フィードフォワード層との間の結合が、前記複数のパラメータの少なくとも一部分にアクセスするためにスパースである、取得するステップ（２０４）と、
リカレント・ニューラル・ネットワーク（ＲＮＮ）エンコーダデコーダ・モデルを使用することによって、前記次元削減モデルによって取得された前記次元削減された時系列を使用して前記多次元時系列を推定するステップ（２０６）と、
前記推定された多次元時系列を使用することによって、多層スパース・ニューラル・ネットワークを取得するために前記次元削減モデルと前記ＲＮＮエンコーダデコーダ・モデルとを同時に学習するステップ（２０８）と、
前記多層スパース・ニューラル・ネットワークを使用することによって、前記多次元時系列と前記推定された多次元時系列との比較を実施することによって前記多次元時系列の少なくとも１つの時間インスタンスに対応する複数の誤差ベクトルを計算するステップ（２１０）と、
前記複数の誤差ベクトルに基づいて少なくとも１つの異常スコアを生成するステップ（２１２）と
を含む、プロセッサ実装方法。 - 前記次元削減された時系列における前記複数のパラメータの各々が、前記多次元時系列の前記複数のパラメータのサブセットの非線形関数である、請求項１に記載のプロセッサ実装方法。
- 前記次元削減モデルが、複数のフィードフォワード層の複数のパラメータに関する最小絶対収縮および選択演算子（ＬＡＳＳＯ）スパース性制約をもつ前記フィードフォワード層を含む、請求項１に記載のプロセッサ実装方法。
- （ａ）前記異常スコアがしきい値よりも大きい場合、前記多次元時系列における少なくとも１つの時間インスタンスを異常として分類するステップ、あるいは
（ｂ）前記異常スコアが前記しきい値よりも小さいかまたはそれに等しい場合、前記多次元時系列における少なくとも１つの時間インスタンスを正常として分類するステップ
をさらに含む、請求項１に記載のプロセッサ実装方法。 - 前記しきい値が、Ｆスコアを最大にしながらホールドアウト検証セットに基づいて学習され、前記ホールドアウト検証セットが、前記多次元時系列の少なくとも１つの正常時間インスタンスおよび少なくとも１つの異常時間インスタンスを含む、請求項４に記載のプロセッサ実装方法。
- 命令を記憶するメモリ（１０２）と、
１つまたは複数の通信インターフェース（１０６）と、
前記１つまたは複数の通信インターフェース（１０６）を介して前記メモリ（１０２）に接続された１つまたは複数のハードウェア・プロセッサ（１０４）であって、
入力層において、エンティティの複数のパラメータに対応する多次元時系列を受信することと、
次元削減モデルを使用して、少なくとも１つのフィードフォワード層を介して前記多次元時系列から次元削減された時系列を取得することであって、前記入力層と前記フィードフォワード層との間の結合が、前記複数のパラメータの少なくとも一部分にアクセスするためにスパースである、取得することと、
リカレント・ニューラル・ネットワーク（ＲＮＮ）エンコーダデコーダ・モデルを使用することによって、前記次元削減モデルによって取得された前記次元削減された時系列を使用して前記多次元時系列を推定することと、
前記推定された多次元時系列を使用することによって、多層スパース・ニューラル・ネットワークを取得するために前記次元削減モデルと前記ＲＮＮエンコーダデコーダ・モデルとを同時に学習することと、
前記多層スパース・ニューラル・ネットワークを使用することによって、前記多次元時系列と前記推定された多次元時系列との比較を実施することによって前記多次元時系列の少なくとも１つの時間インスタンスに対応する複数の誤差ベクトルを計算することと、
前記複数の誤差ベクトルに基づいて少なくとも１つの異常スコアを生成することと
を行うように前記命令によって構成された、１つまたは複数のハードウェア・プロセッサ（１０４）と
を備えるシステム。 - 前記次元削減された時系列における前記複数のパラメータの各々が、前記多次元時系列の前記複数のパラメータのサブセットの非線形関数である、請求項６に記載のシステム。
- 前記次元削減モデルが、複数のフィードフォワード層の複数のパラメータに関する最小絶対収縮および選択演算子（ＬＡＳＳＯ）スパース性制約をもつ前記フィードフォワード層を含む、請求項６に記載のシステム。
- 前記１つまたは複数のハードウェア・プロセッサは、
（ａ）前記異常スコアがしきい値よりも大きい場合、前記多次元時系列における少なくとも１つの時間インスタンスを異常として分類すること、あるいは
（ｂ）前記異常スコアが前記しきい値よりも小さいかまたはそれに等しい場合、前記多次元時系列における少なくとも１つの時間インスタンスを正常として分類すること
を行うようにさらに構成された、請求項６に記載のシステム。 - 前記しきい値が、Ｆスコアを最大にしながらホールドアウト検証セットに基づいて学習され、前記ホールドアウト検証セットが、前記多次元時系列の少なくとも１つの正常時間インスタンスおよび少なくとも１つの異常時間インスタンスを含む、請求項９に記載のシステム。
- １つまたは複数のハードウェア・プロセッサによって実行されたとき、
入力層において、エンティティの複数のパラメータに対応する多次元時系列を受信することと、
次元削減モデルを使用して、少なくとも１つのフィードフォワード層を介して前記多次元時系列から次元削減された時系列を取得することであって、前記入力層と前記フィードフォワード層との間の結合が、前記複数のパラメータの少なくとも一部分にアクセスするためにスパースである、取得することと、
リカレント・ニューラル・ネットワーク（ＲＮＮ）エンコーダデコーダ・モデルを使用することによって、前記次元削減モデルによって取得された前記次元削減された時系列を使用して前記多次元時系列を推定することと、
前記推定された多次元時系列を使用することによって、多層スパース・ニューラル・ネットワークを取得するために前記次元削減モデルと前記ＲＮＮエンコーダデコーダ・モデルとを同時に学習することと、
前記多層スパース・ニューラル・ネットワークを使用することによって、前記多次元時系列と前記推定された多次元時系列との比較を実施することによって前記多次元時系列の少なくとも１つの時間インスタンスに対応する複数の誤差ベクトルを計算することと、
前記複数の誤差ベクトルに基づいて少なくとも１つの異常スコアを生成することと
を引き起こす１つまたは複数の命令を含む１つまたは複数の非一時的機械可読情報記憶媒体。 - 前記次元削減された時系列における前記複数のパラメータの各々が、前記多次元時系列の前記複数のパラメータのサブセットの非線形関数である、請求項１１に記載の１つまたは複数の非一時的機械可読情報記憶媒体。
- 前記次元削減モデルが、複数のフィードフォワード層の複数のパラメータに関する最小絶対収縮および選択演算子（ＬＡＳＳＯ）スパース性制約をもつ前記フィードフォワード層を含む、請求項１１に記載の１つまたは複数の非一時的機械可読情報記憶媒体。
- （ａ）前記異常スコアがしきい値よりも大きい場合、前記多次元時系列における少なくとも１つの時間インスタンスを異常として分類すること、あるいは
（ｂ）前記異常スコアが前記しきい値よりも小さいかまたはそれに等しい場合、前記多次元時系列における少なくとも１つの時間インスタンスを正常として分類すること
をさらに含む、請求項１１に記載の１つまたは複数の非一時的機械可読情報記憶媒体。 - 前記しきい値が、Ｆスコアを最大にしながらホールドアウト検証セットに基づいて学習され、前記ホールドアウト検証セットが、前記多次元時系列の少なくとも１つの正常時間インスタンスおよび少なくとも１つの異常時間インスタンスを含む、請求項１４に記載の１つまたは複数の非一時的機械可読情報記憶媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IN201821025602 | 2018-07-09 | ||
| IN201821025602 | 2018-07-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020009411A true JP2020009411A (ja) | 2020-01-16 |
| JP6811276B2 JP6811276B2 (ja) | 2021-01-13 |
Family
ID=65817748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019050932A Active JP6811276B2 (ja) | 2018-07-09 | 2019-03-19 | 多次元時系列におけるスパース・ニューラル・ネットワーク・ベース異常検出 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11429837B2 (ja) |
| EP (1) | EP3594860B1 (ja) |
| JP (1) | JP6811276B2 (ja) |
| AU (1) | AU2019201857B2 (ja) |
| BR (1) | BR102019005519A2 (ja) |
| CA (1) | CA3037326C (ja) |
| MX (1) | MX2019003167A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220159672A (ko) * | 2021-05-26 | 2022-12-05 | 서울대학교산학협력단 | 오토 인코더 기반 이상 데이터 감지 시스템 및 방법 |
| WO2023027109A1 (ja) * | 2021-08-25 | 2023-03-02 | 富士フイルム株式会社 | 機械学習モデルのためのデータの併合規則の生成装置、データの併合規則の生成装置の作動方法およびプログラム、並びに、機械学習モデルの学習装置、学習装置の作動方法およびプログラム |
| WO2023120438A1 (ja) * | 2021-12-20 | 2023-06-29 | 国立大学法人 東京大学 | 情報処理システム、情報処理方法及びプログラム |
| JP2024039820A (ja) * | 2022-09-12 | 2024-03-25 | １７Ｌｉｖｅ株式会社 | 異常検出のためのシステム、方法、及びコンピュータ可読媒体 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7206898B2 (ja) * | 2018-12-25 | 2023-01-18 | 富士通株式会社 | 学習装置、学習方法および学習プログラム |
| CA3128957A1 (en) * | 2019-03-04 | 2020-03-03 | Bhaskar Bhattacharyya | Near real-time detection and classification of machine anomalies using machine learning and artificial intelligence |
| US11249861B2 (en) | 2020-02-06 | 2022-02-15 | Bank Of America Corporation | Multi-layered disaster recovery manager |
| CN112051953B (zh) * | 2020-09-29 | 2021-09-14 | 中国银行股份有限公司 | 一种页面栏位的输出控制方法、装置及电子设备 |
| US11630717B2 (en) * | 2021-01-06 | 2023-04-18 | Servicenow, Inc. | Machine-learning based similarity engine |
| US20220236728A1 (en) * | 2021-01-22 | 2022-07-28 | Tata Consultancy Services Limited | System and method for performance and health monitoring to optimize operation of a pulverizer mill |
| US11831729B2 (en) | 2021-03-19 | 2023-11-28 | Servicenow, Inc. | Determining application security and correctness using machine learning based clustering and similarity |
| CN113011656B (zh) * | 2021-03-22 | 2022-08-02 | 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 | 一种电站辅机故障预警方法及系统 |
| CN113428167B (zh) * | 2021-08-25 | 2021-11-26 | 长沙德壹科技有限公司 | 一种ecu异常识别方法 |
| CN113780387A (zh) * | 2021-08-30 | 2021-12-10 | 桂林电子科技大学 | 基于共享自编码器的时间序列异常检测方法 |
| FR3135542A1 (fr) * | 2022-05-10 | 2023-11-17 | Safran | Procédé de détection d’une anomalie dans un système d’un aeronef |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160299938A1 (en) * | 2015-04-10 | 2016-10-13 | Tata Consultancy Services Limited | Anomaly detection system and method |
| JP2017091278A (ja) * | 2015-11-11 | 2017-05-25 | 国立研究開発法人情報通信研究機構 | 学習装置、予測装置、学習方法、予測方法、およびプログラム |
| WO2017216647A1 (en) * | 2016-06-17 | 2017-12-21 | Tata Consultancy Services Limited | Health monitoring and prognostics of a system |
| US20180082150A1 (en) * | 2016-09-20 | 2018-03-22 | Kabushiki Kaisha Toshiba | Abnormality detection device, learning device, abnormality detection method, and learning method |
| US20180137410A1 (en) * | 2016-11-16 | 2018-05-17 | Kabushiki Kaisha Toshiba | Pattern recognition apparatus, pattern recognition method, and computer program product |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7756678B2 (en) | 2008-05-29 | 2010-07-13 | General Electric Company | System and method for advanced condition monitoring of an asset system |
| JP2011145846A (ja) | 2010-01-14 | 2011-07-28 | Hitachi Ltd | 異常検知方法、異常検知システム、及び異常検知プログラム |
| US9322667B2 (en) | 2012-04-28 | 2016-04-26 | Hewlett Packard Enterprise Development Lp | Detecting anomalies in power consumption of electrical systems |
| US10333958B2 (en) | 2016-07-19 | 2019-06-25 | Cisco Technology, Inc. | Multi-dimensional system anomaly detection |
| US10121103B2 (en) * | 2016-12-09 | 2018-11-06 | Cisco Technologies, Inc. | Scalable deep learning video analytics |
| JP7017861B2 (ja) * | 2017-03-23 | 2022-02-09 | 株式会社日立製作所 | 異常検知システムおよび異常検知方法 |
| US10733813B2 (en) * | 2017-11-01 | 2020-08-04 | International Business Machines Corporation | Managing anomaly detection models for fleets of industrial equipment |
| US20190228110A1 (en) * | 2018-01-19 | 2019-07-25 | General Electric Company | System and method for abstracting characteristics of cyber-physical systems |
| US10311704B1 (en) * | 2018-03-29 | 2019-06-04 | Futurewei Technologies, Inc. | Passenger-related item loss mitigation |
| US11361197B2 (en) * | 2018-06-29 | 2022-06-14 | EMC IP Holding Company LLC | Anomaly detection in time-series data using state inference and machine learning |
-
2019
- 2019-03-12 EP EP19162235.6A patent/EP3594860B1/en active Active
- 2019-03-14 US US16/353,375 patent/US11429837B2/en active Active
- 2019-03-18 AU AU2019201857A patent/AU2019201857B2/en active Active
- 2019-03-19 JP JP2019050932A patent/JP6811276B2/ja active Active
- 2019-03-20 BR BR102019005519A patent/BR102019005519A2/pt active Search and Examination
- 2019-03-20 MX MX2019003167A patent/MX2019003167A/es unknown
- 2019-03-20 CA CA3037326A patent/CA3037326C/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160299938A1 (en) * | 2015-04-10 | 2016-10-13 | Tata Consultancy Services Limited | Anomaly detection system and method |
| JP2016201088A (ja) * | 2015-04-10 | 2016-12-01 | タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ | 異常検出システムおよび方法 |
| JP2017091278A (ja) * | 2015-11-11 | 2017-05-25 | 国立研究開発法人情報通信研究機構 | 学習装置、予測装置、学習方法、予測方法、およびプログラム |
| WO2017216647A1 (en) * | 2016-06-17 | 2017-12-21 | Tata Consultancy Services Limited | Health monitoring and prognostics of a system |
| US20180082150A1 (en) * | 2016-09-20 | 2018-03-22 | Kabushiki Kaisha Toshiba | Abnormality detection device, learning device, abnormality detection method, and learning method |
| JP2018049355A (ja) * | 2016-09-20 | 2018-03-29 | 株式会社東芝 | 異常検知装置、学習装置、異常検知方法、学習方法、異常検知プログラム、および学習プログラム |
| US20180137410A1 (en) * | 2016-11-16 | 2018-05-17 | Kabushiki Kaisha Toshiba | Pattern recognition apparatus, pattern recognition method, and computer program product |
| JP2018081493A (ja) * | 2016-11-16 | 2018-05-24 | 株式会社東芝 | パターン識別装置、パターン識別方法およびプログラム |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220159672A (ko) * | 2021-05-26 | 2022-12-05 | 서울대학교산학협력단 | 오토 인코더 기반 이상 데이터 감지 시스템 및 방법 |
| KR102653349B1 (ko) | 2021-05-26 | 2024-03-29 | 서울대학교산학협력단 | 오토 인코더 기반 이상 데이터 감지 시스템 및 방법 |
| WO2023027109A1 (ja) * | 2021-08-25 | 2023-03-02 | 富士フイルム株式会社 | 機械学習モデルのためのデータの併合規則の生成装置、データの併合規則の生成装置の作動方法およびプログラム、並びに、機械学習モデルの学習装置、学習装置の作動方法およびプログラム |
| WO2023120438A1 (ja) * | 2021-12-20 | 2023-06-29 | 国立大学法人 東京大学 | 情報処理システム、情報処理方法及びプログラム |
| JP2024039820A (ja) * | 2022-09-12 | 2024-03-25 | １７Ｌｉｖｅ株式会社 | 異常検出のためのシステム、方法、及びコンピュータ可読媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA3037326A1 (en) | 2020-01-09 |
| EP3594860A1 (en) | 2020-01-15 |
| BR102019005519A2 (pt) | 2020-01-14 |
| AU2019201857B2 (en) | 2020-10-15 |
| JP6811276B2 (ja) | 2021-01-13 |
| AU2019201857A1 (en) | 2020-01-23 |
| US11429837B2 (en) | 2022-08-30 |
| US20200012918A1 (en) | 2020-01-09 |
| EP3594860C0 (en) | 2024-05-08 |
| MX2019003167A (es) | 2020-01-10 |
| EP3594860B1 (en) | 2024-05-08 |
| CA3037326C (en) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6811276B2 (ja) | 多次元時系列におけるスパース・ニューラル・ネットワーク・ベース異常検出 | |
| JP7223839B2 (ja) | 異常検出および／または予知保全のためのコンピュータ実装方法、コンピュータプログラム製品およびシステム | |
| Langone et al. | Interpretable Anomaly Prediction: Predicting anomalous behavior in industry 4.0 settings via regularized logistic regression tools | |
| JP6740247B2 (ja) | 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法 | |
| AU2012284497B2 (en) | Monitoring system using kernel regression modeling with pattern sequences | |
| AU2018201487B2 (en) | Method and system for health monitoring and fault signature identification | |
| AU2012284460B2 (en) | System of sequential kernel regression modeling for forecasting and prognostics | |
| US20160110651A1 (en) | Method of Sequential Kernel Regression Modeling for Forecasting and Prognostics | |
| WO2013012535A1 (en) | Monitoring method using kernel regression modeling with pattern sequences | |
| Gugulothu et al. | Sparse neural networks for anomaly detection in high-dimensional time series | |
| Hong et al. | The entropy and PCA based anomaly prediction in data streams | |
| van den Hoogen et al. | An improved wide-kernel cnn for classifying multivariate signals in fault diagnosis | |
| Qi et al. | Fault detection and localization in distributed systems using recurrent convolutional neural networks | |
| CN117313015A (zh) | 一种基于时序和多变量的时间序列异常检测方法及系统 | |
| Mishra et al. | Hybrid models for rotating machinery diagnosis and prognosis: estimation of remaining useful life | |
| Khodabakhsh et al. | Cloud-based fault detection and classification for oil & gas industry | |
| US11320813B2 (en) | Industrial asset temporal anomaly detection with fault variable ranking | |
| US20170303014A1 (en) | System for providing functionality based on sensor data | |
| Langone et al. | A flexible and interpretable framework for predicting anomalous behavior in Industry 4.0 environments | |
| US20230104028A1 (en) | System for failure prediction for industrial systems with scarce failures and sensor time series of arbitrary granularity using functional generative adversarial networks | |
| CN117251817A (zh) | 雷达故障检测方法、装置、设备和存储介质 | |
| Khan et al. | Enhancing robotic manipulator fault detection with advanced machine learning techniques | |
| Wei et al. | Anomaly Detection Based on Regularized Vector Auto Regression in Thermal Power Plant | |
| CN115935193A (zh) | 设备状态检测方法、计算机设备及存储介质 | |
| CN118133435A (zh) | 基于svr与聚类的复杂航天器在轨异常检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200616 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201214 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6811276 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |