JP2017010552A - 単変量時系列信号に対してリアルタイムで外れ値を検出するシステム及び方法 - Google Patents
単変量時系列信号に対してリアルタイムで外れ値を検出するシステム及び方法 Download PDFInfo
- Publication number
- JP2017010552A JP2017010552A JP2016121204A JP2016121204A JP2017010552A JP 2017010552 A JP2017010552 A JP 2017010552A JP 2016121204 A JP2016121204 A JP 2016121204A JP 2016121204 A JP2016121204 A JP 2016121204A JP 2017010552 A JP2017010552 A JP 2017010552A
- Authority
- JP
- Japan
- Prior art keywords
- time series
- data
- univariate
- block size
- univariate time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims description 16
- 230000000694 effects Effects 0.000 description 5
- 230000000873 masking Effects 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000003973 irrigation Methods 0.000 description 2
- 230000002262 irrigation Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular Effects 0.000 description 1
- 230000000875 corresponding Effects 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical Effects 0.000 description 1
- 230000002104 routine Effects 0.000 description 1
- 230000003068 static Effects 0.000 description 1
- 235000010384 tocopherol Nutrition 0.000 description 1
- 235000019731 tricalcium phosphate Nutrition 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
Abstract
【解決手段】システムは、データソースから、複数のデータセットを含む単変量時系列信号を受け取る。システムは、複数のデータセットについてデータセットの標準偏差を計算する。その後、システムは、データセットの最適サンプルブロックサイズ及びデータセットの臨界サンプルサイズを計算する。さらに、システムは、データセットの最適使用可能ブロックサイズを決定する。システムは、上記複数のデータセットを、最適使用可能ブロックサイズに基づいたブロックにセグメント化する。システムは、上記各ブロック上で外れ値検出技術を実行することによって、外れ値を検出し、これによって、外れ値検出方法の結果の精確度及び正確度への影響を最小限にすると同時に、改良された実行時間を確保する。
【選択図】図4
Description
本特許出願は、2015年6月17日に出願されたインド特許出願2324/MUM/2015号に対して優先権が主張され、その内容は、参照により本書に援用される。
上記システムは、データソースから単変量時系列信号を受け取ることができる。単変量時系列信号は、複数のデータセットを含むことができる。複数のデータセットのそれぞれのデータセットは、N個の単変量時系列データエレメントを含むことができる。上記システムは、複数のデータセットについてデータセットの標準偏差(σ)を計算することができる。上記システムは、上記標準偏差(σ)を利用することで、データセットの最適サンプルブロックサイズ(n)及びデータセットの臨界サンプルサイズ(ncritical)をさらに計算することができる。さらに、上記システムは、データセットの最適使用可能ブロックサイズ(noperational)を決定することができる。さらに、上記システムは、上記複数のデータセットを、上記最適使用可能ブロックサイズに基づいたブロックにセグメント化することができる。各ブロックは、上記N個の単変量時系列データエレメントのうちのN/noperationalデータエレメントを含むことができる。続いて上記システムは、上記各ブロック上で外れ値検出技術を実行することによって、外れ値を検出することができる。このように、上記システムは、上述した方法を用いて、単変量時系列信号に対してリアルタイムで外れ値を検出することができる。
オブジェクト、コンポーネント、データ構造、手続(手順)、モジュール、関数、その他を含むことができる。方法400はまた、通信ネットワークを介してリンクしたリモート処理デバイスによって機能が実行される、分散コンピューティング環境で行われ得る。分散コンピューティング環境において、コンピュータ実行可能命令は、メモリストレージデバイスを含むローカル及びリモートコンピュータストレージ媒体に格納され得る。
Claims (11)
- 単変量時系列信号に対してリアルタイムで外れ値を検出する方法であって、
プロセッサ(210)によって、データソースから単変量時系列信号を受け取るステップであって、単変量時系列信号は複数のデータセットを含み、該データセットのそれぞれのデータセットはN個の単変量時系列データエレメントを含む、ステップと、
プロセッサ(210)によって、複数のデータセットについてデータセットの標準偏差(σ)を計算するステップと、
プロセッサ(210)によって、上記標準偏差(σ)を利用することで、データセットの最適サンプルブロックサイズ(n)を計算するステップと、
プロセッサ(210)によって、上記標準偏差(σ)、上記N個の単変量時系列データエレメント、所定の正確度(δ)及び結果(アウトカム)の精確度(1−ε)に基づいて、データセットの臨界サンプルサイズ(ncritical)を計算するステップと、
プロセッサ(210)によって、データセットの最適使用可能ブロックサイズ(noperational)を決定するステップと、
プロセッサ(210)によって、前記複数のデータセットを、前記最適使用可能ブロックサイズ(noperational)に基づいたブロックにセグメント化するステップであって、各ブロックは、前記N個の単変量時系列データエレメントのうちのN/noperationalデータエレメントを含むステップと、
プロセッサ(210)によって、前記ブロック上で外れ値検出技術を実行することによって、リアルタイムで外れ値を検出するステップと、
を含む方法。 - 前記最適サンプルブロックサイズ(n)は、次式を用いて計算される、請求項1の方法。
- 前記臨界サンプルサイズ(ncritical)は、次式を用いて計算される、請求項1の方法。
- 前記最適使用可能ブロックサイズ(noperational)は、次式を用いて決定される、請求項1の方法。
- 前記外れ値検出技術は、ロスナーフィルタリング技術及びハンペルフィルタリング技術と同等の教師なし技術を含む、請求項1の方法。
- 単変量時系列信号に対してリアルタイムで外れ値を検出するシステムであって、
プロセッサ(210)と、
該プロセッサと結合しているメモリ(212)と、を含み、前記プロセッサは、前記メモリに格納されたプログラム命令を実行するために、
データソースから単変量時系列信号を受け取ることであり、該単変量時系列信号は複数のデータセットを含み、複数のデータセットのそれぞれのデータセットは、N個の単変量時系列データエレメントを含むこと、
複数のデータセットについてデータセットの標準偏差(σ)を計算すること、
前記標準偏差(σ)を利用することにより、データセットの最適サンプルブロックサイズ(n)を計算すること、
前記標準偏差(σ)、前記N個の単変量時系列データエレメント、所定の正確度(δ)及び結果(アウトカム)の精確度(1−ε)に基づくデータセットの臨界サンプルサイズ(ncritical)を計算すること、
データセットの最適使用可能ブロックサイズ(noperational)を決定すること、
前記複数のデータセットを、前記最適使用可能ブロックサイズ(noperational)に基づいたブロックにセグメント化することであり、各ブロックは、前記N個の単変量時系列データエレメントのうちのN/noperationalデータエレメントを含むこと、及び
前記ブロック上で外れ値検出技術を実行することによって、リアルタイムで外れ値を検出すること、が可能である、
システム。 - 前記最適サンプルブロックサイズ(n)は、次式を用いて計算される、請求項6のシステム。
- 前記臨界サンプルサイズ(ncritical)は、次式を用いて計算される、請求項6のシステム。
- 前記最適使用可能なブロックサイズ(noperational)は、次式を用いて決定される、請求項6のシステム。
- 前記外れ値検出技術は、ロスナーフィルタリング技術及びハンペルフィルタリング技術と同等の教師なし技術を含む、請求項6のシステム。
- 単変量時系列信号に対してリアルタイムで外れ値を検出するコンピュータ装置で実行可能なプログラムを具現化する非一時的なコンピュータ可読媒体であって、該プログラムは、
データソースから単変量時系列信号を受け取るプログラムコードであって、前記単変量時系列信号は、複数のデータセットを含み、複数のデータセットのそれぞれのデータセットは、N個の単変量時系列データエレメントを含む、プログラムコードと、
複数のデータセットについてデータセットの標準偏差(σ)を計算するためのプログラムコードと、
前記標準偏差(σ)を利用することにより、データセットの最適サンプルブロックサイズ(n)を計算するためのプログラムコードと、
前記標準偏差(σ)、前記N個の単変量時系列データエレメント、所定の正確度(δ)及び結果(アウトカム)の精確度(1−ε)に基づくデータセットの臨界サンプルサイズ(ncritical)を計算するためのプログラムコードと、
データセットの最適使用可能ブロックサイズ(noperational)を決定するためのプログラムコードと、
前記複数のデータセットを、前記最適使用可能ブロックサイズ(noperational)に基づいたブロックにセグメント化するためのプログラムコードであって、各ブロックは、上記N個の単変量時系列データエレメントのうちのN/noperationalデータエレメントを含む、プログラムコードと、
前記ブロック上で外れ値検出技術を実行することによって、リアルタイムで外れ値を検出するためのプログラムコードと、
を含む、非一時的なコンピュータ可読媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN2324/MUM/2015 | 2015-06-17 | ||
IN2324MU2015 | 2015-06-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017010552A true JP2017010552A (ja) | 2017-01-12 |
JP6611677B2 JP6611677B2 (ja) | 2019-11-27 |
Family
ID=56178264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016121204A Active JP6611677B2 (ja) | 2015-06-17 | 2016-06-17 | 単変量時系列信号に対してリアルタイムで外れ値を検出するシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10733264B2 (ja) |
EP (1) | EP3107000A3 (ja) |
JP (1) | JP6611677B2 (ja) |
CN (1) | CN106257438B (ja) |
AU (1) | AU2016204093B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10452665B2 (en) * | 2017-06-20 | 2019-10-22 | Vmware, Inc. | Methods and systems to reduce time series data and detect outliers |
CN108008176B (zh) * | 2017-11-22 | 2019-11-12 | 福州大学 | 一种光伏阵列实时状态监测与故障定位系统 |
FR3108186B1 (fr) * | 2020-03-16 | 2022-03-25 | Thales Sa | Procédé de consolidation d'un ensemble de données pour de la maintenance prédictive et dispositif associé |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7395250B1 (en) * | 2000-10-11 | 2008-07-01 | International Business Machines Corporation | Methods and apparatus for outlier detection for high dimensional data sets |
US7277843B1 (en) | 2002-07-15 | 2007-10-02 | Network Physics | Method for real-time auto-detection of outliers |
US7904279B2 (en) | 2004-04-02 | 2011-03-08 | Test Advantage, Inc. | Methods and apparatus for data analysis |
US7917338B2 (en) * | 2007-01-08 | 2011-03-29 | International Business Machines Corporation | Determining a window size for outlier detection |
US8140301B2 (en) | 2007-04-30 | 2012-03-20 | International Business Machines Corporation | Method and system for causal modeling and outlier detection |
US8041597B2 (en) | 2008-08-08 | 2011-10-18 | Fair Isaac Corporation | Self-calibrating outlier model and adaptive cascade model for fraud detection |
US9069725B2 (en) * | 2011-08-19 | 2015-06-30 | Hartford Steam Boiler Inspection & Insurance Company | Dynamic outlier bias reduction system and method |
US8914317B2 (en) * | 2012-06-28 | 2014-12-16 | International Business Machines Corporation | Detecting anomalies in real-time in multiple time series data with automated thresholding |
US9355071B2 (en) * | 2013-03-01 | 2016-05-31 | Sas Institute Inc. | System and method for Multivariate outlier detection |
IN2014MU00871A (ja) * | 2014-03-14 | 2015-09-25 | Tata Consultancy Services Ltd | |
US10915602B2 (en) * | 2015-03-18 | 2021-02-09 | Micro Focus Llc | Automatic detection of outliers in multivariate data |
US10713683B2 (en) * | 2015-06-09 | 2020-07-14 | Oath Inc. | Outlier data detection |
EP3136297A1 (en) * | 2015-08-27 | 2017-03-01 | Tata Consultancy Services Limited | System and method for determining information and outliers from sensor data |
-
2016
- 2016-06-16 US US15/184,494 patent/US10733264B2/en active Active
- 2016-06-16 EP EP16174763.9A patent/EP3107000A3/en active Pending
- 2016-06-17 JP JP2016121204A patent/JP6611677B2/ja active Active
- 2016-06-17 CN CN201610439707.1A patent/CN106257438B/zh active Active
- 2016-06-17 AU AU2016204093A patent/AU2016204093B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3107000A3 (en) | 2016-12-28 |
EP3107000A2 (en) | 2016-12-21 |
AU2016204093A1 (en) | 2017-01-12 |
JP6611677B2 (ja) | 2019-11-27 |
US20160371228A1 (en) | 2016-12-22 |
US10733264B2 (en) | 2020-08-04 |
AU2016204093B2 (en) | 2018-01-25 |
CN106257438A (zh) | 2016-12-28 |
CN106257438B (zh) | 2019-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10061677B2 (en) | Fast automated detection of seasonal patterns in time series data without prior knowledge of seasonal periodicity | |
US20170168885A1 (en) | System and Method for Testing Internet of Things Network | |
EP3136297A1 (en) | System and method for determining information and outliers from sensor data | |
US20200073740A1 (en) | Systems and methods for anomaly detection in a distributed computing system | |
US20150269050A1 (en) | Unsupervised anomaly detection for arbitrary time series | |
US20170193395A1 (en) | Optimizing performance of event detection by sensor data analytics | |
JP6611677B2 (ja) | 単変量時系列信号に対してリアルタイムで外れ値を検出するシステム及び方法 | |
US10268836B2 (en) | System and method for detecting sensitivity content in time-series data | |
US10938847B2 (en) | Automated determination of relative asset importance in an enterprise system | |
US20170206462A1 (en) | Method and apparatus for detecting abnormal contention on a computer system | |
CN111971942B (zh) | 季节性数据的异常检测和处理 | |
US11341019B2 (en) | System and method for efficient estimation of high cardinality time-series models | |
US9003076B2 (en) | Identifying anomalies in original metrics of a system | |
US20180121275A1 (en) | Method and apparatus for detecting and managing faults | |
JPWO2017018377A1 (ja) | 分析方法、分析装置、および分析プログラム | |
Hong et al. | DAC‐Hmm: detecting anomaly in cloud systems with hidden Markov models | |
JP5003566B2 (ja) | ネットワーク性能予測システム、ネットワーク性能予測方法およびプログラム | |
JP7127525B2 (ja) | 検知装置、検知方法、および、検知プログラム | |
WO2020234977A1 (ja) | 情報処理装置、作成方法および作成プログラム | |
US9690639B2 (en) | Failure detecting apparatus and failure detecting method using patterns indicating occurrences of failures | |
CN107665258B (zh) | 文件系统可用性确定方法及装置 | |
CN108255669A (zh) | 监视计算机基础设施中执行的应用的批处理的方法和系统 | |
US10503144B2 (en) | Anomaly detection with correlation coeffiecients | |
JP6995100B2 (ja) | 情報処理装置、算出方法および算出プログラム | |
CN111901174A (zh) | 一种服务状态通知的方法、相关装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160822 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20171004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171204 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180829 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180918 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20181109 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190902 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191029 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6611677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |