JP2021508096A - 複数のシステムインジケータの監視 - Google Patents

複数のシステムインジケータの監視 Download PDF

Info

Publication number
JP2021508096A
JP2021508096A JP2019521687A JP2019521687A JP2021508096A JP 2021508096 A JP2021508096 A JP 2021508096A JP 2019521687 A JP2019521687 A JP 2019521687A JP 2019521687 A JP2019521687 A JP 2019521687A JP 2021508096 A JP2021508096 A JP 2021508096A
Authority
JP
Japan
Prior art keywords
indicators
data
indicator
computer
system indicators
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019521687A
Other languages
English (en)
Inventor
ジャンビン・リン
Original Assignee
アドバンスド ニュー テクノロジーズ カンパニー リミテッド
アドバンスド ニュー テクノロジーズ カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アドバンスド ニュー テクノロジーズ カンパニー リミテッド, アドバンスド ニュー テクノロジーズ カンパニー リミテッド filed Critical アドバンスド ニュー テクノロジーズ カンパニー リミテッド
Publication of JP2021508096A publication Critical patent/JP2021508096A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence

Abstract

コンピューティングシステムの監視されるべき複数のシステムインジケータが決定される。複数のシステムインジケータの履歴データに基づいてトレーニングデータが取得される。長期短期メモリ(LSTM)モデルがトレーニングデータを使用してトレーニングされる。コンピューティングシステムの複数のシステムインジケータがLSTMモデルに基づいて監視される。

Description

本発明は、複数のシステムインジケータの監視に関する。
インジケータを監視することは、システムの安定した健常なオペレーションのために重要である。複雑なシステムでは、多数のインジケータを監視する必要がある。通常、インジケータは個別に監視される。言い換えると、単一のインジケータだけが一度に監視され得る。
本開示は、複数のシステムインジケータを同時に監視することを説明する。
ある実施形態では、コンピューティングシステムにおける監視されるべき複数のシステムインジケータが決定される。複数のシステムインジケータの履歴データに基づくトレーニングデータが取得される。長期短期メモリ(LSTM)モデルは、トレーニングデータを使用してトレーニングされる。複数のシステムインジケータは、LSTMモデルに基づいてコンピューティングシステムにおいて監視される。
説明される主題の実施形態は、上述した実施形態を含め、コンピュータ実装方法、該コンピュータ実装方法を実行するためのコンピュータ可読命令を記憶した非一時的コンピュータ可読媒体、および1つまたは複数のコンピュータに相互運用可能に結合され、1つまたは複数のコンピュータによって実行されるときにコンピュータ実装方法/非一時的コンピュータ可読媒体上に記憶されたコンピュータ可読命令を実行するように構成された有形の非一時的機械可読媒体を有するコンピュータメモリを備えるコンピュータ実装システムを使用して実装可能である。
本明細書に開示される主題は、以下の利点の1つまたは複数を実現するために、特定の実施形態において実装されることができる。第一に、長期短期メモリ(LSTM)モデルを使用して、マルチインジケータ共同監視を実行することによって、異なるインジケータ間の潜在的な連動異常を検出できる。第二に、単一のインジケータ監視によって引き起こされる誤警報を回避できる。第三に、単一のインジケータ監視によって検出できない異常を監視できる。
本明細書に説明される主題の1つまたは複数の実施形態の詳細は、発明の詳細な説明、特許請求の範囲、および添付の図面に記載される。主題の他の特徴、態様、および利点は、その発明の詳細な説明、特許請求の範囲、および添付の図面から当業者に明らかになるであろう。
本開示の実施形態による、複数のシステムインジケータを監視する一例を示す概略図である。 本開示の実施形態による、複数のシステムインジケータを監視するためのコンピュータ実装方法の一例を示すフローチャートである。 本会議の実施形態による、説明されたアルゴリズム、方法、機能、プロセス、フロー、およびプロシージャに関連付けられた計算機能を提供するために使用されるコンピュータ実装システムの一例を示すブロック図である。
様々な図面における同じ番号および記号は同様の要素を示す。
以下に説明される記述は、同時に複数のシステムインジケータを監視することを説明し、任意の当業者が1つまたは複数の特定の実施形態の文脈において、開示される主題を作成および使用できるように提示される。本開示の範囲から逸脱することなく、開示された実施形態の様々な修正、変更、および置換を行うことができ、それらは当業者には容易に明らかであり、本明細書に定義された一般原理は他の実施形態および用途に適用されてよい。いくつかの事例では、説明される主題の理解を得るのに不必要な詳細は、不必要な詳細により1つまたは複数の説明される実施形態を曖昧にしないように、およびそのような詳細が当業者の技術の範囲内である限り、省略され得る。本開示は、説明または図示された実施態様に限定されることを意図しないが、説明される原理および特徴と矛盾しない最も広い範囲を与えるように意図されている。
インジケータを監視することは、システムの安定した健常なオペレーションのために重要である。複雑なシステムでは、多数のインジケータを監視する必要がある。通常、インジケータは個別に監視される。言い換えると、単一のインジケータだけが一度に監視され得る。例えば、ガウス分布、k平均クラスタリング、またはアイソレーションフォレスト(Isolation Forest)を使用したインジケータ監視は、一度に単一のインジケータのみを監視できる。1つまたは複数のインジケータにおいて発生するが監視しているインジケータでは発生しない異常は、単一のインジケータ監視を使用して検出することができないことがある。多くの場合、システムにおけるいくつかのインジケータ間に連動が存在する。結果として、監視されたインジケータと1つまたは複数の他のインジケータとの間の通常の連動は、単一のインジケータ監視を使用して異常として検出され、誤警報を生成することがある。
保険業界では、例えば、インジケータは、売却済済保険証書の数、売却済保険証書の請求額、提出された請求の数、却下された請求の数、および合計決済額を含むことができる。インジケータは、毎時、毎日、あるいは他の所望の時間間隔で監視され得る。売却済保険証書の数と提出された請求の数との間に連動が存在することがある。例えば、ある期間の間(アリババの年次「Double11」グローバルショッピングデー祭典など)、売却済保険証書の数の増加に起因して、提出された請求の数が増加するであろう高い確率が存在する。提出された請求の数を単に監視することは、提出された請求の数の通常の増加に対して誤警報を生成することがある。加えて、提出された請求の数を単に監視することは、提出された請求の数における異常報告の見逃しをもたらす。例えば、売却済保険証書の数が劇的に減少する一方で提出された請求の数にほとんど変化がないとき、提出された請求の数に対して異常が発生しているおそれがある。この例では、監視された提出された請求の数は一定であると思われるので、提出された請求の数における異常が検出されず、その異常は報告されないであろう。
高いレベルで、説明されるアプローチは、長期短期メモリ(LSTM)モデルを使用して、システムにおけるマルチインジケータ共同監視を自動的に実行するための方法を提供する。入力のためのトレーニングデータは、複数のインジケータの履歴データに基づいて用意され、LSTMモデルをトレーニングするために使用される。LSTMモデルは、トレーニングデータからの複数のインジケータ間の線形または非線形の関係を学習することができるので、トレーニングされたLSTMモデルは、複数のインジケータ間の連動関係を適切にモデル化できる。トレーニングされたLSTMモデルに基づいて、複数のインジケータを同時に監視できる。そうすることで、異なるインジケータ間の潜在的な連動異常を検出できる。加えて、単一のインジケータ監視によって引き起こされる誤警報や異常の見逃しを避けることができ、それによってシステムにおける潜在的なリスクおよび異常のタイムリーな発見を提供する。
図1は、本開示の実施形態による、複数のシステムインジケータを監視する一例を示す概略図100である。提示を明快にするために、以下の説明は、本明細書における他の図面の文脈で図100を概略的に説明する。図100は、インジケータライブラリ102、トレーニングデータ110、複数のインジケータのシークエンスデータの構築112、テストデータ120、および長期短期メモリ(LSTM)モデル130を含むことができる。いくつかの実施形態では、図100は、概略図に示されていない追加のまたは異なる(あるいは両方を組み合わせた)構成要素を含むことができる。いくつかの実施形態では、構成要素が図100から省略されていることもある。
図1に示すように、監視される必要のあるインジケータのセットが最初に決定される。いくつかの実施形態では、インジケータのセットは、インジケータライブラリ102に格納され得る。例えば、インジケータのセットは、インジケータA104およびインジケータB106を含むことができる。特定の例として、保険業界では、インジケータのセットは、売却済保険証書の数、売却済保険証書の請求額、提出された請求の数、却下された請求の数、および合計決済額のうちの少なくとも1つを含むことができる。場合によっては、インジケータのセットの中の各インジケータは、1時間単位、1日単位、または他の所望の時間間隔で監視され得る。
インジケータのセットが決定された後、トレーニングデータ110がインジケータのセットに対して取得され得る。例えば、いくつかの実施形態では、トレーニングデータ110は、インジケータのセットの中の格納された履歴データ(過去365日の毎日の売却済保険証書の数または過去24時間の毎時の売却済保険証書の数など)から取得され得る。
いくつかの実施形態では、トレーニングデータ110は、長期短期メモリ(LSTM)モデルに与えられる前に処理され得る。言い換えると、トレーニングデータ110は、LSTMモデルによって読み取り可能なフォーマットに構築され得る。例えば、複数のシステムインジケータシーケンスデータ112が、複数のインジケータの履歴データから構築され得る。構築は、1つのインジケータに対して一度に実行され得る。いくつかの実施形態では、インジケータA114のシーケンスデータが、最初に構築され、インジケータB116のシーケンスデータが次に構築される。次いで、各インジケータシーケンスデータが、時系列118に配列され得る。
例示する目的で、インジケータxは、毎時の売却済保険証書の数を表し、インジケータzは、毎時の提出された請求の数を表す。まず、インジケータxの履歴データが時系列にx1,x2,...,xi,...,xn-1,xnのように配置される。xiは履歴時間iにおける毎時の売却済保険証書の数のインジケータデータである。各インジケータデータxiについて、xiの以前の期間内の履歴データが取得され、時系列にxi-t,...,xi-1,xiのように配置される。tは、期間を表す(24時間など)。xiの以前の期間を満たす十分な履歴データがない場合(履歴データxi-tが利用可能でないなど)、例えば代わりに、数0が使用されてよい。次に、インジケータzの履歴データが時系列にz1,z2,...,zi,...,zn-1,znのように配置される。ziは履歴時間iにおける毎時の提出された請求の数のインジケータデータである。各インジケータデータziについて、ziの以前の期間内の履歴データが取得され、時系列にzi-t, …, zi-1, ziのように配置される。tは期間を表す(24時間など)。いくつかの実施形態では、ziの以前の期間を満たす十分な履歴データがない場合(履歴データzi-tが利用可能でないなど)、例えば代わりに、数0が使用されてよい。
いくつかの実施形態では、xi-t,...,xi-1,xiおよびzi-t,...,zi-1,ziは、組み合わされて以下のように行列iを形成できる。
Figure 2021508096
インジケータxとインジケータzの履歴データにおけるデータの数に基づいて、同数の行列が構築される。例えば、の履歴データx1,x2,...,xi,...,xn-1,xnとインジケータzの履歴データの両方は、n個の毎時のデータを含む。結果として、n個の行列が構築され得る。
構築された行列に基づいて、LSMTモデルのためのトレーニングデータが構築され得る。例えば、各構築された行列i(すなわち、式(1)など)に対して、
Figure 2021508096
が、LSMTモデルへのラベルデータセット入力として使用され、
Figure 2021508096
が、LSMTモデルへの特徴データセット入力として使用され得る。構築されたトレーニングデータは、LSMTモデル130をトレーニングする122ために使用され得る。
一旦LSMTモデル130がトレーニングされると、トレーニングされたLSMTモデルは、複数のインジケータ(インジケータライブラリ102の中の全てのインジケータなど)を共同監視するために使用され得る。いくつかの実施形態では、テストデータ120が、インジケータライブラリ102の中のインジケータのセットのために最初に取得され得る。例えば、j番目の時間(現在の時間など)についてのインジケータのセットを監視するために、以前の期間t(直近の24時間など)内のインジケータのセットの履歴データが、テストデータとして取得され得る。取得されたテストデータは、トレーニングされたLSMTモデルに与えられ、j番目の時間におけるインジケータのセットの値を予測する124。インジケータのセットの中の各特定のインジケータについて、j番目の時間における特定のインジケータのリアルタイムの値(現在収集される実際のインジケータデータなど)と、j番目の時間における特定のインジケータの予測された値(すなわち、LSMTモデルによって予測された)との間の比較が実行される。場合によっては、j番目の時間における特定のインジケータのリアルタイムの値とj番目の時間における特定のインジケータの予測された値との差分の絶対値が計算され得る。インジケータのセットについて計算された絶対値は、合計されて、総差分値lを生む。場合によっては、総差分値lは、所定のしきい値T(100など)と比較され得る。場合によっては、所定のしきい値Tがトレーニングデータから決定され得る。例えば、各構築された行列iについて、総差分数liが計算される。所定のしきい値Tが、liの平均値の10倍の値に設定され得る。いくつかの実施形態では、l>Tの場合、監視されたインジケータのセット内での連動異常が起こっていると決定し、連動異常に対する警告が上がる。いくつかの実施形態では、l≦Tの場合、監視されたインジケータのセット内での連動異常が起こっていないと決定され、連動異常に対する警告が上がらない。
図2は、本開示の実施形態による、複数のシステムインジケータを監視するためのコンピュータ実装方法200の一例を示すフローチャートである。提示を明快にするために、以下の説明は、本明細書における他の図面の文脈において方法200を概略的に説明する。しかしながら、方法200は、例えば、システム、環境、ソフトウェア、およびハードウェア、または、必要に応じて、システム、環境、ソフトウェア、およびハードウェアの組み合わせによって実行され得ることが理解されるであろう。いくつかの実施形態では、方法200の様々なステップは、並列に、組み合わせて、ループして、あるいは任意の順序で実行され得る。いくつかの実施形態では、方法200の様々なステップは、自動的に、手動で、または自動的および手動の両方を組み合わせて実行され得る。
205において、コンピューティングシステムの監視されるべき複数のシステムインジケータが決定される。いくつかの実施形態では、複数のシステムインジケータは、コンピュータシステムのユーザ(システム管理者など)によって決定され得る。例えば、保険システムでは、監視されるべきシステムインジケータは、売却済保険証書の数、売却済保険証書の請求額、提出された請求の数、却下された請求の数、および合計決済額のうちの少なくとも1つを含むことができる。いくつかの実施形態では、複数のシステムインジケータのうちの第1のシステムインジケータは、複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関し得る。言い換えると、複数のシステムインジケータのうちの第1のシステムインジケータと1つまたは複数の第2のシステムインジケータとの間に連動が存在する。例えば、ある期間(アリババの年次「Double11」グローバルショッピングデー祭典など)の間、売却済保険証書の数の増加は、提出された請求の数の増加を引き起こすことがある。方法200は、205から210に進む。
210において、トレーニングデータは、複数のシステムインジケータの履歴データに基づいて取得される。いくつかの実施形態では、履歴期間が(コンピュータシステムのユーザによってなど)決定される。例えば、履歴期間は、一日、一週、一ヶ月、一年、または他の過去の所望の時間間隔であってよい。履歴データは、毎時、毎日、他の所望の時間間隔で、格納され得る。複数のシステムインジケータのうちの各特定のシステムインジケータについて、履歴期間内の特定のシステムインジケータの履歴データが収集される。加えて、履歴期間内の特定のシステムインジケータの履歴データは時系列に配置され得る。
例えば、履歴期間がn時間を含み、複数のシステムインジケータが、第1のシステムインジケータxと第2のシステムインジケータyを含むと仮定すると、第1のシステムインジケータxの履歴データは、時系列にx1,x2,...,xi,...xn-1,xnのように配置され、第2のシステムインジケータyの履歴データは、時系列にy1,y2,...,yi,...,yn-1,ynのように配置される。履歴期間の各特定の時間について、行列iは、
Figure 2021508096
として構築されることができる。iは、履歴期間のうちの特定の時間であり、tは、(24時間など)データサイクルであり、xiは、特定の時間iにおける第1のシステムインジケータxの履歴データであり、yiは、特定の時間iにおける第2のシステムインジケータyの履歴データである。場合によっては、行列iを満たす十分な履歴データがない場合(履歴データxi-tが利用できないなど)、例えば代わりに、数0が使用されてよい。履歴期間のn個の時間について、n個の行列が構築され得る。結果として、トレーニングデータが、n個の構築された行列として構築され得る。方法200は、210から215に進む。
215において、LSMTモデルは、トレーニングデータを使用してトレーニングされる。いくつかの実施形態では、トレーニングデータを使用してLSMTモデルをトレーニングすることは、ラベルデータセットとしての入力
Figure 2021508096
と特徴データセットとしての入力
Figure 2021508096
を用いたLSMTモデルへの行列iの入力を含む。LSMTモデルが入力トレーニングデータからの複数のシステムインジケータ間の線形および非線形の関係を学習できるので、トレーニングされたLSMTモデルは、複数のシステムインジケータ間の連動関係を適切にモデル化できる。方法200は、215から220に進む。
220において、複数のシステムインジケータが、トレーニングされたLSMTモデルに基づいてコンピューティングシステムにおいて監視される。例えば、複数のシステムインジケータのテストデータが取得され得る。テストデータは以前の期間内の複数のシステムインジケータの履歴データ(以前の期間に収集された実際のデータなど)であってよい。いくつかの実施形態では、履歴データが1時間単位に格納されている場合、期間は、一日、一週、一年、または他の所望の時間間隔であってよい。履歴データが1日単位で格納されている場合、期間は、一週、一ヶ月、一年、または他の所望の時間間隔であってよい。以前の期間内の複数のシステムインジケータの履歴データは、複数のシステムインジケータの予測されたデータを取得するために、LSTMモデルに入力され得る。場合によっては、複数のシステムインジケータのリアルタイムデータ(複数のシステムインジケータの現在収集される実際のインジケータデータなど)が、複数のシステムインジケータ内での連動異常が発生しているか否かを判定するために、複数のシステムインジケータの予測されたデータと比較される。
例えば、複数のシステムインジケータの各特定のシステムインジケータについて、特定のシステムインジケータのリアルタイムデータと特定のシステムインジケータの予測されたデータとの間の差分の絶対値が算出される。複数のシステムインジケータについての算出された絶対値は、合計され、総差分値を生む。いくつかの実施形態では、総差分値が所定のしきい値を超える場合、複数のシステムインジケータ内での連動異常が発生していると決定される。場合によっては、連動異常のための警告が上がってよい。いくつかの実施形態では、総差分値が所定のしきい値を超えない場合、複数のシステムインジケータ内での連動異常が発生していないと決定される。場合によっては、連動異常のための警告があがらない。
いくつかの実施形態では、1つまたは複数のシステムインジケータが複数のシステムインジケータに追加されるべき、または複数のシステムインジケータから除外されるべきであるかどうかについての決定がなされ得る。1つまたは複数のシステムインジケータが複数のシステムインジケータに追加されるべき、または複数のシステムインジケータから除外されるべきであるという決定がなされる場合、LSTMモデルは更新された複数のシステムインジケータを監視するために、使用の前に再トレーニングされる必要がある。例えば、更新されたトレーニングデータは、(前述のステップ210と同様に)更新された複数のシステムインジケータの履歴データに基づいて取得され得る。LSTMモデルは、(前述のステップ215と同様に)更新されたトレーニングデータを使用して再トレーニングされ得る。いくつかの実施形態では、LSTMモデルを再トレーニングすることは、コンピュータシステムのユーザによって命令され得る。いくつかの実施形態では、LSTMモデルは、周期的に再トレーニングされ得る。220の後、方法200は終了する。
図3は、本開示の実施形態による、説明されたアルゴリズム、方法、機能、プロセス、フロー、およびプロシージャに関連付けられたコンピュータ機能を提供するために使用されるコンピュータ実施システム300の例を示すブロック図である。図示された実施形態では、システム300はコンピュータ302およびネットワーク330を含む。
図示されたコンピュータ302は、コンピューティングデバイスの物理インスタンスまたは仮想インスタンス、またはコンピューティングデバイスの物理インスタンスまたは仮想インスタンスの組み合わせを含むサーバ、デスクトップコンピュータ、ラップトップ/ノートブックコンピュータ、ワイヤレスデータポート、スマートフォン、携帯情報端末(PDA)、タブレットコンピュータ、これらのデバイス内の一つまたは複数のプロセッサ、別のコンピューティングデバイス、あるいはコンピューティングデバイスの組み合わせなどの、任意のコンピューティングデバイスを包含することを意図している。加えて、コンピュータ302は、キーパッド、キーボード、タッチスクリーン、別の入力デバイス、またはユーザ情報を受け入れることのできる入力デバイスの組み合わせなどの、入力デバイスと、デジタルデータ、視覚情報、聴覚情報、別のタイプの情報、あるいはいくつかのタイプの情報の組み合わせを含む、コンピュータ302の動作に関連付けられた情報をグラフィカルタイプユーザインターフェース(UI)(またはGUI)または他のUIに伝達する出力デバイスとを含むことができる。
コンピュータ302は、クライアント、ネットワークコンポーネント、サーバ、データベース、または別の永続的機能、別の役割、または本開示に説明された主題を実行するための役割の組み合わせとして、分散されたコンピューティングシステムにおいて役割を機能できる。図示されたコンピュータ302は、ネットワーク330に通信可能に結合される。いくつかの実施形態では、コンピュータ302の一つまたは複数の構成要素が、クラウドコンピューティングベースの環境、ローカル環境、グローバル環境、別の環境、または環境の組み合わせを含む、環境の中で動作するように構成され得る。
高いレベルでは、コンピュータ302は、説明された主題に関連付けられたデータおよび情報を、受信、送信、処理、記憶、または管理するように動作可能な電子コンピューティングデバイスである。いくつかの実施形態によれば、コンピュータ302はまた、アプリケーションサーバ、電子メールサーバ、Webサーバ、キャッシュサーバ、データストリーミングサーバ、別のサーバ、またはサーバの組み合わせを含むサーバを含むことができ、あるいはサーバに通信可能に結合され得る。
コンピュータ302は、ネットワーク330を介して(例えば、別のコンピュータ302上で実行されているクライアントソフトウェアアプリケーションから)要求を受信することができ、ソフトウェアアプリケーションまたはソフトウェアアプリケーションの組み合わせを使用して受信した要求を処理することによって受信した要求に応答できる。加えて、要求はまた、内部ユーザ(例えば、コマンドコンソールから、または別の内部アクセス方法によって)、外部またはサードパーティ、あるいは他のエンティティ、個人、システム、またはコンピュータから、コンピュータ302に送られ得る。
コンピュータ302の各構成要素は、システムバス303を使用して通信できる。いくつかの実施形態では、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせを含むコンピュータ302の構成要素のいくつかまたはすべては、アプリケーションプログラミングインターフェース(API)312、サービスレイヤ313、またはAPI312とサービスレイヤ313の組み合わせを使用して、システムバス303を介してインターフェースできる。API312は、ルーチン、データ構造、およびオブジェクトクラスのための仕様を含むことができる。API312は、コンピュータ言語に依存しないものでも依存するものでもよく、完全なインターフェース、単一の機能、またはAPIのセットさえも指すものであってよい。サービスレイヤ313は、コンピュータ302またはコンピュータ302に通信可能に結合される他の構成要素(図示にかかわらず)に、ソフトウェアサービスを提供する。コンピュータ302の機能は、このサービスレイヤを使用するすべてのサービス消費者にとってアクセス可能であり得る。サービスレイヤ313によって提供されるものなどのソフトウェアサービスは、規定のインターフェースを通じて、再使用可能な規定の機能を提供する。例えば、インターフェースは、JAVA(登録商標)、C++、別のコンピューティング言語、または拡張マークアップ言語(XML)フォーマット、別のフォーマット、またはフォーマットの組み合わせでデータを提供するいくつかのコンピューティング言語の組み合わせで書かれたソフトウェアであり得る。コンピュータ302の統合された構成要素として示されているが、代替の実施形態では、API312またはサービスレイヤ313は、コンピュータ302の他の構成要素またはコンピュータ302に通信可能に結合される他の構成要素(図示にかかわらず)に対してスタンドアロン構成要素として示されてよい。さらに、API312またはサービスレイヤ313の一部または全部は、本開示の範囲から逸脱することなく、別のソフトウェアモジュール、企業アプリケーション、またはハードウェアモジュールの子モジュールまたはサブモジュールとして実装され得る。
コンピュータ302は、インターフェース304を含む。単一のインターフェース304として図示されているが、特定のニーズ、要望、またはコンピュータ302の特定の実装に従って、2つ以上のインターフェース304が使用され得る。インターフェース304は、分散環境におけるネットワーク330に通信可能にリンクされている別のコンピューティングシステム(図示にかかわらず)と通信するためにコンピュータ302によって使用される。一般に、インターフェース304は、ネットワーク330と通信するように動作可能であり、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせで符号化されたロジックを含む。より具体的には、インターフェース304は、ネットワーク330またはインターフェース304のハードウェアが図示されたコンピュータ302の内外で物理的な信号を通信するように動作可能であるように、通信に関連付けられた1つまたは複数の通信プロトコルをサポートするソフトウェアを含み得る。
コンピュータ302は、プロセッサ305を含む。単一のプロセッサ305として図示されているが、特定のニーズ、要望、またはコンピュータ302の特定の実装に従って、2つ以上のプロセッサが使用され得る。一般に、プロセッサ305は命令を実行し、データを操作するとともに、コンピュータ302の動作、および本開示に説明されているような任意のアルゴリズム、方法、機能、プロセス、フロー、およびプロシージャを実行する。
コンピュータ302はまた、コンピュータ302、ネットワーク330に通信可能にリンクされた別の構成要素(図示にかかわらず)、またはコンピュータ302と別の構成要素との組み合わせのために、データを保持できるデータベース306を含む。例えば、データベース306は、本開示に矛盾しないデータを記憶するインメモリの、従来の、または別のタイプのデータベースであってよい。いくつかの実装形態では、データベース306は、特定のニーズ、要望、またはコンピュータ302の特定の実装、および説明された機能に従って、2つ以上の異なるデータベースのタイプ(例えば、ハイブリッドインメモリデータベースおよび従来のデータベース)の組み合わせであり得る。単一のデータベース306として図示されているが、特定のニーズ、要望、またはコンピュータ302の特定の実装、および説明された機能に従って、類似するタイプまたは異なるタイプの2つ以上のデータベースが使用され得る。データベース306はコンピュータ302の統合された構成要素として示されているが、代替の実施形態では、データベース306はコンピュータ302の外部にあってよい。図示されるように、データベース306は、例えば、前述の履歴データ316およびトレーニングデータ318を保持する。
コンピュータ302はまた、コンピュータ302、ネットワーク330に通信可能にリンクされた別の構成要素(図示にかかわらず)、またはコンピュータ302と別の構成要素との組み合わせのために、データを保持できるメモリ307を含む。メモリ307は、本開示に矛盾しない任意のデータを記憶できる。いくつかの実装形態では、メモリ307は、特定のニーズ、要望、またはコンピュータ302の特定の実装、および説明された機能に従って、2つ以上の異なるタイプのメモリの組合せ(例えば、半導体ストレージと磁気ストレージの組合せ)であり得る。単一のメモリ307として図示されているが、特定のニーズ、要望、またはコンピュータ302の特定の実装、および説明された機能に従って、2つ以上のメモリ307あるいは類似または異なるタイプが使用され得る。メモリ307はコンピュータ302の統合された構成要素として示されているが、代替の実装形態では、メモリ307はコンピュータ302の外部にあってよい。
アプリケーション308は、特に本開示で説明されている機能に関して、特定のニーズ、要望、またはコンピュータ302の特定の実装に従って、機能を提供するアルゴリズムソフトウェアエンジンである。例えば、アプリケーション308は、1つまたは複数の構成要素、モジュール、またはアプリケーションとして機能することができる。さらに、単一のアプリケーション308として図示されているが、アプリケーション308は、コンピュータ302上で複数のアプリケーション308として実装できる。加えて、コンピュータ302に統合されるように図示されているが、代替の実装において、アプリケーション308はコンピュータ302の外部にあってよい。
コンピュータ302はまた、電源314を含むことができる。電源314は、ユーザ交換可能にあるいはユーザが交換できないように構成され得る充電式または非充電式のバッテリを含むことができる。いくつかの実施形態では、電源314は、電力変換または管理回路(再充電、スタンバイ、または別の電力管理機能を含む)を含むことができる。いくつかの実装形態では、電源314は、例えばコンピュータ302に電力を供給するため、または充電式バッテリを充電するために、コンピュータ302を壁のコンセントまたは別の電力源に差し込むことを可能にするための電源プラグを含むことができる。
コンピュータ302を含むコンピュータシステムに付随して、またはコンピュータシステムの外部に、任意の数のコンピュータ302が存在することができ、各コンピュータ302はネットワーク330を介して通信する。さらに、「クライアント」、「ユーザ」という用語、または他の適切な用語は、本開示の範囲から逸脱することなく、必要に応じて交換可能に使用され得る。さらに、本開示は、多数のユーザが1つのコンピュータ302を使用できること、または1人のユーザが複数のコンピュータ302を使用できることを意図する。
主題の詳細な実施形態は、単独でまたは組み合わせて、1つまたは複数の特徴を含むことができる。
例えば、第1の実施形態では、コンピュータ実装方法は、コンピューティングシステムの監視されるべき複数のシステムインジケータを決定するステップと、複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップと、トレーニングデータを使用して長期短期メモリ(LSTM)モデルをトレーニングするステップと、LSTMモデルに基づいてコンピューティングシステムの複数のシステムインジケータを監視するステップとを含む。
前述のおよび他の説明された実装形態はそれぞれ、随意に以下の特徴のうちの1つまたは複数を含むことができる。
第1の特徴は、後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータのうちの第1のシステムインジケータは、複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関する。
第2の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップは、履歴期間を決定するステップと、複数のシステムインジケータのうちの各特定のシステムインジケータについて、履歴期間内の特定のシステムインジケータの履歴データを収集するステップと、履歴期間内の特定のシステムインジケータの履歴データを時系列に配置するステップとを含む。
第3の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、履歴期間は、n個の所定の時間間隔を含み、複数のシステムインジケータは、第1のシステムインジケータxおよび第2のシステムインジケータyを含み、方法は、履歴期間の各特定の所定の時間間隔について、
Figure 2021508096
である行列iを構築するステップであって、iは、履歴期間の特定の所定の時間間隔であり、tは、データサイクルであり、xiは、特定の所定の時間間隔iにおける第1のシステムインジケータxの履歴データであり、yiは、特定の所定の時間間隔iにおける第2のシステムインジケータyの履歴データである、ステップと、n個の構築された行列を使用してトレーニングデータを構築するステップとをさらに含む。
第4の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、トレーニングデータを使用してLSTMモデルをトレーニングすることは、ラベルデータセットとしての
Figure 2021508096
の入力と、特徴データセットとしての
Figure 2021508096
の入力とを用いたLSTMモデルへの行列iの入力を含む。
第5の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、LSTMモデルに基づいてコンピューティングシステムの複数のシステムインジケータを監視するステップは、複数のシステムインジケータのリアルタイムデータを取得するステップと、以前の期間内の複数のシステムインジケータの履歴データを取得するステップと、複数のシステムインジケータの予測されたデータを取得するために、LSTMモデルに、以前の期間内の複数のシステムインジケータの履歴データを入力するステップと、複数のシステムインジケータの予測されたデータと複数のシステムインジケータのリアルタイムデータを比較するステップとを含む。
第6の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータの予測されたデータと複数のシステムインジケータのリアルタイムデータを比較するステップは、複数のシステムインジケータの各特定のシステムインジケータについて、特定のシステムインジケータのリアルタイムデータと特定のシステムインジケータの予測されたデータとの間の差分の絶対値を計算するステップと、複数のシステムインジケータについて計算された絶対値を合計するステップと、合計された絶対値が所定のしきい値を超える場合、異常を決定するステップとを含む。
第7の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、1つまたは複数のシステムインジケータが複数のシステムインジケータに追加される、または複数のシステムインジケータから除外されることを決定するステップと、更新された複数のシステムインジケータの履歴データに基づいて更新されたトレーニングデータを取得するステップと、更新されたトレーニングデータを使用してLSTMモデルを再トレーニングするステップとをさらに含む。
第2の実施形態では、動作を実行するためのコンピュータシステムによって実行可能な1つまたは複数の命令を記憶する非一時的コンピュータ可読記憶媒体であり、動作が、コンピューティングシステムの監視されるべき複数のシステムインジケータを決定するステップと、複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップと、トレーニングデータを使用して長期短期メモリ(LSTM)モデルをトレーニングするステップと、LSTMモデルに基づいてコンピューティングシステムの複数のシステムインジケータを監視するステップとを含む。
前述のおよび他の説明された実装形態はそれぞれ、随意に以下の特徴のうちの1つまたは複数を含むことができる。
第1の特徴は、後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータのうちの第1のシステムインジケータは、複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関する。
第2の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップは、履歴期間を決定するステップと、複数のシステムインジケータのうちの各特定のシステムインジケータについて、履歴期間内の特定のシステムインジケータの履歴データを収集するステップと、履歴期間内の特定のシステムインジケータの履歴データを時系列に配置するステップとを含む。
第3の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、履歴期間は、n個の所定の時間間隔を含み、複数のシステムインジケータは、第1のシステムインジケータxおよび第2のシステムインジケータyを含み、動作は、履歴期間の各特定の所定の時間間隔について、
Figure 2021508096
である行列iを構築するステップであって、iは、履歴期間の特定の所定の時間間隔であり、tは、データサイクルであり、xiは、特定の所定の時間間隔iにおける第1のシステムインジケータxの履歴データであり、yiは、特定の所定の時間間隔iにおける第2のシステムインジケータyの履歴データである、ステップと、n個の構築された行列を使用してトレーニングデータを構築するステップとをさらに含む。
第4の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、トレーニングデータを使用してLSTMモデルをトレーニングすることは、ラベルデータセットとしての
Figure 2021508096
の入力と、特徴データセットとしての
Figure 2021508096
の入力とを用いたLSTMモデルへの行列iの入力を含む。
第5の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、LSTMモデルに基づいてコンピューティングシステムの複数のシステムインジケータを監視するステップは、複数のシステムインジケータのリアルタイムデータを取得するステップと、以前の期間内の複数のシステムインジケータの履歴データを取得するステップと、複数のシステムインジケータの予測されたデータを取得するために、LSTMモデルに、以前の期間内の複数のシステムインジケータの履歴データを入力するステップと、複数のシステムインジケータの予測されたデータと複数のシステムインジケータのリアルタイムデータを比較するステップとを含む。
第6の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータの予測されたデータと複数のシステムインジケータのリアルタイムデータを比較するステップは、複数のシステムインジケータの各特定のシステムインジケータについて、特定のシステムインジケータのリアルタイムデータと特定のシステムインジケータの予測されたデータとの間の差分の絶対値を計算するステップと、複数のシステムインジケータについて計算された絶対値を合計するステップと、合計された絶対値が所定のしきい値を超える場合、異常を決定するステップとを含む。
第7の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、1つまたは複数のシステムインジケータが複数のシステムインジケータに追加される、または複数のシステムインジケータから除外されることを決定するステップと、更新された複数のシステムインジケータの履歴データに基づいて更新されたトレーニングデータを取得するステップと、更新されたトレーニングデータを使用してLSTMモデルを再トレーニングするステップとをさらに含む。
第3の実施形態では、1つまたは複数のコンピュータと、1つまたは複数のコンピュータに相互運用可能に結合されるとともに、1つまたは複数の命令を記憶した有形の非一時的機械可読記憶媒体を有する1つまたは複数のコンピュータメモリデバイスとを具備するコンピュータ実装システムであり、1つまたは複数の命令が1つまたは複数のコンピュータによって実行されるとき、コンピューティングシステムの監視されるべき複数のシステムインジケータを決定するステップと、複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップと、トレーニングデータを使用して長期短期メモリ(LSTM)モデルをトレーニングするステップと、LSTMモデルに基づいてコンピューティングシステムの複数のシステムインジケータを監視するステップとを含む1つまたは複数の動作を実行する。
前述のおよび他の説明された実装形態はそれぞれ、随意に以下の特徴のうちの1つまたは複数を含むことができる。
第1の特徴は、後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータのうちの第1のシステムインジケータは、複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関する。
第2の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップは、履歴期間を決定するステップと、複数のシステムインジケータのうちの各特定のシステムインジケータについて、履歴期間内の特定のシステムインジケータの履歴データを収集するステップと、履歴期間内の特定のシステムインジケータの履歴データを時系列に配置するステップとを含む。
第3の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、履歴期間は、n個の所定の時間間隔を含み、複数のシステムインジケータは、第1のシステムインジケータxおよび第2のシステムインジケータyを含み、動作は、履歴期間の各特定の所定の時間間隔について、
Figure 2021508096
である行列iを構築するステップであって、iは、履歴期間の特定の所定の時間間隔であり、tは、データサイクルであり、xiは、特定の所定の時間間隔iにおける第1のシステムインジケータxの履歴データであり、yiは、特定の所定の時間間隔iにおける第2のシステムインジケータyの履歴データである、ステップと、n個の構築された行列を使用してトレーニングデータを構築するステップとをさらに含む。
第4の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、トレーニングデータを使用してLSTMモデルをトレーニングすることは、ラベルデータセットとしての
Figure 2021508096
の入力と、特徴データセットとしての
Figure 2021508096
の入力とを用いたLSTMモデルへの行列iの入力を含む。
第5の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、LSTMモデルに基づいてコンピューティングシステムの複数のシステムインジケータを監視するステップは、複数のシステムインジケータのリアルタイムデータを取得するステップと、以前の期間内の複数のシステムインジケータの履歴データを取得するステップと、複数のシステムインジケータの予測されたデータを取得するために、LSTMモデルに、以前の期間内の複数のシステムインジケータの履歴データを入力するステップと、複数のシステムインジケータの予測されたデータと複数のシステムインジケータのリアルタイムデータを比較するステップとを含む。
第6の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、複数のシステムインジケータの予測されたデータと複数のシステムインジケータのリアルタイムデータを比較するステップは、複数のシステムインジケータの各特定のシステムインジケータについて、特定のシステムインジケータのリアルタイムデータと特定のシステムインジケータの予測されたデータとの間の差分の絶対値を計算するステップと、複数のシステムインジケータについて計算された絶対値を合計するステップと、合計された絶対値が所定のしきい値を超える場合、異常を決定するステップとを含む。
第7の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、1つまたは複数のシステムインジケータが複数のシステムインジケータに追加される、または複数のシステムインジケータから除外されることを決定するステップと、更新された複数のシステムインジケータの履歴データに基づいて更新されたトレーニングデータを取得するステップと、更新されたトレーニングデータを使用してLSTMモデルを再トレーニングするステップとをさらに含む。
本明細書に説明された主題の実施形態および機能的動作は、本明細書に開示された構造およびそれらの構造上の均等物を含む、デジタル電子回路、有形の具現化されたコンピュータソフトウェアまたはファームウェア、コンピュータハードウェア、またはそれらの1つまたは複数の組み合わせで実装され得る。説明された主題のソフトウェア実施形態は、1つまたは複数のコンピュータプログラムとして、すなわち、データ処理装置によって実行されるための、あるいはコンピュータまたはコンピュータ実装システムの動作を制御するための、有形の非一時的コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実装され得る。代替または追加で、プログラム命令は、人工的に生成された伝搬信号、例えば、コンピュータまたはコンピュータ実装システムによる実行のために受信装置に送信するための情報を符号化するように生成された、機械生成された電気信号、光信号、または電磁信号の中に/上に符号化され得る。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムまたはシリアルアクセスメモリデバイス、またはコンピュータ記憶媒体の組み合わせであってよい。1つまたは複数のコンピュータを構成することは、ソフトウェアが1つまたは複数のコンピュータによって実行されるときに特定の計算動作が実行されるように、1つまたは複数のコンピュータがハードウェア、ファームウェア、またはソフトウェア(またはハードウェア、ファームウェア、およびソフトウェアの組合せ)をインストールしていることを意味する。
「リアルタイム(real-time)」、「リアルタイム(real time)」、「リアルタイム(realtime)」、「リアル(ファスト)タイム(real (fast) time (RFT))」、「ほぼリアルタイム(near(ly) real-time (NRT))」、「準リアルタイム（quasi real-time）」という用語、または(当業者には理解されるような)同様の用語は、アクションおよび応答が実質的に同時に起こることを個人が知覚するように、アクションおよび応答が時間的に近いことを意味する。例えば、データへのアクセスに対する個人のアクションに続いてデータを表示するための応答(または表示の開始)にかかる時間差は、1ミリ秒(ms)未満、1秒(s)未満、または5秒未満であり得る。要求されたデータは瞬時に表示される（または表示のために開始される）必要はないが、説明されたコンピューティングシステムの処理限界と、例えばデータを収集、正確に測定、分析、処理、保存、または送信するのに必要な時間とを考慮して、意図的な遅延なしに表示（または表示のために開始）される。
用語「データ処理装置」、「コンピュータ」、または「電子コンピュータデバイス」(または当業者によって理解されるような同等の用語)は、データ処理ハードウェアを指すとともに、例として、プログラム可能なプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含め、データを処理するためのあらゆる種類の装置、デバイス、および機械を包含する。コンピュータは、例えば、中央処理装置(CPU)、フィールドプログラマブルゲートアレイ(FPGA)、または特定用途向け集積回路(ASIC)などの特殊用途論理回路でもよく、またはさらに特殊用途論理回路を含んでもよい。いくつかの実装形態では、コンピュータまたはコンピュータ実装システム、あるいは専用論理回路(または、コンピュータまたはコンピュータ実装システムと専用論理回路の組み合わせ)は、ハードウェアベースまたはソフトウェアベース(またはハードウェアベースとソフトウェアベースの両方の組み合わせ)とすることができる。コンピュータは、コンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、または実行環境の組み合わせを構成するコードを任意に含むことができる。本開示は、あるタイプのオペレーティングシステム、例えば、LINUX、UNIX(登録商標)、WINDOWS(登録商標)、MAC OS、ANDROID(登録商標)、IOS、別のオペレーティングシステム、またはオペレーティングシステムの組み合わせによってコンピュータまたはコンピュータ実装システムを使用することを企図する。
プログラム、ソフトウェア、ソフトウェアアプリケーション、ユニット、モジュール、ソフトウェアモジュール、スクリプト、コード、または他の構成要素などと呼ばれるまたは説明され得るコンピュータプログラムは、プログラム言語の任意の形式で書くことができ、プログラム言語は、コンパイル言語またはインタプリタ言語、あるいは宣言型言語または手続き型言語を含み、コンピュータプログラムは、例えば、コンピューティング環境で使用するためのスタンドアロンプログラム、モジュール、コンポーネント、またはサブルーチンとしてなど、任意の形式で展開され得る。コンピュータプログラムは、必ずしもそうである必要はないが、ファイルシステム内のファイルに対応できる。プログラムは、他のプログラムまたはデータを保持するファイルの一部、例えば、マークアップ言語文書に記憶された1つまたは複数のスクリプトは、対象のプログラム専用の単一ファイル、または複数の協調ファイル、例えば、1つまたは複数のモジュール、サブプログラム、またはコードの一部を保持するファイルなどに記憶できる。コンピュータプログラムは、1つのサイトに配置されているかまたは複数のサイトにわたって分散され、通信ネットワークによって相互接続されている1つのコンピュータまたは複数のコンピュータ上で実行されるように展開され得る。
様々な図に示されたプログラムの部分は、様々なオブジェクト、方法、または他のプロセスを使用して説明された特徴および機能を実装する、ユニットまたはモジュールなどの個々の構成要素として示すことができ、プログラムは代わりに、必要に応じて、サブユニット、サブモジュール、サードパーティのサービス、コンポーネント、ライブラリ、およびその他の構成要素を含むことができる。対照的に、様々な構成要素の特徴および機能を組み合わせて、必要に応じて単一の構成要素にすることができる。コンピュータでの判定を行うために使用されるしきい値は、静的に、動的に、または静的かつ動的に決定できる。
説明された方法、プロセス、または論理フローは、本開示に矛盾しない機能の1つまたは複数の例を表しており、説明されたまたは図示された実装形態に開示内容を限定することを意図しておらず、説明された原理や特徴に矛盾しない最も広い範囲が与えられることを意図していると認められるべきである。説明された方法、プロセス、または論理フローは、入力データに基づき動作して出力データを生成することによって機能を実行するために1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラム可能コンピュータによって実行され得る。方法、プロセス、または論理フローは、特殊用途論理回路、例えば、CPU、FPGA、またはASICによって実行することができ、特殊用途論理回路としてコンピュータが実装されてよい。
コンピュータプログラムを実行するためのコンピュータは、汎用または特殊用途のマイクロプロセッサ、その両方、または別のタイプのCPUに基づくことができる。一般に、CPUはメモリから命令およびデータを受信し、メモリに書き込む。コンピュータの必須要素は、命令を行うまたは実行するためのCPU、ならびに命令およびデータを記憶するための1つまたは複数のメモリデバイスである。一般に、コンピュータはまた、例えば磁気ディスク、光磁気ディスク、または光ディスクなど、データを記憶するための1つまたは複数の大容量記憶デバイスを含む、または1つまたは複数の大容量記憶デバイスに動作可能に結合され、1つまたは複数の大容量記憶デバイスからデータを受信するか、または1つまたは複数の大容量記憶デバイスにデータを転送するか、またはその両方を行う。しかしながら、コンピュータはそのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス、例えば携帯電話、携帯情報端末(PDA)、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、またはポータブルメモリストレージデバイスに組み込まれ得る。
コンピュータプログラム命令およびデータを記憶するための非一時的コンピュータ可読媒体は、例として半導体メモリデバイス、磁気デバイス、光磁気ディスクおよび光メモリデバイスを含む、あらゆる形態の永久的/非永久的または揮発性/不揮発性メモリ、媒体、およびメモリデバイスを含むことができ、半導体メモリデバイスは、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、相変化メモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、およびフラッシュメモリデバイスであり、磁気デバイスは、例えば、テープ、カートリッジ、カセット、内蔵/取り外し可能ディスクであり、光メモリデバイスは、例えば、デジタル多目的/ビデオディスク(DVD)、コンパクトディスク(CD) ROM、DVD+/-R、DVD-RAM、DVD-ROM、高精密/高密度(HD)-DVD、およびBLU-RAY/ BLU-RAYディスク(BD)、ならびに他の光メモリ技術である。メモリは、キャッシュ、クラス、フレームワーク、アプリケーション、モジュール、バックアップデータ、ジョブ、ウェブページ、ウェブページテンプレート、データ構造、データベーステーブル、動的情報を記憶するリポジトリ、または任意のパラメータ、変数、アルゴリズム、命令、規則、制約、または参照を含む他の適切な情報を含む様々なオブジェクトまたはデータを記憶できる。さらに、メモリは、ログ、ポリシー、セキュリティデータまたはアクセスデータ、あるいは報告ファイルなどの他の適切なデータを含むことができる。プロセッサおよびメモリは、特殊用途論理回路によって補完されるか、またはその中に組み込まれることができる。
ユーザとの相互作用を提供にするために、本明細書に記載の主題の実施形態は、ユーザに情報を表示するための、例えば、陰極線管(CRT)、液晶ディスプレイ(LCD)、発光ダイオード(LED)、またはプラズマモニタなどの表示デバイスと、ユーザがそれによってコンピュータに入力を提供できるマウス、トラックボール、またはトラックパッドなどのキーボードおよびポインティングデバイスとを具備するコンピュータ上に実装され得る。圧力感知のタブレットコンピュータ表面、静電容量式または電気式感知を使用したマルチタッチスクリーン、または別のタイプのタッチスクリーンなどのタッチスクリーンを使用してコンピュータに入力を提供してもよい。他の種類のデバイスがユーザと相互作用するために使用され得る。例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック(視覚的フィードバック、聴覚的フィードバック、触覚的フィードバック、またはいくつかのフィードバックタイプの組み合わせなど)であり得る。ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形式で受け取ることができる。さらに、コンピュータは、ユーザによって使用されるクライアントコンピューティングデバイスとドキュメントを送受信することによって(例えば、ウェブブラウザから受信した要求に応答してユーザのモバイルコンピューティングデバイス上のウェブブラウザにウェブページを送信することによって)、ユーザと相互作用できる。
「グラフィカルユーザインターフェース」または「GUI」という用語は、単数形または複数形で使用され、1つまたは複数のグラフィカルユーザインターフェースおよび特定のグラフィカルユーザインターフェースの各ディスプレイを記述する。従って、GUIは、限定ではないが、情報を処理するとともに情報結果を効率的にユーザに提示するウェブブラウザ、タッチスクリーン、またはコマンドラインインターフェース(CLI)を含む任意のグラフィカルユーザインターフェースを表すことができる。一般に、GUIは、インタラクティブフィールド、プルダウンリスト、およびボタンなど、ウェブブラウザのいくつかまたはすべてに関連付けられたいくつかのユーザインターフェース(UI)要素を含むことができる。これらのUI要素および他のUI要素は、ウェブブラウザの機能に関連するかまたはそれを表すことができる。
本明細書に記載の主題の実施形態は、例えばデータサーバとしてのバックエンド構成要素を含む、または例えばアプリケーションサーバなどのミドルウェア構成要素を含む、または例えばグラフィカルユーザインターフェースを有するクライアントコンピュータ、またはユーザがそれを介して本明細書に記載の主題の実施形態と相互作用できるウェブブラウザなどのフロントエンド構成要素を含む、またはそのようなバックエンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の1つまたは複数の組み合わせを含むコンピューティングシステムで実装され得る。システムの構成要素は、例えば通信ネットワークなどの有線または無線デジタルデータ通信(またはデータ通信の組み合わせ)の任意の形態または媒体によって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(LAN)、無線アクセスネットワーク(RAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、WIMAX(Worldwide Interoperability for Microwave Access)、例えば、802．11a/b/g/nまたは802．20(または802.11xと802.20の組み合わせ、または本開示に矛盾しない他のプロトコル)を使用する無線ローカルエリアネットワーク(WLAN)、インターネットの全部または一部、別の通信ネットワーク、または通信ネットワークの組み合わせを含む。通信ネットワークは、例えば、インターネットプロトコル(IP)パケット、フレームリレーフレーム、非同期転送モード(ATM)セル、音声、ビデオ、データ、またはネットワークノード間の他の情報と通信できる。
コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントとサーバは一般に互いに離れており、通常は通信ネットワークを介して相互作用する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによって生じる。
本明細書は多くの具体的な実施形態の詳細を含むが、これらはいかなる発明概念の範囲または特許請求され得るものの範囲に対する限定として解釈されるべきではなく、むしろ特定の発明概念の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別々の実施形態の文脈で本明細書に説明されているいくつかの特徴は、組み合わせて、単一の実施形態で実装されてよい。対照的に、単一の実施形態の文脈で説明されている様々な特徴は、複数の実施形態で別々に、または任意のサブコンビネーションで実装されてよい。さらに、前述の特徴は特定の組み合わせで作用するものとして説明され、最初はそのように請求することさえされ得るが、場合によっては、請求する組み合わせからの1つまたは複数の特徴をその組み合わせから切り取ることができ、請求する組み合わせは、サブコンビネーションまたはサブコンビネーションの変形に向けられてよい。
主題の特定の実施形態が説明された。説明された実施形態の他の実施形態、変形、および置換は、添付の特許請求の範囲の範囲内であり、このことは、当業者には明らかであろう。動作は図面または特許請求の範囲に特定の順序で描かれているが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序またはシーケンシャルな順序に実行されること、または図示されたすべての動作（いくつかの動作は任意とされ得る）が実行されることを必要とすると理解されるべきではない。特定の状況では、マルチタスク処理または並列処理(またはマルチタスク処理と並列処理の組み合わせ)が有利であり、必要に応じて実行され得る。
さらに、前述の実装形態における様々なシステムモジュールおよび構成要素の分離または統合は、すべての実装形態においてそのような分離または統合を必要とすると理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して単一のソフトウェア製品に統合され得る、または複数のソフトウェア製品にパッケージ化され得ると理解すべきである。
従って、前述の例示的な実装形態は、本開示を定義または制限するものではない。本開示の精神および範囲から逸脱することなく、他の変更、置換、および変形もまた可能である。
さらに、特許請求の範囲に記載された実施形態は、少なくともコンピュータ実施方法、コンピュータ実施方法を実行するためのコンピュータ可読命令を記憶する非一時的コンピュータ可読媒体、およびコンピュータ実施方法または非一時的コンピュータ可読媒体に記憶された命令を実行するように構成されたハードウェアプロセッサと相互運用可能に結合されたコンピュータメモリを備えるコンピュータシステムに適用可能であると考えられる。
302 コンピュータ
303 システムバス
304 インターフェース
305 プロセッサ
306 データベース
307 メモリ
308 アプリケーション
312 API
313 サービスレイヤ
314 電源
316 履歴データ
318 トレーニングデータ
330 ネットワーク

Claims (20)

  1. コンピューティングシステムの監視されるべき複数のシステムインジケータを決定するステップと、
    前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップと、
    前記トレーニングデータを使用して長期短期メモリ(LSTM)モデルをトレーニングするステップと、
    前記LSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを監視するステップと
    を含む、コンピュータ実装方法。
  2. 前記複数のシステムインジケータのうちの第1のシステムインジケータは、前記複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関する、請求項1に記載のコンピュータ実装方法。
  3. 前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップは、
    履歴期間を決定するステップと、
    前記複数のシステムインジケータのうちの各特定のシステムインジケータについて、
    前記履歴期間内の前記特定のシステムインジケータの履歴データを収集するステップと、
    前記履歴期間内の前記特定のシステムインジケータの前記履歴データを時系列に配置するステップと
    を含む、請求項1に記載のコンピュータ実装方法。
  4. 前記履歴期間は、n個の所定の時間間隔を含み、前記複数のシステムインジケータは、第1のシステムインジケータxおよび第2のシステムインジケータyを含み、前記方法は、
    前記履歴期間の各特定の所定の時間間隔について、
    Figure 2021508096
     である行列iを構築するステップであって、
    iは、前記履歴期間の前記特定の所定の時間間隔であり、tは、データサイクルであり、xiは、前記特定の所定の時間間隔iにおける前記第1のシステムインジケータxの履歴データであり、yiは、前記特定の所定の時間間隔iにおける前記第2のシステムインジケータyの履歴データである、ステップと、
    前記n個の構築された行列を使用して前記トレーニングデータを構築するステップと
    をさらに含む、請求項3に記載のコンピュータ実装方法。
  5. 前記トレーニングデータを使用して前記LSTMモデルをトレーニングすることは、ラベルデータセットとしての
    Figure 2021508096
     の入力と、特徴データセットとしての
    Figure 2021508096
     の入力とを用いた前記LSTMモデルへの行列iの入力を含む、請求項4に記載のコンピュータ実装方法。
  6. 前記LSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを監視するステップは、
    前記複数のシステムインジケータのリアルタイムデータを取得するステップと、
    以前の期間内の前記複数のシステムインジケータの履歴データを取得するステップと、
    前記複数のシステムインジケータの予測されたデータを取得するために、前記LSTMモデルに、前記以前の期間内の前記複数のシステムインジケータの前記履歴データを入力するステップと、
    前記複数のシステムインジケータの前記予測されたデータと前記複数のシステムインジケータの前記リアルタイムデータを比較するステップと、
    を含む、請求項1に記載のコンピュータ実装方法。
  7. 前記複数のシステムインジケータの前記予測されたデータと前記複数のシステムインジケータの前記リアルタイムデータを比較するステップは、
    前記複数のシステムインジケータの各特定のシステムインジケータについて、
    前記特定のシステムインジケータの前記リアルタイムデータと前記特定のシステムインジケータの前記予測されたデータとの間の差分の絶対値を計算するステップと、
    前記複数のシステムインジケータについて前記計算された絶対値を合計するステップと、
    前記合計された絶対値が所定のしきい値を超える場合、異常を決定するステップと
    を含む、請求項6に記載のコンピュータ実装方法。
  8. 1つまたは複数のシステムインジケータが前記複数のシステムインジケータに追加される、または前記複数のシステムインジケータから除外されることを決定するステップと、
    更新された複数のシステムインジケータの履歴データに基づいて更新されたトレーニングデータを取得するステップと、
    前記更新されたトレーニングデータを使用して前記LSTMモデルを再トレーニングするステップと
    をさらに含む、請求項1に記載のコンピュータ実装方法。
  9. 動作を実行するためのコンピュータシステムによって実行可能な1つまたは複数の命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記動作が、
    コンピューティングシステムの監視されるべき複数のシステムインジケータを決定するステップと、
    前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップと、
    前記トレーニングデータを使用して長期短期メモリ(LSTM)モデルをトレーニングするステップと、
    前記LSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを監視するステップと
    を含む、非一時的コンピュータ可読記憶媒体。
  10. 前記複数のシステムインジケータのうちの第1のシステムインジケータは、前記複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関する、請求項9に記載の非一時的コンピュータ可読記憶媒体。
  11. 前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップは、
    履歴期間を決定するステップと、
    前記複数のシステムインジケータのうちの各特定のシステムインジケータについて、
    前記履歴期間内の前記特定のシステムインジケータの履歴データを収集するステップと、
    前記履歴期間内の前記特定のシステムインジケータの前記履歴データを時系列に配置するステップと
    を含む、請求項9に記載の非一時的コンピュータ可読記憶媒体。
  12. 前記履歴期間は、n個の所定の時間間隔を含み、前記複数のシステムインジケータは、第1のシステムインジケータxおよび第2のシステムインジケータyを含み、前記動作は、
    前記履歴期間の各特定の所定の時間間隔について、
    Figure 2021508096
     である行列iを構築するステップであって、
    iは、前記履歴期間の前記特定の所定の時間間隔であり、tは、データサイクルであり、xiは、前記特定の所定の時間間隔iにおける前記第1のシステムインジケータxの履歴データであり、yiは、前記特定の所定の時間間隔iにおける前記第2のシステムインジケータyの履歴データである、ステップと、
    前記n個の構築された行列を使用して前記トレーニングデータを構築するステップと
    をさらに含む、請求項11に記載の非一時的コンピュータ可読記憶媒体。
  13. 前記トレーニングデータを使用して前記LSTMモデルをトレーニングすることは、ラベルデータセットとしての
    Figure 2021508096
     の入力と、特徴データセットとしての
    Figure 2021508096
     の入力とを用いた前記LSTMモデルへの行列iの入力を含む、請求項12に記載の非一時的コンピュータ可読記憶媒体。
  14. 前記LSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを監視するステップは、
    前記複数のシステムインジケータのリアルタイムデータを取得するステップと、
    以前の期間内の前記複数のシステムインジケータの履歴データを取得するステップと、
    前記複数のシステムインジケータの予測されたデータを取得するために、前記LSTMモデルに、前記以前の期間内の前記複数のシステムインジケータの前記履歴データを入力するステップと、
    前記複数のシステムインジケータの前記予測されたデータと前記複数のシステムインジケータの前記リアルタイムデータを比較するステップと、
    を含む、請求項9に記載の非一時的コンピュータ可読記憶媒体。
  15. 前記複数のシステムインジケータの前記予測されたデータと前記複数のシステムインジケータの前記リアルタイムデータを比較するステップは、
    前記複数のシステムインジケータの各特定のシステムインジケータについて、
    前記特定のシステムインジケータの前記リアルタイムデータと前記特定のシステムインジケータの前記予測されたデータとの間の差分の絶対値を計算するステップと、
    前記複数のシステムインジケータについて前記計算された絶対値を合計するステップと、
    前記合計された絶対値が所定のしきい値を超える場合、異常を決定するステップと
    を含む、請求項14に記載の非一時的コンピュータ可読記憶媒体。
  16. 1つまたは複数のシステムインジケータが前記複数のシステムインジケータに追加される、または前記複数のシステムインジケータから除外されることを決定するステップと、
    更新された複数のシステムインジケータの履歴データに基づいて更新されたトレーニングデータを取得するステップと、
    前記更新されたトレーニングデータを使用して前記LSTMモデルを再トレーニングするステップと
    をさらに含む、請求項9に記載の非一時的コンピュータ可読記憶媒体。
  17. 1つまたは複数のコンピュータと、
    前記1つまたは複数のコンピュータに相互運用可能に結合されるとともに、1つまたは複数の命令を記憶した有形の非一時的機械可読記憶媒体を有する1つまたは複数のコンピュータメモリデバイスと
    を具備するコンピュータ実装システムであって、前記1つまたは複数の命令が前記1つまたは複数のコンピュータによって実行されるとき、
    コンピューティングシステムの監視されるべき複数のシステムインジケータを決定するステップと、
    前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップと、
    前記トレーニングデータを使用して長期短期メモリ(LSTM)モデルをトレーニングするステップと、
    前記LSTMモデルに基づいて前記コンピューティングシステムの前記複数のシステムインジケータを監視するステップと
    を含む1つまたは複数の動作を実行する、コンピュータ実装システム。
  18. 前記複数のシステムインジケータのうちの第1のシステムインジケータは、前記複数のシステムインジケータのうちの1つまたは複数の第2のシステムインジケータと相関する、請求項17に記載のコンピュータ実装システム。
  19. 前記複数のシステムインジケータの履歴データに基づいてトレーニングデータを取得するステップは、
    履歴期間を決定するステップと、
    前記複数のシステムインジケータのうちの各特定のシステムインジケータについて、
    前記履歴期間内の前記特定のシステムインジケータの履歴データを収集するステップと、
    前記履歴期間内の前記特定のシステムインジケータの前記履歴データを時系列に配置するステップと
    を含む、請求項17に記載のコンピュータ実装システム。
  20. 前記履歴期間は、n個の所定の時間間隔を含み、前記複数のシステムインジケータは、第1のシステムインジケータxおよび第2のシステムインジケータyを含み、前記動作は、
    前記履歴期間の各特定の所定の時間間隔について、
    Figure 2021508096
     である行列iを構築するステップであって、
    iは、前記履歴期間の前記特定の所定の時間間隔であり、tは、データサイクルであり、xiは、前記特定の所定の時間間隔iにおける前記第1のシステムインジケータxの履歴データであり、yiは、前記特定の所定の時間間隔iにおける前記第2のシステムインジケータyの履歴データである、ステップと、
    前記n個の構築された行列を使用して前記トレーニングデータを構築するステップと
    をさらに含む、請求項19に記載のコンピュータ実装システム。
JP2019521687A 2018-11-02 2018-11-02 複数のシステムインジケータの監視 Pending JP2021508096A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/113591 WO2020087489A1 (en) 2018-11-02 2018-11-02 Monitoring multiple system indicators

Publications (1)

Publication Number Publication Date
JP2021508096A true JP2021508096A (ja) 2021-02-25

Family

ID=68472082

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019521687A Pending JP2021508096A (ja) 2018-11-02 2018-11-02 複数のシステムインジケータの監視

Country Status (8)

Country Link
US (1) US11042461B2 (ja)
EP (1) EP3673412A1 (ja)
JP (1) JP2021508096A (ja)
KR (1) KR102150815B1 (ja)
CN (1) CN110462594B (ja)
PH (1) PH12019500895A1 (ja)
SG (1) SG11201903592RA (ja)
WO (1) WO2020087489A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111190804A (zh) * 2019-12-28 2020-05-22 同济大学 一种云原生系统的多层次的深度学习日志故障检测方法
CN111767202A (zh) * 2020-07-08 2020-10-13 中国工商银行股份有限公司 异常检测方法、装置、电子设备和介质
CN113760637A (zh) * 2020-09-25 2021-12-07 天翼智慧家庭科技有限公司 用于针对阈值类监控数据确定阈值的方法和装置
US20220164744A1 (en) * 2020-11-20 2022-05-26 International Business Machines Corporation Demand forecasting of service requests volume
CN113726559B (zh) * 2021-08-09 2023-10-27 国网福建省电力有限公司 基于人工智能网络安全分析预警系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016516471A (ja) * 2013-03-13 2016-06-09 ブルー ベルト テクノロジーズ，インク． 異常な骨の手術的矯正のための計画システム及び方法
JP2017009362A (ja) * 2015-06-19 2017-01-12 株式会社日立ハイテクノロジーズ 自動分析装置
US20180276541A1 (en) * 2017-03-23 2018-09-27 Chicago Mercantile Exchange Inc. Deep learning for credit controls

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7813944B1 (en) * 1999-08-12 2010-10-12 Fair Isaac Corporation Detection of insurance premium fraud or abuse using a predictive software system
US20020049625A1 (en) * 2000-09-11 2002-04-25 Srinivas Kilambi Artificial intelligence manufacturing and design
US7769667B2 (en) * 2004-09-10 2010-08-03 Chicago Mercantile Exchange Inc. System and method for activity based margining
US20110015948A1 (en) * 2009-07-20 2011-01-20 Jonathan Kaleb Adams Computer system for analyzing claims files to identify premium fraud
US20160034812A1 (en) * 2014-07-31 2016-02-04 Qualcomm Incorporated Long short-term memory using a spiking neural network
US10043211B2 (en) * 2014-09-08 2018-08-07 Leeo, Inc. Identifying fault conditions in combinations of components
JP2016173782A (ja) 2015-03-18 2016-09-29 エヌ・ティ・ティ・コミュニケーションズ株式会社 故障予測システム、故障予測方法、故障予測装置、学習装置、故障予測プログラム及び学習プログラム
KR101637458B1 (ko) 2015-03-19 2016-07-08 주식회사 위엠비 데이터센터 통합 관제 방법 및 이를 실행하는 통합 관제 시스템, 컴퓨터 프로그램, 그 기록매체
JP6313730B2 (ja) * 2015-04-10 2018-04-18 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 異常検出システムおよび方法
US20160379309A1 (en) * 2015-06-24 2016-12-29 IGATE Global Solutions Ltd. Insurance Fraud Detection and Prevention System
KR101864860B1 (ko) * 2016-09-13 2018-06-05 오토시맨틱스 주식회사 딥러닝을 통한 자동차 상태 진단 방법
WO2018092924A1 (ko) * 2016-11-15 2018-05-24 (주) 글루시스 스마트 컴퓨팅을 위한 시스템 자원의 장애 예측 방법
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US20180189647A1 (en) 2016-12-29 2018-07-05 Google, Inc. Machine-learned virtual sensor model for multiple sensors
CN106952181A (zh) * 2017-03-08 2017-07-14 深圳市景程信息科技有限公司 基于长短时记忆神经网络的电力负荷预测系统
US20180268489A1 (en) * 2017-03-17 2018-09-20 Service First Insurance Group LLC System and methods for risk management optimization
JP7017861B2 (ja) * 2017-03-23 2022-02-09 株式会社日立製作所 異常検知システムおよび異常検知方法
US10002322B1 (en) * 2017-04-06 2018-06-19 The Boston Consulting Group, Inc. Systems and methods for predicting transactions
CN107220648B (zh) * 2017-04-11 2018-06-22 平安科技（深圳）有限公司 理赔单据的字符识别方法及服务器
US10963790B2 (en) * 2017-04-28 2021-03-30 SparkCognition, Inc. Pre-processing for data-driven model creation
EP3444724B1 (en) * 2017-08-18 2023-12-20 Tata Consultancy Services Limited Method and system for health monitoring and fault signature identification
US10949742B2 (en) * 2017-09-18 2021-03-16 International Business Machines Corporation Anonymized time-series generation from recurrent neural networks
US11194692B2 (en) * 2017-09-22 2021-12-07 Nec Corporation Log-based system maintenance and management
US11423325B2 (en) * 2017-10-25 2022-08-23 International Business Machines Corporation Regression for metric dataset
JP2019080875A (ja) * 2017-10-31 2019-05-30 テルモ株式会社 治療方法
CN108062561B (zh) * 2017-12-05 2020-01-14 华南理工大学 一种基于长短时记忆网络模型的短时数据流预测方法
CN108073497B (zh) * 2018-01-29 2021-02-12 上海洞识信息科技有限公司 一种基于数据中心数据采集平台的多指标异动分析方法
CN108596229B (zh) * 2018-04-13 2021-09-10 北京华电智慧科技产业有限公司 在线异常的监测诊断方法和系统
US10931702B2 (en) * 2018-04-24 2021-02-23 Cyberfortress, Inc. Vulnerability profiling based on time series analysis of data streams
CN108564228A (zh) * 2018-04-26 2018-09-21 重庆大学 一种基于时序特征预测轨道交通od客流量的方法
CN108564227B (zh) * 2018-04-26 2021-08-06 重庆大学 一种基于时空特征的轨道交通客流量预测方法
US11521044B2 (en) * 2018-05-17 2022-12-06 International Business Machines Corporation Action detection by exploiting motion in receptive fields
US10832257B2 (en) * 2018-06-29 2020-11-10 Sachcontrol Gmbh Information security system for fraud detection
US20200111054A1 (en) * 2018-10-03 2020-04-09 International Business Machines Corporation Automated claims auditing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016516471A (ja) * 2013-03-13 2016-06-09 ブルー ベルト テクノロジーズ，インク． 異常な骨の手術的矯正のための計画システム及び方法
JP2017009362A (ja) * 2015-06-19 2017-01-12 株式会社日立ハイテクノロジーズ 自動分析装置
US20180276541A1 (en) * 2017-03-23 2018-09-27 Chicago Mercantile Exchange Inc. Deep learning for credit controls

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PAVEL FILONOV ET AL.: "Multivariate Industrial Time Series with Cyber-Attack Simulation: Fault Detection Using an LSTM-base", ARXIV [ONLINE], vol. [2020年11月12日検索], version 1, JPN6020044161, 20 December 2016 (2016-12-20), ISSN: 0004538105 *

Also Published As

Publication number Publication date
CN110462594A (zh) 2019-11-15
EP3673412A4 (en) 2020-07-01
US20200142800A1 (en) 2020-05-07
KR20200052245A (ko) 2020-05-14
CN110462594B (zh) 2023-11-14
SG11201903592RA (en) 2020-06-29
PH12019500895A1 (en) 2019-11-25
KR102150815B1 (ko) 2020-09-02
US11042461B2 (en) 2021-06-22
WO2020087489A1 (en) 2020-05-07
EP3673412A1 (en) 2020-07-01

Similar Documents

Publication Publication Date Title
US10417528B2 (en) Analytic system for machine learning prediction model selection
US10601850B2 (en) Identifying risky user behaviors in computer networks
JP2021508096A (ja) 複数のシステムインジケータの監視
JP6803980B1 (ja) 信頼されたイニシャライザを用いない秘密分散
US9392022B2 (en) Methods and apparatus to measure compliance of a virtual computing environment
US20170364818A1 (en) Automatic condition monitoring and anomaly detection for predictive maintenance
US20180027002A1 (en) Outlier detection in enterprise threat detection
US20170192872A1 (en) Interactive detection of system anomalies
CN112262355A (zh) 使用模式识别预测电潜泵中的故障
US10452040B2 (en) Graph-based data analysis for sensor networks
US20120023586A1 (en) Determining privacy risk for database queries
JP2019533851A (ja) 伝送及びリスク分析のためのサービスデータの集約
US11012289B2 (en) Reinforced machine learning tool for anomaly detection
EP3178004B1 (en) Recovering usability of cloud based service from system failure
US10191792B2 (en) Application abnormality detection
US9009536B2 (en) Test case production utilizing problem reports
JP6678829B2 (ja) ユーザ信用評価
CN113157545A (zh) 业务日志的处理方法、装置、设备及存储介质
US20240028830A1 (en) Machine learning -based selection of metrics for anomaly detection
US20180060987A1 (en) Identification of abnormal behavior in human activity based on internet of things collected data
US20200192778A1 (en) Real-time collaboration dynamic logging level control
US20140188572A1 (en) Analyzing performance indicators
US9438480B2 (en) Generating a representation of the status of a data processing system based on empirical operations metrics and derived sentiment metrics
Bella et al. A near-miss management system architecture for the forensic investigation of software failures
US20220164405A1 (en) Intelligent machine learning content selection platform

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200722

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190612

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201030

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210518

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210705