JP2017174234A - モデル判定装置、モデル判定方法、及びプログラム - Google Patents
モデル判定装置、モデル判定方法、及びプログラム Download PDFInfo
- Publication number
- JP2017174234A JP2017174234A JP2016060912A JP2016060912A JP2017174234A JP 2017174234 A JP2017174234 A JP 2017174234A JP 2016060912 A JP2016060912 A JP 2016060912A JP 2016060912 A JP2016060912 A JP 2016060912A JP 2017174234 A JP2017174234 A JP 2017174234A
- Authority
- JP
- Japan
- Prior art keywords
- time series
- rounding
- model
- time
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000008569 process Effects 0.000 claims abstract description 58
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 57
- 238000006243 chemical reaction Methods 0.000 claims description 56
- 230000005856 abnormality Effects 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 238000011156 evaluation Methods 0.000 description 6
- 238000005311 autocorrelation function Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 101100510615 Caenorhabditis elegans lag-2 gene Proteins 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
Images
Abstract
【解決手段】時系列データに適合する時系列モデルを判定するモデル判定装置において、前記時系列データのサンプリング間隔とデータ期間とに基づいて、当該時系列データに適用する丸め単位を決定し、当該時系列データに対して当該丸め単位での丸め処理を実行し、丸め処理後の時系列データを取得する丸め処理手段と、前記丸め処理後の時系列データの特性値を計算し、当該特性値と所定の閾値とを比較して、前記丸め処理後の時系列データに適した時系列モデルを推定する時系列モデル推定手段と、前記時系列モデル推定手段により推定された時系列モデルを前記丸め処理後の時系列データに適用して、前記時系列モデルと前記丸め処理後の時系列データとの適合度を最良とするパラメータを決定する時系列モデル適用手段とを備える。
【選択図】図1
Description
前記時系列データのサンプリング間隔とデータ期間とに基づいて、当該時系列データに適用する丸め単位を決定し、当該時系列データに対して当該丸め単位での丸め処理を実行し、丸め処理後の時系列データを取得する丸め処理手段と、
前記丸め処理後の時系列データの特性値を計算し、当該特性値と所定の閾値とを比較することにより、前記丸め処理後の時系列データに適した時系列モデルを推定する時系列モデル推定手段と、
前記時系列モデル推定手段により推定された時系列モデルを前記丸め処理後の時系列データに適用することにより、前記時系列モデルと前記丸め処理後の時系列データとの適合度を最良とするパラメータを決定する時系列モデル適用手段と
を備えることを特徴とするモデル判定装置が提供される。
前記時系列データのサンプリング間隔とデータ期間とに基づいて、当該時系列データに適用する丸め単位を決定し、当該時系列データに対して当該丸め単位での丸め処理を実行し、丸め処理後の時系列データを取得する丸め処理ステップと、
前記丸め処理後の時系列データの特性値を計算し、当該特性値と所定の閾値とを比較することにより、前記丸め処理後の時系列データに適した時系列モデルを推定する時系列モデル推定ステップと、
前記時系列モデル推定ステップにより推定された時系列モデルを前記丸め処理後の時系列データに適用することにより、前記時系列モデルと前記丸め処理後の時系列データとの適合度を最良とするパラメータを決定する時系列モデル適用ステップと
を備えることを特徴とするモデル判定方法が提供される。
図1に、本実施の形態におけるモデル判定装置100の構成例を示す。図1に示すように、モデル判定装置100は、入力部101、データ記憶部102、データ期間分析・丸め処理部103、時系列モデル推定部104、時系列変換部105、時系列モデル適用部106、時系列モデル比較部107、及び出力部108を備える。各部の概要は以下のとおりである。
図2は、モデル判定装置100により実行される処理の全体の流れを示すフローチャートである。図2に示すように、まず、時系列モデル化の対象となる時系列データが入力部101から入力される(ステップS100)。
本実施の形態では、データ期間分析・丸め処理部103が、入力された時系列データのサンプリング間隔とデータの取得期間とから、最大4つ、最少1つの推奨丸め単位を自動で計算し、全ての推奨丸め単位で時系列データの丸め処理を行い、丸め単位毎の時系列データを出力する。
次に、時系列モデル推定処理と時系列変換処理を図7〜図10を参照して詳細に説明する。以下では、ある丸め単位の丸め処理で得られた1つの時系列データに関する処理を説明する。以下で説明する処理が、各丸め単位(また、必要に応じて各時系列変更後)の時系列データに対して実行される。以下、時系列データ解析用の関数を提供するアプリケーション"R"に実装されている関数を例に説明する。
次に、時系列モデル適用部106が実行する時系列モデル適用処理について、図11、図12を参照して説明する。
次に、時系列モデル比較部107が実行する時系列モデル比較処理について図13のフローチャートを参照して説明する。
(2)時系列データと時系列モデルの残差の自己相関
(3)時系列データと時系列モデルの残差がホワイトノイズと見なせるかの検定
図14(a)は、時系列データと時系列モデルの残差の一例を示す。図14(b)は、時系列データと時系列モデルの残差の自己相関の一例を示す。図14(c)は、残差がホワイトノイズになっているかの検定プロットを示す。点線を下回らなければホワイトノイズとみなせる。このような出力・表示を行うことは、必須ではないが、このような出力・表示を行うことで、ユーザは、モデルがどの程度、実測値に適合しているかを容易に把握できる。
本実施の形態におけるモデル判定装置100は、様々な分野に適用可能である。例えば、サーバによるネットワークを介したサービス提供等の通信サービス分野において、ユーザ端末からサーバへのアクセス数のログ(学習データ)に対し、これまでに説明した時系列モデル判定技術を適用し、時系列モデルを決定し、当該時系列モデルを用いて、将来のアクセス数の予測を行うことができる。また、時系列モデルの予測値と、実測値とを比べたときに、実測値が予測値と大きく上回る、または下回った場合には、異常(攻撃、故障、アクセスの集中など)が起きていると判定することもできる。
従来技術では、時系列データに適合する時系列モデルの決定を行う際に、丸め処理、時系列変換、時系列モデルの絞込みを人の判断をたよりに繰り返し試行錯誤しながら行っていたが、本実施の形態では、自動的に時系列データに適した丸め処理や時系列変換を行い、それぞれの処理後の入力データに対して最適な時系列モデルと適合度を計算し、時系列モデルのリストを提示することができる。これにより、時系列データの解析について学術的な知識のない人でも、簡便にモデル化を行うことが可能となる。
以上、説明したように、本実施の形態により、入力された時系列データに適合する時系列モデルを判定するモデル判定装置であって、前記時系列データのサンプリング間隔とデータ期間とに基づいて、当該時系列データに適用する丸め単位を決定し、当該時系列データに対して当該丸め単位での丸め処理を実行し、丸め処理後の時系列データを取得する丸め処理手段と、前記丸め処理後の時系列データの特性値を計算し、当該特性値と所定の閾値とを比較することにより、前記丸め処理後の時系列データに適した時系列モデルを推定する時系列モデル推定手段と、前記時系列モデル推定手段により推定された時系列モデルを前記丸め処理後の時系列データに適用することにより、前記時系列モデルと前記丸め処理後の時系列データとの適合度を最良とするパラメータを決定する時系列モデル適用手段とを備えることを特徴とするモデル判定装置が提供される。なお、上記の特性値は、例えば、周期性(季節性)の有無、トレンドの有無、定常性、自己相関関数の形、偏自己相関関数の形等であるが、これらに限られるわけではない。
101 入力部
102 データ記憶部
103 データ期間分析・丸め処理部
104 時系列モデル推定部
105 時系列変換部
106 時系列モデル適用部
107 時系列モデル比較部
108 出力部
151 モデル判定部
152 予測部
153 異常判定部
Claims (8)
- 入力された時系列データに適合する時系列モデルを判定するモデル判定装置であって、
前記時系列データのサンプリング間隔とデータ期間とに基づいて、当該時系列データに適用する丸め単位を決定し、当該時系列データに対して当該丸め単位での丸め処理を実行し、丸め処理後の時系列データを取得する丸め処理手段と、
前記丸め処理後の時系列データの特性値を計算し、当該特性値と所定の閾値とを比較することにより、前記丸め処理後の時系列データに適した時系列モデルを推定する時系列モデル推定手段と、
前記時系列モデル推定手段により推定された時系列モデルを前記丸め処理後の時系列データに適用することにより、前記時系列モデルと前記丸め処理後の時系列データとの適合度を最良とするパラメータを決定する時系列モデル適用手段と
を備えることを特徴とするモデル判定装置。 - 前記丸め処理手段は、複数の丸め単位を決定し、丸め単位毎に、丸め処理を実行して丸め処理後の時系列データを取得し、
前記時系列モデル推定手段は、丸め単位毎に、丸め処理後の時系列データに適した時系列モデルを推定し、
前記時系列モデル適用手段は、丸め単位毎に、前記適合度を最良とするパラメータを決定し、
前記モデル判定装置は、適合度の良い順番に並べられた、丸め単位と時系列モデルとを含む情報のリストを出力する
ことを特徴とする請求項1に記載のモデル判定装置。 - 前記時系列モデル推定手段において、前記丸め処理後の時系列データが非定常であると判定された場合において、当該丸め処理後の時系列データに対して、時系列変換を実行する時系列変換手段を備え、
前記時系列変換が実行された場合に、前記時系列モデル推定手段は、前記時系列変換が実行された後の時系列データを前記丸め処理後の時系列データとして時系列モデル推定処理を実行し、前記時系列モデル適用手段は、前記時系列変換が実行された後の時系列データを前記丸め処理後の時系列データとして時系列モデル適用処理を実行する
ことを特徴とする請求項1又は2に記載のモデル判定装置。 - 前記丸め処理手段は、前記データ期間に対して予め定められた丸め単位候補集合の中から、前記時系列データに適用する丸め単位を抽出する
ことを特徴とする請求項1ないし3のうちいずれか1項に記載のモデル判定装置。 - 前記丸め処理手段は、前記データ期間に対して予め定められた丸め単位候補集合と、前記サンプリング間隔に対して予め定められた丸め単位候補集合との論理積により得られる丸め単位を、前記時系列データに適用する丸め単位として抽出する
ことを特徴とする請求項4に記載のモデル判定装置。 - 前記時系列モデル適用手段により決定されたパラメータを持つ時系列モデルを使用して将来予測を実行する予測手段と、
前記予測手段により得られた予測値と、実測値とを比較することにより、異常検知を行う異常判定手段と
を備えることを特徴とする請求項1ないし5のうちいずれか1項に記載のモデル判定装置。 - 入力された時系列データに適合する時系列モデルを判定するモデル判定装置が実行するモデル判定方法であって、
前記時系列データのサンプリング間隔とデータ期間とに基づいて、当該時系列データに適用する丸め単位を決定し、当該時系列データに対して当該丸め単位での丸め処理を実行し、丸め処理後の時系列データを取得する丸め処理ステップと、
前記丸め処理後の時系列データの特性値を計算し、当該特性値と所定の閾値とを比較することにより、前記丸め処理後の時系列データに適した時系列モデルを推定する時系列モデル推定ステップと、
前記時系列モデル推定ステップにより推定された時系列モデルを前記丸め処理後の時系列データに適用することにより、前記時系列モデルと前記丸め処理後の時系列データとの適合度を最良とするパラメータを決定する時系列モデル適用ステップと
を備えることを特徴とするモデル判定方法。 - コンピュータを、請求項1ないし6のうちいずれか1項に記載のモデル判定装置における各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016060912A JP6563357B2 (ja) | 2016-03-24 | 2016-03-24 | モデル判定装置、モデル判定方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016060912A JP6563357B2 (ja) | 2016-03-24 | 2016-03-24 | モデル判定装置、モデル判定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017174234A true JP2017174234A (ja) | 2017-09-28 |
JP6563357B2 JP6563357B2 (ja) | 2019-08-21 |
Family
ID=59971268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016060912A Active JP6563357B2 (ja) | 2016-03-24 | 2016-03-24 | モデル判定装置、モデル判定方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6563357B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018195929A (ja) * | 2017-05-16 | 2018-12-06 | 富士通株式会社 | トラフィック管理装置、トラフィック管理方法およびプログラム |
US11710066B2 (en) | 2018-11-01 | 2023-07-25 | Kabushiki Kaisha Toshiba | Time-series feature extraction apparatus, time-series feature extraction method and recording medium |
-
2016
- 2016-03-24 JP JP2016060912A patent/JP6563357B2/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018195929A (ja) * | 2017-05-16 | 2018-12-06 | 富士通株式会社 | トラフィック管理装置、トラフィック管理方法およびプログラム |
JP6993559B2 (ja) | 2017-05-16 | 2022-01-13 | 富士通株式会社 | トラフィック管理装置、トラフィック管理方法およびプログラム |
US11710066B2 (en) | 2018-11-01 | 2023-07-25 | Kabushiki Kaisha Toshiba | Time-series feature extraction apparatus, time-series feature extraction method and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP6563357B2 (ja) | 2019-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107086944B (zh) | 一种异常检测方法和装置 | |
JP6686056B2 (ja) | コンピュータ実装方法、コンピュータシステム及びコンピュータ装置 | |
CN109815084B (zh) | 异常识别方法、装置和电子设备及存储介质 | |
CN106951984B (zh) | 一种系统健康度动态分析预测方法及装置 | |
CN109697207B (zh) | 时序数据的异常监控方法及系统 | |
US11216741B2 (en) | Analysis apparatus, analysis method, and non-transitory computer readable medium | |
CN107491970B (zh) | 实时反作弊检测监控方法和系统以及计算设备 | |
US8347144B2 (en) | False alarm mitigation | |
US20160196175A1 (en) | Information processing system, information processing method, and program | |
CN111898691A (zh) | 一种河流突发水污染预警溯源方法、系统、终端及介质 | |
CN107516279B (zh) | 一种网络舆情自动预警的方法 | |
CN113868006B (zh) | 时间序列的检测方法、装置、电子设备及计算机存储介质 | |
EP3961168B1 (en) | Abnormal temperature detection device, abnormal temperature detection method, and storage medium | |
CN110008247B (zh) | 异常来源确定方法、装置、设备及计算机可读存储介质 | |
CN111639798A (zh) | 智能的预测模型选择方法及装置 | |
JP2018147442A (ja) | 変化点検出装置および変化点検出方法 | |
JP6563357B2 (ja) | モデル判定装置、モデル判定方法、及びプログラム | |
Sarrafi et al. | Probabilistic uncertainty quantification of wavelet-transform-based structural health monitoring features | |
CN114581119A (zh) | 流量预测方法以及装置 | |
JP2009110262A (ja) | フィルタ装置、フィルタ装置のフィルタリング方法およびフィルタリングプログラム | |
Kuhi et al. | Using probabilistic models for missing data prediction in network industries performance measurement systems | |
CN115759751A (zh) | 一种企业风险预测方法、装置、存储介质、电子设备及产品 | |
US20230075453A1 (en) | Generating machine learning based models for time series forecasting | |
CN107783942B (zh) | 一种异常行为检测方法及装置 | |
CN114090377A (zh) | 一种数据监控方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180725 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190724 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6563357 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |