JP2006276970A

JP2006276970A - 時系列解析システム、方法およびプログラム

Info

Publication number: JP2006276970A
Application number: JP2005091174A
Authority: JP
Inventors: Takayuki Nakada; 貴之中田; Junichi Takeuchi; 純一竹内
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2005-03-28
Filing date: 2005-03-28
Publication date: 2006-10-12
Anticipated expiration: 2025-03-28
Also published as: JP4449803B2; US20060217939A1

Abstract

【課題】長期的なトレンド成分および周期成分を扱う場合や、複数の周期成分を扱う場合に、従来よりも少ない計算量で計算することができる時系列解析システムを提供する。
【解決手段】入力された複数の周期成分を含む時系列データから、複数の時間幅による別系列の長期時系列データを時間幅毎に作成し、さらに時間幅毎の前記長期時系列データを元の時系列データから除去して短期時系列データを作成する。そしてこれらの前記長期時系列データおよび前記短期時系列データを用いた確率統計処理による学習により、時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択し、時系列データの予測に用いる。
【選択図】図１

Description

本発明は時系列解析システム、方法およびプログラムに関し、特に長期トレンド成分や長期周期成分を含む場合および時系列データが多変量の場合に高速・高精度に時系列成分を推定できる時系列解析システム、方法およびプログラムに関する。

従来、時系列解析の分野において、トレンド成分や周期成分などを含む時系列データの特徴を捉え、各成分を分離・抽出し、その解析結果をもとに将来動向を予測する方式がいくつか提案されている。

統計的手法を用いた時系列解析方法の一例が、非特許文献１に記載されている。このシステムでは観測された元の時系列データおよびこのデータ系列に含まれるトレンド成分、周期成分、AR(Auto Regressive, 自己回帰)成分といった各時系列成分を状態空間表現と呼ばれる形式で表す。この状態空間表現に対してカルマンフィルタと呼ばれる計算手段を適用することで、元の時系列データ中の各成分が分離・抽出される。

尾崎統, 北川源四郎編: 時系列解析の方法, 朝倉書店, p．93-106, 1998．

J．Rissanen: Universal coding, information, prediction and estimation, IEEE Transactions on Information Theory, Vol．IT-30, p．629-636, 1984．

Z．Ghahramani and G．E．Hinton: Parameter Estimation for Linear Dynamical Systems, Technical ReportCRG-TR-96-2, University of Toronto, 1996．

K．Yamanishi, J．Takeuchi, G．Williamas and P．Milne: On-line Unsupervised Oultlier Detection Using Finite Mixtures with Discounting Learning Algorithms, Data Mining and Knowleged Discovery Journal, 8 (3): 275-300, May 2004．

従来、これらの方法は経済や自然事象に適用されてきたため、1レコードを1日や1ヵ月といった単位で計測し、その結果7日や12ヵ月といった比較的短い周期長の周期成分を一つだけ含む時系列を取り扱うことが多かった。また次元も一次元の場合がほとんどであり、多くても数次元のデータを扱うことがほとんどであった。

近年コンピュータやネットワーク機器を用いた情報システムや、道路や車両にセンサーを取り付けた交通システムから、より短い時間間隔（1レコードが5分〜1時間）で多量に時系列データを取得することが可能となってきた。そのため従来手法をそのまま用いた場合以下のような問題が生じる。

第1の問題点は、長期的なトレンド成分および周期成分を扱う場合や、複数の周期成分を扱う場合に計算量が非常に大きくなるということである。時系列データを、状態空間表現を用いて扱う場合、その計算量はそこに含まれるトレンド成分や周期成分の次数の和の3乗のオーダーとなる。

従来、1レコード1日として7日周期を扱う場合、計算量は周期成分の次数7の3乗のオーダーであった。ところが1レコード5分として24時間周期を扱う場合、周期成分の次数は288（=12×24）となり計算量は288の3乗のオーダーとなる。また、1時間1レコードとして数週間以上の長さのデータを扱う場合、少なくとも24時間周期と7日周期という複数周期を考慮する必要がある。このとき、それぞれの周期成分の次数24、168（=24×7）を扱う必要があり、状態空間表現を用いると計算量はそれぞれの周期成分の次数の和192（=24+168）の3乗のオーダーとなる。

第2の問題点は、従来手法では基本的に1期先予測を想定しているため、長期先予測の際に十分な精度が得られないということである。従来手法では長期先予測を行う場合、多くは単に1期先予測を繰り返し適用するという手法を用いている。

1時間1レコードとして数日から数週間先といった長期先を予測する場合、従来手法では1時間先の予測を多数回、例えば1週間先を予測する場合には168 (=24×7) 回繰り返す必要がある。このとき、トレンド成分や周期成分の特性は1時間毎の変動に基づいて計算されたものであり、これに基づいて長期先の値を予測する場合には細かな変動やノイズの影響を受けてしまい十分な予測精度が得られない。

第3の問題点は、多変量の時系列を扱う場合に計算量が非常に大きくなるということである。従来に比べ多数の時系列データが得られるようになり、実際の適用においては10系列以上の時系列データを同時に扱うことが多くなる。多変量時系列データを状態空間表現を用いて扱う場合、その計算量は各々の時系列データの次数の和の3乗のオーダーとなる。例えば、時系列データが10系列あり各時系列データがそれぞれ24という次数を持っている場合、その計算量は各時系列データの次数の和240 (=24×10)の3乗のオーダーとなる。

本発明の目的は、長期的なトレンド成分および周期成分を扱う場合や、複数の周期成分を扱う場合に、従来よりも少ない計算量で計算することができる時系列解析システムを提供することにある。本発明の他の目的は、長期先予測の際に従来に比べ高精度な結果を得ることができる時系列解析システムを提供することにある。本発明のさらに他の目的は、多変量の時系列を扱う場合に従来よりも少ない計算量で計算することができる時系列解析システムを提供することにある。

本発明の時系列解析システムは、長期トレンド成分や長期周期成分を含む時系列データに対し、これらの長期時系列成分を計算量が少なく大局的な変動の特徴をとらえた手法を用いて表現するための設定を行う長期時系列設定手段と、長期時系列成分の学習結果を記憶する長期時系列記憶手段と、この長期時系列成分を元の時系列データから除去する長期時系列除去部および長期時系列成分が除去された時系列データを入力として短期時系列成分の設定を行う短期時系列設定部を有する短期時系列設定手段と、短期時系列成分の学習結果を記憶する短期時系列記憶手段と、長期時系列成分の表現の仕方が複数ある場合に確率統計処理により算出される情報量基準に基づいて最適なものを選択する最適モデル選択手段と、時系列モデルと時系列データをもとに将来の値を予測する時系列予測手段と、時系列データから時系列モデルを学習しパラメータを推定する時系列モデル学習手段とを備える。このような構成を採用し、長期周期成分を計算量の少ない手法を用いて表現し、この表現の仕方を、情報量基準を用いた最適化により本発明の目的を達成することができる。

また、本発明の時系列解析システムは、時系列成分に含まれる複数成分のうち部分的な成分の組み合わせのみを学習対象の成分として取り出す学習対象成分選択手段と、選択した成分の組み合わせのみ学習を行う部分モデル学習手段とを備える。このような構成を採用し、時系列データに含まれる複数成分のうち対象とした成分の組み合わせのみを選択しパラメータを学習という手続きを繰り返すことにより本発明の目的を達成することができる。

第1の効果は、長期トレンド成分や長期周期成分を含む場合に計算量を大幅に削減できることにある。この結果、データ解析に要する時間を減らすことができる。その理由は、計算量の多い長期トレンド成分や長期周期成分を階層的に分離し計算量の少ない手法を用いて処理するためである。

第2の効果は、長期予測の精度を向上させることができることにある。その理由は、長期時系列成分の表現手法として複数のモデルを考え、そのうち最適なものを情報量基準に基づき選択するためである。

第3の効果は、多変量の時系列データを扱う場合に計算量を大幅に削減できることにある。その理由は、元の多変量時系列データに含まれる各成分のうち、部分的な成分の組み合わせのみを選び学習することで、より少ない計算量でパラメータを推定するためである。

次に、発明を実施するための形態について図面を参照して詳細に説明する。

[第1の実施の形態]
本実施の形態では、まず適当な時間幅の時系列データから、時系列の予測に最適なモデルを学習・推定する。そして、所定の時間幅だけ先の時点の時系列データの予測値を、その推定したモデルに基づいて予測し、出力する。つまり、最適モデルの推定までの段階と、予測モデルを用いた時系列の予測の段階と、2段階に分けることができる。

なお、時系列の予測に用いるモデルは、定期的または非定期的なタイミングで適当に学習・推定を行い、動的に変更しても良い。

本発明の第１の実施の形態の構成を示す図1を参照すると、本発明の第1の実施の形態は、プログラム制御により動作する時系列解析装置100と、入力装置110と、出力装置120とから構成されている。時系列解析装置100は、長期時系列設定手段101と、長期時系列記憶手段102と、長期時系列除去部103および短期時系列設定部104を有する短期時系列設定手段109と、短期時系列記憶手段105と、最適モデル選択手段106と、時系列予測手段107と、時系列モデル学習手段108とを含む。これらの手段はそれぞれ概略つぎのように動作する。

入力装置110は、時系列データが入力される装置である。出力装置120は、時系列解析装置100の処理結果を出力する装置である。

長期時系列設定手段101は、時系列データを入力としてその時系列データ、長期時系列成分の時系列モデルのパラメータや条件付確率分布等の学習結果等を長期時系列記憶手段に102に記憶する。

短期時系列設定手段109は、長期時系列除去部103と短期時系列設定部104を用いて短期時系列データを生成、記憶する。より具体的には、長期時系列除去部103は、元の時系列データから長期時系列成分を除去する手段である。短期時系列設定部104は、長期時系列除去部103により長期時系列成分が除去された時系列データを入力として短期時系列成分の学習結果を短期時系列記憶手段105に記憶する。

最適モデル選択手段106は、予測的確率的コンプレキシティと呼ばれる情報量基準にもとづき複数の時系列モデルから時系列の予測に最適なモデルを選択する手段である。

時系列予測手段107は、時系列モデルと時系列データから将来の値を予測する手段である。

時系列モデル学習手段108は、時系列データから時系列モデルを学習しパラメータを推定する手段である。

なお、時系列データ等を記憶する手段として、長期時系列記憶手段102および短期時系列記憶手段105の２つを用いているが、この記憶手段はまとめて１つとしても良いし、もっと記憶するデータ毎に細分化された記憶手段としても問題ない。

１.最適モデルの推定

(1)おおまかな概念
まず、最適モデルの推定について説明する。以下では、ある時点nにおける観測値をx_nで表し、観測値の系列ｘ_l,・・・,ｘ_m(l≦m)をｘ_l ^mで表すとする。ここで、各x_nは実数値であり、nは整数であるとする。ここでは簡単のため一次元として記述するが、多次元でもよい。また、特にxⁿ=x_l ⁿとする。このような時系列データx_nが入力装置110から入力されるとする。このとき、時系列データx_nは、長期周期成分s_l,nと短期周期成分s_2,nおよびAR成分ν_nからなり、

と表すことができるとする。より一般にはトレンド成分も含めるが、ここでは簡単のためそれを除いて記述する。記述の方法は以下に述べる周期成分と本質的に変わらない（例えば非特許文献１を参照）。ここで、ε_nはノイズ項で正規分布N(0,σ²)に従う独立同分布であるとする。このとき、各周期成分は以下のようにモデル化することができる。

また、AR成分は以下のようにモデル化することができる。

ここで、L₁,L₂は各周期成分の周期長を表す整数である。1レコード1時間とした場合、7日間と24時間の2つの周期があるとすると、各周期成分の周期長はそれぞれL₁=168(=24×7),L₂=24となる。また、a_iはAR係数、pはARモデルの次数と呼ばれる。ω_1,n,ω_2,n,ω_3,nはそれぞれノイズ項で正規分布N(0,τ₁ ²),N(0,τ₂ ²),N(0,τ₃ ²)に従う独立同分布であるとする。

ここで、観測値x_nから各成分s_1,n,s_2,n,v_nを求める方法として、前記の式１から式４を状態空間表現で表しカルマンフィルタを用いて推定するという方法が考えられる（例えば非特許文献１）。s_1,n,s_2,n,v_nを用いて表現される状態ベクトルおよびノイズ項をそれぞれ

とおくと、状態空間表現では

と表すことができる。ここでF,ω_n,Hはそれぞれ(L₁+L₂+p-2)×(L₁+L₂+p-2),(L₁+L₂+p-2)×1,1×(L₁+L₂+p-2)の行列である。また、表記Tは、数学表記において一般的に用いられる行列の転置を表現するものである。この状態空間表現の学習にカルマンフィルタを用いると、逆行列の計算を含むためその計算量は近似的にO((L₁+L₂)³)となってしまう。ただし、AR次数pは周期長L₁,L₂に比べて十分小さいとした。

そこで、本実施の形態においては、長期周期の時系列データを学習するステップと、短期周期の時系列を学習するステップの２ステップに分割して学習することで、計算量の削減を図ることとしている。

まず、入力された元の観測値系列x_nに含まれる周期のうち、長期周期s_1,nのみを長期時系列設定手段101によって求める。長期時系列を作成するため、新たにデータ間隔τに基づく時系列データξ_kを

のように定める。このときデータ間隔τとして長周期の周期長L₁の約数、例えばL₁=168の場合τ=2,3,4,6,・・・といった値を指定することがで、その指定の仕方により複数の異なる時系列モデルを作成する。以下では、データ間隔τを長期周期成分の周期長L₁のm番目の２以上の約数とした場合のことを、「モデルｍ」と表現することにする。また、長期周期成分の周期長L₁のm番目の２以上の約数の集合をM、集合の要素数を｜M｜で表すことにする。集合Mの各要素のモデルに対して、以下の学習を行う。

長期時系列除去部103により、この長期周期を表す時系列ξ_k（以下、長期時系列データと呼ぶ。）を元の時系列データx_ｎから除去する。時系列データx_ｎから長期時系列データξ_kを除去した後の時系列データをu_n（以下、短期時系列データと呼ぶ。）と置くと、

と書くことができる。ただし、この式はτ(k-1)+1≦n≦τkに対して成り立つ。この時系列データu_nは長期周期成分がすでに除去されており短期周期成分のみを含む。よって式１を

のように修正することで、時系列モデル学習手段108を用いて通常の時系列解析における時系列モデルの学習を行い、短期周期成分を推定することができる。

同時に、長期時系列データは別の時系列モデル

に従うと仮定する。このモデルでは周期成分の次数はL₁/τとなる。従って両者の学習にかかる計算量はO((L₁/τ)³+L₂ ³)となるので、長期周期成分を除去しなかった場合の計算量O((L₁+L₂)³)と比較して大幅に削減できていることがわかる。

ここでは、元の時系列データから間隔τで平均値を取って得られた長期時系列データに対して状態空間モデルを適用する手法を示したが、他の手法を用いても良い。
他の手法の一つとしては、例えば多項式回帰モデルを用いて長期時系列成分を表現するという手法が考えられる。多項式回帰モデルを用いると、観測値系列は多項式の値ξ_nとノイズ項δ_nの和によりx_n=ξ_n+δ_nと表現できる。ただし、δ_nは正規分布N(0,σ²)で表される独立同分布に従うとする。またξ_nはnの多項式ξ_n=b₀+b₁n+・・・+b_τn^τで表されるものとする。この多項式は、次数を低く抑えたとき、元データ系列にある長期的傾向を表すものと考えられる。ノイズ項には独立同分布を仮定しているが、これを改めて短期傾向を表す短期時系列と捉えることは自然である。すなわち、u_n=x_n-ξ_nを短期時系列として定義し、状態空間モデルを当てはめて解析する。また、多項式モデルの次数τの指定の仕方を変えることで複数の長期時系列成分を作成し元の観測値系列から除去することができる。

他の手法の一つとしては、例えばフーリエ解析を用いる手法が考えられる。フーリエ解析を用いると、観測値系列は三角関数の和の形で

と表現できる。ここで、Tは周期である。この場合も次数τの指定の仕方を変え元の時系列データを近似することで、長期時系列成分を作成および除去することができ平均値を用いた場合と同じ効果が得られる。これと同じ手法は、ウェーブレット解析を用いても実現可能である。さらにより一般に、正規直交系{e_τ}を用いるとx_n=Σ_τ=0 ^∞c_τe_τのように表現でき、この場合も先ほどと同様にして平均値を用いた場合と同じ効果が得られる。

いずれの場合でも、長期時系列データが従う確率分布は有限個のパラメータで指定される（例えば多項式回帰の場合はb_j(j=0、1、・・・、τ)とノイズ項の分散パラメータ）。以下では、そのような長期時系列データξ_k（多項式回帰モデル等の場合はξ_n）が従うモデルとして次数mのものを用いているとする。これを、ξ^k-1が与えられた下でのξ_kの条件付き確率密度関数q(ξ_k｜ξ^k-1,φ_m,m)で表す。φ_mはパラメータをベクトル値として表したものである。同様に短期時系列データのモデルはr(u_n｜u^n-1, ψ_m,m)で表す。このとき、x_nのモデルを、同様にP(x_n｜x^n-1,θ_m,ｍ)と書くと（ただし、θ_m＝(φ_m,ψ_m)としている）、

なる関係が成り立つ。ただし、これはj≧1で、かつτ(k+j-1)+1≦n+i-1≦τ(k+j)の場合である。また、左辺の値はi≧1については

などとして求められる（状態空間モデルの場合は具体的にはカルマンフィルタによるi期先予測の計算で簡単に計算できる）。右辺のrやqについても同様である。ここで特にr(u_n+i-1｜u^n-1, ψ_m,m),q(ξ_k+j｜ξ^k, φ_m,m)が正規分布N(μ₁,σ₁ ²)、N(μ₂,σ₂ ²)の密度関数である場合、P(x_n+i-1｜x^n-1,θ_m,m)は正規分布N(μ₁+μ₂,σ₁ ²+σ₂ ²)の密度関数となることに注意。j=0の場合は単純に

（ただしτ(k-1)+1≦n+i-1≦τk）となる。多項式回帰等の場合は、上記の式でτ=1,n=kとして考えればよい（ただし、多項式等の次数はそのまま残す）。

以上の処理（式９から式11等に変形をほどこした上での学習や推定）により、時系列データx^n-1に対して、モデルmを用いての学習を行うと、時系列モデルのパラメータθ_m(x^n-1)および条件付き確率密度関数P(x_n｜x^n-1,θ_m(x^n-1),m)が求まる。

この条件付き確率密度関数を用いることで、x^N(=x₁,x₂,・・・,x_N)が得られた場合に、最適モデル選択手段106において各モデルmについて次のような値を計算する。

ただし、

である。この値は予測的確率的コンプレキシティと呼ばれる量である（例えば、非特許文献２）。各々のモデルの予測的確率的コンプレキシティを比較し、その値が最小となるものを最適なモデルとして採用する。ここに、式12におけるパラメータiは、i期先の予測値に関して最適なモデルを採用することを意味する。なお、予測的確率的コンプレキシティは、同等の指標となりうる他の情報量基準で置き換えることも可能である。

(2)EMアルゴリズムとカルマンフィルタを用いた逐次的計算
予測的確率的コンプレキシティを計算する場合、まず観測値系列x^n-1から時系列モデルのパラメータθ_m(x^n-1)を計算する。ここで、新たに観測値x_nが得られ、観測値系列xⁿから時系列モデルのパラメータθ_m(xⁿ)を計算する場合、通常のカルマンフィルタを用いて学習をはじめからやり直すと非常に計算コストがかかる。この問題を解決するためには、新たな観測値が得られた場合に逐次的にモデルを学習しパラメータを更新する手法を用いることができる（後述の非特許文献４に関連した記載を参照）。カルマンフィルタを用いたパラメータの推定は、山登り法などの数値的最大化の手法が用いられることが多いが、ここでは隠れ変数を持つ統計モデルの推定アルゴリズムであるEMアルゴリズムの逐次版を用いる（例えば、非特許文献３）。

EMアルゴリズムとは、反復計算の繰り返しごとに対数尤度の条件付期待値を最大化するアルゴリズムである。ここで、対数尤度の条件付期待値を最大化するときのパラメータは、十分統計量の条件付期待値を用いて計算される。以下の例では、逐次的学習を行うため、パラメータ更新の際にデータを逐次的に読み込みながら、忘却係数γの重みをつけた十分統計量の条件付期待値を計算するアルゴリズムを用いる。すなわち、現在のデータx_nに関する十分統計量の条件付期待値にγ、過去のデータx₁ ^n-1の重みつき十分統計量の条件付期待値に(1-γ)の重みをつけて、和を取ったものを全体のデータxⁿの重みつき十分統計量の条件付期待値とする。ここで、gをnに依存させる形でγ=1/nとすれば、全てのデータに等しい重みをつけて逐次的に学習することができる（非特許文献４）。

長期時系列成分を作成および除去しつつ逐次的学習を行う場合の手続きについて述べる。先の例と同様に観測値系列をx_nと表し、新たなデータ間隔τに基づく時系列データξ_kを

のように定める。観測値系列としてｘ_nが与えられているとき、n=τkとなるごとに新しい観測値系列ξ_kが得られる。長期周期成分ξ_kの値が求まったので、長期時系列除去部103により、元の時系列x_nから長期周期成分ξ_kを除去する。長期周期成分除去後の時系列データをu_nと置くと、

とする。ただし、この式はτ(k-1)+1≦n≦τkに対して適用する。

以下では、この短期時系列データu_nの状態空間表現を

とし、EMアルゴリズムでパラメータを推定する例を述べる。長期時系列データに対しても同様の手続きでパラメータ推定を行うことが出来る。

今、観測値系列u_nが与えられた状況におけるEステップのQ_n関数を以下のように定義する。ただし、q(y_n,u_n｜u^n-1,ψ_m(u^n-1))は、式15と式16で定まるy_nとu_nの同時確率密度関数を表す。また、Q₀(ψ_m)=1とする。

ここでγ(0<γ<1)は忘却係数である。Eステップにおける状態の推定は、通常のEMアルゴリズムと同様にカルマンフィルタを用いて計算することができる。次にQ_n(ψ_m')に対し

を計算する。

このMステップにおいては、このシステムのパラメータ ψ_m(uⁿ)=(F',H`,Q',R')の値が求められる。ここでQ',R'はω_n',ε_n'の共分散行列である。通常のEMアルゴリズムと違い、古い統計量に(1−γ)の重み、新しく得られた統計量にγの重みを与え、その和を用いてシステムのパラメータを更新することにより逐次学習を実現している。一般にはQ_nの記憶にはnに比例するだけの領域が必要になるが、状態空間モデルでは十分統計量の利用によってnによらない記述長での記述が可能である。上記の例では一度にひとつのデータu_nを用いてパラメータを更新する場合について述べたが、これをR個ごと（R≧１）の入力に一般化することは容易である。

(3)予測的確率的コンプレキシティの計算
このように計算した学習結果に基づき(式11-4)と(式11-7)を用いてP(x_n+i-1|x^n-1,θ_m(x^n-1),m)の値を求めれば、予測的確率的コンプレキシティを計算することが出来る。

２.学習したモデルを用いた時系列の予測
予測的確率的コンプレキシティの比較により、予測に用いるモデルを採用した後は、時系列データが与えられる毎に、このモデルを用いて所定の時間幅先の時系列データを予測していく。ここでは、状態空間モデルを採用しているので、上記で示したEMアルゴリズムとカルマンフィルタを用いてパラメータの調整を行う。学習した結果P（x_n+i-1|x^n-1,θ_m（x^n-1）,m）を用いてx_n+i−1の予測値x^' _n+i-1は、通常期待値∫x_n+i-1P(x_n+i-1|x^n-1,θ_m(x^n-1),m)dx_n+i-1で計算する。

状態空間モデルの場合は、γ(u_n+i-1|u^n-1,Φ_m,m),q(ξ_k+j|ξ^k,Φ_m,m)が正規分布であり、これをN(μ₁,σ₁ ²)、N(μ₂,σ₂ ²)で表すと、前述のようにP(x_n+i-1|x^n-1,m)は正規分布N(μ₁+μ₂,σ₁ ²+σ₂ ²)の密度関数となるため、u_n+i-1の予測値(期待値)をu^' _n+i-1、x_k+jの予測値(期待値)をx^'ξ^' _k+jと書けば、x^' _n+i-1= u^' _n+i-1+ξ^' _k+jで求められる。これは正規分布を用いるモデルに共通に成り立つ性質であり、長期時系列モデルに多項式回帰などを採用した場合にも成り立つ。

３.動作
次に、本発明の第１の実施の形態の構成を示す図１、本発明の第１の実施の形態の動作を示すフローチャートである図２〜４を参照しながら、本実施の形態の具体的な動作について説明する。なお、(1)の最適モデルの採用の動作では、(2)の予測的確率的コンプレキシティの算出をモジュールとして用いる。さらに(2)の予測的確率的コンプレキシティの算出では、(3)のモデルを用いた予測をモジュールとして用いる。

(1)最適モデル採用の動作
図１の第１の実施の形態の構成図、図２の第１の実施の形態の大まかな動作を示すフローチャートを参照しながら説明する。最適モデル選択手段106は、入力装置110から、時系列の予測のための最適モデルの選択指示を受けると、長期周期成分の周期長L₁の約数をτに設定し、所定の時間幅（ここでは、Nとする。）の時系列データを用いて、予測的確率的コンプレキシティの算出（図２のSA02-1〜SA02-|M|、詳細は図３を用いて後述）を行う(図２のSA01)。

そして、算出された予測的確率的コンプレキシティI(x^N:m)(m=1,..,|M|)の値が最小となるものを最適なモデルm^'として採用する（図２のSA03）。

(2)予測的確率的コンプレキシティの算出
次に、予測的確率的コンプレキシティの算出（図２のSA02-1〜SA02-|M|の詳細な動作）について、図１の構成図、及び図３のモデルの予測までの動作を示すフローチャートを参照しながら説明する。なお、以下のjはi/tの整数部分に1を加えたものである。

まず、時系列モデル学習手段108では保存しているモデルのパラメータθ_m=(φ_m,ψ_m)に初期値を設定する。長期時系列設定手段101は、入力装置110から入力された時系列データx_nを読み込む（図３のSB01）。なお、nの初期値は1に設定されているものとする。そして、nが所定のNに達するまで（図３のSB04のYes）まで、以下の動作を繰り返す。まず、読み込んだデータを時系列モデル学習手段108に渡すと、概装置では、概データと保存されているパラメータに基づき確率的コンプレキシティの値を漸化式I(xⁿ:m)=I(x^n-1:m)−logP(x_n|x^n-i,θ_m(x^n-i),m)に従って算出し保存する（図３のSB03）。そのさい、nが小さくて漸化式の右辺第二項が計算できない場合は零などの定数を代わりに用いる。次に、概データを長期時系列記憶手段102に記憶し、SB05以下に進む。所定の時間幅を超えた(n > N-1となった)場合（図３のSB04のNo）は、最適モデル選択手段でのモデル選択（図２のSA03）に進む。

ここで、nがτの倍数(=τk、 kは整数)でない場合（図３のSB05のNo）は、後述の図３のSB09に進む。そして、nがτの倍数(=τk、 kは整数)であるならば（図３のSB05のYes）、長期時系列設定手段101は、式13により、長期時系列データξ_kを算出し、長期時系列記憶手段102に記憶させると同時に、長期時系列除去部103に渡す（図３のSB06）。さらに、長期時系列設定手段101は、時系列モデル学習手段108にモデルの学習を指示する。概手段は長期時系列記憶手段102に記憶されているξ^k=(ξ_1,・・・ξ_k)より、ξ^kが得られた条件での条件付確率密度関数q(x_k+j|x^k、f (x^k))を求め（図３のSB07）、jステップ先の長期時系列データx_k+jを予測する（図３のSB08）。ここでのx_k+jの予測には、前述のように、移動平均法、指数平滑法、最小2乗法などどのようなさまざまな方法を用いることができる。また、状態空間表現で表しカルマンフィルタを用いて推定するという方法で推定することができる。さらに、この予測は、例えばx_ｋを状態空間表現で表しカルマンフィルタを用いて推定するという方法で推定することができる。そして、これらの値を長期時系列記憶手段102に記憶する。そして長期時系列除去部103に長期時系列の除去を指示する。

長期時系列除去部103は、式14により、短期時系列データu_nを算出する（図３のSB09）。なお、x_kがまだ式13により算出できていない場合には、図3のSB08で予測した値を用いることができる。計算に必要な元の時系列データおよび長期時系列データは、長期記憶手段102を参照する、もしくは長期時系列設定手段から逐次受け取っておき、ローカルメモリ上に保持するなどしておく。

長期時系列除去部103が算出した短期時系列データu_nは、短期時系列設定部104に渡される（図３のSB10）。短期時系列設定部104は、受け取ったu_nを短期時系列記憶手段105に記憶すると共に、u_n=(u₁,・・・u_n)より、uⁿが得られた条件での条件付確率密度関数r(u_n+i |uⁿ,ψ ( uⁿ ))を求め（図３のSB11）。iステップ先の短期時系列データu_n+iを予測する（図３のSB12）。さらに式11-4を用いて、時系列データx_n+iの予測値を求める（図３のSB13）。

上記の処理が終わると、次のデータの読み込みに進む（図３のSB14を経て、SB02へ）。

(3)モデルを用いた予測の動作
次に、(1)で選択されたモデルを用いての時系列データの予測について、図１の構成図、図３のフローチャート、および図４の時系列予測の動作を示すフローチャートを参照して説明する。

図３と図４を比較すると、ほぼ動作は等しいので、ここでは違いだけに絞って説明する。図４のSC01でx_nを読み込んだ後、（図３のSB04に相当する分岐はなく）、nがτの倍数かの判断の分岐（図４のSC02）に進む。図４のSC03からSC10のステップは、図３のSB06からSB13のステップまでと同じである。そして、予測の動作においては、時系列予測手段107で算出された予測値x_n+iが、予測値として、出力装置120に出力されるようになる（図４のSC11）。

上記の処理が終わると、次のデータの読み込みに進む（図４のSC12を経て、SC01へ）。

この時系列予測の動作においては、モデルとしては図2で示されるSA03で選択したモデルm^'を用いるが、学習により逐次更新され、それを用いた時系列予測が行われている。

なお、本実施の形態の説明においての時系列解析装置100は、コンピュータの演算装置に上記で説明した動作を行わせるコンピュータプログラムとして実現することも可能である。

４.本実施の形態の効果
次に、本実施の形態の効果について説明する。本実施の形態では、長期時系列をあらかじめ作成し、この時系列を元の時系列データから除去したデータに対して通常の時系列解析を行うというように構成されているため、時系列データの学習の際に計算量を減らすことができる。また、本実施の形態では、さらに、最適モデル選択手段を用いて長期時系列を作成する際の複数のモデルのうち最適なものを選び出すというように構成されているため、長期の変動を予測する際に短期の変動の影響を受けず、より高精度に予測できる。

本発明によれば、計算機システムやネットワークシステムにおけるリソース（CPU、ディスクなど）の使用率を監視し、その使用率が今後どのように増加していくのかを予測するというような、計算機システムのリソース・マネジメントといった用途に適用できる。また、本発明によれば、交通システムにおいて旅行時間（ある道路区間通り抜けるのに要する時間）をセンサーで計測し、これを時系列データとみなし、その変動を予測するといった用途にも適用できる。

本発明の第１の実施の形態の構成を示すブロック図である。本発明の第１の実施の形態の大まかな動作を示す流れ図である。本発明の第１の実施の形態のモデルの予測までの動作を示す流れ図である。本発明の第１の実施の形態の時系列予測の動作を示す流れ図である。

符号の説明

１００時系列解析装置
１０１長期時系列設定手段
１０２長期時系列記憶手段
１０３長期時系列除去部
１０４短期時系列設定部
１０５短期時系列記憶手段
１０６最適モデル選択手段
１０７時系列予測手段
１０８時系列モデル学習手段
１０９短期時系列設定手段
１１０入力装置
１２０出力装置

Claims

複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析システムにおいて、入力された時系列データおよび記憶手段から読み出した時系列データに基づき、複数の時間幅による別系列の長期時系列データを時間幅毎に作成するとともに前記記憶手段に記憶させる長期時系列設定手段と、入力される時系列データから、時間幅毎の前記長期時系列データを除去して、除去した時間幅の長期時系列データに対応する短期時系列データを作成するとともに前記記憶手段に記憶させる長期時系列除去手段と、前記記憶手段に記憶している前記長期時系列データおよび前記短期時系列データを用いた確率統計処理による学習に基づいて時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択手段と、を有することを特徴とする時系列解析システム。
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析システムにおいて、入力された時系列データおよび記憶手段から読み出した時系列データから、複数の時間幅毎の平均値として別系列の長期時系列データを作成する長期時系列設定手段と、入力される時系列データから、時間幅毎の前記長期時系列データを除去して、除去した時間幅の長期時系列データに対応する短期時系列データを作成する長期時系列除去手段と、前記記憶手段に記憶している前記長期時系列データおよび前記短期時系列データを用いた確率統計処理により各時間幅に対応して算出される情報量基準に基づいて、時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択手段と、を有することを特徴とする時系列解析システム。
前記長期時系列データの計算方法として多項式回帰モデル、フーリエ解析、ウェーブレット、または関数空間の基底のいずれかの計算方法を用いることを特徴とする請求項１に記載の時系列解析システム。
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析システムにおいて、入力された時系列データおよび記憶手段から読み出した時系列データから、複数の時間幅毎の平均値として別系列の長期時系列データを計算し、前記計算した長期時系列データおよび記憶手段から読み出した長期時系列データに基づいて長期トレンド成分や長期周期成分を時間幅毎の長期時系列データから学習し、前記入力された時系列データ、前記時間幅毎の長期時系列の学習結果、前記計算した各長期時系列データを前記記憶手段に記憶させる長期時系列設定手段と、長期時系列設定手段により計算された長期時系列データを元の時系列データから各時間幅の長期時系列データを除去することで、各時間幅に対応する短期時系列データを計算する長期時系列除去手段と、前記長期時系列除去手段が計算した短期時系列データと前記記憶手段から読み出した短期時系列データに基づいて、短期時系列成分を各時間幅の短期時系列データから学習し、前記時間幅毎の短期時系列の学習結果、前記計算した各短期時系列データを前記記憶手段に記憶させる短期時系列設定手段と、前記記憶手段に記憶している前記長期時系列データおよびその学習結果、前記短期時系列データおよびその学習結果を用いた確率統計処理により各時間幅に対応して算出される情報量基準に基づいて、時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択手段と、を有することを特徴とする時系列解析システム。
前記異なる時間幅での長期時系列データを算出する時間幅として、長周期の周期長の約数を用いることを特徴とする請求項１乃至４いずれか記載の時系列解析システム。
前記長期時系列データからの学習、前記短期時系列データからの学習の少なくとも一方を、カルマンフィルタとEMアルゴリズムを用いて行うことを特徴とする請求項１乃至５いずれか記載の時系列解析システム。
前記最適モデル選択手段が選択した最適モデルおよび前記最適モデルが有する時間幅で作成した長期時系列データおよび短期時系列データに基づいて、時系列データの予測を行う時系列予測手段をさらに有する請求項１乃至６いずれか記載の時系列解析システム。
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析方法であって、入力された時系列データおよび記憶手段から読み出した時系列データに基づき、複数の時間幅による別系列の長期時系列データを時間幅毎に作成するステとともに前記記憶手段に記憶させる長期時系列を設定するステップと、入力される時系列データから、時間幅毎の前記長期時系列データを除去して、除去した時間幅の長期時系列データに対応する短期時系列データを作成するとともに前記記憶手段に記憶させる長期時系列除去のステップと、前記記憶手段に記憶している前記長期時系列データおよび前記短期時系列データを用いた確率統計処理による学習に基づいて時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデルの選択ステップと、からなることを特徴とする時系列解析方法。
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析方法であって、入力された時系列データおよび記憶手段から読み出した時系列データから、複数の時間幅毎の平均値として別系列の長期時系列データを作成する長期時系列を設定するステップと、入力される時系列データから、時間幅毎の前記長期時系列データを除去して、除去した時間幅の長期時系列データに対応する短期時系列データを作成する長期時系列除去のステップと、前記記憶手段に記憶している前記長期時系列データおよび前記短期時系列データを用いた確率統計処理により各時間幅に対応して算出される情報量基準に基づいて、時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択のステップと、からなることを特徴とする時系列解析方法。
前記長期時系列データの計算方法として多項式回帰モデル、フーリエ解析、ウェーブレット、または関数空間の基底のいずれかの計算方法を用いることを特徴とする請求項８に記載の時系列解析方法。
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析方法であって、入力された時系列データおよび記憶手段から読み出した時系列データから、複数の時間幅毎の平均値として別系列の長期時系列データを計算し、前記計算した長期時系列データおよび記憶手段から読み出した長期時系列データに基づいて長期トレンド成分や長期周期成分を時間幅毎の長期時系列データから学習し、前記入力された時系列データ、前記時間幅毎の長期時系列の学習結果、前記計算した各長期時系列データを前記記憶手段に記憶させる長期時系列設定のステップと、長期時系列設定手段により計算された長期時系列データを元の時系列データから各時間幅の長期時系列データを除去することで、各時間幅に対応する短期時系列データを計算する長期時系列除去のステップと、前記長期時系列除去手段が計算した短期時系列データと前記記憶手段から読み出した短期時系列データに基づいて、短期時系列成分を各時間幅の短期時系列データから学習し、前記時間幅毎の短期時系列の学習結果、前記計算した各短期時系列データを前記記憶手段に記憶させる短期時系列設定のステップと、前記記憶手段に記憶している前記長期時系列データおよびその学習結果、前記短期時系列データおよびその学習結果を用いた確率統計処理により各時間幅に対応して算出される情報量基準に基づいて、時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択のステップと、からなることを特徴とする時系列解析方法。
前記異なる時間幅での長期時系列データを算出する時間幅として、長周期の周期長の約数を用いることを特徴とする請求項８乃至１１いずれか記載の時系列解析方法。
前記長期時系列データからの学習、前記短期時系列データからの学習の少なくとも一方を、カルマンフィルタとEMアルゴリズムを用いて行うことを特徴とする請求項８乃至１２いずれか記載の時系列解析方法。
前記最適モデル選択手段が選択した最適モデルおよび前記最適モデルが有する時間幅で作成した長期時系列データおよび短期時系列データに基づいて、時系列データの予測を行う時系列予測ステップとをさらに有する請求項８乃至１３いずれか記載の時系列解析システム。
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析システムを、入力された時系列データおよび記憶手段から読み出した時系列データに基づき、複数の時間幅による別系列の長期時系列データを時間幅毎に作成するとともに前記記憶手段に記憶させる長期時系列設定手段と、入力される時系列データから、時間幅毎の前記長期時系列データを除去して、除去した時間幅の長期時系列データに対応する短期時系列データを作成するとともに前記記憶手段に記憶させる長期時系列除去手段と、前記記憶手段に記憶している前記長期時系列データおよび前記短期時系列データを用いた確率統計処理による学習に基づいて時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択手段と、して機能させるための時系列解析プログラム。
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析システムを、入力された時系列データおよび記憶手段から読み出した時系列データから、複数の時間幅毎の平均値として別系列の長期時系列データを作成する長期時系列設定手段と、入力される時系列データから、時間幅毎の前記長期時系列データを除去して、除去した時間幅の長期時系列データに対応する短期時系列データを作成する長期時系列除去手段と、前記記憶手段に記憶している前記長期時系列データおよび前記短期時系列データを用いた確率統計処理により各時間幅に対応して算出される情報量基準に基づいて、時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択手段と、して機能させるための時系列解析プログラム。
前記長期時系列データの計算方法として多項式回帰モデル、フーリエ解析、ウェーブレット、または関数空間の基底のいずれかの計算方法を用いることを特徴とする請求項１５に記載の時系列解析プログラム。
複数の周期成分を含む時系列データを入力して記憶手段に記憶させ、当該時系列データの時間的な傾向を予測する時系列解析システムを、入力された時系列データおよび記憶手段から読み出した時系列データから、複数の時間幅毎の平均値として別系列の長期時系列データを計算し、前記計算した長期時系列データおよび記憶手段から読み出した長期時系列データに基づいて長期トレンド成分や長期周期成分を時間幅毎の長期時系列データから学習し、前記入力された時系列データ、前記時間幅毎の長期時系列の学習結果、前記計算した各長期時系列データを前記記憶手段に記憶させる長期時系列設定手段と、長期時系列設定手段により計算された長期時系列データを元の時系列データから各時間幅の長期時系列データを除去することで、各時間幅に対応する短期時系列データを計算する長期時系列除去手段と、前記長期時系列除去手段が計算した短期時系列データと前記記憶手段から読み出した短期時系列データに基づいて、短期時系列成分を各時間幅の短期時系列データから学習し、前記時間幅毎の短期時系列の学習結果、前記計算した各短期時系列データを前記記憶手段に記憶させる短期時系列設定手段と、前記記憶手段に記憶している前記長期時系列データおよびその学習結果、前記短期時系列データおよびその学習結果を用いた確率統計処理により各時間幅に対応して算出される情報量基準に基づいて、時系列データの予測に最適な時間幅を有するモデルを最適モデルとして選択する最適モデル選択手段と、して機能させるための時系列解析プログラム。
前記異なる時間幅での長期時系列データを算出する時間幅として、長周期の周期長の約数を用いることを特徴とする請求項１５乃至１８いずれかに記載の時系列解析プログラム。
前記長期時系列データからの学習、前記短期時系列データからの学習の少なくとも一方を、カルマンフィルタとEMアルゴリズムを用いて行うことを特徴とする請求項１５乃至１９いずれかに記載の時系列解析プログラム。
前記最適モデル選択手段が選択した最適モデルおよび前記最適モデルが有する時間幅で作成した長期時系列データおよび短期時系列データに基づいて、時系列データの予測を行う時系列予測手段としてさらに機能させるための請求項１５乃至２０いずれかに記載の時系列解析プログラム。