JP2012198598A - データ保存装置、データ保存方法 - Google Patents

Abstract

【課題】サンプリングの精度の向上を図りながら、サンプリングするデータのデータ数を十分に削減すること。
【解決手段】本発明のデータ保存装置は、時系列的なデータを収集するデータ収集部と、前記データ毎に、当該データの変化の指標である複数の変化指標を計算し、その計算結果を基に当該データをサンプリングするか否かを決定するサンプリング部と、を有する。
【選択図】図１

Description

本発明は、データ保存装置、データ保存方法に関する。

近年、データセンタの巨大化やクラウドコンピューティングの登場などにより、コンピュータシステムの規模は巨大化する傾向にある。

それに伴い、コンピュータシステムのリソースの使用状況（メモリ使用量、オープンファイル数、生成スレッド数など）を示すリソースデータも増加の傾向にある。

そのため、コンピュータシステムで本来実行したい業務とは直接関係のない業務に関するリソースデータの保存に記憶媒体の容量が消費されてしまう場合がある。

そのため、リソースデータのように、時々刻々と変換する時系列データを保存する場合には、時系列データのデータ数の削減を目的として、サンプリングにより時系列データを間引く処理が行われる。

一般的には、時系列データを一定間隔毎にサンプリングする手法が用いられるが、時系列データのデータ数と時系列データの精度（本来の観測データとの誤差）がサンプリング間隔に依存するという問題がある。

上記問題を解決するために、例えば、特許文献１には、今回の時系列データの変化の指標である変化指標として、前回と今回の時系列データの変化量を計算し、計算した変化量を基に、今回の時系列データをサンプリングする手法が提案されている。

特開平１０‐１４３５４３号公報

しかしながら、特許文献１で提案された手法では、時系列データの変化指標として、変化量という１つの指標のみを用いているため、サンプリングの精度が悪く、その結果、サンプリングするデータのデータ数を十分に削減することができないという課題がある。

具体的には、例えば、時系列データが正比例で変化する場合、変化の開始点と終了点のデータだけをサンプリングしておけば、時系列データは再現可能である。

しかし、特許文献１のように、変化指標として変化量だけを用いた場合、時系列データの傾きによっては正比例で変化している全ての区間のデータをサンプリングしてしまう可能性がある。

そこで、本発明の目的は、上述した課題を解決し、サンプリングの精度の向上を図りながら、サンプリングするデータのデータ数を十分に削減することができるデータ保存装置、データ保存方法を提供することにある。

本発明のデータ保存装置は、
時系列的なデータを収集するデータ収集部と、
前記データ毎に、当該データの変化の指標である複数の変化指標を計算し、その計算結果を基に当該データをサンプリングするか否かを決定するサンプリング部と、を有する。

本発明のデータ保存方法は、
データ保存装置によるデータ保存方法であって、
時系列的なデータを収集する収集ステップと、
前記データ毎に、当該データの変化の指標である複数の変化指標を計算し、その計算結果を基に当該データをサンプリングするか否かを決定するサンプリングステップと、を有する。

本発明によれば、サンプリングの精度の向上を図りながら、サンプリングするデータのデータ数を十分に削減することができるという効果が得られる。

本発明の一実施形態のデータ保存装置の構成を示すブロック図である。 図１に示したデータ保存装置のデータ保存動作を説明するフローチャートである。 図２に示したステップＡ２の動的サンプリング手順を説明するフローチャートである。 図１に示したデータ保存装置に保存するリソースデータの一例を示す図である。 図１に示したデータ保存装置に保存するリソースデータの他の例を示す図である。 図２に示したステップＡ６のデータマージ手順を説明するフローチャートである。 図１に示したデータ保存装置のデータ復元動作を説明する図である。

以下に、本発明を実施するための形態について図面を参照して説明する。

なお、以下では、時系列データとして、コンピュータシステムのリソースの使用状況（メモリ使用量、オープンファイル数、生成スレッド数など）を示すリソースデータを保存する場合を例に挙げて説明する。
（１）本実施形態の構成
まず、本実施形態の構成について図１を参照して説明する。

図１を参照すると、本実施形態のデータ保存装置は、コンピュータシステムのリソースデータを定期的に収集するデータ収集部１０１と、データ収集部１０１により定期的に収集されたリソースデータのサンプリングおよび保存を行うと共に、保存したリソースデータの復元を行うデータ管理部１０２と、データ管理部１０２により復元されたリソースデータの分析を行い、コンピュータシステムのリソースの変化状況や将来のリソース異常の予測を行うデータ分析部１０３と、を有している。

また、データ管理部１０２は、データ収集部１０１により定期的に収集されたリソースデータのサンプリングを行うサンプリング部２０１と、リソースデータの圧縮を行うデータ圧縮部２０２と、データ圧縮部２０２により圧縮されたリソースデータの保存を行う記憶媒体２０３と、記憶媒体２０３に保存されたリソースデータの復元を行うデータ復元部２０４と、を有している。
（２）本実施形態の動作
次に、本実施形態の動作について説明する。
（２−１）データ保存動作
まず、リソースデータを記憶媒体２０３に保存する場合の動作について、図２を参照して説明する。

図２を参照すると、データ収集部１０１は、定期的にリソースデータを収集し、収集したリソースデータを一定時間（例：１時間）毎にデータ管理部１０２に送信する。

サンプリング部２０１は、ステップＡ１において、データ収集部１０１からリソースデータを受信すると、ステップＡ２において、図３に示す動的サンプリング手順に従い、受信したリソースデータの中から、特徴点におけるリソースデータをサンプリングする。

ここで、図２のステップＡ２の手順（動的サンプリング手順）について、図３を参照して詳細に説明する。

図３を参照すると、サンプリング部２０１は、データ収集部１０１から受信した各観測点における観測値（リソースデータ）を順次計算対象とし、ステップＢ１において、今回の観測点txにおける変化率Δtxを計算する。変化率Δtxは、今回の観測点txおよび次回の
観測点tx+1における観測値の傾きとして、次のように算出する。

Δtx = f(tx+1)-f(tx)/（tx+1 - tx）
ここで、f(z)は、観測点zにおける観測値を表す。

次に、サンプリング部２０１は、ステップＢ２において、Δtxと予め決められた閾値T
Δ（例えば、-1〜1）とを比較する。

ステップＢ２において、Δtxが閾値TΔの範囲内である場合、サンプリング部２０１は
、ステップＢ６に進み、観測点txにおける観測値f(tx)のサンプリングを行わない。

一方、ステップＢ２において、Δtxが閾値TΔの範囲外である場合、サンプリング部２
０１は、ステップＢ３に進む。

次に、サンプリング部２０１は、ステップＢ３において、Δtxを、前回の観測点tx-1に
おける変化率Δtx-1と比較する。

ステップＢ３において、ΔtxとΔtx-1との差分（Δtx−Δtx-1）が予め決められた閾値
Tsの範囲内である場合、サンプリング部２０１は、ステップＢ６に進み、観測点txにおける観測値f(tx)のサンプリングを行わない。

一方、ステップＢ３において、ΔtxとΔtx-1との差分（Δtx−Δtx-1）が閾値Tsの範囲
外である場合、サンプリング部２０１は、ステップＢ４に進む。

例えば、図４の例１において、観測点t1は、変化率Δt1が閾値TΔの範囲外であるが、
前回の変化率Δt0との差分が閾値Tsの範囲内であると仮定する。この場合、サンプリング
部２０１は、t1とt0とは同一の変化であり、t1は特徴点ではないと判断し、t1における観測値f(t1)のサンプリングを行わない。

次に、サンプリング部２０１は、ステップＢ４において、観測点tx近傍の所定個数（例えば、10個）の観測値のばらつき具合を、分散σtxとして計算する。

ステップＢ４において、σtxが予め決められた閾値Tσの範囲内である場合、サンプリング部２０１は、ステップＢ６に進み、観測点txにおける観測値f(tx)のサンプリングを行わない。

一方、ステップＢ４において、σtxが閾値Tσの範囲外である場合、サンプリング部２０１は、観測点txは特徴点であると判断し、ステップＢ５において、txにおける観測値f(t1)のサンプリングを行う。

例えば、図５の例２において、観測点t2は、変化率Δt2が閾値TΔの範囲外で、前回の
変化率Δt1との差分も閾値Tsの範囲外であるが、分散σt2が閾値Tσの範囲内であると仮
定する。この場合、t2は、変化率は大きく、また、前回と同一の変化でもないが、リソースデータ全体で考えた場合、変化の絶対量が小さい。そのため、t2は、リソースデータの特徴を表すほどの変化ではないと考えられることから、サンプリング部２０１は、t2を特徴点ではないと判断し、t2における観測値f(t2)のサンプリングを行わない。

また、例えば、図４の例３において、観測点t6は、変化率Δt6が閾値TΔの範囲外で、
前回の変化率Δt5との差分も閾値Tsの範囲外で、分散σt6も閾値Tσの範囲外であると仮
定する。この場合、t6は、変化率は大きく、また、前回と同一の変化でもなく、また、リソースデータ全体で考えた場合も変化の絶対量が大きい。そのため、t6は、変化の開始点であると考えられることから、サンプリング部２０１は、t6を特徴点であると判断し、t6における観測値f(t6)のサンプリングを行う。

再度図２を参照すると、次に、データ圧縮部２０２は、ステップＡ３において、サンプリング部２０１によりサンプリングされたリソースデータと記憶媒体２０３に保存されている過去のリソースデータの総数を算出する。

ステップＡ３において、リソースデータの総数が予め決められた閾値TΣ以下である場
合、データ圧縮部２０２は、ステップＡ８において、サンプリング部２０１により抽出されたリソースデータを圧縮して追記モードで記憶媒体２０３に保存する。

一方、ステップＡ３において、リソースデータの総数が閾値TΣよりも大きい場合は、
データ圧縮部２０２は、記憶媒体２０３に保存されている過去の全リソースデータの復元をデータ復元部２０４に要求する。

これを受けて、データ復元部２０４は、ステップＡ４において、記憶媒体２０３に保存されている過去の全リソースデータを読み出し、ステップＡ５において、読み出した全リソースデータを復元する。

次に、データ圧縮部２０２は、図６のデータマージ手順に従い、ステップＡ６において、記憶媒体２０３に保存するリソースデータの総数が閾値TΣ以下になるまで、サンプリ
ング部２０１によりサンプリングされたリソースデータとデータ復元部２０４により復元されたリソースデータを含むリソースデータ群のうちの隣接するデータ同士を統計的指標を用いてマージ（結合）する。

その後、データ圧縮部２０２は、ステップＡ７において、マージしたリソースデータを再圧縮して上書きモードで記憶媒体２０３に保存する。

ここで、図２のステップＡ６の手順（データマージ手順）について、図６を参照して詳細に説明する。

図６を参照すると、まず、データ圧縮部２０２は、ステップＣ１において、データ復元部２０４により復元されたリソースデータのうち一定時間が経過したリソースデータを削除する。なお、削除するリソースデータの範囲は任意に設定可能とする。

例えば、本実施形態のように、データ分析部１０３において、リソースの変化状況や将来のリソース異常の予測を行う場合、予測に占める過去のリソースデータの影響はそれほど大きくないと考えられる。例えば、１日後のリソースの変化状況を予測するのに、２年前のリソースデータの影響は大きくない。そこで、上記のような削除を行う。

次に、データ圧縮部２０２は、ステップＣ２において、サンプリング部２０１によりサンプリングされたリソースデータおよびデータ復元部２０４により復元されたリソースデータをグループ化する。

詳細は後述するが、データ復元部２０４により復元されたリソースデータには、特徴点におけるリソースデータ（第１のデータ）と、特徴点を基に計算して求めた非特徴点におけるリソースデータ（第２のデータ）と、が含まれる。

そこで、データ圧縮部２０２は、１つの特徴点で表されるリソースデータ群（すなわち、特徴点におけるリソースデータと、その特徴点を基に計算して求めた非特徴点におけるリソースデータと、からなるデータ群）を１つのグループとして、グループ化を行う。したがって、この時点では、サンプリング部２０１によりサンプリングされたリソースデータは、そのリソースデータのみで１つのグループを形成することになる。

次に、データ圧縮部２０２は、ステップＣ３において、互いに隣接する２つのグループの組み合わせ毎に、その２つのグループ内のリソースデータの統計的な指標である統計的指標を算出する。ここでは、統計的指標は、２つのグループ内のリソースデータの分散（ばらつき具合）とする。

次に、データ圧縮部２０２は、ステップＣ４において、２つのグループの組み合わせの中から最も分散の小さな組み合わせを選択し、選択した２つのグループ内のリソースデータをマージする。なお、ここでリソースデータがマージされた２つのグループは、以降、１つのグループとして扱われることになる。

以降、データ圧縮部２０２は、ステップＣ５において、記憶媒体２０３に保存するリソースデータの総数が閾値TΣ以下になるまで、ステップＣ３〜Ｃ４の処理を繰り返す。
（２−２）データ復元動作
続いて、記憶媒体２０３に保存されたリソースデータを復元する場合の動作について説明する。

データ分析部１０３およびデータ圧縮部２０２は、リソースデータの復元が必要になると、データ復元部２０４に対して復元要求を出力する。復元要求においては、復元するリソースデータのデータ範囲とデータ間隔（X秒、X時間など）を指定する。

ここで、データ復元部２０４におけるリソースデータの復元手順について、図７を参照して具体的に説明する。図７においては、復元要求において、データ範囲として0:00〜0:01が、データ間隔として20秒がそれぞれ指定されているものとする。

図７を参照すると、まず、データ復元部２０４は、記憶媒体２０３から、指定データ範囲0:00〜0:01内の特徴点と、その前後の１つずつの特徴点と、を読み出し復元する。ここでは、指定データ範囲内の時刻t1(0:00:05)と時刻t2(0:00:12)の特徴点と、指定データ範囲の前の時刻t0(23:59:45)の特徴点と、指定データ範囲の後の時刻t3(0:01:15)の特徴点と、を読み出し復元する。

次に、データ復元部２０４は、時刻t0の特徴点を開始点とし、時刻t0から次の特徴点がある時刻t1までを区間Ａとし、時刻t0と時刻t1の特徴点を用いて、区間Ａにおけるリソースデータを表す１次式y=ax+bを導出する。そして、区間Ａにおいて、開始点から、指定データ間隔毎に、上記で導出した１次式を用いて、リソースデータを復元する。ここでは、時刻t1(0:00:05)のリソースデータを復元する。

次に、データ復元部２０４は、時刻t1から次の特徴点がある時刻t2までを区間Ｂとし、上記と同様に、区間Ｂの１次式y=ax+bを導出する。しかし、次にリソースデータを復元すべき時刻0:00:25は、区間Ｂの範囲外となる。そのため、区間Ｂにおいては、リソースデータの復元を行わない。

次に、データ復元部２０４は、時刻t2から次の特徴点がある時刻t3までを区間Ｃとし、上記と同様に、区間Ｃの１次式y=ax+bを導出する。ここでは、次にリソースデータを復元すべき時刻0:00:25、その次にリソースデータを復元すべき時刻0:00:45は、区間Ｃの範囲内となるため、上記で導出した１次式を用いて、時刻0:00:25と時刻0:00:45のリソースデータを復元する。

ここで、時刻0:00:45から指定データ間隔が経過した時刻0:01:05は、指定データ範囲外となるため、以上でリソースデータの復元が終了する。

データ復元部２０４は、上記で復元したリソースデータをデータ分析部１０３もしくはデータ圧縮部２０２に送信する。その際、各リソースデータには、特徴点のデータであるか、特徴点を基に計算して求めた非特徴点のデータであるかを示す識別子等を付加する。なお、図７において、時刻t1(0:00:05)のリソースデータは、非特徴点のリソースデータでもあるが、特徴点のリソースデータとして送信する。

データ分析部１０３は、データ復元部２０４により復元されたリソースデータを受信すると、そのリソースデータを統計的に分析し、リソースの変化状況や将来のリソース異常を検出する。

データ圧縮部２０２は、データ復元部２０４により復元されたリソースデータを受信すると、上記のデータマージ手順に従って、そのリソースデータのマージ・再圧縮を行う。

上述したように本実施形態では、時系列的なデータ毎に、複数の変化指標を計算し、その計算結果を基にそのデータをサンプリングするか否かを決定する。

よって、サンプリングの精度の向上を図りながら、サンプリングするデータのデータ数を十分に削減することができるという効果が得られる。

具体的には、例えば、時系列データが正比例で変化する場合、変化の開始点と終了点のデータだけをサンプリングしておけば、時系列データは再現可能である。

しかし、特許文献１のように、変化指標として変化量だけを用いた場合、時系列データの傾きによっては正比例で変化している全ての区間のデータをサンプリングしてしまう可能性がある。

これに対して、本実施形態のように、複数の変化指標として、例えば、変化率と変化率の差分を用いた場合、ある観測点について、変化率自体は閾値の範囲外であるが、変化率の差分がなければ、その観測点は特徴点ではないと判断し、サンプリングを行わない。

よって、本実施形態のように、複数の変化指標を用いることでサンプリングの精度が向上し、その結果、サンプリングするデータのデータ数を十分に削減することができる。

また、本実施形態では、記憶媒体に保存するデータの総数が閾値を超える場合、記憶媒体に保存するデータの総数が閾値以下になるまで、サンプリングしたデータと記憶媒体から復元したデータのうちの隣接するデータ同士を統計的指標を用いてマージする。

よって、記憶媒体に保存するデータのデータ数を一定に抑えることができるという効果が得られる。
（３）他の実施形態
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解し得る様々な変更をすることができる。
・動的サンプリングとマージの指標
上記実施形態では、サンプリングの可否の判断に用いる変化指標として、変化率と変化率の差分と分散を用いたが、本発明はこれに限定されず、変曲点と分散、微分と四分位値などの他の変化指標を用いることが可能である。

また、上記実施形態では、データをマージする２つのグループの判断に用いる統計的指標として、２つのグループ内のデータの分散を用いたが、本発明はこれに限定されず、２つのグループの各々の内部のデータの相関係数の類似度などの他の統計的指標を用いることが可能である。
・データのマージと精度の優先度
上記実施形態では、記憶媒体に保存するデータのデータ数を一定に抑えるため、記憶媒体に保存するデータのデータ数が閾値TΣを超えた場合、閾値TΣ以下になるまで無条件
でマージ処理を行っている。

ただし、変化の激しい時系列データの場合、マージ処理を優先すると、時系列データの精度が劣化する可能性がある。

そのため、データをマージするグループの判断に用いる統計的指標（例えば、分散）に制限を設け、制限を超える場合（例えば、分散が閾値よりも大きい場合）は、マージ処理を行わず、時系列データの精度を優先することも可能である。

本発明は、コンピュータシステムのリソースを監視する分野におけるリソースデータの蓄積に利用できる。

１０１ データ収集部
１０２ データ管理部
１０３ データ分析部
２０１ サンプリング部
２０２ データ圧縮部
２０３ 記憶媒体
２０４ データ復元部

Claims (10)

1. 時系列的なデータを収集するデータ収集部と、
   前記データ毎に、当該データの変化の指標である複数の変化指標を計算し、その計算結果を基に当該データをサンプリングするか否かを決定するサンプリング部と、を有するデータ保存装置。
2. 前記サンプリング部は、
   前記データを順次計算対象とし、
   計算対象とする今回のデータの前記変化指標として、今回のデータと次回のデータとの変化率と、今回のデータの変化率と前回のデータの変化率との差分と、今回のデータ近傍の所定個数分のデータの分散と、を計算する、請求項１に記載のデータ保存装置。
3. 前記サンプリング部は、
   今回のデータの変化率が予め決められた範囲外であり、かつ、今回のデータの変化率の差分が予め決められた範囲外であり、かつ、今回のデータの分散が予め決められた範囲外である場合に、今回のデータをサンプリングすると決定する、請求項２に記載のデータ保存装置。
4. 前記データを圧縮して記憶媒体に保存するデータ圧縮部と、
   前記記憶媒体に保存されたデータを復元するデータ復元部と、をさらに有し、
   前記データ圧縮部は、
   前記サンプリング部によりサンプリングされたデータと前記記憶媒体に保存されているデータの総数が予め決められた閾値よりも大きい場合、
   前記記憶媒体に保存されているデータを前記データ復元部に復元させ、
   前記記憶媒体に保存するデータの総数が前記閾値以下になるまで、前記サンプリングされたデータと前記復元されたデータを含むデータ群のうちの隣接するデータ同士を統計的指標を用いてマージし、
   マージしたデータを再圧縮して前記記憶媒体に保存する、請求項１から３のいずれか１項に記載のデータ保存装置。
5. 前記データ復元部は、
   前記記憶媒体に保存されているデータを第１のデータとして復元すると共に、前記第１のデータを基に計算して求めた第２のデータを復元し、
   前記データ圧縮部は、
   前記第１のデータと当該第１のデータを基に計算して求めた前記第２のデータとを１つのグループとして、前記データ群をグループ分けし、
   互いに隣接する２つのグループの組み合わせ毎に、当該２つのグループ内のデータの分散を前記統計的指標として計算する第１の処理と、互いに隣接する２つのグループの組み合わせの中から分散が最も小さな組み合わせを選択し、選択した２つのグループ内のデータをマージする第２の処理と、を、前記記憶媒体に保存するデータの総数が前記閾値以下になるまで繰り返す、請求項４に記載のデータ保存装置。
6. データ保存装置によるデータ保存方法であって、
   時系列的なデータを収集する収集ステップと、
   前記データ毎に、当該データの変化の指標である複数の変化指標を計算し、その計算結果を基に当該データをサンプリングするか否かを決定するサンプリングステップと、を有するデータ保存方法。
7. 前記サンプリングステップでは、
   前記データを順次計算対象とし、
   計算対象とする今回のデータの前記変化指標として、今回のデータと次回のデータとの変化率と、今回のデータの変化率と前回のデータの変化率との差分と、今回のデータ近傍の所定個数分のデータの分散と、を計算する、請求項６に記載のデータ保存方法。
8. 前記サンプリングステップでは、
   今回のデータの変化率が予め決められた範囲外であり、かつ、今回のデータの変化率の差分が予め決められた範囲外であり、かつ、今回のデータの分散が予め決められた範囲外である場合に、今回のデータをサンプリングすると決定する、請求項７に記載のデータ保存方法。
9. 前記サンプリングされたデータと記憶媒体に保存されているデータの総数が予め決められた閾値よりも大きい場合、
   前記記憶媒体に保存されているデータを復元する復元ステップと、
   前記記憶媒体に保存するデータの総数が前記閾値以下になるまで、前記サンプリングされたデータと前記復元されたデータを含むデータ群のうちの隣接するデータ同士を統計的指標を用いてマージするマージステップと、
   マージしたデータを再圧縮して前記記憶媒体に保存する再圧縮ステップと、を有する請求項６から８のいずれか１項に記載のデータ保存方法。
10. 前記復元ステップでは、
    前記記憶媒体に保存されているデータを第１のデータとして復元すると共に、前記第１のデータを基に計算して求めた第２のデータを復元し、
    前記マージステップでは、
    前記第１のデータと当該第１のデータを基に計算して求めた前記第２のデータとを１つのグループとして、前記データ群をグループ分けし、
    互いに隣接する２つのグループの組み合わせ毎に、当該２つのグループ内のデータの分散を前記統計的指標として計算する第１の処理と、互いに隣接する２つのグループの組み合わせの中から分散が最も小さな組み合わせを選択し、選択した２つのグループ内のデータをマージする第２の処理と、を、前記記憶媒体に保存するデータの総数が前記閾値以下になるまで繰り返す、請求項９に記載のデータ保存方法。

Images