JP2012010319A - 時系列データの圧縮方法および圧縮装置 - Google Patents

時系列データの圧縮方法および圧縮装置 Download PDF

Info

Publication number
JP2012010319A
JP2012010319A JP2011095122A JP2011095122A JP2012010319A JP 2012010319 A JP2012010319 A JP 2012010319A JP 2011095122 A JP2011095122 A JP 2011095122A JP 2011095122 A JP2011095122 A JP 2011095122A JP 2012010319 A JP2012010319 A JP 2012010319A
Authority
JP
Japan
Prior art keywords
data
compression
value
threshold value
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011095122A
Other languages
English (en)
Other versions
JP5458056B2 (ja
Inventor
Yoshikazu Ishii
良和 石井
Kazunobu Morita
和信 森田
Kazuhiro Inada
和広 稲田
Yoshinori Teraoka
義則 寺岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2011095122A priority Critical patent/JP5458056B2/ja
Publication of JP2012010319A publication Critical patent/JP2012010319A/ja
Application granted granted Critical
Publication of JP5458056B2 publication Critical patent/JP5458056B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】数値データシーケンスを間引いて圧縮する際の基準となる閾値を、目標とする圧縮率との偏差が小さくなるように自動的に設定する。
【解決手段】数値データシーケンスの中から閾値に基づいてデータを間引くデータ圧縮方法であって、所定数の数値データと、圧縮に用いる特定の圧縮アルゴリズムに対応する圧縮率の期待値と前記閾値との関係を用いて、目標圧縮率に対応する前記閾値を初期設定する第1の工程と、設定されている前記閾値を用いて前記圧縮アルゴリズムによって数値データを圧縮するとともに、前記所定数ごとの数値データの実際の圧縮率を算出する第2の工程と、算出した前記実際の圧縮率と前記目標圧縮率とに基づいて前記閾値の再設定が必要か不要かを判定する第3の工程と、直近の所定数の数値データと前記関係とを用いて、目標圧縮率に対応する前記閾値を再設定する第4の工程とを含む。
【選択図】図1

Description

本発明は、産業分野などで用いられる情報制御システムの運転実績を管理するプロセス情報管理システムに係り、特に大量の時系列データを圧縮して蓄積するための技術に関する。
産業分野などの情報制御システムの運転実績を管理するために収集されるデータ、いわゆるプロセスデータは、例えば1秒などの周期で連続的に計測されるため、これらを時系列データとして長期保存する場合は、膨大な記憶容量が必要となる。特に、データを利用しやすくする観点から、CSV(Comma Separated Values:カンマセパレートバリュー)形式のようなテキスト形式で保存する場合、この点は大きな問題となる。
このようなことから、従来のプロセス分野の情報制御システムでは、非特許文献1のchapter−4に紹介されているように、各サンプル点(以下、プロセス分野の制御システムの表現に倣い、「タグ」と呼ぶ。)毎に予めシステム構築時に設定される閾値に基づいて、タグの入力データ値から計算した評価値が閾値よりも小さい場合に、データを廃棄する(間引く)ことでデータを圧縮する方法が採用されている。そのような圧縮方法としては、Box Carアルゴリズム、Backward Slopeアルゴリズム、Swinging Doorアルゴリズムなどが用いられる。また、特許文献1には、誤差が予め設定された閾値以下となるように、折れ線グラフで近似することでデータを間引くアルゴリズムが提案されている。
特開2008−167329号公報
Ali Ahammad Shoukat Choudhury, et al., Diagnosis of Process Nonlinearities and Valve Stiction: Data Driven Approaches, chapter-4, Springer, 2008. Frank Alsmeyer, Automatic adjustment of data compression in process information management systems,16th European Symposium on Computer Aided Process Engineering and 9th International Symposium on Process Systems Engineering, 2006.
これらの公知技術では、各タグに対応する入力データを、予め設定された評価指標と閾値とを用いて評価することによって取捨選択するが、データの精度と圧縮率とを決める要因となるこの閾値は、各タグの入力データを予め収集して分析することによって適切に決定する必要があり、数万点にも及ぶことがある各種のタグに対して、閾値を適切に調整することは難しいという課題があった。
閾値の自動調整に関しては、非特許文献2に開示されているような技術があり、この文献には、センサによる測定誤差やノイズを取り除くことを目的とした閾値の調整方法が記載されているが、目標とする圧縮率を得るためのアルゴリズムは開示されていない。
一方、情報制御システムを構築するにあたっては、予め保存すべきプロセスデータのデータ量を見積もって、必要な容量の記憶装置を準備しなければならない。したがって、データの圧縮率が想定できない従来の自動圧縮アルゴリズムは適用が難しいという課題があった。
本発明は、前記の課題を解決するためになされたものであり、情報制御システムの各タグの時系列データなどの数値データシーケンスを間引いて圧縮する際に、目標とする圧縮率との偏差が小さくなるように前記閾値を自動的に設定することを目的とする。
前記の目的を達成するために、本発明は、数値データシーケンスの中から、データを間引くか否かの判定に使用される閾値に基づいてデータを間引くことによって、非可逆にデータを圧縮するデータ圧縮装置が実行するデータ圧縮方法であって、所定数の数値データと、データの圧縮に用いる特定の圧縮アルゴリズムに対応する圧縮率の期待値と前記閾値との関係を用いて、目標圧縮率に対応する前記閾値を設定する第1の工程と、設定されている前記閾値を用いて前記圧縮アルゴリズムによって数値データを圧縮する第2の工程とを含むことを特徴とする。
タグの値から計算した値をチェックし、これが閾値よりも小さい場合にデータを間引いて廃棄する圧縮アルゴリズムでは、タグの値から計算した値をyとし、抽出した値をy(0)、次のデータ値をy(1)のように表すものとすると、一般に、この値y(i)と閾値と圧縮率の期待値との関係は数1の式によって表すことができる。この確率モデルを特定するパラメータの値は、圧縮アルゴリズムと平均値や分散などの統計的なデータ特性とによって決定できる。本発明のデータ圧縮装置は、各データの統計的なデータ特性の計算または数値シミュレーションを行うことによって、データ圧縮演算の確率モデルの係数を決定し、この係数で特定されるモデルに基づいて、圧縮のための閾値を決定することを主な特徴とする。
Figure 2012010319
本発明によれば、情報制御システムの各タグの時系列データなどの数値データシーケンスを間引いて圧縮する際に、目標とする圧縮率との偏差が小さくなるように前記閾値を自動的に設定することができる。
第一実施形態に係るデータ圧縮装置の構成例を示すブロック図である。 第一実施形態に係るデータ圧縮処理の例を示すフローチャートである。 第一実施形態に係る圧縮アルゴリズムの具体例についての説明図である。 第一実施形態に係る圧縮アルゴリズムの圧縮率(の期待値)とΔ/eとの関係を示すグラフである。 データ値の変化が大きい部分が偏在している数値データシーケンスの一例を示すグラフである。 有意なデータの比率αの値の算出方法の例を説明するためのグラフである。 有意なデータの比率αの値を算出するための処理方法の例を示すフローチャートである。 第二実施形態に係るデータ圧縮装置の構成例を示すブロック図である。 第二実施形態に係るデータ圧縮処理の例を示すフローチャートである。 Box Carアルゴリズムについての説明図である。 Box Carアルゴリズムにおいて最新抽出点からi番目の点が次の抽出点となる確率分布の例を示す図である。 一階差分値の分布のモデル化についての説明図である。 Box Carアルゴリズムにおける圧縮率と閾値との相関を示すグラフである。 Backward Slopeアルゴリズムについての説明図である。 Swinging Doorアルゴリズムについての説明図である。 Swinging Doorアルゴリズムにおける圧縮率と閾値との相関を示すグラフである。 第六実施形態に係るデータ圧縮装置の構成例を示すブロック図である。 第六実施形態に係る相関データ生成処理の例を示すフローチャートである。
以下、本発明を実施するための形態を、適宜図面を参照しながら説明する。なお、本明細書における「圧縮率」は、非特許文献1に記されている「Compression Factor」を意味するものとする。したがって、例えば100個のデータから25個のデータを抽出して圧縮する場合の圧縮率は4であり、100個のデータから10個のデータを抽出して圧縮する場合の圧縮率は10である。
[第一実施形態]
図1は、本発明の第一実施形態に係るデータ圧縮装置の構成例を示すブロック図である。図1に示すように、データ圧縮装置10は、サンプリング手段11、バッファリング手段12、スイッチ16、データ圧縮手段13、履歴データ管理手段14、閾値設定手段15、履歴データ表示手段17を有して成る。
サンプリング手段11は、例えば、DCS(Distributed Control System)やSCADA(Supervisory Control And Data Acquisition System)などであり、多数のタグのプロセスデータを特定の周期で(例えば5秒毎に)サンプリングし、タイムスタンプを付けてバッファリング手段12に引き渡す。バッファリング手段12は、サンプリング手段11から引き渡されたプロセスデータ(サンプルデータ)を所定数になるまで順次蓄積する。各タグのサンプルデータは時刻と値、ならびに状態などの属性を持つデータとしてバッファリング手段12に順次蓄積される。
各々のタグに関して、バッファリング手段12に所定数のサンプルデータが溜まると、図1の太実線矢印にて示すように、スイッチ16を介してそれらのデータがまとめてデータ圧縮手段13に送られ、データ圧縮手段13によって圧縮された結果のデータが、履歴データ管理手段14に送られて保存・管理される。履歴データ管理手段14は、履歴データ表示手段17などからの参照要求に応じて、圧縮された結果のデータから元の時系列データの値を推定する復元処理を行い、復元した時系列データを要求元に提供する。
また、データ圧縮手段13は、自身が圧縮したデータの実際の圧縮率が目標とする圧縮率に達していない状況が続くと、図1の破線矢印にて示すように、スイッチ16からの出力経路を閾値設定手段15側に切り換えることによって、データ圧縮に用いるパラメータであるデータ圧縮用閾値の再設定を促す。それにより、バッファリング手段12に溜まった所定数のサンプルデータは、スイッチ16を介して閾値設定手段15に送られる。続いて、閾値設定手段15は、受け取ったサンプルデータを用いてデータ圧縮用閾値の再計算を実行し、求めた新たなデータ圧縮用閾値を、データ圧縮手段13に引き渡したのち、データ圧縮用閾値の再計算に用いたサンプルデータをデータ圧縮手段13に送付する。以後、データ圧縮手段13は、閾値設定手段15から引き渡された新たなデータ圧縮用閾値を用いてサンプルデータの圧縮を行う。
図2は、データ圧縮装置10が備える不図示のCPUによって不図示の記憶部から読み出されるプログラムによって実行されるデータ圧縮処理の例を示すフローチャートである。以下、図2のフローチャートに沿ってデータ圧縮処理の流れを詳しく説明する。
まず始めに、ステップS21にて、サンプリング手段11から所定の周期で(例えば5秒ごとに)送られてくるサンプルデータを待ち、サンプルデータが送られてきたら、ステップS22にて、送られたサンプルデータをバッファリング手段12に格納する。
次に、ステップS23にて、バッファリング手段12に溜まったサンプルデータの数(格納データ数)が所定数に達したか否かを判定する。所定数に達していなければ(ステップS23で「yes」)、ステップS21に処理を戻して次のサンプルデータを取得し、所定数に達した場合は(ステップS23で「no」)、ステップS24に処理を進める。
ステップS24では、データ圧縮用閾値を再計算する必要があるときに値が真となる閾値再設定フラグが真か否かを判定する。閾値再設定フラグが真の場合(ステップS24で「yes」)、図1のスイッチ16を破線矢印の向きに切り換えて、サンプルデータを閾値設定手段15に供給する。閾値設定手段15は、ステップS25にて、受け取ったサンプルデータを用いてデータ圧縮用閾値の再計算を行い、次にステップS26にて、再計算して求めた新たな値をデータ圧縮手段13に送付してデータ圧縮用閾値を変更させたのち、ステップS27にて、パラメータの再計算に用いたサンプルデータをデータ圧縮手段13に供給し、ステップS29に処理を進める。
他方、ステップS24で閾値再設定フラグが偽の場合(ステップS24で「no」)、
図1のスイッチ16を太実線矢印の向きに設定して、ステップS28にて、バッファリング手段12に溜まったサンプルデータをデータ圧縮手段13に供給し、ステップS29に処理を進める。
ステップS29では、データ圧縮手段13は、バッファリング手段12もしくは閾値設定手段15から供給されたサンプルデータの圧縮を実行し、次に、ステップS30にて、圧縮結果のデータを履歴データ管理手段14に引き渡して格納させる。
次に、ステップS31にて、データ圧縮手段13は、直前に実行したデータ圧縮についての実際のデータ圧縮率が、所定の下限値と上限値との範囲内にあるか否かを判定し、その判定結果にしたがってそれぞれ圧縮良回数と圧縮不良回数のいずれかをカウントアップする(ステップS32、ステップS33)。
次に、ステップS34以下にて、データ圧縮手段13は、データ圧縮用閾値の再設定が必要か不要かを判定し、その結果に基づいて閾値再設定フラグの値を設定する。具体的には、まずステップS34にて、現在の閾値再設定フラグが偽(再設定不要)であるか否かを判定し、閾値再設定フラグが偽の場合(ステップS34で「yes」)、ステップS35にて、圧縮良回数に対する圧縮不良回数の比率が第1の所定値(所定値1)を超えているか否かを判定し、所定値1を超えている場合は(ステップS35で「yes」)、データ圧縮用閾値の再設定が必要と判定して閾値再設定フラグの値を真に設定する(ステップS36)。また、ステップS34にて閾値再設定フラグが真(再設定要)の場合(ステップS34で「no」)、ステップS37にて、圧縮良回数に対する圧縮不良回数の比率が第2の所定値(所定値2)を下回っているか否かを判定し、所定値2を下回っている場合は(ステップS37で「yes」)、データ圧縮用閾値の再設定は不要と判定して閾値再設定フラグの値を偽に設定する(ステップS38)。
以降は、再び、サンプリング手段11からサンプルデータが送られるのを待つステップS21に戻って前記の処理を繰り返す。なお、新規にサンプリングするタグの閾値再設定フラグの値を真としておくことにより、ステップS25においてデータ圧縮用閾値の初期化が行われる。
以上のような処理により、サンプルデータの実際のデータ圧縮率が所定の下限値と上限値の範囲内に収まる圧縮良回数と、実際のデータ圧縮率がそれ以外となる圧縮不良回数との比率が、所定の範囲内に保たれるように自動的にデータ圧縮用閾値の更新が行われるので、各タグの時系列データ全体の圧縮率と目標とする圧縮率との偏差を小さくすることができる。
次に、図3を用いて、本発明の第一実施形態におけるデータ圧縮手段13が行う圧縮処理の具体例について説明する。図3に示した圧縮アルゴリズムは、誤差が予め設定された閾値以下となるように折れ線グラフで近似することでデータを間引く、新たなアルゴリズムである。
図3において、縦軸はサンプルデータの値を、横軸はサンプリング時刻を表しており、太いプラス記号は、最後にデータが抽出された抽出点を示すものとする。第k−1番目のサンプルデータである抽出点とその次のサンプルデータV(k)とを結ぶ直線を延長した破線は、抽出点とその次の点とから推定可能なデータ列の傾きを表しており、この破線から推定される値と実際のサンプルデータとの偏差の絶対値の累積値であるy(i)の値が、初めて所定の閾値以上となったときに、第i−1番目のサンプルデータを次の抽出点とする。ここで、kを直近の抽出点の次のサンプル点のサンプリングインデックスとすると、数1の式におけるy(i)は数2の式によって表される。
Figure 2012010319
一方、数1の式におけるy(i)で初めて閾値を超える確率、つまり、第iサンプル目で初めてy(i)が閾値を超える確率は、1サンプル進めた場合のy(i)の増加量である(y(i)-y(i-1))の期待値eとその分布が分かれば計算することができる。
y(i)の増加量の分布を増加量xの関数N(x)と表すものとすると、y(1)が閾値を超える確率Pは、閾値Δの関数となり、数3の式で表すことができる。また、y(2)で初めて閾値を超える確率Pは数4の式で表すことができる。これを一般化して、y(i)で初めて閾値を超える確率Pは数5の式で表される。
Figure 2012010319
Figure 2012010319
Figure 2012010319
N(x)を正規分布と仮定してPからPまでの値を計算し、数1の式に基づいて圧縮率(の期待値)とΔ/eとの関係を求めた結果を図4に示す。この結果に示されるように、圧縮率が1以上4以下の範囲においては、圧縮率と閾値Δとy(i)の増加量の期待値eとの関係は、およそ数6の式で近似することができる。
Figure 2012010319
本発明の第一実施形態における閾値設定手段15は、この数6の式を用いて、目標圧縮率に対応した閾値Δを算出する。そのためには、y(i)の増加量の期待値であるeの値を求める必要があるが、これは、直近のサンプルデータのy(i)の増加量の平均値であるe’で代用する。このe’は、数7および数8の式によって求めることができる。
Figure 2012010319
Figure 2012010319
ところで、図5の例に示すように、サンプルデータV(j)の値の変化が大きい部分が偏在している場合、数7および数8の式によって求めたe’の値は、変化が大きく圧縮しないで残しておきたい部分のe値に比べ小さな値となる。そのため、求めたe’の値を数6の式のeに代入して閾値Δを算出すると、相対的に小さな閾値を設定することになり、目標圧縮率を下回る可能性が高くなる。したがって、e’の値には、数7の式によって求められるサンプルデータ全体の二階差分値f(j)の平均値ではなく、連続してf(j)の値が小さくなる部分を除いた残りの有意なデータの平均値を用いるのが好ましい。
ここで、このようなケースの極端な例として、有意なデータの比率をαとし、増加量f(j)の値が、全サンプル数Nの内、(1−α)・Nサンプル(1>α)で連続して0となっているようなデータについて考える。この場合、全体のf(j)の値の平均値をμとすると、連続して0となっているデータを除いた残りの部分のf(j)の値の平均値はμ/αとなる。また、連続してf(j)=0となる(1−α)・N点がすべて間引かれるものとすると、それらを除いた残りのα・N点の圧縮率は、全体の圧縮率のα倍となる。このことから、数9の式を導くことができる。この数9の式は、f(j)の値が0ではなく他のデータに比べて十分に小さいときの近似式としても用いることができる。
Figure 2012010319
次に、この有意なデータの比率αの算出方法について説明する。図6は、図5に示したサンプルデータV(j)の二階差分値f(j)の累積値Σf(j)をトータルの累積値で正規化し、サンプリングインデックスjとの関係をプロットしたグラフである。データの変化が均質であれば、グラフは原点と右上の頂点p5とを結ぶ対角線に近くなるが、データの変化が大きい部分が偏在していると、図6のグラフのように階段状になる。例えば、原点と点p1との間、点p2と点p3との間、および点p4と点p5との間は、データの変化が小さい部分であると考えられる。そこで、図6のようなグラフを生成し、例えば、連続した10点以上から成る区間の傾きが、原点と右上の頂点p5とを結ぶ対角線の傾きの10分の1以下であれば、全体のデータ数からその区間のデータ数を減じる等の方法によって、データの変化が小さい部分を除いた残りのデータ数を求める。このデータの変化が小さい部分を除いた残りの部分の全体に占める割合がαであるので、求めたデータ数を全体のデータ数で割ることによりαの値を算出することができる。
また、図7は、有意なデータの比率αの値を算出するための他の処理方法の例を示すフローチャートである。まず始めに、ステップS71では、カウンタCを初期化する。次に、ステップS72でサンプルデータV(j)の二階差分データV(j)を生成し、ステップS73では、その絶対値の移動平均値V(k)を生成する。次に、ステップS74では、V(k)の平均値μを計算し、ステップS75では、ステップS76の判定処理を繰り返す。ステップS76では、ステップS73で生成したV(k)の値が、ステップS74で計算したμの値の所定比率(例えば5%)未満であるか否かを判定し、所定比率未満であれば、ステップS77にて、ステップS71で初期化したカウンタCの値をインクリメントする。最後に、ステップS78では、サンプルデータ数Nと移動平均の計算に使ったサンプル数MとカウンタCとからαを求める計算を行い、αの値をを算出する。
なお、数1の式に基づく確率モデルにおいて、ここでは正規分布を仮定したが、代わりに、一様分布などの他の分布を仮定し、これをモンテカルロ法などの数値シミュレーションによって解析して圧縮率と閾値との関係のモデルを特定し、これを数8や数9の式に代えて使用するようにしてもよい。
[第二実施形態]
図8は、本発明の第二実施形態に係るデータ圧縮装置の構成例を示すブロック図である。図8に示すように、データ圧縮装置10Aは、サンプリング手段11、バッファリング手段12、データ圧縮手段13、履歴データ管理手段14、閾値設定手段15、履歴データ表示手段17を有して成る。
この第二実施形態においては、サンプリング手段11がサンプリングした各サンプルデータは、その都度データ圧縮手段13とバッファリング手段12との双方に引き渡される。データ圧縮手段13は、その時点で保持しているデータ圧縮用閾値に基づいて逐次データの圧縮を行い、履歴データ管理手段14に圧縮結果のデータを引き渡す。
一方、バッファリング手段12は、サンプリング手段11から引き渡されるサンプルデータを蓄積し、所定数のサンプルデータが溜まる都度、それらのデータをまとめて閾値設定手段15に供給する。閾値設定手段15は、それらのサンプルデータを用いてデータ圧縮用閾値の再計算を行い、再計算して求めた新たなデータ圧縮用閾値をデータ圧縮手段13に通知して保持させる。
これにより、データ圧縮手段13は、閾値設定手段15から所定の周期で通知される最新のデータ圧縮用閾値を用いてデータ圧縮を行う。
図9は、データ圧縮装置10Aが備える不図示のCPUによって不図示の記憶部から読み出されるプログラムによって実行されるデータ圧縮処理の例を示すフローチャートである。以下、図9のフローチャートに沿ってデータ圧縮処理の流れを詳しく説明する。
まず始めに、ステップS91にて、サンプリング手段11から所定の周期で(例えば5秒ごとに)送られてくるサンプルデータを待ち、サンプルデータが送られてきたら、ステップS92にて、データ圧縮手段13は当該データを抽出して残すか否かの取捨判定を行い、抽出対象とする場合は(ステップS93で「yes」)、ステップS94にて、履歴データ管理手段14に当該データとそのサンプリングインデックスとの組を引き渡して格納させる。
また、ステップS95では、サンプリング手段11から送られたサンプルデータをバッファリング手段12に格納し、次に、ステップS96にて、バッファリング手段12に溜まったサンプルデータの数(格納データ数)が所定数に達したか否かを判定する。所定数に達していなければ(ステップS96で「yes」)、ステップS91に処理を戻して次のサンプルデータを取得し、所定数に達した場合は(ステップS96で「no」)、ステップS97に処理を進める。
ステップS97では、閾値設定手段15は、バッファリング手段12に溜まった所定数のサンプルデータを取得し、それらのサンプルデータを用いてデータ圧縮用閾値の再計算を行う。次にステップS98にて、再計算して求めた新たな値をデータ圧縮手段13に送付してデータ圧縮用閾値を変更させたのち、ステップS91に処理を戻す。それにより、次のサンプルデータからは変更後のデータ圧縮用閾値を用いて圧縮処理が実行される。
なお、ここでは、所定数のサンプルデータが溜まる都度、データ圧縮用閾値を再計算するものとしたが、所定数のサンプルデータが溜まってから新たなサンプルデータが送られる都度、それまでに溜まったサンプルデータと合わせて用いることでデータ圧縮用閾値の再計算を行うようにしてもよい。また、再計算の結果を直接データ圧縮手段13に送付して変更させるのではなく、複数回の再計算結果の移動平均の値を送付するようにしてもよい。このような移動平均の値を用いることで、例えばセンサのレンジオーバーなどで生じるデータ特性の一時的変化などの影響によって、データ圧縮用閾値が急激に変動する現象を抑止することができる。また、データ圧縮手段13が図2のステップS31〜S38と同様な手順でデータ圧縮用閾値の再設定の要否を判定し、閾値再設定フラグが真のときだけに、バッファリング手段12から閾値設定手段15にサンプルデータを供給して、データ圧縮用閾値の再設定を行わせるようにしてもよい。
[第三実施形態]
本発明の第三実施形態として、非特許文献1に記載のBox Carアルゴリズムを用いてデータを圧縮する場合を説明する。Box Carアルゴリズムとは、図10に示すように、太いプラス記号で示す最新の抽出点からのデータの変化量が閾値Δを超える点の直前の点(黒丸印)を次の抽出点とするアルゴリズムである。
最新の抽出点のサンプリングインデックスがkであったとし、サンプリングインデックスを変数jで表すと、j=k+1の点が抽出されるのは、|V(k+1)-V(k)|≦Δ であり、かつ |V(k+2)-V(k)|>Δ となる場合である。同様に、j=k+iの点が抽出されるのは、0<l<i+1であるすべてのlに対して、|V(k+l)−V(k)|≦Δ であり、かつ |V(k+i+1)−V(k)|>Δ となる場合である。ここで、一階差分x(=V(k+i+1)−V(k+i))の分布関数(確率密度関数)をN(x)と表すものとすると、kから第iサンプル目が抽出される確率P(i≧1)は、数10の式で表すことができる。
Figure 2012010319
一方、|V(k+1)−V(k)|>Δ の場合には、定義によれば、j=kの点を再度抽出しなくてはならなくなるため、この場合に限り、j=k+1の点を抽出するものとし、このようにkの次のサンプルが抽出される確率をPと表すことにすると、Pは数11の式で表すことができる。また、圧縮率(の期待値)Fは、これらのPを用いて、数12の式で表すことができる。
Figure 2012010319
Figure 2012010319
この確率密度関数N(x)を例えば平均値ゼロのガウス分布と仮定できるとすれば、標準正規分布を用いて、適当な閾値Δに対して、前記Pのiの値を1,2,・・・に設定して、予め数10〜数12の式を解いておくことにより、圧縮率Fの近似値を求めることができる。なお、このような式を解くためには、例えばMaple(登録商標)などの市販ソフトウェアを使うことができる。図11には、N(x)を標準正規分布とし、Δ=1.8としたときのP〜Pまでを、数10,数11の式に基づいてMapleにより解いた結果を実線で示した。また、N(x)が標準正規分布となるように乱数を生成して得た時系列データに対して、前記のBox CarアルゴリズムのルールをΔ=1.8に設定して適用することで実際にデータを抽出して統計的にPの値を算出する、という数値シミュレーション処理を多数回実施し、その結果を平均して得た分布を破線で示した。
このようにして得た閾値Δに対するPと数12の式とを用いれば、標準偏差で正規化したときの圧縮率Fと閾値Δとの関係を求めることができるので、この両者の関係を表す相関データを生成して予め閾値設定手段15に組み込んでおく。そして、実際の時系列データから、その一階差分xの標準偏差σを求め、標準正規分布に対して得た閾値Δと圧縮率Fとの関係を表す相関データを参照して決定した目標圧縮率に対応する閾値Δの値に標準偏差σを乗ずることで、実際の時系列データに対応したデータ圧縮用閾値を決定することができる。
なお、平均値がゼロと仮定できない場合は、確率密度関数N(x)のモデルとした標準正規分布の代わりに、例えば分散が1で、平均値μを標準偏差に対して正規化した複数の正規分布を適宜決定し、その確率密度関数のもとで、数10〜数12の式を解くことにより、前記の例と同様に、正規化した複数の平均値μについて、閾値Δと圧縮率Fとの関係をそれぞれ求め、それらの関係を表す相関データを生成して予め閾値設定手段15に組み込んでおく。そして、実際の時系列データから、その一階差分xの標準偏差σと平均値mとを求め、この平均値mを標準偏差σで除することによって得られる正規化した平均値μの値に対応する相関データを参照して閾値Δの値を決定し、その値に標準偏差σを乗ずることで、実際の時系列データに対応したデータ圧縮用閾値を決定することができる。
さらに、このような方法は、確率密度関数のモデルをガウス分布に限定する必要はなく、実際に時系列データの一階差分に対して期待される分布関数の形を予め予測できる場合には、適用することが可能である。例えば、図12(b)に示すように、N(x)が所定の範囲で一様な確率密度を持つような分布と考えられる場合には、図12(a)に示すように、予め値域をμ±0.5のような形でモデル化して複数のμの値に対応する圧縮率Fと閾値Δとの関係を求めておき、実際の時系列データから、その一階差分xの値域δと平均値mとを求め、m=μδとなるμの値に対応する相関データを参照することで、値域μ±0.5のモデルから圧縮率Fに対応する閾値Δの値を決定し、その値に値域δを乗ずることで、実際の時系列データに対応したデータ圧縮用閾値を決定することができる。
なお、図11に破線で示した数値実験(数値シミュレーション)の結果と実線で示した計算結果(理論値)とは非常によく一致しており、数値実験を用いて閾値Δと圧縮率Fとの関係を求めても、理論式に基づく場合と同様の効果が期待できる。このことから、あらかじめ想定したxの分布に対して、数値実験によりPの分布を求めておき、これに基づいて閾値Δと圧縮率Fとの関係を表す相関データを生成するようにしてもよい。このようにすれば、処理時間の短縮を図りつつ、データ圧縮用閾値の設定ついては理論値を使用した場合と同様の効果を得ることができる。また、xが正規分布以外の多様な分布にしたがう場合であっても圧縮用閾値Δと圧縮率Fとの関係を表す相関データを生成することができ、それを参照して同様に実際の時系列データに対応したデータ圧縮用閾値を決定することができる。
図13は、複数の平均値μに対するBox Carアルゴリズムにおける圧縮用閾値Δと圧縮率Fとの相関を示すグラフである。なお、横軸の圧縮用閾値Δは、一階差分xの標準偏差σで正規化した値を示している。このような相関を表す相関データを例えばテーブル化して、前記の数6や数9の式の代わりに、閾値設定手段15に組み込んでおくことにより、Box Carアルゴリズムを用いてデータを圧縮する場合にも本発明を適用することができる。
[第四実施形態]
本発明の第四実施形態として、非特許文献1に記載のBackward Slopeアルゴリズムを用いてデータを圧縮する場合を説明する。Backward Slopeアルゴリズムとは、図14に示すように、太いプラス記号で示した最新の抽出点と、太い×印で示した更にその一つ前の抽出点とを結んでできる直線を、閾値Δ分、上下に平行移動した二直線に挟まれる範囲からデータが外れる直前の点を次の抽出点(黒丸印)とするアルゴリズムである。前記のBox Carアルゴリズムは、言い換えると、最新の抽出点を挟んで時間軸に平行な二直線に挟まれる範囲からデータが外れる直前の点を抽出するものである。これに対して、Backward Slopeアルゴリズムは、一様な傾きで変化するデータを極力廃棄することで、圧縮効率を高めようとするものである。これは、一階差分xの平均値がゼロに見えるようにBox Carアルゴリズムを改良したものと考えることができる。
したがって、閾値設定手段15において、一階差分xの分散や平均値などの統計量を求める処理では、平均的な変化率の影響を考慮する必要があるが、それ以外はBox Carアルゴリズムにおける平均値μ=0のケースだけを考慮した閾値Δと圧縮率Fとの関係を使って、目標圧縮率に対するデータ圧縮用閾値を決定すればよい。
例えば、閾値設定手段15において、時系列データの統計量を算出する処理では、一階差分xの平均値の影響を取り除くために、目標圧縮率と同程度のオーダーの移動平均を算出し、これを除いたデータに対して、一階差分xを求め、その分散を用いるなどすれば、Backward Slopeアルゴリズムを用いたデータ圧縮手段13に対しても、同様に目標圧縮率に対応したデータ圧縮用閾値を自動的に決定することができる。
[第五実施形態]
本発明の第五実施形態として、非特許文献1に記載のSwinging Doorアルゴリズムを用いてデータを圧縮する場合を説明する。Swinging Doorアルゴリズムの計算モデルは数13の式によって表される。
Figure 2012010319
Swinging Doorアルゴリズムとは、図15に示すように、太いプラス記号で示した最新の抽出点(インデックス=k)からi+1サンプル読み進めた時点で、閾値Δの大きさを有し、それらのサンプル点をすべて挟み込むDoorの上枠の傾きU(j)(ここでj=k+1〜k+i+1)の最小値とDoorの下枠の傾きL(j)の最大値との差が初めて正になったとき、すなわち、Doorの上枠と下枠とが時刻が増大する方向で初めて交わらなくなったときに、直前のiサンプル目(黒丸印)を抽出するアルゴリズムである。
ここで、iサンプル目が抽出される確率をPと表すことにすると、Pは数14〜数22の式で表される。ここで、N(x)は、抽出点からiサンプル先でのデータV(k+i)とV(k)の差、すなわちV(k+i)−V(k)であるxがとる値の確率密度を表す関数とする。またV(k+i)−V(k+i−1)をyとしたとき、yは一階差分であるため、データの性質が時間的に変化しないものと仮定すれば、yがとる値の分布はk+iによらず一定の分布にしたがうものと考えることができるので、yの確率密度を表す関数をN(y)とした。Δは閾値である。
Figure 2012010319
Figure 2012010319
Figure 2012010319
Figure 2012010319
Figure 2012010319
Figure 2012010319
Figure 2012010319
Figure 2012010319
Figure 2012010319
このPを用いて、圧縮率Fは数23の式によって求めることができる。
Figure 2012010319
例えば、データがブラウン運動の場合、一階差分値の分散をσとすれば、N(y)は分散σの正規分布で、N(x)は分散がi倍の正規分布と考えることができ、これを用いて数14〜数22の式を数式処理ソフトなどで解くことにより、iサンプル目が抽出される確率Pと閾値Δとの関係を求め、さらに数23の式から圧縮率の期待値Fと閾値Δとの関係を求めることができる。
一方、BoxCarアルゴリズムと同様にして正規化された閾値と圧縮率との関係を図11で結果を示したのと同様な数値実験により求めてもよい。このようにして得た結果を図16に示す。なお、横軸の圧縮閾値Δは一階差分値の標準偏差σで正規化した値を示す。
このように、図13や図16のようなモデルの相関データを閾値設定手段15に組み込んでおき、実際のデータから得た平均値μや標準偏差σから、目的とする圧縮率に対応した閾値を求め、この値を実データの平均値と分散とで補正することで、BoxCar アルゴリズムやBackward Slopeアルゴリズム、Swinging Doorアルゴリズムを用いたデータ圧縮手段13に対しても、目標圧縮率に対応したデータ圧縮用閾値を自動的に決定することができる。
[第六実施形態]
図17は、本発明の第六実施形態に係るデータ圧縮装置の構成例を示すブロック図である。図17に示すように、データ圧縮装置10Bは、サンプリング手段11、差分値分布計算手段1401、擬似時系列生成手段1402、擬似データ圧縮手段13B、閾値−圧縮率相関生成手段1403、閾値設定手段15B、データ圧縮手段13、履歴データ管理手段14、履歴データ表示手段17を有して成る。前記の第一実施形態から第五実施形態では、タグデータの一階差分値や二階差分値の分布を予め想定し、数式モデルやモンテカルロシミュレーションなどを行って圧縮率の期待値と閾値との関係を求めたが、この第六実施形態では、閾値と圧縮率の期待値との関係を実データからモデル化して相関データを生成し、当該相関データによって閾値設定手段15Bに閾値を設定させる。
この第六実施形態においては、サンプリング手段11がデータをサンプリングする都度、データ圧縮手段13を用いて圧縮を行い、結果を履歴データ管理手段14に格納するとともに、入ってきたデータをバッファリング手段12にも送信してデータを蓄え、所定数のデータが溜まった時点で、差分値分布計算手段1401により、データの一階差分値または二階差分値の分布を計算する。擬似時系列生成手段1402では、このようにして得た一階差分値または二階差分値の分布を用いて擬似時系列データを発生する。閾値−圧縮率相関生成手段1403は、適宜閾値を設定して、この擬似時系列データを擬似データ圧縮手段13Bにより圧縮させ、閾値と圧縮率との関係を表す相関データの更新を行う。最後に閾値−圧縮率相関生成手段1403は、得られた閾値と圧縮率との関係を表す相関データを閾値設定手段15Bに設定する。これにより、閾値設定手段15Bは、これまでの実施形態とは違い、実データの統計的特性を仮定したモデルではなく、実データを模擬して実際に圧縮を行うことによって得た相関データに基づいて、データ圧縮手段13にデータ圧縮用閾値を設定する。
なお、擬似データ圧縮手段13Bには、実データに対する圧縮を行うデータ圧縮手段13と同一の圧縮アルゴリズムを実装しておく。差分値分布計算手段1401において一階差分値を用いるか二階差分値を用いるかは、データ圧縮手段13および擬似データ圧縮手段13Bに実装する圧縮アルゴリズムに依存するが、例えば、図3を用いて説明したアルゴリズムの場合は、二階差分値を、Swinging DoorアルゴリズムやBox Carアルゴリズム、Backward Slopeアルゴリズムの場合は、一階差分値を用いる。
図18は、データ圧縮装置10Bが備える不図示のCPUによって不図示の記憶部から読み出されるプログラムによって実行される相関データ生成処理の例を示すフローチャートである。以下、図18のフローチャートに沿って相関データ生成処理の流れを詳しく説明する。
ステップS151により、ステップS152からステップS157までの処理は、所定回数繰り返し実行され、その繰り返しで得た結果をステップS158により平均化して、ステップS159にて閾値設定手段15Bに設定する。
ステップS151での繰り返し処理は、ステップS152〜ステップS154により構成される。始めに、ステップS152にて、予め一定期間に亘って取得した実データの一階または二階差分値のヒストグラムデータと乱数とを用いて、擬似的な一階または二階差分値のデータを所定個数生成する。次に、ステップS153にて、これら生成した差分値のデータを用いて所定長の擬似時系列データを生成する。生成したこの擬似時系列データに対して、ステップS154での繰り返し処理を通じて、複数の閾値と圧縮率との関係を求める。
ステップS154での繰り返し処理では、実データの一階または二階差分値の平均値を基準として、その所定値(例えば、0.1,0.2,・・・,1,2,・・・,10)倍の値を閾値に設定し、各閾値に対してステップS155〜ステップS157を実行する。ステップS155では、擬似データ圧縮手段13Bが設定された閾値を用いて擬似時系列データの圧縮を行い、閾値−圧縮率相関生成手段1403が、ステップS156にて、元の擬似時系列データと圧縮結果との圧縮前後のデータ数から圧縮率を計算したのち、ステップS157にて、閾値と圧縮率とのペアをリストに追加して保持しておく。
このような処理を所定回数繰り返すことにより、閾値−圧縮率相関生成手段1403は、各閾値についての閾値と圧縮率とのペアを、繰り返した所定回数に等しい数だけ得ることができる。十分に長い周期の擬似乱数で十分な数の繰り返しを行ったのちに、閾値−圧縮率相関生成手段1403は、ステップS158にて、リスト中の閾値と圧縮率とのペアのうち、同じ閾値のペアについて、圧縮率の平均値を算出し、ステップS159にて、算出した平均値を圧縮率の期待値とみなして、閾値と圧縮率の期待値との関係を表す相関データを生成して、当該相関データを閾値設定手段15Bに設定する。
このようにすることで、一階差分あるいは二階差分値の分布関数が不明な場合であっても、それらの分布関数を予め仮定することから生じる目標圧縮率と実際の圧縮率との誤差を回避して、高精度に圧縮率の制御を行うことができる。
また、本実施形態では、サンプリング手段11が取得したデータをデータ圧縮手段13とバッファリング手段12とに同時に流して閾値の設定に用いる相関データを更新し、更新された相関データを用いて閾値設定手段15Bがデータ圧縮用閾値を再設定するものとしたが、データ圧縮手段13が図2のステップS31〜S38と同様な手順でデータ圧縮用閾値の再設定の要否を判定し、閾値再設定フラグが真のときだけに、閾値設定手段15Bにデータ圧縮用閾値の再設定を行わせるようにしてもよい。
以上にて本発明を実施するための形態の説明を終えるが、本発明の実施の態様はこれらに限られるものではなく、本発明の趣旨を逸脱しない範囲内で各種の変更が可能である。
10,10A,10B データ圧縮装置
11 サンプリング手段
12 バッファリング手段
13 データ圧縮手段
13B 擬似データ圧縮手段
14 履歴データ管理手段
1401 差分値分布計算手段
1402 擬似時系列生成手段
1403 閾値−圧縮率相関生成手段(相関データ生成手段)
15,15B 閾値設定手段
16 スイッチ
17 履歴データ表示手段

Claims (16)

  1. 数値データシーケンスの中から、データを間引くか否かの判定に使用される閾値に基づいてデータを間引くことによって、非可逆にデータを圧縮するデータ圧縮装置が実行するデータ圧縮方法であって、
    所定数の数値データと、データの圧縮に用いる特定の圧縮アルゴリズムに対応する圧縮率の期待値と前記閾値との関係を用いて、目標圧縮率に対応する前記閾値を設定する第1の工程と、
    設定されている前記閾値を用いて前記圧縮アルゴリズムによって数値データを圧縮する第2の工程と
    を含むことを特徴とするデータ圧縮方法。
  2. 数値データシーケンスの中から、データを間引くか否かの判定に使用される閾値に基づいてデータを間引くことによって、非可逆にデータを圧縮するデータ圧縮装置が実行するデータ圧縮方法であって、
    所定数の数値データと、データの圧縮に用いる特定の圧縮アルゴリズムに対応する圧縮率の期待値と前記閾値との関係を用いて、目標圧縮率に対応する前記閾値を初期設定する第1の工程と、
    設定されている前記閾値を用いて前記圧縮アルゴリズムによって数値データを圧縮するとともに、前記所定数ごとの数値データの実際の圧縮率を算出する第2の工程と、
    算出した前記実際の圧縮率と前記目標圧縮率とに基づいて前記閾値の再設定が必要か不要かを判定する第3の工程と、
    直近の所定数の数値データと前記圧縮率の期待値と前記閾値との関係を用いて、目標圧縮率に対応する前記閾値を再設定する第4の工程と
    を含むことを特徴とするデータ圧縮方法。
  3. 請求項2に記載のデータ圧縮方法において、
    前記第3の工程における前記閾値の再設定が必要か不要かの判定は、前記実際の圧縮率と前記目標圧縮率との乖離が所定の範囲を超える回数と超えない回数との比率が第1の所定値以上になったときに再設定が必要と判定され、前記比率が第2の所定値以下になったときに再設定が不要と判定される
    ことを特徴とするデータ圧縮方法。
  4. 請求項1から請求項3のいずれか一項に記載のデータ圧縮方法において、
    前記特定の圧縮アルゴリズムは、
    最後にデータが抽出された抽出点のデータ値とその次のデータ値との偏差が継続するものとして推定される値と、前記抽出点の2つ先のデータ以降の実際のデータ値との偏差の絶対値の累積値が、前記閾値以上となったときに、前記閾値以上となったデータの1つ前のデータを次の抽出点として抽出し、前記次の抽出点までの間のデータを間引いて廃棄するものである
    ことを特徴とするデータ圧縮方法。
  5. 請求項4に記載のデータ圧縮方法において、
    前記圧縮率の期待値と前記閾値との関係は、前記数値データシーケンスの隣接データ間の二階差分値の絶対値の平均値と前記閾値と前記目標圧縮率との関係を表す式または相関データによって表される
    ことを特徴とするデータ圧縮方法。
  6. 請求項1から請求項3のいずれか一項に記載のデータ圧縮方法において、
    前記特定の圧縮アルゴリズムは、
    Box Carアルゴリズム、Backward Slopeアルゴリズム、またはSwinging Doorアルゴリズムである
    ことを特徴とするデータ圧縮方法。
  7. 請求項6に記載のデータ圧縮方法において、
    前記圧縮率の期待値と前記閾値との関係は、前記数値データシーケンスの隣接データ間の一階差分値の平均値をその標準偏差で正規化した値と、前記閾値と前記目標圧縮率との関係を表す式または相関データによって表される
    ことを特徴とするデータ圧縮方法。
  8. 請求項1から請求項3のいずれか一項に記載のデータ圧縮方法において、
    前記データ圧縮装置は、前記数値データシーケンスから隣接データ間の一階差分値または二階差分値の分布を求め、求めた分布にしたがって生成した複数の擬似時系列データを前記閾値を適宜設定して前記圧縮アルゴリズムで圧縮することによって当該閾値に対する圧縮率を測定し、それら測定した圧縮率の平均値を前記目標圧縮率として前記相関データを生成する
    ことを特徴とするデータ圧縮方法。
  9. 数値データシーケンスの中から、データを間引くか否かの判定に使用される閾値に基づいてデータを間引くことによって、非可逆にデータを圧縮するデータ圧縮装置であって、
    所定数の数値データと、データの圧縮に用いる特定の圧縮アルゴリズムに対応する圧縮率の期待値と前記閾値との関係を用いて、目標圧縮率に対応する前記閾値を算出する閾値設定手段と、
    設定されている前記閾値を用いて前記圧縮アルゴリズムによって数値データを圧縮するデータ圧縮手段と
    を備えることを特徴とするデータ圧縮装置。
  10. 請求項9に記載のデータ圧縮装置において、
    前記データ圧縮手段は、さらに、
    前記所定数ごとの数値データの実際の圧縮率を算出し、算出した前記実際の圧縮率と前記目標圧縮率とに基づいて前記閾値の再設定が必要か不要かを判定して前記閾値設定手段に前記閾値を再算出させる
    ことを特徴とするデータ圧縮装置。
  11. 請求項10に記載のデータ圧縮装置において、
    前記データ圧縮手段による前記閾値の再設定が必要か不要かの判定は、前記実際の圧縮率と前記目標圧縮率との乖離が所定の範囲を超える回数と超えない回数との比率が第1の所定値以上になったときに再設定が必要と判定され、前記比率が第2の所定値以下になったときに再設定が不要と判定される
    ことを特徴とするデータ圧縮装置。
  12. 請求項9から請求項11のいずれか一項に記載のデータ圧縮装置において、
    前記特定の圧縮アルゴリズムは、
    最後にデータが抽出された抽出点のデータ値とその次のデータ値との偏差が継続するものとして推定される値と、前記抽出点の2つ先のデータ以降の実際のデータ値との偏差の絶対値の累積値が、前記閾値以上となったときに、前記閾値以上となったデータの1つ前のデータを次の抽出点として抽出し、前記次の抽出点までの間のデータを間引いて廃棄するものである
    ことを特徴とするデータ圧縮装置。
  13. 請求項12に記載のデータ圧縮装置において、
    前記圧縮率の期待値と前記閾値との関係は、前記数値データシーケンスの隣接データ間の二階差分値の絶対値の平均値と前記閾値と前記目標圧縮率との関係を表す式または相関データによって表される
    ことを特徴とするデータ圧縮装置。
  14. 請求項9から請求項11のいずれか一項に記載のデータ圧縮装置において、
    前記特定の圧縮アルゴリズムは、
    Box Carアルゴリズム、Backward Slopeアルゴリズム、またはSwinging Doorアルゴリズムである
    ことを特徴とするデータ圧縮装置。
  15. 請求項14に記載のデータ圧縮装置において、
    前記圧縮率の期待値と前記閾値との関係は、前記数値データシーケンスの隣接データ間の一階差分値の平均値をその標準偏差で正規化した値と、前記閾値と前記目標圧縮率との関係を表す式または相関データによって表される
    ことを特徴とするデータ圧縮装置。
  16. 請求項9から請求項11のいずれか一項に記載のデータ圧縮装置において、
    前記数値データシーケンスから隣接データ間の一階差分値または二階差分値の分布を求め、求めた分布にしたがって生成した複数の擬似時系列データを前記閾値を適宜設定して前記圧縮アルゴリズムで圧縮することによって当該閾値に対する圧縮率を測定し、それら測定した圧縮率の平均値を前記目標圧縮率として前記相関データを生成する相関データ生成手段
    を備えることを特徴とするデータ圧縮装置。
JP2011095122A 2010-05-28 2011-04-21 時系列データの圧縮方法および圧縮装置 Expired - Fee Related JP5458056B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011095122A JP5458056B2 (ja) 2010-05-28 2011-04-21 時系列データの圧縮方法および圧縮装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010122287 2010-05-28
JP2010122287 2010-05-28
JP2011095122A JP5458056B2 (ja) 2010-05-28 2011-04-21 時系列データの圧縮方法および圧縮装置

Publications (2)

Publication Number Publication Date
JP2012010319A true JP2012010319A (ja) 2012-01-12
JP5458056B2 JP5458056B2 (ja) 2014-04-02

Family

ID=45540298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011095122A Expired - Fee Related JP5458056B2 (ja) 2010-05-28 2011-04-21 時系列データの圧縮方法および圧縮装置

Country Status (1)

Country Link
JP (1) JP5458056B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014118954A1 (ja) * 2013-01-31 2014-08-07 株式会社東芝 データ圧縮装置、データ圧縮方法およびプログラム
KR20150120924A (ko) * 2015-10-15 2015-10-28 (주) 솔텍시스템 시계열적 공정 데이터의 압축 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9979415B2 (en) 2015-02-16 2018-05-22 Mitsubishi Electric Corporation Data compression apparatus, data decompression apparatus, data compression method, data compression method, and computer readable medium
CN110915139A (zh) * 2017-07-17 2020-03-24 西门子股份公司 用于数据获取的方法、现场设备和云基础设施
CN110995275A (zh) * 2019-11-20 2020-04-10 安徽省安泰科技股份有限公司 一种对于旋转门压缩算法的改进算法
WO2020084839A1 (ja) * 2018-10-25 2020-04-30 沖電気工業株式会社 センサデータ圧縮システム、センサ端末、モデル構築装置、およびプログラム
CN112667582A (zh) * 2020-12-22 2021-04-16 上海上实龙创智能科技股份有限公司 一种用于工业实时数据库的数据压缩方法
CN115098507A (zh) * 2022-06-30 2022-09-23 东方合智数据科技(广东)有限责任公司 一种基于工业互联网数据的存储方法及相关设备
CN115268831A (zh) * 2022-09-22 2022-11-01 北京中科心研科技有限公司 浮点数据压缩方法、装置、可穿戴智能设备及存储介质
CN116979972A (zh) * 2023-09-21 2023-10-31 成都博宇利华科技有限公司 一种针对模数转换器采集数据的压缩及解压缩方法
CN117650791A (zh) * 2024-01-30 2024-03-05 苏芯物联技术(南京)有限公司 一种融合焊接工艺机理的焊接历史气流数据压缩方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06162159A (ja) * 1992-06-12 1994-06-10 Nippon Steel Corp 図形データの処理方法及び装置
JP2005286437A (ja) * 2004-03-29 2005-10-13 Seiko Epson Corp 画像群のダイジェストの作成
JP2009080076A (ja) * 2007-09-27 2009-04-16 Nippon Steel Corp 成形品の形状評価方法及び装置
JP2009110419A (ja) * 2007-10-31 2009-05-21 Toshiba Corp 遠隔監視システム及びトラフィック制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06162159A (ja) * 1992-06-12 1994-06-10 Nippon Steel Corp 図形データの処理方法及び装置
JP2005286437A (ja) * 2004-03-29 2005-10-13 Seiko Epson Corp 画像群のダイジェストの作成
JP2009080076A (ja) * 2007-09-27 2009-04-16 Nippon Steel Corp 成形品の形状評価方法及び装置
JP2009110419A (ja) * 2007-10-31 2009-05-21 Toshiba Corp 遠隔監視システム及びトラフィック制御方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JPN6013063420; Gang Chen,Li Li: 'An Optimized Algorithm for Lossy Compression of Real-Time Data' Data of Conference , 201010, pp.187-191 *
JPN7013004733; Nina F. Thornhill,M.A.A. Shoukat Choudhury,Sirish L.Shah: 'The impact of compression on data-driven process analyses' Journal of Process Control 14 , 2004, pp.389-398 *
JPN7013004734; Peter A. James: 'Data Compression For Process Historians' CAST Communications vol.19,no.2, 1996, pp.15-21 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014118954A1 (ja) * 2013-01-31 2014-08-07 株式会社東芝 データ圧縮装置、データ圧縮方法およびプログラム
JP5622967B1 (ja) * 2013-01-31 2014-11-12 株式会社東芝 データ圧縮装置、データ圧縮方法およびプログラム
US9979415B2 (en) 2015-02-16 2018-05-22 Mitsubishi Electric Corporation Data compression apparatus, data decompression apparatus, data compression method, data compression method, and computer readable medium
KR20150120924A (ko) * 2015-10-15 2015-10-28 (주) 솔텍시스템 시계열적 공정 데이터의 압축 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR101896002B1 (ko) 2015-10-15 2018-09-06 (주) 솔텍시스템 실시간 공정 데이터를 효율적으로 압축 처리하기 위한 서버
CN110915139B (zh) * 2017-07-17 2023-10-27 西门子股份公司 用于数据获取的方法、现场设备和云基础设施
CN110915139A (zh) * 2017-07-17 2020-03-24 西门子股份公司 用于数据获取的方法、现场设备和云基础设施
WO2020084839A1 (ja) * 2018-10-25 2020-04-30 沖電気工業株式会社 センサデータ圧縮システム、センサ端末、モデル構築装置、およびプログラム
JP2020068473A (ja) * 2018-10-25 2020-04-30 沖電気工業株式会社 センサデータ圧縮システム、センサ端末、モデル構築装置、およびプログラム
CN110995275B (zh) * 2019-11-20 2023-04-14 安徽省安泰科技股份有限公司 一种对于旋转门压缩算法的改进算法
CN110995275A (zh) * 2019-11-20 2020-04-10 安徽省安泰科技股份有限公司 一种对于旋转门压缩算法的改进算法
CN112667582A (zh) * 2020-12-22 2021-04-16 上海上实龙创智能科技股份有限公司 一种用于工业实时数据库的数据压缩方法
CN115098507B (zh) * 2022-06-30 2023-08-18 东方合智数据科技(广东)有限责任公司 一种基于工业互联网数据的存储方法及相关设备
CN115098507A (zh) * 2022-06-30 2022-09-23 东方合智数据科技(广东)有限责任公司 一种基于工业互联网数据的存储方法及相关设备
CN115268831B (zh) * 2022-09-22 2022-12-20 北京中科心研科技有限公司 浮点数据压缩方法、装置、可穿戴智能设备及存储介质
CN115268831A (zh) * 2022-09-22 2022-11-01 北京中科心研科技有限公司 浮点数据压缩方法、装置、可穿戴智能设备及存储介质
CN116979972A (zh) * 2023-09-21 2023-10-31 成都博宇利华科技有限公司 一种针对模数转换器采集数据的压缩及解压缩方法
CN116979972B (zh) * 2023-09-21 2023-12-12 成都博宇利华科技有限公司 一种针对模数转换器采集数据的压缩及解压缩方法
CN117650791A (zh) * 2024-01-30 2024-03-05 苏芯物联技术(南京)有限公司 一种融合焊接工艺机理的焊接历史气流数据压缩方法
CN117650791B (zh) * 2024-01-30 2024-04-05 苏芯物联技术(南京)有限公司 一种融合焊接工艺机理的焊接历史气流数据压缩方法

Also Published As

Publication number Publication date
JP5458056B2 (ja) 2014-04-02

Similar Documents

Publication Publication Date Title
JP5458056B2 (ja) 時系列データの圧縮方法および圧縮装置
CN110880984A (zh) 基于模型的流量异常监测方法、装置、设备及存储介质
CN113792453B (zh) 基于数字孪生的局部放电监测系统、方法和装置
CN110149237B (zh) 一种Hadoop平台计算节点负载预测方法
JP2010505184A (ja) 動的な状態推定
CN110414679A (zh) 模型训练方法、装置、电子设备和计算机可读存储介质
CN112907128B (zh) 基于ab测试结果的数据分析方法、装置、设备及介质
JP2020086778A (ja) 機械学習モデル構築装置および機械学習モデル構築方法
CN116776155B (zh) 一种基于联邦学习的模型训练方法、装置、设备和介质
CN109145399B (zh) 一种基于改进的粒子滤波算法的疲劳裂纹扩展预测方法
CN113902118A (zh) 量子测量设备校准方法及装置、电子设备和介质
JP2016126596A (ja) 差分学習管理プログラム、差分学習管理装置及び差分学習管理方法
JP6642431B2 (ja) 流量予測装置、混合比推定装置、方法およびコンピュータ読み取り可能記録媒体
CN112532615A (zh) 一种智能电网蠕虫检测方法
JP2020187507A (ja) 3次元モデル生成装置
KR101549349B1 (ko) 데이터 기반 모델의 건물 에너지 모델링 방법과 이를 이용한 에너지 최적관리와 제어 방법
JP2009536412A5 (ja)
CN112396100B (zh) 一种细粒度分类模型的优化方法、系统及相关装置
JP2015216585A (ja) トラヒック量上限値予測装置及び方法及びプログラム
CN109493065A (zh) 一种基于行为增量更新的欺诈交易检测方法
JP2002334293A (ja) 特性予測システム、特性予測方法およびその方法を記憶した記憶媒体
Meidani et al. Uncertainty quantification for Markov chain models
CN113179224A (zh) 用于内容分发网络的流量调度方法及装置
US20220076148A1 (en) Information processing device and information processing method
JP2002373309A (ja) 特性予測システム、特性予測方法およびその方法を記憶した記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140110

R150 Certificate of patent or registration of utility model

Ref document number: 5458056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees