JP2023160301A - data compression device - Google Patents

data compression device Download PDF

Info

Publication number
JP2023160301A
JP2023160301A JP2022070563A JP2022070563A JP2023160301A JP 2023160301 A JP2023160301 A JP 2023160301A JP 2022070563 A JP2022070563 A JP 2022070563A JP 2022070563 A JP2022070563 A JP 2022070563A JP 2023160301 A JP2023160301 A JP 2023160301A
Authority
JP
Japan
Prior art keywords
data
interpolated
time
post
history
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022070563A
Other languages
Japanese (ja)
Inventor
修二 山本
Shuji Yamamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2022070563A priority Critical patent/JP2023160301A/en
Publication of JP2023160301A publication Critical patent/JP2023160301A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Complex Calculations (AREA)

Abstract

To solve the problem in which: occurrence of a shift in every data acquisition timing reduces compressibility.SOLUTION: A data compression device comprises interpolation means, compression means, and data storage means. The interpolation means, from the time series of history data including time data and statistic data associated with the time data and data indicating a predetermined collection interval, calculates, by interpolation calculation, the time series of post-interpolation history data including post-interpolation time data and post-interpolation statistic data associated with the post-interpolation time data. The compression means calculates compression history data including post-interpolation statistic data extracted from the time series of the post-interpolation history data in order of the time indicated by the post-interpolation time data. The data storage means outputs the compression history data to a database.SELECTED DRAWING: Figure 1

Description

本発明は、データ圧縮装置、データ圧縮方法、および、プログラムに関する。 The present invention relates to a data compression device, a data compression method, and a program.

データとそのデータを取得した取得時刻とを対応付けた情報の情報量を削減するためのデータ圧縮装置が知られている。例えば、特許文献1に記載された技術(以下、第1の関連技術と記す)では、取得開始時刻から所定のサンプリング間隔で取得される複数のデータとこれら複数のデータそれぞれの取得時刻とを含む圧縮対象情報から、取得時刻の順に複数のデータを抽出し、この取得時刻の順に抽出した複数のデータと、上記取得開始時刻と、上記サンプリング間隔を示す間隔情報とを含む、圧縮情報を出力する。 2. Description of the Related Art A data compression device is known for reducing the amount of information that associates data with the acquisition time at which the data was acquired. For example, the technology described in Patent Document 1 (hereinafter referred to as the first related technology) includes a plurality of data acquired at predetermined sampling intervals from an acquisition start time and an acquisition time of each of the plurality of data. A plurality of pieces of data are extracted from the compression target information in the order of acquisition time, and compressed information is output including the plurality of data extracted in the order of acquisition time, the acquisition start time, and interval information indicating the sampling interval. .

特開2017-022522号公報JP2017-022522A 特開2021-052263号公報JP 2021-052263 Publication 特許第4911061号Patent No. 4911061

第1の関連技術は、毎回のデータの取得タイミングにずれが発生しない環境では有効に機能する。しかし、毎回のデータの取得タイミングにずれが発生する環境では、「取得開始時刻から所定のサンプリング間隔で取得される複数のデータ」という前提条件が成立しないため、圧縮率が低下する。 The first related technique functions effectively in an environment where there is no deviation in the timing of data acquisition each time. However, in an environment where there is a shift in the timing of data acquisition each time, the precondition that "a plurality of data are acquired at predetermined sampling intervals from the acquisition start time" does not hold, and the compression ratio decreases.

本発明の目的は、上述した課題を解決するデータ圧縮装置を提供することにある。 An object of the present invention is to provide a data compression device that solves the above-mentioned problems.

本発明の一形態に係るデータ圧縮装置は、
時刻データおよび前記時刻データと関連付けられた統計データを含む履歴データの時系列と、予め定められた収集間隔を示すデータとから、補間演算によって、補間後時刻データおよび前記補間後時刻データと関連付けられた補間後統計データを含む補間後履歴データの時系列を算出する補間手段と、
前記補間後履歴データの時系列から前記補間後時刻データが示す時刻の順に抽出した前記補間後統計データを含む圧縮履歴データを算出する圧縮手段と、
前記圧縮履歴データをデータベースに出力するデータ格納手段と、
を備えるように構成されている。
A data compression device according to one embodiment of the present invention includes:
A time series of historical data including time data and statistical data associated with the time data, and data indicating a predetermined collection interval are correlated with the post-interpolated time data and the post-interpolated time data by an interpolation operation. interpolation means for calculating a time series of interpolated history data including post-interpolated statistical data;
Compression means for calculating compressed history data including the post-interpolated statistical data extracted from the time series of the post-interpolated history data in the order of time indicated by the post-interpolated time data;
data storage means for outputting the compression history data to a database;
It is configured to include.

また、本発明の他の形態に係るデータ圧縮方法は、
時刻データおよび前記時刻データと関連付けられた統計データを含む履歴データの時系列と、予め定められた収集間隔を示すデータとから、補間演算によって、補間後時刻データおよび前記補間後時刻データと関連付けられた補間後統計データを含む補間後履歴データの時系列を算出し、
前記補間後履歴データの時系列から前記補間後時刻データが示す時刻の順に抽出した前記補間後統計データを含む圧縮履歴データを算出し、
前記圧縮履歴データをデータベースに出力する、
ように構成されている。
Further, a data compression method according to another embodiment of the present invention includes:
A time series of historical data including time data and statistical data associated with the time data, and data indicating a predetermined collection interval are correlated with the post-interpolated time data and the post-interpolated time data by an interpolation operation. Calculate the time series of the interpolated historical data including the interpolated statistical data,
calculating compressed history data including the post-interpolated statistical data extracted from the time series of the post-interpolated history data in the order of time indicated by the post-interpolated time data;
outputting the compression history data to a database;
It is configured as follows.

また、本発明の他の形態に係るプログラムは、
コンピュータに、
時刻データおよび前記時刻データと関連付けられた統計データを含む履歴データの時系列と、予め定められた収集間隔を示すデータとから、補間演算によって、補間後時刻データおよび前記補間後時刻データと関連付けられた補間後統計データを含む補間後履歴データの時系列を算出する処理と、
前記補間後履歴データの時系列から前記補間後時刻データが示す時刻の順に抽出した前記補間後統計データを含む圧縮履歴データを算出する処理と、
前記圧縮履歴データをデータベースに出力する処理と、
を行わせるように構成されている。
Further, a program according to another embodiment of the present invention is
to the computer,
A time series of historical data including time data and statistical data associated with the time data, and data indicating a predetermined collection interval are correlated with the post-interpolated time data and the post-interpolated time data by an interpolation operation. a process of calculating a time series of interpolated historical data including post-interpolated statistical data;
a process of calculating compressed history data including the post-interpolated statistical data extracted from the time series of the post-interpolated history data in the order of time indicated by the post-interpolated time data;
a process of outputting the compression history data to a database;
is configured to perform the following.

本発明は上述のような構成を有することにより、毎回のデータの取得タイミングにずれが発生する状況であっても、高い圧縮率を実現することができる。 By having the above-described configuration, the present invention can achieve a high compression ratio even in a situation where a shift occurs in the timing of data acquisition each time.

本発明の第1の実施形態に係るデータ圧縮装置のブロック図である。FIG. 1 is a block diagram of a data compression device according to a first embodiment of the present invention. 第2の関連技術におけるデータ構造、管理対象の構成の具体例を示す図である。FIG. 7 is a diagram illustrating a specific example of a data structure and a configuration of managed objects in the second related technology. 図2におけるファクトテーブル8の登録内容をイメージ化したもの(非圧縮時)を示す図である。3 is a diagram showing an image of the registered contents of the fact table 8 in FIG. 2 (uncompressed). FIG. 本発明の第2の実施形態に係る管理システムの構成例を示す図である。It is a figure showing an example of composition of a management system concerning a 2nd embodiment of the present invention. 本発明の第2の実施形態に係る管理システムにおける統計データの登録例を示す図である。It is a figure which shows the example of registration of statistical data in the management system based on the 2nd Embodiment of this invention. 本発明の第2の実施形態に係る管理システムにおける線形補間の説明図である。FIG. 6 is an explanatory diagram of linear interpolation in the management system according to the second embodiment of the present invention.

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態に係るデータ圧縮装置100のブロック図である。図1を参照すると、データ圧縮装置100は、補間手段101と圧縮手段102とデータ格納手段103とを含んで構成されている。
Next, embodiments of the present invention will be described in detail with reference to the drawings.
[First embodiment]
FIG. 1 is a block diagram of a data compression device 100 according to a first embodiment of the present invention. Referring to FIG. 1, a data compression device 100 includes an interpolation means 101, a compression means 102, and a data storage means 103.

補間手段101は、履歴データの時系列と予め定められた収集間隔とを入力する。それぞれの履歴データは、時刻データとその時刻データと関連付けられた統計データとを含む。履歴データは、図示しないデータ取得手段によって、例えば、サーバコンピュータなどの被管理対象装置の状態を示す統計データおよび当該統計データが取得された時刻を示す時刻データを含む履歴データとして、上記収集間隔に基づいて周期的に取得されたものであってよい。但し、毎回の統計データの取得タイミングにずれが発生していてもよい。例えば、被管理対象装置の状態(例えばサーバコンピュータの負荷率)を10秒の収集間隔で収集するように設計された管理システムであっても、常に正確に10秒毎に負荷率を取得することができる保証はなく、あるときは前回取得時刻から10.1秒後の負荷率が取得され、或いは9.9秒後の負荷率が取得されることがあり得る。 The interpolation means 101 inputs a time series of historical data and a predetermined collection interval. Each historical data includes time data and statistical data associated with the time data. The historical data is collected at the above-mentioned collection interval by a data acquisition means (not shown) as historical data including, for example, statistical data indicating the status of a managed device such as a server computer and time data indicating the time when the statistical data was acquired. It may be periodically acquired based on the data. However, there may be a shift in the timing of obtaining statistical data each time. For example, even if a management system is designed to collect the status of a managed device (for example, the load factor of a server computer) at a collection interval of 10 seconds, it is necessary to always accurately obtain the load factor every 10 seconds. There is no guarantee that the load factor will be obtained, and in some cases, the load factor may be obtained 10.1 seconds after the previous acquisition time, or the load factor may be obtained 9.9 seconds after the previous acquisition time.

また、収集間隔は、補間手段101からアクセス可能な記録媒体に予め記録されている時間情報であってよい。或いは、収集間隔は、履歴データの時系列に含まれる時刻データから補間手段101が取得周期の平均値などとして統計的に算出した時間情報であってもよい。 Further, the collection interval may be time information recorded in advance on a recording medium accessible from the interpolation means 101. Alternatively, the collection interval may be time information statistically calculated by the interpolation means 101 as an average value of acquisition cycles from time data included in a time series of historical data.

また、補間手段101は、入力された履歴データの時系列と収集間隔とから、補間演算によって、補間後時刻データおよび補間後時刻データと関連付けられた補間後統計データを含む補間後履歴データの時系列を算出する。例えば、補間手段101は、履歴データの時系列におけるn番目の履歴データを構成する時刻データおよび統計データをtnおよびvn、補間後履歴データの時系列におけるn番目の補間後履歴データを構成する補間後時刻データおよび補間後統計データをtn'およびvn'、収集間隔をCとするとき、後述する第2の実施形態以降で説明する式(1)~(3)で与えられる線形補間演算を行って、補間後履歴データの時系列を算出してよい。但し、補間演算は、線形補間に限定されず、ラグランジュ補間やスプライン補間であってもよい。なお、最初のデータなど、補間後データが存在しない場合は補間前データを使用する。 Further, the interpolation unit 101 performs an interpolation operation on the time series of the input history data and the collection interval to calculate the time of the post-interpolated history data including the post-interpolated time data and the post-interpolated statistical data associated with the post-interpolated time data. Calculate the series. For example, the interpolation means 101 configures time data and statistical data t n and v n that constitute the n-th history data in the time series of the history data, and configures the n-th post-interpolated history data in the time series of the interpolated history data. When the interpolated time data and interpolated statistical data are t n' and v n' and the collection interval is C, the linearity given by equations (1) to (3) described later in the second embodiment and later is An interpolation calculation may be performed to calculate the time series of the interpolated history data. However, the interpolation calculation is not limited to linear interpolation, and may be Lagrangian interpolation or spline interpolation. Note that if post-interpolation data does not exist, such as the first data, pre-interpolation data is used.

圧縮手段102は、補間手段101によって算出された補間後履歴データの時系列から補間後時刻データが示す時刻の順に抽出した補間後統計データを含む圧縮履歴データを算出する。また、圧縮手段102は、さらに、上記算出した圧縮履歴データ中の補間後統計データを浮動小数点形式の2個の補間後統計データのXOR演算(eXclusive OR operation)を行って圧縮するようにしてもよい。 The compression means 102 calculates compressed history data including post-interpolation statistical data extracted from the time series of the post-interpolation history data calculated by the interpolation means 101 in the order of time indicated by the post-interpolation time data. Further, the compression means 102 may further perform an XOR operation (eXclusive OR operation) on two pieces of post-interpolated statistical data in floating point format to compress the post-interpolated statistical data in the compression history data calculated above. good.

データ格納手段103は、圧縮手段102によって算出された圧縮履歴データをデータベースに出力する。また、データ格納手段103は、圧縮履歴データを保存する領域に圧縮の有無を示す情報や圧縮履歴データに含まれる補間後統計データの個数を示す情報を格納したデータをデータベースに出力してよい。データベースの構造は任意である。例えば、データベースは、スタースキーマ構造を有していてよい。また、データベースは、圧縮履歴データと関連付けて、上記収集間隔を示すデータを予め保持していてよい。或いは、データ格納手段103は、圧縮履歴データと関連付けて、上記収集間隔を示すデータをデータベースに出力してよい。また、データ格納手段103は、圧縮履歴データの起点となる時刻データを当該圧縮履歴データと関連付けてデータベースに出力してよい。 The data storage means 103 outputs the compression history data calculated by the compression means 102 to the database. Further, the data storage unit 103 may output to the database data in which information indicating the presence or absence of compression and information indicating the number of interpolated statistical data included in the compression history data are stored in an area for storing compression history data. The structure of the database is arbitrary. For example, the database may have a star schema structure. Further, the database may previously hold data indicating the collection interval in association with the compression history data. Alternatively, the data storage means 103 may output data indicating the collection interval to the database in association with the compression history data. Further, the data storage unit 103 may output time data, which is the starting point of the compression history data, to the database in association with the compression history data.

また、データ圧縮装置100は、図示しないデータ解凍手段を含んでいてよい。データ解凍手段は、データベースから圧縮履歴データを読み出して解凍し、補間後履歴データを出力する。 Further, the data compression device 100 may include a data decompression means (not shown). The data decompression means reads compressed history data from the database, decompresses it, and outputs interpolated history data.

上述した補間手段101、圧縮手段102、データ格納手段103、および上述したデータ取得手段ならびにデータ解凍手段は、例えば、少なくともプロセッサとメモリとを差備えたコンピュータとこのコンピュータ上で実行されるプログラムとで実現することができる。 The above-mentioned interpolation means 101, compression means 102, data storage means 103, and the above-mentioned data acquisition means and data decompression means are, for example, a computer having at least a processor and a memory, and a program executed on this computer. It can be realized.

続いて、以上のように構成されたデータ圧縮装置100の動作を説明する。 Next, the operation of the data compression device 100 configured as above will be explained.

先ず、補間手段101は、図示しないデータ取得手段によって取得された時刻データおよび時刻データと関連付けられた統計データを含む履歴データの時系列と、予め定められた収集間隔を示すデータとから、補間演算によって、補間後時刻データおよび補間後時刻データと関連付けられた補間後統計データを含む補間後履歴データの時系列を算出する。 First, the interpolation unit 101 performs an interpolation calculation from a time series of historical data including time data acquired by a data acquisition unit (not shown) and statistical data associated with the time data, and data indicating a predetermined collection interval. A time series of post-interpolated history data including post-interpolated time data and post-interpolated statistical data associated with the post-interpolated time data is calculated.

例えば、以下のような履歴データ1~6の時系列を考える。
履歴データ1:時刻2022年04月15日09時00分00秒、統計データ000
履歴データ2:時刻2022年04月15日09時00分11秒、統計データ110
履歴データ3:時刻2022年04月15日09時00分19秒、統計データ190
履歴データ4:時刻2022年04月15日09時00分31秒、統計データ310
履歴データ5:時刻2022年04月15日09時00分40秒、統計データ400
履歴データ6:時刻2022年04月15日09時00分51秒、統計データ510
For example, consider the following time series of historical data 1 to 6.
Historical data 1: Time April 15, 2022 09:00:00, statistical data 000
Historical data 2: Time April 15, 2022 09:00:11, statistical data 110
Historical data 3: Time April 15, 2022 09:00:19, statistical data 190
Historical data 4: Time April 15, 2022 09:00:31, statistical data 310
Historical data 5: Time April 15, 2022 09:00:40, statistical data 400
Historical data 6: Time April 15, 2022 09:00:51, statistical data 510

補間手段101は、収集間隔を10秒とすると、履歴データ1~6から、例えば線形補間によって、以下のような補間後履歴データ1’~6’の時系列を算出する。
履歴データ1’:時刻2022年04月15日09時00分00秒、統計データ000
履歴データ2’:時刻2022年04月15日09時00分10秒、統計データ100
履歴データ3’:時刻2022年04月15日09時00分20秒、統計データ200
履歴データ4’:時刻2022年04月15日09時00分30秒、統計データ300
履歴データ5’:時刻2022年04月15日09時00分40秒、統計データ400
履歴データ6’:時刻2022年04月15日09時00分50秒、統計データ500
If the collection interval is 10 seconds, the interpolation means 101 calculates the following time series of interpolated history data 1' to 6' from the history data 1 to 6, for example, by linear interpolation.
Historical data 1': Time April 15, 2022 09:00:00, statistical data 000
Historical data 2': Time April 15, 2022 09:00:10, statistical data 100
Historical data 3': Time April 15, 2022 09:00:20, statistical data 200
Historical data 4': Time April 15, 2022 09:00:30, statistical data 300
Historical data 5': Time April 15, 2022 09:00:40, statistical data 400
Historical data 6': Time April 15, 2022 09:00:50, statistical data 500

次に、圧縮手段102は、補間手段101によって算出された補間後履歴データの時系列から補間後時刻データが示す時刻の順に抽出した補間後統計データを含む圧縮履歴データを算出する。例えば、圧縮手段102は、上記のような補間後履歴データ2’~6’の時系列の場合、以下のような6個の補間後統計データを含む圧縮履歴データを算出する。
補間後統計データ000
補間後統計データ100
補間後統計データ200
補間後統計データ300
補間後統計データ400
補間後統計データ500
Next, the compression means 102 calculates compressed history data including post-interpolation statistical data extracted from the time series of the post-interpolation history data calculated by the interpolation means 101 in the order of time indicated by the post-interpolation time data. For example, in the case of the time series of post-interpolated history data 2' to 6' as described above, the compression means 102 calculates compressed history data including the following six pieces of post-interpolated statistical data.
Statistical data after interpolation 000
Statistical data after interpolation 100
Statistical data after interpolation 200
Statistical data after interpolation 300
Statistical data after interpolation 400
Statistical data after interpolation 500

次に、データ格納手段103は、圧縮手段102によって算出された圧縮履歴データをデータベースに出力する。また、データ格納手段103は、履歴データ1の時刻データを上記圧縮履歴データと関連付けてデータベースに出力する。 Next, the data storage means 103 outputs the compression history data calculated by the compression means 102 to the database. Further, the data storage means 103 outputs the time data of the history data 1 to the database in association with the compressed history data.

以上のように構成され動作するデータ圧縮装置100によれば、毎回のデータの取得タイミングにずれが発生する状況であっても、高い圧縮率を実現することができる。その理由は、データ圧縮装置100は、履歴データの時系列と予め定められた収集間隔を示すデータとから時間的に等間隔な補間後履歴データの時系列を算出し、この補間後履歴データの時系列から圧縮履歴データを算出し、この圧縮履歴データをデータベースに出力するためである。 According to the data compression apparatus 100 configured and operated as described above, a high compression ratio can be achieved even in a situation where a shift occurs in the timing of data acquisition each time. The reason is that the data compression device 100 calculates a time series of interpolated history data at equal intervals in time from the time series of history data and data indicating a predetermined collection interval, and This is to calculate compression history data from the time series and output this compression history data to the database.

[第2の実施形態]
次に、本発明の第2の実施形態について詳細に説明する。
[本実施形態の特徴]
本実施形態では、運用管理システムが管理対象から収集したデータを保存する際に行うデータ圧縮の方法を改善する。特許文献2に記載の技術(以下、第2の関連技術と記す)では、収集したデータを構成する統計データと時刻データの2種類のデータに合わせた方法でそれぞれ圧縮を行い、保存していたが、本実施形態では、圧縮・保存する対象を補間により算出した統計データのみとし、時刻データは保存しないようにすることで、より高い圧縮率を実現する。
[Second embodiment]
Next, a second embodiment of the present invention will be described in detail.
[Features of this embodiment]
In this embodiment, the data compression method performed when the operation management system saves data collected from managed objects is improved. In the technology described in Patent Document 2 (hereinafter referred to as the second related technology), the collected data is compressed and stored using a method tailored to the two types of data, statistical data and time data. However, in this embodiment, a higher compression ratio is achieved by compressing and saving only the statistical data calculated by interpolation and not saving the time data.

[本実施形態が解決しようとする課題]
サーバなどを構成要素とする管理システム上の履歴データを保存する仕組みやデータ構造に関する技術として、第2の関連技術および特許文献3に記載された技術(以下、第3の関連技術と記す)がある。
[Problems to be solved by this embodiment]
The second related technology and the technology described in Patent Document 3 (hereinafter referred to as the third related technology) are technologies related to a mechanism and data structure for storing historical data on a management system that includes a server as a component. be.

第3の関連技術では、スタースキーマのデータ構造を用いることで同一の管理対象に関して、複数の次元テーブルを使用して複数の視点で管理対象の統計データの履歴情報を検索しやすくする方法を提供している。 The third related technology provides a method that uses a star schema data structure to make it easier to search historical information on statistical data for the same management target from multiple perspectives using multiple dimensional tables. are doing.

また、第2の関連技術では、第3の関連技術をベースにdouble-delta圧縮とXOR圧縮の圧縮方法を用いて、時系列の時刻データと統計データの圧縮保存を行う方法を提供する。図2は、第2の関連技術におけるデータ構造、管理対象の構成の具体例を示している。また、図3は、図2におけるファクトテーブル8の登録内容をイメージ化したもの(非圧縮時)を示す。 Further, the second related technology provides a method for compressing and storing time series time data and statistical data using compression methods such as double-delta compression and XOR compression based on the third related technology. FIG. 2 shows a specific example of a data structure and a configuration of managed objects in the second related technology. Further, FIG. 3 shows an image of the registered contents of the fact table 8 in FIG. 2 (uncompressed).

第2の関連技術では、第3の関連技術をベースにdouble-delta圧縮とXOR圧縮の圧縮方法を用いて、時系列の時刻データと統計データの圧縮保存を行う方法を提供したが、実際の運用では、システムの負荷の影響を受けて、データの収集時刻が毎回少しずれる。この状況の場合、時刻データの圧縮方法であるdouble-delta圧縮では圧縮効率が良くない。 The second related technology provides a method for compressing and storing time series time data and statistical data using double-delta compression and XOR compression based on the third related technology. During operation, the data collection time varies slightly each time due to the influence of the system load. In this situation, double-delta compression, which is a time data compression method, does not have good compression efficiency.

例えば、次のように5分間隔で収集を行うシステムを考える。
1:00:00.000
1:05:00.000
1:10:00.000
For example, consider a system that collects data every 5 minutes as follows.
1:00:00.000
1:05:00.000
1:10:00.000

しかし、実際は、例えば以下のような収集間隔となり、きっちり5分間隔にならないことが多い。
1:00:00.005
1:05:00.100
1:10:00.079
However, in reality, the collection intervals are as shown below, and are often not exactly 5 minutes apart.
1:00:00.005
1:05:00.100
1:10:00.079

上記のようになった場合、第2の関連技術では、時刻データは9bit以上のデータ量が必要となる。この場合、4Byteのデータ領域では、最大でもデータ2個分の圧縮しかできない。 In the above case, in the second related technique, the time data requires a data amount of 9 bits or more. In this case, the 4-byte data area can only compress two pieces of data at most.

[本実施形態による解決手段]
本実施形態では、圧縮時にデータを格納する領域に時刻データの格納が必要なくなる以下の方法により課題を解決する。
[Solution means according to this embodiment]
In this embodiment, the problem is solved by the following method, which eliminates the need to store time data in the area where data is stored during compression.

先ず、実際に収集したデータや基準時刻などの情報より、対象の時刻データと統計データを次のように算出する。
(1)時刻データ:基準時刻に収集の間隔分、プラスする。
(2)統計データ:上記の時刻データに対応する統計データを、基準時刻のデータや実際に収集したデータの時刻データと統計データから、補間の手法を用いて算出する。
First, target time data and statistical data are calculated as follows from information such as actually collected data and reference time.
(1) Time data: Add the collection interval to the reference time.
(2) Statistical data: Statistical data corresponding to the above time data is calculated from the reference time data and the time data and statistical data of the actually collected data using an interpolation method.

上記により、任意のタイミングの時刻データ、即ち補間後の時刻データは、基準時刻と収集間隔の情報より簡易に算出できるようになるため、データベースには保存しない。データを取得する際に基準時刻と収集の間隔の情報より算出する。また、時刻データの保存に必要なデータ領域を、統計データの保存の領域として使用することができるようになる。 As a result of the above, time data at an arbitrary timing, that is, time data after interpolation, can be easily calculated from the reference time and collection interval information, and therefore is not stored in the database. Calculated from the reference time and collection interval information when acquiring data. Furthermore, the data area required for storing time data can be used as an area for storing statistical data.

[本実施形態の構成]
図4は、本実施形態に係る管理システムの構成例を示す図である。図4に示される管理システムの構成例と、図2に示される構成との差分は、図4中の太線矩形内のデータ補間手段17およびデータキャッシュ18である。
[Configuration of this embodiment]
FIG. 4 is a diagram showing a configuration example of a management system according to this embodiment. The difference between the configuration example of the management system shown in FIG. 4 and the configuration shown in FIG. 2 is the data interpolation means 17 and the data cache 18 inside the thick line rectangle in FIG.

一般的に、ITシステムはサーバやネットワークなどをシステムの構成要素とする。本実施形態における管理システムでは、これらの構成要素を管理対象とし、その構成要素の情報を保持し管理するための役割をもつ構成管理コンポーネント1を有する。 Generally, IT systems have servers, networks, etc. as system components. The management system in this embodiment has a configuration management component 1 that manages these components and has a role of holding and managing information on the components.

構成管理コンポーネント1は、管理対象のシステムの情報を構成情報DB(データベース)3に格納し、構成管理手段10で管理する。また、構成管理コンポーネント1は、構成の情報を履歴情報DB4に反映する手段として、次元テーブルデータ追加手段4を含む。 The configuration management component 1 stores information about the system to be managed in a configuration information DB (database) 3, and manages the information using the configuration management means 10. Further, the configuration management component 1 includes a dimensional table data addition unit 4 as a unit for reflecting configuration information in the history information DB 4.

また、管理システムは、システムの構成要素の状態を監視する機能としてシステム監視コンポーネント2を有する。システム監視コンポーネント2では、システム情報収集監視手段11により対象のシステムの履歴データの収集が行われる。また、システム情報収集監視手段11で収集されたデータは、システム監視コンポーネント2から履歴データ追加手段5へ受け渡しが行われる。履歴データ追加手段5では、システム情報収集監視手段11から受け渡されたデータをデータ圧縮解凍コンポーネント12のデータ補間手段17に送る。 The management system also includes a system monitoring component 2 as a function of monitoring the status of the system components. In the system monitoring component 2, the system information collection monitoring means 11 collects historical data of the target system. Further, the data collected by the system information collection and monitoring means 11 is transferred from the system monitoring component 2 to the history data addition means 5. The history data addition means 5 sends the data received from the system information collection and monitoring means 11 to the data interpolation means 17 of the data compression and decompression component 12.

データ圧縮解凍コンポーネント12では、データ補間手段17を使用して、履歴データ追加手段5から受け渡された履歴データの補間を行い、データ圧縮手段13に補間したデータを送る。データ補間手段17は、データ圧縮手段13に補間データを送れるようになるまで、一時的にデータを格納するデータキャッシュ18を使用する。データ補間の際に必要となる収集間隔の情報は構成情報DB3に事前に保存されている。データ補間手段17は、構成情報DB3から必要な収集間隔の情報を取得する。 The data compression/decompression component 12 uses the data interpolation means 17 to interpolate the history data passed from the history data addition means 5, and sends the interpolated data to the data compression means 13. The data interpolation means 17 uses a data cache 18 for temporarily storing data until the interpolation data can be sent to the data compression means 13. Information on collection intervals required for data interpolation is stored in advance in the configuration information DB3. The data interpolation means 17 acquires information on necessary collection intervals from the configuration information DB 3.

データ圧縮手段13では、データ補間手段17から受け渡された履歴データの圧縮を行い、圧縮データを履歴情報DB6のファクトテーブル8に登録する。データ圧縮手段13は、圧縮の際、データベースに登録が可能になるまで一時的にデータを格納するデータキャッシュ15を使用する。 The data compression means 13 compresses the history data passed from the data interpolation means 17 and registers the compressed data in the fact table 8 of the history information DB 6. During compression, the data compression means 13 uses a data cache 15 that temporarily stores data until it can be registered in the database.

本動作は定期的に動作し、対象となるシステムに関する性能データ・統計データが定期的に時系列の履歴データとして保存され、蓄積される。 This operation operates periodically, and performance data and statistical data regarding the target system are periodically saved and accumulated as time-series historical data.

システム管理ツールの履歴情報を格納するための履歴情報DB6は一般的にスタースキーマと呼ばれるテーブル構成でファクトテーブル8として使用されるデータテーブルとファクトテーブルを中心とした複数の次元テーブル7で構成される。 The history information DB 6 for storing history information of system management tools has a table structure generally called a star schema and is composed of a data table used as a fact table 8 and a plurality of dimensional tables 7 centered around the fact table. .

ファクトテーブル8は、システム情報収集監視手段11で収集されたシステムの状況を示す統計情報の履歴データとして登録される統計データと、そのデータを取得した日時を示す時刻データと、統計データ等と他のテーブルと関連付けるIDのデータで構成される。IDは、データテーブル上のデータと紐付く他の次元テーブル上のデータのインデックスとして使用され、データテーブルに登録される統計情報の履歴データがどのようなデータかを示すキーとなる。 The fact table 8 includes statistical data registered as historical data of statistical information indicating the status of the system collected by the system information collection and monitoring means 11, time data indicating the date and time when the data was acquired, statistical data, etc. It consists of ID data associated with the table. The ID is used as an index for data on other dimension tables that are linked to data on the data table, and serves as a key indicating what kind of historical data is the statistical information registered in the data table.

ファクトテーブル8に登録される統計データは、サーバの負荷情報、イベントの発生情報、構成変更回数などのサーバ統計情報のデータが格納される。また、ファクトテーブル8に登録される統計データには、サーバ数などの統計情報が含まれていてよい。ファクトテーブル8以外のその他のテーブルでは、管理の対象のシステムの構成を示すデータを格納する。 The statistical data registered in the fact table 8 includes server statistical information such as server load information, event occurrence information, and the number of configuration changes. Further, the statistical data registered in the fact table 8 may include statistical information such as the number of servers. Tables other than fact table 8 store data indicating the configuration of the system to be managed.

また、管理システムには、履歴情報DB6に登録されるデータをシステムの利用者に表示するためのレポート作成手段9がある。レポート作成手段9は、データ圧縮解凍コンポーネント12のデータ解凍手段14から、履歴情報DB6のデータを検索、および、取得し、レポートを作成する。 The management system also includes report creation means 9 for displaying data registered in the history information DB 6 to users of the system. The report creation means 9 searches for and obtains data from the history information DB 6 from the data decompression means 14 of the data compression and decompression component 12, and creates a report.

[本実施形態の動作]
本実施形態に係る管理システムの主要な動作について、説明する。
[Operation of this embodiment]
The main operations of the management system according to this embodiment will be explained.

<データ補間方法の概要>
システム監視コンポーネント2においてシステム情報収集監視手段11により収集された履歴データは、履歴データ追加手段5からデータ圧縮解凍コンポーネント12のデータ補間手段17に送られ、データキャッシュ18に一時的に格納される。
<Overview of data interpolation method>
The history data collected by the system information collection and monitoring means 11 in the system monitoring component 2 is sent from the history data addition means 5 to the data interpolation means 17 of the data compression and decompression component 12, and is temporarily stored in the data cache 18.

データ補間手段17では、次の計算式でデータ補間を行う。
n'=tn-1'+C ・・・(1)
n'、=(1-α)×vn-1'+α×vn、 ・・・(2)
α=(tn'-tn-1')/(tn-tn-1') ・・・(3)
ここで、tn'はn番目の補間後の時刻データである。vn'はn番目の補間後の統計データである。tnはn番目の補間前の時刻データである。vnはn番目の補間前の統計データである。Cは収集間隔である。図6は上記式による線形補間の説明図である。前回収集タイミングの補間データtn-1'、vn-1'と、今回の収集のタイミングで実際に収集したデータtn、vnを使用して、補間データtn'、vn'を算出する。なお、tn-1’、vn-1’について、最初のデータなど、補間後データが存在しない場合は補間前データを使用する。
The data interpolation means 17 performs data interpolation using the following calculation formula.
t n' = t n-1' + C...(1)
v n' , = (1-α) x v n-1' + α x v n , ... (2)
α=(t n' - t n-1' )/(t n - t n-1' ) ... (3)
Here, t n' is time data after the n-th interpolation. v n' is statistical data after the n-th interpolation. t n is time data before the n-th interpolation. v n is the n-th pre-interpolation statistical data. C is the collection interval. FIG. 6 is an explanatory diagram of linear interpolation using the above equation. Using the interpolated data t n-1' , v n-1' at the previous collection timing and the data t n , v n actually collected at the current collection timing, interpolated data t n' , v n' are generated. calculate. Note that for t n-1 ′ and v n-1 ′, if post-interpolation data does not exist, such as the first data, pre-interpolation data is used.

<データ格納方法の概要>
システム監視コンポーネント2においてシステム情報収集監視手段11により収集された履歴データは、履歴データ追加手段5からデータ圧縮解凍コンポーネント12のデータ補間手段17に送られ、データキャッシュ18に一時的に格納される。
<Overview of data storage method>
The history data collected by the system information collection and monitoring means 11 in the system monitoring component 2 is sent from the history data addition means 5 to the data interpolation means 17 of the data compression and decompression component 12, and is temporarily stored in the data cache 18.

データ補間手段17では、システム情報収集監視手段11から送られた履歴データと構成情報DB3から取得した収集間隔の情報に基づいて、前述のデータの補間を行う。補間後のデータはデータ圧縮手段13に送られ、データキャッシュ15に一時的に格納される。 The data interpolation means 17 performs the above-mentioned data interpolation based on the history data sent from the system information collection monitoring means 11 and the collection interval information acquired from the configuration information DB 3. The interpolated data is sent to the data compression means 13 and temporarily stored in the data cache 15.

データ圧縮手段13では、次の考え方で補間後のデータを履歴情報DB6に格納する。 The data compression means 13 stores the interpolated data in the history information DB 6 based on the following idea.

統計データを格納するカラムには、浮動小数点データを格納していた。通常、保存する統計データはプラス値のみであったという点に着目し、本実施形態では、統計データがマイナス値の場合、当該時刻以降の統計データの圧縮データを格納する領域として保存するようにする。なお、時刻データは、基準の時刻と構成情報DB3から取得した収集間隔の情報より算出できるため、圧縮データの領域には保存しない。 Columns that store statistical data stored floating point data. Focusing on the fact that normally, the statistical data to be saved is only positive values, in this embodiment, if the statistical data is a negative value, it is saved as an area to store the compressed data of the statistical data after the relevant time. do. Note that since the time data can be calculated from the reference time and the collection interval information acquired from the configuration information DB 3, it is not saved in the compressed data area.

以下、統計データのカラムに図5に示されるようなfloat型(32bit)の浮動小数点値を格納する場合のケースについて、説明する。前時刻のデータの情報を基に、次のルールで統計データの圧縮を行い格納する。 A case will be described below in which a float type (32 bit) floating point value as shown in FIG. 5 is stored in the statistical data column. Based on the data information from the previous time, the statistical data is compressed and stored according to the following rules.

(1)1bit目:圧縮データかどうかの区分に使用する。1の場合、圧縮ON、0の場合、圧縮OFFを意味する。浮動小数点数としては、符号を表す。圧縮を行った場合は、浮動小数点数のマイナス値として保存する。プラスの場合は通常の統計データとして格納する。
(2)2bit目以降:次の形式で、統計データ、および、後の収集タイミング以降の履歴データの時刻データと統計データを格納する。
(2-1)1個目の統計データの符号化データ。XOR圧縮で生成し登録する。なお、1個目の統計データに関連付けられた時刻データは、例えば、ファクトテーブルの時刻データのカラムに格納されている。
(2-2)2個目以降の格納データの数を、以下のように、2bit、または、6bit使用して、格納する。
(2-2-1)格納データ数が1~2の場合、1bit目を0にして、残り1bitの値で1か2を表す(1なら0、2なら1)。
(2-2-2)格納データ数が3以上の場合、1bit目を1にして、残り5ビットの値で格納データ数を表す。
(2-3)2個目の統計データの符号化データを格納する。XORで生成し登録する。
(2-4)2個目以降の履歴データも上記の2個目のデータと同様の方法で、可能な限り格納する。2個目以降は最小で1bit使用するので最大25個のデータを格納できる。
(3)次の場合、圧縮不可とみなして、通常の方法で格納する。
(3-1)格納するデータ数が2つ以上にならない場合(XOR圧縮の条件を満たす格納ができない場合も含む)
(1) 1st bit: Used to distinguish whether or not it is compressed data. A value of 1 means compression is ON, and a value of 0 means compression is OFF. As a floating point number, it represents the sign. If compression is performed, it is saved as a negative floating-point number. If it is positive, it is stored as normal statistical data.
(2) 2nd and subsequent bits: Stores statistical data and time data and statistical data of historical data after the later collection timing in the following format.
(2-1) Encoded data of the first statistical data. Generate and register using XOR compression. Note that the time data associated with the first statistical data is stored, for example, in the time data column of the fact table.
(2-2) The number of data to be stored after the second one is stored using 2 bits or 6 bits as shown below.
(2-2-1) When the number of stored data is 1 to 2, the 1st bit is set to 0, and the value of the remaining 1 bit represents 1 or 2 (0 for 1, 1 for 2).
(2-2-2) When the number of stored data is 3 or more, the first bit is set to 1 and the value of the remaining 5 bits represents the number of stored data.
(2-3) Store the encoded data of the second statistical data. Generate and register using XOR.
(2-4) Store the second and subsequent history data as much as possible in the same manner as the second data. Since the second and subsequent bits use a minimum of 1 bit, a maximum of 25 pieces of data can be stored.
(3) In the following cases, it is assumed that the data cannot be compressed and is stored in the normal way.
(3-1) When the number of data to be stored is not two or more (including cases where it is not possible to store data that satisfies the conditions of XOR compression)

<XOR圧縮>
種類に依存するがサーバの統計データは似た値で推移することが多い。また、近い値の2つの浮動小数点数のXORは、多くのbitが0になりやすい、という特性がある。例えば、次のようなfloat型の値を持つ履歴データ1~3の時系列データがあるとする。
(1)履歴データ1:
時刻1、統計データ9.0(2進数表現は、01000001000100000000000000000000)
(2)履歴データ2:
時刻2、統計データ13.0(2進数表現は、01000001010100000000000000000000)
(3)履歴データ3:
時刻3、統計データ7.0(2進数表現は、01000000111000000000000000000000)
<XOR compression>
Although it depends on the type, server statistical data often changes at similar values. Furthermore, XOR of two floating point numbers with similar values has a characteristic that many bits tend to become 0. For example, assume that there is time-series data of history data 1 to 3 having the following float type values.
(1) History data 1:
Time 1, statistical data 9.0 (binary representation is 01000001000100000000000000000000)
(2) History data 2:
Time 2, statistical data 13.0 (binary representation is 01000001010100000000000000000000)
(3) History data 3:
Time 3, statistical data 7.0 (binary representation is 01000000111000000000000000000000)

このとき、履歴データ1の統計データと履歴データ2の統計データとのXORは、
(4)00000000010000000000000000000000
になる。
また、履歴データ2の統計データと履歴データ3の統計データとのXORは、
(5)00000000101100000000000000000000
になる。
At this time, the XOR between the statistical data of historical data 1 and the statistical data of historical data 2 is
(4) 00000000010000000000000000000000
become.
Also, the XOR between the statistical data of historical data 2 and the statistical data of historical data 3 is
(5) 00000000101100000000000000000000
become.

この時、(4)のXORでは先頭の9個の0の並びや1の後に続く全ての0が符号化可能である。即ち、(4)のXORの有意なビットは"1"のみ。(5)のXORの有意なビットは"1011"の部分。 At this time, the sequence of nine leading 0s and all the 0s following 1 can be encoded using the XOR (4). That is, the only significant bit of the XOR in (4) is "1". The significant bit of XOR in (5) is the "1011" part.

このような性質を利用し、データ圧縮手段13は、登録するデータの生成を次のルールに従って行う。
(1)前の値とのXORが0(即ち、同じ値)の場合は0を書き込む。
(2)前の値とのXORが0でない場合、まず1を書き込んだ後に次を計算する有意なビットについて、次の3つの情報を順番に書き込む。
(2-1)先頭の0の数を4bits表現で書き込める場合は書き込む。
(2-2)有意なビットの長さを3bits表現で書き込める場合は書き込む。
(2-3)有意なビット自体を書き込む(長さは7bitまで)。
(3)条件を満たさない場合は、2個目以降のデータ格納をあきらめる。また、2個目以降のデータ格納ができない場合は通常の方式でデータを登録する。
Utilizing such properties, the data compression means 13 generates data to be registered according to the following rules.
(1) If the XOR with the previous value is 0 (ie, the same value), write 0.
(2) If the XOR with the previous value is not 0, first write 1, and then write the following three pieces of information in order for the significant bits to be calculated.
(2-1) If the number of leading zeros can be written in 4-bit representation, write it.
(2-2) If the length of significant bits can be written in 3-bit representation, write it.
(2-3) Write the significant bit itself (up to 7 bits in length).
(3) If the conditions are not met, give up on storing the second and subsequent data. Furthermore, if the second and subsequent data cannot be stored, the data is registered using the normal method.

図5は統計データの登録例を示す。統計データの値が9.0の場合、統計データのカラムには、図5の上側に示されるように格納される。また、圧縮が可能な場合は、浮動小数のマイナス値として、図5の下側に示されるように、圧縮したデータが格納される。 FIG. 5 shows an example of registering statistical data. When the value of the statistical data is 9.0, it is stored in the statistical data column as shown in the upper part of FIG. Furthermore, if compression is possible, the compressed data is stored as a negative floating-point value, as shown in the lower part of FIG.

<本実施形態の効果>
以上説明したように、本実施形態によれば、圧縮・保存する対象を補間により算出した統計データのみとし、時刻データは保存しないため、より高い圧縮率を実現することができる。例えば、第2の関連技術において時刻データを格納するために使用されていた1、9、12、16ビットの領域を本実施形態では統計データの格納に使用することが可能になるため、より高い圧縮率でデータを保存することができるようになる。具体的には、第2の関連技術と比較して、float型(32bit)の浮動小数点値を格納する場合、最大データ格納数を14個から25個に増大することができる。また、統計データ9bit、時刻データ9bitのケースでは、2個から3個に増大することができる。こうして本実施形態によれば、リレーショナルデータベース利用によるシンプルなスタースキーマのデータ構造を変更することなく、さらに効率がよいデータの圧縮手段を提供することが可能となる。
<Effects of this embodiment>
As described above, according to the present embodiment, only the statistical data calculated by interpolation is compressed and stored, and time data is not stored, so that a higher compression ratio can be achieved. For example, in this embodiment, the 1, 9, 12, and 16 bit areas that were used to store time data in the second related technology can be used to store statistical data, so Data can be stored at a compressed rate. Specifically, compared to the second related technology, when storing float type (32 bit) floating point values, the maximum number of data storage can be increased from 14 to 25. Furthermore, in the case of 9 bits of statistical data and 9 bits of time data, the number can be increased from 2 to 3. Thus, according to this embodiment, it is possible to provide a more efficient data compression means without changing the simple star schema data structure using a relational database.

<本実施形態の利用が考えられる分野>
本実施形態は、サーバの運用管理システムなど管理する対象の時系列のデータを定期的に収集し、蓄積するシステムにおいて、利用が可能である。また、コンピュータ以外でもIOT機器などでの利用も有効と考えられる。
<Fields where this embodiment can be used>
This embodiment can be used in a system that periodically collects and accumulates time-series data of a managed object, such as a server operation management system. In addition, it is also considered to be effective for use in IOT devices other than computers.

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。 Although the present invention has been described above with reference to the embodiments described above, the present invention is not limited to the embodiments described above. The configuration and details of the present invention may be modified in various ways within the scope of the present invention by those skilled in the art.

本発明は、サーバコンピュータやIOT機器などを被管理対象とする管理システムにおいて管理対象の状態などを表すデータを定期的に収集し、蓄積するシステムに利用できる。 INDUSTRIAL APPLICATION This invention can be utilized for the system which periodically collects and accumulates the data showing the state etc. of a managed object in the management system which manages a server computer, IOT device, etc. as a managed object.

100 データ圧縮装置
101 補間手段
102 圧縮手段
103 データ格納手段
100 Data compression device 101 Interpolation means 102 Compression means 103 Data storage means

Claims (10)

時刻データおよび前記時刻データと関連付けられた統計データを含む履歴データの時系列と、予め定められた収集間隔を示すデータとから、補間演算によって、補間後時刻データおよび前記補間後時刻データと関連付けられた補間後統計データを含む補間後履歴データの時系列を算出する補間手段と、
前記補間後履歴データの時系列から前記補間後時刻データが示す時刻の順に抽出した前記補間後統計データを含む圧縮履歴データを算出する圧縮手段と、
前記圧縮履歴データをデータベースに出力するデータ格納手段と、
を備えるデータ圧縮装置。
A time series of historical data including time data and statistical data associated with the time data, and data indicating a predetermined collection interval are correlated with the post-interpolated time data and the post-interpolated time data by an interpolation operation. interpolation means for calculating a time series of interpolated history data including post-interpolated statistical data;
Compression means for calculating compressed history data including the post-interpolated statistical data extracted from the time series of the post-interpolated history data in the order of time indicated by the post-interpolated time data;
data storage means for outputting the compression history data to a database;
A data compression device comprising:
前記補間手段は、前記履歴データの時系列におけるn番目の履歴データを構成する時刻データおよび統計データをtnおよびvn、前記補間後履歴データの時系列におけるn番目の補間後履歴データを構成する補間後時刻データおよび補間後統計データをtn'およびvn'、前記収集間隔をCとするとき、
n'=tn-1'+C ・・・(1)
n'、=(1-α)×vn-1'+α×vn、 ・・・(2)
α=(tn'-tn-1')/(tn-tn-1') ・・・(3)
なる演算によって、前記補間後履歴データの時系列を算出する、
請求項1に記載のデータ圧縮装置。
The interpolation means configures time data and statistical data t n and v n that constitute the n-th history data in the time series of the history data, and constitutes the n-th interpolated history data in the time series of the interpolated history data. When the interpolated time data and interpolated statistical data are t n' and v n' and the collection interval is C,
t n' = t n-1' + C...(1)
v n' , = (1-α) x v n-1' + α x v n , ... (2)
α=(t n' - t n-1' )/(t n - t n-1' ) ... (3)
Calculating the time series of the interpolated history data by the following calculation,
The data compression device according to claim 1.
前記圧縮手段は、さらに、前記圧縮履歴データ中の前記補間後統計データを浮動小数点形式の2個の前記補間後統計データのXOR演算を行って圧縮する、
請求項2に記載のデータ圧縮装置。
The compression means further compresses the interpolated statistical data in the compressed history data by performing an XOR operation on two pieces of the interpolated statistical data in floating point format.
The data compression device according to claim 2.
前記データベースから前記圧縮履歴データを読み出して解凍し、前記補間後履歴データを出力するデータ解凍手段をさらに備える、
請求項1に記載のデータ圧縮装置。
further comprising data decompression means for reading and decompressing the compressed history data from the database and outputting the interpolated history data;
The data compression device according to claim 1.
前記履歴データの時系列として、少なくとも1台のサーバから前記サーバの状態を示す統計データおよび当該統計データが取得された時刻を示す時刻データを含む履歴データの時系列を取得して、前記補間手段に出力するデータ取得手段をさらに備える、
請求項1に記載のデータ圧縮装置。
The interpolation means obtains, as the time series of the history data, a time series of history data including statistical data indicating the state of the server and time data indicating the time at which the statistical data was obtained from at least one server; further comprising a data acquisition means for outputting to the
The data compression device according to claim 1.
時刻データおよび前記時刻データと関連付けられた統計データを含む履歴データの時系列と、予め定められた収集間隔を示すデータとから、補間演算によって、補間後時刻データおよび前記補間後時刻データと関連付けられた補間後統計データを含む補間後履歴データの時系列を算出し、
前記補間後履歴データの時系列から前記補間後時刻データが示す時刻の順に抽出した前記補間後統計データを含む圧縮履歴データを算出し、
前記圧縮履歴データをデータベースに出力する、
データ圧縮方法。
A time series of historical data including time data and statistical data associated with the time data, and data indicating a predetermined collection interval are correlated with the post-interpolated time data and the post-interpolated time data by an interpolation operation. Calculate the time series of the interpolated historical data including the interpolated statistical data,
calculating compressed history data including the post-interpolated statistical data extracted from the time series of the post-interpolated history data in the order of time indicated by the post-interpolated time data;
outputting the compression history data to a database;
Data compression method.
前記補間後履歴データの時系列の算出では、前記履歴データの時系列におけるn番目の履歴データを構成する時刻データおよび統計データをtnおよびvn、前記補間後履歴データの時系列におけるn番目の補間後履歴データを構成する補間後時刻データおよび補間後統計データをtn'およびvn'、前記収集間隔をCとするとき、
n'=tn-1'+C ・・・(1)
n'、=(1-α)×vn-1'+α×vn、 ・・・(2)
α=(tn'-tn-1')/(tn-tn-1') ・・・(3)
なる演算によって、前記補間後履歴データの時系列を算出する、
請求項6に記載のデータ圧縮方法。
In calculating the time series of the interpolated history data, time data and statistical data constituting the n-th history data in the time series of the history data are t n and v n , and the n-th time series in the time series of the interpolated history data is When the interpolated time data and the interpolated statistical data that constitute the interpolated history data are t n' and v n' , and the collection interval is C,
t n' = t n-1' + C...(1)
v n' , = (1-α) x v n-1' + α x v n , ... (2)
α=(t n' - t n-1' )/(t n - t n-1' ) ... (3)
Calculating the time series of the interpolated history data by the following calculation,
The data compression method according to claim 6.
前記圧縮履歴データの算出では、さらに、前記圧縮履歴データ中の前記補間後統計データを浮動小数点形式の2個の前記補間後統計データのXOR演算を行って圧縮する、
請求項7に記載のデータ圧縮方法。
In the calculation of the compressed history data, the interpolated statistical data in the compressed history data is further compressed by performing an XOR operation on two pieces of the interpolated statistical data in floating point format.
The data compression method according to claim 7.
さらに、前記データベースから前記圧縮履歴データを読み出して解凍し、前記補間後履歴データを出力する、
請求項6に記載のデータ圧縮方法。
further reading the compressed history data from the database, decompressing it, and outputting the interpolated history data;
The data compression method according to claim 6.
コンピュータに、
時刻データおよび前記時刻データと関連付けられた統計データを含む履歴データの時系列と、予め定められた収集間隔を示すデータとから、補間演算によって、補間後時刻データおよび前記補間後時刻データと関連付けられた補間後統計データを含む補間後履歴データの時系列を算出する処理と、
前記補間後履歴データの時系列から前記補間後時刻データが示す時刻の順に抽出した前記補間後統計データを含む圧縮履歴データを算出する処理と、
前記圧縮履歴データをデータベースに出力する処理と、
を行わせるためのプログラム。
to the computer,
A time series of historical data including time data and statistical data associated with the time data, and data indicating a predetermined collection interval are correlated with the post-interpolated time data and the post-interpolated time data by an interpolation operation. a process of calculating a time series of interpolated historical data including post-interpolated statistical data;
a process of calculating compressed history data including the post-interpolated statistical data extracted from the time series of the post-interpolated history data in the order of time indicated by the post-interpolated time data;
a process of outputting the compression history data to a database;
A program to do this.
JP2022070563A 2022-04-22 2022-04-22 data compression device Pending JP2023160301A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022070563A JP2023160301A (en) 2022-04-22 2022-04-22 data compression device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022070563A JP2023160301A (en) 2022-04-22 2022-04-22 data compression device

Publications (1)

Publication Number Publication Date
JP2023160301A true JP2023160301A (en) 2023-11-02

Family

ID=88515918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022070563A Pending JP2023160301A (en) 2022-04-22 2022-04-22 data compression device

Country Status (1)

Country Link
JP (1) JP2023160301A (en)

Similar Documents

Publication Publication Date Title
Paparrizos et al. VergeDB: A Database for IoT Analytics on Edge Devices.
Wu Notes on design and implementation of compressed bit vectors
US8301650B1 (en) Bloom filter compaction
CN102893265B (en) Management can independent access data cell storage
CN104715039A (en) Column-based storage and research method and equipment based on hard disk and internal storage
WO2012174268A1 (en) Processing repetitive data
CN111291235A (en) Metadata storage method and device based on time sequence database
US11650989B2 (en) Efficient aggregation of time series data
EP4154406A1 (en) Compression/decompression using index correlating uncompressed/compressed content
US6600432B2 (en) Variable length encoding and decoding of ascending numerical sequences
US8340443B2 (en) System and method for compressing compressed data
WO2019018030A1 (en) Structured record compression and retrieval
JP2023160301A (en) data compression device
WO2021226922A1 (en) Data compression method, apparatus and device, and readable storage medium
CN115408390A (en) Data processing method and device and electronic equipment
Krishna et al. On Compressing Time-Evolving Networks
JP4451722B2 (en) Database server and database system
Li et al. FluteDB: an efficient and dependable time-series database storage engine
US10037148B2 (en) Facilitating reverse reading of sequentially stored, variable-length data
JP6336302B2 (en) Information processing apparatus, information processing method, and program
CN112181302B (en) Data multi-stage storage and access method and system
JP2012226502A (en) System, method, and program for compressing file access log
JP2007310592A (en) Data processing system
Zhao et al. Orangutan: a compression algorithm for precision-redundant floating-point time series
KR20220060401A (en) Method and apparatus for data reduction based on locality