JP2021052263A - データ圧縮装置およびデータ圧縮方法 - Google Patents
データ圧縮装置およびデータ圧縮方法 Download PDFInfo
- Publication number
- JP2021052263A JP2021052263A JP2019172810A JP2019172810A JP2021052263A JP 2021052263 A JP2021052263 A JP 2021052263A JP 2019172810 A JP2019172810 A JP 2019172810A JP 2019172810 A JP2019172810 A JP 2019172810A JP 2021052263 A JP2021052263 A JP 2021052263A
- Authority
- JP
- Japan
- Prior art keywords
- data
- compression
- compressed
- time
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013144 data compression Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000007906 compression Methods 0.000 claims abstract description 64
- 230000006835 compression Effects 0.000 claims abstract description 64
- 238000013500 data storage Methods 0.000 claims abstract description 28
- 238000007726 management method Methods 0.000 claims description 45
- 230000006837 decompression Effects 0.000 claims description 33
- 238000007667 floating Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Complex Calculations (AREA)
Abstract
Description
本発明の第1の実施形態について図を参照して詳細に説明する。図1は、本実施形態のデータ圧縮装置の構成の概要を示したものである。本実施形態のデータ圧縮装置は、時刻データ圧縮部1と、統計データ圧縮部2と、データ格納部3とを備えている。時刻データ圧縮部1は、時刻データを第1の圧縮方式で圧縮して第1の圧縮データとして出力する。統計データ圧縮部2は、時刻データと関連づけられて取得されたデータである統計データを、第1の圧縮方式とは異なる第2の圧縮方式で圧縮して第2の圧縮データとして出力する。データ格納部3は、第1の圧縮データと、第2の圧縮データを関連づけてデータベースに出力する。
本発明の第2の実施形態について図を参照して詳細に説明する。図2は、本実施形態の履歴情報管理システムの構成の概要を示した図である。本実施形態の履歴情報管理システムは、構成管理部10と、データ取得部20と、データ圧縮解凍部30と、レポート作成部40と、構成情報保存部50と、履歴情報保存部60を備えている。本実施形態の履歴情報管理システムは、例えば、一定時間ごとにサーバ70から稼動状態等の情報を取得し、取得した情報をリレーショナルデータベースに時系列の履歴データとして保存するシステムである。
D=(tn−tn−1)−(tn−1−tn−2)
上記の式のtnは、n番目の時刻データを示し、tn−1およびtn−2は、n−1番目およびn−2番目の時刻データをそれぞれ示している。圧縮可否および時刻データの格納方法は、間隔Dの値を基に決定される。間隔Dが所定の区間内のとき(ステップS104でYes)、時刻データ圧縮部35は、時刻データの圧縮を行う(ステップS105)。以下では、圧縮可能と判断する間隔Dの範囲を示す所定の間隔が−2047から2048として設定されている場合を例に説明する。
時刻1 9.0(2進数表現は、01000001000100000000000000000000)、
時刻2 13.0(2進数表現は、01000001010100000000000000000000)、
時刻3 7.0(2進数表現は、01000000111000000000000000000000)
であったとする。
2 統計データ圧縮部
3 データ格納部
10 構成管理部
11 構成情報管理部
12 データテーブル更新部
20 データ取得部
21 システム情報収集監視部
22 履歴データ更新部
30 データ圧縮解凍部
31 データ圧縮部
32 データ解凍部
33 データキャッシュ部
34 データ格納部
35 時刻データ圧縮部
36 統計データ圧縮部
40 レポート作成部
50 構成情報保存部
60 履歴情報保存部
70 サーバ
80 コンピュータ
81 CPU
82 メモリ
83 記憶装置
84 I/F部
91 データ取得部
92 データ圧縮装置
Claims (10)
- 時刻データを第1の圧縮方式で圧縮して第1の圧縮データとして出力する時刻データ圧縮手段と、
前記時刻データと関連づけられて取得されたデータである統計データを、前記第1の圧縮方式とは異なる第2の圧縮方式で圧縮して第2の圧縮データとして出力する統計データ圧縮手段と、
前記第1の圧縮データと、前記第2の圧縮データを関連づけてデータベースに出力するデータ格納手段と
を備えることを特徴とするデータ圧縮装置。 - 前記時刻データ圧縮手段は、前記時刻データをDouble−delta圧縮方式で圧縮し、前記統計データ圧縮手段は、前記統計データを浮動小数点形式の2個の前記統計データのXOR演算を行って圧縮することを特徴とする請求項1に記載のデータ圧縮装置。
- 前記データ格納手段は、前記第2の圧縮データを保存する領域に圧縮の有無を示す情報を格納したデータを出力することを特徴とする請求項2に記載のデータ圧縮装置。
- 前記データベースから前記第1の圧縮データおよび前記第2の圧縮データを読み出し、前記第2の圧縮データを保存する領域に圧縮を示す情報が格納されているとき、前記第1の圧縮データおよび前記第2の圧縮データを解凍するデータ解凍手段をさらに備えることを特徴とする請求項3に記載のデータ圧縮装置。
- 前記データ格納手段は、前記時刻データと前記統計データの圧縮が不可であったとき、前記時刻データと前記統計データを圧縮せずに前記データベースに出力することを特徴とする請求項1から4いずれかに記載のデータ圧縮装置。
- 少なくとも1台のサーバと、
前記サーバから前記サーバの状態を示す情報を統計データとして、前記統計データが取得された時刻に対応する時刻データと関連づけて取得するデータ取得手段と、
請求項1から5いずれかに記載のデータ圧縮装置と
を備え、
前記データ圧縮装置は、前記データ取得手段が取得した前記時刻データおよび前記統計データを圧縮して、前記第1の圧縮データおよび前記第2の圧縮データを前記データベースに出力することを特徴とする履歴情報管理システム。 - 時刻データと、前記時刻データと関連づけられたデータとを統計データとして取得し、
前記時刻データを第1の圧縮方式で圧縮して第1の圧縮データとして出力し、
前記統計データを、前記第1の圧縮方式とは異なる第2の圧縮方式で圧縮して第2の圧縮データとして出力し、
前記第1の圧縮データと、前記第2の圧縮データを関連づけてデータベースに出力することを特徴とするデータ圧縮方法。 - 前記時刻データをDouble−delta圧縮方式で圧縮し、
前記統計データを浮動小数点形式の2個の前記統計データのXOR演算を行って圧縮することを特徴とする請求項7に記載のデータ圧縮方法。 - 前記第2の圧縮データを保存する領域に圧縮の有無を示す情報を格納したデータを出力することを特徴とする請求項7または8に記載のデータ圧縮方法。
- 時刻データを第1の圧縮方式で圧縮して第1の圧縮データとして出力する処理と、
前記時刻データと関連づけられて取得されたデータである統計データを、前記第1の圧縮方式とは異なる第2の圧縮方式で圧縮して第2の圧縮データとして出力する処理と、
前記第1の圧縮データと、前記第2の圧縮データを関連づけてデータベースに出力する処理と
をコンピュータに実行させることを特徴とするデータ圧縮プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019172810A JP7404734B2 (ja) | 2019-09-24 | 2019-09-24 | データ圧縮装置、履歴情報管理システム、データ圧縮方法およびデータ圧縮プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019172810A JP7404734B2 (ja) | 2019-09-24 | 2019-09-24 | データ圧縮装置、履歴情報管理システム、データ圧縮方法およびデータ圧縮プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021052263A true JP2021052263A (ja) | 2021-04-01 |
JP7404734B2 JP7404734B2 (ja) | 2023-12-26 |
Family
ID=75158305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019172810A Active JP7404734B2 (ja) | 2019-09-24 | 2019-09-24 | データ圧縮装置、履歴情報管理システム、データ圧縮方法およびデータ圧縮プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7404734B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023151432A1 (en) * | 2022-02-10 | 2023-08-17 | International Business Machines Corporation | Partitional data compression |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4646241A (en) * | 1984-06-21 | 1987-02-24 | United Technologies Corporation | Solid-state flight data recording system |
JPH03289210A (ja) * | 1990-04-04 | 1991-12-19 | Sony Corp | データ圧縮符号化装置 |
JP2003188734A (ja) * | 2001-12-17 | 2003-07-04 | Kawasaki Microelectronics Kk | アナログ信号変換器 |
US20180089328A1 (en) * | 2016-09-26 | 2018-03-29 | Splunk Inc. | Techniques for ingesting metrics data |
-
2019
- 2019-09-24 JP JP2019172810A patent/JP7404734B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4646241A (en) * | 1984-06-21 | 1987-02-24 | United Technologies Corporation | Solid-state flight data recording system |
JPH03289210A (ja) * | 1990-04-04 | 1991-12-19 | Sony Corp | データ圧縮符号化装置 |
JP2003188734A (ja) * | 2001-12-17 | 2003-07-04 | Kawasaki Microelectronics Kk | アナログ信号変換器 |
US20180089328A1 (en) * | 2016-09-26 | 2018-03-29 | Splunk Inc. | Techniques for ingesting metrics data |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023151432A1 (en) * | 2022-02-10 | 2023-08-17 | International Business Machines Corporation | Partitional data compression |
US11777519B2 (en) | 2022-02-10 | 2023-10-03 | International Business Machines Corporation | Partitional data compression |
Also Published As
Publication number | Publication date |
---|---|
JP7404734B2 (ja) | 2023-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101400816B1 (ko) | 개별적으로 액세스 가능한 데이터 유닛의 기억 관리 방법 및 시스템 | |
US7885932B2 (en) | Managing storage of individually accessible data units | |
EP2545451B1 (en) | Managing storage of individually accessible data units | |
US20050246362A1 (en) | System and method for dynamci log compression in a file system | |
US20130179413A1 (en) | Compressed Distributed Storage Systems And Methods For Providing Same | |
CN102073712B (zh) | 基于动态变化帧的过程数据全息归档和反演方法 | |
EP3154202B1 (en) | Encoding program, encoding method, encoding device, decoding program, decoding method, and decoding device | |
CN111125033B (zh) | 一种基于全闪存阵列的空间回收方法及系统 | |
US11030172B2 (en) | Database archiving method and device for creating index information and method and device of retrieving archived database including index information | |
US11411576B2 (en) | Data management system, data management method, and storage medium with data management program stored thereon | |
CN111611250A (zh) | 数据存储设备、数据查询方法、装置、服务器及存储介质 | |
JP2007088962A (ja) | 順序データ圧縮方法、順序データ解凍方法、順序データ処理プログラム、順序データ圧縮装置、順序データ解凍装置、および、順序データ処理システム | |
JP7404734B2 (ja) | データ圧縮装置、履歴情報管理システム、データ圧縮方法およびデータ圧縮プログラム | |
CN114297196A (zh) | 元数据存储方法、装置、电子设备及存储介质 | |
CN110188160B (zh) | 数据存储方法和数据读取方法 | |
JP2013101470A (ja) | データベース圧縮装置 | |
CN115794861A (zh) | 基于特征摘要的离线数据查询复用方法及其应用 | |
US10037148B2 (en) | Facilitating reverse reading of sequentially stored, variable-length data | |
JP7170523B2 (ja) | データ管理装置、データ管理方法、コンピュータプログラム及びデータ管理システム | |
JP2011186532A (ja) | 情報処理システム及びそのデータ管理方法 | |
JP2023160301A (ja) | データ圧縮装置 | |
Shi et al. | Machete: An Efficient Lossy Floating-Point Compressor Designed for Time Series Databases | |
CN115328702A (zh) | 日志数据备份方法、装置、电子设备及存储介质 | |
CN114691681A (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
JPH04299478A (ja) | データ圧縮保存装置およびその保存方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20211015 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220815 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231127 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7404734 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |