JP2000132371A - 計算機データ圧縮制御装置 - Google Patents

計算機データ圧縮制御装置

Info

Publication number
JP2000132371A
JP2000132371A JP30813898A JP30813898A JP2000132371A JP 2000132371 A JP2000132371 A JP 2000132371A JP 30813898 A JP30813898 A JP 30813898A JP 30813898 A JP30813898 A JP 30813898A JP 2000132371 A JP2000132371 A JP 2000132371A
Authority
JP
Japan
Prior art keywords
data
compression
computer
storage server
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP30813898A
Other languages
English (en)
Other versions
JP3774072B2 (ja
Inventor
Hirotaka Yoshioka
弘貴 吉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP30813898A priority Critical patent/JP3774072B2/ja
Publication of JP2000132371A publication Critical patent/JP2000132371A/ja
Application granted granted Critical
Publication of JP3774072B2 publication Critical patent/JP3774072B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Multi Processors (AREA)

Abstract

(57)【要約】 【課題】 本発明は計算機データ圧縮制御装置に関し、
圧縮と復元処理の負荷分散等による効率的な運用を可能
にすることができる計算機データ圧縮制御装置を提供す
ることを目的としている。 【解決手段】 複数の計算機が接続されるネットワーク
に接続され、記憶装置を有するデータ保存サーバに備え
られた計算機データ圧縮制御装置であって、前記ネット
ワークに接続される計算機毎に該計算機に対応したデー
タを記憶するテーブルを具備し、ネットワークに接続さ
れた各計算機に備えられた圧縮装置におけるデータの圧
縮率と圧縮に要する時間と圧縮処理の成功率をデータサ
イズとデータフォーマット毎に調査し、前記テーブル上
で管理するように構成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は計算機データ圧縮制
御装置に関する。近年、計算機同士を接続するネットワ
ーク性能の向上により、複数の計算機を相互にネットワ
ーク接続して、計算機処理の負荷を分散する分散処理環
境での運用が増えてきている。
【0002】このため、計算機データを共用サーバで管
理する等して、計算機データを共用化しているが、年々
増加する計算機データを効率よく保存管理する必要があ
る。
【0003】
【従来の技術】図9は従来システムの構成ブロック図で
ある。図に示すシステムは、複数の計算機1が回線2を
介して互いに接続されている。3は回線2に接続され、
これら複数の計算機1のデータの圧縮と復元を制御する
データ保存サーバ、4は該データ保存サーバ3と接続さ
れるデータ保存用の記憶装置である。
【0004】このように構成されたシステムにおいて、
データ保存サーバ3は、各計算機1を指定してデータを
取り込み、圧縮処理して記憶装置4に格納する。或い
は、記憶装置4に記憶されている圧縮データを読出して
元のデータに復元した後、特定の計算機1に読み出した
データの転送を行なう。
【0005】このように、従来のシステムでは集中管理
システムが採用され、分散処理システムは用いられてい
てもその規模が小さく、大型計算機による集中管理が主
流であった。しかしながら、計算機1のパフォーマンス
向上や、ネットワーク技術の浸透に比例して、分散処理
環境の大規模化とそれに伴う計算機データの種類、量共
に増加している。このため、計算機データの圧縮を行な
うことで保存スペースの有効利用を行っているが、圧縮
や復元にかかる時間及び計算機1への負荷が問題になっ
ていた。
【0006】
【発明が解決しようとする課題】前述したように、従来
のシステムでは、計算機処理における圧縮と復元処理の
ウエイトが高くなり、分散処理環境のメリットが発揮で
きず、効率的な運用ができないという問題があった。
【0007】本発明はこのような課題に鑑みてなされた
ものであって、圧縮と復元処理の負荷分散等による効率
的な運用を可能にすることができる計算機データ圧縮制
御装置を提供することを目的としている。
【0008】
【課題を解決するための手段】図1は本発明の原理ブロ
ック図である。図8と同一のものは、同一の符号を付し
て示す。図において、1は回線2を介してネットワーク
接続された複数の計算機である。これら計算機1内には
データの圧縮装置11と、データの復元装置12が内蔵
されている。3は回線2と接続され、これら複数の計算
機1のデータ圧縮/復元処理の制御を行なうデータ保存
サーバである。30はデータの圧縮/復元処理に必要な
データを記憶するテーブルである。4はデータ保存サー
バ3と接続される記憶装置である。
【0009】この発明の構成によれば、データ保存サー
バ3が、テーブル30を常時管理することにより、最適
な各計算機1へのデータ圧縮/復元の分散化処理を行な
うことができ、圧縮と復元処理の負荷分散等による効率
的な運用を可能にすることができる。
【0010】この場合において、前記テーブルで、各計
算機1毎の圧縮前後のデータを一時的に保存する記憶装
置容量と、圧縮データの送受信に要する転送時間と、転
送処理の成功率を管理することを特徴としている。
【0011】この発明の構成によれば、前記テーブルを
参照することにより、データの送受信に要する時間等の
情報を認識することができる。また、前記データ保存サ
ーバは、圧縮処理を行う前に、圧縮するデータのサイズ
やフォーマットを基に前記テーブルから圧縮処理に必要
とする時間と圧縮率を各計算機1の圧縮装置毎に予測す
ることを特徴としている。
【0012】この発明の構成によれば、圧縮処理を行な
う場合に必要となる情報を予測することができる。ま
た、データ保存サーバは前記求めた計算機1でネットワ
ーク装置や記憶装置で異常が発生していないかどうかチ
ェックし、異常のある計算機1に対しては再起動を行な
うことを特徴としている。
【0013】この発明の構成によれば、異常のある計算
機1を特定して再起動をかけることが可能となる。ま
た、前記異常があった計算機1を除き、圧縮時間が短か
く圧縮率が高い順にテーブルに出力し、最も効率がよい
圧縮装置を選択することを特徴としている。
【0014】この発明の構成によれば、最も効率よくデ
ータ圧縮を行なうことができる。また、圧縮処理中に異
常が発生した場合、データ保存サーバは、他にリストア
ップされた圧縮装置から圧縮時間と圧縮率が高い順に実
行計算機1と圧縮装置を選択することを特徴としてい
る。
【0015】この発明の構成によれば、異常の発生した
圧縮装置を外し、他の圧縮装置を用いて最も効率のよい
順に実行計算機1と圧縮装置を選択することができる。
また、データを圧縮した後、圧縮した装置の種類と計算
機情報をヘッダ情報として圧縮後のデータの先頭に追加
することを特徴としている。
【0016】この発明の構成によれば、ヘッダ情報から
圧縮した装置の種類と計算機情報を認識することができ
る。また、計算機1内の圧縮装置とデータ保存サーバと
の間で、これらの装置を効率よく制御して圧縮処理を行
なうことを特徴としている。
【0017】この発明の構成によれば、圧縮処理を効率
よく行なうことが可能になる。また、データを復元する
時には、データ保存サーバはヘッダ情報から圧縮装置を
取得して対応する復元装置12を計算機1毎に探し出
し、それぞれ復元に要する時間と復元処理の成功率をデ
ータサイズとフォーマット毎に調査し、前記テーブル上
で管理することを特徴としている。
【0018】この発明の構成によれば、テーブルを管理
して必要な情報を取得し、データの復元を行なうことが
可能となる。また、前記データ保存サーバは、各計算機
1毎に復元前後のデータを一時的に保存する記憶装置の
容量と、復元データの送受信に要する転送時間及び転送
処理の成功率をテーブル上で管理することを特徴として
いる。
【0019】この発明の構成によれば、記憶装置容量と
転送時間と転送処理の成功率に関する情報を得ることが
できる。また、前記データ保存サーバは、復元処理を行
う前に復元するデータのサイズと、フォーマットを基に
前記テーブルから復元処理に必要な時間を復元装置12
毎に予測することを特徴としている。
【0020】この発明の構成によれば、前記テーブルを
参照して復元処理に要する時間を予測することができ
る。また、前記データ保存サーバは、前記予測した計算
機1でネットワーク装置や記憶装置で異常が発生してい
ないかを確認し、異常が見られる計算機1に対して再起
動をかけることを特徴としている。
【0021】この発明の構成によれば、異常が見られる
計算機1に対しては、再起動をかけることができる。ま
た、前記データ保存サーバは異常があった計算機1を除
き、最も復元時間が短い復元装置12を選択することを
特徴としている。
【0022】この発明の構成によれば、異常があった計
算機1以外の計算機1から最も復元時間の短い復元装置
12を選択することができる。また、復元処理中に異常
が発生した場合、前記データ保存サーバは異常のない計
算機1の中から再度復元装置12を選択することを特徴
としている。
【0023】この発明の構成によれば、異常のない復元
装置12を選択することにより、復元処理を行なうこと
ができる。また、計算機1内の圧縮装置とデータ保存サ
ーバとの間で、これらの装置を効率よく制御して復元処
理を行なうことを特徴としている。
【0024】この発明の構成によれば、復元処理を効率
よく行なうことが可能になる。また、予め定められたサ
イズを超過する圧縮対象データが入力された場合、デー
タ保存サーバは、各計算機1の圧縮装置で圧縮効率が劣
化しない最大のデータサイズを前記テーブルより求め、
求めたデータサイズに入力データを分割し、圧縮処理依
頼を行ない、全入力データを圧縮するまで分割と圧縮を
繰り返すことを特徴としている。
【0025】この発明の構成によれば、サイズが基準値
を超過する場合に、各計算機1に分散処理させ、この時
に圧縮効率が低下しないようにすることができ、また、
基準値を超えるデータが入力された場合でも、各計算機
1の復元装置12に入力データを分割して処理を依頼し
て、全データについての復元処理を行なうことができ
る。
【0026】また、前記データ保存サーバは、分割した
圧縮データのサイズを調べてから、それぞれの圧縮デー
タを連結した後、圧縮前後のデータサイズと圧縮装置及
び計算機情報をヘッダ情報として連結したデータの先頭
に追加することを特徴としている。
【0027】この発明の構成によれば、圧縮前後のデー
タサイズと圧縮装置及び計算機情報をヘッダとして圧縮
データの先頭に追加することにより、復元処理を確実に
行なうことが可能となる。
【0028】更に、前記データ保存サーバは、圧縮した
データを復元する時に、ヘッダ情報から取得したデータ
サイズに分割して、復元装置12を決定しながら復元処
理を行ない、圧縮データの全てを復元するまで分割と復
元を繰り返すことを特徴としている。
【0029】この発明の構成によれば、圧縮したデータ
を復元する時に、分割されたデータサイズ毎に復元処理
を行なうことを繰り返すことで、圧縮データの全てを復
元することができる。
【0030】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態例を詳細に説明する。以下の説明では、システ
ムの構成として図1に示すものを用いる。図2は本発明
の第1の動作説明図である。図において、30は圧縮デ
ータと復元データに関するテーブルを有する圧縮/復元
テーブルである。この圧縮/復元テーブル30は圧縮/
復元装置12毎に設けられている。圧縮装置及び復元装
置12が動作すると、実行時間や入力データの情報等を
このテーブルに書き込むようになっている。
【0031】図では、計算機1がa〜nまでのn個存在
し、それぞれの計算機1には圧縮装置11と復元装置1
2が設けられている。ここでは圧縮装置と復元装置12
をまとめてa1〜n1までの記号で示している。
【0032】圧縮テーブルは、サイズと、フォーマット
と、圧縮時間と、圧縮率と、圧縮成功率と、日付と、時
刻より構成され、復元テーブルは、サイズと、フォーマ
ットと、復元時間と、復元成功率と、日付と、時刻より
構成されている。
【0033】図3は本発明の第2の動作説明図である。
ここでは、テーブル30として計算機資源テーブルが用
いられている。このテーブルは、圧縮装置11が動作す
る計算機1に関する情報を管理するテーブルである。こ
のテーブルは、一定時間おきに計算機資源の情報を調べ
ながら最新の情報を管理するようにしている。そして、
各計算機1毎にCPU使用率と、メモリ(MEM)使用
率と、データ保存容量と、送信時間と、受信時間と、エ
ラー情報とから構成されている。
【0034】これによれば、前記テーブル30で、各計
算機1毎の圧縮前後のデータを一時的に保存する記憶装
置容量と、圧縮データの送受信に要する転送時間と、転
送処理の成功率を管理して、前記テーブル30を参照す
ることにより、データの送受信に要する時間等の情報を
認識することができる。
【0035】以下、これらのテーブルを使用しながら圧
縮や復元を行なうが、その動作の流れを以下に説明す
る。本発明では、データ保存サーバ3が、テーブル30
を常時管理することにより、最適な計算機1へのデータ
圧縮/復元の分散化処理を行なうことができ、圧縮と復
元処理の負荷分散等による効率的な運用を可能にするこ
とができる。
【0036】図4はデータ圧縮動作例を示すフローチャ
ートである。外部より圧縮処理依頼があると(S1)、
データ保存サーバ3は圧縮対象データAのサイズやフォ
ーマットを調べる(S2)。次に、図2の圧縮テーブル
から圧縮対象データAのサイズとフォーマットを照らし
合わせて、装置毎に圧縮に必要な時間と圧縮率を求める
(S3)。
【0037】これによれば、圧縮処理を行なう場合に必
要となる情報を予測することができる。次に、データ保
存サーバ3は、図3の計算機資源テーブルから圧縮対象
データAの一定係数倍の空き容量を持っている計算機1
でかつエラーが発生していない計算機1を求める(S
4)。次に、図3の計算機資源テーブルより各計算機1
に対する送受信時間を求め、以下の式で圧縮総時間を求
める(S5)。
【0038】 圧縮総時間=(送信時間のAのデータサイズ)+(圧縮時間×一定係数× (1+CPU使用率)×(1+MEM使用率)+(受信時間× (Aのデータサイズ×圧縮率)) (1) ここで、エラーが発生している計算機1は除外して計算
する。
【0039】データ保存サーバ3は、エラーが発生した
計算機1を除き圧縮総時間が短い順番に計算機名と圧縮
装置11をテーブルに書き出し、最も圧縮総時間が短い
圧縮装置11に対してデータAの転送と圧縮処理の起動
を行なう(S6)。
【0040】この場合において、データ保存サーバ3
は、処理時間は短いけれども圧縮率が低い圧縮装置11
等が存在するので、処理時間が速くかつ圧縮率も高い圧
縮装置11を選択しデータAの転送と圧縮処理の起動を
行なう。
【0041】これによれば、最も効率よくデータ圧縮を
行なうことができる。また、データ保存サーバ3は、前
記求めた計算機1でネットワーク装置や記憶装置で異常
が発生していないかどうかチェックし、異常のある計算
機1に対しては再起動を行なうようになっている。これ
によれば、異常のある計算機1を特定して再起動をかけ
ることができる。
【0042】次に、データ保存サーバ3は圧縮処理中に
該当計算機1にエラーが発生したかどうかチェックする
(S7)。エラーが発生していない場合には、圧縮装置
11を介して記憶装置に圧縮データAを転送する。一
方、圧縮処理中にエラーが発生した場合、データ保存サ
ーバ3は他にリストアップされた圧縮装置11から圧縮
時間と圧縮率が高い順に実行計算機1と圧縮装置11を
選択することで、異常の発生した圧縮装置11を外し、
圧縮時間と圧縮率が高い順に実行計算機1と圧縮装置1
1を選択することができ、異常の発生した圧縮装置11
を外し、他の圧縮装置11を用いて最も効率のよい順に
実行計算機1と圧縮装置11を選択することができる。
【0043】前記求めた計算機1でネットワーク装置や
記憶装置で異常が発生していないかどうかチェックし、
異常のある計算機1に対しては再起動をかける。これに
より、異常のある計算機1を特定して再起動をかけるこ
とができる。
【0044】圧縮した装置の種類と計算機情報をヘッダ
情報(図8参照)として、圧縮データA’の先頭に追加
する(S8)。図8はテーブル30に記憶されるヘッダ
情報の構成例を示す図である。ヘッダ情報は、圧縮前の
データサイズと、圧縮後のデータサイズと、圧縮装置1
1の種類と、計算機名と、圧縮時間と日付時刻より構成
されており、圧縮データ毎にこのようなヘッダがその先
頭に追加される。なお、分割圧縮した時には、分割した
圧縮ブロックの数nだけの情報を保存する。
【0045】これによれば、データを圧縮した後、圧縮
した装置の種類と計算機情報をヘッダ情報として圧縮後
のデータの先頭に追加することにより、ヘッダ情報から
圧縮した装置の種類と計算機情報を認識することができ
る。
【0046】この場合において、計算機1内の圧縮装置
とデータ保存サーバとの間で、これらの装置を効率よく
制御して圧縮処理を行なうことができる。このように、
本発明による圧縮処理では、データ保存サーバ3がテー
ブル30を常時管理することにより、最適な各計算機1
へのデータ圧縮/復元の分散処理を行なうことができ、
圧縮と復元処理の負荷分散による効率的な運用を可能に
することができる。
【0047】次に、圧縮したデータの復元処理について
説明する。データ復元処理では、データ保存サーバ3が
ヘッダ情報から圧縮装置11を取得して対応する復元装
置12を計算機1毎に探し出し、それぞれ復元に要する
時間と復元処理の成功率をデータサイズとフォーマット
毎に調査し、前記テーブル30上で管理するようにして
いる。これによれば、テーブルを管理して必要な情報を
取得し、データの復元を行なうことができる。図5はデ
ータ復元動作例を示すフローチャートである。外部装置
からデータ復元処理依頼があると(S1)、データ保存
サーバ3は、圧縮データBのヘッダ情報(図8参照)を
読み込み、圧縮装置11や計算機1を調べる(S2)。
【0048】この場合、前記データ保存サーバ3は、各
計算機1毎に復元前後のデータを一時的に保存する記憶
装置の容量と、復元データの送受信に要する転送時間及
び転送処理の成功率をテーブル上で管理するようになっ
ている。
【0049】これによれば、記憶装置容量と転送時間と
転送処理の成功率に関する情報を得ることができる。こ
こで、計算機1内の圧縮装置11とデータ保存サーバ3
との間で、これらの装置を効率よく制御して復元処理を
行なうことができる。
【0050】次に、データ保存サーバ3は、ヘッダ情報
から読み取った圧縮装置11と対応している復元装置1
2の図2の復元テーブルから、圧縮データBのサイズと
フォーマットを照らし合わせて、装置毎に復元に必要な
時間を求める(S3)。これによれば、前記テーブルを
参照して復元処理に要する時間を予測することができ
る。
【0051】また、データ保存サーバ3は、予測した計
算機1でネットワーク装置や記憶装置で異常が発生して
いないかを確認し、異常が見られる計算機1に対して再
起動をかけるようになっている。これによれば、異常が
見られる計算機1に対して再起動をかけることができ
る。
【0052】次に、データ保存サーバ3は、図3に示す
計算機資源テーブルから復元対象データBのサイズ+圧
縮前のサイズ+αの空き容量を持っている計算機1でか
つエラーが発生していない計算機1を求める(S4)。
【0053】次に、データ保存サーバ3は、図3の計算
機資源テーブルより各計算機1に対する送受信時間を求
め、以下の式で復元総時間を求める。 復元総時間=(送信時間×Bのデータサイズ)+(復元時間×一定係数× (1+CPU使用率)×(1+MEM使用率))+(受信時間× Bの圧縮前サイズ) (2) ここで、エラーが発生している計算機1は除外して計算
する。
【0054】次に、エラーが発生した計算機1を除き復
元総時間が短い順番に計算機1名と復元装置12をテー
ブル30に書き出し、最も復元時間が短い復元装置12
に対して圧縮データBの送信と復元装置12の起動を行
なう(S6)。満足するデータの場合には、復元装置1
2で復元する(S7)。
【0055】復元処理中にエラーが発生した時には、ス
テップS6に戻る(S8)。エラーが発生しない場合に
は、処理を終了する。この実施の形態例によれば、復元
処理中に異常が発生した場合、データ保存サーバ3は、
異常のない復元装置12を選択することにより、復元処
理を行なうことができる。
【0056】この場合において、データ保存サーバ3
は、異常があった計算機1を除き、最も復元時間が短い
復元装置12を選択することができる。本発明は、入力
データが膨大な場合には、データを複数の単位に分割
し、分割されたデータをそれぞれの計算機1に割り当て
て並行処理を行ない、処理時間を短かくすることができ
るようになっている。
【0057】図6は分割しながら圧縮処理を行なう場合
の動作例を示すフローチャートである。データ保存サー
バ3は、図2に示す圧縮テーブルから圧縮効率が劣化し
ない最大のデータサイズを圧縮装置11毎に求める(S
1)。ここで、圧縮装置を決める場合、例えば装置Aは
容量2Gで処理に要する時間が50秒、装置Bは容量6
Gで処理に要する時間が180秒であったものとする
と、データ保存サーバ3は、バイト当たりの圧縮時間で
圧縮装置11を決定する。例えば、装置Aの場合、6G
のデータを処理するに要する時間は50×(6/2)=
150秒となり、装置Bよりも処理時間が速いので、装
置Aに決定する。
【0058】これによれば、サイズが基準値を超過する
場合に、各計算機1に分散処理させ、この時に圧縮効率
が低下しないようにすることができる。次に、第4図で
示した流れで計算機1と圧縮装置11を決定し、決定し
た圧縮装置に対する前記データサイズに入力データを分
割する(S2)。
【0059】次に、切り取ったデータを圧縮装置11に
転送して、圧縮処理を行なう(S3)。この処理は全デ
ータについて圧縮処理が完了するまで行なう。これによ
り、基準値を超えるデータが入力された場合でも、各計
算機1の復元装置12に入力データを分割して処理を依
頼して、全データについての復元処理を行なうことがで
きる。
【0060】全てのデータについての圧縮処理が終了し
たら、データ保存サーバ3は、ヘッダ情報(図8参照)
に各圧縮ブロックのサイズと圧縮装置11の種類及び計
算機1情報を設定する(S5)。そして、ヘッダ情報を
先頭に各圧縮ブロックを連結する(S6)。
【0061】この実施の形態例によれば、データ保存サ
ーバ3は、分割した圧縮データのサイズを調べてから、
それぞれの圧縮データを連結した後、圧縮前後のデータ
サイズと圧縮装置及び計算機情報をヘッダ情報として連
結したデータの先頭に追加することで、復元処理を確実
に行なうことが可能となる。
【0062】図7は分割圧縮したデータを復元する場合
の流れを示すフローチャートである。先ず、データ保存
サーバ3は、ヘッダ情報(図8参照)から連結前の各圧
縮ブロックのサイズを取り出し、ヘッダ情報を外してか
ら各圧縮ブロックに分割する(S1)。次に、第5図で
示した流れで計算機1と復元装置12を決定する(S
2)。
【0063】次に、圧縮ブロックを復元装置12に転送
して復元処理を行なう(S3)。そして、全データにつ
いて復元処理が終了したかどうかをチェックする(S
4)。復元処理が終了した場合には、復元したデータを
つなぎ合わせて圧縮前の状態に復元する。復元処理が終
了しない場合には、ステップS2に戻り、復元処理を続
行する。
【0064】この実施の形態例によれば、圧縮したデー
タを復元する時に、分割されたデータサイズ毎に復元処
理を繰り返すことで、圧縮データの全てを復元すること
ができる。
【0065】
【発明の効果】以上、詳細に説明したように、本発明に
よれば、複数の計算機がネットワークで接続され、該ネ
ットワークにデータ保存サーバが接続され、該データ保
存サーバに記憶装置が接続されたシステムにおいて、前
記計算機は内部に圧縮装置と復元装置とを具備し、前記
データ保存サーバは内部に圧縮/復元に必要なデータを
記憶するテーブルを具備し、該データ保存サーバは、各
計算機にある圧縮装置の圧縮率と圧縮に要する時間と圧
縮処理の成功率をデータサイズとデータフォーマット毎
に調査し、前記テーブル上で管理することにより、デー
タ保存サーバが、テーブルを常時管理することで、最適
な各計算機へのデータ圧縮/復元の分散化処理を行なう
ことができ、圧縮と復元処理の負荷分散等による効率的
な運用を可能にすることができる。
【0066】この場合において、前記テーブルで、各計
算機毎の圧縮前後のデータを一時的に保存する記憶装置
容量と、圧縮データの送受信に要する転送時間と、転送
処理の成功率を管理することにより、前記テーブルを参
照することで、データの送受信に要する時間等の情報を
認識することができる。
【0067】また、前記データ保存サーバは、圧縮処理
を行う前に、圧縮するデータのサイズやフォーマットを
基に前記テーブルから圧縮処理に必要とする時間と圧縮
率を各計算機の圧縮装置毎に予測することにより、圧縮
処理を行なう場合に必要となる情報を予測することがで
きる。
【0068】また、データ保存サーバは前記求めた計算
機でネットワーク装置や記憶装置で異常が発生していな
いかどうかチェックし、異常のある計算機に対しては再
起動を行なうことにより、異常のある計算機を特定して
再起動をかけることが可能となる。
【0069】また、前記異常があった計算機を除き、圧
縮時間が短かく圧縮率が高い順にテーブルに出力し、最
も効率がよい圧縮装置を選択することにより、最も効率
よくデータ圧縮を行なうことができる。
【0070】また、圧縮処理中に異常が発生した場合、
データ保存サーバは、他にリストアップされた圧縮装置
から圧縮時間と圧縮率が高い順に実行計算機と圧縮装置
を選択することにより、異常の発生した圧縮装置を外
し、他の圧縮装置を用いて最も効率のよい順に実行計算
機と圧縮装置を選択することができる。
【0071】また、データを圧縮した後、圧縮した装置
の種類と計算機情報をヘッダ情報として圧縮後のデータ
の先頭に追加することにより、ヘッダ情報から圧縮した
装置の種類と計算機情報を認識することができる。
【0072】また、計算機内の圧縮装置とデータ保存サ
ーバとの間で、これらの装置を効率よく制御して圧縮処
理を行なうことにより、圧縮処理を効率よく行なうこと
が可能になる。
【0073】また、データを復元する時には、データ保
存サーバはヘッダ情報から圧縮装置を取得して対応する
復元装置を計算機毎に探し出し、それぞれ復元に要する
時間と復元処理の成功率をデータサイズとフォーマット
毎に調査し、前記テーブル上で管理することにより、テ
ーブルを管理して必要な情報を取得し、データの復元を
行なうことが可能となる。
【0074】また、前記データ保存サーバは、各計算機
毎に復元前後のデータを一時的に保存する記憶装置の容
量と、復元データの送受信に要する転送時間及び転送処
理の成功率をテーブル上で管理することにより、記憶装
置容量と転送時間と転送処理の成功率に関する情報を得
ることができる。
【0075】また、前記データ保存サーバは、復元処理
を行う前に復元するデータのサイズと、フォーマットを
基に前記テーブルから復元処理に必要な時間を復元装置
毎に予測することにより、前記テーブルを参照して復元
処理に要する時間を予測することができる。
【0076】また、前記データ保存サーバは、前記予測
した計算機でネットワーク装置や記憶装置で異常が発生
していないかを確認し、異常が見られる計算機に対して
再起動をかけることにより、異常が見られる計算機に対
しては、再起動をかけることができる。
【0077】また、前記データ保存サーバは異常があっ
た計算機を除き、最も復元時間が短い復元装置を選択す
ることにより、異常があった計算機以外の計算機から最
も復元時間の短い復元装置を選択することができる。
【0078】また、復元処理中に異常が発生した場合、
前記データ保存サーバは異常のない計算機の中から再度
復元装置を選択することにより、異常のない復元装置を
選択することにより、復元処理を行なうことができる。
【0079】また、計算機内の圧縮装置とデータ保存サ
ーバとの間で、これらの装置を効率よく制御して復元処
理を行なうことにより、復元処理を効率よく行なうこと
が可能になる。
【0080】また、予め定められたサイズを超過する圧
縮対象データが入力された場合、データ保存サーバは、
各計算機の圧縮装置で圧縮効率が劣化しない最大のデー
タサイズを前記テーブルより求め、求めたデータサイズ
に入力データを分割し、圧縮処理依頼を行ない、全入力
データを圧縮するまで分割と圧縮を繰り返すことによ
り、サイズが基準値を超過する場合に、各計算機に分散
処理させ、この時に圧縮効率が低下しないようにするこ
とができ、また、基準値を超えるデータが入力された場
合でも、各計算機の復元装置に入力データを分割して処
理を依頼して、全データについての復元処理を行なうこ
とができる。
【0081】また、前記データ保存サーバは、分割した
圧縮データのサイズを調べてから、それぞれの圧縮デー
タを連結した後、圧縮前後のデータサイズと圧縮装置及
び計算機情報をヘッダ情報として連結したデータの先頭
に追加することにより、圧縮前後のデータサイズと圧縮
装置及び計算機情報をヘッダとして圧縮データの先頭に
追加することで、復元処理を確実に行なうことが可能と
なる。
【0082】更に、前記データ保存サーバは、圧縮した
データを復元する時に、ヘッダ情報から取得したデータ
サイズに分割して、復元装置を決定しながら復元処理を
行ない、圧縮データの全てを復元するまで分割と復元を
繰り返すことにより、圧縮したデータを復元する時に、
分割されたデータサイズ毎に復元処理を行なうことを繰
り返すことで、圧縮データの全てを復元することができ
る。
【0083】このように、本発明によれば、圧縮と復元
処理の負荷分散等による効率的な運用を可能にすること
ができる計算機データ圧縮制御装置を提供することがで
きる。
【図面の簡単な説明】
【図1】本発明の原理ブロック図である。
【図2】本発明の第1の動作説明図である。
【図3】本発明の第2の動作説明図である。
【図4】データ圧縮動作例を示すフローチャートであ
る。
【図5】データ復元動作例を示すフローチャートであ
る。
【図6】分割しながら圧縮処理を行なう場合の動作例を
示すフローチャートである。
【図7】分割圧縮したデータを復元する場合の流れを示
すフローチャートである。
【図8】ヘッダ情報の構成例を示す図である。
【図9】従来システムの構成ブロック図である。
【符号の説明】
1 計算機 2 回線 4 データ保存サーバ 11 圧縮装置 12 復元装置 30 テーブル

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 複数の計算機が接続されるネットワーク
    に接続され、記憶装置を有するデータ保存サーバに備え
    られた計算機データ圧縮制御装置であって、 前記ネットワークに接続される計算機毎に該計算機に対
    応したデータを記憶するテーブルを具備し、 ネットワークに接続された各計算機に備えられた圧縮装
    置におけるデータの圧縮率と圧縮に要する時間と圧縮処
    理の成功率をデータサイズとデータフォーマット毎に調
    査し、前記テーブル上で管理することを特徴とする計算
    機データ圧縮制御装置。
  2. 【請求項2】 前記データ保存サーバは、圧縮処理を行
    う前に、圧縮するデータのサイズやフォーマットを基に
    前記テーブルから圧縮処理に必要とする時間と圧縮率を
    各計算機の圧縮装置毎に予測することを特徴とする請求
    項1記載の計算機データ圧縮制御装置。
  3. 【請求項3】 圧縮処理中に異常が発生した場合、デー
    タ保存サーバは、他にリストアップされた圧縮装置から
    圧縮時間と圧縮率が高い順に実行計算機と圧縮装置を選
    択することを特徴とする請求項1記載の計算機データ圧
    縮制御装置。
  4. 【請求項4】 データを復元する時には、データ保存サ
    ーバはヘッダ情報から圧縮装置を取得して対応する復元
    装置を計算機毎に探し出し、それぞれ復元に要する時間
    と復元処理の成功率をデータサイズとフォーマット毎に
    調査し、前記テーブル上で管理することを特徴とする請
    求項1記載の計算機データ圧縮制御装置。
  5. 【請求項5】 予め定められたサイズを超過する圧縮対
    象データが入力された場合、データ保存サーバは、各計
    算機の圧縮装置で圧縮効率が劣化しない最大のデータサ
    イズを前記テーブルより求め、求めたデータサイズに入
    力データを分割し、圧縮処理依頼を行ない、全入力デー
    タを圧縮するまで分割と圧縮を繰り返すことを特徴とす
    る請求項1記載の計算機のデータ圧縮制御装置。
JP30813898A 1998-10-29 1998-10-29 計算機データ圧縮制御装置 Expired - Fee Related JP3774072B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30813898A JP3774072B2 (ja) 1998-10-29 1998-10-29 計算機データ圧縮制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30813898A JP3774072B2 (ja) 1998-10-29 1998-10-29 計算機データ圧縮制御装置

Publications (2)

Publication Number Publication Date
JP2000132371A true JP2000132371A (ja) 2000-05-12
JP3774072B2 JP3774072B2 (ja) 2006-05-10

Family

ID=17977356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30813898A Expired - Fee Related JP3774072B2 (ja) 1998-10-29 1998-10-29 計算機データ圧縮制御装置

Country Status (1)

Country Link
JP (1) JP3774072B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007303455A (ja) * 2006-04-14 2007-11-22 Yamaha Motor Co Ltd 車両

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007303455A (ja) * 2006-04-14 2007-11-22 Yamaha Motor Co Ltd 車両

Also Published As

Publication number Publication date
JP3774072B2 (ja) 2006-05-10

Similar Documents

Publication Publication Date Title
CN111813513B (zh) 基于分布式的实时任务调度方法、装置、设备及介质
WO2014188528A1 (ja) メモリ装置、計算機システム及びメモリ装置の制御方法
CN111600957A (zh) 文件传输方法、装置、系统和电子设备
CN102255866A (zh) 一种数据下载方法及装置
CN111339057A (zh) 减少回源请求的方法、装置及计算机可读存储介质
CN111475108A (zh) 一种分布式存储方法、计算机设备及计算机可读存储介质
US20190104077A1 (en) Managing data compression
CN109828719B (zh) 基于云监控的commitLog文件所在磁盘控制方法、装置及相关设备
CN111767126A (zh) 分布式批量处理的系统和方法
JP2000132371A (ja) 計算機データ圧縮制御装置
JP7075077B2 (ja) バックアップサーバ、バックアップ方法、プログラム、ストレージシステム
JP2009025971A (ja) 情報処理装置、ログデータ収集システム
EP0661634A2 (en) Tag server
JP2007272475A (ja) 伝票データ処理プログラム、伝票データ処理方法、および、伝票データ処理装置
JP6891603B2 (ja) バックアップシステム、ストレージ装置、データ転送方法及びプログラム
JPH11272575A (ja) 圧縮ファイルサーバ方式
JP2008226082A (ja) データ圧縮伸張装置、コンピュータに実行させるためのプログラム、及びデータ圧縮伸張方法
CN114281604B (zh) 数据恢复方法、装置、电子设备及存储介质
CN117319422B (zh) 一种城市规划领域物联网数据的区块链成块方法及系统
JP2010287114A (ja) データ格納方法及びデータ格納装置
JP2018185615A (ja) 電子機器、方法、及びプログラム
US20240184460A1 (en) Compression-expansion control apparatus, storage system, and compression-expansion control method
CN116088755A (zh) 一种数据存储的方法和装置
JP6823515B2 (ja) データ分散装置、分散データベースシステム、データ分散方法およびデータ分散プログラム
JPH07222267A (ja) 状態情報収集システム及び状態管理システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050816

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20051004

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060216

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090224

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120224

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130224

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130224

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140224

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees