JP2010061518A - データ保存装置及びデータ保存方法並びにプログラム - Google Patents
データ保存装置及びデータ保存方法並びにプログラム Download PDFInfo
- Publication number
- JP2010061518A JP2010061518A JP2008228206A JP2008228206A JP2010061518A JP 2010061518 A JP2010061518 A JP 2010061518A JP 2008228206 A JP2008228206 A JP 2008228206A JP 2008228206 A JP2008228206 A JP 2008228206A JP 2010061518 A JP2010061518 A JP 2010061518A
- Authority
- JP
- Japan
- Prior art keywords
- data
- registered
- divided
- management table
- divided data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】サイズが小さいデータを大量に保存する場合であっても、高い蓄積データの削減効率と、速い読み出し速度を得られるようにする。
【解決手段】データ入出力部11は、入力された保存対象データを分割して分割データを生成する。その後、その分割データと同一内容の圧縮データがデータ保存部131に登録されていない分割データについては、その分割データを圧縮してデータ保存部131に書き出すと共に、共通部分管理テーブル141にその分割データのデータサイズおよび出現回数「1」を登録する。登録済みの分割データについては、共通部分管理テーブル141に登録されている該当する出現回数をインクリメントする。ソリッド圧縮制御手段121は、データサイズが第1の閾値未満で、且つ出現回数が第2の閾値未満の分割データについての圧縮データを一旦伸張後、それらをまとめてソリッド圧縮してデータ保存部131に登録する。
【選択図】図1
【解決手段】データ入出力部11は、入力された保存対象データを分割して分割データを生成する。その後、その分割データと同一内容の圧縮データがデータ保存部131に登録されていない分割データについては、その分割データを圧縮してデータ保存部131に書き出すと共に、共通部分管理テーブル141にその分割データのデータサイズおよび出現回数「1」を登録する。登録済みの分割データについては、共通部分管理テーブル141に登録されている該当する出現回数をインクリメントする。ソリッド圧縮制御手段121は、データサイズが第1の閾値未満で、且つ出現回数が第2の閾値未満の分割データについての圧縮データを一旦伸張後、それらをまとめてソリッド圧縮してデータ保存部131に登録する。
【選択図】図1
Description
本発明は、大量のデータを保存するデータ保存技術に関する。
コンピュータシステムに蓄積されるデータ量は年々急増しており、これに伴ってデータ記憶装置の大容量化が求められている。しかし、データ記憶装置を大容量化するためには、装置導入コストが発生すると共に運用コストが増加するので、蓄積データ量の増加を抑える対策が講じられている(例えば、特許文献1、2参照)。
特許文献1では、ファイル(登録対象ファイル)の登録時、そのファイルに含まれているデータブロックの内、以前に登録したファイル中のデータブロックと同一内容のデータブロックについては、記録媒体への書き出し処理を行わずに、既に登録されている同一内容のデータブロックを参照するための情報をファイル記述子に書き出すことにより、蓄積データ量を抑えるようにしている。なお、同一内容のデータブロックが登録済みでない、登録対象ファイル中のデータブロックについては、記録媒体への書き出し処理を行う。その際、引用文献1ではデータを圧縮せずにそのまま書き出すようにしている。
また、特許文献2では、被処理ファイルシステムイメージ(FSI)上のファイルの内、基準FSI上に存在しないファイルは汎用圧縮アルゴリズムにより圧縮して圧縮済FSIに書き出し、基準FSI上に存在するファイルはそのファイルの基準FSI上の位置を圧縮済FSIに書き出すことにより、蓄積データ量を抑えるようにしている。
特許文献1、2によれば、蓄積データ量を削減することができる。しかし、特許文献1では、データを記録媒体に書き出す際、圧縮せずにそのまま書き出しているため、蓄積データ量の削減効率が少ないという問題がある。
これに対して、引用文献2では、ファイルを圧縮してから圧縮済FSIに書き出しているため、引用文献1に比較して高い削減効率を得ることができる。しかし、引用文献2では、圧縮単位が個々のファイルであるため、ファイルのサイズが小さい場合、十分な削減効率を得ることができないという問題がある。このような問題を解決するためには、例えば、複数のファイルをまとめて圧縮(ソリッド圧縮)するということが考えられるが、このようにした場合は、データの読み出し速度が遅くなるという問題がある。すなわち、ソリッド圧縮データ中のデータを1つだけ読み出す場合であっても、ソリッド圧縮データ全体を伸張して該当データを取り出す必要があるため、読み出し速度が遅くなってしまう。
〔発明の目的〕
そこで、本発明の目的は、サイズが小さいデータを大量に保存する場合であっても、十分な蓄積データ量の削減効率を得ることができ、且つ読み出し速度の低下を極力抑えることができるデータ保存装置を提供することにある。
そこで、本発明の目的は、サイズが小さいデータを大量に保存する場合であっても、十分な蓄積データ量の削減効率を得ることができ、且つ読み出し速度の低下を極力抑えることができるデータ保存装置を提供することにある。
本発明にかかる第1のデータ保存装置は、
データ保存部と、
共通部分管理テーブルと、
所在情報管理テーブルと、
入力された保存対象データ毎に、その保存対象データを分割して分割データを生成する分割手段と、
該分割手段で生成された分割データの内、その分割データと同一内容の圧縮データが前記データ保存部に登録されていない分割データについては、その分割データを圧縮した圧縮データを前記データ保存部に登録すると共にその分割データのサイズ及び出現回数を前記共通部分管理テーブルに登録し、同一内容の圧縮データが前記データ保存部に登録されている分割データについては、前記共通部分管理テーブルに登録されている、その分割データと同一内容の分割データについての出現回数をインクリメントする共通部分判別手段と、
前記入力された保存対象データ毎に、その保存対象データを構成する分割データそれぞれについてその分割データと同一内容の圧縮データを指し示す指示情報を含んだ所在情報を前記所在情報管理テーブルに登録する所在情報登録手段と、
前記共通部分管理テーブルに登録されているデータサイズが第1の閾値未満で、且つ前記共通部分管理テーブルに登録されている出現回数が第2の閾値未満の分割データについての圧縮データを一旦伸張後、それらをまとめてソリッド圧縮して前記データ保存部に登録すると共に前記所在情報管理テーブルを更新するソリッド圧縮制御手段とを備える。
データ保存部と、
共通部分管理テーブルと、
所在情報管理テーブルと、
入力された保存対象データ毎に、その保存対象データを分割して分割データを生成する分割手段と、
該分割手段で生成された分割データの内、その分割データと同一内容の圧縮データが前記データ保存部に登録されていない分割データについては、その分割データを圧縮した圧縮データを前記データ保存部に登録すると共にその分割データのサイズ及び出現回数を前記共通部分管理テーブルに登録し、同一内容の圧縮データが前記データ保存部に登録されている分割データについては、前記共通部分管理テーブルに登録されている、その分割データと同一内容の分割データについての出現回数をインクリメントする共通部分判別手段と、
前記入力された保存対象データ毎に、その保存対象データを構成する分割データそれぞれについてその分割データと同一内容の圧縮データを指し示す指示情報を含んだ所在情報を前記所在情報管理テーブルに登録する所在情報登録手段と、
前記共通部分管理テーブルに登録されているデータサイズが第1の閾値未満で、且つ前記共通部分管理テーブルに登録されている出現回数が第2の閾値未満の分割データについての圧縮データを一旦伸張後、それらをまとめてソリッド圧縮して前記データ保存部に登録すると共に前記所在情報管理テーブルを更新するソリッド圧縮制御手段とを備える。
本発明にかかる第1のデータ保存方法は、
データ保存部と共通部分管理テーブルと所在情報管理テーブルとを備えたコンピュータが、入力された保存対象データ毎に、その保存対象データを分割して分割データを生成する第1のステップと、
前記コンピュータが、前記第1のステップで生成された分割データの内、その分割データと同一内容の圧縮データが前記データ保存部に登録されていない分割データについては、その分割データを圧縮した圧縮データを前記データ保存部に登録すると共にその分割データのサイズ及び出現回数を前記共通部分管理テーブルに登録し、同一内容の圧縮データが前記データ保存部に登録されている分割データについては、前記共通部分管理テーブルに登録されている、その分割データと同一内容の分割データについての出現回数をインクリメントする第2のステップと、
前記コンピュータが、前記入力された保存対象データ毎に、その保存対象データを構成する分割データそれぞれについてその分割データと同一内容の圧縮データを指し示す指示情報を含んだ所在情報を前記所在情報管理テーブルに登録する第3のステップと、
前記コンピュータが、前記共通部分管理テーブルに登録されているデータサイズが第1の閾値未満で、且つ前記共通部分管理テーブルに登録されている出現回数が第2の閾値未満の分割データについての圧縮データを一旦伸張後、それらをまとめてソリッド圧縮して前記データ保存部に登録すると共に前記所在情報管理テーブルを更新する第4のステップとを含む。
データ保存部と共通部分管理テーブルと所在情報管理テーブルとを備えたコンピュータが、入力された保存対象データ毎に、その保存対象データを分割して分割データを生成する第1のステップと、
前記コンピュータが、前記第1のステップで生成された分割データの内、その分割データと同一内容の圧縮データが前記データ保存部に登録されていない分割データについては、その分割データを圧縮した圧縮データを前記データ保存部に登録すると共にその分割データのサイズ及び出現回数を前記共通部分管理テーブルに登録し、同一内容の圧縮データが前記データ保存部に登録されている分割データについては、前記共通部分管理テーブルに登録されている、その分割データと同一内容の分割データについての出現回数をインクリメントする第2のステップと、
前記コンピュータが、前記入力された保存対象データ毎に、その保存対象データを構成する分割データそれぞれについてその分割データと同一内容の圧縮データを指し示す指示情報を含んだ所在情報を前記所在情報管理テーブルに登録する第3のステップと、
前記コンピュータが、前記共通部分管理テーブルに登録されているデータサイズが第1の閾値未満で、且つ前記共通部分管理テーブルに登録されている出現回数が第2の閾値未満の分割データについての圧縮データを一旦伸張後、それらをまとめてソリッド圧縮して前記データ保存部に登録すると共に前記所在情報管理テーブルを更新する第4のステップとを含む。
本発明にかかる第1のプログラムは、
データ保存部と共通部分管理テーブルと所在情報管理テーブルとを備えたコンピュータをデータ保存装置として機能させるためのプログラムであって、
前記コンピュータを、
入力された保存対象データ毎に、その保存対象データを分割して分割データを生成する分割手段、
該分割手段で生成された分割データの内、その分割データと同一内容の圧縮データが前記データ保存部に登録されていない分割データについては、その分割データを圧縮した圧縮データを前記データ保存部に登録すると共にその分割データのサイズ及び出現回数を前記共通部分管理テーブルに登録し、同一内容の圧縮データが前記データ保存部に登録されている分割データについては、前記共通部分管理テーブルに登録されている、その分割データと同一内容の分割データについての出現回数をインクリメントする共通部分判別手段、
前記入力された保存対象データ毎に、その保存対象データを構成する分割データそれぞれについてその分割データと同一内容の圧縮データを指し示す指示情報を含んだ所在情報を前記所在情報管理テーブルに登録する所在情報登録手段、
前記共通部分管理テーブルに登録されているデータサイズが第1の閾値未満で、且つ前記共通部分管理テーブルに登録されている出現回数が第2の閾値未満の分割データについての圧縮データを一旦伸張後、それらをまとめてソリッド圧縮して前記データ保存部に登録すると共に前記所在情報管理テーブルを更新するソリッド圧縮制御手段として機能させる。
データ保存部と共通部分管理テーブルと所在情報管理テーブルとを備えたコンピュータをデータ保存装置として機能させるためのプログラムであって、
前記コンピュータを、
入力された保存対象データ毎に、その保存対象データを分割して分割データを生成する分割手段、
該分割手段で生成された分割データの内、その分割データと同一内容の圧縮データが前記データ保存部に登録されていない分割データについては、その分割データを圧縮した圧縮データを前記データ保存部に登録すると共にその分割データのサイズ及び出現回数を前記共通部分管理テーブルに登録し、同一内容の圧縮データが前記データ保存部に登録されている分割データについては、前記共通部分管理テーブルに登録されている、その分割データと同一内容の分割データについての出現回数をインクリメントする共通部分判別手段、
前記入力された保存対象データ毎に、その保存対象データを構成する分割データそれぞれについてその分割データと同一内容の圧縮データを指し示す指示情報を含んだ所在情報を前記所在情報管理テーブルに登録する所在情報登録手段、
前記共通部分管理テーブルに登録されているデータサイズが第1の閾値未満で、且つ前記共通部分管理テーブルに登録されている出現回数が第2の閾値未満の分割データについての圧縮データを一旦伸張後、それらをまとめてソリッド圧縮して前記データ保存部に登録すると共に前記所在情報管理テーブルを更新するソリッド圧縮制御手段として機能させる。
本発明によれば、サイズが小さいデータを大量に保存する場合であっても、十分な蓄積データ量の削減効率を得ることができ、且つ読み出し速度の低下を極力抑えることができるという効果を得ることができる。
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。
〔本発明の第1の実施の形態〕
図1を参照すると、本発明の第1の実施の形態は、データ保存装置1と、ホストコンピュータ等の上位装置2とから構成されている。
図1を参照すると、本発明の第1の実施の形態は、データ保存装置1と、ホストコンピュータ等の上位装置2とから構成されている。
データ保存装置1は、データ入出力部11と、圧縮伸張処理部12と、ディスク装置などのデータ記憶装置13、14とから構成されている。
データ記憶装置13は、データ保存部131を備えている。
データ保存部131には、上位装置2から入力された保存対象データを所定の規則に従って分割することにより生成した分割データの圧縮データが登録される。
データ記憶装置14は、共通部分管理テーブル141と、所在情報管理テーブル142と、条件記憶部143とを備えている。
共通部分管理テーブル141には、データ名に関連付けて分割データの圧縮前のデータサイズと、同一内容の分割データの出現回数とが登録される。
所在情報管理テーブル142には、保存対象データの所在(データ保存部131上の位置)を示す所在情報が登録される。
条件記憶部143には、ソリッド圧縮の対象にする分割データの条件が登録されている。本実施の形態では、上記条件としてデータサイズについての閾値(第1の閾値Th1)と、出現回数についての閾値(第2の閾値Th2)とが登録されており、データサイズが第1の閾値Th1未満で、且つ出現回数が第2の閾値Th2未満の分割データをソリッド圧縮の対象にする。
データ入出力部11は、分割手段111と、共通部分判別手段112と、所在情報登録手段113とを備えている。
分割手段111は、上位装置2から入力された保存対象データを予め定められている所定の規則に従って分割し、分割データを生成する機能を有する。上記所定の規則としては、種々の規則を採用することができる。例えば、保存対象データがテキストデータと画像データとから構成されるデータである場合は、保存対象データをテキストデータと画像データとに分割すると言った、保存対象データを論理的な単位毎に分割する規則を採用することができる。また、保存対象データがデータベースに格納されているデータである場合は、データをレコード単位で分割するという規則を採用することができる。また、保存対象データがパワーポイントファイルである場合は、保存対象データをスライド単位に分割するという規則を採用することができる。
共通部分判別手段112は、次のような機能を有する。
・分割手段111で生成された分割データ毎に、その分割データと同一内容のデータ(圧縮データ)がデータ記憶装置13上のデータ保存部131に登録されているか否かを判定する機能。
・未登録と判定した分割データについては、その分割データを圧縮してデータ記憶装置13上のデータ保存部131に登録することを圧縮伸張処理部12に依頼すると共に、上記分割データのデータサイズ(圧縮前のサイズ)及び出現回数「1」を共通部分管理テーブル141に登録する機能。
・登録済みと判定した分割データについては、共通部分管理テーブル141に登録されている、その分割データと同一内容の分割データについての出現回数をインクリメント(本実施の形態では+1)する機能。
・未登録と判定した分割データについては、その分割データを圧縮してデータ記憶装置13上のデータ保存部131に登録することを圧縮伸張処理部12に依頼すると共に、上記分割データのデータサイズ(圧縮前のサイズ)及び出現回数「1」を共通部分管理テーブル141に登録する機能。
・登録済みと判定した分割データについては、共通部分管理テーブル141に登録されている、その分割データと同一内容の分割データについての出現回数をインクリメント(本実施の形態では+1)する機能。
所在情報登録手段113は、保存対象データ毎に、その保存対象データを構成する分割データそれぞれについてその分割データと同一内容の圧縮データを指し示す指示情報を含んだ所在情報を所在情報管理テーブル142に登録する機能を有する。
圧縮伸張処理部12は、ソリッド圧縮制御手段121と、圧縮手段122と、伸張手段123と、読み出し手段124とを備えている。
圧縮手段122は、データを汎用圧縮アルゴリズムに従って圧縮する機能を有し、伸張手段123は、圧縮データを汎用伸張アルゴリズムに従って伸張する機能を有する。
ソリッド圧縮制御手段121は、次のような機能を有する。
・条件記憶部143に登録されている条件を満たす分割データ(データサイズが第1の閾値Th1未満で、且つ出現回数が第2の閾値Th2未満の分割データ)を共通部分管理テーブル141から抽出し、抽出した分割データのデータ名が載ったソリッド圧縮対象リストを生成する機能。
・ソリッド圧縮対象リストに載っている分割データについての圧縮データを伸張手段123を用いて一旦伸張後、圧縮手段122を利用してそれらをまとめてソリッド圧縮してデータ保存部131に登録し、更に、所在情報管理テーブル142に登録されている所在情報を更新する機能。
・ソリッド圧縮対象リストに載っている分割データについての圧縮データを伸張手段123を用いて一旦伸張後、圧縮手段122を利用してそれらをまとめてソリッド圧縮してデータ保存部131に登録し、更に、所在情報管理テーブル142に登録されている所在情報を更新する機能。
読み出し手段124は、読み出し対象データのデータ名を含む読み出し要求の入力時、所在情報管理テーブル142から読み出し対象データの所在情報を検索する機能や、検索した所在情報によって示される圧縮データを伸張、連結して読み出し対象データを復元する機能を有する。
なお、データ保存装置1はコンピュータによって実現可能であり、コンピュータによって実現する場合は、例えば次のようにする。コンピュータをデータ保存装置1として機能させるためのプログラムを記録したディスク、半導体メモリ、その他の記録媒体を用意し、コンピュータに上記プログラムを読み取らせる。コンピュータは読み取ったプログラムに従って自身の動作を制御することにより、自コンピュータ上にデータ入出力部11及び圧縮伸張処理部12を実現する。
〔第1の実施の形態の動作の説明〕
次に、本実施の形態の動作について詳細に説明する。
次に、本実施の形態の動作について詳細に説明する。
先ず、データ保存時の動作について説明する。今、例えば、データ保存部131に全くデータが登録されていない状態において、上位装置2から保存対象データとして図2(A)に示す、データ名#D1〜#D8のデータが入力されたとする。なお、以下の説明ではデータ名#Djのデータのことをデータ#Djと記す場合もある。
これにより、データ入出力部11内の分割手段111が、第1番目の保存対象データ#D1(内容は「A」である)を所定の規則に従って分割し、分割データを生成する(図3のステップS31)。この処理により、内容「A」の分割データ#d1が生成されたとする。
その後、共通部分判別手段112が、上記分割データ#d1と同一内容の圧縮データがデータ保存部131に登録されているか否かを判定する(ステップS32)。この判定方法としては、例えば、データ保存部131に登録されている各圧縮データを伸張手段123により順次伸張し、伸張したデータと上記分割データとを比較する方法を採用することができる。また、データ保存部131に分割データの圧縮データを登録する際に、その分割データのハッシュ値を求めてハッシュ値管理テーブル(図示せず)に登録しておき、判定時には、判定対象にしている分割データのハッシュ値を求め、それとハッシュ値管理テーブルに登録されているハッシュ値とを比較する方法を採用することもできる。
この例の場合、分割データ#d1と同一内容の圧縮データはデータ保存部131に登録されていないので、共通部分判別手段112は、上記分割データ#d1を圧縮して保存することを圧縮伸張処理部12に依頼すると共に、共通部分管理テーブル141に上記分割データのデータ名#d1と、データサイズ(圧縮前のデータサイズ)と、出現回数「1」とを関連付けて登録する(ステップS33)。圧縮伸張処理部12では、上記依頼を受けると、図2(B)に示すように、内容「A」の分割データ#d1を圧縮手段122で圧縮してデータ保存部131に登録する。この例では、分割データ#d1の圧縮データはアドレスaに登録されている。
その後、所在情報登録手段113が、保存対象データ#D1の所在情報を所在情報管理テーブル142に登録する(ステップS34)。この例では、図4(A)に示すように指示情報として「アドレスa」を含んだ所在情報が所在情報管理テーブル142に登録される。
第1番目の保存対象データ#D1についての処理が終了すると、データ入出力部11は第2番目の保存対象データ#D2に対する処理を開始する。
先ず、分割手段111が保存対象データ#D2を所定の規則に従って分割し、内容が「B」「C」の2つの分割データ#d2−1、#d2−2を生成する(ステップS31)。
次に、共通部分判別手段112が上記2つの分割データ#d2−1、#d2−2と同一内容の圧縮データがデータ保存部131に登録されていないと判定し、圧縮伸張処理部12に対して上記2つの分割データ#d2−1、#d2−2を別々に圧縮してデータ保存部131に保存することを依頼する。更に、共通部分判別手段112は、共通部分管理テーブル141に、分割データ#d2−1、#d2−2のデータ名に関連付けてデータサイズ及び出現回数「1」を登録する(ステップS32、S33)。また、上記依頼を受けた圧縮伸張処理部12では、分割データ#d2−1、#d2−2をそれぞれ圧縮手段122で圧縮して図2(B)に示すように、データ保存部131に登録する。この例の場合、2つの圧縮データはそれぞれアドレスb、cに登録されている。
その後、所在情報登録手段113が、図4(A)に示すように、指示情報として「アドレスb、c」を含んだ、保存対象データ#D2の所在情報を所在情報管理テーブル142に登録する(ステップS34)。
その後、データ入出力部11は、第3番目の保存対象データ#D3に対して、前述した処理と同様の処理を行う(ステップS31〜S34)。
そして、第3番目の保存対象データ#D3に対する処理が終了すると、データ入出力部11は、第4番目の保存対象データ#D4に対して次のような処理を行う。
先ず、分割手段111が、保存対象データ#D4を所定の規則で分割し、内容が「C」「E」「B」の3つの分割データ#d4−1、#d4−2、#d4−3を生成する(ステップS31)。
次いで、共通部分判別手段112は、内容「C」、「B」の分割データ#d4−1、#d4−3については、同一内容の圧縮データがデータ保存部131に既に登録されていると判定し、内容「E」の分割データ#d4−2については同一内容の圧縮データが登録されていないと判定する(ステップS32)。
この結果、内容が「C」「B」の分割データ#d4−1、#d4−3についてはデータの書き出し処理は行わずに、共通部分管理テーブル141中の該当する出現回数をインクリメントする。具体的には、データ名#d2−1、#d2−2に対応付けて登録されている出現回数をインクリメントする(ステップS32、S33)。これに対して、内容「E」の分割データ#d4−2については、圧縮伸張処理部12に対して上記分割データ#d4−2を圧縮してデータ保存部131に保存することを依頼し、更に、共通部分管理テーブル141に分割データ#d4−2のデータサイズおよび出現回数「1」を登録する(S32、S33)。また、上記依頼を受けた圧縮伸張処理部12では、図2(B)に示すように、分割データ#d4−2の圧縮データをアドレスeに登録する。
その後、所在情報登録手段113が、図4(A)に示すように、保存対象データ#D4の所在情報としてアドレスc、e、bを登録する(ステップS34)。
以後、第5番目〜第8番目の保存対象データ#D5〜#D8に対して、前述した処理と同様の処理が行われる。この結果、データ保存部131、共通部分管理テーブル141および所在情報管理テーブル142の内容は、それぞれ図2(B)、図2(C)、図4(A)に示すものとなる。
全ての保存対象データ#D1〜#D8について、データ入出力部11による処理が終了すると、圧縮伸張処理部12が図5のフローチャートに示す処理を行う。
先ず、圧縮伸張処理部12内のソリッド圧縮制御手段121が、条件記憶部143に登録されている条件を満たす分割データを共通部分管理テーブル141から抽出し、抽出した分割データのデータ名を記載したソリッド圧縮対象リストLを生成する(ステップS51)。今、例えば、図6(A)に示すように、条件記憶部143にデータサイズ、出現回数に関する第1、第2の閾値Th1、Th2としてそれぞれ「50.000」「2」が登録され、共通部分管理テーブル141の内容が図2(C)に示すものであるとすると、データサイズが「50.000」未満で、且つ出現回数が「2」未満の分割データが抽出され、図6(B)に示すソリッド圧縮対象リストLが生成される。
その後、ソリッド圧縮制御手段121は、ソリッド圧縮対象リストLに載っている5個の分割データ#d3、#d5−1、#d6−1、#d7−1、#d8の圧縮データをそれぞれ伸張手段123を用いて一旦伸張した後、圧縮手段122を利用してそれらをまとめてソリッド圧縮し、ソリッド圧縮データ#sとしてデータ保存部131に登録する(ステップS52)。なお、ソリッド圧縮データ#sは、分割データ#d3、#d5−1、#d6−1、#d7−1、#d8をその順番で圧縮したものとする。また、ソリッド圧縮の基になった圧縮データ(分割データ#d3、#d5−1、#d6−1、#d7−1、#d8についての圧縮データ)は、データ保存部131から削除する。この結果、データ保存部131の内容は、図6(C)に示すものとなる。なお、図6(C)ではソリッド圧縮データ#sは、アドレスsに登録されている。
その後、ソリッド圧縮制御手段121は、ソリッド圧縮によって分割データ#d3、#d5−1、#d6−1、#d7−1、#d8の圧縮データの格納位置が変化したので、上記分割データを構成要素とする保存対象データ#D3、#D5〜#D8の所在情報を変更する(ステップS53)。本実施の形態では、ソリッド圧縮された各分割データのアドレスを、ソリッド圧縮データ#sの先頭アドレスsと、オフセット(ソリッド圧縮データ#sを伸張した際の、先頭から該当分割データまでのバイト数)と、データサイズとの組に変換することにより、所在情報を更新する。
具体的には、保存対象データ#D3については、その構成要素である分割データ#d3の指示情報「アドレスd」を「(ソリッド圧縮データ#sの先頭アドレスs)と(オフセット=0)と(データサイズ=40000)との組」に変換することにより、所在情報を更新する。ここで、オフセット=0とするのは、分割データ#d3の圧縮データは、ソリッド圧縮データ#sの先頭部分に位置するものであるからである。また、例えば、保存対象データ#D6については、その構成要素である分割データ#d6−1のアドレス「g」を「(ソリッド圧縮データ#sの先頭アドレスs)と(オフセット=70000)と(データサイズ=35000)との組」に変換することにより、所在情報を更新する。ここで、オフセット=70000とするのは、ソリッド圧縮データ#sにおいて分割データ#d6−1よりも前に存在する分割データ#d3、#d5−1のデータサイズの合計値が70000バイトであるからである。図4(B)にステップS53の処理が終了した後の所在情報管理テーブル142の内容を示す。
次に、データ読み出し時の動作について説明する。データの読み出し時、上位装置2は読み出し対象データのデータ名を含んだ読み出し要求をデータ保存装置1に入力する。
データ保存装置1内のデータ入出力部11は読み出し要求が入力されると、それを圧縮伸張処理部12に渡す。これにより、圧縮伸張処理部12内の読み出し手段124は、読み出し要求中のデータ名をキーにして、所在情報管理テーブル142から読み出し対象データの所在情報を検索する(ステップS71)。
次いで、読み出し手段124は、ステップS71で検索した所在情報中の各指示情報(アドレス、あるいはアドレスとオフセットとデータサイズとの組)によって示される各圧縮データをそれぞれ伸張手段123を用いて伸張し、伸張したデータを連結する(ステップS72)。但し、アドレスとオフセットとデータサイズとの組によって示される圧縮データ(ソリッド圧縮データ)については、ソリッド圧縮データ全体を伸張し、伸張後のデータからオフセットとデータサイズとによって特定されるデータを抽出し、この抽出データを他のデータと連結する。
その後、読み出し手段124は、ステップS72で連結したデータを、データ入出力部11を介して要求元の上位装置2に返却する(ステップS73)。
今、例えば、所在情報管理テーブル142の内容が図4(B)に示すものであり、データ保存部131の内容が図6(C)に示すものであるときに、上位装置2からデータ名#D2を含む読み出し要求が入力されたとすると次のような処理が行われる。
読み出し手段124は、所在情報管理テーブル142からデータ#D2の所在情報を検索する(ステップS71)。この所在情報には、指示情報として「アドレスb、アドレスc」が含まれている。
その後、読み出し手段124は、所在情報の第1番目の指示情報(アドレスb)に従って、データ保存部131のアドレスbに格納されている圧縮データを伸張し、内容Bの分割データ#d2−1を復元する。その後、第2番目の指示情報(アドレスc)に従って、データ保存部131のアドレスcに格納されている圧縮データを伸張し、内容Cの分割データ#d2−2を復元する。その後、分割データ#d2−1と分割#d2−2とを連結し、連結後のデータを上位装置2へ返却する(ステップS72、S73)。
また、上位装置2からデータ名#D6を含む読み出し要求が入力された場合は、次のような処理が行われる。
読み出し手段124は、所在情報管理テーブル142からデータ#D6についての所在情報を検索する(ステップS71)。この所在情報には、「アドレスsと、オフセット=70000と、データサイズ=35000との組」と、アドレスaとが指示情報として含まれている。
その後、読み出し手段124は、所在情報の第1番目の指示情報(アドレスsと、オフセット=70000と、データサイズ=35000との組)に従って、データ保存部131のアドレスsに登録されているソリッド圧縮データsを伸張する。これにより、図8に示すようなデータ(内容D、F、G、H、Iの分割データから構成されるデータ)が復元される。その後、読み出し手段124は、復元したデータからオフセット=70000及びデータサイズ=35000によって特定されるデータ(内容Gの分割データ)を抽出する。次に、読み出し手段124は、所在情報の第2番目の指示情報(アドレスa)に従ってデータ保存部131のアドレスaに登録されている圧縮データを伸張し、内容Aの分割データを復元する。その後、内容Gの分割データと内容Aの分割データとを結合し、結合後のデータを上位装置2へ返却する(ステップS72、S73)。
〔第1の実施の形態の効果〕
本実施の形態によれば、サイズが小さいデータを大量に保存する場合であっても、十分な蓄積データ量の削減効率を得ることができ、且つ読み出し速度の低下を極力抑えることができるという効果を得ることができる。
本実施の形態によれば、サイズが小さいデータを大量に保存する場合であっても、十分な蓄積データ量の削減効率を得ることができ、且つ読み出し速度の低下を極力抑えることができるという効果を得ることができる。
その理由は、データサイズが第1の閾値Th1未満で、且つ出現回数が第2の閾値Th2未満の分割データはまとめてソリッド圧縮し、データサイズが第1の閾値Th1以上のデータおよび出現回数が第2の閾値Th2以上のデータはそれぞれ単独で圧縮するようにしているからである。ここで、出現回数を考慮せずにデータサイズが第1の閾値Th1未満の分割データを全てまとめてソリッド圧縮することも考えられるが、このようにした場合には、読み出し速度が遅くなってしまう。ソリッド圧縮データから分割データを読み出す場合は、ソリッド圧縮データを伸張し、伸張後のデータから該当データを取り出す必要があり、単独圧縮データから分割データを読み出す場合に比較してデータの読み出しに時間がかかる。そこで、本実施の形態では、何回も読み出される出現回数の多い分割データは、そのデータサイズが第1の閾値Th1未満であってもソリッド圧縮せずに単独圧縮することにより、分割データの読み出し速度の低下を極力抑えるようにしてる。
また、本実施の形態によれば、分割データと同一内容の圧縮データがデータ保存部131に登録されているか否かを短時間で判定することができるという効果を得ることができる。
その理由は、データ保存部131に圧縮データが登録されている分割データそれぞれのハッシュ値が登録されたハッシュ値管理テーブルを備え、共通部分判別手段112が分割手段111で生成された分割データ毎にそのハッシュ値を求め、求めたハッシュ値と同一のハッシュ値がハッシュ値管理テーブルに登録されているか否かに基づいて、上記分割データと同一内容の圧縮データがデータ保存部131に登録されているか否かを判定するようにしているからである。
〔本発明の第2の実施の形態〕
次に、本発明の第2の実施の形態について説明する。本実施の形態は、電子メールデータを保存対象データとしている。
次に、本発明の第2の実施の形態について説明する。本実施の形態は、電子メールデータを保存対象データとしている。
図9を参照すると、本実施の形態は、データ保存装置1aと、電子メールサーバ91と、電子メールアーカイブサーバ92とを備えている。
データ保存装置1aは、第1の実施の形態で説明したデータ保存装置1と同様の構成を有している。しかし、機能的には、分割手段111の機能が第1の実施の形態の分割手段111とは多少異なっている。本実施の形態の分割手段111は、保存対象データである電子メールデータを、ヘッダと本体とに分割する。
電子メールサーバ91は、ネットワークを介して端末装置との間で電子メールデータを送受信する機能を有する。電子メールアーカイブサーバ92は、電子メールサーバ91が送受信した電子メールデータを保存対象データとしてデータ保存装置1aに入力する機能や、読み出し対象データのデータ名を含んだ読み出し要求をデータ保存装置1aに入力する機能を有する。
〔第2の実施の形態の動作の説明〕
次に、本実施の形態の動作について説明する。なお、データ読み出し時の動作は、第1の実施の形態と同じであるので、ここでは、データ保存時の動作について説明する。
次に、本実施の形態の動作について説明する。なお、データ読み出し時の動作は、第1の実施の形態と同じであるので、ここでは、データ保存時の動作について説明する。
電子メールサーバ91は、図示を省略した端末装置との間で電子メールデータを送受信しており、電子メールアーカイブサーバ92は、電子メールサーバ91が送受信した電子メールデータを保存対象データとしてデータ保存装置1aに入力する。
今、例えば、データ保存部131にデータが全く登録されていない状態において、電子メールアーカイブサーバ92からデータ保存装置1aに対して、図10(A)に示した8個の電子メールデータ#M1〜#M8が保存対象データとして入力されたとすると、次のような処理が行われる。ここで、電子メールデータ#M1〜#M4、電子メールデータ#M5と#M6、電子メールデータ#M7と#M8は、それぞれ同一送信元から同報送信された電子メールデータである。同報送信された電子メールデータは、本体の内容が同一で、ヘッダの内容が少しずつ異なっているという特徴を有する。
電子メールデータ#M1〜#M8が入力されると、データ入出力部11内の分割手段111は、第1番目の電子メールデータ#M1を処理対象にして、電子メールデータ#M1をヘッダと本体とに分割する(図3のステップS31)。これにより、ヘッダに対応する内容「A」の分割データ#m1−1と、本体に対応する内容「B」の分割データ#m1−2とが生成される。
その後、共通部分判別手段112は、分割データ#m1−1、#m1−2と同一内容の圧縮データがデータ保存部131に登録されていないことから、圧縮伸張処理部12を利用して分割データ#m1−1、#m1−2の圧縮データをデータ保存部131に登録する。この例では、分割データ#m1−1、#m1−2の圧縮データは、図10(B)に示すように、それぞれアドレスa、bに登録されている。更に、共通部分判別手段112は、分割データ#m1−1、#m1−2のデータサイズ及び出現回数「1」をデータ名に関連付けて共通部分管理テーブル141に登録する(ステップS32、S33)。
その後、所在情報登録手段113が、電子メールデータ#M1の所在情報として、指示情報「アドレスa、b」を含んだ所在情報を所在情報管理テーブル142に登録する(ステップS34)。
第1番目の電子メールデータ#M1の処理が終了すると、第2番目の電子メールデータ#M2に対する処理が行われる。
分割手段111は、第2番目の電子メールデータ#M2をヘッダと本体とに分割する(ステップS31)。これにより、ヘッダに対応する内容「C」の分割データ#m2−1と、本体に対応する内容「B」の分割データ#2−2とが生成される。
共通部分判別手段112は、ヘッダに対応する分割データ#m2−1については、それと同一内容の圧縮データがデータ保存部131に登録されていないので、その圧縮データをデータ保存部131に登録する(アドレスcに登録されたとする)と共に、そのデータサイズ及び出現回数「1」をデータ名に関連付けて共通部分管理テーブル141に登録する。これに対して、内容「B」の分割データ#m2−2については、それと同一内容の圧縮データがデータ保存部131のアドレスbに登録されているので、データの書き出し処理は行わずに、共通部分管理テーブル141に登録されている分割データm1−2の出現回数をインクリメントする(ステップS32、S33)。
その後、所在情報登録手段113が、電子メールデータ#M2の所在情報として、指示情報「アドレスc、b」を含んだものを所在情報管理テーブル142に登録する。
以後、第3番目〜第8番目の電子メールデータ#M3〜#M8に対して前述した処理と同様の処理が行われ、データ保存部131及び共通部分管理テーブル141の内容がそれぞれ図10(B)、(C)に示すものとなる。
電子メールデータ#M1〜#M8に対するデータ入出力部11の処理が完了すると、圧縮伸張処理部12内のソリッド圧縮制御手段121が、条件記憶部143に登録されている条件を満たす電子メールデータを所在情報管理テーブル142から抽出し、ソリッド圧縮対象リストを生成する(図5のステップS51)。今、例えば、共通部分管理テーブル141および条件記憶部143に内容がそれぞれ図10(C)、図11(A)に示すものであるとすると、図11(B)に示すソリッド圧縮対象リストLが生成される。
その後、ソリッド圧縮制御手段121は、ソリッド圧縮対象リストLに載っている分割データをそれぞれ伸張手段123を用いて一旦伸張した後、圧縮手段122を利用してそれらをソリッド圧縮し、ソリッド圧縮データ#sをデータ保存部131に格納する(ステップS52)。これにより、データ保存部131の内容は、図10(B)に示すものから図11(C)に示すものに更新される。その後、ソリッド圧縮制御手段121は、所在情報管理テーブル142に格納されている所在情報を更新する(ステップS53)。
〔第2の実施の形態の効果〕
本実施の形態によれば、電子メールデータを保存対象データとした場合、蓄積データ量の削減効率を極めて高いものにすることができるという効果を得ることができる。
本実施の形態によれば、電子メールデータを保存対象データとした場合、蓄積データ量の削減効率を極めて高いものにすることができるという効果を得ることができる。
その理由は、電子メールデータをヘッダと本体とに分割することにより分割データを生成し、データ保存部131にその分割データと同一内容の圧縮データが登録されていない分割データだけをデータ保存部131に書き出すようにしているからである。すなわち、同報送信によって送信される電子メールデータが多数ある場合、電子メールデータをヘッダと本体とに分割することにより、上記多数の電子メールデータに対して本体は1個だけ書き出せば良いので、高い削減効率を得ることができる。
本発明は、大量のデータを保存するバックアップシステム、アーカイブシステムなどに適用すると好適である。
1、1a…データ保存装置
11…データ入出力部
111…分割手段
112…共通部分判別手段
113…所在情報登録手段
12…圧縮伸張処理部
121…ソリッド圧縮制御手段
122…圧縮手段
123…伸張手段
124…読み出し手段
13…データ記憶装置
131…データ保存部
14…データ記憶装置
141…共通部分管理テーブル
142…所在情報管理テーブル
143…条件記憶部
2…上位装置
91…電子メールサーバ
92…電子メールアーカイブサーバ
11…データ入出力部
111…分割手段
112…共通部分判別手段
113…所在情報登録手段
12…圧縮伸張処理部
121…ソリッド圧縮制御手段
122…圧縮手段
123…伸張手段
124…読み出し手段
13…データ記憶装置
131…データ保存部
14…データ記憶装置
141…共通部分管理テーブル
142…所在情報管理テーブル
143…条件記憶部
2…上位装置
91…電子メールサーバ
92…電子メールアーカイブサーバ
Claims (15)
- データ保存部と、
共通部分管理テーブルと、
所在情報管理テーブルと、
入力された保存対象データ毎に、その保存対象データを分割して分割データを生成する分割手段と、
該分割手段で生成された分割データの内、その分割データと同一内容の圧縮データが前記データ保存部に登録されていない分割データについては、その分割データを圧縮した圧縮データを前記データ保存部に登録すると共にその分割データのサイズ及び出現回数を前記共通部分管理テーブルに登録し、同一内容の圧縮データが前記データ保存部に登録されている分割データについては、前記共通部分管理テーブルに登録されている、その分割データと同一内容の分割データについての出現回数をインクリメントする共通部分判別手段と、
前記入力された保存対象データ毎に、その保存対象データを構成する分割データそれぞれについてその分割データと同一内容の圧縮データを指し示す指示情報を含んだ所在情報を前記所在情報管理テーブルに登録する所在情報登録手段と、
前記共通部分管理テーブルに登録されているデータサイズが第1の閾値未満で、且つ前記共通部分管理テーブルに登録されている出現回数が第2の閾値未満の分割データについての圧縮データを一旦伸張後、それらをまとめてソリッド圧縮して前記データ保存部に登録すると共に前記所在情報管理テーブルを更新するソリッド圧縮制御手段とを備えることを特徴とするデータ保存装置。 - 請求項1記載のデータ保存装置において、
前記分割手段は、前記保存対象データを論理的な単位毎に分割することを特徴とするデータ保存装置。 - 請求項1または2記載のデータ保存装置において、
前記保存対象データは、ヘッダと本体とから構成される電子メールデータであり、
前記分割手段は、前記電子メールデータをヘッダと本体とに分割することを特徴とするデータ保存装置。 - 請求項1乃至3の何れか1項に記載のデータ保存装置において、
前記データ保存部に圧縮データが登録されている分割データそれぞれのハッシュ値が登録されたハッシュ値管理テーブルを備え、
前記共通部分判別手段は、前記分割手段で生成された分割データ毎にその分割データのハッシュ値を求め、該求めたハッシュ値と同一のハッシュ値が前記ハッシュ値管理テーブルに登録されているか否かに基づいて、前記分割データと同一内容の圧縮データが前記データ保存部に登録されているか否かを判定することを特徴とするデータ保存装置。 - 請求項1乃至4の何れか1項に記載のデータ保存装置において、
前記所在情報登録手段は、前記圧縮データを指し示す指示情報として、前記圧縮データの前記データ保存部上のアドレスを用いることを特徴とするデータ保存装置。 - データ保存部と共通部分管理テーブルと所在情報管理テーブルとを備えたコンピュータが、入力された保存対象データ毎に、その保存対象データを分割して分割データを生成する第1のステップと、
前記コンピュータが、前記第1のステップで生成された分割データの内、その分割データと同一内容の圧縮データが前記データ保存部に登録されていない分割データについては、その分割データを圧縮した圧縮データを前記データ保存部に登録すると共にその分割データのサイズ及び出現回数を前記共通部分管理テーブルに登録し、同一内容の圧縮データが前記データ保存部に登録されている分割データについては、前記共通部分管理テーブルに登録されている、その分割データと同一内容の分割データについての出現回数をインクリメントする第2のステップと、
前記コンピュータが、前記入力された保存対象データ毎に、その保存対象データを構成する分割データそれぞれについてその分割データと同一内容の圧縮データを指し示す指示情報を含んだ所在情報を前記所在情報管理テーブルに登録する第3のステップと、
前記コンピュータが、前記共通部分管理テーブルに登録されているデータサイズが第1の閾値未満で、且つ前記共通部分管理テーブルに登録されている出現回数が第2の閾値未満の分割データについての圧縮データを一旦伸張後、それらをまとめてソリッド圧縮して前記データ保存部に登録すると共に前記所在情報管理テーブルを更新する第4のステップとを含むことを特徴とするデータ保存方法。 - 請求項6記載のデータ保存方法において、
前記第1のステップでは、前記コンピュータが、前記保存対象データを論理的な単位毎に分割することを特徴とするデータ保存方法。 - 請求項6または7記載のデータ保存方法において、
前記保存対象データは、ヘッダと本体とから構成される電子メールデータであり、
前記第1のステップでは、前記コンピュータが、前記電子メールデータをヘッダと本体とに分割することを特徴とするデータ保存方法。 - 請求項6乃至8の何れか1項に記載のデータ保存方法において、
前記コンピュータは、前記データ保存部に圧縮データが登録されている分割データそれぞれのハッシュ値が登録されたハッシュ値管理テーブルを備え、且つ、
前記第2のステップでは、前記コンピュータが、前記第1のステップで生成された分割データ毎にその分割データのハッシュ値を求め、該求めたハッシュ値と同一のハッシュ値が前記ハッシュ値管理テーブルに登録されているか否かに基づいて、前記分割データと同一内容の圧縮データが前記データ保存部に登録されているか否かを判定することを特徴とするデータ保存方法。 - 請求項6乃至9の何れか1項に記載のデータ保存方法において、
前記第3のステップでは、前記コンピュータが前記圧縮データを指し示す指示情報として、前記圧縮データの前記データ保存部上のアドレスを用いることを特徴とするデータ保存方法。 - データ保存部と共通部分管理テーブルと所在情報管理テーブルとを備えたコンピュータをデータ保存装置として機能させるためのプログラムであって、
前記コンピュータを、
入力された保存対象データ毎に、その保存対象データを分割して分割データを生成する分割手段、
該分割手段で生成された分割データの内、その分割データと同一内容の圧縮データが前記データ保存部に登録されていない分割データについては、その分割データを圧縮した圧縮データを前記データ保存部に登録すると共にその分割データのサイズ及び出現回数を前記共通部分管理テーブルに登録し、同一内容の圧縮データが前記データ保存部に登録されている分割データについては、前記共通部分管理テーブルに登録されている、その分割データと同一内容の分割データについての出現回数をインクリメントする共通部分判別手段、
前記入力された保存対象データ毎に、その保存対象データを構成する分割データそれぞれについてその分割データと同一内容の圧縮データを指し示す指示情報を含んだ所在情報を前記所在情報管理テーブルに登録する所在情報登録手段、
前記共通部分管理テーブルに登録されているデータサイズが第1の閾値未満で、且つ前記共通部分管理テーブルに登録されている出現回数が第2の閾値未満の分割データについての圧縮データを一旦伸張後、それらをまとめてソリッド圧縮して前記データ保存部に登録すると共に前記所在情報管理テーブルを更新するソリッド圧縮制御手段として機能させるためのプログラム。 - 請求項11記載のプログラムにおいて、
前記分割手段は、前記保存対象データを論理的な単位毎に分割することを特徴とするプログラム。 - 請求項11または12記載のプログラムにおいて、
前記保存対象データは、ヘッダと本体とから構成される電子メールデータであり、
前記分割手段は、前記電子メールデータをヘッダと本体とに分割することを特徴とするプログラム。 - 請求項11乃至13の何れか1項に記載のプログラムにおいて、
前記コンピュータは、前記データ保存部に圧縮データが登録されている分割データそれぞれのハッシュ値が登録されたハッシュ値管理テーブルを備え、且つ、
前記共通部分判別手段は、前記分割手段で生成された分割データ毎にその分割データのハッシュ値を求め、該求めたハッシュ値と同一のハッシュ値が前記ハッシュ値管理テーブルに登録されているか否かに基づいて、前記分割データと同一内容の圧縮データが前記データ保存部に登録されているか否かを判定することを特徴とするプログラム。 - 請求項11乃至14の何れか1項に記載のプログラムにおいて、
前記所在情報登録手段は、前記圧縮データを指し示す指示情報として、前記圧縮データの前記データ保存部上のアドレスを用いることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008228206A JP2010061518A (ja) | 2008-09-05 | 2008-09-05 | データ保存装置及びデータ保存方法並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008228206A JP2010061518A (ja) | 2008-09-05 | 2008-09-05 | データ保存装置及びデータ保存方法並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010061518A true JP2010061518A (ja) | 2010-03-18 |
Family
ID=42188225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008228206A Withdrawn JP2010061518A (ja) | 2008-09-05 | 2008-09-05 | データ保存装置及びデータ保存方法並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010061518A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012001788A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士通株式会社 | マルチコアプロセッサシステム、復元プログラム、および復元方法 |
JP2012198786A (ja) * | 2011-03-22 | 2012-10-18 | Fujitsu Ltd | ファイル処理プログラム及び装置 |
CN105242993A (zh) * | 2015-11-13 | 2016-01-13 | 上海斐讯数据通信技术有限公司 | 数据备份方法及系统 |
KR20160150029A (ko) * | 2015-06-19 | 2016-12-28 | 에이취지에스티 네덜란드 비.브이. | 데이터 전송의 단일 패스 엔트로피 검출 장치 및 방법 |
JP2018132991A (ja) * | 2017-02-16 | 2018-08-23 | 富士通株式会社 | 情報処理装置、データ圧縮方法及びデータ圧縮プログラム |
US10152389B2 (en) | 2015-06-19 | 2018-12-11 | Western Digital Technologies, Inc. | Apparatus and method for inline compression and deduplication |
JP2019101989A (ja) * | 2017-12-07 | 2019-06-24 | 富士通株式会社 | ストレージ制御装置およびプログラム |
CN113407376A (zh) * | 2021-06-18 | 2021-09-17 | 北京金山云网络技术有限公司 | 一种数据恢复方法、装置及电子设备 |
-
2008
- 2008-09-05 JP JP2008228206A patent/JP2010061518A/ja not_active Withdrawn
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012001788A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士通株式会社 | マルチコアプロセッサシステム、復元プログラム、および復元方法 |
JP5454686B2 (ja) * | 2010-06-30 | 2014-03-26 | 富士通株式会社 | マルチコアプロセッサシステム、復元プログラム、および復元方法 |
JP2012198786A (ja) * | 2011-03-22 | 2012-10-18 | Fujitsu Ltd | ファイル処理プログラム及び装置 |
US10089360B2 (en) | 2015-06-19 | 2018-10-02 | Western Digital Technologies, Inc. | Apparatus and method for single pass entropy detection on data transfer |
CN106257402B (zh) * | 2015-06-19 | 2021-05-25 | 西部数据技术公司 | 用于检测在单遍期间输入数据流的熵的设备和方法 |
CN106257402A (zh) * | 2015-06-19 | 2016-12-28 | Hgst荷兰公司 | 用于对于数据传递的单遍熵检测的设备和方法 |
JP2017011703A (ja) * | 2015-06-19 | 2017-01-12 | エイチジーエスティーネザーランドビーブイ | データ転送に関する単一パスエントロピー検出のための装置及び方法 |
KR20160150029A (ko) * | 2015-06-19 | 2016-12-28 | 에이취지에스티 네덜란드 비.브이. | 데이터 전송의 단일 패스 엔트로피 검출 장치 및 방법 |
US10152389B2 (en) | 2015-06-19 | 2018-12-11 | Western Digital Technologies, Inc. | Apparatus and method for inline compression and deduplication |
KR101945026B1 (ko) * | 2015-06-19 | 2019-02-08 | 웨스턴 디지털 테크놀로지스, 인코포레이티드 | 데이터 전송의 단일 패스 엔트로피 검출 장치 및 방법 |
KR102261811B1 (ko) | 2015-06-19 | 2021-06-04 | 웨스턴 디지털 테크놀로지스, 인코포레이티드 | 데이터 전송의 단일 패스 엔트로피 검출 장치 및 방법 |
KR20200024193A (ko) * | 2015-06-19 | 2020-03-06 | 웨스턴 디지털 테크놀로지스, 인코포레이티드 | 데이터 전송의 단일 패스 엔트로피 검출 장치 및 방법 |
CN105242993A (zh) * | 2015-11-13 | 2016-01-13 | 上海斐讯数据通信技术有限公司 | 数据备份方法及系统 |
JP2018132991A (ja) * | 2017-02-16 | 2018-08-23 | 富士通株式会社 | 情報処理装置、データ圧縮方法及びデータ圧縮プログラム |
US10776052B2 (en) | 2017-02-16 | 2020-09-15 | Fujitsu Limited | Information processing apparatus, data compressing method, and computer-readable recording medium |
JP2019101989A (ja) * | 2017-12-07 | 2019-06-24 | 富士通株式会社 | ストレージ制御装置およびプログラム |
CN113407376A (zh) * | 2021-06-18 | 2021-09-17 | 北京金山云网络技术有限公司 | 一种数据恢复方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010061518A (ja) | データ保存装置及びデータ保存方法並びにプログラム | |
US8698657B2 (en) | Methods and systems for compressing and decompressing data | |
CN111292225B (zh) | 对图形数据进行分区以进行大规模图形处理 | |
US20130067237A1 (en) | Providing random access to archives with block maps | |
US9357007B2 (en) | Controlling storing of data | |
JP2007316229A (ja) | 画像キャッシュメモリを有する画像表示装置 | |
US20130179413A1 (en) | Compressed Distributed Storage Systems And Methods For Providing Same | |
US9922041B2 (en) | Storing data files in a file system | |
CN106874348A (zh) | 文件存储和索引方法、装置及读取文件的方法 | |
CN106648445B (zh) | 用于网络爬虫的数据存储方法及装置 | |
US11675768B2 (en) | Compression/decompression using index correlating uncompressed/compressed content | |
US10917484B2 (en) | Identifying and managing redundant digital content transfers | |
CN105094924A (zh) | 镜像文件的导入方法及装置 | |
US20160092131A1 (en) | Storage system, storage system control method, and recording medium storing virtual tape device control program | |
JP4233564B2 (ja) | データ処理装置、データ処理用のプログラムおよび記録媒体 | |
WO2021027252A1 (zh) | 块链式账本中的数据存储方法、装置及设备 | |
US10917110B1 (en) | Multiple symbol decoder | |
CN104123309A (zh) | 用于数据管理的方法和系统 | |
CN107577474B (zh) | 升级文件的处理方法及装置、电子设备 | |
CN115495020A (zh) | 文件处理方法、装置、电子设备和可读存储介质 | |
US20130218851A1 (en) | Storage system, data management device, method and program | |
CN113961530A (zh) | 基于人工智能的日志文件压缩方法、设备和存储介质 | |
US20110125710A1 (en) | Efficient change tracking of transcoded copies | |
JP2006065424A (ja) | データ記憶システム、データ記憶装置及びそれに用いる類似ファイル記録方法並びにそのプログラム | |
JP6809060B2 (ja) | メールデータ管理装置、メールデータ管理方法、及び、メールデータ管理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20111206 |