JP2002132546A - 記憶装置 - Google Patents

記憶装置

Info

Publication number
JP2002132546A
JP2002132546A JP2000323616A JP2000323616A JP2002132546A JP 2002132546 A JP2002132546 A JP 2002132546A JP 2000323616 A JP2000323616 A JP 2000323616A JP 2000323616 A JP2000323616 A JP 2000323616A JP 2002132546 A JP2002132546 A JP 2002132546A
Authority
JP
Japan
Prior art keywords
cluster
data
access frequency
compressed data
data area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000323616A
Other languages
English (en)
Inventor
Kiyotoshi Yoshii
清敏 吉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xaxon R & D Corp
Original Assignee
Xaxon R & D Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xaxon R & D Corp filed Critical Xaxon R & D Corp
Priority to JP2000323616A priority Critical patent/JP2002132546A/ja
Publication of JP2002132546A publication Critical patent/JP2002132546A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】データ圧縮伸長機能を持つ記憶装置のデータ入
出力を高速に処理するための手段を提供する。 【解決手段】本発明では、記憶装置の記憶媒体を、少な
くとも2つの論理パーティションに分け、うち少なくと
も1つの論理パーティションを圧縮データ領域とし、残
りの論理パーティションを非圧縮データ領域とし、それ
ぞれのパーティションに含まれるクラスタないしはファ
イルのアクセス頻度を記憶保持するテーブルを備えるこ
とによって、当該テーブルに基づいてアクセス頻度の高
いクラスタを優先的に非圧縮データ領域に移動し、アク
セス頻度の低いクラスタを優先的に圧縮データ領域に移
動する手段を備えることを特徴とする。

Description

【発明の詳細な説明】 【発明の属する技術分野】
【0001】本発明はコンピュータのファイルシステム
に利用可能な記憶装置に関する。
【従来の技術】
【0002】コンピュータのファイルシステムとして利
用可能なランダムアクセスが可能な記憶装置には、ハー
ドディスクやフロッピー(登録商標)ディスクなどの磁
気ディスク装置、MOなどの光磁気ディスク装置などが
ある。
【0003】これらの記憶装置は、ランダムアクセスを
可能とするために、記憶媒体の表面を細かなクラスタに
分け、クラスタ単位でアクセスをする点に特徴がある。
【0004】また、アクセスがクラスタ単位ではない
が、半導体メモリもランダムアクセスが可能である。
【0005】これらの記憶装置はすべて、1ビットにつ
き1単位の物理的な記憶単位(磁気、電荷あるいは光学
的な物理特性)が対応し、装置全体の記憶容量は物理的
な記憶単位総数に依存する。
【0006】このため、記憶容量は物理的な制約を受け
る。
【0007】この物理的制約を緩和するために、データ
圧縮という手段が用いられる。
【0008】データ圧縮は、アルゴリズムとしてランレ
ングス圧縮、ハフマン符号化、DCTなどが知られてお
り、それぞれ特徴を有することから用途に応じて使い分
けが行なわれている。
【0009】データ圧縮を行なうと物理的な記憶容量を
超えてデータを記憶することが可能となる。
【発明が解決しようとする課題】
【0010】ところで、データ圧縮およびデータ伸長
(データ圧縮の逆動作をデータ伸長というものとする)
は非常に複雑な計算を用いるため、その処理速度が問題
となる。
【0011】このため、データ圧縮が記憶容量の増大に
有効な手段であることが知られながら、データ圧縮伸長
の処理速度がネックとなり、その適用先は限られてき
た。
【0012】本発明では、上記の問題を解決し、データ
圧縮伸長機能をもっていながら高速に処理できる記憶方
法ならびにその装置を提供することを目的とする。
【発明を解決するための手段】
【0013】ところで、データは一般に、システムファ
イルなどアクセス頻度の高いデータと、ユーティリティ
データなどアクセス頻度の低いデータに二分される。
【0014】そこで、本発明では、記憶装置の記憶媒体
を、少なくとも2つの論理パーティションに分け、うち
少なくとも1つの論理パーティションを圧縮データ領域
とし、残りの論理パーティションを非圧縮データ領域と
し、それぞれのパーティションに含まれるクラスタない
しはファイルのアクセス頻度を記憶保持するテーブルを
備えることによって、当該テーブルに基づいてアクセス
頻度の高いクラスタを優先的に非圧縮データ領域に移動
し、アクセス頻度の低いクラスタを優先的に圧縮データ
領域に移動する手段を備えることを特徴とする。
【0015】上記手段によって、クラスタないしはファ
イルのアクセス頻度が高いものは非圧縮データ領域に移
動され、圧縮伸長が行なわれずに記憶されることとな
り、データ容量は制約されるものの、圧縮伸長に要する
処理時間が掛からなくなる。
【0016】一方、アクセス頻度が少ないクラスタやフ
ァイルは、圧縮データ領域に移動され、圧縮伸長が行な
われて記憶されることになりデータ収容効率が増大す
る。
【0017】上記により、総括的な処理速度の低下をも
たらすことなく、記憶容量を増大させることができ、デ
ータ収容効率が向上する。
【発明の実施の形態】
【0018】図1に本発明における1実施形態として半
導体メモリを用いた場合の記憶装置全体の模式図、図2
にアクセス頻度のテーブルとクラスタ番号、クラスタ内
の記憶内容の関係を示した模式図を示す。
【0019】また、図3はその動作を説明したフローチ
ャート、図4はアクセス頻度とクラスタ配置の模式図と
ともに動作例を表している。以下、本図に従って説明す
る。
【0020】図1のとおり、記憶媒体である半導体メモ
リは、圧縮領域と非圧縮領域の2つの論理パーティショ
ンに区切られており、それぞれのパーティションのクラ
スタの配置と利用頻度を記述したテーブル(図2)を備
えている。
【0021】ここで、たとえばクラスタ番号の最上位ビ
ットが1のクラスタは圧縮領域に属し、同ビットが0の
クラスタは非圧縮領域に属すものと定義する。
【0022】なお、クラスタの配置を記述したテーブル
は、従来の技術で一般にFAT(File Alloc
ation Table)とも呼ばれる。
【0023】本発明では、クラスタの配置を記述したテ
ーブルに、クラスタ番号を示す数字とともにアクセス頻
度を記述する(図2)。両方を合わせてここではアクセ
ス頻度テーブルと呼ぶものとする。
【0024】データの書き込み時、一連のデータは、ク
ラスタサイズに分割され、少なくとも1つの非圧縮領域
のクラスタを占有して記憶される。例えば、クラスタサ
イズが4バイトのとき、8バイトのデータは2つのクラ
スタに分割され、一例としてクラスタ番号000012
00、および00001201のクラスタに記憶され、
そのクラスタ番号がアクセス頻度初期値(ゼロ)ととも
に記録される(図2、図4)
【0025】次に、メモリ読み込み時の処理について図
3に基づいて説明する。
【0026】記憶装置のメモリコントローラ103は、
上位装置のデータバスおよびアドレスバス経由でメモリ
読み込み命令を受ける。
【0027】メモリコントローラは、上位装置から与え
られたアドレスからクラスタの位置を割り出し、当該ク
ラスタ位置のデータを読み込むとともに、頻度テーブル
の頻度値をインクリメントする。
【0028】メモリコントローラは、読み込まれたデー
タが所属するクラスタが非圧縮領域のデータであれば、
そのままデータを出力し、データバス経由で上位装置に
データを渡すが、圧縮領域のデータであれば、圧縮・伸
長プロセッサ104にデータを渡し、圧縮されたデータ
を伸長する。
【0029】なお、伸長したデータは一時的にメモリコ
ントローラ内部のキャッシュメモリに保存される。
【0030】前記の手段でインクリメントした結果、ア
クセス頻度が閾値を超えた場合は、非圧縮領域中の未使
用領域に伸長後のデータをキャッシュメモリから取得し
て格納し、もともとの圧縮領域にあったデータは削除す
る。
【0031】格納後は、クラスタ位置が圧縮領域から非
圧縮領域に移動したことになるので、アクセス頻度テー
ブルのクラスタ番号も更新する。
【0032】上記のようにして、非圧縮領域の残り容量
が閾値以下に減少した場合、非圧縮領域のデータのう
ち、アクセス頻度値が最小のものを圧縮して圧縮領域に
移動する(図4)。
【0033】なお、非圧縮領域のクラスタは、アクセス
頻度が最小なクラスタを判別しやすくする為に、アクセ
ス頻度順に並べ替える手段を備えていればなお良い(図
4)。
【0034】図4には、ステップ1(頻度ゼロで新しい
データが書き込まれる様子)、ステップ2(非圧縮領域
のクラスタのうち頻度値最低のクラスタが圧縮領域に移
動される様子)、およびステップ3(非圧縮領域のクラ
スタが頻度値の降順に並べ替えされる様子)を示す。
【0035】なお、上記ではクラスタと半導体メモリで
説明したが、それぞれファイル、磁気ディスク等でも同
様に応用が可能である。
【実施例】
【0036】磁気ディスクの一例としてMS−DOS互
換OSのための磁気ディスクの例を挙げる。
【0037】MS−DOS互換OSであれば、ファイル
の格納位置は論理パーティションの先頭に位置するFA
T(ファイル配置テーブル)により管理されている。
【0038】FATはファイルを複数のクラスタの集合
として管理しており、ファイルの先頭クラスタの番号に
対応する位置には、その続きのデータが格納されている
クラスタ番号が書いてある。
【0039】またそのクラスタ番号のFATには、その
また次のクラスタ番号が書いてあるというように、FA
Tは連鎖構造をしており、ファイルの最後に対応するク
ラスタ番号のFATには、ファイルの終了を示す特殊な
クラスタ番号が記されている。
【0040】あらかじめ予想圧縮倍率Nを設定してお
き、圧縮データ領域のクラスタサイズ(最小データ管理
サイズ)は非圧縮データ領域のクラスタサイズの1/N
のサイズにしておく。
【0041】こうしておくことで圧縮データ領域にデー
タが有効に格納できる。
【0042】圧縮データ領域には、ミニクラスタの連結
情報を格納するテーブルを用意する。
【0043】また、本発明は、半導体メモリや磁気ディ
スクを例に挙げて説明したが、他に光磁気ディスクなど
の記憶媒体並びにその装置や、複数の記憶装置を連結し
て全体で一つの記憶装置にしたようなものにも応用でき
る。
【0044】複数の記憶装置を連結して全体で一つの記
憶装置にしたような場合は、記憶装置を2つのグループ
に分け、上記実施例でいうところの論理パーティション
としてそれぞれのグループを使うようにすればよい。
【発明の効果】
【0045】本発明によれば、頻繁に読み出しの行なわ
れるデータが非圧縮領域に優先的に配置されるため、頻
繁にアクセスされるデータには圧縮伸長がかからず処理
時間が省略でき、全体として高速な、効率の良い記憶装
置を実現することができる。
【0046】
【図面の簡単な説明】
【図1】本発明による記憶装置の一実施形態を示した模
式図である。
【図2】アクセス頻度テーブルの一実施形態を示した模
式図である。
【図3】データ読み込みの際の処理フローを示したフロ
ーチャートである。
【図4】データ書き込みの際のアクセス頻度とクラスタ
配置を示した模式図である。
【符号の説明】
101 データバス 102 バスコントローラ 103 メモリコントローラ 104 圧縮伸長プロセッサ 105 論理パーティション(圧縮領域) 106 論理パーティション(非圧縮領域) 107 クラスタ 108 アクセス頻度テーブル

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】記憶媒体へのランダムアクセスが可能で、
    少なくとも2つの論理パーティションを備えた記憶方法
    およびその装置であって、うち少なくとも1つの論理パ
    ーティションを圧縮データ領域とし、残りの論理パーテ
    ィションを非圧縮データ領域とし、各パーティションへ
    のデータの書き込みおよび読み出しはクラスタを単位と
    して行なわれ、それぞれのクラスタのアクセス頻度を記
    憶保持するテーブルを備えており、当該テーブルに基づ
    いてアクセス頻度の高いクラスタを優先的に非圧縮デー
    タ領域に移動し、アクセス頻度の低いクラスタを優先的
    に圧縮データ領域に移動する手段を備えることを特徴と
    する記憶方法およびその装置。
  2. 【請求項2】記憶媒体へのランダムアクセスが可能で、
    少なくとも2つの論理パーティションを備えた記憶方法
    およびその装置であって、うち少なくとも1つの論理パ
    ーティションを圧縮データ領域とし、残りの論理パーテ
    ィションを非圧縮データ領域とし、各パーティションへ
    のデータの書き込みおよび読み出しはファイルを単位と
    して行なわれ、それぞれのクラスタのアクセス頻度を記
    憶保持するテーブルを備えており、当該テーブルに基づ
    いてアクセス頻度の高いファイルを優先的に非圧縮デー
    タ領域に移動し、アクセス頻度の低いクラスタを優先的
    に圧縮データ領域に移動する手段を備えることを特徴と
    する記憶方法およびその装置。
  3. 【請求項3】請求項1または2に記載の方法およびその
    装置であって、書き込みは常に非圧縮データ領域に行な
    われ、読み込みが行なわれる毎にアクセス頻度テーブル
    の頻度値がインクリメントされ、並行してアクセス頻度
    の低いクラスタから圧縮データ領域にデータ移動を行な
    う、ことを特徴とする記憶方法およびその装置。
  4. 【請求項4】請求項1、2または3に記載の手段を備え
    ることを特徴としたコンピュータプログラムを記憶した
    記憶媒体。
  5. 【請求項5】請求項1、2または3に記載の手段を備え
    る半導体ディスク装置。
JP2000323616A 2000-10-24 2000-10-24 記憶装置 Pending JP2002132546A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000323616A JP2002132546A (ja) 2000-10-24 2000-10-24 記憶装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000323616A JP2002132546A (ja) 2000-10-24 2000-10-24 記憶装置

Publications (1)

Publication Number Publication Date
JP2002132546A true JP2002132546A (ja) 2002-05-10

Family

ID=18801260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000323616A Pending JP2002132546A (ja) 2000-10-24 2000-10-24 記憶装置

Country Status (1)

Country Link
JP (1) JP2002132546A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352899A (ja) * 2004-06-11 2005-12-22 Canon Inc 画像記録装置及びその制御方法
JP2009526279A (ja) * 2006-01-23 2009-07-16 サンディスク アイエル リミテッド 尤度ベースの記憶管理
US7932933B2 (en) 2004-05-18 2011-04-26 Canon Kabushiki Kaisha Information recording apparatus and control method thereof
US7962700B2 (en) * 2006-09-06 2011-06-14 International Business Machines Corporation Systems and methods for reducing latency for accessing compressed memory using stratified compressed memory architectures and organization
JP2012058825A (ja) * 2010-09-06 2012-03-22 Nec Corp ストレージ装置及びストレージ装置の記憶資源の使用効率向上方法
JP2014170360A (ja) * 2013-03-04 2014-09-18 Hitachi Ltd 計算機及びメモリ管理方法
US9146933B2 (en) 2011-12-22 2015-09-29 International Business Machines Corporation Compressed storage access system with uncompressed frequent use data
CN110442489A (zh) * 2018-05-02 2019-11-12 阿里巴巴集团控股有限公司 数据处理的方法和存储介质
US10834195B2 (en) 2016-10-20 2020-11-10 Rakuten, Inc. Information processing device, information processing method, program, and storage medium
US11281622B2 (en) 2016-10-20 2022-03-22 Rakuten Group, Inc. Information processing device, information processing method, program, and storage medium
US11281740B2 (en) 2016-10-20 2022-03-22 Rakuten Group, Inc. Information processing device, information processing method, program and storage medium

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7932933B2 (en) 2004-05-18 2011-04-26 Canon Kabushiki Kaisha Information recording apparatus and control method thereof
JP2005352899A (ja) * 2004-06-11 2005-12-22 Canon Inc 画像記録装置及びその制御方法
JP2009526279A (ja) * 2006-01-23 2009-07-16 サンディスク アイエル リミテッド 尤度ベースの記憶管理
US7962700B2 (en) * 2006-09-06 2011-06-14 International Business Machines Corporation Systems and methods for reducing latency for accessing compressed memory using stratified compressed memory architectures and organization
JP2012058825A (ja) * 2010-09-06 2012-03-22 Nec Corp ストレージ装置及びストレージ装置の記憶資源の使用効率向上方法
US9146933B2 (en) 2011-12-22 2015-09-29 International Business Machines Corporation Compressed storage access system with uncompressed frequent use data
JP2014170360A (ja) * 2013-03-04 2014-09-18 Hitachi Ltd 計算機及びメモリ管理方法
US10834195B2 (en) 2016-10-20 2020-11-10 Rakuten, Inc. Information processing device, information processing method, program, and storage medium
US11281622B2 (en) 2016-10-20 2022-03-22 Rakuten Group, Inc. Information processing device, information processing method, program, and storage medium
US11281740B2 (en) 2016-10-20 2022-03-22 Rakuten Group, Inc. Information processing device, information processing method, program and storage medium
CN110442489A (zh) * 2018-05-02 2019-11-12 阿里巴巴集团控股有限公司 数据处理的方法和存储介质
CN110442489B (zh) * 2018-05-02 2024-03-01 阿里巴巴集团控股有限公司 数据处理的方法和存储介质

Similar Documents

Publication Publication Date Title
US6449689B1 (en) System and method for efficiently storing compressed data on a hard disk drive
US5237675A (en) Apparatus and method for efficient organization of compressed data on a hard disk utilizing an estimated compression factor
US6360300B1 (en) System and method for storing compressed and uncompressed data on a hard disk drive
US5875454A (en) Compressed data cache storage system
US5493574A (en) Power efficient RAM disk and a method of emulating a rotating memory disk
US8380900B2 (en) Systems and methods for compressing files for storage and operation on compressed files
US8370544B2 (en) Data storage system with compression/decompression
US6032148A (en) Multilevel storage system with hybrid data compression
CN103516369A (zh) 一种自适应数据压缩和解压缩的方法和系统及存储装置
WO2013160969A1 (en) Storage apparatus and data management method
US20060230014A1 (en) Method and system for compression of files for storage and operation on compressed files
JP4972845B2 (ja) ストレージシステム
JP2002132546A (ja) 記憶装置
TW200419549A (en) Method and system for storing memory compressed data onto memory compressed disks
CN110908608A (zh) 一种存储空间节省方法及系统
TW202230138A (zh) 加速器、字典解碼的方法以及包括非暫時性儲存媒體的物品
KR20120054502A (ko) 반도체 기억 장치
US20240070120A1 (en) Data processing method and apparatus
JP3419538B2 (ja) 記憶制御方法及びそれを用いた圧縮機能付きディスクシステム
US6266671B1 (en) Data storage apparatus, method, and medium with variable data storage structure
US6819627B2 (en) Method for storing data, method for reading data, apparatus for storing data and apparatus for reading data
JP5188348B2 (ja) データアクセス装置
WO2016084228A1 (ja) ストレージ装置
JPH08314639A (ja) 情報記録再生装置
JP2003296156A (ja) 情報記録管理装置、データ記録再生装置、情報記録管理方法及びファイル管理方法