JP2023012369A - ファイルストレージ - Google Patents

ファイルストレージ Download PDF

Info

Publication number
JP2023012369A
JP2023012369A JP2021115973A JP2021115973A JP2023012369A JP 2023012369 A JP2023012369 A JP 2023012369A JP 2021115973 A JP2021115973 A JP 2021115973A JP 2021115973 A JP2021115973 A JP 2021115973A JP 2023012369 A JP2023012369 A JP 2023012369A
Authority
JP
Japan
Prior art keywords
data
compression
file
written
file storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021115973A
Other languages
English (en)
Inventor
彰 山本
Akira Yamamoto
彬史 鈴木
Akifumi Suzuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2021115973A priority Critical patent/JP2023012369A/ja
Priority to CN202210127720.9A priority patent/CN115617259A/zh
Priority to US17/693,462 priority patent/US20230021108A1/en
Publication of JP2023012369A publication Critical patent/JP2023012369A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0877—Cache access modes
    • G06F12/0882—Page mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】データの格納時の応答性能を劣化させることなく、データの削減率を高めることができるファイルストレージを提供する。【解決手段】アプリケーションから、ファイルに対する書き込み要求を受け付け、ファイルのデータを記憶装置に書き込み、後から、書き込みを行ったファイルのデータを圧縮して記憶装置に書き込むプロセッサを備えるファイルストレージであって、プロセッサは、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量に応じて、圧縮に用いる圧縮アルゴリズムを決定するようにした。【選択図】図４

Description

本発明は、フラッシュメモリや磁気ディスクをストレージ（記憶媒体）とした、バッチ圧縮機能をもつファイルストレージに関する。
特許文献１は、画像関係の圧縮アルゴリズムに関する特許文献である。近年、データ量の爆発的な拡大に伴い、データ量削減技術の開発が盛んに行われている。特に、データ量の大きな画像関係の圧縮アルゴリズムの研究が活発である。これらの圧縮アルゴリズムの特徴は、非可逆圧縮によるデータ損失を特定の用途に特化して抑制できることにある。例えば、人の認識が困難なデータ損失となるように画像圧縮器を作成できる。
圧縮アルゴリズムで最も重要なのは、データの削減率である圧縮率であるが、圧縮速度もまた重要となる。一般に、圧縮率を向上させようとすると、圧縮速度は減速する。また、圧縮率の増減と圧縮速度の増減との関係は、線形ではなく、圧縮率を向上しようとすると、圧縮速度は急激に減少する。また、データを読み出す際の伸長速度も、一般的には、圧縮率が高いと、遅くなる。
特許文献２では、圧縮および伸張の処理時間が異なる複数の圧縮アルゴリズムを備えたストレージにおいて、アクセス頻度に応じ好適な圧縮アルゴリズムを選択する例が開示されている。
特開２０１９－０９５９１３号公報 特開２０１９－７９１１３号公報
画像データの圧縮は、ファイル単位に実行することが多い。理由は、ファイル単位に、データの種別、静止画データ、動画データ、音声データであるかが決まっているからである。データの種別により、どのような圧縮アルゴリズムを適用するかが決まることになる。したがって、ファイル単位にデータの格納、読み出しを実行するファイルストレージに、データの種別を認識させることで、ファイル単位の圧縮が可能になる。
この場合、圧縮率の最も高い圧縮アルゴリズムを適用することが望ましいが、圧縮速度の制約がある。特に、データをファイルストレージに格納する際に、圧縮処理を実行すると、アプリケーションから見た応答性能が著しく劣化する可能性がある。
本発明は、以上の点を考慮してなされたもので、データの格納時の応答性能を劣化させることなく、データの削減率を高めることができるファイルストレージ等を提案しようとするものである。
かかる課題を解決するため本発明においては、アプリケーションから、ファイルに対する書き込み要求を受け付け、前記ファイルのデータを記憶装置に書き込み、後から、書き込みを行ったファイルのデータを圧縮して記憶装置に書き込むプロセッサを備えるファイルストレージであって、前記プロセッサは、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量に応じて、圧縮に用いる圧縮アルゴリズムを決定するようにした。
上記構成によれば、書き込みを行ったファイルのデータが後から圧縮されるので、例えば、データの格納時の応答性能を劣化させることなく、データの削減率を高めることができる。
本発明によれば、データの格納時の応答性能を劣化させることなく、データの削減率を高めることができる。
第１の実施の形態による情報システムの構成の一例を示す図である。 第１の実施の形態によるファイルストレージの構成の一例を示す図である。 第１の実施の形態による共用メモリに格納される情報の一例を示す図である。 第１の実施の形態によるファイルストレージ情報の形式の一例を示す図である。 第１の実施の形態によるファイル情報の形式の一例を示す図である。 第１の実施の形態によるストレージ装置情報の形式の一例を示す図である。 第１の実施の形態による実ページ情報の形式の一例を示す図である。 第１の実施の形態による空きファイル情報ポインタによって管理される空き状態になるファイル情報の一例を示す図である。 第１の実施の形態による空きページ情報によって管理される空き状態にある実ページ情報の一例を示す図である。 第１の実施の形態によるＬＲＵ先頭ポインタおよびＬＲＵ末尾ポインタで管理されるキャッシュ領域を割り当てられたファイル情報の管理状態の一例を示す図である。 第１の実施の形態による受け付け時先頭ポインタおよび受け付け時末尾ポインタで管理される実ページ情報の構造の一例を示す図である。 第１の実施の形態による主記憶（メインメモリ）に格納されたプロセッサが実行するプログラムの一例を示す図である。 第１の実施の形態によるライト処理部の処理フローの一例を示す図である。 第１の実施の形態によるリード処理部の処理フローの一例を示す図である。 第１の実施の形態による圧縮処理部の処理フローの一例を示す図である。
以下、本発明の一実施の形態を詳述する。ただし、本発明は、実施の形態に限定されるものではない。
ファイルストレージにおけるデータの削減率を鑑みると、圧縮率の最も高い圧縮アルゴリズムを適用することが望ましいが、圧縮速度の制約がある。特に、データをファイルストレージに格納する際に、圧縮処理を実行すると、アプリケーションから見た応答性能が著しく劣化する可能性がある。
また、ある程度の時間で見たデータの発生速度以下の、圧縮速度の圧縮アルゴリズムで圧縮を行うと、圧縮が間に合わなくなり、非圧縮のデータがたまってしまい、容量削減ができなくなる。
また、圧縮したデータを読み出す際にも、伸長速度が遅いと、格納する場合と同様に、アプリケーションから見た応答性能が著しく劣化する可能性がある。
本実施の形態では、データの格納時の応答性能の劣化の課題を、ファイルストレージが、圧縮処理を後から、バッチ処理でまとめて実行することで解決する。
また、圧縮速度の異なった圧縮アルゴリズムを複数用意し、圧縮処理を実行するファイル群の単位時間当たりのデータ発生量を把握し、許容時間内に、圧縮処理を完了できる圧縮アルゴリズムの中から圧縮アルゴリズムを選択することで、効果の高いデータの削減率を達成できる。
また、読み出し処理の性能劣化の対応には、ファイルストレージ内にキャッシュ領域を設け、伸長したファイルをキャッシュ領域に格納しておく。読み出し要求があったとき、キャッシュ領域にファイルがヒットすれば、キャッシュ領域から伸長したデータを直接読み出す。これにより、読み出し頻度の高いファイルの読み出し性能の劣化の課題を解決する。
次に、本発明の実施の形態を図面に基づいて説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は、単数でも複数でも構わない。
本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は、文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
図１は、本発明における情報システムの構成を示す。情報システムは、一つ以上のファイルストレージ１００、一つ以上のサーバ１１０、ファイルストレージ１００とサーバ１１０とを接続するネットワーク１２０、とから構成される。サーバ１１０は、サーバポート１９５によって、ファイルストレージ１００は、ストレージポート１９７によって、ネットワーク１２０に接続される。サーバ１１０は、一つ以上のサーバポート１９５をもち、ファイルストレージ１００は、ネットワーク１２０に接続される一つ以上のストレージポート１９７をもつ。サーバ１１０は、ユーザアプリケーション１４０が動作するシステムで、ユーザアプリケーション１４０の要求にしたがって、ファイルストレージ１００との間で、ネットワーク１２０経由で、必要なデータを読み書きする。ネットワーク１２０で使用されるプロトコルは、例えばＮＦＳやＣＩＦＳである。
図２は、ファイルストレージ１００の構成を示す。ファイルストレージ１００は、一つ以上のプロセッサ２００、メインメモリ２１０、共有メモリ２２０、これらの構成要素を接続する一つ以上の接続装置２５０、ストレージ装置１３０から構成される。本実施例では、ファイルストレージ１００は、ストレージ装置１３０を含み、ストレージ装置１３０との間で直接、データを読み書きする。しかし、本発明は、ファイルストレージ１００が、ストレージ装置１３０を含まず、ストレージ装置１３０を含むブロックストレージに対して、論理ボリューム（ＬＵＮ等）を指定して、データを読み書きする構成でも、有効である。また、本発明は、ファイルストレージ１００がソフトウェアとして、サーバ１１０上に搭載され、ユーザアプリケーション１４０と同一の装置で動作する構成でも有効である。この場合、ストレージ装置１３０は、サーバ１１０に接続された装置となる。ストレージ装置１３０は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリを記憶媒体とするフラッシュストレージなどのストレージ装置１３０などが含まれる。また、フラッシュストレージも、いくつかの種類があり、高価格、高性能、消去可能回数の多いＳＬＣとこれに対し、低価格、低性能、消去可能回数の少ないＭＬＣがある。さらに、相変化メモリなどの新しい記憶媒体が含まれていてもよい。プロセッサ２００は、サーバ１１０から発行された読み書き要求を処理する。メインメモリ２１０には、プロセッサ２００が実行するプログラム、それぞれのプロセッサ２００の内部情報などが格納される。
接続装置２５０は、ファイルストレージ１００内の各構成要素を接続する機構である。
共有メモリ２２０は、通常ＤＲＡＭなどの揮発メモリで構成されるが、バッテリーなどにより不揮発化されているものとする。また、本実施例では、高信頼化のため、それぞれが２重化されているものとする。ただ、本発明は、共有メモリ２２０が不揮発化されていなくても、２重化されていなくとも、有効である。共有メモリ２２０には、プロセッサ２００間で共有される情報が格納される。
なお、本実施例では、ファイルストレージ１００は、ストレージ装置１３０の中の一台の装置が故障しても、その装置のデータを回復できるＲＡＩＤ（Redundancy Array Independent Device）機能をもっていないものとする。なお、本発明は、ファイルストレージ１００がＲＡＩＤ機能もった場合も有効である。
図３は、本実施例におけるファイルストレージ１００の共有メモリ２２０の中の本実施例に関する情報を示しており、ファイルストレージ情報２０００、ファイル情報２１００、ストレージ装置情報２２００、仮想ページ容量２３００、空きファイル情報ポインタ２４００、空きページ情報２５００、ＬＲＵ先頭ポインタ２６００、ＬＲＵ末尾ポインタ２７００、トータル圧縮量２８００、トータル伸長時間２９００によって構成される。
この中で、ファイルストレージ情報２０００は、図４に示すように、ファイルストレージ１００に関する情報で、ファイルストレージ識別子２００１、メディア種別２００２、アルゴリズム数２００７、圧縮アルゴリズム２００３、圧縮率２００４、圧縮性能２００５、伸長性能２００６から構成される。本実施例では、サーバ１１０は、ユーザアプリケーション１４０からの指示により、読み書き要求を発行する際、ファイルストレージ１００の識別子、ファイルの識別子、ファイル内の相対アドレスとデータ長（読み書きするデータの長さ）を指定するものとする。読み書き要求で指定されるファイルストレージ１００の識別子は、ファイルストレージ情報２０００に含まれるファイルストレージ識別子２００１である。さらに、本実施例では、読み書き要求で、ファイルのメディア情報、圧縮情報が指定されるものとする。なお、ファイルのメディア情報、圧縮情報は、他の手段で通知されても、本発明は有効である。本発明は、動画や画像などの高い圧縮率が期待できるメディア情報を格納したファイルを対象とし、メディアに対応する圧縮を行い、データ削減を実施する。メディア種別２００２は、ファイルストレージ１００が圧縮を行うメディアの種別（静止画、動画など）を表す。アルゴリズム数２００７は、対応するメディア種別に対し、本ファイルストレージ１００がもっている圧縮アルゴリズムの数を示す。圧縮アルゴリズム２００３は、当該ファイルストレージ１００がもつ、圧縮アルゴリズムを示す。圧縮率２００４と圧縮性能２００５は、対応する圧縮アルゴリズムの圧縮率と圧縮の性能（速度）を示す。また、伸長性能２００６は、伸長の性能（速度）を示す。圧縮アルゴリズム２００３、圧縮率２００４、圧縮性能２００５、および伸長性能２００６は、アルゴリズム数２００７に設定した数だけ繰り返されることになる。この後、次のメディア種別２００２に示されたメディアに関する情報が設定される。ファイルストレージ１００は、メディア種別２００２に対応して、一つ以上の圧縮アルゴリズムをもつ。読み書き要求で指定されるメディア情報は、当該ファイルのメディア種別を表し、圧縮情報は、圧縮の有無、圧縮を行っている場合は、使用されている圧縮アルゴリズムを示す。
本実施例の特徴は、ファイルストレージ１００が容量仮想化機能をサポートしている点である。ただし、本発明は、ファイルストレージ１００が、容量仮想化機能をもっていなくとも有効である。通常、容量仮想化機能において、記憶領域の割り当て単位は、ページと呼ばれる。なお、本実施例では、ファイルの空間は、仮想ページという単位で、分割されているものとし、ストレージ装置１３０は、実ページという単位で分割されているものとする。容量仮想化機能を実現した場合、ファイルストレージ１００がサーバ１１０からのライト要求で書き込みを指示されたアドレスを含む仮想ページに実ページが割り当てていないとき、実ページを割り当てる。仮想ページ容量２３００は、仮想ページの容量である。本実施例では、仮想ページ容量２３００と実ページの容量とは等しい。ただし、本発明は、実ページが冗長データを含み、仮想ページ容量２３００が、実ページ容量と等しくなくとも有効である。
図５は、ファイル情報２１００の形式を示したもので、ファイル識別子２１０１、ファイルサイズ２１０２、ファイルメディア２１０３、初期圧縮情報２１０４、適用圧縮情報２１０５、圧縮ファイルサイズ２１０６、受け付け時先頭ポインタ２１０７、受け付け時末尾ポインタ２１０８、圧縮先頭ポインタ２１０９、圧縮末尾ポインタ２１１０、キャッシュ先頭ポインタ２１１１、キャッシュ末尾ポインタ２１１２、次ＬＲＵポインタ２１１３、前ＬＲＵポインタ２１１４、未圧縮フラグ２１１５、スケジュールフラグ２１１６、キャッシュフラグ２１１７、次空きポインタ２１１８、アクセスアドレス２１１９から構成される。
本実施例では、ファイルストレージ１００は、サーバ１１０から読み書き要求を受け取ると、指定されたファイルの識別子により、対応するファイルを認識する。本発明は、動画や画像などの高い圧縮率が期待できるメディア情報を格納したファイルを対象とする。また、このようなファイルの特徴としては、書き込みは、ファイルを生成した契機に、先頭のアドレスから順番にデータが追記されていく。このため、すでに、書き込みが終わった領域の書き替えは行われないのが通常である。また、ファイルを読み出す際には、ファイルの先頭から、アドレス順に、最後まで読まれるのが通常である。
ファイル識別子２１０１は、当該ファイルの識別子である。ファイルサイズ２１０２は、当該ファイルに書き込まれたデータの量である。ファイルメディア２１０３は、当該ファイルのメディアの種別、例えば動画などの種別を表す。初期圧縮情報２１０４は、当初、サーバ１１０から書き込まれたデータの圧縮の状態を示す。初期圧縮情報２１０４は、圧縮の有無、圧縮されている場合、適用されている圧縮アルゴリズムを示す。本発明では、後から、当初適用していた圧縮アルゴリズムより圧縮率の高い圧縮アルゴリズムを適用して、データの削減率を向上させる。適用圧縮情報２１０５は、後から適用する圧縮アルゴリズムを示す。圧縮ファイルサイズ２１０６は、適用圧縮情報２１０５を適用した時のファイルサイズを示す。受け付け時先頭ポインタ２１０７と受け付け時末尾ポインタ２１０８は、最初に要求を受け付けたデータを格納した先頭のページと最後のページを示す。圧縮先頭ポインタ２１０９と圧縮末尾ポインタ２１１０は、ファイルストレージ１００が圧縮したデータを格納した先頭のページと最後のページとを示す。ファイルストレージ１００は、ファイルストレージ１００が圧縮したデータを格納したデータに対する読み出し要求を受け付けた場合、サーバ１１０に対しては、当初書き込まれたデータに変換してから、データを渡す必要がある。この際、本発明では、アクセス頻度の高いファイルの応答性能を確保するために、この変換したデータを、ストレージ装置１３０に設けたキャッシュ領域に格納する。キャッシュ先頭ポインタ２１１１とキャッシュ末尾ポインタ２１１２は、キャッシュ領域に格納したデータの先頭のページと最後のページを示す。このような制御を行うと、アクセス頻度の下がったファイルのデータをキャッシュ領域から追い出す必要がある。本発明では、キャッシュ領域にデータを格納したファイルのＬＲＵ管理を行って、追い出すファイルを決める。次ＬＲＵポインタ２１１３と前ＬＲＵポインタ２１１４は、当該ファイルより、アクセス頻度が一つ高いファイルのファイル情報２１００へのポインタと、アクセス頻度が一つ低いファイルのファイル情報２１００へのポインタである。未圧縮フラグ２１１５は、ファイルストレージ１００が、まだ、圧縮を行っていないことを示すフラグである。スケジュールフラグ２１１６は、当該ファイルを圧縮の対象としたことを示すフラグである。キャッシュフラグ２１１７は、当該ファイルをキャッシュ領域に格納中であることを示す。本発明では、ファイルに対する先頭のアドレスに対する書き込み要求を受け取った時、新しいファイルに対する書き込み要求を受け取ったことになるので、この契機で、ファイル情報２１００を割り当てる必要がある。このため、空いた状態にあるファイル情報２１００を管理しておく必要がある。次空きポインタ２１１８は、次に、空いた状態にあるファイル情報へのポインタである。アクセスアドレス２１１９は、ファイルストレージ１００で、圧縮したデータを読み出すときに、次に、読み出しを行うアドレスを示す。圧縮したデータの長さは可変長となるため、リード要求で指定された相対アドレスからは、圧縮後のデータが格納されているデータは一般的には計算できない。ただし、メディアデータなどは、アドレス順にアクセスされるので、次にアクセスされるデータは、圧縮後のデータ空間においても、次のアドレスとなるので、これを記憶しておけば、次の要求でアクセスされる圧縮後のデータのアドレスを認識できる。
図６は、ストレージ装置情報２２００を示す。ストレージ装置情報２２００は、ストレージ装置識別子２２０１、ストレージ容量２２０２、実ページ情報２２０３をもつ。ストレージ装置識別子２２０１は、当該ストレージ装置１３０の識別子である。ストレージ容量２２０２は、当該ストレージ装置１３０の容量である。実ページ情報２２０３は、当該ストレージ装置１３０に含まれる実ページに対応する情報であり、その個数は、ストレージ容量を仮想ページ容量でわった値となる。
図７は、実ページ情報２２０３のフォーマットを示す。実ページ情報２２０３は、ストレージ識別子３０００、相対アドレス３００１、次ページポインタ３００２から構成される。ストレージ識別子３０００は、対応する実ページのストレージ装置１３０の識別子を示す。相対アドレス３００１は、対応する実ページのストレージ装置１３０内の相対アドレスを示す。本発明においては、実ページは、いくつかの状態をとる。空いた状態（未割当）か、割り当てた状態であるが、割り当てた状態には、最初に書き込まれたデータを格納した状態、ファイルストレージ１００で圧縮したデータを格納した状態、キャッシュ領域に格納した状態となり、併せて、４つの状態が存在する。同一の状態にある実ページは、ポインタによりつながっているため、次ページポインタ３００２は、同一の状態にある次の実ページ情報２２０３へのポインタである。
図８は、空きファイル情報ポインタ２４００によって管理される空き状態になるファイル情報２１００を示したものである。このキューを空きファイル情報キュー８００と呼ぶ。空きファイル情報ポインタ２４００は、空いた状態にある先頭のファイル情報２１００を示す。ファイル情報２１００内の次空きポインタ２１１８が、次に、空いた状態にあるファイル情報２１００を示す。
図９は、空きページ情報２５００によって管理される空き状態にある実ページ情報２２０３を示したものである。このキューを空き実ページ情報キュー９００と呼ぶ。空きページ情報２５００は、空いた状態にある先頭の実ページ情報２２０３を示す。実ページ情報２２０３内の次ページポインタ３００２が、次に、空いた状態にある実ページ情報２２０３を示す。
本発明では、ファイルストレージ１００は、周期的に、受け付けたファイルのデータの圧縮処理を実行する。本発明の特徴は、圧縮する必要のあるデータ量を把握して、次の周期までに、圧縮処理が完了する圧縮アルゴリズムを選択する。これにより、圧縮処理が間に合う範囲で、データ削減効果が最も高い圧縮アルゴリズムを適用できる。トータル圧縮量２８００は、当該周期で圧縮処理を行う必要のあるデータ量である。また、本発明においては、当初、圧縮をしたデータを受け付けることを許容している。この場合、当初の圧縮アルゴリズムより圧縮率の高い圧縮アルゴリズムを適用しようとすると、一度、データを伸長する必要がある。このため、実際には、この伸長時間も含めて、圧縮処理を間に合わせる必要がある。トータル伸長時間２９００は、伸長処理にかかる時間の合計値である。
図１０は、ＬＲＵ先頭ポインタ２６００およびＬＲＵ末尾ポインタ２７００で管理されるキャッシュ領域を割り当てられたファイル情報２１００の管理状態を示す。このキューをファイル情報ＬＲＵキュー１０００と呼ぶ。ＬＲＵ先頭ポインタ２６００で示されたファイル情報２１００が最近リードされたファイルのファイル情報２１００であり、ＬＲＵ末尾ポインタ２７００で示されたファイル情報２１００が最も長い期間リードされていないファイルのファイル情報２１００である。新たに、キャッシュ領域を割り当てるファイルがでてきた場合、ＬＲＵ末尾ポインタ２７００で示されたファイル情報２１００から、実ページを解放して、図９で示した空きページ情報２５００で管理される空き状態の実ページに戻すことになる。
図１１は、受け付け時先頭ポインタ２１０７および受け付け時末尾ポインタ２１０８で管理される実ページ情報２２０３の構造を示している。受け付け時先頭ポインタ２１０７は、最初に要求を受け付けたデータ、すなわち、ファイルの先頭のアドレスのデータを格納した実ページ情報２２０３を示している。実ページ情報２２０３の次ページポインタ３００２には、そのファイルの次のアドレスのデータを格納した実ページ情報２２０３が示されている。受け付け時末尾ポインタ２１０８には、最後に受け付けた、すなわち、最も後ろのアドレスのデータを格納した実ページ情報２２０３のアドレスが格納される。
圧縮先頭ポインタ２１０９および圧縮末尾ポインタ２１１０で管理される実ページ情報２２０３の構造、キャッシュ先頭ポインタ２１１１およびキャッシュ末尾ポインタ２１１２で管理される実ページ情報２２０３の構造は、それぞれ、図１１で示した構造と同じであるため、説明を省略する。
次に、上記に説明した管理情報を用いて、ファイルストレージ１００のプロセッサ２００の動作の説明を行う。ファイルストレージ１００のプロセッサ２００が実行するプログラムは、メインメモリ２１０に格納されている。図１２は、メインメモリ２１０内に、格納された本実施例に関するプログラムが示されている。本実施例に関するプログラムは、ライト処理部４０００、リード処理部４１００、圧縮処理部４２００である。
図１３は、ライト処理部４０００の処理フローを示す。ライト処理部４０００の処理フローは、サーバ１１０からライト要求を受け付けた時に実行される処理フローである。
ステップ５００００：指定された相対アドレスがファイルの先頭のアドレスかをチェックする。先頭でなければ、ステップ５０００４へジャンプする。
ステップ５０００１：空きファイル情報ポインタ２４００が示すファイル情報２１００を当該ファイルに割り当てる。空きファイル情報ポインタ２４００には、割り当てたファイル情報２１００の次空きポインタ２１１８が示す値を設定する。
ステップ５０００２：ライト要求で指定された、ファイルの識別子、メディア種別、圧縮情報を、ファイル識別子２１０１、ファイルメディア２１０３、初期圧縮情報２１０４に設定する。
ステップ５０００３：空きページ情報２５００が示す空いた状態にある実ページ情報２２０３を、当該ファイル情報の受け付け時先頭ポインタ２１０７と受け付け時末尾ポインタ２１０８の双方が示すようにする。また、空きページ情報２５００には、割り当てた実ページ情報２２０３の次ページポインタ３００２が示す情報を設定する。この後、ステップ５０００５へジャンプする。
ステップ５０００４：ライト要求で指定されたファイル識別子から、対応するファイル情報２１００を見つける。
ステップ５０００５：受け付けたライト要求の相対アドレスとデータ長より、現在、割り当てている実ページだけで、データを格納できるかをチェックする。格納できれば、ステップ５０００７へジャンプする。
ステップ５０００６：空きページ情報２５００が示す空いた状態にある実ページ情報２２０３（当該実ページ情報２２０３）を、受け付け時末尾ポインタ２１０８が示していた実ページ情報２２０３の次ページポインタ３００２が示すようにする。また、当該実ページ情報２２０３を、受け付け時末尾ポインタ２１０８が示すようにする。加えて、空きページ情報２５００には、当該実ページ情報２２０３（割り当てた実ページ情報２２０３）の次ページポインタ３００２が示す情報を設定する。
ステップ５０００７：ライトデータを受け取る。相対アドレスとデータ長から、どのページのどのアドレスにデータを書き込めばよいかを計算する。
ステップ５０００８：ストレージ装置１３０に書き込み要求を発行する。
ステップ５０００９：完了するのを待つ。
ステップ５００１０：受け取ったデータ長から、ファイルサイズ２１０２を更新する。
ステップ５００１１：サーバ１１０に完了報告を行う。
図１４は、リード処理部４１００の処理フローを示す。リード処理部４１００の処理フローは、ファイルストレージ１００が、サーバ１１０からリード要求を受け取った時に、実行される処理フローである。
ステップ６００００：指定されたファイル識別子から、対応するファイル情報２１００を見つける。
ステップ６０００１：未圧縮フラグ２１１５がオンかをチェックする。オンであれば、ステップ６００１８へジャンプする。
ステップ６０００２：キャッシュフラグ２１１６がオンかをチェックする。オンであれば、ステップ６００１７へジャンプする。
ステップ６０００３：リード要求で指定された相対アドレスが先頭のアドレスかをチェックし、そうなければ、ステップ６０００５へジャンプする。
ステップ６０００４：先頭の場合、アクセスアドレス２１１９に圧縮先頭ポインタ２１０９に対応する実ページの先頭のアドレスを設定する。また、図１０に示すＬＲＵ末尾ポインタ２７００が示すファイル情報２１００に割り当てた実ページ情報２２０３、つまり当該ファイル情報２１００のキャッシュ先頭ポインタ２１１１からキャッシュ末尾ポインタ２１１２の間の存在する実ページ情報２２０３を、空きページ情報２５００が示す空き実ページ情報キュー９００に移す。また、当該ファイル情報２１００のキャッシュフラグ２１１７をオフにする。さらに、これまでＬＲＵ末尾ポインタ２７００が示していたファイル情報２１００の中の前ＬＲＵポインタ２１１４が示すファイル情報２１００のアドレスを、ＬＲＵ末尾ポインタ２７００に設定する。
ステップ６０００５：圧縮後のデータを格納したページにおける、アクセスアドレス２１１９が示すアドレスから、データを読み出すために、ストレージ装置１３０に読み出し要求を発行し、完了を待つ。
ステップ６０００６：ファイル情報２１００の適用圧縮情報２１０５等を参照し、読み出したデータをサーバ１１０から受け取ったデータに変換する。
ステップ６０００７：変換したデータをサーバ１１０に送り、完了報告を行う。
ステップ６０００８：指定された相対アドレスがファイルの先頭のアドレスかをチェックする。先頭でなければ、ステップ６００１０へジャンプする。
ステップ６０００９：空きページ情報２５００が示す空いた状態にある実ページ情報２２０３を、当該ファイル情報のキャッシュ先頭ポインタ２１１１とキャッシュ末尾ポインタ２１１２の双方が示すようにする。また、空きページ情報２５００には、割り当てた実ページ情報２２０３の次ページポインタ３００２が示す情報を設定する。また、当該ファイル情報２１００を、図１０に示した、ＬＲＵ先頭ポインタ２６００が示す位置に移す。
ステップ６００１０：受け付けたリード要求の相対アドレスとデータ長より、現在、割り当てている実ページだけで、データを格納できるかをチェックする。格納できれば、ステップ６００１２へジャンプする。
ステップ６００１１：空きページ情報２５００が示す空いた状態にある実ページ情報２２０３（当該実ページ情報２２０３）を、キャッシュ末尾ポインタ２１１２が示していた実ページ情報２２０３の次ページポインタ３００２が示すようにする。また、当該実ページ情報２２０３を、キャッシュ末尾ポインタ２１１２が示すようにする。加えて、空きページ情報２５００には、当該実ページ情報２２０３（割り当てた実ページ情報２２０３）の次ページポインタ３００２が示す情報を設定する。
ステップ６００１２：受け取った相対アドレスとデータ長から、どのページのどのアドレスにデータを書き込めばよいかを計算する。
ステップ６００１３：ストレージ装置１３０に書き込み要求を発行する。
ステップ６００１４：完了するのを待つ。
ステップ６００１５：アクセスアドレス２１１９を更新する。ファイル全体の書き込みが完了したかをチェックする。完了していない場合、処理を終了する。
ステップ６００１６：完了した場合、キャッシュフラグ２１１７をオンにして処理を完了する。
ステップ６００１７：受け付けた相対アドレスと、キャッシュ先頭ポインタ２１１１と、キャッシュ末尾ポインタ２１１２を参照して、読み出すデータを格納した実ページのアドレスを認識する。ステップ６００１９へジャンプする。
ステップ６００１８：受け付けた相対アドレスと、受け付け時先頭ポインタ２１０７と、受け付け時末尾ポインタ２１０８を参照して、読み出すデータを格納した実ページのアドレスを認識する。
ステップ６００１９：ストレージ装置１３０に読み出し要求を発行する。
ステップ６００２０：読み出しが完了するのを待つ。
ステップ６００２１：読み出したデータをサーバ１１０へ送り、終了報告を行う。この後、処理を終了する。
図１５は、圧縮処理部４２００の処理フローを示す。圧縮処理部４２００の処理フローは、ファイルストレージ１００の中で、周期的に起動される。
ステップ７００００：トータル圧縮量２８００とトータル伸長時間２９００を初期化する。
ステップ７０００１：未圧縮フラグ２１１５がオンのファイル情報２１００を見出す。未圧縮フラグ２１１５がオンのファイル情報２１００を見出せなかった場合、ステップ７０００５へジャンプする。
ステップ７０００２：見出したファイル情報２１００の未圧縮フラグ２１１５をオフにして、スケジュールフラグ２１１６をオンにする。ファイルサイズ２１０２をトータル圧縮量２８００に加える。
ステップ７０００３：初期圧縮情報２１０４が圧縮なしであれば、ステップ７０００１へジャンプする。
ステップ７０００４：圧縮ありの場合、ファイルメディア２１０３と初期圧縮情報２１０４から、使用されている圧縮アルゴリズム２００３を認識し、対応する伸長性能２００６により、このデータを伸長する速度を認識する。さらに、この速度にファイルサイズ２１０２をかけた値（＝伸長時間）を、トータル伸長時間２９００に加算する。この後、ステップ７０００１へジャンプする。
ステップ７０００５：次のスケージュールまでの時間から、トータル伸長時間２９００を減算する。減算した時間内に、圧縮処理を完了しなければならない。減算した値で、トータル圧縮量２８００を割り、必要な圧縮速度を計算する。
ステップ７０００６：メディア種別２００２ごとに、ファイルストレージ１００が保有している圧縮アルゴリズム２００３の中で、圧縮速度を満足する中で、最も圧縮率の高い圧縮アルゴリズム２００３を適用する圧縮アルゴリズムに決定する。
ステップ７０００７：スケジュールフラグ２１１６がオンのファイル情報２１００を見つける。見つからなかった場合、処理を完了する。
ステップ７０００８：ファイルメディア２１０３を参照して、ステップ７０００６で決定した圧縮アルゴリズムを、適用圧縮情報２１０５に設定する。
ステップ７０００９：受け付け時先頭ポインタ２１０７、受け付け時末尾ポインタ２１０８が示す実ページ情報２２０３に対応する実ページに格納されたデータを読み出していく。ここでは、先頭のデータを読み出し対象として、次のステップに進む。
ステップ７００１０：読み出し対象としたデータを読み出すため、ストレージ装置１３０に読み出し要求を発行する。また、次に読み出し対象とするデータのアドレスを計算しておく。
ステップ７００１１：完了するのを待つ。
ステップ７００１２：初期圧縮情報２１０４を参照して、圧縮なしであれば、ステップ７００１４へジャンプする。
ステップ７００１３：読み出したデータに、初期圧縮情報２１０４で適用されていた圧縮アルゴリズムを認識して、伸長処理を行い、圧縮されていない状態に戻す。
ステップ７００１４：適用圧縮処理２１０５を参照して、適用する圧縮アルゴリズムによりデータを圧縮する。
ステップ７００１５：現在のアドレスがファイルの先頭のアドレスかをチェックする。先頭でなければ、ステップ７００１７へジャンプする。
ステップ７００１６：空きページ情報２５００が示す空いた状態にある実ページ情報２２０３を、当該ファイル情報の圧縮先頭ポインタ２１０９と圧縮末尾ポインタ２１１０の双方が示すようにする。また、空きページ情報２５００には、割り当てた実ページ情報２２０３の次ページポインタ３００２が示す情報を設定する。書き込みを行うアドレスを割り当てた実ページの先頭とする。
ステップ７００１７：圧縮したデータの長さから、現在、割り当てている実ページだけで、データを格納できるかをチェックする。格納できれば、ステップ７００１９へジャンプする。
ステップ７００１８：空きページ情報２５００が示す空いた状態にある実ページ情報２２０３（当該実ページ情報２２０３）を、圧縮末尾ポインタ２１１０が示していた実ページ情報２２０３の次ページポインタ３００２が示すようにする。また、当該実ページ情報２２０３を、圧縮末尾ポインタ２１１０が示すようにする。加えて、空きページ情報２５００には、当該実ページ情報２２０３（割り当てた実ページ情報２２０３）の次ページポインタ３００２が示す情報を設定する。
ステップ７００１９：書き込みを行うと認識した領域に、圧縮後のデータを書き込むため、ストレージ装置１３０に書き込み要求を発行する。
ステップ７００２０：完了を待つ。
ステップ７００２１：ファイルのデータのすべてが完了したかを確認し、完了した場合、ステップ７００２３へジャンプする。
ステップ７００２２：圧縮後のデータの長さから、次に書き込みを行うアドレスを計算する。この後、ステップ７００１０へジャンプする。
ステップ７００２３：受け付け時先頭ポインタ２１０７からポイントされている、すべての実ページ情報２２０３を、空きページ情報２５００が示す空き実ページ情報キュー９００に戻す。この後、ステップ７０００７に戻る。
本実施の形態によれば、圧縮を後から一括して実行するファイルストレージにおいて、圧縮しなければならないデータ量に応じて、適用する圧縮アルゴリズムを選択することにより、データの削減率を向上できる。また、アクセス頻度の高いファイルは一時的に伸長したデータをキャッシュすることにより、応答性能を改善できる。
（付記）
上述の実施の形態には、例えば、以下のような内容が含まれる。
上述の実施の形態においては、本発明をファイルストレージに適用するようにした場合について述べたが、本発明はこれに限らず、種々のシステム、装置、方法、プログラムに広く適用することができる。
また、上述の実施の形態においては、キャッシュ領域のデータの管理がファイル単位で行われる場合について述べたが、本発明はこれに限らない。例えば、キャッシュ領域のデータの管理は、読み出し要求の単位で行われるようにしてもよい。
また、上述の実施の形態においては、アプリケーションから第１の圧縮アルゴリズムを受け取っている場合、アプリケーションからファイルの読み出し要求を受けたとき、当該ファイルのデータが第２の圧縮アルゴリズムにより圧縮されているデータをストレージ装置から読み出し、読み出した圧縮されているデータを第２の圧縮アルゴリズムにより伸長し、伸長したデータを第１の圧縮アルゴリズムにより圧縮してアプリケーションに応答する場合について述べたが、本発明はこれに限らない。例えば、アプリケーションから第１の圧縮アルゴリズムを受け取っている場合、アプリケーションからファイルの読み出し要求を受けたとき、当該ファイルのデータが第２の圧縮アルゴリズムにより圧縮されているデータをストレージ装置から読み出し、読み出した圧縮されているデータを第２の圧縮アルゴリズムにより伸長し、伸長したデータを、第１の圧縮アルゴリズムとは異なる第３の圧縮アルゴリズムにより圧縮してアプリケーションに応答するようにしてもよい。
また、上述した実施の形態の構成は、例えば、以下の構成としてもよい。
（１）
アプリケーション（例えば、ユーザアプリケーション１４０）から、ファイルに対する書き込み要求を受け付け、上記ファイルのデータを記憶装置（例えば、ストレージ装置１３０）に書き込み、後から、書き込みを行ったファイルのデータを圧縮して記憶装置（例えば、ストレージ装置１３０）に書き込むプロセッサ（例えば、プロセッサ２００）を備えるファイルストレージ（例えば、ファイルストレージ１００、サーバ１１０）であって、上記プロセッサは、ステップ７０００６において、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量（例えば、トータル圧縮量２８００）に応じて、圧縮に用いる圧縮アルゴリズムを決定してもよい。上記ファイルストレージは、例えば、センサがデータの生成速度に応じて圧縮方式を選択するものである。ストレージ装置としてはセンサが生み出すデータの生成速度は、所定時間に書き込まれたデータ量に相当する。
例えば、プロセッサは、書き込みデータ量が閾値を超えない場合は、第１の圧縮速度の圧縮アルゴリズムを決定し、書き込みデータ量が閾値を超える場合は、第１の圧縮速度よりも大きい第２の圧縮速度の圧縮アルゴリズムを決定する。また、例えば、プロセッサは、書き込みデータ量が少ない時間帯（例えば、夜間）は、第１の圧縮速度の圧縮アルゴリズムを決定し、書き込みデータ量が多い時間帯（例えば、昼間）は、第１の圧縮速度よりも大きい第２の圧縮速度の圧縮アルゴリズムを決定してもよい。
ここで、圧縮アルゴリズムは、例えば、アプリケーションプログラム（圧縮ソフトウェア）である。この場合、プロセッサは、圧縮ソフトウェアにおいて圧縮速度（圧縮率）に係る設定を変更し、設定を変更した圧縮ソフトウェアを実行してデータを圧縮してもよいし、圧縮速度が異なる複数の圧縮ソフトウェアから、決定した圧縮ソフトウェアを実行してデータを圧縮してもよい。
上記構成によれば、書き込みを行ったファイルのデータが後から圧縮されるので、例えば、データの格納時の応答性能を劣化させることなく、データの削減率を高めることができる。
（２）
（１）に記載のファイルストレージであって、上記プロセッサは、ステップ７０００６において、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、複数の圧縮アルゴリズムのそれぞれの圧縮速度（例えば、圧縮性能２００５）とにしたがって、圧縮に用いる圧縮アルゴリズムを決定してもよい。
例えば、プロセッサは、１００ＧＢのデータが書き込まれた場合、所定の時間（例えば、予め指定された時間、ユーザアプリケーション１４０に係る業務が終了してから業務が開始するまでの時間、１日毎といった周期的な時間）内に、１００ＧＢのデータを圧縮可能な圧縮アルゴリズムを決定する。
上記構成によれば、例えば、データの発生速度より大きい圧縮速度の圧縮アルゴリズムの中から、最も圧縮率の高い圧縮アルゴリズムを決定することができるので、未圧縮のデータがたまってしまう事態を回避することができる。
（３）
（１）に記載のファイルストレージであって、上記プロセッサは、ステップ５０００２において、アプリケーションからファイルに書き込むデータのメディア種別（例えば、メディア種別２００２）を受け取り、ステップ７０００６において、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、受け取ったメディア種別とにしたがって、圧縮に用いる圧縮アルゴリズムを決定してもよい。
上記プロセッサは、例えば、動画のデータと静止画のデータと音声のデータとでは、それぞれ異なる圧縮アルゴリズムを決定する。また、動画のデータと、静止画のデータと、音声のデータとが未圧縮のデータであり、合計の書き込みデータ量が４５００ＭＢであり、圧縮に使用できる時間が４５秒であった場合、例えば、上記プロセッサは、動画、静止画、音声のそれぞれについて、１００ＭＢ／ｓの圧縮速度を満たす圧縮アルゴリズムの中から、最も圧縮率の高い圧縮アルゴリズムを決定する。このように、平均の圧縮速度で圧縮アルゴリズムを決定してもよい。ただし、圧縮アルゴリズムの決定方法は、これに限定されない。
上記構成によれば、例えば、メディア種別に適した圧縮アルゴリズムを決定することができるので、データの削減率をより高めることができる。
付言するならば、プロセッサは、同じメディア種別であったとしても、アプリケーションから劣化していないデータが送信される場合には、品質（画質、音質等）が優先される圧縮アルゴリズムを決定し、アプリケーションからサイズが小さくされてデータが送信される場合には、品質が優先されない圧縮アルゴリズムを決定してもよい。
（４）
（３）に記載のファイルストレージであって、上記プロセッサは、ステップ７０００６において、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、受け取ったメディア種別と、複数の圧縮アルゴリズムのそれぞれの圧縮速度とにしたがって、圧縮に用いる圧縮アルゴリズムを決定してもよい。
上記構成によれば、例えば、メディア種別ごとに、データの発生速度より大きい圧縮速度の圧縮アルゴリズムの中から、最も圧縮率の高い圧縮アルゴリズムを決定することができるので、データの削減率をより高めると共に、未圧縮のデータがたまってしまう事態を回避することができる。
（５）
（１）に記載のファイルストレージであって、上記プロセッサは、アプリケーションから、上記アプリケーションより送信されるデータについての圧縮の有無と、圧縮を行っている場合の圧縮アルゴリズムとを受け取る（例えば、図１３のステップ５０００２参照）。
上記構成では、例えば、プロセッサは、アプリケーションから第１の圧縮アルゴリズムを受け取った場合、当該アプリケーションから送信される圧縮されたデータを、当該第１の圧縮アルゴリズムを用いて伸長し、当該第１の圧縮アルゴリズムよりも圧縮率の高い第２の圧縮アルゴリズムで圧縮して記憶することができるようになる。なお、上記構成では、例えば、プロセッサは、当該アプリケーションから読み出し要求があったとき、対象のデータを第２の圧縮アルゴリズムで伸長し、伸長したデータを第１の圧縮アルゴリズムを用いて圧縮して当該アプリケーションに応答することができる。
また、例えば、プロセッサは、アプリケーションから第１の圧縮アルゴリズムを受け取った場合、第１の圧縮アルゴリズムと似たような性質の第２の圧縮アルゴリズムを決定できるようになる。例えば、プロセッサは、第１の圧縮アルゴリズムの圧縮が可逆圧縮であるか非可逆圧縮であるかを加味して、第２の圧縮アルゴリズムを決定することができるので、アプリケーションから受け取ったデータの性質を損なうことなく圧縮できるようになる。
（６）
（５）に記載のファイルストレージであって、上記プロセッサは、ステップ７０００６において、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、複数の圧縮アルゴリズムのそれぞれの圧縮速度とにしたがって、圧縮に用いる圧縮アルゴリズムを決定してもよい。
上記構成によれば、例えば、未圧縮のデータがたまってしまう事態を回避することができる。更に、上記構成によれば、例えば、アプリケーションから送信される圧縮されたデータを伸長し、より圧縮率の高い圧縮アルゴリズムで圧縮できるので、アプリケーションから送信される圧縮されたデータの削減率をより高めることができる。
（７）
（５）に記載のファイルストレージであって、上記プロセッサは、ステップ７０００６において、書き込みを行ったデータが圧縮されたデータである場合、上記データを伸長する時間（例えば、トータル伸長時間２９００）と、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、複数の圧縮アルゴリズムのそれぞれの圧縮速度とにしたがって、圧縮に用いる圧縮アルゴリズムを決定してもよい。
上記構成によれば、例えば、プロセッサは、アプリケーションから送信される圧縮されたデータを伸長する時間を加味して、圧縮アルゴリズムを決定することができるので、アプリケーションから送信される圧縮された圧縮率の低いデータがたまってしまう事態を回避することができる。
（８）
（５）に記載のファイルストレージであって、上記プロセッサは、ステップ５０００２において、アプリケーションからファイルに書き込むデータのメディア種別を受け取り、ステップ７０００６において、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、受け取ったメディア種別とにしたがって、圧縮に用いる圧縮アルゴリズムを決定してもよい。
上記構成によれば、例えば、メディア種別に適した圧縮アルゴリズムを決定することができるので、アプリケーションから送信される圧縮されたデータの削減率をより高めることができる。
（９）
（８）に記載のファイルストレージであって、上記プロセッサは、ステップ７０００６において、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、受け取ったメディア種別と、複数の圧縮アルゴリズムのそれぞれの圧縮速度とにしたがって、圧縮に用いる圧縮アルゴリズムを決定してもよい。
上記構成によれば、例えば、アプリケーションから送信される圧縮されたデータの削減率をより高めると共に、未圧縮のデータがたまってしまう事態を回避することができる。
（１０）
（９）に記載のファイルストレージであって、上記プロセッサは、書き込みを行ったデータが圧縮されたデータである場合、ステップ７０００６において、上記データを伸長する時間と、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、受け取ったメディア種別と、複数の圧縮アルゴリズムのそれぞれの圧縮速度とにしたがって、圧縮に用いる圧縮アルゴリズムを決定してもよい。
上記構成によれば、例えば、アプリケーションから送信される圧縮されたデータの削減率をより高めると共に、アプリケーションから送信される圧縮された圧縮率の低いデータがたまってしまう事態を回避することができる。
（１１）
アプリケーション（例えば、ユーザアプリケーション１４０）から、ファイルに対する書き込み要求を受け付け、上記ファイルのデータを記憶装置（例えば、ストレージ装置１３０）に書き込み、後から、書き込みを行ったファイルのデータを圧縮して記憶装置（例えば、ストレージ装置１３０）に書き込むプロセッサ（例えば、プロセッサ２００）を備えるファイルストレージ（例えば、ファイルストレージ１００、サーバ１１０）であって、上記プロセッサは、アプリケーションから、圧縮したデータを記憶したファイルに対する読み出し要求を受けたとき、ステップ６０００６において、上記圧縮したデータを伸長し、ステップ６００１３において、伸長したデータをキャッシュ領域に格納し、ステップ６０００２において、アプリケーションから読み出し要求を受けたファイルのデータが上記キャッシュ領域に存在するか否かを判定し、上記キャッシュ領域に存在する場合、ステップ６００１７およびステップ６００１９において、上記キャッシュ領域からデータを読み出し、ステップ６００２１において、読み出したデータを上記アプリケーションに渡す。
上記構成によれば、例えば、データの格納時の応答性能を劣化させることなく、データの削減率を高めると共に、読み出し頻度の高いファイルのデータの読み出し性能が劣化する事態を回避することができる。
（１２）
アプリケーション（例えば、ユーザアプリケーション１４０）から、ファイルに対する書き込み要求を受け付け、上記ファイルのデータを記憶装置（例えば、ストレージ装置１３０）に書き込み、後から、書き込みを行ったファイルのデータを圧縮して記憶装置（例えば、ストレージ装置１３０）に書き込むプロセッサ（例えば、プロセッサ２００）を備えるファイルストレージ（例えば、ファイルストレージ１００、サーバ１１０）であって、上記プロセッサは、ステップ５０００２において、アプリケーションから、上記アプリケーションより送信されるデータについての圧縮の有無と、圧縮を行っている場合の圧縮アルゴリズムとを受け取り、アプリケーションから、圧縮したデータを記憶したファイルに対する読み出し要求を受けたとき、ステップ６０００６において、上記圧縮したデータを伸長し、上記アプリケーションから圧縮アルゴリズムを受け取っている場合、伸長したデータを、受け取った圧縮アルゴリズムを用いて圧縮し、ステップ６００１３において、圧縮したデータをキャッシュ領域に格納し、ステップ６０００２において、アプリケーションから読み出し要求を受けたファイルのデータが上記キャッシュ領域に存在するか否かを判定し、上記キャッシュ領域に存在する場合、ステップ６００１７およびステップ６００１９において、上記キャッシュ領域からデータを読み出し、ステップ６００２１において、読み出したデータを上記アプリケーションに渡す。
上記構成によれば、例えば、データの格納時の応答性能を劣化させることなく、データの削減率を高めると共に、読み出し頻度の高いファイルの圧縮されたデータの読み出し性能が劣化する事態を回避することができる。
また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。
１００ ファイルストレージ
１１０ サーバ
１２０ ネットワーク
１３０ ストレージ装置
１４０ ユーザアプリケーション
２００ プロセッサ
２１０ メインメモリ
２２０ 共有メモリ
２０００ ファイルストレージ情報
２１００ ファイル情報
２２００ ストレージ装置情報
２２０３ 実ページ情報
４０００ ライト処理部
４１００ リード処理部
４２００ 圧縮処理部

Claims (12)

  1. アプリケーションから、ファイルに対する書き込み要求を受け付け、前記ファイルのデータを記憶装置に書き込み、後から、書き込みを行ったファイルのデータを圧縮して記憶装置に書き込むプロセッサを備えるファイルストレージであって、
    前記プロセッサは、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量に応じて、圧縮に用いる圧縮アルゴリズムを決定する、
    ファイルストレージ。
  2. 請求項１に記載のファイルストレージであって、
    前記プロセッサは、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、複数の圧縮アルゴリズムのそれぞれの圧縮速度とにしたがって、圧縮に用いる圧縮アルゴリズムを決定する、
    ファイルストレージ。
  3. 請求項１に記載のファイルストレージであって、
    前記プロセッサは、
    アプリケーションからファイルに書き込むデータのメディア種別を受け取り、
    書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、受け取ったメディア種別とにしたがって、圧縮に用いる圧縮アルゴリズムを決定する、
    ファイルストレージ。
  4. 請求項３に記載のファイルストレージであって、
    前記プロセッサは、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、受け取ったメディア種別と、複数の圧縮アルゴリズムのそれぞれの圧縮速度とにしたがって、圧縮に用いる圧縮アルゴリズムを決定する、
    ファイルストレージ。
  5. 請求項１に記載のファイルストレージであって、
    前記プロセッサは、アプリケーションから、前記アプリケーションより送信されるデータについての圧縮の有無と、圧縮を行っている場合の圧縮アルゴリズムとを受け取る、
    ファイルストレージ。
  6. 請求項５に記載のファイルストレージであって、
    前記プロセッサは、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、複数の圧縮アルゴリズムのそれぞれの圧縮速度とにしたがって、圧縮に用いる圧縮アルゴリズムを決定する、
    ファイルストレージ。
  7. 請求項５に記載のファイルストレージであって、
    前記プロセッサは、書き込みを行ったデータが圧縮されたデータである場合、前記データを伸長する時間と、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、複数の圧縮アルゴリズムのそれぞれの圧縮速度とにしたがって、圧縮に用いる圧縮アルゴリズムを決定する、
    ファイルストレージ。
  8. 請求項５に記載のファイルストレージであって、
    前記プロセッサは、
    アプリケーションからファイルに書き込むデータのメディア種別を受け取り、
    書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、受け取ったメディア種別とにしたがって、圧縮に用いる圧縮アルゴリズムを決定する、
    ファイルストレージ。
  9. 請求項８に記載のファイルストレージであって、
    前記プロセッサは、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、受け取ったメディア種別と、複数の圧縮アルゴリズムのそれぞれの圧縮速度とにしたがって、圧縮に用いる圧縮アルゴリズムを決定する、
    ファイルストレージ。
  10. 請求項９に記載のファイルストレージであって、
    前記プロセッサは、書き込みを行ったデータが圧縮されたデータである場合、前記データを伸長する時間と、書き込みを行った一つ以上のファイルの所定時間に書き込まれたデータ量と、受け取ったメディア種別と、複数の圧縮アルゴリズムのそれぞれの圧縮速度とにしたがって、圧縮に用いる圧縮アルゴリズムを決定する、
    ファイルストレージ。
  11. アプリケーションから、ファイルに対する書き込み要求を受け付け、前記ファイルのデータを記憶装置に書き込み、後から、書き込みを行ったファイルのデータを圧縮して記憶装置に書き込むプロセッサを備えるファイルストレージであって、
    前記プロセッサは、
    アプリケーションから、圧縮したデータを記憶したファイルに対する読み出し要求を受けたとき、前記圧縮したデータを伸長し、伸長したデータをキャッシュ領域に格納し、
    アプリケーションから読み出し要求を受けたファイルのデータが前記キャッシュ領域に存在するか否かを判定し、前記キャッシュ領域に存在する場合、前記キャッシュ領域からデータを読み出し、読み出したデータを前記アプリケーションに渡す、
    ファイルストレージ。
  12. アプリケーションから、ファイルに対する書き込み要求を受け付け、前記ファイルのデータを記憶装置に書き込み、後から、書き込みを行ったファイルのデータを圧縮して記憶装置に書き込むプロセッサを備えるファイルストレージであって、
    前記プロセッサは、
    アプリケーションから、前記アプリケーションより送信されるデータについての圧縮の有無と、圧縮を行っている場合の圧縮アルゴリズムとを受け取り、
    アプリケーションから、圧縮したデータを記憶したファイルに対する読み出し要求を受けたとき、前記圧縮したデータを伸長し、前記アプリケーションから圧縮アルゴリズムを受け取っている場合、伸長したデータを、受け取った圧縮アルゴリズムを用いて圧縮し、圧縮したデータをキャッシュ領域に格納し、
    アプリケーションから読み出し要求を受けたファイルのデータが前記キャッシュ領域に存在するか否かを判定し、前記キャッシュ領域に存在する場合、前記キャッシュ領域からデータを読み出し、読み出したデータを前記アプリケーションに渡す、
    ファイルストレージ。
JP2021115973A 2021-07-13 2021-07-13 ファイルストレージ Pending JP2023012369A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021115973A JP2023012369A (ja) 2021-07-13 2021-07-13 ファイルストレージ
CN202210127720.9A CN115617259A (zh) 2021-07-13 2022-02-11 文件存储器
US17/693,462 US20230021108A1 (en) 2021-07-13 2022-03-14 File storage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021115973A JP2023012369A (ja) 2021-07-13 2021-07-13 ファイルストレージ

Publications (1)

Publication Number Publication Date
JP2023012369A true JP2023012369A (ja) 2023-01-25

Family

ID=84856585

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021115973A Pending JP2023012369A (ja) 2021-07-13 2021-07-13 ファイルストレージ

Country Status (3)

Country Link
US (1) US20230021108A1 (ja)
JP (1) JP2023012369A (ja)
CN (1) CN115617259A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023018365A (ja) * 2021-07-27 2023-02-08 富士通株式会社 情報処理プログラム、情報処理方法及び情報処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120089775A1 (en) * 2010-10-08 2012-04-12 Sandeep Ranade Method and apparatus for selecting references to use in data compression
US11487430B2 (en) * 2018-03-16 2022-11-01 International Business Machines Corporation Reducing data using a plurality of compression operations in a virtual tape library
US11119802B2 (en) * 2019-05-01 2021-09-14 EMC IP Holding Company LLC Method and system for offloading parallel processing of multiple write requests

Also Published As

Publication number Publication date
US20230021108A1 (en) 2023-01-19
CN115617259A (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
US6360300B1 (en) System and method for storing compressed and uncompressed data on a hard disk drive
KR100745532B1 (ko) 압축률에 기반한 압축 메인 메모리 사용을 위한 시스템 및방법
US6857047B2 (en) Memory compression for computer systems
US6941420B2 (en) Log-structure array
US7181457B2 (en) System and method for utilizing compression in database caches to facilitate access to database information
US9547591B1 (en) System and method for cache management
US6449689B1 (en) System and method for efficiently storing compressed data on a hard disk drive
EP2823401B1 (en) Deduplicating hybrid storage aggregate
KR100216146B1 (ko) 직접 액세스 저장장치의 데이터 압축 방법 및 압축 데이터 구조
US5881311A (en) Data storage subsystem with block based data management
EP3036642B1 (en) Hardware managed compressed cache
US9256367B2 (en) Data storage and moving of relatively infrequently accessed data among storage of different types
US10430376B1 (en) Managing inline data compression in storage systems
US10338833B1 (en) Method for achieving sequential I/O performance from a random workload
US9727479B1 (en) Compressing portions of a buffer cache using an LRU queue
JP5944502B2 (ja) 計算機システム及び制御方法
EP3278229B1 (en) Compressed pages having data and compression metadata
WO2011121590A1 (en) Log structure array
CN112799595A (zh) 数据处理方法、设备及存储介质
CN111190537B (zh) 一种追加写场景下顺序存储磁盘管理的方法及系统
WO1993000635A1 (en) Data storage management systems
US20230021108A1 (en) File storage
US8990615B1 (en) System and method for cache management
US9286219B1 (en) System and method for cache management
US9128854B1 (en) System and method for data prediction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240307