JP2005165485A - ファイル管理装置、ストレージ管理システム、システム管理方法、プログラム及び記録媒体 - Google Patents

ファイル管理装置、ストレージ管理システム、システム管理方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP2005165485A
JP2005165485A JP2003400976A JP2003400976A JP2005165485A JP 2005165485 A JP2005165485 A JP 2005165485A JP 2003400976 A JP2003400976 A JP 2003400976A JP 2003400976 A JP2003400976 A JP 2003400976A JP 2005165485 A JP2005165485 A JP 2005165485A
Authority
JP
Japan
Prior art keywords
storage
data
file
management
file management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003400976A
Other languages
English (en)
Inventor
Tsutomu Nishio
強 西尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003400976A priority Critical patent/JP2005165485A/ja
Publication of JP2005165485A publication Critical patent/JP2005165485A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】階層型ストレージマネジメントの手法を採用したシステムにおいて期待通りのパフォーマンスが得られていない。
【解決手段】物理的特性を異にする複数種類のストレージメディアを組み合わせたストレージシステムにおいて、”使うデータ”を、信頼性が高く、高速アクセス可能な1次ストレージから移動させる必要がある場合、アクセス性能重視のストレージと信頼性重視の大容量ストレージのそれぞれに冗長的に移動する。このシステムは、1次ストレージと保管用ストレージだけでシステムを構築する場合に比して、低コスト化と高アクセス性を実現できる。また、運用中のデータ量の増大にも柔軟に対応できる。
【選択図】図3

Description

本発明は、ストレージシステムを管理するファイル管理装置に関する。また、同装置を採用するストレージ管理システムに関する。また、同システムの管理方法に関する。また、同技術を実現するプログラムに関する。また、当該プログラムを記録した記録媒体に関する。
ネットワークの発達した今日、複数台のコンピュータでデータを共有する機会が増えている。かかるデータの共有を実現するコンピュータを、ファイルサーバーという。ファイルサーバーを運用するには、ストレージ装置の故障等を考慮する必要がある。一般には、データを冗長化(バックアップ)し、ストレージ装置の故障等に備えている。
データのバックアップは、ファイルサーバーを使用しない時間帯に行う。通常は、夜間に行われる。確かに、蓄積するデータが少ないうちは十分な時間である。しかし、近年、データは加速度的に増加している。これに伴い、ディスクの高密度化と大容量化は顕著に進んでいる。
その一方で、データの転送速度は、容量等の増加に比べそれほど向上していない。このため昨今、バックアップに要する時間が大幅に長くなっている。この結果、ファイルサーバーの運用への支障が懸念されている。
この問題の回避には、より高速なディスク装置やテープ装置の採用が必要である。例えば、RAID(Redundant Arrays of Independent
Disks )装置の使用が必要である。しかし、RAID装置への全面的な移行には、多額の費用を必要とする。また昨今では、ストレージ装置の並列化に技術的な限界が指摘されている。
加えて、管理データ量の増大の問題もある。これは、近年における情報の電子化に起因する。情報の電子化の影響で、現在、ファイルサーバー上に多量のデータが蓄積されている。ファイルサーバーに蓄積されるデータは、おおよそ2種類のデータに分かれる。“使うデータ”と“使われないデータ”との2種類である。図1は、この様子を表している。
今日の問題は、“使われないデータ”と“使うデータ”を、アクセス性が良く大容量のディスク装置に一緒に保存することにある。このことが、バックアップ時間の増大と、コスト負荷の要因になっている。
特開2000−148547号公報
かかる問題を解決するため、階層型ストレージマネジメント(HSM:Hierachical
Storage Management)という概念が提案されている。図2に概念構成を示す。HSMは、これらデータを物理的に異なる2種類のストレージ装置で管理する。
すなわち、HSMは、“使われないデータ”を大容量でコストパフォーマンスに優れたテープ装置に格納する。なお、HSMは、概念的には、“使われないデータ”がディスク装置上に存在するように管理する。
HSMは、全てのデータをディスク装置で管理する従来の手法に比べ、ストレージシステムを低コストで構築できる。加えて、バックアップ時間の短縮も実現できる。ただし、テープ装置上に存在するデータへのアクセス性は悪くなる。
これは、テープ装置が、ランダムアクセス性を有しないためである。しかし、仮に時間が掛かっても、“使われないデータ”であれば、実用上あまり問題にならない。
このように、HSMは、理想的な管理手法である。しかし、実際に当該システムを構築する場合、ディスク容量を確定することが難しい。というのは、“使うデータ”のデータ容量は非常にあいまいで、最初から確定することが難しいためである。
さらに、“使うデータ”のデータ容量は、使用中に変化するのが一般的である。ここで、ディスクを多めに持つという考えもあるが、これを行なうと本末転倒である。かといって、“使うデータ”をテープ装置に記録すると、アクセス性が極端に悪化してしまう。
しかし、かかる事態は、ファイルサーバーとしては避けなければならない。かかる原因のため、HSMの更なる改良が望まれている。
本発明は、以上の技術的課題を考慮してなされたもので、前述した問題の1つを解決することを目的とする。
かかる目的を実現するため、本発明の一つでは、使用中のデータを1次ストレージから移動させる必要がある場合に、アクセス性能に優れたストレージと信頼性に優れた2種類のストレージに同一のファイルを移動させる。
図3に、具体例を示す。この発明では、物理的特性を異にする複数種類のストレージメディアを組み合わせたストレージシステムを前提とする。図3は、3種類のストレージを組み合わせた複合システムについて表している。
1次ストレージ1は、信頼性が高く、高速アクセス可能なストレージメディアである。1次ストレージ1は、“使うデータ”を蓄積するのに用いられる。このため、1次ストレージ1には、高速アクセス性と信頼性が共に高いものが望ましい。例えば、半導体メモリ、ハードディスクが望ましい。なお、このハードディスクは、データを二重化する構成が望ましい。
2次ストレージ2は、高速アクセス可能で、しかもコストパフォーマンスに優れるストレージメディアである。従って、“使うデータ”を全て1次ストレージ1に蓄積する場合に比べ、システム全体のコストを低下できる。例えば、ハードディスクが望ましい。2次ストレージ2は、保管用ストレージ3のキャッシュとして機能する。
なお、2次ストレージ2の容量を大きくし、1次ストレージ1の容量をその分小さくすれば、同じ容量のストレージシステムの場合でも、システム全体のコストを低く抑えることができる。例えば、1次ストレージを半導体メモリ程度の容量とし、“使うデータ”のほとんどを2次ストレージ2に蓄積することもできる。
また、“使うデータ”が増加した場合でも、2次ストレージ2を増設することで柔軟に対応できる。この場合、1次ストレージ1を交換する必要はないため、運用を止めずに容量の拡大を図ることができる。
また、“使うデータ”が1次ストレージ1に存在しない場合でも、一般にアクセス速度が遅い保管用ストレージ3にアクセスする必要がなくなる。すなわち、2次ストレージ2と保管用ストレージ3に蓄積されているファイルは、2次ストレージから読み出すことで高速アクセスを担保できる。
保管用ストレージ3は、信頼性が高く、大容量ストレージメディアである。保管用ストレージ3には、2種類のデータが蓄積される。1種類は、現在は“使われないデータ”である。別の1種類は、現在も“使うデータ”である。
“使うデータ”は、基本的に、高速アクセス可能な1次ストレージ1に蓄積される。ただし、1次ストレージには容量上の制約もある。このため、“使うデータ”のうちの一部は、2次ストレージ2と保管用ストレージ3に移動される。
このように、信頼性が高い保管用のストレージ3に、2次ストレージと同じファイルを保存する。従って、2次ストレージ2に要求される信頼性を低くできる。この分、2次ストレージ2に低価格のものを使用できる。
保管用ストレージ3には、例えば、磁気テープその他の磁気記録メディア、光記録メディア(DVD、MO、光テープ等)が望ましい。
なお、これらのストレージの接続形態は問わない。例えば、これらのストレージは全て同一のネットワークに接続されても良い。また例えば、1次ストレージ1を起点に他の2つのストレージがそれぞれ接続される構成でも良い。
なお、1次ストレージ1と2次ストレージ2との間の接続と、1次ストレージ1と保管用ストレージ3との間の接続はそれぞれのストレージに応じたものを適用し得る。
例えば、1次ストレージ1と2次ストレージ2の間は、イーサネット(登録商標)その他のネットワーク経由で接続しても良い。また例えば、1次ストレージ1と保管用ストレージ3の間は、SCSI(Small Computer System Interface) やファイバチャネルで接続しても良い。
また、これらのストレージを全て同一地点又は場所に設置する必要はない。例えば、保管用ストレージは、1次ストレージや2次ストレージが設置された運用施設から遠く離れた遠隔地に設置することもできる。
これら3種類のストレージで構成された複合システムを管理するのがファイル管理装置4である。このファイル管理装置4の移動管理部4Aによって、前述したストレージ間のファイルの移動を管理する。
すなわち、移動管理部4Aは、“使うデータ”を1次ストレージ1から移動させる必要がある場合に、2次ストレージ2と保管用ストレージ3に同時に移動させる機能を提供する。当該機能により、“使うデータ”へのアクセス性と信頼性を確保する。
なお、移動管理部4Aは、例えば1次ストレージの空き容量が閾値以下になった場合にファイルの移動を実行する。空容量が無くなる前にファイルを移動することにより、システムの破綻を回避できる。
このとき、移動するファイルは、新たに蓄積するファイルでも良いし、蓄積日時が最も古いものでも良い。
また、データ量が小さいものを優先的に移動させても良いし、その反対にデータ量が大きいものを優先的に移動させても良い。
また、移動管理部4Aは、例えば使用頻度が閾値以下になった場合にファイルの移動を実行する。かかる移動手法を採用することにより、3種類のストレージを使用頻度に応じて階層化できる。
この場合、1次ストレージ1には、“使うデータ”のうち使用頻度の高いものを蓄積できる。また、2次ストレージ2には、“使うデータ”のうち使用頻度が低いものを蓄積できる。そして、保管用ストレージ3には、“使うデータ”のうち使用頻度の低いものと、“使われないデータ”を蓄積できる。
また、移動管理部4Aは、例えば1次ストレージ1へのデータの書き込みを検出すると、データの移動を実行する。かかる移動手法を採用することにより、常にデータを二重化して保持できる。すなわち、データの信頼性を向上できる。
また、データが1次ストレージ1に蓄積されないため、1次ストレージとして容量の小さいものを使用できる。高価な1次ストレージの容量が小さく済むため、システム全体の低価格化を実現できる。
また、移動する“データ”は、ファイルデータでも、その実データ部分だけでも良い。実データ部分だけを移動する場合、これにより、記憶領域の有効利用を実現できる。
このとき、ファイルデータを構成する管理データ部分と、実データ部分の記録位置を管理するデーターベース情報とを1次ストレージ1上で管理しても良い。
この場合、実データ部分がストレージシステム上のどこに記録されていても、1次ストレージ上のファイルシステムで管理することができる。この結果、実データの物理的な移動にかかわらず、ファイルシステム上の論理的な位置を不動にできる。このため、ユーザーには、単一のストレージを使用しているかに見せることができる。
また、このファイル管理装置4は、図4に示すストレージシステムの管理にも使用できる。また図4は、1次ストレージと同等のストレージ1とそのファイル管理装置4でなる第2のストレージシステムを、図3のストレージシステムとは別に設ける例である。この場合、ファイル管理装置4に管理情報複製部4Bを設ける。
管理情報複製部4Bは、データの管理データ部分と、実データ部分の記録位置を管理するデーターベース情報とを、1次ストレージ1と同等の他のストレージシステム#2に複製する。このとき、実データは複製しない。このため、1次ストレージの容量は小さくて良い。
この場合、運用系である第1のストレージシステム#1の1次ストレージ1が故障したとしても、冗長化されている管理データを用いて運用を継続できる。これは、第2のストレージシステム#2の1次ストレージが、第1のストレージシステム#1の1次ストレージ1と同等の高速動作が可能であるためである。
因みに、データーベース情報は、情報に更新がある度に更新部分が複製されることが望ましい。これにより、最小の通信量で、データーベース情報を常に最新の状態に維持できる。
なお、データの管理データ部分と、実データ部分の記録位置を管理するデーターベース情報とは、保管用ストレージ3に複製することもできる。この場合、1次ストレージ1の交換後、速やかにシステムの運用を回復できる。
なお、図3及び図4におけるファイル管理装置4は、例えば1次ストレージ1を内蔵するメインサーバーとしても実現できる。もっとも、移動管理部4Aの機能だけを分離したコントローラとして実現することもできる。
また、当該機能は、ハードウェアとしてもソフトウェアとしても実現できる。なお、ソフトウェアには、アプリケーションソフトウェアの他、オペレーションシステムやファームウェアを含む。
本発明の1つによれば、バックアップ時間の短縮と、使用データへの高速アクセス性とを両立可能な低コストのストレージ管理システムを実現できる。
以下、本発明をNAS(Network Attached Storage)システムに応用する場合について説明する。なお、明細書で特に図示又は記載しない技術は、当該技術分野において周知の技術を適用する。
(1)全体システム
図5に、NASシステムの全体構成例を示す。本システムは、仮想的に単一のストレージメディアとして機能する仮想ファイルサーバー10と、ネットワーク経由で仮想ファイルサーバー10に接続された端末11とで構成される。
端末11は、クライアント端末でもサーバ端末でも良い。端末11のオペレーションシステムは任意である。ネットワークには、例えばLAN(Local Area Network)を使用する。LANのインタフェースには、例えばイーサネット(登録商標)、FDDI(Fiber Distributed Data Interface)を使用する。
ネットワークプロトコルには、NFS(Network File System) やCIFS(Common Internet File System) その他を使用する。
仮想ファイルサーバー10は、メインサーバー12と、キャッシュサーバー13と、テープライブラリ14とで構成する。物理的には、メインサーバー12がネットワークと接続される。従って、端末11と仮想ファイルサーバー10との通信は、メインサーバー12を経由して行われる。
仮想ファイルサーバー10では、ファイルを2つのデータ部分に分けて管理する。すなわち、データ本体であるビットデータと、その管理データとに分けて管理する。管理データは、ビットデータにアクセスするための識別子(ID)、ファイル名、その他の管理情報である。
ストレージシステムには、ビットデータの部分を格納する。なお、管理データは、メインサーバー12のファイルシステムに関連付けて管理する。
メインサーバー12は、ストレージシステムを仮想的に単一のストレージとして管理する。メインサーバー12は、ビットデータにアクセスするための識別子とビットデータの物理的な記録位置をリンクする情報を格納するデーターベースを有する。このデーターベースには、ファイルの世代情報、使用履歴その他の管理情報も記録される。
メインサーバー12は、中央処理装置(CPU)12Aと、主記憶装置12Bと、副記憶装置12Cと、RAIDストレージ12Dと、接続ポート12E1〜12E3とでなる。
このうち、接続ポート12E1は、ネットワークとの接続用である。接続ポート12E2は、キャッシュサーバー13との接続用である。接続ポート12E3は、テープライブラリ14との接続用である。
CPU12Aは、コンピュータの制御と命令の取り込み、実行を担当する。主記憶装置12Bは、処理手順を記述したプログラムやデータの一時的な記憶を担当する。例えば、RAM(Random Access Memory)やROM(Read Only Memory)でなる。主記憶装置12Bには、例えば基本入出力システム、ファームウェア、制御ソフトウェアが記憶される。
副記憶装置12Cは、プログラムや処理データの保存を担当する。例えば、ハードディスク装置その他の磁気記憶媒体の駆動装置でなる。副記憶装置12Cには、例えば仮想ファイルサーバーとしての機能を実現するプログラムが記録される。
RAIDストレージ12Dには、例えばRAIDレベル0+1でハードディスクアレイを並列接続したものを適用する。すなわち、ストライピング(RAID
0)構成のディスク装置をミラーリング(RAID 1)するものを使用する。
この構成により、RAIDストレージ12Dは、高信頼性とランダムアクセス性を有する。RAIDストレージ12Dは、”使うデータ”を蓄積する1次ストレージとして機能する。
キャッシュサーバー13には、例えばRAIDレベル5でハードディスクアレイを並列接続したものを適用する。すなわち、パリティデータを各ハードディスクに分散するものを使用する。
この構成により、キャッシュサーバー13は、高信頼性とランダムアクセス性を有する。なお、キャッシュサーバー13を構成するハードディスクには、例えば低価格かつ大容量のIDEハードディスクを使用する。
IDEハードディスクは、RAIDストレージ12Dを構成するハードディスクに比して容量当たりの単価が安い。このため、同じ容量をRAIDストレージ12Dだけで用意する場合に比してコストを安くできる。
キャッシュサーバー13には、RAIDストレージ12Dから溢れ出た”使うデータ”を格納する。格納されるファイルは、テープライブラリ14に格納するものと同じである。すなわち、ファイルは、異なるストレージ装置に重複的に記録される。キャッシュサーバー13は、”使うデータ”を蓄積する2次ストレージとして機能する。
ここで、キャッシュサーバー13は、テープライブラリ14のキャッシュとして使用される。従って、メインサーバー12に存在しない”使うデータ”は、基本的に、キャッシュサーバー13から読み出される。
なお、キャッシュサーバー13とメインサーバー12は、例えばイーサネット(登録商標)経由で接続する。
テープライブラリ14には、例えばカートリッジ型の磁気テープを複数格納するものを適用する。カートリッジの数を増やすことで蓄積するデータ容量を増加できる。なお、使用されないことが明らかなデータを記憶したカートリッジは、オフラインで保管することもできる。
テープライブラリ14は、RAIDストレージ12Dから溢れ出たファイルを蓄積するのに使用される。また、テープライブラリ14は、RAIDストレージ12Dで”使うデータ”をバックアップするのにも使用される。RAIDストレージ12Dで”使うデータ”は、テープライブラリ14にのみバックアップされる。
なお、テープライブラリ14へのバックアップでは、”使うデータ”の実データ部分だけでなく、管理データやデーターベース情報も複製するのが望ましい。この際、テープライブラリ14とメインサーバー12は、例えばSCSI(Small Computer System Interface )経由で接続する。
因みに、テープ媒体として、書き込みが1回に限定されるもの用いれば、情報の信頼性を高めることができる。この種のテープ媒体は、WORM(Write Once Read Many)と呼ばれる。
特に、信頼性が要求される応用例では、この種のテープ媒体を使用する。勿論、何度も書き換え可能なものを用いることもできる。
(2)ファイル管理動作1
以下、仮想ファイルサーバー内で実行されるファイル管理動作の第1の実施形態を説明する。なお、本動作は、仮想ファイルサーバーを管理するファームウェア又は制御ソフトウェア(アプリケーション)により実行される。
(2−1)概念
図6に、第1の実施形態に係るファイル管理動作の基本概念を示す。このファイルシステムは、RAIDストレージ12Dの空容量が少なくなった場合に、“使うデータ”の移動を実行する。すなわち、溢れ出た“使うデータ”を、キャッシュサーバー13とテープライブラリ14に移動する。
この結果、メインサーバー12(RAIDストレージ12D)には、“使うデータ”のみが存在することになる。また、キャッシュサーバー13には、“使うデータ”のうちメインサーバー12から溢れ出たものだけが記録される。
一方、テープライブラリ14には、“使うデータ”のうちメインサーバー12から溢れ出たものが記録される。この他、テープライブラリ14には、メインサーバー12から定期的にバックアップした“使うデータ“が記録される。
なお、テープライブラリ14には、“使われないデータ”も保存される。“使われないデータ”は、テープライブラリ14にのみ存在する。
以上のように、テープライブラリ14は、メインサーバー12が現在又は過去に使用した全てのファイルを保存する。
(2−2)処理内容
(a)データの移動
図7に、メインサーバー12から溢れたデータを移動させる場合に実行される処理手順例を示す。この処理ルーチンは、例えば定期的に又は新たに書き込むべきファイルが発生した時点等に実行される。
まず、ファイルシステムは、RAIDストレージ12Dの空容量が閾値Th以下か否か判定する(SP1)。否定結果が得られた場合(十分な空容量がある場合)、ファイルシステムは、判定処理をひとまず終了する。これに対し、肯定結果が得られた場合(空容量が少ない場合)、ファイルシステムは、移動対象とするファイルを決定する(SP2)。
ファイルサーバーは、例えばメインサーバー12に書き込んだ日時が最も古いものを選択する。この他、メインサーバー12に書き込んだ日時が最も新しいものを選択する方法もある。また例えば、直近に使用した日時が最も古いもの(使用間隔が長いもの)を選択する方法やその反対に最も新しいもの(使用間隔が短いもの)を選択する方法もある。
また、ファイルサイズが大きいものを優先的に選択する方法やその反対にファイルサイズの小さいものを優先的に選択する方法もある。これらの選択方法は、システムに適したものを選択する。
移動するファイルが決定されると、ファイルシステムは、キャッシュサーバー13へのファイルの移動が可能か否か判定する(SP3)。否定結果が得られた場合(記録領域が不足する場合)、ファイルシステムは、例えば使用頻度が所定の閾値以下のものを“使われないデータ”としてキャッシュサーバー13から削除する(SP4)。
肯定結果が得られた場合又は空容量が確保された場合、ファイルシステムは、溢れ出た“使うデータ”をキャッシュサーバー13とテープライブラリ14の双方に移動(複製)する(SP5)。なお、移動後、同ファイルは、メインサーバー12から削除される。
かかる後、ファイルシステムは、データの移動先情報をデーターベースに登録し、後の読み出しに備える(SP6)。メインサーバー12から溢れ出た“使うデータ”は、キャッシュサーバー13とテープライブラリ14に冗長的に記録される。
なお、キャッシュサーバー13に空容量を確保する処理は、ファイルの移動が指示される前に予め実行しておくこともできる。例えば、運用が停止されている期間(例えば夜間)に、キャッシュサーバー13の空容量を確認し(SP3)、閾値以上の空容量を予め確保しても良い。
すなわち、空容量が所定の閾値以下であれば、“使わないデータ”としてキャッシュサーバー13から予め削除しておいても良い(SP4)。かかる場合、ファイルの移動時に空容量の有無を判断しなくて済む。従って、ファイルの移動を高速に実行できる。
(b)データの読み出し
図8に、データの読み出し時に実行される処理手順例を示す。この処理ルーチンは、例えば、新たに読み出すべきデータが発生した時点で実行される。
まず、ファイルシステムは、対象データがメインサーバー12上にあるか否か判定する(SP11)。肯定結果が得られた場合(存在する場合)、ファイルシステムは、該当するデータをRAIDストレージ12Dから読み出す(SP12)。
この読み出しは、高速に行われる。この後、ファイルシステムは、読み出し履歴をデーターベースに登録し、後の読み出しに備える(SP13)。
これに対し、否定結果が得られた場合(存在しない場合)、ファイルシステムは、対象データがキャッシュサーバー13上にあるか否か判定する(SP14)。肯定結果が得られた場合(存在する場合)、ファイルシステムは、該当するデータをキャッシュサーバー13から読み出す(SP15)。
キャッシュサーバー13の記録媒体はハードディスクであるため、この読み出しも高速に行われる。この後、ファイルシステムは、読み出し履歴をデーターベースに登録し、後の読み出しに備える(SP13)。
キャッシュサーバー13にも存在しないと判定された場合、ファイルシステムは、対象データがテープライブラリ14上に存在すると判定する。ファイルシステムは、該当データをテープライブラリ14から読み出すと共に、”使うデータ”としてメインサーバー12に記録する(SP16)。すなわち、同データは、RAIDストレージ12Dに記録される。
ここでの読み出しは、テープストレージの特性上、一般に低速である。ただし、テープライブラリ14にのみ存在するということは、“使われないデータ”であるから運用上の支障はない。この後、ファイルシステムは、読み出し履歴をデーターベースに登録し、後の読み出しに備える(SP13)。
このように、テープライブラリ14からデータが読み出されるのは、“使われないデータ”を読み出す場合に限られる。このため、従来システムのように、“使うデータ”を読み出すために、テープライブラリ14がアクセスされることはない。
このため、テープストレージに掛かる負担は非常に少なくなる。このことは、テープストレージの更なる信頼性の向上と長寿命化に通じる。
なお、キャッシュサーバー13は、コストパフォーマンスを重視した構成であるため、故障が発生する可能性は少し高くなる。しかし、このような場合も、キャッシュサーバー13に存在すべきファイルはテープライブラリ14に冗長化されている。従って、ファイルシステムは、キャッシュサーバー13の故障時にも該当ファイルを読み出すことができる。
勿論、テープライブラリ14から“使うデータ(溢れた分)”の読み出すのに要する時間は長くなるが、システムの運用を停止せずに済む。また、希ではあるが、ハードディスクを使用する限り、メインサーバー12が故障する可能性もある。
しかしながら、この場合でも、テープライブラリ14から“使うデータ”を読み出すことができる。なお、このデータの読み出しは、一般に時間が長く掛かる。ただし、データを復旧する場合でも、複製するデータ量が少なくて済む。
この複製は、“使用するデータ”のうちメインサーバー12に格納されている部分のみだからである。このため、比較的短時間での復旧が可能である。
(c)データの復旧
図9に、キャッシュサーバー13のデータを復旧する場合に実行される処理手順例を示す。この処理ルーチンは、例えば、キャッシュサーバー13を構成する不良ストレージが交換された場合に実行される。
まず、ファイルシステムは、一度使用不要になったキャッシュサーバー13へのアクセスが可能になったか否か判定する(SP21)。この判定処理は、肯定結果が得られるまで繰り返し実行される。
肯定結果が得られると(アクセス可能になると)、ファイルシステムは、キャッシュサーバー13に本来あるべきデータが全て存在するか否か判定する(SP22)。
否定結果が得られた場合(存在しない場合)、ファイルシステムは、テープライブラリ14にアクセスし、不足しているファイルを複製する(SP23)。
これにより、キャッシュサーバー13は、故障前と同じ状態に復旧する。この後、ファイルシステムは、キャッシュサーバー13の復旧をデーターベースに登録する。
(2−3)実施形態の効果
以上のように、“使うデータ”全てをメインサーバー12内に格納できない場合でも、溢れ出た分をキャッシュサーバー13に蓄積するため、“使うデータ”への高速アクセス性を維持することができる。
またこの際、溢れ出た分の“使うデータ”はテープライブラリ14にも冗長的に記録する結果、キャッシュサーバー13を、コストパフォーマンス重視のハードディスクで構成できる。この結果、ディスクストレージをメインサーバー12だけで構成する場合に比べ、同じデータ容量のシステムを安価に構築できる。
以上のように、本例の管理手法を適用すれば、“使うデータ”への高速アクセス性と信頼性を両立できる安価な仮想ファイルシステムを実現できる。
(3)ファイル管理動作2
以下、ファームウェア(ファイルシステム)によるファイル管理動作の第2の実施形態を説明する。
(3−1)概要
図10に、第2の実施形態に係るファイル管理動作の基本概念を示す。このファイルシステムは、ファイルを使用頻度に分類して蓄積するストレージを使い分ける。本例では、使用頻度を3段階に分ける。すなわち、“良く使うデータ”と、“たまに使うデータ”と、“使われないデータ”との3種類である。
このファイルシステムは、RAIDストレージ12Dに蓄積されている“良く使うデータ”のうち使用頻度が低下したものが検出された場合に、“たまに使うデータ”の移動を実行する。すなわち、“たまに使うデータ”を、キャッシュサーバー13とテープライブラリ14に移動する。
この結果、メインサーバー12(RAIDストレージ12D)には、“よく使うデータ”のみが存在することになる。また、キャッシュサーバー13には、“たまに使うデータ”のみが記録される。
一方、テープライブラリ14には、“たまに使うデータ”が記録される。この他、テープライブラリ14には、メインサーバー12から定期的にバックアップした“使うデータ“も記録される。
なお、テープライブラリ14には、“使われないデータ”も保存される。“使われないデータ”は、テープライブラリ14にのみ存在するデータである。従って、このテープライブラリ14の場合も、メインサーバー12が現在又は過去に使用した全てのファイルを保存する。
(3−2)処理内容
(a)ファイルの移動
図11に、メインサーバー12から使用頻度が低下したデータを移動させる場合に実行される処理手順例を示す。この処理ルーチンは、例えば定期的又は新たに書き込むべきファイルが発生した時点で実行される。
まず、ファイルシステムは、RAIDストレージ12Dに使用頻度が閾値Th以下のものがあるか否か判定する(SP31)。否定結果が得られた場合(全て“よく使うデータ”の場合)、ファイルシステムは、判定処理をひとまず終了する。
これに対し、肯定結果が得られた場合(“たまに使うデータ”が見つかった場合)、ファイルシステムは、移動対象とするファイルを決定する(SP32)。
移動するファイルが決定されると、ファイルシステムは、キャッシュサーバー13へのファイルの移動が可能か否か判定する(SP33)。否定結果が得られた場合(記録領域が不足する場合)、ファイルシステムは、例えば使用頻度が所定の閾値以下のものを“使われないデータ”としてキャッシュサーバー13から削除する(SP34)。
肯定結果が得られた場合又は空容量が確保された場合、ファイルシステムは、“たまに使うデータ”をキャッシュサーバー13とテープライブラリ14の双方に移動(複製)する(SP35)。なお、移動後、同ファイルは、メインサーバー12から削除される。
かかる後、ファイルシステムは、ファイルの移動先情報をデーターベースに登録し、後の読み出しに備える(SP36)。メインサーバー12から移動した“たまに使うデータ”は、キャッシュサーバー13とテープライブラリ14に冗長的に記録される。
(b)データの読み出し及びデータの復旧
データの読み出し時及びデータの復旧時の処理内容は、“使うデータ(溢れた分)”の場合と基本的に同じ手順である。従って、詳細な説明は省略する。
(3−3)実施形態の効果
以上のように、“たまに使うデータ”をキャッシュサーバー13に蓄積することにより、メインサーバー12(RAIDストレージ12D)に蓄積すべきデータ量を少なくできる。すなわち、RAIDストレージ12Dとしてデータ容量の少ないものを適用できる。この結果、仮想ファイルシステムのコストを更に低下できる。
またこの際、“たまに使うデータ”は、ハードディスクで構成されたキャッシュサーバー13に蓄積されるため、“たまに使うデータ”への高速アクセス性を維持することができる。
また、“たまに使うデータ”はテープライブラリ14にも冗長的に記録する結果、キャッシュサーバー13を構成するハードディスクにはコストパフォーマンスを重視したものを選択できる。この結果、ディスクストレージをメインサーバー12だけで構成する場合に比べ、同じデータ容量のシステムを安価に構築できる。
以上のように、本例の管理手法を適用すれば、“よく使うデータ”及び“たまに使うデータ”への高速アクセス性と信頼性を両立できる安価な仮想ファイルシステムを実現できる。
(4)他の実施形態
前述の説明では、キャッシュサーバー13を事前に用意した状態で使用する場合について説明した。しかし、図12に示すように、必要に応じてキャッシュサーバー13を増設して使用することもできる。
なお、図12は、メインサーバー12から溢れた“使うデータ”をキャッシュサーバー13に移動する場合について表している。勿論、使用頻度に応じてデータの格納場所を区別する場合に同様である。
キャッシュサーバー13の増設により、運用状態に応じたデータ容量の増加にも柔軟に対応できる。またこの場合に増設するキャッシュサーバー13は、メインサーバー12に比してデータ容量当たりの単価が安く済む。従って、当初よりデータ容量の増大を見越してメインサーバー12の容量を大きくする場合に比してコストの削減を実現できる。
また、キャッシュサーバー13のデータ容量を増大することにより、ファイルの物理的な格納位置を分散できる。このため、多数の端末11からのアクセスが集中した場合でも、ファイルへのアクセス処理を分散できる。この結果、ファイルの読み出し速度を高速化できる。
本発明に係るストレージ管理システムは、各種用途に応じたデジタル資産を管理するのに応用できる。例えば、デジタル映像データの蓄積に使用できる。映像ビジネスに係わる全ての事業分野(家庭内システムも含む。)に適用できる。
また例えば、金融データの蓄積に使用できる。例えば帳票データ、伝票データ、金融取引データの蓄積に使用できる。
また例えば、ネットワーク経由で送受されるデータの蓄積に使用できる。例えば、電子メール、Webページ、通信記録の蓄積に使用できる。
また例えば、出版関連データの蓄積に使用できる。例えば版下データ、地図データその他のデジタルコンテンツの蓄積に使用できる。
また例えば、医療データの蓄積に使用できる。例えばレントゲン画像、MRI(Magnetic resonance imaging )画像、カルテデータ、予約データその他の蓄積に使用できる。
また例えば、各種団体・機関の文書の蓄積に使用できる。例えば行政機関、司法機関、立法機関その他の公的文書の蓄積に使用できる。また、社内文書の蓄積にも使用できる。なお個人文書の蓄積にも使用できる。
また例えば、製図データの蓄積にも使用できる。例えばCAD(Computer Aided Design)データ、CAM(Computer Aided Manufacturing) データ、CAE(Computer-Aided
Engineering )データの蓄積にも使用できる。
従来用いられているストレージシステムの概念構成を示す図である。 階層型ストレージマネジメントの概念を示す図である。 発明が前提とするストレージシステムの構成例を示す図である。 発明が前提とするストレージシステムの他の構成例を示す図である。 ストレージシステムの実施形態例を示す図である。 第1のファイル管理手法の概念構成を示す図である。 データの移動手順例を示す図である。 データの読出手順例を示す図である。 データの復旧手順例を示す図である。 第2のファイル管理手法の概念構成を示す図である。 データの移動手順例を示す図である。 キャッシュサーバーの増設例を示す図である。
符号の説明
1 1次ストレージ
2 2次ストレージ
3 保管用ストレージ
4 ファイル管理装置
4A 移動管理部
10 仮想ファイルサーバー
12 メインサーバー
13 キャッシュサーバー
14 テープライブラリ

Claims (11)

  1. 物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムを管理するファイル管理装置であって、
    使用中のデータを、信頼性が高く、高速アクセス可能な1次ストレージから移動させる必要がある場合、
    前記データを、高速アクセスが可能で、コストパフォーマンスに優れる2次ストレージと、信頼性が高く、大容量の保管用ストレージとの双方に同時に移動させる移動管理部
    を有することを特徴とするファイル管理装置。
  2. 請求項1に記載のファイル管理装置において、
    前記移動管理部は、前記1次ストレージの空き容量が閾値以下になった場合に前記データの移動を実行する
    ことを特徴とするファイル管理装置。
  3. 請求項1に記載のファイル管理装置において、
    前記移動管理部は、前記1次ストレージへの前記データの書き込みを検出すると、前記データの移動を実行する
    ことを特徴とするファイル管理装置。
  4. 請求項1に記載のファイル管理装置において、
    前記移動管理部は、使用頻度が閾値以下になった場合に前記データの移動を実行する
    ことを特徴とするファイル管理装置。
  5. 請求項1に記載のファイル管理装置において、
    前記移動管理部は、前記データの移動の際、前記データを構成する実データの部分だけを移動させる
    ことを特徴とするファイル管理装置。
  6. 請求項1に記載のファイル管理装置は、
    前記データを構成する管理データ部分と、実データ部分の記録位置を管理するデーターベース情報とを、前記1次ストレージ上で管理する
    ことを特徴とするファイル管理装置。
  7. 請求項1に記載のファイル管理装置において、
    前記データの管理データ部分と、実データ部分の記録位置を管理するデーターベース情報とを、前記1次ストレージと同等の他のストレージシステムに複製する管理情報複製部
    を更に有することを特徴とするファイル管理装置。
  8. 物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムと、当該ストレージシステムを管理するファイル管理装置とを有するストレージ管理システムであって、
    前記ファイル管理装置は、
    使用中のデータを、信頼性が高く、高速アクセス可能な1次ストレージから移動させる必要がある場合、
    前記データを、高速アクセスが可能で、コストパフォーマンスに優れる2次ストレージと、信頼性が高く、大容量の保管用ストレージとの双方に同時に移動させる移動管理部
    を有することを特徴とするストレージ管理システム。
  9. 物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムと、当該ストレージシステムを管理するファイル管理装置とを有するストレージ管理システムにおけるシステム管理方法であって、
    使用中のデータを、信頼性が高く、高速アクセス可能な1次ストレージから移動させる必要がある場合、
    前記データを、高速アクセスが可能で、コストパフォーマンスに優れる2次ストレージと、信頼性が高く、大容量の保管用ストレージとの双方に同時に移動させる工程
    を有することを特徴とするシステム管理方法。
  10. コンピュータに、
    物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムを管理させる機能を実行させるプログラムであって、
    使用中のデータを、信頼性が高く、高速アクセス可能な1次ストレージから移動させる必要がある場合、
    前記データを、高速アクセスが可能で、コストパフォーマンスに優れる2次ストレージと、信頼性が高く大容量の保管用ストレージとの双方に同時に移動させる移動管理機能
    を有することを特徴とするプログラム。
  11. コンピュータに、
    物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムを管理させる機能を実行させるプログラムであって、
    使用中のデータを、信頼性が高く、ランダムアクセス可能な1次ストレージから移動させる必要がある場合、
    前記データを、高速アクセスが可能で、コストパフォーマンスに優れる2次ストレージと、信頼性が高く、大容量の保管用ストレージとの双方に同時に移動させる移動管理機能
    を有するものを記録したことを特徴とする記録媒体。
JP2003400976A 2003-12-01 2003-12-01 ファイル管理装置、ストレージ管理システム、システム管理方法、プログラム及び記録媒体 Pending JP2005165485A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003400976A JP2005165485A (ja) 2003-12-01 2003-12-01 ファイル管理装置、ストレージ管理システム、システム管理方法、プログラム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003400976A JP2005165485A (ja) 2003-12-01 2003-12-01 ファイル管理装置、ストレージ管理システム、システム管理方法、プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
JP2005165485A true JP2005165485A (ja) 2005-06-23

Family

ID=34725038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003400976A Pending JP2005165485A (ja) 2003-12-01 2003-12-01 ファイル管理装置、ストレージ管理システム、システム管理方法、プログラム及び記録媒体

Country Status (1)

Country Link
JP (1) JP2005165485A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007305076A (ja) * 2006-05-15 2007-11-22 Hitachi Ltd バックアップ及び/又はリストアを行う記憶制御方法及びシステム
JP2008071035A (ja) * 2006-09-13 2008-03-27 Hitachi Ltd データ管理システム及びデータ管理方法
JP2009104235A (ja) * 2007-10-19 2009-05-14 Hitachi Ltd 記憶システム及びデータ転送方法
JP2009283046A (ja) * 2008-05-20 2009-12-03 Sony Corp 情報記録方法及び情報記録装置
JP2011013840A (ja) * 2009-06-30 2011-01-20 Fujitsu Ltd データ移行機能を有した装置及びデータ移行方法
JP2014116031A (ja) * 2008-05-28 2014-06-26 Micron Technology Inc メモリデバイスを備えた電子システム
JP2014203329A (ja) * 2013-04-08 2014-10-27 日本電気株式会社 ストレージシステム、ノード装置及びデータ管理方法
JP2016218877A (ja) * 2015-05-25 2016-12-22 日本電気株式会社 ストレージシステム、サーバ、キャッシュ方法およびプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007305076A (ja) * 2006-05-15 2007-11-22 Hitachi Ltd バックアップ及び/又はリストアを行う記憶制御方法及びシステム
JP2008071035A (ja) * 2006-09-13 2008-03-27 Hitachi Ltd データ管理システム及びデータ管理方法
US8364645B2 (en) 2006-09-13 2013-01-29 Hitachi, Ltd. Data management system and data management method
JP2009104235A (ja) * 2007-10-19 2009-05-14 Hitachi Ltd 記憶システム及びデータ転送方法
JP2009283046A (ja) * 2008-05-20 2009-12-03 Sony Corp 情報記録方法及び情報記録装置
JP2014116031A (ja) * 2008-05-28 2014-06-26 Micron Technology Inc メモリデバイスを備えた電子システム
US9390004B2 (en) 2008-05-28 2016-07-12 Round Rock Research, Llc Hybrid memory management
JP2011013840A (ja) * 2009-06-30 2011-01-20 Fujitsu Ltd データ移行機能を有した装置及びデータ移行方法
JP2014203329A (ja) * 2013-04-08 2014-10-27 日本電気株式会社 ストレージシステム、ノード装置及びデータ管理方法
JP2016218877A (ja) * 2015-05-25 2016-12-22 日本電気株式会社 ストレージシステム、サーバ、キャッシュ方法およびプログラム

Similar Documents

Publication Publication Date Title
US9699255B2 (en) Device driver
JP4336129B2 (ja) 複数のスナップショットを管理するシステム及び方法
JP4568115B2 (ja) ハードウェアベースのファイルシステムのための装置および方法
US20180307609A1 (en) Latency sensitive metadata object persistence operation for storage device
US7707373B2 (en) Storage system and backup method
US20050120058A1 (en) File management apparatus, storage management system, storage management method, program, and recording medium
US7461201B2 (en) Storage control method and system for performing backup and/or restoration
CN106407040A (zh) 一种远程数据复制方法及系统
US20100257140A1 (en) Data archiving and retrieval system
US20110283073A1 (en) System and method for performing auxiliary storage operations
US9996557B2 (en) Database storage system based on optical disk and method using the system
US20070061540A1 (en) Data storage system using segmentable virtual volumes
JP2010532538A (ja) エミュレートされたストレージ・システム
KR101369813B1 (ko) 광 디스크 저장 시스템에 저장된 미디어에의 액세스, 압축 및 추적
US20080104204A1 (en) Method and apparatus for power-managing storage devices in a storage pool
TW200540623A (en) System and method for drive recovery following a drive failure
US20050273650A1 (en) Systems and methods for backing up computer data to disk medium
CN113377292B (zh) 一种单机存储引擎
US20100174878A1 (en) Systems and Methods for Monitoring Archive Storage Condition and Preventing the Loss of Archived Data
US7386754B2 (en) Method and apparatus to improve magnetic disc drive reliability using excess un-utilized capacity
US6678787B2 (en) DASD-free non-volatile updates
US7836025B1 (en) Method and apparatus for using pointers within a nonvolatile system memory of a network file computer system
JP2006079274A (ja) ファイル管理装置、ネットワークシステム、ファイル管理方法及びプログラム
JP2005165485A (ja) ファイル管理装置、ストレージ管理システム、システム管理方法、プログラム及び記録媒体
US20060041789A1 (en) Storage system with journaling

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060607

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20081222

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20081225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090811