JP2006079274A - ファイル管理装置、ネットワークシステム、ファイル管理方法及びプログラム - Google Patents

ファイル管理装置、ネットワークシステム、ファイル管理方法及びプログラム Download PDF

Info

Publication number
JP2006079274A
JP2006079274A JP2004261192A JP2004261192A JP2006079274A JP 2006079274 A JP2006079274 A JP 2006079274A JP 2004261192 A JP2004261192 A JP 2004261192A JP 2004261192 A JP2004261192 A JP 2004261192A JP 2006079274 A JP2006079274 A JP 2006079274A
Authority
JP
Japan
Prior art keywords
storage
project
file
division
application server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004261192A
Other languages
English (en)
Inventor
Tsutomu Nishio
強 西尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004261192A priority Critical patent/JP2006079274A/ja
Publication of JP2006079274A publication Critical patent/JP2006079274A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】階層型のストレージ管理手法を採用したシステムにおいて期待通りのパフォーマンスが得られていない。
【解決手段】物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムを、仮想的に単一のストレージとして管理するファイル管理装置として、(a)ストレージシステムを構成する各ストレージメディアの記録領域を、プロジェクト毎に論理的な階層区分で一元的に管理する階層管理部と、(b)各プロジェクトについて予め定めた移動条件に従って、階層区分の上位区分から下位区分にプロジェクトファイルを移動する移動管理部とを有するものを提案する。
【選択図】図5

Description

発明の一つの形態は、ストレージシステムのファイル管理装置に関する。発明の他の形態は、同システムの管理方法に関する。また、発明の他の形態は、同ストレージシステムを採用するネットワークシステムに関する。また、発明の他の形態は、同技術を実現するプログラムに関する。
ネットワークの発達した今日、複数台のコンピュータでデータを共有する機会が増えている。かかるデータの共有を実現するコンピュータを、アプリケーションサーバーという。
アプリケーションサーバーを運用するには、ストレージ装置の故障等を考慮する必要がある。一般には、データを冗長化(バックアップ)し、ストレージ装置の故障等に備えている。
通常、データのバックアップは、アプリケーションサーバーを使用しない時間帯に行う。例えば、夜間に行われる。確かに、蓄積するデータが少ないうちは十分な時間である。しかし、近年、データは加速度的に増加している。また、記録領域の高密度化と大容量化も顕著に進んでいる。
その一方で、データの転送速度は、容量等の増加に比べそれほど向上していない。このため昨今、バックアップに要する時間が大幅に長くなっている。この結果、バックアップ作業が、運用停止時間内に終了しない可能性が懸念されている。
この問題の回避には、より転送速度の速いディスク装置やテープ装置の採用が必要である。例えば、RAID(Redundant Arrays of Independent
Disks )装置の使用が必要である。
しかし、RAID装置への全面的な移行には、多額の費用を必要とする。また昨今では、ストレージ装置の並列化に技術的な限界が指摘されている。
加えて、管理データ量の増大の問題もある。これは、近年における情報の電子化に起因する。情報の電子化の影響で、現在、アプリケーションサーバー上に多量のデータが蓄積されている。
アプリケーションサーバーに蓄積されるデータは、おおよそ2種類のデータに分類される。“使用中のデータ”と“使われていないデータ”との2種類である。
図1は、この様子を表している。図1に示すように、ディスク装置には、“使用中のデータ”と“使われていないデータ”の両方が存在する。この“使われていないデータ”の存在が、アプリケーションサーバーの記憶容量を圧迫している。また、この“使われていないデータ”の存在が、バックアップ時間の増大とコスト負荷の増大の要因になっている。
特開2000−148547号公報
かかる問題を解決するため、階層型ストレージマネジメント(HSM:Hierachical Storage
Management)という概念が提案されている。
図2に概念構成を示す。HSMは、2種類のデータを物理的特性が異なる2種類のストレージ装置で管理することを特徴とする。例えば、“使用中のデータ”をアクセス性に優れたディスク装置で管理し、“使われていないデータ”を大容量でコストパフォーマンスに優れたテープ装置で管理する手法を採用する。
なお、HSMでは、“使われていないデータ”も論理的にはディスク装置上に存在するように扱われる。
HSMは、全てのデータをディスク装置で管理する従来の手法に比べ、ストレージシステムを低コストで構築できる利点がある。加えて、HSMは、バックアップ時間を短縮できる利点がある。これは、図2に示すように、バックアップ対象となるディスク装置上のデータ量が少なくなるためである。
もっとも、テープ装置上に存在するデータへのアクセス性は悪くなる。これは、テープ装置が、ランダムアクセス性を有しないためである。しかし、仮に時間が掛かっても、“使われていないデータ”であれば、実用上あまり問題にならない。
このように、HSMは、理想的な管理手法と言える。
しかし、実際には、ディスク装置の記憶容量を確定することが難しいという問題がある。その理由は、“使用中のデータ”のデータ容量は非常にあいまいで、最初から確定するのが難しいためである。また、“使用中のデータ”のデータ容量は、使用中に変化するためである。
加えて、既存のHSMは使用頻度に応じて全てのデータを管理する。このため、進行度も運用期間も異なるプロジェクトファイルも同じ管理基準でデータの移動や複製が実行される。結果として、図3に示すように、テープ装置に装填される個々のテープカートリッジには、様々なプロジェクトファイルが混在的に記録される。
このため、空き領域が無くなったテープカートリッジをオフライン管理すると、複数のプロジェクトが影響を受ける問題がある。また、テープカートリッジとプロジェクトとの管理も煩雑になる問題があった。
発明者は、以上の事実認識に基づき、以下のファイル管理技術を提案する。
(A)ファイル管理技術1
発明者は、物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムを、仮想的に単一のストレージとして管理するファイル管理装置に、以下の機能a及び機能bを搭載するものを提案する。
(機能a)
ストレージシステムを構成する各ストレージメディアの記録領域を、プロジェクト毎に論理的な階層区分で一元的に管理する階層管理機能
(機能b)
各プロジェクトについて予め定めた移動条件に従って、階層区分の上位区分から下位区分にプロジェクトファイルを移動する移動管理機能
(B)ファイル管理技術2
また、発明者は、物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムを、仮想的に単一のストレージとして管理するファイル管理装置に、以下の機能a及び機能b’を搭載するものを提案する。
(機能a)
ストレージシステムを構成する各ストレージメディアの記録領域を、プロジェクト毎に論理的な階層区分で一元的に管理する階層管理機能
(機能b’)
各プロジェクトについて予め定めた複製条件に従って、階層区分の上位区分から下位区分にプロジェクトファイルを複製する複製管理機能
以上のように、このファイル管理装置は、ストレージシステムを構築する複数種類のストレージメディアの記録領域を、プロジェクト毎に論理的な階層区分で一元的に管理する。このため、プロジェクトの進行度や運用期間が異なる場合でも、関連するプロジェクト単位で移動条件や複製条件を定めることができる。
また、論理的な階層区分で一元的に管理する範囲を、ストレージシステム内だけでなく、ネットワーク経由で接続されたアプリケーションサーバーまで拡張しても良い。この場合、ファイル管理装置は、アプリケーションサーバー上のデータもストレージシステムのデータと同様に、自律的に移動又は複製できる。結果的に、アプリケーションサーバーの制御やユーザーの操作とは関係なく、予め定めた条件に従ってデータを移動又は複製できる。
因みに、ストレージシステムは、少なくとも論理的に3つの階層区分で構成され、その最上位の階層区分には、信頼性と高速アクセス性に優れるストレージメディアが対応し、2番目の階層区分には、高速アクセス性と経済性に優れるストレージメディアが対応し、最下位の階層区分には、信頼性と大容量性に優れるストレージメディアが対応するのが望ましい。
また、アプリケーションサーバーまで管理範囲を拡張する場合には、アプリケーションサーバーのストレージメディアを論理的な階層区分の最上位とし、ストレージシステムを構成する各ストレージメディアは、論理的な階層区分においてアプリケーションサーバーのストレージメディアよりも下位の階層区分とすることが望ましい。
また、アプリケーションサーバーまで管理範囲を拡張する場合、プロジェクトが閉じたとき、前記アプリケーションサーバーに存在する当該プロジェクトに関連する全てのプロジェクトファイルをストレージシステムに移動することが望ましい。
なお、各ストレージメディアには、例えば、ハードディスク、磁気テープその他の磁気記憶媒体、光学的にデータを記録可能な光記憶媒体、半導体メモリを使用する。なお、ストレージメディアの外観形状は問わない。例えば、ディスク形状、テープ形状、カード形状等、各記録方式として適用可能なものを採用する。
また、各ストレージメディアの種類は同じでも良いし、異なっても良い。また、各ストレージメディアの信頼性やアクセス性能(ランダムアクセス性能を含む)は同じでも良いし、異なっても良い。一般に、使用頻度の高い区分に対応するストレージには、高速アクセス性が要求される。また、使用頻度が低い区分に対応するストレージには、大容量であることが要求される。
また、ストレージシステムを構成する各ストレージの格納形態は任意である。例えば、各ストレージは同一筐体に内蔵されていても良い。その反対に、それぞれ個別の筐体に格納されても良い。
同様に、ストレージシステムを構成する各ストレージの配置形態は任意である。例えば、いずれのストレージも同一の場所又は同一の空間に配置されていても良い。その反対に、それぞれ別の場所又は別の空間に配置されていても良い。
また、各ストレージ間の接続形態も任意である。有線接続であっても、無線接続でも良い。また、ネットワーク経由で接続しても、専用線経由で接続しても良い。各ストレージ間における通信手順についても同様である。
前述した様々な要素は、ストレージシステムを構築する使用環境に応じて最適なものを選択すれば良い。
また、以上の管理機能は、ハードウェアとしてもソフトウェアとしても実現できる。なお、ソフトウェアには、アプリケーションソフトウェアの他、オペレーションシステムやファームウェアを含む。
発明に係るファイル管理技術の採用により、運用中のデータ量の増加にもバックアップ時間の増加を招くことなく対応できる低コストのストレージ管理システムを実現できる。また、プロジェクト単位で階層区分間の移動や複製を管理できる。
以下、本発明をNAS(Network Attached Storage)システムに応用する場合について説明する。なお、明細書で特に図示又は記載しない技術は、当該技術分野において周知の技術を適用する。
(A)管理ポリシー
図4に、実施形態で採用する管理ポリシーを示す。管理ポリシーは、ストレージシステムだけに適用する場合と、ストレージシステムとアプリケーションサーバーの両方に適用する場合とがある。図4は、ストレージシステムとアプリケーションサーバーの両方を適用範囲とする場合における管理ポリシー(a)〜(c)の具体例である。
(a)4種類のストレージメディアを5つの階層区分に分けて管理する。各ファイルは、使用状況に応じて階層区分間を移動する。
(b)バックアップ(複製)に使用するストレージメディアと、バックアップ(複製)のタイミングを適切に選択する。
(c)ファイル(実データ)がどの階層区分に移行しても、ファイルシステム上の位置は不動である。
なお、これらの管理ポリシーは、事前に設定されたプロジェクト単位で実行する。ここで、プロジェクトとは、工程管理や連携作業を必要とする一群のファイル群(プロジェクトファイルともいう。)を包括的に管理する単位である。プロジェクトは、例えば請負型業務(建設設計、ソフトウェア開発、コンサルティング業務、イベント企画その他)に多く使用される。
(A−1)ポリシー(a)
アプリケーションサーバーとストレージシステムを構成する計4種類のストレージを、5つの階層区分に分類する。各階層区分は、使用頻度に応じた階層区分に対応する。
階層区分は、使用頻度の高い方から順に、「非常によく使うファイル群」、「よく使うファイル群」、「たまに使うファイル群」、「ほとんど使わないファイル群」、「使わないが保存が必要なファイル群」の5つである。
使用頻度の区分は、システム全体から見た使用頻度で判断する。すなわち、階層区分毎に判断しない。ファイルシステムに記録されている前回のアクセス時からの経過時間を区分移動の判断材料とする。ここでのファイルシステムは、アプリケーションサーバー側のファイルシステムと、ストレージシステム側のファイルシステムとの2つである。
具体的には、各階層区分間に設定した閾値との比較結果に応じて判断する。ファイルへのアクセスが発生した時点で経過時間はリセットされ、論理上の階層区分は最上位に移動する。
運用開始から長期間が経過したファイルシステムでは、下位区分のデータ比率が多くなる。図4は、オンラインでファイル(実データ)へのアクセスが可能な上位4区分の合計容量を100%として表した場合の一例である。
因みに、図4の場合、1番目の階層に対応する「非常によく使うファイル群」のデータ比率は全体の3%、2番目の階層に対応する「よく使うファイル群」のデータ比率は全体の7%である。
同様に、3番目の階層に対応する「たまに使うファイル群」のデータ比率は全体の30%、4番目の階層に対応する「たまに使うファイル群」のデータ比率は全体の60%である。
各階層区分には、以下のメインストレージをそれぞれ対応付ける。まず、使用頻度が最も高い「非常によく使うファイル群」には、可用性(availability)が確保されたディスク装置を対応付ける。例えば、RAID構成のハードディスクや半導体記憶装置を対応付ける。
使用頻度が2番目に高い「よく使うファイル群」には、信頼性の高いディスクデバイスを対応付ける。例えば、RAID構成のハードディスクを対応付ける。
使用頻度が3番目に高い「たまに使うファイル群」には、コストパフォーマンスに優れたディスクデバイスを対応付ける。例えば、IDEハードディスクを対応付ける。図3の場合、上位3階層部分の全データ量のうち75%(40%のうちの30%)を安価なディスクデバイスに対応付ける。
このため、同データ量を最上位階層のディスクデバイスで構成する場合に比してコストの大幅な低減を実現できる。なお、ファイルへのアクセス速度は、「よく使うファイル群」に対応するディスクデバイスと同等である。従って、外部からはディスクデバイスの違いは認識されない。
使用頻度が4番目に高い「ほとんど使わないファイル群」には、テープメディアを対応付ける。このテープメディアは、伝送路を通じて電気的にアクセス可能である。すなわち、オンライン状態にある。
テープメディアは信頼性が高く、データ当たりの単価がディスクデバイスに比して格段に安い。また、大容量のデータを蓄積するのに適している。従って、オンラインで管理する必要のあるファイルのうち大部分を占めるこの種のファイルの蓄積には最適である。すなわち、上位4階層部分の全データ量のうち60%を安価で信頼性の高いテープメディアに蓄積する。
なお、「使わないが保存が必要なファイル群」には、テープメディアを対応付ける。ただし、このテープメディアは、電気的には直接アクセスできない状態で管理される。すなわち、オフライン状態で管理される。例えば、テープメディアは、棚や箱などに物理的に保管される。
(A−2)ポリシー(b)
上位3階層に対応するファイルのバックアップ(冗長化)には、メインストレージとは物理特性の異なるテープデバイスを選択する。これは、以下の理由による。
理由の1つは、テープは静的メディアで壊れないためである。一方、ディスクデバイスは、地震等の外力によって物理的に壊れ、データの読み出しが不可能になる可能性がある。
他の理由の1つは、ディスクデバイスは、同じロットのハードディスクが同時に壊れる可能性があることである。これに対し、複数のテープメディアが同時に壊れる事態は限定される。
また、テープメディアの場合は、後から容量を増やすことが容易なためである。また、テープメディアは、オフライン管理ができることもバックアップ用のストレージに使用する理由である。
なお、冗長化は、上位3階層の区分について行う。
このうち最上位の区分に属するファイルのバックアップは、例えば月に1回実行する。また例えば、上位から2番目の区分に属するファイルのバックアップは、例えば毎夜、運用の終了後に行う。例えば、夜1時から行う。これにより、使用頻度が高く、経済的損失が高いファイルが保護される。
また、上位から3番目の階層区分に属するファイルのバックアップは、2番目の階層区分から3番目の階層区分にファイルが移動される時点に実行される。このように、上位3階層区分のファイルへのアクセス性と保存の安全性を確保する。
この実施例のようにプロジェクト単位でファイルを階層管理する場合、1つのプロジェクトに関連する一群のプロジェクトファイルは、階層区分の違いにかかわらず共通のテープカートリッジ上に保存される。
(A−3)ポリシー(c)
ファイルは、データ本体であるビットデータと、その管理データとに分けて管理する。管理データは、ビットデータにアクセスするための識別子(ID)、ファイル名、その他の管理情報である。管理データは、最上位階層のストレージメディアにあるファイルシステムにリンクする。
ここで、ストレージ上のファイル又は実データへは次のようにしてアクセスする。まず、上位2階層の区分に属するファイルへは、上位2階層のファイルシステムを通じてアクセスする。
すなわち、アプリケーションサーバーのファイルシステムとストレージシステムのファイルシステムを通じてアクセスする。
なお、バックアップファイルに対しては、当該ファイルシステムにリンクされたフルパス名を通じて行う。フルパス名は、データーベースで管理する。
また、「たまに使うファイル群」その他の下位区分へは、ファイルシステムにリンクされている固有の識別子を使用してアクセスする。これにより、ビットデータの実際の格納位置が下位の区分に移動しても、ファイルシステム上の論理位置に影響しない。
なお、このバックアップファイルには、固有の識別情報とリンクされているテープメディア上の物理位置情報を用いてアクセスする。リンク情報は、データーベースで管理する。
(B)ネットワークシステム
(B−1)全体構成
図5に、NASシステムの概念構成を示す。本システムは、ネットワーク1にストレージサーバー3、アプリケーションサーバー5、クライアント端末7が接続された構成を有する。
ストレージサーバー3は、ストレージシステム31と、そのファイル管理装置33とで構成される。ストレージシステム31は、物理的特性を異にする複数種類のストレージメディアによる複合システムである。図5の場合、1次ストレージ31A、2次ストレージ31B、3次ストレージ31Cの複合システムとして構成される。
ファイル管理装置33は、ストレージシステム31を仮想的に単一のストレージメディアとして管理する制御装置である。このファイル管理装置33には、3つの機能が搭載されている。階層管理部33Aと、移動管理部33Bと、複製管理部33Cとの3つである。
階層管理部33Aは、ストレージシステム31を構成する3つのストレージメディアと、アプリケーションサーバー5のストレージメディアを論理的な階層区分により管理する処理デバイスである。前述したように、階層管理部33Aは、プロジェクト毎にアプリケーションサーバー5のストレージ5Aを最上位の階層区分として管理し、ストレージシステム31をその下位の階層区分として管理する。因みに、1次ストレージ31Aは、対応するプロジェクトの2番目の階層区分として、2次ストレージ31Bは、対応するプロジェクトの3番目の階層区分として、3次ストレージ31Cは、対応するプロジェクトの4番目の階層区分として扱う。
移動管理部33Bは、前述したポリシー(a)により各プロジェクトファイルの階層区分間のデータ移動を管理する処理デバイスである。なお、データ移動により移動元のデータは削除される。
複製管理部33Cは、前述したポリシー(b)によりプロジェクトファイルの階層区分間のバックアップを管理する処理デバイスである。
アプリケーションサーバー5は、複数台のクライアント端末7で共用する共用ファイルの保持機能と業務システムへの処理を橋渡しする機能とを実現するサーバである。新規のデータはアプリケーションサーバー5で発生され、そのストレージ5Aに記憶される。このアプリケーションサーバー5のストレージ5Aが、論理階層区分の最上位階層に対応する。すなわち、“非常によく使うファイル”が記憶される。
また、アプリケーションサーバー5には、新規のプロジェクトが登録される。図5の場合、α、β、γの3つが登録されている。プロジェクトに関連づけられた全てのファイルは、プロジェクトに固有の識別子で管理される。
クライアント端末7は、ネットワーク1経由でストレージサーバー3とアプリケーションサーバー5に接続されるネットワーク端末である。クライアント端末7は、コンピュータ構成であり、固有のストレージデバイスを有している。なお、このストレージデバイスは、アプリケーションの作業領域として用いられ、作業終了後のデータはアプリケーションサーバー5上に格納される。
(B−2)ファイル管理装置の実施例
図6に、ストレージサーバーの実施例を示す。因みに、ネットワーク1には、例えばLAN(Local Area Network)を使用する。LANのインタフェースには、例えばイーサネット(登録商標)、FDDI(Fiber Distributed Data Interface)を使用する。
ネットワークプロトコルには、NFS(Network File System) やCIFS(Common Internet File System) その他を使用する。
仮想的に単一のストレージとして動作するストレージサーバー3は、メインサーバー311と、キャッシュサーバー313と、テープライブラリ315とで構成されている。物理的には、メインサーバー311がネットワークと接続される。従って、クライアント端末7とストレージサーバー3との通信は、メインサーバー311経由で行われる。ここで、メインサーバー311とキャッシュサーバー313は、それぞれ独立した制御プログラムによって制御される。
メインサーバー311は、ネットワークシステム上のファイルを管理する機能と、論理階層区分の第2階層に当たる“よく使うファイル”を蓄積するストレージ機能とを有する。なお、メインサーバー311が有するストレージデバイスは、論理上、階層が最も高い区分に対応する。
メインサーバー311は、中央処理装置(CPU)311Aと、主記憶装置311Bと、副記憶装置311Cと、RAIDストレージ311Dと、接続ポート311E1〜311E3とで構成される。
このうち、接続ポート311E1は、ネットワークとの接続用である。接続ポート311E2は、キャッシュサーバー313との接続用である。接続ポート311E3は、テープライブラリ315との接続用である。
因みに、RAIDストレージ311Dが、図4の1次ストレージ31Aに対応する。また、キャッシュサーバー313が、図4の2次ストレージ31Bに対応する。また、テープライブラリ315が、図4の3次ストレージ31Cに対応する。
CPU311Aは、コンピュータの制御と命令の取り込み、実行を担当する。このCPU311Aが、プロジェクト毎に論理的な階層管理を実現するファイル管理装置として機能する。
主記憶装置311Bは、処理手順を記述したプログラムやデータの一時的な記憶を担当する。例えば、RAM(Random Access Memory)やROM(Read Only Memory)でなる。
主記憶装置311Bには、例えば基本入出力システム、ファームウェア、制御ソフトウェアが記憶される。
副記憶装置311Cは、プログラムや処理データの保存を担当する。例えば、ハードディスク装置その他の記憶媒体(例えばCD−ROM)の駆動装置でなる。副記憶装置311Cには、例えばファイル管理装置33(33A、33B、33C)としての機能を実現する制御プログラムが記録される。
RAIDストレージ311Dには、例えばRAIDレベル0+1でハードディスクアレイを並列接続したものを適用する。すなわち、ストライピング(RAID
0)構成のディスク装置をミラーリング(RAID 1)するものを使用する。
この構成により、RAIDストレージ311Dは、高信頼性とランダムアクセス性を保持する。RAIDストレージ311Dには、“よく使うファイル”の実データを蓄積するストレージ領域として機能する。
このRAIDストレージ311Dに、ファイルシステムと各ファイルに固有の識別子をリンクするデーターベースを記録する。なお、各ファイルの実データの物理的な記録位置も記録する。
キャッシュサーバー313は、最上位から3番目の階調区分に対応する。すなわち、“たまに使うファイル”を記録するのに使用される。
キャッシュサーバー313には、例えばRAIDレベル5でハードディスクアレイを並列接続したものを適用する。すなわち、パリティデータを各ハードディスクに分散するものを使用する。
この構成により、キャッシュサーバー313は、高信頼性とランダムアクセス性を有する。なお、キャッシュサーバー313を構成するハードディスクには、例えば低価格かつ大容量のIDEハードディスクを使用する。
IDEハードディスクは、RAIDストレージ311Dを構成するハードディスクに比して容量当たりの単価が安い。このため、同じ容量をRAIDストレージ311Dだけで用意する場合に比してコストを安くできる。
キャッシュサーバー313には、RAIDストレージ311Dから使用頻度が低下したファイルの実データが移動される。ここでの移動は、プロジェクト単位で実行される。なお、移動の際、移動対象の実データは、RAIDストレージ311Dから削除される。また、移動の際、移動対象の実データは、テープライブラリ313にも重畳的に記録される。すなわち、移動と同時にバックアップも実行される。
ここで、キャッシュサーバー313は、テープライブラリ315のキャッシュとしての機能も果たす。従って、キャッシュサーバー313とテープライブラリ315の両方に存在する実データは、キャッシュサーバー313から読み出される。
なお、キャッシュサーバー313とメインサーバー311は、例えばイーサネット(登録商標)経由で接続する。
テープライブラリ315は、最上位から4番目の階調区分に対応する。すなわち、“ほとんど使わないファイル”を記録するのに使用される。物理的なテープカートリッジは、個別のプロジェクトに対応付けられている。
また、テープライブラリ315は、アプリケーションサーバー5と、RAIDストレージ311Dと、キャッシュサーバー313のバックアップストレージとして機能する。従って、1つのテープカートリッジには、階層区分を異にする同一プロジェクトのファイルデータが保存される。
テープライブラリ315には、例えばカートリッジ型の磁気テープを複数格納するものを適用する。カートリッジの数を増やすことで蓄積するデータ容量を増加できる。もっとも、単一のテープカートリッジを装填できるテープ記録装置を使用しても良い。なおこの場合は、1つのテープカートリッジに複数のプロジェクトに対応するファイル群が蓄積される。
なお、使用されないことが明らかなデータを記憶したカートリッジは、オフラインで保管することもできる。
テープライブラリ315は、キャッシュサーバー313に蓄積されている実データのうち使用間隔が所定の閾値を越えたものが移動される。なお、この移動は論理的なものである。RAIDストレージ311Dからキャッシュサーバー313へのファイルの移動時に既に複製されているからである。
従って、ファイルの移動時に実行される動作は、キャッシュサーバー313からファイルの実データを削除する動作だけである。
また、テープライブラリ315には、RAIDストレージ311Dから定期的にファイルがバックアップされる。このように、定期的なバックアップで移動されるのは、オンラインでアクセス可能な全ストレージ容量の10%程度である。従って、バックアップに要する時間は、格段に短縮される。
なお、テープライブラリ315へのバックアップでは、”ファイル”の実データ部分だけでなく、管理データやデーターベース情報も複製するのが望ましい。この際、テープライブラリ315とメインサーバー311は、例えばSCSI(Small Computer System Interface )経由で接続する。
因みに、テープ媒体として、書き込みが1回に限定されるもの用いれば、情報の信頼性を高めることができる。この種のテープ媒体は、WORM(Write Once Read Many)と呼ばれる。
特に、信頼性が要求される応用例では、この種のテープ媒体を使用する。勿論、何度も書き換え可能なものを用いることもできる。
(C)ファイル管理動作
以下、ストレージサーバー3内で実行されるファイル管理動作を説明する。なお、本動作は、ストレージサーバー3を管理する制御ソフトウェアにより実行される。
(C−1)領域の定義
まず、以下の説明で使用する表記を説明する。図7に、5つの領域A〜Eとストレージとの論理的な対応関係を示す。なお、図7に示す論理的な階層区分は、個々のプロジェクトに対応する。また図8に、領域A〜Eとストレージとの物理的な対応関係を示す。
この5つの領域は、前述した階調区分に対応する。
まず、領域A−1は、使用頻度が最も高い論理上の階層区分のメインストレージに対応する。この領域A−1は、アプリケーションサーバー5のストレージ5Aに対応する。また、領域A−2は、領域A−1の冗長化に使用するストレージに対応する。領域A−2は、テープライブラリ315の記憶領域の一部として確保される。例えば、1つ又は複数の磁気カートリッジに確保される。
次に、領域B−1は、使用頻度が2番目に高い階調区分のメインストレージに対応する。領域B−1は、メインサーバー311のRAIDストレージ311Dの記録領域に確保される。また、領域B−2は、領域B−1の冗長化に使用するストレージに対応する。この領域B−2も、テープライブラリ315の記憶領域の一部として確保される。基本的にはプロジェクトに対応付けられた磁気カートリッジに確保される。
領域C−1は、使用頻度が3番目に高い階調区分のメインストレージに対応する。領域C−1は、キャシュサーバー313の記録領域に確保される。領域C−2は、領域C−1の冗長化に使用するストレージである。この領域C−2も、テープライブラリ315の記憶領域の一部として確保される。この場合も、各プロジェクトに対応付けられた磁気カートリッジに確保される。
領域D−1は、オンラインで管理できる中でも最も使用頻度が低い階調区分のメインストレージに対応する。領域D−1は、テープライブラリ315の記憶領域の一部として確保される。この場合も、各プロジェクトに対応付けられた磁気カートリッジに確保される。なお、領域D−1は、信頼性の高いテープライブラリ315上に確保されるため、冗長化用のストレージは用いない。
領域E−1は、オフラインで管理される階調区分のメインストレージに対応する。領域E−1は、倉庫や棚に物理的に保存されている磁気カートリッジに対応する。個々の磁気カートリッジは、個々のプロジェクトに対応する。従って、プロジェクトが閉じた時点でテープライブラリ315から排出し、プロジェクトの再開時にテープライブラリ315に装着するといった使い方が可能となる。
(C−2)区分間移行と冗長化処理
領域間の移行は、下位層へ向かう流れ(A→B→C→D→E)と、上位層へ向かう流れ(E→D→C→B→A)の2つに分けられる。
(a)制御ソフトウェアの処理動作
(a−1)使用頻度を移動条件とする場合
図9に、メインサーバー311の制御ソフトウェアによるファイルの自律的な移動処理を実現する処理例を示す。この処理は、例えば定期的又は新たに書き込むべきファイルが発生した時点で実行される。実行タイミングは、事前の設定による。図9は、使用頻度を判断条件とする。また、この判断処理は、個々のプロジェクトの各階層区分について実行される。
ここでは、あるプロジェクトに対応する最上位の階層区分について移動の有無を判断するものとして説明する。
まず、制御ソフトウェアは、管理対象とするプロジェクトについて、アプリケーションサーバー5のストレージ5Aに使用頻度が閾値Th以下のデータがあるか否かを判定する(SP1)。否定結果が得られた場合(全て“非常によく使うデータ”の場合)、制御ソフトウェアは判定処理をひとまず終了し、他の階層区分又は他のプロジェクトに対する処理に移る。
これに対し、肯定結果が得られた場合(“よく使うデータ”が見つかった場合)、制御ソフトウェアは、管理対象とするプロジェクトについて、移動対象とするファイルを決定する(SP2)。
移動するファイルが決定されると、制御ソフトウェアは、下位階層であるメインサーバー311へのファイルの移動が可能か否か判定する(SP3)。否定結果が得られた場合(記録領域が不足する場合)、制御ソフトウェアは、管理対象とするプロジェクトについて、例えば使用頻度が所定の閾値以下のものを“たまに使うデータ”としてメインサーバー311から削除する(SP4)。
ステップSP3で肯定結果が得られた場合又は空容量が確保された場合、制御ソフトウェアは、“よく使うデータ”をメインサーバー311に移動する(SP5)。なお、移動後、同ファイルは、アプリケーションサーバー5のストレージ5Aから削除される。
かかる後、制御ソフトウェアは、管理対象とするプロジェクトについて、ファイルの移動先情報をデーターベースに登録し、後の読み出しに備える(SP6)。
(a−2)空き容量を移動条件とする場合
図10に、メインサーバー311の制御ソフトウェアによるファイルの自律的な移動処理を実現する処理例を示す。この処理も、例えば定期的又は新たに書き込むべきファイルが発生した時点で実行される。実行タイミングは、事前の設定による。図10は、空き容量を判断条件とする。この判断処理も、個々のプロジェクトの各階層区分について実行される。
ここでは、あるプロジェクトに対応する最上位の階層区分について移動の有無を判断するものとして説明する。
まず、制御ソフトウェアは、管理対象とするプロジェクトについて、アプリケーションサーバー5のストレージ5Aの空き容量が閾値Th以下のデータがあるか否か判定する(SP11)。否定結果が得られた場合(十分な空き容量がある場合)、制御ソフトウェアは判定処理をひとまず終了し、他の階層区分又は他のプロジェクトに対する処理に移る。
これに対し、肯定結果が得られた場合(空き容量が少ない場合)、制御ソフトウェアは、管理対象とするプロジェクトについて、移動対象とするファイルを決定する(SP12)。例えば、サイズの大きいファイルを選択する。
移動するファイルが決定されると、制御ソフトウェアは、下位階層であるメインサーバー311へのファイルの移動が可能か否か判定する(SP13)。否定結果が得られた場合(記録領域が不足する場合)、制御ソフトウェアは、例えばファイルサイズの大きいものをメインサーバー311から削除する(SP14)。
ステップSP13で肯定結果が得られた場合又は空容量が確保された場合、制御ソフトウェアは、移動対象に決定したファイルをメインサーバー311に移動する(SP15)。なお、移動後、同ファイルは、アプリケーションサーバー5のストレージ5Aから削除される。
かかる後、制御ソフトウェアは、管理対象とするプロジェクトについて、ファイルの移動先情報をデーターベースに登録し、後の読み出しに備える(SP16)。
(b)階層区分間の移動動作
(b−1)制御ソフトウェアによる自動処理
図11に、制御ソフトウェアによるファイルの自動移動経路を示す。図11に示すファイル移動は、プロジェクト毎に実行される。
なお、図11も、ストレージシステムとアプリケーションサーバーを論理的な階層区分で一元管理する場合について表している。
下位層(A→B→C→D→E)への流れは、プロジェクトファイルが、クライアント端末7からアクセスされなかった時間により制御される。プロジェクトファイルがクライアント端末7からアクセスされなかった時間が長い程、プロジェクトファイルは下位の階層に順に移行する。
一方、上位層(E→D→C→B→A)への流れは、クライアント端末7からアクセスがあった時点に生じる。まず、各領域から領域Aに該当するプロジェクトファイル(実データ)が移行される。その後、領域Aからクライアント端末7にプロジェクトファイルが読み出される。
以上が、各方向への流れの概略である。以下、個々のプロセスについて説明する。なお図中、実線は移動を表し、点線はバックアップ(複製)を示す。
(1)
制御ソフトウェアが定期的にアプリケーションサーバー5にアクセスし、管理対象とするプロジェクトについて、プロジェクトファイルをストレージ5A(領域A−1)からテープライブラリ315(領域A−2)に複製する。
(2)
制御ソフトウェアが定期的にアプリケーションサーバー5のファイルシステムにアクセスし、管理対象とするプロジェクトファイルのうち使用頻度が閾値Th以下のデータをメインサーバー311(領域B−1)に移動する。これにより、アプリケーションサーバー5のストレージ5Aは、常に適切な空き容量が確保される。
(3)
制御ソフトウェアは、管理対象とするプロジェクトのプロジェクトファイルを、定期的に領域B−1から領域B−2に複製(バックアップ)する。ここでの各領域は、プロジェクトに対応する領域である。また、実行時刻は、ユーザーから事前に設定された時刻である。なお、この時刻は、運用後も変更できる。
(4)
制御ソフトウェアは、定期的に又は領域B−1へのアクセスのたび、領域B−1の残容量が閾値以下か否か判定する。各プロジェクトに対応する閾値は、初期設定値又はユーザインタフェースを通じて事前に設定された値である。
ここでのアクセスは、書き込み時も読み出し時も含む。メインサーバー311に蓄積される実データは、長年の運用により増加する。やがて、蓄積される実データは、メインサーバー311に用意したRAIDストレージ311Dの蓄積容量の上限に近づく。
制御ソフトウェアは、管理対象とするプロジェクトに対応する領域B−1の残容量が閾値以下になると、設定した残容量が得られるまで、超過量に相当するデータ量の実データを領域C−1に移動させる。例えば、クライアント端末7からのアクセス間隔が長いファイルから順番に移動する。また例えば、プロジェクトファイルが領域B−1に置かれるとすぐに移動する。
(5)
制御ソフトウェアは、領域C−1への実データの移動と同時に、同じ実データを管理対象とするプロジェクトに対応する領域C−2に複製(バックアップ)する。すなわち、実データは、キャッシュサーバー313とテープライブラリ315に二重化される。
(6)
制御ソフトウェアは、領域C−1についても定期的に又は領域C−1へのアクセスのたび、領域C−1の残容量が閾値以下か否か判定する。この閾値も個々のプロジェクトについて設定されている。
制御ソフトウェアは、領域C−1の残容量が閾値以下になると、アクセス間隔が長いプロジェクトファイルから消去する。
この消去により、同領域C−2は、論理上、領域D−1に変わる。このように、領域D−1は積極的に作成されるものではなく、バックアップ領域である領域C−2が消去法的に領域D−1に変化する。
(7)
なお、領域D−1に対応するプロジェクトファイル(実データ)の使用状況は、ユーザーによって判断される。ユーザーが「使用しない」と判断した場合、該当するプロジェクトファイル(実データ)を含むテープメディアは、制御ソフトウェアを使用してテープライブラリ315から排出される。例えば、プロジェクトの終了、完了、中止などの判断に基づいて排出される。
排出されたテープメディアは、例えば外部の棚に移動させる。このように、テープライブラリ315から排出した時点で、テープメディアに保存されているプロジェクトファイルは、領域E−1に移行する。この移動は、物理的な移動により実行される。
なお、ここでのテープメディアは、管理対象とするプロジェクトに関連付けられた一群のファイル群が一纏めに記憶されている。従って、テープメディアがプロジェクトと一対一で対応付けられている場合には、テープメディアの出し入れが他のプロジェクトファイルに影響しない。従って、庫外管理も既存のシステムに比して格段に容易なものとできる。また、テープライブラリ315の記憶領域の有効活用が実現できる。
(8)
次に、クライアント端末7からプロジェクトファイルへのアクセスがあった場合について説明する。アクセスされたプロジェクトファイルがアプリケーションサーバー5にある場合、該当するプロジェクトファイルはネットワーク1を経由して要求したクライアント端末7に転送する。
ここで、アクセスされたプロジェクトファイルがアプリケーションサーバー5にない場合、アプリケーションサーバー5はストレージシステム3の制御ソフトウェアにプロジェクトファイルの移動を命じる。
この際、該当するプロジェクトファイルがメインサーバー311上にあれば、該当するプロジェクトファイルをネットワーク1経由でアプリケーションサーバー5に移動する。なお、このプロジェクトファイルは、更にネットワーク1経由でクライアント端末7に転送される。
(9)
これに対し、アクセスされたプロジェクトファイルがキャッシュサーバー313上にある場合、制御ソフトウェアは、プロジェクトファイル(実データ)を領域C−1から領域B−1へ移行する。かかる後、同ファイルを領域B−1からアプリケーションサーバー5に該当するプロジェクトファイルを転送する。
(10)また、アクセスされたプロジェクトファイルがテープライブラリ315上にある場合、制御ソフトウェアは、プロジェクトファイル(実データ)を領域D−1から領域B−1へ移動する。かかる後、同プロジェクトファイルを領域B−1からアプリケーションサーバー5へ該当するプロジェクトファイルを転送する。
(11)なお、アクセスされたプロジェクトファイルがオフライン管理されている場合、制御ソフトウェアは、外部棚に保管されているテープメディアをテープライブラリ315に装填するようにユーザーに促がす画面を作表示装置上に表示させる。
ユーザーが該当するテープメディアを外部棚からテープライブラリ315に装填すると、領域E−1として管理されていたテープメディアはD−1領域に移行する。この後、前述したように領域B−1にプロジェクトファイル(実データ)が移行される。
(b−2)自動処理と外部制御との混在使用
図12に、メインサーバー311に搭載された制御ソフトウェアとアプリケーションサーバー5に搭載された外部アプリケーションを混在使用する場合のプロジェクトファイルの移動経路を示す。
すなわち、図12は、各領域間でプロジェクトファイル(実データ)を移動させるAPI(アプリケーションインターフェース)を、アプリケーションサーバー5上で動作するアプリケーションプログラムが制御する場合の例である。
なお、アプリケーションサーバー5からアクセスがあった場合には、プロジェクトファイル(実データ)がどの領域に存在しても、まず領域B−1に移行される。
アプリケーションサーバー5からプロジェクトファイルの移行を管理する機能を使用すれば、以下のような使い方ができる。例えば、予め所定の日時に読み出しが予想されるプロジェクトファイル(実データ)がある場合、必要なプロジェクトファイルを事前に領域Bに移行させることができる。
また例えば、アプリケーションのバージョンが更新された場合、ほとんど使用されないと予想される旧バージョンのプロジェクトファイル(実データ)を下位層の領域に移行させるといった使い方ができる。
以下、個々のプロセスについて説明する。なお図中、実線は移動を表し、点線は冗長化(複製)を示す。
(1)
アプリケーションサーバー5は、管理対象とする各プロジェクトについて、テープライブラリ315(領域A−2)の対応領域にプロジェクトファイルを複製する。例えば、1月に1回の割合で実行する。
(2)
アプリケーションサーバー5が移動条件を満たすファイルを、管理対象とするプロジェクトの領域B−1に格納する。
(3)
制御ソフトウェアは、個々のプロジェクトについて設定された管理条件に従って、アプリケーションサーバー5から指定された日時に、定期的に領域B−1のデータを領域B−2に複製(バックアップ)する。実行時刻は、ユーザーから事前に設定された時刻である。なお、この時刻は、運用後もアプリケーションサーバー5上で変更できる。
(4)
アプリケーションサーバー5はAPIを使用して、管理対象とするプロジェクトに対応する領域B−1のファイル(実データ)を領域C−1に移行する。
(5)
制御ソフトウェアは、領域C−1への実データの移動と同時に、同じ実データを領域C−2に複製(コピー)する。すなわち、実データは、キャッシュサーバー313とテープライブラリ315に二重化される。
(6)
制御ソフトウェアは、領域C−1についても定期的に又は領域C−1へのアクセスのたび、領域C−1の残容量が閾値以下か否か判定する。制御ソフトウェアは、領域C−1の残容量が閾値以下になると、アクセス間隔が長いファイルから消去するこの消去により、同領域C−2は、論理上、領域D−1に変わる。この閾値も個々のプロジェクトについて設定されている。
(7)
領域D−1のプロジェクトファイル(実データ)の使用状況は、ユーザーによって判断される。ユーザーが「使用しない」と判断した場合、該当するプロジェクトファイル(実データ)を含むテープメディアは、制御ソフトウェアを使用してテープライブラリ315から排出される。
排出されたテープメディアは、例えば外部の棚に移動させる。このように、テープライブラリ315から排出した時点で、テープメディアに保存されているプロジェクトファイルは、領域E−1に移行する。この移動は、物理的な移動により実行される。
(8)
アプリケーションサーバー5が、ストレージサーバー3内のプロジェクトファイルにアクセスした場合は、いずれも制御ソフトウェアによる自動移動の説明((9) 〜(11))と同じである。
すなわち、アクセスされたプロジェクトファイル(実データ)がどの階層区分に属する場合にも、メインサーバー311に複製された後、アプリケーションサーバー5に送出される。
(D)ストレージ領域の復旧動作
ここでは、ディスクメディアで構成される領域B−1及びC−1の一方又は両方が壊れた場合を考える。このデータの復旧のために冗長化が行なわれている。
図13に、領域B−1が壊れた場合を示す。この場合、アプリケーションサーバー5からアクセスのあったプロジェクトファイル(実データ)は、領域B−1(RAIDストレージ311D)から読み出すことができない。
制御ソフトウェアは、データーベースが保持するバックアップデータへのフルパス名を読み出してテープライブラリ315にアクセスする。かくして、所定のテープメディアからバックアップデータが読み出される。
ただし、テープメディアからの読み出しのため、一般には読み出し時間が長くなる。しかし、システムの運用を停止することなく対応できる。
このとき、制御ソフトウェアは、領域B−1に対応するRAIDストレージ311Dの交換をユーザーに通知する。この後、制御ソフトウェアは、RAIDストレージ311Dの交換を検出すると、領域B−2の実データを領域B−1に複製(復元)する。これにより、故障前の状態が復旧される。
ここで、制御ソフトウェアは、RAIDストレージ311Dが新たなものに交換されるまで、システムの運用を停止する運用手法もある。この他、制御ソフトウェアは、正常動作中のキャッシュサーバー313(領域C−1)を領域B−1とみなす運用手法もある。
ただし、この場合にはキャッシュサーバー313の信頼性に若干の問題があるため、キャッシュサーバー313への書き込みと同時にテープライブラリ315にバックアップする。
図14に、領域C−1が壊れた場合を示す。この事象は、失われるデータ量の規模に違いがあるものの、領域C−1のファイルが領域D−1に移行する場合と同じである。従って、領域C−1が壊れた場合、領域C−2は論理的に領域D−1に切り替わる。
このように、論理的な領域変更だけでストレージサーバー3の運用は停止することなく継続される。
(E)実施例の効果
通常、ディスクストレージ上にはファイルシステムが存在する。このため、ファイルシステムの構築後、運用中にストレージ領域を拡張することは難しい。本実施例の場合、領域B−1が対応する。
そこで、本実施例では、領域C−1、D−1、E−1に記録したプロジェクトファイル(実データ)の識別子を領域B−1のファイルシステムにリンクさせて管理する。これにより、領域C−1、D−1、E−1の拡張や比率の変更を柔軟に行うことができる。
また、本実施例では、ストレージメディアを使用頻度に応じて複数の区分に分割し、それぞれを冗長化する。これにより、ストレージ領域のうち物理的な衝撃に弱い部分や使用頻度の高い部分に、最適なタイミングで最適なメディアにプロジェクトファイル(実データ)を冗長化できる。
因みに、使用頻度の高い領域は壊れる可能性が高い。また、使用頻度の高い領域は、ファイルが更新される度にデータを冗長化していては、パフォーマンスが出ない可能性がある。そこで、「非常によく使う領域」や「よく使う領域」は、定期的なバックアップを選択する。
一方、「たまに使う領域」は、区分の移動時に冗長化しても問題ない。このように本実施例では、使用頻度に応じて最適なタイミングを選択する。
また、本実施例では、使用頻度を基準にストレージを領域分割し、使用頻度に応じて最適な物理的特性を有するストレージデバイスを割り当てる。これにより、コストとパフォーマンスとの最適化を実現できる。
また、本実施例では、外部のアプリケーションプログラムに対して、APIを公開することにより、各ファイルに対するアプリケーション側の意味付けを反映することができる。
例えば、制御ソフトウェアとしては同等であっても、アプリケーションから見ると、必要があるデータと必要がないデータとに分類できる。従って、APIの公開により、アプリケーション側からの重要性を区分間移行に反映させることができる。
また、本実施例では、ストレージサーバー3側の制御ソフトウェアが、ネットワーク経由で接続されたアプリケーションサーバー5のファイルも含めて管理する。このため、アプリケーションサーバー5も含めた階層型のストレージシステムを構築できる。
結果として、管理者によるメンテナンス操作を必要としなくても、アプリケーションサーバー5からストレージサーバー3にプロジェクトファイルを自動的に移動できる。従って、長年の運用時にも、アプリケーションサーバー5のストレージ5Aに適切な空容量をアプリケーションサーバーに確保できる。
勿論、アプリケーションサーバー5から自動的に移動されたプロジェクトファイルは、その使用頻度に応じた階調区分のストレージメディアで蓄積され、必要に応じて読み出すことができる。
また、論理的な階層区分はプロジェクト単位で管理するため、進行度や運用期間の異なるプロジェクト毎に適切な管理ポリシーを設定できる。また、テープメディアをプロジェクトに一対一に対応付ければ、プロジェクトの終了、完了後にテープライブラリ315から排出して、新たなプロジェクトファイルの保存や再開したプロジェクトに備えることができる。
(F)他の実施例
(a)前述の実施例では、ネットワーク上にアプリケーションサーバー5が1つ接続されている場合について説明した。しかし、複数台のアプリケーションサーバー5がネットワークに接続されていても良い。
この場合も、前述の実施例と同様、アプリケーションサーバー5に登録されたプロジェクト単位で論理的な階層区分を一元的に管理できる。
(b)前述の実施例では、各ストレージメディアに各プロジェクトに対応する記録領域を確保し、階層区分間のデータ移動等を管理するものとして説明した。
ここでの領域管理には、各ストレージメディアの記憶領域をプロジェクトに対応付けて論理分割しておく方法、記憶領域は全てのプロジェクトに共通であるが、プロジェクト別に容量指定しておく方法がある。後者の場合には、指定容量を超えないようにプロジェクトファイルの移動を管理する。
(c)前述の実施例では、アプリケーションサーバーからストレージシステムにファイルを完全に移動する際の移動条件については説明しなかったが、例えばプロジェクトが閉じたとき、大きなファイルだけ、データーベース以外のファイルなどの条件を満たすことを要求すれば良い。
(d)前述の実施例には、発明の趣旨の範囲内で様々な変形例が考えられる。また、本明細書の記載に基づいて創作される各種の変形例及び応用例も考えられる。
発明に係るファイル管理技術は、各種用途に応じたデジタル資産を管理するのに応用できる。例えば、デジタル映像データの蓄積に使用できる。映像ビジネスに係わる全ての事業分野(家庭内システムも含む。)に適用できる。
また例えば、金融データの蓄積に使用できる。例えば帳票データ、伝票データ、金融取引データの蓄積に使用できる。
また例えば、ネットワーク経由で送受されるデータ(プロジェクトファイルを含む。)の蓄積に使用できる。例えば、電子メール、Webページ、通信記録の蓄積に使用できる。
また例えば、出版関連データの蓄積に使用できる。例えば版下データ、地図データその他のデジタルコンテンツの蓄積に使用できる。
また例えば、医療データの蓄積に使用できる。例えばレントゲン画像、MRI(Magnetic resonance imaging )画像、カルテデータ、予約データその他の蓄積に使用できる。
また例えば、各種団体・機関の文書の蓄積に使用できる。例えば行政機関、司法機関、立法機関その他の公的文書の蓄積に使用できる。また、社内文書の蓄積にも使用できる。なお個人文書の蓄積にも使用できる。
また例えば、製図データの蓄積にも使用できる。例えばCAD(Computer Aided Design)データ、CAM(Computer Aided Manufacturing) データ、CAE(Computer-Aided
Engineering )データの蓄積にも使用できる。
従来型の管理手法を示す図である。 階層型の管理手法を示す図である。 従来型の管理手法によるテープストレージへのプロジェクトファイルの記録態様を示す図である。 管理ポリシーの実施例を示す図表である。 ネットワークシステムの機能構成例を示す図である。 ストレージサーバーの実施例を示す図である。 領域の定義を示す図表である。 ストレージシステムと各領域との対応関係を示す図である。 データの移動処理手順例を示すフローチャートである。 データの複製処理手順例を示すフローチャートである。 制御ソフトウェアによるデバイス区間の自動移行動作を示す図である。 アプリケーションサーバーとストレージサーバー(制御ソフトウェア)の協働によるデバイス区間の移行動作を示す図である。 使用頻度が2番目に高いストレージが故障した場合の復旧動作を示す図である。 使用頻度が3番目に高いストレージデバイスが故障した場合の復旧動作を示す図である。
符号の説明
1 ネットワーク
3 ストレージサーバー
31 ストレージシステム
33 ファイル管理装置
33A 階層管理部
33B 移動管理部
33C 複製管理部
311 メインサーバー
313 キャッシュサーバー
315 テープライブラリ
5 アプリケーションサーバー
7 クライアント端末

Claims (12)

  1. 物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムを、仮想的に単一のストレージとして管理するファイル管理装置であって、
    前記ストレージシステムを構成する各ストレージメディアの記録領域を、プロジェクト毎に論理的な階層区分で一元的に管理する階層管理部と、
    各プロジェクトについて予め定めた移動条件に従って、階層区分の上位区分から下位区分にプロジェクトファイルを移動する移動管理部と
    を有することを特徴とするファイル管理装置。
  2. 物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムを、仮想的に単一のストレージとして管理するファイル管理装置であって、
    前記ストレージシステムを構成する各ストレージメディアの記録領域を、プロジェクト毎に論理的な階層区分で一元的に管理する階層管理部と、
    各プロジェクトについて予め定めた複製条件に従って、階層区分の上位区分から下位区分にプロジェクトファイルを複製する複製管理部と
    を有することを特徴とするファイル管理装置。
  3. 請求項1又は2に記載のファイル管理装置において、
    前記ストレージシステムは、少なくとも論理的に3つの階層区分で構成され、
    その最上位の階層区分には、信頼性と高速アクセス性に優れるストレージメディアが対応し、
    2番目の階層区分には、高速アクセス性と経済性に優れるストレージメディアが対応し、
    最下位の階層区分には、信頼性と大容量性に優れるストレージメディアが対応する
    ことを特徴とするファイル管理装置。
  4. 請求項1又は2に記載のファイル管理装置において、
    前記階層管理部は、
    前記ストレージシステムを構成する各ストレージメディアの記録領域と、ネットワーク経由で接続されたアプリケーションサーバーのストレージメディアの記録領域とを、プロジェクト毎に論理的な階層区分で一元的に管理する
    ことを特徴とするファイル管理装置。
  5. 請求項4に記載のファイル管理装置において、
    前記アプリケーションサーバーのストレージメディアは、論理的な階層区分の最上位に位置し、
    前記ストレージシステムを構成する各ストレージメディアは、論理的な階層区分における前記アプリケーションサーバのストレージメディアよりも下位の階層区分に属する
    ことを特徴とするファイル管理装置。
  6. 請求項4に記載のファイル管理装置において、
    前記移動管理部は、プロジェクトが閉じたとき、前記アプリケーションサーバーに存在する当該プロジェクトに関連する全てのプロジェクトファイルを前記ストレージシステムに移動する
    ことを特徴とするファイル管理装置。
  7. アプリケーションサーバーと、物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムとで構成されるネットワークシステムにおいて、
    前記ストレージシステムのファイル管理装置に、
    前記ストレージシステムを構成する各ストレージメディアの記録領域と、ネットワーク経由で接続されたアプリケーションサーバーのストレージメディアの記録領域とを、プロジェクト毎に論理的な階層区分で一元的に管理する階層管理部と、
    各プロジェクトについて予め定めた移動条件に従って、階層区分の上位区分から下位区分にプロジェクトファイルを移動する移動管理部と
    を有することを特徴とするネットワークシステム。
  8. アプリケーションサーバと、物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムとで構成されるネットワークシステムにおいて、
    前記ストレージシステムのファイル管理装置に、
    前記ストレージシステムを構成する各ストレージメディアの記録領域と、ネットワーク経由で接続されたアプリケーションサーバーのストレージメディアの記録領域とを、プロジェクト毎に論理的な階層区分で一元的に管理する階層管理部と、
    各プロジェクトについて予め定めた複製条件に従って、階層区分の上位区分から下位区分にプロジェクトファイルを複製する複製管理部と
    を有することを特徴とするネットワークシステム。
  9. 物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムを、仮想的に単一のストレージとして管理するファイル管理方法であって、
    前記ストレージシステムを構成する各ストレージメディアの記録領域と、ネットワーク経由で接続されたアプリケーションサーバーのストレージメディアの記録領域とを、プロジェクト毎に論理的な階層区分で一元的に管理する処理と、
    各プロジェクトについて予め定めた移動条件に従って、階層区分の上位区分から下位区分にプロジェクトファイルを移動する処理と
    を有することを特徴とするファイル管理方法。
  10. 物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムを、仮想的に単一のストレージとして管理するファイル管理方法であって、
    前記ストレージシステムを構成する各ストレージメディアの記録領域と、ネットワーク経由で接続されたアプリケーションサーバーのストレージメディアの記録領域とを、プロジェクト毎に論理的な階層区分で一元的に管理する処理と、
    各プロジェクトについて予め定めた複製条件に従って、階層区分の上位区分から下位区分にプロジェクトファイルを複製する処理と
    を有することを特徴とするファイル管理方法。
  11. 物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムを、仮想的に単一のストレージとして管理するコンピュータに、
    前記ストレージシステムを構成する各ストレージメディアの記録領域と、ネットワーク経由で接続されたアプリケーションサーバーのストレージメディアの記録領域とを、プロジェクト毎に論理的な階層区分で一元的に管理する処理と、
    各プロジェクトについて予め定めた移動条件に従って、階層区分の上位区分から下位区分にプロジェクトファイルを移動する処理と
    を実行させることを特徴とするプログラム。
  12. 物理的特性を異にする複数種類のストレージメディアを組み合わせて構築したストレージシステムを、仮想的に単一のストレージとして管理するコンピュータに、
    前記ストレージシステムを構成する各ストレージメディアの記録領域と、ネットワーク経由で接続されたアプリケーションサーバーのストレージメディアの記録領域とを、プロジェクト毎に論理的な階層区分で一元的に管理する処理と、
    各プロジェクトについて予め定めた複製条件に従って、階層区分の上位区分から下位区分にプロジェクトファイルを複製する処理と
    を実行させることを特徴とするプログラム。
JP2004261192A 2004-09-08 2004-09-08 ファイル管理装置、ネットワークシステム、ファイル管理方法及びプログラム Pending JP2006079274A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004261192A JP2006079274A (ja) 2004-09-08 2004-09-08 ファイル管理装置、ネットワークシステム、ファイル管理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004261192A JP2006079274A (ja) 2004-09-08 2004-09-08 ファイル管理装置、ネットワークシステム、ファイル管理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2006079274A true JP2006079274A (ja) 2006-03-23

Family

ID=36158691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004261192A Pending JP2006079274A (ja) 2004-09-08 2004-09-08 ファイル管理装置、ネットワークシステム、ファイル管理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2006079274A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040687A (ja) * 2006-08-03 2008-02-21 Fujitsu Ltd データ復元制御装置
JP2008084254A (ja) * 2006-09-29 2008-04-10 Hitachi Ltd データマイグレーション方法及び情報処理システム
JP2011095812A (ja) * 2009-10-27 2011-05-12 Fujitsu Ltd ストレージ制御装置および方法
JP2012108931A (ja) * 2012-01-16 2012-06-07 Hitachi Ltd データマイグレーション方法及び情報処理システム
JP2014038463A (ja) * 2012-08-15 2014-02-27 Fujitsu Ltd ストレージ制御方法、ストレージ制御装置、およびストレージ制御プログラム
JP2014116031A (ja) * 2008-05-28 2014-06-26 Micron Technology Inc メモリデバイスを備えた電子システム
US8943280B2 (en) 2011-08-01 2015-01-27 Hitachi, Ltd. Method and apparatus to move page between tiers
JP2015519667A (ja) * 2012-05-29 2015-07-09 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation データ・マイグレーションのための方法、システム、およびコンピュータ・プログラム
US9218131B2 (en) 2011-10-19 2015-12-22 Hitachi, Ltd. Method and apparatus to change tiers
JP2016018225A (ja) * 2014-07-04 2016-02-01 富士通株式会社 データ分割制御プログラム、データ分割制御方法、及び、データ分割制御装置
CN107644139A (zh) * 2017-09-30 2018-01-30 中国航空工业集团公司西安飞机设计研究所 一种从cad模型到cae模型的属性映射方法
US10831727B2 (en) 2012-05-29 2020-11-10 International Business Machines Corporation Application-controlled sub-LUN level data migration
US10831728B2 (en) 2012-05-29 2020-11-10 International Business Machines Corporation Application-controlled sub-LUN level data migration

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04181439A (ja) * 1990-11-16 1992-06-29 Hitachi Ltd 記憶装置群の制御方法
JPH08110839A (ja) * 1994-10-12 1996-04-30 Toshiba Corp 集合型データ処理装置
JP2000163298A (ja) * 1998-11-24 2000-06-16 Hitachi Ltd 複数記憶装置の情報管理方式
JP2001222450A (ja) * 2000-02-10 2001-08-17 Toshiba Corp 階層記憶装置
JP2002268934A (ja) * 2001-03-14 2002-09-20 Fuji Photo Film Co Ltd 階層記憶サービスシステムおよび方法並びにプログラム
JP2003296151A (ja) * 2002-03-29 2003-10-17 Toshiba Corp Hsmシステムおよび同システムのマイグレーション制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04181439A (ja) * 1990-11-16 1992-06-29 Hitachi Ltd 記憶装置群の制御方法
JPH08110839A (ja) * 1994-10-12 1996-04-30 Toshiba Corp 集合型データ処理装置
JP2000163298A (ja) * 1998-11-24 2000-06-16 Hitachi Ltd 複数記憶装置の情報管理方式
JP2001222450A (ja) * 2000-02-10 2001-08-17 Toshiba Corp 階層記憶装置
JP2002268934A (ja) * 2001-03-14 2002-09-20 Fuji Photo Film Co Ltd 階層記憶サービスシステムおよび方法並びにプログラム
JP2003296151A (ja) * 2002-03-29 2003-10-17 Toshiba Corp Hsmシステムおよび同システムのマイグレーション制御方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008040687A (ja) * 2006-08-03 2008-02-21 Fujitsu Ltd データ復元制御装置
JP2008084254A (ja) * 2006-09-29 2008-04-10 Hitachi Ltd データマイグレーション方法及び情報処理システム
US9390004B2 (en) 2008-05-28 2016-07-12 Round Rock Research, Llc Hybrid memory management
JP2014116031A (ja) * 2008-05-28 2014-06-26 Micron Technology Inc メモリデバイスを備えた電子システム
JP2011095812A (ja) * 2009-10-27 2011-05-12 Fujitsu Ltd ストレージ制御装置および方法
US8539147B2 (en) 2009-10-27 2013-09-17 Fujitsu Limited Apparatus and method for controlling storage system
US8943280B2 (en) 2011-08-01 2015-01-27 Hitachi, Ltd. Method and apparatus to move page between tiers
US9547450B2 (en) 2011-10-19 2017-01-17 Hitachi, Ltd. Method and apparatus to change tiers
US9218131B2 (en) 2011-10-19 2015-12-22 Hitachi, Ltd. Method and apparatus to change tiers
JP2012108931A (ja) * 2012-01-16 2012-06-07 Hitachi Ltd データマイグレーション方法及び情報処理システム
JP2015519667A (ja) * 2012-05-29 2015-07-09 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation データ・マイグレーションのための方法、システム、およびコンピュータ・プログラム
US10838929B2 (en) 2012-05-29 2020-11-17 International Business Machines Corporation Application-controlled sub-LUN level data migration
US10831390B2 (en) 2012-05-29 2020-11-10 International Business Machines Corporation Application-controlled sub-lun level data migration
US10831729B2 (en) 2012-05-29 2020-11-10 International Business Machines Corporation Application-controlled sub-LUN level data migration
US10817202B2 (en) 2012-05-29 2020-10-27 International Business Machines Corporation Application-controlled sub-LUN level data migration
US10831727B2 (en) 2012-05-29 2020-11-10 International Business Machines Corporation Application-controlled sub-LUN level data migration
US10831728B2 (en) 2012-05-29 2020-11-10 International Business Machines Corporation Application-controlled sub-LUN level data migration
JP2014038463A (ja) * 2012-08-15 2014-02-27 Fujitsu Ltd ストレージ制御方法、ストレージ制御装置、およびストレージ制御プログラム
JP2016018225A (ja) * 2014-07-04 2016-02-01 富士通株式会社 データ分割制御プログラム、データ分割制御方法、及び、データ分割制御装置
CN107644139A (zh) * 2017-09-30 2018-01-30 中国航空工业集团公司西安飞机设计研究所 一种从cad模型到cae模型的属性映射方法

Similar Documents

Publication Publication Date Title
JP2005165486A (ja) ファイル管理装置、ストレージ管理システム、ストレージ管理方法、プログラム及び記録媒体
CN101272332B (zh) 具有未使用物理区域自主管理功能的存储装置
US7461201B2 (en) Storage control method and system for performing backup and/or restoration
US20060155944A1 (en) System and method for data migration and shredding
CN106407040A (zh) 一种远程数据复制方法及系统
WO2011033692A1 (ja) ストレージ装置及びそのスナップショット制御方法
CN103514249B (zh) 一种数据自精简方法和系统及存储装置
JP2008015769A (ja) ストレージシステム及び書き込み分散方法
WO2015015550A1 (ja) 計算機システム及び制御方法
TW200540623A (en) System and method for drive recovery following a drive failure
JP2007115232A (ja) 低消費電力記憶装置とその制御方法
CN107291889A (zh) 一种数据存储方法及系统
JP2007265403A (ja) 階層型ストレージシステム間でのリモートミラー方式
JP2006079274A (ja) ファイル管理装置、ネットワークシステム、ファイル管理方法及びプログラム
US7844776B2 (en) RAID capacity expansion handling method and system with concurrent data access capability
CN102135862B (zh) 一种磁盘存储系统及其数据访问方法
US20050033933A1 (en) Systems and methods for modifying disk drive firmware in a raid storage system
CN112379825B (zh) 基于数据特征分池的分布式数据存储方法及装置
US6931499B2 (en) Method and apparatus for copying data between storage volumes of storage systems
US20170068483A1 (en) Storage device, computer readable recording medium, and storage device control method
US6678787B2 (en) DASD-free non-volatile updates
US20220011977A1 (en) Storage system, control method, and recording medium
JP2006079273A (ja) ファイル管理装置、ネットワークシステム、ファイル管理方法及びプログラム
JP2005165485A (ja) ファイル管理装置、ストレージ管理システム、システム管理方法、プログラム及び記録媒体
US20100131469A1 (en) Storage management device and file deletion control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070702

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20081222

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20081225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100629

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100817