JP2022125253A - ファイルストレージシステム及びファイルストレージシステムの管理方法 - Google Patents

ファイルストレージシステム及びファイルストレージシステムの管理方法 Download PDF

Info

Publication number
JP2022125253A
JP2022125253A JP2022109141A JP2022109141A JP2022125253A JP 2022125253 A JP2022125253 A JP 2022125253A JP 2022109141 A JP2022109141 A JP 2022109141A JP 2022109141 A JP2022109141 A JP 2022109141A JP 2022125253 A JP2022125253 A JP 2022125253A
Authority
JP
Japan
Prior art keywords
file
storage system
program
state
management information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022109141A
Other languages
English (en)
Other versions
JP7344352B2 (ja
JP2022125253A5 (ja
Inventor
鎮平 野村
Shimpei Nomura
光雄 早坂
Mitsuo Hayasaka
昌忠 ▲高▼田
Masatada Takada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2022109141A priority Critical patent/JP7344352B2/ja
Publication of JP2022125253A publication Critical patent/JP2022125253A/ja
Publication of JP2022125253A5 publication Critical patent/JP2022125253A5/ja
Application granted granted Critical
Publication of JP7344352B2 publication Critical patent/JP7344352B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/188Virtual file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0643Management of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662Virtualisation aspects
    • G06F3/0667Virtualisation aspects at data level, e.g. file, record or object virtualisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】ファイルシステムのバージョンアップに影響されずにファイル仮想化機能を提供する。【解決手段】NAS100のプロセッサ111は、アプリケーションからのファイルの操作要求に基づいてローカルファイルシステム510の呼び出し処理を行い、ローカルファイルシステム510はファイルの操作要求を処理し、IO Hookプログラム412は、操作要求にかかるローカルファイルシステム510への入力情報または操作内容に基づいて、ファイルの状態管理情報の更新処理を行い、ファイル仮想化プログラム415は、状態管理情報に基づいてNAS100とCASとの間でファイルの管理処理を行う。【選択図】図2

Description

本発明は、ファイルストレージシステム及びファイルストレージシステムの管理方法に関する。
デジタルデータ、特にファイルデータのデータ量は急速に増大している。NAS(Network Attached Storage)は、ネットワークを介して多数のコンピュータがファイルデータを共有するのに相応しいストレージデバイスである。現在では、ファイルデータストレージの多くがNASデバイスを利用している。
データファイル含めてデジタルデータは、例えば、各種の法令要求に対応する為に、多様な目的の為に長期間に亘って保存する必要がある。CAS(Content Addressed Storage)はデータの不変性を保証して長期的なデータアーカイブの為のソリューションを提供している。一般的に、現用データはそれが使われている限りNASデバイスに保存され、続いて、アーカイブ目的でCASデバイスに移行される。
データセンターにCASデバイスを配置し、各拠点(例えば、会社の各事業部)にNASデバイスを配置し、CASデバイスとNASデバイスをWAN(Wide Area Network)等の通信ネットワークで接続し、CASデバイス上でデータの集中管理を行うシステムが知られている。
ファイルデータストレージを管理するストレージシステムは、ファイルを操作するクライアントに対してファイルシステムを提供し、また、NASデバイスに格納されたファイルを適宜CASデバイスにバックアップする。ストレージシステムが提供するバックアップ機能には、NASデバイスに生成/更新されたファイルを検知して非同期にCASデバイスにマイグレーションする機能、クライアントからアクセスされていないファイルをNASデバイスから削除するスタブ化機能、及び、クライアントから再参照されたときにCASデバイスからファイルを取得するリストア機能がある。以下、本明細書において、ストレージシステムが提供するマイグレーション機能、スタブ化機能及びリストア機能をファイル仮想化機能と総称する。
本技術分野の背景技術として、特表2013-524358号(特許文献1)がある。この公報には、ファイルシステムにおけるファイル操作履歴のログ情報を保持し、これに基づいてファイル仮想化機能の対象データを特定し、ファイルのバックアップ要否及びスタブ化可否を判断する手法が開示されている。
特表2013-524358号公報
ストレージシステムにおいてファイルシステムを構築するためのプログラムはOSS(Open Source Software)により提供されることがある。OSSは比較的頻繁にバージョンアップされ、しかも、そのバージョンアップのタイミングは不定期である。従って、ストレージシステムにファイル仮想化機能を提供し続けるには、OSSのバージョンアップがある度にこのバージョンアップに伴ったファイル仮想化機能の更新が必要となる。かかる更新に必要となる工数は莫大である。
本発明は上記の課題に鑑みてなされたもので、ファイルシステムのバージョンアップに影響されずにファイル仮想化機能を提供することが可能なファイルストレージシステム及びファイルストレージシステムの管理方法を提供することにある。
上記課題を解決すべく、本発明の一つの観点に従うファイルストレージシステムは、アプリケーションに提供される第1のファイルシステムと、第1のファイルシステムによりファイルが格納される第1のストレージシステムと、プロセッサとを有し、第2のストレージシステムを利用可能なファイルストレージシステムであって、ファイルの状態を格納した状態管理情報と、状態管理情報を管理する状態情報管理部と、第1のストレージシステム及び第2のストレージシステムに格納されるファイルを管理するファイル仮想化部とを備え、プロセッサは、アプリケーションからのファイルの操作要求に基づいて、第1のファイルシステムの呼び出し処理を行い、第1のファイルシステムは、ファイルの操作要求を処理し、状態情報管理部は、操作要求にかかる第1のファイルシステムへの入力情報または操作内容に基づいて、ファイルの状態管理情報の更新処理を行い、ファイル仮想化部は、状態管理情報に基づいて、第1のストレージシステムと第2のストレージシステムとの間でファイルの管理処理を行う。
本発明によれば、ファイルシステムのバージョンアップに影響されずにファイル仮想化機能を提供することが可能なファイルストレージシステム及びファイルストレージシステムの管理方法を実現することができる。
実施例に係るファイルストレージシステムのハードウェア構成を示す図である。 実施例に係るファイルストレージシステムのNASの概略構成の一例を示す図である。 実施例に係るファイルストレージシステムのCASの概略構成の一例を示す図である。 実施例に係るファイルストレージシステムのIO Hookプログラムの機能を説明するための図である。 実施例に係るファイルストレージシステムが提供するファイルシステムを説明するための図である。 実施例に係るファイルストレージシステムの管理情報ファイルの一例を示す図である。 実施例に係るファイルストレージシステムの管理情報ファイルの他の例を示す図である。 実施例に係るファイルストレージシステムのログファイルの一例を示す図である。 実施例に係るファイルストレージシステムのデータベースの一例を示す図である。 実施例に係るファイルストレージシステムのファイル/ディレクトリ作成処理の一例を説明するためのフローチャートである。 実施例に係るファイルストレージシステムのファイル/ディレクトリ削除処理の一例を説明するためのフローチャートである。 実施例に係るファイルストレージシステムのリネーム処理の一例を説明するためのフローチャートである。 実施例に係るファイルストレージシステムのファイルライト処理の一例を説明するためのフローチャートである。 実施例に係るファイルストレージシステムのファイルリード処理の一例を説明するためのフローチャートである。 実施例に係るファイルストレージシステムのディレクトリリード処理の一例を説明するためのフローチャートである。 実施例に係るファイルストレージシステムのログ反映処理の一例を説明するためのフローチャートである。 実施例に係るファイルストレージシステムのファイルマイグレーション処理の一例を説明するためのフローチャートである。 実施例に係るファイルストレージシステムのディレクトリマイグレーション処理の一例を説明するためのフローチャートである。 実施例に係るファイルストレージシステムのファイルスタブ化処理の一例を説明するためのフローチャートである。 実施例に係るファイルストレージシステムのCAS側ファイル/ディレクトリ削除処理の一例を説明するためのフローチャートである。 実施例に係るファイルストレージシステムのクローリング処理の一例を説明するためのフローチャートである。
以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
なお、実施例を説明する図において、同一の機能を有する箇所には同一の符号を付し、その繰り返しの説明は省略する。
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
以下の説明では、「テーブル」、「リスト」、「キュー」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「XXテーブル」、「XXリスト」等を「XX情報」と呼ぶことがある。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ID」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。
また、以下の説明において、各テーブルの構成は一例であり、1つのテーブルは、2以上のテーブルに分割されてもよいし、2以上のテーブルの全部又は一部が1つのテーブルであってもよい。
同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ(例えばCPU、GPU)によって実行されることで、定められた処理を、適宜に記憶資源(例えばメモリ)および/またはインターフェースデバイス(例えば通信ポート)等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路(例えばFPGAやASIC)を含んでいてもよい。
また、以下の説明において、「プロセッサ(部)」は、1以上のプロセッサである。少なくとも1つのプロセッサは、典型的には、CPU(Central Processing Unit)のようなマイクロプロセッサであるが、GPU(Graphics Processing Unit)のような他種のプロセッサでもよい。少なくとも1つのプロセッサは、シングルコアでもよいしマルチコアでもよい。
また、少なくとも1つのプロセッサは、処理の一部又は全部を行うハードウェア回路(例えばFPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit))といった広義のプロセッサでもよい。
以下の説明において、「インターフェース(部)」は、1以上のインターフェースでよい。この1以上のインターフェースは、1以上の同種の通信インターフェースデバイス(例えば1以上のNIC(Network Interface Card))であってもよいし、2以上の異種の通信インターフェースデバイス(例えばNICとHBA(Host Bus Adapter))であってもよい。
また、以下の説明において、「メモリ部」は、1以上のメモリであり、典型的には主記憶デバイスでよい。メモリ部における少なくとも1つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。
プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、2以上のプログラムが1つのプログラムとして実現されてもよいし、1つのプログラムが2以上のプログラムとして実現されてもよい。
本開示において、記憶デバイスは、1台のHDD(Hard Disk Drive)やSSD(Solid State Drive)等の1台のストレージドライブ、複数台のストレージドライブを含むRAID装置、及び複数のRAID装置を含む。また、ドライブがHDDである場合には、例えば、SAS(Serial Attached SCSI) HDDを含んでもよく、NL-SAS(ニアラインSAS) HDDを含んでもよい。
以下、図面を参照して、実施例を説明する。
図1は、実施例に係るファイルストレージシステムのハードウェア構成を示す図である。
実施例に係るファイルストレージシステム1は、サイト10-1、10-2及びデータセンター20を有し、サイト10-1、10-2及びデータセンター20間はWAN(Wide Area Network)であるネットワーク30により接続されている。なお、図1では2つのサイト10-1、10-2が図示されているが、本実施例においてサイトの数に特段の制限はない。
サイト10-1は、NAS100、クライアント600及び管理端末700を有し、これらNAS100、クライアント600及び管理端末700はLAN(Local Area Network)により相互に接続されている。
NAS100の具体的構成については後述する。クライアント600は各種情報処理が可能なコンピュータ等の情報処理装置であり、NAS100にファイルを格納する、ファイルのリード/ライト処理を行うなど、各種のファイル操作を行う。管理端末700はNAS100の管理を行い、NAS100に異常があった際などにNAS100に対して各種操作指示等を行う。
サイト10-2も、NAS100及びクライアント600を有する。なお、図1に図示するサイト10-1、10-2のハードウェア構成は単なる例示であり、少なくともそれぞれ1台のNAS100及びクライアント600を有する構成であれば、その台数や他のハードウェア構成を有することに制限はない。
データセンター20はCAS200を有する。CAS200は、サイト10-1、10-2のNAS100に格納されたファイルのバックアップ先として機能する。
図2は、実施例に係るファイルストレージシステム1のNAS100の概略構成の一例を示す図である。
NAS100はコントローラとしてのNASヘッド110とストレージシステム120とを有する。
NASヘッド110は、NASヘッド110及びNAS100全体の動作制御を行うプロセッサ111、プロセッサ111の動作制御に用いられるプログラム及びデータを一時的に記憶するメモリ112、クライアント600からライトされるデータやストレージシステム120からリードされたデータを一時的に格納するキャッシュ113、サイト10-1、10-2内の他のクライアント600等との間での通信を行うインターフェース(I/F)114及びストレージシステム120との間での通信を行うインターフェース(I/F)115を有する。
ストレージシステム120も、ストレージシステム120の動作制御を行うプロセッサ121、プロセッサ121の動作制御に用いられるプログラム及びデータを一時的に記憶するメモリ122、NASヘッド110からライトされるデータや記憶デバイス124からリードされたデータを一時的に格納するキャッシュ123、各種のファイルが格納される記憶デバイス124及びNASヘッド110との間での通信を行うインターフェース(I/F)125を有する。
メモリ112には、ネットワークストレージプログラム411、IO Hookプログラム412、ローカルファイルシステムプログラム413、データベースプログラム414及びファイル仮想化プログラム415が格納されている。
ネットワークストレージプログラム411は、クライアント600等からの各種要求を受領し、この要求に含まれるプロトコルを処理する。
IO Hookプログラム412は、後述する本実施例の特徴であるIO Hook処理を行うプログラムであり、ネットワークストレージプログラム411が発行するシステムコールを監視し、システムコールが呼び出されたら、プロトコル処理が呼び出すライブラリを置き換える。さらに、IO Hookプログラム412はログファイル3100を記録する。IO Hookプログラム412の動作の詳細については後述する。
ローカルファイルシステムプログラム413は、クライアント600等に対してファイルシステムを提供する。データベースプログラム414はデータベース3200を管理する。
ファイル仮想化プログラム415は、ログファイル3100を監視して記憶デバイス124内のファイルのマイグレーションまたはスタブ化またはリストアを行う。
記憶デバイス124には、データベース3200、ユーザファイル1200、ディレクトリ2200、管理情報ファイル1100、2100及びログファイル3100が格納されており、これらファイルはローカルファイルシステムプログラム413が構築するローカルファイルシステム510により管理されている。
図3は、実施例に係るファイルストレージシステム1のCAS200の概略構成の一例を示す図である。
CAS200はコントローラとしてのCASヘッド210とストレージシステム220とを有する。
CASヘッド210は、CASヘッド210及びCAS200全体の動作制御を行うプロセッサ211、プロセッサ211の動作制御に用いられるプログラム及びデータを一時的に記憶するメモリ212、NAS100からライトされるデータやストレージシステム220からリードされたデータを一時的に格納するキャッシュ213、サイト10-1、10-2との間での通信を行うインターフェース(I/F)214及びストレージシステム220との間での通信を行うインターフェース(I/F)215を有する。
ストレージシステム220も、ストレージシステム220の動作制御を行うプロセッサ221、プロセッサ221の動作制御に用いられるプログラム及びデータを一時的に記憶するメモリ222、CASヘッド210からライトされるデータや記憶デバイス224からリードされたデータを一時的に格納するキャッシュ223、各種のファイルが格納される記憶デバイス224及びCASヘッド210との間での通信を行うインターフェース(I/F)225を有する。
メモリ212には、ネットワークストレージプログラム421、ローカルファイルシステムプログラム422及びファイル仮想化プログラム423が格納されている。
ネットワークストレージプログラム421は、NAS100からの各種要求を受領し、この要求に含まれるプロトコルを処理する。
ローカルファイルシステムプログラム422は、NAS100に対してファイルシステムを提供する。尚、使用するファイルシステムプログラムはローカルファイルシステムプログラム422に限らず、分散ファイルシステムを使用しても構わない。
ファイル仮想化プログラム423は、NASヘッド110のファイル仮想化プログラム415と協同して、NAS100の記憶デバイス124内のファイルのマイグレーションまたはスタブ化またはリストアを行う。
記憶デバイス224には、ユーザファイル1200及びディレクトリ2200が格納されており、これらファイルはローカルファイルシステムプログラム422が構築するローカルファイルシステム520により管理されている。
図4は、実施例に係るファイルストレージシステム1のIO Hookプログラム412の機能を説明するための図である。
クライアント600は、アプリケーションプログラム601とネットワークストレージクライアント602とを有する。アプリケーション601は、例えば、Excel(登録商標)やWord(登録商標)といったファイルを入出力するあらゆるソフトウェアを含む。ネットワークファイルシステムソフトウェア602は、アプリケーションプログラム601からのリクエストに応じて、NAS100のネットワークファイルシステムプログラム411と通信するためのソフトウェアであり、NAS100のプロトコルでNAS100に対してファイル操作のリクエストをする。ネットワークストレージプログラム411は、このリクエストに応じてローカルファイルシステムプログラム413が提供するローカルファイルシステム510に対してファイル操作を行う。
IO Hookプログラム412は、ネットワークストレージプログラム411が発行するこのシステムコールを監視しており、ネットワークストレージプログラム411がシステムコールを発行するとローカルファイルシステム510へのファイル操作のAPIをインタラプトし、ファイル仮想化管理情報の更新処理を行い、また、ログを出力する。尚、インタラプトする対象はシステムコールに限らず、例えばローカルファイルシステム510が提供する固有のAPIとしても構わない。
図5は、実施例に係るファイルストレージシステム1が提供するファイルシステムを説明するための図である。
既に説明したように、NAS100(のストレージシステム120)にはローカルファイルシステム510が構築されており、このローカルファイルシステム510は、一例として、ルートディレクトリ2200-0、ディレクトリ2200-1を有する。各々のディレクトリ2200-0、2200-1は管理情報ファイル2100-1、2100-2を有する。ディレクトリ2200-1には、一例としてファイル1200-1、1200-2が格納されている。また、ディレクトリ2200-1には、これらファイル1200-1、1200-2の管理情報ファイル1100-1、1100-2が格納されている。
クライアント600がNAS100にマウントされると、ルートディレクトリ2200-0、ディレクトリ2200-1及びファイル1200-1、1200-2を有するネットワークファイルシステム530が実現され、クライアント600はこのネットワークファイルシステム530を介して各種ファイル操作を行うことができる。但し、ローカルファイルシステム510の管理情報ファイルについては、IO Hookプログラム412が情報をフィルタするため、ネットワークファイルシステム530上には登場せず、操作もできない。
CAS200にもローカルファイルシステム520が構築されている。ローカルファイルシステム520は階層構造を持たず、ルートディレクトリの下に全てのディレクトリ2300-0、2300-1及びファイル1200-1、1200-2が配置されている。CAS200においては、それぞれのディレクトリ2300-0、2300-1、ファイル1200-1、1200-2はUUID(Universally Unique Identifier)により一意に特定される。
図6は、実施例1に係るファイルストレージシステム1の管理情報ファイル2100の一例を示す図である。
管理情報ファイル2100は、ユーザディレクトリ管理情報2110を有する。ユーザディレクトリ管理情報2110は、UUID毎にエントリを有する。各エントリは、ユーザディレクトリ2200に付与されたUUID2111、ユーザディレクトリ2200のディレクトリ状態2112、ユーザディレクトリ2200の本体ハンドラ2113、マイグレーション有無2114である。
ディレクトリ状態2112は、前回のバックアップからこのユーザディレクトリ2200が更新されたか否かを示す値であり、Dirtyとはファイルが更新されたことを示す値である。本体ハンドラ2113はユーザディレクトリ2200を一意に特定する値であり、システムコールで操作対象としてユーザディレクトリ2200を指定するために使用できる値である。本体ハンドラ2113には、ユーザディレクトリ2200の生成から削除までの間に変更がない値を用いる。マイグレーション有無2114は、このユーザディレクトリ2200が一度でもバックアップされたことがあるか否かを示す値である。
ユーザディレクトリ2200はファイル/ディレクトリ名2201及びInode番号(#)2202を有する。図6に示す例は図5におけるディレクトリ(dir1)2200-1であり、このディレクトリ2200-1には2つのファイル(File1、File2)が格納されている。Inode番号2202は、それぞれのファイル(File1、File2)に一意に付与されたInode番号である。
CAS用ディレクトリ2300はファイル/ディレクトリ名2301及びInode番号(#)2302を有する。ファイル/ディレクトリ名2301はユーザディレクトリ2200のファイル/ディレクトリ名2201と同一であるが、Inode番号2302については、NAS100からCAS200へのマイグレーションの際にUUIDに書き換えられる。これは、Inode番号はNAS100内においてのみ一意に定められるものであり、マイグレーションの際にはCAS200内において一意に定められるUUIDを振る必要があるからである。
図7は、実施例に係るファイルストレージシステム1の管理情報ファイル1100の他の例を示す図である。
管理情報ファイル1100は、ユーザファイル管理情報1110及び部分管理情報1120を有する。
ユーザファイル管理情報1110は、UUID毎にエントリを有する。各エントリは、ユーザファイル1200に付与されたUUID1111、ユーザファイル1200のファイル状態1112、ユーザファイル1200の本体ハンドラ1113、マイグレーション有無2114である。
部分管理情報1120はユーザファイル1200毎に作成される。部分管理情報1120は、オフセット1121、長さ1122及び部分状態1123を有する。オフセット1121は、ユーザファイル1200が部分的に更新処理されたときのその更新処理の開始位置を示し、長さ1122はオフセット1121の位置からどれだけのデータ長だけ更新処理がされたかを示し、部分状態1123はどのような更新処理がされたかを示す。ここに、Dirty1201は前回のバックアップ処理後に更新されたことを示し、Stub2203はバックアップ処理後にローカル(つまりNAS100)から消去されたことを示し、Cached2202はローカルにもデータがあり、バックアップもあることを示す。
図8は、実施例に係るファイルストレージシステム1のログファイル3100の一例を示す図である。
ログファイル3100は、API名3101、引数3102、返り値3103、タイプ3104、Inode番号3105、管理情報ファイルハンドラ3106、親Inode番号3107、実行状態3108及びタイムスタンプ3109を有する。ログファイル3100の各行は、クライアント600からNAS100へのシステムコールがある毎に作成される。
API名3101はシステムコールの種類を示し、おおよそwrite、read、open、closeの値が格納される。引数3102はシステムコールの引数であり、おおよそファイルディスクリプタ、ファイル操作開始位置及びデータサイズを有する。返り値3103はシステムコールの結果としてローカルファイルシステム510から返ってくる値であり、N.A.はシステムコール実行中のためまだ返り値がないことを示し、0は正常に実行されたことを示す。これ以外にもローカルファイルシステム510により定められた値が格納される。タイプ3104はシステムコールの対象となるものがファイルであるのかディレクトリであるのかを示す値である。Inode番号はシステムコールの対象となるファイル等のInode番号である。管理情報ファイルハンドラ3106はシステムコールの対象となるファイル等を一意に特定する値であり、システムコールでのファイルやディレクトリ操作での操作対象指定に使用できる値である。管理情報ファイルハンドラ3106は、ファイルやディレクトリの生成から削除まで変更がない。親Inode番号3107は、システムコールの対象となるファイル等の上位(親)のディレクトリのInode番号である。これは、システムコールによりファイルやディレクトリが移動または削除された場合、バックアップ処理の対象として親ディレクトリを特定する必要があるからである。実行状態3108はシステムコールの実行状態を示す値が格納される。タイムスタンプ3109はシステムコールが呼び出された時刻である。
図9は、実施例に係るファイルストレージシステム1のデータベース3200の一例を示す図である。
データベース3200はInode番号3201、タイプ3202、管理情報ファイルハンドラ3203、Dirty部有無3204、非Stub部有無3205及び削除フラグ3206を有する。データベース3200の各行は、ローカルファイルシステム510内のディレクトリ及びファイル毎に作成される。
Inode番号3201はディレクトリまたはファイルのInode番号である。タイプ3202はInode番号3201で特定されるものがファイルであるのかディレクトリであるのかを示す値である。管理情報ファイルハンドラ3203は対象となるファイル等を一意に特定する値である。Dirty部有無3204は、ディレクトリに格納されたファイルまたはファイルそのものの一部にでもDirty部があるか否かを示す値が格納される。非Stub部有無3205は、前回のバックアップ処理後にデータが一部でも書き換えられている部分があるか否かを示す値が格納される。削除フラグ3206はディレクトリに格納されたファイルまたはファイルそのものが削除されているか否かを示す値が格納される。
次に、図10~図21のフローチャートを参照して、本実施例のファイルストレージシステム1の動作について説明する。
図10は、実施例に係るファイルストレージシステム1のファイル/ディレクトリ作成処理の一例を説明するためのフローチャートである。
ファイル/ディレクトリ作成処理が開始すると(ステップS100)、まず、IO Hookプログラム412はログファイル3100に作成処理の開始を追記する(ステップS101)。
次いで、IO Hookプログラム412は、クライアント600からのシステムコールに基づいてユーザファイル1200/ディレクトリ2200の作成処理を実施する(ステップS102)。次いで、IO Hookプログラム412は管理情報ファイル1100、2100を作成する(ステップS103)。次いで、IO Hookプログラム412は、作成対象のファイル/ディレクトリの親ディレクトリの管理情報ファイル2100のディレクトリ状態2112をDirtyに更新する(ステップS104)。
そして、IO Hookプログラム412はログファイル3100に作成処理の完了を追記し(ステップS105)、作成処理の完了をネットワークストレージプログラム411に応答する(ステップS106)。
図11は、実施例に係るファイルストレージシステム1のファイル/ディレクトリ削除処理の一例を説明するためのフローチャートである。
ファイル/ディレクトリ削除処理が開始すると(ステップS200)、まず、IO Hookプログラム412はログファイル3100に削除処理の開始を追記する(ステップS201)。
次いで、IO Hookプログラム412は、削除対象のファイル/ディレクトリにマイグレーションが有るか否かを判定する(ステップS202)。マイグレーションの有無は、管理情報ファイル1100、2100のマイグレーションの有無1114、2114で確認することができる。そして、判定が肯定されたら(ステップS202においてYES)、プログラムはステップS203に移行し、判定が否定されたら(ステップS202においてNO)、プログラムはステップS206に移行する。
ステップS203において、IO Hookプログラム412は管理情報ファイル1100、2100とユーザファイル1200をゴミ箱ディレクトリに移動し、次いで、IO Hookプログラム412はユーザファイル1200の中身を空にする(ステップS204)。そして、IO Hookプログラム412は、対応する管理情報ファイル1100、2100のファイル状態1112/ディレクトリ状態2112をDeletedに更新し、部分管理情報1120を消去する(ステップS205)。
一方、ステップS206において、IO Hookプログラム412は管理情報ファイル1100、2100を消去し、次いで、ユーザファイル1200/ユーザディレクトリ2200の削除処理を実行する(ステップS207)。
次いで、IO Hookプログラム412は、作成対象のファイル/ディレクトリの親ディレクトリの管理情報ファイル2100のディレクトリ状態2112をDirtyに更新する(ステップS208)。そして、IO Hookプログラム412はログファイル3100に削除処理の完了を追記し(ステップS209)、削除処理の完了をネットワークストレージプログラム411に応答する(ステップS210)。
図12は、実施例に係るファイルストレージシステム1のリネーム処理の一例を説明するためのフローチャートである。
リネーム処理が開始すると(ステップS300)、まず、IO Hookプログラム412はログファイル3100にリネーム処理の開始を追記する(ステップS301)。
次に、IO Hookプログラム412は通常のリネーム処理を実施する(ステップS302)。次いで、IO Hookプログラム412は、リネーム対象の移動先ディレクトリに対応する管理情報ファイル2100のディレクトリ状態2112をDirtyに更新し(ステップS303)、さらに、IO Hookプログラム412は、リネーム対象の移動元ディレクトリに対応する管理情報ファイル2100のディレクトリ状態2112をDirtyに更新する(ステップS304)。
そして、IO Hookプログラム412はログファイル3100にリネーム処理の完了を追記し(ステップS305)、リネーム処理の完了をネットワークストレージプログラム411に応答する(ステップS306)。
図13は、実施例に係るファイルストレージシステム1のファイルライト処理の一例を説明するためのフローチャートである。
ファイルライト処理が開始すると(ステップS400)、まず、IO Hookプログラム412はログファイル3100にライト処理の開始を追記する(ステップS401)。
次に、IO Hookプログラム412はユーザファイル1200に通常のライト処理を実施する(ステップS402)。次いで、IO Hookプログラム412は、対応する管理情報ファイル1100のファイル状態1112をDirtyに更新する(ステップS403)。
そして、IO Hookプログラム412はログファイル3100にライト処理の完了を追記し(ステップS404)、ライト処理の完了をネットワークストレージプログラム411に応答する(ステップS405)。
図14は、実施例に係るファイルストレージシステム1のファイルリード処理の一例を説明するためのフローチャートである。
ファイルリード処理が開始すると(ステップS500)、まず、IO Hookプログラム412は対応する管理情報ファイル1100を取得する(ステップS501)。
次いで、IO Hookプログラム412は、リード対象箇所がスタブ化された部分を含むかどうかを判定する(ステップS502)。そして、判定が肯定されたら(ステップS502においてYES)、プログラムはステップS503に移行し、判定が否定されたら(ステップS502においてNO)、プログラムはステップS506に移行する。
ステップS503では、IO Hookプログラム412が、リード対象箇所内のスタブ化された部分のデータをCAS200に要求する。CAS200のファイル仮想化プログラム423は、IO Hookプログラム412からの要求に基づいて当該データをNAS100に転送する(ステップS504)。
次いで、IO Hookプログラム412は、管理情報ファイル1100内のリコール部、すなわちCAS200から転送されたデータの部分状態1123をCachedに更新する(ステップS505)。
そして、IO Hookプログラム412はユーザファイル1200に通常のリード処理を実施し(ステップS506)、リード処理の完了をネットワークストレージプログラム411に応答する(ステップS507)。
図15は、実施例に係るファイルストレージシステム1のディレクトリリード処理の一例を説明するためのフローチャートである。
ディレクトリリード処理が開始すると(ステップS600)、まず、IO Hookプログラム412は対応する管理情報ファイル2100を取得する(ステップS601)。
次いで、IO Hookプログラム412は、リード対象にディレクトリがスタブ化された状態かどうかを判定する(ステップS602)。そして、判定が肯定されたら(ステップS602においてYES)、プログラムはステップS603に移行し、判定が否定されたら(ステップS602においてNO)、プログラムはステップS607に移行する。
ステップS603では、IO Hookプログラム412が、リード対象のCAS用ディレクトリ2300の取得要求をCAS200に転送する。CAS200のファイル仮想化プログラム423は、IO Hookプログラム412からの要求に基づいて当該データをNAS100に転送する(ステップS604)。
次に、IO Hookプログラム412は、CAS200より取得したデータでユーザディレクトリ2200を更新し(ステップS605)、管理情報ファイル2100のディレクトリ状態2112をCachedに更新する(ステップS606)。
そして、IO Hookプログラム412はユーザディレクトリ2200に通常のリード処理を実施し(ステップS607)、クライアント600から管理情報ファイル2100が見えないようにリード結果から管理情報ファイル2100の情報を消去し(ステップS608)、リード処理の完了をネットワークストレージプログラム411に応答する(ステップS609)。
図16は、実施例に係るファイルストレージシステム1のログ反映処理の一例を説明するためのフローチャートである。
ログ反映処理が開始すると(ステップS1301)、ファイル仮想化プログラム415はログファイル3100の実行状態3108を参照して、ログファイル3100から完了した操作のリストを取得する(ステップS1302)。
次いで、ファイル仮想化プログラム415は、ステップS1302で取得したリストが空であるかどうかを判定する(ステップS1303)。その結果、判定が肯定されたら(ステップS1303においてYES)プログラムはステップS1314に移行し、判定が否定されたら(ステップS1303においてNO)プログラムはステップS1304に移行する。
ステップS1304では、ファイル仮想化プログラム415が、ステップS1302で取得したリストからエントリを1つ取得する。次いで、ファイル仮想化プログラム415は、ステップS1304で取得したエントリがライト処理であるか否かを判定する(ステップS1305)。そして、判定が肯定されたら(ステップS1305においてYES)プログラムはステップS1306に移行し、判定が否定されたら(ステップS1305においてNO)プログラムはステップS1307に移行する。
ステップS1306では、ファイル仮想化プログラム415が、データベース3200の操作対象のエントリのDirty部有無3204及び非Stub部有無3205をそれぞれありにする。
ステップS1307では、ファイル仮想化プログラム415が、ステップS1304で取得したエントリが作成処理であるか否かを判定する。そして、判定が肯定されたら(ステップS1307においてYES)プログラムはステップS1308に移行し、判定が否定されたら(ステップS1307においてNO)プログラムはステップS1310に移行する。
ステップS1308では、ファイル仮想化プログラム415が、データベース3200の操作対象のエントリを作成し、作成したエントリのDirty部有無3204及び非Stub部有無3205をそれぞれありにし、削除フラグ3206の値をFalseにする。さらに、ファイル仮想化プログラム415は、データベース3200の操作対象の親ディレクトリのエントリのDirty部有無3204及び非Stub部有無3205をそれぞれありにする(ステップS1309)。
ステップS1310では、ファイル仮想化プログラム415が、ステップS1304で取得したエントリが削除処理であるか否かを判定する。そして、判定が肯定されたら(ステップS1310においてYES)プログラムはステップS1311に移行し、判定が否定されたら(ステップS1310においてNO)プログラムはステップS1312に移行する。
ステップS1311では、ファイル仮想化プログラム415が、データベース3200の操作対象のエントリのDirty部有無3204及び非Stub部有無3205をそれぞれなしにして、さらに、削除フラグ3206をTrueにする。
ステップS1312では、ファイル仮想化プログラム415が、ステップS1304で取得したエントリがリネーム処理であるか否かを判定する。そして、判定が肯定されたら(ステップS1312においてYES)プログラムはステップS1309に移行し、判定が否定されたら(ステップS1312においてNO)プログラムはステップS1313に移行する。
ステップS1313では、ファイル仮想化プログラム415が、ステップS1302で取得したリストからエントリを削除する。
一方、ステップS1314では、ファイル仮想化プログラム415が処理を完了したログを削除する。
図17では、実施例に係るファイルストレージシステムのファイルマイグレーション処理の一例を説明するためのフローチャートである。
ファイルマイグレーション処理が開始すると(ステップS700)、ファイル仮想化プログラム415は、データベース3200から、Dirty部有無3204がありでタイプ3202がファイルのエントリをリストとして取得する(ステップS701)。
次いで、ファイル仮想化プログラム415は、ステップS701で取得したファイルリストが空であるかどうかを判定する(ステップS702)。その結果、判定が肯定されたら(ステップS702においてYES)プログラムはステップS712に移行し、判定が否定されたら(ステップS702においてNO)プログラムはステップS703に移行する。
ステップS703では、ファイル仮想化プログラム415が、ステップS701で取得したリストからエントリを1つ取得する。次いで、ファイル仮想化プログラム415は、ステップS703で取得したエントリが示す管理情報ファイル1100を取得する(ステップS704)。次いで、ファイル仮想化プログラム415は、ステップS704で取得した管理情報ファイル1100の部分管理情報1120から、Dirtyのエントリを転送部分リストとして取得し(ステップS705)、取得した転送部分リストの該当箇所をユーザファイル1200から取得する(ステップS706)。
次に、ファイル仮想化プログラム415は、管理情報ファイル1100中のUUID1111への更新要求とともに、ステップS705で取得した転送部分リストとステップS706で取得したユーザファイル1200からデータとをCAS200に転送する(ステップS707)。
CAS200のファイル仮想化プログラム423は、UUIDで特定されるCAS200内のユーザファイル1200から、ステップS707で受領した転送部分リストの示す箇所を更新し(ステップS708)、NAS100に更新の完了を返す(ステップS709)。
そして、ファイル仮想化プログラム415は、管理情報ファイル1100のファイル状態1112と転送部分リストの該当箇所の部分状態1123をCachedにし(ステップS710)、ステップS701で取得したファイルリストからエントリを削除する(ステップS711)。
一方、ステップS712において、ファイル仮想化プログラム415は、データベース3200から操作を完了したエントリのDirty部有無3204をなしにする。
図18は、実施例に係るファイルストレージシステム1のディレクトリマイグレーション処理の一例を説明するためのフローチャートである。
ディレクトリマイグレーション処理が開始すると(ステップS800)、ファイル仮想化プログラム415は、データベース3200から、Dirty部有無3204がありでタイプ3202がディレクトリのエントリをリストとして取得する(ステップS801)。
次いで、ファイル仮想化プログラム415は、ステップS801で取得したファイルリストが空であるかどうかを判定する(ステップS802)。その結果、判定が肯定されたら(ステップS802においてYES)プログラムはステップS812に移行し、判定が否定されたら(ステップS802においてNO)プログラムはステップS803に移行する。
ステップS803では、ファイル仮想化プログラム415が、ステップS801で取得したリストからエントリを1つ取得する。次いで、ファイル仮想化プログラム415は、ステップS803で取得したエントリが示す管理情報ファイル2100を取得する(ステップS804)。次いで、ファイル仮想化プログラム415は、ステップS804で取得した管理情報ファイル2100の示すユーザディレクトリ2200を取得し(ステップS805)、取得したユーザディレクトリ2200に基づいてCAS用ディレクトリ2300の情報を生成する(ステップS806)。
次に、ファイル仮想化プログラム415は、管理情報ファイル2100中のUUID2111への更新要求とともに、ステップS806で生成したCAS用ディレクトリ2300の情報をCAS200に転送する(ステップS807)。
CAS200のファイル仮想化プログラム423は、UUIDで特定されるCAS200内のCAS用ディレクトリ2300を更新し(ステップS808)、NAS100に更新の完了を返す(ステップS809)。
そして、ファイル仮想化プログラム415は、管理情報ファイル2100のディレクトリ状態2112をCachedにし(ステップS810)、ステップS801で取得したファイルリストからエントリを削除する(ステップS811)。
一方、ステップS812において、ファイル仮想化プログラム415は、データベース3200から操作を完了したエントリのDirty部有無3204をなしにする。
図19は、実施例に係るファイルストレージシステム1のファイルスタブ化処理の一例を説明するためのフローチャートである。
ファイルスタブ化処理が開始すると(ステップS900)、ファイル仮想化プログラム415は、データベース3200から、Dirty部有無3204がなしでタイプ3202がファイルのエントリをリストとして取得する(ステップS901)。
次いで、ファイル仮想化プログラム415は、ステップS901で取得したファイルリストが空であるかどうかを判定する(ステップS902)。その結果、判定が肯定されたら(ステップS902においてYES)プログラムはステップS908に移行し、判定が否定されたら(ステップS902においてNO)プログラムはステップS903に移行する。
ステップS703では、ファイル仮想化プログラム415が、ステップS901で取得したリストからエントリを1つ取得する。次いで、ファイル仮想化プログラム415は、ステップS703で取得したエントリが示す管理情報ファイル1100を取得する(ステップS904)。次いで、ファイル仮想化プログラム415は、ステップS904で取得した管理情報ファイル1100が示すユーザファイル1200を取得する(ステップS905)。
そして、ファイル仮想化プログラム415は、管理情報ファイル1100のファイル状態1112と転送部分リストの該当箇所の部分状態1123をStubにし(ステップS906)、ステップS901で取得したファイルリストからエントリを削除する(ステップS907)。
一方、ステップS908において、ファイル仮想化プログラム415は、データベース3200から操作を完了したエントリの非Stub部有無3205をなしにする。
図20は、実施例に係るファイルストレージシステム1のCAS側ファイル/ディレクトリ削除処理の一例を説明するためのフローチャートである。
CAS側ファイル/ディレクトリ削除処理が開始すると(ステップS1000)、ファイル仮想化プログラム415は、データベース3200から、削除フラグ3206がTrueのエントリをリストとして取得する(ステップS1001)。
次いで、ファイル仮想化プログラム415は、ステップS1001で取得したファイルリストが空であるかどうかを判定する(ステップS1002)。その結果、判定が肯定されたら(ステップS1002においてYES)プログラムはステップS1010に移行し、判定が否定されたら(ステップS1002においてNO)プログラムはステップS1003に移行する。
ステップS1003では、ファイル仮想化プログラム415が、ステップS1001で取得したリストからエントリを1つ取得する。次いで、ファイル仮想化プログラム415は、ステップS1003で取得したエントリが示す管理情報ファイル1100、2100を取得する(ステップS1004)。
次に、ファイル仮想化プログラム415は、管理情報ファイル1100、2100が示すUUID1111、2111の削除要求をCAS200に転送する(ステップS1005)。
CAS200のファイル仮想化プログラム423は、UUIDで特定されるCAS200内のユーザファイル1200/ユーザディレクトリ2200を削除し(ステップS1006)、NAS100に削除の完了を返す(ステップS1007)。
そして、ファイル仮想化プログラム415は、ステップS1001で取得したリストからエントリを削除する(ステップS1009)。
一方、ステップS1010において、ファイル仮想化プログラム415は、データベース3200から操作を完了したエントリのDirty部有無3204をなしにする。
図21は、実施例に係るファイルストレージシステム1のクローリング処理の一例を説明するためのフローチャートである。
クローリング処理が開始すると(ステップS1100)、ファイル仮想化プログラム415は、ファイル仮想化の対象となるユーザファイル1200/ユーザディレクトリ2200のルートディレクトリ2200に対して以下に示すステップS1200の処理を実行する。
ステップS1200では、まず、ファイル仮想化プログラム415が、該当するユーザファイル1200/ユーザディレクトリ2200の管理情報ファイル1100、2100を取得する(ステップS1202)。
次いで、ファイル仮想化プログラム415は、ステップS1202で取得した管理情報ファイル1100、2100のファイル状態1112/ディレクトリ状態2112がDirtyであるか否かを判定する(ステップS1203)。そして、判定が肯定されたら(ステップS1203においてYES)、プログラムはステップS1204に移行し、判定が否定されたら(ステップS1203においてNO)、プログラムはステップS1205に移行する。
ステップS1204では、Dirty部有無3204があり、非Stub部有無3205があり、削除フラグ3206がFalseとしてデータベース3200に対象のエントリを登録する。
ステップS1205では、ファイル仮想化プログラム415は、ステップS1202で取得した管理情報ファイル1100、2100のファイル状態1112/ディレクトリ状態2112がCachedであるか否かを判定する。そして、判定が肯定されたら(ステップS1205においてYES)、プログラムはステップS1206に移行し、判定が否定されたら(ステップS1205においてNO)、プログラムはステップS1207に移行する。
ステップS1206では、Dirty部有無3204がなし、非Stub部有無3205があり、削除フラグ3206がFalseとしてデータベース3200に対象のエントリを登録する。
ステップS1207では、ファイル仮想化プログラム415は、ステップS1202で取得した管理情報ファイル1100、2100のファイル状態1112/ディレクトリ状態2112がDeletedであるか否かを判定する。そして、判定が肯定されたら(ステップS1207においてYES)、プログラムはステップS1208に移行し、判定が否定されたら(ステップS1207においてNO)、プログラムはステップS1209に移行する。
ステップS1208では、Dirty部有無3204がなし、非Stub部有無3205がなし、削除フラグ3206がTrueとしてデータベース3200に対象のエントリを登録する。
ステップS1209では、ファイル仮想化プログラム415が、クローリング処理の対象がディレクトリであるか否かを判定する。そして、判定が肯定されたら(ステップS1209においてYES)、プログラムはステップS1210に移行し、判定が否定されたら(ステップS1209においてNO)、プログラムを終了する。
ステップS1210では、ディレクトリ内の各ファイル/ディレクトリに対してステップS1200の処理を実行する。
このように構成される本実施例によれば、ファイルストレージシステム1のNAS100は、クライアント600からのファイルの操作要求からファイルシステムの呼び出し処理までの間に割り込み、ファイルシステムへの入力情報または操作内容に基づいて、ファイルの状態管理情報である管理情報ファイル1100、2100の更新処理を追加している。
従って、本実施例によれば、ファイルシステムのバージョンアップに影響されずにファイル仮想化機能を提供することが可能となる。
また、NAS100は、ログファイル3100に、ファイルの生成から削除までの期間で変更がない、ファイルのアクセスに必要な情報を登録している。これにより、アクセス必要情報としてファイル生成から削除までの間に変更の生ずるパスを登録する方法と比較して、各ファイルのパス変更をトレースする処理が不要となるため、ファイル仮想化処理であるマイグレーション処理やスタブ化処理の際にログファイル3100を分析する負荷の増大を抑制することができる。
なお、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、SSD(Solid State Drive)、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、C/C++、perl、Shell、PHP、Java(登録商標)等の広範囲のプログラム又はスクリプト言語で実装できる。
上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
1…ファイルストレージシステム、10-1…サイト、10-2…サイト、20…データセンター、30…ネットワーク、100…NAS、200…CAS、411、421…ネットワークストレージプログラム、412…Hookプログラム、413、422…ローカルファイルシステムプログラム、414…データベースプログラム、415、423…ファイル仮想化プログラム、510…ローカルファイルシステム、520…ローカルファイルシステム、530…ネットワークファイルシステム、600…クライアント、1100、2100…管理情報ファイル、1200…ユーザファイル、2200…ユーザディレクトリ、2300…CAS用ディレクトリ、


Claims (10)

  1. アプリケーションに提供される第1のファイルシステムと、
    前記第1のファイルシステムによりファイルが格納される第1のストレージシステムと、
    プロセッサと、
    を有し、
    第2のストレージシステムを利用可能なファイルストレージシステムであって、
    前記ファイルの状態を格納した状態管理情報と、
    前記状態管理情報を管理する状態情報管理部と、
    前記第1のストレージシステム及び第2のストレージシステムに格納されるファイルを管理するファイル仮想化部と、
    を備え、
    前記プロセッサは、前記アプリケーションからの前記ファイルの操作要求に基づいて、前記第1のファイルシステムの呼び出し処理を行い、
    前記第1のファイルシステムは、前記ファイルの操作要求を処理し、
    前記状態情報管理部は、前記操作要求にかかる前記第1のファイルシステムへの入力情報または操作内容に基づいて、前記ファイルの状態管理情報の更新処理を行い、
    前記ファイル仮想化部は、前記状態管理情報に基づいて、前記第1のストレージシステムと前記第2のストレージシステムとの間で前記ファイルの管理処理を行い、
    前記状態情報管理部は、前記状態管理情報の更新に加えて前記操作要求のログを作成し、
    前記ファイル仮想化部は、前記操作要求のログに基づいて、前記ファイルの管理処理を行う
    ことを特徴とするファイルストレージシステム。
  2. 前記ファイルの管理処理は、前記第1のストレージシステムと第2のストレージシステムとの間でのファイルのスタブ化またはマイグレーションであることを特徴とする請求項1に記載のファイルストレージシステム。
  3. 第2のストレージシステムには、第2のファイルシステムによりファイルが格納され、
    第1のファイルシステムは階層構造を有し、第2のファイルシステムは階層構造を有さず、
    前記ファイル仮想化部は、第1のファイルシステムと、第2のファイルシステムと、の間で前記ファイルの管理処理を行う
    ことを特徴とする請求項2に記載のファイルストレージシステム。
  4. 前記状態情報管理部は、前記第1のファイルシステムの呼び出し処理までに、前記ファイルの状態管理情報の更新処理を行う
    ことを特徴とする請求項1に記載のファイルストレージシステム。
  5. 前記状態情報管理部は、前記ログに、前記ファイルの生成から削除までの期間で変更がなく前記ファイルのアクセスに用いる情報を登録することを特徴とする請求項1に記載のファイルストレージシステム。
  6. 前記ファイル仮想化部は、前記第1のストレージシステムが異常終了から復帰する際に、前記状態管理情報を用いて前記ファイルのクローリング処理を行うことを特徴とする請求項1に記載のファイルストレージシステム。
  7. 前記第1のファイルシステムと、前記第1のストレージシステムと、前記プロセッサと、前記状態情報管理部と、前記状態管理情報と、前記ファイル仮想化部と、を有する第1計算機システムと、
    前記第2のストレージシステムを有して、前記第1の計算機システムに格納されるファイルのバックアップを行う第2の計算機システムと、
    を備え、
    前記ファイル仮想化部は、前記状態管理情報として前記ファイルの更新状態と前記ファイルを構成するデータについての前記第2の計算機システムとの間での前記ファイルの複製状況に関する少なくとも一つの状態を記録することを特徴とする請求項1に記載のファイルストレージシステム。
  8. 前記状態情報管理部は、前記データの少なくとも一部に対して前記第2の計算機システムとの間での前記ファイルの複製状況に関する少なくとも一つの状態を記録することを特徴とする請求項7に記載のファイルストレージシステム。
  9. 前記状態情報管理部は、前記第2の計算機システムに前記ファイルをバックアップする際に、前記ファイルの生成から削除までの期間で変更がない識別子で管理することを特徴とする請求項7に記載のファイルストレージシステム。
  10. アプリケーションに提供される第1のファイルシステムと、
    前記第1のファイルシステムによりファイルが格納される第1のストレージシステムと、
    プロセッサと
    を有し、
    第2のストレージシステムを利用可能なファイルストレージシステムの管理方法であって、
    前記ファイルストレージシステムは、
    前記アプリケーションからの前記ファイルの操作要求に基づいて、前記第1のファイルシステムの呼び出し処理を行い、
    前記ファイルの操作要求を処理し、
    前記操作要求にかかる前記第1のファイルシステムへの入力情報または操作内容に基づいて、前記ファイルの状態が格納された状態管理情報の更新と前記操作要求のログの作成を行い、
    前記状態管理情報及び前記操作要求のログに基づいて、前記第1のストレージシステムと前記第2のストレージシステムとの間で前記ファイルの管理処理を行う
    ことを特徴とするファイルストレージシステムの管理方法。
JP2022109141A 2020-03-26 2022-07-06 ファイルストレージシステム及びファイルストレージシステムの管理方法 Active JP7344352B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022109141A JP7344352B2 (ja) 2020-03-26 2022-07-06 ファイルストレージシステム及びファイルストレージシステムの管理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020055648A JP7102455B2 (ja) 2020-03-26 2020-03-26 ファイルストレージシステム及びファイルストレージシステムの管理方法
JP2022109141A JP7344352B2 (ja) 2020-03-26 2022-07-06 ファイルストレージシステム及びファイルストレージシステムの管理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020055648A Division JP7102455B2 (ja) 2020-03-26 2020-03-26 ファイルストレージシステム及びファイルストレージシステムの管理方法

Publications (3)

Publication Number Publication Date
JP2022125253A true JP2022125253A (ja) 2022-08-26
JP2022125253A5 JP2022125253A5 (ja) 2022-10-03
JP7344352B2 JP7344352B2 (ja) 2023-09-13

Family

ID=77808366

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020055648A Active JP7102455B2 (ja) 2020-03-26 2020-03-26 ファイルストレージシステム及びファイルストレージシステムの管理方法
JP2022109141A Active JP7344352B2 (ja) 2020-03-26 2022-07-06 ファイルストレージシステム及びファイルストレージシステムの管理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020055648A Active JP7102455B2 (ja) 2020-03-26 2020-03-26 ファイルストレージシステム及びファイルストレージシステムの管理方法

Country Status (3)

Country Link
US (2) US11294567B2 (ja)
JP (2) JP7102455B2 (ja)
CN (1) CN113448500B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11971853B2 (en) * 2022-09-30 2024-04-30 International Business Machines Corporation Optimizing removable media library file removal

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015984A (ja) * 2006-07-10 2008-01-24 Nec Corp データ移行装置及び方法並びにプログラム
JP2008234570A (ja) * 2007-03-23 2008-10-02 Hitachi Ltd データ移行処理装置
JP2019003288A (ja) * 2017-06-12 2019-01-10 日本電信電話株式会社 ジャーナルログ制御システム、ジャーナルログ制御方法およびジャーナルログ制御プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100354176B1 (ko) * 1999-12-10 2002-09-28 엘지전자 주식회사 기록 디지털 스트림의 파일 관리방법
US20080155214A1 (en) * 2006-12-21 2008-06-26 Hidehisa Shitomi Method and apparatus for file system virtualization
JP2009059201A (ja) * 2007-08-31 2009-03-19 Hitachi Ltd ファイルレベルの仮想化と移行を行う中間装置
US8359593B2 (en) * 2008-04-21 2013-01-22 Vmware, Inc. Computer machine migration of file system images using a redo-log file
JP5183300B2 (ja) * 2008-05-28 2013-04-17 株式会社日立製作所 ファイルシステムの移行方法、移行計算機及びプログラム
JP5551245B2 (ja) * 2010-03-19 2014-07-16 株式会社日立製作所 ファイル共有システムおよびファイル処理方法、並びにプログラム
US8762344B2 (en) 2010-09-17 2014-06-24 Hitachi, Ltd. Method for managing information processing system and data management computer system
JP5661188B2 (ja) * 2011-04-08 2015-01-28 株式会社日立製作所 ファイルシステム及びデータ処理方法
US9323624B2 (en) * 2011-09-07 2016-04-26 Orega Inc. File management system and file management method
KR102007650B1 (ko) * 2012-10-05 2019-10-23 삼성전자 주식회사 세그먼트 그룹을 고려하는 세그먼트 클리닝 장치 및 방법
CN105579950B (zh) 2013-07-02 2019-04-19 日立数据系统工程英国有限公司 用于虚拟化文件系统的迁移的方法和装置、用于虚拟化文件系统的迁移的数据存储系统以及用于在数据存储系统中使用的文件服务器
EP2840481B1 (en) * 2013-07-02 2017-09-06 Hitachi Data Systems Engineering UK Limited Apparatus and computer program product for virtualization of a file system
US20160006829A1 (en) 2013-10-02 2016-01-07 Hitachi, Ltd. Data management system and data management method
KR20150082010A (ko) * 2014-01-07 2015-07-15 삼성전자주식회사 불휘발성 메모리 파일 시스템에서의 마이크로 저널링 방법
US20160210306A1 (en) * 2015-01-15 2016-07-21 Commvault Systems, Inc. Managing structured data in a data storage system
US11240302B1 (en) * 2016-06-16 2022-02-01 Amazon Technologies, Inc. Live migration of log-based consistency mechanisms for data stores
US10545750B2 (en) * 2017-12-06 2020-01-28 Vmware, Inc. Distributed upgrade in virtualized computing environments
US11347696B2 (en) * 2019-02-19 2022-05-31 Oracle International Corporation System for transition from a hierarchical file system to an object store

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015984A (ja) * 2006-07-10 2008-01-24 Nec Corp データ移行装置及び方法並びにプログラム
JP2008234570A (ja) * 2007-03-23 2008-10-02 Hitachi Ltd データ移行処理装置
JP2019003288A (ja) * 2017-06-12 2019-01-10 日本電信電話株式会社 ジャーナルログ制御システム、ジャーナルログ制御方法およびジャーナルログ制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高良 亜紀子 外: "RAID型ファイルシステムVAFS/HRのファイルアクセス制御方式", 第49回(平成6年後期)全国大会講演論文集(4), JPN6023025888, 20 September 1994 (1994-09-20), JP, pages 4 - 99, ISSN: 0005093060 *

Also Published As

Publication number Publication date
JP7344352B2 (ja) 2023-09-13
US20210303158A1 (en) 2021-09-30
JP2021157381A (ja) 2021-10-07
JP7102455B2 (ja) 2022-07-19
US11294567B2 (en) 2022-04-05
US11687239B2 (en) 2023-06-27
CN113448500B (zh) 2024-01-05
US20220214811A1 (en) 2022-07-07
CN113448500A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
US10936240B2 (en) Using merged snapshots to increase operational efficiency for network caching based disaster recovery
US10031703B1 (en) Extent-based tiering for virtual storage using full LUNs
US8015157B2 (en) File sharing system, file server, and method for managing files
US8600943B1 (en) Porting replication relationships
JP5876592B2 (ja) ファイルストレージシステムとファイルクローニング方法
US8352426B2 (en) Computing system and data management method
JP2008242788A (ja) 重複したファイルの記憶を防ぐコンピュータシステム
WO2013042159A1 (en) Storage apparatus, computer system, and data migration method
US8386492B2 (en) Information processing system and data backup method in information processing system
JP2010102479A (ja) 計算機システム、ストレージ装置及びデータ更新方法
US10740039B2 (en) Supporting file system clones in any ordered key-value store
US11263252B2 (en) Supporting file system clones in any ordered key-value store using inode back pointers
JP2014505910A (ja) 計算機及び計算機によるデータ管理方法
EP4124968A1 (en) Technique for efficiently indexing data of an archival storage system
JP7344352B2 (ja) ファイルストレージシステム及びファイルストレージシステムの管理方法
US10936243B2 (en) Storage system and data transfer control method
JP2021189520A (ja) 分散ファイルシステム、及び分散ファイル管理方法
US10698627B2 (en) Storage system and storage control method
JP2024027156A (ja) 情報処理システム及び方法
US10303556B1 (en) Modifiable volume snapshots
US8447944B2 (en) Information processing device and data shredding method
WO2017145214A1 (ja) センタノードからエッジノードにデータを転送する計算機システム
US11636073B2 (en) File storage system and file management method by file storage system
JP6686976B2 (ja) 仮想テープ管理装置、仮想テープ管理方法、及びプログラム
JP2023110632A (ja) ファイルストレージシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230901

R150 Certificate of patent or registration of utility model

Ref document number: 7344352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150