JP5082310B2 - データ移行装置及びプログラム - Google Patents
データ移行装置及びプログラム Download PDFInfo
- Publication number
- JP5082310B2 JP5082310B2 JP2006189315A JP2006189315A JP5082310B2 JP 5082310 B2 JP5082310 B2 JP 5082310B2 JP 2006189315 A JP2006189315 A JP 2006189315A JP 2006189315 A JP2006189315 A JP 2006189315A JP 5082310 B2 JP5082310 B2 JP 5082310B2
- Authority
- JP
- Japan
- Prior art keywords
- migration
- data
- file
- storage
- destination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
・性能、
・価格、
・容量、及び、
・データ保存のための付加機能、
といった特徴に関して、互いに異なる複数のストレージ装置を、階層状に組み合わせることにより、ユーザやシステムの利用状況に合わせた最適なデータ格納場所となるストレージ装置を選択し、そのストレージ装置へ自動的にデータを再配置する、「HSM (Hierarchical Storage Management)」と呼ばれる、ストレージ運用手法が用いられる。
「ストレージに格納される全てのデータが均等にアクセスされるのではなく、新規作成からの時間の経過と共にアクセス頻度が低下し、データの鮮度によってアクセス数に偏りが発生する」
というデータの一般的な傾向を活かし、次のようなデータ再配置の仕組み(機構)が、ストレージ運用システムに組み込まれる。
・新しく生成された全てのデータを、ディスクストレージに、一旦格納した後、
データのアクセス状況から、
・再びアクセスされる可能性の高いデータについては、ディスクストレージへ残し、
・再びアクセスされる可能性の低いデータは、テープストレージへ自動的に再配置する、
というものである。
・ディスクストレージに相当する位置に設置されるストレージ装置は、「プライマリストレージ(1st tierストレージ)」と呼ばれ、
・テープストレージに相当する位置に設置されるストレージ装置は、「セカンダリストレージ(2nd tierストレージ)」と呼ばれる。プライマリストレージ、セカンダリストレージとしては、運用目的にあわせたストレージ装置がそれぞれ選択される。
・データにアクセスするマシンに対して、プライマリストレージからセカンダリストレージへデータが再配置したことを隠蔽し、データ再配置後も、再配置前と同等のデータアクセス環境を提供する機能、及び、
・予め定められたルールに基づき、再配置の対象となるデータを選択し、自動的にデータを再配置する機能、
の2つの機能を備えている。
・ファイル名、
・ファイルサイズ、
・アクセス制御情報
といったファイルの属性情報を含むが、これらのファイル属性情報は、再配置対象となったファイルから引継いでいる。
・プライマリストレージ内に、又は
・プライマリストレージ、もしくはセカンダリストレージを集中管理する管理ソフトウェア内に、
実装されている。
(A1)システム管理者等により、予めスケジューリングされたタイミングに従って、プライマリストレージ内に格納されたファイルの属性情報を取得し、
(A2)システム管理者等により予め設定された、再配置条件に合致するファイルを抽出し、
(A3)該抽出したファイルのデータを、セカンダリストレージに再配置し、
(A4)プライマリストレージ内へはスタブファイルを、該再配置したデータの代わりに作成する、
という、一連の処理を行うことで、データの再配置を完了する。
(B1)システム管理者等により予め定められた条件に合致するファイルを抽出し、
(B2)再びプライマリストレージにデータを再配置する、
という操作を実施する。
プライマリストレージとセカンダリストレージ間での再配置操作は、
再配置の対象となるファイルが、
・スタブファイルで置き換えられたデータであるのか、
・通常ファイルであるのか、
を判別しなければならない。
・スタブファイルの判別処理を実施するための情報の取得作業や、
・スタブファイル内のアドレス情報の読み出し、
を可能とするような構成とされている。
・ファイルデータの読み出しや更新処理を行う際も、通常のデータアクセスであれば、ファイルシステムが変更してしまう時間属性の情報を更新せずに、読み出しや更新処理を実施することができる、
・標準のファイルシステムコールからは設定できない属性の情報を設定できる、
などの特徴を持っている。
・データ再配置前と同等のデータアクセス環境を提供する機能と、
・データの自動再配置機能
においては、
プライマリストレージのファイルシステム固有の拡張機能を活用することで、
・データアクセス元にデータが再配置したことを隠蔽する、とともに、
・システム管理者により予め定められた再配置ルールに基づいて自動的にデータを再配置する、
といった、HSMの動作を実現することが可能となっている。
該目的ファイルサーバにおけるロケーションコンポーネントをアップデータすることによって、ファイルの該セットにおける各ファイルに関連したレポジトリノードのリストを維持することと、
各スタブファイルを該スタブファイルに関連した該ファイルの満杯の内容と置換することと、
各スタブファイルを置換する一方で、ファイルの該セットにおける特定されたファイルに対するクライアント要求を受け取ると、該特定されたファイルの該満杯の内容が依然転送されていないとき、該特定されたファイルに対する該スタブファイルを該特定されたファイルの満杯の内容と置換することと
を包含し、該特定されたファイルに対する該スタブファイルを置換することは、要求されていないファイルに対する該スタブファイルを置換することより優先度が高いタスクである、方法が開示されている。
例えば、HSMの管理対象として活用しているプライマリストレージに相当するストレージ装置の老朽化等により、ストレージ装置自体を、他のストレージ装置にリプレースする場合、リプレース元となるストレージ装置(被交換装置)に格納されているデータを、リプレース先となるストレージ装置へ移行する、必要がある。
・ファイルシステムやファイルシステムを構成するボリューム単位でのデータのレプリケーションを実施するストレージ装置固有インターフェースを用いてデータを移行する手段と、
・NFS(Network File System)やCIFS(Common Internet File System)といった業界標準のファイルアクセスプロトコルを用いてデータを移行する手段と、
を用いることができる。
・データ移行先のプライマリストレージにおいて、データ移行元で格納されている全データ容量と同等のデータ格納領域を予め確保しておき、
・データ移行先のプライマリストレージにおいて、全てのデータがプライマリストレージに移行した後、データ移行先のプライマリストレージに係るデータ再配置手段によってデータ再配置対象の評価を行う必要がある。
・スタブファイルと通常ファイルを区別可能とし、
・通常ファイルシステムコールを経由せずに、データ移行元からデータ移行先に、データを移行する、
ようにしないと、既存のHSMの実施環境のデータ配置構成を維持したまま、他のHSM実施環境へデータを移行することができない。
(a1)移行元と移行先のストレージ装置における、HSMを実現するためのファイルシステム固有の拡張機能を経由して、スタブファイルと通常ファイルを判別し、
(a2)移行対象のファイルがスタブファイルであった場合は、移行元のプライマリストレージ内に格納されたスタブファイルを移行先のプライマリストレージ用のファイルシステム固有の拡張機能、及びデータの自動再配置機能に対応したスタブファイルに変換する手段と、
(a3)前記移行元のプライマリストレージ内に格納されたスタブファイル内のアドレスから、移行元となるセカンダリストレージに格納されているデータを読み出し、前記スタブファイルの変換手段と連動して、移行先のセカンダリストレージに直接データを格納する手段と、
を備える。
データ配置形態として、ファイルデータを、
データのポインタ情報を少なくとも含み、予め定められた形式の所定ファイルと、
前記所定ファイルのポインタ情報によってポイントされるデータと、に、記憶手段を分散させて、配置する形態を含む移行元から、移行先へ、データ配置形態を保存して、データの再配置を行う方法であって、
移行対象ファイルが前記所定ファイルであるか否か判別し、前記所定ファイルである場合、前記所定ファイルの前記ポインタ情報でポイントされる前記データを、移行元の記憶手段より読み出して、移行先の対応する記憶手段に配置し、
前記移行先の対応する記憶手段に配置されたデータをポイントするポインタ情報を少なくとも含み、移行先の予め定められた形式に適合した所定ファイルを、前記移行先のデータとは分散した形態で前記移行先の記憶手段に配置する、
上記各工程を含む。
前記所定ファイルである場合、前記所定ファイルの前記ポインタ情報でポイントされる前記データを、前記移行元の第2のストレージから読み出して、前記データを対応する移行先の第3のストレージに配置し、
前記移行先の第4のストレージに、移行先の予め定められた形式に適合した所定ファイルを作成し、前記移行先の第4のストレージの前記所定ファイルのポインタ情報が前記移行先の第2のストレージに配置された前記データをポイントするように設定する。
移行元のプライマリストレージ、セカンダリストレージでのデータ配置構成に基づき、移行対象がスタブファイルであるか否かを判断し、
移行先となるHSM実施環境のスタブファイルフォーマット、セカンダリストレージへのデータ配置ルールに従って、移行対象のスタブファイルを、移行先に適合したスタブファイルに変換し、
移行元のスタブファイルに保持されたアドレスから移行元のセカンダリストレージのデータを読み出して、前記データを、移行先のセカンダリストレージに格納するとともに、前記変換したスタブファイルを移行先のプライマリストレージに格納し、
一方、通常のファイルは、移行元のプライマリストレージから移行先のプライマリストレージへ移行させる、ことを特徴とする。
移行元と移行先のストレージにおけるHSMを実現するためのファイルシステム固有の拡張機能を経由してスタブファイルと通常ファイルの判別を行い、
移行対象がスタブファイルである場合、移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、移行元のセカンダリストレージにおけるデータの格納先アドレスに基づき、移行元のセカンダリストレージからデータを読み出し、
移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、移行元のセカンダリストレージから読み出したデータを書き込み、
移行元のプライマリストレージに格納されているスタブファイルの属性情報を読み込み、前記移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成し、
移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、移行先のセカンダリストレージに格納したデータのアドレス情報と、データ移行元のプライマリストレージから取得した前記属性情報を付与することで、移行対象のスタブファイルに関するデータの移行を完了させる、ようにしてもよい。
前記移行先のプライマリストレージから、移行対象となるファイルエントリ情報を読み出し、
記憶装置より、移行元、移行先における、スタブファイルのフォーマット情報、セカンダリストレージへのデータ格納方法の情報を取得し、
移行対象がスタブファイルの場合、前記取得した移行元、移行先におけるスタブファイルのフォーマット、セカンダリストレージへのデータ格納方法の情報に従って、移行元のスタブファイル、対応するセカンダリストレージのデータを、移行先のプライマリストレージ、セカンダリストレージにそれぞれ配置し、
移行対象がファイル、ディレクトリの場合、移行元と同名、同一の属性を持つファイル、ディレクトリを移行先のプライマリストレージに作成する、
上記各工程を含む。
(a)移行元のプライマリストレージの情報を取得し、前記移行元のプライマリストレージのHSM用インターフェースにアクセスするためのコマンドセットを用いて、データ移行領域に含まれる、ファイル及びディレクトリのパス名と、前記ファイル及びディレクトリに関連付けられたオブジェクトIDを移行元のプライマリストレージから取得して、移行が終了したか否かを示すフラグとともに記憶管理し、
(b)移行元のプライマリストレージ、セカンダリストレージ、移行先のプライマリストレージ、セカンダリストレージに関する情報より、移行元となるストレージ装置、及び、移行先となるストレージ装置とデータ格納先とを確定し、
(c)移行対象として管理登録されているファイル及びディレクトリのうち、移行の終了を示すフラグのたっていないディレクトリ、ファイルに対して、移行元のプライマリストレージに格納されているファイル及びディレクトリにアクセスし、アクセス先がディレクトリであるかファイルであるか判断し、
(d)アクセス先がディレクトリの場合、移行先のプライマリストレージに移行元と同名となる、ディレクトリを作成し、移行対象として管理されている前記ディレクトリの情報に、移行終了を示すフラグを立て、
(e)アクセス先がファイルの場合には、スタブファイルであるか調べ、スタブファイルである場合、移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、セカンダリストレージにおけるデータの格納先アドレスに基づき、移行元のセカンダリストレージからデータを読み出し、移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、移行元のセカンダリストレージから読み出したデータを書き込み、移行元のプライマリストレージに格納されている該スタブファイルの属性情報を読み込み、前記移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成し、
(f)移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、移行先のセカンダリストレージに格納したデータのアドレス情報と、データ移行元のプライマリストレージから取得した前記属性情報を付与することで、データの移行を完了し、移行対象として管理される前記ファイルの情報に移行終了を示すフラグを立て、
(g)移行対象が通常ファイルである場合、移行元のプライマリストレージに格納されている、前記ファイルのデータ、及び属性情報を読み込み、移行先のプライマリストレージへ、前記ファイルと同名のファイルを作成し、前記作成ファイルに、データ移行元のプライマリストレージから取得した前記属性情報を付与することで、データの移行を完了し、移行対象として管理される前記ファイルの情報に移行終了を示すフラグを立て、
(h)移行対象として管理されている、全てのファイル、及び、全てのディレクトリに関して、移行終了を示すフラグが立った場合、移行処理を終了する、
ようにしてもよい。
(i)処理内容、処理対象のオブジェクトIDを含む情報が、移行元のプライマリストレージからデータ移行装置に転送され、
(j)前記データ移行装置では、前記転送された前記情報を一旦格納し、
(k)更新系の処理であった場合、移行元のプライマリストレージから、前記オブジェクトIDを要求キーとして、パス名を取得し、
(l)実施途中のデータ移行処理が終了次第、前記オブジェクトIDと同一となる移行対象ファイルもしくはディレクトリが存在するか確認し、
(m)前記オブジェクトIDと同一となるファイルもしくはディレクトリが存在していた場合には、移行終了を示すフラグが立っているか否かを確認し、
(n)前記移行終了を示すフラグが立っている場合、移行が完了していないことを表す状態とし、前記処理内容がファイル属性の変更処理である場合には、移行対象として記憶管理される処理対象のファイルの属性情報を、移行先に反映した後に、移行終了を示すフラグを立て、
(o)前記処理内容がデータの更新処理である場合には、移行対象として記憶管理される前記処理対象のファイルの移行終了を示すフラグを取り消し、移行先のHSM実施環境に格納されているデータを削除した後、移行終了を示すフラグを立て、
(p)前記処理内容が削除処理である場合には、移行先HSM実施環境に格納されている処理対象のデータを削除した後、移行対象として記憶管理される処理対象のファイル又はディレクトリの情報を削除し、
(q)前記処理内容がファイル、もしくはディレクトリの移動処理であった場合には、移行先HSM実施環境に格納されている、ファイル、もしくはディレクトリを、前記処理における移動先のパス名と同じパス名となる場所へ移動した後、移行終了を示すフラグを立て、
(r)前記移行終了フラグが立っていない場合、前記処理内容がファイル、もしくはディレクトリの移動処理の場合、移行対象として記憶管理される前記処理対象の情報のパス名を変更し、前記処理内容が削除処理の場合、移行対象として記憶管理される前記処理対象の情報を削除し、前記処理内容が、ファイル属性の変更、もしくはデータの更新処理であった場合は、何も実施しないようにしてもよい。
データのポインタ情報を少なくとも含み、予め定められた形式の所定ファイルと、
前記所定ファイルのポインタ情報によってポイントされるデータと、
に、記憶手段を分散させて、配置する形態を含む移行元から、移行先へ、データ配置形態を保存して、データの再配置を行う装置であって、
移行対象ファイルが前記所定ファイルであるか否か判別し、前記所定ファイルである場合、前記所定ファイルの前記ポインタ情報でポイントされる前記データを、移行元の記憶手段より読み出して、移行先の対応する記憶手段に配置する制御を行う手段と、
前記移行先の対応する記憶手段に配置されたデータをポイントするポインタ情報を少なくとも含み、移行先の予め定められた形式に適合した所定ファイルを、前記移行先のデータとは分散した形態で前記移行先の記憶手段に配置する制御を行う手段と、
を備えている。
移行元のプライマリストレージ、セカンダリストレージでのデータ配置構成に基づき、移行対象がスタブファイルであるか否かを判断する手段と、
移行先となるHSM実施環境のスタブファイルフォーマット、セカンダリストレージへのデータ配置ルールに従って、移行対象のスタブファイルを、移行先に適合したスタブファイルに変換する手段と、
移行元のスタブファイルに保持されたアドレスから移行元のセカンダリストレージのデータを読み出して、前記データを、移行先のセカンダリストレージに格納するとともに、前記変換したスタブファイルを移行先のプライマリストレージに格納する手段と、
移行対象がスタブファイル以外の通常のファイルについては、移行元のプライマリストレージから移行先のプライマリストレージへ移行させる制御を行う手段と、を備えている、ことを特徴とする。
移行元と移行先のストレージにおけるHSMを実現するためのファイルシステム固有の拡張機能を経由してスタブファイルと通常ファイルの判別を行う手段と、
移行対象がスタブファイルである場合、移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、移行元のセカンダリストレージにおけるデータの格納先アドレスに基づき、移行元のセカンダリストレージからデータを読み出す手段と、
移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、移行元のセカンダリストレージから読み出したデータを書き込むように制御する手段と、
移行元のプライマリストレージに格納されているスタブファイルの属性情報を読み込み、前記移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成する手段と、
移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、移行先のセカンダリストレージに格納したデータのアドレス情報と、データ移行元のプライマリストレージから取得した前記属性情報を付与することで、移行対象のスタブファイルに関するデータの移行を完了させる手段と、を備えている。
前記管理インターフェースは、データ移行作業を実施するにあたり、必要となる事前設定情報を、前記移行処理情報管理部へ通知するとともに、前記データ移行処理制御部より、データ移行処理の実施状況に関する情報を取得する機能、及び、前記データ移行処理制御部に対して、移行処理開始命令を通知する機能を備えている。
前記HSM処理情報管理部には、HSM実施環境におけるHSM用インターフェースを介したファイルシステム固有の拡張機能の各種処理を実施するためのコマンドセット、スタブファイルの生成フォーマット、及び前記各ポリシー管理装置における、セカンダリストレージへのデータ再配置ルールが格納される。
前記移行処理情報管理部には、前記管理インターフェースを介して設定された、移行対象となるストレージの情報と、移行元のプライマリストレージにおける、移行対象となるデータ領域の情報と、移行先のストレージのデータ格納領域の情報と、前記ポリシー管理装置の機器情報が格納される。
前記移行ファイル管理部には、前記管理インターフェースを介して設定された、移行するデータ領域に含まれる全てのファイル、及びディレクトリのパス名と、ファイルシステム上でのファイル、ディレクトリを識別するオブジェクトIDと、前記ファイル、及びディレクトリに関してデータ移行が終了したか否かを示すフラグ情報が格納される。
前記ファイルシステムイベント管理部は、前記HSMインターフェースを介して通知される、一般のデータアクセス元からの特定の標準のファイルシステムコールを介した処理が実施された場合の処理イベント情報を取得し、前記処理イベント情報を、前記データ移行処理制御部へ転送する機能を備えている。
前記データ移行処理制御部は、前記HSM処理情報管理部、前記移行処理情報管理部、前記移行ファイル管理部に格納されている情報、及び、前記ファイルシステムイベント管理部から通知される、イベント情報に基づき、移行元のHSM実施環境から、移行先のHSM実施環境へデータ移動する、機能を備え、データ移行処理の実施状況に関する情報を生成する機能を備えた構成としてもよい。
データ移行先のプライマリストレージ、データ移行先のセカンダリストレージ、及び、これらのストレージを予め定められたルールに基づいてデータの再配置制御を実施するデータ移行先ポリシー管理装置を備えた、データの移行先となるHSM実施環境と、
移行元となるHSM実施環境から移行先となるHSM実施環境へデータの移行処理を実施するデータ移行装置と、
を備え、
データ移行元のプライマリストレージとデータ移行先のプライマリストレージは、それぞれファイルシステム、及びHSM用インターフェースを備えており、ファイルシステムに格納されるデータは、HSM用インターフェースを介して外部からアクセスされ、
前記データ移行装置は、管理インターフェース、データ移行処理制御部、HSM処理情報管理部、移行処理情報管理部、移行ファイル管理部、及び、ファイルシステムイベント管理部を備えている。
前記管理インターフェースは、データ移行作業を実施するにあたり、必要となる事前設定情報を、前記移行処理情報管理部へ通知するとともに、前記データ移行処理制御部より、データ移行処理の実施状況に関する情報を取得する機能、及び、前記データ移行処理制御部に対して、移行処理開始命令を通知する機能を備えている。
前記HSM処理情報管理部には、HSM実施環境におけるHSM用インターフェースを介したファイルシステム固有の拡張機能の各種処理を実施するためのコマンドセット、スタブファイルの生成フォーマット、及び前記各ポリシー管理装置における、セカンダリストレージへのデータ再配置ルールが格納される。
前記移行処理情報管理部には、前記管理インターフェースを介して設定された、移行対象となるストレージの情報と、移行元のプライマリストレージにおける、移行対象となるデータ領域の情報と、移行先のストレージのデータ格納領域の情報と、前記ポリシー管理装置の機器情報が格納される。
前記移行ファイル管理部には、前記管理インターフェースを介して設定された、移行するデータ領域に含まれる全てのファイル、及びディレクトリのパス名と、ファイルシステム上でのファイル、ディレクトリを識別するオブジェクトIDと、前記ファイル、及びディレクトリに関してデータ移行が終了したか否かを示すフラグ情報が格納される。
前記ファイルシステムイベント管理部は、
前記HSMインターフェースを介して通知される、一般のデータアクセス元からの特定の標準のファイルシステムコールを介した処理が実施された場合の処理イベント情報を取得し、前記処理イベント情報を、前記データ移行処理制御部へ転送する機能を備え、
前記データ移行処理制御部は、前記HSM処理情報管理部、前記移行処理情報管理部、前記移行ファイル管理部に格納されている情報、及び、前記ファイルシステムイベント管理部から通知される、イベント情報に基づき、移行元のHSM実施環境から、移行先のHSM実施環境へデータ移動する、機能を備え、データ移行処理の実施状況に関する情報を生成する機能を備えている。
前記データ移行処理制御部は、前記移行処理情報管理部より、移行元のプライマリストレージの情報を取得し、
前記HSM処理情報管理部に登録されている、前記移行元のプライマリストレージのHSM用インターフェースにアクセスするためのコマンドセットを用いて、データ移行領域に含まれる、ファイル及びディレクトリのパス名と、前記ファイル及びディレクトリに関連付けられたオブジェクトIDを移行元のプライマリストレージから取得して、前記移行ファイル管理部に格納し、
前記データ移行処理制御部は、前記移行処理情報管理部より、移行元のプライマリストレージ、セカンダリストレージ、移行先のプライマリストレージ、セカンダリストレージに関する情報より、移行元となるストレージ装置、及び、移行先となるストレージ装置とデータ格納先とを確定し、
前記データ移行処理制御部は、前記移行ファイル管理部に登録されているファイル及びディレクトリのうち、移行の終了を示すフラグのたっていないディレクトリ、ファイルに対して、移行元のプライマリストレージに格納されているファイル及びディレクトリにアクセスし、アクセス先がディレクトリであるかファイルであるか判断し、
アクセス先がディレクトリの場合、移行先のプライマリストレージに移行元と同名となる、ディレクトリを作成し、移行対象として管理されている前記ディレクトリの情報に、移行終了を示すフラグを立て、
アクセス先がファイルの場合には、前記データ移行処理制御部は、スタブファイルであるか調べ、スタブファイルである場合、移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、セカンダリストレージにおけるデータの格納先アドレスに基づき、移行元のセカンダリストレージからデータを読み出し、移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、移行元のセカンダリストレージから読み出したデータを書き込み、移行元のプライマリストレージに格納されている該スタブファイルの属性情報を読み込み、前記移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成し、
移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、移行先のセカンダリストレージに格納したデータのアドレス情報と、データ移行元のプライマリストレージから取得した前記属性情報を付与することで、データの移行を完了し、前記移行ファイル管理部に登録されている前記ファイルの情報に移行終了を示すフラグを立て、
移行対象が通常ファイルである場合、前記データ移行処理制御部は、移行元のプライマリストレージに格納されている、前記ファイルのデータ、及び属性情報を読み込み、移行先のプライマリストレージへ、前記ファイルと同名のファイルを作成し、前記作成ファイルに、データ移行元のプライマリストレージから取得した前記属性情報を付与することで、データの移行を完了し、前記移行ファイル管理部に登録されている前記ファイルの情報に移行終了を示すフラグを立て、
前記移行ファイル管理部に登録されている、全てのファイル、及び、全てのディレクトリに関して、移行終了を示すフラグが立った場合、移行処理を終了する、構成としてもよい。
前記データ移行装置では、前記ファイルシステムイベント管理部に前記転送された前記情報を一旦格納し、
更新系の処理であった場合、前記ファイルシステムイベント管理部は、移行元のプライマリストレージから、前記オブジェクトIDを要求キーとして、パス名を取得し、
前記データ移行処理制御部は、
実施途中のデータ移行処理が終了次第、前記オブジェクトIDと同一となる移行対象ファイルもしくはディレクトリが存在するか確認し、
前記オブジェクトIDと同一となるファイルもしくはディレクトリが存在していた場合には、移行終了を示すフラグが立っているか否かを確認し、
前記移行ファイル管理部において前記移行終了を示すフラグが立っている場合、移行が完了していないことを表す状態とし、前記処理内容がファイル属性の変更処理である場合には、移行対象として記憶管理される処理対象のファイルの属性情報を、移行先に反映した後に、移行終了を示すフラグを立て、
前記処理内容がデータの更新処理である場合には、前記データ移行処理制御部は、前記移行ファイル管理部に登録されている、前記処理対象のファイルの移行終了を示すフラグを取り消し、移行先のHSM実施環境に格納されているデータを削除した後、移行終了を示すフラグを立て、
前記処理内容が削除処理である場合には、前記データ移行処理制御部は、移行先HSM実施環境に格納されている処理対象のデータを削除した後、前記移行ファイル管理部に格納されている処理対象のファイル又はディレクトリの情報を削除し、
前記処理内容がファイル、もしくはディレクトリの移動処理である場合には、前記データ移行処理制御部は、移行先HSM実施環境に格納されている、ファイル、もしくはディレクトリを、前記処理における移動先のパス名と同じパス名となる場所へ移動した後、移行終了を示すフラグを立て、
一方、前記移行終了フラグが立っていない場合、前記データ移行処理制御部は、
前記処理内容がファイル、もしくはディレクトリの移動処理の場合、前記移行ファイル管理部に登録されている、前記処理対象の情報のパス名を変更し、
前記処理内容が削除処理の場合、前記移行ファイル管理部に登録されている、前記処理対象の情報を削除し、
前記処理内容が、ファイル属性の変更、もしくはデータの更新処理であった場合は、何も実施しない、構成としてもよい。
データ配置形態として、ファイルデータを、
データのポインタ情報を少なくとも含み、予め定められた形式の所定ファイルと、
前記所定ファイルのポインタ情報によってポイントされるデータと、
に、分散記憶させて配置する形態を含む移行元から、
移行先へ、データ配置形態を保存して、データの再配置を行う装置を構成するコンピュータに、
移行対象ファイルが前記所定ファイルであるか否か判別し、前記所定ファイルである場合、前記所定ファイルの前記ポインタ情報でポイントされる前記データを、移行元の記憶手段より読み出して、移行先の対応する記憶手段に配置する処理と、
前記移行先の対応する記憶手段に配置されたデータをポイントするポインタ情報を少なくとも含み、移行先の予め定められた形式に適合した所定ファイルを、前記移行先のデータとは分散した形態で前記移行先の記憶手段に配置する処理と、
を実行させるプログラムよりなる。
データのポインタ情報を少なくとも含み、予め定められた形式の所定ファイルを、通常ファイル以外にも記憶する、第1のストレージと、前記所定ファイルのポインタ情報によってポイントされる前記データを記憶する、第2のストレージと、を含む移行元システムから、移行先システムへ、データ移行を行う装置を構成するコンピュータに、
前記移行元の第1のストレージの移行対象ファイルが、前記所定ファイルであるか否かを判別する処理と、
前記所定ファイルである場合、前記所定ファイルの前記ポインタ情報でポイントされる前記データを、前記移行元の第2のストレージから読み出して、前記データを対応する移行先の第2のストレージに配置する、制御を行う処理と、
前記移行先の第1のストレージに、前記移行元の第1のストレージと同一名とされ、且つ移行先の予め定められた形式に適合した所定ファイルを作成し、前記移行先の第1のストレージの前記所定ファイルのポインタ情報が前記移行先の第2のストレージに配置された前記データをポイントするように設定する、制御を行う処理と、
を実行させるプログラムよりなる。
移行元から移行先へのデータ移行にあたり、
移行元のプライマリストレージ、セカンダリストレージでのデータ配置構成に基づき、移行対象がスタブファイルであるか否かを判断する処理と、
移行先となるHSM実施環境のスタブファイルフォーマット、セカンダリストレージへのデータ配置ルールに従って、移行対象のスタブファイルを、移行先に適合したスタブファイルに変換する処理と、
移行元のスタブファイルに保持されたアドレスから移行元のセカンダリストレージのデータを読み出して、前記データを、移行先のセカンダリストレージに格納するとともに、前記変換したスタブファイルを移行先のプライマリストレージに格納する手段と、
移行対象がスタブファイル以外の通常のファイルについては、移行元のプライマリストレージから移行先のプライマリストレージへ移行させる制御を行う処理と、
を実行させるプログラムよりなる。
移行元から移行先へのデータ移行にあたり、
移行元と移行先のストレージにおけるHSMを実現するためのファイルシステム固有の拡張機能を経由してスタブファイルと通常ファイルの判別を行う処理と、
移行対象がスタブファイルである場合、移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、移行元のセカンダリストレージにおけるデータの格納先アドレスに基づき、移行元のセカンダリストレージからデータを読み出す処理と、
移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、移行元のセカンダリストレージから読み出したデータを書き込むように制御する処理と、
移行元のプライマリストレージに格納されているスタブファイルの属性情報を読み込み、前記移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成する処理と、
移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、移行先のセカンダリストレージに格納したデータのアドレス情報と、データ移行元のプライマリストレージから取得した前記属性情報を付与することで、移行対象のスタブファイルに関するデータの移行を完了させる処理と、
を実行させるプログラムよりなる。
データ移行中に、前記データ移行装置以外の他のデータアクセス元から、移行元のプライマリストレージへのファイル操作要求が発生した場合、ファイル操作対象のオブジェクトIDが一致するデータがデータ移行対象として管理されており、移行終了済みである場合には、移行先に格納されたデータに対してファイル操作を行う処理を前記コンピュータに実行させるようにしてもよい。
・データ移行元プライマリストレージ3、データ移行元セカンダリストレージ4、こられのストレージ3、4を予め定められたルールに基づいてデータの再配置制御を実施するデータ移行元ポリシー管理装置5を備えた、データの移行元となるHSM実施環境と、
・データ移行先プライマリストレージ6、データ移行先セカンダリストレージ7、及び、これらのストレージ6、7を予め定められたルールに基づいて、データの再配置制御を実施するデータ移行先ポリシー管理装置8を備えた、データの移行先となるHSM実施環境と、
・移行元となるHSM実施環境から、移行先となるHSM実施環境へ、データの移行処理を実施するデータ移行装置1と、
を備えており、これらは、ネットワーク2を介して、相互に、通信接続される。
HSMを実施するための、スタブファイルによるデータアクセス元からのデータ配置場所の隠蔽手段(不図示)を備え、さらに、
それぞれ、HSM用インターフェース10、12を介して、ファイルシステム固有の拡張機能を利用できるようになっている。当該ファイルシステム固有の拡張機能は、標準のファイルシステムコールでは処理不可能とされる機能を含む。
・スタブファイルの作成、読み出し、更新、削除処理機能、
・スタブファイルの属性情報の読み出し、更新処理機能、
・ファイルデータの読み出し、更新処理機能、
・ファイルの属性情報を変更せずに、ファイルデータの作成、読み出し、更新、削除処理を実施する機能、
・一般のデータアクセス元からの特定の標準のファイルシステムコールを介した処理が実施された場合の処理イベント発生の通知機能、
といった機能がある。
・処理内容(更新、削除など)と、
・該処理が実行されたファイル又はディレクトリに関する、ファイルシステム9もしくはファイルシステム11内での識別情報である、オブジェクトID、
が含まれる。
・システム管理者等により、データ移行作業を実施するにあたり、必要となる事前設定情報を、移行処理情報管理部23へ通知するとともに、データ移行処理制御部21より、データ移行処理の実施状況に関する情報を取得する機能、及び、
・データ移行処理制御部21に対して、移行処理開始命令を通知する機能、
を備えている。
・HSM実施環境における、HSM用インターフェース10、12を介したファイルシステム固有の拡張機能の各種処理を実施するための、コマンドセット、
・スタブファイルの生成フォーマット、及び、
・ポリシー管理装置5、8における、セカンダリストレージへのデータ再配置ルール、
が格納されている。
・移行対象となるストレージ3、4、6、7の機種情報(機器情報)、及びアドレス情報と、
・移行元プライマリストレージ3における、移行対象となるデータ領域の情報と、
・移行先のストレージ6、7のデータ格納領域の情報と、
・ポリシー管理装置5、8の機器情報、
が格納されている。
・管理インターフェース20を介して設定された、移行するデータ領域に含まれる全てのファイル、及びディレクトリのパス名と、
・ファイルシステム上でのファイル、ディレクトリを識別するオブジェクトIDと、
・前記ファイル、及びディレクトリに関してデータ移行が終了したか否かを示すフラグ情報、
が格納される。
・HSM用インターフェース10、12を介して通知される、一般のデータアクセス元からの特定の標準のファイルシステムコールを介した処理が実施された場合の処理イベント情報を取得し、
・前記処理イベント情報を、データ移行処理制御部21へ転送する、
機能を備える。
・HSM処理情報管理部22、移行処理情報管理部23、移行ファイル管理部24に格納されている情報、及び、
・ファイルシステムイベント管理部25から通知される、イベント情報
に基づき、移行元のHSM実施環境から、移行先のHSM実施環境へデータ移動する、機能を備える。
次に、データ移行装置1を用いて、データ移行元となるHSM実施環境から、データ移行先となるHSM実施環境へデータを移行する手順について、図1、図2、及び、図3を参照して説明する。図3は、本発明の一実施形態のデータ移行処理の手順を説明するフローチャートである。
移行処理情報管理部23より、
データ移行元プライマリストレージ3の
・機種情報、
・アドレス情報、及び、
・プライマリストレージのデータ移行領域の情報、
を取得する。
そして、データ移行処理制御部21は、HSM処理情報管理部22に登録されている、ストレージ3のHSM用インターフェース10を介したファイルシステム9の固有の拡張機能を実行するためのコマンドセットを読み出し、前記コマンドセットを利用して、データ移行領域に含まれる、
・全てのファイル、及びディレクトリのパス名と、
・前記ファイル、及びディレクトリに関連付けられたオブジェクトIDと、
を、データ移行元プライマリストレージ3から取得し、移行ファイル管理部24へ格納する(ステップS100)。特に制限されないが、移行ファイル管理部24への情報は、データ抽出の高速化のため、テーブル化して格納してもよい。
・ストレージ4、6、7のアドレス情報、及び機種情報と、
・データ移行元ポリシー管理装置5とデータ移行先ポリシー管理装置8の機種情報と、
・移行先ストレージ6、7におけるデータ格納領域の情報と、
を取得する。
・データ移行元プライマリストレージ3のアドレス情報と、
・ストレージ4、6、7のアドレス情報と、
・ストレージ6、7のデータ格納領域の情報と、
から、
・移行元となるストレージ装置、及び、
・移行先となるストレージ装置とデータ格納先と、
を確定する。
・プライマリストレージ3、6の機種情報、及び、
・ポリシー管理装置5、8の機種情報、
から、HSM処理情報管理部22に格納されている、
・データ移行先プライマリストレージ6のHSM用インターフェース12を介したファイルシステム11の固有の拡張機能を実行するためのコマンドセットと、
・プライマリストレージ3、6におけるスタブファイルの生成フォーマットと、
・セカンダリストレージ4、7へのデータ格納ルールと、
を取得する(ステップS101)。
ディレクトリに付与されている属性情報を読み込み、移行先プライマリストレージ6に移行元と同名となる、ディレクトリを作成する。さらに、データ移行処理制御部21は、作成したディレクトリに、データ移行元プライマリストレージ3から取得した前記属性情報を付与することで、データの移行を完了し、移行ファイル管理部24に格納されている前記ディレクトリの情報に、移行終了を示すフラグを立てる。
データ移行元プライマリストレージ3に格納されている前記スタブファイル内に格納されている、セカンダリストレージにおけるデータの格納先アドレスを読み込み、格納先アドレスを読み出しアドレスとして、データ移行元セカンダリストレージ4からデータを読み出し、ステップS101にて取得した、データ移行先セカンダリストレージ7へのデータ格納ルールに従い、データ移行先セカンダリストレージ7へ、データ移行元セカンダリストレージ4から読み出したデータを書き込むとともに、データ移行元プライマリストレージ3に格納されている該スタブファイルの属性情報を読み込み、データ移行先プライマリストレージ6へ、該スタブファイルと同名となるスタブファイルを作成する。
・データ移行先セカンダリストレージ7に格納したデータのアドレス情報と、
・データ移行元プライマリストレージ3から取得した前記属性情報と、
を付与することで、データの移行を完了し、移行ファイル管理部24に格納されている前記ファイルの情報に移行終了を示すフラグを立てる。以上がデータ移行処理制御部21によるステップS105の処理である。
データ移行元プライマリストレージ3に格納されている、
・ファイル(通常ファイル)のデータ、及び
・属性情報
を読み込み、
データ移行先プライマリストレージ6へ、前記ファイル(通常ファイル)と同名のファイルを作成する。
・全てのファイル、及び、
・全てのディレクトリ
に関して、
移行終了を示すフラグが立ったか否かを判断する(ステップS107)。
次に、データ移行装置1による移行作業中において、他のデータアクセス元から、移行対象となっているデータ領域に対して、移行元プライマリストレージ3の標準ファイルシステムコールを介した、
ファイル、ディレクトリの
・新規作成、
・削除、
・属性の変更、
・データの更新、
のうちいずれかの処理が発生した場合における、データ移行装置1における処理手順について、図4のフローチャートを参照して説明する。図4は、本発明の一実施形態において、データ移行処理中にデータ移行装置以外のデータアクセス元から標準のファイルシステムコールを介したデータアクセスがあった場合の処理手順を示したフローチャートである。
・処理内容、及び、
・処理対象のオブジェクトID、
といった情報が、データ移行装置1に転送される。
・新規作成、
・削除、
・ファイル属性の変更、
・データの更新、
・ファイル又はディレクトリの移動(パス名の変更)
のいずれかの処理(更新系の処理)であった場合、
ファイルシステムイベント管理部25は、
データ移行元プライマリストレージ3から、前記オブジェクトIDを要求キーとして、パス名を取得し、
・処理内容、
・パス名、
・オブジェクトID、
を関連付けて、データ移行処理制御部21へ転送する(ステップS201)。
・移動元(変更前)のパス名、
・移動先(変更後)のパス名、
の2つの情報を取得する。
2 ネットワーク
3 データ移行元プライマリストレージ
4 データ移行元セカンダリストレージ
5 データ移行元ポリシー管理装置
6 データ移行先プライマリストレージ
7 データ移行先セカンダリストレージ
8 データ移行先ポリシー管理装置
9、11、13、14 ファイルシステム
10、12 HSM用インターフェース
20 管理インターフェース
21 データ移行処理制御部
22 HSM処理情報管理部
23 移行処理情報管理部
24 移行ファイル管理部
25 ファイルシステムイベント管理部
Claims (7)
- 移行元であるHSM(Hierarchical Storage Management;階層型ストレージ管理)実施環境から、移行先となるHSM実施環境へデータの移行を制御する、データ移行装置であって、
移行元と移行先のストレージにおけるHSMを実現するためのファイルシステムの拡張機能を経由してスタブファイルと通常ファイルの判別を行う手段と、
移行対象がスタブファイルである場合、移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、移行元のセカンダリストレージにおけるデータの格納先アドレスに基づき、前記移行元のセカンダリストレージからデータを読み出す手段と、
移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、前記移行元のセカンダリストレージから読み出したデータを書き込むように制御する手段と、
前記移行元のプライマリストレージに格納されているスタブファイルの属性情報を読み込み、移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成する手段と、
前記移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、前記移行先のセカンダリストレージに格納したデータのアドレス情報と、前記移行元のプライマリストレージから取得した前記属性情報を付与することで、移行対象のスタブファイルに関するデータの移行を完了させる手段と、
を備え、
データ移行中に、前記データ移行装置以外の他のデータアクセス元から、前記移行元のプライマリストレージへのファイル操作要求が発生した場合、ファイル操作対象のデータがデータ移行対象として管理されており、移行終了済みである場合には、移行先に格納されたデータに対してファイル操作を行うように制御する手段を備えている、ことを特徴とするデータ移行装置。 - 移行元のプライマリストレージ、移行元のセカンダリストレージ、及び、前記プライマリストレージとセカンダリストレージを予め定められたルールに基づいてデータの再配置制御を行うデータ移行元ポリシー管理装置を備えた、移行元となるHSM(Hierarchical Storage Management;階層型ストレージ管理)実施環境と、
移行先のプライマリストレージ、移行先のセカンダリストレージ、及び、前記プライマリストレージとセカンダリストレージを予め定められたルールに基づいてデータの再配置制御を行う移行先ポリシー管理装置を備えた、移行先となるHSM実施環境と、
移行元及び移行先となるHSM実施環境にネットワークを介して接続され、前記移行元となるHSM実施環境から、前記移行先となるHSM実施環境へデータの移行処理を行うデータ移行装置と、
を備え、
前記移行元のプライマリストレージと前記移行先のプライマリストレージは、それぞれ、ファイルシステム、及びHSM用インターフェースを備えており、ファイルシステムに格納されるデータは、前記HSM用インターフェースを介して、外部からアクセスされ、
前記データ移行装置は、管理インターフェース、データ移行処理制御部、HSM処理情報管理部、移行処理情報管理部、移行ファイル管理部、及び、ファイルシステムイベント管理部を備え、
前記管理インターフェースは、
データ移行作業を行うにあたり、必要となる事前設定情報を、前記移行処理情報管理部へ通知するとともに、前記データ移行処理制御部より、データ移行処理の実施状況に関する情報を取得する機能、及び、前記データ移行処理制御部に対して、移行処理開始命令を通知する機能を備え、
前記HSM処理情報管理部には、
HSM実施環境における前記HSM用インターフェースを介したファイルシステムの拡張機能の処理を行うためのコマンドセット、スタブファイルの生成フォーマット、及び前記各ポリシー管理装置における、セカンダリストレージへのデータ再配置ルールが格納され、
前記移行処理情報管理部には、
前記管理インターフェースを介して設定された、移行対象となるストレージの情報と、前記移行元のプライマリストレージにおける、移行対象となるデータ領域の情報と、前記移行先のストレージのデータ格納領域の情報と、前記ポリシー管理装置の機器情報が格納され、
前記移行ファイル管理部には、
前記管理インターフェースを介して設定された、移行するデータ領域に含まれる全てのファイル、及びディレクトリのパス名と、ファイルシステム上でのファイル、ディレクトリを識別するオブジェクトIDと、前記ファイル、及びディレクトリに関してデータ移行が終了したか否かを示すフラグ情報が格納され、
前記ファイルシステムイベント管理部は、
前記HSMインターフェースを介して通知される、データアクセス元から特定の標準のファイルシステムコールを介した処理が実施された場合の処理イベント情報を取得し、前記処理イベント情報を、前記データ移行処理制御部へ転送する機能を備え、
前記データ移行処理制御部は、
前記HSM処理情報管理部、前記移行処理情報管理部、前記移行ファイル管理部にそれぞれ格納されている情報、及び、前記ファイルシステムイベント管理部から通知される、イベント情報に基づき、移行元のHSM実施環境から、移行先のHSM実施環境へデータ移動する機能を備えるとともに、データ移行処理の実施状況に関する情報を生成する機能を備えている、ことを特徴とするデータ移行システム。 - 前記ファイルシステムは、
HSMを行うための前記スタブファイルにより、前記データアクセス元に対してデータの配置場所を隠蔽する手段を備えるとともに、
標準のファイルシステムコールではサポートされず、前記HSM用インターフェースを介して処理が実施される、ファイルシステムの拡張機能として、
スタブファイルの作成、読み出し、更新、削除処理機能、及び、
スタブファイルの属性情報の読み出しと更新処理機能を備えている、ことを特徴とする請求項2記載のデータ移行システム。 - 前記ファイルシステムは、前記拡張機能として、
ファイルの読み出し及び更新処理機能と、
ファイルの属性情報を変更せずに、ファイルデータの作成、読み出し、更新、削除処理を実施する機能と、
データアクセス元からの特定の標準のファイルシステムコールを介した処理が実施された場合の処理イベント発生の通知機能の少なくとも1つをさらに備えている、ことを特徴とする請求項3記載のデータ移行システム。 - 前記処理イベントには、
処理内容と、該処理が実行されたファイル又はディレクトリに関する、ファイルシステム内での識別情報であるオブジェクトIDが通知される、ことを特徴とする請求項4記載のデータ移行システム。 - データ移行時、前記データ移行処理制御部は、前記管理インターフェースよりデータ移行処理の通知を受け、
前記データ移行処理制御部は、前記移行処理情報管理部より、前記移行元のプライマリストレージの情報を取得し、
前記HSM処理情報管理部に登録されている、前記移行元のプライマリストレージのHSM用インターフェースにアクセスするためのコマンドセットを用いて、データ移行領域に含まれる、ファイル及びディレクトリのパス名と、前記ファイル及びディレクトリに関連付けられたオブジェクトIDを、前記移行元のプライマリストレージから取得して、前記移行ファイル管理部に格納し、
前記データ移行処理制御部は、前記移行処理情報管理部より、前記移行元のプライマリストレージ、セカンダリストレージと、前記移行先のプライマリストレージ、セカンダリストレージに関する情報より、移行元となるストレージ装置、及び、前記移行先となるストレージ装置におけるデータの格納先のアドレスを決定し、
前記データ移行処理制御部は、前記移行ファイル管理部に登録されているファイル及びディレクトリのうち、移行の終了を示すフラグのたっていないディレクトリ、ファイルに対して、前記移行元のプライマリストレージに格納されているファイル及びディレクトリにアクセスし、アクセス先がディレクトリであるかファイルであるか判断し、
アクセス先がディレクトリの場合、前記移行先のプライマリストレージに移行元と同名となる、ディレクトリを作成し、移行対象として管理されている前記ディレクトリの情報に、移行終了を示すフラグを立て、
アクセス先がファイルの場合には、前記データ移行処理制御部は、スタブファイルであるか調べ、スタブファイルである場合、前記移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、前記移行元のセカンダリストレージにおけるデータの格納先アドレスに基づき、前記移行元のセカンダリストレージからデータを読み出し、移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、移行元のセカンダリストレージから読み出したデータを書き込み、移行元のプライマリストレージに格納されている該スタブファイルの属性情報を読み込み、前記移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成し、
前記移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、前記移行先のセカンダリストレージに格納したデータのアドレス情報と、前記移行元のプライマリストレージから取得した前記属性情報を付与することで、データの移行を完了し、前記移行ファイル管理部に登録されている前記ファイルの情報に移行終了を示すフラグを立て、
移行対象が通常ファイルである場合、前記データ移行処理制御部は、前記移行元のプライマリストレージに格納されている、前記ファイルのデータ、及び属性情報を読み込み、前記移行先のプライマリストレージへ、前記ファイルと同名のファイルを作成し、前記作成ファイルに、前記移行元のプライマリストレージから取得した前記属性情報を付与することで、データの移行を完了し、前記移行ファイル管理部に登録されている前記ファイルの情報に移行終了を示すフラグを立て、
前記移行ファイル管理部に登録されている、全てのファイル、及び、全てのディレクトリに関して、移行終了を示すフラグが立った場合、移行処理を終了する、ことを特徴とする請求項2乃至5のいずれか一に記載のデータ移行システム。 - 移行元であるHSM(Hierarchical Storage Management;階層型ストレージ管理)実施環境から、移行先となるHSM実施環境へデータの移行を制御する、データ移行装置を構成するコンピュータに、
移行元から移行先へのデータ移行にあたり、
移行元と移行先のストレージにおけるHSMを実現するためのファイルシステムの拡張機能を経由してスタブファイルと通常ファイルの判別を行う処理と、
移行対象がスタブファイルである場合、移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、移行元のセカンダリストレージにおけるデータの格納先アドレスに基づき、移行元のセカンダリストレージからデータを読み出す処理と、
移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、移行元のセカンダリストレージから読み出したデータを書き込むように制御する処理と、
移行元のプライマリストレージに格納されているスタブファイルの属性情報を読み込み、前記移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成する処理と、
移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、移行先のセカンダリストレージに格納したデータのアドレス情報と、移行元のプライマリストレージから取得した前記属性情報を付与することで、移行対象のスタブファイルに関するデータの移行を完了させる処理と、
データ移行中に、前記データ移行装置以外の他のデータアクセス元から、移行元のプライマリストレージへのファイル操作要求が発生した場合、ファイル操作対象のデータがデータ移行対象として管理されており、移行終了済みである場合には、移行先に格納されたデータに対してファイル操作を行う処理と、
を実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006189315A JP5082310B2 (ja) | 2006-07-10 | 2006-07-10 | データ移行装置及びプログラム |
US11/822,732 US7765189B2 (en) | 2006-07-10 | 2007-07-09 | Data migration apparatus, method, and program for data stored in a distributed manner |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006189315A JP5082310B2 (ja) | 2006-07-10 | 2006-07-10 | データ移行装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008015984A JP2008015984A (ja) | 2008-01-24 |
JP5082310B2 true JP5082310B2 (ja) | 2012-11-28 |
Family
ID=38920269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006189315A Expired - Fee Related JP5082310B2 (ja) | 2006-07-10 | 2006-07-10 | データ移行装置及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7765189B2 (ja) |
JP (1) | JP5082310B2 (ja) |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7853667B1 (en) * | 2005-08-05 | 2010-12-14 | Network Appliance, Inc. | Emulation of transparent recall in a hierarchical storage management system |
US20080228550A1 (en) * | 2007-03-14 | 2008-09-18 | Business Objects, S.A. | Apparatus and method for utilizing a task grid to generate a data migration task |
US9298417B1 (en) * | 2007-07-25 | 2016-03-29 | Emc Corporation | Systems and methods for facilitating management of data |
US8326805B1 (en) | 2007-09-28 | 2012-12-04 | Emc Corporation | High-availability file archiving |
US8918603B1 (en) * | 2007-09-28 | 2014-12-23 | Emc Corporation | Storage of file archiving metadata |
US8060709B1 (en) | 2007-09-28 | 2011-11-15 | Emc Corporation | Control of storage volumes in file archiving |
US9031899B2 (en) * | 2007-12-07 | 2015-05-12 | Brocade Communications Systems, Inc. | Migration in a distributed file system |
US20090150533A1 (en) * | 2007-12-07 | 2009-06-11 | Brocade Communications Systems, Inc. | Detecting need to access metadata during directory operations |
US9069779B2 (en) * | 2007-12-07 | 2015-06-30 | Brocade Communications Systems, Inc. | Open file migration operations in a distributed file system |
US20090150461A1 (en) * | 2007-12-07 | 2009-06-11 | Brocade Communications Systems, Inc. | Simplified snapshots in a distributed file system |
US20090150462A1 (en) * | 2007-12-07 | 2009-06-11 | Brocade Communications Systems, Inc. | Data migration operations in a distributed file system |
US8170990B2 (en) * | 2008-05-30 | 2012-05-01 | Hitachi, Ltd. | Integrated remote replication in hierarchical storage systems |
US20090319736A1 (en) * | 2008-06-24 | 2009-12-24 | Hitachi, Ltd. | Method and apparatus for integrated nas and cas data backup |
US8224782B2 (en) * | 2008-09-29 | 2012-07-17 | Hitachi, Ltd. | System and method for chunk based tiered storage volume migration |
JP5331555B2 (ja) | 2009-04-23 | 2013-10-30 | 株式会社日立製作所 | データ移行システムおよびデータ移行方法 |
JP5586892B2 (ja) * | 2009-08-06 | 2014-09-10 | 株式会社日立製作所 | 階層化ストレージシステム及び階層化ストレージシステムにおけるファイルのコピー制御方法 |
US9239762B1 (en) * | 2009-08-11 | 2016-01-19 | Symantec Corporation | Method and apparatus for virtualizing file system placeholders at a computer |
JP5422298B2 (ja) * | 2009-08-12 | 2014-02-19 | 株式会社日立製作所 | 階層管理ストレージシステムおよびストレージシステムの運用方法 |
US8239403B2 (en) * | 2009-12-30 | 2012-08-07 | International Business Machines Corporation | Enhancing soft file system links |
US8627004B2 (en) * | 2010-01-07 | 2014-01-07 | International Business Machines Corporation | Extent migration for tiered storage architecture |
WO2011104741A1 (en) | 2010-02-23 | 2011-09-01 | Hitachi, Ltd. | Management system for storage system and method for managing storage system |
JP5592493B2 (ja) * | 2010-04-13 | 2014-09-17 | 株式会社日立製作所 | ストレージネットワークシステム及びその制御方法 |
US8285762B2 (en) | 2010-05-11 | 2012-10-09 | International Business Machines Corporation | Migration of metadata and storage management of data in a first storage environment to a second storage environment |
US8583889B2 (en) | 2010-12-16 | 2013-11-12 | International Business Machines Corporation | Synchronous extent migration protocol for paired storage |
US8560792B2 (en) | 2010-12-16 | 2013-10-15 | International Business Machines Corporation | Synchronous extent migration protocol for paired storage |
KR101473317B1 (ko) | 2010-12-23 | 2014-12-17 | 주식회사 케이티 | 클라우드 컴퓨팅 시스템 및 클라우드 컴퓨팅 시스템에서의 트래픽 분산 방법 및 제어 방법 |
US9280550B1 (en) | 2010-12-31 | 2016-03-08 | Emc Corporation | Efficient storage tiering |
US8577934B2 (en) * | 2011-03-24 | 2013-11-05 | Spectra Logic Corporation | System and method for a storage system response with data migration |
GB2489932B (en) * | 2011-04-07 | 2020-04-08 | Quantel Ltd | Improvements relating to file systems |
KR101512714B1 (ko) * | 2011-05-06 | 2015-04-23 | 주식회사 케이티 | 가상머신 디스크 마이그레이션 장치 및 그 방법 |
US20120297156A1 (en) | 2011-05-20 | 2012-11-22 | Hitachi, Ltd. | Storage system and controlling method of the same |
US8886963B2 (en) * | 2011-09-15 | 2014-11-11 | Apple Inc. | Secure relocation of encrypted files |
WO2013121456A1 (en) * | 2012-02-13 | 2013-08-22 | Hitachi, Ltd. | Management apparatus and management method for hierarchical storage system |
US10146467B1 (en) * | 2012-08-14 | 2018-12-04 | EMC IP Holding Company LLC | Method and system for archival load balancing |
US9058844B2 (en) * | 2012-09-20 | 2015-06-16 | Hewlett-Packard Development Company, L.P. | Access to migrated tapes |
WO2015162684A1 (ja) * | 2014-04-22 | 2015-10-29 | 株式会社日立製作所 | ストレージシステムのデータ移行方法 |
US9218350B2 (en) * | 2013-04-30 | 2015-12-22 | Microsoft Technology Licensing, Llc | Searching and placeholders |
US9552363B2 (en) | 2013-04-30 | 2017-01-24 | Microsoft Technology Licensing, Llc | File management with placeholders |
US9166866B2 (en) | 2013-04-30 | 2015-10-20 | Microsoft Technology Licensing, Llc | Hydration and dehydration with placeholders |
US9405767B2 (en) | 2013-05-01 | 2016-08-02 | Microsoft Technology Licensing, Llc | Streaming content and placeholders |
US9189533B2 (en) | 2013-05-29 | 2015-11-17 | Microsoft Technology Licensing, Llc | Sync framework extensibility |
US9454532B2 (en) * | 2013-07-02 | 2016-09-27 | Hitachi Data Systems Engineering UK Limited | Method and apparatus for migration of a virtualized file system, data storage system for migration of a virtualized file system, and file server for use in a data storage system |
US9087012B1 (en) | 2014-06-04 | 2015-07-21 | Pure Storage, Inc. | Disaster recovery at high reliability in a storage cluster |
US9811677B2 (en) | 2014-07-03 | 2017-11-07 | Pure Storage, Inc. | Secure data replication in a storage grid |
US10642860B2 (en) * | 2016-06-03 | 2020-05-05 | Electronic Arts Inc. | Live migration of distributed databases |
JP2019139628A (ja) * | 2018-02-14 | 2019-08-22 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム及びプログラム |
EP3648430B1 (de) * | 2018-11-05 | 2021-06-02 | Wincor Nixdorf International GmbH | Hardware-sicherheitsmodul |
US11314732B2 (en) * | 2019-10-11 | 2022-04-26 | International Business Machines Corporation | Database migration technique |
US11327688B2 (en) * | 2020-01-13 | 2022-05-10 | Cisco Technology, Inc. | Master data placement in distributed storage systems |
JP7102455B2 (ja) * | 2020-03-26 | 2022-07-19 | 株式会社日立製作所 | ファイルストレージシステム及びファイルストレージシステムの管理方法 |
US11366642B1 (en) | 2021-02-25 | 2022-06-21 | Bank Of America Corporation | Change migration: processes for ensuring successful deployment of design changes |
US20230185941A1 (en) * | 2021-12-14 | 2023-06-15 | International Business Machines Corporation | Multi-partitioned global data system |
CN117591497B (zh) * | 2024-01-18 | 2024-05-03 | 中核武汉核电运行技术股份有限公司 | 一种核电历史数据跨系统迁移方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4168626B2 (ja) * | 2001-12-06 | 2008-10-22 | 株式会社日立製作所 | 記憶装置間のファイル移行方法 |
CA2497306A1 (en) | 2002-09-10 | 2004-03-25 | Exagrid Systems, Inc. | Method and apparatus for integrating primary data storage with local and remote data protection |
JP4349871B2 (ja) * | 2003-09-09 | 2009-10-21 | 株式会社日立製作所 | ファイル共有装置及びファイル共有装置間のデータ移行方法 |
US7441096B2 (en) * | 2004-07-07 | 2008-10-21 | Hitachi, Ltd. | Hierarchical storage management system |
JP4349301B2 (ja) * | 2004-11-12 | 2009-10-21 | 日本電気株式会社 | ストレージ管理システムと方法並びにプログラム |
US7865462B2 (en) * | 2006-01-03 | 2011-01-04 | Hitachi, Ltd. | Apparatus and method for replicating data in file system |
-
2006
- 2006-07-10 JP JP2006189315A patent/JP5082310B2/ja not_active Expired - Fee Related
-
2007
- 2007-07-09 US US11/822,732 patent/US7765189B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20080010325A1 (en) | 2008-01-10 |
US7765189B2 (en) | 2010-07-27 |
JP2008015984A (ja) | 2008-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5082310B2 (ja) | データ移行装置及びプログラム | |
US9110909B2 (en) | File level hierarchical storage management system, method, and apparatus | |
US8392685B2 (en) | Arrangements for managing metadata of an integrated logical unit including differing types of storage media | |
US8458234B2 (en) | Data management method | |
JP4943081B2 (ja) | ファイル格納制御装置及び方法 | |
JP5320557B2 (ja) | ストレージシステム | |
JP2006134214A (ja) | ファイルのバージョン管理方法および計算機システム | |
WO2012114531A1 (ja) | 計算機システム及びデータ管理方法 | |
JP2006268534A (ja) | 記憶装置システムの制御技術 | |
JP4748950B2 (ja) | 記憶領域管理方法及びシステム | |
JP2010198383A (ja) | ストレージ装置、ソフトウェア更新方法およびソフトウェア更新プログラム | |
JP2007183703A (ja) | データの改竄を防止する記憶装置 | |
JP6298903B2 (ja) | 計算機システム、分散オブジェクト共有方法、エッジノード | |
JPWO2007099636A1 (ja) | ファイルシステム移行方法、ファイルシステム移行プログラム及びファイルシステム移行装置 | |
US20170255393A1 (en) | Storage device and storage method | |
US9002796B2 (en) | Database management method, database management system and database management program | |
JP2006031608A (ja) | 計算機、ストレージシステム、計算機が行うファイル管理方法、およびプログラム | |
EP3436973A1 (en) | File system support for file-level ghosting | |
US7451279B2 (en) | Storage system comprising a shared memory to access exclusively managed data | |
KR101017433B1 (ko) | 압축 프로그램을 이용한 웹 지도 서비스 방법 | |
CN113448500B (zh) | 文件存储系统和文件存储系统的管理方法 | |
WO2018011914A1 (ja) | データアーカイブシステム、および、データアーカイブ方法 | |
JP4060890B2 (ja) | 階層化ドライバ入出力システム内の複数ドライバによる入出力要求の再処理を可能にするファイル・システム・プリミティブ | |
JP7306665B2 (ja) | ストレージ装置、データ移行方法、プログラム | |
JP2018169842A (ja) | 階層化ストレージ管理装置、階層化ストレージシステム、データ管理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090612 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120820 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5082310 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150914 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |