JP5082310B2 - データ移行装置及びプログラム - Google Patents

データ移行装置及びプログラム Download PDF

Info

Publication number
JP5082310B2
JP5082310B2 JP2006189315A JP2006189315A JP5082310B2 JP 5082310 B2 JP5082310 B2 JP 5082310B2 JP 2006189315 A JP2006189315 A JP 2006189315A JP 2006189315 A JP2006189315 A JP 2006189315A JP 5082310 B2 JP5082310 B2 JP 5082310B2
Authority
JP
Japan
Prior art keywords
migration
data
file
storage
destination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006189315A
Other languages
English (en)
Other versions
JP2008015984A (ja
Inventor
聡 山川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2006189315A priority Critical patent/JP5082310B2/ja
Priority to US11/822,732 priority patent/US7765189B2/en
Publication of JP2008015984A publication Critical patent/JP2008015984A/ja
Application granted granted Critical
Publication of JP5082310B2 publication Critical patent/JP5082310B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1744Redundancy elimination performed by the file system using compression, e.g. sparse files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/185Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、情報記憶システムに関し、特に、移行元から移行先へデータの移行を行う装置及びプログラムに関する。
以下の説明からも明らかとされるように、本発明は、HSM(Hierarchical Storage Management、階層型ストレージ管理)機能により、複数のストレージ装置にデータが階層配置されている環境において、HSM機能で管理されているデータを、他のHSM実施環境にデータ移行する場合に適用して好適とされるほか、HSM機能で管理されているデータを、HSM機能の構成要素として含まれていない別のストレージ装置に移行するための装置やソフトウェアに適用しても好適とされる。以下では、本発明の背景技術を説明しておく。はじめにHSMについて概説する。
データをストレージ装置へ格納する際、
・性能、
・価格、
・容量、及び、
・データ保存のための付加機能、
といった特徴に関して、互いに異なる複数のストレージ装置を、階層状に組み合わせることにより、ユーザやシステムの利用状況に合わせた最適なデータ格納場所となるストレージ装置を選択し、そのストレージ装置へ自動的にデータを再配置する、「HSM (Hierarchical Storage Management)」と呼ばれる、ストレージ運用手法が用いられる。
HSMは、主に、複数のサーバやユーザ間でデータを共有する等の、比較的大容量のデータを格納するストレージシステムにおいて用いられている。
HSMを用いた場合、複数の特徴の異なるストレージ装置を目的にあわせて上手く組み合わせることで、単一のストレージ装置のみの場合と比べ、ストレージ装置のコストやストレージ装置の運用コストを大幅に下げる等の効果を奏することが知られている。
ストレージ装置にかかるコストを削減する効果をもたらす代表的なHSMの構成例としては、ランダムアクセス性能が高く高価なディスクストレージの下位ストレージとして、ランダムアクセス性能が低く、データのアーカイブに適した安価なテープストレージを組み合わせる構成が挙げられる。
このような構成において、
「ストレージに格納される全てのデータが均等にアクセスされるのではなく、新規作成からの時間の経過と共にアクセス頻度が低下し、データの鮮度によってアクセス数に偏りが発生する」
というデータの一般的な傾向を活かし、次のようなデータ再配置の仕組み(機構)が、ストレージ運用システムに組み込まれる。
その仕組みとは、
・新しく生成された全てのデータを、ディスクストレージに、一旦格納した後、
データのアクセス状況から、
・再びアクセスされる可能性の高いデータについては、ディスクストレージへ残し、
・再びアクセスされる可能性の低いデータは、テープストレージへ自動的に再配置する、
というものである。
このような仕組みを、ストレージ運用システムに組み込むことで、例えば小容量のディスクストレージと大容量のテープストレージを用いて、ディスクストレージのみで構成されたストレージシステムと同様のサービスレベルを維持しながら、大容量、かつ、安価なストレージシステムを構築することが可能となる。
このように、その装置構成の特徴から、
・ディスクストレージに相当する位置に設置されるストレージ装置は、「プライマリストレージ(1st tierストレージ)」と呼ばれ、
・テープストレージに相当する位置に設置されるストレージ装置は、「セカンダリストレージ(2nd tierストレージ)」と呼ばれる。プライマリストレージ、セカンダリストレージとしては、運用目的にあわせたストレージ装置がそれぞれ選択される。
また、HSMは、典型的には、
・データにアクセスするマシンに対して、プライマリストレージからセカンダリストレージへデータが再配置したことを隠蔽し、データ再配置後も、再配置前と同等のデータアクセス環境を提供する機能、及び、
・予め定められたルールに基づき、再配置の対象となるデータを選択し、自動的にデータを再配置する機能、
の2つの機能を備えている。
1番目の機能である、再配置前と同等のデータアクセス環境を提供する機能は、プライマリストレージからセカンダリストレージにデータを再配置する際、プライマリストレージに格納されていたファイルを「スタブファイル」と呼ばれるファイルに置き換えることにより実現されている。
スタブファイルは、セカンダリストレージにおけるデータの格納先のアドレスをデータとして持つ、数キロバイトのサイズのファイルである。
スタブファイルは、例えば、
・ファイル名、
・ファイルサイズ、
・アクセス制御情報
といったファイルの属性情報を含むが、これらのファイル属性情報は、再配置対象となったファイルから引継いでいる。
そして、スタブファイルは、セカンダリストレージに再配置されたデータへの読み出しや、書き込み以外のファイル操作を、プライマリストレージ上のスタブファイルの操作で解決できるように実装されている。
また、データアクセス元から、セカンダリストレージへ再配置されたデータへの読み出しや書き込み要求が発生した場合には、データアクセス元に代わり、セカンダリストレージのデータを、プライマリストレージが読み出して処理することで、データアクセス元に対して、セカンダリストレージへデータが再配置された状態を、完全に隠蔽している。
これらの機能は、プライマリストレージのファイルシステム固有の拡張機能(すなわち、ファイルシステムに実装される拡張機能であり、標準ファイルシステムコールからはアクセスできない拡張機能)として実装されており、データアクセス元からは、スタブファイルを、ファイルアクセス要求に伴う標準のファイルシステムコールで処理する限りにおいては、前記機能により、データ再配置前の通常ファイルと同等のファイルとして扱うことができる。
2番目の機能である、データを自動的に再配置する機能は、
・プライマリストレージ内に、又は
・プライマリストレージ、もしくはセカンダリストレージを集中管理する管理ソフトウェア内に、
実装されている。
この再配置機能は、
(A1)システム管理者等により、予めスケジューリングされたタイミングに従って、プライマリストレージ内に格納されたファイルの属性情報を取得し、
(A2)システム管理者等により予め設定された、再配置条件に合致するファイルを抽出し、
(A3)該抽出したファイルのデータを、セカンダリストレージに再配置し、
(A4)プライマリストレージ内へはスタブファイルを、該再配置したデータの代わりに作成する、
という、一連の処理を行うことで、データの再配置を完了する。
また、この再配置機能は、既にセカンダリストレージに格納されているデータに関しても、
(B1)システム管理者等により予め定められた条件に合致するファイルを抽出し、
(B2)再びプライマリストレージにデータを再配置する、
という操作を実施する。
ところで、
プライマリストレージとセカンダリストレージ間での再配置操作は、
再配置の対象となるファイルが、
・スタブファイルで置き換えられたデータであるのか、
・通常ファイルであるのか、
を判別しなければならない。
しかしながら、標準のファイルシステムコールで問い合わせを実施してしまうと、この判別を行うことが出来ないことになる。
また、標準のファイルシステムコールでは、スタブファイル内に格納されているセカンダリストレージに格納されたアドレス情報についても読み出すことができない。
このため、プライマリストレージのファイルシステム固有の拡張機能として用意された、特殊なインターフェースを介して、
・スタブファイルの判別処理を実施するための情報の取得作業や、
・スタブファイル内のアドレス情報の読み出し、
を可能とするような構成とされている。
さらに、このインターフェース(プライマリストレージのファイルシステム固有の拡張機能として用意された、特殊なインターフェース)を用いることで、
・ファイルデータの読み出しや更新処理を行う際も、通常のデータアクセスであれば、ファイルシステムが変更してしまう時間属性の情報を更新せずに、読み出しや更新処理を実施することができる、
・標準のファイルシステムコールからは設定できない属性の情報を設定できる、
などの特徴を持っている。
以上の通り、
・データ再配置前と同等のデータアクセス環境を提供する機能と、
・データの自動再配置機能
においては、
プライマリストレージのファイルシステム固有の拡張機能を活用することで、
・データアクセス元にデータが再配置したことを隠蔽する、とともに、
・システム管理者により予め定められた再配置ルールに基づいて自動的にデータを再配置する、
といった、HSMの動作を実現することが可能となっている。
なお、スタブファイル等に関連して、下記の特許文献1には、1つのファイルサーバから他のファイルサーバにファイルの移送を促進するためにHSMを適用しファイルサーバの完全な消失のあとクライアントがそれをアクセスするために必要な時間を短縮する方法が提案されている。すなわち、特許文献1には、ファイルのセットを転送する方法として、目的ファイルサーバでファイルの該セットに関連したメタデータと、スタブファイルとを受け取ることと、
該目的ファイルサーバにおけるロケーションコンポーネントをアップデータすることによって、ファイルの該セットにおける各ファイルに関連したレポジトリノードのリストを維持することと、
各スタブファイルを該スタブファイルに関連した該ファイルの満杯の内容と置換することと、
各スタブファイルを置換する一方で、ファイルの該セットにおける特定されたファイルに対するクライアント要求を受け取ると、該特定されたファイルの該満杯の内容が依然転送されていないとき、該特定されたファイルに対する該スタブファイルを該特定されたファイルの満杯の内容と置換することと
を包含し、該特定されたファイルに対する該スタブファイルを置換することは、要求されていないファイルに対する該スタブファイルを置換することより優先度が高いタスクである、方法が開示されている。
特表2005−538469号公報
複数のストレージ装置を用いたHSMの実施環境において、
例えば、HSMの管理対象として活用しているプライマリストレージに相当するストレージ装置の老朽化等により、ストレージ装置自体を、他のストレージ装置にリプレースする場合、リプレース元となるストレージ装置(被交換装置)に格納されているデータを、リプレース先となるストレージ装置へ移行する、必要がある。
ストレージ装置間でのデータの移行においては、
・ファイルシステムやファイルシステムを構成するボリューム単位でのデータのレプリケーションを実施するストレージ装置固有インターフェースを用いてデータを移行する手段と、
・NFS(Network File System)やCIFS(Common Internet File System)といった業界標準のファイルアクセスプロトコルを用いてデータを移行する手段と、
を用いることができる。
しかしながら、標準のファイルシステムコールを経由するようなデータの移行手段では、HSMの動作を実現するために活用されているファイルシステム固有の拡張機能により、通常のファイルとスタブファイルの区別がつかない。
このため、データの移行元で、HSMにより構成されている、プライマリストレージとセカンダリストレージ間の階層構造によるデータの配置構成を、HSMの実施環境を整えたデータの移行先となるストレージ装置へ再現することができない。以下、例をもって説明する。
例えば、データ移行元のHSMの構成において、データの鮮度に従って、プライマリストレージとセカンダリストレージにデータが分布していた場合、
・データ移行先のプライマリストレージにおいて、データ移行元で格納されている全データ容量と同等のデータ格納領域を予め確保しておき、
・データ移行先のプライマリストレージにおいて、全てのデータがプライマリストレージに移行した後、データ移行先のプライマリストレージに係るデータ再配置手段によってデータ再配置対象の評価を行う必要がある。
この際、データ移行先のプライマリストレージにおいて、標準のファイルシステムコールを経由して、データ移行を実施した場合、データ移行元において設定されていたデータの鮮度の指標となる時間属性が変更されてしまう可能性がある。
そして、データ移行先で、データの鮮度の指標となる時間属性が変更されてしまうと、データ移行元におけるデータの配置構成を正しく再現することは不可能となる。
さらに、データ移行先のプライマリストレージにおいて、データ移行元のプライマリストレージとセカンダリストレージで格納されていた全データ容量を確保しなければならないということは、そもそも、HSMを運用する趣旨、目的に反することになる。
その趣旨、目的とは、データ移行元において、特徴の異なる複数のストレージ装置を組み合わせてHSMにより運用することにより、ストレージ全体のコストを下げる、というものである。したがって、かかる手法(移行先のプライマリストレージに移行元のプライマリストレージとセカンダリストレージの全データ容量を確保すること)は採用し難い。
以上のことから、既存のHSMの実施環境を、新しいストレージ装置を用いたHSM実施環境に移行する際には、
・スタブファイルと通常ファイルを区別可能とし、
・通常ファイルシステムコールを経由せずに、データ移行元からデータ移行先に、データを移行する、
ようにしないと、既存のHSMの実施環境のデータ配置構成を維持したまま、他のHSM実施環境へデータを移行することができない。
したがって、本発明は、上記課題を解決するために創案されたものであって、その目的は、移行元から移行先へのデータ配置形態を保存したデータ移行を、移行先側での趣旨、ポリシ等に反することなく、実現可能とするシステム、及びプログラムを提供することにある。
本発明の他の目的は、データ移行先のプライマリストレージ容量として、データ移行元のプライマリストレージとセカンダリストレージで格納されていた全データ容量を確保することを要しなくするシステム、及びプログラムを提供することにある。
本願で開示される発明は、前記課題を解決するために、概略以下の構成とされる。
本発明は、あるHSM実施環境から、異なるHSM実施環境へデータを移行する際、移行元のプライマリストレージで確保されていたストレージ容量と同等の容量を、移行先のプライマリストレージに確保するのみで、移行元となるHSM実施環境におけるデータ配置構成を維持したまま、データを移行する、データ移行機能を実装している。
本発明において、データ移行機能は、
(a1)移行元と移行先のストレージ装置における、HSMを実現するためのファイルシステム固有の拡張機能を経由して、スタブファイルと通常ファイルを判別し、
(a2)移行対象のファイルがスタブファイルであった場合は、移行元のプライマリストレージ内に格納されたスタブファイルを移行先のプライマリストレージ用のファイルシステム固有の拡張機能、及びデータの自動再配置機能に対応したスタブファイルに変換する手段と、
(a3)前記移行元のプライマリストレージ内に格納されたスタブファイル内のアドレスから、移行元となるセカンダリストレージに格納されているデータを読み出し、前記スタブファイルの変換手段と連動して、移行先のセカンダリストレージに直接データを格納する手段と、
を備える。
本発明の1つのアスペクト(側面)に係る方法は、
データ配置形態として、ファイルデータを、
データのポインタ情報を少なくとも含み、予め定められた形式の所定ファイルと、
前記所定ファイルのポインタ情報によってポイントされるデータと、に、記憶手段を分散させて、配置する形態を含む移行元から、移行先へ、データ配置形態を保存して、データの再配置を行う方法であって、
移行対象ファイルが前記所定ファイルであるか否か判別し、前記所定ファイルである場合、前記所定ファイルの前記ポインタ情報でポイントされる前記データを、移行元の記憶手段より読み出して、移行先の対応する記憶手段に配置し、
前記移行先の対応する記憶手段に配置されたデータをポイントするポインタ情報を少なくとも含み、移行先の予め定められた形式に適合した所定ファイルを、前記移行先のデータとは分散した形態で前記移行先の記憶手段に配置する、
上記各工程を含む。
本発明に係る方法は、データのポインタ情報を少なくとも含み、予め定められた形式の所定ファイルを、通常ファイル以外にも記憶する、第1のストレージと、前記所定ファイルのポインタ情報によってポイントされる前記データを記憶する、第2のストレージと、を含む移行元システムから、第3及び第4のストレージを含む移行先システムへ、データ移行を行うにあたり、以下の工程を含む。前記移行元の第1のストレージの移行対象ファイルが、前記所定ファイルであるか否かを判別し、
前記所定ファイルである場合、前記所定ファイルの前記ポインタ情報でポイントされる前記データを、前記移行元の第2のストレージから読み出して、前記データを対応する移行先の第3のストレージに配置し、
前記移行先の第4のストレージに、移行先の予め定められた形式に適合した所定ファイルを作成し、前記移行先の第4のストレージの前記所定ファイルのポインタ情報が前記移行先の第2のストレージに配置された前記データをポイントするように設定する。
本発明の別のアスペクトに係る方法は、移行元であるHSM(階層型ストレージ管理)実施環境から、移行先となるHSM実施環境へデータの移行を制御するデータ移行装置が、移行元から移行先へのデータ移行にあたり、
移行元のプライマリストレージ、セカンダリストレージでのデータ配置構成に基づき、移行対象がスタブファイルであるか否かを判断し、
移行先となるHSM実施環境のスタブファイルフォーマット、セカンダリストレージへのデータ配置ルールに従って、移行対象のスタブファイルを、移行先に適合したスタブファイルに変換し、
移行元のスタブファイルに保持されたアドレスから移行元のセカンダリストレージのデータを読み出して、前記データを、移行先のセカンダリストレージに格納するとともに、前記変換したスタブファイルを移行先のプライマリストレージに格納し、
一方、通常のファイルは、移行元のプライマリストレージから移行先のプライマリストレージへ移行させる、ことを特徴とする。
本発明においては、移行元であるHSM(階層型ストレージ管理)実施環境から、移行先となるHSM実施環境へデータの移行を制御する、データ移行装置が、移行元から移行先へのデータ移行にあたり、
移行元と移行先のストレージにおけるHSMを実現するためのファイルシステム固有の拡張機能を経由してスタブファイルと通常ファイルの判別を行い、
移行対象がスタブファイルである場合、移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、移行元のセカンダリストレージにおけるデータの格納先アドレスに基づき、移行元のセカンダリストレージからデータを読み出し、
移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、移行元のセカンダリストレージから読み出したデータを書き込み、
移行元のプライマリストレージに格納されているスタブファイルの属性情報を読み込み、前記移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成し、
移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、移行先のセカンダリストレージに格納したデータのアドレス情報と、データ移行元のプライマリストレージから取得した前記属性情報を付与することで、移行対象のスタブファイルに関するデータの移行を完了させる、ようにしてもよい。
本発明において、前記データ移行装置以外のデータアクセス元からのファイル操作要求に対応して、移行したデータを修正する、ようにしてもよい。
本発明に係る方法は、データ移行装置を用いて移行元となるHSM実施環境から移行先となるHSM実施環境へデータを移行するにあたり、
前記移行先のプライマリストレージから、移行対象となるファイルエントリ情報を読み出し、
記憶装置より、移行元、移行先における、スタブファイルのフォーマット情報、セカンダリストレージへのデータ格納方法の情報を取得し、
移行対象がスタブファイルの場合、前記取得した移行元、移行先におけるスタブファイルのフォーマット、セカンダリストレージへのデータ格納方法の情報に従って、移行元のスタブファイル、対応するセカンダリストレージのデータを、移行先のプライマリストレージ、セカンダリストレージにそれぞれ配置し、
移行対象がファイル、ディレクトリの場合、移行元と同名、同一の属性を持つファイル、ディレクトリを移行先のプライマリストレージに作成する、
上記各工程を含む。
本発明においては、データ移行中に、データ移行装置以外の他のデータアクセス元から、ファイル操作要求が発生した場合、ファイル操作対象のオブジェクトIDが一致するデータがデータ移行対象として管理されており、移行終了済みである場合には、移行先に格納されたデータに対してファイル操作を行うようにしてもよい。
本発明に係る方法においては、データ移行装置を用いて移行元となるHSM実施環境から、移行先となるHSM実施環境へデータを移行するにあたり、
(a)移行元のプライマリストレージの情報を取得し、前記移行元のプライマリストレージのHSM用インターフェースにアクセスするためのコマンドセットを用いて、データ移行領域に含まれる、ファイル及びディレクトリのパス名と、前記ファイル及びディレクトリに関連付けられたオブジェクトIDを移行元のプライマリストレージから取得して、移行が終了したか否かを示すフラグとともに記憶管理し、
(b)移行元のプライマリストレージ、セカンダリストレージ、移行先のプライマリストレージ、セカンダリストレージに関する情報より、移行元となるストレージ装置、及び、移行先となるストレージ装置とデータ格納先とを確定し、
(c)移行対象として管理登録されているファイル及びディレクトリのうち、移行の終了を示すフラグのたっていないディレクトリ、ファイルに対して、移行元のプライマリストレージに格納されているファイル及びディレクトリにアクセスし、アクセス先がディレクトリであるかファイルであるか判断し、
(d)アクセス先がディレクトリの場合、移行先のプライマリストレージに移行元と同名となる、ディレクトリを作成し、移行対象として管理されている前記ディレクトリの情報に、移行終了を示すフラグを立て、
(e)アクセス先がファイルの場合には、スタブファイルであるか調べ、スタブファイルである場合、移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、セカンダリストレージにおけるデータの格納先アドレスに基づき、移行元のセカンダリストレージからデータを読み出し、移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、移行元のセカンダリストレージから読み出したデータを書き込み、移行元のプライマリストレージに格納されている該スタブファイルの属性情報を読み込み、前記移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成し、
(f)移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、移行先のセカンダリストレージに格納したデータのアドレス情報と、データ移行元のプライマリストレージから取得した前記属性情報を付与することで、データの移行を完了し、移行対象として管理される前記ファイルの情報に移行終了を示すフラグを立て、
(g)移行対象が通常ファイルである場合、移行元のプライマリストレージに格納されている、前記ファイルのデータ、及び属性情報を読み込み、移行先のプライマリストレージへ、前記ファイルと同名のファイルを作成し、前記作成ファイルに、データ移行元のプライマリストレージから取得した前記属性情報を付与することで、データの移行を完了し、移行対象として管理される前記ファイルの情報に移行終了を示すフラグを立て、
(h)移行対象として管理されている、全てのファイル、及び、全てのディレクトリに関して、移行終了を示すフラグが立った場合、移行処理を終了する、
ようにしてもよい。
本発明に係る方法においては、前記データ移行装置以外の他のデータアクセス元から、移行元のプライマリストレージのデータ移行対象の領域に対して、標準ファイルシステムコールを介した処理が実施されると、
(i)処理内容、処理対象のオブジェクトIDを含む情報が、移行元のプライマリストレージからデータ移行装置に転送され、
(j)前記データ移行装置では、前記転送された前記情報を一旦格納し、
(k)更新系の処理であった場合、移行元のプライマリストレージから、前記オブジェクトIDを要求キーとして、パス名を取得し、
(l)実施途中のデータ移行処理が終了次第、前記オブジェクトIDと同一となる移行対象ファイルもしくはディレクトリが存在するか確認し、
(m)前記オブジェクトIDと同一となるファイルもしくはディレクトリが存在していた場合には、移行終了を示すフラグが立っているか否かを確認し、
(n)前記移行終了を示すフラグが立っている場合、移行が完了していないことを表す状態とし、前記処理内容がファイル属性の変更処理である場合には、移行対象として記憶管理される処理対象のファイルの属性情報を、移行先に反映した後に、移行終了を示すフラグを立て、
(o)前記処理内容がデータの更新処理である場合には、移行対象として記憶管理される前記処理対象のファイルの移行終了を示すフラグを取り消し、移行先のHSM実施環境に格納されているデータを削除した後、移行終了を示すフラグを立て、
(p)前記処理内容が削除処理である場合には、移行先HSM実施環境に格納されている処理対象のデータを削除した後、移行対象として記憶管理される処理対象のファイル又はディレクトリの情報を削除し、
(q)前記処理内容がファイル、もしくはディレクトリの移動処理であった場合には、移行先HSM実施環境に格納されている、ファイル、もしくはディレクトリを、前記処理における移動先のパス名と同じパス名となる場所へ移動した後、移行終了を示すフラグを立て、
(r)前記移行終了フラグが立っていない場合、前記処理内容がファイル、もしくはディレクトリの移動処理の場合、移行対象として記憶管理される前記処理対象の情報のパス名を変更し、前記処理内容が削除処理の場合、移行対象として記憶管理される前記処理対象の情報を削除し、前記処理内容が、ファイル属性の変更、もしくはデータの更新処理であった場合は、何も実施しないようにしてもよい。
本発明において、ステップ(l)の確認の結果、前記オブジェクトIDと同一となるファイルもしくはディレクトリが存在しない場合には、前記転送された情報のうち、パス名、及びオブジェクトIDを移行対象として、移行が終了していないフラグと共に、登録する、ようにしてもよい。
本発明の1つのアスペクトに係る装置は、データ配置形態として、ファイルデータを、
データのポインタ情報を少なくとも含み、予め定められた形式の所定ファイルと、
前記所定ファイルのポインタ情報によってポイントされるデータと、
に、記憶手段を分散させて、配置する形態を含む移行元から、移行先へ、データ配置形態を保存して、データの再配置を行う装置であって、
移行対象ファイルが前記所定ファイルであるか否か判別し、前記所定ファイルである場合、前記所定ファイルの前記ポインタ情報でポイントされる前記データを、移行元の記憶手段より読み出して、移行先の対応する記憶手段に配置する制御を行う手段と、
前記移行先の対応する記憶手段に配置されたデータをポイントするポインタ情報を少なくとも含み、移行先の予め定められた形式に適合した所定ファイルを、前記移行先のデータとは分散した形態で前記移行先の記憶手段に配置する制御を行う手段と、
を備えている。
本発明に係る装置は、データのポインタ情報を少なくとも含み、予め定められた形式の所定ファイルを、通常ファイル以外にも記憶する、第1のストレージと、前記所定ファイルのポインタ情報によってポイントされる前記データを記憶する、第2のストレージと、を含む移行元システムから、第3及び第4のストレージを含む移行先システムへ、データ移行を行うにあたり、前記移行元の第1のストレージの移行対象ファイルが、前記所定ファイルであるか否かを判別する手段と、前記所定ファイルと判別された場合、前記所定ファイルの前記ポインタ情報でポイントされる前記データを、前記移行元の第2のストレージから読み出して、前記データを対応する移行先の第3のストレージに配置する、制御を行う手段と、前記移行先の第4のストレージに、移行先の予め定められた形式に適合した所定ファイルを作成し、前記移行先の第4のストレージの前記所定ファイルのポインタ情報が前記移行先の第3のストレージに配置された前記データをポイントするように設定する、制御を行う手段と、を備えている。
本発明の他のアスペクトに係る装置は、移行元であるHSM(階層型ストレージ管理)実施環境から、移行先となるHSM実施環境へデータの移行を制御するデータ移行装置であって、
移行元のプライマリストレージ、セカンダリストレージでのデータ配置構成に基づき、移行対象がスタブファイルであるか否かを判断する手段と、
移行先となるHSM実施環境のスタブファイルフォーマット、セカンダリストレージへのデータ配置ルールに従って、移行対象のスタブファイルを、移行先に適合したスタブファイルに変換する手段と、
移行元のスタブファイルに保持されたアドレスから移行元のセカンダリストレージのデータを読み出して、前記データを、移行先のセカンダリストレージに格納するとともに、前記変換したスタブファイルを移行先のプライマリストレージに格納する手段と、
移行対象がスタブファイル以外の通常のファイルについては、移行元のプライマリストレージから移行先のプライマリストレージへ移行させる制御を行う手段と、を備えている、ことを特徴とする。
本発明の他のアスペクトに係る装置は、移行元であるHSM(階層型ストレージ管理)実施環境から、移行先となるHSM実施環境へデータの移行を制御する、データ移行装置であって、
移行元と移行先のストレージにおけるHSMを実現するためのファイルシステム固有の拡張機能を経由してスタブファイルと通常ファイルの判別を行う手段と、
移行対象がスタブファイルである場合、移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、移行元のセカンダリストレージにおけるデータの格納先アドレスに基づき、移行元のセカンダリストレージからデータを読み出す手段と、
移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、移行元のセカンダリストレージから読み出したデータを書き込むように制御する手段と、
移行元のプライマリストレージに格納されているスタブファイルの属性情報を読み込み、前記移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成する手段と、
移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、移行先のセカンダリストレージに格納したデータのアドレス情報と、データ移行元のプライマリストレージから取得した前記属性情報を付与することで、移行対象のスタブファイルに関するデータの移行を完了させる手段と、を備えている。
本発明に係る装置においては、データ移行中に、データ移行装置以外の他のデータアクセス元から、移行元のプライマリストレージへのファイル操作要求が発生した場合、ファイル操作対象のオブジェクトIDが一致するデータがデータ移行対象として管理されており、移行終了済みである場合には、移行先に格納されたデータに対してファイル操作を行う、ようにしてもよい。
本発明に係る装置においては、管理インターフェース、データ移行処理制御部、HSM処理情報管理部、移行処理情報管理部、移行ファイル管理部、及び、ファイルシステムイベント管理部を備えている。
前記管理インターフェースは、データ移行作業を実施するにあたり、必要となる事前設定情報を、前記移行処理情報管理部へ通知するとともに、前記データ移行処理制御部より、データ移行処理の実施状況に関する情報を取得する機能、及び、前記データ移行処理制御部に対して、移行処理開始命令を通知する機能を備えている。
前記HSM処理情報管理部には、HSM実施環境におけるHSM用インターフェースを介したファイルシステム固有の拡張機能の各種処理を実施するためのコマンドセット、スタブファイルの生成フォーマット、及び前記各ポリシー管理装置における、セカンダリストレージへのデータ再配置ルールが格納される。
前記移行処理情報管理部には、前記管理インターフェースを介して設定された、移行対象となるストレージの情報と、移行元のプライマリストレージにおける、移行対象となるデータ領域の情報と、移行先のストレージのデータ格納領域の情報と、前記ポリシー管理装置の機器情報が格納される。
前記移行ファイル管理部には、前記管理インターフェースを介して設定された、移行するデータ領域に含まれる全てのファイル、及びディレクトリのパス名と、ファイルシステム上でのファイル、ディレクトリを識別するオブジェクトIDと、前記ファイル、及びディレクトリに関してデータ移行が終了したか否かを示すフラグ情報が格納される。
前記ファイルシステムイベント管理部は、前記HSMインターフェースを介して通知される、一般のデータアクセス元からの特定の標準のファイルシステムコールを介した処理が実施された場合の処理イベント情報を取得し、前記処理イベント情報を、前記データ移行処理制御部へ転送する機能を備えている。
前記データ移行処理制御部は、前記HSM処理情報管理部、前記移行処理情報管理部、前記移行ファイル管理部に格納されている情報、及び、前記ファイルシステムイベント管理部から通知される、イベント情報に基づき、移行元のHSM実施環境から、移行先のHSM実施環境へデータ移動する、機能を備え、データ移行処理の実施状況に関する情報を生成する機能を備えた構成としてもよい。
本発明のさらに別のアスペクトに係るデータ移行システムにおいては、データ移行元のプライマリストレージ、データ移行元のセカンダリストレージ、こられのストレージを予め定められたルールに基づいてデータの再配置制御を実施するデータ移行元ポリシー管理装置を備えた、データの移行元となるHSM実施環境と、
データ移行先のプライマリストレージ、データ移行先のセカンダリストレージ、及び、これらのストレージを予め定められたルールに基づいてデータの再配置制御を実施するデータ移行先ポリシー管理装置を備えた、データの移行先となるHSM実施環境と、
移行元となるHSM実施環境から移行先となるHSM実施環境へデータの移行処理を実施するデータ移行装置と、
を備え、
データ移行元のプライマリストレージとデータ移行先のプライマリストレージは、それぞれファイルシステム、及びHSM用インターフェースを備えており、ファイルシステムに格納されるデータは、HSM用インターフェースを介して外部からアクセスされ、
前記データ移行装置は、管理インターフェース、データ移行処理制御部、HSM処理情報管理部、移行処理情報管理部、移行ファイル管理部、及び、ファイルシステムイベント管理部を備えている。
前記管理インターフェースは、データ移行作業を実施するにあたり、必要となる事前設定情報を、前記移行処理情報管理部へ通知するとともに、前記データ移行処理制御部より、データ移行処理の実施状況に関する情報を取得する機能、及び、前記データ移行処理制御部に対して、移行処理開始命令を通知する機能を備えている。
前記HSM処理情報管理部には、HSM実施環境におけるHSM用インターフェースを介したファイルシステム固有の拡張機能の各種処理を実施するためのコマンドセット、スタブファイルの生成フォーマット、及び前記各ポリシー管理装置における、セカンダリストレージへのデータ再配置ルールが格納される。
前記移行処理情報管理部には、前記管理インターフェースを介して設定された、移行対象となるストレージの情報と、移行元のプライマリストレージにおける、移行対象となるデータ領域の情報と、移行先のストレージのデータ格納領域の情報と、前記ポリシー管理装置の機器情報が格納される。
前記移行ファイル管理部には、前記管理インターフェースを介して設定された、移行するデータ領域に含まれる全てのファイル、及びディレクトリのパス名と、ファイルシステム上でのファイル、ディレクトリを識別するオブジェクトIDと、前記ファイル、及びディレクトリに関してデータ移行が終了したか否かを示すフラグ情報が格納される。
前記ファイルシステムイベント管理部は、
前記HSMインターフェースを介して通知される、一般のデータアクセス元からの特定の標準のファイルシステムコールを介した処理が実施された場合の処理イベント情報を取得し、前記処理イベント情報を、前記データ移行処理制御部へ転送する機能を備え、
前記データ移行処理制御部は、前記HSM処理情報管理部、前記移行処理情報管理部、前記移行ファイル管理部に格納されている情報、及び、前記ファイルシステムイベント管理部から通知される、イベント情報に基づき、移行元のHSM実施環境から、移行先のHSM実施環境へデータ移動する、機能を備え、データ移行処理の実施状況に関する情報を生成する機能を備えている。
本発明においては、前記ファイルシステムは、HSMを実施するための、スタブファイルによるデータアクセス元からのデータ配置場所の隠蔽手段を備えている。本発明においては、標準のファイルシステムコールではサポートされず、HSM用インターフェースを介して実施される、ファイルシステムの拡張機能として、スタブファイルの作成、読み出し、更新、削除処理機能や、スタブファイルの属性情報の読み出し、更新処理機能を備える。また、HSM用インターフェースを介して実施されるファイルシステムの該拡張機能として、ファイルの読み出し及び更新処理機能と、ファイルの属性情報を変更せずに、ファイルデータの作成、読み出し、更新、削除処理を実施する機能と、データアクセス元からの特定の標準のファイルシステムコールを介した処理が実施された場合の処理イベント発生の通知機能の少なくとも1つをさらに備えた構成としてもよい。
本発明において、前記処理イベントには、処理内容と、該処理が実行されたファイル、もしくはディレクトリに関する、ファイルシステム内での識別情報であるオブジェクトIDが通知される構成としてもよい。
本発明に係る装置においては、データ移行時、前記データ移行処理制御部は、前記管理インターフェースよりデータ移行処理の通知を受け、
前記データ移行処理制御部は、前記移行処理情報管理部より、移行元のプライマリストレージの情報を取得し、
前記HSM処理情報管理部に登録されている、前記移行元のプライマリストレージのHSM用インターフェースにアクセスするためのコマンドセットを用いて、データ移行領域に含まれる、ファイル及びディレクトリのパス名と、前記ファイル及びディレクトリに関連付けられたオブジェクトIDを移行元のプライマリストレージから取得して、前記移行ファイル管理部に格納し、
前記データ移行処理制御部は、前記移行処理情報管理部より、移行元のプライマリストレージ、セカンダリストレージ、移行先のプライマリストレージ、セカンダリストレージに関する情報より、移行元となるストレージ装置、及び、移行先となるストレージ装置とデータ格納先とを確定し、
前記データ移行処理制御部は、前記移行ファイル管理部に登録されているファイル及びディレクトリのうち、移行の終了を示すフラグのたっていないディレクトリ、ファイルに対して、移行元のプライマリストレージに格納されているファイル及びディレクトリにアクセスし、アクセス先がディレクトリであるかファイルであるか判断し、
アクセス先がディレクトリの場合、移行先のプライマリストレージに移行元と同名となる、ディレクトリを作成し、移行対象として管理されている前記ディレクトリの情報に、移行終了を示すフラグを立て、
アクセス先がファイルの場合には、前記データ移行処理制御部は、スタブファイルであるか調べ、スタブファイルである場合、移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、セカンダリストレージにおけるデータの格納先アドレスに基づき、移行元のセカンダリストレージからデータを読み出し、移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、移行元のセカンダリストレージから読み出したデータを書き込み、移行元のプライマリストレージに格納されている該スタブファイルの属性情報を読み込み、前記移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成し、
移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、移行先のセカンダリストレージに格納したデータのアドレス情報と、データ移行元のプライマリストレージから取得した前記属性情報を付与することで、データの移行を完了し、前記移行ファイル管理部に登録されている前記ファイルの情報に移行終了を示すフラグを立て、
移行対象が通常ファイルである場合、前記データ移行処理制御部は、移行元のプライマリストレージに格納されている、前記ファイルのデータ、及び属性情報を読み込み、移行先のプライマリストレージへ、前記ファイルと同名のファイルを作成し、前記作成ファイルに、データ移行元のプライマリストレージから取得した前記属性情報を付与することで、データの移行を完了し、前記移行ファイル管理部に登録されている前記ファイルの情報に移行終了を示すフラグを立て、
前記移行ファイル管理部に登録されている、全てのファイル、及び、全てのディレクトリに関して、移行終了を示すフラグが立った場合、移行処理を終了する、構成としてもよい。
本発明において、前記データ移行装置以外の他のデータアクセス元から、移行元のプライマリストレージのデータ移行対象となっている領域に対して、標準ファイルシステムコールを介した処理が実施されると、移行元のプライマリストレージから、処理内容、処理対象のオブジェクトIDを含む情報が、前記データ移行装置に転送され、
前記データ移行装置では、前記ファイルシステムイベント管理部に前記転送された前記情報を一旦格納し、
更新系の処理であった場合、前記ファイルシステムイベント管理部は、移行元のプライマリストレージから、前記オブジェクトIDを要求キーとして、パス名を取得し、
前記データ移行処理制御部は、
実施途中のデータ移行処理が終了次第、前記オブジェクトIDと同一となる移行対象ファイルもしくはディレクトリが存在するか確認し、
前記オブジェクトIDと同一となるファイルもしくはディレクトリが存在していた場合には、移行終了を示すフラグが立っているか否かを確認し、
前記移行ファイル管理部において前記移行終了を示すフラグが立っている場合、移行が完了していないことを表す状態とし、前記処理内容がファイル属性の変更処理である場合には、移行対象として記憶管理される処理対象のファイルの属性情報を、移行先に反映した後に、移行終了を示すフラグを立て、
前記処理内容がデータの更新処理である場合には、前記データ移行処理制御部は、前記移行ファイル管理部に登録されている、前記処理対象のファイルの移行終了を示すフラグを取り消し、移行先のHSM実施環境に格納されているデータを削除した後、移行終了を示すフラグを立て、
前記処理内容が削除処理である場合には、前記データ移行処理制御部は、移行先HSM実施環境に格納されている処理対象のデータを削除した後、前記移行ファイル管理部に格納されている処理対象のファイル又はディレクトリの情報を削除し、
前記処理内容がファイル、もしくはディレクトリの移動処理である場合には、前記データ移行処理制御部は、移行先HSM実施環境に格納されている、ファイル、もしくはディレクトリを、前記処理における移動先のパス名と同じパス名となる場所へ移動した後、移行終了を示すフラグを立て、
一方、前記移行終了フラグが立っていない場合、前記データ移行処理制御部は、
前記処理内容がファイル、もしくはディレクトリの移動処理の場合、前記移行ファイル管理部に登録されている、前記処理対象の情報のパス名を変更し、
前記処理内容が削除処理の場合、前記移行ファイル管理部に登録されている、前記処理対象の情報を削除し、
前記処理内容が、ファイル属性の変更、もしくはデータの更新処理であった場合は、何も実施しない、構成としてもよい。
本発明において、前記移行ファイル管理部に格納されている情報に、前記オブジェクトIDと一致する情報が存在していない場合、前記データ移行処理制御部は、前記ファイルシステムイベント管理部から転送された情報のうち、パス名、及びオブジェクトIDを、移行が終了していないことを示すフラグと共に、前記移行ファイル管理部に登録する、構成としてもよい。
本発明の一つのアスペクトに係るコンピュータ・プログラムは、
データ配置形態として、ファイルデータを、
データのポインタ情報を少なくとも含み、予め定められた形式の所定ファイルと、
前記所定ファイルのポインタ情報によってポイントされるデータと、
に、分散記憶させて配置する形態を含む移行元から、
移行先へ、データ配置形態を保存して、データの再配置を行う装置を構成するコンピュータに、
移行対象ファイルが前記所定ファイルであるか否か判別し、前記所定ファイルである場合、前記所定ファイルの前記ポインタ情報でポイントされる前記データを、移行元の記憶手段より読み出して、移行先の対応する記憶手段に配置する処理と、
前記移行先の対応する記憶手段に配置されたデータをポイントするポインタ情報を少なくとも含み、移行先の予め定められた形式に適合した所定ファイルを、前記移行先のデータとは分散した形態で前記移行先の記憶手段に配置する処理と、
を実行させるプログラムよりなる。
本発明に係るコンピュータ・プログラムは、
データのポインタ情報を少なくとも含み、予め定められた形式の所定ファイルを、通常ファイル以外にも記憶する、第1のストレージと、前記所定ファイルのポインタ情報によってポイントされる前記データを記憶する、第2のストレージと、を含む移行元システムから、移行先システムへ、データ移行を行う装置を構成するコンピュータに、
前記移行元の第1のストレージの移行対象ファイルが、前記所定ファイルであるか否かを判別する処理と、
前記所定ファイルである場合、前記所定ファイルの前記ポインタ情報でポイントされる前記データを、前記移行元の第2のストレージから読み出して、前記データを対応する移行先の第2のストレージに配置する、制御を行う処理と、
前記移行先の第1のストレージに、前記移行元の第1のストレージと同一名とされ、且つ移行先の予め定められた形式に適合した所定ファイルを作成し、前記移行先の第1のストレージの前記所定ファイルのポインタ情報が前記移行先の第2のストレージに配置された前記データをポイントするように設定する、制御を行う処理と、
を実行させるプログラムよりなる。
本発明の一つのアスペクトに係るコンピュータ・プログラムは、移行元であるHSM(階層型ストレージ管理)実施環境から、移行先となるHSM実施環境へデータの移行を制御するデータ移行装置を構成するコンピュータに、
移行元から移行先へのデータ移行にあたり、
移行元のプライマリストレージ、セカンダリストレージでのデータ配置構成に基づき、移行対象がスタブファイルであるか否かを判断する処理と、
移行先となるHSM実施環境のスタブファイルフォーマット、セカンダリストレージへのデータ配置ルールに従って、移行対象のスタブファイルを、移行先に適合したスタブファイルに変換する処理と、
移行元のスタブファイルに保持されたアドレスから移行元のセカンダリストレージのデータを読み出して、前記データを、移行先のセカンダリストレージに格納するとともに、前記変換したスタブファイルを移行先のプライマリストレージに格納する手段と、
移行対象がスタブファイル以外の通常のファイルについては、移行元のプライマリストレージから移行先のプライマリストレージへ移行させる制御を行う処理と、
を実行させるプログラムよりなる。
本発明のさらに他のアスペクトに係るコンピュータ・プログラムは、移行元であるHSM(階層型ストレージ管理)実施環境から、移行先となるHSM実施環境へデータの移行を制御する、データ移行装置を構成するコンピュータに、
移行元から移行先へのデータ移行にあたり、
移行元と移行先のストレージにおけるHSMを実現するためのファイルシステム固有の拡張機能を経由してスタブファイルと通常ファイルの判別を行う処理と、
移行対象がスタブファイルである場合、移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、移行元のセカンダリストレージにおけるデータの格納先アドレスに基づき、移行元のセカンダリストレージからデータを読み出す処理と、
移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、移行元のセカンダリストレージから読み出したデータを書き込むように制御する処理と、
移行元のプライマリストレージに格納されているスタブファイルの属性情報を読み込み、前記移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成する処理と、
移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、移行先のセカンダリストレージに格納したデータのアドレス情報と、データ移行元のプライマリストレージから取得した前記属性情報を付与することで、移行対象のスタブファイルに関するデータの移行を完了させる処理と、
を実行させるプログラムよりなる。
本発明に係るプログラムにおいて、
データ移行中に、前記データ移行装置以外の他のデータアクセス元から、移行元のプライマリストレージへのファイル操作要求が発生した場合、ファイル操作対象のオブジェクトIDが一致するデータがデータ移行対象として管理されており、移行終了済みである場合には、移行先に格納されたデータに対してファイル操作を行う処理を前記コンピュータに実行させるようにしてもよい。
本発明によれば、移行先側でのデータ配置ポリシ等と不整合することなく、移行元から移行先へのデータ配置形態を保存したデータ移行を実現することができる。
本発明を適用したデータ移行装置を用いることにより、移行元と移行先のストレージ装置間でデータの授受を行う際、データアクセスのための共通のインターフェースが、NFSやCIFSといった標準のファイルシステムコールを経由するインターフェースのみしかない場合であっても、移行元のプライマリストレージ容量と同等のサイズのストレージ容量を移行先のプライマリストレージに確保するだけで、移行元のHSM実施環境におけるデータの配置構成を維持したまま、移行先のHSM実施環境にデータを移行することが可能となる。すなわち、データ移行のために確保しなければならない余分なストレージ容量を消費することがなくなる。
上記した本発明についてさらに詳細に説術すべく、添付図面を参照して以下に説明する。本発明によれば、ファイルデータの配置形態として、データのポインタ情報(アドレス情報)を少なくとも含み、予め定められた形式の所定ファイル(例えばスタブファイル)と、前記所定ファイルのポインタ情報によってポイントされるデータと、に記憶手段を分散させて配置する形態を含む、移行元システムから、移行先システムへ、データ配置形態を保存してデータの再配置を行うための制御を行うデータ移行装置、方法、プログラムが提示される。本発明のデータ移行装置(方法、プログラム)においては、移行対象ファイルが前記所定ファイル(例えばスタブファイル)であるか否か判別し、前記所定ファイルである場合、前記所定ファイルの前記ポインタ情報でポイントされる前記データを、移行元の記憶手段より読み出して、移行先の対応する記憶手段に配置する制御を行い、前記移行先の対応する記憶手段に配置されたデータをポイントするポインタ情報を少なくとも含み、移行先の予め定められた形式に適合した所定ファイルを作成し、前記移行先のデータとは分散して、前記移行先の記憶手段に配置する制御を行う。
本発明のデータ移行装置(方法、プログラム)は、通常ファイルのほかにも、前記所定ファイルを格納している第1のストレージと、前記所定ファイルのポインタ情報によってポイントされる前記データを格納している第2のストレージを含む移行元システムから、移行先システムへデータ移行を行うにあたり、前記移行元の第1のストレージの移行対象ファイルが、前記所定ファイルであるか否かを判別し、所定ファイルである場合、該所定ファイルのポインタ情報でポイントされるデータを、移行元の第2のストレージから読み出して、前記データを対応する移行先の第2のストレージに配置し、移行先の第1のストレージに所定ファイルを作成し所定ファイルのポインタ情報が、前記移行先の第2のストレージに配置された前記データをポイントするように設定する。以下では、移行元となるHSM実施環境から、移行先となるHSM実施環境へ、データの移行処理を行うデータ移行装置に、本発明を適用した例に即して説明する。
以下、本発明を実施する最良の形態のシステム構成について、図面を参照して説明する。図1は、本発明の一実施形態における、データ移行作業時のシステム構成の一例を示したものである。
図1を参照すると、本実施の形態に係るシステムにおいては、
・データ移行元プライマリストレージ3、データ移行元セカンダリストレージ4、こられのストレージ3、4を予め定められたルールに基づいてデータの再配置制御を実施するデータ移行元ポリシー管理装置5を備えた、データの移行元となるHSM実施環境と、
・データ移行先プライマリストレージ6、データ移行先セカンダリストレージ7、及び、これらのストレージ6、7を予め定められたルールに基づいて、データの再配置制御を実施するデータ移行先ポリシー管理装置8を備えた、データの移行先となるHSM実施環境と、
・移行元となるHSM実施環境から、移行先となるHSM実施環境へ、データの移行処理を実施するデータ移行装置1と、
を備えており、これらは、ネットワーク2を介して、相互に、通信接続される。
データ移行元プライマリストレージ3とデータ移行先プライマリストレージ6は、それぞれ、ファイルシステム9、11、及び、HSM用インターフェース10、12を備えており、ファイルシステム9、11に格納されるデータは、HSM用インターフェース10、12を介して、それぞれ、外部からアクセス可能とされている。
ファイルシステム9、11は、
HSMを実施するための、スタブファイルによるデータアクセス元からのデータ配置場所の隠蔽手段(不図示)を備え、さらに、
それぞれ、HSM用インターフェース10、12を介して、ファイルシステム固有の拡張機能を利用できるようになっている。当該ファイルシステム固有の拡張機能は、標準のファイルシステムコールでは処理不可能とされる機能を含む。
標準のファイルシステムコールでは処理不可能な、ファイルシステム固有の拡張機能として、例えば、
・スタブファイルの作成、読み出し、更新、削除処理機能、
・スタブファイルの属性情報の読み出し、更新処理機能、
・ファイルデータの読み出し、更新処理機能、
・ファイルの属性情報を変更せずに、ファイルデータの作成、読み出し、更新、削除処理を実施する機能、
・一般のデータアクセス元からの特定の標準のファイルシステムコールを介した処理が実施された場合の処理イベント発生の通知機能、
といった機能がある。
前記処理イベントには、
・処理内容(更新、削除など)と、
・該処理が実行されたファイル又はディレクトリに関する、ファイルシステム9もしくはファイルシステム11内での識別情報である、オブジェクトID、
が含まれる。
セカンダリストレージ4、7は、それぞれ、ファイルシステム13、14を備えており、ネットワーク2を介して、ファイルシステム13、14内にそれぞれ格納されたデータにアクセス可能な状態となっている。
図2は、データ移行装置1の構成の一例を示したものである。図2を参照すると、データ移行装置1は、管理インターフェース20、データ移行処理制御部21、HSM処理情報管理部22、移行処理情報管理部23、移行ファイル管理部24、及び、ファイルシステムイベント管理部25を備えている。
管理インターフェース20は、
・システム管理者等により、データ移行作業を実施するにあたり、必要となる事前設定情報を、移行処理情報管理部23へ通知するとともに、データ移行処理制御部21より、データ移行処理の実施状況に関する情報を取得する機能、及び、
・データ移行処理制御部21に対して、移行処理開始命令を通知する機能、
を備えている。
HSM処理情報管理部22には、
・HSM実施環境における、HSM用インターフェース10、12を介したファイルシステム固有の拡張機能の各種処理を実施するための、コマンドセット、
・スタブファイルの生成フォーマット、及び、
・ポリシー管理装置5、8における、セカンダリストレージへのデータ再配置ルール、
が格納されている。
移行処理情報管理部23には、システム管理者等により管理インターフェース20を介して設定された、
・移行対象となるストレージ3、4、6、7の機種情報(機器情報)、及びアドレス情報と、
・移行元プライマリストレージ3における、移行対象となるデータ領域の情報と、
・移行先のストレージ6、7のデータ格納領域の情報と、
・ポリシー管理装置5、8の機器情報、
が格納されている。
移行ファイル管理部24には、
・管理インターフェース20を介して設定された、移行するデータ領域に含まれる全てのファイル、及びディレクトリのパス名と、
・ファイルシステム上でのファイル、ディレクトリを識別するオブジェクトIDと、
・前記ファイル、及びディレクトリに関してデータ移行が終了したか否かを示すフラグ情報、
が格納される。
このフラグ情報は、データ移行処理制御部21、及び、管理インターフェース20を介して、データ移行処理の実施状況として移行ファイル管理部24に通知される。
ファイルシステムイベント管理部25は、
・HSM用インターフェース10、12を介して通知される、一般のデータアクセス元からの特定の標準のファイルシステムコールを介した処理が実施された場合の処理イベント情報を取得し、
・前記処理イベント情報を、データ移行処理制御部21へ転送する、
機能を備える。
データ移行処理制御部21は、
・HSM処理情報管理部22、移行処理情報管理部23、移行ファイル管理部24に格納されている情報、及び、
・ファイルシステムイベント管理部25から通知される、イベント情報
に基づき、移行元のHSM実施環境から、移行先のHSM実施環境へデータ移動する、機能を備える。
また、データ移行処理制御部21は、データ移行処理の実施状況に関する情報を生成する機能を備える。
<データ移行手順>
次に、データ移行装置1を用いて、データ移行元となるHSM実施環境から、データ移行先となるHSM実施環境へデータを移行する手順について、図1、図2、及び、図3を参照して説明する。図3は、本発明の一実施形態のデータ移行処理の手順を説明するフローチャートである。
まず、データ移行処理を開始する前に、ポリシー管理装置5、8における、データ自動再配置機能を停止し、データ移行装置1によるデータ移行作業中に、ポリシー管理装置5、8によるデータ再配置が行われないようにしておく。
管理インターフェース20より、データ移行処理の開始通知を受けると共に、データ移行処理制御部21は、
移行処理情報管理部23より、
データ移行元プライマリストレージ3の
・機種情報、
・アドレス情報、及び、
・プライマリストレージのデータ移行領域の情報、
を取得する。
そして、データ移行処理制御部21は、HSM処理情報管理部22に登録されている、ストレージ3のHSM用インターフェース10を介したファイルシステム9の固有の拡張機能を実行するためのコマンドセットを読み出し、前記コマンドセットを利用して、データ移行領域に含まれる、
・全てのファイル、及びディレクトリのパス名と、
・前記ファイル、及びディレクトリに関連付けられたオブジェクトIDと、
を、データ移行元プライマリストレージ3から取得し、移行ファイル管理部24へ格納する(ステップS100)。特に制限されないが、移行ファイル管理部24への情報は、データ抽出の高速化のため、テーブル化して格納してもよい。
データ移行処理制御部21は、全てのファイル、ディレクトリに関して情報を取得した後、移行処理情報管理部23より、
・ストレージ4、6、7のアドレス情報、及び機種情報と、
・データ移行元ポリシー管理装置5とデータ移行先ポリシー管理装置8の機種情報と、
・移行先ストレージ6、7におけるデータ格納領域の情報と、
を取得する。
また、データ移行処理制御部21は、ステップS100において取得した、
・データ移行元プライマリストレージ3のアドレス情報と、
・ストレージ4、6、7のアドレス情報と、
・ストレージ6、7のデータ格納領域の情報と、
から、
・移行元となるストレージ装置、及び、
・移行先となるストレージ装置とデータ格納先と、
を確定する。
また、データ移行処理制御部21は、
・プライマリストレージ3、6の機種情報、及び、
・ポリシー管理装置5、8の機種情報、
から、HSM処理情報管理部22に格納されている、
・データ移行先プライマリストレージ6のHSM用インターフェース12を介したファイルシステム11の固有の拡張機能を実行するためのコマンドセットと、
・プライマリストレージ3、6におけるスタブファイルの生成フォーマットと、
・セカンダリストレージ4、7へのデータ格納ルールと、
を取得する(ステップS101)。
データ移行処理制御部21は、移行ファイル管理部24に登録されている、ファイル、及びディレクトリのうち、移行終了を示すフラグのたっていないディレクトリ、ファイルに対して、ディレクトリツリー上の最上位となるディレクトリから順に、データ移行元プライマリストレージ3に格納されているファイル、及びディレクトリにアクセスし、アクセス先がディレクトリであるかファイルであるか判断する(ステップS102)。
データ移行処理制御部21は、ステップS102の判断の結果、アクセス先がディレクトリであった場合には(ステップS102のNO分岐)、ステップS103において、
ディレクトリに付与されている属性情報を読み込み、移行先プライマリストレージ6に移行元と同名となる、ディレクトリを作成する。さらに、データ移行処理制御部21は、作成したディレクトリに、データ移行元プライマリストレージ3から取得した前記属性情報を付与することで、データの移行を完了し、移行ファイル管理部24に格納されている前記ディレクトリの情報に、移行終了を示すフラグを立てる。
データ移行処理制御部21は、ステップS102の判断の結果、アクセス先がファイルであった場合は、さらに前記ファイルがスタブであるか否かを判断する(ステップS104)。
ステップS104の判断の結果、スタブファイルであった場合(ステップS104のYES分岐)、データ移行処理制御部21は、ステップS105において、
データ移行元プライマリストレージ3に格納されている前記スタブファイル内に格納されている、セカンダリストレージにおけるデータの格納先アドレスを読み込み、格納先アドレスを読み出しアドレスとして、データ移行元セカンダリストレージ4からデータを読み出し、ステップS101にて取得した、データ移行先セカンダリストレージ7へのデータ格納ルールに従い、データ移行先セカンダリストレージ7へ、データ移行元セカンダリストレージ4から読み出したデータを書き込むとともに、データ移行元プライマリストレージ3に格納されている該スタブファイルの属性情報を読み込み、データ移行先プライマリストレージ6へ、該スタブファイルと同名となるスタブファイルを作成する。
さらに、データ移行処理制御部21は、ステップS101において取得した移行先プライマリストレージ6のスタブファイルの生成フォーマットに従って作成したスタブファイルに、
・データ移行先セカンダリストレージ7に格納したデータのアドレス情報と、
・データ移行元プライマリストレージ3から取得した前記属性情報と、
を付与することで、データの移行を完了し、移行ファイル管理部24に格納されている前記ファイルの情報に移行終了を示すフラグを立てる。以上がデータ移行処理制御部21によるステップS105の処理である。
ステップS104の判断の結果、スタブファイルでなかった場合(ステップS104のNO分岐)、つまり、移行対象が通常ファイルであった場合、ステップS106において、データ移行処理制御部21は、
データ移行元プライマリストレージ3に格納されている、
・ファイル(通常ファイル)のデータ、及び
・属性情報
を読み込み、
データ移行先プライマリストレージ6へ、前記ファイル(通常ファイル)と同名のファイルを作成する。
さらに、データ移行処理制御部21は、作成したファイルに、データ移行元プライマリストレージ3から取得した前記属性情報を付与することで、データの移行を完了し、移行ファイル管理部24に格納されている、ファイルの情報に、移行終了を示すフラグを立てる。以上が、データ移行処理制御部21によるステップS106の処理である。
データ移行処理制御部21は、移行ファイル管理部24に格納されている、
・全てのファイル、及び、
・全てのディレクトリ
に関して、
移行終了を示すフラグが立ったか否かを判断する(ステップS107)。
移行終了のフラグの立っていないファイル、もしくは、移行終了のフラグの立っていないディレクトリが残っている場合(未処理のものがある場合)には(ステップS107のNO分岐)、ステップS102からの処理が繰り返し行われる。
一方、移行終了のフラグが全てのファイル、ディレクトリの情報に関して立っていた場合(ステップS107のYES分岐)、データ移行処理制御部21は、管理インターフェース20に対して、移行処理終了の通知を転送する。
<移行作業中の標準ファイルシステムコールを介したファイルアクセスへの対応>
次に、データ移行装置1による移行作業中において、他のデータアクセス元から、移行対象となっているデータ領域に対して、移行元プライマリストレージ3の標準ファイルシステムコールを介した、
ファイル、ディレクトリの
・新規作成、
・削除、
・属性の変更、
・データの更新、
のうちいずれかの処理が発生した場合における、データ移行装置1における処理手順について、図4のフローチャートを参照して説明する。図4は、本発明の一実施形態において、データ移行処理中にデータ移行装置以外のデータアクセス元から標準のファイルシステムコールを介したデータアクセスがあった場合の処理手順を示したフローチャートである。
データ移行装置1以外の他のデータアクセス元から、移行元プライマリストレージ3の移行対象となっているデータ領域に対して、標準ファイルシステムコールを介した処理が実施されると、HSM用インターフェース10から、
・処理内容、及び、
・処理対象のオブジェクトID、
といった情報が、データ移行装置1に転送される。
データ移行装置1では、ファイルシステムイベント管理部25に、HSM用インターフェース10から転送された前記情報を一旦格納する(ステップS200)。
前記処理内容が、ファイル、ディレクトリに依らず、
・新規作成、
・削除、
・ファイル属性の変更、
・データの更新、
・ファイル又はディレクトリの移動(パス名の変更)
のいずれかの処理(更新系の処理)であった場合、
ファイルシステムイベント管理部25は、
データ移行元プライマリストレージ3から、前記オブジェクトIDを要求キーとして、パス名を取得し、
・処理内容、
・パス名、
・オブジェクトID、
を関連付けて、データ移行処理制御部21へ転送する(ステップS201)。
一方、前述の処理(前記更新系の処理)以外であった場合、ファイルシステムイベント管理部25において、HSM用インターフェース10から受け取った情報は破棄される。
なお、ファイルシステムイベント管理部25は、ファイルの移動処理の場合、
・移動元(変更前)のパス名、
・移動先(変更後)のパス名、
の2つの情報を取得する。
データ移行処理制御部21は、実施途中のデータ移行処理が終了すると、前記オブジェクトIDと同一の、移行ファイル管理部24に格納されている情報を参照し、前記オブジェクトIDと同一となるファイル、もしくはディレクトリが存在するか否かを確認する(ステップS202)。
ステップS202の確認の結果、前記オブジェクトIDと同一となるファイル、もしくはディレクトリが存在している場合には(ステップS202のYES分岐)、データ移行処理制御部21は、ファイル、もしくはディレクトリに関して、移行終了フラグが立っているか否かを確認する(ステップS203)。
前記移行終了フラグが立っていた場合(ステップS203のYES分岐)、データ移行処理制御部21は、ステップS204において、前記移行終了フラグを消す、つまり、データ移行処理制御部21は、移動が完了していないことを表す状態とし、前記処理内容がファイル属性の変更処理である場合には、処理対象となっていたファイルの属性情報を、HSM用インターフェース10から取得し、移行先HSM実施環境に格納されたデータに反映した後に、該ファイルに対応する移行終了フラグを立てる。
前記処理内容がデータの更新処理である場合、データ移行処理制御部21は、移行ファイル管理部24に格納されている、前記処理対象のファイルの移行終了フラグを取り消し、移行先のHSM実施環境に格納されているデータを削除した後、移行終了フラグを立てる。
前記処理内容が削除処理である場合、データ移行処理制御部21は、移行先HSM実施環境に格納されている処理対象のデータを削除した後、移行ファイル管理部24に格納されている処理対象となっていたファイル又はディレクトリの情報を削除する。
前記処理内容がファイル、もしくはディレクトリの移動処理であった場合、データ移行処理制御部21は、移行先HSM実施環境に格納されている、ファイル、もしくはディレクトリを、前記処理における移動先(変更後)のパス名と同じパス名となる場所へ移動(変更)した後、移行終了フラグを立てる。以上は、ステップS204の処理である。
移行終了フラグが立っていない場合(ステップS203のNO分岐)、データ移行処理制御部21は、ステップS205において、前記処理内容がファイル、もしくはディレクトリの移動処理であれば、移行ファイル管理部24に格納されている、前記処理対象の情報のパス名の変更を実施する。前記処理内容が削除処理であれば、データ移行処理制御部21は、移行ファイル管理部24に格納されている前記処理対象の情報の削除を実施する。また、前記処理内容が、ファイル属性の変更、もしくはデータの更新処理であった場合は、データ移行処理制御部21は、何も実施しない。以上は、ステップS205の処理である。
移行ファイル管理部24に格納されている情報に、前記オブジェクトIDと一致する情報が存在していない場合(ステップS202のNO分岐)、データ移行処理制御部21は、ファイルシステムイベント管理部25から転送された情報のうち、処理対象となっていたファイル又は、ディレクトリのパス名、及びオブジェクトIDを、移行が終了していないことを示すフラグと共に、移行ファイル管理部24に登録する(ステップS206)。ステップS202において、オブジェクトIDと一致する情報が移行ファイル管理部24に存在していない場合とは、例えば移行元でファイルが新規作成された場合等に対応する。なお、移行作業中の標準ファイルシステムコールを介したファイルアクセスへの対応にあたり、移行対象のファイル又はディレクトリが、移行対象外とされる等の不整合の発生を回避するには、データ移行装置1以外の他のデータアクセス元から移行元へ標準のファイルシステムコールによるアクセスが行われた際に、該アクセスに関してデータ移行装置1に転送される情報(処理内容、及び処理対象のオブジェクトID)のうち移行対象についてのみに制限して情報をデータ移行装置1に転送する構成とするか、あるいは、データ移行装置1に転送される情報(処理内容、及び処理対象のオブジェクトID)が、移行対象の情報であるか否か判定する手段を、例えばデータ移行装置1側に備えるようにしてもよい。
なお、データ移行装置1における、図3、及び図4に示した手順による作業は、管理インターフェース20を介して実施される、システム管理者等からのデータ移行処理終了の指示を受けて動作を終了するものとし、図3の手順において、データ移行装置1が移行処理終了の通知を出した後であっても、データ移行装置1以外のデータアクセス元による標準ファイルシステムコールを介した処理が移行対象となっているデータ領域に対して発生した場合には、図4の手順による作業を実施する。
以上、図3に示した手順により実施されるデータ移行の仕組みと、図4に示した手順により実施される、データ移行装置1以外のデータアクセス元からの標準ファイルシステムコールへの対応の仕組みを組み合わせることにより、データ移行装置1は、データ移行作業中であっても、データ移行装置1以外のデータアクセス元からのデータアクセスを受け付けながら、データ移行処理を実施することが可能となる。
しかし、データ移行装置1以外のデータアクセス元からの標準ファイルシステムコールを介した、移行対象となっているデータ領域に対するファイル、ディレクトリの新規作成、削除、更新系処理が非常に多いことを原因として、データ移行装置1によるデータ移行処理が長時間完了しない場合には、システム管理者等のデータ移行指示者によるデータ移行装置1以外のデータアクセス元へからのデータアクセスサービスの一時停止により、全ての移行作業を完了させる必要がある。
本発明の機能を搭載したデータ移行装置を用いることにより、異なる2つのHSM実施環境でデータ移行を実施する場合においても、移行元のプライマリストレージとセカンダリストレージのストレージ使用量を足し合わせたストレージ容量を、移行先のプライマリストレージに用意することなく、移行元のHSM実施環境での運用ポリシーに基づくデータの配置構成を維持したまま、移行先の環境へデータを移行することが可能となる。
これにより、データ移行作業に伴うHSMの運用ポリシーの大幅な変更が不要になることによる、移行作業の単純化と、移行先のプライマリストレージに余分なストレージ容量を確保不要となり、装置運用のコストを大幅に削減することが期待できる。
なお、上記実施例では、HSM実施環境間でのデータ移行を例に説明したが、本発明はかかる構成に限定されるものでなく、HSM機能で管理されているデータを、HSM機能の構成要素として含まれていない別のストレージ装置に移行する場合に適用しても好適とされる。すなわち、本発明は、ファイルを、ファイルデータの格納先の情報(ポインタ情報)を保持するファイルを格納する記憶手段と、ポインタ情報でポイントされるデータを格納する記憶手段とに分散配置させて保持する移行元のデータ配置形態を保持して、移行先にデータ移行する任意のシステムに適用可能である。
以上、本発明を上記実施例に即して説明したが、本発明は上記実施例の構成にのみ制限されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
本発明の一実施形態のシステム構成を示す図である。 本発明の一実施形態におけるデータ移行装置の構成を示す図である。 本発明の一実施形態におけるデータ移行処理の手順を示したフローチャートである。 本発明の一実施形態において、データ移行処理中にデータ移行装置以外のデータアクセス元から標準のファイルシステムコールを介したデータアクセスがあった場合の処理手順を示したフローチャートである。
符号の説明
1 データ移行装置
2 ネットワーク
3 データ移行元プライマリストレージ
4 データ移行元セカンダリストレージ
5 データ移行元ポリシー管理装置
6 データ移行先プライマリストレージ
7 データ移行先セカンダリストレージ
8 データ移行先ポリシー管理装置
9、11、13、14 ファイルシステム
10、12 HSM用インターフェース
20 管理インターフェース
21 データ移行処理制御部
22 HSM処理情報管理部
23 移行処理情報管理部
24 移行ファイル管理部
25 ファイルシステムイベント管理部

Claims (7)

  1. 移行元であるHSM(Hierarchical Storage Management;階層型ストレージ管理)実施環境から、移行先となるHSM実施環境へデータの移行を制御する、データ移行装置であって、
    移行元と移行先のストレージにおけるHSMを実現するためのファイルシステムの拡張機能を経由してスタブファイルと通常ファイルの判別を行う手段と、
    移行対象がスタブファイルである場合、移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、移行元のセカンダリストレージにおけるデータの格納先アドレスに基づき、前記移行元のセカンダリストレージからデータを読み出す手段と、
    移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、前記移行元のセカンダリストレージから読み出したデータを書き込むように制御する手段と、
    前記移行元のプライマリストレージに格納されているスタブファイルの属性情報を読み込み、移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成する手段と、
    前記移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、前記移行先のセカンダリストレージに格納したデータのアドレス情報と、前記移行元のプライマリストレージから取得した前記属性情報を付与することで、移行対象のスタブファイルに関するデータの移行を完了させる手段と、
    を備え、
    データ移行中に、前記データ移行装置以外の他のデータアクセス元から、前記移行元のプライマリストレージへのファイル操作要求が発生した場合、ファイル操作対象のデータがデータ移行対象として管理されており、移行終了済みである場合には、移行先に格納されたデータに対してファイル操作を行うように制御する手段を備えている、ことを特徴とするデータ移行装置。
  2. 移行元のプライマリストレージ、移行元のセカンダリストレージ、及び、前記プライマリストレージとセカンダリストレージを予め定められたルールに基づいてデータの再配置制御を行うデータ移行元ポリシー管理装置を備えた、移行元となるHSM(Hierarchical Storage Management;階層型ストレージ管理)実施環境と、
    移行先のプライマリストレージ、移行先のセカンダリストレージ、及び、前記プライマリストレージとセカンダリストレージを予め定められたルールに基づいてデータの再配置制御を行う移行先ポリシー管理装置を備えた、移行先となるHSM実施環境と、
    移行元及び移行先となるHSM実施環境にネットワークを介して接続され、前記移行元となるHSM実施環境から、前記移行先となるHSM実施環境へデータの移行処理を行うデータ移行装置と、
    を備え、
    前記移行元のプライマリストレージと前記移行先のプライマリストレージは、それぞれ、ファイルシステム、及びHSM用インターフェースを備えており、ファイルシステムに格納されるデータは、前記HSM用インターフェースを介して、外部からアクセスされ、
    前記データ移行装置は、管理インターフェース、データ移行処理制御部、HSM処理情報管理部、移行処理情報管理部、移行ファイル管理部、及び、ファイルシステムイベント管理部を備え、
    前記管理インターフェースは、
    データ移行作業を行うにあたり、必要となる事前設定情報を、前記移行処理情報管理部へ通知するとともに、前記データ移行処理制御部より、データ移行処理の実施状況に関する情報を取得する機能、及び、前記データ移行処理制御部に対して、移行処理開始命令を通知する機能を備え、
    前記HSM処理情報管理部には、
    HSM実施環境における前記HSM用インターフェースを介したファイルシステムの拡張機能の処理を行うためのコマンドセット、スタブファイルの生成フォーマット、及び前記各ポリシー管理装置における、セカンダリストレージへのデータ再配置ルールが格納され、
    前記移行処理情報管理部には、
    前記管理インターフェースを介して設定された、移行対象となるストレージの情報と、前記移行元のプライマリストレージにおける、移行対象となるデータ領域の情報と、前記移行先のストレージのデータ格納領域の情報と、前記ポリシー管理装置の機器情報が格納され、
    前記移行ファイル管理部には、
    前記管理インターフェースを介して設定された、移行するデータ領域に含まれる全てのファイル、及びディレクトリのパス名と、ファイルシステム上でのファイル、ディレクトリを識別するオブジェクトIDと、前記ファイル、及びディレクトリに関してデータ移行が終了したか否かを示すフラグ情報が格納され、
    前記ファイルシステムイベント管理部は、
    前記HSMインターフェースを介して通知される、データアクセス元から特定の標準のファイルシステムコールを介した処理が実施された場合の処理イベント情報を取得し、前記処理イベント情報を、前記データ移行処理制御部へ転送する機能を備え、
    前記データ移行処理制御部は、
    前記HSM処理情報管理部、前記移行処理情報管理部、前記移行ファイル管理部にそれぞれ格納されている情報、及び、前記ファイルシステムイベント管理部から通知される、イベント情報に基づき、移行元のHSM実施環境から、移行先のHSM実施環境へデータ移動する機能を備えるとともに、データ移行処理の実施状況に関する情報を生成する機能を備えている、ことを特徴とするデータ移行システム。
  3. 前記ファイルシステムは、
    HSMを行うための前記スタブファイルにより、前記データアクセス元に対してデータの配置場所を隠蔽する手段を備えるとともに、
    標準のファイルシステムコールではサポートされず、前記HSM用インターフェースを介して処理が実施される、ファイルシステムの拡張機能として、
    スタブファイルの作成、読み出し、更新、削除処理機能、及び、
    スタブファイルの属性情報の読み出しと更新処理機能を備えている、ことを特徴とする請求項2記載のデータ移行システム。
  4. 前記ファイルシステムは、前記拡張機能として、
    ファイルの読み出し及び更新処理機能と、
    ファイルの属性情報を変更せずに、ファイルデータの作成、読み出し、更新、削除処理を実施する機能と、
    データアクセス元からの特定の標準のファイルシステムコールを介した処理が実施された場合の処理イベント発生の通知機能の少なくとも1つをさらに備えている、ことを特徴とする請求項3記載のデータ移行システム。
  5. 前記処理イベントには、
    処理内容と、該処理が実行されたファイル又はディレクトリに関する、ファイルシステム内での識別情報であるオブジェクトIDが通知される、ことを特徴とする請求項記載のデータ移行システム。
  6. データ移行時、前記データ移行処理制御部は、前記管理インターフェースよりデータ移行処理の通知を受け、
    前記データ移行処理制御部は、前記移行処理情報管理部より、前記移行元のプライマリストレージの情報を取得し、
    前記HSM処理情報管理部に登録されている、前記移行元のプライマリストレージのHSM用インターフェースにアクセスするためのコマンドセットを用いて、データ移行領域に含まれる、ファイル及びディレクトリのパス名と、前記ファイル及びディレクトリに関連付けられたオブジェクトIDを、前記移行元のプライマリストレージから取得して、前記移行ファイル管理部に格納し、
    前記データ移行処理制御部は、前記移行処理情報管理部より、前記移行元のプライマリストレージ、セカンダリストレージと、前記移行先のプライマリストレージ、セカンダリストレージに関する情報より、移行元となるストレージ装置、及び、前記移行先となるストレージ装置におけるデータの格納先のアドレスを決定し、
    前記データ移行処理制御部は、前記移行ファイル管理部に登録されているファイル及びディレクトリのうち、移行の終了を示すフラグのたっていないディレクトリ、ファイルに対して、前記移行元のプライマリストレージに格納されているファイル及びディレクトリにアクセスし、アクセス先がディレクトリであるかファイルであるか判断し、
    アクセス先がディレクトリの場合、前記移行先のプライマリストレージに移行元と同名となる、ディレクトリを作成し、移行対象として管理されている前記ディレクトリの情報に、移行終了を示すフラグを立て、
    アクセス先がファイルの場合には、前記データ移行処理制御部は、スタブファイルであるか調べ、スタブファイルである場合、前記移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、前記移行元のセカンダリストレージにおけるデータの格納先アドレスに基づき、前記移行元のセカンダリストレージからデータを読み出し、移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、移行元のセカンダリストレージから読み出したデータを書き込み、移行元のプライマリストレージに格納されている該スタブファイルの属性情報を読み込み、前記移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成し、
    前記移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、前記移行先のセカンダリストレージに格納したデータのアドレス情報と、前記移行元のプライマリストレージから取得した前記属性情報を付与することで、データの移行を完了し、前記移行ファイル管理部に登録されている前記ファイルの情報に移行終了を示すフラグを立て、
    移行対象が通常ファイルである場合、前記データ移行処理制御部は、前記移行元のプライマリストレージに格納されている、前記ファイルのデータ、及び属性情報を読み込み、前記移行先のプライマリストレージへ、前記ファイルと同名のファイルを作成し、前記作成ファイルに、前記移行元のプライマリストレージから取得した前記属性情報を付与することで、データの移行を完了し、前記移行ファイル管理部に登録されている前記ファイルの情報に移行終了を示すフラグを立て、
    前記移行ファイル管理部に登録されている、全てのファイル、及び、全てのディレクトリに関して、移行終了を示すフラグが立った場合、移行処理を終了する、ことを特徴とする請求項2乃至5のいずれか一に記載のデータ移行システム。
  7. 移行元であるHSM(Hierarchical Storage Management;階層型ストレージ管理)実施環境から、移行先となるHSM実施環境へデータの移行を制御する、データ移行装置を構成するコンピュータに、
    移行元から移行先へのデータ移行にあたり、
    移行元と移行先のストレージにおけるHSMを実現するためのファイルシステムの拡張機能を経由してスタブファイルと通常ファイルの判別を行う処理と、
    移行対象がスタブファイルである場合、移行元のプライマリストレージに格納されている前記スタブファイル内に記憶保持されている、移行元のセカンダリストレージにおけるデータの格納先アドレスに基づき、移行元のセカンダリストレージからデータを読み出す処理と、
    移行先のセカンダリストレージへのデータ格納ルールに従い、前記移行先のセカンダリストレージへ、移行元のセカンダリストレージから読み出したデータを書き込むように制御する処理と、
    移行元のプライマリストレージに格納されているスタブファイルの属性情報を読み込み、前記移行先のプライマリストレージへ前記スタブファイルと同名となるスタブファイルを作成する処理と、
    移行先のプライマリストレージのスタブファイルの生成フォーマットに従い、前記作成ファイルに、移行先のセカンダリストレージに格納したデータのアドレス情報と、移行元のプライマリストレージから取得した前記属性情報を付与することで、移行対象のスタブファイルに関するデータの移行を完了させる処理と、
    データ移行中に、前記データ移行装置以外の他のデータアクセス元から、移行元のプライマリストレージへのファイル操作要求が発生した場合、ファイル操作対象のデータがデータ移行対象として管理されており、移行終了済みである場合には、移行先に格納されたデータに対してファイル操作を行う処理と、
    を実行させるプログラム。
JP2006189315A 2006-07-10 2006-07-10 データ移行装置及びプログラム Expired - Fee Related JP5082310B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006189315A JP5082310B2 (ja) 2006-07-10 2006-07-10 データ移行装置及びプログラム
US11/822,732 US7765189B2 (en) 2006-07-10 2007-07-09 Data migration apparatus, method, and program for data stored in a distributed manner

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006189315A JP5082310B2 (ja) 2006-07-10 2006-07-10 データ移行装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2008015984A JP2008015984A (ja) 2008-01-24
JP5082310B2 true JP5082310B2 (ja) 2012-11-28

Family

ID=38920269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006189315A Expired - Fee Related JP5082310B2 (ja) 2006-07-10 2006-07-10 データ移行装置及びプログラム

Country Status (2)

Country Link
US (1) US7765189B2 (ja)
JP (1) JP5082310B2 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7853667B1 (en) * 2005-08-05 2010-12-14 Network Appliance, Inc. Emulation of transparent recall in a hierarchical storage management system
US20080228550A1 (en) * 2007-03-14 2008-09-18 Business Objects, S.A. Apparatus and method for utilizing a task grid to generate a data migration task
US9298417B1 (en) * 2007-07-25 2016-03-29 Emc Corporation Systems and methods for facilitating management of data
US8326805B1 (en) 2007-09-28 2012-12-04 Emc Corporation High-availability file archiving
US8918603B1 (en) * 2007-09-28 2014-12-23 Emc Corporation Storage of file archiving metadata
US8060709B1 (en) 2007-09-28 2011-11-15 Emc Corporation Control of storage volumes in file archiving
US9031899B2 (en) * 2007-12-07 2015-05-12 Brocade Communications Systems, Inc. Migration in a distributed file system
US20090150533A1 (en) * 2007-12-07 2009-06-11 Brocade Communications Systems, Inc. Detecting need to access metadata during directory operations
US9069779B2 (en) * 2007-12-07 2015-06-30 Brocade Communications Systems, Inc. Open file migration operations in a distributed file system
US20090150461A1 (en) * 2007-12-07 2009-06-11 Brocade Communications Systems, Inc. Simplified snapshots in a distributed file system
US20090150462A1 (en) * 2007-12-07 2009-06-11 Brocade Communications Systems, Inc. Data migration operations in a distributed file system
US8170990B2 (en) * 2008-05-30 2012-05-01 Hitachi, Ltd. Integrated remote replication in hierarchical storage systems
US20090319736A1 (en) * 2008-06-24 2009-12-24 Hitachi, Ltd. Method and apparatus for integrated nas and cas data backup
US8224782B2 (en) * 2008-09-29 2012-07-17 Hitachi, Ltd. System and method for chunk based tiered storage volume migration
JP5331555B2 (ja) 2009-04-23 2013-10-30 株式会社日立製作所 データ移行システムおよびデータ移行方法
JP5586892B2 (ja) * 2009-08-06 2014-09-10 株式会社日立製作所 階層化ストレージシステム及び階層化ストレージシステムにおけるファイルのコピー制御方法
US9239762B1 (en) * 2009-08-11 2016-01-19 Symantec Corporation Method and apparatus for virtualizing file system placeholders at a computer
JP5422298B2 (ja) * 2009-08-12 2014-02-19 株式会社日立製作所 階層管理ストレージシステムおよびストレージシステムの運用方法
US8239403B2 (en) * 2009-12-30 2012-08-07 International Business Machines Corporation Enhancing soft file system links
US8627004B2 (en) * 2010-01-07 2014-01-07 International Business Machines Corporation Extent migration for tiered storage architecture
WO2011104741A1 (en) 2010-02-23 2011-09-01 Hitachi, Ltd. Management system for storage system and method for managing storage system
JP5592493B2 (ja) * 2010-04-13 2014-09-17 株式会社日立製作所 ストレージネットワークシステム及びその制御方法
US8285762B2 (en) 2010-05-11 2012-10-09 International Business Machines Corporation Migration of metadata and storage management of data in a first storage environment to a second storage environment
US8583889B2 (en) 2010-12-16 2013-11-12 International Business Machines Corporation Synchronous extent migration protocol for paired storage
US8560792B2 (en) 2010-12-16 2013-10-15 International Business Machines Corporation Synchronous extent migration protocol for paired storage
KR101473317B1 (ko) 2010-12-23 2014-12-17 주식회사 케이티 클라우드 컴퓨팅 시스템 및 클라우드 컴퓨팅 시스템에서의 트래픽 분산 방법 및 제어 방법
US9280550B1 (en) 2010-12-31 2016-03-08 Emc Corporation Efficient storage tiering
US8577934B2 (en) * 2011-03-24 2013-11-05 Spectra Logic Corporation System and method for a storage system response with data migration
GB2489932B (en) * 2011-04-07 2020-04-08 Quantel Ltd Improvements relating to file systems
KR101512714B1 (ko) * 2011-05-06 2015-04-23 주식회사 케이티 가상머신 디스크 마이그레이션 장치 및 그 방법
US20120297156A1 (en) 2011-05-20 2012-11-22 Hitachi, Ltd. Storage system and controlling method of the same
US8886963B2 (en) * 2011-09-15 2014-11-11 Apple Inc. Secure relocation of encrypted files
WO2013121456A1 (en) * 2012-02-13 2013-08-22 Hitachi, Ltd. Management apparatus and management method for hierarchical storage system
US10146467B1 (en) * 2012-08-14 2018-12-04 EMC IP Holding Company LLC Method and system for archival load balancing
US9058844B2 (en) * 2012-09-20 2015-06-16 Hewlett-Packard Development Company, L.P. Access to migrated tapes
WO2015162684A1 (ja) * 2014-04-22 2015-10-29 株式会社日立製作所 ストレージシステムのデータ移行方法
US9218350B2 (en) * 2013-04-30 2015-12-22 Microsoft Technology Licensing, Llc Searching and placeholders
US9552363B2 (en) 2013-04-30 2017-01-24 Microsoft Technology Licensing, Llc File management with placeholders
US9166866B2 (en) 2013-04-30 2015-10-20 Microsoft Technology Licensing, Llc Hydration and dehydration with placeholders
US9405767B2 (en) 2013-05-01 2016-08-02 Microsoft Technology Licensing, Llc Streaming content and placeholders
US9189533B2 (en) 2013-05-29 2015-11-17 Microsoft Technology Licensing, Llc Sync framework extensibility
US9454532B2 (en) * 2013-07-02 2016-09-27 Hitachi Data Systems Engineering UK Limited Method and apparatus for migration of a virtualized file system, data storage system for migration of a virtualized file system, and file server for use in a data storage system
US9087012B1 (en) 2014-06-04 2015-07-21 Pure Storage, Inc. Disaster recovery at high reliability in a storage cluster
US9811677B2 (en) 2014-07-03 2017-11-07 Pure Storage, Inc. Secure data replication in a storage grid
US10642860B2 (en) * 2016-06-03 2020-05-05 Electronic Arts Inc. Live migration of distributed databases
JP2019139628A (ja) * 2018-02-14 2019-08-22 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
EP3648430B1 (de) * 2018-11-05 2021-06-02 Wincor Nixdorf International GmbH Hardware-sicherheitsmodul
US11314732B2 (en) * 2019-10-11 2022-04-26 International Business Machines Corporation Database migration technique
US11327688B2 (en) * 2020-01-13 2022-05-10 Cisco Technology, Inc. Master data placement in distributed storage systems
JP7102455B2 (ja) * 2020-03-26 2022-07-19 株式会社日立製作所 ファイルストレージシステム及びファイルストレージシステムの管理方法
US11366642B1 (en) 2021-02-25 2022-06-21 Bank Of America Corporation Change migration: processes for ensuring successful deployment of design changes
US20230185941A1 (en) * 2021-12-14 2023-06-15 International Business Machines Corporation Multi-partitioned global data system
CN117591497B (zh) * 2024-01-18 2024-05-03 中核武汉核电运行技术股份有限公司 一种核电历史数据跨系统迁移方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4168626B2 (ja) * 2001-12-06 2008-10-22 株式会社日立製作所 記憶装置間のファイル移行方法
CA2497306A1 (en) 2002-09-10 2004-03-25 Exagrid Systems, Inc. Method and apparatus for integrating primary data storage with local and remote data protection
JP4349871B2 (ja) * 2003-09-09 2009-10-21 株式会社日立製作所 ファイル共有装置及びファイル共有装置間のデータ移行方法
US7441096B2 (en) * 2004-07-07 2008-10-21 Hitachi, Ltd. Hierarchical storage management system
JP4349301B2 (ja) * 2004-11-12 2009-10-21 日本電気株式会社 ストレージ管理システムと方法並びにプログラム
US7865462B2 (en) * 2006-01-03 2011-01-04 Hitachi, Ltd. Apparatus and method for replicating data in file system

Also Published As

Publication number Publication date
US20080010325A1 (en) 2008-01-10
US7765189B2 (en) 2010-07-27
JP2008015984A (ja) 2008-01-24

Similar Documents

Publication Publication Date Title
JP5082310B2 (ja) データ移行装置及びプログラム
US9110909B2 (en) File level hierarchical storage management system, method, and apparatus
US8392685B2 (en) Arrangements for managing metadata of an integrated logical unit including differing types of storage media
US8458234B2 (en) Data management method
JP4943081B2 (ja) ファイル格納制御装置及び方法
JP5320557B2 (ja) ストレージシステム
JP2006134214A (ja) ファイルのバージョン管理方法および計算機システム
WO2012114531A1 (ja) 計算機システム及びデータ管理方法
JP2006268534A (ja) 記憶装置システムの制御技術
JP4748950B2 (ja) 記憶領域管理方法及びシステム
JP2010198383A (ja) ストレージ装置、ソフトウェア更新方法およびソフトウェア更新プログラム
JP2007183703A (ja) データの改竄を防止する記憶装置
JP6298903B2 (ja) 計算機システム、分散オブジェクト共有方法、エッジノード
JPWO2007099636A1 (ja) ファイルシステム移行方法、ファイルシステム移行プログラム及びファイルシステム移行装置
US20170255393A1 (en) Storage device and storage method
US9002796B2 (en) Database management method, database management system and database management program
JP2006031608A (ja) 計算機、ストレージシステム、計算機が行うファイル管理方法、およびプログラム
EP3436973A1 (en) File system support for file-level ghosting
US7451279B2 (en) Storage system comprising a shared memory to access exclusively managed data
KR101017433B1 (ko) 압축 프로그램을 이용한 웹 지도 서비스 방법
CN113448500B (zh) 文件存储系统和文件存储系统的管理方法
WO2018011914A1 (ja) データアーカイブシステム、および、データアーカイブ方法
JP4060890B2 (ja) 階層化ドライバ入出力システム内の複数ドライバによる入出力要求の再処理を可能にするファイル・システム・プリミティブ
JP7306665B2 (ja) ストレージ装置、データ移行方法、プログラム
JP2018169842A (ja) 階層化ストレージ管理装置、階層化ストレージシステム、データ管理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120820

R150 Certificate of patent or registration of utility model

Ref document number: 5082310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees