JP2022123774A - ストレージ装置、計算機システム、及びデータ転送プログラム - Google Patents

Abstract

【課題】データを転送するストレージ装置間の通信量を低減することができるようにする。
【解決手段】ファイルのデータを所定のチャンクを単位として重複排除して管理可能な他のストレージ装置にネットワークを介して接続され、ＣＰＵ１１１を備えるＥｄｇｅストレージ１００であって、ＣＰＵ１１１を、新たに作成されたファイル又は更新されたファイルのデータを他のストレージ装置に転送する場合に、差分部分のサイズと、差分部分を含むチャンクである差分チャンクのフィンガプリントのサイズとに基づいて、差分部分をＣｏｒｅストレージに送信するか、差分チャンクのフィンガプリントをＣｏｒｅストレージに送信するかを判定し、判定結果に従って、差分部分又はフィンガプリントをＣｏｒｅストレージに送信するようにする。
【選択図】図２

Description

本発明は、複数のストレージ装置間でデータを転送するための技術に関する。

ハイブリッドクラウドやＥｄｇｅ－Ｃｏｒｅ連携のような拠点間で連携するプラットフォームへのニーズが高まっている。ファイル仮想化機能は、こうしたニーズに対応する技術である。ファイル仮想化機能には、Ｅｄｇｅストレージで生成／更新されたファイルのデータをバイト単位で検知して非同期にＣｏｒｅストレージにマイグレーションする機能、クライアントからアクセスされていないファイルをストレージから削除するスタブ化機能、およびクライアントから再参照されたときにＣｏｒｅストレージからバイト単位で対象のデータを取得するリコール機能等がある。

ファイル仮想化機能における最大のボトルネックは、拠点間のネットワーク転送（例えば、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）転送）であり、ネットワーク通信量を削減する技術が求められる。

特許文献１には、Ｅｄｇｅでチャンクのフィンガプリント（ＦＰ）を計算して、ＦＰをＣｏｒｅに転送し、Ｃｏｒｅで重複判定することにより、ＣｏｒｅでＦＰが同一のチャンクが存在する場合におけるチャンクの転送を削減する技術（ネットワーク重複排除という）が開示されている。

米国特許第６９２８５２６号明細書

例えば、特許文献１に開示された技術によると、必ずしもＣｏｒｅとＥｄｇｅとの間のネットワークにおける通信量の削減に有効でない場合がある。例えば、特許文献１による技術では、更新が生じた転送対象のチャンクのＦＰを計算する。ＦＰの計算にはチャンクのデータが必要であり、チャンク内の大部分がスタブ化された領域（スタブ領域）である場合、スタブ領域のデータをリコールする必要があり、結果としてネットワークの通信量が増加してしまう虞がある。また、チャンク内の更新領域が少ない場合には、ＦＰを通信することにより、ネットワークの通信量が増加してしまう虞がある。

本発明は、上記事情に鑑みなされたものであり、データを転送するストレージ装置間の通信量を低減することのできる技術を提供することにある。

上記目的を達成するため、一観点に係るストレージ装置は、所定のデータ単位のデータを所定の分割データ単位を単位として重複排除して管理可能な他のストレージ装置にネットワークを介して接続され、プロセッサを備えるストレージ装置であって、前記プロセッサは、差分を含むデータ単位のデータを前記他のストレージ装置に転送する場合に、差分部分のサイズと、前記差分部分を含む分割データ単位である差分分割データ単位のフィンガプリントのサイズとに基づいて、前記差分部分を前記他のストレージ装置に送信するか、前記差分分割データ単位のフィンガプリントを前記他のストレージ装置に送信するかを判定し、判定結果に従って、前記差分部分又は前記フィンガプリントを前記他のストレージ装置に送信する。

本発明によれば、データを転送するストレージ装置間の通信量を低減することができる。

図１は、第１実施例に係る計算機システムの構成の一例を示す図である。 図２は、第１実施例に係るＥｄｇｅストレージ及びＣｏｒｅストレージの構成の一例を示す図である。 図３は、第１実施例に係るファイル仮想化管理情報の構成図である。 図４は、第１実施例に係る重複状態管理表の構成図である。 図５は、第１実施例に係る重複チャンク管理表の構成図である。 図６は、第１実施例に係る重複判定表の構成図である。 図７は、第１実施例に係る転送重複チャンクリストの構成図である。 図８は、第１実施例に係るファイルマイグレーション処理の一例のフローチャートである。 図９は、第１実施例に係る差分転送処理の一例のフローチャートである。 図１０は、第１実施例に係るネットワーク重複排除処理の一例のフローチャートである。 図１１は、第１実施例に係る差分反映処理の一例のフローチャートである。 図１２は、第２実施例に係る差分転送処理の一例のフローチャートである。 図１３は、第３実施例に係るスタブファイルの重複排除処理の一例のフローチャートである。

いくつかの実施例について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

以下の説明では、「ＡＡＡ表」の表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ＡＡＡ表」を「ＡＡＡ情報」と呼ぶことができる。

また、以下の説明では、「プログラム」を動作主体として処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））によって実行されることで、定められた処理を、適宜に記憶部（例えばメモリ）及び／又はインターフェースデバイス等を用いながら行うため、処理の動作主体が、プロセッサ（或いは、そのプロセッサを有する装置又はシステム）とされてもよい。また、プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記録メディア（例えば可搬型の記録メディア）であってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

第１実施例に係る計算機システム１では、Ｃｏｒｅサイト２０において、ファイル（データ単位の一例）に対する可変長重複排除処理を行う。ここで、可変長重複排除とは、ファイルのデータを所定の方法により可変長チャンク（分割データ単位の一例）に分割し、可変長チャンクを単位として重複排除する処理である。

図１は、第１実施例に係る計算機システムの構成の一例を示す図である。

計算機システム１は、Ｅｄｇｅサイト１０－１、１０－２と、Ｃｏｒｅサイト２０とを有する。Ｅｄｇｅサイト１０－１、１０－２と、Ｃｏｒｅサイト２０との間は、ネットワーク３０を介して接続されている。ネットワーク３０は、例えば、ＷＡＮである。なお、ネットワーク３０はこれに限定されず、種々のネットワークを利用可能である。また、図１に示す計算機システム１では、２つのＥｄｇｅサイト１０－１、１０－２を備えているが、Ｅｄｇｅサイトの数は、これに限定されない。

Ｅｄｇｅサイト１０－１は、ストレージ装置（第２ストレージ装置）の一例としてのＥｄｇｅストレージ１００と、クライアント４００と、管理端末５００とを有する。Ｅｄｇｅストレージ１００、クライアント４００、及び管理端末５００は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）により相互に接続されている。

Ｅｄｇｅストレージ１００は、例えば、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などのプロトコルを用いて、Ｃｏｒｅストレージ２００にアクセスする。Ｅｄｇｅストレージ１００の具体的構成については後述する。

クライアント４００は、各種情報処理が可能なコンピュータ等の情報処理装置である。クライアント４００は、例えば、ＮＦＳ（Ｎｅｔｗｏｒｋ Ｆｉｌｅ Ｓｙｓｔｅｍ）やＣＩＦＳ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｎｅｔ Ｆｉｌｅ Ｓｙｓｔｅｍ）、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などのプロトコルを用いてＥｄｇｅストレージ１００が提供するストレージサービスを利用する。

管理端末５００は、Ｅｄｇｅストレージ１００の管理を行い、Ｅｄｇｅストレージ１００に異常があった際などにＥｄｇｅストレージ１００に対して各種操作指示等を行う。

Ｅｄｇｅサイト１０－２は、ストレージ装置（第２ストレージ装置）の一例としてのＥｄｇｅストレージ１００と、クライアント４００とを有する。なお、図１に示すＥｄｇｅサイト１０－１、１０－２のハードウェア構成は単なる例示であり、少なくともそれぞれ１台のＥｄｇｅストレージ１００及びクライアント４００を有する構成であれば、その台数に制限はなく、他のハードウェアを有していてもよい。

Ｃｏｒｅサイト２０は、ストレージ装置（第１ストレージ装置）の一例としてのＣｏｒｅストレージ２００と、クライアント４００とを有する。Ｃｏｒｅストレージ２００は、Ｅｄｇｅサイト１０－１、１０－２のＥｄｇｅストレージ１００に格納されたファイル（データ単位の一例）のバックアップ先として機能する。

図２は、第１実施例に係るＥｄｇｅストレージ及びＣｏｒｅストレージの構成の一例を示す図である。なお、図２においては、Ｅｄｇｅストレージ１００と、Ｃｏｒｅストレージ２００とを、いずれとしても動作可能な機能を有するストレージとして構成した例を示している。

ストレージ（Ｅｄｇｅストレージ１００，Ｃｏｒｅストレージ２００）は、コントローラ１１０と、ストレージシステム１３０とを有する。

コントローラ１１０は、プロセッサの一例としてのＣＰＵ１１１と、メモリ１１２と、キャッシュ１１３と、ＬＡＮ インターフェース（Ｉ／Ｆ）１１４と、ＷＡＮ Ｉ／Ｆ１１５と、Ｉ／Ｆ１１６と、を有する。これらの構成は、例えばバス等の通信路により相互に接続されている。

ＣＰＵ１１１は、コントローラ１１０及びストレージ全体の動作制御を行う。

メモリ１１２は、例えば、ＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳＳ ＭＥＭＯＲＹ）であり、ＣＰＵ１１１による動作制御を実行するためのプログラム及びデータを一時的に記憶する。メモリ１１２は、ネットワークストレージプログラムＰ１、ＩＯ ＨｏｏｋプログラムＰ３、ローカルストレージプログラムＰ５、Ｄａｔａ ＭｏｖｅｒプログラムＰ７、差分反映プログラムＰ９、及びデータ容量削減プログラムＰ１１を格納する。なお、メモリ１１２に格納されている各プログラム及び情報は、後述する記憶デバイス１３４に格納されていてもよい。

ネットワークストレージプログラムＰ１は、ＣＰＵ１１１に実行されることにより、クライアント４００等からのＲｅａｄ／Ｗｒｉｔｅ等の各種要求を受領し、この要求に含まれるプロトコルを処理する。例えば、ネットワークストレージプログラＰ１は、ＮＦＳ（Ｎｅｔｗｏｒｋ Ｆｉｌｅ Ｓｙｓｔｅｍ）やＣＩＦＳ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｎｅｔ Ｆｉｌｅ Ｓｙｓｔｅｍ）、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などのプロトコルを処理する。

ＩＯ ＨｏｏｋプログラムＰ３は、ＣＰＵ１１１に実行されることにより、ネットワークストレージプログラムＰ１によるストレージシステム１３０に格納されたファイルに対する操作を検出する。なお、Ｉ／Ｏ ＨｏｏｋプログラムＰ３は、ディレクトリや、オブジェクト（データ単位の一例）に対する操作を検出対象としてもよい。

ローカルストレージプログラムＰ５は、ＣＰＵ１１１に実行されることにより、ネットワークストレージプログラムＰ１に対して、ファイルシステムやオブジェクトストレージを提供する。

Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、ＩＯ ＨｏｏｋプログラムＰ３により検出された記憶デバイス１３４内のファイルをＣｏｒｅストレージ２００にマイグレーション、スタブ化、またはリストアする。

差分反映プログラムＰ９は、ＣＰＵ１１１に実行されることにより、他拠点（他サイト）のＤａｔａ ＭｏｖｅｒプログラムＰ７からファイルに対するデータ更新を受け付け、そのデータ更新を記憶デバイス１３４に反映する。

データ容量削減プログラムＰ１１は、ＣＰＵ１１１に実行されることにより、記憶デバイス１３４に格納されたユーザファイルをインラインまたはポストプロセスで重複排除する。

なお、第１実施例においては、図２に示すストレージをＥｄｇｅストレージ１００として使用する場合には、差分反映プログラムＰ９と、データ容量削減プログラムＰ１１とを実行させない、すなわち、重複排除や、Ｅｄｇｅストレージ１００での差分反映を行わないようにしている。したがて、ストレージをＥｄｇｅストレージ１００としてのみ使用する場合には、差分反映プログラムＰ９と、データ容量削減プログラムＰ１１とがなくてもよい。

キャッシュ１１３は、例えば、ＲＡＭであり、クライアント４００からライトされるデータや、ストレージシステム１３０からリードしたデータを一時的に格納する。ＬＡＮ Ｉ／Ｆ１１４は、サイト内の他の装置（クライアント４００等）との間での通信を行う。ＷＡＮ Ｉ／Ｆ１１５は、他のサイト（他のＥｄｇｅサイト１０、Ｃｏｒｅサイト２０）の装置との間でネットワーク３０を介して通信を行う。Ｉ／Ｆ１１６は、ストレージシステム１３０との間での通信を行う。なお、図１においては、Ｉ／Ｆ１１６にストレージシステム１３０が接続されているが、記憶デバイス１３４が接続されていてもよい。

ストレージシステム１３０は、例えば、ＦＣ－ＳＡＮ（Ｆｉｂｒｅ Ｃｈａｎｎｅｌ Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のブロック形式のストレージ機能をコントローラ１１０に提供する。ストレージシステム１３０は、プロセッサの一例としてのＣＰＵ１３１と、メモリ１３２と、キャッシュ１３３と、記憶デバイス１３４と、Ｉ／Ｆ１３６と、を有する。

ＣＰＵ１３１は、ストレージシステム１３０の動作制御を行う。メモリ１３２は、例えば、ＲＡＭであり、ＣＰＵ１３１の動作制御を実行するプログラム及びデータを一時的に記憶する。キャッシュ１３３は、コントローラ１１０からライトされるデータや記憶デバイス１３４からリードされたデータを一時的に格納する。Ｉ／Ｆ１３６は、記憶デバイス１３４とコントローラ１１０との間での通信を行う。記憶デバイス１３４は、例えば、ハードディスクやフラッシュメモリなどであり、クライアント４００のユーザが利用するファイル（ユーザファイル）を含む各種ファイルを格納する。

また、記憶デバイス１３４は、ファイル仮想化管理情報Ｔ１０と、重複状態管理表Ｔ２０と、重複チャンク管理表Ｔ３０と、重複判定表Ｔ４０とを格納する。これら情報及び表の詳細については後述する。なお、第１実施例においては、図２に示すストレージをＥｄｇｅストレージ１００として使用する場合には、Ｅｄｇｅストレージ１００は、重複排除を行わないため、記憶デバイス１３４は、重複状態管理表Ｔ２０、重複チャンク管理表Ｔ３０、重複判定表Ｔ４０を格納していなくてよい。

次に、ファイル仮想化管理情報Ｔ１０について説明する。

図３は、第１実施例に係るファイル仮想化管理情報の構成図である。

ファイル仮想化管理情報Ｔ１０は、ユーザファイル毎に作成される。なお、この例では、ユーザファイルと別にファイル仮想化管理情報Ｔ１０が記憶される例を示しているが、ファイル仮想化管理情報Ｔ１０をユーザファイル内に格納するようにしてもよい。ファイル仮想化管理情報Ｔ１０は、ユーザファイル管理情報Ｔ１１と、部分管理情報Ｔ１２とを有する。

ユーザファイル管理情報Ｔ１１は、アクセスパスＣ１１と、ファイル状態Ｃ１２と、ファイルＩＤ Ｃ１３とを含む。

アクセスパスＣ１１は、ファイル仮想化管理情報Ｔ１０に対応するユーザファイルが格納されたＣｏｒｅストレージ２００上のアドレス（アクセスパス）である。ファイル状態Ｃ１２は、ファイル仮想化管理情報Ｔ１０に対応するユーザファイルの状態を示す。ファイルの状態には、ユーザファイルにＣｏｒｅストレージ２００に反映させていない差分データがあることを示す「Ｄｉｒｔｙ」と、ユーザファイルがＣｏｒｅファイル２００に格納されていることを示す「Ｃａｃｈｅｄ」と、ユーザファイルの少なくとも一部の領域がスタブ化されていることを示す「Ｓｔｕｂ」とがある。ファイルＩＤ Ｃ１３は、ファイル仮想化管理情報Ｔ１０に対応するユーザファイルの本体データを示す識別子（ファイルＩＤ）である。ファイルＩＤは、本体データの操作に用いられる。

部分管理情報Ｔ１２は、ユーザファイルにおいて更新、追加等された場合におけるそれそれの対応する部分に対応するエントリを格納する。部分管理情報Ｔ１２のエントリは、オフセット（Ｏｆｆｓｅｔ）Ｃ１６と、長さ（Ｌｅｎｇｔｈ）Ｃ１７と、部分状態Ｃ１８とのフィールドを含む。

オフセットＣ１６には、ユーザファイルが更新等されたときの対応する部分の開始位置が格納される。長さＣ１７には、エントリに対応する部分の開始位置からのデータ長が格納される。部分状態Ｃ１８には、エントリに対応する部分の状態（部分状態）が格納される。部分状態には、部分のデータがＣｏｒｅストレージ２００に反映されていないこと、すなわち、前回のファイルマイグレーション処理（図８参照）の後に更新（追加も含む）されたことを示す「Ｄｉｒｔｙ」と、部分のデータがＣｏｒｅストレージ２００に格納されていること、すなわち、ローカル（Ｅｄｇｅストレージ１００）にも、Ｃｏｒｅストレージ２００にもデータがあることを示す「Ｃａｃｈｅｄ」と、部分のデータがスタブ化されている、すなわち、ファイルマイグレーション処理（図８参照）後にローカル（Ｅｄｇｅストレージ１００）から消去されたことを示す「Ｓｔｕｂ」と、がある。

次に、重複状態管理表Ｔ２０について説明する。

図４は、第１実施例に係る重複状態管理表の構成図である。

重複状態管理表Ｔ２０は、ユーザファイル毎に作成される。重複状態管理表Ｔ２０は、１つのファイルＩＤ Ｃ２１のフィールドと、ユーザファイル内のチャンク毎のフィールド群（Ｃ２２～Ｃ２７）とを含む。

ファイルＩＤ Ｃ２１には、重複状態管理表Ｔ２０に対応するユーザファイルの本体データのファイルＩＤが格納される。

チャンク毎のフィールド群は、ファイル内オフセットＣ２２と、チャンク長Ｃ２３と、データ削減処理済みフラグＣ２４と、チャンク状態Ｃ２５と、重複チャンク格納ファイルＩＤ Ｃ２６と、参照オフセットＣ２７とのフィールドを含む。

ファイル内オフセットＣ２２には、フィールド群に対応するチャンクのユーザファイル内の開始位置が格納される。チャンク長Ｃ２３には、フィールド群に対応するチャンクのデータ長が格納される。データ削減処理済みフラグＣ２４には、フィールド群に対応するチャンクがデータ削減処理済みか否かを示すデータ削除処理済みフラグが格納される。データ削除処理済みフラグは、チャンク内のデータが更新された際にＦａｌｓｅに設定され、データ削減処理後にＴｒｕｅに設定される。チャンク状態Ｃ２５には、フィールド群に対応するチャンクの状態が格納される。チャンクの状態としては、チャンクが他のチャンクと重複をしていないことを示す非重複と、チャンクが他のチャンクと重複していることを示す重複とがある。なお、チャンク状態が非重複であるチャンクについては、重複チャンク格納ファイルＩＤ Ｃ２６及び参照オフセットＣ２７には値が設定されない。重複チャンク格納ファイルＩＤ Ｃ２６には、フィールド群に対応するチャンクと重複しているチャンクのデータを格納するファイル（重複チャンク格納ファイル）のＩＤ（ファイルＩＤ）が格納される。参照オフセットＣ２７には、フィールド群に対応するチャンクと重複するチャンク（重複チャンク）のデータを格納する、重複チャンク格納ファイル内のオフセットが格納される。

次に、重複チャンク管理表Ｔ３０について説明する。

図５は、第１実施例に係る重複チャンク管理表の構成図である。

重複チャンク管理表Ｔ３０は、重複チャンク格納ファイルに格納された重複チャンクの参照数を管理するための表であり、重複チャンク格納ファイル毎のエントリを格納する。重複チャンク管理表Ｔ３０のエントリは、ファイルＩＤ Ｃ３１と、オフセットＣ３２と、チャンク長Ｃ３３と、参照数Ｃ３４とのフィールドを含む。

ファイルＩＤ Ｃ３１には、エントリに対応する重複チャンク格納ファイルの本体データのＩＤ（ファイルＩＤ)が格納される。オフセットＣ３２には、エントリに対応する重複チャンク格納ファイル内の各重複チャンクの開始位置が格納される。チャンク長Ｃ３３には、各重複チャンクのデータ長が格納される。参照数Ｃ３４には、各重複チャンクのユーザファイルから参照されている数（参照数）が格納される。

次に、重複判定表Ｔ４０について説明する。

図６は、第１実施例に係る重複判定表の構成図である。

重複判定表Ｔ４０は、チャンクの重複判定に用いる情報を格納する表であり、Ｃｏｒｅストレージ２００に格納されているチャンク毎のエントリを格納する。重複判定表Ｔ４０のエントリは、フィンガプリントＣ４１と、ファイルＩＤ Ｃ４２と、オフセットＣ４３と、チャンク長Ｃ４４とのフィールドを含む。

フィンガプリントＣ４１には、エントリに対応するチャンクのフィンガプリントが格納される。フィンガプリントは、チャンクのデータにハッシュ関数を適用した値であり、チャンクの同一性（重複）を確認するために使用される。フィンガプリントを計算する方法としては、例えば、ＭＤ５（ｍｅｓｓａｇｅ ｄｉｇｅｓｔ ａｌｇｏｒｉｔｈｍ ５）やＳＨＡ－１（Ｓｅｃｕｒｅ Ｈａｓｈ Ａｌｇｏｒｉｔｈｍ １）等を用いてもよい。ファイルＩＤ Ｃ４２には、エントリに対応するチャンクを格納するファイルのファイルＩＤが格納される。オフセットＣ４３には、エントリに対応するチャンクのファイル内のオフセットが格納される。チャンク長Ｃ４４には、エントリに対応するチャンクのデータ長が格納される。

次に、後述するファイルマイグレーション処理において使用される転送重複チャンクリストＴ５０について説明する。

図７は、第１実施例に係る転送重複チャンクリストの構成図である。

転送重複チャンクリストＴ５０は、マイグレーション対象（転送対象）のファイル内で差分を有するチャンク（差分チャンク：差分分割データ単位の一例）の中のＣｏｒｅストレージ２００と重複するチャンクについてのＣｏｒｅストレージ２００上での格納先を管理する。転送重複チャンクリストＴ５０は、チャンク毎のエントリを格納する。転送重複チャンクリストＴ５０のエントリは、ファイル内オフセットＣ５１と、チャンク長Ｃ５２と、重複チャンク可能ファイルＩＤ Ｃ５３と、参照オフセットＣ５４とのフィールドを含む。

ファイル内オフセットＣ５１には、エントリに対応するチャンクのマイグレーション対象のファイル内でのオフセットが格納される。チャンク長Ｃ５２には、チャンクのデータ長が格納される。重複チャンク格納ファイルＩＤ Ｃ５３には、エントリに対応するチャンクと重複しているチャンクを格納しているＣｏｒｅストレージ２００上の重複チャンク格納ファイルのファイルＩＤが格納される。参照オフセットＣ５４には、エントリに対応するチャンクと重複するチャンクを格納する重複チャンク格納ファイル内のオフセットが格納される。

次に、第１実施例に係る計算機システム１においてファイルをマイグレーションするファイルマイグレーション処理について説明する。

図８は、第１実施例に係るファイルマイグレーション処理の一例のフローチャートである。

ファイルマイグレーション処理は、各Ｅｄｇｅストレージ１００において、コントローラ１１０のＣＰＵ１１１がＤａｔａ ＭｏｖｅｒプログラムＰ７を実行することにより行われる。ファイルマイグレーション処理は、所定の条件を満たす場合、例えば、定期的又は不定期に行われてもよいし、クライアント４００がＥｄｇｅストレージ１００に対してＩ／Ｏ操作を行ったときに実行されてもよい。ファイルマイグレーション処理では、Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、新たに作成されて、又は更新されて、差分となる部分（差分部分）を含むファイル、すなわち、ファイル状態Ｃ１２がＤｉｒｔｙであるファイルを処理対象のファイル（対象ファイル）として取得する。ファイル状態Ｃ１２がＤｉｒｔｙであるファイルを取得する方法は、ファイルシステムをクローリングする方法でもよいし、ファイルシステムのオペレーションを記録した操作ログから抽出する方法でもよい。

Ｓ１０１：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、差分転送処理（図９参照）を実行する。差分転送処理では、対象ファイルの差分部分をＣｏｒｅストレージ２００に転送等して反映させる処理を行う。

Ｓ１０２：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、対象ファイルのファイル状態Ｃ１２と、対象ファイルの差分部分に対応する部分状態Ｃ１８と、をＣａｃｈｅｄに変更し、ファイルマイグレーション処理を終了する。

次に、ステップＳ１０１の差分転送処理について説明する。

図９は、第１実施例に係る差分転送処理の一例のフローチャートである。

差分転送処理は、基本的には、Ｅｄｇｅストレージ１００で作成されたファイル及び更新されたファイルの差分部分を、可変長重複排除を行うＣｏｒｅストレージ２００に転送し、Ｃｏｒｅストレージ２００に反映させる処理である。

Ｓ２０１：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、対象ファイルの部分管理情報Ｔ１２から部分状態Ｃ１８がＤｉｒｔｙであるエントリ（転送対象部分に対応）を転送部分リストとして取得する。

Ｓ２０２：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、対象ファイルがスタブ化された領域を含むスタブファイルか否か、すなわち、対象ファイルのファイル状態Ｃ１２がｓｔｕｂであるか否かを確認する。この結果、対象ファイルがスタブファイルである場合（Ｓ２０２：Ｙｅｓ）には、Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、転送対象部分のデータについてのネットワーク重複排除処理（Ｓ２０６）等を行わずに、処理をステップＳ２１０に進める。ここで、対象ファイルがスタブファイルである場合に、ネットワーク重複排除処理等を行わないのは、スタブ化されたデータのリコール処理等における転送するデータ量を容易に見積もることができないからである。一方、対象ファイルがスタブファイルでない場合（Ｓ２０２：Ｎｏ）には、Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、処理をステップＳ２０３に進める。

Ｓ２０３：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、対象ファイルを、ローリングハッシュ等を利用して可変長のチャンク（可変長チャンク）に分割する。ここで、ローリングハッシュとは、対象ファイルに対して、所定の長さのウインドウのデータに対するハッシュ値を計算する処理を、ウインドウをずらしながら実行する処理であり、可変長チャンクに分割する方法としては、計算されたハッシュ値が所定の値になった場合に、その部分を可変長チャンクの分割点とする方法がある。可変長チャンクに分割する具体的な処理としては、例えば、Ｒａｂｉｎ－Ｋａｒｐアルゴリズムを採用することができる。なお、可変長チャンクに分割する処理は上記に限られず、任意の処理を使用してもよい。

Ｓ２０３で分割された各チャンク（可変長チャンク）に対して、以下のステップＳ２０４～２０９の処理が実行される。

Ｓ２０４：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、分割された各チャンクの１つのチャンクを処理対象のチャンク（対象チャンク）として、対象チャンクの管理情報（ファイル内オフセット、チャンク長等）を取得する。

Ｓ２０５：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、対象チャンク内の部分状態がＤｉｒｔｙである部分（差分部分）のサイズ（チャンク内Ｄｉｒｔｙサイズ）が、後述するネットワーク重複排除処理（Ｓ２０６）で用いるチャンクのフィンガプリントサイズより大きいか否かを判定する。ここで、対象チャンク内に部分状態がＤｉｒｔｙである部分（差分部分）を含むチャンクが差分チャンクに相当する。この結果、チャンク内Ｄｉｒｔｙサイズが、フィンガプリントサイズよりも大きい場合（Ｓ２０５：Ｙｅｓ）には、ネットワーク重複排除処理を実行することにより、重複するデータの転送を削減できる効果が得られる可能性があるので、Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、処理をステップＳ２０６に進める。一方、チャンク内Ｄｉｒｔｙサイズが、フィンガプリントサイズよりも大きくない場合（Ｓ２０５：Ｎｏ）には、ネットワーク重複排除処理を実行するよりも、チャンク内のＤｉｒｔｙデータ（差分データ）を送信する方が転送するデータ量が少ないこととなるので、Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、ネットワーク重複排除処理を行わずに、処理をステップＳ２０９に進める。なお、この場合には、以降の処理において、チャンク内の差分データがＣｏｒｅストレージ２００に送信されることとなる。

なお、上記したチャンク内Ｄｉｒｔｙサイズと、フィンガプリントサイズとに基づいてのネットワーク重複排除処理の実行可否の判定は、Ｃｏｒｅストレージ２００に対象ファイルのチャンクと同一のデータが存在すると見込まれる確率（ネットワーク重複排除率：予測割合）が１００％又はこれに近い値となる場合に好ましい例である。チャンク内Ｄｉｒｔｙサイズと、フィンガプリントサイズとを用いたネットワーク重複排除処理の実行可否の判定は、上記した比較に限らない。

また、上記したチャンク内Ｄｉｒｔｙサイズと、フィンガプリントサイズとの他に、ネットワーク重複排除率をネットワーク重複排除処理の実行可否の判定に使用するようにしてもよい。例えば、フィンガプリントサイズ＋チャンク内Ｄｉｒｔｙサイズ×（１－ネットワーク重複排除率）＜（チャンク内Ｄｉｒｔｙサイズ）を満たす場合に、処理をステップＳ２０６に進め、満たさない場合に、処理をステップＳ２０９に進めてもよい。

例えば、ネットワーク重複排除率は、ファイルの属性に基づいて決定してもよい。例えば、ファイルの属性が暗号化ファイルであれば、重複と判定される可能性が低いので、ネットワーク重複排除率は低い率（例えば、１０％）とし、ファイルの属性が、例えば、マイクロソフトオフィス（登録商標）等のワードプロセッサソフトや、表計算ソフト等のファイルを示しているある場合には、重複と判定される可能性が比較的高いので、ネットワーク重複排除率を高い率（例えば、８０％）とし、ファイルの属性に応じてステップＳ２０５の条件を変えるようにしてもよい。

Ｓ２０６：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、対象チャンクのフィンガプリントをＣｏｒｅストレージ２００に送信して、Ｃｏｒｅストレージ２００で対象チャンクの重複判定を行わせるネットワーク重複排除処理（図１０参照）を実行する。なお、本例では、チャンクごとにステップＳ２０６を実行するようにしているが、ステップＳ２０５の条件を満たす全てのチャンクに対して、まとめてステップＳ２０６の処理を行うようにしてもよい。

Ｓ２０７：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、ネットワーク重複排除処理Ｓ２０６による結果に基づいて、Ｃｏｒｅストレージ２００に対象チャンクと重複するデータが存在するか否かを判定する。この結果、対象チャンクと重複するデータが存在する場合（Ｓ２０７：Ｙｅｓ）、Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、処理をステップＳ２０８に進める。一方、対象チャンクと重複するデータが存在しない場合（Ｓ２０７：Ｎｏ）、Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、処理をステップＳ２０９に進める。

Ｓ２０８：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、対象チャンク内の領域を転送部分リストから削除し、転送重複チャンクリストＴ５０に、対象チャンクのファイル内オフセットと、チャンク長と、チャンクと重複するＣｏｒｅストレージ２００上のチャンクのファイルＩＤと、参照オフセットとを含むエントリを追加する。

Ｓ２０９：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、対象チャンクがチャンクの末尾（チャンク末尾）か否かを判定する。対象チャンクがチャンク末尾である場合（Ｓ２０９：Ｙｅｓ）、Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、処理をステップＳ２１０に進める。一方、対象チャンクがチャンク末尾でない場合（Ｓ２０９：Ｎｏ）、Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、処理をステップＳ２０４に進め、次のチャンクに対する処理を行う。

Ｓ２１０：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、転送部分リストに記録された部分のデータを、ファイルＩＤを用いて、ユーザファイルの本体ファイルから取得する。

Ｓ２１１：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、対象ファイルのＣｏｒｅストレージ２００へのアクセスパス（対象ファイルのアクセスパスＣ１１の値）を取得し、Ｃｏｒｅストレージ２００に対し、このアクセスパスの更新要求を行う。この時、Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、ステップＳ２１０で取得したデータと、転送部分リストと、転送重複チャンクリストＴ５０とを転送する。

Ｓ２１２：Ｃｏｒｅストレージ２００の差分反映プログラムＰ９（厳密には、差分反映プログラムＰ９を実行するＣＰＵ１１１）は、Ｅｄｇｅストレージ１００からの更新要求を受理し、更新要求で指定されたアクセスパスに対して、差分反映処理（図１１参照）を行う。

Ｓ２１３：差分反映プログラムＰ９は、Ｅｄｇｅストレージ１００に対して更新が完了した応答を返す。なお、Ｅｄｇｅストレージ１００のＤａｔａ ＭｏｖｅｒプログラムＰ７がこの応答を受け取ることにより、差分転送処理を終了する。

次に、ステップＳ２０６のネットワーク重複排除処理について説明する。

図１０は、第１実施例に係るネットワーク重複排除処理の一例のフローチャートである。

ネットワーク重複排除処理は、Ｅｄｇｅストレージ１００と同一のチャンクがＣｏｒｅストレージ２００に存在するか否かを確認し、存在する場合に重複チャンクの格納先を取得する処理である。

Ｓ３０１：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、対象チャンクのフィンガプリントを計算する。フィンガプリントは、例えば、対象チャンクに対して、ＳＨＡ－１で計算されたハッシュ値としてもよい。

Ｓ３０２：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、Ｃｏｒｅストレージ２００に、対象チャンクと同一のデータが存在するか否かを確認させる要求（重複検索要求）を送信する。この重複検索要求には、ステップＳ３０１で計算された対象チャンクのフィンガプリントが含まれている。

Ｓ３０３：Ｃｏｒｅストレージ２００のデータ容量削減プログラムＰ１１は、Ｅｄｇｅストレージ１００からの重複検索要求を受理し、重複判定表Ｔ４０を参照し、重複検索要求に含まれているフィンガプリント（対象フィンガプリント）に一致するチャンク（重複チャンク）が存在するか否かを確認する。この結果、フィンガプリントに一致するチャンクが存在する場合（Ｓ３０３：Ｙｅｓ）、データ容量削減プログラムＰ１１は、処理をステップＳ３０４に進める。一方、フィンガプリントに一致するチャンクが存在しない場合（Ｓ３０３：Ｎｏ）、データ容量削減プログラムＰ１１は、処理をステップＳ３０５に進める。

なお、フィンガプリントに一致するチャンクを格納するファイルが重複チャンク格納ファイルではなく、ユーザファイルかつ重複状態管理表Ｔ２０のチャンク状態Ｃ２５のチャンク状態が非重複の場合に、このファイルのチャンクのフィンガプリントの再計算を行って、フィンガプリントに変更がないこと、すなわち、チャンクが更新されていないことを確認してもよい。さらに、対象チャンクの重複排除を行い、重複チャンク格納ファイルにこのチャンクを格納し、重複判定表Ｔ４０のこのチャンクに対応するエントリのファイルＩＤ等を重複チャンク格納ファイルのファイルＩＤ等に更新してもよい。

Ｓ３０４：Ｃｏｒｅストレージ２００のデータ容量削減プログラムＰ１１は、重複判定表Ｔ４０の対象フィンガプリントに一致するエントリのファイルＩＤ Ｃ４２、オフセットＣ４３、チャンク長Ｃ４４の値をＥｄｇｅストレージ１００に返却し、ネットワーク重複排除処理を終了する。

Ｓ３０５：Ｃｏｒｅストレージ２００のデータ容量削減プログラムＰ１１は、対象チャンクと同一のデータが存在しないことをＥｄｇｅストレージ１００に返却し、ネットワーク重複排除処理を終了する。

次に、ステップＳ２１２の差分反映処理について説明する。

図１１は、第１実施例に係る差分反映処理の一例のフローチャートである。

差分反映処理は、Ｃｏｒｅストレージ２００の差分反映プログラムＰ９がＥｄｇｅストレージ１００の更新要求を受理し、更新要求で指定されたアクセスパスに対して、指定された転送部分リストを用いた更新の反映と、転送重複チャンクリストＴ５０を用いた重複排除結果の反映を行う処理である。

Ｓ４０１：差分反映プログラムＰ９は、受理した転送部分リストのエントリ（対象エントリ）を１つ取得する。
Ｓ４０２：差分反映プログラムＰ９は、更新要求で指定されたアクセスパスに対し、対象エントリの示す領域（更新領域、差分領域）の更新を反映する。

Ｓ４０３：差分反映プログラムＰ９は、重複状態管理情報Ｔ２０を参照し、更新要求で指定されたアクセスパスに対応するファイルの更新領域にチャンク状態Ｃ２５のチャンク状態が重複であるエントリが含まれるか否かを確認する。この結果、チャンク状態が重複であるエントリが含まれる場合（Ｓ４０３：Ｙｅｓ）、差分反映プログラムＰ９は、処理をステップＳ４０４に進める。一方、チャンク状態が重複であるエントリが含まれていない場合（Ｓ４０３：Ｎｏ）、差分反映プログラムＰ９は、処理をステップＳ４０５に進める。

Ｓ４０４：差分反映プログラムＰ９は、チャンク状態が重複であるエントリにおける重複チャンク格納ファイルＩＤ Ｃ２６のファイルＩＤと、参照オフセットＣ２７の参照オフセットとに対応する、重複チャンク管理表Ｔ３０のエントリにおける参照数Ｃ３４の参照数から１を減算する。

Ｓ４０５：差分反映プログラムＰ９は、重複状態管理表Ｔ２０の更新領域に対応するエントリにおけるデータ削減処理フラグＣ２４の値をｆａｌｓｅに変更し、チャンク状態Ｃ２５の値を非重複に変更する。

Ｓ４０６：差分反映プログラムＰ９は、対象エントリが転送部分リストの末尾か否か確認する。この結果、対象エントリが末尾である場合（Ｓ４０６：Ｙｅｓ）、差分反映プログラムＰ９は、処理をステップＳ４０７に進める。一方、対象エントリが末尾でない場合（Ｓ４０６：Ｎｏ）、差分反映プログラムＰ９は、処理をステップＳ４０１に進め、次のエントリを処理対象として後続の処理を行う。

Ｓ４０７：差分反映プログラムＰ９は、受理した転送重複チャンクリストＴ５０のエントリを処理対象のエントリ（対象エントリ）として１つ取得する。
Ｓ４０８：差分反映プログラムＰ９は、対象エントリの重複チャンク格納ファイルＩＤ Ｃ５３のファイルＩＤと、参照オフセットＣ５４の参照オフセットとに対応する重複チャンク管理表Ｔ３０のエントリの参照数Ｃ３４の参照数に１を加算する。

Ｓ４０９：差分反映プログラムＰ９は、更新要求で指定されたアクセスパスに対応するファイルの重複状態管理情報Ｔ２０を参照し、転送重複チャンクリストＴ５０の対象エントリのファイル内オフセットＣ５１のオフセットと、チャンク長Ｃ５２のチャンク長とに対応する領域に、チャンク状態Ｃ２５が重複であるチャンク（重複チャンク）が含まれているか否かを確認する。この結果、重複チャンクが含まれている場合（Ｓ４０９：Ｙｅｓ）、差分反映プログラムＰ９は、処理をステップＳ４１０に進める。一方、重複チャンクが含まれていない場合（Ｓ４０９：Ｎｏ）、差分反映プログラムＰ９は、処理をステップＳ４１１に進める。

Ｓ４１０：差分反映プログラムＰ９は、重複状態管理情報Ｔ２０の重複チャンクのエントリの重複チャンク格納ファイルＩＤ Ｃ２６のファイルＩＤと、参照オフセットＣ２７のオフセットとに対応する重複チャンク管理表Ｔ３０のエントリにおける参照数Ｃ３４の参照数から１を減算する。

Ｓ４１１：差分反映プログラムＰ９は、重複状態管理情報Ｔ２０の重複チャンクのエントリにおいて、ファイル内オフセットＣ２２とチャンク長Ｃ２３とに、転送重複チャンクリストＴ５０の対象エントリのファイル内オフセットＣ５１のオフセットとチャンク長Ｃ５２のチャンク長とを設定し、データ削減処理フラグＣ２４にｔｒｕｅを設定し、チャンク状態Ｃ２５に重複を設定し、重複チャンク格納ファイルＩＤ Ｃ２６と参照オフセットＣ２７とに、転送重複チャンクリストＴ５０の対象エントリの重複チャンク格納ファイルＩＤ Ｃ５３のファイルＩＤと参照オフセットＣ５４のオフセットとを設定する。

Ｓ４１２：差分反映プログラムＰ９は、対象エントリが転送重複チャンクリストＴ５０の末尾か否かを確認する。この結果、対象エントリが末尾の場合（Ｓ４１２：Ｙｅｓ）、差分反映プログラムＰ９は、差分反映処理を終了する。一方、対象エントリが末尾でない場合（Ｓ４１２：Ｎｏ）、差分反映プログラムＰ９は、処理をステップＳ４０７に進め、次のエントリに対する後続の処理を行う。

上記したファイルマイグレーション処理によると、フィンガプリントサイズと、チャンク内Ｄｉｒｔｙサイズとに基づいて、ネットワーク重複排除処理（Ｓ２０６）を行うか、ネットワーク重複排除処理を行わずに、Ｄｉｒｔｙデータを送信する（Ｓ２１１）かを判定して、実行するようにしているので、Ｅｄｇｅストレージ１００と、Ｃｏｒｅストレージ２００との間のデータの転送量を抑えることができる。

次に、第２実施例に係る計算機システムについて説明する。なお、第１実施例に係る計算機システムと同様な部分には同一の符号を付し、重複する説明を省略する場合がある。

第２実施例に係る計算機システムの構成は、図１に示す計算機システムと同様である。

第２実施例に係るＥｄｇｅストレージ１００およびＣｏｒｅストレージ２００の構成は、図２に示す第１実施例に係るＥｄｇｅストレージ１００およびＣｏｒｅストレージ２００と同様である。なお、第２実施例における、データ削減プログラムＰ１１は、固定長のチャンク（固定長チャンク：分割データ単位の一例）を対象に重複排除（固定長重複排除）を行う点が異なる。

第２実施例に係るファイル仮想化管理情報Ｔ１０は、図３に示す第１実施例に係るファイル仮想化管理情報Ｔ１０と同じである。

第２実施例に係る重複状態管理表Ｔ２０は、図４に示す第１実施例に係る重複状態管理表Ｔ２０と同じである。なお、第２実施例では、データ削減プログラムＰ１１は固定長重複排除を行うため、重複状態管理表Ｔ２０において、チャンク長Ｃ２３のフィールドはなくてもよい。

第２実施例に係る重複チャンク管理表Ｔ３０は、図５に示す第１実施例に係る重複チャンク管理表Ｔ３０と同じである。なお、第２実施例では、データ削減プログラムＰ１１は固定長重複排除を行うため、重複チャンク管理表Ｔ３０において、チャンク長Ｃ３３のフィールドはなくてもよい。

第２実施例に係る重複判定表Ｔ４０は、図６に示す第１実施例に係る重複判定表Ｔ４０と同じである。なお、第２実施例では、データ削減プログラムＰ１１は固定長重複排除を行うため、重複判定表Ｔ４０において、チャンク長Ｃ４４のフィールドはなくてもよい。

第２実施例に係る転送重複チャンクリストＴ５０は、図７に示す第１実施例に係る転送重複チャンクリストＴ５０と同じである。なお、第２実施例では、データ削減プログラムＰ１１は固定長重複排除を行うため、転送重複チャンクリストＴ５０においてチャンク長Ｃ５２のフィールドはなくてもよい。

第２実施例に係るファイルマイグレーション処理は、図８に示す第１実施例に係るファイルマイグレーション処理と同様である。但し、第２実施例に係るファイルマイグレーション処理では、ステップＳ１０１の差分転送処理として、図１２に示す差分転送処理を行う。

次に、差分転送処理について説明する。

図１２は、第２実施例に係る差分転送処理の一例のフローチャートである。なお、図８に示す差分転送処理と同様な部分には同一の符号を付し、重複する説明は省略する。

差分転送処理は、基本的には、Ｅｄｇｅストレージ１００で作成されたファイル及び更新されたファイルの差分部分を、固定長重複排除を行うＣｏｒｅストレージ２００に転送し、Ｃｏｒｅストレージ２００に反映させる処理である。

ファイルについて固定長単位で分割されている各固定長チャンクに対して、以下のステップＳ５０１～５０４，Ｓ２０５～Ｓ２０９の処理が実行される。なお、転送部分リストの転送部分に含まれる固定長チャンクのみを対象としてステップＳ５０１以降の処理を実施してもよい。

Ｓ５０１：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、それぞれの固定長チャンクの１つのチャンクを処理対象のチャンク（対象チャンク）として、対象チャンクの管理情報（ファイル内オフセット、チャンク長等）を取得する。

Ｓ５０２：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、対象チャンク内にスタブ化された領域（スタブ領域）が含まれるか否か、具体的には、部分管理情報Ｔ１２を参照し、対象チャンク内に部分状態Ｃ１８がＳｔｕｂの部分が存在するか否かを確認する。この結果、対象チャンク内にスタブ領域が存在する場合（Ｓ５０２：Ｙｅｓ）、Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、処理をステップＳ５０３に進める。一方、対象チャンク内にスタブ領域が存在しない場合（Ｓ５０２：Ｎｏ）、Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、処理をステップＳ２０５に進める。

Ｓ５０３：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、対象チャンク内の部分状態がＤｉｒｔｙである部分（差分部分）のサイズ（チャンク内Ｄｉｒｔｙサイズ）が、ネットワーク重複排除処理Ｓ２０６で用いるフィンガプリントサイズにチャンク内のＳｔｕｂの領域のサイズ（チャンク内Ｓｔｕｂサイズ）を加算したサイズ（すなわち、スタブ領域のデータをリコールし、フィンガプリントサイズを転送する際の転送する合計のデータサイズ）より大きいか否かを確認する。この結果、チャンク内Ｄｉｒｔｙサイズが大きい場合（Ｓ５０３：Ｙｅｓ）、スタブ領域のデータをリコールし、フィンガプリントを送信する方がデータ量を抑えられる可能性があるので、Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、処理をステップＳ５０４に進める。一方、チャンク内Ｄｉｒｔｙサイズが大きくない場合（Ｓ５０３：Ｎｏ）、差分部分のデータを転送したほうがデータ量を押さえられることを意味しているので、Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、処理をステップＳ２０９に進める。

なお、上記したチャンク内Ｄｉｒｔｙサイズと、フィンガプリントサイズと、チャンク内Ｓｔｕｂサイズとに基づいてのネットワーク重複排除処理の実行可否の判定は、Ｃｏｒｅストレージ２００に対象ファイルのチャンクと同一のデータが存在すると見込まれる確率（ネットワーク重複排除率：予測割合）が１００％又はこれに近い値となる場合に好ましい例である。チャンク内Ｄｉｒｔｙサイズと、フィンガプリントサイズと、チャンク内Ｓｔｕｂサイズとを用いたネットワーク重複排除処理の実行可否の判定は、上記した比較に限らない。

また、上記したチャンク内Ｄｉｒｔｙサイズと、フィンガプリントサイズと、チャンク内Ｓｔｕｂサイズとの他に、ネットワーク重複排除率をネットワーク重複排除処理の実行可否の判定に使用するようにしてもよい。例えば、フィンガプリントサイズ＋チャンク内Ｓｔｕｂサイズ＋チャンク内Ｄｉｒｔｙサイズ×（１－ネットワーク重複排除率）＜（チャンク内Ｄｉｒｔｙサイズ）を満たす場合に、処理をステップＳ５０４に進め、満たさない場合に、処理をステップＳ２０９に進めてもよい。

Ｓ５０４：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、チャンク内のスタブ領域のデータをＣｏｒｅストレージ２００からリコール（読み出す）し、処理をステップＳ２０６に進める。ステップＳ２０６以降において、第２実施例においては、チャンク長は固定であるため、チャンク長に関する処理はスキップしてもよい。

上記した第２実施例によると、チャンク内にスタブ領域が含まれる場合であっても、Ｅｄｇｅストレージ１００と、Ｃｏｒｅストレージ２００との間のデータの転送量を抑えることができる。

次に、第３実施例に係る計算機システムについて説明する。なお、第１実施例に係る計算機システムと同様な部分には同一の符号を付し、重複する説明を省略する場合がある。

第３実施例に係る計算機システムの構成は、図１に示す計算機システムと同様である。

第３実施例に係るＥｄｇｅストレージ１００およびＣｏｒｅストレージ２００の構成は、図２に示す第１実施例に係るＥｄｇｅストレージ１００およびＣｏｒｅストレージ２００と同様である。なお、第３実施例においては、Ｅｄｇｅストレージ１００においてデータ削減プログラムＰ１１が動作し、可変長重複排除を行う点が異なる。なお、Ｃｏｒｅストレージ２００でデータ削減プログラムＰ１１は動作しなくてもよいし、動作して、第１実施形態と同様の重複排除を行ってもよい。

第３実施例に係るファイル仮想化管理情報Ｔ１０は、図３に示す第１実施例に係るファイル仮想化管理情報Ｔ１０と同じであるが、Ｅｄｇｅストレージ１００に格納されている。

第３実施例に係る重複状態管理表Ｔ２０は、図４に示す第１実施例に係る重複状態管理表Ｔ２０と同じであるが、Ｅｄｇｅストレージ１００に格納されている。

第３実施例に係る重複判定表Ｔ４０は、図６に示す第１実施例に係る重複判定表Ｔ４０と同じであるが、Ｅｄｇｅストレージ１００に格納されている。

第３実施例においては、転送重複チャンク管理表Ｔ５０は、不要である。

次に、第３実施例に係るスタブファイルの重複排除処理について説明する。

図１３は、第３実施例に係るスタブファイルの重複排除処理の一例のフローチャートである。なお、図８，９等の処理と同様な部分には同一の符号を付し、重複する説明は省略する。

スタブファイルの重複排除処理は、各Ｅｄｇｅストレージ１００において、コントローラ１１０のＣＰＵ１１１がデータ容量削減プログラムＰ１１を実行することにより行われる。スタブファイルの重複排除処理は、所定の条件を満たす場合、例えば、定期的又は不定期に行われてもよいし、クライアント４００がＥｄｇｅストレージ１００に対してＩ／Ｏ操作（例えば、データ書き込み操作）を行ったときに実行されてもよい。

Ｓ６０３：Ｅｄｇｅストレージ１００のＤａｔａ ＭｏｖｅｒプログラムＰ７は、対象ファイルに対応するユーザファイル管理情報Ｔ１１からＣｏｒｅストレージ２００へのアクセスパス（対象ファイルのアクセスパスＣ１１の値）を取得し、Ｃｏｒｅストレージ２００に対し、このアクセスパスの更新と更新領域のフィンガプリントの計算とを要求する。この時、Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、Ｓ２１０で取得したデータと、転送部分リストと、対象ファイルのチャンクの分割点に関する情報（分割点情報）を転送する。

Ｓ６０４：Ｃｏｒｅストレージ２００の差分反映プログラムＰ９は、更新要求で指定されたアクセスパスに対し、転送部分リストの各エントリの示す領域（更新領域、差分領域）の更新を反映する。

Ｓ６０５：差分反映プログラムＰ９は、更新したファイルをローリングハッシュ等の処理により、可変長チャンクに分割し、チャンクの分割点を計算する。

Ｓ６０６：差分反映プログラムＰ９は、計算した分割点と、受理した分割点情報とを比較して、分割点が変更したチャンク及びデータを更新したチャンクのフィンガプリントを計算し、計算したチャンクのオフセット、チャンク長、及びフィンガプリントが格納されたエントリを含むフィンガプリントリストを作成する。

Ｓ６０７：差分反映プログラムＰ９は、計算した分割点の情報（変更後分割点情報）と、フィンガプリントリストとをＥｄｇｅストレージ１００に返却する。

Ｓ６０９：Ｄａｔａ ＭｏｖｅｒプログラムＰ７は、データ容量削減プログラムＰ１１に、変更後分割点情報とフィンガプリントリストとを返却する。データ容量削減プログラムＰ１１は、返却された変更後分割点情報に基づき、重複状態管理情報Ｔ２０を更新する。ここで、データ容量削減プログラムＰ１１は、分割点が変更されたチャンクに対応するエントリにおいて、データ削減処理済みフラグＣ２４の値をＦａｌｓｅに変更し、チャンク状態Ｃ２５の値を非重複に変更する。なお、このエントリのチャンク状態Ｃ２５が重複である場合、データ容量削減プログラムＰ１１は、重複チャンク格納ファイルＩＤ Ｃ２６のファイルＩＤと、参照オフセットＣ２７のオフセットとに対応する重複チャンク管理表Ｔ３０のエントリの参照数Ｃ３４の参照数から１を減算する。

Ｓ６１０：データ容量削減プログラムＰ１１は、フィンガプリントリストから処理対象とするエントリ（対象エントリ）を一つ取得する。

Ｓ６１１：データ容量削減プログラムＰ１１は、重複判定表Ｔ４０に、対象エントリのフィンガプリントに一致するエントリが存在するか否かを確認する。この結果、一致するエントリが存在する場合、データ容量削減プログラムＰ１１は、処理をステップＳ６１２に進める。存在しない場合、データ容量削減プログラムＰ１１は、処理をステップＳ６１３に進める。

Ｓ６１２：データ容量削減プログラムＰ１１は、対象エントリに対応するチャンクを重複排除する。

Ｓ６１３：データ容量削減プログラムＰ１１は、対象エントリに対応するチャンクを重複判定表Ｔ４０に追加する。

Ｓ６１４：データ容量削減プログラムＰ１１は、対象エントリがフィンガプリントリストの末尾か否かを判定する。この結果、対象エントリが末尾の場合、データ容量削減プログラムＰ１１は、スタブファイルの重複排除処理を終了する。一方、対象エントリがフィンガプリントリストの末尾でない場合、データ容量削減プログラムＰ１１は、処理をステップＳ６１０に進め、次のエントリを処理対象として後続する処理を行う。

なお、Ｅｄｇｅストレージ１００で可変長重複排除を行う例を示したが、本発明はこれに限られず、Ｅｄｇｅストレージ１００で固定長重複排除を行うようにしてもよく、この場合には、ステップＳ６０５で分割点計算を行わず、更新したチャンクのみについてフィンガプリントを計算し、ステップＳ６０９の処理を行わないようにすればよい。

第３実施例では、ファイルマイグレーション処理は、図８に示す第１実施例と同じ処理を行えばよい。また、第３実施例では、ステップ１０１での差分転送処理は、図９に示す第１実施例における差分転送処理におけるステップＳ２０２～Ｓ２０８を行わなくてよい。また、第３実施例では、ステップＳ２１２での差分反映処理は、図１１に示す第１実施例における差分反映処理におけるステップＳ４０３～４０５、Ｓ４０７～Ｓ４１２を行わなくてよい。

上記した第３実施例では、ファイルがスタブ領域を有するスタブファイルである場合において、ファイルのスタブ領域のデータをＣｏｒｅストレージ２００からＥｄｇｅストレージ１００に送信しないで済むので、Ｅｄｇｅストレージ１００と、Ｃｏｒｅストレージ２００との間のデータの転送量を抑えることができる。

なお、本発明は、上述の実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。

例えば、上記実施例における差分転送処理においては、ステップＳ２０５において、フィンガプリントサイズとチャンク内Ｄｉｒｔｙサイズとに基づいて、ネットワーク重複排除処理をするのか、差分部分を送信するのかを判定するようにしていたが、本発明はこれに限られず、チャンクの差分部分のサイズに基づく通信における課金額と、差分を含むチャンク（差分チャンク）の差分部分を用いてＣｏｒｅストレージ２００における差分チャンクについてＣｏｒｅストレージ２００のチャンクとの重複を判定するネットワーク重複排除処理に対する課金額とを合計した第１の合計額と、チャンクのフィンガプリントのサイズに基づく通信における課金額と、差分チャンクのフィンガプリントを用いてＣｏｒｅストレージ２００における差分チャンクについてのＣｏｒｅストレージ２００のチャンクとの重複を判定する処理に対する課金額と、を合計した第２の合計額と、に基づいて、差分部分をＣｏｒｅストレージ２００に送信するか、差分チャンクのフィンガプリントをＣｏｒｅストレージ２００に送信するかを判定するようにしてもよい。

具体的には、ネットワーク転送量当たりの課金額＊（フィンガプリントサイズ＋チャンク内Ｄｉｒｔｙサイズ×（１－ネットワーク重複排除率））＋計算量当たりの課金額＊Ｃｏｒｅストレージ２００のネットワーク重複排除処理の計算量＜ネットワーク転送量当たりの課金額＊チャンク内Ｄｉｒｔｙサイズ）＋計算量当たりの課金額＊（Ｃｏｒｅストレージ２００での差分反映処理とネットワーク重複排除処理の計算量）の式を満たす場合に、差分チャンクのフィンガプリントをＣｏｒｅストレージ２００に送信するネットワーク重複排除処理を行い、上記式を満たさない場合に、差分部分をＣｏｒｅストレージ２００に送信するように判定してもよい。このようにすると、転送時のデータ量の削減のみに着目するのではなく、転送の課金額と処理の課金額とを加味して適切なデータ転送を行うことができる。

また、上記実施形態において、ＣＰＵが行っていた処理の一部又は全部を、ハードウェア回路で行うようにしてもよい。また、上記実施形態におけるプログラムは、プログラムソースからインストールされてよい。プログラムソースは、プログラム配布サーバ又は記憶メディア（例えば可搬型の記憶メディア）であってもよい。

１…計算機システム、１０，１０－１，１０－２…Ｅｄｇｅサイト、２０…Ｃｏｒｅサイト、３０…ネットワーク、１００…Ｅｄｇｅストレージ、１１０…コントローラ、１１１…ＣＰＵ、１１２…メモリ、１１３…キャッシュ、１１４…ＬＡＮ Ｉ／Ｆ、１１５…ＷＡＮ Ｉ／Ｆ、１１６…Ｉ／Ｆ、１３０…ストレージシステム、１３１…ＣＰＵ、１３２…メモリ、１３３…キャッシュ、１３４…記憶デバイス、１３６…Ｉ／Ｆ、２００…Ｃｏｒｅストレージ、４００…クライアント

Claims (11)

1. 所定のデータ単位のデータを所定の分割データ単位を単位として重複排除して管理可能な他のストレージ装置にネットワークを介して接続され、プロセッサを備えるストレージ装置であって、
   前記プロセッサは、
   差分を含むデータ単位のデータを前記他のストレージ装置に転送する場合に、差分部分のサイズと、前記差分部分を含む分割データ単位である差分分割データ単位のフィンガプリントのサイズとに基づいて、前記差分部分を前記他のストレージ装置に送信するか、前記差分分割データ単位のフィンガプリントを前記他のストレージ装置に送信するかを判定し、
   判定結果に従って、前記差分部分又は前記フィンガプリントを前記他のストレージ装置に送信する
   ストレージ装置。
2. 前記分割データ単位は、固定長のチャンクであり、
   前記プロセッサは、
   差分を含むデータ単位のデータを前記他のストレージ装置に転送する場合であって、前記差分を含むデータ単位における差分部分を含む差分分割データ単位である差分チャンクにスタブ化されたスタブ領域が含まれている場合に、前記差分チャンクの差分部分のサイズと、前記スタブ領域のサイズと、前記差分チャンクのフィンガプリントのサイズとに基づいて、前記差分部分を前記他のストレージ装置に送信するか、前記スタブ領域のデータを前記他のストレージから取得するかを判定し、
   前記スタブ領域のデータを前記他のストレージから取得すると判定した場合には、前記他のストレージに前記スタブ領域のデータの送信要求を送信し、前記他のストレージから前記スタブ領域のデータを受信し、受信した前記スタブ領域のデータを用いて前記差分チャンクのフィンガプリントを計算し、前記差分チャンクのフィンガプリントを前記他のストレージ装置に送信する
   請求項１に記載のストレージ装置。
3. 前記分割データ単位は、可変長のチャンクであり、
   前記プロセッサは、
   差分を含むデータ単位のデータを前記他のストレージ装置に転送する場合であって、前記差分を含むデータ単位における差分部分を含む差分分割データ単位である差分チャンクにスタブ化されたスタブ領域が含まれている場合に、前記差分部分を前記他のストレージ装置に送信する
   請求項１に記載のストレージ装置。
4. 前記プロセッサは、
   前記データ単位の属性によって、前記差分部分を前記他のストレージ装置に送信するか、前記差分分割データ単位のフィンガプリントを前記他のストレージ装置に送信するかを判定する、前記差分部分のサイズと前記差分分割データ単位のフィンガプリントのサイズとに基づく条件を変える
   請求項１に記載のストレージ装置。
5. 前記プロセッサは、
   差分を含むデータ単位のデータを前記他のストレージ装置に転送する場合に、前記差分分割データ単位の前記差分部分のサイズと、前記差分分割データ単位のフィンガプリントのサイズと、前記データ単位の分割データ単位について前記他のストレージ装置の分割データ単位と重複する可能性を示す予測割合とに基づいて、前記差分部分を前記他のストレージ装置に送信するか、前記差分分割データ単位のフィンガプリントを前記他のストレージ装置に送信するかを判定する
   請求項１に記載のストレージ装置。
6. 前記分割データ単位は、可変長のチャンクであり、
   前記差分分割データ単位は、差分チャンクであり、
   前記プロセッサは、
   差分を含むデータ単位のデータを前記他のストレージ装置に転送する場合に、
   （前記差分チャンクのフィンガプリントのサイズ）＋（前記データ単位の前記チャンクの差分部分のサイズ）×（１－予測割合）＜（前記データ単位の前記チャンクの差分部分のサイズ）を満たす場合に、前記差分チャンクのフィンガプリントを前記他のストレージ装置に送信すると判定し、満たさない場合に、前記差分部分を前記他のストレージ装置に送信すると判定する、
   請求項５に記載のストレージ装置。
7. 前記分割データ単位は、固定長のチャンクであり、
   前記差分分割データ単位は、差分チャンクであり、
   前記プロセッサは、
   差分を含むデータ単位のデータを前記他のストレージ装置に転送する場合であって、前記差分を含むデータ単位における差分部分を含む差分チャンクにスタブ化されたスタブ領域が含まれている場合に、
   （前記差分チャンクのフィンガプリントのサイズ）＋（前記差分チャンク内のスタブ領域のサイズ）＋（前記データ単位の前記チャンクの差分部分のサイズ）×（１－予測割合）＜（前記データ単位の前記チャンクの差分部分のサイズ）を満たす場合に、前記スタブ領域のデータを前記他のストレージから取得すると判定し、満たさない場合に、前記差分部分を前記他のストレージ装置に送信すると判定する、
   請求項５に記載のストレージ装置。
8. 前記プロセッサは、
   差分を含むデータ単位のデータを前記他のストレージ装置に転送する場合に、
   前記データ単位の前記分割データ単位の差分部分のサイズに基づく通信における課金額と、前記分割データ単位の差分部分を用いて前記他のストレージ装置における前記差分分割データ単位についての前記他のストレージ装置の分割データ単位との重複を判定する処理に対する課金額とを合計した第１の合計額と、
   前記差分分割データ単位のフィンガプリントのサイズに基づく通信における課金額と、前記差分分割データ単位のフィンガプリントを用いて前記他のストレージ装置における前記差分分割データ単位についての前記他のストレージ装置の分割データ単位との重複を判定する処理に対する課金額と、を合計した第２の合計額と、
   に基づいて、前記差分部分を前記他のストレージ装置に送信するか、前記差分分割データ単位のフィンガプリントを前記他のストレージ装置に送信するかを判定する
   請求項１に記載のストレージ装置。
9. 他のストレージ装置にネットワークを介して接続され、プロセッサを備えるストレージ装置であって、
   前記他のストレージ装置は、前記ストレージ装置に管理されているデータ単位のうちのスタブ化されたスタブ領域のデータを格納しており、
   前記プロセッサは、
   差分を含むデータ単位がスタブ領域を有する場合に、差分部分のデータを前記他のストレージ装置に送信し、
   前記他のストレージ装置から、前記データ単位の前記差分部分を含む分割データ単位のフィンガプリントを受信し、
   前記差分部分を含む分割データ単位のフィンガプリントに基づいて、前記差分を含むデータ単位について前記分割データ単位を単位として重複排除を実行する
   ストレージ装置。
10. 所定のデータ単位のデータを所定の分割データ単位を単位として重複排除して管理可能な第１ストレージ装置と、前記第１ストレージ装置にネットワークを介して接続された第２ストレージ装置とを備えた計算機システムであって、
    前記第２ストレージ装置は、
    差分を含むデータ単位を前記第１ストレージ装置に格納する場合に、差分部分のサイズと、前記差分部分を含む分割データ単位である差分分割データ単位にフィンガプリントのサイズとに基づいて、前記差分部分を前記第１ストレージ装置に送信するか、前記差分分割データ単位のフィンガプリントを前記第１ストレージ装置に送信するかを判定し、
    判定結果に従って、前記差分部分又は前記フィンガプリントを前記第１ストレージ装置に送信し、
    前記第１ストレージ装置は、
    前記第２ストレージ装置から前記差分部分を受信した場合に、前記差分分割データ単位のフィンガプリントを算出し、算出したフィンガプリントに基づいて、前記差分分割データ単位と、前記第１ストレージ装置に格納されている他の分割データ単位との重複判定を行い、
    前記第２ストレージ装置から前記フィンガプリントを受信した場合に、前記フィンガプリントに基づいて、前記差分分割データ単位と、前記第１ストレージ装置に格納されている他の分割データ単位との重複判定を行い、
    前記重複判定の結果を前記第１ストレージ装置に送信する
    計算機システム。
11. 所定のデータ単位のデータを所定の分割データ単位を単位として重複排除して管理可能なストレージ装置にネットワークを介して接続されるコンピュータに実行させるデータ転送プログラムであって、
    前記コンピュータを、
    差分を含むデータ単位を前記ストレージ装置に転送する場合に、差分部分のサイズと、前記差分部分を含む分割データ単位である差分分割データ単位のフィンガプリントのサイズとに基づいて、前記差分部分を前記ストレージ装置に送信するか、前記差分分割データ単位のフィンガプリントを前記ストレージ装置に送信するかを判定させ、
    判定結果に従って、前記差分部分又は前記フィンガプリントを前記ストレージ装置に送信させる
    データ転送プログラム。
    
    
    
    
    

Images