JP2021189520A - 分散ファイルシステム、及び分散ファイル管理方法 - Google Patents

Abstract

【課題】分散ファイルシステムにおいてノード間通信を低減できるようにする。【解決手段】分散ファイルシステム１において、分散ＦＳサーバ１００は、ファイルの本体データを管理して自分散ＦＳサーバ１００又はクラウドストレージ３００に格納するとともに、本体データの格納先情報を格納し、クライアント６００からＩ／Ｏ要求を受信した分散ＦＳサーバ１００は、対象のファイルの格納先情報を管理している分散ＦＳサーバ１００を特定し、対象のファイルのＩ／Ｏ処理を実行させる転送Ｉ／Ｏ要求を送信し、特定された分散ＦＳサーバ１００は、転送Ｉ／Ｏ要求の対象のファイルに対応する格納先情報に基づいて、対象のファイルの本体データに対する処理を、本体データに対して実行し、Ｉ／Ｏ処理の処理結果を要求元の分散ＦＳサーバ１００に返送し、要求元の分散ＦＳサーバ１００は、返送された処理結果をクライアント６００に返送するように構成する。【選択図】図２

Description

本発明は、ファイルを分散して管理する技術に関する。

データ分析などで用いる大量のデータを保存するために、スケールアウト型の分散ファイルシステムが広く用いられている。近年では、クラウドのバックアップや、クラウドでのデータ分析や、拠点間でのデータ共有のために、分散ファイルシステムにおいて、ファイル仮想化機能を提供することが行われている。

ファイル仮想化機能においては、ファイルの更新領域の管理や、スタブ化した領域の管理をするために、ファイルごとの管理情報を管理する必要がある。例えば、特許文献１には、ファイルとは別のデータ構造として管理情報を格納する技術が記載されている。また、特許文献２には、ファイル内に管理情報を格納する技術が記載されている。

米国特許第９７２０７７７号明細書 米国特許第９５８８９７７号明細書

例えば、分散ファイルシステムにおいてファイルを仮想化した場合には、ユーザＩ／Ｏを受け付けたノード（Ｉ／Ｏ受付ノード）と、ファイルの管理情報を格納しているノード（格納ノード）とが異なるノードとなる場合がある。この場合においては、Ｉ／Ｏ受付ノードが、ユーザＩ／Ｏに従うＩ／Ｏ処理を実行する際に、格納ノードから管理情報を取得し、管理情報を更新したりするためにノード間通信が多くなり、処理に長時間を有し、ユーザＩ／Ｏのレイテンシが悪化してしまう虞がある。

また、ファイルを所定の単位（チャンク）に分割して管理している分散ファイルシステムにおいて、ファイルのデータをクラウドストレージにレプリケーション（転送）する場合には、ファイルの転送を制御するノードが、ファイルを構成する各チャンクを格納しているノードからチャンクのデータを取得してクラウドストレージに転送する処理を行うこととなるが、この場合においても、ノード間通信が多くなり、処理に長時間を有してしまうという問題がある。

本発明は、上記事情に鑑みなされたものであり、その目的は、分散ファイルシステムにおいてノード間通信を低減することのできる技術を提供することにある。

上記目的を達成するため、一観点に係る分散ファイルシステムは、ファイルを単位として分散して管理する複数の分散ファイルサーバと、前記複数の分散ファイルサーバが管理する前記ファイルの本体データの少なくとも一部を格納可能なストレージノードと、を備える分散ファイルシステムであって、前記分散ファイルサーバは、管理対象のファイルの本体データを管理して自分散ファイルサーバ又は前記ストレージノードに格納するとともに、前記本体データの格納先を管理する格納先情報を自分散ファイルサーバに格納し、上位装置からファイルのＩ／Ｏ要求を受信した第１分散ファイルサーバは、前記Ｉ／Ｏ要求の対象のファイルの格納先情報を管理している第２分散ファイルサーバを特定し、前記Ｉ／Ｏ要求の対象のファイルのＩ／Ｏ処理を実行させる転送Ｉ／Ｏ要求を前記分散ファイルサーバに送信し、前記第２分散ファイルサーバは、前記転送Ｉ／Ｏ要求の対象のファイルに対応する前記格納先情報に基づいて、前記対象のファイルの本体データに対するＩ／Ｏ処理を、前記第２分散ファイルサーバ又は前記ストレージノードに格納された本体データに対して実行し、前記Ｉ／Ｏ処理の処理結果を前記第１分散ファイルサーバに返送し、前記第１分散ファイルサーバは、前記処理結果を前記上位装置に返送する。

本発明によれば、分散ファイルシステムにおいてノード間通信を低減することができる。

図１は、第１実施形態に係る分散ファイルシステムの処理概要を示す図である。 図２は、第１実施形態に係る分散ファイルシステムの全体構成図である。 図３は、第１実施形態に係る分散ＦＳサーバの構成図である。 図４は、第１実施形態に係るオブジェクトストレージの構成図である。 図５は、第１実施形態に係る本体ファイル及び管理情報ファイルの構成図である。 図６は、第１実施形態に係るファイル分散の概要を説明する図である。 図７は、第１実施形態に係るファイル作成処理のフローチャートである。 図８は、第１実施形態に係るユーザＩ／Ｏ転送処理のフローチャートである。 図９は、第１実施形態に係るファイルライト処理のフローチャートである。 図１０は、第１実施形態に係るファイルリード処理のフローチャートである。 図１１は、第２実施形態に係る分散ファイルシステムの処理概要を示す図である。 図１２は、第２実施形態に係るファイル分散の概要を説明する図である。 図１３は、第２実施形態に係るファイルレプリケーション処理（初回）のフローチャートである。 図１４は、第２実施形態に係るファイルレプリケーション処理（差分反映）のフローチャートである。

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

以下の説明では、「プログラム」を動作主体として処理を説明する場合があるが、プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶部及びインターフェース部のうちの少なくとも１つを用いながら行うため、処理の動作主体が、プロセッサ（或いは、プロセッサを有する計算機又は計算機システム）とされてもよい。プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は計算機が読み取り可能な記憶メディアであってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。また、プログラムが実行されることによって実現される処理のうちの少なくとも一部が、ハードウェア回路（例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によって実現されてもよい。

まず、第１実施形態に係る分散ファイルシステムの処理概要について説明する。

図１は、第１実施形態に係る分散ファイルシステムの処理概要を示す図である。

分散ファイルシステム１において、クライアント６００からユーザによるＩ／Ｏ要求（ユーザＩ／Ｏ要求：ここでは、リード（ＲＥＡＤ）要求）が発行されると（図１（１））、分散ファイルストレージ２００の中のいずれかの分散ＦＳ（ファイルシステム）サーバ１００（受付ノード）のファイル共有プログラム１１０がユーザＩ／Ｏ要求を受信する。ここで、リード要求は、リード対象のファイルを識別する情報（例えば、ユーザファイル名）と、ユーザファイル中のリード対象の領域（対象領域）のオフセット及びデータ長とを含む。

ＩＯ Ｈｏｏｋプログラム１１１は、ファイル共有プログラム１１０がユーザＩ／Ｏ要求を受信したことを認識し、ユーザＩ／Ｏ要求の対象のファイルを格納している分散ＦＳサーバ１００（格納ノード）を計算して特定する（図１（２））。

次いで、ＩＯ Ｈｏｏｋプログラム１１１は、特定した格納ノードに、ユーザＩ／Ｏ要求を転送する（図１（３））。

格納ノードのＩＯ Ｈｏｏｋプログラム１１１は、送信されたユーザＩ／Ｏ要求を受信すると、分散データ配置プログラム１１５及びデータ格納プログラム１１６を介してユーザＩ／Ｏ要求の対象のファイルに対応する管理情報ファイル２１００を取得する（図１（４））。

次いで、ＩＯ Ｈｏｏｋプログラム１１１は、取得した管理情報ファイル２１００を参照して、ユーザＩ／Ｏ要求に対応するファイルの対象領域に対するユーザＩ／Ｏ処理（ここでは、リード処理）を実施する（図１（５））。ここで、格納ノード内にあるデータは、格納ノードのストレージメディアから取得され、格納ノードにないデータについては、ネットワーク３０を介してオブジェクトストレージ３００から取得される。これにより、ＩＯ Ｈｏｏｋプログラム１１１は、ファイルの対象領域のデータを取得することができる。

次いで、ＩＯ Ｈｏｏｋプログラム１１１は、ユーザＩ／Ｏ要求の転送元の受付ノードにユーザＩ／Ｏ要求の応答（ここでは、リードした対象領域のデータを含む）を行う。次いで、受付ノードのＩＯ Ｈｏｏｋプログラム１１１は、応答をファイル共有プログラム１１０に渡す。次いで、ファイル共有プログラム１１０は、ユーザＩ／Ｏ要求の発行元のクライアント６００に応答を返す。

このように、本実施形態に係る分散ファイルシステムによると、ユーザＩ／Ｏ要求を受け付けた受付ノードが、ユーザＩ／Ｏ要求を格納ノードに転送し、Ｉ／Ｏ処理を実行しないので、ファイルの管理情報ファイル２１００を受信したり、ファイルの対象領域を読み出す処理をしたりするために、ノード間通信を行うことがなく、ノード間通信を低減することができ、結果として、ユーザＩ／Ｏ要求に対するレイテンシを向上することができる。

次に、分散ファイルシステム１の構成について説明する。

図２は、第１実施形態に係る分散ファイルシステムの全体構成図である。

分散ファイルシステム１は、複数の分散ＦＳサーバ１００と、１以上のオブジェクトストレージ３００と、１以上のクライアント６００と、１以上の管理端末７００とを備える。分散ＦＳサーバ１００と、オブジェクトストレージ３００と、クライアント６００と、管理端末７００とは、ネットワーク３０を介して接続されている。ネットワーク３０は、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や無線ＬＡＮや、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などである。

分散ファイルシステム１の各構成は、サイト（エッジともいう）１０−１，１０−２と、データセンタ２０（クラウドともいう）とのいずれかに配置されている。

サイト１０−１には、複数の分散ＦＳサーバ１００と、１以上のクライアント６００と、管理端末７００とが備えられている。複数の分散ＦＳサーバ１００と、１以上のクライアント６００と、管理端末７００とは、例えば、ＬＡＮを介して接続されている。複数の分散ＦＳサーバ１００は、専用のネットワーク（バックエンドネットワーク）で接続されていてもよい。複数の分散ＦＳサーバ１００によって分散ファイルストレージ２００が構成されている。分散ファイルストレージ２００は、ファイルを分散して管理する。クライアント６００は、上位装置の一例であり、例えば、プロセッサ、メモリ等を備えるＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）で構成される。クライアント６００は、種々の処理を実行し、処理に関わるファイルを分散ファイルストレージ２００から読み出したり、分散ファイルストレージ２００に格納したりする。管理端末７００は、分散ファイルストレージ２００の設定等を行う。

サイト１０−２には、複数の分散ＦＳサーバ１００と、１以上のクライアント６００とが備えられている。複数の分散ＦＳサーバ１００によって分散ファイルストレージ２００が構成されている。

データセンタ２０には、ストレージノードの一例としてのオブジェクトストレージ３００と、クライアント６００とが備えられている。オブジェクトストレージ３００は、データをオブジェト単位で格納し管理する。オブジェクトストレージ３００に代えて、データをファイル形式で格納し管理するファイルストレージとしてもよい。また、データセンタ２０に管理端末を備えるようにしてもよい。

次に、分散ＦＳサーバ１００の構成について説明する。

図３は、第１実施形態に係る分散ＦＳサーバの構成図である。

分散ＦＳサーバ１００は、分散ファイルサーバの一例であり、コントローラ１０１と、１以上のストレージメディア１２３とを含む。

ストレージメディア１２３は、記憶デバイスの一例であり、例えば、ＨＤＤ（ハードディスクドライブ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などのデータを記憶可能なデバイスであり、ＣＰＵ１０５で実行されるプログラムや、ＣＰＵ１０５に利用されるデータや、クライアント６００で使用されるファイルやファイルの管理情報等を記憶する。

コントローラ１０１は、メモリ１０３と、Ｉ／Ｆ１０４と、プロセッサの一例としてのＣＰＵ１０５と、ＬＡＮインターフェース（Ｉ／Ｆ）１０６と、ＷＡＮ インターフェース（Ｉ／Ｆ）１０７とを含む。

メモリ１０３は、ＣＰＵ１０５に実行される各種プログラムや情報を記憶する。メモリ１０３は、ファイル共有プログラム１１０と、ＩＯ Ｈｏｏｋプログラム１１１と、Ｄａｔａ Ｍｏｖｅｒプログラム１１２と、ファイルシステムプログラム１１３と、オペレーティングシステム１１４と、分散データ配置プログラム１１５と、データ格納プログラム１１６とを格納する。

ファイル共有プログラム１１０は、ＣＰＵ１０５に実行されることにより、ネットワーク上の複数の装置（例えば、分散ＦＳストレージ１００）のストレージメディアを共有する処理を行う。

ＩＯ Ｈｏｏｋプログラム１１１は、ＣＰＵ１０５に実行されることにより、ファイル共有プログラム１１０がユーザＩ／Ｏ要求を受け取ったことを検知して、ユーザＩ／Ｏ要求に従って、ユーザＩ／Ｏ要求に対応するファイルを管理している分散ＦＳサーバ１００を格納ノードと特定し、ユーザＩ／Ｏ要求を格納ノードに転送する処理を行う。また、ＩＯ Ｈｏｏｋプログラム１１１は、ファイル共有プログラム１１０が受け取ったユーザＩ／Ｏ要求に関するログを記録する。

Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ＣＰＵ１０５に実行されることにより、新規作成または更新されたファイルを非同期的にデータセンタ２０のオブジェクトストレージ３００に反映する。また、Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、ＣＰＵ１０５に実行されることにより、エッジ側の記憶容量がひっ迫した際にアクセス頻度の低いファイルをスタブ化する。ファイルシステムプログラム１１３は、ＣＰＵ１０５に実行されることにより、データをファイルとして管理する処理を行う。

オペレーティングシステム１１４は、ＣＰＵ１０５に実行されることにより、分散ＦＳサーバ１００の全体を管理、制御する処理を行う。分散データ配置プログラム１１５は、ＣＰＵ１０５に実行されることにより、ファイルのデータを分散して配置し管理する処理を行う。データ格納プログラム１１６は、ＣＰＵ１０５に実行されることにより、データをストレージメディア１２３に格納して管理する処理を行う。

Ｉ／Ｆ１０４は、ストレージメディア１２３や、ストレージアレイ１０２との通信を仲介する。ＣＰＵ１０５は、メモリ１０３に格納されたプログラムを実行することにより各種処理を実行する。ＬＡＮ Ｉ／Ｆ１０６は、ＬＡＮを介して他の装置との通信を仲介する。ＷＡＮ Ｉ／Ｆ１０７は、ＷＡＮを介して他の装置との通信を仲介する。

分散ＦＳサーバ１００に、ストレージアレイ１０２を接続してもよい。ストレージアレイ１０２は、インターフェース（Ｉ／Ｆ）１２０と、メモリ１２１と、ＣＰＵ１２２と、１以上のストレージメディア１２３とを備える。Ｉ／Ｆ１２０は、コントローラ１０１との間の通知を仲介する。メモリ１２１は、ＣＰＵ１２２がストレージメディア１２３に対する入出力処理（Ｉ／Ｏ処理）を実行するためのプログラムや、情報を格納する。ＣＰＵ１２２は、メモリ１２１に格納されたプログラムを実行することにより、ストレージメディア１２３に対するＩ／Ｏ処理を実行する。このストレージアレイ１０２によると、コントローラ１０１は、ストレージアレイ１０２のストレージメディア１２３に対するＩ／Ｏ処理を実行することができるようになる。

なお、分散ＦＳサーバ１００は、ベアメタルサーバ（物理サーバ）で構成されてもよく、ＶＭ（仮想計算機）で構成されてもよく、いわゆるコンテナで構成されてもよい。

次に、オブジェクトストレージ３００の構成について説明する。

図４は、第１実施形態に係るオブジェクトストレージの構成図である。

オブジェクトストレージ３００は、データをオブジェクトとして格納して管理するストレージであり、コントローラ３０１と、１以上のストレージメディア３２３とを含む。なお、オブジェクトストレージ３００は、データを分散配置してもよい。

ストレージメディア３２３は、記憶デバイスの一例であり、例えば、ＨＤＤ（ハードディスクドライブ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などのデータを記憶可能なデバイスであり、ＣＰＵ３０５で実行されるプログラムや、ＣＰＵ３０５に利用されるデータや、オブジェクトやオブジェクトの管理情報等を記憶する。

コントローラ３０１は、メモリ３０３と、Ｉ／Ｆ３０４と、プロセッサの一例としてのＣＰＵ３０５と、ＷＡＮ インターフェース（Ｉ／Ｆ）３０６と、を含む。

メモリ３０３は、ＣＰＵ３０５に実行される各種プログラムや情報を記憶する。メモリ３０３は、オブジェクト操作プログラム３１０と、ネームスペース管理プログラム３１１と、差分反映プログラム３１２と、オペレーティングシステム３１４と、を格納する。

オブジェクト操作プログラム３１０は、ＣＰＵ３０５に実行されることにより、ストレージメディア３２３に格納されているオブジェクトの操作処理を行う。ネームスペース管理プログラム３１１は、ＣＰＵ３０５に実行されることにより、ネームスペースを管理する処理を行う。差分反映プログラム３１２は、ＣＰＵ３０５に実行されることにより、オブジェクトに対して差分を反映させる処理を行う。オペレーティングシステム３１４は、ＣＰＵ３０５に実行されることにより、オブジェクトストレージ３００の全体を管理、制御する処理を行う。

Ｉ／Ｆ３０４は、ストレージメディア３２３や、ストレージアレイ３０２との通信を仲介する。ＣＰＵ３０５は、メモリ３０３に格納されたプログラムを実行することにより各種処理を実行する。ＷＡＮ Ｉ／Ｆ３０６は、ＷＡＮを介して他の装置との通信を仲介する。

オブジェクトストレージ３００に、ストレージアレイ３０２を接続してもよい。ストレージアレイ３０２は、インターフェース（Ｉ／Ｆ）３２０と、メモリ３２１と、ＣＰＵ３２２と、１以上のストレージメディア３２３とを備える。Ｉ／Ｆ３２０は、コントローラ３０１との間の通知を仲介する。メモリ３２１は、ＣＰＵ３２２がストレージメディア３２３に対する入出力処理（Ｉ／Ｏ処理）を実行するためのプログラムや、情報を格納する。ＣＰＵ３２２は、メモリ３２１に格納されたプログラムを実行することにより、ストレージメディア３２３に対するＩ／Ｏ処理を実行する。このストレージアレイ３０２によると、コントローラ３０１は、ストレージアレイ３０２のストレージメディア３２３に対するＩ／Ｏ処理を実行することができるようになる。

次に、分散ファイルストレージ２００において、ユーザデータ（本体データ）を格納するファイル（本体ファイル）と、本体ファイルを管理する管理情報を格納するファイル（管理情報ファイル：格納先情報ファイル）との構成について説明する。

図５は、第１実施形態に係る本体ファイル及び管理情報ファイルの構成図である。

本実施形態では、管理情報ファイル２１００と、本体ファイル２２００とは、同一の分散ＦＳサーバ１００におけるストレージメディア１２３に格納される。

管理情報ファイル２１００は、格納先情報の一例であり、本体ファイル管理情報２１１０と、部分管理情報２１２０とを含む。

本体ファイル管理情報２１１０は、本体ファイル２２００を管理する情報であり、ＵＵＩＤ２１１１と、ファイル状態２１１２と、本体ハンドラ２１１３と、レプリケーション有無２１１４とのフィールドを含む。

ＵＵＩＤ２１１１には、本体ファイル２２００をオブジェクトストレージ３００上で一意に識別するための識別子（ＵＵＩＤ：Ｕｎｉｖｅｒｓａｌｌｙ Ｕｎｉｑｕｅ Ｉｄｅｎｔｉｆｉｅｒ）が格納される。ファイル状態２１１２には、本体ファイル２２００のファイル状態が格納される。ファイル状態としては、本体ファイル２２００がオブジェクトストレージ３００に反映されていないデータを含む状態であるＤｉｒｔｙと、本体ファイルの全体がスタブ（Ｓｔｕｂ）化されている状態であるＳｔｕｂと、本体ファイル２２００のデータの全体がオブジェクトストレージ３００に反映され、且つ分散ＦＳサーバ１００に格納されている状態であるＣａｃｈｅｄとがある。本体ハンドラ２１１３には、本体ファイル２２００の位置が格納される。レプリケーション有無２１１４には、本体ファイル２２００のデータをオブジェクトストレージ３００にレプリケーションしたことが有るか否かが格納される。

部分管理情報２１２０は、本体ファイル２２００の１以上の部分ごとの状態を管理するエントリを含む。部分管理情報２１２０のエントリは、オフセット２１２１と、長さ２１２２と、部分状態２１２３とのフィールドを含む。

オフセット２１２１には、エントリに対応する部分のオフセット（ファイルの先頭からの位置）が格納される。長さ２１２２には、エントリに対応する部分の長さ（データ長）が格納される。部分状態２１２３には、エントリに対応する部分の状態が格納される。部分の状態としては、部分のデータがオブジェクトストレージ３００に反映されていない状態であるＤｉｒｔｙと、部分のデータがスタブ（Ｓｔｕｂ）化されている状態であるＳｔｕｂと、部分のデータがオブジェクトストレージ３００に反映され、且つ分散ＦＳサーバ１００に格納されている状態であるＣａｃｈｅｄとがある。

本体ファイル２２００は、ユーザデータを構成する１以上の部分を含むファイルであり、各部分は、Ｄｉｒｔｙ２２０１、Ｓｔｕｂ２２０３、Ｃａｃｈｅｄ２２０２のいずれかの状態となる。Ｄｉｒｔｙ２２０１は、その部分のデータがオブジェクトストレージ３００に反映されていない状態である。Ｓｔｕｂ２２０３は、その部分のデータがスタブ（Ｓｔｕｂ）化されている状態である。Ｃａｃｈｅｄ２２０２は、その部分のデータがオブジェクトストレージ３００に反映され、且つ分散ＦＳサーバ１００に格納されている状態である。

次に、分散ファイルストレージ２００におけるファイル分散の概要を説明する。

図６は、第１実施形態に係るファイル分散の概要を説明する図である。

本実施形態に係る分散ファイルストレージ２００においては、ファイルを単位として、ファイルが複数の分散ＦＳサーバ１００に分散して配置される。例えば、ファイル３００１（ＦｉｌｅＡ）は、分散データ配置プログラム１１５によって、管理される分散ＦＳサーバ１００Ａが決定され、データ格納プログラム１１６によって、その分散ＦＳサーバ１００Ａにファイル３０１１として管理される。同様にして、ファイル３００２（ＦｉｌｅＢ）は、分散ＦＳサーバ１００Ｂにファイル３０１２として管理され、ファイル３００３（ＦｉｌｅＣ）は、分散ＦＳサーバ１００Ｃにファイル３０１３として管理される。

次に、分散ファイルシステム１におけるファイル作成処理について説明する。

図７は、第１実施形態に係るファイル作成処理のフローチャートである。

ファイル作成処理は、いずれかの分散ＦＳサーバ１００がクライアント６００からファイルの作成要求（ファイル作成要求）を受け付けた場合に実行される。

ファイル作成要求を受け付けた分散ＦＳサーバ１００（受付ノード）は、ユーザＩ／Ｏ転送処理（図８参照）を実行する（ステップＳ１０１）。これにより、ファイル作成要求は、ファイル作成要求に対応するファイルを管理（格納）する担当の分散ＦＳサーバ１００（格納ノード）に送信されることとなる。

格納ノードは、ファイル作成要求を受け取ると、ファイル作成処理を実施する（ステップＳ１０２）。具体的には、格納ノードは、ファイル作成要求に指定されたファイルを作成する分散ＦＳサーバ１００をファイル名に基づいて決定する。本実施形態では、ファイル名に対するハッシュ値を算出し、このハッシュ値に基づいて分散ＦＳサーバ１００を決定する。ここで、ファイル作成要求を転送する分散ＦＳサーバ１００を決定する際にも同じ処理で決定されているので、この処理を実行している分散ＦＳサーバ１００自身に決定されることとなる。次いで、分散ＦＳサーバ１００は、ユーザデータを格納する本体ファイルを自身のストレージメディア１２３に作成する。

次いで、格納ノードは、本体ファイルに対応する管理情報を格納するファイル（管理情報ファイル）を作成する（ステップＳ１０３）。具体的には、格納ノードは、管理情報ファイル２１００を作成する分散ＦＳサーバ１００を管理情報ファイル名に基づいて決定する。本実施形態では、管理情報ファイル２１００は、本体ファイル２２００のファイル名を含む管理情報ファイル名に設定されており、管理情報ファイル２２００に対しては、管理情報ファイル名の本体ファイル２２００のファイル名を用いてハッシュ値を算出し、このハッシュ値に基づいて分散ＦＳサーバ１００を決定する。例えば、管理情報ファイル名を、「．“本体ファイルのファイル名”．ｍｎｒ」とし、この管理情報ファイル名から、本体ファイルのファイル名を取り出すようにしてもよい。この結果、本体ファイル２２００を格納する分散ＦＳサーバ１００と同一の分散ＦＳサーバ１００が、管理情報ファイル２１００を作成する分散ＦＳサーバ１００に決定される。すなわち、この処理を実行している分散ＦＳサーバ１００自身に決定されることとなる。次いで、分散ＦＳサーバ１００は、管理情報ファイル２１００を自身のストレージメディア１２３に作成する。

次いで、格納ノードは、受付ノードに対してファイル作成処理の完了を応答する（ステップＳ１０４）。この後、受付ノードは、ファイル作成要求の応答を要求元のクライアント６００に送信することとなる。

次に、受付ノードによるユーザＩ／Ｏ転送処理（図７のステップＳ１０１、図９のステップＳ４０１、図１０のステップＳ５０１）について説明する。

図８は、第１実施形態に係るユーザＩ／Ｏ転送処理のフローチャートである。

受付ノードは、ユーザＩ／Ｏ要求（図７のステップＳ１０１では、ファイル作成要求）中の対象ファイルのアクセス先（格納先）の分散ＦＳサーバ１００（格納ノード）を計算して特定する（ステップＳ２０１）。本実施形態では、対象ファイルのファイル名のハッシュ値に基づいて、格納ノードを特定する。

次いで、受付ノードは、ユーザＩ／Ｏ要求を格納ノードに転送し（ステップＳ２０２）、処理を終了する。ここで、本実施形態では、ユーザＩ／Ｏ要求は、格納ノードに、受信したユーザＩ／Ｏ要求に含まれるＩ／Ｏ処理を実行させる要求である。

次に、分散ファイルシステム１におけるファイルライト処理について説明する。

図９は、第１実施形態に係るファイルライト処理のフローチャートである。

ファイルライト処理は、いずれかの分散ＦＳサーバ１００がクライアント６００からファイルのライト要求を受け付けた場合に実行される。

ライト要求を受け付けた分散ＦＳサーバ１００（受付ノード：第１ストレージノードの一例）は、ユーザＩ／Ｏ転送処理（図８参照）を実行する（ステップＳ４０１）。これにより、ライト要求は、ライト要求に対応するファイルを格納する分散ＦＳサーバ１００（格納ノード：第２ストレージノードの一例）に送信されることとなる。

格納ノードは、ライト要求を受け取ると、ライト処理を実施する（ステップＳ４０２）。具体的には、格納ノードは、ライト要求に指定されたファイルを格納する分散ＦＳサーバ１００をファイル名に基づいて決定する。本実施形態では、ファイル名に対するハッシュ値を算出し、このハッシュ値に基づいて分散ＦＳサーバ１００を決定する。ここで、ライト要求を転送する分散ＦＳサーバ１００を決定する際にも同じ処理で決定されているので、この処理を実行している分散ＦＳサーバ１００自身に決定されることとなる。次いで、分散ＦＳサーバ１００は、ライト要求の対象のユーザデータを本体ファイルに格納する。

次いで、格納ノードは、本体ファイルに対応する管理情報を格納するファイル（管理情報ファイル２１００）を読込む（ステップＳ４０３）。ここで、格納ノードは、管理情報ファイル２１００を格納している分散ＦＳサーバ１００を本体ファイルのファイル名に対応する管理情報ファイル名に基づいて特定する。本実施形態では、管理情報ファイルは、本体ファイル２１００のファイル名を含む管理情報ファイル名に設定されており、管理情報ファイル２１００に対しては、管理情報ファイル名の本体ファイルのファイル名を用いてハッシュ値を算出し、このハッシュ値に基づいて分散ＦＳサーバ１００を特定する。この結果、本体ファイルを格納する分散ＦＳサーバ１００と同一の分散ＦＳサーバ１００が、管理情報ファイル２１００を格納している分散ＦＳサーバ１００として特定される。すなわち、この処理を実行している分散ＦＳサーバ１００自身が管理情報ファイル２１００を格納している分散ＦＳサーバ１００として特定されることとなる。次いで、格納ノードは、特定した分散ＦＳサーバ１００すなわち、自身のストレージメディア１２３から管理情報ファイル２１００を読込む。

次いで、格納ノードは、管理情報ファイル２１００の更新が必要であるか否かを判定する（ステップＳ４０４）。具体的には、格納ノードは、ライト対象のファイルの部分（領域）の状態がＤｉｒｔｙであるか否かを判定し、ライト対象のファイルの部分の状態がＤｉｒｔｙである場合には、更新が必要ないと判定し、Ｄｉｒｔｙ以外である場合には、更新が必要であると判定する。

この結果、管理情報ファイル２１００の更新が必要ないと判定した場合（ステップＳ４０４：Ｎｏ）には、格納ノードは処理をステップＳ４０６に進める。一方、管理情報ファイル２１００の更新が必要であると判定した場合（ステップＳ４０４：Ｙｅｓ）には、格納ノードは、ライト対象のファイルの部分のオフセットに対応する部分管理情報２１２０のエントリにおける部分状態２１２３をＤｉｒｔｙに更新するとともに、本体ファイル管理情報２１１０のファイル状態２１１２をＤｉｒｔｙに設定し（ステップＳ４０５）、処理をステップＳ４０６に進める。

ステップＳ４０６では、格納ノードは、ファイルのライトが完了した旨の応答（完了応答）を受付ノードに送信する。次いで、格納ノードは、処理を終了する。なお、受付ノードは、完了応答を受信すると、ライト要求を行ったクライアント６００に対して、ライト要求に対する応答を返送する。

上記したファイルライト処理によると、管理情報ファイル２１００読込み時や、更新時において、他の分散ＦＳサーバ１００との間の通信（ノード間通信）が発生しないで済み、ライト要求に関わる処理効率が向上する。これにより、クライアント６００のライト要求に対するレイテンシが向上する。

次に、分散ファイルシステム１におけるファイルリード処理について説明する。

図１０は、第１実施形態に係るファイルリード処理のフローチャートである。

ファイルリード処理は、いずれかの分散ＦＳサーバ１００がクライアント６００からファイルのリード要求（Ｉ／Ｏ要求）を受け付けた場合に実行される。

リード要求を受け付けた分散ＦＳサーバ１００（受付ノード）は、ユーザＩ／Ｏ転送処理（図８参照）を実行する（ステップＳ５０１）。これにより、リード要求は、リード要求に対応するファイルを格納する分散ＦＳサーバ１００（格納ノード）に送信されることとなる。

格納ノードは、リード要求を受け取ると、リード要求の対象の本体ファイルに対応する管理情報ファイル２１００を読込む（ステップＳ５０２）。具体的には、まず、格納ノードは、管理情報ファイル２１００を格納している分散ＦＳサーバ１００を本体ファイルのファイル名に対応する管理情報ファイル名に基づいて特定する。本実施形態では、管理情報ファイル２１００は、本体ファイル２１００のファイル名を含む管理情報ファイル名に設定されており、管理情報ファイル２１００に対しては、管理情報ファイル名の本体ファイルのファイル名を用いてハッシュ値を算出し、このハッシュ値に基づいて分散ＦＳサーバ１００を特定する。ここで、リード要求を転送する分散ＦＳサーバ１００を決定する際にも同じ処理で決定されているので、この処理を実行している分散ＦＳサーバ１００自身に決定されることとなる。次いで、格納ノードは、リード要求の対象のファイルの管理情報ファイル２１００を自身のストレージメディア１２３から読込む。

次いで、格納ノードは、管理情報ファイル２１００に基づいて、リード要求の対象の箇所が、スタブ（Ｓｔｕｂ）状態の部分を含むか否かを判定する（ステップＳ５０３）。

この結果、リード要求の対象の箇所がスタブ（Ｓｔｕｂ）状態の部分を含まないと判定した場合（ステップＳ５０３：Ｎｏ）には、すべてのデータが自ノードのストレージメディア１２３に格納されていることを示すので、格納ノードは、処理をステップＳ５０７に進める。

一方、リード要求の対象の箇所がスタブ（Ｓｔｕｂ）状態の部分を含むと判定した場合（ステップＳ５０３：Ｙｅｓ）には、スタブ状態の部分のデータをオブジェクトストレージ３００から取得する必要があるので、格納ノードは、スタブ状態の部分のデータをオブジェクトストレージ３００に要求する（ステップＳ５０４）。

スタブ状態の部分のデータの要求を受け取ったオブジェクトストレージ３００は、ストレージメディア３２３から要求されたデータを読み出し、読み出したデータを格納ノードに転送する（ステップＳ５０５）。

格納ノードは、オブジェクトストレージ３００からスタブ状態の部分のデータを受信すると、管理情報ファイル２１００内の受信した部分に対応するエントリの部分状態２１２３の値をＣａｃｈｅｄに更新し（ステップＳ５０６）、処理をステップＳ５０７に進める。

ステップＳ５０７では、格納ノードは、リード要求の対象の本体ファイル２２００から対応するデータをリードするリード処理を実行し、処理をステップＳ５０８に進める。

ステップＳ５０８では、格納ノードは、ファイルのリードが完了した旨の応答（完了応答）を受付ノードに送信する。次いで、格納ノードは、処理を終了する。なお、受付ノードは、完了応答を受信すると、リード要求を行ったクライアント６００に対して、リード要求に対する応答を返送する。

上記したファイルリード処理によると、格納ノードにおいて、管理情報ファイル２１００の読込み時や、更新時において、他の分散ＦＳサーバ１００との間の通信（ノード間通信）が発生しないで済み、また、本体ファイル２２００のデータを読込む際に、他の分散ＦＳサーバ１００との間の通信が発生しないで済む。これにより、リード処理の効率が向上し、クライアント６００のリード要求に対するレイテンシが向上する。

次に、第２実施形態に係る分散ファイルシステムについて説明する。ここで、第２実施形態に係る分散ファイルシステムは、第１実施形態に係る分散ファイルシステムと共通する部分が多いので、便宜的に第１実施形態に係る分散ファイルシステムにおける各構成と同一の符号を用い、異なる点を中心に説明する。

第２実施形態に係る分散ファイルシステムは、ユーザデータを管理する本体ファイルを所定の単位（チャンク単位）に分散させて管理する。

まず、第２実施形態に係る分散ファイルシステムの処理概要について説明する。

図１１は、第２実施形態に係る分散ファイルシステムの処理概要を示す図である。

分散ファイルシステム１Ａにおいて、分散ファイルストレージ２００の或る本体ファイル（この例では、ＦｉｌｅＡ）をオブジェクトストレージ３００に初めて移動（レプリケーション）する際には、或る分散ＦＳサーバ１００のＤａｔａ Ｍｏｖｅｒプログラム１１２は、レプリケーション対象のファイルを格納している１以上の分散ＦＳサーバ１００（格納ノード）を計算して特定する（図１１（１））。

次いで、Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、レプリケーション対象のファイル（対象ファイル）のそれぞれのチャンクを格納している１以上の分散ＦＳサーバ１００のそれぞれに、対象ファイルのチャンクをオブジェクトストレージ３００に転送する要求（転送要求）を送信する（図１１（２））。

転送要求を受け取ったそれぞれの分散ＦＳサーバ１００では、Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、転送要求の対象のファイルのチャンクのデータを自身の属する分散ＦＳサーバ１００のストレージメディア１２３から読込み（図１１（３））、読込んだデータをデータセンタ２０のオブジェクトストレージ３００に転送する（図１１（４））。なお、読込んだデータを転送した場合には、Ｄａｔａ Ｍｏｖｅｒプログラム１１２は、転送要求の要求元の分散ＦＳサーバ１００に対して転送を行った旨の応答を返す。

転送要求の要求元の分散ＦＳサーバ１００は、要求を行ったすべての分散ＦＳサーバ１００からの転送を行ったとの応答を受け取った場合に、データセンタ２０のオブジェクトストレージ３００に対して、本体ファイルに対応する全てのチャンクのデータをマージ（結合）させる指示（マージ指示）を送信する（図１１（５））。

マージ指示を受け取ったオブジェクトストレージ３００は、マージ指示の対象の本体ファイルの全てのチャンクのデータをマージする（図１１（６））。

次に、分散ファイルストレージ２００におけるファイル分散の概要を説明する。

図１２は、第２実施形態に係るファイル分散の概要を説明する図である。

本実施形態に係る分散ファイルストレージ２００においては、ファイルは、チャンクを単位として複数の分散ＦＳサーバ１００に分散して配置される。例えば、ファイル４００１（ＦｉｌｅＡ）については、分散データ配置プログラム１１５によって、チャンク４０１１（チャンクＡ０）を管理する分散ＦＳサーバ１００Ａと、チャンク４０１２（チャンクＡ１）を管理する分散ＦＳサーバ１００Ｃが決定され、それぞれの分散ＦＳサーバ１００Ａ，Ｃのデータ格納プログラム１１６によって、チャンクＡ０，Ａ１は、それぞれの分散ＦＳサーバ１００Ａ、Ｃに格納される。同様にして、ファイル４００２（ＦｉｌｅＢ）については、チャンク４０２１（チャンクＢ０），４０２２（チャンクＢ１）は、それぞれ分散ＦＳサーバ１００Ｃ，Ｂに格納され、ファイル４００３（ＦｉｌｅＣ）については、チャンク４０３１（チャンクＣ０），４０３２（チャンクＣ１）は、それぞれ分散ＦＳサーバ１００Ａ，Ｂに格納される。

本実施形態においては、分散データ配置プログラム１１５は、管理情報ファイル２１００における本体ファイル管理情報２１１０については、各チャンクを格納する全ての分散ＦＳサーバ１００に格納させてもよく、或いは、分散ファイルストレージ２００内の予め決められた所定の領域、例えば、ファイルシステムのメタデータを格納するプールの領域に格納させてもよい。一方、管理情報ファイル２１００の部分管理情報２１２０については、各チャンクに対応するエントリの情報を、各チャンクを格納する分散ＦＳサーバ１００に格納するようにしてもよい。なお、各チャンクに対応するエントリの情報を、チャンクの拡張属性として格納するようにしてもよい。

次に、ファイルレプリケーション処理（初回）について説明する。

図１３は、第２実施形態に係るファイルレプリケーション処理（初回）のフローチャートである。

ファイルレプリケーション処理（初回）は、所定の分散ＦＳサーバ１００のＩＯ Ｈｏｏｋプログラム１１１が、所定の時点において、ファイル共有プログラム１１０によって受信されたユーザＩ／Ｏ要求のログを参照して、書込みがあったファイルを特定し、このファイルに対応する管理情報ファイル２１００の本体ファイル管理情報２１１０のレプリケーション有無２１１４の値が「無」であること、すなわち、対応する本体ファイルがオブジェクトストレージ３００にまだリプリケーションされていないことを検出した場合に実行される処理である。

ファイル共有プログラム１１０によって受信されたユーザＩ／Ｏ要求のログを参照して、書込みがあったファイルを特定し、このファイルに対応する管理情報ファイル２１００の本体ファイル管理情報２１１０のレプリケーション有無２１１４の値が「無」であることが検出した分散ＦＳサーバ１００（検出ノード：第１ストレージノードの一例）は、特定したファイル（この処理の説明において、対象ファイルという）の各チャンクのデータを格納している分散ＦＳサーバ１００（格納ノード：第２ストレージノードの一例）のリスト（格納ノードリスト）を取得する（ステップＳ７０１）。ここで、格納ノードリストは、例えば、各ファイルを構成する各チャンクと、各チャンクを格納している分散ＦＳサーバ１００（ノード）の識別情報とを対応付けたファイル配置情報から取得することができる。なお、ファイル配置情報は、各分散ＦＳサーバ１００に格納されていてもよく、予め決められた記憶領域に格納されていてもよい。また、ファイル配置情報は、ファイル名とサイズとから計算によって求められてもよい。

次いで、検出ノードは、格納ノードリストの各格納ノードに対して、各格納ノードが格納している対象ファイルのチャンクのデータをオブジェクトストレージ３００に転送する依頼（転送依頼）を送信する（ステップＳ７０２）。

転送依頼を受け取った各格納ノードは、転送依頼で指定されている対象ファイルのチャンクのデータを、自身のストレージメディア１２３から取得する（ステップＳ７０３）。次いで、格納ノードは、取得した対象ファイルのチャンクのデータをオブジェクトストレージ３００に送信する（ステップＳ７０６）。

オブジェクトストレージ３００は、格納ノードから送信された対象ファイルのチャンクのデータを、オブジェクトとして、ストレージメディア３２３に格納し（ステップＳ７０７）、格納が完了した旨の通知（完了通知）を格納ノードに送信する（ステップＳ７０８）。ここで、完了通知には、例えば、チャンクのデータに対応するオブジェクトの識別情報（ＵＵＩＤ）が含まれている。

格納ノードは、オブジェクトストレージ３００から完了通知を受け取ると、転送依頼の依頼元の検出ノードに転送結果を返送する（ステップＳ７０９）。転送結果には、例えば、対象のチャンクの識別情報と、そのチャンクが格納されたオブジェクトの識別情報とが含まれている。

検出ノードでは、対象ファイルのすべてのチャンクの転送依頼の転送結果を受け取ると、転送結果に含まれている各チャンクに対応するオブジェクトを結合させる結合要求をオブジェクトストレージ３００に送信する（ステップＳ７１０）。この結合要求には、例えば、結合させるオブジェクトの識別情報が含まれている。

オブジェクトストレージ３００は、結合要求に対応するオブジェクトを結合したオブジェクト、すなわち、本体ファイルのデータに対応するオブジェクトを生成して、ストレージメディア３２３に格納する（ステップＳ７１１）。次いで、オブジェクトストレージ３００は、結合が完了したことを示す結合完了を検出ノードに返す（ステップＳ７１２）。この結合完了には、結合して得られたオブジェクトの識別情報が含まれている。

検出ノードでは、結合完了を受領して、結合完了に含まれているオブジェクトの識別情報を本体ファイルと対応付け（ステップＳ７１３）、処理を終了する。

上記したファイルレプリケーション処理（初回）によると、検出ノードと、格納ノードとの間でチャンクのデータの通信が発生しないで済み、処理効率が向上する。

次に、ファイルレプリケーション処理（差分反映）について説明する。

図１４は、第２実施形態に係るファイルレプリケーション処理（差分反映）のフローチャートである。

ファイルレプリケーション処理（差分反映）は、所定の分散ＦＳサーバ１００のＩＯ Ｈｏｏｋプログラム１１１が、所定の時点において、ファイル共有プログラム１１０によって受信されたユーザＩ／Ｏ要求のログを参照して、書込みがあったファイルを特定し、このファイルに対応する管理情報ファイル２１００の本体ファイル管理情報２１１０のレプリケーション有無２１１４の値が「有」であること、すなわち、対応する本体ファイルがオブジェクトストレージ３００にリプリケーションされたことがあることを検出した場合に実行される処理である。

ファイル共有プログラム１１０によって受信されたユーザＩ／Ｏ要求のログを参照して、書込みがあったファイルを特定し、このファイルに対応する管理情報ファイル２１００の本体ファイル管理情報２１１０のレプリケーション有無２１１４の値が「有」であることを検出した分散ＦＳサーバ１００（検出ノード）は、特定したファイル（この処理の説明において、対象ファイルという）の各チャンクのデータを格納している分散ＦＳサーバ１００（格納ノード）のリスト（格納ノードリスト）を取得する（ステップＳ８０１）。ここで、格納ノードリストは、例えば、各ファイルを構成する各チャンクと、各チャンクを格納している分散ＦＳサーバ（ノード）の識別情報とを対応付けたファイル配置情報から取得することができる。

次いで、検出ノードは、格納ノードリストの各格納ノードに対して、各格納ノードが格納している対象ファイルについて更新されたチャンクのデータをオブジェクトストレージ３００に転送する依頼（転送依頼）を送信する（ステップＳ８０２）。

各格納ノードは、転送依頼を受け取ると、転送依頼の対象ファイルに対応する、自身が格納しているチャンクの部分管理情報２２００を読込む（ステップＳ８０３）。ここで、格納ノードは、自身が格納しているチャンクの部分管理情報２２００を自身のストレージメディア１２３に格納しているので、そのストレージメディア１２３からチャンクの部分管理情報２２００を読込む。

格納ノードは、取得した部分管理情報２２００を参照し、転送依頼のあったファイルのチャンクに対応するエントリの中から、部分状態２１２３がＤｉｒｔｙであるエントリを転送部分リストとして取得する（ステップＳ８０４）。

次いで、格納ノードは、転送部分リストの各エントリに対応するチャンクのデータをストレージメディア１２３から取得し（ステップＳ８０５）、取得したチャンクのデータをオブジェクトストレージ３００へ転送する（ステップＳ８０６）。

オブジェクトストレージ３００は、格納ノードから送信された対象ファイルのチャンクのデータを、オブジェクトとして、ストレージメディア３２３に格納し（ステップＳ８０７）、格納が完了した旨の通知（完了通知）を格納ノードに送信する（ステップＳ８０８）。ここで、完了通知には、例えば、チャンクのデータに対応するオブジェクトの識別情報（ＵＵＩＤ）が含まれている。

格納ノードは、オブジェクトストレージ３００から完了通知を受け取ると、転送依頼の依頼元の検出ノードに、転送結果を返送する（ステップＳ８０９）。転送結果には、例えば、対象のチャンクのオフセットと、そのチャンクが格納されたオブジェクトの識別情報とが含まれている。

検出ノードでは、転送依頼を出した格納ノードからの転送結果を受け取ると、転送結果に含まれているチャンクに対応するオブジェクトを本体ファイルのオブジェクトに反映させる差分反映要求をオブジェクトストレージ３００に送信する（ステップＳ８１０）。ここで、差分反映要求には、例えば、チャンクの本体ファイルでのオフセットと、チャンクのオブジェクトの識別情報が含まれている。

オブジェクトストレージ３００は、差分反映要求を受け取ると、差分反映要求に含まれているチャンクのオブジェクトのデータを、差分反映要求のオフセットに従って本体ファイルのオブジェクトに反映する（ステップＳ８１１）。次いで、オブジェクトストレージ３００は、差分反映が完了したことを示す反映完了を検出ノードに返す（ステップＳ８１２）。

検出ノードでは、反映完了を受領し（ステップＳ８１３）、処理を終了する。

上記したファイルレプリケーション処理（差分反映）によると、検出ノードと、格納ノードとの間でチャンクのデータの通信が発生しないで済み、処理効率が向上する。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。

例えば、上記実施形態では、ユーザデータと、ユーザデータを管理する管理情報とをそれぞれ別ファイルとした例を示していたが、本発明はこれに限られず、例えば、ユーザデータを格納するファイルの一部の領域（例えば拡張領域）に、管理情報を含ませるようにしてもよい。

また、上記実施形態において、ＣＰＵが行っていた処理の一部又は全部を、ハードウェア回路で行うようにしてもよい。また、上記実施形態におけるプログラムは、プログラムソースからインストールされてよい。プログラムソースは、プログラム配布サーバ又は記憶メディア（例えば可搬型の記憶メディア）であってもよい。

１，１Ａ…分散ファイルシステム、３０…ネットワーク、１００…分散ＦＳサーバ、１０１…コントローラ、１０３…メモリ、１０５…ＣＰＵ、１２３…ストレージメディア、２００…分散ファイルストレージ、３００…オブジェクトストレージ、６００…クライアント

Claims (10)

1. ファイルを単位として分散して管理する複数の分散ファイルサーバと、前記複数の分散ファイルサーバが管理するファイルの本体データの少なくとも一部を格納可能なストレージノードと、を備える分散ファイルシステムであって、
   前記分散ファイルサーバは、
   管理対象のファイルの本体データを管理して自分散ファイルサーバ又は前記ストレージノードに格納するとともに、前記本体データの格納先を管理する格納先情報を自分散ファイルサーバに格納し、
   上位装置からファイルのＩ／Ｏ要求を受信した第１分散ファイルサーバは、
   前記Ｉ／Ｏ要求の対象のファイルの格納先情報を管理している第２分散ファイルサーバを特定し、前記Ｉ／Ｏ要求の対象のファイルのＩ／Ｏ処理を実行させる転送Ｉ／Ｏ要求を前記第２分散ファイルサーバに送信し、
   前記第２分散ファイルサーバは、
   前記転送Ｉ／Ｏ要求の対象のファイルに対応する前記格納先情報に基づいて、前記対象のファイルの本体データに対するＩ／Ｏ処理を、前記第２分散ファイルサーバ又は前記ストレージノードに格納された本体データに対して実行し、
   前記Ｉ／Ｏ処理の処理結果を前記第１分散ファイルサーバに返送し、
   前記第１分散ファイルサーバは、前記処理結果を前記上位装置に返送する
   分散ファイルシステム。
2. 前記格納先情報は、前記本体データのファイル内に格納されている
   請求項１記載の分散ファイルシステム。
3. 前記格納先情報は、前記本体データのファイルとは異なる格納先情報ファイルに格納されている
   請求項１に記載の分散ファイルシステム。
4. 前記格納先情報ファイルのファイル名である格納先情報ファイル名は、前記本体データのファイルのファイル名を含んでおり、
   前記第１分散ファイルサーバは、前記本体データのファイルのファイル名に基づいたハッシュ値に従って、前記本体データのファイルを管理する分散ファイルサーバを特定し、前記格納先情報ファイルについては、前記格納先情報ファイル名に含まれる前記本体データのファイル名に基づいたハッシュ値に従って管理する分散ファイルサーバを決定する
   請求項３に記載の分散ファイルシステム。
5. ファイルを分割したチャンクを単位として分散して管理する複数の分散ファイルサーバと、前記複数の分散ファイルサーバが管理するファイルの本体データの少なくとも一部を格納可能なストレージノードと、を備える分散ファイルシステムであって、
   ファイルのチャンクを管理する分散ファイルサーバを示す配置情報を所定の記憶装置に記憶し、
   前記分散ファイルサーバは、
   管理対象のファイルのチャンクの本体データを管理して自分散ファイルサーバ又は前記ストレージノードに格納するとともに、前記本体データの格納先を管理する格納先情報を自分散ファイルサーバに格納し、
   所定のファイルを前記ストレージノードに転送する場合に、第１分散ファイルサーバは、
   前記配置情報に基づいて、転送対象のファイルの各チャンクの格納先情報を管理している１以上の第２分散ファイルサーバを特定し、前記転送対象のファイルのチャンクの前記ストレージノードへの転送処理を前記第２分散ファイルサーバに実行させる転送要求を１以上の前記第２分散ファイルサーバに送信し、
   １以上の前記第２分散ファイルサーバは、
   前記転送要求の対象のファイルのチャンクに対応する前記格納先情報に基づいて、前記対象のファイルのチャンクの本体データを、前記第２分散ファイルサーバから読み出し、
   読み出したチャンクの前記本体データを前記ストレージノードに転送し、
   前記第１分散ファイルサーバは、１以上の前記第２分散ファイルサーバから前記ストレージノードに転送された各チャンクの本体データを結合させる結合要求を前記ストレージノードに送信し、
   前記ストレージノードは、
   結合要求を受信した場合に、１以上の前記第２分散ファイルサーバから送信された各チャンクの本体データを結合させたファイルを自身の記憶装置に格納する
   分散ファイルシステム。
6. 前記第１分散ファイルサーバは、
   所定のファイルの差分を前記ストレージノードに転送する場合に、前記配置情報に基づいて、前記転送対象のファイルの各チャンクを管理している１以上の第２分散ファイルサーバを特定し、前記転送対象のファイルのチャンクの差分の前記ストレージノードへの転送処理を実行させる転送要求を１以上の前記第２分散ファイルサーバに送信し、
   １以上の前記第２分散ファイルサーバは、
   前記転送要求の対象のファイルのチャンクの差分に対応する前記格納先情報に基づいて、前記対象のファイルのチャンクの差分の本体データを、前記第２分散ファイルサーバから読み出し、
   読み出したチャンクの差分の前記本体データを前記ストレージノードに転送し、
   前記第１分散ファイルサーバは、１以上の前記第２分散ファイルサーバから前記ストレージノードに転送された各チャンクの差分の本体データを反映させる反映要求を前記ストレージノードに送信し、
   前記ストレージノードは、
   反映要求を受信した場合に、１以上の前記第２分散ファイルサーバから送信された各チャンクの差分を前記ファイルに反映させる
   請求項５に記載の分散ファイルシステム。
7. 前記格納先情報は、前記チャンクの本体データのファイル内に格納されている
   請求項５に記載の分散ファイルシステム。
8. 前記所定の記憶装置は、前記ファイルのチャンクを管理する各分散ファイルサーバのそれぞれの記憶装置、又は前記ファイルを管理するファイルシステムのメタデータを管理する記憶装置である
   請求項５に記載の分散ファイルシステム。
9. ファイルを単位として分散して管理する複数の分散ファイルサーバと、前記複数の分散ファイルサーバが管理するファイルの本体データの少なくとも一部を格納可能なストレージノードと、を備える分散ファイルシステムによる分散ファイル管理方法であって、
   前記分散ファイルサーバは、
   管理対象のファイルの本体データを管理して自分散ファイルサーバ又はファイルサーバに格納するとともに、前記本体データの格納先を管理する格納先情報を自分散ファイルサーバに格納しており、
   上位装置からファイルのＩ／Ｏ要求を受信した第１分散ファイルサーバは、
   前記Ｉ／Ｏ要求の対象のファイルの格納先情報を管理している第２分散ファイルサーバを特定し、前記Ｉ／Ｏ要求の対象のファイルのＩ／Ｏ処理を実行させる転送Ｉ／Ｏ要求を前記第２分散ファイルサーバに送信し、
   転送Ｉ／Ｏ要求を受信した前記第２分散ファイルサーバは、
   前記転送Ｉ／Ｏ要求の対象のファイルに対応する前記格納先情報に基づいて、前記対象のファイルの本体データに対するＩ／Ｏ処理を、前記第２分散ファイルサーバ又は前記ストレージノードに格納された本体データに対して実行し、
   前記Ｉ／Ｏ処理の処理結果を前記第１分散ファイルサーバに返送し、
   前記第１分散ファイルサーバは、返送された前記処理結果を前記上位装置に返送する
   分散ファイル管理方法。
10. ファイルを分割したチャンクを単位として分散して管理する複数の分散ファイルサーバと、前記複数の分散ファイルサーバが管理するファイルの本体データの少なくとも一部を格納可能なストレージノードと、を備える分散ファイルシステムによる分散ファイル管理方法であって、
    前記分散ファイルシステムは、
    ファイルのチャンクを管理する分散ファイルサーバを示す配置情報を所定の記憶装置に記憶し、
    前記分散ファイルサーバは、
    管理対象のファイルのチャンクの本体データを管理して自分散ファイルサーバ又は前記ストレージノードに格納するとともに、前記本体データの格納先を管理する格納先情報を自分散ファイルサーバに格納しており、
    所定のファイルを前記ストレージノードに転送する場合に、第１分散ファイルサーバは、
    前記配置情報に基づいて、転送対象のファイルの各チャンクを管理している１以上の第２分散ファイルサーバを特定し、前記転送対象のファイルのチャンクの前記ストレージノードへの転送処理を前記第２分散ファイルサーバに実行させる転送要求を１以上の前記第２分散ファイルサーバに送信し、
    １以上の前記第２分散ファイルサーバは、
    前記転送要求の対象のファイルのチャンクに対応する前記格納先情報に基づいて、前記対象のファイルのチャンクの本体データを、前記第２分散ファイルサーバから読み出し、
    読み出したチャンクの前記本体データを前記ストレージノードに転送し、
    前記第１分散ファイルサーバは、１以上の前記第２分散ファイルサーバから前記ストレージノードに転送された各チャンクの本体データを結合させる結合要求を前記ストレージノードに送信し、
    前記ストレージノードは、
    結合要求を受信した場合に、１以上の前記第２分散ファイルサーバから送信された各チャンクの本体データを結合させたファイルを自身の記憶装置に格納する
    分散ファイル管理方法。
    
    
    

Images