JP2011180658A - 分散ファイルシステムにおける冗長化方法 - Google Patents

Abstract

【課題】分散ファイルシステムの運用に関し、ファイルサーバを管理する管理サーバの障害によるシステム全体のサービス停止を回避可能とした冗長化方法を得る。
【解決手段】記憶部を有する複数のファイルサーバと、複数のファイルサーバをそれぞれ管理する複数の管理サーバとを備え、前記管理サーバに対して複数ユーザによるファイル書込み要求を行い、前記ファイルサーバの記憶部に記録するネットワークを構成し、前記複数のファイルサーバを広域な範囲に分散配置させた分散ファイルシステムにおいて、一のユーザによる前記管理サーバ１２への前記ファイルサーバ１１の書込み要求に対して、前記ファイルサーバへのメタ情報をメモリキャッシュ（メタ情報保管部）に保管する管理サーバが、前記ユーザの書込み要求と並行して前記ユーザへのファイルサーバ書込み終了の応答前に各管理サーバにおけるメタ情報更新処理を行う。
【選択図】図１

Description

本発明は、複数のユーザによるファイル書込み要求及びファイル読込み要求が行われるネットワークにおいて、記憶部（ストレージ）を有する複数のファイルサーバを広域な範囲に分散配置させて形成される分散ファイルシステムでファイル（ユーザデータ）を保存する際に、分散ファイルシステムを運用する複数の管理サーバ間で行われるメタ情報の管理に関し、特に、システム全体のサービス停止の回避を目的とした分散ファイルシステムにおける冗長化方法に関する。

この種の技術としては、非特許文献１や非特許文献２で示されるように、複数のマシンのディスクを組み合わせて１つのファイルシステムとして機能する分散プラットフォームが提案されている。
非特許文献１に示されたGfarmは、広域ネットワーク上で、大容量、大規模データ処理の要求に応えるスケーラブルな分散ファイルシステムプラットフォームであり、広域なネットワーク上での効率的なファイル共有に適した分散プラットフォームである。
一方、非特許文献２に示されたHadoopは、１つのディスクで保存できない大量のデータを並列化することで高速かつ効率良く処理できるものであり、比較的大きなサイズかつ基本的に更新されることのないファイルのI/Oに適した分散プラットフォームである。

URL：http://datafarm.apgrid.org/index.ja.html URL：http://hadoop.apache.org/

非特許文献１に示されたGfarmは、広域なネットワーク上での効率的なファイル共有に適した分散プラットフォームであり、この分散プラットフォームでは、広域な範囲に配置した複数のファイルサーバに、ユーザから書込み要求のあったファイルを、データの可用性を高めるために分散配置する。しかしながら、ファイル自体の可用性は高めることができるが、ファイルのメタ情報は、管理サーバが一か所で管理しており、管理サーバが障害となった場合、ユーザからの分散ファイルシステムに対するアクセスが不可能となる（サービスのダウンタイムが発生する）現象が生じる。

この現象を回避するため、管理サーバを複数台で冗長化する技術が提案されている。例えば、図６に示すように、分散ファイルシステムにおける管理サーバの一台を現用機とし、残りを予備機として運用し、現用機に障害が発生した際に予備機に以降の処理を切り替えてサービスを継続するように構成する。この構成であっても、予備機が現用機として使用可能になるまでの過度期（切替期間）においてはユーザからのアクセスが不能となり、その間はユーザに対すサービス提供が遮断される。

また、図７に示すように、分散ファイルシステムにおいて管理サーバを複数台用意し、管理サーバが管理するメタ情報を、ユーザからの操作とは非同期に各管理サーバ間で相互に定期的に送受信を行い、全ての管理サーバを現用機として並列に動作させることで、いずれかの管理サーバに障害が発生しても残りの現用機でサービスを継続する構成も提案されている。

しかしながら、この構成によれば、ユーザからファイルが書き込まれ、ある管理サーバがそのファイルのメタ情報を保持し、次の同期のタイミングで別の管理サーバにそのメタ情報を受け渡す前にその管理サーバが障害となった場合には、そのファイルにはアクセス不可能となる（例えば図７において、障害発生時点(t2)から見て、管理サーバ間で最後に同期をとった時点(t1)までのメタ情報は保障されるが、t1〜t2 間に書き込まれたユーザデータのメタ情報（更新６及び更新８）は失われるため、アクセス不可能となる）。
また、ユーザからのファイル書込みに対しては、各管理サーバ間でメタ情報が受け渡しされる前に、書込みが終了したことをユーザに示すため、書込みを行ったデータは可用性が保たれているとユーザ側では認識してしまうという課題も生じる。

更に、各管理サーバ間において、短い周期で複製を行う設定も考えられるが、クラウドサービスとして巨大ストレージを提供する場合など、増加するユーザの膨大なメタ情報を高い頻度で同期をとることになり、相互管理サーバ間での処理負荷が増加するため現実的でない。

本発明は上記事情に鑑みて提案されたもので、分散ファイルシステムの運用に関し、記憶部（ストレージ）を提供するファイルサーバと分散ファイルシステムを利用するユーザとの間を仲介する管理サーバの障害により、システム全体のサービス停止を回避することを可能とした分散ファイルシステムにおける冗長化方法を提供することを目的とする。

上記目的を達成するため本発明の請求項１の分散ファイルシステムにおける冗長化方法は、記憶部を有する複数のファイルサーバと、メモリキャッシュ及び情報データベースを有し前記複数のファイルサーバをそれぞれ管理する複数の管理サーバとを備え、前記管理サーバに対して複数ユーザによるファイル書込み要求を行い、前記ファイルサーバの記憶部に記録するネットワークを構成し、前記複数のファイルサーバを広域な範囲に分散配置させた分散ファイルシステムにおいて、
一のユーザによる前記管理サーバへの前記ファイルサーバの書込み要求に対して、前記ファイルサーバへのメタ情報を前記メモリキャッシュに保管する管理サーバが、前記ユーザの書込み要求と並行して前記ユーザへのファイルサーバ書込み終了の応答前に各管理サーバにおけるメタ情報更新処理を行う
ことを特徴としている。

すなわち、本発明方法は、複数の管理サーバが設置された分散ファイルシステムにおいて、定期的に管理サーバ間でメタ情報を受け渡すのではなく、書き込まれたファイルのメタ情報を保管する管理サーバが、書込み要求と並行して他の管理サーバにメタ情報（メモリ及びディスク等の記憶装置上に存在するメタ情報）を渡した後に、ユーザに対して書込み終了を示すことが行われる。

請求項２は、請求項１の分散ファイルシステムにおける冗長化方法において、
前記メタ情報更新処理は、
前記ユーザの書込み要求と並行して他の管理サーバに対して前記メタ情報の複製依頼を行い、
各管理サーバのメモリキャッシュでメタ情報を更新完了後に前記ユーザに対してファイルサーバ書込み終了の応答を行い、
前記各管理サーバのメモリキャッシュのメタ情報の更新内容を各管理サーバの情報データベースにそれぞれ記録する処理である
ことを特徴としている。

本発明方法によれば、各管理サーバにおいてメタ情報更新処理を行って対障害性を高めた上でデータの保存が終了したことをユーザに示すことができ、その後において、いかなるタイミングで管理サーバに障害が発生した場合でも、他の管理サーバが常時メタ情報の複製を保持しているため、ユーザが他の管理サーバを介して書込みを行ったファイルサーバからデータを読み込むことができる。

本発明の分散ファイルシステムにおける冗長化方法を実施するための装置における書込み処理の流れを示すブロック図である。 本発明の分散ファイルシステムにおける冗長化方法を実施するための装置における読込み処理の流れを示すブロック図である。 分散ファイルシステムに使用する管理サーバの構成を説明するためのブロック図である。 分散ファイルシステムに使用する管理サーバにおける処理を説明するためのフローチャート図である。 管理サーバ間におけるメタ情報の複製処理を説明するためのシーケンス図である。 既存の管理サーバによる冗長化方式（Act-Stanby方式）を示すモデル図である。 既存の管理サーバによる冗長化方式（Act-Act方式）を示すモデル図である。

本発明の分散ファイルシステムにおける冗長化方法について、図１及び図２を参照しながら説明する。
本発明の冗長化方法が適用される分散ファイルシステム１０は、複数（Ｎ個）のファイルサーバ１１と、複数のファイルサーバ１１をそれぞれ管理する複数（Ｍ個）の管理サーバ１２と、ユーザ端末１との間で要求（書込みや読込み）及び通知（書込み終了通知やデータ閲覧）を行うファイルシステムクライアント１３とにより、ユーザ端末１によるファイル書込み要求やファイル読込み要求に対して、ファイルサーバ１１への書込みやファイルサーバ１１からの読込みが行われるネットワークを構成している。

ロードバランサ２は、各管理サーバ１２が並列に動作するように接続され、ユーザ端末１からのファイル書込み要求又はファイル読込み要求をファイルシステムクライアント１３が受けた場合、ロードバランサ２が管理サーバ１２を選択し、この管理サーバ１２が管理する書込み先又は読込み先のファイルサーバ１１をファイルシステムクライアント１３へ応答するように構成されている。

各ファイルサーバ１１は、それぞれ記憶部（ストレージ）を有し、ネットワーク内の広域な範囲に分散配置されている。
各管理サーバ１２は、メモリキャッシュ及び情報データベースを有し、前記複数（Ｎ個）のファイルサーバ１１をそれぞれ管理する。各管理サーバ１２は、メタ情報の複製（メタ情報のミラーリング）を行うことでメタ情報の複製をそれぞれ保持するように構成する。すなわち、ユーザ端末１からファイルサーバ１１への書込み要求があった場合、選択された管理サーバ１２が管理する一のファイルサーバ１１にファイル（ユーザデータ）を書込み、そのファイルのメタ情報は、この管理サーバ１２を複製元として他の管理サーバ１２にミラーリングされる（図１）。

ファイルシステムクライアント１３は、ロードバランサ２、ファイルサーバ１１及び管理サーバ１２との間での指示や通知等の処理を行うもので、ユーザ端末１からのファイル書込み要求Ａがあった場合、ロードバランサ２及び管理サーバ１２に対して書込み先ファイルサーバの問い合わせＢを行うとともに、管理サーバ１２及びロードバランサ２から書込み先ファイルサーバ応答Ｃを受け、当該ファイルサーバ１１に対して書込み指示Ｄを行い、当該ファイルサーバ１１の記憶部（ストレージ）へのデータ保存Ｅが行われる。
そして、このファイルサーバ１１から管理サーバ１２へ対して書込み終了通知Ｆを行い、管理サーバ１２では他の管理サーバ１２との間でメタ情報の複製Ｇが行われる。
次に、この管理サーバ１２からファイルシステムクライアント１３へ書込み終了通知Ｈがなされ、ファイルシステムクライアント１３はユーザ端末１に対して書込み終了通知Ｉを行う（図１）。

すなわち、ユーザ端末１から管理サーバ１２を介してファイルサーバ１１への書込み要求に対して、この管理サーバ１２がファイルサーバ１１へのメタ情報を保管し（後述するメモリキャッシュへの記録）、メタ情報を保管する最初の管理サーバがユーザの書込み要求と並行してユーザへのファイルサーバ書込み終了の応答前に各管理サーバ１２におけるメタ情報の複製処理（更新処理）を行う。

また、ユーザ端末１からのファイル読込み要求Ｏがあった場合、ファイルシステムクライアント１３はロードバランサ２及び管理サーバ１２に対して読込み先ファイルサーバの問い合わせＰを行うとともに、管理サーバ１２及びロードバランサ２から読込み先ファイルサーバ応答Ｑを受け、当該ファイルサーバ１１に対して読込み指示Ｒを行い、当該ファイルサーバ１１においてデータ読込みＳが行われる。
そして、このファイルサーバ１１からファイルシステムクライアント１３へ読込み応答Ｔがなされ、ファイルシステムクライアント１３はユーザ端末１に対してデータ閲覧Ｕの処理を行う（図２）。

ユーザ端末１からのアクセスに伴い、ロードバランサ２が管理サーバ１２を選択する場合、処理を割り振る最適な管理サーバ１２を選択するロードバランサ２の負荷分散アルゴリズムに関しては、下記（１）及び（２）のいずれかの方式が静的に定義されている。

（１）スタティック負荷分散
スタティック負荷分散方式は、更に２つの方式に分けられる。
・ラウンドロビン方式
各管理サーバ１２に均等にトラフィックを振り分ける方法で、サーバの処理能力に違いがないときに使用する。
・重み付けラウンドロビン方式
管理サーバ１２に優先順位を付け、振り分けるトラフィック量を管理サーバごとに変えることができる。主としてサーバの処理能力に違いがある場合に使用する。

（２）ダイナミック負荷分散
ダイナミック負荷分散は、更に４つの方式に分けられる。
・最速応答時間/最小サーバ負荷方式
最も速くレスポンスがあった管理サーバ１２、最も負荷の小さい管理サーバ１２などサーバの稼働状況によって振り分ける。
・最小コネクション方式
最もコネクションが少ない管理サーバ１２を抽出することで振り分ける。
・最小クライアント数方式
各管理サーバ１２が通信するクライアント数が均等になるようにリクエストを振り分ける。クライアント単位に分散対象サーバを割り当てる場合に有効である。
・最小データ通信量方式
各管理サーバ１２が転送するデータ量が均等になるようにリクエストを振り分ける。コネクション当たりのデータ通信量の多いアプリケーションの負荷分散を行う場合に有効である。

上述した構成の分散ファイルシステム１０によれば、図１の書込み処理時において、ロードバランサ２により選択された管理サーバ１２を介してファイルサーバ１１に保存するというメタ情報は、他の管理サーバ１２にミラーリングされているため、図２の読込み時において、どの管理サーバ１２がロードバランサ２により選択された場合であってもファイルサーバ１１に保存したデータをユーザ端末１でデータ閲覧が可能となる。

次に、管理サーバ２の詳細な構成について、図３を参照しながら説明する。
管理サーバ１２は、ユーザ端末からの書込み要求を受け付ける書込み要求受付部１２１と、ユーザデータの保存先となるファイルサーバ１１を決める書込み先決定部１２２と、ファイルサーバのリソース情報を管理するファイルサーバ情報管理部１２３と、ファイルサーバへの書込み終了受信部１２４と、メタ情報を記録するメタ情報保管部１２５と、メタ情報を複製するメタ情報複製部１２６を備えて構成されている。

書込み要求受付部１２１は、ファイルシステムを利用するファイルシステムクライアント１３から、ユーザ端末１からのユーザデータの書込み要求を受信し、書込み先決定部１２２に書込み先となるファイルサーバ１１の選択を依頼する。この時、書込み要求受付部１２１から書込み先決定部１２２に対して、ユーザデータのファイルサイズ、ファイル名等のメタ情報も通知される。

書込み先決定部１２２は、ファイルサーバ情報管理部１２３で管理されたファイルサーバ１１のリソース情報に基づいて、ユーザデータの書込み先となるファイルサーバ１１を決定する。書込み先となるファイルサーバ１１が決定した場合には、書込み先決定部１２２はファイルシステムクライアント１３に対して書込み先ファイルサーバ１１を通知する。

ファイルサーバ情報管理部１２３は、各ファイルサーバ１１からリソース情報（空き容量、保存ファイル数、ＣＰＵ利用率等）を受信し管理する。これらの情報は、書込み先決定部１２２へ各ファイルサーバ１１のリソース情報として提供される。

ファイルサーバへの書込み終了受信部１２４は、書込み先のファイルサーバ１１からファイルの書込みが終了した通知を受信し、このファイル書込み終了をメタ情報保管部１２５に通知するとともに、メタ情報の複製をメタ情報複製部１２６に指示する。

メタ情報保管部１２５は、メモリキャッシュと情報データベースを備え、書込み要求受付部１２１からの全ユーザデータのファイル名、ファイルサイズ、ファイルサーバへの書込み終了受信部１２４からの書込み先等をメタ情報として保管する。
このメタ情報保管部１２５では、先ずメモリキャッシュにメタ情報が一時的に書き込まれ、その後にメモリキャッシュに書き込まれたメタ情報がディスク等から構成される情報データベース（ＤＢ）に書き込まれる処理が行われる。メモリキャッシュに書き込まれたメタ情報は、メタ情報複製部１２６に出力される。

メタ情報複製部１２６は、他の管理サーバ１２にメタ情報を渡し、メタ情報の複製を指示する。メタ情報複製部１２６は、他の管理サーバ１２からメタ情報の複製完了の応答があった場合に、書込み先決定部１２１に対してメタ情報複製終了通知を出力する。管理サーバ１２、１２間でのメタ情報の複製処理については、後述する。

次に、分散ファイルシステム１０のファイルサーバ１１及び管理サーバ１２において、ユーザデータの書込みを行うファイルサーバ１１の選択から書込み終了通知までの処理の流れについて、図４を参照しながら説明する。

先ず、書込み要求受付部１２１がファイルシステムクライアント１３を介してユーザ端末１からのユーザデータの書込み要求を受信すると（ステップ４１）、管理サーバ１２が選択され、管理サーバ１２の書込み先決定部１２２において書込み先となるファイルサーバ１１の選択を行う。
この選択は、選択対象となるファイルサーバ（ＦＳ）のリソース状況をチェックすることで行う。すなわち、選択対象となる複数のファイルサーバから１台を選出し（ステップ４２）、リソース状況をチェックし（ステップ４４）、余裕があれば（ステップ４５）、このファイルサーバにユーザデータを登録する等のメタ情報について、選択された管理サーバへの登録が行われる（ステップ４６）。

ファイルサーバに余裕がなければ（ステップ４５）、次のファイルサーバを選択し同じ処理が行われる。全てのファイルサーバについて余裕がない場合（ステップ４３で全ファイルサーバチェック完了）には、ファイルサーバへの書込み失敗と判断し、その旨をユーザに通知し（ステップ５５）、プログラムを終了する。

メタ情報の管理サーバへの登録が行われた後（ステップ４６）、管理サーバ１２はファイルサーバ１１の記憶部（ストレージ）へのユーザデータの書込みを指示する（ステップ４７）。
管理サーバ１２のファイルサーバへの書込み終了受信部１２４がファイルサーバへの書込み終了通知を受けると（ステップ４８）、ファイルサーバへの書込み成功と判断し（ステップ４９）、メタ情報複製部１２６を介して他の管理サーバに対してメタ情報の複製を指示する（ステップ５０）。
ファイルサーバへの書込み終了通知がない場合には、ファイルサーバへの書込み失敗と判断し（ステップ４９）、その旨をユーザに通知し（ステップ５５）、プログラムを終了する。

他の管理サーバでのメタ情報の複製が成功であるかを判断し（ステップ５１）、複製が成功した場合（他の管理サーバからの応答があった場合）はメタ情報複製成功をメタ情報複製部１２６が書込み先決定部１２２に通知し（ステップ５２）、書込み先決定部１２２がユーザに対し書込み終了を通知する（ステップ５３）。
メタ情報複製部１２６で行われた複製が失敗した場合（他の管理サーバからの応答がなかった場合）は、メタ情報複製部１２６がメタ情報複製失敗を書込み先決定部１２２に通知し（ステップ５４）、書込み失敗をユーザに通知し（ステップ５５）、プログラムを終了する。

次に、管理サーバ１２，１２におけるメタ情報の複製処理について、図５を参照しながら説明する。
管理サーバ１２，１２同士の間には、ＴＣＰセッションが確立されている（Ｓ１）。
この状態でファイルサーバ１１から管理サーバＭ（Ｍ＝１）１２にファイルサーバへの書込み終了通知がなされると（Ｓ２）、管理サーバＭ（Ｍ＝１）１２では、メタ情報保管部１２５のメモリキャッシュへメタ情報の書込みが行われる（Ｓ３）。

管理サーバＭ（Ｍ＝１）１２でのメタ情報の書込みが完了後、他の管理サーバＭ（Ｍ＝Ｍ）１２にメタ情報複製を依頼し（Ｓ４）、管理サーバＭ（Ｍ＝Ｍ）１２では、メタ情報保管部１２５のメモリキャッシュへメタ情報の書込みが行われる（Ｓ５）。
管理サーバＭ（Ｍ＝Ｍ）１２でのメタ情報の書込みが完了後、メタ情報の書込みが成功した場合に、管理サーバＭ（Ｍ＝１）１２に対してメタ情報複製応答が行われる（Ｓ６）。なお、管理サーバＭ（Ｍ＝Ｍ）１２におけるメタ情報の複製処理の失敗については、管理サーバＭ（Ｍ＝１）１２へのエラー応答の受信や応答なし（タイムアウト）により判断する。

ユーザ端末１に対する書込み終了通知は、管理サーバＭ（Ｍ＝１）１２及び管理サーバＭ（Ｍ＝Ｍ）１２におけるメタ情報のメモリキャッシュへの書込みが完了した後に通知される（Ｓ７）。
その後、管理サーバＭ（Ｍ＝１）１２及び管理サーバＭ（Ｍ＝Ｍ）１２のそれぞれにおいて、メタ情報保管部１２５のメモリキャッシュに書き込まれたメタ情報をメタ情報保管部１２５の情報データベース（ＤＢ）に書き込む処理が行われる（Ｓ８，Ｓ９）。

各管理サーバ１２へのメタ情報の登録は、先ずメタ情報保管部１２５のメモリキャッシュに書き込まれ、その後にメタ情報保管部１２５の情報データベース（ＤＢ）に書き込まれる。そして、ユーザ端末１に対する書込み終了通知は、メタ情報が各管理サーバ１２のメモリキャッシュに書き込まれた後に行われるので、ディスク等への記録に時間を要する情報データベース（ＤＢ）への書込み前に通知することができ、ユーザ側への書込み終了通知を早い時期に行うことができる。

図５においては、管理サーバＭ（Ｍ＝１）をメタ情報の複製元、管理サーバＭ（Ｍ＝Ｍ）を複製先としているが、逆方向でも同様に動作する（ユーザからの書込み要求時に、ロードバランサにより管理サーバＭ（Ｍ＝Ｍ）が選択された場合、メタ情報の複製元が管理サーバＭ（Ｍ＝Ｍ）、複製先が他の管理サーバとなる）。

上述した分散ファイルシステムの冗長化方法によれば、書込み終了後にいかなるタイミングで管理サーバ１２に障害が発生した場合でも、他の管理サーバ１２が常時メタ情報の複製をミラーリングにより保持しているため、ユーザが書込みを行ったデータの一部を取り出せなくなるというリスクを回避しつつサービスを継続することが可能となる。

また、管理サーバ１２によるキャッシュを含めたメタ情報の複製が終了した上で書込みの終了をユーザに通知するので、ユーザに通知があった場合には必ずメタ情報の複製が完了していることになる。したがって、ユーザが書込みの終了を受けた場合は、データの対障害性が確保されているので、書込みの終了が通知された場合のデータ障害の可能性を排除でき、ユーザによる誤認識を無くすことができる。

また、システム内部で複製処理に失敗した場合でも、ユーザに対して書込み失敗の通知がなされるので、その旨を認識することができ、再度書込みを実施する等の措置をとることができる。

１…ユーザ端末、 ２…ロードバランサ、 １０…分散ファイルシステム、 １１…ファイルサーバ、 １２…管理サーバ、 １３…ファイルシステムクライアント、 １２１…書込み要求受付部、 １２２…書込み先決定部、 １２３…ファイルサーバ情報管理部、 １２４…ファイルサーバへの書込み終了受信部、 １２５…メタ情報保管部（メモリキャッシュ、情報データベース）、 １２６…メタ情報複製部。

Claims (2)

1. 記憶部を有する複数のファイルサーバと、メモリキャッシュ及び情報データベースを有し前記複数のファイルサーバをそれぞれ管理する複数の管理サーバとを備え、前記管理サーバに対して複数ユーザによるファイル書込み要求を行い、前記ファイルサーバの記憶部に記録するネットワークを構成し、前記複数のファイルサーバを広域な範囲に分散配置させた分散ファイルシステムにおいて、
   一のユーザによる前記管理サーバへの前記ファイルサーバの書込み要求に対して、前記ファイルサーバへのメタ情報を前記メモリキャッシュに保管する管理サーバが、前記ユーザの書込み要求と並行して前記ユーザへのファイルサーバ書込み終了の応答前に各管理サーバにおけるメタ情報更新処理を行う
   ことを特徴とする分散ファイルシステムにおける冗長化方法。
2. 前記メタ情報更新処理は、
   前記ユーザの書込み要求と並行して他の管理サーバに対して前記メタ情報の複製依頼を行い、
   各管理サーバのメモリキャッシュでメタ情報を更新完了後に前記ユーザに対してファイルサーバ書込み終了の応答を行い、
   前記各管理サーバのメモリキャッシュのメタ情報の更新内容を各管理サーバの情報データベースにそれぞれ記録する処理である
   請求項１に記載の分散ファイルシステムにおける冗長化方法。

Images