JP2023167703A - 計算機システム、及び記憶領域割当制御方法 - Google Patents

Abstract

【課題】計算機システムにおける記憶装置の記憶領域の利用効率を適切に向上できるようにする。【解決手段】複数の分散ＦＳサーバ２０を有し、ファイルを分散して管理する分散ＦＳ２００と、分散ＦＳ２００から提供されるＰＶ２０１を用いて所定の処理を実行する処理機能を有する複数のコンピュートサーバ１０と、コンピュートサーバ１０へのＰＶ２０１の割り当てを管理する管理サーバ３０とを有する計算機システム１において、管理サーバ３０のプロセッサを、複数のコンピュートサーバ１０によってＰＶ２０１のデータが冗長化によるデータ保護されるか否かを判定し、ＰＶ２０１のデータがデータ保護されると判定した場合に、複数のコンピュートサーバ１０のＰＶ２０１として、分散ＦＳ２００から分散ＦＳ２００によってデータの冗長化によるデータ保護が実行されないＰＶ２０１を割り当てるように構成させる。【選択図】図１

Description

本発明は、所定の処理を実行する処理サーバの処理機能に対してデータを格納する記憶領域を割り当てる技術に関する。

ＡＩ（Artificial Intelligence）／ビッグデータ分析のための大容量データの格納するためのデータレイクが普及している。

データレイクでは、ファイルストレージ、オブジェクトストレージ、ＮｏＳＱＬ／ＳＱＬデータベースシステム等が使用されており、これらをコンテナ化することにより運用の容易化が図られている。ここでいうコンテナとは、アプリケーションの動作環境を仮想的に構築する技術の１つである。コンテナ環境では、１つのＯＳ（Operating System）上に仮想化した実行環境を複数配置することで、ＣＰＵ（Central Processing Unit）やメモリなどの使用リソースを削減する。

データレイクにおいては、ＮｏＳＱＬ／ＳＱＬデータベースシステムは、ファイルデータを管理し、そのファイルデータの格納先として、容量・性能のスケールアウトが可能な分散ファイルシステム（分散ＦＳ）が広く使用されている。

ＮｏＳＱＬ／ＳＱＬデータベースシステムや、分散ＦＳは、それぞれの層において、可用性を実現するためにデータ保護（データの冗長化）が行われている。

例えば、コンテナにボリュームを割り当てる技術として、特許文献１には、ユーザが作成したコンテナ構成定義に基づいて、構成管理モジュールがアプリコンテナに外部接続ストレージを使用した永続化ボリューム（ＰＶ）を自動作成し、割り当てる技術が開示されている。

米国特許第９６７８６８３号明細書

例えば、ＮｏＳＱＬ／ＳＱＬデータベースシステムをコンテナ（ＤＢコンテナという）として構成する場合においては、負荷分散や高可用性のために、複数のサーバ間で、ＤＢコンテナと、ＤＢコンテナで使用するデータとを冗長化することが行われている。また、分散ＦＳにおいては、高可用性のため、分散ＦＳを構成する複数の分散ＦＳサーバにおいてデータを冗長化するデータ保護が行われている。

例えば、ＤＢコンテナのファイルのデータが保護されるとともに、ＤＢコンテナのファイルのデータが分散ＦＳで保護されてしまうと、同一のデータが必要以上に記憶領域に格納されてしまい、記憶装置の記憶領域の利用効率（容量効率）が低下してしまう問題がある。

本発明は、上記事情に鑑みなされたものであり、その目的は、計算機システムにおける記憶装置の記憶領域の利用効率を適切に向上することのできる技術を提供することにある。

上記目的を達成するため、一観点に係る計算機システムは、複数のファイルサーバを有し、ファイルを分散して管理する分散ファイルシステムと、前記分散ファイルシステムから提供される記憶領域を用いて所定の処理を実行する処理機能を有する複数の処理サーバと、前記処理サーバへの記憶領域の割り当てを管理する管理装置とを有する計算機システムであって、前記管理装置のプロセッサは、前記複数の処理サーバによって前記記憶領域のデータが冗長化によるデータ保護されるか否かを判定し、前記記憶領域のデータがデータ保護されると判定した場合に、前記複数の処理サーバの前記記憶領域として、前記分散ファイルシステムから前記分散ファイルシステムによってデータの冗長化によるデータ保護が実行されない記憶領域を割り当てる。

本発明によれば、計算機システムにおける記憶装置の記憶領域の利用効率を適切に向上することができる。

図１は、第１実施形態に係る計算機システムにおけるＤＢコンテナへの永続化ボリューム割当処理の概要を説明する図である。 図２は、第１実施形態に係る計算機システムの全体構成図である。 図３は、第１実施形態に係る分散ＦＳサーバの構成図である。 図４は、第１実施形態に係るコンピュートサーバの構成図である。 図５は、第１実施形態に係る管理サーバの構成図である。 図６は、第１実施形態に係るサーバ管理テーブルの構成図である。 図７は、第１実施形態に係るコンテナ管理テーブルの構成図である。 図８は、第１実施形態に係るＰＶ管理テーブルの構成図である。 図９は、第１実施形態に係るデータ保護可否テーブルの構成図である。 図１０は、第１実施形態に係る分散ＦＳ制御テーブルの構成図である。 図１１は、第１実施形態に係るコンテナ作成処理のシーケンス図である。 図１２は、第１実施形態に係るデータ保護有無判定処理のフローチャートである。 図１３は、第１実施形態に係るＰＶ作成・割当処理のフローチャートである。 図１４は、第１実施形態に係る分散ＦＳ作成処理のフローチャートである。 図１５は、第２実施形態に係る計算機システムにおけるＤＢコンテナへの永続化ボリューム割当処理の概要を説明する図である。 図１６は、第２実施形態に係る計算機システムの全体構成図である。 図１７は、第２実施形態に係る分散ＦＳサーバの構成図である。 図１８は、第２実施形態に係るブロックＳＤＳサーバの構成図である。 図１９は、第２実施形態に係る外部接続ＬＵ管理テーブルの構成図である。 図２０は、第２実施形態に係るＬＵ管理テーブルの構成図である。 図２１は、第２実施形態に係るＰＶ作成・割当処理のフローチャートである。 図２２は、第２実施形態に係るＬＵ・分散ＦＳ作成処理のフローチャートである。 図２３は、第２実施形態に係るフェイルオーバ処理のシーケンス図である。

いくつかの実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

以下の説明では、「ＡＡＡテーブル」の表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ＡＡＡテーブル」を「ＡＡＡ情報」と呼ぶことができる。

また、以下の説明では、「プログラム」を動作の主体として処理を説明する場合があるが、プログラムは、プロセッサ（例えば、ＣＰＵ）によって実行されることで、定められた処理を、適宜に記憶部（例えばメモリ）及び／又はインターフェース（例えばポート）を用いながら行うため、処理の動作の主体がプログラムとされてもよい。プログラムを動作の主体として説明された処理は、プロセッサ或いはそのプロセッサを有する計算機（例えば、サーバ）が行う処理としてもよい。また、プロセッサが行う処理の一部又は全部を行うハードウェア回路を含んでもよい。また、プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又はコンピュータ読取可能な（例えば非一時的な）記録メディアであってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

＜第１実施形態＞
まず、第１実施形態に係る計算機システム１の概要について説明する。

図１は、第１実施形態に係る計算機システムにおけるＤＢコンテナへの永続化ボリューム割当処理の概要を説明する図である。

計算機システム１は、複数の分散ＦＳ（ファイルシステム）サーバ２０と、複数のコンピュートサーバ１０と、管理サーバ３０と、を備える。

計算機システム１において、コンテナオーケストレータプログラム３２１により、複数のコンピュートサーバ１０上でＤＢコンテナプログラム１２３が起動されてＤＢコンテナが作成され、ＤＢコンテナが冗長化されている。したがって、ＤＢコンテナで管理するＤＢデータ１３１は、複数のコンピュートサーバ１０で冗長化して管理されることとなる。管理サーバ３０の分散ＦＳボリューム管理プログラム３２３は、ＤＢコンテナプログラム１２３が使用するＤＢデータ１３１を格納する永続化ボリューム（ＰＶ（Ｐｅｒｓｉｓｔｅｎｔ Ｖｏｌｉｍｅ））２０１を割り当てる処理を行う。

分散ＦＳボリューム管理プログラム３２３は、コンテナオーケストレータプログラム３２１からコンテナ管理テーブル３２５（図７参照）を取得し、ＤＢコンテナプログラム１２３が冗長化されてＤＢデータ１３１がデータ保護されるか否かを判定する（図１（１））。

分散ＦＳボリューム管理プログラム３２３は、ＤＢコンテナプログラム１２３のＤＢデータがデータ保護される場合には、データ保護なしのＰＶを作成して（図１（２））、ＤＢコンテナプログラム１２３により構成されるＤＢコンテナに割り当てる。

更に、ＰＶ２０１が複数の分散ＦＳサーバ２０により構成されている分散ＦＳ２００から作成される場合においては、分散ＦＳサーバ２０の単一障害によって、冗長化されている各ＤＢコンテナに割り当てられるＰＶ２０１の利用ができなくなることを避けるために、本実施形態では、各ＤＢコンテナに割り当てられるＰＶ２０１を、異なった分散ＦＳサーバ２０で構成された異なる分散ＦＳ２００から作成されるようにしている。なお、このような分散ＦＳ２００が存在しない場合には、新たに分散ＦＳ２００を作成して、その分散ンＦＳ２００からＰＶを作成して割り当てるようにしている。

図２は、第１実施形態に係る計算機システムの全体構成図である。

計算機システム１は、複数の処理サーバの一例としてのコンピュートサーバ１０と、複数のファイルサーバの一例としての分散ＦＳサーバ２０と、管理装置の一例としての管理サーバ３０と、フロントエンド（ＦＥ）ネットワーク２と、バックエンド（ＢＥ）ネットワーク３と、を備える。

管理サーバ３０と、コンピュートサーバ１０と、分散ＦＳサーバ２０とは、ＦＥネットワーク２を介して接続されている。また、複数の分散ＦＳサーバ２０は、ＢＥネットワーク３を介して接続されている。

コンピュートサーバ１０は、ＦＥネットワークＩ／Ｆ１４（図２では、ＦＥ Ｉ／Ｆと省略記載）を介してＦＥネットワーク２に接続され、ＮｏＳＱＬ／ＳＱＬデータベースシステム（ＤＢシステム）を管理する処理を実行し、分散ＦＳサーバ２０に対してＤＢシステムで管理するデータ（ＤＢデータ）が含まれるファイルに対するＩ／Ｏ（ファイルＩ／Ｏ）を発行する。コンピュートサーバ１０は、ＮＦＳ（Network File System）、ＳＭＢ（Server Message Block）、ＡＦＰ（Apple Filing Protocol）などのプロトコルに従って、ファイルＩ／Ｏを行う。また、コンピュートサーバ１０は、様々な目的のために他の装置と通信することができる。

管理サーバ３０は、計算機システム１の管理者が、コンピュートサーバ１０及び分散ＦＳサーバ２０を管理するためのサーバである。管理サーバ３０は、ＦＥネットワークＩ／Ｆ３４を介してＦＥネットワーク２に接続され、コンピュートサーバ１０と分散ＦＳサーバ２０とに対して管理要求を発行する。管理サーバ３０は、管理要求の通信形態として、ＳＳＨ（Secure Shell）を介したコマンド実行や、ＲＥＳＴ ＡＰＩ（Representational State Transfer Application Program Interface）などを使用する。管理サーバ３０は、管理者に対し、ＣＬＩ（Command Line Interface）、ＧＵＩ（Graphical User Interface）、ＲＥＳＴ ＡＰＩなどの管理インターフェースを提供する。

分散ＦＳサーバ２０は、コンピュートサーバ１０に対して論理的な記憶領域であるボリューム（例えば、永続化ボリューム（ＰＶ））を提供する分散ＦＳを構成する。分散ＦＳサーバ２０は、ＦＥネットワークＩ／Ｆ２４を介してＦＥネットワーク２に接続され、コンピュートサーバ１０からのファイルＩ／Ｏと、管理サーバ３０からの管理要求を受信し、処理する。分散ＦＳサーバ２０は、ＢＥネットワークＩ／Ｆ（図２では、ＢＥ Ｉ／Ｆと省略記載）２５を介してＢＥネットワーク３に接続され、他の分散ＦＳサーバ２０との間で通信する。分散ＦＳサーバ２０は、ＢＥネットワーク３を介して、他の分散ＦＳサーバ２０とメタデータを交換したり、他の情報を交換したりする。分散ＦＳサーバ２０は、ＢＭＣ（Baseboard Management Controller）２６を有し、常時（障害発生時も含む）、外部（例えば、管理サーバ３０、分散ＦＳサーバ２０）からの電源操作を受け付け、受け付けた電源操作を処理する。ＢＭＣ２６は、通信プロトコルとしてＩＰＭＩ（Intelligent Platform Management Interface）を使用できる。

図２に示す計算機システム１においては、ＦＥネットワーク２及びＢＥネットワーク３を分離したネットワークとしているが、この構成に限られず、ＦＥネットワーク２及びＢＥネットワーク３を同一のネットワークとして構成してもよい。

また、図２に示す計算機システム１においては、コンピュートサーバ１０と、管理サーバ３０と、分散ＦＳサーバ２０とを物理的に別のサーバとした例を示しているが、この構成に限られず、例えば、コンピュートサーバ１０と分散ＦＳサーバ２０とを同じサーバで構成してもよく、管理サーバ３０と分散ＦＳサーバ２０とを同じサーバで構成してもよく、管理サーバ３０とコンピュートサーバ１０とを同じサーバで構成してもよい。

次に、分散ＦＳサーバ２０の構成について説明する。

図３は、第１実施形態に係る分散ＦＳサーバの構成図である。

分散ＦＳサーバ２０は、例えば、ベアメタルサーバで構成され、プロセッサの一例としてのＣＰＵ２１、メモリ２２、記憶装置２３、ＦＥネットワークＩ／Ｆ２４、ＢＥネットワークＩ／Ｆ２５、及びＢＭＣ２６を有する。

ＣＰＵ２１は、メモリ２２上のプログラムに従って処理することによって、所定の機能を提供する。

メモリ２２は、例えば、ＲＡＭ（RANDOM ACCESS MEMORY）であり、ＣＰＵ２１で実行されるプログラムや、必要な情報を記憶する。メモリ２２は、分散ＦＳ制御プログラム２２１、内部デバイス接続プログラム２２２、及び分散ＦＳ制御テーブル２２３を記憶する。

分散ＦＳ制御プログラム２２１は、ＣＰＵ２１に実行されることにより、他の分散ＦＳサーバ２０の分散ＦＳ制御プログラム２２１と協調し、分散ＦＳを構成する。また、分散ＦＳ制御プログラム２２１は、ＣＰＵ２１に実行されることにより、コンピュートサーバ１０に対して永続化ボリュームを提供する。

内部デバイス接続プログラム２２２は、ＣＰＵ２１に実行されることにより、内部デバイス（記憶装置２３）に対してデータの読み書きを行う。

分散ＦＳ制御テーブル２２３は、分散ＦＳを制御するための情報を管理するテーブルである。分散ＦＳ制御テーブル２２３は、クラスタを構成する全ての分散ＦＳサーバ２０において同一内容となるように同期されている。分散ＦＳ制御テーブル２２３の詳細については、図１０を用いて後述する。

ＦＥネットワークＩ／Ｆ２４は、ＦＥネットワーク２に接続するための通信インターフェースデバイスである。ＢＥネットワークＩ／Ｆ２５は、ＢＥネットワーク３に接続するための通信インターフェースデバイスである。ＦＥネットワークＩ／Ｆ２４と、ＢＥネットワークＩ／Ｆ２５とは、例えば、イーサネット（登録商標）のＮＩＣ（Network Interface Card）であってもよく、ＩｎｆｉｎｉＢａｎｄのＨＣＡ（Host Channel Adapter）であってもよい。

ＢＭＣ２６は、分散ＦＳサーバ２０の電源制御インターフェースを提供するデバイスである。ＢＭＣ２６は、ＣＰＵ２１及びメモリ２２と独立して動作し、ＣＰＵ２１又はメモリ２２に障害が発生した場合でも、外部からの電源制御要求を受け付けて電源制御を処理することができる。

記憶装置２３は、分散ＦＳサーバ２０で使用するＯＳや各種プログラム、分散ＦＳで管理するファイルのデータを格納する不揮発性記憶媒体である。記憶装置２３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＮＶＭｅＳＳＤ（Non-Volatile Memory Express SSD）であってもよい。

次に、コンピュートサーバ１０の構成について説明する。

図４は、第１実施形態に係るコンピュートサーバの構成図である。

コンピュートサーバ１０は、プロセッサの一例としてのＣＰＵ１１、メモリ１２、記憶装置１３、ＦＥネットワークＩ／Ｆ１４、ＢＥネットワークＩ／Ｆ１５、及びＢＭＣ１６を有する。

ＣＰＵ１１は、メモリ１２上のプログラムに従って処理することによって、所定の機能を提供する。

メモリ１２は、例えば、ＲＡＭであり、ＣＰＵ１１で実行されるプログラムや、必要な情報を記憶する。メモリ１２は、サーバ内コンテナ制御プログラム１２１、分散ＦＳクライアントプログラム１２２、及びＤＢコンテナプログラム１２３を記憶する。

サーバ内コンテナ制御プログラム１２１は、ＣＰＵ１１に実行されることにより、管理サーバ３０の後述するコンテナオーケストレータプログラム３２１の指示に従って、コンピュートサーバ内のコンテナプログラムのデプロイや監視を行う。本実施形態では、複数のコンピュートサーバ１０のサーバ内コンテナ制御プログラム１２１とコンテナオーケストレータプログラム３２１とが協調することにより、コンテナの実行基盤であるクラスタを構成する。

分散ＦＳクライアントプログラム１２２は、ＣＰＵ１１に実行されることにより、分散ＦＳサーバ２０に接続し、コンピュートサーバ１０のコンテナから分散ＦＳのファイルに対してデータの読み書きを行う。

ＤＢコンテナプログラム１２３は、ＣＰＵ１１に実行されることにより、コンピュートサーバ１０のコンテナをＤＢコンテナとして構成し、ＤＢを管理する処理を動作する。ここで、ＤＢコンテナにより実現される機能が処理機能の一例である。

ＦＥネットワークＩ／Ｆ１４は、ＦＥネットワーク２に接続するための通信インターフェースデバイスである。ＢＥネットワークＩ／Ｆ１５は、ＢＥネットワーク３に接続するための通信インターフェースデバイスである。ＦＥネットワークＩ／Ｆ１４と、ＢＥネットワークＩ／Ｆ１５は、例えば、イーサネット（登録商標）のＮＩＣであってもよく、ＩｎｆｉｎｉＢａｎｄのＨＣＡであってもよい。

ＢＭＣ１６は、コンピュートサーバ１０の電源制御インターフェースを提供するデバイスである。ＢＭＣ１６は、ＣＰＵ１１及びメモリ１２と独立して動作し、ＣＰＵ１１又はメモリ１２に障害が発生した場合でも、外部からの電源制御要求を受け付けて電源制御を処理することができる。

記憶装置１３は、コンピュートサーバ１０で使用するＯＳや各種プログラムやデータを格納する不揮発性記憶媒体である。記憶装置１３は、ＨＤＤ、ＳＳＤ、ＮＶＭｅＳＳＤであってもよい。

次に、管理サーバ３０の構成について説明する。

図５は、第１実施形態に係る管理サーバの構成図である。

管理サーバ３０は、プロセッサの一例としてのＣＰＵ３１、メモリ３２、記憶装置３３、及びＦＥネットワークＩ／Ｆ３４を有する。管理サーバ３０には、ディスプレイ３５や、マウスやキーボード等の入力装置３６が接続される。

ＣＰＵ３１は、メモリ３２上のプログラムに従って処理することによって、所定の機能を提供する。

メモリ３２は、例えば、ＲＡＭであり、ＣＰＵ３１で実行されるプログラムや、必要な情報を記憶する。メモリ３２は、コンテナオーケストレータプログラム３２１と、ＤＢコンテナ管理プログラム３２２と、分散ＦＳボリューム管理プログラム３２３、サーバ管理テーブル３２４、コンテナ管理テーブル３２５、ＰＶ管理テーブル３２６、及びデータ保護可否テーブル３２７を記憶する。

コンテナオーケストレータプログラム３２１は、ＣＰＵ３１に実行されることにより、複数のコンピュートサーバ１０におけるコンテナを統合管理する。コンテナオーケストレータプログラム３２１は、例えば、管理者の指示に従って、コンテナのデプロイ・アンデプロイ、監視の制御を行う。コンテナオーケストレータプログラム３２１は、各コンピュートサーバ１０に対する制御を、サーバ内コンテナ制御プログラム１２１、ＤＢコンテナ管理プログラム３２２、及び分散ＦＳボリューム管理プログラム３２３に指示することにより行う。

ＤＢコンテナ管理プログラム３２２は、コンテナオーケストレータプログラム３２１からの指示に基づいて、ＤＢコンテナのデプロイ・アンデプロイを行う。分散ＦＳボリューム管理プログラム３２３は、コンテナオーケストレータプログラム３２１からの指示に基づいて、コンテナへのＰＶの割り当てを行う。ここで、ＰＶの割り当てを行うプログラムを総称して、ストレージデーモンと呼ぶ。

サーバ管理テーブル３２４は、コンテナオーケストレータプログラム３２１が計算機システム１のサーバを管理するための情報を格納するテーブルである。サーバ管理テーブル３２４の詳細については、図６を用いて後述する。

コンテナ管理テーブル３２５は、コンテナオーケストレータプログラム３２１がコンピュートサーバ１０に構成するコンテナを管理するための情報を格納するテーブルである。コンテナ管理テーブル３２５の詳細については、図７を用いて後述する。

ＰＶ管理テーブル３２６は、分散ＦＳボリューム管理プログラム３２３がＰＶを管理するための情報を格納するテーブルである。ＰＶ管理テーブル３２６の詳細については、図８を用いて後述する。

データ保護可否テーブル３２７は、分散ＦＳボリューム管理プログラム３２３がコンテナのデータ保護可否を管理するための情報を格納するテーブルである。データ保護可否テーブル３２７の詳細については、図９を用いて後述する。

ＦＥネットワークＩ／Ｆ３４は、ＦＥネットワーク２に接続するための通信インターフェースデバイスである。ＦＥネットワークＩ／Ｆ３４は、例えば、イーサネット（登録商標）のＮＩＣであってもよく、ＩｎｆｉｎｉＢａｎｄのＨＣＡであってもよい。

記憶装置３３は、管理サーバ３０で使用するＯＳや各種プログラムやデータを格納する不揮発性記憶媒体である。記憶装置３３は、ＨＤＤ、ＳＳＤ、ＮＶＭｅＳＳＤであってもよい。

次に、サーバ管理テーブル３２４の構成について説明する。

図６は、第１実施形態に係るサーバ管理テーブルの構成図である。

サーバ管理テーブル３２４は、計算機システム１における各サーバ（コンピュートサーバ１０、分散ＦＳサーバ２０）の情報を管理するための管理情報を格納する。サーバ管理テーブル３２４は、サーバ毎のエントリを格納する。サーバ管理テーブル３２４のエントリは、サーバ名３２４ａと、ＩＰアドレス３２４ｂと、サーバ種別３２４ｃとのフィールドを含む。

サーバ名３２４ａには、エントリに対応するサーバを識別する情報（例えば、サーバ名）を格納する。ここで、サーバ名は、例えば、ＦＥネットワーク２においてエントリに対応するサーバを識別するネットワーク識別子（例えば、ホスト名）である。ＩＰアドレス３２４ｂには、エントリに対応するサーバのＩＰアドレスが格納される。サーバ種別３２４ｃには、エントリに対応するサーバの種別（サーバ種別）が格納される。本実施形態では、サーバ種別としては、コンピュートサーバ、分散ＦＳサーバとがある。

次に、コンテナ管理テーブル３２５の構成について説明する。

図７は、第１実施形態に係るコンテナ管理テーブルの構成図である。

コンテナ管理テーブル３２５は、コンピュートサーバ１０にデプロイされたコンテナを管理するためのテーブルである。コンテナ管理テーブル３２５は、コンテナ毎のエントリを格納する。コンテナ管理テーブル３２５のエントリは、コンテナＩＤ３２５ａと、アプリケーション３２５ｂと、コンテナイメージ３２５ｃと、稼働サーバ３２５ｄと、ストレージデーモン３２５ｅと、ＰＶ ＩＤ３２５ｆと、デプロイ種別３２５ｇと、デプロイ制御ＩＤ３２５ｈと、のフィールドを含む。

コンテナＩＤ３２５ａには、エントリに対応するコンテナの識別子（コンテナＩＤ）が格納される。アプリケーション３２５ｂには、エントリに対応するコンテナを構成するアプリケーションの種別が格納される。アプリケーションの種別としては、ＮｏＳＱＬのＤＢコンテナを構成するアプリケーションであるＮｏＳＱＬ、ＳＱＬのＤＢコンテナを構成するアプリケーションであるＳＱＬ等がある。コンテナイメージ３２５ｃには、エントリに対応するコンテナの実行イメージの識別子が格納される。稼働サーバ３２５ｄには、エントリに対応するコンテナが稼働するコンピュートサーバ１０のサーバ名が格納される。なお、稼働サーバ３２５ｄには、サーバ名に代えてコンピュートサーバ１０のＩＰアドレスが格納されていてもよい。

ストレージデーモン３２５ｅには、エントリに対応するコンテナにＰＶを割り当てる制御プログラム（ストレージデーモン）の名前が格納される。ＰＶ ＩＤ３２５ｆには、エントリに対応するコンテナに割り当てられたＰＶの識別子（ＰＶ ＩＤ）が格納される。デプロイ種別３２５ｇには、エントリに対応するコンテナのデプロイの種別（デプロイ種別）が格納される。デプロイ種別としては、単一のコンピュートサーバ１０でコンテナを操作させるＮｏｎｅと、複数のサーバの組（レプリカセット：ＲｅｐｌｉｃａＳｅｔ）でコンテナを冗長化して動作させるＲｅｐｌｉｃａＳｅｔとがある。デプロイ制御ＩＤ３２５ｈには、エントリに対応するコンテナに対する制御に関する識別子（デプロイ制御ＩＤ）が格納される。ここで、同一のＲｅｐｌｉｃａＳｅｔとしてデプロイされたコンテナには、同一のデプロイ制御ＩＤが対応付けられる。

次に、ＰＶ管理テーブル３２６の構成について説明する。

図８は、第１実施形態に係るＰＶ管理テーブルの構成図である。

ＰＶ管理テーブル３２６は、ＰＶを管理するためのテーブルである。ＰＶ管理テーブル３２６は、ＰＶ毎のエントリを格納する。ＰＶ管理テーブル３２６のエントリは、ＰＶ ＩＤ３２６ａと、格納ストレージ３２６ｂと、ＦＳ ＩＤ３２６ｃと、のフィールドを含む。

ＰＶ ＩＤ３２６ａには、エントリに対応するＰＶの識別子（ＰＶ ＩＤ）が格納される。格納ストレージ３２６ｂには、エントリに対応するＰＶを格納する分散ＦＳサーバ２０のサーバ名が格納される。なお、格納ストレージ３２６ｂには、サーバ名に代えて分散ＦＳサーバ２０のＩＰアドレスが格納されてもよい。ＦＳ ＩＤ３２６ｃには、エントリに対応するＰＶを格納する分散ＦＳの識別子（ＦＳ ＩＤ）が格納される。

次に、データ保護可否テーブル３２７の構成について説明する。

図９は、第１実施形態に係るデータ保護可否テーブルの構成図である。

データ保護可否テーブル３２７は、アプリケーション毎のデータ保護（データ冗長化）の可否に関する情報（特徴情報）を管理するテーブルである。なお、データ保護可否テーブル３２７の設定値は、管理者により事前に登録されていてもよい。データ保護可否テーブル３２７は、アプリケーション毎のエントリを格納する。データ保護可否テーブル３２７のエントリは、アプリケーション３２７ａと、コンテナイメージ３２７ｂと、データ保護可否３２７ｃと、のフィールドを含む。

アプリケーション３２７ａには、エントリに対応するアプリケーションの種別が格納される。コンテナイメージ３２７ｂには、エントリに対応するアプリケーションで構成されるコンテナの実行イメージの識別子が格納される。データ保護可否３２７ｃには、エントリに対応するアプリケーションにより構成されるコンテナにおいて、データ保護が可能であるかを示すデータ保護可否（可能、不可能）の情報が格納される。データ保護可否３２７ｃにおいてデータ保護が可能である場合において、このアプリケーションにより構成されるコンテナについてＲｅｐｌｉｃａＳｅｔが構成されていれば、実際にデータ保護が行われる。

次に、分散ＦＳ制御テーブル２２３の構成について説明する。

図１０は、第１実施形態に係る分散ＦＳ制御テーブルの構成図である。

分散ＦＳ制御テーブル２２３は、分散ＦＳを管理し、制御するための情報を格納するテーブルである、分散ＦＳ制御テーブル２２３は、分散ＦＳに含まれる分散ＦＳサーバのデバイス（記憶装置）毎のエントリを含む。分散ＦＳ制御テーブル２２３のエントリは、ＦＳ ＩＤ２２３ａと、データ保護方式２２３ｂと、分散ＦＳサーバ２２３ｃと、デバイスファイル２２３ｄとのフィールドを含む。

ＦＳ ＩＤ２２３ａには、エントリに対応するデバイスで構成されている分散ＦＳの識別子（ＦＳ ＩＤ）が格納される。なお、エントリに対応するデバイスが分散ＦＳを構成していない場合には、ＦＳ ＩＤ２２３ａには、未使用と設定される。データ保護方式２２３ｂには、エントリに対応するデバイスにより構成されるＦＳにおけるデータ保護方式が格納される。データ保護方式としては、複製によってデータを保護するＲｅｐｌｉｃａｔｉｏｎと、複数の分散ＦＳサーバでデータを符号化し保護するＥｒａｓｕｒｅ Ｃｏｄｉｎｇと、データ保護方式を採用していないＮｏｎｅとがある。分散ＦＳサーバ２２３ｃには、エントリに対応するデバイスが含まれる分散ＦＳサーバ２０のサーバ名が格納される。なお、分散ＦＳサーバ２２３ｃには、サーバ名に代えて分散ＦＳサーバ２０のＩＰアドレスが格納されていてもよい。デバイスファイル２２３ｄには、エントリに対応するデバイスにアクセスするための制御情報であるデバイスファイルのパスが格納される。

次に、第１実施形態に係る計算機システム１の処理動作について説明する。

図１１は、第１実施形態に係るコンテナ作成処理のシーケンス図である。

管理サーバ３０のコンテナオーケストレータプログラム３２１（厳密には、コンテナオーケストレータプログラム３２１を実行するＣＰＵ３１）は、管理者からのＤＢコンテナ作成要求を受け取ると（Ｓ１０１）、ＤＢコンテナ作成を開始する（Ｓ１０２）。ここで、ＤＢコンテナ作成要求は、例えば、管理サーバ３０の入力装置を介して管理者から受け取ってもよいし、図示しない管理者の端末から受信するようにしてもよい。また、ＤＢコンテナ作成要求には、作成対象のＤＢコンテナ（対象コンテナ）の情報として、コンテナ管理テーブル３２５のエントリに登録する一部の情報（例えば、アプリケーション、コンテナイメージ、ストレージデーモン、デプロイ種別）とＤＢコンテナに割り当てるＰＶのサイズとが含まれる。

コンテナオーケストレータプログラム３２１は、ＤＢコンテナ作成を開始すると、ＤＢコンテナ管理プログラム３２２にＤＢコンテナ作成要求を渡すことによりＤＢコンテナの作成を指示する（Ｓ１０３）。

ＤＢコンテナの作成の指示を受け取ると、ＤＢコンテナ管理プログラム３２２は、コンピュートサーバ１０のサーバ内コンテナ制御プログラム１２１に指示してＤＢコンテナを作成し（Ｓ１０４）、ＤＢコンテナを作成した応答をコンテナオーケストレータプログラム３２１に返す（Ｓ１０５）。なお、ＤＢコンテナ作成要求に、ＲｅｐｌｉｃａＳｅｔの指定が含まれている場合には、コンテナオーケストレータプログラム３２１は、同一のＲｅｐｌｉｃａＳｅｔに含まれるＤＢコンテナの数分のコンピュートサーバ１０に対してＤＢコンテナを作成する。

次いで、コンテナオーケストレータプログラム３２１は、ＤＢコンテナ作成要求に含まれるストレージデーモン（分散ＦＳボリューム管理プログラム）を参照し、分散ＦＳボリューム管理プログラム３２３に対してＰＶ作成・割当要求を送信する（Ｓ１０６）。ここで、ＰＶ作成・割当要求には、ＰＶの割当先のコンテナＩＤ、ＰＶの容量等が含まれる。なお、ＤＢコンテナ作成要求に、ＲｅｐｌｉｃａＳｅｔの指定が含まれている場合には、コンテナオーケストレータプログラム３２１は、同一のＲｅｐｌｉｃａＳｅｔに含まれるＤＢコンテナの数分のＰＶについてのＰＶ作成・割当要求を送信する。

分散ＦＳボリューム管理プログラム３２３は、ＰＶ作成・割当要求を受け取ると、ＰＶの割当先のＤＢコンテナのデータ保護（冗長化）有無を判定するデータ保護有無判定処理（図１２参照）を行う（Ｓ１０７）。

次いで、分散ＦＳボリューム管理プログラム３２３は、ＰＶの割当先のＤＢコンテナでデータ保護がある場合には、データ保護があるＤＢコンテナに対してＰＶを作成して割り当てるＰＶ作成・割当処理（図１３参照）を行い（Ｓ１０８）、ＰＶの割り当てを行ったとの応答をコンテナオーケストレータプログラム３２１に返す（Ｓ１０９）。なお、ＰＶの割当先のＤＢコンテナでデータ保護がない場合には、分散ＦＳボリューム管理プログラム３２３は、ＤＢコンテナに対して分散ＦＳによるデータ保護のあるＰＶを作成して割り当てる。

コンテナオーケストレータプログラム３２１は、ＰＶの割り当てを行ったとの応答を受け取ると、作成したＤＢコンテナを起動し（Ｓ１１０）、ＤＢコンテナを起動したとの応答をＤＢコンテナ作成要求元に返す（Ｓ１１１）。

次に、ステップＳ１０７のデータ保護有無判定処理について説明する。

図１２は、第１実施形態に係るデータ保護有無判定処理のフローチャートである。

まず、分散ＦＳボリューム管理プログラム３２３は、コンテナオーケストレータプログラム３２１に問合わせて、コンテナ管理テーブル３２５からＰＶの割当先のコンテナ（対象コンテナ）の情報（アプリケーション種別、コンテナイメージの識別子、デプロイ種別等）を取得する（Ｓ２０１）。

次いで、分散ＦＳボリューム管理プログラム３２３は、ステップＳ２０１で取得した対象コンテナのアプリケーション種別及びコンテナイメージを用いて、データ保護可否テーブル３２７を参照し、対象コンテナのデータ保護可否の情報を取得する（Ｓ２０２）。

次いで、分散ＦＳボリューム管理プログラム３２３は、ステップＳ２０２で取得したデータ保護可否の情報に基づいて、対象コンテナがデータ保護可能であるか否かを判定し（Ｓ２０３）、対象コンテナがデータ保護可能であると判定した場合（Ｓ２０３：Ｙｅｓ）には、処理をステップＳ２０４に進める。

ステップＳ２０４では、分散ＦＳボリューム管理プログラム３２３は、対象コンテナが冗長化されているか否か、すなわち、デプロイ種別がＲｅｐｌｉｃａＳｅｔであるか否かを判定する。

この結果、分散ＦＳボリューム管理プログラム３２３は、対象コンテナが冗長化されていると判定した場合（Ｓ２０４：Ｙｅｓ）には、対象コンテナをデータ保護ありと判定し（Ｓ２０５）、処理を終了する。

一方、ステップＳ２０３で対象コンテナがデータ保護可能でないと判定した場合（Ｓ２０３：Ｎｏ）、又は、対象コンテナが冗長化されていないと判定した場合（Ｓ２０４：Ｎｏ）には、分散ＦＳボリューム管理プログラム３２３は、対象コンテナをデータ保護なしと判定し、処理を終了する。

次に、ステップＳ１０８のＰＶ作成・割当処理について説明する。

図１３は、第１実施形態に係るＰＶ作成・割当処理のフローチャートである。ＰＶ作成・割当処理は、データ保護有無判定処理において、データ保護ありと判定された場合に実行される。

分散ＦＳボリューム管理プログラム３２３は、分散ＦＳサーバ２０から分散ＦＳを構成する分散ＦＳサーバ２０の情報（例えば、分散ＦＳ制御テーブル２２３）を取得する（Ｓ３０１）。

次いで、分散ＦＳボリューム管理プログラム３２３は、分散ＦＳ制御テーブル２２３を参照し、冗長化されたコンテナ（同一のデプロイ制御ＩＤが振られているコンテナ）の数（冗長数）分のデータ保護なし（データ保護方式がＮｏｎｅ）の分散ＦＳを選択する（Ｓ３０２）。具体的には、分散ＦＳボリューム管理プログラム３２３は、分散ＦＳを構成する分散ＦＳサーバ２０を調べて、分散ＦＳを構成する分散ＦＳサーバ２０が重複しないように冗長数分の分散ＦＳを選択する。

次いで、分散ＦＳボリューム管理プログラム３２３は、ステップＳ３０２で冗長数分の分散ＦＳの選択が成功したか否かを判定する（Ｓ３０３）。

この結果、冗長数分の分散ＦＳの選択が成功したと判定した場合（Ｓ３０３：Ｙｅｓ）には、分散ＦＳボリューム管理プログラム３２３は、コンテナオーケストレータプログラム３２１に問合わせて、コンテナ管理テーブル３２５とＰＶ管理テーブル３２６とを取得し、これらテーブルを参照して、割当対象のコンテナが構成するＲｅｐｌｉｃａＳｅｔを構成するコンテナに対して重複しないように分散ＦＳを選択し（Ｓ３０４）、選択した分散ＦＳにおいて、データ保護なしのＰＶを作成し、ＰＶ管理テーブル３２６に作成したＰＶのエントリを登録し（Ｓ３０５）、処理をステップＳ３０９に進める。

一方、冗長数分の分散ＦＳの選択が成功していないと判定した場合（Ｓ３０３：Ｎｏ）には、分散ＦＳボリューム管理プログラム３２３は、冗長数分の新たな分散ＦＳを作成する分散ＦＳ作成処理（図１４参照）を実行する（Ｓ３０６）。

次いで、分散ＦＳボリューム管理プログラム３２３は、冗長数分の分散ＦＳの作成に成功したか否かを判定する（Ｓ３０７）。

この結果、冗長数分の分散ＦＳの作成に成功したと判定した場合（Ｓ３０７：Ｙｅｓ）には、分散ＦＳボリューム管理プログラム３２３は、処理をステップＳ３０４に進める。

一方、冗長数分の分散ＦＳの作成に成功していないと判定した場合（Ｓ３０７：Ｎｏ）には、分散ＦＳボリューム管理プログラム３２３は、各ＤＢコンテナに割り当てるためのデータ保護ありのＰＶ（データ保護方式がＮｏｎｅ以外）を作成し、ＰＶ管理テーブル３２６に作成したＰＶのエントリを登録し（Ｓ３０８）、処理をステップＳ３０９に進める。

ステップＳ３０９では、分散ＦＳボリューム管理プログラム３２３は、ＤＢコンテナを作成した各コンピュートサーバ１０のサーバ内コンテナ制御プログラム１２１に対して、作成したＰＶの情報（ＰＶ ＩＤ，接続情報等）を通知し、作成したＰＶを各コンテナに割り当てさせ、コンテナ管理テーブル３２５の各コンテナのレコードに割り当てたＰＶのＰＶ ＩＤを登録し、その後、処理を終了する。

次に、ステップＳ３０６の分散ＦＳ作成処理について説明する。

図１４は、第１実施形態に係る分散ＦＳ作成処理のフローチャートである。

分散ＦＳボリューム管理プログラム３２３は、分散ＦＳサーバ２０から分散ＦＳ制御テーブル２２３を取得し、分散ＦＳ制御テーブル２２３を参照し、未使用のデバイスを有する分散ＦＳサーバ２０を使用可能な分散ＦＳサーバ２０と特定する（Ｓ４０１）。

次いで、分散ＦＳボリューム管理プログラム３２３は、使用可能な分散ＦＳサーバ２０の数を、対象コンテナと同一のＲｅｐｌｉｃａＳｅｔを構成するコンテナ数で除算することにより、分散ＦＳあたりの分散ＦＳサーバ数を算出する（Ｓ４０２）。

次いで、分散ＦＳボリューム管理プログラム３２３は、分散ＦＳサーバ２０に指示して、ステップＳ４０２で算出した分散ＦＳサーバ数の分散ＦＳサーバ２０から構成される分散ＦＳを、ＲｅｐｌｉｃａＳｅｔの構成数分作成する（Ｓ４０３）。なお、分散ＦＳボリューム管理プログラム３２３は、各分散ＦＳを構成する分散ＦＳサーバ２０が重複しないようにして、分散ＦＳを作成する。

以上説明したように、本実施形態においては、データを冗長化して保護するＤＢコンテナに対しては、データ保護なしのＰＶを割り当てるようにしている。これにより、ＤＢコンテナにおいてデータ保護されているデータが、分散ＦＳにおいても重複してデータ保護されることを適切に防止することができ、記憶装置の記憶領域の利用効率を向上することができる。

＜第２実施形態＞
次に、第２実施形態に係る計算機システム１Ａの概要について説明する。なお、第２実施形態の説明において、第１実施形態に係る計算機システム１と同様な構成については同一の符号を付すこととする。

図１５は、第２実施形態に係る計算機システムにおけるＤＢコンテナへの永続化ボリューム割当処理の概要を説明する図である。

第２実施形態に係る計算機システム１Ａでは、分散ＦＳサーバの分散ＦＳのデータを、複数のブロックＳＤＳ（Software Defined Storage）サーバ４０により構成されるブロックＳＤＳクラスタが提供する容量プール４００に基づく論理ユニット（ＬＵ）に格納するようにしている。このようなシステムでは、ＤＢコンテナ、分散ＦＳ、ブロックＳＤＳの３つの層でデータ冗長化が行われうる。その場合、第１実施形態に比べ、さらに容量効率が悪くなる。

本実施形態の分散ＦＳ２００は、例えば、複数の分散ＦＳサーバ２０Ａによって高可用制御が行われる高可用構成とされている。ここで、高可用制御とは、１の分散ＦＳサーバ２０Ａが障害となった場合に、他の分散ＦＳサーバ２０Ａがサービスを継続するように制御することをいう。

本実施形態においては、分散ＦＳボリューム管理プログラム３２３は、コンテナオーケストレータプログラム３２１からコンテナ管理テーブル３２５（図７参照）を取得し、ＤＢコンテナプログラム１２３が冗長化されてＤＢデータ１３１がデータ保護されるか否かを判定する（図１５（１））。

分散ＦＳボリューム管理プログラム３２３は、ＤＢコンテナプログラム１２３のＤＢデータがデータ保護される場合には、分散ＦＳでデータ保護なしかつブロックＳＤＳでもデータ保護しないＰＶを作成して（図１５（２））、ＤＢコンテナプログラム１２３により構成されるＤＢコンテナに割り当てる。

本実施形態では、分散ＦＳボリューム管理プログラム３２３は、各ＤＢコンテナに割り当てられるＰＶ間で、記憶領域を提供するブロックＳＤＳサーバ４０が重複しないように、分散ＦＳ２００を選択する。なお、このような分散ＦＳ２００が存在しない場合には、新たに分散ＦＳ２００を作成するようにしている。

図１６は、第２実施形態に係る計算機システムの全体構成図である。なお、第２実施形態においては、第１実施形態に係る計算機システム１と同様な構成については同一符号を付すこととする。

計算機システム１Ａは、複数のコンピュートサーバ１０と、複数の分散ＦＳサーバ２０Ａと、複数のブロックＳＤＳサーバ４０と、管理サーバ３０と、ＦＥネットワーク２と、ＢＥネットワーク３と、を備える。

管理サーバ３０と、コンピュートサーバ１０と、分散ＦＳサーバ２０Ａと、ブロックＳＤＳサーバ４０とは、ＦＥネットワーク２を介して接続されている。また、複数の分散ＦＳサーバ２０Ａと、複数のブロックＳＤＳサーバ４０とは、ＢＥネットワーク３を介して接続されている。

ブロックＳＤＳサーバ４０は、ブロックストレージの一例であり、分散ＦＳサーバ２０Ａに対して論理的な記憶領域である論理ユニット（ＬＵ）を提供する。ブロックＳＤＳサーバ４０は、ＦＥネットワークＩ／Ｆ４４を介してＦＥネットワーク２に接続され、管理サーバ３０からの管理要求を受信し、処理する。ブロックＳＤＳサーバ４０は、ＢＥネットワークＩ／Ｆ４５を介してＢＥネットワーク３に接続され、分散ＦＳサーバ２０Ａや、他のブロックＳＤＳ４０との間で通信する。ブロックＳＤＳサーバ４０は、ＢＥネットワーク３を介して、分散ＦＳサーバ２０Ａからのデータの読み書きを実行する。

なお、図１６に示す計算機システム１Ａにおいては、コンピュートサーバ１０と、管理サーバ３０と、分散ＦＳサーバ２０Ａと、ブロックＳＤＳサーバ４０とを物理的に別のサーバとした例を示しているが、この構成に限られず、例えば、分散ＦＳサーバ２０ＡとブロックＳＤＳサーバ４０とを同じサーバで構成してもよい。

次に、分散ＦＳサーバ２０Ａの構成について説明する。

図１７は、第２実施形態に係る分散ＦＳサーバの構成図である。

分散ＦＳサーバ２０Ａは、第１実施形態に係る分散ＦＳサーバ２０において、メモリ２２に、外部ストレージ接続プログラム２２４と、高可用制御プログラム２２５と、外部接続ＬＵ管理テーブル２２６とをさらに格納する。

外部ストレージ接続プログラム２２４は、ＣＰＵ２１に実行されることにより、ブロックＳＤＳサーバ４０が提供するＬＵにアクセスする処理を行う。高可用制御プログラム２２５は、ＣＰＵ２１に実行されることにより、高可用構成となっている複数の分散ＦＳサーバ２０Ａ間で生死監視を行い、１つの分散ＦＳサーバ２０Ａの障害時に他の分散ＦＳサーバ２０Ａに処理を引き継ぐ。

外部接続ＬＵ管理テーブル２２６は、分散ＦＳサーバ２０Ａが接続したブロックＳＤＳサーバ４０が提供するＬＵを管理するテーブルである。外部接続ＬＵ管理テーブル２２６の詳細については、図１９を用いて後述する。

なお、ＢＥネットワークＩ／Ｆ２５は、例えば、ｉＳＣＳＩ、ＦＣ（Fibre channel）、ＮＶＭｅ－ｏＦ（NVMe over Fablic）でブロックＳＤＳサーバ４０に接続してもよい。

次に、ブロックＳＤＳサーバ４０の構成について説明する。

図１８は、第２実施形態に係るブロックＳＤＳサーバの構成図である。

ブロックＳＤＳサーバ４０は、プロセッサの一例としてのＣＰＵ４１、メモリ４２、記憶装置４３、ＦＥネットワークＩ／Ｆ４４、ＢＥネットワークＩ／Ｆ４５、及びＢＭＣ４６を有する。

ＣＰＵ４１は、メモリ４２上のプログラムに従って処理することによって、所定の機能を提供する。

メモリ４２は、例えば、ＲＡＭであり、ＣＰＵ４１で実行されるプログラムや、必要な情報を記憶する。メモリ４２は、ブロックＳＤＳ制御プログラム４２１及びＬＵ管理テーブル４２２を記憶する。

ブロックＳＤＳ制御プログラム４２１は、ＣＰＵ４１に実行されることにより、上位のクライアント（本実施形態では、分散ＦＳサーバ２０Ａ）に対してブロックレベルでの読み書きが可能なＬＵを提供する。

ＬＵ管理テーブル４２２は、ＬＵを管理するテーブルである。ＬＵ管理テーブル４２２の詳細については、図２０を用いて後述する。

ＦＥネットワークＩ／Ｆ４４は、ＦＥネットワーク２に接続するための通信インターフェースデバイスである。ＢＥネットワークＩ／Ｆ４５は、ＢＥネットワーク３に接続するための通信インターフェースデバイスである。ＦＥネットワークＩ／Ｆ４４と、ＢＥネットワークＩ／Ｆ４５は、例えば、イーサネット（登録商標）のＮＩＣであってもよく、ＩｎｆｉｎｉＢａｎｄのＨＣＡであってもよく、ｉＳＣＳＩ、ＦＣ、ＮＶＭｅ－ｏＦに対応していてもよい。

ＢＭＣ４６は、ブロックＳＤＳサーバ４０の電源制御インターフェースを提供するデバイスである。ＢＭＣ４６は、ＣＰＵ４１及びメモリ４２と独立して動作し、ＣＰＵ４１又はメモリ４２に障害が発生した場合でも、外部からの電源制御要求を受け付けて電源制御を処理することができる。

記憶装置４３は、ブロックＳＤＳサーバ４０で使用するＯＳや各種プログラムを記憶するとともに、分散ＦＳに対して提供するＬＵのデータを格納する不揮発性記憶媒体である。記憶装置４３は、ＨＤＤ、ＳＳＤ、ＮＶＭｅＳＳＤであってもよい。

次に、外部接続ＬＵ管理テーブル２２６の構成について説明する。

図１９は、第２実施形態に係る外部接続ＬＵ管理テーブルの構成図である。

外部接続ＬＵ管理テーブル２２６は、分散ＦＳサーバ２０Ａに接続されたブロックＳＤＳサーバ４０により提供されるＬＵを管理するための情報を格納する。外部接続ＬＵ管理テーブル２２６は、ＬＵ毎のエントリを格納する。外部接続ＬＵ管理テーブル２２６のエントリは、ブロックＳＤＳサーバ２２６ａと、ターゲット識別子２２６ｂと、ＬＵＮ２２６ｃと、デバイスファイル２２６ｄと、フェイルオーバ先分散ＦＳサーバ２２６ｅとのフィールドを含む。

ブロックＳＤＳサーバ２２６ａには、エントリに対応するＬＵを格納するブロックＳＤＳサーバ４０のサーバ名が格納される。ブロックＳＤＳサーバ２２６ａには、サーバ名に代えてブロックＳＤＳサーバ４０のＩＰアドレスが格納されていてもよい。ターゲット識別子２２６ｂには、エントリに対応するＬＵを格納するブロックＳＤＳサーバ４０のポートの識別情報（ターゲット識別子）が格納される。ターゲット識別子は、分散ＦＳサーバ２０ＡがブロックＳＤＳサーバ４０とのセッションの確立時に使用される。ＬＵＮ２２６ｃには、エントリに対応するＬＵのブロックＳＤＳクラスタ内での識別子（ＬＵＮ（Logical Unit Number））が格納される。デバイスファイル２２６ｄには、エントリに対応するＬＵについてのデバイスファイルのパスが格納される。フェイルオーバ先分散ＦＳサーバ２２６ｅには、エントリに対応するＬＵについてのフェイルオーバ先の分散ＦＳサーバ２０Ａのサーバ名が格納される。

次に、ＬＵ管理テーブル４２２の構成について説明する。

図２０は、第２実施形態に係るＬＵ管理テーブルの構成図である。

ＬＵ管理テーブル４２２は、ＬＵを管理する管理情報を格納する。ＬＵ管理テーブル４２２は、ＬＵ毎のエントリを格納する。ＬＵ管理テーブル４２２のエントリは、ＬＵＮ４２２ａと、データ保護レベル４２２ｂと、容量４２２ｃと、使用ブロックＳＤＳサーバ４２２ｄとのフィールドを含む。

ＬＵＮ４２２ａには、エントリに対応するＬＵのＬＵＮが格納される。データ保護レベル４２２ｂには、エントリに対応するＬＵのデータ保護レベルが格納される。データ保護レベルとしては、データ保護をしていないことを示すＮｏｎｅと、データを複製してデータ保護をしていることを示すＲｅｐｌｉｃａｔｉｏｎと、ＥＣ（Erasure Coding）によりデータ保護をしていることをしめすＥｒａｓｕｒｅ Ｃｏｄｅとがある。容量４２２ｃには、エントリに対応するＬＵの容量が格納される。使用ブロックＳＤＳサーバ４２２ｄには、エントリに対応するＬＵの記憶領域に使用されているブロックＳＤＳサーバ４０のサーバ名が格納されている。

次に、第２実施形態に係るＰＶ作成・割当処理について説明する。

図２１は、第２実施形態に係るＰＶ作成・割当処理のフローチャートである。

第２実施形態に係るＰＶ作成・割当処理は、図１３に示すＰＶ作成・割当処理に代えて実行される処理である。

分散ＦＳボリューム管理プログラム３２３は、分散ＦＳサーバ２０から分散ＦＳ制御テーブル２２３と外部接続ＬＵ管理テーブル２２６とを取得し、ブロックＳＤＳサーバ４０からＬＵ管理テーブル４２２を取得する（Ｓ５０１）。

次いで、分散ＦＳボリューム管理プログラム３２３は、分散ＦＳによる冗長化がされておらず、使用するＬＵがデータ保護されていない分散ＦＳであって、使用するブロックＳＤＳサーバ４０が重複しない分散ＦＳを、冗長数分だけ選択する（Ｓ５０２）。具体的には、分散ＦＳによる冗長化されていない分散ＦＳであることは、分散ＦＳ制御テーブル２２３を参照し、データ保護方式がＮｏｎｅであることにより特定できる。また、特定した分散ＦＳで使用するＬＵがデータ保護されていないことは、分散ＦＳ制御テーブル２２３を参照して分散ＦＳのデバイスファイルを特定し、外部接続ＬＵ管理テーブル２２６を参照し、特定したデバイスファイルに対応するブロックＳＤＳサーバ及びＬＵＮを特定し、特定したブロックＳＤＳサーバのＬＵ管理テーブル４２２を参照して、特定したＬＵＮのＬＵのデータ保護レベルがＮｏｎｅであることにより特定される。また、分散ＦＳで使用するブロックＳＤＳサーバ４０が重複しているか否かについては、ＬＵ管理テーブル４２２の各分散ＦＳに対応するＬＵの使用ブロックＳＤＳサーバを参照することにより特定できる。

次いで、分散ＦＳボリューム管理プログラム３２３は、ステップＳ３０２で冗長数分の分散ＦＳが存在するか否かを判定する（Ｓ５０３）。

この結果、冗長数分の分散ＦＳが存在すると判定した場合（Ｓ５０３：Ｙｅｓ）には、分散ＦＳボリューム管理プログラム３２３は、コンテナオーケストレータプログラム３２１に問合わせて、コンテナ管理テーブル３２５とＰＶ管理テーブル３２６を取得し、これらテーブルを参照して、割当対象のコンテナを含むＲｅｐｌｉｃａＳｅｔを構成するコンテナに対して重複しないように分散ＦＳを選択し（Ｓ５０４）、選択した分散ＦＳにおいて、データ保護なしのＰＶを作成し、ＰＶ管理テーブル３２６に作成したＰＶのエントリを登録し（Ｓ５０５）、処理をステップＳ５０９に進める。

一方、冗長数分の分散ＦＳが存在していないと判定した場合（Ｓ５０３：Ｎｏ）には、分散ＦＳボリューム管理プログラム３２３は、冗長数分の新たなＬＵ及び分散ＦＳを作成するＬＵ・分散ＦＳ作成処理（図２２参照）を実行する（Ｓ５０６）。

次いで、分散ＦＳボリューム管理プログラム３２３は、冗長数分の分散ＦＳの作成に成功したか否かを判定する（Ｓ５０７）。

この結果、冗長数分の分散ＦＳの作成に成功したと判定した場合（Ｓ５０７：Ｙｅｓ）には、分散ＦＳボリューム管理プログラム３２３は、処理をステップＳ５０４に進める。

一方、冗長数分の分散ＦＳの作成に成功していないと判定した場合（Ｓ５０７：Ｎｏ）には、分散ＦＳボリューム管理プログラム３２３は、任意の分散ＦＳに、各ＤＢコンテナに割り当てるためのデータ保護ありのＰＶ（データ保護方式がＮｏｎｅ以外）を作成し、ＰＶ管理テーブル３２６に作成したＰＶのエントリを登録し（Ｓ５０８）、処理をステップＳ５０９に進める。

ステップＳ５０９では、分散ＦＳボリューム管理プログラム３２３は、ＤＢコンテナを作成した各コンピュートサーバ１０のサーバ内コンテナ制御プログラム１２１に対して、作成したＰＶの情報（ＰＶ ＩＤ，接続情報等）を通知し、作成したＰＶを各コンテナに割り当てさせ、コンテナ管理テーブル３２５の各コンテナのレコードに割り当てたＰＶのＰＶ ＩＤを登録し、その後、処理を終了する。

この処理によると、データを冗長化して保護するＤＢコンテナに対しては、データ保護なしの分散ＦＳにおける、データ保護のないＬＵにより構成されたＰＶを割り当てるようにしている。これにより、ＤＢコンテナにおいてデータ保護されているデータが、分散ＦＳやブロックＳＤＳサーバにおいても重複してデータ保護されることを適切に防止することができ、記憶装置の記憶領域の利用効率を適切に向上することができる。

次に、第２実施形態に係るＬＵ・分散ＦＳ作成処理について説明する。

図２２は、第２実施形態に係るＬＵ・分散ＦＳ作成処理のフローチャートである。

ＬＵ・分散ＦＳ作成処理においては、分散ＦＳボリューム管理プログラム３２３は、対象ブロックを含むＲｅｐｌｉｃａＳｅｔに含まれるコンテナ数分の分散ＦＳを作成する。ここで、作成する分散ＦＳは、データ保護なしであり、且つデータ保護なしのＬＵを用いて構成される。

まず、分散ＦＳボリューム管理プログラム３２３は、コンテナオーケストレータプログラム３２１に問合わせてサーバ管理テーブル３２４を取得し、サーバ管理テーブル３２４を参照して、サーバ管理テーブル３２４に登録されている全ての分散ＦＳサーバを使用可能な分散ＦＳサーバとして特定する（Ｓ６０１）。

次いで、分散ＦＳボリューム管理プログラム３２３は、使用可能な分散ＦＳサーバ２０の数を、対象コンテナのＲｅｐｌｉｃａＳｅｔを構成するコンテナ数で除算することにより、分散ＦＳあたりの分散ＦＳサーバ数を算出する（Ｓ６０２）。

次いで、分散ＦＳボリューム管理プログラム３２３は、ステップＳ６０１で取得したサーバ管理テーブル３２４を参照し、使用可能なブロックＳＤＳサーバ４０を特定する（Ｓ６０３）。

次いで、分散ＦＳボリューム管理プログラム３２３は、作成する分散ＦＳごとに使用するブロックＳＤＳサーバ４０を決定する（Ｓ６０４）。

次いで、分散ＦＳボリューム管理プログラム３２３は、ブロックＳＤＳサーバ４０に指示して、ステップＳ６０４で決定したブロックＳＤＳサーバ４０を使用し、分散ＦＳごとに、ステップＳ６０２で決定した分散ＦＳあたりのサーバ数分のＬＵを作成する（Ｓ６０５）。

次いで、分散ＦＳボリューム管理プログラム３２３は、作成したＬＵを分散ＦＳサーバ２０Ａに接続し、必要な数の分散ＦＳを作成する（Ｓ６０６）。この際、分散ＦＳボリューム管理プログラム３２３は、それぞれの分散ＦＳにおける、分散ＦＳを構成する分散ＦＳサーバ及びブロックＳＤＳサーバが重複しないようにする。

次いで、分散ＦＳボリューム管理プログラム３２３は、作成した各ＬＵのフェイルオーバ先の分散ＦＳサーバ２０Ａを選択し、ＬＵを接続した分散ＦＳサーバ２０Ａと選択した分散ＦＳサーバ２０Ａとを高可用制御を行う高可用設定とし（Ｓ６０７）、処理を終了する。

次に、第２実施形態に係るフェイルオーバ処理について説明する。

図２３は、第２実施形態に係るフェイルオーバ処理のシーケンス図である。

計算機システム１Ａの複数の分散ＦＳサーバ２０Ａの高可用制御プログラム２２５は、他の分散ＦＳサーバ４０の高可用制御プログラム２２５との間で、生死確認を行うためのハートビートを送受信する（Ｓ７０１）。

ここで、分散ＦＳサーバ２０Ａ（図２３では、分散ＦＳサーバＡ）において、何らかの障害が発生した場合（Ｓ７０２）には、他の分散ＦＳサーバ２０Ａ（図２３では、分散ＦＳサーバＢ）の高可用制御プログラム２２５は、分散ＦＳサーバＡからのハートビートを受信できないことから障害が発生したことを検知する（Ｓ７０３）。

分散ＦＳサーバＢの高可用制御プログラム２２５は、障害の発生した分散ＦＳサーバＡのＢＭＣ２６に電源を遮断する指示を行い、分散ＦＳサーバＡの電源を遮断させる（Ｓ７０４）。

次いで、分散ＦＳサーバＢの高可用制御プログラム２２５は、分散ＦＳサーバＡのフェイルオーバ（Ｆ．Ｏ）先の分散ＦＳサーバＣに対して、フェイルオーバ指示を送信する（Ｓ７０５）。

フェイルオーバ指示を受けた分散ＦＳサーバＣの高可用制御プログラム２２５は、分散ＦＳサーバＡに使用されていたＬＵを接続し（Ｓ７０６）、フェイルオーバを実行するために、分散ＦＳ制御プログラム２２１を起動し（Ｓ７０７）、分散ＦＳ制御プログラム２２１により分散ＦＳサーバＡで実行される処理と同じ処理を開始し（Ｓ７０８）、処理を終了する。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。

例えば、上記実施形態における分散ＦＳ作成処理（図１４）及びＬＵ・分散ＦＳ作成処理（図２２）では、冗長数分の分散ＦＳを作成するようにしていたが、本発明はこれに限られず、冗長数分に足りない数分（不足分）の分散ＦＳを作成するようにしてもよい。

また、上記実施形態では、ＤＢを管理するＤＢコンテナに対してＰＶを割り当てる例を示していたが、本発明はこれに限られず、例えば、ＤＢを管理するＶＭや、ベアメタルサーバで実行されるＤＢを管理するプロセスに対してボリュームを割り当てる際にも適用することができる。

また、上記実施形態では、分散ＦＳサーバ２０をベアメタルサーバで構成した例を示していたが、分散ＦＳサーバ２０を、コンテナや、ＶＭ（仮想マシン）で構成してもよい。

また、上記実施形態において、ＣＰＵが行っていた処理の一部又は全部を、ハードウェア回路で行うようにしてもよい。また、上記実施形態におけるプログラムは、プログラムソースからインストールされてよい。プログラムソースは、プログラム配布サーバ又は記録メディア（例えば可搬型の記録メディア）であってもよい。

１，１Ａ…計算機システム、１０…コンピュートサーバ、２０，２０Ａ…分散ＦＳサーバ、３０…管理サーバ、３１…ＣＰＵ、４０…ブロックＳＤＳサーバ、２００…分散ＦＳ

Claims (11)

1. 複数のファイルサーバを有し、ファイルを分散して管理する分散ファイルシステムと、前記分散ファイルシステムから提供される記憶領域を用いて所定の処理を実行する処理機能を有する複数の処理サーバと、前記処理サーバへの記憶領域の割り当てを管理する管理装置とを有する計算機システムであって、
   前記管理装置のプロセッサは、
   前記複数の処理サーバによって前記記憶領域のデータが冗長化によるデータ保護されるか否かを判定し、
   前記記憶領域のデータがデータ保護されると判定した場合に、前記複数の処理サーバの前記記憶領域として、前記分散ファイルシステムから前記分散ファイルシステムによってデータの冗長化によるデータ保護が実行されない記憶領域を割り当てる
   計算機システム。
2. 前記管理装置は、
   前記処理サーバの処理機能におけるデータ保護に関する特徴情報を記憶し、
   前記プロセッサは、
   前記特徴情報に基づいて、前記複数の処理サーバによって前記記憶領域のデータが冗長化によるデータ保護されるか否かを判定する
   請求項１に記載の計算機システム。
3. 前記分散ファイルシステムを複数有し、複数の前記分散ファイルシステムは、重複しない前記ファイルサーバの組で構成され、
   前記処理サーバの処理機能を複数の前記処理サーバで冗長化することにより、データ保護を行い、
   前記プロセッサは、
   前記処理機能を冗長化した複数の前記処理サーバのそれぞれに対して、異なる前記分散ファイルシステムの記憶領域を割り当てる
   請求項１に記載の計算機システム。
4. 前記プロセッサは、
   前記処理機能を冗長化した複数の前記処理サーバに対して、異なる分散ファイルシステムの記憶領域を割り当てることが可能でない場合に、重複しないファイルサーバの組で構成される新たな分散ファイルシステムを複数作成し、作成した分散ファイルシステムの記憶領域を用いて、前記処理機能を冗長化した複数の処理サーバに対して、異なる前記分散ファイルシステムの記憶領域を割り当てる
   請求項３に記載の計算機システム。
5. 前記プロセッサは、
   使用可能なファイルサーバの数を、前記処理機能を冗長化した前記複数の処理サーバのサーバ数で除算することにより得られた数の前記ファイルサーバにより前記新たな分散ファイルシステムを作成する
   請求項４に記載の計算機システム。
6. ブロックレベルでデータを格納する記憶領域を有する論理ユニットを前記分散ファイルシステムに提供するブロックストレージを複数有し、
   前記分散ファイルシステムは、前記記憶領域として、前記ブロックストレージから提供される論理ユニットの記憶領域を提供する
   請求項１に記載の計算機システム。
7. 前記分散ファイルシステムを複数有し、
   前記処理サーバの処理機能を複数の処理サーバで冗長化することにより、データ保護を行い、
   前記プロセッサは、
   前記処理機能を冗長化した複数の処理サーバに対して、異なる前記ブロックストレージの記憶領域が提供される異なる分散ファイルシステムの記憶領域を割り当てる
   請求項６に記載の計算機システム。
8. 前記プロセッサは、
   前記処理機能を冗長化した複数の処理サーバに対して、異なる前記ブロックストレージの記憶領域が提供される異なる分散ファイルシステムであって、それそれの分散ファイルシステムがファイルサーバのいずれかに障害が発生した場合に他のファイルシステムがフェイルオーバ可能に構成されている分散ファイルシステムの記憶領域を割り当てる
   請求項７に記載の計算機システム。
9. 前記処理機能は、前記処理サーバに構築されたコンテナ、又は仮想マシンにより実現される
   請求項１に記載の計算機システム。
10. 前記処理機能は、データをデータベースで管理する機能である
    請求項１に記載の計算機システム。
11. 複数のファイルサーバを有し、ファイルを分散して管理する分散ファイルシステムと、前記分散ファイルシステムから提供される記憶領域を用いて所定の処理を実行する処理機能を有する複数の処理サーバと、前記処理サーバへの記憶領域の割り当てを管理する管理装置とを有する計算機システムによる記憶領域割当制御方法であって、
    前記管理装置は、
    前記複数の処理サーバによって前記記憶領域のデータが冗長化によるデータ保護されるか否かを判定し、
    前記記憶領域のデータがデータ保護されると判定した場合に、前記複数の処理サーバの前記記憶領域として、前記分散ファイルシステムから前記分散ファイルシステムによってデータの冗長化によるデータ保護が実行されない記憶領域を割り当てる
    記憶領域割当制御方法。