JP2022182744A - 分散処理支援システム - Google Patents

Abstract

【課題】信頼性の低いノードを用いた場合でも分散処理を効率良く行うことができるようにする。【解決手段】分散処理支援システムは、分散処理を行う複数の仮想サーバを含むクラスタを複数作成するクラスタ作成部と、クラスタのそれぞれの現在の処理能力を取得する処理能力測定部と、処理能力に応じてクラスタを選択し、選択したクラスタへの接続情報を送出する接続情報送信部と、を備える。【選択図】図１

Description

本発明は、分散処理支援システムに関する。

分散処理のために複数のノードから構成されるクラスタが利用されている。特許文献１には、リソース使用に空きがでないようにタスクを実行する環境を作る技術が開示されている。

特開２０１６－１１５０６５号公報

しかしながら、特許文献１では確実に利用可能なコンピュータが起動されていることを前提としているところ、クラウドコンピューティングでは、複数の利用者が１台のコンピュータを共有できるようにしてコスト低減を図ることが行われており、そのような場合、ノードを起動したとしても実際に利用を開始するまで、そのノードが確実に利用可能であることが保障されず、効率的なタスク処理を行うことができない。

本発明はこのような背景を鑑みてなされたものであり、信頼性の低いノードを用いた場合でも分散処理を効率良く行うことのできる技術を提供することを目的とする。

上記課題を解決するための本発明の主たる発明は、分散処理支援システムであって、分散処理を行う複数の仮想サーバを含むクラスタを複数作成するクラスタ作成部と、前記クラスタのそれぞれの現在の処理能力を取得する処理能力測定部と、前記処理能力に応じて前記クラスタを選択し、選択した前記クラスタへの接続情報を送出する接続情報送信部と、を備えることとする。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

本開示によれば、信頼性の低いノードを用いた場合でも分散処理を効率良く行うことができる。

本実施形態に係る分散処理システムの全体構成を説明するための図である。 管理コンピュータ２のハードウェア構成例を示す図である。 管理サーバ２のソフトウェア構成例を示す図である。

以下、本発明の実施形態の内容を列記して説明する。本発明は、以下のような構成を備える。

［項目１］
分散処理を行う複数の仮想サーバを含むクラスタを複数作成するクラスタ作成部と、
前記クラスタのそれぞれの現在の処理能力を取得する処理能力測定部と、
前記処理能力に応じて前記クラスタを選択し、選択した前記クラスタへの接続情報を送出する接続情報送信部と、
を備えることを特徴とする分散処理支援システム。
［項目２］
項目１に記載の分散処理支援システムであって、
前記処理能力測定部は、前記クラスタのそれぞれについて、前記クラスタに含まれる前記仮想サーバのそれぞれが動作しているか否かを判定し、全ての前記仮想サーバが動作している前記クラスタからひとつを選択すること、
を特徴とする分散処理支援システム。
［項目３］
項目２に記載の分散処理支援システムであって、
前記クラスタ作成部は、動作していない前記仮想サーバが含まれている前記クラスタについて、当該クラスタを再起動すること、
を特徴とする分散処理支援システム。

以下、本発明の一実施形態に係る分散処理システムについて図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。

図１は、本実施形態に係る分散処理システムの全体構成を説明するための図である。本実施形態の分散処理システムは、ユーザ装置１、管理サーバ２およびクラウドサービス３を含んで構成されている。本実施形態の分散処理システムは、クラスタ３１をクラウドサービス３が提供し、ユーザ装置１がクラスタ３１を利用したＭａｐＲｅｄｕｃｅ処理を行うことを想定する。ここでＭａｐＲｅｄｕｃｅ処理を実行するクラスタ３１は複数のノード３２から構成される。ノード３２は仮想コンピュータである。本実施形態では、ノード３２はスポット利用、すなわち、クラウドサービス３内で利用されていない仮想コンピュータを利用可能となることを想定している。したがって、予めクラスタ３１を起動していても、実際に使用する際に確実にノード３２が動作している保証が存在しない。そこで、本実施形態では、管理サーバ２がクラスタ３１の状態を監視し、ユーザ装置１は、管理サーバ２に利用可能なクラスタ３１を問い合わせて利用するようにしている。

ユーザ装置１は、ＭａｐＲｅｄｕｃｅ処理を利用したアプリケーションを実行するコンピュータである。ユーザ装置１は、たとえば、パーソナルコンピュータやスマートフォンなどのクライアント側のコンピュータであってもよいし、クライアントコンピュータからアクセスされるるサーバコンピュータであってもよい。

管理サーバ２は、クラスタ３１の起動や監視を行うコンピュータである。管理サーバ２は、たとえば、パーソナルコンピュータやワークステーションなどのコンピュータとすることができる。また、管理サーバ２も、クラウドサービス３が提供する仮想コンピュータにより実現することもできる。なお、管理サーバ２についてはスポット利用ではなく、常時利用可能であるオンデマンド利用されることを想定している。

クラウドサービス３は、各種のクラウドコンピューティングサービスを提供する。クラウドサービス３は、たとえば複数のコンピュータにより実現することができる。本実施形態では、クラウドサービス３は、１台のコンピュータとして管理サーバ２は認識可能であり、クラウドサービス３に対してアクセスすることにより、仮想コンピュータの起動や停止を含む各種のクラウドコンピューティングサービスを了する利用することができる。

図２は、管理コンピュータ２のハードウェア構成例を示す図である。管理コンピュータ２は、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、通信インタフェース２０４、入力装置２０５、出力装置２０６を備える。記憶装置２０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース２０４は、通信ネットワークに接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置２０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置２０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。

図３は、管理サーバ２のソフトウェア構成例を示す図である。管理サーバ２は、クラスタ作成部２１１、処理能力測定部２１２、接続情報送信部２１３、設定情報記憶部２３１を備える。

なお、クラスタ作成部２１１、処理能力測定部２１２、接続情報送信部２１３は、管理サーバ２が備えるＣＰＵ２０１が記憶装置２０３に記憶されているプログラムをメモリ２０２に読み出して実行することにより実現され、設定情報記憶部２３１は、メモリ２０２および記憶装置２０３が提供する記憶領域の一部として実現される。

設定情報記憶部２３１は、クラスタ３１に関する設定情報を記憶する。設定情報には、たとえば、クラスタ３１を構成するノード３２の数や、クラスタ３１（または、その管理ノード）に割り当てるＩＰアドレスおよびホスト名などを含めることができる。

クラスタ作成部２１１は、クラスタ３１を作成する。クラスタ作成部２１１は、たとえば、クラウドサービス３に対してコマンドを送信することにより、ノード３２を起動し、クラスタ３１を構築することができる。本実施形態では、クラスタ作成部２１１は、スポット利用によるノード３２を起動することができる。

処理能力測定部２１２は、クラスタ３１の状態（処理能力）を検出する。処理能力測定部２１２は、たとえば、ＩＣＭＰのリクエストを送信し、その応答を検出する、いわゆるｐｉｎｇによりノード３１が利用可能かどうかの、いわゆる死活を監視することができる。処理能力測定部２１２は、ｐｉｎｇのみでなく、たとえば、ＳＳＨなどによるログイン処理が可能かどうかなど、ノード３１がＭａｐＲｅｄｕｃｅ処理を行うことが可能かどうかを判定するようにしてもよい。また、処理能力測定部２１２は、たとえば、クラスタ３１の管理を行っているノード３２（管理ノード）に対してリクエストを送信して、クラスタ３１におけるＭａｐＲｅｄｕｃｅ処理による負荷の状態を取得することができる。

接続情報送信部２１３は、ユーザ装置１に対してクラスタ３１への接続情報を送信する。接続情報とは、クラスタ３１（またはその管理ノード）にアクセスするための情報であり、たとえば、ＵＲＬやＩＰアドレスなどを含めることができる。接続情報送信部２１３は、ＡＰＩサーバとして機能し、ユーザ装置１からのリクエストに応じて、ユーザ装置１がアクセスすべきクラスタ３１を決定し、決定したクラスタ３１にアクセスするための接続情報を応答する。接続情報送信部２１３は、たとえば、処理能力測定部２１２による検出結果に応じて、たとえば、クラスタ３１を構成する利用可能なノード３２の数が最も多いクラスタ３１、あるいは、ノード３２のＣＰＵの利用率やメモリの使用量の合計が最も小さい（処理負荷が最も小さい）クラスタ３１を、ユーザ装置１がアクセスすべきクラスタ３１として決定することができる。

図１に戻り、本実施形態の分散処理システムの動作について説明する。

まず管理サーバ２のクラスタ作成部２１１は、予め所定数（設定情報として指定することができる。）のクラスタ３１を作成する（Ｓ１０１）。すなわち、クラウドサービス３においてクラスタ作成部２１１は、設定情報に応じた数のノード３２を起動し、クラスタ３１として構成するようにノード３２の設定処理を行うことができる。

管理サーバ２がユーザ装置１からＭａｐＲｅｄｕｃｅ処理を行うために利用するクラスタ３１の問い合わせを受信すると（Ｓ１０２）、処理能力測定部２１２は、クラスタ３１の状態を検出し（Ｓ１０３）、接続情報送信部２１３は、検出結果に応じて、ユーザ装置１がアクセスすべきクラスタ３１を決定して、決定したクラスタ３１への接続情報を応答する（Ｓ１０４）。

ユーザ装置１は、管理サーバ２から応答された接続情報を用いて、クラウドサービス３が提供するクラスタ３１にアクセスして、ＭａｐＲｅｄｕｃｅ処理を実行する（Ｓ１０５）。

以上のようにして、本実施形態の分散処理システムによれば、クラスタ３１の状態（処理が可能かどうか、処理の負荷が高いかどうか）に応じて、ユーザ装置１が利用するべきクラスタ３１を決定して、そこにユーザ装置１を接続させることができる。したがって、効率的にクラスタ３１を利用することが可能となる。

また、本実施形態の分散処理システムによれば、クラスタ３１を構成するノード３２の死活を確認することができるので、スポット利用のようにノード３２の利用可能性が保証されていないようなサービスであっても、ユーザ装置１には利用可能なクラスタ３１への接続情報を提供することができる。よって、比較的安価に提供されるスポット利用のノード３２を利用しながらも、ユーザ装置１に対しては常時利用可能な状態を仮想的に実現することができる。

以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換および変更を行なって実施することが出来る。これらの実施形態および変形例ならびに省略、置換および変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。

たとえば、本実施形態では、管理サーバ２は予め起動したクラスタ３１の状態のみに基づいて接続情報を応答するものとしたが、これに限らず、たとえば、所定の条件（たとえば、ＣＰＵの利用率が所定値以下であることやメモリの空き容量が所定値以上であることなど、任意の条件を指定することができる）を満たすクラスタ３１が存在していない場合には、クラスタ起動部２１１が新たにクラスタ３１を作成し、接続情報送信部２１３は、作成したクラスタ３１に対する接続情報を応答するようにしてもよい。

また、本実施形態では、クラスタ３１を構成するノード３２は全てスポット利用を想定していたが、これに限らず、たとえば、ＭａｐＲｅｄｕｃｅ処理に関する管理を行う管理ノードについては、スポット利用ではなくオンデマンド利用とし、処理能力測定部２１２が常に管理ノードとの間で、クラスタ３１の状況をやりとりすることができるようにしてもよい。

また、本実施形態では、接続情報送信部２１３は、クラスタ３１の状況を総合的に判断して、ユーザ端末１がアクセスすべきクラスタ３１を決定するものとしたが、たとえば、ノード３２が所定数（たとえば１とすることができる。）動作していない（あるいは、処理を受け付けていない）場合に、そのクラスタ３１を候補から外すようにしてもよい。さらに、ノード３２が所定数動作していない（あるいは、処理を受け付けていない）場合には、クラスタ作成部２１１は、そのクラスタ３１を再起動するようにしてもよい。

２１１ クラスタ作成部
２１２ 処理能力測定部
２１３ 接続情報送信部
２３１ 設定情報記憶部

Claims (3)

1. 分散処理を行う複数の仮想サーバを含むクラスタを複数作成するクラスタ作成部と、
   前記クラスタのそれぞれの現在の処理能力を取得する処理能力測定部と、
   前記処理能力に応じて前記クラスタを選択し、選択した前記クラスタへの接続情報を送出する接続情報送信部と、
   を備えることを特徴とする分散処理支援システム。
2. 請求項１に記載の分散処理支援システムであって、
   前記処理能力測定部は、前記クラスタのそれぞれについて、前記クラスタに含まれる前記仮想サーバのそれぞれが動作しているか否かを判定し、全ての前記仮想サーバが動作している前記クラスタからひとつを選択すること、
   を特徴とする分散処理支援システム。
3. 請求項２に記載の分散処理支援システムであって、
   前記クラスタ作成部は、動作していない前記仮想サーバが含まれている前記クラスタについて、当該クラスタを再起動すること、
   を特徴とする分散処理支援システム。

Images