JP2005115685A - 分散計算システムおよびその負荷分散方法 - Google Patents

Abstract

【課題】 分散計算システムにおける負荷分散技術を提供すること。
【解決手段】 ユーザ端末200と、性能（通信性能，計算性能）に関わる情報を計測しデータファイル名とともにデータサーバへ送信する計測部を有する計算サーバ400と、性能に関わる情報を計測情報テーブルとして管理る計測情報管理部，計測情報テーブルを用いて性能を評価する性能評価部，性能低下検出時にレプリカ対象のデータファイルを選択するデータファイル選択部，およびレプリカ配置データサーバへレプリカを作成するレプリカ作成部を有するデータサーバ300と、レプリカ配置サーバ選択部を有するシステム制御サーバ500とから構成される。
【選択図】 図１

Description

本発明は、ネットワークに分散して接続された複数の計算サーバおよびデータサーバを統合して、ネットワークに分散して接続された複数のユーザ端末から共有できる仕組みを提供する分散計算システムに係り、特に、分散計算システムの負荷分散技術に関するものである。

ネットワークに分散して接続された複数の計算サーバ・データサーバを統合して、ネットワークに分散して接続された複数のユーザ端末から共有できる仕組みを提供するグリッド（Grid）と呼ばれる分散計算システムがある（例えば、"特集グリッドコンピューティング",情報処理,pp576〜614,Vol.44,No6,June,2003（非特許文献１）参照）。この分散計算システムは、ネットワーク上に分散したユーザ端末からリクエストを受けた計算処理を、ネットワーク上の任意の計算サーバで実行させるものである。

ユーザからリクエストされる計算処理の中には、分散接続されているデータサーバに蓄積されたデータファイルを用いる計算処理がある。その場合、計算サーバは、計算処理を開始する前に、ユーザが指定したデータファイルを、該データファイルを蓄積している任意のデータサーバからネットワーク経由でダウンロードする必要がある。

分散計算システムにおける計算サーバの計算負荷やネットワークの通信負荷は刻々変動するため、分散計算システムでは、ユーザから計算処理リクエストを受ける度に、現在の各計算サーバの計算負荷やネットワーク通信負荷を考慮して、計算処理リクエストに対する応答時間（データサーバからのデータファイルダウンロード時間と計算サーバにおける計算時間の和）が短くなるデータサーバおよび計算サーバを選択し、該計算サーバが該データサーバから該データファイルをダウンロードした後、計算処理を開始する。

計算サーバでの計算処理は、データファイルのダウンロードが完了した後に開始されるため、データファイル容量、あるいは、ネットワークの通信負荷状況によってデータファイルのダウンロード時間が計算時間よりも支配的（ボトルネック）となることがある。

特に、あるデータサーバに置かれている大容量データファイルを扱った計算処理が頻繁に発生すると、該データサーバ周辺のネットワークの通信負荷およびデータファイルダウンロード時間が増大し、その結果、分散計算システムの計算サーバの稼動率が低下し、分散計算システムの性能が十分発揮できなくなる問題が指摘されている。ここで「データサーバ周辺」とあるのは、データサーバからデータファイルをダウンロードする際に生じるトラヒックが流れるエリアを指している。以下、同様の意味で「周辺」というものとする。

この問題に対して、ネットワーク上に分散したデータサーバにデータファイルのレプリカを配置することによって、通信負荷、計算負荷を分散させ、分散計算システム全体の平均応答時間の短縮を図るデータファイルのレプリカ作成法が検討されている（竹房,建部,松岡,森田, "Grid Datafarmにおけるスケジューリング・複製手法の性能評価",情処研報, HPC-91,pp137〜142,Aug,2002（非特許文献２）およびK.Ranganathan,I.Foster, "Decoupling Computation and Data Scheduling in Distributed Data-Intensive Applications", 11th IEEE international Symposium on High Performance Distributed Computing（HDPC-11）,2002（非特許文献３）参照）。

以下、従来の分散計算システムの負荷分散方法について具体的に説明する。
図１０は、従来の分散計算システムの構成例を示す図である。
図１０に示した従来の分散計算システムは、複数のユーザ端末と、複数のデータサーバと、複数の計算サーバと、システム制御サーバ１５００とを有する。

本構成例では、複数のユーザ端末，複数のデータサーバおよび複数の計算サーバがネットワーク上に分散して接続されている。図１０に示す分散計算システムでは、複数のユーザ端末，複数のデータサーバ，および複数の計算サーバのうち、ひとつのユーザ端末，ひとつのデータサーバ，ひとつの計算サーバにだけに代表させて参照符号１２００，１３００，および１４００を付すとともに、システム制御サーバに参照符号１５００を付している。

図１０におけるユーザ端末１２００は、データファイル名と計算処理方法を含んだ計算処理リクエストのメッセージをシステム制御サーバ１５００へ送信する機能を有する。

図１０におけるデータサーバ１３００は、複数のデータファイルを蓄積しており、蓄積されている任意のデータファイルに対してダウンロード要求を任意の計算サーバから受けると、該計算サーバへ該データファイルをダウンロードする機能，およびデータファイルのダウンロードが完了する度に、データファイルのアクセス回数を１つ加算して、アクセス回数計測開始時刻からの該データファイルのアクセス回数合計値を求め、計測開始時刻から現在時刻までの経過時刻で割ることによって、単位時間当たりのアクセス率を算出する機能を有する。

図１０における計算サーバ１４００は、システム制御サーバ１５００より計算処理リクエストとダウンロードするデータサーバ名を受信すると、該データサーバより計算処理リクエストに含まれるデータファイルをダウンロードした後に計算処理を実行する機能を有する。

図１０におけるシステム制御サーバ１５００は、任意のユーザ端末から計算処理リクエストのメッセージを受けると、現在の各計算サーバの計算負荷およびネットワーク通信負荷を考慮して、リクエストに対する応答時間（データサーバからのデータファイルダウンロード時間と計算サーバにおける計算時間の和）が短くなるように、計算処理リクエストのメッセージに含まれるデータファイルをダウンロードするデータサーバおよび計算処理を実行する計算サーバを選択する機能，ユーザ端末からの計算処理リクエストのメッセージと選択したデータサーバ名を選択した計算機サーバへ送信する機能，および分散計算システム内の各データサーバに蓄積されているデータファイル毎のアクセス率を監視し、アクセス率がある閾値を超えたデータファイルあるいはアクセス率が最も高いデータファイルのレプリカを作成する機能を有する。

図１１は、図１０に示した従来の分散計算システムにおける計算処理リクエストの計測・集計処理のフローを示す図である。

分散計算システムのデータサーバ１３００において、計算処理リクエストの計測・集計処理を開始すると（ステップＳ１１００）、ネットワークを介して任意のユーザ端末からデータファイル名と計算処理方法を含んだ計算処理リクエストのメッセージを受けたシステム制御サーバ１５００は、現在の計算負荷・ネットワーク通信負荷を考慮し、ネットワークに接続された複数の計算サーバと該データファイルを蓄積する複数のデータサーバから、計算処理を実行する計算サーバと該データファイルを該計算サーバへダウンロードするデータサーバを計算処理リクエストに対する応答時間（ネットワークにおけるデータファイルの転送時間と計算サーバでの計算時間の和）が短くなるように選択し、ネットワークを介して、該計算処理リクエストに該データサーバ名（データサーバ１３００とする）と該計算処理リクエストのメッセージを該計算サーバへ送信する（ステップＳ１１１０）。

該データサーバ名と該計算処理リクエストのメッセージを受信した該計算サーバは、該データサーバ１３００より該計算処理リクエストに含まれている該データファイルのダウンロードを開始する（ステップＳ１１２０）。

該データサーバ１３００では、該データファイルのダウンロードが完了すると（ステップＳ１１３０）、該データファイルのアクセス回数を１つ加算し、アクセス率計測処理開始時刻からの該データファイルのアクセス回数合計値を求め、計測開始時刻からの経過時刻で割ることによって、単位時間当たりのアクセス率を算出し一時記憶する（ステップＳ１１４０）。

また、該計算サーバでは、ダウンロード完了後、計算処理を開始し（ステップＳ１１５０）、計算処理を実行した後、計算処理を完了する（ステップＳ１１７０）。

ステップＳ１１４０において、アクセス率を算出したデータサーバは、予め設定した本処理の終了条件の成否を評価し（ステップＳ１１８０）、成立しない場合は（ステップＳ１１８０：Ｎ）、ステップＳ１１１０からステップＳ１１７０の処理を繰り返す。本処理の終了条件の成否を評価して、成立する場合は（ステップＳ１１８０：Ｙ）、本処理を終了する（ステップＳ１１９０）。

図１２は、図１０に示す従来の分散計算システムにおけるデータファイルのレプリカ対象データファイル選択処理のフローを示す図である。

レプリカ対象データファイル選択処理を開始すると（ステップＳ１３００）、システム制御サーバ１５００は、定期的に各データサーバ内の各データファイルのアクセス率を予め定めた閾値と比較する（ステップＳ１３１０）。データファイルのアクセス率が閾値を超えていたデータファイルをレプリカ対象データファイルに選択する（ステップＳ１３２０）。

ステップＳ１３２０においてレプリカ対象データファイルを選択したシステム制御サーバは、予め設定した処理終了条件を評価し（ステップＳ１３３０）、処理終了条件が一致しない場合は（ステップＳ１３３０：Ｎ）、ステップＳ１３１０からステップＳ１３３０の処理を繰り返す。ステップＳ１３３０において、処理終了条件が一致した場合は（ステップＳ１３３０：Ｙ）、本処理を終了する（ステップＳ１３４０）。

"特集グリッドコンピューティング",情報処理,pp576〜614,Vol.44,No6,June,2003 竹房,建部,松岡,森田, "Grid Datafarmにおけるスケジューリング・複製手法の性能評価",情処研報, HPC-91,pp137〜142,Aug,2002. K.Ranganathan,I.Foster, "Decoupling Computation and Data Scheduling in Distributed Data-Intensive Applications", 11th IEEE international Symposium on High Performance Distributed Computing（HDPC-11）,2002.

ネットワークに分散して接続された複数の計算サーバおよびデータサーバを統合し、ネットワークに分散して接続された複数のユーザ端末で共有し、ユーザ端末から計算処理リクエストをネットワークに接続されたシステム制御サーバが受ける度に、計算処理を実行する計算サーバと、該計算サーバが計算処理に用いるデータファイルをダウンロードするデータサーバを選択し、該計算サーバに該データサーバからデータファイルをダウンロードさせた後に該計算サーバで計算処理を実行させる分散計算システムにおいて発生する通信負荷・計算負荷をネットワーク上に分散したデータサーバへデータファイルのレプリカ配置することによって分散させる従来の広域分散システムにおける負荷分散方法には、次のような課題がある。

（課題１）
上記の如き従来技術では、ネットワーク上に分散した他のデータサーバへのデータファイルのレプリカ作成契機の条件を、各データサーバに蓄積されている各データファイルのアクセス率が閾値を超えた場合としていた。しかしながら、ネットワークの通信性能、計算サーバの計算性能は不均質・可変であり、データファイルのアクセス率のみからレプリカ作成が必要なほど、該データファイルを蓄積するデータサーバ周辺の通信性能・計算性能が低下した（あるいは、通信負荷・計算負荷が高い）と判断するには十分でない。

例えば、あるデータファイルのアクセス率が高いから該データファイルを蓄積するデータサーバ周辺の通信負荷・計算負荷が高く（あるいは通信性能・計算性能が低下し）、該データファイルのレプリカ作成による負荷分散の必要であるとは言えない。

逆に、あるデータサーバ周辺の通信負荷・計算負荷が高く（あるいは通信性能・計算性能が低下し）、レプリカ作成による通信負荷、計算負荷の分散が必要であっても、該データサーバにあるデータファイルのアクセス率が低いためにレプリカが作成されないことが有り得る。よって、各データサーバ周辺の通信性能・計算性能の計測法と、該計測に基づく性能低下検出法が必要である。

そこで本発明の目的は、各データサーバ周辺の通信性能・計算性能の通信性能あるいは計算性能を評価し、その能閾値・計算性能閾値と通信性能評価値・計算性能評価値と比較することで、各データサーバ周辺の通信性能・計算性能の通信性能あるいは計算性能の低下を検出することが可能な負荷分散技術を提供することである。

（課題２）
また、上記従来技術では、アクセス率の高いデータファイルをレプリカすべきデータファイルを選択するとして選択していた。しかしながら、アクセス率の高いデータファイルが通信負荷あるいは計算負荷を分散させるために効果的なデータファイルとは判断するには十分ではない。

例えば、アクセス率の高いデータファイルであっても、データサイズが小さければ、通信負荷を分散させるには効果的とは言えず、同様にアクセス率の高いデータファイルであっても、そのデータを使用した計算処理の計算量が小さければ、計算負荷を分散させるために効果的とは言えず、レプリカを作成するに適したデータファイルが他に在り得る。従って、レプリカの対象となるデータファイルの選択法が必要となる。

そこで本発明の他の目的は、性能低下と検出された性能（通信性能 または 計算性能）に応じて、レプリカ作成による負荷分散効果の高いデータファイルを選択することが可能な負荷分散技術を提供することである。

（課題３）
更に、課題１において指摘した通信性能・計算性能の計測法による通信性能値・計算性能値を応用して、より効果的な負荷分散を実現するレプリカを配置するデータサーバの選択法が必要である。

そこで本発明の更に他の目的は、レプリカ対象データファイルを蓄積していないデータサーバの中から評価値が最も高いデータサーバをレプリカ配置データサーバに選択し、レプリカを作成するようにした負荷分散技術を提供することである。

（ａ）上記課題１を解決するために、本発明に係る分散計算システムにおいて以下の手段を講じている。
データサーバ周辺の通信性能・計算性能を計測する方法として、各データサーバにあるデータファイルを利用した計算処理リクエストが実行される度に通信性能あるいは計算性能に関わる情報を計測・集計した値を基に各データサーバにおいて、自データサーバ周辺の通信性能あるいは計算性能を評価する。具体的には、以下の通りである。

計算サーバは、データサーバからデータファイルをダウンロードして、計算処理を実行する度に、ダウンロードに要したダウンロード時間・該データファイルを利用した計算に要した計算量と計算時間を計測し、該データファイル名とともに該データサーバへ送信する。

データサーバは、データファイル名毎に、データサイズ・アクセス回数合計値・ダウンロード時間合計値・計算量合計値・計算時間合計値を計測情報テーブルとして管理しており、計算サーバからデータファイル名・ダウンロード時間・計算量・計算時間をデータファイル名毎を受信する度に、該データファイル名のダウンロード時間合計値・計算量合計値・計算時間合計値に加算するとともに、該データファイルのアクセス回数を１つ加算する。

また、データサーバは、定期的に、計測情報テーブルにあるデータファイルｉ毎のデータサイズ（Ｓｉ）、アクセス回数合計値（Ａｉ）、ダウンロード合計時間（Ｔｉ）を利用して、該データサーバ内のデータファイルを用いた計算処理リクエストにおけるデータファイルダウンロード時の平均スループットであるネットワークの通信性能評価値（Ｅcomm）を、以下の式で評価する。

それと同時に、計測情報テーブルにあるデータファイルｉ毎の計算量合計値（Ｊｉ）、計算時間合計値（ｔｉ）を利用して、該データサーバ内のデータファイルを用いた計算処理リクエストにおける計算処理時の平均スループットである計算サーバの計算性能評価値（Ｅcal）を以下の式で評価する。

このように、各データサーバで求めた通信性能評価値（Ｅcomm）・計算性能評価値（Ｅcal）を各データサーバ周辺の通信性能・計算性能とする。

更に、データサーバは、予め設定されている分散計算システムに要求される通信性能閾値・・計算性能閾値を通信性能評価値（Ｅcomm）・計算性能評価値（Ｅcal）と比較し、いずれかが閾値以下である場合、通信性能あるいは計算性能が低下していると判断し、データサーバはレプリカ対象データ選択処理およびレプリカ作成処理を開始する。

（ｂ）また、上記課題２を解決するために、本発明に係る分散計算システムにおいて以下の手段を講じている。

自データサーバ周辺の通信性能あるいは計算性能の低下を検出した該データサーバは、性能低下と検出した性能が通信性能である場合、課題１を解決する手段にある計測情報テーブルの各データファイルｉのデータサイズ（Ｓｉ）、アクセス回数合計値（Ａｉ）を用いて、各データファイルｉの総ダウンロードデータ量（Ｄｉ）を下式で求める。
Ｄｉ＝Ｓｉ×Ａｉ

そして、最も総ダウンロードデータ量（Ｄｉ）が多いデータファイルをレプリカの対象データに選択する。また性能低下と検出した性能が計算性能である場合、計測情報テーブルにおける各データファイルｉの計算量合計値（Ｊｉ）から計算量合計値（Ｊｉ）の最も多いデータファイルをレプリカの対象のデータに選択する。

このように、性能低下と検出された性能名（通信性能 または 計算性能）に応じて、レプリカ作成効果の高いデータファイルを選択している。

（ｃ）上記課題３を解決するために、本発明に係る分散計算システムにおいて以下の手段を講じている。

自データサーバ周辺の通信性能あるいは計算性能の低下を検出した該データサーバは、性能低下と検出した性能名（通信性能または計算性能）・該性能評価値（通信性能評価値または計算性能評価値）・レプリカ対象データファイルを含むレプリカ配置サーバ選択依頼のメッセージをシステム制御サーバへ送信する。

該システム制御サーバは、レプリカ配置サーバ選択依頼のメッセージを受けると、該メッセージの中にある性能名が通信性能である場合、各データサーバが一時記憶している通信性能値を収集・比較し、該レプリカ対象データファイルを蓄積していないデータサーバの中から、通信性能値が最も高いデータサーバをレプリカ配置データサーバに選択し、該レプリカ配置データサーバ名を該データサーバへ応答する。

また、該メッセージの中にある性能名が計算性能である場合、各データサーバが一時記憶している計算性能値を収集・比較し、該レプリカ対象データファイルを蓄積していないデータサーバの中から、計算性能値が最も高いデータサーバをレプリカ配置データサーバに選択し、該レプリカ配置データサーバ名を該データサーバへ応答する。

該レプリカ配置データサーバ名を受信した該データサーバは該レプリカ配置データサーバにレプリカを作成する。

このように各データサーバで計測している通信性能値・計算性能値を利用して、性能低下と検出された性能（通信性能 または 計算性能）が最も高い性能値を持つデータサーバをレプリカ配置データサーバとして、負荷分散を図る。

本発明は、上記の如き手段を採用することにより、次のような効果を有する。
（ａ）分散計算システムの各データサーバにおいて、自データサーバ内のデータファイルｉ毎のデータサイズ（Ｓｉ）および該データファイルへのアクセス回数合計値（Ａｉ）・該データファイルを利用した計算処理リクエストを実行した際のダウンロード時間合計値（Ｔｉ）・計算量合計値（Ｊｉ）・計算時間合計値（ｔｉ）を管理し、これらの値を利用して、各データサーバ周辺の通信性能・計算性能の通信性能あるいは計算性能を評価することが可能となり、各データサーバは、予め設定されている分散計算システムに要求される通信性能閾値・計算性能閾値と通信性能評価値・計算性能評価値と比較することで、各データサーバ周辺の通信性能・計算性能の通信性能あるいは計算性能の低下を検出することが可能になった。

（ｂ）また、分散計算システムの各データサーバにおいて通信性能劣化を検出した時、データファイルｉ毎のデータサイズ（Ｓｉ）にアクセス回数合計値（Ａｉ）乗じた値である総ダウンロードデータ量（Ｄｉ）の最も多いデータファイルをレプリカ対象データファイルに選択することが可能となり、また、データサーバにおいて計算性能低下を検出した時、計算量合計値（Ｊｉ）の最も多いデータファイルをレプリカ対象のデータファイルに選択することにより、性能低下と検出された性能（通信性能 または 計算性能）に応じて、レプリカ作成による負荷分散効果の高いデータファイルを選択することが可能になった。

（ｃ）更に、分散計算システムの各データサーバで通信性能あるいは計算性能低下検出時、検出された性能について各データサーバの性能評価値を収集・比較し、該レプリカ対象データファイルを蓄積していないデータサーバの中から評価値が最も高いデータサーバをレプリカ配置データサーバに選択し、レプリカを作成することによって負荷分散を図ることが可能になった。

（Ａ）まず、本発明における基本動作を説明する。
（ａ）ユーザ端末が計算するとき、システム制御サーバに要求を出す。
（ｂ）システム制御サーバは、計算サーバとデータサーバを選択し、計算サーバはデータサーバからデータファイルをダウンロードする。
（ｃ）計算サーバで計算されたダウンロード時間をデータサーバへ送信し、アクセス回数やダウンロード合計時間を記憶する。
（ｄ）計算サーバは計算を開始し、同時に計算時間とファイル名をデータサーバへ送信する。
（ｅ）データサーバへ送信されたダウンロード時間や計算時間などの情報を計測情報テーブルに記憶する。

（Ｂ）次に、本発明における性能評価処理について説明する。
（ａ）データサーバは定期的に計測テーブルの情報を基に、通信性能と計算性能の状態を計算する。
（ｂ）もし、通信性能と計算性能の何れか一方でも予め設定してある閾値以下になった場合、選択したデータファイルのレプリカ作成をレプリカ作成部へ依頼する。

以下、本発明の実施例を、図面を用いて詳細に説明する。
図１は、本発明に係る分散計算システムの構成例を示す図である。
図１に示した本発明に係る分散計算システムでは、複数のユーザ端末と、複数のデータサーバと、複数の計算サーバと、システム制御サーバとを有する。

本構成例では、複数のユーザ端末，複数のデータサーバおよび複数の計算サーバがネットワーク上に分散して接続されている。図１に示す分散計算システムでは、複数のユーザ端末，複数のデータサーバ，および複数の計算サーバのうち、ひとつのユーザ端末，ひとつのデータサーバ，ひとつの計算サーバにだけに代表させて参照符号２００，３００，および４００を付すとともに、システム制御サーバに参照符号５００を付している。

また、図１では、１つのサイト（サイト網）に１つのデータサーバを設けているが、一つのサイトに複数のデータサーバを設けることも可能である。

図１におけるユーザ端末２００は、図１０に示した従来技術のユーザ端末１２００と同じ機能であるため説明を割愛する。

図２は、図１におけるデータサーバ３００の構成図を示す図である。
図２に示すように、データサーバ３００は、複数のデータファイルを蓄積し、蓄積している任意のデータファイルのダウンロード要求を計算サーバから受けると該計算サーバへ該データファイルをダウンロードする機能に加えて、以下に説明する計測情報管理部３１０、実行性能評価部３２０、データファイル選択部３３０、レプリカ作成部３４０を具備する。

図２のデータサーバ３００における計測情報管理部３１０は、計測情報テーブル３１１を有している。

図３は、計測情報テーブル３１１の具体的な例を示す図である。
図３に示すように、計測情報テーブル３１１は、データファイル毎に、データファイル名３１１１、データサイズ３１１２、アクセス回数合計値３１１３、ダウンロード時間合計値（データ転送時間合計値）３１１４、計算量合計値３１１５、計算時間合計値３１１６の項目をもつ行からなる。同図は、データファイル名が「Ａ」、データサイズが「１００Ｇｂｙｔｅ」、アクセス回数合計値が「２５６回」、ダウンロード時間合計値が「５１２００秒」、計算量合計値（演算回数）が「４９４００×１０^９」、計算時間合計値が「４１２００秒」の場合を示している。

図２の計測情報管理部３１０は、データサーバ３００から任意の計算サーバへのデータファイルのダウンロードが完了する度に計測情報テーブル３１１の該データファイルのアクセス回数合計値を１つ加算してアクセス回数合計値を計測する機能を有し、該データファイルのダウンロード完了する度に該データファイルのダウンロード時間を取得し、計算サーバで該データファイルを用いた計算が終了する度に計算時間・計算量を取得し、取得した該ダウンロード時間、該計算時間・該計算量を該計測情報テーブル３１１の該データファイルのダウンロード時間合計値・計算量合計値・計算量合計値の欄の値に加算して、ダウンロード時間合計値・計算量合計値・計算量合計値を計測する機能を有する。なお、計算サーバにおける計算量とは演算回数であり、例えば、MIPS(Million Instructions Per Second)あるいはFLOPS(FLoating point Operations Per Second)で表される計算サーバのCPUの演算処理性能値にCPU専有時間を乗じて計測される。また計算サーバにおける計算時間とは、データファイルのダウンロードが完了した時刻から計算が終了した時刻迄の経過時間で計測される。

図２のデータサーバ３００における性能評価部３２０は、計測情報管理部３１０の計測情報テーブル３１１にあるデータファイルｉ毎のデータサイズ（Ｓｉ）、アクセス回数合計値（Ａｉ）、ダウンロード合計時間（Ｔｉ）を利用して、該データサーバ周辺（先に述べたように、「データサーバ周辺」とは、データサーバからデータファイルをダウンロードする際に生じるトラヒックが流れるエリアを指しており、図１において複数のサイト間をまたがってデータサーバ周辺となることもある）のネットワークの通信性能評価値（Ｅcomm）を以下の式で評価する通信性能評価部３２１を有する。

性能評価部３２０は、さらに、計測情報管理部３１０の計測情報テーブル３１１にあるデータファイルｉ毎の計算量合計値（Ｊｉ）、計算時間合計値（ｔｉ）を利用して、データサーバ３００周辺の計算サーバの計算性能評価値（Ｅcal）を以下の式で評価する計算性能評価部３２２を有する。

性能評価部３２０は、さらに、上記通信性能評価部３２１および計算性能評価部３２２での通信性能評価値（Ｅcomm）・計算性能評価値（Ｅcal）を一時記憶し、予め設定した通信性能閾値、・計算性能閾値と通信性能評価値（Ｅcomm）・計算性能評価値（Ｅcal）を各々比較し、通信性能評価値（Ｅcomm）・計算性能評価値（Ｅcal）が閾値以下の場合、該データサーバ周辺の通信性能・計算性能が低いと判断し、閾値以下の性能名（通信性能または計算性能）、該性能評価値（通信性能評価値または計算性能評価値）とともに、レプリカ対象データファイル選択の依頼をデータファイル選択部３３０へ行う性能値管理部３２３を有する。

図２のデータサーバ３００におけるデータファイル選択部３３０は、上記性能値管理部３２３より閾値以下の性能名（通信性能または計算性能）、該性能評価値（通信性能評価値または計算性能評価値）とともに、レプリカ対象データファイル選択の依頼を受けると、閾値以下の性能名が通信性能である場合、計測情報テーブル３１１の各データファイルｉのデータサイズ（Ｓｉ）、アクセス回数合計値（Ａｉ）を用いて、各データファイルｉの総ダウンロードデータ量（Ｄｉ）を以下のように求める。
Ｄｉ＝Ｓｉ×Ａｉ

そして、最も総ダウンロードデータ量（Ｄｉ）が最も多いデータファイルをレプリカの対象データに選択し、あるいは、閾値以下となった性能名が計算性能である場合、計測情報テーブルにおける各データファイルｉの計算量合計値（Ｊｉ）から計算量合計値（Ｊｉ）の最も多いデータファイルをレプリカの対象のデータに選択し、閾値以下の性能名（通信性能または計算性能）・該性能評価値（通信性能評価値または計算性能評価値）・選択したデータファイル名とともに選択したデータファイルのレプリカ作成の依頼をレプリカ作成部３４０へ行う機能を有する。

図２のデータサーバ３００におけるレプリカ作成部３４０は、データファイル選択部３３０より受けた閾値以下となった性能名（通信性能または計算性能）・該性能評価値（通信性能評価値または計算性能評価値）・選択したデータファイル名とともにレプリカ配置データサーバ選択依頼のメッセージをシステム制御サーバ５００へ送信し、該システム制御サーバ５００よりシステム制御サーバ５００が選択したレプリカ配置データサーバ名を受信する機能を有し、受信したレプリカ配置データサーバへ該データファイルのレプリカを作成する機能を有する。

図４は、図１の計算サーバ４００の構成例を示す図である。
図４に示すように、計算サーバ４００は、システム制御サーバより計算処理内容、データファイル名および該データファイルをダウンロードするデータサーバ名を受信し、該データサーバより該データファイルをダウンロードした後に計算処理を実行する機能に加えて、該データファイルのダウンロード開始時刻、ダウンロード完了時刻を計測し、ダウンロードに要したダウンロード時間を求め、ダウンロード完了時に、該ダウンロード時間を該データサーバへ送信するとともに、ダウンロード完了後に開始する該データファイルを用いて行う計算の開始時刻および計算終了時刻および計算量を計測し、該データファイルを用いた計算に要した計算時間および計算量を、計算完了時に該データファイル名とともに該データサーバへ送信する計測部４１０を有する。

図５は、図１のシステム制御サーバ５００の構成例を示す図である。
図５に示すように、システム制御サーバ５００は、任意のユーザ端末から計算処理リクエストのメッセージを受けると、各計算サーバの計算負荷やネットワーク通信負荷を考慮して、リクエストに対する応答時間（データサーバからのデータファイルダウンロード時間と計算サーバにおける計算時間の和）が短くなるように、計算処理リクエストのメッセージに含まれるデータファイルをダウンロードするデータサーバおよび計算処理を実行する計算サーバを選択する機能を有し、選択したデータサーバ名とユーザ端末から受信した計算処理リクエストメッセージを選択した計算機サーバへ送信する機能を有する他に、データサーバより受信したレプリカ作成依頼のメッセージの中にある性能名（通信性能または計算性能）・該性能評価値（通信性能評価値または計算性能評価値）・データファイル名から、該データファイルを蓄積していないデータサーバの中から、受信した性能名（通信性能または計算性能）の性能値が最もよいデータサーバを選択し、レプリカ作成依頼のメッセージを送信したデータサーバへ応答するレプリカ配置サーバ選択部５１０を有する。

図６は、本発明の分散計算システムにおける計算処理リクエストの計測・集計処理のフローを示す図である。

分散計算システムにおけるデータサーバ３００の計測情報管理部３１０および計算サーバ４００の計測部４１０において計測処理を開始すると（ステップＳ１００）、ネットワークを介して任意のユーザ端末からデータファイル名と計算処理方法を含んだ計算処理リクエストのメッセージを受けたシステム制御サーバ５００は、現在の計算負荷・ネットワーク通信負荷を考慮し、ネットワークに接続された複数の計算サーバと該データファイルを蓄積する複数のデータサーバから、計算処理を実行する計算サーバと該データファイルを該計算サーバへダウンロードするデータサーバを計算処理リクエストに対する応答時間（ネットワークにおけるデータファイルの転送時間と計算サーバでの計算時間の和）が短くなるように選択し、ネットワークを介して、該計算処理リクエストに選択したデータサーバ名（以下、データサーバ３００とする）と該計算処理リクエストのメッセージを選択した計算サーバ（以下、計算サーバ４００とする）へ送信する（ステップＳ１１０）。

該データサーバ３００と該計算処理リクエストのメッセージを受信した該計算サーバ４００は、該データサーバ３００より該計算処理リクエストに含まれている該データファイルのダウンロードを開始するとともに、該計算サーバ４００の計測部４１０はダウンロード開始時刻を一時記憶する（ステップＳ１２０）。

該計算サーバ４１０において該データサーバ３００より該データファイルのダウンロードが完了すると、該計算サーバ４００の計測部４１０は、ダウンロード完了時刻を一時記憶し、該データファイルのダウンロード完了時刻とステップＳ１１０で一時記憶したダウンロード開始時刻からダウンロード時間を求め、該データサーバ３００へ送信する（ステップＳ１３０）。

該データファイル名とともにダウンロード時間を受信した該データサーバ３００は、計測情報テーブル３１１内の該データファイル名のアクセス回数合計値を１つ加算するととともに、該データファイルのダウンロード時間合計値に受信したダウンロード時間を加算する（ステップＳ１４０）。

ステップＳ１３０において該データファイルのダウンロードを完了した該計算サーバ４００は、ステップＳ１１０で受信した該計算処理リクエストにある計算処理方法に従い、計算処理を開始するとともに、該計算サーバ４００の計測部４１０は、該計算処理の計算量の計測を開始する（ステップＳ１５０）。

該計算サーバ４００においてステップＳ１５０で開始した計算処理が完了すると、該計算サーバ４００の計測部４１０は、ステップＳ１３０において一時記憶した該データファイルのダウンロード完了時刻から計算処理完了時刻までの経過時間（即ち、計算時間）を求め、該計算時間と計測した計算量と該データファイル名を該データファイルをダウンロードした該データサーバ３００へ送信する（ステップＳ１６０）。

ステップＳ１６０において該計算サーバ４００から該データファイル名とともに計算時間・計算量を受信した該データサーバ３００の計測情報管理部３１０は、計測情報テーブル３１１内の該データファイル名の行の計算時間合計、計算量合計の各欄の値に、受信した計算時間・計算量を加算する（ステップＳ１７０）。

ステップＳ１８０で計算処理を完了した該計算サーバ４００の計測部４１０、あるいは、ステップＳ１７０で計測情報テーブル３１１の値を更新した該ファイルサーバ３００の計測情報管理部３１０は、予め設定した本処理終了条件が成立するかどうかを評価し（ステップＳ１８０）、成立しない場合は、本処理を継続し、ステップＳ１１０からステップＳ１８０までを繰り返す。本処理終了条件が成立する場合は、本処理を終了する（ステップＳ１９０）。

図７は、本発明の分散計算システムにおける性能評価処理のフローを示す図である。
分散計算システムにおけるデータサーバ３００の性能評価部３２０おいて性能評価処理を開始する（ステップＳ２００）と、性能評価部３２０の通信性能評価部３２１は、計測情報管理部３１０の計測情報テーブル３１１にあるデータファイルｉ毎のデータサイズ（Ｓｉ）、アクセス回数合計値（Ａｉ）、ダウンロード合計時間（Ｔｉ）を利用して、該データサーバ３００周辺のネットワークの通信性能評価値（Ｅcomm）を以下の式で評価し、性能値管理部３２３へ一時記憶する（ステップＳ２１０）。

また、性能評価部３２０の計算性能評価部３２２は、計測情報管理部３１０の計測情報テーブル３１１にあるデータファイルｉ毎の計算量合計値（Ｊｉ）、計算時間合計値（ｔｉ）を利用して、該データサーバ３００周辺の計算サーバの計算性能評価値（Ｅcal）を以下の式で評価し、性能値管理部３２３へ一時記憶する（ステップＳ２２０）。

通信性能評価値（Ｅcomm）・計算性能評価値（Ｅcal）を一時記憶した性能値管理部３２３は、予め設定されている通信性能閾値、・計算性能閾値と一時記憶された通信性能評価値（Ｅcomm）・計算性能評価値（Ｅcal）を比較し、通信性能評価値（Ｅcomm）が通信性能閾値であるか、あるいは計算性能評価値（Ｅcal）が計算性能閾値以下であるかを評価する（ステップＳ２３０）。

上記いずれも成立しない場合は、本処理を終了する（ステップＳ２５０）が、いずれかが成立した場合、通信性能あるいは計算性能が十分でないと判断し、閾値以下となった性能名（通信性能または計算性能）と、その評価値（通信性能評価値 または計算性能評価値）とともに、レプリカ対象データファイルの選択依頼をレプリカ対象データファイル選択部３３０へ行い（ステップＳ２４０）、本処理を終了する（ステップＳ２５０）。

図８は、本発明の分散計算システムにおけるレプリカ対象データファイル選択処理のフローを示す図である。

分散計算システムにおけるデータファイルサーバ３００のデータファイル選択部３３０は、図５に示した性能評価処理のステップＳ２４０において、性能評価部より、閾値以下となった性能名（通信性能または計算性能）と、その評価値（通信性能評価値 または計算性能評価値）とともに、レプリカ対象データファイルの選択依頼を受けると、データファイル選択処理を開始する（ステップＳ３００）。

まず、性能評価部３２０より受けた性能名を識別し（ステップＳ３１０）、該閾値以下となった性能名が通信性能である場合、計測情報テーブル３１１の各データファイルｉのデータサイズ（Ｓｉ）、アクセス回数合計値（Ａｉ）を用いて、各データファイルｉの総ダウンロードデータ量（Ｄｉ）を下式で求める。
Ｄｉ＝Ｓｉ×Ａｉ

そして、最も総ダウンロードデータ量（Ｄｉ）が多いデータファイルをレプリカの対象データに選択する （ステップＳ３２０）。

また、ステップＳ３１０において性能評価部よる受けた閾値以下となった性能名が通信性能でない（即ち、計算性能である）場合、計測情報テーブル３１１における各データファイルｉの計算量合計値（Ｊｉ）から計算量合計値（Ｊｉ）の最も多いデータファイルをレプリカの対象のデータに選択する（ステップＳ３３０）。

上記ステップＳ３２０あるいはステップＳ３３０で選択したデータファイルのレプリカ作成依頼を、閾値以下である性能名（通信性能または計算性能）・該性能評価値（通信性能評価値または計算性能評価値とともにレプリカ作成部３４０へ行い（ステップＳ３４０）、本処理を終了する（ステップＳ３５０）。

図９は、本発明の分散計算システムにおけるレプリカ配置サーバ選択処理・レプリカ配置処理のフローを示す図である。

分散計算システムにおけるデータサーバ３００のレプリカ作成部３４０は、図８に示したレプリカ対象データファイル選択処理のフローのステップＳ３４０において、レプリカの対象であるデータファイル名と閾値以下である性能名（通信性能または計算性能）・該性能評価値（通信性能評価値または計算性能評価値）とともに、レプリカ作成依頼を該データファイルサーバ３００におけるデータファイル選択部３３０より受けると、レプリカ作成の処理を開始する（ステップＳ４００）。

レプリカ作成依頼を受けたレプリカ作成部３４０は、レプリカ対象データファイル名と閾値以下である性能名（通信性能または計算性能）・該性能評価値（通信性能評価値または計算性能評価値）を含むレプリカ配置サーバ選択依頼のメッセージをシステム制御サーバ５００へ送信する（ステップＳ４１０）。

レプリカ配置サーバ選択依頼のメッセージを受けたシステム制御サーバ５００のレプリカ配置サーバ選択部５１０は、受信したメッセージから閾値以下である性能名（通信性能または計算性能）を識別する（ステップＳ４２０）。

閾値以下である性能名が通信性能であると識別した場合、レプリカ配置サーバ選択部５１０は、各データサーバの性能値管理部に一時記憶されている通信性能値を収集・比較し、該レプリカ対象データファイルを蓄積していないデータサーバの中から、通信性能値が最も高いデータサーバをレプリカ配置データサーバに選択する（ステップＳ４３０）。

ステップＳ４２０において、閾値以下である性能名が計算性能であると識別したレプリカ配置サーバ選択部５１０は、各データサーバの性能値管理部に一時記憶されている計算性能値を収集・比較し、該レプリカ対象データファイルを蓄積していないデータサーバの中から、計算性能値が最も高いデータサーバをレプリカ配置データサーバに選択する（ステップＳ４４０）。

システム制御サーバ５００のレプリカ配置サーバ選択部５１０は、ステップＳ４３０あるいはステップＳ４４０において、レプリカ配置データサーバを選択すると、ステップＳ４１０においてレプリカ配置サーバ選択依頼のメッセージを送信したデータサーバ３００へ該レプリカ配置データサーバ名を応答する（ステップＳ４５０）。

該レプリカ配置データサーバ名を受信した該データサーバ３００は、該データファイルのレプリカを受信した該レプリカ配置データサーバにレプリカを作成し（ステップＳ４６０）、本処理を終了する（ステップＳ４７０）。

なお、上記分散計算システムが行なう処理（図６〜９の処理）は、プログラムコード化して、例えばＣＤ−ＲＯＭ，ＤＶＤ，ＦＤなどのコンピュータ読み取り可能な記録媒体に記録することにより市場に頒布したり、インターネットなどのネットワークを介してユーザのコンピュータにダウンロードさせて配布することができる。

本発明の分散計算システムの構成例を示す図である。 本発明の分散計算システムにおけるデータサーバの構成例を示す図である。 本発明の分散計算システムにおける計測情報テーブルの具体的な例を示す図である。 本発明の分散計算システムにおける計算サーバの機能構成図である。 本発明の分散計算システムにおけるシステム制御サーバの機能構成図である。 本発明の分散計算システムにおける計算処理リクエストの計測・集計処理のフローを示す図である。 本発明の分散計算システムにおける性能評価処理のフローを示す図である。 本発明の分散計算システムにおけるレプリカ対象データファイル選択処理のフローを示す図である。 本発明の分散計算システムにおけるレプリカ配置サーバ選択処理・レプリカ配置処理のフローを示す図である。 従来の分散計算システムの構成例を示す図である。 従来の分散計算システムにおける計算処理リクエストの計測・集計処理のフローを示す図である。 従来の分散計算システムにおけるレプリカ対象データファイル選択処理のフローを示す図である。

符号の説明

２００，１２００：ユーザ端末
３００，１３００：データサーバ
３１０：計測情報管理部
３１１：計測情報テーブル
３２０：性能評価部
３２１：通信性能評価部
３２２：計算性能評価部
３２３：性能値管理部
３３０：データファイル選択部
３４０：レプリカ作成部
４００，１４００：計算サーバ
４１０：計測部
５００，１５００：システム制御サーバ
５１０：レプリカ配置サーバ選択部

Claims (6)

1. ネットワークに分散して接続された複数の計算サーバ，データサーバおよびユーザ端末と、システム制御サーバとを有し、前記ユーザ端末からネットワークを介して計算処理リクエストを前記システム制御サーバが受ける度に計算処理を実行する計算サーバと計算処理に用いるデータファイルをダウンロードするデータサーバを選択し、前記選択された計算サーバに前記選択されたデータサーバからデータファイルをダウンロードさせた後に該計算サーバで計算処理を実行させるようにした分散計算システムにおける負荷分散方法であって、
   前記計算サーバからデータファイルをダウンロードする通信性能あるいは計算サーバがダウンロードしたデータファイルを用いて計算処理を実施する際の計算性能に関わる情報の計測・集計を行った結果を計測情報テーブルとして管理し、通信性能あるいは計算性能の性能評価を行い、いずれかの性能低下を検出した際に、レプリカ作成による負荷分散効果の高いデータファイルをレプリカ対象データに選択し、負荷分散効果の高いレプリカ配置データサーバを選択し、レプリカを該レプリカ配置データサーバへ配置することを特徴とする負荷分散方法。
2. 前記選択された計算サーバが前記選択されたデータサーバからデータファイルをダウンロードして計算処理を実行する度に、該データサーバあるいは該計算サーバで計測したデータファイルのダウンロードに要したダウンロード時間を該データサーバが収集し、
   前記データサーバでは、データファイルｉ毎に、データファイル名，データサイズ（Ｓｉ），アクセス回数合計値（Ａｉ），およびダウンロード時間合計値（Ｔｉ）を前記計測情報テーブル内に管理し、自データサーバ内にあるデータファイルｉを用いた計算処理が実行される度に、収集した前記データファイルｉのダウンロード時間を計測情報テーブル内にある該データファイルｉのダウンロード時間合計値（Ｔｉ）に加算するとともに、前記データファイルｉのアクセス回数合計値（Ａｉ）を１つ加算し、予め設定したイベント発生の度に、あるいは一定時間間隔で、前記計測情報テーブルにある各データファイルｉのデータサイズ（Ｓｉ），アクセス回数合計値（Ａｉ），ダウンロード合計時間（Ｔｉ）を用いて、前記データサーバ内のデータファイルを用いた計算処理リクエストにおけるデータファイルダウンロード時の平均スループットであるネットワークの通信性能評価値（Ｅcomm）を以下の式で評価し、
   

   

   予め設定した通信性能閾値と比較して、通信性能低下の有無を評価することを特徴とする請求項１に記載の負荷分散方法。
3. 前記選択された計算サーバがデータサーバからデータファイルをダウンロードして、計算処理を実行する度に、前記計算サーバで計測した該データファイルを利用した計算に要した計算量（演算回数）および計算時間を前記データサーバへ送信し、前記データサーバでは、データファイルｉ毎にデータファイル名・計算量合計値（Ｊｉ）、計算時間合計値（ｔｉ）を計測情報テーブル内に管理し、自データサーバ内にあるデータファイルｉを用いた計算処理が実行される度に計算サーバより受信した該データファイルｉの計算量，計算時間を計測情報テーブル内にある該データファイルｉの計算量合計値（Ｊｉ），計算時間合計値（ｔｉ）に加算し、予め設定したイベント発生の度に、あるいは一定時間間隔で、前記計測情報テーブルにある各データファイルｉの計算量合計値（Ｊｉ），計算時間合計値（ｔｉ）を利用して、前記データサーバ内のデータファイルを用いた計算処理リクエストにおける計算処理時の平均スループットである計算サーバの計算性能評価値（Ｅcal）を以下の式で評価し、
   

   

   予め設定した計算性能閾値と比較して、計算性能低下の有無を評価することを特徴とする請求項１に記載の負荷分散方法。
4. 任意のデータサーバ周辺の通信性能あるいは計算性能の低下が検出されたとき、
   検出された性能が通信性能である場合、計測情報テーブル内にある該データサーバ内の各データファイルｉのデータサイズ（Ｓｉ），アクセス回数合計値（Ａｉ）を用いて、各データファイルｉの総ダウンロードデータ量（Ｄｉ）を下式で求め、
   Ｄｉ＝Ｓｉ×Ａｉ
   最も総ダウンロードデータ量（Ｄｉ）が多いデータファイルをレプリカの対象データに選択し、
   また、検出された性能が計算性能である場合、計測情報テーブルにおける該データサーバ内の各データファイルｉの計算量合計値（Ｊｉ）から計算量合計値（Ｊｉ）の最も多いデータファイルをレプリカの対象のデータに選択することを特徴とする請求項１に記載の負荷分散方法。
5. 任意のデータサーバ周辺の通信性能あるいは計算性能の低下が検出されたとき、
   該検出された性能が通信性能である場合、レプリカ対象のデータファイルを蓄積していないデータサーバの中から、計算性能値が最も高いデータサーバをレプリカ配置データサーバに選択し、
   また、前記検出された性能が計算性能である場合、レプリカ対象のデータファイルを蓄積していないデータサーバの中から、計算性能が最も高いデータサーバをレプリカ配置データサーバに選択することを特徴とする請求項１に記載の負荷分散法。
6. ネットワークに分散して接続された複数の計算サーバ，データサーバおよびユーザ端末と、システム制御サーバとを有し、前記ユーザ端末からネットワークを介して計算処理リクエストを前記システム制御サーバが受ける度に計算処理を実行する計算サーバと計算処理に用いるデータファイルをダウンロードするデータサーバを選択し、前記選択された計算サーバに前記選択されたデータサーバからデータファイルをダウンロードさせた後に該計算サーバで計算処理を実行させるようにした分散計算システムであって、
   前記計算サーバは、前記データサーバからデータファイルをダウンロードして、計算処理を実行する度に、通信性能あるいは計算性能に関わる情報を計測し該データファイル名とともに該データサーバへ送信する計測部を有し、
   前記データサーバは、データファイル名毎に通信性能あるいは計算性能に関わる情報を計測情報テーブルとして管理し、前記計算サーバから計測情報を受信する度に前記計測情報テーブルを更新・管理する計測情報管理部，定期的に前記計測情報テーブルを用いて自データサーバ周辺の通信性能あるいは計算性能の性能評価を行い性能低下の有無を評価する性能評価部，性能低下検出時にレプリカ作成による負荷分散効果の高いレプリカ対象のデータファイルを選択するデータファイル選択部，およびレプリカ配置データサーバへレプリカを作成するレプリカ作成部を有し、
   前記システム制御サーバは、負荷分散効果の高いレプリカ配置データサーバを選択するレプリカ配置サーバ選択部を有する
   ことを特徴とする分散計算システム。

Images