JP2001290788A - 分散処理システム - Google Patents

Abstract

(57)【要約】 【課題】 タスク処理数や実行計算機数が増加しても通
信料の増大を抑制する。 【解決手段】 処理実行装置１２の処理能力値算出部３
６は、状態記録部３５に記憶されている稼動データを参
照し、所定の間隔で処理中のタスクと関連付けた最新の
処理能力値を算出する。処理実行装置１２は管理装置１
１の協調処理部２３に処理能力値を送信する。タスク受
付部２１がタスクの処理命令を受け付けると、協調処理
部２３は、各処理実行装置１２から送信された処理能力
値に基づき、受け付けたタスクの処理を実行する処理実
行装置１２を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ネットワーク上
に構成される複数の計算機のうち、任意の計算機に処理
が集中する不具合を回避する分散処理システムに関する
ものである。

【０００２】

【従来の技術】図１５は、例えば特開平１０−２０７８
４７号公報に示された従来の分散処理システムの構成を
示すブロック図であり、図において、１００はタスクの
処理を実行させる実行用計算機２００を決定する管理用
計算機、２００は、ネットワーク上に複数構成され、管
理用計算機１００の指示に基づき、タスクの処理を実行
する実行用計算機である。

【０００３】また、図１５の管理用計算機１００におい
て、１０１はジョブ入力を受け付けるジョブ受付部、１
０２は入力されたジョブに関する情報であるジョブデー
タを実行用計算機２００に配信するジョブデータ配信
部、１０３は、実行用計算機２００からの情報をもと
に、そのジョブをどの実行用計算機２００に割り当てる
かを決定し、割り当て作業を行う判定／分配部、１０４
は実行用計算機２００との通信処理を行う通信処理部で
ある。１１１は管理する実行用計算機２００のリスト
で、ディスク等に記憶されている。

【０００４】さらに、図１５の実行用計算機２００にお
いて、２０１は管理用計算機１００との通信処理を行う
通信処理部、２０２は自身の稼動状況を定期的に収集し
てデータベース２０３に蓄積する稼動状況監視部、２０
４は、管理用計算機１００から受信したジョブ情報と、
データベース２０３に蓄積されている稼動状況に関する
情報から、通知されたジョブの現時点での実行能力を評
価する実行能力値算出部、２０５は割り当てられたジョ
ブを実行する実行部である。

【０００５】次に動作について説明する。まず、管理用
計算機１００のジョブ受付部１０１がタスクの処理命令
を受けると、ジョブデータ配信部１０２は、そのタスク
情報（タスクの処理を実行するために必要な機能）を、
通信処理部１０４を介してネットワークに接続されてい
る全ての実行用計算機２００に送信する。各実行用計算
機２００において、通信処理部２０１が管理用計算機１
００からタスク情報を受けると、実行能力値算出部２０
４は、そのタスク情報と、データベース２０３に記憶さ
れている現在の処理状況を考慮して、そのタスクを実行
することが可能であるか否かを評価し、その評価結果
を、通信処理部２０１を介して管理用計算機１００に送
信する。

【０００６】管理用計算機１００は、任意の実行用計算
機２００に処理が集中する不具合を回避するために、ネ
ットワークに接続されている全ての実行用計算機２００
から評価結果を定期的に受けると、判定／分配部１０３
は、それらの評価結果を内部ルールに適用して、当該タ
スクの処理を実行させる実行用計算機２００を決定す
る。

【０００７】

【発明が解決しようとする課題】従来の分散処理システ
ムは以上のように構成されているので、管理用計算機１
００がタスクの処理命令を受け付ける毎に、ネットワー
クに接続されている全ての実行用計算機２００に対して
タスク情報を送信して、全ての実用計算機２００から評
価結果を受信しなければ、タスクを実行させる実行用計
算機２００を決定することができず、タスクの処理数や
実行用計算機２００の接続数が増加した場合には、通信
料が増大するという課題があった。

【０００８】また、従来の分散処理システムでのタスク
の割り当て方法では、一度、実行用計算機２００に割り
当てたタスクは、タスクの処理中に処理先の実行用計算
機２００を変更することができず、実行用計算機２００
の動的な負荷の変化に対応することができないという課
題があった。

【０００９】この発明は上記のような課題を解決するた
めになされたもので、タスクの処理数や実行用計算機２
００の接続数が増加しても、通信料の増大を抑制するこ
とができると共に、分散処理システム内の実行用計算機
２００の負荷変化に対応し、システム全体における処理
の効率向上を可能にする分散処理システムを得ることを
目的とする。

【００１０】

【課題を解決するための手段】この発明に係る分散処理
システムは、タスクの処理を依頼する管理装置と、上記
管理装置とネットワークにより接続され、上記管理装置
からの依頼に基づきタスクの処理を実行する複数の処理
実行装置とを備えたものにおいて、上記管理装置は、外
部よりタスクの処理命令を受け付けるタスク受付部と、
逐次把握している上記各処理実行装置のタスクと関連付
けた処理状況を示す処理能力値に基づき、上記タスク受
付部が受け付けたタスクの処理を実行する上記処理実行
装置を決定して、タスクの実行管理権であるオーナーシ
ップを設定し、決定した上記処理実行装置に、受け付け
たタスクの処理依頼を行う協調処理部とを備え、上記処
理実行装置は、上記管理装置から依頼されたタスクの処
理を実行する処理実行部と、上記処理実行部によるタス
クの処理における稼動データを計測する稼動状況監視部
と、上記稼動状況監視部が計測した稼動データを記録す
る状態記録部と、上記状態記録部に記憶されている稼動
データを参照し、所定の間隔で処理中のタスクと関連付
けた最新の処理状況を示す処理能力値を算出する処理能
力値算出部と、上記処理能力値算出部が算出した最新の
処理能力値を上記管理装置に送信する処理制御部とを備
えたものである。

【００１１】この発明に係る分散処理システムは、協調
処理部が、各処理実行装置に対応して備えられ、対応す
る処理実行装置の処理能力値に基づき、受け付けたタス
クの処理の実行可否を判断するノードと、上記各ノード
から報告された、タスクの処理の実行可否の判断結果
と、処理能力値に基づき、オーナーシップの譲渡先を決
定し、上記各ノードに通知するマネージャとを備えたも
のである。

【００１２】この発明に係る分散処理システムは、ノー
ドが、処理実行装置から送信された処理能力値を格納す
る処理能力データベースと、上記処理能力データベース
に格納されている処理能力値に基づき、受け付けたタス
クの処理の実行可否を判断する状況分析部とを備えたも
のである。

【００１３】この発明に係る分散処理システムは、状況
分析部が、各処理実行装置に固有な処理実行可能閾値を
設定し、処理能力データベースに格納されている処理能
力値に基づき、現在の計算機資源の占有率を求め、受け
付けたタスクを実行したときの予測占有率を計算し、上
記計算機資源の占有率と上記予測占有率の合計値と、上
記処理実行可能閾値とを比較することにより、受け付け
たタスクの処理の実行可否を判断するものである。

【００１４】この発明に係る分散処理システムは、オー
ナーシップを譲渡されなかったノードが、オーナーシッ
プを譲渡されたノードからの処理能力値に基づき、オー
ナーシップを譲渡されタスクの処理を実行している処理
実行装置の処理状況を観測し、オーナーシップを譲渡さ
れなかった処理実行装置が代わりにタスクの処理を実行
した方が処理効率が良いと判断した場合に、マネージャ
にオーナーシップの変更要求を行うものである。

【００１５】この発明に係る分散処理システムは、マネ
ージャがオーナーシップの変更指示を各ノードに行った
場合に、タスクの処理を実行していた処理実行装置は、
処理済の中間データを、オーナーシップを新しく譲渡さ
れた処理実行装置に送信し、上記オーナーシップを新し
く譲渡された処理実行装置が、送信された中間データに
基づき、タスクの処理を継続するものである。

【００１６】この発明に係る分散処理システムは、オー
ナーシップを譲渡されなかったノードが、オーナーシッ
プを譲渡されタスクの処理を実行している処理実行装置
の処理能力値により実行モデルを作成し、作成した実行
モデルのモデル情報を更新し、自己の処理能力値と比較
して、処理効率の評価を行うモデリング部を備えたもの
である。

【００１７】この発明に係る分散処理システムは、オー
ナーシップを譲渡されなかったノードが、モデリング部
が作成した実行モデルのモデル情報の変化率、変化則を
算出し、所定の時間内の処理能力値を予測すると共に、
所定の時間内の自己の処理能力値の予測を行う予測部を
備え、モデリング部が、上記予測部が予測した処理能力
値を比較することにより、処理効率の評価を行うもので
ある。

【００１８】この発明に係る分散処理システムは、ノー
ドが、システム全体の処理実行装置の処理能力値によ
り、各実行モデルを作成し、作成した各実行モデルのモ
デル情報を更新するモデリング部と、上記モデリング部
が作成した実行モデルのモデル情報を更新する度に、全
実行モデルの処理能力値を分析し負荷の判定を行う負荷
判定部と、上記負荷判定部の判定結果に基づき、負荷を
調整する代替案を作成する負荷調整部とを備え、上記負
荷判定部が、上記負荷調整部により作成された代替案を
評価し、マネージャにオーナーシップの変更を要求する
ものである。

【００１９】この発明に係る分散処理システムは、ノー
ドが、オーナーシップを譲渡されなかった処理実行装置
の処理能力値により、他の実行モデルを作成すると共
に、自己の処理能力値から自己の実行モデルを作成し、
上記他の実行モデルのモデル情報と、上記自己の実行モ
デルのモデル情報を更新するモデリング部と、上記モデ
リング部が作成した各実行モデルの処理能力値を分析し
負荷の判定を行う負荷判定部と、上記負荷判定部の判定
結果に基づき、負荷を調整するために処理能力の高い処
理実行装置に対応するノードにタスク処理の依頼を行う
外部依頼部とを備えたものである。

【００２０】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による分
散処理システムの構成を示すブロック図であり、図にお
いて、１１は、ネットワークに接続された複数の処理実
行装置１２のうち、タスクの処理を実行することが現在
可能で、現在処理負荷が最小の処理実行装置１２にタス
クの処理を依頼する管理装置、１２は管理装置１１から
タスクの処理依頼を受けると、そのタスクの処理を実行
する処理実行装置、１３は管理装置１１にタスクの処理
命令を入力する入力装置である。

【００２１】また、図１の管理装置１１において、２１
は外部の入力装置１３と接続され、タスクの処理命令を
受け付けるタスク受付部、２２は受け付けたタスクの情
報を格納するタスクデータベース、２３はタスク受付部
２１がタスクの処理命令を受け付けたときに、各処理実
行装置１２の処理能力を参照して、現在、そのタスクの
処理を実行する能力を有し、かつ、処理負担が最小の処
理実行装置１２を検索する協調処理部である。

【００２２】さらに、図１の管理装置１１において、２
４はオーナーシップに関する情報を協調処理部２３に提
供すると共に、協調処理部２３がオーナーシップの設定
や変更を行うと、そのオーナーシップ情報を更新するオ
ーナーシップ管理部、２５はオーナーシップ情報を格納
するオーナーシップデータベース、２６は協調処理部２
３により検索された処理実行装置１２に対してタスクの
処理依頼を送信すると共に、各処理実行装置１２から送
信される処理能力値を受信して協調処理部に出力する通
信処理部である。

【００２３】図１の処理実行装置１２において、３１
は、処理能力値算出部３６で算出した処理能力値を管理
装置１１に送信すると共に、管理装置１１から送信され
るタスクの処理依頼を処理実行部３３に出力する通信処
理部、３２は処理実行装置１２の処理を制御する処理制
御部、３３は、管理装置１１からタスクの処理依頼を受
けると、そのタスクの処理を実行する処理実行部であ
る。

【００２４】また、図１の処理実行装置１２において、
３４は処理実行部３３によるタスクの処理の稼動状況を
示す稼動データとして、現在のメモリ占有率と演算能力
の消費率を定期的に計測する稼動状況監視部、３５は稼
動状況監視部３４により計測された稼動データを格納す
る状態記録部、３６は、状態記録部３５に記録されてい
る稼動データを参照し、処理中のタスク名、実行中の機
能名と関連付けた最新の処理能力値を算出する処理能力
値算出部である。３７は処理実行部３３による処理の中
間結果を蓄積する処理結果集積部である。

【００２５】図２は管理装置１１における協調処理部２
３の内部構成を示すブロック図であり、図において、４
１は、各処理実行装置１２の処理能力値を参照して、現
在処理負荷が最小の処理実行装置１２を検索するマネー
ジャ、４２は、各処理実行装置１２に対応して備えら
れ、担当する処理実行装置１２の処理能力値を参照し、
タスクの処理を実行するために必要な機能が現在実行で
きる状態にあるか否かを判定するノードである。

【００２６】図３は各ノード４２の構成を示すブロック
図であり、図において、５１は各種メッセージの送受信
を実施する通信処理部、５２は担当する処理実行装置１
２の処理能力値を格納する処理能力データベース、５３
は処理能力データベースに格納されている担当する処理
実行装置１２の処理能力値に基づき、その処理実行装置
１２での要求されたタスク処理の可能性を判断する状況
分析部である。

【００２７】次に動作について説明する。図４は処理実
行装置１２の処理能力値算出部３６が算出する処理能力
値の更新処理を示すフローチャートである。処理能力値
は処理実行装置１２の処理状況を示すデータであり、現
在処理中のタスク名、その処理に用いている機能名、処
理に用いている装置内のメモリの占有率と演算能力の消
費率等の計算機資源から構成されるデータである。

【００２８】図４のステップＳＴ１において、処理実行
装置１２の稼動状況監視部３４は、常時、処理実行部３
３の処理状態を監視し、ステップＳＴ２において、監視
した稼動データを状態記録部３５に記録する。ステップ
ＳＴ３において、状態記録部３５は、稼動状態監視部３
４から送られた稼動データと、その直前に記録された稼
動データを比較し、状態変化を検知したときに、その状
態変化を処理能力値算出部３６に報告する。状態の変化
がない場合には、ステップＳＴ１に戻って、稼動状況監
視部３４による処理状態の監視を続行する。

【００２９】ステップＳＴ４において、状態変化の報告
を受けた処理能力値算出部３６は、状態記録部３５に記
録された稼動データより、処理中のタスク名、実行中の
機能名と関連付けた最新の処理能力値を算出する。ステ
ップＳＴ５において、処理制御部３２が、ネットワーク
を介して、管理装置１１における担当のノード４２に最
新の処理能力値を送信する。

【００３０】図３に示す各ノード４２は、送信された最
新の処理能力値を、通信処理部５１を介して処理能力デ
ータベース５２に格納する。このようにして、各ノード
４２は、常時、担当する処理実行装置１２の最新の処理
能力値を把握している。

【００３１】図５は分散処理システムの全体の処理の流
れを示すフローチャートである。ステップＳＴ１１にお
いて、管理装置１１のタスク受付部２１は、外部の入力
装置１３よりタスク処理の命令を受け付け、ステップＳ
Ｔ１２において、タスク受付部２１は、受け付けたタス
クを直ちに協調処理部２３に出力すると同時に、そのタ
スク情報をタスクデータベース２２に格納する。

【００３２】ステップＳＴ１３において、協調処理部２
３は、タスク受付部２１からタスクの処理命令を受ける
と、マネージャ４１が、各ノード４２の状況分析部５３
に対して、タスクに対応した一意のオーナーシップの譲
渡要求を行う。ここで、オーナーシップとは、タスクの
処理実行管理権のことで、オーナーシップを所有するこ
とにより、タスクの処理を実行することが可能になる権
利である。何れかのノード４２がこのオーナーシップを
所有することにより、そのノード４２が担当している処
理実行装置１２にタスク処理の指示が可能になる。

【００３３】オーナーシップの情報は、タスク名称と保
有者名（ここでは、ノード名もしくは処理実行装置
名）、そして処理状況から構成される。さらに、オーナ
ーシップには、処理結果等のデータを添付することを可
能とし、各ノード４２間の処理結果を含めた情報伝達を
実現する。

【００３４】ステップＳＴ１４において、各ノード４２
の状況分析部５３が、通信処理部５１を介してマネージ
ャ４１からのオーナーシップの譲渡要求を入手すると、
状況分析部５３は、処理能力データベース５２に格納さ
れている最新の処理能力値に基づき、タスク処理の可否
判断を行い、その判断結果と最新の処理能力値をマネー
ジャ４１に回答する。そして、マネージャ４１は、各ノ
ード４２からの回答に基づき、オーナーシップの譲渡先
を決定し、その決定結果を各ノード４２に通知する。す
なわち、このオーナーシップが割り当てられているタス
クの処理を行う処理実行装置１２が決定される。

【００３５】ステップＳＴ１５において、オーナーシッ
プを獲得したノード４２は、オーナーシップの情報を検
索キーとして、タスクデータベース２２からタスク情報
を検索する。ステップＳＴ１６において、ノード４２
は、検索したタスク情報からそのタスクの処理依頼を行
うための通信メッセージを作成し、通信処理部５１，通
信処理部２６を介して担当する処理実行装置１２に送信
する。

【００３６】ステップＳＴ１７において、処理実行装置
１２の処理制御部３２は、管理装置１１のノード４２か
ら通信メッセージを受け取り、タスクの処理指示と処理
内容を分析し、その結果を処理実行部３３に送信し処理
の実行を開始する。ステップＳＴ１８において、処理実
行の開始に伴い、図４に示す処理能力値の更新処理と同
様に、稼動状況監視部３４は処理実行装置１２の稼動状
況の変化を検知し、処理能力値算出部３６が最新の処理
能力値を算出し、ステップＳＴ１９において、処理制御
部３２は、処理能力値算出部３６が算出した最新の処理
能力値を担当のノード４２に送信する。この処理によ
り、ノード４２は担当の処理実行装置１２の処理能力値
の変化を逐次、把握することが可能となる。

【００３７】ステップＳＴ２０において、処理実行部３
３が依頼された処理を完了すると、処理制御部３２は完
了報告と処理結果を担当のノード４２に送信し、処理能
力値算出部３６は処理完了に伴う処理能力値を更新し、
処理制御部３２が担当のノード４２に送信する。そし
て、処理完了報告を受けたノード４２は、マネージャ４
１に、完了報告を行うと共に処理結果を通知し、マネー
ジャ４１は、タスク受付部２１を介して、処理結果をタ
スクの要求元である入力装置１３に送信する。

【００３８】ステップＳＴ２１において、オーナーシッ
プ管理部２４は、ステップＳＴ２０における完了処理実
施の終了を確認した後、タスク処理の終了とオーナーシ
ップ割り当ての終了に伴い、オーナーシップデータベー
ス２５に格納されているオーナーシップ情報を更新す
る。

【００３９】図６は図５のステップＳＴ１４におけるオ
ーナーシップ譲渡先決定処理の流れを示すフローチャー
トである。ステップＳＴ３１において、各ノード４２の
状況分析部５３は、マネージャ４１から発行されたオー
ナーシップの譲渡要求を入手し、ステップＳＴ３２にお
いて、状況分析部５３は、処理能力データベース５２に
格納されている担当の処理実行装置１２の最新の処理能
力値に基づき、タスク処理の可否判断を行う。

【００４０】状況分析部５３は、この場合の判断基準と
して、各処理実行装置１２に固有な処理実行可能閾値を
設定し、処理能力データベース５２に格納されている処
理能力値から現在の計算機資源の占有率を求め、要求さ
れたタスクを実行したときの予測占有率を計算し、現在
の計算機資源の占有率と予測占有率との合計値が処理実
行可能閾値を越えなければ、そのタスクの処理は可能と
判断する。また、両占有率の合計値が処理実行可能閾値
を越えた場合には、処理は不可能と判断する。

【００４１】処理可能と判断した場合、状況分析部５３
は、マネージャ４１に、「オーナーシップ譲渡可能」
と、そのときの処理能力値を送信する。処理不可能と判
断したときは、「オーナーシップ譲渡不可能」を送信す
る。

【００４２】マネージャ４１は、ステップＳＴ３３にお
いて、全ノード４２からの回答を集約し、ステップＳＴ
３４において、各ノード４２からの処理能力値を参照
し、タスクの処理に必要な機能を有している最も負荷の
少ないノード４２を選択し、オーナーシップの譲渡先と
して決定する。このとき、オーナーシップ管理部２４は
オーナーシップの譲渡情報をオーナーシップデータベー
ス２５に記録する。ステップＳＴ３５において、マネー
ジャ４１は、全てのノード４２にオーナーシップの譲渡
先の決定結果を通知する。

【００４３】また、ステップＳＴ３４において、マネー
ジャ４１が、一度目の各ノード４２からの報告では、オ
ーナーシップの譲渡先を決定できない場合には、ステッ
プＳＴ３２に戻って、交渉プロトコルに従い、各ノード
４２に対して再判断を依頼して、再評価を繰り返しなが
ら譲渡先を決定する。ステップＳＴ３４において、要求
されたタスク処理が膨大で、ネットワークに接続されて
いる各処理実行装置１２で処理が不可能な場合には、ス
テップＳＴ３６において、タスク処理の要求元である入
力装置１３に対して処理を拒否する。

【００４４】以上のように、この実施の形態１によれ
ば、管理装置１１の協調処理部２３が各処理実行装置１
２の最新の処理能力値を把握しておき、タスクの処理要
求があった場合に、管理装置１１が、把握している各処
理実行装置１２の最新の処理能力値に基づき、負荷の最
も少ない処理実行装置１２を決定するので、ネットワー
クに接続されている全ての処理実行装置１２にタスクの
処理の可否判断を求める必要がなく、通信料を減らすこ
とができるという効果が得られる。

【００４５】実施の形態２．この実施の形態２における
分散処理システムの構成及び協調処理部の構成は、それ
ぞれ実施の形態１における図１，図２に示す構成と同等
である。図７はこの発明の実施の形態２によるノード４
２の構成を示すブロック図であり、図において、５４は
他の処理実行装置１２の処理能力値により実行モデルを
作成管理するモデリング部であり、その他の構成は実施
の形態１の図３に示す構成と同等である。

【００４６】この実施の形態は、オーナーシップを譲渡
された処理実行装置１２が、要求されたタスク処理を開
始した後に、処理状況の変化に対応して、処理効率向上
のためにタスク処理を行う処理実行装置１２を変更する
ものである。

【００４７】次に動作について説明する。図８はタスク
処理を行う処理実行装置１２の変更処理の流れを示すフ
ローチャートである。ステップＳＴ４１において、オー
ナーシップを譲渡された処理実行装置１２が、要求され
たタスク処理を開始する。

【００４８】ステップＳＴ４２において、マネージャ４
１は各ノード４２に処理開始のアナウンスを行うと、オ
ーナーシップを譲渡されなかったノード４２は、オーナ
ーシップを譲渡されたノード４２からの処理能力値によ
り、オーナーシップを譲渡され、タスクの処理を行って
いる処理実行装置１２の処理状況を観測する。

【００４９】処理状況を観測した結果、オーナーシップ
を譲渡されなかったノード４２の処理実行装置１２が、
代わりにタスクの処理を行った方が効率が良いと判断し
た場合には、ステップＳＴ４３において、マネージャ４
１にオーナーシップの変更要求を行い、マネージャ４１
は、現在のタスクの処理を行っている処理実行装置１２
のノード４２に対して、オーナーシップの変更指示を行
う。

【００５０】ステップＳＴ４４において、オーナーシッ
プの変更指示を受けたノード４２は、担当の処理実行装
置１２に対して、現在行っているタスク処理の中断を指
示し、指示を受けた処理実行装置１２の処理実行部３３
が現在の処理を中断し、処理結果を処理結果集積部３７
に送信して処理を停止する。ステップＳＴ４５におい
て、処理結果を受取った処理結果集積部３７は、処理内
容と処理結果を関連付けて中間データをまとめ、処理制
御部３２が通信処理部３１を介して委譲先の処理実行装
置１２に送信する。

【００５１】ステップＳＴ４６において、中間データを
受取った委譲先の処理実行装置１２は、中間データの内
容を確認し、実行可能のときは担当のノード４２に変更
処理の成功を報告する。ステップＳＴ４７において、成
功の報告を受けたノード４２はマネージャ４１に報告
し、マネージャ４１はオーナーシップ管理部２４にオー
ナーシップの更新依頼を行い、ステップＳＴ４８におい
て、オーナーシップ管理部２４は、オーナーシップデー
タベース２５に格納されているオーナーシップデータの
更新を行う。

【００５２】ステップＳＴ４９において、委譲元の処理
実行装置１２の処理結果集積部３７は、保有している中
間データを破棄し、ステップＳＴ５０において、委譲先
の処理実行装置１２は、送信された中間データに基づ
き、委譲されたタスクの処理を継続する。

【００５３】上記ステップＳＴ４６において、委譲先の
処理実行装置１２が中間データの内容を確認し、実行不
可能のときは、ステップＳＴ５１において、委譲先の処
理実行装置１２は変更失敗を担当のノード４２に報告
し、担当のノード４２はマネージャ４１にオーナーシッ
プの変更不可を通知する。マネージャ４１は、オーナー
シップの変更指示を取り消し、今までオーナーシップを
譲渡されていたノード４２に対して、今までの処理を続
行するよう指示する。

【００５４】図９は図８のステップＳＴ４２の処理状況
観測処理の流れを示すフローチャートである。ステップ
ＳＴ６１において、最初にオーナーシップを獲得した処
理実行装置１２がタスク処理を開始したときに、マネー
ジャ４１は各ノード４２に処理開始のアナウンスを行
う。ステップＳＴ６２において、処理開始のアナウンス
を受けた各ノード４２のモデリング部５４は、アナウン
スの内容分析を行ってタスク名を抽出し、さらに処理に
必要な機能名をタスクデータベース２２から検索する。

【００５５】ステップＳＴ６３において、各ノード４２
のモデリング部５４は、検索した機能名より、自分が保
有している機能が使われているとき、言い換えれば、担
当している処理実行装置１２がタスクを実行可能なとき
に、処理を開始した処理実行装置１２の処理能力値によ
り実行モデルを作成し、ステップＳＴ６４において、モ
デリング部５４は、処理を開始している処理実行装置１
２のノード４２から定期的に処理能力値を収集して、作
成した実行モデルのモデル情報を更新する。

【００５６】ステップＳＴ６５において、実行モデルを
作成、更新しているノード４２は、処理を開始した処理
実行装置１２の処理能力値によりモデル情報を更新する
度に、自己の処理能力値と実行モデルのモデル情報とを
比較して処理の効率の評価を行う。評価は演算能力等の
固有の処理能力、リソースの消費率から、処理効率、処
理時間を比較し、タスクの内容、特性により評価項目を
選択し、比較結果を算出する。このとき、現状の処理が
適しているときは正常と評価し、ステップＳＴ６４で、
そのままモデル情報を更新する。

【００５７】また、処理を開始した処理実行装置１２の
処理効率が低下し、評価しているノード４２が担当して
いる処理実行装置１２に処理を変更するほうが良いと判
断したときは、ステップＳＴ６６において、評価してい
るノード４２はオーナーシップの変更要求を行う。

【００５８】以上のように、この実施の形態２によれ
ば、オーナーシップが譲渡されていないノード４２が、
タスクを処理している処理実行装置１２の処理状況を観
測し、担当する処理実行装置１２が代わってタスクの処
理を行った方が良いと判断した場合には、オーナーシッ
プの変更処理を行うことにより、処理実行装置１２の動
的な負荷の変化に対応することができるという効果が得
られる。

【００５９】実施の形態３．この実施の形態３における
分散処理システムの構成及び協調処理部の構成は、それ
ぞれ実施の形態１における図１，図２に示す構成と同等
である。図１０はこの発明の実施の形態３によるノード
４２の構成を示すブロック図であり、５５はモデリング
部５４が処理を開始している処理実行装置１２の処理能
力値より作成した実行モデルのモデル情報を予測する予
測部であり、その他の構成は、実施の形態２の図７に示
す構成と同等である。

【００６０】次に動作について説明する。各ノード４２
のモデリング部５４は、実施の形態２と同様に、作成し
た実行モデルの状態の変化を分析する。予測部５５は、
分析結果より変化率、変化則を算出し、所定の時間内で
の処理能力値を算出する。予測部５５は同様に所定時間
内の自己の処理能力値の予測も行い、モデリング部５４
は所定の時間内における同時刻での処理能力値の比較を
行うことにより、処理効率の評価を行う。そして、実施
の形態２と同様に、処理効率向上のためにオーナーシッ
プの変更、処理実行装置１２の変更を行う。

【００６１】以上のように、この実施の形態３によれ
ば、オーナーシップが譲渡されていないノード４２が、
タスクを処理している処理実行装置１２の処理状況を観
測し、担当する処理実行装置１２が代わってタスクの処
理を行った方が良いと判断した場合には、オーナーシッ
プの変更処理を行うことにより、処理実行装置１２の動
的な負荷の変化に対応することができるという効果が得
られる。

【００６２】実施の形態４．この実施の形態４における
分散処理システムの構成及び協調処理部の構成は、それ
ぞれ実施の形態１における図１，図２に示す構成と同等
である。図１１はこの発明の実施の形態４によるノード
４２の構成を示すブロック図であり、５６はシステム全
体の負荷の判定を行う負荷判定部、５７は負荷の偏りを
調整する代替案を作成する負荷調整部であり、その他の
構成は、実施の形態２の図７に示す構成と同等である。

【００６３】次に動作について説明する。図１２は実施
の形態２における図８のステップＳＴ４２の処理状況観
測処理の流れを示すフローチャートである。ステップＳ
Ｔ７１において、最初にオーナーシップを獲得した処理
実行装置１２がタスク処理を開始したときに、マネージ
ャ４１は各ノード４２に処理開始のアナウンスを行う。

【００６４】マネージャ４１からアナウンスを受けた各
ノード４２のモデリング部５４は、ステップＳＴ７２に
おいて、アナウンスの内容を分析し、ステップＳＴ７３
において、システムを構成する処理実行装置１２全ての
各実行モデルを作成し、ステップＳＴ７４において、各
実行モデルのモデル情報を更新する。

【００６５】ステップＳＴ７５において、各ノード４２
のモデリング部５４が各実行モデルのモデル情報を更新
する度に、負荷判定部５６は、各実行モデルについて処
理能力値を分析し、高負荷な処理実行装置１２を調査す
る。負荷判定部５６が、高負荷な処理実行装置１２が存
在し、システム内の負荷に偏りがあると判断したとき、
ステップＳＴ７６において、負荷調整部５７は、高負荷
の処理実行装置１２に代り、タスク処理を行うことので
きる代替の処理実行装置１２を検索する。このとき、負
荷調整部５７は、処理機能と処理実行装置１２の処理状
況をもとに、負荷が低く、処理能力が高い処理実行装置
１２を選択して、負荷の偏りを調整する代替案を作成す
る。

【００６６】ステップＳＴ７７において、負荷判定部５
６は、この代替案を適用した結果を評価し、システム内
の負荷状況が改善されると判断したときに、ステップＳ
Ｔ７８において、ノード４２はその代替案をマネージャ
４１に通知し、オーナーシップ変更を要求する。この代
替案を適用しても改善されないと判断したときは、ノー
ド４２は代替案を破棄し、ステップＳＴ７４のモデル情
報の更新を継続する。オーナーシップ変更の要求後の処
理は、実施の形態２と同様である。

【００６７】以上のように、この実施の形態４によれ
ば、オーナーシップが譲渡されていないノード４２が、
タスクを処理している処理実行装置１２の処理状況を観
測し、担当する処理実行装置１２が代わってタスクの処
理を行った方が良いと判断した場合には、オーナーシッ
プの変更処理を行うことにより、処理実行装置１２の動
的な負荷の変化に対応することができるという効果が得
られる。

【００６８】実施の形態５．この実施の形態５における
分散処理システムの構成及び協調処理部の構成は、それ
ぞれ実施の形態１における図１，図２に示す構成と同等
である。図１３はこの発明の実施の形態５によるノード
４２の構成を示すブロック図であり、５８は現在自分が
処理しているタスクを他の処理実行装置１２に依頼し、
処理管理を行う外部依頼部であり、実施の形態４の図１
１における負荷調整部５７を、外部依頼部５８に置き換
えたものである。

【００６９】次に動作について説明する。図１４はこの
発明の実施の形態５における各ノード４２の処理の流れ
を示すフローチャートである。ステップＳＴ８１におい
て、マネージャ４１がオーナーシップの譲渡を行い、ス
テップＳＴ８２において、オーナーシップが譲渡された
処理実行装置１２がタスク処理を開始する。

【００７０】ステップＳＴ８３において、オーナーシッ
プが譲渡されたノード４２のモデリング部５４は、他の
処理実行処理装置１２の処理能力値から実行モデルを作
成する。また、ステップＳＴ８４において、モデリング
部５４は、自己の処理能力値から自己の実行モデルを作
成する。ステップＳＴ８５において、モデリング部５４
は、処理状況を監視して、他の処理実行装置１２の実行
モデル、自己の実行モデルのモデル情報の更新を行う。

【００７１】ステップＳＴ８６において、負荷判定部５
６はモデル情報更新時に負荷の状態を評価し、正常の場
合には、ステップＳＴ８５のモデル情報の更新を継続す
る。モデリング部５４が作成した実行モデルの何れか
が、効率低下、処理継続不可能等で、負荷判定部５６が
異常と評価した場合には、ステップＳＴ８７において、
外部依頼部５８は、他の実行モデルを参照し、最も処理
能力が高い他の処理実行装置１２を検索する。このと
き、管理装置１１で管理するオーナーシップ情報の更
新、変更はせずに、依頼を行うノード４２と処理実行装
置１２の判断、管理において、処理の権限のみを委譲す
る。

【００７２】ステップＳＴ８８において、外部依頼部５
８は、検索結果をもとに処理の依頼を担当のノード４２
に行う。依頼を受けたノード４２は処理能力値に基づき
処理可否の判断を行い結果を回答する。処理依頼が失敗
したときは、ステップＳＴ８５のモデル情報の更新を継
続する。処理依頼が成功したときは、ステップＳＴ８９
において、実施の形態２と同様にして、依頼元の処理実
行装置１２により処理済の中間データが、依頼先の処理
実行装置１２に送信され、依頼先の処理実行装置１２が
処理を開始する。

【００７３】ステップＳＴ９０において、依頼先の処理
実行装置１２が処理を完了すると、ステップＳＴ９１に
おいて、処理結果集積部３７が処理結果を集積し、ステ
ップＳＴ９２において、依頼先の処理実行装置１２は処
理結果を依頼元の処理実行装置１２に送信する。ステッ
プＳＴ９３において、処理結果を受信した依頼元の処理
実行装置１２は、処理完了を担当のノード４２に通知し
て完了処理を行い、割り当てられたタスクの処理を完了
する。

【００７４】以上のように、この実施の形態５によれ
ば、オーナーシップが譲渡されたノード４２が、他の処
理実行装置１２の処理状況を観測し、他の処理実行装置
１２が代わってタスクの処理を行った方が良いと判断し
た場合には、オーナーシップの変更要求を行わずに、処
理実行装置１２間で、タスク処理の依頼を自由に行うこ
とにより、局所的な処理状況の変化に柔軟に対応するこ
とができるという効果が得られる。

【００７５】

【発明の効果】以上のように、この発明によれば、管理
装置は、逐次把握している各処理実行装置のタスクと関
連付けた処理状況を示す処理能力値に基づき、受け付け
たタスクの処理を実行する処理実行装置を決定して、タ
スクの実行管理権であるオーナーシップを設定し、決定
した処理実行装置に、受け付けたタスクの処理依頼を行
う協調処理部を備え、処理実行装置は、管理装置から依
頼されたタスクの処理を実行する処理実行部と、処理実
行部によるタスクの処理における稼動データを計測する
稼動状況監視部と、稼動状況監視部が計測した稼動デー
タを記録する状態記録部と、状態記録部に記憶されてい
る稼動データを参照し、所定の間隔で処理中のタスクと
関連付けた最新の処理状況を示す処理能力値を算出する
処理能力値算出部と、処理能力値算出部が算出した最新
の処理能力値を管理装置に送信する処理制御部とを備え
たことにより、ネットワークに接続されている全ての処
理実行装置にタスクの処理の可否判断を求める必要がな
く、通信料を減らすことができるという効果がある。

【００７６】この発明によれば、オーナーシップを譲渡
されなかったノードが、オーナーシップを譲渡されたノ
ードからの処理能力値に基づき、オーナーシップを譲渡
されタスクの処理を実行している処理実行装置の処理状
況を観測し、オーナーシップを譲渡されなかった処理実
行装置が代わりにタスクの処理を実行した方が処理効率
が良いと判断した場合に、マネージャにオーナーシップ
の変更要求を行うことにより、処理実行装置の動的な負
荷の変化に対応することができるという効果がある。

【００７７】この発明によれば、オーナーシップを譲渡
されなかったノードが、オーナーシップを譲渡されタス
クの処理を実行している処理実行装置の処理能力値によ
り実行モデルを作成し、作成した実行モデルのモデル情
報を更新し、自己の処理能力値と比較して、処理効率の
評価を行うモデリング部を備えたことにより、処理実行
装置の動的な負荷の変化に対応することができるという
効果がある。

【００７８】この発明によれば、オーナーシップを譲渡
されなかったノードが、モデリング部が作成した実行モ
デルのモデル情報の変化率、変化則を算出し、所定の時
間内の処理能力値を予測すると共に、所定の時間内の自
己の処理能力値の予測を行う予測部を備え、モデリング
部が、予測部が予測した処理能力値を比較することによ
り、処理効率の評価を行うことにより、処理実行装置の
動的な負荷の変化に対応することができるという効果が
ある。

【００７９】この発明によれば、ノードが、システム全
体の処理実行装置の処理能力値により、各実行モデルを
作成し、作成した各実行モデルのモデル情報を更新する
モデリング部と、モデリング部が作成した実行モデルの
モデル情報を更新する度に、全実行モデルの処理能力値
を分析し負荷の判定を行う負荷判定部と、負荷判定部の
判定結果に基づき、負荷を調整する代替案を作成する負
荷調整部とを備え、負荷判定部が、負荷調整部により作
成された代替案を評価し、マネージャにオーナーシップ
の変更を要求することにより、処理実行装置の動的な負
荷の変化に対応することができるという効果がある。

【００８０】この発明によれば、ノードが、オーナーシ
ップを譲渡されなかった処理実行装置の処理能力値によ
り、他の実行モデルを作成すると共に、自己の処理能力
値から自己の実行モデルを作成し、他の実行モデルのモ
デル情報と、自己の実行モデルのモデル情報を更新する
モデリング部と、モデリング部が作成した各実行モデル
の処理能力値を分析し負荷の判定を行う負荷判定部と、
負荷判定部の判定結果に基づき、負荷を調整するために
処理能力の高い処理実行装置に対応するノードにタスク
処理の依頼を行う外部依頼部とを備え、処理実行装置間
でタスク処理の依頼を自由に行うことにより、局所的な
処理状況の変化に柔軟に対応することができるという効
果がある。

【図面の簡単な説明】

【図１】 この発明の各実施の形態による分散処理シス
テムの構成を示すブロック図である。

【図２】 この発明の各実施の形態による協調処理部の
構成を示すブロック図である。

【図３】 この発明の実施の形態１によるノードの構成
を示すブロック図である。

【図４】 この発明の各実施の形態による処理能力値算
出部が算出する処理能力値の更新処理を示すフローチャ
ートである。

【図５】 この発明の実施の形態１による分散処理シス
テムの全体の処理の流れを示すフローチャートである。

【図６】 この発明の実施の形態１によるオーナーシッ
プ譲渡先決定処理の流れを示すフローチャートである。

【図７】 この発明の実施の形態２によるノードの構成
を示すブロック図である。

【図８】 この発明の実施の形態２によるタスク処理を
行う処理実行装置の変更処理の流れを示すフローチャー
トである。

【図９】 この発明の実施の形態２による処理状況観測
処理の流れを示すフローチャートである。

【図１０】 この発明の実施の形態３によるノードの構
成を示すブロック図である。

【図１１】 この発明の実施の形態４によるノードの構
成を示すブロック図である。

【図１２】 この発明の実施の形態４による処理状況観
測処理の流れを示すフローチャートである。

【図１３】 この発明の実施の形態５によるノードの構
成を示すブロック図である。

【図１４】 この発明の実施の形態５によるノードの処
理の流れを示すフローチャートである。

【図１５】 従来の分散処理システムの構成を示すブロ
ック図である。

【符号の説明】

１１ 管理装置、１２ 処理実行装置、１３ 入力装
置、２１ タスク受付部、２２ タスクデータベース、
２３ 協調処理部、２４ オーナーシップ管理部、２５
オーナーシップデータベース、２６ 通信処理部、３
１ 通信処理部、３２ 処理制御部、３３ 処理実行
部、３４ 稼動状況監視部、３５ 状態記録部、３６
処理能力値算出部、３７ 処理結果集積部、４１ マネ
ージャ、４２ノード、５１ 通信処理部、５２ 処理能
力データベース、５３ 状況分析部、５４ モデリング
部、５５ 予測部、５６ 負荷判定部、５７ 負荷調整
部、５８ 外部依頼部。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 タスクの処理を依頼する管理装置と、上
   記管理装置とネットワークにより接続され、上記管理装
   置からの依頼に基づきタスクの処理を実行する複数の処
   理実行装置とを備えた分散処理システムにおいて、 上記管理装置は、 外部よりタスクの処理命令を受け付けるタスク受付部
   と、 逐次把握している上記各処理実行装置のタスクと関連付
   けた処理状況を示す処理能力値に基づき、上記タスク受
   付部が受け付けたタスクの処理を実行する上記処理実行
   装置を決定して、タスクの実行管理権であるオーナーシ
   ップを設定し、決定した上記処理実行装置に、受け付け
   たタスクの処理依頼を行う協調処理部とを備え、 上記処理実行装置は、 上記管理装置から依頼されたタスクの処理を実行する処
   理実行部と、 上記処理実行部によるタスクの処理における稼動データ
   を計測する稼動状況監視部と、 上記稼動状況監視部が計測した稼動データを記録する状
   態記録部と、 上記状態記録部に記憶されている稼動データを参照し、
   所定の間隔で処理中のタスクと関連付けた最新の処理状
   況を示す処理能力値を算出する処理能力値算出部と、 上記処理能力値算出部が算出した最新の処理能力値を上
   記管理装置に送信する処理制御部とを備えたことを特徴
   とする分散処理システム。
2. 【請求項２】 協調処理部は、 各処理実行装置に対応して備えられ、対応する処理実行
   装置の処理能力値に基づき、受け付けたタスクの処理の
   実行可否を判断するノードと、 上記各ノードから報告された、タスクの処理の実行可否
   の判断結果と、処理能力値に基づき、オーナーシップの
   譲渡先を決定し、上記各ノードに通知するマネージャと
   を備えたことを特徴とする請求項１記載の分散処理シス
   テム。
3. 【請求項３】 ノードは、 処理実行装置から送信された処理能力値を格納する処理
   能力データベースと、 上記処理能力データベースに格納されている処理能力値
   に基づき、受け付けたタスクの処理の実行可否を判断す
   る状況分析部とを備えたことを特徴とする請求項２記載
   の分散処理システム。
4. 【請求項４】 状況分析部は、各処理実行装置に固有な
   処理実行可能閾値を設定し、処理能力データベースに格
   納されている処理能力値に基づき、現在の計算機資源の
   占有率を求め、受け付けたタスクを実行したときの予測
   占有率を計算し、上記計算機資源の占有率と上記予測占
   有率の合計値と、上記処理実行可能閾値とを比較するこ
   とにより、受け付けたタスクの処理の実行可否を判断す
   ることを特徴とする請求項３記載の分散処理システム。
5. 【請求項５】 オーナーシップを譲渡されなかったノー
   ドが、オーナーシップを譲渡されたノードからの処理能
   力値に基づき、オーナーシップを譲渡されタスクの処理
   を実行している処理実行装置の処理状況を観測し、オー
   ナーシップを譲渡されなかった処理実行装置が代わりに
   タスクの処理を実行した方が処理効率が良いと判断した
   場合に、マネージャにオーナーシップの変更要求を行う
   ことを特徴とする請求項２記載の分散処理システム。
6. 【請求項６】 マネージャがオーナーシップの変更指示
   を各ノードに行った場合に、タスクの処理を実行してい
   た処理実行装置は、処理済の中間データを、オーナーシ
   ップを新しく譲渡された処理実行装置に送信し、上記オ
   ーナーシップを新しく譲渡された処理実行装置が、送信
   された中間データに基づき、タスクの処理を継続するこ
   とを特徴とする請求項５記載の分散処理システム。
7. 【請求項７】 オーナーシップを譲渡されなかったノー
   ドが、 オーナーシップを譲渡されタスクの処理を実行している
   処理実行装置の処理能力値により実行モデルを作成し、
   作成した実行モデルのモデル情報を更新し、自己の処理
   能力値と比較して、処理効率の評価を行うモデリング部
   を備えたことを特徴とする請求項５記載の分散処理シス
   テム。
8. 【請求項８】 オーナーシップを譲渡されなかったノー
   ドが、 モデリング部が作成した実行モデルのモデル情報の変化
   率、変化則を算出し、所定の時間内の処理能力値を予測
   すると共に、所定の時間内の自己の処理能力値の予測を
   行う予測部を備え、 モデリング部が、上記予測部が予測した処理能力値を比
   較することにより、処理効率の評価を行うことを特徴と
   する請求項７記載の分散処理システム。
9. 【請求項９】 ノードが、 システム全体の処理実行装置の処理能力値により、各実
   行モデルを作成し、作成した各実行モデルのモデル情報
   を更新するモデリング部と、 上記モデリング部が作成した実行モデルのモデル情報を
   更新する度に、全実行モデルの処理能力値を分析し負荷
   の判定を行う負荷判定部と、 上記負荷判定部の判定結果に基づき、負荷を調整する代
   替案を作成する負荷調整部とを備え、 上記負荷判定部が、上記負荷調整部により作成された代
   替案を評価し、マネージャにオーナーシップの変更を要
   求することを特徴とする請求項２記載の分散処理システ
   ム。
10. 【請求項１０】 ノードが、オーナーシップを譲渡され
    なかった処理実行装置の処理能力値により、他の実行モ
    デルを作成すると共に、自己の処理能力値から自己の実
    行モデルを作成し、上記他の実行モデルのモデル情報
    と、上記自己の実行モデルのモデル情報を更新するモデ
    リング部と、 上記モデリング部が作成した各実行モデルの処理能力値
    を分析し負荷の判定を行う負荷判定部と、 上記負荷判定部の判定結果に基づき、負荷を調整するた
    めに処理能力の高い処理実行装置に対応するノードにタ
    スク処理の依頼を行う外部依頼部とを備えたことを特徴
    とする請求項２記載の分散処理システム。