JP2002268964A - ネットワーク管理における負荷分散制御システム - Google Patents

Abstract

(57)【要約】 【課題】 負荷情報収集時の通信遅延時間を考慮したネ
ットワーク管理における負荷分散制御システムを提供す
る。 【解決手段】 管理ノードが実行すべき管理処理の一部
が記述された管理スクリプトを被管理ノードに投入して
実行させ、管理ノードの処理負荷をネットワーク上に分
散させる負荷分散制御システムにおいて、管理ノードと
各被管理ノードとの間の通信遅延時間を計測する手段１
０５ｍと、通信遅延時間が所定の許容遅延時間を超える
被管理ノードを、当該被管理ノード近傍の他の被管理ノ
ードと共にグループ化する手段１０６ｍと、グループ内
の被管理ノード間で管理スクリプト８０２ａを移動させ
る処理を記述した負荷分散スクリプト８０３ａをグルー
プ内の被管理ノードに投入する手段１０２ｍとを具備し
た。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はネットワーク管理に
おける負荷分散制御システムに係り、特に、ネットワー
ク上の各ノードにプログラム（以下、管理スクリプトと
呼ぶ）を動的に配置して処理負荷の不均衡をノード間で
解消し、ネットワーク全体としての処理負荷の均衡を図
ることのできる負荷分散制御システムに関する。

【０００２】

【従来の技術】ネットワーク管理用の処理を記述した管
理プログラムをマネージャ（管理ノード）やエージェン
ト（被管理ノード）などのノードにダウンロードして実
行させる分散ネットワーク管理では、各ノードの処理負
荷に応じて管理プログラムを実行させることでネットワ
ーク全体としての処理負荷の均衡を図ることが要求され
る。

【０００３】監視や制御など、管理の直接対象となるノ
ード上のみならず、処理負荷の小さい他のノード上でも
管理対象ノードの監視や制御行う管理スクリプトを実行
して負荷分散を行う。負荷分散の基準には、 (1)ＣＰＵ利用率をはじめとするノードの処理負荷情報 (2)ボーリングや通知など、管理スクリプトの実行に必
要な通信帯域 が利用される。

【０００４】前記マネージャは各ノードから通知される
負荷情報を定期的に収集し、あらかじめ運用者が設定す
る処理負荷の閾値の超過を契機に過負荷となるノードを
検出する。次いで、過負荷状態にあるノードの代わりに
管理スクリプトを実行させるノードを負荷情報に基づい
て動的に決定し、このノードに管理スクリプトを移動し
て再実行させ，ネットワーク全体で処理負荷の均衡を図
る。

【０００５】なお、管理スクリプトの移動により、その
実行に必要となる通信帯域が増加し、あらかじめ運用者
が設定する通信帯域の閾値を超過する場合は移動させ
ず、マネージャはその旨を運用者に通知する。

【０００６】

【発明が解決しようとする課題】上記した従来の分散管
理方式では、負荷情報収集時の通信遅延時間が、例えば
ルータにおけるパケット転送時間と比較して大きい場
合、負荷情報と実際の処理負荷との間に不整合が生じて
しまい、ノードの処理負荷を誤って判断して負荷分散し
てしまう可能性が指摘されている。典型的な例として以
下の2つがあり、以下の（1）、（2）が繰り返されてし
まう。 (1)以前まで処理負負荷の小さかったノードの負荷が実
際に増加しても、判断されるまでの間の不整合により、
この間にも管理スクリプトの移動、ルータにおけるトラ
ヒックの急増、ならびにサーバヘの要求の急増などによ
る処理負荷の増大が原因で過負荷となってしまう。 (2)以前まで過負荷であったノードの処理負荷が負荷分
散や自然減少などにより実際に減少しても、判断される
までの間の不整合により、この間何ら管理の処理を割り
当てられずネットワーク全体で処理集荷の均衡を図るこ
とができない。

【０００７】さらに、負荷情報収集時の通信遅延時間が
大きくなると、負荷情報を用いることなく、処理を無作
為または順に割り当てるラウンドロビン方式などの静的
負荷分散の方がむしろ有効に機能する場合があった。

【０００８】本発明の目的は、上記した従来技術の課題
を解決し、負荷情報収集時の通信遅延時間を考慮したネ
ットワーク管理における負荷分散制御システムを提供す
ることにある。

【０００９】

【課題を解決するための手段】上記した目的を達成する
ために、本発明は、管理ノードおよび複数の被管理ノー
ドが接続されたネットワーク上で、管理ノードが実行す
べき管理処理の一部が記述された管理スクリプトを被管
理ノードに投入して実行させ、前記管理ノードの処理負
荷をネットワーク上に分散させるネットワーク管理にお
ける負荷分散制御システムにおいて、前記管理ノード
が、所定の被管理ノードに管理スクリプトを投入する手
段と、管理ノードと各被管理ノードとの間の通信遅延時
間を計測する手段と、前記通信遅延時間が所定の許容遅
延時間を超える被管理ノードを、当該被管理ノード近傍
の他の被管理ノードと共にグループ化する手段と、前記
グループ内の被管理ノード間で管理スクリプトを移動さ
せる処理を記述した負荷分散スクリプトを、前記グルー
プ内のいずれかの被管理ノードに投入する手段とを具備
したことを特徴とする。

【００１０】上記した特徴によれば、管理ノードとの間
での通信遅延時間が長く、かつ相互間の通信遅延時間が
短い複数の被管理ノードがグループ化され、グループ内
の閉じた局所領域内で分散処理が実行されるので、通信
遅延時間の大小にかかわらず応答性に優れた高精度の分
散処理が可能になる。

【００１１】

【発明の実施の形態】以下、図面を参照して本発明に係
るネットワーク管理における負荷分散制御システムの好
ましい実施の形態について詳説する。

【００１２】図１は、本発明の負荷分散制御システムが
適用されるネットワークの一例を示した図であり、マネ
ージャ（管理ノード）の配下には複数のエージェント
（被管理ノード）Ａ１，Ａ２…Ｂ１…Ｃ１，Ｃ２が接続
されている。

【００１３】図５は、前記マネージャの主要部の構成を
示したブロック図である。ユーザーインターフェース
（Ｉ／Ｆ）２からは、各エージェントのＩＰアドレスや
ＩＰサブネットマスクを含む各種のネットワーク情報が
入力される。入力されたネットワーク情報はネットワー
ク情報登録部９に格納される。

【００１４】スクリプト登録部８には、マネージャ自身
の処理負荷をＣＰＵ１の利用率に基づいて監視するため
の処理を記述したＣＰＵ監視スクリプト８０１ｍと、マ
ネージャが実行すべきネットワーク管理処理の一部を記
述した管理スクリプト８０２ｍ（マネージャ負担用），
８０２ａ（エージェント負担用）と、エージェントに投
入済みの管理スクリプト８０２ａをエージェント間で移
動させる処理を記述した負荷分散スクリプト８０３ｍ
（マネージャ用），８０３ａ（エージェント用）とが登
録されている。

【００１５】ＣＰＵ１において、スクリプト管理部１０
１ｍは前記各スクリプトを管理し、そのパラメータなど
を設定する。スクリプト投入部１０２ｍは、前記エージ
ェント用の管理スクリプト８０２ａおよび負荷分散スク
リプト８０３ａを、通信制御部７および通信Ｉ／Ｆ６を
介して各エージェントへ選択的に投入する。スクリプト
消去部１０３ｍは、各エージェントに投入済みのスクリ
プトを選択的に消去する。

【００１６】スクリプト実行部１０４ｍは、マネージャ
用の各スクリプトをＲＡＭ４上に展開し、ＲＯＭ３に既
登録のパラメータを利用して実行する。スクリプトの実
行結果はＭＩＢ５に既登録の管理情報に反映される。

【００１７】遅延時間計測部１０５ｍは、各エージェン
トの負荷情報を各エージェントから収集する際に、自身
と各エージェントとの通信遅延時間を計測する。グルー
プ化制御部１０６ｍは、前記計測された通信遅延時間お
よび各エージェントのアドレス情報（ＩＰアドレスやＩ
Ｐサブネットマスク）に基づいて、通信遅延時間の大き
いエージェントを、その近傍に位置する他のエージェン
トと共にグループ化する。

【００１８】図６は、前記エージェント（被管理ノー
ド）の主要部の構成を示したブロック図であり、前記と
同一の符号は同一または同等部分を表している。

【００１９】スクリプト登録部８には、エージェント自
身の処理負荷をＣＰＵ１の利用率に基づいて判別するＣ
ＰＵ監視スクリプト８０１ａが予め登録されており、さ
らに、マネージャから投入された管理スクリプト８０２
ａあるいは負荷分散スクリプト８０３ａが適宜にダウン
ロードされる。

【００２０】ＣＰＵ１において、スクリプトダウンロー
ド部１０７ａは、マネージャから投入される管理スクリ
プト８０２ａあるいは負荷分散スクリプト８０３ａをス
クリプト登録部８にダウンロードする。スクリプトアン
ロード部１０８ａは、マネージャから消去要求のあった
管理スクリプト８０２ａあるいは負荷分散スクリプト８
０３ａをスクリプト登録部８からアンロードする。

【００２１】次いで、フローチャートを参照して本実施
形態の動作を説明する。図７は、前記マネージャの動作
を示したフローチャートである。

【００２２】ステップＳ１では、所定のエージェントを
監視中のマネージャが過負荷状態に陥ったとき、あるい
は所定のタイミングで、前記監視対象エージェントの近
傍に位置する他のエージェントに投入して処理の分散を
図る「管理スクリプトの投入処理」が実行される。ステ
ップＳ２では、自身との間の通信遅延時間の大きい複数
のエージェントをグループ化し、グループ内のエージェ
ントのいずれかに対して前記負荷分散スクリプト８０３
ａを投入する「負荷分散スクリプト投入処理」が実行さ
れる。

【００２３】ステップＳ３では、負荷分散スクリプト８
０３ａの投入後に管理スクリプト８０２ａが実行されな
くなったグループから負荷分散スクリプト８０３ａを消
去する「負荷分散スクリプトの消去処理」が実行され
る。

【００２４】図８は、前記ステップＳ１で実行される
「管理スクリプトの投入処理」の動作を具体的に示した
フローチャートである。

【００２５】ステップＳ１０１では、前記ＣＰＵ監視ス
クリプト８０１ｍがＣＰＵ１のスクリプト実行部１０４
ｍで実行され、ＣＰＵ１の現在の利用率が処理負荷とし
て検知される。さらに、後述する各エージェントにおい
て同様に検知された各ＣＰＵの利用率が、各エージェン
トの処理負荷として、通信インターフェース６および通
信制御部７介して収集される。すなわち、マネージャに
は全てのエージェントの処理付加が収集される。

【００２６】ステップＳ１０２では、マネージャが過負
荷状態であるか否かが、そのＣＰＵ利用率に基づいて判
別される。マネージャが過負荷状態であれば、ステップ
Ｓ１０３において、監視中のエージェントの近傍に位置
する低負荷状態のエージェントが前記収集された処理負
荷に基づいて判別され、当該低負荷状態のエージェント
に対して、ＣＰＵ１のスクリプト投入部１０２ｍにより
管理スクリプト８０２ａが新規に投入される。

【００２７】これにより、過負荷状態にあるマネージャ
のネットワーク管理処理の一部が、低負荷状態のエージ
ェントに投入された管理スクリプト８０２ａに分散され
るので、処理負荷の分散が可能になる。

【００２８】図１は、前記管理スクリプト８０２ａの投
入例を模式的に示した図であり、ここでは、エージェン
トＡ１，Ｂ２，Ｃ２に対して管理スクリプト８０２ａが
投入されている。

【００２９】図９は、前記ステップＳ２の「負荷分散ス
クリプト投入処理」の動作を具体的に示したフローチャ
ートである。

【００３０】ステップＳ２０１では、ＣＰＵ１の遅延時
間計測部１０５ｍにおいて、前記各エージェントから通
知された処理負荷情報の送信時刻と受信時刻との差分に
基づいて、各エージェントとマネージャとの間の通信遅
延時間が計測される。

【００３１】ステップＳ２０２では、通信遅延時間が所
定の許容遅延時間を超えるエージェントが存在するか否
かが判別される。なお、本実施形態ではノイズの影響に
よる誤判別を防止するために、通信遅延時間が許容遅延
時間を、連続して所定回数以上超えた場合のみ、通信遅
延時間が真に許容遅延時間を超えたものと判別するよう
にしている。

【００３２】通信遅延時間が許容遅延時間を超えるエー
ジェントが存在すれば、ステップＳ２０３において、Ｃ
ＰＵ１のグループ化制御部１０６ｍが、ネットワーク情
報登録部９に既登録の当該エージェントのＩＰアドレス
やＩＰサブネットマスクに基づいて、当該エージェント
と近接する複数のエージェントを選別し、これらを同一
グループにグループ化する。

【００３３】ステップＳ２０４では、前記グループ内の
いずれかのエージェントに前記管理スクリプト８０２ａ
が投入済みであるか否かが判別される。管理スクリプト
が投入済みのエージェントがグループ内に含まれていれ
ば、ステップＳ２０５において、前記グループ内のエー
ジェントのうち、たとえば処理負荷の最も低いエージェ
ントが、前記負荷分散スクリプト８０３ａの投入先とし
て選択される。ステップＳ２０６では、前記選択された
エージェントに対して、前記スクリプト投入部１０２ｍ
により負荷分散スクリプト８０３ａが投入される。

【００３４】なお、前記ステップＳ２０４において、前
記グループ内のいずれのエージェントにも管理スクリプ
ト８０２ａが未投入であると判別されると、前記グルー
プを解消した後に当該処理を終了する。

【００３５】図２は、前記負荷分散スクリプト８０３ａ
の投入例を模式的に示した図であり、ここでは、エージ
ェントＢ１，Ｂ２，Ｂ３およびエージェントＣ１，Ｃ２
がグループ化され、それぞれエージェントＢ１，Ｃ１に
対して負荷分散スクリプト８０３ａが投入されている。

【００３６】したがって、これ以後は管理スクリプト８
０２ａのグループ内での移動が、図３に示したように、
相互の通信遅延時間が短いグループ内において、それぞ
れの負荷分散スクリプト８０３ａにより局所的かつ閉鎖
的に実行されるので、応答性に優れた高精度の分散処理
が可能になる。

【００３７】図１０は、前記ステップＳ３の「負荷分散
スクリプト消去処理」の動作を具体的に示したフローチ
ャートである。

【００３８】ステップＳ３０１では、各グループ内での
管理スクリプト８０２ａの実行状態がスクリプト管理部
１０１ｍにおいて監視される。ステップＳ３０２では、
各グループ内に実行中の管理スクリプトが存在するか否
かが判別される。管理スクリプトが一切実行されていな
いグループに対しては、ステップＳ３０３において、前
記スクリプト消去部１０３ｍにより、負荷分散スクリプ
トの消去指令が発せられる。消去指令を受けたエージェ
ントは、後に詳述するように、先に投入された負荷分散
スクリプト８０３ａをアンロードする。ステップＳ３０
４では、当該グループが解消され、各エージェントは再
びマネージャの直接管理下に置かれる。

【００３９】図４は、グループｃが解消された状態を模
式的に示した図であり、エージェントＣ１に投入されて
いた負荷分散スクリプト８０３ａがアンロードされ、エ
ージェントＣ１，Ｃ２はマネージャの管理下に配置され
る。

【００４０】図１１は、前記各エージェントの動作を具
体的に示したフローチャートである。ステップＳ５０１
において、マネージャから送出された「スクリプト制御
要求」がＣＰＵ１のスクリプト管理部１０１ａで検知さ
れると、ステップＳ５０２では、今回のスクリプト制御
要求がスクリプトの投入要求であるか否かが判別され
る。スクリプトの投入要求であれば、スクリプト管理部
１０１ａがスクリプトダウンロード部１０７ａに対して
スクリプトのダウンロードを要求する。ステップＳ５０
３では、スクリプトダウンロード部１０７ａが当該要求
に応答して、マネージャから投入されるスクリプトをス
クリプト登録部８へダウンロードする。

【００４１】これに対して、前記スクリプト制御要求が
スクリプトの投入要求でなければ、ステップＳ５０４に
おいて、今回のスクリプト制御要求がスクリプトの消去
要求であるか否かが判別される。スクリプトの消去要求
であれば、スクリプト管理部１０１ａがスクリプトアン
ロード部１０８ａに対してのアンロードを要求する。ス
テップＳ５０５では、スクリプトアンロード部１０８ａ
が当該要求に応答して、スクリプト登録部８に既登録の
該当スクリプトをアンロードする。

【００４２】ステップＳ５０６では、スクリプト実行部
１０４ａによりＣＰＵ監視スクリプト８０１ａが実行さ
れ、自身のＣＰＵ利用率が負荷情報として収集される。
ステップＳ５０７では、負荷分散スクリプト８０３ａを
自身が実行中であるか否かが判別される。自身が実行中
であれば、ステップＳ５０８において、前記収集した負
荷情報を自身が実行中の負荷分散スクリプト８０３ａへ
通知する。

【００４３】これに対して、前記ステップＳ５０７にお
いて、負荷分散スクリプト８０３ａを自身が実行中では
ないと判別されると、ステップＳ５０９では、負荷分散
スクリプト８０３ａを同一グループ内の他のエージェン
トが実行中であるか否かが判別される。

【００４４】同一グループ内の他のエージェントが実行
中であれば、ステップＳ５１０において、前記収集した
負荷情報を他のエージェントで実行中の負荷分散スクリ
プト８０３ａへ通知する。同一グループ内の他のエージ
ェントでも実行されていなければ、ステップＳ５１１に
おいて、前記収集した負荷情報をマネージャの負荷分散
スクリプト８０３ｍへ通知する。

【００４５】

【発明の効果】本発明によれば、マネージャとの間での
通信遅延時間が長く、相互間の通信遅延時間が短い複数
のエージェント（被管理ノード）をグループ化し、グル
ープ内の閉じた局所領域内で分散処理が実行されるよう
にしたので、通信遅延時間の大小すなわち管理ノードと
の通信上の距離にかかわらず、応答性に優れた高精度の
分散処理が可能になる。

【図面の簡単な説明】

【図１】 本発明の負荷分散制御システムが適用される
ネットワークの一例を示した図である。

【図２】 負荷分散スクリプトの投入例を模式的に示し
た図である。

【図３】 管理スクリプトの移動例を模式的に示した図
である。

【図４】 グループの解消例を模式的に示した図であ
る。

【図５】 マネージャの主要部の構成を示したブロック
図である。

【図６】 エージェントの主要部の構成を示したブロッ
ク図である。

【図７】 マネージャの動作を示したフローチャートで
ある。

【図８】 管理スクリプト投入処理のフローチャートで
ある。

【図９】 負荷分散スクリプト投入処理のフローチャー
トである。

【図１０】 負荷分散スクリプト消去処理のフローチャ
ートである。

【図１１】 エージェントの動作を示したフローチャー
トである。

【符号の説明】

１…ＣＰＵ，２…ユーザーインターフェース，７…通信
制御部，６…通信Ｉ／Ｆ，９…ネットワーク情報登録
部，１０１ｍ…スクリプト管理部，１０２ｍ…スクリプ
ト投入部，１０３ｍ…スクリプト消去部，１０４ｍ…ス
クリプト実行部，１０５ｍ…遅延時間計測部，１０６ｍ
…グループ化制御部，８０１ｍ…ＣＰＵ監視スクリプ
ト，８０２ｍ，８０２ａ…管理スクリプト，８０３ａ，
８０３ｍ…負荷分散スクリプト

フロントページの続き (72)発明者 堀内 浩規 埼玉県上福岡市大原２−１−15 株式会社 ケイディディ研究所内 Ｆターム(参考） 5B045 BB49 GG04 JJ08 5B089 GB02 JA35 JB14 KA06 KB04 MA03 MA07 5K030 GA02 HB08 JT06 LE03 MB06

Claims (8)

【特許請求の範囲】
1. 【請求項１】 管理ノードおよび複数の被管理ノードが
   接続されたネットワーク上で、管理ノードが実行すべき
   管理処理の一部が記述された管理スクリプトを被管理ノ
   ードに投入して実行させ、前記管理ノードの処理負荷を
   ネットワーク上に分散させるネットワーク管理における
   負荷分散制御システムにおいて、 前記管理ノードは、 所定の被管理ノードに管理スクリプトを投入する手段
   と、 管理ノードと各被管理ノードとの間の通信遅延時間を計
   測する手段と、 前記通信遅延時間が所定の許容遅延時間を超える被管理
   ノードを、当該被管理ノード近傍の他の被管理ノードと
   共にグループ化する手段と、 前記グループ内の被管理ノード間で管理スクリプトを移
   動させる処理を記述した負荷分散スクリプトを、前記グ
   ループ内のいずれかの被管理ノードに投入する手段とを
   具備したことを特徴とするネットワーク管理における負
   荷分散制御システム。
2. 【請求項２】 前記管理ノードは、各被管理ノードか
   ら、それぞれの処理負荷に関する情報を収集する手段を
   具備し、各被管理ノードから処理負荷情報を収集する際
   の通信時間に基づいて通信遅延時間を計測することを特
   徴とする請求項１に記載のネットワーク管理における負
   荷分散制御システム。
3. 【請求項３】 前記管理ノードは、グループ内の被管理
   ノードのうち、処理負荷の低い被管理ノードに負荷分散
   スクリプトを投入することを特徴とする請求項１または
   ２に記載のネットワーク管理における負荷分散制御シス
   テム。
4. 【請求項４】 前記各被管理ノードは、自身の処理負荷
   に関する情報を検知する手段を具備し、 前記負荷分散スクリプトは、グループ内の各被管理ノー
   ドからそれぞれの処理負荷情報を収集し、管理スクリプ
   トを処理負荷の低い被管理ノード上へ移動させることを
   特徴とする請求項１ないし３のいずれかに記載のネット
   ワーク管理における負荷分散制御システム。
5. 【請求項５】 前記管理ノードは、 各グループ内で管理スクリプトが実行されているか否か
   を監視する手段と、 管理スクリプトが実質的に実行されていないグループ内
   の負荷分散スクリプトを消去させる手段とを含み、 前記管理スクリプトが実質的に実行されていないグルー
   プを解消させることを特徴とする請求項１ないし４のい
   ずれかに記載のネットワーク管理における負荷分散制御
   システム。
6. 【請求項６】 前記被管理ノードは、 自身の処理負荷を監視する手段を具備し、 前記監視結果を、自身がいずれのグループにも属してい
   なければ管理ノードへ通知し、自身がいずれかのグルー
   プに属していれば、当該グループ内の負荷分散スクリプ
   トへ通知することを特徴とする請求項１ないし５のいず
   れかに記載のネットワーク管理における負荷分散制御シ
   ステム。
7. 【請求項７】 前記管理ノードは、前記管理スクリプト
   を処理負荷の低い被管理ノードに投入することを特徴と
   する請求項１ないし６のいずれかに記載のネットワーク
   管理における負荷分散制御システム。
8. 【請求項８】 前記グループ化手段は、前記通信遅延時
   間が前記許容遅延時間を連続して所定回数以上超えた時
   に前記グループ化を実行することを特徴とする請求項１
   ないし７のいずれかに記載のネットワーク管理における
   負荷分散制御システム。