JP2008022245A - 経路制御方法とプログラムおよびエリア間通信装置とネットワーク経路制御システム - Google Patents

Abstract

【課題】ノード数の多い大規模なＩＰネットワークにおける輻輳回避のための経路制御を効率的に行いＩＰネットワークの品質を向上させる。
【解決手段】それぞれルーティング機能を有する複数のノードをまとめて１つのエリアを構成し、各エリア内の各ノード単位での経路制御と共に、各エリア単位での経路制御を行う。例えば、ゲートウェイノード２１ａは、受信したパケットの宛先アドレスから当該受信パケットの宛先エリア２８を特定し、隣接エリアj２２，j'２３における通信負荷状況情報、例えば自ノード内における隣接エリアj２２，j'２３への送信待ちパケット数と各隣接エリアj２２,j'２３内の待ちパケット数、および、宛先エリア２８までのエリアホップ数を取得し、取得した通信負荷状況情報を用いて、最適な隣接エリアを決定し、決定した隣接エリアに受信パケットを送出する。
【選択図】図２

Description

本発明は、ＩＰ（Ｉnｔｅｒnｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークにおける品質を制御する上で必要となる経路制御技術に係り、特に、ルーティング機能を有する通信装置（ノード）数の多い大規模な通信網における輻輳回避のための経路制御を効率的に行うのに好適な技術に関するものである。

ＩＰネットワークが広く利用されてくるに伴って、ＩＰネットワーク上での通信品質保証に対する要求が高まっている。通信品質の向上を図る技術として、ネットワーク内での輻輳を回避するようルーティングする輻輳回避ルーティング技術がある。

従来の輻輳回避ルーティング技術として、特許文献１に記載のものがある。この技術においては、生体内代謝ネットワークの制御機構のひとつである拮抗阻害反応を模倣して負荷分散を実現するルーティングアルゴリズムが提案されている。

すなわち、複数の経路が接続してある複数の分岐個所を有するネットワークで、任意の始分岐個所（始ノード）から任意の終分岐個所（終ノード）までに経由すべき１または複数の分岐個所（ノード）を選択することによってルートを選定する場合、各ノードの負荷量（通信負荷量）、および当該ノードに接続してある各ノードの負荷量に、生体における代謝制御を適用することで、ネットワークにおける負荷が分散されるように、各ノードの中から適切なノードを選択することができる。

例えば、ノードＸにノードＹ１，Ｙ２，Ｙ３，…が有線経路または無線経路でそれぞれ接続してあり、ノードＸには負荷量［ａ］のパケットが、ノードＹ１，Ｙ２，…，Ｙnへ移動すべく負荷されており、ノードＹ１，Ｙ２，Ｙ３，…，Ｙnには負荷量［ｂ１］，［ｂ２］，［ｂ３］，…，［ｂn］のパケットが他のノードへ移動すべく負荷されており、各経路における最大移動速度がそれぞれ、Ｖｍａｘ１，Ｖｍａｘ２，Ｖｍａｘ３，…，Ｖｍａｘnであるとすると、酵素の反応速度が当該酵素の反応生産物によってフィードバック阻害される状態を表す下記の式（イ）を前述した各負荷量に適用し、下記の式（ロ）および式（ハ）によって、各経路の通信の混雑状況といった送信状態値ｋを算出する。

式（イ）：ｄ［Ａ］／ｄｔ＝（−Ｖｍａｘ［Ａ］）／｛Ｋｍ（１＋［Ｂ］／Ｋｉ）＋［Ａ］｝。ただし、［Ａ］は基質濃度、［Ｂ］は酵素生産物濃度、Ｋｍは０．５Ｖｍａｘを与える基質濃度（［Ａ］）、Ｋｉはフィールドの強さ（値が小さいほど強い）である。

式（ロ）：ｐ＝Ｖｍａｘn［ａ］／｛Ｋｍ（１＋［ｂn］／Ｋｉ）＋［ａ］｝。

式（ハ）：ｋ＝ｐ／Ｖｍａｘn

式（ロ）中のＫｍ及びＫｉはシミュレーションによって予め適当な値を定めておく。この送信状態値ｋの値が小さいほど、混雑しているといえる。この送信状態値ｋを次の式（ニ）式に代入して評価値ｆを算出する。

式（ニ）：ｆ＝ｗ｛（１−α）ｋ＋α（１／ｈ）｝。尚、ｗは任意定数、αは０＜α＜１でシミュレーションにより適当な値を定めておく。また、ｈは当該ノードから終ノードまでに経由するノードの数（ホップ数）である。

このようにして各ノードＹ１，Ｙ２，Ｙ３，…，Ｙn別に評価値ｆnをそれぞれ算出し、得られた各評価値ｆnを互いに比較して、その値が最も大きいノードを選択する。

尚、上記式（ニ）に示したように、評価値ｆを求める場合にホップ数（１／ｈ）を考慮しており、これによって、送信状態値ｋが同じ値のノードが複数ある場合は、当該ノードから終ノードまでに経由するノードの数が少ないノードが選択される。

一方、当該ノードから終ノードまでに経由するノードの数が比較的多くても、送信状態値ｋが大きい場合は、当該ノードが選択される。尚、任意のノードから終ノードまでのホップ数（最小ホップ数）は予め得られているものとする。

このように、生体における代謝制御技術を適用してノードを選択する操作を、始ノードから順に行うことによって、送信状態値ｋが小さい、すなわち、混雑した状態のノードを回避しながら、経由するノード数がより少ないルートを選定することができる。これによって、既存のネットワークであっても輻輳の拡大を可及的に抑制し得、高いＱｏＳ（Quality of Service）を維持することができる。

尚、通信ネットワークにおけるノードとしては、ルータ等のルーティング機能を有する通信装置であればよい。また、生体における代謝制御技術としては、前述したフィードバック制御方法に限らず、フィードフォワード制御方法、あるいは拮抗阻害、非拮抗阻害または不拮抗阻害における制御方法等の他の代謝制御技術を適用し得る。

このように、特許文献１の技術では、ＩＰネットワークを構成する各ノードでの送信待ちパケット数を、当該ノードの輻輳度を表す尺度として用い、それ（送信待ちパケット数）を経路選択制御への入力パラメータとすることによって、輻輳を回避して高品質な通信を実現可能とする。

しかしながら、この技術は、ノード単位での制御を行っているため、ネットワークの規模が大きくなった場合にスケーラビリティに問題があると共に、経路を大きく変更することができないという問題点がある。

特開２００４−１７２６９８号公報

解決しようとする問題点は、従来の技術では、ノード単位での制御を行っているため、ノード数が多い大規模なネットワークへの適用に適さない点と、経路を大きく変更することができない点である。

本発明の目的は、これら従来技術の課題を解決し、ノード数の多い大規模なＩＰネットワークにおける輻輳回避のための経路制御を効率的に行うことを可能とし、当該ＩＰネットワークの品質を向上させることである。

上記目的を達成するため、本発明では、それぞれルーティング機能を有する複数の通信装置（ノード）をまとめて１つのネットワークエリアを構成し、各ネットワークエリア内の各ノード間での経路制御（公知のノード単位での経路制御）と共に、各ネットワークエリア間（エリア単位）での経路制御の２階層で経路制御を行うことを特徴とする。このネットワークエリア単位での経路制御を行うために、各ネットワークエリアを仮想的な一つのノード（キュー）とみなし、仮想ノードでの待ちパケット数を定義して、その仮想ノードでの待ちパケット数を、当該ネットワークエリアの待ちパケット数として用いることで、公知のノード間（ノード単位）での経路制御と同様にして、ネットワークエリア間（エリア単位）での輻輳回避のための経路制御を行う。

本発明によれば、公知のノード単位での経路制御と共に、ネットワークエリア間（エリア単位）での輻輳回避のための経路制御を行っており、ノード数の増加に対するスケーラビリティを向上させて、かつ、ノード単位での経路制御に比べて経路を大きく変えることができ、ノード数の多い大規模なＩＰネットワークにおける輻輳回避のための経路制御を効率的に行うことが可能となり、ＩＰネットワークの品質を向上させることが可能となる。

以下、図を用いて本発明を実施するための最良の形態例を説明する。図１は、本発明に係るエリア間通信装置の構成例を示すブロック図であり、図２は、図１におけるエリア間通信装置を具備したＩＰネットワークの構成例を示すブロック図、図３は、図１におけるエリア間通信装置の処理動作例を示すフローチャートである。

図２においては、本発明が適用されるＩＰネットワークの基本構成例を示しており、本ネットワークは複数のネットワークエリア（以下、単に「エリア」と記載）２１〜２８に分割され、各エリア２１〜２８内には、それぞれＩＰパケットのルーティング機能を有する本発明に係る通信装置としての複数のノード２１ａ〜２８ｂが存在する。その内のノード２１ａ，２２ａ〜２２ｃ，２３ａ〜２８ａは、他のエリアとのコネクション（接続機能）を有した本発明に係るエリア間通信装置としてのゲートウェイノードであり、他のノード（非ゲートウェイノード）と区別する。

図１に示すように、ゲートウェイノード１は、パケットヘッダ解析部１ａと、隣接エリア内待ちパケット数計算部１ｂ、送信待ちパケット数管理部１ｃ、ホップ数カウント部１ｄ、隣接エリア決定部１ｅ、パケット転送部１ｆを有し、特に、図２においては、複数のノードを１つにまとめて構成されるエリア２１〜２８間を接続するためのゲートウェイノード２１ａ，２２ａ〜２２ｃ，２３ａ〜２８ａとして配置されている。

尚、本例のゲートウェイノード１は、ＣＰＵ（Central Processing Unit）や主メモリ、表示装置、入力装置、外部記憶装置からなるコンピュータ構成とし、光ディスク駆動装置等を介してＣＤ−ＲＯＭ等の記憶媒体に記録されたプログラムやデータを外部記憶装置内にインストールした後、この外部記憶装置から主メモリに読み込みＣＰＵで処理することにより、各処理部の機能を実行する。

このような構成からなるゲートウェイノード１は、複数のノードをまとめて構成されたエリア間を接続するものであり、自エリア内のノードから受信したパケットの宛先アドレスをキーに、予め記憶装置に記憶した各アドレスと所属エリアとの対応付け情報を検索して当該パケットの宛先エリアを特定し、特定した宛先エリアと自エリア間にある各エリアで構成されるルーティング経路の通信負荷状況情報を取得し、取得した通信負荷状況情報を参照してパケットの転送先として最適な隣接エリアを決定し、決定した隣接エリア内のノード（ゲートウェイノード）に当該パケットを送出する。

尚、例えば、図２におけるエリアJ２２内のノード２２ｄのように、自エリアJ２２内の境界に位置していないノード（非ゲートウェイノード）は、他ノード宛のパケットを受信すると、自ノード２２ｄ内における隣接ノード２２ｅ，２２ｆへの送信待ちパケット数a_jと、これらの隣接ノード２２ｅ，２２ｆ内における送信待ちパケット数b_jを参照して、いずれか一方を、当該パケットを次に転送すべき隣接ノードとして決定する。

このように、次に転送すべき隣接ノードを決定する際には、まず、前述の特許文献１でも述べた生体内代謝ネットワークの制御機構のひとつである「nonessential actication 反応」（参照：I.H. Segel, Enzyme Kinetics : Behavior and Analysis of Rapid Equilibrium and Steady-State Enzyme Systems (Wiley, New York, 1975)）を模倣した下記の式（Ａ），（Ｂ）の負荷分散評価式を用いて、隣接ノード２２ｅ，２２ｆの混雑指標k_jを計算する。

式（Ａ）：k_j＝１−（ｐ／Vmax_1）

式（Ｂ）：ｐ＝（Vmax_1×a_j）／（（Ks_1×（１＋b_j／Ka_1））／（１＋x_1×b_j／（y_1×Ka_1））＋（a_j×（１＋b_j／（y_1×Ka_1）））／（１＋x_1×b_j／（y_1×Ka_1）））

ただし、x_1は、隣接ノード内の送信待ちパケット数b_jの混雑指標k_jへのインパクトの度合いを左右させるために予め定められるパラメタ（係数）であり、例えばx_1＝３．０等とし、このx_1を大きくすると、隣接ノード内送信待ちパケット数b_jの値を、大きく、混雑指標k_jに反映させることになる。

また、y_1は、主に自ノード内の当該隣接ノード向けの送信待ちパケット数a_jの混雑指標k_jへのインパクトの度合いを左右させるために予め定められるパラメタ（係数）であり、例えばy_1＝０．３等とし、このy_1を大きくすると、現在の自ノード内送信待ちパケット数a_jの値を、大きく、混雑指標k_jに反映させる方向に動作する。

また、Vmax_1は、ノード２２ｄとノード２２ｅ，２２ｆを結ぶ経路の最大通信速度であり、Ka_1およびKs_1は予め定められる定数である。

このようにして計算した隣接ノード２２ｅ，２２ｆの混雑指標k_jと、転送すべきパケットの宛先ノードまでのノードホップ数h_j（尚、宛先ノードが同一エリアJ２２内に属する場合は当該宛先ノードまでのノードホップ数、また、エリア宛先ノードが他エリア２８に属する場合は転送すべき隣接エリア２４，２５とつながるエリアJ２２内のゲートウェイノード２２ｂ，２２ｃまでのノードホップ数）とを用いて、下記の式（Ｃ）から評価値f_jを算出し、この評価値f_jを最大にする隣接ノード２２ｅ，２２ｆを次に転送すべきノードとして決定する。

式（Ｃ）：f_j＝（１−α）k_j＋α（１／h_j）…ただし、αは予め定めるパラメータで０＜α＜１。

本例では、このような、「次に転送すべき『隣接ノード』の決定」に用いた技術を、例えば図２におけるエリア２１のゲートウェイノード２１ａにおいて、「次に転送すべき『隣接エリア』の決定」に用いる。

この際、例えば、図２におけるエリアi２１の境界に位置するゲートウェイノード２１ａは、自ノード内における隣接エリアJ２２への送信待ちパケット数A_Jと隣接エリアJ'２３への送信待ちパケット数A_J'、および、隣接エリアJ２２内の待ちパケット数B_Jと隣接エリアJ'２３内の待ちパケット数Ｂ_j'等を用いて、パケットを次に転送すべき隣接エリアを決定する。

すなわち、まず、隣接エリアJ２２，J'２３の混雑指標K_J，K_J'を下記の式（１），（２）および式（１'），（２'）を用いて算出する。

式（１）：K_J＝１−（Ｐ／Vmax_2）

式（２）：Ｐ＝Vmax_2×A_J／（（Ks_2×（１＋B_J／Ka_2））／（１＋x_2×B_J／（y_2×Ka_2））＋（A_J×（２＋B_J／（y_2×Ka_2）））／（１＋x_2×B_J／（y_2×Ka_2）））

式（１'）：K_J'＝１−（Ｐ／Vmax_2'）

式（２'）：Ｐ＝Vmax_2'×A_J'／（（Ks_2×（１＋B_J'／Ka_2））／（１＋x_2×B_J'／（y_2×Ka_2））＋（A_J'×（２＋B_J'／（y_2×Ka_2）））／（１＋x_2×B_J'／（y_2×Ka_2）））

尚、x_2は、上述のx_1と同様に、隣接エリア内の送信待ちパケット数B_Jの混雑指標K_Jへのインパクトの度合いを左右させるために予め定められるパラメタ（係数）であり、例えばx_2＝３．５等とし、このx_2を大きくすると、隣接エリア内送信待ちパケット数B_Jの値を、大きく、混雑指標K_Jに反映させることになる。

また、y_2は、上述のy_1と同様に、主に自ノード内の当該隣接エリアへの送信待ちパケット数A_Jの混雑指標K_Jへのインパクトの度合いを左右させるために予め定められるパラメタ（係数）であり、例えばy_2＝０．５等とし、このy_2を大きくすると、現在の自ノード内の当該隣接エリアへの送信待ちパケット数A_Jの値を、大きく、混雑指標K_Jに反映させる方向に動作する。

また、Vmax_2は、エリアi２１とエリアJ２２を結ぶ経路の最大通信速度であり、Vmax_2'は、エリアi２１とエリアJ'２３を結ぶ経路の最大通信速度、そして、Ka_2およびKs_2は予め定められた定数である。

そして、計算した混雑指標K_J，K_J'と、転送すべきパケットの宛先エリア２８までの隣接エリアJ２２もしくは隣接エリアJ'２３を経由したときのエリアホップ数H_J，H_J'とを用いて、下記の式（３），（３'）から評価値F_Jを算出し、この評価値F_Jが最大となる隣接エリア２４，２５のいずれかを次に転送すべき隣接エリアとして決定する。

式（３）：F_J＝（１−α）Ｋ_j＋α（１／H_J）

式（３'）：F_J'＝（１−α）Ｋ_j'＋α（１／H_J'）

ただし、式（３）および式（３'）におけるαは予め定めるパラメータで０＜α＜１。

このようにして、本例では、ノード単位での経路制御のみならず、エリア単位での経路制御を行う。このことにより、ネットワークを構成するノード数の増加に対するスケーラビリティを向上させ、かつ、ノード単位での経路制御に比べて経路を大きく変えることが可能となる。

以下、このようなエリア単位での経路制御動作に関して、図１のゲートウェイノード１の構成例を用いて説明する。

ゲートウェイノード１は、エリア内の他ノード（非ゲートウェイノード）から到着したパケットに対しては、パケットヘッダ解析部１ａが、宛先ＩＰアドレスを読み出し、予め記憶装置に記憶されたＩＰアドレスとエリアとの対応表を参照し、受信したパケットの宛先エリアを調べる。

このようにして、宛先エリアを判別すると、パケットヘッダ解析部１ａは、当該宛先エリア、例えば図２におけるエリア２８の識別情報を、ホップ数カウント部１ｄへ通知する。同時に、送信待ちパケット数管理部１ｃ、および隣接エリア内待ちパケット数計算部１ｂに対して計算の開始を指示する。

パケットヘッダ解析部１ａからの宛先エリア２８の通知を受けたホップ数カウント部１ｄは、それぞれの隣接エリア（J２２，J'２３）を経由した場合の当該宛先エリア２８までの各々のエリアホップ数（H_J，H_J'）を計算する。

ここでは、例えば、予め記憶装置に記憶されている、各エリアがどのように接続されているかを示すトポロジー情報を参照して、各隣接エリア（J２２，J'２３）経由での宛先エリア（２８）までの最小エリアホップ数を計算する。

図２において、エリア２８内のノード２８ｂを宛先ノードとした場合の、エリアi２１内のゲートウェイノード２１ａを例にすると、隣接エリアJ２２を経由した場合のエリアホップ数H_Jは「３」、隣接エリアJ'２３を経由した場合のエリアホップ数H_J'は「４」となる。

図１のホップ数カウント部１ｄは、このようにして計算したエリアホップ数H_J，H_J'の値を隣接エリア決定部１ｅへ通知する。

送信待ちパケット数管理部１ｃは、自ノード（２１ａ）から隣接エリア（J２２，J'２３）への出力待ちキュー長（A_J，A_J'）を管理しており、パケットヘッダ解析部１ａから指示を受けると、隣接エリア（J２２，J'２３）への出力待ちキュー長（A_J，A_J'）を読み出して隣接エリア決定部１ｅへ通知する。

図２の例では、隣接エリアJ２２への出力待ちキュー長「A_J」および隣接エリアJ'２３への出力待ちキュー長「A_J'」の２つが、隣接エリア決定部１ｅへ通知すべきキュー長となる。

隣接エリア内待ちパケット数計算部１ｂは、隣接エリア（J２２，J'２３）内の各ノードｍ（２２ａ〜２２ｆ，２３ａ，２３ｂ）からそれぞれにおける自ノード内待ちパケット数b_j,ｍを受信しておいて、その値（b_j,ｍ）をもとに、各隣接エリア（J２２，J'２３）単位で、待ちパケット数B_J，B_J'を求め、更新して記憶装置に保持している。

尚、図２の例では、エリアJ２２内の各ノード２２ａ〜２２ｆは、一定周期毎に、自ノード内待ちパケット数b_j,ｍを計測し、計測した自ノード内待ちパケット数b_j,ｍが予め定められた閾値ｔｈを超えたときのみゲートウェイノード２１ａに対して、当該値b_j,ｍを通知し、以降、閾値ｔｈを越えている間は、一定周期毎に当該「自ノード内待ちパケット数b_j,ｍ」をゲートウェイノード２１ａに対して通知する。

このように、閾値ｔｈを超えたときのみ、各ノード２２ａ〜２２ｆからゲートウェイノード２１ａに対して、自ノード内待ちパケット数b_j,mを通知するようにすることにより、自ノード内待ちパケット数b_j,m通知のための制御パケット数を削減する。

ゲートウェイノード２１ａは、予め定められた測定周期（測定区間）毎に、隣接エリアJ２２，J'２３内の待ちパケット数B_J，B_J'を、「｛更新後のB_J，B_J'｝←｛更新前のB_J，B_J'｝×ｅｘｐ（−θ×（｛更新時の時間｝−｛前回の更新時間｝））＋｛その測定区間に通知されたb_j,ｍの平均｝」の手順で更新する。尚、θは定数である。

隣接エリア内待ちパケット数計算部１ｂは、このように更新している「待ちパケット数B_J，B_J'」の値を、パケットヘッダ解析部１ａからの指示に従って、隣接エリア決定部１ｅへ通知する。

隣接エリア決定部１ｅは、送信待ちパケット数管理部１ｃから通知された隣接エリアへの出力待ちキュー長A_J，A_J'と、隣接エリア内待ちパケット数計算部１ｂから通知された待ちパケット数B_J，B_J'を用いて、隣接エリアJ２２，J'２３の混雑指標Ｋ_j，Ｋ_j'を、上記の式（１）、（２）、（１'）、（２'）を用いて算出し、さらに、算出した混雑指標Ｋ_j，Ｋ_j'と、ホップ数カウント部１ｄから通知されたエリアホップ数（経由するエリア数）H_J，H_J'を用いて、上記の式（３），（３'）（F_J＝（１−α）Ｋ_j＋α（１／H_J），F_J'＝（１−α）Ｋ_j'＋α（１／H_J'））を計算し、この評価値F_J，F_J'が最大となる隣接エリア（J２２，J'２３）を、次に転送すべき隣接エリアとして決定する。

パケット転送部１ｆは、隣接エリア決定部１ｅが決定した隣接エリア（J２２，J'２３）のゲートウェイノード（２２ａ，２３ａ）に向けて、当該パケットを転送する。

尚、上述の隣接エリア内待ちパケット数計算部１ｂにおいて、隣接エリアJ２２，J'２３内の待ちパケット数B_J，B_J'の更新を、「｛更新後のB_J，B_J'｝←｛更新前のB_J，B_J'｝×ｅｘｐ（−θ×（｛更新時の時間｝−｛前回の更新時間｝））＋｛その測定区間に通知されたb_j,mの平均｝」として行っているが、例えば、「｛更新後のB_J，B_J'｝←｛更新前のB_J，B_J'｝×ｅｘｐ（−θ×（｛更新時の時間｝−｛前回の更新時間｝））＋｛その測定区間に通知されたb_j,mの最大｝」の手順で更新することでも良い。

また、図２におけるエリアi２１内のゲートウェイノード２１ａは、上述のように、隣接エリア内待ちパケット数計算部１ｂにより隣接エリアJ２２，J'２３内の各ノード２２ａ〜２２ｆ，２３ａ，２３ｂからのキュー長の通知を受ける代わりに、これらのエリアJ２２，J'２３に隣接するエリアi２１以外のエリアＩ（２４〜２６）内に属しかつエリアJ２２，J'２３と接続されているゲートウェイノードｊ，Ｉ（２４ａ，２４ｂ，２５ａ，２６ａ）までの通信に対して利用可能な帯域C_J,I(n)、C_J',I(n)を、時間区間［（n-1）τ，nτ］において推定（τは周期）すると共に、同時間区間内に、ゲートウェイノード２１ａからゲートウェイノードｊ，Ｉ（２４ａ，２４ｂ，２５ａ，２６ａ）へ向かったパケットバイト数を、周期τで除した値「R_J,I(n)［bps］」を測定し、時点nτにおいてエリアJ２２からゲートウェイノードJ,I（２４ａ，２４ｂ，２５ａ）ヘ向かう通信に対する仮想キュー長B_J,I(n)およびエリアJ'２３からゲートウェイノードJ,I（２６ａ）ヘ向かう通信に対する仮想キュー長B_J',I(n)を、下記の式（４），（４'）を用いて計算し、エリアJ２２，J'２３の待ちパケット数B_J，B_J'を、Σ_ＩB_J,I、Σ_ＩB_J',Iによって決定することでも良い。

式（４）：B_J,I(n)＝mａｘ｛B_J,I(n−1)＋（R_J,I(n)−C_J,I(n)）×τ，０｝」

式（４'）：B_J',I(n)＝mａｘ｛B_J',I(n−1)＋（R_J',I(n)−C_J',I(n)）×τ，０｝」

より具体的には、図２においては、エリアi２１を除いたエリアJ２２に隣接するエリアとして、エリア２４，２５の２つが存在し、エリアJ２２と接続されているゲートウェイノードとしてノード(j,1)２４ａ、ノード(j,2)２４ｂ、ノード(j,3)２５ａの３つが存在している。

着目するゲートウェイノード２１ａからこれら３つのノードそれぞれに対して、利用可能帯域C_J,I(n)，C_J',I(n)と、入力されたトラヒック量R_J,I(n)，R_J',I(n)（Ｉ＝１，２，３）を求めればよい。

ここでは、利用可能帯域C_J,I(n)，C_J',I(n)を、ノードＩ（ノード(j,1)２４ａ、ノード(j,2)２４ｂ、ノード(j,3)２５ａ）へ向かうエリアJ２２を一つの仮想キューとみなしたときのキューの出力レートを意味する。

実際には（ノード(j,1)２４ａ、ノード(j,2)２４ｂ、ノード(j,3)２５ａ）へ向かうエリアJ２２内のノードは複数存在するが、各ノードの状態を管理するコストを削減するために、このような仮想キューという概念を導入している。

一方、トラヒック量R_J,I(n)，R_J',I(n)は、当該仮想キューヘの入力レートを意味する。従って、上述の式（４），式（４'）における「（R_J,I(n)−C_J,I(n)）×τ」および「（R_J',I(n)−C_J',I(n)）×τ」は、時間［（n-1）τ，nτ］の間に、キューに蓄積された量に相当するため、その値を、時点（n-1）τでのキュー長B_J,I(n-1)，B_J',I(n-1)に加算することにより、現時点nτでのキュー長B_J,I(n)，B_J',I(n)を推定する。

尚、式（４）および式（４'）において、「０」とのmａｘ（最大値）を取る理由は、「R_J,I(n)−C_J,I(n)」，「R_J',I(n)−C_J',I(n)」が負になった場合、キュー長は「０」となるようにするためである。

また、上述の利用可能な帯域C_J,I(n)、C_J',I(n)を決定する手順においては、ゲートウェイノード２１ａからゲートウェイノードｊ，Ｉ（２４ａ，２４ｂ，２５ａ，２６ａ）の経路上に存在する各リンクの物理帯域の内、その最小値を調査し、それを利用可能帯域C_J,I(n)、C_J',I(n)とする。

その際の最小物理帯域の調査技術としては、エリア内のネットワーク情報（トポロジーと各リンクの帯域）を入手して求めるか、試験パケットを用いて推定する公知技術、例えば、「V. Paxson, "End-to-end internet packet dynamics," IEEE/ACM Trans. on Networking, vol.7, pp.277-292, June 1999」に記載の技術を利用する。

また、上述のように、利用可能帯域C_J,I(n)、C_J',I(n)を、最小物理帯域とする代わりに、ゲートウェイノード２１ａから各ゲートウェイノードｊ，Ｉ（２４ａ，２４ｂ，２５ａ，２６ａ）の経路上に存在する各リンクでの空き帯域（＝物理帯域−使用帯域）の最小値を調査し、それを利用可能帯域C_J,I(n) 、C_J',I(n)とすることでも良い。

尚、空き帯域を決定する技術としては、エリア内のネットワーク情報（トポロジーと各リンクの帯域と各リンクの使用帯域）を入手して求めるか、例えば、「M. Jain and C. Dovrolis, "Pathload : a measurement tool for end-to-end available bandwidth, " Passive and active measurements Workshop(PAM), March 2002」に記載のように、試験パケットを用いて推定する技術を利用する。

また、利用可能帯域C_J,I(n) 、C_J',I(n)を決定する手順として、ゲートウェイノード２１ａから各ゲートウェイノードｊ，Ｉ（２４ａ，２４ｂ，２５ａ，２６ａ）間において、往復伝播遅延時間RTT_J,I(n)、RTT_J',I(n)とパケット損失率Q_J,I(n)、Q_J',I(n)を測定し、この往復伝播遅延時間ＲＴＴとパケット損失率Qから帯域を推定する関数ｆ（RTT,Q）を用いて、利用可能帯域「C_J,I(n)＝ｆ（RTT_J,I(n)，Q_J,I(n)）」，「C_J',I(n)＝ｆ（RTT_J',I(n)，Q_J',I(n)）」とすることでも良い。

尚、関数ｆ（RTT,Q）として、例えば、「J. Padhye et al., "Modeling TCP Reno performance : a simple model and its empirical validation, " IEEE/ACM Transactions on Networking, 2000」において記載の、ＴＣＰスループットを推定する式を利用する。

次に、図３を用いて、図２に示すネットワークにおけるゲートウェイノード２１ａによる本発明に係る経路制御方法の処理手順例を説明する。ゲートウェイノード２１ａは、他ノード宛のパケットを受信すると（ステップＳ３０１）、まず、受信したパケットの宛先アドレスをキーに、予め記憶装置に記憶した各アドレスと所属エリアとの対応付け情報を検索して受信パケットの宛先エリア２８を特定する（ステップＳ３０２）。

特定した宛先エリア２８と自エリアi２１間にある各エリア２２〜２７で、自エリアi２１に隣接するエリアj２２，j'２３における通信負荷状況情報、例えば自ノード（２１ａ）内における隣接エリアj２２，j'２３への送信待ちパケット数A_J，A_J'と隣接エリアj２２，j'２３内の待ちパケット数B_J，B_J'、および、宛先エリア２８までのエリアホップ数H_J，H_J'を取得し（ステップＳ３０３）、取得した通信負荷状況情報を参照して、受信パケットの転送先として最適な隣接エリアを決定し（ステップＳ３０４）、決定した隣接エリア内のゲートウェイノードに、受信パケットを送出する（ステップＳ３０５）。

以上、図１〜図３を用いて説明したように、本例では、それぞれルーティング機能を有する複数のノードからなるＩＰネットワークにおいて、ノードの幾つかをまとめて１つのエリアを構成し、各エリア２１〜２８内の各ノード間（ノード単位）での経路制御と共に、各エリア間（エリア単位）２１〜２８での経路制御の２階層での経路制御を行う。

このようなエリア単位での経路制御を行う際、各エリア２１〜２８を仮想的な一つのノード（キュー）とみなし、仮想ノードでの待ちパケット数を定義して、その仮想ノードでの待ちパケット数を、当該エリアの待ちパケット数として用いることで、ノード間（ノード単位）での経路制御と同様にして、エリア間（エリア単位）での輻輳回避のための経路制御を行う。

具体的には、エリア内の各ノードは、他ノード宛パケットを受信すると、自ノード内における隣接ノードｊへの送信待ちパケット数a_jと隣接ノードｊ内の送信待ちパケット数b_jを用いて次に転送すべき隣接ノードを決定するが、他のエリアとの境界に位置するゲートウェイノード２１ａは、自ノード内における隣接エリアへの送信待ちパケット数A_Jと隣接エリア内の待ちパケット数B_Jを用いて次に転送すべきエリアを決定する。

この隣接エリア内の待ちパケット数B_Jは、以下の第１〜第３のいずれかの技術を用いて求める。

第１の技術では、定期的に隣接エリア内の各ノードが自ノード内待ちパケット数を計測し、予め定められた閾値を超えたときに、ゲートウェイノード２１ａに対して、当該パケット数を通知する。

ゲートウェイノード２１ａは、隣接エリア内の各ノードから通知される自ノード内待ちパケット数を用いて、一定周期毎に、「｛更新後のB_J｝←｛更新前のB_J｝×ｅｘｐ（−θ×（｛更新時の時間｝−｛前回の更新時間｝））＋｛その測定区間に通知された自ノード内待ちパケット数b_j,iの平均｝」の手順により、エリア内待ちパケット数B_Jを変更する。

第２の技術では、上記第１の技術における「｛更新後のB_J｝←｛更新前のB_J｝×ｅｘｐ（−θ×（｛更新時の時間｝−｛前回の更新時間｝））＋｛その測定区間に通知された自ノード内待ちパケット数b_j,iの平均｝」の手順の代わりに、「｛更新後のB_J｝←｛更新前のB_J｝×ｅｘｐ（−θ×（｛更新時の時間｝−｛前回の更新時間｝））＋｛その測定区間に通知された自ノード内待ちパケット数b_j,iの最大値｝」の手順を用いる。

第３の技術では、エリアｉ内のゲートウェイノード２１ａは、例えば隣接エリアJの待ちパケット数B_Jを決定する際、このエリアJに隣接するエリアＩ（Ｉはｉを含まず）内に属しかつエリアJと接続されているゲートウェイノードJ,Iまでの通信に対して利用可能な帯域C_J,I(n)を時間区間［（n-1）τ，nτ］において推定し（τは周期）、同時間区間内にゲートウェイノード２１ａからゲートウェイノードJ,Iへ向かったパケットバイト数をτで除した値「R_J,I(n)［bps］」を測定し、時点nτにおいてエリアJからゲートウェイノードJ,Iヘ向かう通信に対する仮想キュー長B_J,I(n)を、「B_J,I(n)＝mａｘ｛B_J,I(n-1)＋（R_J,I(n)−C_J,I(n)）×τ，０｝」により計算し、エリアJの待ちパケット数B_Jを「Σ_ＩＢ_j，Ｉ」によって決定する。

尚、第３の技術における「利用可能帯域C_J,I(n)」を決定する手順としては、ゲートウェイノード２１ａからゲートウェイノードJ,Iの経路上に存在する各リンクの物理帯域のうちその最小値を調査してそれを利用可能帯域C_J,I(n)とする手順、あるいは、ゲートウェイノード２１ａからゲートウェイノードJ,Iの経路上に存在する各リンクでの空き帯域（＝物理帯域−使用帯域）の最小値を調査してそれを「利用可能帯域C_J,I(n)」とする手順、さらに、ゲートウェイノード２１ａからゲートウェイノードJ,I間において往復伝播遅延時間RTT_J,I(n)とパケット損失率Q_J,I(n)を測定し、これらの往復伝播遅延時間ＲＴＴとパケット損失率Qから帯域を推定する関数ｆ（RTT,Q）を用いて、「C_J,I(n)＝ｆ（RTT_J,I(n)，Q_J,I(n)）とする手順がある。

このように、本例では、ノード間（ノード単位）での経路制御と共に、エリア間（エリア単位）での輻輳回避のための経路制御を行っており、ノード数の増加に対するスケーラビリティを向上させて、かつ、ノード単位での経路制御に比べて経路を大きく変えることができ、ノード数の多い大規模なＩＰネットワークにおける輻輳回避のための経路制御を効率的に行うことが可能となり、ＩＰネットワークの品質を向上させることが可能となる。

尚、本発明は、図１〜図３を用いて説明した例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、図１におけるゲートウェイノード１は、ＣＰＵや主メモリ等からなるコンピュータ構成とし、プログラムをＣＰＵで処理することにより、各処理部の機能を実行するソフトウェア構成としているが、論理素子を用いて各処理部の機能を実行するハードウェア構成とすることでも良い。

また、コンピュータ構成例としても、キーボードや光ディスクの駆動装置の無いコンピュータ構成としても良い。また、本例では、光ディスクを記録媒体として用いているが、ＦＤ（Flexible Disk）等を記録媒体として用いることでも良い。また、プログラムのインストールに関しても、通信装置を介してネットワーク経由でプログラムをダウンロードしてインストールすることでも良い。

本発明に係るエリア間通信装置の構成例を示すブロック図である。である。 図１におけるエリア間通信装置を具備したＩＰネットワークの構成例を示すブロック図である。 図１におけるエリア間通信装置の処理動作例を示すフローチャートである。

符号の説明

１，２１ａ，２２ａ〜２２ｃ，２３ａ〜２８ａ：ゲートウェイノード、１ａ：パケットヘッダ解析部、１ｂ：隣接エリア内待ちパケット数計算部、１ｃ：送信待ちパケット数管理部、１ｄ：ホップ数カウント部、１ｅ：隣接エリア決定部、１ｆ：パケット転送部、２１〜２８エリア、２２ｄ〜２２ｆ：ノード（非ゲートウェイノード）。

Claims (18)

1. それぞれＩＰパケットのルーティング機能を具備した複数の通信装置をまとめて構成されたネットワークエリア間を接続するエリア間通信装置の経路制御方法であって、
   自ネットワークエリア内の通信装置から受信したパケットの宛先アドレスをキーに、予め記憶装置に記憶した各アドレスと所属ネットワークエリアとの対応付け情報を検索して上記パケットの宛先となるネットワークエリアを特定する第１の手順と、
   該第１の手順で特定した宛先ネットワークエリアに向けて自ネットワークエリアと隣接したネットワークエリアの通信負荷状況情報を取得する第２の手順と、
   該第２の手順で取得した通信負荷状況情報を参照して上記パケットの次の転送先として最適な隣接ネットワークエリアを決定する第３の手順と、
   該第３の手順で決定した隣接ネットワークエリア内のエリア間通信装置に上記パケットを送出する第４の手順と
   を有することを特徴とする経路制御方法。
2. 請求項１に記載の経路制御方法であって、
   上記第２の手順は、
   自装置内における当該隣接ネットワークエリアJへの送信待ちパケット数A_Jを求める手順と、
   当該隣接ネットワークエリアJ内の待ちパケット数B_Jを求める手順とを有し、
   上記通信負荷状況情報として、上記送信待ちパケット数A_Jと待ちパケット数B_Jを取得し
   上記第３の手順は、上記隣接ネットワークエリアJへの送信待ちパケット数A_Jと上記隣接ネットワークエリアJ内の待ちパケット数B_Jを用いて、次の転送先となる隣接ネットワークエリアを決定する手順を有することを特徴とする経路制御方法。
3. 請求項２に記載の経路制御方法であって、
   上記第３の手順は、
   上記送信待ちパケット数A_Jと上記待ちパケット数B_Jとを用いて下記の式（１）と式（２）から、隣接ネットワークエリアJの混雑指標K_Jを算出する手順と、
   隣接ネットワークエリアJを経由して上記宛先ネットワークエリアまでに要するネットワークエリアの数であるエリアホップ数H_Jを取得する手順と、
   取得したエリアホップ数H_Jと算出した混雑指標K_Jとを用いて下記の式（３）から評価値F_Jを算出する手順と、
   算出した評価値F_Jが最大となる隣接ネットワークエリアを、次の転送先として決定する手順と
   を有することを特徴とする経路制御方法。
   式（１）：K_J＝１−（P／Vmax_2）
   式（２）：P＝Vmax_2×A_J／（（Ks_2×（１＋B_J／Ka_2））／（１＋x_2×B_J／（y_2×Ka_2））＋（A_J×（2＋B_J／（y_2×Ka_2）））／（１＋x_2×B_J／（y_2×Ka_2）））
   …ただし、x_2＞０，y_2＞０，Vmax_2は隣接ネットワークエリアJとの経路の最大通信速度，Ka_2は定数，Ks_2は定数。
   式（３）：F_J＝（１−α）K_J＋α（１／H_J）
   …ただし、αは予め定めるパラメータで０＜α＜１。
4. 請求項２もしくは請求項３のいずれかに記載の経路制御方法であって、
   上記隣接ネットワークエリアJ内の待ちパケット数B_Jを求める手順は、
   上記隣接ネットワークエリアJ内の各通信装置mが定期的に計測する自通信装置内待ちパケット数b_j,mが予め定められた閾値を超えた場合に当該通信装置mから通知される自通信装置内待ちパケット数b_j,mを受信する手順と、
   受信した自通信装置内待ちパケット数b_j,mを用いて、一定周期の測定区間毎に、下記の更新手順で、上記隣接ネットワークエリアJ内の待ちパケット数B_Jを更新する手順と
   を有することを特徴とする経路制御方法。
   更新手順：｛更新後のB_J｝←｛更新前のB_J｝×ｅｘｐ（−θ×（｛更新時の時間｝−｛前回の更新時間｝））＋｛測定区間に通知された自通信装置内待ちパケット数b_j,mの平均｝
   …ただし、θは定数。
5. 請求項２もしくは請求項３のいずれかに記載の経路制御方法であって、
   上記隣接ネットワークエリアJ内の待ちパケット数B_Jを求める手順は、
   上記隣接ネットワークエリアJ内の各通信装置mが定期的に計測する自通信装置内待ちパケット数b_j,mが予め定められた閾値を超えた場合に当該通信装置mから通知される自通信装置内待ちパケット数b_j,mを受信する手順と、
   受信した自通信装置内待ちパケット数b_j,mを用いて、一定周期の測定区間毎に、下記の更新手順で、上記隣接ネットワークエリアJ内の待ちパケット数B_Jを更新する手順と
   を有することを特徴とする経路制御方法。
   更新手順：｛更新後のB_J｝←｛更新前のB_J｝×ｅｘｐ（−θ×（｛更新時の時間｝−｛前回の更新時間｝））＋｛測定区間に通知された自通信装置内待ちパケット数b_j,mの最大値｝
   …ただし、θは定数。
6. 請求項２もしくは請求項３のいずれかに記載の経路制御方法であって、
   上記隣接ネットワークエリアJ内の待ちパケット数B_Jを求める手順は、
   上記隣接ネットワークエリアJに隣接し、自装置が属するネットワークエリアが含まれないネットワークエリアＩ内に属しかつ上記隣接ネットワークエリアJと接続されているエリア間通信装置J,Iまでの通信に対して利用可能な帯域C_J,I(n)を、時間区間［（n-1）τ，nτ］（τは周期）において推定する手順と、
   上記時間区間［（n-1）τ，nτ］内に自装置から上記エリア間通信装置J,Iへ向かったパケットバイト数を上記周期τで除した値R_J,I(n)［bps］を求める手順と、
   時点nτにおいて上記隣接ネットワークエリアJから上記エリア間通信装置J,Iヘ向かう通信に対する仮想キュー長B_J,I(n)を、下記の式（４）により算出する手順と、
   算出した仮想キュー長B_J,I(n)から求められるΣ_ＩB_J,Iによって上記隣接ネットワークエリアJ内の待ちパケット数B_Jを算出する手順と
   を有することを特徴とする経路制御方法。
   式（４）：B_J,I(n)＝max｛B_J,I(n-1)＋（R_J,I(n)−C_J,I(n)）×τ，０｝
7. 請求項６に記載の経路制御方法であって、
   上記利用可能な帯域C_J,I(n)を推定する手順は、
   自装置から上記エリア間通信装置J,Iの経路上に存在する各リンクの物理帯域の最小値を求め、求めた物理帯域を上記利用可能な帯域C_J,I(n)とすることを特徴とする経路制御方法。
8. 請求項６に記載の経路制御方法であって、
   上記利用可能な帯域C_J,I(n)を推定する手順は、
   自装置から上記エリア間通信装置J,Iの経路上に存在する各リンクでの物理帯域と使用帯域との差である空き帯域の最小値を求め、求めた空き帯域を上記利用可能な帯域C_J,I(n)とすることを特徴とする経路制御方法。
9. 請求項６に記載の経路制御方法であって、
   上記利用可能な帯域C_J,I(n)を推定する手順は、
   自装置から上記エリア間通信装置J,I間において往復伝播遅延時間RTT_J,I(n)とパケット損失率Q_J,I(n)を測定する手順と、
   測定した往復伝播遅延時間ＲＴＴとパケット損失率Qから帯域を推定する関数ｆ（RTT,Q）を用いて、下記の式（８）により上記利用可能な帯域C_J,I(n)を算出する手順とを有することを特徴とする経路制御方法。
   式（８）：C_J,I(n)＝ｆ（RTT_J,I(n)，Q_J,I(n)）
10. 請求項１から請求項９のいずれかに記載の経路制御方法であって、
    隣接ネットワークエリアから他通信装置宛パケットを受信すると、自装置内の自装置と同じネットワークエリア内の隣接通信装置jへの送信待ちパケット数a_jと、当該隣接通信装置j内の送信待ちパケット数b_jを用いて、次の転送先となる隣接通信装置を決定する手順を有することを特徴とする経路制御方法。
11. 請求項１０に記載の経路制御方法であって、
    上記次の転送先となる隣接通信装置を決定する手順は、
    下記の式（Ａ）と式（Ｂ）から隣接通信装置jの混雑指標k_jを算出する手順と、
    宛先通信装置が自装置と同じネットワークエリア内に属する場合は当該宛先通信装置までのホップ数h_jを求め、また、宛先通信装置が他ネットワークエリアに属する場合は転送すべき隣接ネットワークエリアとつながる自装置と同じネットワークエリア内のエリア間通信装置までのホップ数h_jを求める手順と、
    上記混雑指標k_jと上記ホップ数h_jとを用いて下記の式（Ｃ）から評価値f_jを算出し、該評価値f_jを最大にする隣接通信装置を次の転送先として決定する手順とを有することを特徴とする経路制御方法。
    式（Ａ）：k_j＝１−（ｐ／Vmax_1）
    式（Ｂ）：ｐ＝Vmax_1×a_j／（（Ks_1×（１＋b_j／Ka_1））／（１＋x_1×b_j／（y_1×Ka_1））＋（a_j×（１＋b_j／（y_1×Ka_1）））／（１＋x_1×b_j／（y_1×Ka_1）））
    …ただし、x_1＞０，y_1＞０，Vmax_1は隣接通信装置との経路の最大通信速度，Ka_1は定数，Ks_1は定数。
    式（Ｃ）：f_j＝（１−α）k_j＋α（１／h_j）
    …ただし、αは予め定めるパラメータで０＜α＜１。
12. コンピュータに、請求項１から請求項１１のいずれかに記載の経路制御方法における各手順を実行させるためのプログラム。
13. それぞれＩＰパケットのルーティング機能を具備した複数の通信装置をまとめて構成されたネットワークエリア間を接続するエリア間通信装置であって、
    自ネットワークエリア内の通信装置から受信したパケットの宛先アドレスをキーに、予め記憶装置に記憶した各アドレスと所属ネットワークエリアとの対応付け情報を検索して上記パケットの宛先となるネットワークエリアを特定する第１の手段と、
    該第１の手段が特定した宛先ネットワークエリアと自ネットワークエリア間にある自ネットワークエリアに隣接したネットワークエリアの通信負荷状況情報を取得する第２の手段と、
    該第２の手段が取得した通信負荷状況情報を参照して上記パケットの次の転送先として最適な隣接ネットワークエリアを決定する第３の手段と、
    該第３の手段が決定した隣接ネットワークエリア内のエリア間通信装置に上記パケットを送出する第４の手段と
    を有することを特徴とするエリア間通信装置。
14. 請求項１３に記載のエリア間通信装置であって、
    上記第２の手段は、請求項２に記載の経路制御方法における第２の手順を用いて、上記通信負荷状況情報としての上記隣接ネットワークエリアJへの送信待ちパケット数A_Jと当該隣接ネットワークエリアJ内の待ちパケット数B_Jとを求める手段を有し、
    上記第３の手段は、請求項３に記載の経路制御方法における第３の手順を用いて、上記次の転送先となる隣接ネットワークエリアを決定する手段を有することを特徴とするエリア間通信装置。
15. 請求項１４に記載のエリア間通信装置であって、
    上記第２の手段は、
    請求項４から請求項６のいずれかに記載の経路制御方法における各手順を用いて、上記隣接ネットワークエリアJ内の待ちパケット数B_Jを求める手段を有することを特徴とするエリア間通信装置。
16. 請求項１４に記載のエリア間通信装置であって、
    上記第２の手段は、
    請求項６に記載の経路制御方法における各手順を用いて、上記隣接ネットワークエリアJ内の待ちパケット数B_Jを求める手段と、
    請求項７から請求項９のいずれかに記載の経路制御方法における各手順を用いて、利用可能な帯域C_J,I(n)を推定する手段とを有することを特徴とするエリア間通信装置。
17. 請求項１３から請求項１６のいずれかに記載のエリア間通信装置であって、
    請求項１０もしくは請求項１１のいずれかに記載の経路制御方法における手順を用いて、隣接ネットワークエリアから受信した他通信装置宛パケットの次の転送先となる隣接通信装置を決定する手段を有することを特徴とするエリア間通信装置。
18. 請求項１３から請求項１７のいずれかに記載のエリア間通信装置と、該エリア間通信装置に接続されネットワークエリア内におけるパケットの転送経路制御を請求項１０もしくは請求項１１のいずれかに記載の各手順を用いて行う通信装置とを具備したことを特徴とするネットワーク経路制御システム。

Images