JP2004048330A - 広域負荷分散制御システム - Google Patents

広域負荷分散制御システム Download PDF

Info

Publication number
JP2004048330A
JP2004048330A JP2002202351A JP2002202351A JP2004048330A JP 2004048330 A JP2004048330 A JP 2004048330A JP 2002202351 A JP2002202351 A JP 2002202351A JP 2002202351 A JP2002202351 A JP 2002202351A JP 2004048330 A JP2004048330 A JP 2004048330A
Authority
JP
Japan
Prior art keywords
network
load distribution
edge node
statistical information
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002202351A
Other languages
English (en)
Other versions
JP2004048330A5 (ja
JP3715596B2 (ja
Inventor
Koji Nakamichi
仲道 耕二
Hitoshi Yamada
山田 仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2002202351A priority Critical patent/JP3715596B2/ja
Priority to US10/618,365 priority patent/US7680046B2/en
Publication of JP2004048330A publication Critical patent/JP2004048330A/ja
Publication of JP2004048330A5 publication Critical patent/JP2004048330A5/ja
Application granted granted Critical
Publication of JP3715596B2 publication Critical patent/JP3715596B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • H04L45/04Interdomain routing, e.g. hierarchical routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/50Routing or path finding of packets in data switching networks using label swapping, e.g. multi-protocol label switch [MPLS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/125Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】従来エッジノードで行っていたトラフィックエンジニアリングに必要な機能の処理負荷を軽減し、かつ大規模での広域負荷分散を効率的に実施する。
【解決手段】広域負荷分散制御システムは、ネットワーク内の各ノードに接続されたリンクのトラフィック状態を統計情報として前記各ノードから取得する統計情報収集手段と;取得された前記統計情報に基づいて、前記ネットワークのトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に複数のパスを張るための少なくとも1つの経路を決定する経路決定手段と;取得された前記統計情報を基に、決定された前記経路上のパスのそれぞれに分散すべきトラフィックの割合を決定する負荷分散決定手段とを備え;前記統計情報収集手段、前記経路決定手段及び前記負荷分散決定手段のそれぞれの動作箇所を前記入口エッジノードと前記各ノードを集中的に制御する網制御装置との間で互いに切り替える。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、IP(Internet Protocol)ネットワークにおいてパケット転送を行う場合の負荷分散を可能にする負荷分散制御システムに関し、特に大規模なラベルスイッチネットワークにおいてパケットの高品質転送を可能にする広域負荷分散制御システムに関する。
【0002】
【従来の技術】
IPネットワークにおいて広域負荷分散を行う技術として、トラフィックエンジニアリング(以下、単にTEと記載することもある)がある。このトラフィックエンジニアリングは、既存のルーティングプロトコルが決定するルート(経路)にはとらわれない、複数のルートを通してパケットを転送することで網内の輻輳回避を行ったり、あるいは網資源の効率的な利用を目指す概念である。このTEを具体的に行う網アーキテクチャとして、MPLS(Multiprotocol Label Switching)がある。
【0003】
MPLSはLSP(Label Switched Path)と呼ばれる予め設定されたコネクション上で短い固定長ラベルを付けたパケットを転送可能にする。MPLSにおいては、IPのルーティングプロトコルで得たルート上に沿ってLSPを張る(設定する)ことにより、IPネットワーク上でのパスを用いたトラフィック制御が可能となる。
【0004】
また、MPLSにおいては、既存のIPルーティングとは独立したパスを設定することが可能であるため、このパスを利用してTEを行うことができる。その一つの例が複数のLSPを用いた広域負荷分散制御である。
【0005】
負荷分散制御とは、網内のトラフィックエンジニアリング区間、つまりTEを行う入口エッジルータ(ノード)と出口エッジルータとの間に複数のパスを設定し、この入口エッジルータへの入力トラヒックを複数のパスに分散させる手法である。この負荷分散制御手法を採用することにより、負荷が単一ルートへ集中することを回避でき、更に網全体の資源利用効率の向上と、長期的な輻輳の回避とを図ることができる。
【0006】
負荷分散制御の他の手法として、最初から複数のパスを設定しておくのではなく、網内のトラフィックの負荷状態を随時監視しておき、あるルートの負荷が大きくなったときに、同じ宛先へ向かう別のルートを検索して新たなパスを設定する制御を採ることが可能である。
【0007】
これまで、TEによる広域負荷分散を行うためには、それに必要な機能のうち、(a)統計情報収集機能、(b)経路計算(経路検索)機能、及び(c)負荷分散計算機能(アルゴリズム)をMPLSに基づくラベルスイッチネットワークにおける各エッジルータに配置することが一般的に提唱されている。つまり、各エッジルータが自律分散的にTEに必要な機能を動作させている。
【0008】
【発明が解決しようとする課題】
この自律分散型のトラフィックエンジニアリングでは、(a)統計情報収集機能において、全ルータ(エッジルータ及びコアルータ)が自ルータの統計情報(トラフィック情報)を各エッジルータに通知するために、特殊なメッセージを生成する必要がある。このメッセージフォーマットは標準化がなされていないことから、網内のルータによってメッセージのやり取りが不可能となるケースがあり、網構築の柔軟性が損なわれるなどの問題がある。
【0009】
また、自律分散型TEにおいて、上記(a)〜(c)の全機能をエッジルータで実施した場合、そのルータのCPU負荷の増加による、処理性能の劣化などが考えられる。特に、ルータでは一般にパケット転送処理やルーティングプロトコル処理などCPUの資源を多く使用することから、TE処理を行うことで、ルータ本来の機能の性能劣化を免れない。
【0010】
さらに、上記(a)〜(c)の機能及びルーティングプロトコルの処理などは、網内のルータ数が多くなるほど処理負荷が高くなる。したがって、各エッジルータによる自律分散型TEでは、網の大規模化が困難となる。
【0011】
本発明の第1の課題は、従来エッジノードで行っていたトラフィックエンジニアリングに必要な機能の処理負荷を軽減し、かつ大規模での広域負荷分散を効率的に実施することにある。
【0012】
本発明の第2の課題は、先に述べた通知メッセージフォーマットの未統一による統計情報伝達不可能の問題を回避することで、従前のエッジルータ及びコアルータに特殊メッセージ処理機能を追加することなく、広域負荷分散を行うことができるようにすることである。
【0013】
【課題を解決するための手段】
本発明においては、上記第1の課題を解決するために、これまでエッジノードで自律分散的に行ってきたトラフィックエンジニアリングの各機能に関して、集中的なサーバなどの制御装置において一元的に処理できる機構(手法)を導入する。
【0014】
ただし、網規模が増加した場合、制御装置自身の負荷が増加することも考えられるので、エッジノードにもTEに必要な機能を配置し、エッジルータと制御装置との負荷状態に応じて、動作させるTEの機能をエッジノードと制御装置とで切り替え処理する。これにより、大規模網においても効率的な負荷分散を実現する。
【0015】
また、上記第2の課題を解決するために、先に述べたTE機能の内の統計情報収集機能に関して、通知用メッセージ処理機能を有するノードに関しては、通知メッセージを利用して統計情報を収集し、通知用メッセージ処理機能を有しないノードに関しては、制御装置が集中的に統計情報を収集するようにする。
【0016】
好適な実施の形態によると、本発明の第1の広域負荷分散制御システムは、ネットワーク内のトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に設定した複数のパスに前記入口エッジノードへの入力トラヒックを分散させる割合を決定する手段と;
前記入口エッジノードへの入力トラヒックを前記複数のパスに分散させる割合の決定を前記入口エッジノード対応の分散制御箇所と他の集中制御箇所とのいずれで処理するかを指示する手段とを備える。
【0017】
本発明の第2の広域負荷分散制御システムは、ネットワーク内の各ノードに接続されたリンクのトラフィック状態を統計情報として前記各ノードから取得する統計情報収集手段と;
取得された前記統計情報に基づいて、前記ネットワークのトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に複数のパスを張るための少なくとも1つの経路を決定する経路決定手段と;
取得された前記統計情報を基に、決定された前記経路上のパスのそれぞれに分散すべきトラフィックの割合を決定する負荷分散決定手段とを備え;
前記統計情報収集手段、前記経路決定手段及び前記負荷分散決定手段のそれぞれの動作箇所を前記入口エッジノードと前記各ノードを集中的に制御する網制御装置との間で互いに切り替える。
【0018】
この構成において、前記入口エッジノード及び前記網制御装置の負荷状態を収集及び判定する手段と;
前記負荷状態に応じて、前記統計情報収集手段、前記経路決定手段及び前記負荷分散決定手段のそれぞれの動作箇所を前記入口エッジノードと前記網制御装置との間で互いに切り替えさせる指示手段と;
を有する状態監視装置を更に備える。
【0019】
また、前記入口エッジノードが前記ネットワーク内の負荷状態を示す統計情報を収集する場合、
前記入口エッジノードは、特定プロトコルの通知メッセージを利用可能なノードからの前記統計情報を直接収集し、前記特定プロトコルの通知メッセージを利用不可能なノードからの前記統計情報を前記網制御装置を通して収集する。
【0020】
さらに、前記入口エッジノードが前記負荷分散決定手段を有しない場合、前記網制御装置の前記負荷分散決定手段を動作させる。
【0021】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【0022】
〔第1の広域負荷分散制御システム〕
図1は本発明の第1の実施の形態における広域負荷分散制御システムの構成を示す。図2は図1における網制御サーバ、エッジルータ及びコアルータの機能構成を説明するための図である。
【0023】
図1及び図2を参照すると、この広域負荷分散制御システム1は、網制御サーバ(網制御装置)10と、IPネットワークとしてのラベルスイッチネットワーク(MPLSネットワーク)20とを備えている。
【0024】
ラベルスイッチネットワーク20は、網境界に位置する複数のエッジルータ(入口エッジルータ及び出口エッジルータ)ERと、網内部に位置する複数のコアルータCRとから構成されている。
【0025】
ノードとしてのエッジルータER及びコアルータCRのそれぞれは、トラフィックエンジニアリング制御機能を一元的(集中的)に制御するための網制御サーバ10と接続している。網制御サーバ10はラベルスイッチネットワーク20内に物理的または論理的に設けられる。
【0026】
網制御サーバ10及び各エッジルータERには、TEを実現するために必要な各機能として、同一機能部がそれぞれ設けられている。ここでは、網制御サーバ10及び各エッジルータERは、統計情報収集機能部、経路計算機能部、負荷分散計算機能部、及びラベルパス設定(ラベル設定)機能部をそれぞれ有する。
【0027】
また、エッジルータER及びコアルータCRのそれぞれは、統計情報通知機能部の他に、ラベルパス設定機能部によって設定されたエッジルータER間の論理コネクション対応のラベルパスにラベルパケットを転送するラベルパケット転送機能部を有する。
【0028】
一層詳述すると、網制御サーバ10及び各エッジルータERにおいて、統計情報収集機能部(トラフィック状態監視部)は、ラベルスイッチネットワーク20内のエッジルータER及びコアルータCRのそれぞれから、各ルータに接続されたリンク(ルータ間の物理リンク)のトラフィック状態情報を統計情報として取得する。
【0029】
また、網制御サーバ10及び各エッジルータERにおいて、経路計算機能部(経路決定部)は、統計情報収集機能部によって取得されたトラフィック状態情報を基に、ラベルスイッチネットワーク20の入口のエッジルータERと出口のエッジルータER間(トラフィックエンジニアリング区間)に、複数のラベルパスを張るための少なくとも1つの経路(IP上の経路)を決定する。
【0030】
さらに、網制御サーバ10及び各エッジルータERにおける負荷分散計算機能部(負荷分散決定部)は、経路計算機能部によって決定された入口のエッジルータERと出口のエッジルータER間の経路上のパス(ラベルパス)に対して、統計情報収集機能部により取得されたトラフィック状態情報を基に、各パスへ分散すべきパケット転送(トラフィック)の割合を決定する。
【0031】
ラベルスイッチネットワーク20内の入口のエッジルータERは、負荷分散計算機能部からの各パスへのパケット転送の割合の指示に基づいて、ラベルスイッチネットワーク20の外部から到着するパケットを複数の転送パスに対して振分けを行うためのパケット振分部(図示省略)を更に有する。
【0032】
上述した広域負荷分散制御システム1における網制御サーバ10及び入口のエッジルータERは、それぞれの状態、特に負荷状態に応じて、統計情報収集機能部、経路計算機能部、負荷分散計算機能部、及びラベルパス設定機能部の動作箇所を互いに切り替える。つまり、網制御サーバ10または入口のエッジルータERが担うべき機能を互いに切り替えることにより、大規模のラベルスイッチネットワーク20における広域負荷分散制御を可能にしている。
【0033】
この広域負荷分散制御システム1においては、例えばある時点では、図1(A)に示すように、網制御サーバ10は統計情報収集機能部、経路計算機能部、及び負荷分散計算機能部の動作を担い、入口のエッジルータERはラベルパス設定機能部の動作を担っている。
【0034】
この場合、広域負荷分散の動作は、網制御サーバ10が収集した統計情報を基に行う。すなわち、統計情報収集機能部により収集されたトラフィック状態情報より、負荷分散を行っているラベルパスが輻輳であると判断した場合には、経路計算機能部により新たな経路が検索される。また、経路間にトラフィックをどのような割合で分散するかなどを、負荷分散計算機能部が統計情報を基に計算する。
【0035】
経路計算機能部により見つかった経路情報は網制御サーバ10から入口のエッジルータERに通知される。入口のエッジルータERは通知された経路上にラベルパス設定機能部によりラベルパスを設定する。このラベルパスの設定のためには、例えばRSVP(Resoruce Reservation Setup Protocol)−TEなどの既知のシグナリングプロトコルが使用される。
【0036】
ラベルスイッチネットワーク20は1組以上の入口のエッジルータERと出口のエッジルータER間のペアについて負荷分散制御を行っており、網制御サーバ10が各入口のエッジルータERに対する負荷分散計算を行っている。したがって、広域に亘る大規模網では負荷分散計算処理の負荷が高くなることがある。
【0037】
そこで、もし網制御サーバ10の計算処理負荷が予め定めたレベルに達した場合には、網制御サーバ10が各入口のエッジルータERに対して行っていた負荷分散計算処理を、各入口のエッジルータER自身が行うように切り替える(図1(B)参照)。各入口のエッジルータERは自エッジルータから他のルータに張られているラベルパスに対して負荷分散計算を実施する。
【0038】
これにより、網制御サーバ10の処理負荷が軽減され、網制御サーバ10はTEのためのその他の機能の経路計算機能及び統計情報収集機能に対してCPU資源を振り分けることが可能となる。なお、切り替え対象機能は上述した負荷分散計算機能だけに限定されない。
【0039】
〔第2の広域負荷分散制御システム〕
図3は本発明の第2の実施の形態における広域負荷分散制御システムの構成を示す。図4は図3における網状態監視装置の詳細構成を示す。図5は網状態監視装置における状態判定処理を説明するためのフローチャートである。
【0040】
図3、図4及び図5を参照すると、この広域負荷分散制御システム1は、網制御サーバ10と、ラベルスイッチネットワーク20と、網状態監視装置30とを備えている。網制御サーバ10と、ラベルスイッチネットワーク20を構成するエッジルータER及びコアルータCRとの各機能部は、ここで説明する以外は上述した第1の実施の形態と同一構成を採る。
【0041】
この第2の実施の形態の広域負荷分散制御システム1においては、網制御サーバ10と入口のエッジルータER間でトラフィックエンジニアリングの機能の切り替えを実施する他の例として、ラベルスイッチネットワーク20内に物理的または論理的配置の網状監視装置30を導入している。
【0042】
網状態監視装置30は、ラベルスイッチネットワーク20の入口のエッジルータER及び網制御サーバ10の負荷状態を監視及び判定するために、状態監視部31、状態判定部32、及び状態保持テーブル33を備えている。
【0043】
また、網状態監視装置30は、状態監視部31、状態判定部32、及び状態保持テーブル33の協働により網制御サーバ10及び入口のエッジルータERの負荷状態を収集し、網制御サーバ10及び入口のエッジルータERの状態を判定して、機能切り替え通知(指示)を行う切り替え通知部34を更に備えている。
【0044】
この網状態監視装置30の導入により、網制御サーバ10及び入口のエッジルータERの負荷状態に応じて、統計情報収集機能部、経路計算機能部、負荷分散計算機能部、及びラベルパス設定機能部の動作箇所を網制御サーバ10及び入口のエッジルータER間で切り替えることを可能にする。
【0045】
網状態監視装置30が網制御サーバ10及び入口のエッジルータERの負荷状態に応じて機能切り替え指示を行う具体的手法として、(1)外部からTelnetでログインして機器をリモート制御するための汎用インタフェースであるコマンドラインインタフェース(CLI)、または(2)ポリシー制御用のプロトコルCOPS(Common Open Policy Service)を採用することができる。
【0046】
一層詳述すると、網制御サーバ10及び入口のエッジルータERに接続された網状態監視装置30は、状態監視部31により網制御サーバ10及び入口のエッジルータERの負荷状態を監視・収集する(図5中の手順S51)。
【0047】
状態監視部31は、例えば一定周期毎に、網制御サーバ10及び入口のエッジルータERからそれぞれの負荷状態としてのCPU使用率やメモリ使用量などの負荷状態情報(処理負荷状態情報)を収集する。
【0048】
また、網状態監視装置30の網状態判定部32は、状態監視部31により収集されて状態保持テーブル33に格納されている負荷状態情報を基に、網制御サーバ10あるいは入口のエッジルータERの負荷状態などの機器状態を判定する(S52,S53)。
【0049】
この際、負荷状態の判定条件としては、網制御サーバ10の負荷(CPU使用率やメモリ使用量)と全ての入口のエッジルータERの平均負荷(CPU使用率やメモリ使用量などの平均値)とを比較する方法(S54)、あるいは網制御サーバ10の負荷と全ての入口のエッジルータER中の最大負荷とを比較する方法などを採用することが可能である。ここでは、状態判定部32は、負荷状態の判定条件として、前者の方法を採っている。
【0050】
網状態監視装置30の切り替え通知部34は、状態判定部32による負荷状態の判定結果、網制御サーバ10の負荷が全ての入口のエッジルータERの平均負荷を超える場合は、例えば負荷分散計算機能部の処理を網制御サーバ10から入口のエッジルータERに切り替えるように双方に指示する(S55)。
【0051】
一方、切り替え通知部34は、状態判定部32による負荷状態の判定結果、網制御サーバ10の負荷が全ての入口のエッジルータERの平均負荷以下の場合は、例えば負荷分散計算機能部の処理を入口のエッジルータERから網制御サーバ10に切り替えるように双方に指示する(S56)。
【0052】
上述した第2の実施の形態の広域負荷分散制御システム1においては、網制御サーバ10と入口のエッジルータER間におけるTEの機能切り替えの判定及び指示は、網状態監視装置30が自動的に行っているが、外部条件に応じて網管理者が手動で機能を切り替えることも可能である。この場合、例えば、網制御サーバ10を再起動したいときには、TEの全ての機能を入口のエッジルータER側に切り替え、網制御サーバ10の起動後に再度、必要な機能を網制御サーバ10側に切り替えるような方法を採ることが可能である。
【0053】
上述した網状態監視装置30による状態監視処理及び状態判定処理は、網(ラベルスイッチネットワーク20)の負荷状態を判定して、予め設定されている条件を満たす場合に所定の処理を行う、いわゆるポリシーサーバが行う機能に相当する。
【0054】
なお、上述した第1の実施の形態の広域負荷分散制御システム1において、網制御サーバ10と入口のエッジルータER間でTEの機能切り替えを行う場合、網制御サーバ10が、網制御サーバ自身及び入口のエッジルータERの負荷状態(CPU使用率、メモリ使用量など)を監視すればよい。この機能切替手法では、入口のエッジルータERの負荷状態の監視は、網制御サーバ10が備えている統計情報収集機能部を用いることで実現可能である。また、網状態判定は網制御サーバ10により実施される。
【0055】
〔第3の広域負荷分散制御システム〕
図6は本発明の第3の実施の形態における広域負荷分散制御システムを説明するための図である。ここでは、広域負荷分散制御システム1のラベルスイッチネットワーク20において、統計情報通知機能部(トラフィック状態通知部)を有しないルータ(入口のエッジルータER及びコアルータCR)が存在する場合のトラフィックエンジニアリングの実現手法について説明する。
【0056】
ラベルスイッチネットワーク20におけるエッジルータ(入口のエッジルータ及び出口のエッジルータ)ER及びコアルータCRに接続されたリンク(物理リンク)の負荷状態を監視するためには、網制御サーバ10がエッジルータERとコアルータCRとの全ルータの統計情報(トラフィック状態情報)を収集する方法(上記第1の実施の形態)と、全ルータのそれぞれが自ルータの統計情報を各エッジルータERに通知する方法との2種類がある。
【0057】
後者の方法を実施する具体例として、OSPF(Open Shortest Path First)プロトコルにおけるオプションメッセージ・Opaque LSAを使用する方法が提唱されている。Opaque LSAを使用する場合、図6に示すように、ラベルスイッチネットワーク20内の全ルータは、自ルータに接続したリンクの統計情報を記録したOpaque LSAを生成し、全出力リンクに対して送出する。
【0058】
隣接のルータからのOpaque LSAを受信したルータは、このOpaque LSAを受信したリンク以外のリンクに対して転送する。各ルータがこのような転送処理を繰り返すことにより、全ルータに関するリンクの統計情報がお互いに交換され、最終的にはTEを制御するエッジルータERが全ルータに関する統計情報を得る。
【0059】
この統計情報の収集方法では、このオプションメッセージを使用するためには、ラベルスイッチネットワーク20内の全ルータがこのメッセージを処理できる必要がある。ラベルスイッチネットワーク20内にこのメッセージを処理できないルータが存在する場合、そのルータの統計情報はエッジルータERに通知されない。
【0060】
したがって、ラベルスイッチネットワーク20内でOpaque LSAを処理できないルータが存在している場合においても、TEを実現するためには、Opaque LSAを処理可能なルータは、そのルータに関して収集したトラフィック状態としての統計情報をOpaque LSAを送出することで、エッジルータERへ通知するとともに、Opaque LSAの処理機能がないルータに関しては、網制御サーバ10が統計情報を収集してエッジルータERへ通知する。
【0061】
この場合、エッジルータERは、他のルータから受信したOpaque LSAと、網制御サーバ10からの統計情報とを統合するための統計情報統合処理部(図示省略)を単に備えればよい。これにより、エッジルータERはラベルスイッチネットワーク20内の全ルータのトラフィック状態を知ることができる。
【0062】
〔第4の広域負荷分散制御システム〕
次に、本発明の第4の実施の形態における広域負荷分散制御システムについて説明する。ここでは、図1を参照して、広域負荷分散制御システム1のラベルスイッチネットワーク20において、負荷分散計算機能部を有しないエッジルータERが存在する場合のトラフィックエンジニアリングの実現手法について説明する。
【0063】
上述した統計情報通知機能部を有しないエッジルータER及びコアルータCRが存在する場合と同様に、ラベルスイッチネットワーク20内の幾つかのエッジルータERにおいて負荷分散計算機能部を備えていないことが考えられる。
【0064】
この場合、この負荷分散計算機能部を有しないエッジルータERを通過するトラフィックについては、広域負荷分散処理が行われないため、本来の目的である輻輳回避や網帯域使用効率の向上などの効果は期待できなくなる。
【0065】
したがって、負荷分散計算機能部を有するエッジルータERに関しては、そのルータを通過するトラフィックについて負荷分散計算を行うとともに、負荷分散計算機能部を有しないエッジルータERに関しては、網制御サーバ10の負荷分散計算機能部がエッジルータER単位に負荷分散を計算し処理を実施することで、全てのエッジルータERにおける負荷分散計算処理を行う。
【0066】
なお、負荷分散計算処理の具体例としては、特開2001−320420号公報記載の手法が利用可能である。
【0067】
〔変形例〕
上述した各実施の形態における処理はコンピュータで実行可能なプログラムとして提供され、CD−ROMやフレキシブルディスクなどの記録媒体、さらには通信回線を経て提供可能である。
【0068】
また、上述した各実施の形態における各処理はその任意の複数または全てを選択し組合せて実施することもできる。
【0069】
〔その他〕
(付記1) ネットワーク内のトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に設定した複数のパスに前記入口エッジノードへの入力トラヒックを分散させる割合を決定する手段と;
前記入口エッジノードへの入力トラヒックを前記複数のパスに分散させる割合の決定を前記入口エッジノード対応の分散制御箇所と他の集中制御箇所とのいずれで処理するかを指示する手段と;
を備える広域負荷分散制御システム。(1)
(付記2) 前記指示する手段は、前記分散制御箇所及び前記集中制御箇所の負荷状態に応じて前記処理を担ういずれかの箇所を指示する
付記1記載の広域負荷分散制御システム。
【0070】
(付記3) 前記集中制御箇所は、前記ネットワーク内の前記トラフィックエンジニアリング区間に存在する前記入口エッジノード及び前記出口エッジノードを含む複数のノードを集中的に制御する網制御装置である
付記1記載の広域負荷分散制御システム。
【0071】
(付記4) 前記指示する手段が、前記網制御装置の外部の状態監視装置に設けられている
付記3記載の広域負荷分散制御システム。
【0072】
(付記5) 前記ネットワークは、MPLSに基づくラベルスイッチネットワークである
付記1記載の広域負荷分散制御システム。
【0073】
(付記6) 前記入口エッジノード対応の前記分散制御箇所が前記ネットワーク内の負荷状態を示す統計情報を収集する場合、
前記分散制御箇所は、特定プロトコルの通知メッセージを利用可能なノードからの前記統計情報を直接収集し、前記特定プロトコルの通知メッセージを利用不可能なノードからの前記統計情報を前記集中制御箇所を通して収集する
付記1記載の広域負荷分散制御システム。
【0074】
(付記7) ネットワーク内の各ノードに接続されたリンクのトラフィック状態を統計情報として前記各ノードから取得する統計情報収集手段と;
取得された前記統計情報に基づいて、前記ネットワークのトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に複数のパスを張るための少なくとも1つの経路を決定する経路決定手段と;
取得された前記統計情報を基に、決定された前記経路上のパスのそれぞれに分散すべきトラフィックの割合を決定する負荷分散決定手段とを備え;
前記統計情報収集手段、前記経路決定手段及び前記負荷分散決定手段のそれぞれの動作箇所を前記入口エッジノードと前記各ノードを集中的に制御する網制御装置との間で互いに切り替える
広域負荷分散制御システム。(2)
(付記8) 前記入口エッジノードは、前記負荷分散決定手段からの前記経路上のパスのそれぞれに分散すべきトラフィックの割合の指示に基づいて、到着するパケットを前記経路上のパスに振分ける振分手段を備える
付記7記載の広域負荷分散制御システム。
【0075】
(付記9) 前記入口エッジノード及び前記網制御装置の負荷状態を収集及び判定する手段と;
前記負荷状態に応じて、前記統計情報収集手段、前記経路決定手段及び前記負荷分散決定手段のそれぞれの動作箇所を前記入口エッジノードと前記網制御装置との間で互いに切り替えさせる指示手段と;
を有する状態監視装置を更に備える
付記7記載の広域負荷分散制御システム。(3)
(付記10) 前記入口エッジノードが前記ネットワーク内の負荷状態を示す統計情報を収集する場合、
前記入口エッジノードは、特定プロトコルの通知メッセージを利用可能なノードからの前記統計情報を直接収集し、前記特定プロトコルの通知メッセージを利用不可能なノードからの前記統計情報を前記網制御装置を通して収集する
付記7記載の広域負荷分散制御システム。(4)
(付記11) 前記入口エッジノードが前記負荷分散決定手段を有しない場合、前記網制御装置の前記負荷分散決定手段を動作させる
付記7記載の広域負荷分散制御システム。(5)
(付記12) 前記ネットワークは、MPLSに基づくラベルスイッチネットワークである
付記7記載の広域負荷分散制御システム。
【0076】
(付記13) ネットワーク内のトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に設定した複数のパスに前記入口エッジノードへの入力トラヒックを分散させる割合を決定するステップと;
前記入口エッジノードへの入力トラヒックを前記複数のパスに分散させる割合の決定を前記入口エッジノード対応の分散制御箇所と他の集中制御箇所とのいずれで処理するかを指示するステップと;
を備える広域負荷分散制御方法。
【0077】
(付記14) ネットワーク内の各ノードに接続されたリンクのトラフィック状態を統計情報として前記各ノードから取得するステップと;
取得された前記統計情報に基づいて、前記ネットワークのトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に複数のパスを張るための少なくとも1つの経路を決定するステップと;
取得された前記統計情報を基に、決定された前記経路上のパスのそれぞれに分散すべきトラフィックの割合を決定するステップと;
前記各ステップの処理箇所を前記入口エッジノードと前記各ノードを集中的に制御する制御装置との間で互いに切り替えるステップと;
を備える広域負荷分散制御方法。
【0078】
(付記15) 前記入口エッジノード及び前記制御装置の負荷状態を収集及び判定するステップと;
前記負荷状態に応じて、前記処理箇所を前記入口エッジノードと前記制御装置との間で互いに切り替えさせるために指示するステップと;
を更に備える付記14記載の広域負荷分散制御方法。
【0079】
【発明の効果】
以上説明したように、本発明によれば、従来エッジノードで行っていたトラフィックエンジニアリングに必要な機能の処理負荷を軽減し、かつ大規模での広域負荷分散を効率的に実施することができる。
【0080】
また、本発明によれば、通知メッセージフォーマットの未統一による統計情報伝達不可能の問題を回避することで、従前のエッジルータ及びコアルータに特殊メッセージ処理機能を追加することなく、広域負荷分散を行うことができる。
【図面の簡単な説明】
【図1】本発明の第1及び第4の実施の形態の広域負荷分散制御システムを説明するための図。
【図2】図1における網制御サーバ、エッジルータ及びコアルータの機能構成を説明するための図。
【図3】本発明の第2の実施の形態の広域負荷分散制御システムを説明するための図。
【図4】図4における網状態監視装置の構成例を示すブロック図。
【図5】図4における網状態監視装置の状態判定処理を示すフローチャート。
【図6】本発明の第3の実施の形態の広域負荷分散制御システムを説明するための図。
【符号の説明】
1   広域負荷分散制御システム
10  網制御サーバ
20  ラベルスイッチネットワーク
30  網状態監視装置
31  状態監視部
32  状態判定部
33  状態保持テーブル
34  切り替え通知部
ER  エッジルータ
CR  コアルータ

Claims (5)

  1. ネットワーク内のトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に設定した複数のパスに前記入口エッジノードへの入力トラヒックを分散させる割合を決定する手段と;
    前記入口エッジノードへの入力トラヒックを前記複数のパスに分散させる割合の決定を前記入口エッジノード対応の分散制御箇所と他の集中制御箇所とのいずれで処理するかを指示する手段と;
    を備える広域負荷分散制御システム。
  2. ネットワーク内の各ノードに接続されたリンクのトラフィック状態を統計情報として前記各ノードから取得する統計情報収集手段と;
    取得された前記統計情報に基づいて、前記ネットワークのトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に複数のパスを張るための少なくとも1つの経路を決定する経路決定手段と;
    取得された前記統計情報を基に、決定された前記経路上のパスのそれぞれに分散すべきトラフィックの割合を決定する負荷分散決定手段とを備え;
    前記統計情報収集手段、前記経路決定手段及び前記負荷分散決定手段のそれぞれの動作箇所を前記入口エッジノードと前記各ノードを集中的に制御する網制御装置との間で互いに切り替える
    広域負荷分散制御システム。
  3. 前記入口エッジノード及び前記網制御装置の負荷状態を収集及び判定する手段と;
    前記負荷状態に応じて、前記統計情報収集手段、前記経路決定手段及び前記負荷分散決定手段のそれぞれの動作箇所を前記入口エッジノードと前記網制御装置との間で互いに切り替えさせる指示手段と;
    を有する状態監視装置を更に備える
    請求項2記載の広域負荷分散制御システム。
  4. 前記入口エッジノードが前記ネットワーク内の負荷状態を示す統計情報を収集する場合、
    前記入口エッジノードは、特定プロトコルの通知メッセージを利用可能なノードからの前記統計情報を直接収集し、前記特定プロトコルの通知メッセージを利用不可能なノードからの前記統計情報を前記網制御装置を通して収集する
    請求項2記載の広域負荷分散制御システム。
  5. 前記入口エッジノードが前記負荷分散決定手段を有しない場合、前記網制御装置の前記負荷分散決定手段を動作させる
    請求項2記載の広域負荷分散制御システム。
JP2002202351A 2002-07-11 2002-07-11 広域負荷分散制御システム Expired - Fee Related JP3715596B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002202351A JP3715596B2 (ja) 2002-07-11 2002-07-11 広域負荷分散制御システム
US10/618,365 US7680046B2 (en) 2002-07-11 2003-07-10 Wide area load sharing control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002202351A JP3715596B2 (ja) 2002-07-11 2002-07-11 広域負荷分散制御システム

Publications (3)

Publication Number Publication Date
JP2004048330A true JP2004048330A (ja) 2004-02-12
JP2004048330A5 JP2004048330A5 (ja) 2004-12-02
JP3715596B2 JP3715596B2 (ja) 2005-11-09

Family

ID=30112620

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002202351A Expired - Fee Related JP3715596B2 (ja) 2002-07-11 2002-07-11 広域負荷分散制御システム

Country Status (2)

Country Link
US (1) US7680046B2 (ja)
JP (1) JP3715596B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341589A (ja) * 2004-05-28 2005-12-08 Lucent Technol Inc トラフィック・パターン可変性と独立な効率的で堅牢なルーティング
JP2009267549A (ja) * 2008-04-23 2009-11-12 Nec Corp 通信システム
JP2010147826A (ja) * 2008-12-19 2010-07-01 Univ Of Electro-Communications 制御装置および制御方法、ノードおよび送信方法
JP2011176631A (ja) * 2010-02-24 2011-09-08 Fujitsu Ltd ルータ、管理装置およびルーティング制御プログラム
JP2012043448A (ja) * 2006-06-12 2012-03-01 Cloudsoft Co Ltd 自己管理型分散メディエーションネットワーク
JP2012175391A (ja) * 2011-02-21 2012-09-10 Nippon Telegr & Teleph Corp <Ntt> ユーザ端末割付方法、通信システム及び管理サーバ
US8885640B2 (en) 2009-12-11 2014-11-11 Fujitsu Limited Path control method, communication system, and communication apparatus
JP2015518358A (ja) * 2012-05-30 2015-06-25 アルカテル−ルーセント Mpls−te過負荷を管理するためのシステムおよび方法
US10069716B2 (en) 2015-07-29 2018-09-04 At&T Intellectual Property I, L.P. Methods and apparatus to reflect routes from a remotely located virtual route reflector

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8095507B2 (en) 2008-08-08 2012-01-10 Oracle International Corporation Automated topology-based statistics monitoring and performance analysis
KR101057815B1 (ko) * 2008-12-04 2011-08-19 한국전자통신연구원 터널링 기반 이동성 지원 장치 및 방법
US8743688B2 (en) * 2009-12-11 2014-06-03 At&T Intellectual Property I, L.P. Method and apparatus for dynamically controlling internet protocol packet handling in a voice over internet protocol network
US20150117194A1 (en) * 2012-04-16 2015-04-30 Nec Corporation Network Control Method and Device
US9578588B2 (en) * 2014-03-27 2017-02-21 Intel IP Corporation Apparatus, method and system of tethering between a mobile device and a network
US10110468B2 (en) 2016-06-01 2018-10-23 Huawei Technologies Co., Ltd. System and method for semi-static traffic engineering
US20200177509A1 (en) * 2018-12-04 2020-06-04 Forcepoint Llc System and method for anycast load balancing for distribution system
WO2020189267A1 (ja) * 2019-03-20 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法および通信システム
CN114866462B (zh) * 2022-07-06 2022-09-09 广东新宏基信息技术有限公司 一种智慧校园的物联网通信路由方法及系统
CN116866253B (zh) * 2023-09-04 2023-12-01 中科浩成(北京)科技产业发展有限公司 一种基于边缘计算的网络链路远程切换系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5784631A (en) * 1992-06-30 1998-07-21 Discovision Associates Huffman decoder
WO2004075600A1 (en) * 1994-12-15 2004-09-02 Antoni Bronisl Przygienda Apparatus and method for routing a communication in a network
US6081506A (en) * 1997-11-19 2000-06-27 At&T Corp Integrating switching and facility networks using ATM
US6356546B1 (en) * 1998-08-11 2002-03-12 Nortel Networks Limited Universal transfer method and network with distributed switch
US6556541B1 (en) * 1999-01-11 2003-04-29 Hewlett-Packard Development Company, L.P. MAC address learning and propagation in load balancing switch protocols
US6721271B1 (en) * 1999-02-04 2004-04-13 Nortel Networks Limited Rate-controlled multi-class high-capacity packet switch
WO2001020829A1 (en) * 1999-09-14 2001-03-22 Megaxess, Inc. Method and apparatus for prevention of congestion in atm networks through atm protection switching
JP4150159B2 (ja) 2000-03-01 2008-09-17 富士通株式会社 伝送経路制御装置及び伝送経路制御方法並びに伝送経路制御プログラムを記録した媒体
JP3790655B2 (ja) 2000-03-06 2006-06-28 富士通株式会社 ラベルスイッチネットワークシステム
US6904017B1 (en) * 2000-05-08 2005-06-07 Lucent Technologies Inc. Method and apparatus to provide centralized call admission control and load balancing for a voice-over-IP network
US6381242B1 (en) * 2000-08-29 2002-04-30 Netrake Corporation Content processor
US6882799B1 (en) * 2000-09-28 2005-04-19 Nortel Networks Limited Multi-grained network
US6665495B1 (en) * 2000-10-27 2003-12-16 Yotta Networks, Inc. Non-blocking, scalable optical router architecture and method for routing optical traffic
US7139242B2 (en) * 2001-03-28 2006-11-21 Proficient Networks, Inc. Methods, apparatuses and systems facilitating deployment, support and configuration of network routing policies
US7283538B2 (en) * 2001-10-12 2007-10-16 Vormetric, Inc. Load balanced scalable network gateway processor architecture
US7206861B1 (en) * 2002-07-29 2007-04-17 Juniper Networks, Inc. Network traffic distribution across parallel paths
US6963539B2 (en) * 2003-02-12 2005-11-08 The Regents Of The University Of California Method and apparatus for providing a service level guarantee in a communication network

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8027245B2 (en) 2004-05-28 2011-09-27 Alcatel Lucent Efficient and robust routing of potentially-variable traffic for path restoration following link failure
US8194535B2 (en) 2004-05-28 2012-06-05 Alcatel Lucent Efficient and robust routing of potentially-variable traffic in IP-over-optical networks with resiliency against router failures
JP2005341589A (ja) * 2004-05-28 2005-12-08 Lucent Technol Inc トラフィック・パターン可変性と独立な効率的で堅牢なルーティング
US7957266B2 (en) 2004-05-28 2011-06-07 Alcatel-Lucent Usa Inc. Efficient and robust routing independent of traffic pattern variability
JP2012043448A (ja) * 2006-06-12 2012-03-01 Cloudsoft Co Ltd 自己管理型分散メディエーションネットワーク
JP2009267549A (ja) * 2008-04-23 2009-11-12 Nec Corp 通信システム
JP2010147826A (ja) * 2008-12-19 2010-07-01 Univ Of Electro-Communications 制御装置および制御方法、ノードおよび送信方法
US8885640B2 (en) 2009-12-11 2014-11-11 Fujitsu Limited Path control method, communication system, and communication apparatus
JP2011176631A (ja) * 2010-02-24 2011-09-08 Fujitsu Ltd ルータ、管理装置およびルーティング制御プログラム
US8428070B2 (en) 2010-02-24 2013-04-23 Fujitsu Limited Router, management apparatus, and routing control program
JP2012175391A (ja) * 2011-02-21 2012-09-10 Nippon Telegr & Teleph Corp <Ntt> ユーザ端末割付方法、通信システム及び管理サーバ
JP2015518358A (ja) * 2012-05-30 2015-06-25 アルカテル−ルーセント Mpls−te過負荷を管理するためのシステムおよび方法
US10069716B2 (en) 2015-07-29 2018-09-04 At&T Intellectual Property I, L.P. Methods and apparatus to reflect routes from a remotely located virtual route reflector
US10965582B2 (en) 2015-07-29 2021-03-30 At&T Intellectual Property I, L.P. Methods and apparatus to reflect routes from a remotely located virtual route reflector

Also Published As

Publication number Publication date
US7680046B2 (en) 2010-03-16
US20040008707A1 (en) 2004-01-15
JP3715596B2 (ja) 2005-11-09

Similar Documents

Publication Publication Date Title
JP3715596B2 (ja) 広域負荷分散制御システム
JP5077004B2 (ja) 通信装置、通信システム、通信制御方法及び通信制御プログラム
EP2441219B1 (en) Power-saving functions in communications networks
US6952396B1 (en) Enhanced dual counter rotating ring network control system
US10506037B2 (en) Discovery of ingress provider edge devices in egress peering networks
EP1986370B1 (en) Control system, data message transmission method and network device in the ethernet
US6862288B2 (en) Circuit reestablishment and tear down in a highly available communications system
US9571383B2 (en) Rerouting technique
EP2469758A1 (en) Communications network management
EP2157736B1 (en) A method and server for determining the direct optical path and a system for establishing the direct optical path
WO2009148153A1 (ja) ネットワーク・エレメント、該ネットワーク・エレメントを備えたシステム及び方法
JP2017508401A (ja) Ipネットワークにおける部分ソフトウェア定義ネットワークのスイッチ置換
JP2006109454A (ja) 電気通信ネットワークにおける経路選択方法及び装置
KR20150017723A (ko) 패킷 데이터 네트워킹에서의 혼잡 제어
JP2010517351A (ja) ネットワークツリー管理のための方法と装置
WO2015070608A1 (zh) Oam性能监控方法及装置
US20080165685A1 (en) Methods, systems, and computer program products for managing network bandwidth capacity
KR20110086926A (ko) 네트워크 자율 관리 시스템
CN103329490A (zh) 用于提高基于分组的通信网络中的数据传输的质量的方法
US20240007399A1 (en) Message Processing Method, Network Device, and Controller
Venmani et al. Demystifying link congestion in 4G-LTE backhaul using openflow
CN111953605B (zh) 发信号通知支持标签交换路径(lsp)的节点或节点组件的计划的脱机以及使用这种信令
JP4283736B2 (ja) トラヒック情報処理方法、トラヒック情報処理プログラム、および、トラヒック情報処理装置
KR101726264B1 (ko) 이기종 패킷전달망간 연동을 위한 통합 네트워크 관리 시스템 및 그 방법
KR100909341B1 (ko) Mpls 네트워크 관리 시스템 및 그 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050825

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070214

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080902

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090902

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090902

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100902

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100902

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110902

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120902

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120902

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130902

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees