JP2010050749A - 経路制御システム - Google Patents

Abstract

【課題】特定の顧客ネットワークで発生した経路制御負荷の増大が、他の顧客ネットワークの経路制御に悪影響を及ぼさない経路制御システムを提供すること。
【解決手段】システム制御部と複数の経路制御サーバとからなる経路制御システムにおいて、現用系経路制御サーバが、顧客ネットワーク別に経路制御を行なう複数の論理制御部を有し、システム制御部が、現用系の経路制御サーバの負荷状態を監視し、負荷状態が所定の条件を満たしたとき、少なくとも１つの論理制御部を待機系の経路制御サーバに移動させ、待機系の経路制御サーバが、論理制御部と対応付けられた特定の顧客ネットワークの経路制御を引き継ぐ。
【選択図】図１

Description

本発明は、経路制御システムに関し、更に詳しくは、複数の顧客ネットワークを収容するレイヤ３仮想閉域ネットワーク（Ｌ３ＶＰＮ）に適した経路制御システムに関する。

ＩＰネットワークシステムは、ルータやスイッチなど、複数の通信ノードによって構成されている。各通信ノードは、複数の回線インタフェース間でパケットを交換するパケット転送（Transport）機能部と、パケット転送機能部に接続された制御（Control）機能部とを備え、ＯＳＰＦ（Open Shortest Path First）やＢＧＰ（Broader Gateway Protocol）等の分散型のルーティングプロトコルを用いて、他の通信ノードと経路情報を交信し、自ノードが保持する経路情報テーブルを更新している。

分散型のルーティングプロトコルが適用されたネットワークシステムでは、各通信ノードの制御機能部の信頼性が、ネットワーク全体の安定性に影響する。例えば、制御プログラムのミスやメモリ容量の不足に起因して、１つの通信ノードで誤動作が発生すると、この誤動作がネットワークシステム全体の経路制御に波及し、状況によっては、ネットワーク内の特定の経路での通信が遮断されるという事態に陥る。

上述した分散型ネットワークにおいて、ＩＰネットワークのルータが備えるＩＰパケット転送機能と経路制御機能とを分離したＣ／Ｕ分離方式と呼ばれるネットワーク制御方式が検討されている。Ｃ／Ｕ分離方式の一例として、ＩＰネットワークの経路制御を集中処理するルートサーバと呼ばれるサーバを設置する方式がある。ルートサーバは、ＩＰネットワークのリンク状態が変化したとき、ネットワーク内の通信ノード毎の経路情報を一括して計算し、各通信ノードに最適な経路情報を配布する。この制御方式は、ネットワーク内の各ノードが、リンクの状態変換をルートサーバに通知し、ルートサーバが、ネットワーク内の経路を集中的に制御することによって、経路を最適化するための所要時間を短縮できるという利点がある。

一方、通信事業者は、従来の専用線サービスに代わる広域の接続サービスとして、各種の閉域通信網（ＶＰＮ：Virtual Private Network）サービスを提供している。ＶＰＮサービスでは、複数の顧客が、通信事業者が提供するネットワークリソースを共用できるため、通信事業者は、設備投資コストを抑制して、多数の顧客に安価な通信サービスを提供できる。

通信事業者が提供するＶＰＮサービスの１つとして、複数の顧客に仮想ＩＰ網を提供するＬ３（Layer 3）ＶＰＮサービスがある。Ｌ３ＶＰＮサービスには、各種の実現方式があり、例えば、非特許文献１に記載されたＭＰＬＳ／ＢＧＰ（Multi-Protocol Label Switching／Broader Gateway Protocol）を用いるピア型の通信方式が代表的である。他の実現方式として、例えば、ＩＰＳｅｃを用いたオーバーレイ型、仮想ルータを用いた分離型などが知られている。

ＶＰＮサービスでは、通信の信頼性を高めるために、例えば、特開２００６−１３５６８６号公報（特許文献１）が示すように、障害経路が発生した時、パス切替えによって通信を回復させる技術が知られている。パス切替え技術の採用によって、通信回線の切断時または通信ノードの故障発生時に、障害回線あるいは障害ノードを経由するＶＰＮ上の通信を回復できる。

特開２００６−１３５６８６号公報 "BGP／MPLS VPNs" RFC2547， Internet Engineering Task Force (IETF)， March 1999

Ｌ３ＶＰＮサービスでは、各顧客ネットワークから通信事業者のネットワークが１つのルータとして見えるように、ネットワークエッジの経路制御インタフェースを規定したものがある。この場合、顧客ネットワーク側のルータは、ＯＳＰＦ、ＲＩＰなどの経路制御プロトコルに従って、通信事業者のネットワーク内に配置された経路制御システムと経路情報を送受信する。この構成によれば、各ユーザは、通信事業者が提供するＶＰＮと、該ＶＰＮに接続された複数拠点の経路情報を単一の経路制御プロトコルで管理できるため、管理コストを低減できる。

通信サービスの信頼性とシステムの管理性能を向上するために、通信事業者が、前述したルートサーバ方式でＬ３ＶＰＮサービスの経路制御システムを構築し、更に、顧客ネットワーク側のルータに対して、ルートサーバの経路制御プロトコルのインタフェースを公開した場合、ルートサーバ（経路制御システム）は、次の機能を備えることになる。
（１）顧客ネットワーク側の各ルータから経路制御パケットを収集する機能、
（２）顧客ネットワーク毎に経路情報を管理するＶＰＮ経路情報管理機能、
（３）顧客ネットワーク毎の経路情報を計算するＶＰＮ経路制御機能、
（４）顧客ネットワーク毎の経路情報を通信事業者ネットワーク内の経路情報に変換し、通信事業者ネットワーク内の各ルータに反映させる経路情報配信機能。

通信事業者が提供する単一のネットワーク、例えば、Ｌ３ＶＰＮサービスネットワークに複数の顧客ネットワークを収容し、各顧客ネットワークの経路制御をルートサーバで実行する場合、通信事業者は、複数の顧客ネットワークから発生した経路設定要求が互いに干渉しないように、経路制御システム（ルートサーバ）を運用する必要がある。しかしながら、複数の顧客ネットワークをＬ３ＶＰＮサービスネットワークに収容すると、経路制御システムの負荷が様々な要因で増大する。

例えば、Ｌ３ＶＰＮサービスに新規顧客が加入すると、制御対象となるネットワークの増加によって、経路制御システムの負荷が増大する。また、例えば、ケーブル接続ミスによって、顧客ネットワークとなるイーサネット（登録商標）にループが発生した場合、顧客ネットワーク側のルータから経路制御システムに送信した経路制御パケット（経路制御要求）が、ストームを起こすおそれがある。この場合、経路制御プロトコルで想定外の大量の経路制御パケットが経路制御システム（ルートサーバ）に送信されるため、ルートサーバの処理負荷が一気に増大する。

顧客ネットワーク側のルータが故障した場合や、該ルータ上で動作する経路制御ソフトウェアにバグがあった場合も、大量の経路制御パケットが発生する可能性がある。ＯＳＰＦやＲＩＰなどの経路制御プロトコルが適用された通信ネットワークでは、各ルータは、隣接ルータからの生存確認パケットが途絶えたとき、経路制御プロトコルに従って経路を再計算し、更新した経路情報をネットワーク内の他のルータに広告する。この場合、故障したルータが、他のルータとは異なったシーケンスで経路制御を実行すると、ネットワーク内での経路計算が収束しない可能性がある。悪意のあるユーザが、顧客ネットワークから大量の経路制御パケットを送信した場合も、ルートサーバの負荷が増大する。

本発明の目的は、ルートサーバ構成で経路制御が実行されるＬ３ＶＰＮサービス網において、特定の顧客ネットワークで発生した経路制御負荷の増大が、他の顧客ネットワークの経路制御に悪影響を及ぼさない経路制御システムを提供することにある。

上記課題を解決するために、本発明によれば、複数の顧客ネットワークを収容するＬ３ＶＰＮサービス網に設置される経路制御システムが、システム制御部と、現用系および待機系の経路制御サーバとからなり、
上記現用系の経路制御サーバが、上記顧客ネットワーク別に経路制御動作を実行する複数の論理制御部を有し、
上記システム制御部が、上記現用系の経路制御サーバの負荷状態を監視し、負荷状態が所定の条件を満たしたとき、上記現用系の経路制御サーバで動作している複数の論理制御部の中から選択された少なくとも１つの論理制御部を上記現用系の経路制御サーバから上記待機系の経路制御サーバに移動させ、
上記待機系の経路制御サーバが、上記移動した論理制御部を起動することによって、該論理制御部と対応付けられた特定の顧客ネットワークの経路制御を引き継ぐようにしたことを特徴とする。ここで、各論理制御部は、前述したＶＰＮ経路情報管理機能とＶＰＮ経路情報計算機能を備えている。

本発明によれば、経路制御サーバが、顧客ネットワーク毎に個別の論理制御部で経路制御を実行するようにしているため、特定の顧客ネットワークで経路制御要求が異常に発生した場合に、システム制御部が、一部の論理制御部を現用系の経路制御サーバから待機系の経路制御サーバに移動させることによって、現用系経路制御サーバの負荷を減少し、他の顧客ネットワークへの影響を回避することが可能となる。

更に詳述すると、本発明の経路制御システムでは、上記システム制御部が、上記現用系の経路制御サーバと待機系の経路制御サーバに対して、論理制御部の移動を指令するマイグレーション制御部を有し、上記マイグレーション制御部からの指令に応じて、上記現用系の経路制御サーバが、上記論理制御部を上記待機系の経路制御サーバに転送し、上記待機系の経路制御サーバが、該論理制御部を起動して特定の顧客ネットワークの経路制御を引き継ぐことを特徴とする。

本発明の１実施例では、上記システム制御部が、上記現用系の経路制御サーバからＣＰＵ負荷情報を取得して、ＣＰＵ負荷が所定の閾値に達したか否かを判定するＣＰＵ負荷監視部を有し、上記ＣＰＵ負荷が所定の閾値に達したとき、上記ＣＰＵ負荷監視部が、上記現用系の経路制御サーバで動作している複数の論理制御部の中から前記少なくとも１つの論理制御部を選択して、上記マイグレーション制御部に該論理制御部の移動要求を発行する。

本発明の経路制御システムでは、上記ＣＰＵ負荷監視部に代えて、あるいは該ＣＰＵ負荷監視部に加えて、上記システム制御部が、上記現用系の経路制御サーバから上記論理制御部毎の経路制御パケット数を含む負荷情報を取得して、経路制御パケット数が所定の閾値に達した論理制御部があるか否かを判定する経路制御パケット監視部を備え、何れかの論理制御部で経路制御パケット数が所定の閾値に達したとき、上記経路制御パケット監視部が、上記現用系の経路制御サーバで動作している複数の論理制御部の中から前記少なくとも１つの論理制御部を選択して、上記マイグレーション制御部に該論理制御部の移動要求を発行するようにしてもよい。

本発明の他の実施例では、上記システム制御部が、上記顧客ネットワークが接続されている各エッジノードから、経路制御パケット数を示す負荷情報を取得し、経路制御パケット数が所定の条件を満たしたとき、上記現用系の経路制御サーバで動作している複数の論理制御部の中から選択された少なくとも１つの論理制御部を上記現用系の経路制御サーバから上記待機系の経路制御サーバに移動させ、上記待機系の経路制御サーバが、上記移動した論理制御部によって、該論理制御部と対応付けられた特定の顧客ネットワークの経路制御を引き継ぐようにしたことを特徴とする。

この場合、上記システム制御部が、上記各エッジノードから、経路制御パケット数を示す負荷情報を取得し、経路制御パケット数が所定の閾値に達したか否かを判定するユーザ網監視部を有し、上記経路制御パケット数が所定の閾値に達したとき、上記ユーザ網監視部が、上記現用系の経路制御サーバで動作している複数の論理制御部の中から前記少なくとも１つの論理制御部を選択して、上記マイグレーション制御部に該論理制御部の移動要求を発行する。

本発明によれば、特定の顧客ネットワークから送信される経路制御パケット（経路制御要求）が増加し、経路制御サーバにおける処理負荷が増加したとき、顧客ネットワーク対応に経路制御処理を実行する論理制御部の一部を現用系の経路制御サーバから待機系の経路制御サーバに移動させることによって、他の顧客ネットワークへの影響を回避することが可能となる。

以下、図面を参照して本発明の実施例について説明する。

図１は、本発明が適用される通信ネットワークの第１実施例を示す。
第１実施例の通信ネットワークは、Ｌ３ＶＰＮサービスを提供する通信事業者のネットワークＳＮＷと、複数の顧客ネットワークＮＷ（ＮＷ−ａ、ＮＷ−ｂ、ＮＷｃ、・・・）とからなる。通信事業者のネットワークＳＮＷは、それぞれ顧客ネットワークＮＷを収容する複数のエッジノード１０（１０ａ 、１０ｂ、１０ｃ、・・・）と、エッジノード間を接続するコアノード２０とを含む。また、各顧客ネットワークＮＷは、エッジノード１０に接続されるノード装置（以下、ユーザノードと言う）６０（６０ａ、６０ｂ、６０ｃ、・・・）と、ユーザノード６０に収容された１つまたは複数のセグメント６１とからなっている。

本実施例では、通信事業者のネットワークＳＮＷは、通信ネットワークの経路制御を集中的に処理するための経路制御システム３０を備える。経路制御システム３０は、最適経路計算、経路情報管理および経路情報の配信を行う複数の経路制御サーバ４０と、システム制御部５０とからなる。本実施例では、経路制御システム３０は、現用系の経路制御サーバ４０−１と待機系の経路制御サーバ４０−２とを備え、現用系から待機系への経路制御機能の切り替えは、システム制御部５０によって論理制御部単位で行われる。

各論理制御部は、ＶＰＮ経路情報管理機能とＶＰＮ経路情報計算機能を備えており、現用系の経路制御サーバ４０−１上では、顧客ネットワークＮＷと対応した複数の論理制御部が動作している。本実施例では、現用系の経路制御サーバ４０−１の負荷が増加したとき、システム制御部５０が、一部の論理制御部を現用系の経路制御サーバ４０−１から待機系の経路制御サーバ４０−２に移動（マイグレーション）させ、経路制御処理を現用系の経路制御サーバと待機系の経路制御サーバに分散させる。

図１に示した実施例では、システム制御部５０は、経路制御システム３０の内部通信専用スイッチ３００を介して、現用系および待機系の経路制御サーバ４０−１、４０−２と接続されており、システム制御部５０と各経路制御サーバとの交信と、現用系の経路制御サーバ４０−１から待機系の経路制御サーバ４０−２への論理制御部の移動が、上記内部通信専用スイッチ３００を介して行われる。但し、これらの動作は、コアノード２０経由で行うこともできる。

図２は、経路制御サーバ４０（４０−１、４０−２）の構成例を示す。
経路制御サーバ４０は、プロセッサ（ＣＰＵ）４１と、コアノード２０と通信するためのネットワークインタフェース４２と、内部通信専用スイッチ３００を介してシステム制御部５０および他の経路制御サーバと交信するための内部通信インタフェース４３と、メモリ４４Ａ、４４Ｂとからなる。

メモリ４４Ａには、プロセッサ４１が実行する本発明に関係するプログラムとして、主制御部４５と、仮想化制御部４６と、負荷監視エージェント４７と、マイグレーション制御エージェント４８とを備える。また、メモリ４４Ｂには、顧客ネットワーク毎に独立した制御サーバ機能を実現するための複数の論理制御部４９（４９−１、４９−２、・・・）を備える。

仮想化制御部４６は、各論理制御部４９に割り当てるＣＰＵ資源、メモリ資源、通信回線リソースを制御することによって、各論理制御部４９を顧客ネットワークの通信状態に応じた論理的制御サーバとして機能させる。負荷監視エージェント４７は、経路制御サーバ４０のＣＰＵ負荷と論理制御部４９毎のＣＰＵ負荷を監視し、監視結果を定期的にシステム制御部５０に通知する。マイグレーション制御エージェント４８は、システム制御部５０からの指示に従って、特定の論理制御部４９の起動と停止、経路制御サーバ間の移動（マイグレーション）を制御する。

各論理制御部４９は、図３に示すように、経路情報管理部４１０と、ＯＳＰＦプロトコルに従って経路を計算するＯＳＰＦ制御部４２０と、経路制御パケットの入出力量を監視し、監視結果をシステム制御部５０に通知する経路制御パケット監視エージェント４３０と、経路情報ファイル（経路テーブル）４４０とからなり、予め対応付けられた特定の顧客ネットワークからの経路制御パケットを処理し、経路情報を管理する。ここで、経路情報管理部４１０は、前述したＶＰＮ経路情報管理機能に相当し、ＯＳＰＦ制御部４２０は、ＶＰＮ経路情報計算機能に相当している。

図４は、システム制御部５０の構成例を示す。
システム制御部５０は、プロセッサ（ＣＰＵ）５１と、コアノード２０と通信するためのネットワークインタフェース５２と、内部通信専用スイッチ３００を介して経路制御サーバ４０と交信ための内部通信インタフェース５３と、メモリ５４Ａ、５４Ｂとからなる。メモリ５４Ａには、プロセッサ５１が実行する本発明に関係するプログラムとして、主制御部５５と、ＣＰＵ負荷監視部５６と、経路制御パケット監視部５７と、ユーザ網監視部５８と、マイグレーション制御部５９とを備え、メモリ５４Ｂには、ＣＰＵ負荷管理テーブル５１０と、経路制御サーバ負荷管理テーブル５２０と、ユーザ網接続先管理テーブル５３０と、サーバリソース管理テーブル５４０と、経路制御サーバ管理テーブル５５０とを備える。

ＣＰＵ負荷監視部５６は、ＣＰＵ負荷管理テーブル５１０を使用して、経路制御サーバ４０上の各論理制御部４９のＣＰＵ負荷を監視し、現用系の経路制御サーバから待機系の経路制御サーバに移動（マイグレーション）すべき論理制御部４９を検出する。ＣＰＵ負荷監視部５６は、例えば、ＣＰＵ負荷が予め指定された閾値を超えた論理制御部４９を検出したとき、待機系経路制御サーバにマイグレーションすべき論理制御部を選択して、マイグレーション制御部５９にマイグレーション要求を発行する。

経路制御パケット監視部５７は、経路制御サーバ負荷管理テーブル５２０を使用して、経路制御サーバ４０上の各論理制御部４９と顧客ネットワークとの間の経路制御パケットの送受信量を監視し、現用系の経路制御サーバから待機系の経路制御サーバに移動（マイグレーション）すべき論理制御部４９を検出する。経路制御パケット監視部５７は、例えば、経路制御パケットの送受信量が閾値を超えた論理制御部を検出したとき、待機系経路制御サーバにマイグレーションすべき論理制御部を選択して、マイグレーション制御部５９にマイグレーション要求を発行する。

ユーザ網監視部５８は、ユーザ網接続先管理テーブル５３０を使用して、エッジノード１０と顧客ネットワークＮＷとの間の経路制御パケットの送受信量を監視し、現用系の経路制御サーバから待機系の経路制御サーバへ移動（マイグレーション）すべき論理制御部４９を検出する。ユーザ網監視部５８は、例えば、経路制御パケットの送受信量が所定閾値を超えた論理制御部４９を検出したとき、待機系経路制御サーバにマイグレーションすべき論理制御部を選択して、マイグレーション制御部５９にマイグレーション要求を発行する。

マイグレーション制御部５９は、ＣＰＵ負荷監視部５６、経路制御パケット監視部５７またはユーザ網監視部５８からマイグレーション要求を受信したとき、サーバリソース管理テーブル５４０と経路制御サーバ管理テーブル５５０を使用して、上記マイグレーション要求が示す論理制御部の現用系経路制御サーバから待機系経路制御サーバへのマイグレーション可否を判定する。

マイグレーション制御部５９は、論理制御部のマイグレーションを可と判断したとき、現用系の経路制御サーバ４０−１と待機系の経路制御サーバ４０−２に、論理制御部単位でのマイグレーションを指令する。これらのマイグレーション指令によって、各経路制御サーバのマイグレーション制御エージェント４８に、マイグレーション対象となった特定の論理制御部について停止あるいは起動が指示され、現用系の経路制御サーバ４０−１から待機系の経路制御サーバ４０−２への論理制御部（図３に示したソフトウェア構造）の移動と、待機系の経路制御サーバ４０−２での論理制御部の起動が行なわれる。

サーバリソース管理テーブル５４０には、現用系の経路制御サーバ４０−１と待機系の経路制御サーバ４０−２におけるＣＰＵ資源の利用状況が格納され、経路制御サーバ管理テーブル５５０には、現用系、待機系の各経路制御サーバ上で動作している論理制御部４９に関する情報が格納される。

図５は、システム制御部５０が備える経路制御サーバ管理テーブル５５０の１実施例を示す。
経路制御サーバ管理テーブル５５０は、通信事業者のネットワークＳＮＷに収容されている各顧客ネットワークの識別子（ＶＰＮ ＩＤ）５５１と、経路制御サーバ４０（４０−１または４０−２）の識別子（経路制御サーバＩＤ）５５２と、経路制御サーバ４０上で動作する論理制御部４９に割り当てられたＩＰアドレス（論理制御部アドレス）との対応関係を示す複数のテーブルエントリからなる。

図示した経路制御サーバ管理テーブル５５０は、通信事業者のネットワークＳＮＷに、ＶＰＮ ＩＤが「ａ」、「ｂ」、「ｃ」の３つの顧客ネットワーク（ＮＷ−ａ、ＮＷ−ｂ、ＮＷ−ｃ）が収容されていることを示している。
テーブルエントリＥＮ−ａは、ＶＰＮ ＩＤ＝「ａ」の顧客ネットワーク（ＮＷ−ａ）が、経路制御サーバＩＤ＝１をもつ経路制御サーバ（現用系の経路制御サーバ４０−１）上で動作しているＩＰアドレスが「192.168.99.101」の論理制御部４９−１によって制御されることを示し、テーブルエントリＥＮ−ｂは、ＶＰＮ ＩＤ＝「ｂ」の顧客ネットワーク（ＮＷ−ｂ）が、経路制御サーバＩＤ＝１をもつ経路制御サーバ（現用系の経路制御サーバ４０−１）上で動作しているＩＰアドレスが「192.168.99.102」の論理制御部４９−２によって制御されることを示している。

また、テーブルエントリＥＮ−ｃは、ＶＰＮ ＩＤ＝「ｃ」の顧客ネットワーク（ＮＷ−ｃ）が、経路制御サーバＩＤ＝１をもつ経路制御サーバ（現用系の経路制御サーバ４０−１）上で動作しているＩＰアドレスが「192.168.99.103」の論理制御部４９−３によって制御されることを示している。ここで、例えば、論理制御部４９−３が、現用系の経路制御サーバ４０−１から待機系の経路制御サーバ４０−２に移動した場合、テーブルエントリＥＮ−ｃの経路制御サーバＩＤ５５２の値が、「１」から「２」に書き替えられる。

図６は、システム制御部５０が備えるサーバリソース管理テーブル５４０の１実施例を示す。
サーバリソース管理テーブル５４０は、経路制御サーバＩＤ５４１と対応する複数のテーブルエントリからなる。各テーブルエントリは、経路制御サーバＩＤ５４１をもつ経路制御サーバ（本実施例では、現用系または待機系の経路制御サーバ）におけるＣＰＵリソースの総量を示すリソース総量５４２と、該経路制御サーバにおいて既に論理制御部４９に割り当て済みのＣＰＵリソース量を示すリソース割当量５４３と、論理制御部別のＣＰＵ利用率５４を示している。論理制御部別のＣＰＵ利用率５４は、論理制御部のＩＤとＣＰＵ利用率との対で表される。図６は、簡単化のために論理制御部ＩＤを通し番号で表し、括弧内にＣＰＵ利用率を示しているが、論理制御部ＩＤとしては、図５で示した論理制御部アドレスを適用できる。

図示したサーバリソース管理テーブル５４０では、現用系の経路制御サーバ４０−１と待機系の経路制御サーバ４０−２のＣＰＵリソース総量が、それぞれ「１００」であること、現用系の経路制御サーバ４０−１では、ＣＰＵリソースのうちの「９０」を３個の論理制御部４９に割当て済みの状態にあること、待機系の経路制御サーバ４０−２では、動作中の論理制御部が０個であり、ＣＰＵリソースの論理制御部への割当ては未だないことを示している。

図７は、エッジノード１０の構成例を示す。
エッジノード１０は、複数のネットワークインタフェース１１（１１−１〜１１−ｎ）と、これらのネットワークインタフェース１１に接続されたパケット転送部１２と、パケット転送部１２に接続された制御部１３とからなる。制御部１３は、プロセッサ１４とメモリ１５Ａ、１５Ｂからなる。メモリ１５Ａには、プロセッサ１４が実行する本発明に関係するプログラムとして、主制御部１６と、経路情報処理部１７と、負荷監視エージェント１８とが用意され、メモリ１５Ｂには、経路情報ファイル１５０と制御パケットカウンタ１６０とが用意されている。

経路情報処理部１７は、エッジノード１０と対応付けられた経路制御サーバ４０からの指示に基づいて経路情報ファイル１５０を更新する。また、負荷監視エージェント１８は、顧客ネットワークのユーザノートとの間で一定期間内に送受信される経路制御パケットの個数を経路制御パケットカウンタ１６０によってカウントしておき、経路制御システム３０のシステム制御部５０に対して、経路制御パケット量を定期的に通知する。

図８は、図１に示した通信ネットワークにおける経路制御パケットの流れを示す。
各ユーザノード６０（６０ａ〜６０ｃ）は、例えば、顧客ネットワークに新たなセグメント（リンク）が追加されたとき、顧客ネットワークの構成変更を示す経路制御パケット（経路制御要求）を生成する。この経路制御パケットは、通信事業者のサービス仕様で規定された経路制御プロトコルに従って、１点鎖線で示すように、現用系として動作している経路制御サーバ４０−１に送信される。

現用系の経路制御サーバ４０−１（論理制御部４９）は、ユーザノード６０から経路制御パケットを受信すると、経路制御プロトコルが規定する所定の経路計算アルゴリズムに従って、通信事業者ネットワークＳＮＷ内の各ノード（ルータ）における経路情報を算出する。新たな経路情報は、破線で示すように、現用系の経路制御サーバ４０−１から通信事業者ネットワークＳＮＷ内の各ノードに配信される。
尚、特定の論理制御部４９が待機系の経路制御サーバ４０−２に移動した場合、この論理制御部と対応付けられた特定の顧客ネットワークからの経路制御パケットは、待機系の経路制御サーバ４０−２に転送されることになる。

図９は、本発明の通信ネットワークにおける経路情報の基本的な更新シーケンスを示している。
例えば、顧客ネットワークで新規グメントが追加された場合（ＳＱ０１）、ユーザノード６０からエッジノード１０に、新規収容セグメントに関する制御情報を含んだ経路制御パケットが送信される（ＳＱ０２）。エッジノード１０は、ユーザノードから経路制御パケットを受信すると、経路制御パケットカウンタを更新し（ＳＱ０３）、現用系の経路制御サーバ４０−１に対して、経路制御パケットを転送する（ＳＱ０４）。

現用系の経路制御サーバ４０−１は、受信した経路制御パケットが示す制御情報に基づいて経路情報ファイルを更新し（ＳＱ０５）、通信事業者ネットワーク内のコアノードとエッジノードとの新たな経路を計算する（ＳＱ０６）。現用系の経路制御サーバ４０−１は、経路情報転送パケットによって、新たな経路を示す経路情報をコアノード２０とエッジノード１０に配信する（ＳＱ０７）。コアノード２０とエッジノード１０は、新たな経路情報に従って経路データベース（経路テーブル）を更新し、顧客ネットワークに新たに追加されたセグメントで送受信するパケットについて、転送サービスを開始する。

図１０は、ユーザノード６０からエッジノード１０に送信される経路制御パケット１００のフォーマットの１例を示す。
新セグメントの追加時にユーザノード６０から送信される経路制御パケット１００は、該経路制御パケットの発信元ノードを示すノードＩＤ１０１と、新規セグメントを収容するリンクの種別を示すリンク種別１０２と、ユーザノード６０が上記リンクに一意に割り当てたリンクＩＤ１０３と、新規セグメントのＩＰ情報を示すリンク情報１０４と、リンクの重み情報を示すメトリック１０５を含む。

図１１は、エッジノード１０から経路制御サーバ４０−１に転送される経路制御情報転送パケット１１０のフォーマットの１例を示す。
経路制御情報転送パケット１１０は、データ部１１４にユーザノード６０から受信した経路制御パケット１００を含み、データ部１１４の前に、パケット１１０の送信元エッジノードの識別子（ノードＩＤ）１１１と、経路制御パケット１１０の発信元ユーザノード６０が所属する顧客ネットワークに付与されたＶＰＮ ＩＤ１１２と、エッジノード１０における経路制御パケット１００の受信時刻１１３を含む。

図１に示した経路制御システム３０において、現用系経路制御サーバ４０−１と待機系経路制御サーバ４０−２は、システム制御部５０のＣＰＵ負荷監視部５６と経路制御パケット監視部５７に対して、自サーバにおけるＣＰＵ負荷情報と経路制御パケットの入出力量をそれぞれ通知している。また、各エッジノード１０は、システム制御部５０のユーザ網監視部５８に対して、自ノードにおける経路制御パケットの入出力量を通知している。

システム制御部５０のＣＰＵ負荷監視部５６、経路制御パケット監視部５７、ユーザ網監視部５８は、経路制御サーバまたはエッジノードから、ＣＰＵ負荷情報または経路制御パケットの入出力量を通知されると、特定の論理制御部で現用系経路制御サーバから待機系経路制御サーバへの切替え条件が成立したか否かを判定し、系の切替え条件が成立したとき、マイグレーション対象となる論理制御部を選択して、マイグレーション制御部５９にマイグレーション要求を発行する。マイグレーション対象としては、切替え条件が成立した特定の論理制御部が選択される場合と、その他の論理制御部が選択される場合とがある。

マイグレーション制御部５９は、マイグレーション要求を受信すると、該マイグレーション要求で指定された論理制御部のマイグレーションの可否を判定し、マイグレーション可と判断した場合は、現用系経路制御サーバ４０−１と待機系経路制御サーバ４０−２に上記論理制御部のマイグレーションを指令する。マイグレーション制御部５９は、例えば、現用系の経路制御サーバに論理制御部が１個しか存在していない場合、または待機系の経路制御サーバにおけるメモリ容量に余裕がない場合は、論理制御部のマイグレーションを不可と判断する。

図１２は、現用系経路制御サーバ４０−１から待機系経路制御サーバ４０−２への論理制御部４９のマイグレーション方法を概略的に示した図である。
例えば、現用系経路制御サーバ４０−１で動作中の論理制御部４９−１で負荷が上昇し、システム制御部５０のマイグレーション制御部５９が、現用系経路制御サーバ４０−１と待機系経路制御サーバ４０−２に対して、上記論理制御部４９−１のマイグレーションを指令したと仮定する。

現用系経路制御サーバ４０−１では、システム制御部５０からマイグレーション指令を受信すると、マイグレーション制御エージェント４８が、仮想化制御部４６に対して、論理制御部４９−１の運用停止と、論理制御部４９−１の待機系経路制御サーバ４０−２への移動を指示する。現用系経路制御サーバの仮想化制御部４６は、論理制御部４９−１の運用を停止した後、図１２に実線矢印で示すように、メモリ４４Ｂに格納されている論理制御部４９−１の構成情報（図３に示した要素４１０〜４４０）を内部通信専用スイッチ３００経由で待機系経路制御サーバ４０−２に転送する。

待機系の経路制御サーバ４０−２では、システム制御部５０からマイグレーション指令を受信すると、マイグレーション制御エージェント４８が、仮想化制御部４６に対して、論理制御部４９−１の受け入れと起動を指示する。待機系の仮想化制御部４６は、システム内部バス経由で現用系経路制御サーバから受信される論理制御部４９−１の構成要素をメモリ４４Ｂの格納し、全ての構成要素のメモ４４Ｂリへの格納が完了した後、論理制御部４９−１の運用を開始する。

尚、現用系経路制御サーバ４０−１から待機系経路制御サーバ４０−２への論理制御部のマイグレーションは、高負荷状態となった論理制御部４９−１を移動する代わりに、図１２に破線矢印で示すように、比較的低負荷状態にある他の論理制御部（ここでは、論理制御部４９−２と４９−３）を移動するようにしてもよい。

例えば、高負荷状態になった論理制御部４９−１は、ユーザノード６０との間で頻繁に経路制御パケットを送受信しているため、論理制御部４９−１をマイグレーション対象にすると、現用系経路制御サーバ４０−１における論理制御部４９−１の運用停止から待機系経路制御サーバでの論理制御部４９−１の運用開始までの期間中は、ユーザノード６０が送信した経路制御パケットが処理不能となり、経路制御パケットのロスが発生する可能性がある。

この場合、現用系の経路制御サーバ４０−１が、論理制御部４９−１以外の論理制御部をマイグレーション対象としたマイグレーション要求を発行するようにしておけば、比較的低負荷状態にある論理制御部が現用系経路制御サーバ４０−１から待機系経路制御サーバ４０−２に移動させられるため、経路制御パケットロスの確率を低下できる。ここでは、破線矢印が、論理制御部４９−１以外の全ての論理制御部が同時にマイグレーションされることを表しているが、マイグレーション要求が発生するたびに、論理制御部を１個ずつ待機系経路制御サーバ４０−２に移動するようにしてもよい。

図１３は、システム制御部５０のＣＰＵ負荷監視部５６が発行するマイグレーション要求を契機として実行される現用系経路制御サーバ４０−１から待機系経路制御サーバ４０−２への論理制御部のマイグレーションを示すシーケンス図である。

現用系の経路制御サーバ４０−１の負荷監視エージェント４７は、プロセッサ（ＣＰＵ）４１の負荷と、論理制御部毎のＣＰＵ利用率を定期的に計算し（ＳＱ１０）、これをＣＰＵ負荷情報としてシステム制御部５０に通知している（ＳＱ１１）。システム制御部５０のＣＰＵ負荷監視部５６は、現用系の経路制御サーバ４０−１からＣＰＵ負荷情報を取得すると、現用系経路制御サーバ４０−１から待機系経路制御サーバ４０−２への論理制御部のマイグレーション条件が成立したか否かを判定する（ＳＱ１２）。

ＣＰＵ負荷監視部５６は、マイグレーション不要と判断した場合は、現用系の経路制御サーバ４０−１からの次回のＣＰＵ負荷情報の通知を待ち、マイグレーション条件が成立した場合は、待機系の経路制御サーバ４０−２に移動すべき論理制御部を選択し（ＳＱ１３）、マイグレーション制御部５９にマイグレーション要求を発行する（ＳＱ１４）。
マイグレーション制御部５９は、ＣＰＵ負荷監視部５６からマイグレーション要求を受信すると、サーバリソース管理テーブル５４０で待機系経路制御サーバ４０−２の余剰リソースをチェックして、マイグレーション要求で指定された論理制御部のマイグレーションが実行可能か否を判定する（ＳＱ１５）。現用系経路制御サーバ４０−１から待機系経路制御サーバ４０−２への論理制御部４９のマイグレーションは、待機系経路制御サーバ４０−２に十分な余剰リソースが存在する場合にのみ実行される。

マイグレーション制御部５９は、マイグレーション要求で指定された特定の論理制御部について、待機系経路制御サーバ４０−２へのマイグレーションが実行可能と判断した場合、現用系経路制御サーバ４０−１と待機系経路制御サーバ４０−２に対して、上記特定の論理制御部のマイグレーションを指令する（ＳＱ１６、ＳＱ１７）。現用系経路制御サーバ４０−１と待機系経路制御サーバ４０−２は、システム制御部５０からマイグレーション指令を受信すると、図１２で説明したように、マイグレーション制御エージェント４８と仮想化制御部４６との連携によって、上記特定の論理制御部のマイグレーションを実行する（ＳＱ１８）。

図１４は、経路制御サーバ４０−１からＣＰＵ負荷情報を受信したとき、システム制御部５０のＣＰＵ負荷監視部５６が実行するマイグレーション判定５６０のフローチャートを示す。
ＣＰＵ負荷監視部５６は、受信したＣＰＵ負荷情報に従って、ＣＰＵ負荷管理テーブル５０とサーバリソース管理テーブル５４０を更新（ステップ５６１）した後、ＣＰＵ負荷情報の送信元となっている経路制御サーバ（現用系４０−１）のＣＰＵ負荷と予め指定されている閾値とを比較する（５６２）。ＣＰＵ負荷が閾値以下の場合、ＣＰＵ負荷監視部５６は、マイグレーション判定５６０を終了して、次のＣＰＵ負荷情報の通知を待つ。

経路制御サーバ４０−１のＣＰＵ負荷が閾値を超えた場合、ＣＰＵ負荷監視部５６は、図６に示したサーバリソース管理テーブル５４０を参照して、経路制御サーバ４０−１で動作中の論理制御部４９の個数をチェックする（５６３）。動作中の論理制御部が１個の場合、ＣＰＵ負荷監視部５６は、マイグレーション判定５６０を終了して、次のＣＰＵ負荷情報の通知を待つ。

経路制御サーバ４０−１で複数の論理制御部が動作中の場合、ＣＰＵ負荷監視部５６は、サーバリソース管理テーブル５４０が示す論理制御部別のＣＰＵ利用率５４４を比較して（５６４）、マイグレーション対象とすべき論理制御部を選択する（５６５）。この後、ＣＰＵ負荷監視部は、マイグレーション制御部５９に対して、ステップ５６５で選択した論理制御部のマイグレーション要求を発行して（５６６）、今回のマイグレーション判定５６０を終了する。

ステップ５６５において、例えば、ＣＰＵ利用率が最大の論理制御部をマイグレーション対象として選択した場合、図１２において実線矢印で示したマイグレーションを実現できる。ＣＰＵ利用率が最大の論理制御部は現用系の経路制御サーバ４０−１に残すことにして、その他の論理制御部をマイグレーション対象として選択した場合、図１２において破線矢印で示したマイグレーションを実現できる。

尚、論理制御部のマイグレーションは、現用系の経路制御サーバ４０−１のＣＰＵ負荷を減少させ、他の論理制御部への影響を少なくする目的で実行されるため、ＣＰＵ利用率が最大の論理制御部を現用系の経路制御サーバ４０−１に残す場合は、マイグレーション対象として、他の論理制御部の中から少なくとも１個の論理制御部を選択すればよい。

図１５は、システム制御部５０の経路制御パケット監視部５７が発行するマイグレーション要求を契機として実行される現用系経路制御サーバ４０−１から待機系経路制御サーバ４０−２への論理制御部のマイグレーションを示すシーケンス図である。ここでは、現用系の経路制御サーバで送受信する経路制御パケットの量が増加した場合に、マイグレーション要求が発行される。

現用系の経路制御サーバ４０−１では、各論理制御部４９の経路制御パケット監視エージェント４３０が、自論理制御部で一定期間内に送受信する経路制御パケットの数をカウントしており（ＳＱ２０）、負荷監視エージェント４７が、各論理制御部で監視した経路制御パケット数を示す負荷情報を定期的にシステム制御部５０に通知している（ＳＱ２１）。

システム制御部５０の経路制御パケット監視部５７は、現用系の経路制御サーバ４０−１から、負荷情報として論理制御部別の経路制御パケット数を受信すると、現用系経路制御サーバ４０−１から待機系経路制御サーバ４０−２への論理制御部のマイグレーション条件が成立したか否かを判定する（ＳＱ２２）。

経路制御パケット監視部５７は、マイグレーション不要と判断した場合は、現用系の経路制御サーバ４０−１からの次回の負荷情報の通知を待ち、マイグレーション条件が成立した場合は、待機系の経路制御サーバ４０−２に移動すべき論理制御部を選択し（ＳＱ２３）、マイグレーション制御部５９にマイグレーション要求を発行する（ＳＱ２４）。

マイグレーション制御部５９は、経路制御パケット監視部５７からマイグレーション要求を受信すると、図１３で説明したように、マイグレーションが実行可能か否を判定し（ＳＱ２５）、マイグレーション要求で指定された特定の論理制御部について、待機系経路制御サーバ４０−２へのマイグレーションが実行可能と判断した場合、現用系経路制御サーバ４０−１と待機系経路制御サーバ４０−２に対して、上記特定の論理制御部のマイグレーションを指令する（ＳＱ２６、ＳＱ２７）。現用系経路制御サーバ４０−１と待機系経路制御サーバ４０−２は、システム制御部５０からマイグレーション指令を受信すると、図１２で説明したように、マイグレーション制御エージェント４８と仮想化制御部４６との連携によって、上記特定の論理制御部のマイグレーションを実行する（ＳＱ２８）。

図１６は、経路制御サーバ４０−１から、論理制御部別の経路制御パケット数を示す負荷情報を受信したとき、システム制御部５０の経路制御パケット監視部５７が実行するマイグレーション判定５７０のフローチャートを示す。

経路制御パケット監視部５７は、経路制御サーバ４０−１から受信した負荷情報に従がって、経路制御サーバ負荷管理テーブル５２０を更新（５７１）した後、論理制御部別の経路制御パケット数を予め指定された閾値と比較する（５７２）。経路制御パケット数が閾値を超える論理制御部がなければ、経路制御パケット監視部５７は、マイグレーション判定５７０を終了して、次回の負荷情報受信を待つ。

経路制御パケット数が閾値を超える論理制御部が見つかった場合、経路制御パケット監視部５７は、マイグレーション対象とすべき論理制御部を選択し（５７４）、マイグレーション制御部５９に対して、ステップ５７４で選択した論理制御部のマイグレーション要求を発行して（５７５）、今回のマイグレーション判定５６０を終了する。

ステップ５７４では、例えば、経路制御パケット数が閾値を超えた論理制御部をマイグレーション対象として選択した場合、図１２において実線矢印で示したマイグレーションを実現できる。経路制御パケット数が閾値を超えた論理制御部は現用系の経路制御サーバ４０−１に残すことにして、その他の論理制御部をマイグレーション対象として選択した場合、図１２において破線矢印で示したマイグレーションを実現できる。

図１７は、システム制御部５０のユーザ網監視部５８が発行するマイグレーション要求を契機として実行される現用系経路制御サーバ４０−１から待機系経路制御サーバ４０−２への論理制御部のマイグレーションを示すシーケンス図である。ここでは、エッジノード１０で送受信する経路制御パケットの量が増加した場合に、マイグレーション要求が発行される。

各エッジノード１０は、所定期間内に送受信される経路制御パケットの数をカウントして（ＳＱ３０）、経路制御パケット数を示す負荷情報を定期的にシステム制御部５０に送信する（ＳＱ３１）。システム制御部５０のユーザ網監視部５８は、各エッジノード１０から経路制御パケットの送受信数を示す負荷情報を取得すると、現用系経路制御サーバ４０−１から待機系経路制御サーバ４０−２への論理制御部のマイグレーション条件が成立したか否かを判定し（ＳＱ３２）、マイグレーション不要と判断した場合は、次の負荷情報の通知を待ち、マイグレーション条件が成立した場合は、待機系の経路制御サーバ４０−２に移動すべき論理制御部を選択し（ＳＱ３３）、マイグレーション制御部５９にマイグレーション要求を発行する（ＳＱ３４）。

マイグレーション制御部５９は、ユーザ網監視部５８からマイグレーション要求を受信すると、図１３で説明したように、マイグレーションが実行可能か否を判定し（ＳＱ３５）、マイグレーション要求で指定された特定の論理制御部について、待機系経路制御サーバ４０−２へのマイグレーションが実行可能と判断した場合、現用系経路制御サーバ４０−１と待機系経路制御サーバ４０−２に対して、上記特定の論理制御部のマイグレーションを指令する（ＳＱ３６、ＳＱ３７）。

現用系経路制御サーバ４０−１と待機系経路制御サーバ４０−２は、システム制御部５０からマイグレーション指令を受信すると、図１２で説明したように、マイグレーション制御エージェント４８と仮想化制御部４６との連携によって、上記特定の論理制御部のマイグレーションを実行する（ＳＱ３８）。

図１８は、エッジノード１０からシステム制御部５０に送信される負荷情報通知パケット１２０のフォーマットの１例を示す。
エッジノード１０から送信される負荷情報通知パケット１２０は、送信元エッジノードの識別子１２１と、論理インタフェース毎の負荷情報を含む。論理インタフェース毎の負荷情報は、インタフェースＩＤ１２２毎に、経路制御プロトコルの種別１２３と、経路制御パケットの入力量１２４および出力量１２５を示している。

ここでは、負荷情報通知パケット１２０に本実施例に独自のパケットフォーマットを採用しているが、負荷情報通知パケット１２０には、例えば、ｓＦｌｏｗプロトコル等のパケットサンプリング、あるいはパケット統計情報通知プロトコルに規定されているメッセージフォーマットを適用してもよい。各ユーザノード１０からシステム制御部５０のユーザ網監視部５８に、経路制御パケットの送受信量のみを通知する場合、ｓＦｌｏｗプロトコルにおけるカウンタ情報を使用すれば、通知パケットのサイズを抑えることができる。

図１９は、ユーザ網監視部５８が参照するユーザ網接続先管理テーブル５３０の構成例を示す。
ユーザ網接続先管理テーブル５３０は、通信事業者ネットワークＳＮＷ内のエッジノード毎に用意される。ユーザ網監視部５８は、ユーザ網接続先管理テーブル５３０を参照することによって、各エッジノードから受信した負荷情報通知パケット１２０と顧客ネットワークとを対応付けることができる。

ユーザ網接続先管理テーブル５３０は、エッジノードの論理ネットワークインタフェースを識別するためのインタフェースＩＤ５３１をもつ複数のテーブルエントリからなる。各テーブルエントリは、インタフェースＩＤ５３１と対応する物理ネットワークインタフェースを示す物理ポートＩＤ５３２と、上記物理ネットワークインタフェースに接続された顧客ネットワークの経路制御を実行する論理制御部の識別子（論理制御部ＩＤ）５３３と、上記顧客ネットワークを一意に識別するための識別子（ＶＰＮ ＩＤ）５３４とを含む。

図示したユーザ網接続先管理テーブル５３０は、物理ポートＩＤ＝「Ether001」の物理インタフェース上に、インタフェースＩＤが「VLAN001」と「VLAN002」の２つの論理インタフェースが形成され、物理ポートＩＤ＝「Ether002」の物理インタフェース上には、インタフェースＩＤが「Ether002」の論理インタフェースが形成されていることを示している。また、これらの３つの論理インタフェースには、それぞれＶＰＮ ＩＤ＝「ａ」、「ｂ」、「ｃ」の顧客ネットワークが接続され、これらの顧客ネットワークは、それぞれ論理制御部ＩＤが「１」、「２」、「３」の論理制御部によって経路制御されていることが判る。

図２０は、ユーザノード１０から負荷情報通知パケット１２０を受信したとき、システム制御部５０のユーザ網監視部５８が実行するマイグレーション判定５８０のフローチャートを示す。
ユーザ網監視部５８は、エッジノード１０から受信した負荷情報通知パケットから、送信元エッジノードの各インタフェースにおける経路制御パケットの送受信量を抽出し（５８１）、予め指定された閾値と比較することによって、経路制御パケット送受信量が閾値を超えるインタフェースが有るか否かを判定する（５８２）。ユーザ網監視部５８は、経路制御パケット送受信量が閾値を超えるインタフェースがなければ、今回のマイグレーション判定を終了して、次の負荷情報通知パケットの受信を待つ。

経路制御パケット送受信量が閾値を超えるインタフェースが見つかった場合、ユーザ網監視部５８は、ユーザ網接続先管理テーブル５３０から、インタフェースＩＤ５３１が上記インタフェースのインタフェースＩＤと一致するテーブルエントリを検索することによって、上記インタフェースに接続された顧客ネットワークの識別子（ＶＰＮ−ＩＤ）と、制御パケットの送信先となる論理制御部のＩＤを特定する（５８３）。

次に、ユーザ網監視部５８は、経路制御サーバ管理テーブル５５０を参照し、上記インタフェースに接続された顧客ネットワークの識別子（ＶＰＮ−ＩＤ）と対応付けられた経路制御サーバ（本例では、現用系の経路制御サーバ４０−１）で動作中の論理制御部の個数を確認する（５８４）。同じ経路制御サーバ上で動作中の論理制御部の個数は、経路制御サーバ管理テーブル５５０に登録されている同一の経路制御サーバＩＤをもつテーブルエントリの数から判る。

ユーザ網監視部５８は、同一の経路制御サーバ上で動作中の論理制御部の個数を判定し（５８５）、論理制御部が１個しか存在していなければ、今回のマイグレーション判定を終了する。同一の経路制御サーバ上に複数個の論理制御部が存在していた場合、ユーザ網監視部５８は、これらの論理制御部のなかからマイグレーション対象とすべき論理制御部を選択し（５８６）、マイグレーション制御部５９に対して、選択した論理制御部のマイグレーション要求を発行して（５８７）、マイグレーション判定を終了する。

ステップ５８６で、例えば、ステップ５８３で特定された論理制御部ＩＤをもつ論理制御部をマイグレーション対象として選択した場合は、図１２において実線矢印で示したマイグレーションを実現でき、その他の論理制御部をマイグレーション対象として選択した場合は、図１２において破線矢印で示したマイグレーションを実現できる。

図２１は、本発明が適用される通信ネットワークの第２実施例を示す。
第１実施例の通信ネットワークでは、経路制御システム３０を形成する複数の経路制御サーバ４０−１、４０−２が、内部通信専用スイッチ３００で接続され、同一ＩＰセグメント内にあるため、コアノード２０または内部通信専用スイッチ３００の経路設定を変更することなく、待機系の経路制御サーバ４０−２が、マイグレーションされた論理制御部４９のＩＰアドレスを引き継ぐことができた。

第２実施例の通信ネットワークでは、経路制御システム３０を形成する複数の経路制御サーバ４０−１、４０−２が、距離的に離れた複数の拠点に分散して配置されている。図示した通信ネットワークでは、システム制御部５０が、制御網７０−１のコアノード２０−１に接続され、現用系の経路制御サーバ４０−１が、制御網７０−２のコアノード２０−２に接続され、待機系の経路制御サーバ４０−２が、制御網７０−３のコアノード２０−３に接続され、これらの制御網７０−１〜７０−２は、通信事業者ネットワークのエッジノード１０に接続されている。

ここで、現用系の経路制御サーバ４０−１と待機系の経路制御サーバ４０−２は、接続拠点が互いに異なったＩＰセグメントとなるため、現用系の経路制御サーバ４０−１から待機系の経路制御サーバ４０−２に論理制御部がマイグレーションされたとき、待機系の経路制御サーバ４０−２は、上記論理制御部の従前のＩＰアドレスを引き継ぐことができない。

そこで、第２実施例では、待機系経路制御サーバ４０−２が、現用系経路制御サーバ４０−１からマイグレーションされた論理制御部に対して、新ＩＰアドレスを付与する。また、現用系経路制御サーバ４０−１から待機系経路制御サーバ４０−２に論理制御部がマイグレーションされた後でも、顧客ネットワークから送信された経路制御パケットが待機系経路制御サーバ４０−２の論理制御部に正しく転送できるようにするために、エッジノードが、ＶＰＮ ＩＤと経路制御サーバのＩＰアドレスとの対応関係を示すユーザ管理テーブル１７０を備える。

第２実施例では、現用系、待機系の経路制御サーバ４０−１、４０−２と、システム制御部５０は、ネットワークインタフェース（４２または５２）を通して、ネットワーク経由で、マイグレーション指令の送受信と、論理制御部のマイグレーションを実行する。

論理制御部のマイグレーションの実行前は、顧客ネットワークＮＷ−ａ、ＮＷ−ｂ、ＮＷ−ｃは、それぞれ現用系の経路制御サーバ上の論理制御部と対応付けられているため、ユーザノード６０ａ、６０ｂ、６０ｃから送信された経路制御パケットは、図２１に破線で示すように、エッジノード１０と制御網７０−２を経由して、現用系の経路制御サーバに転送される。

図２２は、現用系の経路制御サーバ４０−１から待機系の経路制御サーバ４０−２に、２つの論理制御部４９−２、４９−３がマイグレーションされた状態を示している。
顧客ネットワークＮＷ−ａ、ＮＷ−ｂ、ＮＷ−ｃが、それぞれ論理制御部４９−１、４９−２、４９−３と対応付けられ、論理制御部４９−２、４９−３が待機系の経路制御サーバにマイグレーションされた場合、ユーザノード６０ｂ、６０ｃから送信された経路制御パケットは、図２２に破線で示すように、エッジノード１０と制御網７０−３を経由して、待機系の経路制御サーバ上の対応する論理制御部に転送される。これらの経路制御パケットの転送ルートの切替えは、マイグレーションに伴うエッジノード１０のユーザ管理テーブルの内容変更によって実現される。

図２３の（Ａ）、（Ｂ）は、エッジノード１０が備えるユーザ管理テーブル１７０の内容を示す。
ユーザ管理テーブル１７０は、顧客ネットワークの識別子であるＶＰＮ ＩＤ１７１と、経路制御パケットの転送先経路制御サーバのＩＰアドレス１７２と、エッジノード１０における顧客ネットワーク（ユーザノード６０）の収容ポートを示す収容ポートＩＤとの対応関係を示す複数のテーブルエントリからなる。

エッジノード１０は、ユーザノード６０（６０ａ、６０ｂ、６０ｃ）から経路制御パケットを受信すると、ユーザ管理テーブル１７０から、経路制御パケットの受信ポートＩＤと対応するテーブルエントリを検索して、経路制御パケットの転送先となる経路制御サーバのＩＰアドレスを特定し、経路制御パケットを顧客ネットワークと対応する経路制御サーバに転送する。

図２３（Ａ）は、マイグレーション実行前のユーザ管理テーブル１７０を示している。この時点では、エントリＥＮ−０１〜ＥＮ−０３が示すように、ＶＰＮ ＩＤが「ａ」、「ｂ」、「ｃ」の３つの顧客ネットワークが、現用系の経路制御サーバのＩＰアドレス「192.168.99.1」と対応付けられているため、図２１に示したように、エッジノード１０は、顧客ネットワークＮＷ−ａ、ＮＷ−ｂ、ＮＷ−ｃから受信した経路制御パケットを全て現用系の経路制御サーバ４０−１に転送することになる。

図２３（Ｂ）は、図２２で説明したように、顧客ネットワークＮＷ−ｂ、ＮＷ−ｃと対応する論理制御部４９−２、４９−３が、待機系の経路制御サーバ４０−２にマイグレーションされた後のユーザ管理テーブル１７０を示している。マイグレーションに伴って、エントリＥＮ−０２、ＥＮ−０３の経路制御サーバＩＰアドレス１７２が、待機系の経路制御サーバ４０−２のＩＰアドレス「192.168.100.1」に書き換えられている。

図２４は、第２実施例の通信ネットワークにおいて、システム制御部５０のユーザ網監視部５８が発行するマイグレーション要求を契機として実行される現用系経路制御サーバ４０−１から待機系経路制御サーバ４０−２への論理制御部のマイグレーションを示すシーケンス図である。
ＳＱ３０からＳＱ３８は、図１７で説明したＳＱ３０からＳＱ３８と同様であり、本実施例では、システム制御部５０のマイグレーション制御部５９から現用系、待機系の経路制御サーバ４０−１、４０−２に送信されるマイグレーション指令（ＳＱ３６、ＳＱ３７）が、ネットワークインタフェース５２経由となる。

本実施例では、マイグレーション制御部５９は、待機系の経路制御サーバ４０−２に対するマイグレーション指令（ＳＱ３７）で、特定論理制御部のマイグレーションの実行と該論理制御部のＩＰアドレス変更を指示する。この後、マイグレーション制御部５９は、経路制御サーバ管理テーブル５５０から、マイグレーション対象となった論理制御部と対応する顧客ネットワークの識別子（ＶＰＮ ＩＤ）を検索し、上記顧客ネットワークを収容しているエッジノード１０のＩＰアドレスを取得して（ＳＱ３９）、上記エッジノードに対して、上記ＶＰＮ ＩＤと対応する経路制御サーバＩＰアドレスを待機系の経路制御サーバＩＰアドレスに変更するアドレス変更指示を送信する（ＳＱ４０）。エッジノード１０は、上記アドレス変更指示に応答して、ユーザ管理テーブル１７０を更新し（ＳＱ４１）、その後に顧客ネットワークから受信する経路制御パケットを更新されたユーザ管理テーブル１７０に従がってルーティングする。

待機系の経路制御サーバ４０−２は、マイグレーション指令で指定された論理制御部のマイグレーション（ＳＱ３８）が完了すると、マイグレーションされた論理制御部に、待機系経路制御サーバ４０−２が属するＩＰセグメントのＩＰアドレスを付与し（ＳＱ４２）、システム制御部５０のマイグレーション制御部５９に、上記論理制御部の新たなＩＰアドレスを通知する（ＳＱ４３）。マイグレーション制御部５９は、待機系経路制御サーバ４０−２から通知されたＩＰアドレスに従がって、経路制御サーバ管理テーブル５５０の論理制御部アドレス５５３を更新する（ＳＱ４４）。

ここでは、第２実施例として、ユーザ網監視部５８が発行するマイグレーション要求を契機としたマイグレーションの実行シーケンスについて説明したが、図２１に示した通信ネットワークでも、第１実施例で説明したＣＰＵ負荷監視部５６で実行するマイグレーション判定によるマイグレーション要求と、経路制御パケット監視部５７で実行するマイグレーション判定によるマイグレーション要求を契機として、マイグレーションを実現できる。

本発明が適用される通信ネットワークの第１実施例を示す図。 経路制御サーバ４０の構成例を示す図。 経路制御サーバ４０が備える論理制御部４９の構成例を示す図。 システム制御部５０の構成例を示す図。 システム制御部５０が備える経路制御サーバ管理テーブル５５０の１実施例を示す図。 システム制御部５０が備えるサーバリソース管理テーブル５４０の１実施例を示す図。 エッジノード１０の構成例を示す図。 図１に示した通信ネットワークにおける経路制御パケットの流れを示す図。 本発明の通信ネットワークにおける経路情報の基本的な更新シーケンスを示す図。 ユーザノード６０からエッジノード１０に送信される経路制御パケット１００のフォーマットの１例を示す。 エッジノード１０から経路制御サーバ４０−１に転送される経路制御情報転送パケット１１０のフォーマットの１例を示す図。 現用系経路制御サーバ４０−１から待機系経路制御サーバ４０−２への論理制御部４９のマイグレーション方法を概略的に示した図。 ＣＰＵ負荷監視部５６が発行するマイグレーション要求を契機として実行される論理制御部のマイグレーションを示すシーケンス図。 ＣＰＵ負荷監視部５６が実行するマイグレーション判定５６０を示すフローチャート。 経路制御パケット監視部５７が発行するマイグレーション要求を契機として実行される論理制御部のマイグレーションを示すシーケンス図。 経路制御パケット監視部５７が実行するマイグレーション判定５７０を示すフローチャート。 ユーザ網監視部５８が発行するマイグレーション要求を契機として実行される論理制御部のマイグレーションを示すシーケンス図。 エッジノード１０からシステム制御部５０に送信される負荷情報通知パケット１２０のフォーマットの１例を示す図。 ユーザ網監視部５８が参照するユーザ網接続先管理テーブル５３０の構成例を示す図。 ユーザ網監視部５８が実行するマイグレーション判定５８０を示すフローチャート。 本発明が適用される通信ネットワークの第２実施例を示す図。 第２実施例で論理制御部４９−２、４９−３がマイグレーションされた状態を示す図。 エッジノード１０が備えるユーザ管理テーブル１７０の内容を示す図。 第２実施例の通信ネットワークにおける論理制御部のマイグレーションを示すシーケンス図。

符号の説明

ＳＮＷ:通信業者ネットワーク、ＮＷ：顧客ネットワーク、
１０：エッジノード、２０：コアノード、３０：経路制御システム、４０：経路制御サーバ、５０：システム制御部、６０：ユーザノード、３００：内部通信専用スイッチ、
４１、５１：プロセッサ、４２、５２：ネットワークインタフェース、４３、５３：バスインタフェース、４５、５５：主制御部、４６：仮想化制御部、４７：負荷監視エージェント、４８：マイグレーション制御エージェント、４９：論理制御、５６：ＣＰＵ負荷監視部、５７：経路制御パケット監視部、５８：ユーザ網監視部、５９：マイグレーション制御部。

Claims (15)

1. 複数の顧客ネットワークを収容するＬ３ＶＰＮサービス網に設置される経路制御システムであって、
   システム制御部と、現用系および待機系の経路制御サーバとからなり、
   上記現用系の経路制御サーバが、上記顧客ネットワーク別に経路制御動作を実行する複数の論理制御部を有し、
   上記システム制御部が、上記現用系の経路制御サーバの負荷状態を監視し、負荷状態が所定の条件を満たしたとき、上記現用系の経路制御サーバで動作している複数の論理制御部の中から選択された少なくとも１つの論理制御部を上記現用系の経路制御サーバから上記待機系の経路制御サーバに移動させ、上記待機系の経路制御サーバが、上記移動した論理制御部を起動することによって、該論理制御部と対応付けられた特定の顧客ネットワークの経路制御を引き継ぐようにしたことを特徴とする経路制御システム。
2. 前記システム制御部が、前記現用系の経路制御サーバと前記待機系の経路制御サーバに対して、前記選択された論理制御部の移動を指令するマイグレーション制御部を有し、
   上記マイグレーション制御部からの指令に応じて、上記現用系の経路制御サーバが、上記選択された論理制御部を上記待機系の経路制御サーバに転送し、上記待機系の経路制御サーバが、該論理制御部を起動して前記特定の顧客ネットワークの経路制御を引き継ぐことを特徴とする請求項１に記載の経路制御システム。
3. 前記システム制御部が、前記現用系の経路制御サーバからＣＰＵ負荷情報を取得して、ＣＰＵ負荷が所定の閾値に達したか否かを判定するＣＰＵ負荷監視部を有し、
   上記ＣＰＵ負荷が所定の閾値に達したとき、上記ＣＰＵ負荷監視部が、上記現用系の経路制御サーバで動作している複数の論理制御部の中から前記少なくとも１つの論理制御部を選択して、前記マイグレーション制御部に該論理制御部の移動要求を発行することを特徴とする請求項２に記載の経路制御システム。
4. 前記システム制御部が、前記現用系の経路制御サーバから前記論理制御部毎の経路制御パケット数を含む負荷情報を取得して、経路制御パケット数が所定の閾値に達した論理制御部があるか否かを判定する経路制御パケット監視部を有し、
   何れかの論理制御部で経路制御パケット数が所定の閾値に達したとき、上記経路制御パケット監視部が、上記現用系の経路制御サーバで動作している複数の論理制御部の中から前記少なくとも１つの論理制御部を選択して、前記マイグレーション制御部に該論理制御部の移動要求を発行することを特徴とする請求項２に記載の経路制御システム。
5. 前記マイグレーション制御部が、前記論理制御部の移動要求を受信したとき、該論理制御部の移動可否を判定し、移動可と判断した場合に、前記現用系の経路制御サーバと前記待機系の経路制御サーバに対して、上記論理制御部の移動を指令することを特徴とする請求項３または請求項４に記載の経路制御システム。
6. 前記現用系および待機系の経路制御サーバと前記システム制御部が、前記Ｌ３ＶＰＮサービス網内の１つのコアノードに接続され、前記論理制御部の移動が、上記現用系および待機系の経路制御サーバを接続する内部スイッチ、または上記コアノードを介して行われることを特徴とする請求項１〜請求項５の何れかに記載の経路制御システム。
7. 前記現用系および待機系の経路制御サーバが、前記Ｌ３ＶＰＮサービス網内の異なったコアノードに接続され、前記論理制御部の移動が、上記Ｌ３ＶＰＮサービス網内の通信回線を介して行われることを特徴とする請求項１〜請求項５の何れかに記載の経路制御システム。
8. 前記複数の顧客ネットワークが、前記Ｌ３ＶＰＮサービス網の１つのエッジノードに収容され、
   上記エッジノードが、上記顧客ネットワークの識別子と経路制御サーバのアドレスとの対応関係を示す管理テーブルに従って、各顧客ネットワークから受信した経路制御パケットをルーティングし、
   前記システム制御部が、前記現用系の経路制御サーバから前記待機系の経路制御サーバに前記論理制御部を移動させたとき、上記エッジノードに上記管理テーブルの更新を指示することを特徴とする請求項７に記載の経路制御システム。
9. 複数の顧客ネットワークを収容するＬ３ＶＰＮサービス網に設置される経路制御システムであって、
   システム制御部と、現用系および待機系の経路制御サーバとからなり、
   上記現用系の経路制御サーバが、上記顧客ネットワーク別に経路制御動作を実行する複数の論理制御部を有し、
   上記システム制御部が、上記顧客ネットワークが接続されている各エッジノードから、経路制御パケット数を示す負荷情報を取得し、経路制御パケット数が所定の条件を満たしたとき、上記現用系の経路制御サーバで動作している複数の論理制御部の中から選択された少なくとも１つの論理制御部を上記現用系の経路制御サーバから上記待機系の経路制御サーバに移動させ、
   上記待機系の経路制御サーバが、上記移動した論理制御部を起動することによって、該論理制御部と対応付けられた特定の顧客ネットワークの経路制御を引き継ぐようにしたことを特徴とする経路制御システム。
10. 前記システム制御部が、前記現用系の経路制御サーバと前記待機系の経路制御サーバに対して、前記選択された論理制御部の移動を指令するマイグレーション制御部を有し、
    上記マイグレーション制御部からの指令に応じて、上記現用系の経路制御サーバが、上記選択された論理制御部を上記待機系の経路制御サーバに転送し、上記待機系の経路制御サーバが、該論理制御部を起動して前記特定の顧客ネットワークの経路制御を引き継ぐことを特徴とする請求項９に記載の経路制御システム。
11. 前記システム制御部が、前記各エッジノードから、経路制御パケット数を示す負荷情報を取得し、経路制御パケット数が所定の閾値に達したか否かを判定するユーザ網監視部を有し、
    上記経路制御パケット数が所定の閾値に達したとき、上記ユーザ網監視部が、上記現用系の経路制御サーバで動作している複数の論理制御部の中から前記少なくとも１つの論理制御部を選択して、前記マイグレーション制御部に該論理制御部の移動要求を発行することを特徴とする請求項１０に記載の経路制御システム。
12. 前記マイグレーション制御部が、前記論理制御部の移動要求を受信したとき、該論理制御部の移動可否を判定し、移動可と判断した場合に、前記現用系の経路制御サーバと前記待機系の経路制御サーバに対して、上記論理制御部の移動を指令することを特徴とする請求項１１に記載の経路制御システム。
13. 前記現用系および待機系の経路制御サーバと前記システム制御部が、前記Ｌ３ＶＰＮサービス網内の１つのコアノードに接続され、前記論理制御部の移動が、上記現用系および待機系の経路制御サーバを接続する内部スイッチ、または上記コアノードを介して行われることを特徴とする請求項９〜請求項１２の何れかに記載の経路制御システム。
14. 前記現用系および待機系の経路制御サーバが、前記Ｌ３ＶＰＮサービス網内の異なったコアノードに接続され、前記論理制御部の移動が、上記Ｌ３ＶＰＮサービス網内の通信回線を介して行われることを特徴とする請求項９〜請求項１２の何れかに記載の経路制御システム。
15. 前記複数の顧客ネットワークが、前記Ｌ３ＶＰＮサービス網の１つのエッジノードに収容され、
    上記エッジノードが、上記顧客ネットワークの識別子と経路制御サーバのアドレスとの対応関係を示す管理テーブルに従って、各顧客ネットワークから受信した経路制御パケットをルーティングし、
    前記システム制御部が、前記現用系の経路制御サーバから前記待機系の経路制御サーバに前記論理制御部を移動させたとき、上記エッジノードに上記管理テーブルの更新を指示することを特徴とする請求項１４に記載の経路制御システム。

Images