JP2015144357A - 通信システム、制御装置、トポロジ構成収集方法及びプログラム - Google Patents

Abstract

【課題】通信ノードを制御する制御装置が複数配置された通信システムにおいて接続機器等の制約を受けずにネットワークトポロジを構築できるようにする。【解決手段】通信システムは、管理対象のネットワークに配置された通信ノードに制御情報を設定することにより、前記管理対象のネットワークを制御する少なくとも１つ以上の下位制御装置と、前記下位制御装置を制御する上位制御装置と、を含む。前記上位制御装置は、前記下位制御装置に対して、前記管理対象のネットワークの境界に位置する通信ノードからトポロジ検出パケットを送出させるよう指示し、対向装置から、前記トポロジ検出パケットの受信報告を受け取ることで、前記管理対象のネットワーク間のトポロジ構成を収集する。【選択図】図１

Description

本発明は、通信システム、制御装置、トポロジ構成収集方法及びプログラムに関し、特に、通信ノードを制御する制御装置が複数配置された通信システム、制御装置、トポロジ構成収集方法及びプログラムに関する。

パケットを転送するスイッチと、スイッチのパケット転送を制御することにより通信経路を制御する制御装置とを備える通信システムの例が、非特許文献１、２に記載されている。

特許文献１には、上記のような集中制御型の通信システムにおいて、制御装置を複数配置し、上位の制御装置が、中間制御装置に権限を委譲し、権限移譲をした範囲でパケット転送装置の制御を任せることで、制御装置の負荷を軽減することができるという構成が開示されている。

特表２０１３−５２２９３４号公報

Ｎｉｃｋ ＭｃＫｅｏｗｎほか７名、"ＯｐｅｎＦｌｏｗ： Ｅｎａｂｌｉｎｇ Ｉｎｎｏｖａｔｉｏｎ ｉｎ Ｃａｍｐｕｓ Ｎｅｔｗｏｒｋｓ"、［ｏｎｌｉｎｅ］、［平成２６（２０１４）年１月２２日検索］、インターネット〈URL: http://archive.openflow.org/documents/openflow-wp-latest.pdf〉 "ＯｐｅｎＦｌｏｗ Ｓｗｉｔｃｈ Ｓｐｅｃｉｆｉｃａｔｉｏｎ" Ｖｅｒｓｉｏｎ １．１．０ Ｉｍｐｌｅｍｅｎｔｅｄ （Ｗｉｒｅ Ｐｒｏｔｏｃｏｌ ０ｘ０２）、［ｏｎｌｉｎｅ］、［平成２６（２０１４）年１月２２日検索］、インターネット〈URL: http://archive.openflow.org/documents/openflow-spec-v1.1.0.pdf〉

以下の分析は、本発明によって与えられたものである。上記特許文献１では、下位の中間制御装置が権限移譲された通信サブシステム内のパケット転送装置の接続関係に基づきネットワークトポロジを構築している（段落００６２参照）。上位の制御装置は、これら中間制御装置が管理する通信サブシステムの接続関係に基づいて全体のネットワークトポロジを構築する構成となっている（段落００４９参照）。

上記構成によれば、一貫性の取れた経路制御を行うことが可能となるが、サブネットワーク（通信サブシステム）間に、これら制御装置の制御を受けない通信機器（例えば、レイヤ２スイッチ、レイヤ３スイッチ、あるいは別の制御装置から制御を受けている機器等）が配置されている場合、中間制御装置及び上位の制御装置がネットワークトポロジを構築できないという問題点がある。その理由は、中間制御装置は、権限移譲された通信サブシステム内の制御対象装置間のトポロジ収集用のパケットの授受とその報告により接続関係を把握できるが、制御対象外の通信機器（例えば、レイヤ２スイッチ等）からは、トポロジ収集用のパケットの送信指示や受信方向を受け取ることができないためである。

本発明は、通信ノードを制御する制御装置が複数配置された通信システムにおいて接続機器等の制約を受けずにネットワークトポロジを構築できるようにした通信システム、制御装置、トポロジ構成収集方法及びプログラムを提供することを目的とする。

第１の視点によれば、管理対象のネットワークに配置された通信ノードに制御情報を設定することにより、前記管理対象のネットワークを制御する少なくとも１つ以上の下位制御装置と、前記下位制御装置を制御する上位制御装置と、を含む通信システムにおいて、前記上位制御装置は、前記下位制御装置に対して、前記管理対象のネットワークの境界に位置する通信ノードからトポロジ検出パケットを送出させるよう指示し、対向装置から、前記トポロジ検出パケットの受信報告を受け取ることで、前記管理対象のネットワーク間のトポロジ構成を収集することを特徴とする通信システムが提供される。

第２の視点によれば、上記した通信システムに配置される上位制御装置及び下位制御装置がそれぞれ提供される。

第３の視点によれば、管理対象のネットワークに配置された通信ノードに制御情報を設定することにより、前記管理対象のネットワークを制御する少なくとも１つ以上の下位制御装置と、前記下位制御装置を制御する上位制御装置と、を含む通信システムにおいて、前記下位制御装置に対して、前記管理対象のネットワークの境界に位置する通信ノードからトポロジ検出パケットを送出させるよう指示するステップと、前記対向装置から、前記トポロジ検出パケットの受信報告を受け取ることで、前記管理対象のネットワーク間のトポロジ構成を収集するステップと、を含むトポロジ構成収集方法が提供される。本方法は、前記通信ノードを直接又は間接的に制御する制御装置という、特定の機械に結びつけられている。

第４の視点によれば、管理対象のネットワークに配置された通信ノードに制御情報を設定することにより、前記管理対象のネットワークを制御する少なくとも１つ以上の下位制御装置と、前記下位制御装置を制御する上位制御装置と、を含む通信システムに接続されたコンピュータに、前記下位制御装置に対して、前記管理対象のネットワークの境界に位置する通信ノードからトポロジ検出パケットを送出させるよう指示する処理と、対向装置から、前記トポロジ検出パケットの受信報告を受け取ることで、前記管理対象のネットワーク間のトポロジ構成を収集する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジエントな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。

本発明によれば、通信ノードを制御する制御装置が複数配置された通信システムにおいて接続機器等の制約を受けずにネットワークトポロジを構築することが可能となる。

本発明の一実施形態の構成を示す図である。 本発明の第１の実施形態の通信システムの構成を示す図である。 本発明の第１の実施形態の下位制御装置の構成を示すブロック図である。 本発明の第１の実施形態の下位制御装置の端末位置情報テーブルに保持される端末位置情報エントリ（制御対象ネットワーク内）の一例を示す図である。 本発明の第１の実施形態の下位制御装置の端末位置情報テーブルに保持される端末位置情報エントリ（制御対象ネットワーク外）の一例を示す図である。 本発明の第１の実施形態の上位制御装置の構成を示すブロック図である。 本発明の第１の実施形態の上位制御装置のインタフェース管理部に保持されるインタフェース管理エントリの一例を示す図である。 本発明の第１の実施形態の上位制御装置の制御対象ネットワーク間経路探索部にて作成されるブロードキャスト用経路情報の一例を示す図である。 本発明の第１の実施形態の上位制御装置の制御対象ネットワーク間経路探索部にて作成されるユニキャスト用経路情報の一例を示す図である。

はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。

本発明は、その一実施形態において、図１に示すように、管理対象のネットワークに配置された通信ノード１１０３−１〜１１０３−４に制御情報を設定することにより、前記管理対象のネットワークを制御する少なくとも１つ以上の下位制御装置１１０１ａと、この下位制御装置１１０１ａを制御する上位制御装置１１００と、を含む通信システムにて実現できる。

より具体的には、前記上位制御装置１１００は、所定の契機で、下位制御装置１１０１ａに対して、前記管理対象のネットワークの境界に位置する通信ノード（例えば、図１の１１０３−２）からトポロジ検出パケットを送出させるよう指示する。そして、対向装置から、前記トポロジ検出パケットの受信報告を受け取ることで、前記管理対象のネットワーク間のトポロジ構成を収集する。例えば、図１の通信ノード１１０３−２から制御対象外の通信ノード１１０５−１側にトポロジ検出パケットが送出されたものとする。そして、このトポロジ検出パケットが制御対象外の通信ノード１１０５−１に接続されている通信ノード１１０３−６で受信された場合、上位制御装置１１００は、通信ノード１１０３−６が、少なくとも制御対象外の通信ノード１１０５−１を介して、通信ノード１１０３−２と接続されているとの接続関係を把握することができる。

上位制御装置１１００は、以上のようにして構築されたネットワークトポロジを用いて端末１１０６−１、１１０６−２間の経路を計算することができるようになる。上記の例の場合、上位制御装置１１００は、下位制御装置１１０１ａに対して端末１１０６−１から端末１１０６−２宛てのパケットを通信ノード１１０５−１側に転送するように指示する。そして、通信ノード１１０３−６に、制御対象外の通信ノード１１０５−１を介して受信した端末１１０６−１から端末１１０６−２宛てのパケットを端末１１０６−２に転送することで、端末１１０６−１から端末１１０６−２方向への通信が実現される。逆方向についても、同様にトポロジ検出パケットを送信することで接続関係を把握し、経路を作成することができる。

なお、制御対象外の通信ノード１１０５−１がレイヤ２スイッチのように宛先の学習機能を有する場合には、上位制御装置１１００が、所定の間隔で、通信ノード１１０３−６側から制御対象外の通信ノード１１０５−１に対し端末１１０６−２のアドレスを学習させる学習パケットを送信させることも好ましい。また、上記した（上位／下位）制御装置から通信ノードに対するトポロジ検出パケットや学習パケットの送信指示は、非特許文献２のオープンフロープロトコルにおいて規定されているＰａｃｋｅｔ−Ｏｕｔメッセージ等を用いることができる。

［第１の実施形態］
次に、本発明の第１の実施形態について、図面を参照して詳細に説明する。図２は、本発明の第１の実施形態の通信システムの構成を示す図である。図２を参照すると、通信ノード１１０３−１〜１１０３−４によって構成される制御対象（管理対象）ネットワーク１１０２−１と、通信ノード１１０３−５〜１１０３−８によって構成される制御対象（管理対象）ネットワーク１１０２−２と、が通信ノード１１０５−１、１１０５−２を介して接続された構成が示されている。

下位制御装置１１０１ａは、図中破線で示す制御チャネルを介して通信ノード１１０３−１〜１１０３−４を制御する。同様に、下位制御装置１１０１ｂは、図中破線で示す制御チャネルを介して通信ノード１１０３−５〜１１０３−８を制御する。

上位制御装置１１００は、図中破線で示す制御チャネルを介して、下位制御装置１１０１ａ、１１０１ｂを制御する。

通信ノード１１０３−１〜１１０３−８は、下位制御装置１１０１ａ、１１０１ｂから送信される指示（コマンド）に従って受信パケットの転送等を実施する機器である。前記下位制御装置１１０１ａ、１１０１ｂから送信される指示（コマンド）としては、非特許文献２のオープンフローコントローラからオープンフロースイッチに送信されるフローエントリの設定コマンド等を用いることもできる。

通信ノード１１０５−１、１１０５−２は、上記上位制御装置１１００及び下位制御装置１１０１ａ、１１０１ｂのいずれからも制御を受けない通信機器である。通信ノード１１０５−１、１１０５−２は、例えば、レイヤ２スイッチ、レイヤ３スイッチであってもよいし、別の制御装置から制御を受ける通信ノード１１０３−１〜１１０３−８と同等の通信ノードであってもよい。

通信ノード１１０３−１は、データ転送用チャネルを介して、通信ノード１１０３−２と、通信ノード１１０３−３と接続している。

通信ノード１１０３−２は、データ転送用チャネルを介して、通信ノード１１０３−１、通信ノード１１０３−４及び通信ノード１１０５−１と接続している。また、通信ノード１１０３−２と通信ノード１１０５−１とは通信ノード１１０３−２のポート１１０４−１を介して接続している。

通信ノード１１０３−３は、データ転送用チャネルを介して、通信ノード１１０３−１と、通信ノード１１０３−４と、端末１１０６−１とに接続している。通信ノード１１０３−３と端末１１０６−１とは通信ノード１１０３−３のポート１１０４−５を介して接続している。

通信ノード１１０３−４は、データ転送用チャネルを介して、通信ノード１１０３−２、通信ノード１１０３−３及び通信ノード１１０５−２と接続している。通信ノード１１０３−４と通信ノード１１０５−２とは通信ノード１１０３−４のポート１１０４−２を介して接続している。

通信ノード１１０３−５は、データ転送用チャネルを介して、通信ノード１１０５−１、通信ノード１１０３−６及び通信ノード１１０３−７と接続している。通信ノード１１０３−５と通信ノード１１０５−１とは通信ノード１１０３−５のポート１１０４−３を介して接続している。

通信ノード１１０３−６は、データ転送用チャネルを介して、通信ノード１１０３−５と、通信ノード１１０３−８とに接続している。

通信ノード１１０３−７は、データ転送用チャネルを介して、通信ノード１１０３−５、通信ノード１１０３−８及び通信ノード１１０５−２と接続している。通信ノード１１０３−７と通信ノード１１０５−２とは通信ノード１１０３−７のポート１１０４−４を介して接続している。

通信ノード１１０３−８は、データ転送用チャネルを介して、通信ノード１１０３−６、通信ノード１１０３−７及び端末１１０６−２と接続している。通信ノード１１０３−８と端末１１０６−２とは通信ノード１１０３−８のポート１１０４−６を介して接続している。

通信ノード１１０３−１〜１１０３−８は、上記上位制御装置１１００及び下位制御装置１１０１ａ、１１０１ｂからの制御を受ける通信機器によって構成される。もちろん、通信ノード１１０３−１〜１１０３−８として非特許文献２のオープンフロースイッチを用いてもよい。

端末１１０６−１、１１０６−２は、下位制御装置１１０１ａ、１１０１ｂによって制御される制御対象ネットワークに接続し、通信するユーザ機器等である。端末１１０６−１、１１０６−２の一方が他方の端末に各種サービスを提供するサーバ等であってもよい。

続いて、下位制御装置１１０１ａ、１１０１ｂの構成について説明する。以下、下位制御装置１１０１ａ、１１０１ｂを特に区別しない場合、「下位制御装置１１０１」と記す。同様に、通信ノード１１０３−１〜１１０３−８を特に区別しない場合、「通信ノード１１０３」と記す。

図３は、本発明の第１の実施形態の下位制御装置の構成を示すブロック図である。図３を参照すると、ノード通信部１１０１−１と、トポロジ情報管理部１１０１−２と、トポロジテーブル１１０１−３と、端末位置情報管理部１１０１−４と、端末位置情報テーブル１１０１−５と、インタフェース管理部１１０１−６と、インタフェーステーブル１１０１−７と、制御対象ネットワーク内経路探索部１１０１−８と、経路制御コマンド生成部１１０１−９と、上位制御装置通信部１１０１−１０とを備えた構成が示されている。

ノード通信部１１０１−１は、自装置の制御対象の通信ノード（下位制御装置１１０１ａの場合、図２の通信ノード１１０３−１〜１１０３−４）との制御用セッションの確立、制御用コマンドの送信・受信を行う。制御用コマンドとしては、非特許文献２のＯｐｅｎＦｌｏｗプロトコルで規定されたコマンド（制御メッセージ）を用いてもよい。また、Ｔｅｌｎｅｔ経由のコマンドラインインタフェース（ＣＬＩ）や、ＳＮＭＰ（Ｓｉｍｐｌｅ Ｎｅｔｗｏｒｋ Ｍａｎａｇｅｍｅｎｔ Ｐｒｏｔｏｃｏｌ）を用いて通信ノード通信を行ってもよい。

インタフェース管理部１１０１−６は、制御対象ネットワークの境界であるインタフェース（バウンダリポート；Ｂｏｕｎｄａｒｙ Ｐｏｒｔ）情報を含むインタフェース情報を管理する。バウンダリポートは、上位制御装置１１００で設定・管理して、上位制御装置通信部１１０１−１０を経由して下位制御装置１１０１ａ、１１０１ｂに通知されることで設定されてもよいし、事前に下位制御装置１１０１ａ、１１０１ｂに設定しておく方法も考えられる。

トポロジ情報管理部１１０１−２は、自装置の制御対象ネットワークの通信ノード（下位制御装置１１０１ａの場合、図２の通信ノード１１０３−１〜１１０３−４）間のトポロジの取得を行う。トポロジ取得方法としては、通信ノードの隣接通信ノード認識情報を吸い上げる方法が挙げられる。通信ノード間の認識プロトコルとしては、Ｌｉｎｋ Ｌａｙｅｒ Ｄｉｓｃｏｖｅｒｙ Ｐｒｏｔｏｃｏｌが代表的である。また、下位制御装置１１０１より特定通信ノードの特定ポートから該通信ノードのＩＤとポート番号を含むパケット（トポロジ検出パケット）を出力するように制御を行い、対向となる通信ノードから該パケットを受信することで、通信ノード間の認識を行う方法もある。下位制御装置１１０１からのパケット出力とパケット受信には、非特許文献２のＰａｃｋｅｔ−ｏｕｔメッセージ、Ｐａｃｋｅｔ−ｉｎメッセージを用いることができる。また、事前にこれらトポロジを設定しておく方法も考えられる。

トポロジテーブル１１０１−３は、自装置の制御対象ネットワーク内の通信ノード１１０３−１〜１１０３−４間のトポロジ情報を登録するためのテーブルである。

端末位置情報管理部１１０１−４は、端末１１０６−１、１１０６−２の位置情報の管理を行う。端末位置情報の取得には、端末が接続されている通信ノードから端末位置情報を通知してもらう方法がある。通知用プロトコルとして、前述のＯｐｅｎＦｌｏｗプロトコルのＰａｃｋｅｔ−ｉｎメッセージを用いることができる。また、事前に端末位置情報を設定しておく方法も考えられる。

ここで「端末位置情報」について説明する。制御対象ネットワーク内の端末の端末位置情報は、図４に示すように、少なくとも、端末のパケット宛先識別子と物理位置情報で記述できる。パケット宛先識別子としてＭＡＣアドレスが挙げられる。物理位置情報には、少なくともその端末が接続されている通信ノード、ポートが含まれる。例えば、図４の例では、ＭＡＣアドレス００：００：４Ｃ：００：００：０１を有する端末が通信ノード１１０３−３のポート１１０４−５に接続されていることを示している。

また、制御対象ネットワーク外の端末の端末位置情報は、図５に示すように少なくとも端末のパケット宛先識別子と宛先制御対象ネットワーク情報にて記述できる。宛先制御対象ネットワークはネクストホップの制御対象ネットワークであってもよい。例えば、図５の例では、ＭＡＣアドレス００：００：４Ｃ：００：００：０２を有する端末は、宛先制御対象ネットワーク１１０２−２又はその先のネットワークに接続されていることを示している。

なお、図５の宛先制御対象ネットワーク情報の取得には、通信ノードから通知される位置情報に送信元のネットワーク識別子のデータを含めるようにする方法が考えられる。また、送信パケットに送信元のネットワーク識別子のデータを含めるためには、パケット送信元のネットワークにおいて該ネットワークのＩＤを含めて送信パケットをカプセル化して送信する方法が考えられる。

制御対象ネットワーク内経路探索部１１０１−８は、端末位置情報管理部１１０１−４に対する宛先端末へ転送するためのエントリ設定要求を契機として、トポロジ情報管理部１１０１−２のトポロジテーブル１１０１−３と、インタフェース管理部１１０１−６のインタフェーステーブル１１０１−７の情報を利用して、自制御対象ネットワーク内の通信経路を計算する。

経路制御コマンド生成部１１０１−９は、制御対象ネットワーク内経路探索部１１０１−８にて計算された経路上の通信ノードに転送エントリ（制御情報）を設定することにより、自装置の制御対象ネットワーク内の通信ノード間の経路を設定する。

上位制御装置通信部１１０１−１０は、上位制御装置１１００との制御用セッションの確立、制御用コマンドの送信・受信を行う。制御用コマンドとしては、ＯｐｅｎＦｌｏｗを用いてもよい。また、Ｔｅｌｎｅｔ経由のＣＬＩや、ＳＮＭＰ（Ｓｉｍｐｌｅ Ｎｅｔｗｏｒｋ Ｍａｎａｇｅｍｅｎｔ Ｐｒｏｔｏｃｏｌ）を用いて通信を行ってもよい。

なお、下位制御装置１１０１ｂは、下位制御装置１１０１ａと同様の構成であるため、説明を省略する。

続いて、上位制御装置１１００の構成について説明する。図６は、本発明の第１の実施形態の上位制御装置の構成を示すブロック図である。図６を参照すると、下位制御装置通信部１１００−１と、トポロジ情報管理部１１００−２と、トポロジテーブル１１００−３と、インタフェース管理部１１００−６と、インタフェーステーブル１１００−７と、制御対象ネットワーク間経路探索部１１００−８と、経路制御コマンド生成部１１００−９と、を備えた構成が示されている。

下位制御装置通信部１１００−１は、下位制御装置１１０１との制御用セッションの確立、制御用コマンドの送信・受信を行う。制御用コマンドとしては、非特許文献２のＯｐｅｎＦｌｏｗプロトコルで規定されたコマンド（制御メッセージ）を用いてもよい。また、Ｔｅｌｎｅｔ経由のコマンドラインインタフェース（ＣＬＩ）や、ＳＮＭＰ（Ｓｉｍｐｌｅ Ｎｅｔｗｏｒｋ Ｍａｎａｇｅｍｅｎｔ Ｐｒｏｔｏｃｏｌ）を用いて通信ノード通信を行ってもよい。

インタフェース管理部１１００−６は、インタフェーステーブル１１００−７を用いて、各下位制御装置１１０１の制御対象ネットワークの境界であるインタフェース（バウンダリポート）情報を管理する。インタフェーステーブル１１００−６にて管理するインタフェース管理情報は、図７に示すように、少なくとも制御対象ネットワークと、バウンダリポートとを対応付けたエントリにて構成できる。この情報はＣＬＩにより管理者より設定されてもよい。上位制御装置１１００で設定した情報は、下位制御装置通信部１１００−１を経由して下位制御装置１１０１に通知され、それぞれのインタフェーステーブル１１００−７に格納される。

トポロジ情報管理部１１００−２は、下位制御装置１１０１の制御対象ネットワーク間のトポロジの取得を行う。トポロジ取得方法としては、通信ノードの隣接通信ノード認識情報を吸い上げる方法が挙げられる。通信ノード間の認識プロトコルとしては、Ｌｉｎｋ Ｌａｙｅｒ Ｄｉｓｃｏｖｅｒｙ Ｐｒｏｔｏｃｏｌが代表的である。また、下位制御装置１１０１より特定通信ノードの特定ポートから該通信ノードのＩＤとポート番号を含むパケット（トポロジ検出パケット）を出力するように制御を行い、対向となる通信ノードが該パケットを受信したことを、下位制御装置１１０１から通知を受けることで、通信ノード間の認識を行う方法もある。下位制御装置１１０１からのパケット出力とパケット受信には、非特許文献２のＰａｃｋｅｔ−ｏｕｔメッセージ、Ｐａｃｋｅｔ−ｉｎメッセージを用いることができる。また、事前にこれらトポロジを設定しておく方法も考えられる。

トポロジテーブル１１００−３は、自装置の制御対象ネットワーク間のトポロジ情報を登録するためのテーブルである。

制御対象ネットワーク間経路探索部１１００−８は、トポロジテーブル１１００−３と、インタフェーステーブル１１００−７の情報を利用して、制御対象ネットワーク間の通信経路を計算する。

その際に、制御対象ネットワーク間経路探索部１１００−８は、ブロードキャストとユニキャストパケットの転送経路を別に計算してもよい。もちろん、ブロードキャストとユニキャストで同一の経路を使用する方法も考えられる。

ブロードキャストの転送経路情報は、図８に示すように、少なくとも送信元制御対象ネットワークと、出力先バウンダリポートとを対応付けたエントリにて構成できる。出力先バウンダリポートに代えて、出力しない（ブロックされる）バウンダリポートの情報を規定してもよい。図８の一番上のエントリは、送信元のネットワークが、下位制御装置１１０１ａの制御対象ネットワーク１１０２−１である場合、ブロードキャストパケットの出力先は、バウンダリポート１１０４−１であることを示している。これは、図２において、下位制御装置１１０１ａの制御対象ネットワーク１１０２−１において送信されたブロードキャストパケットを、通信ノード１１０３−２のバウンダリポート１１０４−１に転送する動作に相当する。同様に、図８の上から２番目のエントリは、下位制御装置１１０１ｂの制御対象ネットワーク１１０２−２において送信されたブロードキャストパケットを、通信ノード１１０３−５のバウンダリポート１１０４−３に転送することを示している。

また、ユニキャストの転送経路情報は、図９に示すように、少なくとも送信元制御対象ネットワークと、宛先制御対象ネットワークと、出力先バウンダリポートとを対応付けたエントリにて構成できる。宛先制御対象ネットワークは、ネクストホップとなる制御対象ネットワークであってもよい。出力先バウンダリポートに代えて、出力しない（ブロックされる）バウンダリポートの情報を規定してもよい。図９の一番上のエントリは、送信元が下位制御装置１１０１ａの制御対象ネットワーク１１０２−１であり、宛先が下位制御装置１１０１ｂの制御対象ネットワーク１１０２−２であるユニキャストパケットを、バウンダリポート１１０４−２に転送することを示している。同様に、図９の上から２番目のエントリは、送信元が下位制御装置１１０１ｂの制御対象ネットワーク１１０２−２であり、宛先が下位制御装置１１０１ａの制御対象ネットワーク１１０２−１であるユニキャストパケットをバウンダリポート１１０４−４経由で転送することを示している。

経路制御コマンド生成部１１００−９は、制御対象ネットワーク間経路探索部１１００−８にて計算された経路を下位制御装置１１０１に通知することで制御対象ネットワーク間の経路を設定する。なお、前記下位制御装置１１０１に経路を通知する方法としてはどのようなものでも構わないが、例えば、下位制御装置１１０１が通信ノードに設定する制御情報（フローエントリ）の追加等を指示する経路制御コマンドと同様の形態とし、下位制御装置１１０１がこれを解釈するように構成することもできる。

なお、図１に示すように、上位制御装置１１００が直接制御する通信ノードが存在する場合には、上位制御装置１１００に、図３の下位制御装置と同様のノード通信部を設けてもよい。

なお、本実施形態においては、データ用の通信路と、制御用の通信路を分けて説明した。これら２つは混在してもよい（Ｉｎ−ｂａｎｄ制御）。本実施形態において、制御対象ネットワークは２つ、制御対象ネットワーク内の通信ノードはそれぞれ４つ、端末はそれぞれ１つの場合で説明した。これらは数の制限を受けない。また、制御対象ネットワーク間が通信ノード１１０５−１、１１０５−２により接続されているものとしたが、通信ノード１１０５−１、１１０５−２の機器種別や個数は制限を受けない。また、下位制御装置と上位制御装置は物理的に異なる装置で構成されているものとしたが、これらは同一装置上に存在してもよい。

また、図３、図６に示した上位制御装置及び下位制御装置の各部（処理手段）は、これらの装置を構成するコンピュータに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することもできる。

続いて、本実施形態の動作について図面を参照して詳細に説明する。以下、制御対象ネットワークをまたがって存在する端末１１０６−１、１１０６−２間でパケットを転送する動作を例に挙げて詳細に説明する。

［ネットワーク間のトポロジの構築］
はじめに、図２、図３、図６を参照して、上位制御装置１１００が制御対象ネットワーク間のトポロジを認識するまでの動作を説明する。上位制御装置１１００にて、ＣＬＩを使って制御対象ネットワークの境界点となるバウンダリポートを設定する（図２の符号１１０４−１、１１０４−２、１１０４−３、１１０４−４参照）。インタフェース管理部１１００−６は、設定されたバウンダリポート情報をインタフェーステーブル１１００−７に登録する。

次に、上位制御装置１１００は、制御対象ネットワーク間のトポロジを把握するために、下位制御装置１１０１ａに対し、ポート１１０４−１からＬＬＤＰパケット送信するように要求する。下位制御装置１１０１ａは、ポート１１０４−１を有する通信ノード１１０５−１に対してＰａｃｋｅｔＯｕｔメッセージ等を用いてＬＬＤＰパケットの送信を指示する。送信されたＬＬＤＰパケットは通信ノード１１０５−１を介して通信ノード１１０３−５のポート１１０４−３で受信される。

通信ノード１１０３−５は、下位制御装置１１０１ｂに対してＰａｃｋｅｔＩｎメッセージ等を用いてＬＬＤＰパケットを受信したことを報告する。下位制御装置１１０１ｂは上位経路装置１１００に対して、そのＰａｃｋｅｔＩｎメッセージを転送すること等により、通信ノード１１０３−５がＬＬＤＰパケットを受信したことを報告する。

上記報告を受けた上位経路装置１１００は、制御対象ネットワーク１１０２−１と１１０２−２がバウンダリポート１１０４−１と１１０４−３で接続されていることを認識し、その結果をトポロジテーブル１１００−３に登録する。同様に、上位経路装置１１００は、バウンダリポート１１０４−２と１１０４ー４間の接続も認識し、トポロジテーブル１１００−３に登録する。つまり、上位経路装置１１００は、制御対象ネットワーク１１０２−１、１１０２−２をそれぞれ一つのノードと見做してトポロジを管理することになる。この結果、上位経路装置１１００における経路計算処理が簡略化される。

以上により上位制御装置１１００は、制御対象ネットワーク１１０２−１と１１０２−２間が２つの経路で接続されているトポロジであると認識する。

［ブロードキャスト用経路の設定］
次に、図２、図３、図６を参照して、制御対象ネットワーク１１０２−１、１１０２−２に跨るブロードキャスト転送経路が完成するまでの動作を説明する。上位制御装置１１００は、トポロジテーブル１１００−３のトポロジ情報を基にして、制御対象ネットワーク１１０２−１と１１０２−２間のブロードキャストパケットの転送経路を決定する。

ブロードキャストパケットの転送経路が決定すると、上位制御装置１１００は、下位制御装置１１０１ａ、１１０１ｂに対して、決定したブロードキャストパケットの転送経路情報を通知する。ブロードキャストパケットの転送経路情報は、図８に示したように、ブロードキャストの転送において使用するバウンダリポート（または使用しないバウンダリポート）が設定されている。ここではバウンダリポート１１０４−１、１１０４−３が使用するポートに選択されたとする。上位制御装置１１００は、下位制御装置１１０１ａ、１１０１ｂに対し、バウンダリポート１１０４−１から１１０４−３間を転送するための転送エントリの設定を指示する。

前記指示を受けた下位制御装置は、それぞれ自身のトポロジテーブル１１０１−３及び端末位置情報テーブル１１０１−５を参照して、各制御対象ネットワーク内に閉じたブロードキャスト転送経路を計算し、各通信ノードにブロードキャストを行わせるための転送エントリを設定する。

［ユニキャスト用経路の設定］
次に、図２、図３、図６を参照して、端末１１０６−１から端末１１０６−２までユニキャストの転送経路が完成するまでの動作を説明する。上位制御装置１１００は、トポロジテーブル１１００−３のトポロジ情報を基にして、制御対象ネットワーク１１０２−１と１１０２−２間のユニキャストの転送経路を決定する。

次に、上位制御装置１１００は、各下位制御装置１１０１に対して、決定したユニキャストパケットの転送経路情報を通知する。ユニキャストパケットの転送経路情報は、図９に示したように、送信元と宛先ネットワーク毎に、使用するバウンダリポート（または使用しないバウンダリポート）を対応付けて構成される。

ここで、端末１１０６−１が端末１１０６−２と通信するために、ＡＲＰ Ｒｅｑｕｅｓｔパケットを送信した場合を考える。通信ノード１１０３−３は配下のポート１１０４−５でパケットを受信すると、下位制御装置１１０１ａに対してＰａｃｋｅｔＩｎメッセージ等を用いて、ＡＲＰ Ｒｅｑｕｅｓｔパケットの受信を報告する。

前記報告を受けた下位制御装置１１０１ａは、端末１１０６−１が通信ノード１１０３−３のポート１１０４−５に接続されていることを認識して、その位置情報を端末位置情報テーブル１１０１−５に登録する。また同時に、下位制御装置１１０１ａは、ＰａｃｋｅｔＯｕｔメッセージ等を用いて、ＡＲＰ Ｒｅｑｕｅｓｔパケットをブロードキャスト転送経路で転送する。このとき、制御対象ネットワーク内のいずれかの通信ノードで、送信元制御対象ネットワーク１１０２−１のＩＤでパケットをカプセル化して制御対象ネットワーク１１０２−２側に転送する。

通信ノード１１０３−５は、自制御対象ネットワーク宛てのパケットであることを認識すると、下位制御装置１１０１ｂに対して、ＰａｃｋｅｔＩｎメッセージ等を用いて、前記カプセル化されたパケットの受信を報告する。

前記報告を受けた下位制御装置１１０１ｂは、端末１１０６−１が制御対象ネットワーク１１０２−１に存在することを認識して、その位置情報を端末位置情報管理部１１０１−４に登録する。

また同時に、通信ノード１１０３−５はカプセル化を解除して、ブロードキャストの転送経路に従ってＡＲＰ Ｒｅｑｕｅｓｔパケットを端末１１０６−２まで転送する。

その後、端末１１０６−１のＡＲＰ Ｒｅｑｕｅｓｔへの応答として、端末１１０６−２がＡＲＰ Ｒｅｐｌｙを送信した場合を考える。通信ノード１１０３−８は、配下のポート１１０４−６でパケットを受信すると、下位制御装置１１０１ｂに対して、ＰａｃｋｅｔＩｎメッセージ等を用いて、ＡＲＰ Ｒｅｐｌｙパケットの受信を報告する。

前記報告を受けた下位制御装置１１０１ｂは、端末１１０６−２が通信ノード１１０３−８のポート１１０４−６に接続されていることを認識して、その位置情報を端末位置情報テーブル１１０１−５に登録する。また、下位制御装置１１０１ｂは、上位制御装置１１００より事前に通知されたユニキャストの転送経路情報を参照して、宛先制御対象ネットワークに対するバウンダリポートを決定する。また、下位制御装置１１０１ｂは、通信ノード１１０３−８からバウンダリポートまでのユニキャストの転送経路を計算して、経路上の通信ノードに対して、転送エントリを設定する。下位制御装置１１０１ｂは、ＰａｃｋｅｔＯｕｔメッセージ等を用いて、ＡＲＰ Ｒｅｐｌｙパケットを前記ユニキャスト用経路で制御対象ネットワーク１１０２−１側に転送する。

ＡＲＰ Ｒｅｐｌｙパケットが制御対象ネットワーク１１０２−１に到達すると、通信ノード１１０３−２は、ポート１１０４−１でパケットを受信し、下位制御装置１１０１ａに対して、ＰａｃｋｅｔＩｎメッセージ等を用いて、ＡＲＰ Ｒｅｐｌｙパケットの受信を報告する。下位制御装置１１０１ａは、端末位置情報テーブル１１０１−５を参照して、宛先に設定された端末１１０６−１の位置情報を取得し、該端末に転送するまでの転送エントリを設定する。これにより端末１１０６−２から１１０６−１の向きのユニキャストパケットの転送経路が設定される。反対向きのユニキャストの経路も端末１１０６−１からの最初のパケット（１ｓｔ ＩＰパケット）の送信により設定される。以上でユニキャストパケットの転送経路が設定される。

なお、通信ノード側で意図しないＶＬＡＮのパケットが出力されないような制御を行っている場合、ユニキャストパケットの転送経路が設定されるまでの間、ブロードキャストパケットの転送経路で、上記したＡＲＰ Ｒｅｐｌｙパケット等を転送することとしてもよい。

また、上記した例では、制御対象のネットワーク間の通信を行う例を挙げて説明したが、制御対象のネットワーク内の通信については、下位制御装置が、上記したトポロジテーブル１１０１−３、端末位置情報テーブル１１０１−５を参照して、上位制御装置１１００の指示によらず、通信経路を計算して、経路上の通信ノードに、前記経路に沿ったパケット転送を行わせる転送エントリを設定することも可能である。

以上説明したように、本実施形態によれば、制御装置を階層化して上位制御装置側で制御対象ネットワーク間の経路計算を実施する。このため、各制御対象ネットワーク間に冗長な経路が存在しても、上位制御装置にて把握されるため、適切な（ループ等の発生しない）、ネットワーク間の経路が作成される。

また、本実施形態によれは、制御対象ネットワーク間でリンクを認識するためのＬＬＤＰパケット等のトポロジ検出パケットを送受信することで、トポロジを自動構築することが可能となる。もちろん、ネットワーク間の経路の障害も検知することが可能となる。例えば、制御対象ネットワーク間の経路に障害が発生した際も迂回動作が可能となり、システムの可用性が向上する。

以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。

また、上記した実施形態では、図８、図９に示したようにブロードキャストとユニキャストで出力ポート（出力バウンダリポート）を切り替えているが、その他の通信ポリシに基づいて、出力ポート（出力バウンダリポート）を切り替える構成も採用可能である。例えば、パケットヘッダ等から上位プロトコルの種別を識別し、その内容に応じて、パケット転送経路（出力ポート（出力バウンダリポート））を切り替える構成も採用可能である。さらには、端末の位置やアドレス情報からユーザのサービスレベル等を把握し、その内容に応じて、パケット転送経路（出力ポート（出力バウンダリポート））を切り替える構成も採用可能である。

最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点による通信システム参照）
［第２の形態］
第１の形態の通信システムにおいて、
第１の下位制御装置の管理対象のネットワークと、第２の下位制御装置の管理対象のネットワークとの間に前記第１、第２の下位制御装置の制御を受けない通信ノードが配置されており、
前記上位制御装置は、前記第１の管理対象のネットワークの境界に位置する通信ノードから前記第１、第２の下位制御装置の制御を受けない通信ノードへ前記トポロジ検出パケットを送出させ、
前記第１の管理対象のネットワークの境界に位置する通信ノードから前記トポロジ検出パケットの受信報告を受け取ることで、前記管理対象のネットワーク間のトポロジ構成を収集する通信システム。
［第３の形態］
第２の形態の通信システムにおいて、
前記上位制御装置は、前記管理対象のネットワーク間のトポロジ構成に基づいて、前記第１の下位制御装置に対し、前記第２の管理対象のネットワークへのパケットの前記第１の管理対象のネットワークにおける出力位置を通知し、
前記第１の下位制御装置は、前記出力位置に基づいて前記第１の管理対象のネットワーク内の経路を計算して、前記経路上の通信ノードに、前記経路に沿ったパケット転送を行わせる制御情報を設定する通信システム。
［第４の形態］
第３の形態の通信システムにおいて、
前記第１の下位制御装置の管理対象のネットワークと、第２の下位制御装置の管理対象のネットワークとの間に前記第１、第２の下位制御装置の制御を受けない通信ノードが複数配置されており、
前記上位制御装置は、所定の通信ポリシに基づいて、前記第１の管理対象のネットワークにおける出力位置を切り替える通信システム。
［第５の形態］
第２から第４いずれか一の形態の通信システムにおいて、
前記第１、第２の下位制御装置は、前記第１、第２の管理対象のネットワークに接続された端末の位置情報と、自装置の管理対象のネットワークに接続されていない端末の位置情報とをそれぞれ管理し、
自装置の管理対象のネットワークに接続する端末間の通信について、前記上位制御装置の指示によらずに経路を計算して、経路上の通信ノードに、前記経路に沿ったパケット転送を行わせる制御情報を設定する通信システム。
［第６の形態］
第１から第５いずれか一の形態の通信システムにおいて、
前記上位制御装置は、前記下位制御装置によって制御されるネットワークを一つのノードと見做してトポロジを管理する通信システム。
［第７の形態］
第１から第６いずれか一の形態の通信システムにおいて、
前記上位制御装置は、前記下位制御装置に対し、ブロードキャスト対象のパケットと、ユニキャスト対象のパケットとについて、それぞれ前記管理対象のネットワークにおける出力位置を通知する通信システム。
［第８の形態］
管理対象のネットワークに配置された通信ノードに制御情報を設定することにより、前記管理対象のネットワークを制御する少なくとも１つ以上の下位制御装置に接続され、
前記下位制御装置を制御する手段と、
前記下位制御装置に対して、前記管理対象のネットワークの境界に位置する通信ノードからトポロジ検出パケットを送出させるよう指示する手段と、
対向装置から、前記トポロジ検出パケットの受信報告を受け取ることで、前記管理対象のネットワーク間のトポロジ構成を収集する手段と、を備える上位制御装置。
［第９の形態］
管理対象のネットワークに配置された通信ノードに制御情報を設定することにより、前記管理対象のネットワークを制御する手段と、
上位制御装置からの指示に基づいて、前記管理対象のネットワークの境界に位置する通信ノードにトポロジ検出パケットを送出させ、対向装置に、前記トポロジ検出パケットの受信報告を前記上位制御装置に転送させる手段と、
を備えた下位制御装置。
［第１０の形態］
管理対象のネットワークに配置された通信ノードに制御情報を設定することにより、前記管理対象のネットワークを制御する少なくとも１つ以上の下位制御装置と、
前記下位制御装置を制御する上位制御装置と、を含む通信システムにおいて、
前記下位制御装置に対して、前記管理対象のネットワークの境界に位置する通信ノードからトポロジ検出パケットを送出させるよう指示するステップと、
前記対向装置から、前記トポロジ検出パケットの受信報告を受け取ることで、前記管理対象のネットワーク間のトポロジ構成を収集するステップと、を含むトポロジ構成収集方法。
［第１１の形態］
管理対象のネットワークに配置された通信ノードに制御情報を設定することにより、前記管理対象のネットワークを制御する少なくとも１つ以上の下位制御装置と、
前記下位制御装置を制御する上位制御装置と、を含む通信システムに接続されたコンピュータに、
前記下位制御装置に対して、前記管理対象のネットワークの境界に位置する通信ノードからトポロジ検出パケットを送出させるよう指示する処理と、
対向装置から、前記トポロジ検出パケットの受信報告を受け取ることで、前記管理対象のネットワーク間のトポロジ構成を収集する処理と、を実行させるプログラム。
なお、上記第８〜第１１の形態は、第１の形態と同様に、第２〜第７の形態に展開することが可能である。

なお、上記の特許文献および非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１１００ 上位制御装置
１１００−１ 下位制御装置通信部
１１００−２、１１０１−２ トポロジ情報管理部
１１００−３、１１０１−３ トポロジテーブル
１１００−６、１１０１−６ インタフェース管理部
１１００−７、１１０１−７ インタフェーステーブル
１１００−８ 制御対象ネットワーク間経路探索部
１１００−９、１１０１−９ 経路制御コマンド生成部
１１０１ａ、１１０１ｂ 下位制御装置
１１０１−１ ノード通信部
１１０１−４ 端末位置情報管理部
１１０１−５ 端末位置情報テーブル
１１０１−８ 制御対象ネットワーク内経路探索部
１１０１−１０ 上位制御装置通信部
１１０２−１、１１０２−２ 制御対象（管理対象）ネットワーク
１１０３−１〜１１０３−８、１１０５−１、１１０５−２ 通信ノード
１１０４−１〜１１０４−６ （バウンダリ）ポート
１１０４−５、１１０４−６ ポート
１１０６−１、１１０６−２ 端末

Claims (10)

1. 管理対象のネットワークに配置された通信ノードに制御情報を設定することにより、前記管理対象のネットワークを制御する少なくとも１つ以上の下位制御装置と、
   前記下位制御装置を制御する上位制御装置と、を含む通信システムにおいて、
   前記上位制御装置は、前記下位制御装置に対して、前記管理対象のネットワークの境界に位置する通信ノードからトポロジ検出パケットを送出させるよう指示し、対向装置から、前記トポロジ検出パケットの受信報告を受け取ることで、前記管理対象のネットワーク間のトポロジ構成を収集することを特徴とする通信システム。
2. 第１の下位制御装置の管理対象のネットワークと、第２の下位制御装置の管理対象のネットワークとの間に前記第１、第２の下位制御装置の制御を受けない通信ノードが配置されており、
   前記上位制御装置は、前記第１の管理対象のネットワークの境界に位置する通信ノードから前記第１、第２の下位制御装置の制御を受けない通信ノードへ前記トポロジ検出パケットを送出させ、
   前記第１の管理対象のネットワークの境界に位置する通信ノードから前記トポロジ検出パケットの受信報告を受け取ることで、前記管理対象のネットワーク間のトポロジ構成を収集する請求項２の通信システム。
3. 前記上位制御装置は、前記管理対象のネットワーク間のトポロジ構成に基づいて、前記第１の下位制御装置に対し、前記第２の管理対象のネットワークへのパケットの前記第１の管理対象のネットワークにおける出力位置を通知し、
   前記第１の下位制御装置は、前記出力位置に基づいて前記第１の管理対象のネットワーク内の経路を計算して、前記経路上の通信ノードに、前記経路に沿ったパケット転送を行わせる制御情報を設定する請求項２の通信システム。
4. 前記第１の下位制御装置の管理対象のネットワークと、前記第２の下位制御装置の管理対象のネットワークとの間に前記第１、第２の下位制御装置の制御を受けない通信ノードが複数配置されており、
   前記上位制御装置は、所定の通信ポリシに基づいて、前記第１の管理対象のネットワークにおける出力位置を切り替える請求項３の通信システム。
5. 前記第１、第２の下位制御装置は、前記第１、第２の管理対象のネットワークに接続された端末の位置情報と、自装置の管理対象のネットワークに接続されていない端末の位置情報とをそれぞれ管理し、
   自装置の管理対象のネットワークに接続する端末間の通信について、前記上位制御装置の指示によらずに経路を計算して、経路上の通信ノードに、前記経路に沿ったパケット転送を行わせる制御情報を設定する請求項２から４いずれか一の通信システム。
6. 前記上位制御装置は、前記下位制御装置によって制御されるネットワークを一つのノードと見做してトポロジを管理する請求項１から５いずれか一の通信システム。
7. 前記上位制御装置は、前記下位制御装置に対し、ブロードキャスト対象のパケットと、ユニキャスト対象のパケットとについて、それぞれ前記管理対象のネットワークにおける出力位置を通知する請求項１から６いずれか一の通信システム。
8. 管理対象のネットワークに配置された通信ノードに制御情報を設定することにより、前記管理対象のネットワークを制御する少なくとも１つ以上の下位制御装置に接続され、
   前記下位制御装置を制御する手段と、
   前記下位制御装置に対して、前記管理対象のネットワークの境界に位置する通信ノードからトポロジ検出パケットを送出させるよう指示する手段と、
   対向装置から、前記トポロジ検出パケットの受信報告を受け取ることで、前記管理対象のネットワーク間のトポロジ構成を収集する手段と、を備える上位制御装置。
9. 管理対象のネットワークに配置された通信ノードに制御情報を設定することにより、前記管理対象のネットワークを制御する手段と、
   上位制御装置からの指示に基づいて、前記管理対象のネットワークの境界に位置する通信ノードにトポロジ検出パケットを送出させ、対向装置に、前記トポロジ検出パケットの受信報告を前記上位制御装置に転送させる手段と、
   を備えた下位制御装置。
10. 管理対象のネットワークに配置された通信ノードに制御情報を設定することにより、前記管理対象のネットワークを制御する少なくとも１つ以上の下位制御装置と、
    前記下位制御装置を制御する上位制御装置と、を含む通信システムにおいて、
    前記下位制御装置に対して、前記管理対象のネットワークの境界に位置する通信ノードからトポロジ検出パケットを送出させるよう指示するステップと、
    前記対向装置から、前記トポロジ検出パケットの受信報告を受け取ることで、前記管理対象のネットワーク間のトポロジ構成を収集するステップと、を含むトポロジ構成収集方法。

Images