JP2015523749A - 通信システム、制御装置、通信方法及びプログラム - Google Patents

Abstract

【課題】フロー単位で経路制御が可能な構成を用いて、ジョブベースの経路制御を実現する。【解決手段】通信システムは、ジョブとフローとの関連を表したジョブ関連情報を参照して、フローを処理するための制御情報を生成し、前記フローに属するパケットを受信するスイッチに送信する制御装置と、前記制御装置から受信した制御情報に基づいて、前記フローに属するパケットを処理するスイッチと、を含む。【選択図】図１

Description

本発明は、日本国特許出願：特願２０１２−１６８４８３号（２０１２年７月３０日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、通信システム、制御装置、通信方法及びプログラムに関し、特に、スイッチを集中制御する制御装置を有する通信システム、制御装置、通信方法及びプログラムに関する。

近年、オープンフロー（ＯｐｅｎＦｌｏｗ）という技術が提案されている（非特許文献１、２参照）。オープンフローは、通信をエンドツーエンドのフローとして捉え、フロー単位で経路制御、障害回復、負荷分散、最適化を行うものである。非特許文献２に仕様化されているオープンフロースイッチは、オープンフローコントローラとの通信用のセキュアチャネルを備え、オープンフローコントローラから適宜追加または書き換え指示されるフローテーブルに従って動作する。フローテーブルには、フロー毎に、パケットヘッダと照合するマッチ条件（Ｍａｔｃｈ Ｆｉｅｌｄｓ）と、フロー統計情報（Ｃｏｕｎｔｅｒｓ）と、処理内容を定義したインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎｓ）と、の組が定義される（非特許文献２の「４．１ Ｆｌｏｗ Ｔａｂｌｅ」の項参照）。

例えば、オープンフロースイッチは、パケットを受信すると、フローテーブルから、受信パケットのヘッダ情報に適合するマッチ条件（非特許文献２の「４．３ Ｍａｔｃｈ Ｆｉｅｌｄｓ」参照）を持つエントリを検索する。検索の結果、受信パケットに適合するエントリが見つかった場合、オープンフロースイッチは、フロー統計情報（カウンタ）を更新するとともに、受信パケットに対して、当該エントリのインストラクションフィールドに記述された処理内容（指定ポートからのパケット送信、フラッディング、廃棄等）を実施する。一方、検索の結果、受信パケットに適合するエントリが見つからなかった場合、オープンフロースイッチは、セキュアチャネルを介して、オープンフローコントローラに対してエントリ設定の要求、即ち、受信パケットを処理するための制御情報の送信要求（Ｐａｃｋｅｔ−Ｉｎメッセージ）を送信する。オープンフロースイッチは、処理内容が定められたフローエントリを受け取ってフローテーブルを更新する。このように、オープンフロースイッチは、フローテーブルに格納されたエントリを制御情報として用いてパケット転送を行う。

また、特許文献１には、パケット通信経路の区間毎に、上記フローエントリのタイムアウト値を異ならせることにより、オープンフローコントローラに相当する経路制御装置の負荷を低減する方法が開示されている。

また、特許文献２には、発呼側端末と着呼側端末の間で、複数のポートをそれぞれ備える複数のノードが相互接続されたコネクション設定型ネットワークにおいて、各ノードは、コネクション設定要求信号の転送に際して設定可能な複数の経路を予め記憶し、発呼側端末からコネクション設定要求信号を受信したとき、資源が確保できコネクションの設定が可能であれば、設定された前記経路に従って出力ポートを選択して前記コネクション設
定要求信号を転送し、同一のコネクション設定要求信号を異なる相手から受信したとき、後から到着したコネクション設定要求信号を廃棄する経路制御方式が開示されている。

特開２０１１−１０１２４５号公報 特開２０００−１３４２５８号公報

Ｎｉｃｋ ＭｃＫｅｏｗｎほか７名、"ＯｐｅｎＦｌｏｗ： Ｅｎａｂｌｉｎｇ Ｉｎｎｏｖａｔｉｏｎ ｉｎ Ｃａｍｐｕｓ Ｎｅｔｗｏｒｋｓ"、［ｏｎｌｉｎｅ］、［平成２４（２０１２）年７月１３日検索］、インターネット〈URL:http://www.openflow.org/documents/openflow-wp-latest.pdf〉 "ＯｐｅｎＦｌｏｗ Ｓｗｉｔｃｈ Ｓｐｅｃｉｆｉｃａｔｉｏｎ" Ｖｅｒｓｉｏｎ １．１．０ Ｉｍｐｌｅｍｅｎｔｅｄ （Ｗｉｒｅ Ｐｒｏｔｏｃｏｌ ０ｘ０２）、［ｏｎｌｉｎｅ］、［平成２４（２０１２）年７月１３日検索］、インターネット〈URL:http://www.openflow.org/documents/openflow-spec-v1.1.0.pdf〉

上記の特許文献及び非特許文献の全開示内容は、本書に引用をもって繰り込み記載されているものとする。
以下の分析は、本発明によって与えられたものである。特許文献１、非特許文献１、２のオープンフローコントローラや経路制御装置では、フロー毎にきめ細かな経路制御ができることになっているが、特定のジョブに関連するパケットが特定のリンクや装置を通るように制御したり、特定のジョブに関連するパケットを他のパケットよりも優先するといったジョブベースでの制御ができないという問題点がある。

特許文献２の経路制御方式のスイッチは、コネクション設定要求フレームを受信すると、そのフレームヘッダ内の宛先アドレスを抽出し、経路テーブルから宛先テーブルに対応する出力ポート番号を取得する。そして、特許文献２の経路制御方式のスイッチは、この出力ポート番号を持つポートの空き状況に応じてコネクションテーブルを管理するに止まり、ジョブに応じた経路制御を行うものではない。

本発明は、フロー単位で経路制御が可能な構成を用いて、ジョブベースの経路制御を実現する通信システム、制御装置、通信方法及びプログラムを提供することを目的とする。

本発明の第１の視点によれば、ジョブとフローとの関連を表したジョブ関連情報を参照して、フローを処理するための制御情報を生成し、前記フローに属するパケットを受信するスイッチに送信する制御装置と、前記制御装置から受信した制御情報に基づいて、前記フローに属するパケットを処理するスイッチと、を含む通信システムが提供される。

本発明の第２の視点によれば、制御装置から受信した制御情報に基づいて、前記フローに属するパケットを処理するスイッチと接続され、ジョブとフローとの関連を表したジョブ関連情報を参照して、フローを処理するための制御情報を生成し、前記スイッチに送信する制御装置が提供される。

本発明の第３の視点によれば、フロー別に生成された制御情報に基づいてフローに属するパケットを処理するスイッチと接続された制御装置が、ジョブとフローとの関連を表したジョブ関連情報を参照して、フローを処理するための制御情報を生成するステップと、前記スイッチに前記生成した制御情報を送信するステップと、を含む通信方法が提供される。本方法は、制御情報を用いてスイッチを制御する制御装置という、特定の機械に結びつけられている。

本発明の第４の視点によれば、フロー別に生成された制御情報に基づいてフローに属するパケットを処理するスイッチと接続された制御装置を構成するコンピュータに、ジョブとフローとの関連を表したジョブ関連情報を参照して、フローを処理するための制御情報を生成する処理と、前記スイッチに前記生成した制御情報を送信する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジエントな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。

本発明によれば、フロー単位で経路制御が可能な構成を用いて、ジョブベースの経路制御を実現することが可能となる。

本発明の第１の実施形態の構成を示す図である。 本発明の第１の実施形態のスイッチの構成を示す図である。 本発明の第１の実施形態のスイッチに設定されるフローエントリの概要を示す図である。 図３のフローエントリに設定される処理内容（アクション）の一例を示す図である。 本発明の第１の実施形態の制御装置の構成を示す図である。 本発明の第１の実施形態の制御装置のトポロジデータベース（トポロジＤＢ）のエントリの構成例を示す図である。 本発明の第１の実施形態の制御装置のリンク選択テーブルのエントリの構成例を示す図である。 本発明の第１の実施形態のスイッチの動作を表したフローチャートである。 本発明の第１の実施形態の制御装置の動作を表したフローチャートである。 本発明の第１の実施形態の制御装置による経路計算処理の一例を表したフローチャートである。 本発明の第１の実施形態の全体の動作を表したシーケンス図である。 本発明の第２の実施形態の構成を示す図である。 本発明の第２の実施形態のジョブスケジューラの構成を示す図である。 本発明の第２の実施形態のジョブスケジューラの属性データベース（属性ＤＢ）のエントリの構成例を示す図である。 本発明の第２の実施形態のジョブスケジューラの動作を表したフローチャートである。 本発明の第２の実施形態の全体の動作を表したシーケンス図である。 本発明の第３の実施形態の制御装置の構成を示す図である。 本発明の第３の実施形態の制御装置のパステーブルのエントリの構成例を示す図である。 本発明の第３の実施形態のジョブスケジューラの動作を表したフローチャートである。 本発明の第３の実施形態の制御装置の動作を表したフローチャートである。 本発明の第３の実施形態の制御装置の動作を表したフローチャートである。 本発明の第３の実施形態の全体の動作を表したシーケンス図である。 本発明の第４の実施形態の構成を示す図である。 本発明の第４の実施形態の全体の動作を表したシーケンス図である。 本発明の第４の実施形態の全体の動作を表したシーケンス図である。

はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。

本発明は、その一実施形態において、図１に示すように、ジョブとフローとの関連を表したジョブ関連情報を参照して、フローを処理するための制御情報を生成し、前記フローに属するパケットを受信するスイッチ（図１の２０）に送信する制御装置（図１の３０）と、前記制御装置（図１の３０）から受信した制御情報に基づいて、前記フローに属するパケットを処理するスイッチ（図１の２０）と、を含む構成にて実現できる。

より具体的には、制御装置（図１の３０）は、スイッチ（図１の２０）からの要求、ネットワーク構成の変更等の所定のタイミングで、フローを処理するための制御情報を生成する。このときに、制御装置（図１の３０）は、ジョブとフローとの関連を表したジョブ関連情報（例えば、図７、図１４参照）を参照して、ジョブ種類や内容を考慮した制御情報を生成する。そして、制御装置（図１の３０）は、スイッチ（図１の２０）に前記生成した制御情報を送信する。以降、スイッチ（図１の２０）は、前記制御情報を参照して、受信パケットを処理する。以上のように、ジョブ種類や内容を考慮した制御情報を設定することにより、ジョブベースの経路制御が実現される。

［第１の実施形態］
続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。図１は、本発明の第１の実施形態の構成を示す図である。図１を参照すると、ホスト装置１０とネットワーク７０との間に配置されたスイッチ２０と、スイッチ２０を制御する制御装置３０とを含む通信システムが示されている。ネットワーク７０とスイッチ２０との間には、ジョブに応じて利用が可能となる第１のリンク（所定のリンク）６０と、ジョブ等の制約を受けずに利用が可能である第２のリンク（一般リンク）５０とが設けられている。

ホスト装置１０は、ユーザの端末等からの要求に応じてプログラムが実行される計算機である。

スイッチ２０は、制御装置から制御情報として設定されたフローエントリを参照して受信パケットを処理する。

制御装置３０は、スイッチ２０に、制御情報として非特許文献２のフローエントリを設定することによりスイッチ２０を制御する。

ネットワーク７０は、スイッチ２０と同等のオープンフロースイッチを含むスイッチ群やその他通信装置等により形成されるネットワークである。

図２は、本発明の第１の実施形態のスイッチの構成を示す図である。図２を参照すると、パケット処理部２１と、フローエントリ記憶部２２とを備えた構成が示されている。

図３は、フローエントリ記憶部２２に保持されるフローエントリの例を示す図である。図３を参照すると、受信パケットのパケットヘッダ等と照合するルール（マッチ条件）を格納するフィールドと、ルール（マッチ条件）に適合するパケット等の統計情報を格納するフロー統計情報フィールド（Ｃｏｕｎｔｅｒｓ）と、ルール（マッチ条件）に適合するパケットに適用する処理内容（Ａｃｔｉｏｎ）を格納するインストラクションフィールド（Ｉｎｓｔｒｕｃｔｉｏｎｓ）と、を対応付けたエントリが示されている。なお、ルール（マッチ条件）として、ワイルドカードを設定することも可能である。

図４は、インストラクションフィールド（Ｉｎｓｔｒｕｃｔｉｏｎｓ）に設定可能な処理内容（Ａｃｔｉｏｎ）とその内容の一例を図である。ＯＵＴＰＵＴは、受信パケットを指定ポート（インタフェース）に出力するアクションである。ＳＥＴ＿ＶＬＡＮ＿ＶＩＤからＳＥＴ＿ＴＰ＿ＤＳＴは、パケットヘッダのフィールドを修正するアクションである。これらを組み合わせて、例えば、ある送信元から宛先に当てられたパケットについて、例えば、ＶＬＡＮ ＩＤを書き換えた上で、指定ポートから出力することが可能となる。

パケット処理部２１は、パケットを受信すると、フローエントリ記憶部２２から、受信パケットに適合するルール（マッチ条件）を持つフローエントリを検索する。検索の結果、パケットに適合するルール（マッチ条件）を持つフローエントリが見つかった場合、パケット処理部２１は、そのインストラクションフィールド（Ｉｎｓｔｒｕｃｔｉｏｎｓ）に格納された処理内容を受信パケットに適用する。一方、検索の結果、パケットに適合するルール（マッチ条件）を持つフローエントリが見つからなかった場合、パケット処理部２１は、制御装置３０に対して、フローエントリの送信を要求する。

フローエントリ記憶部２２には、制御装置３０から送信されたフローエントリが格納される。

なお、このようなスイッチ２０は、非特許文献２のオープンフロープロトコルを用いてオープンフローコントローラからフローエントリの設定を受けるオープンフロースイッチにて実現できる。

図５は、本発明の第１の実施形態の制御装置の構成を示す図である。図５を参照すると、通信部３１と、経路計算部３２と、トポロジーデータベース（トポロジーＤＢ）３３と、フローを特定するための条件と、ジョブ毎に適用される制御内容とを対応付けたリンク選択テーブル３４と、フローエントリ設定部３５とを備えた構成が示されている。

図６は、スイッチ２０を含むネットワーク７０のトポロジ情報を格納するトポロジーＤＢ３３に保持されるエントリの例を示す図である。図６（Ａ）は、スイッチ識別子（ＤＰＩＤ）とポート番号とによって特定されるスイッチ間のリンクを表している。また、図６（Ｂ）は、あるスイッチに接続されている機器（ホスト装置等）をスイッチ識別子（ＤＰＩＤ）とポート番号と、当該機器のＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）アドレスとを対応付けたエントリである。

図７は、リンク選択テーブル３４に格納されるエントリの一例を示す図である。条件フィールドは、図３に示したフローエントリのルール（マッチ条件）と同様にフローを特定するための情報が格納されるフィールドである。リンクフィールドには、図１に示す所定のリンク６０の識別子等が格納される。使用／非使用フィールドには、条件フィールドにて特定されるフローに属するパケットの転送に、リンクフィールドに示すリンクを使用するか否かを示す情報が格納される。また、条件フィールドには、フローエントリのルール（マッチ条件）と同様に、ワイルドカード（任意）を設定したり、否定条件（その値以外の場合に一致とする）を用いることもできる。このようにすることで、条件の記述性が向上する。

リンク選択テーブル３４へのエントリの登録は、ユーザが事前に登録することとしてもよいし、ユーザが所持する端末等で動作する外部プログラムによって自動的に行われることとしてもよい。

このような制御装置３０としては、非特許文献２のオープンフローコントローラに、上記したリンク選択テーブル３４と、その内容を用いた経路計算機能とを追加することで実現可能である。

なお、図５に示した制御装置３０の経路計算部は、制御装置３０を構成するコンピュータに、そのハードウェアを用いて、上記トポロジーＤＢ３３及びリンク選択テーブル３４の内容に基づいたジョブベースのフローエントリの生成処理を実行させるコンピュータプログラムにより実現することもできる。

続いて、上記した各装置の動作について説明する。図８は、本発明の第１の実施形態のスイッチのパケット受信時の動作を表したフローチャートである。図８を参照すると、スイッチ２０はパケットを受信すると、フローエントリ記憶部２２から、受信パケットに適合するルール（マッチ条件）を持つフローエントリを検索する（ステップＳ２０１）。

ここで、受信パケットに適合するルール（マッチ条件）を持つフローエントリが見つかった場合（ステップＳ２０２のＹｅｓ）、スイッチ２０は、受信パケットに、そのフローエントリのインストラクションフィールド（Ｉｎｓｔｒｕｃｔｉｏｎｓ）の内容に従いパケットを処理する（ステップＳ２０４）。

一方、受信パケットに適合するルール（マッチ条件）を持つフローエントリが見つからなかった場合（ステップＳ２０２のＮｏ）、スイッチ２０は、制御装置３０に対して、受信パケットまたは受信パケットから抽出した情報を送信し、フローエントリの送信を要求する（ステップＳ２０３）。

図９は、本発明の第１の実施形態の制御装置３０がフローエントリ送信要求を受けた際の動作を表したフローチャートである。図９を参照すると、制御装置３０は、スイッチ２０からパケットまたはパケットから抽出した情報を受信すると、リンク選択テーブル３４から、スイッチ２０から送信されたパケットまたはパケットから抽出した情報に適合するルール（マッチ条件）を持つエントリを検索する（ステップＳ１２０）。

前記検索の結果、該当するエントリがない場合、及び、該当エントリがあるがその使用／非使用フィールドに「非使用」が設定されている場合、制御装置３０は、トポロジーＤＢ３３のトポロジー中に所定のリンク６０が無いものと看做して経路計算を行う（ステップＳ１２６）。

前記検索の結果、該当エントリがあり、かつ、その使用／非使用フィールドに「使用」が設定されている場合、制御装置３０は、トポロジーＤＢ３３の所定のリンク６０を含むトポロジーを参照して、経路計算を行う（ステップＳ１２２）。

なお、ステップＳ１２２、Ｓ１２６における経路計算にはダイクストラ法等を用いることができるが、その都度計算するのではなく、予めエンドツーエンドの経路を計算しておき、前記リンク選択テーブル３４の検索結果に応じて適当な経路を選択する方法も採用することができる。

次に、制御装置３０は、ステップＳ１２２またはＳ１２６で計算した経路上のスイッチ２０に設定するフローエントリを作成する（ステップＳ１２３）。そして、制御装置３０は、経路上のスイッチ２０に対して、前記作成したフローエントリを送信し、各フローエントリ記憶部２２への登録を要求する（ステップＳ１２４）。

最後に、制御装置３０は、スイッチ２０に対し、スイッチ２０から受信したパケットまたはパケットから抽出した情報を用いて、宛先へのパケット出力を指示する（ステップＳ１２５）。これにより、スイッチ２０が受信した最初のパケットが宛先に届けられることになる。なお、このパケット出力指示には、非特許文献２のオープンフロープロトコルの「Ｐａｃｋｅｔ−Ｏｕｔメッセージ」を用いることができる。また、このパケット出力指示は、スイッチ２０に対してではなく、ネットワーク７０のスイッチ、とりわけ、終点（宛先）に最も近いスイッチと送信することもできる。

ここで、所定のリンク６０の使用が指定されている場合のステップＳ１２２における経路計算について詳細に説明する。図１０は、本発明の第１の実施形態の制御装置による経路計算処理の一例を表したフローチャートである。

まず、制御装置３０は、始点と所定のリンク６０の一方の端点（端点Ａとする）間の経路計算を行う（ステップＳ４０１）。

次に、制御装置３０は、所定のリンク６０のもう一方の端点（端点Ｂとする）と終点間の経路計算を行う（ステップＳ４０２）。

次に、制御装置３０は、始点と端点Ｂ間の経路計算を行う（ステップＳ４０３）。

さらに、制御装置３０は、端点Ａと終点間の経路計算を行う（ステップＳ４０４）。

制御装置３０は、上記ステップＳ４０１またはＳ４０２のいずれか又は双方で経路計算が出来なかった場合（ステップＳ４０５のＮｏ）、上記ステップＳ４０３またはＳ４０４のいずれか又は双方で、経路計算が出来なかったか否かを確認する（ステップＳ４０６）。ここで、上記ステップＳ４０３またはＳ４０４のいずれか又は双方でも経路計算が出来なかった場合、所定のリンク６０を経由した経路は存在しないことになりフローエントリの作成は行われない（ステップＳ４０６のＮｏ）。

一方、上記ステップＳ４０１またはＳ４０２で経路計算が出来ている場合（ステップＳ４０５のＹｅｓ）、制御装置３０は、ステップＳ４０１、Ｓ４０２で計算した始点−端点Ａ−端点Ｂ−終点の経路と、ステップＳ４０３、Ｓ４０４で計算した始点−端点Ｂ−端点Ａ−終点の経路とのコストを比較する（ステップＳ４０７）。ここでのコスト比較には、たとえば、ホップ数や各リンクの帯域などを用いることができる。

前記コスト比較の結果、ステップＳ４０１、Ｓ４０２で計算した始点−端点Ａ−端点Ｂ−終点の経路の方がコストが低い（ステップＳ４０３、Ｓ４０４で経路計算ができなかった場合も含む）と判定した場合、制御装置３０は、ステップＳ４０１、Ｓ４０２で計算した始点−端点Ａ−端点Ｂ−終点の経路を採用する。

前記コスト比較の結果、ステップＳ４０３、Ｓ４０４で計算した始点−端点Ｂ−端点Ａ−終点の経路の方が、コストが低いと判定した場合、及び、ステップＳ４０５でステップＳ４０１またはＳ４０２のいずれか又は双方で経路計算が出来なかったとの結果が得られている場合、制御装置３０は、ステップＳ４０３、Ｓ４０４で計算した始点−端点Ｂ−端点Ａ−終点の経路を採用する。

なお、ステップＳ４０１〜Ｓ４０４における経路計算にはダイクストラ法等を用いることができるが、その都度計算するのではなく、予めエンドツーエンドの経路を計算しておき、その中から、始点、端点Ａ、端点Ｂ、終点間の経路を選択する方法も採用することができる。

最後に、上記した各装置が連携する一連の動作を説明する。図１１は、本発明の第１の実施形態の全体の動作を表したシーケンス図である。図１１を参照すると、ユーザにより、これから実行するジョブによって発生するフローについて、所定のリンク６０を使用するか否かの設定が行われる（図１１のＳ００１）。具体的には、リンク選択テーブル３４への図７に例示したエントリの追加や変更が行われる。

その後、ユーザが端末等を用いて、ホスト装置１０にアクセスし、ジョブを起動すると（図１１のＳ００２）、ネットワーク７０の所定の宛先に宛ててパケットが送信される（図１１のＳ００３）。

スイッチ２０は、図８に示したフローチャートに従ってフローエントリを検索するが、ここでは新規に起動したジョブから送信された新規パケットなので、制御装置３０に対するフローエントリの送信を要求する（図１１のＳ００４；Ｐａｃｋｅｔ−Ｉｎ）。

制御装置３０は、スイッチ２０からフローエントリの送信要求を受信すると、図９、図１０に示したフローチャートに従って、ジョブ実行により送信されたパケットの特徴に基づいて、所定のリンク６０を経由した経路または一般のリンク５０を経由した経路を計算する。そして、制御装置３０は、前記計算した経路にてパケットを転送させるフローエントリを生成し、スイッチ２０に設定する（図１１のＳ００５；Ｆｌｏｗ−Ｍｏｄ）。なお、図１１の例では、スイッチ２０にのみ、フローエントリを設定しているが、併せてネットワーク７０の経路上のスイッチにもフローエントリを設定することが望ましい。

さらに、制御装置３０は、ネットワーク７０の経路上の終点（宛先）に最も近いスイッチに対し、パケットの出力を指示する（図１１のＳ００６；図９のステップＳ１２５に相当）。

その後、ジョブ実行中のホスト装置が後続パケットを送信すると（図１１のＳ００７）、スイッチ２０は、図１１のＳ００５で設定されたフローエントリに従い、パケットを転送する（図１１のＳ００８）。

以上のように、本実施形態によれば、ジョブ実行により送信されたパケットの特徴に基づいて、所定のリンク６０を経由した経路または一般のリンク５０を経由した経路を選択して、パケット転送を行うことが可能となる。なお、本実施形態では、リンク選択テーブル３４に所定のリンク６０の使用有無のみを定義した例を挙げて説明したが、リンク選択テーブル３４に必要な内容を設定することにより、ジョブ（図７の条件（ルール）と照合するパケットの特徴）に応じて、複数の所定のリンク６０のうちのいずれかを通るように制御したり、他のフローよりも優先するといった制御を行うことが可能である。

［第２の実施形態］
続いて、ホスト装置におけるジョブの実行管理等を行うジョブスケジューラを追加した本発明の第２の実施形態について図面を参照して詳細に説明する。

図１２は、本発明の第２の実施形態の構成を示す図である。図１に示した第１の実施形態の構成との相違は、ホスト装置１０と制御装置３０との間に、制御装置３０にジョブ関連情報を送るジョブスケジューラ４０が追加されている点である。以下、第１の実施形態との相違点を中心に説明する。

図１３は、本発明の第２の実施形態のジョブスケジューラの構成を示す図である。図１３を参照すると、ジョブ管理部４１と、属性データベース（属性ＤＢ）４２と、リンク使用要否判定部４３と、を備えた構成が示されている。

図１４は、属性ＤＢ４２に格納されるエントリの構成例を示す図である。図１４の（Ａ）は、ジョブの属性と、リンクの使用／非使用情報とを対応付けた例である。ジョブの属性としては、実行ユーザ、実行ユーザグループ、実行ファイル、使用リソース（使用するサーバ数、必要コア数、ＣＰＵアーキテクチャ、メモリー容量、一時ディスク容量、使用するファイルの位置等）、起動前の処理（スクリプトなどで記述される場合もある）、起動後の処理（スクリプトなどで記述される場合もある）、ジョブの優先度、実行ファイルの構成要素（リンクするライブラリ、使用するクラスライブラリ、バイナリ内のシンボル等）、時刻（登録、開始）、ジョブの動作に関する付加情報（リソースの占有/共用、ノード間通信の頻度、所定リンクの使用/非使用、使用する所定リンクの情報、所定リンクの使用優先度、所定リンクの占有/共用等）、使用する中間装置種類（暗号化装置、ファイアウォール、パケット解析装置等）等を挙げることができる。

図１４の（Ｂ）は、図１４の（Ａ）のエントリに、所定のリンク６０の識別子や構成情報（スイッチ及びポート）等を追加した例である。

ジョブ管理部４１は、ジョブの実行スケジューリングポリシーに従い、ホスト装置１０におけるジョブの実行管理を行うとともに、リンク使用可否判定部４３に対し、実行するジョブを通知する。

リンク使用要否判定部４３は、ジョブ管理部４１から実行ジョブの情報を受け取ると、属性ＤＢ４２を参照して、リンクの使用要否を判定し、制御装置３０に通知する。

なお、ジョブスケジューラ４０への、ジョブの登録方法としては、バッチシステムの様に、ジョブの内容を記述したファイルを登録する方法や、コマンドラインで実行ファイルを呼び出す方法等が挙げられる。

続いて、本実施形態の動作について図面を参照して詳細に説明する。図１５は、ジョブスケジューラ４０の動作を表したフローチャートである。まず、ジョブスケジューラ４０のジョブ管理部４１へのジョブ登録が行われる（ステップＳ３０１）。

ジョブスケジューラ４０のジョブ管理部４１は、ジョブのスケジューリングポリシーに従ってジョブの実行まで待つ（ステップＳ３０２）。

ジョブの実行タイミングが到来すると、当該ジョブの実行に必要なリソースの割り当てが行われる（ステップＳ３０３）。

次に、リンク使用要否判定部４３は、実行ジョブの情報をもとに、属性ＤＢ４２を検索し、ジョブの実行に所定のリンク６０が関係するか否か、即ち、所定のリンク６０を経由して通信させるべきジョブであるか否かを判定する（ステップＳ３０４）。

前記判定の結果、所定のリンク６０を経由して通信させるべきジョブであると判定した場合、リンク使用要否判定部４３は、ジョブの動作するホスト装置１０やその他の情報源から取得したジョブの通信関連のリソース情報に基づき、制御装置３０に対し、リンク選択テーブル３４への新規エントリの登録を要求する（ステップＳ３０６）。より具体的には、この新規エントリは、通信元となるＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレス、ＭＡＣアドレス、ポート番号、通信先のＩＰアドレス、ＭＡＣアドレス、ポート番号等の当該ジョブにより発生するパケットを特定するための情報と、所定のリンク６０と、その使用／非使用情報とを対応付けて構成される。

その後、ジョブスケジューラ４０のジョブ管理部４１は、ジョブを実行する（ステップＳ３０７）、そして、ジョブの実行が終了すると、ジョブスケジューラ４０は、制御装置３０に対し、リンク選択テーブル３４から、ステップＳ３０６で登録したエントリの削除を要求し、終了する（ステップＳ３０８）。このリンク選択テーブル３４からのエントリ削除により、以降、制御装置３０は、同等の送信元や宛先のパケットを受信した場合に、所定のリンク６０を経由しないよう経路制御する。

なお、ステップＳ３０４において、所定のリンク６０を経由して通信させる必要のないジョブであると判定した場合、ジョブスケジューラ４０は、リンク選択テーブル３４へのエントリ追加等は省略してジョブを実行する（ステップＳ３０５）。

最後に、上記したジョブスケジューラ４０が追加された構成における一連の動作を説明する。図１６は、本発明の第２の実施形態の全体の動作を表したシーケンス図である。図１６を参照すると、ジョブスケジューラ４０が、制御装置３０に対し、リンク選択テーブル３４へのこれから実行するジョブに対応するエントリの登録を要求する（図１６のＳ５０１；図１５のステップＳ３０６参照）。

その後、ジョブスケジューラ４０が、ジョブを起動すると（図１６のＳ５０２）、ホスト装置１０においてジョブがネットワーク７０の所定の宛先に宛ててパケットが送信される（図１６のＳ５０３）。

その後の動作は、第１の実施形態と同様であり、制御装置３０が、リンク選択テーブルに基づいたフローエントリを作成し、スイッチ２０に設定する。その後、ジョブ実行が終わるまで、ホスト装置１０から送信されたパケットは、所定のリンク６０を経由する経路で転送されることになる。

以上のように、本発明は、ジョブスケジューラを有する構成に好適に適用することができる。

［第３の実施形態］
続いて、上記した第２の実施形態の制御装置に、ジョブの実行フェーズと連動したフローエントリの削除機能を追加した第３の実施形態について図面を参照して詳細に説明する。本実施形態は、上記第２の実施形態の制御装置に変更を加えたものであるので、以下、その相違点を中心に説明する。

図１７は、本発明の第３の実施形態の制御装置３０Ａの構成を示す図である。図５に示した制御装置３０との相違点は、計算済みの経路を管理するパステーブル３６と、パステーブル３６からのエントリの削除を行うパス削除部３７とが追加されている点である。

図１８は、パステーブル３７のエントリの構成例を示す図である。図１８を参照すると、リンク選択テーブル３４のエントリＩＤと、経路を構成する各スイッチの情報とを対応付けたエントリが示されている。図１８のリンク選択テーブルのエントリＩＤフィールドには、当該経路の生成契機となったリンク選択テーブル３４のエントリを特定するためのＩＤが格納される。また、スイッチ情報フィールドには、経路上の各スイッチの識別子（ＤＰＩＤ）と、その経路に対応して各スイッチに設定されたフローエントリの内容が格納される。

パス削除部３７は、ジョブスケジューラ４０からの指示に基づいて、パステーブル３６からのエントリの削除を行う。

続いて、本実施形態の動作について図面を参照して詳細に説明する。図１９は、本発明の第３の実施形態のジョブスケジューラの動作を表したフローチャートである。以下、本実施形態では、実行の前後に、前処理と後処理の実行が必要なジョブを実行させるものとして説明する。

図１９を参照すると、まず、ジョブスケジューラ４０のジョブ管理部４１へのジョブ登録が行われる（ステップＳ６０１）。

ジョブスケジューラ４０のジョブ管理部４１は、ジョブのスケジューリングポリシーに従ってジョブの実行まで待つ（ステップＳ６０２）。

ジョブの実行タイミングが到来すると、当該ジョブの実行に必要なリソースの割り当てが行われる（ステップＳ６０３）。

次に、リンク使用要否判定部４３は、実行ジョブの情報をもとに、属性ＤＢ４２を検索し、ジョブの前処理の実行に所定のリンク６０が関係するか否か、即ち、所定のリンク６０を経由して通信させるべき前処理であるか否かを判定する（ステップＳ６０４）。

前記判定の結果、当該ジョブの前処理を所定のリンク６０を経由して通信させるべきと判定した場合、リンク使用要否判定部４３は、ジョブの動作するホスト装置１０やその他の情報源から取得したジョブの通信関連のリソース情報に基づき、制御装置３０に対し、リンク選択テーブル３４への新規エントリの登録を要求する（ステップＳ６０６）。より具体的には、この新規エントリは、通信元となるＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレス、ＭＡＣアドレス、ポート番号、通信先のＩＰアドレス、ＭＡＣアドレス、ポート番号等の当該ジョブにより発生するパケットを特定するための情報と、所定のリンク６０と、その使用／非使用情報とを対応付けて構成される。

その後、ジョブスケジューラ４０のジョブ管理部４１は、ジョブの前処理を実行する（ステップＳ６０７）、そして、ジョブの前処理の実行が終了すると、ジョブスケジューラ４０は、制御装置３０に対し、リンク選択テーブル３４から、ステップＳ６０６で登録したエントリの削除を要求し、終了する（ステップＳ６０８）。

なお、ステップＳ６０４において、所定のリンク６０を経由して通信させる必要がないと判定した場合、ジョブスケジューラ４０は、リンク選択テーブル３４へのエントリ登録要求等は省略してジョブの前処理を実行する（ステップＳ６０５）。

その後、ジョブスケジューラ４０は、ジョブ、後処理についても同様に、属性ＤＢ４２を参照して、所定のリンク６０を経由して通信させるべきか否かを判定し、その結果に応じて、リンク選択テーブル３４へのエントリの登録、実行、リンク選択テーブル３４からのエントリの削除を実行する（ステップＳ６０９〜Ｓ６１８）。

図２０は、本実施形態の制御装置３０Ａの動作を表したフローチャートである。図９に示した第１の実施形態の制御装置３０の動作との相違点は、フローエントリの作成後（ステップＳ１２３）、計算した経路をパステーブル３６に記録する点である（ステップＳ１２３−２）。その他は、図９に示した第１の実施形態と同様であるので説明を省略する。

図２１は、ジョブスケジューラ４０からリンク選択テーブル３４の削除要求を受けた際の制御装置３０Ａの動作を表したフローチャートである。図２１を参照すると、ジョブスケジューラ４０からリンク選択テーブル３４の削除要求を受けた制御装置３０Ａは、リンク選択テーブル３４から該当エントリを削除する（ステップＳ７０１）。

次に、制御装置３０Ａは、パステーブル３６から、ステップＳ７０１で削除したエントリに関連する経路エントリを検索する（ステップＳ７０２）。検索の結果、ステップＳ７０１で削除したエントリに関連する経路エントリが見つからなかった場合（ステップＳ７０３のＮｏ）、制御装置３０Ａは、処理を終了する。

一方、ステップＳ７０１で削除したエントリに関連する経路エントリが見つかった場合（ステップＳ７０３のＹｅｓ）、制御装置３０Ａは、当該経路エントリに示された経路上のスイッチ２０に対し、削除した経路エントリに対応するフローエントリの削除を指示する（ステップＳ７０４）。

最後に、制御装置３０Ａは、パステーブル３６から該当経路エントリを削除する（ステップＳ７０５）。

最後に、本実施形態の動作を説明する。図２２は、本発明の第３の実施形態の全体の動作を表したシーケンス図である。図２２を参照すると、ジョブスケジューラ４０が、制御装置３０に対し、リンク選択テーブル３４へこれから実行するジョブ（前処理、後処理を含む）に対応するエントリの登録を要求する（図２２のＳ５０１；図１５のステップＳ３０６参照）。

その後、ジョブスケジューラ４０が、ジョブの前処理を起動すると（図２２のＳ５０２ａ）、ホスト装置１０においてジョブの前処理が実行され、その内容に従いネットワーク７０の所定の宛先に宛ててパケットが送信される（図２２のＳ５０３）。

その後の図２２のＳ５０８までの動作は、第２の実施形態と同様である。その後、ジョブの前処理が終了すると（図２２のＳ５０９ａ）、ジョブスケジューラ４０は、制御装置３０Ａに対し、リンク選択テーブル３４からのエントリの削除を要求する（図２２のＳ５１０）。

制御装置３０Ａは、リンク選択テーブル３４から該当エントリを削除するとともに、パステーブル３６を参照し、不要となった経路に対応するフローエントリが設定されているスイッチ２０に対し、フローエントリの削除を指示する（図２２のＳ５１１；Ｆｌｏｗ−Ｍｏｄ（ＤＥＬ）；図２１のステップＳ７０４）。

その後、スイッチ２０からフローエントリの削除完了通知を受け取ると（図２２のＳ５１０）、制御装置３０Ａは、パステーブル３６の該当エントリを削除するとともに、ジョブスケジューラ４０に対し、所定のリンク６０の使用が終了したことを通知する（図２２のＳ５１３）。その後、ジョブスケジューラ４０は、ジョブを起動し（図２２のＳ５０２ａ）、上記ステップＳ５０３以降と同様の手順が行われる。

以上のように、本実施形態によれば、上記した第１、第２の実施形態の効果に加えて、スイッチ２０内のフローエントリ記憶部２２から必要でなくなったフローエントリを削除することが可能になる。この結果、フローエントリ記憶部２２の記憶領域の利用効率が高まるほか、スイッチ２０のフローエントリの検索性能（応答性能）が向上する。

［第４の実施形態］
続いて、所定のリンク６０上に、中間装置を配置した第４の実施形態について図面を参照して詳細に説明する。

図２３は、本発明の第４の実施形態の構成を示す図である。図２３に示されたとおり、本実施形態は、上記第２、第３の実施形態のスイッチ２０とネットワーク７０間に中間装置８０を追加した構成となっている。その他、各装置の構成は上記した第２、第３の実施形態と同様であるので、以下、その相違点を中心に説明する。

中間装置８０としては、例えば、受信パケットのカプセル化／デカプセル化を行うカプセル化装置、受信パケットに暗復号処理を加える暗号化装置、ファイアウォール、パケット解析装置などが挙げられる。もちろん、これらの装置は例示であり、その他の種々の装置を配置することができる。

本実施形態では、図７に示したリンク選択テーブル３４の使用／非使用フィールドが、中間装置８０の利用要否を示す情報として用いられる。中間装置８０として複数の装置が配置されている場合、図７に示したリンク選択テーブル３４のエントリに、中間装置８０の種別や識別情報を指定するフィールドを追加してもよい。

図２４、図２５は、本発明の第４の実施形態の全体の動作を表したシーケンス図である。図２４は、リンク選択テーブル３４による判定の結果、中間装置８０を利用しないと判定された場合のシーケンスを示している。基本的な流れは図１６に示したシーケンスと同様であるので、説明を省略する。

図２５は、リンク選択テーブル３４による判定の結果、中間装置８０を利用すると判定された場合のシーケンスを示している。この場合、制御装置３０Ａは、所定のリンク６０上の中間装置８０を経由する経路を作成し、その経路に沿ってパケット転送を行わせるフローエントリを作成する。

以上のように、本実施形態によれば、所定のリンクの経由のみならず、ジョブベースで中間装置８０の利用要否を制御することが可能となる。

例えば、中間装置８０として暗号化装置を配置した場合、秘密性の高いジョブに関連する通信に関して、ジョブで通信を暗号化せずとも、中間装置で外部との通信時にセキュリティ向上のための暗号化を行うことが可能となる。

また例えば、中間装置８０としてファイアウォールを用いてもよい。これにより、信頼性の低いジョブのみをファイアウォール経由で通信させることで不適切な通信を遮断することが可能となる。その一方で、信頼性の高いジョブに関しては、ファイアウォールを通さないようにすることでオーバヘッドを削減してもよい。また、この場合に、ユーザあるいはグループで、ジョブを判別し、ファイアウォールを通す通さないを決定することもできる。

また例えば、中間装置８０として、ディープパケットインスペクション装置等のパケット解析装置を用いてもよい。これにより、特定のジョブの通信のみパケットを詳細に解析することが可能となる。その一方で、解析対象以外のジョブに関しては、解析を行わないことでオーバヘッドを削減してもよい。また、この場合に、通信先あるいは通信元により中間装置を通す通さないを決定することもできる。

以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、上記した実施形態の説明に用いたネットワーク構成や制御装置やジョブスケジューラの構成は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。

また上記した実施形態では、非特許文献２のオープンフローに順じたシステムを用いるものとして説明したが、その他の集中制御型のシステムにも適用することが可能である。

本発明のさらなる変形形態として、以下の形態を例示する。
［形態１］
上記した各実施形態において、所定のリンク６０が、遅延が保証された回線、一般のリンク５０がベストエフォートな回線である場合が挙げられる。この場合、通信遅延を保証しなければいけないジョブに所定のリンク６０を使用させ、その他のジョブには、ベストエフォートな回線を使用させることが望ましい。即ち、基幹業務の様なミッションクリティカルなジョブに所定のリンクを優先的に割り当てる形態を採ることができる。
［形態２］
上記した各実施形態において、所定のリンク６０が高帯域な専用線、一般のリンク５０が、インターネットである場合が挙げられる。この場合も、高帯域な回線を使用するジョブに所定のリンク６０を使用させ、その他のジョブには、インターネットを使用させることが望ましい。このように専用線の使用用途を限定することで、専用線の使用料を下げ、通信コストの削減が期待される。また、このような所定のリンク６０の用途として、バックアップサイトへのバックアップデータの転送、データベースのレプリケーションのためのデータ転送、計算センターとのデータの送受信等がある。
［形態３］
上記した各実施形態において、所定のリンク６０を複数設けてもよい。この際、各所定のリンクを介して、光回線、３Ｇ、ＬＴＥ（ＵＭＴＳ Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）等の様々なネットワークに接続できるようにしてもよい。また、この場合、ジョブ毎に、ネットワークを選択設定することが可能となる。例えば、災害時等、特定の回線が使えない場合に、優先的に通信すべきジョブを、安定した通信回線を使用し、その他のジョブは、他の回線を使用するといった運用も可能となる。
［形態４］
また、この際、ジョブの優先度の判定法として、ユーザあるいはユーザグループを用いることもできる。これにより、災害時に優先的に処理すべきユーザのジョブの通信に所定のリンク６０を使用させることが可能となる。
［形態５］
また、複数の所定のリンク６０が、異なる通信帯域あるいは異なる通信遅延の回線で構成されていてもよい。この際、ジョブの優先度と、所定リンクの遅延のレベルや、帯域を対応付けることも可能となる。このようにすることで、ジョブの優先度と、回線の品質を容易に関連付けることが可能となる。
［形態６］
また、上記した実施形態では、ジョブスケジューラ４０が属性ＤＢ４２及びリンク使用要否判定部４３を備えるものとして説明したが、属性ＤＢ４２及びリンク使用要否判定部４３は、ジョブスケジューラ４０の外部にあってもよい。例えば、属性ＤＢ４２及びリンク使用要否判定部４３が、制御装置３０に配置されている構成も採用可能である。

なお、上記の特許文献および非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

１０ ホスト装置
２０ スイッチ
２１ パケット処理部
２２ フローエントリ記憶部
３０、３０Ａ 制御装置
３１ 通信部
３２ 経路計算部
３３ トポロジーデータベース（トポロジーＤＢ）
３４ リンク選択テーブル
３５ フローエントリ設定部
３６ パステーブル
３７ パス削除部
４０ ジョブスケジューラ
４１ ジョブ管理部
４２ 属性データベース（属性ＤＢ）
４３ リンク使用要否判定部
５０ 第２のリンク（一般リンク）
６０ 第１のリンク（所定のリンク）
７０ ネットワーク
８０ 中間装置

Claims (10)

1. ジョブとフローとの関連を表したジョブ関連情報を参照して、フローを処理するための制御情報を生成し、前記フローに属するパケットを受信するスイッチに送信する制御装置と、
   前記制御装置から受信した制御情報に基づいて、前記フローに属するパケットを処理するスイッチと、を含む通信システム。
2. 前記制御装置は、さらに、フローを特定するための条件と、ジョブ毎に適用される制御内容とを対応付けたテーブルを備え、
   前記ジョブ関連情報に基づいて更新される前記テーブルを参照して、前記制御情報を生成する請求項１の通信システム。
3. さらに、前記制御装置に対してジョブ関連情報を送信するジョブスケジューラを含み、
   前記制御装置は、前記ジョブスケジューラから受信したジョブ関連情報に基づいて、前記テーブルを更新する請求項２の通信システム。
4. 前記制御装置は、さらに、
   前記ジョブスケジューラから前記ジョブ関連情報として、所定のリンクの使用要否情報を受信し、
   前記所定のリンクの使用要否情報に基づいて、前記所定のリンクを含む又は含まない経路にてパケットの転送を行う制御情報を生成する請求項１から３いずれか一の通信システム。
5. 前記ジョブスケジューラは、ジョブの実行フェーズ毎に、前記所定リンクの使用要否を変更する請求項４の通信システム。
6. 前記制御装置は、前記ジョブスケジューラの指示に基づいて、前記スイッチに対し、制御情報の削除を要求する請求項３から５いずれか一の通信システム。
7. 前記所定のリンクには、カプセル化装置、暗号化装置、ファイアウォール、パケット解析装置のいずれか一以上の中間装置が接続され、
   ジョブに応じて前記中間装置での処理を行うか否かを選択する請求項１から６いずれか一の通信システム。
8. 制御装置から受信した制御情報に基づいて、フローに属するパケットを処理するスイッチと接続され、
   ジョブとフローとの関連を表したジョブ関連情報を参照して、フローを処理するための制御情報を生成し、前記スイッチに送信する制御装置。
9. フロー別に生成された制御情報に基づいてフローに属するパケットを処理するスイッチと接続された制御装置が、
   ジョブとフローとの関連を表したジョブ関連情報を参照して、フローを処理するための制御情報を生成するステップと、
   前記スイッチに前記生成した制御情報を送信するステップと、を含む通信方法。
10. フロー別に生成された制御情報に基づいてフローに属するパケットを処理するスイッチと接続された制御装置を構成するコンピュータに、
    ジョブとフローとの関連を表したジョブ関連情報を参照して、フローを処理するための制御情報を生成する処理と、
    前記スイッチに前記生成した制御情報を送信する処理と、を実行させるプログラム。

Images