JP2015080143A - リンク品質計測装置ならびにそのフローエントリ集約方法およびプログラム - Google Patents

Abstract

【課題】ネットワーク上の各スイッチに登録される計測用の試験パケットのフローエントリ数を削減できるリンク品質計測装置およびそのフローエントリ集約方法およびプログラムを提供する。
【解決手段】サーバ装置１において、計測経路計算部１０１は、試験パケットの通信経路を計算して、試験パケットの通信経路の群を取得する。フローエントリ集約部１０２は、通信経路の計算結果に応じて各スイッチSWに登録される、当該スイッチSWを通過する試験パケットのフローエントリを集約してエントリ数を削減するための最適解を、整数計画問題を解いて求める。通信経路設定部１０３は、集約されたフローエントリをコントローラ２０１から各スイッチSWへ登録する。計測端末２において、計測実行部１０４は試験パケットを送受信し、観測データから各リンクの通信品質を推定することなどの計測処理を実行する。
【選択図】図１

Description

本発明は、リンク品質計測装置ならびにそのフローエントリ集約方法およびプログラムに係り、特に、ネットワーク上の各スイッチに登録される試験パケットのフローエントリ数を削減できるリンク品質計測装置ならびにそのフローエントリ集約方法およびプログラムに関する。

ネットワーク機器をソフトウェアで一元的に制御するSDN(Software Defined Network)と呼ばれるアーキテクチャが非特許文献１に開示されている。非特許文献２には、SDNを実現するための代表的な技術であるOpenFlowに関して、MACアドレス、IPアドレスおよびポート番号などを組み合わせて定義される「フロー」を単位として、フローのマッチ条件および処理方法をフローエントリとしてコントローラまたはスイッチに設定し、通信経路を制御する技術が開示されている。

しかしながら、OpenFlowネットワークの運用監視手法については未だ十分に検討が進んでいない。OpenFlowスイッチ（以下、スイッチ）では、従来のネットワーク機器と同様に、ネットワーク機器自体が保持する統計情報（MIB：Management Information Base）を遠隔監視する手法が利用可能となっている。しかしながら、スイッチへの頻繁なMIBの問合せはスイッチの処理負荷を増大させてしまうため、通信品質を常時監視することは困難である。また、パケット遅延に関する一部の品質メトリックがMIBに定義されていない課題もある。

特許文献１には、OpenFlowネットワークにおいて、ネットワーク上の全てのリンクを網羅的に通過するように通信経路を設定した上で、１台の計測端末から試験パケットを送出し、各スイッチから折り返し戻ってくる試験パケットの挙動を観測することにより、各リンクの通信品質(ロス率や遅延の平均など)を監視する技術が提案されている。

特許文献２には、ネットワーク上の各スイッチに登録される試験パケットのフローエントリ数を削減するために、複数のフローエントリを一つに集約することでフローエントリ数を削減する技術が開示されている。このとき、宛先アドレス（ポート番号）の異なる複数のエントリを集約すると各エントリの識別性が損なわれるため、特許文献２では、新たに「グループ」という識別概念を導入し、集約により宛先アドレスやポート番号による識別性が損なわれる場合には、各エントリを異なるグループに分類し、グループ識別子Gxと宛先アドレスとの組み合わせで各フローエントリの識別性を担保するようにしている。

特願2013-064413号 特願2013-202316号

Open Networking Foundation (URL)http://www.openflow.org/ 「次世代網を実現するOpenFlow技術最新動向2013」インプレスR&Dインターネットメディア総合研究所 N. Varris, and J. Manner, "Performance of a Software Switch," in Proc.of HPSR 2011, July 2011. A. Bianco, R. Birke, L. Giraudo, and M. Palacin , "OpenFlow Switching: Data Plane Performance, " in Proc. of ICC, page 1-5, IEEE 2010.

従来のOpenFlowネットワーク向けアクティブ計測技術では、特許文献１に開示されているように、各スイッチに対して、当該スイッチを通過する試験パケットフローと（ほぼ）同数のフローエントリが登録される。このため、監視対象ネットワークが大規模化するにつれ、各スイッチに登録されるフローエントリ数も増大する。

しかしながら、非特許文献３で論じられているように、一般的に各スイッチに登録可能なフローエントリ数には上限があるため、当該スイッチに対して、(試験パケットフロー以外の)新たなフローエントリを追加設定できない問題が発生してしまう。さらに、非特許文献４で論じられているように、登録フローエントリ数が増大するにつれ、パケット処理性能が低下してしまう問題も発生する。このため、各スイッチに登録する試験パケット用のフローエントリ数は、可能な限り最小化する必要がある。

特許文献２では、計測システムにおいて各スイッチに登録されるフローエントリ数を最小化する近似アルゴリズムが提案されている。しかしながら、求められる解は近似解であり、必ずしも最適な解であるとは限らない。

本発明の目的は、従来技術の課題を解決し、ネットワーク上の各スイッチに登録される試験パケットのフローエントリ数を、最小値の最適解まで削減できるリンク品質計測装置ならびにそのフローエントリ集約方法およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、計測端末から送出された試験パケットを、ネットワーク上の各スイッチに登録されたフローエントリにしたがって中継するリンク品質計測装置ならびにそのフローエントリ集約方法およびプログラムにおいて、以下のような手段を講じた点に特徴がある。

(1)本発明のリンク品質計測装置は、各スイッチの少なくとも一つにおいて、一の出リンクを通過する複数の試験フローに関するフローエントリが一つに集約され、集約されたフローエントリでは、ユニークな識別子が前記出リンクと対応付けられ、フローエントリを集約されたスイッチは、前記識別子の記述された試験パケットを、前記フローエントリに基づいて対応する出リンクへ転送するようにした。

(2)本発明のリンク品質計測装置ではさらに、通過する全ての試験フローのフローエントリが一つに集約されたリンクの複数の試験フローが共通して通過する他のリンクを出リンクとするスイッチでは、当該複数の試験フローのフローエントリが集約されるようにした。

(3)本発明のフローエントリ集約方法は、各スイッチに登録されるフローエントリ数のネットワーク内における最大値を最小化する目的関数を設定し、各スイッチのフローエントリ数を当該スイッチの各出リンクを通過する試験フロー数の総和とし、集約有りリンクを「１」、集約無しリンクを「０」とするバイナリ変数を定義し、各スイッチの入リンクの試験フロー数を各出リンクの試験フロー数の総和に基づいて計算すること、集約有りリンクの試験フロー数を「１」とすること、および各試験フローが通過するリンクに対応したバイナリ変数の総和が試験パケットに追加できるフィールド数（識別子の数）に等しいことを制約条件に含む整数計画問題を解いて集約対象のリンクを決定するようにした。

本発明によれば、以下のような効果が達成される。
(1)OpenFlow 等のSDNにおいて、１台の計測端末で全てのリンクの通信品質を計測する際に、各スイッチにおいて、少ないフローエントリ数でパケットを制御し、通信品質を測定することが可能となる。

(2)フローエントリ数を最小化して登録することで、マッチング検索の処理時間および使用メモリサイズを削減し、通常のデータ転送のためのエントリ数を増やすことで、本来の目的であるデータ転送のための制御に有効に使用できるようになる。

本発明が適用されるリンク品質計測装置システムの主要部の構成を示したブロック図である。 フローエントリの集約方法を説明するための図（集約前）である。 フローエントリの集約方法を説明するための図（集約後）である。 通信経路の包含関係を説明するための図である。 追加集約の方法を説明するための図である。 式(3)，(4)を説明するための図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明が適用されるリンク品質計測装置の主要部の構成を示したブロック図であり、リンク品質計測部１０およびSDNのネットワーク２０より構成される。ここでは、SDNがOpenFlowである場合を例にして説明するものとし、本発明の説明に不要な構成は図示が省略されている。

リンク品質計測部１０は、サーバ装置１および計測端末２を備え、サーバ装置１は、計測経路計算部１０１、フローエントリ集約部１０２および通信経路設定部１０３を備える。ネットワーク２０は、OpenFlowコントローラ２０１、複数のOpenFlowスイッチ（ルータに対応するもの）および複数のホストを備える。コントローラ２０１と各スイッチとはOpenFlowプロトコルで通信し、各スイッチはSDNにより接続され、各スイッチとホストとの間ではデータ（パケット）転送が行われる。

前記サーバ装置１および計測端末２は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装して構成しても良いし、あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成しても良い。

サーバ装置１において、計測経路計算部１０１は、例えば特許文献１に開示された方式で試験パケットの通信経路を計算して、試験パケットの通信経路の群を取得する。フローエントリ集約部１０２は、後に詳述するように、前記通信経路の計算結果に応じて各スイッチに登録される、当該スイッチを通過する試験パケットのフローエントリを集約してフローエントリ数を削減する。通信経路設定部１０３は、前記集約されたフローエントリを前記コントローラ２０１から各スイッチへ登録する。

計測端末２において、計測実行部１０４は、試験パケットを送受信し、観測データから各リンクの通信品質を推定することなどの計測処理を実行する。本実施例では、物理的なネットワーク機器間の接続関係を表すトポロジ情報、各スイッチの管理情報（例えば、MACアドレス）は既知であるとし、これらの情報はサーバ装置１に予め記憶されている。

前記計測経路計算部１０１は、初めに、各スイッチのインタフェースを頂点、各インタフェース間のリンクを辺とし、全てのリンクがカバーされるように、計測端末２を根(root)とする最短木を計算する。次いで、各試験パケットが、計算された最短経路に沿って各スイッチへ転送され、さらに予め指定されたインタフェースで折り返して計測端末２に戻ってくるよう、各スイッチにパケット転送ルール(フローエントリ)を設定する。

図２は、前記計測経路計算部１０１により設定されるフローエントリの一例を模式的に示した図であり、ここでは、スイッチSW8に登録される往路のフローエントリに着目して説明する。

計測端末２から送出されて各スイッチSWおよびリンクを中継して宛先の各スイッチ（インタフェース）へ至る各試験フローには、識別情報として宛先ポート番号（DstPort）が割り当てられている。図２では、スイッチSW8のフローエントリに、DstPort=1，2，3，4，7の各試験フローはリンクl7へ転送する旨の５つの転送ルールが登録されているので、計測端末２から送出されてスイッチSW8へ入力された８つの試験フローのうち、DstPort=1，2，3，4，7の５つの試験フローはリンクl7へ転送されることになる。

なお、図示の例では、DstPort=5，6の各試験フローはリンクl5へ転送され、DstPort=8の試験フローは計測端末２へ折り返されるので、これらの試験フローに関するエントリもフローエントリに登録されているが、ここでは図示を省略している。

前記フローエントリ集約部１０２は、各スイッチSWにおける往路用（指定スイッチに到達するまで）および復路用（計測端末２へ到達するまで）の各フローエントリを集約する。

このうち、復路用のフローエントリについては、宛先スイッチのインタフェースで折り返される試験パケットの宛先IPアドレスが、計測端末２のIPアドレスに書き換えられるので、たとえば「宛先IPアドレスが計測端末２のIPアドレスと同一であれば上流側（計測端末側）のリンクへ転送する」といったフローエントリを各スイッチに１つ設定するだけで、各スイッチに登録される復路用のフローエントリを１つに集約できる。

例えば、図２のスイッチSW7であれば、「宛先IPアドレスとして計測端末２のIPアドレスが設定されているパケットは全てリンクl7に転送する」という1つのフローエントリを設定するだけで、リンクl3，l2，l4から復路用として入力される各試験フローの全てを処理できるようになる。

これは、本発明が前提とする特許文献１では、試験パケットの通信経路が計測端末２を根とする最短木に基づいて計算されるため、各スイッチSWのインタフェース（リンク）から上流に位置する計測端末２までの通信経路は必ず１本に決定されているためである。

一方、各スイッチSWにおける往路用フローエントリの集約は、上流リンクから下流リンクへ転送される複数の試験パケットをグループ化し、新たなヘッダフィールド（例えば、送信元ポート番号）に同じ識別子を設定することにより実現される。集約されたフローエントリの集合では共通の転送ルールが適用されるため、元々、同一の転送ルールが適用されているフローエントリである必要がある。すなわち、同一スイッチの同一インタフェース（リンク）から出力される複数の試験フローの集合が集約対象となる。

なお、本実施例では、各スイッチSWに設定される折り返し試験パケットのフローエントリは、往路用のフローエントリとして分類するものとする。ここで、復路用フローエントリとしてカウントしない理由としては、現在のOpenFlowスイッチの実装では、上流リンクから往路用としてスイッチに入力された試験パケットのヘッダを書き換える処理と、復路用インタフェースに折り返し出力する処理とはセットで1つのエントリとして設定可能であり、往路用フローエントリとしてカウントすれば、各スイッチに登録されるフローエントリ数の計算において重複してカウントしてしまうためである。

すなわち、復路用フローエントリとは、下流にあるスイッチSWから計測端末方向に試験パケットを転送するためのフローエントリのみを意味する一方、往路用フローエントリとは、下流にあるスイッチSWに対して試験パケットを転送するためのフローエントリおよび当該インタフェースにおいて試験パケットを折り返すためのフローエントリの両方を含むものとする。

図３は、前記フローエントリ集約部１０２による集約後の各フローエントリの状態を模式的に示した図である。

DstPort=1，2，3，4，7の各試験フローは、いずれも同一のリンクl7へ転送されるので、スイッチSW8では各フローを一意に識別する必要はない。そこで、前記フローエントリ集約部１０２は、それまで宛先ポート番号(DstPort)で一意に識別されていた５つのフローエントリを一つに集約すると共に、各エントリに共通するユニークな識別子として送信元ポート番号(SrcPort=100)を別途に割り当て、これをリンクl7と対応付けることにより、SrcPort=100の記述された試験パケットは全てリンクl7へ転送するという転送ルールを追加導入する。

そして、集約されたフローで送信される試験パケットには、例えばそのヘッダフィールドに、前記SrcPort=100を記述するようにしたので、各スイッチSWでは試験パケットに記述されているSrcPort番号とフローエントリとを比較・照合し、スイッチSW8であれば、SrcPort=100の記述された試験パケットは全てリンクl7へ転送する。

各スイッチに登録されるフローエントリ数は、非特許文献３，４で論じられているように、当該スイッチのパケット転送処理性能や、試験パケット用フロー以外に登録可能な最大フローエントリ数に影響される。そこで、本実施例では１台のスイッチに登録されるフローエントリ数が最小となるように、集約するフローエントリの最適な組み合わせ（各フローをどのスイッチで集約するか）を、以下で定式化する整数計画問題を解くことで計算する。

なお、物理的なネットワーク機器(以下、スイッチ)間の接続関係を表すトポロジ情報、各スイッチの管理情報（MACアドレス、IFポート番号）は既知であるものとする。また、本発明は各スイッチSWに登録されるフローエントリの集約によるフローエントリ数の削減を目的とするが、以下では便宜上、フローエントリを集約された複数の試験フローについて「試験フローが集約された」という表現を用いる場合もある。

各スイッチに設定されるフローエントリの情報が、前記計測経路計算部１０１により初期状態として与えられているものとする。スイッチSWi (i=1, …, N)とリンクlj (j=1〜L)で構成される監視対象ネットワークを考え、スイッチSWiのフローエントリ数をFiとすると、目的関数は次式(1)で表現される。これは、各スイッチSWに登録されるフローエントリ数の最大値を最小化することを意味する。

次いで、インタフェース（リンク）単位のトポロジを考える。リンクljを通過する試験パケットのフロー数（往路のみ）をfjとすると、スイッチSWiのフローエントリ数Fiは次式(2)で表現される。ここで、lj∈SWiは、リンクljがスイッチSWiの上流側リンク（入リンク）として接続されていることを表現しており、物理的なスイッチ間の接続関係を表すトポロジ情報により判断できる。

なお、上式(1)で計算される最短木はインタフェース単位で構成されており、同一スイッチに属する場合でも、異なる頂点として表現されている。このため、次式(2)の計算には、最短木ではない、物理的なトポロジ情報を用いる必要がある。例えば、図２，３中のSW5には、l4とl5の２本のリンクが入力されているため、両リンクを通過する試験フローの和で計算される。

また、各リンクを通過する試験パケットのフロー数f_j (j=1，2，…L) は、インタフェース単位のトポロジ情報に基づき、次式(3)で示される関係式を満たす。式(3)の符号Rは、リンク間の接続情報（インタフェース単位のトポロジ情報）を表現する経路行列であり、リンクli，lj間に接続関係があれば「１」、接続関係がなければ「０」の値を要素(i，j)に持つ。

例えば、図６において、スイッチSW2の上流側の入リンクl1を通過する試験フロー数f₁は、下流側の２つの出リンクl2，l3の試験フロー数f₂，f₃の和で求まることから、出リンクl2、l3に対応した要素(1，2)および要素(1，3)のみが「１」の経路行列Rを用いて、次式(4)のように計算される。

なお、式(3)，(4)の右辺第２項で各要素に「１」が加えられているのは、インタフェースで折り返す１つの試験フローが加わることを示している。また、式(3)は、上流のインタフェースにおける往路用試験フロー数が下流のスイッチの試験フロー数の和に基づいて計算されることを意味するため、下流スイッチでの集約ルールが上流のスイッチにも適用されることも表現している。

さらに、各リンクljを通過する試験フローを対象に集約を行うかどうかを示すバイナリ関数bjを次式(5)で定義すると、フローエントリの集約を行った場合の試験フロー数fjは次式(6)で表現できる。したがって、リンクljを通過する試験フローのエントリが集約されればfj=1とみなして計算が継続され、集約されなければfjのままとなる。

ここで、集約されたフローエントリに対しては、新しいヘッダフィールドに共通のユニークな識別子を設定するため、一度集約したフローエントリを同一のヘッダフィールドを用いて再集約することはできない。言い換えれば、１種類のヘッダフィールドを用いて集約する場合、１度集約したフローエントリは、その通信経路上で異なるフローと再集約することはできない。このため、bjは次式(7)の制約を受ける。

ここで、rjはリンクliと計測端末間の上での最短経路を意味しており、上式(7)中のr_j⊂r_kは、試験パケットの通信経路（往路）r_jが、別の通信経路r_kに包含されることを意味している。例えば、図４のトポロジにおいては、r₈⊂r₇⊂r₃⊂r₁、r₈⊂r₇⊂r₂、r₈⊂r₇⊂r₄、r₈⊂r₅⊂r₆といった、通信経路の包含関係があるため、１つ目の包含関係(r₈⊂r₇⊂r₃⊂r₁)からは、b_8，b_7，b_3，b₁のうち最大で１つしか「１」となることができないという制約条件が適用される（他の包含関係からも同様の制約条件が適用される）。集約のために設定できるヘッダフィールド数をMとすれば、上式(7)は次式(8)で一般化される。

上式(1)-(8)は整数計画問題で表現されており、汎用のソルバ（e.g., IBM ILOGCPLEXソやGLPK(Gnu Linear Programming Kit)等のソフトウェアにより最適解（max{F1, F2, …, FN}の最小値、ならびに、そのときのbj (j=1, 2, …, L)）を計算できる。

上記の最適化計算が完了した後は、bj=1となったリンクljごとに、当該リンクを通過する全試験フローの集約が行われる。具体的には、対象フローの試験パケットヘッダフィールドに新たに一意の識別子を設定し、さらに当該スイッチに、前記図２，３を参照して説明したように、その新たなフィールドを用いた転送ルールを既存のフローエントリの代わりに設定する。

なお、上記の集約は、上式(3)，(4)の制約により、当該リンクが下流に接続されているスイッチのみならず、上流に位置する各スイッチに対しても実施される。例えば、図５において、リンクl3における集約が最適解として計算された場合(b3=1)は、リンクl3を通過する通信経路r1，r3に対応するフローエントリに、SrcPort番号=100といったルールが追加されて１つのフローエントリに集約され、その設定は、通信経路r1，r3が共通して通過する全てのスイッチ（SW8，SW7）に設定される。

すなわち、本実施例によれば、最適解として計算されたリンクl3を出リンクとするスイッチSW7のみならず、その上流側で通信経路r1，r3が共通して通過するスイッチSW8のフローエントリも集約される。

本実施例によれば、OpenFlow等のSDNにおいて、各スイッチのフローエントリ数を少なく抑えながら、１台の計測端末で全リンクの通信品質を計測できるようになる。また、フローエントリ数を最小化して登録することで、マッチング検索処理時間の短縮、使用メモリサイズの小型化が実現され、通常のデータ転送用のエントリ数を増やすことができるので、本来の目的であるデータ転送を優先させた品質計測が可能になる。

１…サーバ装置，２…計測端末，１０…リンク品質計測部，２０…ネットワーク，１０１…計測経路計算部，１０２…フローエントリ集約部，１０３…通信経路設定部，２０１…OpenFlowコントローラ

Claims (7)

1. 計測端末から送出された試験パケットを、ネットワーク上の各スイッチに登録されたフローエントリにしたがって中継するリンク品質計測装置において、
   各スイッチの少なくとも一つにおいて、一の出リンクを通過する複数の試験フローに関するフローエントリが一つに集約され、
   前記集約されたフローエントリでは、ユニークな識別子が前記出リンクと対応付けられ、
   前記フローエントリを集約されたスイッチは、前記識別子の記述された試験パケットを、前記フローエントリに基づいて対応する出リンクへ転送することを特徴とするリンク品質計測装置。
2. 通過する全ての試験フローのフローエントリが一つに集約されたリンクの複数の試験フローが共通して通過する他のリンクを出リンクとするスイッチでは、当該複数の試験フローのフローエントリが集約されていることを特徴とする請求項１に記載のリンク品質計測装置。
3. 前記試験パケットの計測経路を計算する手段と、
   前記計測経路に対応した各スイッチのフローエントリを集約する手段と、
   前記集約された各フローエントリを対応する各スイッチに登録する手段とを具備し、
   前記集約する手段は、
   各スイッチに登録されるフローエントリ数の最大値を最小化する目的関数を設定し、
   各スイッチのフローエントリ数を当該スイッチの各出リンクを通過する試験フロー数の総和とし、
   集約有りリンクを「１」、集約無しリンクを「０」とするバイナリ変数を定義し、
   各スイッチの入リンクの試験フロー数を各出リンクの試験フロー数の総和に基づいて求めること、集約有りリンクの試験フロー数を「１」とすること、および各試験フローが通過するリンクに対応したバイナリ変数の総和が試験パケットに追加できるフィールド数に等しいこと、を制約条件に含む整数計画問題を解いて集約対象のリンクを決定することを特徴とする請求項１または２に記載のリンク品質計測装置。
4. 前記各スイッチの入リンクの試験フロー数が、各出リンクの試験フロー数の総和+１として求められることを特徴とする請求項３に記載のリンク品質計測装置。
5. 各スイッチでは、計測端末のアドレスを宛先アドレスとする復路の試験パケット用のフローエントリが一つに集約されていることを特徴とする請求項１ないし４のいずれかに記載のリンク品質計測装置。
6. ネットワーク上の各スイッチに登録される試験パケットのエントリーフローをコンピュータが集約する方法であって、
   各スイッチに登録されるフローエントリ数の最大値を最小化する目的関数を設定し、
   各スイッチのフローエントリ数を当該スイッチの各出リンクを通過する試験フロー数の総和とし、
   集約有りリンクを「１」、集約無しリンクを「０」とするバイナリ変数を定義し、
   各スイッチの入リンクの試験フロー数を各出リンクの試験フロー数の総和に基づいて求めること、集約有りリンクの試験フロー数を「１」とすること、および各試験フローが通過するリンクに対応したバイナリ変数の総和が試験パケットに追加できるフィールド数に等しいこと、を制約条件に含む整数計画問題を解いて集約対象のリンクを決定することを特徴とするリンク品質計測装置のフローエントリ集約方法。
7. ネットワーク上の各スイッチに登録される試験パケットのフローエントリをコンピュータに集約させるプログラムであって、
   各スイッチに登録されるフローエントリ数の最大値を最小化する目的関数を設定し、
   各スイッチのフローエントリ数を当該スイッチの各出リンクを通過する試験フロー数の総和とし、
   集約有りリンクを「１」、集約無しリンクを「０」とするバイナリ変数を定義し、
   各スイッチの入リンクの試験フロー数を各出リンクの試験フロー数の総和に基づいて求めること、集約有りリンクの試験フロー数を「１」とすること、および各試験フローが通過するリンクに対応したバイナリ変数の総和が試験パケットに追加できるフィールド数に等しいこと、を制約条件に含む整数計画問題を解いて集約対象のリンクを決定することを、コンピュータに実行させるリンク品質計測装置のフローエントリ集約プログラム。