JP2018064174A - 制御装置、通信システム、通信方法、および、プログラム - Google Patents

Abstract

【課題】制御装置が仮想ルータ宛てのＡＲＰ（Address Resolution Protocol）要求に応答できない場合であっても、ユニキャスト通信を継続可能とすること。【解決手段】通信システムは、ルータ装置と、制御情報に従ってパケットを処理する通信装置と、通信装置が端末から受信した仮想ルータ宛てのＡＲＰ要求に対して、ルータ装置が制御装置の代わりにＡＲＰ応答を返すように制御する制御情報を通信装置に設定する制御装置と、を備えている。【選択図】図１

Description

本発明は、制御装置、通信システム、通信方法、および、プログラムに関し、特に制御情報に従ってパケットを処理する通信装置に制御情報を設定する制御装置、および、制御装置を備えた通信システムに関する。

近年、ネットワーク技術の複雑化、事業環境の急激な変化、ユーザーニーズの多様化といった課題に対応するために、ソフトウエアのように柔軟に制御可能なネットワーク（いわゆるＳＤＮ（Software Defined Networking））が求められている。

ＳＤＮを実現するための技術として、オープンフロー（OpenFlow、非特許文献１）が知られている。オープンフローでは、制御機能と転送機能が単一の機器に共存するネットワーク機器とは相違し、制御機能（コントロールプレーン）を担う機器と転送機能（データプレーン）を担う機器とを分離したアーキテクチャが採用されている。具体的には、オープンフローでは、オープンフローコントローラ（ＯＦＣ：OpenFlow Controller、以下「コントローラ」という。）が制御機能を担い、オープンフロースイッチ（ＯＦＳ：OpenFlow Switch、以下「スイッチ」という。）が転送機能を担う。このように、スイッチがパケット転送を担当し、スイッチの外部に設けられたコントローラが経路制御を担当することにより、外部からのネットワークの制御が容易となり、柔軟性に富んだネットワークを構築することができる。

また、関連技術として、仮想テナントネットワーク（ＶＴＮ：Virtual Tenant Network）および仮想ルータ（vRouter）をサポートしたプロアクティブ型のコントローラも実現されている。さらに、タグＶＬＡＮ（Virtual Local Area Network）毎にサブインタフェースを設定可能なレガシールータ機能を内蔵したスイッチや、レガシールータ機能を備えたレガシールータと接続可能なスイッチも知られている。なお、コントローラによるレガシーネットワーク制御用のコンフィグと連動して、telnetやＳＳＨ（Secure Shell）経由でレガシールータのコンフィグ設定を行う機能も実現されている。

さらに、特許文献１には、ＡＲＰ（Address Resolution Protocol）要求に対する応答をコントローラに代わってネットワーク機器（スイッチ）が行うことにより、コントローラおよびセキュアチャネル（コントローラとスイッチの間のチャネル）の負荷を軽減する技術が記載されている。

特許第５８５８１４１号公報

ONF (Open Networking Foundation), "OpenFlow Switch Specification, Version 1.5.1 (Protocol version 0x06)," March 26, 2015. ［平成２８（２０１６）年１０月３日検索］、インターネット＜URL: https://www.opennetworking.org/images/stories/downloads/sdn-resources/onf-specifications/openflow/openflow-switch-v1.5.1.pdf＞

上記特許文献および非特許文献の全開示内容は、本書に引用をもって繰り込み記載されているものとする。以下の分析は、本発明者によってなされたものである。

ＶＴＮ（Virtual Tennant Network）をサポートするオープンフローコントローラ（ＯＦＣ：OpenFlow Controller、「コントローラ」）を用いることにより、オープンフロースイッチ（ＯＦＳ：OpenFlow Switch、「スイッチ」）のみでＬ３（Layer 3、レイヤ３）ネットワーク（ＩＰ（Internet Protocol）ネットワーク）を構成することができる。このとき、スイッチに接続された端末のデフォールトゲートウェイアドレスは、仮想ルータの（該当するインタフェースの）ＩＰ（Internet Protocol）アドレスとなる。

スイッチに接続された端末間で新規に通信を行う場合、送信元の端末からデフォールトゲートウェイにＡＲＰ（Address Resolution Protocol）要求を送信する必要がある。ここで、仮想ルータ機能はコントローラのソフトウエア上で実装される機能である。したがって、デフォールトゲートウェイ宛てのＡＲＰ要求は一旦コントローラにパケットイン（Packet In）させ、コントローラからＡＲＰ応答をパケットアウト（Packet Out）させることになる。

関連技術によると、オープンフローチャネル（OpenFlow Channel）に障害が発生した場合やコントローラのクラスタ切り替え中に、端末からＡＲＰ要求が出された場合、コントローラはＡＲＰ応答を返すことができない。端末からのＡＲＰ要求は端末が持つＡＲＰエントリのリフレッシュ動作の場合があり、ＡＲＰ応答ができないと、既存のユニキャスト通信に対して通信断、転送遅延などの影響を及ぼすおそれがある。

特許文献１には、ＡＲＰ代理応答に関連する技術が開示されている。しかし、特許文献１に記載された技術は仮想ルータではなく宛先端末のＡＲＰ応答を独自の機能拡張を行ったスイッチに代理応答させるものであるため、宛先端末のＡＲＰエントリが未学習のケースには対応していない。

また、オープンフローネットワークに接続する端末の台数が増えた場合、管理するＡＲＰエントリの数が増大し、コントローラのメモリやスイッチのフローテーブルの容量を圧迫するおそれがある。そこで、ＡＲＰ代理応答を常時実現するためには、一定期間通信が行われないＡＲＰエントリや関連するフローエントリを消去するしくみ（エージアウト機能）を実装することが望ましい。

そこで、制御装置が仮想ルータ宛てのＡＲＰ要求に応答できない場合であっても、ユニキャスト通信を継続可能とすることが課題となる。本発明の目的は、かかる課題解決に寄与する制御装置、通信システム、通信方法、およびプログラムを提供することにある。

本発明の第１の態様に係る制御装置は、ルータ装置および制御情報に従ってパケットを処理する通信装置と通信する通信部を備えている。また、前記制御装置は、前記通信装置が端末から受信した仮想ルータ宛てのＡＲＰ（Address Resolution Protocol）要求に対して、前記ルータ装置が前記制御装置の代わりにＡＲＰ応答を返すように制御する制御情報を、前記通信部を介して前記通信装置に設定する設定部を備えている。

本発明の第２の態様に係る通信システムは、ルータ装置および制御情報に従ってパケットを処理する通信装置を備えている。また、前記通信システムは、前記通信装置が端末から受信した仮想ルータ宛てのＡＲＰ（Address Resolution Protocol）要求に対して、前記ルータ装置が制御装置の代わりにＡＲＰ応答を返すように制御する制御情報を、前記通信装置に設定する制御装置を備えている。

本発明の第３の態様に係る通信方法は、ルータ装置および制御情報に従ってパケットを処理する通信装置を備えた通信システムにおける制御装置による通信方法である。前記通信方法は、前記通信装置が端末から受信した仮想ルータ宛てのＡＲＰ（Address Resolution Protocol）要求に対して、前記ルータ装置が前記制御装置の代わりにＡＲＰ応答を返すように制御する制御情報を生成するステップを含む。また、前記通信方法は、生成した制御情報を前記通信装置に設定するステップを含む。

本発明の第４の態様に係るプログラムは、ルータ装置および制御情報に従ってパケットを処理する通信装置を備えた通信システムにおける制御装置に設けられたコンピュータに、前記通信装置が端末から受信した仮想ルータ宛てのＡＲＰ（Address Resolution Protocol）要求に対して、前記ルータ装置が前記制御装置の代わりにＡＲＰ応答を返すように制御する制御情報を生成する処理を実行させる。また、前記プログラムは、生成した制御情報を前記通信装置に設定する処理を前記コンピュータに実行させる。なお、プログラムは、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）に記録されたプログラム製品として提供することもできる。

本発明に係る制御装置、通信システム、通信方法、およびプログラムによると、制御装置が仮想ルータ宛てのＡＲＰ要求に応答できない場合であっても、ユニキャスト通信を継続することができる。

一実施形態に係る通信システムの構成を例示するブロック図である。 一実施形態に係る通信システムの構成を例示する図である。 第１の実施形態に係る通信システムの構成を例示するブロック図である。 第１の実施形態に係る通信システムの物理ネットワーク構成を例示する図である。 第１の実施形態に係る通信システムの仮想ネットワーク構成を例示する図である。 第１の実施形態におけるコントローラのコンフィグ設定例を示す図である。 第１の実施形態に係る通信システムにおける設定動作を例示するシーケンス図である。 第１の実施形態に係る通信システムにおけるオープンフローチャネル（OpenFlow channel）障害から復旧動作を例示するシーケンス図である。 第２の実施形態に係る通信システムにおけるスイッチ（複数タグＶＬＡＮをサポート）の構成を例示するブロック図である。 第２の実施形態におけるコントローラのコンフィグ設定例を示す図である。 実施形態に係る通信システムの適用事例（センタ−拠点間構成）を示す図である。

はじめに、一実施形態の概要について説明する。なお、この概要に付記する図面参照符号は、専ら理解を助けるための例示であり、本発明を図示の態様に限定することを意図するものではない。

図１は、一実施形態に係る通信システムの構成を例示するブロック図である。図１を参照すると、通信システム１は、ルータ装置４（例えば図２のスイッチ（ＯＦＳ：OpenFlow Switch）２０の外部に接続されたレガシールータ４０、または、図３のスイッチ２０に内蔵されたレガシールータ４０）を備えている。また、通信システム１は、制御情報（例えばOpenFlowにおけるフローエントリ）に従ってパケットを処理する通信装置２（例えば図２または図３のスイッチ２０）を備えている。さらに、通信システム１は、制御情報を通信装置２に設定する制御装置３（例えば図２または図３のコントローラ（ＯＦＣ：OpenFlow Controller）３０）を備えている。

制御装置３は、ルータ装置４および通信装置２と通信する通信部６を有する。また、制御装置３は、通信装置２が端末５から受信した仮想ルータ宛てのＡＲＰ（Address Resolution Protocol）要求に対して、ルータ装置４が制御装置３の代わりにＡＲＰ応答を返すように制御する制御情報を、通信部６を介して通信装置２に設定する。例えば、設定部７は、通信装置２が端末５から受信したＡＲＰ要求をルータ装置４および制御装置３に転送する制御情報を通信装置２に設定する。

かかる通信システム１によると、通信装置２が端末５から受信した仮想ルータ宛てのＡＲＰ要求に対して、制御装置３が応答できない場合であっても、ルータ装置４が制御装置３の代わりにＡＲＰ応答を返すことができ、端末５に関する既存のユニキャスト通信を継続することができる。

また、一実施形態に係る発明をオープンフロー（OpenFlow）技術に適用した場合、オープンフローネットワーク上に存在する仮想ルータ宛てＡＲＰ要求パケットに対する代理応答を実現することができる。

一実施形態に係る発明は、図２に示すように、スイッチ（ＯＦＳ：OpenFlow Switch）２０にレガシールータ４０を外部接続し、仮想ルータ宛てのＡＲＰ要求に関する応答をレガシールータ４０に代理で行わせることで実現することができる。一方、一実施形態に係る発明は、図３に示すように、スイッチ２０に内蔵されたレガシールータ機能を使用して、仮想ルータ宛てのＡＲＰ要求に関する応答をレガシールータ４０に代理で行わせることで実現することもできる。

このように、一実施形態によると、コントローラ（ＯＦＣ：OpenFlow Controller）やオープンフローチャネル（OpenFlow Channel、コントローラとスイッチとの間のチャネル、セキュアチャネルともいう。）に障害が発生したときや、コントローラのクラスタ切り替え中であっても、仮想ルータ宛てのＡＲＰ要求に対するＡＲＰ応答を返すことができる。これにより、新規または既存のユニキャスト通信を継続することができる。すなわち、一実施形態によると、プロアクティブ型のコントローラとの連携により、コントローラが仮想ルータ宛のＡＲＰ要求に対するアドレス解決をしない場合でも、端末間のユニキャスト転送を継続することが可能となる。

＜実施形態１＞
次に、第１の実施形態に係る通信システムについて図面を参照して説明する。

［構成］
図３は、本実施形態に係る通信システムの構成を例示するブロック図である。図３を参照すると、本実施形態の通信システムはコントローラ３０およびスイッチ２０を備えている。図３には、スイッチ２０に接続された端末５も併せて示す。

図３を参照すると、コントローラ３０は、記憶部３１、通信部３２、設定部３３、および、更新部３４を備えている。ここでは、コントローラ３０をオープンフローコントローラ（ＯＦＣ：OpenFlow Controller）とする。

記憶部３１は、ＡＲＰ（Address Resolution Protocol）テーブルおよびＭＡＣ（Media Access Control）テーブルを保持する。ＡＲＰテーブルとは、ＩＰ（Internet Protocol）アドレスとＭＡＣアドレスの組合せが記述されたＡＲＰエントリが設定されるテーブルである。一方、ＭＡＣテーブルとは、 ＭＡＣアドレスと対応するスイッチおよびオープンフロー（OpenFlow）ポートとの組合せが記述されたＭＡＣエントリが設定されるテーブルである。

通信部３２は、スイッチ２０との間で通信を行う。設定部３３は、通信部３２を介してスイッチ２０およびスイッチ２０に設けられたレガシールータ４０に対して、後述するさまざまな設定を行う。更新部３４は、記憶部３１が保持するＡＲＰテーブルを更新する。

図３を参照すると、スイッチ２０は、記憶部２１、処理部２２、および、レガシールータ４０を備えている。ここでは、一例として、スイッチ２０はオープンフロースイッチ（ＯＦＣ：OpenFlow Switch）とする。

記憶部２１は、フローテーブルおよびグループテーブルを保持する。ここで、フローテーブルとは、後述するフローエントリが設定されるテーブルである。一方、グループテーブルとは、後述するグループエントリが設定されるテーブルである。レガシールータ４０は、レガシールータ機能を有し、ＡＲＰテーブルを保持する。

本実施形態では、コントローラ３０としてプロアクティブ型のオープンフローコントローラを用いる。すなわち、本実施形態では、コントローラ３０は仮想ルータ機能（vRouter）宛てのＡＲＰ要求に対する応答を、コントローラ３０の代わりにレガシールータ４０（代理応答ルータ）に行わせるように、スイッチ２０に対してプロアクティブ型の設定を行う。

設定部３３は、ＣＬＩ（Command Line Interface）を介したＶＴＮ（Virtual Tenant Network）設定と同期して、スイッチ２０に接続された端末５からのＡＲＰ要求をコントローラ３０とレガシールータ４０の双方に転送させるためのフローエントリ（後述する「フローエントリ（１）」）をスイッチ２０に設定する。

また、設定部３３は、ＡＲＰ要求パケットのタグＶＬＡＮ（Virtual Local Area Network）の有無やタグＶＬＡＮの番号によって、パケットの転送先を変えられるようにフローエントリを設定する（実施形態２参照）。

さらに、設定部３３は、コントローラ３０のＶＴＮ設定と同期して、レガシールータ４０に対してＡＲＰ代理応答のための設定を行う。ここで、設定部３３は、コントローラ３０からレガシールータ４０への設定において、例えばtelnetやセキュアシェル（ＳＳＨ：Secure Shell）などの通信プロトコルを使用する。また、設定部３３は、該当する物理インタフェースや仮想インタフェースに対して、指定されたタグＶＬＡＮ単位でＩＰアドレスを設定する（実施形態２参照）。

更新部３４は、コントローラ３０がＡＲＰパケットインを受け取ると、コントローラ３０の記憶部３１が保持する仮想ルータ（vRouter）のＡＲＰテーブルを更新する。

また、設定部３３は、ＡＲＰパケットインを契機として、レガシールータ４０からのＡＲＰ応答を端末５に転送するためのフローエントリ（後述する「フローエントリ（６）」）をスイッチ２０に設定する。さらに、設定部３３は、ＡＲＰ要求を送信した端末５宛てのユニキャストの宛先ＭＡＣ（Media Access Control）アドレスを書き換えるためのフローエントリ（後述する「フローエントリ（７）」）をスイッチ２０に設定する。なお、宛先ＭＡＣアドレス書き換えのフローエントリ（後述する「フローエントリ（６）、（７）」）設定前の段階では、後述するようにフラッディング通信でＡＲＰ応答の転送を行うことができる。また、このフラッディング転送のためのフローエントリ（後述する「フローエントリ（２）、（３）」）は、該当する仮想ルータ（vRouter）の設定を契機として行われる。

さらに、コントローラ３０が一定期間、特定の端末５からのＡＲＰ（要求／応答）を受信しなかった場合、更新部３４は、仮想ルータの該当するＡＲＰエントリを削除（ＡＲＰエージアウト）する。また、ＡＲＰエージアウトを契機として、設定部３３はＡＲＰパケットイン契機でスイッチ２０に設定したフローエントリを削除する。

また、コントローラ３０へのＡＲＰパケットインを削減するため、設定部３３はＡＲＰパケットイン契機のフローエントリ設定後の一定期間に亘って、コントローラ３０にＡＲＰパケットを転送しない別のフローエントリ（後述する「フローエントリ（８）」）をスイッチ２０に設定してもよい。なお、設定部３３は、かかるフローエントリに対してタイムアウト（hard_timeout）を設定する。ここで、設定部３３は、タイムアウト値として、ＡＲＰエントリのエージアウト時間よりも短い値を設定する。

さらに、コントローラ３０がＡＲＰのパケットインを受信できなくなった場合、設定部３３は、障害復旧後にコントローラ３０がＡＲＰ代理応答を行うレガシールータ４０にアクセスし、一時的にＡＲＰエントリのリフレッシュ間隔を短くする。オープンフロー（OpenFlow）チャネルにおける障害発生時やクラスタ切り替え中などにより、コントローラ３０がＡＲＰのパケットインを受信できない場合がある。ＡＲＰが受信できないと、端末５からリフレッシュのＡＲＰ要求が到来するまで、端末間のユニキャスト通信がフラッディング転送となってしまい、ネットワークの通信負荷が高い期間が長期間継続する。かかるフラッディング転送の期間を短くするため、設定部３３は、ＡＲＰ要求のみならず、代理応答させるレガシールータ４０からのＡＲＰ要求に伴う端末５からのＡＲＰ応答もパケットインさせるようにスイッチ２０に設定する（後述する「フローエントリ（１）」）。このとき、コントローラ３０の設定部３３は、（telnetやＳＳＨ経由で）一時的にレガシールータ４０のＡＲＰリフレッシュ間隔を短くさせる。これにより、コントローラ３０に対して早期にＡＲＰ応答をパケットインさせることが可能となる。

以下では、具体的なネットワーク構成に基づいて、本実施形態の通信システムについてさらに説明する。

ここでは、コントローラ３０として、仮想テナントネットワーク（ＶＴＮ：Virtual Tenant Network）および仮想ルータ（vRouter）をサポートするプロアクティブ型のオープンフローコントローラを使用して、Ｌ３（ＩＰネットワーク）のオープンフロー（OpenFlow）ネットワークを構築する。プロアクティブ型の設定を想定するため、パケットイン（Packet In）またはパケットアウト（Packet Out）するパケットはＡＲＰパケットのみとなる。ＡＲＰパケットは、コントローラ３０のＡＲＰ学習、ＭＡＣ学習のためにも必要となる。なお、一部のフローエントリ（後述する「フローエントリ（６）〜（８）」）を除いて、ＣＬＩ（Command Line Interface）のコミットコマンド実行を契機としてフローエントリ（後述する「フローエントリ（１）〜（５）」）が設定される。

図４は、本実施形態の通信システムを適用するネットワーク構成（物理ネットワーク）を示す。図５は、図４に示すネットワークに対する仮想ネットワークの構成を示す。図４における３台のスイッチ（ＯＦＳ：OpenFlow Switch）２０Ａ〜２０Ｃは、それぞれ、図３に示すレガシールータ機能を備えたスイッチ２０である。図４を参照すると、３台のスイッチ２０Ａ〜２０Ｃには、それぞれ端末５Ａ〜５Ｃが接続されている。ここでは、接続された端末５Ａ〜５Ｃ間でユニキャスト通信を行うものとする。なお、本実施形態では、タグＶＬＡＮが設定されていないアンタグ（untag）パケットのみを扱う。タグＶＬＡＮパケットについては、第２の実施形態で説明する。

本実施形態では、スイッチ２０としてオープンフロー（OpenFlow）機能内蔵のルータスイッチ（図３参照）を使用する。また、代理応答用のレガシールータ４０として、スイッチ２０に内蔵されたレガシールータ機能を有するユニットを用いる。

図３を参照すると、処理部２２とレガシールータ４０間は、仮想インタフェースＶＩＦ０で接続される。コントローラ３０は、telnetまたはＳＳＨ経由でスイッチ２０のレガシールータ４０にアクセスし、レガシールータ４０のコンフィグ設定を行う。レガシールータ４０へのコンフィグ設定は、コントローラ３０のコンフィグ設定に同期して自動的に行われる。

図６は、コントローラ３０のコンフィグ設定を例示する図である。図６を参照すると、（１）では、ＶＴＮ（Virtual Tenant Network）としてＶＴＮ１を定義している。また、（２）では、ＶＴＮ１内に仮想ルータ（vRouter）であるvrt1を定義している。

さらに、（３）、（４）において、スイッチ２０Ａ（DPID: 0000-0000-0000-0001）のポート１（port 1、図４）を、図５に示すＩＰアドレス192.168.1.254/24を持つ仮想ルータ（vRouter）のインタフェースif1に割り当てている。ここで、インタフェースif1宛てのＡＲＰの代理応答は、スイッチ２０Ａの仮想インタフェースＶＩＦ０を介して、ＩＰアドレス192.168.1.253を持つレガシールータ４０が行うように設定する。なお、ＶＬＡＮ設定が省略されているため、タグＶＬＡＮが設定されていないアンタグパケットの通信のみがサポートされる。

同様に、（５）、（６）では、スイッチ２０Ｂ（DPID: 0000-0000-0000-0002）のポート１（port 1、図４）を、図５に示すＩＰアドレス192.168.2.254/24を持つ仮想ルータ（vRouter）のインタフェースif2に割り当てている。インタフェースif2宛てのＡＲＰの代理応答は、スイッチ２０Ｂの仮想インタフェースＶＩＦ０を介して、ＩＰアドレス192.168.2.253を持つレガシールータ４０が行うように設定する。ここでは、ＶＬＡＮ設定が省略されているため、タグＶＬＡＮが設定されていないアンタグパケットの通信のみがサポートされる。

また、（７）、（８）では、スイッチ２０Ｃ（DPID: 0000-0000-0000-0003）のポート１（port 1、図４）を、ＩＰアドレス192.168.3.254/24を持つ仮想ルータ（VRouter）のインタフェースif3に割り当てている。インタフェースif3宛てのＡＲＰの代理応答は、スイッチ２０Ｃの仮想インタフェースＶＩＦ０を介して、ＩＰアドレス192.168.3.253を持つレガシールータ４０が行うように設定する。なお、ＶＬＡＮ設定が省略されているため、タグＶＬＡＮが設定されていないアンタグパケットの通信のみがサポートされる。

次に、コントローラ３０の設定部３３がスイッチ２０Ａに設定するフローエントリ（１）〜（８）およびグループエントリ（１）について説明する。スイッチ２０Ａは、コントローラ３０から設定されたフローエントリ（１）〜（８）およびグループエントリ（１）を、それぞれ、記憶部２１が保持するフローテーブルおよびグループテーブルに格納する。

以下のフローエントリの説明におけるマッチ（match）条件とＡＲＰパケットのヘッダフィールドに記載された情報とがマッチする場合、スイッチ２０の処理部２２は、ＡＲＰパケットに対してアクション（action）に記載された処理を実行する。

「フローエントリ（１）」
端末５からのＡＲＰ要求およびＡＲＰ応答を、代理応答するレガシールータ４０に転送し、かつコントローラ３０にパケットインさせるフローエントリである。フローエントリ（１）は、ＣＬＩからのport-mapコマンドのコミットを契機として設定される。
・マッチ条件：
eth_type: ARP (0x0806)
arp_op: 0x01 (request)
arp_tpa: vRouter if1のＩＰアドレス（192.168.1.254）
vlan_vid: port-mapコマンドで指定したＶＬＡＮ ＩＤ（本実施形態はアンタグ（untag）であるためOFPVID_NONE）
・アクション：
group: グループエントリ（１）

「グループエントリ（１）」
設定パラメータ
type = OFPGT_ALL
bucket 0:
output: To controller
bucket 1:（宛先ＩＰアドレスをレガシールータ４０に変更）
arp_tpa: 代理応答するレガシールータ４０のＩＰアドレス（192.168.1.253）
output: 代理応答するレガシールータ４０が接続されたポート（ＶＩＦ０）

「フローエントリ（２）」
レガシールータ４０からのＡＲＰ応答およびレガシールータ４０からの（リフレッシュ）ＡＲＰ要求を、（ＡＲＰエントリ未学習のため）該当するネットワークアドレスに属する全ポートから出力（フラッディング転送）させるフローエントリである。フローエントリ（２）は、ＣＬＩからのport-mapコマンドのコミットを契機として設定される。また、フローエントリ（２）は、フローエントリ（６）の優先度よりも低い優先度で設定する。
・マッチ条件：
eth_type: ARP (0x0806)
arp_tpa: 端末５Ａのネットワークアドレス（192.168.1.0/24）
・アクション：送信元ＭＡＣ、ＩＰを書き換える。出力先ポートを指定する。
arp_spa: vRouter if1のＩＰアドレス（192.168.1.254）
eth_src: コントローラ３０のＭＡＣアドレス（00:00:00:00:00:fe）
arp_sha: コントローラ３０のＭＡＣアドレス（00:00:00:00:00:fe）
output: 該当するネットワークアドレスに対応するポート（port 1） （複数ポート指定される場合あり）

「フローエントリ（３）」
宛先ＭＡＣアドレス不明のユニキャストを該当するOpenFlowポート（外向きポート、すなわち端末５Ａまたは外部のレガシースイッチと接続されるOpenFlowポート）に出力するためのフローエントリである。なお、フローエントリ（３）によるパケットの転送はフラッディング転送となる。また、フローエントリ（３）はフローエントリ（７）の優先度よりも低い優先度で設定する。
・マッチ条件：
ip_dst: 送信先の端末５Ａのネットワークアドレス（192.168.1.0/24）
・アクション（宛先ＭＡＣ（ブロードキャストアドレス）、送信元ＭＡＣの設定。出力先ポートの指定）
output: 該当するネットワークアドレスに対応するポート（port 1） （複数ポート指定される場合あり）
eth_src: コントローラ３０のＭＡＣアドレス（00:00:00:00:00:fe）
eth_dst: ブロードキャストアドレス（ff:ff:ff:ff:ff:ff）

「フローエントリ（４）、（５）」
外向きのOpenFlowポートから入力されたパケットを、他のスイッチに転送する（すなわち内向きポートに出力する）ためのフローエントリ（ingressフロー）である。なお、フローエントリ（４）、（５）は、それぞれ複数設定される場合もある。

「フローエントリ（４）」
・マッチ条件：
ip_dst: 送信先の端末５Ａのネットワークアドレス（192.168.2.0/24）
・アクション：
output: 該当するネットワークアドレスに対応するポート（port 100）

「フローエントリ（５）」
・マッチ条件：
ip_dst: 送信先の端末５Ａのネットワークアドレス（192.168.3.0/24）
・アクション：
output: 該当するネットワークアドレスに対応するポート（port 101）

「フローエントリ（６）」
レガシールータ４０からのＡＲＰ応答を、送信先となる端末５Ａが接続されているポートに出力するフローエントリである。フローエントリ（６）は、レガシールータ４０からの（リフレッシュ）ＡＲＰ要求を端末５Ａに転送する。フローエントリ（６）は、ＡＲＰ要求のパケットインによるＡＲＰ学習契機で設定される。なお、フローエントリ（６）は、フローエントリ（２）の優先度よりも高い優先度で設定する。
・マッチ条件：
eth_type: ARP (0x0806)
arp_tpa: 端末５ＡのＩＰアドレス（192.168.1.1）
・アクション：送信元ＭＡＣ、ＩＰを書き換える。出力先ポートを指定する。
arp_spa: vRouter if1のＩＰアドレス（192.168.1.254）
eth_src: コントローラ３０のＭＡＣアドレス（00:00:00:00:00:fe）
arp_sha: コントローラ３０のＭＡＣアドレス（00:00:00:00:00:fe）
output: 該当する送信先ＩＰアドレスに対応するポート（port 1）

「フローエントリ（７）」
ＡＲＰ要求を送信した端末宛てのユニキャストの宛先ＭＡＣアドレスを書き換えるためのフローエントリ（egressフロー）である。フローエントリ（７）は、フローエントリ（３）の優先度よりも高い優先度で設定する。
・マッチ条件：
ip_dst: 端末５ＡのＩＰアドレス（192.168.1.1）
・アクション：宛先ＭＡＣ（学習済みのＭＡＣアドレス）、送信元ＭＡＣの設定を行う。出力先ポートを指定する。
output: 端末５Ａが接続されているOpenFlowポート（port 1）
eth_src: コントローラ３０のＭＡＣアドレス（00:00:00:00:00:fe）
eth_dst: 端末５ＡのＭＡＣアドレス（00:00:00:00:00:01）

「フローエントリ（８）」
ＡＲＰエントリを学習済みのため、一定期間ＡＲＰエントリをコントローラ３０にパケットインさせないようにするフローエントリである。
・マッチ条件：
in_port: 端末５Ａが接続されているポート（port 1） 運用中の端末のポート移動に対応するために、in_portをマッチ条件に加える。
eth_type: ARP (0x0806)
eth_src: 端末５ＡのＭＡＣアドレス（00:00:00:00:00:01）
vlan_vid: port-mapコマンドで指定したＶＬＡＮ ＩＤ（本実施形態はアンタグ（untag）であるためOFPVID_NONE）
・アクション：宛先ＩＰアドレスをレガシールータ４０に変更する。
arp_tpa: 代理応答するレガシールータ４０のＩＰアドレス（192.168.1.253）
output: 代理応答するレガシールータ４０が接続されるポート（ＶＩＦ０）

［動作］
次に、本実施形態の通信システムの動作について説明する。図７は、ＶＴＮ設定後にコミットコマンドを実行し、スイッチ２０Ａにフローエントリ（１）〜（５）およびグループエントリ（１）が設定されるまでの手順と、スイッチ２０Ａに接続された端末５ＡからのＡＲＰ要求のパケットインを契機として、スイッチ２０Ａにフローエントリ（６）〜（８）を設定する手順を示すシーケンス図である。なお、スイッチ２０Ｂおよびスイッチ２０Ｃに対するフローエントリおよびグループエントリの設定はスイッチ２０Ａに対する設定と同様であることから、説明を省略する。

ユーザは、コントローラ３０のＣＬＩ（Commend Line Interface）経由でＶＴＮ設定を行う（図７のステップ１）。

コントローラ３０は、ＣＬＩのコミットコマンドを契機として、telnet経由でスイッチ２０のレガシールータ４０にアクセスし、仮想インタフェースの作成およびＩＰアドレスの設定を行う（図７のステップ１．１）。仮想インタフェースが生成されると、レガシールータ４０と接続されるオープンフロー（OpenFlow）ポートが新たに追加されるため、オープンフロー（OpenFlow）ネットワークのトポロジが変更されることになる。

コントローラ３０は、オープンフローポートが追加されたタイミングで、関連するフローエントリ（フローエントリ（１）〜（５））とグループエントリ（グループエントリ（１））をスイッチ２０Ａに設定する（図７のステップ１．２、ステップ１．３）。

スイッチ２０Ａに接続された端末５Ａ（192.168.1.1）がスイッチ２０Ｂに接続された端末５Ｂ（192.168.2.2）と通信を行う場合、端末５Ｂと端末５Ａとではネットワークアドレスが異なる。このとき、端末５Ａはデフォールトゲートウェイである仮想ルータ（vrt1）のインタフェース（if1: 192.168.1.254）に対してＡＲＰ要求を送信する（図７のステップ２）。

スイッチ２０Ａは、受信したＡＲＰ要求がフローエントリ（１）およびグループエントリ（１）のマッチ（match）条件にヒットするため、受信したＡＲＰ要求パケットをコントローラ３０およびレガシールータ４０に転送する（図７のステップ２．１、ステップ２．２）。

スイッチ２０Ａは、レガシールータ４０から受信したＡＲＰ応答がフローエントリ（２）のマッチ条件にヒットするため、受信したＡＲＰ応答パケットの送信元アドレスおよびarp_shaをコントローラ３０のＭＡＣアドレスに書き換えて、端末５Ａに転送する（図７のステップ２．２．１、ステップ２．２．１．１）。

ＡＲＰ要求パケットを受信したコントローラ３０は、記憶部３１が保持するＡＲＰテーブルおよびＭＡＣテーブルの更新（すなわちＡＲＰ学習、ＭＡＣ学習）を行う。さらに、コントローラ３０は、フラッディング動作をさせることなく、ＡＲＰパケットやユニキャスト転送を行うためのフローエントリ（６）、（７）、および、オープンフロー（OpenFlow）チャネルの通信量を削減するために不要なＡＲＰパケットをドロップ（drop、破棄）するフローエントリ（８）をスイッチ２０に設定する（図７のステップ２．１．１）。

フローエントリ（６）〜（８）の設定後、端末５Ａと端末５Ｂとの間では、スイッチ２０Ａ、２０Ｂを介してユニキャスト通信が行われる（ステップ３、ステップ３．１、および、ステップ３．１．１、ステップ３．１．２またはステップ４、ステップ４．１）。

次に、オープンフローチャネルが障害から復旧したときの動作について説明する。図８は、オープンフローチャネル障害からの復旧時の動作を例示するシーケンス図である。

障害から復旧した後、スイッチ２０Ａはコントローラ３０に再接続する（図８のステップ１）。すると、コントローラ３０は、レガシールータ４０のＡＲＰリフレッシュ間隔を一時的に短くする。具体的には、コントローラ３０は、レガシールータ４０に対して、ＡＲＰリフレッシュ間隔を短くする設定を行い（図８のステップ１．１、ステップ１．１．１）、一定期間が経過した後、ＡＲＰリフレッシュ間隔を元に戻す設定を行う（図８のステップ２、ステップ２．１）。

これにより、ＡＲＰ学習に失敗した端末からのＡＲＰパケットを、速やかにコントローラ３０へ転送することができる。したがって、障害復旧後、短時間で必要なフローエントリ（フローエントリ（６）〜（８）相当）を設定することが可能となる。

［効果］
本実施形態の通信システム１では、スイッチ２０が端末５から受信した仮想ルータ宛てのＡＲＰ要求に対して、コントローラ３０が応答できない場合であっても、スイッチ２０に内蔵されたレガシールータ４０がコントローラ３０の代わりにＡＲＰ応答を返すことができる。したがって、本実施形態の通信システムによると、オープンフロー（OpenFlow）チャネルの障害発生時やコントローラ（ＯＦＣ：OpenFlow Controller）のクラスタ切り替え中であっても、新規または既存のユニキャスト通信を継続することができる。すなわち、本実施形態によると、オープンフロー（OpenFlow）ネットワークの障害許容性を向上させることができる。さらに、本実施形態によると、ＡＲＰエントリのエージアウトを行うコントローラ（ＯＦＣ：OpenFlow Controller）を使用する場合であっても、常時ＡＲＰ代理応答を実現することができる。

＜実施形態２＞
次に、第２の実施形態に係る通信システムについて図面を参照して説明する。

［構成］
本実施形態に係る通信システムは、第１の実施形態に係る通信システム（図３）と同様にコントローラ３０およびスイッチ２０を備えている。ただし、本実施形態では、スイッチ２０は、図９に示すスイッチ２０ａの構成を有する。

図９を参照すると、スイッチ２０ａは、記憶部２１ａ、処理部２２ａ、および、レガシールータ４０ａ、４０ｂを備えている。ここでは、一例として、スイッチ２０ａはオープンフロースイッチ（ＯＦＣ：OpenFlow Switch）とする。

本実施形態
では、１つのスイッチ２０ａで複数のタグＶＬＡＮパケットを扱う場合のコンフィグ設定例を説明する。本実施形態では、代理応答するレガシールータ４０ａ、４０ｂの仮想インタフェースは、タグＶＬＡＮ毎に設定される。

図１０は、コントローラ３０のコンフィグ設定を例示する図である。図１０を参照すると、（１）では、ＶＴＮ（Virtual Tenant Network）としてＶＴＮ１を定義している。また、（２）では、ＶＴＮ１内に仮想ルータ（vRouter）vrt1を定義している。

さらに、（３）、（４）において、タグＶＬＡＮ１が設定されたパケットの通信用に、スイッチ２０Ａ（DPID: 0000-0000-0000-0001）のポート１を、ＩＰアドレス192.168.11.254/24を持つ仮想ルータvrt1のインタフェースif11に割り当てている。インタフェースif11宛てのＡＲＰの代理応答は、仮想インタフェースＶＩＦ１を介して、ＩＰアドレス192.168.11.253を持つレガシールータ４０ａが行うように設定する。

同様に、（５）、（６）において、タグＶＬＡＮ２が設定されたパケットの通信用に、スイッチ２０Ａ（DPID: 0000-0000-0000-0001）のポート２を、ＩＰアドレス192.168.12.254/24を持つ仮想ルータvrt1のインタフェースif12に割り当てている。インタフェースif12宛てのＡＲＰの代理応答は、仮想インタフェースＶＩＦ２を介して、ＩＰアドレス192.168.12.253を持つレガシールータ４０ｂが行うように設定する。

［効果］
本実施形態の通信システム１では、スイッチ２０ａが端末５から受信した仮想ルータ宛てのＡＲＰ要求に対して、コントローラ３０が応答できない場合であっても、タグＶＬＡＮに応じてスイッチ２０に内蔵されたレガシールータ４０ａ、４０ｂの一方がコントローラ３０の代わりにＡＲＰ応答を返すことができる。したがって、本実施形態の通信システムによると、ＶＬＡＮに分割されたネットワークにおいて、オープンフロー（OpenFlow）チャネルの障害発生時やコントローラ（ＯＦＣ：OpenFlow Controller）のクラスタ切り替え中であっても、新規または既存のユニキャスト通信を継続することができる。

上記実施形態に係る通信システムは、一例として、図１１に示すようなセンタと拠点１、２の間のオープンフロー（OpenFlow）ネットワークに適用することができる。図１１を参照すると、センタと拠点１、２との間はＷＡＮ（Wide Area Network）回線で接続される。コントローラ（ＯＦＣ：OpenFlow Controller）３０は、センタ側に配置されている。拠点側のスイッチ（ＯＦＳ：OpenFlow Swtich）２０Ｂ、２０Ｃとのオープンフロー（OpenFlow）チャネルはin-band構成を採用している。一方、センタ側スイッチ２０Ａと拠点側スイッチ２０Ｂ、２０Ｃとの間はIPsec（Security architecture for Internet protocol）トンネルで接続される。

かかる構成において、各拠点にレガシールータ４０を内蔵したスイッチ２０Ｂ、２０Ｃを配置することで、ＷＡＮ回線を経由するＡＲＰパケットインおよびＡＲＰパケットアウトの数を削減することが可能となる。

なお、本発明において、下記の形態が可能である。
［形態１］
上記第１の態様に係る制御装置のとおりである。
［形態２］、
前記設定部は、前記ＡＲＰ要求を前記ルータ装置および前記制御装置に転送する制御情報を、前記通信装置に設定する、
形態１に記載の制御装置。
［形態３］
前記設定部は、前記ルータ装置から受信した前記ＡＲＰ応答をフラッディング転送する制御情報を前記通信装置に設定する、
形態１または２に記載の制御装置。
［形態４］
前記設定部は、前記通信装置から前記ＡＲＰ要求を受信すると、前記ルータ装置から受信した前記ＡＲＰ応答を前記端末が接続されたポートに転送する制御情報を、前記通信装置に設定する、
形態１ないし３のいずれか一に記載の制御装置。
［形態５］
前記設定部は、前記通信装置から前記ＡＲＰ要求を受信すると、前記ＡＲＰ要求を前記制御装置に転送することなく前記ルータ装置に転送する制御情報を、前記通信装置に設定する、
形態１ないし４のいずれか一に記載の制御装置。
［形態６］
前記設定部は、前記ルータ装置からのＡＲＰ要求を前記端末に転送する制御情報、ならびに、前記端末からのＡＲＰ応答を前記ルータ装置および前記制御装置に転送する制御情報を前記通信装置に設定し、前記制御装置と前記通信装置との間の通信が障害から復旧すると、前記ルータ装置におけるＡＲＰエントリのリフレッシュ間隔を一時的に短くする、
形態１ないし５のいずれか一に記載の制御装置。
［形態７］
上記第２の態様に係る通信システムのとおりである。
［形態８］
前記制御装置は、前記ＡＲＰ要求を前記ルータ装置および前記制御装置に転送する制御情報を、前記通信装置に設定する、
形態７に記載の通信システム。
［形態９］
前記制御装置は、前記ルータ装置から受信した前記ＡＲＰ応答をフラッディング転送する制御情報を、前記通信装置に設定する、
形態７または８に記載の通信システム。
［形態１０］
前記制御装置は、前記通信装置から前記ＡＲＰ要求を受信すると、前記ルータ装置から受信した前記ＡＲＰ応答を前記端末が接続されたポートに転送する制御情報を、前記通信装置に設定する、
形態７ないし９のいずれか一に記載の通信システム。
［形態１１］
前記制御装置は、前記通信装置から前記ＡＲＰ要求を受信すると、前記ＡＲＰ要求を前記制御装置に転送することなく前記ルータ装置に転送する制御情報を、前記通信装置に設定する、
形態７ないし１０のいずれか一に記載の通信システム。
［形態１２］
前記制御装置は、前記ルータ装置からのＡＲＰ要求を前記端末に転送する制御情報、ならびに、前記端末からのＡＲＰ応答を前記ルータ装置および前記制御装置に転送する制御情報を前記通信装置に設定し、前記制御装置と前記通信装置との間の通信が障害から復旧すると、前記ルータ装置におけるＡＲＰエントリのリフレッシュ間隔を一時的に短くする、
形態７ないし１１のいずれか一に記載の通信システム。
［形態１３］
上記第３の態様に係る通信方法のとおりである。
［形態１４］
前記制御装置が、前記ＡＲＰ要求を前記ルータ装置および前記制御装置に転送する制御情報を、前記通信装置に設定するステップを含む、
形態１３に記載の通信方法。
［形態１５］
上記第４の態様に係るプログラムのとおりである。
［形態１６］
前記ＡＲＰ要求を前記ルータ装置および前記制御装置に転送する制御情報を前記通信装置に設定する処理を、前記コンピュータに実行させる、
形態１５に記載のプログラム。

なお、上記特許文献および非特許文献の全開示内容は、本書に引用をもって繰り込み記載されているものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１ 通信システム
２ 通信装置
３ 制御装置
４ ルータ装置
５、５Ａ〜５Ｃ 端末
６ 通信部
７ 設定部
２０、２０Ａ〜２０Ｃ、２０ａ スイッチ（ＯＦＳ）
２１、２１ａ 記憶部
２２、２２ａ 処理部
３０ コントローラ（ＯＦＣ）
３１ 記憶部
３２ 通信部
３３ 設定部
３４ 更新部
４０、４０ａ、４０ｂ レガシールータ
４１ 記憶部
ＶＩＦ０〜ＶＩＦ２ 仮想インタフェース

Claims (10)

1. ルータ装置および制御情報に従ってパケットを処理する通信装置と通信する通信部と、
   前記通信装置が端末から受信した仮想ルータ宛てのＡＲＰ（Address Resolution Protocol）要求に対して、前記ルータ装置が制御装置の代わりにＡＲＰ応答を返すように制御する制御情報を、前記通信部を介して前記通信装置に設定する設定部と、を備える、
   ことを特徴とする制御装置。
2. 前記設定部は、前記ＡＲＰ要求を前記ルータ装置および前記制御装置に転送する制御情報を、前記通信装置に設定する、
   請求項１に記載の制御装置。
3. 前記設定部は、前記ルータ装置から受信した前記ＡＲＰ応答をフラッディング転送する制御情報を、前記通信装置に設定する、
   請求項１または２に記載の制御装置。
4. 前記設定部は、前記通信装置から前記ＡＲＰ要求を受信すると、前記ルータ装置から受信した前記ＡＲＰ応答を前記端末が接続されたポートに転送する制御情報を、前記通信装置に設定する、
   請求項１ないし３のいずれか１項に記載の制御装置。
5. 前記設定部は、前記通信装置から前記ＡＲＰ要求を受信すると、前記ＡＲＰ要求を前記制御装置に転送することなく前記ルータ装置に転送する制御情報を、前記通信装置に設定する、
   請求項１ないし４のいずれか１項に記載の制御装置。
6. 前記設定部は、前記ルータ装置からのＡＲＰ要求を前記端末に転送する制御情報、ならびに、前記端末からのＡＲＰ応答を前記ルータ装置および前記制御装置に転送する制御情報を前記通信装置に設定し、前記制御装置と前記通信装置との間の通信が障害から復旧すると、前記ルータ装置におけるＡＲＰエントリのリフレッシュ間隔を一時的に短くする、
   請求項１ないし５のいずれか１項に記載の制御装置。
7. ルータ装置と、
   制御情報に従ってパケットを処理する通信装置と、
   前記通信装置が端末から受信した仮想ルータ宛てのＡＲＰ（Address Resolution Protocol）要求に対して、前記ルータ装置が制御装置の代わりにＡＲＰ応答を返すように制御する制御情報を、前記通信装置に設定する制御装置と、を備える、
   ことを特徴とする通信システム。
8. 前記制御装置は、前記ＡＲＰ要求を前記ルータ装置および前記制御装置に転送する制御情報を前記通信装置に設定する、
   請求項７に記載の通信システム。
9. ルータ装置および制御情報に従ってパケットを処理する通信装置を備えた通信システムにおける制御装置が、
   前記通信装置が端末から受信した仮想ルータ宛てのＡＲＰ（Address Resolution Protocol）要求に対して、前記ルータ装置が前記制御装置の代わりにＡＲＰ応答を返すように制御する制御情報を生成するステップと、
   生成した制御情報を前記通信装置に設定するステップと、を含む、
   ことを特徴とする通信方法。
10. ルータ装置および制御情報に従ってパケットを処理する通信装置を備えた通信システムにおける制御装置に設けられたコンピュータに対して、
    前記通信装置が端末から受信した仮想ルータ宛てのＡＲＰ（Address Resolution Protocol）要求に対して、前記ルータ装置が前記制御装置の代わりにＡＲＰ応答を返すように制御する制御情報を生成する処理と、
    生成した制御情報を前記通信装置に設定する処理と、を実行させる、
    ことを特徴とするプログラム。

Images