JP2014527340A - 分割アーキテクチャ・ネットワークにおけるパケット・ブロードキャスト機構 - Google Patents

分割アーキテクチャ・ネットワークにおけるパケット・ブロードキャスト機構 Download PDF

Info

Publication number
JP2014527340A
JP2014527340A JP2014523425A JP2014523425A JP2014527340A JP 2014527340 A JP2014527340 A JP 2014527340A JP 2014523425 A JP2014523425 A JP 2014523425A JP 2014523425 A JP2014523425 A JP 2014523425A JP 2014527340 A JP2014527340 A JP 2014527340A
Authority
JP
Japan
Prior art keywords
domain
external port
port
flow
broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014523425A
Other languages
English (en)
Other versions
JP5974092B2 (ja
JP2014527340A5 (ja
Inventor
ヤダバリ,キラン
ミシュラ,ラメーシュ
Original Assignee
テレフオンアクチーボラゲット エル エム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エル エム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エル エム エリクソン(パブル)
Publication of JP2014527340A publication Critical patent/JP2014527340A/ja
Publication of JP2014527340A5 publication Critical patent/JP2014527340A5/ja
Application granted granted Critical
Publication of JP5974092B2 publication Critical patent/JP5974092B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0895Configuration of virtualised networks or elements, e.g. virtualised network function or OpenFlow elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0823Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/0826Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for reduction of network costs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1863Arrangements for providing special services to substations for broadcast or conference, e.g. multicast comprising mechanisms for improved reliability, e.g. status reports
    • H04L12/1877Measures taken prior to transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1886Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with traffic restrictions for efficiency improvement, e.g. involving subnets or subdomains
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46Interconnection of networks
    • H04L12/4641Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/38Flow based routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/15Interconnection of switching modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/20Support for services
    • H04L49/201Multicast operation; Broadcast operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/25Routing or path finding in a switch fabric
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/25Routing or path finding in a switch fabric
    • H04L49/252Store and forward routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/25Routing or path finding in a switch fabric
    • H04L49/253Routing or path finding in a switch fabric using establishment or release of connections between ports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/35Switches specially adapted for specific applications
    • H04L49/354Switches specially adapted for specific applications for supporting virtual local area networks [VLAN]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/09Mapping addresses
    • H04L61/10Mapping addresses of different types
    • H04L61/103Mapping addresses of different types across network layers, e.g. resolution of network layer into physical layer addresses or address resolution protocol [ARP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/32Flooding

Abstract

【課題】分割アーキテクチャ・ネットワークにおいてドメイン内のリソースの使用を最適化する。
【解決手段】方法及びシステムが、分割アーキテクチャ・ネットワーク内のドメインに対してコントローラとして機能するネットワーク・ノード内に実装される。ドメインは複数のフロー・スイッチを備え、複数のフロー・スイッチは分割アーキテクチャ・ネットワーク用のデータ・プレーンを実装し、コントローラはデータ・プレーンからリモートにある分割アーキテクチャ・ネットワーク用の制御プレーンを実装する。方法及びシステムは、ブロードキャスト・パケットでドメインをフラッディングさせることなく、分割アーキテクチャ・ネットワークのドメイン内で各タイプのブロードキャスト・パケットを効率良く処理し、それによってドメイン内で転送されるブロードキャスト・パケットの数を減少させるように、複数のフロー・スイッチを構成する。
【選択図】図3

Description

本発明の実施形態は、分割アーキテクチャ・ネットワーク(split architecture network)内でのパケットのブロードキャストに関する。具体的に言えば、本発明の実施形態は、ドメイン用の外部ポートを識別し、ドメインのスイッチ内の適切なフローをプログラミングすることによって、ブロードキャストされることになるパケットを処理する場合、ドメイン内のリソースの使用を最適化するための方法及びシステムに関する。
分割アーキテクチャ・ネットワークは、ネットワーク・アーキテクチャの代替パラダイムである。分割アーキテクチャ・ネットワークは、従来のネットワーク・アーキテクチャと同様、ルータ又はスイッチ等のいくつかのノードからなる。しかしながらこのパラダイムでは、ネットワークの制御プレーン機能は、図1に示されるようなネットワークの単一のノード内に存在し得る単一の中央コントローラに常駐する。これは、制御プレーン機能がネットワーク内のあらゆるノードに常駐する従来のネットワーク・アーキテクチャとは対照的である。分割アーキテクチャ・ネットワークにおいて、ネットワーク・ノードはその制御プレーン機能が失われ、「フロー・スイッチ」として基本のデータ・プレーン機能を提供する。本明細書で使用される「ドメイン」は、フロー・スイッチが単一のコントローラの制御下にある、分割アーキテクチャ・ネットワークの領域である。
分割アーキテクチャ・ネットワークの例が、OpenFlowベースの分割アーキテクチャ・ネットワークである。OpenFlow分割アーキテクチャ・ネットワークでは、データ・プレーン内のコントローラ及びフロー・スイッチはOpenFlowプロトコルを使用して通信する。OpenFlowプロトコルは、データ・プレーン内のフロー・スイッチをパケットの転送及び処理に適切なフローでプログラミングするために、コントローラにメッセージ・インフラストラクチャを提供する。コントローラは、それぞれのネットワーク・ノードを照会することによって、ネットワークに関する完全なネットワーク状態情報を取得することもできる。本明細書で使用される「OpenFlowドメイン」は、フロー・スイッチが単一の論理OpenFlowコントローラの制御下にある、OpenFlow分割アーキテクチャ・ネットワークの領域である。この単一の論理OpenFlowコントローラは、スイッチの単一のドメインに関与しているコントローラのセット又はクラスタとして実装可能である。
OpenFlowプロトコル仕様によれば、フロー・スイッチは、データ・プレーン内のパケットの転送及び処理のために、パケット・ヘッダ・フィールド(イーサネット・ヘッダ・フィールド、マルチプロトコル・ラベル・スイッチング(MPLS)ヘッダ・フィールド、及びインターネット・プロトコル(IP)ヘッダ・フィールド等)上の合致を定義する規則、規則合致に関連付けられたアクション、及び、規則に合致するフローに関する統計の集合という、プリミティブを使用するコントローラによってプログラミングされる。フロー・スイッチは、着信パケットにコントローラ・プログラミング規則を適用し、合致したフロー上で関連付けられたアクションを実行し、同時にフローに関する統計を収集する。図1は、コントローラとフロー・スイッチとの間のこの基本OpenFlowプロトコル・インターフェースを示す。
分割アーキテクチャ・ネットワークの主な利点の1つは、それらが制御プレーン及びデータ・プレーン内で独立した最適化を可能にすることである。コントローラの構成要素、機能、又はアプリケーションは、基礎となるネットワークとは独立に最適化することが可能であり、同様に、基礎となるネットワーク・フロー・スイッチ機能は、コントローラの構成要素、機能、及びアプリケーションとは独立に最適化することが可能である。
ブロードキャスト・パケットを送信するためにネットワーク内のノードを必要とする多くの状況が存在する。これらの状況は、自己生成されたブロードキャスト・パケット及び受信されたブロードキャスト・パケットの、2つのカテゴリに分けることができる。ノードは、特定のプロトコル・アプリケーションのためのブロードキャスト・パケットを自己生成することができる。自己生成されたブロードキャスト・パケットの重要な例が、ARP REQUESTパケットである。アドレス解決プロトコル(ARP)は、そのIPアドレスが与えられたネットワーク・ノード(ルータ、又はスイッチ)のメディア・アクセス制御(MAC)アドレスを解決するために使用される。ネットワーク・ノードのMACアドレスを照会するために、要求者はARP REQUESTメッセージを発信する。このメッセージは照会IPアドレスを含み、ネットワーク内のすべてのデバイスにブロードキャストされる。IPアドレスがREQUESTメッセージ内のそれと合致するデバイスは、そのMACアドレスで応答する。
ノードは、ブロードキャストされる必要のあるパケットを受信することもできる。ネットワーク・ノードは、コントローラ・ポートを含むすべてのアクティブ・ポートで受信するブロードキャスト・パケットをブロードキャストする必要がある。ネットワーク・ノードが仮想ローカル・エリア・ネットワーク(VLAN)で構成される場合、VLAN内のすべてのアクティブ・ポートのパケットをブロードキャストすべきである。パケットを転送するためのインテリジェンスはOpenFlowドメイン内のコントローラに常駐しているため、コントローラは基礎となるフロー・スイッチをブロードキャスト・パケットに適するようにプログラミングする必要がある。この構成の基本的実装は、各フロー・スイッチの転送テーブルを、フロー・スイッチ用のすべてのアクティブ・ポート上のブロードキャスト・パケットを盲目的に転送するよう設定することである。
方法は、分割アーキテクチャ・ネットワーク内のドメインに対してコントローラとして機能するネットワーク・ノード内で実装される。ドメインは複数のフロー・スイッチを備え、ここで複数のフロー・スイッチは分割アーキテクチャ・ネットワーク用のデータ・プレーンを実装し、コントローラはデータ・プレーンからリモートにある分割アーキテクチャ・ネットワーク用の制御プレーンを実装する。方法は、ブロードキャスト・パケットでドメインをフラッディング(flooding)させることなく、分割アーキテクチャ・ネットワークのドメイン内で各タイプのブロードキャスト・パケットを効率良く処理し、それによってドメイン内で転送されるブロードキャスト・パケットの数を減少させるように、複数のフロー・スイッチを構成する。方法は、ドメイン用の外部ポート・セットを追跡するステップであって、各外部ポートが複数のフロー・スイッチのうちの1つをドメイン外部のデバイスに接続する、追跡するステップと、自己生成されたブロードキャスト・パケットでドメインをフラッディングさせることなく、自己生成されたブロードキャスト・パケットをドメイン用の外部ポート・セット内の少なくとも1つの外部ポートを有する各フロー・スイッチに転送するように、ドメイン内の複数のフロー・スイッチのそれぞれを構成するステップと、受信された制御ブロードキャスト・パケットでドメインをフラッディングさせることなく、受信された制御ブロードキャスト・パケットをドメインのコントローラに転送するように、ドメイン用の外部ポート・セットから少なくとも1つの外部ポートを有する複数のフロー・スイッチのそれぞれを構成するステップと、受信されたデータ・ブロードキャスト・パケットでドメインをフラッディングさせることなく、受信されたデータ・ブロードキャスト・パケットをドメイン用の外部ポート・セットに転送するように、ドメイン内の複数のフロー・スイッチを構成するステップと、を含む。
ネットワーク・ノードは、分割アーキテクチャ・ネットワーク内のドメイン用のコントローラとして機能する。ドメインは複数のフロー・スイッチを備え、ここで複数のフロー・スイッチは分割アーキテクチャ・ネットワーク用のデータ・プレーンを実装し、コントローラはデータ・プレーンからリモートにある分割アーキテクチャ・ネットワーク用の制御プレーンを実装する。ネットワーク・ノードは、ブロードキャスト・パケットでドメインをフラッディングさせることなく、分割アーキテクチャ・ネットワーク内で各タイプのブロードキャスト・パケットを効率良く処理し、それによってドメイン内で転送されるブロードキャスト・パケットの数を減少させるように、複数のフロー・スイッチを構成する。ネットワーク・ノードは、ドメイン用の外部ポート・セットを追跡するための外部ポート追跡モジュールであって、各外部ポートが複数のフロー・スイッチのうちの1つをドメイン外部のデバイスに接続する、外部ポート追跡モジュールと、前記外部ポート追跡モジュールに通信可能に結合されたブロードキャスト構成モジュールであって、自己生成されたブロードキャスト・パケットでドメインをフラッディングさせることなく、自己生成されたブロードキャスト・パケットをドメイン用の外部ポート・セット内の少なくとも1つの外部ポートを有する各フロー・スイッチに転送するように、ドメイン内の複数のフロー・スイッチのそれぞれを構成するように構成された、ブロードキャスト構成モジュールと、を備える。ブロードキャスト構成モジュールは、ドメインをフラッディングさせることなく、受信された制御ブロードキャスト・パケットをドメインのコントローラに転送するように、ドメイン用の外部ポート・セットから少なくとも1つの外部ポートを有する複数のフロー・スイッチのそれぞれを構成するように構成され、受信されたデータ・ブロードキャスト・パケットでドメインをフラッディングさせることなく、受信されたデータ・ブロードキャスト・パケットをドメイン用の外部ポート・セットに転送するように、ドメイン用の複数のフロー・スイッチを構成するように構成される。
本発明は、制限としてではなく例として添付の図面の図内に示されており、図面内で同じ参照番号は同様の要素を示す。本開示における「実施形態」又は「一実施形態」という異なる言い方は必ずしも同じ実施形態を指すものではなく、こうした言い方は少なくとも1つを意味することに留意されたい。さらに、実施形態に関連して特定の機能、構造、又は特徴が説明される場合、これは、明示的に記述されているか否かにかかわらず、他の実施形態に関連してこうした機能、構造、又は特徴を実行するための当業者の知識の範囲内にあるものと考えられる。
単純な分割アーキテクチャのOpenFlowネットワークに関する構成例の一実施形態を示す図である。 分割アーキテクチャ・ネットワークにおける、制御プレーン内のコントローラ及びデータ・プレーン内のフロー・スイッチの一実施形態を示す図である。 ブロードキャスト・パケットを効率的に処理するように分割アーキテクチャ・ネットワークを構成するためのプロセスの一実施形態を示すフローチャートである。 外部ポートを追跡するプロセスの一実施形態を示すフローチャートである。 自己生成されたブロードキャスト・パケットを処理するためのプロセスの一実施形態を示すフローチャートである。 コントローラが自己生成されたパケットを処理する分割アーキテクチャ・ネットワークの例を示す図である。 受信されたブロードキャスト・パケットを構成及び処理するためのプロセスの一実施形態を示す図である。 受信された制御ブロードキャスト・パケットを処理するドメイン及びコントローラの一実施形態を示す図である。 受信されたデータ・ブロードキャスト・パケットを処理するドメイン及びコントローラの一実施形態を示す図である。 暗黙的外部ポート識別のためのプロセスの一実施形態を示すフローチャートである。 近隣発見プロトコルを使用する暗黙的外部ポート決定の一実施形態を示す図である。 スイッチ・レベル発見プロトコルを使用する暗黙的外部ポート決定の一実施形態を示す図である。 外部ポート識別のための明示的プロセスの一実施形態を示すフローチャートである。
以下の説明では、多数の特定の細部が示される。しかしながら、本発明の実施形態はこれらの特定の細部無しで実施され得ることを理解されよう。その他の場合、本説明の理解を不明瞭にすることのないように、良く知られた回路、構造、及び技法は詳細に示されていない。しかしながら、当業者であれば、本発明がこうした特定の細部無しで実施され得ることを理解されよう。当業者であれば、含まれる説明を用いて、過度の実験無しに適切な機能を実装できよう。
フローチャートの動作は、図2、図6、図8、図9、図11、及び図12の例示の実施形態を参照しながら説明される。しかしながら、図3〜図5、図7、図10、及び図13のフローチャートの動作は、図2、図6、図8、図9、図11、及び図12を参照しながら考察された以外の本発明の実施形態によって実行され得ること、並びに、図2、図6、図8、図9、図11、及び図12を参照しながら考察された実施形態は、図3〜図5、図7、図10、及び図13のフローチャートを参照しながら考察された動作とは異なる動作を実行し得ることを、理解されたい。
図内に示される技法は、1つ又は複数の電子デバイス(例えばエンド・ステーション、ネットワーク要素、サーバ、又は同様の電子デバイス)上で記憶及び実行されるコード及びデータを使用して実装可能である。こうした電子デバイスは、非一過性の機械読み取り可能又はコンピュータ読み取り可能記憶媒体(例えば磁気ディスク、光ディスク、ランダム・アクセス・メモリ、読み取り専用メモリ、フラッシュ・メモリ・デバイス、及び相変化メモリ)等の、非一過性の機械読み取り可能又はコンピュータ読み取り可能媒体を使用して、コード及びデータを(内部的に、及び/又は、ネットワークを介して他の電子デバイスと)記憶及び通信する。加えて、こうした電子デバイスは、通常、1つ又は複数の記憶デバイス、ユーザ入力/出力デバイス(例えばキーボード、タッチ・スクリーン、及び/又はディスプレイ)、及びネットワーク接続等の、1つ又は複数の他の構成要素に結合された、1つ又は複数のプロセッサのセットを含む。プロセッサのセット及び他の構成要素の結合は、通常、1つ又は複数のバス及びブリッジ(バス・コントローラとも呼ばれる)を介する。記憶デバイスは、1つ又は複数の非一過性の機械読み取り可能又はコンピュータ読み取り可能記憶媒体、及び非一過性の機械読み取り可能又はコンピュータ読み取り可能通信媒体を表す。したがって、所与の電子デバイスの記憶デバイスは、通常、その電子デバイスの1つ又は複数のプロセッサのセット上で実行するためのコード及び/又はデータを記憶する。もちろん、本発明の実施形態の1つ又は複数の部分は、ソフトウェア、ファームウェア、及び/又はハードウェアの異なる組み合わせを使用して実装され得る。
本明細書で使用される場合、ネットワーク要素又はネットワーク・ノード(例えばルータ、スイッチ、ブリッジ、又は同様のネットワーキング・デバイス)は、ネットワーク上の他の機器(例えば、他のネットワーク要素又はノード、エンド・ステーション、或いは同様のネットワーキング・デバイス)を通信可能に相互接続する、ハードウェア及びソフトウェアを含む、1つのネットワーキング機器である。幾つかのネットワーク要素又はネットワーク・ノードは、多重ネットワーキング機能(例えば、ルーティング、ブリッジング、スイッチング、レイヤ2集約、セッション・ボーダ制御、マルチキャスティング、及び/又は加入者管理)に関するサポートを提供し、さらに/或いは、多重アプリケーション・サービス(例えばデータ収集)に関するサポートを提供する、「多重サービス・ネットワーク要素」又は「多重サービス・ネットワーク・ノード」である。ネットワーク要素及びネットワーク・ノードという用語は、本明細書では交換可能に使用される。
本発明の実施形態は、従来技術の欠点を回避するための方法及びシステムを提供する。ブロードキャスト・パケットの転送を処理する本来の実装は、ネットワークの各ノード内のすべてのアクティブ・ポート上でブロードキャスト・パケットを盲目的に転送することである。しかしながらこれは、この実装を使用して転送される多くのパケットが、不必要にすべての所期の受信者に到達するものであるため、非効率的である。自己生成されたブロードキャスト・パケット及び受信されたブロードキャスト・パケットのどちらのシナリオの場合も、ブロードキャスト・パケットは、ドメイン用のすべての外部ポート上でのみ送信される必要がある。外部ポートは、ドメインのコントローラの制御下にないネットワーク・ノード又はデバイスに接続された、ドメイン(例えばOpenFlowドメイン)のポートとして定義される。
OpenFlow分割アーキテクチャ・ネットワークを含む既存の分割アーキテクチャ・ネットワークは、ドメイン外で自己生成されたブロードキャスト・パケットを送信するための効率的な機構を提供していない。受信されたブロードキャスト・パケットの場合、フロー・スイッチは、コントローラによって、ドメイン内のすべてのスイッチ上のすべてのアクティブ・ポートでブロードキャスト・パケットをフラッディングさせるように事前にプログラミングされている。この単純な機構は、ブロードキャスト・パケットを転送するためのネットワーク・リソースの不必要な使用に関して、非常に非効率的である。例えば、OpenFlowドメイン・ネットワークがm個のリンク及びn個の外部ポートを有する場合、理想的には、受信されたブロードキャスト・パケットはn個の外部ポート上でのみ送信されるべきである。現行技術を使用すると、少なくともすべてのm個のリンク及びn個の外部ポート上で送信されることになる。m個のリンクすべてのパケットをフラッディングさせるためにすべてのスイッチ転送リソースが使用されることは、ネットワーク・リソースの非効率的な使用につながる。典型的なネットワークでは、mはnよりも桁数が大きい可能性があり、このシナリオでは、リソース使用の非効率性がかなり高い可能性がある。
本発明の実施形態は、従来技術のこれらの欠点を克服する。本発明の実施形態は、自己生成されたブロードキャスト・パケットをブロードキャストするための効率的な方法、並びに、受信されたブロードキャスト・パケット・シナリオを処理するための最適なソリューションを提供する、パケット・ブロードキャストの方法及びシステムを含む。本発明の実施形態は、自己生成されたブロードキャスト・パケット、受信されたブロードキャスト・パケット、及び受信されたデータ・ブロードキャスト・パケットの、複数のシナリオで、パケットをブロードキャストするための機構を提供する。これらの機構は、前述の盲目的な転送の標準的な実装よりもはるかに効率的である。
例えば現行の技術を使用する場合、ドメイン内のすべてのスイッチ上のすべてのポートにあるいずれのブロードキャスト・パケットをもフラッディングさせるため、貴重なネットワーク・リソースの非効率的な使用につながる。本発明の実施形態は、ネットワーク・リソースを必要な割合でのみ使用するパケットのブロードキャストを処理するための機構を提供するため、ネットワーク・リソースの大幅な節約につながる。
一実施形態において、コントローラは、ドメイン内の他のフロー・スイッチのリソースを浪費することなく、ブロードキャスト・パケットを関連する外部ポートに直接転送するように、ドメインのフロー・スイッチを構成する。コントローラは、外部ポートを識別し、基礎となるフロー・スイッチ内の適切なフローをパケット転送用にプログラミングする。
図2は、効率的なブロードキャスト・パケットの処理を伴う、分割アーキテクチャ・ネットワークにおけるコントローラ及びフロー・スイッチの一実施形態を示す図である。コントローラ103及びフロー・スイッチ133は、それぞれネットワーク・ノード101、131によって実装される。これらのネットワーク・ノードは、ルータ、スイッチ、及び同様のデバイスを含む任意のタイプのネットワーキング要素とすることができる。ネットワーク・ノード101、131は、ローカル・エリア・ネットワーク(LAN)、インターネット等のワイド・エリア・ネットワーク(WAN)を含む、任意のタイプのネットワークを介して、或いは同様のネットワークを介して、通信することができる。ネットワークは、有線又は無線のデバイスの任意の組み合わせで構成され得る。コントローラ103は、任意数のフロー・スイッチ133を制御するために通信及び割り当てが可能である。わかりやすくするために、単一のフロー・スイッチが示されている。
一実施形態において、コントローラ103及びフロー・スイッチ133は、それぞれOpenFlowコントローラ及びOpenFlowスイッチである。OpenFlowは、www.OpenFlow.orgでホストされるOpenFlowスイッチング仕様で定義された、システム及びプロトコルである。他の実施形態では、プロトコル又はシステムを実行可能にする他の同様の分割アーキテクチャが、制御プレーン機能及びデータ・プレーン機能を分離するために使用される。
一実施形態において、コントローラ103は、アプリケーション・セット、分散ネットワーク・ミドルウェア119、及びオペレーティング・システム121で構成可能である。分散ネットワーク・ミドルウェア119は、コントローラと他のネットワーク・ノードとの間の通信をサポートする、機能セット及びデータ構造を提供する。オペレーティング・システム121は、プロセッサ及びメモリ・リソース等のネットワーク・ノード101のリソースを管理する。これらのサービスを提供する任意の分散ネットワーク・ミドルウェア及びオペレーティング・システムが使用可能である。
コントローラのアプリケーション又は構成要素は、外部ポート追跡モジュール105、ブロードキャスト構成モジュール107、ブロードキャスト処理モジュール109、ボーダー・ゲートウェイ・プロトコル(BGP)モジュール111、オープン・ショーテスト・パス・ファースト(OSPF)モジュール113、近隣発見プロトコル(NDP)モジュール115、及び同様の構成要素を含むことができる。BGPモジュール111は、自律型システム内でネットワーク到達可能性を指定するプレフィックスのテーブルを維持する。OSPFモジュール113は、ネットワーク・トポロジを横切る最短パスを計算する。NDPモジュール115は、ネットワーク・ノード間の通信を可能にするために、ネットワーク・ノードの機能及び特徴をその近隣に広告することができる。同様に、NDPモジュール115は、ドメイン間の接続リンクを介してこれらの隣接から広告を受信することによって、近隣を発見する。他の実施形態では、スイッチは、NDPを実装し、発見された近隣及びコントローラのNDPモジュール115へのリンクを報告する。NDPの例は、CISCO SYSTEMS, Incによる、リンク・レイヤ発見プロトコル(LLDP)及びCISCO発見プロトコル(CDP)である。
外部ポート追跡モジュール105は、コントローラのドメイン用のすべての外部ポートのリストを作成及び維持する。外部ポート追跡モジュール105の機能は、ドメイン用の外部ポート・セットを決定することである。外部ポート追跡モジュール105は、ブロー・スイッチの外部ポートを識別するためにそれらと通信するために、NDPモジュール等の他のモジュールに関連して機能する。このプロセスは、図11〜図13に関してさらに詳細に説明する。外部ポート追跡モジュール105は、内部ポート及びすべてのアクティブ・ポートを別々に追跡するか、又は外部ポートの追跡プロセスの一部として追跡することができる。
ブロードキャスト構成モジュール107は、受信されたブロードキャスト・パケット及び自己生成されたブロードキャスト・パケットを適切に処理するために、ドメイン内のフロー・スイッチの構成を管理する。フロー・スイッチの構成プロセスは、図3〜図7に関してさらに詳細に説明する。ブロードキャスト処理モジュール109は、コントローラ103によって受信されたか又は自己生成された、ブロードキャスト・パケットを処理する。コントローラ103は、ブロードキャストされることになるパケットを生成すること、又は、そのドメイン内でフロー・スイッチによって転送されたブロードキャスト・パケットを受信することが可能である。ブロードキャスト処理モジュール109は、受信されたブロードキャスト・パケットを処理するために、BGPモジュール等の他のモジュールに関して機能することができる。ブロードキャスト・パケットの処理は、本明細書の以下の詳細な説明に関してさらに詳細に説明する。
オペレーティング・システム121及び分散ネットワーク・ミドルウェア119は、制御プレーン信号プロトコルを伝送する際に介することが可能なセキュア通信チャネル127を提供することによって、コントローラ103とフロー・スイッチ133との間の通信を容易にすることができる。一実施形態において、コントローラ103及びフロー・スイッチ133は、OpenFlowプロトコルを使用して通信する。
フロー・スイッチ133は、ネットワーク・ノード131によって提供される。ネットワーク・ノード131及びフロー・スイッチ133は、幾つかの他のネットワーク・ノード又は同様のデバイスに接続され得る。これら接続のそれぞれは、本明細書では単に「ポート」と呼ばれる別々の通信ポートを介する。これらのポート135は、同じドメイン内の他のネットワークと、或いは、ドメイン外部のネットワーク・ノード又はデバイスと、接続され得る。ドメイン内のネットワーク・ノードと接続されたポート135は、本明細書では「内部ポート」と呼ばれる。ドメイン外部のノードと接続されたポート135は、本明細書では「外部ポート」と呼ばれる。
フロー・スイッチ133は、ブロードキャスト・パケットを含むデータ・パケットを、受信、生成、及び/又は転送することができる。転送テーブル137又は同様のデータ構造は、フロー・スイッチがデータ・パケットのそれぞれをどのように処理するかを決定する、規則セットを定義する。転送テーブル137は、様々な異なるタイプのデータ・パケットを識別し、これに関してアクションを起こすための規則セットを含む、OpenFlow転送テーブル又は同様のタイプの転送テーブルとすることができる。コントローラ103は、例えばブロードキャスト・パケットを処理するための規則を確立することによって、フロー・スイッチ133の転送挙動を管理するように、この転送テーブル137を構成する。
図3は、ブロードキャスト・パケットの効率的な処理のために分割アーキテクチャ・ネットワークを構成するためのプロセスの、一実施形態を示すフローチャートである。このプロセスは、様々なタイプのブロードキャスト・パケットを効率的に処理するように、そのドメイン内のフロー・スイッチ・セットを構成するために、コントローラの構成要素によって実行される。コントローラは、分割アーキテクチャ・ネットワーク内のそのドメイン用の外部ポート・セットを追跡する(ブロック301)。本明細書で使用される「セット」とは、1つのアイテムを含む任意の整数のアイテムを指す。外部ポートは、リスト、テーブル、又は同様のデータ構造等の、任意のタイプのデータ構造内で追跡可能である。外部ポートを識別するプロセスは、本明細書の以下で、図11〜図13に関してより詳細に考察される。
プロセスは、自己生成されたブロードキャスト・パケットを識別された外部ポート・セットのそれぞれに転送するように、ドメイン内の外部ポートを伴うすべてのフロー・スイッチを構成することによって続行される(ブロック303)。構成は、ドメイン内の各フロー・スイッチに関する転送規則を構成するために、制御プレーン・プロトコルを使用して実行され得る。自己生成されたブロードキャスト・パケットとは、ドメイン内のフロー・スイッチによって作成されたブロードキャスト・パケットである。フロー・スイッチは、ドメイン内でフロー・スイッチを構成するために必要な情報へのアクセス権を既に有するコントローラを共有しているため、この自己生成されたブロードキャスト・パケット(例えばARPメッセージ)は、ドメイン外部のネットワーク・ノードにのみ送信される必要がある。したがって、これらの自己生成されたメッセージでドメインの内部ポートをフラッディングさせることは、リソースの浪費である。これらの自己生成されたブロードキャスト・メッセージは、その維持された外部ポート・リストに基づいてドメインの各外部ポートにメッセージを直接送信する、コントローラで作成される。
プロセスは、受信された制御ブロードキャスト・パケットをコントローラに転送するように、外部ポートを備えるドメイン内の各フロー・スイッチを構成する(ブロック305)。受信された制御ブロードキャスト・パケットは、ドメイン外部のデバイスから外部ポートを伴うフロー・スイッチによって受信される。受信された制御ブロードキャスト・パケット内の情報は、コントローラのみに関する。したがってフロー・スイッチは、ドメイン内の他のフロー・スイッチが必要としないこの受信された制御ブロードキャスト・パケットで内部ポートをフラッディングさせるのではなく、この情報をコントローラに送信するように構成される。受信された制御ブロードキャスト・パケットの例は、コントローラのドメイン外部のデバイスから受信されたARPメッセージである。次に、コントローラは、自己生成されたパケットと同様に、すべての外部ポート上のこの受信された制御ブロードキャスト・パケットを転送することになる。コントローラは、フロー・スイッチによって転送された受信された制御ブロードキャスト・パケットの情報も処理することができる。
コントローラは、受信されたデータ・ブロードキャスト・パケットをドメイン用の外部ポート・セットに転送するように、そのドメイン内のフロー・スイッチを構成する(ブロック307)。これらのデータ・ブロードキャスト・パケットは、制御プレーンの処理を必要とせず、コントローラに転送されることを必要としない。コントローラは、外部ポート上で受信された各データ・ブロードキャスト・パケットが、ドメインを横切って互いの外部ポートに転送されるように、すべての外部ポート・セット間にフロー・セットを構成する。この処理を実行するために確立されたフローを使用することで、リソースの浪費である、ドメイン内のすべての内部ポート上で受信されたデータ・ブロードキャスト・パケットを盲目的に転送することを回避する。フローは、受信されたデータ・ブロードキャスト・パケットがフラッディングを使用することなく各外部ポートに到達することを保証する。フローは、各フロー・スイッチがフラッディングを使用することなくデータ・ブロードキャスト・パケットを受信することを保証するように確立されることも可能である。フローは、コントローラによって設定された最短パス又は同様に構成されたパスを用いて、データ・パケットが各外部ポートに向けて送られるように、これらのパケットの転送を実行可能にする。
図4は、外部ポートを追跡するプロセスの一実施形態を示すフローチャートである。このプロセスは、コントローラによって実行される。コントローラは、外部ポートを決定するために明示的プロセス又は暗黙的プロセスのいずれかを使用する。明示的プロセス及び暗黙的プロセスは、図11〜図13に関してより詳細に考察される。プロセスは第一に、コントローラのドメイン内のフロー・スイッチに関するすべてのアクティブ・ポートを識別する(ブロック401)。オプションで、コントローラはアクティブ・ポート・リスト内の内部ポートを識別することができる(ブロック403)。分割アーキテクチャ・ネットワーク及び制御プレーン・プロトコルの実装に応じて、コントローラは、外部ポート・セットを推定するために内部ポートを決定する必要があり得る。他の実施形態において、コントローラは外部ポートのセットを直接決定することができる。コントローラは、外部ポートのセットを決定し、これをフロー・スイッチの構成に使用して、ブロードキャスト・パケットを効率的に処理する(ブロック405)。
図5は、自己生成されたブロードキャスト・パケットを処理するためのプロセスの一実施形態を示すフローチャートである。このプロセスは、図4に関して上記で説明され、図11〜図13に関して以下でさらに説明される、外部ポートの追跡に依拠する(ブロック501)。自己生成されたパケットはコントローラによって作成される(ブロック503)。自己生成されたパケットの例はARPメッセージである。コントローラは外部ポート・リストを使用して、外部ポートを伴うフロー・スイッチへのパケットの転送を指示する(ブロック505)。コントローラは、各フロー・スイッチで確立されたフロー又はセキュア・チャネルを使用して、自己生成されたパケットを転送する。
図6は、コントローラが自己生成されたパケットを処理する例示の分割アーキテクチャ・ネットワークを示す図である。ドメインは、破線603で識別される。破線603上又は破線603内のすべてのフロー・スイッチは、コントローラ601のドメインの一部である。各ポートは円605でラベル付けされる。自己生成されたパケットは、コントローラから外部ポート605を伴う各フロー・スイッチへ転送される。黒い実線の矢印607は、自己生成されたパケットの転送を示す。点線609は、コントローラ601とすべてのフロー・スイッチとの間の制御プロトコル通信を可能にするために確立された、制御通信チャネル又はセキュア・チャネルを示す。自己生成されたパケットは、これらの制御通信チャネルを介して、又は他の同様のパスを介して、外部ポート605に転送され得る。自己生成されたパケットは、ドメインの内部ポートを介してフラッディングされないため、自己生成されたパケットを適切に転送するために必要なリソースを減少させる。
図7は、受信されたブロードキャスト・パケットを構成及び処理するためのプロセスの一実施形態を示す図である。受信されたブロードキャスト・パケットは、コントローラのドメイン内でフロー・スイッチの外部ポートを介して受信されるブロードキャスト・パケットである。したがって、受信されたブロードキャスト・パケットは、ドメイン外部のネットワーク・ノード又はデバイスから受信される。
このプロセスは、外部ポート・リストの可用性にも依拠しており、この外部ポート・リストは、図4に関して上記で、及び図11〜図13に関して本明細書の以下で説明されるように、作成及び維持されているものと想定する。コントローラはこのプロセスを実行するか、又はおのプロセスの実行を指示する。コントローラは、そのフロー・スイッチからコントローラへのフローを確立するための外部ポートを有する、そのドメイン内の各フロー・スイッチをプログラミングする(ブロック703)。このフローは、これらの制御パケットの転送を、フロー・スイッチからの転送のみに限定するように設計され、これらのメッセージは外部デバイスからコントローラへ受信される。受信された制御パケットは、ドメインの内部ポート上ではブロードキャストされず、それによって分割アーキテクチャ・ネットワーク内のリソースを節約する。
一実施形態において、外部ポートを伴うフロー・スイッチは、着信するパケットがブロードキャスト・パケットであることを示す宛先MACアドレスに関する合致を検索するために、着信するパケットを分析するようにプログラミングされる。例えば、FF:FF:FF:FF:FF:FFとアドレス指定されたMACは、ブロードキャスト・パケットを識別するために使用され得る。検出された各ブロードキャスト・パケットについて、パケットが制御パケットかどうかを判別するために、Ethertypeの着信するパケットが検査される。フロー・スイッチは、ブロードキャスト・パケットを示す宛先及び制御パケットを示すEthertypeを有する任意のパケットを転送するためのアクションで構成される。例えば、FF:FF:FF:FF:FF:FF MACアドレス及び制御パケットを示すEthertypeを有する、ARP要求パケットを受信することができる。これらの基準に合致するパケットは、その後、フロー・スイッチ内の規則又は同様の構成可能なアクションを使用してコントローラに転送されるようにプログラミングされる。
その後コントローラは、外部サポートを伴う互いのフロー・スイッチへの外部ポートを有するドメイン内の各フロー・スイッチから、フロー・セットを計算する(ブロック705)。フローは、外部ポート間の最短パス又はドメインを横切る同様のパスとすることができる。コントローラは、そのドメインのトポロジのその知識を使用して、これらのパスを計算することができる。
フロー・セットが計算された後、コントローラは、フローに関連付けられた外部ポートに向かってデータ・ブロードキャスト・パケットを転送するために、フローに沿って各フロー・スイッチをプログラミングする(ブロック707)。他の実施形態において、フローは、ドメイン内のデータ・ブロードキャスト・パケットをフラッディングさせることなく、ドメイン内のすべてのフロー・スイッチへのデータ・ブロードキャスト・パケットの効率的な伝播を保証するようにも確立され得る。フローは、ユニキャスト・パス又はマルチキャスト・パス、或いはそれらの任意の組み合わせとすることができる。これらのパスは、ダイクストラ法アルゴリズム又は同様のプロセス等の、最短パス・アルゴリズムによって決定されるような、最短パスとすることができる。一実施形態において、フロー・スイッチは、受信されたデータ・ブロードキャスト・パケットがブロードキャスト・パケットであるかどうか(例えばFF:FF:FF:FF:FF:FFのMACアドレスの合致)を判別するためにこれらを分析するようにプログラミングされる。Ethertypeも、パケットが制御パケットかデータ・パケットかを判別するために、それらパケットについて分析される。受信されたデータ・パケットがデータ・ブロードキャスト・パケットである場合、フロー・スイッチはこれを関連付けられたフローのセットに沿って転送するように構成される。これによって、これらのパケットの盲目的な転送を回避し、これらのパケットのコントローラへの転送を回避する。
フロー・スイッチが適切に構成された後、ブロードキャスト・パケットの処理が開始される。ブロードキャスト・パケットを処理する際のコントローラの役割は、フロー・スイッチから受信された制御ブロードキャスト・パケットを処理すること、及び、その後それらを、ドメインの各外部ポート上で転送されることになる外部ポートを伴う各フロー・スイッチに転送することを含む(ブロック709)。
図8は、受信された制御ブロードキャスト・パケットを処理するドメイン及びコントローラの一実施形態を示す図である。制御ブロードキャスト・パケット803は、外部ポート805で受信される。外部ポート805を伴うフロー・スイッチは、受信された制御ブロードキャスト・パケットをコントローラ801に転送する807ように構成されている。フロー・スイッチは、受信された制御ブロードキャスト・パケットでドメインをフラッディングさせることがない。
コントローラ801は、必要に応じてパケットを処理し、制御ブロードキャスト・パケット809を、外部ポートを伴う各フロー・スイッチに転送する。次に、これらのフロー・スイッチのそれぞれが、関連付けられた外部ポート上で制御ブロードキャスト・パケットを転送する。これにより、受信された制御ブロードキャスト・パケットの適切な伝播を保証するが、内部ポートの不必要なフラッディング、及び、受信された制御ブロードキャスト・パケットとのドメインのリンクを回避する。
図9は、受信されたデータ・ブロードキャスト・パケットを処理するドメイン及びコントローラの一実施形態を示す図である。データ・ブロードキャスト・パケット903は、外部ポート905で受信される。外部ポート905を伴うフロー・スイッチは、受信されたデータ・ブロードキャスト・パケットを、コントローラによって構成されたフロー・セットに沿って転送する907ように構成されている。フローは、他の外部ポート909のそれぞれへの、受信されたデータ・ブロードキャスト・パケットの転送を指示する。他の外部ポート909に関連付けられたフロー・スイッチはデータ・ブロードキャスト・パケットを受信し、外部ポート上でパックを転送する。したがって、受信されたデータ・ブロードキャスト・パケットは、内部リンクをフラッディングさせることなく、及び、パケットをコントローラに転送することなく、ドメインを介して各外部ポートに転送される。
図10は、暗黙的外部ポート識別のためのプロセスの一実施形態を示すフローチャートである。このプロセスで、外部ポートは、アクティブ・ポートのリストから内部ポートを消去することによって識別される。一実施形態において、OpenFlowプロトコルは、ドメイン内のすべてのフロー・スイッチに関するすべてのアクティブ・ポートのリストを取得するために使用され得る。他の実施形態において、リンク・レベル又はスイッチ・レベル発見プロトコルは、アクティブ・ポート及び内部ポートを決定するために使用される。
プロセスは、各フロー・スイッチに関するアクティブ・ポート・リストを生成するために、ドメイン内のすべてのフロー・スイッチを照会するコントローラによって開始される(ブロック1001)。一実施形態において、照会はOpenFlowプロトコルの使用によって実施される。照会に対する回答がドメイン内の各フロー・スイッチから受信されると、アクティブ・ポートのリストはドメイン用のアクティブ・ポートのリストにコンパイルされる(ブロック1003)。アクティブ・ポート・リストがコンパイルされると、コントローラは、LLDP等のNDPを使用して、どのアクティブ・ポートがドメインの内部ポートであるかを決定する(ブロック1005)。内部ポートのリストが受信されると、コントローラはそれらをドメイン用の内部ポートのリストにコンパイルする(ブロック1007)。
その後、ドメインの内部ポート・リスト及びドメインのアクティブ・ポート・リストの比較によって、ドメインから外部ポートが決定され得る(ブロック1009)。内部ポートとしてリストに掲載されていないすべてのアクティブ・ポートは、外部ポートであると推定される。その後、ブロードキャスト・パケットの処理に使用するための外部ポート・リストが維持され得る。これは、連続的又は定期的に更新又は再計算されている、アクティブ・ポート・リスト、内部ポート・リスト、及び外部ポート・リストを用いる進行中のプロセスとすることが可能である。
図11は、近隣発見プロトコルを使用した暗黙的外部ポート決定の一実施形態を示す図である。コントローラは、そのポートのそれぞれでNDPメッセージ1103Aを送信する。このNDPメッセージ1103Aは、そのポート上で受信されたネットワーク要素によって転送される1103B。次に、NDPメッセージ1103Cはコントローラ1101に戻り、それによってコントローラ1101は、NDPメッセージ1103Bのルートがドメインの内部リンクをカバーする内部ルートであることを決定することができる。すべての内部リンクが決定されると、外部ポートはこの情報及びすべてのアクティブ・ポートのリストから推定され得る。
図12は、スイッチ・レベル発見プロトコルを使用した暗黙的外部ポート決定の一実施形態を示す図である。コントローラ1201は、フロー・スイッチ間でのスイッチ・レベル発見プロトコル・メッセージ1203Bの送信を開始するために、ドメイン内の各フロー・スイッチ1203A、Cと通信する。その後、フロー・スイッチは、リンク及びポートが内部又は外部の何れであるかをコントローラが決定できるように、コントローラにリンク情報を報告する。
図13は、外部ポート識別のための明示的プロセスの一実施形態を示すフローチャートである。この実施形態において、外部ポートは、リンク・レベル発見プロトコル(LLDP)又は同様のプロトコル等の、近隣発見プロトコル(NDP)を使用して識別される。本実施形態は、ドメインのフロー・スイッチ及びコントローラと通信する外部デバイスが、コントローラと同じNDPをサポートしていることを必要とする。外部ポートは、NDPメッセージが、ドメインの一部でないデバイスから受信された場合に認識される。メッセージの進入ポートは外部ポートとして記録される。
外部ポート・リスト維持に関するこのプロセスは、フロー・スイッチで他のネットワーク・ノードからNDPメッセージを受信することに応答して開始され得る(ブロック1301)。このNDPメッセージは、フロー・スイッチによってコントローラに転送される制御メッセージである。コントローラは、メッセージのソースを決定するために受信されたNDPメッセージを検査する(ブロック1303)。ソースは、NDPメッセージ内のソース・アドレスから決定され得る。ソース・ネットワーク・ノードは、コントローラのドメイン内の既知のネットワーク・ノードのリストと比較される(ブロック1305)。ソース・ネットワーク・ノードがコントローラのドメイン内に無い場合、NDPメッセージが受信された際に介したフロー・スイッチのポートが、ドメインに関する外部ポートのリストに追加される(ブロック1307)。このポートの識別は、NDPメッセージが転送された場合、又は、コントローラの照会に応答して、NDPメッセージをコントローラに転送したフロー・スイッチに提供され得る。
このようにして、分割アーキテクチャ・ネットワーク内でのブロードキャスト・パケットの処理を最適化するための方法、システム、及び装置が提供される。上記説明が例示的であり、制限的でないことが意図されることを理解されよう。当業者であれば、上記説明を読み、これを理解することで、多くの他の実施形態が明らかとなろう。したがって本発明の範囲は、添付の特許請求の範囲、並びにかかる特許請求の範囲が相当する等価物の全範囲を参照しながら、決定されるべきである。

Claims (19)

  1. 分割アーキテクチャ・ネットワーク内のドメインに対してコントローラとして機能するネットワーク・ノード内で実装される方法であって、前記ドメインは複数のフロー・スイッチを備え、前記複数のフロー・スイッチは前記分割アーキテクチャ・ネットワーク用のデータ・プレーンを実装し、前記コントローラは前記データ・プレーンからリモートにある前記分割アーキテクチャ・ネットワーク用の制御プレーンを実装し、前記方法は、ブロードキャスト・パケットでドメインをフラッディングさせることなく、前記分割アーキテクチャ・ネットワークの前記ドメイン内で各タイプのブロードキャスト・パケットを効率良く処理し、それによって前記ドメイン内で転送されるブロードキャスト・パケットの数を減少させるように、前記複数のフロー・スイッチを構成し、
    前記ドメイン用の外部ポート・セットを追跡するステップであって、各外部ポートが前記複数のフロー・スイッチのうちの1つをドメイン外部のデバイスに接続する、追跡するステップと、
    自己生成されたブロードキャスト・パケットで前記ドメインをフラッディングさせることなく、前記自己生成されたブロードキャスト・パケットを前記ドメイン用の前記外部ポート・セット内の少なくとも1つの外部ポートを有する各フロー・スイッチに転送するように、前記ドメイン内の前記複数のフロー・スイッチのそれぞれを構成するステップと、
    受信された制御ブロードキャスト・パケットで前記ドメインをフラッディングさせることなく、前記受信された制御ブロードキャスト・パケットを前記ドメインの前記コントローラに転送するように、前記ドメイン用の前記外部ポート・セットから少なくとも1つの外部ポートを有する前記複数のフロー・スイッチのそれぞれを構成するステップと、
    受信されたデータ・ブロードキャスト・パケットで前記ドメインをフラッディングさせることなく、前記受信されたデータ・ブロードキャスト・パケットを前記ドメイン用の前記外部ポート・セットに転送するように、前記ドメイン内の前記複数のフロー・スイッチを構成するステップと、
    を含む、方法。
  2. 前記外部ポート・セットを追跡するステップが、前記ドメイン内の各フロー・スイッチの各アクティブ・ポートを識別するステップをさらに含む、請求項1に記載の方法。
  3. 前記外部ポート・セットを追跡するステップが、各アクティブ・ポートが内部ポートであるかどうかを識別するステップをさらに含み、前記内部ポートは、前記ドメイン内の第1のフロー・スイッチを前記ドメイン内の第2のフロー・スイッチに接続する、請求項2に記載の方法。
  4. 前記外部ポート・セットを追跡するステップが、前記ドメインの前記内部ポートと前記ドメインの前記アクティブ・ポートとを比較することによって、前記ドメインの各外部ポートを識別するステップをさらに含み、各外部ポートは前記ドメインのアクティブな非内部ポートである、請求項3に記載の方法。
  5. 前記内部ポートを識別するステップが、近隣発見プロトコルを使用して内部ポートを識別するステップをさらに含む、請求項3に記載の方法。
  6. 前記ドメイン外部のネットワーク・ノードから近隣発見プロトコル(NDP)メッセージを受信するステップと、
    前記NDPメッセージのソースと制御されるフロー・スイッチのセットとを比較するステップと、
    をさらに含む、請求項1に記載の方法。
  7. 外部ソースからのNDPメッセージが受信された際に介したフロー・スイッチ用の進入ポートを、前記外部ポート・リストに追加するステップをさらに含む、請求項6に記載の方法。
  8. 前記コントローラによって、前記外部ポート・セット内の外部ポートを有する各フロー・スイッチに、受信された制御パケットを転送するステップをさらに含み、各フロー・スイッチは各外部ポートを介して前記制御パケットを転送するためのものである、請求項1に記載の方法。
  9. 外部ポートを伴う各フロー・スイッチから外部ポートを伴う各他のフロー・スイッチへのフロー・セットを計算するステップと、
    前記フロー・セットに従って、受信されたデータ・ブロードキャスト・パケットを転送するために、前記フロー・セットのパス内の各フロー・スイッチをプログラミングするステップと、
    をさらに含む、請求項1に記載の方法。
  10. 分割アーキテクチャ・ネットワーク内のドメイン用のコントローラとして機能するネットワーク・ノードであって、前記ドメインは複数のフロー・スイッチを備え、前記複数のフロー・スイッチは前記分割アーキテクチャ・ネットワーク用のデータ・プレーンを実装し、前記コントローラは前記データ・プレーンからリモートにある前記分割アーキテクチャ・ネットワーク用の制御プレーンを実装し、前記ネットワーク・ノードは、ブロードキャスト・パケットで前記ドメインをフラッディングさせることなく、前記分割アーキテクチャ・ネットワーク内で各タイプのブロードキャスト・パケットを効率良く処理し、それによって前記ドメイン内で転送されるブロードキャスト・パケットの数を減少させるように、前記複数のフロー・スイッチを構成し、
    前記ドメイン用の外部ポート・セットを追跡するための外部ポート追跡モジュールであって、各外部ポートが前記複数のフロー・スイッチのうちの1つを前記ドメイン外部のデバイスに接続する、外部ポート追跡モジュールと、
    前記外部ポート追跡モジュールに通信可能に結合されたブロードキャスト構成モジュールと、
    を備え、前記ブロードキャスト構成モジュールは、自己生成されたブロードキャスト・パケットで前記ドメインをフラッディングさせることなく、前記自己生成されたブロードキャスト・パケットを前記ドメイン用の前記外部ポート・セット内の少なくとも1つの外部ポートを有する各フロー・スイッチに転送するように、前記ドメイン内の前記複数のフロー・スイッチのそれぞれを構成するように構成され、前記ドメインをフラッディングさせることなく、受信された制御ブロードキャスト・パケットを前記ドメインの前記コントローラに転送するように、前記ドメイン用の前記外部ポート・セットから少なくとも1つの外部ポートを有する前記複数のフロー・スイッチのそれぞれを構成するように構成され、更に、受信されたデータ・ブロードキャスト・パケットで前記ドメインをフラッディングさせることなく、前記受信されたデータ・ブロードキャスト・パケットを前記ドメイン用の前記外部ポート・セットに転送するように、前記ドメイン用の前記複数のフロー・スイッチを構成するように構成される、
    ネットワーク・ノード。
  11. 前記ブロードキャスト構成モジュールに通信可能に結合されたブロードキャスト処理モジュールをさらに備え、前記ブロードキャスト処理モジュールは、受信されたブロードキャスト・パケットを、前記外部ポート・セットを有する前記フロー・スイッチに転送するように構成される、請求項10に記載のネットワーク・ノード。
  12. 前記外部ポート追跡モジュールが、前記ドメイン内の各フロー・スイッチの各アクティブ・ポートを識別するように構成される、請求項10に記載のネットワーク・ノード。
  13. 前記外部ポート追跡モジュールが、各アクティブ・ポートが内部ポートであるかどうかを識別するように構成され、前記内部ポートは、前記ドメイン内の第1のフロー・スイッチを前記ドメイン内の第2のフロー・スイッチに接続する、請求項12に記載のネットワーク・ノード。
  14. 前記外部ポート追跡モジュールが、前記ドメインの前記内部ポートと前記ドメインの前記アクティブ・ポートとを比較することによって、前記ドメインの各外部ポートを識別するように構成され、各外部ポートは前記ドメインのアクティブな非内部ポートである、請求項13に記載のネットワーク・ノード。
  15. 前記外部ポート追跡モジュールがが、近隣発見プロトコルを使用して内部ポートを識別するように構成される、請求項13に記載のネットワーク・ノード。
  16. 前記外部ポート追跡モジュールが、前記ドメイン外部のネットワーク・ノードから近隣発見プロトコル(NDP)メッセージを受信し、前記NDPメッセージのソースと制御されるフロー・スイッチのセットとを比較するように構成される、請求項11に記載のネットワーク・ノード。
  17. 前記外部ポート追跡モジュールが、外部ソースからのNDPメッセージが受信された際に介したフロー・スイッチ用の進入ポートを、前記外部ポート・リストに追加するように構成される、請求項16に記載のネットワーク・ノード。
  18. 前記ブロードキャスト処理モジュールが、前記コントローラによって、前記外部ポート・セット内の外部ポートを有する各フロー・スイッチに、受信された制御パケットを転送するように構成され、各フロー・スイッチは各外部ポートを介して前記制御パケットを転送するためのものである、請求項11に記載のネットワーク・ノード。
  19. 前記ブロードキャスト構成モジュールが、外部ポートを伴う各フロー・スイッチから外部ポートを伴う各他のフロー・スイッチへのフロー・セットを計算するように構成され、更に、前記フロー・セットに従って、受信されたデータ・ブロードキャスト・パケットを転送するために、前記フロー・セットのパス内の各フロー・スイッチをプログラミングするように構成される、請求項10に記載のネットワーク・ノード。
JP2014523425A 2011-08-02 2012-07-25 分割アーキテクチャ・ネットワークにおけるパケット・ブロードキャスト機構 Expired - Fee Related JP5974092B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/196,717 US8971334B2 (en) 2011-08-02 2011-08-02 Packet broadcast mechanism in a split architecture network
US13/196,717 2011-08-02
PCT/IB2012/053807 WO2013017998A1 (en) 2011-08-02 2012-07-25 Packet broadcast mechanism in a split architecture network

Publications (3)

Publication Number Publication Date
JP2014527340A true JP2014527340A (ja) 2014-10-09
JP2014527340A5 JP2014527340A5 (ja) 2015-08-13
JP5974092B2 JP5974092B2 (ja) 2016-08-23

Family

ID=46852322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014523425A Expired - Fee Related JP5974092B2 (ja) 2011-08-02 2012-07-25 分割アーキテクチャ・ネットワークにおけるパケット・ブロードキャスト機構

Country Status (8)

Country Link
US (3) US8971334B2 (ja)
EP (1) EP2740239B1 (ja)
JP (1) JP5974092B2 (ja)
KR (1) KR102018395B1 (ja)
CN (1) CN103703723B (ja)
AU (1) AU2012291753B2 (ja)
IN (1) IN2014DN00247A (ja)
WO (1) WO2013017998A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10142160B1 (en) * 2011-10-04 2018-11-27 Big Switch Networks, Inc. System and methods for managing network hardware address requests with a controller
US8856384B2 (en) 2011-10-14 2014-10-07 Big Switch Networks, Inc. System and methods for managing network protocol address assignment with a controller
US9036636B1 (en) * 2012-02-06 2015-05-19 Big Switch Networks, Inc. System and methods for managing network packet broadcasting
US9559948B2 (en) * 2012-02-29 2017-01-31 Dell Products, Lp System and method for managing unknown flows in a flow-based switching device
US9264295B1 (en) * 2012-03-02 2016-02-16 Big Switch Networks, Inc. Systems and methods for forwarding broadcast network packets with a controller
CN104221335A (zh) * 2012-03-23 2014-12-17 日本电气株式会社 控制设备、通信设备、通信系统、通信方法和程序
WO2013140803A1 (en) * 2012-03-23 2013-09-26 Nec Corporation System and method for communication
US9584568B2 (en) * 2012-05-09 2017-02-28 Nec Corporation Signal processing apparatus and signal processing method thereof for implementing a broadcast or a multicast communication
US9455948B2 (en) * 2012-06-29 2016-09-27 Cisco Technology, Inc. Reducing proliferation of network-to-link-layer address resolution messages
US9331930B1 (en) * 2012-09-04 2016-05-03 Big Switch Networks, Inc. Systems and methods for forwarding network packets in a network using network domain topology information
WO2014041550A1 (en) * 2012-09-11 2014-03-20 Hewlett-Packard Development Company, L.P. Discovering ip multicast group memberships in software defined networks
US9094285B2 (en) 2013-01-25 2015-07-28 Argela Yazilim ve Bilisim Teknolojileri San. ve Tic. A.S. Automatic discovery of multiple controllers in Software Defined Networks (SDNs)
CN105122746B (zh) * 2013-03-29 2018-05-29 日本电气株式会社 控制装置、通信系统、通信节点控制方法以及程序
CN104158747B (zh) * 2013-05-14 2019-09-24 中兴通讯股份有限公司 网络拓扑发现方法和系统
US10212083B2 (en) 2013-10-30 2019-02-19 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Openflow data channel and control channel separation
US9432257B2 (en) 2013-12-27 2016-08-30 Huawei Technologies Co., Ltd. Traffic behavior driven dynamic zoning for distributed traffic engineering in SDN
US9602343B1 (en) * 2013-12-30 2017-03-21 Google Inc. System and method for establishing connection with network controller
US9397917B2 (en) 2014-01-10 2016-07-19 Huawei Technologies Co., Ltd. System and method for zoning in software defined networks
KR20150088626A (ko) * 2014-01-24 2015-08-03 한국전자통신연구원 소프트웨어 정의 네트워킹 방법
US8989199B1 (en) 2014-02-24 2015-03-24 Level 3 Communications, Llc Control device discovery in networks having separate control and forwarding devices
WO2015161416A1 (zh) * 2014-04-21 2015-10-29 华为技术有限公司 一种报文传输方法、设备及通信系统
US10091082B2 (en) 2014-11-28 2018-10-02 At&T Intellectual Property I, L.P. Methods and apparatus to capture data plane information
US9699116B2 (en) * 2015-01-26 2017-07-04 Telefonaktiebolaget L M Ericsson (Publ) SDN based interdomain and intradomain traffic engineering
JP6443925B2 (ja) * 2015-03-20 2018-12-26 日本電気株式会社 制御装置、通信システム、制御方法、および、プログラム
KR102409158B1 (ko) 2016-05-10 2022-06-14 엘에스일렉트릭(주) 슬레이브 디바이스 제어 방법
US11349557B2 (en) 2018-11-30 2022-05-31 At&T Intellectual Property I, L.P. System model and architecture for mobile integrated access and backhaul in advanced networks

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1155308A (ja) * 1997-06-02 1999-02-26 Fujitsu Ltd 中継装置、ネットワーク中継システムおよび中継方法
JP2007532070A (ja) * 2004-04-06 2007-11-08 ノーテル・ネットワークス・リミテッド アドレス型キャリアネットワークにおける区別転送
US20100095020A1 (en) * 2008-10-14 2010-04-15 William Marsh Rice University Method and system for scalable ethernet
JP2011070549A (ja) * 2009-09-28 2011-04-07 Nec Corp コンピュータシステム、及び仮想マシンのマイグレーション方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6343083B1 (en) * 1998-04-09 2002-01-29 Alcatel Usa Sourcing, L.P. Method and apparatus for supporting a connectionless communication protocol over an ATM network
US6865160B1 (en) * 1998-05-04 2005-03-08 Hewlett-Packard Development Company, L.P. Broadcast tree determination in load balancing switch protocols
US6781953B1 (en) * 1999-08-03 2004-08-24 Avaya Communication Israel Ltd. Broadcast protocol for local area networks
FR2801454B1 (fr) * 1999-11-18 2004-04-30 Cit Alcatel Reseau x25 et procede de transmission de donnees
US20020145978A1 (en) * 2001-04-05 2002-10-10 Batsell Stephen G. Mrp-based hybrid routing for mobile ad hoc networks
US7286544B2 (en) * 2002-07-25 2007-10-23 Brocade Communications Systems, Inc. Virtualized multiport switch
US7310730B1 (en) * 2003-05-27 2007-12-18 Cisco Technology, Inc. Method and apparatus for communicating an encrypted broadcast to virtual private network receivers
US7315693B2 (en) * 2003-10-22 2008-01-01 Intel Corporation Dynamic route discovery for optical switched networks
US20050111465A1 (en) * 2003-11-25 2005-05-26 Stewart Mark Andrew W. Infiniband switch operating in a clos network
US7706364B2 (en) * 2004-05-19 2010-04-27 Cisco Technology, Inc. Virtual network device clusters
US9215161B2 (en) * 2004-06-07 2015-12-15 Hewlett Packard Enterprise Development Lp Automated selection of an optimal path between a core switch and teamed network resources of a computer system
US7693045B2 (en) * 2004-12-29 2010-04-06 Hewlett-Packard Development Company, L.P. Verifying network connectivity
JP2006270839A (ja) * 2005-03-25 2006-10-05 Fujitsu Ltd レイヤ2機器の設定制御装置
US8165038B2 (en) * 2005-08-19 2012-04-24 Opnet Technologies, Inc. Network physical connection inference for IP tunnels
US7869348B2 (en) * 2006-04-10 2011-01-11 Polytechnic Institute Of New York University Determining rerouting information for single-link failure recovery in an Internet protocol network
US8135007B2 (en) * 2007-06-29 2012-03-13 Extreme Networks, Inc. Method and mechanism for port redirects in a network switch
US20090080345A1 (en) * 2007-09-21 2009-03-26 Ericsson, Inc. Efficient multipoint distribution tree construction for shortest path bridging
US8116310B2 (en) * 2007-11-24 2012-02-14 Cisco Technology, Inc. Reducing packet flooding by a packet switch
US7908368B2 (en) * 2008-09-23 2011-03-15 International Business Machines Corporation Method and apparatus for redirecting data traffic based on external switch port status
JP5408243B2 (ja) * 2009-03-09 2014-02-05 日本電気株式会社 OpenFlow通信システムおよびOpenFlow通信方法
US9106540B2 (en) * 2009-03-30 2015-08-11 Amazon Technologies, Inc. Providing logical networking functionality for managed computer networks
US8989187B2 (en) * 2010-06-04 2015-03-24 Coraid, Inc. Method and system of scaling a cloud computing network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1155308A (ja) * 1997-06-02 1999-02-26 Fujitsu Ltd 中継装置、ネットワーク中継システムおよび中継方法
JP2007532070A (ja) * 2004-04-06 2007-11-08 ノーテル・ネットワークス・リミテッド アドレス型キャリアネットワークにおける区別転送
US20100095020A1 (en) * 2008-10-14 2010-04-15 William Marsh Rice University Method and system for scalable ethernet
JP2011070549A (ja) * 2009-09-28 2011-04-07 Nec Corp コンピュータシステム、及び仮想マシンのマイグレーション方法
US20120185856A1 (en) * 2009-09-28 2012-07-19 Koji Ashihara Computer system and migration method of virtual machine

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN7016001630; Martin Casado et al.: 'Rethinking Enterprise Nwtwork Control' IEEE/ACM TRANSACTION ON NETWORKING Vol.17 No.4, 200908, pp.1270-1283, IEEE *

Also Published As

Publication number Publication date
WO2013017998A1 (en) 2013-02-07
IN2014DN00247A (ja) 2015-06-05
US20130034104A1 (en) 2013-02-07
US10230577B2 (en) 2019-03-12
EP2740239A1 (en) 2014-06-11
US20150139245A1 (en) 2015-05-21
CN103703723A (zh) 2014-04-02
US8971334B2 (en) 2015-03-03
KR102018395B1 (ko) 2019-09-04
US20170149610A1 (en) 2017-05-25
AU2012291753B2 (en) 2016-05-19
KR20140049578A (ko) 2014-04-25
AU2012291753A1 (en) 2014-02-27
EP2740239B1 (en) 2015-11-25
JP5974092B2 (ja) 2016-08-23
US9602435B2 (en) 2017-03-21
CN103703723B (zh) 2017-03-29

Similar Documents

Publication Publication Date Title
JP5974092B2 (ja) 分割アーキテクチャ・ネットワークにおけるパケット・ブロードキャスト機構
CN107204867B (zh) 一种信息传输方法、装置和系统
CN108696440B (zh) 一种用于多重归宿evpn网络中的多播负载均衡的方法和提供者边缘路由器
US9680751B2 (en) Methods and devices for providing service insertion in a TRILL network
JP7123174B2 (ja) マルチキャストデータ送信方法、関連装置、およびシステム
US10097372B2 (en) Method for resource optimized network virtualization overlay transport in virtualized data center environments
US9781032B1 (en) MPLS label usage in ethernet virtual private networks
CN105763359B (zh) 用于交织结构交换机集群的分布式双向转发检测协议(d-bfd)
US20200245206A1 (en) Bit indexed explicit replication based multicast for locator identifier separation protocol
JP5291122B2 (ja) リンクステートプロトコルによるipフォワードにより制御されたイーサーネット・ネットワーク
US11811511B2 (en) Method, apparatus, and system for communication between controllers in TSN
US9838303B2 (en) PIM source discovery by last hop router
CN110061915B (zh) 跨多个架构交换机的虚拟链路聚合的方法和系统
EP3754914B1 (en) Class-based traffic engineering in an ip network
EP3396897B1 (en) Multicast load balancing in multihoming evpn networks
EP3429139A1 (en) Ingress gateway selection for a shortest path bridging network to support inter domain multicast routing
WO2015118822A1 (ja) 通信制御システム、通信制御方法および通信制御プログラム
CN115118545B (zh) 以太网虚拟专用网多播网络中的组管理协议主机移动性
US11888596B2 (en) System and method for network reliability
Jain Creating scalable, efficient and namespace independent routing framework for future networks

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160617

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160715

R150 Certificate of patent or registration of utility model

Ref document number: 5974092

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees