JP2013507044A - クラウドトポロジでのエンタープライズ拡張のためのスケーラブルなアーキテクチャ - Google Patents

クラウドトポロジでのエンタープライズ拡張のためのスケーラブルなアーキテクチャ Download PDF

Info

Publication number
JP2013507044A
JP2013507044A JP2012532127A JP2012532127A JP2013507044A JP 2013507044 A JP2013507044 A JP 2013507044A JP 2012532127 A JP2012532127 A JP 2012532127A JP 2012532127 A JP2012532127 A JP 2012532127A JP 2013507044 A JP2013507044 A JP 2013507044A
Authority
JP
Japan
Prior art keywords
cloud
address
network
data center
enterprise network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012532127A
Other languages
English (en)
Other versions
JP5485403B2 (ja
Inventor
リー,リー・エラン
ウー,トーマス
Original Assignee
アルカテル−ルーセント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント filed Critical アルカテル−ルーセント
Publication of JP2013507044A publication Critical patent/JP2013507044A/ja
Application granted granted Critical
Publication of JP5485403B2 publication Critical patent/JP5485403B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/50Routing or path finding of packets in data switching networks using label swapping, e.g. multi-protocol label switch [MPLS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • H04L45/04Interdomain routing, e.g. hierarchical routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/54Organization of routing tables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

様々な実施形態は、クラウドデータセンタ、クラウドデータセンタを備えるシステム、および関連する方法に関する。クラウドデータセンタは、プライベートエンタープライズネットワーク内のアドレスと、クラウドネットワーク内の論理ネットワーク内のアドレスとの間でパケットを送信するための論理カスタマエッジルータを含み得る。論理ネットワークは、プライベートエンタープライズネットワークに割り振られた、仮想マシンとして知られているリソースをもつことができ、共通IPアドレス空間をプライベートエンタープライズネットワークと共有することができる。クラウドデータセンタにあるディレクトリは、仮想マシンのエンタープライズIPアドレスを、論理ネットワーク内のクラウドIPアドレスおよびロケーションIPアドレスと相関させ得る。クラウドデータセンタは、論理ネットワーク内の宛先にパケットを送信するとき、2つの指定されたヘッダー、すなわちcloudIPおよびlocIPヘッダーでパケットを二重カプセル化することができる。

Description

本明細書で開示する実施形態は、概してネットワークインフラストラクチャおよびインターネット通信に関する。
クラウドコンピューティングネットワークは、高度にスケーラブルな動的サービスであり、クラウドコンピューティングプロバイダが、インターネットを介してカスタマにリソースを提供できるようにする。クラウドインフラストラクチャは、要求されたリソースを提供するクラウド内の特定のインフラストラクチャについてカスタマが知らなくてもよいように、抽象化レイヤを提供する。このようなサービスは、カスタマが、プライベートエンタープライズネットワークに既に置かれているインフラストラクチャを日常的に使いながら、負荷が重い場合はクラウド内の臨時リソースを使うことができるので、消費者が、ピーク使用のための臨時ハードウェアに対する設備投資を避けるのを助ける。
たとえば、infrastructure as a service(IaaS)などのシステムにより、カスタマは、自分のコンピュータアプリケーションを実行させるためのコンピュータを借りることができる。このようなシステムにより、リソースをスケーラブルに展開できるようになり、カスタマは、自分が選択したソフトウェアを実行するための、仮想マシン、すなわちサーバインスタンスを作成する。カスタマは、こうした仮想マシンを、必要に応じて作成し、使用し、破壊することができ、プロバイダは通常、使われているアクティブなサーバに対して課金する。
ただし、既存サービスは、プライベートエンタープライズネットワークの内部のリソースのような、割り振られたリソースは取り扱わない。これにより、たとえば、アプリケーションが特定のロケーションにデータを送信するとき、または内側ネットワークとクラウドネットワークが異なるアドレス空間またはアドレス方式を使うときに、問題が引き起こされる場合がある。悪意のある攻撃からクラウドリソースを隔離し、クラウドネットワークリソースへの接続により、内側ネットワークインフラストラクチャを危険にさらさないように保証することに関連した問題もある。さらに、カスタマは、両方のロケーションにあるリソースを等価なものとして取り扱う代わりに、別個の内側およびクラウドリソースセットを扱うのがますます複雑になっているという事態に直面する場合がある。
したがって、IaaSを越えて、クラウドネットワーク内のカスタマに割り振られたリソースを、カスタマの既存プライベートエンタープライズネットワークにシームレスに組み込む必要がある。このような拡張により、割り振られたすべてのクラウドリソースが見えるようになり、プライベートエンタープライズネットワーク内に置かれたリソースと同様に作用するようになる。このような実装により、エンタープライズの作業は、専用のプライベートエンタープライズネットワークのリソースおよびクラウドトポロジ内の割り振られたリソースが動的に混合したものに渡ってシームレスに広がる。
上記のことを鑑みて、プライベートエンタープライズネットワークを、クラウドネットワーク内のリソースを含むようにシームレスに拡張することが望ましいであろう。より具体的には、カスタマがクラウドリソースを、プライベートネットワーク上のリソースと同じ方式で取り扱うことができるように、プライベートエンタープライズネットワーク内のリソースと、クラウドネットワーク内の割り振られたリソースとの間の通信を可能にすることが望ましいであろう。本願明細書を読み、理解すると、他の望ましい態様が、当業者には明らかになるであろう。
このように、プライベートエンタープライズネットワークをクラウドネットワークにシームレスに拡張する必要があることを鑑み、様々な例示的実施形態の手短な要約が提示される。ある程度の簡略化および省略が以下の要約で行われる場合があるが、これは、様々な例示的実施形態のいくつかの態様を強調し、紹介することを意図しているのであって、本発明の範囲を限定することは意図していない。当業者に本発明の概念を実現させ利用させるのに適切な、好ましい例示的実施形態の詳細な説明が、以降のセクションにおいて続く。
様々な例示的実施形態は、クラウドネットワークのリソースを、プライベートエンタープライズネットワークに組み込む方法に関する。この方法は、クラウドデータセンタが、クラウドネットワーク内のクラウドデータセンタ内に論理カスタマエッジルータを作成すること、プライベートエンタープライズネットワークのアドレス空間内のIPサブネットを受信すること、IPサブネットから、プライベートエンタープライズネットワークに割り振られたリソースを含む、クラウドネットワーク内の論理ネットワーク内の各リソースにIPアドレスを割り振ること、クラウドデータセンタの所の論理カスタマエッジルータにある仮想ルーティングおよび転送テーブルで、前記IPサブネットに対するルーティングエントリを追加すること、ルーティングエントリを、プライベートエンタープライズネットワーク内のすべてのカスタマエッジルータに転送すること、ならびにディレクトリサーバ内でデフォルトエントリを追加することを伴い、デフォルトエントリが、すべてのエンタープライズアドレスを、クラウドデータセンタ内の論理カスタマエッジルータのロケーションIPアドレスおよびクラウドIPアドレスにマッピングする。
様々な例示的実施形態は、プライベートエンタープライズネットワーク内のソースから受信されたパケットを、プライベートエンタープライズネットワークに割り振られたクラウドネットワーク内の宛先に送信する方法にも関する。この方法は、クラウドデータセンタ内の論理カスタマエッジルータが、プライベートエンタープライズネットワーク内のソースからパケットを受信すること、宛先のクラウドIPアドレスおよびロケーションIPアドレスをディレクトリサーバに問い合わせること、宛先が論理ネットワーク内であると論理カスタマエッジルータが判定すると、受信パケットをカプセル化すること、宛先の対応するロケーションIPヘッダーで受信パケットをさらにカプセル化すること、ならびに受信パケットを宛先に転送することを伴い、論理カスタマエッジルータが、受信パケットを、宛先ロケーションIPアドレスを通して宛先クラウドIPアドレスに転送する。
様々な例示的実施形態は、プライベートエンタープライズネットワークに割り振られた、クラウドネットワーク内のソースから発したパケットを転送する方法にも関する。この方法は、ハイパーバイザが、プライベートエンタープライズネットワークに割り振られたリソースを含む、クラウドネットワーク内の論理ネットワーク内の仮想マシンからパケットを受信すること、仮想マシンをホストするサーバの所の仮想ルーティングおよび転送テーブル内にパケットの宛先アドレスがないときは、宛先アドレスを論理ネットワーク内のディレクトリサーバに問い合わせること、クラウドIPヘッダーでパケットをカプセル化すること、ロケーションIPヘッダーでパケットをさらにカプセル化すること、ならびにロケーションIPアドレスにパケットを転送することを伴い得る。
様々な例示的実施形態は、プライベートエンタープライズネットワークを、プライベートエンタープライズネットワークに割り振られたリソースを備えるクラウドネットワーク内の論理ネットワークに拡張するシステムも含み得る。このシステムは、プライベートエンタープライズネットワークと同じIPアドレス空間を共有する、論理ネットワーク内の一連のサーバを伴い得る。各サーバは、プライベートエンタープライズネットワークに割り振られた、サーバ上のリソースを含む仮想マシンと、仮想マシンをホストするハイパーバイザとを含み得る。このシステムはまた、論理ネットワークをプライベートエンタープライズネットワークに接続する、プライベートエンタープライズネットワークと同じIPアドレス空間を共有する論理ネットワーク内の論理カスタマエッジルータと、プライベートエンタープライズネットワーク内の少なくとも1つのカスタマエッジルータとを含み得る。
様々な例示的実施形態は、クラウドネットワーク内の論理カスタマエッジルータも含み得る。論理カスタマエッジルータは、プライベートエンタープライズネットワーク内の少なくとも1つのカスタマエッジルータと、プライベートエンタープライズネットワークに割り振られた仮想マシンをホストするサーバとに接続する論理カスタマエッジルータを含み得る。プライベートネットワーク内のカスタマエッジルータならびにクラウドネットワーク内の仮想マシンおよび論理カスタマエッジルータは、プライベートエンタープライズネットワークに割り振られた共通IPアドレス空間を共有することができる。
上記によれば、様々な例示的実施形態は、エンタープライズのプライベートアドレス空間の内部にクラウドリソースを置き、そうすることによって、クラウドリソースを、エンタープライズの既存トポロジにシームレスに統合する。様々な実施形態は、ネットワークの外部のどのリソースからも隔離された、エンタープライズネットワークのセキュリティ境界の内部にクラウドリソースを置くことによって、セキュリティも保証する。カスタマは、そうすることによって、エンタープライズネットワークの内側リソースを構成し管理するのと同じ方式でクラウドリソースを構成することができる。こうした利益に加え、様々な実施形態は、クラウドコンピューティングパラダイムの利点、すなわち、クラウドリソースの高度に動的なスケーラビリティも有し続ける。
次に、いくつかの実施形態による機器および/または方法のいくつかの実施形態が、例示の目的でのみ、添付の図面を参照して記載される。
プライベートエンタープライズネットワークをクラウドネットワークに拡張する例示的なネットワークを示す概略図である。 L3プロトコルを使うパケット転送を示す概略図である。 拡張型エンタープライズネットワーク内に見られるネットワーク装置のための例示的な仮想ルーティングおよび転送テーブルを示す概略図である。 クラウドネットワーク内に見られるネットワーク装置に対するロケーションエントリの例示的なディレクトリテーブルを示す概略図である。 拡張型エンタープライズネットワークを通して送信される例示的なデータグラムの内容を示す概略図である。 プライベートエンタープライズネットワーク内のロケーションから、クラウドネットワーク内の宛先にパケットを送信する方法の例示的な実施形態を示すフローチャートである。 クラウドネットワークの内部のロケーションからパケットを送信する方法の例示的な実施形態を示すフローチャートである。 割り振られたクラウドリソースをプライベートエンタープライズネットワーク内に組み込む方法の例示的な実施形態を示すフローチャートである。
ここで、同じ番号が似た構成要素またはステップを指す図面を参照して、様々な例示的実施形態の広範な態様が開示される。
図1は、プライベートエンタープライズネットワークをクラウドトポロジに拡張する例示的なネットワーク100の概略図である。様々な例示的実施形態において、ネットワーク100は、プライベートエンタープライズネットワーク101と、サービスプロバイダネットワーク102と、クラウドネットワーク103と、カスタマエッジ(CE)装置110a−hと、プロバイダエッジ装置111a−hと、クラウドデータセンタCE112と、データセンタ相互接続113と、ハイパーバイザ115a−dおよび仮想マシン116a−dをそれぞれが収容するサーバ114a−dとを含む。
プライベートエンタープライズネットワーク101、サービスプロバイダネットワーク102、およびクラウドネットワーク103はそれぞれ、パケット交換ネットワークでよい。このようなパケット交換ネットワークは、パケットベースのプロトコルに従って動作するどのようなネットワークでもよい。したがって、ネットワーク101、102、103はそれぞれ、たとえば、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、マルチプロトコルラベルスイッチング(MPLS)、非同期転送モード(ATM)、フレームリレー、イーサネット(登録商標)、プロバイダバックボーントランスポート(PBT)、または当業者には明らかな他の任意の適切なパケットベースのプロトコルに従って動作し得る。より具体的には、パケット交換ネットワーク101、102、103は、MPLSなどのレイヤ3プロトコルを使って仮想プライベートネットワーク(VPN)として通信することができる。
プライベートエンタープライズネットワーク101は、カスタマエンティティに専用のハードウェアを組み込むネットワークでよく、エンタープライズ内の装置が同じアドレス空間を占有するように構成され得る。例示的な実施形態では、プライベートエンタープライズネットワーク101は、一連のカスタマエッジ(CE)装置110a−eを含む。
図1に示す実施形態において、プライベートエンタープライズネットワークA(EntA)は、サービスプロバイダネットワーク102を通して互いと通信する、異なる2つの場所に置かれたカスタマエッジ装置110a−eを含む。いくつかの実施形態では、プライベートエンタープライズネットワーク101は、同じ場所で互いと直接接続する装置を含み得る。
プライベートエンタープライズネットワーク101内の装置は、同じアドレス空間を共有することができ、たとえば、10.1というIPプレフィックスを共有する。プライベートエンタープライズネットワーク101内のすべての装置は、同じセキュリティ境界の向う側に置くことができ、そうすることによって、ネットワークセキュリティは、セキュリティ境界の内部の装置を、境界の外部の装置から隔離し、セキュリティ境界線の所で、少数の許容された通信を制御することができる。こうすることにより、カスタマエッジ装置110a−fのような装置は、セキュリティ境界を超えることに関する予防措置を施す必要なく、トラフィックを自由に渡すことができるようになる。
サービスプロバイダネットワーク102は、プライベートエンタープライズネットワーク101に対するホストとして作用し得る。サービスプロバイダネットワーク102は、一連のプロバイダエッジ(PE)装置111a−hを含み得る。サービスプロバイダネットワーク102は、プライベートエンタープライズネットワーク101を、それ以外のものの中でも特に、クラウドネットワーク103などの他のネットワーク、他のプライベートエンタープライズネットワーク、またはインターネットと接続することができる。いくつかの実施形態では、サービスプロバイダネットワーク102は、プライベートエンタープライズネットワーク101の相異なる部分を接続することができるが、こうした相異なる部分は、同じアドレス空間を共有し得る。
クラウドネットワーク103は、1つまたは複数のサーバ114a−dを含むことができ、こうしたサーバ114は、クラウドサービスプロバイダによって所有され、インターネット全体においてネットワーク内で接続され得る。インフラストラクチャサービスモデルでは、たとえば、クラウドサービスプロバイダは、クラウドネットワーク103内に置かれた特定のリソースを、そのクラウドネットワーク103のカスタマに割り振ることができる。このような特定のリソースは、仮想マシン116a−dとしてグループ化され得る。
仮想マシン116aは、プライベートエンタープライズネットワーク101内にいるカスタマによって制御される、クラウドネットワーク103内のサーバ114a上のサーバインスタンスでよい。カスタマは、任意の数の仮想マシン116a−dを意のままに作成し、使用し、破壊する能力がある。この能力は、たとえば、帯域幅、記憶容量、および処理必要性などのユーザ定義基準に基づき得る。
カスタマに割り振られた仮想マシン116a−dは、クラウドの内部で互いと論理的に接続することができる。様々な実施形態において、カスタマに割り振られたすべての仮想マシン116a−dは、同じIPサブネット、たとえば10.1.8/24のIPサブネットなどにおいて現れる。仮想マシン116a−dは、物理的には同じサーバ114a上にも、異なるサーバ114a−d上にも置かれ得るが、互いとの論理接続を維持することができる。いくつかの実施形態では、仮想マシン116aは、クラウドネットワーク内の異なるサーバ114aなど、異なる物理ロケーションに移動することができる。
仮想スタブ(vstub)104は、ある特定のカスタマに割り振られた、クラウドネットワーク103内のすべてのリソースを含む論理ネットワークでよい。したがって、仮想スタブ104は、カスタマに割り振られた、クラウドネットワーク103内のすべてのアクティブ仮想マシン116a−dと、割り振られた仮想マシン116a−dをホストし、制御し得る一連のハイパーバイザ115a−dと、割り振られた仮想マシン116a−dを含む各サーバ114a−dに物理的に接続され得るデータセンタ相互接続113と、クラウドネットワーク103内の割り振られた仮想マシン116a−dすべてに対するハブとして作用し得るクラウドデータセンタCE112とを含み得る。図1に示すように、仮想スタブ104は、その論理ネットワークが物理的に連続することを必要とせず、データセンタ相互接続113など、異なる物理サーバ114a−dを接続するネットワーク接続構成要素を含み得る。仮想スタブは、プライベートエンタープライズネットワーク101に割り振られたサーバ114a−dを、クラウドネットワーク103内にはあるがプライベートエンタープライズネットワークには割り振られない一連のサーバ119a、119bから分離し得る。一連のサーバ119a、119bはしたがって、プライベートエンタープライズネットワーク101に接続することも、同じアドレス空間を共有することもできない。
カスタマエッジ(CE)装置110aは、プライベートエンタープライズネットワーク101内のノードでよい。CE装置110aは、プライベートエンタープライズネットワーク101内の他のカスタマエッジルータ、サービスプロバイダネットワーク102内のプロバイダエッジ装置111a−h、またはクラウドネットワーク103内のクラウドデータセンタCE112など、他のノードにパケットを送信するように構成された、ルータやスイッチなどのネットワークノードでよい。CE装置110aは、OSI参照モデルの複数のレイヤ、たとえばMPLS(L3 MPLS)を使うレイヤ3通信ならびにイーサネットおよび仮想プライベートLANサービス(VPLS)を使うレイヤ2通信などを使って、プライベートエンタープライズネットワーク101の内部および外部どちらの他の装置とも通信可能でよい。いくつかの実施形態では、CE装置110aは、物理装置の中にある仮想ルータでよい。
各プロバイダエッジ(PE)装置111a−hは、サービスプロバイダネットワーク102内のノードでよく、ルータ、スイッチ、または同様のハードウェア装置でよい。PE装置111a−hは、CE装置110aからパケットを受信し、このようなパケットを、サービスプロバイダネットワーク102を介して送信するように構成され得る。こうしたパケットは、プライベートエンタープライズネットワーク101内の他の宛先に、クラウドネットワーク103内の宛先に、または図1には示さない他のネットワーク内の宛先に送信することができる。
クラウドデータセンタCE112は、カスタマエッジルータでよく、クラウドサービスプロバイダのカスタマによって操作される機器で実装され得る。「カスタマ」エッジ装置と呼ばれるが、クラウドデータセンタCE112は、クラウドサービスプロバイダまたは他の何らかのエンティティによって所有され、かつ/または操作され得ることが明らかであろう。いくつかの実施形態では、クラウドデータセンタCE112は、クラウドネットワーク103の内部の仮想スタブ104用のハブを表す。いくつかの実施形態では、論理カスタマエッジルータ112を含む物理CE装置は、複数のエンタープライズネットワークによって共有され得る。
いくつかの実施形態では、クラウドネットワーク103は、ディレクトリサーバも含み得る。ディレクトリサーバは、マッピングエントリのディレクトリを維持することができる。後でさらに詳しく論じるように、こうしたマッピングエントリは、クラウドIPアドレス(cloudIP)およびロケーションIPアドレス(locIP)を使って、エンタープライズネットワーク内の宛先の割り当てられたIPアドレスを、クラウドネットワーク103内の宛先のアドレスに相関させ得る。ロケーションIPアドレス(locIP)は、仮想スタブ104内のある特定のスイッチ、たとえばスイッチ117aのロケーションを識別する。仮想マシン116aは、マシン116aがその上にあるIPスイッチ117aを指すlocIPアドレスを有する。さらに、クラウドIPアドレス(cloudIP)は、仮想スタブ104内の各仮想マシン116a−dを明確に指す。
仮想マシン116aは、したがって、そのロケーションとは論理的に離れた別個のアドレスを所有し得るので、装置は、ディレクトリサーバを参照して、割り当てられたIPアドレスの代わりにマシンのlocIPおよびcloudIPアドレスで仮想マシンを突き止めればよい。一実施形態では、プライベートエンタープライズネットワーク101内のソースは、エンタープライズネットワーク内の割り当てられたIPアドレスを使って、パケットの形で情報をクラウドネットワーク103内の仮想マシン116aに送信することができる。この事例において、クラウドデータセンタCE112は、IPヘッダーを使ってアドレス指定されたこのようなパケットを受信することができ、宛先仮想マシン116aに送信される受信パケットを、クラウドネットワーク103内の宛先仮想マシン116aに対応するcloudIPアドレスヘッダーおよびlocIPアドレスヘッダー両方でカプセル化することができる。クラウドデータセンタCE112は、ディレクトリサーバ上に置かれたディレクトリを通して、エンタープライズID(IPアドレス)を、仮想マシンのlocIPおよびcloudIPアドレスと相関させることができる。
後でさらに詳しく論じるように、ディレクトリサーバ内のディレクトリは、プライベートエンタープライズネットワーク101およびクラウドネットワーク103内のアクティブなサーバおよび仮想マシンに対するアドレスエントリを含み得る。一方のネットワークから他方のネットワークに送信されるパケットは、クラウドデータセンタCE112を通ってよく、CE112は、ディレクトリを使って、受信パケットのヘッダーを、他のネットワーク内の必要なヘッダーと相関させる。たとえば、クラウドデータセンタCE112は、ディレクトリを使って、クラウドネットワーク内でパケットを正しく送信するためのcloudIPおよびlocIPアドレスヘッダーをルックアップする。クラウドデータセンタCE112は、ディレクトリを使って、サービスプロバイダネットワーク102およびプライベートエンタープライズネットワーク101内でパケットを送信するための適切なIPヘッダー(L3ヘッダーなど)でパケットをカプセル化するために、クラウドネットワーク103内で生じたcloudIPおよびlocIPアドレスヘッダーをカプセル除去することもできる。
ただ1つの論理CEを示してあるが、代替実施形態は、複数の論理CEを含み得る。このような実施形態において、エンタープライズアドレス空間内の仮想マシン116a−dは、各論理CEが独立ハブとして作用する異なる論理CEに割り振ることができる。このような実施形態は、後で論じるように、ハイパーバイザ115a−dではなく各論理CEによってディレクトリルックアップが行われるようにすることもできる。複数の論理CE装置は、仮想スタブ104内のクラウド宛先に対するlocIPおよびcloudIPヘッダーを必要ないようにすることもできる。というのは、データパケットが、代わりに適切なハブ論理CEにトンネリングされ得るからである。
データセンタ相互接続113は、一連のサーバ114a−dに接続するスイッチでも、一連のスイッチでもよい。データセンタ相互接続113は、クラウドデータセンタCE112を、割り振られた一連のサーバ114a−dに直接接続することができる。あるいは、データセンタ相互接続113は、一連の中間スイッチ117a−cを通して一連のサーバ114a−dに接続し得る。このような事例において、各中間スイッチ117a−cは、同時に複数のサーバ114a−dに接続し得る。中間スイッチ117aは、仮想スタブ104内に一意のロケーションIP(locIP)アドレスを有し得る。中間スイッチ117aは、その接続サーバ114aの1つの上で仮想マシン116aにアドレス指定されたパケットを受信すると、パケットからlocIPヘッダーをカプセル除去してよく、次いで、パケットを、対応するcloudIPアドレスをもつサーバ114aに転送すればよい。
サーバ114aは、クライアントにコンピューティングサービスを提供する装置でよい。より具体的には、サーバは、クライアントが、たとえば、アプリケーションを実行し、またはファイルをメモリに格納するのに使う、記憶および処理容量などの計算リソースをホストするネットワーク装置でよい。したがって、サーバ114a−dは、たとえば、それぞれが物理サーバブレードを保持することが可能な複数のスロットを含む、シャーシベースのサーバ(すなわち、ブレードサーバ)でよい。各物理サーバ114a−dは、ハイパーバイザ115a−dおよび少なくとも1つの仮想マシン116a−dを含み得る。
1つまたは複数のハイパーバイザ115a−dが、各物理サーバ114a−d上に置かれ得る。一実施形態では、ハイパーバイザ115a−dは、ハイパーバイザ115がその中にある物理サーバ上に物理的に置かれる、割り振られた各仮想マシン116a−dをホストする。各ハイパーバイザ115a−dは、そうすることによって、1つまたは複数の仮想マシン116a−dを同時に制御することができる。
ハイパーバイザ115a−dは、たとえば、ハイパーバイザ115がホストする各仮想マシンのcloudIPアドレスと、ハイパーバイザ115a−dをホストする中間スイッチ117a−cのlocIPアドレスとを含み得るエンタープライズ情報を知っている。ハイパーバイザ115a−dはしたがって、それがホストする仮想マシン116a−dのエンタープライズメンバーシップ(すなわち、エンタープライズID)を認識する。ハイパーバイザ115a−dは、それがホストする仮想マシン116a−dに関するトラフィックを遮断することもできる。仮想マシン116a−dが、仮想スタブ104の外部の宛先にパケットを送っているとき、ハイパーバイザ115a−dは、それがホストする仮想マシン116a−dの1つから送信されたパケットを、クラウドデータセンタCE112に関連づけられたcloudIPヘッダーおよびlocIPヘッダー両方でカプセル化することができる。ハイパーバイザ115a−dは、ハイパーバイザ115a−dによってホストされる仮想マシン116a−dに送信されるパケットのcloudIPヘッダーをカプセル除去することもできる。
いくつかの実施形態では、ハイパーバイザ115a−dは、それがホストする各仮想マシン116a−dに対するセキュリティパラメータを認識する。こうしたセキュリティパラメータは、たとえば、仮想スタブ104がサイズを変えたとき、意図しないどのような情報漏洩も防止するための、組込みカスタマIDを含み得る。ハイパーバイザ115a−dは、後で論じるセキュリティトークン(またはペアをなすセキュリティトークン)など、他のセキュリティ特徴を認識することができ、このトークンは、悪意のあるハイパーバイザのようなエンティティによる意図的な攻撃および他のテルネット攻撃を防止する。
図2は、L3 MPLSプロトコルを使うパケット転送の概略図である。図2に示すように、各エンドポイントにある装置は、IPアドレスを使って宛先をアドレス指定することができ、各IPアドレスは、エンタープライズのIPアドレス空間の内部である。後でさらに詳しく論じるように、クラウドネットワーク103内の仮想スタブ104は、プライベートネットワークエンタープライズ101のIPアドレス空間(図2では10.1として示す)の内部のIPサブネット(図2では10.1.8として示す)を割り当てられる。したがって、仮想スタブ104の内部の各仮想マシン116a−dも、IPサブネット内の対応するアドレスを割り当てられる。
クラウドネットワーク103の性質は、仮想マシン116a−dのロケーションを判定するのに、クラウドネットワーク103の内部の特定の静的IPアドレスを使用させないようにし得ることが明らかであろう。たとえば、仮想マシン116aは、異なる物理サーバ114dに動的に移動する場合があり、所与の任意のときにある特定の仮想マシン116aをアドレス指定する際に使うための適切なIPアドレスを判定しにくくなる。クラウドネットワーク103内では、したがって、仮想マシン116aは、そのエンタープライズID、ロケーションIPアドレス、およびクラウドIPアドレスによって識別される。このアドレス指定情報は、ディレクトリサーバ内のディレクトリに格納することができる。
したがって、クラウドネットワーク103内の宛先へのパケットの送信は、パケットの二重カプセル化、すなわち内側クラウドIPヘッダーおよび外側ロケーションIPヘッダーでの各パケットのカプセル化を伴い得る。パケットが、たとえば、クラウドネットワーク103内の仮想マシン116aからプライベートエンタープライズネットワーク101内の宛先に送信されているとき、パケットをカプセル化するcloudIPおよびlocIPヘッダーは、クラウドデータセンタCE112に対するアドレスに対応し、CE112は、別個のクラウドIPアドレスを含む仮想スタブ104に対するハブとして作用し、たとえば、レイヤ3プロトコルを使ってプライベートエンタープライズネットワーク101の内部の正しいIPアドレスにパケットを転送する。
図2に示す例では、IPアドレス10.1.2.2にある、プライベートエンタープライズネットワーク101内のソース201(ロケーション「A」)が、宛先仮想マシン116a(ロケーション「B」)、すなわちクラウドネットワーク103内のIPアドレス10.1.8.8にある仮想マシン116aにパケットを送信する。ソース「A」201は、内部ゲートウェイプロトコル(IGP)ルーティングを用いて、パケット203を、プライベートエンタープライズネットワーク101内のカスタマエッジルータCE110aに向ける。例示的なパケット203のヘッダーは、ペイロードに加え、ソースIPアドレスヘッダー(10.1.2.2)および宛先IPアドレスヘッダー(10.1.8.8)を含む。
MPLSラベルスタッキングを使って、パケットを、サービスプロバイダネットワーク102内の少なくとも1つのプロバイダエッジ装置111aを通して、クラウドネットワーク103内のクラウドデータセンタCE112に送信することができる。当業者には明らかなように、パケットは、レイヤ3トンネリングなど、別のプロトコルに従って、プライベートエンタープライズネットワーク101およびサービスエンタープライズネットワーク103を通して、クラウドデータセンタCE112に送信することができる。図2は、単一のプロバイダエッジ装置111aを含むが、他の実施形態は、パケットがクラウドデータセンタCE112にトンネリングされるとき、一連の接続されたプロバイダエッジ装置111a−fを含み得る。
クラウドデータセンタCE112は、パケット203を受信すると、クラウドネットワーク103の内部の宛先「B」に関連づけられたロケーションIPアドレス(locIP)およびクラウドIPアドレス(cloudIP)をディレクトリサーバに問い合わせることができる。クラウドデータセンタCE112が、対応するエントリを見つけた場合、クラウドデータセンタCE112は、二重カプセル化パケット206で示すように、宛先「B」に関連づけられたcloudIPヘッダーおよびlocIPヘッダー両方で、パケット203を二重カプセル化すればよい。このような二重カプセル化は、最初にパケット203をcloudIPヘッダーでカプセル化し、次いで、修正パケットを外側locIPヘッダーでカプセル化することを伴う。クラウドデータセンタCE112は次いで、二重カプセル化パケット206を、データセンタ相互接続113およびクラウドネットワーク103を通して、対応する宛先locIPアドレスをもつレイヤ3中間スイッチ117aに送信する。
中間スイッチ117は次いで、パケット206からlocIPヘッダーをカプセル除去し、修正パケット209を、対応する宛先cloudIPアドレスに送信する。宛先cloudIPアドレスに対応するサーバ114aで、サーバ114a上のハイパーバイザ115aは、修正パケット209からcloudIPヘッダーをカプセル除去し、パケット210を、サーバ114a上の宛先仮想マシン「B」116aに送信する。いくつかの実施形態では、ハイパーバイザ115aは、パケットが同じエンタープライズネットワークからのものであることを検証するために、パケット210中のセキュリティトークンを検証することもできる。
図3は、クラウドデータセンタCE112で収容される論理CEルータの例示的な仮想ルーティングおよび転送(VRF)テーブル300である。プライベートエンタープライズネットワーク101内のカスタマエッジ装置110a−eおよびサービスプロバイダネットワーク102内のプロバイダエッジ装置111a−hなど、他の装置も、同様のVRFテーブル300を維持することができる。
entIPフィールド301は、あるロケーションのエンタープライズIDに対応する。例示的な実施形態では、仮想スタブ104内のリソースは、割り当てられたIPサブネット内のIPアドレスを割り当てられ、その結果、同じアドレス空間を共有するクラウドネットワーク103およびプライベートエンタープライズネットワーク101両方にリソースがある。図示した実施形態では、クラウド内のリソースは、10.1.8/24をIPサブネットとして使い(/24は、そのサブネット内の24ビットを示す)、クラウドの外部の装置は、10.1/16を割り振られたIPサブネット内のIPアドレスを使う、プライベートエンタープライズネットワーク101内のカスタマエッジ装置エントリ313など、同じIPアドレス空間内の他のアドレスを使うことができる。
locIPフィールド302は、クラウドネットワーク103内の装置のロケーションIPアドレスに対応する。locIPは、エントリの仮想マシン116aをホストする、クラウドネットワーク103内の中間スイッチ117aのアドレスに対応する。図3の例示的な実施形態において、仮想マシンエントリ311は、対応する仮想マシン116aをホストする中間スイッチ117aに対応する、20.2.2.8というロケーションIPアドレスをもつ。
cloudIPフィールド303は、クラウドネットワーク103内の仮想マシン116aのcloudIPアドレスに対応し得る。locIPアドレス302にある中間スイッチ117aは、スイッチ117aがホストする各仮想マシン116aに対して、別個の、重複しないcloudIPアドレス303をもつ。クラウドデータセンタは、クラウドネットワーク103内の仮想マシン116a−dの間にcloudIPアドレスを割り振ることができる。例示的な実施形態では、仮想マシンエントリは、20.2.2.1というcloudIPを有するので、中間スイッチ117aが仮想マシン116a向けのパケットを受信すると、スイッチは、パケットを、ハイパーバイザ115aを通して特定の仮想マシン20.2.2.1に転送すればよい。
nextHopフィールド304は、装置がパケットを送信するべきである、エンタープライズネットワーク内の次のロケーションを指す。例示的な実施形態では、エントリ313は、プライベートエンタープライズネットワーク101内のロケーションに対応する、IPサブネット10.1/16内のentIPアドレスを有する。したがって、そのロケーションは、適用可能なlocIPアドレスもcloudIPアドレスももたない。というのは、こうしたアドレスは、クラウドネットワーク103内のアドレスによってのみ使われ得るからである。クラウドデータセンタCE112からの対応するnextHopエントリはしたがって、接続されたプロバイダエッジ装置111aに対するものであり、装置111aは、10.1/16サブネット内の宛先向けのパケットを受信すると、装置111a自体のVRFテーブルを参照し、エントリの対応するnextHopアドレスにパケットを転送することになる。このプロセスは、パケットが最終的にプライベートエンタープライズネットワーク101内の10.1/16サブネット内の宛先IPアドレスに到達するまで、各装置上で順次続けられることになる。
図4は、ディレクトリサーバ内の例示的なディレクトリテーブルである。ディレクトリテーブル400は、クラウドデータセンタVRFテーブル300と同様であり、entIPフィールド、locIPフィールド、およびcloudIPフィールドを維持するが、nextHopフィールド304は維持しない。というのは、ディレクトリテーブル400は、転送ディング情報を維持するのではなく、ディレクトリテーブル400は単に、プライベートエンタープライズネットワーク101およびクラウドネットワーク103両方におけるロケーションに対するlocIP302およびcloudIP303アドレスの包括的なリスティングを維持するからである。
例示的な実施形態では、「デフォルト」エントリ411は、そのlocIP302アドレスとしてIPCAのみをもち、適用可能なcloudIP303アドレスはもたない。デフォルトエントリ411は、明示的locIP302アドレスもcloudIP303アドレスももたない、プライベートエンタープライズネットワーク101内の装置を指す。IPCAエントリは、ディレクトリ400内で有効なlocIP302およびcloudIP303アドレスをもつエントリ412として特にリスティングされていない宛先をもつパケットが、クラウドデータセンタCE112に向けられるべきであることを意味し、CE112は次いで、そのVRFテーブル300を使って、プライベートエンタープライズネットワーク101内の正しい宛先にパケットを転送する。
例示的な実施形態において、仮想マシン116は、シャットダウンする場合がある。仮想マシンがシャットダウンすると、ディレクトリサーバにあるディレクトリ400中のVMのエントリが消去される可能性がある。例示的な別の実施形態では、VMは、異なるサーバに、たとえば、114aから114cに移動する場合がある。VMが別のサーバ114cに移動すると、VMのlocIPアドレスは、VM116aが現在置かれている新規サーバ114cを反映するようにディレクトリ400中でアップデートされる。仮想マシン116aは、新規クラウドデータセンタCE112に移動する場合もある。古くなった(stale)エントリ(最新でなくなったVRFテーブルをもつ装置)のケースでは、以前のlocIPアドレスにあるスイッチ117aが、間違ってアドレス指定されたパケットを、新規クラウドデータセンタCEにあるディレクトリサーバに転送することになる。ディレクトリサーバは次いで、ユニキャストにより、古くなったスイッチのVRFテーブルを訂正する。
図5は、システムにおいて使われるデータグラムの例示的な図解である。データグラム500は、パケットを表し得る。図5は、ペイロード501に加え、内側cloudIPヘッダーおよび外側locIPヘッダー両方、宛先cloudIPアドレス503を含む二重カプセル化パケットの例示的なデータグラムを示す。
データグラムは、セキュリティトークン502も含み得る。セキュリティトークンは、たとえば、エンタープライズ固有キー、エンタープライズID、および宛先IPアドレスの組合せを含み得る。ハイパーバイザ115aは、セキュリティトークン502の検証を試み、間違ったセキュリティトークン502をパケットが含む場合、そのパケットをドロップしてよい。一実施形態では、パケットは、ペアをなすセキュリティトークン502によってエンコードされ得る。ペアをなすセキュリティトークンは、ただ1人のユーザ用に使われる個人キーである、ペアをなすキーから導出され得る。このことにより、悪意のあるハイパーバイザ115aとのセキュリティアソシエーションを有する仮想マシン116a−dに攻撃を局所化することによって、悪意のあるハイパーバイザ115aからの攻撃を防止するのが助けられ得る。
さらに、データグラム500は、セキュリティ上の理由により、カスタマID504を含み得る。というのは、カスタマID504は、仮想スタブ104内にはない仮想マシン116a−dにパケットを送信するのを防止するからである。この状況は、たとえば、仮想マシン116a−dが移動し、またはシャットダウンされ、装置がその仮想マシン116にトラフィックを送信し続ける場合に起こり得る。一実施形態では、ペイロード501は、共有グループキーで暗号化され得る。共有グループキーは、所与のカスタマグループのメンバの間で共有することができる。
図6は、二重カプセル化を用いて、プライベートエンタープライズネットワーク101内のソースからクラウドネットワーク103内の宛先にパケット203を送信する方法600の例示的な実施形態のフローチャートである。ステップ601で、プライベートエンタープライズネットワーク101内のソース「A」からのパケットを、プライベートエンタープライズネットワーク101内の論理CE装置110aに送信することができ、装置110aは、パケットを、少なくともサービスプロバイダネットワーク102内のPE装置111aを通して、クラウドネットワーク103内のクラウドデータセンタCE112に転送することができる。
ステップ602で、クラウドデータセンタCE112は、ディレクトリサーバに問い合わせることができる。問合せは、ロケーションがクラウドネットワーク103の内部である場合は、宛先「B」のロケーションIP(locIP)およびクラウドIP(cloudIP)に関する、ディレクトリ400のルックアップを必要とし得る。宛先「B」がクラウドネットワーク103内である場合、ステップ603で、クラウドデータセンタCE112は、対応する宛先cloudIPアドレスおよびロケーションIPアドレスを取り出すことができる。
ステップ604で、クラウドデータセンタCE112は、取り出したcloudIPアドレスに対応するヘッダーでパケットをカプセル化すればよい。ステップ605で、クラウドデータセンタCE112は、修正パケットを、取り出したlocIPアドレスに対応するヘッダーでカプセル化してよい。ステップ606で、クラウドデータセンタCE112は、二重カプセル化パケット206を、クラウドネットワーク103を通して、対応するlocIPアドレスに送信すればよい。
ステップ607で、locIPアドレスにある中間スイッチ117aは、二重カプセル化パケット206からlocIPヘッダーをカプセル除去すればよく、修正パケット209を、対応するcloudIPアドレスに送信してよい。ステップ608で、対応するcloudIPアドレスにあるサーバ114aの所のハイパーバイザ115aは、修正パケット209をカプセル除去すればよく、パケット210を、宛先「B」にある対応する仮想マシン116aに送信してよい。代替実施形態では、ハイパーバイザ115aは、仮想マシン116aにパケット210を送信する前に、含まれるセキュリティトークン502を検証することによって、受信パケット210を最初に検査してよい。
図7は、クラウドネットワーク103内のソースからパケットを送信する例示的な方法700を示す。ステップ701で、ソース「B」のサーバ114a上のハイパーバイザ115aが、ソース「B」仮想マシン116aからパケット210を受信する。ステップ702で、ハイパーバイザ115aは、宛先アドレスがハイパーバイザ115aのVRFテーブルにあるかどうか調べる。ステップ704は、宛先「A」201に対する転送エントリが存在する場合に起こり、ステップ703は、宛先アドレス「A」201がリスティングされていない場合に起こる。
ステップ704で、ハイパーバイザ115aは、パケット210を、対応するcloudIPヘッダーでカプセル化する。ステップ705で、ハイパーバイザ115aは次いで、修正パケット209を、対応するlocIPヘッダーでカプセル化する。ステップ706で、ハイパーバイザ115aは、二重カプセル化パケット206を、対応するlocIPアドレスに送信する。
ステップ707で、宛先「A」がクラウドネットワーク103内にある場合、対応するlocIPアドレスにある中間スイッチ117bは、二重カプセル化パケット206からlocIPヘッダーをカプセル除去し、修正パケット209を、対応するcloudIPアドレスに送信する。ステップ708で、対応するcloudIPアドレスにあるハイパーバイザ115cは、修正パケット209をカプセル除去する。ステップ709で、ハイパーバイザ115cは、パケット210を宛先「A」VM116cに送信する。いくつかの実施形態では、ハイパーバイザ115cは、宛先「A」VMにパケット203を送信する前に、検証のために修正パケットのセキュリティトークン502を最初に調べる。
ステップ702で、宛先がプライベートエンタープライズネットワーク101内にあると判定されたとき、方法700はステップ703に進む。ステップ703で、ハイパーバイザ115aは、宛先「A」cloudIPアドレスおよびlocIPアドレスをディレクトリサーバに問い合わせる。宛先がプライベートエンタープライズネットワーク101内にある場合、対応する宛先locIPは、クラウドデータセンタCE112に接続された中間スイッチIP117aのIPアドレスであり、対応するcloudIPアドレスは、クラウドデータセンタCE112のIPである。方法700は710に進み、710は、上に詳しく記載したステップ704に対応する。方法700は次いで、ステップ711、712に進み、こうしたステップは、上に詳しく記載したステップ705、706に対応する。この結果、クラウドデータセンタCE112に対応する二重カプセル化パケット209のcloudIPアドレスが与えられる。
したがって、ステップ712aで、クラウドデータセンタCE112は、locIPアドレスが、CE112のIPアドレス空間内にあるかどうか判定する。ない場合、方法700はステップ707に進むので、パケットは、クラウドネットワーク103内の別のVMに配信される。locIPが論理CE112のIPアドレス空間内にある場合、方法700はステップ713に進み、ここでクラウドデータセンタCE112は、二重カプセル化パケット206から、パケットのlocIPおよびcloudIPヘッダー両方をカプセル除去する。ステップ714で、クラウドデータセンタCE112は、そのVRFテーブル300を使って、プライベートエンタープライズネットワーク101内の宛先アドレス「A」の対応するエントリを見つける。
ステップ715で、クラウドデータセンタCE112は、プライベートエンタープライズネットワーク101内の宛先「A」アドレスに対応するMPLSヘッダーなどの、レイヤ3ヘッダーでパケット203をカプセル化する。ステップ716で、クラウドデータセンタCE112は、MPLSパケットを、プライベートエンタープライズネットワーク101を通して宛先「A」201に送信する。ステップ717で、プライベートエンタープライズネットワーク101内の宛先「A」アドレスにあるカスタマエッジ装置111aは、MPLSパケットのMPLSヘッダーをカプセル除去し、ステップ718で、カスタマエッジ装置111aは、パケット203を、対応する宛先アドレス「A」201に送信する。
図8は、割り振られたクラウドリソースをプライベートエンタープライズネットワークに組み込む例示的な方法を示す。ステップ801で、クラウドデータセンタが、論理カスタマエッジ(CE)ルータ、すなわちクラウドデータセンタCE112を作成する。論理CEルータは、プライベートエンタープライズネットワーク101内のカスタマエッジルータと同様に作用する仮想ルータである。1つの論理CEは1つの仮想スタブ104をホストし、クラウドデータセンタは、複数の仮想スタブをホストすることが可能なので、クラウドデータセンタは、論理CEを作成する。ステップ802で、クラウドデータセンタは、論理CEルータにIPサブネットを提供する。論理CEルータ112は、仮想スタブ104のハブとして作用する。仮想スタブ104は、クラウドサービスプロバイダによってプライベートエンタープライズネットワーク101に割り振られたリソースを備える、クラウドネットワーク103内の論理ネットワークである。仮想スタブ104の内部のリソースは、仮想スタブ104の外部の他のクラウドリソースからは隔離され得る。
ステップ803で、仮想スタブ104の内部の各リソースは、提供されたIPサブネット内のアドレスを割り振られ、たとえば、割り当てられたIPサブネットが10.1.8/16であるとき、仮想マシン116にはIPアドレス10.1.8.8を割り当てる。ステップ804で、サービスプロバイダネットワーク102内のプロバイダエッジルータ111bが、プライベートエンタープライズネットワーク101内のカスタマエッジ装置110aおよびクラウドデータセンタCE112に接続することによって、仮想スタブ104とインタフェースをとるようにプロビジョニングされる。
ステップ805で、クラウドデータセンタは、提供されたサブネットに関するルーティングエントリ412を、クラウドデータセンタCE112内のディレクトリサーバ上のディレクトリ400に追加することができる。仮想スタブ104内のリソースは、提供されたIPサブネット内のアドレスなので、サブネットを追加するだけで、こうしたリソースは、他のソースからパケットを受信することができ、サブネット向けのパケットはここで、クラウドデータセンタCE112に送信され、次いで、仮想スタブ104内の正しいアドレスに転送され得る。
ステップ806で、クラウドデータセンタCE112は、アップデートされたルーティング情報を、プライベートエンタープライズネットワーク101内に置かれたカスタマエッジ装置110a−dに転送する。ステップ807で、クラウドデータセンタCE112は、プライベートエンタープライズネットワーク101内の装置110a−dのアドレスをクラウドデータセンタCE112にマッピングするディレクトリ400にデフォルトエントリを追加するが、ここでプライベートネットワーク内のアドレスは、論理CE112のlocIPおよびcloudIPアドレスに対応するlocIPおよびcloudIPアドレスをもつ。これにより、クラウドネットワーク103内から、プライベートエンタープライズネットワーク101内の宛先に送信されるパケットが、パケットを最初にクラウドデータセンタCE112に送信することが可能になり、CE112は次いで、パケットを、プライベートエンタープライズネットワーク101内の適切な宛先に転送する。クラウドデータセンタCE112はしたがって、プライベートエンタープライズネットワーク101およびクラウドネットワーク103内の装置の間の通信用のメインハブとして作用するので、こうした2つのネットワーク内のロケーションの間の通信は、最初にクラウドデータセンタCE112に転送され、CE112は次いで、ディレクトリサーバを使って、適切なIPヘッダーでパケットをカプセル化し、パケットを、他のネットワークを通してその最終的な宛先まで転送する。
上記記述から、本発明の様々な例示的実施形態は、ハードウェアおよび/またはファームウェアで実装され得ることが明らかであろう。さらに、様々な例示的実施形態は、少なくとも1つのプロセッサによって、本明細書に詳しく記載した動作を実施するように読み取られ実行され得るマシン可読記憶媒体に格納される命令として実装することができる。マシン可読記憶媒体は、ネットワークノード(たとえば、ルータやスイッチ)などのマシンによって可読な形で情報を格納するどの機構も含み得る。したがって、マシン可読記憶媒体は、読出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、および同様の記憶媒体を含み得る。
様々な例示的実施形態について、そのいくつかの例示的態様を具体的に参照して詳しく記載したが、本発明は、他の実施形態も可能であり、その細部は、様々な自明の点において修正可能であることを理解されたい。当業者には容易に明らかであるように、変形形態および変更形態は、本発明の精神および範囲内のままで実装され得る。したがって、上記開示、記述、および図面は、例示目的のために過ぎず、本発明を限定するものでは全くなく、本発明は、請求項によってのみ定義される。

Claims (8)

  1. クラウドトポロジのリソースをプライベートエンタープライズネットワークに組み込む方法であって、
    クラウドトポロジ内のクラウドデータセンタ内に論理カスタマエッジルータを作成すること、
    プライベートエンタープライズネットワーク内にあるIPサブネットを仮想スタブに提供することであって、仮想スタブが、プライベートエンタープライズネットワークに割り振られ、仮想スタブの外部のクラウドリソースから隔離されたリソースを備えるクラウドトポロジ内の論理ネットワークを備えること、
    IPサブネットから、仮想スタブ内の各リソースにIPアドレスを割り振ること、
    プライベートエンタープライズネットワークの論理カスタマエッジルータとインタフェースをとるためにサービスプロバイダインタフェースにおいて、プロバイダエッジルータの所で仮想ルータをプロビジョニングすること、
    クラウドデータセンタにある仮想ルーティングおよび転送テーブル中で、IPサブネットに対するルーティングエントリを追加すること、
    ルーティングエントリを、プライベートエンタープライズネットワーク内のすべてのカスタマエッジルータに配ること、ならびに
    クラウドデータセンタにあるディレクトリサーバ内でデフォルトエントリを追加することであって、デフォルトエントリが、すべてのエンタープライズアドレスを、クラウドデータセンタ内の論理カスタマエッジルータのロケーションIPアドレスおよびクラウドIPアドレスにマッピングすることを含む、方法。
  2. プライベートエンタープライズネットワーク内のソースから、プライベートエンタープライズネットワークに割り振られたクラウドトポロジ内の宛先にパケットを送信する方法であって、
    プライベートエンタープライズネットワーク内のソースから、クラウドデータセンタ内の論理カスタマエッジルータにパケットを向けることであって、クラウドデータセンタが、クラウドトポロジ内の仮想スタブ内に置かれていること、
    クラウドデータセンタによって、クラウドデータセンタにおけるディレクトリサービスに問い合わせて、宛先のクラウドIPアドレスおよびロケーションIPアドレスを判定すること、
    宛先が仮想スタブの内部に置かれているとき、クラウドデータセンタによってパケットをカプセル化することであって、パケットが、対応する宛先のクラウドIPヘッダーで最初にカプセル化され、パケットが、対応する宛先のロケーションIPヘッダーによってさらにカプセル化されること、
    宛先のロケーションIPアドレスにあるハイパーバイザによって、パケットのロケーションIPヘッダーをカプセル除去すること、ならびに
    宛先のクラウドIPアドレスにあるサーバによって、パケットのクラウドIPヘッダーをカプセル除去することを含む、方法。
  3. プライベートエンタープライズネットワークに割り振られたクラウドトポロジ内のソースから、プライベートエンタープライズネットワーク内の宛先にパケットを送信する方法であって、
    クラウドトポロジ内の仮想スタブ内のハイパーバイザによって、ハイパーバイザによってホストされる仮想マシンからパケットを受信すること、
    ハイパーバイザによって、宛先IPアドレスを含むエントリを、ハイパーバイザをホストするサーバにある転送テーブルに問い合わせること、
    ハイパーバイザによって、転送テーブルにエントリがないとき、ロケーションIPアドレスおよびクラウドIPアドレスを、仮想スタブ内のクラウドデータセンタにあるディレクトリサーバに問い合わせること、
    パケットをカプセル化することであって、パケットが、クラウドデータセンタ内の論理カスタマルータのクラウドIPアドレスに対応するクラウドIPヘッダーで最初にカプセル化され、パケットが、クラウドデータセンタ内のカスタマルータに対応するロケーションIPヘッダーによってさらにカプセル化されること、
    クラウドデータセンタ内のカスタマルータによって、パケットのロケーションIPヘッダーをカプセル除去すること、
    クラウドデータセンタ内のカスタマルータによって、パケットのクラウドIPヘッダーをカプセル除去すること、
    クラウドデータセンタ内のカスタマルータによって、プライベートエンタープライズネットワーク内の宛先のIPアドレスに対応するMPLSヘッダーをカプセル化すること、
    プライベートエンタープライズネットワーク内の宛先にパケットを配信すること、ならびに
    プライベートエンタープライズネットワーク内の宛先にあるカスタマルータによって、MPLSヘッダーをカプセル除去することを含む、方法。
  4. ハイパーバイザによって、エンタープライズ固有キー、エンタープライズID、および宛先IPアドレスの組合せを含むセキュリティトークンを計算することをさらに含む、請求項3に記載の方法。
  5. クラウドトポロジ内のリソースをプライベートエンタープライズネットワークに組み込むシステムであって、
    プライベートエンタープライズネットワークに割り振られ仮想スタブの外部のクラウドリソースから隔離されたリソースを備えるクラウドトポロジ内の論理ネットワークを備える仮想スタブであって、仮想スタブが、
    一連のサーバであって、各サーバが、
    プライベートエンタープライズネットワークに割り振られた、サーバ上のリソースを備える仮想マシン、および
    仮想マシンをホストするハイパーバイザを含む、一連のサーバと、
    少なくとも一連のサーバに動作可能に結合されたデータセンタ相互接続スイッチと、
    データセンタ相互接続スイッチに接続されたクラウドデータセンタであって、仮想スタブをプライベートエンタープライズネットワークに接続するクラウドデータセンタと
    を含む仮想スタブ、ならびに
    仮想スタブをプライベートエンタープライズネットワークに接続するサービスプロバイダネットワークを備える、システム。
  6. プライベートエンタープライズネットワークに割り振られた、クラウドトポロジ内のリソースを管理するシステムであって、
    プライベートエンタープライズネットワーク内の利用可能リソースを備える一連のサーバと、
    プライベートエンタープライズネットワーク内の負荷分散装置であって、負荷分散装置が、サーバリストを備え、負荷分散装置が、プライベートエンタープライズネットワーク内のリソースおよびクラウドトポロジ内のリソースの使用を、ユーザ定義基準に基づいて管理する負荷分散装置と、
    プライベートエンタープライズネットワークおよびクラウドトポロジ内のリソースの性能データを収集するモニタを備えるコントローラと、
    一連のサーバを備えるクラウドトポロジであって、一連のサーバが、プライベートエンタープライズネットワークに割り振られたクラウドトポロジ内の仮想マシンを備えるクラウドトポロジとを備える、システム。
  7. コントローラが、
    クラウドトポロジ内の仮想マシンを管理するマネージャであって、管理が、ユーザによって定義される拡張アルゴリズムに基づくマネージャをさらに備える、請求項6に記載のシステム。
  8. クラウドトポロジ内の第2の負荷分散装置であって、第2の負荷分散装置が、クラウドトポロジ内の仮想マシンを管理し、第1の負荷分散装置が、第2の負荷分散装置を、クラウドトポロジ内に置かれた単一サーバとして管理するだけである第2の負荷分散装置をさらに備える、請求項6に記載のシステム。
JP2012532127A 2009-09-30 2010-09-21 クラウドトポロジでのエンタープライズ拡張のためのスケーラブルなアーキテクチャ Active JP5485403B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/571,257 2009-09-30
US12/571,257 US8619779B2 (en) 2009-09-30 2009-09-30 Scalable architecture for enterprise extension in a cloud topology
PCT/US2010/049562 WO2011041159A1 (en) 2009-09-30 2010-09-21 Scalable architecture for enterprise extension in a cloud topology

Publications (2)

Publication Number Publication Date
JP2013507044A true JP2013507044A (ja) 2013-02-28
JP5485403B2 JP5485403B2 (ja) 2014-05-07

Family

ID=43242623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012532127A Active JP5485403B2 (ja) 2009-09-30 2010-09-21 クラウドトポロジでのエンタープライズ拡張のためのスケーラブルなアーキテクチャ

Country Status (6)

Country Link
US (1) US8619779B2 (ja)
EP (1) EP2484061B1 (ja)
JP (1) JP5485403B2 (ja)
KR (1) KR101355721B1 (ja)
CN (1) CN102577270B (ja)
WO (1) WO2011041159A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013527532A (ja) * 2010-05-14 2013-06-27 マイクロソフト コーポレーション 仮想ネットワークのメンバの相互接続
WO2014192259A1 (ja) * 2013-05-27 2014-12-04 日本電気株式会社 ネットワーク制御装置、ネットワーク制御方法、プログラムおよび通信システム
JP2016540446A (ja) * 2013-12-11 2016-12-22 アマゾン・テクノロジーズ・インコーポレーテッド 仮想ネットワークにおけるアイデンティティ及びアクセス管理ベースのアクセス制御
JP2018513498A (ja) * 2015-04-23 2018-05-24 アルカテル−ルーセント 不必要な機能を無効にすることによる向上した仮想化アプリケーション性能

Families Citing this family (224)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2700866C (en) 2007-09-26 2016-06-21 Martin Casado Network operating system for managing and securing networks
US8560634B2 (en) * 2007-10-17 2013-10-15 Dispersive Networks, Inc. Apparatus, systems and methods utilizing dispersive networking
EP2804350B1 (en) 2009-04-01 2019-07-24 Nicira, Inc. Method and apparatus for implementing and managing virtual switches
US8705513B2 (en) * 2009-12-15 2014-04-22 At&T Intellectual Property I, L.P. Methods and apparatus to communicatively couple virtual private networks to virtual machines within distributive computing networks
US8429651B2 (en) * 2010-01-20 2013-04-23 International Business Machines Corporation Enablement and acceleration of live and near-live migration of virtual machines and their associated storage across networks
US10649799B2 (en) 2010-03-17 2020-05-12 Zerto Ltd. Hypervisor virtual server system, and method for providing data services within a hypervisor virtual server system
US11256529B2 (en) 2010-03-17 2022-02-22 Zerto Ltd. Methods and apparatus for providing hypervisor level data services for server virtualization
US9389892B2 (en) * 2010-03-17 2016-07-12 Zerto Ltd. Multiple points in time disk images for disaster recovery
US9442748B2 (en) 2010-03-17 2016-09-13 Zerto, Ltd. Multi-RPO data protection
US9710294B2 (en) 2010-03-17 2017-07-18 Zerto Ltd. Methods and apparatus for providing hypervisor level data services for server virtualization
US20110239039A1 (en) * 2010-03-26 2011-09-29 Dieffenbach Devon C Cloud computing enabled robust initialization and recovery of it services
US9137213B2 (en) * 2010-03-26 2015-09-15 Avaya Inc. On-demand feature server activation in the cloud
US10103939B2 (en) 2010-07-06 2018-10-16 Nicira, Inc. Network control apparatus and method for populating logical datapath sets
US9680750B2 (en) 2010-07-06 2017-06-13 Nicira, Inc. Use of tunnels to hide network addresses
US8717895B2 (en) 2010-07-06 2014-05-06 Nicira, Inc. Network virtualization apparatus and method with a table mapping engine
US9525647B2 (en) 2010-07-06 2016-12-20 Nicira, Inc. Network control apparatus and method for creating and modifying logical switching elements
US8964528B2 (en) 2010-07-06 2015-02-24 Nicira, Inc. Method and apparatus for robust packet distribution among hierarchical managed switching elements
WO2012023050A2 (en) 2010-08-20 2012-02-23 Overtis Group Limited Secure cloud computing system and method
US8473557B2 (en) 2010-08-24 2013-06-25 At&T Intellectual Property I, L.P. Methods and apparatus to migrate virtual machines between distributive computing networks across a wide area network
US8677004B2 (en) 2010-09-10 2014-03-18 International Business Machines Corporation Migration of logical partitions between two devices
US8495356B2 (en) * 2010-12-31 2013-07-23 International Business Machines Corporation System for securing virtual machine disks on a remote shared storage subsystem
US20120173757A1 (en) * 2011-01-05 2012-07-05 International Business Machines Corporation Routing optimization for virtual machine migration between geographically remote data centers
US9135037B1 (en) * 2011-01-13 2015-09-15 Google Inc. Virtual network protocol
US9619662B1 (en) * 2011-01-13 2017-04-11 Google Inc. Virtual network pairs
US8825900B1 (en) 2011-04-05 2014-09-02 Nicira, Inc. Method and apparatus for stateless transport layer tunneling
US9043452B2 (en) 2011-05-04 2015-05-26 Nicira, Inc. Network control apparatus and method for port isolation
US9253252B2 (en) * 2011-05-06 2016-02-02 Citrix Systems, Inc. Systems and methods for cloud bridging between intranet resources and cloud resources
EP2705632B8 (en) * 2011-05-06 2018-09-12 Citrix Systems, Inc. Systems and methods for cloud bridging between public and private clouds
US9154327B1 (en) 2011-05-27 2015-10-06 Cisco Technology, Inc. User-configured on-demand virtual layer-2 network for infrastructure-as-a-service (IaaS) on a hybrid cloud network
WO2012170016A1 (en) 2011-06-07 2012-12-13 Hewlett-Packard Development Company, L.P. A scalable multi-tenant network architecture for virtualized datacenters
US8804745B1 (en) * 2011-06-27 2014-08-12 Amazon Technologies, Inc. Virtualization mapping
CN102882758B (zh) * 2011-07-12 2018-12-07 华为技术有限公司 虚拟私云接入网络的方法、网络侧设备和数据中心设备
US20130036213A1 (en) * 2011-08-02 2013-02-07 Masum Hasan Virtual private clouds
US9009106B1 (en) 2011-08-10 2015-04-14 Nutanix, Inc. Method and system for implementing writable snapshots in a virtualized storage environment
US8601473B1 (en) 2011-08-10 2013-12-03 Nutanix, Inc. Architecture for managing I/O and storage for a virtualization environment
AU2012296330B2 (en) 2011-08-17 2016-03-17 Nicira, Inc. Hierarchical controller clusters for interconnecting different logical domains
CN106850444B (zh) * 2011-08-17 2020-10-27 Nicira股份有限公司 逻辑l3路由
US8819284B2 (en) 2011-08-30 2014-08-26 At&T Intellectual Property I, L.P. Methods, systems and apparatus to route cloud-based service communications
US8856518B2 (en) * 2011-09-07 2014-10-07 Microsoft Corporation Secure and efficient offloading of network policies to network interface cards
JP5836042B2 (ja) * 2011-10-04 2015-12-24 株式会社日立製作所 管理サーバプログラム
WO2013053019A1 (en) * 2011-10-14 2013-04-18 National Ict Australia Limited Disaster recovery failover in cloud computing
US9137107B2 (en) 2011-10-25 2015-09-15 Nicira, Inc. Physical controllers for converting universal flows
US9203701B2 (en) 2011-10-25 2015-12-01 Nicira, Inc. Network virtualization apparatus and method with scheduling capabilities
US9154433B2 (en) 2011-10-25 2015-10-06 Nicira, Inc. Physical controller
US9288104B2 (en) 2011-10-25 2016-03-15 Nicira, Inc. Chassis controllers for converting universal flows
WO2013074855A1 (en) 2011-11-15 2013-05-23 Nicira, Inc. Control plane interface for logical middlebox services
US20130142201A1 (en) * 2011-12-02 2013-06-06 Microsoft Corporation Connecting on-premise networks with public clouds
US8959228B2 (en) * 2011-12-23 2015-02-17 Empire Technology Development Llc Optimization of resource utilization in a collection of devices
BR112014018826A8 (pt) * 2012-01-30 2017-07-11 Intel Corp Técnicas de certificação de confiabilidade remota e de geo-localização de servidores e clientes em ambientes de computação em nuvem
US9256742B2 (en) 2012-01-30 2016-02-09 Intel Corporation Remote trust attestation and geo-location of servers and clients in cloud computing environments
US8990371B2 (en) * 2012-01-31 2015-03-24 International Business Machines Corporation Interconnecting data centers for migration of virtual machines
US8660129B1 (en) * 2012-02-02 2014-02-25 Cisco Technology, Inc. Fully distributed routing over a user-configured on-demand virtual network for infrastructure-as-a-service (IaaS) on hybrid cloud networks
US8881136B2 (en) * 2012-03-13 2014-11-04 International Business Machines Corporation Identifying optimal upgrade scenarios in a networked computing environment
US8595262B1 (en) 2012-03-29 2013-11-26 Amazon Technologies, Inc. Resource resolution in computing environments using directed graphs
AU2013249152B2 (en) 2012-04-18 2016-04-28 Nicira, Inc. Using transactions to minimize churn in a distributed network control system
US9052963B2 (en) * 2012-05-21 2015-06-09 International Business Machines Corporation Cloud computing data center machine monitor and control
US9106578B2 (en) * 2012-05-31 2015-08-11 Hewlett-Packard Development Company, L.P. Core network architecture
US9772866B1 (en) 2012-07-17 2017-09-26 Nutanix, Inc. Architecture for implementing a virtualization environment and appliance
US9612853B2 (en) 2012-09-07 2017-04-04 International Business Machines Corporation Virtual machine monitoring in cloud infrastructures
CN103825815B (zh) * 2012-11-16 2018-07-27 中兴通讯股份有限公司 网络虚拟边界设备间进行冗余备份的方法、设备及系统
US9882713B1 (en) 2013-01-30 2018-01-30 vIPtela Inc. Method and system for key generation, distribution and management
KR101529163B1 (ko) * 2013-02-15 2015-06-16 주식회사 케이티 복수의 사용자 계정들을 갖는 클라이언트에 대한 가상 데스크톱 서비스의 청약 시스템 및 청약 처리 방법
US9392050B2 (en) * 2013-03-15 2016-07-12 Cisco Technology, Inc. Automatic configuration of external services based upon network activity
US20140310039A1 (en) * 2013-04-16 2014-10-16 Centurylink Intellectual Property Llc Automated Cloud Expansion and Ordering System and Method
KR101457455B1 (ko) * 2013-05-30 2014-11-05 한국전자통신연구원 클라우드 네트워크 환경에서의 데이터 보안 장치 및 방법
US10749711B2 (en) 2013-07-10 2020-08-18 Nicira, Inc. Network-link method useful for a last-mile connectivity in an edge-gateway multipath system
US10454714B2 (en) 2013-07-10 2019-10-22 Nicira, Inc. Method and system of overlay flow control
US9952885B2 (en) 2013-08-14 2018-04-24 Nicira, Inc. Generation of configuration files for a DHCP module executing within a virtualized container
US9887960B2 (en) 2013-08-14 2018-02-06 Nicira, Inc. Providing services for logical networks
US10439988B2 (en) 2013-08-21 2019-10-08 Vmware, Inc. On premises, remotely managed, host computers for virtual desktops
US9654390B2 (en) 2013-09-03 2017-05-16 Cisco Technology, Inc. Method and apparatus for improving cloud routing service performance
US9577845B2 (en) 2013-09-04 2017-02-21 Nicira, Inc. Multiple active L3 gateways for logical networks
US9503371B2 (en) 2013-09-04 2016-11-22 Nicira, Inc. High availability L3 gateways for logical networks
US9455901B2 (en) 2013-10-04 2016-09-27 Nicira, Inc. Managing software and hardware forwarding elements to define virtual networks
US10063458B2 (en) 2013-10-13 2018-08-28 Nicira, Inc. Asymmetric connection with external networks
US9910686B2 (en) 2013-10-13 2018-03-06 Nicira, Inc. Bridging between network segments with a logical router
EP3063655A4 (en) 2013-10-30 2017-08-30 Hewlett-Packard Enterprise Development LP Management of the lifecycle of a cloud service modeled as a topology
EP3063668A4 (en) 2013-10-30 2017-05-31 Hewlett-Packard Enterprise Development LP Managing the lifecycle of a cloud service modeled as topology decorated by a number of policies
WO2015065392A1 (en) 2013-10-30 2015-05-07 Hewlett-Packard Development Company, L.P. Facilitating autonomous computing within a cloud service
US10164986B2 (en) 2013-10-30 2018-12-25 Entit Software Llc Realized topology system management database
WO2015065356A1 (en) 2013-10-30 2015-05-07 Hewlett-Packard Development Company, L.P. Topology remediation
EP3063657B1 (en) * 2013-10-30 2021-12-01 Hewlett Packard Enterprise Development LP Monitoring a cloud service modeled as a topology
WO2015065389A1 (en) 2013-10-30 2015-05-07 Hewlett-Packard Development Company, L.P. Execution of a topology
EP3063654A4 (en) 2013-10-30 2017-06-21 Hewlett-Packard Enterprise Development LP Modifying realized topologies
WO2015065355A1 (en) 2013-10-30 2015-05-07 Hewlett-Packard Development Company, L. P. Stitching an application model to an infrastructure template
DE102013018596A1 (de) 2013-11-07 2015-05-07 Phoenix Contact Gmbh & Co. Kg Netzwerksystem, Koppeleinheit und Verfahren zum Betreiben eines Netzwerksystems
CN103607449A (zh) * 2013-11-18 2014-02-26 中国联合网络通信集团有限公司 企业内网物理机访问云存储虚拟机的方法、设备和系统
US9294524B2 (en) 2013-12-16 2016-03-22 Nicira, Inc. Mapping virtual machines from a private network to a multi-tenant public datacenter
US9467478B1 (en) * 2013-12-18 2016-10-11 vIPtela Inc. Overlay management protocol for secure routing based on an overlay network
US9565072B2 (en) 2013-12-19 2017-02-07 Sap Se Moving median usage frequency based maintenance of server instances
US9313129B2 (en) 2014-03-14 2016-04-12 Nicira, Inc. Logical router processing by network controller
US9225597B2 (en) 2014-03-14 2015-12-29 Nicira, Inc. Managed gateways peering with external router to attract ingress packets
US9419855B2 (en) 2014-03-14 2016-08-16 Nicira, Inc. Static routes for logical routers
US9590901B2 (en) 2014-03-14 2017-03-07 Nicira, Inc. Route advertisement by managed gateways
US9647883B2 (en) 2014-03-21 2017-05-09 Nicria, Inc. Multiple levels of logical routers
US9503321B2 (en) 2014-03-21 2016-11-22 Nicira, Inc. Dynamic routing for logical routers
US9424062B1 (en) * 2014-03-24 2016-08-23 Amazon Technologies, Inc. Virtualization infrastructure support
US9413644B2 (en) 2014-03-27 2016-08-09 Nicira, Inc. Ingress ECMP in virtual distributed routing environment
US9893988B2 (en) 2014-03-27 2018-02-13 Nicira, Inc. Address resolution using multiple designated instances of a logical router
US9811365B2 (en) * 2014-05-09 2017-11-07 Amazon Technologies, Inc. Migration of applications between an enterprise-based network and a multi-tenant network
US9716628B2 (en) * 2014-05-23 2017-07-25 Cisco Technology, Inc. Touchless orchestration for layer 3 data center interconnect in communications networks
US10019278B2 (en) 2014-06-22 2018-07-10 Cisco Technology, Inc. Framework for network technology agnostic multi-cloud elastic extension and isolation
US10305726B2 (en) 2014-06-22 2019-05-28 Cisco Technology, Inc. Cloud framework for multi-cloud extension
US9961017B2 (en) 2014-08-08 2018-05-01 Oracle International Corporation Demand policy-based resource management and allocation system
US9912609B2 (en) 2014-08-08 2018-03-06 Oracle International Corporation Placement policy-based allocation of computing resources
US9781055B2 (en) * 2014-08-18 2017-10-03 Cisco Technology, Inc. Dynamic cascaded clustering for dynamic VNF
US9979602B1 (en) * 2014-08-25 2018-05-22 Cisco Technology, Inc. Network function virtualization infrastructure pod in a network environment
US20160080255A1 (en) * 2014-09-17 2016-03-17 Netapp, Inc. Method and system for setting up routing in a clustered storage system
US10020960B2 (en) 2014-09-30 2018-07-10 Nicira, Inc. Virtual distributed bridging
US10250443B2 (en) 2014-09-30 2019-04-02 Nicira, Inc. Using physical location to modify behavior of a distributed virtual network element
US10511458B2 (en) 2014-09-30 2019-12-17 Nicira, Inc. Virtual distributed bridging
US9768980B2 (en) 2014-09-30 2017-09-19 Nicira, Inc. Virtual distributed bridging
US10447676B2 (en) * 2014-10-10 2019-10-15 Adp, Llc Securing application programming interfaces (APIS) through infrastructure virtualization
US10079779B2 (en) 2015-01-30 2018-09-18 Nicira, Inc. Implementing logical router uplinks
US10491546B2 (en) 2015-02-25 2019-11-26 At&T Intellectual Property I, L.P. Provider edge router system and provider edge router system controller for hybrid virtualization of provider edge router functions
US10038628B2 (en) 2015-04-04 2018-07-31 Nicira, Inc. Route server mode for dynamic routing between logical and physical networks
US9967134B2 (en) 2015-04-06 2018-05-08 Nicira, Inc. Reduction of network churn based on differences in input state
US10135789B2 (en) 2015-04-13 2018-11-20 Nicira, Inc. Method and system of establishing a virtual private network in a cloud service for branch networking
US10498652B2 (en) 2015-04-13 2019-12-03 Nicira, Inc. Method and system of application-aware routing with crowdsourcing
US10425382B2 (en) * 2015-04-13 2019-09-24 Nicira, Inc. Method and system of a cloud-based multipath routing protocol
US9942058B2 (en) 2015-04-17 2018-04-10 Nicira, Inc. Managing tunnel endpoints for facilitating creation of logical networks
US10541863B2 (en) * 2015-04-24 2020-01-21 Mitel Networks, Inc. Provisioning hybrid services
CN106302071B (zh) * 2015-05-29 2020-02-14 华为技术有限公司 一种适配器、网络设备以及端口配置的方法
KR101575200B1 (ko) 2015-06-11 2015-12-21 정재기 자가 진단 및 알고리즘 진단이 가능한 부분방전 진단장치
US10554484B2 (en) 2015-06-26 2020-02-04 Nicira, Inc. Control plane integration with hardware switches
US10348625B2 (en) 2015-06-30 2019-07-09 Nicira, Inc. Sharing common L2 segment in a virtual distributed router environment
CH711351A1 (de) * 2015-07-23 2017-01-31 Legic Identsystems Ag Elektronische Zugangskontrollvorrichtung und Zugangskontrollverfahren.
US9847938B2 (en) 2015-07-31 2017-12-19 Nicira, Inc. Configuring logical routers on hardware switches
US9819581B2 (en) 2015-07-31 2017-11-14 Nicira, Inc. Configuring a hardware switch as an edge node for a logical router
US9967182B2 (en) 2015-07-31 2018-05-08 Nicira, Inc. Enabling hardware switches to perform logical routing functionalities
US10129142B2 (en) 2015-08-11 2018-11-13 Nicira, Inc. Route configuration for logical router
US10075363B2 (en) 2015-08-31 2018-09-11 Nicira, Inc. Authorization for advertised routes among logical routers
US10313186B2 (en) * 2015-08-31 2019-06-04 Nicira, Inc. Scalable controller for hardware VTEPS
US9998324B2 (en) 2015-09-30 2018-06-12 Nicira, Inc. Logical L3 processing for L2 hardware switches
US10263828B2 (en) 2015-09-30 2019-04-16 Nicira, Inc. Preventing concurrent distribution of network data to a hardware switch by multiple controllers
US10204122B2 (en) 2015-09-30 2019-02-12 Nicira, Inc. Implementing an interface between tuple and message-driven control entities
US10230576B2 (en) 2015-09-30 2019-03-12 Nicira, Inc. Managing administrative statuses of hardware VTEPs
US9948577B2 (en) 2015-09-30 2018-04-17 Nicira, Inc. IP aliases in logical networks with hardware switches
US10075304B2 (en) 2015-10-30 2018-09-11 Microsoft Technology Licensing, Llc Multiple gateway operation on single operating system
US10095535B2 (en) 2015-10-31 2018-10-09 Nicira, Inc. Static route types for logical routers
US10250553B2 (en) 2015-11-03 2019-04-02 Nicira, Inc. ARP offloading for managed hardware forwarding elements
US9992112B2 (en) 2015-12-15 2018-06-05 Nicira, Inc. Transactional controls for supplying control plane data to managed hardware forwarding elements
US9998375B2 (en) 2015-12-15 2018-06-12 Nicira, Inc. Transactional controls for supplying control plane data to managed hardware forwarding elements
US9917799B2 (en) 2015-12-15 2018-03-13 Nicira, Inc. Transactional controls for supplying control plane data to managed hardware forwarding elements
US9980303B2 (en) 2015-12-18 2018-05-22 Cisco Technology, Inc. Establishing a private network using multi-uplink capable network devices
US10313271B2 (en) * 2016-03-16 2019-06-04 At&T Intellectual Property I, L.P. Providing and using a distributed forwarding service
US10333849B2 (en) 2016-04-28 2019-06-25 Nicira, Inc. Automatic configuration of logical routers on edge nodes
US11019167B2 (en) 2016-04-29 2021-05-25 Nicira, Inc. Management of update queues for network controller
US10841273B2 (en) 2016-04-29 2020-11-17 Nicira, Inc. Implementing logical DHCP servers in logical networks
US10484515B2 (en) 2016-04-29 2019-11-19 Nicira, Inc. Implementing logical metadata proxy servers in logical networks
US10091161B2 (en) 2016-04-30 2018-10-02 Nicira, Inc. Assignment of router ID for logical routers
US10153973B2 (en) 2016-06-29 2018-12-11 Nicira, Inc. Installation of routing tables for logical router in route server mode
US10182035B2 (en) 2016-06-29 2019-01-15 Nicira, Inc. Implementing logical network security on a hardware switch
US10560320B2 (en) 2016-06-29 2020-02-11 Nicira, Inc. Ranking of gateways in cluster
CN107566150B (zh) * 2016-07-01 2020-04-28 华为技术有限公司 处理云资源的方法和物理节点
US10397136B2 (en) 2016-08-27 2019-08-27 Nicira, Inc. Managed forwarding element executing in separate namespace of public cloud data compute node than workload application
US10402675B2 (en) * 2016-08-30 2019-09-03 The Boeing Company 2D vehicle localizing using geoarcs
US10454758B2 (en) 2016-08-31 2019-10-22 Nicira, Inc. Edge node cluster network redundancy and fast convergence using an underlay anycast VTEP IP
US10341236B2 (en) 2016-09-30 2019-07-02 Nicira, Inc. Anycast edge service gateways
US10212071B2 (en) 2016-12-21 2019-02-19 Nicira, Inc. Bypassing a load balancer in a return path of network traffic
US10237123B2 (en) 2016-12-21 2019-03-19 Nicira, Inc. Dynamic recovery from a split-brain failure in edge nodes
US10742746B2 (en) 2016-12-21 2020-08-11 Nicira, Inc. Bypassing a load balancer in a return path of network traffic
US10616045B2 (en) 2016-12-22 2020-04-07 Nicira, Inc. Migration of centralized routing components of logical router
CN106506549A (zh) * 2016-12-27 2017-03-15 上海斐讯数据通信技术有限公司 网络设备代理的云共享私有权限管理方法及系统
US11706127B2 (en) 2017-01-31 2023-07-18 Vmware, Inc. High performance software-defined core network
US10992568B2 (en) 2017-01-31 2021-04-27 Vmware, Inc. High performance software-defined core network
US11252079B2 (en) 2017-01-31 2022-02-15 Vmware, Inc. High performance software-defined core network
US20200036624A1 (en) 2017-01-31 2020-01-30 The Mode Group High performance software-defined core network
US10992558B1 (en) 2017-11-06 2021-04-27 Vmware, Inc. Method and apparatus for distributed data network traffic optimization
US20180219765A1 (en) 2017-01-31 2018-08-02 Waltz Networks Method and Apparatus for Network Traffic Control Optimization
US11121962B2 (en) 2017-01-31 2021-09-14 Vmware, Inc. High performance software-defined core network
US10778528B2 (en) 2017-02-11 2020-09-15 Nicira, Inc. Method and system of connecting to a multipath hub in a cluster
US10574528B2 (en) 2017-02-11 2020-02-25 Nicira, Inc. Network multi-source inbound quality of service methods and systems
US10419539B2 (en) 2017-05-19 2019-09-17 Bank Of America Corporation Data transfer path selection
US10523539B2 (en) 2017-06-22 2019-12-31 Nicira, Inc. Method and system of resiliency in cloud-delivered SD-WAN
US10892940B2 (en) * 2017-07-21 2021-01-12 Cisco Technology, Inc. Scalable statistics and analytics mechanisms in cloud networking
US10778579B2 (en) * 2017-08-27 2020-09-15 Nicira, Inc. Performing in-line service in public cloud
US10666460B2 (en) 2017-10-02 2020-05-26 Vmware, Inc. Measurement based routing through multiple public clouds
US11089111B2 (en) 2017-10-02 2021-08-10 Vmware, Inc. Layer four optimization for a virtual network defined over public cloud
US10959098B2 (en) 2017-10-02 2021-03-23 Vmware, Inc. Dynamically specifying multiple public cloud edge nodes to connect to an external multi-computer node
US11115480B2 (en) 2017-10-02 2021-09-07 Vmware, Inc. Layer four optimization for a virtual network defined over public cloud
US10999100B2 (en) 2017-10-02 2021-05-04 Vmware, Inc. Identifying multiple nodes in a virtual network defined over a set of public clouds to connect to an external SAAS provider
US10999165B2 (en) 2017-10-02 2021-05-04 Vmware, Inc. Three tiers of SaaS providers for deploying compute and network infrastructure in the public cloud
US11223514B2 (en) 2017-11-09 2022-01-11 Nicira, Inc. Method and system of a dynamic high-availability mode based on current wide area network connectivity
US10511459B2 (en) 2017-11-14 2019-12-17 Nicira, Inc. Selection of managed forwarding element for bridge spanning multiple datacenters
US10374827B2 (en) 2017-11-14 2019-08-06 Nicira, Inc. Identifier that maps to different networks at different datacenters
CN110417658B (zh) 2018-04-28 2022-08-12 北京京东尚科信息技术有限公司 用于边缘路由器的网络接入方法和装置
US11263305B2 (en) * 2018-05-09 2022-03-01 Netflix, Inc. Multilayered approach to protecting cloud credentials
US11374794B2 (en) 2018-08-24 2022-06-28 Vmware, Inc. Transitive routing in public cloud
CN112640369B (zh) * 2018-08-24 2023-01-10 Vm维尔股份有限公司 在公共云中智能地使用对等的方法、设备和机器可读介质
US11683343B2 (en) 2018-10-26 2023-06-20 Netography, Inc. Distributed network and security operations platform
US10834017B2 (en) * 2018-11-11 2020-11-10 International Business Machines Corporation Cloud-driven hybrid data flow and collection
US10931560B2 (en) 2018-11-23 2021-02-23 Vmware, Inc. Using route type to determine routing protocol behavior
CN109327394B (zh) * 2018-11-28 2019-09-06 北京华三通信技术有限公司 一种报文转发方法及装置
US10797998B2 (en) 2018-12-05 2020-10-06 Vmware, Inc. Route server for distributed routers using hierarchical routing protocol
US10938788B2 (en) 2018-12-12 2021-03-02 Vmware, Inc. Static routes for policy-based VPN
US11102114B2 (en) * 2018-12-28 2021-08-24 Alibaba Group Holding Limited Method, apparatus, and computer-readable storage medium for network optimization for accessing cloud service from on-premises network
US11108735B2 (en) * 2019-06-07 2021-08-31 Microsoft Technology Licensing, Llc Mapping subnets in different virtual networks using private address space
US11252105B2 (en) 2019-08-27 2022-02-15 Vmware, Inc. Identifying different SaaS optimal egress nodes for virtual networks of different entities
US11095480B2 (en) 2019-08-30 2021-08-17 Vmware, Inc. Traffic optimization using distributed edge services
US11044190B2 (en) 2019-10-28 2021-06-22 Vmware, Inc. Managing forwarding elements at edge nodes connected to a virtual network
US11171843B2 (en) 2019-11-29 2021-11-09 Amazon Technologies, Inc. Multi-carrier access to provider substrate extensions
CN110830594B (zh) * 2019-12-06 2022-04-01 广州微算互联信息技术有限公司 一种扩展云手机ip地址的方法、系统、装置及存储介质
US11394640B2 (en) 2019-12-12 2022-07-19 Vmware, Inc. Collecting and analyzing data regarding flows associated with DPI parameters
US11489783B2 (en) 2019-12-12 2022-11-01 Vmware, Inc. Performing deep packet inspection in a software defined wide area network
US11722925B2 (en) 2020-01-24 2023-08-08 Vmware, Inc. Performing service class aware load balancing to distribute packets of a flow among multiple network links
US11245641B2 (en) 2020-07-02 2022-02-08 Vmware, Inc. Methods and apparatus for application aware hub clustering techniques for a hyper scale SD-WAN
US11616755B2 (en) 2020-07-16 2023-03-28 Vmware, Inc. Facilitating distributed SNAT service
US11606294B2 (en) 2020-07-16 2023-03-14 Vmware, Inc. Host computer configured to facilitate distributed SNAT service
US11611613B2 (en) 2020-07-24 2023-03-21 Vmware, Inc. Policy-based forwarding to a load balancer of a load balancing cluster
US11902050B2 (en) 2020-07-28 2024-02-13 VMware LLC Method for providing distributed gateway service at host computer
US11451413B2 (en) 2020-07-28 2022-09-20 Vmware, Inc. Method for advertising availability of distributed gateway service and machines at host computer
US11709710B2 (en) 2020-07-30 2023-07-25 Vmware, Inc. Memory allocator for I/O operations
US11575591B2 (en) 2020-11-17 2023-02-07 Vmware, Inc. Autonomous distributed forwarding plane traceability based anomaly detection in application traffic for hyper-scale SD-WAN
US11575600B2 (en) 2020-11-24 2023-02-07 Vmware, Inc. Tunnel-less SD-WAN
US11929903B2 (en) 2020-12-29 2024-03-12 VMware LLC Emulating packet flows to assess network links for SD-WAN
CN116783874A (zh) 2021-01-18 2023-09-19 Vm维尔股份有限公司 网络感知的负载平衡
US11979325B2 (en) 2021-01-28 2024-05-07 VMware LLC Dynamic SD-WAN hub cluster scaling with machine learning
US11388086B1 (en) 2021-05-03 2022-07-12 Vmware, Inc. On demand routing mesh for dynamically adjusting SD-WAN edge forwarding node roles to facilitate routing through an SD-WAN
US11729065B2 (en) 2021-05-06 2023-08-15 Vmware, Inc. Methods for application defined virtual network service among multiple transport in SD-WAN
US11489720B1 (en) 2021-06-18 2022-11-01 Vmware, Inc. Method and apparatus to evaluate resource elements and public clouds for deploying tenant deployable elements based on harvested performance metrics
US11375005B1 (en) 2021-07-24 2022-06-28 Vmware, Inc. High availability solutions for a secure access service edge application
US11943146B2 (en) 2021-10-01 2024-03-26 VMware LLC Traffic prioritization in SD-WAN
US11909815B2 (en) 2022-06-06 2024-02-20 VMware LLC Routing based on geolocation costs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002208965A (ja) * 2001-01-04 2002-07-26 Nec Corp インターネット中継接続方式
WO2009030282A1 (en) * 2007-09-07 2009-03-12 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatuses for allowing a nomadic terminal to access a home network on layer 2 level
WO2011041162A1 (en) * 2009-09-30 2011-04-07 Alcatel-Lucent Usa Inc. Layer 2 seamless site extension of enterprises in cloud computing

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804776B1 (en) * 1999-09-21 2004-10-12 Cisco Technology, Inc. Method for universal transport encapsulation for Internet Protocol network communications
US7082140B1 (en) * 2000-03-17 2006-07-25 Nortel Networks Ltd System, device and method for supporting a label switched path across a non-MPLS compliant segment
US7272643B1 (en) * 2000-09-13 2007-09-18 Fortinet, Inc. System and method for managing and provisioning virtual routers
US20020075844A1 (en) 2000-12-15 2002-06-20 Hagen W. Alexander Integrating public and private network resources for optimized broadband wireless access and method
US20030041238A1 (en) * 2001-08-15 2003-02-27 International Business Machines Corporation Method and system for managing resources using geographic location information within a network management framework
US7093289B2 (en) 2001-08-22 2006-08-15 Adtran, Inc. Mechanism for automatically configuring integrated access device for use in voice over digital subscriber line circuit
US7415535B1 (en) * 2002-04-22 2008-08-19 Cisco Technology, Inc. Virtual MAC address system and method
US7529933B2 (en) * 2002-05-30 2009-05-05 Microsoft Corporation TLS tunneling
US6741595B2 (en) * 2002-06-11 2004-05-25 Netrake Corporation Device for enabling trap and trace of internet protocol communications
US7693073B2 (en) * 2006-10-13 2010-04-06 At&T Intellectual Property I, L.P. System and method for routing packet traffic
US8381209B2 (en) * 2007-01-03 2013-02-19 International Business Machines Corporation Moveable access control list (ACL) mechanisms for hypervisors and virtual machines and virtual port firewalls
US8259720B2 (en) * 2007-02-02 2012-09-04 Cisco Technology, Inc. Triple-tier anycast addressing
US7840701B2 (en) 2007-02-21 2010-11-23 Array Networks, Inc. Dynamic system and method for virtual private network (VPN) packet level routing using dual-NAT method
US8055789B2 (en) * 2007-03-27 2011-11-08 Amazon Technologies, Inc. Configuring intercommunications between computing nodes
US7792124B2 (en) * 2007-04-01 2010-09-07 Cisco Technology, Inc. Data forwarding in a layer three satellite network
US8160063B2 (en) * 2008-06-09 2012-04-17 Microsoft Corporation Data center interconnect and traffic engineering
US8996683B2 (en) * 2008-06-09 2015-03-31 Microsoft Technology Licensing, Llc Data center without structural bottlenecks
WO2009155574A1 (en) * 2008-06-19 2009-12-23 Servicemesh, Inc. Cloud computing gateway, cloud computing hypervisor, and methods for implementing same
US7987289B2 (en) * 2008-06-24 2011-07-26 Microsoft Corporation Participating in cloud as totally stubby edge
US7720009B2 (en) * 2008-07-09 2010-05-18 Cisco Technology, Inc. Virtual private network (VPN) topology identifier
US9122533B2 (en) * 2009-03-13 2015-09-01 Novell, Inc. System and method for reducing cloud IP address utilization using a distributor registry
US8458717B1 (en) * 2008-09-23 2013-06-04 Gogrid, LLC System and method for automated criteria based deployment of virtual machines across a grid of hosting resources
US8213336B2 (en) * 2009-02-23 2012-07-03 Cisco Technology, Inc. Distributed data center access switch
US20100318609A1 (en) * 2009-06-15 2010-12-16 Microsoft Corporation Bridging enterprise networks into cloud
US8369333B2 (en) * 2009-10-21 2013-02-05 Alcatel Lucent Method and apparatus for transparent cloud computing with a virtualized network infrastructure
CN103270736B (zh) * 2010-06-29 2016-08-10 华为技术有限公司 一种网络设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002208965A (ja) * 2001-01-04 2002-07-26 Nec Corp インターネット中継接続方式
WO2009030282A1 (en) * 2007-09-07 2009-03-12 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatuses for allowing a nomadic terminal to access a home network on layer 2 level
WO2011041162A1 (en) * 2009-09-30 2011-04-07 Alcatel-Lucent Usa Inc. Layer 2 seamless site extension of enterprises in cloud computing

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013527532A (ja) * 2010-05-14 2013-06-27 マイクロソフト コーポレーション 仮想ネットワークのメンバの相互接続
WO2014192259A1 (ja) * 2013-05-27 2014-12-04 日本電気株式会社 ネットワーク制御装置、ネットワーク制御方法、プログラムおよび通信システム
JPWO2014192259A1 (ja) * 2013-05-27 2017-02-23 日本電気株式会社 ネットワーク制御装置、ネットワーク制御方法、プログラムおよび通信システム
JP2016540446A (ja) * 2013-12-11 2016-12-22 アマゾン・テクノロジーズ・インコーポレーテッド 仮想ネットワークにおけるアイデンティティ及びアクセス管理ベースのアクセス制御
JP2018513498A (ja) * 2015-04-23 2018-05-24 アルカテル−ルーセント 不必要な機能を無効にすることによる向上した仮想化アプリケーション性能
US10645064B2 (en) 2015-04-23 2020-05-05 Alcatel Lucent Virtualized application performance through disabling of unnecessary functions
US11095616B2 (en) 2015-04-23 2021-08-17 Alcatel Lucent Virtualized application performance through disabling of unnecessary functions

Also Published As

Publication number Publication date
CN102577270A (zh) 2012-07-11
WO2011041159A1 (en) 2011-04-07
EP2484061B1 (en) 2013-07-17
US8619779B2 (en) 2013-12-31
US20110075674A1 (en) 2011-03-31
EP2484061A1 (en) 2012-08-08
KR20120063501A (ko) 2012-06-15
KR101355721B1 (ko) 2014-01-24
JP5485403B2 (ja) 2014-05-07
CN102577270B (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
JP5485403B2 (ja) クラウドトポロジでのエンタープライズ拡張のためのスケーラブルなアーキテクチャ
JP5410614B2 (ja) クラウドコンピューティングにおける企業のレイヤ2シームレスサイト拡張
US11805056B2 (en) Method and system for service switching using service tags
US10116559B2 (en) Operations, administration and management (OAM) in overlay data center environments
EP3664383B1 (en) Scalable handling of bgp route information in vxlan with evpn control plane
TWI583151B (zh) 實施及管理虛擬網路的系統與方法
US9253140B2 (en) System and method for optimizing within subnet communication in a network environment
Lasserre et al. Framework for data center (DC) network virtualization
WO2019005949A1 (en) GATEWAY OF SEGMENT ROUTING
WO2015074394A1 (zh) 一种报文转发方法及装置
US9509600B1 (en) Methods for providing per-connection routing in a virtual environment and devices thereof
US20230254183A1 (en) Generating route target values for virtual private network routes
US20230164062A1 (en) Augmented routing of data
CN113300998A (zh) 实现数据加密传输的方法及装置、通信系统
Adewale et al. Reduction of Routing Delay in an Enterprise Network using Dynamic Multipoint Private Network

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140219

R150 Certificate of patent or registration of utility model

Ref document number: 5485403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250