JP2016052080A

JP2016052080A - 通信システムおよびその方法

Info

Publication number: JP2016052080A
Application number: JP2014177680A
Authority: JP
Inventors: 友哉小杉; Tomoya Kosugi; 泰則松林; Yasunori Matsubayashi; 直樹高谷; Naoki Takatani; 康雄槙林; Yasuo Makibayashi
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2014-09-02
Filing date: 2014-09-02
Publication date: 2016-04-11

Abstract

【課題】地理的に離れたデータセンタ間での仮想マシンの移動を、クライアント端末から不可視化すること。
【解決手段】制御装置５０より、サーバ１１，２１にＶＭ＃１の移動を開始する旨通知するとともに通信装置４１に対してクライアント端末３０から前記ＶＭ＃１宛に送出されたパケットを通信装置４２，４３に向かって転送するよう通知し、前記ＶＭ＃１がサーバ１１からサーバ２１へ完全に移動したことを確認すると、通信装置４１に対して前記ＶＭ＃１宛のパケットを通信装置４２に転送しないよう設定を変更するとともに、通信装置４２に対して前記ＶＭ＃１からクライアント端末３０に向かって転送されるパケットを転送しないよう設定する。
【選択図】図１

Description

本発明は、データセンタ内のサーバ上で稼働し、通信ネットワークを介してクライアント端末に様々なネットワークサービス機能を提供する仮想マシンのマイグレーション、即ち地理的に離れたデータセンタ間での移動に際して、クライアント端末に当該仮想マシンの移動を意識させない技術に関する。

現在、あるデータセンタ内のサーバ（物理サーバ）上で稼働中の仮想マシン（Virtual Machine：以降、「ＶＭ」と表記）の、地理的に離れた別のデータセンタ内の物理サーバ上への移動を、クライアント端末に意識させることなく実行する、つまりダウンタイム（サービス停止時間）無し（厳密にはダウンタイムが発生しているもののＴＣＰ等のプロトコルのタイムアウトよりは十分短いため、ネットワークの接続は保たれる）に実行するＶＭライブマイグレーションが実現されている。

尚、一般的なＶＭライブマイグレーションでは、移動前後の物理サーバが同一のＬ２ＳＷ上に存在していることを前提として、ＶＭのＩＰアドレスやＭＡＣアドレス等のネットワークＩＤは移動の前後で変化しない。

地理的に離れたデータセンタ間でネットワークＩＤの変更を伴わないＶＭの移動が実施されると、通信ネットワーク内に以下の課題が発生する。

＜通信ネットワークがルーティングプロトコルを用いた一般的なＩＰネットワークの場合＞
・ＶＭの移動に伴いＩＰアドレスの広告を再度行う必要があり、ダイナミックルーティングを利用している場合、経路が収束するまでに時間がかかる（スタティックルーティングを利用している場合、経路の収束に時間はかからないが、変更となった全ての経路をルータに設定する必要があることやネットワークに変更が生じる度に設定変更を必要とする）。

・ＶＭの移動は１つまたはごく少数であることが予想され、ＩＰアドレスがこま切れとなって経路集約効果が低下する（同一ＡＳ内のルータのルーティングテーブルを多く消費してしまう）。

＜通信ネットワークにトンネリングプロトコル等を用いてオーバーレイする場合＞
・ＶＭの移動に伴いトンネルの両端点となる通信装置にトンネル接続に関する設定変更を行う必要がある。本ケースにおいて、ＶＭとクライアント端末の通信が再開されるには、トンネルの再設定およびＶＭの移動が完了している必要があり、トンネルの再設定とＶＭの移動が連動して素早く行われないとダウンタイムが長くなり、ＴＣＰセッション等のクライアント端末−ＶＭ間のコネクションがタイムアウトとなってしまうという第１の課題がある。

上述の第１の課題の解決策の一つに特許文献１に開示される従来技術がある。

従来技術は、制御装置がサーバの各種パラメータを収集し、ＶＭの移動に要する時間を推定し、推定された時間をもとに通信経路を切り替えるという技術である。

しかしながら、前記従来技術は、制御装置が推定した時間で強制的に通信経路を切り替えることから、ダウンタイムの短縮は望めるものの、ＶＭの移動に対する通信ネットワークの追従性や確実性に課題（第２の課題）がある。

本発明は、前記の第１および第２の課題を解決するためになされたものであり、ＶＭの移動と通信ネットワーク内の通信経路の変更とを連動させることで、移動後のＶＭとクライアント端末の通信が再開されるまでの時間を短縮し、かつ、ＶＭの移動に確実に通信ネットワークが追従することを可能とする通信システムを提供することにある。

本発明では、前記課題を解決するため、ＶＭの移動が完了する前にＶＭの移動先に予め通信経路を生成することで、ＶＭの移動完了に素早く対応でき、かつ、ＶＭの移動完了後に移動前の通信経路を削除することで、ＶＭの移動に確実に通信ネットワークが追従することができる構成とした。

（請求項１に関する）
具体的には、本発明に係る通信システムは、
データセンタ内のサーバ上で稼働する仮想マシンと当該仮想マシンが提供するネットワークサービス機能を利用するクライアント端末とを、経路情報に従ってトラヒックを転送する通信装置を含んで構成される通信ネットワークを介して接続する通信システムであって、
前記通信ネットワークは、クライアント端末を接続する第１の通信装置と、第１のデータセンタ内の第１のサーバを接続する第２の通信装置と、第２のデータセンタ内の第２のサーバを接続する第３の通信装置とを少なくとも含んで構成され、
前記第１のサーバ上で稼働し前記第１の通信装置と前記第２の通信装置との間に形成された第１の通信経路を介して前記クライアント端末と接続している仮想マシンを、前記第２のサーバに移動する旨を前記第１のサーバに対して指示した後、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了する前に、前記第１の通信装置と前記第３の通信装置との間に第２の通信経路を生成し、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了した際に前記第１の通信装置および前記第２の通信装置の経路情報を変更する機能を具備することを特徴とする。

本通信システムは、ＶＭの移動が完了する前にＶＭの移動先に予め通信経路を生成することでＶＭの移動完了に素早く対応でき、かつ、ＶＭの移動完了後に移動前の通信経路を削除することでＶＭの移動に確実に通信ネットワークが追従することができる。

従って、本発明は移動後のＶＭとクライアント端末の通信が再開されるまでの時間を短縮し、かつ、ＶＭの移動に確実に通信ネットワークが追従することを可能とする通信システムを提供できる。

（請求項２に関する）
本発明に係る通信システムは、
前記仮想マシンを前記第２のサーバに移動する際に、前記第１のサーバに対して制御信号を用いて前記第１の通信装置に前記第２の通信経路を生成するよう指示し、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了した際に制御信号を用いて前記第１の通信装置および前記第２の通信装置の経路情報を変更するよう指示する制御装置を具備することを特徴とする。

本通信システムは、経路の変更に関する指示に制御装置を用いることで、ＶＭの移動開始および完了を正確に通信装置に伝達可能であり、移動後のＶＭとクライアント端末の通信が再開されるまでの時間を短縮し、かつ、ＶＭの移動に確実に通信ネットワークが追従することを可能とする通信システムを提供できる。

（請求項３に関する）
本発明に係る通信システムは、
前記通信ネットワークもしくは第２の通信ネットワークを介して前記第２の通信装置および前記第３の通信装置と第２の通信ネットワークもしくは第３の通信ネットワークとを接続する第４の通信装置を有し、
前記クライアント端末が前記第１の通信経路を介して前記仮想マシンと通信し、さらに前記仮想マシンが前記第２の通信装置と前記第４の通信装置とを介して通信を行うときに、前記仮想マシンを、前記第２のサーバに移動する旨を前記第１のサーバに対して指示した後、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了する前に、前記第２の通信経路および前記第３の通信装置と前記第４の通信装置との間に第３の通信経路を生成し、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了した際に前記第１の通信装置、前記第２の通信装置および前記第４の通信装置の経路情報を変更する機能を具備することを特徴とする。

本通信システムは、ＶＭの移動が完了する前にＶＭの移動先に予め通信経路を生成することで、ＶＭの移動完了に素早く対応でき、かつ、ＶＭの移動完了後に移動前の通信経路を削除することでＶＭの移動に確実に通信ネットワークが追従することができる。

（請求項４に関する）
本発明に係る通信システムは、
前記仮想マシンを、前記第２のサーバに移動する旨を前記第１のサーバに対して指示した後、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了する前に、制御信号を用いて前記第２の通信経路および前記第３の通信経路を生成するよう指示し、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了した際に制御信号を用いて前記第１の通信装置、前記第２の通信装置および前記第４の通信装置の経路情報を変更するよう指示する制御装置を有することを特徴とする。

（請求項５に関する）
本発明に係る通信システムは、
前記制御装置は、前記第１の通信装置、前記第２の通信装置、前記第３の通信装置、前記第４の通信装置への制御信号の到達時間を測定し、制御信号が前記通信装置に同時に到達するよう制御信号の送信時刻を制御する機能を有することを特徴とする。

本通信システムは、制御装置が各通信装置への制御信号の到達時間を制御することで、ＶＭの移動開始および完了を正確に通信装置に伝達可能であり、移動後のＶＭとクライアント端末の通信が再開されるまでの時間を短縮し、かつ、ＶＭの移動に確実に通信ネットワークが追従することを可能とする通信システムを提供できる。

（請求項６に関する）
本発明に係る通信システムは、
前記仮想マシンを、前記第２のサーバに移動する旨を前記第１のサーバに対して指示した後、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了する前に、前記第２の通信経路および前記第３の通信経路を生成した後、前記第１の通信装置は前記第１の通信経路および前記第２の通信経路に対して前記仮想マシン宛のトラヒックを送出し、前記第４の通信装置は前記第３の通信経路および前記第２の通信装置と前記第４の通信装置との間に生成される第４の通信経路に対して前記仮想マシン宛のトラヒックを送出し、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了した際に前記第１の通信装置、前記第２の通信装置および前記第４の通信装置の経路情報を変更することを特徴とする。

本通信システムは、ＶＭ移動の過渡期に両経路ともに同じパケットを送出することで、移動後のＶＭとクライアント端末の通信が再開されるまでの時間を短縮することを可能とする通信システムを提供できる。

（請求項７に関する）
本発明に係る通信システムは、
前記仮想マシンを、前記第２のサーバに移動する旨を前記第１のサーバに対して指示した後、前記仮想マシン宛のトラヒックを保持し、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了した際に前記第１の通信装置もしくは前記第２の通信装置および前記第４の通信装置もしくは前記第２の通信装置に前記トラヒックを送出するバッファ機能部を具備することを特徴とする。

本通信システムは、ＶＭ移動が開始されるとバッファ機能部がパケットを保持することで、移動後のＶＭとクライアント端末の通信が再開されるまでの時間のパケットロスを防止する通信システムを提供できる。

（請求項８に関する）
本発明に係る通信方法は、
データセンタ内のサーバ上で稼働する仮想マシンと当該仮想マシンが提供するネットワークサービス機能を利用するクライアント端末とを、経路情報に従ってトラヒックを転送する通信装置を含んで構成される通信ネットワークを介して接続する通信方法であって、
前記通信ネットワークは、クライアント端末を接続する第１の通信装置と、第１のデータセンタ内の第１のサーバを接続する第２の通信装置と、第２のデータセンタ内の第２のサーバを接続する第３の通信装置とを少なくとも含んで構成され、
制御装置が、前記第１のサーバ上で稼働し前記第１の通信装置と前記第２の通信装置との間に形成された第１の通信経路を介して前記クライアント端末と接続している仮想マシンを、前記第２のサーバに移動する旨を前記第１のサーバに対して指示する工程と、
制御装置が、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了する前に前記第１の通信装置と前記第３の通信装置との間に第２の通信経路を生成する工程と、
制御装置が、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了した際に前記第１の通信装置および前記第２の通信装置の経路情報を変更する工程とを少なくとも含むことを特徴とする。

本発明方法は移動後のＶＭとクライアント端末の通信が再開されるまでの時間を短縮し、かつ、ＶＭの移動に確実に通信ネットワークが追従することを可能とする通信方法を提供できる。

本発明によれば、ＶＭの移動と通信ネットワーク内の通信経路の変更を連動させることで、移動後のＶＭとクライアント端末の通信が再開されるまでの時間を短縮し、かつ、ＶＭの移動に確実に通信ネットワークが追従することを可能とする通信システムを提供することができる。

本発明の通信システムの第１の実施の形態を示す構成図本発明の通信システムの第１の実施の形態の動作を示すシーケンス図本発明の通信システムの第２の実施の形態を示す構成図本発明の通信システムの第２の実施の形態の動作を示すシーケンス図本発明の通信システムの第３の実施の形態を示す構成図本発明の通信システムの第３の実施の形態の動作を示すシーケンス図本発明の通信システムの第４の実施の形態を示す構成図本発明の通信システムの第４の実施の形態の動作を示すシーケンス図

以下、本発明の実施の形態について図面を参照して詳細に記述するが、本発明は以下の実施の形態に制限されるものではない。

＜第１の実施の形態＞
図１は本発明の通信システムの第１の実施の形態を示すもので、図中、１０および２０は第１および第２のデータセンタ、３０はクライアント端末（またはクライアントにサービスを提供する通信端末）、４０は通信ネットワーク、５０は制御装置である。

第１のデータセンタ１０内には第１のサーバ１１が設けられ、第２のデータセンタ２０内には第２のサーバ２１が設けられている。ここで、サーバ１１，２１は、クライアント端末３０に様々なネットワークサービス機能を提供するＶＭを稼働させることができる情報処理装置である。

通信ネットワーク４０は、経路情報に従ってトラヒック（パケット、フレーム）を転送する複数の通信装置、ここではクライアント端末３０を接続する第１の通信装置４１と、第１のデータセンタ１０内の第１のサーバ１１を接続する第２の通信装置４２と、第２のデータセンタ２０内の第２のサーバ２１を接続する第３の通信装置４３とを少なくとも含んで構成されている。

制御装置５０は、ＶＭの管理を行う機能と、各通信装置を制御する機能とを具備するとともに、物理的または論理的な経路で各通信装置４１，４２，４３およびサーバ１１，２１と接続されている。

次に、図２を参照して本第１の実施の形態における動作を説明する。

初期状態では、所定のネットワークサービス機能を提供するＶＭ＃１はサーバ１１に存在し、クライアント端末３０は通信装置４１および通信装置４２を経由してＶＭ＃１と接続されているものとする。

制御装置５０は、サーバ１１，２１にＶＭ＃１の移動を開始する旨通知する（ステップ１０１）とともに通信装置４１に対してクライアント端末３０から前記ＶＭ＃１宛に送出されたパケットを通信装置４２，４３に向かって転送するよう通知する（ステップ１０２）。

なお、前記パケットを通信装置４１から通信装置４２，４３へ転送する際には、通信装置４１から通信装置４２まで、通信装置４１から通信装置４３までに至る通信経路（論理パス）を生成する方法を用いて転送しても良い。

なお、前記ＶＭ＃１からクライアント端末３０に向かって転送されたパケットは、前記ＶＭ＃１がサーバ２１に完全に移動するまで通信装置４２および通信装置４１を経由してクライアント端末３０に至る。

制御装置５０は、前記ＶＭ＃１がサーバ１１からサーバ２１へ完全に移動したことを確認する（ステップ１０３）と、通信装置４１に対して前記ＶＭ＃１宛のパケットを通信装置４２に転送しないよう設定を変更するとともに、通信装置４２に対して前記ＶＭ＃１からクライアント端末３０に向かって転送されるパケットを転送しないよう設定する（ステップ１０４）。

＜第２の実施の形態＞
第２の実施の形態の構成は基本的に図１に示した第１の実施の形態と同様であるが、図３に示すように、クライアント端末３０に対して通信装置４１を介してバッファ機能部６０が接続される点が異なる。なお、バッファ機能部６０は通信装置４１や制御装置５０に内蔵されていても良いし、別の装置であっても良い。またバッファ機能部６０は通信装置４１のみならず、通信装置４２や４３と接続されていても良い。

次に、図４を参照して本第２の実施の形態における動作を説明する。

初期状態では第１の実施の形態と同様、ＶＭ＃１はサーバ１１に存在し、クライアント端末３０は通信装置４１および通信装置４２を経由してＶＭ＃１と接続されているものとする。

制御装置５０は、サーバ１１，２１にＶＭ＃１の移動を開始する旨通知する（ステップ２０１）とともに通信装置４１の前記ＶＭ＃１宛のパケットを通信装置４２，４３に向かって転送することが可能な通経路を設定するよう通知する（ステップ２０２）。さらに、制御装置５０は、通信装置４１に対して、クライアント端末３０から前記ＶＭ＃１宛に転送されるパケットをバッファ機能部６０に転送するよう指示する（ステップ２０３）。ここではステップ２０２、ステップ２０３の順に手順を説明したが、ステップ２０２とステップ２０３の順を逆にしても良い。

制御装置５０は、前記ＶＭ＃１がサーバ１１からサーバ２１へ完全に移動したことを確認する（ステップ２０４）と、制御装置５０は、バッファ機能部６０に対し、通信装置４１もしくは通信装置４３を介してバッファ機能部６０に蓄積されたパケットが前記ＶＭ＃１宛に転送されるよう指示する（ステップ２０５）。

さらに通信装置４１に対して前記ＶＭ＃１宛のパケットを通信装置４２に転送しないよう設定を変更するとともに、通信装置４２に対して前記ＶＭ＃１からクライアント端末３０に向かって転送されるパケットを転送しないよう設定する（ステップ２０６）。ここではステップ２０５、ステップ２０６の順に手順を説明したが、ステップ２０５とステップ２０６の順を逆にしても良い。

＜第３の実施の形態＞
第３の実施の形態は基本的に第１の実施の形態と同様の構成であるが、図５に示すように、通信ネットワーク４０または第２の通信ネットワーク４０ｂを介して、第１の通信装置４１および第２の通信装置４２と第２の通信ネットワーク４０ｂもしくは第３の通信ネットワーク４０ｃとを接続する第４の通信装置４４を有しており、制御装置５０は物理的または論理的な経路によって第４の通信装置４４と接続されている点が異なる。

次に、図６を参照して本第３の実施の形態における動作を説明する。

初期状態では、ＶＭ＃１はサーバ１１に存在し、クライアント端末３０は通信装置４１および通信装置４２を経由してＶＭ＃１と接続され、さらに前記ＶＭ＃１に接続された後、通信装置４２を経由して通信装置４４に接続されているものとする。

制御装置５０は、サーバ１１，２１にＶＭ＃１の移動を開始する旨通知する（ステップ３０１）とともに通信装置４１に対してクライアント端末３０から前記ＶＭ＃１宛に送出されたパケットを通信装置４２，４３に向かって転送するよう通知する（ステップ３０２）。

なお、前記パケットを通信装置４１から通信装置４２，４３に転送する際には、通信装置４１から通信装置４２まで、通信装置４１から通信装置４３までに至る通信経路（論理パス）を生成する方法を用いて転送しても良い。

また、制御装置５０は、通信装置４４に対して当該通信装置４４から前記ＶＭ＃１宛に送出されたパケットを通信装置４２，４３に向かって転送するよう通知する（ステップ３０３）。ここではステップ３０２、ステップ３０３の順に手順を説明したが、ステップ３０２とステップ３０３の順を逆にしても良い。

なお、前記パケットを通信装置４４から通信装置４２，４３に転送する際には、通信装置４４から通信装置４２まで、通信装置４４から通信装置４３までに至る通信経路（論理パス）を生成する方法を用いて転送しても良い。

前記ＶＭ＃１からクライアント端末３０に向かって転送されたパケットは、前記ＶＭ＃１がサーバ２１に完全に移動するまで通信装置４２および通信装置４１を経由してクライアント端末３０に至り、前記ＶＭ＃１から通信装置４４に向かって転送されたパケットは、前記ＶＭ＃１がサーバ２１に完全に移動するまで通信装置４２を経由して通信装置４４に至る。

制御装置５０は、前記ＶＭ＃１がサーバ１１からサーバ２１に完全に移動したことを確認する（ステップ３０４）と、通信装置４１に対して前記ＶＭ＃１宛のパケットを通信装置４２に転送しないよう設定を変更するとともに、通信装置４２に対して前記ＶＭ＃１からクライアント端末３０に向かって転送されるパケットを転送しないよう設定する（ステップ３０５）。また、制御装置５０は、通信装置４４に対して当該通信装置４４から前記ＶＭ＃１宛に送出されたパケットを通信装置４２に転送しないよう通知するともに、通信装置４２に対して前記ＶＭ＃１から通信装置４４に向かって転送されるパケットを転送しないよう設定する（ステップ３０６）。ここではステップ３０５、ステップ３０６の順に手順を説明したが、ステップ３０５とステップ３０６の順を逆にしても良い。

また、ステップ３０２とステップ３０３において制御装置５０から通信装置４３に送られる指示をまとめて１つの指示としても良く、ステップ３０５とステップ３０６において制御装置５０から通信装置４２に送られる指示をまとめて１つの指示としても良い。

＜第４の実施の形態＞
第４の実施の形態の構成は基本的に第３の実施の形態と同様であるが、図７に示すように、クライアント端末３０に対して通信装置４１を介してバッファ機能部６０が接続され、通信装置４４に対してバッファ機能部７０が接続される点が異なる。なお、バッファ機能部６０，７０は通信装置４１や通信装置４４あるいは制御装置５０に内蔵されていても良いし、別の装置であっても良く、複数あっても良い。またバッファ機能部６０，７０は通信装置４１，４４のみならず、通信装置４２や４３と接続されていても良い。

次に、図８を参照して本第４の実施の形態における動作を説明する。

初期状態では第３の実施の形態と同様、ＶＭ＃１はサーバ１１に存在し、クライアント端末３０は通信装置４１および通信装置４２を経由してＶＭ＃１と接続され、さらに前記ＶＭ＃１に接続された後、通信装置４２を経由して通信装置４４に接続されているものとする。

制御装置５０は、サーバ１１，２１にＶＭ＃１の移動を開始する旨通知する（ステップ４０１）とともに通信装置４１に対してクライアント端末３０から前記ＶＭ＃１宛に送出されたパケットを通信装置４２，４３に向かって転送するよう通知し（ステップ４０２）、さらにクライアント端末３０から前記ＶＭ＃１宛に転送されるパケットをバッファ機能部６０に転送するよう指示する（ステップ４０３）。

また、制御装置５０は、通信装置４４に対して当該通信装置４４から前記ＶＭ＃１宛に送出されたパケットを通信装置４２，４３に向かって転送するよう通知する（ステップ４０４）とともに通信装置４４から前記ＶＭ＃１宛に転送されるパケットをバッファ機能部７０に転送するよう指示する（ステップ４０５）。ここではステップ４０２、４０３、４０４、４０５の順に手順を説明したが、ステップ４０１の後であれば、各ステップの順を任意の順に変更できる。

制御装置５０は、前記ＶＭ＃１がサーバ１１からサーバ２１に完全に移動したことを確認する（ステップ４０６）と、通信装置４１に対して前記ＶＭ＃１宛のパケットを通信装置４２に転送しないよう設定を変更するとともに、通信装置４２に対して前記ＶＭ＃１からクライアント端末３０に向かって転送されるパケットを転送しないよう設定する（ステップ４０７）。さらに制御装置５０は、バッファ機能部６０に対し、通信装置４１もしくは通信装置４３を介してバッファ機能部６０に蓄積された前記ＶＭ＃１宛のパケットが転送されるよう指示する（ステップ４０８）。

また、制御装置５０は、通信装置４４に対して前記ＶＭ＃１宛のパケットを通信装置４２に転送しないよう設定を変更するとともに、通信装置４２に対して前記ＶＭ＃１から通信装置４４に向かって転送されるパケットを転送しないよう設定する（ステップ４０９）。さらに制御装置５０は、バッファ機能部７０に対し、通信装置４４もしくは通信装置４３を介してバッファ機能部７０に蓄積された前記ＶＭ＃１宛のパケットが転送されるよう指示する（ステップ４１０）。ここではステップ４０７、４０８、４０９、４１０の順に手順を説明したが、ステップ４０６の後であれば、各ステップの順を任意の順に変更できる。

また、ステップ４０２とステップ４０４において制御装置５０から通信装置４３に送られる指示をまとめて１つの指示としても良く、ステップ４０７とステップ４０９において制御装置５０から通信装置４２に送られる指示をまとめて１つの指示としても良い。

＜第５の実施の形態＞
第５の実施の形態の構成は基本的に第１〜第４の実施の形態の構成と同様であるが、制御装置５０は当該制御装置５０から発した制御信号が通信装置４１〜４４に届くまでの時間を測定し、測定結果に応じて各通信装置に同時に制御信号が到達するよう制御信号の送信時間を制御する機能を備える点が異なる。

制御装置５０から発した制御信号が通信装置４１〜４４に届くまでの時間の測定は、制御装置５０から時間測定信号を送出してから前記信号が通信装置にて送り返されるまでの時間を採用する方法や、制御装置５０と各通信装置が定期的にＮＴＰ等で時刻を同期し、測定のタイミングで制御装置５０が通信装置にタイムスタンプを要求する等の方法にて実施することができる。

また、測定は予め設定された間隔で自動で行っても良いし、必要に応じて管理者が実施しても良い。

なお、説明を簡単にするために、各実施の形態では、ＶＭを稼働させることが可能なサーバの台数が２台の場合について説明したが、３台以上であっても良い。また、データセンタの数も２つに限らない。また、各通信装置はＬ３（ＩＰ）装置として説明したが、宛先の識別子を認識し、宛先の識別子に向かって転送することが可能な通信方式であればＬ３装置に限らない。更に前記通信装置は、ルータやスイッチ、サーバのネットワークインターフェースカード（ＮＩＣ）といった物理装置に限らず、仮想ルータ、仮想スイッチ、仮想ＮＩＣ、ＶＭ上で動作する転送インスタンス等の仮想化された転送機能であっても良い。

制御装置５０は、独立した装置である外、いずれかの通信装置の中に内蔵されていても良い。さらに制御装置５０は、ＶＭの管理を行う機能と各通信装置を制御する機能との２つに分かれていても良い。

１０，２０：データセンタ、１１，２１：サーバ、３０：クライアント端末、４０，４０ｂ，４０ｃ：通信ネットワーク、４１，４２，４３，４４：通信装置、５０：制御装置、６０，７０：バッファ機能部。

特開２０１４−４１４１４号公報

Claims

データセンタ内のサーバ上で稼働する仮想マシンと当該仮想マシンが提供するネットワークサービス機能を利用するクライアント端末とを、経路情報に従ってトラヒックを転送する通信装置を含んで構成される通信ネットワークを介して接続する通信システムであって、
前記通信ネットワークは、クライアント端末を接続する第１の通信装置と、第１のデータセンタ内の第１のサーバを接続する第２の通信装置と、第２のデータセンタ内の第２のサーバを接続する第３の通信装置とを少なくとも含んで構成され、
前記第１のサーバ上で稼働し前記第１の通信装置と前記第２の通信装置との間に形成された第１の通信経路を介して前記クライアント端末と接続している仮想マシンを、前記第２のサーバに移動する旨を前記第１のサーバに対して指示した後、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了する前に、前記第１の通信装置と前記第３の通信装置との間に第２の通信経路を生成し、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了した際に前記第１の通信装置および前記第２の通信装置の経路情報を変更する機能を具備する
ことを特徴とする通信システム。
前記仮想マシンを前記第２のサーバに移動する際に、前記第１のサーバに対して制御信号を用いて前記第１の通信装置に前記第２の通信経路を生成するよう指示し、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了した際に制御信号を用いて前記第１の通信装置および前記第２の通信装置の経路情報を変更するよう指示する制御装置を具備する
ことを特徴とする請求項１に記載の通信システム。
前記通信ネットワークもしくは第２の通信ネットワークを介して前記第２の通信装置および前記第３の通信装置と第２の通信ネットワークもしくは第３の通信ネットワークとを接続する第４の通信装置を有し、
前記クライアント端末が前記第１の通信経路を介して前記仮想マシンと通信し、さらに前記仮想マシンが前記第２の通信装置と前記第４の通信装置とを介して通信を行うときに、前記仮想マシンを、前記第２のサーバに移動する旨を前記第１のサーバに対して指示した後、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了する前に、前記第２の通信経路および前記第３の通信装置と前記第４の通信装置との間に第３の通信経路を生成し、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了した際に前記第１の通信装置、前記第２の通信装置および前記第４の通信装置の経路情報を変更する機能を具備する
ことを特徴とする請求項１に記載の通信システム。
前記仮想マシンを、前記第２のサーバに移動する旨を前記第１のサーバに対して指示した後、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了する前に、制御信号を用いて前記第２の通信経路および前記第３の通信経路を生成するよう指示し、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了した際に制御信号を用いて前記第１の通信装置、前記第２の通信装置および前記第４の通信装置の経路情報を変更するよう指示する制御装置を有する
ことを特徴とする請求項３に記載の通信システム。
前記制御装置は、前記第１の通信装置、前記第２の通信装置、前記第３の通信装置、前記第４の通信装置への制御信号の到達時間を測定し、制御信号が前記通信装置に同時に到達するよう制御信号の送信時刻を制御する機能を有する
ことを特徴とする請求項２または４に記載の通信システム。
前記仮想マシンを、前記第２のサーバに移動する旨を前記第１のサーバに対して指示した後、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了する前に、前記第２の通信経路および前記第３の通信経路を生成した後、前記第１の通信装置は前記第１の通信経路および前記第２の通信経路に対して前記仮想マシン宛のトラヒックを送出し、前記第４の通信装置は前記第３の通信経路および前記第２の通信装置と前記第４の通信装置との間に生成される第４の通信経路に対して前記仮想マシン宛のトラヒックを送出し、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了した際に前記第１の通信装置、前記第２の通信装置および前記第４の通信装置の経路情報を変更する
ことを特徴とする請求項１乃至５のいずれかに記載の通信システム。
前記仮想マシンを、前記第２のサーバに移動する旨を前記第１のサーバに対して指示した後、前記仮想マシン宛のトラヒックを保持し、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了した際に前記第１の通信装置もしくは前記第２の通信装置および前記第４の通信装置もしくは前記第２の通信装置に前記トラヒックを送出するバッファ機能部を具備する
ことを特徴とする請求項１乃至５のいずれかに記載の通信システム。
データセンタ内のサーバ上で稼働する仮想マシンと当該仮想マシンが提供するネットワークサービス機能を利用するクライアント端末とを、経路情報に従ってトラヒックを転送する通信装置を含んで構成される通信ネットワークを介して接続する通信方法であって、
前記通信ネットワークは、クライアント端末を接続する第１の通信装置と、第１のデータセンタ内の第１のサーバを接続する第２の通信装置と、第２のデータセンタ内の第２のサーバを接続する第３の通信装置とを少なくとも含んで構成され、
制御装置が、前記第１のサーバ上で稼働し前記第１の通信装置と前記第２の通信装置との間に形成された第１の通信経路を介して前記クライアント端末と接続している仮想マシンを、前記第２のサーバに移動する旨を前記第１のサーバに対して指示する工程と、
制御装置が、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了する前に前記第１の通信装置と前記第３の通信装置との間に第２の通信経路を生成する工程と、
制御装置が、前記仮想マシンの前記第１のサーバから前記第２のサーバへの移動が完了した際に前記第１の通信装置および前記第２の通信装置の経路情報を変更する工程とを少なくとも含む
ことを特徴とする通信方法。