JP2019028869A - パケット処理機能移行システム、サーバ、パケット処理機能移行方法、及びプログラム - Google Patents

Abstract

【課題】パケット処理機能のライブマイグレーションを行う際に、移行元サーバから移行先サーバに転送するデータ量を削減することを可能とする技術を提供する。【解決手段】移行元のサーバ、及び移行先のサーバを備え、前記移行元のサーバにおけるパケット処理機能を前記移行先のサーバに移行させるパケット処理機能移行システムにおいて、前記移行元のサーバは、前記パケット処理機能の移行時に、前記パケット処理機能が処理するデータのうち、移行対象データを前記移行先のサーバに送信し、データパケットが前記移行先のサーバに向かうようにネットワークの経路が切り替えられた後、前記移行元のサーバは、データパケットの到着又は処理の有無に基づいて、前記パケット処理機能を停止する。【選択図】図６

Description

本発明は、仮想マシンのライブマイグレーションに関連するものである。

近年、これまで物理サーバを用いることでしか実現できなかったアプリケーションの稼働をソフトウェアプラットフォーム上で行う仮想マシン技術が発達している。仮想マシンはソフトウェアにより実現され、仮想マシンを稼働させる環境が存在する物理プラットフォーム上で稼働する。

そして、稼働環境を持つサーバが複数存在する場合、仮想マシン内のソフトを稼働させた状態で、仮想マシンを稼働するサーバ（物理サーバ）を別のサーバに変更することができる、という特徴を持つ。このため、仮想マシン内で稼働するアプリケーションを止めることなく、それまで仮想マシンを稼働させていたサーバからバックアップ用のサーバに仮想マシンを移動させることができる。この動作はライブマイグレーションと呼ばれ、サーバの故障時やメンテナンス時にサービスを継続させる手段として用いられる。

ライブマイグレーションを行う際、仮想マシンはデータの処理を継続する。この際、データの更新が発生する。あるデータのマイグレーションが終了した後、データの更新が生じた場合、移行先の仮想マシンでデータの整合性をとるため、更新後のデータもあわせて移行する必要がある。この既存方式の動作は、非特許文献１に記載されている。

近年、ネットワークを用いたサービスをオンデマンドに提供するため、ネットワーク機能をソフトウェア化するトレンドが存在する。ソフトウェア化する機能としては、ルーチング機能、セキュリティ機能、暗号化機能などが挙げられ、その種類は今後増える見込みである。

ソフトウェア化されたネットワーク機能はＶｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｆｕｎｃｔｉｏｎ（ＶＮＦ）と呼ばれる。ＶＮＦで処理するデータはパケットである。１パケット当たりの処理時間は仮想マシンにおけるアプリケーション処理と比べ短いという特徴がある。

また、ＶＮＦでは、個別のパケット処理の間で同期すべきデータは少なく、処理の間に生じた中間データを他のパケット処理で用いることは少ない。反面、暗号化やパケットのペイロード調査など、処理に必要な中間データが多く発生するという特徴を持つ。

C. Clark, et al.,"Live Migration of Virtual Machines," Proc. 2nd conference on symposium on networked systems design & implementation, pp.273-286, 2005

従来の仮想マシンでは、１つのデータに対する処理時間が長いという特徴を持つ。仮想マシンのマイグレーションを自由なタイミングで行うためには、処理を中断し、そこまでの中間データを移行先に送信した上で、移行先で処理を再開する、という方法を採用していた。このとき、全ての中間データを移行する。この仕組みをＶＮＦ実行時に採用すると、次のような問題が生じる。

前述の通り、パケット処理機能におけるパケット処理では１パケットあたりの処理時間は短く、生じる中間データ量が多いという特徴を持つ。これらの中間データを全て移行する場合、移行するデータ量が増加し、移行が完了するまでの時間が長くなり、最悪の場合、移行は完了しない。

本発明は上記の点に鑑みてなされたものであり、パケット処理機能のライブマイグレーションを行う際に、移行元サーバから移行先サーバに転送するデータ量を削減することを可能とする技術を提供することを目的とする。

開示の技術によれば、移行元のサーバ、及び移行先のサーバを備え、前記移行元のサーバにおけるパケット処理機能を前記移行先のサーバに移行させるパケット処理機能移行システムであって、
前記移行元のサーバは、前記パケット処理機能の移行時に、前記パケット処理機能が処理するデータのうち、移行対象データを前記移行先のサーバに送信し、
データパケットが前記移行先のサーバに向かうようにネットワークの経路が切り替えられた後、前記移行元のサーバは、データパケットの到着又は処理の有無に基づいて、前記パケット処理機能を停止する
ことを特徴とするパケット処理機能移行システムが提供される。

開示の技術によれば、パケット処理機能のライブマイグレーションを行う際に、移行元サーバから移行先サーバに転送するデータ量を削減することを可能とする技術が提供される。

本発明の実施の形態におけるシステム構成図である。 本発明の実施の形態におけるシステム構成図である。 サーバの機能構成図である。 装置のハードウェア構成例を示す図である。 パケット処理機能の移行処理の流れを説明するための図である。 パケット処理機能の移行処理の流れを説明するための図である。

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

（実施の形態の概要）
本実施の形態では、サーバ（物理サーバ）上で動作するソフトウェア化されたパケット処理機能をライブマイグレーションによりサーバ間で移行する際の構成及び処理を説明する。本実施の形態では、移行元のサーバは、移行時に移行先のサーバで使用するデータのみを移行するとともに、移行元のサーバにデータパケットが今後到着しないと判定すると移行元のパケット処理機能を停止する処理を実行する。以下、本実施の形態におけるシステム構成、動作内容について説明する。

（システム構成）
図１に、本実施の形態におけるシステム構成例を示す。図１に示すように、本実施の形態に係るシステムは、サーバ１００、３００、スイッチ２００を有し、これらの装置が通信可能にネットワーク接続されている。スイッチ２００は経路制御装置の例である。

各サーバは、ソフトウェアパケット処理機能プラットフォームとしての物理サーバである。図示されるように、サーバ間にはデータプレーン（Ｄ−Ｐｌａｎｅ）ネットワークが構築される。なお、図示する各装置の台数は一例に過ぎない。一般に、多数のサーバと多数のスイッチ（経路制御装置）が備えられる。

図２は、本実施の形態におけるシステム構成の別の例を示す。図２に示す例では、コントローラ４００が備えられ、当該コントローラ４００と、サーバ１００、３００、及びスイッチ２００との間にコントロールプレーン（Ｃ−Ｐｌａｎｅ）ネットワーク（制御用信号の送受信を行う機能）が存在し、コントローラ４００が、Ｃ−Ｐｌａｎｅネットワークを介してこれらの装置の制御を行う。また、コントローラ４００は、パケット処理機能の移行スケジュール（タイミング）、データパケットの経路切り替えスケジュール（タイミング）、処理停止スケジュール（タイミング）などを決定し、決定したタイミングで処理が実行されるように、該当の装置に指示を送る機能を備えてもよい。

なお、図１の構成では、図２の構成におけるコントローラ４００の機能が各サーバに含まれることとしてもよい。

図１、２に示したサーバ１００、３００等のサーバの機能構成として、図３に、サーバ１１の機能構成を示す。

図３に示すように、サーバ１１は、パケット処理機能２１、メモリ管理機能３１、パケット到着監視機能４１、メモリ５１、入出力インタフェース６１を有する。入出力インタフェース６１は、ネットワークを介したデータの入出力を行う。メモリ５１は、データ、プログラム等を格納する。

パケット処理機能２１は、前述したＶＮＦ（ソフトウェア化されたネットワーク機能）の例であり、例えば、ルーチング機能、セキュリティ機能、暗号化機能などを有する。

メモリ管理機能３１は、移行先のサーバ１２（稼働プラットフォーム）へのパケット処理機能の移行の有無を判定基準としてデータを管理する。メモリ管理機能３１は、パケット処理機能２１のメモリ更新を管理するとともに、移行しないデータに関する情報をパケット処理機能２１から受け、該当するデータ以外のデータを移行先のサーバに送信する。「移行しないデータに関する情報」とは、例えば、以下に説明する移行しないデータを書き込んだ仮想メモリアドレスの値である。

メモリ管理機能３１において、移行しないデータに関する情報をパケット処理機能２１から受ける方法として、例えば、パケット処理機能２１内で稼働するパケット処理用アプリケーションがＡＰＩを通じてメモリ管理機能２１に知らせる方法などがある。本実施の形態におけるデータの管理方法は以下のとおりである。

データが記録されているメモリ領域のアドレスは、ページテーブルに記載される場合が多く、本実施の形態でも、ページテーブルに記載されることとしている。ページテーブルは、メモリ管理機能３１により管理されるテーブルであり、パケット処理機能２１が使用する仮想メモリアドレスと、実際にデータが記録されるメモリ５１の領域の物理メモリアドレスとの間を変換するためのテーブルである。

本実施の形態では、移行しないデータを書き込むための仮想メモリアドレス（仮想メモリ領域）が用意される。パケット処理機能２１は、移行しないデータを当該領域のアドレスに記録し、移行するデータを当該領域以外のアドレスに記録する。

メモリ管理機能３１は、移行しないデータを書き込むための仮想メモリアドレスでアクセス可能なデータを移行しないデータと見なし、当該データについては移行先への転送を行わず、当該アドレス以外のアドレスでアクセス可能なデータの移行を行う。

移行しないデータを書き込むための仮想メモリアドレスに記録されるデータの例として、ＩＰＳｅｃの暗号化処理やパケットフォワーディングをするときに生じる一時的なデータや計算データ（中間処理結果と称してもよい）、Ｄｅｅｐ Ｐａｃｋｅｔ Ｉｎｓｐｅｃｔｉｏｎでパケットのペイロードを調査するときに生じる一時的なデータや計算データ（中間処理結果と称してもよい）などがある。そして、移行しないデータを書き込むための仮想メモリアドレスに記録されないデータ（移行対象データ）の例としては、ＮＡＰＴのアドレス変換情報や、サーバへの攻撃パケットの検知をパケットの振る舞いの時系列データで行う場合の時系列データ、そして、ＩｏＴのセンサーからのデータを集約してクラウドで処理を行う場合の集約データとデータ提供元センサーの情報などがある。

図３のパケット到着監視機能４１は、データパケットをトリガーとする処理の有無を判定基準として移行元のパケット処理機能２１を停止する機能を有する。すなわち、パケット到着監視機能４１は、サーバ１１へのデータパケット到着を監視する機能部であり、パケット到着パターンを分析する機能と、それに基づきパケット処理機能２１を停止する機能を有する。

（ハードウェア構成例）
図１、２に示した各装置（サーバ、コントローラ、スイッチ）は、物理マシン上で動作する仮想マシンであってもよいし、図１、２に示した各装置は物理マシンであって、各機能が物理マシン上で動作する仮想マシンにより実行されるソフトウェアであってもよい。また、その他の構成であってもよい。

いずれの場合でも、各装置（サーバ、コントローラ、スイッチのそれぞれ）は、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、当該装置が有する機能は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

図４は、本実施の形態における上記装置のハードウェア構成例を示す図である。図４の装置は、それぞれバスＢで相互に接続されているドライブ装置１５０、補助記憶装置１５２、メモリ装置１５３、ＣＰＵ１５４、インタフェース装置１５５、表示装置１５６、及び入力装置１５７等を有する。

当該装置での処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ又はメモリカード等の記録媒体１５１によって提供される。プログラムを記憶した記録媒体１５１がドライブ装置１５０にセットされると、プログラムが記録媒体１５１からドライブ装置１５０を介して補助記憶装置１５２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１５１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１５２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１５３は、プログラムの起動指示があった場合に、補助記憶装置１５２からプログラムを読み出して格納する。ＣＰＵ１５４は、メモリ装置１５３に格納されたプログラムに従って当該装置に係る機能を実現する。インタフェース装置１５５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１５６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１５７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。

（システムの動作例）
次に、本実施の形態における移行処理の流れについて、図５、図６を参照して説明する。ここでは、移行元のサーバをサーバ１１とし、移行先で起動するサーバをサーバ１２とする。図５は、サーバ１１とサーバ１２を示している。図５に示すように、サーバ１１には、移行前において、パケット処理機能２１、メモリ管理機能３１、及びパケット到着監視機能４１が動作している。また、データフローがスイッチ２００によりサーバ１１に到達し、サーバ１１のパケット処理機能２１により処理が行われる。また、移行後において、サーバ１２では、パケット処理機能２２、メモリ管理機能３２、及びパケット到着監視機能４２が動作する。なお、パケット処理機能２２は、パケット処理機能２１から移行されたものであるが、当該パケット処理機能を利用するユーザから見れば、移行の前後において１つのパケット処理機能が継続して動作しているように見える。移行先のメモリ管理機能３２、及びパケット到着監視機能４２については、予め移行先のサーバ１２に備えられていてもよいし、パケット処理機能２２とともに、移行元から移行されたものであってもよい。

次に、図６を参照して説明する。まず、オペレータが、サーバ１１におけるパケット処理機能２１のサーバ１２への移行（マイグレーション）を決定し、例えば、サーバ１１に対して当該移行の開始を指示する（Ｓ（ステップ）１）。

指示を受けたサーバ１１において、メモリ管理機能３１が、移行対象のデータをサーバ１２へと移行する（Ｓ２）。ここでは、移行するデータとして、前述したように、メモリ管理機能３１は、移行しないデータを書き込むための仮想メモリアドレス以外のアドレスでアクセスするデータを移行する。

そして、サーバ１２におけるメモリ管理機能３２は、サーバ１２でパケット処理機能２２を起動できる状態になった後、予め指定されたタイミングでパケット処理機能２２を起動する（Ｓ３）。サーバ１２でパケット処理機能２２を起動できる状態になったことは、例えば、そのために必要なデータを移行元から全て受け取ったことにより判断できる。

サーバ１１のパケット処理機能２１では、到着するデータパケットを処理するため、データ更新が発生する。移行開始時における移行対象のデータは、サーバ１２でパケット処理を行うために必要なデータである。それらのデータの移行が完了すると、サーバ１１のメモリ管理機能３１は、パケット処理時に発生した更新データを移行先に送信する。移行する更新データは、移行しないデータを書き込むための仮想メモリアドレスに記録されないデータについての更新データである。

更新データの量は、移行先でパケット処理を行うために必要なデータの量と比べ少なく、そのうち、移行完了タイミング（＝経路制御タイミング）を予測できる状態になる（Ｓ４）。例えば、パケット処理機能２１での更新データの残量（未送信の更新データの量）が、ある閾値以下になったことを検知した時点で、移行完了タイミングを予測できる状態になる。移行完了タイミングは、例えば、その状態になった時点から、「更新データの残量を転送データ速度で割って得られた時間」後として決定できる。ただし、これは例であり、他の方法で移行完了タイミングを予測してもよい。

上記の状態になったことの判断及び移行完了タイミングの予測は、移行元のメモリ管理機能３１が行ってもよいし、移行先のメモリ管理機能３２が行ってもよいし、コントローラ４００が行ってもよい。メモリ管理機能３２又はコントローラ４００が判断／予測を行う場合、判断／予測に必要な情報は移行元のメモリ管理機能３１から得られる。

そして、例えば移行先のメモリ管理機能３２は、パケット処理機能２１に向かっていたデータパケットが上記の移行完了タイミングに移行先のパケット処理機能２２に向かうように、データプレーンネットワークの経路制御（切り替え指示）を行う（Ｓ５）。これにより、データプレーン経路が切り替えられる（Ｓ６）。なお、切り替え指示は、コントローラ４００から行ってもよい。すなわち、ＳＤＮにおける、コントローラ４００を介しての経路情報更新や、従来の仮想マシンにおける、ブロードキャストトラヒックを用いた経路更新手段などを用いることで経路制御を行うことが可能である。図６には、データプレーン経路切り替えにより、パケット処理機能２１に向かっていたデータパケット（Ａ）が、移行先のパケット処理機能２２に向かうデータパケット（Ｂ）に切り替えられ、移行先のサーバ１２にデータプレーンのパケットが到着し始めることが示されている。

経路変更が行われた後にも、一定時間、移行元のサーバ１１にデータパケットが到着する場合がある。その原因として、サーバによってパケットの送信者からの距離が異なることなどがあげられる。

そこで、本実施の形態では、移行元のサーバ１１におけるパケット到着監視機能４１は、パケットの到着パターンを調査する。パケット到着監視機能４１は、パケット到着が途絶した後、予め定めたガードタイムを経て、パケット処理機能２１を停止し、そのリソースを開放する（Ｓ７）。つまり、パケット到着監視機能４１は、全てのデータパケットが移行先のパケット処理機能２２に向かっていることを確認した後に、パケット処理機能２１を停止する。また、パケット到着監視機能４１は、データパケットの処理の有無をトリガーとしてパケット処理機能２１を停止することとしてもよい。例えば、パケット到着監視機能４１は、パケット処理機能２１によるデータパケットの処理が無くなった後、予め定めたガードタイムを経て、パケット処理機能２１を停止することとしてもよい。パケット処理機能２１を停止するタイミングは、パケットの到着又は処理が無くなったと判定した後、予め定めたガードタイム後であってもよいし、予め指定された方法で算出したタイミングであってもよい。なお、パケット処理機能２１が停止されるまでは、パケット処理により生じた更新データの移行先への転送は継続される。
以上が本発明の実施例の流れである。

（実施の形態の効果）
本実施の形態では、移行元のサーバは、移行時に移行先のサーバで使用するデータのみを移行するとともに、移行元のサーバにデータパケットが今後到着しないと判定してから移行元のパケット処理機能を停止することとしている。これにより、パケット処理機能の移行に伴い生じるサーバ間の更新データ転送量を削減し、移行を完了させることができるようになる。すなわち、前述した従来技術の課題が解決される。

（実施の形態のまとめ）
以上、説明したように、本実施の形態により、移行元のサーバ、及び移行先のサーバを備え、前記移行元のサーバにおけるパケット処理機能を前記移行先のサーバに移行させるパケット処理機能移行システムであって、
前記移行元のサーバは、前記パケット処理機能の移行時に、前記パケット処理機能が処理するデータのうち、移行対象データを前記移行先のサーバに送信し、
データパケットが前記移行先のサーバに向かうようにネットワークの経路が切り替えられた後、前記移行元のサーバは、データパケットの到着又は処理の有無に基づいて、前記パケット処理機能を停止する
ことを特徴とするパケット処理機能移行システムが提供される。

前記ケット処理機能移行システムは、前記移行元のサーバにおける前記移行対象データの更新データの残量に基づいてデータパケットの経路切り替えタイミングを決定し、当該経路切り替えタイミングにデータパケットが前記移行先のサーバに向かうよう前記経路を切り替えることとしてもよい。

前記移行元のサーバは、前記パケット処理機能にデータパケットが今後到着しないと判定すると、当該パケット処理機能を停止し、そのリソースを開放することとしてもよい。

前記パケット処理機能が処理するデータのうち、移行対象としないデータは、例えば、パケット処理時に使用する一時データ、又は中間処理結果である。

また、本実施の形態により、移行元のサーバ、及び移行先のサーバを備え、前記移行元のサーバにおけるパケット処理機能を前記移行先のサーバに移行させるパケット処理機能移行システムにおいて前記移行元のサーバとして使用されるサーバであって、
前記パケット処理機能の移行時に、前記パケット処理機能が処理するデータのうち、移行対象データを前記移行先のサーバに送信する手段と、
データパケットが前記移行先のサーバに向かうようにネットワークの経路が切り替えられた後、データパケットの到着又は処理の有無に基づいて、前記パケット処理機能を停止する手段と
を備えることを特徴とするサーバが提供される。

前記サーバは、前記パケット処理機能にデータパケットが今後到着しないと判定すると、当該パケット処理機能を停止し、そのリソースを開放する手段を備えることとしてもよい。

また、本実施の形態により、コンピュータを、上記サーバにおける各手段として機能させるためのプログラムが提供される。

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１１、１２、１００、３００ サーバ
２１、２２ パケット処理機能
３１、３２ メモリ管理機能
４１、４２ パケット到着監視機能
５１ メモリ
６１ 入出力インタフェース
１５０ ドライブ装置
１５１ 記録媒体
１５２ 補助記憶装置
１５３ メモリ装置
１５４ ＣＰＵ
１５５ インタフェース装置
１５６ 表示装置
１５７ 入力装置
２００ スイッチ
４００ コントローラ

Claims (8)

1. 移行元のサーバ、及び移行先のサーバを備え、前記移行元のサーバにおけるパケット処理機能を前記移行先のサーバに移行させるパケット処理機能移行システムであって、
   前記移行元のサーバは、前記パケット処理機能の移行時に、前記パケット処理機能が処理するデータのうち、移行対象データを前記移行先のサーバに送信し、
   データパケットが前記移行先のサーバに向かうようにネットワークの経路が切り替えられた後、前記移行元のサーバは、データパケットの到着又は処理の有無に基づいて、前記パケット処理機能を停止する
   ことを特徴とするパケット処理機能移行システム。
2. 前記移行元のサーバにおける前記移行対象データの更新データの残量に基づいてデータパケットの経路切り替えタイミングを決定し、当該経路切り替えタイミングにデータパケットが前記移行先のサーバに向かうよう前記経路を切り替える
   ことを特徴とする請求項１に記載のパケット処理機能移行システム。
3. 前記移行元のサーバは、前記パケット処理機能にデータパケットが今後到着しないと判定すると、当該パケット処理機能を停止し、そのリソースを開放する
   ことを特徴とする請求項１又は２に記載のパケット処理機能移行システム。
4. 前記パケット処理機能が処理するデータのうち、移行対象としないデータは、パケット処理時に使用する一時データ、又は中間処理結果である
   ことを特徴とする請求項１ないし３のうちいずれか１項に記載のパケット処理機能移行システム。
5. 移行元のサーバ、及び移行先のサーバを備え、前記移行元のサーバにおけるパケット処理機能を前記移行先のサーバに移行させるパケット処理機能移行システムにおいて前記移行元のサーバとして使用されるサーバであって、
   前記パケット処理機能の移行時に、前記パケット処理機能が処理するデータのうち、移行対象データを前記移行先のサーバに送信する手段と、
   データパケットが前記移行先のサーバに向かうようにネットワークの経路が切り替えられた後、データパケットの到着又は処理の有無に基づいて、前記パケット処理機能を停止する手段と
   を備えることを特徴とするサーバ。
6. 前記パケット処理機能にデータパケットが今後到着しないと判定すると、当該パケット処理機能を停止し、そのリソースを開放する手段
   を備えることを特徴とする請求項５に記載のサーバ。
7. 移行元のサーバ、及び移行先のサーバを備え、前記移行元のサーバにおけるパケット処理機能を前記移行先のサーバに移行させるパケット処理機能移行システムが実行するパケット処理機能移行方法であって、
   前記移行元のサーバが、前記パケット処理機能の移行時に、前記パケット処理機能が処理するデータのうち、移行対象データを前記移行先のサーバに送信するステップと、
   データパケットが前記移行先のサーバに向かうようにネットワークの経路が切り替えられた後、前記移行元のサーバが、データパケットの到着又は処理の有無に基づいて、前記パケット処理機能を停止するステップと
   を備えることを特徴とするパケット処理機能移行方法。
8. コンピュータを、請求項５又は６に記載のサーバにおける各手段として機能させるためのプログラム。

Images