JP2016086225A - ネットワークシステム、ゲートウェイ装置用プログラム及び管理装置用プログラム - Google Patents

Abstract

【課題】ネットワークシステムの設備効率を向上する。【解決手段】端末が送受信するデータを転送するネットワークシステムであって、物理計算機資源を用いた仮想計算機上で動作し、前記端末が通信をするための接続情報を保持するゲートウェイ装置と、前記ゲートウェイ装置を管理する管理装置とを備え、前記管理装置は、前記ゲートウェイ装置の負荷が所定の閾値より高い場合、前記仮想計算機を増設し、前記増設された仮想計算機上で動作するゲートウェイ装置が引き継ぐ端末を決定し、引継元のゲートウェイ装置に前記端末の接続情報の引き継ぎを指示し、前記ゲートウェイ装置は、前記端末の接続情報の引継指示を受信すると、前記端末の引継先のゲートウェイ装置に前記端末の接続情報の引き継ぎを依頼し、前記引継先のゲートウェイ装置との間で前記端末の接続情報を同期する。【選択図】図２

Description

本発明は、ネットワークシステム及びシステムを構成するゲートウェイ装置用のプログラム、管理装置用のプログラムに関する。

移動体通信網において、従来は携帯電話機によるデータ通信の割合が多く、制御プレーンの負荷よりユーザプレーンの負荷が高かった。そのため、ゲートウェイ装置はユーザプレーン負荷のピーク時に端末が収容できるように設計されていた。また、ユーザプレーン処理性能に重点を置いた装置が開発されていた。さらに、従来の移動通信網では各装置が専用のハードウェアを用いていたことから、装置の増設及び減設は長期的な負荷統計に基づいて決定され、装置閉塞などの準備なども含めて長時間（例えば、日単位）で行っている。

この技術分野の背景技術として、特開２０１０−６３０２２号公報（特許文献１）、非特許文献１がある。特開２０１０−６３０２２号公報（特許文献１）には、制御プレーンとユーザプレーンとを分離したアクセスゲートウェイ装置の冗長化構成が開示されている。また、ＮＥＣ Ｖｉｒｔｕａｌｉｚｅｄ Ｅｖｏｌｖｅｄ Ｐａｃｋｅｔ Ｃｏｒｅ−ｖＥＰＣ（非特許文献１）には、ゲートウェイ装置を構成する仮想マシンの各々に制御プレーン又はユーザプレーンを割り当て、仮想マシンを動的に増設及び減設する構成が開示されている。

特開２０１０−６３０２２号公報

NEC Virtualized Evolved Packet Core - vEPC，http://www.nec.com/en/global/solutions/nsp/nfv/doc/vEPC_WP.pdf，２０１４年２月

モバイルネットワークでは、ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）やＭ２Ｍ（Ｍａｃｈｉｎｅ ｔｏ Ｍａｃｈｉｎｅ）の普及によって、短時間の（データ量が少ない）通信が増加することから、ユーザプレーン（Ｕ−Ｐｌａｎｅ）の負荷と制御プレーン（Ｃ−Ｐｌａｎｅ）の負荷の割り合いが時間的に著しく変動することが予想される。例えば、夜間にセンサ装置がサーバに一斉に接続することがある。さらに、朝の通勤時間帯に交通機関の乗客が保有している端末がハンドオーバを行うなどによって、Ｕ−Ｐｌａｎｅの負荷はそれほど増加しなくても、Ｃ−Ｐｌａｎｅの負荷が増加することがある。

このように、ＩｏＴやＭ２Ｍは制御プレーン負荷が高いトラフィックモデルであり、従来のモバイルコアネットワークでは、制御プレーンの負荷のピークに合わせてゲートウェイ装置を設置する必要がある。この場合、制御プレーンの負荷のピーク時はユーザプレーンのリソースが余剰となり、ユーザプレーンの負荷のピーク時は制御プレーンのリソースが余剰となり、設備効率が悪い。そのため、今後増大するトラフィックに対応するため、設備効率の向上が課題となっている。

従来はユーザのセッションをＰＧＷ（Ｐａｃｋｅｔ Ｄａｔａ Ｇａｔｅｗａｙ）間で移動することができず、ユーザの通信の開始時にユーザが収容されるＰＧＷを割り当てるのみであった。このため、制御プレーン用とユーザプレーン用とでハードウェアリソースの割り当てを動的に変更することができれば、設置されるハードウェア装置の数を減らすことができ、設備効率が向上する。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、端末が送受信するデータを転送するネットワークシステムであって、物理計算機資源を用いた仮想計算機上で動作し、前記端末が通信をするための接続情報を保持するゲートウェイ装置と、前記ゲートウェイ装置を管理する管理装置とを備え、前記管理装置は、前記ゲートウェイ装置の負荷が所定の閾値より高い場合、前記仮想計算機を増設し、前記増設された仮想計算機上で動作するゲートウェイ装置が引き継ぐ端末を決定し、引継元のゲートウェイ装置に前記端末の接続情報の引き継ぎを指示し、前記ゲートウェイ装置は、前記端末の接続情報の引継指示を受信すると、前記端末の引継先のゲートウェイ装置に前記端末の接続情報の引き継ぎを依頼し、前記引継先のゲートウェイ装置との間で前記端末の接続情報を同期する。

本発明の代表的な実施の形態によれば、ネットワークシステムの構成を短時間で変更して、設備効率を向上することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

本実施例のネットワークシステムの構成を説明する図である。 本実施例のネットワークシステムの詳細な構成を説明する図である。 本実施例のネットワークシステムと上位管理装置との接続を説明する図である。 本実施例のＰＧＷのハードウェア構成を説明する図である。 本実施例のＰＧＷをハイパーバイザ方式で仮想化した場合の論理構成を説明する図である。 制御プレーン用仮想ＰＧＷに格納される制御プレーン用分散ＫＶＳ型データベースの構成例を説明する図である。 ユーザプレーン用仮想ＰＧＷに格納されるユーザプレーン用分散ＫＶＳ型データベースの構成例を説明する図である。 過去の統計に基づいて制御プレーン用仮想ＰＧＷを増設する処理のシーケンス図である。 負荷統計が閾値を超過したことによってユーザプレーン用仮想ＰＧＷを増設する処理のシーケンス図である。 負荷統計が閾値より小さい場合に制御プレーン用仮想ＰＧＷを減設する処理のシーケンス図である。 物理リソースを確保する場合にユーザプレーン用仮想ＰＧＷを減設する処理のシーケンス図である。 仮想ＰＧＷを増設又は減設する処理のフローチャートである。 仮想ＰＧＷを増設又は減設する処理のフローチャートである。 仮想ＰＧＷを増設する処理のフローチャートである。 仮想ＰＧＷを減設する処理のフローチャートである。 本実施例の管理装置のハードウェア構成を説明する図である。 本実施例のＰＧＷをコンテナ方式で仮想化した場合の論理構成を説明する図である。

図１は、本実施例のネットワークシステムの構成の概要を説明する図である。

本実施例のネットワークは、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）ネットワークであり、基地局（ｅＮＢ（ｅｖｏｌｖｅｄ Ｎｏｄｅ Ｂ））２００、モバイル管理エンティティ（ＭＭＥ（Ｍｏｂｉｌｉｔｙ Ｍａｎａｇｅｍｅｎｔ Ｅｎｔｉｔｙ））３００、サービングゲートウェイ（ＳＧＷ（Ｓｅｒｖｉｎｇ Ｇａｔｅｗａｙ））４００及びパケットデータゲートウェイ（ＰＧＷ）５００を有する。

ｅＮＢ２００は、１又は複数の携帯電話端末（例えば、ＵＥ（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ））１００を収容する基地局装置である。

ＭＭＥ３００は、１又は複数のｅＮＢ２００を収容し、ｅＮＢ２００に収容される各ＵＥ１００に対するＬＴＥ通信を管理及び制御する通信装置である。

ＳＧＷ４００は、ＬＴＥの回線を収容するサービングゲートウェイ装置である。

ＰＧＷ５００は、ネットワークシステム（モバイルコアネットワーク）外のパケットデータネットワーク（ＰＤＮ（Ｐａｃｋｅｔ Ｄａｔａ Ｎｅｔｗｏｒｋ））６００との接続点となるパケットデータゲートウェイ装置である。ＰＧＷ５００は、ＵＥ１００に割り当てるＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスを管理し、ユーザが使用したパケット数の計数などの課金用データを収集する。また、ＰＧＷ５００は、ユーザデータのＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）を制御する機能や、パケットフィルタリング機能を有してもよい。

ＭＭＥ３００、ＳＧＷ４００及びＰＧＷ５００は、１又は複数のＥＰＣ（Ｅｖｏｌｖｅｄ Ｐａｃｋｅｔ Ｃｏｒｅ）装置８００に収容されてもよい。

本実施例のネットワークシステムでは、制御データを転送する制御プレーン（Ｃ−Ｐｌａｎｅ）、ユーザデータを転送するユーザプレーン（Ｕ−Ｐｌａｎｅ）、と管理データを転送する管理プレーンを用いてデータが転送される。

図２は、本発明の実施例のネットワークシステムの詳細な構成を説明する図である。

ＰＧＷ５００は、複数の制御プレーン用仮想ＰＧＷ（ｖＰＧＷ（Ｃ））５１０−１〜５１０−Ｍと、制御プレーン用負荷分散装置（ｖＰＧＷ ＬＢ）５２０と、複数のユーザプレーン用仮想ＰＧＷ（ｖＰＧＷ（Ｕ））５３０−１〜５３０−Ｎと、ユーザプレーン用負荷分散装置（ｖＰＧＷ ＬＢ）５４０とを有する。また、ＰＧＷ５００は、管理装置５５０に接続されている。すなわち、ＰＧＷ５００は、制御プレーン用仮想ＰＧＷ５１０−１〜５１０−Ｍと、ユーザプレーン用仮想ＰＧＷ５３０−１〜５３０−Ｎとに分かれて構成されている。ＰＧＷ５００を構成するこれらの装置は、一つ又は複数の物理リソースから仮想的に構成された仮想計算機上に構築される。管理装置５５０は、ＰＧＷ５００を管理する。なお、複数の制御プレーン用仮想ＰＧＷ５１０−１〜５１０−Ｍを説明上分ける必要がない場合は、制御プレーン用仮想ＰＧＷ５１０と称する。同様に、複数のユーザプレーン用仮想ＰＧＷ５３０−１〜５３０−Ｍを説明上分ける必要がない場合は、ユーザプレーン用仮想ＰＧＷ５３０と称する。また、管理装置５５０はＰＧＷ５００に含まれてもよい。

ＰＧＷ５００はＵＥ１００とＰＤＮ６００とを接続する際に必要となるＵＥ１００とＰＤＮ６００との接続関係の情報である接続情報を保持し、接続情報をユーザプレーンパケットの転送処理に用いる。接続情報は制御プレーン用のセッション情報（ＵＥ１００がＰＤＮ６００との一連の通信を行うために必要となる接続関係の情報）とユーザプレーン用の通信経路情報（ＵＥ１００がＰＤＮ６００との一連の通信を行う際の通信経路の情報）で構成されている。ＵＥ１００がネットワークシステムに接続すると制御プレーン用仮想ＰＧＷ５１０はセッション情報を生成し、セッション情報を基にユーザプレーンでの転送に必要な情報を通信経路情報として生成し、通信経路情報をユーザプレーン用仮想ＰＧＷ５３０に通知する。

制御プレーン用仮想ＰＧＷ５１０は、制御プレーンで転送される制御データ処理する。

制御プレーン用仮想ＰＧＷ５１０は分散ＫＶＳ（Ｋｅｙ−Ｖａｌｕｅ Ｓｔｏｒｅ）型のデータベース５１５を有し、ユーザのセッション情報をデータベース５１５に格納する。なお、データベース５１５は、インメモリ分散ＫＶＳ型であると望ましい。データベース５１５が、分散ＫＶＳ型で構成されているので、近隣の制御プレーン用仮想ＰＧＷ５１０との間でデータをコピーすることにより同期して、複数の制御プレーン用仮想ＰＧＷ５１０が同じユーザのデータを保持するように構成されている。このため、仮想ＰＧＷ５１０の増設及び減設時に、データを転送するための情報の引き継ぐことができる。そして、ゲートウェイ装置増設による分単位での負荷分散や、セッションの切断を伴わない分単位での減設が可能となり、負荷状況に応じてシステムの構成を柔軟に変更し余剰リソースを削減することで設備効率を向上させることができる。

負荷分散装置５２０は、制御プレーン用仮想ＰＧＷ５１０の前段に配置される。負荷分散装置５２０は、制御プレーン用仮想ＰＧＷ５１０にＵＥ１００がＰＤＮ６００との一連の通信を行うために必要となる接続関係であるセッションを割り当て、入力されるパケットを振り分けることによって、各制御プレーン用仮想ＰＧＷ５１０の負荷を制御する。

負荷分散装置５２０は、制御プレーン用仮想ＰＧＷ５１０を一つのＩＰアドレスを有する一つの装置として他の装置（例えば、ＳＧＷ４００）に見せるので、制御プレーン用仮想ＰＧＷ５１０の増設及び減設の影響は他の装置に及ばない。

ユーザプレーン用仮想ＰＧＷ５３０は、ユーザプレーンで転送されるユーザデータを処理する。

ユーザプレーン用仮想ＰＧＷ５３０は分散ＫＶＳ型のデータベース５３５を有し、ユーザのセッションデータをデータベース５３５に格納する。なお、データベース５３５は、インメモリ分散ＫＶＳ型であると望ましい。データベース５３５は、分散ＫＶＳ型で構成されているので、近隣のユーザプレーン用仮想ＰＧＷ５３０との間でデータを同期して、複数のユーザプレーン用仮想ＰＧＷ５３０が同じユーザのデータを保持するように構成されている。このため、仮想ＰＧＷ５３０の増設及び減設時に、データを転送するための情報の引き継ぐことができる。そして、ゲートウェイ装置増設による分単位での負荷分散や、セッションの切断を伴わない分単位での減設が可能となり、負荷状況に応じてシステムの構成を柔軟に変更し余剰リソースを削減することで設備効率を向上させることができる。

負荷分散装置５４０は、ユーザプレーン用仮想ＰＧＷ５３０の前段に配置される。負荷分散装置５４０は、ユーザプレーン用仮想ＰＧＷ５３０にセッションを割り当て、入力されるパケットを振り分けることによって、各ユーザプレーン用仮想ＰＧＷ５３０の負荷を制御する。

負荷分散装置５４０は、ユーザプレーン用仮想ＰＧＷ５３０を一つのＩＰアドレスを有する一つの装置として他の装置（例えば、ＳＧＷ４００）に見せるので、ユーザプレーン用仮想ＰＧＷ５３０の増設及び減設の影響は他の装置に及ばない。

複数の制御プレーン用仮想ＰＧＷ５１０−１〜５１０−Ｍと、複数のユーザプレーン用仮想ＰＧＷ５３０−１〜５３０−Ｎとは、各々が、全ての組み合わせにおいて（すなわち、フルメッシュで）管理プレーンにより接続されており、どの制御プレーン用仮想ＰＧＷ５１０でも、全てのユーザプレーン用仮想ＰＧＷ５３０を制御することができる。

管理装置５５０は、物理リソースから複数の仮想計算機を生成する計算機である。また、管理装置５５０は、管理プレーンを通じて仮想計算機（ｖＰＧＷ（Ｃ）、ｖＰＧＷ（Ｕ））を増設したり、減設する。

管理装置５５０は、図３に示すように、管理プレーンにより上位管理装置７００と接続されている。上位管理装置７００は、例えば、システム間が連携するように制御するオーケストレータや、ネットワークシステムの管理者が使用する管理者端末である。

同様に、ＳＧＷ４００を仮想計算機で構成する場合、仮想ＳＧＷ４１０を管理する管理装置４５０を設ける。なお、管理装置４５０はＳＧＷ４００に含まれてもよい。さらに、ＭＭＥ３００を仮想計算機で構成する場合、仮想ＭＭＥ３１０を管理する管理装置３５０を設ける。なお、管理装置３５０ＭＭＥ３００に含まれてもよい。上位管理装置７００は、管理装置４５０及び管理装置３５０と管理プレーンを介して接続される。

また、上位管理装置７００は、本ネットワークシステムの外部に設けられる外部システムである緊急地震速報システム７１０と接続されており、緊急地震速報システム７１０から地震速報を受信する。上位管理装置７００は、後述するように、緊急地震速報によって、トラフィックの増加を予測する。

図１５は、本実施例の管理装置５５０のハードウェア構成を説明する図である。

管理装置５５０を構成するための計算機、すなわち、物理リソースは、プロセッサ（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５０３と、補助記憶装置１５０４と、通信インターフェース１５０５とを含む。ＲＡＭ１５０３に格納されたプログラムをプロセッサ１５０１が実行することによって、管理装置５５０の機能を実現する。

プロセッサ１５０１は、ＲＡＭ１５０３に格納されたプログラムを実行する処理装置である。

ＲＯＭ１５０２は、不変のプログラム（例えば、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ））などを格納する。ＲＡＭ１５０３は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、補助記憶装置１５０４に格納されたプログラム及びプログラムの実行時に使用されるデータを格納する。プログラムの実行時に使用されるデータは、通常は補助記憶装置１５０４に格納されており、必要に応じて補助記憶装置１５０４から読み出されてＲＡＭ１５０３に展開される。

補助記憶装置１５０４は、例えば、磁気記憶装置（ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ））、フラッシュメモリ（ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ））等の大容量かつ不揮発性の記憶装置である。また、補助記憶装置１５０４は、プロセッサ１５０１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置１５０４から読み出されて、ＲＡＭ１５０３にロードされて、プロセッサ１５０１によって実行される。

通信インターフェース１５０５は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。

プロセッサ１５０１が実行するプログラムは、ネットワーク又はリムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）を介して管理装置５５０に提供され、非一時的記憶媒体であるＲＯＭ１５０２又は補助記憶装置１５０４に格納される。このため、管理装置５５０は、リムーバブルメディアからデータを読み込むインターフェースを有してもよい。

ＲＡＭ１５０３にはイベント待機プログラム５５１、統計解析プログラム５５２、警報処理プログラム５５３、上位管理装置通知処理プログラム５５４、スケジュール管理プログラム５５５、仮想ＰＧＷ増減設プログラム５５６、保守者インタフェースプログラム５５７が格納される。

イベント待機プログラム５５１は他装置からの通信やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）からのタイマ満了通知などのイベント通知を待ち受け（図１２Ａの１００１）、受信した通知応じて必要なプログラムを呼び出す（図１２Ａの１００２）。統計解析プログラム５５２は仮想ＰＧＷ５１０、５３０から受信した統計通知をもとに増減設の決定を行う（図１２Ａの１００３、１００５、１００７、図１２Ｂの１０１９）。警報処理プログラム５５３は仮想ＰＧＷ５１０、５３０から受信した警報通知をもとに、増設の決定を行う（図１２Ａの１０１５）。上位管理装置通知処理プログラム５５４は上位管理装置７００からの通知をもとに増減設の決定を行う（図１２Ａの１０１０）。スケジュール管理プログラム５５５はタイマ満了通知をもとに増設や定期処理を行う（図１２Ｂの１０１７、１０１８）。仮想ＰＧＷ増減設プログラム５５６は他プログラムからの指示をもとに仮想ＰＧＷ５１０、５３０の増設または減設を行う（図１３、図１４）。保守者インタフェースプログラム５５７は保守者からの入力を受け付け仮想ＰＧＷ５１０、５３０増設の登録などを行う（図１２Ｂの１０２０）。

図４は、本実施例のＰＧＷ５００のハードウェア構成を説明する図である。

ＰＧＷ５００の仮想計算機を構成するための計算機、すなわち、物理リソースは、プロセッサ（ＣＰＵ）５０１と、ＲＯＭ５０２と、ＲＡＭ５０３と、補助記憶装置５０４と、通信インターフェース５０５とを含む。ＲＡＭ５０３に格納されたプログラムをプロセッサ５０１が実行することによって、ＰＧＷ５００の機能を実現する。

仮想計算機を生成するためのリソースを提供するハードウェアは、１台の物理計算機で構成しても、複数台の物理計算機で構成してもよい。また、物理計算機（ハードウェア）上で動作する仮想計算機の種類及び数は任意である。

プロセッサ５０１は、ＲＡＭ５０３に格納されたプログラムを実行する処理装置である。

ＲＯＭ５０２は、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭ５０３は、ＤＲＡＭのような高速かつ揮発性の記憶素子であり、補助記憶装置５０４に格納されたプログラム及びプログラムの実行時に使用されるデータを格納する。プログラムの実行時に使用されるデータは、通常は補助記憶装置５０４に格納されており、必要に応じて補助記憶装置５０４から読み出されてＲＡＭ５０３に展開される。

補助記憶装置５０４は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置である。また、補助記憶装置５０４は、プロセッサ５０１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置５０４から読み出されて、ＲＡＭ５０３にロードされて、プロセッサ５０１によって実行される。

通信インターフェース５０５は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。

プロセッサ５０１が実行するプログラムは、ネットワーク又はリムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）を介してＰＧＷ５００に提供され、非一時的記憶媒体であるＲＯＭ５０２又は補助記憶装置５０４に格納される。このため、ＰＧＷ５００は、リムーバブルメディアからデータを読み込むインターフェースを有してもよい。

図５は、本実施例のＰＧＷ５００をハイパーバイザ方式で仮想化した場合の論理構成を説明する図である。

ＰＧＷ５００を構成する計算機ではホストＯＳ５０６が動作しており、ホストＯＳ５０６の上ではハイパーバイザ５０７が実行されている。管理装置５５０は、ハイパーバイザ５０７によって仮想計算機（ｖＰＧＷ（Ｃ）、ｖＰＧＷ（Ｕ））を増設したり、減設する。

ハイパーバイザ５０７は、複数の仮想計算機５１０、５２０、５３０、５４０を起動する。管理装置５５０は、起動した仮想計算機上で、仮想ＰＧＷ５１０、５３０及び負荷分散装置５２０、５４０を構成する。

制御プレーン用仮想ＰＧＷ５１０は、ゲストＯＳ５１１、制御プレーン処理プログラム５１２及び分散ＫＶＳ処理プログラム５１３を有する。制御プレーン用仮想ＰＧＷ５１０に割り当てられたプロセッサ５０１が、これらのプログラムを実行する。

ゲストＯＳ５１１は、制御プレーン用仮想ＰＧＷ５１０を構成する仮想計算機（ハードウェア）を動作させる基本ソフトウェアである。制御プレーン処理プログラム５１２は、制御プレーンで転送されるメッセージを作成し、受信したメッセージをチェックし、受信したメッセージに対して返信する。また、制御プレーン処理プログラム５１２は、ユーザプレーンでユーザデータを処理するユーザプレーン用仮想ＰＧＷ５３０をセッション毎に決定し、ユーザデータの転送経路をユーザプレーン用仮想ＰＧＷ５３０に通知する。分散ＫＶＳ処理プログラム５１３は、分散ＫＶＳ型のデータベース５１５のバックアップを作成する。

ユーザプレーン用仮想ＰＧＷ５３０は、ゲストＯＳ５３１、ユーザプレーン処理プログラム５３２及び分散ＫＶＳ処理プログラム５３３を有する。ユーザプレーン用仮想ＰＧＷ５３０に割り当てられたプロセッサ５０１が、これらのプログラムを実行する。

ゲストＯＳ５３１は、ユーザプレーン用仮想ＰＧＷ５３０を構成する仮想計算機（ハードウェア）を動作させる基本ソフトウェアである。ユーザプレーン処理プログラム５３２は、ユーザプレーンで転送されるユーザデータをカプセリング、または、デカプセリングし、ユーザデータを転送する。また、ユーザプレーン処理プログラム５３２は、ユーザが使用したパケット数の計数などの課金用データを収集する。分散ＫＶＳ処理プログラム５３３は、分散ＫＶＳ型のデータベース５３５のバックアップを作成する。

負荷分散装置５２０、５４０は、ゲストＯＳ５２１及びパケット振分処理プログラム５２２を有する。負荷分散装置５２０、５４０に割り当てられたプロセッサ５０１が、これらのプログラムを実行する。

ゲストＯＳ５２１は、負荷分散装置５２０、５４０を構成する仮想計算機（ハードウェア）を動作させる基本ソフトウェアである。パケット振分処理プログラム５２２は、振分テーブル（図示せず）を管理し、各仮想ＰＧＷ５１０、５３０にセッションを割り当て、入力されるパケットを制御することによって、各仮想ＰＧＷ５１０、５３０の負荷を制御する。

次に、ＰＧＷ５００に格納されるデータについて説明する。本実施例の説明では、管理用の情報をテーブル形式で説明するが、管理用の情報は必ずしもテーブルによるデータ構造で表現されていなくてもよく、リスト、ＤＢ（Ｄａｔａｂａｓｅ）、キュー等のデータ構造やディレクトリ構造等その他の方法で表現されてもよい。

図６は、制御プレーン用仮想ＰＧＷ５１０に格納される制御プレーン用分散ＫＶＳ型のデータベース５１５の構成例を説明する図である。制御プレーン用分散ＫＶＳ型のデータベース５１５のエントリは、ＵＥ１００がネットワークシステムに接続すると制御プレーン用仮想ＰＧＷ５１０の制御プレーン処理プログラム５１２が生成する。

データベース５１５は、ＫＥＹ５１５１及びＶＡＬＵＥ５１５２の組によってセッション情報などのデータを格納する。

例えば、ＫＥＹ５１５１の値が、ＵＥ１００の識別情報（ＩＭＳＩ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ））毎の「セッション情報」である場合、ＶＡＬＵＥ５１５２には、当該セッションのＳＧＷ４００のＩＰアドレス、ＳＧＷ４００からＰＧＷ５００へのトンネルの識別情報、ＰＧＷ５００からＳＧＷ４００へのトンネルの識別情報、制御プレーン用仮想ＰＧＷ（ｖＰＧＷ（Ｃ））の識別情報、ユーザプレーン用仮想ＰＧＷ（ｖＰＧＷ（Ｕ））の識別情報、当該セッションのＱｏＳなどの当該セッションを構成するための情報が記録される。

また、例えば、ＫＥＹ５１５１の値が、トンネル終端識別情報（ＴＥＩＤ（Ｔｕｎｎｅｌ Ｅｎｄｐｏｉｎｔ ＩＤ）毎の「ユーザＩＤ」である場合、ＶＡＬＵＥ５１５２には、当該ＵＥ１００の識別情報（ＩＭＳＩ）が記録される。なお、ＴＥＩＤ毎のユーザＩＤは、セッション情報の登録（データベース５１５へのセッション情報のエントリの格納、追加）時に対応するセッション情報のエントリから生成される。ＴＥＩＤ毎のユーザＩＤのエントリは、パケットによっては直接ＩＭＳＩが得られないため、制御プレーン用仮想ＰＧＷ５１０が、セッション情報のエントリを特定する（セッション情報を得る）ためにＴＥＩＤからＩＭＳＩを取得する際に用いられる。

図７は、ユーザプレーン用仮想ＰＧＷ５３０に格納されるユーザプレーン用分散ＫＶＳ型データベース５３５の構成例を説明する図である。

データベース５３５は、ＫＥＹ５３５１及びＶＡＬＵＥ５３５２の組によって通信経路情報、課金統計などのデータを格納する。

例えば、ＫＥＹ５３５１の値が、ＵＥ１００のＩＰアドレス毎の「通信経路情報」である場合、ＶＡＬＵＥ５３５２には、当該通信経路のＳＧＷ４００のＩＰアドレス、ＳＧＷ４００からＰＧＷ５００へのトンネルの識別情報、ＰＧＷ５００からＳＧＷ４００へのトンネルの識別情報、制御プレーン用仮想ＰＧＷ（ｖＰＧＷ（Ｃ））の識別情報、ユーザプレーン用仮想ＰＧＷ（ｖＰＧＷ（Ｕ））の識別情報、当該セッションのＱｏＳなどの当該通信経路を構成するための情報が記録される。

また、例えば、ＫＥＹ５３５１の値が、ＵＥ１００のＩＰアドレス毎の「課金統計」である場合、ＶＡＬＵＥ５３５２には、当該ＵＥ１００の受信データのパケット数、受信データのバイト数、送信データのパケット数、送信データのバイト数などの課金のために必要なデータが記録される。なお、ＩＰアドレス毎の課金統計は、通信経路情報によってパケットを転送した際に転送したバイト数などを計上して格納する。

図８は、過去の統計に基づいて制御プレーン用仮想ＰＧＷ５１０を増設する処理のシーケンス図である。

後述するように、管理装置５５０は、過去のＰＧＷ５００全体の負荷の統計から負荷が高くなる日時を算出し、仮想計算機を増設する日時を予め定め、定められた日時に仮想ＰＧＷ５１０、５３０を増設する（図１２Ｂの１０１９）。増減設シナリオ（保守者が事前設定した日時におけるＰＧＷの増減設）に従って仮想ＰＧＷ５１０、５３０を増設してもよい（図１２Ｂの１０２０）。図８では、制御プレーン用仮想ＰＧＷ５１０を増設する処理を説明する。

まず、管理装置５５０は、過去の統計に基づいて定められた増設日時であるかを判定し（２００１、図１２Ｂの１０１７）、定められた増設日時であれば、仮想ＰＧＷ増設指示（ｖＰＧＷ（Ｃ）増設指示）を物理計算機上のハイパーバイザ５０７に送信し、ハイパーバイザ５０７は、仮想ＰＧＷ増設指示を受けると仮想計算機を起動する（２００２）。仮想計算機は、起動すると、制御プレーン用仮想ＰＧＷ５１０−Ｍ＋１としての動作を開始する。

その後、管理装置５５０は、起動した仮想計算機（仮想ＰＧＷ）５１０−Ｍ＋１に仮想ＰＧＷ増設確認コマンド（ｖＰＧＷ（Ｃ）増設確認コマンド）を送信する（２００３）。

起動した制御プレーン用仮想ＰＧＷ５１０−Ｍ＋１は、仮想ＰＧＷ増設確認コマンドを受信すると、増設完了メッセージを管理装置５５０に送信して、制御プレーン用仮想ＰＧＷ５１０−Ｍ＋１の増設が完了したことを通知する（２００４）。

管理装置５５０は、制御プレーン用仮想ＰＧＷ５１０の負荷が均等になるように、ＵＥ１００を各制御プレーン用仮想ＰＧＷ５１０に割り当てて、一部接続情報の引継指示を送信して一部の接続情報の引き継ぎを移動元（引継元）の制御プレーン用仮想ＰＧＷ５１０に指示する（２００５）。セッションを使用しているＵＥ１００はユーザグループに属しており、管理装置５５０は、同じユーザグループに属するＵＥ１００を一つの制御プレーン用仮想ＰＧＷ５１０に割り当てる。ＵＥ１００のユーザグループへの割り当ては、ラウンドロビンによって、ユーザグループが均等になるように割り当ててもよい。また、ＩｏＴやＭ２ＭのＵＥ１００と通常のＵＥ１００とを異なるユーザグループに属するように、異なる制御プレーン用仮想ＰＧＷ５１０に割り当ててもよい。さらに、加入者情報によってＵＥ１００が異なるユーザグループに属するようにして、異なる制御プレーン用仮想ＰＧＷ５１０に割り当ててもよい。例えば、ベストエフォートユーザと帯域保証ユーザとを異なるユーザグループに属するようにして、トラフィック量が増加したら、帯域保証ユーザを増設される制御プレーン用仮想ＰＧＷ５１０に割り当ててもよい。引継指示には割り当てられたユーザグループおよび制御プレーン用仮想ＰＧＷ５１０の情報が含まれている。なお引継指示に割り当てられたユーザグループおよび制御プレーン用仮想ＰＧＷ５１０の情報を含まずに、指示をうけた移動元（引継元）の制御プレーン用仮想ＰＧＷ５１０が割り当てるユーザグループおよび制御プレーン用仮想ＰＧＷ５１０を決定してもよい。

移動元の制御プレーン用仮想ＰＧＷ５１０は、一部接続情報の引継指示を受信すると、一部接続情報引継依頼を送信して、一部の接続情報の引き継ぎを増設された制御プレーン用仮想ＰＧＷ５１０−Ｍ＋１に依頼する（２００６）。

移動元の制御プレーン用仮想ＰＧＷ５１０と引継先の制御プレーン用仮想ＰＧＷ５１０−Ｍ＋１とは、引き継がれる接続情報を分散ＫＶＳ型データベース５１５間で同期して、引き継がれる接続情報である一部のセッション情報を引き継ぐ（２００７）。引継先の制御プレーン用仮想ＰＧＷ５１０−Ｍ＋１は、引き継がれる一部のセッション情報の同期が完了すると、引き継いだ一部のセッション情報に対応するＴＥＩＤ毎のユーザＩＤを生成して分散ＫＶＳ型データベース５１５に格納する。

引継先の制御プレーン用仮想ＰＧＷ５１０−Ｍ＋１は、制御プレーン用ＰＧＷの割当変更メッセージをユーザプレーン用仮想ＰＧＷ５３０に送信して、引き継いだ一部のセッション情報を通知する（２００８）。

ユーザプレーン用仮想ＰＧＷ５３０は、受信した制御プレーン用ＰＧＷ割当変更通知（制御プレーン用ＰＧＷの割当変更メッセージ）に従って、引継先の制御プレーン用仮想ＰＧＷ５１０−Ｍ＋１が引き継いだ一部のセッション情報を用いて分散ＫＶＳ型データベース５３５を更新し、更新が完了すると、変更完了メッセージを引継先の制御プレーン用仮想ＰＧＷ５１０−Ｍ＋１に送信して分散ＫＶＳ型データベース５３５の更新（変更）が完了したことを通知する（２００９）。

引継先の制御プレーン用仮想ＰＧＷ５１０−Ｍ＋１は、引き継いだ一部のセッション情報を負荷分散装置５２０に送信して、負荷分散装置５２０が管理する振分テーブル（図示せず）の更新を指示する（２０１０）。

負荷分散装置５２０は、振分テーブルの更新の指示に従って振分テーブルを更新し、更新が完了すると、引継先の制御プレーン用仮想ＰＧＷ５１０−Ｍ＋１に振分テーブルの更新完了メッセージを送信して振分テーブルの更新が完了したことを通知する（２０１１）。

引継先の制御プレーン用仮想ＰＧＷ５１０−Ｍ＋１は、更新完了メッセージを受信すると、移動元の制御プレーン用仮想ＰＧＷ５１０にセッション引継完了メッセージを送信して一部のセッション情報の引き継ぎが完了したことを通知する（２０１２）。そして、移動元の制御プレーン用仮想ＰＧＷ５１０は、セッション引継完了メッセージを受信すると、管理装置５５０にセッション引継完了メッセージを送信して一部のセッション情報の引き継ぎが完了したことを通知する（２０１３）。

図８を用いて制御プレーン用仮想ＰＧＷ５１０を増設する処理について説明したが、同様の手順で、過去の統計に基づいてユーザプレーン用仮想ＰＧＷ５３０を増設することができる。

なお、図８に示す処理において、仮想ＰＧＷを増設せずに、シーケンス２００５〜２０１３を実行することによって、既存の仮想ＰＧＷ間で一部のセッション情報を移動して、既存の仮想ＰＧＷ間で負荷を調整することができる。負荷の調整により、特定の仮想ＰＧＷに収容されたユーザの通信品質において、輻輳による通信品質の低下を防ぐことができる。

図９は、負荷統計値が閾値より大きい場合にユーザプレーン用仮想ＰＧＷ５３０を増設する処理のシーケンス図である。

後述するように、管理装置５５０は、ユーザプレーン用ＰＧＷ５３０の負荷統計値が増設用の閾値より大きい場合、ユーザプレーン用仮想ＰＧＷ５３０を増設する。

まず、ユーザプレーン用仮想ＰＧＷ５３０−１〜５３０−Ｎは、負荷の統計情報を管理装置５５０に送信する（２０２１）。

管理装置５５０は、ユーザプレーン用仮想ＰＧＷ５３０の負荷統計値が増設用の閾値より大きいかを判定し（２０２２、図１２Ａの１００５）、負荷統計値が増設用の閾値より大きければ、仮想ＰＧＷ増設指示（ｖＰＧＷ（Ｕ）増設指示）を物理計算機上のハイパーバイザ５０７に送信し、ハイパーバイザ５０７は、仮想ＰＧＷ増設指示を受けると仮想計算機を起動する（２０２３）。仮想計算機は、起動すると、ユーザプレーン用仮想ＰＧＷ５３０−Ｎ＋１としての動作を開始する。

その後、管理装置５５０は、起動した仮想計算機（仮想ＰＧＷ）５３０−Ｎ＋１に仮想ＰＧＷ増設確認コマンド（ｖＰＧＷ（Ｕ）増設確認コマンド）を送信する（２０２４）。

起動したユーザプレーン用仮想ＰＧＷ５３０−Ｎ＋１は、仮想ＰＧＷ増設確認コマンドを受信すると、増設完了メッセージを管理装置５５０に送信して、ユーザプレーン用仮想ＰＧＷ５３０−Ｎ＋１の増設が完了したことを通知する（２０２５）。

管理装置５５０は、ユーザプレーン用仮想ＰＧＷ５３０の負荷が均等になるように、ＵＥ１００を各ユーザプレーン用仮想ＰＧＷ５３０に割り当てて、一部接続情報の引継指示を送信して一部の接続情報の引き継ぎを移動元（引継元）のユーザプレーン用仮想ＰＧＷ５３０に指示する（２０２６）。セッションを使用しているＵＥ１００はユーザグループに属しており、管理装置５５０は、同じユーザグループに属するＵＥ１００を一つのユーザプレーン用仮想ＰＧＷ５３０に割り当てる。ユーザプレーン用仮想ＰＧＷ５３０にユーザグループを割り当てる方法は、図８で前述した方法と同じ方法を採用することができる。引継指示には割り当てられたユーザグループおよびユーザプレーン用仮想ＰＧＷ５３０の情報が含まれている。なお引継指示に割り当てられたユーザグループおよびユーザプレーン用仮想ＰＧＷ５３０の情報を含まずに、指示をうけた移動元（引継元）のユーザプレーン用仮想ＰＧＷ５３０が割り当てるユーザグループおよびユーザプレーン用仮想ＰＧＷ５３０を決定してもよい。

移動元のユーザプレーン用仮想ＰＧＷ５３０は、一部接続情報の引継指示を受信すると、一部接続情報引継依頼を送信して、一部の接続情報の引き継ぎを増設されたユーザプレーン用仮想ＰＧＷ５３０−Ｎ＋１に依頼する（２０２７）。

移動元のユーザプレーン用仮想ＰＧＷ５３０と引継先のユーザプレーン用仮想ＰＧＷ５３０−Ｎ＋１とは、引き継がれる接続情報を分散ＫＶＳ型データベース５３５間で同期して、引き継がれる接続情報である一部の通信経路情報および課金統計を引き継ぐ（２０２８）。

引継先のユーザプレーン用仮想ＰＧＷ５３０−Ｎ＋１は、ユーザプレーン用仮想ＰＧＷの割当変更メッセージを制御プレーン用仮想ＰＧＷ５１０に送信して、引き継いだ一部の通信経路情報および課金統計を通知する（２０２９）。

制御プレーン用仮想ＰＧＷ５１０は、受信したユーザプレーン用仮想ＰＧＷ割当変更通知（ユーザプレーン用仮想ＰＧＷの割当変更メッセージ）に従って、引継先のユーザプレーン用仮想ＰＧＷ５３０−Ｎ＋１が引き継いだ一部の通信経路情報および課金統計を用いて分散ＫＶＳ型データベース５１５を更新し、更新が完了すると、変更完了メッセージを引継先のユーザプレーン用仮想ＰＧＷ５３０−Ｎ＋１に送信して分散ＫＶＳ型データベース５１５の更新（変更）が完了したことを通知する（２０３０）。

引継先のユーザプレーン用仮想ＰＧＷ５３０−Ｎ＋１は、引き継いだ一部の通信経路情報および課金統計を負荷分散装置５４０に送信して、負荷分散装置５４０が管理する振分テーブル（図示せず）の更新を指示する（２０３１）。

負荷分散装置５４０は、振分テーブルの更新の指示に従って振分テーブルを更新し、更新が完了すると、引継先のユーザプレーン用仮想ＰＧＷ５３０−Ｎ＋１に振分テーブルの更新完了メッセージを送信して振分テーブルの更新が完了したことを通知する（２０３２）。

引継先のユーザプレーン用仮想ＰＧＷ５３０−Ｎ＋１は、更新完了メッセージを受信すると、移動元のユーザプレーン用仮想ＰＧＷ５３０にセッション引継完了メッセージを送信して一部の通信経路情報および課金統計の引き継ぎが完了したことを通知する（２０３３）。そして、移動元のユーザプレーン用仮想ＰＧＷ５３０は、セッション引継完了メッセージを受信すると、管理装置５５０にセッション引継完了メッセージを送信して一部の通信経路情報および課金統計の引き継ぎが完了したことを通知する（２０３４）。

図９を用いてユーザプレーン用仮想ＰＧＷ５３０を増設する処理について説明したが、同様の手順で、負荷統計が閾値より大きい場合に制御プレーン用仮想ＰＧＷ５１０を増設することができる。

図１０は、負荷統計値が閾値より小さい場合に制御プレーン用仮想ＰＧＷ５１０を減設する処理のシーケンス図である。

後述するように、管理装置５５０は、制御プレーン用仮想ＰＧＷ５１０の負荷統計値が増設用の閾値より小さい場合、制御プレーン用仮想ＰＧＷ５１０を減設する。

まず、制御プレーン用仮想ＰＧＷ５１０−１〜５１０−Ｍは、負荷の統計情報を管理装置５５０に送信する（２０４１）。

管理装置５５０は、制御プレーン用仮想ＰＧＷ５１０の負荷統計値が減設用の閾値より小さいかを判定し（２０４２、図１２Ａの１００７）、負荷統計値が減設用の閾値より小さければ、全接続情報の引継指示を送信して全ての接続情報を他の制御プレーン用仮想ＰＧＷ５１０−１〜５１０−Ｍ−１が引き継ぐように減設する制御プレーン用仮想ＰＧＷ５１０−Ｍに指示する（２０４３）。管理装置５５０は、制御プレーン用仮想ＰＧＷ５１０の負荷が均等になるように引継先の制御プレーン用仮想ＰＧＷ５１０を決定するとよい。引継指示には決定された引継先の制御プレーン用仮想ＰＧＷ５１０の情報が含まれている。なお引継指示に引継先の制御プレーン用仮想ＰＧＷ５１０の情報を含まずに、指示をうけた移動元（引継元）の制御プレーン用仮想ＰＧＷ５１０が引継先の制御プレーン用仮想ＰＧＷ５１０を決定してもよい。

減設される制御プレーン用仮想ＰＧＷ５１０−Ｍは、全接続情報の引継指示を受信すると、全接続情報引継依頼を送信して、全ての接続情報の引き継ぎを他の制御プレーン用仮想ＰＧＷ５１０−１〜５１０−Ｍ−１に依頼する（２０４４）。

減設される制御プレーン用仮想ＰＧＷ５１０−Ｍと引継先の制御プレーン用仮想ＰＧＷ５１０−１〜５１０−Ｍ−１とは、引き継がれる接続情報である全てのセッション情報を分散ＫＶＳ型データベース５１５間で同期して、全てのセッション情報を引き継ぐ（２０４５）。引継先の制御プレーン用仮想ＰＧＷ５１０−１〜５１０−Ｍ−１は、引き継がれる全てのセッション情報の同期が完了すると、引き継いだ全てのセッション情報に対応するＴＥＩＤ毎のユーザＩＤを生成して分散ＫＶＳ型データベース５１５に格納する。

引継先の制御プレーン用仮想ＰＧＷ５１０−１〜５１０−Ｍ−１は、制御プレーン用仮想ＰＧＷの割当変更メッセージをユーザプレーン用仮想ＰＧＷ５３０に送信して、引き継いだ全てのセッション情報を通知する（２０４６）。

ユーザプレーン用仮想ＰＧＷ５３０は、受信したＰＧＷ割当変更通知（制御プレーン用仮想ＰＧＷの割当変更メッセージ）に従って引継先の制御プレーン用仮想ＰＧＷ５１０−１〜５１０−Ｍ−１が引き継いだ全てのセッション情報を用いて分散ＫＶＳ型データベース５３５を更新し、更新が完了すると、変更完了メッセージを引継先の制御プレーン用仮想ＰＧＷ５１０−１〜５１０−Ｍ−１に送信して分散ＫＶＳ型データベース５３５の更新（変更）が完了したことを通知する（２０４７）。

引継先の制御プレーン用仮想ＰＧＷ５１０−１〜５１０−Ｍ−１は、引き継いだ全てのセッション情報を負荷分散装置５２０に送信して、負荷分散装置５２０が管理する振分テーブル（図示せず）の更新を指示する（２０４８）。

負荷分散装置５２０は、振分テーブルの更新の指示に従って振分テーブルを更新し、更新が完了すると、引継先の制御プレーン用仮想ＰＧＷ５１０−１〜５１０−Ｍ−１に振分テーブルの更新完了メッセージを送信して振分テーブルの更新が完了したことを通知する（２０４９）。

引継先の制御プレーン用仮想ＰＧＷ５１０−１〜５１０−Ｍ−１は、更新完了メッセージを受信すると、減設される制御プレーン用仮想ＰＧＷ５１０−Ｍにセッション引継完了メッセージを送信して全てのセッション情報の引き継ぎが完了したことを通知する（２０５０）。そして、減設される制御プレーン用仮想ＰＧＷ５１０−Ｍは、管理装置５５０にセッション引継完了メッセージを送信して全てのセッション情報の引き継ぎが完了したことを通知する（２０５１）。

管理装置５５０は、セッション引継完了メッセージを受信すると、制御プレーン用仮想ＰＧＷ減設指示（ｖＰＧＷ（Ｃ）減設指示）を制御プレーン用仮想ＰＧＷ５１０−Ｍが起動しているハイパーバイザ５０７に送信して、制御プレーン用仮想ＰＧＷ５１０−Ｍの減設を指示する（２０５２）。

管理装置５５０は、管理装置５５０が管理するリソースプール（図示せず）を参照し、空き物理リソースの増加によって制御プレーン用仮想ＰＧＷ５１０−Ｍの減設の完了を確認する（２０５３）。

図１０を用いて制御プレーン用仮想ＰＧＷ５１０を減設する処理について説明したが、同様の手順で、負荷統計が閾値より小さい場合にユーザプレーン用仮想ＰＧＷ５３０を減設することができる。

図１１は、物理リソースを確保するためにユーザプレーン用仮想ＰＧＷ５３０を減設する処理のシーケンス図である。

後述するように、管理装置５５０は、他の装置を増設するための物理リソースが不足する場合に、必要な物理リソースを確保するために、仮想ＰＧＷを減設する（図１３の１０３２）。図１１では、制御プレーン用仮想ＰＧＷ５１０を増設するために、ユーザプレーン用仮想ＰＧＷ５３０を減設する処理を説明する。

管理装置５５０は、制御プレーン用仮想ＰＧＷ５１０を増設可能な空き物理リソースがないと判定した場合（２０６１、図１３の１０３１）、ユーザプレーン用仮想ＰＧＷ５３０を減設するために、全接続情報の引継指示を送信して全ての接続情報の引き継ぎを減設するユーザプレーン用仮想ＰＧＷ５３０−Ｎに指示する（２０６２）。管理装置５５０は、ユーザプレーン用仮想ＰＧＷ５３０の負荷が均等になるように引継先のユーザプレーン用仮想ＰＧＷ５３０を決定するとよい。引継指示には決定された引継先のユーザプレーン用仮想ＰＧＷ５３０の情報が含まれている。なお引継指示に引継先のユーザプレーン用仮想ＰＧＷ５３０の情報を含まずに、指示をうけた移動元（引継元）のユーザプレーン用仮想ＰＧＷ５３０が引継先のユーザプレーン用仮想ＰＧＷ５３０を決定してもよい。

減設されるユーザプレーン用仮想ＰＧＷ５３０−Ｎは、全接続情報の引継指示を受信すると、全接続情報引継依頼を送信して、全ての接続情報の引き継ぎを他のユーザプレーン用仮想ＰＧＷ５３０−１〜５３０−Ｎ−１に依頼する（２０６３）。

減設されるユーザプレーン用仮想ＰＧＷ５３０−Ｎと引継先のユーザプレーン用仮想ＰＧＷ５３０−１〜５３０−Ｎ−１とは、引き継がれる接続情報である全ての通信経路情報および課金統計を分散ＫＶＳ型データベース５３５間で同期して、全ての通信経路情報および課金統計を引き継ぐ（２０６４）。

引継先のユーザプレーン用仮想ＰＧＷ５３０−１〜５３０−Ｎ−１は、ユーザプレーン用仮想ＰＧＷの割当変更メッセージを制御プレーン用仮想ＰＧＷ５１０に送信して、引き継いだ全ての通信経路情報および課金統計を通知する（２０６５）。

制御プレーン用仮想ＰＧＷ５１０は、受信したＰＧＷ割当変更通知（ユーザプレーン用仮想ＰＧＷの割当変更メッセージ）に従って、引継先のユーザプレーン用仮想ＰＧＷ５３０−１〜５３０−Ｎ−１が引き継いだ全ての通信経路情報および課金統計を用いて分散ＫＶＳ型データベース５１５を更新し、更新が完了すると、変更完了メッセージを引継先のユーザプレーン用仮想ＰＧＷ５３０−１〜Ｎ−１に送信分散ＫＶＳ型データベース５１５の更新（変更）が完了したことを通知する（２０６６）。

引継先のユーザプレーン用仮想ＰＧＷ５３０−１〜５３０−Ｎ−１は、引き継いだ全ての通信経路情報および課金統計を負荷分散装置５４０に送信して、負荷分散装置５４０が管理する振分テーブル（図示せず）の更新を指示する（２０６７）。

負荷分散装置５４０は、振分テーブルの更新の指示に従って振分テーブルを更新し、更新が完了すると、引継先のユーザプレーン用仮想ＰＧＷ５３０−１〜５３０−Ｎ−１に振分テーブルの更新完了メッセージを送信して振分テーブルの更新が完了したことを通知する（２０６８）。

引継先のユーザプレーン用仮仮想ＰＧＷ５３０−１〜５３０−Ｎ−１は、更新完了メッセージを受信すると、減設されるユーザプレーン用仮想ＰＧＷ５３０−Ｎにセッション引継完了メッセージを送信して全ての通信経路情報および課金統計の引き継ぎが完了したことを通知する（２０６９）。そして、減設されるユーザプレーン用仮想ＰＧＷ５３０−Ｎは、管理装置５５０にセッション引継完了メッセージを送信して全ての通信経路情報および課金統計の引き継ぎが完了したことを通知する（２０７０）。

管理装置５５０は、セッション引継完了メッセージを受信すると、ユーザプレーン用仮想ＰＧＷ減設指示（ｖＰＧＷ（Ｕ）減設指示）をユーザプレーン用仮想ＰＧＷ５３０−Ｎが起動しているハイパーバイザ５０７に送信して、ユーザプレーン用仮想ＰＧＷ５３０−Ｎの減設を指示する（２０７１）。

管理装置５５０は、管理装置５５０が管理するリソースプール（図示せず）を参照し、空き物理リソースの増加によってユーザプレーン用仮想ＰＧＷ５３０−Ｎの減設の完了を確認する（２０７２）。その後、管理装置５５０は、制御プレーン用ＰＧＷ５１０を増設する（２０７３）。なお、制御プレーン用ＰＧＷ５１０の増設は、図８で説明したような方法（例えば、図８のステップ２００２以降の処理）によって行うことができる。

図１１を用いてユーザプレーン用仮想ＰＧＷ５３０を減設する処理について説明したが、同様の手順で、物理リソースを確保するために制御プレーン用仮想ＰＧＷ５１０を減設してユーザプレーン用仮想ＰＧＷ５３０を増設することができる。

図１２Ａ、図１２Ｂは、イベントを契機にして仮想ＰＧＷ５１０、５３０を増設又は減設する処理のフローチャートである。図１５にて説明したように、管理装置５５０が有する各プログラムが各処理を実行する。

まず、管理装置５５０は、イベントの受信を待ち受ける（１００１）。管理装置５５０が受信するイベントは、例えば、仮想ＰＧＷ５１０、５３０からの統計通知（統計情報通知）や、上位管理装置７００から通知や、仮想ＰＧＷ５１０、５３０からの警報通知がある。

上位管理装置７００からの通知には、仮想ＰＧＷ５１０、５３０の増設要求と仮想ＰＧＷ５１０、５３０の減設要求とがある。上位管理装置７００は、緊急地震速報が発報されたことによって接続する端末数の増加が予想される場合や、ＳＧＷ４００などの他の装置がＰＧＷ５００の応答が遅延していることを計測した場合や、ＭＭＥ３００の増設により制御プレーンの負荷の増加が予想される場合などに、仮想ＰＧＷの増設を要求する。また、上位管理装置７００は、他の装置（ＳＧＷ４００、ＭＭＥ３００など）を増設するために物理リソースを確保する必要がある場合や、空き物理リソースが予め設定された閾値より不足している場合などに、仮想ＰＧＷ５１０、５３０の減設を要求する。

その後、受信した通知の種類によって処理を振り分ける（１００２）。

受信した通知が仮想ＰＧＷ５１０、５３０からの統計通知である場合（１００２で「仮想ＰＧＷからの統計通知」）、受信した統計通知に含まれる統計値（統計情報）から今後のトラフィックの増減を予想して、仮想ＰＧＷ５１０、５３０を増設又は減設する。統計通知は、仮想ＰＧＷ５１０、５３０が送信したものでなくても、負荷分散装置５２０、５４０が送信したものでもよい。

まず、過去２４時間の統計値から負荷を予想し、負荷が増加するかを判定する（１００３）。そして、直近の負荷が増加すると予想される場合（１００３でＹＥＳ）、仮想ＰＧＷ増設処理を実行する（１００４）。仮想ＰＧＷ増設処理の詳細は、図１３を用いて説明する。一方、直近の負荷が増加しないと予想される場合（１００３でＮＯ）、ステップ１００５に進む。

ステップ１００５では、負荷の統計値（負荷統計値）が増設用閾値より大きいかを判定する。例えば、ＣＰＵ利用率６０％以上が５分以上継続した場合、統計値が増設用閾値より大きいと判定してよい。負荷の情報は、ＣＰＵ利用率の他、ユーザプレーンではセッション数、スループット、転送されるデータ量、緊急地震速報の発報や、制御プレーンでは単位時間当たりのトランザクション数、単位時間当たりの処理数などがある。また、ＳＧＷ４００が、ＰＧＷ５００の状態（例えば、ＳＧＷ４００とＰＧＷ５００との間の再送回数）を管理装置５５０に通知するので、通知されたＰＧＷ５００の状態を負荷の情報として用いてもよい。また、負荷分散装置５２０、５４０が監視している、各仮想ＰＧＷ５１０、５３０に割り当てられるユーザ数を負荷情報として用いてもよい。

負荷統計値が増設用閾値より大きい場合（１００５でＹＥＳ）、仮想ＰＧＷ増設処理を実行する（１００６）。一方、負荷統計値が増設用閾値より小さい場合（１００５でＮＯ）、ステップ１００７に進む。

ステップ１００７では、負荷の統計値が減設用閾値より小さいかを判定する。例えば、ＣＰＵ利用率３０％以下が１時間以上継続した場合、統計値が減設用閾値より小さいと判定してよい。負荷の情報は、ＣＰＵ利用率の他、前述したものを利用することができる。負荷統計値が増設用閾値より小さい場合（１００７でＹＥＳ）、仮想ＰＧＷ減設処理を実行し（１００８）、ステップ１００１に戻り、さらにイベントの受信を待ち受ける。仮想ＰＧＷ減設処理の詳細は、図１４を用いて説明する。一方、負荷統計値が増設用閾値より大きい場合（１００７でＮＯ）、ステップ１００１に戻り、さらにイベントの受信を待ち受ける。

受信した通知が上位管理装置７００からの通知である場合（１００２で「上位管理装置からの通知」）、受信した通知の内容によって処理を振り分ける（１０１０）。上位管理装置７００からの通知の内容が仮想ＰＧＷ増設要求である場合（１０１１で「仮想ＰＧＷ増設要求」）、仮想ＰＧＷ増設処理を実行し（１０１１）、ステップ１００１に戻り、さらにイベントの受信を待ち受ける。上位管理装置７００からの通知の内容が仮想ＰＧＷ減設要求である場合（１０１１で「仮想ＰＧＷ減設要求」）、仮想ＰＧＷ減設処理を実行し（１０１３）、ステップ１００１に戻り、さらにイベントの受信を待ち受ける。上位管理装置７００からの通知の内容が仮想ＰＧＷ５１０，５３０増設要求や減設要求以外の「その他」である場合（１０１０で「その他」）、ＰＧＷを増設又は減設することなく、ステップ１００１に戻り、さらにイベントの受信を待ち受ける。

受信した通知が、仮想ＰＧＷ５１０、５３０からの警報通知である場合（１００２で「仮想ＰＧＷからの警報通知」）、警報内容がリソース不足であるかを判定する（１０１５）。仮想ＰＧＷ５１０、５３０からの警報通知の内容がリソース不足である場合（１０１５でＹＥＳ）、仮想ＰＧＷ増設処理を実行し（１０１６）、ステップ１００１に戻り、さらにイベントの受信を待ち受ける。警報通知の内容がリソース不足ではない場合（１０１５でＮＯ）、仮想ＰＧＷ増設処理を実行することなく、ステップ１００１に戻り、さらにイベントの受信を待ち受ける。

受信した通知が仮想ＰＧＷ５１０，５３０からの統計通知、警報通知、上位管理装置７００からの通知以外の「その他」の通知である場合（１００２で「その他」）、現在日時が登録された増設日時であるかを判定する（１０１７）。そして、現在日時が登録された増設日時である場合（１０１７でＹＥＳ）、仮想ＰＧＷ増設処理を実行し（１０１６）、ステップ１００１に戻り、さらにイベントの受信を待ち受ける。

また、現在日時が登録された増設日時ではない場合（１０１７でＮＯ）、定期処理を実行する日時であるかを判定する（１０１８）。例えば、多くの端末が毎日定時に通信をする場合、当該時刻の前に仮想ＰＧＷ５１０、５３０を増設するとよい。定期処理を実行する日時である場合（１０１８でＹＥＳ）、過去１か月の統計から負荷が高くなる日時を予測し、仮想ＰＧＷ５１０、５３０の増設日時を登録する（１０１９）。具体的には、管理装置５５０は、過去の５分毎の装置全体の統計（スループット、トランザクション／秒、ＰＰＳ（Ｐａｃｋｅｔ Ｐｅｒ Ｓｅｃｏｎｄ）、ＣＰＵ使用率など）から負荷が高まる日時を計算し、仮想ＰＧＷ５１０、５３０を増設する日時を決定する。

さらに、保守者が設定した日時に仮想ＰＧＷ５１０、５３０を増設する登録をする（１０２０）。例えば、スポーツの国際試合がある日時には競技場の周辺で多くの端末が接続を要求する。このため、当該試合の開始前に仮想ＰＧＷ５１０、５３０を増設するとよい。

一方、定期処理を実行する日時ではない場合（１０１８でＮＯ）、ステップ１００１に戻り、さらにイベントの受信を待ち受ける。

図１３は、管理装置５５０が仮想ＰＧＷ５１０、５３０を増設する処理である仮想ＰＧＷ増設処理のフローチャートである。仮想ＰＧＷ５１０、５３０を増設する処理は、図１２Ａ及び図１２Ｂに示す処理のステップ１００４、ステップ１００６、ステップ１０１１及びステップ１０１６で呼び出される。

まず、管理装置５５０は、管理装置５５０が管理するリソースプール（図示せず）に残存しているリソースを参照し、仮想ＰＧＷ５１０、５３０を増設可能な空き物理リソースがあるかを判定する（１０３１）。

空き物理リソースがない場合（１０３１でＮＯ）、仮想ＰＧＷ減設処理を実行し、仮想ＰＧＷ５１０、５３０の増設に必要なリソースを確保する（１０３２）。そして、仮想ＰＧＷ減設処理が成功し、仮想ＰＧＷ５１０、５３０の増設に必要な物理リソースが確保できたかを判定する（１０３３）。

管理装置５５０が仮想ＰＧＷ５１０、５３０の増設が必要と判定した場合、増設用物理リソースが空いていないことがある。その場合、減設が許容されている装置を減設することによって、仮想ＰＧＷ５１０、５３０を増設するための物理リソースを確保する。例えば、制御プレーンの負荷が増加した時にベストエフォートのユーザの片寄せを許容するポリシーが適用されている場合、ユーザプレーン用仮想ＰＧＷ５３０を減設する。

一方、仮想ＰＧＷ５１０、５３０の増設に必要な物理リソースが確保できなかった場合（１０３３でＮＯ）、リソース不足による仮想ＰＧＷ５１０、５３０の増設の失敗を上位管理装置７００に通知して（１０３７）、仮想ＰＧＷ増設処理を終了する。

空き物理リソースがある場合（１０３１でＹＥＳ）、及び、仮想ＰＧＷ５１０、５３０の増設に必要な物理リソースが確保できた場合（１０３３でＹＥＳ）、増設される仮想ＰＧＷ５１０、５３０が制御プレーン用仮想ＰＧＷ５１０であるかを判定する（１０３４）。増設される仮想ＰＧＷ５１０、５３０が制御プレーン用仮想ＰＧＷ５１０である場合（１０３４でＹＥＳ）、確保した物理リソースがある物理計算機上のハイパーバイザ５０７へ制御プレーン用仮想ＰＧＷ５１０の増設を通知して（仮想ＰＧＷ増設指示（ｖＰＧＷ（Ｃ）増設指示））（１０３５）、仮想ＰＧＷ増設処理を終了する。一方、増設される仮想ＰＧＷ５１０、５３０がユーザプレーン用仮想ＰＧＷ５３０である場合（１０３４でＮＯ）、確保した物理リソースがある物理計算機上のハイパーバイザ５０７へユーザプレーン用仮想ＰＧＷ５３０の増設を通知して（仮想ＰＧＷ増設指示（ｖＰＧＷ（Ｕ）増設指示））（１０３６）、仮想ＰＧＷ増設処理を終了する。制御プレーン用仮想ＰＧＷ５１０の増設通知またはユーザプレーン用仮想ＰＧＷ５３０の増設通知を受信したハイパーバイザ５０７は、仮想計算機を起動し、増設通知に従った制御プレーン用仮想ＰＧＷ５１０またはユーザプレーン用仮想ＰＧＷ５３０を構成する。

図１４は、管理装置５５０が仮想ＰＧＷ５１０、５３０を減設する処理である仮想ＰＧＷ減設処理のフローチャートである。仮想ＰＧＷ５１０、５３０を減設する処理は、図１２Ａ及び図１２Ｂに示す処理のステップ１００８及びステップ１０１３で呼び出される。

まず、稼働中の仮想ＰＧＷ５１０、５３０の負荷状況において減設要求の優先度が高いかを判定する（Ｓ１０４１）。例えば、緊急地震速報が発報された場合には、減設対象の仮想ＰＧＷ５１０、５３０の負荷が高くても、今後発生することが予想されるトラフィックのための増設要求を優先すべきである。

減設要求の優先度が低い場合（１０４１でＮＯ）、減設の失敗を上位管理装置７００に通知して（１０４６）、仮想ＰＧＷ減設処理を終了する。一方、減設要求の優先度が高い場合（１０４１でＹＥＳ）、現在設置されている仮想ＰＧＷ５１０、５３０の数が管理装置５５０が管理する予め設定された数より多いかを判定する（１０４２）。

現在設置されている仮想ＰＧＷ５１０、５３０の数が少ない場合（１０４２でＮＯ）、減設の失敗を上位管理装置７００に通知して（１０４６）、仮想ＰＧＷ減設処理を終了する。一方、現在設置されている仮想ＰＧＷ５１０、５３０の数が多い場合（１０４２でＹＥＳ）、減設される仮想ＰＧＷ５１０、５３０が制御プレーン用仮想ＰＧＷ５１０であるかを判定する（１０４３）。

減設される仮想ＰＧＷ５１０、５３０が制御プレーン用仮想ＰＧＷ５１０である場合（１０４３でＹＥＳ）、減設対象の制御プレーン用仮想ＰＧＷ５１０が起動しているハイパーバイザ５０７へ減設を通知して（仮想ＰＧＷ減設指示（ｖＰＧＷ（Ｃ）減設指示））（１０４４）、仮想ＰＧＷ減設処理を終了する。一方、減設される仮想ＰＧＷ５１０、５３０が制御プレーン用仮想ＰＧＷでない場合（１０４３でＮＯ）、減設される仮想ＰＧＷ５１０、５３０はユーザプレーン用仮想ＰＧＷ５３０であるので、減設対象のユーザプレーン用仮想ＰＧＷ５３０が起動しているハイパーバイザ５０７へ減設を通知して（仮想ＰＧＷ減設指示（ｖＰＧＷ（Ｕ）減設指示）（１０４５）、仮想ＰＧＷ減設処理を終了する。制御プレーン用仮想ＰＧＷ５１０の減設通知またはユーザプレーン用仮想ＰＧＷ５３０の減設通知を受信したハイパーバイザ５０７は、減設する制御プレーン用仮想ＰＧＷ５１０またはユーザプレーン用仮想ＰＧＷ５３０として動作する仮想計算機の起動を終了し、使用していた物理リソースを解放する。

以上、各図を用いて、ＰＧＷ５００をハイパーバイザ方式で仮想化した場合の仮想ＰＧＷ５１０、５３０の増設及び減設などについて説明したが、ＰＧＷ５００をコンテナ方式で仮想化して、仮想ＰＧＷ５１０、５３０を増設及び減設することも可能である。

図１６は、本実施例のＰＧＷ５００をコンテナ方式で仮想化した場合の論理構成を説明する図である。

コンテナエンジン５０８は、ＯＳ５０９上で動作し、ハイパーバイザ方式のハイパーバイザ５０７に対応し、仮想計算機の起動や停止を行い、起動した仮想計算機上で仮想ＰＧＷ５１０、５３０、及び負荷分散装置５２０、５４０を構成する。コンテナエンジン５０８は、例えば一般的に知られているＤｏｃｋｅｒ Ｅｎｇｉｎｅが該当する。ハイパーバイザ方式による仮想ＰＧＷ５１０、５３０の増設及び減設などとの違いは、コンテナ方式のコンテナエンジン５０８にてＰＧＷ５００を仮想化することであり、コンテナ方式で仮想化されたＰＧＷ５００は、ハイパーバイザ方式で仮想化されたＰＧＷ５００と同様に仮想ＰＧＷ５１０、５３０の増設及び減設などが可能である。

以上、ＰＧＷ５００をハイパーバイザ方式またはコンテナ方式にて仮想化して仮想ＰＧＷ５１０、５３０の増設及び減設などについて説明したが、同様の方法によって、ＳＧＷ４００やＭＭＥ３００を構成する仮想計算機を増設及び減設し、ＰＧＷ５００と同様に設備効率を向上させることができる。

以上に説明したように、本発明の実施例では、管理装置５５０は、ゲートウェイ装置５１０、５３０の負荷が高い場合に仮想計算機を増設し、増設された仮想計算機上で動作するゲートウェイ装置が引き継ぐ端末１００を決定し、引継元のゲートウェイ装置に前記端末の通信のための接続情報の引き継ぎを指示する。そして、引継元のゲートウェイ装置は、端末の接続情報の引継指示を受信すると、端末の引継先のゲートウェイ装置に端末の接続情報の引き継ぎを依頼し、引継先のゲートウェイ装置との間で前記端末の接続情報を同期する。このため、ユーザの通信の終了を待つことなく、ゲートウェイ装置間でユーザを移動することができ、ユーザの通信に影響を与えずにゲートウェイ装置の負荷を変化させ、ゲートウェイ装置の稼働数を動的に増減することができ、設備効率を向上することができる。

また、端末１００はユーザグループに区分して管理されており、管理装置５５０は、増設された仮想計算機上で動作するゲートウェイ装置が引き継ぐ端末のユーザグループを決定し、前記決定されたグループに属する端末の情報の引き継ぎを引継元のゲートウェイ装置に指示するので、ゲートウェイ装置間の負荷を容易に調整することができ、端末の管理が容易になる。

また、ネットワークシステムは、ゲートウェイ装置に処理すべきパケットを振り分ける負荷分散装置５２０、５４０を備え、引継先のゲートウェイ装置は、引き継いだ端末の接続情報を送信して、パケットの振り分け先の更新を負荷分散装置に指示し、負荷分散装置は、引継先のゲートウェイ装置からの指示に従って、受信したパケットを前記ゲートウェイ装置に振り分けるので、他の装置には、ゲートウェイ装置を一つのアドレスを有する一つの装置として見せることができ、ゲートウェイ装置の増設及び減設の影響を他の装置に及ぼさないシステムを構築でき、増設及び減設時の保守者の作業量を削減することができる。

また、ネットワークシステムはＬＴＥネットワークであって、ゲートウェイ装置は、ＥＰＣ装置内のＰＧＷ又はＳＧＷであるので、端末の接続数によって負荷が急に変化するゲートウェイ装置の稼働数を動的に増減し、輻輳によるユーザの通信品質の低下を防ぐことができる。

また、端末を引き継ぐゲートウェイ装置が制御プレーンのゲートウェイ装置（例えば、ｖＰＧＷ（Ｃ））である場合、制御プレーンの他のゲートウェイ装置に端末のセッション情報の引き継ぎを依頼し、引継先のゲートウェイ装置との間で端末のセッション情報を同期するので、ＫＶＳデータベース上の端末の情報を確実かつ容易に同期することができる。

また、端末を引き継ぐゲートウェイ装置がユーザプレーンのゲートウェイ装置（例えば、ｖＰＧＷ（Ｕ））である場合、ユーザプレーンの他のゲートウェイ装置に端末の通信経路情報の引き継ぎを依頼し、引継先のゲートウェイ装置との間で端末の通信経路情報を同期するので、ＫＶＳデータベース上の端末の情報を確実かつ容易に同期することができる。

また、ゲートウェイ装置は、端末の情報を分散ＫＶＳ型データベースに格納するので、確実かつ容易にデータを同期することができる。

また、ゲートウェイ装置の負荷は、端末が送受信するユーザデータのスループット、ゲートウェイ装置に割り当てられたセッションの数、ゲートウェイ装置が単位時間当たりに転送するデータ量、及び、ゲートウェイ装置が単位時間当たりに処理するトランザクションの数のいずれかを用い、管理装置５５０は、増設された仮想計算機上で動作するゲートウェイ装置が引き継ぐ端末のグループを、ゲートウェイ装置の負荷の差が小さくなるように決定するので、的確に負荷を分散し、特定の仮想ＰＧＷに収容されたユーザの通信品質において、輻輳によるユーザの通信品質の低下を防ぐことができる。

また、管理装置５５０は、ゲートウェイ装置が処理する通信に影響を生じる情報を送信する外部システム７１０に接続されており、外部システムから送信された情報に基づいてゲートウェイ装置が処理する通信の量が増えると予測した場合、仮想計算機を増設するので、外部要因によってもゲートウェイ装置の稼働数を変更することができ、輻輳の発生を抑制し、ユーザの通信品質の低下を防ぐことができる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

１００ 携帯電話端末（ＵＥ）
２００ 基地局（ｅＮＢ）
３００ モバイル管理エンティティ（ＭＭＥ）
３５０ 管理装置
４００ サービングゲートウェイ（ＳＧＷ）
４５０ 管理装置
５００ パケットデータゲートウェイ（ＰＧＷ）
５０１ プロセッサ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ 補助記憶装置
５０５ 通信インターフェース
５０６ ホストＯＳ
５０７ ハイパーバイザ
５０８ コンテナエンジン
５１０ 制御プレーン用仮想ＰＧＷ（ｖＰＧＷ（Ｃ））
５１１ ゲストＯＳ
５１２ 制御プレーン処理プログラム
５１３ 分散ＫＶＳ処理プログラム
５１５ 分散ＫＶＳ型データベース
５２０ 負荷分散装置
５２１ ゲストＯＳ
５２２ パケット振分処理プログラム
５３０ ユーザプレーン用仮想ＰＧＷ（ｖＰＧＷ（Ｕ））
５３１ ゲストＯＳ
５３２ ユーザプレーン処理プログラム
５３３ 分散ＫＶＳ処理プログラム
５３５ 分散ＫＶＳ型データベース
５４０ 負荷分散装置
５５０ 管理装置
５５１ イベント待機プログラム
５５２ 統計解析プログラム
５５３ 警報処理プログラム
５５４ 上位管理装置通知処理プログラム
５５５ スケジュール管理プログラム
５５６ 仮想ＰＧＷ増減設プログラム
５５７ 保守者インタフェースプログラム
７００ 上位管理装置
７１０ 緊急地震速報システム
８００ ＥＰＣ装置

Claims (14)

1. 端末が送受信するデータを転送するネットワークシステムであって、
   物理計算機資源を用いた仮想計算機上で動作し、前記端末が通信をするための接続情報を保持するゲートウェイ装置と、
   前記ゲートウェイ装置を管理する管理装置とを備え、
   前記管理装置は、
   前記ゲートウェイ装置の負荷が所定の閾値より高い場合、前記仮想計算機を増設し、
   前記増設された仮想計算機上で動作するゲートウェイ装置が引き継ぐ端末を決定し、
   引継元のゲートウェイ装置に前記端末の接続情報の引き継ぎを指示し、
   前記ゲートウェイ装置は、
   前記端末の接続情報の引継指示を受信すると、前記端末の引継先のゲートウェイ装置に前記端末の接続情報の引き継ぎを依頼し、
   前記引継先のゲートウェイ装置との間で前記端末の接続情報を同期することを特徴とするネットワークシステム。
2. 請求項１に記載のネットワークシステムであって、
   前記端末はグループに区分して管理されており、
   前記管理装置は、
   前記増設された仮想計算機上で動作するゲートウェイ装置が引き継ぐ端末のグループを決定し、
   前記決定されたグループに属する端末の接続情報の引き継ぎを引継元のゲートウェイ装置に指示することを特徴とするネットワークシステム。
3. 請求項１に記載のネットワークシステムであって、
   前記ゲートウェイ装置に処理すべきパケットを振り分ける負荷分散装置を備え、
   前記引継先のゲートウェイ装置は、引き継いだ端末の接続情報を送信して、パケットの振り分け先の更新を負荷分散装置に指示し、
   前記負荷分散装置は、前記引継先のゲートウェイ装置からの指示に従って、受信したパケットを前記ゲートウェイ装置に振り分けることを特徴とするネットワークシステム。
4. 請求項１に記載のネットワークシステムであって、
   前記ネットワークシステムは、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）ネットワークであって、
   前記ゲートウェイ装置は、ＥＰＣ（Ｅｖｏｌｖｅｄ Ｐａｃｋｅｔ Ｃｏｒｅ）装置内のパケットデータゲートウェイ装置及びサービングゲートウェイ装置の少なくともいずれかであることを特徴とするネットワークシステム。
5. 端末が送受信するデータを転送するゲートウェイ装置用のプログラムであって、
   前記ゲートウェイ装置は、
   プログラムを実行するプロセッサと、前記プログラムを格納するメモリと、他の装置と通信するインターフェースとを有し、
   前記端末が通信をするための接続情報を保持し
   前記プログラムは、
   端末の引継先として指定された他のゲートウェイ装置に前記端末の接続情報の引き継ぎを依頼する手順と、
   前記他のゲートウェイ装置との間で前記端末の接続情報を同期する手順とを前記ゲートウェイ装置に実行させることを特徴とするプログラム。
6. 請求項５に記載のプログラムであって、
   前記端末を引き継ぐゲートウェイ装置が制御プレーン用のゲートウェイ装置である場合、前記端末の接続情報の引き継ぎを依頼する手順において、前記制御プレーン用の他のゲートウェイ装置に前記端末の接続情報の引き継ぎを依頼し、
   前記端末の接続情報を同期する手順において、前記制御プレーン用の端末の接続情報を同期することを特徴とするプログラム。
7. 請求項６に記載のプログラムであって、
   前記制御プレーン用の端末の接続情報は、前記端末が通信をするためのセッションの情報を含むことを特徴とするプログラム。
8. 請求項５に記載のプログラムであって、
   前記端末を引き継ぐゲートウェイ装置がユーザプレーン用のゲートウェイ装置である場合、前記端末の接続情報の引き継ぎを依頼する手順において、前記ユーザプレーン用の他のゲートウェイ装置に前記端末の接続情報の引き継ぎを依頼し、
   前記端末の接続情報を同期する手順において、前記ユーザプレーン用の端末の接続情報を同期することを特徴とするプログラム。
9. 請求項８に記載のプログラムであって、
   前記ユーザプレーン用の端末の接続情報は、前記端末がユーザデータを転送するための通信経路の情報を含むことを特徴とするプログラム。
10. 請求項５に記載のプログラムであって、
    前記ゲートウェイ装置は、前記端末の接続情報を格納する分散ＫＶＳ（Ｋｅｙ−Ｖａｌｕｅ Ｓｔｏｒｅ）型データベースを有し、
    前記プログラムは、前記端末の接続情報を同期する手順において、前記分散ＫＶＳ型データベースに格納された端末の接続情報を同期することを特徴とするプログラム。
11. 請求項５に記載のプログラムであって、
    前記他のゲートウェイ装置に前記端末の接続情報の引き継ぎを依頼するかは、前記ゲートウェイ装置の負荷に従って決定されるものであって、
    前記ゲートウェイ装置の負荷は、前記端末が送受信するユーザデータのスループット、前記ゲートウェイ装置に割り当てられたセッションの数、前記ゲートウェイ装置が単位時間当たりに転送するデータ量、及び、前記ゲートウェイ装置が単位時間当たりに処理するトランザクションの数のいずれかであることを特徴とするプログラム。
12. 端末が送受信するデータを転送するゲートウェイ装置を管理する管理装置用のプログラムであって、
    前記管理装置は、プログラムを実行するプロセッサと、前記プログラムを格納するメモリと、他の装置と通信するインターフェースとを有し、
    前記ゲートウェイ装置は、物理計算機資源を用いた仮想計算機上で動作し、前記端末が通信をするための接続情報を保持し
    前記プログラムは、
    前記ゲートウェイ装置の負荷が所定の閾値より高い場合、前記仮想計算機を増設する手順と、
    前記増設された仮想計算機上で動作するゲートウェイ装置が引き継ぐ端末を決定する手順と、
    前記決定した端末のセッションの引継元のゲートウェイ装置に前記端末の接続情報の引き継ぎを指示する手順とを前記管理装置に実行させることを特徴とするプログラム。
13. 請求項１２に記載のプログラムであって、
    前記ゲートウェイ装置の負荷として、前記端末が送受信するユーザデータのスループット、前記ゲートウェイ装置に割り当てられたセッションの数、前記ゲートウェイ装置が単位時間当たりに転送するデータ量、及び、前記ゲートウェイ装置が単位時間当たりに処理するトランザクションの数の少なくとも一つを監視する手順を前記管理装置に実行させ、
    前記引き継ぐ端末を決定する手順では、前記増設された仮想計算機上で動作するゲートウェイ装置が引き継ぐ端末のグループを、前記ゲートウェイ装置の負荷の差が小さくなるように決定し、
    前記端末の接続情報の引き継ぎを指示する手順では、前記引継元のゲートウェイ装置に前記決定されたグループに属する端末の接続情報の引き継ぎを指示することを特徴とするプログラム。
14. 請求項１２に記載のプログラムであって、
    前記管理装置は、前記ゲートウェイ装置が処理する通信に影響を生じる情報を送信する外部システムに接続されており、
    前記プログラムは、
    前記外部システムから送信された情報によって前記ゲートウェイ装置が処理する通信の量が増えると予測した場合、前記仮想計算機を増設する手順を前記管理装置に実行させることを特徴とするプログラム。

Images