JP2009176103A - 仮想ネットワークシステムのｎｉｃ接続制御方法とシステムおよびプログラム - Google Patents

Abstract

【課題】仮想ネットワークのロードバランシングによるネットワークインタフェースの有効活用を図る。
【解決手段】ＮＩＣ使用率監視・割当て処理部１１０４は、仮想マシン実行サーバの識別子に、実行している仮想マシンの識別子と各仮想マシンの優先度を対応付け、物理ＮＩＣ使用率監視部は、仮想マシン実行サーバ上の各物理ＮＩＣの使用率が所定上限値より高い物理ＮＩＣを検出し、仮想ＮＩＣ使用率監視部は、物理ＮＩＣ使用率監視部が検出した物理ＮＩＣを搭載した仮想マシン実行サーバが実行している各仮想マシンで優先度が最も低いものを特定し、物理ＮＩＣ使用率が上限値より低い物理ＮＩＣを抽出し、ＮＩＣ切替え部は、仮想ＮＩＣ使用率監視部が抽出した物理ＮＩＣに、同仮想ＮＩＣ使用率監視部が特定した仮想マシンに接続されている仮想ＮＩＣの接続先を切り替える。
【選択図】図１

Description

本発明は、「ＶＭｗａｒｅ（登録商標） ＥＳＸ Ｓｅｒｖｅｒ」等、一つ以上の仮想マシンを実行する仮想マシン実行サーバ環境における、仮想マシンの稼動状態を管理するシステムに係り、特に、仮想ネットワークのロードバランシングによるネットワークインタフェースの有効活用を図るのに好適な技術に関するものである。

従来の仮想マシン実行サーバ環境における仮想ネットワーク技術では、事前モニタリングによって、仮想ＮＩＣの使用率を決定し、物理ＮＩＣの割当を固定的に決定していた。

このような技術では、物理ＮＩＣの割当を固定的に決定しているため、予期しない使用率増加が発生し、一部の物理ＮＩＣで使用率の高い状態となった場合に、使用率の低い物理ＮＩＣに割当を振り分ける等して有効活用することができない。

これに対して、例えば、特許文献１に記載の技術では、仮想マシンのＯＳ上から観測された負荷計測結果と負荷に関する知識に基づき、ネットワーク負荷の変動に応じて自動的に物理ＮＩＣに関するリソース割当変更を行っている。

しかし、この技術では、仮想ＮＩＣを他の物理ＮＩＣへ動的に割当て変更することは考慮していないため、特定の仮想マシンで仮想ＮＩＣ使用率が高くなった場合の調整を行うことはできない。

特開２００３−１５７１７７号公報

解決しようとする問題点は、従来の、物理ＮＩＣの割当を固定的に決定する技術では、予期しない使用率増加が発生し、一部の物理ＮＩＣで使用率の高い状態となった場合でも、使用率の低い物理ＮＩＣを利用することができず、また、従来の、ネットワーク負荷の変動に応じて自動的に物理ＮＩＣに関するリソース割当変更を行う技術では、特定の仮想マシンで仮想ＮＩＣ使用率が高くなった場合に調整を行うことができないので、一つ以上の仮想マシン実行サーバを構成している場合に、物理ＮＩＣ使用率に余裕のある仮想マシン実行サーバが存在している場合でも、その物理ＮＩＣを利用することができない点である。

本発明の目的は、これら従来技術の課題を解決し、仮想ネットワークのロードバランシングによるネットワークインタフェースの有効活用を図ることである。すなわち、物理ＮＩＣの予期しない使用率増加に対応して動的に物理ＮＩＣと仮想ＮＩＣの割当変更を行うことにより、ネットワークインタフェースの有効活用を可能とし、さらに、一つ以上の仮想マシン実行サーバ間で物理ＮＩＣ使用率に余裕のある仮想マシン実行サーバが存在している場合、その物理ＮＩＣの有効活用を可能とすることである。

上記目的を達成するため、本発明においては、（１）仮想マシンを実行するサーバに搭載されている一つ以上の物理ＮＩＣの使用率を収集して順次に記憶装置に格納し（物理ＮＩＣ管理テーブル１１０８）、収集した物理ＮＩＣ使用率と、予め設定され記憶装置に登録された物理ＮＩＣ使用率の上限値とを読み出してそれぞれを比較し、上限値より高い使用率の物理ＮＩＣを検出した場合、記憶装置に格納された仮想マシン管理テーブル（１１０１）において該当する物理ＮＩＣに対応付けて登録された個々の仮想マシンについて、予め設定された仮想マシン優先度を判断し、最も優先度の低い仮想マシンに接続されている仮想ＮＩＣを特定すると共に、他の物理ＮＩＣに関して、物理ＮＩＣ管理テーブル（１１０８）において登録されている各物理ＮＩＣの使用率情報を検索することによって使用率に余裕のある物理ＮＩＣを、特定した優先度の最も低い仮想ＮＩＣの接続変更先として特定し、それぞれを接続することを特徴とする。（２）さらに、仮想ＮＩＣの接続先（物理ＮＩＣ）を変更した後も、上述の手順を繰返して実行し、監視および仮想ＮＩＣの接続先変更を繰返し実行することにより、仮想マシン実行サーバ上の物理ＮＩＣ使用率を平均化する。（３）また、仮想マシン管理テーブル（１１０１）に、収集した物理ＮＩＣの使用率を監視するスケジュールを設定可能とし、設定した監視スケジュール毎に優先順位を変更したロードバランシング処理を実施する。（４）また、単一の仮想マシン実行サーバ上で仮想ＮＩＣの接続先（物理ＮＩＣ）変更ができないと判断した場合、他の仮想マシン実行サーバに対して物理ＮＩＣの使用率情報の収集および検索を行い、物理ＮＩＣ使用率に余裕のある仮想マシン実行サーバおよび対象物理ＮＩＣを特定し、該当する仮想マシン実行サーバへ、最も優先度の低い仮想マシンを移動し、移動先の仮想マシン実行サーバ上で、仮想ＮＩＣの接続先振分けを実施することにより、一つ以上の仮想マシン実行サーバに搭載された、一つ以上の物理ＮＩＣに関し、物理ＮＩＣ使用率増加および使用率監視スケジュールと連動したロードバランシングを行う。

本発明によれば、一つ以上の仮想マシン実行サーバ上で稼動する仮想マシン環境において、物理ＮＩＣの予期しない使用率増加が発生した場合、一つ以上の仮想マシン実行サーバ間で、それぞれの仮想マシン実行サーバに搭載された一つ以上の物理ＮＩＣに対し、仮想ＮＩＣの割当変更を動的に行うことにより、使用率の低い物理ＮＩＣの有効活用が可能になり、ネットワークがボトルネックになっている仮想マシンのパフォーマンスを向上させることができる。

以下、図を用いて本発明を実施するための最良の形態例を説明する。図１は、本発明に係る仮想マシンシステムの構成例を示すブロック図であり、図２は、図１におけるＮＩＣ使用率監視・割当て処理部の構成例を示すブロック図である。

図１において、１１５０，１７５０は、仮想マシンプログラムを実行するコンピュータ装置としてのサーバであり、ここでは、仮想マシン実行サーバ１１５０、仮想マシン実行サーバ１７５０と呼ぶ。

仮想マシン実行サーバ１１５０，１７５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や主メモリ、表示装置、入力装置、外部記憶装置等を具備したコンピュータ構成からなり、光ディスク駆動装置等を介してＣＤ−ＲＯＭ等の記憶媒体に記録されたプログラムやデータを外部記憶装置内にインストールした後、この外部記憶装置から主メモリに読み込みＣＰＵで処理することにより、各処理部の機能を実行する。

コンピュータ装置のプログラムによる処理実行手段として、仮想マシン実行サーバ１１５０，１７５０には、仮想マシン実行プログラム処理部（図中「仮想マシン実行プログラム」と記載）１１７８，１７７８と、仮想マシン（図中「仮想マシン−ｖｍ」と記載）１１６０，１１６４，１７６０，１７６４、仮想ＮＩＣ（図中「仮想ＮＩＣ−ｖｎ」と記載）（１）１１６２，（２）１１６６，（３）１７６２，（４）１７６６、仮想スイッチ（図中「仮想スイッチ−ｖｓ」と記載）（１）１１７０，（２）１１７２，（３）１７７０，（４）１７７２が設けられ、本例では、さらに、仮想マシン実行サーバ１１５０に、ロードバランシング処理システム１１００が設けられている。

また、この仮想マシン実行サーバ１１５０におけるロードバランシング処理システム１１００には、仮想マシン管理テーブル１１０１、仮想ＮＩＣ管理テーブル１１０６、物理ＮＩＣ管理テーブル１１０８の各管理情報を記憶装置内に生成して管理する機能を含み、本発明に関わる仮想マシン環境におけるネットワークのロードバランス（負荷制御）に関しての処理を実行するＮＩＣ使用率監視・割当て処理部１１０４が設けられている。

また、このＮＩＣ使用率監視・割当て処理部１１０４は、図２に示すように、物理ＮＩＣ使用率監視部２１０６、仮想ＮＩＣ使用率監視部２１０８、ＮＩＣ切替え部２１１０からなる。

そして、仮想マシン実行サーバ１１５０，１７５０は、具備したＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）としての物理ＮＩＣ（図中「物理ＮＩＣ−ｐｎ」と記載）（１）１１８０，（２）１１８２，（３）１７８０，（４）１７８２により物理ネットワーク１１９０に接続され、相互のデータ送受信等を行う。

このように本例では、仮想マシン実行サーバ１１５０，１７５０からなる２つの仮想マシン実行サーバ上で稼動する仮想マシン環境となっている。そして、本例では、仮想マシン実行サーバ１１５０に設けたロードバランシング処理システム１１００により、物理ＮＩＣ（１）１１８０，（２）１１８２，（３）１７８０，（４）１７８２のいずれかに予期しない使用率増加が発生した場合、仮想マシン実行サーバ１１５０，１７５０間で、それぞれの仮想マシン実行サーバに搭載された一つ以上の物理ＮＩＣに対し、仮想ＮＩＣの割当変更を動的に行う。

以下、本発明に係る構成およびその動作の詳細を説明する。

図１において、仮想マシン実行サーバ１１５０上の仮想マシン実行プログラム処理部１１７８は、物理ＮＩＣ（１）１１８０および物理ＮＩＣ（２）１１８２の２つの物理ＮＩＣによって物理ネットワーク１１９０との接続処理を行う。

また、仮想マシン実行プログラム処理部１１７８は、仮想マシン（１）１１６０および仮想マシン（２）１１６４の２つの仮想マシンを実行することと、それぞれの仮想マシンに搭載した仮想ＮＩＣ（１）１１６２および仮想ＮＩＣ（２）１１６６に対して行われたネットワーク通信を、仮想スイッチ（１）１１７０および仮想スイッチ（２）１１７２の２つの仮想スイッチを経由し、物理ＮＩＣ（１）１１８０および物理ＮＩＣ（２）１１８２によって物理ネットワーク１１９０に接続することにより行う。

また、仮想マシン実行サーバ１７５０上の仮想マシン実行プログラム処理部１７７８は、仮想マシン実行サーバ１１５０上の仮想サーバ実行プログラム処理部１１７８と同等のプログラムを実行するものであり、仮想マシン（３）１７６０および仮想マシン（４）１７６４を実行し、仮想ＮＩＣ（３）１７６２および仮想ＮＩＣ（４）１７６２を使用して行った通信は、仮想スイッチ（３）１７７０および仮想スイッチ（４）１７７２を経由して物理ＮＩＣ（３）１７８０および物理ＮＩＣ（４）１７８２によって、仮想マシン実行サーバ１１５０と同一の物理ネットワーク１１９０に接続することにより通信を行う。

尚、本例のロードバランシング処理システム１１００で実行するプログラムは、ＣＤ−ＲＯＭまたはフレキシブルディスク等からなる記録媒体１８１０に格納され、仮想マシン実行サーバ１１５０上に搭載されるＣＤ−ＲＯＭ装置またはＦＤＤなどのディスク鼓動装置１８００から仮想マシン実行サーバ１１５０上に読み込んで搭載する。

また、ロードバランシング処理システム１１００は、仮想マシン実行プログラム処理部１１７８およびこの仮想マシン実行プログラム処理部１１７８上で実行する仮想マシン（１）１１６０と仮想マシン（２）１１６４、さらに、物理ネットワーク１１９０を経由して接続される、仮想マシン実行サーバ１７５０上に実装された仮想マシン実行プログラム処理部１７７８およびこの仮想マシン実行プログラム処理部１７７８上で実行される仮想マシン（３）１７６０と仮想マシン（４）１７６４と通信を行うことによって動作するものであり、ＮＩＣ利用率監視・割当て処理部１１０４、および、このＮＩＣ利用率監視・割当て処理部１１０４の動作に必要となる情報を格納した仮想マシン管理テーブル１１０１、仮想ＮＩＣ管理テーブル１１０６、物理ＮＩＣ管理テーブル１１０８からなる。

図２に示すように、ＮＩＣ利用率監視・割当て処理部１１０４は、物理ＮＩＣ使用率監視部２１０６、仮想ＮＩＣ使用率監視部２１０８、およびＮＩＣ切替え部２１１０から構成され、以下の各図３〜図９に基づき説明する処理動作を行う。

図３は、図１におけるＮＩＣ使用率監視・割当て処理部の処理動作例を示すフローチャートであり、図４は、図２における物理ＮＩＣ使用率監視部の処理動作例を示すフローチャート、図５は、図２における仮想ＮＩＣ使用率監視部の処理動作例を示すフローチャート、図６は、図２におけるＮＩＣ切替え部の処理動作例を示すフローチャート、図７は、図１における物理ＮＩＣ管理テーブルの構成例を示す説明図、図８は、図１における仮想ＮＩＣ管理テーブルの構成例を示す説明図、図９は、図１における仮想マシン管理テーブルの構成例を示す説明図である。

図７に示すように、物理ＮＩＣ管理テーブル１１０８は、仮想マシン実行サーバ１１５０，１７５０のそれぞれに搭載されている一つ以上の物理ＮＩＣ（１）〜（４）１１８０，１１８２，１７８０，１７８２に関する情報を保持することを目的としており、それぞれの仮想マシン実行サーバを特定する識別子を格納する仮想マシン実行サーバ識別子１３００、各仮想マシン実行プログラム処理部を特定する識別子を格納する仮想マシン実行プログラム識別子１３０５、各物理ＮＩＣを特定する識別子を格納する物理ＮＩＣ識別子１３１０、各仮想スイッチを特定する識別子を格納する仮想スイッチ識別子１３１６、物理ＮＩＣの使用率上限値を格納する物理ＮＩＣ使用率上限値１３１２、ＮＩＣ使用率管理・割当て処理部１１０４が収集した各物理ＮＩＣの使用率を格納する物理ＮＩＣ使用率１３１４のそれぞれの項目を行列で対応付けた構成である。

また、図８に示すように、仮想ＮＩＣ管理テーブル１１０６は、仮想マシン実行サーバ１１５０，１７５０の内において構成している仮想マシン（１）〜（４）１１６０，１１６４，１７６０，１７６４の各仮想ＮＩＣ（１）〜（４）１１６２，１１６６，１７６２，１７６６に関する情報を保持することを目的としており、それぞれの仮想マシン実行サーバを特定する識別子を格納する仮想マシン実行サーバ識別子１４００、各物理ＮＩＣを特定する識別子を格納する物理ＮＩＣ識別子１４１２、各仮想ＮＩＣを特定する識別子を格納する仮想ＮＩＣ識別子１４１０、各仮想マシンを特定する識別子を格納する仮想マシン識別子１４１４、ＮＩＣ使用率管理・割当て処理部１１０４が収集した各仮想ＮＩＣの使用率を格納する仮想ＮＩＣ使用率１４１６のそれぞれの項目を行列で対応付けた構成である。

また、図９に示すように、仮想マシン管理テーブル１１０１は、仮想マシン実行サーバ１１５０，１７５０内において構成している仮想マシン（１）〜（４）１１６０，１１６４，１７６０，１７６４に関する情報を保持することを目的としており、それぞれの仮想マシン実行サーバを特定する識別子を格納する仮想マシン実行サーバ識別子１５００、各仮想マシンを特定する識別子を格納する仮想マシン識別子１５１０、各仮想マシンの名称を格納する仮想マシン名１５１２、各仮想マシンの実行開始時刻を格納する開始時刻１５１４、各仮想マシンの実行終了時刻を格納する終了時刻１５１６、各仮想マシンに付与された優先度を格納する仮想マシン優先度１５１８のそれぞれの項目を行列で対応付けた構成である。

図１において、ＮＩＣ使用率監視・割当て処理部１１０４は、仮想マシン実行サーバ１１５０および仮想マシン実行サーバ１７５０とネットワーク通信可能な環境を構築し、仮想マシン実行プログラム処理部１１７８および仮想マシン実行プログラム処理部１７７８を介して、それぞれの仮想マシン実行サーバ１１５０，１７５０に搭載されている物理ＮＩＣ（１）１１７０〜（４）１７７２の使用率を入手すると共に、仮想マシン実行プログラム処理部１１７８，１７７８により構成されている仮想スイッチ（１）１１７０〜（４）１７７２や仮想マシン（１）１１６０〜（４）１７６４に関する情報を入手し、入手した情報を用いて、それら仮想マシン（１）１１６０〜（４）１７６４の構成の変更を行い、また、各仮想マシン（１）１１６０〜（４）１７６４の動作を停止することなく、同一のネットワーク環境に存在している複数の仮想マシン実行サーバ（１１５０，１７５０）間で仮想マシン（（１）１１６０〜（４）１７６４）の実行インスタンスを移動する。尚、このような処理は、仮想マシン実行プログラム処理部１１７８，１７７８が実行する仮想マシン実行プログラムに予め用意されているプログラムインタフェースを使用して実行される。

また、ＮＩＣ使用率監視・割当て処理部１１０４は、仮想マシン実行プログラム処理部１１７８および仮想マシン実行プログラム処理部１７７８を介して、各仮想マシン（１）１１６０〜（４）１７６４を構成するＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に予め用意されているプログラムインタフェースを使用し、各仮想マシン（１）１１６０〜（４）１７６４上に構成されている仮想ＮＩＣ（１）１１６２〜（４）１７６６の使用率を入手する。

以下、図３に従って、ＮＩＣ使用率監視・割当て処理部１１０４の処理内容について説明する。

まず、ＮＩＣ使用率監視・割当て処理部１１０４は、設定した時間間隔で処理を繰り返して実行するために、ＡＴコマンドなどの一般的なＯＳ上に搭載されている機能を利用して実行スケジュールを設定し（ステップＳ２０１０）、実行スケジュールで設定した時間経過後にステップＳ２０５０以降の処理を実行する（ステップＳ２０２０）。

すなわち、実行スケジュールで設定した時間経過後、物理ＮＩＣ使用率監視部２１０６の処理を実行し、仮想マシン実行サーバ１１５０および仮想マシン実行サーバ１７５０に搭載されている、それぞれの物理ＮＩＣ（１）１１８０〜（４）１７８２の使用率を収集するとともに、収集したそれぞれの物理ＮＩＣ使用率について、図７に示す物理ＮＩＣ管理テーブル１１０８を参照して、予め物理ＮＩＣ使用率上限値１３１２に設定されている値（上限値「８０」）を上回る物理ＮＩＣが存在するか否かを調べる（ステップＳ２０５０）。

ここで、この物理ＮＩＣ使用率監視部２１０６の処理内容の詳細を、図４を用いて説明する。

図４に示すように、物理ＮＩＣ使用率監視部２１０６は、まず、図７の物理ＮＩＣ管理テーブル１１０８において予め設定された、仮想マシン実行サーバ識別子１３００で特定される仮想マシン実行サーバ１１５０および仮想マシン実行サーバ１７５０に搭載された物理ＮＩＣ（１）１１８０〜（４）１７８２に関し、仮想マシン実行プログラム識別子１３０５で特定される仮想マシン実行プログラム処理部１１７８，１７７８により、そのプログラムインタフェースを使用し、その使用率の問合せを行い、入手した結果を物理ＮＩＣ使用率１３１４の項目に格納する（ステップＳ４０３０）。

次に、物理ＮＩＣ使用率監視部２１０６は、入手したそれぞれの物理ＮＩＣ使用率に関し、物理ＮＩＣ管理テーブル１１０８を参照して、各物理ＮＩＣ使用率が物理ＮＩＣ使用率上限値１３１２に設定されている値を上回るか否かを判別する（ステップＳ４０５０）。

もし、入手した物理ＮＩＣ使用率の中に、物理ＮＩＣ使用率の上限値を上回るものが無ければ、検索結果件数として「０」をリターン値として設定し、図３のステップＳ２０５０の処理に戻るが、上限値を上回る物理ＮＩＣ使用率が１件以上存在する場合には、検索の結果件数、および、検索結果のうち入手した物理ＮＩＣ使用率と設定上限値との差が最も大きい物理ＮＩＣの識別子を物理ＮＩＣ識別子１３１０から読み取り、その物理ＮＩＣの識別子と、物理ＮＩＣ使用率とをリターン値として設定し、図３のステップＳ２０５０の処理に戻る（ステップＳ４０６０）。

図３のステップＳ２０６０において、ステップＳ２０５０での処理の実行結果が、物理ＮＩＣ管理テーブル１１０８における物理ＮＩＣ使用率１３１４での各値が物理ＮＩＣ使用率上限値１３１２での値を上回る物理ＮＩＣ識別子１３１０の件数が「０」件の場合、ステップＳ２０１０の処理に戻るが、「１」件以上の場合には、次のステップＳ２１００の処理を行う。

ステップＳ２１００の処理では、ステップＳ２０５０の処理で入手して図７の物理ＮＩＣ管理テーブル１１０８における物理ＮＩＣ識別子１３１０に登録した物理ＮＩＣの識別子と、物理ＮＩＣ使用率１３１４に登録した物理ＮＩＣの使用率、および、仮想マシン実行サーバ番号１３００に登録した仮想マシン実行サーバの番号をパラメタとして仮想ＮＩＣ使用率監視部２１０８に渡し、この仮想ＮＩＣ使用率監視部２１０８による、仮想ＮＩＣの有無の判別処理を含む処理を実行する。

図７の物理ＮＩＣ管理テーブル１１０８に示す例では、物理ＮＩＣ識別子１３１０の１行目に格納された識別子が「１１８０」の物理ＮＩＣ、すなわち、図１における仮想マシン実行サーバ１１５０上の仮想マシン実行プログラム処理部１１７８で用いている物理ＮＩＣ１１８０の使用率が、物理ＮＩＣ使用率１３１４に示されるように「８２」となっており、物理ＮＩＣ使用率上限値１３１２に設定されている上限値「８０」を越えており、この物理ＮＩＣ識別子「１１８０」と共に、図７の物理ＮＩＣ管理テーブル１１０８においてこの物理ＮＩＣ識別子「１１８０」に対応付けられている、物理ＮＩＣ使用率「８２」と仮想マシン実行サーバの識別子「１１５０」をパラメタとして図２に示す仮想ＮＩＣ使用率監視部２１０８に渡す。

以下、この仮想ＮＩＣ使用率監視部２１０８による処理動作の詳細を、図５を用いて説明する。

図５に示すように、仮想ＮＩＣ使用率監視部２１０８は、まず、図３のステップＳ２１００での処理においてパラメタとして設定された図７に示す物理ＮＩＣ管理テーブル１１０８の物理ＮＩＣ識別子１３１０と物理ＮＩＣ使用率１３１４および仮想マシン実行サーバ番号１３００における各値（本例では、「１１８０」と「８２」および「１１５０」）を入手する（ステップＳ５０６０）。

次に、仮想ＮＩＣ使用率監視部２１０８は、ステップＳ５０６０の処理で入手した物理ＮＩＣ識別子１３１０の値（「１１８０」）をキーとして図８に示す仮想ＮＩＣ管理テーブル１１０６を検索し、物理ＮＩＣ識別子１４１２においてキー値（「１１８０」）が格納された一つ以上の仮想マシンの識別子を仮想マシン識別子１４１４の列項目を参照して選択する（ステップＳ５０７０）。ここでは「１１６０」と「１１６４」が識別子の仮想マシンを選択することになる。

さらに、仮想ＮＩＣ使用率監視部２１０８は、ステップＳ５０７０の処理で選択した仮想マシン識別子（「１１６０」，「１１６４」）を使用して、図９に示す仮想マシン管理テーブル１１０１を参照し、仮想マシン識別子１５１０の列項目において当該仮想マシン識別子の値（「１１６０」，「１１６４」）が格納された行項目における仮想マシン名１５１２に格納された各仮想マシンの名称を特定して選択し（「Ｓｅｒｖｅｒ１」，「Ｓｅｒｖｅｒ２」）、選択した名称の各仮想マシンで用いている仮想ＮＩＣの使用率を問合せる（ステップＳ５０８０）。

そして、仮想ＮＩＣ使用率監視部２１０８は、ステップＳ５０８０の問合せ処理により入手した仮想ＮＩＣ利用率を、図８に示す仮想ＮＩＣ管理テーブル１１０６における仮想ＮＩＣ使用率１４１６の項目欄に格納する（ステップＳ５０９０）。

図８に示す例では、仮想マシン実行サーバ識別１４００が「１１５０」（２行あり）で仮想マシン識別子１４１４が「１１６０」と「１１６４」で仮想ＮＩＣ識別子１４１０が「１１６２」と「１１６６」のそれぞれに対して仮想ＮＩＣの使用率が入手され、仮想ＮＩＣ使用率１４１６において、その値「５０」と「３２」が格納されている。

その後、仮想ＮＩＣ使用率監視部２１０８は、ステップＳ５０７０の処理で図８の仮想ＮＩＣ管理テーブル１１０６における仮想マシン識別子１４１４を参照して選択した一つ以上の仮想マシン識別子（「１１６０」，「１１６４」）と、ＯＳ機能で入手できる現在時刻とをキーにして、図９に示す仮想マシン管理テーブル１１０１における仮想マシン識別子１５１０と仮想マシン優先度１５１８の項目に関しての検索を行い、仮想マシン優先度１５１８における値（優先度）が最も低い仮想マシン識別子１５１０における仮想マシンの識別子と仮想マシン実行サーバ識別子１５００における仮想マシン実行サーバの識別子を選択する（ステップＳ５１００）。

ここでは、図９に示す仮想マシン管理テーブル１１０１における仮想マシン優先度１５１８における値（優先度）が最も低いものとして、仮想マシン識別子１５１０における仮想マシンの識別子「１１６４」と仮想マシン実行サーバ識別子１５００における仮想マシン実行サーバの識別子「１１５０」を選択する。

次に、仮想ＮＩＣ使用率監視部２１０８は、ステップＳ５１００の処理で選択した仮想マシンの識別子（「１１６４」）をキーに、図８に示す仮想ＮＩＣ管理テーブル１１０６を検索し、対応する行にある仮想ＮＩＣ識別子１４１０と仮想ＮＩＣ使用率１４１６における値（「１１６６」と「３２」）を選択する（ステップＳ５１１０）。

さらに、仮想ＮＩＣ使用率監視部２１０８は、ステップＳ５１２０での処理により、図７に示す物理ＮＩＣ管理テーブル１１０８における物理ＮＩＣ使用率１３１４の列項目の各値と、ステップＳ５０９０の処理で選択した図８における仮想ＮＩＣ使用率１４１６の列項目の値（「３２」）との合計が、物理ＮＩＣ使用率上限値１３１２に登録された値未満（「８０」）となる物理ＮＩＣの識別子（物理ＮＩＣ識別子１３１０）を検索する。

この際、仮想ＮＩＣ使用率監視部２１０８は、まず、仮想マシン実行サーバ識別子１３００における識別子が、物理ＮＩＣ使用率が上限値を超えた仮想マシン実行サーバと同一の識別子の仮想マシン実行サーバに対して検索を行い、該当が無い場合に、全ての仮想マシン実行サーバを対象に検索を行い、該当する仮想マシン実行サーバの識別子（仮想マシン実行サーバ識別子１３００）と物理ＮＩＣの識別子（物理ＮＩＣ識別子１３１０）を選択する。

その後、仮想ＮＩＣ使用率監視部２１０８は、ステップＳ５１３０の処理を行う。まず、ステップＳ５１２０の処理で、複数の仮想マシン実行サーバの識別子（仮想マシン実行サーバ識別子１３００）と物理ＮＩＣの識別子（物理ＮＩＣ識別子１３１０）を入手した場合、仮想ＮＩＣ使用率監視部２１０８は、図７に示す物理ＮＩＣ管理テーブル１１０８を参照し、それぞれの物理ＮＩＣの識別子（物理ＮＩＣ識別子１３１０）に対する物理ＮＩＣの使用率（物理ＮＩＣ使用率１３１４）と物理ＮＩＣ使用率の上限値（物理ＮＩＣ使用率上限値１３１２）との差が最も大きい物理ＮＩＣ（物理ＮＩＣ識別子１３１０）を移行先として特定する。

そして、特定した識別子の物理ＮＩＣ（物理ＮＩＣ識別子１３１０）と対応する仮想マシン実行サーバ（仮想マシン実行サーバ識別子１３００）を移行先として特定し、特定した移行先物理ＮＩＣの識別子（移行先物理ＮＩＣ識別子１３１０）、および、ステップＳ５１００の処理で入手した移行元の仮想マシンの識別子（図９の仮想マシン管理テーブル１１０１における仮想マシン識別子１５１０）とステップＳ５１１０の処理で入手した移行元の仮想マシン実行サーバの識別子（移行元仮想マシン実行サーバ識別子１５００）と移行元の仮想ＮＩＣの識別子（図８の仮想ＮＩＣ管理テーブル１１０６における移行元仮想ＮＩＣ識別子１４１０）をリターン値として返すと共に、図２における仮想ＮＩＣ使用率監視部２１０８のリターン値として「０」を設定して、図３におけるステップＳ２１３０の処理に戻る。

しかし、該当なしの場合、仮想ＮＩＣ使用率監視部２１０８のリターン値として「−１」を設定して図３におけるステップＳ２１３０の処理に戻る。

図３のステップＳ２１３０の処理においては、図２における仮想ＮＩＣ使用率監視部２１０８のリターン値が「−１」の場合、図７に示す物理ＮＩＣ管理テーブル１１０８に格納されている全ての物理ＮＩＣ（物理ＮＩＣ識別子１３１０）について、仮想ＮＩＣの接続先を変更することができないため、ステップＳ２０１０に戻る。

しかし、リターン値が「−１」以外の場合には、ステップＳ２１４０での処理を実行する。すなわち、ステップＳ２１００の処理で入手した情報、つまり、図９の仮想マシン管理テーブル１１０１の移行元仮想マシン識別子１５１０と移行元仮想マシン実行サーバ識別子１５００における各値、図８の仮想ＮＩＣ管理テーブル１１０６の移行元仮想ＮＩＣ識別子１４１０における値、図７の物理ＮＩＣ管理テーブル１１０８の移行先仮想マシン実行サーバ識別子１３００と移行先物理ＮＩＣ識別子１３１０における各値のそれぞれをパラメタとして、次の図６に詳細を示す図２におけるＮＩＣ切替え処理部２１１０での処理を実行する。

すなわち、図６に示すように、まず、図２のＮＩＣ切替え部２１１０は、移行元の情報として、図９の仮想マシン管理テーブル１１０１の仮想マシン識別子１５１０における移行元の仮想マシンの識別子（例として「１１６４」）と、仮想マシン実行サーバ識別子１５００における移行元の仮想マシン実行サーバの識別子（例として「１１５０」）、および、図８の仮想ＮＩＣ管理テーブル１１０６の仮想ＮＩＣ識別子１４１０における移行元の仮想ＮＩＣの識別子（例として「１１６６」）を、また、移行先の情報として、図７の物理ＮＩＣ管理テーブル１１０８の仮想マシン実行サーバ識別子１３００と物理ＮＩＣ識別子１３１０における、移行先の仮想マシン実行サーバの識別子（例として「１１５０」もしくは「１７５０」）と移行先の物理ＮＩＣの識別子（例として「１１８２」もしくは「１７８２」）のそれぞれをパラメタとして入手する（ステップＳ６１２０）。

次に、ＮＩＣ切替え部２１１０は、パラメタとして入手した移行元と移行先のそれぞれの仮想マシン実行サーバの識別子（仮想マシン管理テーブル１１０１の仮想マシン実行サーバ識別子１５００の項目内の値）の比較を行う（ステップＳ６１４０）。

両者が同じであれば、そのままステップＳ６１６０の処理に移行するが、両者が異なっている場合には、ステップＳ６１５０の処理を実行した後にステップＳ６１６０の処理に移行する。本例では、移行元の仮想マシン実行サーバの識別子が「１１５０」であり、移行先の仮想マシン実行サーバの識別子が「１１５０」であれば、そのままステップＳ６１６０の処理に移行し、移行先の仮想マシン実行サーバの識別子が「１７５０」であれば、先に、ステップＳ６１５０の処理を実行する。

このステップＳ６１５０の処理では、ステップＳ６１２０の処理で入手した移行先の仮想マシン実行サーバの識別子「１７５０」を用いて、図９に示す仮想マシン管理テーブル１１０１の仮想マシン実行サーバ識別子１５００および図８に示す仮想ＮＩＣ管理テーブル１１０６の仮想マシン実行サーバ識別子１４００のそれぞれにおける当該箇所の値（識別子）を書き替える。

具体的には、ステップＳ６１２０の処理で入手した移行先の仮想マシン実行サーバの識別子「１７５０」を、図９に示す仮想マシン管理テーブル１１０１の仮想マシン実行サーバ識別子１５００における移行元の仮想マシン実行サーバの識別子（「１１５０」）が格納されていた箇所、および、図８に示す仮想ＮＩＣ管理テーブル１１０６の仮想マシン実行サーバ識別子１４００における移行元の仮想マシン実行サーバの識別子（「１１５０」）が格納されていた箇所（行）のそれぞれに格納する。

ステップＳ６１６０の処理では、ステップＳ６１２０の処理で入手した移行先の物理ＮＩＣ識別子（「１１８２」もしくは「１７８２」）を用いて、図８に示す仮想ＮＩＣ管理テーブル１１０６の物理ＮＩＣ識別子１４１２における当該箇所の値（識別子）を書き替える。

具体的には、ステップＳ６１２０の処理で入手した移行先の物理ＮＩＣ識別子（「１１８２」もしくは「１７８２」）を、図８に示す仮想ＮＩＣ管理テーブル１１０６の物理ＮＩＣ識別子１４１２における、移行元の仮想マシンの識別子「１１６４」が格納されていた箇所（行）に格納する。

そして、ＮＩＣ切替え部２１１０は、ステップＳ６１７０の処理を実行して、使用率が上限値を超えている物理ＮＩＣに接続されている仮想ＮＩＣの内、優先度の低い仮想マシンに接続されている仮想ＮＩＣの接続先を切り替える。すなわち、ステップＳ６１２０の処理で入手した移行元の仮想マシン実行サーバの識別子（「１１５０」）および移動先の仮想マシン実行サーバの識別子（「１１５０」もしくは「１７５０」）に関し、移行元の仮想マシンの識別子（「１１６４」）に対する仮想マシン実行サーバおよび物理ＮＩＣ接続先を、仮想マシン実行プログラムインタフェースにより発行する。

このステップＳ６１７０での処理が終了すれば、ＮＩＣ切替え処理部２１１０の処理を終了し、ステップＳ２０１０の処理に戻る。

ＮＩＣ使用率監視・割当て処理部１１０４は、これらの処理を繰返し実行することにより、時間とともに変化するＮＩＣ使用率に対応して、適切なロードバランシング（負荷制御）を行うことができる。

以上、図１〜図９を用いて説明したように、本例では、仮想ネットワークシステムにおける物理ＮＩＣと仮想ＮＩＣの接続を制御するための、プログラムを用いたコンピュータ装置の処理実行機能として、物理ＮＩＣ使用率監視部２１０６、仮想ＮＩＣ使用率監視部２１０８、ＮＩＣ切替え部２１１０、および、これらの各処理部からなるＮＩＣ使用率監視・割当て処理部１１０４を具備する。

そして、ＮＩＣ使用率監視・割当て処理部１１０４は、まず、図示していないプログラムされたコンピュータ処理実行機能により、仮想マシン実行サーバの識別情報（１１５０，１７５０）に、当該仮想マシン実行サーバで実行している仮想マシンの識別情報（１１６０，１１６４，１７６０，１７６４）と当該仮想マシンに対して予め設定された優先度を対応付けた仮想マシン管理テーブル１１０１を生成して記憶装置に格納する。

次に、ＮＩＣ使用率監視・割当て処理部１１０４は、物理ＮＩＣ使用率監視部２１０６により、仮想マシン実行サーバ（１１５０，１７５０）に搭載されている一以上の物理ＮＩＣ（１１８０，１１８２，１７８０，１７８２）の各使用率を収集し、収集した物理ＮＩＣ使用率を当該物理ＮＩＣの識別情報に対応付けた物理ＮＩＣ管理テーブル１１０８を生成して記憶装置に格納し、さらに、この物理ＮＩＣ管理１１０８を参照して物理ＮＩＣ使用率が予め定められた上限値より高い物理ＮＩＣを検出する。

さらに、ＮＩＣ使用率監視・割当て処理部１１０４は、仮想ＮＩＣ使用率監視部２１０８により、仮想マシン管理テーブル１１０１を参照し、物理ＮＩＣ使用率監視部２１０６が検出した物理ＮＩＣを搭載した仮想マシン実行サーバが実行している各仮想マシンから優先度が最も低い仮想マシンを特定し、さらに、物理ＮＩＣ管理テーブル１１０８を参照し、物理ＮＩＣ使用率が上限値より低く且つ他に比べて相対的に低い物理ＮＩＣを抽出する。

そして、ＮＩＣ使用率監視・割当て処理部１１０４は、ＮＩＣ切替え部２１１０により、仮想ＮＩＣ使用率監視部２１０８が抽出した物理ＮＩＣに、同仮想ＮＩＣ使用率監視部２１０８が特定した仮想マシンに接続されている仮想ＮＩＣの接続先を切り替える。

尚、仮想ＮＩＣ使用率監視部２１０８は、ＮＩＣ切替え部２１１０による上記仮想ＮＩＣの切り替え後の使用率が上限値を越えない物理ＮＩＣを抽出する。

また、仮想ＮＩＣ使用率監視部２１０８は、ＮＩＣ切替え部２１１０による仮想ＮＩＣの切り替え後の使用率が上限値を越えない物理ＮＩＣを当該仮想ＮＩＣを搭載している仮想マシン実行サーバ上で抽出することができなければ、他の仮想マシン実行サーバから、切り替え先の物理ＮＩＣを抽出し、ＮＩＣ切替え部２１１０は、仮想ＮＩＣ使用率監視部２１０８が特定した仮想マシンを、同仮想ＮＩＣ使用率監視部２１０８が抽出した切り替え先の物理ＮＩＣを搭載した仮想マシン実行サーバに移動し、移動した仮想マシンに接続されている仮想ＮＩＣを、仮想ＮＩＣ使用率監視部２１０８が抽出した移動先仮想マシン実行サーバ上の物理ＮＩＣに接続する。

また、ＮＩＣ使用率監視・割当て処理部１１０４は、ＮＩＣ切替え部２１１０による仮想ＮＩＣの物理ＮＩＣへの接続先の切り替え処理を実行した後に、物理ＮＩＣ使用率監視部２１０６の物理ＮＩＣ使用率の収集処理からの各処理を繰り返し実行する。

また、ＮＩＣ使用率監視・割当て処理部１１０４は、図示していないプログラムされたコンピュータ処理実行機能により、予めスケジュール情報で定められた時間になると、仮想マシン管理テーブル１１０１における各仮想マシンに対する優先度の設定を変更すると共に物理ＮＩＣ使用率監視部２１０６による処理を開始し、この物理ＮＩＣ使用率監視部２１０６が上限値を超えた使用率の物理ＮＩＣを検出すると、仮想ＮＩＣ使用率監視部２１０８とＮＩＣ切替え部２１１０による処理を実行する。

このことにより、従来技術の課題、すなわち、『従来の、物理ＮＩＣの割当を固定的に決定する技術では、予期しない使用率増加が発生し、一部の物理ＮＩＣで使用率の高い状態となった場合でも、使用率の低い物理ＮＩＣを有効活用することができず、また、従来の、ネットワーク負荷の変動に応じて自動的に物理ＮＩＣに関するリソース割当変更を行う技術では、特定の仮想マシンで仮想ＮＩＣ使用率が高くなった場合に調整を行うことができないので、一つ以上の仮想マシン実行サーバを構成している場合に、物理ＮＩＣ使用率に余裕のある仮想マシン実行サーバが存在している場合でも、その物理ＮＩＣを有効活用することができない』との課題を解決し、物理ＮＩＣの予期しない使用率増加に対応して動的に物理ＮＩＣと仮想ＮＩＣの割当変更を行うことにより、ネットワークインタフェースの有効活用を可能とし、さらに、一つ以上の仮想マシン実行サーバ間で物理ＮＩＣ使用率に余裕のある仮想マシン実行サーバが存在している場合、その物理ＮＩＣの有効活用が可能となる。

尚、本発明は、図１〜図９を用いて説明した例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、本例では、２つの仮想マシン実行サーバ１１５０，１７５０からなる仮想マシン環境での説明を行っているが、３以上の仮想マシン実行サーバからなる仮想マシン環境であっても良い。

また、本例では、ＮＩＣ使用率監視・割当て処理部１１０４が仮想マシン実行サーバ１１５０の内部に設置される例を示したが、物理ＮＩＣ使用率監視・割当て処理部１１０４が物理ネットワーク１１９０を通じて仮想マシン実行サーバ１１５０および仮想マシン実行プログラム処理部１１７８と通信できる別のサーバに搭載して実行するように構成しても良い。

また、本例のコンピュータ構成例に関しても、キーボードや光ディスクの駆動装置の無いコンピュータ構成としても良い。また、本例では、光ディスクを記録媒体として用いているが、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）等を記録媒体として用いることでも良い。また、プログラムのインストールに関しても、通信装置を介してネットワーク経由でプログラムをダウンロードしてインストールすることでも良い。

本発明に係る仮想マシンシステムの構成例を示すブロック図である。 図１におけるＮＩＣ使用率監視・割当て処理部の構成例を示すブロック図である。 図１におけるＮＩＣ使用率監視・割当て処理部の処理動作例を示すフローチャートである。 図２における物理ＮＩＣ使用率監視部の処理動作例を示すフローチャートである。 図２における仮想ＮＩＣ使用率監視部の処理動作例を示すフローチャートである。 図２におけるＮＩＣ切替え部の処理動作例を示すフローチャートである。 図１における物理ＮＩＣ管理テーブルの構成例を示す説明図である。 図１における仮想ＮＩＣ管理テーブルの構成例を示す説明図である。 図１における仮想マシン管理テーブルの構成例を示す説明図である。

符号の説明

１１００：ロードバランシング処理システム、１１０１：仮想マシン管理テーブル、１１０４：ＮＩＣ利用率監視・割当て処理部、１１０６：仮想ＮＩＣ管理テーブル、１１０８：物理ＮＩＣ管理テーブル、１１５０，１７５０：仮想マシン実行サーバ、１１６０：仮想マシン（１）、１１６２：仮想ＮＩＣ（１）、１１６４：仮想マシン（２）、１１６６：仮想ＮＩＣ（２）、１１７０：仮想スイッチ（１）、１１７２：仮想スイッチ（２）、１１７８：仮想マシン実行プログラム処理部、１１８０：物理ＮＩＣ（１）、１１８２：物理ＮＩＣ（２）、１１９０：物理ネットワーク、１７６０：仮想マシン（３）、１７６２：仮想ＮＩＣ（３）、１７６４：仮想マシン（４）、１７６６：仮想ＮＩＣ（４）、１７７０：仮想スイッチ（３）、１７７２：仮想スイッチ（４）、１７７８：仮想マシン実行プログラム処理部、１７８０：物理ＮＩＣ（３）、１７８２：物理ＮＩＣ（４）、１８００：ディスク駆動装置、１８１０：記録媒体。

Claims (7)

1. プログラムされたコンピュータ装置によって、仮想ネットワークシステムにおける物理ＮＩＣと仮想ＮＩＣの接続を制御する方法であって、
   プログラムを用いたコンピュータ装置の処理実行手段として、第１〜第７の手段を具備し、
   上記第１の手段は、
   上記仮想マシン実行サーバに搭載されている一以上の物理ＮＩＣの各使用率を収集し、
   上記第２の手段は、
   上記第１の手段が収集した物理ＮＩＣ使用率を当該物理ＮＩＣの識別情報に対応付けた物理ＮＩＣ管理情報を生成して記憶装置に格納し、
   上記第３の手段は、
   上記仮想マシン実行サーバの識別情報に、当該仮想マシン実行サーバで実行している仮想マシンの識別情報と当該仮想マシンに対して予め設定された優先度を対応付けた仮想マシン管理情報を生成して記憶装置に格納し、
   上記第４の手段は、
   上記物理ＮＩＣ管理情報を参照して上記物理ＮＩＣ使用率が予め定められた上限値より高い物理ＮＩＣを検出し、
   上記第５の手段は、
   上記仮想マシン管理情報を参照して上記第４の手段が検出した物理ＮＩＣを搭載した仮想マシン実行サーバが実行している各仮想マシンから優先度が最も低い仮想マシンを特定し、
   上記第６の手段は、
   上記物理ＮＩＣ管理情報を参照して上記物理ＮＩＣ使用率が上限値より低く且つ相対的に低い物理ＮＩＣを抽出し、
   上記第７の手段は、
   上記第６の手段が抽出した物理ＮＩＣに、上記第５の手段が特定した仮想マシンに接続されている仮想ＮＩＣの接続先を切り替える
   ことを特徴とする仮想ネットワークシステムのＮＩＣ接続制御方法。
2. 請求項１に記載の仮想ネットワークシステムのＮＩＣ接続制御方法であって、
   上記第６の手段は、
   上記第７の手段による上記仮想ＮＩＣの切り替え後の使用率が上記上限値を越えない物理ＮＩＣを抽出する
   ことを特徴とする仮想ネットワークシステムのＮＩＣ接続制御方法。
3. 請求項２に記載の仮想ネットワークシステムのＮＩＣ接続制御方法であって、
   プログラムを用いたコンピュータ装置の処理実行手段として、第８，第９の手段を具備し、
   上記第６の手段は、
   上記第７の手段による上記仮想ＮＩＣの切り替え後の使用率が上記上限値を越えない物理ＮＩＣを当該仮想ＮＩＣを搭載している仮想マシン実行サーバ上で抽出することができなければ、他の仮想マシン実行サーバから上記第７の手段による切り替え先の物理ＮＩＣを抽出し、
   上記第８の手段は、
   上記第５の手段が特定した仮想マシンを、上記第６の手段が抽出した切り替え先の物理ＮＩＣを搭載した仮想マシン実行サーバに移動し、
   上記第９の手段は、
   上記第８の手段が移動した仮想マシンに接続されている仮想ＮＩＣを、上記第６の手段が抽出した移動先仮想マシン実行サーバ上の物理ＮＩＣに接続する
   ことを特徴とする仮想ネットワークシステムのＮＩＣ接続制御方法。
4. 請求項１から請求項３のいずれかに記載の仮想ネットワークシステムのＮＩＣ接続制御方法であって、
   上記第７の手段による上記仮想ＮＩＣの物理ＮＩＣへの接続先の切り替え処理を実行した後に、上記第１の手段からの各手段による処理を繰り返し実行する
   ことを特徴とする仮想ネットワークシステムのＮＩＣ接続制御方法。
5. 請求項１から請求項４のいずれかに記載の仮想ネットワークシステムのＮＩＣ接続制御方法であって、
   予めスケジュール情報で定められた時間になると、上記仮想マシン管理情報における各仮想マシンに対する優先度の設定を変更すると共に上記第１，第２の手段による処理を開始し、
   上記第４の手段が当該物理ＮＩＣを検出すると上記第５の手段からの各手段による処理を実行する
   ことを特徴とする仮想ネットワークシステムのＮＩＣ接続制御方法。
6. コンピュータに、請求項１から請求項５のいずれかに記載の仮想ネットワークシステムのＮＩＣ接続制御方法における各手段による処理を実行させるためのプログラム。
7. プログラムされたコンピュータ装置によって、仮想ネットワークにおける物理ＮＩＣと仮想ＮＩＣの接続を制御するシステムであって、
   プログラムされたコンピュータ処理手段として、
   請求項１から請求項５のいずれかに記載の仮想ネットワークシステムのＮＩＣ接続制御方法における各処理を実行する手段を具備した
   ことを特徴とする仮想ネットワークのＮＩＣ接続制御システム。

Images