JP2016018387A - 情報処理システム、制御方法及び制御プログラム - Google Patents

Abstract

【課題】ネットワーク負荷を効果的に平準化させる。【解決手段】本情報処理システムは、複数のサブネットの少なくともいずれかに属する仮想マシンが起動される複数の第１の情報処理装置と、サブネット間の通信に用いられる仮想ルータが起動される複数の第２の情報処理装置と、サブネット内の通信経路と仮想マシンの配置と仮想ルータの配置とを制御する制御装置と、複数の第１の情報処理装置と複数の第２の情報処理装置と制御装置とを接続する複数のスイッチとを有する。そして、制御装置は、複数の第１の情報処理装置の各々の通信量に関する所定の評価値と、複数のスイッチの各々の通信量に関する所定の評価値とに基づき、仮想マシンと、仮想ルータと、いずれかのサブネット内の通信経路とのうちいずれかを選択して、選択された仮想マシン又は仮想ルータの配置先若しくは選択されたサブネット内の通信経路を変更する。【選択図】図５

Description

本発明は、情報処理システム、制御方法及び制御プログラムにおけるリソース制御技術に関する。

データセンタなどにおける情報処理システムにおいて、複数のテナント（顧客システム）の複数の仮想マシンなどを複数の物理マシン上に起動させて運用している場合、物理マシンをつなぐネットワークにおいてその負荷に偏りが生じていると、所望のスループットが得られない場合がある。

例えば、図１に示すような情報処理システムを想定する。図１の情報処理システムには、３つの上位スイッチSSwitch１乃至３と、３つの下位スイッチLSwitch１乃至３と、仮想ルータVirtual router１及び２が実行される物理マシンAServer１及び３と、仮想マシンＶＭ１乃至６が実行される物理マシンVServer１乃至６とが含まれる。

図１の例では、ＶＭ１は、LSwitch1とSSwitch1とVirtual router１とSSwitch1とLSwitch2とを経由してＶＭ３と通信している、また、ＶＭ２は、LSwitch1とSSwitch1とLSwitch2とを経由してＶＭ４と通信している。さらに、ＶＭ５は、LSwitch2とSSwitch3とVirtual router2とSSwitch3とLSwitch3とを経由してＶＭ６と通信している。

このような場合、LSwitch1に着目すると、SSwitch1へのリンクの出力トラフィックが「５」であるのに対して、SSwitch2及びSSwitch3へのリンクの出力トラフィックが「０」となっており、SSwitch1へのリンクの出力トラフィックが大きくなってしまって、レイテンシが大きくなってしまう可能性がある。

そこで従来技術では、SSwitch1に接続されているネットワークコントローラ（Network Controller）が、上位スイッチ及び下位スイッチと連携して、ＶＭ間の通信経路を個別に変更する場合がある。例えば、ＶＭ２とＶＭ４の間の通信経路を、LSwitch1とSSwitch1とLSwitch2とを経由する通信経路から、図２に示すように、LSwitch1とSSwitch2とLSwitch2とを経由する通信経路に変更する。これによって、LSwitch1からSSwitch2へのリンクの出力トラフィックが「３」に増加するため、LSwitch1からSSwitch1へのリンクの出力トラフィックが「２」へ削減されるようになる。

このように、従来技術のようにＶＭ間の通信経路を個別に変更することで出力トラフィックの平準化が可能となる場合もある。

しかしながら、次のような場合には、このような手法が機能しない場合がある。図３に示すように、SSwitch3から物理マシンAServer3へのリンクには、Virtual router2及びVirtual router3への出力トラフィックが重なってしまっているが、どのように上位スイッチと下位スイッチとの間の通信経路を変更しようとも、この出力トラフィックの重なりは回避できない。

同様に、図４に示すように、LSwitchとVServerとの間のリンクも代替するものがないので、ＶＭ３からLSwitch1を経由してＶＭ２に至る、LSwitch1の出力トラフィックと、ＶＭ４からLSwitch1を経由してＶＭ１に至る、LSwitch1の出力トラフィックとが重なっていてレイテンシが大きくなっても、回避できない。

特開２０１２−９４１１９号公報 特表２０１２−５１１２９２号公報 特開２０１３−１７９４５６号公報 特表２０１４−５０６３４２号公報 特開２０１０−１１７７６０号公報 特開平８−１５２９０３号公報 特開２００６−２４４４７９号公報

従って、本発明の目的は、一側面によれば、ネットワーク負荷を効果的に平準化させるための技術を提供することである。

本発明に係る情報処理システムは、複数のスイッチ装置を介して接続された複数の情報処理装置を有する情報処理システムである。前記情報処理システムは、前記複数のスイッチ装置のいずれかに接続された制御装置を有する。前記制御装置は、仮想オブジェクト識別情報と、移動元装置識別情報と、移動先装置識別情報とを対応付けたエントリを記憶する記憶部と、エントリを前記記憶部に記憶させる移動情報作成部を有する。前記仮想オブジェクト識別情報は、前記複数の情報処理装置のいずれかで動作する移動対象の仮想オブジェクトを識別する。前記移動元装置識別情報は、前記複数の情報処理装置のうち移動元の情報処理装置を識別する。前記移動先装置識別情報は、前記複数の情報処理装置のうち移動先の情報処理装置を識別する。前記移動情報作成部は、第３の情報処理装置で動作する仮想オブジェクトを第４の情報処理装置に移動させ、さらに、前記第４の情報処理装置で動作する仮想オブジェクトを第５の情報処理装置に移動させるか否かの判断を行う。前記移動情報作成部は、前記複数の情報処理装置のうち、第１の情報処理装置と第２の情報処理装置間の通信量の所定の評価値に基づき前記判断を行う。前記移動情報作成部は、移動させるとの判断を行った場合、前記仮想オブジェクトの識別情報と、前記第３の情報処理装置を識別する識別情報と、前記第５の情報処理装置を識別する識別情報とが対応付けられた対象エントリを前記記憶部に記憶させる。

一側面によれば、ネットワーク負荷を効果的に平準化できるようになる。

図１は、従来技術を説明するための図である。 図２は、従来技術を説明するための図である。 図３は、従来技術を説明するための図である。 図４は、従来技術を説明するための図である。 図５は、実施の形態に係る情報処理システムを示す図である。 図６は、リソース制御装置の機能の概要を示す図である。 図７は、リソース制御装置の機能ブロック図である。 図８は、収集データ格納部に格納されるデータの一例を示す図である。 図９は、収集データ格納部に格納されるデータの一例を示す図である。 図１０は、本実施の形態に係る処理フローを示す図である。 図１１は、評価値の算出例を示す図である。 図１２は、評価値の算出例を示す図である。 図１３は、評価値の算出例を示す図である。 図１４は、Virtual object等の評価値の算出例を示す図である。 図１５は、Virtual object等の評価値の算出例を示す図である。 図１６は、Virtual object等の評価値の算出例を示す図である。 図１７は、Virtual object等の評価値の算出例を示す図である。 図１８は、Virtual object等の評価値の算出例を示す図である。 図１９は、Virtual object等の評価値の算出例を示す図である。 図２０は、Virtual object等の評価値の算出例を示す図である。 図２１は、物理リンクと移動対象との関係を表す模式図である。 図２２は、本実施の形態に係る処理フローを示す図である。 図２３は、本実施の形態に係る処理フローを示す図である。 図２４は、本実施の形態に係る処理フローを示す図である。 図２５は、ＶＬＡＮ ＩＤの設定について説明するための図である。 図２６は、Virtual routerの移動について説明するための図である。 図２７は、Virtual routerの移動について説明するための図である。 図２８は、Virtual routerの移動について説明するための図である。 図２９は、Virtual routerの移動について説明するための図である。 図３０は、Virtual routerの移動について説明するための図である。 図３１は、Virtual routerの移動について説明するための図である。 図３２は、ＶＭの移動について説明するための図である。 図３３は、ＶＭの移動について説明するための図である。 図３４は、ＶＭの移動について説明するための図である。 図３５は、ＶＭの移動について説明するための図である。 図３６は、ＶＭの移動について説明するための図である。 図３７は、ＶＭの移動について説明するための図である。 図３８は、ＶＭの移動について説明するための図である。 図３９は、ＶＭの移動について説明するための図である。 図４０は、Ｌ２−ｔｒｅｅの移動について説明するための図である。 図４１は、Ｌ２−ｔｒｅｅの移動について説明するための図である。 図４２は、Ｌ２−ｔｒｅｅの移動について説明するための図である。 図４３は、Ｌ２−ｔｒｅｅの移動について説明するための図である。 図４４は、Ｌ２−ｔｒｅｅの移動について説明するための図である。 図４５は、Ｌ２−ｔｒｅｅの移動について説明するための図である。 図４６は、移動によって影響を受けるトラフィックについての図である。 図４７は、同じLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図４８は、同じLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図４９は、同じLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図５０は、同じLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図５１は、同じLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図５２は、同じLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図５３は、同じLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図５４は、同じLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図５５は、同じLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図５６は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図５７は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図５８は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図５９は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図６０は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図６１は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図６２は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図６３は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図６４は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図６５は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図６６は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図６７は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図６８は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図６９は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図７０は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図７１は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図７２は、異なるLSwitchに接続されているVServerにＶＭを移動させる場合のフローの変化を説明するための図である。 図７３は、計算量削減のための工夫を説明するための図である。 図７４は、計算量削減のための工夫を説明するための図である。 図７５は、計算量削減のための工夫を説明するための図である。 図７６は、計算量削減のための工夫を説明するための図である。 図７７は、コンピュータの機能ブロック図である。 図７８は、同じ移動対象が複数回移動対象リストに存在する第１の例を説明するための図である。 図７９は、同じ移動対象が複数回移動対象リストに存在する第１の例を説明するための図である。 図８０は、同じ移動対象が複数回移動対象リストに存在する第１の例を説明するための図である。 図８１は、同じ移動対象が複数回移動対象リストに存在する第２の例を説明するための図である。 図８２は、同じ移動対象が複数回移動対象リストに存在する第２の例を説明するための図である。 図８３は、同じ移動対象が複数回移動対象リストに存在する第２の例を説明するための図である。 図８４は、同じ移動対象が移動対象リストに含まれないようにする処理の処理フローを示す図である。 図８５は、同じ移動対象が移動対象リストに含まれないようにする処理の処理フローを示す図である。 図８６は、第１の例で同じ移動対象が移動対象リストに含まれないようにした結果を示す図である。 図８７は、第２の例で同じ移動対象が移動対象リストに含まれないようにした結果を示す図である。 図８８は、移動対象リストに新たなエントリを追加する際に無駄な移動が発生しないようにする処理の処理フローを示す図である。 図８９は、移動対象リストに新たなエントリを追加する際に無駄な移動が発生しないようにする処理の処理フローを示す図である。 図９０は、第１の例で更新前後の移動対象リストを示す図である。 図９１は、第１の例で同じ移動対象が移動対象リストに含まれないようにした結果を示す図である。 図９２は、第２の例で更新前後の移動対象リストを示す図である。 図９３は、第２の例で同じ移動対象が移動対象リストに含まれないようにした結果を示す図である。

［比較例］
本実施の形態において想定するシステムの一例を図５に示す。図５の例のように、上位スイッチSSwitch1乃至n（Spine Switchとも呼ぶ）と、下位スイッチLSwitch1乃至ｘ（Leaf Switchとも呼ぶ）と、仮想マシンＶＭを配置及び移動させることができる物理マシンVServer1乃至ｙと、Virtual router（以下ＶＲとも記す）を配置及び移動させることができる物理マシンAServer1乃至ｍ（Appliance Serverとも呼ぶ）と、本実施の形態で主要な処理を実行するリソース制御装置（Resource Controller）１０００とを含む。

物理マシンVServerは、いずれかのLSwitchに接続される。下位スイッチLSwitchは、上位スイッチSSwitchのうち２以上のSSwitchに接続される。好適には、AServerが接続された各SSwitchに接続される。

AServerは、いずれかのSSwitchに接続される。なお、リソース制御装置１０００も、いずれかのSSwitchに接続される。

図６に、リソース制御装置１０００の機能の概要を示す。リソース制御装置１０００は、SSwitch、LSwitch、AServer、VServerから各種情報を収集して、それらの物理装置やAServer上のＶＲやVServer上のＶＭ等に対する制御を行う。

この制御を行うために、リソース制御装置１０００は、物理的及び仮想的なネットワーク（Physical/Virtual network）の情報に関連して、トポロジ管理を含む、物理スイッチ（Physical Switch）の管理と、仮想スイッチ（Virtual switch）及び仮想ルータ（Virtual router）の管理と、ファイアウォール（Firewall）の管理と、サブネットの管理等を行っている。本実施の形態では、各テナントにおけるサブネット内の通信経路をＬ２−ｔｒｅｅと呼ぶものとする。

また、リソース制御装置１０００は、物理マシン及び仮想マシン（Physical/Virtual machine）の情報に関連して、物理マシン（Physical machine）の管理と、仮想マシン（ＶＭ：Virtual machine）及び仮想ルータVirtual routerの使用資源量の管理と、ＶＭ及びＶＲの位置管理などを行う。なお、物理マシンの管理には、ＣＰＵ（Central Processing Unit）、メモリ及びＶＭＭ（Virtual Machine Manager）などの管理が含まれる。以下、ＶＭとＶＲとをVirtual objectと総称するものとする。物理スイッチ、物理マシン及びスイッチを、物理装置又はＰＭ（Physical machine）と総称するものとする。

具体的には、リソース制御装置１０００は、本実施の形態に関連して図７に示すような構成を有する。リソース制御装置１０００は、本実施の形態における主要な処理を行う平準化処理部１１００と、Ｌ２−ｔｒｅｅの変更を行う変更制御部１２００と、Virtual objectの移動制御を行う移動制御部１３００と、管理データ格納部１４００と、収集データ格納部１５００と、トラフィックデータ収集部１６００とを有する。

平準化処理部１１００は、制御部１１０１と、第１評価値算出部１１０２と、第２評価値算出部１１０３と、集約計算部１１０４とを有する。制御部１１０１は、第１評価値算出部１１０２と第２評価値算出部１１０３等の処理の制御を行うと共に、移動制御部１３００と変更制御部１２００とに対して指示を行う。

第１評価値算出部１１０２は、各物理装置の出力トラフィックに基づく評価値を算出する。集約計算部１１０４は、第１評価値算出部１１０２によって算出された評価値に基づき選択された物理装置に着目して、当該物理装置の出力トラフィックを所定の単位で集約する処理を実行する。第２評価値算出部１１０３は、集約計算部１１０４の処理結果を用いて選択された移動対象又は変更対象（ＶＭ，ＶＲ又はＬ２−ｔｒｅｅ）を仮に移動させた場合における物理装置の評価値を算出する。

管理データ格納部１４００は、物理的及び仮想的なネットワークの情報と物理マシン及び仮想マシンの情報とを格納する。より具体的には、管理データ格納部１４００は、本実施の形態に関連するものとして、ＶＭ及びＶＲの配置位置データと、Ｌ２−ｔｒｅｅとＶＬＡＮ（Virtual Local Area Network） ＩＤとの対応付けデータと、テナントＩＤとＶＬＡＮ ＩＤとの対応付けデータと、Ｌ２−ｔｒｅｅと経由するSServerとの対応付けデータと、各サブネットに属するＶＭのＩＤと、各ＶＲについてルーティングするサブネットとを格納している。

トラフィックデータ収集部１６００は、各物理装置から各トラフィックのデータを収集し、収集データ格納部１５００に格納する。収集データ格納部１５００は、例えば図８及び図９に示すようなデータを格納する。

図８は、各物理ポートのトラフィックのデータの一例を示す。ここでは例えば１時間毎にデータを格納する例を示しているが、間隔は１日毎といったように任意である。図８の例では、時刻と、ＰＭのＩＤ及びポート番号の組み合わせと、出力トラフィックとが登録されるようになっている。ポート番号については、ＰＭが物理スイッチであればその物理ポートのポート番号が設定されるが、VServer及びAServerの場合には、設定しないか又は常に固定のポート番号を設定するものとする。出力トラフィックについては、リンク使用率、平均通信速度、データ量又はパケット数等であるが、図８では通信速度を示している。

また、図９は、フロー単位のトラフィックのデータを示す。ここでは例えば１時間毎にデータを格納する例を示しているが、間隔は１日毎といったように任意である。図９の例では、時刻と、ＰＭのＩＤ、ポート番号、ＴＩＤ（テナントＩＤ）、ＳＩＰ（Source IP address：送信元ＩＰアドレス）及びＤＩＰ（Destination IP address：宛先ＩＰアドレス）の組み合わせと、出力トラフィックとが登録されるようになっている。ＰＭのＩＤ、ポート番号、ＴＩＤ（テナントＩＤ）、ＳＩＰ（Source IP address：送信元ＩＰアドレス）及びＤＩＰ（Destination IP address：宛先ＩＰアドレス）の組み合わせによって、送信元ＶＭから宛先ＶＭへの個別のフローが識別される。

第１評価値算出部１１０２は、主に図８に示すような、物理ポートのトラフィックのデータを用いて処理を行う。集約計算部１１０４は、主に図９に示すような、フロー毎のトラフィックデータを用いて処理を行う。第２評価値算出部１１０３は、図８及び図９に示すようなデータを用いて処理を行う。

次に、リソース制御装置１０００の処理内容について、概要を図１０乃至図２５を用いて説明する。

まず、平準化処理部１１００の制御部１１０１は、ＶＭ又はＶＲの配置先若しくはＬ２−ｔｒｅｅの変更を行う条件を満たすか否かを判断する（図１０：ステップＳ１）。例えば、ネットワークが輻輳している（例えばいずれかの物理リンクに閾値以上の出力トラフィックが検出されている）という条件、又は以下で説明するステップＳ３を先に実行してVServerとSSwitchとLSwitchとの評価値のうち最大値と最小値との差が閾値以上であるという条件を満たしているか否かを判断する。

ステップＳ１の条件を満たさない場合には、端子Ｂを介して処理を終了する。すなわち、このタイミングでの本処理は終了する。なお、本処理は、１日毎又は１時間毎といったように定期的に実行するようにしても良いし、管理者などの指示によって実行するようにしても良い。

一方、ステップＳ１の条件を満たす場合には、制御部１１０１は、第１評価値算出部１１０２に指示を行って、収集データ格納部１５００に格納されているデータから、物理スイッチSwitch（SSwitch及びLSwitch）とVServerとの各々について評価値を算出させる（ステップＳ３）。評価値は、AServer以外の物理装置の出力トラフィックの平均値又は最大値である。

SSwitchの評価値について図１１を用いて説明する。例えば、AServerへのUplinkについて出力トラフィックが９Ｇｂｐｓであり、第１のDownlinkについて出力トラフィックが４Ｇｂｐｓであり、第２のDownlinkについて出力トラフィックが３Ｇｂｐｓであり、第３のDownlinkについて出力トラフィックが４Ｇｂｐｓであるとする。そうすると、評価値が、これらの出力トラフィックのうちの最大値と定義されていれば、「９」と算出される。

また、LSwitchの評価値について図１２を用いて説明する。例えば、第１のVServerへのDownlinkについて出力トラフィックが７Ｇｂｐｓであり、第２のVServerへのDownlinkについて出力トラフィックが３Ｇｂｐｓであり、第１のSSwitchへのUplinkについて出力トラフィックが８Ｇｂｐｓであり、第２のSSwitchへのUplinkについて出力トラフィックが４Ｇｂｐｓであり、第３のSSwitchへのUplinkについて出力トラフィックが４Ｇｂｐｓであるものとする。そうすると、評価値が、これらの出力トラフィックのうち最大値と定義されていれば、「８」と算出される。

さらに、VServerの評価値について図１３を用いて説明する。例えば、LSwitchへのUplinkについて出力トラフィックが５Ｇｂｐｓであるものとする。そうすると、評価値が、これらの出力トラフィックのうち最大値と定義されていれば、「５」と算出される。

第１評価値算出部１１０２は、評価値最大の物理装置（AServer以外の物理装置）を選択する（ステップＳ５）。このように、フローの集約処理を行うべき物理装置を簡単な処理で絞り込むことができるようになる。

そして、ステップＳ５においてSSwitchが選択された場合には（ステップＳ７：Ｙｅｓルート）、第１評価値算出部１１０２は、選択されたSSwitchについて最大評価値となった物理ポートがUplinkのポートであるか否かを判断する（ステップＳ９）。ステップＳ９の条件が満たされる場合には、第１評価値算出部１１０２は、ステップＳ５で選択されたSSwitchのＩＤとUplinkであることを制御部１１０１に出力する。そして、制御部１１０１は、第２評価値算出部１１０３に対して、ステップＳ５で選択されたSSwitchのＩＤと当該SSwitchに接続されているAServer上に起動されているVirtual routerのＩＤ等を指定して、評価値算出を指示する。

第２評価値算出部１１０３は、制御部１１０１からの指示に応じて、集約計算部１１０４と協働して、各Virtual routerについて評価値を算出する（ステップＳ１１）。そして処理はステップＳ２３に移行する。

例えば、図１４に示すように、SSwitchのUplink（物理リンク）の評価値が「９」であるためステップＳ５で選択された場合、集約計算部１１０４は、Virtual router1からの出力トラフィックを集約し、Virtual router2からの出力トラフィックを集約する。具体的には、Virtual router1がルーティングする第１のサブネットに属するＶＭと第２のサブネットに属するＶＭとの間のトラフィックを集約し、Virtual router2がルーティングする第３のサブネットに属するＶＭと第４のサブネットに属するＶＭとの間のトラフィックを集約する。

そうすると、図１４に示すように、Virtual router1からの出力トラフィックが５Ｇｂｐｓと集約され、Virtual router2からの出力トラフィックが４Ｇｂｐｓと集約される。そうすると、第２評価値算出部１１０３は、この集約結果から、Virtual router1の評価値を「５」とし、Virtual router2の評価値を「４」として算出する。

一方、ステップＳ９の条件が満たされなかった場合には、第１評価値算出部１１０２は、ステップＳ５で選択されたSSwitchのＩＤとDownlinkであることを制御部１１０１に出力する。そして、制御部１１０１は、第２評価値算出部１１０３に対して、ステップＳ５で選択されたSSwitchのＩＤと、当該SSwitchが対応付けられているＬ２−ｔｒｅｅのデータと、当該SSwitchに接続されているAServer上に起動されているVirtual routerのＩＤ（例えばＩＰアドレス）と、各ＶＭのＩＤ（例えばＩＰアドレス）等を指定して、評価値算出を指示する。

第２評価値算出部１１０３は、制御部１１０１からの指示に応じて、集約計算部１１０４と協働して、各Virtual router、各Ｌ２−ｔｒｅｅ及び各送信先ＶＭの評価値を算出する（ステップＳ１３）。そして処理はステップＳ２３に移行する。

例えば、図１５に示すように、SSwitchの１つのDownlinkの評価値が７ＧｂｐｓであるためステップＳ５で選択された場合、集約計算部１１０４は、ＶＭ１への出力トラフィックを集約し、ＶＭ２への出力トラフィックを集約する。また、別の側面として、集約計算部１１０４は、このSSwitchに接続されているAServer上で起動されているVirtual router1を経由した出力トラフィック（サブネット間通信の出力トラフィック）と、Virtual router1を経由しない出力トラフィック（サブネット内通信の出力トラフィック）とを集約する。

すなわち、物理リンクの出力トラフィック＝Virtual router経由の出力トラフィック＋Ｌ２−ｔｒｅｅ毎の出力トラフィック＝送信先ＶＭの出力トラフィックの総和という関係が成り立つ。

図１５の例では、ＶＭ１への出力トラフィックが５Ｇｂｐｓと集約され、ＶＭ２への出力トラフィックが２Ｇｂｐｓと集約される。また、Virtual router1を経由する出力トラフィックが３Ｇｂｐｓと集約され、Virtual router1を経由しない出力トラフィックが４Ｇｂｐｓと集約される。集約計算部１１０４は、この集約結果から、ＶＭ１の評価値を「５」とし、ＶＭ２の評価値を「２」とし、Virtual router1の評価値を「３」とし、このSSwitchに対応付けられているＬ２−ｔｒｅｅ（サブネット）の評価値を「４」と算出する。ここではサブネットは１つであるものとする。

なお、図１６に示すように、AServerに接続されていないためVirtual router経由の出力トラフィックがなく、SSwitchのDownlinkに着目する場合には、送信先ＶＭ毎に出力トラフィックを集約する。図１６の例では、ＶＭ１への出力トラフィックはＶＭ２からの出力トラフィックと、ＶＭ３からの出力トラフィックとの和となる。一方、ＶＭ４への出力トラフィックはＶＭ２からの出力トラフィックと同じである。送信元ＶＭを、仮に後の処理で選択したとしてもSSwitchのDownlinkの出力トラフィックは変化しないので、送信先ＶＭに着目する。

ステップＳ５で選択された物理装置がSSwitchではなく（ステップＳ７：Ｎｏルート）、LSwitchが選択された場合（ステップＳ１５：Ｙｅｓルート）、第１評価値算出部１１０２は、選択されたLSwitchについて最大評価値となった物理ポートがUplinkのポートであるか否かを判断する（ステップＳ１７）。ステップＳ１７の条件が満たされる場合には、第１評価値算出部１１０２は、ステップＳ５で選択されたLSwitchのＩＤとUplinkであることを制御部１１０１に出力する。そして、制御部１１０１は、第２評価値算出部１１０３に対して、ステップＳ５で選択されたLSwitchのＩＤと、各Virtual routerのＩＤと、各ＶＭのＩＤ等を指定して、評価値算出を指示する。

第２評価値算出部１１０３は、制御部１１０１からの指示に応じて、集約計算部１１０４と協働して、各Virtual router、各Ｌ２−ｔｒｅｅ及び各送信元ＶＭの評価値を算出する（ステップＳ１９）。そして処理はステップＳ２３に移行する。

例えば、図１７に示すように、LSwitchの１つのUplinkの評価値が６ＧｂｐｓであるためステップＳ５で選択された場合、集約計算部１１０４は、ＶＭ１からの出力トラフィックを集約し、ＶＭ２からの出力トラフィックを集約する。また、別の側面として、集約計算部１１０４は、Virtual router1を経由する出力トラフィック（サブネット間通信の出力トラフィック）と、Virtual router1を経由しない出力トラフィック（サブネット内通信の出力トラフィック）とを集約する。

ここでも、物理リンクの出力トラフィック＝Virtual router経由の出力トラフィック＋Ｌ２−ｔｒｅｅ毎の出力トラフィック＝送信元ＶＭの出力トラフィックの総和、という関係が成り立つ。

図１７の例では、ＶＭ１からの出力トラフィックが３Ｇｂｐｓと集約され、ＶＭ２からの出力トラフィックが３Ｇｂｐｓと集約される。また、Virtual router1を経由する出力トラフィックが４Ｇｂｐｓと集約され、Virtual router1を経由しない出力トラフィックが２Ｇｂｐｓと集約される。集約計算部１１０４は、この集約結果から、ＶＭ１の評価値を「３」とし、ＶＭ２の評価値を「３」とし、Virtual router1の評価値を「４」とし、このSSwitchに対応付けられているＬ２−ｔｒｅｅ（サブネット）の評価値を「２」と算出する。ここではサブネットは１つであるものとする。

なお、Virtual router経由の出力トラフィックがなく、LSwitchのUplinkに着目する場合には、送信元ＶＭ毎に出力トラフィックを集約する。図１８の例では、ＶＭ１からの出力トラフィックはＶＭ４への出力トラフィックと同じである。一方、ＶＭ３からの出力トラフィックはＶＭ４への出力トラフィックとＶＭ５への出力トラフィックの和である。送信先ＶＭを、後の処理で選択したとしてもLSwitchのUplinkの出力トラフィックは変化しないので、送信元ＶＭに着目する。

一方、ステップＳ１７の条件を満たさない場合、又はステップＳ５で特定のVServerが選択された場合（ステップＳ１７：Ｎｏルート且つステップＳ１５：Ｎｏルート）、第１評価値算出部１１０２は、ステップＳ５で選択されたLSwitchのＩＤとDownlinkであること、又はステップＳ５で選択されたVServerのＩＤを制御部１１０１に出力する。そして、制御部１１０１は、第２評価値算出部１１０３に対して、ステップＳ５で選択されたLSwitchのＩＤ又はVServerのＩＤと、各ＶＭのＩＤ等を指定して、評価値算出を指示する。

第２評価値算出部１１０３は、制御部１１０１からの指示に応じて、集約計算部１１０４と協働して、各ＶＭの評価値を算出する（ステップＳ２１）。そして処理はステップＳ２３に移行する。

なお、LSwitchのDownlinkが選択された場合には送信先ＶＭ毎に出力トラフィックを集約する。図１９に示すように、LSwitchの１つのDownlinkの評価値が「７」であるためステップＳ５で選択された場合、集約計算部１１０４は、ＶＭ１への出力トラフィックを集約し、ＶＭ２への出力トラフィックを集約する。

図１９の例では、ＶＭ１へのVirtual routerを経由する出力トラフィック３ＧｂｐｓとＶＭ１へのVirtual routerを経由しない出力トラフィック１Ｇｂｐｓとが加算されて４Ｇｂｐｓが得られる。同様に、ＶＭ２へのVirtual routerを経由する出力トラフィック１ＧｂｐｓとＶＭ２へのVirtual routerを経由しない出力トラフィック２Ｇｂｐｓとが加算されて３Ｇｂｐｓが得られる。

よって、集約計算部１１０４は、この集約結果から、ＶＭ１の評価値を「４」とし、ＶＭ２の評価値を「３」と算出する。

また、VServerが選択された場合には送信元ＶＭ毎に出力トラフィックを集約する。図２０に示すように、VServerからの物理リンクが５ＧｂｐｓであるためステップＳ５で選択された場合には、集約計算部１１０４は、ＶＭ１からの出力トラフィックを集約し、ＶＭ２からの出力トラフィックを集約する。

図２０の例では、ＶＭ１からのVirtual routerを経由する出力トラフィック１ＧｂｐｓとＶＭ１からのVirtual routerを経由しない出力トラフィック１Ｇｂｐｓとが加算されて２Ｇｂｐｓが得られる。同様に、ＶＭ２からのVirtual routerを経由する出力トラフィック２ＧｂｐｓとＶＭ２からのVirtual routerを経由しない出力トラフィック１Ｇｂｐｓとが加算されて３Ｇｂｐｓが得られる。

よって、集約計算部１１０４は、この集約結果から、ＶＭ１の評価値を「２」とし、ＶＭ２の評価値を「３」と算出する。

その後、第２評価値算出部１１０２は、評価値算出がなされた移動候補（ＶＭ、ＶＲ、Ｌ２−ｔｒｅｅ）を、評価値で降順にソートすることでソートリストを生成し、制御部１１０１に出力する（ステップＳ２３）。処理は端子Ａを介して図２２の処理に移行する。

図１４の例では、Virtual router1が先頭のソートリストが生成される。図１５の例では、ＶＭ１、Ｌ２−ｔｒｅｅ、ＶＲ１、ＶＭ２の順番のソートリストが生成される。図１７の例では、ＶＲ１、ＶＭ１、ＶＭ２、Ｌ２−ｔｒｅｅの順番のソートリストが生成される。図１９の例では、ＶＭ１が先頭のソートリストが生成される。図２０の例では、ＶＭ２が先頭のソートリストが生成される。

以上述べた事項をまとめると、図２１に示すようになる。すなわち、SSwitchのUplink（図２１のＡ）が選択されると、Virtual routerが移動対象となる。また、SSwitchのDownlink（図２１のＢ）又はLSwitchのUplink（図２１のＣ）が選択されると、Virtual router、ＶＭ又はＬ２−ｔｒｅｅが移動対象となる。さらに、LSwitchのDownlink（図２１のＤ）又はVServerのリンク（図２１のＥ）が選択されると、ＶＭが移動対象となる。

図２２の処理の説明に移行して、制御部１１０１は、ソートリストが空になったか判断する（ステップＳ２５）。以下の処理で、ソートリストの先頭から移動候補を取り出すので、初期的には空にはならない。なお、ソートリストが空になると、物理リンクの出力トラフィックをこれ以上平準化させることができなかったということで、今回のタイミングにおける処理は終了する。

一方、ソートリストが空ではない場合には、制御部１１０１は、ソートリストの先頭を移動対象として取り出す（ステップＳ２７）。ＶＭ、ＶＲ又はＬ２−ｔｒｅｅを取り出す。

そして、制御部１１０１は、移動対象がＬ２−ｔｒｅｅであるか否かを判断する（ステップＳ２９）。移動対象がＬ２−ｔｒｅｅではない場合には、処理は端子Ｃを介して図２３の処理に移行する。

一方、移動対象がＬ２−ｔｒｅｅである場合には、制御部１１０１は、第１評価値算出部１１０２に対して、Ｌ２−ｔｒｅｅを他のSSwitchへ移動させることを仮定した場合における各スイッチ及びVServerの評価値を算出させる（ステップＳ３１）。この処理では、他のSSwitchが複数存在する場合には、各他のSSwitchを移動先候補として、ステップＳ３と同様に各スイッチ及びVServerの評価値を算出する。但し、移動対象によって変化するのは、一部のスイッチなどであるから、そのスイッチなどについてのみ評価値を算出する。なお、本ステップの処理については、後に詳細に説明する。

そうすると、制御部１１０１は、移動先候補毎に、評価値を降順にソートすることで評価値リストを生成する（ステップＳ３３）。例えば評価値が［０，３，５，２］と計算された場合には、評価値リストは［５，３，２，０］となる。

そして、制御部１１０１は、評価値リストが最小となるSSwitchを移動先に選択する（ステップＳ３５）。本ステップでは評価値リストの比較を行うことになるが、同じ順番の評価値同士を上から順番に比較して、最初に差が出た評価値が小さい方が小さい評価値リストと判断される。具体的には、評価値リスト［５，３，２，０］と評価値リスト［５，４，２，０］とを比較する場合には、２番目の評価値が「３」と「４」になるので、前者の評価値リストが小さいと判断される。そして処理は端子Ｄを介して図２４の処理に移行する。

図２３を用いて端子Ｃ以降の処理を説明する。制御部１１０１は、移動対象がＶＭであるか否かを判断する（ステップＳ３７）。移動対象がＶＭではない場合には、処理は端子Ｆを介して図２４の処理に移行する。

一方、移動対象がＶＭである場合には、制御部１１０１は、第１評価値算出部１１０２に対して、ＶＭを他のVServerへ移動させることを仮定した場合における各スイッチ及びVServerの評価値を算出させる（ステップＳ３９）。この処理では、他のVServerが複数存在する場合には、各他のVServerを移動先候補として、ステップＳ３と同様に各スイッチ及びVServerの評価値を算出する。但し、移動対象によって変化するのは、一部のスイッチなどであるから、そのスイッチなどについてのみ評価値を算出する。なお、本ステップの処理については、ステップＳ３１と共に後に詳細に説明する。

そうすると、制御部１１０１は、移動先候補毎に、評価値を降順にソートすることで評価値リストを生成する（ステップＳ４１）。

そして、制御部１１０１は、評価値リストが最小となるVServerを移動先に選択する（ステップＳ４３）。そして処理は端子Ｄを介して図２４の処理に移行する。

そして図２４を用いて端子Ｆ以降の処理を説明する。ステップＳ３７でＶＭではないと判断されると、移動対象がVirtual routerであることになる。

従って、制御部１１０１は、第１評価値算出部１１０２に対して、Virtual routerを他のAServerへ移動させることを仮定した場合における各スイッチ及びVServerの評価値を算出させる（ステップＳ４５）。この処理では、他のAServerが複数存在する場合には、各他のAServerを移動先候補として、ステップＳ３と同様に各スイッチ及びVServerの評価値を算出する。但し、移動対象によって変化するのは、一部のスイッチなどであるから、そのスイッチなどについてのみ評価値を算出する。なお、本ステップの処理については、ステップＳ３１及びＳ３９と共に後に詳細に説明する。

そうすると、制御部１１０１は、移動先候補毎に、評価値を降順にソートすることで評価値リストを生成する（ステップＳ４７）。

そして、制御部１１０１は、評価値リストが最小となるAServerを移動先に選択する（ステップＳ４９）。

その後、制御部１１０１は、移動後の評価値リストが移動前の評価値リスト（ステップＳ３で算出された評価値から得られる評価値リスト）より小さいか否かを判断する（ステップＳ５１）。この条件を満たさない場合には、移動させても出力トラフィックの平準化に寄与しないので、ソートリストから次の移動対象を取り出すことにする。よって、処理は端子Ａを介して図２２のステップＳ２５に戻る。

一方、移動後の評価値リストが移動前の評価値リストより小さい場合には、制御部１１０１は、移動対象を、選択された移動先に移動するように、移動制御部１３００又は変更制御部１２００に指示を行う（ステップＳ５３）。そして処理は終了する。

ステップＳ５３では、ＶＭやＶＲを移動させる場合には、現在配置されている物理マシンと移動先の物理マシンを指定して所定のコマンドを実行することで実現される。また、管理データ格納部１４００のデータも更新する。

さらに、Ｌ２−ｔｒｅｅを変更する場合には、サブネット内通信において経由するSSwitchを変更することになる。この場合、変更先のSSwitchを経由するようにＶＬＡＮ ＩＤを変更する。従って、図２５に模式的に示すように、Ｌ２−ｔｒｅｅに係るサブネットに属するＶＭが配置されている各VServerにおけるVirtual switchに対して、変更先のSSwitchに対応するＶＬＡＮ ＩＤ（図２５では「３」）を、Ｌ２−ｔｒｅｅに係るサブネットに属するＶＭから出力するパケットに付加するように設定する。より具体的には上記の条件を満たすＶＭがつながれた、Virtual switchの特定のポートから出力されるパケットに、変更先のSSwitchに対応するＶＬＡＮ ＩＤを設定する。なお、図２５に示すように、異なるサブネットのＶＭと通信を行う場合にはVirtual routerを経由するので、その場合には異なるＶＬＡＮ ＩＤ（図２５では「２」）を付与する。

次に、図２６乃至図３１を用いてVirtual routerが移動される場合について説明する。図２６は、初期状態を表しており、AServer3にVirtual router2及びVirtual router3が起動されているため、SSwitch3のUplinkにおいてレイテンシが大きくなってしまっている（部分Ｘ１）。本実施の形態では、図２７に示すように、各スイッチ及び各VServerについて出力トラフィックについての評価値を算出する。そうすると、SSwitch3の評価値は「５」となって選択される。図２１の説明に従えば、Virtual routerが移動対象となる。

そして、図２８に示すように、Virtual router2への出力トラフィックを集約して評価値を算出すると「２」となり、Virtual router3への出力トラフィックを集約して評価値を算出すると「３」となる。従って、最初に移動対象として選択されるのはVirtual router3となる。

そうすると、Virtual router3を、AServer1に移動させる第１のケースと、AServer2に移動させる第２のケースとについて、評価値リストを計算することになる。

第１のケースでは、図２９に示すように、移動元AServer3に接続されるSSwitch3と、移動先AServer1に接続されるSSwitch1と、Virtual router3を経由するトラフィックが通過するLSwitch１とについてのみ、評価値を算出し直すことになる。図２９の場合には、SSwitch3については評価値が減り、SSwitch1については評価値が増加し、LSwitch1については結果的に評価値が変わらないということになる。この場合、評価値リストは［４，３，３，３，２，２，２，１，０，０，０，０］となる。最大評価値は「５」から「４」になっているので、移動前より評価値リストが小さいことは明らかである。

第２のケースでは、図３０に示すように、移動元AServer3に接続されるSSwitch3と、移動先AServer2に接続されるSSwitch2と、Virtual router3を経由するトラフィックが通過するLSwitch1とについてのみ、評価値を算出し直すことになる。図３０の場合には、SSwitch3については評価値が減り、SSwitch2については評価値が増加し、LSwitch1については結果的に評価値が変わらないということになる。この場合、評価値リストは［３，３，３，３，２，２，２，１，１，０，０，０］となる。最大評価値は「５」から「３」になっているので、移動前より評価値が小さいことは明らかである。さらに、第１の場合よりも最大評価値が「４」から「３」に小さくなっていたので、AServer2が適切な移動先であることが分かる。

すなわち、図３１に示すような状態に変更することで、移動前よりも、出力トラフィックが平準化される。

次に、図３２乃至図３９を用いてＶＭが移動される場合について説明する。図３２は初期状態を表しており、ＶＭ３からＶＭ２へのトラフィックと、ＶＭ４からＶＭ１へのトラフィックが重なってしまってLSwitch1のDownlinkのレイテンシが大きくなってしまっている（部分Ｘ２）。

本実施の形態では、図３３に示すように、各スイッチ及び各VServerについて出力トラフィックについての評価値を算出する。そうすると、LSwitch1の評価値は「５」となって選択される。図２１の説明に従えば、送信先ＶＭが移動対象となる。

そして、図３４に示すように、ＶＭ１への出力トラフィックを集約して評価値を算出すると「２」となり、ＶＭ２への出力トラフィックを集約して評価値を算出すると「３」となる。従って、最初に移動対象として選択されるのはＶＭ２となる。

そうすると、ＶＭ２を、VServer2に移動させる第１のケースと、VServer3に移動させる第２のケースと、VServer4に移動させる第３のケースと、VServer5に移動させる第４のケースとについて、評価値リストを算出することになる。

第１のケースでは、図３５に示すように、移動元のVServer1と、移動先のVServer2と、移動元のVServer1と移動先のVServer2とが接続されているLSwitch1とについて、評価値を計算し直すことになる。図３５の場合には、VServer1については評価値が減り、VServer2についても評価値が減り、LSwitch1についても評価値が減るということになる。この場合、評価値リストは［３，２，２，２，２，１，１，１，１，０，０］となる。最大評価値は「５」から「３」になっているので、移動前より評価値が小さいことは明らかである。

第２のケースでは、図３６に示すように、移動元のVServer1と、移動先のVServer3と、移動元のVServer1が接続されているLSwitch1と、移動先のVServer3が接続されているLSwitch2と、移動対象であるＶＭ２のサブネット内通信で経由するSSwitch2とについて、評価値を計算し直すことになる。図３６の場合には、VServer1については評価値が減り、VServer3については評価値は変わらず、LSwitch1については評価値は減り、LSwitch2については評価値が増加し、SSwitch2については評価値が増加するということになる。この場合、評価値リストは［４，４，３，３，２，１，１，１，１，０，０］となる。最大評価値は「５」から「４」になっているので、移動前より評価値が小さいことは明らかである。

第３のケースでは、図３７に示すように、移動元のVServer1と、移動先のVServer4と、移動元のVServer1が接続されているLSwitch1と、移動先のVServer4が接続されているLSwitch2と、移動対象であるＶＭ２のサブネット内通信で経由するSSwitch2とについて、評価値を計算し直すことになる。図３７の場合には、VServer1については評価値が減り、VServer4については評価値は変わらず、LSwitch1については評価値は減り、LSwitch2については評価値が増加し、SSwitch2については評価値が増加するということになる。この場合、評価値リストは［４，４，３，３，２，１，１，１，１，０，０］となる。最大評価値は「５」から「４」になっているので、移動前より評価値が小さいことは明らかである。

第４のケースでは、図３８に示すように、移動元のVServer1と、移動先のVServer5と、移動元のVServer1が接続されているLSwitch1と、移動先のVServer5が接続されているLSwitch3と、移動対象であるＶＭ２のサブネット内通信で経由するSSwitch2とについて、評価値を計算し直すことになる。図３８の場合には、VServer1については評価値が減り、VServer5については評価値は変わらず、LSwitch1については評価値は減り、LSwitch3については評価値が増加し、SSwitch2については評価値が増加するということになる。この場合、評価値リストは［４，４，３，３，２，２，１，１，１，０，０］となる。最大評価値は「５」から「４」になっているので、移動前より評価値が小さいことは明らかである。

第１のケースから第４のケースについて評価値リストを比較すると、第１のケースが最大評価値が小さいので、評価値リストとしても小さいと判断される。

すなわち、図３９に示すような状態に変更することで、移動前よりも、出力トラフィックが平準化される。

次に、図４０乃至図４５を用いてＬ２−ｔｒｅｅ（サブネット内通信）が移動される場合について説明する。図４０は初期状態を表しており、ＶＭ７からＶＭ６へのトラフィックと、ＶＭ７からＶＭ５へのトラフィックと、ＶＭ２からＶＭ４へのトラフィックとが重なってしまってSSwitch2のDownlinkのレイテンシが大きくなってしまっている（部分Ｘ３）。

本実施の形態では、図４１に示すように、各スイッチ及び各VServerについて出力トラフィックについての評価値を算出する。そうすると、SSwitch2の評価値は「３」となって選択される。図２１の説明に従えば、送信先ＶＭ、ＶＲ及びＬ２−ｔｒｅｅが移動対象となる。但し、SSwitch2はAServerに接続されていないので、ＶＲは移動対象として選択されない。

そして、図４２に示すように、ＶＭ４への出力トラフィックを集約して評価値を算出すると「１」となり、ＶＭ５への出力トラフィックを集約して評価値を算出すると「１」となり、ＶＭ６への出力トラフィックを集約して評価値を算出すると「１」となり、ＶＭ３及びＶＭ５乃至ＶＭ７についてのサブネットＬ２−ｔｒｅｅ＿ａについての評価値は「２」となり、ＶＭ１、ＶＭ２及びＶＭ４についてのサブネットＬ２−ｔｒｅｅ＿ｂについての評価値は「１」となる。従って、最初に選択されるのはＬ２−ｔｒｅｅ＿ａとなる。

そうすると、Ｌ２−ｔｒｅｅ＿ａを、SSwitch1に移動させる第１のケースと、SSwitch3に移動させる第２のケースとについて、評価値リストを算出することになる。

第１のケースでは、図４３に示すように、移動元のSSwitch2と、移動先のSSwitch1とについて、評価値を計算し直すことになる。図４３の場合には、SSwitch2については評価値が減り、SSwicth1については評価値が増加するということになる。この場合、評価値リストは［３，２，２，２，１，１，１，１，１，０，０］となる。評価値リストは、移動前から変化していない。

第２のケースでは、図４４に示すように、移動元のSSwitch2と、移動先のSSwitch3とについて、評価値を計算し直すことになる。図４４の場合には、SSwitch2については評価値が減り、SSwicth3については評価値が増加するということになる。この場合、評価値リストは［２，２，２，２，１，１，１，１，１，１，０］となる。最大評価値は「３」から「２」になっているので、移動前より評価値が小さいことは明らかである。

第１のケースと第２のケースについて評価値リストを比較すると、第２のケースが最大評価値が小さいので、評価値リストとしても小さいと判断される。

すなわち、図４５に示すような状態に変更することで、移動前よりも、出力トラフィックが平準化される。

以上のように、従来技術で行われている物理スイッチによる経路切り替えでは緩和できないトラフィックの偏りを平準化（均衡）させることができる。これによって、ＶＭ間の通信性能が向上する。また、トラフィックの平準化が行われることによって、各物理リンクに余剰帯域が増加するため、一時的に増加するトラフィックによる輻輳を回避できる可能性が高い。

また、上で述べた処理は処理負荷が低く計算時間が短い。具体的には物理リンク単位で第１段階の評価値を算出した上で、選択された物理リンクについてフローを集約してＶＭ、ＶＲ又はＬ２−ｔｒｅｅについて評価値を算出するので、集約処理の負荷が削減されている。さらに、移動又は変更されるＶＭ、ＶＲ又はＬ２−ｔｒｅｅに関係する物理装置についてのみ評価値の更新を行う点でも、処理負荷が削減されている。

［補足］
［フローの集約について］
着目する物理リンクに応じて集約すべきフローが異なる。
（ａ）SSwitchのUplink
Virtual router毎のフロー
（ｂ）SSwitchのDownlink
Virtual router毎のフロー、Ｌ２−ｔｒｅｅ毎のフロー、送信元ＶＭ毎のフロー及び送信先ＶＭ毎のフロー
ＶＭについては、移動先を決定する処理のために、Virtual routerを経由するフローと、Virtual routerを経由しないフローとを区別して集約する。
（ｃ）LSwitchのUplink
Virtual router毎のフロー、Ｌ２−ｔｒｅｅ毎のフロー、送信元ＶＭ毎のフロー及び送信先ＶＭ毎のフロー
ＶＭについては、移動先を決定する処理のために、Virtual routerを経由するフローと、Virtual routerを経由しないフローとを区別して集約する。
（ｄ）LSwitchのDownlink
送信元ＶＭ毎のフロー、送信先ＶＭ毎のフロー
ＶＭについては、移動先を決定する処理のために、Virtual routerを経由するフローと、Virtual routerを経由しないフローとを区別して集約する。
（ｅ）VServer
送信元ＶＭ毎のフロー、送信先ＶＭ毎のフロー
ＶＭについては、移動先を決定する処理のために、Virtual routerを経由するフローと、Virtual routerを経由しないフローとを区別して集約する。

［移動により変更されるトラフィック］
移動すべきＶＭ、Virtual router又はＬ２−ｔｒｅｅが特定されると、仮に移動させて評価値を更新するが、その際に影響を受けるのは、図４６に示すようなトラフィックである。このようなトラフィックが通過するスイッチ及びVServerの評価値が変化する。

［移動先の決定処理について］
ＶＭ、ＶＲ又はＬ２−ｔｒｅｅが移動又は変更されることによって影響を受ける物理リンクを有するスイッチ及びVServerのみについて、スイッチ及びVServerについて評価値を再計算する。この際、移動前の移動対象（ＶＭ、ＶＲ又はＬ２−ｔｒｅｅ）の評価値を用いて、スイッチ及びVServerについての評価値を更新する。

（１）Virtual router又はＬ２−ｔｒｅｅを移動させる場合
SSwitchのUplink及びDownlink、LSwitchのUplink
これらについては、移動先のAServerに接続されているSSwitch又はSSwitchへ移動対象の評価値分だけ影響がある。

（２）ＶＭを移動させる場合
移動対象のＶＭを同じLSwitchに接続されているVServerに移動させる場合には、以下で述べる８個の出力トラフィックが変化する。
一方、移動対象のＶＭを異なるLSwitchに接続されているVServerに移動させる場合には、以下で述べる１６個の出力トラフィックが変化する。

ここで以下の説明に用いる記号の説明を行っておく。

（Ａ）同じLSwitchに接続されているVServerに移動させる場合
図４７に示すように、１つのLSwitchにＮ個のVServerが接続されている場合に、１番目のVServerに起動されているＶＭをＮ番目のVServerに移動させることを想定する。この場合、（１）乃至（８）のトラフィックに変化が生ずる。具体的には、以下に表されるような変更がある。

以下、このような場合について具体的に示す。ここで、図４８に示す移動前のトラフィックに基づき説明する。なお、SSwitch2側にVirtual routerが設けられており、SSwitch1にはＬ２−ｔｒｅｅが設定されているものとする。そして、ＶＭはVServer1からVServer2へ移動するものとする。さらに、図４８において点線についてはＶＭからの出力トラフィックを表しており、実線についてはＶＭへの出力トラフィックを表すものとする。

図４９は移動後のトラフィックを表している。なお、移動元のVServer1内のＶＭについてのトラフィックは図示せずとも「０」に変化する。そして、VServer1からLSwitch1への出力トラフィックと、LSwitch1からVServer1への出力トラフィックと、VServer2内のＶＭへの出力トラフィック及びＶＭからの出力トラフィックと、VServer2からLSwitch1への出力トラフィックと、LSwitch1からVServer2への出力トラフィックとが変化する。

図４７の（３）の出力トラフィックは、図５０に示すように、ＶＭ２からＶＭ１へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ２からＶＭ１へのサブネット間通信（Virtual router）との和になっている。「２」と「１４」は、図４８に示されている移動前の出力トラフィックを表している。

図４７の（４）の出力トラフィックは、図５１に示すように、ＶＭ１からＶＭ２へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ２からＶＭ１へのサブネット内通信（Virtual router）との和となっている。「１」と「１５」は、図４８に示されている移動前の出力トラフィックを表している。

図４７の（５）の出力トラフィックは、図５２に示すように、ＶＭ２からＶＭ１へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ４及びＶＭ５からＶＭ１へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ２乃至ＶＭ５からＶＭ１へのサブネット間通信（Virtual router）と、ＶＭ１からＶＭ３へのサブネット間通信（Virtual router）との和となる。「２」「４」「５」「６」は、図４８に示されている移動前の出力トラフィックを表している。

図４７の（６）の出力トラフィックは、図５３に示すように、ＶＭ１からＶＭ２へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ１からＶＭ４及びＶＭ５へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ１からＶＭ２乃至ＶＭ５へのサブネット間通信（Virtual router）と、ＶＭ３からＶＭ１へのサブネット間通信（Virtual router）との和となっている。「１」「３」「６」「５」は、図４８に示されている移動前の出力トラフィックを表している。

図４７の（７）の出力トラフィックは、図５４に示すように、ＶＭ１からＶＭ３へのサブネット内通信（Ｌ２−ｔｒｅｅ）である。「５」は、図４８に示されている移動前の出力トラフィックを表している。

図４７の（８）の出力トラフィックは、図５５に示すように、ＶＭ３からＶＭ１へのサブネット内通信（Ｌ２−ｔｒｅｅ）である。「６」は、図４８に示されている移動前の出力トラフィックを表している。

（Ｂ）異なるLSwitchに接続されているVServerに移動させる場合
図５６に示すように、１つのLSwitchにＮ個のVServerが接続されており、全部でＭ個のLSwitchが設けられている場合に、１番目のVServerに起動されているＶＭをＭ＊Ｎ番目のVServerに移動させることを想定する。この場合、（１）乃至（１６）のトラフィックに変化が生ずる。具体的には、以下に表されるような変更がある。

以下、このような場合について具体的に示す。ここで、図５７に示す移動前のトラフィックに基づき説明する。なお、SSwitch2側にVirtual routerが設けられており、SSwitch1にはＬ２−ｔｒｅｅが設定されているものとする。そして、ＶＭはVServer1からVServer6へ移動するものとする。さらに、図５７において点線についてはＶＭからの出力トラフィックを表しており、実線についてはＶＭへの出力トラフィックを表すものとする。

図５８は移動後のトラフィックを表している。なお、移動元のVServer1内のＶＭについてのトラフィックは図示せずとも「０」に変化する。そして、VServer1からLSwitch1への出力トラフィックと、LSwitch1からVServer1への出力トラフィックと、LSwitch1からSSwitch1への出力トラフィックと、SSwitch1からLSwitch1への出力トラフィックと、LSwitch1からSSwitch2への出力トラフィックと、SSwitch2からLSwitch1への出力トラフィックと、SSwitch1からLSwitch3への出力トラフィックと、LSwitch3からSSwitch1への出力トラフィックと、SSwitch2からLSwitch3への出力トラフィックと、LSwitch3からSSwitch2への出力トラフィックと、VServer6内のＶＭへの出力トラフィック及びＶＭからの出力トラフィックと、VServer6からLSwitch3への出力トラフィックと、LSwitch3からVServer6への出力トラフィックとが変化する。

図５６の（３）の出力トラフィックは、図５９に示すように、ＶＭ２からＶＭ１へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ２からＶＭ１へのサブネット間通信（Virtual router）との和になっている。「２」と「２４」は、図５７に示されている移動前の出力トラフィックを表している。

図５６の（４）の出力トラフィックは、図６０に示すように、ＶＭ１からＶＭ２へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ１からＶＭ２へのサブネット間通信（Virtual router）との和となっている。「１」と「２５」は、図５７に示されている移動前の出力トラフィックを表している。

図５６の（５）の出力トラフィックは、図６１に示すように、ＶＭ２からＶＭ１へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ３からＶＭ１へのサブネット内通信（Ｌ２−ｔｒｅｅ）との和となる。「２」「６」は、図５７に示されている移動前の出力トラフィックを表している。

図５６の（６）の出力トラフィックは、図６２に示すように、ＶＭ１からＶＭ２へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ１からＶＭ３へのサブネット内通信（Ｌ２−ｔｒｅｅ）との和となる。「１」「５」は、図５７に示されている移動前の出力トラフィックを表している。

図５６の（７）の出力トラフィックは、図６３に示すように、ＶＭ２及びＶＭ３からＶＭ１へのサブネット間通信（Virtual router）である。「２６」は、図５７に示されている移動前の出力トラフィックを表している。

図５６の（８）の出力トラフィックは、図６４に示すように、ＶＭ１からＶＭ２及びＶＭ３へのサブネット間通信（Virtual router）である。「２３」は、図５７に示されている移動前の出力トラフィックを表している。

図５６の（９）の出力トラフィックは、図６５に示すように、ＶＭ２からＶＭ１へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ３からＶＭ１へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ５からＶＭ１へのサブネット内通信（Ｌ２−ｔｒｅｅ）の和となる。「２」「６」「１２」は、図５７に示されている移動前の出力トラフィックを表している。

図５６の（１０）の出力トラフィックは、図６６に示すように、ＶＭ１からＶＭ２へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ１からＶＭ３へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ１からＶＭ５へのサブネット内通信（Ｌ２−ｔｒｅｅ）の和となる。「１」「５」「１１」は、図５７に示されている移動前の出力トラフィックを表している。

図５６の（１１）の出力トラフィックは、図６７に示すように、ＶＭ２、ＶＭ３、ＶＭ５乃至ＶＭ７からＶＭ１へのサブネット間通信（Virtual router）と、ＶＭ１からＶＭ６及びＶＭ７へのサブネット間通信（Virtual router）との和となっている。「１０」と「１７」は、図５７に示されている移動前の出力トラフィックを表している。

図５６の（１２）の出力トラフィックは、図６８に示すように、ＶＭ１からＶＭ２、ＶＭ３、ＶＭ５乃至ＶＭ７へのサブネット間通信（Virtual router）と、ＶＭ６及びＶＭ７からＶＭ１へのサブネット間通信（Virtual router）との和となっている。「９」と「１８」は、図５７に示されている移動前の出力トラフィックを表している。

図５６の（１３）の出力トラフィックは、図６９に示すように、ＶＭ２からＶＭ１へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ３、ＶＭ５及びＶＭ６からＶＭ１へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ２、ＶＭ３、ＶＭ５乃至ＶＭ７からＶＭ１へのサブネット間通信（Virtual router）と、ＶＭ１からＶＭ７へのサブネット間通信（Virtual router）との和となっている。「２」「４」「２２」「２１」は、図５７に示されている移動前の出力トラフィックを表している。

図５６の（１４）の出力トラフィックは、図７０に示すように、ＶＭ１からＶＭ２へのサブネット内通信（Ｌ２−ｔｒｅｅ）と、ＶＭ１からＶＭ３、ＶＭ５及びＶＭ６へのサブネット間通信（Virtual router）と、ＶＭ１からＶＭ２、ＶＭ３、ＶＭ５乃至ＶＭ７へのサブネット間通信（Virtual router）と、ＶＭ７からＶＭ１へのサブネット間通信（Virtual router）との和となっている。「１」「３」「２１」「２２」は、図５７に示されている移動前の出力トラフィックを表している。

図５６の（１５）の出力トラフィックは、図７１に示すように、ＶＭ１からＶＭ６へのサブネット内通信（Ｌ２−ｔｒｅｅ）である。「２１」は、図５７に示されている移動前の出力トラフィックを表している。

図５６の（１６）の出力トラフィックは、図７２に示すように、ＶＭ６からＶＭ１へのサブネット内通信（Ｌ２−ｔｒｅｅ）である。「２２」は、図５７に示されている移動前の出力トラフィックを表している。

［移動後の評価値算出の処理負荷削減］
どの移動先を選択するかについては評価値リストで判断するが、最終的には移動前の評価値リストより小さい評価値リストであれば移動が実際になされることになる。よって、移動前の評価値リストにおいて最大評価値以上の評価値がいずれかのスイッチ又はVServerについて算出された場合には、その移動先についての評価値算出を打ち切ることで、計算量を削減できる。

例えば、移動前の状態の一例を図７３に示す。図７３の例では、AServer3にVirtual routerが起動されているが、ここではVirtual routerを移動先候補AServer1に移動させる場合を考える。なお、移動前の評価値リストにおける最大評価値は「５」である。

この例では、図７４に示すように、移動先AServer1が接続されているSSwitch1の評価値を算出し直すと、「６」が得られたものとする。そうすると、SSwitch3等の評価値を更新することになるが、更新せずともAServer1を選択することはないので、移動先AServer1についての評価値算出処理は打ち切り、移動先候補AServer2についての処理に移行する。

さらに、図７５に示すように、SSwitchのDownlinkが評価値最大で選択され、VServer1に起動された送信先ＶＭが移動対象として選択されたとする。しかし、送信先ＶＭをVServer1が接続されているLSwitchに接続されているVServer2及びVServer3に移動させても、SSwitchのDownlinkの出力トラフィックは変わらない。従って、VServer2及びVServer3を移動先候補から除外できる。このようにすれば、評価値の計算負荷を削減できる。

また、図７６に示すように、LSwitchのUplinkが評価値最大で選択され、VServer1に起動された送信元ＶＭが移動対象として選択されたとする。しかし、送信元ＶＭをVServer1が接続されているLSwitchに接続されているVServer2及びVServer3に移動させても、LSwitchのUplinkの出力トラフィックは変わらない。従って、VServer2及びVServer3を移動先候補から除外できる。このようにすれば、評価値の計算負荷を削減できる。

以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。図７に示したリソース制御装置１０００の機能ブロック構成は一例であり、プログラムモジュール構成やファイル構成と一致しない場合もある。

処理フローについても、処理結果が変わらない限り、処理ステップの実行順番を入れ替えたり、複数ステップを並列実行するようにしても良い。

なお、上で述べたリソース制御装置１０００は、コンピュータ装置であって、図７７に示すように、メモリ２５０１とＣＰＵ（Central Processing Unit）２５０３とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

以上述べた本実施の形態をまとめると、以下のようになる。

本実施の形態に係る情報処理システムは、（Ａ）複数のサブネットの少なくともいずれかに属する仮想マシンが起動される複数の第１の情報処理装置と、（Ｂ）サブネット間の通信に用いられる仮想ルータが起動される複数の第２の情報処理装置と、（Ｃ）サブネット内の通信経路と仮想マシンの配置と仮想ルータの配置とを制御する制御装置と、（Ｄ）複数の第１の情報処理装置と複数の第２の情報処理装置と制御装置とを接続する複数のスイッチとを有する。そして、上で述べた複数のスイッチは、（ｄ１）複数の第１の情報処理装置に接続する複数の第１のスイッチと、（ｄ２）複数の第２の情報処理装置に接続する複数の第２のスイッチとを含む。また、複数の第１のスイッチの各々は、複数の第２のスイッチのうちの２以上の第２のスイッチと接続されている。さらに、上で述べた制御装置は、（ｃ１）複数の第１の情報処理装置の各々の通信量に関する所定の評価値と、複数のスイッチの各々の通信量に関する所定の評価値とに基づき、仮想マシンと、仮想ルータと、いずれかのサブネット内の通信経路とのうちいずれかを選択して、選択された仮想マシン又は仮想ルータの配置先若しくは選択されたサブネット内の通信経路を変更する。

単に仮想マシンのみを移動させたり、スイッチ間の通信経路を切り替えたりするのでは解消できないネットワーク負荷の平準化が可能となる。すなわち、物理的な装置の通信量に基づき、ネットワーク負荷の平準化という観点から最も適切な変更対象を、仮想マシンの配置先の第１の情報処理装置と、仮想ルータの配置先の第２の情報処理装置と、いずれかのサブネット内の通信経路とから選択できるようになる。

また、上で述べた制御装置が、（ｃ２）複数の第１の情報処理装置の各々の通信量に関する所定の評価値と、複数のスイッチの各々の通信量に関する所定の評価値とから、複数の第１の情報処理装置と複数のスイッチとを含む物理装置のうちいずれか１つを選択し、（ｃ３）選択した物理装置に関わるデータフローを、仮想マシン単位とサブネット間単位とサブネット内単位との少なくともいずれかで集約し、当該集約結果に基づき仮想マシンと仮想ルータとサブネット内の通信経路とを含む変更対象のいずれかを選択するようにしても良い。一旦、物理的な装置について絞り込みを行った後、データフローを集約することで変更対象を決定できるので、処理負荷を削減しつつ、ネットワーク負荷の平準化に効果的な変更対象を選択できるようになる。

さらに、上で述べた制御装置が、（ｃ４）選択した変更対象を仮に変更先候補に変更した複数のケースの各々について、複数の第１の情報処理装置の各々の通信量に関する所定の評価値と、複数のスイッチの各々の通信量に関する所定の評価値とを特定し、（ｃ５）当該複数の第１の情報処理装置の各々の通信量に関する所定の評価値と複数のスイッチの各々の通信量に関する所定の評価値とに基づき、複数のケースのうち、所定の評価値の平準化に関する条件を満たすケースを特定し、（ｃ６）特定したケースに従って、選択した変更対象を変更先候補に変更するようにしても良い。このようにすれば、平準化に対して効果のある変更先候補を特定できるようになる。

さらに、上で述べた所定の評価値が、出力トラフィックの最大値又は平均値である場合もある。

また、上で述べた条件が、複数の第１の情報処理装置の各々の通信量に関する所定の評価値と複数のスイッチの各々の通信量に関する所定の評価値とを降順に並べることで得られる、複数のケースの評価値リストのうち、最も小さい評価値リストのケースであるという条件と、最も小さい評価値リストが、現在の評価値リストよりも小さいという条件とを含むようにしても良い。

なお、上で述べたような処理をコンピュータに実行させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭなどの光ディスク、光磁気ディスク、半導体メモリ（例えばＲＯＭ）、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。なお、処理途中のデータについては、ＲＡＭ等の記憶装置に一時保管される。

［移動対象リストの作成］
上で述べたリソース制御装置１０００は、移動対象及び移動先が決まると、図２４のステップＳ５３で示したように、移動対象の移動を行うが、複数の移動をまとめて行うようにしてもよい。そこで、リソース制御装置１０００が複数の移動をまとめて移動対象リストを作成する場合について説明する。ここで、移動対象リストは、移動対象と移動元のServerと移動先のServerの組を１つのエントリとするリストであり、管理データ格納部１４００に記憶される。また、Serverは、AServer又はVServerである。また、図７に示した変更制御部１２００は、移動対象リストに基づいてＬ２−ｔｒｅｅの変更を行い、移動制御部１３００は、移動対象リストに基づいてVirtual objectの移動制御を行う。

移動対象リストには、同じ移動対象が複数回存在する場合がある。図７８〜図８０は、同じ移動対象が複数回移動対象リストに存在する第１の例を説明するための図であり、図８１〜図８３は、同じ移動対象が複数回移動対象リストに存在する第２の例を説明するための図である。

第１の例について、図７８は移動前の状態を示し、図７９は移動後の状態を示し、図８０は移動対象リストを示す。図７８と図７９とを比較すると、ＶＭ１がVServer4からVServer10へ移動され、ＶＭ７がVServer8からVServer10へ移動され、ＶＭ８がVServer9からVServer10へ移動される。また、ＶＭ２がVServer4からVServer5へ移動され、ＶＭ４がVServer6からVServer5へ移動され、ＶＭ６がVServer8からVServer7へ移動される。

このとき、図７８に示すトラフィックの状態では、ＶＭ７は、VServer8からVServer10へ直接移動されるのではなく、図８０の移動対象リストに示すように、VServer8からVServer9へ移動された後、VServer9からVServer10へ移動される。すなわち、１回で済む移動が、冗長な２回の移動に分けて行われる。したがって、無駄な移動によりVServerの負荷が増す。このように、同じ移動対象が複数回移動対象リストに存在すると無駄な移動によりVServerの負荷が増す。

また、第２の例について、図８１は移動前の状態を示し、図８２は移動後の状態を示し、図８３は移動対象リストを示す。図８１と図８２とを比較すると、ＶＭ３がVServer5からVServer9へ移動され、ＶＭ５がVServer8からVServer9へ移動されるが、Virtual router1は移動されない。しかしながら、図８１に示すトラフィックの状態では、Virtual router1は、図８３の移動対象リストに示すように、AServer2からAServer3に移動された後、AServer3からAServer2に往復移動される。したがって、無駄な移動によりAServerの負荷が増す。このように、同じ移動対象が複数回移動対象リストに存在すると無駄な移動によりAServerの負荷が増す。

そこで、リソース制御装置１０００は、同じ移動対象が移動対象リストに含まれないように移動対象リストを作成する。図８４及び図８５は、同じ移動対象が移動対象リストに含まれないようにする処理の処理フローを示す図である。図８４は、図２４に示した処理フローの一部が変更された処理フローである。

図８４に示すように、制御部１１０１は、図２４と比較して移動を実行する代わりに、移動情報を移動対象リストに追加し（ステップＳ６１）、ステップＳ１へ戻る。また、制御部１１０１は、ＶＭ又はＶＲの配置先若しくはＬ２−ｔｒｅｅの変更を行う条件を満たさない場合（図１０のステップＳ１：Ｎｏルート）は、端子Ｂを介してステップＳ６３に進み、移動対象リストを生成する処理を終了する前に無駄削除処理を行う。

図８５は、無駄削除処理の処理フローを示す。図８５に示すように、制御部１１０１は、同じ移動対象が移動対象リストに複数回含まれるか否かを判断する（ステップＳ６５）。ステップＳ６５の条件を満たさない場合には、制御部１１０１は、無駄削除処理を終了する。

一方、ステップＳ６５の条件を満たす場合には、制御部１１０１は、最初の移動の移動元Serverと最後の移動の移動先Serverが同じであるか否かを判断する（ステップＳ６７）。ステップＳ６７の条件が満たされる場合には、複数の移動により元のServerに戻る循環移動であるので、制御部１１０１は、移動対象リストから移動対象を取り除く（ステップＳ６９）。一方、ステップＳ６７の条件が満たされない場合には、制御部１１０１は、移動対象の最初の移動の移動先Serverを最後の移動の移動先Serverに変更し、２番目以降の移動を削除する（ステップＳ７１）。

図８６は、第１の例で同じ移動対象が移動対象リストに含まれないようにした結果を示す図である。図８６に示すように、無駄な移動を含む移動対象リストには、１番目のエントリにＶＭ７のVServer8からVServer9への移動が含まれ、３番目のエントリにＶＭ７のVServer9からVServer10への移動が含まれる。一方、無駄な移動が削除された移動対象リストでは、１番目のエントリの移動先がVServer10へ変更され、無駄な移動を含む移動対象リストの３番目のエントリが削除されている。

図８７は、第２の例で同じ移動対象が移動対象リストに含まれないようにした結果を示す図である。図８７に示すように、無駄な移動を含む移動対象リストには、１番目のエントリにVirtual router1のAServer2からAServer3への移動が含まれ、３番目のエントリにVirtual router1のAServer3からAServer2への移動が含まれる。一方、無駄な移動が削除された移動対象リストでは、これら２つのエントリが削除されている。

このように、制御部１１０１が移動対象リストから無駄な移動を取り除くことによって、リソース制御装置１０００は無駄な移動にともなうServerの負荷の増加を抑えることができる。

なお、制御部１１０１は、移動対象リストの作成後に移動対象リストから無駄な移動を取り除く代わりに、移動対象リストに新たなエントリを追加する際に無駄な移動が発生しないようにしてもよい。図８８及び図８９は、移動対象リストに新たなエントリを追加する際に無駄な移動が発生しないようにする処理の処理フローを示す図である。図８８は、図２４に示した処理フローの一部が変更された処理フローである。

図８８に示すように、制御部１１０１は、図２４と比較して移動を実行する代わりに、移動情報を移動対象リストに追加するリスト追加処理を行い（ステップＳ８１）、ステップＳ１へ戻る。また、制御部１１０１は、ＶＭ又はＶＲの配置先若しくはＬ２−ｔｒｅｅの変更を行う条件を満たさない場合（図１０のステップＳ１：Ｎｏルート）は、端子Ｂを介して移動対象リストを生成する処理を終了する。

図８９は、リスト追加処理の処理フローを示す。図８９に示すように、制御部１１０１は、移動対象リストに追加する移動対象（Virtual object又はＬ２−ｔｒｅｅ）が移動対象リストに含まれるか否かを判断する（ステップＳ９１）。ステップＳ９１の条件が満たされない場合には、制御部１１０１は、移動対象を移動対象リストへ追加して（ステップＳ９９）、リスト追加処理を終了する。

一方、ステップＳ９１の条件が満たされる場合には、制御部１１０１は、移動対象リストに含まれる移動元Serverとリストに追加される移動先Serverが同じであるか否かを判断する（ステップＳ９３）。ステップＳ９３の条件が満たされる場合には、２回の移動により元のServerに戻る往復移動であるので、制御部１１０１は、移動対象リストに含まれていた移動対象のエントリを移動対象リストから取り除く（ステップＳ９５）。

一方、ステップＳ９３の条件が満たされない場合には、制御部１１０１は、移動対象リストに含まれる移動対象の移動先Serverを追加しようとした移動先Serverに変更する（ステップＳ９７）。すなわち、制御部１１０１は、２つの移動を１つの移動に集約する。

図９０は、第１の例で更新前後の移動対象リストを示す図である。図９０に示すように、更新前の移動対象リストには、１番目のエントリにＶＭ７のVServer8からVServer9への移動が含まれ、追加される移動としてＶＭ７のVServer9からVServer10への移動がある。すると、更新後の移動対象リストでは、１番目のエントリのＶＭ７の移動先がVServer10に変更される。

図９１は、第１の例で同じ移動対象が移動対象リストに含まれないようにした結果を示す図である。図９１に示すように、無駄な移動を含む移動対象リストには、１番目のエントリにＶＭ７のVServer8からVServer9への移動が含まれ、３番目のエントリにＶＭ７のVServer9からVServer10への移動が含まれる。一方、無駄な移動がないように更新された移動対象リストでは、１番目のエントリの移動先がVServer10へ変更され、ＶＭ７のVServer9からVServer10への移動は移動対象リストに追加されていない。

図９２は、第２の例で更新前後の移動対象リストを示す図である。図９２に示すように、更新前の移動対象リストには、１番目のエントリにVirtual router1のAServer2からAServer3への移動が含まれ、追加される移動としてVirtual router1のAServer3からAServer2への移動があるとする。すると、更新後の移動対象リストでは、１番目のエントリが削除される。

図９３は、第２の例で同じ移動対象が移動対象リストに含まれないようにした結果を示す図である。図９３に示すように、無駄な移動を含む移動対象リストには、１番目のエントリにVirtual router1のAServer2からAServer3への移動が含まれ、３番目のエントリにVirtual router1のAServer3からAServer2への移動が含まれる。一方、無駄な移動がないように更新された移動対象リストでは、これら２つのエントリが含まれていない。

このように、制御部１１０１が同じ移動対象を含まないように移動対象リストを更新することによって、リソース制御装置１０００は無駄な移動にともなうServerの負荷の増加を抑えることができる。

１０００ リソース制御装置
１１００ 平準化処理部
１１０１ 制御部
１１０２ 第１評価値算出部
１１０３ 第２評価値算出部
１１０４ 集約計算部
１２００ 変更制御部
１３００ 移動制御部
１４００ 管理データ格納部
１５００ 収集データ格納部
１６００ トラフィックデータ収集部

Claims (8)

1. 複数のスイッチ装置を介して接続された複数の情報処理装置を有する情報処理システムにおいて、
   前記複数のスイッチ装置のいずれかに接続された制御装置を有し、
   前記制御装置は、
   前記複数の情報処理装置のいずれかで動作する移動対象の仮想オブジェクトを識別する仮想オブジェクト識別情報と、前記複数の情報処理装置のうち移動元の情報処理装置を識別する移動元装置識別情報と、前記複数の情報処理装置のうち移動先の情報処理装置を識別する移動先装置識別情報とを対応付けたエントリを記憶する記憶部と、
   前記複数の情報処理装置のうち、第１の情報処理装置と第２の情報処理装置間の通信量の所定の評価値に基づき、第３の情報処理装置で動作する仮想オブジェクトを第４の情報処理装置に移動させ、さらに、前記第４の情報処理装置で動作する仮想オブジェクトを第５の情報処理装置に移動させると判断した場合、前記仮想オブジェクトを識別する仮想オブジェクト識別情報と、前記第３の情報処理装置を識別する移動元装置識別情報と、前記第５の情報処理装置を識別する移動先装置識別情報とが対応付けられた対象エントリを、前記記憶部に記憶させる移動情報作成部と
   を有する情報処理システム。
2. 前記移動情報作成部は、前記仮想オブジェクトを識別する仮想オブジェクト識別情報と、前記第３の情報処理装置を識別する移動元装置識別情報と、前記第４の情報処理装置を識別する移動先装置識別情報とが対応付けられたエントリと、前記仮想オブジェクトを識別する仮想オブジェクト識別情報と、前記第４の情報処理装置を識別する移動元装置識別情報と、前記第５の情報処理装置を識別する移動先装置識別情報とが対応付けられたエントリとを前記記憶部から削除するとともに、前記対象エントリを前記記憶部に記憶させる請求項１記載の情報処理システム。
3. 前記移動情報作成部は、前記仮想オブジェクトを識別する仮想オブジェクト識別情報と、前記第４の情報処理装置を識別する移動元装置識別情報と、前記第５の情報処理装置を識別する移動先装置識別情報とが対応付けられたエントリを前記記憶部に追加する際に、前記仮想オブジェクトを識別する仮想オブジェクト識別情報と、前記第３の情報処理装置を識別する移動元装置識別情報と、前記第４の情報処理装置を識別する移動先装置識別情報とが対応付けられたエントリを前記記憶部から削除するとともに、前記対象エントリを前記記憶部に記憶させる請求項１記載の情報処理システム。
4. 複数のスイッチ装置を介して接続された複数の情報処理装置を有する情報処理システムにおいて、
   前記複数のスイッチ装置のいずれかに接続された制御装置を有し、
   前記制御装置は、
   前記複数の情報処理装置のいずれかで動作する移動対象の仮想オブジェクトを識別する仮想オブジェクト識別情報と、前記複数の情報処理装置のうち移動元の情報処理装置を識別する移動元装置識別情報と、前記複数の情報処理装置のうち移動先の情報処理装置を識別する移動先装置情報とを対応付けたエントリを記憶する記憶部と、
   前記複数の情報処理装置のうち、第１の情報処理装置と第２の情報処理装置間の通信量の所定の評価値に基づき、第３の情報処理装置で動作する仮想オブジェクトを第４の情報処理装置に移動させ、さらに、前記第４の情報処理装置で動作する前記仮想オブジェクトを前記第３の情報処理装置に移動させると判断した場合、前記仮想オブジェクトを識別する仮想オブジェクト識別情報と、前記第３の情報処理装置を識別する移動元装置識別情報と、前記第４の情報処理装置を識別する移動先装置識別情報とが対応付けられたエントリと、前記仮想オブジェクトを識別する仮想オブジェクト識別情報と、前記第４の情報処理装置を識別する移動元装置識別情報と、前記第３の情報処理装置を識別する移動先装置識別情報とが対応付けられたエントリを前記記憶部が記憶しないように制御する移動情報作成部と
   を有する情報処理システム。
5. 複数のスイッチ装置を介して接続された複数の情報処理装置を有する情報処理システムの制御方法において、
   前記複数のスイッチ装置のいずれかに接続された制御装置が、
   前記複数の情報処理装置のうち、第１の情報処理装置と第２の情報処理装置間の通信量の所定の評価値に基づき、第３の情報処理装置で動作する仮想オブジェクトを第４の情報処理装置に移動させ、さらに、前記第４の情報処理装置で動作する仮想オブジェクトを第５の情報処理装置に移動させる冗長移動の有無を判断し、
   前記冗長移動がある場合に、前記仮想オブジェクトを識別する仮想オブジェクト識別情報と、前記第３の情報処理装置を識別する移動元装置識別情報と、前記第５の情報処理装置を識別する移動先装置識別情報とが対応付けられたエントリを、仮想オブジェクトの移動情報のエントリとして作成する
   処理を実行する制御方法。
6. 複数のスイッチ装置を介して接続された複数の情報処理装置を有する情報処理システムの制御方法において、
   前記複数のスイッチ装置のいずれかに接続された制御装置が、
   前記複数の情報処理装置のうち、第１の情報処理装置と第２の情報処理装置間の通信量の所定の評価値に基づき、第３の情報処理装置で動作する仮想オブジェクトを第４の情報処理装置に移動させ、さらに、前記第４の情報処理装置で動作する前記仮想オブジェクトを前記第３の情報処理装置に移動させる循環移動の有無を判断し、
   前記循環移動がある場合に、前記仮想オブジェクトを識別する仮想オブジェクト識別情報と、前記第３の情報処理装置を識別する移動元装置識別情報と、前記第４の情報処理装置を識別する移動先装置識別情報とが対応付けられたエントリと、前記仮想オブジェクトを識別する仮想オブジェクト識別情報と、前記第４の情報処理装置を識別する移動元装置識別情報と、前記第３の情報処理装置を識別する移動先装置識別情報とが対応付けられたエントリの組を含まないように仮想オブジェクトの移動情報を作成する
   処理を実行する制御方法。
7. 複数のスイッチ装置を介して接続された複数の情報処理装置を有する情報処理システムを制御する制御装置に、
   前記複数の情報処理装置のうち、第１の情報処理装置と第２の情報処理装置間の通信量の所定の評価値に基づき、第３の情報処理装置で動作する仮想オブジェクトを第４の情報処理装置に移動させ、さらに、前記第４の情報処理装置で動作する仮想オブジェクトを第５の情報処理装置に移動させる冗長移動の有無を判断し、
   前記冗長移動がある場合に、前記仮想オブジェクトを識別する仮想オブジェクト識別情報と、前記第３の情報処理装置を識別する移動元装置識別情報と、前記第５の情報処理装置を識別する移動先装置識別情報とが対応付けられたエントリを、仮想オブジェクトの移動情報のエントリとして作成する
   処理を実行させるための制御プログラム。
8. 複数のスイッチ装置を介して接続された複数の情報処理装置を有する情報処理システムを制御する制御装置に、
   前記複数のスイッチ装置のいずれかに接続された制御装置が、
   前記複数の情報処理装置のうち、第１の情報処理装置と第２の情報処理装置間の通信量の所定の評価値に基づき、第３の情報処理装置で動作する仮想オブジェクトを第４の情報処理装置に移動させ、さらに、前記第４の情報処理装置で動作する前記仮想オブジェクトを前記第３の情報処理装置に移動させる循環移動の有無を判断し、
   前記循環移動がある場合に、前記仮想オブジェクトを識別する仮想オブジェクト識別情報と、前記第３の情報処理装置を識別する移動元装置識別情報と、前記第４の情報処理装置を識別する移動先装置識別情報とが対応付けられたエントリと、前記仮想オブジェクトを識別する仮想オブジェクト識別情報と、前記第４の情報処理装置を識別する移動元装置識別情報と、前記第３の情報処理装置を識別する移動先装置識別情報とが対応付けられたエントリの組を含まないように仮想オブジェクトの移動情報を作成する
   処理を実行させるための制御プログラム。

Images