JP2017215884A - Virtual machine arrangement device and resource management method - Google Patents

Virtual machine arrangement device and resource management method Download PDF

Info

Publication number
JP2017215884A
JP2017215884A JP2016110554A JP2016110554A JP2017215884A JP 2017215884 A JP2017215884 A JP 2017215884A JP 2016110554 A JP2016110554 A JP 2016110554A JP 2016110554 A JP2016110554 A JP 2016110554A JP 2017215884 A JP2017215884 A JP 2017215884A
Authority
JP
Japan
Prior art keywords
cpu
physical server
cores
virtual machine
secured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016110554A
Other languages
Japanese (ja)
Other versions
JP6543219B2 (en
Inventor
文彦 澤崎
Fumihiko Sawazaki
文彦 澤崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016110554A priority Critical patent/JP6543219B2/en
Publication of JP2017215884A publication Critical patent/JP2017215884A/en
Application granted granted Critical
Publication of JP6543219B2 publication Critical patent/JP6543219B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Hardware Redundancy (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a virtual machine arrangement device capable of securing resources in a virtual machine without human intervention and preventing the resources from being fragmented.SOLUTION: A virtual machine arrangement device 2 comprises: free resource discrimination means 22 for referring to resource management data and discriminating whether required cores that a new virtual machine requires beforehand can be secured on the same CPU; compaction execution means 23 by which, if the free resource discrimination means 22 discriminates that the required cores cannot be secured on the same CPU, cores to which a virtual machine being operated are re-allocated to the other CPU of a physical server in which this virtual machine is being operated or to a CPU of another physical server; and arrangement execution means 24 for arranging a new virtual machine over the secured cores on the same CPU.SELECTED DRAWING: Figure 3

Description

本発明は、仮想マシンを複数の物理サーバに配置する仮想マシン配置装置および仮想マシンのリソースを管理するリソース管理方法に関する。   The present invention relates to a virtual machine placement apparatus that places virtual machines on a plurality of physical servers, and a resource management method that manages virtual machine resources.

近年、ＮＦＶ（Network Functions Virtualization：ネットワーク機能仮想化）の仮想アプライアンスに代表されるように、処理の低遅延が要求されるアプリケーション（以下、単にアプリケーション）をＶＭ（Virtual Machine：仮想マシン）で実行・運用する技術が関心を集めている。
このようなアプリケーションでは、遅延を低減させるために、ＶＭの仮想ＣＰＵと物理ＣＰＵのコアとを固定的に割り当てる（括りつける）ことが多い。これは、コアのＣＰＵ時間のリソースを、ＶＭが占有することを意図しており、他のＶＭにリソースをディスパッチされないことから、遅延を低減する効果がある。 In recent years, as represented by NFV (Network Functions Virtualization) virtual appliances, applications that require low processing delay (hereinafter simply referred to as applications) are executed on VMs (Virtual Machines). There is interest in the technology used.
In such an application, in order to reduce the delay, the virtual CPU of the VM and the core of the physical CPU are often fixedly assigned (bundled). This is intended to occupy the resources of the CPU time of the core by the VM, and the resource is not dispatched to other VMs. Therefore, there is an effect of reducing the delay.

また、このようなアプリケーションでは、同一の物理ＣＰＵ上のコアという限定を付けてＶＭの仮想ＣＰＵと物理ＣＰＵのコアとを固定的に割り当てることもある。これは、ＶＭ内のプロセス・スレッド間通信を同一物理ＣＰＵ内で実行することができることから、キャッシュヒット率を高くすることができ、遅延を低減する手段として極めて高い効果がある。   In such an application, a virtual CPU of a VM and a core of a physical CPU may be fixedly assigned with a limitation of a core on the same physical CPU. This is because the process-to-thread communication in the VM can be executed in the same physical CPU, so that the cache hit rate can be increased, and it is extremely effective as a means for reducing the delay.

従来、このようなＶＭの仮想ＣＰＵを物理ＣＰＵに固定的に割り当てる方法は、ＫＶＭ（Kernel-based Virtual Machine：カーネル仮想化基盤）等で提供される機能（ＣＰＵピニング）で実現することができる（非特許文献１参照）。この手法は、コンピュータを介して、コマンドを手動で発行し、そのコマンドを取得した物理サーバ（サーバハード）が、同サーバ上で動作するＶＭの仮想ＣＰＵと物理ＣＰＵとの割り当てを行っている。
一方、ＯｐｅｎＳｔａｃｋ等のリソース管理システムでは、ＶＭにリソースを自動的に割り当てている（非特許文献２参照）。このリソース管理システムは、ＣＰＵ負荷の低い物理サーバにＶＭを配置することで、リソースを割り当てている。 Conventionally, such a method of allocating a VM virtual CPU fixedly to a physical CPU can be realized by a function (CPU pinning) provided by a KVM (Kernel-based Virtual Machine) or the like ( Non-patent document 1). In this method, a command is manually issued via a computer, and a physical server (server hardware) that has acquired the command assigns a virtual CPU and a physical CPU of a VM operating on the server.
On the other hand, in resource management systems such as OpenStack, resources are automatically allocated to VMs (see Non-Patent Document 2). This resource management system allocates resources by allocating VMs to physical servers with low CPU load.

“ＫＶＭプロセッサーアフィニティの設定”、［online］、［平成２８年５月２０日検索］、インターネット〈URL：https://docs.fedoraproject.org/ja-JP/Fedora/13/html/Virtualization_Guide/ch25s06.html〉“Setting KVM processor affinity”, [online], [Search May 20, 2016], Internet <URL: https://docs.fedoraproject.org/en-US/Fedora/13/html/Virtualization_Guide/ch25s06 .html> “Virtualization Driver Guest CPU / Memory Placement”、［online］、［平成２８年５月２０日検索］、インターネット〈https://wiki.openstack.org/wiki/VirtDriverGuestCPUMemoryPlacement〉“Virtualization Driver Guest CPU / Memory Placement”, [online], [Search May 20, 2016], Internet <https://wiki.openstack.org/wiki/VirtDriverGuestCPUMemoryPlacement>

従来の非特許文献１の手法では、人手によってＣＰＵ等のリソースの割り当てを行うため、手間がかかるとともに、操作ミスが起こりやすいといった問題がある。
また、従来の非特許文献２の手法では、ＶＭにリソースを自動的に割り当てることはできるが、ＶＭの仮想ＣＰＵと物理ＣＰＵのコアとを固定的に割り当てるようなアプリケーションには適用できず、ＣＰＵ負荷の低い物理サーバにＶＭを配置することしかできない。
このように、従来の手法は、ＶＭの仮想ＣＰＵと物理ＣＰＵのコアとを固定的に割り当てることを前提としたシステムにおいて、自動的にリソースを割り当てることは困難であった。 In the conventional technique of Non-Patent Document 1, since resources such as CPUs are manually assigned, there are problems that it takes time and operation errors are likely to occur.
In the conventional method of Non-Patent Document 2, resources can be automatically allocated to a VM, but cannot be applied to an application in which a virtual CPU of a VM and a core of a physical CPU are fixedly allocated. The VM can only be placed on a physical server with a low load.
As described above, in the conventional method, it is difficult to automatically allocate resources in a system on the premise that VM virtual CPUs and physical CPU cores are fixedly allocated.

また、従来の手法は、ＶＭのリソースの確保、ＶＭ停止後のリソースの回収を繰り返すと使用中のリソースと小さな未使用のリソースとが混在し、大きな未使用のリソースを確保することができない、いわゆる、リソースの断片化が発生する。そのため、従来の手法は、システム全体で未使用リソースが十分であっても、同一の物理ＣＰＵ上でＶＭが必要とする未使用リソースを確保することができないという問題が発生する場合がある。   In addition, in the conventional method, when the reservation of the VM resource and the collection of the resource after the VM stop are repeated, the resource in use and the small unused resource are mixed, and the large unused resource cannot be secured. So-called resource fragmentation occurs. For this reason, the conventional method may cause a problem that the unused resources required by the VM cannot be secured on the same physical CPU even if the unused resources are sufficient in the entire system.

本発明は、このような問題に鑑みてなされたもので、仮想マシン（ＶＭ）に、人手を介さずにリソースを確保するとともに、リソースの断片化を防止することが可能な仮想マシン配置装置およびリソース管理方法を提供することを課題とする。   The present invention has been made in view of such a problem, and a virtual machine placement device capable of securing resources in a virtual machine (VM) without human intervention and preventing fragmentation of resources, and It is an object to provide a resource management method.

前記課題を解決するため、請求項１に記載の仮想マシン配置装置は、複数のコアで構成されるＣＰＵを複数有する物理サーバを複数備えたコンピュータシステムにおいて、仮想マシンを予め同一のＣＰＵのコアに割り当てて前記物理サーバに配置する仮想マシン配置装置であって、前記物理サーバと前記ＣＰＵと前記コアとを対応付けるとともに、前記コアがどの仮想マシンに使用されているのかを示すリソース管理データを記憶する記憶手段と、前記リソース管理データを参照して、新たな仮想マシンが予め必要とする必要コア数を同一ＣＰＵ上に確保できるか否かを判定する空きリソース判定手段と、前記空きリソース判定手段で同一ＣＰＵ上に前記必要コア数を確保できない場合に、動作中の仮想マシンが割り当てられているコアを、当該仮想マシンが動作している物理サーバの他のＣＰＵ、または、他の物理サーバのＣＰＵに割り当て直すコンパクション実行手段と、確保された同一ＣＰＵ上のコアに、前記新たな仮想マシンを配置する配置実行手段と、を備えることを特徴とする。   In order to solve the above-described problem, the virtual machine placement apparatus according to claim 1 is a computer system including a plurality of physical servers each having a plurality of CPUs configured by a plurality of cores. A virtual machine placement apparatus that is allocated and placed on the physical server, associates the physical server with the CPU and the core, and stores resource management data indicating which virtual machine is used by the core With reference to the storage unit, the resource management data, a free resource determination unit that determines whether or not a necessary number of cores required in advance by a new virtual machine can be secured on the same CPU, and the free resource determination unit When the required number of cores cannot be secured on the same CPU, the core to which the operating virtual machine is assigned is Arrangement in which the new virtual machine is arranged in the other CPU of the physical server in which the virtual machine is operating, or the compaction execution means to be reassigned to the CPU of another physical server, and the reserved core on the same CPU Execution means.

かかる構成によれば、仮想マシン配置装置は、空きリソース判定手段によって、新たに配置する仮想マシンが必要とするコア数を、同一ＣＰＵ上に確保できるか否かを判定することができる。そして、仮想マシン配置装置は、コンパクション実行手段によって、物理サーバ内でＣＰＵのコアの割り当てや、物理サーバ間でＣＰＵのコアの割り当てを変更することができる。これによって、仮想マシン配置装置は、リソース（コア）が分断化されている場合でも、コンパクションによってリソースを有効に活用することができる。   According to such a configuration, the virtual machine placement apparatus can determine whether or not the number of cores required by the newly placed virtual machine can be secured on the same CPU by the free resource determination unit. The virtual machine placement apparatus can change the CPU core assignment within the physical server and the CPU core assignment between the physical servers by the compaction execution means. As a result, the virtual machine placement apparatus can effectively use the resources by compaction even when the resources (cores) are divided.

また、前記課題を解決するため、請求項２に記載の仮想マシン配置装置は、請求項１に記載の仮想マシン配置装置において、前記空きリソース判定手段が、前記同一ＣＰＵで前記必要コア数を確保できない場合に、個々の物理サーバ内で、前記動作中の仮想マシンに割り当てられているコアを、他のＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定する物理サーバ単位リソース判定手段と、前記物理サーバ内で前記必要コア数を確保できない場合に、すべての物理サーバ間で、前記動作中の仮想マシンに割り当てられているコアを、他の物理サーバのＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定する全物理サーバリソース判定手段と、を備えることを特徴とする。   In order to solve the above problem, the virtual machine placement apparatus according to claim 2 is the virtual machine placement apparatus according to claim 1, wherein the free resource determination unit secures the necessary number of cores with the same CPU. When it is not possible, it is determined whether the necessary number of cores can be secured on the same CPU by reassigning the core assigned to the operating virtual machine to another CPU within each physical server. If the required number of cores cannot be secured in the physical server and the physical server unit resource determination means, the cores allocated to the operating virtual machine among all the physical servers are assigned to other physical servers. All physical server resource determination means for determining whether the necessary number of cores can be secured on the same CPU by reassigning to the CPU, That.

かかる構成によれば、仮想マシン配置装置は、物理サーバ単位リソース判定手段によって、物理サーバ内でのコンパクションによって、新たに配置する仮想マシンが必要とするコア数を、同一ＣＰＵ上に確保できるか否かを判定することができる。また、仮想マシン配置装置は、全物理サーバリソース判定手段によって、物理サーバ間のコンパクションによって、新たに配置する仮想マシンが必要とするコア数を、同一ＣＰＵ上に確保できるか否かを判定することができる。これによって、仮想マシン配置装置は、物理サーバ内、物理サーバ間と階層的にリソースを確保することができる。   According to such a configuration, the virtual machine placement apparatus can secure the number of cores required for the newly placed virtual machine on the same CPU by the physical server unit resource determination means by compaction in the physical server. Can be determined. Further, the virtual machine placement apparatus determines whether or not the number of cores required by the newly placed virtual machine can be secured on the same CPU by the compaction between the physical servers by the all physical server resource determination means. Can do. As a result, the virtual machine placement apparatus can secure resources hierarchically within the physical servers and between the physical servers.

また、前記課題を解決するため、請求項３に記載のリソース管理方法は、複数のコアで構成されるＣＰＵを複数有する物理サーバを複数備えたコンピュータシステムにおいて、仮想マシン配置装置が、仮想マシンを予め同一のＣＰＵのコアに割り当てて前記物理サーバに配置するためのリソースを確保するリソース管理方法であって、空きリソース判定手段によって、前記物理サーバと前記ＣＰＵと前記コアとを対応付けるとともに、前記コアがどの仮想マシンに使用されているのかを示すリソース管理データを参照して、新たな仮想マシンが予め必要とする必要コア数を同一ＣＰＵ上に確保できるか否かを判定するステップと、コンパクション実行手段によって、前記空きリソース判定手段で同一ＣＰＵ上に前記必要コア数を確保できない場合に、動作中の仮想マシンが割り当てられているコアを、当該仮想マシンが動作している物理サーバの他のＣＰＵ、または、他の物理サーバのＣＰＵに割り当て直すステップと、を含むことを特徴とする。   In order to solve the above problem, the resource management method according to claim 3 is a computer system including a plurality of physical servers each including a plurality of CPUs configured of a plurality of cores, wherein the virtual machine placement device includes a virtual machine. A resource management method for securing resources to be allocated to a core of the same CPU in advance and allocated to the physical server, wherein the physical server, the CPU, and the core are associated with each other by a free resource determination unit, and the core Referring to resource management data indicating which virtual machine is used by the virtual machine, the step of determining whether or not the required number of cores required by the new virtual machine can be secured on the same CPU, and compaction execution The number of required cores cannot be secured on the same CPU by the free resource determination unit And reassigning the core to which the operating virtual machine is allocated to another CPU of the physical server on which the virtual machine is operating, or to a CPU of another physical server. And

かかる手順によれば、リソース管理方法は、新たに配置する仮想マシンが必要とするコア数を、同一ＣＰＵ上に確保できるか否かを判定することができる。そして、リソース管理方法は、物理サーバ内でＣＰＵのコアの割り当てや、物理サーバ間でＣＰＵのコアの割り当てを変更することができる。これによって、リソース管理方法は、リソース（コア）が分断化されている場合でも、コンパクションによってリソースを有効に活用することができる。   According to this procedure, the resource management method can determine whether or not the number of cores required by the newly placed virtual machine can be secured on the same CPU. The resource management method can change the allocation of CPU cores within a physical server and the allocation of CPU cores between physical servers. As a result, the resource management method can effectively utilize resources by compaction even when the resources (cores) are divided.

また、前記課題を解決するため、請求項４に記載のリソース管理方法は、複数のコアで構成されるＣＰＵを複数有する物理サーバを複数備えたコンピュータシステムにおいて、仮想マシン配置装置が、仮想マシンを予め同一のＣＰＵのコアに割り当てて前記物理サーバに配置するためのリソースを確保するリソース管理方法であって、ＣＰＵ単位リソース判定手段によって、前記物理サーバと前記ＣＰＵと前記コアとを対応付けるとともに、前記コアがどの仮想マシンに使用されているのかを示すリソース管理データを参照して、同一ＣＰＵ内で新たな仮想マシンが予め必要とする必要コア数を確保できるか否かを判定するステップと、同一ＣＰＵ内で前記必要コア数を確保できない場合に、物理サーバ単位リソース判定手段によって、前記リソース管理データを参照して、個々の物理サーバ内で、動作中の仮想マシンに割り当てられているコアを、他のＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定するステップと、前記物理サーバ内で前記必要コア数を確保できる場合に、物理サーバ内割り当て変更手段によって、前記物理サーバ内でコアの割り当てを変更するステップと、前記物理サーバ内で前記必要コア数を確保できない場合に、全物理サーバリソース判定手段によって、前記リソース管理データを参照して、すべての物理サーバ間で、動作中の仮想マシンに割り当てられているコアを、他の物理サーバのＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定するステップと、前記物理サーバ間で前記必要コア数を確保できる場合に、物理サーバ間割り当て変更手段によって、前記物理サーバ間でコアの割り当てを変更するステップと、を含むことを特徴とする   In order to solve the above problem, the resource management method according to claim 4 is a computer system including a plurality of physical servers each including a plurality of CPUs configured by a plurality of cores, wherein the virtual machine placement device includes A resource management method for securing resources to be allocated to the same CPU core in advance and allocated to the physical server, by associating the physical server with the CPU and the core by a CPU unit resource determination unit, Same as the step of referring to the resource management data indicating which virtual machine is used by the core, and determining whether the necessary number of cores required by the new virtual machine can be secured in the same CPU in advance. When the necessary number of cores cannot be secured in the CPU, the physical server unit resource determination means Whether or not the necessary number of cores can be secured on the same CPU by referring to the source management data and reassigning the core assigned to the operating virtual machine to another CPU in each physical server Determining when the required number of cores can be secured in the physical server, changing the allocation of cores in the physical server by the allocation change means in the physical server, and in the physical server When the required number of cores cannot be secured, all physical server resource determination means refers to the resource management data and assigns the cores allocated to the operating virtual machine among all physical servers to other physical servers. Determining whether or not the required number of cores can be secured on the same CPU by reassigning to the CPUs between the physical servers If you can secure a number of the required cores, the physical servers inter-allocation changing means, characterized in that it comprises the steps of: changing the allocation of the core between the physical servers

かかる手順によれば、リソース管理方法は、物理サーバ内でのコンパクションによって、新たに配置する仮想マシンが必要とするコア数を、同一ＣＰＵ上に確保できるか否かを判定することができる。また、リソース管理方法は、物理サーバ間のコンパクションによって、新たに配置する仮想マシンが必要とするコア数を、同一ＣＰＵ上に確保できるか否かを判定することができる。これによって、リソース管理方法は、物理サーバ内、物理サーバ間と階層的にリソースを確保することができる。   According to such a procedure, the resource management method can determine whether or not the number of cores required by the newly placed virtual machine can be secured on the same CPU by compaction in the physical server. Further, the resource management method can determine whether or not the number of cores required by a newly placed virtual machine can be secured on the same CPU by compaction between physical servers. As a result, the resource management method can secure resources hierarchically within the physical servers and between the physical servers.

本発明によれば、仮想マシンの仮想ＣＰＵと物理ＣＰＵのコアとを固定的に割り当てることを前提としたシステムにおいて、自動的にリソースを割り当てることができ、人手による手間を少なくし、操作ミスを防止することができる。
また、本発明によれば、コンパクションによって、リソースの断片化を防止することができ、リソースを有効に活用することができる。 According to the present invention, in a system on the premise that the virtual CPU of the virtual machine and the core of the physical CPU are fixedly allocated, it is possible to automatically allocate resources, thereby reducing labor and manpower. Can be prevented.
Further, according to the present invention, resource fragmentation can be prevented by compaction, and resources can be used effectively.

本発明の実施形態に係るコンピュータシステム（データセンタ）の概要を説明するためのシステム概要図である。It is a system outline figure for explaining an outline of a computer system (data center) concerning an embodiment of the present invention. 図１の物理サーバとその物理サーバ上で動作する仮想マシンとのリソースの割り当てを説明するための説明図である。FIG. 2 is an explanatory diagram for explaining resource allocation between the physical server of FIG. 1 and a virtual machine operating on the physical server. 本発明の実施形態に係る仮想ラベル配置装置の構成を示すブロック構成図である。It is a block block diagram which shows the structure of the virtual label arrangement | positioning apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る仮想ラベル配置装置で管理するリソースの構造を示すツリー構造図である。It is a tree structure figure which shows the structure of the resource managed with the virtual label arrangement | positioning apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る仮想ラベル配置装置で管理するリソース管理データのデータ構造の例であって、（ａ）はデータセンタ内物理サーバリスト、（ｂ）は物理サーバ内ＣＰＵリスト、（ｃ）はＣＰＵ内コアリストのデータ構造図である。It is an example of the data structure of the resource management data managed with the virtual label arrangement | positioning apparatus which concerns on embodiment of this invention, Comprising: (a) is a physical server list in a data center, (b) is a CPU list in a physical server, (c) FIG. 4 is a data structure diagram of a CPU core list. 本発明の実施形態に係る仮想ラベル配置装置で管理する仮想マシンで動作するアプリケーションの動作状態（アクティブ／スタンバイ）を示す動作状態リストのデータ構造図である。It is a data structure figure of the operation state list | wrist which shows the operation state (active / standby) of the application which operate | moves with the virtual machine managed with the virtual label arrangement | positioning apparatus which concerns on embodiment of this invention. 物理サーバに新規に仮想マシンを配置する概念を説明するための説明図である。It is explanatory drawing for demonstrating the concept which arrange | positions a virtual machine newly to a physical server. 物理サーバ内のコンパクション処理を説明するための説明図であって、（ａ）はＣＰＵの空きリソースの多い順番を示す図、（ｂ）は仮想マシンに対するリソース探索を示す図、（ｃ）は新規の仮想マシンを配置した状態を示す図である。It is explanatory drawing for demonstrating the compaction process in a physical server, (a) is a figure which shows the order with many free resources of CPU, (b) is a figure which shows the resource search with respect to a virtual machine, (c) is new It is a figure which shows the state which has arrange | positioned this virtual machine. 全物理サーバでのコンパクション処理を説明するための説明図であって、（ａ）は全物理サーバのＣＰＵごとの仮想マシンの割り付け状態を示す図、（ｂ）はＣＰＵの空きリソースの多い順番を示す図である。It is explanatory drawing for demonstrating the compaction process in all the physical servers, Comprising: (a) is a figure which shows the allocation state of the virtual machine for every CPU of all the physical servers, (b) is the order with many free resources of CPU. FIG. 仮想マシンの仮想ＣＰＵと、物理サーバの物理ＣＰＵにおけるコアの割り当ての変更を説明するための説明図である。It is explanatory drawing for demonstrating the change of the allocation of the core in the virtual CPU of a virtual machine, and the physical CPU of a physical server. 仮想マシンの物理サーバ間の移動を説明するための説明図である。It is explanatory drawing for demonstrating the movement between the physical servers of a virtual machine. 仮想マシンで動作するアプリケーションの動作状態（アクティブ／スタンバイ）を考慮した仮想マシンの物理サーバ間の移動を説明するための説明図である。It is explanatory drawing for demonstrating the movement between the physical servers of the virtual machine which considered the operation state (active / standby) of the application which operate | moves with a virtual machine. 本発明の実施形態に係る仮想ラベル配置装置の動作を示すフローチャート（その１）である。It is a flowchart (the 1) which shows operation | movement of the virtual label arrangement | positioning apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る仮想ラベル配置装置の動作を示すフローチャート（その２）である。It is a flowchart (the 2) which shows operation | movement of the virtual label arrangement | positioning apparatus which concerns on embodiment of this invention.

本発明の実施形態について図面を参照して説明する。
≪データセンタの全体構成≫
まず、図１，図２を参照して、本発明の実施形態に係る仮想マシン配置装置により、仮想マシンの配置およびそのリソース管理を行うコンピュータシステムの例であるデータセンタＳの全体構成について説明する。 Embodiments of the present invention will be described with reference to the drawings.
≪Overall configuration of data center≫
First, an overall configuration of a data center S, which is an example of a computer system that performs virtual machine placement and resource management by the virtual machine placement device according to the embodiment of the present invention, will be described with reference to FIGS. .

データセンタＳは、インターネット、ネットワーク事業者網等（不図示）から接続可能な複数のサーバを備えたコンピュータシステムである。
このデータセンタＳは、複数の物理サーバ１，１，…と、図示を省略したネットワーク機器で構成される。また、ここでは、データセンタＳに、仮想マシン配置装置２を備える。なお、仮想マシン配置装置２は、必ずしもデータセンタＳの中に備える必要はなく、各物理サーバ１，１，…と、ネットワーク等で接続可能なデータセンタＳの外に備えることとしてもよい。 The data center S is a computer system including a plurality of servers that can be connected from the Internet, a network operator network, or the like (not shown).
This data center S is composed of a plurality of physical servers 1, 1,... And network equipment not shown. Here, the data center S includes the virtual machine placement device 2. The virtual machine placement apparatus 2 is not necessarily provided in the data center S, and may be provided outside the data center S that can be connected to each physical server 1, 1,.

物理サーバ１は、仮想マシン（ＶＭ）１２を動作させるハードウェアである。ここでは、物理サーバ１は、複数のＣＰＵ（Central Processing Unit）１０で構成され、個々のＣＰＵ（物理ＣＰＵ）１０は、複数のコア１１で構成されているものとする。なお、図１では、物理サーバ１として、一般的に備えられる記憶装置、通信制御装置等の図示を省略している。この物理サーバ１は、当該物理サーバ１上で動作する仮想マシン１２に対して、アプリケーションを動作させるためのリソース（ＣＰＵ資源）を提供する。
なお、物理サーバ１上に配置される仮想マシン（以下、ＶＭ）１２は、図２に示すように、複数のプロセス、スレッドが、仮想ＣＰＵ（ｖＣＰＵ）１３で動作する。また、個々の仮想ＣＰＵ１３は、同一のＣＰＵ（物理ＣＰＵ）１０の個別のコア１１に固定的に割り当てられて動作するものとする。なお、以下では、この状態を、ＶＭ１２がＣＰＵ１０のコア１１に割り当てられているという。
これによって、ＶＭ１２は、コア１１のＣＰＵ時間を占有することができ、他のＶＭにリソースをディスパッチされず、遅延を低減することができる。 The physical server 1 is hardware that operates a virtual machine (VM) 12. Here, it is assumed that the physical server 1 includes a plurality of CPUs (Central Processing Units) 10, and each CPU (physical CPU) 10 includes a plurality of cores 11. In FIG. 1, a storage device, a communication control device, and the like that are generally provided as the physical server 1 are not shown. The physical server 1 provides a resource (CPU resource) for operating an application to the virtual machine 12 operating on the physical server 1.
In the virtual machine (hereinafter referred to as VM) 12 arranged on the physical server 1, a plurality of processes and threads operate on a virtual CPU (vCPU) 13 as shown in FIG. Each virtual CPU 13 is assumed to operate by being fixedly assigned to an individual core 11 of the same CPU (physical CPU) 10. Hereinafter, this state is referred to as the VM 12 being assigned to the core 11 of the CPU 10.
As a result, the VM 12 can occupy the CPU time of the core 11, and resources can not be dispatched to other VMs, thereby reducing delay.

仮想マシン配置装置２は、データセンタ（コンピュータシステム）Ｓ内のリソースを管理し、ＶＭ１２を同一のＣＰＵ１０のコア１１に割り当てて物理サーバ１に配置するものである。
この仮想マシン配置装置２は、物理サーバ１のＣＰＵ１０に、ＶＭ１２を動作させるために十分なコア１１の空きがある場合、その物理サーバ１にＶＭ１２を配置する。一方、仮想マシン配置装置２は、物理サーバ１のＣＰＵ１０に、ＶＭ１２を動作させるために十分なコア１１の空きがない場合、コア１１の断片化を解消し、コア１１の空きを作ってＶＭ１２を配置する。
この仮想マシン配置装置２の構成については、図３を参照して、後で詳細に説明する。
このように、データセンタＳは、仮想マシン配置装置２によって、複数の物理サーバ１上に自動でＶＭ１２を配置することができ、リソースの管理を行うことができる。 The virtual machine placement apparatus 2 manages resources in the data center (computer system) S, assigns the VM 12 to the core 11 of the same CPU 10 and places it on the physical server 1.
The virtual machine placement apparatus 2 places the VM 12 on the physical server 1 when the CPU 10 of the physical server 1 has enough free space for the core 11 to operate the VM 12. On the other hand, if the CPU 10 of the physical server 1 does not have enough free space for the core 11 to operate the VM 12, the virtual machine placement apparatus 2 resolves the fragmentation of the core 11 and creates the free space for the core 11 Deploy.
The configuration of the virtual machine placement apparatus 2 will be described later in detail with reference to FIG.
As described above, the data center S can automatically arrange the VMs 12 on the plurality of physical servers 1 by the virtual machine placement apparatus 2 and can manage resources.

≪仮想マシン配置装置の構成≫
次に、図３を参照して、仮想マシン配置装置２の構成について説明する。
図３に示すように、仮想マシン配置装置２は、通信部２００と、記憶部２１０と、制御部２２０と、を備える。 ≪Configuration of virtual machine placement device≫
Next, the configuration of the virtual machine placement apparatus 2 will be described with reference to FIG.
As illustrated in FIG. 3, the virtual machine placement apparatus 2 includes a communication unit 200, a storage unit 210, and a control unit 220.

通信部（通信手段）２００は、通信回線を介して、物理サーバ１との間で通信データの送受信を行うものである。例えば、通信部２００は、ＮＩＣ（Network Interface Card）等の通信制御手段で構成される。この通信部２００は、制御部２２０から入力される信号（制御情報、データ）を、通信回線を介して、物理サーバ１に送信し、物理サーバ１から受信した信号を制御部２２０に出力する。   The communication unit (communication means) 200 transmits / receives communication data to / from the physical server 1 via a communication line. For example, the communication unit 200 includes communication control means such as a NIC (Network Interface Card). The communication unit 200 transmits a signal (control information, data) input from the control unit 220 to the physical server 1 via the communication line, and outputs a signal received from the physical server 1 to the control unit 220.

記憶部（記憶手段）２１０は、データセンタＳ内のリソースを管理するデータ（リソース管理データ）を記憶するものである。また、ここでは、ＶＭ１２として動作するアプリケーションは、アクティブ／スタンバイ（ＡＣＴ〔運用系〕／ＳＢＹ〔待機系〕）構成で動作するものとし、記憶部２１０は、ＶＭ１２の動作状態を示すリスト（動作状態リスト）も記憶することとする。この記憶部２１０は、ハードディスク等の一般的な記憶装置で構成される。   The storage unit (storage unit) 210 stores data (resource management data) for managing resources in the data center S. Here, the application operating as the VM 12 operates in an active / standby (ACT [active] / SBY [standby]) configuration, and the storage unit 210 is a list (operating status) indicating the operating status of the VM 12. (List) is also stored. The storage unit 210 includes a general storage device such as a hard disk.

ここで、図４，図５を参照して、記憶部２１０に記憶するリソース管理データの例について説明する。図４に示すように、リソース管理データは、リソース（物理サーバ１、ＣＰＵ１０、コア１１）を、データセンタ内物理サーバリスト２１１、物理サーバ内ＣＰＵリスト２１２、ＣＰＵ内コアリスト２１３の順にツリー構造化したデータである。   Here, an example of resource management data stored in the storage unit 210 will be described with reference to FIGS. 4 and 5. As shown in FIG. 4, the resource management data includes resources (physical server 1, CPU 10, core 11) in a tree structure in the order of physical server physical server list 211, physical server CPU list 212, and CPU core list 213. Data.

データセンタ内物理サーバリスト２１１は、データセンタＳを構成する物理サーバ１のリストである。例えば、データセンタ内物理サーバリスト２１１は、図５（ａ）に示すように、個々の物理サーバ１を識別する識別情報ＳＶ１，ＳＶ２，…（例えば、ＩＰアドレス等）を配列したデータである。
このデータセンタ内物理サーバリスト２１１によって、データセンタＳが何台の物理サーバ１で構成されているのかが管理される。 The in-data center physical server list 211 is a list of physical servers 1 constituting the data center S. For example, the data center physical server list 211 is data in which identification information SV 1 , SV 2 ,... (For example, IP addresses, etc.) for identifying individual physical servers 1 is arranged as shown in FIG. is there.
The physical server list 211 in the data center manages how many physical servers 1 the data center S is configured with.

物理サーバ内ＣＰＵリスト２１２は、物理サーバ１を構成するＣＰＵ１０のリストである。例えば、物理サーバ内ＣＰＵリスト２１２は、図５（ｂ）に示すように、物理サーバ１ごとに、構成するＣＰＵ１０を識別する識別情報ＣＰＵ１，ＣＰＵ２，…（例えば、連続番号等）を配列したデータである。
この物理サーバ内ＣＰＵリスト２１２によって、個々の物理サーバ１がいくつのＣＰＵ１０で構成されているのかが管理される。 The intra-physical server CPU list 212 is a list of CPUs 10 constituting the physical server 1. For example, as shown in FIG. 5B, the physical server CPU list 212 is arranged with identification information CPU 1 , CPU 2 ,... (For example, serial numbers) for identifying the CPU 10 constituting each physical server 1. Data.
The physical server CPU list 212 manages how many CPUs 10 each physical server 1 comprises.

ＣＰＵ内コアリスト２１３は、ＣＰＵ１０を構成するコア１１のリストである。また、ＣＰＵ内コアリスト２１３は、それぞれのコア１１が、どのＶＭ１２によって使用され、どの仮想ＣＰＵ１３に対応付けられているのかを併せて保持する。
例えば、ＣＰＵ内コアリスト２１３は、図５（ｃ）に示すように、ＣＰＵ１０ごとに、構成するコア１１を識別する識別情報ＣＯＲＥ１，ＣＯＲＥ２，…（例えば、連続番号等）を配列したデータである。さらに、ＣＰＵ内コアリスト２１３は、それぞれのコア１１に対して、図５（ｃ）に示すように、使用状態（使用／未使用）を保持し、使用している場合、どの仮想マシン（ＶＭ）１２によって使用され、どの仮想ＣＰＵ１３に対応付けられているのかを保持する。なお、図５（ｃ）中、ＶＭ１，ＶＭ２，…は、ＶＭ１２を個別に識別する識別情報（例えば、連続番号等）である。また、ｖＣＰＵ１，ｖＣＰＵ２，…は、仮想ＣＰＵ１３を個別に識別する識別情報（例えば、連続番号等）である。
このＣＰＵ内コアリスト２１３によって、個々のＣＰＵ１０がいくつのコア１１で構成されているのかが管理されるとともに、コア１１の使用状況が管理される。 The CPU core list 213 is a list of cores 11 constituting the CPU 10. The CPU core list 213 also holds which VM 12 is used by each core 11 and is associated with which virtual CPU 13.
For example, as shown in FIG. 5C, the CPU core list 213 is data in which identification information CORE 1 , CORE 2 ,... (For example, serial numbers) for identifying the cores 11 constituting each CPU 10 is arranged. It is. Further, as shown in FIG. 5C, the CPU core list 213 holds the use state (used / unused) for each core 11, and when using the virtual machine (VM) ) Which is used by 12 and to which virtual CPU 13 is associated. In FIG. 5C, VM 1 , VM 2 ,... Are identification information (for example, serial numbers) that individually identify the VMs 12 . Further, vCPU 1 , vCPU 2 ,... Are identification information (for example, serial numbers) that individually identify the virtual CPUs 13.
The CPU core list 213 manages how many cores 11 each CPU 10 is composed of, and also manages the usage status of the cores 11.

次に、図６を参照して、記憶部２１０に記憶する動作状態リストの例について説明する。図６に示すように、動作状態リスト２１４は、それぞれのＶＭ１２（ＶＭ１，ＶＭ２，…）ごとに、動作しているアプリケーションＡＰＬと、そのアプリケーションＡＰＬがアクティブ（ＡＣＴ）状態かスタンバイ（ＳＢＹ）状態かを示すリストである。例えば、図６は、アプリケーションＡＰＬ１が、ＶＭ１でアクティブ（ＡＣＴ）状態で動作し、ＶＭ２でスタンバイ（ＳＢＹ）状態で動作していることを示している。
図３に戻って、仮想マシン配置装置２の構成について説明を続ける。 Next, an example of an operation state list stored in the storage unit 210 will be described with reference to FIG. As shown in FIG. 6, the operation state list 214 includes, for each VM 12 (VM 1 , VM 2 ,...), An operating application APL and whether the application APL is in an active (ACT) state or a standby (SBY). It is a list indicating whether it is in a state. For example, FIG. 6 shows that application APL 1 is operating in an active (ACT) state on VM 1 and is operating in a standby (SBY) state on VM 2 .
Returning to FIG. 3, the description of the configuration of the virtual machine placement apparatus 2 will be continued.

制御部（制御手段）２２０は、仮想マシン配置装置２の動作を制御するものである。ここでは、制御部２２０は、配置位置制御手段２１と、空きリソース判定手段２２と、コンパクション実行手段２３と、配置実行手段２４と、を備える。   The control unit (control unit) 220 controls the operation of the virtual machine placement apparatus 2. Here, the control unit 220 includes an arrangement position control unit 21, an available resource determination unit 22, a compaction execution unit 23, and an arrangement execution unit 24.

配置位置制御手段２１は、データセンタＳ内のリソースの使用状態に応じて、ＶＭ１２の配置位置を決定するものである。
この配置位置制御手段２１は、外部からＶＭ１２のプログラム（運用系または待機系のアプリケーションを含む）と、必要とするコア数（必要コア数）とを入力されることで、ＶＭ１２の配置位置を決定する。なお、ＶＭ１２のプログラムや使用コア数は、予め対応付けて記憶部２１０に記憶しておき、配置位置制御手段２１は、配置するＶＭ１２を指定されることで、ＶＭ１２の配置位置を決定することとしてもよい。 The placement position control means 21 determines the placement position of the VM 12 according to the resource usage state in the data center S.
The arrangement position control means 21 determines the arrangement position of the VM 12 by inputting the VM 12 program (including an active or standby application) and the required number of cores (necessary number of cores) from the outside. To do. Note that the program of the VM 12 and the number of used cores are associated with each other and stored in the storage unit 210 in advance, and the arrangement position control unit 21 determines the arrangement position of the VM 12 by designating the VM 12 to be arranged. Also good.

ここでは、配置位置制御手段２１は、ＶＭ１２に含まれるアプリケーションの識別情報（ＡＰＬ）と、そのアプリケーションが運用系または待機系のいずれかであるかを示す識別情報（ＡＣＴ／ＳＢＹ）と、必要コア数とを空きリソース判定手段２２に通知する。そして、配置位置制御手段２１は、リソースを確保できる空きのある物理サーバ１上のＣＰＵ１０の識別情報を配置位置として取得し、ＶＭ１２のプログラムとともに配置実行手段２４に出力する。
また、配置位置制御手段２１は、空きリソース判定手段２２から、ＶＭ１２を配置するために、コア１１の断片化を解消してコア１１を再編（コンパクション）する必要である旨が、その手順（コンパクション手順）として通知された場合、コンパクション手順をコンパクション実行手段２３に出力する。そして、配置位置制御手段２１は、コンパクション実行後、ＶＭ１２のプログラムとその配置位置とを配置実行手段２４に出力する。 Here, the arrangement position control means 21 includes identification information (APL) of an application included in the VM 12, identification information (ACT / SBY) indicating whether the application is an active system or a standby system, and necessary cores. The number is notified to the free resource determination means 22. Then, the placement position control unit 21 acquires the identification information of the CPU 10 on the physical server 1 that has a vacant physical server 1 as a placement position, and outputs it to the placement execution unit 24 together with the VM 12 program.
Further, the arrangement position control means 21 indicates that it is necessary to eliminate the fragmentation of the core 11 and reorganize (compact) the core 11 in order to arrange the VM 12 from the free resource determination means 22. When notified as (procedure), the compaction procedure is output to the compaction execution means 23. Then, the placement position control means 21 outputs the VM 12 program and its placement position to the placement execution means 24 after executing the compaction.

なお、配置位置制御手段２１は、空きリソース判定手段２２から、コンパクションを行っても、ＶＭ１２を配置するためのリソースが確保できない旨が通知された場合、図示を省略した表示装置に警告を表示する。この場合、管理者が、物理サーバ１の増設を行うことで、リソースを増やすこととすればよい。   The placement position control means 21 displays a warning on a display device (not shown) when it is notified from the free resource determination means 22 that resources for placing the VM 12 cannot be secured even after performing compaction. . In this case, the administrator may increase resources by adding more physical servers 1.

空きリソース判定手段２２は、すべての物理サーバ１で、新たに配置するＶＭ１２の必要コア数を、同一のＣＰＵ１０で確保できるか否かを判定するものである。
ここでは、空きリソース判定手段２２は、ＣＰＵ単位リソース判定手段２２ａと、物理サーバ単位リソース判定手段２２ｂと、全物理サーバリソース判定手段２２ｃと、を備える。 The free resource determination unit 22 determines whether the required number of cores of the newly placed VM 12 can be secured by the same CPU 10 in all the physical servers 1.
Here, the free resource determination unit 22 includes a CPU unit resource determination unit 22a, a physical server unit resource determination unit 22b, and an all physical server resource determination unit 22c.

ＣＰＵ単位リソース判定手段２２ａは、物理サーバ１のＣＰＵ１０ごとに、新たに配置するＶＭ１２の必要コア数の空きがあるか否かを判定するものである。
このＣＰＵ単位リソース判定手段２２ａは、１つのＣＰＵ１０のみでリソース（必要コア数）が確保可能であれば、そのＣＰＵ１０をＶＭ１２の配置位置として、配置位置制御手段２１に物理サーバ１およびＣＰＵ１０の識別情報を出力する。この場合、ＣＰＵ単位リソース判定手段２２ａは、コンパクション手順を配置位置制御手段２１に出力しない。
一方、ＣＰＵ単位リソース判定手段２２ａは、１つのＣＰＵ１０のみでリソースが確保できない場合、必要コア数を、物理サーバ単位リソース判定手段２２ｂに出力する。 The CPU unit resource determination unit 22a determines whether or not there is a vacant number of necessary cores of the VM 12 to be newly arranged for each CPU 10 of the physical server 1.
If the resource (number of necessary cores) can be secured by only one CPU 10, the CPU unit resource determination unit 22 a sets the CPU 10 as the placement position of the VM 12 and identifies the physical server 1 and the CPU 10 in the placement position control means 21. Is output. In this case, the CPU unit resource determination unit 22 a does not output the compaction procedure to the arrangement position control unit 21.
On the other hand, the CPU unit resource determination unit 22a outputs the necessary number of cores to the physical server unit resource determination unit 22b when resources cannot be secured by only one CPU 10.

このＣＰＵ単位リソース判定手段２２ａは、記憶部２１０に記憶されているリソース管理データ（図４参照）を参照し、ＣＰＵ内コアリスト（図５（ｃ）参照）で、同一ＣＰＵ１０で「未使用」のコアの数（空き個数）が、必要コア数以上である場合、そのＣＰＵ１０において、リソースを確保することができると判定する。
なお、ＣＰＵ単位リソース判定手段２２ａは、新たに配置するＶＭ１２に含まれるアプリケーションＡＰＬの動作系（運用系または待機系）と異なる動作系がすでに配置されている物理サーバ１のＣＰＵ１０については、必要コア数の空きを判定しないこととする。
これによって、運用系アプリケーションを含むＶＭと、待機系アプリケーションを含むＶＭとを、異なる物理サーバ１に配置することができる。 This CPU unit resource determination means 22a refers to the resource management data (see FIG. 4) stored in the storage unit 210, and “unused” in the same CPU 10 in the CPU core list (see FIG. 5 (c)). If the number of cores (the number of available cores) is equal to or greater than the required number of cores, the CPU 10 determines that resources can be secured.
Note that the CPU unit resource determination unit 22a determines the necessary core for the CPU 10 of the physical server 1 in which an operation system different from the operation system (active system or standby system) of the application APL included in the newly arranged VM 12 is already arranged. It is assumed that the number of free spaces is not determined.
As a result, the VM including the active application and the VM including the standby application can be arranged in different physical servers 1.

ここで、図７を参照して、ＣＰＵ単位リソース判定手段２２ａの処理の具体例について説明する。図７に示すように、例えば、ある物理サーバ１（ＳＶ１）が１８コアのＣＰＵ４個（ＣＰＵ１〜ＣＰＵ４）で構成されており、それぞれのＣＰＵが複数のＶＭ１２で使用されて、コアの空き個数が、７個、５個、７個、６個であったとする。
この状態で、新規に配置するＶＭ１２の必要コア数として４個が通知された場合、ＣＰＵ単位リソース判定手段２２ａは、探索順で最初にリソースを確保することができる物理サーバ１（ＳＶ１）のＣＰＵ１を、ＶＭ１２の配置位置とする。 Here, a specific example of the processing of the CPU unit resource determination unit 22a will be described with reference to FIG. As shown in FIG. 7, for example, a physical server 1 (SV 1 ) is composed of four 18-core CPUs (CPU 1 to CPU 4 ), and each CPU is used by a plurality of VMs 12 to Assume that there are 7, 5, 7, and 6 vacant numbers.
In this state, when 4 are notified as the required number of cores of the newly placed VM 12, the CPU unit resource determination unit 22 a of the physical server 1 (SV 1 ) that can first secure the resources in the search order. The CPU 1 is set as the placement position of the VM 12.

一方、新規に配置するＶＭ１２の必要コア数として８個が通知された場合、ＣＰＵ単位リソース判定手段２２ａは、物理サーバ１（ＳＶ１）では、リソースを確保できないと判定する。
図３に戻って、仮想マシン配置装置２の構成について説明を続ける。 On the other hand, when 8 is notified as the required number of cores of the newly placed VM 12, the CPU unit resource determination unit 22a determines that the physical server 1 (SV 1 ) cannot secure the resource.
Returning to FIG. 3, the description of the configuration of the virtual machine placement apparatus 2 will be continued.

物理サーバ単位リソース判定手段２２ｂは、ＣＰＵ単位リソース判定手段２２ａにおいて、同一ＣＰＵで必要コア数を確保できない場合に、個々の物理サーバ内で、動作中のＶＭ１２に割り当てられているコア１１を、他のＣＰＵ１０に割り当て直すことで、必要コア数を同一ＣＰＵ上に確保できるか否かを判定するものである。   The physical server unit resource determination unit 22b uses the CPU unit resource determination unit 22a to replace the core 11 assigned to the operating VM 12 in each physical server when the required number of cores cannot be secured by the same CPU. It is determined whether the necessary number of cores can be secured on the same CPU by reassigning to the CPU 10.

この物理サーバ単位リソース判定手段２２ｂは、１つの物理サーバ１のコンパクションのみでリソース（必要コア数）が確保可能であれば、そのリソースを有する物理サーバ１およびＣＰＵ１０の識別情報を配置位置として、配置位置制御手段２１に出力する。また、物理サーバ単位リソース判定手段２２ｂは、コンパクション手順を配置位置制御手段２１に出力する。
なお、物理サーバ単位リソース判定手段２２ｂは、新たに配置するＶＭ１２に含まれるアプリケーションＡＰＬの動作系（運用系または待機系）と異なる動作系がすでに配置されている物理サーバ１については、必要コア数の空きを確保できるか否かを判定しないこととする。 If the resource (required number of cores) can be secured only by compaction of one physical server 1, the physical server unit resource determination unit 22b uses the identification information of the physical server 1 and the CPU 10 having the resource as an arrangement position. It outputs to the position control means 21. Further, the physical server unit resource determination unit 22 b outputs the compaction procedure to the arrangement position control unit 21.
The physical server unit resource determination unit 22b determines the necessary number of cores for the physical server 1 in which an operation system different from the operation system (active system or standby system) of the application APL included in the newly arranged VM 12 is already arranged. It is assumed that it is not determined whether or not a free space can be secured.

ここで、図７，図８を参照して、物理サーバ単位リソース判定手段２２ｂの処理の具体例について説明する。図７は、ＣＰＵ単位リソース判定手段２２ａの処理で説明した図であるため、ここでは説明を省略する。
図７に示した状態で、新規に配置するＶＭ１２の必要コア数として、それぞれのＣＰＵ１０の空きコア数よりも多い個数（ここでは、８個）が通知された場合、物理サーバ単位リソース判定手段２２ｂは、空きコア数の多い順に、物理サーバ１のＣＰＵ１０を並べ替える。ここで、ＣＰＵ１０を並べ替えるとは、物理サーバ単位リソース判定手段２２ｂが、処理対象とするＣＰＵの順番を変えるという意味である。
例えば、図８（ａ）に示すように、物理サーバ単位リソース判定手段２２ｂは、図７のＣＰＵ１０の配列を、ＣＰＵ１，ＣＰＵ３，ＣＰＵ４，ＣＰＵ２の順に並べ替える。 Here, a specific example of the processing of the physical server unit resource determination unit 22b will be described with reference to FIGS. FIG. 7 is a diagram described in the processing of the CPU unit resource determination unit 22a, and thus the description thereof is omitted here.
In the state shown in FIG. 7, when the number of required cores of the newly placed VM 12 is notified (in this case, 8) larger than the number of free cores of each CPU 10, the physical server unit resource determination unit 22b Rearranges the CPUs 10 of the physical server 1 in descending order of the number of free cores. Here, rearranging the CPUs 10 means that the physical server unit resource determination unit 22b changes the order of the CPUs to be processed.
For example, as illustrated in FIG. 8A, the physical server unit resource determination unit 22b rearranges the arrangement of the CPU 10 in FIG. 7 in the order of CPU 1 , CPU 3 , CPU 4 , CPU 2 .

そして、物理サーバ単位リソース判定手段２２ｂは、最も空きコア数の多いＣＰＵ１０から、空きコア数の少ないＣＰＵ１０に対して順に、使用しているコア１１の割り当てを変更可能か否か判定する。これは、空きコア数の多いＣＰＵ１０から、空きコア数の少ないＣＰＵ１０へ割り当てを変更すれば、より多くの空きコア数を確保することが可能になるからである。なお、コア１１の割り当て変更は、ＶＭ１２単位で行うこととする。
例えば、図８（ａ）の例では、最も空きコア数の多いＣＰＵ１０（ＣＰＵ１）には、変更対象としてｖｍ１，ｖｍ２，ｖｍ３の３つのＶＭ１２が存在する。そして、物理サーバ単位リソース判定手段２２ｂは、新たに配置するＶＭ１２の必要コア数に足りないコア数（不足コア数）を計算し、すでに存在するＶＭ１２の組み合わせで、不足コア数よりも多い組み合わせのリストを生成する。図８（ａ）の例では、ＣＰＵ１は、必要コア数８個に対して不足コア数は１個であるため、該当する組み合わせは、ｖｍ１のみ、ｖｍ２のみ、ｖｍ３のみ、ｖｍ１とｖｍ２、ｖｍ１とｖｍ３、ｖｍ２とｖｍ３、ｖｍ１とｖｍ２とｖｍ３、の７通りとなる。 Then, the physical server unit resource determination unit 22b determines whether the allocation of the cores 11 being used can be changed in order from the CPU 10 having the largest number of free cores to the CPU 10 having the smallest number of free cores. This is because it is possible to secure a larger number of free cores by changing the assignment from the CPU 10 having a large number of free cores to the CPU 10 having a small number of free cores. Note that the assignment change of the core 11 is performed on a VM 12 basis.
For example, in the example of FIG. 8A, the CPU 10 (CPU 1 ) with the largest number of free cores has three VMs 12 vm1, vm2, and vm3 as change targets. Then, the physical server unit resource determination unit 22b calculates the number of cores (shortage of cores) that is insufficient for the required number of cores of the newly placed VM12, and the combination of VM12 that already exists and the number of combinations greater than the number of shortage cores. Generate a list. In the example of FIG. 8A, since the CPU 1 has one insufficient core number for the required number of eight cores, the corresponding combinations are only vm1, only vm2, only vm3, vm1 and vm2, and vm1. And vm3, vm2 and vm3, vm1, vm2 and vm3.

ここで、物理サーバ単位リソース判定手段２２ｂは、各組み合わせのコア数の多い順に、より空きコア数の少ないＣＰＵ１０に割り当て変更可能な組み合わせを探索する。
図８（ａ）の例では、コア数の多い順に、ｖｍ１とｖｍ２とｖｍ３（コア数１１個）、ｖｍ１とｖｍ３（コア数９個）、ｖｍ１とｖｍ２（コア数８個）、ｖｍ１（コア数６個）、ｖｍ２とｖｍ３（コア数５個）、ｖｍ３（コア数３個）、ｖｍ２（コア数２個）の順となる。 Here, the physical server unit resource determination unit 22b searches for combinations that can be reassigned to the CPU 10 having a smaller number of free cores in the order of the number of cores of each combination.
In the example of FIG. 8A, vm1, vm2, and vm3 (11 cores), vm1 and vm3 (9 cores), vm1 and vm2 (8 cores), and vm1 (cores) in descending order of the number of cores. 6), vm2 and vm3 (5 cores), vm3 (3 cores), and vm2 (2 cores).

そして、物理サーバ単位リソース判定手段２２ｂは、コア数の多いものから順に、空きコア数の少ないＣＰＵ１０に割り当て変更可能な組み合わせを探索する。この場合、ｖｍ１とｖｍ２とｖｍ３（コア数１１個）、ｖｍ１とｖｍ３（コア数９個）、ｖｍ１とｖｍ２（コア数８個）の各組み合わせは、他のどのＣＰＵにも空きがなく割り当てることができない。そして、次にコア数の多いｖｍ１（コア数６個）は、空きコア数の最も少ないＣＰＵ２には割り当てることができないが、図８（ｂ）に示すように、その次に空きコア数の少ないＣＰＵ４には割り当てることができる。すなわち、物理サーバ単位リソース判定手段２２ｂは、ＣＰＵ１に割り当てられているＶＭ（ｖｍ１）を、ＣＰＵ４に割り当てるようにリソースの再編（コンパクション）を行えば、新規のＶＭ１２へのリソースを確保することができると判定する。 Then, the physical server unit resource determination unit 22b searches for combinations that can be reassigned to the CPU 10 with the smaller number of free cores in order from the largest number of cores. In this case, each combination of vm1, vm2, vm3 (number of cores 11), vm1 and vm3 (number of cores 9), vm1 and vm2 (number of cores 8) should be allocated without any space to any other CPU. I can't. Then, vm1 having the next largest number of cores (6 cores) cannot be assigned to the CPU 2 having the smallest number of free cores. However, as shown in FIG. A small number of CPUs 4 can be assigned. In other words, the physical server unit resource determination unit 22b secures resources for the new VM 12 by reorganizing (compacting) resources so that the VM (vm1) allocated to the CPU 1 is allocated to the CPU 4. It is determined that you can.

なお、変更可能な組み合わせの中で、コア数の合計が同一でＶＭ１２の数が異なる場合は、ＶＭ１２の数が少ない方を優先して変更の対象とすることが望ましい。これは、変更するＶＭ１２の数が多いほど、変更にかかる時間、処理手順の増加等のデータセンタＳ全体に与える影響が増してしまうからである。
これによって、物理サーバ単位リソース判定手段２２ｂは、図８（ｃ）に示すように、物理サーバ１内のコンパクションによって、新規のＶＭ１２（ここでは、コア数８）を、ＣＰＵ１に配置することが可能であると判定する。 Note that, among the combinations that can be changed, when the total number of cores is the same and the number of VMs 12 is different, it is desirable to prioritize the one with the smaller number of VMs 12 as a change target. This is because as the number of VMs 12 to be changed increases, the influence on the entire data center S such as the time required for the change and an increase in processing procedure increases.
As a result, the physical server unit resource determination unit 22b may arrange a new VM 12 (here, the number of cores 8) in the CPU 1 by compaction in the physical server 1, as shown in FIG. Determine that it is possible.

ここでは、物理サーバ単位リソース判定手段２２ｂは、最も空きコア数の多いＣＰＵ１０（ここでは、ＣＰＵ１）を基準としてリソースが確保可能か否かを判定したが、リソースが確保できない場合、順次、空きコア数の多いＣＰＵ１０から順（図８の例では、ＣＰＵ１→ＣＰＵ３→ＣＰＵ４→ＣＰＵ２）に同様の処理を行えばよい。 Here, the physical server unit resource determination unit 22b determines whether or not the resource can be secured based on the CPU 10 (here, CPU 1 ) having the largest number of free cores. The same processing may be performed in order from the CPU 10 with the largest number of cores (in the example of FIG. 8, CPU 1 → CPU 3 → CPU 4 → CPU 2 ).

この物理サーバ単位リソース判定手段２２ｂは、新規ＶＭに必要はリソース（必要コア数）が確保可能であると判定した場合、配置可能な物理サーバ１およびＣＰＵ１０を特定する識別情報（図８の例では、ＳＶ１，ＣＰＵ１）を、配置位置制御手段２１に出力する。また、リソースを確保するためコンパクション手順（図８の例では、ＳＶ１のＣＰＵ１からＣＰＵ４へのｖｍ１の割り当て変更）を配置位置制御手段２１に出力する。
そして、物理サーバ単位リソース判定手段２２ｂは、必要コア数の空きをコンパクションによって確保できない場合、他の物理サーバ１（データセンタ内物理サーバリスト２１１（図５（ａ）参照）の次の物理サーバ）でリソースを探索するように、ＣＰＵ単位リソース判定手段２２ａに指示する。そして、すべての物理サーバ１において、それぞれコンパクションによって必要コア数が確保できなかった場合、物理サーバ単位リソース判定手段２２ｂは、必要コア数を、全物理サーバリソース判定手段２２ｃに出力する。
図３に戻って、仮想マシン配置装置２の構成について説明を続ける。 When the physical server unit resource determination unit 22b determines that the resources (necessary number of cores) necessary for the new VM can be secured, the identification information (in the example of FIG. 8) that identifies the physical server 1 and the CPU 10 that can be arranged. , SV 1 , CPU 1 ) are output to the arrangement position control means 21. In addition, a compaction procedure (in the example of FIG. 8, vm1 allocation change from the CPU 1 of the SV 1 to the CPU 4 in the example of FIG. 8) is output to the arrangement position control means 21 in order to secure resources.
If the required number of cores cannot be secured by compaction, the physical server unit resource determination unit 22b is another physical server 1 (the next physical server in the data center physical server list 211 (see FIG. 5A)). The CPU unit resource determination unit 22a is instructed to search for resources. When the required number of cores cannot be secured by compaction in all the physical servers 1, the physical server unit resource determining unit 22b outputs the required number of cores to the all physical server resource determining unit 22c.
Returning to FIG. 3, the description of the configuration of the virtual machine placement apparatus 2 will be continued.

全物理サーバリソース判定手段２２ｃは、物理サーバ１内で必要コア数を確保できない場合に、すべての物理サーバ１間で、動作中のＶＭ１２に割り当てられているコアを、他の物理サーバ１のＣＰＵ１０に割り当て直すことで、必要コア数を同一ＣＰＵ上に確保できるか否かを判定するものである。
この全物理サーバリソース判定手段２２ｃは、コンパクションでリソース（必要コア数）が確保可能であれば、そのリソースを有する物理サーバ１およびＣＰＵ１０の識別情報を、配置位置制御手段２１に出力する。また、全物理サーバリソース判定手段２２ｃは、コンパクション手順を配置位置制御手段２１に出力する。 When the necessary number of cores cannot be secured in the physical server 1, the all physical server resource determination unit 22 c assigns the core assigned to the operating VM 12 among all the physical servers 1 to the CPU 10 of the other physical server 1. It is determined whether the necessary number of cores can be secured on the same CPU by reassigning to.
If all resources (required number of cores) can be secured by compaction, the all physical server resource determination unit 22c outputs the identification information of the physical server 1 and the CPU 10 having the resource to the arrangement position control unit 21. Further, the all physical server resource determination unit 22 c outputs the compaction procedure to the arrangement position control unit 21.

例えば、全物理サーバリソース判定手段２２ｃは、図９（ａ）に示すように、物理サーバ１（ＳＶ１，ＳＶ２，ＳＶ３）が、それぞれ１８コアのＣＰＵ４個（ＣＰＵ１〜ＣＰＵ４）、ＣＰＵ２個（ＣＰＵ５，ＣＰＵ６）、ＣＰＵ２個（ＣＰＵ７，ＣＰＵ８）で構成され、それぞれのＣＰＵで複数のＶＭ１２によってコア１１が使用されているとする。
この場合、全物理サーバリソース判定手段２２ｃは、図９（ｂ）に示すように、空きコア数の多い順に、ＣＰＵ１０を並べ替える。すなわち、物理サーバ単位リソース判定手段２２ｂが、１つの物理サーバ１内で並べ替えを行ったのに対し（図８参照）、全物理サーバリソース判定手段２２ｃは、すべての物理サーバ１を対象として、ＣＰＵ１０の並べ替えを行う。
これ以降の処理は、物理サーバ単位リソース判定手段２２ｂの処理（図８参照）と同じであるため、説明を省略する。 For example, as shown in FIG. 9A, the all physical server resource determination unit 22c includes four CPUs (CPU 1 to CPU 4 ) each having 18 cores as physical servers 1 (SV 1 , SV 2 , SV 3 ), It is assumed that the CPU 11 includes two CPUs (CPU 5 and CPU 6 ) and two CPUs (CPU 7 and CPU 8 ), and the core 11 is used by a plurality of VMs 12 in each CPU.
In this case, the all physical server resource determination unit 22c rearranges the CPUs 10 in descending order of the number of free cores as shown in FIG. 9B. That is, while the physical server unit resource determination unit 22b performs the rearrangement within one physical server 1 (see FIG. 8), the all physical server resource determination unit 22c targets all the physical servers 1, The CPUs 10 are rearranged.
Since the subsequent processing is the same as the processing of the physical server unit resource determination means 22b (see FIG. 8), description thereof is omitted.

ただし、全物理サーバリソース判定手段２２ｃは、図８（ｂ）に示したように、コアの割り当てを変更するリソースを探索する場合、変更後の物理サーバ１において、同じアプリケーションの運用系および待機系が、同じ物理サーバ１のＣＰＵ１０上で動作することがないように、リソースの探索を行うこととする。
また、全物理サーバリソース判定手段２２ｃは、新たに配置するＶＭ１２に含まれるアプリケーションＡＰＬの動作系（運用系または待機系）と異なる動作系がすでに配置されている物理サーバ１については、必要コア数の空きを確保できるか否かを判定しないこととする。 However, as shown in FIG. 8B, the all physical server resource determination unit 22c searches for a resource whose core assignment is to be changed, and the active system and standby system of the same application in the physical server 1 after the change. However, the resource search is performed so that it does not operate on the CPU 10 of the same physical server 1.
Further, the all physical server resource determination unit 22c determines the necessary number of cores for the physical server 1 in which an operation system different from the operation system (active system or standby system) of the application APL included in the newly arranged VM 12 is already arranged. It is assumed that it is not determined whether or not a free space can be secured.

この全物理サーバリソース判定手段２２ｃは、新規ＶＭに必要なリソース（必要コア数）が確保可能であると判定した場合、配置可能な物理サーバ１およびＣＰＵ１０を特定する識別情報を、配置位置制御手段２１に出力する。また、リソースを確保するためコンパクション手順を配置位置制御手段２１に出力する。
そして、全物理サーバリソース判定手段２２ｃは、すべての物理サーバ１で、必要コア数の空きをコンパクションによって確保できない場合、リソースが確保できない旨を配置位置制御手段２１に出力する。
このように、全物理サーバリソース判定手段２２ｃは、すべての物理サーバ１（すなわち、データセンタＳ）を対象として、新たに配置するＶＭ１２の必要コア数の空きがあるか否かを判定する。
図３に戻って、仮想マシン配置装置２の構成について説明を続ける。 When it is determined that the resources (necessary number of cores) necessary for the new VM can be secured, the all physical server resource determination unit 22c uses the arrangement position control unit to identify identification information that identifies the physical server 1 and the CPU 10 that can be arranged. To 21. In addition, a compaction procedure is output to the arrangement position control means 21 in order to secure resources.
If all physical servers 1 cannot secure the required number of cores by compaction, the all physical server resource determination unit 22c outputs to the arrangement position control unit 21 that resources cannot be secured.
As described above, the all physical server resource determination unit 22c determines whether or not there is a vacancy of the required number of cores of the newly placed VM 12 for all the physical servers 1 (that is, the data center S).
Returning to FIG. 3, the description of the configuration of the virtual machine placement apparatus 2 will be continued.

コンパクション実行手段２３は、配置位置制御手段２１から出力されるコンパクション手順に基づいて、動作中のＶＭ１２が割り当てられているコア１１を、当該ＶＭ１２が動作している同じ物理サーバ１の他のＣＰＵ１０、または、他の物理サーバ１のＣＰＵ１０に割り当て直す（コンパクション）ものである。このコンパクション実行手段２３は、空きリソース判定手段２２で、コンパクションを行わずに同一ＣＰＵ上に必要コア数を確保できない判定された場合に動作する。
ここでは、コンパクション実行手段２３は、物理サーバ内割り当て変更手段２３ａと、物理サーバ間割り当て変更手段２３ｂと、を備える。 Based on the compaction procedure output from the arrangement position control means 21, the compaction execution means 23 sends the core 11 to which the operating VM 12 is assigned to another CPU 10 of the same physical server 1 on which the VM 12 is operating, Alternatively, it is reassigned to the CPU 10 of another physical server 1 (compaction). The compaction execution unit 23 operates when the free resource determination unit 22 determines that the required number of cores cannot be secured on the same CPU without performing compaction.
Here, the compaction execution unit 23 includes an intra-physical server allocation changing unit 23a and an inter-physical server allocation changing unit 23b.

物理サーバ内割り当て変更手段２３ａは、物理サーバ１内で、ＶＭ１２のＣＰＵ１０のコア１１への割り当てを変更するものである。この物理サーバ内割り当て変更手段２３ａは、コンパクション手順として、同一の物理サーバ１内で、コア１１の割り当てを変更する手順が指定された際に動作する。すなわち、この物理サーバ内割り当て変更手段２３ａは、物理サーバ単位リソース判定手段２２ｂによって、リソースを確保することが可能であると判定されたコンパクション手順を実行する。
例えば、物理サーバ内割り当て変更手段２３ａは、図１０に示すように、ＣＰＵ１０Ｂ１のコアに割り当てられているＶＭ１２Ｂの仮想ＣＰＵ（ｖＣＰＵ）を、同じ物理サーバ１Ｂの他のＣＰＵ１０Ｂ２のコアに割り当てる。なお、この割り当ての手法は、従来の一般的な手法（非特許文献１）であるため、ここでは、詳細な説明を省略する。 The intra-physical server allocation changing unit 23a changes the allocation of the CPU 10 of the VM 12 to the core 11 within the physical server 1. The intra-physical server allocation changing unit 23a operates when a procedure for changing the allocation of the core 11 is designated in the same physical server 1 as a compaction procedure. That is, the intra-physical server allocation changing unit 23a executes a compaction procedure that is determined by the physical server unit resource determining unit 22b to be able to secure resources.
For example, as shown in FIG. 10, the intra-physical server allocation changing unit 23a allocates the virtual CPU (vCPU) of the VM 12B allocated to the core of the CPU 10B 1 to the core of another CPU 10B 2 of the same physical server 1B. Since this allocation method is a conventional general method (Non-patent Document 1), detailed description thereof is omitted here.

この物理サーバ内割り当て変更手段２３ａは、割り当て変更後、記憶部２１０に記憶されているリソース管理データを更新する。すなわち、物理サーバ内割り当て変更手段２３ａは、コアを解放したＣＰＵのＣＰＵ内コアリスト２１３（図５（ｃ）参照）において、割り当てを変更したＶＭ１２を「使用ＶＭ」から削除するとともに、ＶＭ１２が使用していたコアの「使用」を「未使用」に変更する。また、物理サーバ内割り当て変更手段２３ａは、新たにコアを割り当てたＣＰＵ１０のＣＰＵ内コアリスト２１３（図５（ｃ）参照）において、割り当てを変更したＶＭ１２に割り当てたコア１１を「未使用」から「使用」に変更するとともに、「使用ＶＭ」に割り当てを変更したＶＭ１２の識別情報とコア１１に割り当てた仮想ＣＰＵ１３の識別情報とを設定する。
この物理サーバ内割り当て変更手段２３ａは、コンパクションを実行し、リソース管理データを更新した後、コンパクションが完了した旨を配置位置制御手段２１に通知する。 The intra-physical server allocation changing unit 23a updates the resource management data stored in the storage unit 210 after the allocation is changed. That is, the intra-physical server allocation changing unit 23a deletes the VM 12 whose allocation has been changed from the “used VM” in the CPU core list 213 (see FIG. 5C) of the CPU that has released the core, and the VM 12 uses it. Change the “used” of the core that was being used to “unused”. Further, the intra-physical server allocation changing unit 23a changes the core 11 allocated to the VM 12 whose allocation has been changed from “unused” in the CPU core list 213 (see FIG. 5C) of the CPU 10 to which the core has been newly allocated. While changing to “use”, the identification information of the VM 12 whose assignment is changed to “use VM” and the identification information of the virtual CPU 13 assigned to the core 11 are set.
The intra-physical server allocation changing unit 23a executes compaction, updates the resource management data, and notifies the arrangement position control unit 21 that the compaction is completed.

物理サーバ間割り当て変更手段２３ｂは、異なる物理サーバ１間で、ＶＭ１２のＣＰＵ１０のコア１１への割り当てを変更するものである。この物理サーバ間割り当て変更手段２３ｂは、コンパクション手順として、異なる物理サーバ１間で、コア１１の割り当てを変更する手順が指定された際に動作する。すなわち、この物理サーバ間割り当て変更手段２３ｂは、全物理サーバリソース判定手段２２ｃによって、リソースを確保することが可能であると判定されたコンパクション手順を実行する。
例えば、物理サーバ間割り当て変更手段２３ｂは、図１１に示すように、物理サーバ１ＢのＣＰＵ１０Ｂのコアに割り当てられているＶＭ１２Ｂを、物理サーバ１ＣのＣＰＵ１０Ｃのコアに割り当てる。すなわち、物理サーバ間割り当て変更手段２３ｂは、ＶＭ１２Ｂを、物理サーバ１Ｂから物理サーバ１Ｃに移動させて、コアの割り当てを変更する。 The inter-physical server allocation changing unit 23b changes the allocation of the CPU 10 of the VM 12 to the core 11 between different physical servers 1. The inter-physical server allocation changing unit 23b operates when a procedure for changing the allocation of the cores 11 between different physical servers 1 is designated as a compaction procedure. That is, the inter-physical server allocation changing unit 23b executes a compaction procedure that is determined by the all physical server resource determining unit 22c to be able to secure resources.
For example, the inter-physical server allocation changing unit 23b allocates the VM 12B allocated to the core of the CPU 10B of the physical server 1B to the core of the CPU 10C of the physical server 1C as illustrated in FIG. That is, the inter-physical server allocation changing unit 23b moves the VM 12B from the physical server 1B to the physical server 1C to change the core allocation.

この物理サーバ間割り当て変更手段２３ｂは、割り当て変更後、記憶部２１０に記憶されているリソース管理データを更新する。この物理サーバ間割り当て変更手段２３ｂのリソース管理データの更新は、物理サーバ内割り当て変更手段２３ａと同様であり、物理サーバ１を跨っている点のみが異なるため、ここでは説明を省略する。
なお、物理サーバ間割り当て変更手段２３ｂは、異なる物理サーバ１間でＶＭ１２の移動を行うため、ＶＭ１２の起動状態を制御して移動を行う必要がある。 The inter-physical server allocation changing unit 23b updates the resource management data stored in the storage unit 210 after changing the allocation. The update of the resource management data of the inter-physical server allocation changing unit 23b is the same as the intra-physical server allocation changing unit 23a, and is different only in that the physical server 1 is straddled.
Note that the inter-physical server allocation changing unit 23b moves the VM 12 between different physical servers 1, and thus needs to move while controlling the activation state of the VM 12.

ここで、図１１，図１２を参照して、アクティブ／スタンバイ構成でアプリケーションが動作しているＶＭ１２のコアの割り当ての変更について説明する。
「０．初期状態」として、物理サーバ１Ａにおいて、ＶＭ１２Ａでアプリケーションがスタンバイ（ＳＢＹ）状態で起動中であって、物理サーバ１Ｂにおいて、ＶＭ１２Ｂでアプリケーションがアクティブ（ＡＣＴ）状態で起動中であるとする。すなわち、物理サーバ１Ａ，１Ｂで、アプリケーションが二重化されて動作しているものとする。
ここで、ＶＭ１２Ｂを、物理サーバ１Ｂから物理サーバ１Ｃに移動させることとする。 Here, with reference to FIG. 11 and FIG. 12, the change of the assignment of the core of the VM 12 in which the application is operating in the active / standby configuration will be described.
As “0. initial state”, it is assumed that in the physical server 1A, the application is running in the standby (SBY) state on the VM 12A, and in the physical server 1B, the application is running in the active (ACT) state on the VM 12B. . That is, it is assumed that the applications are operating in duplicate on the physical servers 1A and 1B.
Here, the VM 12B is moved from the physical server 1B to the physical server 1C.

「１．系切り替え」として、物理サーバ間割り当て変更手段２３ｂは、物理サーバ１ＡのＶＭ１２ＡでＳＢＹ状態として起動中のアプリケーションをＡＣＴ状態に変更するとともに、物理サーバ１ＢのＶＭ１２ＢでＡＣＴ状態として起動中のアプリケーションをＳＢＹ状態に変更する。これによって、アプリケーションの動作系が変更される。   As “1. system switching”, the inter-physical server allocation changing unit 23b changes the application being activated as the SBY state in the VM 12A of the physical server 1A to the ACT state, and is being activated as the ACT state in the VM 12B of the physical server 1B. Change the application to the SBY state. As a result, the operating system of the application is changed.

「２．ＳＢＹ停止」として、物理サーバ間割り当て変更手段２３ｂは、物理サーバ１ＢのＶＭ１２Ｂのアプリケーションを停止させる。この場合でも、アプリケーションは、物理サーバ１Ａで１系統（運用系）が動作している。   As "2. SBY stop", the inter-physical server allocation changing unit 23b stops the VM 12B application of the physical server 1B. Even in this case, one system (active system) is operating on the physical server 1A.

「３．ＶＭ移動」として、物理サーバ間割り当て変更手段２３ｂは、ＶＭ１２（アプリケーションを含む）を物理サーバ１Ｂから物理サーバ１Ｃに移動させる。すなわち、物理サーバ間割り当て変更手段２３ｂは、ＶＭ１２（アプリケーションを含む）を物理サーバ１Ｃにコピーし、物理サーバ１Ｂから削除する。このとき、物理サーバ間割り当て変更手段２３ｂは、前記したようにコアの割り当てを変更する。   As “3. VM migration”, the inter-physical server allocation changing unit 23b moves the VM 12 (including the application) from the physical server 1B to the physical server 1C. That is, the inter-physical server allocation changing unit 23b copies the VM 12 (including the application) to the physical server 1C and deletes it from the physical server 1B. At this time, the inter-physical server allocation changing unit 23b changes the core allocation as described above.

「４．ＳＢＹ立ち上げ」として、物理サーバ間割り当て変更手段２３ｂは、物理サーバ１ＣのＶＭ１２ＢのアプリケーションをＳＢＹ状態で起動させる。
「５．系切り替え」として、物理サーバ間割り当て変更手段２３ｂは、物理サーバ１ＡのＶＭ１２ＡでＡＣＴ状態として起動中のアプリケーションをＳＢＹ状態に変更するとともに、物理サーバ１ＣのＶＭ１２ＢでＳＢＹ状態として起動中のアプリケーションをＡＣＴ状態に変更する。 As “4. SBY start-up”, the inter-physical server allocation changing unit 23b activates the VM 12B application of the physical server 1C in the SBY state.
As “5. system switching”, the inter-physical server allocation changing unit 23b changes the application activated in the ACT state in the VM 12A of the physical server 1A to the SBY state, and is activated in the SBY state in the VM 12B of the physical server 1C. Change the application to ACT state.

なお、ここでは、移動対象のＶＭ１２Ｂのアプリケーションが初期状態においてＡＣＴ状態である場合について説明した。
しかし、移動対象のＶＭ１２Ｂのアプリケーションが初期状態においてＳＢＹ状態である場合、すなわち、アプリケーションが二重化されているＶＭ１２Ａのアプリケーションが初期状態においてＡＣＴ状態である場合、物理サーバ間割り当て変更手段２３ｂは、図１２において、「１．系切り替え」から「４．ＳＢＹ立ち上げ」までの処理を行えばよい。
このように、物理サーバ間割り当て変更手段２３ｂは、アプリケーションのサービスを中断することなく、コアの割り当てを変更することができる。
図３に戻って、仮想マシン配置装置２の構成について説明を続ける。 Here, the case where the application of the migration target VM 12B is in the ACT state in the initial state has been described.
However, when the application of the migration target VM 12B is in the SBY state in the initial state, that is, when the application of the VM 12A in which the application is duplexed is in the ACT state in the initial state, the inter-physical server allocation changing unit 23b In this case, the processing from “1. system switching” to “4. SBY startup” may be performed.
As described above, the inter-physical server allocation changing unit 23b can change the core allocation without interrupting the service of the application.
Returning to FIG. 3, the description of the configuration of the virtual machine placement apparatus 2 will be continued.

配置実行手段２４は、配置位置制御手段２１で決定された配置位置に、新規のＶＭ１２を配置するものである。
この配置実行手段２４は、新規のＶＭ１２のプログラムを、配置位置として指定される物理サーバ１に通信部２００を介してコピーし、同じく配置位置として指定されるＣＰＵ１０の空きコアにＶＭ１２の仮想ＣＰＵ１３を割り当てる。 The placement execution means 24 places a new VM 12 at the placement position determined by the placement position control means 21.
The placement execution unit 24 copies the new VM 12 program to the physical server 1 designated as the placement position via the communication unit 200, and places the virtual CPU 13 of the VM 12 in the free core of the CPU 10 also designated as the placement position. assign.

なお、配置実行手段２４は、記憶部２１０に記憶されているリソース管理データ（図５参照）を参照し、指定された物理サーバ１のＣＰＵ１０のコアで未使用のコアに、必要コア数分のＶＭ１２の仮想ＣＰＵを割り当てる。そして、配置実行手段２４は、リソース管理データのＣＰＵ内コアリスト２１３（図５（ｃ）参照）において、割り当てたコアの「使用／未使用」を「使用」に設定するとともに、「使用ＶＭ」に、新たに配置したＶＭ１２の識別情報と仮想ＣＰＵ１３の識別情報とを設定する。
また、配置実行手段２４は、記憶部２１０に記憶されている動作状態リスト２１４（図６参照）において、新規のＶＭ１２のプログラムを識別するＶＭ１２の識別情報を設定するとともに、アプリケーションの識別情報と運用系または待機系のいずれかであるかを示す識別情報（ＡＣＴ／ＳＢＹ）とを設定する。 The placement execution unit 24 refers to the resource management data (see FIG. 5) stored in the storage unit 210, and assigns the number of necessary cores to unused cores in the core of the CPU 10 of the designated physical server 1. A virtual CPU of the VM 12 is allocated. Then, the placement execution unit 24 sets “used / unused” of the allocated core to “used” in the in-CPU core list 213 (see FIG. 5C) of the resource management data, and “used VM”. The identification information of the newly arranged VM 12 and the identification information of the virtual CPU 13 are set.
In addition, the arrangement execution unit 24 sets the identification information of the VM 12 for identifying the new VM 12 program in the operation state list 214 (see FIG. 6) stored in the storage unit 210, and also identifies the identification information and operation of the application. Identification information (ACT / SBY) indicating whether the system or the standby system is set.

なお、配置実行手段２４は、外部からＶＭ１２の削除を指示された場合、通信部２００を介して、対応する物理サーバ１に対して、ＶＭ１２の削除を指示し、記憶部２１０のリソース管理データのＣＰＵ内コアリスト（図５（ｃ）参照）と、動作状態リスト（図６参照）とを更新することとする。   When the placement execution unit 24 is instructed to delete the VM 12 from the outside, the placement execution unit 24 instructs the corresponding physical server 1 to delete the VM 12 via the communication unit 200, and stores the resource management data in the storage unit 210. The CPU core list (see FIG. 5C) and the operation state list (see FIG. 6) are updated.

以上説明したように仮想マシン配置装置２を構成することで、仮想マシン配置装置２は、ＣＰＵ１０のコア１１に仮想マシン（ＶＭ）１２の仮想ＣＰＵ（ｖＣＰＵ）１３を割り当てて動作させるシステムにおいて、その割り当て処理を自動で行うことができる。
また、仮想マシン配置装置２は、ＶＭ１２の配置によるリソースの獲得、停止によるリソースの回収を繰り返すことによりリソースの断片化が発生した場合でも、コンパクションにより新規に配置するＶＭ１２に対してリソースを確保することができる。
なお、仮想マシン配置装置２は、コンピュータを、前記した各手段として機能させるプログラム（仮想マシン配置プログラム）で動作させることができる。 By configuring the virtual machine placement apparatus 2 as described above, the virtual machine placement apparatus 2 is configured so that the virtual CPU (vCPU) 13 of the virtual machine (VM) 12 is assigned to the core 11 of the CPU 10 and operates. Allocation processing can be performed automatically.
Further, the virtual machine placement apparatus 2 secures resources for the newly placed VM 12 by compaction even when resource fragmentation occurs by repeatedly acquiring resources by collecting the VM 12 and collecting resources by stopping. be able to.
Note that the virtual machine placement apparatus 2 can operate the computer with a program (virtual machine placement program) that causes the computer to function as each of the above-described means.

≪仮想マシン配置装置の動作≫
次に、図１３，図１４を参照（構成については、適宜、図１〜図３参照）して、仮想マシン配置装置２の動作について説明する。
まず、仮想マシン配置装置２は、配置位置制御手段２１に新規のＶＭ１２の配置を指示された場合、空きリソース判定手段２２のＣＰＵ単位リソース判定手段２２ａによって、ＣＰＵ単位でのリソース確保を試みる。
すなわち、空きリソース判定手段２２は、記憶部２１０に記憶されているデータセンタ内物理サーバリスト２１１（図５（ａ）参照）から、最初の物理サーバを選択する（ステップＳ１）。なお、空きリソース判定手段２２は、動作状態リスト２１４（図６参照）を参照して、新たに追加するＶＭ１２のアプリケーションとは異なる他の動作系（運用系または待機系）と同じアプリケーションが動作している場合、その動作している物理サーバは選択から除外する。 << Operation of virtual machine placement device >>
Next, the operation of the virtual machine placement apparatus 2 will be described with reference to FIGS. 13 and 14 (refer to FIGS. 1 to 3 as appropriate for the configuration).
First, when the placement position control unit 21 is instructed to place a new VM 12, the virtual machine placement apparatus 2 tries to secure resources in units of CPU by the CPU unit resource determination unit 22 a of the free resource determination unit 22.
That is, the free resource determination unit 22 selects the first physical server from the in-data center physical server list 211 (see FIG. 5A) stored in the storage unit 210 (step S1). The free resource determination unit 22 refers to the operation state list 214 (see FIG. 6) and operates the same application as another operation system (active system or standby system) different from the newly added VM 12 application. If it is, the operating physical server is excluded from the selection.

そして、ＣＰＵ単位リソース判定手段２２ａは、選択した物理サーバに対応する物理サーバ内ＣＰＵリスト２１２（図５（ｂ）参照）から、最初のＣＰＵを選択する（ステップＳ２）。   Then, the CPU unit resource determination unit 22a selects the first CPU from the in-physical server CPU list 212 (see FIG. 5B) corresponding to the selected physical server (step S2).

そして、ＣＰＵ単位リソース判定手段２２ａは、選択したＣＰＵ１０に対応するＣＰＵ内コアリスト２１３（図５（ｃ）参照）を参照して、新たに配置するＶＭ１２の必要コア数の空きがあるか否かを判定する（ステップＳ３）。すなわち、ＣＰＵ単位リソース判定手段２２ａは、ＣＰＵ内コアリスト２１３で、コア１１の「未使用」の数が、必要コア数以上であるか否かを判定する。   Then, the CPU unit resource determination unit 22a refers to the in-CPU core list 213 (see FIG. 5C) corresponding to the selected CPU 10, and determines whether or not there is a vacant number of necessary cores for the newly placed VM 12. Is determined (step S3). That is, the CPU unit resource determination unit 22a determines whether or not the number of “unused” cores 11 is equal to or greater than the required number of cores in the CPU core list 213.

ここで、必要コア数の空きがある場合（ステップＳ３でＹｅｓ）、仮想マシン配置装置２は、配置実行手段２４によって、選択されたＣＰＵを配置位置として、ＶＭ１２を配置する（ステップＳ４）。ここでは、ＣＰＵ単位リソース判定手段２２ａが、選択した物理サーバ１およびＣＰＵ１０の識別情報を配置位置として配置位置制御手段２１に通知し、配置位置制御手段２１が、その配置位置にＶＭ１２を配置する旨を配置実行手段２４に指示することで、ＶＭ１２の配置が実行される。
そして、配置実行手段２４は、記憶部２１０のリソース管理データのＣＰＵ内コアリスト（図５（ｃ）参照）と、動作状態リスト（図６参照）とを更新する（不図示）。 Here, when there is a vacant number of necessary cores (Yes in Step S3), the virtual machine placement apparatus 2 places the VM 12 by the placement execution unit 24 with the selected CPU as the placement position (Step S4). Here, the CPU unit resource determination unit 22a notifies the arrangement position control unit 21 of the identification information of the selected physical server 1 and CPU 10 as the arrangement position, and the arrangement position control unit 21 arranges the VM 12 at the arrangement position. Is instructed to the placement execution means 24, placement of the VM 12 is executed.
Then, the arrangement execution unit 24 updates the CPU core list (see FIG. 5C) of the resource management data in the storage unit 210 and the operation state list (see FIG. 6) (not shown).

一方、選択されたＣＰＵに必要コア数の空きがない場合（ステップＳ３でＮｏ）、ＣＰＵ単位リソース判定手段２２ａは、物理サーバ内ＣＰＵリスト２１２（図５（ｂ）参照）に次のＣＰＵ１０があるか否かを判定する（ステップＳ５）。
ここで、次のＣＰＵ１０が存在する場合（ステップＳ５でＹｅｓ）、ＣＰＵ単位リソース判定手段２２ａは、次のＣＰＵ１０を選択し（ステップＳ６）、ステップＳ３に動作を戻す。
そして、次のＣＰＵ１０が存在しない場合（ステップＳ５でＮｏ）、ＣＰＵ単位リソース判定手段２２ａは、ステップＳ７（図１４）に動作を移す（Ａ）。 On the other hand, if the selected CPU does not have the required number of cores (No in step S3), the CPU unit resource determination unit 22a has the next CPU 10 in the physical server CPU list 212 (see FIG. 5B). Is determined (step S5).
If the next CPU 10 exists (Yes in step S5), the CPU unit resource determination unit 22a selects the next CPU 10 (step S6) and returns the operation to step S3.
If the next CPU 10 does not exist (No in step S5), the CPU unit resource determination unit 22a moves the operation to step S7 (FIG. 14) (A).

この場合、選択した物理サーバ１内のＣＰＵ単位では、新たなＶＭ１２のためのリソースを確保できないため、仮想マシン配置装置２は、物理サーバ単位リソース判定手段２２ｂによって、選択した物理サーバ全体でのリソース確保を試みる。   In this case, since the resources for the new VM 12 cannot be secured in the CPU unit in the selected physical server 1, the virtual machine placement apparatus 2 uses the physical server unit resource determination unit 22b to determine the resources in the entire selected physical server. Try to secure.

すなわち、物理サーバ単位リソース判定手段２２ｂは、選択した物理サーバ１に対応する物理サーバ内ＣＰＵリスト２１２（図５（ｂ）参照）により、当該物理サーバ１に含まれるすべてのＣＰＵ１０に対応するＣＰＵ内コアリスト２１３（図５（ｃ）参照）を参照して、物理サーバ１内に新たに配置するＶＭ１２の必要コア数を確保できるか否かを判定する（ステップＳ７）。このとき、物理サーバ単位リソース判定手段２２ｂは、図７，図８で説明したように、物理サーバ１内でコンパクションによってリソース（必要コア数）を確保できるか否かを判定する。   That is, the physical server unit resource determination unit 22b uses the CPU list 212 in the physical server corresponding to the selected physical server 1 (see FIG. 5 (b)) in the CPU corresponding to all the CPUs 10 included in the physical server 1. With reference to the core list 213 (see FIG. 5C), it is determined whether the required number of cores of the VM 12 newly arranged in the physical server 1 can be secured (step S7). At this time, the physical server unit resource determination unit 22b determines whether or not resources (necessary number of cores) can be secured by compaction in the physical server 1, as described with reference to FIGS.

ここで、必要コア数が確保できる場合（ステップＳ７でＹｅｓ）、仮想マシン配置装置２は、コンパクション実行手段２３の物理サーバ内割り当て変更手段２３ａによって、物理サーバ１内でコンパクションを実行する（ステップＳ８）。ここでは、物理サーバ単位リソース判定手段２２ｂが、コンパクションによってリソースが確保されるコンパクション手順を配置位置制御手段２１に通知し、物理サーバ内割り当て変更手段２３ａが、そのコンパクション手順を実行する。   Here, when the necessary number of cores can be secured (Yes in step S7), the virtual machine placement apparatus 2 executes compaction in the physical server 1 by the intra-physical server allocation changing unit 23a of the compaction execution unit 23 (step S8). ). Here, the physical server unit resource determination unit 22b notifies the arrangement position control unit 21 of a compaction procedure in which resources are secured by compaction, and the physical server allocation changing unit 23a executes the compaction procedure.

そして、仮想マシン配置装置２は、配置実行手段２４によって、リソースが確保された配置位置に、ＶＭ１２を配置する（ステップＳ９）。ここでは、物理サーバ単位リソース判定手段２２ｂが、コンパクションによりリソースを確保可能な物理サーバ１およびＣＰＵ１０の識別情報を配置位置として配置位置制御手段２１に通知し、配置位置制御手段２１が、その配置位置にＶＭ１２を配置する旨を配置実行手段２４に指示することで、ＶＭ１２の配置が実行される。
そして、配置実行手段２４は、記憶部２１０のリソース管理データのＣＰＵ内コアリスト（図５（ｃ）参照）と、動作状態リスト（図６参照）とを更新する（不図示）。 Then, the virtual machine placement apparatus 2 places the VM 12 at the placement position where the resource is secured by the placement execution unit 24 (step S9). Here, the physical server unit resource determination unit 22b notifies the arrangement position control unit 21 of the identification information of the physical server 1 and the CPU 10 that can secure resources by compaction as the arrangement position, and the arrangement position control unit 21 detects the arrangement position. The placement of the VM 12 is executed by instructing the placement execution means 24 to place the VM 12.
Then, the arrangement execution unit 24 updates the CPU core list (see FIG. 5C) of the resource management data in the storage unit 210 and the operation state list (see FIG. 6) (not shown).

一方、選択された物理サーバ１内に必要コア数が確保できない場合（ステップＳ７でＮｏ）、物理サーバ単位リソース判定手段２２ｂは、データセンタ内物理サーバリスト２１１（図５（ａ）参照）に次の物理サーバ１があるか否かを判定する（ステップＳ１０）。
ここで、次の物理サーバが存在する場合（ステップＳ１０でＹｅｓ）、物理サーバ単位リソース判定手段２２ｂは、次の物理サーバ１を選択し（ステップＳ１１）、ステップＳ２（図１３）に動作を戻す（Ｂ）。 On the other hand, when the required number of cores cannot be secured in the selected physical server 1 (No in step S7), the physical server unit resource determination unit 22b follows the physical server list 211 in the data center (see FIG. 5A). It is determined whether there is a physical server 1 (step S10).
Here, when the next physical server exists (Yes in step S10), the physical server unit resource determination unit 22b selects the next physical server 1 (step S11), and returns the operation to step S2 (FIG. 13). (B).

なお、物理サーバ単位リソース判定手段２２ｂは、動作状態リスト２１４（図６参照）を参照して、新たに追加するＶＭ１２のアプリケーションとは異なる他の動作系（運用系または待機系）と同じアプリケーションが動作している場合、その動作している物理サーバは選択から除外する。   Note that the physical server unit resource determination unit 22b refers to the operation state list 214 (see FIG. 6), and has the same application as another operation system (active system or standby system) different from the newly added VM 12 application. If it is running, that physical server is excluded from the selection.

そして、次の物理サーバ１が存在しない場合（ステップＳ１０でＮｏ）、物理サーバ単位リソース判定手段２２ｂは、ステップＳ１２に動作を移す。
この場合、物理サーバ単位では、新たなＶＭ１２のためのリソースを確保できないため、仮想マシン配置装置２は、全物理サーバリソース判定手段２２ｃによって、すべての物理サーバ１でのリソース確保を試みる。 If the next physical server 1 does not exist (No in step S10), the physical server unit resource determination unit 22b moves the operation to step S12.
In this case, since resources for the new VM 12 cannot be secured in units of physical servers, the virtual machine placement apparatus 2 tries to secure resources in all the physical servers 1 by the all physical server resource determination unit 22c.

すなわち、全物理サーバリソース判定手段２２ｃは、データセンタ内物理サーバリスト２１１（図５（ａ）参照）で特定されるすべての物理サーバ１に対応する物理サーバ内ＣＰＵリスト２１２（図５（ｂ）参照）により、すべての物理サーバ１に含まれるすべてのＣＰＵ１０に対応するＣＰＵ内コアリスト２１３（図５（ｃ）参照）を参照して、物理サーバ１内に新たに配置するＶＭ１２の必要コア数を確保できるか否かを判定する（ステップＳ１２）。このとき、全物理サーバリソース判定手段２２ｃは、データセンタＳ内でコンパクションによってリソース（必要コア数）を確保できるか否かを判定する。   That is, the all-physical server resource determination unit 22c is configured so that the in-physical server CPU list 212 corresponding to all the physical servers 1 specified in the in-data center physical server list 211 (see FIG. 5A) (see FIG. 5B). By referring to the CPU core list 213 (see FIG. 5C) corresponding to all the CPUs 10 included in all the physical servers 1, the required number of cores of the VM 12 newly arranged in the physical server 1 Whether or not can be secured (step S12). At this time, the all physical server resource determination unit 22c determines whether or not resources (necessary number of cores) can be secured by compaction in the data center S.

ここで、必要コア数が確保できる場合（ステップＳ１２でＹｅｓ）、仮想マシン配置装置２は、コンパクション実行手段２３の物理サーバ間割り当て変更手段２３ｂによって、物理サーバ１間でコンパクションを実行する（ステップＳ１３）。ここでは、全物理サーバリソース判定手段２２ｃが、コンパクションによってリソースが確保されるコンパクション手順を配置位置制御手段２１に通知し、物理サーバ間割り当て変更手段２３ｂが、そのコンパクション手順を実行する。   If the necessary number of cores can be secured (Yes in step S12), the virtual machine placement apparatus 2 executes compaction between the physical servers 1 by the inter-physical server allocation changing unit 23b of the compaction execution unit 23 (step S13). ). Here, the all physical server resource determination unit 22c notifies the arrangement position control unit 21 of a compaction procedure in which resources are secured by compaction, and the inter-physical server allocation change unit 23b executes the compaction procedure.

そして、仮想マシン配置装置２は、配置実行手段２４によって、リソースが確保された配置位置に、ＶＭ１２を配置する（ステップＳ１４）。ここでは、全物理サーバリソース判定手段２２ｃが、コンパクションによりリソースを確保可能な物理サーバ１およびＣＰＵ１０の識別情報を配置位置として配置位置制御手段２１に通知し、配置位置制御手段２１が、その配置位置にＶＭ１２を配置する旨を配置実行手段２４に指示することで、ＶＭ１２の配置が実行される。   Then, the virtual machine placement apparatus 2 places the VM 12 at the placement position where the resource is secured by the placement execution unit 24 (step S14). Here, the all physical server resource determination unit 22c notifies the arrangement position control unit 21 of the identification information of the physical server 1 and the CPU 10 that can secure resources by compaction as the arrangement position, and the arrangement position control unit 21 detects the arrangement position. The placement of the VM 12 is executed by instructing the placement execution means 24 to place the VM 12.

そして、配置実行手段２４は、記憶部２１０のリソース管理データのＣＰＵ内コアリスト（図５（ｃ）参照）と、動作状態リスト（図６参照）とを更新する（不図示）。
一方、すべての物理サーバによっても、必要コア数が確保できない場合（ステップＳ１２でＮｏ）、仮想マシン配置装置２は、配置位置制御手段２１によって、図示を省略した表示装置に警告を表示する（ステップＳ１５）。
この場合、データセンタＳ内に新たに物理サーバを追加した後（ステップＳ１６）、新たなＶＭを配置することとする（ステップＳ１７）。 Then, the arrangement execution unit 24 updates the CPU core list (see FIG. 5C) of the resource management data in the storage unit 210 and the operation state list (see FIG. 6) (not shown).
On the other hand, if the required number of cores cannot be secured by all physical servers (No in step S12), the virtual machine placement apparatus 2 displays a warning on a display device (not shown) by the placement position control means 21 (step). S15).
In this case, after adding a new physical server in the data center S (step S16), a new VM is arranged (step S17).

以上の動作によって、仮想マシン配置装置２は、データセンタＳ内のリソース管理を行って、リソースの断片化が発生した場合でも、コンパクションにより新規に配置するＶＭ１２にリソースを確保することができる。   With the above operation, the virtual machine placement apparatus 2 manages resources in the data center S, and even when resource fragmentation occurs, resources can be secured in the newly placed VM 12 by compaction.

以上、本発明の実施形態について説明したが、本発明はこの実施形態に限定されるものではない。
例えば、ここでは、仮想マシン配置装置２は、配置位置制御手段２１が、外部からＶＭ１２の配置や削除を指示されるたびに、リソース管理データを更新することとした。
しかし、仮想マシン配置装置２は、データセンタＳ内の物理サーバ１から、通信部２００を介して、ＶＭの終了通知を受信することで、配置実行手段２４が、リソースを更新（解放）することとしてもよい。あるいは、配置実行手段２４は定期的にＶＭ１２の動作確認を行って、動作確認のとれないＶＭ１２のリソースを更新（解放）することとしてもよい。
これによって、物理サーバ１が、自発的にＶＭ１２の削除を行った場合でも、仮想マシン配置装置２がリソースを管理することができる。 As mentioned above, although embodiment of this invention was described, this invention is not limited to this embodiment.
For example, here, the virtual machine placement apparatus 2 updates the resource management data every time the placement position control unit 21 is instructed to place or delete the VM 12 from the outside.
However, when the virtual machine placement apparatus 2 receives a VM end notification from the physical server 1 in the data center S via the communication unit 200, the placement execution unit 24 updates (releases) the resource. It is good. Alternatively, the arrangement execution unit 24 may periodically check the operation of the VM 12 and update (release) resources of the VM 12 that cannot be confirmed.
Thereby, even when the physical server 1 voluntarily deletes the VM 12, the virtual machine placement apparatus 2 can manage resources.

また、ここでは、空きリソース判定手段２２は、ある物理サーバ１においてＣＰＵ１０ごとにリソースが確保できるか探索し、確保できない場合にその物理サーバ１内でコンパクションを行うことでリソースを確保できるか否かを判定した。すなわち、空きリソース判定手段２２は、ＣＰＵ単位の探索と物理サーバ単位の探索とを、物理サーバ１ごとに順次繰り返してリソースを確保できるか否か判定した。
しかし、空きリソース判定手段２２は、すべての物理サーバ１内のすべてのＣＰＵ１０でリソースが確保できるか探索し、確保できない場合に、物理サーバ単位でコンパクションすることでリソースを確保できるか否かを判定することとしてもよい。すなわち、空きリソース判定手段２２は、すべての物理サーバ１でＣＰＵ単位の探索を行った後、すべての物理サーバ１に対して、物理サーバ単位の探索を行うこととしてもよい。 Further, here, the free resource determination unit 22 searches whether a resource can be secured for each CPU 10 in a certain physical server 1, and if the resource cannot be secured, whether or not the resource can be secured by performing compaction in the physical server 1. Was judged. That is, the free resource determination unit 22 determines whether or not resources can be secured by sequentially repeating the search for each CPU and the search for each physical server for each physical server 1.
However, the free resource determination unit 22 searches whether all the CPUs 10 in all the physical servers 1 can secure the resource, and determines whether the resource can be secured by performing compaction in units of physical servers when the resource cannot be secured. It is good to do. That is, the free resource determination unit 22 may perform a search in units of physical servers for all the physical servers 1 after performing a search in units of CPUs in all the physical servers 1.

Ｓ データセンタ（コンピュータシステム）
１ 物理サーバ（サーバハード）
１０ ＣＰＵ
１１ コア
１２ 仮想マシン（ＶＭ）
１３ 仮想ＣＰＵ（ｖＣＰＵ）
２ 仮想マシン配置装置
２１ 配置位置制御手段
２２ 空きリソース判定手段
２２ａ ＣＰＵ単位リソース判定手段
２２ｂ 物理サーバ単位判定手段
２２ｃ 全物理サーバリソース判定手段
２３ コンパクション実行手段
２３ａ 物理サーバ内割り当て変更手段
２３ｂ 物理サーバ間割り当て変更手段
２４ 配置実行手段
２００ 通信部（通信手段）
２１０ 記憶部（記憶手段）
２２０ 制御部（制御手段） S Data center (computer system)
1 Physical server (server hardware)
10 CPU
11 cores 12 virtual machines (VM)
13 Virtual CPU (vCPU)
2 Virtual Machine Placement Device 21 Placement Position Control Unit 22 Free Resource Determination Unit 22a CPU Unit Resource Determination Unit 22b Physical Server Unit Determination Unit 22c All Physical Server Resource Determination Unit 23 Compaction Execution Unit 23a Physical Server Allocation Change Unit 23b Physical Server Allocation Change means 24 Placement execution means 200 Communication unit (communication means)
210 Storage section (storage means)
220 Control unit (control means)

Claims (4)

複数のコアで構成されるＣＰＵを複数有する物理サーバを複数備えたコンピュータシステムにおいて、仮想マシンを予め同一のＣＰＵのコアに割り当てて前記物理サーバに配置する仮想マシン配置装置であって、
前記物理サーバと前記ＣＰＵと前記コアとを対応付けるとともに、前記コアがどの仮想マシンに使用されているのかを示すリソース管理データを記憶する記憶手段と、
前記リソース管理データを参照して、新たな仮想マシンが予め必要とする必要コア数を同一ＣＰＵ上に確保できるか否かを判定する空きリソース判定手段と、
前記空きリソース判定手段で同一ＣＰＵ上に前記必要コア数を確保できない場合に、動作中の仮想マシンが割り当てられているコアを、当該仮想マシンが動作している物理サーバの他のＣＰＵ、または、他の物理サーバのＣＰＵに割り当て直すコンパクション実行手段と、
確保された同一ＣＰＵ上のコアに、前記新たな仮想マシンを配置する配置実行手段と、
を備えることを特徴とする仮想マシン配置装置。 In a computer system provided with a plurality of physical servers having a plurality of CPUs composed of a plurality of cores, a virtual machine placement device that assigns virtual machines to the same CPU cores in advance and places them on the physical servers
Storage means for associating the physical server, the CPU, and the core, and storing resource management data indicating in which virtual machine the core is used;
With reference to the resource management data, free resource determination means for determining whether or not a necessary number of cores required in advance by a new virtual machine can be secured on the same CPU;
When the required resource number cannot be secured on the same CPU by the free resource determination unit, the core to which the operating virtual machine is allocated is assigned to another CPU of the physical server on which the virtual machine is operating, or Compaction execution means for reassigning to CPUs of other physical servers;
Placement execution means for placing the new virtual machine in the secured core on the same CPU;
A virtual machine placement apparatus comprising: 前記空きリソース判定手段は、
前記同一ＣＰＵで前記必要コア数を確保できない場合に、個々の物理サーバ内で、前記動作中の仮想マシンに割り当てられているコアを、他のＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定する物理サーバ単位リソース判定手段と、
前記物理サーバ内で前記必要コア数を確保できない場合に、すべての物理サーバ間で、前記動作中の仮想マシンに割り当てられているコアを、他の物理サーバのＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定する全物理サーバリソース判定手段と、を備えることを特徴とする請求項１に記載の仮想マシン配置装置。 The free resource determination means includes:
When the required number of cores cannot be secured by the same CPU, the same number of required cores can be set by reassigning the cores assigned to the operating virtual machine to other CPUs within each physical server. Physical server unit resource determination means for determining whether or not it can be secured on the CPU;
When the required number of cores cannot be secured in the physical server, the core allocated to the operating virtual machine is reassigned to the CPU of another physical server among all the physical servers, thereby The virtual machine placement device according to claim 1, further comprising: all physical server resource judgment means for judging whether or not the number of cores can be secured on the same CPU. 複数のコアで構成されるＣＰＵを複数有する物理サーバを複数備えたコンピュータシステムにおいて、仮想マシン配置装置が、仮想マシンを予め同一のＣＰＵのコアに割り当てて前記物理サーバに配置するためのリソースを確保するリソース管理方法であって、
空きリソース判定手段によって、前記物理サーバと前記ＣＰＵと前記コアとを対応付けるとともに、前記コアがどの仮想マシンに使用されているのかを示すリソース管理データを参照して、新たな仮想マシンが予め必要とする必要コア数を同一ＣＰＵ上に確保できるか否かを判定するステップと、
コンパクション実行手段によって、前記空きリソース判定手段で同一ＣＰＵ上に前記必要コア数を確保できない場合に、動作中の仮想マシンが割り当てられているコアを、当該仮想マシンが動作している物理サーバの他のＣＰＵ、または、他の物理サーバのＣＰＵに割り当て直すステップと、
を含むことを特徴とするリソース管理方法。 In a computer system having a plurality of physical servers each having a plurality of CPUs composed of a plurality of cores, a virtual machine placement device secures resources for allocating virtual machines to the same CPU cores in advance and placing them on the physical servers. A resource management method for
The free resource determination means associates the physical server with the CPU and the core, and refers to resource management data indicating which virtual machine is used by the core, so that a new virtual machine is required in advance. Determining whether the required number of cores to be secured can be secured on the same CPU;
When the required number of cores cannot be secured on the same CPU by the compaction execution means, the core to which the operating virtual machine is allocated is assigned to the physical server on which the virtual machine is operating. Reassigning to the CPU of the other physical server or the CPU of another physical server;
A resource management method comprising: 複数のコアで構成されるＣＰＵを複数有する物理サーバを複数備えたコンピュータシステムにおいて、仮想マシン配置装置が、仮想マシンを予め同一のＣＰＵのコアに割り当てて前記物理サーバに配置するためのリソースを確保するリソース管理方法であって、
ＣＰＵ単位リソース判定手段によって、前記物理サーバと前記ＣＰＵと前記コアとを対応付けるとともに、前記コアがどの仮想マシンに使用されているのかを示すリソース管理データを参照して、同一ＣＰＵ内で新たな仮想マシンが予め必要とする必要コア数を確保できるか否かを判定するステップと、
同一ＣＰＵ内で前記必要コア数を確保できない場合に、物理サーバ単位リソース判定手段によって、前記リソース管理データを参照して、個々の物理サーバ内で、動作中の仮想マシンに割り当てられているコアを、他のＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定するステップと、
前記物理サーバ内で前記必要コア数を確保できる場合に、物理サーバ内割り当て変更手段によって、前記物理サーバ内でコアの割り当てを変更するステップと、
前記物理サーバ内で前記必要コア数を確保できない場合に、全物理サーバリソース判定手段によって、前記リソース管理データを参照して、すべての物理サーバ間で、動作中の仮想マシンに割り当てられているコアを、他の物理サーバのＣＰＵに割り当て直すことで、前記必要コア数を同一ＣＰＵ上に確保できるか否かを判定するステップと、
前記物理サーバ間で前記必要コア数を確保できる場合に、物理サーバ間割り当て変更手段によって、前記物理サーバ間でコアの割り当てを変更するステップと、
を含むことを特徴とするリソース管理方法。 In a computer system having a plurality of physical servers each having a plurality of CPUs composed of a plurality of cores, a virtual machine placement device secures resources for allocating virtual machines to the same CPU cores in advance and placing them on the physical servers. A resource management method for
The CPU unit resource determination means associates the physical server with the CPU and the core, and refers to resource management data indicating which virtual machine is used by the core, and creates a new virtual machine within the same CPU. Determining whether the machine can secure the required number of cores in advance;
When the required number of cores cannot be secured in the same CPU, the physical server unit resource determination means refers to the resource management data, and determines the cores assigned to the operating virtual machine in each physical server. Determining whether the necessary number of cores can be secured on the same CPU by reassigning to another CPU;
When the required number of cores can be secured in the physical server, the allocation of cores in the physical server is changed by the allocation change means in the physical server; and
When the required number of cores cannot be secured in the physical server, all physical server resource determination means refers to the resource management data and is allocated to the operating virtual machine among all physical servers Determining whether or not the necessary number of cores can be secured on the same CPU by reassigning to the CPU of another physical server;
When the required number of cores can be secured between the physical servers, the step of changing the allocation of cores between the physical servers by the allocation change unit between physical servers;
A resource management method comprising:
JP2016110554A 2016-06-02 2016-06-02 Virtual machine allocation apparatus and resource management method Active JP6543219B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016110554A JP6543219B2 (en) 2016-06-02 2016-06-02 Virtual machine allocation apparatus and resource management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016110554A JP6543219B2 (en) 2016-06-02 2016-06-02 Virtual machine allocation apparatus and resource management method

Publications (2)

Publication Number Publication Date
JP2017215884A true JP2017215884A (en) 2017-12-07
JP6543219B2 JP6543219B2 (en) 2019-07-10

Family

ID=60577054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016110554A Active JP6543219B2 (en) 2016-06-02 2016-06-02 Virtual machine allocation apparatus and resource management method

Country Status (1)

Country Link
JP (1) JP6543219B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019160060A1 (en) * 2018-02-19 2019-08-22 日本電信電話株式会社 Virtual resource management device, virtual resource allocation method, and virtual resource allocation program
CN111400020A (en) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 Virtual machine scheduling method and device and computer readable storage medium
CN111861446A (en) * 2020-07-20 2020-10-30 北京金山云网络技术有限公司 Charging control method, charging control device, electronic equipment, server and storage medium
JP2021060858A (en) * 2019-10-08 2021-04-15 横河電機株式会社 Real-time communication processing system and real-time communication processing method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080163239A1 (en) * 2006-12-29 2008-07-03 Suresh Sugumar Method for dynamic load balancing on partitioned systems
JP2009205696A (en) * 2009-06-15 2009-09-10 Hitachi Ltd Control method of multi-core processor computer
JP2013171944A (en) * 2012-02-20 2013-09-02 Toshiba Corp Semiconductor manufacturing apparatus and semiconductor device manufacturing method using the apparatus
JP2015141459A (en) * 2014-01-27 2015-08-03 日本電気株式会社 system control device, control method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080163239A1 (en) * 2006-12-29 2008-07-03 Suresh Sugumar Method for dynamic load balancing on partitioned systems
JP2009205696A (en) * 2009-06-15 2009-09-10 Hitachi Ltd Control method of multi-core processor computer
JP2013171944A (en) * 2012-02-20 2013-09-02 Toshiba Corp Semiconductor manufacturing apparatus and semiconductor device manufacturing method using the apparatus
JP2015141459A (en) * 2014-01-27 2015-08-03 日本電気株式会社 system control device, control method, and program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019160060A1 (en) * 2018-02-19 2019-08-22 日本電信電話株式会社 Virtual resource management device, virtual resource allocation method, and virtual resource allocation program
JP2019144727A (en) * 2018-02-19 2019-08-29 日本電信電話株式会社 Virtual resource management device and virtual resource allocation method and virtual resource allocation program
CN111400020A (en) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 Virtual machine scheduling method and device and computer readable storage medium
CN111400020B (en) * 2019-01-02 2023-05-09 中国移动通信有限公司研究院 Virtual machine scheduling method and device and computer readable storage medium
JP2021060858A (en) * 2019-10-08 2021-04-15 横河電機株式会社 Real-time communication processing system and real-time communication processing method
JP7010272B2 (en) 2019-10-08 2022-01-26 横河電機株式会社 Real-time communication processing system and real-time communication processing method
CN111861446A (en) * 2020-07-20 2020-10-30 北京金山云网络技术有限公司 Charging control method, charging control device, electronic equipment, server and storage medium

Also Published As

Publication number Publication date
JP6543219B2 (en) 2019-07-10

Similar Documents

Publication Publication Date Title
US11579914B2 (en) Platform independent GPU profiles for more efficient utilization of GPU resources
US11182196B2 (en) Unified resource management for containers and virtual machines
EP3761170B1 (en) Virtual machine creation method and apparatus
CN109565515B (en) System, apparatus, and process for dynamic tenant fabric adjustment in a distributed resource management system
JP5368285B2 (en) Computer system, computer resource management method and program
JP6658882B2 (en) Control device, VNF placement destination selection method and program
JP5352890B2 (en) Computer system operation management method, computer system, and computer-readable medium storing program
JP2018503897A (en) Resource management in cloud systems
JP2010282420A (en) Management computer, resource management method, resource management program, recording medium, and information processing system
JP2007272263A (en) Method for managing computer, computer system, and management program
US11556369B2 (en) Virtual machine deployment method and OMM virtual machine
JP6543219B2 (en) Virtual machine allocation apparatus and resource management method
EP3731093B1 (en) Service location management in computing systems
JP5597293B2 (en) Computer system and program
JP2010205208A (en) Host computer, multipath system, and method and program for allocating path
JP5558615B2 (en) Computer system, computer resource management method and program
CN107562510B (en) Management method and management equipment for application instances
JP6075882B2 (en) Distributed processing system and distributed processing method
JP2011215812A (en) Virtual computer management method, computer system, and resource management program
KR102014246B1 (en) Mesos process apparatus for unified management of resource and method for the same
CN114157569A (en) Cluster system and construction method and construction device thereof
JP2016038888A (en) Information processing system, information processing method and information processing program
JP5744287B2 (en) Computer system and computer resource management method
JP6696947B2 (en) Virtual machine emulation system, virtual machine emulation method and computer program
JP5390651B2 (en) Computer system and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190614

R150 Certificate of patent or registration of utility model

Ref document number: 6543219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150