JP2012208541A

JP2012208541A - Virtual machine management device, virtual machine method, and virtual machine program

Info

Publication number: JP2012208541A
Application number: JP2011071375A
Authority: JP
Inventors: Takeshi Higuchi; 毅樋口
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2011-03-29
Filing date: 2011-03-29
Publication date: 2012-10-25

Abstract

PROBLEM TO BE SOLVED: To appropriately eliminate a resource shortage when the resource shortage occurs in any physical machine in a virtual machine system in which plural virtual machines are operated by using plural physical machines.SOLUTION: A virtual machine management device 5 performs the steps of: specifying, if a resource shortage occurs, a physical machine having a predetermined amount or more of a residual resource amount as a specific physical machine; specifying, from among virtual machines operated by using a physical machine in which a resource shortage has occurred, a virtual machine with a low probability of a conflict of resource occurring in the case of operating the virtual machine as a specific virtual machine on the basis of the resource usage amount of the virtual machine operated by using the physical machine; and transiting a physical machine operating the specific virtual machine to the specific physical machine.

Description

この発明は、複数の物理マシン（サーバ）において複数の仮想マシンが動作する仮想マシンシステムのリソース管理技術に関する。 The present invention relates to a resource management technique for a virtual machine system in which a plurality of virtual machines operate in a plurality of physical machines (servers).

仮想化技術の普及に伴い、各サーバ機能やデスクトップ機能をそれぞれ仮想マシンとすることで、１台の物理マシン上に複数の仮想マシンを配備することが可能となっている。
例えば、データセンタ事業者は、従来は、顧客毎に物理マシンを用意し、サービス提供していた。しかし、上述した仮想化技術の普及により、データセンタ事業者は、複数の顧客に対して共用の１台の物理マシンを用意し、その物理マシン上に各顧客用の仮想マシンを用意して、サービス提供することが可能となっている。 With the spread of virtualization technology, each server function and desktop function is a virtual machine, and a plurality of virtual machines can be deployed on one physical machine.
For example, data center operators have conventionally provided physical machines for each customer and provided services. However, with the popularization of the above-described virtualization technology, a data center operator prepares one physical machine shared for a plurality of customers, and prepares a virtual machine for each customer on the physical machine, It is possible to provide services.

仮想マシンでサービスを提供する場合には、集約度を高め、１台の物理マシン上に可能な限り多くの仮想マシンを稼動させることにより、低コストでのサービスの提供が可能となる。
一方で、集約度を高め過ぎると、仮想マシン間でリソースの競合が発生してしまう。この場合、ある仮想マシンが処理を実施していることで別の仮想マシンの処理が待たされるという状況が頻発し、結果として応答性能の劣化等が発生し、顧客満足度を低下させることになってしまう。 When providing services with virtual machines, it is possible to provide services at low cost by increasing the degree of aggregation and operating as many virtual machines as possible on one physical machine.
On the other hand, if the degree of aggregation is too high, resource contention occurs between virtual machines. In this case, a situation in which a process of another virtual machine is awaited due to the execution of a certain virtual machine frequently occurs, resulting in degradation of response performance and the like, resulting in a decrease in customer satisfaction. End up.

特許文献１には、予め契約等で定められたＳＬＡ（ＳｅｒｖｉｃｅＬｅｖｅｌＡｇｒｅｅｍｅｎｔ）に基づき、各アプリケーションに割り当てるリソースを制御する方法についての記載がある。
これにより、特許文献１では、集約度を高め低コストでサービスを提供したいという要求と、顧客満足度は低下させたくないという要求との相反する２つの要求を満足させようとしている。 Patent Document 1 describes a method for controlling resources allocated to each application based on SLA (Service Level Agreement) determined in advance by a contract or the like.
As a result, Patent Document 1 attempts to satisfy two conflicting requirements: a request to increase the degree of aggregation and provide a service at a low cost, and a request not to reduce customer satisfaction.

特許文献２には、複数の仮想マシンが使用しているメモリ領域のうち共通する情報を記憶する部分を１つにまとめてしまい、必要な物理メモリ量を削減する方法についての記載がある。
これにより、特許文献２では、例えば、１台の物理マシンにおいて４ＧＢのメモリが必要な仮想マシンが２台稼動している場合、実際に使用するメモリ量を８ＧＢより少なくして、各仮想マシンに４ＧＢのメモリを提供しようとしている。この方法は、仮想マシン間で共通してメモリに記憶する情報が多いほど有効であり、少ないメモリ量で多くの仮想マシンを動作させることが可能となる。 Patent Document 2 describes a method for reducing the amount of required physical memory by collecting a portion for storing common information in a memory area used by a plurality of virtual machines.
Accordingly, in Patent Document 2, for example, when two virtual machines that require 4 GB of memory are operating in one physical machine, the amount of memory actually used is less than 8 GB, and each virtual machine I am trying to provide 4GB of memory. This method is more effective as more information is stored in the memory in common between the virtual machines, and a larger number of virtual machines can be operated with a smaller amount of memory.

特開２００８−２９３２８３号公報JP 2008-293283 A 特開２０１０−２１１２５９号公報JP 2010-211259 A

特許文献１に記載された方法では、ＳＬＡのみでリソースの割り当てを判定しているため、アプリケーション間でＳＬＡに差がなければ有効に機能しない。したがって、前記相反する２つの要求を満足させることはできない。
この発明は、複数の物理マシンを用いて複数の仮想マシンが動作している仮想マシンシステムにおいて、いずれかの物理マシンにリソース不足が発生した場合に、適切にリソース不足を解消することを目的とする。 In the method described in Patent Document 1, since resource allocation is determined only by SLA, it does not function effectively unless there is a difference in SLA between applications. Therefore, the two conflicting requirements cannot be satisfied.
An object of the present invention is to appropriately solve a resource shortage when a resource shortage occurs in any of the physical machines in a virtual machine system in which a plurality of virtual machines are operated using a plurality of physical machines. To do.

この発明に係る仮想マシン管理装置は、
複数の物理マシンにおいて複数の仮想マシンが動作する仮想マシンシステムを管理する仮想マシン管理装置であり、
各物理マシンについて、使用されていないリソースの量であるリソース残量を計測する残量計測部と、
各仮想マシンについて、その仮想マシンが使用しているリソースの量であるリソース使用量を計測する使用量計測部と、
いずれかの物理マシンでリソース不足が発生した場合、前記残量計測部が計測したリソース残量が所定量以上ある物理マシンを特定物理マシンとして特定する物理マシン特定部と、
前記使用量計測部が計測したリソース使用量であって、前記リソース不足が発生した物理マシンである不足マシンで動作する仮想マシンのリソース使用量に基づき、前記不足マシンで動作する仮想マシンから、前記物理マシン特定部が特定した特定物理マシンで動作させた場合にリソースの競合が発生する可能性が低い仮想マシンを特定仮想マシンとして特定する仮想マシン特定部と、
前記仮想マシン特定部が特定した特定仮想マシンを、前記不足マシンで動作させるのを止め、前記特定物理マシンで動作させる仮想マシン移動部と
を備えることを特徴とする。 The virtual machine management device according to the present invention is:
A virtual machine management apparatus that manages a virtual machine system in which a plurality of virtual machines operate in a plurality of physical machines,
For each physical machine, a remaining amount measurement unit that measures the remaining amount of resources, which is the amount of unused resources,
For each virtual machine, a usage meter that measures the resource usage, which is the amount of resources used by the virtual machine,
When a resource shortage occurs in any of the physical machines, a physical machine specifying unit that specifies a physical machine having a predetermined amount or more of the remaining amount of resources measured by the remaining amount measuring unit as a specific physical machine;
The resource usage measured by the usage meter, based on the resource usage of a virtual machine that operates on the insufficient machine that is the physical machine on which the resource shortage has occurred, from the virtual machine that operates on the insufficient machine, A virtual machine identification unit that identifies a virtual machine that has a low possibility of resource contention as a specific virtual machine when operated on a specific physical machine identified by the physical machine identification unit;
And a virtual machine moving unit that stops operating the specific virtual machine specified by the virtual machine specifying unit on the insufficient physical machine and operates on the specific physical machine.

この発明に係る仮想マシン管理装置では、リソース不足が発生した物理マシンにおいて動作する仮想マシンのうち、特定物理マシンへ移動させてもリソースの競合が発生する可能性の低い仮想マシンを特定して、特定物理マシンへ移動させる。そのため、仮想マシンを移動させることによる移動先の物理マシンへの影響を抑えつつ、リソース不足が発生した物理マシンのリソース不足を解消することができる。 In the virtual machine management device according to the present invention, among virtual machines operating on a physical machine in which a resource shortage has occurred, a virtual machine that is unlikely to cause resource contention even if moved to a specific physical machine is identified. Move to a specific physical machine. Therefore, it is possible to solve the shortage of resources of the physical machine in which the resource shortage has occurred while suppressing the influence on the destination physical machine due to the movement of the virtual machine.

実施の形態１に係る仮想マシンシステム１００の構成図。1 is a configuration diagram of a virtual machine system 100 according to Embodiment 1. FIG. 実施の形態１に係るグループ管理テーブル１６に格納されたグループ情報の例を示す図。The figure which shows the example of the group information stored in the group management table 16 which concerns on Embodiment 1. FIG. 実施の形態１に係るリソース監視部１２の動作を示すフローチャート。6 is a flowchart showing the operation of the resource monitoring unit 12 according to the first embodiment. 実施の形態１に係る移動対象選定部１３の動作を示すフローチャート。5 is a flowchart showing an operation of a movement target selection unit 13 according to the first embodiment. 移動対象選定部１３が各物理マシン１の空きリソース情報をまとめた例を示す図。The figure which shows the example which the movement object selection part 13 put together the free resource information of each physical machine 1. FIG. 仮想マシン３のメモリの利用状況を概念的に示した図。The figure which showed notionally the utilization condition of the memory of the virtual machine 3. FIG. 実施の形態２に係る仮想マシンシステム１００の構成図。FIG. 3 is a configuration diagram of a virtual machine system 100 according to a second embodiment. 実施の形態２に係る係数記憶部１７に格納された情報の例を示す図。The figure which shows the example of the information stored in the coefficient memory | storage part 17 which concerns on Embodiment 2. FIG. 実施の形態２に係る移動対象選定部１３の動作を示すフローチャート。9 is a flowchart showing an operation of a movement target selection unit 13 according to the second embodiment. 実施の形態３に係る係数記憶部１７に格納された情報の例を示す図。FIG. 10 is a diagram illustrating an example of information stored in a coefficient storage unit 17 according to the third embodiment. 実施の形態３に係る移動対象選定部１３の動作を示すフローチャート。10 is a flowchart showing the operation of a movement target selection unit 13 according to the third embodiment. リソースの共有に関する値と、評価値とを示す図。The figure which shows the value regarding sharing of a resource, and an evaluation value. 仮想マシン管理装置５のハードウェア構成の一例を示す図。The figure which shows an example of the hardware constitutions of the virtual machine management apparatus 5.

以下、図に基づき発明の実施の形態について説明する。
なお、以下の説明において、処理装置は後述するＣＰＵ９１１等であり、記憶装置は後述するＲＯＭ９１３、ＲＡＭ９１４、磁気ディスク装置９２０等である。つまり、処理装置や記憶装置はハードウェアである。 Hereinafter, embodiments of the invention will be described with reference to the drawings.
In the following description, the processing device is a CPU 911 and the like which will be described later, and the storage device is a ROM 913, a RAM 914, a magnetic disk device 920 and the like which will be described later. That is, the processing device and the storage device are hardware.

実施の形態１．
実施の形態１では、仮想マシン３間で共有しているメモリ量を利用して、移動させる仮想マシン３を特定する方法について説明する。 Embodiment 1 FIG.
In the first embodiment, a method for specifying a virtual machine 3 to be moved using a memory amount shared between the virtual machines 3 will be described.

図１は、実施の形態１に係る仮想マシンシステム１００の構成図である。
仮想マシンシステム１００は、複数の物理マシン１（物理マシン１ａ，１ｂ，．．．）を備える。各物理マシン１では、仮想マシン３を動作させる環境を提供する仮想化ソフトウェア２（仮想化ソフトウェア２ａ，２ｂ，．．．）が動作している。そして、各仮想化ソフトウェア２では、サーバ機能やデスクトップ機能を提供する複数の仮想マシン３が動作している。 FIG. 1 is a configuration diagram of a virtual machine system 100 according to the first embodiment.
The virtual machine system 100 includes a plurality of physical machines 1 (physical machines 1a, 1b,...). In each physical machine 1, virtualization software 2 (virtualization software 2 a, 2 b,...) That provides an environment for operating the virtual machine 3 is operating. In each virtualization software 2, a plurality of virtual machines 3 that provide server functions and desktop functions are operating.

また、仮想マシンシステム１００は、各物理マシン１と通信回線４を介して接続された仮想マシン管理装置５を備える。さらに、仮想マシンシステム１００は、各物理マシン１と通信回線６を介して接続されたストレージ７を備える。
通信回線４は、例えばイントラネット、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等のネットワークである。ここでは１本のネットワークで記載しているが、管理用のネットワークや業務用のネットワークなどで複数用意することも可能である。仮想マシン管理装置５は、物理マシン１で動作する仮想マシン３を管理する装置である。通信回線６は、例えばＦＣ（ＦｉｂｒｅＣｈａｎｎｅｌ）、ＬＡＮ等のストレージ７にアクセスするためのストレージネットワークである。ストレージ７は、仮想マシン３のディスクイメージを格納する記憶装置である。 The virtual machine system 100 also includes a virtual machine management device 5 connected to each physical machine 1 via the communication line 4. Furthermore, the virtual machine system 100 includes a storage 7 connected to each physical machine 1 via a communication line 6.
The communication line 4 is, for example, a network such as an intranet or a LAN (Local Area Network). Although a single network is described here, a plurality of networks can be prepared using a management network, a business network, or the like. The virtual machine management device 5 is a device that manages the virtual machine 3 operating on the physical machine 1. The communication line 6 is a storage network for accessing a storage 7 such as an FC (Fibre Channel) or a LAN. The storage 7 is a storage device that stores a disk image of the virtual machine 3.

仮想マシン管理装置５は、グループ管理部１１、リソース監視部１２（使用量計測部）、移動対象選定部１３、仮想マシン移動部１４、リソース使用情報記憶部１５、グループ管理テーブル１６（グループ情報記憶部）を備える。 The virtual machine management device 5 includes a group management unit 11, a resource monitoring unit 12 (usage measurement unit), a migration target selection unit 13, a virtual machine migration unit 14, a resource usage information storage unit 15, and a group management table 16 (group information storage). Part).

グループ管理部１１は、グループ管理部１１は、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）、ミドルウェア、アプリケーション等の共通の構成要素を持つ仮想マシン３が同じグループになるように、仮想マシン３を処理装置によりグループ分けする。そして、グループ管理部１１は、各グループを示すグループ情報をグループ管理テーブル１６に格納する。 The group management unit 11 groups the virtual machines 3 by the processing device so that the virtual machines 3 having common components such as an OS (Operating System), middleware, and applications are in the same group. . The group management unit 11 stores group information indicating each group in the group management table 16.

リソース監視部１２は、各物理マシン１や各仮想マシン３の構成情報やリソース使用情報を定期的に収集し、リソース使用情報記憶部１５に格納する。また、リソース監視部１２は、予め設定された閾値や、収集したリソース使用情報に基づき、物理マシン１でリソース不足が発生していないか処理装置によりチェックする。 The resource monitoring unit 12 periodically collects configuration information and resource usage information of each physical machine 1 and each virtual machine 3 and stores them in the resource usage information storage unit 15. Further, the resource monitoring unit 12 checks the processing device for a resource shortage in the physical machine 1 based on a preset threshold or the collected resource usage information.

移動対象選定部１３は、ある物理マシン１（不足マシン）にリソース不足が発生した場合に、不足マシンで動作するどの仮想マシン３を、不足マシン以外のどの物理マシン１へ移動させるかを処理装置により決定する。
移動対象選定部１３は、各物理マシン１について、使用されていないリソースの量である空きリソース（リソース残量）を計測する残量計測部１３１と、移動先の物理マシン１を移動先物理マシン（特定物理マシン）として特定する物理マシン特定部１３２と、移動させる仮想マシン３を移動対象仮想マシン（特定仮想マシン）として特定する仮想マシン特定部１３３とを備える。 The movement target selection unit 13 is a processing device that determines which virtual machine 3 operating on a shortage machine is moved to which physical machine 1 other than the shortage machine when a shortage of resources occurs in a certain physical machine 1 (shortage machine). Determined by
The movement target selection unit 13 includes, for each physical machine 1, a remaining amount measurement unit 131 that measures a free resource (remaining resource amount) that is an amount of unused resources, and a destination physical machine 1 as a destination physical machine. A physical machine specifying unit 132 that specifies (specific physical machine) and a virtual machine specifying unit 133 that specifies the virtual machine 3 to be moved as a movement target virtual machine (specific virtual machine).

仮想マシン移動部１４は、仮想マシン特定部１３３が特定した移動対象仮想マシンを物理マシン特定部１３２が特定した移動先物理マシンへ処理装置により移動させることにより、不足マシンのリソース不足を解消する。
つまり、仮想マシン移動部１４は、不足マシンで特定仮想マシンを動作させるのを止め、特定物理マシンで特定仮想マシンを動作させる。これにより、不足マシンで動作する仮想マシン３を減らして、不足マシンのリソース不足を解消する。 The virtual machine moving unit 14 eliminates the resource shortage of the insufficient machine by moving the movement target virtual machine specified by the virtual machine specifying unit 133 to the destination physical machine specified by the physical machine specifying unit 132 by the processing device.
That is, the virtual machine moving unit 14 stops operating the specific virtual machine with the shortage machine, and operates the specific virtual machine with the specific physical machine. As a result, the number of virtual machines 3 operating on the insufficient machine is reduced, and the resource shortage of the insufficient machine is resolved.

リソース使用情報記憶部１５は、リソース監視部１２が収集した各物理マシン１や各仮想マシン３のリソース使用情報が格納される記憶装置である。 The resource usage information storage unit 15 is a storage device that stores the resource usage information of each physical machine 1 and each virtual machine 3 collected by the resource monitoring unit 12.

グループ管理テーブル１６は、グループ管理部１１が設定したグループ情報が格納される記憶装置である。 The group management table 16 is a storage device that stores group information set by the group management unit 11.

図２は、実施の形態１に係るグループ管理テーブル１６に格納されたグループ情報の例を示す図である。
グループ管理テーブル１６には、グループ名１６−１、仮想マシン名１６−２、稼働物理マシン名１６−３の情報が格納される。グループ名１６−１は、グループの識別情報である。ここでは、サービス事業者が複数の企業に対して仮想マシン３のリソースを提供している形態を示しており、Ａ社デスクトップやＡ社Ｗｅｂサーバ等のグループ名を付与している。仮想マシン名１６−２は、グループ名１６−１が示すグループに属する仮想マシン３の識別情報である。稼動物理マシン名１６−３は、仮想マシン名１６−２が示す仮想マシン３が稼動している物理マシン１の識別情報である。 FIG. 2 is a diagram illustrating an example of group information stored in the group management table 16 according to the first embodiment.
The group management table 16 stores information on a group name 16-1, a virtual machine name 16-2, and an operating physical machine name 16-3. The group name 16-1 is group identification information. Here, a form in which the service provider provides the resources of the virtual machine 3 to a plurality of companies is shown, and group names such as A company desktop and A company Web server are given. The virtual machine name 16-2 is identification information of the virtual machine 3 belonging to the group indicated by the group name 16-1. The operating physical machine name 16-3 is identification information of the physical machine 1 in which the virtual machine 3 indicated by the virtual machine name 16-2 is operating.

図３は、実施の形態１に係るリソース監視部１２の動作を示すフローチャートである。
（ＳＴ１０１）
リソース監視部１２は、各物理マシン１で使用されているリソースの情報や、各仮想マシン３が使用しているリソースの情報等の各物理マシン１や各仮想マシン３のリソース使用に関する情報であるリソース使用情報の収集を定期的に行う。
なお、収集される情報は、ＣＰＵ使用率、ＣＰＵ数、ＣＰＵ動作周波数、ＣＰＵ処理待ち時間、メモリ割当量、メモリ使用量、メモリ共有利用量、スワップ発生状況、ネットワーク使用量、ストレージネットワーク使用量等である。収集する情報は、リソース不足の発生を判定できる情報であれば、前記に限ったものではない。 FIG. 3 is a flowchart showing the operation of the resource monitoring unit 12 according to the first embodiment.
(ST101)
The resource monitoring unit 12 is information on resource use of each physical machine 1 and each virtual machine 3 such as information on resources used in each physical machine 1 and information on resources used by each virtual machine 3. Collect resource usage information regularly.
The collected information includes CPU usage rate, number of CPUs, CPU operating frequency, CPU processing waiting time, memory allocation, memory usage, memory sharing usage, swap generation status, network usage, storage network usage, etc. It is. The information to be collected is not limited to the above as long as it is information that can determine the occurrence of a resource shortage.

（ＳＴ１０２）
リソース監視部１２は、ＳＴ１０１で収集した情報を、リソース使用情報記憶部１５に格納する。 (ST102)
The resource monitoring unit 12 stores the information collected in ST101 in the resource usage information storage unit 15.

（ＳＴ１０３）
リソース監視部１２は、ＳＴ１０２で格納されたリソース使用に関する情報に基づき、いずれかの物理マシン１で何らかのリソースに不足が発生しているか否かを判定する。
なお、リソース不足が発生しているか否かは、例えば物理マシン１のＣＰＵ使用率が予め設定された閾値を超えているか否か、ＣＰＵ処理待ち時間が所定の時間以上となっているか否か、スワップの発生頻度が閾値以上であるか否か等の方法で判定する。
リソース監視部１２は、リソース不足が発生していると判定した場合（ＳＴ１０３でＹＥＳ）、処理をＳＴ１０４へ進める。一方、リソース監視部１２は、リソース不足が発生していないと判定した場合（ＳＴ１０３でＮＯ）、処理をＳＴ１０１へ進める。 (ST103)
The resource monitoring unit 12 determines whether or not a shortage has occurred in any of the physical machines 1 based on the information on resource usage stored in ST102.
Whether the resource shortage has occurred is, for example, whether the CPU usage rate of the physical machine 1 exceeds a preset threshold, whether the CPU processing wait time is equal to or longer than a predetermined time, It is determined by a method such as whether or not the occurrence frequency of the swap is equal to or higher than a threshold value.
If resource monitoring unit 12 determines that a resource shortage has occurred (YES in ST103), the process proceeds to ST104. On the other hand, when resource monitoring unit 12 determines that there is no resource shortage (NO in ST103), the process proceeds to ST101.

（ＳＴ１０４）
リソース監視部１２は、リソース不足が発生していると判定すると、リソース不足を解消するため、移動対象選定部１３へ不足したリソースの種別（メモリやＣＰＵ等）を通知する。 (ST104)
If the resource monitoring unit 12 determines that a resource shortage has occurred, the resource monitoring unit 12 notifies the movement target selection unit 13 of the type of the resource (memory, CPU, etc.) in order to eliminate the resource shortage.

図４は、実施の形態１に係る移動対象選定部１３の動作を示すフローチャートである。
（ＳＴ２０１）
残量計測部１３１は、ＳＴ１０４でリソース監視部１２から通知を受け付けると、リソース使用情報記憶部１５に蓄積されているリソース使用情報を読み込む。そして、移動対象選定部１３は、各物理マシン１のＣＰＵ、メモリ、ネットワーク、ストレージネットワークの各空きリソースを計算する。
例えば、ＣＰＵの空き容量は、「（１−ＣＰＵ使用率（％）／１００）×物理コアの周波数×コア数」等の計算によって導出する。ＣＰＵ使用率が７０％で、物理コアの周波数が２ＧＨｚ、コア数が８の場合は、０．３×２０００×８＝４８００ＭＨｚとなる。なお、ＣＰＵ使用率として利用する値は、過去からの平均、移動平均、ピーク値、パーセンタイル値、最新値などからシステムにおいて最適なものを利用すればよく、特に限定はない。
図５は、残量計測部１３１が各物理マシン１の空きリソース情報をまとめた例を示す図である。 FIG. 4 is a flowchart showing the operation of the movement target selection unit 13 according to the first embodiment.
(ST201)
When receiving the notification from the resource monitoring unit 12 in ST104, the remaining amount measuring unit 131 reads the resource usage information stored in the resource usage information storage unit 15. Then, the migration target selection unit 13 calculates each free resource of the CPU, memory, network, and storage network of each physical machine 1.
For example, the CPU free capacity is derived by calculation such as “(1−CPU usage rate (%) / 100) × physical core frequency × number of cores”. When the CPU usage rate is 70%, the physical core frequency is 2 GHz, and the number of cores is 8, 0.3 × 2000 × 8 = 4800 MHz. The value used as the CPU usage rate is not particularly limited as long as the optimal value in the system is used from the average from the past, moving average, peak value, percentile value, latest value, and the like.
FIG. 5 is a diagram illustrating an example in which the remaining amount measuring unit 131 summarizes the free resource information of each physical machine 1.

（ＳＴ２０２）
物理マシン特定部１３２は、リソース監視部１２が通知してきたリソース種別の空きリソースが最も大きい物理マシン１を移動先物理マシンとして導出する。
例えば、図５の空きリソースを導出した結果で、不足したリソースがメモリだった場合、メモリ空きリソースが最も大きいＳｒｖ０２が移動先物理マシンとして導出される。不足リソースがＣＰＵだった場合、ＣＰＵ空きリソースが最も大きいＳｒｖ０３が移動先物理マシンとして導出される。 (ST202)
The physical machine specifying unit 132 derives the physical machine 1 having the largest available resource of the resource type notified by the resource monitoring unit 12 as the destination physical machine.
For example, as a result of deriving free resources in FIG. 5, when the insufficient resource is memory, Srv02 having the largest memory free resource is derived as the destination physical machine. When the insufficient resource is a CPU, Srv03 having the largest CPU free resource is derived as the movement destination physical machine.

（ＳＴ２０３）
仮想マシン特定部１３３は、リソース不足が発生している物理マシン１上で稼動しているすべての仮想マシン３のメモリ共有の状況をリソース使用情報記憶部１５から取得し、メモリ共有の度合いが低い（共有しているメモリ領域の小さい）ものから順に並べる。そして、先頭の（共有しているメモリ領域が最も小さい）仮想マシン３を選択する。
図６は、仮想マシン３のメモリの利用状況を概念的に示した図である。例えば、図６の場合、仮想マシンＡ、仮想マシンＢ共に２ＧＢのメモリが割り当てられていて、それぞれ実際に使用しているメモリ量が１．２ＧＢである。使用しているメモリ量１．２ＧＢのうち、仮想マシンＡは４００ＭＢ分が他の仮想マシン３と同じメモリ領域を使用しているのに対し、仮想マシンＢは、２５０ＭＢ分が他の仮想マシン３と同じメモリ領域を使用している。従って、メモリ共有の度合いが低いものから順に並べると仮想マシンＢ、仮想マシンＡの順番になる。他に仮想マシン３が動作しており、共有しているメモリ領域は仮想マシンＡ，Ｂ以外の他の仮想マシン３とも共有していると仮定すると、仮想マシンＡを別の物理マシン１に移動させると、８００ＭＢの空き容量ができることになる。一方、仮想マシンＢを別の物理マシン１に移動させると、９５０ＭＢの空き容量ができることになる。つまり、仮想マシンＢを移動させた方が、多くの空き容量ができる。 (ST203)
The virtual machine specifying unit 133 acquires the memory sharing status of all the virtual machines 3 running on the physical machine 1 in which the resource shortage has occurred from the resource usage information storage unit 15, and the degree of memory sharing is low Arrange in order from (smallest shared memory area). Then, the top virtual machine 3 (the shared memory area is the smallest) is selected.
FIG. 6 is a diagram conceptually showing the usage status of the memory of the virtual machine 3. For example, in the case of FIG. 6, 2 GB of memory is allocated to both the virtual machine A and the virtual machine B, and the amount of memory actually used is 1.2 GB. Of the 1.2 GB of memory used, the virtual machine A uses 400 MB for the same memory area as the other virtual machine 3, while the virtual machine B uses 250 MB for the other virtual machine 3 The same memory area is used. Therefore, when the memory sharing level is low, the virtual machine B and virtual machine A are in order. Assuming that another virtual machine 3 is operating and the shared memory area is shared with other virtual machines 3 other than the virtual machines A and B, the virtual machine A is moved to another physical machine 1 As a result, 800 MB of free space is created. On the other hand, when the virtual machine B is moved to another physical machine 1, 950 MB of free space is created. That is, a larger free space can be generated by moving the virtual machine B.

（ＳＴ２０４）
仮想マシン特定部１３３は、グループ管理テーブル１６を参照して、ＳＴ２０３で選択した仮想マシン３と同じグループに属する仮想マシン３が、ＳＴ２０２で導出した移動先物理マシンで稼動しているか否かを判定する。
このような判定を行うのは、移動先物理マシンで同一のグループに属している仮想マシン３が稼働している場合、ＳＴ２０４で選択した仮想マシン３を移動先物理マシンへ移動させると、多くのメモリを共有できると認められるためである。
仮想マシン特定部１３３は、同一グループに属する仮想マシン３が稼動している場合（ＳＴ２０４でＹＥＳ）、ＳＴ２０５へ処理を進める。一方、移動対象選定部１３は、同一グループに属する仮想マシン３が稼動していない場合（ＳＴ２０４でＮＯ）、ＳＴ２０６へ処理を進める。 (ST204)
The virtual machine specifying unit 133 refers to the group management table 16 and determines whether or not the virtual machine 3 belonging to the same group as the virtual machine 3 selected in ST203 is operating on the migration destination physical machine derived in ST202. To do.
Such a determination is made when the virtual machine 3 belonging to the same group is operating in the destination physical machine, and if the virtual machine 3 selected in ST204 is moved to the destination physical machine, This is because it is recognized that the memory can be shared.
If the virtual machine 3 belonging to the same group is operating (YES in ST204), the virtual machine specifying unit 133 advances the process to ST205. On the other hand, when the virtual machine 3 belonging to the same group is not operating (NO in ST204), the movement target selecting unit 13 advances the process to ST206.

（ＳＴ２０５）
仮想マシン特定部１３３は、選択した仮想マシン３を移動対象仮想マシンとして導出する。 (ST205)
The virtual machine specifying unit 133 derives the selected virtual machine 3 as a movement target virtual machine.

（ＳＴ２０６）
仮想マシン特定部１３３は、ＳＴ２０３で並べた仮想マシン３に、まだ選択されていない仮想マシン３があるか否かを判定する。
移動対象選定部１３は、選択されていない仮想マシン３がある場合（ＳＴ２０６でＹＥＳ）、選択されていない仮想マシン３のうち、先頭の（共有しているメモリ領域が最も小さい）仮想マシン３を選択して、処理をＳＴ２０４へ戻す。一方、移動対象選定部１３は、選択されていない仮想マシン３がない場合（ＳＴ２０６でＮＯ）、処理をＳＴ２０７へ進める。 (ST206)
The virtual machine specifying unit 133 determines whether there is a virtual machine 3 that has not yet been selected among the virtual machines 3 arranged in ST203.
When there is a virtual machine 3 that has not been selected (YES in ST206), the movement target selection unit 13 selects the virtual machine 3 at the head (the smallest shared memory area) among the virtual machines 3 that have not been selected. Select and return the process to ST204. On the other hand, when there is no virtual machine 3 that has not been selected (NO in ST206), the movement target selection unit 13 advances the process to ST207.

（ＳＴ２０７）
仮想マシン特定部１３３は、最も共有しているメモリ領域が最も小さい仮想マシン３、つまり初めにＳＴ２０３で選択した仮想マシン３を移動対象仮想マシンとして導出する。 (ST207)
The virtual machine specifying unit 133 derives the virtual machine 3 with the smallest shared memory area, that is, the virtual machine 3 first selected in ST203 as a migration target virtual machine.

（ＳＴ２０８）
移動対象選定部１３は、移動対象仮想マシンの導出が完了すると、仮想マシン移動部１４に通知する。
なお、通知を受けた仮想マシン移動部１４は、ＳＴ２０５又はＳＴ２０７で導出された移動対象仮想マシンを、ＳＴ２０２で導出された移動先物理マシンに移動させることでリソース不足の解消を行う。また、仮想マシン移動部１４にて仮想マシン３を別の物理マシン１に移動した場合は、グループ管理部１１が稼動物理マシン名１６−３の内容を更新する。 (ST208)
The migration target selection unit 13 notifies the virtual machine migration unit 14 when the derivation of the migration target virtual machine is completed.
Upon receiving the notification, the virtual machine migration unit 14 resolves the resource shortage by moving the migration target virtual machine derived in ST205 or ST207 to the migration destination physical machine derived in ST202. When the virtual machine 3 is moved to another physical machine 1 by the virtual machine moving unit 14, the group management unit 11 updates the contents of the operating physical machine name 16-3.

もし、１つの仮想マシン３を移動させてもリソース不足が解消しない場合には、再びＳＴ１０４で移動対象選定部１３へ通知され、他の仮想マシン３の移動がされる。つまり、繰り返し仮想マシン３の移動がされることにより、リソース不足が解消される。 If the shortage of resources is not resolved even if one virtual machine 3 is moved, the movement target selection unit 13 is notified again in ST104, and the other virtual machine 3 is moved. That is, the resource shortage is resolved by repeatedly moving the virtual machine 3.

以上のように、実施の形態１に係る仮想マシン管理装置５は、リソース不足が発生した場合、複数の仮想マシン３間で共有しているメモリ量に基づき、移動させる仮想マシン３を選択する。また、実施の形態１に係る仮想マシン管理装置５は、特に、移動先でのメモリ共有が実施できる可能性が高い仮想マシン３を選択する。
これにより、リソース不足が発生している物理マシン１のリソース不足を解消できるとともに、移動先の物理マシン１で移動してきた仮想マシン３が専有するメモリ量を抑えることができる。そのため、仮想マシン３を移動させることに伴い、移動先の物理マシン１でリソース不足が発生するリスクを抑えることができる。その結果、リソース不足発生に伴う顧客への影響を抑えることが可能となる。
また、リソースの共有利用を前提とした仮想マシン３の配置が可能となるため、１台の物理マシン１で稼動させることができる仮想マシン３の台数を増やすことが可能となる。そのため、必要な物理マシン１の台数を削減することができ、仮想マシン３を提供する事業者のコスト削減を実現することが可能となる。 As described above, when the resource shortage occurs, the virtual machine management device 5 according to the first embodiment selects the virtual machine 3 to be moved based on the memory amount shared among the plurality of virtual machines 3. In addition, the virtual machine management device 5 according to the first embodiment selects the virtual machine 3 that is particularly likely to be able to perform memory sharing at the migration destination.
As a result, the shortage of resources of the physical machine 1 in which the shortage of resources has occurred can be resolved, and the amount of memory occupied by the virtual machine 3 that has moved on the destination physical machine 1 can be suppressed. Therefore, it is possible to suppress the risk of resource shortage occurring in the destination physical machine 1 as the virtual machine 3 is moved. As a result, it is possible to suppress the influence on the customer due to the resource shortage.
In addition, since it is possible to arrange the virtual machines 3 on the premise of shared use of resources, it is possible to increase the number of virtual machines 3 that can be operated by one physical machine 1. Therefore, the number of necessary physical machines 1 can be reduced, and it is possible to realize cost reduction of the business operator who provides the virtual machine 3.

なお、上記説明では、図６に示すように、仮想マシンＡと仮想マシンＢとは、使用しているメモリ量が同じであるとした。しかし、仮想マシン特定部１３３は、使用しているメモリ量が異なる場合であっても、使用しているメモリ量に関わらず、共有しているメモリ領域の大きさで、どの仮想マシン３を移動させるかを判定する。これは、各仮想サーバが使用しているメモリ量は時々刻々と変わってしまうため、不足が生じた時点において使用しているメモリ量で判定すると、実態と合わない可能性があるためである。共有しているメモリ領域の大きさも、時々刻々と変化する可能性もあるが、共有しているメモリ領域はＯＳ等によって使用されている部分であり、変化率は小さいものと考えられる。そこで、移動対象選定部１３は、使用しているメモリ量に関わらず、共有しているメモリ領域の大きさで、どの仮想マシン３を移動させるかを判定する。 In the above description, as shown in FIG. 6, it is assumed that the virtual machine A and the virtual machine B use the same amount of memory. However, the virtual machine specifying unit 133 moves any virtual machine 3 according to the size of the shared memory area, regardless of the amount of memory used, even when the amount of memory used is different. Judgment is made. This is because the amount of memory used by each virtual server changes from moment to moment, and therefore it may not match the actual situation when judged by the amount of memory used when the shortage occurs. The size of the shared memory area may change from moment to moment, but the shared memory area is a part used by the OS or the like, and the rate of change is considered to be small. Therefore, the movement target selection unit 13 determines which virtual machine 3 is to be moved according to the size of the shared memory area regardless of the amount of memory being used.

実施の形態２．
実施の形態２では、仮想マシン３で使用しているＣＰＵの使用動作周波数を利用して、移動させる仮想マシン３を特定する方法について説明する。 Embodiment 2. FIG.
In the second embodiment, a method for specifying a virtual machine 3 to be moved using a use operating frequency of a CPU used in the virtual machine 3 will be described.

図７は、実施の形態２に係る仮想マシンシステム１００の構成図である。
実施の形態２に係る仮想マシンシステム１００は、各仮想マシン３に割り当てられているＣＰＵ数に応じて、周波数の値を変換するための変換係数が格納された記憶装置である係数記憶部１７が追加されている点が図１に示す仮想マシンシステム１００と異なる。 FIG. 7 is a configuration diagram of the virtual machine system 100 according to the second embodiment.
The virtual machine system 100 according to the second embodiment includes a coefficient storage unit 17 that is a storage device that stores a conversion coefficient for converting a frequency value according to the number of CPUs allocated to each virtual machine 3. The added point is different from the virtual machine system 100 shown in FIG.

図８は、実施の形態２に係る係数記憶部１７に格納された情報の例を示す図である。
係数記憶部１７には、割当ＣＰＵ数１７−１、係数１７−２の情報が格納される。割当ＣＰＵ数１７−１は、各仮想マシン３に割り当てられているＣＰＵ数である。係数１７−２は、割り当てられているＣＰＵ数に応じ、総使用周波数に掛ける係数である。
図８に示すように、割り当てられているＣＰＵ数が多いほど、総使用周波数に掛ける係数は大きくなる。 FIG. 8 is a diagram illustrating an example of information stored in the coefficient storage unit 17 according to the second embodiment.
The coefficient storage unit 17 stores information on the number of assigned CPUs 17-1 and the coefficient 17-2. The number of assigned CPUs 17-1 is the number of CPUs assigned to each virtual machine 3. The coefficient 17-2 is a coefficient to be multiplied by the total used frequency according to the number of assigned CPUs.
As shown in FIG. 8, the greater the number of assigned CPUs, the greater the coefficient multiplied by the total frequency used.

図９は、実施の形態２に係る移動対象選定部１３の動作を示すフローチャートである。
ＳＴ３０１からＳＴ３０２までは、図４に示すＳＴ２０１からＳＴ２０２までと同じである。 FIG. 9 is a flowchart showing the operation of the movement target selection unit 13 according to the second embodiment.
ST301 to ST302 are the same as ST201 to ST202 shown in FIG.

（ＳＴ３０３）
仮想マシン特定部１３３は、リソース不足が発生している物理マシン１上で稼動しているすべての仮想マシン３のＣＰＵの総使用周波数をリソース使用情報記憶部１５から取得し、係数記憶部１７の係数を掛け合わせる。そして、移動対象選定部１３は、計算された値が最も低いものを移動対象仮想マシンとして導出する。割り当てられているＣＰＵ数が多いほど、総使用周波数に掛ける係数は大きいため、ほぼ同じ動作周波数の仮想マシン３であっても割り当てられているコア数の少ない仮想マシン３が移動対象仮想マシンとして導出される。
例えば、「ＣＰＵ使用率（％）／１００×物理コアの周波数×割当ＣＰＵ数×係数」などの計算によって値を導出する。ＣＰＵ使用率が７０％で、物理コアの周波数が２ＧＨｚ、割当ＣＰＵ数が２の場合は、０．７×２０００×２×１．２＝３３６０となる。 (ST303)
The virtual machine specifying unit 133 acquires the total frequency of use of the CPUs of all the virtual machines 3 running on the physical machine 1 where the resource shortage has occurred from the resource use information storage unit 15, and stores the coefficient storage unit 17 in the coefficient storage unit 17. Multiply by a factor. Then, the movement target selection unit 13 derives the one having the lowest calculated value as the movement target virtual machine. The larger the number of assigned CPUs, the larger the coefficient multiplied by the total used frequency. Therefore, even if the virtual machine 3 has almost the same operating frequency, a virtual machine 3 with a smaller number of assigned cores is derived as the migration target virtual machine. Is done.
For example, the value is derived by calculation such as “CPU usage rate (%) / 100 × frequency of physical core × number of assigned CPUs × coefficient”. When the CPU usage rate is 70%, the frequency of the physical core is 2 GHz, and the number of assigned CPUs is 2, 0.7 × 2000 × 2 × 1.2 = 3360.

ＳＴ３０４は、図４に示すＳＴ２０８と同じである。 ST304 is the same as ST208 shown in FIG.

以上のように、実施の形態２に係る仮想マシン管理装置５は、リソース不足が発生した場合に、利用している周波数のみでなく、割り当てられているＣＰＵ数を考慮して、移動させる仮想マシン３を選択する。
これにより、ほぼ同じ動作周波数の仮想マシン３であっても割り当てられているコア数の少ない仮想マシン３が移動対象として導出されることになる。そのため、移動先の物理マシン１で移動した仮想マシン３が動作する際に専有するコア数が少なくなり、元々動作していた仮想マシン３の動作への影響を抑えることができる。その結果、リソース不足発生に伴う顧客への影響を抑えることが可能となる。 As described above, when the resource shortage occurs, the virtual machine management apparatus 5 according to the second embodiment moves the virtual machine in consideration of not only the frequency being used but also the number of assigned CPUs. Select 3.
As a result, even if the virtual machine 3 has substantially the same operating frequency, the virtual machine 3 with a small number of assigned cores is derived as a movement target. Therefore, the number of cores dedicated to the operation of the virtual machine 3 moved by the destination physical machine 1 is reduced, and the influence on the operation of the virtual machine 3 that was originally operating can be suppressed. As a result, it is possible to suppress the influence on the customer due to the resource shortage.

実施の形態３．
実施の形態１では、共有しているメモリ量を利用して、移動させる仮想マシン３を特定した。また、実施の形態２では、ＣＰＵの使用動作周波数を利用して、移動させる仮想マシン３を特定した。
実施の形態３では、仮想マシン３の各リソースの使用状況を総合的に利用して、移動させる仮想マシン３を特定する方法について説明する。 Embodiment 3 FIG.
In the first embodiment, the virtual machine 3 to be moved is specified using the shared memory amount. In the second embodiment, the virtual machine 3 to be moved is specified using the operating frequency of the CPU.
In the third embodiment, a method of specifying the virtual machine 3 to be moved by comprehensively using the usage status of each resource of the virtual machine 3 will be described.

実施の形態３に係る仮想マシンシステム１００は、図７に示すと同じ構成である。但し、係数記憶部１７に格納される情報が異なる。 The virtual machine system 100 according to the third embodiment has the same configuration as shown in FIG. However, the information stored in the coefficient storage unit 17 is different.

図１０は、実施の形態３に係る係数記憶部１７に格納された情報の例を示す図である。
係数記憶部１７には、共有度判定要素１７−３、係数１７−４の情報が格納される。共有度判定要素１７−３は、各リソースの識別情報である。係数１７−４は、各リソースの重み付けを指定する係数である。 FIG. 10 is a diagram illustrating an example of information stored in the coefficient storage unit 17 according to the third embodiment.
The coefficient storage unit 17 stores information on the sharing degree determination element 17-3 and the coefficient 17-4. The sharing degree determination element 17-3 is identification information of each resource. The coefficient 17-4 is a coefficient that specifies weighting of each resource.

図１１は、実施の形態３に係る移動対象選定部１３の動作を示すフローチャートである。図１２は、リソースの共有に関する値と、評価値とを示す図である。なお、図１２では、上の表がリソースの共有に関する値を示し、下の表が評価値を示す。
ＳＴ４０１からＳＴ４０２までは、図４に示すＳＴ２０１からＳＴ２０２までと同じである。 FIG. 11 is a flowchart showing the operation of the movement target selection unit 13 according to the third embodiment. FIG. 12 is a diagram illustrating values related to resource sharing and evaluation values. In FIG. 12, the upper table shows values related to resource sharing, and the lower table shows evaluation values.
ST401 to ST402 are the same as ST201 to ST202 shown in FIG.

（ＳＴ４０３）
移動対象選定部１３は、リソース不足が発生している物理マシン１上の仮想マシン３のリソース使用情報を抽出し、標準化を行う。
標準化は、例えば「（値−平均値）／標準偏差」の式で計算する。図１２の上の表のメモリ共有量については、各仮想マシン３の値が４２７、６３９、４３６、３３０、５２６となっていることから、平均値は４７１．６、標準偏差は１０４．２となる。この時、ＶＭ０１の標準化した値は、「（４２７−４７１．６）／１０４．２＝−０．４３」と計算できる。これらを全ての仮想マシン３の全てのパラメータについて計算する。但し、移動先の物理マシン１上に同一のグループに属する仮想マシン３があるか否かは、ある場合を−１、ない場合を０とした状態で標準化が実施されているものとみなし、そのままの値を使用する。 (ST403)
The migration target selection unit 13 extracts the resource usage information of the virtual machine 3 on the physical machine 1 where the resource shortage has occurred, and performs standardization.
The standardization is calculated by, for example, the formula “(value−average value) / standard deviation”. Regarding the memory sharing amount in the upper table of FIG. 12, since the values of the respective virtual machines 3 are 427, 639, 436, 330, and 526, the average value is 471.6 and the standard deviation is 104.2. Become. At this time, the standardized value of VM01 can be calculated as “(427−471.6) /104.2=−0.43”. These are calculated for all parameters of all virtual machines 3. However, whether there is a virtual machine 3 belonging to the same group on the destination physical machine 1 is regarded as being standardized in a state where -1 is present in some cases and 0 in other cases. Use the value of.

（ＳＴ４０４）
移動対象選定部１３は、標準化された値に、係数記憶部１７に格納されている係数を掛けた値を評価値とする。そして、移動対象選定部１３は、評価値の和が最も小さい仮想マシン３を移動対象仮想マシンとして導出する。
例えば、図１２に示した仮想マシン３ＶＭ０１〜ＶＭ０５がリソース不足となっている物理マシン１上で動作している仮想マシン３であるとし、図１２の上の表に示すように、それぞれのリソースに該当する値が得られているとする。すると、図１２の下の表に示す値が、これらの値を標準化し、係数をかけた評価値となる。そして、右の和の欄に示した値が最も小さいＶＭ０４が移動対象の仮想マシン３として導出される。 (ST404)
The movement target selection unit 13 sets a value obtained by multiplying the standardized value by the coefficient stored in the coefficient storage unit 17 as an evaluation value. Then, the movement target selection unit 13 derives the virtual machine 3 having the smallest evaluation value as the movement target virtual machine.
For example, assuming that the virtual machines 3VM01 to VM05 shown in FIG. 12 are virtual machines 3 operating on the physical machine 1 in which resources are insufficient, as shown in the upper table of FIG. Assume that the corresponding value is obtained. Then, the values shown in the lower table of FIG. 12 become the evaluation values obtained by standardizing these values and multiplying the coefficients. Then, the VM 04 having the smallest value shown in the right sum column is derived as the migration target virtual machine 3.

ＳＴ４０５は、図４に示すＳＴ２０８と同じである。 ST405 is the same as ST208 shown in FIG.

以上のように、実施の形態３に係る仮想マシン管理装置５は、リソース不足が発生した場合に、すべての共有リソースに関する情報を総合的に用いて移動対象の仮想マシン３の選定を行う。
これにより、仮想マシン３を移動させることによる移動先の物理マシン１への影響を抑えることができる。その結果、リソース不足発生に伴う顧客への影響を抑えることが可能となる。 As described above, when the resource shortage occurs, the virtual machine management device 5 according to the third embodiment selects the virtual machine 3 to be moved by comprehensively using information on all shared resources.
Thereby, the influence on the physical machine 1 of the movement destination by moving the virtual machine 3 can be suppressed. As a result, it is possible to suppress the influence on the customer due to the resource shortage.

なお、以上の実施の形態では、移動対象の仮想マシン３を選択する際に、共有しているメモリ量を利用することや、ＣＰＵの使用動作周波数を利用することや、仮想マシン３の各リソースの使用状況を総合的に利用することを説明した。
これ以外にも、例えば、各仮想マシン３の通信回線４の使用量の状況を監視し、通信回線４の使用量の低い仮想マシン３を移動対象の仮想マシン３として選択するようにしてもよい。
また、例えば、ストレージネットワークである通信回線６の使用量の状況を監視し、通信回線６の使用量の低い仮想マシン３を移動対象の仮想マシン３として選択するようにしてもよい。
つまり、仮想マシン３を移動させた場合に、移動先の物理マシン１でリソースの競合が発生する可能性の低い仮想マシン３を移動対象仮想マシンとして選択できる方法であれば、他の方法であってもよい。 In the above embodiment, when selecting the virtual machine 3 to be moved, the shared memory amount is used, the operating operating frequency of the CPU is used, and each resource of the virtual machine 3 is used. Explained the comprehensive use of the usage status.
In addition to this, for example, the status of the usage amount of the communication line 4 of each virtual machine 3 may be monitored, and the virtual machine 3 having a low usage amount of the communication line 4 may be selected as the virtual machine 3 to be moved. .
Further, for example, the usage amount of the communication line 6 that is a storage network may be monitored, and the virtual machine 3 having a low usage amount of the communication line 6 may be selected as the virtual machine 3 to be moved.
In other words, when the virtual machine 3 is moved, any other method can be used as long as the virtual machine 3 is less likely to cause resource contention in the destination physical machine 1 as the movement target virtual machine. May be.

図１３は、仮想マシン管理装置５のハードウェア構成の一例を示す図である。
図１３に示すように、仮想マシン管理装置５は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、ＬＣＤ９１５（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、通信ボード９１６、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０（固定ディスク装置）の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。磁気ディスク装置９２０は、所定の固定ディスクインタフェースを介して接続される。 FIG. 13 is a diagram illustrating an example of a hardware configuration of the virtual machine management device 5.
As illustrated in FIG. 13, the virtual machine management device 5 includes a CPU 911 (also referred to as a central processing unit, a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, and a processor) that executes a program. . The CPU 911 is connected to a ROM 913, a RAM 914, an LCD 915 (Liquid Crystal Display), a communication board 916, and a magnetic disk device 920 via a bus 912, and controls these hardware devices. Instead of the magnetic disk device 920 (fixed disk device), a storage device such as an optical disk device or a memory card read / write device may be used. The magnetic disk device 920 is connected via a predetermined fixed disk interface.

磁気ディスク装置９２０又はＲＯＭ９１３などには、オペレーティングシステム９２１（ＯＳ）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、オペレーティングシステム９２１、ウィンドウシステム９２２により実行される。 An operating system 921 (OS), a window system 922, a program group 923, and a file group 924 are stored in the magnetic disk device 920 or the ROM 913. The programs in the program group 923 are executed by the CPU 911, the operating system 921, and the window system 922.

プログラム群９２３には、上記の説明において「グループ管理部１１」、「リソース監視部１２」、「移動対象選定部１３」、「仮想マシン移動部１４」等として説明した機能を実行するソフトウェアやプログラムやその他のプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
ファイル群９２４には、上記の説明において「リソース使用情報記憶部１５」、「グループ管理テーブル１６」、「係数記憶部１７」等に記憶される情報やデータや信号値や変数値やパラメータが、「ファイル」や「データベース」の各項目として記憶される。「ファイル」や「データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵ９１１の動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のＣＰＵ９１１の動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。 The program group 923 includes software and programs that execute the functions described as “group management unit 11”, “resource monitoring unit 12”, “migration target selection unit 13”, “virtual machine migration unit 14”, etc. And other programs are stored. The program is read and executed by the CPU 911.
In the file group 924, information, data, signal values, variable values, and parameters stored in the “resource use information storage unit 15”, “group management table 16”, “coefficient storage unit 17”, and the like in the above description, Stored as “file” and “database” items. The “file” and “database” are stored in a recording medium such as a disk or a memory. Information, data, signal values, variable values, and parameters stored in a storage medium such as a disk or memory are read out to the main memory or cache memory by the CPU 911 via a read / write circuit, and extracted, searched, referenced, compared, and calculated. Used for the operation of the CPU 911 such as calculation / processing / output / printing / display. Information, data, signal values, variable values, and parameters are temporarily stored in the main memory, cache memory, and buffer memory during the operation of the CPU 911 for extraction, search, reference, comparison, calculation, calculation, processing, output, printing, and display. Is remembered.

また、上記の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「〜手段」、「〜機能」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。また、「〜装置」として説明するものは、「〜回路」、「〜機器」、「〜手段」、「〜機能」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。さらに、「〜処理」として説明するものは「〜ステップ」であっても構わない。すなわち、「〜部」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、ＲＯＭ９１３等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、上記で述べた「〜部」としてコンピュータ等を機能させるものである。あるいは、上記で述べた「〜部」の手順や方法をコンピュータ等に実行させるものである。 In addition, what is described as “to part” in the above description may be “to circuit”, “to device”, “to device”, “to means”, and “to function”. It may be “step”, “˜procedure”, “˜processing”. In addition, what is described as “˜device” may be “˜circuit”, “˜device”, “˜means”, “˜function”, and “˜step”, “˜procedure”, “ ~ Process ". Furthermore, what is described as “to process” may be “to step”. That is, what is described as “˜unit” may be realized by firmware stored in the ROM 913. Alternatively, it may be implemented only by software, or only by hardware such as elements, devices, substrates, and wirings, by a combination of software and hardware, or by a combination of firmware. Firmware and software are stored in a recording medium such as ROM 913 as a program. The program is read by the CPU 911 and executed by the CPU 911. That is, the program causes a computer or the like to function as the “˜unit” described above. Alternatively, the computer or the like is caused to execute the procedures and methods of “to part” described above.

１物理マシン、２仮想化ソフトウェア、３仮想マシン、４通信回線、５仮想マシン管理装置、６通信回線、７ストレージ、１１グループ管理部、１２リソース監視部、１３移動対象選定部、１３１残量計測部、１３２物理マシン特定部、１３３仮想マシン特定部、１４仮想マシン移動部、１５リソース使用情報記憶部、１６グループ管理テーブル、１７係数記憶部。 1 physical machine, 2 virtualization software, 3 virtual machine, 4 communication line, 5 virtual machine management device, 6 communication line, 7 storage, 11 group management unit, 12 resource monitoring unit, 13 movement target selection unit, 131 remaining amount measurement Part, 132 physical machine specifying part, 133 virtual machine specifying part, 14 virtual machine moving part, 15 resource use information storage part, 16 group management table, 17 coefficient storage part.

Claims

A virtual machine management apparatus that manages a virtual machine system in which a plurality of virtual machines operate in a plurality of physical machines,
For each physical machine, a remaining amount measurement unit that measures the remaining amount of resources, which is the amount of unused resources,
For each virtual machine, a usage meter that measures the resource usage, which is the amount of resources used by the virtual machine,
When a resource shortage occurs in any of the physical machines, a physical machine specifying unit that specifies a physical machine having a predetermined amount or more of the remaining amount of resources measured by the remaining amount measuring unit as a specific physical machine;
The resource usage measured by the usage meter, based on the resource usage of a virtual machine that operates on the insufficient machine that is the physical machine on which the resource shortage has occurred, from the virtual machine that operates on the insufficient machine, A virtual machine identification unit that identifies a virtual machine that has a low possibility of resource contention as a specific virtual machine when operated on a specific physical machine identified by the physical machine identification unit;
A virtual machine management apparatus comprising: a virtual machine moving unit that stops operating the specified virtual machine specified by the virtual machine specifying unit on the insufficient machine and operates the specified virtual machine.

The virtual machine identifying unit identifies, among the virtual machines operating on the insufficient machine, a virtual machine having a small amount of sharing, which is an amount of memory shared and used between virtual machines operating on the insufficient machine The virtual machine management apparatus according to claim 1, wherein the virtual machine management apparatus is specified as a virtual machine.

The virtual machine management device further includes:
A group information storage unit storing group information obtained by grouping the plurality of virtual machines for each function to be provided;
The virtual machine specifying unit refers to the group information stored in the group information storage unit and is a virtual machine with a small amount of sharing among virtual machines operating on the insufficient machine, and is the same on the specific physical machine The virtual machine management apparatus according to claim 2, wherein a virtual machine in which a virtual machine belonging to the group is operating is specified as the specific virtual machine.

The virtual machine specifying unit selects a virtual machine having a low used CPU frequency, which is a product of a CPU usage rate and the number of CPUs assigned to the virtual machine, among virtual machines operating on the insufficient machine. The virtual machine management apparatus according to claim 1, characterized by:

The virtual machine management device further includes:
A coefficient storage unit that stores a coefficient according to the number of CPUs allocated to the virtual machine;
The virtual machine specifying unit is a coefficient stored in the coefficient storage unit among virtual machines operating on the insufficient machine, and a coefficient for the number of CPUs assigned to the virtual machine is multiplied by the used CPU frequency. The virtual machine management apparatus according to claim 4, wherein a virtual machine having a small value is specified as the specific virtual machine.

The remaining amount measuring unit measures a resource remaining amount for each resource of a plurality of types of resources,
The usage measurement unit measures the resource usage for each resource,
The physical machine specifying unit, when a resource shortage in which the resource remaining amount of any of the plurality of types of resources is equal to or less than a threshold occurs, selects a physical machine having the resource remaining amount of the resource equal to or greater than a predetermined amount. , Identify as the specific physical machine,
The virtual machine specifying unit is a virtual machine that operates on the shortage machine, and a virtual machine with a small sum of values obtained by weighting each resource and performing a predetermined calculation for the resource usage of each resource, The virtual machine management apparatus according to claim 1, wherein the virtual machine management apparatus is specified as the specific virtual machine.

A virtual machine management method for managing a virtual machine system in which a plurality of virtual machines operate on a plurality of physical machines,
A remaining amount measuring step in which the processing device measures the remaining amount of resources, which is the amount of unused resources, for each physical machine;
A usage measurement step in which the processing device measures, for each virtual machine, a resource usage that is the amount of resources used by the virtual machine;
When a shortage of resources occurs in any of the physical machines, the processing device specifies a physical machine having a predetermined amount or more of the remaining amount of resources measured in the remaining amount measurement step as a specific physical machine, and
A virtual machine that operates on the insufficient machine based on the resource usage of the virtual machine that operates on the insufficient machine that is the physical machine on which the resource shortage has occurred, the processing apparatus is the resource usage measured in the usage measurement step A virtual machine specifying step for specifying, as a specific virtual machine, a virtual machine having a low possibility of resource conflict when operating on the specific physical machine specified in the physical machine specifying step from the machine;
A virtual machine management method comprising: a virtual machine moving step in which a processing device stops operating the specific virtual machine specified in the virtual machine specifying step on the insufficient machine and operates on the specific physical machine. .

A virtual machine management program for managing a virtual machine system in which a plurality of virtual machines operate on a plurality of physical machines,
For each physical machine, a remaining amount measurement process for measuring the remaining amount of resources, which is the amount of unused resources,
For each virtual machine, a usage measurement process that measures the resource usage, which is the amount of resources used by the virtual machine,
When a resource shortage occurs in any of the physical machines, a physical machine specifying process for specifying a physical machine having a predetermined amount or more of the remaining amount of resources measured in the remaining amount measuring process as a specific physical machine,
Based on the resource usage of the virtual machine that operates on the insufficient machine that is the physical machine on which the resource shortage has occurred, from the virtual machine that operates on the insufficient machine, the resource usage measured by the usage measurement process, A virtual machine specifying process for specifying a virtual machine with a low possibility of resource contention as a specific virtual machine when operated on a specific physical machine specified in the physical machine specifying process;
A virtual machine management program that stops operating a specific virtual machine specified in the virtual machine specifying process on the insufficient machine and causes a computer to execute a virtual machine movement process that operates on the specific physical machine.