JP2011258119A - Cluster configuration management method, management device and program - Google Patents
Cluster configuration management method, management device and program Download PDFInfo
- Publication number
- JP2011258119A JP2011258119A JP2010134051A JP2010134051A JP2011258119A JP 2011258119 A JP2011258119 A JP 2011258119A JP 2010134051 A JP2010134051 A JP 2010134051A JP 2010134051 A JP2010134051 A JP 2010134051A JP 2011258119 A JP2011258119 A JP 2011258119A
- Authority
- JP
- Japan
- Prior art keywords
- cluster
- changing means
- resource
- computer
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
Description
本発明は、クラスタ構成管理方法、クラスタ構成管理装置及びプログラムに係り、特に、負荷変動に伴い計算機資源の割当量の変更が必要な計算機システムにおいて、計算機資源の最適な割当てを行うクラスタ構成管理方法、クラスタ構成管理装置及びプログラムに関する。 The present invention relates to a cluster configuration management method, a cluster configuration management apparatus, and a program, and more particularly, to a cluster configuration management method for optimally allocating computer resources in a computer system that requires a change in computer resource allocation amount due to load fluctuations. The present invention relates to a cluster configuration management device and a program.
企業で利用される計算機システム(以下、企業システムとする)では、時間や時期によって負荷が変動する。複数のサーバで構築するクラスタシステムでサービスを提供している企業システムにおいて、最大の負荷予測に合わせて計算機資源を用意しておくことは、余剰なコンピューティングリソースを消費し、維持費用の面においても無駄となる。このような課題に対して、負荷変動に応じて、サービスレベルを維持するために、計算機資源を制御する技術が提案されている。 In a computer system (hereinafter referred to as a corporate system) used in a company, the load varies depending on time and time. In an enterprise system that provides services in a cluster system that consists of multiple servers, preparing computer resources according to the maximum load prediction consumes excess computing resources and reduces maintenance costs. Is also wasted. In response to such a problem, a technique for controlling computer resources has been proposed in order to maintain a service level according to load fluctuations.
特許文献1には、負荷変動を予測し、負荷の増減に応じてサーバのスケールイン、スケールアウトを適用することにより、サービスレベルを維持するための技術が開示されている。
また、特許文献2には、複数のアプリケーションが動作しているWebシステムにおける負荷予測方式が開示されている。 Patent Document 2 discloses a load prediction method in a Web system in which a plurality of applications are operating.
一方で、近年は、1台の物理サーバを独立した仮想サーバとして動作させるサーバ仮想化技術が広まっている。サーバ仮想化技術を導入した環境では、負荷が低い場合に、余剰リソースを他の仮想サーバに回すことにより、サーバの集約率の向上などが行える。そのため、動的な負荷変動への対応技術として、サーバ仮想化技術の重要度が高まっている。 On the other hand, in recent years, server virtualization technology that allows one physical server to operate as an independent virtual server has become widespread. In an environment in which server virtualization technology is introduced, when the load is low, the server's aggregation rate can be improved by passing surplus resources to another virtual server. Therefore, the importance of server virtualization technology is increasing as a technology for dealing with dynamic load fluctuations.
非特許文献1には、1つの物理マシン内で複数のアプリケーションに応じてリソースの分配比率を決定する方式が提案されている。又、非特許文献2には、仮想サーバでのグリッド環境において、CPUの負荷予測に基づいてネットワーク負荷を中期的に予測する技術が開示されている。
Non-Patent
ところで、サーバ仮想化環境では、計算機システムの負荷変動に対してリソースの有効利用を図る場合、スケールイン、スケールアウト以外にも、CPUリソースの割り当て量の設定、仮想CPUの追加など多種のリソース量変更技術が提案されている。これら種々の技術は、計算機資源の割り当て変更の実行に必要となる時間やその実行によりその後発揮する性能も大きく異なるものである。 By the way, in a server virtualization environment, when trying to effectively use resources against load fluctuations of a computer system, in addition to scale-in and scale-out, various resource amounts such as setting of CPU resource allocation amount and addition of virtual CPU Change technology has been proposed. These various techniques are greatly different in the time required to execute the allocation change of computer resources and the performance to be exhibited thereafter by the execution.
一般に負荷の変動幅は時間帯、業務内容及びイベントにより多種多様であり、状況に応じて適切なリソースの割り当て量を変更する手段を適用するのが好ましい。 In general, the variation range of the load varies depending on the time zone, the business content, and the event, and it is preferable to apply means for changing the appropriate resource allocation amount according to the situation.
例えば、所定の負荷の変動に追従する場合において、スケールアウトによるサーバの追加が間に合わない場合でも、実行に比較的時間がかからないCPUリソースの割り当て量の追加を先に実施することにより、負荷変動に対応できる場合がある。逆に、負荷変動が少ない場合は、仮想サーバを追加するのではなく、より、少ない単位でのリソースの追加により、計算機資源の有効活用を図ることができる。 For example, when following a predetermined load change, even if it is not possible to add a server due to scale-out, it is possible to reduce the load change by first adding an allocation amount of CPU resources that does not take a relatively long time to execute. It may be possible. On the contrary, when the load fluctuation is small, it is possible to effectively use the computer resources by adding resources in a smaller unit rather than adding a virtual server.
このように、複数のリソース量変更技術の中から、将来のある時刻に対する負荷予測に対して、実行に必要な時間を考慮しつつ選択可能なリソース量変更手段の組み合わせを選択することで、迅速又は適切に負荷変動に追従することが望まれる。 In this way, by selecting a combination of resource amount changing means that can be selected in consideration of the time required for execution from among a plurality of resource amount changing technologies in consideration of load prediction for a certain time in the future. Alternatively, it is desirable to appropriately follow load fluctuations.
本発明は、これらの問題点に鑑みてなされたもので、負荷変動が発生した場合に、計算機資源の割当てを効率的に行い、業務のサービスレベルを維持するためのクラスタの管理に関する技術を提供するものである。 The present invention has been made in view of these problems, and provides a technology relating to cluster management for efficiently allocating computer resources and maintaining a service level of a business when a load change occurs. To do.
本発明は、プロセッサとメモリを含む計算機資源を備えた物理計算機と、前記計算機資源を仮想化して複数の仮想計算機に割り当てる仮想化部とを備え、前記複数の仮想計算機でクラスタを構成し、前記仮想化部を管理する管理部と、を備えたクラスタ構成管理方法であって、前記管理部が、前記クラスタに対する所定時間後の負荷情報の予測値を演算する第1のステップと、前記管理部が、前記クラスタを構成する前記仮想計算機の現在の計算機資源の割り当て量と、所定時間後の計算機資源の割り当て量とを保持する第2のステップと、前記管理部が、前記クラスタの構成を変更するために利用可能な計算機資源の変更手段を保持する第3のステップと、前記管理部が、前記クラスタを構成する前記仮想計算機に割り当てた現在の計算機資源の割り当て量と、前記負荷情報の予測値と、から前記変更手段の組み合わせを選択し、前記変更手段の実行予定時刻を設定する第4のステップと、前記管理部が、前記実行予定時刻に到達した変更手段を前記仮想化部に通知して実行させる第5のステップと、を含む。 The present invention includes a physical computer having a computer resource including a processor and a memory, and a virtualization unit that virtualizes the computer resource and assigns the computer resource to a plurality of virtual computers, and forms a cluster with the plurality of virtual computers, A management unit that manages a virtualization unit, wherein the management unit calculates a predicted value of load information after a predetermined time for the cluster; and the management unit A second step of holding a current computer resource allocation amount of the virtual computer constituting the cluster and a computer resource allocation amount after a predetermined time, and the management unit changes the configuration of the cluster A third step of holding computer resource changing means available for use, and a current computer assigned by the management unit to the virtual computer constituting the cluster A fourth step of selecting a combination of the changing means from a source allocation amount and a predicted value of the load information, and setting a scheduled execution time of the changing means; and the management unit sets the scheduled execution time to the scheduled execution time. And a fifth step of notifying the virtualization unit of the reached change means and executing it.
したがって、本発明は、仮想計算機でクラスタを提供する際に、負荷変動に追随しつつ、クラスタで使用する計算機資源の割り当て量を抑制しながら、クラスタが提供する業務のサービスレベルを維持し、計算機資源の有効活用が可能となる。 Therefore, the present invention maintains the service level of the work provided by the cluster while keeping track of the load fluctuation and suppressing the allocation amount of the computer resources used in the cluster when the cluster is provided by the virtual machine. Effective use of resources becomes possible.
以下、本発明の一実施形態を添付図面に基づいて説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.
図1は、本発明の第1の実施形態を示し、クラスタを構成する計算機システムの構成を示すブロック図である。 FIG. 1 is a block diagram illustrating a configuration of a computer system that constitutes a cluster according to the first embodiment of this invention.
本計算機システムは、業務システム118と管理部101とで構成される。業務システム118は、複数の業務クラスタ123より構成される。ひとつの業務クラスタ123は、負荷分散機119、ひとつ以上の業務サーバ120で構成される。ひとつの業務クラスタ123はひとつの業務(またはサービス)を提供する。図示の例では、3つの業務クラスタ123で3種の業務を提供する例を示す。また、負荷分散機119は、業務クラスタ123毎に、あるいは、業務システム118毎に配置される。
This computer system includes a business system 118 and a management unit 101. The business system 118 is composed of a plurality of
業務サーバ120は、物理計算機122の計算機資源を仮想化するハイパーバイザ121により作成される仮想計算機として構成される。複数の物理計算機122は、CPU1221とメモリ1222及びストレージ装置(図示省略)を備えており、これらの計算機資源は複数の業務クラスタ123で共用される。なお、CPU1221は複数のプロセッサコアを備える。各業務クラスタ123の業務サーバ120に対する物理計算機122の計算機資源(物理計算機資源)の割り当ては、ひとつの業務クラスタ123に対して複数の物理計算機122の計算機資源を割り当てることができる。あるいは、ひとつの物理計算機122の計算機資源を複数の業務クラスタ123に割り当てることができる。
The
各業務クラスタ123は、クライアント(計算機)117からネットワーク50を介してリクエストを受け付け、所定の業務処理を実行し、処理結果をクライアント117に返信する。負荷分散機119は、業務システム118に対する負荷情報を取得するためのインタフェースを備え、業務サーバ120間の負荷を制御する。また、ハイパーバイザ121は、ハイパーバイザ121上で実行される仮想計算機(業務サーバ120)に対する計算機資源の割当、解除、および、新たな仮想計算機を追加するためのインタフェースを有する。
Each
管理部101は、入力部109、監視部110、制御部111、実行部116、負荷履歴テーブル103、資源管理テーブル104、資源予約テーブル105、変更手段管理テーブル106、資源変更手段実施手順107で構成される。負荷履歴テーブル103、変更手段管理テーブル106、資源変更手段実施手順107は、業務クラスタ120ごとに作成される。管理部101は、物理計算機102が実行する。物理計算機102はCPU1021とメモリ1022及びストレージ装置(図示省略)を備え、メモリ1022にロードした制御部111、監視部110、実行部116、入力部109をCPU1021が実行することで、各機能を実現する。このため、物理計算機102は図示しない管理ネットワーク(またはネットワーク50)を介して業務システム118に接続される。
The management unit 101 includes an
なお、管理部101は、業務システム123を構成する物理計算機122上の仮想計算機として実行してもよい。
The management unit 101 may be executed as a virtual computer on the
監視部110では、業務クラスタ123が受け取るリクエストの件数(例えば、件数/秒)を負荷情報として計測し、時系列で計測結果を、負荷履歴テーブル103へ記録する。監視部110による業務クラスタ123のリクエストの測定は、例えば、負荷分散機119が受信した単位時間当たりのリクエスト数を監視部110が取得することで行われる。また、負荷分散機119は、測定した負荷情報を管理部101に送信する。
The
入力部109は、ユーザ(または計算機システムの管理者)が操作する入力装置(図示省略)からシステムの構成情報や業務サーバ120に対して、管理部101が実行可能な計算機資源の割当変更、解除などの資源変更手段及び資源変更手段の組み合わせに関する情報を受け付け、資源管理テーブル104、及び、変更手段管理テーブル106に記録する。
The
なお、各業務クラスタ123の各業務サーバ120に対する物理計算機122の計算機資源の割り当て開始は、管理者などが予め設定した資源管理テーブル104の情報に基づいて実行部116が各物理計算機122のハイパーバイザ121に対して指令することで行われる。
The allocation of the computer resources of the
また、資源変更手段は、仮想計算機で構成される業務サーバ120及び業務クラスタ123に対する物理的な計算機資源の割り当ての態様を指す。本実施形態では、資源変更手段の一例として、業務サーバ120へ割り当てるCPU1221(またはプロセッサコア)の数の追加を「CPU割当追加」とし、業務サーバ120へ割り当てるCPU1221(またはプロセッサコア)の使用率の増大を「CPU割当率追加」とし、業務クラスタ123への仮想計算機(業務サーバ120)の追加を「仮想サーバ追加」とし、業務サーバ120へ割り当てたCPU1221(またはプロセッサコア)の削減を「CPU割当削減」とし、業務サーバ120へ割り当てたCPU1221(またはプロセッサコア)の使用率の削減を「CPU割当率削減」とし、業務クラスタ123に割り当てた仮想計算機(業務サーバ120)の削減を「仮想サーバ削減」とした例を示す。また、「CPU割当追加」、「CPU割当追加」は、物理計算機122のCPU1221が複数のプロセッサコアを有する場合は、プロセッサコアの単位で割り当ての追加または削減を行うことができる。また、論理プロセッサ(例えば、ハイパースレッドなど)を有するCPU1221の場合、プロセッサコアの追加、削減は、論理プロセッサ単位で追加または削減を行うようにしてもよい。また、資源変更手段としては、CPU1221やプロセッサコアの追加、削減の他、メモリ1222の割り当て量の増大、削減を行うようにしてもよい。
The resource changing means refers to a mode of physical computer resource allocation to the
図2は、負荷履歴テーブル103の一例を示す説明図である。負荷履歴テーブル1201は、負荷分散機119で負荷が測定された時刻(時刻1202)と、測定された時刻におけるクライアント117からの単位時間当たりのリクエスト到着件数1203とを含む。負荷履歴テーブル103は、監視部110によって更新される。なお、監視部110は、業務クラスタ123毎に負荷履歴テーブル103を作成し、それぞれを更新する。
FIG. 2 is an explanatory diagram illustrating an example of the load history table 103. The load history table 1201 includes the time when the load is measured by the load balancer 119 (time 1202), and the number of requests arriving 1203 per unit time from the
なお、負荷分散機119は受信したリクエストに加えて、業務サーバ120に分配したリクエストを測定し、業務サーバ120毎の負荷情報を監視部110に送信してもよい。この場合、負荷履歴テーブル103には、リクエストの分配先の業務サーバ120毎にリクエスト数を管理してもよい。これにより、業務サーバ120毎に負荷情報を管理することができる。
In addition to the received request, the load balancer 119 may measure a request distributed to the
図3A、図3Bは、資源管理テーブル104の一例を示す説明図である。資源管理テーブル104は、業務システム118を提供する物理計算機122に関する計算機資源を管理する物理計算機資源管理テーブル201と、仮想計算機(業務サーバ120)に関する計算機資源を管理する仮想計算機資源管理テーブル211とを含む。資源管理テーブル104は、監視部110がハイパーバイザ121から取得した情報と、入力部109から受け付けた情報により更新される。
3A and 3B are explanatory diagrams illustrating an example of the resource management table 104. FIG. The resource management table 104 includes a physical computer resource management table 201 that manages computer resources related to the
図3Aは、物理計算機資源管理テーブル201を示し、図3Bは、仮想計算機資源管理テーブル211を示す。 3A shows the physical computer resource management table 201, and FIG. 3B shows the virtual computer resource management table 211.
図3Aの物理計算機資源管理テーブル201は、サーバ名202、IPアドレス203、CPU資源204、メモリ資源206などの各種資源の搭載量と、現在割当て済み量(204〜207)を記録するCPU資源割当済205とメモリ資源割当済量207から一つのエントリが構成される。例えば、行208では、サーバ名202がサーバAの物理計算機では、CPU資源に関しては、2コア搭載(CPU資源204)されており、1つ目のコアは資源を100%割当済みであり、2つ目のコアは30%の資源を割当済みである(CPU資源割当済205)であることを示している。
The physical computer resource management table 201 in FIG. 3A is a CPU resource allocation that records the amount of various resources such as the
図3Bの仮想計算機資源管理テーブル211は、物理計算機資源管理テーブル201と同様に、サーバ名212、IPアドレス213、CPU資源最大214、メモリ資源最大216などの各種資源の搭載量と、現在割り当てられている量(CPU資源割当済み215、メモリ資源割当済217)、及び、当該仮想計算機を実行する物理計算機122の識別子が物理計算機218に格納される。
Similar to the physical computer resource management table 201, the virtual computer resource management table 211 in FIG. 3B is currently allocated with the loading amounts of various resources such as the
図4は、資源予約テーブル105の一例を示す説明図である。資源予約テーブル105は、手段選択処理113で作成または更新される。
FIG. 4 is an explanatory diagram showing an example of the resource reservation table 105. The resource reservation table 105 is created or updated by
資源予約テーブル105は、変更する計算機資源の予約の開始時刻を表す時刻302、サーバ名303、予約対象の計算機資源を表す資源種別304、及び、その計算機資源の予約量を示す変化量305を有する。例えば、行306は、時刻10:10:10以降に、サーバBがCPU資源を1コア分余分に使用するための予約を表している。
The resource reservation table 105 includes a
図5A、図5Bは、変更手段管理テーブル106の一例を示す説明図である。変更手段管理テーブル106は、管理者などが入力部109を介して予め設定した値が格納される。
5A and 5B are explanatory diagrams showing an example of the changing means management table 106. FIG. The change means management table 106 stores values preset by an administrator or the like via the
変更手段管理テーブル106は、制御部111で選択可能な計算機資源の資源変更手段を管理する手段テーブル401と、計算機資源の変更による性能の変動幅を格納する変動幅条件テーブル411とを含む。図5Aは、手段テーブル401を示し、図5Bは、変動幅条件テーブル411を示す。 The change means management table 106 includes a means table 401 for managing resource change means for computer resources that can be selected by the control unit 111, and a change width condition table 411 for storing a change width of performance due to a change in computer resources. FIG. 5A shows the means table 401, and FIG. 5B shows the fluctuation range condition table 411.
手段テーブル401は、選択可能な計算機資源の資源変更手段の種別を記載した手段402、当該資源変更手段の実行により変化する計算機資源の種別と変化量を格納する対象資源403、当該資源変更手段の実行により変化するクラスタシステムの能力(性能)を格納する変動幅404、当該資源変更手段の実行を完了するまでに必要な時間を記載する実行時間405から構成される。変動幅404で用いる指標は、応答時間(遅延時間)や処理可能なリクエスト量などが考えられるが、ここでは、処理可能なリクエスト数(例えば件/秒)を用いる。例えば、「手段402」が「CPUコア数」の場合、CPUコアを1つ追加すると、単位時間当たりに処理可能なリクエスト件数が変動幅404の「85」だけ増加し、計算機資源の追加処理には実行時間405に格納された「10秒」が必要であることを示している。あるいは、逆に資源の割当てを解除(削減)する場合、コアの割当てを1つ解除することにより、単位時間当たりに処理可能なリクエスト数が85だけ減少することを示している。変動幅404の値は事前に業務システム118(または業務クラスタ123)に対し負荷を掛け、計算機資源量(計算機資源の割り当て量)の変化による処理可能リクエスト件数の変化を測定することで求めることができる。
The means table 401 includes
なお、変動幅404の処理可能リクエスト件数の変化は、同じ計算機資源量の変化でも、そのときの他の条件により異なる場合がある。その場合、変動幅とその条件を変動幅条件テーブル411へ設定し、変動幅欄404には、実際の変動幅を求めるために参照する変動幅条件テーブル411の名称を記録する。変動幅条件テーブルの例を図5Bのテーブル411に示す。ここでは、CPU資源の追加及び削除は、CPUコアの最大能力の10%の単位で行うことを想定する。この例の場合、CPUの使用率412を「70%」から「80%」へ10%増加させると処理可能なリクエスト数が変動幅413の「10」だけ増えるが、「80%」から「90%」へ10%増加させた場合は、処理可能なリクエスト数が「5」件しか増えないことを示している。
Note that the change in the number of requests that can be processed within the fluctuation range 404 may vary depending on other conditions at that time, even if the same computer resource amount changes. In this case, the fluctuation range and its conditions are set in the fluctuation range condition table 411, and the name of the fluctuation range condition table 411 that is referred to in order to obtain the actual fluctuation range is recorded in the fluctuation range column 404. An example of the fluctuation range condition table is shown in a table 411 in FIG. 5B. Here, it is assumed that CPU resources are added and deleted in units of 10% of the maximum capacity of the CPU core. In this example, if the
制御部111は、CPU1021で実行され、メモリ102上に展開された所定のプログラムとの協働により、負荷予測処理112、手段選択処理113、判定処理114及び再構成処理115が実行される。
The control unit 111 is executed by the
負荷予測処理112では、将来のある時刻Nまでの業務クラスタ123の負荷変動の予測値を求める処理を実行する。より具体的には、負荷履歴テーブル103に記録されている情報を元に、現在時刻より時間Nだけ先の時点までの負荷変動を予測する。負荷変動の予測方法は、例えば、前年度、先月、先日などの過去の負荷測定データ(負荷履歴テーブル103)に基づいた循環変動値を用いる。もしくは、さらに循環変動値を元に、直近の負荷測定データからマルコフモデルを元に予測した負荷の負荷値による補正を行う方式などを使うことができる。本実施形態の負荷予測については、上記従来例に示した特許文献2等に記載されている公知または周知の技術を採用することができる。
In the load prediction process 112, a process for obtaining a predicted value of load fluctuation of the
手段選択処理113は、負荷予測処理112の予測結果に対して、利用可能な計算機資源量などの制約条件を満たしつつ、後述する評価式による評価値が最高となる時刻Tまでに実行する計算機資源変更手段と、計算機資源変更手段の実施時刻などで構成される資源変更手段実施手順107を求める処理である。
The means
より具体的には、各物理計算機122や仮想計算機(業務サーバ120)で使用可能な計算機資源量や、計算機資源量の変更手段を実施する場合に必要になる時間などの制約条件を考慮しつつ、負荷予測処理112で予測された負荷量を処理できるだけの計算機資源を業務クラスタ123に対して割り当てるための、資源変更手段実施手順107を求める。なお、制約を満たす資源変更手段実施手順107は多くの場合複数存在するため、予め与えられた評価式において、評価値が最高になる手順を選択する。なお、制約条件は、未割当の計算機資源の量と、資源変更手段が完了するまでの時間の例を示すが、他の制約条件を加えてもよい。また、資源変更手段が完了するまでの時間の制約条件は、資源変更手段の実施が完了するまで、現時点の計算機資源の割り当てで処理可能な負荷(リクエスト)を、負荷の予測値が超えない場合に、当該制約条件を満たすものとする。
More specifically, while taking into consideration constraints such as the amount of computer resources that can be used in each
判定処理114では、時刻Tまでの時間より短い間隔で、各時点での新たに予測した負荷に対して、現在登録されている資源変更手段実施手順107が適切か否かを判定する。
In the determination process 114, it is determined whether or not the currently registered resource changing means
再構成処理115では、上記判定処理114での判定結果が適切でないと判定された場合に、組合せの見直しをする処理である。
The
図6は、資源変更手段実施手順107の一例を示す説明図である。この資源変更手段実施手順107は、実行部116が、資源予約テーブル105に基づいて、計算機資源量を変更する手段を実施する時刻502、実施する手段503、実施対象のサーバ504、手段503に対応するコマンドがすでに実行中か否かを示す実行状態欄505で構成される。例えば、行506は、時刻10時10分10秒に、ある仮想計算機(サーバB)に対して、CPUの割当量を10%増加すること、また、現在、このコマンドは未実行の状態であることを示している。なお、資源変更手段毎に予めコマンドが設定されており、実行部116が資源変更手段実施手順を読み込んで、制御対象の物理計算機122のハイパーバイザ121に対して資源変更手段毎のコマンドを送信する。
FIG. 6 is an explanatory diagram showing an example of the resource changing means
図7は、制御部111で行われる処理の一例を示すフローチャートである。この処理は、管理部101により一定の周期(再予測間隔、例えば数秒毎、かつ所定時間N未満)で呼び出される。また、本処理の初回の呼び出しの前に、再選択時刻として、現在時刻Tから所定時間Nだけ先の時刻(予測範囲)が設定される。なお、再選択時刻は、負荷予測を求めて計算機資源の割り当てを再評価する時刻である。 FIG. 7 is a flowchart illustrating an example of processing performed by the control unit 111. This process is called by the management unit 101 at a constant cycle (re-prediction interval, for example, every few seconds and less than a predetermined time N). Further, a time (predicted range) ahead of the current time T by a predetermined time N is set as the reselection time before the first call of this process. Note that the reselection time is a time at which a load prediction is obtained and computer resource allocation is reevaluated.
まず、制御部111は、負荷予測処理112により、業務クラスタ123毎に現在時刻Tから所定時間Nだけ先の時間までの負荷の予測値を求める(S601)。
First, the control unit 111 obtains a predicted load value from the current time T to a time ahead by a predetermined time N for each
次に、制御部111は、現在時刻が、再選択時刻であるか否かを判断する(S602)。再選択時刻の場合(S602:Yes)、制御部111は、ステップS607の処理に進み、手段選択処理113により、ステップS601で求めた負荷の予測値に対する業務クラスタ123を構成する業務サーバ120の資源変更手段の実施手順を求める(S607)。
Next, the control unit 111 determines whether or not the current time is a reselection time (S602). In the case of the reselection time (S602: Yes), the control unit 111 proceeds to the process of step S607, and the resource of the
現在時刻が、再選択時刻でない場合(S602:No)、制御部111は、ステップ603において、現在の資源変更手段実施手順107が、ステップ601で求められた負荷予測に対して有効か否かを判定する(S603)。有効か否かの判定は、負荷予測処理112で予測された負荷(予測値)に対して、現在予定されている資源変更手段の実行で負荷予測(現在時刻+Nにおける予想リクエスト数)に追従可能か否かで判定する。つまり、制御部111は、現在時刻で業務クラスタ123に割り当てられた計算機資源の割り当て量を、資源管理テーブル104(物理計算機資源管理テーブル201、仮想計算機資源管理テーブル211)から取得し、各業務サーバ120ごとに処理可能なリクエスト数を求める。なお、処理可能なリクエスト数は、例えば、CPU1221やプロセッサコアの割当数や割り当て率に応じて予め処理可能なリクエスト数を設定することで制御部111で演算することができる。そして、制御部111は、業務クラスタ123を構成する各業務サーバ120の処理可能なリクエスト数の和を当該業務クラスタ123の処理可能な負荷とする。
When the current time is not the reselection time (S602: No), the control unit 111 determines in
そして、現在の資源変更手段実施手順107で変更される予定の計算機資源の割り当て量に応じた処理可能なリクエスト数(変動幅404)の和を処理可能な負荷の変化分とする。
Then, the sum of the number of requests that can be processed (variation width 404) according to the allocation amount of the computer resource scheduled to be changed in the current resource changing
制御部111は、上記処理可能な負荷と処理可能な負荷の変化分の和が、負荷の予測値以上であれば、現在の資源変更手段実施手順107が、ステップ601で求められた負荷予測に対して有効であると判定し、上記処理可能な負荷と処理可能な負荷の変化分の和が、負荷の予測値未満であれば、無効と判定する。
If the sum of the load that can be processed and the change in the load that can be processed is equal to or greater than the predicted load value, the control unit 111 determines that the current resource change
制御部111は、現在予定されている資源変更手段が有効であり見直しの必要がないと判断する場合(S604:No)、処理を終了する。 If the control unit 111 determines that the currently scheduled resource change means is valid and does not need to be reviewed (S604: No), the control unit 111 ends the process.
一方、現在予定されている資源変更手段が有効でなく見直しが必要と判定される場合(ステップS604:Yes)、制御部111は、再構成処理115により、資源変更手段実施手順107における実行実施時刻の補正を試みる(605)。もし補正が行えた場合(ステップS606:Yes)、処理を終了する。
On the other hand, if it is determined that the currently scheduled resource change means is not valid and needs to be reviewed (step S604: Yes), the control unit 111 executes the execution time in the resource change means
一方、ステップ605の補正が行えなかった場合(ステップS606:No)、ステップ607へ進む。ステップ607では、手段選択処理113により、現在の負荷予測に対する、新たな資源変更手段実施手順107を作成する。また、再選択時刻を、ステップ601における予測で用いた、現在時刻Tから所定時間Nだけ先の時刻に設定する。
On the other hand, if the correction in step 605 could not be performed (step S606: No), the process proceeds to step 607. In
上記処理により、仮想化環境上の業務クラスタ123において、負荷変動に追従するために業務クラスタ123毎に負荷を予測し、負荷の予測結果に対して業務クラスタ123を構成する各業務サーバ120に割り当てる計算機資源を制御する。この計算機資源の割り当ては、計算機資源の割り当て量の変更に利用できる資源変更手段と、当該資源変更手段による許容量(処理可能なリクエスト数)の変化と、割り当て変更の実行完了に必要な時間を条件として、現在、および、将来(現在時刻+時間N)の計算機資源の予約状況を考慮して、負荷変動に追従でき、かつ、使用する計算機資源の割り当て量の少ない資源変更手段の組み合わせを選択する。そして、選択した資源変更手段の組み合わせが負荷変動に追従できなくなった場合には、各手段の実行の時刻を調整することにより、再構成を試みる。さらに、再構成に失敗した場合、再度、資源変更手段の組み合わせを求めることができる。
With the above processing, in the
以下に各処理の詳細を示す。 Details of each process are shown below.
図8は、手段選択処理113で行われる処理の一例を示すフローチャートである。この処理は、図7のステップ607で行われる処理の詳細を示す。この処理では、制約条件を満たす資源変更手段の組み合わせが複数存在する場合に、最も評価値の高い資源変更手段の組み合わせを選択する。
FIG. 8 is a flowchart showing an example of processing performed in the
まず、制御部111は、最大の評価値を記録するための変数に初期値として負の最大値を設定する(701)。 First, the control unit 111 sets a negative maximum value as an initial value in a variable for recording the maximum evaluation value (701).
次に、ステップ702において、制御部111は、各種計算機資源の制約(未割当の計算機資源の量)を満たす資源変更手段の組み合わせのうち未処理のものを1つ選択する。本処理の詳細は、後述する。 Next, in step 702, the control unit 111 selects one unprocessed resource change unit combination that satisfies various computer resource constraints (unallocated computer resource amount). Details of this processing will be described later.
ステップ702で、制約を満たす資源変更手段の組み合わせが選択できた場合(S703:Yes)、S704において、S702において見つかった資源変更手段の組み合わせに対する評価値を求める。評価値の求め方は後述する。 If a combination of resource changing means satisfying the constraints can be selected in step 702 (S703: Yes), an evaluation value for the combination of resource changing means found in S702 is obtained in S704. The method for obtaining the evaluation value will be described later.
次にステップ705において、ステップ704で求めた評価値が変数Maxに格納されている値より大きいか調べる。
Next, in
評価値が変数Maxよりも大きい場合(S705:Yes)ステップ706へ進み、変数MaxにS704で求めた評価値を格納すると共に、現在選択されている資源変更手段の組み合わせを変数などに記録する。 If the evaluation value is larger than the variable Max (S705: Yes), the process proceeds to step 706, where the evaluation value obtained in S704 is stored in the variable Max, and the combination of the currently selected resource changing means is recorded in the variable or the like.
ステップ703において選択できる組み合わせが見つからなかった場合(つまり、すべての組み合わせの選択が終了した場合)、ステップ707において、ステップ706で記録された変数Maxに格納されている評価値をもつ組み合わせを資源変更手段実施手順107へ格納する。
If no selectable combination is found in step 703 (that is, when all combinations have been selected), in
次に、ステップ708において、ステップ706において記録されたMaxに格納されている評価値をもつ資源変更手段の組み合わせを実施するために必要となる計算機資源の予約を、資源予約テーブル105へエントリを追加することにより実施する。
Next, in step 708, an entry is added to the resource reservation table 105 for the reservation of the computer resources necessary for executing the combination of the resource changing means having the evaluation value stored in Max recorded in
図9、図10は、図8に示したステップ702における資源変更手段の組合せを選択する処理の一例を示すグラフである。図9は業務クラスタ123に計算機資源を追加する例を示す。図10は業務クラスタ123から計算機資源を削減する例を示す。
FIGS. 9 and 10 are graphs showing an example of processing for selecting a combination of resource changing means in step 702 shown in FIG. FIG. 9 shows an example of adding computer resources to the
図9、図10において、グラフの縦軸は負荷(リクエスト量/秒)であり、横軸は経過時間である。 9 and 10, the vertical axis of the graph is the load (request amount / second), and the horizontal axis is the elapsed time.
まず、図9において、曲線801は、現在時刻T0(802)より前は、実際に測定された負荷を示し、現在時刻T0(802)より後は、予測された負荷を表している。
First, in FIG. 9, a
閾値803は、現在時刻T0において業務クラスタ123に割り当てられた資源を用いて処理可能な負荷の量を示している。この閾値に対して、資源変更手段として、CPU資源割当追加コマンドを2回、仮想計算機の追加コマンドを1回行う場合を考える。この場合、負荷予測801と閾値803が交わる時刻T1(804)と、現在時刻T0からCPU資源追加コマンドの実行時間経過時間のうち、後の時刻がコマンド実行完了時刻となる。この例では、時刻T1(804)がコマンド完了時刻、その時刻からコマンド実行時間を差し引いた時刻が、コマンド実行時刻となる。このコマンドにより、時刻T1(804)以降では、閾値は新たに、808となる。
A threshold value 803 indicates the amount of load that can be processed using the resources allocated to the
同様の手順で、2回目のCPU資源割当の実施完了時刻はT2(805)、仮想計算機追加完了時刻はT3(806)となる。また、これらにより、閾値は、負荷予測時刻TN(807)までの負荷に対応可能となり、これ以上の追加は必要ない。 In the same procedure, the execution completion time of the second CPU resource allocation is T2 (805), and the virtual machine addition completion time is T3 (806). In addition, the threshold value can correspond to the load up to the predicted load time TN (807), and no further addition is necessary.
以上により、各資源変更手段の実施手順が求まる。本実施形態では、複数の資源変更手段の実行順序を含めて資源変更手段の組み合わせとする。 As described above, the execution procedure of each resource changing unit is obtained. In the present embodiment, a combination of resource changing means is included including the execution order of a plurality of resource changing means.
次に、この資源変更手段実施手順が計算機資源の制約を満たしているか否かを判定する。例えば、最初のコマンドの制約は、時刻T1(804)以降で、割当可能なCPU資源の空きが、物理計算機122上に存在し、かつ、CPU資源を割当可能な仮想計算機が存在することである。これらは、制御部111が資源管理テーブル104と、資源予約テーブル105を参照することで計算機資源の制約を満たしているか否かを判定することができる。資源管理テーブル104は現在時刻T0における計算機資源の割当状況を管理している。一方、資源予約テーブル105は、今後の他の業務クラスタ123(または業務サーバ120)で実施予定のコマンドで使用する計算機資源に関する情報を管理する。
Next, it is determined whether or not the resource changing means implementation procedure satisfies the computer resource constraint. For example, the restriction on the first command is that, after time T1 (804), there is an available CPU resource available on the
資源予約テーブル105の例を図4に示す。資源予約テーブル105は、上述のように、サーバ名303、変化する資源種別304、変化量305、及びコマンドを実行する予定の時刻302により構成される。例えば、行306は、時刻Tにおいて、仮想サーバBに対するCPU資源割当(コアを1つ追加)が行われる予定を示している。
An example of the resource reservation table 105 is shown in FIG. As described above, the resource reservation table 105 includes the server name 303, the changing
また、これは、同時刻に仮想サーバBが実行される物理計算機122のCPU資源の空き容量が割当実施量だけ減少することを示している。なお、業務システム118の保守作業や、物理計算機122の増強などによる資源量の変化も、本資源予約テーブル105により管理する。
This also indicates that the free capacity of the CPU resource of the
次に、負荷の予測値が下降の場合の例を図10に示す。この場合、最初に実行するコマンドの変化量を、現在時刻T0(903)の閾値902から引いた値が、負荷曲線901と交わる時刻が最初のコマンド実行完了候補時刻(T1(903))となる。負荷上昇時と同様にコマンドの実行時間から導きだされる最速実行完了時間とのうち、遅いほうが実行完了時刻となる。以下、新たな閾値を元に、時刻TN(907)までの区間で、適用できるコマンドがなくなるまで行うことにより、実行するコマンドの組み合わせが2つのCPU割り当て削減と1つの仮想サーバの削減となる。
Next, an example when the predicted load value is decreasing is shown in FIG. In this case, the first command execution completion candidate time (T1 (903)) is obtained by subtracting the change amount of the command to be executed first from the threshold value 902 of the current time T0 (903) and intersecting with the
なお、求められた負荷予測が増加、下降を繰り返すパターンである場合は、各グラフの区間を曲線の頂点で区切った部分グラフを求め、各部分グラフでの資源変更手段の組み合わせの結果を結合することにより、コマンドの組み合わせと順序を含む資源変更手段実施手順を求める。 In addition, when the obtained load prediction is a pattern in which the load prediction repeats increasing and decreasing, a subgraph obtained by dividing each graph section by a curve vertex is obtained, and the result of the combination of resource changing means in each subgraph is combined. Thus, the resource changing means execution procedure including the command combination and order is obtained.
また、本処理により、資源変更手段の組み合わせを選択する時点で、以前に求めた資源変更手段実施手順が実行中であり、まだ、実行が完了していない場合が考えられる。資源変更手段のコマンドが実行中であるか否かは、資源変更手段実施手順107の実行中505により判定できる。この場合、上記の組み合わせを求める手順において、コマンド実行後の新たな閾値が負荷予測曲線と交わる時刻までに、コマンドの実行が完了する場合、それまでに求まっている資源変更手段実施手順の次に、実行完了するコマンドを追加することにより求めることができる。
Further, at the time when the combination of resource changing means is selected by this processing, there may be a case where the previously obtained resource changing means execution procedure is being executed and has not yet been executed. Whether or not the command of the resource changing unit is being executed can be determined by executing 505 of the resource changing
次に、図8のステップ704で行われる評価値の算出処理の詳細について述べる。本実施形態では、資源変更手段実施手順の評価値を求めるために、次の評価式を用いる。 Next, details of the evaluation value calculation process performed in step 704 of FIG. 8 will be described. In the present embodiment, the following evaluation formula is used in order to obtain the evaluation value of the resource changing means implementation procedure.
評価値 = Σ安定稼動期間
− αΣコマンド実行コスト
− βΣ(N − 安定稼動時間)
− γ(使用資源量) … 評価式1
ここで、評価式1の安定稼動時間とは、現在時刻から、負荷予測時刻TNまでの間において、閾値(処理可能なリクエスト数)が予測負荷(負荷の予測値)を上回っている時間であるとする。また、コマンド実行コストは、資源変更手段実施手順のコマンドの実行時間とする。使用資源量は、現在時刻から時刻Nまでの閾値で構成される矩形の面積である。また、α、β、γは、所定の係数であり業務システム118または業務クラスタ123ごとに予め決まった値を設定する。係数は、0でもよく、その場合は、特定の項目を無視することができる。なお、コマンド実行コストは、資源変更手段実施手順のコマンド(資源変更手段)の実行回数としてもよい。
Evaluation value = ΣStable operation period
− ΑΣ command execution cost
-ΒΣ (N-stable operation time)
-Γ (Amount of resource used) ...
Here, the stable operation time of the
図11は、図7のステップ605で行われる実行時刻補正処理の詳細を示すフローチャートである。本処理では、資源変更手段実施手順107で設定されたコマンドの実行時刻502に対してコマンド実行の時刻を前倒しすることにより、負荷予測に対応できるか否かを調べ、負荷の予測値に対応可能な場合、新たなコマンド実行時刻を求める。これは、他の業務システム118(または業務クラスタ123)に対する資源変更手段実施手順107が、現在の計算機資源の予約状況を元に作成されているため、未割当の計算機資源に対する影響を出来るだけ押さえるためである。本処理では、資源変更手段実施手順107の資源変更手段503に対応する各コマンドに対して、ステップ1002〜1005の処理を適用する(ステップ1001、1006、1007)。
FIG. 11 is a flowchart showing details of the execution time correction process performed in step 605 of FIG. In this process, whether or not the load prediction can be handled by checking the command execution time 502 ahead of the command execution time 502 set in the resource changing means
まず、ステップ1002で、ステップ1001で読み込んだ資源変更手段実施手順107のコマンドの実行時に閾値が負荷の予測値を満たしているかを調べる。閾値が負荷の予測値以上で現在の業務クラスタ123の性能が負荷を満たせている場合は、次のコマンドへ進む。現在の業務クラスタ123の性能が負荷を満たせていない場合(負荷が過大)で、すでにコマンドの実行が開始されているか否かを判定する(1003)。この判定は、制御部111は、資源変更手段実施手順107の実行状態欄505が「未」であれば、コマンドが実行されていないと、判定する。
First, in
当該コマンドの実行が開始されていない場合、上述の制約条件を満たす上でコマンドの実行時刻を早めることで、現時点の計算機資源の割り当て量で予測負荷(負荷の予測値)を満たせるかを否かを判定する(1004)。コマンドの実行時刻を前倒ししても制約条件を満たせる場合(1005)は、資源変更手段実施手順107の時刻502を所定時間だけ早めて修正し、当該修正に合わせて資源予約テーブル105の時刻302も更新する。
If execution of the command is not started, whether or not the predicted load (predicted load value) can be satisfied with the current computer resource allocation amount by advancing the command execution time while satisfying the above constraint conditions Is determined (1004). If the constraint condition can be satisfied even if the execution time of the command is advanced (1005), the time 502 of the resource changing means
一方、コマンドの実行時刻を早めても予測負荷を満たせない場合、もしくは、ステップ1003においてコマンドが既に開始されている場合、ステップ1008へ進み、開始されているコマンドを除いて、現在の資源変更手段実施手順107を破棄し、破棄した資源変更手段について資源予約テーブル105を更新してから終了する。
On the other hand, if the predicted load cannot be satisfied even if the command execution time is advanced, or if the command has already been started in
上記処理により、資源変更手段実施手順で変更される計算機資源の割り当て量が、負荷の予測値に対応できない場合、現在実行中のコマンド以外の資源変更手段を削除することになる。 By the above processing, if the computer resource allocation amount changed in the resource changing means implementation procedure cannot correspond to the predicted load value, the resource changing means other than the command currently being executed is deleted.
図12は、実行部116で行われる処理の一例を示すフローチャートである。
FIG. 12 is a flowchart illustrating an example of processing performed by the
実行部116は、管理部101により一定間隔(所定の周期)で起動し、資源変更手段実施手順107のうち、現在時刻が実行時刻502に到達した資源変更手段503に対応するコマンドに対して、コマンドの実行を開始する(1101)。なお、一定間隔は、再選択時刻となる所定時間Nよりも小さい値が望ましい。実行部116は、対象サーバ504を実行するハイパーバイザ121に対して当該コマンドを送信し、資源変更手段を実施させる。
The
次に、実行部116は、ハイパーバイザ121に送信したコマンドに対応する資源予約テーブル105のエントリを削除し(1102)、当該コマンドに対応する資源割当量の変更を資源管理テーブル104に対して行い(1103)、実行が終了したコマンドに対応する資源変更手段503のエントリを資源変更手段実施手順107から削除する。
Next, the
以上の処理により、資源変更手段実施手順107のテーブルに設定された資源変更手段が、実行予定の時刻502を経過する度に、資源変更手段503に対応するコマンドがハイパーバイザ121に送信されて計算機資源の割り当て量の変更が実施される。
With the above processing, each time the resource change means set in the table of the resource change means
なお、上記実施形態では、業務クラスタ123ごとに計算機資源の割り当て量を制御する例について説明したが、複数の業務クラスタ123を同じタイミングで制御することも考えられる。この場合、各業務クラスタ123における評価値は上述の処理で求め、各業務クラスタ123の評価値の合計が最大となる組み合わせを選択する。また、同じタイミングで評価値を求める場合、先に評価値を求める業務クラスタ123ほど優先される。これは、先に評価値を求める業務クラスタ123により資源が予約されるためである。そのため、各業務クラスタ123に対して優先度を指定して、優先度の順に評価値を求める。
In the above-described embodiment, an example of controlling the allocation amount of computer resources for each
また、上記実施形態では、使用する物理計算機122のハードウェアのCPU1221の性能は均質であると仮定していた。CPU1221の性能が均質でない場合は、変更手段管理テーブル106をCPU1221の種別または性能ごとに保持し、業務サーバ120が動作している物理計算機122に応じて使い分けるか、あるいは、あるCPU1221に対して変更手段管理テーブル106を用意し、さらに、CPU1221の種別に応じて値を補正する変換テーブルを用意することにより対応することが可能である。
In the above embodiment, the performance of the
以上説明したように、本実施形態によれば、仮想化環境上において、複数の業務クラスタ123により構成される業務システム118に対して、将来の負荷変動を予測し、予測された結果に対して、複数のハードウェア資源を変更させる手段を組み合わせることにより、負荷変動に追従するために必要な資源を割り当てることが可能となる。これにより、負荷変動への追随しつつ、業務クラスタで使用とする資源を低く抑えることにより、資源有効活用が可能となる。
As described above, according to the present embodiment, the future load fluctuation is predicted for the business system 118 including the plurality of
101 管理部
103 負荷履歴テーブル
104 資源管理テーブル
105 資源予約テーブル
106 変更手段管理テーブル
107 資源変更手段実施手順
110 監視部
111 制御部
112 負荷予測処理
113 手段選択処理
114 判定処理
115 再構築処理
116 実行部
118 業務システム
120 業務サーバ
121 ハイパーバイザ
122 物理計算機
123 業務クラスタ
1221 CPU
1222 メモリ
DESCRIPTION OF SYMBOLS 101 Management part 103 Load history table 104 Resource management table 105 Resource reservation table 106 Change means management table 107 Resource change means
1222 memory
Claims (10)
前記管理部が、前記クラスタに対する所定時間後の負荷情報の予測値を演算する第1のステップと、
前記管理部が、前記クラスタを構成する前記仮想計算機の現在の計算機資源の割り当て量と、所定時間後の計算機資源の割り当て量とを保持する第2のステップと、
前記管理部が、前記クラスタの構成を変更するために利用可能な計算機資源の変更手段を保持する第3のステップと、
前記管理部が、前記クラスタを構成する前記仮想計算機に割り当てた現在の計算機資源の割り当て量と、前記負荷情報の予測値と、から前記変更手段の組み合わせを選択し、前記変更手段の実行予定時刻を設定する第4のステップと、
前記管理部が、前記実行予定時刻に到達した変更手段を前記仮想化部に通知して実行させる第5のステップと、
を含むことを特徴とするクラスタ構成管理方法。 A physical computer having a computer resource including a processor and a memory, a virtualization unit that virtualizes the computer resource and assigns the computer resource to a plurality of virtual computers, a cluster is formed by the plurality of virtual computers, and the virtualization unit is managed A cluster configuration management method for a computer system having a management unit,
A first step in which the management unit calculates a predicted value of load information after a predetermined time for the cluster;
A second step in which the management unit holds a current computer resource allocation amount of the virtual machines constituting the cluster and a computer resource allocation amount after a predetermined time;
A third step in which the management unit holds a computer resource changing unit that can be used to change the configuration of the cluster;
The management unit selects a combination of the change means from the current computer resource assignment amount assigned to the virtual machine constituting the cluster and the predicted value of the load information, and the execution time of the change means is estimated. A fourth step of setting
A fifth step in which the management unit notifies the virtualization unit of the change means that has reached the scheduled execution time;
A cluster configuration management method comprising:
前記第4のステップは、
前記変更手段の組み合わせを複数選択するステップと、
前記選択された変更手段の組み合わせ毎に所定の指標を演算するステップと、
前記指標が最大となる変更手段の組み合わせを選択するステップと、
を含むことを特徴とするクラスタ構成管理方法。 The cluster configuration management method according to claim 1,
The fourth step includes
Selecting a plurality of combinations of the changing means;
Calculating a predetermined index for each combination of the selected changing means;
Selecting a combination of changing means that maximizes the index;
A cluster configuration management method comprising:
前記指標を演算するステップは、
前記変更手段を適用した場合に、前記負荷情報の予測値を処理可能となる期間の長さと、前記変更手段が使用する計算機資源の割り当て量と、前記変更手段を実行する際のコストの組み合わせから前記指標を演算することを特徴するクラスタ構成管理方法。 The cluster configuration management method according to claim 2,
The step of calculating the index includes:
From the combination of the length of the period during which the predicted value of the load information can be processed, the allocated amount of computer resources used by the changing unit, and the cost for executing the changing unit when the changing unit is applied A cluster configuration management method comprising calculating the index.
前記コストは、前記変更手段の実行開始から実行完了までの時間であることを特徴するクラスタ構成管理方法。 The cluster configuration management method according to claim 3,
The cluster configuration management method according to claim 1, wherein the cost is a time from the start of execution of the changing means to the completion of execution.
前記コストは、前記変更手段の数であることを特徴するクラスタ構成管理方法。 The cluster configuration management method according to claim 3,
The cluster configuration management method, wherein the cost is the number of the changing means.
前記第1のステップは、
予め設定された周期となる度に、前記クラスタに対する所定時間後の負荷情報の予測値を演算し、
前記第4のステップは、
前記選択された現在の変更手段の組み合わせで、前記負荷情報の予測値を処理可能であるか否かを判定し、前記選択された変更手段の組み合わせでは前記負荷情報の予測値を処理できないと判定された場合に、前記変更手段の組み合わせまたは実行予定時刻を更新することを特徴するクラスタ構成管理方法。 The cluster configuration management method according to claim 1,
The first step includes
Every time it becomes a preset period, the predicted value of the load information after a predetermined time for the cluster is calculated,
The fourth step includes
It is determined whether or not the predicted value of the load information can be processed with the selected combination of current changing means, and it is determined that the predicted value of the load information cannot be processed with the selected combination of changing means. A cluster configuration management method, comprising: updating the combination of the changing means or the scheduled execution time.
前記第4のステップは、
前記選択された現在の変更手段の組み合わせで、前記負荷情報の予測値を処理可能であるか否かを判定し、前記現在の変更手段の組み合わせでは前記負荷情報の予測値を処理できないと判定された場合に、前記実行予定時刻を所定時間だけ早めた場合に前記負荷情報の予測値を処理可能であるか否かを判定し、前記負荷情報の予測値を処理可能であると判定した場合には前記実行予定時刻を所定時間だけ早めて更新することを特徴するクラスタ構成管理方法。 The cluster configuration management method according to claim 6,
The fourth step includes
It is determined whether or not the predicted value of the load information can be processed with the combination of the selected current changing means, and it is determined that the predicted value of the load information cannot be processed with the combination of the current changing means. When the estimated execution time is advanced by a predetermined time, it is determined whether or not the predicted value of the load information can be processed, and the predicted value of the load information is determined to be processable. And updating the scheduled execution time by a predetermined time.
前記第4のステップは、
前記選択された現在の変更手段の組み合わせで、前記負荷情報の予測値を処理可能であるか否かを判定し、前記現在の変更手段の組み合わせでは前記負荷情報の予測値を処理できないと判定された場合に、前記実行予定時刻を所定時間だけ早めた場合に前記負荷情報の予測値を処理可能であるか否かを判定し、前記負荷情報の予測値を処理できないと判定した場合には前記変更手段の新た組み合わせと実行予定時刻を設定することを特徴するクラスタ構成管理方法。 The cluster configuration management method according to claim 6,
The fourth step includes
It is determined whether or not the predicted value of the load information can be processed with the combination of the selected current changing means, and it is determined that the predicted value of the load information cannot be processed with the combination of the current changing means. If it is determined that the predicted value of the load information can be processed when the scheduled execution time is advanced by a predetermined time, and if it is determined that the predicted value of the load information cannot be processed, A cluster configuration management method characterized by setting a new combination of changing means and a scheduled execution time.
前記クラスタに対する所定時間後の負荷情報の予測値を負荷予測部と、
前記クラスタを構成する前記仮想計算機の現在の計算機資源の割り当て量と、所定時間後の計算機資源の割り当て量とを保持する資源管理部と、
前記クラスタの構成を変更するために利用可能な計算機資源の変更手段を保持する資源変更部と、
前記クラスタを構成する前記仮想計算機に割り当てた現在の計算機資源の割り当て量と、前記負荷情報の予測値と、から前記変更手段の組み合わせを選択し、前記変更手段の実行予定時刻を設定する制御部と、
前記実行予定時刻に到達した前記変更手段を前記仮想化部に通知して実行させる実行部と、
を有することを特徴とする管理装置。 A management device that operates a plurality of virtual machines with a physical computer having a virtualization unit that virtualizes computer resources, configures a cluster with the plurality of virtual machines, and manages the cluster with a processor and a memory,
A predicted value of load information after a predetermined time for the cluster, a load prediction unit,
A resource management unit that holds a current computer resource allocation amount of the virtual computer constituting the cluster, and a computer resource allocation amount after a predetermined time;
A resource changing unit for holding computer resource changing means usable for changing the configuration of the cluster;
A control unit that selects a combination of the changing means from the current computer resource assignment amount assigned to the virtual machines constituting the cluster and the predicted value of the load information, and sets a scheduled execution time of the changing means When,
An execution unit that notifies the virtualization unit of the change means that has reached the scheduled execution time;
A management apparatus comprising:
前記クラスタに対する所定時間後の負荷情報の予測値を演算する第1の手順と、
前記クラスタを構成する前記仮想計算機の現在の計算機資源の割り当て量と、所定時間後の計算機資源の割り当て量とを保持する第2の手順と、
前記クラスタの構成を変更するために利用可能な計算機資源の変更手段を保持する第3の手順と、
前記クラスタを構成する前記仮想計算機に割り当てた現在の計算機資源の割り当て量と、前記負荷情報の予測値と、から前記変更手段の組み合わせを選択し、前記変更手段の実行予定時刻を設定する第4の手順と、
前記管理部が、前記実行予定時刻に到達した変更手段を前記仮想化部に通知して実行させる第5の手順と、
を前記計算機に実行させることを特徴とするプログラム。 A program for controlling a cluster composed of a plurality of virtual machines by a computer having a processor and a memory,
A first procedure for calculating a predicted value of load information after a predetermined time for the cluster;
A second procedure for holding a current computer resource allocation amount of the virtual computers constituting the cluster and a computer resource allocation amount after a predetermined time;
A third procedure for retaining computer resource changing means available for changing the cluster configuration;
A combination of the changing means is selected from the current computer resource allocation amount assigned to the virtual machines constituting the cluster and the predicted value of the load information, and a scheduled execution time of the changing means is set. And the steps
A fifth procedure in which the management unit notifies the virtualization unit of the changing means that has reached the scheduled execution time;
Is executed by the computer.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010134051A JP5332065B2 (en) | 2010-06-11 | 2010-06-11 | Cluster configuration management method, management apparatus, and program |
PCT/JP2011/053695 WO2011155233A1 (en) | 2010-06-11 | 2011-02-21 | Cluster configuration management method, management device, and storage medium wherein program is stored |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010134051A JP5332065B2 (en) | 2010-06-11 | 2010-06-11 | Cluster configuration management method, management apparatus, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011258119A true JP2011258119A (en) | 2011-12-22 |
JP2011258119A5 JP2011258119A5 (en) | 2012-09-27 |
JP5332065B2 JP5332065B2 (en) | 2013-11-06 |
Family
ID=45097848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010134051A Active JP5332065B2 (en) | 2010-06-11 | 2010-06-11 | Cluster configuration management method, management apparatus, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5332065B2 (en) |
WO (1) | WO2011155233A1 (en) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012159928A (en) * | 2011-01-31 | 2012-08-23 | Internatl Business Mach Corp <Ibm> | Information processing device, information processing system, arrangement configuration determination method, and program and recording medium therefor |
WO2014115282A1 (en) * | 2013-01-24 | 2014-07-31 | 株式会社日立製作所 | Computer system, and computer-resource allocation method |
JP2015072588A (en) * | 2013-10-02 | 2015-04-16 | 日本電信電話株式会社 | Server virtual control method |
KR101540631B1 (en) * | 2012-12-28 | 2015-07-30 | 삼성에스디에스 주식회사 | System, method and recording medium recording the program thereof for dynamic expansion of the virtual cluster |
JP2015194958A (en) * | 2014-03-31 | 2015-11-05 | 富士通株式会社 | Information processing device, scale management method and program |
JP2015228075A (en) * | 2014-05-30 | 2015-12-17 | 日本電信電話株式会社 | Computer resources allocation device and computer resources allocation program |
JP5913301B2 (en) * | 2011-05-19 | 2016-04-27 | 日本放送協会 | Broadcast communication cooperative receiver |
WO2016075771A1 (en) * | 2014-11-12 | 2016-05-19 | 株式会社日立製作所 | Computer system and autoscaling method for computer system |
JP2016103113A (en) * | 2014-11-27 | 2016-06-02 | 株式会社日立製作所 | Computer system and method for managing computer resource assignment |
WO2016088163A1 (en) * | 2014-12-01 | 2016-06-09 | 株式会社日立製作所 | Computer system and resource management method |
JP2016118841A (en) * | 2014-12-19 | 2016-06-30 | 株式会社東芝 | Resource control apparatus, method, and program |
JP2016177559A (en) * | 2015-03-20 | 2016-10-06 | 日本電気株式会社 | Information processing resource management device, information processing resource management method, and information processing resource management program |
WO2016178316A1 (en) * | 2015-05-07 | 2016-11-10 | 日本電気株式会社 | Computer procurement predicting device, computer procurement predicting method, and program |
JP2017509066A (en) * | 2014-02-19 | 2017-03-30 | スノーフレーク コンピューティング インク.Snowflake Computing Inc. | Resource providing system and method |
KR20170126553A (en) * | 2016-05-09 | 2017-11-20 | 한국전자통신연구원 | Apparatus of recommending and inputting worker's event |
WO2018163391A1 (en) * | 2017-03-10 | 2018-09-13 | 日本電気株式会社 | Management device, control device, method, program, recording medium, and system |
WO2018163392A1 (en) * | 2017-03-10 | 2018-09-13 | 日本電気株式会社 | First control device, device, method, program, recording medium, and system |
JP2021005387A (en) * | 2020-08-26 | 2021-01-14 | モルガン スタンレー サービシーズ グループ,インコーポレイテッドMorgan Stanley Services Group,Inc. | Predictive asset optimization for computer resources |
WO2024004104A1 (en) * | 2022-06-29 | 2024-01-04 | 楽天モバイル株式会社 | Implementation of appropriate scaling out of elements included in communication system |
WO2024004103A1 (en) * | 2022-06-29 | 2024-01-04 | 楽天モバイル株式会社 | Execution of appropriate scale-out of elements included in communication system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9432256B2 (en) | 2014-03-27 | 2016-08-30 | Hitachi, Ltd. | Resource management method and resource management system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004199561A (en) * | 2002-12-20 | 2004-07-15 | Hitachi Ltd | Computer resource assignment method, resource management server for executing it, and computer system |
WO2008084826A1 (en) * | 2007-01-11 | 2008-07-17 | Nec Corporation | Provisioning system, method, and program |
WO2008102739A1 (en) * | 2007-02-23 | 2008-08-28 | Nec Corporation | Virtual server system and physical server selecting method |
JP2009237859A (en) * | 2008-03-27 | 2009-10-15 | Nec Corp | Virtual machine management system |
-
2010
- 2010-06-11 JP JP2010134051A patent/JP5332065B2/en active Active
-
2011
- 2011-02-21 WO PCT/JP2011/053695 patent/WO2011155233A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004199561A (en) * | 2002-12-20 | 2004-07-15 | Hitachi Ltd | Computer resource assignment method, resource management server for executing it, and computer system |
WO2008084826A1 (en) * | 2007-01-11 | 2008-07-17 | Nec Corporation | Provisioning system, method, and program |
WO2008102739A1 (en) * | 2007-02-23 | 2008-08-28 | Nec Corporation | Virtual server system and physical server selecting method |
JP2009237859A (en) * | 2008-03-27 | 2009-10-15 | Nec Corp | Virtual machine management system |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012159928A (en) * | 2011-01-31 | 2012-08-23 | Internatl Business Mach Corp <Ibm> | Information processing device, information processing system, arrangement configuration determination method, and program and recording medium therefor |
JP5913301B2 (en) * | 2011-05-19 | 2016-04-27 | 日本放送協会 | Broadcast communication cooperative receiver |
KR101540631B1 (en) * | 2012-12-28 | 2015-07-30 | 삼성에스디에스 주식회사 | System, method and recording medium recording the program thereof for dynamic expansion of the virtual cluster |
US9571561B2 (en) | 2012-12-28 | 2017-02-14 | Samsung Sds Co., Ltd. | System and method for dynamically expanding virtual cluster and recording medium on which program for executing the method is recorded |
WO2014115282A1 (en) * | 2013-01-24 | 2014-07-31 | 株式会社日立製作所 | Computer system, and computer-resource allocation method |
JP2015072588A (en) * | 2013-10-02 | 2015-04-16 | 日本電信電話株式会社 | Server virtual control method |
US11238062B2 (en) | 2014-02-19 | 2022-02-01 | Snowflake Inc. | Resource provisioning systems and methods |
US11321352B2 (en) | 2014-02-19 | 2022-05-03 | Snowflake Inc. | Resource provisioning systems and methods |
US11599556B2 (en) | 2014-02-19 | 2023-03-07 | Snowflake Inc. | Resource provisioning systems and methods |
US11500900B2 (en) | 2014-02-19 | 2022-11-15 | Snowflake Inc. | Resource provisioning systems and methods |
US11475044B2 (en) | 2014-02-19 | 2022-10-18 | Snowflake Inc. | Resource provisioning systems and methods |
US11397748B2 (en) | 2014-02-19 | 2022-07-26 | Snowflake Inc. | Resource provisioning systems and methods |
US11269920B2 (en) | 2014-02-19 | 2022-03-08 | Snowflake Inc. | Resource provisioning systems and methods |
US11269921B2 (en) | 2014-02-19 | 2022-03-08 | Snowflake Inc. | Resource provisioning systems and methods |
JP2017509066A (en) * | 2014-02-19 | 2017-03-30 | スノーフレーク コンピューティング インク.Snowflake Computing Inc. | Resource providing system and method |
US11263234B2 (en) | 2014-02-19 | 2022-03-01 | Snowflake Inc. | Resource provisioning systems and methods |
US11157516B2 (en) | 2014-02-19 | 2021-10-26 | Snowflake Inc. | Resource provisioning systems and methods |
US11106696B2 (en) | 2014-02-19 | 2021-08-31 | Snowflake Inc. | Resource provisioning systems and methods |
US10325032B2 (en) | 2014-02-19 | 2019-06-18 | Snowflake Inc. | Resource provisioning systems and methods |
US11093524B2 (en) | 2014-02-19 | 2021-08-17 | Snowflake Inc. | Resource provisioning systems and methods |
US11086900B2 (en) | 2014-02-19 | 2021-08-10 | Snowflake Inc. | Resource provisioning systems and methods |
US11010407B2 (en) | 2014-02-19 | 2021-05-18 | Snowflake Inc. | Resource provisioning systems and methods |
JP2015194958A (en) * | 2014-03-31 | 2015-11-05 | 富士通株式会社 | Information processing device, scale management method and program |
JP2015228075A (en) * | 2014-05-30 | 2015-12-17 | 日本電信電話株式会社 | Computer resources allocation device and computer resources allocation program |
WO2016075771A1 (en) * | 2014-11-12 | 2016-05-19 | 株式会社日立製作所 | Computer system and autoscaling method for computer system |
JP2016103113A (en) * | 2014-11-27 | 2016-06-02 | 株式会社日立製作所 | Computer system and method for managing computer resource assignment |
WO2016088163A1 (en) * | 2014-12-01 | 2016-06-09 | 株式会社日立製作所 | Computer system and resource management method |
JP2016118841A (en) * | 2014-12-19 | 2016-06-30 | 株式会社東芝 | Resource control apparatus, method, and program |
JP2016177559A (en) * | 2015-03-20 | 2016-10-06 | 日本電気株式会社 | Information processing resource management device, information processing resource management method, and information processing resource management program |
WO2016178316A1 (en) * | 2015-05-07 | 2016-11-10 | 日本電気株式会社 | Computer procurement predicting device, computer procurement predicting method, and program |
KR20170126553A (en) * | 2016-05-09 | 2017-11-20 | 한국전자통신연구원 | Apparatus of recommending and inputting worker's event |
WO2018163391A1 (en) * | 2017-03-10 | 2018-09-13 | 日本電気株式会社 | Management device, control device, method, program, recording medium, and system |
WO2018163392A1 (en) * | 2017-03-10 | 2018-09-13 | 日本電気株式会社 | First control device, device, method, program, recording medium, and system |
JPWO2018163391A1 (en) * | 2017-03-10 | 2019-11-07 | 日本電気株式会社 | Management device, control device, method, and program |
JPWO2018163392A1 (en) * | 2017-03-10 | 2019-11-21 | 日本電気株式会社 | First control apparatus, apparatus, method, program, recording medium, and system |
JP2021005387A (en) * | 2020-08-26 | 2021-01-14 | モルガン スタンレー サービシーズ グループ,インコーポレイテッドMorgan Stanley Services Group,Inc. | Predictive asset optimization for computer resources |
JP7111779B2 (en) | 2020-08-26 | 2022-08-02 | モルガン スタンレー サービシーズ グループ,インコーポレイテッド | Predictive asset optimization for computing resources |
WO2024004104A1 (en) * | 2022-06-29 | 2024-01-04 | 楽天モバイル株式会社 | Implementation of appropriate scaling out of elements included in communication system |
WO2024004103A1 (en) * | 2022-06-29 | 2024-01-04 | 楽天モバイル株式会社 | Execution of appropriate scale-out of elements included in communication system |
Also Published As
Publication number | Publication date |
---|---|
JP5332065B2 (en) | 2013-11-06 |
WO2011155233A1 (en) | 2011-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5332065B2 (en) | Cluster configuration management method, management apparatus, and program | |
US20200287961A1 (en) | Balancing resources in distributed computing environments | |
Hieu et al. | Virtual machine consolidation with multiple usage prediction for energy-efficient cloud data centers | |
US9183016B2 (en) | Adaptive task scheduling of Hadoop in a virtualized environment | |
JP5544967B2 (en) | Virtual machine management program and virtual machine management apparatus | |
US10289183B2 (en) | Methods and apparatus to manage jobs that can and cannot be suspended when there is a change in power allocation to a distributed computer system | |
US9442763B2 (en) | Resource allocation method and resource management platform | |
US9372735B2 (en) | Auto-scaling of pool of virtual machines based on auto-scaling rules of user associated with the pool | |
US20130339956A1 (en) | Computer system and optimal arrangement method of virtual machine in computer system | |
Sampaio et al. | PIASA: A power and interference aware resource management strategy for heterogeneous workloads in cloud data centers | |
JP2012094030A (en) | Computer system and processing control method | |
JP5616523B2 (en) | Information processing system | |
KR102469927B1 (en) | Apparatus for managing disaggregated memory and method for the same | |
Babu et al. | Interference aware prediction mechanism for auto scaling in cloud | |
JP2019008454A (en) | Information processing system and resource allocation method | |
Sung et al. | OMBM: optimized memory bandwidth management for ensuring QoS and high server utilization | |
Kambatla et al. | UBIS: Utilization-aware cluster scheduling | |
JP2010191567A (en) | Information management apparatus, information management method and the like | |
JP2013127685A (en) | Information processing system and operation management method | |
KR20150070930A (en) | Resource allocation system and method for migration considering optimal cost | |
Kambatla et al. | Optimistic scheduling with service guarantees | |
JP6059259B2 (en) | Computer system and computer resource allocation method | |
JP5722247B2 (en) | Virtual server management system | |
JP5978673B2 (en) | Information processing device | |
KR101584770B1 (en) | Resource allocation system and method for live migration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120316 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120813 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130423 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130712 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5332065 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |