JP2015153370A - Load distribution system, device and method - Google Patents
Load distribution system, device and method Download PDFInfo
- Publication number
- JP2015153370A JP2015153370A JP2014029389A JP2014029389A JP2015153370A JP 2015153370 A JP2015153370 A JP 2015153370A JP 2014029389 A JP2014029389 A JP 2014029389A JP 2014029389 A JP2014029389 A JP 2014029389A JP 2015153370 A JP2015153370 A JP 2015153370A
- Authority
- JP
- Japan
- Prior art keywords
- cloud
- virtual machine
- usage rate
- company
- cloud environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 48
- 230000004044 response Effects 0.000 claims description 34
- 238000012545 processing Methods 0.000 description 46
- 230000008569 process Effects 0.000 description 39
- 238000005259 measurement Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、負荷分散システム、負荷分散装置及び負荷分散方法に関する。 The present invention relates to a load distribution system, a load distribution apparatus, and a load distribution method.
インターネットなどのネットワークを介してコンピュータ・リソースを利用するクラウドコンピューティング（以下、単にクラウド又はクラウド環境という。）が広く利用されている。クラウド上で安定したサービス提供を目的として、自社が管理しているクラウド環境（プライベートクラウド）におけるコンピュータ・リソースの不足を、他社が管理しているクラウド環境（パブリッククラウド）におけるコンピュータ・リソースで補う運用が行われている。このような運用形態は、ハイブリッドクラウドと呼ばれている。 Cloud computing using computer resources via a network such as the Internet (hereinafter simply referred to as cloud or cloud environment) is widely used. For the purpose of providing a stable service on the cloud, an operation to compensate for the shortage of computer resources in the cloud environment (private cloud) managed by the company with the computer resources in the cloud environment (public cloud) managed by another company Has been done. Such an operation form is called a hybrid cloud.
クラウド環境において提供しているサービスの品質などを維持するために、物理サーバにおける負荷、物理サーバ上で動作している仮想サーバ（又は仮想マシン）における負荷、処理遅延などを分散させることが一般的に行われている（例えば、特許文献１〜４）。
In order to maintain the quality of services provided in the cloud environment, it is common to distribute the load on the physical server, the load on the virtual server (or virtual machine) operating on the physical server, processing delay, etc. (For example,
しかしながら、ハイブリッドクラウドにおいて他社が管理しているクラウド環境（以下、他社クラウド環境という。）を利用する場合には費用が発生するため、自社が管理しているクラウド環境においてコンピュータ・リソースが足りない場合にのみ他社クラウド環境を利用して、他社クラウド環境の利用時間を短くすることが求められる。特許文献１〜４に記載の技術などでは、負荷を分散させる対象の物理サーバ又は仮想サーバに均等又は一定の重み付けをして負荷の分散を図ることが行われているが、ハイブリッドクラウドにおいて発生する費用（コスト）を考慮した負荷分散は行われていない。
However, when using a cloud environment managed by another company (hereinafter referred to as another company's cloud environment) in a hybrid cloud, costs are incurred, and there are insufficient computer resources in the cloud environment managed by the company. It is required to use the other company's cloud environment only to shorten the usage time of the other company's cloud environment. In the techniques described in
上記事情に鑑み、本発明は、ハイブリッドクラウド環境において、プライベートクラウドと、利用に応じて利用コストが発生するパブリッククラウドとを利用する際に、プライベートクラウドにおける負荷を分散させつつ利用コストの削減を図ることができる負荷分散システム、負荷分散装置及び負荷分散方法を提供することを目的としている。 In view of the above circumstances, the present invention aims to reduce the use cost while distributing the load in the private cloud when using the private cloud and the public cloud in which the use cost is generated according to the use in the hybrid cloud environment. An object of the present invention is to provide a load distribution system, a load distribution apparatus, and a load distribution method.
本発明の一態様は、第第１のクラウドと、利用に応じて前記第１のクラウドを利用するより高い費用が発生する第２のクラウドと、仮想マシンを前記第１のクラウド及び前記第２のクラウドのいずれにて動作させるかを制御する負荷分散装置とを備える負荷分散システムであって、前記負荷分散装置は、前記第１のクラウドにおけるリソース利用率と前記第１のクラウドにおいて動作している仮想マシンのリソース利用率とを取得するリソース利用率取得手段と、仮想マシンのリソース利用率が予め定められた第１の閾値を超えている場合において、前記第１のクラウドにおけるリソース利用率が予め定められた第２の閾値を超えているとき、前記第２のクラウドにおいて新たな仮想マシンを起動させ、前記第２のクラウドにおけるリソース利用率が前記第２の閾値以下であるとき、前記第１のクラウドにおいて新たな仮想マシンを起動させる仮想マシン管理手段とを有することを特徴とする負荷分散システムである。 According to one aspect of the present invention, a first cloud, a second cloud that is more expensive to use the first cloud according to usage, a virtual machine that is the first cloud, and the second cloud A load distribution system that controls which of the cloud to operate, wherein the load distribution device operates in the first cloud and the resource usage rate in the first cloud Resource utilization rate acquisition means for acquiring the resource utilization rate of a virtual machine, and when the resource utilization rate of the virtual machine exceeds a predetermined first threshold, the resource utilization rate in the first cloud is When a predetermined second threshold value is exceeded, a new virtual machine is started in the second cloud, and the resource in the second cloud When use rate is equal to or less than the second threshold value, a load distribution system characterized by having a virtual machine management unit configured to start a new virtual machine in the first cloud.
また、本発明の一態様は、上記に記載の負荷分散システムにおいて、仮想マシンでユーザに提供するサービスには所定時間内の応答が要求される第１のサービスと、所定時間内の応答が要求されない第２のサービスとがあり、前記負荷分散装置は、前記第２のクラウドで動作する仮想マシンの応答遅延時間を取得する遅延時間取得手段を更に有し、前記仮想マシン管理手段は、前記遅延時間取得手段により得られた応答遅延時間が前記所定時間に応じて予め定められた遅延閾値を超えた場合に、前記第２のクラウドで動作している仮想マシンであって前記第１のサービスを提供している仮想マシンを前記第１のクラウドに移動させることを特徴とする。
また、本発明の一態様は、上記に記載の負荷分散システムにおいて、仮想マシン管理手段は、前記遅延時間取得手段により得られた応答遅延時間が前記遅延閾値を超えた場合に、前記第１のクラウドで動作している仮想マシンであって前記第２のサービスを提供している仮想マシンを前記第２のクラウドに移動させることを特徴とする。
また、本発明の一態様は、上記に記載の負荷分散システムにおいて、前記仮想マシン管理手段は、前記第１のクラウドの前記リソース利用率が前記第２の閾値以下であり、前記第２のクラウドで動作している仮想マシンを検出すると、当該仮想マシンを前記第１のクラウドに移動させることを特徴とする。
According to another aspect of the present invention, in the load balancing system described above, a service provided to a user by a virtual machine requires a first service that requires a response within a predetermined time and a response within a predetermined time. And the load distribution apparatus further includes a delay time acquisition unit that acquires a response delay time of a virtual machine operating in the second cloud, and the virtual machine management unit includes the delay service When the response delay time obtained by the time acquisition means exceeds a predetermined delay threshold according to the predetermined time, the virtual machine is operating in the second cloud and the first service is The provided virtual machine is moved to the first cloud.
According to another aspect of the present invention, in the load distribution system described above, when the response delay time obtained by the delay time acquisition unit exceeds the delay threshold, the virtual machine management unit A virtual machine that operates in a cloud and that provides the second service is moved to the second cloud.
One aspect of the present invention is the load distribution system according to the above, wherein the virtual machine management unit is configured such that the resource usage rate of the first cloud is equal to or less than the second threshold, and the second cloud When a virtual machine operating in is detected, the virtual machine is moved to the first cloud.
また、本発明の一態様は、第１のクラウドと、利用に応じて前記第１のクラウドを利用するより高い費用が発生する第２のクラウドと、仮想マシンを前記第１のクラウド及び前記第２のクラウドのいずれにて動作させるかを制御する負荷分散装置とを備える負荷分散システムにおける負荷分散装置であって、前記第１のクラウドにおけるリソース利用率と前記第１のクラウドにおいて動作している仮想マシンのリソース利用率とを取得するリソース利用率取得手段と、仮想マシンのリソース利用率が予め定められた第１の閾値を超えている場合において、前記第１のクラウドにおけるリソース利用率が予め定められた第２の閾値を超えているとき、前記第２のクラウドにおいて新たな仮想マシンを起動させ、前記第２のクラウドにおけるリソース利用率が前記第２の閾値以下であるとき、前記第１のクラウドにおいて新たな仮想マシンを起動させる仮想マシン管理手段とを有することを特徴とする負荷分散装置である。 Further, according to one embodiment of the present invention, a first cloud, a second cloud that is more expensive to use the first cloud according to usage, a virtual machine that includes the first cloud and the first cloud A load distribution apparatus in a load distribution system including a load distribution apparatus that controls which of the two clouds operates, and operates in the first cloud and the resource usage rate in the first cloud In the case where the resource utilization rate of the virtual machine exceeds the predetermined first threshold, the resource utilization rate in the first cloud is determined in advance. When the predetermined second threshold value is exceeded, a new virtual machine is started in the second cloud, and the resource in the second cloud is started. When scan utilization is below the second threshold value, a load balancer, characterized in that it comprises a virtual machine management unit configured to start a new virtual machine in the first cloud.
また、本発明の一態様は、第１のクラウドと、利用に応じて前記第１のクラウドを利用するより高い費用が発生する第２のクラウドと、仮想マシンを前記第１のクラウド及び前記第２のクラウドのいずれにて動作させるかを制御する負荷分散装置とを備える負荷分散システムにおける負荷分散方法であって、前記第１のクラウドにおけるリソース利用率と前記第１のクラウドにおいて動作している仮想マシンのリソース利用率とを取得するリソース利用率取得ステップと、仮想マシンのリソース利用率が予め定められた第１の閾値を超えている場合において、前記第１のクラウドにおけるリソース利用率が予め定められた第２の閾値を超えているとき、前記第２のクラウドにおいて新たな仮想マシンを起動させ、前記第２のクラウドにおけるリソース利用率が前記第２の閾値以下であるとき、前記第１のクラウドにおいて新たな仮想マシンを起動させる仮想マシン管理ステップとを有することを特徴とする負荷分散方法である。 Further, according to one embodiment of the present invention, a first cloud, a second cloud that is more expensive to use the first cloud according to usage, a virtual machine that includes the first cloud and the first cloud A load balancing method in a load balancing system including a load balancing device that controls which of the two clouds is operated, and operating in the first cloud and the resource usage rate in the first cloud In the resource utilization rate acquisition step for obtaining the resource utilization rate of the virtual machine, and when the resource utilization rate of the virtual machine exceeds a predetermined first threshold, the resource utilization rate in the first cloud is When a predetermined second threshold is exceeded, a new virtual machine is started in the second cloud, and the second cloud When the source utilization is below the second threshold value, a load distribution method characterized by having a virtual machine management step of activating a new virtual machine in the first cloud.
本発明によれば、第１のクラウドにおける仮想マシンの起動を第２のクラウドにおける仮想マシンの起動より優先させるので、第１のクラウド（プライベートクラウド）より高い費用が発生する第２のクラウド（パブリッククラウド）の利用を抑えて、プライベートクラウドにおける負荷を分散させつつ利用コストの削減を図ることが可能となる。 According to the present invention, the activation of the virtual machine in the first cloud is prioritized over the activation of the virtual machine in the second cloud, so that the second cloud (public cloud) that costs higher than the first cloud (private cloud) is generated. It is possible to reduce the usage cost while distributing the load in the private cloud by suppressing the use of the cloud.
以下、図面を参照して、本発明の実施形態における負荷分散システム、負荷分散装置及び負荷分散方法を説明する。図１は、本発明の実施形態における負荷分散システムの構成例を示すブロック図である。同図に示すように、負荷分散システムでは、自社クラウド環境（プライベートクラウド）と他社クラウド環境（パブリッククラウド）とがネットワーク６を介して通信可能に接続されている。また、複数のユーザ端末７がネットワーク５を介して自社クラウド環境と通信可能に接続されている。ユーザ端末７は、ネットワーク５を介して自社クラウド環境にて提供されるサービスと、自社クラウド環境を介して他社クラウド環境にて提供されるサービスとを受ける。本実施形態におけるサービスは、自社クラウド環境における仮想マシンや他社クラウド環境における仮想マシンによって行われるデータ処理などである。
Hereinafter, a load distribution system, a load distribution apparatus, and a load distribution method according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration example of a load distribution system according to an embodiment of the present invention. As shown in the figure, in the load balancing system, a company cloud environment (private cloud) and another company's cloud environment (public cloud) are communicably connected via a network 6. A plurality of
自社クラウド環境は、サービスを利用するユーザや企業、又はクラウドインフラ提供事業者が自ら管理、運用するコンピュータ・リソースで構成されるクラウド環境である。自社クラウド環境は、負荷分散装置１、管理サーバ２、複数の処理サーバ３、及び、ルータ４を備えている。負荷分散装置１、管理サーバ２、複数の処理サーバ３、及び、ルータ４は、自社クラウド環境内におけるプライベートネットワークを介して互いに通信可能に接続されている。負荷分散装置１、管理サーバ２、及び、複数の処理サーバ３は、ルータ４を介してネットワーク６に接続されており、他社クラウド環境との通信を行うことができる。また、負荷分散装置１は、ネットワーク５を介して複数のユーザ端末７と通信可能に接続されている。ユーザ端末７は、負荷分散装置１を介して、自社クラウド環境及び他社クラウド環境にて提供されるサービスを受ける。
The in-house cloud environment is a cloud environment composed of computer resources that are managed and operated by a user or company that uses the service, or a cloud infrastructure provider. The in-house cloud environment includes a
処理サーバ３は、複数の仮想マシン（Virtual Machine:ＶＭ）を動作させることができる。処理サーバ３は、自装置で動作する仮想マシン上においてプログラム等を実行させることにより、ユーザ端末７を操作するユーザに対してサービスの提供を行う。負荷分散装置１は、自社クラウド環境における処理サーバ３における各仮想マシンの負荷や他社クラウド環境における仮想マシンの応答遅延に応じて、ユーザ端末７から受信するユーザ要求をいずれかの仮想マシンに割り当てる振分けを行う。管理サーバ２は自社クラウド環境と他社クラウド環境における仮想マシンの管理と制御とを行う。
The
他社クラウド環境は、他の企業や他のクラウドインフラ提供事業者が管理、運営するコンピュータ・リソースで構成されるクラウド環境である。本実施形態では、他社クラウド環境における仮想マシンを利用すると、利用時間や利用したコンピュータ・リソースの量に応じて利用コストが発生することを前提としている。また、他社クラウド環境の利用コストは、自社クラウド環境の利用コストよりも高い利用コストとしている。また、他社クラウド環境の仮想マシンを利用したサービスの応答時間は、自社クラウド環境の仮想マシンを利用したサービスの応答時間よりも長い時間を要するものとしている。 The other company's cloud environment is a cloud environment composed of computer resources managed and operated by other companies or other cloud infrastructure providers. In the present embodiment, it is assumed that when a virtual machine in another company's cloud environment is used, a usage cost is generated according to the usage time and the amount of computer resources used. In addition, the usage cost of the other company's cloud environment is higher than the usage cost of its own cloud environment. The response time of a service using a virtual machine in another company's cloud environment requires a longer time than the response time of a service using a virtual machine in its own cloud environment.
他社クラウド環境は、ルータ８１、及び、複数の処理サーバ８２を備えている。ルータ８１と複数の処理サーバ８２とは他社クラウド環境内におけるプライベートネットワークを介して互いに通信可能に接続されている。処理サーバ８２は、複数の仮想マシンを動作させることができる。処理サーバ８２は、自装置で動作する仮想マシン上においてプログラム等を実行させることにより、ユーザに対してサービスの提供を行う。
The other company's cloud environment includes a
以下、自社クラウド環境における負荷分散装置１について説明する。負荷分散装置１は、仮想マシン登録部１１、仮想マシン管理部１２、記憶部１３、遅延時間取得部１４、及び、負荷分散部１５を有している。仮想マシン登録部１１は、自社クラウド環境と他社クラウド環境とを区別して、負荷分散の対象にする仮想マシンを登録する。仮想マシン管理部１２は、自社クラウド環境における処理サーバ３のコンピュータ・リソースの使用状況（リソース利用率）を取得する。本実施形態では、コンピュータ・リソースとしてＣＰＵとメモリとを対象にした説明を行うが、ＣＰＵ及びメモリ以外をコンピュータ・リソースの対象にしてもよい。
Hereinafter, the
記憶部１３には、仮想マシン管理テーブルとクラウド管理テーブルとが記憶されている。仮想マシン管理テーブルは、自社クラウド環境及び他社クラウド環境において稼働している仮想マシンであって負荷分散装置１が負荷分散の対象にする仮想マシンに関する情報を記憶するテーブルである。クラウド管理テーブルは、負荷分散装置１が負荷分散の対象にする仮想マシンが稼働しているクラウド環境に関する情報を記憶するテーブルである。
The
図２は、本実施形態における記憶部１３が記憶する仮想マシン管理テーブルの一例を示す図である。同図に示すように、仮想マシン管理テーブルは、物理マシン名、仮想マシン名、自社／他社フラグ、サービスクラス、システム名、ＣＰＵ利用率、ＣＰＵ利用率閾値、メモリ利用率、及び、メモリ利用率閾値の項目の列を有している。仮想マシン管理テーブルにおいて、各行は仮想マシンごとに存在する。仮想マシン管理テーブルの各行は、仮想マシンに対応する物理マシン名、仮想マシン名、自社／他社フラグ、サービスクラス、システム名、ＣＰＵ利用率、ＣＰＵ利用率閾値、メモリ利用率、及び、メモリ利用率閾値を示している。本実施形態では、ＣＰＵ利用率とメモリ利用率とが仮想マシンにおける負荷を示す指標としてのリソース利用率として用いられる。
FIG. 2 is a diagram illustrating an example of a virtual machine management table stored in the
物理マシン名は、仮想マシンが配置されている処理サーバ３を識別する名称である。自社／他社フラグは、仮想マシンが自社クラウド環境と他社クラウド環境とのいずれに位置しているかを示す。本実施形態では、自社クラウド環境で仮想マシンが動作している場合には自社／他社フラグに「０」が割り当てられる。他社クラウド環境で仮想マシンが動作している場合には自社／他社フラグに「１」が割り当てられる。サービスクラスは、仮想マシンがユーザ（ユーザ端末７）に提供しているサービスに要求される条件を示す。本実施形態では、応答時間に応じて分類され、応答時間が所定値より小さいことがサービスの条件であることをサービスクラスに「Ａ」が割り当てられる。応答時間に対する条件がないサービスのサービスクラスに「Ｂ」が割り当てられる。
The physical machine name is a name for identifying the
システム名は、仮想マシンが属するシステムを識別する識別子（名称）である。ＣＰＵ利用率は、仮想マシンのＣＰＵ利用率である。メモリ利用率は、仮想マシンのメモリ利用率である。また、ＣＰＵ利用率及びメモリ利用率は、各仮想マシンの所定時間における平均値である。ＣＰＵ利用率閾値及びメモリ利用率閾値は、ユーザの要求を仮想マシンに振分ける際と仮想マシンの増設及び減設をする際とに用いられる基準値である。また、ＣＰＵ利用率閾値及びメモリ利用率閾値には、予め定められた値が用いられる。 The system name is an identifier (name) that identifies the system to which the virtual machine belongs. The CPU usage rate is the CPU usage rate of the virtual machine. The memory usage rate is a memory usage rate of the virtual machine. Further, the CPU usage rate and the memory usage rate are average values of each virtual machine for a predetermined time. The CPU usage rate threshold value and the memory usage rate threshold value are reference values used when distributing user requests to virtual machines and when adding or removing virtual machines. Predetermined values are used for the CPU usage rate threshold and the memory usage rate threshold.
図２に示す例では、物理マシン名には自社クラウド環境における処理サーバ３を識別するｈｏｓｔＡ〜ｈｏｓｔＢが登録されている。仮想マシン名にはＧｕｅｓｔＡ〜ＧｕｅｓｔＥが登録されている。ＧｕｅｓｔＡ〜ＧｕｅｓｔＣが自社クラウド環境において動作している仮想マシンであり、ＧｕｅｓｔＤ〜ＧｕｅｓｔＥが他社クラウド環境において動作している仮想マシンである。ＧｕｅｓｔＡ〜ＧｕｅｓｔＢに対するサービスクラスは応答時間に対して所定の条件が定められているクラスＡである。ＧｕｅｓｔＣ〜ＧｕｅｓｔＥに対するサービスクラスは、応答時間に対して条件が定められていない、又は他社クラウド環境においても満たすことができる緩い条件が定められている。
In the example shown in FIG. 2, host A to host B for identifying the
また、ＧｕｅｓｔＡ、ＧｕｅｓｔＢはｓｙｓｔｅｍＡとして管理されている。ＧｕｅｓｔＣ、ＧｕｅｓｔＤはｓｙｓｔｅｍＢとして、ＧｕｅｓｔＥはｓｙｓｔｅｍＣとして管理されている。ＧｕｅｓｔＡ〜ＧｕｅｓｔＣそれぞれに対するＣＰＵ利用率は２０％、２０％、５０％であり、メモリ利用率は３０％、３０％、６０％となっている。なお、本実施形態では、他社クラウド環境において動作している仮想マシンが割り振られている処理サーバ８２の物理マシン名、ＣＰＵ利用率及びメモリ利用率を取得できないものとしている。
Guest A and Guest B are managed as system A. GuestC and GuestD are managed as systemB, and GuestE is managed as systemC. The CPU usage rates for Guest A to Guest C are 20%, 20%, and 50%, respectively, and the memory usage rates are 30%, 30%, and 60%. In the present embodiment, it is assumed that the physical machine name, CPU usage rate, and memory usage rate of the
図３は、本実施形態における記憶部１３が記憶するクラウド管理テーブルの一例を示す図である。同図に示すように、クラウド管理テーブルは、クラウド名、自社／他社フラグ、ＣＰＵ利用率測定値、ＣＰＵ利用率閾値、メモリ利用率測定値、メモリ利用率閾値、遅延測定値、及び、遅延閾値の各項目の列を有している。クラウド管理テーブルにおいて、各行は、自社クラウド及び他社クラウドごとに存在する。クラウド管理テーブルの各行は、クラウド（クラウド環境）に対応するクラウド名、自社／他社フラグ、ＣＰＵ利用率測定値、ＣＰＵ利用率閾値、メモリ利用率測定値、メモリ利用率閾値、遅延測定値、及び、遅延閾値を示している。本実施形態では、ＣＰＵ利用率測定値及びメモリ利用率測定値がクラウド環境における負荷を示す指標としてのリソース利用率として用いられる。
FIG. 3 is a diagram illustrating an example of a cloud management table stored in the
クラウド名は、クラウド環境を識別する名称である。自社／他社フラグは、クラウド環境が自社クラウド環境と他社クラウド環境とのいずれであるかを示す。「０」が自社クラウド環境であることを示し、「１」が他社クラウド環境であることを示す。ＣＰＵ利用率測定値は、クラウド環境における処理サーバ３（物理マシン）のＣＰＵ利用率である。メモリ利用率測定値は、クラウド環境における処理サーバ３（物理マシン）のメモリ利用率である。本実施形態においてＣＰＵ利用率測定値とメモリ利用率測定値とには、複数の処理サーバ３それぞれのＣＰＵ利用率の平均値とメモリ利用率の平均値とを用いる場合を説明するが、平均値以外の値、例えば総和や中央値などの他の統計値を用いるようにしてもよい。遅延測定値は、他社クラウド環境における仮想マシンの応答遅延時間である。
The cloud name is a name that identifies the cloud environment. The in-house / other company flag indicates whether the cloud environment is an in-house cloud environment or another company's cloud environment. “0” indicates that it is an in-house cloud environment, and “1” indicates that it is a cloud environment of another company. The CPU usage rate measurement value is the CPU usage rate of the processing server 3 (physical machine) in the cloud environment. The measured memory usage rate is a memory usage rate of the processing server 3 (physical machine) in the cloud environment. In the present embodiment, the case where the average value of the CPU usage rate and the average value of the memory usage rate of each of the plurality of
ＣＰＵ利用率閾値、メモリ利用率閾値、及び、遅延閾値は、仮想マシンの増設、減設及び移動をする際に用いられる基準値である。また、クラウド管理テーブルにおけるＣＰＵ利用率閾値及びメモリ利用率閾値には所定の値が予め設定される。また、遅延閾値には、ＣＰＵ利用率閾値及びメモリ利用率閾値と同様に、所定の値が予め設定される。遅延閾値は、サービスクラスが「Ａ」のサービスを提供している仮想マシン（以下、クラスＡの仮想マシンという。）に要求される応答時間に基づいて定められる閾値である。また、遅延閾値は、他社クラウド環境の仮想マシンの応答遅延時間が遅延閾値より大きい場合にサービス品質に低下が生じるか否かを判定できる閾値である。図３に示す例では、遅延閾値に１５０［ｍｓｅｃ］が設定されている。 The CPU usage rate threshold value, the memory usage rate threshold value, and the delay threshold value are reference values used when a virtual machine is added, removed, or moved. In addition, predetermined values are set in advance for the CPU utilization threshold and the memory utilization threshold in the cloud management table. Also, a predetermined value is set in advance as the delay threshold in the same manner as the CPU utilization threshold and the memory utilization threshold. The delay threshold value is a threshold value that is determined based on a response time required for a virtual machine that provides a service whose service class is “A” (hereinafter referred to as a class A virtual machine). The delay threshold value is a threshold value that can determine whether or not the service quality is deteriorated when the response delay time of the virtual machine in the other company's cloud environment is larger than the delay threshold value. In the example shown in FIG. 3, 150 [msec] is set as the delay threshold.
図１に戻り負荷分散装置１の説明を続ける。遅延時間取得部１４は、他社クラウド環境における仮想マシンとの間における応答遅延時間を取得する。負荷分散部１５は、ユーザ端末７からユーザの要求を受信した際に、自社クラウド環境と他社クラウド環境とにおいて動作している仮想マシンのいずれを用いてサービスを提供させるかを判定してユーザの要求を振分ける。負荷分散部１５は、仮想マシン管理テーブル及びクラウド管理テーブルを参照し、自社クラウド環境におけるコンピュータ・リソースの使用状況と、他社クラウド環境の応答遅延時間とに基づいて、ユーザの要求の振分けを行う。管理サーバ２は、仮想マシンの増設及び減設や、自社クラウド環境と他社クラウド環境との間における仮想マシンの移動を行う。
Returning to FIG. 1, the description of the
図４から図７は、本実施形態における負荷分散装置１が行う負荷分散処理を示すフローチャートである。負荷分散装置１において、負荷分散処理が開始されると、仮想マシン登録部１１は、負荷分散の対象にする仮想マシンに関する情報を記憶部１３の仮想マシン管理テーブルに記憶させて登録するとともに、自社クラウド環境と負荷を分散させる際に用いる他社クラウド環境とに関する情報をクラウド管理テーブルに記憶させて登録する（ステップＳ１１）。なお、仮想マシン登録部１１が仮想マシン管理テーブル及びクラウド管理テーブルに情報を登録した直後においては、ＣＰＵ利用率及びメモリ利用率には値がない状態である。また、仮想マシン登録部１１が各テーブルに登録する情報は、ユーザや自社クラウド環境の管理者などにより予め定められた情報である。
4 to 7 are flowcharts illustrating the load distribution processing performed by the
仮想マシン管理テーブルに負荷分散の対象となる仮想マシンが登録されると、仮想マシン管理部１２は、仮想マシン管理テーブルに登録されている仮想マシンの起動を要求する制御情報を管理サーバ２に送信する。管理サーバ２は、仮想マシン管理部１２から受信した制御情報に応じて、自社クラウド環境における処理サーバ３上で仮想マシンを起動させる（ステップＳ１２）。ここでは、他社クラウド環境を利用すると利用コストが発生するため、自社クラウド環境における処理サーバ３を優先的に用いることを前提としている。しかし、仮想マシン登録部１１が仮想マシン管理テーブルに登録する仮想マシンに関する情報において、他社クラウド環境で動作させることが「自社／他社フラグ」で定められている場合には、管理サーバ２が他社クラウド環境における処理サーバ８２で仮想マシンを起動させてもよい。
When a virtual machine to be load balanced is registered in the virtual machine management table, the virtual
管理サーバ２による仮想マシンの起動が完了すると、仮想マシン管理部１２は、自社クラウド環境における各仮想マシンのＣＰＵ利用率及びメモリ利用率を取得し、取得したＣＰＵ利用率及びメモリ利用率を仮想マシン管理テーブルに記憶させて登録する。また、仮想マシン管理部１２は、自社クラウド環境における各処理サーバ３のＣＰＵ利用率及びメモリ利用率を取得する。仮想マシン管理部１２は、取得した各処理サーバ３のＣＰＵ利用率からＣＰＵ利用率測定値を算出し、取得した各処理サーバ３のメモリ利用率からメモリ利用率測定値を算出する。仮想マシン管理部１２は、算出したＣＰＵ利用率測定値及びメモリ利用率測定値をクラウド管理テーブルに記憶させて登録する。また、遅延時間取得部１４は、他社クラウド環境において動作している仮想マシンの応答遅延時間を測定し、測定した応答遅延時間を遅延測定値としてクラウド管理テーブルに記憶させて登録する（ステップＳ１３）。なお、遅延時間取得部１４による応答遅延の測定対象は、他社クラウド環境における一つの仮想マシンでもよいし、複数の仮想マシンでもよい。複数の仮想マシンを測定対象にした場合、遅延時間取得部１４は測定結果の平均値などの統計値をクラウド管理テーブルに登録する。
When the activation of the virtual machine by the
仮想マシン管理部１２は、自社クラウド環境の管理者などからシステム停止の要求が入力されたか否かを判定し（ステップＳ１４）、システム停止の要求が入力されている場合（ステップＳ１４：ＹＥＳ）、負荷分散処理を終了させる。
システム停止の要求が入力されていない場合（ステップＳ１４：ＮＯ）、仮想マシン管理部１２は自社クラウド環境の各仮想マシンにおけるＣＰＵ利用率及びメモリ利用率を取得し、仮想マシン管理テーブルを更新する。また、仮想マシン管理部１２は、自社クラウド環境の各処理サーバ３におけるＣＰＵ利用率及びメモリ利用率を取得し、クラウド管理テーブルを更新する。また、遅延時間取得部１４は、他社クラウド環境における仮想マシンの応答遅延を測定し、クラウド管理テーブルを更新する（ステップＳ１５）。ステップＳ１５における仮想マシン管理部１２及び遅延時間取得部１４による処理は、ステップＳ１３における処理と同様の処理である。
The virtual
When the request for stopping the system is not input (step S14: NO), the virtual
仮想マシン管理テーブル及びクラウド管理テーブルの更新が完了すると、仮想マシン管理部１２は、仮想マシン管理テーブルを参照し、システムごとに自社クラウド環境の仮想マシンすべてのＣＰＵ利用率又はメモリ利用率のリソース値が対応する閾値を超えているか否かを判定する（ステップＳ１６）。例えば、図２に示した仮想マシン管理テーブルにおいては、システム名「ｓｙｓｔｅｍＡ」に属する自社クラウド環境の仮想マシン（ＧｕｅｓｔＡ及びＧｕｅｓｔＢ）のＣＰＵ利用率がともにＣＰＵ利用率閾値を超えているか否か、自社クラウド環境の仮想マシン（ＧｕｅｓｔＡ及びＧｕｅｓｔＢ）のメモリ利用率がともにメモリ利用率閾値を超えているか否かを判定する。なお、システムｓｙｓｔｅｍＢに属する仮想マシンのうち自社クラウド環境において動作している仮想マシンは仮想マシンＧｕｅｓｔＣのみであるので、仮想マシンＧｕｅｓｔＣが判定の対象になる。
When the update of the virtual machine management table and the cloud management table is completed, the virtual
ステップＳ１６の判定においてリソース値が閾値を超えていない場合（ステップＳ１６：ＮＯ）、仮想マシン管理部１２は、処理をステップＳ１４に戻す。一方、リソース値が閾値を超えている場合（ステップＳ１６：ＹＥＳ）、仮想マシン管理部１２は、クラウド管理テーブルを参照し、自社クラウド環境のＣＰＵ利用率測定値及びメモリ利用率測定値のリソース値のうち、対応する閾値を超えているリソース値があるか否かを判定する（ステップＳ１７）。
If the resource value does not exceed the threshold value in the determination in step S16 (step S16: NO), the virtual
ステップＳ１７の判定において自社クラウド環境のリソース値に閾値を超えているリソース値がない場合（ステップＳ１７：ＮＯ）、仮想マシン管理部１２は、第１の振分処理を行う（ステップＳ１８）。第１の振分処理は、自社クラウド環境のリソース利用率が低い状況において、自社クラウド環境に負荷の高いシステム（仮想マシン）が存在する場合に行われる処理である。
When there is no resource value that exceeds the threshold value in the resource value of the company cloud environment in the determination in step S17 (step S17: NO), the virtual
第１の振分処理（図５）を開始すると、仮想マシン管理部１２は、自社クラウド環境に仮想マシンの増設を要求する情報を管理サーバ２に送信して、管理サーバ２によって処理サーバ３上に仮想マシンが起動される（ステップＳ１８１）。ステップＳ１８１において起動させる仮想マシンは、閾値を超えていたリソース値に対応する仮想マシンと同じシステムに属する仮想マシンである。
When the first distribution process (FIG. 5) is started, the virtual
負荷分散部１５は、ユーザの要求があるか否かを判定し（ステップＳ１８２）、ユーザの要求がない場合（ステップＳ１８２：ＮＯ）、第１の振分処理を終了させて、処理をステップＳ１４（図４）に戻す。ユーザの要求がある場合（ステップＳ１８２：ＹＥＳ）、負荷分散部１５は、仮想マシン管理テーブルを参照し、ユーザの要求を自社クラウド環境の仮想マシンに振分けて、自社クラウドの仮想マシンにサービスを提供させる（ステップＳ１８３）。このとき、負荷分散部１５は、リソース利用率が最も低い仮想マシンや、リソース利用率が閾値を超えていない仮想マシンにユーザの要求を振分ける。負荷分散部１５は、ユーザの要求を振分けると、第１の振分処理を終了させて処理をステップＳ１４に戻す。
The
ステップＳ１７の判定において自社クラウド環境のリソース値に閾値を超えているリソース値がある場合（ステップＳ１７：ＹＥＳ）、仮想マシン管理部１２は、クラウド管理テーブルを参照し、他社クラウド環境の遅延測定値が遅延閾値を超えているか否かを判定する（ステップＳ１９）。
When there is a resource value that exceeds the threshold in the resource value of the company's cloud environment in the determination of step S17 (step S17: YES), the virtual
ステップＳ１９の判定において遅延測定値が遅延閾値を超えていない場合（ステップＳ１９：ＮＯ）、仮想マシン管理部１２は、第２の振分処理を行う（ステップＳ２０）。第２の振分処理は、自社クラウド環境のリソース利用率が高、他社クラウド環境の応答遅延が小さい状態において、自社クラウド環境に負荷の高いシステム（仮想マシン）が存在する場合に行われる処理である。
When the delay measurement value does not exceed the delay threshold value in the determination in step S19 (step S19: NO), the virtual
第２の振分処理（図６）を開始すると、仮想マシン管理部１２は、他社クラウド環境にクラスＡの仮想の増設を要求する情報を管理サーバ２に送信して、管理サーバ２によって他社クラウド環境の処理サーバ８２上に仮想マシンが起動される（ステップＳ２０１）。ステップＳ２０１において起動させる仮想マシンは、ステップＳ１８１と同様に、閾値を超えていたリソース値に対応する仮想マシンと同じシステムに属する仮想マシンである。
When the second distribution process (FIG. 6) is started, the virtual
負荷分散部１５は、ユーザの要求があるか否かを判定し（ステップＳ２０２）、ユーザの要求がない場合（ステップＳ２０２：ＮＯ）、第２の振分処理を終了させて、処理をステップＳ１４（図４）に戻す。ユーザの要求がある場合（ステップＳ２０２：ＹＥＳ）、負荷分散部１５は、仮想マシン管理テーブルを参照し、ユーザの要求するサービスクラスに対応する仮想マシンにユーザの要求を振分けて（ステップＳ２０３）、当該仮想マシンにサービスを提供させる。このとき、負荷分散部１５は、仮想マシン管理テーブルを参照し、ユーザの要求するサービスクラス及びシステムに対応する仮想マシンのうち、リソース利用率が最も低い仮想マシンや、リソース利用率が閾値を超えていない仮想マシンにユーザの要求を振分ける。負荷分散部１５は、ユーザの要求を振分けると、第２の振分処理を終了させて処理をステップＳ１４に戻す。
The
ステップＳ１９の判定において遅延測定値が遅延閾値を超えている場合（ステップＳ１９：ＹＥＳ）、仮想マシン管理部１２は、第３の振分処理を行う（ステップＳ２１）。第３の振分処理は、自社クラウド環境のリソース利用率が高く、他社クラウド環境の応答遅延が大きい状態において、自社クラウド環境に負荷の高いシステム（仮想マシン）が存在する場合に行われる処理である。
When the delay measurement value exceeds the delay threshold value in the determination in step S19 (step S19: YES), the virtual
第３の振分処理（図７）を開始すると、仮想マシン管理部１２は、仮想マシンの再構成を行う（ステップＳ２１１）。ステップＳ２１１における仮想マシンの再構成は、他社クラウド環境において動作しているクラスＡの仮想マシンを自社クラウド環境に移動させる処理である。クラスＡの仮想マシンを自社クラウド環境に移動させるために、自社クラウド環境において動作しているクラスＢの仮想マシンを他社クラウド環境に移してリソースを確保した後に、自社クラウド環境においてクラスＡの仮想マシンを起動させる。
When the third distribution process (FIG. 7) is started, the virtual
具体的には、仮想マシン管理部１２は、仮想マシン管理テーブルを参照して、他社クラウド環境において動作しているクラスＡの仮想マシン数を検出する。仮想マシン管理部１２は、検出した台数分の仮想マシンを自社クラウド環境において起動させるために必要となるリソース量を算出し、算出したリソース量を確保するために自社クラウド環境から他社クラウド環境に移すクラスＢの仮想マシンの台数を算出する。仮想マシン管理部１２は、算出したクラスＢの仮想マシンの台数分の仮想マシンを他社クラウド環境において起動させることを要求する制御情報を管理サーバ２に送信する。
Specifically, the virtual
算出した台数分の仮想マシンが他社クラウド環境において起動すると、仮想マシン管理部１２は、自社クラウド環境において動作しているクラスＢの仮想マシンが提供するサービスを、他社クラウド環境において新たに起動させたクラスＢの仮想マシンに移動させることを要求する制御情報を管理サーバ２に送信する。自社クラウド環境から他社クラウド環境へのクラスＢのサービスの移動が完了すると、仮想マシン管理部１２は、自社クラウド環境において動作している、算出した台数分のクラスＢの仮想マシンの停止を要求する制御情報を管理サーバ２に送信する。
When the calculated number of virtual machines are started in another company's cloud environment, the virtual
自社クラウド環境においてクラスＢの仮想マシンを停止させてクラスＡの仮想マシンを起動させるために必要なリソースを確保できると、仮想マシン管理部１２は、他社クラウド環境で動作しているクラスＡの仮想マシンの台数と同じ台数の仮想マシンを自社クラウド環境において起動させることを要求する制御情報を管理サーバ２に送信する。
If the resources necessary to stop the Class B virtual machine and start the Class A virtual machine in the in-house cloud environment can be secured, the virtual
自社クラウド環境において新たなクラスＡの仮想マシンが起動すると、仮想マシン管理部１２は、他社クラウド環境において動作しているクラスＡの仮想マシンが提供するサービスを、自社クラウド環境において新たに起動したクラスＡの仮想マシンに移動させることを要求する制御情報を管理サーバ２に送信する。他社クラウド環境から自社クラウド環境へのクラスＡのサービスの移動が完了すると、仮想マシン管理部１２は、他社クラウド環境において動作しているクラスＡの仮想マシンの停止を要求する制御情報を管理サーバ２に送信する。他社クラウド環境におけるクラスＡの仮想マシンが停止すると仮想マシンの再構成は完了する。
When a new class A virtual machine is started in the company's cloud environment, the virtual
以上の処理を仮想マシンの再構成として行うことにより、負荷分散装置１は、クラスＡの仮想マシンを自社クラウド環境に集めて、応答遅延時間が増加した場合においても、サービスクラスがクラスＡのユーザの要求に対するサービス品質を維持することができ、ユーザの利便性の低下を抑制することができる。
By performing the above processing as a reconfiguration of a virtual machine, the
負荷分散部１５は、仮想マシンの再構成が完了するとユーザの要求があるか否かを判定し（ステップＳ２１２）、ユーザの要求がない場合（ステップＳ２１２：ＮＯ）、第３の振分処理を終了させて、処理をステップＳ１４（図４）に戻す。ユーザの要求がある場合（ステップＳ２１２：ＹＥＳ）、負荷分散部１５は、ユーザの要求のサービスクラスがクラスＡであれば自社クラウド環境の仮想マシンに振分け、ユーザの要求のサービスクラスがクラスＢであれば他社クラウド環境の仮想マシンに振分けて、ユーザの要求するサービスを提供させる（ステップＳ２１３）。このとき、負荷分散部１５は、仮想マシン管理テーブルを参照し、リソース利用率が低い仮想マシンや、リソース利用率が閾値を超えていない仮想マシンにユーザの要求を振分ける。負荷分散部１５は、ユーザの要求を振分けると、第３の振分処理を終了させて処理をステップＳ１４に戻す。
When the reconfiguration of the virtual machine is completed, the
以上のように、負荷分散装置１は、自社クラウド環境におけるコンピュータ・リソースに対する負荷に応じて仮想マシンの増設や仮想マシンの再構成を行い、自社クラウド環境を優先的に利用することにより他社クラウド環境の利用を抑えて発生する利用コストを削減する。
As described above, the
図８は、本実施形態における分散処理システムの動作例を示すシーケンス図である。図８には、自社クラウド環境におけるコンピュータ・リソースに対する負荷が高く閾値を超え、かつ他社クラウド環境における遅延測定値が遅延閾値を超えている場合（ピークトラフィック時）における動作例が示されている。負荷分散装置１が負荷分散処理を開始すると、仮想マシン登録部１１が仮想マシン管理テーブルに仮想マシンを登録し（ステップＳ３１）、仮想マシン管理部１２が仮想マシンの起動を要求する制御情報を管理サーバ２に送信する（ステップＳ３２）。管理サーバ２が自社クラウド環境の処理サーバ３において仮想マシンを起動させると（ステップＳ３３）、仮想マシン管理部１２が各仮想マシンのリソース利用率を取得し（ステップＳ３４）、遅延時間取得部１４が遅延測定値を取得し（ステップＳ３５）、仮想マシン管理テーブル及びクラウド管理テーブルが更新される。
FIG. 8 is a sequence diagram illustrating an operation example of the distributed processing system according to the present embodiment. FIG. 8 shows an operation example when the load on the computer resources in the company cloud environment is high and exceeds the threshold, and the delay measurement value in the cloud environment of the other company exceeds the delay threshold (at peak traffic). When the
仮想マシン管理部１２は、自社クラウド環境におけるリソース値及び他社クラウド環境における遅延測定値に基づく判定により仮想マシンの再構成の要否の判定を行う（ステップＳ３６）。図８に示している例では、ピークトラフィック時であるため、仮想マシン管理部１２から管理サーバ２に対して仮想マシンの再構成を要求する制御情報が送信される（ステップＳ３７）。制御情報を受信した管理サーバ２は、他社クラウド環境においてクラスＢの仮想マシンを起動させた後に自社クラウド環境におけるクラスＢの仮想マシンを停止させるとともに、自社クラウド環境においてクラスＡの仮想マシンを起動させた後に他社クラウド環境におけるクラスＡの仮想マシンを停止させて、仮想マシンの再構成を行う（ステップＳ３８）。
The virtual
ユーザ端末７から負荷分散装置１にユーザ要求が入力されると（ステップＳ４０）、負荷分散部１５がユーザ要求のサービスクラスに応じて振分け先を判定し（ステップＳ４１）、ユーザ要求のサービスクラスがクラスＡの場合には自社クラウド環境の仮想マシンに振分け（ステップＳ４２）、ユーザ要求のサービスクラスがクラスＢの場合には他社クラウド環境の仮想マシンに振分ける（ステップＳ４３）。
When a user request is input from the
図９は、本実施形態における分散処理システムの別の動作例を示すシーケンス図である。図９には、自社クラウド環境におけるコンピュータ・リソースに対する負荷が低く閾値を超えていない場合（低トラフィック時）における動作例が示されている。なお、図９におけるステップＳ３１からステップＳ３６までの各処理は、図８に示した各処理と同じであるので説明を省略する。 FIG. 9 is a sequence diagram illustrating another operation example of the distributed processing system according to this embodiment. FIG. 9 shows an operation example when the load on the computer resource in the company cloud environment is low and does not exceed the threshold value (during low traffic). In addition, since each process from step S31 in FIG. 9 to step S36 is the same as each process shown in FIG. 8, description is abbreviate | omitted.
図９に示している例では、低トラフィック時であるため、ステップＳ３６における仮想マシンの再構成の要否の判定において、再構成が不要と判定されるため、仮想マシンに対する操作は行われない。この後に、ユーザ端末７から負荷分散装置１にユーザ要求が入力されると（ステップＳ５０）、負荷分散部１５が仮想マシン管理テーブルを参照してユーザ要求の振分け先を判定し、自社クラウド環境の仮想マシンにユーザ要求を振分ける（ステップＳ５２）。
In the example illustrated in FIG. 9, since there is a low traffic time, it is determined that reconfiguration is not necessary in the determination of whether or not the virtual machine needs to be reconfigured in step S <b> 36, and no operation is performed on the virtual machine. Thereafter, when a user request is input from the
以上のように、本実施形態における負荷分散装置１による負荷分散処理を行うことにより、自社クラウド環境における仮想マシンを優先的に利用することができ、他社クラウド環境の仮想マシンを利用することにより発生する利用コストを抑えることができる。また、負荷分散装置１は、自社クラウド環境におけるリソース利用率と他社クラウド環境の応答遅延とに基づいて、自社クラウド環境と他社クラウド環境とのいずれのクラウド環境を利用するかを選択しているので、仮想マシンで提供するサービス品質の低下を抑えつつ、利用コストの削減を図ることができる。具体的には、自社クラウド環境においてリソースが逼迫している場合には、応答時間に対する要求がない又は緩いクラスＢの仮想マシンを他社クラウド環境に移動させ、クラスＡの仮想マシンを自社クラウド環境にて起動させる。これにより、クラスＡの仮想マシンで提供するサービス品質を低下させずに、他社クラウド環境の利用を削減することができる。
As described above, by performing load balancing processing by the
また、本実施形態における負荷分散装置１を用いることにより、サービス利用ユーザや企業ユーザは、自社クラウド環境の処理サーバ３を優先的に使用するので、他社クラウド環境の利用コストを削減することができる。また、他社クラウド環境の応答遅延が増加した場合でも、サービス品質を維持することができ、ユーザの利便性を向上させることができる。また、負荷分散装置１を用いることにより、クラウドインフラ提供事業者は、ユーザにプライベートクラウドを提供する場合に、他社クラウド環境のコンピュータ・リソースを必要に応じて活用することができるので、設備コストの低減を図ることができる。また、ネットワーク６における通信速度が低下して、他社クラウド環境の応答遅延が増加した場合でも、安定したサービス品質を保証することができ、ＳＬＡ等の品質保証型のサービスも可能となる。
In addition, by using the
なお、負荷分散装置１は、他社クラウド環境において動作させている仮想マシンが存在している場合に、自社クラウド環境のコンピュータ・リソースに余裕があれば、他社クラウド環境の仮想マシンを自社クラウド環境に移動させてもよい。ここで、自社クラウド環境のコンピュータ・リソースに余裕がある状態とは、自社クラウド環境における各リソース値（ＣＰＵ利用率測定値及びメモリ利用率測定値）すべてが対応する閾値以下になっている状態である。図１０は、本実施形態における分散処理システムの異なる動作例を示すシーケンス図である。
Note that the
図１０において、負荷分散装置１の仮想マシン管理部１２が自社クラウド環境の各仮想マシンのリソース利用率を取得し（ステップＳ６１）、仮想マシン管理テーブルが更新される。仮想マシン管理部１２は、クラウド管理テーブルを参照して、仮想マシンの再構成の要否判定を行う（ステップＳ６２）。具体的には、自社クラウド環境のＣＰＵ利用率測定値がＣＰＵ利用率閾値以下であり、かつメモリ利用率測定値がメモリ利用率閾値以下であるか否かを判定し、測定値がともに閾値以下である場合に他社クラウド環境において仮想マシンが動作しているときに、自社クラウド環境に仮想マシンを移動させる仮想マシンの再構成を行う。
In FIG. 10, the virtual
仮想マシン管理部１２は、自社クラウド環境のリソース値すべてが閾値以下であることを検出すると、仮想マシン管理テーブルを参照して他社クラウド環境において動作している仮想マシンを検出する。仮想マシン管理部１２は、仮想マシンの再構成を要求する制御情報を管理サーバ２に送信する（ステップＳ６３）。このとき、仮想マシン管理部１２から管理サーバ２に送信される制御情報には、自社クラウド環境において新たな仮想マシンを起動させ、他社クラウド環境において動作している仮想マシンが提供しているサービスを起動した仮想マシンに移動させ、他社クラウド環境において動作している仮想マシンを停止させる要求が含まれている。
When the virtual
管理サーバ２は、仮想マシン管理部１２から受信した制御情報に基づいて、自社クラウド環境において新たに仮想マシンを起動させる（ステップＳ６４）。管理サーバ２は、他社クラウド環境において動作している仮想マシンが提供しているサービスが、自社クラウド環境において新たに起動した仮想マシンに移動させると、他社クラウド環境の仮想マシンを停止させる（ステップＳ６５）。
Based on the control information received from the virtual
なお、他社クラウド環境から自社クラウド環境に移動させる仮想マシンの台数は、自社クラウド環境におけるリソース利用率に応じて定めてもよいし、一台としてもよい。また、複数の仮想マシンが他社クラウド環境において動作している場合には、クラスＡの仮想マシンを優先的に自社クラウド環境に移動させるようにしてもよい。 The number of virtual machines to be moved from the other company's cloud environment to the company's cloud environment may be determined according to the resource usage rate in the company's cloud environment, or may be one. Further, when a plurality of virtual machines are operating in a cloud environment of another company, a class A virtual machine may be preferentially moved to the company cloud environment.
図１０において示したように、負荷分散装置１が自社クラウド環境のコンピュータ・リソースに余裕がある場合に、他社クラウド環境において動作している仮想マシンを自社クラウド環境に移動させることにより、他社クラウド環境の利用で発生する利用コストを更に削減することができる。なお、他社クラウド環境において動作している仮想マシンを自社クラウド環境に移動させるか否かの判定において、ＣＰＵ利用率閾値とメモリ利用率閾値とそれぞれよりも低い値の閾値を用いるようにしてもよい。これにより、自社クラウド環境と他社クラウド環境との間で仮想マシンの頻繁な移動を防ぐことができ、安定したサービスの提供を行うことができる。
As shown in FIG. 10, when the
なお、上述した実施形態では、他社クラウド環境が一つの場合について説明したが、ネットワーク６を介して接続された複数の他社クラウド環境があってもよい。この場合には、クラウド管理テーブルにおける行が他社クラウド環境ごとに存在することになる。複数の他社クラウド環境から仮想マシンを起動させる他社クラウド環境の選択には、例えば遅延測定値が短いものから優先的に選択するようにする。
また、上述した実施形態では、負荷分散装置１と管理サーバ２とが独立した個別の装置である場合について説明したが、一つの装置として構成されていてもよい。
In the above-described embodiment, the case where there is one other company's cloud environment has been described. However, there may be a plurality of other company's cloud environments connected via the network 6. In this case, a row in the cloud management table exists for each cloud environment of another company. In selecting a third-party cloud environment in which a virtual machine is activated from a plurality of third-party cloud environments, for example, the one having a short delay measurement value is selected preferentially.
In the above-described embodiment, the case where the
また、図４において示した負荷分散処理において、ステップＳ１６から処理をステップＳ１４に戻す際に、負荷分散部１５はユーザの要求の有無を判定し、ユーザの要求がある場合に当該ユーザの要求を自社クラウド環境の仮想マシンに振分けるようにしてもよい。
In the load distribution process shown in FIG. 4, when the process returns from step S16 to step S14, the
上述した実施形態における負荷分散装置１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
You may make it implement | achieve the
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
１…負荷分散装置，１１…仮想マシン登録部，１２…仮想マシン管理部，１３…記憶部，１４…遅延時間取得部，１５…負荷分散部，２…管理サーバ，３…処理サーバ，４…ルータ，５、６…ネットワーク，７…ユーザ端末，８１…ルータ，８２…処理サーバ
DESCRIPTION OF
Claims (6)
前記負荷分散装置は、
前記第１のクラウドにおけるリソース利用率と前記第１のクラウドにおいて動作している仮想マシンのリソース利用率とを取得するリソース利用率取得手段と、
仮想マシンのリソース利用率が予め定められた第１の閾値を超えている場合において、前記第１のクラウドにおけるリソース利用率が予め定められた第２の閾値を超えているとき、前記第２のクラウドにおいて新たな仮想マシンを起動させ、前記第２のクラウドにおけるリソース利用率が前記第２の閾値以下であるとき、前記第１のクラウドにおいて新たな仮想マシンを起動させる仮想マシン管理手段と
を有する
ことを特徴とする負荷分散システム。 The first cloud, the second cloud that generates higher costs depending on the usage, and the virtual machine is operated in either the first cloud or the second cloud. A load balancing system comprising a load balancing device for controlling
The load balancer is:
Resource usage rate acquisition means for acquiring a resource usage rate in the first cloud and a resource usage rate of a virtual machine operating in the first cloud;
When the resource usage rate of the virtual machine exceeds a predetermined first threshold, when the resource usage rate in the first cloud exceeds a predetermined second threshold, the second Virtual machine management means for starting a new virtual machine in the cloud and starting a new virtual machine in the first cloud when the resource usage rate in the second cloud is less than or equal to the second threshold A load balancing system characterized by that.
仮想マシンでユーザに提供するサービスには所定時間内の応答が要求される第１のサービスと、所定時間内の応答が要求されない第２のサービスとがあり、
前記負荷分散装置は、
前記第２のクラウドで動作する仮想マシンの応答遅延時間を取得する遅延時間取得手段を更に有し、
前記仮想マシン管理手段は、
前記遅延時間取得手段により得られた応答遅延時間が前記所定時間に応じて予め定められた遅延閾値を超えた場合に、前記第２のクラウドで動作している仮想マシンであって前記第１のサービスを提供している仮想マシンを前記第１のクラウドに移動させる
ことを特徴とする負荷分散システム。 The load distribution system according to claim 1,
The service provided to the user in the virtual machine includes a first service that requires a response within a predetermined time, and a second service that does not require a response within a predetermined time,
The load balancer is:
A delay time acquiring means for acquiring a response delay time of a virtual machine operating in the second cloud;
The virtual machine management means includes
A virtual machine operating in the second cloud when the response delay time obtained by the delay time acquisition unit exceeds a delay threshold determined in advance according to the predetermined time; A load balancing system, wherein a virtual machine providing a service is moved to the first cloud.
前記仮想マシン管理手段は、
前記遅延時間取得手段により得られた応答遅延時間が前記遅延閾値を超えた場合に、前記第１のクラウドで動作している仮想マシンであって前記第２のサービスを提供している仮想マシンを前記第２のクラウドに移動させる
ことを特徴とする負荷分散システム。 The load distribution system according to claim 2,
The virtual machine management means includes
A virtual machine operating in the first cloud and providing the second service when the response delay time obtained by the delay time acquisition means exceeds the delay threshold; The load distribution system, wherein the load distribution system is moved to the second cloud.
前記仮想マシン管理手段は、
前記第１のクラウドの前記リソース利用率が前記第２の閾値以下であり、前記第２のクラウドで動作している仮想マシンを検出すると、当該仮想マシンを前記第１のクラウドに移動させる
ことを特徴とする負荷分散システム。 In the load distribution system according to any one of claims 1 to 3,
The virtual machine management means includes
When the resource usage rate of the first cloud is equal to or lower than the second threshold and a virtual machine operating in the second cloud is detected, the virtual machine is moved to the first cloud. Feature load balancing system.
前記第１のクラウドにおけるリソース利用率と前記第１のクラウドにおいて動作している仮想マシンのリソース利用率とを取得するリソース利用率取得手段と、
仮想マシンのリソース利用率が予め定められた第１の閾値を超えている場合において、前記第１のクラウドにおけるリソース利用率が予め定められた第２の閾値を超えているとき、前記第２のクラウドにおいて新たな仮想マシンを起動させ、前記第２のクラウドにおけるリソース利用率が前記第２の閾値以下であるとき、前記第１のクラウドにおいて新たな仮想マシンを起動させる仮想マシン管理手段と
を有することを特徴とする負荷分散装置。 The first cloud, the second cloud that generates higher costs depending on the usage, and the virtual machine is operated in either the first cloud or the second cloud. A load distribution apparatus in a load distribution system comprising a load distribution apparatus for controlling
Resource usage rate acquisition means for acquiring a resource usage rate in the first cloud and a resource usage rate of a virtual machine operating in the first cloud;
When the resource usage rate of the virtual machine exceeds a predetermined first threshold, when the resource usage rate in the first cloud exceeds a predetermined second threshold, the second Virtual machine management means for starting a new virtual machine in the cloud and starting a new virtual machine in the first cloud when the resource usage rate in the second cloud is less than or equal to the second threshold A load balancer.
前記第１のクラウドにおけるリソース利用率と前記第１のクラウドにおいて動作している仮想マシンのリソース利用率とを取得するリソース利用率取得ステップと、
仮想マシンのリソース利用率が予め定められた第１の閾値を超えている場合において、前記第１のクラウドにおけるリソース利用率が予め定められた第２の閾値を超えているとき、前記第２のクラウドにおいて新たな仮想マシンを起動させ、前記第２のクラウドにおけるリソース利用率が前記第２の閾値以下であるとき、前記第１のクラウドにおいて新たな仮想マシンを起動させる仮想マシン管理ステップと
を有することを特徴とする負荷分散方法。 The first cloud, the second cloud that generates higher costs depending on the usage, and the virtual machine is operated in either the first cloud or the second cloud. A load balancing method in a load balancing system comprising a load balancing device for controlling
A resource usage rate acquisition step of acquiring a resource usage rate in the first cloud and a resource usage rate of a virtual machine operating in the first cloud;
When the resource usage rate of the virtual machine exceeds a predetermined first threshold, when the resource usage rate in the first cloud exceeds a predetermined second threshold, the second A virtual machine management step of starting a new virtual machine in the cloud and starting a new virtual machine in the first cloud when the resource usage rate in the second cloud is equal to or lower than the second threshold value. A load balancing method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014029389A JP6097235B2 (en) | 2014-02-19 | 2014-02-19 | Load distribution system, load distribution apparatus, and load distribution method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014029389A JP6097235B2 (en) | 2014-02-19 | 2014-02-19 | Load distribution system, load distribution apparatus, and load distribution method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015153370A true JP2015153370A (en) | 2015-08-24 |
| JP6097235B2 JP6097235B2 (en) | 2017-03-15 |
Family
ID=53895487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014029389A Active JP6097235B2 (en) | 2014-02-19 | 2014-02-19 | Load distribution system, load distribution apparatus, and load distribution method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6097235B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018120476A (en) * | 2017-01-26 | 2018-08-02 | 富士ゼロックス株式会社 | Information processing device and program |
| JP2018128956A (en) * | 2017-02-10 | 2018-08-16 | 日本電信電話株式会社 | Load distribution device and load distribution method |
| US10144131B2 (en) | 2016-06-30 | 2018-12-04 | Hitachi, Ltd. | Operation monitoring server and operation monitoring system |
| JP2019032653A (en) * | 2017-08-07 | 2019-02-28 | 日本電信電話株式会社 | Distribution method |
| JP2019533913A (en) * | 2017-09-28 | 2019-11-21 | 平安科技（深▲せん▼）有限公司Ｐｉｎｇ Ａｎ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｈｅｎｚｈｅｎ） Ｃｏ．，Ｌｔｄ． | Load balancing optimization method and apparatus based on cloud monitoring |
| JP2020113211A (en) * | 2019-01-16 | 2020-07-27 | Kddi株式会社 | Information processing device, use situation notification method, and program |
| US11150947B2 (en) | 2017-10-04 | 2021-10-19 | Toyota Jidosha Kabushiki Kaisha | Determining a deletion deadline for a staging environment |
| KR20230025152A (en) * | 2021-08-13 | 2023-02-21 | 주식회사 이노그리드 | High-performance cloud service system and method for metaverse |
| US11599292B2 (en) | 2021-03-31 | 2023-03-07 | Hitachi, Ltd. | Storage system and load distribution method for storage system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013196287A (en) * | 2012-03-19 | 2013-09-30 | Oki Electric Ind Co Ltd | Virtual machine control device and program |
| WO2014014479A1 (en) * | 2012-07-20 | 2014-01-23 | Hewlett-Packard Development Company, L.P. | Policy-based scaling of network resources |
| WO2014024251A1 (en) * | 2012-08-06 | 2014-02-13 | 富士通株式会社 | Cloud service selection device, cloud service selection system, cloud service selection method, and cloud service selection program |
| JP2015153402A (en) * | 2014-02-19 | 2015-08-24 | 富士通株式会社 | Management device, task load distribution management method, and task load distribution management program |
-
2014
- 2014-02-19 JP JP2014029389A patent/JP6097235B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013196287A (en) * | 2012-03-19 | 2013-09-30 | Oki Electric Ind Co Ltd | Virtual machine control device and program |
| WO2014014479A1 (en) * | 2012-07-20 | 2014-01-23 | Hewlett-Packard Development Company, L.P. | Policy-based scaling of network resources |
| WO2014024251A1 (en) * | 2012-08-06 | 2014-02-13 | 富士通株式会社 | Cloud service selection device, cloud service selection system, cloud service selection method, and cloud service selection program |
| JP2015153402A (en) * | 2014-02-19 | 2015-08-24 | 富士通株式会社 | Management device, task load distribution management method, and task load distribution management program |
Non-Patent Citations (2)
| Title |
|---|
| 江丸 裕教 外１名: "「動的配置法によるハイブリッドクラウドの運用管理コスト最小化」", 情報処理学会 論文誌（ジャーナル）［ＯＮＬＩＮＥ］, vol. 第54巻，第4号, JPN6016049329, 15 April 2013 (2013-04-15), pages 1581 - 1591, ISSN: 0003467745 * |
| 神屋 郁子 外３名: "「複数のクラウドを利用したサーバ広域分散配置システムの構築」", 電子情報通信学会論文誌, vol. 第J96-B巻，第10号, JPN6016049328, 1 October 2013 (2013-10-01), pages 1164 - 1175, ISSN: 0003467744 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10144131B2 (en) | 2016-06-30 | 2018-12-04 | Hitachi, Ltd. | Operation monitoring server and operation monitoring system |
| JP2018120476A (en) * | 2017-01-26 | 2018-08-02 | 富士ゼロックス株式会社 | Information processing device and program |
| JP2018128956A (en) * | 2017-02-10 | 2018-08-16 | 日本電信電話株式会社 | Load distribution device and load distribution method |
| JP2019032653A (en) * | 2017-08-07 | 2019-02-28 | 日本電信電話株式会社 | Distribution method |
| JP2019533913A (en) * | 2017-09-28 | 2019-11-21 | 平安科技（深▲せん▼）有限公司Ｐｉｎｇ Ａｎ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｈｅｎｚｈｅｎ） Ｃｏ．，Ｌｔｄ． | Load balancing optimization method and apparatus based on cloud monitoring |
| US10992581B2 (en) | 2017-09-28 | 2021-04-27 | Ping An Technology (Shenzhen) Co., Ltd. | Methods and devices for optimizing load balancing based on cloud monitoring |
| US11150947B2 (en) | 2017-10-04 | 2021-10-19 | Toyota Jidosha Kabushiki Kaisha | Determining a deletion deadline for a staging environment |
| JP2020113211A (en) * | 2019-01-16 | 2020-07-27 | Kddi株式会社 | Information processing device, use situation notification method, and program |
| US11599292B2 (en) | 2021-03-31 | 2023-03-07 | Hitachi, Ltd. | Storage system and load distribution method for storage system |
| KR20230025152A (en) * | 2021-08-13 | 2023-02-21 | 주식회사 이노그리드 | High-performance cloud service system and method for metaverse |
| KR102627514B1 (en) * | 2021-08-13 | 2024-01-23 | 주식회사 이노그리드 | High-performance cloud service system and method for metaverse |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6097235B2 (en) | 2017-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6097235B2 (en) | Load distribution system, load distribution apparatus, and load distribution method | |
| US9992273B2 (en) | Intelligent load balancer selection in a multi-load balancer environment | |
| US8904005B2 (en) | Indentifying service dependencies in a cloud deployment | |
| CN107534570B (en) | Computer system, method and medium for virtualized network function monitoring | |
| US8849971B2 (en) | Load balancing in cloud-based networks | |
| US8316125B2 (en) | Methods and systems for automated migration of cloud processes to external clouds | |
| US8862720B2 (en) | Flexible cloud management including external clouds | |
| US10268522B2 (en) | Service aggregation using graduated service levels in a cloud network | |
| US8612615B2 (en) | Systems and methods for identifying usage histories for producing optimized cloud utilization | |
| US9311162B2 (en) | Flexible cloud management | |
| US20100306767A1 (en) | Methods and systems for automated scaling of cloud computing systems | |
| US20090300635A1 (en) | Methods and systems for providing a marketplace for cloud-based networks | |
| US20100274890A1 (en) | Methods and apparatus to get feedback information in virtual environment for server load balancing | |
| US8589538B2 (en) | Storage workload balancing | |
| US20140244844A1 (en) | Control device and resource control method | |
| JP2013506908A (en) | Dynamic load balancing and scaling of allocated cloud resources within the corporate network | |
| US9672069B2 (en) | Dynamic zone-based cloud management | |
| US10841369B2 (en) | Determining allocatable host system resources to remove from a cluster and return to a host service provider | |
| US20180026855A1 (en) | Network management system, device, and method | |
| US20220174588A1 (en) | Method for evaluating the devices of a network infrastructure for deploying a virtualised function | |
| US20140189092A1 (en) | System and Method for Intelligent Data Center Positioning Mechanism in Cloud Computing | |
| JP5987181B2 (en) | Distributed processing system and management method of distributed processing system | |
| JP5575953B1 (en) | Information system service providing apparatus, information system service providing method, and information system service providing program | |
| US10877814B2 (en) | Profiling workloads in host systems allocated to a cluster to determine adjustments to allocation of host systems to the cluster | |
| JP2017143477A (en) | Virtual network system, and network load distribution method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160317 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170217 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6097235 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |