JP2011253371A - Scale-out system, and method and program - Google Patents

Scale-out system, and method and program Download PDF

Info

Publication number
JP2011253371A
JP2011253371A JP2010127083A JP2010127083A JP2011253371A JP 2011253371 A JP2011253371 A JP 2011253371A JP 2010127083 A JP2010127083 A JP 2010127083A JP 2010127083 A JP2010127083 A JP 2010127083A JP 2011253371 A JP2011253371 A JP 2011253371A
Authority
JP
Japan
Prior art keywords
server
virtual server
virtual
scale
name
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010127083A
Other languages
Japanese (ja)
Other versions
JP5530810B2 (en
Inventor
Kazumichi Yamamoto
和道 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Information Systems Ltd
Original Assignee
Hitachi Information Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Information Systems Ltd filed Critical Hitachi Information Systems Ltd
Priority to JP2010127083A priority Critical patent/JP5530810B2/en
Publication of JP2011253371A publication Critical patent/JP2011253371A/en
Application granted granted Critical
Publication of JP5530810B2 publication Critical patent/JP5530810B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a scale-out technique of a server capable of suppressing unnecessary consumption of computer resources and effectively performing load distribution.SOLUTION: A scale-out system comprises: a host server 3 having a virtual server group consisting of a plurality of virtual servers; a monitoring server 4 having a function to monitor the virtual server group of the host server 3; a dependency relation management server 5 having a function to manage dependency relation of software of the virtual server group of the host server 3; and a configuration change server 6 having a function to make a request for configuration change to virtualization software for managing the virtual server group of the host server 3. The monitoring server 4 detects a virtual server that is the cause of heavy load, and the dependency relation management server 5 obtains a system depending on a process of the detected virtual server. The configuration change server 6 moves only the obtained system to a virtual server of a scale-out destination.

Description

本発明は、サーバのスケールアウトの技術に関し、特に、ソフトウェアの依存関係を用いてサーバのスケールアウトを行う為のシステムおよび方法ならびにプログラムに関するものである。   The present invention relates to a server scale-out technique, and more particularly to a system, method, and program for performing server scale-out using software dependency.

一般的に、複数台のサーバで構成されるサーバシステムでは、高負荷時に負荷分散を行えるように、フロントエンド部分に負荷分散装置を置いて、負荷の少ない状態のサーバに対して優先的にトランザクションを要求する事が行われている。例えば、特許文献1(特開2005−141441号公報)では、負荷分散の対象となるサーバ群へのアクセスのアクセスログを統計処理し、処理結果に基づいてトランザクションの振り分けを行う方法が記載されている。   In general, in a server system composed of multiple servers, a load balancing device is placed in the front-end part so that load can be distributed under high load, and transactions are given priority to servers with low load. Requests are being made. For example, Patent Document 1 (Japanese Patent Application Laid-Open No. 2005-141441) describes a method of statistically processing an access log of access to a server group that is a target of load distribution and distributing transactions based on the processing result. Yes.

しかし、同特許文献1に示される方法では、トランザクションの量に応じてシステム全体の処理能力を向上させる事は難しく、システムを構成するサーバの処理能力の総和を超えるトランザクションには対応出来ないという課題がある。この課題を解決する仕組みとして、サーバのスケールアウトが知られている。   However, with the method disclosed in Patent Document 1, it is difficult to improve the processing capacity of the entire system according to the amount of transactions, and it is not possible to deal with transactions that exceed the total processing capacity of the servers constituting the system. There is. A server scale-out is known as a mechanism for solving this problem.

特開2005−141441号公報JP-A-2005-141441

一般的なスケールアウトの方式は、パフォーマンスを向上させたいサーバの複製を作成し、負荷分散装置でサーバに対するトランザクションを分散させる事で実現される。このスケールアウト方式で行われるサーバの複製は、対象となるサーバの完全コピーである。例えば、物理サーバの追加であれば、複製元のサーバにインストールされているソフトウェアを全てインストールする事で実現し、仮想サーバであれば、クローンを作成する事で実現する。負荷分散装置によってトランザクションを分散させる為に、ホスト名やIPアドレスの変更が行われるが、インストールされているソフトウェアに関しては、複製元と複製先は同一構成である。   A general scale-out method is realized by creating a copy of a server whose performance is to be improved and distributing transactions for the server with a load balancer. Server replication performed in this scale-out method is a complete copy of the target server. For example, a physical server can be added by installing all the software installed on the replication source server, and a virtual server can be realized by creating a clone. In order to distribute the transaction by the load balancer, the host name and the IP address are changed. However, regarding the installed software, the replication source and the replication destination have the same configuration.

つまり、従来のスケールアウトの方式によりサーバの台数を増やす場合、全てのソフトウェアが処理分散の対象となってしまうのである。例えば、2つのシステムが動作するサーバにおいて、一方のシステムにのみ負荷がかかっている状態でスケールアウトを行った場合、負荷がかかっているシステムは勿論の事、負荷がかかっていないシステムについても2台のコンピュータリソースを利用する事になってしまう。ここで言うシステムとは、目的を持って動作する複数のソフトウェア群を指す。   That is, when the number of servers is increased by the conventional scale-out method, all software is subject to processing distribution. For example, if a server running two systems is scaled out when only one system is loaded, not only the loaded system but also the unloaded system is 2 Computer resources will be used. The system here refers to a plurality of software groups operating with a purpose.

上記の従来のスケールアウトの方式の課題は、それぞれのシステム毎にスケールアウト用のサーバを用意しておく事で、必要機能毎のスケールアウトが可能であるが、複数台のサーバを管理する事になり、効率が悪いという問題がある。   The problem with the conventional scale-out method described above is that a scale-out server can be prepared for each system so that scale-out can be performed for each required function. There is a problem that the efficiency is low.

そこで、本発明では、従来のスケールアウトの方式の問題を解決して、その代表的な目的は、不必要なコンピュータリソースの消費を抑制し、効率的に負荷分散を行う事を可能にするサーバのスケールアウトの技術を提供することにある。   Therefore, in the present invention, a server that solves the problems of the conventional scale-out method, and its typical purpose is to suppress unnecessary consumption of computer resources and to perform load distribution efficiently. Is to provide scale-out technology.

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。   The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。   Of the inventions disclosed in the present application, the outline of typical ones will be briefly described as follows.

すなわち、前述の目的を達成するために、本発明では、ソフトウェアの依存関係を用いて自動的にサーバのスケールアウトを行う仕組みを実現する。   That is, in order to achieve the above-described object, the present invention realizes a mechanism for automatically scaling out a server using software dependency.

本発明は、複数の仮想サーバから成る仮想サーバ群を有するホストサーバと、ホストサーバの仮想サーバ群を監視する機能を有する監視サーバと、ホストサーバの仮想サーバ群のソフトウェアの依存関係を管理する機能を有する依存関係管理サーバと、ホストサーバの仮想サーバ群を管理する仮想化ソフトウェアに対して構成変更の要求を行う機能を有する構成変更サーバとで構成されるスケールアウトを行う為のシステムである。   The present invention relates to a host server having a virtual server group composed of a plurality of virtual servers, a monitoring server having a function of monitoring the virtual server group of the host server, and a function of managing the software dependency of the virtual server group of the host server. And a configuration change server having a function of requesting a configuration change to the virtualization software that manages the virtual server group of the host server.

このスケールアウトを行う為のシステムでは、高負荷の原因となった仮想サーバを監視サーバで検知し、この検知された仮想サーバのプロセスに依存するシステムを依存関係管理サーバで取得し、この取得したシステムのみを構成変更サーバでスケールアウト先の仮想サーバに移動させる事により、前述の課題を解決する。   In this scale-out system, the monitoring server detects the virtual server that caused the high load, and the dependency management server acquires the system that depends on the detected virtual server process. The above-mentioned problem is solved by moving only the system to the virtual server of the scale-out destination by the configuration change server.

また、本発明は、前記スケールアウトを行う為のシステムによる方法や、前記スケールアウトを行う為のシステムとしてコンピュータを機能させるプログラムにも適用する事ができる。   The present invention can also be applied to a method using a system for performing the scale-out and a program for causing a computer to function as the system for performing the scale-out.

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。   Among the inventions disclosed in the present application, effects obtained by typical ones will be briefly described as follows.

すなわち、本発明のスケールアウトにより、システム単位の負荷分散が可能になる為、不必要なコンピュータリソースの消費を抑制し、効率的に負荷分散を行う事が可能になる。また、スケールアウトに関わる全ての操作は、本発明のシステムが自動的に行う為、サーバ運用担当者の負担軽減に繋がる。   That is, the scale-out of the present invention makes it possible to distribute the load in units of systems, so that unnecessary computer resource consumption can be suppressed and load distribution can be performed efficiently. Moreover, since all the operations related to scale-out are automatically performed by the system of the present invention, the burden on the server operator is reduced.

本発明の一実施の形態におけるスケールアウトシステムの構成の一例を示すシステム構成図である。It is a system configuration figure showing an example of the composition of the scale-out system in one embodiment of the present invention. 図1のスケールアウトシステムにおいて、依存関係管理データベースの情報項目の一例を示す説明図である。In the scale-out system of FIG. 1, it is explanatory drawing which shows an example of the information item of a dependence relationship management database. 図1のスケールアウトシステムにおいて、高負荷発生からサーバスケールアウトが完了するまでのシステムの動作の一例を示すフローチャートである。2 is a flowchart illustrating an example of the operation of the system from the occurrence of a high load to the completion of server scale-out in the scale-out system of FIG. 1. 図1のスケールアウトシステムにおいて、スケールアウトの実現の一例を示す説明図である。It is explanatory drawing which shows an example of implementation | achievement of a scale out in the scale out system of FIG.

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiment, and the repetitive description thereof will be omitted.

<スケールアウトシステムの構成>
図1を用いて、本発明におけるスケールアウトを行う為のシステム(ここでは、スケールアウトシステムと言う)のシステム構成について説明する。図1は、本発明の一実施の形態におけるスケールアウトシステムの構成の一例を示すシステム構成図である。
<Configuration of scale-out system>
A system configuration of a system for performing scale-out in the present invention (herein referred to as a scale-out system) will be described with reference to FIG. FIG. 1 is a system configuration diagram illustrating an example of a configuration of a scale-out system according to an embodiment of the present invention.

本実施の形態におけるスケールアウトシステムは、インターネット1に繋がる負荷分散装置2と、この負荷分散装置2に繋がるホストサーバ3と、このホストサーバ3に繋がり、同一ネットワークに繋がる、監視サーバ4、依存関係管理サーバ5、および構成変更サーバ6とから構成されている。また、スケールアウトを行う為の経路として、監視サーバ4は依存関係管理サーバ5に繋がり、さらに依存関係管理サーバ5は構成変更サーバ6に繋がっている。   The scale-out system in the present embodiment includes a load distribution device 2 connected to the Internet 1, a host server 3 connected to the load distribution device 2, a monitoring server 4 connected to the host server 3 and connected to the same network, a dependency relationship It consists of a management server 5 and a configuration change server 6. As a path for performing scale-out, the monitoring server 4 is connected to the dependency management server 5, and the dependency management server 5 is connected to the configuration change server 6.

ホストサーバ3は、仮想化機能を有しており、サービスを提供する仮想サーバA7と仮想サーバB8とから成る仮想サーバ群9と、それぞれの仮想サーバA7と仮想サーバB8を複製する為の仮想サーバAテンプレート11と仮想サーバBテンプレート12とから成る仮想サーバ作成用テンプレート10とを備える。   The host server 3 has a virtualization function, and includes a virtual server group 9 including a virtual server A7 and a virtual server B8 that provide services, and a virtual server for copying the virtual server A7 and the virtual server B8. A virtual server creation template 10 including an A template 11 and a virtual server B template 12 is provided.

監視サーバ4は、仮想サーバ群9を監視する機能を有しており、仮想サーバ群9のそれぞれの仮想サーバA7と仮想サーバB8との高負荷状態などを検知している。   The monitoring server 4 has a function of monitoring the virtual server group 9 and detects a high load state of each virtual server A7 and virtual server B8 of the virtual server group 9.

依存関係管理サーバ5は、仮想サーバ群9のソフトウェアの依存関係を管理する機能を有しており、仮想サーバ群9のソフトウェアの依存関係を管理する為の依存関係管理データベース13を備える。   The dependency relationship management server 5 has a function of managing the software dependency relationship of the virtual server group 9 and includes a dependency relationship management database 13 for managing the software dependency relationship of the virtual server group 9.

構成変更サーバ6は、仮想サーバ群9を管理する仮想化ソフトウェアに対して構成変更の要求を行う機能を有しており、仮想サーバの複製を実行する仮想サーバ複製スクリプト14と、動作中のプロセス停止を実行するプロセス停止スクリプト15とを備える。   The configuration change server 6 has a function of requesting a configuration change to the virtualization software that manages the virtual server group 9, and includes a virtual server replication script 14 that performs replication of the virtual server, and an operating process A process stop script 15 for executing stop.

このスケールアウトシステムは、例えばCPUおよび各種メモリや周辺機器などのハードウェアを含むコンピュータシステムを用いて構築される。このコンピュータシステムにおいて、CPUの制御により、プログラム格納用のメモリに記憶されているプログラム形式の各種ソフトウェア(スケールアウトプログラム)を実行することで、それぞれの機能を有する、負荷分散装置2、ホストサーバ3、監視サーバ4、依存関係管理サーバ5、および構成変更サーバ6を実現する事ができる。また、仮想サーバ作成用テンプレート10や依存関係管理データベース13は、データ格納用のメモリ上に実現する事ができる。   This scale-out system is constructed using, for example, a computer system including a CPU and hardware such as various memories and peripheral devices. In this computer system, various types of software (scale-out programs) stored in a program storage memory are executed under the control of the CPU, whereby the load distribution device 2 and the host server 3 having the respective functions are executed. The monitoring server 4, the dependency relationship management server 5, and the configuration change server 6 can be realized. The virtual server creation template 10 and the dependency relationship management database 13 can be realized on a data storage memory.

このスケールアウトシステムにおいて、負荷分散装置2が繋がるインターネット1には、図示しないクライアント端末が繋がっており、このクライアント端末からのアクセスに対して、負荷分散装置2でホストサーバ3の仮想サーバ群9に対するトランザクションを分散させるスケールアウトが可能となっている。このスケールアウトにおいて、パフォーマンスを向上させたい仮想サーバの複製を作成する場合は、仮想サーバのクローンを作成する事で実現する事ができる。   In this scale-out system, a client terminal (not shown) is connected to the Internet 1 to which the load distribution apparatus 2 is connected, and the load distribution apparatus 2 handles the virtual server group 9 of the host server 3 with respect to access from this client terminal. Scale-out to distribute transactions is possible. In this scale-out, when creating a replica of a virtual server for which performance is to be improved, it can be realized by creating a clone of the virtual server.

<依存関係管理データベースの情報項目>
図2を用いて、前述した依存関係管理サーバ5に配置される依存関係管理データベース13について説明する。図2は、依存関係管理データベース13の情報項目の一例を示す説明図である。
<Information item of dependency management database>
The dependency management database 13 arranged in the above-described dependency management server 5 will be described with reference to FIG. FIG. 2 is an explanatory diagram showing an example of information items in the dependency management database 13.

本実施の形態における依存関係管理データベース13には、仮想サーバ群9のソフトウェアに関する各種情報を保持している。この依存関係管理データベース13は、情報項目として、サーバ名13(1)と、システム名13(2)と、ソフトウェア名13(3)と、プロセス名13(4)を情報として格納している。   The dependency management database 13 in the present embodiment holds various types of information related to the software of the virtual server group 9. The dependency relationship management database 13 stores server name 13 (1), system name 13 (2), software name 13 (3), and process name 13 (4) as information items.

サーバ名13(1)には、仮想サーバの名称を格納している。この例では、図1に対応して「仮想サーバA」、「仮想サーバB」が格納される。   The server name 13 (1) stores the name of the virtual server. In this example, “virtual server A” and “virtual server B” are stored corresponding to FIG.

システム名13(2)には、システムの名称を格納している。この例では、「System 01」、「System 02」、「System 03」が格納される。ここで言うシステムとは、仮想サーバ上で目的を持って動作する複数のソフトウェア群を指す。   The system name 13 (2) stores the name of the system. In this example, “System 01”, “System 02”, and “System 03” are stored. The system mentioned here refers to a plurality of software groups that operate with purpose on a virtual server.

ソフトウェア名13(3)には、ソフトウェアの名称を格納している。この例では、「Soft w」、「Soft x」、「Soft y」、「Soft z」が格納される。ここで言うソフトウェアとは、システム(複数のソフトウェア群)の中のソフトウェアを指す。   The software name 13 (3) stores the name of the software. In this example, “Soft w”, “Soft x”, “Soft y”, and “Soft z” are stored. The software mentioned here refers to software in a system (a plurality of software groups).

プロセス名13(4)には、プロセスの名称を格納している。この例では、「Proc α」、「Proc β」、「Proc γ」、「Proc Ω」が格納される。ここで言うプロセスとは、ソフトウェアによる動作を指す。   The process name 13 (4) stores the name of the process. In this example, “Proc α”, “Proc β”, “Proc γ”, and “Proc Ω” are stored. The process here refers to an operation by software.

<スケールアウトシステムの動作>
図1と図2を参照しながら、図3を用いて、本発明のスケールアウトで行われる動作について説明する。図3は、高負荷発生からサーバスケールアウトが完了するまでのシステムの動作の一例を示すフローチャートである。また、図4は、スケールアウトの実現の一例を示す説明図である。
<Operation of scale-out system>
With reference to FIGS. 1 and 2, the operation performed in the scale-out of the present invention will be described with reference to FIG. FIG. 3 is a flowchart showing an example of the operation of the system from the occurrence of a high load to the completion of server scale-out. FIG. 4 is an explanatory diagram showing an example of realizing scale-out.

本実施の形態のスケールアウトで行われる動作は、1つの仮想サーバ、例えば仮想サーバA7で高負荷な状態が発生すると、この一連の動作が開始される。   The operations performed in the scale-out according to the present embodiment are started when a high load state occurs in one virtual server, for example, virtual server A7.

まず、ステップST1において、監視サーバ4は、被監視サーバ、ここでは仮想サーバA7の高負荷状態を検知する。   First, in step ST1, the monitoring server 4 detects the high load state of the monitored server, here the virtual server A7.

そして、ステップST2において、監視サーバ4は、高負荷の原因となった仮想サーバA7のプロセス、例えばプロセス名「Proc α」を、サーバ名、ここでは「仮想サーバA」と一緒にSNMP(simple network management protocol)トラップのメッセージに入力して、依存関係管理サーバ5に対して送信する。   In step ST2, the monitoring server 4 sets the process of the virtual server A7 causing the high load, for example, the process name “Proc α” together with the server name, here “virtual server A”, to SNMP (simple network management protocol) is input to the trap message and transmitted to the dependency management server 5.

続いて、ステップST3において、依存関係管理サーバ5は、監視サーバ4から送信されたSNMPトラップを受信する。   Subsequently, in step ST <b> 3, the dependency relationship management server 5 receives the SNMP trap transmitted from the monitoring server 4.

そして、ステップST4において、SNMPトラップを受信した依存関係管理サーバ5は、SNMPトラップに入力された情報の一つである高負荷の原因となったプロセス名、ここでは「Proc α」を利用して、このプロセスが動作するシステム名を依存関係管理データベース13より検索して取得し、この対象のシステムに依存するプロセス一覧を取得する。今回の例では、「仮想サーバA」(13(1)1行目)のプロセス名「Proc α」(13(4)1行目)は、システム名「System 01」(13(2)1行目)で動作するソフトウェア名「Soft w」(13(3)1行目)のプロセスであり、システム名「System 01」(13(2)2行目)では、この他にソフトウェア名「Soft x」(13(3)2行目)が動作している為、プロセス名「Proc α」(13(4)1行目)とプロセス名「Proc β」(13(4)2行目)が一覧として取得される。   Then, in step ST4, the dependency management server 5 that has received the SNMP trap uses the name of the process that caused the high load, which is one of the information input to the SNMP trap, here “Proc α”. The system name on which this process operates is retrieved and acquired from the dependency management database 13, and a list of processes depending on the target system is acquired. In this example, the process name “Proc α” (13 (4) first line) of “virtual server A” (13 (1) first line) is the system name “System 01” (13 (2) first line). The software name “Soft w” (13 (3), the first line) that operates in the first), and the system name “System 01” (13 (2), the second line) includes the software name “Soft x”. "(13 (3) 2nd line)", the process name "Proc α" (13 (4) 1st line) and the process name "Proc β" (13 (4) 2nd line) are listed. Get as.

さらに、ステップST5において、依存関係管理サーバ5は、今度は高負荷の原因となったプロセス、ここではプロセス名「Proc α」に依存しないプロセスを依存関係管理データベース13より検索して取得し、この依存しないプロセス一覧を取得する。今回の例では、「仮想サーバA」(13(1)3行目)ではシステム名「System 02」(13(2)3行目)においてソフトウェア名「Soft y」(13(3)3行目)が動作している為、プロセス名「Proc γ」(13(4)3行目)が一覧として取得される。   Furthermore, in step ST5, the dependency management server 5 retrieves and acquires from the dependency management database 13 a process which has caused a high load, in this case, a process which does not depend on the process name “Proc α”. Get a list of independent processes. In this example, in “virtual server A” (13 (1) 3rd line), the software name “Soft y” (13 (3) 3rd line) in the system name “System 02” (13 (2) 3rd line). ) Is operating, the process name “Proc γ” (13 (4) 3rd line) is acquired as a list.

そして、ステップST6において、依存関係管理サーバ5は、SNMPトラップに入力されたもう一つの情報であるサーバ名、ここでは「仮想サーバA」を利用して、デプロイする仮想サーバのテンプレート、ここでは仮想サーバAテンプレート11を選択して、構成変更要求を構成変更サーバ6に対して送信する。このとき、構成変更要求には、データとして、ステップST4で取得したプロセス一覧(「Proc α」、「Proc β」)、ステップST5で取得したプロセス一覧(「Proc γ」)を入力する。   Then, in step ST6, the dependency management server 5 uses the server name, which is another information input to the SNMP trap, here “virtual server A”, and deploys a virtual server template, here a virtual server. The server A template 11 is selected and a configuration change request is transmitted to the configuration change server 6. At this time, the process change request (“Proc α” and “Proc β”) acquired in step ST4 and the process list acquired in step ST5 (“Proc γ”) are input to the configuration change request as data.

続いて、ステップST7において、構成変更サーバ6は、依存関係管理サーバ5から送信された構成変更要求を受信する。   Subsequently, in step ST <b> 7, the configuration change server 6 receives the configuration change request transmitted from the dependency management server 5.

そして、ステップST8において、構成変更サーバ6は、仮想サーバ複製スクリプト14を実行して、仮想サーバAテンプレート11を利用して仮想サーバA7の複製を作成する。   In step ST8, the configuration change server 6 executes the virtual server replication script 14 and creates a replica of the virtual server A7 using the virtual server A template 11.

さらに、ステップST9において、構成変更サーバ6は、受信した構成変更要求のデータにステップST5で取得したプロセス一覧(「Proc γ」)が入力されているか否か、すなわち高負荷の原因となったプロセスに依存しないプロセスがあるか否かを判断する。依存しないプロセスがある場合(Yes)はステップST10へ、依存しないプロセスがない場合(No)は、スケールアウト完了の状態へ移行する。今回の例では、高負荷の原因となったプロセス(「Proc α」)に依存しないプロセス(「Proc γ」)があるので、ステップST10へ移行する。   Furthermore, in step ST9, the configuration change server 6 determines whether or not the process list (“Proc γ”) acquired in step ST5 is input to the received configuration change request data, that is, the process that caused the high load. Determine whether there is a process that does not depend on. If there is a process that does not depend on (Yes), the process proceeds to step ST10, and if there is no process that does not depend on (No), the process proceeds to a scale-out completion state. In this example, since there is a process (“Proc γ”) that does not depend on the process (“Proc α”) that caused the high load, the process proceeds to step ST10.

そして、ステップST10では、構成変更サーバ6は、仮想サーバA7上でプロセス停止スクリプト15を実行して、ステップST5で取得したプロセス一覧、すなわち高負荷の原因となったプロセスに依存しないプロセスを全て停止させる。今回の例では、プロセス(「Proc γ」)を停止させる。   In step ST10, the configuration change server 6 executes the process stop script 15 on the virtual server A7, and stops all processes that do not depend on the process list acquired in step ST5, that is, the process causing the high load. Let In this example, the process (“Proc γ”) is stopped.

この結果、今回の例では、仮想サーバA7について、図4のようなスケールアウトが実現される。すなわち、図4に示すように、仮想サーバA(複製元)7では、プロセス(「Proc α」)とプロセス(「Proc β」)とが動作するシステム(「System 01」)が動作可能で、プロセス(「Proc γ」)が動作するシステム(「System 02」)が停止される。また、仮想サーバA(複製先)7’には、プロセス(「Proc α」)とプロセス(「Proc β」)とが動作するシステム(「System 01」)と、プロセス(「Proc γ」)が動作するシステム(「System 02」)とが複製される。   As a result, in this example, the scale-out as shown in FIG. 4 is realized for the virtual server A7. That is, as shown in FIG. 4, the virtual server A (replication source) 7 can operate a system (“System 01”) in which a process (“Proc α”) and a process (“Proc β”) operate, The system (“System 02”) on which the process (“Proc γ”) operates is stopped. The virtual server A (replication destination) 7 ′ includes a system (“System 01”) in which a process (“Proc α”) and a process (“Proc β”) operate, and a process (“Proc γ”). A working system ("System 02") is replicated.

<本実施の形態の効果>
以上説明した本実施の形態におけるスケールアウトシステムによれば、仮想サーバ群9を備えるホストサーバ3に繋がる、監視サーバ4、依存関係管理サーバ5、および構成変更サーバ6を有し、高負荷の原因となった仮想サーバのプロセスに依存するシステムのみをスケールアウト先の仮想サーバに移動させる事により、システム単位の負荷分散が可能になる為、不必要なコンピュータリソースの消費を抑制し、効率的に負荷分散を行う事が可能になる。
<Effects of the present embodiment>
According to the scale-out system in the present embodiment described above, the monitoring server 4, the dependency management server 5, and the configuration change server 6 connected to the host server 3 including the virtual server group 9 are included. By moving only the system that depends on the virtual server process to the virtual server that is the scale-out destination, it becomes possible to distribute the load on a system-by-system basis. It becomes possible to perform load balancing.

また、スケールアウトに関わる全ての操作は、本実施の形態におけるスケールアウトシステムが自動的に行う為、サーバ運用担当者の負担軽減に繋がる。   In addition, since all operations related to scale-out are automatically performed by the scale-out system according to the present embodiment, the burden on the server operator is reduced.

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。   As mentioned above, the invention made by the present inventor has been specifically described based on the embodiment. However, the present invention is not limited to the embodiment, and various modifications can be made without departing from the scope of the invention. Needless to say.

本発明のサーバのスケールアウトの技術は、ソフトウェアの依存関係を用いてサーバのスケールアウトを行う為のシステムおよび方法ならびにプログラムに利用可能である。   The server scale-out technique of the present invention can be used in a system, method, and program for performing server scale-out using software dependency.

1 インターネット
2 負荷分散装置
3 ホストサーバ
4 監視サーバ
5 依存関係管理サーバ
6 構成変更サーバ
7 仮想サーバA
8 仮想サーバB
9 仮想サーバ群
10 仮想サーバ作成用テンプレート
11 仮想サーバAテンプレート
12 仮想サーバBテンプレート
13 依存関係管理データベース
14 仮想サーバ複製スクリプト
15 プロセス停止スクリプト
DESCRIPTION OF SYMBOLS 1 Internet 2 Load balancer 3 Host server 4 Monitoring server 5 Dependency management server 6 Configuration change server 7 Virtual server A
8 Virtual server B
9 Virtual server group 10 Virtual server creation template 11 Virtual server A template 12 Virtual server B template 13 Dependency management database 14 Virtual server replication script 15 Process stop script

Claims (5)

複数の仮想サーバから成る仮想サーバ群を有するホストサーバと、
前記ホストサーバの前記仮想サーバ群を監視する機能を有する監視サーバと、
前記ホストサーバの前記仮想サーバ群のソフトウェアの依存関係を管理する機能を有する依存関係管理サーバと、
前記ホストサーバの前記仮想サーバ群を管理する仮想化ソフトウェアに対して構成変更の要求を行う機能を有する構成変更サーバとを有し、
高負荷の原因となった仮想サーバを前記監視サーバで検知し、この検知された仮想サーバのプロセスに依存するシステムを前記依存関係管理サーバで取得し、この取得したシステムのみを前記構成変更サーバでスケールアウト先の仮想サーバに移動させることを特徴とするスケールアウトシステム。
A host server having a virtual server group composed of a plurality of virtual servers;
A monitoring server having a function of monitoring the virtual server group of the host server;
A dependency management server having a function of managing software dependency of the virtual server group of the host server;
A configuration change server having a function of requesting a configuration change to virtualization software that manages the virtual server group of the host server;
The monitoring server detects a virtual server that has caused a high load, acquires a system that depends on the detected virtual server process with the dependency management server, and uses the configuration change server to acquire only the acquired system. A scale-out system, wherein the scale-out system is moved to a scale-out destination virtual server.
請求項1記載のスケールアウトシステムにおいて、
前記依存関係管理サーバは、前記高負荷の原因となった仮想サーバと、この仮想サーバのプロセスに依存するシステムとを関連付けるために、前記仮想サーバの仮想サーバ名と、前記仮想サーバで動作する複数のソフトウェア群から成るシステムのシステム名と、前記システムで動作するソフトウェアによるプロセスのプロセス名とから成る情報を格納する依存関係管理データベースを有し、
前記構成変更サーバは、前記仮想サーバの複製を実行する仮想サーバ複製スクリプトと、動作中のプロセス停止を実行するプロセス停止スクリプトとを有し、
前記ホストサーバは、前記仮想サーバ群の各仮想サーバを複製する為の仮想サーバ作成用のテンプレートを有することを特徴とするスケールアウトシステム。
The scale-out system according to claim 1, wherein
The dependency management server includes a virtual server name of the virtual server and a plurality of servers operating on the virtual server in order to associate the virtual server causing the high load with a system dependent on the process of the virtual server. A dependency management database for storing information consisting of the system name of the system consisting of the software group and the process name of the process by the software operating in the system,
The configuration change server has a virtual server replication script for executing replication of the virtual server, and a process stop script for executing process stop during operation.
The scale-out system, wherein the host server has a template for creating a virtual server for duplicating each virtual server of the virtual server group.
請求項2記載のスケールアウトシステムにおいて、
前記監視サーバは、前記仮想サーバの高負荷状態を検知し、この高負荷の原因となった仮想サーバのプロセス名をサーバ名と一緒にSNMPトラップのメッセージに入力して、前記依存関係管理サーバに対して送信し、
前記依存関係管理サーバは、前記監視サーバから送信されたSNMPトラップを受信し、このSNMPトラップに入力された高負荷の原因となったプロセス名を利用して、このプロセスが動作するシステム名を前記依存関係管理データベースより検索して取得し、このシステムに依存するプロセス一覧を取得し、さらに、前記高負荷の原因となったプロセスに依存しないプロセスを前記依存関係管理データベースより検索して取得し、この依存しないプロセス一覧を取得し、そして、前記SNMPトラップに入力されたサーバ名を利用して、デプロイする仮想サーバの前記テンプレートを選択して、前記依存するプロセス一覧と前記依存しないプロセス一覧を構成変更要求に入力して前記構成変更サーバに対して送信し、
前記構成変更サーバは、前記依存関係管理サーバから送信された構成変更要求を受信し、前記仮想サーバ複製スクリプトを実行して前記仮想サーバの前記テンプレートを利用して前記仮想サーバの複製を作成し、さらに、前記受信した構成変更要求のデータに前記依存しないプロセスがあるか否かを判断し、依存しないプロセスがある場合は前記仮想サーバ上で前記プロセス停止スクリプトを実行して、前記依存しないプロセス一覧のプロセスを全て停止させてスケールアウトを完了させ、依存しないプロセスがない場合はスケールアウトを完了させることを特徴とするスケールアウトシステム。
The scale-out system according to claim 2,
The monitoring server detects a high load state of the virtual server, inputs the process name of the virtual server causing the high load into an SNMP trap message together with the server name, and sends it to the dependency management server. Send to
The dependency management server receives the SNMP trap transmitted from the monitoring server, and uses the process name that caused the high load input to the SNMP trap to determine the name of the system in which this process operates. Retrieve from the dependency management database, obtain a list of processes that depend on this system, and further retrieve from the dependency management database a process that does not depend on the process that caused the high load, The independent process list is acquired, and the template of the virtual server to be deployed is selected using the server name input to the SNMP trap, and the dependent process list and the independent process list are configured. Enter the change request and send it to the configuration change server,
The configuration change server receives the configuration change request transmitted from the dependency management server, executes the virtual server replication script to create a replica of the virtual server using the template of the virtual server, Further, it is determined whether or not there is an independent process in the received configuration change request data. If there is an independent process, the process stop script is executed on the virtual server, and the independent process list is executed. The scale-out system is characterized in that the scale-out is completed by stopping all of the processes, and the scale-out is completed when there is no independent process.
複数の仮想サーバから成る仮想サーバ群を有するホストサーバと、
前記ホストサーバの前記仮想サーバ群を監視する機能を有する監視サーバと、
前記ホストサーバの前記仮想サーバ群のソフトウェアの依存関係を管理する機能を有する依存関係管理サーバと、
前記ホストサーバの前記仮想サーバ群を管理する仮想化ソフトウェアに対して構成変更の要求を行う機能を有する構成変更サーバとを有するスケールアウトシステムによるスケールアウト方法であって、
前記依存関係管理サーバは、高負荷の原因となった仮想サーバと、この仮想サーバのプロセスに依存するシステムとを関連付けるために、前記仮想サーバの仮想サーバ名と、前記仮想サーバで動作する複数のソフトウェア群から成るシステムのシステム名と、前記システムで動作するソフトウェアによるプロセスのプロセス名とから成る情報を格納する依存関係管理データベースを有し、
前記構成変更サーバは、前記仮想サーバの複製を実行する仮想サーバ複製スクリプトと、動作中のプロセス停止を実行するプロセス停止スクリプトとを有し、
前記ホストサーバは、前記仮想サーバ群の各仮想サーバを複製する為の仮想サーバ作成用のテンプレートを有し、
前記監視サーバにより、前記仮想サーバの高負荷状態を検知し、この高負荷の原因となった仮想サーバのプロセス名をサーバ名と一緒にSNMPトラップのメッセージに入力して、前記依存関係管理サーバに対して送信するステップと、
前記依存関係管理サーバにより、前記監視サーバから送信されたSNMPトラップを受信し、このSNMPトラップに入力された高負荷の原因となったプロセス名を利用して、このプロセスが動作するシステム名を前記依存関係管理データベースより検索して取得し、このシステムに依存するプロセス一覧を取得し、さらに、前記高負荷の原因となったプロセスに依存しないプロセスを前記依存関係管理データベースより検索して取得し、この依存しないプロセス一覧を取得し、そして、前記SNMPトラップに入力されたサーバ名を利用して、デプロイする仮想サーバの前記テンプレートを選択して、前記依存するプロセス一覧と前記依存しないプロセス一覧を構成変更要求に入力して前記構成変更サーバに対して送信するステップと、
前記構成変更サーバにより、前記依存関係管理サーバから送信された構成変更要求を受信し、前記仮想サーバ複製スクリプトを実行して前記仮想サーバの前記テンプレートを利用して前記仮想サーバの複製を作成し、さらに、前記受信した構成変更要求のデータに前記依存しないプロセスがあるか否かを判断し、依存しないプロセスがある場合は前記仮想サーバ上で前記プロセス停止スクリプトを実行して、前記依存しないプロセス一覧のプロセスを全て停止させてスケールアウトを完了させ、依存しないプロセスがない場合はスケールアウトを完了させるステップとを有することを特徴とするスケールアウト方法。
A host server having a virtual server group composed of a plurality of virtual servers;
A monitoring server having a function of monitoring the virtual server group of the host server;
A dependency management server having a function of managing software dependency of the virtual server group of the host server;
A scale-out method by a scale-out system having a configuration change server having a function of requesting a configuration change to virtualization software that manages the virtual server group of the host server,
The dependency management server associates a virtual server that causes a high load with a system that depends on a process of the virtual server, and a virtual server name of the virtual server and a plurality of servers that operate on the virtual server. A dependency management database that stores information including a system name of a system composed of software groups and a process name of a process by software operating in the system;
The configuration change server has a virtual server replication script for executing replication of the virtual server, and a process stop script for executing process stop during operation.
The host server has a template for creating a virtual server for duplicating each virtual server of the virtual server group,
The monitoring server detects a high load state of the virtual server, and inputs the process name of the virtual server that has caused the high load in an SNMP trap message together with the server name to the dependency management server. Sending to the
The dependency management server receives the SNMP trap transmitted from the monitoring server, and uses the process name that caused the high load input in the SNMP trap to determine the system name on which the process operates. Retrieve from the dependency management database, obtain a list of processes that depend on this system, and further retrieve from the dependency management database a process that does not depend on the process that caused the high load, The independent process list is acquired, and the template of the virtual server to be deployed is selected using the server name input to the SNMP trap, and the dependent process list and the independent process list are configured. Inputting into a change request and transmitting to the configuration change server;
The configuration change server receives a configuration change request transmitted from the dependency management server, executes the virtual server replication script to create a replica of the virtual server using the template of the virtual server, Further, it is determined whether or not there is an independent process in the received configuration change request data. If there is an independent process, the process stop script is executed on the virtual server, and the independent process list is executed. A scale-out method, comprising the steps of: stopping all the processes of the process to complete the scale-out, and completing the scale-out when there is no independent process.
複数の仮想サーバから成る仮想サーバ群を有するホストサーバと、
前記ホストサーバの前記仮想サーバ群を監視する機能を有する監視サーバと、
前記ホストサーバの前記仮想サーバ群のソフトウェアの依存関係を管理する機能を有する依存関係管理サーバと、
前記ホストサーバの前記仮想サーバ群を管理する仮想化ソフトウェアに対して構成変更の要求を行う機能を有する構成変更サーバとを有するスケールアウトシステムとしてコンピュータを機能させるスケールアウトプログラムであって、
前記依存関係管理サーバは、高負荷の原因となった仮想サーバと、この仮想サーバのプロセスに依存するシステムとを関連付けるために、前記仮想サーバの仮想サーバ名と、前記仮想サーバで動作する複数のソフトウェア群から成るシステムのシステム名と、前記システムで動作するソフトウェアによるプロセスのプロセス名とから成る情報を格納する依存関係管理データベースを有し、
前記構成変更サーバは、前記仮想サーバの複製を実行する仮想サーバ複製スクリプトと、動作中のプロセス停止を実行するプロセス停止スクリプトとを有し、
前記ホストサーバは、前記仮想サーバ群の各仮想サーバを複製する為の仮想サーバ作成用のテンプレートを有し、
前記監視サーバにより、前記仮想サーバの高負荷状態を検知し、この高負荷の原因となった仮想サーバのプロセス名をサーバ名と一緒にSNMPトラップのメッセージに入力して、前記依存関係管理サーバに対して送信するステップと、
前記依存関係管理サーバにより、前記監視サーバから送信されたSNMPトラップを受信し、このSNMPトラップに入力された高負荷の原因となったプロセス名を利用して、このプロセスが動作するシステム名を前記依存関係管理データベースより検索して取得し、このシステムに依存するプロセス一覧を取得し、さらに、前記高負荷の原因となったプロセスに依存しないプロセスを前記依存関係管理データベースより検索して取得し、この依存しないプロセス一覧を取得し、そして、前記SNMPトラップに入力されたサーバ名を利用して、デプロイする仮想サーバの前記テンプレートを選択して、前記依存するプロセス一覧と前記依存しないプロセス一覧を構成変更要求に入力して前記構成変更サーバに対して送信するステップと、
前記構成変更サーバにより、前記依存関係管理サーバから送信された構成変更要求を受信し、前記仮想サーバ複製スクリプトを実行して前記仮想サーバの前記テンプレートを利用して前記仮想サーバの複製を作成し、さらに、前記受信した構成変更要求のデータに前記依存しないプロセスがあるか否かを判断し、依存しないプロセスがある場合は前記仮想サーバ上で前記プロセス停止スクリプトを実行して、前記依存しないプロセス一覧のプロセスを全て停止させてスケールアウトを完了させ、依存しないプロセスがない場合はスケールアウトを完了させるステップとを実行させることを特徴とするスケールアウトプログラム。
A host server having a virtual server group composed of a plurality of virtual servers;
A monitoring server having a function of monitoring the virtual server group of the host server;
A dependency management server having a function of managing software dependency of the virtual server group of the host server;
A scale-out program for causing a computer to function as a scale-out system having a configuration change server having a function of requesting a configuration change to virtualization software that manages the virtual server group of the host server,
The dependency management server associates a virtual server that causes a high load with a system that depends on a process of the virtual server, and a virtual server name of the virtual server and a plurality of servers that operate on the virtual server. A dependency management database that stores information including a system name of a system composed of software groups and a process name of a process by software operating in the system;
The configuration change server has a virtual server replication script for executing replication of the virtual server, and a process stop script for executing process stop during operation.
The host server has a template for creating a virtual server for duplicating each virtual server of the virtual server group,
The monitoring server detects a high load state of the virtual server, and inputs the process name of the virtual server that has caused the high load in an SNMP trap message together with the server name to the dependency management server. Sending to the
The dependency management server receives the SNMP trap transmitted from the monitoring server, and uses the process name that caused the high load input in the SNMP trap to determine the system name on which the process operates. Retrieve from the dependency management database, obtain a list of processes that depend on this system, and further retrieve from the dependency management database a process that does not depend on the process that caused the high load, The independent process list is acquired, and the template of the virtual server to be deployed is selected using the server name input to the SNMP trap, and the dependent process list and the independent process list are configured. Inputting into a change request and transmitting to the configuration change server;
The configuration change server receives a configuration change request transmitted from the dependency management server, executes the virtual server replication script to create a replica of the virtual server using the template of the virtual server, Further, it is determined whether or not there is an independent process in the received configuration change request data. If there is an independent process, the process stop script is executed on the virtual server, and the independent process list is executed. A scale-out program, wherein the process is stopped to complete the scale-out, and if there is no independent process, the step of completing the scale-out is executed.
JP2010127083A 2010-06-02 2010-06-02 Scale-out system and method and program Expired - Fee Related JP5530810B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010127083A JP5530810B2 (en) 2010-06-02 2010-06-02 Scale-out system and method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010127083A JP5530810B2 (en) 2010-06-02 2010-06-02 Scale-out system and method and program

Publications (2)

Publication Number Publication Date
JP2011253371A true JP2011253371A (en) 2011-12-15
JP5530810B2 JP5530810B2 (en) 2014-06-25

Family

ID=45417257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010127083A Expired - Fee Related JP5530810B2 (en) 2010-06-02 2010-06-02 Scale-out system and method and program

Country Status (1)

Country Link
JP (1) JP5530810B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015194810A (en) * 2014-03-31 2015-11-05 富士通株式会社 Scale-out method, system, information processor, management device, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09231180A (en) * 1995-12-22 1997-09-05 Hitachi Ltd Server dividing method
JP2005025756A (en) * 2003-06-30 2005-01-27 Microsoft Corp Network load balancing using host state information
JP2008299527A (en) * 2007-05-30 2008-12-11 Hitachi Software Eng Co Ltd Grid computing system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09231180A (en) * 1995-12-22 1997-09-05 Hitachi Ltd Server dividing method
JP2005025756A (en) * 2003-06-30 2005-01-27 Microsoft Corp Network load balancing using host state information
JP2008299527A (en) * 2007-05-30 2008-12-11 Hitachi Software Eng Co Ltd Grid computing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015194810A (en) * 2014-03-31 2015-11-05 富士通株式会社 Scale-out method, system, information processor, management device, and program

Also Published As

Publication number Publication date
JP5530810B2 (en) 2014-06-25

Similar Documents

Publication Publication Date Title
US11507364B2 (en) Cloud services release orchestration with a reusable deployment pipeline
US10162661B2 (en) Interdependent virtual machine management
US20190377604A1 (en) Scalable function as a service platform
US10491704B2 (en) Automatic provisioning of cloud services
US7996525B2 (en) Systems and methods for dynamically provisioning cloud computing resources
US8656387B2 (en) Method and system for workload distributing and processing across a network of replicated virtual machines
CN110383764B (en) System and method for processing events using historical data in a serverless system
CN109218356B (en) Method and apparatus for managing stateful applications on a server
CN108933829A (en) A kind of load-balancing method and device
US7925785B2 (en) On-demand capacity management
US9852220B1 (en) Distributed workflow management system
US8671306B2 (en) Scaling out a messaging system
US10642585B1 (en) Enhancing API service schemes
US20200341812A1 (en) Aggregated virtualized compute accelerators
Mohamed et al. MidCloud: an agent‐based middleware for effective utilization of replicated Cloud services
RU2696299C2 (en) Control when initiating elementary tasks on server platform
JP5530810B2 (en) Scale-out system and method and program
US8433824B2 (en) Thread timeout coordination method and system
US9537742B2 (en) Automatic adjustment of application launch endpoints
CN108984105B (en) Method and device for distributing replication tasks in network storage device
CN117009063A (en) Task execution method and device
US10467079B2 (en) Information processing device, information processing method, and non-transitory computer-readable storage medium
Liu et al. Improving resource utilization of a cloud-based testing platform for android applications
Dantas et al. Green LAC: Resource-Aware Dynamic Load Balancer for Serverless Edge Computing Platforms
WO2015167320A1 (en) A system and method for integrated backup solution in virtualization environments

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20111111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140421

R150 Certificate of patent or registration of utility model

Ref document number: 5530810

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees