JP2004302937A - プログラム配置方法及びその実施システム並びにその処理プログラム - Google Patents
プログラム配置方法及びその実施システム並びにその処理プログラム Download PDFInfo
- Publication number
- JP2004302937A JP2004302937A JP2003095775A JP2003095775A JP2004302937A JP 2004302937 A JP2004302937 A JP 2004302937A JP 2003095775 A JP2003095775 A JP 2003095775A JP 2003095775 A JP2003095775 A JP 2003095775A JP 2004302937 A JP2004302937 A JP 2004302937A
- Authority
- JP
- Japan
- Prior art keywords
- resource
- management information
- business
- configuration management
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 145
- 238000013507 mapping Methods 0.000 title abstract 2
- 230000005856 abnormality Effects 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims description 271
- 230000008569 process Effects 0.000 claims description 133
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 105
- 238000003860 storage Methods 0.000 description 77
- 238000012544 monitoring process Methods 0.000 description 21
- 230000008859 change Effects 0.000 description 18
- 238000012790 confirmation Methods 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000010485 coping Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
【解決手段】プログラムをその稼働条件に適したリソースへ配置するプログラム配置方法において、各リソースの性能や容量に関する状態を示す管理情報を収集して管理するステップと、前記収集された管理情報を参照することにより各リソースの構成管理情報を維持管理するステップと、各業務アプリケーションの使用するリソースの識別情報を含む構成管理情報を参照して、その識別情報で識別されるリソースの構成管理情報を各リソースの構成管理情報の中から読み出すことにより、当該業務アプリケーションの構成管理情報と前記検索されたリソースの構成管理情報とを関連付けた業務アプリケーション情報を生成するステップと、前記業務アプリケーション情報中のリソースの構成管理情報が、対応する業務アプリケーションでのリソース異常を検出する為のルールに該当する場合に、当該業務アプリケーションでリソース異常が発生していることを示す情報を出力するステップとを有するものである。
【選択図】 図1
Description
【発明の属する技術分野】
本発明はプログラムをその稼働条件に適したリソースへ配置するプログラム配置技術に関するものである。
【0002】
【従来の技術】
従来、各種業務の処理を行う業務アプリケーションプログラム(業務プログラムともいう、以下APと略す)は複数のサーバ処理装置で実行して、その業務サービスをクライアント処理装置へ提供する場合、種々のCPU性能やメモリ容量を持つ各種サーバ処理装置やストレージ容量の異なる各種ストレージ装置等のリソースに、業務APやその処理で用いられるデータを配置して業務APを実行している。
【0003】
また前記業務APを実行しているサーバ処理装置やストレージ装置の稼働状況に応じ、例えばあるサーバのCPU使用率が高くなった場合やストレージ装置の残容量が少なくなった場合等の所定の運用定義に従って、業務APを実行するサーバ処理装置やデータを格納するストレージ装置を変更することも行われている。
【0004】
【発明が解決しようとする課題】
前記従来技術では、各種業務APを実行するサーバの性能・容量の監視、ストレージ装置の性能・容量の監視、或いは複数のサーバから成るクラスタの監視等を行い、その監視結果に応じて業務APを配置し直して業務サービスを提供する様にしているが、各々の監視機能は独立に稼働しており、また実行中の業務とは無関係に監視が行われていた為、それらの監視結果に応じて各業務APに適した配置を行うことができないという問題があった。
【0005】
例えば、あるサーバのCPU使用率やストレージの残容量が所定の値になった場合、ある業務APにとってその値は通常の状態であっても、他の業務APにとっては異常な状態という可能性があるが、従来技術では業務APとは無関係に監視を行っている為、負荷が上昇した場合に、その業務APに必要の無い再配置が行われたり、その業務APに必要な再配置が行われなかったりすることがあった。
【0006】
本発明の目的は上記問題を解決し、各業務アプリケーションの稼働条件に合わせてリソースの管理を行うことが可能な技術を提供することにある。
【0007】
【課題を解決するための手段】
本発明は、プログラムをその稼働条件に適したリソースへ配置するプログラム配置システムにおいて、業務アプリケーションの構成管理情報とリソースの構成管理情報とを関連付けた業務アプリケーション情報を生成して、業務アプリケーション単位で使用リソースを管理するものである。
【0008】
本発明のプログラム配置システムでは、各業務APの稼働状況、稼働条件及び稼働履歴を格納する為の構成管理情報を生成しておき、各業務APの実行時にそれらの管理情報を収集して前記業務APの構成管理情報の内容を維持管理する処理を行う。
【0009】
また、各リソースの性能や容量に関する状態を格納する為の構成管理情報を生成しておき、各リソースの稼働時にそれらの管理情報を収集して前記リソースの構成管理情報の内容を維持管理する処理を行う。
【0010】
前記業務APの構成管理情報から、各業務APの使用するリソースの識別情報を読み出し、その識別情報で識別されるリソースの構成管理情報を各リソースの構成管理情報の中から読み出すことにより、当該業務APの構成管理情報と前記検索されたリソースの構成管理情報とを関連付けた業務AP情報を生成する。
【0011】
次に各業務APの状態を判定する為の業務AP毎のポリシー管理ルールを参照し、前記業務AP情報中のリソースの構成管理情報が、対応する業務APにおけるリソース異常を検出する為のルールに該当するかどうかを判定し、その業務APにとってのリソース異常が生じていると判定された場合には、当該業務APでリソース異常が発生していることを示す情報を出力する。
【0012】
また本発明では、業務APを起動する場合や、業務APの稼働中に前記の様にしてある業務APでリソース異常が検出された場合には、その業務APの稼働条件に適したリソースを各リソースの構成管理情報から検索し、検索されたリソースにその業務APを配置または移動して業務処理を実行させる実行制御によりクラスタリングを行う。その際、その業務処理で用いられるデータへのアクセスパスも同時に制御し、配置または移動されたリソースでそのデータへのアクセスが行える様にする。
【0013】
本発明では、クラスタリングとデータへのアクセスパスを、それぞれ「クラスタ管理プログラム」と「データパス管理プログラム」という用語を使用して表現している。「クラスタ管理プログラム」とは、業務APを安定稼働させる為、複数台のコンピュータ上で稼働するプログラムであり、業務APの状態監視や起動・終了を管理するプログラムである。また「データパス管理プログラム」とは、サーバ上で稼働する業務APが、業務データを参照・追加・変更・削除する為に、コンピュータとストレージ又はコンピュータとネットワークとストレージ間の通信路を管理するプログラムである。データパス管理プログラムは、通信路の確立や終了の管理と、通信路の状態の監視、及び通信路のルーティングを管理する。本発明では、業務APを稼働させる為に、「クラスタ管理プログラム」と「データパス管理プログラム」を使用して、業務APと業務APが使用する業務データを制御する。「クラスタ管理プログラム」と「データパス管理プログラム」の動作説明の一例を図53に示す。
【0014】
更に本発明では、各リソースが実際に設置されている領域をプライベートドメイン、仮想的にリソースが設置される領域をパブリックドメインとし、複数のプライベートドメインに設置された各リソースの構成管理情報を参照して所定時間稼働していない等の余剰リソースが存在しているかどうかを調べ、余剰リソースが存在している場合には、その構成管理情報をプライベートドメインからパブリックドメインへ提供することにより、リソースが仮想的にパブリックドメインへ移動したものとして管理し、前記業務APの起動時やリソース異常検出時にその業務APの稼働条件に合うリソースが見つからない場合には、前記パブリックドメインからその稼働条件に合う余剰リソースの構成管理情報を当該プライベートドメインへ貸し出すことにより、あるプライベートドメイン内に設置されている余剰リソースを他のプライベートドメインから利用可能とする。
【0015】
本発明で使用する「プライベートドメイン」と「パブリックドメイン」の用語を説明する。「プライベートドメイン」とは、複数のサーバやストレージがネットワークで接続されており、リソースを管理する管理者が同じであるとか、同じ場所にリソースを配信しているとかの要因により分類される論理的な単位のことを言う。例えば、複数社のリソースが設置されているコンピュータセンターにおいては、A社用のリソースを一つのプライベートドメインとして管理でき、B社用のリソースは別のプライベートドメインとして管理できる。また一つの会社においては、C事業所のリソースを一つのプライベートドメインとして管理でき、D事業所のリソースは別のプライベートドメインとして管理できる。これに対して「パブリックドメイン」とは、仮想的なコンピュータシステムのことであり、プライベートドメインとの間で余剰リソースの受け渡しを仮想的に行う。例えば、E社の本社にリソースが豊富に存在する場合、本社はパブリックドメイン及びプライベートドメインの両方を設置でき、余剰リソースをC事業所やD事業所に貸し出すことができる。
【0016】
また本発明では、前記業務APでのリソース異常を検出する為のルールや、前記余剰リソースを検出する為のルールを含むポリシー管理ルールを一元管理し、それらのルールが変更された場合にはその変更されたルールを各プライベートドメインへ配布してポリシーを統合管理する。
【0017】
前記の様に本発明では、業務AP情報で業務APの使用リソースを関連付けることにより、業務AP単位に使用するリソース毎の管理を行うので、業務AP毎のリソース異常の検知等の当該業務に適したリソースの管理、各業務の稼働条件に適した実行制御や余剰リソースの提供、及びそれらを行う為のポリシー管理ルールの統合管理を行うことができる。
【0018】
以上の様に本発明のプログラム配置システムによれば、業務アプリケーションの構成管理情報とリソースの構成管理情報とを関連付けた業務アプリケーション情報を生成して、業務アプリケーション単位で使用リソースを管理するので、各業務アプリケーションの稼働条件に合わせてリソースの管理を行うことが可能である。
【0019】
【発明の実施の形態】
以下に業務APをその稼働条件に適したリソースへ配置する一実施形態のプログラム配置システムについて説明する。
【0020】
図1は本実施形態のプログラム配置システムの概要を示す図である。図1に示す様に本実施形態のプログラム配置システムは、複数のプライベートドメイン2とパブリックドメイン1から構成されており、これらのドメインは、ネットワーク3により接続されている。
【0021】
本実施形態では、顧客が業務を運用しているドメインをプライベートドメイン2とする。プライベートドメイン2は、実際の業務を実行する複数のサーバを表すリアル業務サーバ群10と、ストレージ筐体を複数持つことが可能で、実際の業務で用いられるデータを格納するリアルストレージ13と、プライベートドメイン内の管理を行うプライベートドメイン管理サーバ11と、各業務AP及びリソースの構成管理情報を格納するプライベートドメイン構成情報12とを備えている。
【0022】
プライベートドメイン管理サーバ11は、リアル業務サーバ群10とリアルストレージ13を管理して、それらの構成情報及び状態情報をプライベートドメイン構成情報12として管理する。
【0023】
パブリックドメイン1は、パブリックドメイン管理サーバ21により管理され、仮想業務サーバ群20、仮想ストレージ23、パブリックドメイン構成情報22から構成する。パブリックドメイン構成情報22は、プライベートドメイン構成情報12から、プライベートドメイン2で余剰となったリアル業務サーバ群10やリアルストレージ13を一時的または恒久的に借り受けた場合に管理される構成管理情報である。パブリックドメイン構成情報22は、借り受けたリアル業務サーバ群10やリアルストレージ13を返却する場合に、プライベートドメイン構成情報12に対して行うものとする。つまり、仮想業務サーバ群20の実体はリアル業務サーバ群10に対応し、仮想ストレージ23の実体はリアルストレージ13に対応しているものとする。
【0024】
任意のプライベートドメイン2でリソースが不足した場合は、パブリックドメイン1からリソースを借り受けるものとし、また、任意のプライベートドメイン2はパブリックドメイン1を代行することもできるものとする。
【0025】
図2は本実施形態のプログラム配置システムの機能階層を示す図である。図2に示す様に本実施形態のパブリックドメイン管理サーバ21は、運用監視処理部30と、構成管理処理部31と、ポリシー管理処理部32と、空間スケジューラ34とを有している。
【0026】
運用監視処理部30は、パブリックドメイン1内の他の機能コンポーネントである構成管理処理部31〜空間スケジューラ34の状態を監視する処理部である。構成管理処理部31は、余剰リソースを検出する為のルールに該当するリソースの構成管理情報をプライベートドメイン2側の構成管理処理部41から受信し、パブリックドメイン1中の仮想リソース38の構成管理情報として維持管理する処理部である。
【0027】
ポリシー管理処理部32は、パブリックドメイン1内のポリシー管理ルールを管理する処理部である。空間スケジューラ34は、業務AP48の稼働条件を満たす構成管理情報を持つリソースが見つからない場合に送信されたリソースの提供要求をプライベートドメイン2側の空間スケジューラ44から受信し、前記維持管理している仮想リソースの構成管理情報の内で業務AP48の稼働条件を満たす構成管理情報を送信する処理部である。
【0028】
パブリックドメイン管理サーバ21を運用監視処理部30、構成管理処理部31、ポリシー管理処理部32及び空間スケジューラ34として機能させる為のプログラムは、CD−ROM等の記録媒体に記録され磁気ディスク等に格納された後、メモリにロードされて実行されるものとする。なお前記プログラムを記録する記録媒体はCD−ROM以外の他の記録媒体でも良い。また前記プログラムを当該記録媒体から情報処理装置にインストールして使用しても良いし、ネットワークを通じて当該記録媒体にアクセスして前記プログラムを使用するものとしても良い。
【0029】
プライベートドメイン管理サーバ11は、運用監視処理部40と、構成管理処理部41と、ポリシー管理処理部42と、配布管理処理部43と、空間スケジューラ44と、実行管理処理部45と、クラスタ/データパス管理処理部46と、性能・容量管理処理部47とを有している。
【0030】
運用監視処理部40は、プライベートドメイン2内の他の機能コンポーネントである構成管理処理部41〜性能・容量管理処理部47の状態を監視する処理部である。構成管理処理部41は、各処理部で収集された管理情報を参照することにより各リソースの構成管理情報を維持管理し、各業務AP48の使用するリソースの識別情報を含む構成管理情報を参照して、その識別情報で識別されるリソースの構成管理情報を各リソースの構成管理情報の中から読み出すことにより、業務AP48の構成管理情報と前記検索されたリソースの構成管理情報とを関連付けた業務AP情報を生成し、前記業務AP情報中のリソースの構成管理情報が、対応する業務AP48でのリソース異常を検出する為のルールに該当する場合に、業務AP48でリソース異常が発生していることを示す情報を出力する処理部である。
【0031】
ポリシー管理処理部42は、業務AP48でのリソース異常を検出する為のルール及び余剰リソースを検出する為のルールを含むポリシー管理ルールを一元管理する処理部である。配布管理処理部43は、業務AP48やDB管理システム等のプログラムを、プライベートドメイン管理サーバ11から任意のリアル業務サーバ49へ配布する処理部である。
【0032】
空間スケジューラ44は、前記予約指示の行われた業務AP48に関連付けられたリソースの構成管理情報が業務AP48の構成管理情報中の稼働条件を満たす場合に、その業務AP48を実行するリソースとして前記リソースを予約する処理部である。
【0033】
実行管理処理部45は、業務AP48の実行要求を受信して業務AP48で使用されるリソースの予約を指示し、前記指示によって予約の行われたリソースで業務AP48を起動する処理や、業務AP48を実行中のリソースに異常が検出された場合に、前記リソース異常の発生した業務AP48の構成管理情報中の稼働条件を満たす構成管理情報を持つ他のリソースを検索し、その検索されたリソースで業務AP48の処理を続行する処理を行う処理部である。
【0034】
クラスタ/データパス管理処理部46は、クラス管理プログラムの構成や状態の管理と、データパス管理プログラムが持つサーバ49とストレージ50間のデータパスの構成や状態及びデータパスの変更指示を管理する処理部である。性能・容量管理処理部47は、各サーバ49の性能やストレージ50の容量等に関する状態を示す管理情報を収集して管理する処理部である。
【0035】
プライベートドメイン管理サーバ11を運用監視処理部40、構成管理処理部41、ポリシー管理処理部42、配布管理処理部43、空間スケジューラ44、実行管理処理部45、クラスタ/データパス管理処理部46及び性能・容量管理処理部47として機能させる為のプログラムは、CD−ROM等の記録媒体に記録され磁気ディスク等に格納された後、メモリにロードされて実行されるものとする。なお前記プログラムを記録する記録媒体はCD−ROM以外の他の記録媒体でも良い。また前記プログラムを当該記録媒体から情報処理装置にインストールして使用しても良いし、ネットワークを通じて当該記録媒体にアクセスして前記プログラムを使用するものとしても良い。
【0036】
図2の様にプライベートドメイン2のプライベートドメイン管理サーバ11は、運用監視処理部40、構成管理処理部41(プライベートドメイン構成情報12を管理する)、ポリシー管理処理部42、配布管理処理部43、空間スケジューラ44、実行管理処理部45、クラスタ/データパス管理処理部46、性能・容量管理処理部47を備え、複数存在できる業務AP48やサーバ49やストレージ50を維持・管理している。
【0037】
パブリックドメイン1のパブリックドメイン管理サーバ21は、運用監視処理部30、構成管理処理部31(パブリックドメイン構成情報22を管理する)、ポリシー管理処理部32、空間スケジューラ34を備え、プライベートドメイン2の余剰リソースを仮想リソース38として維持・管理している。
【0038】
性能・容量管理処理部47は、業務AP48とサーバ49とストレージ50の管理情報を収集して履歴を保存し、構成管理処理部41から管理情報を要求されたときは収集している管理情報を応答する。
【0039】
図3は本実施形態の管理及び制御される監視対象物のレイヤ構造を示す図である。図3の様に本実施形態において管理及び制御される監視対象物は、業務AP70とサーバ80とストレージ90の各レイヤから構成されているものとし、業務AP70には、Webアプリケーション71とバッチジョブ72とワークフロー73があり、サーバ80には、DB管理処理部81とクラスタ/データパス管理処理部82とOS83がある。
【0040】
図4は本実施形態の構成管理情報の構成例を示す図である。図4に示す様に本実施形態の構成管理情報には、それぞれ業務AP、サーバ及びストレージの情報がある。
【0041】
図5は本実施形態の業務APの管理情報の構成例を示す図である。図5の様に業務APの管理情報は、AP稼働状況、AP稼働条件及びAP稼働履歴を示す情報を有している。
【0042】
図6は本実施形態のAP稼働情報の構成例を示す図である。図6の様にAP稼働状況の情報は、業務AP名、業務AP実行ドメイン名、バッチ、Web AP、ワークフロー等の業務AP種別、業務AP実行サーバ名、業務AP実行ユーザ名、業務APの時刻指定の有無を示す業務AP時刻指定有無、業務AP開始予定時刻、業務AP終了予定時刻、業務AP重要度、業務AP状態を格納している。
【0043】
図7は本実施形態のAP稼働条件の構成例を示す図である。図7の様にAP稼働条件は、業務特性(定期実行ジョブ/オンライン/その他)、マシン使用形態(専用/共用)、データパス名、CPU数、メモリ量、プロセス数、スレッド数、ディスク容量、論理ホスト名、クラスタリング可否フラグ、クラスタリンググループ名、使用DB名を格納している。また、プロセス数に対応したプロセス名と、スレッド数に対応したスレッド名を格納している。
【0044】
図8は本実施形態のAP稼働履歴の構成例を示す図である。図8の様にAP稼働履歴は、AP稼働履歴時刻、CPU使用率、メモリ使用量、プロセス使用数、スレッド使用数、業務AP名、ディスク使用容量、CPU数、業務AP開始時刻、業務AP終了時刻、AP実行サーバ名、業務AP終了状態を格納している。
【0045】
図9は本実施形態のサーバ管理情報の構成例を示す図である。図9の様にサーバ管理情報は、サーバハード情報としてOS情報、DB情報、クラスタ/データパス情報を格納している。
【0046】
図10は本実施形態のサーバハード情報の構成例を示す図である。図10の様にサーバハード情報は、単一、パーテーションやブレード等のサーバ種別、論理サーバ数、余剰CPU数を格納しており、論理サーバ数に対応して、サーバ名、CPU種別、CPU数、他ドメインへのサーバ提供有無、ドメイン提供開始時刻、ドメイン提供終了時刻、OS情報を格納している。また、CPU数に対応したCPU番号とCPU状態を格納している。
【0047】
図11は本実施形態のOS情報の構成例を示す図である。図11の様にOS情報は、CPU数、OS種別、最大メモリ量、使用メモリ量、残メモリ量、最大プロセス数、使用プロセス数、残プロセス数、最大スレッド数、使用スレッド数、残スレッド数、最大ディスク容量、使用ディスク容量、サーバ名、論理ホスト数(k)、残ディスク容量、CPU使用率、使用メモリ量率、使用プロセス数率、使用スレッド数率、ユーザ名数を有し、論理ホスト数に対応した論理ホスト名と、ユーザ名数に対応したユーザ名を格納している。
【0048】
図11の残プロセス数や残スレッド数等の残数の計算式は、ポリシー管理処理部によって設定されるものとし、デフォルトの計算式は最大数−使用数=残数であり、ここで最大数及び使用数は、それぞれ前記の最大プロセス数や最大スレッド数等の数、使用プロセス数や使用スレッド数等の数である。
【0049】
図12は本実施形態のDB情報の構成例を示す図である。図12の様にDB情報は、DB数毎に、DB名、DB状態、業務AP名、データ容量、データ容量履歴を有し、データ容量履歴としてデータ容量履歴時刻、データ容量履歴使用量を格納している。
【0050】
またクラスタ/データパス管理処理部46は、クラス管理プログラムの構成や状態の管理と、データパス管理プログラムが持つサーバ49とストレージ50間のデータパスの構成や状態及びデータパスの変更指示を管理する。クラスタ/データパスの管理情報を図13に示す。
【0051】
図13は本実施形態のクラスタ/データパス情報の構成例を示す図である。図13の様にクラスタ/データパス情報は、クラスタ運用有無、クラスタソフト名、クラスタ登録業務AP数、データパス有無、データパス数を有し、クラスタ登録業務AP数に対応した、業務AP名、業務AP状態、稼働サーバ名、稼働論理ホスト名、稼働データパス名と、データパス数に対応した、データパス名、データパス状態、ストレージ名、ストレージ論理ユニット名とを格納している。
【0052】
図14は本実施形態のストレージ管理情報の構成例を示す図である。図14の様にストレージ管理情報は、ストレージ名、ストレージ容量、ストレージ論理ユニット数を有し、ストレージ論理ユニット数に対応したストレージ論理ユニット名、ストレージ論理ユニット容量、ストレージ論理ユニット使用容量、ストレージ論理ユニット残容量、ストレージの他ドメインへの提供有無、ストレージの他ドメインへの提供容量、ストレージの他ドメインへの提供開始時刻、ストレージの他ドメインへの提供終了時刻、ストレージ論理ユニットの使用履歴と、ストレージ履歴時刻、ストレージ履歴使用量とを格納している。
【0053】
本実施形態の構成管理処理部41は、性能・容量管理処理部47とクラスタ/データパス管理処理部46が収集した管理情報を参照することにより構成情報を維持管理し、またプライベートドメイン2の他の機能コンポーネントからの管理情報の参照や更新の要求を受付ける。特に空間スケジューラ44が余剰と判断したリソースの構成管理情報を、パブリックドメイン1の構成管理処理部31へ一時的又は恒久的に提供する。
【0054】
配布管理処理部43は、業務AP70やDB管理処理部81等のプログラムを、プライベートドメイン管理サーバ11から任意のリアル業務サーバへ配布する処理を行う。
【0055】
空間スケジューラ44は、構成管理処理部41を通して、業務APのスケジュールやサーバ49やストレージ50の運用状態を監視して、余剰となったリソースが発生した場合は、その旨を構成管理処理部41へ通知する処理を行う。
【0056】
実行管理処理部45は、業務AP70の実行や終了を管理し、図8の業務AP開始時刻258や業務AP終了時刻259の管理情報は、実行管理処理部45により構成管理処理部41へ通知される。
【0057】
ポリシー管理処理部42は、構成管理処理部41や性能・容量管理処理部47やクラスタ/データパス管理処理部46や空間スケジューラ44の動作基準を設定及び変更する機能を持ち、構成管理処理部41が余剰となったリソースをパブリックドメイン1の構成管理処理部31へ提供する場合に該当するリソースが構成管理処理部31からの参照権限を許可されているかを判断する為のアクセスコントロールリスト(ACL)を持つ。
【0058】
性能・容量管理処理部47では、図11の残メモリ量354や残プロセス数357や残スレッド数360や残ディスク容量365を算出する為の計算式を変更できるものとする。例えば、残メモリ量354のデフォルト計算式は、(残メモリ量354)=(最大メモリ量352)―(使用メモリ量353)であるが、ポリシー管理により使用メモリ量353に安全係数αを設定すると、(残メモリ量354)=(最大メモリ量352)―(使用メモリ量353)×(安全係数α)の様に、残メモリ量を変更することができる。また空間スケジューラ44も同様に、安全係数を加味することにより余剰リソースの判断を変更できるものとする。
【0059】
クラスタ/データパス管理処理部46については、時間帯により図6の業務AP重要度228を変更することによりクラスタリングさせる業務AP70の選択を変更したり、クラスタリング先のサーバを任意のリソースの残量により変更できるものとする。
また運用監視処理部40は、プライベートドメイン2の他の機能コンポーネントの状態を監視する処理を行う。
【0060】
一方、パブリックドメイン1は、運用監視処理部30、構成管理処理部31(パブリックドメイン構成情報22を管理する)、ポリシー管理処理部32、空間スケジューラ34から構成され、構成管理を通して仮想リソース38を維持、管理する。
【0061】
構成管理処理部31は、一つ又は複数のプライベートドメイン2の構成管理処理部41から提供されたリソースを仮想リソース38として維持管理する。あるプライベートドメイン2の構成管理処理部41からの借用期限のきたリソースの通知や空間スケジューラ34からの使用が終了した旨の通知を受け、そのリソースを提供元のプライベートドメイン2の構成管理処理部41へ返却する。
【0062】
空間スケジューラ34は、構成管理処理部31に存在する仮想リソース38を、その借用期限を考慮して維持管理し、リソースの提供要求を受付けると、その要求条件に合致した仮想リソースを提供する。また、使用期限のきた仮想リソースを構成管理処理部31へ通知する。
【0063】
ポリシー管理処理部32は、空間スケジューラ34の動作基準を設定及び変更する機能を持ち、空間スケジューラ34が、複数のプライベートドメイン2から仮想リソースの提供依頼を受けた場合、どのプライベートドメイン2を優先するかを変更できるものとする。
また運用監視処理部30は、パブリックドメイン1の他の機能コンポーネントの状態を監視する処理を行う。
【0064】
次に、本実施形態のプログラム配置システムにおいて、業務APの構成管理情報とリソースの構成管理情報とを関連付けることにより、業務AP単位に使用するリソース毎の管理を行い、業務AP毎のリソース異常の検知等の当該業務に適したリソースの管理を実行して業務APの安定稼働を実現する処理について説明する。
【0065】
本実施形態のプライベートドメイン管理サーバ11の構成管理処理部41は、各処理部で収集された管理情報を参照することにより各リソースの構成管理情報を維持管理し、各業務AP48の使用するリソースの識別情報を含む構成管理情報を参照して、その識別情報で識別されるリソースの構成管理情報を各リソースの構成管理情報の中から読み出すことにより、業務AP48の構成管理情報と前記検索されたリソースの構成管理情報とを関連付けた業務AP情報を生成し、前記業務AP情報中のリソースの構成管理情報が、対応する業務AP48でのリソース異常を検出する為のルールに該当する場合に、業務AP48でリソース異常が発生していることを示す情報を出力する処理を行う。このリソース異常に対して、稼働条件を満たすサーバへのクラスタリング等の対策を施すことにより、業務APの安定稼働を実現することができる。
【0066】
図15は本実施形態の管理情報の関連付けの概要を示す図である。図15の様に、(1)サーバ名の一致、(2)サーバ名の一致、(3)数に対応する論理ホスト名の一致、(4)DB名の一致、(5)業務AP名の一致、(6)データパス名の一致、(7)ストレージ名とストレージ論理ユニット名の一致の様に、一致する情報を検索していくことにより、各管理情報の関連付けを行う。
【0067】
図16は本実施形態の管理情報の関連付け処理の処理内容を示す図である。ステップ1601でプライベートドメイン管理サーバ11の構成管理処理部41は、業務AP数201で示される数のループ制御を行う。
【0068】
ステップ1602では、業務AP実行サーバ名223とサーバ管理情報のサーバ名330と一致するかどうかを調べ、一致する場合にはステップ1603以降の処理を行う。
【0069】
ステップ1603では、フラグ1、フラグ2、フラグ3の値を格納する為の領域をメモリ上に確保した後、フラグ1=0、フラグ2=0、フラグ3=0の様に各フラグの値を設定する。
【0070】
ステップ1604〜ステップ1608では、OS情報リサーチ、論理ホスト名サーチ、DB情報サーチ、クラスタ/データパス情報サーチ、ストレージ管理情報サーチの各処理を実行する。
【0071】
そしてステップ1609では、フラグ1の値を調べ、その値が「0」で有る場合にはステップ1610へ進み、そうでない場合にはステップ1611へ進む。
【0072】
ステップ1610では、関連した情報の抽出成功として抽出した情報により、業務AP48の構成管理情報と抽出されたリソースの構成管理情報とを関連付けた業務AP情報を生成する。一方、ステップ1611では、関係付けが失敗したことをディスプレイ装置等の出力装置へ出力し、管理者へ知らせる。
【0073】
図17は本実施形態のOS情報サーチ処理の処理内容を示す図である。ステップ1701では、それまでの処理で設定されているフラグ1の値を調べ、その値が「0」で有る場合にはステップ1702へ進む。
【0074】
ステップ1702では、サーバハード情報311のサーバ名330とOS情報312のサーバ名363が一致するものがあるかどうかを調べ、一致するものがある場合にはステップ1703へ進み、そうでない場合にはステップ1704へ進む。ステップ1703では、一致したOS情報312を抽出し、またステップ1704では、フラグ1に「1」を設定する。
【0075】
図18は本実施形態の論理ホスト名サーチ処理の処理内容を示す図である。ステップ1801では、フラグ1が「0」であるかどうかを調べ、フラグ1が「0」である場合にはステップ1802へ進む。
【0076】
ステップ1802では、AP稼動条件212の論理ホスト名239と一致する論理ホスト名がOS情報312の論理ホスト名370〜372に存在するかどうかを調べ、一致するものがある場合にはステップ1803へ進み、そうでない場合にはステップ1804へ進む。
【0077】
ステップ1803では、一致した論理ホスト名を抽出し、ステップ1804では、フラグ1に「1」を設定する。
【0078】
図19は本実施形態のDB情報サーチ処理の処理内容を示す図である。ステップ1901では、フラグ1が「0」であるかどうかを調べ、フラグ1が「0」である場合にはステップ1902へ進む。
【0079】
ステップ1902では、AP稼動条件211の業務AP名220かつAP稼動条件212の使用DB名242の組み合せと一致するDB名390と業務AP392は存在するかどうかを調べ、一致するものがある場合にはステップ1903へ進み、そうでない場合にはステップ1904へ進む。
【0080】
ステップ1903では、一致したDB情報390〜401を抽出し、ステップ1904では、フラグ1に「1」を設定する。
【0081】
図20は本実施形態のクラスタ/データパス情報サーチ処理の処理内容を示す図である。ステップ2001では、フラグ1が「0」であるかどうかを調べ、フラグ1が「0」である場合にはステップ2002へ進む。
【0082】
ステップ2002では、クラスタ運用有無500は「無」となっているかどうかを調べ、「無」となっている場合にはステップ2003へ進み、ステップ2003では、クラスタ運用の無いことを示す戻り値を設定する。
【0083】
ステップ2004では、AP稼動状況211の業務AP名220と一致する業務AP名は存在するかどうかを調べ、一致するものがある場合にはステップ2005へ進み、そうでない場合にはステップ2006へ進む。
【0084】
ステップ2005では、一致したクラスタ情報510〜514を抽出し、またステップ2006では、クラスタ運用対象外としてフラグ3に「1」を設定する。
【0085】
ステップ2007では、一致した稼動データパス名514と一致するデータパス名520は存在するかどうかを調べ、一致するものがある場合にはステップ2008へ進み、そうでない場合にはステップ2009へ進む。
【0086】
ステップ2008では、一致したデータパス情報(520〜523)を抽出し、またステップ2009では、ストレージ運用対象外としてフラグ2に「1」を設定する。
【0087】
図21は本実施形態のストレージ管理情報サーチ処理の処理内容を示す図である。ステップ2101では、フラグ1が「0」であると共にフラグ2が「0」であるかどうかを調べ、フラグ1及び2の両方が「0」である場合にはステップ2102へ進む。
【0088】
ステップ2102では、抽出したストレージ名522及びストレージ論理ユニット名523の組合せと一致する、ストレージ管理情報610のストレージ名611及びストレージ論理ユニット名620が存在するかどうかを調べ、存在する場合にはステップ2103へ進み、そうでない場合にはステップ2104へ進む。
【0089】
ステップ2103では、一致したストレージ情報620〜631を抽出し、またステップ2104では、フラグ1に「1」を設定する。
【0090】
図22は本実施形態の関連付けた業務AP情報の例を示す図である。図22に示す様に業務AP情報では、各業務APの構成管理情報とリソースの構成管理情報とを関連付けている。
【0091】
各業務APの状態を判定する為の業務AP毎のポリシー管理ルールを参照し、前記業務AP情報中のリソースの構成管理情報が、対応する業務APにおけるリソース異常を検出する為のルールに該当するかどうかを判定することにより、その業務APにとってのリソース異常が生じているかどうかを判定することが可能であり、リソース異常が判定された場合には、例えば図22の*1〜3の表示を行い、各業務APでリソース異常が発生していることを示す情報を出力する。
【0092】
図23は本実施形態の図22の業務APの問題点と対策の例を示す図である。図23では、図22で示した業務APの問題点とその対策例を示している。図23の問題点に示された様なリソース異常を検出する際にはポリシー管理ルールが用いられる。
【0093】
図24は本実施形態のポリシー管理ルールの例を示す図である。図24では、図23の問題点や対策の生成時に用いられるポリシー管理ルールの例を表している。
【0094】
次に、本実施形態のプログラム配置システムにおいて、前記の様なポリシー管理ルールを各機能コンポーネントへ配布して統合管理を行い、プログラム配置の自動運用を行える様にする処理について説明する。
【0095】
本実施形態においてプライベートドメイン管理サーバ11のポリシー管理処理部42やパブリックドメイン管理サーバ21のポリシー管理処理部32は、業務AP48でのリソース異常を検出する為のルール及び余剰リソースを検出する為のルールを含むポリシー管理ルールを一元管理する処理を行う。
【0096】
図25は本実施形態のポリシー管理ルールの配布処理の処理内容を示す図である。ステップ2501でプライベートドメイン管理サーバ11のポリシー管理処理部42は、追加、削除または変更の行われたポリシー管理ルールがあるかどうかを調べ、ある場合にはステップ2502へ進む。
【0097】
ステップ2502では、配布先のドメインが自ドメインであるかどうかを調べ、自ドメインである場合にはステップ2503へ進み、そうでない場合にはステップ2509へ進む。
【0098】
ステップ2503では、ポリシー管理ルールへの処理内容がポリシー管理ルールの追加の場合であるかどうかを調べ、追加である場合にはステップ2504へ進む。ステップ2504では、追加されたポリシー管理ルールを配布先へ配布する
ステップ2505では、ポリシー管理ルールへの処理内容がポリシー管理ルールの削除の場合であるかどうかを調べ、削除である場合にはステップ2506へ進む。ステップ2506では、削除されたポリシー管理ルールを配布先のポリシー管理ルールから消去する。
【0099】
ステップ2507では、ポリシー管理ルールへの処理内容がポリシー管理ルールの変更の場合であるかどうかを調べ、変更である場合にはステップ2508へ進む。ステップ2508では、変更されたポリシー管理ルールを配布先へ上書き配布する(配布先のポリシー管理ルールと入れ替える)。
【0100】
ステップ2509では、他ドメインのポリシー管理処理部へ、ポリシー管理ルールを配布する。
【0101】
次に、本実施形態のプログラム配置システムにおいて、業務APの構成管理情報とリソースの構成管理情報とを関連付けにより、起動時の業務APの稼働条件に適したリソースを選択する実行制御について説明する。
【0102】
本実施形態のプライベートドメイン管理サーバ11の実行管理処理部45は、業務AP48の実行要求を受信して業務AP48で使用されるリソースの予約を指示し、前記指示によって予約の行われたリソースで業務AP48を起動する処理を行う。また空間スケジューラ44は、前記予約指示の行われた業務AP48に関連付けられたリソースの構成管理情報が業務AP48の構成管理情報中の稼働条件を満たす場合に、その業務AP48を実行するリソースとして前記リソースを予約する処理を行う。
【0103】
そして配布管理処理部43は、前記起動される業務AP48やDB管理システム等のプログラムを、前記予約されたリソースに該当するリアル業務サーバ49へ配布する処理を行う。
【0104】
図26は本実施形態の業務AP起動時の実行管理処理の処理内容を示す図である。ステップ2601でプライベートドメイン管理サーバ11の実行管理処理部45は、業務APの実行要求を受信したかどうかを調べ、受信した場合にはステップ2602へ進む。
【0105】
ステップ2602では、空間スケジューラ44へリソース予約処理を行い、ステップ2603では、ステップ2602の処理によりリソースが予約できたかどうかを調べ、予約できた場合にはステップ2604へ進み、そうでない場合にはステップ2608へ進む。
【0106】
ステップ2604では、空間スケジューラ44から業務実行サーバ名と業務AP開始予定時刻を入力し、ステップ2605では、入力した業務実行サーバで業務APを開始予定時刻に実行するスケジュール予約情報を生成して、ステップ2606では、業務AP開始時刻258を記録し、ステップ2607では、業務AP終了後、業務AP終了時刻259を記録する。
【0107】
ステップ2608では、その業務APを実行可能な業務実行サーバが無いことを示す応答を行い、リトライを指示する。
【0108】
図27は本実施形態のリソースのスケジュール予約のイメージを示す図である。図27に示す様に本実施形態ではリソースのスケジュール予約を行う。
【0109】
図28は本実施形態のプライベートドメイン2の空間スケジューラ44の処理内容を示す図である。ステップ2801では、構成管理処理部41へ業務AP単位のリソース使用状態を確認する処理を行う。
【0110】
ステップ2802では、受信した事象の内容を調べ、リソース予約の通知を受信した場合にはステップ2803へ進み、リソース異常の通知を受信した場合にはステップ2806へ進み、未使用サーバの通知を受信した場合にはステップ2808へ進み、ポリシー管理ルールの通知を受信した場合にはステップ2810へ進む。
【0111】
ステップ2803では、実行管理からリソース予約の内容を受信し、ステップ2804で業務AP実行サーバの確認処理を実行し、ステップ2805でリソーススケジュール予約処理を実行する。
【0112】
ステップ2806では、構成管理からリソース異常の内容を受信し、ステップ2807では、業務APの特定と対処処理を実行する。
【0113】
ステップ2808では、構成管理から未使用サーバの識別情報を受信し、ステップ2809では、余剰サーバの判定処理を実行する。
【0114】
ステップ2810では、空間スケジューラ用のポリシー管理ルールを入力して反映する。
【0115】
図29は本実施形態の業務AP実行サーバの確認処理の処理内容を示す図である。ステップ2901では、指定された業務AP実行サーバ名223のサーバのOS情報312のユーザ名701に指定された業務AP実行ユーザ名224は存在するかどうかを調べ、存在する場合にはステップ2902へ進む。
【0116】
ステップ2902では、指定された業務APのAP稼動条件212に指定されたデータパス名232〜使用DB名242のリソースが指定された業務AP実行サーバ名223のサーバに空きリソースとして存在するかどうかを調べ、存在しない場合にはステップ2903へ進む。
ステップ2903では、業務実行サーバの変更処理を実行する。
【0117】
ステップ2904では、フラグが「0」であるかどうかを調べ、フラグが「0」である場合にはステップ2905へ進む。ステップ2905では、論理ホストの確認処理を行う。
【0118】
図30は本実施形態の業務実行サーバの変更処理の処理内容を示す図である。ステップ3001では、該当サーバが無いことを示すフラグ1に「1」を設定し、ステップ3002では、フラグが「1」である間、他のサーバ名330の数だけループする処理を行う。
【0119】
ステップ3003では、指定された業務APのAP稼動条件212に指定されたデータパス名232〜使用DB名242のリソースが他のサーバ名のOS情報に存在するかどうかを調べ、存在する場合にはステップ3004へ進む。
【0120】
ステップ3004では、該当したサーバのOS情報312のユーザ名701に指定された業務AP実行ユーザ名224は存在するかどうかを調べ、存在する場合にはステップ3005へ進む。
【0121】
ステップ3005では、フラグに「0」を設定し、ステップ3006では、該当サーバ名を業務AP実行サーバ名223に設定して、該当のサーバを業務実行サーバに選択する。
【0122】
ステップ3007では、フラグが「1」であるかどうかを調べ、フラグが「1」である場合にはステップ3008へ進む。ステップ3008では、パブリックドメインの空間スケジューラ34へ、指定された業務APのAP稼動条件に合致するサーバの提供を要求する。
【0123】
図31は本実施形態の論理ホストの確認処理の処理内容を示す図である。ステップ3101では、指定された業務APの論理ホスト名239を取得する。
【0124】
ステップ3102では、指定されたサーバ名330の論理ホスト名370〜372に論理ホスト名239と一致するものがあるかどうかを調べ、一致するものが無い場合にはステップ3103へ進む。
【0125】
ステップ3103では、他のサーバ名のOS情報312の論理ホスト名370〜372に論理ホスト名239と一致するものがあるかどうかを調べ、一致するものがある場合にはステップ3104へ進む。
【0126】
ステップ3104では、他のサーバ名のOSから一致した論理ホスト名239を削除し、ステップ3105では、業務実行サーバのOSに論理ホスト名239を生成する。
【0127】
図32は本実施形態のリソーススケジュール予約処理の処理内容を示す図である。ステップ3201では、フラグが「0」であるかどうかを調べ、フラグが「0」である場合にはステップ3202へ進む。
【0128】
ステップ3202では、指定された業務APの業務AP時刻指定有無225が「有」であるかどうかを調べ、「有」である場合にはステップ3203へ進み、そうでない場合にはステップ3206へ進む。
【0129】
ステップ3203では、空間スケジューラ44に指定された業務APのAP稼動条件212に指定されたデータパス232〜ディスク容量238までのリソースに空きはあるかどうかを調べ、ある場合にはステップ3204へ進み、そうでない場合にはステップ3205へ進む。
【0130】
ステップ3204では、空間スケジューラ44にリソースを時刻指定で予約し、またステップ3205では、フラグにスケジュール不可であることを示す「2」を設定する。
【0131】
またステップ3206では、空間スケジューラ44にリソース予約時間無期限でリソースを予約する。
【0132】
次に、本実施形態のプログラム配置システムにおいて、業務APの構成管理情報とリソースの構成管理情報とを関連付けにより、稼働中の業務APの稼働条件に適したリソースを選択してクラスタリングを行う実行制御について説明する。
【0133】
本実施形態のプライベートドメイン管理サーバ11の実行管理処理部45は、業務AP48を実行中のリソースに異常が検出された場合に、前記リソース異常の発生した業務AP48の構成管理情報中の稼働条件を満たす構成管理情報を持つ他のリソースを検索し、その検索されたリソースで業務AP48の処理を続行する処理を行う。そして配布管理処理部43は、リソース異常となった業務AP48やDB管理システム等のプログラムを、前記検索されたリソースのリアル業務サーバ49へ配布する。
【0134】
図33は本実施形態の業務APの特定と対処を行う処理内容を示す図である。ステップ3301では、リソース異常の発生した業務サーバを特定し、ステップ3302では、該当サーバで稼動中の業務APの一覧を作成する。
【0135】
ステップ3303では、どこのリソース異常であるかを調べ、サーバの異常である場合にはステップ3304へ進み、DBの異常である場合にはステップ3305へ進み、ストレージの異常である場合にはステップ3308へ進む。
【0136】
ステップ3304では、業務APのクラスタリング処理を行う。
ステップ3305では、DBの回復処理を行い、ステップ3306では、前記回復処理によりDB異常は取り除けたかどうかを調べ、取り除けない場合にはステップ3307で業務APのクラスタリング処理を行う。
またステップ3308では、ストレージ論理ユニットの容量の追加を行う。
【0137】
図34は本実施形態の業務APのクラスタリング処理の処理内容を示す図である。ステップ3401では、フラグに「0」を設定し、ステップ3402では、業務APの一覧からクラスタリング可否フラグ240が可の業務APを抽出し、かつ業務AP重要度の低い順番に一覧を作成する
ステップ3403では、フラグが「0」である間、抽出した業務APの数だけループする処理を行い、ステップ3404では、フラグが「0」である間、業務AP名510の数分ループする処理を行う。
【0138】
ステップ3405では、抽出した業務APと一致する業務AP名はあるかどうかを調べ、一致するものがある場合にはステップ3406へ進む。ステップ3406では、クラスタリングサーバ名の確認処理を実行する。
【0139】
図35は本実施形態のクラスタリングサーバ名の確認処理の処理内容を示す図である。ステップ3501では、該当サーバと一致しない稼動サーバ名はあるかどうかを調べ、ある場合にはステップ3502へ進む。
【0140】
ステップ3502では、一致しなかった稼動サーバ名のOS情報312のリソースに抽出した業務APのAP稼動条件212の空きがあるかどうかを調べ、空きがある場合にはステップ3503へ進む。
【0141】
ステップ3503では、フラグ1に「1」を設定し、ステップ3504では、該当稼動サーバへクラスタリングする指示をクラスタ/データパス管理へ要求する。
【0142】
次に、本実施形態のプログラム配置システムにおいて、プライベートドメイン及びパブリックドメインにより余剰リソースを管理し、業務APの起動時またはリソース異常時に稼働条件に適した余剰リソースを提供する処理について説明する。
【0143】
図36は本実施形態の余剰サーバの判定処理の処理内容を示す図である。図36に示す様にプライベートドメイン管理サーバ11の空間スケジューラ44は、余剰リソースを判定する処理を行う。
【0144】
ステップ3601では、未使用サーバの入力を行い、ステップ3602では、空間スケジューラのポリシーを入力する。
【0145】
ステップ3603では、未使用サーバはマシン使用形態231が専用の業務APが稼動する業務サーバかどうかを調べ、専用の業務APが稼動する業務サーバである場合にはステップ3604へ進み、そのサーバを余剰サーバとはせずに呼び出し元へ戻る。
【0146】
ステップ3605では、リソース予約の内容を読み出し、ステップ3606では、そのサーバのリソース予約があるかどうかを調べ、リソース予約がある場合にはステップ3607へ進み、リソース予約が無い場合にはステップ3608へ進む。
【0147】
ステップ3607では、リソース予約の確認処理を実行する。またステップ3608では、余剰サーバと判定し、ステップ3609では、パブリックドメインの空間スケジューラへその構成管理情報を余剰サーバの情報として提供する。
【0148】
図37は本実施形態のリソース予約の確認処理の処理内容を示す図である。ステップ3701では、リソース予約まで1時間以上あるかどうかを調べ、1時間以上ある場合にはステップ3702へ進む。
【0149】
ステップ3702では、余剰サーバと判定し、ステップ3703では、構成管理処理部41へリソース予約時刻までの間を余剰サーバとして提供する。
【0150】
ステップ3704では、リソース予約時間は無期限かどうかを調べ、無期限である場合にはステップ3705へ進む。
【0151】
ステップ3705では、該当業務APのAP稼動履歴を参照し、ステップ3706では、該当業務APの業務AP終了時刻は記録されているかどうかを調べ、業務AP終了時刻が記録されている場合にはステップ3707へ進む。そしてステップ3707では、該当業務APのリソース予約を解除する。
【0152】
図38は本実施形態のプライベートドメイン2の構成管理処理部41の処理内容を示す図である。ステップ3801では、管理情報の関連付け処理を実行する。
【0153】
ステップ3802では、事象の受信し、ステップ3803では、受信した事象の内容を調べ、受信した事象が管理情報の取得要求である場合にはステップ3804へ進み、サーバの返却である場合にはステップ3806へ進み、リソース異常である場合にはステップ3807へ進み、未使用サーバである場合にはステップ3810へ進み、余剰サーバである場合にはステップ3811へ進み、ポリシー管理ルールである場合にはステップ3813へ進む。
【0154】
ステップ3804では、管理情報要求の受信処理を実行し、ステップ3805では、管理情報を要求元へ応答する。
ステップ3806では、返却されたサーバの構成情報のパブリックドメインへの公開を停止する。
【0155】
ステップ3807では、性能・容量から受信した異常なリソースはパブリックドメインへ提供済みかどうかを調べ、提供済みである場合にはステップ3808へ進み、そうでない場合にはステップ3808へ進む。
【0156】
ステップ3808では、リソース異常をパブリックドメインの構成管理処理部31へ通知し、またステップ3809では、リソース異常を空間スケジューラ44とクラスタ/データパス管理へ通知する。
【0157】
ステップ3810では、未使用サーバを空間スケジューラへ通知する。
ステップ3811では、余剰サーバをパブリックドメインの構成管理へ通知し、ステップ3812では、余剰サーバの管理情報をパブリックドメインの構成管理処理部31へ公開する。
ステップ3813では、ポリシー管理ルールを受信してACLの設定と安全係数を設定する。
【0158】
図39は本実施形態の管理情報要求受信処理の処理内容を示す図である。ステップ3901では、要求された管理情報の内容を調べ、要求された管理情報がAP稼働状況である場合にはステップ3902へ進み、AP稼働条件である場合にはステップ3903へ進み、DB情報である場合にはステップ3904へ進み、クラスタ/データパス情報である場合にはステップ3905へ進み、その他の情報である場合にはステップ3907へ進む。
【0159】
ステップ3902では、AP稼動状況211の業務AP状態以外の情報について、運用者の設定値を取得し、ステップ3903では、AP稼動条件212について運用者の設定値を取得する。
【0160】
またステップ3904では、DBから情報を取得し、ステップ3905では、クラス管理プログラムから情報を取得し、ステップ3906では、データパス管理プログラムからデータパス情報を取得し、ステップ3907では、性能・容量管理から情報を取得する。
【0161】
本実施形態のパブリックドメイン管理サーバ21の構成管理処理部31は、余剰リソースを検出する為のルールに該当するリソースの構成管理情報をプライベートドメイン2側の構成管理処理部41から受信し、パブリックドメイン1中の仮想リソース38の構成管理情報として維持管理する処理を行う。
【0162】
図40は本実施形態のパブリックドメイン1の構成管理処理部31の処理内容を示す図である。ステップ4001では、事象の受信し、ステップ4002では、受信した事象を調べ、受信した事象が余剰サーバである場合にはステップ4003へ進み、サーバの返却である場合にはステップ4005へ進み、ポリシー管理ルールである場合にはステップ4008へ進む。
【0163】
ステップ4003では、受信した余剰サーバの構成情報をプライベートドメインの構成管理から取得する。
ステップ4004では、余剰サーバを空間スケジューラ34へ通知し、ステップ4005では、空間スケジューラ34からサーバの返却を受信し、ステップ4006では、返却されたサーバを提供されたプライベートドメインへ返却する。またステップ4007では、返却されたサーバの構成情報を削除し、ステップ4008では、ポリシー管理ルールを受信して設定する。
【0164】
本実施形態のパブリックドメイン管理サーバ21の空間スケジューラ34は、業務AP48の稼働条件を満たす構成管理情報を持つリソースが見つからない場合に送信されたリソースの提供要求をプライベートドメイン2側の空間スケジューラ44から受信し、前記維持管理している仮想リソースの構成管理情報の内で業務AP48の稼働条件を満たす構成管理情報を送信する処理を行う。
【0165】
図41は本実施形態のパブリックドメイン1の空間スケジューラ34の処理内容を示す図である。ステップ4101では、構成管理処理部31から余剰サーバを取得する。
【0166】
ステップ4102では、プライベートドメインの空間スケジューラ44からのサーバ提供要求を受信し、ステップ4103では、要求されたプライベートドメインから提供された余剰サーバがあるかどうかを調べ、ある場合にはステップ4104へ進み、そうでない場合にはステップ4105へ進む。
【0167】
ステップ4104では、該当する余剰サーバを貸し出し、ステップ4105では、他のプライベートドメインから提供された余剰サーバがあるかどうかを調べ、ある場合にはステップ4106へ進み、そうでない場合にはステップ4107へ進む。そしてステップ4106では、その余剰サーバを貸出し、またステップ4107では、貸出しサーバ無しを応答する。
【0168】
ステップ4108では、プライベートドメインの空間スケジューラ44から貸し出していたサーバの返却を受信し、ステップ4109では、パブリックドメインの構成管理処理部31へサーバの返却を通知する。
またステップ4110では、ポリシー管理ルールを受信して設定する。
【0169】
図42は本実施形態のプライベートドメイン2の性能・容量管理処理部47の処理内容を示す図である。図42に示す様にプライベートドメイン管理サーバ11の性能・容量管理処理部47は、各サーバ49の性能やストレージ50の容量等に関する状態を示す管理情報を収集して管理する処理を行う。
【0170】
ステップ4201では、事象の受信を行い、ステップ4202では、受信した事象を調べ、受信した事象が管理情報の取得要求である場合にはステップ4203へ進み、ポリシー管理ルールである場合にはステップ4204へ進み、リソース監視である場合にはステップ4205へ進み、その他の事象である場合にはステップ4211へ進む。
【0171】
ステップ4203では、要求された管理情報を業務AP48,サーバ49,ストレージ50から取得して応答する。またステップ4204では、ポリシー管理ルールを受信して設定する。
【0172】
ステップ4205では、履歴の保存を行い、ステップ4206では、リソースの使用率が95%を超えたリソースはあるかどうかを調べ、ある場合にはステップ4207へ進む。このリソース使用率の95%という値は、ポリシー管理ルールにより変更できる。
【0173】
ステップ4207では、該当リソースを調べ、該当リソースがサーバである場合にはステップ4208へ進み、ストレージである場合にはステップ4209へ進み、DBである場合にはステップ4210へ進む。
【0174】
ステップ4208では、構成管理処理部41へサーバのリソース異常を通知し、またステップ4209では、構成管理処理部41へストレージ容量不足のリソース異常を通知し、ステップ4210では、構成管理処理部41へDBのリソース異常を通知する。
またステップ4211では、定期間隔にリソース監視事象を送信する。
【0175】
図43は本実施形態のプライベートドメイン2のクラスタ/データパス管理処理部46の処理内容を示す図である。図43に示す様にプライベートドメイン管理サーバ11のクラスタ/データパス管理処理部46は、クラス管理プログラムの構成や状態の管理と、データパス管理プログラムが持つサーバ49とストレージ50間のデータパスの構成や状態及びデータパスの変更指示を管理する処理を行う。
【0176】
ステップ4301では、事象の受信を行い、ステップ4302では、受信した事象を調べ、受信した事象が情報取得である場合にはステップ4303へ進み、クラスタリング要求である場合にはステップ4304へ進み、ポリシー管理ルールである場合にはステップ4309へ進む。
【0177】
ステップ4303では、要求された情報を応答する。
ステップ4304では、空間スケジューラからクラスタリング要求を受信し、ステップ4305では、現在の業務AP実行サーバ名とクラスタリング先の業務AP実行サーバ名を取得する。
【0178】
ステップ4306では、DBの変更処理を実行し、ステップ4307では、データパスの変更処理を実行する。またステップ4308では、クラスタリング先の業務AP実行サーバで業務APを起動する。
ステップ4309では、ポリシー管理ルールを受信して設定する。
【0179】
図44は本実施形態のDB変更処理の処理内容を示す図である。ステップ4401では、クラスタリング先の業務AP実行サーバに該当業務AP名220が使用する使用DBは存在するかどうかを調べ、存在する場合にはステップ4402へ進む。
【0180】
ステップ4402では、該当DBは稼動しているかどうかを調べ、稼働していない場合にはステップ4403へ進み、ステップ4403では、該当DBを起動する。
【0181】
ステップ4404では、該当DBをプライベートドメイン管理サーバからクラスタリング先の業務AP実行サーバへ配布し、ステップ4405では、該当DBを起動する。
【0182】
図45は本実施形態のデータパス変更処理の処理内容を示す図である。ステップ4501では、クラスタリング先の業務AP実行サーバから、該当業務AP名220が使用するストレージ論理ユニットは参照できるかどうか(データパスはあるかどうか)を調べ、参照できる場合にはステップ4502へ進む。
【0183】
ステップ4502では、該当DBからストレージ論理ユニットは参照できるかどうかを調べ、参照できない場合にはステップ4503へ進む。ステップ4503では、DBからストレージ論理ユニットを参照できるようにDBの設定を変更する。
【0184】
ステップ4504では、データパス管理からストレージ論理ユニットを参照できるようにデータパスの設定を変更する。ステップ4505では、該当DBからストレージ論理ユニットは参照できるかどうかを調べ、参照できない場合にはステップ4506へ進む。ステップ4506では、DBからストレージ論理ユニットを参照できるようにDBの設定を変更する。
【0185】
次に、本実施形態のプログラム配置システムにおいて、リソースの稼働状態の変化を予測し、ポリシー管理ルールを変更する処理について説明する。
【0186】
図46は本実施形態の予測結果を反映するポリシー管理処理の処理内容を示す図である。ステップ4601では、業務AP単位、サーバ単位、リソース単位にリソース使用の上限の初期値を入力する。
【0187】
ステップ4602では、構成管理情報の入力を行い、ステップ4603では、リソース使用上限を越えた業務AP、サーバまたはストレージが存在するかどうかを調べ、存在する場合にはステップ4604へ進む。
【0188】
ステップ4604では、リソース使用上限の補正処理を実行する。ステップ4605では、該当業務APのポリシー管理ルールは存在するかどうかを調べ、存在する場合にはステップ4606へ進み、そうでない場合にはステップ4607へ進む。
【0189】
ステップ4606では、業務APのポリシー管理ルールの上限値の変更を行い、またステップ4607では、該当業務APのポリシー管理ルールを登録する処理を行う。
【0190】
ステップ4608では、リソース使用傾向の予測処理を実行し、ステップ4609では、リソース管理ルールの配布処理を行う。
【0191】
図47は本実施形態のマシン及び業務AP単位のリソース使用状況把握例を示す図である。図47に示す様に本実施形態では、履歴情報からリソース使用状況を表示し、マシン及び業務AP単位でのリソース使用状況の把握を行う。
【0192】
図48は本実施形態のマシン及び業務AP単位のリソース許容範囲例を示す図である。図48に示す様に本実施形態ではマシン及び業務AP単位でリソース使用率からリソース許容範囲を求め、その許容範囲から上限値を設定する。
【0193】
図49は本実施形態のマシン及び業務AP単位のリソース使用上限値の補正例を示す図である。図49に示す様に本実施形態では、履歴情報の変動から長期的な変動傾向を図の「傾き」の様に求め、マシン及び業務AP単位でのリソース使用上限値の補正に用いる。
【0194】
図50は本実施形態のリソース使用上限値補正処理の処理内容を示す図である。ステップ5001では、該当業務APのAP稼働履歴(図8)の入力を行い、ステップ5002では、安定稼働の上限値の算出(図48)を行う。
【0195】
ステップ5003では、リソースの項目分ループさせる処理を行って、ステップ5004では、異常は発生したかどうかを調べ、発生した場合にはステップ5005へ進む。
【0196】
ステップ5005では、異常発生時のリソース使用率の入力を行い、ステップ5006では、異常発生時のリソース使用率での該当業務APの最新履歴での業務AP終了状態は正常終了かどうかを調べ、正常終了した場合にはステップ5007へ進む。
【0197】
ステップ5007では、該当業務APのリソース使用の上限値の補正(図48の例、メモリの安定稼働の上限値を45%から65%に補正)
図51は本実施形態のリソース使用傾向予測処理の処理内容を示す図である。ステップ5101では、サーバリソース及びストレージリソース分ループさせる処理を行い、ステップ5102では、リソース使用率が増加傾向にあるリソースはあるかどうかを調べ、ある場合にはステップ5103へ進む。
【0198】
ステップ5103では、将来時刻に対するリソース使用率の傾きを算出して、計算式(将来のリソース使用率)=(最新値)×傾き×(将来時刻−現在時刻)を作成し、ステップ5104では、予測値の反映処理を行う。
【0199】
図52は本実施形態の予測値反映処理の処理内容を示す図である。ステップ5201では、次回履歴時刻にリソース使用率がアクション境界値を越えるかどうかを調べ、越える場合にはステップ5202へ進む。
【0200】
ステップ5202では、現在のリソース使用率はアクション境界値を越えるかどうかを調べ、越える場合にはステップ5203へ進み、そうでない場合にはステップ5205へ進む。
【0201】
ステップ5203では、該当リソース上で動作する業務APに異常は発生しているかどうかを調べ、異常は発生していない場合にはステップ5204へ進む。
【0202】
ステップ5204では、該当リソースのポリシー管理ルールのアクション境界値を現在のリソース利用率に変更する。またステップ5205では、該当リソースのポリシー管理ルールのアクション境界値を現在のリソース利用率に変更する。
【0203】
なお前記アクション境界値は、別途実験やシミュレーション等により求められた、異常が発生するリソース使用率であるものとする。
【0204】
以上説明した様に本実施形態のプログラム配置システムによれば、業務アプリケーションの構成管理情報とリソースの構成管理情報とを関連付けた業務アプリケーション情報を生成して、業務アプリケーション単位で使用リソースを管理するので、各業務アプリケーションの稼働条件に合わせてリソースの管理を行うことが可能である。
【0205】
【発明の効果】
本発明によれば業務アプリケーションの稼働条件に合わせてリソースの管理を行うことが可能である。
【図面の簡単な説明】
【図1】本実施形態のプログラム配置システムの概要を示す図である。
【図2】本実施形態のプログラム配置システムの機能階層を示す図である。
【図3】本実施形態の管理及び制御される監視対象物のレイヤ構造を示す図である。
【図4】本実施形態の構成管理情報の構成例を示す図である。
【図5】本実施形態の業務APの管理情報の構成例を示す図である。
【図6】本実施形態のAP稼働情報の構成例を示す図である。
【図7】本実施形態のAP稼働条件の構成例を示す図である。
【図8】本実施形態のAP稼働履歴の構成例を示す図である。
【図9】本実施形態のサーバ管理情報の構成例を示す図である。
【図10】本実施形態のサーバハード情報の構成例を示す図である。
【図11】本実施形態のOS情報の構成例を示す図である。
【図12】本実施形態のDB情報の構成例を示す図である。
【図13】本実施形態のクラスタ/データパス情報の構成例を示す図である。
【図14】本実施形態のストレージ管理情報の構成例を示す図である。
【図15】本実施形態の管理情報の関連付けの概要を示す図である。
【図16】本実施形態の管理情報の関連付け処理の処理内容を示す図である。
【図17】本実施形態のOS情報サーチ処理の処理内容を示す図である。
【図18】本実施形態の論理ホスト名サーチ処理の処理内容を示す図である。
【図19】本実施形態のDB情報サーチ処理の処理内容を示す図である。
【図20】本実施形態のクラスタ/データパス情報サーチ処理の処理内容を示す図である。
【図21】本実施形態のストレージ管理情報サーチ処理の処理内容を示す図である。
【図22】本実施形態の関連付けた業務AP情報の例を示す図である。
【図23】本実施形態の図22の業務APの問題点と対策の例を示す図である。
【図24】本実施形態のポリシー管理ルールの例を示す図である。
【図25】本実施形態のポリシー管理ルールの配布処理の処理内容を示す図である。
【図26】本実施形態の業務AP起動時の実行管理処理の処理内容を示す図である。
【図27】本実施形態のリソースのスケジュール予約のイメージを示す図である。
【図28】本実施形態のプライベートドメイン2の空間スケジューラ44の処理内容を示す図である。
【図29】本実施形態の業務AP実行サーバの確認処理の処理内容を示す図である。
【図30】本実施形態の業務実行サーバの変更処理の処理内容を示す図である。
【図31】本実施形態の論理ホストの確認処理の処理内容を示す図である。
【図32】本実施形態のリソーススケジュール予約処理の処理内容を示す図である。
【図33】本実施形態の業務APの特定と対処を行う処理内容を示す図である。
【図34】本実施形態の業務APのクラスタリング処理の処理内容を示す図である。
【図35】本実施形態のクラスタリングサーバ名の確認処理の処理内容を示す図である。
【図36】本実施形態の余剰サーバの判定処理の処理内容を示す図である。
【図37】本実施形態のリソース予約の確認処理の処理内容を示す図である。
【図38】本実施形態のプライベートドメイン2の構成管理処理部41の処理内容を示す図である。
【図39】本実施形態の管理情報要求受信処理の処理内容を示す図である。
【図40】本実施形態のパブリックドメイン1の構成管理処理部31の処理内容を示す図である。
【図41】本実施形態のパブリックドメイン1の空間スケジューラ34の処理内容を示す図である。
【図42】本実施形態のプライベートドメイン2の性能・容量管理処理部47の処理内容を示す図である。
【図43】本実施形態のプライベートドメイン2のクラスタ/データパス管理処理部46の処理内容を示す図である。
【図44】本実施形態のDB変更処理の処理内容を示す図である。
【図45】本実施形態のデータパス変更処理の処理内容を示す図である。
【図46】本実施形態の予測結果を反映するポリシー管理処理の処理内容を示す図である。
【図47】本実施形態のマシン及び業務AP単位のリソース使用状況把握例を示す図である。
【図48】本実施形態のマシン及び業務AP単位のリソース許容範囲例を示す図である。
【図49】本実施形態のマシン及び業務AP単位のリソース使用上限値の補正例を示す図である。
【図50】本実施形態のリソース使用上限値補正処理の処理内容を示す図である。
【図51】本実施形態のリソース使用傾向予測処理の処理内容を示す図である。
【図52】本実施形態の予測値反映処理の処理内容を示す図である。
【図53】本実施形態のクラスタ管理プログラムとデータパス管理プログラムの動作説明の図である。
【符号の説明】
1…パブリックドメイン、2…プライベートドメイン、3…ネットワーク、10…リアル業務サーバ群、11…プライベートドメイン管理サーバ、12…プライベートドメイン構成情報、13…リアルストレージ、20…仮想業務サーバ群、21…パブリックドメイン管理サーバ、22…パブリックドメイン構成情報、23…仮想ストレージ、38…仮想リソース、48…業務AP、49…サーバ、50…ストレージ、30…運用監視処理部、31…構成管理処理部、32…ポリシー管理処理部、34…空間スケジューラ、40…運用監視処理部、41…構成管理処理部、42…ポリシー管理処理部、43…配布管理処理部、44…空間スケジューラ、45…実行管理処理部、46…クラスタ/データパス管理処理部、47…性能・容量管理処理部、70…業務AP、71…Webアプリケーション、72…バッチジョブ、73…ワークフロー、80…サーバ、81…DB管理処理部、82…クラスタ/データパス管理処理部、83…OS、90…ストレージ、228…業務AP重要度、258…業務AP開始時刻、259…業務AP終了時刻、352…最大メモリ量、353…使用メモリ量、354…残メモリ量、357…残プロセス数、360…残スレッド数、365…残ディスク容量。
Claims (10)
- プログラムをその稼働条件に適したリソースへ配置するプログラム配置方法において、
各リソースの性能や容量に関する状態を示す管理情報を参照することにより各リソースの構成管理情報を生成するステップと、各業務プログラムの使用するリソースの識別情報を含む構成管理情報を参照して、その識別情報で識別されるリソースの構成管理情報を各リソースの構成管理情報の中から読み出すことにより、当該業務プログラムの構成管理情報と前記検索されたリソースの構成管理情報とを関連付けた業務プログラム情報を生成するステップと、
前記業務プログラム情報中のリソースの構成管理情報が、対応する業務プログラムでのリソース異常を検出する為のルールに該当する場合に、当該業務プログラムでリソース異常が発生していることを示す情報を出力するステップとを有することを特徴とするプログラム配置方法。 - 業務プログラムの実行要求を受信するステップと、当該業務プログラムで使用されるリソースの予約を指示するステップと、前記予約指示の行われた業務プログラムに関連付けられたリソースの構成管理情報が当該業務プログラムの構成管理情報中の稼働条件を満たす場合に、その業務プログラムを実行するリソースとして前記リソースを予約するステップと、前記予約の行われたリソースで当該業務プログラムを起動するステップとを有することを特徴とする請求項1に記載されたプログラム配置方法。
- 業務プログラムを実行中のリソースに異常が検出された場合に、前記リソース異常の発生した業務プログラムの構成管理情報中の稼働条件を満たす構成管理情報を持つ他のリソースを検索し、その検索されたリソースで前記業務プログラムの処理を続行することを特徴とする請求項1または請求項2のいずれかに記載されたプログラム配置方法。
- 余剰リソースを検出する為のルールに該当するリソースの構成管理情報をプライベートドメイン側から受信し、パブリックドメイン中の仮想リソースの構成管理情報として維持管理するステップと、
業務プログラムの稼働条件を満たす構成管理情報を持つリソースが見つからない場合に送信されたリソースの提供要求をプライベートドメイン側から受信し、前記維持管理している仮想リソースの構成管理情報の内で当該業務プログラムの稼働条件を満たす構成管理情報を送信するステップとを有することを特徴とする請求項1乃至請求項3のいずれか1項に記載されたプログラム配置方法。 - 前記業務プログラムでのリソース異常を検出する為のルール及び余剰リソースを検出する為のルールを含むポリシー管理ルールを一元管理するステップを有することを特徴とする請求項1乃至請求項4のいずれか1項に記載されたプログラム配置方法。
- プログラムをその稼働条件に適したリソースへ配置するプログラム配置システムにおいて、
各リソースの性能や容量に関する状態を示す管理情報を収集して管理する性能・容量管理処理部と、
前記収集された管理情報を参照することにより各リソースの構成管理情報を維持管理し、各業務プログラムの使用するリソースの識別情報を含む構成管理情報を参照して、その識別情報で識別されるリソースの構成管理情報を各リソースの構成管理情報の中から読み出すことにより、当該業務プログラムの構成管理情報と前記検索されたリソースの構成管理情報とを関連付けた業務プログラム情報を生成し、前記業務プログラム情報中のリソースの構成管理情報が、対応する業務プログラムでのリソース異常を検出する為のルールに該当する場合に、当該業務プログラムでリソース異常が発生していることを示す情報を出力する構成管理処理部とを備えることを特徴とするプログラム配置システム。 - 業務プログラムの実行要求を受信して当該業務プログラムで使用されるリソースの予約を指示し、前記指示によって予約の行われたリソースで前記業務プログラムを起動する実行管理処理部と、
前記予約指示の行われた業務プログラムに関連付けられたリソースの構成管理情報が当該業務プログラムの構成管理情報中の稼働条件を満たす場合に、その業務プログラムを実行するリソースとして前記リソースを予約する空間スケジューラとを備えることを特徴とする請求項6に記載されたプログラム配置システム。 - 業務プログラムを実行中のリソースに異常が検出された場合に、前記リソース異常の発生した業務プログラムの構成管理情報中の稼働条件を満たす構成管理情報を持つ他のリソースを検索し、その検索されたリソースで前記業務プログラムの処理を続行することを特徴とする請求項6または請求項7のいずれかに記載されたプログラム配置システム。
- 余剰リソースを検出する為のルールに該当するリソースの構成管理情報をプライベートドメイン側の構成管理処理部から受信し、パブリックドメイン中の仮想リソースの構成管理情報として維持管理するパブリックドメイン側の構成管理処理部と、
業務プログラムの稼働条件を満たす構成管理情報を持つリソースが見つからない場合に送信されたリソースの提供要求をプライベートドメイン側の空間スケジューラから受信し、前記維持管理している仮想リソースの構成管理情報の内で当該業務プログラムの稼働条件を満たす構成管理情報を送信するパブリックドメイン側の空間スケジューラとを備えることを特徴とする請求項6乃至請求項8のいずれか1項に記載されたプログラム配置システム。 - プログラムをその稼働条件に適したリソースへ配置するプログラム配置システムとしてコンピュータを機能させる為のプログラムにおいて、
各リソースの性能や容量に関する状態を示す管理情報を収集して管理する性能・容量管理処理部と、
前記収集された管理情報を参照することにより各リソースの構成管理情報を維持管理し、各業務プログラムの使用するリソースの識別情報を含む構成管理情報を参照して、その識別情報で識別されるリソースの構成管理情報を各リソースの構成管理情報の中から読み出すことにより、当該業務プログラムの構成管理情報と前記検索されたリソースの構成管理情報とを関連付けた業務プログラム情報を生成し、前記業務プログラム情報中のリソースの構成管理情報が、対応する業務プログラムでのリソース異常を検出する為のルールに該当する場合に、当該業務プログラムでリソース異常が発生していることを示す情報を出力する構成管理処理部としてコンピュータを機能させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003095775A JP4597488B2 (ja) | 2003-03-31 | 2003-03-31 | プログラム配置方法及びその実施システム並びにその処理プログラム |
US10/769,073 US7424713B2 (en) | 2003-03-31 | 2004-01-30 | Method for allocating programs |
US11/859,683 US8677369B2 (en) | 2003-03-31 | 2007-09-21 | System and method for allocating virtual resources to application based on the connectivity relation among the virtual resources |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003095775A JP4597488B2 (ja) | 2003-03-31 | 2003-03-31 | プログラム配置方法及びその実施システム並びにその処理プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007254444A Division JP2008059599A (ja) | 2007-09-28 | 2007-09-28 | 仮想化されたリソースの割当て方法及びその実施システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004302937A true JP2004302937A (ja) | 2004-10-28 |
JP4597488B2 JP4597488B2 (ja) | 2010-12-15 |
Family
ID=32985476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003095775A Expired - Fee Related JP4597488B2 (ja) | 2003-03-31 | 2003-03-31 | プログラム配置方法及びその実施システム並びにその処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (2) | US7424713B2 (ja) |
JP (1) | JP4597488B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005101205A1 (ja) * | 2004-04-12 | 2005-10-27 | Hitachi, Ltd. | コンピュータシステム |
JP2006189971A (ja) * | 2004-12-28 | 2006-07-20 | Fujitsu Ltd | 高速情報処理装置、高速情報処理方法及びそのプログラム |
JP2006252104A (ja) * | 2005-03-10 | 2006-09-21 | Yokogawa Electric Corp | アプリケーション起動方法及びこれを用いたアプリケーション起動装置 |
JP2006270925A (ja) * | 2005-02-28 | 2006-10-05 | Fujitsu Ltd | ネットワークエリアにおける資源割当て方法、割当てプログラム、およびネットワークシステム |
JP2008217285A (ja) * | 2007-03-02 | 2008-09-18 | Hitachi Ltd | 情報処理システムの運用管理装置および運用管理方法 |
JP2010122805A (ja) * | 2008-11-18 | 2010-06-03 | Hitachi Ltd | 仮想サーバシステム並びに物理cpu及び物理メモリの割り当て方法 |
US8001226B2 (en) | 2005-06-29 | 2011-08-16 | Fujitsu Limited | Surplus determination system, management system, recording medium storing surplus determination program, and recording medium storing management program |
WO2012056596A1 (ja) * | 2010-10-28 | 2012-05-03 | 株式会社日立製作所 | 計算機システム及び処理制御方法 |
WO2013018289A1 (ja) * | 2011-08-04 | 2013-02-07 | 日本電気株式会社 | 計算機および性能データ収集方法 |
WO2015001850A1 (ja) * | 2013-07-03 | 2015-01-08 | 日本電気株式会社 | タスク割り当て判定装置、制御方法、及びプログラム |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005031929A (ja) * | 2003-07-11 | 2005-02-03 | Hitachi Ltd | サーバに記憶領域を割り当てる管理サーバ、記憶装置システム、及びプログラム |
WO2005089241A2 (en) | 2004-03-13 | 2005-09-29 | Cluster Resources, Inc. | System and method for providing object triggers |
JP4497993B2 (ja) * | 2004-04-16 | 2010-07-07 | 株式会社日立製作所 | 電子配付物の配付制御システム及び方法 |
JP2005309644A (ja) * | 2004-04-20 | 2005-11-04 | Hitachi Ltd | リソース制御方法及びそのシステム |
US20070266388A1 (en) | 2004-06-18 | 2007-11-15 | Cluster Resources, Inc. | System and method for providing advanced reservations in a compute environment |
JP4260723B2 (ja) * | 2004-11-04 | 2009-04-30 | 株式会社日立製作所 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
US8271980B2 (en) | 2004-11-08 | 2012-09-18 | Adaptive Computing Enterprises, Inc. | System and method of providing system jobs within a compute environment |
US8631130B2 (en) | 2005-03-16 | 2014-01-14 | Adaptive Computing Enterprises, Inc. | Reserving resources in an on-demand compute environment from a local compute environment |
US9231886B2 (en) | 2005-03-16 | 2016-01-05 | Adaptive Computing Enterprises, Inc. | Simple integration of an on-demand compute environment |
CA2603577A1 (en) | 2005-04-07 | 2006-10-12 | Cluster Resources, Inc. | On-demand access to compute resources |
JP4352028B2 (ja) * | 2005-06-29 | 2009-10-28 | 富士通株式会社 | 運用ポリシー評価システムおよび運用ポリシー評価プログラム |
US20070127527A1 (en) * | 2005-12-06 | 2007-06-07 | International Business Machines Corporation | Methods and apparatus for implementing a flexible multi-user advance reservation system where reservation requests are specified in terms of multiple options and where each option has an associated business value |
JP4751265B2 (ja) * | 2006-08-01 | 2011-08-17 | 株式会社日立製作所 | リソース管理システム及びその方法 |
JP5073259B2 (ja) | 2006-09-28 | 2012-11-14 | 株式会社日立製作所 | 仮想化システム及び領域割当て制御方法 |
US7930261B2 (en) * | 2007-09-26 | 2011-04-19 | Rockwell Automation Technologies, Inc. | Historians embedded in industrial units |
US20090112809A1 (en) * | 2007-10-24 | 2009-04-30 | Caterpillar Inc. | Systems and methods for monitoring health of computing systems |
US20100161368A1 (en) * | 2008-12-23 | 2010-06-24 | International Business Machines Corporation | Managing energy in a data center |
JP5347648B2 (ja) * | 2009-03-30 | 2013-11-20 | 富士通株式会社 | プログラム、情報処理装置及び状態出力方法 |
US11720290B2 (en) | 2009-10-30 | 2023-08-08 | Iii Holdings 2, Llc | Memcached server functionality in a cluster of data processing nodes |
JP2014038364A (ja) | 2010-10-27 | 2014-02-27 | Hitachi Ltd | リソース管理サーバ、リソース管理方法及びリソース管理プログラム |
US9152467B2 (en) * | 2013-01-18 | 2015-10-06 | Nec Laboratories America, Inc. | Method for simultaneous scheduling of processes and offloading computation on many-core coprocessors |
US20150081400A1 (en) * | 2013-09-19 | 2015-03-19 | Infosys Limited | Watching ARM |
CN103945549B (zh) * | 2014-04-29 | 2017-03-22 | 西安电子科技大学 | C‑ran架构下基带处理资源分配系统 |
CN105631316A (zh) * | 2015-12-25 | 2016-06-01 | 曙光信息产业(北京)有限公司 | 一种虚拟化资源的管理方法和装置 |
US12022327B2 (en) * | 2018-12-21 | 2024-06-25 | Telefonaktiebolaget Lm Ericsson (Publ) | User data traffic handling |
CN114996318B (zh) * | 2022-07-12 | 2022-11-04 | 成都唐源电气股份有限公司 | 一种检测数据异常值处理方式的自动判别方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62175832A (ja) * | 1986-01-29 | 1987-08-01 | Nec Corp | 電子計算機システムの資源管理方式 |
JPH08328880A (ja) * | 1995-05-31 | 1996-12-13 | Mitsubishi Electric Corp | 複数のアプリケーションプログラムを同時に実行できるオペレーティングシステムにおける計算機運転管理システム |
JPH09237256A (ja) * | 1996-02-29 | 1997-09-09 | Mitsubishi Electric Corp | 並列計算機における動的負荷分散方法 |
JPH10207847A (ja) * | 1997-01-27 | 1998-08-07 | Hitachi Ltd | 分散システムにおける自動負荷分散方式 |
JP2001167071A (ja) * | 1999-12-10 | 2001-06-22 | Toshiba Corp | サーバセッション管理装置 |
JP2002082926A (ja) * | 2000-09-06 | 2002-03-22 | Nippon Telegr & Teleph Corp <Ntt> | 分散アプリケーション試験・運用管理システム |
JP2002207712A (ja) * | 2000-11-09 | 2002-07-26 | Hewlett Packard Co <Hp> | 自動的に予備資源をアクティブ化する装置および方法 |
JP2003067351A (ja) * | 2001-08-28 | 2003-03-07 | Nec System Technologies Ltd | 分散型コンピュータの構成制御システム |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3308716B2 (ja) | 1994-07-13 | 2002-07-29 | 株式会社日立製作所 | 撮像装置 |
US6308236B1 (en) * | 1995-07-05 | 2001-10-23 | Via Technologies, Inc. | Local bus with dynamic decoding capability |
US5838968A (en) * | 1996-03-01 | 1998-11-17 | Chromatic Research, Inc. | System and method for dynamic resource management across tasks in real-time operating systems |
JPH09244940A (ja) * | 1996-03-12 | 1997-09-19 | Hitachi Ltd | 分散計算機資源の管理方法 |
JP3228182B2 (ja) | 1997-05-29 | 2001-11-12 | 株式会社日立製作所 | 記憶システム及び記憶システムへのアクセス方法 |
US6704489B1 (en) * | 1999-05-06 | 2004-03-09 | Matsushita Electric Industrial Co., Ltd. | Resource management system and digital video reproducing/recording apparatus |
US6516350B1 (en) * | 1999-06-17 | 2003-02-04 | International Business Machines Corporation | Self-regulated resource management of distributed computer resources |
US6463454B1 (en) * | 1999-06-17 | 2002-10-08 | International Business Machines Corporation | System and method for integrated load distribution and resource management on internet environment |
US6523065B1 (en) * | 1999-08-03 | 2003-02-18 | Worldcom, Inc. | Method and system for maintenance of global network information in a distributed network-based resource allocation system |
US6766348B1 (en) * | 1999-08-03 | 2004-07-20 | Worldcom, Inc. | Method and system for load-balanced data exchange in distributed network-based resource allocation |
US6308238B1 (en) * | 1999-09-24 | 2001-10-23 | Akamba Corporation | System and method for managing connections between clients and a server with independent connection and data buffers |
US6298290B1 (en) * | 1999-12-30 | 2001-10-02 | Niles Parts Co., Ltd. | Memory apparatus for vehicle information data |
US6938256B2 (en) * | 2000-01-18 | 2005-08-30 | Galactic Computing Corporation | System for balance distribution of requests across multiple servers using dynamic metrics |
US6675215B1 (en) * | 2000-02-17 | 2004-01-06 | Microsoft Corporation | Automatic baud rate detection of null modem unimodem client connection |
US20020049841A1 (en) * | 2000-03-03 | 2002-04-25 | Johnson Scott C | Systems and methods for providing differentiated service in information management environments |
US20020152305A1 (en) * | 2000-03-03 | 2002-10-17 | Jackson Gregory J. | Systems and methods for resource utilization analysis in information management environments |
US7171654B2 (en) * | 2000-05-25 | 2007-01-30 | The United States Of America As Represented By The Secretary Of The Navy | System specification language for resource management architecture and corresponding programs therefore |
JP2002041304A (ja) | 2000-07-28 | 2002-02-08 | Hitachi Ltd | 論理区画の予備リソース自動付与方法及び論理区画式計算機システム |
JP2002108839A (ja) | 2000-09-28 | 2002-04-12 | Mitsubishi Electric Corp | 通信ネットワークシステム、ジョブ割当方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US7069295B2 (en) * | 2001-02-14 | 2006-06-27 | The Escher Group, Ltd. | Peer-to-peer enterprise storage |
US6901446B2 (en) * | 2001-02-28 | 2005-05-31 | Microsoft Corp. | System and method for describing and automatically managing resources |
JP2002278905A (ja) | 2001-03-19 | 2002-09-27 | Toshiba Corp | ストレージ装置及び計算機ネットワークシステム |
US7035804B2 (en) * | 2001-04-26 | 2006-04-25 | Stenograph, L.L.C. | Systems and methods for automated audio transcription, translation, and transfer |
US7171690B2 (en) * | 2001-08-01 | 2007-01-30 | Mcafee, Inc. | Wireless malware scanning back-end system and method |
US7133907B2 (en) * | 2001-10-18 | 2006-11-07 | Sun Microsystems, Inc. | Method, system, and program for configuring system resources |
US7360034B1 (en) * | 2001-12-28 | 2008-04-15 | Network Appliance, Inc. | Architecture for creating and maintaining virtual filers on a filer |
US20040064558A1 (en) * | 2002-09-26 | 2004-04-01 | Hitachi Ltd. | Resource distribution management method over inter-networks |
US7328259B2 (en) * | 2002-11-08 | 2008-02-05 | Symantec Operating Corporation | Systems and methods for policy-based application management |
EP1422622A3 (en) * | 2002-11-15 | 2007-07-11 | Matsushita Electric Industrial Co., Ltd. | Apparatus, method and program for contention arbitration |
JP2005031771A (ja) * | 2003-07-08 | 2005-02-03 | Hitachi Ltd | ジョブスケジューリング管理方法及びシステム並びにプログラム |
JP3896111B2 (ja) * | 2003-12-15 | 2007-03-22 | 株式会社日立製作所 | リソース割り当てシステム、方法及びプログラム |
US20050131962A1 (en) * | 2003-12-16 | 2005-06-16 | Deshpande Sachin G. | Systems and methods for implementing a cache model |
-
2003
- 2003-03-31 JP JP2003095775A patent/JP4597488B2/ja not_active Expired - Fee Related
-
2004
- 2004-01-30 US US10/769,073 patent/US7424713B2/en not_active Expired - Fee Related
-
2007
- 2007-09-21 US US11/859,683 patent/US8677369B2/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62175832A (ja) * | 1986-01-29 | 1987-08-01 | Nec Corp | 電子計算機システムの資源管理方式 |
JPH08328880A (ja) * | 1995-05-31 | 1996-12-13 | Mitsubishi Electric Corp | 複数のアプリケーションプログラムを同時に実行できるオペレーティングシステムにおける計算機運転管理システム |
JPH09237256A (ja) * | 1996-02-29 | 1997-09-09 | Mitsubishi Electric Corp | 並列計算機における動的負荷分散方法 |
JPH10207847A (ja) * | 1997-01-27 | 1998-08-07 | Hitachi Ltd | 分散システムにおける自動負荷分散方式 |
JP2001167071A (ja) * | 1999-12-10 | 2001-06-22 | Toshiba Corp | サーバセッション管理装置 |
JP2002082926A (ja) * | 2000-09-06 | 2002-03-22 | Nippon Telegr & Teleph Corp <Ntt> | 分散アプリケーション試験・運用管理システム |
JP2002207712A (ja) * | 2000-11-09 | 2002-07-26 | Hewlett Packard Co <Hp> | 自動的に予備資源をアクティブ化する装置および方法 |
JP2003067351A (ja) * | 2001-08-28 | 2003-03-07 | Nec System Technologies Ltd | 分散型コンピュータの構成制御システム |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005101205A1 (ja) * | 2004-04-12 | 2005-10-27 | Hitachi, Ltd. | コンピュータシステム |
JP2006189971A (ja) * | 2004-12-28 | 2006-07-20 | Fujitsu Ltd | 高速情報処理装置、高速情報処理方法及びそのプログラム |
US7725430B2 (en) | 2004-12-28 | 2010-05-25 | Fujitsu Limited | High-speed information processing by coordination of information processing resources apparatus, including method, and computer-readable recording medium thereof |
JP4570952B2 (ja) * | 2004-12-28 | 2010-10-27 | 富士通株式会社 | 高速情報処理装置、高速情報処理方法及びそのプログラム |
JP4594874B2 (ja) * | 2005-02-28 | 2010-12-08 | 富士通株式会社 | ネットワークエリアにおける資源割当て方法、割当てプログラム、およびネットワークシステム |
JP2006270925A (ja) * | 2005-02-28 | 2006-10-05 | Fujitsu Ltd | ネットワークエリアにおける資源割当て方法、割当てプログラム、およびネットワークシステム |
JP2006252104A (ja) * | 2005-03-10 | 2006-09-21 | Yokogawa Electric Corp | アプリケーション起動方法及びこれを用いたアプリケーション起動装置 |
US8001226B2 (en) | 2005-06-29 | 2011-08-16 | Fujitsu Limited | Surplus determination system, management system, recording medium storing surplus determination program, and recording medium storing management program |
JP2008217285A (ja) * | 2007-03-02 | 2008-09-18 | Hitachi Ltd | 情報処理システムの運用管理装置および運用管理方法 |
JP4669487B2 (ja) * | 2007-03-02 | 2011-04-13 | 株式会社日立製作所 | 情報処理システムの運用管理装置および運用管理方法 |
JP2010122805A (ja) * | 2008-11-18 | 2010-06-03 | Hitachi Ltd | 仮想サーバシステム並びに物理cpu及び物理メモリの割り当て方法 |
WO2012056596A1 (ja) * | 2010-10-28 | 2012-05-03 | 株式会社日立製作所 | 計算機システム及び処理制御方法 |
US9396026B2 (en) | 2010-10-28 | 2016-07-19 | Hitachi, Ltd. | Allocating a task to a computer based on determined resources |
WO2013018289A1 (ja) * | 2011-08-04 | 2013-02-07 | 日本電気株式会社 | 計算機および性能データ収集方法 |
JP5534108B2 (ja) * | 2011-08-04 | 2014-06-25 | 日本電気株式会社 | 計算機および性能データ収集方法 |
WO2015001850A1 (ja) * | 2013-07-03 | 2015-01-08 | 日本電気株式会社 | タスク割り当て判定装置、制御方法、及びプログラム |
JPWO2015001850A1 (ja) * | 2013-07-03 | 2017-02-23 | 日本電気株式会社 | タスク割り当て判定装置、制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20080256546A1 (en) | 2008-10-16 |
JP4597488B2 (ja) | 2010-12-15 |
US20040194061A1 (en) | 2004-09-30 |
US7424713B2 (en) | 2008-09-09 |
US8677369B2 (en) | 2014-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4597488B2 (ja) | プログラム配置方法及びその実施システム並びにその処理プログラム | |
US11425194B1 (en) | Dynamically modifying a cluster of computing nodes used for distributed execution of a program | |
US20200387431A1 (en) | Providing executing programs with access to stored block data of others | |
US9280390B2 (en) | Dynamic scaling of a cluster of computing nodes | |
US8321558B1 (en) | Dynamically monitoring and modifying distributed execution of programs | |
US9755990B2 (en) | Automated reconfiguration of shared network resources | |
US8104038B1 (en) | Matching descriptions of resources with workload requirements | |
US8260840B1 (en) | Dynamic scaling of a cluster of computing nodes used for distributed execution of a program | |
US7765545B2 (en) | Method for automatically imparting reserve resource to logical partition and logical partitioned computer system | |
US9276987B1 (en) | Identifying nodes already storing indicated input data to perform distributed execution of an indicated program in a node cluster | |
US9037505B2 (en) | Mechanisms for executing a process in a cloud computing environment | |
JP4629587B2 (ja) | 予約管理プログラム | |
US7174379B2 (en) | Managing server resources for hosted applications | |
US20100100604A1 (en) | Cache configuration system, management server and cache configuration management method | |
US20200348863A1 (en) | Snapshot reservations in a distributed storage system | |
JP2004280485A (ja) | 計算機システム | |
JP2017138895A (ja) | 仮想化環境管理システムおよび仮想化環境管理方法 | |
JP2017091330A (ja) | 計算機システム及び計算機システムのタスク実行方法 | |
CN115617527A (zh) | 线程池的管理方法、配置方法、管理装置和配置装置 | |
JP2008059599A (ja) | 仮想化されたリソースの割当て方法及びその実施システム | |
CN113760441A (zh) | 容器创建方法、装置、电子设备及存储介质 | |
JP2011258222A (ja) | 業務リソース管理方法及びその実施システム | |
JP4932877B2 (ja) | 業務リソース管理方法及びその実施システム | |
US20230350723A1 (en) | Computer system and placement plan proposal method | |
US10116540B1 (en) | System, method, and computer program for managing data objects in a multiprocessor unit telecommunications network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070928 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100826 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100922 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |