JP2005174201A - リソース割り当てシステム、方法及びプログラム - Google Patents

リソース割り当てシステム、方法及びプログラム Download PDF

Info

Publication number
JP2005174201A
JP2005174201A JP2003416474A JP2003416474A JP2005174201A JP 2005174201 A JP2005174201 A JP 2005174201A JP 2003416474 A JP2003416474 A JP 2003416474A JP 2003416474 A JP2003416474 A JP 2003416474A JP 2005174201 A JP2005174201 A JP 2005174201A
Authority
JP
Japan
Prior art keywords
resource
application
resource allocation
information
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003416474A
Other languages
English (en)
Other versions
JP3896111B2 (ja
JP2005174201A6 (ja
Inventor
Yasushi Yamazaki
康司 山嵜
Shuji Fujino
修司 藤野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003416474A priority Critical patent/JP3896111B2/ja
Priority to US10/894,312 priority patent/US7565656B2/en
Publication of JP2005174201A publication Critical patent/JP2005174201A/ja
Publication of JP2005174201A6 publication Critical patent/JP2005174201A6/ja
Application granted granted Critical
Publication of JP3896111B2 publication Critical patent/JP3896111B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/5022Workload threshold

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

【課題】様々なアプリケーションの種類に対応して、サービスレベル目標に基づいた性能情報の測定結果に基づいて、リソースの割り当て変更を自動的に行う。
【解決手段】サーバ、ネットワーク、ストレージを含むリソース表304と、これらのリソース上で稼動するアプリケーションの構成要素を示すアプリケーション表303と、リソースのアプリケーションへの割り当て表305とを保持し、これらの構成情報から性能情報の測定項目を生成する性能測定項目テンプレート501、この性能情報の測定項目を性能測定エンジンによって測定する性能測定エンジン201、前記構成情報からリソースの割り当て変更に用いるリソース割り当て変更ルール302を生成する手段、および前記生成したリソース割り当て変更ルールと構成情報に従って、リソースの割り当て変更を行う。
【選択図】図1

Description

本発明は、アプリケーションの安定稼動を実現するため、リソースをアプリケーションに自動的に割り当てる技術に関する。
インターネット上のオンラインシステムや、企業内システムは、計算機上に稼動している多数のアプリケーションによって構成されている。これらのアプリケーションは計算機上で直接実行されているものもあるが、計算機上で稼動するインタープリタプログラム上で実行されているものもある。アプリケーションにはオンライン業務、バッチジョブ、などの様々な種類があり、それぞれが、アプリケーション固有の構成に従って設計・実装されたプログラムによって実現され、稼動している。
このようにアプリケーションの実装および稼動形態は様々であるが、アプリケーションの動作する環境は、アプリケーションとそれが稼動しているシステムリソースに二分でき、後者は特にホスティング環境と呼ばれている。アプリケーションを稼動させる計算機やそれらを接続するネットワークなどのシステム基盤の保守管理コストを削減するため、前記ホスティング環境の構築・保守業務をアウトソーシングする企業が多い。そのアウトソーシング先がデータセンタと呼ばれるサービス業者である。データセンタはアプリケーションが稼動するための計算機やネットワーク接続などのホスティング環境を提供する。例えば、企業ホームページのシステム基盤をアウトソーシングする場合がこのホスティング環境の利用に該当する。
また、計算機などの基盤上で稼動するアプリケーションそのものも、保守コスト削減の目的で、アプリケーションサービスプロバイダ(ASP)と呼ばれるサービスにアウトソーシングすることも多い。例えば、メールサーバの運営・保守業務をアウトソーシングする場合が好例である。
オンラインシステムであっても、企業内システムであっても、一般にアプリケーションはネットワーク分散した複数の計算機上で実現されている場合が多く、複雑な構成を持っている。複数の構成要素からなる業務アプリケーションを実現するシステムを安定稼動させるためには、システムの構成要素のどの部分に問題があるか、即ちボトルネックや異常が存在しているかどうかということを常に監視・分析する必要がある。前述の様に、アプリケーション構成は複雑であり、人手によって全てを監視し、問題に対処することは困難である。そのため、このプロセスを自動化しようとする試みがなされている。
ネットワークやサーバ計算機等のシステムリソースのリモート監視は一般的に行われており、非特許文献1に示すSNMP(Simple Network Management Protocol)などの標準化されたプロトコルを通じて、各種システムリソースを遠隔監視し、障害発生や故障を検知するということが可能である。また、非特許文献2に示すWBEM(Web Based Enterprise Management)の様に、Webベースでシステムリソースの管理を行うための仕様も策定されており、運用管理の容易化がキーポイントとなっている。
従来のシステムはこれらSNMP等によって得られた監視情報に基づいて、システム管理者が人手によって、システム構成変更や、障害の発生した機器のリプレースなどの作業を行っていた。この人手による作業を支援するために、測定した性能情報に基づいてシステムのどの要素に問題があるか、性能上のボトルネックがあるかということを分析し、システム構成の変更に利用する。これによってシステム管理者の負担が軽減され、システム運用管理コストが低下する効果がある。このようなボトルネックの解析を行うため、性能評価すべきWebシステム30に接続される複数のクライアントを仮想的に実現して性能測定用コンピュータに対して負荷を課してボトルネックを含む性能に関する情報を測定し、現用のWebシステムの性能に関する情報及びボトルネック回避に関する情報を含む評価するものが知られている(特許文献1)。
性能情報の測定から、システム構成の変更までの全てのプロセスを自動化するための指標としては、アウトソーシングを行う企業と、データセンタなどのサービスを提供する企業との間で締結される、サービス品質などに関する契約がある。これは一般にサービスレベル契約(SLA:Service Level Agreement)と呼ばれ、データセンタにおいてはサービスレベル契約に従ったサービスレベルを維持することが求められる。
このようなサービスレベルを自動的に維持するための技術としては、計算機の稼動状況のモニタ結果に基づき自動的にユーザ識別子ごとにサービスレベル契約と比較して計算資源の量を増減するもの(特許文献2)や、クライアントの利用パターンに応じて、共有サーバの資源をクライアントに割当てるもの(特許文献3)、サービスレベルに基づいてアプリケーションに割り当てる最大の資源を決定し、さらにユーザサービスレベルに基づいて資源割当率を決定して、両者の積によりアプリケーションに割り当てる各資源の資源量を決定するもの(特許文献4)等が知られている。
これらの手法を含め、実際にサービスレベル契約に基づいて、システムを自動的に運用管理するためには、サービスレベル目標(SLO: Service Level Objective)と呼ぶ具体的な指標を設定し、これを達成するようなフィードバック系を構築する方法が知られている。また、サービスレベル契約は具体的なサービスレベル目標値を指定して締結されることが多い。
特開2003−131907号公報 特開2002−24192号公報 特開2002−318791号公報 特開2001−195268号公報 SNMP仕様書(RFC1157)、IETF発行、「平成15年11月18日検索」、インターネット<URL:http://www.ietf.org/rfc/rfc1157.txt> WBEM仕様書、DMTF発行、「平成15年11月18日検索」、インターネット<URL:http://www.dmtf.org/standards/wbem>
しかしながら、前記従来技術では、アプリケーションの種別を限定してリソースの割り当てプロセスを自動化するために、測定する性能情報の項目や測定結果に基づいたリソースの割り当て変更ルールを、あらかじめ測定プログラムあるいは、リソースの割り当て変更プログラムに埋め込んで置く必要がある。
つまり、性能情報の測定や測定結果に基づいたボトルネック解析がアプリケーション固有の構成に依存しているため、新しい種類のアプリケーションに対応したリソース割り当てを行うためには、性能情報測定プログラムやリソース割り当て変更プログラムに対して、性能情報測定項目やリソース割り当て変更ルールを新規に実装する必要があり、新たなアプリケーションを実行する度に、前述のような測定項目や変更ルールを作成しなければならない、という問題があった。
また、実際のサービスレベル目標はオンラインアプリケーションにおけるレスポンスタイムの様な比較的抽象度の高い物理的指標として表現されることが多い。アプリケーションは一般に複数の要素によって構成されているために、各構成要素のレスポンスタイムの様な、より具体的な性能指標の形で表されなくてはサービスレベル目標を維持することができない、という問題があった。
そこで本発明は、上記問題点に鑑みてなされたもので、様々なアプリケーションの種類に対応して、サービスレベル目標に基づいた性能情報の測定を行うことを目的とし、さらに、性能情報の測定結果に基づいて、リソースの割り当て変更を自動的に行うことを目的とする。
本発明は、サーバ、ネットワーク、ストレージを含むリソース群の構成情報と、これらのリソース上で稼動するアプリケーションの構成情報と、前記リソースのアプリケーションへの割り当て情報とを構成管理手段に保持しておき、これらの構成情報から性能情報の測定項目を生成する測定項目生成手段、および前記生成した性能情報の測定項目を性能測定エンジンによって測定する性能測定手段、前記構成管理エンジンに保持されている構成情報から、リソースの割り当て変更に用いるリソース割り当て変更ルールを生成する手段、および前記生成したリソース割り当て変更ルールと構成情報に従って、リソースの割り当て変更を行う。
また、様々なアプリケーションの種別に対応するために、アプリケーション固有の構成を記述する手段および、記述したアプリケーション構成に従って前記性能情報の測定項目とリソース割り当て変更ルールを生成する。
さらに、抽象度の高いサービスレベル目標を、抽象度の低いサービスレベル目標に分解して測定項目の生成とリソース割り当て変更ルールを生成する。
したがって、本発明は、性能情報の測定結果に基づいてシステムのボトルネックとなっているリソースに対して、適切なリソースを自動的に割り当てることが可能となり、管理者などの労力を低減しながらも、システム(リソース)に要求されるサービスレベルを満足させてアプリケーションの安定稼動を実現することが可能となる。
以下、本発明の一実施形態を添付図面に基づいて説明する。
図1は、本実施形態の一例を示すシステムの構成図で、管理サーバ101がWebコンテナ103〜105、AP(アプリケーション、以下同様)コンテナ106、107、DBサーバ108の3層からなる3階層Webアプリケーションシステム(管理対象リソース群205)を監視して、Webコンテナの稼動状態が所定の条件(例えば、レスポンスタイムが1秒以上)になった場合に、Webコンテナを追加するという処理を自動的に行うリソース割り当てシステムの一例を示す。
管理サーバ101は、本発明によるリソース割り当てシステムが稼動しているサーバ計算機で、図示はしないが、CPU、メモリ、ストレージを備えるものである。管理サーバ101上ではリソース割り当てシステムを構成する性能測定エンジン201、リソース管理エンジン202、構成管理エンジン203、およびテンプレートリポジトリ204が稼動している。
なお、図1では、前記各エンジン201〜204の各コンポーネントが同一の管理サーバ101上で稼動している例を示しているが、複数の管理サーバ上でそれぞれが独立して稼動していてもよく、それぞれのエンジンが複数あり、それらがネットワーク上で連携して動作していてもよい。
Webコンテナ103〜105、APコンテナ106、107およびDBサーバ108はネットワーク102を介して管理サーバ101と接続されている。3階層Webアプリケーション機能を実現するネットワーク接続は、ネットワーク102と同一であってもよいし、別々であってもよいが、実施形態では同一のネットワーク102を共有するものとする。
Webコンテナ103〜105では、それぞれWebサービスを行うアプリケーションが実行される。AP(アプリケーション)コンテナ106、107ではWebコンテナ103〜105からの要求に応じてDB(データベース)コンテナ108へデータを要求し、抽出したデータを要求に応じた形式で返送するアプリケーションが実行され、このアプリケーションとしては、例えば、EJB(Enterprise Java(登録商標)Beans)やCGIなどである。また、DBコンテナ108では、APコンテナ106、107からの要求に応じてデータベースからデータを検索するデータベースアプリケーションが実行される。
ネットワーク102は、企業内のローカルエリアネットワークのような小規模のものでもよいし、インターネットのような大規模のものでもよい。
リソース割り当てシステムを構成する性能測定エンジン201は、後述するように性能測定項目表301(図5参照)を作成し、性能測定制御部401を含んでいる。性能測定項目表301は管理対象リソース群205に関する性能情報の測定項目一覧が保存されており、性能測定制御部401は前記性能測定項目表301に従って、管理対象リソース群205を構成する各コンテナ(コンポーネント)の性能測定を行う。なお、実際の性能測定処理は性能測定エンジン201自身が行っても良いし、別の性能測定プログラムが行っても良く、本実施形態では、各コンテナで性能測定プログラムをそれぞれ実行し、これらの測定結果を性能測定エンジン201が取得するものとする。
リソース管理エンジン202は、管理対象リソース群205に関するリソース割り当て変更ルール表302(図6参照)を保持し、リソース割り当て制御部402を含んでいる。リソース割り当て変更ルール表302には、管理対象リソース群205の性能情報の測定結果にしたがって、リソース割り当てを変更するリソース割り当て変更ルールがリソース毎に詳細な変更ルールとして保持されており、リソース管理制御部402によって当該ルールが実行・処理される。
図6において、リソース割り当て変更ルール表302は、ルールIDに対応して、指定したリソース(コンテナ)の稼動状態に応じて、3階層Webアプリケーションのリソース割り当てを変更するルール(条件)がそれぞれ設定される。例えば、ルールID=1には、Webコンテナ103のレスポンスタイム(応答時間)が1秒を超えたら、3階層WebアプリケーションにひとつのWebコンテナを追加する、というリソース割り当て変更の条件が保持される。
構成管理エンジン203は、図7(A)に示すアプリケーション表303、図7(B)に示すリソース表304、および図7(C)に示すアプリケーションとリソースの間の割り当て情報を含む割り当て表305の3つの表を保持している。
アプリケーション表303は、図7(A)のように、管理対象リソース群205で実行されるアプリケーションの構成情報を、構成要素の階層構造の形で保持している。例えば、アプリケーションID=1には、アプリケーション全体を指す3階層Webアプリケーションがアプリケーション名に設定され、親子関係を示す親アプリケーション欄には、ブランクが設定される。つまり、3階層Webアプリケーションは最上位のアプリケーションとして設定される。そして、アプリケーションID=2には、アプリケーション名にWebアプリケーションが設定され、このアプリケーションIDの親アプリケーション欄には、アプリケーションID=0が設定される。他のアプリケーションIDについても、それぞれ上記と同様に設定される。
次に、リソース表304は、図7(B)で示すように、システムリソースのリソースIDとリソース名との関連を保持している。
つまり、リソースID毎に、管理対象リソース群205を構成する全てのコンテナの名称がそれぞれ設定されており、リソースID=1〜3には、Webコンテナ103〜105が設定され、リソースID=4、5にはAPコンテナ106、107が設定され、リソースID=6にはDBサーバ108が設定される。なお、このリソース表304には、管理対象リソース群205を構成する全てのコンポーネントを記載する。
図7(C)に示す、割り当て表305は、どのリソースがどのアプリケーションに割り当てられているかを示す表であり、上記図7(B)のリソース表304のリソースIDと、図7(A)のアプリケーション表303のアプリケーションIDとの関連が保持されている。例えば、リソースID=1には、アプリケーションID=2が割り当てられていることから、リソース表304とアプリケーション表303から、リソースID=1のWebコンテナ103が、アプリケーションID=2のWebアプリケーションを実行していることを指し示している。
また、テンプレートリポジトリ204には、3階層Webアプリケーション用の性能測定項目テンプレート501およびリソース割り当てテンプレート502が格納されている。テンプレートリポジトリ204の内容を図3に示す。
テンプレートリポジトリ204は、前記性能測定エンジン201、リソース管理エンジン202で利用する性能測定項目リスト(テンプレート501)とリソース割り当て変更ルール(テンプレート502)のテンプレート情報の組を格納しておくエンジンであり、アプリケーションの種別ごとに1組のテンプレートをあらかじめ格納しておく。本実施形態では3階層アプリケーションを想定しているため、図3で示すように、3階層アプリケーションに要求されるリソース全体の性能を指示するサービスレベル目標を満足するように設定されたテンプレートが格納されている。
まず、性能測定項目テンプレート501には、3階層アプリケーションを実行する管理対象リソース群205のコンテナ(コンポーネント)についてどのような性能について測定するのか、測定すべき性能の項目がコンテナの種別毎に定義される。例えば、性能測定項目テンプレート501の測定項目ID=1は、測定対象がWebコンテナで、測定内容がレスポンスタイムであることが定義され、測定項目ID=2は、測定対象がAPコンテナで、測定内容がレスポンスタイムであることが定義されている。なお、DBサーバは管理対象リソース群205内に1台しか存在しないので、本実施形態ではリソース割り当て変更の対象とはならない。もちろん、複数のDBサーバが存在する場合では、性能測定項目テンプレート501に測定対象をDBサーバとした測定項目IDを作成すればよい。
次に、テンプレートリポジトリ204でリソース割り当て変更ルールを規定するリソース割り当て変更ルールテンプレート502は、図3で示すように、上記性能測定項目テンプレート501で定義された測定項目IDに対応して、リソース割り当てを変更する条件が設定されている。
例えば、図3ではルールID=1に対応する性能測定項目テンプレート501の測定項目ID=1には、Webコンテナのレスポンスタイムが1秒を超えたらWebコンテナを一台追加する、というリソース割り当ての変更条件が定義されている。同様に、測定項目ID=2には、性能測定項目テンプレート501の測定項目ID=2に対応するAPコンテナのレスポンスタイムが1秒を超えたらAPコンテナを追加する、という変更条件が定義されている。
このように、テンプレートリポジトリ204には、3階層アプリケーションに要求される性能を満たすのに必要な各コンテナの性能の測定項目と、性能を維持するための性能の閾値と、閾値を超えたときのリソースの変更条件が設定されている。なお、本実施形態では、性能が低下したとき(レスポンスタイムが1秒を超えたとき)にリソースを追加する例を示したが、性能が余剰となったとき(例えば、レスポンスタイムが0.3秒以下となったとき等)には、コンテナを削減するように設定することができる。また、上記テンプレート501、502はアプリケーションの作成者や管理者が、新しい種別のアプリケーションを稼動しようとするときに作成するものである。
次に、初期状態割り当て状態における、各表の内容を説明する。
図4は初期状態のリソースのアプリケーションへの割り当て状態を示す説明図であり、3階層Webアプリケーション601は、図1の管理対象リソース群205を構成する各コンテナ103〜108で実行されるWebアプリケーション602、APアプリケーション603、DBアプリケーション604によって階層的に構成されている。このアプリケーション構成情報は、上述した図7(A)のアプリケーション表303に含まれており、アプリケーション表303のそれぞれの列にはアプリケーションのIDとアプリケーション名および、そのアプリケーションの親となるアプリケーションのIDが含まれている。
図4のリソース割り当て情報801に示すように、Webアプリケーション602、APアプリケーション603、DBアプリケーション604にはそれぞれ、Webコンテナ103、104、APコンテナ106、107、DBサーバ108のリソースが割り当てられている。
システムに存在する全てのリソースは図7(B)のリソース表304に記述されており、リソース表304にはリソースのIDとリソース名が含まれている。なお、図中破線で示す枠外にあるWebコンテナ105は、3階層アプリケーションは割り当てられておらず、待機中の状態を示す。リソースの割り当て情報801の内容は図7(C)の割り当て表305に記憶されており、それぞれの列がリソースのIDとアプリケーションのIDを含んでおり、割り当てられているリソースIDとアプリケーションIDの関係を示している。
図4の初期状態では、図3のテンプレート501、502と図7(A)〜(C)の構成情報に従って図5の性能測定項目表301と図6のリソース割り当て変更ルール表302が作成されている。
次に図2に従って、性能情報に基づいてリソース割り当て変更を行う処理の流れを説明する。
まず、性能測定エンジン201はテンプレートリポジトリ204に対して、性能測定項目テンプレート要求701を送信する。その結果としてテンプレートリポジトリ204は、性能測定エンジン201に性能測定項目テンプレート応答702によって性能測定項目テンプレート501を返す。
次に性能測定エンジン201は、現在の構成情報を取得するために構成情報要求703を構成管理エンジン203に対して送信する。その結果、構成管理エンジン203は要求された構成情報すなわちアプリケーション表303、リソース表304、及び割り当て表305を性能測定エンジン201に構成情報応答704によって返す。
次に、性能測定エンジン201内の性能測定制御部401は、前記受け取った性能測定項目テンプレート501と、構成情報に従って、図6に示す具体的な性能測定項目表301を作成する。
性能測定項目テンプレート501にはアプリケーションの構成情報に対応した性能測定項目が記述されているため、性能測定制御部401は、これを割り当てられているリソースに対応する性能測定項目に変換し、図5に示した性能測定項目表301を作成する。
すなわち、性能測定エンジン201は、テンプレートリポジトリ204から取得した性能測定項目テンプレート501に記載された測定項目IDと測定項目から、管理対象リソース群205のどのコンポーネントからどのような性能情報を測定するのかを決定する。そして、現在稼動状態のアプリケーションとリソースの関係を示す割り当て表305が指し示すリソースから、上記決定に基づいたコンポーネントをリソース表304から選択して、性能測定項目表301を作成するのである。
例えば、性能測定項目テンプレート501の測定項目ID=1から測定対象がWebコンテナで、測定内容がレスポンスタイムであることから、現在の割り当て表305のリソースIDから、対象となるWebコンテナをリソース表304から選択する。この結果、現在稼動状態のリソースID=1、2のWebコンテナ103、104が選択されて性能測定項目表301の測定項目ID=1、2に記載される。
次に、性能測定エンジン201は、管理対象リソース群205の各コンテナでそれぞれ稼動している性能測定プログラムに、前記作成した性能測定項目表301の測定を指示するメッセージ705を送信し、性能測定結果706を受信する。性能測定エンジン201は受信した性能測定結果706をリソース管理エンジン202に転送する。
次に、リソース管理エンジン202は、テンプレートリポジトリ204に対して、リソース割り当て変更ルールテンプレート要求708を送信し、その結果、リソース割り当て変更ルールテンプレート応答709によって、リソース割り当て変更ルールテンプレート502を受け取る。
リソース割り当て変更ルールテンプレート502は、測定した性能情報に従ってリソース割り当てを変更するためのルールを記述しておき、上述のようにそれぞれのルールを具体的なリソースに対応したルールに変換したもので構成される。
テンプレートリポジトリ204は、管理対象リソース群205の各コンテナで実行される3階層Webアプリケーション601の全体的な性能が与えられると、性能測定項目テンプレート501に設定された各測定項目IDの測定内容が、全体的な性能を満たすようにルールの詳細を作成しておく。
次に、リソース管理エンジン202は、構成情報要求710を構成管理エンジン203に送信する。その結果、構成管理エンジン203は要求された構成情報すなわちアプリケーション表303、リソース表304、及び割り当て表305を構成情報応答711によってリソース管理エンジン202に返す。リソース管理エンジン202内のリソース割り当て制御部402は、取得した構成情報と前記取得したリソース割り当て変更ルールテンプレート502に従って、リソース割り当て変更ルール表302を生成する。
ここで、本実施形態では、性能の測定結果が図8で示すようにリソースID=1のWebコンテナ103が閾値を超えた場合について説明する。図6のリソース割り当て変更ルールのうち、ルールID=1のルールが実行されることになる。
従って、リソース割り当て制御部402は、構成管理エンジン203に対して割り当て変更712としてWebコンテナを追加する処理を要求する。これを受けた構成管理エンジン203は、図7(B)のリソース表304と図7(C)の割り当て表305から、アプリケーションが割り当てられていないWebコンテナ105を選択し、このWebコンテナ105にアプリケーションID=2のWebアプリケーション602を割り当てることでリソースを追加し、割り当て変更を実行する(713)。
図9は割り当てを変更した後のリソースへのアプリケーションへの割り当てを示す模式図を示している。リソース割り当て情報802によって、新規にWebコンテナ105がWebアプリケーション602に関連づけられている。構成管理エンジン203内の構成情報は図12(A)〜(C)のようになっており、リソース割り当て情報802の内容は図12(C)の割り当て表308で表される。図12(C)の割り当て表308における最終行が新たに追加された割り当てを示す。また、このリソース割り当て変更に伴って、次回の図2の手順実行時の性能測定項目表306および、リソース割り当て変更ルール表307は、それぞれ図10、図11のように新たにテンプレートから生成されることになる。この新しく生成された表を、次回の処理に用いることで変更されたリソース割り当てに対応できるようになる。
以上のような手順を繰り返し行うことで、性能情報項目テンプレート501およびリソース割り当て変更ルールテンプレート502に記述された内容に従って、常に安定的にアプリケーションを稼動させることができる。
したがって、性能測定項目テンプレート501とリソース割り当て変更ルールテンプレート502をサービスレベルの目標を満足する値に設定しておくことにより、様々なアプリケーションの種類に対応して、サービスレベル目標に基づいた性能情報の測定を行うことができ、さらに、性能情報の測定結果に基づいて、リソースの割り当て変更を自動的に行うことが可能となる。特に、テンプレートリポジトリ204にはシステム全体の性能を満足させるための性能測定項目テンプレート501とリソース割り当て変更ルールテンプレート502を設けたので、システムのボトルネックとなっているリソースに対して、適切なリソースを自動的に割り当てることが可能となる。これにより、管理者などの労力を低減しながらも、サービスレベルを満足させてアプリケーションの安定稼動を実現することが可能となる。
さらに、アプリケーションの種類を追加したときには、アプリケーションに応じたテンプレート501、502及びリソース割り当て変更ルール表302を生成することでシステムを変更することなく対応可能となり、可用性を高めることができる。
また、構成管理エンジン203に保持されている構成情報から、リソースの割り当て変更に用いるリソース割り当て変更ルール502を分析、生成し、前記生成したリソース割り当て変更ルール502と構成情報に従って、リソースの割り当て変更を行うことにより、分析結果に従って、サービスレベル目標を達成するリソースの割り当て変更を自動的に行うことが可能となる。
また、新しいアプリケーションの種別に対応するために、アプリケーション固有の構成を記述するアプリケーション表303および、記述したアプリケーション構成に従って上記性能情報の測定項目(測定項目テンプレート501)とリソース割り当て変更ルール(リソース割り当て変更ルールテンプレート502)を生成するテンプレートリポジトリ204を設けることで、さまざまなアプリケーション種別に対応して、測定項目やリソース割り当て変更ルールを自動的に生成するための枠組みを提供することができ、新規アプリケーション種別に対しても柔軟に対応できる。
以上のような本発明を、企業内のリソース割り当てシステムに適用すれば、企業内システムは、各種申請処理、給与計算などの日常的なバッチジョブを処理するシステムや、各種オンラインシステムによって構成されており、システム規模が大規模なものになっている。従って、これらの業務処理のためのシステムリソースの効率利用は大きな課題となっており、本発明のリソース割り当てシステムによって企業内システムにおける様々なアプリケーション種別のシステムに割り当てるリソースを一元的に管理することが可能になり、コスト削減が可能になる。
あるいは、データセンタのリソース割り当てシステムに適用すれば、複数の企業からのアウトソーシング先であるデータセンタでは、様々な種類のアプリケーションに対応してデータセンタ内のシステムリソースを割り当てなくてはならない。本発明によって、このリソース割り当て作業を自動的に行うことが可能になり、データセンタの運営コストを削減することが可能になる。
なお、上記においては監視対象リソース205として、Webコンテナ103〜105、APコンテナ106、107、DBサーバ108の3つの構成を例示したが、実際にはサーバ計算機、ネットワーク、ストレージなど様々なシステムリソースが含まれるため、特にこれらのリソースに限定するものではない。
図13〜図21は第2の実施形態を示す。本第2実施形態では前記第1実施形態の3階層Webアプリケーションシステムに代わって、データベース管理システム(DBMS)およびストレージの2層からなるDBMSストレージ連携アプリケーションシステムに本発明を適用した一例を示し、ストレージ空き容量が一定以下になった場合に、ストレージの構成変更を行うという処理を自動的に行うリソース割り当てシステムの動作について説明する。
監視対象リソースとしては、第2実施形態ではDBMSおよびストレージの2つのみであるが、実際にはサーバ計算機、ストレージ装置(SANやNASを含む)、ネットワークなど様々なシステムリソースが含まれるため、特にこれらのリソースに限定するものではない。
図13は、計算機ネットワークのシステム構成を示す。
図13の管理サーバ101は、前記第1実施形態と同様に、リソース割り当てシステムが稼動しているサーバ計算機である。管理サーバ101上では性能測定エンジン201、リソース管理エンジン202、構成管理エンジン203、およびテンプレートリポジトリ204が稼動している。
図13では、前記201〜204の各コンポーネントが同一の管理サーバ上で稼動している例を示しているが、複数の管理サーバ上で稼動していてもよく、それぞれのエンジンが複数あり、それらがネットワーク連携して動作していてもよい。
DBサーバ109〜110、およびストレージ管理プログラム111はネットワーク102を介して管理サーバ101と接続されている。ストレージ管理プログラム111は物理ストレージ装置を仮想化した仮想ストレージ112をDBサーバ109〜110に対して提供している。DBアプリケーション機能を実現するネットワーク接続は、ネットワーク102と同一であってもよいし、別々であってもよいが、実施形態では同一のネットワーク102を共有するものとする。ネットワーク102は、企業内のローカルエリアネットワークのような小規模のものでもよいし、インターネットのような大規模のものでもよい。
性能測定エンジン201は、前記第1実施形態と同様に、図16に示す性能測定項目表309を保持し、性能測定制御部401を含んでいる。性能測定項目表309は管理対象システムに関する性能情報の測定項目一覧が保存されており、性能測定制御部401は前記性能測定項目表309に従って、性能測定を行う。実際の性能測定処理は性能測定エンジン201自身が行っても良いし、別の性能測定プログラムが行っても良い。実施形態では、仮想ストレージ112に関する性能測定は性能測定エンジンがストレージ管理プログラム111に問い合わせることとする。
リソース管理エンジン202は、図17に示すリソース割り当て変更ルール表310を保持し、リソース割り当て制御部402を含んでいる。リソース割り当て変更ルール表310には、性能情報の測定結果にしたがってリソース割り当てを変更するリソース割り当て変更ルールが保持されており、リソース管理制御部402によって当該ルールが実行・処理される。本第2実施形態では、仮想ストレージ112に関する割り当て変更処理は、ストレージ管理プログラム111を制御することで行う。
構成管理エンジン203は、図18(A)〜(C)のアプリケーション表311、リソース表312、およびアプリケーションとリソースの間の割り当て情報を含む割り当て表313の3つの表を保持している。アプリケーション表311はアプリケーションの構成情報を、構成要素の階層構造の形で保持している。リソース表312はシステムリソースのリソースIDとリソース名およびその属性(ストレージ容量など)との関連を保持している。割り当て表313はどのリソースがどのアプリケーションに割り当てられているかを示す表であり、リソースIDとアプリケーションIDおよびリソースの割り当て割合(割り当て率)が保持されている。
また、テンプレートリポジトリ204には、DBMSストレージ連携アプリケーション用の性能測定項目テンプレート503およびリソース割り当てテンプレート504が格納されている。テンプレートリポジトリ204の内容を図14に示す。テンプレートリポジトリ204は前記性能測定エンジン201、リソース管理エンジン202で利用する性能測定項目リスト(性能測定項目テンプレート503)とリソース割り当て変更ルールのテンプレート情報(テンプレート504)の組を格納しておくエンジンであり、アプリケーションの種別ごとに1組のテンプレートをあらかじめ格納しておく。本第2実施形態ではDBMSストレージ連携アプリケーションを想定しているため、DBMSストレージ連携アプリケーション用のテンプレートが格納されている必要がある。このテンプレートはアプリケーションの作成者または管理者が、新規種別のアプリケーションを稼動しようとするときに作成する。
次に、初期状態割り当て状態における、各表の内容を説明する。
図15は初期状態のリソースのアプリケーションへの割り当て状態を示す説明図であり、DBMSストレージ連携アプリケーション605、DBアプリケーション606、仮想ストレージアプリケーション607によって階層的に構成されている。このアプリケーション構成情報は図18(A)のアプリケーション表311に含まれており、アプリケーション表311のそれぞれの列にはアプリケーションのIDとアプリケーション名および、そのアプリケーションの親となるアプリケーションのIDが含まれている。図15に示すようにリソース割り当て情報803によって、DBアプリケーション606にはDBサーバ109〜110、ストレージアプリケーション607にはストレージ管理プログラム111経由で仮想ストレージ112が割り当てられている。
システムに存在する全てのリソースは図18(B)のリソース表312に記述されており、リソース表312にはリソースのIDとリソース名が含まれている。リソースの割り当て情報803の内容は図18(C)の割り当て表313に記憶されており、それぞれの列がリソースのIDとアプリケーションのIDを含んでおり、割り当てられているリソースとアプリケーションの関係を示している。
初期状態では、図14の各テンプレート503、504と図18の構成情報に従って図16の性能測定項目表309と図17のリソース割り当て変更ルール表310が作成されている。
次に前記第1実施形態の図2に従って、性能情報に基づいてリソース割り当て変更を行う処理の流れを説明する。
まず、性能測定エンジン201はテンプレートリポジトリ204に対して、性能測定項目テンプレート要求701を送信する。その結果としてテンプレートリポジトリは性能測定エンジンに性能測定項目テンプレート応答702によって性能測定項目テンプレート503を返す。次に性能測定エンジン201は、現在の構成情報を取得する構成情報要求703を構成管理エンジンに対して送信する。その結果、構成管理エンジン203は要求された構成情報すなわちアプリケーション表311、リソース表312、及び割り当て表313を性能測定エンジン201に構成情報応答704によって返す。性能測定エンジン201内の性能測定制御部401は、前記受け取った性能測定項目テンプレート503と、構成情報に従って、具体的な性能測定項目表309を作成する。
性能測定項目テンプレート503にはアプリケーションの構成情報に対応した性能測定項目が記述されているため、性能測定制御部401は、これを割り当てられているリソースに対応する性能測定項目に変換する。次に、性能測定エンジン201は、監視対象リソース上で稼動している性能測定プログラムに前記作成した性能測定項目の測定を指示するメッセージ705を送信し、性能測定結果706を受信する。性能測定エンジン201は受信した性能測定結果706をリソース管理エンジン202に転送する。次に、リソース管理エンジン202は、テンプレートリポジトリ204に対して、リソース割り当て変更ルールテンプレート要求708を送信し、その結果、リソース割り当て変更ルールテンプレート応答709によって、リソース割り当て変更ルールテンプレート504を受け取る。リソース割り当て変更ルールテンプレート504は、測定した性能情報に従ってリソース割り当てを変更するためのルールを記述しておき、それぞれのルールを具体的リソースに対応したルールに変換する。
次に、リソース管理エンジン202は、構成情報要求710を構成管理エンジン203に送信する。その結果、構成管理エンジン203は要求された構成情報すなわちアプリケーション表311、リソース表312、及び割り当て表313を構成情報応答711によってリソース管理エンジン202に返す。リソース管理エンジン202内のリソース割り当て制御部402は、取得した構成情報と前記取得したリソース割り当て変更ルールテンプレート504に従って、リソース割り当て変更ルール表310を生成する。
ここで、本第2実施形態では、図19のように、仮想ストレージ111の空き容量が500MBとなって、リソース割り当て変更ルールテンプレート504の閾値である1GBを下回った性能測定結果を得たと想定するため、図17のリソース割り当て変更ルールのうち、ルールIDが1のルールが実行されることになる。
従って、リソース割り当て制御部402は、構成管理エンジン203に対して割り当て変更712としてストレージ管理プログラム111を制御し、仮想ストレージ112の論理ボリュームサイズを追加する処理を要求し、構成管理エンジン203はこれを実行する(713)。
図20は割り当てを変更した後のリソースのアプリケーションへの割り当て状態を示す説明図を示している。リソース割り当て情報804によって、新規に仮想ストレージ112の論理ボリュームサイズの関連づけが更新される。構成管理エンジン203内の構成情報は図21のようになり、リソース割り当て情報804は図21(C)の割り当て表314で表される。割り当て表314における最終行が、割り当て率が変更された部分を示し、リソースID=3の仮想ストレージ111に対して、アプリケーションID=3の仮想ストレージアプリケーション607が60%の記憶領域を割り当てたことを示している。
以上のような手順を繰り返し行うことで、性能情報項目テンプレート503およびリソース割り当て変更ルールテンプレート504に記述された内容に従って、システムのボトルネックを検知して、リソース割り当て変更を自動的に行うことで、サービスレベルを満足しながら常に安定的にアプリケーションを稼動させることができるのである。
図22は、第3の実施形態を示し、前記第1実施形態のテンプレートリポジトリ204が、抽象度の高いサービスレベル目標を実現するような、測定項目およびリソース割り当て変更ルールのテンプレートを生成するもので、その他の構成は前記第1実施形態と同様である。
例えば、アプリケーションシステムのトータルレスポンスタイムがサービスレベル目標として指定されていた場合、より具体的なサービスレベル目標の形に分解しなければならない。すなわち、システムのどの部分にボトルネックがあるかということを解析するルールが必要である。
したがって、前記第1実施形態の3階層Webアプリケーション601では、Webコンテナ、APコンテナ、DBサーバの全てのパスを通るリクエストのレスポンスが一定時間以下で帰ってくるというサービスレベル目標があった場合、それぞれの構成要素に対応するルールを生成するというメタテンプレート505を用意しておく。
図22のメタテンプレート505のルールをアプリケーションの構成情報(例えば、図7の割り当て表305)にしたがって分解して、例えば図3に示した性能測定項目テンプレート501およびリソース割り当て変更ルールテンプレート502を得る。
例えば、メタテンプレート505には、サービスレベル目標として、3階層Webアプリケーション601のシステム全体的なレスポンスタイムが3秒未満に設定されていたとする。テンプレートリポジトリ204は、図7(A)に示すアプリケーションの階層構造から、3つのアプリケーションであることから、各アプリケーションのレスポンスタイムが1秒未満となるように、サービスレベル目標を配分する。
次に、テンプレートリポジトリ204は、図7(B)のリソース表304と図7(C)の割り当て表305からリソースの割り当て変更が可能なコンポーネント(コンテナ)として、WebコンテナとAPコンテナを選択する。ここでは、DBサーバ108は一つしかないのでリソースの割り当て変更が不能と判定する。
上記のように、選択したリソースの割り当て変更対象について、サービスレベル目標に基づいて測定項目を決定する。すなわち、サービスレベル目標がレスポンスタイムで定義されているので、測定項目としてレスポンスタイムを選択し、図22に示すように、測定項目ID=1にWebコンテナ、ID=2にAPコンテナを設定した性能測定項目テンプレート501を生成する。
次に、測定項目IDの生成に伴って、リソース割り当て変更ルールテンプレート502にルールIDを生成し、3つのアプリケーションへ均等に分配したレスポンスタイム<1秒を、各ルールID閾値として設定し、さらに、リソース割り当て変更の内容として、測定項目IDに設定したコンテナの種類を追加するようにルールを定義する。
これらの生成されたテンプレートを用いて上述した図2の流れに従って本発明で提案するリソース割り当てシステムを稼動させることで図22の内容のようなサービスレベル目標を達成するように、測定した性能に基づいてリソースの割り当て変更を行うことができる。
このように、メタテンプレート505に設定したサービスレベル目標から管理対象のリソース群の構成要素に応じてリソースの割り当て変更の対象と、割り当て変更を行う条件を抽出して性能測定項目テンプレート501とリソース割り当て変更ルールテンプレート502を分析して生成することで、高レベルのサービスレベル目標を、より物理リソースに対応した具体的なサービスレベル目標の形に変換することが可能となって、高度なシステム管理の自動化をさらに推進することができる。
つまり、抽象度の高いサービスレベル目標を、抽象度の低いサービスレベル目標に分解するための枠組み(メタテンプレート505)を導入することで、高レベルなサービスレベル目標に対する汎用的な枠組みを提供することができるのである。
なお、上記第3実施形態においては、サービスレベル目標をレスポンスタイムが3秒未満として、各リソース(Webコンテナ、APコンテナ、DBサーバ)のレスポンスタイムへ均等に配分したが、サービスレベル目標を達成可能な範囲で、各リソースの性能に応じてレスポンスタイムを不均一に設定しても良い。
以上のように、本発明によれば、企業内システムにおけるリソース割り当てシステムや管理サーバ、データセンタにおけるリソース割り当てシステムまたは管理サーバに適用することができる。
第1の実施形態を示すシステムの全体構成図。 リソース割り当てシステムの動作手順の一例を示すシーケンス図。 性能測定項目テンプレートと、リソース割り当て変更ルールテンプレートの内容を示す説明図。 初期割り当て状態のアプリケーションおよびリソースの構成情報を示す説明図。 初期割り当て時の性能測定項目表を示す説明図。 初期割り当て時のリソース割り当て変更ルール表を示す説明図。 初期割り当て時の構成管理エンジンにおける構成情報を示し、(A)はアプリケーション表、(B)はリソース表、(C)は割り当て表の内容をそれぞれ示す説明図。 性能測定結果一覧を示す説明図。 リソース割り当て変更後のアプリケーションおよびリソースの構成情報を示す説明図。 リソース割り当て変更後の性能測定項目表の内容を示す説明図。 リソース割り当て変更後のリソース割り当て変更ルール表の内容を示す説明図。 リソース割り当て変更後の構成管理エンジンにおける構成情報を示し、(A)はアプリケーション表、(B)はリソース表、(C)は割り当て表の内容をそれぞれ示す説明図。 第2の実施形態を示し、システムの全体構成図。 同じく第2の実施形態の性能測定項目テンプレートと、リソース割り当て変更ルールテンプレートの内容を示す説明図。 同じく第2の実施形態の初期割り当て状態のアプリケーションおよびリソースの構成情報を示す説明図。 同じく第2の実施形態の初期割り当て時の性能測定項目表を示す説明図。 同じく第2の実施形態の初期割り当て時のリソース割り当て変更ルール表を示す説明図。 同じく第2の実施形態の初期割り当て時の構成管理エンジンにおける構成情報を示し、(A)はアプリケーション表、(B)はリソース表、(C)は割り当て表の内容をそれぞれ示す説明図。 同じく第2の実施形態の性能測定結果一覧を示す説明図。 同じく第2の実施形態のリソース割り当て変更後のアプリケーションおよびリソースの構成情報を示す説明図。 同じく第2の実施形態のリソース割り当て変更後の構成管理エンジンにおける構成情報を示し、(A)はアプリケーション表、(B)はリソース表、(C)は割り当て表の内容をそれぞれ示す説明図。 第3の実施形態を示し、テンプレートリポジトリのメタテンプレート、性能測定項目テンプレート及びリソース割り当て変更ルールテンプレートの内容を示す説明図。
符号の説明
101 管理サーバ
103〜105 Webコンテナ
106〜107 APコンテナ
108〜110 DBサーバ
111 ストレージ管理プログラム
112 仮想ストレージ
201 性能測定エンジン
202 リソース管理エンジン
203 構成管理エンジン
204 テンプレートリポジトリ
205 管理対象リソース群
301,306,309 性能測定項目表
302,307,310 リソース割り当て変更ルール表
303,311 アプリケーション表
304,312 リソース表
305,308,313,314 割り当て表
401 性能測定制御部
402 リソース割り当て制御部
501,503 性能測定項目テンプレート
502,504 リソース割り当て変更ルールテンプレート
601 3階層Webアプリケーション
602 Webアプリケーション
603 APアプリケーション
604,606 DBアプリケーション
605 DBMSストレージ連携アプリケーション
607 仮想ストレージアプリケーション

Claims (17)

  1. サーバ、ネットワーク、ストレージを含むリソースをアプリケーションに割り当てるリソース割り当てシステムであって、
    サーバ、ネットワーク、ストレージを含むリソースの構成情報と、これらのリソース上で稼動するアプリケーションの構成要素からなる構成情報と、前記アプリケーションへ割り当てられたリソースの割り当て情報とを保持する構成管理手段と、
    前記リソースの構成情報とアプリケーションの構成情報及び割り当て情報から、前記リソースに関する性能情報の測定項目を生成する測定項目生成手段と、
    前記生成した性能情報の測定項目を測定する性能測定手段と、
    前記性能情報の測定結果に基づいて前記アプリケーションの構成要素毎にリソースの割り当て情報を変更する割り当て変更手段と、
    を備えたことを特徴とするリソース割り当てシステム。
  2. 前記測定項目生成手段は、前記生成した測定項目に基づいてリソースの割り当て変更ルールを生成する変更ルール生成手段を有し、
    前記割り当て変更手段は、前記生成したリソースの割り当て変更ルールと、前記リソースの構成情報とアプリケーションの構成情報及び割り当て情報に基づいてリソースの割り当て変更を行うことを特徴とする請求項1に記載のリソース割り当てシステム。
  3. 前記割り当て変更手段は、前記アプリケーションの構成情報と、前記性能情報の測定項目とリソースの割り当て変更ルールから、リソースごとの詳細な変更ルールを生成する詳細変更ルール生成手段を有することを特徴とする請求項2に記載のリソース割り当てシステム。
  4. 前記測定項目生成手段は、予めアプリケーション毎に設定された第1のテンプレートに基づいて前記性能情報の測定項目を生成することを特徴とする請求項1に記載のリソース割り当てシステム。
  5. 前記測定項目生成手段は、予めアプリケーション毎に設定された第2のテンプレートに基づいて前記リソースの割り当て変更ルールを生成することを特徴とする請求項2に記載のリソース割り当てシステム。
  6. 前記測定項目生成手段は、前記リソース全体の性能を指示するサービスレベル目標を記憶する手段を有し、
    前記アプリケーションの構成要素を示す構成情報と、アプリケーションの構成要素に割り当て可能なリソースの構成情報と、前記割り当て情報から前記サービスレベル目標に基づいて前記性能情報の測定項目とリソースの割り当て変更ルールを生成することを特徴とする請求項2に記載のリソース割り当てシステム。
  7. 前記測定項目生成手段は、リソース全体の性能を指示するサービスレベル目標に基づいて、前記性能情報の測定項目を生成することを特徴とする請求項1に記載のリソース割り当てシステム。
  8. サーバ、ネットワーク、ストレージを含むリソースをアプリケーションに割り当てるリソース割り当て方法であって、
    サーバ、ネットワーク、ストレージを含むリソースの構成情報と、前記リソース上で稼動するアプリケーションの構成要素からなる構成情報と、前記アプリケーションへ割り当てられたリソースの割り当て情報とを取得する手順と、
    前記リソースの構成情報とアプリケーションの構成情報及び割り当て情報から、前記リソースに関する性能情報の測定項目を生成する手順と、
    前記生成した性能情報の測定項目を測定する手順と、
    前記性能情報の測定結果に基づいて前記アプリケーションの構成要素毎にリソースの割り当て情報を変更する手順と、
    を含むことを特徴とするリソース割り当て方法。
  9. 前記生成した測定項目に基づいてリソースの割り当て変更ルールを生成する手順を含み、
    前記生成したリソースの割り当て変更ルールと、前記リソースの構成情報とアプリケーションの構成情報及び割り当て情報に基づいてリソースの割り当て変更を行うことを特徴とする請求項8に記載のリソース割り当て方法。
  10. 前記アプリケーションの構成情報と、前記性能情報の測定項目とリソースの割り当て変更ルールから、リソースごとの詳細な変更ルールを生成する手順を含み、この詳細な変更ルールに基づいて前記リソース割り当て変更を行うことを特徴とする請求項9に記載のリソース割り当て方法。
  11. 予めアプリケーション毎に設定された第1のテンプレートに基づいて前記性能情報の測定項目を生成する手順を含むことを特徴とする請求項8に記載のリソース割り当て方法。
  12. 予めアプリケーション毎に設定された第2のテンプレートに基づいて前記リソースの割り当て変更ルールを生成する手順を含むことを特徴とする請求項9に記載のリソース割り当て方法。
  13. リソース全体の性能を指示するサービスレベル目標を設定する手順を含み、
    前記アプリケーションの構成要素を示す構成情報と、アプリケーションの構成要素に割り当て可能なリソースの構成情報と、前記割り当て情報から前記サービスレベル目標に応じて前記性能情報の測定項目とリソースの割り当て変更ルールを生成することを特徴とする請求項9に記載のリソース割り当て方法。
  14. 前記性能情報の測定項目を生成する手順は、リソース全体の性能を指示するサービスレベル目標に基づいて、前記性能情報の測定項目を生成することを特徴とする請求項8に記載のリソース割り当て方法。
  15. サーバ、ネットワーク、ストレージを含むリソースをアプリケーションに割り当てるプログラムであって、
    サーバ、ネットワーク、ストレージを含むリソースの構成情報と、これらのリソース上で稼動するアプリケーションの構成要素からなる構成情報と、前記アプリケーションへ割り当てられたリソースの割り当て情報を取得する手段と、
    前記リソースの構成情報とアプリケーションの構成情報及び割り当て情報から、前記リソースに関する性能情報の測定項目を生成する手段と、
    前記生成した性能情報の測定項目を測定する手段と、
    前記性能情報の測定結果に基づいて前記アプリケーションの構成要素毎にリソースの割り当て情報を変更する手段と、
    をコンピュータに機能させることを特徴とするプログラム。
  16. 前記生成した測定項目に基づいてリソースの割り当て変更ルールを生成する手段を有し、
    前記生成したリソースの割り当て変更ルールと、前記リソースの構成情報とアプリケーションの構成情報及び割り当て情報に基づいてリソースの割り当て変更を行うことを特徴とする請求項14に記載のプログラム。
  17. 前記測定項目を生成する手段は、リソース全体の性能を指示するサービスレベル目標に基づいて、前記性能情報の測定項目を生成することを特徴とする請求項15に記載のプログラム。
JP2003416474A 2003-12-15 2003-12-15 リソース割り当てシステム、方法及びプログラム Expired - Fee Related JP3896111B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003416474A JP3896111B2 (ja) 2003-12-15 2003-12-15 リソース割り当てシステム、方法及びプログラム
US10/894,312 US7565656B2 (en) 2003-12-15 2004-07-20 System, method and program for allocating computer resources

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003416474A JP3896111B2 (ja) 2003-12-15 2003-12-15 リソース割り当てシステム、方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006286339A Division JP3916652B2 (ja) 2006-10-20 2006-10-20 リソース割り当てシステム、方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2005174201A true JP2005174201A (ja) 2005-06-30
JP2005174201A6 JP2005174201A6 (ja) 2006-04-06
JP3896111B2 JP3896111B2 (ja) 2007-03-22

Family

ID=34650627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003416474A Expired - Fee Related JP3896111B2 (ja) 2003-12-15 2003-12-15 リソース割り当てシステム、方法及びプログラム

Country Status (2)

Country Link
US (1) US7565656B2 (ja)
JP (1) JP3896111B2 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094834A (ja) * 2005-09-29 2007-04-12 Nec Corp 制約条件に基づいた資源選択システム、資源選択方法および資源選択プログラム
JP2008027233A (ja) * 2006-07-21 2008-02-07 Nec Corp データ配置管理システム及び方法とプログラム
JP2008171235A (ja) * 2007-01-12 2008-07-24 Nec Corp システム構成変更ルール生成システム、方法およびプログラム
JP2009169950A (ja) * 2008-01-15 2009-07-30 Internatl Business Mach Corp <Ibm> 記憶インフラストラクチャを自動的に管理するための方法および適切な記憶インフラストラクチャ
US8108855B2 (en) 2007-01-02 2012-01-31 International Business Machines Corporation Method and apparatus for deploying a set of virtual software resource templates to a set of nodes
US8327350B2 (en) 2007-01-02 2012-12-04 International Business Machines Corporation Virtual resource templates
DE112011100714T5 (de) 2010-05-14 2013-01-17 International Business Machines Corporation Computersystem, Verfahren und Programm
US8370802B2 (en) 2007-09-18 2013-02-05 International Business Machines Corporation Specifying an order for changing an operational state of software application components
JP2014507882A (ja) * 2011-01-19 2014-03-27 クゥアルコム・インコーポレイテッド 接続識別子に対するアプリケーション識別子のリゾリューションのためのレコード生成
JP2014524608A (ja) * 2011-08-05 2014-09-22 オラクル・インターナショナル・コーポレイション アプリケーション特性に基づく自動ハードウェアプロビジョニングのためのシステムおよび方法
JP2016521415A (ja) * 2013-04-10 2016-07-21 イルミオ, インコーポレイテッドIllumio,Inc. 論理的多次元ラベルベースのポリシーモデルを使用した分散型ネットワークマネージメントシステム
US9575548B2 (en) 2012-12-28 2017-02-21 Fujitsu Limited Apparatus for migrating virtual machines to another physical server, and method thereof
JP2017529633A (ja) * 2014-09-30 2017-10-05 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー 1つまたは複数のクラウドシステムにアプリケーションを移動可能にデプロイする方法及びシステム
US9798696B2 (en) 2010-05-14 2017-10-24 International Business Machines Corporation Computer system, method, and program
CN108446200A (zh) * 2018-02-07 2018-08-24 福建星瑞格软件有限公司 基于大数据机器学习的服务器智能运维方法及计算机设备
US10701090B2 (en) 2013-04-10 2020-06-30 Illumio, Inc. Distributed network security using a logical multi-dimensional label-based policy model
WO2021085663A1 (ko) * 2019-10-29 2021-05-06 엘지전자 주식회사 어플리케이션을 구동하는 전자 장치 및 그 제어 방법
JP2022056135A (ja) * 2020-09-29 2022-04-08 株式会社日立製作所 計算機システム、リソース再割当方法

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4597488B2 (ja) * 2003-03-31 2010-12-15 株式会社日立製作所 プログラム配置方法及びその実施システム並びにその処理プログラム
US7805517B2 (en) * 2004-09-15 2010-09-28 Cisco Technology, Inc. System and method for load balancing a communications network
US7499865B2 (en) * 2004-12-17 2009-03-03 International Business Machines Corporation Identification of discrepancies in actual and expected inventories in computing environment having multiple provisioning orchestration server pool boundaries
US20060136490A1 (en) * 2004-12-17 2006-06-22 International Business Machines Corporation Autonomic creation of shared workflow components in a provisioning management system using multi-level resource pools
US7953703B2 (en) * 2005-02-17 2011-05-31 International Business Machines Corporation Creation of highly available pseudo-clone standby servers for rapid failover provisioning
US7467291B1 (en) * 2005-02-28 2008-12-16 Sun Microsystems, Inc. System and method for calibrating headroom margin
US8336054B2 (en) * 2006-07-20 2012-12-18 Hewlett-Packard Development Company, L. P. System and method for allocating capacity of shared resources to a workload
JP4352028B2 (ja) * 2005-06-29 2009-10-28 富士通株式会社 運用ポリシー評価システムおよび運用ポリシー評価プログラム
US20070011214A1 (en) * 2005-07-06 2007-01-11 Venkateswararao Jujjuri Oject level adaptive allocation technique
US20070055740A1 (en) * 2005-08-23 2007-03-08 Luciani Luis E System and method for interacting with a remote computer
JP4377369B2 (ja) * 2005-11-09 2009-12-02 株式会社日立製作所 リソース割当調停装置およびリソース割当調停方法
US7519624B2 (en) * 2005-11-16 2009-04-14 International Business Machines Corporation Method for proactive impact analysis of policy-based storage systems
KR100714712B1 (ko) * 2006-02-21 2007-05-04 삼성전자주식회사 컨테인먼트 프레임워크 환경에서 자원을 관리하는 장치 및방법
JP4829670B2 (ja) * 2006-04-28 2011-12-07 株式会社日立製作所 San管理方法およびsan管理システム
JP4880376B2 (ja) * 2006-06-14 2012-02-22 株式会社日立製作所 支援装置、プログラム、情報処理システム及び支援方法
US8230051B1 (en) * 2006-06-27 2012-07-24 Emc Corporation Method and apparatus for mapping and identifying resources for network-based services
JP4751265B2 (ja) * 2006-08-01 2011-08-17 株式会社日立製作所 リソース管理システム及びその方法
US9135322B2 (en) * 2006-09-18 2015-09-15 Emc Corporation Environment classification
US8612570B1 (en) 2006-09-18 2013-12-17 Emc Corporation Data classification and management using tap network architecture
JP4606404B2 (ja) * 2006-12-01 2011-01-05 富士通株式会社 計算資源管理プログラムおよび計算資源管理装置
JP4933284B2 (ja) 2007-01-25 2012-05-16 株式会社日立製作所 ストレージ装置及び負荷分散方法
US8752055B2 (en) * 2007-05-10 2014-06-10 International Business Machines Corporation Method of managing resources within a set of processes
JP4834622B2 (ja) * 2007-07-23 2011-12-14 株式会社日立製作所 ビジネスプロセス運用管理システム、方法、プロセス運用管理装置およびそのプログラム
US9141658B1 (en) 2007-09-28 2015-09-22 Emc Corporation Data classification and management for risk mitigation
US8522248B1 (en) 2007-09-28 2013-08-27 Emc Corporation Monitoring delegated operations in information management systems
US9461890B1 (en) 2007-09-28 2016-10-04 Emc Corporation Delegation of data management policy in an information management system
US8868720B1 (en) 2007-09-28 2014-10-21 Emc Corporation Delegation of discovery functions in information management system
US8548964B1 (en) 2007-09-28 2013-10-01 Emc Corporation Delegation of data classification using common language
US9323901B1 (en) 2007-09-28 2016-04-26 Emc Corporation Data classification for digital rights management
US8005956B2 (en) * 2008-01-22 2011-08-23 Raytheon Company System for allocating resources in a distributed computing system
US8443370B2 (en) * 2008-08-26 2013-05-14 Microsoft Corporation Method of assigning resources to fulfill a service request by a programming model abstraction layer at a data center based at least in part on a reference of the requested resource class indicative of an abstract amount of resources
US9880877B2 (en) 2009-01-22 2018-01-30 International Business Machines Corporation Methods for rule-based dynamic resource adjustment for upstream and downstream processing units in response to an intermediate processing unit event
US8286177B2 (en) * 2009-01-29 2012-10-09 Microsoft Corporation Technique for conserving software application resources
US9690625B2 (en) * 2009-06-16 2017-06-27 Oracle America, Inc. System and method for out-of-order resource allocation and deallocation in a threaded machine
JP5541289B2 (ja) * 2009-10-09 2014-07-09 日本電気株式会社 仮想サーバシステム、その自律制御サーバ、そのデータ処理方法およびコンピュータプログラム
US8443373B2 (en) * 2010-01-26 2013-05-14 Microsoft Corporation Efficient utilization of idle resources in a resource manager
US9280391B2 (en) 2010-08-23 2016-03-08 AVG Netherlands B.V. Systems and methods for improving performance of computer systems
US8621069B1 (en) * 2010-09-03 2013-12-31 Adobe Systems Incorporated Provisioning a computing application executing on a cloud to a client device
US9311158B2 (en) 2010-09-03 2016-04-12 Adobe Systems Incorporated Determining a work distribution model between a client device and a cloud for an application deployed on the cloud
DE102011079429A1 (de) * 2011-07-19 2013-01-24 Siemens Aktiengesellschaft Performancesimulation von medizintechnischen Prozeduren in einer Client-Server-Umgebung
US9053487B2 (en) * 2011-08-22 2015-06-09 At&T Intellectual Property I, L.P. Methods, systems, and products for notifying of enhancements to quality of service and experience
US9608933B2 (en) * 2013-01-24 2017-03-28 Hitachi, Ltd. Method and system for managing cloud computing environment
US9769050B2 (en) * 2014-12-23 2017-09-19 Intel Corporation End-to-end datacenter performance control
CN108780403A (zh) * 2016-03-10 2018-11-09 沃拉斯堤技术解决方案公司 对用于信息系统的云计算资源进行管理的系统及方法
US20190146847A1 (en) * 2017-11-10 2019-05-16 Mentor Graphics Corporation Dynamic distributed resource management
US10771982B2 (en) 2018-10-24 2020-09-08 Mentor Graphics Corporation Resource utilization of heterogeneous compute units in electronic design automation
US10757597B1 (en) * 2019-07-08 2020-08-25 Bank Of America Corporation Resource stability indicator determination based on downstream network node-based resource health indicators

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675797A (en) * 1994-05-24 1997-10-07 International Business Machines Corporation Goal-oriented resource allocation manager and performance index technique for servers
JP3664021B2 (ja) 2000-01-05 2005-06-22 日本電気株式会社 サービスレベルによる資源割当方式
US7140020B2 (en) * 2000-01-28 2006-11-21 Hewlett-Packard Development Company, L.P. Dynamic management of virtual partition computer workloads through service level optimization
US20020049841A1 (en) * 2000-03-03 2002-04-25 Johnson Scott C Systems and methods for providing differentiated service in information management environments
JP4292693B2 (ja) 2000-07-07 2009-07-08 株式会社日立製作所 計算機資源分割装置および資源分割方法
US6877035B2 (en) 2001-01-29 2005-04-05 International Business Machines Corporation System for optimal resource allocation and planning for hosting computing services
US6823382B2 (en) * 2001-08-20 2004-11-23 Altaworks Corporation Monitoring and control engine for multi-tiered service-level management of distributed web-application servers
JP3725462B2 (ja) 2001-10-11 2005-12-14 日本電信電話株式会社 Ipトラヒックの測定、監視、制御、管理、予測、または、設計の方法及び装置
JP2003131907A (ja) 2001-10-19 2003-05-09 Toshiba Corp Webシステムの性能評価システム、方法及びプログラム
US7062558B2 (en) * 2001-11-13 2006-06-13 Hewlett-Packard Development, L.P. Method and system for enabling resource sharing in a communication network having a plurality of application environments
US20030135609A1 (en) * 2002-01-16 2003-07-17 Sun Microsystems, Inc. Method, system, and program for determining a modification of a system resource configuration
CA2476314A1 (en) * 2002-02-07 2003-08-14 Think-Dynamics Inc. Method and system for managing resources in a data center
JP2003281007A (ja) 2002-03-20 2003-10-03 Fujitsu Ltd 動的構成制御装置および動的構成制御方法
KR100460536B1 (ko) * 2002-12-20 2004-12-08 한국전자통신연구원 컴포넌트의 성능 측정 결과를 이용한 연관 컴포넌트 추천장치 및 방법
US7228351B2 (en) * 2002-12-31 2007-06-05 International Business Machines Corporation Method and apparatus for managing resource contention in a multisystem cluster
US8122453B2 (en) * 2003-02-04 2012-02-21 International Business Machines Corporation Method and system for managing resources in a data center

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094834A (ja) * 2005-09-29 2007-04-12 Nec Corp 制約条件に基づいた資源選択システム、資源選択方法および資源選択プログラム
JP2008027233A (ja) * 2006-07-21 2008-02-07 Nec Corp データ配置管理システム及び方法とプログラム
US8108855B2 (en) 2007-01-02 2012-01-31 International Business Machines Corporation Method and apparatus for deploying a set of virtual software resource templates to a set of nodes
US8327350B2 (en) 2007-01-02 2012-12-04 International Business Machines Corporation Virtual resource templates
JP2008171235A (ja) * 2007-01-12 2008-07-24 Nec Corp システム構成変更ルール生成システム、方法およびプログラム
US8370802B2 (en) 2007-09-18 2013-02-05 International Business Machines Corporation Specifying an order for changing an operational state of software application components
JP2009169950A (ja) * 2008-01-15 2009-07-30 Internatl Business Mach Corp <Ibm> 記憶インフラストラクチャを自動的に管理するための方法および適切な記憶インフラストラクチャ
US9794138B2 (en) 2010-05-14 2017-10-17 International Business Machines Corporation Computer system, method, and program
US9798696B2 (en) 2010-05-14 2017-10-24 International Business Machines Corporation Computer system, method, and program
DE112011100714B4 (de) 2010-05-14 2018-07-19 International Business Machines Corporation Computersystem, Verfahren und Programm
DE112011100714T5 (de) 2010-05-14 2013-01-17 International Business Machines Corporation Computersystem, Verfahren und Programm
US8935766B2 (en) 2011-01-19 2015-01-13 Qualcomm Incorporated Record creation for resolution of application identifier to connectivity identifier
JP2014507882A (ja) * 2011-01-19 2014-03-27 クゥアルコム・インコーポレイテッド 接続識別子に対するアプリケーション識別子のリゾリューションのためのレコード生成
JP2014524608A (ja) * 2011-08-05 2014-09-22 オラクル・インターナショナル・コーポレイション アプリケーション特性に基づく自動ハードウェアプロビジョニングのためのシステムおよび方法
US9575548B2 (en) 2012-12-28 2017-02-21 Fujitsu Limited Apparatus for migrating virtual machines to another physical server, and method thereof
JP2016521415A (ja) * 2013-04-10 2016-07-21 イルミオ, インコーポレイテッドIllumio,Inc. 論理的多次元ラベルベースのポリシーモデルを使用した分散型ネットワークマネージメントシステム
US10924355B2 (en) 2013-04-10 2021-02-16 Illumio, Inc. Handling changes in a distributed network management system that uses a logical multi-dimensional label-based policy model
US11503042B2 (en) 2013-04-10 2022-11-15 Illumio, Inc. Distributed network security using a logical multi-dimensional label-based policy model
US10701090B2 (en) 2013-04-10 2020-06-30 Illumio, Inc. Distributed network security using a logical multi-dimensional label-based policy model
US10897403B2 (en) 2013-04-10 2021-01-19 Illumio, Inc. Distributed network management using a logical multi-dimensional label-based policy model
US10917309B2 (en) 2013-04-10 2021-02-09 Illumio, Inc. Distributed network management using a logical multi-dimensional label-based policy model
JP2017529633A (ja) * 2014-09-30 2017-10-05 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー 1つまたは複数のクラウドシステムにアプリケーションを移動可能にデプロイする方法及びシステム
CN108446200B (zh) * 2018-02-07 2021-10-29 福建星瑞格软件有限公司 基于大数据机器学习的服务器智能运维方法及计算机设备
CN108446200A (zh) * 2018-02-07 2018-08-24 福建星瑞格软件有限公司 基于大数据机器学习的服务器智能运维方法及计算机设备
WO2021085663A1 (ko) * 2019-10-29 2021-05-06 엘지전자 주식회사 어플리케이션을 구동하는 전자 장치 및 그 제어 방법
US11340959B2 (en) 2019-10-29 2022-05-24 Lg Electronics Inc. Electronic apparatus for running application and control method thereof
JP2022056135A (ja) * 2020-09-29 2022-04-08 株式会社日立製作所 計算機システム、リソース再割当方法
JP7126534B2 (ja) 2020-09-29 2022-08-26 株式会社日立製作所 計算機システム、リソース再割当方法

Also Published As

Publication number Publication date
US20050131982A1 (en) 2005-06-16
JP3896111B2 (ja) 2007-03-22
US7565656B2 (en) 2009-07-21

Similar Documents

Publication Publication Date Title
JP3896111B2 (ja) リソース割り当てシステム、方法及びプログラム
JP3916652B2 (ja) リソース割り当てシステム、方法及びプログラム
JP2005174201A6 (ja) リソース割り当てシステム、方法及びプログラム
US11089117B2 (en) Discovery of remote storage services and associated applications
US10635664B2 (en) Map-reduce job virtualization
US11347806B2 (en) Discovery of containerized platform and orchestration services
TWI225990B (en) Autonomic provisioning of network-accessible service behaviors within a federated grid infrastructure
US20150067019A1 (en) Method and system for using arbitrary computing devices for distributed data processing
CN100484119C (zh) 用于在计算网格中创建服务实例的方法、系统和装置
US20050071842A1 (en) Method and system for managing data using parallel processing in a clustered network
JP2008527514A (ja) グリッド・アクティビティのモニタリングおよび振り分けによる総合的グリッド環境管理を促進する方法、システム、およびコンピュータ・プログラム
KR20170029263A (ko) 부하 분산 장치 및 방법
JP3892002B2 (ja) リソース割り当て方法及びプログラム
Inzinger et al. Generic event‐based monitoring and adaptation methodology for heterogeneous distributed systems
US11381463B2 (en) System and method for a generic key performance indicator platform
US10778597B1 (en) Orchestration management system and method for managing a resource pool across multiple computing clouds
US20120089734A1 (en) Allocation of resources between web services in a composite service
US11032152B2 (en) Machine-learning based self-populating dashboard for resource utilization monitoring in hyper-converged information technology environments
Siddiqui et al. GLARE: A grid activity registration, deployment and provisioning framework
EP2808792B1 (en) Method and system for using arbitrary computing devices for distributed data processing
KR20110026303A (ko) 분산 서버 기반의 그리드 시스템 및 동작 방법
KR100618159B1 (ko) 정책 쿼럼 기반의 그리드 자원 관리 시스템 및 그 방법
EP3306471B1 (en) Automatic server cluster discovery
US7529185B2 (en) Method, system and program product for determining bandwidth consumption across a multi-tiered computer environment
US8015207B2 (en) Method and apparatus for unstructured data mining and distributed processing

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060801

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061023

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20061030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061215

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3896111

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees