JP2021504777A - 分散コンピューティング環境における作業負荷の自動対角スケーリング - Google Patents

分散コンピューティング環境における作業負荷の自動対角スケーリング Download PDF

Info

Publication number
JP2021504777A
JP2021504777A JP2020522300A JP2020522300A JP2021504777A JP 2021504777 A JP2021504777 A JP 2021504777A JP 2020522300 A JP2020522300 A JP 2020522300A JP 2020522300 A JP2020522300 A JP 2020522300A JP 2021504777 A JP2021504777 A JP 2021504777A
Authority
JP
Japan
Prior art keywords
application
operations
resources
resource
scaling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020522300A
Other languages
English (en)
Other versions
JP7182836B2 (ja
JP2021504777A5 (ja
Inventor
アロノヴィッチ、リオル
アハメド、カリード
パスクアントニオ、ヴィンチェンツォ
フェイマン、マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2021504777A publication Critical patent/JP2021504777A/ja
Publication of JP2021504777A5 publication Critical patent/JP2021504777A5/ja
Application granted granted Critical
Publication of JP7182836B2 publication Critical patent/JP7182836B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5077Logical partitioning of resources; Management or configuration of virtualized resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0893Assignment of logical groups to network elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H04L41/0897Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities by horizontal or vertical scaling of resources, or by migrating entities, e.g. virtual resources or entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/83Admission control; Resource allocation based on usage prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0894Policy-based network configuration management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Stored Programmes (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】分散コンピューティング環境における作業負荷の自動対角スケーリングの方法を提供する。【解決手段】本方法は、複数のアプリケーション・インスタンスの各々の複数のリソースの各々に対し、該複数リソースの少なくとも1つの割り当てを変更する必要があるかどうかの判断を含む。複数のアプリケーション・インスタンスの各々に対しオペレーションの要件が計算され、この計算された要件は、垂直増加および低減オペレーション、ならびに水平分割および折り畳みオペレーションを含む。垂直低減および水平折り畳みオペレーションが最初に処理され、垂直増加および水平分割が順序付けられ、続いてその順序に基づいて垂直増加および水平分割が処理され、これにより、分散コンピューティング環境における、複数のリソースの適用効率および利用度が最適化される。【選択図】図14

Description

本発明は一般にコンピューティング・システムに関し、さらに具体的には、分散コンピューティング・コンポーネント群の群内もしくは群の間またはその両方のリソース利用を最適化するための様々な実施形態に関する。
現在の社会で、コンピュータ・システムはありふれたものである。コンピュータ・システムは、職場、家庭、または学校で見ることができる。コンピュータ・システムへの依拠、その便利さおよび携帯性が益々高まるにつれ、インターネットおよびそれへの依存も指数関数的に上昇してきている。現在、かってないほど、個人および企業は、作業負荷をこなし情報およびデータを格納するために分散型コンピューティング・システム(一般に「クラウド」と言われている)に依拠している。作業負荷の処理、リソース割り当て、およびデータ・アクセスに関する技術進展の大幅な前進が達成されてくるのに伴い、これらの機能を提供するバックエンド支援システムにおける成長および発展に対する益々増加する要求がある。
略してクラスタとも言われるコンピュータ・クラスタは、一緒に連結された複数の協働するコンピュータ(ソフトウェアもしくはハードウェア・リソースまたはその両方などのコンピューティング・リソースとしても知られる)によって、コンピューティング・ジョブを遂行するタイプのコンピュータ・システムである。これらの同じマネジメント領域内にあるコンピューティング・リソースは、統一されたマネジメント・ポリシーを有し、全体としてユーザにサービスを提供する。クラスタ・システム中の単一のコンピュータは、多くの場合、通常、ノードまたはコンピューティング・ノードと呼ばれる。
コンピューティング・クラスタは、多くの場合、ユーザによって提供され該クラスタ中で行われる作業負荷を実行するのに使われるリソースを最適化するための様々な技法を実装している。一般に用いられる1つのよくある技法は、リソースもしくはアプリケーションまたはその両方のスケーリングの使用である。対角スケーリング(DIAGONAL SCALING)は、各アプリケーションのリソース要求に適合するための、垂直スケーリングと水平スケーリングとの組み合せを適用する最近のアプローチである。垂直スケーリングとは、或る特定の実行中のアプリケーション・インスタンスに対するリソースの追加または低減を言う。水平スケーリングとは、アプリケーション・インスタンスの生成または除去を言う。換言すれば、垂直スケーリングは、或るアプリケーションに対し、またはどちらかと言えばそのアプリケーションの多くの実行中のインスタンスの1つに対し、コンピューティング・クラスタの特定のリソース(例えば、メモリ、中央処理ユニット(CPU:central processing unit)、ストレージ容量など)を割り当てまたは割り当て解除するために用いることができ、水平スケーリングは、同じアプリケーションのアプリケーション・インスタンスの1つ以上を追加または除去するために用いることができる。対角スケーリングは、諸アプリケーションのリソース要求の動的な変化に自動的に対応してコンピューティング・クラスタのリソースが充当され、効率的に利用されることを確実にするために、これら技能の両方を組み合せる。
既存の技術は、水平スケーリング、すなわちアプリケーション・インスタンスの追加および除去に重点を置く傾向がある。本明細書で説明する諸実施形態は、垂直スケーリング(アプリケーション・インスタンスに対するリソースを追加または除去する)および水平スケーリング(アプリケーション・インスタンスを追加または除去する)の両方に対するメカニズムを特徴とする。さらに、本発明は、アプリケーションおよびプラットフォームの効率を最適化するために、垂直および水平スケーリングの両方を自動的に適用し、垂直スケーリングと水平スケーリングとの間のシナジーを生成する(すなわち、対角スケーリング)統合アルゴリズムのメカニズムを提供する。
多くの既存の技術は、仮想マシンまたはコンテナを対象とし、アプリケーションまたはリソース・スケーリングを実装するため、(例えば、使用量を計測し、リソース要件を定義するために)それら固有の特性および能力を必要とし、一部の既存の技術は、スケーリング・オペレーションを容易にするために、ユーザにリソース(例えばCPU)の利用度に対する目標を事前設定することを要求する。かかる目標の恣意性、およびこれらの目標が、アプリケーションのサービス面のより高い品質よりもむしろインフラストラクチャのリソースを対象にしている事実は、かかるスケーリング・メカニズムの挙動の、アプリケーションのサービスの品質に対する実際の要求との整合を低下させかねない。本明細書で提供するメカニズムは、かかる事前設定された目標を使わず、代わりに、諸アプリケーションの優先度およびサービス面での品質を考慮することによって、提供されるリソースをアプリケーションの実際の負荷に整合させる。さらに、本発明のメカニズムは、アプリケーションが実行される形態に依存することなく、対角スケーリングを実装するための汎用的方法を提供する。
伝統的に、既存の技術は、スケーリング・オペレーションを決める際に、他のアプリケーションから分離して、各リソースを単独におよび各アプリケーションを単独に考慮する。本明細書で説明するメカニズムの機能を用いて、スケーリング・オペレーションを決めるにあたり、全ての関係するリソースの測量および集合情報ならびにアプリケーションの優先度が検討される。
最後に、既存の技術の一部は、スケーリング・オペレーションを行うために他の技術(例えば、利用状況指標を収集するための技術)の利用可能性を必要としそれに依拠し、また他の既存技術は、スケーリング目的のため、特定の指標に分けることなく集合指標を使って作業する。本発明は、他の技術を必要とせず、またはそれらに依存しない。さらに、本発明では、全ての関連指標の測量は、個別に適用され、次いで、スケーリング・オペレーションが、指標とアプリケーションとの統一された見地に基づいて決められる。
知られた既存の方法、およびその技術に改良を加える見地から、本開示で考察される新規のアルゴリズムおよび方法は、垂直スケーリングと水平スケーリングとを統一された自動メカニズムに統合し、アプリケーションおよびリソース・プラットフォームの効率を最適化することによって、自動対角スケーリングのための包括的且つ効率的な機能を提供する。
上記に応じて、後に説明するように、本自動対角スケーリング方法を実装するための様々な実施形態が本明細書中で開示される。単なる例として、一実施形態において、複数のアプリケーション・インスタンスの各々の複数のリソースの各々に対し、複数のリソースの少なくとも1つの割り当ての変更が必要かどうかの判断が必要とされる。複数のアプリケーション・インスタンスの各々に対しオペレーションの要件が計算され、この計算された要件は、垂直増加および低減オペレーション、ならびに水平分割および折り畳みオペレーションを含む。垂直低減および水平折り畳みオペレーションが最初に処理され、垂直増加および水平分割が順序付けられ、続いてその順序に基づいて垂直増加および水平分割が処理され、これにより、分散コンピューティング環境におけるアプリケーションの効率および複数のリソースの利用度が最適化される。
前述の例示的な実施形態に加え、システムおよびコンピュータ・プログラムおよびコンピュータ・プログラム製品の様々な他の実施形態が提供され、関連する利点が提示される。前述の要約は、簡単な形で概念の抜粋を紹介するために提示されたものであり、これらは後述の発明を実施するための形態においてさらに説明される。この要約は、請求される主題の重要な特徴または本質的特徴を識別することは意図されておらず、また、請求される主題の範囲を決める上での補助として使われるようにも意図されていない。
本発明の利点が容易に理解されるように、上記で略述された本発明のさらに具体的な説明が、添付の図面中に示された具体的な諸実施形態を参照しながら提示される。これらの図面が本発明の典型的な実施形態だけを表すもので、したがって本発明の範囲を限定するものと見なされるべきでないことを理解した上で、これら添付の図面の使用を介して、さらなる具体性と詳細さをもって本発明を記述し説明することとする。
本発明の或る実施形態による、例示的なコンピューティング・ノードを表すブロック図である。 本発明の或る実施形態による、例示的なクラウド・コンピューティング環境を表すさらなるブロック図である。 本発明の或る実施形態による、抽象化モデル層を表すさらなるブロック図である。 本発明の諸態様による、分散コンピューティング環境中の作業負荷の自動対角スケーリングの方法を表すフローチャート図を示す。 本発明の諸態様による、対角スケーリング・モデルを表す組み合せブロック/フローチャート図を示す。 本発明の諸態様による、分散コンピューティング環境中の作業負荷の自動対角スケーリングの方法を表すさらなるフローチャート図を示す。 本発明の諸態様による、複数のリソース種類の各々に対する例示的な計算メカニズムを表すブロック図を示す。 本発明の諸態様による、複数のリソース種類の各々に対する例示的な計算メカニズムを表すさらなるブロック図を示す。 本発明の諸態様による、複数のリソース種類の各々に対する例示的な計算メカニズムを表すまださらなるブロック図を示す。 本発明の諸態様による、過去のデータに基づく、リソースの自動的且つ適応的増加および低減の方法を表す組み合せブロック/フローチャート図を示す。 本発明の諸態様による、例示的な対角スケーリング増加オペレーションを表すブロック図を示す。 本発明の諸態様による、アプリケーション・インスタンスのリソース割り当てに対する、計算された増加オペレーションを処理する方法を表すフローチャート図を示す。 本発明の諸態様による、例示的な対角スケーリング低減オペレーションを表すブロック図を示す。 本発明の諸態様による、対角スケーリング・アルゴリズムを表すフローチャート図を示す。 本発明の諸態様による、アプリケーションの優先度を計算するための、例示的なアプリケーションのトポロジを表すブロック図を示す。 本発明の諸態様による、分散コンピューティング環境中の作業負荷の自動対角スケーリングの方法を表す組み合せブロック/フローチャート図を示す。
前述したように、コンピューティング・クラスタは、多くの場合、ユーザによって提供され該クラスタ中で行われる作業負荷を実行するのに使われるリソースを最適化するための様々な技法を実装している。一般に用いられる1つのよくある技法は、リソースもしくはアプリケーションまたはその両方のスケーリングの使用である。対角スケーリングは、各アプリケーションのリソース要求に適合するための、垂直スケーリングと水平スケーリングとの組み合せを適用する最近のアプローチである。垂直スケーリングとは、或る特定の実行中のアプリケーション・インスタンスに対するリソースの追加または低減を言う。水平スケーリングとは、アプリケーション・インスタンスの生成または除去を言う。換言すれば、垂直スケーリングは、或るアプリケーションに対し、またはどちらかと言えばそのアプリケーションの多くの実行中のインスタンスの1つに対し、コンピューティング・クラスタの特定のリソース(例えば、メモリ、中央処理ユニット(CPU)、ストレージ容量など)を割り当てまたは割り当て解除するために用いることができ、水平スケーリングは、同じアプリケーションのアプリケーション・インスタンスの1つ以上を追加または除去するために用いることができる。対角スケーリングは、諸アプリケーションのリソース要求の動的な変化に自動的に対応してコンピューティング・クラスタのリソースが充当され、効率的に利用されることを確実にするために、これら技能の両方を組み合せるが、但し、この種のスケーリングを自動的に、効率的に、且つ最適に統合する現行のソリューションは存在しない。
上記に応じ、本発明は、自動対角スケーリングを使って、分散コンピューティング環境においてリソースをもっと効率的に最適化して利用する機能を用いる。すなわち、本開示の諸実施形態は、自動対角スケーリングのための効率的なメカニズムを用い、本メカニズムは以下の代表的な仕様を有する。第一に、アプリケーション・インスタンスの実際のリソース消費が自動的に追跡され、そのアプリケーション・インスタンスに割り当てられたリソースと比較される。第二に、割り当てリソースとそのリソース限度が、比較された消費量に従ってこれらリソースの割り当てに自動的に適合(増加/低減)される。さらに具体的には、アプリケーションの作業負荷が増大すると、本明細書で説明するメカニズムが、そのアプリケーションに対し追加のリソースを利用可能にする。同様に、作業負荷が減ると、リソースは低減される。第三に、アプリケーション・インスタンスもしくはホストまたはその両方の状態およびポリシーに従って、垂直および水平スケーリングが自動的に用いられる。第四にそして最後に、本明細書の機能は、その設定がカスタム化可能で効率的で容易である。例えば、ユーザが設定可能な項目には、(例えば、過去の統計、およびコスト制約に基づく)各種リソースの消費の最大限度、各種リソースの利用可能性に対する最小限度、スケーリング・オペレーションが必要なことを判断するためのトリガ、および垂直および水平スケーリングの統合に対するポリシーが含まれてよい。
提案されたメカニズムは、これらの仕様によって以下の利益を提供する。第一に、アプリケーションのスループットが、アプリケーションへの入力として供給される実際の作業負荷、アプリケーションの優先度、および利用可能なリソースに従って最適化される。第二に、アプリケーションに割り当てられたリソースのコストが最小化され、さらにクラスタのリソースの利用度が向上する。しかして、クラスタ・リソースのより効率的な利用によって、クラスタは、追加の作業負荷に、かかる作業負荷の実行コストを低減しながら対応することが可能になる。第三に、クラスタを利用する顧客は、彼らそれぞれの作業負荷を履行するため実際に必要となりまたは使用されたリソースに対してだけ支払いをし、しかして未使用のリソースに対する過剰支払いが回避される。さらに、クラウドのフレキシビリティおよびその金額の課金メカニズムが改良される。第四に、作業負荷に従ってリソース割り当ておよびスケーラビリティを見積もり、それらをマニュアルで調整する必要性を除去することにより、アプリケーションのおよび加えてその設定の効率が向上する。第五にそして最後に、本明細書のメカニズムは、様々な作業負荷マネジメント・システムに追加しまたは実装することが可能な汎用的自動対角スケーリング機能を使用する。
なお、本開示では、簡潔さのため、「リソース」と言う言葉を多用する。本発明の実際の実装では、本明細書中のリソースという用語は、CPU、グラフィカル処理ユニット(GPU:graphical processing unit)、メモリ、ストレージ・デバイス、ネットワーク・デバイス、アクセラレータ・デバイスから、さらにはコンピューティング・ノード全体から成り得る。当業者には当然であろうが、実際上は、当該技術分野で周知の一切のハードウェアもしくはソフトウェアまたはその両方が、本明細書に記載の「リソース」または「リソースの種類」と互換的に解釈されることになる。さらに、本開示は、アプリケーションの「アプリケーション・インスタンス」を説明する。当業者なら認識しているであろうが、アプリケーション・インスタンスは、アプリケーションの、特定の履行または実行されているアプリケーションの個々の生起を言及することが意味されているが、但し、アプリケーションまたはそのアプリケーション・インスタンスの性質は、本明細書で開示される機能の個々の実装によって広範に変化し得る。
さらに、前もって当然のことながら、本開示はクラウド・コンピューティングの詳細な記述を含むが、本明細書で述べる教示の実装は、クラウド・コンピューティング環境に限定されない。それどころか、本発明の諸実施形態は、現在既知のまたは今後開発される任意の種類のコンピューティング環境に連結して実装することが可能である。
クラウド・コンピューティングは、最小の管理作業またはサービスのプロバイダとのやり取りで、迅速に立ち上げてリリースすることができる、構成可能なコンピューティング・リソース(例えば、ネットワーク、ネットワーク帯域、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス)の共用のプールへの、便利でオンデマンドのネットワーク・アクセスを可能にするためのサービス・デリバリの一モデルである。このクラウド・モデルは、少なくとも5つの特徴と、少なくとも3つのサービス・モデルと、少なくとも4つの展開モデルとを含むことができる。
特徴は次の通りである。
オンデマンド・セルフサービス:クラウド・コンシューマは、サービスのプロバイダとの人間のやり取りなしに、必要な場合は自動的に、サーバ時間およびネットワーク・ストレージなどのコンピューティング能力を一方的にセットアップすることができる。
広範なネットワーク・アクセス:諸能力はネットワークを介して利用可能で、異種から成るシンまたはシック・クライアント・プラットフォーム(例えば、携帯電話、ラップトップ、およびPDA)による使用を推進する標準的なメカニズムを通してアクセスされる。
リソースのプール化:プロバイダのコンピューティング・リソースは、マルチテナント・モデルを用いる複数のコンシューマにサービスするために、デマンドに従って動的に割り当ておよび再割り当てされる各種の物理的および仮想のリソースとしてプール化される。一般にコンシューマは提供されたリソースの正確な場所の制御または知識を持たない、という点で、場所無異存性の感覚があるが、抽象化のより高位レベルでは場所(例えば、国、州、またはデータセンタ)を特定することを可能にできる。
敏速な伸縮性:諸能力は、迅速にスケール・アウトするため、場合によっては自動的に、敏速且つ伸縮自在にセットアップでき、迅速にスケール・インするために敏速にリリースされる。コンシューマには、セットアップのため利用可能な諸能力が多くの場合無制限に見え、いつでもどのような量でも購入が可能である。
計量されるサービス:クラウド・システムは、サービスの種類(例えば、ストレージ、処理、帯域幅、および有効ユーザ・アカウント)に適した抽象化のいずれかのレベルで、計量機能を利用することによって、リソース使用を自動的に管理し、最適化する。リソース利用は、プロバイダと、利用されるサービスのコンシューマとの双方に透明性を提供しながら、モニタし、管理し、報告することができる。
サービス・モデルは次のとおりである。
サービスとしてのソフトウェア(SaaS:Software as a Service):コンシューマに提供される能力は、クラウド・インフラストラクチャ上で実行されているプロバイダのアプリケーションを使うことである。これらのアプリケーションは、様々なクライアント・デバイスから、ウェブ・ブラウザ(例えば、ウェブベースのeメール)などのシン・クライアント・インターフェースを介してアクセス可能である。コンシューマは、限られたユーザ固有のアプリケーション構成設定のあり得る例外を除いて、ネットワーク、サーバ、オペレーティング・システム、ストレージ、または個別のアプリケーション機能でさえも含め、根底にあるクラウド・インフラストラクチャを管理または制御はしない。
サービスとしてのプラットフォーム(PaaS:Platform as a Service):コンシューマに提供される能力は、クラウド・インフラストラクチャ上に、プロバイダによってサポートされるプログラミング言語およびツールを使って生成された、コンシューマ生成の、またはコンシューマ取得のアプリケーションを展開することである。コンシューマは、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含め、根底にあるクラウド・インフラストラクチャを管理または制御することはないが、これら展開されるアプリケーション、およびおそらくはアプリケーションのホスティング環境設定に対する制御を有する。
サービスとしてのインフラストラクチャ(IaaS:Infrastructure as a Service):コンシューマに提供される能力は、コンシューマが、処理、ストレージ、ネットワーク、およびオペレーティング・システムおよびアプリケーションを含み得る、任意のソフトウェアを展開し実行することが可能な他の基本的コンピューティング・リソースをセットアップすることである。コンシューマは、根底にあるクラウド・インフラストラクチャを管理または制御することはないが、オペレーティング・システム、ストレージ、展開されるアプリケーションに対する制御、およびおそらくは選択ネットワーク・コンポーネント(例えば、ホストのファイアウォール)の限定された制御を有する。
展開モデルは次のとおりである。
プライベート・クラウド:このクラウド・インフラストラクチャは、一組織のためだけに運営される。これは、その組織または第三者によって管理されてよく、自組織構内に所在しても自組織構外に所在してもよい。
コミュニティ・クラウド:このクラウド・インフラストラクチャは、いくつかの組織によって共有され、共有の利害関係(例えば、任務、安全要件、指針、およびコンプライアンス配慮事項)を有する特定のコミュニティをサポートする。これは、これらの組織または第三者によって管理されてよく、これらの組織構内に所在してもこれらの組織構外に所在してもよい。
パブリック・クラウド:このクラウド・インフラストラクチャは、一般公衆または大きな産業グループに利用可能にされており、クラウド・サービスを販売する組織によって所有されている。
ハイブリッド・クラウド:このクラウド・インフラストラクチャは、独自のエンティティに留まりながら、データおよびアプリケーションの可搬性(例えば、クラウド間の負荷バランスのためのクラウド・バースティング)を可能にする標準化されたまたは独自の技術によって一緒に結ばれた2つ以上のクラウド(プライベート、コミュニティ、またはパブリック)の合成体である。
クラウド・コンピューティング環境は、ステートレスネス、弱連結、モジュール性、および意味相互運用性に焦点を合わせて方向付けられたサービスである。クラウド・コンピューティングの中心には、相互接続されたノードのネットワークを含むインフラストラクチャが在る。
ここで図1を参照すると、クラウド・コンピューティング・ノードの一例の概略図が示されている。クラウド・コンピューティング・ノード10は、適したクラウド・コンピューティング・ノードの単なる一例であって、本明細書に記載の本発明の諸実施形態の用途または機能の範囲に関し、いかなる限定をも示唆することは意図されていない。上記に関係なく、クラウド・コンピューティング・ノード10は、前述した機能のセットのいずれをも実装するもしくは実行するまたはその両方を行うことが可能である。
クラウド・コンピューティング・ノード10中には、コンピュータ・システム/サーバ12が在り、これは、数多くの他の汎用または特殊用途コンピューティング・システム環境または構成と共に作動可能である。コンピュータ・システム/サーバ12と共に使用するのに適し得る周知のコンピューティング・システム、環境、もしくは構成、またはこれらの組み合せの例には、以下に限らないが、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサベースのシステム、セット・トップ・ボックス、プログラマブル・コンシューマ電子機器、ネットワークPC、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、および上記のシステムまたはデバイスのいずれかを含む分散クラウド・コンピューティング環境などが含まれる。
コンピュータ・システム/サーバ12は、コンピュータ・システムによって実行される、プログラム・モジュールなどのコンピュータ・システム実行可能命令の一般的コンテキストで表すことができる。一般に、プログラム・モジュールは、特定のタスクを行う、または特定の抽象データ型を実装する、ルーティン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造体などを含んでよい。コンピュータ・システム/サーバ12は、通信ネットワークを介して連結された遠隔の諸処理デバイスによってタスクが行われる分散クラウド・コンピューティング環境中で実行することができる。分散クラウド・コンピューティング環境中で、プログラム・モジュールは、ローカルおよび遠隔のコンピュータ・システム両方の、メモリ・ストレージ・デバイスを含むストレージ媒体に配置することが可能である。
図1に示されるように、クラウド・コンピューティング・ノード10中のコンピュータ・システム/サーバ12は、汎用コンピューティング・デバイスの形で示されている。コンピュータ・システム/サーバ12のコンポーネントには、以下に限らないが、1つ以上のプロセッサまたは処理ユニット16、システム・メモリ28、およびシステム・メモリ28とプロセッサ16との間を含め、様々なシステム・コンポーネントを連結しているバス18を含めることができる。
バス18は、メモリ・バスまたはメモリ・コントローラ、周辺バス、アクセラレーテッド・グラフィックス・ポート、および様々なバス・アーキテクチャのいずれかを使った、プロセッサまたはローカル・バスを含む、いくつかの型のバス構造体のいずれか1つ以上を表す。限定でなく例として、かかるアーキテクチャは、業界標準アーキテクチャ(ISA:Industry Standard Architecture)バス、マイクロ・チャネル・アーキテクチャ(MCA:Micro Channel Architecture)バス、拡張型ISA(EISA:Enhanced ISA)バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション(VESA:Video Electronics Standards Association)ローカル・バス、および周辺コンポーネント相互接続(PCI:Peripheral Component Interconnect)バスを含む。
コンピュータ・システム/サーバ12は、通常、様々なコンピュータ・システム可読媒体を含む。かかる媒体は、コンピュータ・システム/サーバ12によってアクセス可能な任意の利用可能な媒体であってよく、これには、揮発性および不揮発性媒体、ならびにリムーバブルおよび固定型媒体の両方が含まれる。
システム・メモリ28は、ランダム・アクセス・メモリ(RAM:random access memory)30もしくはキャッシュ・メモリ32またはその両方など、揮発性メモリの形のコンピュータ・システム可読媒体を含んでよい。コンピュータ・システム/サーバ12は、他のリムーバブル/固定型、揮発性/不揮発性コンピュータ・システム・ストレージ媒体をさらに含むことが可能である。単なる例として、ストレージ・システム34は、固定型、不揮発性磁気媒体(図示せず、通常、「ハード・ドライブ」と呼ばれる)からの読み取りおよびそれに書き込むように設けることができる。図示はされていないが、リムーバブルな不揮発性磁気ディスク(例えば、「フレキシブル・ディスク」)から読み取り、これに書き込むための磁気ディスク・ドライブ、およびCD−ROM、DVD−ROM、または他の光媒体など、リムーバブルな不揮発性光ディスクから読み取り、これに書き込むための光ディスク・ドライブを設けることが可能である。かかる場合、それぞれを、1つ以上のデータ媒体インターフェースによってバス18に接続することができる。以下に、さらに示し説明するように、システム・メモリ28は、本発明の実施形態の諸機能を遂行するよう構成されたプログラム・モジュールの(例えば、少なくとも1つの)セットを有する、少なくとも1つのプログラム製品を含むことができる。
限定でなく例として、プログラム・モジュール42の(少なくとも1つの)セットを有するプログラム/ユーティリティ40、ならびにオペレーティング・システム、1つ以上アプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データをシステム・メモリ28中に格納することが可能である。各オペレーティング・システム、1つ以上アプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データ、またはこれらのいくつかの組み合せは、ネットワーキング環境での実装を含むことが可能である。プログラム・モジュール42は、一般に、本明細書で説明した本発明の実施形態の機能もしくは方法またはその両方を遂行する。
また、コンピュータ・システム/サーバ12は、キーボード、ポインティング・デバイス、ディスプレイ24など1つ以上の外部デバイス14;ユーザがコンピュータ・システム/サーバ12とやり取りできるようにする1つ以上のデバイス;もしくはコンピュータ・システム/サーバ12が1つ以上の他のコンピューティング・デバイスと通信することを可能にする任意のデバイス(例えば、ネットワーク・カード、モデムなど);またはこれらの組み合せと通信することができる。かかる通信は、入力/出力(I/O:Input/Output)インターフェース22を介して行うことが可能である。さらにまた、コンピュータ・システム/サーバ12は、ローカル・エリア・ネットワーク(LAN:local area network)、一般広域ネットワーク(WAN:wide area network)もしくは公衆ネットワーク(例えばインターネット)またはこれらの組み合せなど、1つ以上のネットワークとネットワーク・アダプタ20を介して通信することができる。図示のように、ネットワーク・アダプタ20は、バス18を介してコンピュータ・システム/サーバ12の他のコンポーネントと通信する。図示はされていないが、当然のことながら、コンピュータ・システム/サーバ12に関連させて他のハードウェアもしくはソフトウェア・コンポーネントまたはその両方を用いることができよう。諸例には、以下に限らないが、マイクロコード、デバイス・ドライブ、冗長処理ユニット、外部ディスク・ドライブ・アレイ、RAIDシステム、テープ・ドライブ、データ・アーカイバル・ストレージ・システムなどが含まれる。
本発明のコンテキストにおいて、また当業者ならよく理解しているように、図1に表された様々なコンポーネントは、本明細書で教示する対角スケーリング機能を用いて分散作業負荷を処理するのに使用することができる。例えば、例示の実施形態のメカニズムに関連する処理およびデータ・ストレージ能力の一部は、ローカルの処理コンポーネントを介してローカルに行うことが可能であり、同時に、それらコンポーネントは、本発明の様々な目的を達成するために、ネットワークを介して遠隔に配置された分散されたコンピューティング・データ処理およびストレージ・コンポーネントに連結される。これもまた、当業者には当然のことながら、上記の例示は、様々な本発明の態様を達成する分散コンピューティング・コンポーネントの可能な全体的連結ネットワークの単なる一サブセットを示すことが意図されている。
ここで図2を参照すると、例示的なクラウド・コンピューティング環境50が描かれている。図示のように、クラウド・コンピューティング環境50は、例えば、携帯情報端末(PDA:personal digital assistant)または携帯電話54A、デスクトップ・コンピュータ54B、ラップトップ・コンピュータ54C、もしくは自動車コンピュータ・システム54N、またはこれらの組み合せなど、クラウドのコンシューマによって使われるローカル・コンピューティング・デバイスが通信可能な1つ以上のクラウド・コンピューティング・ノード10を含む。諸ノード10は、相互に通信が可能である。これらは、前述のように、プライベート、コミュニティ、パブリック、またはハイブリッド・クラウド、またはこれらの組み合せなど、1つ以上のネットワーク中に、物理的にまたは仮想的にグループ化する(図示せず)ことができる。これは、クラウド・コンピューティング環境50が、インフラストラクチャ、プラットフォーム、もしくはサービスとしてのソフトウェア、またはこれらの組み合せを提供することを可能にし、それらに対し、クラウド・コンシューマは、ローカルのコンピューティング・デバイスにリソースを維持する必要はない。当然のことながら、図2に示されたコンピューティング・デバイス54A〜Nの種類は例示だけが意図されており、また、コンピューティング・ノード10およびクラウド・コンピューティング環境50は、任意の種類のネットワーク、もしくは(例えば、ウェブ・ブラウザを使って)ネットワーク・アドレス可能な接続またはその両方を介して、任意の種類のコンピュータ化デバイスと通信することが可能である。
ここで、図3を参照すると、クラウド・コンピューティング環境50(図2)によって設けられた機能抽象化層のセットが示されている。前もって当然のことながら、図3中に示されたコンポーネント、層、および機能は、例示だけを意図されており、本発明の諸実施形態はこれに限定されない。図示のように、以下の層と対応する機能とが提示されている。
デバイス層55は、クラウド・コンピューティング環境50で様々なタスクを実行するため、センサ、アクチュエータ、および他のオブジェクトを組み込んだ、もしくはスタンドアローンの電子機器またはその両方の、物理もしくは仮想デバイスまたはその両方を含む。デバイス層55中のデバイスの各々は、他の機能抽象化層とのネットワーキング機能を組み込み、しかして、これらデバイスから得られた情報をそれらの層に提供することができ、もしくは他の抽象化層からの情報をこれらデバイスに提供することができ、またはその両方が可能である。一実施形態において、デバイス層55を含めこれら様々のデバイスには、「モノのインターネット」(IoT:internet of things)と総称されるエンティティのネットワークを組み込むことが可能である。当業者には当然のことながら、かかるエンティティのネットワークは、種々様々な目的を達成するためにデータの相互通信、収集、および配布を可能にする。
図示のデバイス層55は、示されるように、センサ52、アクチュエータ53、統合処理を備えた「学習」サーモスタット56、センサ、ネットワーキング電子機器、カメラ57、制御可能家庭用コンセント/ソケット58、および制御可能電気スイッチ59を含む。他の可能なデバイスには、以下に限らないが、様々な追加のセンサ・デバイス、ネットワーク・デバイス、(遠隔制御デバイスなどの)電子デバイス、追加のアクチュエータ・デバイス、冷蔵庫または洗濯機/乾燥機などのいわゆる「スマート」電気製品、および多様な他の可能な相互連結されたオブジェクトを含めることができる。
ハードウェアおよびソフトウェア層60は、ハードウェアおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例は、メインフレーム61、RISC(Reduced Instruction Set Computer(縮小命令セット・コンピュータ))アーキテクチャ・ベースのサーバ62、サーバ63、ブレード・サーバ64、ストレージ・デバイス65、ならびにネットワークおよびネットワーク形成コンポーネント66、を含む。いくつかの実施形態において、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア67、およびデータベース・ソフトウェア68を含む。
仮想化層70は、当該層から仮想エンティティの以下の例を設けることが可能な抽象化層を提供する:仮想サーバ71、仮想ストレージ72、仮想プライベート・ネットワークを含む仮想ネットワーク73、仮想アプリケーションおよびオペレーティング・システム74、ならびに仮想クライアント75。
一例において、管理層80は、以下に記載の機能を提供することができる。リソース・プロビジョニング81は、クラウド・コンピューティング環境内のタスクを実施するのに用いられる、コンピューティング・リソースおよび他のリソースの動的な調達を提供する。計量および課金82は、リソースがクラウド・コンピューティング環境内で用いられる際のコストの追跡、およびそれらリソースの消費に対する請求書または使用明細書作成を提供する。一例においては、これらのリソースは、アプリケーション・ソフトウェアのライセンスを含み得る。セキュリティは、クラウド・コンシューマおよびタスクに対する本人確認、並びにデータおよび他のリソースに対する保護を提供する。ユーザ・ポータル83は、コンシューマおよびシステム管理者に対し、クラウド・コンピューティング環境へのアクセスを提供する。サービス品質管理84は、必要なサービス・レベルが満たされるように、クラウド・コンピューティング・リソースの割り当ておよび管理を提供する。サービス品質保証契約(SLA:Service Level Agreement)計画および達成85は、SLAによって予期される今後の要求のためのクラウド・コンピューティング・リソースの事前準備および調達を提供する。
作業負荷層90は、クラウド・コンピューティング環境を使用することが可能な機能の事例を提供する。この層から提供できる作業負荷および機能の例には、マッピングおよびナビゲーション91、ソフトウェアの開発およびライフサイクル管理92、仮想クラスルーム教育配信93、データ分析処理94;トランザクション処理95、ならびに本発明の例示の実施形態のコンテキストにおいて、様々なリソースおよびアプリケーションのスケーリング機能96が含まれる。さらに、リソースおよびアプリケーション・スケーリング機能96は、特定の作業負荷にリソースを割り当てまたは割り当て解除するため、もしくは特定の作業負荷のアプリケーション・インスタンスを生成または除去するため、またはその両方のために特定のデータを解析するなどのオペレーションを含んでよく、これについてはさらに説明することとする。また、当業者には当然のことながら、リソースおよびアプリケーション・スケーリング機能96は、本発明の例示の諸実施形態の様々な目的を達成するために、ハードウェアおよびソフトウェア60、仮想化70、管理80、および(例えば、データ解析処理94などの)他の作業負荷90中の部分など、様々な抽象化層の他の部分と共に機能することができる。
続いて、図4は、本発明の一実施形態による、分散コンピューティング環境中の作業負荷の自動対角スケーリングの方法400を示す。方法400(および後記で説明する追加の方法)は、様々な実施形態において、とりわけ、図1〜3に表された環境のいずれでも、本発明に従って実行することが可能である。当然のことながら、当業者が本明細書を読めば理解できるように、方法400には、図4中に具体的に記載されたものよりも多いまたは少ないオペレーションが含まれてよい。
方法400(および後記で説明する追加の方法)の各ステップは、上記のオペレーティング環境のどの適切なコンポーネントによっても実行することが可能である。例えば、様々な実施形態において、方法400は、部分的にまたは全体的に、一プロセッサによって、または1つ以上のプロセッサを有する何らかの他のデバイスによって実行することができる。方法400の1つ以上のステップを実行するための任意のデバイス中には、例えば、処理回路(1つまたは複数)、チップ(1つまたは複数)、もしくは、ハードウェアもしくはソフトウェアまたはこれらの組み合せに実装され、望ましくは少なくとも1つのハードウェア・コンポーネントを有するモジュール(1つまたは複数)、または前述の組み合せ、などの処理装置を用いることができる。処理装置の例には、以下に限らないが、CPU、特定用途向け集積回路(ASIC:application specific integrated circuit)、フィールド・プログラマブル・ゲート・アレイ(FPGA:Field Programmable Gate Array)など、これらの組み合せ、または、当該技術分野で既知の任意の他の適切なコンピューティング・デバイスが含まれる。
方法400は、複数のアプリケーション・インスタンスの各々の複数のリソースの各々に対し、該複数リソースの少なくとも1つへの割り当てを変更する必要があるかどうかを判断する(ステップ404)ことで開始される(ステップ402)。複数のアプリケーション・インスタンスの各々に対するオペレーションの要件が計算され、該計算された要件は垂直増加および低減オペレーション、ならびに水平分割および折り畳みオペレーションを含む(ステップ406)。垂直低減および水平折り畳みオペレーションが最初に処理され(ステップ408)、垂直増加および水平分割が順序付けられ(ステップ410)、続いてその順序に基づいて垂直増加および水平分割が処理され(ステップ412)、これにより、分散コンピューティング環境における、アプリケーション効率および複数のリソースの利用度が最適化される。方法400が終了する(ステップ414)
対角スケーリングの一般的アプローチは、アプリケーション・インスタンスを垂直にスケールし(リソースを割り当てる、または割り当て解除する)、アプリケーション・インスタンスまたはホストが飽和状態のときまたはアプリケーションが遊休状態のときは、水平にスケールする(アプリケーション・インスタンスを生成する、または除去する)ことである。水平スケーリングの後、続いてアプリケーション・インスタンスを垂直にスケールする。この実装が図5に表されており、これは、対角スケーリング・方法500を表す組み合せブロック/フローチャート図である。
方法500は、アプリケーション・インスタンスに対し垂直スケーリングを適用する(ステップ504)ことで開始される(ステップ502)。すなわち、或るアプリケーション・インスタンスが必要とするリソース要件を満たすために、そのアプリケーション・インスタンスにリソースが割り当てられ、もしくはリソースが割り当て解除される。アプリケーション・インスタンスが飽和状態(フル使用状態)のとき、もしくはホストが飽和状態のとき、方法500はそのアプリケーション・インスタンスに対し垂直スケーリング・オペレーションを適用すること(ステップ506)ができる。すなわち、ステップ504でリソース割り当てまたは割り当て解除の垂直スケーリングを行い、それでもフル飽和状態または遊休状態であると判断されると、次いで、当該アプリケーション・インスタンスは、そのアプリケーション・インスタンスを追加するかもしくは除去することによって水平にスケールされる。水平スケーリング・オペレーション(ステップ506)に続いて、本方法は、必要に応じ垂直スケーリング・オペレーション(ステップ504)の適用に戻る(且つその後も適用を続ける)。
図6は、本発明の諸態様による、分散コンピューティング環境中の作業負荷の自動対角スケーリングの方法600を表すさらなるフローチャート図を示す。方法600は、1つ以上のアプリケーション・インスタンスの各々のリソース消費を自動的に追跡し、そのアプリケーション・インスタンスの各々の消費を当該アプリケーション・インスタンスのリソース割り当てと比較する(ステップ602)ことで開始される。次いで、方法600は、ステップ602での比較の結果に従って、そのアプリケーション・インスタンスへのリソース割り当ての修正オペレーション(増加または低減)の計算(ステップ604)へと続く。次に、計算された修正オペレーションは、アプリケーションもしくはアプリケーション・インスタンスまたはその両方の優先度と、利用可能なリソースとに照らして改善される(ステップ606)。次いで、計算された修正オペレーションが、それぞれ、諸アプリケーション・インスタンスに動的に適用され(ステップ608)、この修正オペレーションはステップ610および612に示されるように多様な種類がある。
適用が可能な1つの種類のオペレーションは、或る特定のアプリケーション・インスタンスに割り当てられたリソースの割り当て量およびリソースの限度を増加するまたは低減することを含む。このようにして、アプリケーションの負荷が増大したとき、その特定のアプリケーション・インスタンスに対し追加のリソースが利用可能にされる。同様に、特定のアプリケーション・インスタンスの負荷が減少したとき、そのアプリケーション・インスタンスに不必要または使用されない過剰なリソースは、その特定のアプリケーション・インスタンスから割り当て解除される。ステップ608に戻って、適用可能な別種の修正オペレーションは、アプリケーション・インスタンスを追加し、除去し、先取りし、または移動すること((ステップ612)を含む。例えば、或るアプリケーション・インスタンスがステートレスな場合、そのステートレスなアプリケーション・インスタンスは容易に除去または先取りすることが可能である。逆に、或るアプリケーション・インスタンスがステートフルな場合、そのアプリケーション・インスタンスは、コンピューティング・クラスタ中の別のリソースに移動される方がより適しているかもしれない。ステートフルなアプリケーションおよびそれへの依存対象の取り扱いについては後記でさらに説明することとする。
リソース割り当ての変更に対する要件の識別
図7は、本発明の諸態様による、複数のリソース種類の各々に対する例示的な計算メカニズム700を表すブロック図を示す。全体のバーは、或る特定のアプリケーション・インスタンスに対する或る特定のリソースの現在の割り当て702(プラス/マイナス全ての累積差分)を表す。計算メカニズム700に描かれた2つの水位線は、現在の割り当てに対する計算の2つのティアを画定する。高位の水位線706は、消費の高位ティア704の下限を画定する。或る特定のリソースに対し高位の水位線706が画定されていない場合、当該リソースに対しスケールアップ・メカニズム(リソース割り当ての垂直スケーリング)はアクティブ化されていない。
同様に、低位の水位線708は、消費の低位ティア710に対する上限を画定する。或る特定のリソースに対し低位の水位線708が画定されていない場合、当該リソースに対しスケールダウン・メカニズム(リソース割り当て解除の垂直スケーリング)はアクティブ化されていない。高位ティア704における持続的な消費は、特定のアプリケーション・インスタンスに対する特定のリソースの割り当ての増加をトリガすることになり、同様に、低位ティア710における持続的な消費は、特定のアプリケーション・インスタンスに対する特定のリソースの割り当ての低減をトリガすることになる。
持続的な消費を定義するために、割り当て変更に該当する期間が定められる。この期間とは、ティア(高位ティア704または低位ティア710)内で持続的な消費状態に留まっている、割り当て変更に該当する十分な数のサンプルを有する時間窓である。この期間は、時間とともにスライドして行く窓であり、デフォルト値を有してよい。範囲外のサンプルのパーセントが以下のようにさらに定義される。持続的な消費は、これらの定義に基づいて、画定された時間窓の持続時間の間に、高位ティア704もしくは低位ティア710を外れたサンプルが範囲外パーセント以下である消費として定義される。例えば、1時間の時間窓と10%の範囲外パーセントとを仮定し、サンプルの少なくとも90%がこの時間の最後まで、これらティア領域の1つ中にあった場合、関連リソースに対する適切な増加/低減処置が計算されることになる。
リソース割り当て増加の取り扱い
図8は、本発明の諸態様による、複数のリソース種類の各々に対する例示的な計算メカニズム730を表すさらなるブロック図を示す。具体的に、計算メカニズム730は、高位ティア704において識別された持続的な消費の例を表す。
これも同様に、全体のバーは、或る特定のアプリケーション・インスタンスに対する或る特定のリソースの現在の割り当て702を表す。高位ティア704は、検査された時間窓中の、全てのサンプルから範囲外パーセント以下のサンプルを除いたサンプルを含み、これにより、特定のリソースおよび特定のアプリケーション・インスタンスに対する増加オペレーションを生成するように示されている。この増加オペレーション(特定のアプリケーション・インスタンスに対する特定のリソースの追加割り当て)は、次に詳記するように、一定の増分で、または漸増する増分で、または適応増分で行うことが可能である。
増加ステップ732は、絶対値または現在の割り当て702のパーセントで定義される。増加関数の型がさらに定義され、これは以下の可能な値によって設定されてよい。1)1ステップ(デフォルト)、ここでは、割り当てが1ステップ分(例えば、増加ステップ732)増加されることになる。2)漸増する増加(例えば、漸増する増加734)、これは、増加オペレーションが相互に続いて行われる場合に適用される。または、3)自動的且つ適応的増加、これは、以下に詳記するように過去のデータに基づく。
増加オペレーションがない期間については、漸増増加734関数がリセットされる。漸増増加734の様々な関数を設定することが可能で、例えば、前回の増加オペレーションでの増加値+1のステップを行うことができる(例えば、この値は、1ステップ、2ステップ、3ステップ、4ステップ、5ステップなどのパターンによる)。別の例では、前回の増加オペレーション+リニアに漸増するステップを行うことも可能である(例えば、この値は、1ステップ、3ステップ、6ステップ、10ステップ、15ステップ、21ステップなどのパターンによる)。
さらに別の例において、前回のオペレーションの増加値×2のステップを行ってもよい(例えば、この値は、1ステップ、2ステップ、4ステップ、8ステップ、16ステップ、32ステップなどのパターンによる)。ユーザが最大消費および関連コストを制御できるように、増加限度736がさらに定義される。いくつかの実施形態において、異なる期間(例えば、一日)にマップされる複数の増加限度があってよく、これは、リソースが割り当てられるもしくは使用される、またはその両方の時間の如何によってリソースのコストが変わる場合には有用であり得る。或るリソースおよび或るアプリケーション・インスタンスに対する増加オペレーションは、そのリソースおよびアプリケーション・インスタンスに対する増加限度736の定義値(または値群)を超えないことになる。リソースとアプリケーションとの各対(つい)は或る指示とさらに関連付けられ、これは、増加に対しクリティカル・リソース指示、と名付けることができよう。この増加に対しクリティカル・リソース指示が該当に設定され、リソースおよびアプリケーション・インスタンスに対する増加限度736に既に達しており、さらに高位ティア704での消費が行われている場合、適切な処置が取られることになり、この処置は、当該アプリケーション・インスタンス全体に対し定義され、アプリケーション・インスタンスの水平スケーリング(例えば、アプリケーション・インスタンスの追加)を含んでよい。
リソース割り当て低減の取り扱い
図9は、本発明の諸態様による、複数のリソース種類の各々に対する例示的な計算メカニズム760を表すさらなるブロック図を示す。具体的に、計算メカニズム760は、低位ティア710において識別された持続的な消費の例を表している。
さらにこれもまた、全体のバーは、或る特定のアプリケーション・インスタンスに対する或る特定のリソースの現在の割り当て702を表す。低位ティア710は、検査された時間窓中の、全てのサンプルから範囲外のパーセント以下のサンプルを除いたサンプルを含み、これにより、特定のリソースおよび特定のアプリケーション・インスタンスに対する低減オペレーションを生成するように示されている。この低減オペレーション(特定のアプリケーション・インスタンスからの特定のリソースの割り当て解除)は、次に詳記するように、一定の減分で、または最大減分で、または、漸増する減分で、または適応減分で行うことが可能である。
低減ステップ762は、絶対値または現在の割り当て702のパーセントで定義される。低減関数の型がさらに定義され、これは以下の可能な値によって設定されてよい。1)1ステップ(デフォルト)、ここでは、割り当てが1ステップ分(例えば、低減ステップ762)低減されることになる。2)最大低減、ここでは、割り当ての低減が、低減限度766を制限している上部のステップまで下げて適用されることになる。3)漸増する低減(例えば、漸増低減764)、これは低減オペレーションが相互に続いて行われる場合に適用される。または、4)自動的且つ適応的低減、これは、以下に詳記するように過去のデータに基づく。
低減オペレーションがない期間については、漸増低減764機能がリセットされる。漸増低減764の様々な関数を設定することが可能で、例えば、前回の低減オペレーションでの低減値+1のステップを行うことができる(例えば、この値は、1ステップ、2ステップ、3ステップ、4ステップ、5ステップなどのパターンによる)。別の例では、前回の低減オペレーション+リニアに漸増するステップを行うことも可能である(例えば、この値は、1ステップ、3ステップ、6ステップ、10ステップ、15ステップ、21ステップなどのパターンによる)。
さらに別の例において、前回のオペレーションの低減値×2のステップを行ってもよい(例えば、この値は、1ステップ、2ステップ、4ステップ、8ステップ、16ステップ、32ステップなどのパターンによる)。ユーザが当該アプリケーション・インスタンスに対する特定のリソースの最小割り当てを制御できるように、低減限度766がさらに定義される。いくつかの実施形態において、異なる期間(例えば、一日)にマップされる複数の低減限度があってよく、これは、リソースが割り当てられるもしくは使用される、またはその両方の時間の如何によってリソースのコストが変わる場合には有用であり得る。或るリソースおよび或るアプリケーション・インスタンスに対して計算される低減オペレーションは、そのリソースおよびアプリケーション・インスタンスに対する低減限度766の定義値(または値)を下回る割り当ては低減しないことになる。リソースとアプリケーションとの各対は或る指示とさらに関連付けられ、これは、低減に対するクリティカル・リソース指示、と名付けることができよう。この低減に対しクリティカル・リソース指示が該当に設定され、リソースおよびアプリケーション・インスタンスに対する低減限度766に既に達しており、さらに低位ティア710の消費が行われている場合、適切な処置が取られることになり、この処置は、当該アプリケーション・インスタンス全体に対し定義され、アプリケーション・インスタンスの水平スケーリング(例えば、アプリケーション・インスタンスの除去)を含んでよい。
過去のデータに基づく、自動的且つ適応的な増加および低減
図10は、本発明の諸態様による、過去のデータに基づく、リソースの自動的且つ適応的増加および低減の方法800を表す組み合せブロック/フローチャート図を示す。ステップ802で開始され、自動的且つ適応的であるように、コンピューティング・クラスタによって保持されている過去のデータ806に基づいて、増加または低減関数の型を設定することができる。この機能を実装するために、本明細書のメカニズムは、時間を通しての、各アプリケーションに対する各リソースの消費レベルについての過去の消費データ806を維持する(ステップ804)。或るアプリケーション・インスタンスに対して増加または低減オペレーションがトリガされると(ステップ808)、その特定のリソース、アプリケーション、および時間に対する過去の消費データ806(但し、過去の消費データ806中に維持され、考慮に入れられるさらなる属性があってよい)に基づいて、予測消費レベルが計算される(ステップ810)。次いで、これに基づき、当該アプリケーションに対するリソースの予測された消費レベルに対応するため、増加または低減オペレーションが計算される(ステップ812)。方法800が終了する(ステップ814)。
アプリケーション・レベルのメカニズム
増加方法
図11は、本発明の諸態様による、例示的な対角スケーリング増加オペレーションを表すブロック図900を示す。これらオペレーションは、アプリケーションのインスタンス(902)の基本数で開始され、この基本数は、単一のアプリケーション・インスタンスであってもよい。アプリケーション・インスタンス902の各々は、随意的に垂直スケーリングによって定義され、各アプリケーション・インスタンスは、各独立的にスケーリング・オペレーションのため計算される。さらなるオプションは、その下で水平スケーリングだけが行われ、その上で、垂直スケーリングに続いて水平スケーリングが行われることになることになるいくつかのアプリケーション・インスタンスを定義することである。このアプリケーション・インスタンスの定義数がアプリケーション・インスタンスの基本数902に等しい場合、最初に垂直スケーリングが、その後に水平スケーリングが適用される。このシナリオは、例えば、(状態データを有する)ステートフルなアプリケーションに対して有用であり得る。さらに、アプリケーション・インスタンスのこの定義数が無制限である場合、垂直スケーリングは実際上無用であり、水平スケーリング・オペレーションだけが行われることになる。このシナリオは、例えば、(状態データを持たない)ステートレスなアプリケーションに対して有用であり得る。但し、全ての場合において、前述の実施形態の機能には、スケーリング要件の自動追跡および計算が適用される。
これらのオペレーションは、アプリケーション・インスタンス群(902)の各アプリケーション・インスタンスのリソース消費を追跡し、各アプリケーション・インスタンスのリソース消費をそれへのリソース割り当てと比較する。アプリケーション・インスタンスの負荷が増大した場合、特定のアプリケーション・インスタンスに与えるリソースの割り当てに対する増加オペレーションを計算することができる。以下は、アプリケーション・インスタンスのリソース割り当てに対し計算された増加オペレーションの処理についてのいくつかのケース例である。
ケース1−リソースが利用可能である:ホスト上で(リソースの利用可能性およびアプリケーションの優先度を考慮に入れながら)垂直増加に対応が可能で、アプリケーション・インスタンスの増加限度736に達していない場合、そのアプリケーション・インスタンスには垂直スケーリングが適用され(ブロック904)、増加限度736の閾値を超えていないアプリケーション・インスタンスには、その後も引き続き垂直増加オペレーションが適用される(ブロック906)。(なお、アプリケーション・インスタンス群は、垂直増加オペレーションの過程で増大する円または楕円で表され、これにより各それぞれのアプリケーション・インスタンスに割り当てられたリソースの量を示している。)
ケース2−アプリケーション・インスタンスの増加限度736に達している:
アプリケーション・インスタンスのリソースに対する増加限度736に達しており、そのリソースが増加に対しクリティカル・リソースに設定されている場合(ブロック908)、そのアプリケーション・インスタンスは、当該アプリケーションの生成されたアプリケーション・インスタンス912の所定数でさらに水平にスケールされてよい(ブロック910)。これら追加のアプリケーション・インスタンスは、飽和状態のインスタンスの特定のリソースの現行の割り当てを継承してもよく、またはそのリソースの新規の基本割り当てを受けてもよい。
ケース3−ホストの増加限度に達した:ホスト上の当該リソースが(アプリケーションの優先度を合わせ考慮した上で)使い尽くされている場合、以下のように、1つ以上の事前定義されたオプションを行うことが可能である。
第一オプションは、ホスト上に(生成されたアプリケーション・インスタンス912に示されるような)アプリケーションの追加のインスタンスを生成することによって、前述したような水平スケーリングを行うことを含む。このオプションは、他のまたは代わりのホスト上に追加のアプリケーション・インスタンス912を生成するまたは利用可能にするための状態データが必要とされないので、ステートレス・アプリケーションに適している。
第二オプションは、第一オプションに加えてまたは換えて行うことができ、他のアプリケーション・インスタンスからリソースの割り当てを取得するよう試みることを含む。このシナリオでは、最低の優先度、および最小の負荷のアプリケーション・インスタンスが計算され、それらのアプリケーション・インスタンスにそのリソースの割り当てを手放す要求が送信される。それらのアプリケーション・インスタンスがリソースの割り当てを、リソースを必要とするアプリケーション・インスタンスに手放しても、十分なリソースの割り当てを準備することができない場合は、リソースを必要性とする当該アプリケーション・インスタンスは、割り当てに利用可能なリソースがある別のホストに移動することが可能である。さらに、この移動が可能でない場合、前に詳記したように、他のホスト上に当該アプリケーションの追加のアプリケーション・インスタンスを生成することによって、水平スケーリングを引き続いて行うことができる。この移動オプションは、(状態データを有する)ステートフル・アプリケーションに適している。ステートフル・アプリケーションに対しては、かかるアプリケーションがそれらの状態に関し、分散/同期化をサポートしていないことがあるので、水平スケーリングよりも移動の方が望ましい。また、アプリケーション・データもアプリケーション・インスタンスと共に移動することが可能である。
図12は、本発明の諸態様による、前のケースのシナリオで説明したような、アプリケーション・インスタンスのリソース割り当てに対する、計算された増加オペレーションを処理する方法1000を表すフローチャート図を示す。方法1000は、或るアプリケーション・インスタンスのリソース割り当てに対して計算された増加オペレーションを受信すること(ステップ1004)によって開始され(ステップ1002)、このオペレーションは、当該アプリケーション・インスタンスの作業負荷によって必要となった1つ以上の特定のリソース要求のため実行されなければならない。
ステップ1006で、当該ホスト上で垂直増加(追加リソースの割り当て)に対応可能かどうか、また、そのアプリケーション・インスタンスに対する増加限度736に達しているかどうかに関して判断が行われる。ホスト上で垂直増加に対応が可能であり、アプリケーション・インスタンスに対する増加限度736に達していない場合、方法1000は、そのアプリケーション・インスタンスに追加のリソース(1つまたは複数)を割り当てることによって、該アプリケーション・インスタンスに垂直増加オペレーションを適用するステップ(ステップ1014)に進み、そこで方法1000は終了する(ステップ1026)。
ステップ1006に戻って、ホスト上で垂直増加に対応が可能でなく、もしくはアプリケーション・インスタンスに対する増加限度736に達している、またはその両方の場合、アプリケーション・インスタンスに対する増加限度736に本当に達しているかどうかさらなる判断が行われ、達していれば、そのリソースが、増加に対しクリティカル・リソースとして設定されているかどうかが判断される(ステップ1008)。当該アプリケーション・インスタンスに対する増加限度736に達しており、且つリソースが増加に対しクリティカル・リソースとして設定されている場合、方法1000は、所定数の追加アプリケーション・インスタンスを追加または生成することによって、アプリケーション・インスタンスを水平にスケールするステップ(ステップ1016)に進み、そこで方法1000は終了する(ステップ1026)。
ステップ1008に戻って、当該アプリケーション・インスタンスに対する増加限度736にまだ達していない、またはリソースが増加に対しクリティカル・リソースとして設定されていない場合、諸アプリケーションの優先度を考慮に入れながら、ホスト上のリソースが使い尽くされているかどうかについてさらなる判断が行われる(ステップ1010)。ステップ1010で、諸アプリケーションの優先度を考慮に入れてもホスト上のリソースが使い尽くされていない場合、方法1000は終了する(ステップ1026)。
ステップ1010に戻って、アプリケーションの優先度を考慮に入れて、ホスト上のリソースが使い尽くされている場合、当該アプリケーションがステートレスかどうかに関してさらなる判断が行われる(ステップ1012)。ステップ1012で、当該アプリケーションがステートレスであると判断された場合、方法1000は、対象作業負荷を取り扱うため、所定数の追加アプリケーション・インスタンスを生成または追加することによってアプリケーション・インスタンスを水平にスケールすることを継続し(ステップ1016)、方法1000は終了する(ステップ1026)。
ステップ1012に戻って、アプリケーションがステートフルであると判断された場合、方法1000は、ホスト上の、最低の優先度および最小の負荷のアプリケーション・インスタンスを計算し、これら(1つ以上の)インスタンスに、リソースを要求しているアプリケーション・インスタンスに必要なリソース割り当てを手放す要求を送信することを継続する(ステップ1018)。このステップが完了すると、アプリケーション・インスタンスのリソース要求が、リソースを必要とするアプリケーション・インスタンスへのリソースの再割り当てによって満たされたかどうかについての判断が行われる(ステップ1020)。ステップ1020で、アプリケーション・インスタンスのリソース要求が満たされた場合、方法1000は終了する(ステップ1026)。
ステップ1020に戻って、アプリケーション・インスタンスのリソース要求が、リソースを必要とするアプリケーション・インスタンスへのリソースの再割り当てによって満たされなかった場合、もしくは他の(代わりの)アプリケーション・インスタンス(1つまたは複数)によって、リソースを必要としているアプリケーション・インスタンスへのリソースの再割り当てが全くできなかった場合、またはその両方の場合、リソースを必要としているアプリケーション・インスタンスを、割り当てのためのリソースが利用可能な別のホストへ移動する試みが行われる(ステップ1022)。最後に、ステップ1024で、この移動が可能であったかどうかの判断が行われ、そうであれば、成功だったかどうか判断される。移動が可能でない、もしくは成功しなかった、またはその両方の場合、方法1000は、所定数の生成アプリケーション・インスタンスによるアプリケーション・インスタンスの水平スケーリングに戻り(これは当該基本アプリケーション・インスタンスと同じホスト上でも他のホスト上でもよい)、そこで方法1000は終了する(ステップ1026)。上記以外に、ステップ1024で、移動が可能であり実際に成功した場合も本方法は終了する(ステップ1026)。
上記で説明したシナリオをモデルし、さらにそれをユーザ設定のポリシーに組み込むため、垂直増加限度に達した、またはリソースが使い尽くされた場合の処置が定義される。この処置は、増加に対しクリティカルな少なくとも1つのリソースが当該アプリケーション・インスタンスに対する増加限度736に達したか、またはそのアプリケーション・インスタンスを実行しているホスト上でそのリソースが使い尽くされたとき行われ、該特定のアプリケーション・インスタンスに対し高位ティア704の消費の検出は継続される。この処置は、以下のオプションによって、ユーザにより設定されてよい。1)ユーザに通知する、2)他のアプリケーション・インスタンスから、必要なリソースのリソース割り当てを取得することを試みる、3)当該アプリケーション・インスタンスを(他のまたは代わりのホスト(1つまたは複数)に)移動する、または、4)水平増加をおこなう。ユーザがオプション4(水平増加オペレーションを行う)を指定する場合、そのユーザは、生成対象のいくつかの追加のアプリケーション・インスタンス、および、それら追加のアプリケーション・インスタンスにどのリソース割り当て(どのリソースのどの量)を適用するかをさらに設定することができる。この指定されたリソース割り当ては、現在のアプリケーション・インスタンスの現在の割り当てを含んでもよく、または各指定されたリソースの新規の基本割り当てを受けるために、新しく生成されたアプリケーション・インスタンスが構成されてもよい。
低減方法
この低減方法の目的は、過剰なリソースを、それらリソースが(例えば、リソース(1つまたは複数)を必要としている他のアプリケーション・インスタンスのために)再利用されるように、アプリケーション・インスタンスから解放することである。この低減への一般的アプローチは、最初に垂直低減オペレーションを適用し、その後に水平低減オペレーションを適用することとして定義することができ、この垂直低減は、前述したリソース消費の自動追跡技法に従ってリソース毎に適用される。
水平低減オペレーションを行うために、遊休状態のアプリケーション・インスタンスは、以下の2つの可能な定義によって定義される。
1.システム定義の遊休状態インスタンス、ここでは、低減に対しクリティカルな全てのリソースがそれらの低減限度766に達しており、それらの当該消費レベルが、それぞれの低位ティア710において、水平低減オペレーションに該当する期間に亘って検出されている。
2.ユーザ定義の遊休状態インスタンス、ここでは、或る特定のアプリケーション・インスタンスが遊休状態かどうかを判断するためのユーザ規定の手順/実行可能プログラムを実行するためのインターフェースが定義される。この種のユーザ・ロジックは、一般に、アプリケーション・インスタンスの負荷をチェックするのに効果的である。
前述のこれら2つの技法は、相互に合わって機能することが可能である。例えば、システム定義に基づいて、或る遊休状態アプリケーション・インスタンスが識別されたとき、そのアプリケーション・インスタンスの状態を検証するために、ユーザ規定の手順を加えて作動することが可能である。しかして、或る遊休状態アプリケーション・インスタンスが識別されたとき、前述の技法に従って、その遊休状態インスタンスを終了させることができ、その割り当てリソースを他のアプリケーション・インスタンスの再利用のために解放することが可能である。さらに、ユーザは、アプリケーションに対し保持されるべき最小数のインスタンスを加えて指定することができ、アプリケーション・インスタンスのかかる最小数が設定されている場合、遊休状態アプリケーション・インスタンスは、当該アプリケーションのインスタンスの現在数がそのアプリケーションに対し設定されたインスタンスの最小数よりも高い場合にだけ、終了されることになる。
図13は、本発明の諸態様による、例示的な対角スケーリング低減オペレーションを表すブロック図1100を示す。これらオペレーションは、アプリケーションのインスタンスの現在数および形成(アプリケーション・インスタンスの現在数1102)で開始される。すなわち、本オペレーションは、アプリケーション・インスタンスの現在数1102および各それぞれのインスタンスに割り当てられたリソースの量を算定することによって開始される(図1100においても同様に、楕円形がどの位大きいかで各アプリケーション・インスタンスの大きさを表して示されている)。現在のアプリケーション・インスタンス1102の各々のリソース消費がモニタおよび追跡され、最後にアプリケーション・インスタンスへのリソース割り当てと比較される(これも同様に、各それぞれのアプリケーション・インスタンスに対し、各リソースが個別にモニタおよび追跡されることに留意する)。或る特定のアプリケーション・インスタンスの負荷が軽減されている場合、そのアプリケーション・インスタンスに割り当て配属されているリソースの量を低減するため、垂直低減オペレーションが計算されてよい(ブロック1104)。さらに、前述した方法を用いて遊休状態アプリケーション・インスタンスを識別することができ(遊休状態インスタンス1106)、同時に、残りのアプリケーション・インスタンスは活動状態として識別することが可能である(活動状態インスタンス1108)。遊休状態アプリケーション・インスタンス1106のこの判定に基づいて、それら識別された遊休状態アプリケーション・インスタンス1106の一部または全部を終了することができる。すなわち、遊休状態アプリケーション・インスタンス1106を低減または終了するために、水平低減オペレーションが行われる(ブロック1110)。
ユーザが、アプリケーション・インスタンスを遊休状態として判定するための上記の技法を設定することを可能にするために、水平低減処置の指示が定義される。この指示が或るアプリケーション・インスタンスに該当として設定された場合、且つ、その特定のアプリケーション・インスタンスに対して、低減に対しクリティカルな全てのリソースがそれらの低減限度766に達しており、該特定のアプリケーション・インスタンスのための消費レベルが、低位ティア710において水平低減に該当する期間の間持続していることが検出された場合、水平低減処置が取られることになる。
水平低減処置は、1)ユーザに通知する、または、2)当該アプリケーション・インスタンスを(静々とまたは強制的に)終了する、オプションのうちからユーザによって設定することが可能である。水平低減に対する期間がユーザによってさらに定義され、これは、或るアプリケーション・インスタンスが遊休状態として判定されるためにその遊休状態が満たすべき最小の持続時間を含む。
クラスタ・レベルのメカニズム
対角スケーリング・アルゴリズム
図14は、本発明の諸態様による、ハイレベルでの対角スケーリング・アルゴリズムを表すフローチャート図1200を示す。図1200を検討すると、本対角スケーリング・アルゴリズムの達成目的は、諸アプリケーションに入力として供給される実際の作業負荷、アプリケーションの優先度、および利用可能なリソースに従って、コンピューティング・クラスタのアプリケーションのスループットを最大化することと、これらのリソースのコストを最小化することとの両方である。これらの目的を達成するために、本対角スケーリング・アルゴリズムは、アプリケーション・インスタンス毎に諸特定リソースの実際の消費に基づいてリソース割り当ての必要な修正を計算し、引き続いて、アプリケーションの優先度および利用可能なリソースに従って、実際のオペレーションを計算する。
本対角スケーリング・アルゴリズムは、リソース要件を計算する第一フェーズで開始される(フェーズ1202)。このフェーズは、2つのステップを含み、その第一(ステップ1204)は、個別のアプリケーション・インスタンスの個別のリソースのレベルに焦点を合わせる。ステップ1204で、本アルゴリズムは、アプリケーション・インスタンスの各個別のリソースに対し、前述した方法を用いてリソースの割り当ての変更が必要かどうかを判断する。フェーズ1202の第二ステップ(ステップ1206)は、アプリケーション・インスタンス・レベルに焦点を合わせる。ステップ1206で、本アルゴリズムは、前述した方法を用いて各アプリケーション・インスタンスに対するオペレーションの要件を計算する。これらの計算されたオペレーションの要件は、垂直および水平オペレーションの両方を含み、ここでも同様に、垂直スケーリング・オペレーションは、アプリケーション・インスタンス毎の個別のリソースに対する割り当てを増加および低減し、水平スケーリング・オペレーションは、アプリケーションのインスタンスを分割または折り畳む。アプリケーション・インスタンスの分割とは、追加のアプリケーション・インスタンスを生成することを言い、アプリケーション・インスタンスの折り畳みとはアプリケーション・インスタンスを除去することを言う。
本対角スケーリング・アルゴリズムは、次いで、前のステップで計算された要件を処理する第二フェーズ(フェーズ1208)に進む。フェーズ1208は、2つのステップを含む。フェーズ1208中の第一ステップ(ステップ1210)は、アプリケーション・レベルに焦点を合わせる。すなわち、ステップ1210で、本アルゴリズムは、前述した方法を用いてステップ1206で計算された垂直低減および水平折り畳みオペレーションを処理する。フェーズ1208中の第二ステップ(ステップ1212)は、クラスタ・レベルに焦点を合わせる。しかして、ステップ1212で、本アルゴリズムは、諸アプリケーションに対する優先度を計算するかまたは取得し、それらアプリケーションの優先度に基づいて(例えば、優先度キューを使って)垂直増加および水平分割オペレーションを順序付ける。優先度付けおよび順序付けについては以下でさらに説明することとする。さらに、ステップ1212で、本アルゴリズムは、次いでこの順序付けに基づいて、図11〜13の説明と一致する垂直増加および水平分割オペレーションを処理する。
スケーリング・オペレーションに対するアプリケーションの優先度の計算
図15は、本発明の諸態様による、アプリケーションの優先度を計算するための、例示的なアプリケーションのトポロジを表すブロック図1300を示す。図1300に示されたアプリケーションのトポロジを考察すると、4つのアプリケーション、すなわち、アプリケーション(1)1302、アプリケーション(2)1304、アプリケーション(3)1306、およびアプリケーション(4)1308が示されている。アプリケーション1302〜1308の各々に対し、その中に、アプリケーション1302〜1308のそれぞれの重要さ(もしくは重要性)またはそこで行われる機能として、S[アプリケーション]が定義されている。すなわち、アプリケーション(1)1302の重要さS[アプリケーション1]は、アプリケーション(2)1304の重要さS[アプリケーション2]等々よりも高い(アプリケーション自体もしくはアプリケーション(1)1302によって行われる機能の)重要さを有し得る。このアプリケーションの重要さに対する尺度は、5つの典型的なレベルを含むが、但し、これらのレベルは実装の如何による必要に応じて修改されてよい。図1300において、アプリケーション1302〜1308の各々は、そのそれぞれのS[アプリケーション]の値に関連付けられる。
図1300中のアプリケーション(1)1302を考察してみよう。アプリケーション(1)1302に対し、図1300は、アプリケーションの依存性の一例を示し、この例では、アプリケーション(2)1304、アプリケーション(3)1306、およびアプリケーション(4)1308は、各々、アプリケーション(1)1302への依存性を保持し、さらに、アプリケーション(1)1302も他のアプリケーション(図示せず)への依存性を保持する。一般性を失うことなく、この例では、アプリケーション(1)1302への全ての依存性が示されていると仮定すれば、各々の依存性、S[依存性](またはS[dpn])が、先行のアプリケーションへの依存アプリケーションの依存性の重要さ(または重要性)として定義される。
図1300にさらに示されているように、アプリケーション(2)1304、アプリケーション(3)1306、アプリケーション(4)1308およびアプリケーション(1)1302との間の依存性の各々は、それぞれのS[dpn]値に関連付けられる。重要さの2つの型の間の差異を説明するために、以下の2つの例を考えてみよう。(1)一方のアプリケーションが他方の使用(または他方への依存性)を有するが、その利用は低い重要さの機能に対するものである、2つの重要なアプリケーション、および(2)一方のアプリケーションが他方を使用し、この使用は依存アプリケーションの主要機能を促進し、したがってこの依存性に対し高い重要さの値を有する、2つの低い重要さのアプリケーション。
ユーザが、各アプリケーションおよびその依存性に対する重要さの値を規定する。本対角スケーリング・アルゴリズムは、これらの重要さの値を標準化し、アプリケーションに対する優先度を計算し、また、依存関係のトポロジが変更されたとき、またはアプリケーションがクラスタに追加されるかまたはクラスタから除去されたときに優先度を再計算する。以下は、本アルゴリズムが、或るアプリケーションXの優先度を計算するための算式である。
Figure 2021504777
この算式において、第一要素(A)はアプリケーションの重要さをモデルし、第二要素(B)はアプリケーションへの依存性の重要さをモデルしている。Wは、アプリケーションの重要さ対そのアプリケーションへの依存性の重要さの相対ウェイトである。Wの値に対する範囲の一例は0〜1であってよく、Wはデフォルト値を有してよい。また、重要さの値、S[アプリケーションまたは依存性]も0〜1の範囲の値に標準化することが可能である。
より明瞭にするため、また上記の算式(要素AおよびB)中に示されるように、アプリケーションの優先度は、1)アプリケーションの重要さと第一ウェイトとの積として第一要素を計算し、2)当該アプリケーションへの依存性の重要さと依存アプリケーションの重要さとの積を集約し、その集約を或る除数で除して、その結果に第二ウェイトを乗じて第二要素を計算し、さらに3)その第一要素と第二要素とを加算することによって計算することができる。
第二要素中の除数はいくつかの仕方で定義することができる。以下は、この除数を計算するための例示の実施形態である。
Figure 2021504777
すなわち、この除数は、1)第一例のように、アプリケーションの合計数引く1、2)全てのアプリケーションの間からの所与のアプリケーションへの依存性の最大数、3)全てのアプリケーションの間での、或るアプリケーションに依存する諸アプリケーションの重要さの値の最大総和、もしくは、4)全てのアプリケーションの間での、依存性の重要さの値を備えた或るアプリケーションに依存する諸アプリケーションの重要さの値の積の最大総和、またはこれらの組み合せとして計算することが可能である。
なお、重要さの値およびWが両方とも0〜1の範囲内の場合、アプリケーションの優先度を計算するため上記に規定された算式は、所与のアプリケーションに対し0〜1の範囲内の値を生成する。
この所与のアルゴリズムは、以下の弁別的な特徴を有する。(1)本アルゴリズムは、各依存性の重要さを考慮する(すなわち入力として使用する)が、他方、既存の方法は、一般に、依存性それ自体にはいかなる重要さの値も関連付けない。(2)本アルゴリズムは、アプリケーションの重要さと、そのそれぞれの依存性の重要さとを組み合せるが、他方、既存の方法は、通常、ランク対象の要素を、固有のまたはユーザの知覚する重要さと関連付けない。および(3)本アルゴリズムは、アプリケーションの優先度の非反復的な計算を可能にし、しかして、再計算が必要なのは、アプリケーションとそれらの依存性のトポロジ変更、または重要さの値の変更があったときにだけである。既存の方法は、入力が異なり、トポロジの型とスケールとが異なるので、通常、反復的な計算を使用する。しかして、本提供のアルゴリズムは、効率的な非反復の計算を行うことを可能にするトポロジとスケールとを扱う。
例示のシステム実施形態
図16は、本発明の諸態様による、分散コンピューティング環境における作業負荷の自動対角スケーリングに対するシステム実施形態を表す組み合せブロック/フローチャート図1400を示す。
本システムへの入力は、アプリケーション明細(ブロック1402)およびアプリケーション・モニタリング情報(ブロック1404)である。スケーリング計算コンポーネント(ブロック1406)は、ブロック1404のモニタリング情報と組み合せて、アプリケーション明細および優先度を使って、前述のようにスケーリング・オペレーションを計算し、これらは同時的に行われてよい。次いで、スケーリング計算コンポーネント1406は、計算されたスケーリング・オペレーションをタスクとしてオペレーション実行キューに加える。
2つのキューが定義され、1つのキューは並列オペレーション(ブロック1408)(すなわち、リソースの放出オペレーション)のためのものであり、第二のキューは優先オペレーション(ブロック1410)(すなわち、リソースの割り当てオペレーション)である。スケーリング・オペレーション・コンポーネント(ブロック1412)は、オペレーション実行キュー1408および1410からタスクを取得し、それらタスクを実行する。また、スケーリング・オペレーション・コンポーネント1412は、以下の任意の組み合せを実行することができる。(1)システム・スケジューラまたはリソース・マネージャを用いて、適切なリソース割り当ておよび放出オペレーションを計算し、適用する(ブロック1414)、(2)特定のホスト上で実行されている諸アプリケーション・インスタンスに対するリソースの消費限度を設定または修改する(ブロック1416)、(3)アプリケーション・インスタンスの設定を、それらアプリケーション・インスタンスに対し利用可能な更新されたリソースに合わせ調整する(例えば、アプリケーション・インスタンス内のスレッドの数を増加/低減する)(ブロック1418)、もしくは、(4)アプリケーション・インスタンスを生成および除去する(ブロック1420)、またはこれらの組み合せを実行する。なお、このスケーリング・オペレーション・コンポーネントは、分散されたコンポーネント、または分散されたメカニズムであってよく、独立したオペレーションを同時に適用してもよい。
本発明は、システム、方法、もしくはコンピュータ・プログラム製品またはこれらの組み合せとすることができる。このコンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラムを有するコンピュータ可読ストレージ媒体(または媒体群)を含むことが可能である。
このコンピュータ可読ストレージ媒体は、命令実行デバイスが使用するための命令を保持し格納できる有形のデバイスとすることができる。このコンピュータ可読ストレージ媒体は、例えば、以下に限らないが、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁気ストレージ・デバイス、半導体ストレージ・デバイス、または前述のデバイスの任意の適切な組み合せであってよい。コンピュータ可読ストレージ媒体のさらに具体的な例の非包括的リストには、携帯型コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ(RAM)、読み取り専用メモリ(ROM)、消去およびプログラム可能読み取り専用メモリ(EPROM:erasable programmable read−only memoryまたはフラッシュ・メモリ)、静的ランダム・アクセス・メモリ(SRAM:static random access memory)、携帯型コンパクト・ディスク読み取り専用メモリ(CD−ROM:compact disc read−only memory)、デジタル多用途ディスク(DVD:digital versatile disk)、メモリ・スティック、フレキシブル・ディスク、パンチカードまたは記録された命令を有する溝中の嵩上げ構造体などの機械的符号化デバイス、および前述の任意の適切な組み合せが含まれる。本明細書で用いられるコンピュータ可読ストレージ媒体は、無線波または他の自由に伝播する電磁波、ウェーブガイドまたは他の送信媒体(例えば、光ファイバを通過する光パルス)、またはワイヤを通って送信される電気信号など、本質的に一時的な信号であると解釈されるものではない。
本明細書に述べられたコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体から、それぞれのコンピューティング/処理デバイスに、または、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワークもしくはワイヤレス・ネットワークまたはこれらの組み合せなどのネットワークを介して、外部のコンピュータもしくは外部のストレージ・デバイスにダウンロードすることが可能である。このネットワークには、銅送信ケーブル、光送信ファイバ、ワイヤレス通信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、もしくはエッジ・サーバまたはこれらの組み合せが含まれてよい。それぞれのコンピューティング/処理デバイス中のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、そのコンピュータ可読プログラム命令を、ストレージのため、それぞれのコンピューティング/処理デバイス内のコンピュータ可読ストレージ媒体の中に転送する。
本発明のオペレーションを実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令集合アーキテクチャ(ISA:instruction−set−architecture)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、または、Smalltalk、C++などのオブジェクト指向プログラミング言語、および「C」プログラミング言語もしくは類似のプログラミング言語などの従来式の手続き型プログラミング言語を含む、1つ以上のプログラミング言語の任意の組み合せで記述されたソース・コードもしくはオブジェクト・コードであってよい。このコンピュータ可読プログラム命令は、スタンドアロン・ソフトウェア・パッケージとしてユーザのコンピュータで専ら実行することも、ユーザのコンピュータで部分的に実行することもでき、一部をユーザのコンピュータで一部を遠隔コンピュータで実行することもでき、あるいは遠隔のコンピュータまたはサーバで専ら実行することもできる。後者の場合は、ローカル・エリア・ネットワーク(LAN:local area network)または広域ネットワーク(WAN:wide area network)を含む任意の種類のネットワークを介して、遠隔コンピュータをユーザのコンピュータに接続することもでき、あるいは(例えばインターネット・サービス・プロバイダを使いインターネットを介し)外部のコンピュータへの接続を行うことも可能である。いくつかの実施形態において、例えば、プログラム可能論理回路、フィールドプログラム可能ゲート・アレイ(FPGA:field−programmable gate array)、またはプログラム可能論理アレイ(PLA:programmable logic array)を含む電子回路は、本発明の諸態様を実行すべく、該電子回路をカスタマイズするためコンピュータ可読プログラム命令の状態情報を利用することによって、該コンピュータ可読プログラム命令を実行することができる。
本発明の諸態様は、本発明の諸実施形態による方法、装置(システム)、およびコンピュータ・プログラム製品のフローチャート図もしくはブロック図またはその両方を参照しながら本明細書で説明されている。当然のことながら、フローチャート図もしくはブロック図またはその両方の各ブロック、およびフローチャート図もしくはブロック図またはその両方のブロックの組み合せは、コンピュータ可読プログラム命令によって実装することが可能である。
これらのコンピュータ可読プログラム命令を、汎用コンピュータ、特殊用途コンピュータ、またはマシンを形成する他のプログラム可能データ処理装置のプロセッサに提供し、そのコンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行されるこれらの命令が、フローチャートもしくはブロック図またはその両方のブロックもしくはブロック群中に特定されている機能群/動作群を実装するための手段を生成するようにすることができる。また、コンピュータ、プログラム可能データ処理装置、もしくは他のデバイスまたはこれらの組み合せに対し特定の仕方で機能するよう命令することが可能なこれらのコンピュータ可読プログラム命令を、コンピュータ可読ストレージ媒体に格納し、格納された命令を有するコンピュータ可読ストレージ媒体が、フローチャートもしくはブロック図またはその両方のブロックまたはブロック群中に特定されている機能/動作の諸態様を実装する命令群を包含する製造品を構成するようにすることができる。
さらに、これらコンピュータ可読プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードし、そのコンピュータ上で、他のプログラム可能装置上で、または他のデバイス上で一連のオペレーション・ステップを実施させて、コンピュータ実装のプロセスを作り出し、当該コンピュータ上で、他のプログラム可能装置上でもしくは他のデバイス上で実行される命令が、フローチャートもしくはブロック図またはその両方のブロックもしくはブロック群中に特定されている機能群/動作群を実装するようにすることも可能である。
諸図面中のフローチャートおよびブロック図は、本発明の様々な実施形態による、システム、方法、およびコンピュータ・プログラム製品から可能となる実装のアーキテクチャ、機能、およびオペレーションを表している。この点に関し、フローチャートまたはブロック図中の各ブロックは、特定の論理機能(1つまたは複数)を実装するための一つ以上の実行可能命令を含む、モジュール、セグメント、または命令の部分を表し得る。いくつかの別の実装においては、ブロック中に記載された機能が、図面に記載された順序から外れて行われてよい。例えば、連続して示された2つのブロックが、関与する機能に応じ、実際にはほぼ同時に実行されることがあり、時にはこれらのブロックが逆の順序で実行されることもあり得る。さらに、ブロック図もしくはフローチャート図またはその両方の各ブロック、およびブロック図もしくはフローチャート図またはその両方中のブロック群の組み合せは、特定の機能または動作を実施する特殊用途ハードウェア・ベースのシステムによって実装でき、または特殊用途ハードウェアとコンピュータ命令との組み合せによって実行できることにも留意すべきである。

Claims (24)

  1. 分散コンピューティング環境における、少なくとも1つのプロセッサによる、作業負荷の自動対角スケーリングの方法であって、
    複数のアプリケーション・インスタンスの各々の複数のリソースの各々に対し、前記複数のリソースの少なくとも1つの割り当ての変更が必要かどうかを判断するステップと、
    前記複数のアプリケーション・インスタンスの各々に対するオペレーションの要件を計算するステップであって、前記計算された要件が垂直増加および低減オペレーション、ならびに水平分割および折り畳みオペレーションを含む、前記計算するステップと、
    前記垂直低減および水平折り畳みオペレーションを処理するステップと、
    前記垂直増加および水平分割オペレーションを順序付けるステップと、
    前記順序付けに基づいて前記垂直増加および水平分割オペレーションを処理し、これにより、前記分散コンピューティング環境におけるアプリケーションの効率および前記複数のリソースの利用度を最適化するステップと、
    を含む、方法。
  2. 前記判断するステップが、前記複数のリソースの各々の実際の消費と、前記複数のリソースの各々の現在の割り当てとを比較することによって行われる、請求項1に記載の方法。
  3. 前記垂直増加および低減オペレーションが、それぞれ、アプリケーション・インスタンスに対するリソースの割り当てを増加するステップと低減するステップとを含み、
    前記水平分割および折り畳みオペレーションが、それぞれ、アプリケーションのインスタンスを生成するステップと除去するステップとを含み、さらに
    前記順序付けるステップが、前記複数のアプリケーション・インスタンスを有するアプリケーションの優先度に基づく、
    請求項1に記載の方法。
  4. スケーリング・オペレーション・コンポーネントを、
    入力として、前記アプリケーションの明細および優先度、ならびにそれらのアプリケーション・インスタンスのモニタリング情報を受信するステップと、
    前記入力情報を組み合せることによってスケーリング・オペレーションを計算するステップと、
    前記計算されたオペレーションをタスクとしてオペレーション実行キューに加えるステップであって、前記スケーリング・オペレーションの計算が前記複数のアプリケーション・インスタンスの各々に対し同時に行われる、前記加えるステップと、
    のうちの少なくとも1つを行うことによって設定する、請求項3に記載の方法。
  5. リソースの放出オペレーションのための、前記オペレーション実行キューの一つめを設定するステップであって、前記放出オペレーションが並行して行われる、前記設定するステップと、
    リソースの割り当てオペレーションための、前記オペレーション実行キューの二つめを設定するステップであって、前記割り当てオペレーションが前記優先度の前記順序付けに従って行われる、前記設定するステップと、
    のうちの少なくとも1つを行うステップをさらに含む、請求項4に記載の方法。
  6. 前記スケーリング・オペレーション・コンポーネントを、
    入力として、前記オペレーション実行キューから複数の前記タスクを受信するステップと、
    前記複数のタスクの1つ1つを実行するステップであって、前記実行するステップが、
    システム・スケジューラまたはリソース・マネージャを使って前記リソース割り当ておよび放出オペレーションを計算し適用するステップ、
    特定ホスト上で実行されている複数のアプリケーション・インスタンスのアプリケーション・インスタンスに対するリソース消費限度を設定または修正するステップ、
    前記特定のホスト上で実行されている前記アプリケーション・インスタンスを更新された利用可能なリソースに合わせ調整するステップ、および
    前記特定のホスト上で前記アプリケーション・インスタンスを生成および除去するステップ、
    のうちの少なくとも1つを含む、前記実行するステップと、
    によって設定するステップをさらに含む、請求項4に記載の方法。
  7. 前記リソース割り当てを増加させることから成る各タスクに対して、前記スケーリング・オペレーション・コンポーネントによって行われる前記オペレーションの前記順序付けが、最初に前記リソース割り当てオペレーションを計算し適用するステップと、それに続いて前記リソース消費限度を設定および修正するステップと、それに続いてそれぞれのアプリケーション・インスタンスを、更新された利用可能なリソースに合わせ調整するステップとを含む、請求項6に記載の方法。
  8. 前記リソース割り当てを低減させることから成る各タスクに対して、前記スケーリング・オペレーション・コンポーネントによって行われる前記オペレーションの前記順序付けが、最初に前記それぞれのアプリケーション・インスタンスを前記更新された利用可能なリソースに合わせ調整するステップと、それに続いて前記リソース消費限度を設定および修正するステップと、それに続いて前記リソース放出オペレーションを計算し適用するステップとを含む、請求項7に記載の方法。
  9. 分散コンピューティング環境における作業負荷の自動対角スケーリングのためのシステムであって、前記システムは、
    メモリ中に格納された命令を実行する少なくとも1つのプロセッサを含み、前記プロセッサ・デバイスは、前記命令を実行すると、
    複数のアプリケーション・インスタンスの各々の複数のリソースの各々に対し、前記複数のリソースの少なくとも1つの割り当ての変更が必要かどうかを判断し、
    前記複数のアプリケーション・インスタンスの各々に対するオペレーションの要件を計算し、前記計算された要件が垂直増加および低減オペレーション、ならびに水平分割および折り畳みオペレーションを含み、
    前記垂直低減および水平折り畳みオペレーションを処理し、
    前記垂直増加および水平分割オペレーションを順序付け、且つ
    前記順序付けに基づいて前記垂直増加および水平分割オペレーションを処理し、これにより、前記分散コンピューティング環境におけるアプリケーションの効率および前記複数のリソースの利用度を最適化する、
    システム。
  10. 前記判断することが、前記複数のリソースの各々の実際の消費と、前記複数のリソースの各々の現在の割り当てとを比較することによって行われる、請求項9に記載のシステム。
  11. 前記垂直増加および低減オペレーションが、それぞれ、アプリケーション・インスタンスに対するリソースの割り当てを増加させることと低減させることを含み、
    前記水平分割および折り畳みオペレーションが、それぞれ、アプリケーションのインスタンスを生成することと除去することを含み、さらに
    前記順序付けが、前記複数のアプリケーション・インスタンスを有するアプリケーションの優先度に基づく、
    請求項9に記載のシステム。
  12. 前記少なくとも1つのプロセッサが、スケーリング・オペレーション・コンポーネントを、
    入力として、前記アプリケーションの明細および優先度、ならびにそれらのアプリケーション・インスタンスのモニタリング情報を受信すること、
    前記入力情報を組み合せることによってスケーリング・オペレーションを計算すること、および
    前記計算されたオペレーションを、タスクとしてオペレーション実行キューに加えることであって、前記スケーリング・オペレーションの計算が前記複数のアプリケーション・インスタンスの各々に対し同時に行われる、前記加えることと、
    のうちの少なくとも1つを行うことによって設定する、請求項11に記載のシステム。
  13. 前記少なくとも1つのプロセッサが、
    リソースの放出オペレーションのための、前記オペレーション実行キューの一つめを設定し、前記放出オペレーションが並行して行われること、および
    リソースの割り当てオペレーションための、前記オペレーション実行キューの二つめを設定し、前記割り当てオペレーションが前記優先度の前記順序付けに従って行われること、
    のうちの少なくとも1つを行う、請求項12に記載のシステム。
  14. 前記少なくとも1つのプロセッサが、前記スケーリング・オペレーション・コンポーネントを、
    入力として、前記オペレーション実行キューから複数の前記タスクを受信することと、
    前記複数のタスクの1つ1つを実行することであって、前記実行することが、
    システム・スケジューラまたはリソース・マネージャを使って前記リソース割り当ておよび放出オペレーションを計算し適用すること、
    特定ホスト上で実行されている複数のアプリケーション・インスタンスのアプリケーション・インスタンスに対するリソース消費限度を設定または修正すること、
    前記特定のホスト上で実行されている前記アプリケーション・インスタンスを更新された利用可能なリソースに合わせ調整すること、および
    前記特定のホスト上で前記アプリケーション・インスタンスを生成および除去すること、
    のうちの少なくとも1つを含む、前記実行することと、
    によって設定する、請求項12に記載のシステム。
  15. 前記リソース割り当てを増加させることから成る各タスクに対して、前記スケーリング・オペレーション・コンポーネントによって行われる前記オペレーションの前記順序付けが、最初に前記リソース割り当てオペレーションを計算し適用することと、それに続いて前記リソース消費限度を設定および修正することと、それに続いてそれぞれのアプリケーション・インスタンスを、更新された利用可能なリソースに合わせ調整することとを含む、請求項14に記載のシステム。
  16. 前記リソース割り当てを低減させることから成る各タスクに対して、前記スケーリング・オペレーション・コンポーネントによって行われる前記オペレーションの前記順序付けが、最初に前記それぞれのアプリケーション・インスタンスを前記更新された利用可能なリソースに合わせ調整することと、それに続いて前記リソース消費限度を設定および修正することと、それに続いて前記リソース放出オペレーションを計算し適用することとを含む、請求項15に記載のシステム。
  17. 分散コンピューティング環境における、少なくとも1つのプロセッサによる作業負荷の自動対角スケーリングのためのコンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品は、格納されたコンピュータ可読プログラム・コード部分を有する非一時的なコンピュータ可読ストレージ媒体上に具現化され、前記コンピュータ可読プログラム・コード部分は、
    複数のアプリケーション・インスタンスの各々の複数のリソースの各々に対し、前記複数のリソースの少なくとも1つの割り当ての変更が必要かどうかを判断する実行可能部分と、
    前記複数のアプリケーション・インスタンスの各々に対するオペレーションの要件を計算する実行可能部分であって、前記計算された要件が垂直増加および低減オペレーション、ならびに水平分割および折り畳みオペレーションを含む、前記実行可能部分と、
    前記垂直低減および水平折り畳みオペレーションを処理する実行可能部分と、
    前記垂直増加および水平分割オペレーションを順序付ける実行可能部分と、
    前記順序付けに基づいて前記垂直増加および水平分割オペレーションを処理し、これにより、前記分散コンピューティング環境におけるアプリケーションの効率および前記複数のリソースの利用度を最適化する実行可能部分と、
    を含む、コンピュータ・プログラム製品。
  18. 前記判断することが、前記複数のリソースの各々の実際の消費と、前記複数のリソースの各々の現在の割り当てとを比較することによって行われる、請求項17に記載のコンピュータ・プログラム製品。
  19. 前記垂直増加および低減オペレーションが、それぞれ、アプリケーション・インスタンスに対するリソースの割り当てを増加させることと低減させることとを含み、
    前記水平分割および折り畳みオペレーションが、それぞれ、アプリケーションのインスタンスを生成することと除去することとを含み、さらに
    前記順序付けることが、前記複数のアプリケーション・インスタンスを有するアプリケーションの優先度に基づく、
    請求項17に記載のコンピュータ・プログラム製品。
  20. スケーリング・オペレーション・コンポーネントを、
    入力として、前記アプリケーションの明細および優先度、ならびにそれらのアプリケーション・インスタンスのモニタリング情報を受信することと、
    前記入力情報を組み合せることによってスケーリング・オペレーションを計算することと、
    前記計算されたオペレーションをタスクとしてオペレーション実行キューに加えることであって、前記スケーリング・オペレーションの計算が前記複数のアプリケーション・インスタンスの各々に対し同時に行われる、前記加えることと、
    のうちの少なくとも1つを行うことによって設定する実行可能部分をさらに含む、請求項19に記載のコンピュータ・プログラム製品。
  21. リソースの放出オペレーションのための、前記オペレーション実行キューの一つめを設定することであって、前記放出オペレーションが並行して行われる、前記設定することと、
    リソースの割り当てオペレーションための、前記オペレーション実行キューの二つめを設定することであって、前記割り当てオペレーションが前記優先度の前記順序付けに従って行われる、前記設定することと、
    のうちの少なくとも1つを行う実行可能部分をさらに含む、請求項20に記載のコンピュータ・プログラム製品。
  22. 前記スケーリング・オペレーション・コンポーネントを、
    入力として、前記オペレーション実行キューから複数の前記タスクを受信することと、
    前記複数のタスクの1つ1つを実行することであって、前記実行することが、
    システム・スケジューラまたはリソース・マネージャを使って前記リソース割り当ておよび放出オペレーションを計算し適用すること、
    特定ホスト上で実行されている複数のアプリケーション・インスタンスのアプリケーション・インスタンスに対するリソース消費限度を設定または修正すること、
    前記特定のホスト上で実行されている前記アプリケーション・インスタンスを更新された利用可能なリソースに合わせ調整すること、および
    前記特定のホスト上で前記アプリケーション・インスタンスを生成および除去すること、
    のうちの少なくとも1つを含む、前記実行することと、
    によって、前記スケーリング・オペレーションを設定する実行可能部分をさらに含む、請求項20に記載のコンピュータ・プログラム製品。
  23. 前記リソース割り当てを増加させることから成る各タスクに対して、前記スケーリング・オペレーション・コンポーネントによって行われる前記オペレーションの前記順序付けが、最初に前記リソース割り当てオペレーションを計算し適用することと、それに続いて前記リソース消費限度を設定および修正することと、それに続いてそれぞれのアプリケーション・インスタンスを、更新された利用可能なリソースに合わせ調整することとを含む、請求項22に記載のコンピュータ・プログラム製品。
  24. 前記リソース割り当てを低減させることから成る各タスクに対して、前記スケーリング・オペレーション・コンポーネントによって行われる前記オペレーションの前記順序付けが、最初に前記それぞれのアプリケーション・インスタンスを前記更新された利用可能なリソースに合わせ調整することと、それに続いて前記リソース消費限度を設定および修正することと、それに続いて前記リソース放出オペレーションを計算し適用することとを含む、請求項23に記載のコンピュータ・プログラム製品。
JP2020522300A 2017-11-21 2018-11-05 分散コンピューティング環境における作業負荷の自動対角スケーリング Active JP7182836B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/819,225 2017-11-21
US15/819,225 US10812407B2 (en) 2017-11-21 2017-11-21 Automatic diagonal scaling of workloads in a distributed computing environment
PCT/IB2018/058672 WO2019102286A1 (en) 2017-11-21 2018-11-05 Automatic diagonal scaling of workloads in a distributed computing environment

Publications (3)

Publication Number Publication Date
JP2021504777A true JP2021504777A (ja) 2021-02-15
JP2021504777A5 JP2021504777A5 (ja) 2021-03-25
JP7182836B2 JP7182836B2 (ja) 2022-12-05

Family

ID=66534030

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020522300A Active JP7182836B2 (ja) 2017-11-21 2018-11-05 分散コンピューティング環境における作業負荷の自動対角スケーリング

Country Status (6)

Country Link
US (1) US10812407B2 (ja)
JP (1) JP7182836B2 (ja)
CN (1) CN111373374B (ja)
DE (1) DE112018005973T5 (ja)
GB (1) GB2582513B (ja)
WO (1) WO2019102286A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11647090B2 (en) * 2018-01-15 2023-05-09 Korea Advanced Institute Of Science And Technology Spatio-cohesive service discovery and dynamic service handover for distributed IoT environments
US11803414B2 (en) * 2021-01-28 2023-10-31 Red Hat, Inc. Diagonal autoscaling of serverless computing processes for reduced downtime
US11693766B2 (en) 2021-06-15 2023-07-04 International Business Machines Corporation Resource allocation in microservice architectures

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015115059A (ja) * 2013-12-13 2015-06-22 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation クラウド・コンピューティング環境を動的に変更する方法、情報処理システム、およびコンピュータ・プログラム
US20170331705A1 (en) * 2015-01-30 2017-11-16 Huawei Technologies Co., Ltd. Resource Scaling Method on Cloud Platform and Cloud Platform

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978771A (en) 1996-08-08 1999-11-02 Vandivier, Iii; John Carl Method for tracking natural resources in a resource allocation system
US7017162B2 (en) 2001-07-10 2006-03-21 Microsoft Corporation Application program interface for network software platform
JP4509804B2 (ja) 2003-01-14 2010-07-21 テレフオンアクチーボラゲット エル エム エリクソン(パブル) リソース割り当て管理
JP4071668B2 (ja) 2003-04-16 2008-04-02 富士通株式会社 システムの使用資源を調整する装置および方法
JP3889726B2 (ja) 2003-06-27 2007-03-07 株式会社東芝 スケジューリング方法および情報処理システム
US7590736B2 (en) 2003-06-30 2009-09-15 Microsoft Corporation Flexible network load balancing
US7779065B2 (en) 2003-09-18 2010-08-17 Sanyogita Gupta Dynamic cost network routing
GB0329420D0 (en) 2003-12-19 2004-01-21 Ibm Tuning an interactive voice response system
JP2006011860A (ja) 2004-06-25 2006-01-12 Fujitsu Ltd システム構成管理プログラム及びシステム構成管理装置
US20060112388A1 (en) 2004-11-22 2006-05-25 Masaaki Taniguchi Method for dynamic scheduling in a distributed environment
US7523092B2 (en) * 2004-12-14 2009-04-21 International Business Machines Corporation Optimization of aspects of information technology structures
US8429630B2 (en) * 2005-09-15 2013-04-23 Ca, Inc. Globally distributed utility computing cloud
US8286174B1 (en) 2006-04-17 2012-10-09 Vmware, Inc. Executing a multicomponent software application on a virtualized computer platform
US8584131B2 (en) 2007-03-30 2013-11-12 International Business Machines Corporation Method and system for modeling and analyzing computing resource requirements of software applications in a shared and distributed computing environment
US20080313639A1 (en) 2007-06-13 2008-12-18 Krishna Kumar Policy based scheduling of software applications
US9354960B2 (en) 2010-12-27 2016-05-31 Red Hat, Inc. Assigning virtual machines to business application service groups based on ranking of the virtual machines
WO2009061432A1 (en) 2007-11-06 2009-05-14 Credit Suisse Securities (Usa) Llc Predicting and managing resource allocation according to service level agreements
US9069599B2 (en) * 2008-06-19 2015-06-30 Servicemesh, Inc. System and method for a cloud computing abstraction layer with security zone facilities
US8271974B2 (en) 2008-10-08 2012-09-18 Kaavo Inc. Cloud computing lifecycle management for N-tier applications
KR101040680B1 (ko) 2008-11-27 2011-06-10 주식회사 포스코건설 에너지 절약설계 적용의 우선순위를 결정하기 위한 프로그램이 기록된 기록매체, 및 이러한 프로그램이 설치된에너지 절약설계 적용의 우선순위 결정시스템
US8595740B2 (en) 2009-03-31 2013-11-26 Microsoft Corporation Priority-based management of system load level
US9858123B1 (en) 2014-11-10 2018-01-02 Turbonomic, Inc. Moving resource consumers in computer systems
US10191778B1 (en) 2015-11-16 2019-01-29 Turbonomic, Inc. Systems, apparatus and methods for management of software containers
US10346775B1 (en) 2015-11-16 2019-07-09 Turbonomic, Inc. Systems, apparatus and methods for cost and performance-based movement of applications and workloads in a multiple-provider system
US9329951B2 (en) 2009-07-31 2016-05-03 Paypal, Inc. System and method to uniformly manage operational life cycles and service levels
US20110119312A1 (en) 2009-11-15 2011-05-19 Arjun Chopra System and method for automated scalability of n-tier computer applications
US8719415B1 (en) 2010-06-28 2014-05-06 Amazon Technologies, Inc. Use of temporarily available computing nodes for dynamic scaling of a cluster
US10192246B2 (en) 2010-11-24 2019-01-29 Red Hat, Inc. Generating multi-cloud incremental billing capture and administration
US20120173709A1 (en) 2011-01-05 2012-07-05 Li Li Seamless scaling of enterprise applications
US8548790B2 (en) 2011-01-07 2013-10-01 International Business Machines Corporation Rapidly determining fragmentation in computing environments
US8396730B2 (en) 2011-02-14 2013-03-12 Raytheon Company System and method for resource allocation and management
US8832687B2 (en) 2011-04-20 2014-09-09 Red Hat Israel, Ltd. Managing quotas in a distributed virtualization environment
US8595267B2 (en) 2011-06-27 2013-11-26 Amazon Technologies, Inc. System and method for implementing a scalable data storage service
US8908507B2 (en) 2011-07-21 2014-12-09 Movik Networks RAN analytics, control and tuning via multi-protocol, multi-domain, and multi-RAT analysis
US9225772B2 (en) 2011-09-26 2015-12-29 Knoa Software, Inc. Method, system and program product for allocation and/or prioritization of electronic resources
US9329904B2 (en) 2011-10-04 2016-05-03 Tier 3, Inc. Predictive two-dimensional autoscaling
US8756609B2 (en) * 2011-12-30 2014-06-17 International Business Machines Corporation Dynamically scaling multi-tier applications vertically and horizontally in a cloud environment
US20130185729A1 (en) * 2012-01-13 2013-07-18 Rutgers, The State University Of New Jersey Accelerating resource allocation in virtualized environments using workload classes and/or workload signatures
US9055067B1 (en) 2012-03-26 2015-06-09 Amazon Technologies, Inc. Flexible-location reservations and pricing for network-accessible resource capacity
US9223623B2 (en) 2012-03-28 2015-12-29 Bmc Software, Inc. Dynamic service resource control
CA2872051A1 (en) * 2012-05-01 2013-11-07 Agora Mobile Inc. System and method for providing an application development and distribution social platform
US9069606B2 (en) 2012-05-08 2015-06-30 Adobe Systems Incorporated Autonomous application-level auto-scaling in a cloud
US10069707B2 (en) 2012-05-29 2018-09-04 Openet Telecom Ltd. System and method for seamless horizontal scaling using logical scalable units
US8805921B2 (en) * 2012-08-20 2014-08-12 International Business Machines Corporation System and method supporting application solution composition on cloud
US20140122695A1 (en) * 2012-10-31 2014-05-01 Rawllin International Inc. Dynamic resource allocation for network content delivery
US9442954B2 (en) 2012-11-12 2016-09-13 Datawise Systems Method and apparatus for achieving optimal resource allocation dynamically in a distributed computing environment
US9503310B1 (en) 2012-11-27 2016-11-22 Leidos, Inc. Methods and systems of dynamic management of resources in a virtualized environment
US20140164477A1 (en) 2012-12-06 2014-06-12 Gary M. Springer System and method for providing horizontal scaling of stateful applications
US20140195673A1 (en) 2013-01-10 2014-07-10 Hewlett-Packard Development Company, L.P. DYNAMICALLY BALANCING EXECUTION RESOURCES TO MEET A BUDGET AND A QoS of PROJECTS
US9804890B1 (en) * 2013-02-15 2017-10-31 Amazon Technologies, Inc. Termination policies for scaling compute resources
US20140325070A1 (en) 2013-04-24 2014-10-30 Zynga Inc. Usage consumption for an invitee of a cloud system
CN104142860A (zh) 2013-05-10 2014-11-12 中国电信股份有限公司 应用服务系统的资源调整方法与装置
US10552745B2 (en) 2013-10-18 2020-02-04 Netflix, Inc. Predictive auto scaling engine
CN103559072B (zh) 2013-10-22 2016-08-17 无锡中科方德软件有限公司 虚拟机双向自动伸缩服务实现方法及其系统
US20150169339A1 (en) 2013-12-13 2015-06-18 International Business Machines Corporation Determining Horizontal Scaling Pattern for a Workload
US9246840B2 (en) 2013-12-13 2016-01-26 International Business Machines Corporation Dynamically move heterogeneous cloud resources based on workload analysis
US10469564B2 (en) 2014-01-21 2019-11-05 International Business Machines Corporation Management of unreturned system pool resources
US9871741B2 (en) 2014-03-10 2018-01-16 Microsoft Technology Licensing, Llc Resource management based on device-specific or user-specific resource usage profiles
TWI552002B (zh) 2014-04-22 2016-10-01 財團法人工業技術研究院 公共雲資源動態配置方法及系統
US9348645B2 (en) 2014-05-30 2016-05-24 Apple Inc. Method and apparatus for inter process priority donation
WO2015197564A1 (en) * 2014-06-23 2015-12-30 Getclouder Ltd. Cloud hosting systems featuring scaling and load balancing with containers
US9575794B2 (en) * 2014-09-30 2017-02-21 Nicira, Inc. Methods and systems for controller-based datacenter network sharing
US9547534B2 (en) 2014-10-10 2017-01-17 International Business Machines Corporation Autoscaling applications in shared cloud resources
US20170011299A1 (en) 2014-11-13 2017-01-12 Purdue Research Foundation Proactive spatiotemporal resource allocation and predictive visual analytics system
US10355934B2 (en) * 2014-12-03 2019-07-16 Amazon Technologies, Inc. Vertical scaling of computing instances
US9413626B2 (en) 2014-12-05 2016-08-09 Amazon Technologies, Inc. Automatic management of resource sizing
US9848041B2 (en) * 2015-05-01 2017-12-19 Amazon Technologies, Inc. Automatic scaling of resource instance groups within compute clusters
CN107533484B (zh) 2015-05-07 2021-03-02 华为技术有限公司 用于动态管理虚拟网络功能描述符的系统和方法
US9880880B2 (en) 2015-06-26 2018-01-30 Amazon Technologies, Inc. Automatic scaling of computing resources using aggregated metrics
US10778765B2 (en) 2015-07-15 2020-09-15 Cisco Technology, Inc. Bid/ask protocol in scale-out NVMe storage
US10244102B2 (en) 2015-08-20 2019-03-26 Samsung Electronics Co., Ltd. Method and apparatus for managing application data usage
CN106168910B (zh) 2015-11-16 2019-11-08 华扬联众数字技术股份有限公司 程序调度和执行的方法、系统以及调度器和执行器
WO2017143548A1 (zh) * 2016-02-25 2017-08-31 华为技术有限公司 用于应用自动化部署的方法和云管理节点
EP3226134B1 (en) * 2016-04-01 2021-02-24 Alcatel Lucent A method and system for scaling resources, and a computer program product
CN107301093B (zh) 2016-04-15 2021-02-09 华为技术有限公司 一种管理资源的方法和装置
US20170322834A1 (en) * 2016-05-03 2017-11-09 International Business Machines Corporation Compute instance workload monitoring and placement
CN113687941A (zh) * 2016-06-13 2021-11-23 阿里巴巴集团控股有限公司 一种基于优先级的资源分配方法、装置和设备
US10585693B2 (en) * 2016-09-30 2020-03-10 Uchicago Argonne, Llc Systems and methods for metric driven deployments to cloud service providers
US10762077B2 (en) 2016-10-28 2020-09-01 Servicenow, Inc. System and method for generating aggregate data
US10304153B2 (en) 2016-11-07 2019-05-28 Vmware, Inc. Virtual machine graphic resource usage
US10778384B2 (en) 2016-12-20 2020-09-15 Verizon Patent And Licensing Inc. System and method for improved capacity using channel multiplexing
US10719872B2 (en) * 2017-01-10 2020-07-21 International Business Machines Corporation Bid advising in resource allocation data analytics frameworks
US10356176B2 (en) * 2017-02-17 2019-07-16 Dell Products L.P. Placement of application services in converged infrastructure information handling systems
US10560345B2 (en) * 2017-02-21 2020-02-11 Dell Products L.P. Consistent placement between private and public cloud deployments of application services
US10873541B2 (en) * 2017-04-17 2020-12-22 Microsoft Technology Licensing, Llc Systems and methods for proactively and reactively allocating resources in cloud-based networks
US11005733B2 (en) * 2017-06-08 2021-05-11 Vmware, Inc Methods, systems, and apparatus to scale in and/or scale out resources managed by a cloud automation system
US11405300B2 (en) * 2017-06-20 2022-08-02 Vmware, Inc. Methods and systems to adjust resources and monitoring configuration of objects in a distributed computing system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015115059A (ja) * 2013-12-13 2015-06-22 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation クラウド・コンピューティング環境を動的に変更する方法、情報処理システム、およびコンピュータ・プログラム
US20170331705A1 (en) * 2015-01-30 2017-11-16 Huawei Technologies Co., Ltd. Resource Scaling Method on Cloud Platform and Cloud Platform

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
アレスポー,ジョン, キャパシティプランニング, vol. 第1版, JPN6022013904, 18 March 2009 (2009-03-18), JP, pages 11 - 22, ISSN: 0004750212 *

Also Published As

Publication number Publication date
WO2019102286A1 (en) 2019-05-31
GB2582513A (en) 2020-09-23
GB202008783D0 (en) 2020-07-22
DE112018005973T5 (de) 2020-07-30
JP7182836B2 (ja) 2022-12-05
GB2582513B (en) 2022-01-19
CN111373374A (zh) 2020-07-03
US20190158416A1 (en) 2019-05-23
US10812407B2 (en) 2020-10-20
CN111373374B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
US11099877B2 (en) Predictively provisioning cloud computing resources for virtual machines
US10958515B2 (en) Assessment and dynamic provisioning of computing resources for multi-tiered application
US8825863B2 (en) Virtual machine placement within a server farm
JP2021504780A (ja) 分散コンピューティング環境における自動対角スケーリングためのアプリケーションの優先順位付け
US10721179B2 (en) Adaptive resource allocation operations based on historical data in a distributed computing environment
US10764159B2 (en) Dynamic system level agreement provisioning
JP7497940B2 (ja) コンテナベースのアプリケーション
WO2013009665A1 (en) Application resource manager over a cloud
US10411977B2 (en) Visualization of workload distribution on server resources
AU2021238956B2 (en) Adjusting performance of computing system
US10942784B2 (en) Database resource scaling
US10635501B2 (en) Adaptive scaling of workloads in a distributed computing environment
JP2021504777A (ja) 分散コンピューティング環境における作業負荷の自動対角スケーリング
US20150235156A1 (en) Enabling Capacity On Demand In A Computing System Using A Calendar
US10893000B2 (en) Diagonal scaling of resource allocations and application instances in a distributed computing environment
US10887250B2 (en) Reducing resource allocations and application instances in diagonal scaling in a distributed computing environment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220413

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220712

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220712

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20220712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20221111

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20221111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221116

R150 Certificate of patent or registration of utility model

Ref document number: 7182836

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150