JP2018022520A - コンピュータリソースサービスの性能能力の決定及び監視 - Google Patents

コンピュータリソースサービスの性能能力の決定及び監視 Download PDF

Info

Publication number
JP2018022520A
JP2018022520A JP2017194858A JP2017194858A JP2018022520A JP 2018022520 A JP2018022520 A JP 2018022520A JP 2017194858 A JP2017194858 A JP 2017194858A JP 2017194858 A JP2017194858 A JP 2017194858A JP 2018022520 A JP2018022520 A JP 2018022520A
Authority
JP
Japan
Prior art keywords
computer
performance
virtual machine
resource service
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017194858A
Other languages
English (en)
Other versions
JP6530462B2 (ja
Inventor
エリシャ,サイモン,ジェレミー
Jeremy Elisha Simon
Original Assignee
アマゾン・テクノロジーズ・インコーポレーテッド
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US13/899,407 priority Critical
Priority to US13/899,449 priority patent/US9584364B2/en
Priority to US13/899,407 priority patent/US9384115B2/en
Priority to US13/899,449 priority
Application filed by アマゾン・テクノロジーズ・インコーポレーテッド, Amazon Technologies Inc filed Critical アマゾン・テクノロジーズ・インコーポレーテッド
Publication of JP2018022520A publication Critical patent/JP2018022520A/ja
Application granted granted Critical
Publication of JP6530462B2 publication Critical patent/JP6530462B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance or administration or management of packet switching networks
    • H04L41/08Configuration management of network or network elements
    • H04L41/0803Configuration setting of network or network elements
    • H04L41/0806Configuration setting of network or network elements for initial configuration or provisioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3428Benchmarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3495Performance evaluation by tracing or monitoring for systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance or administration or management of packet switching networks
    • H04L41/50Network service management, i.e. ensuring proper service fulfillment according to an agreement or contract between two parties, e.g. between an IT-provider and a customer
    • H04L41/5038Testing of service level quality, e.g. simulating service usage
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing packet switching networks
    • H04L43/08Monitoring based on specific metrics
    • H04L43/0805Availability
    • H04L43/0817Availability functioning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing packet switching networks
    • H04L43/50Testing arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45591Monitoring or debugging support
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/815Virtual
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing packet switching networks
    • H04L43/08Monitoring based on specific metrics
    • H04L43/0876Network utilization

Abstract

【課題】コンピュータリソースサービスの性能をリアルタイムで監視する。【解決手段】リソース監視ツール100は、コンピュータリソースサービス102のコンピュータシステム104、106、108上で試験仮想マシン110を始動し、プロセッサ性能、メモリ性能、入力/出力(I/O)性能、及びネットワーク性能などの、試験仮想マシンの性能を経時的に示した種々のメトリックを監視する。リソース監視ツールは、監視されるメトリックを記憶し、選択したメトリックをユーザに提供し、メトリックを使用してコンピュータリソースサービスを管理する。性能を正確に測定するために、リソース監視ツールは、コンピュータリソースサービス及びコンピュータリソースサービスのコンピュータリソースを代表して表すコンピュータシステムを試験のために選択する。【選択図】図1

Description

関連出願の相互参照

本願は、2013年5月21日に出願された、Simon Jeremy Elishaへの「REPORTING PERFORMANCE CAPABILITIES OF A COMPUTER RESOURCE SERVICE」と題する米国特許出願第13/899,449号に関連し、その開示はその全体が参照により本明細書に援用される。

現在、クラウドコンピューティングサービスまたはリモートコンピューティングサービスとときに称される、ネットワークによりアクセス可能なコンピューティングサービスは、コンピューティングにおける選択において柔軟に顧客に提示する。顧客がコンピュータリソースサービス内に新規の仮想マシンインスタンスを作成するか、またはインスタンスをコンピュータリソースサービスに移行するとき、顧客は、コンピュータリソースサービスにおいて実行しているインスタンスのリソース特徴を評定する場合がある。これには、他の可能性の中でもとりわけ、プロセッサの種類及び性能、メモリのサイズ及び性能、入力/出力能力、一時的な記憶装置サイズ、ならびにネットワーク能力が含まれ得る。

各インスタンスの種類は、様々な性能プロフィールを有することができ、顧客にある程度の選択を提供する。しかしながら、種々の一貫性の欠如のため、所与の時間及び場所(例えば、特定のデータセンタ)における性能に関する様々なインスタンスの種類間での選択は困難なことがある。例えば、インスタンスは、様々な基礎となる物理的ハードウェア上でホストされる場合があり、それは、インスタンスの実際の性能を変更する場合がある(例えば、より古いハードウェアは、より新しいハードウェアとは様々な性能を示す場合がある)。また、コンピュータリソースサービス内の「混雑した」場所(例えば、ノイジーネイバー)に実装されているインスタンスは、利用者の少ない領域よりも低減した性能を提供する場合がある。したがって、コンピュータリソースサービスのインスタンス内の性能プロフィールの理解は、困難なことがある。

実装形態の種々の特徴は、添付の図面と併せて考慮すれば、以下の実装形態の詳細な説明への参照と共により完全に認識され、またよりよく理解され得る。

種々の実装形態による、リソース監視ツールがコンピュータリソースサービスを監視することができる環境の例を例示する。 種々の実装形態による、コンピュータリソースサービスの性能を監視するためのプロセスの例を例示する。 種々の実装形態による、リソース監視ツールがコンピュータリソースサービスを監視することができる環境の別の例を例示する。 種々の実装形態による、リソース監視ツールがコンピュータリソースサービスを監視することができる環境の別の例を例示する。 種々の実装形態による、コンピュータリソースサービスの性能を監視するためのプロセスの別の例を例示する。 種々の実装形態による、コンピュータリソースサービスの性能メトリックを記憶するためのデータ構造の例を例示する。 種々の実装形態による、コンピュータデバイスのハードウェア構成の例を例示する。

本開示の実装形態は、コンピュータリソースサービスの性能を決定及び監視するためのシステム及び方法に関する。コンピュータリソースサービスの性能をリアルタイムで決定する及び監視するために、リソース監視ツールが、コンピュータリソースサービスのコンピュータシステム上で試験仮想マシンを始動することができる。リソース監視ツールは次に、プロセッサ性能、メモリ性能、入力/出力(I/O)性能、及びネットワーク性能などの、試験仮想マシンの性能を経時的に示す種々のメトリックを監視することができる。リソース監視ツールは、監視される性能メトリックを記憶し、選択される性能メトリックをユーザに提供し、該性能メトリックを使用してコンピュータリソースサービスを管理することができる。

実装形態によると、性能を正確に測定するために、リソース監視ツールは、コンピュータリソースサービス及びコンピュータリソースサービスのコンピュータリソースを代表して表すコンピュータシステムを試験のために選択することができる。例えば、コンピュータシステムが種々の場所に分散されている場合、リソース監視ツールは、各場所における性能を監視及び比較することができるように種々の場所のコンピュータシステムを選択することができる。同様に、例えば、コンピュータシステムが様々なコンピューティングリソース(様々な種類及び世代のプロセッサ、メモリ、記憶装置など)を含む場合、リソース監視ツールは、様々なコンピューティングリソースを代表して表すコンピュータシステムを選択することができる。したがって、リソース監視ツールは、異なって位置され、構成されるコンピュータシステムの性能を決定及び比較することができる。

実装形態では、性能メトリックは、コンピュータリソースサービスのリソースを管理するためにコンピュータリソースサービスによって利用することができる。例えば、コンピューティングリソースをインスタンスに割り当てるとき、コンピュータリソースサービスは、リアルタイムで、性能メトリックを利用して、ユーザの需要に最適なコンピューティングリソースを選択し、コンピューティングリソースの現在の利用を均衡させ、現在利用可能であるか、または十分に利用されていないリソースを選択することができる。同様に、コンピュータリソースサービスは、性能メトリックを利用して、いつコンピュータシステムがサービスに追加されるべきか、またはいつ既存のコンピュータシステムが更新されるべきかを決定することができる。したがって、リソース監視ツールによって提供される性能メトリックは、コンピュータリソースサービスが提供されるコンピュータリソースを効率的及び効果的に管理することを可能にすることができる。同様に、性能メトリックは、ユーザが、いつコンピュータリソースサービス内のコンピューティングリソース及びインスタンスの構成を選択するかの正確な決定を行うことを可能にするために、ユーザに提供され得る。

図1は、種々の実装形態による、性能コンピュータリソースサービス102を決定及び監視することができるリソース監視ツール100の例を例示する。図1は、リソース監視ツール100内に含まれる種々の構成要素を例示するが、図1は、監視ツールの一例を例示するものであり、追加の構成要素が追加され得、既存の構成要素が除去され得る。同様に、図1は、コンピュータリソースサービス102内に含まれる種々の構成要素を例示するが、図1は、コンピュータリソースサービスの一例を例示するものであり、追加の構成要素が追加され得、既存の構成要素が除去され得る。

実装形態では、リソース監視ツール100は、コンピュータリソースサービス102の性能を決定及び監視するように構成することができる。コンピュータリソースサービス102は、コンピューティングリソースを1つ以上のネットワーク上でサービスとしてユーザに送達するように構成することができる。例えば、ユーザは、使用回数によって、例えば、1時間単位で、コンピューティングリソースをセットアップすることが可能であり得る。図1に例示される通り、コンピュータリソースサービス102は、いくつかのコンピュータシステム、例えば、コンピュータシステムのセット104、コンピュータシステムのセット106、及びコンピュータシステムのセット108を含むことができる。コンピュータリソースをサービスとして提供するために、コンピュータリソースサービス102は、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108のいずれかにおいて1つ以上のマシンインスタンス(MI)を実行するように構成され得る。

MIは、コンピュータシステム104、コンピュータシステム106、またはコンピュータシステム108のうちの1つ以上に対応することができる。同様に、MIは、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108のうちの1つ以上によってホストされる仮想マシン(VM)に対応することができる。VMは、仮想化コンピュータシステム、またはコンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108のいずれかの上に層化されるコンピュータシステムのソフトウェア実装であり得る。基礎となるコンピュータシステムへのVMのアクセスは、ハイパーバイザまたは仮想マシンモニタを通じて制御することができる。VMは、単一のコンピュータシステム上で同時に起動するための複数の及び/または様々なオペレーティングシステム環境を提供することができる。

コンピュータリソースサービス102では、各MIは、様々なユーザによって制御することができ、彼らは、自身のMIにのみ管理者アクセスを有することができ、他のユーザのインスタンスにはアクセスを有することができない。複数のMIを、並列プロセッサを含むコンピュータシステム上で同時に実行することができるが、ただし、複数のインスタンスは、インスタンスよりも少ないプロセッサを有するマルチスレッドコンピュータシステム上で同時に実行するように見える。場合により、コンピュータシステム上で実行する様々なMIは、2人以上の様々なユーザによって制御され、他の場合では、MIのすべてが単一のユーザによって制御される。

コンピュータリソースサービス102は、1つ以上の管理システム111を含むこともできる。1つ以上の管理システム111は、コンピュータリソースサービス102の動作及び構成を制御するように構成することができる。1つ以上の管理システム111は、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108上でMIの実行を始動し、コンピュータリソースサービス102内にMIを構成し、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108上で実行しているMIを終了し、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108間で既存のMIを移行するように構成することができる。1つ以上の管理システム111はまた、コンピュータリソースサービス102からコンピュータサービスを要求しているユーザにインターフェースを提供するように構成することができる。1つ以上の管理システム111は、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108のうちの1つ以上などの物理的コンピュータシステムとして実装することができる。同様に、1つ以上の管理システム111は、コンピュータリソースサービス102内で実行している1つ以上のMIとして実装することができる。

実装形態では、リソース監視ツール100は、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108の動作を試験することによって、コンピュータリソースサービス102によって提供されるコンピュータリソースの性能を決定及び監視するように構成することができる。動作中、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108の性能は、コンピュータシステム上で実行しているMIの数、コンピュータシステム上で実行しているMIの利用量、コンピュータシステムを支持する物理的ハードウェア及びソフトウェア、ならびに他の類似の要因によって影響を受け得る。コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108の動作を試験するために、リソース監視ツール100は、1つ以上の試験VM110を利用するように構成することができる。リソース監視ツール100は、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108上で試験VM110を始動し、試験VM110の性能を試験するように構成することができる。

コンピュータリソースサービス102を正確に代表して表すために、リソース監視ツール100は、コンピュータリソースサービス102の構成に基づいて、試験VM110の数及び配置を選択するように構成することができる。コンピュータリソースサービス102において、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108は、様々な場所に配置することができる。コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108の場所は、任意の粒度の分離をコンピュータリソースサービス102内に含むことができる。例えば、場所としては、データセンタ内の特定のコンピュータシステム、サーバラック内の様々なサーバ、様々なデータセンタ、様々な地理的場所または地域などを挙げることができる。したがって、様々な場所を試験するために、リソース監視ツール100は、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108の各場所からいくつかのコンピュータシステムを選択して試験するように構成することができる。

同様に、様々な場所にあるコンピュータシステムは、様々なコンピュータリソースを提示することができる。例えば、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108は、ハードウェアリソース及び/またはソフトウェアリソースの様々な構成を含むことができる。また、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108は、様々な世代のハードウェアリソース及び/またはソフトウェアリソースを含むことができる。例えば、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108のうちの1つ以上は、より古いコンピュータシステムを含むことができ、それは典型的には、より古いハードウェアリソース及びソフトウェアリソースを使用し、低減されたコンピューティングリソースを提供する。したがって、リソース監視ツール100は、様々な構成及び世代を代表して表す多数のコンピュータシステムを各場所から選択するように構成することができる。

コンピュータシステムの数を選択するとき、リソース監視ツール100は、コンピュータシステムを代表して正確に表すために、様々な場所、様々な構成、様々な世代などの各々から十分な数のコンピュータシステムを選択することができる。すなわち、リソース監視ツール100は、様々な場所、様々な構成、様々な世代などの各々から、統計的に有意ないかつかのコンピュータシステムを選択するように構成することができる。例えば、特定の場所、構成、または世代に関して、リソース監視ツール100は、その特定の場所、構成、または世代のすべてのコンピュータシステムを統計的に代表して表すいくつかのコンピュータシステムを選択することができる。このコンピュータシステムの数は、特定の場所、構成、または世代のコンピュータシステムの総数のパーセンテージ(例えば、10%、5%、1%など)であることができる。特定の場所、構成、または世代からコンピュータシステムを選択するとき、リソース監視ツール100は、その特定の場所、構成、または世代からコンピュータシステムを無作為に選択することができる。

実装形態では、コンピュータリソースを試験するとき、リソース監視ツール100は、試験VM110の様々な構成を利用するように構成することができる。具体的には、リソース監視ツール100は、コンピュータリソースサービス102によって提供される様々な量のコンピュータリソースを利用する試験VM110を選択することができる。リソース監視ツール100は、コンピュータリソースサービス102によって提示される、予め構成された試験VM110を選択するように構成することができる。同様に、リソース監視ツール100は、様々なレベルのコンピュータリソースを表す試験VM110の種々の構成を決定するように構成することができる。

実装形態では、リソース監視ツール100は、コンピュータリソースサービス102の一部として、またはコンピュータリソースサービス102の外部に、コンピュータシステム上に記憶されるか、またはコンピュータシステムによって実行されることができるソフトウェアプログラムとして構成することができる。同様に、リソース監視ツール100は、他のアプリケーションプログラムの一部であるソフトウェアモジュールとして構成することができる。いずれかの例においても、リソース監視ツール100は、JAVA、C++、Pythonコード、Visual Basic、HTML、XMLなど、多様なオペレーティングシステム、コンピュータシステムアーキテクチャなどに対応するように多様なプログラム言語で記述することができる。図1に例示される通り、リソース監視ツール100は、監視モジュール112、性能データ記憶114、及びインターフェース116を含むことができる。単一のアプリケーションプログラムの一部として例示されているが、リソース監視ツール100の構成要素のいずれも、分離したソフトウェアプログラムまたはモジュールとして実装することができる。

実装形態では、監視モジュール112は、試験VM110の性能を試験し、試験VM110の性能メトリックを監視するように構成することができる。試験VM110がコンピュータリソースサービス102内で実行する際、監視モジュール112は、試験VM110の性能を試験するように構成することができる。具体的には、監視モジュール112は、試験VM110の性能を測定する1つ以上のベンチマーク試験を実施するように構成することができる。ベンチマーク試験としては、プロセッサ性能(例えば、ソフトウェアの実行、命令の実行に基づくスコアなど)、メモリ性能(例えば、待ち時間、読み取り速度、書き込み速度など)、入力/出力(I/O)性能(例えば、1秒当りのI/O、I/O帯域幅など)、ネットワーク性能(例えば、ネットワーク帯域幅、1秒当りのネットワークパケットなど)などを測定する、任意の種類の従来の試験を挙げることができる。

ベンチマーク試験から、監視モジュール112は、性能メトリックを収集するように構成することができる。性能メトリックは、ベンチマーク試験の結果を含む。収集後、リソース監視ツール100は、性能メトリックを性能データ記憶114に記憶するように構成することができる。性能データ記憶114は、性能メトリックを記憶することができる1つ以上のデータ構造として実装することができる。性能データ記憶114はまた、コンピュータリソースサービス102の詳細、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108の詳細、試験VM110の詳細、性能試験の詳細などを記憶することもできる。

性能データ記憶114は、性能メトリック及び他のデータを、関連する情報を結び付けて関連させる様式で記憶するように構成することができる。例えば、特定の性能メトリックのセットに関して、性能データ記憶114は、特定の性能メトリックのセットを生成した特定の試験VM110の詳細、特定の試験VM110が実行した特定のコンピュータシステムの詳細、特定のコンピュータシステムの場所、特定の試験VM110上で実施された性能試験の詳細などを関連付けることができる。

実装形態では、リソース監視ツール100は、監視エージェントを利用して、試験VM110の試験及び監視を補助するように構成することができる。監視エージェントは、試験VM110上で実行し、性能試験のうちの1つ以上を実施するように構成されるソフトウェアプログラムとして実装することができる。性能メトリックを収集するために、監視エージェントは、性能をリソース監視ツール100に送るように構成することができる。監視エージェントは、性能メトリックをリアルタイムで、定期的に、要求に応じて、及びそれらの組み合わせで送ることができる。同様に、リソース監視ツール100は、例えば、監視モジュール112を介して、監視エージェントと通信し、監視エージェントから性能メトリックを取り出すように構成することができる。リソース監視ツール100は、性能メトリックをリアルタイムで、定期的に、要求に応じて、及びそれらの組み合わせで取り出すことができる。

性能メトリックの収集に加えて、リソース監視ツール100は、性能メトリック上で統計分析を実施するように構成することができる。リソース監視ツール100は、コンピュータシステムの性能、試験VMの様々な構成の性能、及びそれらの組み合わせを分析及び比較するために、統計分析を実施することができる。統計分析は、例えば、中央値、平均値、標準偏差、関係性に基づく統計的順位付け、統計的モデル化などの、コンピュータシステムの性能、試験VMの様々な構成の性能、及びそれらの組み合わせの分析及び比較に役立つ統計値を生成する、任意の種類の手順であり得る。決定後、リソース監視ツール100は、統計値を性能データ記憶114に記憶することができる。

例えば、リソース監視ツール100は、コンピュータシステム上で動作している試験VMの特定の構成の性能メトリックを経時的に比較することができる。例えば、リソース監視ツール100は、経時的に収集された性能メトリックの中央値、平均値、及び標準偏差を決定して、経時的性能を評定することができる。加えて、例えば、リソース監視ツール100は、性能メトリックが、他の時間における性能メトリックに対して特定のパーセンテージの範囲に含まれる、特定の時間を決定することができる。

同様に、例えば、リソース監視ツール100は、同一の場所にあるか、様々な場所にあるか、またはその両方にあるかにかかわらず、試験VMの特定の構成をホストする様々なコンピューティングシステムの性能メトリックに関する統計値を決定することができる。この例では、リソース監視ツール100は、統計値を比較して、コンピューティングシステムの性能を互いに関連して決定することができる。加えて、リソース監視ツール100は、同一のコンピュータシステム上で、様々なコンピュータシステム上で、またはその両方で実行しているかにかかわらず、試験仮想マシンの様々な構成の性能メトリックに関する統計値を決定することができる。リソース監視ツール100は、統計値を比較して、試験仮想マシンの様々な構成の性能を互いに関連して決定することができる。

リソース監視ツール100はまた、ユーザデバイス120が1つ以上のネットワーク118を介してリソース監視ツール100と通信し、性能メトリックにアクセスすることを可能にする、インターフェース116を含むこともできる。ユーザデバイス120としては、デスクトップ、ラップトップ、サーバなどのコンピュータデバイス、またはスマートフォン、タブレットコンピュータ、携帯電話、携帯情報端末などの携帯デバイスなどを挙げることができる。ユーザデバイス120としては、従来のコンピュータデバイス内に見出されるハードウェアリソース(例えば、プロセッサ、メモリ、記憶装置、ネットワークインターフェース、I/Oデバイスなど)及びソフトウェアリソース(例えば、オペレーティングシステム、アプリケーションプログラム、モバイルアプリなど)を挙げることができる。

実装形態では、インターフェース116は、ユーザがリソース監視ツール100とローカルに、及び遠隔で通信することを可能にする、任意の種類のインターフェースであり得る。例えば、インターフェース116は、ユーザが、リソース監視ツール100が実行しているコンピュータシステムを介してリソース監視ツールと相互作用することを可能にする、グラフィカルユーザインターフェース(「GUI」)またはコマンドラインインターフェースを含むことができる。また、例えば、インターフェース116は、ユーザデバイス120が、ウェブブラウザなどのウェブベースのアプリケーションを使用してリソース監視ツール100と遠隔で通信することを可能にする、ウェブベースのインターフェースを含むことができる。同様に、例えば、インターフェース116は、ユーザデバイス120上のアプリケーションがリソース監視ツール100と通信することを可能にするアプリケーションプログラミングインターフェース(「API」)を含むことができる。いくつかの実装形態では、インターフェースは、ウェブサービスAPIであり得る。

実装形態では、ユーザデバイス120のユーザは、コンピュータリソースサービス102の性能を評定することを望むことができる。例えば、ユーザは、コンピュータリソースサービス内で始動するための最良の場所、コンピュータシステム、及びMIの構成を決定することを望むことができる。これを達成するために、ユーザデバイス120は、リソース監視ツール100に、性能メトリックのセットを提供する要求を送信することができる。それに応答して、リソース監視ツール100は、性能データ記憶114を検索し、ユーザデバイス120の要求に合致する性能メトリックのセットを取り出すように構成することができる。リソース監視ツール100は、性能メトリックのセットをユーザデバイス120に送信するように構成することができる。

ユーザデバイス120に有意義な情報を提供するために、リソース監視ツール100は、性能メトリックのセットを決定してユーザデバイス120のために取り出すときに、フィルタを利用するように構成することができる。具体的には、リソース監視ツール100は、フィルタを利用して、特定の性能メトリックを決定して、ユーザデバイスのために取り出すことができる。フィルタは、どの性能メトリックがユーザデバイス120によって所望されているかを指定する1つ以上のパラメータを含むことができる。

例えば、フィルタは、コンピュータリソースサービス102内のコンピュータシステムに関する1つ以上のパラメータを含むことができる。これらは、コンピュータシステムが位置する特定の場所または地域の識別、コンピュータシステムの特定の構成の識別などを含むことができる。加えて、例えば、フィルタは、試験VM110または試験VM110上で実施される試験に関する1つ以上のパラメータを含むことができる。これらのパラメータは、試験VM110の特定の種類または構成の識別、試験VM110が始動した場所または地域の識別、ベンチマーク試験の識別、試験が実施された日付または時間の範囲などを含むことができる。また、例えば、フィルタは、性能メトリック自体の周りに1つ以上のパラメータを含むことができる。これらのパラメータとしては、特定の種類の性能メトリック(例えば、プロセッサ性能、メモリ性能、I/O性能、ネットワーク性能など)、性能メトリックに関する特定の値、性能メトリックの特定の統計(例えば、平均値、中央値、ある特定のパーセンタイルなど)などを挙げることができる。

インターフェース116及びインターフェース116に関連するプロセスの完全な説明は、2013年5月21日に出願された、Simon Jeremy Elishaへの「REPORTING PERFORMANCE CAPABILITIES OF A COMPUTER RESOURCE SERVICE」と題する米国特許出願第13/899,449号に見出すことができ、その開示はその全体が参照により本明細書に援用される。

図2は、種々の実装形態による、コンピュータリソースサービスの性能を決定及び監視するためのプロセス200を例示する。プロセス200において、例示される段階は例であり、例示される段階のいずれも除去することができ、追加の段階を追加することができ、また例示される段階の順序を変更することができる。加えて、プロセス200はリソース監視ツール100によって実施されるように説明されているが、プロセス200の段階のうちの1つ以上を、任意のハードウェアまたはソフトウェア構成要素によって実施することができる。

204において、リソース監視ツール100は、コンピュータリソースサービス102内のコンピュータシステムを任意に決定することができる。リソース監視ツール100は、コンピュータシステムの場所、コンピュータシステムの名称、コンピュータシステムのネットワークアドレス、コンピュータシステムに関するアクセス情報などの、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108に関する識別情報を決定することができる。加えて、リソース監視ツール100は、コンピュータシステムのハードウェア及びソフトウェア構成要素などの、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108の詳細を決定することができる。この情報を決定するために、リソース監視ツール100は、コンピュータシステム104、コンピュータシステム106、及びコンピュータシステム108をスキャンすることができる。同様に、リソース監視ツール100は、コンピュータリソースサービス102の1つ以上の管理システム111と通信して、情報を取得することができる。加えて、コンピュータシステムの場所及び構成は、リソース監視ツール100内に予めプログラムすることもできる。

206では、リソース監視ツール100は、コンピュータシステムの場所分布及びコンピュータシステムのコンピューティングリソースを代表して表すコンピュータシステムのセットを決定することができる。すなわち、リソース監視ツール100は、コンピュータシステムの様々な場所及びコンピュータシステムの様々なコンピュータリソース構成を代表して表すコンピュータシステムを選択することができる。選択されるコンピュータシステムの数は、性能の正確な測定を決定し得るために統計的に有意であり得る。

例えば、コンピュータシステム104が第1の場所に位置し、コンピュータシステム106が第2の場所に位置する場合、リソース監視ツール100は、各場所を代表して表すいくつかのコンピュータシステム104及びいくつかのコンピュータシステム106を選択して、信頼性のある性能メトリックを付与することができ、例えば、コンピュータシステム104の5%及びコンピュータシステム106の5%などである。同様に、この例では、コンピュータシステム104は、2つのコンピュータリソース構成を有することができ、例えば、コンピュータシステム104の第1の群は、同一のプロセッサ、メモリ、及びネットワーク帯域幅を有し、コンピュータシステム104の第2の群は、同一のプロセッサ、メモリ、及びネットワーク帯域幅ではあるが第1の群とは様々なものを有する。コンピュータシステム104からコンピュータシステムを選択するとき、リソース監視ツール100は、第1の群及び第2の群の両方から統計的に有意な数を選択することができる。

208では、リソース監視ツール100は、コンピュータシステムのセット上で試験VMを始動することができる。リソース監視ツール100は、コンピュータシステム間で性能を比較し、関連させることができるように、試験VMの各々に対して同一の構成を選択することができる。例えば、リソース監視ツール100は、特定のコンピュータリソース(例えば、処理能力、メモリ、I/Oリソース、ネットワーク帯域など)を提示するように構成される試験VM100を選択することができる。リソース監視ツール100は、試験VM110を構成することができる。同様に、リソース監視ツール100は、予め構成された仮想マシンを選択して、コンピュータシステムで始動することができる。

210では、リソース監視ツール100は、コンピュータシステムのセット上の試験VMの性能メトリックを監視することができる。リソース監視ツール100は、ネットワーク接続を介して性能メトリックを遠隔で監視することができる。同様に、リソース監視ツール100は、試験仮想マシンのうちの1つ以上に性能監視エージェントをインストールし、監視エージェントから性能メトリックを受信するかまたは取り出すことができる。リソース監視ツール100は、種々の時間における性能メトリックを決定するために、性能メトリックを経時的に監視することができる。

リソース監視ツール100及び/または監視エージェントは、種々のベンチマーク試験を試験VM110上で実行することができる。ベンチマーク試験としては、プロセッサ性能(例えば、ソフトウェアの実行、命令の実行に基づくスコアなど)、メモリ性能(例えば、待ち時間、読み取り速度、書き込み速度など)、入力/出力(I/O)性能(例えば、1秒当りのI/O、I/O帯域幅など)、ネットワーク性能(例えば、ネットワーク帯域幅、1秒当りのネットワークパケットなど)などを測定する、任意の種類の従来の試験を挙げることができる。

212では、リソース監視ツール100は、試験VMに関して監視される性能メトリックを記憶することができる。リソース監視ツール100は、性能メトリックを、性能データ記憶114などの1つ以上のデータ構造内に記憶することができる。リソース監視ツール100は、性能メトリック及び他の情報を記憶することができる。他の情報としては、例えば、204において収集された情報を挙げることができる。

214では、リソース監視ツール100は、試験VMの様々な構成に関してプロセスを繰り返することができる。コンピュータリソースサービス102のコンピュータリソースの全体像を取得するために、リソース監視ツール100は、例えば、特定のコンピュータリソース(例えば、処理能力、メモリ、I/Oリソース、ネットワーク帯域など)の様々な提供などの、試験VM110の様々な構成に関する性能メトリックの試験及び監視を実施することができる。

216では、リソース監視ツール100は、性能メトリックに基づいて、リソースの管理及び監視を実施することができる。リソース監視ツール100は、性能メトリックを利用して、コンピュータリソースサービス102のコンピュータリソースの性能の決定を必要とする任意のプロセスを補助することができる。リソースの管理及び監視は、リソース監視ツール100によって実施することができる。同様に、リソース監視ツール100は、リソースの管理を補助するために、1つ以上のリソース管理システム111などの別のシステムに性能メトリックを提供することができる。

例えば、性能メトリックは、新規のMIを始動する基になる特定のマシンを決定するために利用することができる。例えば、特定のコンピュータシステムが試験VMに関して良好な性能メトリックを示す場合、その特定のコンピュータシステムを、新規のMIをホストするために選択する(または、より高い優先順位を付与する)ことができる。同様に、特定のコンピュータシステムが試験VMに関して不良な性能メトリックを示す場合、その特定のコンピュータシステムは、新規のMIのホストのために一時停止する(または、より低い優先順位を付与する)ことができる。

加えて、例えば、性能メトリックは、コンピュータリソースサービス102内で現在ホストされているMIを均衡させるために利用することができる。例えば、特定のコンピュータシステムが試験VMに関して不良な性能メトリックを示す場合、その特定のコンピュータシステムによってホストされる1つ以上のMIを、より良好な性能メトリックを示す様々なコンピュータシステムに移行することができる。

また、例えば、性能メトリックは、コンピュータリソースサービス102によるコンピュータリソースの提供の価格設定に利用することができる。例えば、特定のコンピュータシステムが試験VMに関して不良な性能メトリックを示し、その特定のシステムのより古いハードウェアに関連付けられる場合、その特定のコンピュータシステムによって提供されるコンピュータリソースにより低い価格が設定され得る。同様に、例えば、特定のコンピュータシステムが試験VMに関して良好な性能メトリックを示し、その特定のシステムのより新しいハードウェアに関連付けられる場合、その特定のコンピュータシステムによって提供されるコンピュータリソースにより高い価格が設定され得る。

さらに、例えば、性能メトリックは、コンピュータシステムのうちの1つ以上をアップグレードするかどうかの決定に利用することができる。例えば、特定のコンピュータシステムが試験VMに関して不良な性能メトリックを示し、その特定のシステムのより古いハードウェアに関連付けられる場合、その特定のコンピュータシステムのハードウェアを更新するという決定を行うことができる。

218では、リソース監視ツール100は、要求するユーザに性能メトリックを提供することができる。リソース監視ツール100は、ユーザデバイス120などのユーザから、性能メトリックのセットに関して要求を受信することができる。例えば、リソース監視ツール100は、インターフェース116を介して要求を受信することができる。要求は、ユーザによって要求される特定の性能メトリックのセットを指定する1つ以上のフィルタを含むことができる。それに応答して、リソース監視ツール100は、フィルタに基づいて性能データ記憶114を検索し、性能メトリックのセットを取り出すことができる。リソース監視ツール100は、インターフェース116を介してユーザに性能メトリックのセットを提供することができる。

受信後、ユーザは、性能メトリックのセットを利用して種々の動作を実施することができる。例えば、ユーザデバイス120は、コンピュータリソースサービスに関連付けられる動作を実施することができる。ユーザデバイス120は、性能メトリックを利用して、コンピュータリソースサービス102のコンピュータリソースの性能の決定を必要とする任意のプロセスを補助することができる。

例えば、性能メトリックを利用して、新規のMIを始動する基になる特定のコンピュータシステムまたはコンピュータシステムの場所を決定することができる。例えば、特定のコンピュータシステム、またはコンピュータシステムの特定の場所が、試験VMに関して良好な性能メトリックを示す場合、ユーザデバイス120は、特定のコンピュータシステム上または特定の場所で新規のMIを始動する(またはその始動を要求する)ことができる。同様に、例えば、ユーザデバイスが、試験VMの様々な構成に関する性能メトリックのセットを受信する場合、ユーザデバイス120は、コンピュータリソースサービス内で始動するためのMIの構成の選択にその性能メトリックのセットを利用することができる。加えて、例えば、性能メトリックは、コンピュータリソースサービス102内で現在ホストされているMIを均衡させるために利用することができる。例えば、特定のコンピュータシステムが試験VMに関して不良な性能メトリックを示す場合、その特定のコンピュータシステムによってホストされる1つ以上のMIは、より良好な性能メトリックを示す様々なコンピュータシステムに移行することができる。

218の後、プロセスは、終了するか、反復するか、または任意の点に戻ることができる。

図3A及び3Bは、種々の実装形態による、性能コンピュータリソースサービス302を決定及び監視することができるリソース監視ツール100の別の例を例示する。図3A及び3Bは、リソース監視ツール100内に含まれる種々の構成要素を例示するが、図3A及び3Bは、監視ツールの一例を例示するものであり、追加の構成要素が追加され得、既存の構成要素が除去され得る。同様に、図3A及び3Bは、コンピュータリソースサービス302内に含まれる種々の構成要素を例示するが、図3A及び3Bは、コンピュータリソースサービスの一例を例示するものであり、追加の構成要素が追加され得、既存の構成要素が除去され得る。

実装形態では、コンピュータリソースサービス302は、地域的及び地理的に別個の場所に位置するユーザに、コンピューティングリソースをサービスとして提供することができる。地域的及び地理的に別個の場所へのサービスの提供において、コンピュータリソースサービス302のコンピュータシステムは、種々の地理的場所及び地域的場所の間に分散することができる。図3Aに例示される通り、コンピュータリソースサービス302は、例えば、地理的場所1、304及び地理的場所2、306などのいくつかの地理的場所または地域に分割することができる。すなわち、コンピュータリソースサービス302を支持する種々のコンピュータシステムは、様々な地理的場所に提示されるコンピュータリソースを支持するために、様々な地理的場所に位置することができる。

例えば、コンピュータリソースサービス302は、例えば、データセンタA308、データセンタB310、データセンタC312、データセンタD314、及びデータセンタE316などの、いくつかのデータセンタを含むことができる。図3Aに例示される通り、データセンタA308及びデータセンタB310は、地理的場所1、304に位置することができる。データセンタC312、データセンタD314、及びデータセンタE316は、地理的場所2、306に位置することができる。特定の地理的場所内のデータセンタは、その特定の地理的場所の小地域内に分散することもできる。

図3Bに例示される通り、データセンタAは、コンピュータシステム318、コンピュータシステム320、及びコンピュータシステム322などのいくつかのコンピュータシステムを含むことができる。同様に、データセンタB310、データセンタC312、データセンタD314、及びデータセンタE316は、いくつかのコンピュータシステムを含むことができる。データの性能を決定及び監視するために、リソース監視ツール100は、コンピュータシステム318、コンピュータシステム320、及びコンピュータシステム322上で、それぞれ、試験VM324、326、及び328を始動するように構成することができる。下に説明される通り、リソース監視ツール100は、コンピュータリソースサービス302のデータセンタA308のコンピュータリソースを正確に代表して表すために、コンピュータシステムを選択するように構成することができる。

コンピュータリソースサービス302内においてどこでMIをホストするかを決定するとき、コンピュータリソースサービス302は、すべての地理的及び地域的場所にわたってコンピュータシステムの性能を決定することを望み得る。同様に、コンピュータリソースサービス302を利用するとき、ユーザは、ユーザの需要に最適なコンピューティングリソースを提供するであろうコンピュータシステムを決定することを望み得る。例えば、ユーザは、彼らの地理的場所内のコンピュータシステムの性能、及び他の地理的場所内のコンピュータシステムを決定することを望み得る。したがって、リソース監視ツール100は、コンピュータシステムの場所及びコンピュータシステムの構成を代表して表す性能メトリックを監視及び決定することができる。

図4は、種々の実装形態による、コンピュータリソースサービス302などのコンピュータリソースサービスの性能を監視するためのプロセス400を例示する。プロセス400において、例示される段階は例であり、例示される段階のいずれかは除去することができ、追加の段階を追加することができ、また例示される段階の順序は変更することができる。加えて、プロセス400はリソース監視ツール100によって実施されるように説明されているが、プロセス400の段階のうちの1つ以上は、任意のハードウェアまたはソフトウェア構成要素によって実施することができる。

404では、リソース監視ツール100は、コンピュータリソースサービス内のデータセンタの地理的場所を任意に決定することができる。リソース監視ツール100は、コンピュータリソースサービスをスキャンし、コンピュータリソースサービス内のデータセンタの地理的場所を決定することができる。同様に、リソース監視ツール100は、コンピュータリソースサービスの1つ以上の管理システム111と通信し、コンピュータリソースサービス内のデータセンタの地理的場所を決定することができる。データセンタの地理的場所は、リソース監視ツール100内に予めプログラムすることもできる。

例えば、図3Aを参照すると、リソース監視ツール100は、コンピュータリソースサービス302が、データセンタA308及びデータセンタB310を有する地理的場所1、304と、データセンタC312、データセンタD314、及びデータセンタE316を有する地理的場所2、306とを含むことを決定することができる。

406では、リソース監視ツール100は、試験するために地理的場所内のデータセンタを選択することができる。例えば、リソース監視ツール100は、データセンタA308、データセンタB310、データセンタC312、データセンタD314、及びデータセンタE316のいずれか1つを選択することができる。リソース監視ツール100は、無作為に特定のデータセンタを選択してもよく、または所定の順序に基づいて特定のデータセンタを選択してもよい。

408では、リソース監視ツール100は、データセンタ内のコンピュータシステムを任意に決定することができる。リソース監視ツール100は、現在試験されているデータセンタ内のコンピュータシステムの識別情報及び詳細を決定することができる。識別情報としては、コンピュータシステムの名称、コンピュータシステムのネットワークアドレス、コンピュータシステムに関するアクセス情報などを挙げることができる。コンピュータシステムの詳細としては、コンピュータシステムのハードウェア及びソフトウェア構成要素を挙げることができる。

例えば、データセンタA308に関して、リソース監視ツール100は、コンピュータシステム318、コンピュータシステム320、及びコンピュータシステム322に関する識別情報、例えば、コンピュータシステムの名称、コンピュータシステムのネットワークアドレス、コンピュータシステムに関するアクセス情報などを決定することができる。加えて、リソース監視ツール100は、コンピュータシステム318、コンピュータシステム320、及びコンピュータシステム322の詳細、例えば、コンピュータシステムのハードウェア及びソフトウェア構成要素などを決定することができる。この情報を決定するために、リソース監視ツール100は、コンピュータシステム318、コンピュータシステム320、及びコンピュータシステム322をスキャンすることができる。同様に、リソース監視ツール100は、コンピュータリソースサービス302の1つ以上の管理システム111と通信して、情報を取得することができる。

410では、リソース監視ツール100は、コンピュータシステムの様々な構成を代表して表すデータセンタ内のコンピュータシステムのセットを決定することができる。コンピュータシステムの様々な構成の各々に関して、リソース監視ツール100は、各構成に関して、統計的に有意であるいくつかのコンピュータシステム、すなわち、統計的に意味のある性能メトリックを提供するのに十分に大きいコンピュータシステムの標本を選択することができる。

例えば、コンピュータシステム318及びコンピュータシステム320は、様々な構成(例えば、様々な世代または種類のハードウェアリソース)を有するコンピュータシステムを含むことができる。リソース監視ツール100は、例えば、コンピュータシステム318の5%及びコンピュータシステム320の5%などの、各場所を表し、信頼性のある性能メトリックを付与する多数のコンピュータシステム318及び多数のコンピュータシステム320を選択することができる。

412では、リソース監視ツール100は、コンピュータシステムのセット上で試験VMを始動することができる。リソース監視ツール100は、コンピュータシステム間で性能を比較し、関連させることができるように、試験VMの各々に対して同一の構成を選択することができる。例えば、データセンタA308に関して、リソース監視ツール100は、特定のコンピュータリソース(例えば、処理能力、メモリ、I/Oリソース、ネットワーク帯域幅など)を提示するように構成される試験VM324、326、及び328に関する構成を選択することができる。リソース監視ツール100は、試験VM324、326、及び328を構成することができる。同様に、リソース監視ツール100は、試験VM324、326、及び328のために予め構成された試験VMを選択して、コンピュータシステム上で始動することができる。

414では、リソース監視ツール100は、試験仮想マシンの性能を監視することができる。リソース監視ツール100は、ネットワーク接続を介して性能メトリックを遠隔で監視することができる。同様に、リソース監視ツール100は、試験仮想マシンのうちの1つ以上に性能監視エージェントをインストールし、監視エージェントから性能メトリックを受信するかまたは取り出すことができる。リソース監視ツール100は、種々の時間における性能メトリックを決定するために、性能メトリックを経時的に監視することができる。

リソース監視ツール100及び/または監視エージェントは、試験VM324、326、及び328上で種々のベンチマーク試験を起動することができる。ベンチマーク試験としては、プロセッサ性能(例えば、ソフトウェアの実行、命令の実行に基づくスコアなど)、メモリ性能(例えば、待ち時間、読み取り速度、書き込み速度など)、入力/出力(I/O)性能(例えば、1秒当りのI/O、I/O帯域幅など)、ネットワーク性能(例えば、ネットワーク帯域幅、1秒当りのネットワークパケットなど)などを測定する、任意の種類の従来の試験を挙げることができる。

416では、リソース監視ツール100は、試験仮想マシン内で監視された性能メトリックを記憶することができる。リソース監視ツール100は、性能メトリックを、性能データ記憶114などの1つ以上のデータ構造内に記憶することができる。リソース監視ツール100は、性能メトリック及び他の情報を記憶することができる。他の情報としては、例えば、204において収集された情報を挙げることができる。

例えば、図5は、試験VMから監視された性能メトリックを記憶することができるデータ構造の例を例示する。図5は、データ構造の例を例示するが、例示される構造は一例であり、任意の種類のデータ構造が、性能メトリックを記憶するために利用することができる。同様に、図5は、記憶され得る性能メトリックの例を例示するが、例示される性能メトリックは一例であり、任意の種類の性能メトリックまたは他の情報を、リソース監視ツール100によって監視及び記憶することができる。

例示される通り、リソース監視ツール100は、性能メトリックを表500に記憶することができる。表500は、いくつかの行及び列を含むことができる。各行は、特定の試験VMに関する性能メトリック及びその他のデータを記憶することができる。各列は、試験VMに関する特定の種類の情報を記憶することができる。表500は、各試験VMの識別子を記憶する列502を含むことができる。識別子は、試験VMを一意的に識別する任意の値であり得る。例えば、識別子は、「00001」などの数値であり得る。

表500はまた試験VMに割り当てられるコンピューティングリソースを説明する構成情報を記憶する、列504を含むこともできる。構成情報としては、試験VMに割り当てられるメモリ、試験VMに割り当てられる処理能力、試験VMに割り当てられる記憶装置、試験VMに割り当てられるネットワークリソース、試験VMのデータ処理アーキテクチャなどの、試験VMに割り当てられるコンピューティングリソースを説明する任意の情報を挙げることができる。例えば、例示される通り、列504は、以下の情報を含むことができる:「割り当てられるメモリ(バイト数);処理能力(計算ユニット);記憶装置(バイト数);アーキテクチャ(ビット数)」。例えば、試験VM「00001」に関して、列504は、「1.7GB」の割り当てられるメモリ、「5CU」の処理能力、「320GB」の記憶装置、及び「32ビット」のアーキテクチャを含むことができる。

表500はまた、試験VMをホストするコンピュータシステムの場所情報を記憶する列506及び508を含むこともできる。列506は、地域的または地理的識別及び説明などの試験VMの地域的または地理的情報を含むことができる。例えば、試験VM「00001」に関して、列506は、(図3Aで参照される通り)「地理的場所1」の場所を含むことができる。列508は、試験VMをホストするコンピュータシステムを含む小地域またはデータセンタなどの特定の場所に関する追加の場所情報を含むことができる。例えば、試験VM「00001」に関して、列508は、試験VM「00001」をホストするコンピュータシステムを示す、「データセンタA」を含むことができる。

表500はまた、試験VMをホストしているコンピュータシステムの識別子を記憶する列510を含むこともできる。識別子は、コンピューティングシステムを一意的に識別する任意の値であり得る。例えば、識別子は、コンピュータシステムの媒体アクセス制御(MAC)アドレスであり得る。例えば、試験VM「00001」に関して、列510は、16進数のMACアドレス、値「00:A0:C9:14:C8:29」を含むことができる。

表500はまた、試験VMによって実施された試験の時間及び日付情報を記憶する列512を含むこともできる。時間及び日付情報は、いつ試験が実施されたか、いつ性能メトリックが収集されたかなどを識別する任意の情報を含むことができる。例えば、例示される通り、列512は、日付を「日月年」として、また時間を「時間:分:秒」として含むことができる。例えば、試験VM「00001」に関して、列512は「2013年5月1日」の日付及び「12:15:06」の時間を含むことができる。

表500はまた、試験VMによって収集される性能メトリックを記憶する列514、516、518、及び520を含むことができる。列514は、プロセッサ性能に関連付けられる性能メトリックを記憶することができる。プロセッサ性能は、特定のベンチマーク試験によって生成される任意の値であり得る。例えば、試験VM「00001」に関して、列514は、値「1025」を含むことができ、それは、特定のベンチマーク試験のスコアに対応する。列516は、メモリ性能試験に関連付けられる性能メトリックを記憶することができる。例えば、例示される通り、列516は、性能メトリック:「ページ更新速度(秒);待ち時間(秒)」を含むことができる。例えば、試験VM「00001」に関して、列516は、「5」秒のページ更新速度及び「3」秒の待ち時間を含むことができる。

列518は、I/O性能試験に関連付けられる性能メトリックを記憶することができる。例えば、例示される通り、列518は、性能メトリック:「1秒当りの入力/出力:待ち時間(秒)」を含むことができる。例えば、試験VM「00001」に関して、列518は、「100,000」のIOPS及び「10」秒の待ち時間を含むことができる。列520は、ネットワーク性能試験に関連付けられる性能メトリックを記憶することができる。例えば、例示される通り、列520は、性能メトリック:「ネットワーク帯域幅(1秒当りのMビット数);破棄パケットの数;待ち時間(秒)」を含むことができる。例えば、試験VM「00001」に関して、列520は、「9.8」Mビット/秒のネットワーク帯域幅、「10」の数の破棄パケット、及び「3」秒の待ち時間を含むことができる。

表500はまた、任意の追加の情報を記憶することができる列522を含むことができる。例えば、該列は、試験の間隔、実施されるベンチマーク試験の識別、リソース監視ツール100を実行するシステムの識別などの情報を含むことができる。

418では、リソース監視ツール100は、追加の仮想マシン構成を試験するかどうかを決定することができる。コンピュータリソースサービス302のコンピュータリソースの全体像を取得するために、リソース監視ツール100は、例えば、特定のコンピュータリソース(例えば、処理能力、メモリ、I/Oリソース、ネットワーク帯域幅など)の様々な提供などの試験VM324、326、及び328の様々な構成に関する性能メトリックの試験及び監視を実施することができる。

420では、リソース監視ツール100は、その地理的場所内に追加のデータセンタが存在するかどうかを決定することができる。例えば、リソース監視ツール100は、データセンタB、310も試験される必要があることを決定することができる。リソース監視ツール100は、上記のプロセスをデータセンタB、310に関して繰り返すことができる。したがって、リソース監視ツール100は、地理的場所1、304内のすべてのデータセンタに関する性能メトリックを決定及び監視することができる。

422では、リソース監視ツール100は、追加の地理的場所が存在するかどうかを決定することができる。例えば、リソース監視ツール100は、地理的場所2、306が試験される必要があることを決定することができる。リソース監視ツール100は、上記のプロセスを地理的場所306のデータセンタC312、データセンタD314、及びデータセンタE316に関して繰り返すことができる。したがって、リソース監視ツール100は、地理的場所1、304及び地理的場所2、306の両方のすべてのデータセンタに関する性能メトリックを決定及び監視することができる。

リソース監視ツール100は、性能メトリックを経時的に監視し続けることができる。したがって、リソース監視ツール100は、性能メトリックを経時的に決定し、性能メトリックが経時的にどのように変化するかを決定することができる。

422の後、プロセスは、終了するか、繰り返すか、または任意の点に戻ることができる。

上記に説明される実装形態では、リソース監視ツール100によって収集される性能メトリックは、コンピュータリソースサービスに関連付けられる多様なプロセスに利用することができる。実装形態では、上に説明される通り、性能メトリックは、コンピュータリソースサービス302内のどのコンピュータシステムがMIを支持するべきかの決定、コンピュータリソースサービス302のコンピュータリソースの価格設定、コンピュータリソースサービス302のコンピュータシステムの更新に関する決定などに利用することができる。

上記に説明される実装形態では、リソース監視ツール100は、性能メトリックを経時的に監視し続けることができる。したがって、リソース監視ツール100は、性能メトリックを経時的に決定し、性能メトリックが経時的にどのように変化するかを決定することができる。加えて、一定の期間後、リソース監視ツール100は、試験VMを終了して、コンピューティングリソースがコンピュータリソースサービスのユーザによって利用されることを可能にすることができる。

図6は、上記に説明されるプロセスのうちの1つ以上を実施するために使用することができる、リソース監視ツール100を実装するコンピューティングデバイス600のためのハードウェア構成の例を例示する。図6はコンピューティングデバイス600に含まれる種々の構成要素を例示するが、図6は、コンピューティングデバイスの一例を例示するものであり、追加の構成要素が追加され得、既存の構成要素が除去され得る。

図6に例示される通り、コンピューティングデバイス600は、種々のコア構成及びクロック周波数の1つ以上のプロセッサ602を含むことができる。コンピューティングデバイス600はまた、コンピューティングデバイス600の動作中にメインメモリとして機能する1つ以上のメモリデバイス604も含むことができる。例えば、動作中、リソース監視ツール100のコピーを、1つ以上のメモリデバイス604に記憶することができる。コンピューティングデバイス600はまた、コンピューティングデバイス600との人の対話及びその操作を可能にするための、キーボード、マウス、タッチパッド、コンピュータスクリーン、タッチスクリーンなどの、1つ以上の周辺インターフェース606も含むことができる。

コンピューティングデバイス600はまた、プロトコルを使用して有線または無線媒体と通信するための、Ethernetアダプタ、無線トランシーバ、またはシリアルネットワーク構成要素などの、1つ以上のネットワークを介して通信するための1つ以上のネットワークインターフェース608も含むことができる。コンピューティングデバイス600はまた、画像、ファイル、及び1つ以上のプロセッサ602による実行のためのプログラム命令などのデータを記憶するための、フラッシュドライブ、ハードドライブ、ランダムアクセスメモリなどの、種々の物理的寸法及び記憶装置容量の1つ以上の記憶デバイス610を含むこともできる。

加えて、コンピューティングデバイス600は、リソース監視ツール100などの1つ以上のソフトウェアプログラム612を含むことができる。1つ以上のソフトウェアプログラム612は、1つ以上のプロセッサ602に本明細書に説明されるプロセスを実施させる命令を含むことができる。1つ以上のソフトウェアプログラム612のコピーを、1つ以上のメモリデバイス604及び/または1つ以上の記憶デバイス610に記憶することができる。同様に、例えば、性能データ記憶114などの1つ以上のソフトウェアプログラム612によって利用されるデータを、1つ以上のメモリデバイス604及び/または1つ以上の記憶デバイス610に記憶することができる。

実装形態では、コンピューティングデバイス600は、ネットワーク616を介して1つ以上の遠隔ユーザデバイス614及びコンピュータリソースサービス618と通信することができる。1つ以上の遠隔ユーザデバイス614は、任意の種類の従来のコンピューティングデバイスであり得る。例えば、1つ以上のユーザデバイス614は、デスクトップ、ラップトップ、サーバなど、またはスマートフォン、タブレットコンピュータ、携帯電話、携帯情報端末などの携帯デバイスであり得る。ネットワーク616は、ローカルエリアネットワーク、広域ネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、及びそれらの任意の組み合わせなどの、任意の種類のネットワークであり得る。ネットワーク616は、TCP/IP、OSI、FTP、UPnP、NFS、CIFS、及びAppleTalkなどの多様な市販のプロトコルのいずれかを使用して、通信を支持することができる。ネットワーク616は、例えば、ローカルエリアネットワーク、広域ネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、及びそれらの任意の組み合わせであり得る。

実装形態では、コンピューティングデバイス600は、1つ以上のユーザデバイス614及びコンピュータリソースサービス618とネットワーク616上でデータを交換することができる。例えば、コンピューティングデバイス600は、性能メトリックのうちの1つ以上に関する要求を1つ以上のユーザデバイス614から受信することができる。

コンピューティングデバイス600及びリソース監視ツール100は、少なくとも1つのサービスまたはウェブサービスの一部として実装することができ、例えば、サービス指向アーキテクチャの一部であってもよい。上に説明される通り、リソース監視ツール100は、インターフェース、例えば、ウェブサービスAPIを実装することができる。コンピューティングデバイス600は、少なくとも1つのサービスまたはウェブサービスの動作中に、ウェブサービスAPIを介して1つ以上のユーザデバイス614とデータを交換することができる。ウェブサービスなどのサービスは、任意の適切な種類のメッセージングを使用して、例えば、エクステンシブルマークアップ言語(XML)フォーマットのメッセージを使用して通信することができ、またSOAP(「簡易オブジェクトアクセスプロトコル」から抽出)などの適切なプロトコルを使用して交換することができる。かかるサービスによって提供または実行されるプロセスは、ウェブサービス記述言語(WSDL)などの任意の適切な言語で記述することができる。WSDLなどの言語の使用は、種々のSOAPフレームワークにおけるクライアント側コードの自動生成などの機能性を可能にする。

実装形態では、コンピューティングデバイス600は、ウェブサーバアーキテクチャの一部として利用することができる。ウェブサーバアーキテクチャでは、コンピューティングデバイス600は、HTTPサーバ、FTPサーバ、CGIサーバ、データサーバ、Javaサーバ、及びビジネスアプリケーションサーバを含む、多様なサーバまたはミッドティアアプリケーションのいずれかを起動することができる。コンピューティングデバイス600はまた、1つ以上の遠隔ユーザデバイス614からの要求に応答して、例えば、Java(登録商標)、C、C#、もしくはC++、または任意のスクリプト言語、例えば、Perl、Python、もしくはTCLなど、及びそれらの組み合わせなどの任意のプログラム言語で記述される1つ以上のスクリプトまたはプログラムとして実装され得る1つ以上のウェブアプリケーションを実行することによって、プログラムまたはスクリプトを実行することも可能である。コンピューティングデバイス600はまた、データベースサーバも含むことができ、限定するものではないが、Oracle(登録商標)、Microsoft(登録商標)、Sybase(登録商標)、及びIBM(登録商標)から市販されているものが挙げられる。

コンピューティングデバイス600は、上述の多様なデータ記憶ならびに他のメモリ及び記憶媒体を含むことができる。これらは、多様な場所、例えば、コンピュータのうちの1つ以上にローカルな(及び/もしくはその中に存在する)記憶媒体上に、またはネットワーク上のコンピュータのいずれかもしくはすべてから遠隔に存在することができる。いくつかの実装形態では、情報は、当業者に周知であるストレージエリアネットワーク(「SAN」)内に存在することができる。同様に、コンピュータ、サーバ、または他のネットワークデバイスに起因する機能を実施するための任意の必要なファイルが、必要に応じてローカルに及び/または遠隔に記憶されてもよい。

実装形態では、上に説明されるコンピューティングデバイス600の構成要素は、単一の筐体内に封入される必要はなく、または互いに接近して位置する必要さえない。当業者は、コンピューティングデバイス600は、開示される実装形態を実施するための任意の必要な付随ファームウェアまたはソフトウェアを含む、任意の種類のハードウェア構成部品を含むことができるので、上記に説明される構成部品は例に過ぎないことを理解するであろう。コンピューティングデバイス600はまた、特定用途向け集積(ASIC)またはフィールドプログラム可能ゲートアレイ(FPGA)など、電子回路素子またはプロセッサによって部分的にまたは全体的に実装することもできる。

本開示の実施形態は、以下の条項を考慮して説明することができる。
1.1つ以上のプロセッサにコンピュータリソースサービスの性能を決定するための方法を実施させるための命令を記憶する非一時的コンピュータ可読記憶媒体であって、該方法は、
該コンピュータリソースサービスの該性能を試験する基になるコンピュータシステムのセットを決定することであって、コンピュータシステムの該セットは、第1のコンピュータシステムのうちの少なくとも1つ及び第2のコンピュータシステムのうちの少なくとも1つを含み、該第1のコンピュータシステムは、第1の場所に位置し、該第2のコンピュータシステムは、第2の場所に位置する、決定することと、
コンピュータシステムの該セット内の各コンピュータシステム上で、少なくとも1つの仮想マシンを始動することであって、各コンピュータシステム上の該少なくとも1つの仮想マシンは、第1の構成に従って構成される、始動することと、
コンピュータシステムの該セット内の各コンピュータシステム上で実行している該少なくとも1つの仮想マシンの性能メトリックを決定することと、
該少なくとも1つの仮想マシンに関して、性能メトリック、該少なくとも1つの仮想マシンの第1の構成、及び該少なくとも1つの仮想マシン上で実行している各コンピュータシステムの場所情報を含む記録を記憶することと、を含む、非一時的コンピュータ可読記憶媒体。
2.コンピュータシステムの該セットを決定することは、
該第1のコンピュータシステムが、第1のハードウェア構成を有する少なくとも1つのコンピュータシステム及び第2のハードウェア構成を有する少なくとも1つのコンピュータシステムを備えることを決定することと、
コンピュータシステムの該セット内に含まれるために、該第1のハードウェア構成を有する該少なくとも1つのコンピュータシステム及び該第2のハードウェア構成を有する該少なくとも1つのコンピュータシステムを選択することと、を含む、条項1の非一時的コンピュータ可読記憶媒体。
3.該方法は、
コンピュータシステムの該セット内の各コンピュータシステム上で、少なくとも1つの追加の仮想マシンを始動することであって、該少なくとも1つの追加の仮想マシンは、該第1の構成とは異なる構成を有する、始動することと、
コンピュータシステムの該セット内の各コンピュータシステム上で実行している該少なくとも1つの追加の仮想マシンの追加の性能メトリックを監視することと
該追加の性能メトリックを記憶することと、をさらに含む、条項1の非一時的コンピュータ可読記憶媒体。
4.該方法は、
コンピュータシステムの該セット内の各コンピュータシステム上の該少なくとも1つの仮想マシン上に、監視エージェントをインストールすることであって、該監視エージェントは、該性能メトリックの一部を収集する、インストールすることをさらに含む、条項1の非一時的コンピュータ可読記憶媒体。
5.コンピュータリソースサービスの性能を決定するためのコンピュータ実装方法であって、
該コンピュータリソースサービスの該性能を試験する基になるコンピュータシステムのセットを決定することであって、該コンピュータシステムの該セット内の各コンピュータシステムは、該コンピュータシステムの場所分布及び該コンピュータシステムの該コンピュータリソースの差異のうちの少なくとも1つを代表して表す、決定することと、
該コンピュータシステムの該セット内の各コンピュータシステム上で、少なくとも1つの仮想マシンを始動することと、
プロセッサによって、コンピュータシステムの該セット内の各コンピュータシステム上で実行している該少なくとも1つの仮想マシンの性能メトリックを監視することと、
コンピュータ可読記憶媒体に該性能メトリックを記憶することと、を含む、コンピュータ実装方法。
6.該コンピュータシステムの該セット内の各コンピュータシステム上の該少なくとも1つの仮想マシン上に、監視エージェントをインストールすることであって、該監視エージェントは、該性能メトリックの一部を収集する、インストールすることをさらに含む、条項5のコンピュータ実装方法。
7.該性能メトリックを監視することは、
該監視エージェントから性能メトリックの該一部を受信することを含む、条項6のコンピュータ実装方法。
8.該性能メトリックは、プロセッサ性能、メモリ性能、入力/出力性能、及びネットワーク通信性能のうちの少なくとも1つを含む、条項5のコンピュータ実装方法。
9.該性能メトリックに少なくとも部分的に基づいて、利用可能なコンピュータリソースを有する該コンピュータシステムのうちの1つを決定することと、
既存の仮想マシンを該コンピュータシステムのうちの該1つに移行することと、をさらに含む、条項5のコンピュータ実装方法。
10.該性能メトリックに少なくとも部分的に基づいて、アップグレードを必要とする該コンピュータシステムのうちの1つを決定することと、
該必要とされるアップグレードの通知を提供することと、をさらに含む、条項5のコンピュータ実装方法。
11.ウェブサービスプロトコルを介して、該性能メトリックのセットを提供する要求を受信することと、
該要求に少なくとも部分的に基づいて、該コンピュータ可読記憶媒体に記憶された該性能メトリックから該性能メトリックの該セットを取り出すことと、
性能メトリックの該セットを該要求の発信元に提供することと、をさらに含む、条項5のコンピュータ実装方法。
12.該コンピュータリソースサービス内に仮想マシンを始動する要求を受信することと、
該性能メトリックに少なくとも部分的に基づいて、該仮想マシンを始動する基になる少なくとも1つのコンピュータシステムを該コンピュータシステムから決定することと、をさらに含む、条項5のコンピュータ実装方法。
13.該コンピュータシステムの第1の部分は、第1の地理的場所に位置し、該コンピュータシステムの第2の部分は、第2の地理的場所に位置し、
該コンピュータシステムの該セットは、第1の部分からの少なくとも1つのコンピュータシステムと、該第2の部分からの少なくとも1つのコンピュータシステムとを含む、条項5のコンピュータ実装方法。
14.該コンピュータシステムの該セット内の各コンピュータシステム上で、少なくとも1つの追加の仮想マシンを始動することであって、該少なくとも1つの追加の仮想マシンは、該少なくとも1つの仮想マシンとは異なる構成を有する、始動することと、
該プロセッサによって、コンピュータシステムの該セット内の各コンピュータシステム上で実行している該少なくとも1つの追加の仮想マシンの追加の性能メトリックを監視し、
該コンピュータ可読記憶媒体に、該追加の性能メトリック記憶することと、をさらに含む、条項5のコンピュータ実装方法。
15.コンピュータリソースサービスの性能を決定するためのシステムであって、
命令を含む少なくとも1つのメモリデバイスと、
該コンピュータリソースサービスと通信するように構成されるネットワークインターフェースであって、該コンピュータリソースサービスはコンピュータシステムを備える、ネットワークインターフェースと、
少なくとも1つのメモリデバイス及びネットワークインターフェースに連結され、
該コンピュータリソースサービスの該性能を試験する基になるコンピュータシステムのセットを決定することであって、該コンピュータシステムの該セット内の各コンピュータシステムは、該コンピュータシステムの場所分布及び該コンピュータシステムのコンピュータリソースの差異のうちの少なくとも1つを代表して表す、決定することと、
該コンピュータシステムの該セット内の各コンピュータシステム上で、少なくとも1つの仮想マシンを始動することと、
該ネットワークインターフェースを介して、コンピュータシステムの該セット内の各コンピュータシステム上で実行している該少なくとも1つの仮想マシンの性能メトリックを監視することと、
コンピュータ可読記憶媒体に該性能メトリックを記憶することと、を含む方法を実施する命令を実行するように構成される、少なくとも1つのプロセッサと、を備える、システム。
16.該少なくとも1つのプロセッサは、
該コンピュータシステムの該セット内の各コンピュータシステム上の該少なくとも1つの仮想マシン上に、監視エージェントをインストールすることと、
該ネットワークインターフェースを介して、該監視エージェントから該性能メトリックの一部を受信することと、をさらに含む該方法を実施する該命令を実行するようにさらに構成される、条項15のシステム。
17.該監視エージェントは、該少なくとも1つの仮想マシン上で実行して、プロセッサ性能、メモリ性能、入力/出力性能、及びネットワーク通信性能のうちの少なくとも1つを含む該性能メトリックを収集する命令を含む、条項16のシステム。
18.該少なくとも1つのプロセッサは、
該性能メトリックに少なくとも部分的に基づいて、利用可能なコンピュータリソースを有する該コンピュータシステムのうちの1つを決定することと、
既存の仮想マシンを該コンピュータシステムのうちの該1つに移行することと、をさらに含む該方法を実施する該命令を実行するようにさらに構成される、条項15のシステム。
19.該少なくとも1つのプロセッサは、
該性能メトリックに少なくとも部分的に基づいて、アップグレードを必要とする該コンピュータシステムのうちの1つを決定することと、
該必要とされるアップグレードの通知を提供することと、をさらに含む該方法を実施する該命令を実行するようにさらに構成される、条項15のシステム。
20.該少なくとも1つのプロセッサは、
該ネットワークインターフェースを介して、該性能メトリックのセットを提供する要求を受信することと、
該要求に少なくとも部分的に基づいて、該コンピュータ可読記憶媒体に記憶された該性能メトリックから該性能メトリックの該セットを取り出すことと、
該ネットワークインターフェースを介して、性能メトリックの該セットを該要求の発信元に提供することと、をさらに含む該方法を実施する該命令を実行するようにさらに構成される、条項15のシステム。
21.該少なくとも1つのプロセッサは、
該コンピュータリソースサービス内で仮想マシンを始動する要求を受信することと、
該性能メトリックに少なくとも部分的に基づいて、該仮想マシンを始動する基になる少なくとも1つのコンピュータシステムを該コンピュータシステムから決定することと、をさらに含む該方法を実施する該命令を実行するようにさらに構成される、条項15のシステム。
22.該コンピュータシステムの第1の部分は、第1の地理的場所に位置し、該コンピュータシステムの第2の部分は、第2の地理的場所に位置し、
該コンピュータシステムの該セットは、第1の部分からの少なくとも1つのコンピュータシステムと、該第2の部分からの少なくとも1つのコンピュータシステムとを含む、条項15のシステム。
23.該少なくとも1つのプロセッサは、
該コンピュータシステムの該セット内の各コンピュータシステム上で、少なくとも1つの追加の仮想マシンを始動することであって、該少なくとも1つの追加の仮想マシンは、該少なくとも1つの仮想マシンとは異なる構成を有する、始動することと、
コンピュータシステムの該セット内の各コンピュータシステム上で実行している該少なくとも1つの追加の仮想マシンの追加の性能メトリックを監視することと、
該追加の性能メトリックの記録を記憶することと、をさらに含む該方法を実施する該命令を実行するようにさらに構成される、条項15のシステム。
本開示の実施形態はまた、以下の条項を考慮して説明することもできる。
1.1つ以上のプロセッサにコンピュータリソースサービスの性能を評価させるための方法を実施させるための命令を記憶する非一時的コンピュータ可読記憶媒体であって、該方法は、
該コンピュータリソースサービスに関連付けられる性能メトリックに関する要求に含まれるための1つ以上のフィルタを受信することであって、該1つ以上のフィルタは、該要求に応答して性能メトリックのうちのどれを提供すべきかを決定するために使用される1つ以上のパラメータを含む、受信することと
ネットワークを介して、該コンピュータリソースサービスのコンピュータシステム上で実行している試験仮想マシンの該性能メトリックを監視しているシステムに、該要求を送信することと、
該ネットワークを介して、該1つ以上のフィルタによって決定される該性能メトリックのセットを含む応答を受信することであって、性能メトリックの該セットは、該試験仮想マシンの構成に関連付けられる性能メトリックを含む、受信することと、
性能メトリックの該セットに少なくとも部分的に基づいて、該試験仮想マシンの該構成から構成を決定することと、
該構成に従って、該コンピュータリソースサービス内で仮想マシンを始動することと、を含む、非一時的コンピュータ可読記憶媒体。
2.該1つ以上のパラメータは、該コンピュータリソースサービスの該コンピュータシステムの場所、該コンピュータリソースサービスの該コンピュータシステムの構成、該試験仮想マシンの該構成、該試験仮想マシンによって実施されるベンチマーク試験、性能メトリックの種類、日付、時間、該性能メトリックに関連付けられる統計値のうちの少なくとも1つを含む、条項1の非一時的コンピュータ可読記憶媒体。
3.該試験仮想マシンの該構成から該構成を決定することは、
該仮想マシンの所望の性能を決定することと、
該所望の性能を、性能メトリックの該セットと比較することと、
該比較に少なくとも部分的に基づいて、該試験仮想マシンの該構成を決定することと、を含む、条項1の非一時的コンピュータ可読記憶媒体。
4.該方法は、
性能メトリックの該セットに少なくとも部分的に基づいて、該仮想マシンを始動する基になる少なくとも1つのコンピュータシステムを該コンピュータシステムから決定することをさらに含む、条項1の非一時的コンピュータ可読記憶媒体。
5.該方法は、
性能メトリックの該セットに少なくとも部分的に基づいて、該仮想マシンを始動するための該コンピュータシステムの少なくとも1つの場所を決定することをさらに含む、条項1の非一時的コンピュータ可読記憶媒体。
6.コンピュータリソースサービスの性能評価するためのコンピュータ実装方法であって、
ネットワークインターフェースを介して、該コンピュータリソースサービスの性能に関する要求を受信することであって、該要求は、該要求に応答して提供するための性能メトリックを決定するために使用される1つ以上のパラメータを含む、受信することと、
該1つ以上のパラメータに少なくとも部分的に基づいて、該性能メトリックのセットを決定することであって、該性能メトリックの該セットは、該コンピュータリソースサービス内のコンピュータシステムの場所分布及び該コンピュータシステムの該コンピュータリソースの差異のうちの少なくとも1つを代表して表す、決定することと、
該ネットワークインターフェースを介して、該性能メトリックの該セットを含む応答を送信することと、を含む、コンピュータ実装方法。
7.該コンピュータリソースサービスの該コンピュータシステム上で実行している試験仮想マシンから該性能メトリックを決定することをさらに含む、条項6のコンピュータ実装方法。
8.該応答の送信に応答して、性能メトリックの該セットに関連付けられる少なくとも1つのコンピュータシステム上で少なくとも1つの仮想マシンを始動する要求を受信することをさらに含む、条項6のコンピュータ実装方法。
9.該ネットワークインターフェースは、ウェブサービスインターフェースである、条項6のコンピュータ実装方法。
10.該1つ以上のパラメータは、該コンピュータリソースサービスの該コンピュータシステムの場所、該コンピュータリソースサービスの該コンピュータシステムの構成、該試験仮想マシンの該構成、該試験仮想マシンによって実施されるベンチマーク試験、性能メトリックの種類、日付、時間、該性能メトリックに関連付けられる統計値のうちの少なくとも1つを含む、条項6のコンピュータ実装方法。
11.コンピュータリソースサービスの性能を評価するためのコンピュータ実装方法であって、
ネットワークインターフェースを介して、該コンピュータリソースサービスの性能に関する要求を提供することであって、該要求は、該要求に応答して提供するための性能メトリックを決定するために使用される1つ以上のパラメータを含む、受信することと、
該性能メトリックのセットを受信することであって、該性能メトリックの該セットは、該コンピュータリソースサービス内のコンピュータシステムの場所分布及び該コンピュータシステムの該コンピュータリソースの差異のうちの少なくとも1つを代表して表す、受信することと、
性能メトリックの該セットに少なくとも部分的に基づいて、該コンピュータリソースサービスに関連付けられる動作を実施することと、を含む、コンピュータ実装方法。
12.該動作を実施することは、
該コンピュータリソースサービスの該コンピュータシステムから第1のコンピュータシステム及び第2のコンピュータシステムを決定することであって、該第1のコンピュータシステムは、第1の場所に位置し、該第2のコンピュータシステムは、第2の場所に位置する、決定することと、
性能メトリックの該セットに少なくとも部分的に基づいて、該第1のコンピュータシステムが所望の性能で動作していることを決定することと、
該第1のコンピュータシステムのうちの少なくとも1つ上で少なくとも1つの仮想マシンを始動することと、を含む、条項11のコンピュータ実装方法。
13.該動作を実施することは、
該コンピュータリソースサービスの該コンピュータシステムから第1のコンピュータシステム及び第2のコンピュータシステムを決定することであって、該第1のコンピュータシステムは、第1の構成を含み、該第2のコンピュータシステムは、第2の構成を含む、決定することと、
性能メトリックの該セットに少なくとも部分的に基づいて、該第1のコンピュータシステムが所望の性能で動作していることを決定することと、
該第1のコンピュータシステムのうちの少なくとも1つ上で少なくとも1つの仮想マシンを始動することと、を含む、条項11のコンピュータ実装方法。
14.該動作を実施することは、
該試験仮想マシンの第1の構成及び該試験仮想マシンの第2の構成を決定することと、
性能メトリックの該セットに少なくとも部分的に基づいて、該第1の構成が所望の性能で動作していることを決定することと、
該第1の構成に従って、該コンピュータシステム上で少なくとも1つの仮想マシンを始動することと、を含む、条項11のコンピュータ実装方法。
15.該動作を実施することは、
該性能メトリックの該セットに少なくとも部分的に基づいて、利用可能なコンピュータリソースを有する該コンピュータシステムのうちの1つを決定することと、
既存の仮想マシンを該コンピュータシステムのうちの該1つに移行することと、を含む、条項11のコンピュータ実装方法。
16.コンピュータリソースサービスの性能を評価するためのシステムであって、
命令を含む少なくとも1つのメモリデバイスと、
表示デバイスと、
少なくとも1つのメモリデバイス及び該表示デバイスに連結され、
該コンピュータリソースサービスの性能に関する要求を送信することであって、該要求は、該要求に応答して性能メトリックのうちのどれを提供すべきかを決定するために使用される1つ以上のパラメータを含む、送信することと、
該1つ以上のパラメータによって決定される該性能メトリックのセットを含む応答を受信することと、
該表示デバイスを介して、性能メトリックの該セットの一部を出力することと、を含む方法を実施する該命令を実行するように構成される、少なくとも1つのプロセッサと、を備える、該システム。
17.該少なくとも1つのプロセッサに連結される入力デバイスをさらに備え、該入力デバイスは、該1つ以上のパラメータを受信する、条項16のシステム。
18.該性能メトリックを監視しているシステムと通信するように構成されるネットワークデバイスをさらに備え、該要求は、ウェブサービスプロトコルを介して、該システムに送信される、条項16のシステム。
19.該コンピュータリソースサービスのコンピュータシステムと通信するように構成されるネットワークデバイスをさらに備え、該少なくとも1つのプロセッサは、該性能メトリックを監視するように構成される、条項16のシステム。
20.該コンピュータリソースサービスのコンピュータシステムと通信するように構成されるネットワークデバイスをさらに備え、該少なくとも1つのプロセッサは、監視エージェントと通信し、該ネットワークデバイスを介して、該監視エージェントから該性能メトリックの一部を収集するように構成される、条項16のシステム。
21.該少なくとも1つのプロセッサは、
該試験仮想マシンの第1の構成及び該試験仮想マシンの第2の構成を決定することと、
性能メトリックの該セットに少なくとも部分的に基づいて、該第1の構成が所望の性能で動作していることを決定することと、
該第1の構成に従って、該コンピュータシステム上で少なくとも1つの仮想マシンを始動することと、をさらに含む該方法を実施する命令を実行するように構成される、条項16のシステム。

上に説明される特定の実装形態は、コンピュータアプリケーションまたはプログラムとして実施することができる。コンピュータプログラムは、アクティブ及び非アクティブの両方の種々の形式で存在することができる。例えば、コンピュータプログラムは、ソースコード、オブジェクトコード、実行可能なコードもしくは他のフォーマットのプログラム命令から成り得る、1つ以上のソフトウェアプログラム、ソフトウェアモジュール、もしくはその両方、ファームウェアプログラム(単数または複数)、またはハードウェア記述言語(HDL)ファイルとして存在することができる。上記のいずれも、コンピュータ可読記憶デバイス及び媒体を含むコンピュータ可読媒体ならびに信号上に、圧縮または非圧縮形式で具現化することができる。コンピュータ可読記憶デバイス及び媒体の例としては、従来のコンピュータシステムRAM(ランダムアクセスメモリ)、ROM(読み取り専用メモリ)、EPROM(消去可能なプログラム可能ROM)、EEPROM(電気的に消去可能なプログラム可能ROM)、及び磁気または光ディスクまたはテープが挙げられる。コンピュータ可読信号の例は、キャリアを使用して変調されているかいないかにかかわらず、本教示をホストまたは起動しているコンピュータシステムが、アクセスするように構成され得る信号であり、インターネットまたは他のネットワークを通じてダウンロードされる信号を含む。前述のものの具体的な例としては、CD−ROM上での、またはインターネットでのダウンロードを介した、コンピュータプログラムの実行可能なソフトウェアプログラム(単数または複数)の配布が挙げられる。ある意味では、インターネットはそれ自体、抽象的実体としてコンピュータ可読媒体である。コンピュータネットワークに関しても、概して同じことが言える。

本教示を、それらの実装形態の実施例を参照して説明してきたが、当業者は、その真の趣旨及び範囲から逸脱することなく、説明される実装形態に種々の修正を行うことができるであろう。本明細書で使用される用語及び説明は、単に例示のために記載され、限定を意味するものではない。具体的には、本方法は実施例によって説明されているが、本方法のステップは、例示される順序とは異なる順序で、または同時に実施することができる。さらに、「含む」、「含む」、「有する」、「有する」、「を伴う」という用語、またはそれらの変形語が、発明を実施するための形態か特許請求の範囲かのいずれかで使用される範囲において、かかる用語は、「備える」という用語と同様の様式で、包含的であることを意図される。本明細書で使用されるとき、例えば、A及びBなどの項目の列挙に関して、「のうちの1つ以上」及び「のうちの少なくとも1つ」という用語は、A単独、B単独、またはA及びBを意味する。さらに、別段に指定のない限り、「セット」という用語は、「1つ以上」として解釈されるべきである。また、「連結する(couple)」または「連結する(couples)」という用語は、間接的接続かまたは直接的接続かのいずれかを意味することが意図される。したがって、第1のデバイスが第2のデバイスに連結する場合、その接続は、直接的接続を通じてもよく、または他のデバイス、構成要素、及び接続を介した間接的接続を通じてもよい。

単純化及び例示の目的のために、本教示の原理は、主にその種々の実装形態の実施例を参照することによって上記に説明される。しかしながら、当業者は、同一の原理が多数の異なる種類の情報及びシステムに等しく適用可能であり、また多数の異なる種類の情報及びシステムに実装され得ること、及び任意のかかる変形は本教示の真の趣旨及び範囲から逸脱しないことを容易に認識するであろう。さらに、前述の発明を実施するための形態では、添付の図面への参照がなされており、それは、種々の実装形態の特定の実施例を例示する。電気的、機械的、論理的、及び構造的変更を、本教示の趣旨及び範囲から逸脱することなく、種々の実装形態の実施例に行うことができる。したがって、前述の発明を実施するための形態は限定的な意味で解釈されるべきではなく、本教示の範囲は、添付の特許請求の範囲及びそれらの均等物によって定義される。

Claims (15)

  1. コンピュータリソースサービスの性能を決定するためのコンピュータ実装方法であって、
    前記コンピュータリソースサービスの前記性能を試験する基になるコンピュータシステムのセットを決定することであって、前記コンピュータシステムの前記セット内の各コンピュータシステムは、前記コンピュータシステムの場所分布及び前記コンピュータシステムの前記コンピュータリソースの差異のうちの少なくとも1つを代表して表す、決定することと、
    前記コンピュータシステムの前記セット内の各コンピュータシステム上で、少なくとも1つの仮想マシンを始動することと、
    プロセッサによって、コンピュータシステムの前記セット内の各コンピュータシステム上で実行している前記少なくとも1つの仮想マシンの性能メトリックを監視することと、
    コンピュータ可読記憶媒体に前記性能メトリックを記憶することと、を含む、前記方法。
  2. 前記コンピュータシステムの前記セット内の各コンピュータシステム上の前記少なくとも1つの仮想マシン上に、監視エージェントをインストールすることであって、前記監視エージェントは、前記性能メトリックの一部を収集し、
    前記性能メトリックを監視することは、前記監視エージェントから性能メトリックの前記一部を受信することを含み、
    前記性能メトリックは、プロセッサ性能、メモリ性能、入力/出力性能、及びネットワーク通信性能のうちの少なくとも1つを含む、インストールすることと、
    前記コンピュータリソースサービス内で仮想マシンを始動する要求を受信することと、
    前記性能メトリックに少なくとも部分的に基づいて、前記仮想マシンを始動する基になる少なくとも1つのコンピュータシステムを前記コンピュータシステムから決定することと、をさらに含む、請求項1に記載のコンピュータ実装方法。
  3. 前記性能メトリックに少なくとも部分的に基づいて、利用可能なコンピュータリソースを有する前記コンピュータシステムのうちの1つを決定することと、
    既存の仮想マシンを前記コンピュータシステムのうちの前記1つに移行することと、
    前記性能メトリックに少なくとも部分的に基づいて、アップグレードを必要とする前記コンピュータシステムのうちの1つを決定することと、
    前記必要とされるアップグレードの通知を提供することと、をさらに含む、請求項1に記載のコンピュータ実装方法。
  4. ウェブサービスプロトコルを介して、前記性能メトリックのセットを提供する要求を受信することと、
    前記要求に少なくとも部分的に基づいて、前記コンピュータ可読記憶媒体に記憶された前記性能メトリックから前記性能メトリックの前記セットを取り出すことと、
    性能メトリックの前記セットを前記要求の発信元に提供することと、をさらに含む、請求項1に記載のコンピュータ実装方法。
  5. 前記コンピュータシステムの第1の部分は、第1の地理的場所に位置し、前記コンピュータシステムの第2の部分は、第2の地理的場所に位置し、
    前記コンピュータシステムの前記セットは、第1の部分からの少なくとも1つのコンピュータシステムと前記第2の部分からの少なくとも1つのコンピュータシステムとを含み、
    前記コンピュータシステムの前記セット内の各コンピュータシステム上で、少なくとも1つの追加の仮想マシンを始動し、前記少なくとも1つの追加の仮想マシンは、前記少なくとも1つの仮想マシンとは異なる構成を有し、
    前記プロセッサによって、コンピュータシステムの前記セット内の各コンピュータシステム上で実行している前記少なくとも1つの追加の仮想マシンの追加の性能メトリックを監視し、
    コンピュータ可読記憶媒体上に、前記追加の性能メトリックを記憶する、請求項1に記載のコンピュータ実装方法。
  6. コンピュータリソースサービスの性能を決定するためのシステムであって、
    命令を含む少なくとも1つのメモリデバイスと、
    前記コンピュータリソースサービスと通信するように構成されるネットワークインターフェースであって、前記コンピュータリソースサービスはコンピュータシステムを備える、ネットワークインターフェースと、
    少なくとも1つのメモリデバイス及びネットワークインターフェースに連結され、
    前記コンピュータリソースサービスの前記性能を試験する基になるコンピュータシステムのセットを決定することであって、前記コンピュータシステムの前記セット内の各コンピュータシステムは、前記コンピュータシステムの場所分布及び前記コンピュータシステムのコンピュータリソースの差異のうちの少なくとも1つを代表して表す、決定することと、
    前記コンピュータシステムの前記セット内の各コンピュータシステム上で、少なくとも1つの仮想マシンを始動することと、
    前記ネットワークインターフェースを介して、コンピュータシステムの前記セット内の各コンピュータシステム上で実行している前記少なくとも1つの仮想マシンの性能メトリックを監視することと、
    コンピュータ可読記憶媒体に前記性能メトリックを記憶することと、を含む方法を実施する命令を実行するように構成される、少なくとも1つのプロセッサと、を備える、前記システム。
  7. 前記少なくとも1つのプロセッサは、
    前記コンピュータシステムの前記セット内の各コンピュータシステム上の前記少なくとも1つの仮想マシン上に、監視エージェントをインストールすることと、
    前記ネットワークインターフェースを介して、前記監視エージェントから前記性能メトリックの一部を受信することと、をさらに含む前記方法を実施する前記命令を実行するようにさらに構成され、
    前記監視エージェントは、前記少なくとも1つの仮想マシン上で実行して、プロセッサ性能、メモリ性能、入力/出力性能、及びネットワーク通信性能のうちの少なくとも1つを含む前記性能メトリックを収集する命令を含む、請求項6に記載のシステム。
  8. 前記少なくとも1つのプロセッサは、
    前記性能メトリックに少なくとも部分的に基づいて、利用可能なコンピュータリソースを有する前記コンピュータシステムのうちの1つを決定することと、
    既存の仮想マシンを前記コンピュータシステムのうちの前記1つに移行することと、をさらに含む前記方法を実施する前記命令を実行するようにさらに構成される、請求項6に記載のシステム。
  9. 前記少なくとも1つのプロセッサは、
    前記性能メトリックに少なくとも部分的に基づいて、アップグレードを必要とする前記コンピュータシステムのうちの1つを決定することと、
    前記必要とされる更新の通知を提供することと、
    前記コンピュータリソースサービス内の仮想マシンを始動する要求を受信することと、
    前記性能メトリックに少なくとも部分的に基づいて、前記仮想マシンを始動する基になる少なくとも1つのコンピュータシステムを前記コンピュータシステムから決定することと、をさらに含む前記方法を実施する前記命令を実行するようにさらに構成される、請求項6に記載のシステム。
  10. 前記コンピュータシステムの第1の部分は、第1の地理的場所に位置し、前記コンピュータシステムの第2の部分は、第2の地理的場所に位置し、
    前記コンピュータシステムの前記セットは、第1の部分からの少なくとも1つのコンピュータシステムと、前記第2の部分からの少なくとも1つのコンピュータシステムとを含む、請求項6に記載のシステム。
  11. 前記少なくとも1つのプロセッサは、
    前記コンピュータシステムの前記セット内の各コンピュータシステム上で、少なくとも1つの追加の仮想マシンを始動することであって、前記少なくとも1つの追加の仮想マシンは、前記少なくとも1つの仮想マシンとは異なる構成を有する、始動することと、
    コンピュータシステムの前記セット内の各コンピュータシステム上で実行している前記少なくとも1つの追加の仮想マシンの追加の性能メトリックを監視することと、
    前記追加の性能メトリックの記録を記憶することと、をさらに含む前記方法を実施する前記命令を実行するようにさらに構成される、請求項6に記載のシステム。
  12. コンピュータリソースサービスの性能を評価するためのコンピュータ実装方法であって、
    ネットワークインターフェースを介して、前記コンピュータリソースサービスの性能に関する要求を受信することであって、前記要求は、前記要求に応答して提供するための性能メトリックを決定するために使用される1つ以上のパラメータを含む、受信することと、
    前記1つ以上のパラメータに少なくとも部分的に基づいて、前記性能メトリックのセットを決定することであって、前記性能メトリックの前記セットは、前記コンピュータリソースサービス内のコンピュータシステムの場所分布及び前記コンピュータシステムの前記コンピュータリソースの差異のうちの少なくとも1つを代表して表す、決定することと、
    前記ネットワークインターフェースを介して、前記性能メトリックの前記セットを含む応答を送信することと、を含む、前記コンピュータ実装方法。
  13. 前記コンピュータリソースサービスの前記コンピュータシステム上で実行している試験仮想マシンから前記性能メトリックを決定することと、
    前記応答の送信に応答して、性能メトリックの前記セットに関連付けられる少なくとも1つのコンピュータシステム上で少なくとも1つの仮想マシンを始動する要求を受信することと、をさらに含み、
    前記1つ以上のパラメータは、前記コンピュータリソースサービスの前記コンピュータシステムの場所、前記コンピュータリソースサービスの前記コンピュータシステムの構成、前記試験仮想マシンの前記構成、前記試験仮想マシンによって実施されるベンチマーク試験、性能メトリックの種類、日付、時間、前記性能メトリックに関連付けられる統計値のうちの少なくとも1つを含む、請求項12に記載のコンピュータ実装方法。
  14. コンピュータリソースサービスの性能を評価するためのシステムであって、
    命令を含む少なくとも1つのメモリデバイスと、
    表示デバイスと、
    少なくとも1つのメモリデバイス及び前記表示デバイスに連結され、
    前記コンピュータリソースサービスの性能に関する要求を送信することであって、前記要求は、前記要求に応答して性能メトリックのうちのどれを提供すべきかを決定するために使用される1つ以上のパラメータを含む、送信することと、
    前記1つ以上のパラメータによって決定される前記性能メトリックのセットを含む応答を受信することと、
    前記表示デバイスを介して、性能メトリックの前記セットの一部を出力することと、を含む方法を実施する前記命令を実行するように構成される、少なくとも1つのプロセッサと、を備える、前記システム。
  15. 前記性能メトリックを監視しているシステムと通信するように構成されるネットワークデバイスであって、前記要求は、ウェブサービスプロトコルを介して前記システムに送信される、ネットワークデバイスと、
    前記コンピュータリソースサービスのコンピュータシステムと通信するように構成されるネットワークデバイスと、をさらに備え、前記少なくとも1つのプロセッサは、監視エージェントと通信し、前記ネットワークデバイスを介して、前記性能メトリックの一部を前記監視エージェントから収集するように構成され、
    前記試験仮想マシンの第1の構成及び前記試験仮想マシンの第2の構成を決定することと、
    性能メトリックの前記セットに少なくとも部分的に基づいて、前記第1の構成が所望の性能で動作していることを決定することと、
    前記第1の構成に従って、前記コンピュータシステム上で少なくとも1つの仮想マシンを始動することと、をさらに含む、請求項14に記載のシステム。
JP2017194858A 2013-05-21 2017-10-05 コンピュータリソースサービスの性能能力の決定及び監視 Active JP6530462B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/899,407 2013-05-21
US13/899,449 US9584364B2 (en) 2013-05-21 2013-05-21 Reporting performance capabilities of a computer resource service
US13/899,407 US9384115B2 (en) 2013-05-21 2013-05-21 Determining and monitoring performance capabilities of a computer resource service
US13/899,449 2013-05-21

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016515005 Division 2014-05-20

Publications (2)

Publication Number Publication Date
JP2018022520A true JP2018022520A (ja) 2018-02-08
JP6530462B2 JP6530462B2 (ja) 2019-06-12

Family

ID=56560626

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016515005A Active JP6224824B2 (ja) 2013-05-21 2014-05-20 コンピュータリソースサービスの性能能力の決定及び監視
JP2017194858A Active JP6530462B2 (ja) 2013-05-21 2017-10-05 コンピュータリソースサービスの性能能力の決定及び監視

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016515005A Active JP6224824B2 (ja) 2013-05-21 2014-05-20 コンピュータリソースサービスの性能能力の決定及び監視

Country Status (5)

Country Link
US (2) US9584364B2 (ja)
EP (1) EP3000040B1 (ja)
JP (2) JP6224824B2 (ja)
CN (2) CN108182140A (ja)
WO (1) WO2014189899A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9817864B1 (en) * 2013-06-13 2017-11-14 Amazon Technologies, Inc. Flexible pivot querying of monitoring data with zero setup
US9542294B2 (en) * 2013-07-09 2017-01-10 International Business Machines Corporation Method to apply perturbation for resource bottleneck detection and capacity planning
US10606726B2 (en) 2013-08-16 2020-03-31 Keysight Technologies Singapore (Sales) Pte. Ltd. Methods, systems and computer readable media for performing benchmark reference testing of data center and network equipment
US9811435B2 (en) 2013-09-03 2017-11-07 Cisco Technology, Inc. System for virtual machine risk monitoring
US9509759B2 (en) * 2013-09-09 2016-11-29 International Business Machines Corporation Service agreement performance validation in a cloud hosted environment
GB2518151A (en) 2013-09-11 2015-03-18 Ibm Network anomaly detection
US9246840B2 (en) 2013-12-13 2016-01-26 International Business Machines Corporation Dynamically move heterogeneous cloud resources based on workload analysis
US9495238B2 (en) 2013-12-13 2016-11-15 International Business Machines Corporation Fractional reserve high availability using cloud command interception
US10069753B2 (en) * 2014-03-17 2018-09-04 Cloud Physics, Inc. Relationship-based resource-contention analysis system and method
US20150324724A1 (en) * 2014-05-06 2015-11-12 International Business Machines Corporation Benchmarking performance of a service organization
US10515000B2 (en) * 2014-08-26 2019-12-24 Cloudy Days, Inc. Systems and methods for performance testing cloud applications from multiple different geographic locations
US10075352B2 (en) * 2014-12-09 2018-09-11 Ca, Inc. Monitoring user terminal applications using performance statistics for combinations of different reported characteristic dimensions and values
US9928151B1 (en) * 2014-12-12 2018-03-27 Amazon Technologies, Inc. Remote device interface for testing computing devices
US9876703B1 (en) * 2014-12-17 2018-01-23 Amazon Technologies, Inc. Computing resource testing
US9824001B2 (en) * 2015-02-09 2017-11-21 Wipro Limited System and method for steady state performance testing of a multiple output software system
US20160283566A1 (en) * 2015-03-27 2016-09-29 Ca, Inc. Analyzing sorted mobile application operational state sequences based on sequence metrics
US9772920B2 (en) * 2015-04-29 2017-09-26 Apollo Education Group, Inc. Dynamic service fault detection and recovery using peer services
US10200261B2 (en) 2015-04-30 2019-02-05 Microsoft Technology Licensing, Llc Multiple-computing-node system job node selection
US20160344657A1 (en) * 2015-05-20 2016-11-24 International Business Machines Corporation PROVIDING PERFORMANCE ALTERNATIVES BASED ON COMPARATIVE PRICE AND PERFORMANCE DATA OF A RUNNING SaaS INSTANCE
US10514994B2 (en) 2015-06-09 2019-12-24 Satori Worldwide, Llc Distributed scalable workload testing
JP2018524693A (ja) * 2015-06-09 2018-08-30 マシーン ゾーン インコーポレイテッド 拡張可能な分散型作業負荷試験
US10362099B2 (en) 2015-06-23 2019-07-23 Amazon Technologies, Inc. Multiple instance types serving a single workload or application
US10374933B2 (en) * 2015-07-31 2019-08-06 Verizon Patent And Licensing Inc. Systems and methods for monitoring operational statuses of network services
US20170060720A1 (en) * 2015-08-27 2017-03-02 Ixia Methods, systems, and computer readable media for vendor-neutral testing and scoring of systems under test
US20190052551A1 (en) * 2016-02-26 2019-02-14 Nokia Solutions And Networks Oy Cloud verification and test automation
US10616064B2 (en) * 2016-03-31 2020-04-07 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Soft reservation techniques and systems for virtualized environments
US20170322827A1 (en) * 2016-05-06 2017-11-09 Nutanix, Inc. Testing and benchmarking for enterprise data centers
CN105847088A (zh) * 2016-05-18 2016-08-10 浪潮电子信息产业股份有限公司 一种基于云服务的虚拟机性能测试系统
US10831641B2 (en) * 2016-09-08 2020-11-10 At&T Intellectual Property I, L.P. Method and apparatus for determining a performance impact by a software upgrade of a mobile user endpoint device
US10587459B2 (en) * 2017-02-13 2020-03-10 Citrix Systems, Inc. Computer system providing cloud-based health monitoring features and related methods
CN106951309A (zh) * 2017-04-25 2017-07-14 郑州云海信息技术有限公司 一种虚拟化平台虚拟机计算性能测试的方法及系统
WO2019070269A1 (en) * 2017-10-05 2019-04-11 Hewlett-Packard Development Company, L.P. SELECTING COMPUTER CONFIGURATIONS BASED ON APPLICATION-BASED CONSOLIDATION
US10740094B2 (en) * 2018-07-03 2020-08-11 Servicenow, Inc. Performance monitoring of system version releases
US10585775B2 (en) * 2018-07-24 2020-03-10 Vmware, Inc. Machine learning system for workload failover in a converged infrastructure

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011043011A1 (ja) * 2009-10-09 2011-04-14 日本電気株式会社 仮想サーバシステム、その自律制御サーバ、そのデータ処理方法およびコンピュータプログラム
US20120137003A1 (en) * 2010-11-23 2012-05-31 James Michael Ferris Systems and methods for migrating subscribed services from a set of clouds to a second set of clouds
JP2012198631A (ja) * 2011-03-18 2012-10-18 Ntt Data Corp 仮想マシン配置装置、仮想マシン配置方法、仮想マシン配置プログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668944A (en) * 1994-09-06 1997-09-16 International Business Machines Corporation Method and system for providing performance diagnosis of a computer system
KR100772999B1 (ko) * 2002-06-25 2007-11-05 인터내셔널 비지네스 머신즈 코포레이션 분산 환경에서 어플리케이션의 성능을 모니터링하는 방법및 시스템
JP4119239B2 (ja) 2002-12-20 2008-07-16 株式会社日立製作所 計算機資源割当方法、それを実行するための資源管理サーバおよび計算機システム
JP4313336B2 (ja) * 2005-06-03 2009-08-12 株式会社日立製作所 監視システムおよび監視方法
US7694189B2 (en) * 2007-02-28 2010-04-06 Red Hat, Inc. Method and system for remote monitoring subscription service
JP4980792B2 (ja) * 2007-05-22 2012-07-18 株式会社日立製作所 仮想計算機の性能監視方法及びその方法を用いた装置
US8365184B2 (en) * 2007-08-31 2013-01-29 Apple Inc. Multi-core resource utilization planning
US8209687B2 (en) 2007-08-31 2012-06-26 Cirba Inc. Method and system for evaluating virtualized environments
US9294296B2 (en) * 2007-10-31 2016-03-22 Hewlett Packard Enterprise Development Lp Automated test execution in a shared virtualized resource pool
JP4906686B2 (ja) * 2007-11-19 2012-03-28 三菱電機株式会社 仮想マシンサーバサイジング装置及び仮想マシンサーバサイジング方法及び仮想マシンサーバサイジングプログラム
US8175863B1 (en) * 2008-02-13 2012-05-08 Quest Software, Inc. Systems and methods for analyzing performance of virtual environments
US8161479B2 (en) * 2008-06-13 2012-04-17 Microsoft Corporation Synchronizing virtual machine and application life cycles
WO2010039993A2 (en) * 2008-10-01 2010-04-08 Doyenz Incorporated Automation for virtualized it environments
US8046468B2 (en) * 2009-01-26 2011-10-25 Vmware, Inc. Process demand prediction for distributed power and resource management
US9600332B2 (en) * 2009-04-28 2017-03-21 Cisco Technology, Inc. Server load balancing based on virtual utilization, physical utilization, and feedback
US8705513B2 (en) 2009-12-15 2014-04-22 At&T Intellectual Property I, L.P. Methods and apparatus to communicatively couple virtual private networks to virtual machines within distributive computing networks
US8645529B2 (en) 2010-10-06 2014-02-04 Infosys Limited Automated service level management of applications in cloud computing environment
WO2012046386A1 (ja) * 2010-10-07 2012-04-12 日本電気株式会社 サーバシステム、管理装置、サーバ管理方法、およびプログラム
US8856783B2 (en) 2010-10-12 2014-10-07 Citrix Systems, Inc. Allocating virtual machines according to user-specific virtual machine metrics
CN101986274B (zh) * 2010-11-11 2012-10-03 东软集团股份有限公司 一种私有云环境下资源调配系统及资源调配方法
US9736252B2 (en) 2010-11-23 2017-08-15 Red Hat, Inc. Migrating subscribed services in a cloud deployment
US8738972B1 (en) * 2011-02-04 2014-05-27 Dell Software Inc. Systems and methods for real-time monitoring of virtualized environments
US9021473B2 (en) * 2011-03-14 2015-04-28 International Business Machines Corporation Hardware characterization in virtual environments
US8806484B2 (en) 2011-04-18 2014-08-12 Vmware, Inc. Host selection for virtual machine placement
TWI476586B (zh) * 2011-07-13 2015-03-11 Inst Information Industry 以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體
US8732302B2 (en) * 2011-07-15 2014-05-20 Inetco Systems Limited Method and system for monitoring performance of an application system
US8793535B2 (en) * 2011-07-21 2014-07-29 Microsoft Corporation Optimizing system usage when running quality tests in a virtual machine environment
WO2013027332A1 (ja) * 2011-08-25 2013-02-28 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
US9781205B2 (en) * 2011-09-12 2017-10-03 Microsoft Technology Licensing, Llc Coordination engine for cloud selection
US20150040017A1 (en) * 2011-10-27 2015-02-05 Fergus Roche Generating a visual representation
CN102567203B (zh) * 2011-12-28 2015-09-23 创新科软件技术(深圳)有限公司 一种测试分布式文件系统性能的方法及系统
US9323628B2 (en) * 2012-10-09 2016-04-26 Dh2I Company Instance level server application monitoring, load balancing, and resource allocation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011043011A1 (ja) * 2009-10-09 2011-04-14 日本電気株式会社 仮想サーバシステム、その自律制御サーバ、そのデータ処理方法およびコンピュータプログラム
US20120137003A1 (en) * 2010-11-23 2012-05-31 James Michael Ferris Systems and methods for migrating subscribed services from a set of clouds to a second set of clouds
JP2012198631A (ja) * 2011-03-18 2012-10-18 Ntt Data Corp 仮想マシン配置装置、仮想マシン配置方法、仮想マシン配置プログラム

Also Published As

Publication number Publication date
WO2014189899A1 (en) 2014-11-27
US9584364B2 (en) 2017-02-28
US9384115B2 (en) 2016-07-05
US20140351394A1 (en) 2014-11-27
CN108182140A (zh) 2018-06-19
EP3000040B1 (en) 2018-07-18
EP3000040A4 (en) 2017-01-18
CN105308576A (zh) 2016-02-03
CN105308576B (zh) 2018-03-13
JP6530462B2 (ja) 2019-06-12
JP2016522947A (ja) 2016-08-04
JP6224824B2 (ja) 2017-11-01
EP3000040A1 (en) 2016-03-30
US20140351412A1 (en) 2014-11-27

Similar Documents

Publication Publication Date Title
US9654928B2 (en) Tracking information technology (IT) assets
US20190230047A1 (en) Intent-Based Services Orchestration
US9942105B2 (en) Animated globe showing real-time web user performance measurements
US9246773B2 (en) System, method, and graphical user interface for application topology mapping in hosted computing environments
US9720569B2 (en) Cloud-based custom metric/timer definitions and real-time analytics of mobile applications
CN106664321B (zh) 基于放置策略的计算资源分配
US10462002B2 (en) Automatically determining requirements for provisioning a hosted computing environment
US9276959B2 (en) Client-configurable security options for data streams
US10177999B2 (en) System and method for real-time visualization of website performance data
US9244704B2 (en) System and method for transforming legacy desktop environments to a virtualized desktop model
US10452514B2 (en) Monitoring and analysis of operating states in a computing environment
US9794135B2 (en) Managed service for acquisition, storage and consumption of large-scale data streams
US9356883B1 (en) Allocating cloud-hosted application resources using end-user metrics
JP5980335B2 (ja) 仮想計算機システム、管理計算機及び仮想計算機管理方法
KR101782302B1 (ko) 네트워크에서의 검색가능 데이터에 대한 인덱스 구성
US20160140022A1 (en) Dynamic provisioning of a virtual test environment
US20170244626A1 (en) Device and settings management platform
US9961129B2 (en) Business transaction correlation with client request monitoring data
US8547379B2 (en) Systems, methods, and media for generating multidimensional heat maps
US8887056B2 (en) System and method for configuring cloud computing systems
US9152532B2 (en) System and method for configuring a cloud computing system with a synthetic test workload
US20150134626A1 (en) Partition-based data stream processing framework
JP2020536319A (ja) コンテナのグループの動的マイグレーション
US8595722B2 (en) Preprovisioning virtual machines based on request frequency and current network configuration
US8245140B2 (en) Visualization and consolidation of virtual machines in a virtualized data center

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190516

R150 Certificate of patent or registration of utility model

Ref document number: 6530462

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150