JP2016119064A

JP2016119064A - エンドツーエンドデータセンタ性能制御

Info

Publication number: JP2016119064A
Application number: JP2015219437A
Authority: JP
Inventors: ジェイ．ハドリッチ、アンドリュー; J Herdrich Andrew; コンノア、パトリック; Connor Patrick; クマール、ディネシュ; Kumar Dinesh; ダブリュ．ミン、アレクサンダー; W Min Alexander; アイエア、ラビシャンカー; Ravishankar Iyer; ジェィ．ダール、ダニエル; J Dahle Daniel; ソード、カピル; Kapil Sood; ビー．シャウ、ジェフリー; B Shaw Jeffrey
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2014-12-23
Filing date: 2015-11-09
Publication date: 2016-06-30
Anticipated expiration: 2035-11-09
Also published as: KR20160076969A; EP3038291B1; US20160182345A1; JP6278320B2; CN105743962A; EP3038291A1; KR101782345B1; US9769050B2

Abstract

【課題】複数のノードのために収集されたサービス品質データに基づきエンドツーエンドデータセンタ性能制御を行う。【解決手段】データセンタ性能目標を受信し、複数のノード１０４から収集されたサービス品質データに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定し、決定されたエンドツーエンドデータセンタ性能レベルのデータセンタ性能目標との比較の結果に少なくとも部分的に基づいてミティゲーションコマンドを送信する。コンピューティングのための装置１００は、１または複数のプロセッサ、メモリ、サービスレベル契約に対応するデータセンタ性能目標を受信するデータセンタ性能モニタ、およびエンドツーエンドデータセンタ性能レベルのデータセンタ性能目標との比較の結果に少なくとも部分的に基づいてミティゲーションコマンドを送信するミティゲーションモジュールを有する。【選択図】図１

Description

本開示は、データ処理分野に関し、具体的には、複数のノードのために収集されたサービス品質データに少なくとも部分的に基づくエンドツーエンドデータセンタ性能制御に関する。

本明細書に提供される背景説明は、概して開示の文脈を提示する目的のためである。本明細書において別途示されない限り、この節に記載の内容は、本願の特許請求の範囲に対する先行技術ではなく、この節に含まれることをもって先行技術であるとは認められない。

データセンタはますます統合化されており、それによりアプリケーション性能の管理において多数の課題をもたらす。任意の特定のプラットフォーム上またはソフトウェアで定義されたネットワーキングまたはネットワーク機能仮想化を使用するような仮想化環境内で共に実行される多数のアプリケーションとの統合環境において、特定のスレッドが以前の既存方法および技術を使用して確認するという性能を予測および制御することは困難であり得る。サーバ統合が増加し、仮想マシン（ＶＭ）が増加するにつれ、データセンタ内の競合ソースが増加している。これらの競合ソースは、コア内の複数のスレッド間、レベル２（Ｌ２）キャッシュ上の複数のスレッド間、オフコア帯域幅の複数のスレッド間、相互接続帯域幅の複数のスレッド間、複数のスレッドと、アクセラレータと、レベル３（Ｌ３）キャッシュ領域および帯域幅のための入／出力（ＩＯ）との間、ＩＯ帯域幅のための複数のスレッドとアクセラレータとの間、および複数の競合アプリケーションとネットワーク経由の複数のフローとの間の競合を含み得る。これらの結合された競合ソースは、特定のワークフローに対する性能予測の困難性を増加させる。これは、アプリケーションのエンドユーザ表示が、クラウドサービスバックエンドインフラストラクチャと通信するスマートフォンアプリケーションの応答時間として考慮される場合、深刻な結果を有し得る。更に、当該複数の結合された競合ソースはまた、ユーザへのウェブサービスの配信における実質的な遅延を引き起こし得、例えば、概してクラウドツークラウドコンピューティング展開のようなデータセンタ内のクラウドサービス供給の認識される性能に影響を及ぼし得る。

複数の実施形態は、添付図面と共に、以下の詳細な説明によって、容易に理解されるであろう。本詳細な説明を容易にすべく、同様の参照番号は同様の構造的要素を指定する。複数の実施形態は限定ではなく例示であり、添付図面の図に示される。

様々な実施形態による、動作環境内のコンピューティングのための装置に係るブロック図である。様々な実施形態による、データセンタのブロック図である。様々な実施形態による、ネットワーク機能仮想化システムのブロック図である。様々な実施形態による、ネットワーク機能仮想化サービスレベル契約監視システムのブロック図である。エンドツーエンドデータセンタ性能制御のための例示的な処理のフロー図である。複数のエンドツーエンドデータセンタ性能制御ノードレべル動作の例示的な処理のフロー図である。様々な実施形態による、本開示の様々な態様を実施するために好適な例示的コンピューティング環境を示す。様々な実施形態による、装置に対し本開示の様々な態様を実施させることを可能にするよう構成された複数の命令を持つ例示的ストレージ媒体を示す。

以下の詳細な説明中、本明細書の一部を形成する添付図面に対する参照がなされる。添付図面中を通して、同様の参照符号は同様の部分を指し、そこでは実施され得る複数の実施形態が例示で示される。複数の他の実施形態が利用されてよく、構造的または論理的変更が、本開示の範囲を逸脱することなく、なされ得ることが理解されるであろう。従って、以下の詳細な説明は限定的意味に解釈されるべきではなく、複数の実施形態の範囲は、添付の特許請求の範囲およびそれらの均等技術によって画される。

様々な動作が複数の別個のアクションまたは動作として記載されてよく、その結果、特許請求の範囲の主題の理解に最も有用な態様となる。しかしながら、説明の順序は、これらの動作が必ず順序に依存することを示唆するものとして解釈されてはならない。特に、これらの動作は、記載の順序で実行されなくてもよい。記載される複数の動作は、記載の実施形態と異なる順序で実行されてもよい。様々な追加の動作が実行されてよく、および／または記載の複数の動作は複数の追加の実施形態において省略されてよい。

本開示の目的のため、「Ａおよび／またはＢ」の文言は、（Ａ）、（Ｂ）または（ＡおよびＢ）を意味する。本開示の目的のため、「Ａ、Ｂ、および／またはＣ」の文言は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）、または（Ａ、ＢおよびＣ）を意味する。

詳細な説明は、「一実施形態において」または「複数の実施形態において」という文言を使用し得、それらはそれぞれ同一または異なる実施形態のうちの１または複数を指してよい。さらに、本開示の複数の実施形態に対し使用される、「備える」、「含む」、「有する」等の用語は、同義語である。

本明細書で使用される「ロジック」および「モジュール」という用語は、１または複数のソフトウェアまたはファームウェアプログラムを実行する、特定用途向け集積回路（ＡＳＩＣ）、電子回路、プロセッサ（共有、専用、またはグループ）および／またはメモリ（共有、専用、またはグループ）、組み合わせロジック回路、および／または記載された機能を提供する他の好適な複数のコンポーネントを指してよく、またはそれらの一部であってよく、あるいはそれらを含んでよい。「モジュール」という用語は、本開示と一貫性のある１または複数の動作を実行するよう、またはその性能をもたらすよう構成されたソフトウェア、ファームウェアおよび／または回路を指してよい。ソフトウェアは、複数の非一時的コンピュータ可読ストレージ媒体上に記録された、ソフトウェアパッケージ、コード、複数の命令、複数の命令セットおよび／またはデータとして具現されてよい。ファームウェアは、複数のメモリデバイス内にハードコードされた（例えば、不揮発性の）コード、複数の命令または複数の命令セットおよび／またはデータとして具現されてよい。本明細書の任意の実施形態で使用される「回路」は例えば、ハードワイヤード回路、１または複数の個別の命令処理コアを含む複数のコンピュータプロセッサのようなプログラマブル回路、ステートマシン回路、プログラマブル回路によって実行される複数の命令を格納するソフトウェアおよび／またはファームウェアの単体または任意の組み合わせを含んでよい。複数のモジュールはまとめてまたは個々に、コンピューティングデバイスの一部を形成する回路として具現されてよい。本明細書で使用される通り、「プロセッサ」という用語はプロセッサコアであってよい。

ここで図１を見るに、様々な実施形態による、本開示を教示するエンドツーエンドデータセンタ性能制御と組み合わされたコンピューティング１００の装置が示される。図示の通り、装置１００は、中央ポリシーサーバ１０２の制御／オーケストレーション下で、複数のプラットフォームノード１０４を介してコンピューティングを提供すべく、互いにネットワーク１０６経由で連携するよう構成された中央ポリシーサーバ１０２（オーケストレータとも称される）および複数のプラットフォームノード１０４を含む多数のコンポーネント１０２〜１７４を含んでよい。複数の実施形態において、中央ポリシーサーバ１０２は、複数のプラットフォームノード１０４上で実行される複数のワークロード間の複数の競合ソースを検出し、複数のプラットフォームノード１０４上に選択的に配置された複数のサービス品質（ＱｏＳ）監視および強制ハードウェアインストルメンテーションを使用してそれらをミティゲーションする、複数のサービスレベル契約（ＳＬＡ）に従い、データセンタ性能を監視するよう構成されてよい。複数のノード１０４は、様々な実施形態において複数のラックマウントサーバシステムであってよい。複数のＱｏＳ監視および強制ハードウェアインストルメンテーションは、トラフィックに優先度設定するオンダイまたはオフダイＱｏＳハードウェアインストルメンテーションによって提供される複数のメカニズムを含んでよい。複数の実施形態において、複数のＱｏＳハードウェアインストルメンテーションは、キャッシュ占有率監視ハードウェア、複数のキャッシュミス監視カウンタを含み得るラストレベルキャッシュＱｏＳハードウェアインストルメンテーション１５８を含んでよく、どこでデータがキャッシュ内にフィルされるかを制御してよい（例えば複数の統計的限界、または複数のハード容量限界を介して）。様々な実施形態において、複数のＱｏＳハードウェアインストルメンテーションによって提供される複数のＱｏＳ監視メカニズムは、複数のトラフィックフローを競合させることによって様々なシステムリソースの使用に関連するＱｏＳ監視データを提供してよい。複数のＱｏＳインストルメンテーションによって提供される複数のＱｏＳ強制メカニズムは、複数の実施形態における複数の競合トラフィックフローにわたる、複数のシステムリソースの割り当てを提供してよい。

複数の実施形態において、中央ポリシーサーバ１０２は、１または複数のプロセッサまたはプロセッサコア１０８、システムメモリ１１０、データセンタ性能モニタ１１２、および共に連結され得、互いに連携するよう構成され得る１または複数のプロセッサ１０８によって動作される複数のモジュール１１６を含んでよい。複数の実施形態において、データセンタ性能モニタ１１２の一部または全部がモジュール１１６の一部として含まれてよい。複数のプラットフォームノード１０４は、１または複数のプロセッサまたはプロセッサコア１１７、メモリ１１８、および共に連結され得、互いに連携するよう構成され得る１または複数のプロセッサ１１７によって動作されるノード管理モジュール１１９を含んでよい。特許請求の範囲を含む本願の目的において、「プロセッサ」および「プロセッサコア」という用語は、文脈上明確に他のことが要求されていない限り、同義語としてみなされ得る。複数の実施形態において、複数のプラットフォーム要素に関連付けられたＱｏＳインストルメンテーションの複数のタイプに関連する複数の制御は、複数のワークロード、フロー、タスク、または仮想マシンに係る実際の性能に関連する複数の性能目標を監視し、複数のサービスレベル契約（ＳＬＡ）に従う、システム内の当該複数のワークロード、フロー、またはタスクに係る複数の性能要件を維持すべく複数のＱｏＳインストルメンテーション制御を調節するオーケストレータとして動作する中央ポリシーサーバ１０２によって調整されてよい。様々な実施形態において、複数のＳＬＡは動作／秒、ユーザ定義メトリック、応答時間（レイテンシ）、または複数の他の性能測定といった性能目標の形態を取ってよい。複数の実施形態において、当該複数のＳＬＡは、データセンタ管理者または管理ソフトウェアから渡される複数の性能目標に少なくとも部分的に基づいて管理されてよい。

様々な実施形態において、ＳＬＡによって確立された目標未満の性能は、より長いレイテンシ（例えば、目標１５０ｍｓに対し、４００ｍｓ）または、より少ない動作／秒（例えば、目標５００００動作／秒に対し、３００００動作／秒）のような形態を取ってよく、目標を超える性能は、より短いレイテンシ（例えば、目標１５０ｍｓに対し、１００ｍｓ）またはより多い動作／秒（例えば、目標５００００動作／秒に対し、７５０００動作／秒）のような形態を取ってよい。スレッドまたはワークロードの性能レベルを上げるまたは下げるよう、複数のスレッドまたはワークロードと関連付けられたキャッシュ領域および複数のプロセッサコアのような複数のパラメータを増加または低下させることによって複数のワークロードの性能を調整すべく、またその性能レベルを当該スレッドまたはワークロードに関連付けられた目標に近づけるべく、複数のＱｏＳインストルメンテーションが中央ポリシーサーバ１０２によって使用されてよい。複数の実施形態において、キャッシュ領域は単一のキャッシュレベル、複数のキャッシュレベルからなる組み合わせ、またはすべてのキャッシュレベルのために、複数のスレッドまたはワークロードにわたり再分配されてよい。複数の実施形態において、複数のより低優先度のワークロードがそれらの対応する性能目標を満たした場合、高優先度ワークロードは、複数のＱｏＳインストルメンテーションで調整することによって、追加の複数のリソース、またはすべての残りのリソースが付与されてよく、その結果、当該高優先度ワークロードは自身の対応するＳＬＡを超過した場合であっても、向上された性能を受ける。複数の実施形態において、複数のＱｏＳインストルメンテーションで調整することによって、低優先度または中間優先度レベルを有する複数のより低優先度のワークロードは、それらの関連付けられたＳＬＡに従うサービスの保証最小レベルのみに対応する性能レベルが提供されてよく、その結果、複数のより高優先度ワークロードまたはインスタンスは可能な限り高速で実行され得る。複数の実施形態において、スループットのような複数の性能レベルを上げるべく、複数の性能目標が満たされる場合、中央ポリシーサーバ１０２は、追加の複数のリソースを提供してよく、または複数のワークロードおよびリソースの再バランスを取ってよい。複数の実施形態において、実行中のいくつかまたはすべてのワークロード、スレッド、インスタンスがそれぞれの性能目標を満たしている場合であっても、これが最適化または性能最大化処理として発生してよい。

複数の実施形態において、監視または強制のための複数のＱｏＳハードウェアインストルメンテーションは、限定はされないが、ハイパーバイザがアプリケーションおよび仮想マシンの複数のレベルでのラストレベルキャッシュ利用率を監視するのを可能にし得る複数のオンダイプラットフォームＱｏＳ（ＰＱｏＳ）メカニズム、並びにトラフィックフローリソース利用率の監視およびトラフィックに対する優先度設定のために使用されてよい同時マルチスレッディング（ＳＭＴ）ＱｏＳ、キャッシュＱｏＳ、およびメモリＱｏＳを含んでよい。様々な実施形態において、監視および強制のための複数のＱｏＳハードウェアインストルメンテーションは、限定はされないが、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）ＱｏＳ、イーサネット（登録商標）ＱｏＳ、ロングタームエボリューション（ＬＴＥ）ＱｏＳ、進化型ノードＢ（ｅＮＢ）ＱｏＳ、インテル（登録商標）ＱｕｉｃｋＰａｔｈインターコネクト（ＱＰＩ）ＱｏＳ、カイザーテクノロジーインタフェース（ＫＴＩ）ＱｏＳ、インターネットプロトコルバージョン６（ＩＰｖ６）ＱｏＳ、インテル（登録商標）オンチップシステムファブリック（ＩＯＳＦ）ＱｏＳ、通信制御プロトコル（ＴＣＰ）ＱｏＳ、データセンタブリッジング（ＤＣＢ）ＱｏＳ、およびネットワークインタフェースカード（ＮＩＣ）／スイッチ／ネットワークレベルでＱｏＳを監視および強制する多くの他の技術のような複数のオフダイメカニズムを含んでよい。様々な実施形態において、いくつかまたはすべてのＱｏＳまたはＰＱｏＳハードウェアインストルメンテーションは、監視および強制機能のうち一方または両方を提供してよく、例えば、読み取り時にＱｏＳ監視データを提供することによって、またはＱｏＳハードウェアインストルメンテーションのレジスタへの書き込み時若しくは特定のデータを当該ＱｏＳインストルメンテーションに渡す時に、強制メカニズムとしての複数のリソースの割り当てを提供することによって行う。複数の実施形態において、複数のＰＱｏＳハードウェアインストルメンテーションはＬ３キャッシュ監視とＬ３キャッシュ強制、再割り当て、および再分配機能を含んでよい。

概して複数の実施形態において、複数のノード管理モジュール１１９に含まれ得るソフトウェアエージェントは、ローカルノードシステムを監視し、ＱｏＳデータを含むテレメトリをデータセンタオーケストラとして動作してよい中央ポリシーサーバ１０２に提供し、中央ポリシーサーバ１０２から受信された複数の命令、ポリシー、またはコマンドを強制すべく、各ノード１０４上で実行されるよう構成されてよい。ノード管理モジュール１１９は、複数のＱｏＳ監視および強制インストルメンテーション列挙モジュール、競合位置特定モジュール、ミティゲーションモジュール、およびデータ受信および報告モジュールを含んでよい。様々な実施形態において、中央ポリシーサーバ１０２は、複数のリソース割り当て決定（ウェブサーバＶＭにどのくらいの量のキャッシュを付与するか、またはファイアウォールＶＭのためにどのくらいの量のメモリ帯域幅を予約するか等）をなすべく、複数のワークロード、性能目標、ワークロードノードマッピング、およびリソース競合のレベルを分析するデータセンタオーケストラとして動作してよく、これらの決定は、強制のためのこれらのアプリケーションを実行する複数のノード１０４に渡される。中央ポリシーサーバ１０２は、複数のデータセンタ性能レベルおよび複数のシステム管理者またはユーザによって使用されるためのＱｏＳ監視および強制データに基づき、複数のプロット、性能データ、およびテレメトリを生成および格納してよい。中央ポリシーサーバ１０２は、使用中の複数のリソースに対する利用可能な複数のリソース、使用中の複数のアプリケーション、フロー、ＶＭ、およびワークロード、複数のエンドツーエンド性能目標、およびフローの各部分に対する複数の性能バジェットを含むデータセンタのグローバルビューを維持してよく、この情報を使用して、データセンタレベルおよびノードレベルのリソース割り当ての最適化を行ってよい（例えば、フローの途中で、キャッシュ応答型であり、予期される性能レベル未満で実行中のノード上のワークロードに対し、より多くのＬ３キャッシュを割り当てる）。複数の実施形態において、中央ポリシーサーバ１０２は、複数の性能データテーブル（例えば、行×列フォーマットまたはキー値フォーマットとして）も格納してよい。

様々な実施形態において、データセンタ性能モニタ１１２は、複数のノードの複数の性能レベルを監視するノードモニタ１２０および１または複数のプロセッサ１０８によって動作される、集約された性能レベルを決定すべく当該複数のノードの当該複数の性能レベルを集約するノード集約モジュール１２１を含んでよい。複数の実施形態において、複数のモジュール１１６は、データセンタ性能目標に少なくとも部分的に基づいて複数のノードの各々のためのノード性能目標を決定する性能分配モジュール１２２、競合位置特定コマンドを送信し、競合位置特定応答を受信する競合位置特定モジュール１２３、当該競合位置特定応答に少なくとも部分的に基づいてミティゲーションコマンドを送信するミティゲーションモジュール１２４、および１または複数の他のモジュール１２６を含んでよい。複数の実施形態において、競合位置特定モジュール１２３は、最初に競合位置特定コマンドを送信せず、複数のＱｏＳハードウェア監視インストルメンテーションに基づく様々なリソースの競合に関連するデータを複数のノード１０４から定期的に受信してよく、ミティゲーションモジュール１２４はこの定期的に受信されたデータに少なくとも部分的に基づいてミティゲーションコマンドを送信してよい。複数の実施形態において、ミティゲーションコマンドはワークロードに対し、追加のメモリを提供する命令、追加のプロセッサコアを提供する命令、追加のネットワーク帯域幅を提供する命令、追加のメモリ帯域幅を提供する命令、追加のＩＯ帯域幅を十分なサービスを受けていないデバイスに提供する命令、ＳＭＴＱｏＳを使用するスレッド毎の複数の追加のリソースを提供する命令、および追加のキャッシュ領域を提供する命令を含むミティゲーションコマンドの群から選択されるミティゲーションコマンドを含んでよい。複数の実施形態において、どのミティゲーションコマンドを発行するかという決定は、少なくとも１つのモジュール１２２〜１２４および１２６によって実行される複数のアクションに少なくとも部分的に基づいてよい。ワークロードの性能を下げるべく調整が実行される複数の実施形態において、ミティゲーションコマンドはワークロードに対し、より少ないメモリを提供する命令、プロセッサコアを除去する命令、より少ないネットワーク帯域幅を提供する命令、より少ないメモリ帯域幅を提供する命令、より少ないＩＯ帯域幅を過剰なサービスを受けているデバイスに提供する命令、ＳＭＴＱｏＳを使用するスレッド毎のより少ない複数のリソースを提供する命令、およびより少ないキャッシュ領域を提供する命令を含む、ミティゲーションコマンドの群から選択されるミティゲーションコマンドを含んでよい。様々な実施形態において、ミティゲーションコマンドは別のＱｏＳ強制メカニズムを使用する命令も含んでよい。

複数の実施形態において、１または複数のプラットフォームノード１０４は、メモリ、キャッシュ、ストレージ、および複数のインタフェースに、１または複数のプロセッサ１１７と通信することを可能にする相互接続１３２を含んでよい。複数のノード１０４は、様々な実施形態において、ネットワーク経由１０６の当該複数のノード１０４と中央ポリシーサーバ１０２との間の通信を容易にすべく、ネットワークインタフェースカード（ＮＩＣ）１３６とのデータ通信において入／出力（ＩＯ）インタフェース１３４を含んでよい。複数の実施形態において、各ノード１０４は、例えば共有Ｌ２キャッシュ１３８およびＬ３キャッシュのようなラストレベルキャッシュ１４０等の１または複数のキャッシュリソースも含んでよい。複数の実施形態において、各ノード１０４は１または複数の他のレベルのキャッシュ（例えばＬ１、Ｌ４等）も含んでよい。第１のワークロード１４２および第２のワークロード１４４のような１または複数のワークロードまたは仮想マシンは、１または複数のプロセッサ１１７によって動作されてよい。

複数の実施形態において、複数のノード１０４は、複数のサービス品質レベルを監視および強制する多数のメカニズムおよびハードウェアフックを含んでよく、それらにはプロセッサコア内の複数のスレッド間の複数の性能懸念事項を対処する同時マルチスレッディング（ＳＭＴ）ＱｏＳハードウェアインストルメンテーション１５２、共有されたＬ２キャッシュ１３８上の複数のスレッド間の複数の性能懸念事項を対処するＬ２ＱｏＳハードウェアインストルメンテーション１５４、オフコア帯域幅の複数のスレッド間の複数の性能懸念事項を対処する構成可能レートリミッタ１５７と連携してよいＬ２外部帯域幅ＱｏＳハードウェアインストルメンテーション１５６、および複数のラストレベルキャッシュリソースのための複数のスレッド間の複数の性能懸念事項を対処するラストレベルキャッシュＱｏＳハードウェアインストルメンテーション１５８が含まれ得る。複数の実施形態において、複数の高優先度ワークロード１６０が、複数の中間優先度ワークロード１６２より大きな比率の複数のラストレベルキャッシュ１４０リソースを受け、複数の中間優先度ワークロード１６２は次に、複数の低優先度ワークロード１６４より大きな比率の複数のラストレベルキャッシュ１４０リソースを受けるように、複数のラストレベルキャッシュＱｏＳハードウェアインストルメンテーション１５８は、第１のワークロード１４２および第２のワークロード１４４のような複数のワークロードに関連付けられた複数のスレッドへのラストレベルキャッシュ１４０の割り当てを監視および強制する複数のメカニズムを提供してよい。複数の実施形態において、ラストレベルキャッシュ１４０の複数のリソースは、優先度のより高いまたは低いレベルに分類されてよい。様々な実施形態において、ラストレベルキャッシュＱｏＳハードウェアインストルメンテーション１５８は、ラストレベルキャッシュ１４０領域および帯域幅ための複数のスレッド、アクセラレータ、およびＩＯ動作間の複数の性能懸念事項を対処すべく使用されてよい。中央ポリシーサーバ１０２は、どのＱｏＳハードウェアインストルメンテーションが任意の特定のノードで使用するために利用可能かどうか等、各ノード上の複数のハードウェアサポート機能を決定すべく各ノード１０４をクエリできてよい。ノード１０４は、当該クエリに応答して利用可能な複数のＱｏＳハードウェアインストルメンテーションを列挙し、複数のＱｏＳハードウェアインストルメンテーションに対応するデータを含む返信を中央ポリシーサーバ１０２に対し送信し返してよい。様々な実施形態において、このデータは、どの複数のミティゲーションコマンドがどの複数のノードに対し送信されるかを決定する際、中央ポリシーサーバ１０２によって使用されてよい。データセンタは、様々な年代のノード１０４の異種フリートおよび同時に展開される複数のハードウェア機能を含んでよい。そのような異種環境において、中央ポリシーサーバ１０２から複数のノードに送信される複数のコマンドは、任意の特定のノード上で利用可能な複数のハードウェア機能に少なくとも部分的に基づき、ノードによって異なってよい。

複数の実施形態において装置１００は、メモリ１１８およびメモリ１１８と相互接続１３２との間のインタフェースに関連付けられたメモリＱｏＳハードウェアインストルメンテーション１６６、相互接続帯域幅のための複数のスレッド間の複数の性能懸念事項を対処する相互接続１３２に関連付けられた相互接続ＱｏＳハードウェアインストルメンテーション１６８、複数のスレッドとＩＯ帯域幅のためのアクセラレータとの間、並びに複数の競合アプリケーションとネットワーク１０６経由のフローとの間の複数の性能懸念事項を対処するＩＯインタフェース１３４に関連付けられたＩＯＱｏＳハードウェアインストルメンテーション１７０、ＮＩＣ１３６に関連付けられたキューベースのＱｏＳハードウェアインストルメンテーション１７２、およびネットワーク１０６に関連付けられたネットワークＱｏＳハードウェアインストルメンテーション１７４も含んでよい。様々な実施形態においてＰＱｏＳは、１または複数のＱｏＳハードウェアインストルメンテーション監視または強制機能並びに他の複数のＱｏＳハードウェアインストルメンテーションを含んでよい。

ここで図２を参照するに、様々な実施形態による、本開示を教示するエンドツーエンドデータセンタ性能制御と組み合わされたデータセンタ２００のブロック図が示される。本実施形態について、着信データトラフィック２０２は、第１のネットワークインタフェース２０６であってよい入力ポイントを介してパブリックインターネット２０４からデータセンタ２００に入ってよい。複数の実施形態において、発信データトラフィック２０８は、第２のネットワークインタフェース２１０であってよい出力ポイントでデータセンタ２００を出てよい。エンドツーエンドデータセンタレイテンシ（Ｌａｔ‐Ｅ２Ｅ）２１２は、入力ポイントから出力ポイントで測定されてよい。様々な実施形態において、図１を参照して記載される中央ポリシーサーバ１０２のようなオーケストレータであり得るデータセンタモニタ２１４は、データトラフィックをサービスする複数のノードを監視してよい。一例示的構成において、データセンタ２００は、ファイアウォールのような第１のノード２１６、ロードバランサのような第２のノード２１８、動的コンテンツサーバのような第３のノード２２０、メモリ内キャッシュを持つ静的コンテンツサーバのような第４のノード２２２、および動的広告挿入を提供するサーバのような第５のノード２２４を含んでよい。ノード２１６〜２２４の各々は、様々な実施形態において、ノード１０４に関し記載されるような複数のコンポーネントを含んでよい。データセンタモニタ２１４と共に、これらのノード２１６、２１８、２２０、２２２および２２４は、データセンタモニタ２１４が様々なＳＬＡに対応する複数のワークロードに対する複数のデータセンタ性能目標を満たすべく、Ｌａｔ‐Ｅ２Ｅ２１２のようなデータセンタ２００の複数の性能レベルを監視および強制することを可能にすべく互いに連携してよい。

エンドツーエンドデータセンタレイテンシＬａｔ‐Ｅ２Ｅ２１２、または合計データセンタレイテンシはすべてのネットワークおよびコンピューティングレイテンシの合計として計算されてよい。

上記式には反映されていないが、合計データセンタレイテンシの計算は、すべての並列なレイテンシを合計するのではなく、複数の並列処理間の最大レイテンシを使用することで複数の並列処理を考慮する。

図２に示されるデータセンタ２００に関し、複数のネットワークレイテンシはＬａｔＮ^＊で示され、複数のコンピューティングレイテンシはＬａｔＣ^＊で示される。図示の通り、複数のネットワークレイテンシは、第１のネットワークインタフェース２０６と第１のノード２１６との間の第１のネットワークレイテンシＬａｔＮ１２４０、第１のノード２１６と第２のノード２１８との間の第２のネットワークレイテンシＬａｔＮ２２４２、第３のノード２２０に入るトラフィックに関連付けられた、ＬａｔＮ３ａ２３４として示されるネットワークレイテンシ、第４のノード２２２に入るトラフィックに関連付けられた、ＬａｔＮ４ａ２３６として示されるネットワークレイテンシ、第３のノード２２０を出るトラフィックに関連付けられた、ＬａｔＮ３ｂ２３８として示されるネットワークレイテンシ、第４のノード２２２を出るトラフィックに関連付けられたＬａｔＮ４ｂ２４０として示されるネットワークレイテンシ、および第５のノード２２４と第２のネットワークインタフェース２１０との間のＬａｔＮ５２４２として示されるネットワークレイテンシを含む。各ノードに関連付けられた複数のコンピューティングレイテンシはまた、第１のノード２１６から第５のノード２２４にそれぞれ対応するＬａｔＣ１２３０、ＬａｔＣ２２３２、ＬａｔＣ３２３４、ＬａｔＣ４２３６、およびＬａｔＣ５２３８とともに示される。図２に示されるレイテンシに適用されるように、Ｌａｔ‐Ｅ２Ｅ２１２は次のように記述されてよい。

図２を見るに、理解の容易のため上記式は、当該式が第３のノード２２０および第４のノード２２２によって実行される複数の動作が並列的に実行されてよいこと、またはそれらのうちの１つのみがいくつかのフローのために実行されてよいことという可能性を明示的に考慮していないという点で、いく分簡略化されている。複数の実施形態において、エンドツーエンドデータセンタ性能の計算において、第２のノード２１８と第５のノード２２４との間の最大レイテンシ（ｍａｘ（［ＬａｔＮ３ａ＋ＬａｔＣ３＋ＬａｔＮ３ｂ］、［ＬａｔＮ４ａ＋ＬａｔＣ４＋ＬａｔＮ４ｂ］））が、第３のノード２２０と第４のノード２２２とに関連付けられたすべてのレイテンシを合計するのではなく、任意の特定のフローに対し使用されてよい。このような態様でエンドツーエンドデータセンタ性能を見ることによって、複数のエンドツーエンドデータセンタ性能目標は定量化され、分解され、データセンタサービスチェーン内の複数の個別のエージェントに帰属されてよい。複数の実施形態において、データセンタモニタ２１４は、複数のレイテンシのような複数の性能目標をノード毎の複数のコンピューティングバジェットに分解してよく、それにより複数のリソース配分および割り当てを推進してよい。データセンタモニタ２１４は、複数のレイテンシのような複数の性能目標を、各ネットワークセグメント経由でのネットワークレイテンシに関連するネットワーク毎の複数のセグメントバジェットに分解してもよい。例示的ネットワークセグメントは、第１のノード２１６と第２のノード２１８との間に示されるパスであってよく、これらのノードはネットワークセグメントに関連付けられているパスの各端部（ノード２１６、２１８）にある。複数の実施形態において、ネットワークセグメントに関連付けられた１または複数のノードと連携するデータセンタモニタ２１４は、それらが関連付けられた複数のネットワークセグメントに関連する複数のネットワークセグメントバジェットを監視または強制する複数のＱｏＳ監視または強制ハードウェアインストルメンテーションを使用してよい。複数の実施形態において、性能分配モジュール１２２は、複数のレイテンシのような複数の性能目標を、ノード毎の複数のコンピューティングバジェットおよび／またはネットワークセグメント毎の複数のネットワークレイテンシバジェットに分解するこれらの処理内で使用されてよい。

図２に関連する例示としての一例は、ウェブホスティングフローに対し、２５０ミリ秒（ｍｓ）のエンドツーエンドデータセンタレイテンシを要求するＳＬＡを満たすものである。これにより、Ｌａｔ‐Ｅ２Ｅ２１２に対する２５０ｍｓのエンドツーエンドデータセンタ性能目標をもたらす。第１のノード２１６（ファイアウォール）、第２のノード２１８（ロードバランサ）、および第５のノード２２４（動的広告挿入）がそれぞれコンピューティングおよびネットワークの総レイテンシにおいて１０ｍｓを要求する場合、これは、第３のノード２２０（動的コンテンツサーバ）および第４のノード２２２（静的コンテンツサーバ）がそれらの結果を本例のウェブホスティングフローに配信するために、コンピューティングとネットワークの総レイテンシにおいて２２０ｍｓを残す。より低い複数のＳＬＡウェブサイト（例えば、５００ｍｓ）、または１０ｍｓまたはそれより短い応答時間を要求し得るｖｏｉｃｅ−ｏｖｅｒ‐ＩＰ（ＶｏＩＰ）オーディオトラフィックのようなデータセンタ２００内の他の複数のアクティブフローに関連する複数の要件も、キャッシュ領域、ネットワーク帯域幅、レイテンシ、およびメモリ帯域幅並びにスレッド、コア、およびソケットスケジューリング等の複数のリソースに関するデータセンタ２００内のリソース割り当ての決定においてデータセンタモニタ２１４によって考慮されてよい。複数のワークロード優先度、ワークロードキャッシュ、メモリ、コンピューティングおよびＩＯ応答性、およびＱｏＳ監視データと結合されたエンドツーエンドデータセンタ性能目標は、複数のノード上の複数の個別のワークロードのための複数のリソース割り当てを決定すべく、データセンタモニタ２１４によって結合されてよい。

ここで図３を見るに、様々な実施形態に従う本開示を教示するエンドツーエンドデータセンタ性能制御と組み合わされた、ネットワーク機能仮想化（ＮＦＶ）システム３００のブロック図が示される。複数の実施形態において、ＮＦＶ環境は、データセンタモニタ２１４または中央ポリシーサーバ１０２に関して記載された機能およびコンポーネントのうちいくつかまたはすべてを含み得るソフトウェアで定義されたネットワーキング（ＳＤＮ）コントローラ３０２を含んでよい。様々な実施形態において、ＳＤＮコントローラ３０２は、ノード１０４、２１６、２１８、２２０、２２２または２２４に関して記載された機能およびコンポーネントのうちいくつかまたはすべてを含み得るサーバノード３０４とデータ通信してよい。複数の実施形態において、複数のサーバノード３０４は、ＳＤＮコントローラ３０２とデータ通信してよい。ＮＦＶ環境３００は、１または複数のサーバノード３０４に対し、複数のポリシーを分配および強制すべく、ＳＤＮコントローラ３０２と連携するよう構成されたポリシーエンジン３０６も含んでよい。複数の実施形態において、ＳＤＮコントローラ３０２およびポリシーエンジン３０６は、単一のコンピューティングデバイスに含まれてよく、複数のコンピューティングデバイスにわたり分配されてよい。サーバノード３０４は、着信データトラフィック用の第１のＮＩＣ３０８および発信データトラフィック用の第２のＮＩＣ３１０を含んでよい。

高優先度フローおよび低優先度フローの２つのフローが、サーバノード３０４を横切って示される。高優先度フローは、ＮＩＣ３０８を介して入ってよく、その後第１の仮想マシン（ＶＭ）３１４で実行中の第１の仮想化ネットワーク機能（ＶＮＦ）３１２に渡され、次に第２のＶＭ３１８上で実行中の第２のＶＮＦ３１６に渡され、次に第２のＮＩＣ３１０に渡される前に第３のＶＭ３２２上で実行中の第３のＶＮＦ３２０に渡される。同様に、より低い優先度フローは、例えばＮＩＣ３０８を介して入り、第４のＶＭ３３２で実行中の第４のＶＮＦ３３０に渡され、次に第５のＶＭ３３６上で実行中の第５のＶＮＦに渡され、次に第２のＮＩＣ３１０に渡される前に第６のＶＭ３４０上で実行中の第６のＶＮＦ３３８に渡される。それらは図３に別個のものとして示されるが、ＶＭまたはＶＮＦのうちいくつかまたはすべては、様々な実施形態において同一であってよく、異なる複数の数のＶＭまたはＶＮＦが使用されてよい。

サーバノード３０４はノードを通る複数のフローを監視し、リソース利用率および応答時間のような複数の性能レベル、ネットワークとメモリ帯域幅利用率、および複数のキャッシュ占有レベルのようなリソース使用に関連するＱｏＳ監視データを含むテレメトリをＳＤＮコントローラ３０２に送信してよい。サーバノード３０４は様々な実施形態において図１に関して記載される複数のインストルメンテーションのような複数のＱｏＳメカニズムを使用して当該複数のフローを監視してよい。ＳＤＮコントローラ３０２は様々な実施形態において複数の性能目標と比較して、サーバノード３０４から受信されたテレメトリに少なくとも部分的に基づいて複数の性能レベルを監視してよい。当該複数の目標が複数の性能レベルによって満たされない場合、ＳＤＮコントローラ３０２はサーバノード３０４に対し、複数の性能要件を満たすべく、複数のリソース割り当て変更をなすよう命令してよい。当該複数のリソース割り当て変更は、図１に関して記載されたような複数のハードウェアＱｏＳインストルメンテーションを使用して、性能不足のアプリケーションにより多くの共有キャッシュを割り当てる、より多くのメモリ帯域幅、１または複数の追加のコア、または追加のネットワーク帯域幅を割り当てるような複数のパラメータを含んでよい。複数の実施形態において、当該複数のリソース割り当て変更は、複数の競合ソースの検出に少なくとも部分的に基づいてよく、例えば競合位置特定モジュール１２４によって提供されてよい。

図４は、様々な実施形態に従う、本開示を教示するエンドツーエンドデータセンタ性能制御に組み合わされた、ネットワーク機能仮想化（ＮＦＶ）サービスレベル契約（ＳＬＡ）監視システム４００のブロック図である。複数の実施形態において、サービスプロバイダまたはクラウドテナントのようなＮＦＶテナント４０２は、複数のサービス上の所望されるＳＬＡを購入すべく、課金または顧客ケアシステムのような動作サポートシステム／ビジネスサポートシステム（ＯＳＳ／ＢＳＳ）４０４と通信してよい。これらのサービスは、ＳＬＡ順守のためにテナント４０２によって監視および監査されてよい。複数の実施形態において、ＯＳＳ／ＢＳＳ４０４は、仮想インフラストラクチャオーケストレータ４０６に対しＳＬＡ要求を提供する。

オーケストレータ４０６は、他の複数の機能の中でも特に、ＳＬＡコントローラを含んでよい。ＳＬＡコントローラは、高レベルＳＬＡをＳＬＡ要件のシステムレベルセットに変換してよく、プラットフォームのサービス品質ＰＱｏＳは、多くの可能性のある要件のうち１つの例である。オーケストレータ４０６は、複数のシステムＳＬＡ要件を仮想インフラストラクチャマネージャ（ＶＩＭ）４０８上で実行中のネットワーク機能仮想化インフラストラクチャ（ＮＦＶＩ）エージェント４０７に対して配信してよい。オーケストレータ４０６は、様々な実施形態において、ポリシー管理、監査、報告機能も含んでよい。

ＶＩＭ４０８は、ＮＦＶＩ４１０内のプラットフォーム４３０およびプラットフォーム４７４のような複数のプラットフォームにわたりＰＱｏＳデータを収集するＮＦＶＩエージェント４０７を含んでよい。ＮＦＶＩは、ＥＴＳＩＧＳＮＦＶ００２ｖ１．１．１（２０１３年１０月）等の欧州電気通信標準化機構（ＥＴＳＩ）ＮＦＶ規格によって記載されるもののような広範なシステムフレームワークであってよい。ＶＩＭ４０８は様々な実施形態において、ＮＦＶＩエージェント４０７によってＰＱｏＳデータを追跡する際に使用されるＮＦＶＩプロビジョニングおよびＰＱｏＳ追跡データベース（ＤＢ）４１２を含んでよい。ＶＩＭ４０８は、ＮＦＶＩエージェント４０７によって複数のＳＬＡをＮＦＶＩ４１０上の複数のワークロードおよびＶＮＦにマッピングする際に使用されるＳＬＡ対ＮＦＶＩマッピングＤＢ４１４も含んでよい。様々な実施形態において、ＮＦＶＩ４１０で実行される複数のワークロードは、従来のデータセンタ内のものに比べ比較的寿命が長く、ＰＱｏＳがアクティブまたはパッシブモードで監視および強制されることを可能にする。より寿命が短い、高速または一時的な複数のワークロードは、オーケストレータ４０６およびＶＩＭ４０８によって監視および強制され得るクラスのサービスの対象となり得、結果的に、同様のワークロードを有するジョブワークフローがより後の時間に実行される場合、当該ジョブワークフローは、複数の性能目標を満たすべく、適切なプラットフォーム毎の複数のリソース割り当て（例えば、キャッシュ領域、メモリ）を付与されてよい。

各プラットフォームは、１または複数のプロセッサ４３２、メモリ４３４、ダブルデータレート（ＤＤＲ）若しくはペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）バスのようなバス４３６、複数のＩＯ／ＮＩＣコンポーネント４３８、複数のストレージデバイス４４０、および図１に関し記載された共に連結され、互いに連携するよう配置された複数のＱｏＳインストルメンテーションのような複数のテレメトリインストルメンテーション４４２を含んでよい。複数の実施形態において、プラットフォーム４３０、４７４は、Ｘｅｎｏｎ（登録商標）Ｅ５‐２６００ｖ３プロセッサを使用するもののようなインテル（登録商標）Ｘｅｏｎ（登録商標）ＤＰプラットフォームに基づいてよい。ＮＦＶＩエージェント４０７は、利用可能なＰＱｏＳを複数のＳＬＡに従う所望のＰＱｏＳでマッピングしてよく、当該複数のＳＬＡを満たす必要がある場合、ミティゲーションを実行してよい。様々な実施形態において、ＰＱｏＳは図１に関し記載されたＱｏＳハードウェアインストルメンテーションのうちいくつかまたはすべて、あるいは他の複数のＱｏＳインストルメンテーションを含んでよい。複数の実施形態において、ＮＦＶＩエージェント４０７は、複数のＳＬＡに従う所望のＰＱｏＳを達成すべく、ＮＦＶＩ４１０にわたり、複数のＶＮＦまたはワークロードをプロビジョニング、インストール、構成、および移行してよい。ユニファイドエクステンシブルファームウェアインタフェース（ＵＥＦＩ）ＢＩＯ４５０のような基本入／出力システム（ＢＩＯＳ）がプラットフォーム４３０、４７４のいくつかまたはすべての上で実行されてよい。更に、ハイパーバイザ４５２または仮想マシンモニタ（ＶＭＭ）がプラットフォーム４３０、４７４のいくつかまたはすべての上で複数のＶＮＦまたはＶＭを実行してよい。様々な実施形態において、オペレーティングシステム（ＯＳ）またはクラウドＯＳは、プラットフォーム４３０、４７４のいくつかまたはすべての上で実行されてよい。

複数の実施形態において、プラットフォーム４３０、４７４は、第１のＶＮＦＣ４６２および第２のＶＮＦＣ４６４から第ｎ番目のＶＮＦＣ４６６までの１または複数のＶＮＦコンポーネント（ＶＮＦＣ）を含み得るＶＮＦ‐１４６０〜ＶＮＦ‐ｎ４７０の１または複数のＶＮＦを実行してよい。複数のＶＮＦは、例えばサービングゲートウェイ（ＳＧＷ）またはパケットデータネットワークゲートウェイ（ＰＧＷ）のような様々なファンクションを果たしてよい。プラットフォームＳＬＡエージェント４５４は、いくつかまたはすべてのプラットフォーム４３０、４７４上で実行され、ＶＮＦプロビジョニング、複数のファンクションの構成および更新を実行し、並びに複数のプラットフォームＱｏＳ監視インストルメンテーションからの統計値およびデータの収集を行ってよく、限定はされないが複数のＩ／Ｏバス、ストレージ、ＣＰＵレジスタとキャッシュ、およびメモリに関連付けられたものが挙げられる。ＳＬＡエージェント４５４は、プラットフォーム上の様々なＰＱｏＳパラメータとレジスタへの読み取りおよび書き込み特権が付与されてよく、その結果、当該ＳＬＡエージェントは、複数のＰＱｏＳ監視インストルメンテーションからのデータ収集、および複数のＰＱｏＳ強制インストルメンテーションへのデータ書き込みができる。

図５は、様々な実施形態に係る、図１〜４に関し記載された、装置１００、データセンタモニタ２１４、ＮＦＶシステム３００、またはＮＦＶＳＬＡ監視システム４００によって実装され得るエンドツーエンドデータセンタ性能制御のための例示的な処理５００を示す。様々な実施形態において、処理５００はデータセンタ性能モニタ１１２、ノードモニタ１２０、ノード集約モジュール１２１、性能分配モジュール１２２、および／または競合位置特定モジュール１２３によって実行されてよい。複数の他の実施形態において、処理５００は多少のモジュールで、および／または異なる順序でいくつかの動作とともに実行されてよい。

複数の実施形態において、処理は、ブロック５０２を含んでよく、そこでは複数のエンドツーエンドデータセンタ性能目標のような複数のワークロードおよび複数の性能目標が、データセンタ性能モニタ１１２、データセンタモニタ２１４、ＳＤＮコントローラ３０２、またはオーケストレータ４０６のようなコントローラによって受信されてよい。動作５０４において、複数のサービスレベル契約（ＳＬＡ）は複数のワークロードにマッピングされてよい。ブロック５０６において、複数のワークロードは、ノード１０４、図２に記載されたノード２１６〜２２４、ノード３０４、またはプラットフォーム４３０または４７４のような複数のノードに対し、例えばデータセンタ性能モニタ１１２および性能分配モジュール１２２によってマッピングされてよい。複数の実施形態において、コントローラはすべてのデータセンタリソースのマッピングおよびキャッシュ領域、メモリ、およびネットワーク利用率のような利用率を維持してよい。複数の実施形態において、ネットワークセグメント毎のレイテンシバジェットのようなネットワークセグメント毎の性能目標がブロック５０６において決定されてよい。複数の実施形態において、動作５０８で、複数のノードからのＱｏＳテレメトリが受信されてよく、例えば、データセンタ性能モニタ１１２が、ＱｏＳインストルメンテーション１５２、１５４、１５６、１５８、１６６、１６８、１７０、１７２および１７４からのテレメトリを受信する。複数の実施形態において、複数のノードからのＱｏＳテレメトリは、ネットワークセグメント経由のネットワークレイテンシ等の複数のネットワークセグメント性能レベルに対応するデータを含んでよい。複数の実施形態において、複数のノード性能レベルの複数のノード性能目標との比較または複数のネットワークセグメント性能レベルの複数のネットワークセグメント性能目標との比較が実行されてよい。様々な実施形態において、ブロック５１０で複数のノードからのテレメトリはノード集約モジュール１２１等によって集約されてよい。動作５１２において、エンドツーエンドデータセンタ性能レベルが決定されてよい。

決定ブロック５１４において、決定されたエンドツーエンドデータセンタ性能レベルがエンドツーエンドデータセンタ性能目標未満であるかどうかが決定されてよい。エンドツーエンドデータセンタ性能レベルが、エンドツーエンドデータセンタ性能目標未満でない場合、処理はブロック５０８に戻ってよい。様々な実施形態において、エンドツーエンドデータセンタ性能レベルがエンドツーエンドデータセンタ性能目標未満である場合、競合位置特定がブロック５１８において、コマンドをノード１０４に送信する競合位置特定モジュール１２３等によって実行されてよく、その場合、複数のノード管理モジュール１１９内のノード競合位置特定モジュールが競合位置特定処理を実行し、データセンタ性能モニタ１１２またはデータセンタモニタ２１４のようなデータセンタコントローラに対し、応答を送信し返してよい。複数の実施形態において、競合位置特定は、競合位置特定コマンドをネットワークセグメントに関連付けられたノードに送信することを含んでよい。

複数の追加の実施形態において、決定ブロック５１４で、決定されたエンドツーエンドデータセンタ性能レベルがエンドツーエンドデータセンタ性能目標（例えば、目標が５０，０００動作／秒である場合、１００，０００動作／秒）を超えるかどうかが決定されよい。複数の実施形態において、決定ブロック５１４で、決定されたエンドツーエンドデータセンタ性能レベルが、当該エンドツーエンドデータセンタ性能目標の定義済み範囲外（例えば、目標レイテンシ±２５ｍｓの外）であるかどうかが決定されてよい。エンドツーエンドデータセンタ性能レベルがエンドツーエンドデータセンタ性能目標を超えない、またはこれらの実施形態について定義済み範囲内である場合、処理はブロック５０８に戻ってよい。エンドツーエンドデータセンタ性能レベルは性能目標を超える、またはこれらの実施形態について当該範囲外である場合、処理はブロック５１８に進んでよく、または任意にブロック５２０に直接進んでよい。

動作５２０において、データセンタ性能モニタ１１２またはデータセンタモニタ２１４等のデータセンタ制御装置によって、ノード１０４のような１または複数のノードへと、ミティゲーションコマンドが送信されてよい。様々な実施形態において、ミティゲーションコマンドは競合位置特定応答に少なくとも部分的に基づいてよく、ワークロードに対し、追加のメモリを提供する命令、追加のプロセッサコアを提供する命令、追加のネットワーク帯域幅を提供する命令、追加のメモリ帯域幅を提供する命令、追加のＩＯ帯域幅を十分なサービスを受けていないデバイスに提供する命令、ＳＭＴＱｏＳを使用するスレッド毎の複数の追加のリソースを提供する命令、および追加のキャッシュ領域を提供する命令を含む、ミティゲーションコマンドの群から選択されるミティゲーションコマンドを含んでよい。例えば、バジェットが２５０ミリ秒である場合、複数のリクエストをサービスするのに３００ミリ秒かかるウェブサーバには、平均で当該動作をより高速に完了すべく、追加のキャッシュまたは複数のＣＰＵコアが付与されてよい。複数の実施形態において、処理５００はブロック５０６に戻ってよく、複数のワークロードは１または複数のノードに再マップされてよい。複数の追加の実施形態において、ワークロードの性能が低下されている場合、ミティゲーションコマンドはワークロードに対し、より少ないメモリを提供する命令、プロセッサコアを除去する命令、より少ないネットワーク帯域幅を提供する命令、より少ないメモリ帯域幅を提供する命令、より少ないＩＯ帯域幅を過剰なサービスを受けているデバイスに提供する命令、ＳＭＴＱｏＳを使用するスレッド毎のより少ない複数のリソースを提供する命令、およびより少ないキャッシュ領域を提供する命令を含む、ミティゲーションコマンドの群から選択されるミティゲーションコマンドを含んでよい。

図６は、複数のエンドツーエンドデータセンタ性能制御ノードレべル動作のための例示的な処理６００に係るフロー図である。複数の実施形態において、処理６００はノード１０４上で実行されている複数のノード管理モジュール１１９によって実行されてよく、複数のスレッドとして構造化されてよい複数のコンポーネントを含んでよい。ブロック６０２において、複数のＱｏＳ監視および強制インストルメンテーションによって提供される様々なメカニズム等の複数のＱｏＳハードウェア機能は、例えばノード１０４上で実行されている複数のノード管理モジュール１１９等によって列挙されてよい。複数の実施形態において、例えば、ＳＭＴＱｏＳインストルメンテーション１５２、Ｌ２ＱｏＳインストルメンテーション１５４、Ｌ２外部帯域幅ＱｏＳインストルメンテーション１５６、ラストレベルキャッシュＱｏＳインストルメンテーション１５８、相互接続ＱｏＳインストルメンテーション１６８、ＩＯＱｏＳインストルメンテーション１７０、およびキューベースのＱｏＳインストルメンテーション１７２に係る監視および強制機能が列挙されてよい。様々な実施形態において、動作６０４で、当該複数の列挙されたＱｏＳハードウェア機能がデータセンタ性能モニタ１１２またはデータセンタモニタ２１４等のデータセンタモニタに対し、当該ノードによって報告されてよい。ブロック６０６で、当該ノード上で実行されている複数のワークロードに関連するＱｏＳデータと性能情報を含むテレメトリがデータセンタモニタに報告されてよい。

決定ブロック６０８において、任意の複数の新規ポリシーが、例えば中央ポリシーサーバ１０２またはポリシーエンジン３０６等のデータセンタモニタまたは中央ポリシーサーバから、当該ノードによって受信されたかどうかが決定されてよい。決定ブロック６０８において、複数の新規ポリシーが受信されたと決定された場合、それらは動作６１０において適用されてよい。複数の新規ポリシーが決定ブロック６０８において受信されなかったと決定された場合、または複数の新規ポリシーがブロック６１０において適用された場合、決定ブロック６１２において、競合位置特定リクエストが受信されたかどうかが決定されてよい。競合位置特定リクエストが受信された場合、競合位置特定がブロック６１４において実行されてよい。複数の実施形態において、ノード１０４は、当該ノード上で最も普及している複数の競合ソースを決定することを含む競合位置特定を実行してよい。例えば、ストリーミングアプリケーションが当該ノード１０４上のウェブサーバと同一の場所に位置された場合、競合位置特定は、キャッシュおよびメモリ帯域幅が競合すること、ウェブサーバがキャッシュ応答型であること、アクションの最善策はストリーミングアプリケーションのキャッシュ利用率を制限することであり得ることを示してよい。

ノード１０４による競合位置特定は、どのスレッドが、キャッシュ領域、メモリ帯域幅、ＩＯ、ネットワーク使用率、ディスク帯域幅、または毎秒の入／出力動作数（ＩＯＰＳ）を最も使用しているかを決定する等、利用可能な複数のＱｏＳ監視インストルメンテーションを列挙すること、すべての共有されたリソースでの競合を測定することを含んでよい。競合位置特定は更に、複数のＳＬＡ、レイテンシ、性能目標を満たさないものとして識別されたかもしれない複数の最高優先度ワークロードであってよい、対象の複数のワークロードに対する複数の主要な競合ソースを検出することを含んでよい。当該複数の主要な競合ソースを検出することは、スレッド毎、アプリケーション毎、または対象のＶＭ毎のキャッシュまたはメモリ使用率をチェックすること、および当該キャッシュまたはメモリ領域を過剰使用（例えば、５０％より多いキャッシュを使用）している複数のスレッドを識別することを含んでよい。当該複数の主要な競合ソースを検出することは更に、スレッド毎、アプリケーション毎、または対象のＶＭ毎のＩＯ利用率を、ディスクまたはソリッドステートドライブ（ＳＳＤ）帯域幅およびＩＯＰＳ利用率並びにネットワーク帯域幅利用率を決定することによってチェックすることを含んでよい。当該複数の主要な競合ソースを検出することは更に、Ｌ２キャッシュ競合またはＳＭＴスレッド競合のような複数のＱｏＳ監視インストルメンテーションをサポートする他の可能性のある複数のリソースをチェックすることを含んでよい。競合位置特定は、競合が最も深刻である場所および当該当該複数のスレッド、アプリケーション、ＶＭに対応するキャッシュ、メモリ、ＩＯ、複数のネットワーク応答型ワークロードはどのようであるべきかを決定すべく、当該複数のスレッド、アプリケーション、対象のＶＭのためのデータを集約することも含んでよい。競合位置特定は更に、集約されたデータに少なくとも部分的に基づいて、検出された競合をミティゲーションすべく、推奨されるアクションのサマリを生成してよい。動作６１６において、競合位置特定データはデータセンタモニタに送信されてよい。様々な実施形態において、競合位置特定データは、当該競合およびサマリされた競合状態データをミティゲーションすべく、複数の推奨されるアクションのサマリを含んでよい。複数の実施形態において、競合位置特定がブロック６１４において実行されてよく、競合リクエストが決定ブロック６１２において受信されなかったと決定された場合でも、競合データはブロック６１６において送信されてよい。複数の実施形態において、決定ブロック６１２に関する記載のように競合リクエストが受信されたかどうかを確認するチェックは実行されなくてもよく、複数のノード１０４はリクエストを先に受信せず、データをデータセンタモニタまたは中央ポリシーサーバに定期的に報告してよい。

決定ブロック６１２において、動作６１６において競合位置特定リクエストが受信されなかった、または競合データが送信されていることが決定された場合、ミティゲーションリクエストが決定ブロック６１８において受信されたかどうかが決定されてよい。様々な実施形態において、ミティゲーションリクエストが受信された場合、それは１または複数の命令を含むミティゲーションコマンドの形態であってよく、ブロック６２０においてミティゲーションが実行されてよい。複数の実施形態において、ミティゲーションコマンドはワークロードに対し、追加のメモリを提供する命令、追加のプロセッサコアを提供する命令、追加のネットワーク帯域幅を提供する命令、追加のメモリ帯域幅を提供する命令、追加のＩＯ帯域幅を十分なサービスを受けていないデバイスに提供する命令、ＳＭＴＱｏＳを使用するスレッド毎の複数の追加のリソースを提供する命令、および追加のキャッシュ領域を提供する命令、あるいは複数のＱｏＳ強制メカニズムを使用する他の命令を含む、ミティゲーションコマンドの群から選択されるミティゲーションコマンドを含んでよい。

ノード１０４によるミティゲーションは、ノード上の利用可能なＱｏＳ強制インストルメンテーションを列挙すること、ミティゲーションコマンドに少なくとも部分的に基づいてリソース割り当てに対する複数の変更を加える複数のハードウェアＱｏＳインストルメンテーションを使用すること、および要求されたミティゲーション動作が成功したかどうかを中央ポリシーサーバ１０２またはデータセンタモニタ２１４等のデータセンタモニタに報告を返すことを含んでよい。ブロック６２０においてミティゲーションが実行され、あるいは決定ブロック６１８において、ミティゲーションリクエストが受信されなかったと決定された場合、処理６００はブロック６０６に戻され、そこで更新された性能およびＱｏＳデータがデータセンタモニタに報告される。複数の代替的な実施形態において、データセンタモニタは、性能目標をノードに送信してよく、ノードは競合リクエストまたはミティゲーションリクエストを受信することなく、複数のリソース割り当て決定をなし、ノードはデータのサマリレベル、現在の状態の指標、および性能目標がノード上で満たされているかどうかを示し得る、より少ないデータをデータセンタモニタに送信し返す。

様々な実施形態において、ノード１０４において中央ポリシーサーバ１０２からの複数のワークロード起動リクエストを受信し、複数のワークロードを開始し、特定の複数のソケットまたはコア上で複数のワークロードを配置し、必要に応じて複数のコアまたはソケットにわたり複数のワークロードを移行し、および一時停止、シャットダウン、保存、および複数のコンテキストアクションを移動するといった複数のノードにわたるＶＭ移行に関連する複数のアクションを実行すべく、複数のノード管理モジュール１１９内に含まれ得るワークロードマネージャが処理６００とともに並列的またはシーケンシャルに実行されてよい。

ここで図７を見るに、様々な実施形態による、図１〜４に関し前述された本開示の実施に好適に使用される例示的コンピュータ７００が示されている。図示の通り、コンピュータ７００は１または複数のプロセッサまたはプロセッサコア７０２、およびシステムメモリ７０４を含んでよい。特許請求の範囲を含む、本願の目的において、「プロセッサ」および「複数のプロセッサコア」という用語は、文脈上明確に他のことが要求されていない限り同義語としてみなされ得る。更に、コンピュータ７００は、１または複数のグラフィクスプロセッサ７０５、大容量ストレージデバイス７０６（ディスケット、ハードドライブ、コンパクトディスクリードオンリメモリ（ＣＤ‐ＲＯＭ）等）、複数の入／出力デバイス７０８（ディスプレイ、キーボード、カーソル制御、遠隔制御、ゲームコントローラ、イメージキャプチャデバイス等）、センサハブ７０９および複数の通信インタフェース７１０（複数のネットワークインタフェースカード、モデム、赤外線受信機、無線受信機（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を含んでよい。上記複数の要素は、１または複数のバスを表わし得るシステムバス７１２を介して、互いに連結されてよい。複数のバスの場合、これらは１または複数のバスブリッジ（不図示）によってブリッジ接続されてよい。

これらの要素の各々は、当該技術分野で既知の従来の複数のファンクションを実行してよい。具体的には、中央ポリシーサーバ１０２、ノード１０４、データセンタモニタ２１４、ノード２１６、２１８、２２０、２２２または２２４、ＳＤＮコントローラ３０２、ポリシーエンジン３０６、ノード３０４、オーケストレータ４０６、ＶＩＭ４０８、ＮＦＶテナント４０２、ＯＳＳ／ＢＳＳ４０４、またはプラットフォーム４３０、４７４、例えば図１に示されるデータセンタ性能モニタ１１２、モジュール１１９、１２１、１２２、１２３、１２４および１２６のために記載された複数の動作、あるいは図５の処理５００若しくは図６の処理６００に示される、まとめてコンピューティングロジック７２２として示される複数の動作に関連付けられた複数の動作を実装する複数のプログラミング命令に係る作業コピーおよび永続コピーを格納すべく、システムメモリ７０４および複数の大容量ストレージデバイス７０６が採用されてよい。様々な実施形態において、ワークロード１４２、１４４、ＶＭ３１４、３１８、３２２、３３２、３３６、３４０、または図３〜４に示されるＶＮＦ３１２、３１６、３２０、３３０、３３４、３３８、４６２、４６４、４６６、４７０に関連付けられた複数の動作を実装する複数のプログラミング命令の作業コピーおよび永続コピーを格納すべく、システムメモリ７０４および複数の大容量ストレージデバイス７０６が採用されてよい。様々な要素が複数のアセンブラ命令により実装されてよく、またはプロセッサ７０２若しくは、例えばそのような複数の命令にコンパイルまたは解釈され得るＣのような複数の高水準言語によってバイトコードサポートされてよい。

複数のプログラミング命令の永続コピーが、工場で、または現場で、例えばコンパクトディスク（ＣＤ）等の配布媒体（不図示）を介して、または通信インタフェース７１０（配信サーバ（不図示）から）を介して複数の大容量ストレージデバイス７０６内に配置されてよい。すなわち、エージェントプログラムの実装を有する１または複数の配布媒体は、エージェントを配信し、様々なコンピューティングデバイスをプログラムすべく採用されてよい。

要素７０２〜７１２の数、機能および／または容量は、コンピュータ７００がサーバ、オーケストレータ、セットトップボックスまたはデスクトップコンピュータのような据置コンピューティングデバイスであるかどうか、またはタブレットコンピューティングデバイス、ラップトップコンピュータまたはスマートフォンのようなモバイルコンピューティングデバイスであるかどうかに応じ、変化してよい。これらの構成は、その他の点で既知であるので、更に詳細に記載しない。

図８は、様々な実施形態に従う、前述の中央ポリシーサーバ１０２、ノード１０４、データセンタモニタ２１４、ノード２１６、２１８、２２０、２２２、または２２４、ＳＤＮコントローラ３０２、ポリシーエンジン３０６、ノード３０４、オーケストレータ４０６、ＶＩＭ４０８、ＮＦＶテナント４０２、ＯＳＳ／ＢＳＳ４０４、またはプラットフォーム４３０、４７４に関連付けられた動作のうちすべてまたは選択されたものを実施するよう構成された複数の命令を有する少なくとも１つの非一時コンピュータ可読ストレージ媒体８０２の例を図示する。図示の通り、少なくとも１つのコンピュータ可読ストレージ媒体８０２は、多数のプログラミング命令８０４を含んでよい。ストレージ媒体８０２は、限定はされないがフラッシュメモリ、ダイナミックランダムアクセスメモリ、スタティックランダムアクセスメモリ、光学ディスク、磁気ディスク等を含む当該技術分野で既知の広範囲の永続的ストレージ媒体を表わしてよい。様々な実施形態において、複数のプログラミング命令８０４は、複数のプログラミング命令の実行に応答して、コンピュータ７００、中央ポリシーサーバ１０２、ノード１０４、データセンタモニタ２１４、ノード２１６、２１８、２２０、２２２または２２４、ＳＤＮコントローラ３０２、ポリシーエンジン３０６、ノード３０４、オーケストレータ４０６、ＶＩＭ４０８、ＮＦＶテナント４０２、ＯＳＳ／ＢＳＳ４０４、またはプラットフォーム４３０、４７４等のデバイスに対し、限定はされないがデータセンタ性能モニタ１１２、図１に示されるモジュール１１９、１２１、１２２、１２３、１２４および１２６、図５の処理５００または図６の処理６００の複数の動作、ワークロード１４２、１４４、ＶＭ３１４、３１８、３２２、３３２、３３６、３４０、または図３〜４に示されるＶＮＦ３１２、３１６、３２０、３３０、３３４、３３８、４６２、４６４、４６６、４７０に対し記載された様々な動作を実行させることを可能にするよう構成されてよい。複数の代替的実施形態において、複数のプログラミング命令８０４は複数のコンピュータ可読ストレージ媒体８０２上に配置されてよい。複数の更なる他の実施形態において、コンピュータ可読ストレージ媒体８０２は、信号のように一時的なものであってよい。

図７に戻ると、一実施形態について、プロセッサ７０２のうち少なくとも１つが、データセンタ性能モニタ１１２、図１に示されるモジュール１１９、１２１、１２２、１２３、１２４および１２６、図５の処理５００または図６の処理６００の複数の動作、ワークロード１４２、１４４、ＶＭ３１４、３１８、３２２、３３２、３３６、３４０、または図３〜４に示されるＶＮＦ３１２、３１６、３２０、３３０、３３４、３３８、４６２、４６４、４６６、４７０に対し記載された複数の態様を実施するよう構成されたコンピューティングロジック７２２を有するメモリと共にパッケージ化されてよい。一実施形態について、システムインパッケージ（ＳＩＰ）を形成すべく、プロセッサ７０２のうち少なくとも１つが、データセンタ性能モニタ１１２、図１に示されるモジュール１１９、１２１、１２２、１２３、１２４および１２６、図５の処理５００または図６の処理６００の複数の動作、ワークロード１４２、１４４、ＶＭ３１４、３１８、３２２、３３２、３３６、３４０、または図３〜４に示されるＶＮＦ３１２、３１６、３２０、３３０、３３４、３３８、４６２、４６４、４６６、４７０のために記載された複数の態様を実施するよう構成されたコンピューティングロジック７２２を有するメモリと共にパッケージ化されてよい。一実施形態について、プロセッサ７０２のうち少なくとも１つが、データセンタ性能モニタ１１２、図１に示されるモジュール１１９、１２１、１２２、１２３、１２４および１２６、図５の処理５００または図６の処理６００の複数の動作、ワークロード１４２、１４４、ＶＭ３１４、３１８、３２２、３３２、３３６、３４０、または図３〜４に示されるＶＮＦ３１２、３１６、３２０、３３０、３３４、３３８、４６２、４６４、４６６、４７０のために記載された複数の態様を実施するよう構成されたコンピューティングロジック７２２を有するメモリと同一のダイ上で統合されてよい。一実施形態について、プロセッサ７０２のうち少なくとも１つが、システムオンチップ（ＳｏＣ）を形成すべく、図５の処理５００または図６の処理６００の複数の態様を実施するよう構成されたコンピューティングロジック７２２を有するメモリと共にパッケージ化されてよい。

上述の複数の技術を実行するための機械可読媒体（機械可読ストレージ媒体等の非一時的機械可読媒体を含む）、複数の方法、システムおよびデバイスは、本明細書に開示された複数の実施形態に係る複数の例示である。更に、上述の複数の相互作用における他の複数のデバイスは、開示された様々な技術を実行するよう構成されてよい。

［複数の例］

例１は、コンピューティングを制御するための装置であって、１または複数のプロセッサと、上記１または複数のプロセッサに連結されたメモリと、データセンタ性能モニタと、上記１または複数のプロセッサによって動作されるミティゲーションモジュールと、を備え、上記データセンタ性能モニタは、サービスレベル契約に対応するデータセンタ性能目標を受信し、１または複数のノードに関連付けられた１または複数のサービス品質監視ハードウェアインストルメンテーションにより、上記データセンタの複数のノードのために収集されたサービス品質データに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定し、決定された上記エンドツーエンドデータセンタ性能レベルを、受信された上記データセンタ性能目標と比較するためのものであり、上記ミティゲーションモジュールは、上記エンドツーエンドデータセンタ性能レベルの上記データセンタ性能目標との上記比較の結果に少なくとも部分的に基づいてミティゲーションコマンドを送信するためのものであり、上記ミティゲーションコマンドは上記複数のノードのうちの１または複数上にある１または複数のサービス品質強制ハードウェアインストルメンテーションに送信される、装置を含んでよい。

例２は例１の主題を含んでよく、上記エンドツーエンドデータセンタ性能レベルの上記データセンタ性能目標との上記比較に応答して、競合位置特定コマンドを送信する、上記１または複数のプロセッサにより動作される競合位置特定モジュールを更に備え、上記競合位置特定モジュールも、上記１または複数のプロセッサにより動作され、競合位置特定応答を受信し、上記ミティゲーションコマンドも上記競合位置特定応答に少なくとも部分的に基づく。

例３は例２の主題を含んでよく、上記データセンタ性能目標に少なくとも部分的に基づいて上記複数のノードの各々に対するノード性能目標を決定する、上記１または複数のプロセッサにより動作される性能分配モジュールを更に備え、上記データセンタモニタは上記複数のノードに関連付けられた１または複数のサービス品質監視ハードウェアインストルメンテーションに少なくとも部分的に基づいて、上記複数のノードの各々に対するノード性能レベルを決定し、決定された各ノード性能レベルをその対応するノード性能目標と比較し、上記競合位置特定モジュールは、競合位置特定コマンドをその対応するノード性能目標未満と決定されたノード性能レベルを持つ各ノードに対し送信し、競合位置特定コマンドが送信された各ノードからの競合位置特定応答を受信し、上記ミティゲーションモジュールはノードミティゲーションコマンドを競合位置特定応答がそこから受信された上記複数のノードのうちの少なくとも１つに送信する。

例４は例１または２の主題を含んでよく、ミティゲーションモジュールはデータセンタ性能目標を超えると決定されたエンドツーエンドデータセンタ性能レベルに応答して、ミティゲーションコマンドを送信する。

例５は例１の主題を含んでよく、上記データセンタ性能モニタは、複数のサービスレベル契約に対応する複数のデータセンタ性能目標を受信し、１または複数のサービス品質監視ハードウェアインストルメンテーションによって収集されたサービス品質データに少なくとも部分的に基づいて上記複数のデータセンタ性能目標の各々に対応する複数のエンドツーエンドデータセンタ性能レベルを決定し、決定された上記複数のエンドツーエンドデータセンタ性能レベルの各々を、上記対応する複数のデータセンタ性能目標と比較し、上記ミティゲーションモジュールは、その対応するデータセンタ性能目標未満であると決定されたエンドツーエンドデータセンタ性能レベルに対応するワークロードを実行するノードに対し、ミティゲーションコマンドを送信し、上記ミティゲーションモジュールは、上記ワークロードに対し、追加のメモリを提供する命令、追加のプロセッサコアを提供する命令、追加のネットワーク帯域幅を提供する命令、追加のメモリ帯域幅を提供する命令、追加のＩＯ帯域幅を十分なサービスを受けていないデバイスに提供する命令、ＳＭＴＱｏＳを使用するスレッド毎の追加の複数のリソースを提供する命令、および追加のキャッシュ領域を提供する命令を含むミティゲーションコマンドの群から選択される少なくとも１つのミティゲーションコマンドを送信する。

例６は例１から５のいずれかに係る主題を含んでよく、上記データセンタ性能モニタは、上記複数のノードの複数の性能レベルを監視するノードモニタと、集約された性能レベルを決定すべく、上記複数のノードの上記複数の性能レベルを集約する、上記１または複数のプロセッサによって動作されるノード集約モジュールと、を含み、上記データセンタ性能モジュールは、集約された上記データセンタ性能レベルに少なくとも部分的に基づいて上記エンドツーエンドデータセンタ性能レベルを決定する。

例７は、例６の主題を含んでよく、上記１または複数のサービス品質監視ハードウェアインストルメンテーションおよび上記１または複数のサービス品質強制ハードウェアインストルメンテーションはそれぞれ、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの少なくとも１つを含む。

例８は例１から６のいずれかに係る主題を含んでよく、上記１または複数のサービス品質監視ハードウェアインストルメンテーションおよび上記１または複数のサービス品質強制ハードウェアインストルメンテーションはそれぞれ、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの少なくとも１つを含む。

例９はコンピューティングを制御するための方法であって、コンピューティングのための装置によってデータセンタ性能目標を受信する段階と、上記装置によって、１または複数のノードに関連付けられた１または複数のサービス品質監視ハードウェアインストルメンテーションによって、上記データセンタの複数のノードから収集されたサービス品質データに少なくとも部分的に基づいて、エンドツーエンドデータセンタ性能レベルを決定する段階と、上記装置によって、決定された上記エンドツーエンドデータセンタ性能レベルを上記データセンタ性能目標と比較する段階と、上記装置によって、上記エンドツーエンドデータセンタ性能レベルの上記データセンタ性能目標との上記比較の結果に少なくとも部分的に基づいて、ミティゲーションコマンドを送信する段階と、を備え、上記ミティゲーションコマンドは上記複数のノードのうちの１または複数上にある１または複数のサービス品質強制ハードウェアインストルメンテーションに送信される、方法を含んでよい。

例１０は例９の主題を含んでよく、上記装置によって、上記データセンタ性能目標未満と決定された上記エンドツーエンドデータセンタ性能レベルに応答して競合位置特定コマンドを送信する段階と、上記装置によって、競合位置特定応答を受信する段階と、を更に備える方法であって、上記ミティゲーションコマンドを送信する段階はまた、上記競合位置特定応答に少なくとも部分的に基づく。

例１１は例１０の主題を含んでよく、上記装置によって、上記データセンタ性能目標に少なくとも部分的に基づいて上記複数のノードの各々に対し、ノード性能目標を決定する段階を更に備え、上記装置によって、エンドツーエンドデータセンタ性能レベルを決定する段階は、１または複数のサービス品質監視ハードウェアインストルメンテーションによって収集されたサービス品質データに少なくとも部分的に基づいて上記複数のノードの各々に対するノード性能レベルを決定する段階と、決定された各ノード性能レベルをその対応するノード性能目標と比較する段階と、を含み、上記装置によって、競合位置特定コマンドを送信する段階は、その対応するノード性能目標未満と決定された性能レベルを持つ各ノードに対し、競合位置特定コマンドを送信する段階を含み、上記装置によって、競合位置特定応答を受信する段階は、競合位置特定コマンドが送信された各ノードから競合位置特定応答を受信する段階を含み、上記装置によって、ミティゲーションコマンドを送信する段階は、競合位置特定応答がそこから受信された上記複数のノードのうちの少なくとも１つに、ノードミティゲーションコマンドを送信する段階を含む。

例１２は、例９の主題を含んでよく、上記装置によって、ミティゲーションコマンドを送信する段階は、上記データセンタ性能目標を超えると決定された上記エンドツーエンドデータセンタ性能レベルに応答して、ミティゲーションコマンドを送信する段階を含む。

例１３は例９の主題を含んでよく、上記装置によってデータセンタ性能目標を受信する段階は、複数のサービスレベル契約に対応する複数のデータセンタ性能目標を受信する段階を含み、上記装置によってエンドツーエンドデータセンタ性能レベルを決定する段階は、１または複数のサービス品質監視ハードウェアインストルメンテーションによって収集されたサービス品質データに少なくとも部分的に基づいて上記複数のデータセンタ性能目標の各々に対応する複数のエンドツーエンドデータセンタ性能レベルを決定する段階を含み、上記装置によって比較する段階は、決定された上記複数のエンドツーエンドデータセンタ性能レベルの各々を、対応する複数のデータセンタ性能目標と比較する段階を含み、上記装置によってミティゲーションコマンドを送信する段階は、その対応するデータセンタ性能目標未満であると決定されたエンドツーエンドデータセンタ性能レベルに対応するワークロードを実行するノードにミティゲーションコマンドを送信する段階を含み、上記装置によってミティゲーションコマンドを送信する段階は、上記ワークロードに対し、追加のメモリを提供する命令、追加のプロセッサコアを提供する命令、追加のネットワーク帯域幅を提供する命令、追加のメモリ帯域幅を提供する命令、追加のＩＯ帯域幅を十分なサービスを受けていないデバイスに提供する命令、ＳＭＴＱｏＳを使用するスレッド毎の追加の複数のリソースを提供する命令、および追加のキャッシュ領域を提供する命令を含むミティゲーションコマンドの群から選択される少なくとも１つのミティゲーションコマンドを送信する段階を含む。

例１４は例９から１３のいずれかに係る主題を含んでよく、上記装置によってエンドツーエンドデータセンタ性能レベルを決定する段階は、上記複数のノードの複数の性能レベルを決定する段階と、集約された性能レベルを決定すべく、上記複数のノードの上記複数の性能レベルを集約する段階と、を含み、上記装置によって上記エンドツーエンドデータセンタ性能レベルを決定する段階はまた、集約された上記性能レベルに少なくとも部分的に基づく。

例１５は例１４の主題を含んでよく、上記装置によってエンドツーエンドデータセンタ性能レベルを決定する段階は、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数によって収集されたサービス品質データに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定する段階を含み、上記装置によってミティゲーションコマンドを送信する段階は、上記データセンタ性能目標未満と決定された上記エンドツーエンドデータセンタ性能レベルに応答して、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数に少なくとも部分的に基づいてミティゲーションコマンドを送信する段階を含む。

例１６は例９から１３のいずれかに係る主題を含んでよく、上記装置によってエンドツーエンドデータセンタ性能レベルを決定する段階は、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数によって収集されたサービス品質データに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定する段階を含み、上記装置によってミティゲーションコマンドを送信する段階は、上記データセンタ性能目標未満と決定された上記エンドツーエンドデータセンタ性能レベルに応答して、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数に少なくとも部分的に基づいてミティゲーションコマンドを送信する段階を含む。

例１７は格納された複数の命令を含む少なくとも１つの非一時コンピュータ可読媒体を含んでよく、コンピューティングのための装置による上記複数の命令の実行に応答して、上記装置に対し、データセンタ性能モニタにおいてデータセンタ性能目標を受信させ、１または複数のノードに関連付けられた１または複数のサービス品質監視ハードウェアインストルメンテーションによって複数のノードから収集されたサービス品質データに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定させ、決定されたエンドツーエンドデータセンタ性能レベルをデータセンタ性能目標と比較させ、エンドツーエンドデータセンタ性能レベルのデータセンタ性能目標との比較の結果に少なくとも部分的に基づいてミティゲーションコマンドを送信させ、ミティゲーションコマンドは上記複数のノードのうちの１または複数上にある１または複数のサービス品質強制ハードウェアインストルメンテーションに送信される。

例１８は例１７の主題を含んでよく、装置は更に、データセンタ性能目標未満であると決定されたエンドツーエンドデータセンタ性能レベルに応答して競合位置特定コマンドを送信させられ、競合位置特定応答を受信させられ、装置は競合位置特定応答に少なくとも部分的に基づいてミティゲーションコマンドを送信させられる。

例１９は例１８の主題を含んでよく、装置は更にデータセンタ性能目標に少なくとも部分的に基づいて複数のノードの各々に対するノード性能目標を決定させられ、１または複数のサービス品質監視ハードウェアインストルメンテーションによって収集されたサービス品質データに少なくとも部分的に基づいて複数のノードの各々に対するノード性能レベルを決定させられ、決定された各ノード性能レベルをその対応するノード性能目標と比較させられ、その対応するノード性能目標未満であると決定された性能レベルを持つ各ノードに競合位置特定コマンドを送信させられ、競合位置特定コマンドが送信された各ノードからの競合位置特定応答を受信させられ、競合位置特定応答がそこから受信された上記複数のノードのうちの少なくとも１つに、ミティゲーションコマンドを送信させられる。

例２０は例１７の主題を含んでよく、装置は、データセンタ性能目標を超えると決定されたエンドツーエンドデータセンタ性能レベルに応答して、ミティゲーションコマンドを送信させられる。

例２１は、例１７の主題を含んでよく、装置は更に、複数のサービスレベル契約に対応する複数のデータセンタ性能目標を受信させられ、１または複数のサービス品質監視ハードウェアインストルメンテーションによって収集されたサービス品質データに少なくとも部分的に基づいて上記複数のデータセンタ性能目標の各々に対応する複数のエンドツーエンドデータセンタ性能レベルを決定させられ、決定された上記複数のエンドツーエンドデータセンタ性能レベルの各々を、対応する複数のデータセンタ性能目標と比較させられ、その対応するデータセンタ性能目標未満であると決定されたエンドツーエンドデータセンタ性能レベルに対応するワークロードを実行するノードに対し、ミティゲーションコマンドを送信させられ、ワークロードに対し、追加のメモリを提供する命令、追加のプロセッサコアを提供する命令、追加のネットワーク帯域幅を提供する命令、追加のメモリ帯域幅を提供する命令、追加のＩＯ帯域幅を十分なサービスを受けていないデバイスに提供する命令、ＳＭＴＱｏＳを使用するスレッド毎の追加の複数のリソースを提供する命令、および追加のキャッシュ領域を提供する命令を含むミティゲーションコマンドの群から選択される少なくとも１つのミティゲーションコマンドを送信させられる。

例２２は例１７から２１のいずれかに係る主題を含んでよく、装置は更に、複数のノードの複数の性能レベルを決定させられ、集約された性能レベルを決定すべく、複数のノードの複数の性能レベルを集約させられ、集約された性能レベルに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定させられる。

例２３は例２２の主題を含んでよく、上記装置は更に、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数によって収集されたサービス品質データに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定させられ、上記データセンタ性能目標未満と決定された上記エンドツーエンドデータセンタ性能レベルに応答して、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数に少なくとも部分的に基づいてミティゲーションコマンドを送信させられる。

例２４は例１７から２１のいずれかに係る主題を含んでよく、装置は更に、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数によって収集されたサービス品質データに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定させられ、データセンタ性能目標未満であると決定されたエンドツーエンドデータセンタ性能レベルに応答して、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数に少なくとも部分的に基づいてミティゲーションコマンドを送信させられる。

例２５は例１７の主題を含んでよく、装置は更に、データセンタ性能目標に少なくとも部分的に基づいて複数のネットワークセグメントの各々に対するネットワークセグメント毎の性能目標を決定させられ、１または複数のサービス品質監視ハードウェアインストルメンテーションによって収集されたサービス品質データに少なくとも部分的に基づいて複数のネットワークセグメントの各々に対するネットワークセグメント性能レベルを決定させられ、決定された各ネットワークセグメント性能レベルをその対応するネットワークセグメント性能バジェットと比較させられ、決定されたネットワークセグメント性能レベルのその対応するネットワークセグメント性能バジェットとの比較に少なくとも部分的に基づいて、ネットワークセグメントに関連付けられたノードに競合位置特定コマンドを送信させられ、競合位置特定コマンドが送信されたノードからの競合位置特定応答を受信させられ、競合位置特定応答がそこから受信されたノードに、ミティゲーションコマンドを送信させられる。

例２６はコンピューティングを制御する装置であって、データセンタ性能目標を受信するための手段と、１または複数のノードに関連付けられた１または複数のサービス品質監視ハードウェアインストルメンテーションによって、上記データセンタの複数のノードから収集されたサービス品質データに少なくとも部分的に基づいて、エンドツーエンドデータセンタ性能レベルを決定するための手段と、
決定された上記エンドツーエンドデータセンタ性能レベルを上記データセンタ性能目標と比較するための手段と、上記エンドツーエンドデータセンタ性能レベルの上記データセンタ性能目標との上記比較結果に少なくとも部分的に基づいてミティゲーションコマンドを送信するための手段と、を備え、上記ミティゲーションコマンドは上記複数のノードのうちの１または複数上にある１または複数のサービス品質強制ハードウェアインストルメンテーションに送信される、装置を含んでよい。

例２７は例２６の主題を含んでよく、上記データセンタ性能目標未満であると決定された上記エンドツーエンドデータセンタ性能レベルに応答して競合位置特定コマンドを送信するための手段と、競合位置特定応答を受信するための手段と、を更に備え、上記ミティゲーションコマンドを送信するための上記手段はまた、上記競合位置特定応答に少なくとも部分的に基づいて上記ミティゲーションコマンドを送信する。

例２８は例２７の主題を含んでよく、上記データセンタ性能目標に少なくとも部分的に基づいて上記複数のノードの各々に対し、ノード性能目標を決定するための手段を更に備え、エンドツーエンドデータセンタ性能レベルを決定するための手段は、１または複数のサービス品質監視ハードウェアインストルメンテーションによって収集されたサービス品質データに少なくとも部分的に基づいて上記複数のノードの各々に対するノード性能レベルを決定するための手段と、決定された各ノード性能レベルをその対応するノード性能目標と比較するための手段と、を含み、競合位置特定コマンドを送信するための手段は、その対応するノード性能目標未満と決定された性能レベルを持つ各ノードに対し、競合位置特定コマンドを送信するための手段を含み、競合位置特定応答を受信するための手段は、競合位置特定コマンドが送信された各ノードからの競合位置特定応答を受信するための手段を含み、ミティゲーションコマンドを送信するための手段は、競合位置特定応答がそこから受信された上記複数のノードのうちの少なくとも１つに、ノードミティゲーションコマンドを送信するための手段を含む。

例２９は例２６の主題を含んでよく、ミティゲーションコマンドを送信するための手段は、データセンタ性能目標を超えると決定されたエンドツーエンドデータセンタ性能レベルに応答して、ミティゲーションコマンドを送信するための手段を含む。

例３０は例２６の主題を含んでよく、データセンタ性能目標を受信するための手段は、複数のサービスレベル契約に対応する複数のデータセンタ性能目標を受信するための手段を含み、エンドツーエンドデータセンタ性能レベルを決定するための手段は、１または複数のサービス品質監視ハードウェアインストルメンテーションによって収集されたサービス品質データに少なくとも部分的に基づいて上記複数のデータセンタ性能目標の各々に対応する複数のエンドツーエンドデータセンタ性能レベルを決定するための手段を含み、比較するための手段は、決定された上記複数のエンドツーエンドデータセンタ性能レベルの各々を、対応する複数のデータセンタ性能目標と比較するための手段を含み、ミティゲーションコマンドを送信するための手段は、その対応するデータセンタ性能目標未満であると決定されたエンドツーエンドデータセンタ性能レベルに対応するワークロードを実行するノードに対し、ミティゲーションコマンドを送信するための手段を含み、ミティゲーションコマンドを送信するための手段は、上記ワークロードに対し、追加のメモリを提供する命令、追加のプロセッサコアを提供する命令、追加のネットワーク帯域幅を提供する命令、追加のメモリ帯域幅を提供する命令、追加のＩＯ帯域幅を十分なサービスを受けていないデバイスに提供する命令、ＳＭＴＱｏＳを使用するスレッド毎の追加の複数のリソースを提供する命令、および追加のキャッシュ領域を提供する命令を含むミティゲーションコマンドの群から選択される少なくとも１つのミティゲーションコマンドを送信するための手段を含む。

例３１は例２６から３０のいずれかに係る主題を含んでよく、エンドツーエンドデータセンタ性能レベルを決定するための手段は、上記複数のノードの複数の性能レベルを決定するための手段と、集約された性能レベルを決定すべく、上記複数のノードの上記複数の性能レベルを集約するための手段と、を含み、上記エンドツーエンド性能レベルを決定するための手段はまた、集約された上記性能レベルに少なくとも部分的に基づいて上記エンドツーエンド性能レベルを決定する。

例３２は例３１の主題を含んでよく、ミティゲーションコマンドを送信するための手段は、上記ワークロードに対し、追加のメモリを提供する命令、追加のプロセッサコアを提供する命令、追加のネットワーク帯域幅を提供する命令、追加のメモリ帯域幅を提供する命令、追加のＩＯ帯域幅を十分なサービスを受けていないデバイスに提供する命令、ＳＭＴＱｏＳを使用するスレッド毎の追加の複数のリソースを提供する命令、および追加のキャッシュ領域を提供する命令を含むミティゲーションコマンドの群から選択される少なくとも１つのミティゲーションコマンドを送信するための手段を含み、エンドツーエンドデータセンタ性能レベルを決定するための手段は、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数によって収集されたサービス品質データに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定するための手段を含み、ミティゲーションコマンドを送信するための手段は、上記データセンタ性能目標未満と決定された上記エンドツーエンドデータセンタ性能レベルに応答して、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数に少なくとも部分的に基づいてミティゲーションコマンドを送信するための手段を含む。

例３３は例２６から３０のいずれかに係る主題を含んでよく、エンドツーエンドデータセンタ性能レベルを決定するための手段は、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数によって収集されたサービス品質データに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定するための手段を含み、ミティゲーションコマンドを送信するための手段は、上記データセンタ性能目標未満であると決定された上記エンドツーエンドデータセンタ性能レベルに応答し、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数に少なくとも部分的に基づいてミティゲーションコマンドを送信するための手段を含む。

複数の特定の実施形態が本明細書において説明目的として例示および記載されてきたが、本開示の範囲を逸脱することなく、同一の目的を達成すると予測される広範な代替的および／または均等な実施形態または実装例で、示されるおよび記載される当該複数の実施形態を置き換えることができる。本願は、本明細書に記載の複数の実施形態の任意の改造または変更も包含することが意図されている。従って、本明細書に記載された複数の実施形態は特許請求の範囲によってのみ、限定されることが明白に意図されている。

本開示が「１つの」要素または「第１の」要素、またはそれと均等の表現をする場合は、そのような開示は、１または複数のそのような要素を含み、２または２より多いそのような要素を要求しないし、除外もしない。更に、識別された複数の要素に対する序数標識（例えば、第１、第２または第３など）は、複数の要素間を区別するために使用され、そのような要素の必要数または限定数を指定も示唆もしておらず、また別途記載されない限り、そのような複数の要素に係る特定の位置または順序を示しもしない。

Claims

コンピューティングを制御するための装置であって、
１または複数のプロセッサと、
前記１または複数のプロセッサに連結されたメモリと、
データセンタ性能モニタと、
前記１または複数のプロセッサによって動作されるミティゲーションモジュールと、を備え、
前記データセンタ性能モニタは、サービスレベル契約に対応するデータセンタ性能目標を受信し、１または複数のノードに関連付けられた１または複数のサービス品質監視ハードウェアインストルメンテーションにより、前記データセンタの複数のノードのために収集されたサービス品質データに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定し、決定された前記エンドツーエンドデータセンタ性能レベルを、受信された前記データセンタ性能目標と比較し、
前記ミティゲーションモジュールは、前記エンドツーエンドデータセンタ性能レベルの前記データセンタ性能目標との前記比較の結果に少なくとも部分的に基づいてミティゲーションコマンドを送信し、前記ミティゲーションコマンドは前記複数のノードのうちの１または複数にある１または複数のサービス品質強制ハードウェアインストルメンテーションに送信される、装置。
前記エンドツーエンドデータセンタ性能レベルの前記データセンタ性能目標との前記比較に応答して、競合位置特定コマンドを送信する、前記１または複数のプロセッサにより動作される競合位置特定モジュールを更に備え、
前記競合位置特定モジュールも、前記１または複数のプロセッサにより動作され、競合位置特定応答を受信し、
前記ミティゲーションコマンドも前記競合位置特定応答に少なくとも部分的に基づく、請求項１に記載の装置。
前記データセンタ性能目標に少なくとも部分的に基づいて前記複数のノードの各々に対するノード性能目標を決定する、前記１または複数のプロセッサにより動作される性能分配モジュールを更に備え、
前記データセンタ性能モニタは前記複数のノードに関連付けられた１または複数のサービス品質監視ハードウェアインストルメンテーションに少なくとも部分的に基づいて、前記複数のノードの各々に対するノード性能レベルを決定し、決定された各ノード性能レベルをその対応するノード性能目標と比較し、
前記競合位置特定モジュールは、競合位置特定コマンドをその対応するノード性能目標未満と決定されたノード性能レベルを持つ各ノードに対し送信し、競合位置特定コマンドが送信された各ノードからの競合位置特定応答を受信し、
前記ミティゲーションモジュールはノードミティゲーションコマンドを、競合位置特定応答がそこから受信された前記複数のノードのうちの少なくとも１つに送信する、請求項２に記載の装置。
前記ミティゲーションモジュールは、前記データセンタ性能目標を超えると決定された前記エンドツーエンドデータセンタ性能レベルに応答して、ミティゲーションコマンドを送信する、請求項１に記載の装置。
前記データセンタ性能モニタは、
複数のサービスレベル契約に対応する複数のデータセンタ性能目標を受信し、
１または複数のサービス品質監視ハードウェアインストルメンテーションによって収集されたサービス品質データに少なくとも部分的に基づいて前記複数のデータセンタ性能目標の各々に対応する複数のエンドツーエンドデータセンタ性能レベルを決定し、
決定された前記複数のエンドツーエンドデータセンタ性能レベルの各々を、前記対応する複数のデータセンタ性能目標と比較し、
前記ミティゲーションモジュールは、その対応するデータセンタ性能目標未満であると決定されたエンドツーエンドデータセンタ性能レベルに対応するワークロードを実行するノードに対し、ミティゲーションコマンドを送信し、
前記ミティゲーションモジュールは、前記ワークロードに対し、追加のメモリを提供する命令、追加のプロセッサコアを提供する命令、追加のネットワーク帯域幅を提供する命令、追加のメモリ帯域幅を提供する命令、追加のＩＯ帯域幅を十分なサービスを受けていないデバイスに提供する命令、ＳＭＴＱｏＳを使用するスレッド毎の追加の複数のリソースを提供する命令、および追加のキャッシュ領域を提供する命令を含むミティゲーションコマンドの群から選択される少なくとも１つのミティゲーションコマンドを送信する、請求項１に記載の装置。
前記データセンタ性能モニタは、
前記複数のノードの複数の性能レベルを監視するノードモニタと、
集約された性能レベルを決定すべく、前記複数のノードの前記複数の性能レベルを集約する、前記１または複数のプロセッサによって動作されるノード集約モジュールと、を含み、
前記データセンタ性能モニタは、集約された前記データセンタ性能レベルに少なくとも部分的に基づいて前記エンドツーエンドデータセンタ性能レベルを決定する、請求項１から５のいずれか一項に記載の装置。
前記１または複数のサービスの監視ハードウェアインストルメンテーションおよび前記１または複数のサービス品質強制ハードウェアインストルメンテーションはそれぞれ、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの少なくとも１つを含む、請求項６に記載の装置。
前記１または複数のサービス品質監視ハードウェアインストルメンテーションおよび前記１または複数のサービス品質強制ハードウェアインストルメンテーションはそれぞれ、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの少なくとも１つを含む、請求項１から５のいずれか一項に記載の装置。
コンピューティングを制御するための方法であって、
コンピューティングのための装置によってデータセンタ性能目標を受信する段階と、
前記装置によって、１または複数のノードに関連付けられた１または複数のサービス品質監視ハードウェアインストルメンテーションによって前記データセンタの複数のノードから収集されたサービス品質データに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定する段階と、
前記装置によって、決定された前記エンドツーエンドデータセンタ性能レベルを前記データセンタ性能目標と比較する段階と、
前記装置によって、前記エンドツーエンドデータセンタ性能レベルの前記データセンタ性能目標との前記比較の結果に少なくとも部分的に基づいて、ミティゲーションコマンドを送信する段階と、を備え、
前記ミティゲーションコマンドは前記複数のノードのうちの１または複数にある１または複数のサービス品質強制ハードウェアインストルメンテーションに送信される、方法。
前記装置によって、前記データセンタ性能目標未満と決定された前記エンドツーエンドデータセンタ性能レベルに応答して競合位置特定コマンドを送信する段階と、
前記装置によって、競合位置特定応答を受信する段階と、を更に備え、
前記ミティゲーションコマンドを送信する段階はまた、前記競合位置特定応答に少なくとも部分的に基づく、請求項９に記載の方法。
前記装置によって、前記データセンタ性能目標に少なくとも部分的に基づいて前記複数のノードの各々に対するノード性能目標を決定する段階を更に備え、
前記装置によって、エンドツーエンドデータセンタ性能レベルを決定する段階は、
１または複数のサービス品質監視ハードウェアインストルメンテーションによって収集されたサービス品質データに少なくとも部分的に基づいて前記複数のノードの各々に対するノード性能レベルを決定する段階と、
決定された各ノード性能レベルをその対応するノード性能目標と比較する段階と、を含み、
前記装置によって、競合位置特定コマンドを送信する段階は、その対応するノード性能目標未満と決定された性能レベルを持つ各ノードに対し、競合位置特定コマンドを送信する段階を含み、
前記装置によって、競合位置特定応答を受信する段階は、競合位置特定コマンドが送信された各ノードから競合位置特定応答を受信する段階を含み、
前記装置によって、ミティゲーションコマンドを送信する段階は、競合位置特定応答がそこから受信された前記複数のノードのうちの少なくとも１つに、ノードミティゲーションコマンドを送信する段階を含む、請求項１０に記載の方法。
前記装置によって、ミティゲーションコマンドを送信する段階は、前記データセンタ性能目標を超えると決定された前記エンドツーエンドデータセンタ性能レベルに応答して、ミティゲーションコマンドを送信する段階を含む、請求項９に記載の方法。
前記装置によってデータセンタ性能目標を受信する段階は、複数のサービスレベル契約に対応する複数のデータセンタ性能目標を受信する段階を含み、
前記装置によってエンドツーエンドデータセンタ性能レベルを決定する段階は、１または複数のサービス品質監視ハードウェアインストルメンテーションによって収集されたサービス品質データに少なくとも部分的に基づいて前記複数のデータセンタ性能目標の各々に対応する複数のエンドツーエンドデータセンタ性能レベルを決定する段階を含み、
前記装置によって比較する段階は、決定された前記複数のエンドツーエンドデータセンタ性能レベルの各々を、対応する前記複数のデータセンタ性能目標と比較する段階を含み、
前記装置によってミティゲーションコマンドを送信する段階は、その対応するデータセンタ性能目標未満であると決定されたエンドツーエンドデータセンタ性能レベルに対応するワークロードを実行するノードにミティゲーションコマンドを送信する段階を含み、
前記装置によってミティゲーションコマンドを送信する段階は、前記ワークロードに対し、追加のメモリを提供する命令、追加のプロセッサコアを提供する命令、追加のネットワーク帯域幅を提供する命令、追加のメモリ帯域幅を提供する命令、追加のＩＯ帯域幅を十分なサービスを受けていないデバイスに提供する命令、ＳＭＴＱｏＳを使用するスレッド毎の追加の複数のリソースを提供する命令、および追加のキャッシュ領域を提供する命令を含むミティゲーションコマンドの群から選択される少なくとも１つのミティゲーションコマンドを送信する段階を含む、請求項９に記載の方法。
前記装置によってエンドツーエンドデータセンタ性能レベルを決定する段階は、
前記複数のノードの複数の性能レベルを決定する段階と、
集約された性能レベルを決定すべく、前記複数のノードの前記複数の性能レベルを集約する段階と、を含み、
前記装置によって前記エンドツーエンドデータセンタ性能レベルを決定する段階はまた、集約された前記性能レベルに少なくとも部分的に基づく、請求項９から１３のいずれか一項に記載の方法。
前記装置によってエンドツーエンドデータセンタ性能レベルを決定する段階は、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数によって収集されたサービス品質データに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定する段階を含み、
前記装置によってミティゲーションコマンドを送信する段階は、前記データセンタ性能目標未満と決定された前記エンドツーエンドデータセンタ性能レベルに応答して、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数に部分的に基づいてミティゲーションコマンドを送信する段階を含む、請求項１４に記載の方法。
前記装置によってエンドツーエンドデータセンタ性能レベルを決定する段階は、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数によって収集されたサービス品質データに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定する段階を含み、
前記装置によってミティゲーションコマンドを送信する段階は、前記データセンタ性能目標未満と決定された前記エンドツーエンドデータセンタ性能レベルに応答して、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数に少なくとも部分的に基づいてミティゲーションコマンドを送信する段階を含む、請求項９から１３のいずれか一項に記載の方法。
格納された複数の命令を含む少なくとも１つの非一時コンピュータ可読媒体であって、コンピューティングのための装置による前記複数の命令の実行に応答して、前記装置に請求項９から１６のいずれか一項に記載の方法を実行させる、少なくとも１つの非一時コンピュータ可読媒体。
コンピューティングを制御する装置であって、
データセンタ性能目標を受信するための手段と、
１または複数のノードに関連付けられた１または複数のサービス品質監視ハードウェアインストルメンテーションによって、前記データセンタの複数のノードから収集されたサービス品質データに少なくとも部分的に基づいて、エンドツーエンドデータセンタ性能レベルを決定するための手段と、
決定された前記エンドツーエンドデータセンタ性能レベルを前記データセンタ性能目標と比較するための手段と、
前記エンドツーエンドデータセンタ性能レベルの前記データセンタ性能目標との比較の結果に少なくとも部分的に基づいてミティゲーションコマンドを送信するための手段と、を備え、
前記ミティゲーションコマンドは前記複数のノードのうちの１または複数にある１または複数のサービス品質強制ハードウェアインストルメンテーションに送信される、装置。
前記データセンタ性能目標未満であると決定された前記エンドツーエンドデータセンタ性能レベルに応答して競合位置特定コマンドを送信するための手段と、
競合位置特定応答を受信するための手段と、を更に備え、
前記ミティゲーションコマンドを送信するための前記手段はまた、前記競合位置特定応答に少なくとも部分的に基づいて前記ミティゲーションコマンドを送信する、請求項１８に記載の装置。
前記データセンタ性能目標に少なくとも部分的に基づいて前記複数のノードの各々に対し、ノード性能目標を決定するための手段を更に備え、
エンドツーエンドデータセンタ性能レベルを決定するための前記手段は、
１または複数のサービス品質監視ハードウェアインストルメンテーションによって収集されたサービス品質データに少なくとも部分的に基づいて前記複数のノードの各々に対するノード性能レベルを決定するための手段と、
決定された各ノード性能レベルをその対応するノード性能目標と比較するための手段と、を含み、
競合位置特定コマンドを送信するための前記手段は、その対応するノード性能目標未満と決定された性能レベルを持つ各ノードに対し、競合位置特定コマンドを送信するための手段を含み、
競合位置特定応答を受信するための前記手段は、競合位置特定コマンドが送信された各ノードからの競合位置特定応答を受信するための手段を含み、
ミティゲーションコマンドを送信するための前記手段は、競合位置特定応答がそこから受信された前記複数のノードのうちの少なくとも１つに、ノードミティゲーションコマンドを送信するための手段を含む、請求項１９に記載の装置。
ミティゲーションコマンドを送信するための前記手段は、前記データセンタ性能目標を超えると決定された前記エンドツーエンドデータセンタ性能レベルに応答して、ミティゲーションコマンドを送信するための手段を含む、請求項１８に記載の装置。
データセンタ性能目標を受信するための前記手段は、複数のサービスレベル契約に対応する複数のデータセンタ性能目標を受信するための手段を含み、
エンドツーエンドデータセンタ性能レベルを決定するための前記手段は、１または複数のサービス品質監視ハードウェアインストルメンテーションによって収集されたサービス品質データに少なくとも部分的に基づいて前記複数のデータセンタ性能目標の各々に対応する複数のエンドツーエンドデータセンタ性能レベルを決定するための手段を含み、
比較するための前記手段は、決定された前記複数のエンドツーエンドデータセンタ性能レベルの各々を、対応する前記複数のデータセンタ性能目標と比較するための手段を含み、
ミティゲーションコマンドを送信するための前記手段は、その対応するデータセンタ性能目標未満であると決定されたエンドツーエンドデータセンタ性能レベルに対応するワークロードを実行するノードに対し、ミティゲーションコマンドを送信するための手段を含み、
ミティゲーションコマンドを送信するための前記手段は、前記ワークロードに対し、追加のメモリを提供する命令、追加のプロセッサコアを提供する命令、追加のネットワーク帯域幅を提供する命令、追加のメモリ帯域幅を提供する命令、追加のＩＯ帯域幅を十分なサービスを受けていないデバイスに提供する命令、ＳＭＴＱｏＳを使用するスレッド毎の追加の複数のリソースを提供する命令、および追加のキャッシュ領域を提供する命令を含むミティゲーションコマンドの群から選択される少なくとも１つのミティゲーションコマンドを送信するための手段を含む、請求項１８に記載の装置。
エンドツーエンドデータセンタ性能レベルを決定するための前記手段は、
前記複数のノードの複数の性能レベルを決定するための手段と、
集約された性能レベルを決定すべく、前記複数のノードの前記複数の性能レベルを集約するための手段と、を含み、
前記エンドツーエンドデータセンタ性能レベルを決定するための前記手段はまた、集約された前記性能レベルに少なくとも部分的に基づいて前記エンドツーエンドデータセンタ性能レベルを決定する、請求項１８から２２のいずれか一項に記載の装置。
ミティゲーションコマンドを送信するための前記手段は、ワークロードに対し、追加のメモリを提供する命令、追加のプロセッサコアを提供する命令、追加のネットワーク帯域幅を提供する命令、追加のメモリ帯域幅を提供する命令、追加のＩＯ帯域幅を十分なサービスを受けていないデバイスに提供する命令、ＳＭＴＱｏＳを使用するスレッド毎の追加の複数のリソースを提供する命令、および追加のキャッシュ領域を提供する命令を含むミティゲーションコマンドの群から選択される少なくとも１つのミティゲーションコマンドを送信するための手段を含み、
エンドツーエンドデータセンタ性能レベルを決定するための前記手段は、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数によって収集されたサービス品質データに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定するための手段を含み、
ミティゲーションコマンドを送信するための前記手段は、前記データセンタ性能目標未満と決定された前記エンドツーエンドデータセンタ性能レベルに応答して、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数に少なくとも部分的に基づいてミティゲーションコマンドを送信するための手段を含む、請求項２３に記載の装置。
エンドツーエンドデータセンタ性能レベルを決定するための前記手段は、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数によって収集されたサービス品質データに少なくとも部分的に基づいてエンドツーエンドデータセンタ性能レベルを決定するための手段を含み、
ミティゲーションコマンドを送信するための前記手段は、前記データセンタ性能目標未満であると決定された前記エンドツーエンドデータセンタ性能レベルに応答し、同時マルチスレッディングサービス品質メカニズム、Ｌ２キャッシュサービス品質メカニズム、Ｌ２外部帯域幅サービス品質メカニズム、相互接続サービス品質メカニズム、メモリ帯域幅サービス品質メカニズム、入／出力サービス品質メカニズム、ラストレベルキャッシュサービス品質メカニズム、またはネットワークサービス品質メカニズムのうちの１または複数に少なくとも部分的に基づいてミティゲーションコマンドを送信するための手段を含む、請求項１８から２２のいずれか一項に記載の装置。