JP2023057535A - コンピュータ実装方法、システムおよびコンピュータプログラム（ワークロード実行のための動的スケーリング） - Google Patents

Abstract

【課題】無制限／無計画のクラウド拡張の結果から例えば、管理コスト、チャージバック、容量およびリソースなどの考慮事項について懸念しているＩＴ管理者にとって大きな脅威が生じている。【解決手段】本発明の態様は、１または複数のタスクを有するワークロードをコントローラによって受信する段階と、第１のサイドカーコンテナを有する第１のポッドを生成する段階と、ワークロードとポッドに関する１または複数のリソース割り当てメトリックとに基づいて、第１のポッドのための１または複数の一時的コンテナを生成する段階と、１または複数の一時的コンテナ内で１または複数のタスクを実行する段階と、ポッドに関する１または複数のリソース割り当てメトリックをモニタリングする段階と、ポッドに関する１または複数のリソース割り当てメトリックとワークロードとに基づいて、第１のポッド内に少なくとも１つの新たな一時的コンテナを生成する段階とを含む。【選択図】図１１

Description

本発明は、概して、データ管理に関し、より詳細には、クラウド環境におけるワークロード実行の動的スケーリングに関する。

クラウドコンピューティングとは、情報コンピューティングサービス（すなわち、クラウドサービス）を供給するために、ローカルサーバ上で行うのではなく、パブリックネットワーク（例えば、インターネット）上にホストされているリモートサーバのネットワークを使用する行為を指す。これらのクラウドサービスをサービス利用者（すなわち、クラウドサービス利用者）に提供するネットワークアーキテクチャ（例えば、ハードウェアおよびソフトウェアを備える仮想化情報処理環境）は「クラウド」と称され、パブリッククラウド（例えば、クラウドサービス利用者にパブリックに提供されるクラウドサービス）もしくはプライベートクラウド（例えば、企業内のクラウドサービス利用者の特定のグループのみにクラウドサービスを供給するプライベートネットワークまたはデータセンタ）、またはコミュニティクラウド（例えば、限られた一組のクラウドサービス利用者、例えば、特定のステート／リージョンまたはステート／リージョンのセットをもつ機関にパブリックに提供されるクラウドサービスのセット）、専用の／ホストされるプライベートクラウド、または他の新進のクラウドサービス供給モデルであり得る。クラウドコンピューティングの根底にある意図は、コンピューティングリソースおよび情報技術（ＩＴ）サービスへの簡単でスケーラブルなアクセスをクラウドサービス利用者に提供することである。

クラウドサービスは、大きく４つのカテゴリ：インフラストラクチャアズアサービス（ＩａａＳ）、プラットフォームアズアサービス（ＰａａＳ）、ソフトウェアアズアサービス（ＳａａＳ）、およびマネージドサービスに分けることができる。インフラストラクチャアズアサービスとは、仮想化コンピューティングインフラストラクチャを指し、これを通じて、クラウドサービス（例えば、仮想サーバ空間、ネットワーク接続、帯域幅、ＩＰアドレス、ロードバランサなど）が提供される。クラウドにおけるプラットフォームアズアサービスとは、開発者（すなわち、クラウドサービス利用者の一種）がクラウドを使用してアプリケーションおよびサービスを構築することを可能にするようにクラウド上にホストされているソフトウェアおよびプロダクト開発ツールのセットを指す。ソフトウェアアズアサービスとは、クラウドによってホストされ、クラウドサービス利用者がオンデマンドで利用可能なアプリケーションを指す。マネージドサービスとは、任意のクラウドサービスのために管理されたサービスプロバイダが可能にする、バックアップ管理、リモートシステム管理、アプリケーション管理、セキュリティサービスなどのようなサービスを指す。

一般に、クラウドサービスは、３つの明確な特性を有し、それらにより、従来どおりホストされるサービスから区別される。こうした明確な特性の１つめは、それがサービス利用者にオンデマンドで（例えば、分または時間単位で）販売されることである。こうした明確な特性の２つめは、それが動的である（例えば、サービス利用者は、いかなる時点でも望むだけのサービスを受けることができる）ことである。こうした明確な特性の３つめは、プライベートクラウドまたはハイブリッドクラウドではなく特にパブリッククラウドに該当するものであるが、サービスがクラウドサービスプロバイダによって完全に管理されている（例えば、サービス利用者は、好適に装備されたクライアントデバイスおよびネットワーク接続のみを必要とする）ことである。この第３の機能は、具体的にはパブリッククラウドに関連する。しかしながら、プライベートクラウドは内部ＩＴ部門またはＩＴＯ（ＩＴアウトソーシング）契約によって管理されてもよい。これらの例では、Ｉ＆Ｏ（インフラストラクチャ＆動作）管理者がクラウドプロバイダとして機能し、したがって、この第３の機能は同様の関連性をもつことになる。

クラウドは、組織の効果を高めてコストを節約する方途として、ビジネスおよびＩＴユーザにより急速に採用されている。この機会と共に、企業には対処すべきいくつかの新たな難題および大きなリスクが生じる。例えば、ビジネスユーザは、ビジネスニーズを満たす独自のクラウド機能（例えば、ＩａａＳ、ＰａａＳ、およびＳａａＳ）に急速に投資しており、アプリケーション開発者は、ツールおよび環境をプロビジョニングするのにＩＴを関与させることなく迅速に動くことを望んでいる。

こうした動きにより、無制限／無計画のクラウド拡張の結果から、例えば、管理コスト、チャージバック、容量およびリソースなどの考慮事項について懸念しているＩＴ管理者にとって、大きな脅威が生じている。

本発明の実施形態は、クラウド環境におけるワークロード実行の動的スケーリングを対象とする。コンピュータ実装方法の非限定的な例は、コントローラにより、１または複数のタスクを有するワークロードを受信する段階と、第１のサイドカーコンテナを有する第１のポッドを生成する段階と、ワークロードとポッドに関する１または複数のリソース割り当てメトリックとに基づいて、第１のポッドのための１または複数の一時的コンテナを生成する段階と、１または複数の一時的コンテナ内で１または複数のタスクを実行する段階と、ポッドに関する１または複数のリソース割り当てメトリックをモニタリングする段階と、ポッドに関する１または複数のリソース割り当てメトリックとワークロードとに基づいて、第１のポッド内に少なくとも１つの新たな一時的コンテナを生成する段階とを含む。

本発明の他の実施形態は、上記方法の特徴を、コンピュータシステムおよびコンピュータプログラム製品に実装する。

さらなる技術的特徴および利益が本発明の技術によって実現される。本発明の実施形態および態様が本明細書において詳細に説明され、特許請求される主題の一部とみなされる。より良好な理解のためには、詳細な説明および図面を参照されたい。

本明細書で説明される排他的権利の詳細は、明細書末尾の特許請求の範囲において具体的に示され、明確に特許請求される。本発明の実施形態の前述および他の特徴および利点は、添付図面と併せて読まれる以下の詳細な説明から明らかである。

本発明の１または複数の実施形態によるクラウドコンピューティング環境を示す。

本発明の１または複数の実施形態による抽象化モデル層を示す。

本発明の１または複数の実施形態を実装するのに使用するためのコンピュータシステムのブロック図を示す。

完全仮想化およびＯＳレベル仮想化を使用するコンピュートノードを示す。

完全仮想化およびＯＳレベル仮想化を使用するコンピュートノードを示す。

本発明の１または複数の実施形態によるＫｕｂｅｒｎｅｔｅｓポッドのブロック図を示す。

本発明の１または複数の実施形態によるポッドのリソース管理を行うポッドマネージャのブロック図を示す。

本発明の１または複数の実施形態によるポッドマネージャおよび水平ポッドオートスケーラのブロック図を示す。

本発明の１または複数の実施形態によるポッドマネージャおよびワークロードキューと通信しているコントローラモジュールのブロック図を示す。

本発明の１または複数の実施形態によるクラウド環境におけるワークロード実行を動的にスケーリングするためのシステムを示す。

本発明の１または複数の実施形態によるクラウド環境におけるワークロード実行を動的にスケーリングするための方法のフロー図を示す。

ここで示される図は例示的である。本発明の趣旨から逸脱することなく、図または図中で説明される動作に多くの変更を行うことができる。例えば、アクションを異なる順序において実行することもできるし、アクションを追加、削除または修正することもできる。また、「結合される（ｃｏｕｐｌｅｄ）」という用語およびその変形は、２つの要素間に通信経路があることを表し、それらの間に介在する要素／接続のない要素間の直接接続を暗示するものではない。これらの変形の全てが本明細書の一部とみなされる。

本発明の１または複数の実施形態は、クラウド環境におけるワークロード実行を動的にスケーリングするためのシステムおよび方法を提供する。クラウド環境は、コンテナ化されたワークロードおよびサービスを管理するプラットフォーム、例えば、Ｋｕｂｅｒｎｅｔｅｓなどであり得る。Ｋｕｂｅｒｎｅｔｅｓは、ユーザワークロードに代わって、コンピューティング、ネットワーキング、およびストレージインフラストラクチャを調整する。本発明の態様は、Ｋｕｂｅｒｎｅｔｅｓプラットフォームでの実行環境（ポッド）をスケーリングするためのシステムおよびプロセスを提供する。ポッドは、Ｋｕｂｅｒｎｅｔｅｓの基本ビルディングブロック、すなわち、作成され展開されるＫｕｂｅｒｎｅｔｅｓオブジェクトモデルにおいて最も小さく最も単純なユニットである。ポッドは、分散型コンピューティング環境、例えば、コンピュータクラスタにおける実行過程を表す。ポッドは、アプリケーションコンテナ（または場合によっては複数のコンテナ）をカプセル化し、ストレージリソースと、ユニークなネットワークＩＰと、コンテナがどのように実行すべきかを統制するオプションとを含む。ポッドは、展開のユニット、すなわち、単一のコンテナ、または密に結合されリソースを共有する少数のコンテナのいずれかから成り得る、Ｋｕｂｅｒｎｅｔｅｓにおけるアプリケーションの単一のインスタンスを表す。本発明のさらなる態様は、あるポッドにおいて、そのポッドについてモニタリングされるリソース割り当てメトリックに基づいて複数のコンテナを作成することを可能にする。これらの複数のコンテナは、タスク毎に新たなポッドもしくはコンテナまたはその組み合わせを絶えず生成する必要なしに、タスクを並行して実行することを可能にする。さらに、より大きなワークロードのために、複数のタスクを並行して実行するように、ポッドマネージャおよびコントローラによって管理される、これらの複数のコンテナを含む追加のポッドを生成することができる。利用可能なリソースが変化した場合、ポッドもしくはコンテナまたはその組み合わせの作成もしくは終了またはその両方を行うことができる。これにより、タスクを並行して実行するようにポッドおよびコンテナをスケーリングしてタスク実行を最大化することが可能になる。

新進の情報技術（ＩＴ）供給モデルはクラウドコンピューティングであり、これにより、共有リソース、ソフトウェア、および情報がインターネットを介してコンピュータおよび他のデバイスにオンデマンドで提供される。クラウドコンピューティングは、ＩＴコストおよび複雑性を著しく低減させると共に、ワークロード最適化およびサービス供給を改善することができる。このアプローチでは、ＨＴＴＰを介して従来のＷｅｂブラウザによってアクセス可能なインターネットベースのリソースから、アプリケーションインスタンスをホストし、利用可能にすることができる。例示的なアプリケーションは、電子メール、カレンダ、連絡先管理、およびインスタントメッセージなどのメッセージ機能の一般的なセットを提供するものであり得る。次にユーザがインターネット上でサービスに直接アクセスする。このサービスを使用することで、企業は、その電子メール、カレンダ、もしくはコラボレーションインフラストラクチャ、またはその組み合わせをクラウド内に置き、エンドユーザは、適切なクライアントを使用して、各自の電子メールにアクセスしたり、カレンダ動作を実行したりする。

クラウドコンピュートリソースは、通常、仮想サーバか、またはデータセンタ施設内の物理サーバ上にマッピングされるいわゆる「仮想マシン」（ＶＭ）の中でアプリケーションを実行する仮想化アーキテクチャを使用して、１または複数のネットワークアプリケーションを実行する大きなサーバファームに収容されるのが一般的である。仮想マシンは通常、物理リソースを仮想マシンに割り当てる制御プログラムであるハイパーバイザの上で実行する。近代のハイパーバイザは、主にホストＣＰＵから仮想化専用ハードウェア機能を使用することによって効率的かつ完全な仮想化を行うハードウェア支援仮想化を使用することが多い。

オペレーティングシステム（ＯＳ）レベル仮想化は、仮想化のための別のアプローチである。ＯＳレベル仮想化は、コンテナと通常呼ばれる複数の隔離されたユーザ空間インスタンスについて、オペレーティングシステムカーネルのサポートを介してコンピュータのリソースをパーティション化することを可能にする。したがって、この仮想化アプローチは、コンテナベースの仮想化と称されることが多い。コンテナは、エンドユーザには、別個のマシンと区別がつかない場合がある。コンテナベースの仮想化は、クラウド環境において広く使用されている。例えば、現在のデータセンタの多くにおいて、ワークロードはコンテナ内で実行される。コンテナは、ワークロードからの変化する需要に対するより良好な俊敏性およびオーケストレーションを提供することができる。コンテナベースの仮想化には、多くの技術が使用されている。これらの技術には、例えば、後述する名前空間およびｃｇｒｏｕｐが含まれる。

代表的なコンテナクラウドコンピュータ環境では、ホストがＬｉｎｕｘ（登録商標）カーネルなどのオペレーティングシステムを実行する。上記のように、「コンテナ」という用語は、単一のオペレーティングシステムカーネルを使用して制御ホスト上で隔離されたコンピューティングワークロード（コンテナ）を実行するためのＯＳレベル仮想化メカニズムを指す。このアプローチは、単一のオペレーティングシステムによって管理されているリソースを、隔離されたグループへと効果的にパーティション化して、隔離されたグループ間のリソース使用量の相反する需要のバランスを良くする。他のタイプの仮想化とは対照的に、命令レベルのエミュレーションとジャストインタイムコンパイルのどちらも必要ない。加えて、コンテナは、特別な解釈のメカニズムなしにコアＣＰＵにネイティブな命令を実行できる。オペレーティングシステムは、コンテナを作成してコンテナに入る方途を提供することにより、アプリケーションに、基礎となるリソースの多くを共有すると同時に別個のマシンで実行しているような錯覚を与える。

本開示はクラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載される教示の実装形態はクラウドコンピューティング環境に限定されないことを理解されたい。むしろ、本発明の実施形態は、現在知られているかまたは今後に開発される任意の他のタイプのコンピューティング環境と併せて実装することが可能である。

クラウドコンピューティングは、管理労力またはサービスプロバイダとのインタラクションを最小限に抑えながら迅速にプロビジョニングおよびリリースできる構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールに対する簡便なオンデマンドネットワークアクセスを可能にするための、サービス供給モデルである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つの展開モデルを含み得る。

特性は以下のとおりである。

オンデマンドセルフサービス：クラウド利用者は、サービスプロバイダとのヒューマンインタラクションを必要とすることなく、必要に応じて自動的に、サーバタイムおよびネットワークストレージなどのコンピューティング機能を一方的にプロビジョニングすることができる。

幅広いネットワークアクセス：複数の機能が、ネットワークを通じて利用可能であり、異なる種類のシンクライアントプラットフォームまたはシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、およびＰＤＡ）による使用を促進する標準的なメカニズムによってアクセスされる。

リソースプーリング：プロバイダのコンピューティングリソースが、マルチテナントモデルを使用して複数の利用者にサービス提供するようにプールされ、異なる物理リソースおよび仮想リソースが、需要に従って動的に割り当てられ、また再割り当てされる。利用者は概して、提供されたリソースの正確な位置に対する制御権も知識も有しないが、より高い抽象化レベル（例えば、国、州、またはデータセンタ）において位置を指定することが可能であり得るという点で、位置の独立性がある。

迅速な順応性：複数の機能を迅速かつ柔軟に、場合によっては自動的にプロビジョニングし、即座にスケールアウトし、迅速にリリースして即座にスケールインすることができる。利用者にとっては、多くの場合、プロビジョニングに利用可能な機能が無制限にあるように見え、いつでも任意の量で購入可能である。

測定されたサービス：クラウドシステムは、ある程度の抽象化レベルでサービスのタイプ（例えば、ストレージ、処理、帯域幅、およびアクティブユーザアカウント）に適切な計測機能を活用することにより、リソース使用を自動的に制御し最適化する。リソース使用量をモニタリングし、制御し、レポートすることで、利用されるサービスのプロバイダおよび利用者の両方に透明性を提供することができる。

サービスとしてのインフラストラクチャ（ＩａａＳ）：利用者に提供される機能は、処理、ストレージ、ネットワーク、および他の基礎的なコンピューティングリソースをプロビジョニングすることであり、利用者は、オペレーティングシステムおよびアプリケーションを含み得る任意のソフトウェアを展開して実行することが可能である。利用者は、基礎となるクラウドインフラストラクチャを管理することも制御することもないが、オペレーティングシステム、ストレージ、展開したアプリケーションに対する制御権を有し、場合によっては、選択されたネットワーキングコンポーネント（例えば、ホストファイアウォール）の限定的な制御権を有する。

展開モデルは以下のとおりである。

プライベートクラウド：クラウドインフラストラクチャは、ある組織のためだけに運用される。プライベートクラウドは、その組織またはサードパーティによって管理されてもよいし、オンプレミスまたはオフプレミスで存在してもよい。

コミュニティクラウド：クラウドインフラストラクチャは、幾つかの組織で共有されており、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンスに関わる考慮事項）を有する特定のコミュニティをサポートする。コミュニティクラウドは、これらの組織またはサードパーティによって管理されてもよいし、オンプレミスまたはオフプレミスで存在してもよい。

パブリッククラウド：クラウドインフラストラクチャは、一般大衆または大規模な業界団体に利用可能にされ、クラウドサービスを販売する組織により所有されている。

ハイブリッドクラウド：クラウドインフラストラクチャは、２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）からなる構成物であり、各クラウドは独自のエンティティのままであるが、データおよびアプリケーションの移植性（例えば、クラウド間で負荷分散するためのクラウドバースト）を可能にする標準化技術または独自技術によって共に結びつけられている。

クラウドコンピューティング環境は、ステートレス性、低結合性、モジュール性、および意味相互運用性を重視したサービス指向型である。クラウドコンピューティングの中心には、相互接続されたノードからなるネットワークを含むインフラストラクチャが存在する。

ここで図１を参照すると、例示的なクラウドコンピューティング環境５０が示されている。図示のように、クラウドコンピューティング環境５０は、１または複数のクラウドコンピューティングノード１０を備え、これと、クラウド利用者が使用するローカルコンピューティングデバイス、例えばパーソナルデジタルアシスタント（ＰＤＡ）もしくは携帯電話５４Ａ、デスクトップコンピュータ５４Ｂ、ラップトップコンピュータ５４Ｃ、もしくは自動車コンピュータシステム５４Ｎ、またはその組み合わせなどが通信し得る。ノード１０は、互いに通信し得る。これらは、上記で説明したようなプライベートクラウド、コミュニティクラウド、パブリッククラウド、もしくはハイブリッドクラウド、またはこれらの組み合わせなどの、１または複数のネットワーク内で物理的にまたは仮想的にグループ化されていてもよい（図示せず）。これにより、クラウドコンピューティング環境５０が、サービスとしてのインフラストラクチャ、プラットフォーム、もしくはソフトウェア、またはその組み合わせを提供することが可能になり、こうしたもののために、クラウド利用者がローカルコンピューティングデバイス上にリソースを維持する必要はない。図１に示されるコンピューティングデバイス５４Ａ～Ｎのタイプが例示のみを意図していること、また、コンピューティングノード１０およびクラウドコンピューティング環境５０が、任意のタイプのネットワークもしくはネットワークアドレス可能な接続（例えば、ｗｅｂブラウザを使用する）またはその両方を介して、任意のタイプのコンピュータ化デバイスと通信し得ることは理解されよう。

ここで図２を参照すると、クラウドコンピューティング環境５０（図１）によって提供される機能抽象化層のセットが示されている。図２に示されたコンポーネント、層、および機能が、例示のみを意図するものであり、本発明の実施形態がこれに限定されるものではないことを、予め理解されたい。図示のように、以下の層および対応する機能が提供される。

ハードウェアおよびソフトウェア層６０には、ハードウェアコンポーネントおよびソフトウェアコンポーネントが含まれている。ハードウェアコンポーネントの例には、メインフレーム６１、ＲＩＳＣ（縮小命令セットコンピュータ）アーキテクチャベースのサーバ６２、サーバ６３、ブレードサーバ６４、ストレージデバイス６５、ならびにネットワークおよびネットワーキングコンポーネント６６が含まれる。いくつかの実施形態では、ソフトウェアコンポーネントには、ネットワークアプリケーションサーバソフトウェア６７およびデータベースソフトウェア６８が含まれる。

仮想化層７０は、抽象化層を提供し、ここから、以下の仮想エンティティの例：仮想サーバ７１、仮想ストレージ７２、仮想プライベートネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティングシステム７４、ならびに仮想クライアント７５が提供され得る。

一例において、管理層８０は、以下で説明される機能を提供し得る。リソースプロビジョニング８１では、クラウドコンピューティング環境内でタスクを実行するのに利用されるコンピューティングリソースおよび他のリソースの動的調達を行う。計測および価格設定８２では、クラウドコンピューティング環境内でリソースが利用されるときのコストの追跡を行い、これらのリソースの消費に対して課金または請求を行う。一例において、これらのリソースは、アプリケーションソフトウェアライセンスを備え得る。セキュリティでは、クラウド利用者およびタスクの同一性確認、ならびにデータおよび他のリソースの保護を行う。ユーザポータル８３では、利用者およびシステム管理者のためにクラウドコンピューティング環境へのアクセスを行う。サービスレベル管理８４では、必要なサービスレベルが満たされるように、クラウドコンピューティングリソースの割り当ておよび管理を行う。サービスレベルアグリーメント（ＳＬＡ）計画および履行８５は、将来の要件がＳＬＡに従って予期されるクラウドコンピューティングリソースの事前の取り決めおよび調達を行う。

ワークロード層９０は、クラウドコンピューティング環境が利用され得る機能の例を提供する。この層から提供され得るワークロードおよび機能の例には、マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想教室教育の供給９３、データ解析処理９４、トランザクション処理９５、およびワークロード実行のための動的スケーリング９６が含まれる。

図３を参照すると、本明細書の教示を実施するための処理システム３００の一実施形態が示されている。処理システム３００は、コンピューティングノード１０として実装することができる。さらに、システム３００の要素の機能の一部または全部をクラウド５０のノード１０（図１および２に示す）として実装してもよい。クラウドコンピューティングノード１０は、好適なクラウドコンピューティングノードの一例に過ぎず、本明細書で説明する発明の実施形態の使用または機能の範囲に関する何らかの制限を示唆することを意図するものではない。この実施形態では、システム３００は、１または複数の中央処理装置（プロセッサ）２１ａ、２１ｂ、２１ｃなど（プロセッサ２１と総称または汎称される）を有する。１または複数の実施形態において、各プロセッサ２１は、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサを含み得る。プロセッサ２１は、システムバス３３を介してシステムメモリ３４および様々な他のコンポーネントに結合されている。リードオンリメモリ（ＲＯＭ）２２は、システムバス３３に結合されており、システム３００の特定の基本機能を制御する基本入力／出力システム（ＢＩＯＳ）を含んでいてもよい。

図３はさらに、システムバス３３に結合された入力／出力（Ｉ／Ｏ）アダプタ２７およびネットワークアダプタ２６を示す。Ｉ／Ｏアダプタ２７は、ハードディスク２３もしくはテープストレージドライブ２５またはその両方、または他の任意の同様のコンポーネントと通信するスモールコンピュータシステムインタフェース（ＳＣＳＩ）アダプタであり得る。Ｉ／Ｏアダプタ２７、ハードディスク２３、およびテープストレージデバイス２５は、本明細書ではマスストレージ２４と総称される。処理システム３００上で実行されるオペレーティングシステム４０は、マスストレージ２４に格納され得る。ネットワークアダプタ２６は、バス３３を外部ネットワーク３６に相互接続し、データ処理システム３００が他のそのようなシステムと通信することを可能にする。グラフィックス集約的なアプリケーションの性能を改善するグラフィックスアダプタおよびビデオコントローラを含み得るディスプレイアダプタ３２により、システムバス３３にスクリーン（例えば、ディスプレイモニタ）３５が接続される。一実施形態では、アダプタ２７、２６、および３２は、中間バスブリッジ（図示せず）を介してシステムバス３３に接続される１または複数のＩ／Ｏバスに接続されてもよい。ハードディスクコントローラ、ネットワークアダプタ、およびグラフィックスアダプタなどの周辺デバイスを接続するための好適なＩ／Ｏバスは、通常、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）などの共通プロトコルを含む。追加の入力／出力デバイスが、ユーザインタフェースアダプタ２８およびディスプレイアダプタ３２を介してシステムバス３３に接続されるものとして示されている。キーボード２９、マウス３０、およびスピーカ３１は全て、例えば複数のデバイスアダプタを単一の集積回路に統合するスーパーＩ／Ｏチップを含み得るユーザインタフェースアダプタ２８を介してバス３３に相互接続されている。

例示的な実施形態において、処理システム３００は、グラフィックス処理ユニット４１を含む。グラフィックス処理ユニット４１は、ディスプレイに出力するように意図されたフレームバッファ内での画像の作成を加速するためにメモリを操作および変更するように設計された専用電子回路である。一般に、グラフィックス処理ユニット４１は、コンピュータグラフィックスの操作および画像処理において非常に効率的であり、高度に並列な構造を有するので、大きなブロックのデータの処理が並行して行われるアルゴリズムの場合に汎用ＣＰＵよりも効果的である。

したがって、図３のように構成されている場合、システム３００には、プロセッサ２１の形態の処理機能、システムメモリ３４およびマスストレージ２４を含むストレージ機能、キーボード２９およびマウス３０などの入力手段、ならびにスピーカ３１およびディスプレイ３５を含む出力機能が含まれる。一実施形態では、システムメモリ３４およびマスストレージ２４の一部は、集合的にオペレーティングシステムを格納し、図３に示される様々なコンポーネントの機能を連係させる。

図４および５は、完全仮想化およびＯＳレベル仮想化を使用するコンピュートノード４００および５００をそれぞれ示す。本発明のいくつかの実施形態は、これらのタイプのコンピュートノードのいずれかを用い、また、単一または複数のコンピュートノードでこれらのコンピュートノードが組み合わせられたハイブリッド環境において使用され得る。

図４に示されるように、コンピュートノード４００の各々には、ハードウェア４０６が含まれ、これには、プロセッサ（またはＣＰＵ）４０７、メモリ４０８、ネットワークインタフェースカード（ＮＩＣ）４０９、およびディスクドライブ４１０が含まれ得る。ディスクドライブ４１０は、ソリッドステートドライブもしくはハードディスクドライブ、またはこれら２つの何らかの組み合わせを含み得る。コンピュートノード４００は、ハードウェア上でホストオペレーティングシステム４０５を実行する。コンピュートノード４００には、ハードウェア４０６を共有し管理するためのハイパーバイザ４０４も含まれ、互いから隔離された複数の異なる環境４０１が同じ物理マシン４００上で実行されることが可能になっている。ハイパーバイザ４０４は、主にホストＣＰＵ ４０７から仮想化専用ハードウェア機能を使用することによって効率的かつ完全な仮想化を行うハードウェア支援仮想化を使用し得る。各コンピュートノード４００には、１または複数の仮想マシン４０１が含まれ、その各々が、ゲストオペレーティングシステム４０３と、ゲストオペレーティングシステム４０３上で実行する１または複数のアプリケーションプログラム（またはアプリケーション）４０２とを含む。

同様に、図５に示されるように、コンピュートノード５００の各々には、ハードウェア５０６が含まれ、これには、プロセッサ（またはＣＰＵ）５０７、メモリ５０８、ネットワークインタフェースカード（ＮＩＣ）５０９、およびディスクドライブ５１０が含まれ得る。ディスクドライブ５１０は、ソリッドステートドライブもしくはハードディスクドライブ、またはこれら２つの何らかの組み合わせを含み得る。コンピュートノード５００は、ハードウェア上でホストオペレーティングシステム５０５を実行する。各コンピュートノード５００には、１または複数のコンテナ５０１が含まれ、その各々が、１または複数のアプリケーション５０２を含む。

いくつかの実施形態によると、コンピュートノード５００には、１または複数のポッド５０３が含まれていてもよく、その各々には、１または複数のコンテナ５０１が含まれ、その各々には、１または複数のアプリケーション５０２が含まれる。例えば、Ｋｕｂｅｒｎｅｔｅｓにおいて、コンテナはポッド内で実行される。

「Ｋｕｂｅｒｎｅｔｅｓ」は、コンテナ化されたワークロードおよびサービスを管理するための、ポータブルで拡張可能なオープンソースプラットフォームである。これは、宣言的構成と自動化の両方を容易にする。Ｋｕｂｅｒｎｅｔｅｓは、ユーザワークロードに代わって、コンピューティング、ネットワーキング、およびストレージインフラストラクチャを調整する。Ｋｕｂｅｒｎｅｔｅｓはオーケストレーションフレームワークの一例である。複数のコンピュートノードにおけるコンテナ化されたワークロードが、コンテナオーケストレーションマネージャ（ＣＯＭ）によって管理され得る。コンテナオーケストレーションマネージャ（ＣＯＭ）の一例は、Ｋｕｂｅｒｎｅｔｅｓ Ｍａｓｔｅｒである。幾つかのバイナリコンポーネント（例えば、マスタコンポーネント、ノードコンポーネント、およびアドオン）が、機能的なＫｕｂｅｒｎｅｔｅｓクラスタを供給するために利用される。マスタコンポーネントは、Ｋｕｂｅｒｎｅｔｅｓクラスタの制御プレーン（「Ｋｕｂｅｒｎｅｔｅｓ制御プレーン」とも称される）を提供する。マスタコンポーネントは、ｋｕｂｅ－ａｐｉｓｅｒｖｅｒ、ｅｔｃｄ、ｋｕｂｅ－ｓｃｈｅｄｕｌｅｒ、ｋｕｂｅ－ｃｏｎｔｒｏｌｌｅｒ－ｍａｎａｇｅｒ、およびｃｌｏｕｄ－ｃｏｎｔｒｏｌｌｅｒ－ｍａｎａｇｅｒを含み得るが、これらに限定されない。マスタコンポーネントは、Ｋｕｂｅｒｎｅｔｅｓクラスタについての包括的な決断を下す。例えば、マスタコンポーネントは、スケジュールを扱う。加えて、マスタコンポーネントは、クラスタイベントの検出およびクラスタイベントへの応答において利用される。例えば、マスタコンポーネントは、複製コントローラの「レプリカ」フィールドが満たされていない場合に、新たなポッドの起動を担当する。マスタコンポーネントは、クラスタ内の任意のマシンで実行可能である。とはいえ、セットアップスクリプトは通常、全てのマスタコンポーネントを同じマシン上で開始させ、ユーザコンテナをそのマシンで実行することはない。

ノードコンポーネントは、Ｋｕｂｅｒｎｅｔｅｓクラスタ内のあらゆるコンピュートノード上で実行する。ノードコンポーネントは、実行しているポッドの維持およびＫｕｂｅｒｎｅｔｅｓランタイム環境の提供を担当する。ノードコンポーネントは、ｋｕｂｅｌｅｔ、ｋｕｂｅ－ｐｒｏｘｙ、およびコンテナランタイムを含み得るが、これらに限定されない。ｋｕｂｅｌｅｔは、コンテナがポッド内で実行していることを確認するエージェントである。ｋｕｂｅｌｅｔは、様々なメカニズムを介して提供されたＰｏｄＳｐｅｃのセットにおいて指定されたコンテナが実行中で健全であることを保証する。ｋｕｂｅ－ｐｒｏｘｙはネットワークプロキシである。ｋｕｂｅ－ｐｒｏｘｙは、コンピュートノードに対するネットワークルールを維持し、接続転送を実行することにより、Ｋｕｂｅｒｎｅｔｅｓサービス抽象化を可能にする。

コンテナランタイムは、コンテナの実行を担当するソフトウェアである。より具体的に言えば、コンテナランタイムは、コンテナのライフサイクルを扱うノードコンポーネントである。コンテナランタイムは、コンテナワークロードの作成、開始、停止、および除去などの基本概念を実装する。Ｋｕｂｅｒｎｅｔｅｓは、Ｄｏｃｋｅｒ、ｃｏｎｔａｉｎｅｒｄ、ＣＲＩ－Ｏ、およびｒｋｔｌｅｔを含むがこれらに限定されない幾つかのランタイムをサポートする。

より一般的に言えば、Ｋｕｂｅｒｎｅｔｅｓは、Ｋｕｂｅｒｎｅｔｅｓにより提供されるコンテナランタイムインタフェース（ＣＲＩ）のあらゆる実装をサポートする。ＣＲＩは、様々なコンテナランタイムの容易なプラグインを可能にする。ＣＲＩがＫｕｂｅｒｎｅｔｅｓ １．５に導入される前には、デフォルトのＤｏｃｋｅｒイメージレポジトリ、およびそのデフォルトのＯＣＩ準拠ランタイムであるｒｕｎＣのみが使用されていた。オープンコンテナイニシアティブ（ＯＣＩ）により、ＯＣＩ準拠コンテナランタイムのＡＰＩを詳細に示すランタイム仕様が作成された。ｒｕｎＣ、ｒｕｎＶ、およびＩｎｔｅｌのＣｌｅａｒ Ｃｏｎｔａｉｎｅｒｓ（「ｃｃ－ｒｕｎｔｉｍｅ」としても知られる）は、ＯＣＩ準拠コンテナランタイムの例である。ｒｕｎＣは、コンテナのチェックポイントおよびリストアを行うために、ＣＲＩＵ、すなわち、以下で説明するユーザ空間におけるチェックポイント／リストアのためのビルトインサポートを有する。ｒｕｎＶは、ＯＣＩ用のハイパーバイザベースのＤｏｃｋｅｒランタイムである。ｒｕｎＶは、「Ｈｙｐｅｒ ｒｕｎＶ」とも称される。

ＣＲＩランタイムは、より高い抽象化レベルにあり、ＯＣＩ準拠ランタイムと混同してはならない。ＣＲＩランタイムは、「ＣＲＩシム」とも称される。ＣＲＩシムは、ｃｒｉ－ｃｏｎｔａｉｎｅｒｄ、ＣＲＩ－Ｏ、ｄｏｃｋｅｒｓｈｉｍ、およびｆｒａｋｔｉを含む。いくつかのＣＲＩシム（例えば、ｃｒｉ－ｃｏｎｔａｉｎｅｒｄ、ＣＲＩ－Ｏ、およびｄｏｃｋｅｒｓｈｉｍ）は、ＯＣＩ準拠ランタイムを呼び出すが、その他（例えば、ｆｒａｋｔｉ）は、モノリシックなソリューションである。

少なくともいくつかのＣＲＩシムは、単一のコンピュートノード上で実行する複数のランタイムをサポートする。例えば、ＣＲＩ－Ｏは、信頼できるサンドボックスおよび信頼できないサンドボックスの概念をサポートする。Ｋｕｂｅｒｎｅｔｅｓでは、１または複数のＶＭベースのポッドと、１または複数のｃｇｒｏｕｐ／名前空間ベースのポッドとを合わせたものを、ポッドアノテーションおよびデフォルトＣＲＩ－Ｏ構成に基づいて、単一のコンピュートノード上で実行できる。ｒｕｎＣによって行われるのと同様に、名前空間およびｃｇｒｏｕｐを介して、ＶＭベースのポッド内で実行しているコンテナが隔離および管理され得る。

アドオンは、クラスタ機能の実装を担当するポッドおよびサービスである。アドオンは、クラスタＤＮＳ（すなわち、ＫｕｂｅｒｎｅｔｅｓサービスのためのＤＮＳレコードを提供するＤＮＳサーバ）、ダッシュボード（すなわち、クラスタ内で実行しているアプリケーションならびにクラスタ自体の管理およびトラブルシュートをユーザが行うことを可能にするＫｕｂｅｒｎｅｔｅｓクラスタ用ｗｅｂベースＵＩ）、コンテナリソースモニタリング（すなわち、中央データベース内のコンテナについての一般的な時系列メトリックの記録、ならびにそのデータベースに記録されたデータをブラウズするためのＵＩの提供を担当する）、およびクラスタレベルロギング（すなわち、検索／ブラウズインタフェースを備えた中央ログストアへのコンテナログの保存を担当する）を含むが、これらに限定されない。

ここで、本発明の態様により具体的に関連する技術の概要を参照すると、コンテナ化されたワークロードおよびサービスを管理するＫｕｂｅｒｎｅｔｅｓプラットフォームは、１または複数のコンテナを含むポッドを立ち上げるための起動プロセスを必要とする。このポッド起動プロセスは、３段階を要する。第１の段階は、初期化／準備段階である。第２の段階は、コンテナランタイムインタフェース（ＣＲＩ）によるサンドボックスコンテナの作成である。最後（第３）の段階は、実際のコンテナの作成である。第１および第２の段階は、かなりの期間（例えば、２～３秒）を要する場合がある。Ｋｕｂｅｒｎｅｔｅｓポッドは、タスク毎にこのプロセスを端から端まで通過しなければならず、短いワークロードを実行するのにかなりの時間を要する場合がある。この期間が問題を生じさせ得る例示的なケースは、例えば２つある。第１のケースは、各ユーザ論理に対してＫｕｂｅｒｎｅｔｅｓクラスタ内で１または複数のポッドを開始する必要がある場合に、クラウド環境内の瞬時スループットが高いときである。これは、多数の同様のポッドを開始させる。これらの同様のポッドは、ＡＰＩの呼び出しのような同様の短いワークロードのためのものであり得る。ポッドを開始するのに２～３秒またはそれ以上かかるので、ワークロード全体の大部分が占められる。第２のケースは、パイプラインがあり、１つの段階が複数のタスクを含む可能性があり、同様のＫｕｂｅｒｎｅｔｅｓがタスク毎にポッドを開始する必要があるときである。パイプラインにおけるタスクの数が大きければ、ハードウェアの限界のために、全てのポッドを開始することはできない。

本発明の１または複数の実施形態は、クラウド環境におけるワークロード実行を動的にスケーリングするためのシステムおよびプロセスを提供することにより、従来技術の上記欠点に対処する。複数の態様は、Ｋｕｂｅｒｎｅｔｅｓクラスタのポッドにおいてワークロードを実行するように複数のコンテナを動的に開始することを含む。これらのポッドおよびコンテナにおけるワークロードの実行のために割り当てられたリソースについて、リソースメトリックおよび統計が収集され得る。ワークロードキューに基づき、Ｋｕｂｅｒｎｅｔｅｓクラスタ内の他のノードに対して、ポッドのスケールアップもしくはスケールダウンまたはその両方を行うことができる。そして、コンテナをワークロードに関連付けて、ワークロードの実行中にモニタリングすることができる。

図６は、本発明の１または複数の実施形態によるＫｕｂｅｒｎｅｔｅｓポッドのブロック図を示す。Ｋｕｂｅｒｎｅｔｅｓポッドは、分散型コンピューティング環境、例えば、コンピュータクラスタにおける実行過程を表す。ポッドは、アプリケーションコンテナ（または場合によっては複数のコンテナ）をカプセル化し、ストレージリソースと、ユニークなネットワークＩＰと、コンテナがどのように実行すべきかを統制するオプションとを含む。典型的な構成において、Ｋｕｂｅｒｎｅｔｅｓポッド６０２は、上記で説明した３段階の作成プロセスに従わなければならないメインコンテナ６０４を動作させる。ここでのメインコンテナ６０４は、ワークロードのタスクを実行するために利用される。また、上記で言及したように、コンテナの作成が２～３秒を要することで、タスクの実行、特に実行に長い時間を必要としないタスクの実行に遅延が生じ得る。本発明の１または複数の実施形態では、ワークロードを実行するために作成されるＫｕｂｅｒｎｅｔｅｓポッド６０６が提案される。この場合、メインコンテナは、サイドカーコンテナ６０８として動作する。サイドカーコンテナ６０８は、例えば軽量のループを実行することにより、ポッド６０６が終了して結果を伝送することを防ぐ。さらに、一時的コンテナ６１０のうちの１または複数（複数）が、ポッド６０６において生成される。ワークロードおよび関連付けられたタスクは、これらの一時的コンテナ６１０で実行でき、サイドカーコンテナ６０８は、ポッドが終了することを防ぐ。サイドカーコンテナ６０８を使用すると、タスク毎に新たなコンテナを初期化してサンドボックス化する必要が回避され、ワークロードの実行時間が低減する。

本発明の１または複数の実施形態では、一時的コンテナに対するリソースメトリックを追跡するポッド管理モジュールにより、Ｋｕｂｅｒｎｅｔｅｓポッド６０６を管理することができる。現在、一時的コンテナにリソースを設定することは禁止されている。しかしながら、１または複数の実施形態では、ポッドマネージャがリソース制限をかけることにより動的に一時的コンテナを作成して、特定のコンテナがポッドリソースの限界を超えてリソースを奪うことを回避することができる。図７は、本発明の１または複数の実施形態によるポッドのリソース管理を行うポッドマネージャのブロック図を示す。１または複数の実施形態では、ポッドマネージャ７０２は、リソースメトリックＡＰＩ ７３０からのリソース利用メトリックの取得もしくは受信またはその両方を行うことができる。ポッドマネージャ７０２は、開始可能なコンテナの数を計算することができ、この数は、ワークロードもしくはユーザ定義済みのメトリックまたはその組み合わせに関する利用可能なリソースの分析に基づき得る。ポッドマネージャ７０２は次に、リソースが割り当てられているＣｇｒｏｕｐ ７１０を有するコンテナを作成し、終了させる。これらの段階は、ワークロードの実行に必要なだけ繰り返すことができる。ポッドマネージャ７０２は、コンテナランタイムインタフェース（ＣＲＩ）７０４およびコンテナランタイムエンジン７０５とインタラクトして、動的にコンテナ７２０を作成し、終了させる。サイドカーコンテナ７１８は、以前に言及したように、例えば、軽量のループを実行して、ポッド７０６が実行することを防ぐ。コンテナ７２０は、ポッド内の名前空間７０８を使用して構築できる。Ｌｉｎｕｘ（登録商標）カーネルは、「名前空間」と称される機能を有する。Ｌｉｎｕｘ（登録商標）カーネル名前空間は、Ｌｉｎｕｘ（登録商標）コンテナの主要なビルディングブロックであり、ネットワーク、プロセス、ユーザ、およびファイルシステムなどの異なる「ユーザ空間」内にアプリケーションを隔離する。名前空間は、プロセス集合体のためにシステムリソースを隔離し、仮想化する。仮想化できるリソースのいくつかの例は、プロセスＩＤ、ホスト名、ユーザＩＤなどを含む。名前空間は通常、名前空間タイプを指し、また、これらのタイプの特定のインスタンスを指すこともある。Ｌｉｎｕｘ（登録商標）オペレーティングシステムは、各名前空間タイプの単一のインスタンスで初期化される。初期化後、追加の名前空間が作成または結合されてもよい。また、Ｌｉｎｕｘ（登録商標）カーネルは、コントロールグループと呼ばれる機能も提供し、コントロールグループは、「ｃｇｒｏｕｐ」としても知られ、リソース（ＣＰＵ、メモリ、ブロックＩ／Ｏ、ネットワークなど）の制限および優先順位付けを可能にする。ｃｇｒｏｕｐ機能は、ＣＰＵカウントおよび使用量、ディスク性能、メモリ、ならびに他のプロセス限界など、様々なホストリソースを制限する。

本発明の１または複数の実施形態では、リソース割り当てもしくはワークロードまたはその組み合わせに基づいて、ポッド内に一時的コンテナを作成し、終了させることができる。また、本発明の１または複数の実施形態では、ポッドのスケールアップもしくはスケールダウンまたはその両方を行うことができる。ポッド内の一時的コンテナの数が増加するにつれ、ポッドリソースは、ポッド内に一時的コンテナをそれ以上作成できなくなる限界に近づく。この場合、水平ポッドオートスケーラ（ＨＰＡ）を利用して、ポッドのスケールアップもしくはスケールダウンまたはその両方を行うことができる。図８は、本発明の１または複数の実施形態によるポッドマネージャおよび水平ポッドオートスケーラのブロック図を示す。ポッドマネージャ８０２は、ワークロード８５０を再び受信し、リソースメトリックＡＰＩ ８３０から収集されたリソースメトリック情報を利用して、サイドカーコンテナ８１４と１または複数の一時的コンテナ８１２とを有するポッド８１０を作成することができる。ポッドマネージャ８０２は、リソースもしくはワークロードキューまたはその組み合わせに基づいて、カスタムメトリックＡＰＩ ８０４および構成を更新することによってポッドをスケールアップまたはスケールダウンするようＨＰＡ ８０６をトリガすることができる。したがって、より多くのポッド８１０を作成して、ワークロード８５０を実行できる。さらに、ワークロードキューがより小さい（閾値よりも低い）とき、ＨＰＡ ８０６はスケールダウンすることができ、１または複数のポッド８１０を終了してリソースを節約することができる。いくつかの実施形態では、ワークロード８５０は、ワークロードキューマネージャから受信され得る。複製コントローラ８０８は、複数のポッド８１０を作成することにより、ポッドをスケーリングすることができる。これは「複製」と称される。複製されたポッドは、コントローラと呼ばれる抽象化によるグループとして作成され管理され得る。

本発明の１または複数の実施形態では、複数のポッドのスケールアップもしくはスケールダウンまたはその両方を行うことができる。複数のポッドの作成に伴い、ワークロードをモニタリングし、ポッドマネージャおよびワークロードキューマネージャと通信してワークロードを維持するために、コントローラモジュールが必要とされる。図９は、本発明の１または複数の実施形態によるポッドマネージャおよびワークロードキューと通信しているコントローラモジュールのブロック図を示す。１または複数の実施形態では、コントローラ９０４は、サイドカーコンテナ９１４と１または複数の一時的コンテナ９１２とを有するポッド９１０を作成するポッドマネージャ９０２と通信することができる。コントローラ９０４は、ワークロードキュー９０８を管理するキューマネージャ９０６とも通信する。１または複数の実施形態では、ワークロードキュー９０８は、メッセージ・キューイング・テレメトリ・トランスポート（ＭＱＴＴ）キューであり得る。ＭＱＴＴキューは例示であり、本明細書で使用されるキューのタイプを限定する意図はない。本発明の１または複数の実施形態では、コントローラ９０４は、ＡＰＩサーバからのタスクの定義の取得もしくは受信またはその両方を行う。コントローラ９０４は、タスクをキュー９０８にキューマネージャ９０６を介して入れることができる。コントローラ９０４は次に、ポッドマネージャ９０２をトリガして、一時的コンテナ９１２およびサイドカーコンテナ９１４を作成させる。サイドカーコンテナ９１４は、一時的コンテナ９１２をモニタリングし、結果をメッセージキュー９０８に送信する。コントローラ９０４は、メッセージキュー９０８から結果を取得し、それにしたがってタスクを更新する。

図１０は、本発明の１または複数の実施形態によるクラウド環境におけるワークロード実行を動的にスケーリングするためのシステムを示す。システム１０００は、図６～９で説明したコンポーネントの多くを含む。したがって、システム１０００は、ポッドマネージャ１００２と、コントローラ１００４と、キューマネージャ１００６と、リソースメトリックＡＰＩ １００８と、ＨＰＡ １０１０と、複製コントローラ１０１２と、コンテナランタイムインタフェース１０１４と、ワークロード／メッセージキュー１１６とを含む。１または複数のタスク１０１８がＡＰＩサーバ１０２４から入来してコントローラ１００４に送信され得る。コントローラ１００４は、タスクをキュー１０１６にキューマネージャ１００６を通して入れる。コントローラ１００４は、ポッドマネージャ１００２をトリガして、ポッド１０３２内の一時的コンテナ１０３４、ならびにモニタリングおよびキュー１０１６への結果の送信のためのサイドカーコンテナ１０３６を作成させることができる。リソースメトリックＡＰＩ １００８は、ポッド１０３２のリソースメトリックをモニタリングする。ＨＰＡ １０１０および複製コントローラ１０１２は、タスク、リソース、もしくはワークロード、またはその組み合わせに基づいて、ポッドの追加もしくは終了またはその両方を行うことができる。ポッドマネージャ１００２は、各ポッド１０３２を管理し、リソース割り当てメトリックに基づいて一時的コンテナ１０３４の追加もしくは終了またはその両方を行うことができる。

１または複数の実施形態では、システム１０００は、Ｅｔｃｄ １０２２およびノードコンポーネントｋｕｂｅｌｅｔ １０２６などのＫｕｂｅｒｎｅｔｅｓコンポーネントも含む。Ｅｔｃｄは、任意の所与の時点におけるクラスタの全体的状態を表す、Ｋｕｂｅｒｎｅｔｅｓクラスタの構成データを確実に格納する、永続的で軽量の分散型キー値データストアである。ｋｕｂｅｌｅｔは、コンテナがポッド内で実行していることを確認するエージェントである。ｋｕｂｅｌｅｔは、様々なメカニズムを介して提供されたＰｏｄＳｐｅｃのセットにおいて指定されたコンテナが実行中で健全であることを保証する。

図１１は、本発明の１または複数の実施形態によるクラウド環境におけるワークロード実行を動的にスケーリングするための方法のフロー図を示す。方法１１００の少なくとも一部は、例えば、図１に示されるパブリッククラウド１２０もしくはプライベートクラウド１３０またはその組み合わせのような１または複数のサーバによって実行できる。方法１１００は、ブロック１１０２に示されるように、コントローラにより、１または複数のタスクを有するワークロードを受信する段階を含む。ブロック１１０４において、方法１１００は、第１のサイドカーコンテナを有する第１のポッドを生成する段階を含む。第１のポッドは、例えば、Ｋｕｂｅｒｎｅｔｅｓポッドである。ブロック１１０６において、方法１１００は、ワークロードとポッドに関する１または複数のリソース割り当てメトリックとに基づいて、第１のポッドのための１または複数の一時的コンテナを生成する段階を含む。方法１１００は、ブロック１１０８において、１または複数の一時的コンテナ内で１または複数のタスクを実行する段階を含み得る。サイドカーコンテナは、例えば、軽量のループを実行して、ポッドが終了することを防ぐ。ブロック１１１０において、方法１１００は、ポッドに関する１または複数のリソース割り当てメトリックをモニタリングする段階を含む。リソース割り当てメトリックは、リソースモニタリングＡＰＩから取得され得る。そして、ブロック１１１２において、方法１１００は、ポッドに関する１または複数のリソース割り当てメトリックとワークロードとに基づいて、第１のポッド内に少なくとも１つの新たな一時的コンテナを生成する段階を含む。

追加のプロセスを含めることもできる。図１１に示されるプロセスは例示を表し、本開示の範囲および趣旨から逸脱することなく、他のプロセスを追加してもよく、または既存のプロセスを除去、修正、もしくは再編成してもよいことを理解されたい。

本明細書では、本発明の様々な実施形態が、関連する図面を参照して説明される。本発明の代替的な実施形態は、本発明の範囲から逸脱することなく考案することができる。以下の説明および図面における要素間で、様々な接続および位置関係（例えば、上方、下方、隣接など）が記載される。これらの接続もしくは位置関係またはその両方は、特に明記しない限り、直接的でも間接的でもよく、本発明がこれに関して限定されることは意図されていない。したがって、エンティティ同士の結合は、直接的な結合または間接的な結合のいずれを指してもよく、エンティティ間の位置関係は、直接的な位置関係でも間接的な位置関係でもよい。さらに、本明細書において説明される様々なタスクおよびプロセス段階は、本明細書において詳細に説明されていない追加の段階または機能を有する、より包括的な手順またはプロセスに組み込むことができる。

本明細書で説明される方法のうちの１または複数は、以下の技術：データ信号に対して論理機能を実装するための論理ゲートを有するディスクリート論理回路、適切な組み合わせ論理ゲートを有する特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのいずれかまたはその組み合わせを用いて実施することができ、これらの各技術は、当技術分野で周知である。

簡潔さのために、本発明の態様の作製および使用に関する従来技術は、本明細書で詳細に説明される場合もあれば、されない場合もある。具体的には、本明細書で説明される様々な技術的特徴を実装するためのコンピューティングシステムおよび特定のコンピュータプログラムの様々な態様は周知である。したがって、簡潔さを目的として、多くの従来の実装の詳細は、本明細書では簡潔にのみ言及されるか、または、周知のシステムもしくはプロセスの詳細またはその組み合わせを提供することなく完全に省略されている。

いくつかの実施形態では、様々な機能または動作は、所与の位置で行われるか、もしくは１または複数の装置もしくはシステムの動作と関連して行われるか、またはその両方であり得る。いくつかの実施形態では、所与の機能または動作の一部が第１のデバイスまたは位置で実行されてもよく、残りの機能または動作が１または複数の追加のデバイスまたは位置で実行されてもよい。

本明細書で使用される用語は、特定の実施形態を説明することのみを目的とし、限定を意図するものではない。本明細書で使用される場合、「ａ」、「ａｎ」、および「ｔｈｅ」といった単数形は、文脈上特に明記されていない限り複数形も含むことを意図している。さらに、「備える（ｃｏｍｐｒｉｓｅｓ）」もしくは「備える（ｃｏｍｐｒｉｓｉｎｇ）」またはその両方の用語は、本明細書で使用される場合、明示された特徴、整数、段階、動作、要素もしくはコンポーネント、またはその組み合わせの存在を指定するが、１または複数の他の特徴、整数、段階、動作、要素のコンポーネント、もしくはそのグループまたはその組み合わせの存在または追加を除外するものではないことが理解されよう。

以下の特許請求の範囲における、全てのミーンズプラスファンクション要素またはステッププラスファンクション要素の対応する構造、材料、動作、および均等物は、具体的に請求される他の請求要素と組み合わせて機能を実行するための任意の構造、材料、または動作を含むことが意図されている。本開示を例示および説明の目的で提示したが、網羅的であることも、開示された形態に限定されることも意図されない。当業者には、本開示の範囲および趣旨から逸脱することなく、多くの修正および変更が明らかになるであろう。実施形態は、本開示の原理および実際の適用を最も良好に説明すると共に、想定される特定用途に適した様々な修正を加えた様々な実施形態について当業者が本開示を理解することを可能にするために、選択および説明された。

ここで示される図は例示的である。本開示の趣旨から逸脱することなく、図または図中で説明される段階（もしくは動作）に多くの変更を行うことができる。例えば、アクションを異なる順序において実行することもできるし、アクションを追加、削除または修正することもできる。また、「結合される（ｃｏｕｐｌｅｄ）」という用語は、２つの要素間に信号経路があることを表し、それらの間に介在する要素／接続のない要素間の直接接続を暗示するものではない。これらの変形の全てが本開示の一部とみなされる。

以下の定義および略語は、特許請求の範囲および明細書の解釈のために使用されるものである。本明細書で使用される場合、「備える（ｃｏｍｐｒｉｓｅｓ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｓ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｃｏｎｔａｉｎｓ）」、もしくは「含む（ｃｏｎｔａｉｎｉｎｇ）」という用語、またはそれらの他の変形は、非排他的包含をカバーすることを意図している。例えば、要素のリストを含む構成物、混合物、プロセス、方法、物品、または装置は、必ずしもこれらの要素のみに限定されるとは限らず、明示的に列挙されていない、またはそのような構成物、混合物、プロセス、方法、物品、もしくは装置に固有の他の要素を含んでいてもよい。

さらに、「例示的な」という用語は、本明細書では「一例、事例、または例示として機能すること」を意味するように使用される。本明細書で「例示的」として説明されるいかなる実施形態または設計も、必ずしも他の実施形態または設計よりも好ましいまたは有利であると解釈されるものではない。「少なくとも１つ」および「１または複数」という用語は、１よりも大きいまたはそれに等しい任意の整数、すなわち、１、２、３、４などを含むと理解される。「複数」という用語は、２よりも大きいまたはそれに等しい任意の整数、すなわち、２、３、４、５などを含むと理解される。「接続」という用語は、間接的な「接続」および直接的な「接続」の両方を含み得る。

「約」、「実質的に」、「およそ」という用語、およびそれらの変形は、本願の出願の時点で利用可能な機器に基づく特定の量の測定に関連付けられる誤差の程度を含むことが意図される。例えば、「約」は、所与の値の、±８％または５％、または２％の範囲を含み得る。

本発明は、任意の可能な技術詳細レベルで統合されたシステム、方法、もしくはコンピュータプログラム製品、またはその組み合わせであり得る。コンピュータプログラム製品は、プロセッサに本発明の態様を実施させるコンピュータ可読プログラム命令を有する、コンピュータ可読記憶媒体（もしくは複数の媒体）を含み得る。

コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持および格納できる有形デバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光学ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、または前述したものの任意の好適な組み合わせであってよいが、これらに限定されるものではない。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストには、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピディスク、命令が記録されたパンチカードまたは溝内隆起構造などの機械的にエンコードされたデバイス、および、前述したものの任意の好適な組み合わせが含まれる。コンピュータ可読記憶媒体は、本明細書で使用される場合、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通して伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを通して伝送される電気信号などの一時的な信号そのものと解釈されてはならない。

本明細書で説明するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、もしくは無線ネットワーク、またはその組み合わせを介して外部コンピュータもしくは外部ストレージデバイスに、ダウンロードできる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバ、またはその組み合わせを含み得る。各コンピューティング／処理デバイス内のネットワークアダプタカードまたはネットワークインタフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、このコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に格納するために転送する。

本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、または、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および、「Ｃ」プログラミング言語などの手続き型プログラミング言語もしくは同様のプログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで書かれたソースコードもしくはオブジェクトコードのいずれかであり得る。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行されてもよいし、スタンドアロンソフトウェアパッケージとして部分的にユーザのコンピュータ上で実行されてもよいし、部分的にユーザのコンピュータ上で、かつ、部分的にリモートコンピュータ上で実行されてもよいし、完全にリモートコンピュータもしくはサーバ上で実行されてもよい。後者のシナリオでは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてリモートコンピュータがユーザのコンピュータに接続されてもよいし、または、外部コンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）接続が行われてもよい。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路が、本発明の態様を実行するために、電子回路をパーソナライズするようにコンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行してもよい。

本明細書では、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図もしくはブロック図またはその両方を参照して発明の態様を説明している。フローチャート図もしくはブロック図またはその両方の各ブロック、およびフローチャート図もしくはブロック図またはその両方のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されよう。

これらのコンピュータ可読プログラム命令を汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供することで、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートもしくはブロック図またはその両方における単数または複数のブロックで指定された機能／動作を実装する手段を作成するようにマシンを生成してもよい。また、これらのコンピュータ可読プログラム命令を、コンピュータ、プログラマブルデータ処理装置、もしくは他のデバイス、またはその組み合わせに特定の方式で機能するよう指示し得るコンピュータ可読記憶媒体に格納することで、中に命令が格納されているコンピュータ可読記憶媒体が、フローチャートもしくはブロック図またはその両方における単数または複数のブロックにおいて指定された機能／動作の態様を実装する命令を含む製品を構成するようにしてもよい。

また、コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードし、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作段階を実行させて、コンピュータ実装プロセスを生成することで、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行される命令が、フローチャートもしくはブロック図またはその両方における単数または複数のブロックで指定された機能／動作を実装するようにしてもよい。

図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の実行可能な実装形態のアーキテクチャ、機能、および動作を示す。これに関して、フローチャートまたはブロック図の各ブロックは、指定されている論理機能を実装するための１または複数の実行可能命令を備える、命令のモジュール、セグメント、または一部を表すことがある。いくつかの代替的な実装形態では、ブロック内で示された機能が、図で示された順序以外で行われてもよい。例えば、連続して示されている２つのブロックが、実際に、実質的に同時に実行されてもよいし、これらのブロックが、場合により、関与する機能に依存して逆の順序で実行されてもよい。また、ブロック図もしくはフローチャート図またはその組み合わせにおける各ブロック、およびブロック図もしくはフローチャート図またはその組み合わせにおけるブロックの組み合わせは、指定された機能もしくは動作を実行する専用ハードウェアベースのシステムによって実装され得る、または専用ハードウェアとコンピュータ命令との組み合わせを実施できることが分かるであろう。

例示を目的として本発明の様々な実施形態の説明を提示してきたが、網羅的であること、または開示された実施形態に限定されることを意図するものではない。当業者には、記載された実施形態の範囲および趣旨から逸脱することなく、多くの修正および変更が明らかとなるであろう。本明細書において使用される用語は、実施形態の原理、実際の適用、もしくは市場で見られる技術に対する技術的改善点を最も良好に説明するように、または、本明細書において説明される実施形態を当業者が理解することを可能にするように選択された。

Claims (20)

1. コントローラにより、１または複数のタスクを有するワークロードを受信する段階と、
   第１のサイドカーコンテナを有する第１のポッドを生成する段階と、
   前記ワークロードと前記第１のポッドに関する１または複数のリソース割り当てメトリックとに基づいて、前記第１のポッドのための１または複数の一時的コンテナを生成する段階と、
   前記１または複数の一時的コンテナ内で前記１または複数のタスクを実行する段階と、
   前記第１のポッドに関する前記１または複数のリソース割り当てメトリックをモニタリングする段階と、
   前記第１のポッドに関する前記１または複数のリソース割り当てメトリックと前記ワークロードとに基づいて、前記第１のポッド内に少なくとも１つの新たな一時的コンテナを生成する段階と
   を備えるコンピュータ実装方法。
2. 前記１または複数のリソース割り当てメトリックに基づいて、前記第１のポッド内の前記１または複数の一時的コンテナのうちの少なくとも１つの一時的コンテナを終了させる段階
   をさらに備える、請求項１に記載のコンピュータ実装方法。
3. 前記１または複数のリソース割り当てメトリックに基づいて、前記第１のポッドにとっての最大一時的コンテナを判定する段階と、
   前記ワークロードが前記第１のポッドにとっての前記最大一時的コンテナを超える数の一時的コンテナを必要とすることに基づいて、第２の１または複数の一時的コンテナを有する第２のポッドを生成する段階と
   をさらに備える、請求項１または２に記載のコンピュータ実装方法。
4. 前記１または複数のタスクがキューに格納される、請求項１または２に記載のコンピュータ実装方法。
5. 前記キューが、メッセージ・キューイング・テレメトリ・トランスポート・キューを含む、請求項４に記載のコンピュータ実装方法。
6. 前記第１のポッドが、Ｋｕｂｅｒｎｅｔｅｓポッドを含む、請求項１または２に記載のコンピュータ実装方法。
7. 前記第１のサイドカーコンテナが、ループを実行して、前記第１のポッドが終了することを防ぐ、請求項１または２に記載のコンピュータ実装方法。
8. コンピュータ可読命令を有するメモリと、
   前記コンピュータ可読命令を実行するための１または複数のプロセッサとを備え、前記コンピュータ可読命令が、前記１または複数のプロセッサを制御して、
   １または複数のタスクを含むワークロードを受信する手順と、
   第１のサイドカーコンテナを含む第１のポッドを生成する手順と、
   前記ワークロードと前記第１のポッドに関する１または複数のリソース割り当てメトリックとに基づいて、前記第１のポッドのための１または複数の一時的コンテナを生成する手順と、
   前記１または複数の一時的コンテナ内で前記１または複数のタスクを実行する手順と、
   前記第１のポッドに関する前記１または複数のリソース割り当てメトリックをモニタリングする手順と、
   前記第１のポッドに関する前記１または複数のリソース割り当てメトリックと前記ワークロードとに基づいて、前記第１のポッド内に少なくとも１つの新たな一時的コンテナを生成する手順と
   を含む動作を実行させる、システム。
9. 前記動作が、
   前記１または複数のリソース割り当てメトリックに基づいて、前記第１のポッド内の前記１または複数の一時的コンテナのうちの少なくとも１つの一時的コンテナを終了させる手順
   をさらに含む、請求項８に記載のシステム。
10. 前記動作が、
    前記１または複数のリソース割り当てメトリックに基づいて、前記第１のポッドにとっての最大一時的コンテナを判定する手順と、
    前記ワークロードが前記第１のポッドにとっての前記最大一時的コンテナを超える数の一時的コンテナを必要とすることに基づいて、第２の１または複数の一時的コンテナを含む第２のポッドを生成する手順と
    をさらに含む、請求項８または９に記載のシステム。
11. 前記１または複数のタスクがキューに格納される、請求項８または９に記載のシステム。
12. 前記キューが、メッセージ・キューイング・テレメトリ・トランスポート・キューを含む、請求項１１に記載のシステム。
13. 前記第１のポッドが、Ｋｕｂｅｒｎｅｔｅｓポッドを含む、請求項８または９に記載のシステム。
14. 前記第１のサイドカーコンテナが、ループを実行して、前記第１のポッドが終了することを防ぐ、請求項８または９に記載のシステム。
15. プロセッサに、
    コントローラにより、１または複数のタスクを含むワークロードを受信する手順と、
    第１のサイドカーコンテナを含む第１のポッドを生成する手順と、
    前記ワークロードと前記第１のポッドに関する１または複数のリソース割り当てメトリックとに基づいて、前記第１のポッドのための１または複数の一時的コンテナを生成する手順と、
    前記１または複数の一時的コンテナ内で前記１または複数のタスクを実行する手順と、
    前記第１のポッドに関する前記１または複数のリソース割り当てメトリックをモニタリングする手順と、
    前記第１のポッドに関する前記１または複数のリソース割り当てメトリックと前記ワークロードとに基づいて、前記第１のポッド内に少なくとも１つの新たな一時的コンテナを生成する手順と
    を実行させるためのコンピュータプログラム。
16. 前記プロセッサに、
    前記１または複数のリソース割り当てメトリックに基づいて、前記第１のポッド内の前記１または複数の一時的コンテナのうちの少なくとも１つの一時的コンテナを終了させる手順
    をさらに実行させる、請求項１５に記載のコンピュータプログラム。
17. 前記プロセッサに、
    前記１または複数のリソース割り当てメトリックに基づいて、前記第１のポッドにとっての最大一時的コンテナを判定する手順と、
    前記ワークロードが前記第１のポッドにとっての前記最大一時的コンテナを超える数の一時的コンテナを必要とすることに基づいて、第２の１または複数の一時的コンテナを含む第２のポッドを生成する手順と
    をさらに実行させる、請求項１５または１６に記載のコンピュータプログラム。
18. 前記１または複数のタスクがキューに格納される、請求項１５または１６に記載のコンピュータプログラム。
19. 前記キューが、メッセージ・キューイング・テレメトリ・トランスポート・キューを含む、請求項１８に記載のコンピュータプログラム。
20. 前記第１のポッドが、Ｋｕｂｅｒｎｅｔｅｓポッドを含み、前記第１のサイドカーコンテナが、ループを実行して、前記第１のポッドが終了することを防ぐ、請求項１５または１６に記載のコンピュータプログラム。

Images