JP2023089043A - 分離型クラウドネイティブネットワークアーキテクチャ - Google Patents

Abstract

【課題】マイクロサービスのユーザカスタム可能なレンダリング、マイクロサービスの旧バージョン及び新バージョンの調整並びに複数のノードの円滑な管理を可能にする、柔軟で拡張性が高く、かつ、効率的なクラウドベースネットワーク及びその管理方法を提供する。【解決手段】複数のノードを備えるクラウドベースネットワークにおいて、各ノードは、少なくとも１つのコンテナ化マイクロサービス２４５Ａ，２４５Ｂを含む。カスタムリソースを管理するよう各々指定された１または複数のリソースコントローラは、ノード及びノードの内でコンテナ化された任意のマイクロサービスの動作状態及び構成状態を管理するために、マスタ２１０と通信する。マスタは、ユーザが、マイクロサービス及びクラウドベースネットワーク全体の管理を監視しかつ自動化する。【選択図】図２

Description

関連出願への相互参照
本願は、２０１９年７月３０日出願の米国仮出願第６２／８８０，２６８号；２０１９年５月２１日出願の米国仮出願第６２／８５０，８１０号；２０１９年２月１４日出願の米国仮出願第６２／８０５，９３１号；および、２０１８年１０月３１日出願の米国仮出願第６２／７５３，７９２号の各々の利点を主張し、それらの出願の各々は、参照によって全体が援用される。

本開示は、クラウドベースのコンピュータネットワーキングに関する。

コンピュータネットワーキングシステムが、複数のクライアントデバイスを接続し、それらの間でのデータ転送を可能にする。クラウドベースのアプリケーションおよびデータ処理の急速な成長についていくには、既存のネットワーキングソリューションでは不十分である。したがって、より柔軟で、拡張性が高く、かつ、効率的なクラウドベースのネットワークアーキテクチャソリューションが求められている。

クラウドベースネットワークが、マイクロサービスベースのアプリケーションアーキテクチャを備えており、そのアーキテクチャにおいては、ネットワーククラスタ内の複数のノードが各々、少なくとも１つのマイクロサービスを含んでいる。クラウドベースネットワークは、個々のマイクロサービス、ノード、および、クラスタの自動化、可視性の向上、監視の軽減、ならびに、ネットワークの制御の向上を可能にする。

クラウドベースネットワークは、複数のノードを備えており、各ノードは、マスタコントローラと、１または複数のカスタムコントローラと、１または複数のコンテナ化マイクロサービスと、を備える。マスタコントローラは、１または複数のカスタムコントローラを管理し、カスタムコントローラは、ノードの動作状態、ノードの構成状態、および、ノードを表す１セットのテレメトリデータを示すカスタムリソースにアクセスして格納するよう構成されている。カスタムコントローラの少なくとも１つは、１または複数のコンテナ化マイクロサービスを管理する。また、クラウドベースネットワークは、カスタムリソースのユーザカスタム可能なレンダリングと、カスタムリソースを表示するコマンドライン・インターフェース（ＣＬＩ）シェルの動的更新とを可能にする。

少なくとも１つのカスタムコントローラは、ノードの所望の動作状態および構成状態をそれぞれ、ノードの既存の動作状態および構成状態と調和させるよう構成されてよい。同様に、マスタコントローラは、異なるバージョンの複数のマイクロサービスを調和させることで、更新中にノードの円滑な機能を可能にするよう構成されてよい。

クラウドベースネットワークの複数のノードは、複数のクラスタにわたって分散されてよく、各クラスタは、外部ネットワーククラスタに配置されたマスタコントローラによって制御されてよい。ファブリックコントローラが、マルチクラスタクラウドベースネットワークを制御することができ、ファブリックコントローラは、各クラスタ内のノードの各々を監視、管理、および、アクセスする。

１または複数の実施形態に従って、クラウドベースネットワークを示す図。

１または複数の実施形態に従って、図１に示したクラウドベースネットワーク内のノードを示す図。

１または複数の実施形態に従って、クラウドベースネットワーク内の変化を監視するための方法を示す図。

１または複数の実施形態に従って、ユーザがクラウドベースネットワークと相互作用しうる環境を示す図。

１または複数の実施形態に従って、クラウドベースネットワーク・コマンドライン・インターフェースを動的にレンダリングするための方法を示す図。

１または複数の実施形態に従って、クラウドベースネットワーク内のマイクロサービスに更新を適用するための処理を示す図。

１または複数の実施形態に従って、クラウドベースネットワーク内での動的なモデル駆動マイクロロギングのための方法を示す図。

１または複数の実施形態に従って、クラウドベースネットワーク内で構造化カスタムリソース記述（ＣＲＤ）をレンダリングするための方法を示す図。

１または複数の実施形態に従って、テンプレート化せずにレンダリングされたＣＲＤのモデル駆動出力を示す図。

１または複数の実施形態に従って、図９Ａに示したＣＲＤのテンプレート化された出力を示す図。

１または複数の実施形態に従って、ユーザが定義したＣＲＤのテンプレート化された出力を示す図。

１または複数の実施形態に従って、複数のネットワーククラスタを備えたクラウドベースネットワークを示す図。

図面は、例示の目的でのみ、様々な実施形態を示している。当業者であれば、本明細書に記載の原理から逸脱することなしに、本明細書に記載の構造および方法の別の実施形態を利用できることが、以下の議論から容易に分かる。

クラウドベースネットワークは、ネットワークの各ノード内のマイクロサービスを介してユーザにコンテナ化ネットワークサービスを提供する。ユーザは、本明細書に記載のクラウドベースネットワークアーキテクチャを介して、自身のネットワーキングデバイスを商業クラウドサービスプロバイダと統合できる。したがって、ユーザは、ネットワークサービスを自動化しつつ、可視性を維持し、自身のクラウドベースネットワークシステムを制御する。クラウドベースネットワークは、さらに、ユーザのネットワーク動作をソフトウェア開発および品質保証と統一するのに役立ちうる。

図１は、１または複数の実施形態に従って、クラウドベースネットワーク１００を示す。クラウドベースネットワーク１００は、デバイス間のデータパケット転送を可能にする。クラウドベースネットワーク１００は、分散型ネットワーククラスタ（”クラスタ”）１１０と、時系列データベース１４０と、クライアント１５０Ａ、１５０Ｂと、を備える。時系列データベース１４０は、データベースデータリンク１４５を介してクラスタ１１０に接続しており、クライアント１５０Ａ、１５０Ｂは、それぞれ、クライアントデータリンク１５２Ａ、１５２Ｂを介してクラスタに接続している。クラウドベースネットワーク１００は、 例えば、さらなるネットワークノードおよび／またはクライアントデバイスなど、図１に示したもの以外の構成要素を備えてもよい。

分散型ネットワーククラスタ１１０は、複数のネットワークノード１２０Ａ、１２０Ｂ、１２０Ｃと、いくつかの実施形態においては、複数のサーバノード１２１Ａ、１２１Ｂと、を備える。ネットワークノード１２０Ａ～Ｃおよびサーバノード１２１Ａ～Ｂは、集合的に「ノード」と呼ばれ、１または複数のデータリンク１３０を介して互いに接続している。図２を参照して後に詳述するように、クラスタ１１０内のノード１２０Ａ～Ｃ、１２１Ａ～Ｂは、１または複数のネットワークサービスを実行および／またはサポートして、クラウドベースネットワークオペレーティングシステムを確立する。

ネットワークノード１２０Ａ～Ｃの例は、ネットワークルータ、スイッチ、または、それらの組みあわせ、を含む。サーバノード１２１Ａ～Ｂは、例えば、サーバコンピュータであってよい。クラウドベースネットワークは、ハードウェア構成要素および／またはソフトウェア構成要素によってパケット転送を可能にする。いくつかの実施形態において、クラウドベースネットワークは、ソフトウェアによってサーバノード１２１Ａ～Ｂ上に配備され、ハードウェアによってノード１２０Ａ～Ｃ上に配備される。いくつかの実施形態において、クラウドベースネットワークは、ソフトウェアによってクラスタ１１０内のノード１２０Ａ～Ｃ、１２１Ａ～Ｂの大部分またはすべてに配備される。

クラスタ１１０内のノード１２０Ａ～Ｃ、１２１Ａ～Ｂは、個別に動作しても、分散合意で動作してもよい。ノード１２０Ａ～Ｃ、１２１Ａ～Ｂの各々は、それぞれのノードの動作を管理するマスタ構成要素（図１には図示せず）を備える。いくつかの実施形態において、クラスタ１１０内のすべてのノード１２０Ａ～Ｃ、１２１Ａ～Ｂのマスタ構成要素は、クラスタ内での集合的動作および同期を可能にするように協働する。ノード１２０Ａ～Ｃ、１２１Ａ～Ｂは、ノード１２０Ａ～Ｃ、１２１Ａ～Ｂの動作を管理および調整するために、アルゴリズム（Ｒａｆｔコンセンサス、Ｐａｘｏｓ、または、委任ビザンチン・フォールト・トレランス（“ｄＢＦＴ”）、もしくは、それらの何らかの組みあわせなど）を用いてよい。

データリンク１３０、データベースリンク１４０、および、クライアントデータリンク１５２Ａ～Ｂなどの接続が、クラウドベースネットワーク１００内の通信カップリングを可能にする。例えば、接続は、ケーブル媒体（電線または光ケーブルなど）もしくは無線媒体（ＷｉＦｉなど）で確立されてよい。クライアント１５０Ａ～Ｂは、ノード１２０Ａ～Ｃ、１２１Ａ～Ｂの一部または全部にあるポートを介して、クラスタ１１０内のノード１２０Ａ～Ｃ、１２１Ａ～Ｂに接続してよい。

時系列データベース１４０Ａは、シーケンシャルな順序タイムスタンプ付きデータを格納する。タイムスタンプ付きデータは、例えば、６０秒間隔で取得されるクラスタ１００内のノードの構成状態および／または動作状態の測定結果を含んでよい。時系列データベース１４０は、ノード１２０Ａ～Ｃ、１２１Ａ～Ｂから時系列データを受信して格納する。いくつかの実施形態において、クラウドベースネットワーク１００のユーザは、クラスタ１１０およびそのノード１２０Ａ～Ｃ、１２１Ａ～Ｂならびにクラスタ１１０内で動作するネットワークサービスの動作状態および／または構成状態に関する解析を実行するために、時系列データベース１４０にクエリしてよい。時系列データベース１４０内の時系列データは、クラスタ１１０の制御ループの一部として用いられてよく、制御ループは、例えば、履歴レートと比較してネットワークトラフィック内で不規則なスパイクをチェックするために用いられてよい。

クライアント１５０Ａ～Ｂは、分散型ネットワーククラスタ１１０によって提供されるネットワークサービスを利用する。クライアント１５０Ａ～Ｂは、例えば、ボーダー・ゲートウェイ・プロトコル（”ＢＧＰ”）などのネットワークプロトコルを利用しうる電子デバイス（スマートフォン、ラップトップ、パーソナルコンピュータ、および、サーバなど）である。

図２は、１または複数の実施形態に従って、図１に示したクラウドベースネットワーク１００内のノード２００を示す。図１のノード１２０Ａ～Ｃ、１２１Ａ～Ｂの各々は、ノード２００の実施形態である。ノード２００は、時系列データベース２０５と、マスタコントローラ（”マスタ”）２１０と、管理コントローラ２１１と、１または複数の外部ノードエージェント２２０と、サードパーティコンテナ２２６と、ホストコントローラ２３０と、１または複数のリソースコントローラ２３５Ａ、２３５Ｂと１または複数のカスタムコントローラ２３６と、を備える。いくつかの実施形態において、ノード２００は、図２に示したもの以外の構成要素を備えてもよい。

時系列データベース２０５は、ノード２００の１または複数の状態に関する時系列データを記録する。例えば、一実施形態において、時系列データベース２０５は、ノード２００の構成状態、動作状態、および、テレメトリに関するデータを受信する。時系列データベース２０５は、記録したデータを図１の時系列データベース１４０に提供する。ユーザは、ノード２００の状態を特定するために、時系列データベース２０５にクエリしてよい。

マスタ２１０は、ノード２００の１または複数の状態を管理する。マスタ２１０は、アプリケーションプログラミングインターフェース（”ＡＰＩ”）サーバ２１２と、スケジューラ２１４と、ストレージ２１６と、を備える。マスタ２１０は、管理コントローラ２１１に接続されており、管理コントローラ２１１は、ユーザ（ネットワークエンジニアなど）が、マスタ２１０、ノード２００、クラスタ１１０、または、それらの何らかの組みあわせ、と相互作用するために利用するコマンドラインインターフェース（”ＣＬＩ”）を提供する。ＣＬＩについては、図５に関してさらに詳細に論じる。

ＡＰＩサーバ２１２は、クラウドベースネットワーク１００内のノード２００の状態を表すＡＰＩオブジェクトのためのデータを検証および構成する。ＡＰＩオブジェクトは、ＡＰＩ関数に基づいており、特定のオブジェクトモデルに従う。例えば、ＡＰＩオブジェクトは、クラウドベースネットワーク１００のユーザによって設定された構成状態を示してよい。異なるＡＰＩオブジェクトは、異なるコンテナ化されたマイクロサービス、様々なリソース、および、ポリシー（リスタートポリシー、アップグレード、フォールト・トレランスなど）を表してよい。いくつかの実施形態において、ノード２００の他の構成要素が、ＡＰＩオブジェクトを用いて、宣言自動化を実行し、様々な状態（ノード２００の動作状態および構成状態など）を維持するための制御ループを形成する。ＡＰＩサーバ２１２は、新しいマイクロサービスを登録し、その後、新たに登録されたマイクロサービスのＣＲＤのインスタンス化を表す１セットのＣＲＯを決定および／または導出してよい。いくつかの実施形態において、ＡＰＩサーバ２１２は、リプレゼンテーショナル・ステート・トランスファ（”ＲＥＳＴ”）動作をサービスし、ノード２００の状態およびクラスタ１１０全体の状態の両方にフロントエンドを提供する。ユーザは、ノード２００および／またはクラスタ１１０の構成ひいては動作の変更を実行するため、もしくは、クラスタ１１０内の活動（すなわち、動作状態）を監視するために、管理コントローラ２１１によって提供されたフロントエンドと相互作用してよい。

スケジューラ２１４は、クラスタ１１０内の複数のノード（ノード２００など）にわたってコンテナ化マイクロサービスのためのスケジューリングを管理する。コンテナ化マイクロサービスは、コンテナ（後述のコンテナ２４０Ａなど）内で互いに結合されてよい。いくつかの実施形態において、複数の結合されたマイクロサービスは、ポッドと呼ばれうる。スケジューラ２１４は、新たに作成されたポッドの個別および集合的なリソース要件、クラスタ１１０内の新たに生成されたポッドおよび／またはノードのハードウェア、ソフトウェア、および、ポリシー制約、アフィニティ仕様およびアンチアフィニティ仕様、データ局所性、作業負荷間干渉、ならびに、期限を考慮する。スケジューラ２１４は、スケジューリングタスクに関する合意に達するために、クラスタ１１０内の他のノード（ノード２００と同様のノード）のスケジューラ２１４と連携して動作する。例えば、クラスタ１１０内の各ノードのスケジューラ２１４は、ポッドを配備すべきノードを決定するために連携して動作する。

ストレージ２１６は、カスタムリソースのためのテンプレートである１または複数のカスタムリソース記述（”ＣＲＤ”）２１７と、ＣＲＤ２１７の動作インスタンス化である１または複数のカスタムリソースオブジェクト（”ＣＲＯ”）２１８と、を格納する。カスタムリソースは、マイクロサービスまたはその他のソフトウェア構成要素のデータ構造を表すデータオブジェクトモデルである。ノード２００は、ストレージ２１６に対して読み出しおよび書き込みを行ってよい。いくつかの実施形態において、ストレージ２１６は、ノード２００の外部にあり、その場合、マスタ２１０は、ノード２００の様々な構成要素がストレージ２１６にアクセスできるようにする標準ストレージインターフェースを確立する。ノード２００は、リアルタイムかつオンデマンドでストレージ２１６にアクセスしてよい。いくつかの実施形態において、マスタ２１０は、２以上のストレージを備える。例えば、１つのストレージが、ランダムアクセスメモリ（”ＲＡＭ”）などの主メモリを備えてよく、第２ストレージが、ハードドライブなどの補助メモリを備えてよい。一実施形態において、ストレージ２１６は、ｅｔｃｄであり、それは、分散キー／値ストアである。

外部ノードエージェント２２０は、ノード２００上で実行しているコンテナ化マイクロサービスを、マスタ２１０によって提供された構成の通りに維持する。マスタ２１０は、少なくとも１つのＣＲＤ２１７を用いて構成を提供する。いくつかの実施形態において、外部ノードエージェント２２０は、１または複数のサードパーティコンテナ２２６を維持はしないが、それらと通信することができる。ノード２００は、複数の外部ノードエージェント２２０を備えてもよい。外部ノードエージェント２２０は、例えば、Ｋｕｂｅｌｅｔであってよい。外部ノードエージェント２２０は、コンテナマネージャ２２５およびプロキシ２５０に接続されている。コンテナマネージャ２２５は、ノード内のマイクロサービスのコンテナ化を実行するために用いられるコンテナエンジン（ＤＯＣＫＥＲなど）である。外部ノードエージェント２２０は、コンテナマネージャ２２５を用いて、ノード２００で実行しているマイクロサービス内のコンテナ２４０を維持する。コンテナマネージャ２２５は、１または複数のサードパーティコンテナ２２６またはその他のサードパーティソフトウェアにも接続されており、コンテナ化を実行するために１または複数のサードパーティコンテナ２２６またはソフトウェアによって用いられる。

プロキシ２３０は、ノード２００内でのパケット転送を可能にするサーバである。プロキシ２３０は、ストリーム転送またはラウンドロビン転送を実行するために、ユーザ・データグラム・プロトコル（”ＵＤＰ”）、トランスミッション・コントロール・プロトコル（“ＴＣＰ”）、および、ストリーム・コントロール・トランスミッション・プロトコル（”ＳＣＴＰ”）をプロキシすることができる。例えば、プロキシ２３０は、ｋｕｂｅプロキシであってよい。別の実施形態において、他のプロキシサービスを実行するプロキシ２３０と同様のさらなるプロキシが、ノード２００に備えられてもよい。例えば、ノード２００は、ハイパーテキスト・トランスファ・プロトコル（”ＨＴＴＰ”）をプロキシするためなど様々な目的のために、ｋｕｂｅｃｔｌプロキシ、ＡＰＩサーバプロキシ、などを備えてもよい。

リソースコントローラ２３５Ａ～Ｂは、ノード２００のリソースを管理および包含する。リソースコントローラ２３５Ａ～Ｂの各々は、少なくとも１つのカスタムコントローラ２３６を備えており、カスタムコントローラ２３６は、１または複数のコンテナ化マイクロサービス２４５Ａ～Ｂを管理するよう構成されている。いくつかの実施形態において、ノード２００は、図２に示したものより多くのリソースコントローラおよび／またはカスタムコントローラを備える。

リソースコントローラ２３５Ａ～Ｂは、各々が管理する１または複数のカスタムコントローラ２３６ひいてはマイクロサービスへアクセスできる。いくつかの実施形態において、リソースコントローラ２３５Ａ～Ｂは、新しいマイクロサービスを発見および／またはインスタンス化し、その後、ノード２００内での登録および利用のために、マスタ２１０のＡＰＩサーバ２１２にそれらを提示してよい。したがって、マスタ２１０は、リソースコントローラ２３５Ａ～Ｂにノード２００の所望の構成状態を提供し、ノード２００内に登録された新しいマイクロサービスの構成が所望の構成状態に達することを円滑にする。また、リソースコントローラ２３５Ａ～Ｂは、マスタ２１０から受信したノード２００の所望の動作状態に従って、マイクロサービスの動作を管理する。

カスタムコントローラ２３６は、カスタムリソースへのアクセスを可能にし、ノード２００内のコンテナ化マイクロサービス２４５Ａ～Ｂを管理する。カスタムコントローラ２３６は、動作状態ＣＲＤ２４３Ａ、構成状態ＣＲＤ２４３Ｂ、および、テレメトリ状態ＣＲＤ２４３Ｃなどのオブジェクトモデル２４２と、マイクロサービス２４５Ａ～Ｂを含む１または複数のコンテナ２４０Ａ～Ｂと、を備える。動作状態ＣＲＤ２４３Ａは、クラウドベースネットワーク１００の実際のランタイム状態を表すデータオブジェクトであり、構成状態ＣＲＤ２４３Ｂは、クラウドベースネットワーク１００の所望の状態を表し、テレメトリ状態ＣＲＤ２４３Ｃは、クラウドベースネットワーク１００の動作の解析を表す。いくつかの実施形態において、マイクロサービスに関連付けられた複数のＣＲＤ２４３Ａ～Ｃの間の依存順序が、ネットワークサービスの機能を決定してよい。ＡＰＩサーバ２１２は、依存順序を考慮するために、ＣＲＤおよびＣＲＯが登録および配備される順序を中継してよい。例えば、依存順序は、マイクロサービスのＣＲＤ内でアノテートされてよい。

カスタムコントローラ２３６は、カスタムコントローラ２３６によって制御されるカスタムリソースと相互作用するために様々な関数およびロジックを備える。例えば、カスタムコントローラ２３６は、カスタムコントローラ２３６によって制御されるカスタムリソースのデータ構造に固有の“ｃｒｅａｔｅ”、“ｒｅａｄ”、“ｕｐｄａｔｅ”、および、“ｄｅｌｅｔｅ”（“ＣＲＵＤ”）関数を備えてよい。カスタムコントローラ２３６は、ＡＰＩサーバ２１２にこれらの関数を拡張して、それらをＡＰＩに追加し、カスタムリソースとのユーザ相互作用を可能にしてよい。

カスタムコントローラ２３６は、１または複数のマイクロサービス２４５Ａ～Ｂおよび／またはコンテナ２４０Ａ～Ｂ、ならびに、オブジェクトモデル２４２の状態を定期的に観察する制御ループを有効にする。また、カスタムコントローラ２３６は、マイクロサービス２４５Ａ～Ｂおよび／またはコンテナ２４０Ａ～Ｂの現在の状態を、オブジェクトモデル２４２によって指定された所望の状態に変更してよい。例えば、オブジェクトモデル２４２によって定義されたカスタムリソースが、カスタムコントローラ２３６Ａのドメイン内の特定のマイクロサービス２４５ＡのためのＡＰＩを拡張してよく、カスタムコントローラ２３６Ａは、カスタムコントローラ２３６の関数に基づいて、マイクロサービス２４５Ａを制御してよい。

マイクロサービス２４５Ａ～Ｂは、アプリケーションの機能を提供するために互いに連携するアプリケーションの分散ソフトウェア構成要素である。マイクロサービス２４５Ａ～Ｂは、ユーザがクラウドベースネットワーク１００内の１または複数の意図駆動型の動作を実行することを可能にする。完全なネットワーキングオペレーティングシステムが、多くの意図駆動型の動作を実行できる。いくつかの実施形態において、マイクロサービスは、ネットワークプロトコルスタックの様々な層を管理してよい。例えば、マイクロサービス２４５Ａは、ネットワークプロトコルスタック層の中でも特に、ＢＧＰ、オープン・ショーテスト・パス・ファースト（“ＯＳＰＦ”）、インターミディエイト・システム・トゥ・インターミディエイト・システム（“ＩＳ－ＩＳ”）、スパニング・ツリー・プロトコル （“ＳＴＰ”）、および、リンク・アグリゲーション・コントロール・プロトコル（“ＬＡＣＰ”）を管理してよい。別の実施形態において、マイクロサービス２４５Ａ～Ｂは、新しいクラウドネイティブネットワーキングオペレーティングシステムサービス（サービス発見またはサイドカーサービスなど）であってよい。

マイクロサービス２４５Ａ～Ｂは、コンテナ２４０Ａ～Ｂ内で動作する。上述のように、コンテナマネージャ２２５は、ノード２００内のコンテナ２４０Ａ～Ｂを管理する。コンテナ２４０Ａ～Ｂは各々、（ノード２００のオペレーティングシステムを除いて）外部リソースから独立して機能するようにコンテナに含まれたマイクロサービス２４５Ａ～Ｂに必要な依存関係（ライブラリなど）を含む個別の実行可能なソフトウェアパッケージである。コンテナ２４０Ａ～Ｂは、オペレーティングシステムレベルでの仮想化メカニズムであり、複数のコンテナが、ノード２００のオペレーティングシステムのカーネルを共有する。

ホストコントローラ２５０は、ノード２００内の制御ループを管理するデーモンである。各制御ループは、コントローラのロジックに基づいており、動作状態を構成状態に変更するため、もしくは、ノード２００またはクラスタ１１０内の１または複数の関数を実行するために用いられる。ホストコントローラ２５０は、リソースコントローラ２３５Ａ～Ｂおよびカスタムコントローラ２３６内で動作する制御ループを維持するために、それぞれ、リソースコントローラ２３５Ａ～Ｂおよびカスタムコントローラ２３６と相互作用する。複数のリソースコントローラ２３５Ａ～Ｂにより、ホストコントローラ２５０は、異なるリソースに対応する複数の制御ループを可能にしうる。いくつかの実施形態において、ホストコントローラ２５０は、マスタ２１０、リソースコントローラ２３５Ａ～Ｂ、および、カスタムコントローラ２３６を自動的にインスタンス化するよう構成されている。いくつかの実施形態において、ホストコントローラは、別のノード、ネットワークオペレータ、ファブリックコントローラ、または、任意のその他の適切なエンティティから、１または複数のコントローラをインスタンス化するための命令を受信する。

クラウドベースネットワークにおける変化の監視
図３は、１または複数の実施形態に従って、クラウドベースネットワーク１００内の変化を監視するための方法３００を示す。ノード２００内で、マスタ２１０は、ウォッチ記述に基づいて、変化を監視するカスタムリソースを動的に選択する（工程３１０）。例えば、マスタ２１０は、ユーザからウォッチ記述を受信してよく、ユーザは、その後、カスタムリソースに対応するカスタムコントローラ２３６を用いてカスタムリソースを監視するよう、ホストコントローラ２５０に命令する。ウォッチ記述は、変化を監視する１または複数の所望のパラメータと、パラメータの少なくとも１つに対してアクションを取るべき変化閾値と、を記述する。ウォッチ記述は、さらに、カスタムリソースで検出された変化に応答して取るべき１または複数のアクション（すなわち、１セットの応答命令）を含む。例えば、ウォッチ記述は、メモリ使用量閾値を特定してよく、カスタムリソースがメモリ使用量閾値を超えたことに応答して、利用不可能としてカスタムリソースにフラグを立ててよい。

マスタ２１０は、監視対象のカスタムリソースの動作状態に基づいて、変化通知を受信する（工程３２０）。例えば、ホストコントローラ２５０は、監視対象のカスタムリソースに関連する時系列データを解析してよい。カスタムリソースのパラメータに対する変化閾値を超えたことを検出すると、ホストコントローラ２５０は、マスタ２１０に警告する。

ホストコントローラ２５０の変化通知に応答して、マスタ２１０は、制御シーケンスを開始する（工程３３０）。マスタ２１０が制御シーケンスで取るアクションは、ウォッチ記述によって記述されてよい。

マスタ２１０は、ウォッチ記述に関連付けられた１セットの応答命令に従う（工程３４０）。応答命令は、カスタムリソースの変化に関してユーザに電子メールおよび／またはインスタントメッセージを送信するよう、マスタ２１０に命令してよい。いくつかの実施形態において、ユーザは、ノード２００の管理コントローラ２１１によって管理されているユーザインターフェースを介してカスタムリソースの変化に関する通知を受信する。

いくつかの実施形態において、マスタ２１０は、関連する制御後のアクションを関連付けて、それらのアクションを取る（工程３５０）。制御後のアクションは、他のカスタムリソースの監視および／または解析を含んでよい。例えば、監視対象のカスタムリソースの変化が、ノード２００内のその他のカスタムリソースの変化を示唆しうる。したがって、カスタムリソースの動作状態の変化が、その他のカスタムリソースの監視をトリガできる。

動的な自動クラウドベースネットワークＣＬＩレンダリング
図４は、１または複数の実施形態に従って、ユーザ４０５がクラウドベースネットワーク１００と相互作用しうる環境４００を示す。環境４００は、１または複数のＣＲＤ２１７と、ＡＰＩサーバ２１２と、ユーザ４０５と、ＣＬＩマイクロサービス４１０と、ユーザアクセス可能なコマンドライン・インターフェース（ＣＬＩ）シェル４２０）と、情報モデルツリー４３０と、を備える。

ユーザ４０５は、ノード内の複数のマイクロサービスにアクセスできるクラウドベースネットワーク１００のオペレータであってよい。

ＣＬＩマイクロサービス４１０は、ＡＰＩサーバ２１２にアクセスし、ＣＬＩシェル４２０をレンダリングし、情報モデルツリー４３０を生成および維持する。ＣＬＩマイクロサービス４１０は、図２のマイクロサービス２４５Ａ～Ｂの一実施形態であるが、具体的には、ＣＬＩシェル４２０をレンダリングするよう構成されている。ＣＬＩマイクロサービス４１０は、図５に関して詳述するように、ＣＲＤ２１７のコンテンツをＹＡＮＧフォーマットに変換してよい。

ＣＬＩシェル４２０は、ＡＰＩサーバ２１２に登録されたマイクロサービスに関連付けられたＣＲＤ２１７をレンダリングする。ＣＬＩシェル４２０は、ユーザ４０５が、コマンドライン・インターフェースにおいて１または複数のＣＲＤによって定義された階層オブジェクト（シミュレートされたフォルダ－ファイルデータ構造など）を閲覧およびアクセスすることを可能にする。登録されているマイクロサービスは、ノード２００のマイクロサービス２４５Ａ～Ｂを含んでよい。図２に関して記載したノード２００の管理コントローラ２１０は、ユーザがＣＬＩシェル４２０へアクセスすることを可能にしてよい。一実施形態において、ユーザは、ＡＰＩサーバ２１２および／または登録済みＣＲＤ２１７によって定義および／または利用されるネットワークプロトコルで、登録済みＣＲＤ２１７と通信および／または相互作用する。別の実施形態において、ＣＬＩマイクロサービス４１０は、ＣＬＩシェル４２０とは異なるネットワークインターフェースを通して、登録済みＣＲＤ２１７へのアクセスを可能にする。

情報モデルツリー４３０は、ＣＬＩシェル４２０がＣＲＤ２１７をレンダリングする方法を決定する。情報モデルツリー４３０は、クラウドベースネットワーク１００内の複数のノード（ノード２００など）の間の関係性と、ＣＲＤ２１７に関する構造情報とを記録し続ける。いくつかの実施形態において、情報モデルツリー４３０は、ＣＲＤ２１７の構造およびコンテンツに関する階層情報を格納する。情報モデルツリー４３０は、新たに登録されたＣＲＤ２１７で動的に更新する。

図５は、１または複数の実施形態に従って、クラウドベースネットワーク・コマンドライン・インターフェース（ＣＬＩ）を動的にレンダリングするための方法５００を示す。クラウドベースネットワークＣＬＩの動的レンダリングは、図１、図２、および、図４にそれぞれ示したクラウドベースネットワーク１００、ノード２００、および、システム環境４００内で実行される。

ＡＰＩサーバ２１２が、１または複数のＣＲＤ２１７を登録する（工程５１０）。ＡＰＩサーバ２１２は、クライアントデバイス（クライアントデバイス１５０Ａ～Ｂなど）および／またはカスタムコントローラ２３６からＣＲＤを受信してよい。いくつかの実施形態において、ノード２００内の任意のコントローラ（例えば、リソースコントローラ２３５Ａ～Ｂ、ホストコントローラ２５０）が、ＡＰＩサーバ２１２にＣＲＤ２１７を登録してもよい。

少なくとも１つのＣＲＤ２１７を登録すると、ＡＰＩサーバ２１２は、ＣＬＩマイクロサービス４１０に通知する（工程５２０）。通知は、登録されたＣＲＤ２１７の構造およびコンテンツ（もしくは、構造およびコンテンツを記述する情報）を含む。

ＣＬＩマイクロサービス４１０は、ＣＲＤ２１７の構造を、ネットワーク状態情報および構成にアクセスするかまたは表すために用いられるＹＡＮＧまたは別の適切な言語に変換する（工程５３０）。

ＹＡＮＧフォーマット済みのＣＲＤ２１７を用いて、ＣＬＩマイクロサービス４１０は、情報モデルツリー４３０を生成する（工程５４０）。あるいは、ＣＬＩマイクロサービス４１０は、例えば、情報モデルツリー４３０内のＹＡＮＧフォーマット済みのＣＲＤ２１７に見られる新たな情報ブランチを生成することによって、要求されたＣＲＤ２１７に対応する既存の情報モデルツリー４３０を修正および／またはそれに寄与する。かかる例において、登録されたＣＲＤ２１７のコンテンツが変化すると、ＡＰＩサーバ２１２は、その変化をＣＬＩマイクロサービス４１０へ伝えることができ（例えば、リアルタイムで、または、変化の検出後すぐに）、ＣＬＩマイクロサービス４１０は、登録されたＣＲＤ２１７の変化を反映するように情報モデルツリー４３０を動的に修正できる。

また、ＡＰＩサーバ２１２は、非機能的または旧版のコントローラに起因して、ＣＲＤ２１７を登録解除してよい。一実施形態において、ＡＰＩサーバ２１２は、ユーザ４０５がクラウドベースネットワーク１００のノード２００内のＣＲＤ２１７に関連するコントローラをアンインストールしたか、または、そのコントローラの利用をもはや必要としなくなった後に、ＣＲＤ２１７を登録解除してよい。ＣＲＤ２１７が登録解除されると、ＡＰＩサーバ２１２は、ＣＬＩマイクロサービス４１０に通知する。ＣＬＩマイクロサービス４１０は、その後、情報モデルツリー４３０に格納されたＣＲＤ２１７に関連するデータおよび構造を除去する。

ＣＬＩマイクロサービス４１０は、その後、情報モデルツリー４３０に基づいてＣＬＩシェル４２０をレンダリングする（工程５５０）。いくつかの実施形態において、ＣＬＩマイクロサービス４１０は、クライアントデバイス（例えば、クライアントデバイス１５０Ａ～Ｂの内の１つ）にＣＬＩを表示させ、表示されたインターフェースは、ユーザ４０５がＣＬＩにクエリおよび／またはＣＬＩをナビゲートすることを可能にするプロンプトを備えうる。例えば、ユーザ４０５は、ネットワークおよびその機器内のオブジェクトのステータスを見て、オブジェクトを構成し、ナビゲートし、および／または、修正するために、キーボードまたはその他の入力メカニズムを介して、ＣＬＩシェル４２０にテキストコマンドを入力できる。ユーザ４０５は、ネットワーク通信プロトコルを各々定義するオブジェクトを格納するフォルダへナビゲートすることができ、ＣＬＩシェル４２０内でプロトコルのコンテンツ／詳細を見ることができる。いくつかの実施形態において、ユーザ４０５は、ＣＬＩシェル４２０を介してＡＰＩサーバ２１２自体にアクセスできる。

図５に示した処理は、ＣＬＩマイクロサービス４１０が、ＣＲＤ２１７における変化またはＣＲＤ２１７の登録解除に応答して、新たな情報モデルツリー４３０を生成する必要がないように、動的にリアルタイムで実行されてよい。さらに、ＡＰＩサーバ２１２が登録できるサービスは、分離型クラウドベースネットワーク１００の動作に関与するエンティティによって開発されたサービスに限定されないことに注意されたい。例えば、ＡＰＩサーバ２１２で最初に登録解除されたＣＲＤ２１７を備えたサービスが、サードパーティ、コミュニティ、または、任意のその他の適切な外部ソースによって開発されてよい。ＡＰＩサーバ２１２は、これらのサービスに由来するＣＲＤ２１７を登録すると、経時的にＣＲＤ２１７の状態を反映するために情報モデルツリー４３０を動的に更新するよう、ＣＬＩマイクロサービス４１０に要求してよい。その後、ＣＬＩシェル４２０にアクセスするユーザ４００は、情報モデルツリーの更新を要求することをユーザへ明示的に求めることなしに動的に更新された情報モデルツリー４３０に反映されたＣＲＤ２１７データの最新バージョンを見ることができる。

図２に関して論じたように、ＡＰＩサーバ２１２は、経時的に新しいサービスを登録してよく、情報モデルツリー４３０は、１または複数のＣＲＤ２１７に対応してよい。いくつかの実施形態において、ＡＰＩサーバ２１２は、異なるＣＲＤ２１７に対応する情報モデルツリー４３０の部分を記述する情報を提供するよう、マイクロサービス４１０に要求し、その後、要求した情報モデルツリーの部分を記述する情報を組み合わせて、新しいＣＲＤ（複合または統合ＣＲＤなど）を生成する。いくつかの実施形態において、ＣＬＩマイクロサービス４１０は、複数の情報モデルツリー４３０（例えば、ＡＰＩサーバ２１２によって登録または要求されたＣＲＤ２１７ごとに１つの情報モデルツリー、ＡＰＩサーバ２１２に関連するサービスごとに１つの情報モデルツリー、など）を生成することにも注意されたい。

ＡＰＩサーバ２１２は、ＣＬＩマイクロサービス４１０が情報モデルツリー４３０を更新する時にユーザに通知するよう構成されてよく、更新は、ノード２００および／またはクラウドベースネットワーク１００の動作状態の変化を反映する。例えば、ユーザは、情報モデルツリー４３０のユーザ指定の部分が更新または生成される時、ユーザ指定のＣＲＤが更新される時、１または複数のアクションまたはアクティビティがネットワーク内で実行される時、情報モデルツリー内の１または複数のオブジェクトがアクセスされる時、ユーザ指定のエンティティがネットワークの一部にアクセスする時、および／または、ユーザ指定のサービスがＡＰＩサーバ２１２または情報モデルツリー４３０にアクセスする時に、通知を受信することを選んでよい。別の実施形態において、ＡＰＩサーバ２１２は、ＣＬＩシェル４２０内に表示された情報モデルツリー４３０の組織構造の変化、ＣＬＩシェル４２０を介してアクセスされた情報モデルツリー４３０内のオブジェクトをユーザ４０５に通知し、もしくは、任意のその他の適切なネットワークの変化またはアクティビティに応答して、ユーザ４０５に通知する。

クラウドネイティブネットワーク環境におけるサービスアップグレード
図６は、１または複数の実施形態に従って、クラウドベースネットワーク１００内のマイクロサービスに更新を適用するための処理６００を示す。処理６００は、環境内に実装されたネットワークプロトコルサービスおよびアプリケーションのライフサイクルの管理を可能にする。クラウドベースネットワーク１００は、マイクロサービスなどネットワークプロトコルサービスおよびアプリケーションの無停止での更新および調和を可能にする。ノード内のマイクロサービス（ノード２００のマイクロサービス２４５Ａ～Ｂなど）の更新は、マイクロサービス、バージョン、性能、または、機能のアップグレードまたはダウングレードを含んでよい。いくつかの実施形態において、処理６００は、複数のノード（例えば、ノード１２０Ａ～Ｃ、１２１Ａ～Ｂ）における複数のマイクロサービスにわたって行われる。

ノード内のマイクロサービス（例えば、マイクロサービス２４５Ａ～Ｂ）は、マイクロサービスの構成状態および動作状態のモデルを備え、モデルは、ノード内のＡＰＩサーバ（例えば、ＡＰＩサーバ２１２）に通信されて、それに登録される。ＡＰＩサーバは、構成状態および動作状態を連続的に受信して記録する（工程６１０）。いくつかの実施形態において、ＡＰＩサーバは、マイクロサービスの構成状態および動作状態を記述する情報を蓄積または集約する。ＡＰＩサーバは、例えば、ＡＰＩサーバによってアクセス可能なデータベースまたはその他のストレージ（例えば、ストレージ２１６）内にマイクロサービスの状態を格納してよい。別の実施形態では、ＡＰＩサーバ自体が、マイクロサービスの全体的な実行状態を直接管理し、それにより、ＡＰＩサーバが、マイクロサービスに更新を適用する直前にマイクロサービスの動作状態および構成状態を特定することが可能になる。

ＡＰＩサーバは、マイクロサービスの更新を特定して適用する（工程６２０）。一実施形態において、ＡＰＩサーバは、複数のサービスまたはコントローラに更新を適用する（工程６２０）。更新の適用時に、マイクロサービスは、第１動作バージョンから第２動作バージョンへ更新される。しかしながら、更新の適用中に、マイクロサービスのメモリ、構成状態、および、動作状態が、リセットされるか、または、他の形で失われる場合がある。

したがって、更新後に、更新されたマイクロサービスは、マイクロサービスの第１動作バージョンの最後の構成状態および動作状態をＡＰＩサーバに要求できる（工程６３０）。

それに応答して、ＡＰＩサーバは、要求された最新の構成および動作状態にアクセスして、更新後のマイクロサービスバージョンに提供する（工程６４０）（例えば、ＡＰＩサーバは、更新が適用される前の最後の構成状態および動作状態をＡＰＩサーバが格納したデータベース、ストレージ媒体、または、蓄積ログから、最後の構成状態および動作状態にアクセスできる）。いくつかの実施形態において、ＡＰＩサーバは、（例えば、マイクロサービスからの明示的な要求なしに）マイクロサービスへの更新の適用時に以前の構成状態および動作状態を提供できる。

マイクロサービスが更新されると、ＡＰＩサーバは、以前のマイクロサービスバージョンの最後の構成状態および動作状態を、クラウドベースネットワーク１００内に実装された他のサービスまたはＡＰＩサーバに関連する他のサービスと調和させることができる（工程６４０）。調整処理は、最後の構成状態および動作状態が古いかまたはその他の点で他のサービスと不適合であるか否かをチェックすることを含んでよい。他のサービスとの不適合が検出された場合、ＡＰＩサーバは、その不適合を調整するために、更新されたマイクロサービスの構成状態および動作状態を更新できる（例えば、アップグレードされたマイクロサービスが適合しないサービスの要件またはパラメータに照らして新しい構成状態または動作状態を特定することによって）。ＡＰＩサーバは、他のサービスでの変化が生じた時にユーザ（例えば、ユーザ４０５）に通知してよく、その後、ユーザは、調整処理を明示的にまたは手動でトリガしてよい。あるいは、ＡＰＩサーバは、変更、アップグレード、ダウングレード、または、修正が他のサービスに適用された時に、調整処理を自動的に開始するよう構成されてもよい。

ＡＰＩサーバは、マイクロサービスの動作またはマイクロサービスとの動作の中断を回避または最小化するように、マイクロサービスを更新して調整できる（工程６４０）。マイクロサービスへ更新を適用する間、もしくは、マイクロサービスの動作状態または構成状態を調整する間、ＡＰＩサーバは、以前のバージョンのマイクロサービスが完全にオフラインになることを許容でき、次いで、新たな更新済みのマイクロサービスを開始できる。ＡＰＩサーバは、スタンバイサービスの動作が、マイクロサービスの旧バージョンから新バージョンへの移行中にオフラインマイクロサービスの必要な機能を実行することを可能にしうる。あるいは、ＡＰＩサーバは、以前のバージョンのマイクロサービスがまだ動作している間に、更新されたマイクロサービスの開始を可能にしうる。両方のマイクロサービスのバージョンが、機能してオンラインである間に、ＡＰＩサーバは、他方の完全に機能するサービスの管理下で必要な機能を実行するように、一方のサービスをスタンバイサービスとして指定する。スタンバイサービスは、データプレーン（ユーザトラフィックが通るネットワークの部分）が、中断なしに機能し続けることを可能にする。

いくつかの実施形態において、マイクロサービスに依存するサービスの更新は、ＡＰＩサーバがマイクロサービスを更新する間、保留または遅延されてよい。これらのサービスは、調整処理に関与してよいが、変更されないままであってもよく、それにより、調整中に中断されない。

動的なモデル駆動マイクロロギング
図７は、１または複数の実施形態に従って、クラウドベースネットワーク内での動的なモデル駆動マイクロロギングのための方法７００を示す。ユーザ（例えば、ユーザ４０５）は、マイクロサービス（例えば、マイクロサービス２４５Ａ～Ｂ）の異なるサブモジュールに対するロギングレベルを指定したい場合がある。

マイクロサービスは、ＡＰＩサーバ（例えば、ＡＰＩサーバ２１２）にロガーＣＲＤを登録する（工程７２０）。ロガーＣＲＤは、ＣＲＤ２１７の一実施形態であってよい。ロガーＣＲＤは、ロガー名と、デフォルトロギングレベルと、１セットの利用可能なロギングレベルの各々に対する定義と、を含む。各ロギングレベルは、イベントが記録される際の冗長性または特異性を指定する。例えば、アクティブなトラブルシューティングおよびデバッギングは、ロガーによって生成されたログ内のさらなる詳細をキャプチャするロギングレベルを必要としうる。また、登録されたロガーＣＲＤは、ユーザまたはマイクロサービスの要求を、ロガーＣＲＤによって定義されたロギングレベルに変換する関数のリストを含むこともできる。例えば、ユーザによる「デバッグ」関数またはサービスの要求が、ロガーＣＲＤによって定義された特定のロギングレベル（例えば、「ロギングレベル３．２」または特定のロギングレベルに対応する任意の適切な命名規則）と等価であることを、ロガーＣＲＤ内の関数が規定してよい。

マイクロサービス内の各サブモジュールは、設定された、標準的な、または、デフォルトのロギングレベルを用いて動作してよい。特定のサブモジュールの動作中に、異なるサブモジュール、異なるサービス、または、ユーザが、例えば、より少ないまたは多い情報を得たいことに応じて、セキュリティ要件の変更に応じて、もしくは、一様なロギングレベルで動作するように１セットのサブモジュールまたはサービスを構成するために、デフォルトロギングレベルとは異なるロギングレベルを必要とするか、または、要求してもよい。

サブモジュールのロギングレベルを変更する要求に応答して、サブモジュールは、例えば、サブモジュールのサービスまたは機能を中断することなしに、要求されたロギングレベルに関する情報を取得するためにＡＰＩサーバにクエリする（工程７４０）。

ＡＰＩサーバは、要求されたロギングレベルに関する情報の要求を受信したことに応じて、要求されたロギングレベルをロガーＣＲＤから特定できる。上述のように、ＡＰＩサーバは、要求されたロギングレベルに対応付けられたロガーＣＲＤによって定義されたロギングレベルを特定するために、変換関数を適用してよい。

要求されたロギングレベルを特定すると、ＡＰＩサーバは、特定されたロギングレベルで動作するようにサブモジュールを再構成すること（工程７６０）によって、特定されたロギングレベルを要求側サブモジュールに適用できる（工程７５０）。さらに、ユーザは、どのＡＰＩサーバが、要求されたロギングレベルに対応するロギングレベルを特定でき、同時にまたは閾値期間にわたって、特定されたロギングレベルで動作するようにマイクロサービスのすべてのサブモジュールを構成できるのかに応じて、マイクロサービスのすべてのサブモジュールがグローバルロギングレベルを継承することを要求できるので、マイクロサービス内のすべてのサブモジュールが、同時またはほぼ同時に、特定されたロギングレベルで記録されることを有益に保証する。

関係モデル情報のフォーマットおよび表示のためのＣＬＩシェルテンプレート
図８は、１または複数の実施形態に従って、クラウドベースネットワーク１００内で構造化カスタムリソース記述（ＣＲＤ）をレンダリングするための方法８００を示す。ユーザ（例えば、ユーザ４０５）は、ＣＬＩシェル（例えば、ＣＬＩシェル４２０）内に表示されたＣＲＤ（例えば、ＣＲＤ２１７）のフォーマットをカスタマイズしたい場合がある。いくつかの実施形態において、ユーザは、システム環境（図４のシステム環境４００など）を用いてＣＬＩシェルにアクセスしてよい。カスタマイズの前、ＣＲＤのコンテンツのフォーマットは、モデルおよびオブジェクト駆動型であり、すなわち、フォーマットは、ＣＲＤおよびＣＲＯごとに異なり、人間のユーザへの表示の助けとなるように構造化されていない場合がある。ユーザは、複数のＣＲＤおよびＣＲＯにわたって表示コンテンツのフォーマットを統一したい場合がある。ＣＲＤの統一フォーマットは、ＣＲＯの間の関係制約を得てよい。ユーザは、ＣＲＤを含むノードのホストコントローラ（例えば、ノード２００のホストコントローラ２５０）によって格納および実行されるＣＬＩシェルテンプレートを用いて、ＣＲＤのコンテンツのカスタマイズされたテンプレート化を可能にすることができる。

ＣＬＩシェルテンプレートの実行時、ユーザは、ＣＲＤ２１７をレンダリングするために所望のテンプレートを特定する。テンプレートは、ホストコントローラ上に前もって格納されてよく、または、いくつかの実施形態においては、ユーザが、自身のカスタマイズ済みテンプレートを書き込むことができる。テンプレートは、表示される時に、どのＣＲＤコンテンツがどのようにフォーマットされるのかを記述するメタデータを定義する。例えば、フォーマットメタデータは、各ＣＲＯ変数の配置および配列と、各変数間の間隔と、を指定してよい。テンプレートは、さらに、例えば、ＣＲＤ内の各ＣＲＯ変数を繰り返し特定し、ＣＲＯ変数を表示するか否か、どのように、どこに表示するのかを決定することによって、フォーマットメタデータに従ってＣＲＤコンテンツを処理する１または複数のスクリプトを備えることができる。

ユーザは、ＣＬＩシェル内の特定済みテンプレートおよびＣＲＤにアクセスする（工程８２０）。いくつかの実施形態において、ユーザは、ＣＬＩシェル内の複数のＣＲＤにアクセスしてよく、アクセスされたＣＲＤをフォーマットするために、１または複数のテンプレートにアクセスできる。

ホストコントローラは、ユーザの特定したテンプレートに基づいてＣＲＤをレンダリングし（工程８３０）、ＣＬＩシェル内での表示に向けて構造化されたＣＲＤを出力する。ユーザは、ＣＬＩシェルを通して、構造化されたＣＲＤを見てよいおよび／またはアクセスしてよい。

図９Ａは、１または複数の実施形態に従って、テンプレート化せずにレンダリングされたＣＲＤのモデル駆動出力９００を示す。モデル駆動出力９００は、１または複数のＣＲＤ９０５と、ＣＲＤに関連付けられた１または複数のＣＲＯ９１０と、ＣＲＯに関連付けられた複数の変数９１５と、を示す。出力９００は、具体的に２つのＣＲＤ（ＣＲＤ１およびＣＲＤ２）のコンテンツと、３つの関連付けられたＣＲＯ（ＣＲＯ Ａ、ＣＲＯ Ｂ、および、ＣＲＯ Ｃ）と、３つの変数に関連付けられた変数（ＶＡＲ１、ＶＡＲ２、および、ＶＡＲ３）とを示す。いくつかの実施形態において、モデル駆動出力９００は、ユーザ（例えば、ユーザ４０５）によってアクセス可能なＣＬＩシェル（例えば、ＣＬＩシェル４２０）を介して示される。

図９Ｂは、１または複数の実施形態に従って、図９Ａに示したＣＲＤのテンプレート化された出力９５０を示す。ユーザ（例えば、ユーザ４０５）は、ＣＲＤのコンテンツをレンダリングするために用いられる構造を定義するテンプレートを特定する。図９Ｂの特定されたテンプレートの構造は、表示のＣＲＤ部分の上部中心に各ＣＲＤを特定し、特定されたＣＲＯのすぐ下の列の上部に各ＣＲＤに関連付けられた各ＣＲＯを特定する。最後に、テンプレートは、ＣＲＯの列内の各ＣＲＯ内で、特定されたＣＲＯすぐ下に変数を特定する。ＣＲＤを含むノードのホストコントローラ（例えば、ノード２００のホストコントローラ２５０）が出力９５０をレンダリングすると、ＣＬＩシェルは（図９Ｂに示すように）フォーマット化され構造化されたＣＲＤコンテンツをユーザに提示する。出力９５０は、複数のＣＲＤの間の関係結合を反映するようにレンダリングされてよい。

図９Ｃは、１または複数の実施形態に従って、ユーザが定義したＣＲＤのテンプレート化された出力９７０を示す。新たなＣＲＤは、複数のその他のＣＲＤの組みあわせ（すなわち、複合または統合ＣＲＤ）および／または１以上のＣＲＤの構成要素を含んでよい。ユーザは、新たなＣＲＤのコンテンツを決定するテンプレートを書き出しおよび／または特定できる。特定されたテンプレートは、ＣＲＤとＣＲＯとの間の関係制約を考慮してよい。図９Ｃにおいて、新たなＣＲＤ９７０は、図９Ａ～Ｂに示したＣＲＤの構成要素を含む。新たなＣＲＤ９７０は、ＣＲＯ Ａ、Ｂ、および、Ｃと、各ＣＲＯに関連付けられた複数の変数９９５と、を含む。新たなＣＲＤ９７０に含まれる変数は、図９Ａ～Ｂに示した変数９１５の一部である。

本明細書に記載のテンプレートは、各ＣＲＤ内でそれに関連付けられたＣＲＯおよび変数に基づいて、ＣＲＤコンテンツをフォーマットしているが、実際には、ＣＲＯおよび変数を超えた任意のタイプのＣＲＤオブジェクトまたはデータが、本明細書に記載の原理に従って、テンプレートによって定義および構造化されうることに注意されたい。

マルチクラスタ管理および制御
図１０は、１または複数の実施形態に従って、複数のネットワーククラスタ１０２０、１０２２、１０２５を備えたクラウドベースネットワーク１０００を示す。クラウドベースネットワーク１０００は、クラウドベースネットワーク１００と実質的に同様であってよいが、複数のネットワーククラスタ１０２０、１０２２、１０２５を含む。ネットワーククラスタ１０２０、１０２２、１０２５の各々は、分散型ネットワーククラスタ１１０と実質的に同様であってよい。

各クラスタは、１または複数のノード１０１０、１０１２、１０１４、１０１６を備える。各ノードは、ノード１２０Ａ～Ｃ、１２１Ａ～Ｂ、および、ノード２００と実質的に同様であってよい。例えば、クラスタ１０２０は、ノード１０１０およびノード１０１２を備え、クラスタ１０２２は、ノード１０１４およびノード１０１６を備える。各ノードは、１または複数のマイクロサービス１０１５を備える。各マイクロサービス１０１５は、図２に関して上述したノード２００のマイクロサービス２４５Ａ～Ｂの実施形態である。

ネットワーククラスタ１０２５は、外部クラスタ１０２５であってよく、マスタコントローラ１０３０、マスタコントローラ１０３２を含む複数のマスタコントローラと、ファブリックコントローラ１０６０と、を備える。クラスタ１０２０と同様に、外部クラスタ１０２５は、例えば、ＡＷＳなどのクラウドサービスプロバイダ内で、１または複数のサーバ内に実装されるか、または、サーバを含みうる。各マスタコントローラは、クラスタ１０２０、１０２２の各々の動作状態を監視および制御する。特に、マスタコントローラ１０３０は、クラスタ１０２０を制御するよう構成されてよく、マスタコントローラ１０３２は、クラスタ１０２２を制御するよう構成されてよい。各マスタコントローラは、マスタ構成要素２１０の一実施形態であってよい。マルチクラスタクラウドネットワーク環境１０００は、本明細書に記載するよりも多くの構成要素を備えてもよい。例えば、クラスタ１０２０は、２つのノード１０１０、１０１２より多いノードを備えてもよく、各ノードは、マイクロサービス１０１５より多い複数のマイクロサービスを備えるかまたは実装してもよい。

ファブリックコントローラ１０６０は、マスタコントローラ１０３０および１０３２の各々の動作を監視および制御し、それにより、ファブリック１０５０にわたってクラスタ１０２０および１０２２を管理する。いくつかの実施形態において、ファブリック１０５０は、図１０に示したものよりも多いクラスタを備えてもよい。システムは、複数クラスタからの負荷バランシングおよびハンドリングの要求を各々が支援する複数のファブリックコントローラ１０６０を備えてもよい。いくつかの実施形態において、１または複数のファブリックコントローラ１０６０は、外部クラスタ１０２５の外側に配備されてもよい。

マスタコントローラ１０３０および１０３２の各々の監視時に、ファブリックコントローラ１０６０は、クラスタ１０２０および１０２２内で実行するモデルを決定する。モデルは、ＡＰＩおよび／またはＣＬＩレベルのＣＲＤに対応してよい。ファブリックコントローラ１０６０は、ノードの一部で動作するモデルと、ファブリック１０５０にわたって動作するモデルとを決定するよう構成されている。ファブリック１０５０にわたって動作するモデルは、ファブリック１０５０のすべてのノードで、すべてのクラスタで、登録され動作してよい。ファブリックコントローラ１０６０は、異なるバージョンのモデルの共存を許容する。例えば、クラスタ１０２０内で動作するＣＲＤが、クラスタ１０２２内で動作する同じＣＲＤと異なるバージョンであってよい。ファブリックコントローラ１０６０は、かかるケースにおいて、クラスタ１０２０および１０２２にわたってＣＲＤの両方のバージョンを監視および制御するよう構成される。また、ファブリックコントローラ１０６０は、モデルが動作するコンテキストと、モデルの動作要件とを決定して格納する。例えば、ファブリックコントローラ１０６０によって格納された特定の構成モデルが、クラスタ１０２０内のノードに関連するが、クラスタ１０２２内のどのノードにも関連しなくてもよい。ファブリックコントローラ１０６０は、ファブリックコントローラ１０６０に結合されたデータベース内に、ファブリック１０５０にわたって用いられるモデルに関するかかる情報を格納してよい。最初に、ファブリックコントローラ１０６０のデータベースは、完全に同期されうるが、変化がファブリック１０５０内で起きた時、ファブリックコントローラ１０６０は、変化したコンテンツを同期させるだけでよい。したがって、ファブリックコントローラ１０６０は、帯域幅利用のために最適化しうる。

ファブリックコントローラ１０６０は、関係モデル情報を記載およびレンダリングするために、ＣＬＩシェルテンプレート（図９Ａ～Ｃに関して上述したものなど）を用いてよい。ユーザは、ＣＬＩシェルを用いて、ファブリックコントローラ１０６０によって格納および制御されるモデル（すなわち、個々のクラスタ内でおよびファブリック１０５０にわたって用いられるモデル）を閲覧、アクセス、および、カスタマイズすることができうる。個々のノードのためのＣＬＩシェルは、異なるフォーマット、異なるコマンド、および、異なる動作モードを有してよい。ユーザは、図８に関して上述したように、個々のノード用、および、ファブリック１０５０全体用に、ファブリックコントローラ１０６０によってレンダリングされるＣＬＩシェルのテンプレートをカスタマイズしてよい。

ユーザは、ファブリックコントローラ１０６０によって決定および格納されたモデルのＣＬＩシェルレンダリングを用いて、ファブリック１０５０内のノードの動作およびパフォーマンスを解析してよい。また、ファブリックコントローラ１０６０は、新たなモデルがノード上で登録され実行された時に、それらの新たなモデルの動的追加を追跡する。新たなモデルが、例えば、クラスタ１０２０のノード１０１０上に登録されると、ファブリックコントローラ１０６０は、新たなモデルが導入されたと判定し、それに従って、ＣＬＩシェルテンプレートを更新する。ファブリックコントローラ１０６０は、新たなノードがネットワークに加わる時と、ネットワーク内のノード全体の傾向と、を決定してよい。ファブリックコントローラ１０６０は、管理者の意図を決定するために、傾向と、ノードの管理者によって取られるアクションとを相関させてよい。ファブリックコントローラ１０６０は、ネットワーク内のノード間の相違を特定してよく、次いで、相違を修正し、および／または、相違にネットワーク管理者の注意を向けさせてよい。これらの傾向およびアクションの各々は、ユーザアクセスのためのＣＬＩシェルテンプレートを用いてリスト化されてよい。

ファブリックコントローラ１０６０は、ノードの各々での動作を直接制御してよい。各ノードおよび／またはクラスタは、ノードに直接アクセスして制御する許可をファブリックコントローラ１０６０に与えてよい。ファブリックコントローラ１０６０は、ノードおよび／またはクラスタ上で動作するようにマイクロサービスを実行してよい。これらのマイクロサービスは、特に、上述したＣＬＩシェルテンプレートのレンダリングのためのファブリックレベルＣＬＩオペレータ、イーサネットＶＰＮオペレータ、ならびに、モデルバージョンを自動的にダウングレードおよび／またはアップグレードするソフトウェアライフサイクルオペレータを含みうる。ファブリックコントローラ１０６０は、これらのオペレータの各々を用いて、ファブリック１０５０のノードを直接制御してよい。ファブリックコントローラ１０６０によってノードに実施された任意の更新が、ノードですぐに反映される。ノードへの変更（ファブリックコントローラ１０６０によって実施される変更と同時にまたは独立してノード管理者またはオペレータによってなされる変更など）も、ファブリックコントローラ１０６０レベルですぐに反映される。例えば、ノード１０１０における構成への任意の変更が、リアルタムでファブリックコントローラ１０６０によって記録される。したがって、ファブリックコントローラ１０６０および個々のノードは各々、同時に修正を行って、双方向同期を可能にする。

ファブリックコントローラ１０６０は、ファブリック全体の構成命令に関するユーザ入力を受けて、各対象ノード上で実施可能になるように命令を変換してよい。ユーザは、ファブリックコントローラ１０６０にファブリックレベル構成命令を提供してよく、これは、ファブリック１０５０のクラスタ１０２０および１０２２の両方にわたって構成を実装することを意味する。ファブリックコントローラ１０６０は、各クラスタおよび各ノードのために構成命令を変換し、ユーザの意図の通りに、および、ノード自体のコンテキストの通りに、各ノードを構成してよい。例えば、ユーザは、ファブリック１０５０内のノードの一部に仮想ＬＡＮ（ＶＬＡＮ）を構成するためにファブリックコントローラ１０６０へ命令を提供してよい。ノードの各々は、異なるバージョンのソフトウェアで動作しうるが、ファブリックコントローラ１０６０は、ＶＬＡＮが対象ノードにわたって構成されることを保障するために、ソフトウェアバージョンの違いを調整できる。ファブリックコントローラ１０６０は、ノードレベルの構成において任意の違反を解決できてよい。ノードレベルの構成違反のための調整ロジックは、ユーザ入力を必要としうるが、ファブリックコントローラ１０６０は、各ソフトウェアバージョンの機能を決定し、ファブリック全体の構成命令を実施するために、それらのソフトウェアバージョンに基づいて各ノードを構成することができる。

その他の留意事項
本明細書に記載されている特徴および利点は、包括的なわけではなく、特に、多くのさらなる特徴および利点が、図面、明細書、および、特許請求の範囲に照らして当業者にとって明らかになる。さらに、本明細書で用いられている言語は、主に、読みやすさおよび指導の目的で選択されており、開示されている主題を描写または制限するために選択されたのではないことに注意されたい。

図面および説明は、本発明の明確な理解に関連する要素を説明するために簡略化されているが、明確にするために、典型的なオンラインシステムに見られる多くの他の要素が取り除かれていることを理解されたい。当業者は、実施形態を実施する際に、他の要素および／または工程が望ましく、および／または、必要であることを認識できる。ただし、かかる要素および工程は当業者に周知であり、実施形態のより良い理解を促進しないので、かかる要素および工程の議論は本明細書では提供されていない。本開示は、当業者に周知なかかる要素および方法に対するすべての変形および修正を対象とする。

上記の説明のいくつかの部分は、情報に対する動作のアルゴリズムおよび記号表現の観点で、実施形態を説明している。これらのアルゴリズム的な記述および表現は、仕事の内容を他の当業者に効果的に伝えるためにデータ処理技術の当業者によって一般的に利用される。これらの動作は、機能的、計算的、または、論理的に説明されているが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実施されると理解されている。さらに、一般性を失うことなく、これらの動作の配置をモジュールと呼ぶことが時に便利であることも証明されている。記載されている動作およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、または、それらの任意の組み合わせで具体化されてよい。

本明細書で用いられている「一実施形態」または「実施形態」への任意の言及は、実施形態に関連して記載された特定の要素、特徴、構造、または、特性が、少なくとも１つの実施形態に含まれることを意味する。本明細書の様々な箇所での「一実施形態において」という表現の出現は、必ずしもすべてが同じ実施形態を指すとは限らない。

いくつかの実施形態は、「結合された」および「接続された」という表現をそれらの派生語と共に用いて記載されうる。これらの用語は、互いに類義語として意図されていないことを理解されたい。例えば、いくつかの実施形態は、２つ以上の要素が互いに直接物理的または電気的に接触していることを示すために、「接続された」という用語を用いて記載されうる。別の例において、いくつかの実施形態は、２つ以上の要素が直接物理的または電気的に接触していることを示すために「結合された」という用語を用いて記載されうる。ただし、「結合された」という用語は、２つ以上の要素が互いに直接接触していないが、それでも互いに協働または相互作用することを意味する場合もある。実施形態は、この文脈に限定されない。

本明細書で用いられる用語「備える」、「備えた」、「含む」、「含んだ」、「有する」、「有した」、または、それらのあらゆる他の変化形は、非排他的な包含を網羅するよう意図されている。例えば、要素のリストを備える処理、方法、物品、または装置は、それらの要素だけに限定されず、リストに明示されていないかまたはかかる処理、方法、物品、または装置に固有の他の要素をも含みうる。さらに、特に明示しない限り、「または（ｏｒ）」という語は、排他的な「または」ではなく、包括的な「または」を表す。例えば、条件ＡまたはＢは、以下のいずれによっても満たされる。Ａが真（または存在する）かつＢが偽（または存在しない）；Ａが偽（または存在しない）かつＢが真（または存在する）；ＡとＢの両方が真（または存在する）。

さらに、不定冠詞“ａ”または“ａｎ”の利用が、本明細書の実施形態の複数の要素および構成要素を記載するために用いられる。これは、単に簡単のため、および、様々な実施形態の一般的な意味を与えるためになされる。本記載は、１つまたは少なくとも１つを含むと読まれるべきであり、単数形は、そうでないよう意図されていることが明らかでない限りは複数形も含む。

本開示を読めば、当業者は、本明細書に開示されている原理を通して歪み領域を用いてチャートを表示するためのシステムおよび処理のためのさらなる別の構造的および機能的設計を理解することになる。したがって、特定の実施形態および応用例が図示および説明されているが、開示されている実施形態は、本明細書に開示されている正確な構造および構成要素に限定されないことを理解されたい。当業者にとって明らかである様々な修正、変更、および、変形が、添付の特許請求の範囲で規定されている精神および範囲から逸脱することなく、本明細書に開示されている方法および装置の配置、動作、および、詳細においてなされうる。

図５に示した処理は、ＣＬＩマイクロサービス４１０が、ＣＲＤ２１７における変化またはＣＲＤ２１７の登録解除に応答して、新たな情報モデルツリー４３０を生成する必要がないように、動的にリアルタイムで実行されてよい。さらに、ＡＰＩサーバ２１２が登録できるサービスは、分離型クラウドベースネットワーク１００の動作に関与するエンティティによって開発されたサービスに限定されないことに注意されたい。例えば、ＡＰＩサーバ２１２で最初に登録解除されたＣＲＤ２１７を備えたサービスが、サードパーティ、コミュニティ、または、任意のその他の適切な外部ソースによって開発されてよい。ＡＰＩサーバ２１２は、これらのサービスに由来するＣＲＤ２１７を登録すると、経時的にＣＲＤ２１７の状態を反映するために情報モデルツリー４３０を動的に更新するよう、ＣＬＩマイクロサービス４１０に要求してよい。その後、ＣＬＩシェル４２０にアクセスするユーザ４０５は、情報モデルツリーの更新を要求することをユーザへ明示的に求めることなしに動的に更新された情報モデルツリー４３０に反映されたＣＲＤ２１７データの最新バージョンを見ることができる。

図９Ｂは、１または複数の実施形態に従って、図９Ａに示したＣＲＤのテンプレート化された出力９５０を示す。ユーザ（例えば、ユーザ４０５）は、ＣＲＤのコンテンツをレンダリングするために用いられる構造を定義するテンプレートを特定する。図９Ｂの特定されたテンプレートの構造は、表示のＣＲＤ部分の上部中心に各ＣＲＤを特定し、特定されたＣＲＤのすぐ下の列の上部に各ＣＲＤに関連付けられた各ＣＲＯを特定する。最後に、テンプレートは、ＣＲＯの列内の各ＣＲＯ内で、特定されたＣＲＯすぐ下に変数を特定する。ＣＲＤを含むノードのホストコントローラ（例えば、ノード２００のホストコントローラ２５０）が出力９５０をレンダリングすると、ＣＬＩシェルは（図９Ｂに示すように）フォーマット化され構造化されたＣＲＤコンテンツをユーザに提示する。出力９５０は、複数のＣＲＤの間の関係結合を反映するようにレンダリングされてよい。

本開示を読めば、当業者は、本明細書に開示されている原理を通して歪み領域を用いてチャートを表示するためのシステムおよび処理のためのさらなる別の構造的および機能的設計を理解することになる。したがって、特定の実施形態および応用例が図示および説明されているが、開示されている実施形態は、本明細書に開示されている正確な構造および構成要素に限定されないことを理解されたい。当業者にとって明らかである様々な修正、変更、および、変形が、添付の特許請求の範囲で規定されている精神および範囲から逸脱することなく、本明細書に開示されている方法および装置の配置、動作、および、詳細においてなされうる。また本開示は以下の形態として実現できる。
［形態１］
複数のノードを備えたクラウドベースネットワークであって、各ノードは、
マスタコントローラと、
前記マスタコントローラによって管理される１または複数のカスタムコントローラであって、前記１または複数のカスタムコントローラは、カスタムリソースにアクセスして格納するよう構成されており、各カスタムリソースは、
前記ノードの動作状態、
前記ノードの構成状態、および、
前記ノードを表す１セットのテレメトリデータ、を含む、１または複数のカスタムコントローラと、
前記カスタムコントローラの少なくとも１つによって管理される１または複数のコンテナ化マイクロサービスと、
を備える、クラウドベースネットワーク。
［形態２］
形態１に記載のクラウドベースネットワークであって、少なくとも１つのコンテナ化マイクロサービスが、前記クラウドベースネットワーク内での１または複数の意図駆動型の動作の実行を可能にする、クラウドベースネットワーク。
［形態３］
形態１に記載のクラウドベースネットワークであって、前記複数のノードは、外部システムによって管理される、クラウドベースネットワーク。
［形態４］
形態１に記載のクラウドベースネットワークであって、前記ノードは、さらに、
前記マスタコントローラおよび前記カスタムコントローラをインスタンス化するよう構成されたホストコントローラを備える、クラウドベースネットワーク。
［形態５］
形態１に記載のクラウドベースネットワークであって、データは、前記ノードの外部に格納され、オンデマンドでアクセス可能である、クラウドベースネットワーク。
［形態６］
形態１に記載のクラウドベースネットワークであって、前記マスタコントローラは、アプリケーションプログラミングインターフェース（ＡＰＩ）サーバを備え、前記マスタコントローラは、前記ＡＰＩサーバを用いて標準ストレージインターフェースを確立するよう構成されている、クラウドベースネットワーク。
［形態７］
形態６に記載のクラウドベースネットワークであって、前記ノードの外部に格納された前記データは、前記標準ストレージインターフェースを介してカスタムコントローラによってアクセスされる、クラウドベースネットワーク。
［形態８］
形態１に記載のクラウドベースネットワークであって、少なくとも１つのカスタムコントローラは、さらに、
前記マスタコントローラから、
前記ノードの所望の動作状態、および、
前記ノードの所望の構成状態を受信し、
前記ノードの前記動作状態および前記所望の動作状態を調和させ、
前記ノードの前記構成および前記所望の構成を調和させるよう構成されている、クラウドベースネットワーク。
［形態９］
形態１に記載のクラウドベースネットワークであって、前記マスタコントローラは、さらに、
マイクロサービスから、
前記マイクロサービスの動作状態、および、
前記マイクロサービスの構成状態を受信し、
前記動作状態および前記構成状態は、前記マイクロサービスの現行バージョンに関連し、
前記マイクロサービスへ、
前記マイクロサービスの第２動作状態、および、
前記マイクロサービスの第２構成状態を提供し、
前記第２動作状態および前記第２構成状態は、前記マイクロサービスの第２バージョンに関連し、
前記マイクロサービスの前記現行バージョンおよび前記第２バージョンを１または複数の他のマイクロサービスと調和させるよう構成されている、クラウドベースネットワーク。
［形態１０］
形態１に記載のクラウドベースネットワークであって、少なくとも１つのコンテナ化マイクロサービスは、前記カスタムコントローラによって格納された前記カスタムリソースをノードオペレータへの表示に向けてレンダリングするよう構成されたコマンドライン・インターフェース（ＣＬＩ）マイクロサービスである、クラウドベースネットワーク。
［形態１１］
形態１に記載のクラウドベースネットワークであって、前記複数のノードは、クラスタを備え、前記クラスタは、前記クラウドベースネットワーク内の対応するセットのノードを各々備えた複数のクラスタの内の１つを含む、クラウドベースネットワーク。
［形態１２］
形態１１に記載のクラウドベースネットワークであって、少なくとも１つのクラスタは、外部クラスタであり、前記外部クラスタは、
複数のマスタコントローラであって、各マスタコントローラは、前記複数のクラスタの内の１クラスタを管理するよう構成されている、複数のマスタコントローラと、
ファブリックコントローラと、
を備える、クラウドベースネットワーク。
［形態１３］
形態１２に記載のクラウドベースネットワークであって、前記ファブリックコントローラは、
前記複数のマスタコントローラの各々を監視し、
前記複数のマスタコントローラの各々を管理し、
各クラスタ内の前記複数のノードの各々にアクセスし、
各クラスタ内の前記複数のノードの各々を管理するよう構成されている、クラウドベースネットワーク。
［形態１４］
クラウドベースネットワークを管理するための方法であって、
複数のノードを生成して管理する工程を備え、各ノードは、
マスタコントローラと、
１または複数のカスタムコントローラと、
１または複数のコンテナ化マイクロサービスと、
を備え、
前記ノードの各々を管理する工程は、
前記マスタコントローラによって、前記１または複数のカスタムコントローラを管理する工程と、
少なくとも１つのカスタムコントローラによって、前記１または複数のコンテナ化マイクロサービスを管理する工程と、
カスタムリソースにアクセスして格納する工程と
を含み、各カスタムリソースは、
前記ノードの動作状態、
前記ノードの構成状態、および、
前記ノードを表す１セットのテレメトリデータ、
を含む、方法。
［形態１５］
形態１４に記載の方法であって、少なくとも１つのコンテナ化マイクロサービスが、前記クラウドベースネットワーク内での１または複数の意図駆動型の動作の実行を可能にする、方法。
［形態１６］
形態１４に記載の方法であって、前記複数のノードは、外部システムによって管理される、方法。
［形態１７］
形態１４に記載の方法であって、各ノードは、さらに、
前記マスタコントローラおよび前記カスタムコントローラをインスタンス化するよう構成されたホストコントローラを備える、方法。
［形態１８］
形態１４に記載の方法であって、少なくとも１つのカスタムコントローラは、
前記マスタコントローラから、
前記ノードの所望の動作状態、および、
前記ノードの所望の構成状態を受信し、
前記ノードの前記動作状態および前記所望の動作状態を調和させ、
前記ノードの前記構成および前記所望の構成を調和させるよう構成されている、方法。
［形態１９］
形態１４に記載の方法であって、前記のマスタコントローラは、さらに、
マイクロサービスから、
前記マイクロサービスの動作状態、および、
前記マイクロサービスの構成状態を受信し、
前記動作状態および前記構成状態は、前記マイクロサービスの現行バージョンに関連し、
前記マイクロサービスへ、
前記マイクロサービスの第２動作状態、および、
前記マイクロサービスの第２構成状態を提供し、
前記第２動作状態および前記第２構成状態は、前記マイクロサービスの第２バージョンに関連し、
前記マイクロサービスの前記現行バージョンおよび前記第２バージョンを１または複数の他のマイクロサービスと調和させるよう構成されている、方法。
［形態２０］
形態１９に記載の方法であって、少なくとも１つのコンテナ化マイクロサービスは、前記カスタムコントローラによって格納された前記カスタムリソースをノードオペレータへの表示に向けてレンダリングするよう構成されたコマンドライン・インターフェース（ＣＬＩ）マイクロサービスである、方法。

Claims (20)

1. 複数のノードを備えたクラウドベースネットワークであって、各ノードは、
   マスタコントローラと、
   前記マスタコントローラによって管理される１または複数のカスタムコントローラであって、前記１または複数のカスタムコントローラは、カスタムリソースにアクセスして格納するよう構成されており、各カスタムリソースは、
   前記ノードの動作状態、
   前記ノードの構成状態、および、
   前記ノードを表す１セットのテレメトリデータ、を含む、１または複数のカスタムコントローラと、
   前記カスタムコントローラの少なくとも１つによって管理される１または複数のコンテナ化マイクロサービスと、
   を備える、クラウドベースネットワーク。
2. 請求項１に記載のクラウドベースネットワークであって、少なくとも１つのコンテナ化マイクロサービスが、前記クラウドベースネットワーク内での１または複数の意図駆動型の動作の実行を可能にする、クラウドベースネットワーク。
3. 請求項１に記載のクラウドベースネットワークであって、前記複数のノードは、外部システムによって管理される、クラウドベースネットワーク。
4. 請求項１に記載のクラウドベースネットワークであって、前記ノードは、さらに、
   前記マスタコントローラおよび前記カスタムコントローラをインスタンス化するよう構成されたホストコントローラを備える、クラウドベースネットワーク。
5. 請求項１に記載のクラウドベースネットワークであって、データは、前記ノードの外部に格納され、オンデマンドでアクセス可能である、クラウドベースネットワーク。
6. 請求項１に記載のクラウドベースネットワークであって、前記マスタコントローラは、アプリケーションプログラミングインターフェース（ＡＰＩ）サーバを備え、前記マスタコントローラは、前記ＡＰＩサーバを用いて標準ストレージインターフェースを確立するよう構成されている、クラウドベースネットワーク。
7. 請求項６に記載のクラウドベースネットワークであって、前記ノードの外部に格納された前記データは、前記標準ストレージインターフェースを介してカスタムコントローラによってアクセスされる、クラウドベースネットワーク。
8. 請求項１に記載のクラウドベースネットワークであって、少なくとも１つのカスタムコントローラは、さらに、
   前記マスタコントローラから、
   前記ノードの所望の動作状態、および、
   前記ノードの所望の構成状態を受信し、
   前記ノードの前記動作状態および前記所望の動作状態を調和させ、
   前記ノードの前記構成および前記所望の構成を調和させるよう構成されている、クラウドベースネットワーク。
9. 請求項１に記載のクラウドベースネットワークであって、前記マスタコントローラは、さらに、
   マイクロサービスから、
   前記マイクロサービスの動作状態、および、
   前記マイクロサービスの構成状態を受信し、
   前記動作状態および前記構成状態は、前記マイクロサービスの現行バージョンに関連し、
   前記マイクロサービスへ、
   前記マイクロサービスの第２動作状態、および、
   前記マイクロサービスの第２構成状態を提供し、
   前記第２動作状態および前記第２構成状態は、前記マイクロサービスの第２バージョンに関連し、
   前記マイクロサービスの前記現行バージョンおよび前記第２バージョンを１または複数の他のマイクロサービスと調和させるよう構成されている、クラウドベースネットワーク。
10. 請求項１に記載のクラウドベースネットワークであって、少なくとも１つのコンテナ化マイクロサービスは、前記カスタムコントローラによって格納された前記カスタムリソースをノードオペレータへの表示に向けてレンダリングするよう構成されたコマンドライン・インターフェース（ＣＬＩ）マイクロサービスである、クラウドベースネットワーク。
11. 請求項１に記載のクラウドベースネットワークであって、前記複数のノードは、クラスタを備え、前記クラスタは、前記クラウドベースネットワーク内の対応するセットのノードを各々備えた複数のクラスタの内の１つを含む、クラウドベースネットワーク。
12. 請求項１１に記載のクラウドベースネットワークであって、少なくとも１つのクラスタは、外部クラスタであり、前記外部クラスタは、
    複数のマスタコントローラであって、各マスタコントローラは、前記複数のクラスタの内の１クラスタを管理するよう構成されている、複数のマスタコントローラと、
    ファブリックコントローラと、
    を備える、クラウドベースネットワーク。
13. 請求項１２に記載のクラウドベースネットワークであって、前記ファブリックコントローラは、
    前記複数のマスタコントローラの各々を監視し、
    前記複数のマスタコントローラの各々を管理し、
    各クラスタ内の前記複数のノードの各々にアクセスし、
    各クラスタ内の前記複数のノードの各々を管理するよう構成されている、クラウドベースネットワーク。
14. クラウドベースネットワークを管理するための方法であって、
    複数のノードを生成して管理する工程を備え、各ノードは、
    マスタコントローラと、
    １または複数のカスタムコントローラと、
    １または複数のコンテナ化マイクロサービスと、
    を備え、
    前記ノードの各々を管理する工程は、
    前記マスタコントローラによって、前記１または複数のカスタムコントローラを管理する工程と、
    少なくとも１つのカスタムコントローラによって、前記１または複数のコンテナ化マイクロサービスを管理する工程と、
    カスタムリソースにアクセスして格納する工程と
    を含み、各カスタムリソースは、
    前記ノードの動作状態、
    前記ノードの構成状態、および、
    前記ノードを表す１セットのテレメトリデータ、
    を含む、方法。
15. 請求項１４に記載の方法であって、少なくとも１つのコンテナ化マイクロサービスが、前記クラウドベースネットワーク内での１または複数の意図駆動型の動作の実行を可能にする、方法。
16. 請求項１４に記載の方法であって、前記複数のノードは、外部システムによって管理される、方法。
17. 請求項１４に記載の方法であって、各ノードは、さらに、
    前記マスタコントローラおよび前記カスタムコントローラをインスタンス化するよう構成されたホストコントローラを備える、方法。
18. 請求項１４に記載の方法であって、少なくとも１つのカスタムコントローラは、
    前記マスタコントローラから、
    前記ノードの所望の動作状態、および、
    前記ノードの所望の構成状態を受信し、
    前記ノードの前記動作状態および前記所望の動作状態を調和させ、
    前記ノードの前記構成および前記所望の構成を調和させるよう構成されている、方法。
19. 請求項１４に記載の方法であって、前記のマスタコントローラは、さらに、
    マイクロサービスから、
    前記マイクロサービスの動作状態、および、
    前記マイクロサービスの構成状態を受信し、
    前記動作状態および前記構成状態は、前記マイクロサービスの現行バージョンに関連し、
    前記マイクロサービスへ、
    前記マイクロサービスの第２動作状態、および、
    前記マイクロサービスの第２構成状態を提供し、
    前記第２動作状態および前記第２構成状態は、前記マイクロサービスの第２バージョンに関連し、
    前記マイクロサービスの前記現行バージョンおよび前記第２バージョンを１または複数の他のマイクロサービスと調和させるよう構成されている、方法。
20. 請求項１９に記載の方法であって、少なくとも１つのコンテナ化マイクロサービスは、前記カスタムコントローラによって格納された前記カスタムリソースをノードオペレータへの表示に向けてレンダリングするよう構成されたコマンドライン・インターフェース（ＣＬＩ）マイクロサービスである、方法。

Images