JP2023046248A - プログラマブルネットワークデバイスを用いたメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリング並びに自動スケーリング - Google Patents

プログラマブルネットワークデバイスを用いたメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリング並びに自動スケーリング Download PDF

Info

Publication number
JP2023046248A
JP2023046248A JP2022107779A JP2022107779A JP2023046248A JP 2023046248 A JP2023046248 A JP 2023046248A JP 2022107779 A JP2022107779 A JP 2022107779A JP 2022107779 A JP2022107779 A JP 2022107779A JP 2023046248 A JP2023046248 A JP 2023046248A
Authority
JP
Japan
Prior art keywords
hardware accelerator
service
accelerator device
hardware
processors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022107779A
Other languages
English (en)
Inventor
イリネン ミッコ
Ylinen Mikko
プースティネン イスモ
Puustinen Ismo
ラル レシュマ
Lal Reshma
ジャイエシュ デサイ ソハム
Jayesh Desai Soham
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2023046248A publication Critical patent/JP2023046248A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/53—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0485—Networking architectures for enhanced packet encryption processing, e.g. offloading of IPsec packet processing or efficient security association look-up
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/16—Implementing security features at a particular protocol layer
    • H04L63/166—Implementing security features at a particular protocol layer at the transport layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/085—Secret sharing or secret splitting, e.g. threshold schemes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/606—Protecting data by securing the transmission between two devices or processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/505—Clust
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/508—Monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2149—Restricted operating environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリング並びに自動スケーリングを提供する。【解決手段】装置は、プロセッサであって、サービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するメトリックを収集し、メトリックの分析に基づいて、ハードウェアアクセラレータデバイスへのオフロードによってワークロードを加速できると判定し、プログラマブルネットワークデバイスにハードウェアアクセラレータデバイスをクラスタに割り当てさせ、ハードウェアアクセラレータデバイスをサービスメッシュに登録させ、ハードウェアアクセラレータデバイスへサービスのワークロードをスケジューリングする。【選択図】図５

Description

実施形態は、概して、データ処理に関し、より具体的には、プログラマブルネットワークデバイスを使用するメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングに関する。
データセンタでは分散コンピューティングが増えている。クラウドサービスプロバイダ（ＣＳＰ）は、ワークロードの処理が、同じプラットフォーム上にある代わりにネットワークを介して接続され、周辺機器相互接続エクスプレス（ＰＣＩｅ）などの物理リンクを介して接続されたＣＰＵ、ＧＰＵ、およびハードウェアアクセラレータ（フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含む）などの分散された計算リソースで分散される解決策を展開している。分散コンピューティングは、利用可能なリソースのより効率的な使用を可能にすることによって、リソースの利用を改善することを可能にし、所有のコストを低減する。分散コンピューティングはまた、大規模な計算のために多数のハードウェアアクセラレータをプールすることを可能にし、計算をより効率的かつより良好に実行するようにする。
分散コンピューティング環境では、計算クラスタの典型的なワーカーノードは、数百のコンテナワークロードを同時に処理することができる。これらのワーカーノードはまた、計算集約的なタスクのために最適化された、静的に取り付けられた専用のハードウェアアクセラレータを有することができる。例えば、ハードウェアアクセラレータのクラスは、それぞれトランスポート層セキュリティ（ＴＬＳ）またはｚｌｉｂなどの暗号化および圧縮アルゴリズムを効率的に実行するように最適化することができる。しかしながら、静的ハードウェアアクセラレータリソースは、通常、リソースの不足のために、ワーカーノードで実行されているすべてのワークロードに利用可能であるわけではない。意味のある方法で計算集約的な動作を加速するために、ハードウェアアクセラレータリソースは、サービス品質（ＱｏＳ）を保証するのにあまり薄すぎる分散をさせることができない。
本実施形態の上記の特徴が詳細に理解され得るように、上記で簡潔に要約された実施形態のより具体的な説明は、実施形態を参照することによって得ることができ、そのいくつかは添付の図面に示されている。しかしながら、添付の図面は典型的な実施形態を示しており、したがってその範囲を限定するものと見なされるべきではないことに留意されたい。図面は縮尺通りではない。一般に、同じまたは同様の部分を指すために、図面および随伴の記述式説明を通して同じ参照番号が使用される。
本開示の実装形態による、プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを提供するためのＸＰＵスケジューラエクステンダを使用するコンピューティングデバイスを示す。
本開示の１つの実装形態による、図１のＸＰＵスケジューラエクステンダを示す。
本開示の実装形態による、プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを提供するデータセンタシステムを示す。
本開示の実装形態による、プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを実装するデータセンタシステム４００のブロック図を示す。
プログラマブルネットワークデバイスを使用したメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングのための方法の実施形態を示す流れ図である。
プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを実施しながら、セキュリティ対策のための方法の実施形態を示す流れ図である。
いくつかの実施形態による、プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを可能にするための例示的な電子コンピューティングデバイスの概略図である。
本開示の実装形態は、プログラマブルネットワークデバイスを使用したメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを説明する。クラウドサービスプロバイダ（ＣＳＰ）は、（同じプラットフォームにあり、周辺機器相互接続エクスプレス（ＰＣＩｅ）などの物理リンクを介して接続されるのではなく）ネットワークを介して接続される中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、および／またはハードウェアアクセラレータ（フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）を含むが、これらに限定されない）などの分散された計算リソースでワークロードの処理が分散されるデータセンタに、ソリューションを展開している。分散コンピューティングは、利用可能なリソースのより効率的な使用を可能にすることによって、リソースの利用を改善することを可能にし、所有のコストを低減する。分散コンピューティングはまた、大規模な計算のために多数のハードウェアアクセラレータをプールすることを可能にし、計算をより効率的かつより良好に実行するようにする。
サービスプロバイダおよび企業は、クラウドネイティブアプリケーションおよびマイクロサービスのための効率的な計算を提供するために、ハイパースケールデータセンタに大きく投資している。これらのサービスを提供するアプリケーションは、高速、低レイテンシのストレージおよび安全なネットワーキングインフラストラクチャにアクセスするべきである。分散コンピューティングのソリューションは、そのような高速かつ低レイテンシのストレージおよび安全なネットワーキングインフラストラクチャを提供することができる。しかしながら、仮想スイッチング、セキュリティ、およびストレージなどのインフラストラクチャサービスは、かなりの数のＣＰＵサイクルを消費する可能性がある。
プログラマブルネットワークデバイスを利用してネットワークインフラストラクチャを加速し、アプリケーションのパフォーマンスを向上させるために、ＣＰＵコアを解放することができる。プログラマブルネットワークデバイスは、例えば、インフラストラクチャ処理ユニット（ＩＰＵ）、データ処理ユニット（ＤＰＵ）、スマートネットワークインターフェースカード（ＳｍａｒｔＮＩＣ）を含むことができる。本明細書の説明は、特に、プログラマブルネットワークデバイスをＩＰＵと呼ぶことがあるが、プログラマブルネットワークデバイスをそのような実装形態に限定することを意図するものではなく、プログラマブルネットワークデバイスの他の実装形態を包含することができる。ＩＰＵなどのプログラマブルネットワークデバイスは、クラウドサービスプロバイダがソフトウェアの速度でインフラストラクチャ機能展開をカスタマイズすることを可能にし、一方で柔軟なワークロードの配置を可能にすることによって、データセンタの利用を改善する。プログラマブルネットワークデバイスは、データセンタのネットワーキングおよびストレージインフラストラクチャ機能を安全に加速することによって、システムレベルリソースをインテリジェントに管理することができる。
分散コンピューティングを備えるデータセンタは、マイクロサービスアーキテクチャをさらに活用して、ネットワークインフラストラクチャサービスを加速できる。マイクロサービスアーキテクチャは、アプリケーションを緩やかに連結されたマイクロサービスの集合として配置することができ、これは、ＨＴＴＰまたはｇＲＰＣなどの、技術に依存しないプロトコルを使用して目標を達成するために、ネットワークを介して通信するプロセスを指すことができる。場合によっては、マイクロサービスは、コンテナ化されたワークロードおよび／またはサービスを提供するコンテナオーケストレーションプラットフォームを使用して配備されてもよい。コンテナオーケストレーションプラットフォームは、マイクロサービス間の大量のネットワークベースのプロセス間の通信を管理するために、サービスメッシュを利用することができる。サービスメッシュは、マイクロサービス間の通信を高速、信頼性、および安全にすることを可能にする要素を含む、マイクロサービスのための専用のソフトウェアインフラストラクチャ層である。サービスメッシュは、サービス発見、負荷分散、暗号化、可観測性、トレーサビリティ、および認証および許可を含む機能を提供する。
分散コンピューティング環境では、マイクロサービスアーキテクチャの計算クラスタの典型的なワーカーノードは、数百のコンテナワークロードを同時に処理することができる。これらのワーカーノードはまた、計算集約的なタスクのために最適化された、静的に取り付けられた専用のハードウェアアクセラレータを有することができる。（本明細書で説明するように、ハードウェアアクセラレータは、ハードウェアアクセラレータデバイス、ハードウェアアクセラレータリソース、アクセラレータリソース、またはアクセラレータとも呼ばれ得る。）例えば、ハードウェアアクセラレータのクラスは、それぞれトランスポート層セキュリティ（ＴＬＳ）またはｚｌｉｂなどの暗号化および圧縮アルゴリズムを効率的に実行するように最適化することができる。しかしながら、静的ハードウェアアクセラレータリソースは、通常、リソースの不足のために、ワーカーノードで実行されているすべてのワークロードに利用可能であるわけではない。意味のある方法で計算集約的な動作を加速するために、ハードウェアアクセラレータリソースは、サービス品質（ＱｏＳ）を保証するのにあまり薄すぎる分散をさせることができない。
関連するコンテキストでは、コンテナオーケストレーションプラットフォーム（マイクロサービスアーキテクチャを管理する）の制御プレーンスケジューラは、ハードウェアアクセラレータ仮想機能（ＶＦ）を「拡張リソース」として観測することができる。所与のアクセラレータで利用可能なＶＦの数は制限され得る。例えば、暗号化アクセラレータカードの場合、それぞれ１６個のＶＦを公開する３つの物理アクセラレータエンジンがあり、ノードごとに４８個の可能な拡張された割り当て可能リソースをもたらすことができる。マイクロサービスアーキテクチャのコンテナアプリケーションは、１つまたは複数のそのようなアクセラレータリソースを要求することができ、ノードのアクセラレータリソースが枯渇した後、制御プレーンスケジューラは、計算ノードが利用可能な計算リソースを有する場合であっても、そのようなアクセラレータリソースを計算ノード（例えば、サーバＣＰＵ）に要求するワークロードをスケジューリングしない。これは、計算ノードの未利用につながる可能性がある。
場合によっては、コンテナは、アクセラレータリソースの使用から恩恵を受けることができるが、パフォーマンスの低下およびＣＰＵの利用の上昇などのトレードオフを伴うことなく実行することもでき、またはどのアクセラレータリソースを取得するかに影響されにくい場合もある（例えば、ＦＰＧＡ対ＧＰＵ対ＡＳＩＣなど）。これらの場合は、従来の解決策では効率的に処理することができない。さらに、静的クラスタが特定のタイプのアクセラレータリソースを完全に使い果たした場合、リソースが再び解放されるまで、新しいワークロードは保留状態のままである。これにより、レイテンシが増加し、マイクロサービスアーキテクチャのパフォーマンスが低下する。
マイクロサービスアーキテクチャにおける拡張リソースのスケジューリングのための従来の手法は、以下のように、コンテナオーケストレーションプラットフォームの制御プレーンスケジューラによって利用される手法を含む。ワークロードが拡張リソースを要求する場合、そのようなリソースを提供する計算ノードにスケジューリングされ、ノードの利用可能なリソースカウントが減少する。各ノードの利用可能なリソースは静的であり、これは初期化中にクラスタの制御プレーンスケジューラに報告される。保留状態で動作するワークロードの制限を克服するために、１つの従来の手法は、「無限の」数の仮想アクセラレータリソースを提供し、それらのサブセットに実際のアクセラレータハードウェアバックエンドを含めることができる。しかしながら、この手法は、「実際の」アクセラレータハードウェアバックエンドリソースのすべてが完全に利用されている場合の状況に対処しない。
クラウドオーケストレータにおけるメトリックベースのスケジューリングは、従来の手法ではハードウェアアクセラレータリソースを配備するために、特に分散され得るＸＰＵリソースを配備するためには使用されていない。ＸＰＵは、ハードウェアアクセラレータ（例えば、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣ、推論アクセラレータ、暗号化アクセラレータ、他の専用ハードウェアアクセラレータなど）を含む異種および／またはクロスアーキテクチャ（「Ｘ」）処理ユニットを指す。例えば、Ｋｕｂｅｒｎｅｔｅｓプロジェクトは、ワークロード「垂直オートスケーラ」で動作する。その概念は、ワークロードのパフォーマンスを監視し、ワークロードのパフォーマンスが低下した場合に、ワークロードのＣＰＵ時間および／またはメモリを動的に追加することである。しかしながら、この手法は、ネイティブ（ＣＰＵおよびメモリ）リソースの増減に焦点を当てており、特定の計算集約型タスクを専用のアクセラレータ（例えば、ＸＰＵ）および／またはコプロセッサにオフロードできるかどうかを考慮していない。
他のコンテナオーケストレータサービスメッシュソリューションは、すべてのコンテナアプリケーションと共にサイドカープロキシを有することによって機能する。そのようなサイドカープロキシが、トランスポート層セキュリティ（ＴＬＳ）ハンドシェイクアクセラレータまたはハイパーテキストトランスポートプロトコル（ＨＴＴＰ）圧縮などの一般的なタスクのためにハードウェアアクセラレータを使用する場合、４８リソースの静的制限（前述の例を続ける）により、アプリケーションの制限は、アプリケーションコンテナと共にサイドカープロキシを含む４８ポッドになる。したがって、このスケジューリングメカニズムは、リソース不足の問題に直接寄与し、その結果、ワークロードが、スケジューリングされ得る前にアクセラレータリソースが解放されるのを待たなければならない。
さらに、許可されたリソースの一部が（すなわち、実際のハードウェアアクセラレータアクセスを含まない）「空」であるが、４８を超えるアプリケーションのスケジューリングを可能にするために許可された場合、予測可能性は失われる（例えば、サービスがパフォーマンスの目標を満たすことができるかどうかを知る方法はない）。そのような場合、完全に最適化されたマイクロサービスグラフは、フローのボトルネックを観察することができ、トラフィック量がマイクロサービスフローグラフの前の部分で既に削減されているため、他のハードウェアアクセラレータリソースを十分に利用されないようにする。
本開示の実装形態は、プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを提供することによって、上記の技術的欠点に対処する。本明細書の実装形態では、計算クラスタにおける加速から恩恵を受けるワークロードへのスケーラブルでより動的な計算リソースの割り当てを達成するために、ワークロードテレメトリデータ、プログラマブルネットワークデバイス（ＩＰＵなど）、およびＸＰＵ（異種処理ユニット）ハードウェアアクセラレータ（例えば、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣ、推論アクセラレータ、暗号化アクセラレータ、他の専用ハードウェアアクセラレータなど）を利用するための技術が提供される。
実装形態は、２つの使用モデルを提供するＸＰＵスケジューラエクステンダ、およびクラスタノードエージェントを提供する。本明細書の実装形態では、ＸＰＵスケジューラエクステンダは、スケジューラエクステンダまたはスケジューラエクステンダ回路とも呼ばれ得る。第１の使用モデルでは、ＸＰＵスケジューラエクステンダは、メインクラスタオーケストレータおよびクラスタノードエージェントと通信して、ＸＰＵアクセラレータ計算リソースの量のスケーリングに関する情報をクラスタに中継する。第２の使用モデルでは、ＸＰＵスケジューラは、データセンタクラスタノードエージェントと通信して、既にＸＰＵリソースを消費しているワークロードに対してより多くの計算帯域幅を構成し、および／またはより効率的な計算のために、基礎となるＸＰＵタイプを切り替える。
本明細書の実装形態では、ＸＰＵスケジューラエクステンダは、ワークロードからメトリックを収集および分析する。メトリックは、ＸＰＵでまた加速され得る機能にマップされ得るものである。例えば、ＴＬＳハンドシェイクの数／秒、またはＣＰＵ上で圧縮されたデータのバイトの量は、暗号化／圧縮アクセラレータにマッピングすることができる。メトリックベースのＸＰＵスケジューリングを使用して、最適化された量のＸＰＵリソースをクラスタに対して利用可能にし、それらを利用するワークロードに割り当てることができ、それらから利益を受けないワークロードをＣＰＵで実行するようにスケジューリングすることができる。
本開示の実装形態は、上述の従来の手法を超える技術的利点を提供する。１つの技術的利点は、ＸＰＵアクセラレータリソースがマイクロサービスフローグラフのボトルネックを除去するために動的に使用され、最適化された量のＸＰＵアクセラレータリソースが実装されるため、ＸＰＵアクセラレータリソースがより良好にターゲットとされることである。別の技術的利点は、ＸＰＵアクセラレータリソースが、結果として生じるオーバーヘッドがアプリケーションのパフォーマンスを低下させるほど少ない使用量ではコンテナに移動しないことである。さらなる技術的利点は、ノードで実行されているコンテナの最大数が利用可能なアクセラレータリソース（例えば、サービスメッシュのユースケースで）によって、もはや決定されないので、ノードがＸＰＵアクセラレータリソースをそれほど容易に使い果たさないことである。
図１は、本開示の実装形態による、プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを提供するためのＸＰＵスケジューラエクステンダ１１０を採用するコンピューティングデバイス１００を示す。コンピューティングデバイス１００は、スマート音声コマンドデバイス、インテリジェントパーソナルアシスタント、ホーム／オフィスオートメーションシステム、家電機器（例えば、洗濯機、テレビセットなど）、モバイルデバイス（例えば、スマートフォン、タブレットコンピュータなど）、ゲームデバイス、ハンドヘルドデバイス、ウェアラブルデバイス（例えば、スマートウォッチ、スマートブレスレットなど）、仮想現実（ＶＲ）デバイス、ヘッドマウントディスプレイ（ＨＭＤ）、モノのインターネット（ＩｏＴ）デバイス、ラップトップコンピュータ、デスクトップコンピュータ、サーバコンピュータ、セットトップボックス（例えば、インターネットベースのケーブルテレビセットトップボックスなど）、全地球測位システム（ＧＰＳ）ベースのデバイス、自動車インフォテインメントデバイスなどを含む、または表す（限定されない）通信およびデータ処理デバイスを表す。
いくつかの実施形態では、コンピューティングデバイス１００は、機械的エージェントもしくは機械、電子エージェントもしくは機械、仮想エージェントもしくは機械、電気機械的エージェントもしくは機械などの（これらに限定されない）自律機械もしくは人工知能エージェントなどの任意の数および種類の他のスマートデバイスを含むか、それらと共に動作するか、それらに埋め込まれているか、それらを促進する。自律機械もしくは人工知能エージェントの例には、（これらに限定されないが）ロボット、自律型車両（例えば、自動運転車、自動飛行航空機、自動セーリングボートなど）、自律型機器、自律動作式建設車両、自律動作式医療機器などが含まれ得る。さらに、「自律型車両」は自動車に限定されず、ロボット、自律型機器、家庭用自律型装置などの任意の数および種類の自律型機械を含むことができ、そのような自律型機械に関連する任意の１つまたは複数のタスクまたは動作は、自律運転と互換的に参照され得る。
さらに、例えば、コンピューティングデバイス１００は、コンピューティングデバイス１００の様々なハードウェアおよび／またはソフトウェアコンポーネントを単一チップ上に統合するシステムオンチップ（「ＳＯＣ」または「ＳｏＣ」）などの集積回路（「ＩＣ」）をホストするコンピュータプラットフォームを含むことができる。
図示のように、一実施形態では、コンピューティングデバイス１００は、（これらに限定されないが）グラフィックス処理装置（「ＧＰＵ」または単に「グラフィックスプロセッサ」）１１４、グラフィックスドライバ（「ＧＰＵドライバ」、「グラフィックスドライバ論理」、「ドライバ論理」、ユーザモードドライバ（ＵＭＤ）、ユーザモードドライバフレームワーク（ＵＭＤＦ）、または単に「ドライバ」とも呼ばれる）１１５、中央処理装置（「ＣＰＵ」または単に「アプリケーションプロセッサ」）１１２、メモリ１０８、ネットワークデバイス、ドライバなど、ならびに入出力（Ｉ／０）ソース１０４、例えばタッチスクリーン、タッチパネル、タッチパッド、仮想または通常のキーボード、仮想または通常のマウス、ポート、コネクタなどの任意の数および種類のハードウェアおよび／またはソフトウェアコンポーネントを含むことができる。コンピューティングデバイス１００は、コンピューティングデバイス１００のハードウェアおよび／または物理リソースとユーザとの間のインターフェースとして機能するオペレーティングシステム（ＯＳ）１０６を含むことができる。
特定の実装形態では、上述の例よりも少ないまたはより多くの装備されたシステムを利用することができることを理解されたい。したがって、コンピューティングデバイス１００の構成は、価格制約、パフォーマンス要件、技術的改善、または他の状況などの多数の要因に応じて、実装形態ごとに異なり得る。
実施形態は、親基板を使用して相互接続された１つまたは複数のマイクロチップまたは集積回路、ハードワイヤード論理、メモリデバイスによって記憶され、マイクロプロセッサによって実行されるソフトウェア、ファームウェア、特定用途向け集積回路（ＡＳＩＣ）、および／またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のいずれかまたは組み合わせとして実装されてもよい。「論理」、「モジュール」、「コンポーネント」、「エンジン」、「回路」、「要素」、および「機構」という用語は、例としてソフトウェア、ハードウェア、および／またはそれらの組み合わせ、例えばファームウェアを含むことができる。
一実施形態では、図示のように、ＸＰＵスケジューラエクステンダ１１０は、コンピューティングデバイス１００のマイクロフォン、スピーカなどのＩ／Ｏソース１０４と通信するメモリ１０８によってホストされてもよい。別の実施形態では、ＸＰＵスケジューラエクステンダ１１０は、オペレーティングシステム１０６の一部であってもよく、またはオペレーティングシステム１０６によってホストされてもよい。さらに別の実施形態では、ＸＰＵスケジューラエクステンダ１１０は、グラフィックスドライバ１１５によってホストまたは促進されてもよい。さらに別の実施形態では、ＸＰＵスケジューラエクステンダ１１０は、ハードウェアアクセラレータ１１４によってホストされてもよく、またはその一部であってもよい。例えば、ＸＰＵスケジューラエクステンダ１１０は、ＸＰＵスケジューラエクステンダ１４０の形態などで、ハードウェアアクセラレータ１１４の処理ハードウェアに組み込まれるか、またはその一部として実装されてもよい。さらに別の実施形態では、ＸＰＵスケジューラエクステンダ１１０は、グラフィックス処理装置（「ＧＰＵ」または単に「グラフィックスプロセッサ」）１１６またはグラフィックスプロセッサ１１６のファームウェアによってホストされてもよく、またはその一部であってもよい。例えば、ＸＰＵスケジューラエクステンダは、ＸＰＵスケジューラエクステンダ１３０の形態などで、グラフィックスプロセッサ１１６の処理ハードウェアに組み込まれるか、またはその一部として実装されてもよい。同様に、さらに別の実施形態では、ＸＰＵスケジューラエクステンダ１１０は、中央処理装置（「ＣＰＵ」または単に「アプリケーションプロセッサ」）１１２によってホストされてもよく、またはその一部であってもよい。例えば、ＸＰＵスケジューラエクステンダ１１０は、ＸＰＵスケジューラエクステンダ１２０の形態などで、アプリケーションプロセッサ１１２の処理ハードウェアに組み込まれるか、またはその一部として実装されてもよい。いくつかの実施形態では、ＸＰＵスケジューラエクステンダ１１０は、グラフィックスプロセッサ、アプリケーションプロセッサ、および別のプロセッサのうちの１つまたは複数を含む１つまたは複数のプロセッサによって提供されてもよく、１つまたは複数のプロセッサは、共通の半導体パッケージにおいて同じ場所に配置される。
実施形態は、ＸＰＵスケジューラエクステンダ１１０の特定の実装形態またはホスティングに限定されず、ＸＰＵスケジューラエクステンダ１１０の１つまたは複数の部分またはコンポーネントは、ハードウェア、ソフトウェア、またはファームウェアなどのそれらの任意の組み合わせとして採用または実装され得ることが企図される。一実施形態では、例えば、ＸＰＵスケジューラエクステンダは、ＧＰＵとは異なる機械学習処理ユニットによってホストされてもよい。別の実施形態では、ＸＰＵスケジューラエクステンダは、機械学習処理ユニットとＣＰＵとの間で分散されてもよい。別の実施形態では、ＸＰＵスケジューラエクステンダは、機械学習処理ユニット、ＣＰＵ、およびＧＰＵの間で分散されてもよい。別の実施形態では、ＸＰＵスケジューラエクステンダは、機械学習処理ユニット、ＣＰＵ、ＧＰＵ、およびハードウェアアクセラレータの間で分散されてもよい。
さらに、実施形態は、ＸＰＵスケジューラエクステンダ１１０の特定の実装形態またはホスティングに限定されず、ＸＰＵスケジューラエクステンダ１１０の１つまたは複数の部分またはコンポーネントは、１つより多くののコンピューティングデバイス（例えば、ホストマシン）１００において採用または実装されてもよく、単一のコンピューティングデバイス１００における実装形態のみに限定されないことが企図される。
コンピューティングデバイス１００は、ＬＡＮ、広域ネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、クラウドネットワーク、モバイルネットワーク（例えば、第３世代（３Ｇ）、第４世代（４Ｇ）など）、イントラネット、インターネットなどのネットワークへのアクセスを提供するためのネットワークインターフェースデバイスをホストすることができる。ネットワークインターフェースは、例えば、１つまたは複数のアンテナを表すことができるアンテナを有する無線ネットワークインターフェースを含むことができる。ネットワークインターフェースはまた、例えば、ネットワークケーブルを介してリモートデバイスと通信するための有線ネットワークインターフェースを含むことができ、ネットワークケーブルは、例えば、イーサネット（登録商標）ケーブル、同軸ケーブル、光ファイバケーブル、シリアルケーブル、またはパラレルケーブルであってもよい。
実施形態は、例えば、コンピュータ、コンピュータのネットワーク、または他の電子デバイスなどの１つまたは複数の機械によって実行されるときに、１つまたは複数の機械が、本明細書に記載の実施形態による動作を実行することをもたらすことができる機械実行可能命令を記憶した１つまたは複数の機械可読媒体を含むことができるコンピュータプログラム製品として、提供することができる。機械可読媒体は、限定はしないが、フロッピーディスケット、光ディスク、ＣＤ－ＲＯＭ（コンパクトディスク－読み出し専用メモリ）、および光磁気ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ（消去可能プログラマブル読み出し専用メモリ）、ＥＥＰＲＯＭ（電気的消去可能プログラマブル読み出し専用メモリ）、磁気または光カード、フラッシュメモリ、または機械実行可能命令を記憶するのに適した他のタイプの媒体／機械可読媒体を含むことができる。
さらに、実施形態は、コンピュータプログラム製品としてダウンロードされてもよく、プログラムは、通信リンク（例えば、モデムおよび／またはネットワーク接続）を介して搬送波または他の伝搬媒体で具現化および／または変調された１つまたは複数のデータ信号によって、リモートコンピュータ（例えば、サーバ）から要求側コンピュータ（例えば、クライアント）に転送されてもよい。
本文書全体を通して、「ユーザ」という用語は、「閲覧者（ｖｉｅｗｅｒ）」、「観察者（ｏｂｓｅｒｖｅｒ）」、「話者」、「人物」、「個人」、「エンドユーザ」などと互換的に呼ばれ得る。本文書全体を通して、「グラフィックスドメイン」のような用語は、「グラフィックス処理装置」、「グラフィックスプロセッサ」、または単に「ＧＰＵ」と互換的に参照されてもよく、同様に、「ＣＰＵドメイン」または「ホストドメイン」は、「コンピュータ処理装置」、「アプリケーションプロセッサ」、または単に「ＣＰＵ」と互換的に参照されてもよいことに留意されたい。
「ノード」、「コンピューティングノード」、「サーバ」、「サーバデバイス」、「クラウドコンピュータ」、「クラウドサーバ」、「クラウドサーバコンピュータ」、「機械」、「ホストマシン」、「デバイス」、「コンピューティングデバイス」、「コンピュータ」、「コンピューティングシステム」などの用語は、本文書全体を通して互換的に使用され得ることに留意されたい。さらに、「アプリケーション」、「ソフトウェアアプリケーション」、「プログラム」、「ソフトウェアプログラム」、「パッケージ」、「ソフトウェアパッケージ」などの用語は、本文書全体を通して互換的に使用され得ることに留意されたい。また、「ジョブ」、「入力」、「要求」、「メッセージ」などの用語は、本文書全体を通して互換的に使用され得る。
図２は、本開示の１つの実装形態による、図１のＸＰＵスケジューラエクステンダ１１０を例示する。簡潔にするために、図１を参照して既に説明した詳細の多くは、繰り返されないか、または以下で説明されない。一実施形態では、ＸＰＵスケジューラエクステンダ１１０は、図１に関して説明したＸＰＵスケジューラエクステンダ１１０、１２０、１３０、１４０のいずれかと同じであってもよく、（限定することなく）メトリックコレクタ２０１、メトリックアナライザ２０３、リソース割当部２０５、およびセキュリティコンポーネント２０７などの任意の数およびタイプのコンポーネントを含んでもよい。実施形態は、メトリックコレクタ２０１、メトリックアナライザ２０３、リソース割当部２０５、およびセキュリティコンポーネント２０７の特定の実装形態またはホスティングに限定されず、メトリックコレクタ２０１、メトリックアナライザ２０３、リソース割当部２０５、およびセキュリティコンポーネント２０７の１つまたは複数の部分またはコンポーネントは、１つより多くのコンピューティングデバイス（例えば、ホストマシン）１００において採用または実装されてもよく、それらは単一のコンピューティングデバイス１００における実装形態のみに限定されないことが企図される。例えば、メトリックコレクタ２０１およびメトリックアナライザ２０３は、複数の別個のコンピューティングデバイス１００でホストされてもよい。
コンピューティングデバイス１００は、ユーザインターフェース２１９（例えば、グラフィカルユーザインターフェース（ＧＵＩ）ベースのユーザインターフェース、ウェブブラウザ、クラウドベースのプラットフォームユーザインターフェース、ソフトウェアアプリケーションベースのユーザインターフェース、他のユーザまたはアプリケーションプログラミングインターフェース（ＡＰＩ）など）を含むようにさらに示されている。コンピューティングデバイス１００は、カメラ２４２（例えば、Ｉｎｔｅｌ（登録商標）ＲｅａｌＳｅｎｓｅ（商標）カメラ）、センサ、マイクロフォン２４１などの入力コンポーネント２３１と、ディスプレイデバイスまたは単にディスプレイ２４４（例えば、一体型ディスプレイ、テンソルディスプレイ、投影スクリーン、ディスプレイスクリーンなど）、スピーカデバイスまたは単にスピーカなどの出力コンポーネント２３３とを有するＩ／Ｏソース１０４をさらに含むことができる。
コンピューティングデバイス１００は、１つまたは複数の通信媒体２３０（例えば、近接ネットワーク、クラウドネットワーク、インターネットなどのネットワーク）を介して、１つまたは複数のデータベース２２５および／または他のコンピューティングデバイスのうちの１つまたは複数にアクセスし、かつ／またはそれと通信するものとしてさらに示されている。
いくつかの実施形態では、データベース２２５は、任意の数および種類のアプリケーションに関連するデータ、メタデータなどの任意の量および種類の情報、例えば、一人または複数人のユーザ、物理的な場所または領域、適用可能な法律、ポリシーおよび／または規制、ユーザの好みおよび／またはプロファイル、セキュリティおよび／または認証データ、履歴および／または他の詳細などに関連するデータおよび／またはメタデータを有する記憶媒体またはデバイス、リポジトリ、データソースなどのうちの１つまたは複数を含むことができる。
前述のように、コンピューティングデバイス１００は、入力コンポーネント２３１および出力コンポーネント２３３を含むＩ／Ｏソース１０４をホストすることができる。一実施形態では、入力コンポーネント２３１は、マイクロフォン２４１（例えば、超音波マイクロフォン）、カメラ２４２（例えば、２次元（２Ｄ）カメラ、３次元（３Ｄ）カメラ、赤外線（ＩＲ）カメラ、深度検知カメラなど）、コンデンサ、無線コンポーネント、レーダコンポーネント、スキャナ、および／または加速度計などを含むがこれらに限定されないセンサアレイを含むことができる。同様に、出力コンポーネント２３３は、任意の数および種類のディスプレイデバイス２４４、プロジェクタ、発光ダイオード（ＬＥＤ）、スピーカ２４３、および／または振動モータなどを含むことができる。
前述のように、「論理」、「モジュール」、「コンポーネント」、「エンジン」、「回路」、「要素」、および「機構」のような用語は、例として、ソフトウェアまたはハードウェア、および／またはそれらの組み合わせ、例えばファームウェアを含むことができる。例えば、論理自体は、特定のタスクを実行するために対応する論理を促進するかまたは実行する必要がある、図１のアプリケーションプロセッサ１１２、グラフィックスプロセッサ１１６、および／またはハードウェアアクセラレータ１１４によってそれぞれホストされるＸＰＵスケジューラエクステンダ１２０、ＸＰＵスケジューラエクステンダ１３０、および／またはＸＰＵスケジューラエクステンダ１４０などの、１つまたは複数のデバイスの回路であるか、それを含むか、またはそれに関連付けられ得る。
例えば、図示のように、入力コンポーネント２３１は、任意の数および種類のマイクロフォン２４１を含むことができ、例えば複数のマイクロフォン、またはマイクロフォンアレイ、例えば超音波マイクロフォン、ダイナミックマイクロフォン、光ファイバマイクロフォン、レーザマイクロフォンなどが挙げられる。マイクロフォン２４１のうちの１つまたは複数は、コンピューティングデバイス１００へのオーディオ入力（人間の声など）を受け取るかまたは受信し、このオーディオまたは音を電気信号に変換するための１つまたは複数の入力デバイスとして機能することが企図される。同様に、カメラ２４２の１つまたは複数は、シーン、オブジェクトなどの画像および／またはビデオを検出およびキャプチャし、キャプチャされたデータをビデオ入力としてコンピューティングデバイス１００に提供するための１つまたは複数の入力デバイスとして機能することが企図される。
前述したように、マイクロサービスアーキテクチャにおける拡張リソースのスケジューリングのための手法は、従来の手法において、特に、分散され得るＸＰＵリソースを展開するために、分散された環境にハードウェアアクセラレータリソースを展開するために使用されていない。従来の手法はまた、ハードウェアリソースが過剰に利用されることによってレイテンシおよびパフォーマンスの問題に直面している。実施形態は、プログラマブルネットワークデバイスを使用して、メトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングのための新規な技術を提供する。この新規な技術は、マイクロサービスアーキテクチャにおいて分散されたＸＰＵハードウェアアクセラレータリソースを実装しようとするコンピューティングアーキテクチャにおける上記のレイテンシおよび／またはパフォーマンスの問題に対処するために使用される。本開示の実装形態は、ＸＰＵスケジューラエクステンダ１１０を利用して、プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを提供する。
図２に関して、ＸＰＵスケジューラエクステンダ１１０は、メトリックコレクタ２０１、メトリックアナライザ２０３、リソース割当部２０５、およびセキュリティコンポーネント２０７を含み、ＸＰＵスケジューラエクステンダ１１０のメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを実行する。本開示の実装形態では、ＸＰＵスケジューラエクステンダ１１０のユニット２０１、２０３、２０５、２０７の動作は、ワークロードテレメトリデータ、プログラマブルネットワークデバイス（例えば、ＩＰＵ）、およびＸＰＵ（異種処理ユニット）ハードウェアアクセラレータ（例えば、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣ、推論アクセラレータ、暗号化アクセラレータ、他の専用ハードウェアアクセラレータなど）を利用して、分散計算環境で実装されたマイクロサービスアーキテクチャなどの計算クラスタにおける加速から恩恵を受ける、ワークロードへのスケーラブルで動的な計算リソース割当を達成する。
実装形態は、２つの使用モデルを提供するクラスタノードエージェント（図示せず）と通信するＸＰＵスケジューラエクステンダ１１０を提供する。第１の使用モデルでは、ＸＰＵスケジューラエクステンダ１１０は、メインクラスタオーケストレータ（図示せず）およびクラスタノードエージェントと通信して、ＸＰＵアクセラレータ計算リソースの量のスケーリングに関する情報をクラスタに中継する。第２の使用モデルでは、ＸＰＵスケジューラエクステンダ１１０は、既にＸＰＵアクセラレータリソースを消費しているワークロードに対してより多くの計算帯域幅を構成するために、および／またはより効率的な計算のために基礎を成すＸＰＵタイプを切り替えるために、クラスタノードエージェントと通信する。
本明細書の実装形態では、ＸＰＵスケジューラエクステンダ１１０のメトリックコレクタ２０１およびメトリックアナライザ２０３は、サービスワークロードからメトリックを収集および分析する。メトリックは、ＸＰＵアクセラレータリソース上で加速され得る機能にマッピングされ得るテレメトリデータである。例えば、ＴＬＳハンドシェイクの数／秒、またはＣＰＵ上で圧縮されたデータのバイトの量のメトリックは、リソース割当部２０５によって暗号化／圧縮アクセラレータにマッピングすることができる。メトリックベースのＸＰＵスケジューリングを使用して、最適化された量のＸＰＵリソースをクラスタに対して利用可能にし、それらを利用するワークロードに割り当てることができ、それらから利益を受けないワークロードをＣＰＵで実行するようにスケジューリングすることができる。ＸＰＵスケジューラエクステンダ１１０のセキュリティコンポーネント２０７は、リソース割当部２０５によってクラスタにスケジューリングされた任意のＸＰＵアクセラレータリソースとの認証およびセキュアな通信を提供するように動作する。
メトリックコレクタ２０１、メトリックアナライザ２０３、リソース割当部２０５、およびセキュリティコンポーネント２０７のさらなる詳細については、図３～図４を参照して後述する。
図３は、本開示の実装形態による、プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを提供するデータセンタシステム３００を示す。データセンタシステム３００は、データセンタでタスクを処理するための様々なＸＰＵ（異種処理ユニット）を提供する例示的なデータセンタ（例えば、クラウドサービスプロバイダ（ＣＳＰ）によってホストされる）を示し、ＸＰＵは、中央処理装置（ＣＰＵ）３１５、グラフィックス処理装置（ＧＰＵ）３３５（汎用ＧＰＵ（ＧＰＧＰＵ）を含む）、ＡＳＩＣ、または他の処理装置（例えば、アクセラレータ３４５、３５５、３６６、推論アクセラレータ３４５、暗号化アクセラレータ３５５、プログラマブルまたは固定機能ＦＰＧＡ３６４、特定用途向け集積回路（ＡＳＩＣ）３６６、圧縮アクセラレータなど）のうちの１つまたは複数を含むことができる。データセンタはまた、データストレージタスク用のストレージユニットも提供することができる。ストレージユニットは、例えば、ソリッドステートドライブ（ＳＳＤ）３２５を含んでもよい。ＸＰＵおよび／またはストレージユニットは、同様のタイプのユニットでホストすることができる（例えば、アプリケーションサーバ３１０でホストされるＣＰＵ３１５、ストレージラック３２０でホストされるＳＳＤ３２５、ＧＰＵラック３３０でホストされるＧＰＵ３３５、推論アクセラレータサーバ３４０でホストされる推論アクセラレータ３４５、暗号化アクセラレータラック３５０でホストされる暗号化アクセラレータ３５５、およびアクセラレータラック３６０でホストされる汎用アクセラレータ３６２、３６４、３６６）。
システム３００のデータセンタは、例えば、それぞれのホストされる処理コンポーネントに直接取り付けられたＩＰＵ３０５を使用して、そのホスト処理コンポーネント３１５、３２５、３３５、３４５、３５５、３６２、３６４、３６６に様々なオフロードを提供する。ＩＰＵ３０５は例示目的で説明されているが、ＤＰＵまたはＳｍａｒｔＮＩＣなどの他のプログラマブルネットワークデバイスは、本明細書ではＩＰＵ３０５と交換可能に使用することができる。提供されるオフロードは、ネットワーキング、ストレージ、セキュリティなどであってもよい。これにより、処理コンポーネント３１５、３２５、３３５、３４５、３５５、３６２、３６４、３６６はハイパーバイザなしで実行することが可能になり、ＣＳＰは、データセンタのホスト全体をセキュリティ志向の顧客に貸し出す能力を提供し、またはクロストークおよびマルチテナントホストに関連する他の問題を回避する。
ＩＰＵ３０５は、クラウドサービスプロバイダ（ＣＳＰ）、セキュリティ、加速、テレメトリ、およびサービスオーケストレーションのための制御ポイントなどのデータセンタオペレータを提供することによって、データセンタにおいて重要な役割を提供することができる。ＩＰＵ３０５アーキテクチャは、既存のスマートネットワークインターフェースカード（ＳｍａｒｔＮＩＣ）機能に構築することができ、分散プラットフォーム内および分散プラットフォーム間のセキュリティおよびデータ加速の制御の一部である。それは、プラットフォームを管理し、テナントにサービスを提供し、データセンタネットワークへのアクセスを確保するためのＣＳＰによって制御されるセキュアドメインである。ＩＰＵ３０５は、分散されたランタイムのパフォーマンスおよび予測可能性を高め、ホストサービスのオフロード、信頼できるトランスポート、およびデータコピーの最適化によって、マルチテラビットスループットへのスケーリングを可能にする。
ＩＰＵ３０５は、基礎的なＮＩＣから始まって、長年にわたって複雑さが増しており、その唯一の目的は、ホストにパケットを出し入れすることであった。ネットワーキングソフトウェアオフロードの追加により、ＮＩＣは、ＶＳｗｉｔｃｈ、ＶＩＲＴＩＯ－Ｎｅｔ、ＡＶＦなどの機能をオフロードすることができるＳｍａｒｔＮＩＣになるように進化した。リモートの分散ストレージアーキテクチャは、計算およびストレージがもはや同じ場所に配置されず、大規模な計算クラスタがネットワークを介して大規模なストレージクラスタに接続されるさらなる進化を提供する。ネットワーク速度の向上、およびプロトコルの進化により、これが可能になった。リモートの分散ストレージが直接的に接続されたストレージを超えて提供する利点の１つは、計算およびメモリを異なるケイデンスで開発および更新できることである。計算ノードに接続されるメモリの量は、もはやハードドライブの物理的な追加または削除によって制限されず、ＰＣＩｅ ＳｗｉｔｃｈへのＰＦとしてホットプラグすることができる。スマートエンドポイントなどの技術は、ハードウェアの実装形態によって制限されないように、ＰＣＩｅスイッチ自体に沿って、ＩＰＵがファームウェア制御スイッチを有することを可能にする。
上述したように、本明細書の実施形態は、プログラマブルネットワークデバイスを使用したメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを提供する。実施形態は、アプリサーバ３１０上で動作する、ＣＰＵ３１５によってホストされるスケジューラエクステンダ３１７（本明細書ではＸＰＵスケジューラエクステンダとも呼ばれる）を提供する。一実装形態では、スケジューラエクステンダ３１７は、図１および図２に関して説明したスケジューラエクステンダ１１０と同じである。一実装形態では、スケジューラエクステンダ３１７は、データセンタシステム３００に実装されたコンテナオーケストレーションプラットフォームに実装されたサービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するワークロードテレメトリデータ（すなわち、「メトリック」）を収集、および分析するよう提供する。ワークロードテレメトリデータに基づいて、スケジューラエクステンダ３１７は、プログラマブルネットワークデバイス（ＩＰＵ３０５など）と連携してＸＰＵハードウェアアクセラレータ（例えば、ＣＰＵ３１５、ＧＰＵ３３５および３６２、ＦＰＧＡ３６４、ＡＳＩＣ ３６６、推論アクセラレータ３４５、暗号化アクセラレータ３５５、および／または他の専用ハードウェアアクセラレータなど）をスケールアップまたはスケールダウンして、データセンタシステム３００の計算クラスタの加速から恩恵を受けるワークロードへの、スケーラブルでより動的な計算リソースの割り当てを達成する。
スケジューラエクステンダ３１７および１つまたは複数のノードエージェント３０７（本明細書ではクラスタノードエージェント３０７とも呼ばれる）は、本明細書で説明されるメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングのための複数の使用モデルを提供することができる。第１の使用モデルでは、スケジューラエクステンダ３１７は、メインクラスタオーケストレータ（図示せず）およびノードエージェント３０７と通信して、ＸＰＵアクセラレータ計算リソースの量のスケーリングに関する情報をクラスタに中継する。第２の使用モデルでは、スケジューラエクステンダ３１７は、ノードエージェント３０７と通信して、既にＸＰＵリソースを消費しているワークロードに対してより多くの計算帯域幅を構成し、および／またはより効率的な計算のために基礎となるＸＰＵタイプを切り替える。
本明細書の実装形態では、スケジューラエクステンダ３１７は、ワークロードからメトリックを収集して分析する。メトリックは、ＸＰＵでまた加速され得る機能にマッピングすることができるテレメトリデータである。例えば、ＴＬＳハンドシェイクの数／秒、またはＣＰＵ上で圧縮されたデータのバイトの量は、暗号化／圧縮アクセラレータにマッピングすることができる。メトリックベースのＸＰＵスケジューリングを使用して、最適化された量のＸＰＵリソースをクラスタに対して利用可能にし、それらを利用するワークロードに割り当てることができ、それらから利益を受けないワークロードをＣＰＵで実行するようにスケジューリングすることができる。
図４は、本開示の実装形態による、プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを実装するデータセンタシステム４００のブロック図を示す。一実施形態では、データセンタシステム４００は、アプリケーションサーバ／制御プレーン４１０と、ＸＰＵラック４２０と、データセンタサーバ４４０とを含む。一実装形態では、アプリケーションサーバ／制御プレーン４１０は、図３のアプリサーバ３１０と同じであってもよく、ＸＰＵラック４２０は、例えば、図３のストレージラック３２０、ＧＰＵラック３３０、推論アクセラレータラック３４０、暗号化アクセラレータラック３５０、および／または汎用アクセラレータラック３６０のいずれかと同じであってもよい。データセンタサーバ４４０は、データセンタシステム４００の管理およびオーケストレーション機能を提供するためにデータセンタシステム４００内で動作するサーバコンピューティングデバイスであってもよい。
一実施形態では、アプリサーバ／制御プレーン４１０、ＸＰＵラック４２０、および／またはデータセンタサーバ４４０は、ハードウェア、ソフトウェア、ファームウェア要素のセット、および／またはハードウェア、ソフトウェア、および／またはファームウェア要素の任意の組み合わせを含むコンピューティングデバイスであってもよい。一例では、アプリサーバ／制御プレーン４１０、ＸＰＵラック４２０、および／またはデータセンタサーバ４４０は、本明細書で説明するように、アプリサーバ／制御プレーン４１０、ＸＰＵラック４２０、および／またはデータセンタサーバ４４０上で１つまたは複数のプロセスを実行するために、ＣＰＵ、ＧＰＵ、ハードウェアアクセラレータなどのうちの１つまたは複数などのハードウェア回路を含むことができる。
いくつかの実施形態では、アプリサーバ／制御プレーン４１０は、制御プレーンスケジューラ４１２、ノードエージェント４１４、およびＸＰＵスケジューラエクステンダ４１６を含む。一実施形態では、制御プレーンスケジューラ４１２、ノードエージェント４１４、および／またはＸＰＵスケジューラエクステンダ４１６は、別個のコンピューティングデバイスに実装することができ、ネットワーク（図示せず）を介して通信可能に連結される。制御プレーンスケジューラ４１２、ノードエージェント４１４、および／またはＸＰＵスケジューラエクステンダ４１６は、ＣＰＵ、ＧＰＵ、ハードウェアアクセラレータなどのうちの１つまたは複数などのハードウェア回路を使用して実装することができる。一実施形態では、制御プレーンスケジューラ４１２、ノードエージェント４１４、および／またはＸＰＵスケジューラエクステンダ４１６は、図１に関して説明したコンピューティングシステム１００を使用して実装することができる。一実装形態では、ＸＰＵスケジューラエクステンダ４１６は、図１に関して説明したＸＰＵスケジューラエクステンダ１１０および／または図３に関して説明したスケジューラエクステンダ３１７と同じである。
より一般的には、図４の例示的な制御プレーンスケジューラ４１２、ノードエージェント４１４、および／またはＸＰＵスケジューラエクステンダ４１６は、ハードウェア、ソフトウェア、ファームウェア、および／またはハードウェア、ソフトウェア、および／またはファームウェアの任意の組み合わせによって実装されてもよい。したがって、例えば、例示的な制御プレーンスケジューラ４１２、ノードエージェント４１４、および／またはＸＰＵスケジューラエクステンダ４１６は、１つまたは複数のアナログまたはデジタル回路、論理回路、プログラマブルプロセッサ、プログラマブルコントローラ、グラフィックス処理装置（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、および／またはフィールドプログラマブル論理デバイス（ＦＰＬＤ）によって実装することができる。
いくつかの実施形態では、ＸＰＵラック４２０は、ＩＰＵ４２４上で動作するＩＰＵクラスタノードエージェント４２２と、複数のＸＰＵ４３５を含むＸＰＵリソース４３０とを含む。一実施形態では、ＩＰＵクラスタノードエージェント４２２、ＩＰＵ４２４、およびＸＰＵリソース４３０は、別個のコンピューティングデバイスに実装することができ、ネットワーク（図示せず）を介して通信可能に連結される。ＩＰＵクラスタノードエージェント４２２、ＩＰＵ４２４、およびＸＰＵリソース４３０は、ＣＰＵ、ＧＰＵ、ハードウェアアクセラレータなどのうちの１つまたは複数などのハードウェア回路を使用して実装することができる。一実施形態では、ＩＰＵクラスタノードエージェント４２２、ＩＰＵ４２４、およびＸＰＵリソース４３０は、図１に関して説明したコンピューティングシステム１００を使用して実装することができる。一実装形態では、ＩＰＵクラスタノードエージェント４２２は、図３に関して説明したノードエージェント３０７と同じであり、ＩＰＵ４２４は、図３に関して説明したＩＰＵ３０５と同じであり、ＸＰＵリソース４３０およびＸＰＵ４３５は、図３に関して説明したＣＰＵ３１５、ＧＰＵ３３５および３６２、ＦＰＧＡ３６４、ＡＳＩＣ３６６、推論アクセラレータ３４５、暗号化アクセラレータ３５５のいずれかと同じである。
より一般的には、図４の例示的なＩＰＵクラスタノードエージェント４２２、ＩＰＵ４２４、およびＸＰＵリソース４３０は、ハードウェア、ソフトウェア、ファームウェア、および／またはハードウェア、ソフトウェア、および／またはファームウェアの任意の組み合わせによって実装されてもよい。したがって、例えば、ＩＰＵクラスタノードエージェント４２２、ＩＰＵ４２４、およびＸＰＵリソース４３０は、１つまたは複数のアナログまたはデジタル回路、論理回路、プログラマブルプロセッサ、プログラマブルコントローラ、グラフィックス処理装置（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、および／またはフィールドプログラマブル論理デバイス（ＦＰＬＤ）によって実装することができる。
一実施形態では、データセンタサーバ４４０は、中央リソースオーケストレータ４４５を含む。中央リソースオーケストレータ４４５は、ＣＰＵ、ＧＰＵ、ハードウェアアクセラレータなどのうちの１つまたは複数などのハードウェア回路を使用して実装されてもよい。一実施形態では、中央リソースオーケストレータ４４５は、図１に関して説明したコンピューティングシステム１００を使用して実装されてもよい。
より一般的には、図４の例示的な中央リソースオーケストレータ４４５は、ハードウェア、ソフトウェア、ファームウェア、および／またはハードウェア、ソフトウェアおよび／またはファームウェアの任意の組み合わせによって実装されてもよい。したがって、例えば、中央リソースオーケストレータ４４５は、１つまたは複数のアナログまたはデジタル回路、論理回路、プログラマブルプロセッサ、プログラマブルコントローラ、グラフィックス処理装置（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、および／またはフィールドプログラマブル論理デバイス（ＦＰＬＤ）によって実装され得る。
上述したように、データセンタシステム４００は、本明細書の実装形態に従って、プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを実装する。図示のように、データセンタシステム４００は、アプリケーションのワークロードを実行するアプリサーバ／制御プレーン４１０とは別に実装されたＸＰＵハードウェアラック４２０（ＩＰＵ４２４を含む）を用いて、分散された計算環境として実装されてもよい。図示されるように、制御プレーン／スケジューラ４１２、ノードエージェント４１４、およびアプリケーション（例えば、ワークロード４１５）は、アプリケーションサーバ（例えば、アプリサーバ／制御プレーン４１０）上で実行される。本明細書で説明するように、ＸＰＵスケジューラエクステンダ４１６によって提供されるアプリケーションリソース使用および拡張ＸＰＵ認識スケジューリング機能に関するメトリックベースの知識をもたらすことによって、改善されたＸＰＵ計算バランスをデータセンタシステム４００において維持することができる。
本明細書の実施形態の一例は、データセンタシステム４００に実装され得るコンテナ化されたウェブアプリケーションを含む。ウェブアプリケーションは、マイクロサービスで構成され、その各々は、データセンタシステム４００のハードウェアリソース（例えば、アプリサーバ／制御プレーン４１０および／またはＸＰＵラック４２０のＸＰＵ４３５のＣＰＵ）を使用して独自のコンテナで実行され、ＨＴＴＰまたはｇＲＰＣなどの周知のプロトコルを使用して他のマイクロサービスと通信する。一実装形態では、サービス間の通信リンクにＴＬＳを利用することができる。
サービスメッシュなどのいくつかのツールは、マイクロサービス間の任意の所与の通信リンクの統計のきめ細かい収集を可能にする。例えば、サービスメッシュは、所与のサービスへの新しいＴＬＳ接続の数または毎秒転送されるバイト数を報告することができる。一例では、メトリックは、おそらく在庫データのクエリを繰り返した結果として、在庫サービスから店頭サービスへのトラフィックが多いことを示すことができる（例えば、動的トラフィックパターンは、最新のウェブアプリケーションでは一般的である）。
本明細書の実装形態は、収集されたメトリック（例えば、テレメトリデータ）およびデータセンタで利用可能なＸＰＵアクセラレータデバイス（すなわち、ＸＰＵ４３５）の既知の特性に基づいて、ＸＰＵリソース４３０を定期的にリバランスする。ＸＰＵスケジューラエクステンダ４１６は、そのようなメトリックを収集および分析するためのメトリックアナライザ４１７を含むことができる。ＸＰＵスケジューラエクステンダ４１６は、別のプラットフォーム上に配置され、ネットワークを介して接続される追加のＸＰＵリソース４３０を、アプリサーバ／制御プレーン４１０によって提供されるサービスのワークロード４１５を処理する目的で動的にスケーリング（例えば、追加または削除）することができるようにするためのリソース割当部４１８を含む。
データセンタシステム４００によって実施される例示的なフローでは、サービスの特定のマイクロサービスは、サービスの開発者によって特定のタイプのハードウェアアクセラレータを利用することができるものとして注釈が付けられる。次いで、ＸＰＵスケジューラエクステンダ４１６のメトリックアナライザ４１７は、サービスに加速度を提供する機会を識別するために、メトリックを収集し、サービスに関連する関連メトリックを分析する。
メトリックアナライザ４１７は、収集されて分析されたメトリックが、ワークロード処理を改善する可能性があることを示している（例えば、圧縮が加速される場合、クエリレイテンシが改善される）と判定し、ＸＰＵスケジューラエクステンダ４１６のリソース割当部４１８は、マイクロサービスが特定のタイプのＸＰＵアクセラレータ４３５でスケジューリングされる候補であることを示す別の注釈（または修正された注釈）をマイクロサービスサービスに提供する。
リソース割当部４１８はまた、ＸＰＵアクセラレータリソース４３５を準備して利用可能にするためのスケーリング要求を作成する。一実装形態では、スケーリング要求は、ＸＰＵ４３５をプロビジョニングまたは更新させるために中央リソースオーケストレータ４４５に送信されてもよい。一実装形態では、ＸＰＵスケジューラエクステンダ４１６は、マイクロサービスのワークロードを処理する目的でＸＰＵ割当部４２６にＸＰＵ４３５を割り当てまたは更新させるために、ＩＰＵ４２４と直接通信することができる。ＸＰＵアクセラレータリソース４３５がアプリサーバ／制御プレーン４１０から離れている場合、スケーリング要求は、ＸＰＵ４３５が接続されているＩＰＵ仮想ノードエージェント４２２に送信することができる。
一実装形態では、ＩＰＵ４２４内のＸＰＵ割当部４２６は、ＸＰＵ４３５を動的に割り当てることができ、ＩＰＵ４２４は、アプリサーバ／制御プレーン４１０にＸＰＵ４３５を登録することができる。リバランスポリシーおよびスケーリング要求の結果に応じて、マイクロサービスのサービスは、サービスの次の再起動（例えば、メンテナンス中断）を待機することができ、または、例えば、動的に追加された新しいＸＰＵ４３５で自動的に再起動することができる。
本開示の実施形態は、リバランス／プロビジョニングポリシーがどのように作成および／または実施されるかに対するいずれかの制約を設定しなくてもよい。例えば、リバランス／プロビジョニングポリシーは、閾値に基づくことができる。そのような例では、トラフィックが所定の閾値量を超える場合、または毎秒Ｘを超える量のＴＬＳハンドシェイクがある場合、サービスを加速の候補としてマークすることができる。しかしながら、リバランス／プロビジョニングポリシーはまた、複雑であり、ニューラルネットワークなどの技術に基づくことができ、リバランス／プロビジョニングポリシーは、クラスタ全体の統計として入力を提供することができる。例えば、ハードウェアアクセラレータデバイスのクラスタ利用率、予想される将来のトラフィックパターンなどを通知する。リバランス／プロビジョニングポリシーは、ワークロードプロパティに関するより多くの情報が利用可能になると更新することができる。リバランスおよび／またはスケジューリングのための動的で適応可能なポリシーは、本開示の実装形態によるシステムリソース利用の改善のために本明細書で利用することができる。
一実装形態では、ワークロード４１５がセキュリティ要件に関連付けられ、および／またはＸＰＵ４３５のセキュリティプロパティ（例えば、ＸＰＵ４３５は、ＦＩＰ準拠であるか、またはＳＰＤＭをサポートするべきである）に関連付けられている場合、ＸＰＵ４３５とのすべての通信が保護されるべきである。一実装形態では、ワークロードのクラスタに追加された新しいＸＰＵ４３５が要件に準拠できることを保証するための解決策として、ＩＰＳｅｃを利用することができる。セキュリティポリシーの実施は、ＩＰＵ４２４、制御プレーン／スケジューラ４１２、またはその両方で行うことができる。
例えば、ＩＰＵ４２４における実施に関して、ＸＰＵスケジューラエクステンダ４１６は、ＸＰＵ４３５スケーリング要求を提出するときにＩＰＵ４２４にセキュリティ要件を伝達することができる。次いで、ＸＰＵ割当部４２６は、セキュリティ要件に準拠するＸＰＵ４３５を利用可能にすることができる。
制御プレーン／スケジューラ４１２における実施に関して、ＸＰＵスケジューラエクステンダ４１６は、制御プレーン／スケジューラ４１２にセキュリティポリシーを提供することができる。ＩＰＵ４２４はＸＰＵ４３５を利用可能にすることができるが、ＸＰＵ４３５が登録される前に、制御プレーン／スケジューラ４１２は、セキュリティポリシーへの準拠を保証するためにＸＰＵ４３５のアテステーションを検証する必要がある。サービス（例えば、ワークロード４１５）は、セキュリティポリシーに準拠している場合に加速してスケジューリングすることができる。ＸＰＵ４３５とのセキュアな通信に対する要件がある場合、制御プレーン／スケジューラ４１２および／またはＸＰＵスケジューラエクステンダ４１６は、ＸＰＵ４３５を介してワークロード４１５の加速をスケジューリングする前に、ＸＰＵとのセキュアチャネルを確立することができる。
一実装形態では、メトリックを収集して分析するＸＰＵスケジューラエクステンダ４１６は、ワークロード４１５に対するサイドチャネル攻撃などの悪意のある意図にメトリックが使用されるべきではないという保証を提供することができる。これは、例えばＩｎｔｅｌ（登録商標）ＳＧＸ（商標）、ＡＭＤ（商標）ＳＥＶ（商標）、またはＴｒｕｓｔｚｏｎｅ（商標）などのトラステッド実行環境（ＴＥＥ）内でＸＰＵスケジューラエクステンダ４１６を実行することによって達成することができる。ワーカーノード（例えば、アプリサーバ／制御プレーン４１０のＣＰＵ）とＸＰＵ４３５との間の通信も、ＩＰｓｅｃなどのセキュリティ技術を使用してネットワークを介して保護される。
いくつかの実装形態では、クラスタを使用して、ＸＰＵ４３５の加速から利益を得ることができる通常のバッチジョブを実行することもできる。これらのバッチジョブは、どのタイプのＸＰＵ４３５が加速に使用されるかにかかわらず完了され得る（例えば、ＦＰＧＡまたは専用ＡＳＩＣを使用して実装される圧縮バッチジョブ）。この場合、テレメトリベースのスケジューリングおよび／またはスケーリングを利用して、例えば、過去のパフォーマンス履歴、環境条件（例えば、クラスタ電力バジェット）、または他のサービスレベル合意（ＳＬＡ）に基づいてサービスをスケジューリングするためのＸＰＵ４３５を識別することができる。本明細書の実装形態の別の特徴は、アプリケーションの中断が制限されることを保証しながら、別のワークロードが特定のＸＰＵ４３５により多くの利益を得ることができる場合（例えば、ウェブアプリケーションをより高性能にするために）、ＸＰＵ４３５を処理ワークロードから削除するためのサポートを含むことができる。
図５は、プログラマブルネットワークデバイスを使用したメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングのための方法５００の実施形態を示す流れ図である。方法５００は、ハードウェア（例えば、回路、専用論理、プログラマブル論理など）、ソフトウェア（処理デバイス上で実行される命令など）、またはそれらの組み合わせを含み得る処理論理によって実行され得る。より具体的には、方法５００は、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ファームウェア、フラッシュメモリなどの機械またはコンピュータ可読記憶媒体（本明細書では非一時的コンピュータ可読記憶媒体とも呼ばれる）、例えばＰＬＡ、ＦＰＧＡ、ＣＰＬＤなどの構成可能論理、例えばＡＳＩＣ、ＣＭＯＳもしくはＴＴＬ技術などの回路技術を使用する固定機能論理ハードウェア、またはそれらの任意の組み合わせに記憶された論理命令のセットとして、１つまたは複数のモジュールで実施することができる。
方法５００のプロセスは、提示を簡潔かつ明瞭にするために線形シーケンスで示されている。しかしながら、それらの任意の数は、並列に、非同期に、または異なる順序で実行することができると考えられる。さらに、簡潔さ、明確さ、および理解の容易さのために、図１～図４に関して説明したコンポーネントおよびプロセスの多くは、以下では繰り返されず、または説明されない場合がある。一実装形態では、図４のデータセンタシステム４００のＸＰＵスケジューラエクステンダ４１６などのＸＰＵスケジューラエクステンダを実装するデータセンタシステムは、方法５００を実行することができる。
図５の方法５００の例示的なプロセスは、ＸＰＵスケジューラエクステンダを実行する処理デバイスが、サービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するメトリックを収集することができるブロック５１０で始まる。次に、ブロック５２０において、処理デバイスは、ＸＰＵスケジューラエクステンダによるメトリックの分析に基づいて、ＸＰＵハードウェアアクセラレータデバイス（本明細書ではハードウェアアクセラレータデバイスとも呼ばれる）へのオフロードによってサービスのワークロードを加速できると判定することができる。
続いて、ブロック５３０において、処理デバイスは、ＸＰＵスケジューラエクステンダによって、ＸＰＵハードウェアアクセラレータデバイスを、サービス用に構成されたハードウェアデバイスのクラスタに割り当てさせるためのスケーリング要求を生成することができる。ブロック５４０において、処理デバイスは、ＸＰＵスケジューラエクステンダによって、ＸＰＵハードウェアアクセラレータデバイスを管理するプログラマブルネットワークデバイスにスケーリング要求を送信させることができる。一実装形態では、プログラマブルネットワークデバイスは、ＸＰＵハードウェアアクセラレータデバイスをクラスタに割り当て、ＸＰＵハードウェアアクセラレータデバイスをサービスメッシュに登録する。最後に、ブロック５５０において、処理デバイスは、サービスのワークロードをＸＰＵハードウェアアクセラレータデバイスにスケジューリングすることができる。
図６は、プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを実施しながら、セキュリティ対策のための方法６００の実施形態を示す流れ図である。方法６００は、ハードウェア（例えば、回路、専用論理、プログラマブル論理など）、ソフトウェア（処理デバイス上で実行される命令など）、またはそれらの組み合わせを含み得る処理論理によって実行され得る。より具体的には、方法５００は、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ファームウェア、フラッシュメモリなどの機械またはコンピュータ可読記憶媒体（本明細書では非一時的コンピュータ可読記憶媒体とも呼ばれる）、例えばＰＬＡ、ＦＰＧＡ、ＣＰＬＤなどの構成可能論理、例えばＡＳＩＣ、ＣＭＯＳもしくはＴＴＬ技術などの回路技術を使用する固定機能論理ハードウェア、またはそれらの任意の組み合わせに記憶された論理命令のセットとして、１つまたは複数のモジュールで実施することができる。
方法６００のプロセスは、提示を簡潔かつ明瞭にするために線形シーケンスで示されている。しかしながら、それらの任意の数は、並列に、非同期に、または異なる順序で実行することができると考えられる。さらに、簡潔さ、明確さ、および理解の容易さのために、図１～図５に関して説明したコンポーネントおよびプロセスの多くは、以下では繰り返されないまたは説明されない場合がある。一実装形態では、図４のデータセンタシステム４００のＸＰＵスケジューラエクステンダ４１６などのＸＰＵスケジューラエクステンダを実装するデータセンタシステムは、方法６００を実行することができる。
図６の方法６００の例示的なプロセスは、ブロック６１０で始まり、処理デバイスは、サービスメッシュのサービス用に構成されたハードウェアデバイスのクラスタに含めるためのＸＰＵハードウェアアクセラレータデバイスを識別することができる。次に、ブロック６２０において、処理デバイスは、アテステーションプロトコルを使用してＸＰＵハードウェアアクセラレータデバイスの信頼性を検証することができる。
続いて、ブロック６３０において、処理デバイスは、ＸＰＵハードウェアアクセラレータデバイスとの共有秘密鍵を確立することができる。最後に、ブロック６４０において、処理デバイスは、ＸＰＵハードウェアアクセラレータデバイスへのサービスのワークロードをスケジューリングする際に利用するために、共有秘密鍵をサービスメッシュの制御プレーンスケジューラに通信することができる。
図７は、いくつかの実施形態による、プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを可能にする例示的な電子コンピューティングデバイス７００の概略図である。いくつかの実施形態では、コンピューティングデバイス７００は、図１および図２に関して説明したＸＰＵスケジューラエクステンダ１１０～１４０、図３に関して説明したスケジューラエクステンダ３１７、または図４に関して説明したＸＰＵスケジューラエクステンダ４１６などのＸＰＵスケジューラエクステンダ（ＸＳＥ）７１５を含む１つまたは複数のプロセッサコア７１８を含む１つまたは複数のプロセッサ７１０を含む。いくつかの実施形態では、コンピューティングデバイス７００は、ハードウェアアクセラレータ７６８を含み、ハードウェアアクセラレータは、図１および図２に関して説明したＸＰＵスケジューラエクステンダ１１０～１４０、図３に関して説明したスケジューラエクステンダ３１７、または図４に関して説明したＸＰＵスケジューラエクステンダ４１６などのＸＰＵスケジューラエクステンダ７８２を含む。いくつかの実施形態では、コンピューティングデバイスは、図１～図６で提供されるように、プログラマブルネットワークデバイスを使用して、低メトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを提供する。
コンピューティングデバイス７００は、キャッシュ７６２、グラフィカル処理装置（ＧＰＵ）７１２（いくつかの実装形態ではハードウェアアクセラレータとすることができる）、無線入力／出力（Ｉ／Ｏ）インターフェース７２０、有線Ｉ／Ｏインターフェース７３０、システムメモリ７４０（例えば、メモリ回路）、電力管理回路７５０、非一時的ストレージデバイス７６０、およびネットワーク７７２に接続するためのネットワークインターフェース７７０のうちの１つまたは複数をさらに含むことができる。以下の説明は、例示的なコンピューティングデバイス７００を形成するコンポーネントの簡単で一般的な説明を提供する。例として、非限定的なコンピューティングデバイス７００は、デスクトップコンピューティングデバイス、ブレードサーバデバイス、ワークステーション、または同様のデバイスもしくはシステムを含むことができる。
実施形態では、プロセッサコア７１８は、機械可読命令セット７１４を実行し、１つまたは複数のストレージデバイス７６０からデータおよび／または命令セット７１４を読み取り、１つまたは複数のストレージデバイス７６０にデータを書き込むことができる。図示の実施形態ならびに他の実施形態は、例えばスマートフォン、ポータブルコンピュータ、ウェアラブルコンピュータ、家電、パーソナルコンピュータ（「ＰＣ」）、ネットワークＰＣ、ミニコンピュータ、サーバブレード、メインフレームコンピュータなどのポータブル電子またはハンドヘルド電子デバイスを含む他のプロセッサベースのデバイス構成で実施することができることを当業者は理解することができる。
プロセッサコア７１８は、任意の数のハードワイヤードまたは構成可能な回路を含むことができ、その一部または全部は、ＰＣ、サーバ、またはプロセッサ可読命令を実行することができる他のコンピューティングシステムに部分的または全体的に配置された電子部品、半導体デバイス、および／または論理要素のプログラマブルおよび／または構成可能な組み合わせを含むことができる。
コンピューティングデバイス７００は、プロセッサコア７１８、キャッシュ７６２、グラフィックスプロセッサ回路７１２、１つまたは複数の無線Ｉ／Ｏインターフェース７２０、１つまたは複数の有線Ｉ／Ｏインターフェース７３０、１つまたは複数のストレージデバイス７６０、および／または１つまたは複数のネットワークインターフェース７７０を含む様々なシステムコンポーネント間の情報および／またはデータの交換を通信可能に連結し促進するバスまたは同様の通信リンク７１６を含む。コンピューティングデバイス７００は、本明細書では単数形で参照されることがあるが、これは、実施形態を単一のコンピューティングデバイス７００に限定することを意図するものではなく、これはなぜならば、特定の実施形態では、任意の数の通信可能に連結された、コロケートされた、またはリモートネットワークされた回路またはデバイスを組み込む、含む、または格納する１つより多くのコンピューティングデバイス７００があり得るためである。
プロセッサコア７１８は、機械可読命令セットを実行することができる現在利用可能なまたは将来開発されるデバイスの任意の数、種類、または組み合わせを含むことができる。
プロセッサコア７１８は、これらに限られるわけではないが、いずれかの現在または将来開発されるシングルコアまたはマルチコアプロセッサまたはマイクロプロセッサ、例えば１つまたは複数のシステムオンチップ（ＳＯＣ）、中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、グラフィックス処理装置（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理ユニット、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを含む（あるいはこれらに連結される）ことができる。特に記載のない限り、図７に示す様々なブロックの構成および動作は、従来の設計のものである。したがって、そのようなブロックは、当業者によって理解されるはずであるため、本明細書ではさらに詳細に説明されない。コンピューティングデバイス７００のコンポーネントの少なくともいくつかを相互接続するバス７１６は、任意の現在利用可能なまたは将来開発されるシリアルまたはパラレルバス構造またはアーキテクチャを採用することができる。
システムメモリ７４０は、読み出し専用メモリ（「ＲＯＭ」）７４２およびランダムアクセスメモリ（「ＲＡＭ」）７４６を含むことができる。ＲＯＭ７４２の一部は、基本入出力システム（「ＢＩＯＳ」）７４４を記憶または保持するために使用することができる。ＢＩＯＳ７４４は、例えば、プロセッサコア７１８に、１つまたは複数の機械可読命令セット７１４をロードおよび／または実行させることによって、コンピューティングデバイス７００に基本機能を提供する。実施形態では、１つまたは複数の機械可読命令セット７１４の少なくともいくつかは、プロセッサコア７１８の少なくとも一部に、専用の特殊な特定の機械、例えば、ワードプロセッシングマシン、デジタル画像取得マシン、メディアプレイングマシン、ゲームシステム、通信デバイス、スマートフォンなどを提供、作成、生成、移行、および／または機能させる。
コンピューティングデバイス７００は、少なくとも１つの無線入出力（Ｉ／Ｏ）インターフェース７２０を含むことができる。少なくとも１つの無線Ｉ／Ｏインターフェース７２０は、１つまたは複数の物理出力デバイス７２２（触覚デバイス、ビデオディスプレイ、オーディオ出力デバイス、ハードコピー出力デバイスなど）と通信可能に連結されてもよい。少なくとも１つの無線Ｉ／Ｏインターフェース７２０は、１つまたは複数の物理入力デバイス７２４（ポインティングデバイス、タッチスクリーン、キーボード、触覚デバイスなど）に通信可能に連結してもよい。少なくとも１つの無線Ｉ／Ｏインターフェース７２０は、現在利用可能なまたは将来開発される任意の無線Ｉ／Ｏインターフェースを含んでもよい。例示的な無線Ｉ／Ｏインターフェースには、ＢＬＵＥＴＯＯＴＨ（登録商標）、近距離通信（ＮＦＣ）などが含まれるが、これらに限定されない。
コンピューティングデバイス７００は、１つまたは複数の有線入出力（Ｉ／Ｏ）インターフェース７３０を含むことができる。少なくとも１つの有線Ｉ／Ｏインターフェース７３０は、１つまたは複数の物理出力デバイス７２２（触覚デバイス、ビデオディスプレイ、オーディオ出力デバイス、ハードコピー出力デバイスなど）に通信可能に連結されてもよい。少なくとも１つの有線Ｉ／Ｏインターフェース７３０は、１つまたは複数の物理入力デバイス７２４（ポインティングデバイス、タッチスクリーン、キーボード、触覚デバイスなど）に通信可能に連結されてもよい。有線Ｉ／Ｏインターフェース７３０は、現在利用可能なまたは将来開発される任意のＩ／Ｏインターフェースを含むことができる。例示的な有線Ｉ／Ｏインターフェースには、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ １３９４（「ＦｉｒｅＷｉｒｅ（登録商標）」）などが含まれるが、これらに限定されない。
コンピューティングデバイス７００は、通信可能に連結された１つまたは複数の非一時的なデータストレージデバイス７６０を含むことができる。データストレージデバイス７６０は、１つまたは複数のハードディスクドライブ（ＨＤＤ）および／または１つまたは複数のソリッドステートストレージデバイス（ＳＳＤ）を含んでもよい。１つまたは複数のデータストレージデバイス７６０は、任意の現在または将来開発されるストレージ機器、ネットワークストレージデバイス、および／またはシステムを含むことができる。そのようなデータストレージデバイス７６０の非限定的な例は、限定はしないが、任意の現在または将来開発される非一時的ストレージ機器またはデバイス、例えば、１つまたは複数の磁気ストレージデバイス、１つまたは複数の光ストレージデバイス、１つまたは複数の電気抵抗ストレージデバイス、１つまたは複数の分子ストレージデバイス、１つまたは複数の量子ストレージデバイス、またはそれらの様々な組み合わせを含むことができる。いくつかの実装形態では、１つまたは複数のデータストレージデバイス７６０は、１つまたは複数のフラッシュドライブ、フラッシュメモリ、フラッシュストレージユニット、またはコンピューティングデバイス７００との通信可能な連結および連結解除が可能な同様の機器もしくは装置などの、１つまたは複数の取り外し可能なストレージデバイスを含むことができる。
１つまたは複数のデータストレージデバイス７６０は、それぞれのストレージデバイスまたはシステムをバス７１６に通信可能に連結するインターフェースまたはコントローラ（図示せず）を含むことができる。１つまたは複数のデータストレージデバイス７６０は、機械可読命令セット、データ構造、プログラムモジュール、データストア、データベース、論理構造、および／またはプロセッサコア７１８および／またはグラフィックスプロセッサ回路７１２および／またはプロセッサコア７１８および／またはグラフィックスプロセッサ回路７１２上でまたはそれによって実行される１つまたは複数のアプリケーションに有用な他のデータを記憶、保持、または格納することができる。場合によっては、１つまたは複数のデータストレージデバイス７６０は、例えばバス７１６を介して、または１つまたは複数の有線通信インターフェース７３０（例えば、ユニバーサルシリアルバスまたはＵＳＢ）を介して、プロセッサコア７１８、１つまたは複数の無線通信インターフェース７２０（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信またはＮＦＣ）、および／または１つまたは複数のネットワークインターフェース７７０（ＩＥＥＥ ８０２．３またはイーサネット（登録商標）、ＩＥＥＥ ８０２．１１、またはＷｉ－Ｆｉ（登録商標）など）に通信可能に連結されてもよい。
プロセッサ可読命令セット７１４ならびに他のプログラム、アプリケーション、論理セット、および／またはモジュールは、システムメモリ７４０に全体的または部分的に記憶することができる。そのような命令セット７１４は、全体的または部分的に、１つまたは複数のデータストレージデバイス７６０から転送されてもよい。命令セット７１４は、プロセッサコア７１８および／またはグラフィックスプロセッサ回路７１２による実行中に、全体的または部分的に、システムメモリ７４０にロード、記憶、または保持されてもよい。
コンピューティングデバイス７００は、エネルギー貯蔵装置７５２の１つまたは複数の動作態様を制御する電力管理回路７５０を含むことができる。実施形態では、エネルギー貯蔵装置７５２は、１つまたは複数の一次（すなわち、非充電式）もしくは二次（すなわち、充電式）電池または同様のエネルギー貯蔵装置を含むことができる。実施形態では、エネルギー貯蔵装置７５２は、１つまたは複数のスーパーキャパシタまたはウルトラキャパシタを含んでもよい。実施形態では、電力管理回路７５０は、外部電源７５４からエネルギー貯蔵装置７５２および／またはコンピューティングデバイス７００へのエネルギーの流れを変更、調整、または制御することができる。電源７５４は、限定はしないが、太陽光発電システム、商用電力グリッド、携帯発電機、外部エネルギー貯蔵装置、またはそれらの任意の組み合わせを含むことができる。
便宜上、プロセッサコア７１８、グラフィックスプロセッサ回路７１２、無線Ｉ／Ｏインターフェース７２０、有線Ｉ／Ｏインターフェース７３０、ストレージデバイス７６０、およびネットワークインターフェース７７０は、バス７１６を介して互いに通信可能に連結されるものとして示されており、それによって上述のコンポーネント間の連結性を提供する。代替的な実施形態では、上述のコンポーネントは、図７に示されたものとは異なる方法で通信可能に連結されてもよい。例えば、上述のコンポーネントのうちの１つまたは複数は、他のコンポーネントに直接連結されてもよく、または１つまたは複数の中間コンポーネント（図示せず）を介して互いに連結されてもよい。別の例では、上記のコンポーネントのうちの１つまたは複数は、プロセッサコア７１８および／またはグラフィックスプロセッサ回路７１２に統合されてもよい。いくつかの実施形態では、バス７１６の全部または一部を省略することができ、コンポーネントは、適切な有線または無線連結を使用して互いに直接連結される。
以下の例は、さらなる実施形態に関する。例１は、プログラマブルネットワークデバイスを使用したメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを促進する装置である。例１の装置は、１つまたは複数のプロセッサであって、サービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するメトリックを収集し、メトリックの分析に基づいて、ハードウェアアクセラレータデバイスへのオフロードによってサービスのワークロードを加速できると判定し、ハードウェアアクセラレータデバイスを、サービス用に構成されたハードウェアデバイスのクラスタに割り当てさせるためのスケーリング要求を生成し、スケーリング要求を、ハードウェアアクセラレータデバイスを管理するプログラマブルネットワークデバイスに送信させて、プログラマブルネットワークデバイスにハードウェアアクセラレータデバイスをクラスタに割り当てさせ、ハードウェアアクセラレータデバイスをサービスメッシュに登録させ、ハードウェアアクセラレータデバイスへサービスのワークロードをスケジューリングするための１つまたは複数のプロセッサ、を備える。
例２において、例１の主題は、任意選択的に、メトリックは、新しいトランスポート層セキュリティ（ＴＬＳ）接続の数、毎秒転送されるバイト数、マイクロサービス間のトラフィックパターン、またはクラスタのハードウェアデバイスの利用率のうちの少なくとも１つを含むテレメトリデータを含むことを含む。
例３において、例１から例２のいずれか１つの主題は、任意選択的に、ワークロードを加速できることを識別する１つまたは複数のプロセッサが、サービスがハードウェアアクセラレータデバイスにおけるスケジューリングの候補であることを示すためにサービスに注釈を付ける１つまたは複数のプロセッサをさらに備え、注釈が、サービスメッシュの制御プレーンスケジューラに、サービスをハードウェアアクセラレータデバイスへスケジューリングさせることを含み得る。例４において、例１から例３のいずれか１つの主題は、任意選択的に、１つまたは複数のプロセッサが、メトリックの分析に基づいて、グラフィックス処理装置（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、暗号化アクセラレータデバイス、推論アクセラレータデバイス、または圧縮アクセラレータデバイスのうちの少なくとも１つを含む決定されたタイプのハードウェアアクセラレータデバイスにオフロードすることによって、ワークロードを加速できると判定することを含み得る。
例５において、例１から例４のいずれか１つの主題は、任意選択的に、スケーリング要求が、１つまたは複数のプロセッサおよびハードウェアアクセラレータデバイスをホストするデータセンタの中央リソースオーケストレータに通信され、中央リソースオーケストレータは、少なくとも１つまたは複数のプロセッサ、プログラマブルネットワークデバイス、およびハードウェアアクセラレータデバイスをホストするデータセンタのハードウェアリソースのセットを管理することを含み得る。
例６において、例１から例５のいずれか１つの主題は、任意選択的に、１つまたは複数のプロセッサが、サービスメッシュの制御プレーンスケジューラの動作を拡張するためのスケジューラエクステンダ回路を備え、制御プレーンスケジューラが、データセンタ内の１つまたは複数の利用可能なハードウェアリソース上でサービスのワークロードをスケジューリングし、１つまたは複数の利用可能なハードウェアリソースが、少なくともハードウェアアクセラレータデバイスを備えることを含むことができる。例７において、例１から例６のいずれか１つの主題は、任意選択的に、１つまたは複数のプロセッサが、ハードウェアアクセラレータデバイスをクラスタに割り当てる一部として、ハードウェアアクセラレータデバイスをさらに認証することを含み得る。
例８において、例１から例７のいずれか１つの主題は、任意選択的に、１つまたは複数のプロセッサがさらに、ハードウェアアクセラレータデバイスが、ハードウェアアクセラレータデバイスと、ハードウェアアクセラレータデバイスへのワークロードをスケジューリングするサービスメッシュの制御プレーンスケジューラとの間のセキュアな通信のために利用するための共有秘密鍵を確立することを含み得る。例９において、例１から例８のいずれか１つの主題は、任意選択的に、１つまたは複数のプロセッサが、トラステッド実行環境（ＴＥＥ）内でスケジューラエクステンダを実行して、スケジューラエクステンダを分離し、スケジューラエクステンダは、収集すること、判定すること、生成すること、およびさせることを実行することを含み得る。
例１０において、例１から例９のいずれか１つの主題は、任意選択的に、１つまたは複数のプロセッサが、ハードウェアアクセラレータの過去のパフォーマンス履歴、ハードウェアアクセラレータの環境条件、またはハードウェアアクセラレータのサービスに対応するサービスレベル合意（ＳＬＡ）に基づいて、ハードウェアアクセラレータを識別することを含み得る。例１１において、例１から例１０のいずれか１つの主題は、任意選択的に、１つまたは複数のプロセッサがさらに、プログラマブルネットワークデバイスで実行されているクラスタノードエージェントと通信し、クラスタノードエージェントは、スケーリング要求に基づいてクラスタの１つまたは複数のハードウェアリソースで帯域幅を構成することを含み得る。
例１２において、例１から例１１のいずれか１つの主題は、任意選択的に、プログラマブルネットワークデバイスおよびハードウェアアクセラレータデバイスが、１つまたは複数のプロセッサ、プログラマブルネットワークデバイス、およびハードウェアアクセラレータデバイスをホストするデータセンタの別個のサーバデバイスの１つまたは複数のプロセッサから分散されることを含み得る。例１３において、例１から１２のいずれか１つの主題が、任意選択的に、プログラマブルネットワークデバイスは、インフラストラクチャ処理ユニット（ＩＰＵ）またはデータ処理ユニット（ＤＰＵ）のうちの少なくとも１つを備えることを含み得る。
例１４は、プログラマブルネットワークデバイスを使用したメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを促進するための非一時的コンピュータ可読記憶媒体である装置である。１つまたは複数のプロセッサによって実行されるとき、１つまたは複数のプロセッサに動作を実行させる実行可能コンピュータプログラム命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記動作は、１つまたは複数のプロセッサによってサービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するメトリックを収集することと、メトリックの分析に基づいて、ハードウェアアクセラレータデバイスへのオフロードによってサービスのワークロードを加速できると判定することと、ハードウェアアクセラレータデバイスを、サービス用に構成されたハードウェアデバイスのクラスタに割り当てさせるためのスケーリング要求を生成することと、スケーリング要求を、ハードウェアアクセラレータデバイスを管理するプログラマブルネットワークデバイスに送信させて、プログラマブルネットワークデバイスにハードウェアアクセラレータデバイスをクラスタに割り当てさせ、ハードウェアアクセラレータデバイスをサービスメッシュに登録させることと、ハードウェアアクセラレータデバイスへサービスのワークロードをスケジューリングすることとを含む、例１４の非一時的コンピュータ可読記憶媒体。
例１５において、例１４の主題は、任意選択的に、スケーリング要求が、１つまたは複数のプロセッサおよびハードウェアアクセラレータデバイスをホストするデータセンタの中央リソースオーケストレータに通信され、中央リソースオーケストレータは、少なくとも１つまたは複数のプロセッサ、プログラマブルネットワークデバイス、およびハードウェアアクセラレータデバイスをホストするデータセンタのハードウェアリソースのセットを管理することを含み得る。例１６において、例１４から例１５の主題は、任意選択的に、動作が、ハードウェアアクセラレータデバイスをクラスタに割り当てることの一部として、ハードウェアアクセラレータデバイスを認証することをさらに含むことを含み得る。
例１７において、例１４から例１６の主題は、任意選択に、動作が、ハードウェアアクセラレータデバイスと、ハードウェアアクセラレータデバイスにワークロードをスケジューリングするサービスメッシュの制御プレーンスケジューラとの間のセキュアな通信のために、ハードウェアアクセラレータデバイスが利用するための共有秘密鍵を確立することをさらに含むことを含み得る。
例１８は、プログラマブルネットワークデバイスを使用したメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを促進するための方法である。例１８の方法は、１つまたは複数のプロセッサによって、サービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するメトリックを収集することと、１つまたは複数のプロセッサによるメトリックの分析に基づいて、ハードウェアアクセラレータデバイスへのオフロードによってサービスのワークロードを加速できると判定することと、１つまたは複数のプロセッサによって、ハードウェアアクセラレータデバイスを、サービス用に構成されたハードウェアデバイスのクラスタに割り当てさせるためのスケーリング要求を生成することと、１つまたは複数のプロセッサによって、スケーリング要求を、ハードウェアアクセラレータデバイスを管理するプログラマブルネットワークデバイスに送信させて、プログラマブルネットワークデバイスにハードウェアアクセラレータデバイスをクラスタに割り当てさせ、ハードウェアアクセラレータデバイスをサービスメッシュに登録させることと、１つまたは複数のプロセッサによって、ハードウェアアクセラレータデバイスへサービスのワークロードをスケジューリングすることとを含み得る。
例１９において、例１８の主題は、任意選択的に、スケーリング要求が、１つまたは複数のプロセッサおよびハードウェアアクセラレータデバイスをホストするデータセンタの中央リソースオーケストレータに通信され、中央リソースオーケストレータは、少なくとも１つまたは複数のプロセッサ、プログラマブルネットワークデバイス、およびハードウェアアクセラレータデバイスをホストするデータセンタのハードウェアリソースのセットを管理することを含み得る。例２０において、例１８から例１９の主題は、任意選択的に、プログラマブルネットワークデバイスで実行されているクラスタノードエージェントと通信することをさらに含むことができ、クラスタノードエージェントは、スケーリング要求に基づいてクラスタの１つまたは複数のハードウェアリソースで帯域幅を構成する。
例２１は、プログラマブルネットワークデバイスを使用したメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを促進するためのシステムである。例２１のシステムは、任意選択的に、データのブロックを記憶するためのメモリと、サービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するメトリックを収集するために、メモリに通信可能に連結されたプロセッサとを含むことができ、プロセッサは、サービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するメトリックを収集し、メトリックの分析に基づいて、ハードウェアアクセラレータデバイスへのオフロードによってサービスのワークロードを加速できると判定し、ハードウェアアクセラレータデバイスを、サービス用に構成されたハードウェアデバイスのクラスタに割り当てさせるためのスケーリング要求を生成し、スケーリング要求を、ハードウェアアクセラレータデバイスを管理するプログラマブルネットワークデバイスに送信させて、プログラマブルネットワークデバイスにハードウェアアクセラレータデバイスをクラスタに割り当てさせ、ハードウェアアクセラレータデバイスをサービスメッシュに登録させ、ハードウェアアクセラレータデバイスへサービスのワークロードをスケジューリングする。
例２２において、例２１の主題は、任意選択的に、メトリクスは、新しいトランスポート層セキュリティ（ＴＬＳ）接続の数、毎秒転送されるバイト数、マイクロサービス間のトラフィックパターン、またはクラスタのハードウェアデバイスの利用率のうちの少なくとも１つを含むテレメトリデータを含むことを含む。
例２３において、例２１から例２２のいずれか１つの主題は、任意選択的に、ワークロードを加速できることを識別する１つまたは複数のプロセッサが、サービスがハードウェアアクセラレータデバイスにおけるスケジューリングの候補であることを示すためにサービスに注釈を付ける１つまたは複数のプロセッサをさらに備え、注釈が、サービスメッシュの制御プレーンスケジューラに、サービスをハードウェアアクセラレータデバイスへスケジューリングさせることを含み得る。例２４において、例２１から例２３のいずれか１つの主題は、任意選択的に、１つまたは複数のプロセッサが、メトリックの分析に基づいて、グラフィックス処理装置（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、暗号化アクセラレータデバイス、推論アクセラレータデバイス、または圧縮アクセラレータデバイスのうちの少なくとも１つを含む決定されたタイプのハードウェアアクセラレータデバイスにオフロードすることによって、ワークロードを加速できると判定することを含み得る。
例２５において、例２１から例２４のいずれか１つの主題は、任意選択的に、スケーリング要求が、１つまたは複数のプロセッサおよびハードウェアアクセラレータデバイスをホストするデータセンタの中央リソースオーケストレータに通信され、中央リソースオーケストレータは、少なくとも１つまたは複数のプロセッサ、プログラマブルネットワークデバイス、およびハードウェアアクセラレータデバイスをホストするデータセンタのハードウェアリソースのセットを管理することを含み得る。
例２６において、例２１から例２５のいずれか１つの主題は、任意選択的に、１つまたは複数のプロセッサが、サービスメッシュの制御プレーンスケジューラの動作をさらに拡張し、制御プレーンスケジューラが、データセンタ内の１つまたは複数の利用可能なハードウェアリソース上でサービスのワークロードをスケジューリングし、１つまたは複数の利用可能なハードウェアリソースが、少なくともハードウェアアクセラレータデバイスを備えることを含むことができる。例２７において、例２１から例２６のいずれか１つの主題は、任意選択的に、１つまたは複数のプロセッサが、ハードウェアアクセラレータデバイスをクラスタに割り当てる一部として、ハードウェアアクセラレータデバイスをさらに認証することを含み得る。
例２８において、例２１から例２７のいずれか１つの主題は、任意選択的に、１つまたは複数のプロセッサはさらに、ハードウェアアクセラレータデバイスが、ハードウェアアクセラレータデバイスと、ハードウェアアクセラレータデバイスへのワークロードをスケジューリングするサービスメッシュの制御プレーンスケジューラとの間のセキュアな通信のために利用するための共有秘密鍵を確立することを含み得る。例２９において、例２１から例２８のいずれか１つの主題は、任意選択的に、１つまたは複数のプロセッサは、トラステッド実行環境（ＴＥＥ）内でスケジューラエクステンダを実行して、スケジューラエクステンダを分離し、スケジューラエクステンダは、収集すること、判定すること、生成すること、およびさせることを実行することを含み得る。
例３０において、例２１から例２９のいずれか１つの主題は、任意選択的に、１つまたは複数のプロセッサが、ハードウェアアクセラレータの過去のパフォーマンス履歴、ハードウェアアクセラレータの環境条件、またはハードウェアアクセラレータのサービスに対応するサービスレベル合意（ＳＬＡ）に基づいて、ハードウェアアクセラレータを識別することを含み得る。例３１において、例２１から例３０のいずれか１つの主題は、任意選択的に、１つまたは複数のプロセッサがさらに、プログラマブルネットワークデバイスで実行されているクラスタノードエージェントと通信し、クラスタノードエージェントは、スケーリング要求に基づいてクラスタの１つまたは複数のハードウェアリソースで帯域幅を構成することを含み得る。
例３２において、例２１から例３１のいずれか１つの主題は、任意選択的に、プログラマブルネットワークデバイスおよびハードウェアアクセラレータデバイスが、１つまたは複数のプロセッサ、プログラマブルネットワークデバイス、およびハードウェアアクセラレータデバイスをホストするデータセンタ内の別個のサーバデバイスの１つまたは複数のプロセッサから分散されることを含み得る。例３３において、例２１から３２のいずれか１つの主題が、任意選択的に、プログラマブルネットワークデバイスは、インフラストラクチャ処理ユニット（ＩＰＵ）またはデータ処理ユニット（ＤＰＵ）のうちの少なくとも１つを備えることを含み得る。
例３４は、プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを促進するための装置であって、サービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するメトリックを収集するための手段、メトリックの分析に基づいて、ハードウェアアクセラレータデバイスへのオフロードによってサービスのワークロードを加速できると判定するための手段、ハードウェアアクセラレータデバイスを、サービス用に構成されたハードウェアデバイスのクラスタに割り当てさせるためのスケーリング要求を生成するための手段、スケーリング要求を、ハードウェアアクセラレータデバイスを管理するプログラマブルネットワークデバイスに送信させて、プログラマブルネットワークデバイスにハードウェアアクセラレータデバイスをクラスタに割り当てさせ、ハードウェアアクセラレータデバイスをサービスメッシュに登録させるための手段、およびハードウェアアクセラレータデバイスへサービスのワークロードをスケジューリングするための手段を含む装置である。例３５において、例３４の主題は、例１９から２０のいずれか１つの方法を実行するようにさらに構成された装置を任意選択的に含むことができる。
例３６は、コンピューティングデバイスで実行されたことに応答して、コンピューティングデバイスに例１８から例２０のいずれか１つに記載の方法を実行させる複数の命令を含む少なくとも１つの機械可読媒体である。例３７は、例１８から例２０のいずれか１つの方法を実行するように構成された、プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを促進するための装置である。例３８は、プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリングおよび自動スケーリングを促進するための装置であって、項目１８から２０のいずれか一項に記載の方法を実行するための手段を備える、装置である。例における特定は、１つまたは複数の実施形態のいずれでも使用することができる。
前述の説明および図面は、限定的な意味ではなく例示的な意味で見なされるべきである。当業者は、添付の特許請求の範囲に記載された特徴のより広い精神および範囲から逸脱することなく、本明細書に記載された実施形態に対して様々な修正および変更を行うことができることを理解することができる。
［他の可能な項目］
［項目１］
装置であって、
サービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するメトリックを収集し、
前記メトリックの分析に基づいて、ハードウェアアクセラレータデバイスへのオフロードによって前記サービスのワークロードを加速できると判定し、
前記ハードウェアアクセラレータデバイスを、前記サービス用に構成されたハードウェアデバイスのクラスタに割り当てさせるためのスケーリング要求を生成し、
前記スケーリング要求を、前記ハードウェアアクセラレータデバイスを管理するプログラマブルネットワークデバイスに送信させて、前記プログラマブルネットワークデバイスに前記ハードウェアアクセラレータデバイスを前記クラスタに割り当てさせ、前記ハードウェアアクセラレータデバイスを前記サービスメッシュに登録させ、
前記ハードウェアアクセラレータデバイスへ前記サービスの前記ワークロードをスケジューリングする
ための１つまたは複数のプロセッサ、を備える、装置。
［項目２］
前記メトリックは、新しいトランスポート層セキュリティ（ＴＬＳ）接続の数、毎秒転送されるバイト数、前記マイクロサービス間のトラフィックパターン、または前記クラスタのハードウェアデバイスの利用率のうちの少なくとも１つを含むテレメトリデータを含む、項目１に記載の装置。
［項目３］
前記ワークロードを加速できることを識別する前記１つまたは複数のプロセッサが、前記サービスが前記ハードウェアアクセラレータデバイスにおけるスケジューリングの候補であることを示すために前記サービスに注釈を付ける前記１つまたは複数のプロセッサをさらに備え、前記注釈が、前記サービスメッシュの制御プレーンスケジューラに、前記サービスを前記ハードウェアアクセラレータデバイスへスケジューリングさせる、項目１に記載の装置。
［項目４］
前記１つまたは複数のプロセッサが、前記メトリックの前記分析に基づいて、グラフィックス処理装置（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、暗号化アクセラレータデバイス、推論アクセラレータデバイス、または圧縮アクセラレータデバイスのうちの少なくとも１つを含む決定されたタイプの前記ハードウェアアクセラレータデバイスにオフロードすることによって、前記ワークロードを加速できると判定する、項目１に記載の装置。
［項目５］
前記スケーリング要求は、前記１つまたは複数のプロセッサおよび前記ハードウェアアクセラレータデバイスをホストするデータセンタの中央リソースオーケストレータに通信され、前記中央リソースオーケストレータは、少なくとも前記１つまたは複数のプロセッサ、前記プログラマブルネットワークデバイス、および前記ハードウェアアクセラレータデバイスをホストするデータセンタ内のハードウェアリソースのセットを管理する、項目１に記載の装置。
［項目６］
前記１つまたは複数のプロセッサが、前記サービスメッシュの制御プレーンスケジューラの動作を拡張するためのスケジューラエクステンダ回路を備え、前記制御プレーンスケジューラが、データセンタの１つまたは複数の利用可能なハードウェアリソース上で前記サービスのワークロードをスケジューリングし、前記１つまたは複数の利用可能なハードウェアリソースが、少なくとも前記ハードウェアアクセラレータデバイスを備える、項目１に記載の装置。
［項目７］
前記１つまたは複数のプロセッサが、前記ハードウェアアクセラレータデバイスを前記クラスタに割り当てる一部として、前記ハードウェアアクセラレータデバイスをさらに認証する、項目１に記載の装置。
［項目８］
前記１つまたは複数のプロセッサはさらに、前記ハードウェアアクセラレータデバイスが、前記ハードウェアアクセラレータデバイスと、前記ハードウェアアクセラレータデバイスへのワークロードをスケジューリングする前記サービスメッシュの制御プレーンスケジューラとの間のセキュアな通信のために利用するための共有秘密鍵を確立する、項目７に記載の装置。
［項目９］
前記１つまたは複数のプロセッサは、トラステッド実行環境（ＴＥＥ）内でスケジューラエクステンダを実行して、前記スケジューラエクステンダを分離し、前記スケジューラエクステンダは、前記収集すること、前記判定すること、前記生成すること、および前記させることを実行する、項目１に記載の装置。
［項目１０］
前記１つまたは複数のプロセッサは、前記ハードウェアアクセラレータの過去のパフォーマンス履歴、前記ハードウェアアクセラレータの環境条件、または前記ハードウェアアクセラレータの前記サービスに対応するサービスレベル合意（ＳＬＡ）に基づいて、前記ハードウェアアクセラレータを識別する、項目１に記載の装置。
［項目１１］
前記１つまたは複数のプロセッサはさらに、前記プログラマブルネットワークデバイスで実行されているクラスタノードエージェントと通信し、前記クラスタノードエージェントは、前記スケーリング要求に基づいて前記クラスタの１つまたは複数のハードウェアリソースで帯域幅を構成する、項目１に記載の装置。
［項目１２］
前記プログラマブルネットワークデバイスおよび前記ハードウェアアクセラレータデバイスは、前記１つまたは複数のプロセッサ、前記プログラマブルネットワークデバイス、および前記ハードウェアアクセラレータデバイスをホストするデータセンタ内の別個のサーバデバイスの前記１つまたは複数のプロセッサから分散される、項目１に記載の装置。
［項目１３］
前記プログラマブルネットワークデバイスは、インフラストラクチャ処理ユニット（ＩＰＵ）またはデータ処理ユニット（ＤＰＵ）のうちの少なくとも１つを備える、項目１に記載の装置。
［項目１４］
１つまたは複数のプロセッサによって実行されるとき、前記１つまたは複数のプロセッサに動作を実行させる実行可能コンピュータプログラム命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記動作は、
１つまたは複数のプロセッサによってサービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するメトリックを収集することと、
前記メトリックの分析に基づいて、ハードウェアアクセラレータデバイスへのオフロードによって前記サービスのワークロードを加速できると判定することと、
前記ハードウェアアクセラレータデバイスを、前記サービス用に構成されたハードウェアデバイスのクラスタに割り当てさせるためのスケーリング要求を生成することと、
前記スケーリング要求を、前記ハードウェアアクセラレータデバイスを管理するプログラマブルネットワークデバイスに送信させて、前記プログラマブルネットワークデバイスに前記ハードウェアアクセラレータデバイスを前記クラスタに割り当てさせ、前記ハードウェアアクセラレータデバイスを前記サービスメッシュに登録させることと、
前記ハードウェアアクセラレータデバイスへ前記サービスの前記ワークロードをスケジューリングすることとを含む、非一時的コンピュータ可読記憶媒体。
［項目１５］
前記スケーリング要求は、前記１つまたは複数のプロセッサおよび前記ハードウェアアクセラレータデバイスをホストするデータセンタの中央リソースオーケストレータに通信され、前記中央リソースオーケストレータは、少なくとも前記１つまたは複数のプロセッサ、前記プログラマブルネットワークデバイス、および前記ハードウェアアクセラレータデバイスをホストするデータセンタ内のハードウェアリソースのセットを管理する、項目１４に記載の非一時的コンピュータ可読記憶媒体。
［項目１６］
前記動作は、前記ハードウェアアクセラレータデバイスを前記クラスタに割り当てることの一部として、前記ハードウェアアクセラレータデバイスを認証することをさらに含む、項目１４に記載の非一時的コンピュータ可読記憶媒体。
［項目１７］
前記動作は、前記ハードウェアアクセラレータデバイスと、前記ハードウェアアクセラレータデバイスにワークロードをスケジューリングする前記サービスメッシュの制御プレーンスケジューラとの間のセキュアな通信のために、前記ハードウェアアクセラレータデバイスが利用するための共有秘密鍵を確立することをさらに含む、項目１６に記載の非一時的コンピュータ可読記憶媒体。
［項目１８］
方法であって、
１つまたは複数のプロセッサによって、サービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するメトリックを収集する段階と、
前記１つまたは複数のプロセッサによる前記メトリックの分析に基づいて、ハードウェアアクセラレータデバイスへのオフロードによって前記サービスのワークロードを加速できると判定する段階と、
前記１つまたは複数のプロセッサによって、前記ハードウェアアクセラレータデバイスを、前記サービス用に構成されたハードウェアデバイスのクラスタに割り当てさせるためのスケーリング要求を生成する段階と、
前記１つまたは複数のプロセッサによって、前記スケーリング要求を、前記ハードウェアアクセラレータデバイスを管理するプログラマブルネットワークデバイスに送信させて、前記プログラマブルネットワークデバイスに前記ハードウェアアクセラレータデバイスを前記クラスタに割り当てさせ、前記ハードウェアアクセラレータデバイスを前記サービスメッシュに登録させる段階と、
前記１つまたは複数のプロセッサによって、前記ハードウェアアクセラレータデバイスへ前記サービスの前記ワークロードをスケジューリングする段階とを含む、方法。
［項目１９］
前記スケーリング要求は、前記１つまたは複数のプロセッサおよび前記ハードウェアアクセラレータデバイスをホストするデータセンタの中央リソースオーケストレータに通信され、前記中央リソースオーケストレータは、少なくとも前記１つまたは複数のプロセッサ、前記プログラマブルネットワークデバイス、および前記ハードウェアアクセラレータデバイスをホストするデータセンタ内のハードウェアリソースのセットを管理する、項目１８に記載の方法。
［項目２０］
前記スケジューラエクステンダは、前記プログラマブルネットワークデバイスで実行されているクラスタノードエージェントと通信し、前記クラスタノードエージェントは、前記スケーリング要求に基づいて前記クラスタの１つまたは複数のハードウェアリソースで帯域幅を構成する、項目１８に記載の方法。

Claims (26)

  1. 装置であって、
    サービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するメトリックを収集し、
    前記メトリックの分析に基づいて、ハードウェアアクセラレータデバイスへのオフロードによって前記サービスのワークロードを加速できると判定し、
    前記ハードウェアアクセラレータデバイスが、前記サービス用に構成されたハードウェアデバイスのクラスタに割り当てられるようにするためのスケーリング要求を生成し、
    前記スケーリング要求を、前記ハードウェアアクセラレータデバイスを管理するプログラマブルネットワークデバイスに送信させ、前記プログラマブルネットワークデバイスに前記ハードウェアアクセラレータデバイスを前記クラスタに割り当てさせ、且つ、前記プログラマブルネットワークデバイスに前記ハードウェアアクセラレータデバイスを前記サービスメッシュに登録させることを生ぜしめ、
    前記ハードウェアアクセラレータデバイスに対し前記サービスの前記ワークロードをスケジューリングする
    ための１つまたは複数のプロセッサ、を備える、装置。
  2. 前記メトリックは、新しいトランスポート層セキュリティ（ＴＬＳ）接続の数、毎秒転送されるバイト数、前記マイクロサービス間のトラフィックパターン、または前記クラスタのハードウェアデバイスの利用率のうちの少なくとも１つを含むテレメトリデータを含む、請求項１に記載の装置。
  3. 前記ワークロードを加速できると識別する前記１つまたは複数のプロセッサが、前記サービスが前記ハードウェアアクセラレータデバイスにおけるスケジューリングの候補であることを示すために前記サービスに注釈を付ける前記１つまたは複数のプロセッサをさらに備え、前記注釈が、前記サービスメッシュの制御プレーンスケジューラに、前記サービスを前記ハードウェアアクセラレータデバイスに対しスケジューリングさせる、請求項１に記載の装置。
  4. 前記１つまたは複数のプロセッサが、前記メトリックの前記分析に基づいて、グラフィックス処理装置（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、暗号化アクセラレータデバイス、推論アクセラレータデバイス、または圧縮アクセラレータデバイスのうちの少なくとも１つを含む決定されたタイプの前記ハードウェアアクセラレータデバイスにオフロードすることによって、前記ワークロードを加速できると判定する、請求項１に記載の装置。
  5. 前記スケーリング要求は、前記１つまたは複数のプロセッサおよび前記ハードウェアアクセラレータデバイスをホストするデータセンタの中央リソースオーケストレータに通信され、前記中央リソースオーケストレータは、少なくとも前記１つまたは複数のプロセッサ、前記プログラマブルネットワークデバイス、および前記ハードウェアアクセラレータデバイスをホストするデータセンタ内のハードウェアリソースのセットを管理する、請求項１に記載の装置。
  6. 前記１つまたは複数のプロセッサが、前記サービスメッシュの制御プレーンスケジューラの動作を拡張するためのスケジューラエクステンダ回路を有し、前記制御プレーンスケジューラが、データセンタの１つまたは複数の利用可能なハードウェアリソース上で前記サービスのワークロードをスケジューリングし、前記１つまたは複数の利用可能なハードウェアリソースが、少なくとも前記ハードウェアアクセラレータデバイスを有する、請求項１に記載の装置。
  7. 前記１つまたは複数のプロセッサはさらに、前記ハードウェアアクセラレータデバイスを前記クラスタに割り当てる一部として、前記ハードウェアアクセラレータデバイスを認証する、請求項１に記載の装置。
  8. 前記１つまたは複数のプロセッサはさらに、前記ハードウェアアクセラレータデバイスが、前記ハードウェアアクセラレータデバイスと、前記ハードウェアアクセラレータデバイスに対するワークロードをスケジューリングする前記サービスメッシュの制御プレーンスケジューラとの間のセキュアな通信のために利用するための共有秘密鍵を確立する、請求項１に記載の装置。
  9. 前記１つまたは複数のプロセッサは、トラステッド実行環境（ＴＥＥ）内でスケジューラエクステンダを実行して前記スケジューラエクステンダを分離し、前記スケジューラエクステンダは、前記収集すること、前記判定すること、前記生成すること、および前記生ぜしめることを実行する、請求項１に記載の装置。
  10. 前記１つまたは複数のプロセッサは、前記ハードウェアアクセラレータデバイスの過去のパフォーマンス履歴、前記ハードウェアアクセラレータデバイスの環境条件、または前記ハードウェアアクセラレータデバイスの前記サービスに対応するサービスレベル合意（ＳＬＡ）に基づいて、前記ハードウェアアクセラレータデバイスを識別する、請求項１に記載の装置。
  11. 前記１つまたは複数のプロセッサはさらに、前記プログラマブルネットワークデバイス上で実行されているクラスタノードエージェントと通信し、前記クラスタノードエージェントは、前記スケーリング要求に基づいて前記クラスタの１つまたは複数のハードウェアリソース上の帯域幅を構成する、請求項１に記載の装置。
  12. 前記プログラマブルネットワークデバイスおよび前記ハードウェアアクセラレータデバイスは、前記１つまたは複数のプロセッサ、前記プログラマブルネットワークデバイス、および前記ハードウェアアクセラレータデバイスをホストするデータセンタ内の別個のサーバデバイスの前記１つまたは複数のプロセッサから分散される、請求項１に記載の装置。
  13. 前記プログラマブルネットワークデバイスは、インフラストラクチャ処理ユニット（ＩＰＵ）またはデータ処理ユニット（ＤＰＵ）のうちの少なくとも１つを備える、請求項１から１２のいずれか一項に記載の装置。
  14. １つまたは複数のプロセッサに、
    前記１つまたは複数のプロセッサによって、サービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するメトリックを収集する手順と、
    前記メトリックの分析に基づいて、ハードウェアアクセラレータデバイスへのオフロードによって前記サービスのワークロードを加速できると判定する手順と、
    前記ハードウェアアクセラレータデバイスを、前記サービス用に構成されたハードウェアデバイスのクラスタに割り当てさせるためのスケーリング要求を生成する手順と、
    前記スケーリング要求を、前記ハードウェアアクセラレータデバイスを管理するプログラマブルネットワークデバイスに送信させ、前記プログラマブルネットワークデバイスに前記ハードウェアアクセラレータデバイスを前記クラスタに割り当てさせ、且つ、前記プログラマブルネットワークデバイスに前記ハードウェアアクセラレータデバイスを前記サービスメッシュに登録させることを生ぜしめる手順と、
    前記ハードウェアアクセラレータデバイスに対し前記サービスの前記ワークロードをスケジューリングする手順とを実行させるための、コンピュータプログラム。
  15. 前記スケーリング要求は、前記１つまたは複数のプロセッサおよび前記ハードウェアアクセラレータデバイスをホストするデータセンタの中央リソースオーケストレータに通信され、前記中央リソースオーケストレータは、少なくとも前記１つまたは複数のプロセッサ、前記プログラマブルネットワークデバイス、および前記ハードウェアアクセラレータデバイスをホストするデータセンタ内のハードウェアリソースのセットを管理する、請求項１４に記載のコンピュータプログラム。
  16. 前記手順は、前記ハードウェアアクセラレータデバイスを前記クラスタに割り当てることの一部として、前記ハードウェアアクセラレータデバイスを認証することをさらに含む、請求項１４に記載のコンピュータプログラム。
  17. 前記手順は、前記ハードウェアアクセラレータデバイスと、前記ハードウェアアクセラレータデバイスに対しワークロードをスケジューリングする前記サービスメッシュの制御プレーンスケジューラとの間のセキュアな通信のために、前記ハードウェアアクセラレータデバイスが利用するための共有秘密鍵を確立することをさらに含む、請求項１４に記載のコンピュータプログラム。
  18. 方法であって、
    １つまたは複数のプロセッサによって、サービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するメトリックを収集する段階と、
    前記１つまたは複数のプロセッサによる前記メトリックの分析に基づいて、ハードウェアアクセラレータデバイスへのオフロードによって前記サービスのワークロードを加速できると判定する段階と、
    前記１つまたは複数のプロセッサによって、前記ハードウェアアクセラレータデバイスを、前記サービス用に構成されたハードウェアデバイスのクラスタに割り当てさせるためのスケーリング要求を生成する段階と、
    前記１つまたは複数のプロセッサによって、前記スケーリング要求を、前記ハードウェアアクセラレータデバイスを管理するプログラマブルネットワークデバイスに送信させ、前記プログラマブルネットワークデバイスに前記ハードウェアアクセラレータデバイスを前記クラスタに割り当てさせ、且つ、プログラマブルネットワークデバイスに前記ハードウェアアクセラレータデバイスを前記サービスメッシュに登録させることを生ぜしめる段階と、
    前記１つまたは複数のプロセッサによって、前記ハードウェアアクセラレータデバイスに対し前記サービスの前記ワークロードをスケジューリングする段階と
    を備える、方法。
  19. 前記スケーリング要求は、前記１つまたは複数のプロセッサおよび前記ハードウェアアクセラレータデバイスをホストするデータセンタの中央リソースオーケストレータに通信され、前記中央リソースオーケストレータは、少なくとも前記１つまたは複数のプロセッサ、前記プログラマブルネットワークデバイス、および前記ハードウェアアクセラレータデバイスをホストするデータセンタ内のハードウェアリソースのセットを管理する、請求項１８に記載の方法。
  20. スケジューラエクステンダは、前記プログラマブルネットワークデバイスで実行されているクラスタノードエージェントと通信し、前記クラスタノードエージェントは、前記スケーリング要求に基づいて前記クラスタの１つまたは複数のハードウェアリソースで帯域幅を構成する、請求項１８に記載の方法。
  21. プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリング並びに自動スケーリングを促進するためのシステムであって、
    データのブロックを記憶するためのメモリと、
    前記メモリに通信可能に連結されたプロセッサと
    を含み、前記プロセッサは、
    サービスメッシュによって管理されるサービスのマイクロサービス間の通信リンクに対応するメトリックを収集し、
    前記メトリックの分析に基づいて、ハードウェアアクセラレータデバイスへのオフロードによって前記サービスのワークロードを加速できると判定し、
    前記ハードウェアアクセラレータデバイスを、前記サービス用に構成されたハードウェアデバイスのクラスタに割り当てさせるためのスケーリング要求を生成し、
    前記スケーリング要求を、前記ハードウェアアクセラレータデバイスを管理するプログラマブルネットワークデバイスに送信させ、前記プログラマブルネットワークデバイスに前記ハードウェアアクセラレータデバイスを前記クラスタに割り当てさせ、且つ、前記プログラマブルネットワークデバイスに前記ハードウェアアクセラレータデバイスを前記サービスメッシュに登録させることを生ぜしめ、
    前記ハードウェアアクセラレータデバイスに対し前記サービスの前記ワークロードをスケジューリングする、システム。
  22. 前記メトリックは、新しいトランスポート層セキュリティ（ＴＬＳ）接続の数、毎秒転送されるバイト数、前記マイクロサービス間のトラフィックパターン、または前記クラスタのハードウェアデバイスの利用率のうちの少なくとも１つを含むテレメトリデータを含む、請求項２１に記載のシステム。
  23. 前記ワークロードを加速できると識別する前記１つまたは複数のプロセッサが、前記サービスが前記ハードウェアアクセラレータデバイスにおけるスケジューリングの候補であることを示すために前記サービスに注釈を付ける前記１つまたは複数のプロセッサをさらに備え、前記注釈が、前記サービスメッシュの制御プレーンスケジューラに、前記サービスを前記ハードウェアアクセラレータデバイスに対しスケジューリングさせる、請求項２１に記載のシステム。
  24. 前記１つまたは複数のプロセッサが、前記メトリックの前記分析に基づいて、グラフィックス処理装置（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、暗号化アクセラレータデバイス、推論アクセラレータデバイス、または圧縮アクセラレータデバイスのうちの少なくとも１つを含む決定されたタイプの前記ハードウェアアクセラレータデバイスにオフロードすることによって、前記ワークロードを加速できると判定する、請求項２１から２３のいずれか一項に記載のシステム。
  25. プログラマブルネットワークデバイスを使用してメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリング並びに自動スケーリングを促進するための装置であって、請求項１８から２０のいずれか一項に記載の方法を実行するための手段を備える、装置。
  26. 請求項１４から１７のいずれか一項に記載のコンピュータプログラムを記憶した、非一時的コンピュータ可読記憶媒体。
JP2022107779A 2021-09-22 2022-07-04 プログラマブルネットワークデバイスを用いたメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリング並びに自動スケーリング Pending JP2023046248A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/482,155 2021-09-22
US17/482,155 US20220012095A1 (en) 2021-09-22 2021-09-22 Metrics and security-based accelerator service rescheduling and auto-scaling using a programmable network device

Publications (1)

Publication Number Publication Date
JP2023046248A true JP2023046248A (ja) 2023-04-03

Family

ID=79173655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022107779A Pending JP2023046248A (ja) 2021-09-22 2022-07-04 プログラマブルネットワークデバイスを用いたメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリング並びに自動スケーリング

Country Status (4)

Country Link
US (1) US20220012095A1 (ja)
EP (1) EP4155932A1 (ja)
JP (1) JP2023046248A (ja)
CN (1) CN115934307A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797342B2 (en) * 2018-06-20 2023-10-24 Telefonaktiebolaget Lm Ericsson (Publ) Method and supporting node for supporting process scheduling in a cloud system
US11558265B1 (en) * 2021-12-21 2023-01-17 Intel Corporation Telemetry targeted query injection for enhanced debugging in microservices architectures
CN117666921A (zh) * 2022-08-23 2024-03-08 华为技术有限公司 数据处理方法、加速器及计算设备
CN116932226B (zh) * 2023-09-14 2023-12-19 中诚华隆计算机技术有限公司 一种基于Chiplet的硬件加速方法和硬件加速器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11169935B2 (en) * 2018-06-20 2021-11-09 Intel Corporation Technologies for low-latency cryptography for processor-accelerator communication
US11216314B2 (en) * 2018-11-02 2022-01-04 EMC IP Holding Company LLC Dynamic reallocation of resources in accelerator-as-a-service computing environment
US11012520B2 (en) * 2019-03-11 2021-05-18 International Business Machines Corporation Manage a network of microservices
GB2586640B (en) * 2019-08-30 2021-12-08 Trustonic Ltd Trusted execution environment scheduling method
US11513842B2 (en) * 2019-10-03 2022-11-29 International Business Machines Corporation Performance biased resource scheduling based on runtime performance

Also Published As

Publication number Publication date
EP4155932A1 (en) 2023-03-29
US20220012095A1 (en) 2022-01-13
CN115934307A (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Sriraman et al. Accelerometer: Understanding acceleration opportunities for data center overheads at hyperscale
JP2023046248A (ja) プログラマブルネットワークデバイスを用いたメトリックおよびセキュリティベースのアクセラレータサービスリスケジューリング並びに自動スケーリング
CN112579193A (zh) 在边缘环境中卸载和加载工作负载的方法和装置
JP6200497B2 (ja) 仮想マシンのフローの物理的なキューへのオフロード
US20120284408A1 (en) Workload-aware placement in private heterogeneous clouds
US11558265B1 (en) Telemetry targeted query injection for enhanced debugging in microservices architectures
US11570264B1 (en) Provenance audit trails for microservices architectures
US11055139B2 (en) Smart accelerator allocation and reclamation for deep learning jobs in a computing cluster
US11861406B2 (en) Dynamic microservices allocation mechanism
US20220100566A1 (en) Metrics-based scheduling for hardware accelerator resources in a service mesh environment
US11870669B2 (en) At-scale telemetry using interactive matrix for deterministic microservices performance
EP4198739A1 (en) Matchmaking-based enhanced debugging for microservices architectures
US20230136612A1 (en) Optimizing concurrent execution using networked processing units
US20230195601A1 (en) Synthetic data generation for enhanced microservice debugging in microservices architectures
Zhao et al. Minimize the make-span of batched requests for FPGA pooling in cloud computing
US20220405104A1 (en) Cross platform and platform agnostic accelerator remoting service
Kaiser et al. Benchmarking container technologies on arm-based edge devices
Wu et al. Dynamic kernel/device mapping strategies for gpu-assisted hpc systems
US20240232336A9 (en) Method for definition, consumption, and controlled access of dpu resources and services
US20240134970A1 (en) Method for definition, consumption, and controlled access of dpu resources and services
Sareen et al. Simulation of cloud computing environment using CloudSim
Prahalad et al. Phoenix: System for implementing private and hybrid cloud for OMIC sciences applications
Bama et al. Heuristics aware advance reservation and scheduling (HAARS) mechanism in hybrid (Grid/Cloud) environment
KR20230022819A (ko) 고장 식별을 위한 이동 데이터
CN117215762A (zh) 修改处理器性能的技术