JP2023007422A

JP2023007422A - 同期バリア

Info

Publication number: JP2023007422A
Application number: JP2022090004A
Authority: JP
Inventors: シオルコツピョートル; Ciolkosz Piotr; ペレリギンキリロ; Perelygin Kyrylo; カーターエドワーズハロルド; Carter Edwards Harold; マキシーウェスリー; Maxey Wesley
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2021-06-29
Filing date: 2022-06-02
Publication date: 2023-01-18
Also published as: KR20230002058A; DE102022114663A1; CN115543641A; GB202209057D0; US20220413945A1; GB2611847A

Abstract

【課題】アプリケーションを実行するとき、増加された並列性を可能にすること。【解決手段】バリア演算を実装するための装置、システム、及び技法。少なくとも１つの実施例では、メモリ・バリア演算は、スレッドの複数のグループによるメモリへのアクセスが、メモリ・バリア演算によって指示される順序で発生することを引き起こす。【選択図】図２

Description

本出願は、その内容全体が参照により本明細書に組み込まれる、２０２１年６月２９日に出願された、「ＳＹＮＣＨＲＯＮＩＺＴＩＯＮＢＡＲＲＩＥＲ」と題する、米国仮出願第６３／２１６，４３０号の利益を主張する。

少なくとも１つの実施例は、並列処理を使用するプログラムを実行するために使用される処理リソースに関する。たとえば、少なくとも１つの実施例は、連動スレッド・グループを使用する１つ又は複数のＣＵＤＡプログラムを実行するために使用されるプロセッサ又はコンピューティング・システムに関する。

複数の処理リソースを並列に利用するためにアプリケーション・プログラムを構成することが、プログラムの性能を大幅に増加させることができる。たとえば、同時に使用され得る処理コアの数を増加させることによって、プログラムを完了するために必要とされる時間が低減され得る。したがって、より多くの量の並列性（ｐａｒａｌｌｅｌｉｓｍ）を可能にする技法が、開発の重要な分野である。

同期バリアを提供する。

少なくとも１つの実施例による、ワープの一実例を示す図である。少なくとも１つの実施例による、２つのワープにわたる連動スレッド・グループの一実例を示す図である。少なくとも１つの実施例による、４つのワープにわたる連動スレッド・グループの一実例を示す図である。少なくとも１つの実施例による、各グループが４つのワープにわたる、４つのグループをもつ連動スレッド・アレイの一実例を示す図である。少なくとも１つの実施例による、各グループが８つのワープにわたる、４つのグループをもつ連動スレッド・アレイの一実例を示す図である。少なくとも１つの実施例による、カウンタに基づくバリア実装形態の一実例を示す図である。少なくとも１つの実施例による、コンピュータ・システムによって実施された結果として、マルチワープ・グループのバリアを更新するプロセスの一実例を示す図である。少なくとも１つの実施例による、ビット・フィールドに基づくバリア実装形態の一実例を示す図である。少なくとも１つの実施例による、コンピュータ・システムによって実施された結果として、マルチワープ・グループのバリアを更新するプロセスの一実例を示す図である。少なくとも１つの実施例による、例示的なデータ・センタを示す図である。少なくとも１つの実施例による、処理システムを示す図である。少なくとも１つの実施例による、コンピュータ・システムを示す図である。少なくとも１つの実施例による、システムを示す図である。少なくとも１つの実施例による、例示的な集積回路を示す図である。少なくとも１つの実施例による、コンピューティング・システムを示す図である。少なくとも１つの実施例による、ＡＰＵを示す図である。少なくとも１つの実施例による、ＣＰＵを示す図である。少なくとも１つの実施例による、例示的なアクセラレータ統合スライス（ａｃｃｅｌｅｒａｔｏｒｉｎｔｅｇｒａｔｉｏｎｓｌｉｃｅ）を示す図である。少なくとも１つの実施例による、例示的なグラフィックス・プロセッサを示す図である。少なくとも１つの実施例による、例示的なグラフィックス・プロセッサを示す図である。少なくとも１つの実施例による、グラフィックス・コアを示す図である。少なくとも１つの実施例による、ＧＰＧＰＵを示す図である。少なくとも１つの実施例による、並列プロセッサを示す図である。少なくとも１つの実施例による、処理クラスタを示す図である。少なくとも１つの実施例による、グラフィックス・マルチプロセッサを示す図である。少なくとも１つの実施例による、グラフィックス・プロセッサを示す図である。少なくとも１つの実施例による、プロセッサを示す図である。少なくとも１つの実施例による、プロセッサを示す図である。少なくとも１つの実施例による、グラフィックス・プロセッサ・コアを示す図である。少なくとも１つの実施例による、ＰＰＵを示す図である。少なくとも１つの実施例による、ＧＰＣを示す図である。少なくとも１つの実施例による、ストリーミング・マルチプロセッサを示す図である。少なくとも１つの実施例による、プログラミング・プラットフォームのソフトウェア・スタックを示す図である。少なくとも１つの実施例による、図２９のソフトウェア・スタックのＣＵＤＡ実装形態を示す図である。少なくとも１つの実施例による、図２９のソフトウェア・スタックのＲＯＣｍ実装形態を示す図である。少なくとも１つの実施例による、図２９のソフトウェア・スタックのＯｐｅｎＣＬ実装形態を示す図である。少なくとも１つの実施例による、プログラミング・プラットフォームによってサポートされるソフトウェアを示す図である。少なくとも１つの実施例による、図２９～図３２のプログラミング・プラットフォーム上で実行するためのコードをコンパイルすることを示す図である。少なくとも１つの実施例による、図２９～図３２のプログラミング・プラットフォーム上で実行するためのコードをコンパイルすることをより詳細に示す図である。少なくとも１つの実施例による、ソース・コードをコンパイルするより前にソース・コードをトランスレートすることを示す図である。少なくとも１つの実施例による、異なるタイプの処理ユニットを使用してＣＵＤＡソース・コードをコンパイル及び実行するように構成されたシステムを示す図である。少なくとも１つの実施例による、ＣＰＵ及びＣＵＤＡ対応ＧＰＵを使用して、図３７ＡのＣＵＤＡソース・コードをコンパイル及び実行するように構成されたシステムを示す図である。少なくとも１つの実施例による、ＣＰＵ及びＣＵＤＡ非対応（ｎｏｎ－ＣＵＤＡ－ｅｎａｂｌｅｄ）ＧＰＵを使用して、図３７ＡのＣＵＤＡソース・コードをコンパイル及び実行するように構成されたシステムを示す図である。少なくとも１つの実施例による、図３７ＣのＣＵＤＡからＨＩＰへのトランスレーション・ツール（ＣＵＤＡ－ｔｏ－ＨＩＰｔｒａｎｓｌａｔｉｏｎｔｏｏｌ）によってトランスレートされた例示的なカーネルを示す図である。少なくとも１つの実施例による、図３７ＣのＣＵＤＡ非対応ＧＰＵをより詳細に示す図である。少なくとも１つの実施例による、例示的なＣＵＤＡグリッドのスレッドが図３９の異なるコンピュート・ユニットにどのようにマッピングされるかを示す図である。少なくとも１つの実施例による、既存のＣＵＤＡコードをＤａｔａＰａｒａｌｌｅｌＣ＋＋コードにどのようにマイグレートするかを示す図である。

本明細書は、連動スレッド・グループの合成における増加されたフレキシビリティを可能にすることによって、アプリケーションを実行するとき、増加された並列性を可能にするシステム及び方法について説明する。少なくとも１つの実施例では、連動スレッド・グループは、マルチコア・プロセッサ、又はＣＵＤＡコアなどの複数のコアをもつグラフィックス処理ユニット（「ＧＰＵ」：ｇｒａｐｈｉｃｓｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）上で稼働するスレッドのグループである。少なくとも１つの実施例では、各スレッドは、専用コアに割り当てられ、グループ中の他のスレッドと同時に稼働する。

少なくとも１つの実施例では、連動グループは、連動モデルを実装するライブラリ特徴であり、複数のスレッドが、単一のグループ・ハンドル又は識別子によって指定される。少なくとも１つの実施例では、そのようなハンドルは、グループ中のすべてのスレッドに、動作を集合的に実施するように指示するために使用され得る。少なくとも１つの実施例では、連動グループは、スレッド・ブロックを多くとも３２個のスレッドのグループにスプリットするために使用され得る。少なくとも１つの実施例では、この制限は、ＧＰＵ上のＨＷワープの最大サイズなど、プロセッサのハードウェア制限によって課される。少なくとも１つの実施例では、そのような制限は、各フラグメントが別個のスレッド・ブロックでない限り、１２８個又は２５６個のスレッドのより大きいグループへの問題の分解を表現することを困難にし得る。

少なくとも１つの実施例は、ワープごとに３２個のスレッドの制限にもかかわらず、連動グループとして動作するために、サイズ６４個、１２８個、２５６個、５１２個、及び１０２４個のスレッドのスレッド・グループのサポートを追加する。少なくとも１つの実施例では、したがって、６４個又はそれ以上のスレッドのグループは、複数のワープにわたる。少なくとも１つの実施例では、そのようなグループを使用して、スレッド・ブロックのフラグメントを使用して同期及び集合的な動作を表現することが可能である。少なくとも１つの実施例では、そのようなフラグメントは独立している。少なくとも１つの実施例では、スレッド・ブロックの異なるフラグメントは、異なるタイプの算出のために特殊化され得る。

少なくとも１つの実施例では、集合的な動作は、ｒｅｄｕｃｅ、ａｌｌ、ａｎｙ、及びｓｈｆｌのうちの１つ又は複数を含み得る。少なくとも１つの実施例では、メモリの一部分が、これらのグループによって使用される同期バリアのために予約される。少なくとも１つの実施例では、追加のメモリが、集合のために予約される。少なくとも１つの実施例では、マルチワープ・バリアが、到着したワープをカウントし、バリア・フェーズとして最高ビットを使用するためにａｔｏｍｉｃＡｄｄを使用して実装される。少なくとも１つの実施例では、各グループは別個のバリアを使用し、したがって、可能なグループごとに１つのバリアが割り振られる。

少なくとも１つの実施例では、連動グループ中のワープの数がハードウェアによって（３２個、６４個、又は何らかの他の実装固有の値に）制限されるので、到着するワープをカウントするために整数の全範囲が必要とされない。しかしながら、少なくとも１つの実施例では、ハードウェア・アトミック加算演算が、より小さいデータ型をサポートしないので、より少ないビットをバリアとして使用することは可能でないことがある。

しかしながら、より小さいバリアを使用する代わりに、少なくとも１つの実施例は、３２ビット・バリア中の１ビットでグループ中の各ワープを表すことによって、３２個のワープの制限を活用する。少なくとも１つの実施例では、到着するワープは、到着を記録するための対応するビットを設定するために、ａｔｏｍｉｃＯＲ演算を使用する。少なくとも１つの実施例では、ａｔｏｍｉｃＯＲ演算によって再調整された古い値がグループ・マスクと比較され、ワープがバリアに到着すべき最後のワープである場合、連動グループのワープを表すすべてのビットをクリアして、上述のバリアからそれらをリリースするために、ａｔｏｍｉｃＡＮＤ演算が実施される。

少なくとも１つの実施例では、グループが共通のワープを有しない限り、単一のバリアが複数のグループのために使用され得る。少なくとも１つの実施例では、この手法の場合、可能なグループごとに１つのバリアの代わりに、マルチワープ・グループの各可能なサイズのために１つのバリアが必要とされる。

少なくとも１つの実施例のより完全な理解を提供するために、多数の具体的な詳細が記載される。ただし、発明概念はこれらの具体的な詳細のうちの１つ又は複数なしに実施され得ることが当業者には明らかであろう。

少なくとも１つの実施例では、集合的な動作、マルチワープ・グループ、及び他の特徴は、連動グループによって共有される作業空間（メモリ）の割振りを必要とする。少なくとも１つの実施例では、このメモリの寿命は、しばしば、集合的な動作の持続時間に制限され、多くともカーネルの寿命である。

少なくとも１つの実施例では、スレッド・ブロック又はより小さい範囲の場合、連動グループ作業空間は、共有メモリ又はグローバル・メモリ中に存在し得る。少なくとも１つの実施例では、グリッド・ブロック又はより小さい範囲の場合、連動グループ作業空間は、グローバル・メモリ中に存在し得る。少なくとも１つの実施例では、マルチグリッド又はより小さい範囲の場合、連動グループ作業空間は、ユニファイド・メモリ又はシステム・メモリ中に存在し得る。

少なくとも１つの実施例では、共有メモリ中の作業空間は、カーネルの総共有メモリからの切り出しとしてカーネル内でのみ与えられ得る。少なくとも１つの実施例では、グローバル・メモリ中の作業空間は、このコントラクトを用いてカーネル起動において与えられるべきである。少なくとも１つの実施例では、実行中に、カーネルは、グローバル・メモリ作業空間の排他的使用を有し、終了すると、カーネルはグローバル・メモリ作業空間に対する権利を有しない。

少なくとも１つの実施例では、作業空間は、ユーザによって提供されるメモリ切り出しである。少なくとも１つの実施例では、作業空間は、ドライバによって割り振られ、パラメータを介してＣＧランタイムに渡される。

少なくとも１つの実施例は、ｉｓ＿ｔｒｉｖｉａｌｌｙ＿ｃｏｐｙａｂｌｅ制約を満たす任意のオブジェクトが、ＳｏＬシャッフル実装形態にアクセスすることを可能にする。少なくとも１つの実施例では、何らかの所与のサイズについて実施が調整されるべきである。たとえば、［１～８］バイトのオブジェクトが、ネイティブ＿＿ｓｈｆｌ＿ｘｘｘイントリンシクス（ｉｎｔｒｉｎｓｉｃｓ）を使用し、より大きいオブジェクトが、複数のデバイス・シャッフル、又は最終的に、共有メモリ又はグローバル・メモリを用いて加速されたイン・メモリ・シャッフルを使用し得る。

少なくとも１つの実施例では、これは、ｃｇ：：ｒｅｄｕｃｅ（．．．）がカスタム型をシャッフルすることを可能にする。少なくとも１つの実施例では、複素数型及びベクトル型が、ＡＰＩとともに動作することを可能にされる。

少なくとも１つの実施例では、開発者は、デバイス・イントリンシクスが、オーバーロードを通常有しない、行列の型又は他のアブストラクションをしばしば使用する。たとえば、

少なくとも１つの実施例では、この使用事例は、オブジェクトがトリビアル（ｔｒｉｖｉａｌ）である場合、連動グループ・ワープ／タイル・インターフェース内でサポートされ、ＳｏＬイントリンシクスにアクセスする容易なやり方を提供する。少なくとも１つの実施例では、これはまた、複素数型における効率的なＳｏＬ低減を可能にするワープ及びタイルｃｏｏｐｅｒａｔｉｖｅ＿ｇｒｏｕｐｓ：：ｒｅｄｕｃｅ（．．．）を自動的に拡張する。

少なくとも１つの実施例では、ユーザは、トリビアルなオブジェクトをシャッフルすることを試みるとき、以下のフロント・エンドを参照する。

少なくとも１つの実施例では、コンパイル・エラーを起こすべきである例示的なオブジェクト。

少なくとも１つの実施例では、タイル及びワープ・グループ・シャッフルのためのインターフェースは、所与のオブジェクトについてのストラテジーを自動的に判定するシャッフル・ディスパッチ構造を使用するために修正されることになる。

少なくとも１つの実施例では、ｓｈｕｆｆｌｅ＿ｄｉｓｐａｔｃｈのためのインターフェースは、所与のオブジェクトをシャッフルすることに最も適したストラテジーを継承する。

少なくとも１つの実施例では、シャッフル・ストラテジーのための設計は、以下の通りである。

少なくとも１つの実施例では、単一ワープの制限は、より複雑なプロデューサ／コンシューマ・モデルについての共通の苦情である。少なくとも１つの実施例では、単一ワープを作り出す代わりに、ソリューションは、一緒に又はパイプライン化された、２つのワープをコールし、ワープ複数コンシューマの別のセットに等しく作り出し得る。少なくとも１つの実施例では、単一ワープ・プロデューサ・シナリオ中でさえ、ソリューションは、他のコンシューマとは無関係に、プロデューサと同期するために、１つのコンシューマを必要とし得る。少なくとも１つの実施例では、これは、各々６４個のスレッドをもつ２つのワープの２つの異なるグループを必要とすることになる。

少なくとも１つの実施例では、連動グループは、スレッド・ブロックが多くとも３２個のスレッドのグループ（ハードウェア・ワープのサイズ）に静的にスプリットされることを可能にする。少なくとも１つの実施例では、それは、１２８個又は２５６個のスレッドのグループへの問題の分解を表現することを不可能にする。少なくとも１つの実施例では、複数のワープにわたるグループを表すクラスの実装は、ワープ・パーティションが表現される同じやり方で、連動グループを使用してそのような分解を表現することを可能にすることになる。少なくとも１つの実施例では、１２８個のスレッドのグループの実装は、連動グループが、このようにイントリンシクスをユーザに公開することを可能にすることが必要とされる。

少なくとも１つの実施例は、スレッド・ブロックのより小さいサイズに加えて、６４個、１２８個、２５６個、及び５１２個のサイズを可能にするために、ｔｈｒｅａｄ＿ｂｌｏｃｋ＿ｔｉｌｅクラスを修正する。少なくとも１つの実施例では、クラスは、グループのサイズに基づいて、異なるインターフェースを公開する。少なくとも１つの実施例では、サイズ≦３２の場合、クラスのインターフェースは、単一ワープ内のスレッドを導入し、それにより、それらが並列に実行される。少なくとも１つの実施例では、サイズ＞３２の場合、クラスは、ｔｈｒｅａｄ＿ｂｌｏｃｋ＿ｔｉｌｅ中に存在するメソッド、すなわち、ｓｙｎｃ、ｔｈｒｅａｄ＿ｒａｎｋ、ｓｉｚｅ、ｍｅｔａ＿ｇｒｏｕｐ＿ｒａｎｋ、及びｍｅｔａ＿ｇｒｏｕｐ＿ｓｉｚｅのうちのいくつかを公開する。少なくとも１つの実施例では、それは、ｔｈｒｅａｄ＿ｂｌｏｃｋ＿ｔｉｌｅ中に存在する集合、すなわち、ａｎｙ、ａｌｌ及びｓｈｆｌのうちの数個をも公開するが、ｓｈｆｌの場合、すべてのコールするスレッドにおいて同じソース・インデックスをもつコールのみがサポートされる（ブロードキャスト動作）。

少なくとも１つの実施例では、ｒｅｄｕｃｅのようなｔｈｒｅａｄ＿ｂｌｏｃｋ＿ｔｉｌｅとｍｅｍｃｐｙ＿ａｓｙｎｃとを受け付けるインターフェースは、ｂｉｎａｒｙ＿ｐａｒｔｉｔｉｏｎ及びｌａｂｅｌｅｄ＿ｐａｒｔｉｔｉｏｎ機能を除いて、新しいサイズをもつｔｈｒｅａｄ＿ｂｌｏｃｋ＿ｔｉｌｅをも受け付ける。

少なくとも１つの実施例では、同期及び集合を実装するために、マルチワープｔｈｒｅａｄ＿ｂｌｏｃｋ＿ｔｉｌｅｓのメソッドは、共有メモリを使用する。少なくとも１つの実施例では、ユーザは、そのｔｈｒｅａｄ＿ｂｌｏｃｋを新しいサイズのタイルに区分けすることが可能になるために、ｂｌｏｃｋ＿ｔｉｌｅ＿ｍｅｍｏｒｙ構造を使用して、この共有メモリを新しいｔｈｉｓ＿ｔｈｒｅａｄ＿ｂｌｏｃｋオーバーロードに提供する。少なくとも１つの実施例では、その構造は、共有メモリ変数として宣言される。少なくとも１つの実施例では、Ｂｌｏｃｋ＿ｔｉｌｅ＿ｍｅｍｏｒｙ構造は、２つのテンプレート・パラメータ、現在ブロックがそれからなり得るスレッドの最大数と、各ワープが集合的な動作のために使用することができるバイト単位のメモリの量とを有する。少なくとも１つの実施例では、これらの引数は、どれくらいの共有メモリが割り振られる必要があるかを決定するために必要とされる。少なくとも１つの実施例では、区分けされたグループが使用される前に、新しいｔｈｉｓ＿ｔｈｒｅａｄ＿ｂｌｏｃｋオーバーロードが共有メモリを準備するので、それは、今度は、区分けされたグループ中のすべてのスレッドによってコールされる。

少なくとも１つの実施例では、マルチワープｔｈｒｅａｄ＿ｂｌｏｃｋ＿ｔｉｌｅは、単一ワープｔｈｒｅａｄ＿ｂｌｏｃｋ＿ｔｉｌｅのメソッドのサブセットであるインターフェースを提供する。少なくとも１つの実施例では、それらのメソッドの実装は、作成されることが可能である各グループが、そのグループの同期中にバリアとして使用される４Ｂメモリ・ロケーションへの排他的アクセスを有することを必要とする。少なくとも１つの実施例では、２のべき乗であるサイズのグループのみが可能にされ、したがって、連動スレッド・アレイ（「ＣＴＡ：ｃｏｏｐｅｒａｔｉｖｅｔｈｒｅａｄａｒｒａｙ」）のパーティションを通して取得され得るすべての可能なグループの数は、そのＣＴＡ中のワープの数－２に等しい。

少なくとも１つの実施例では、集合を実装するために、各ワープは、データを交換するための何らかのメモリを使用する。少なくとも１つの実施例では、各ワープがアクセスを有するメモリの量は、ｂｌｏｃｋ＿ｔｉｌｅ＿ｍｅｍｏｒｙへのＴｉｌｅＣｏｍｍｕｎｉｃａｔｉｏｎＳｉｚｅテンプレート・パラメータを通して構成される。

少なくとも１つの実施例では、各ＣＴＡは、共有メモリのＴ／３２＊（４＋Ｐ）バイトを使用し、ここで、Ｔは、ＣＴＡ中のスレッドの指定された最大数であり、Ｐは、集合的な動作のためのワープごとのバイトの指定された数である。少なくとも１つの実施例では、このメモリは、異なるグループ及びそのグループ内のワープに静的に割り当てられ、それにより、グループのそのｔｈｒｅａｄ＿ｒａｎｋ及びサイズからのマルチワープｔｈｒｅａｄ＿ｂｌｏｃｋ＿ｔｉｌｅのメンバーによってどれが使用されるべきであるかが決定される。

少なくとも１つの実施例では、ｂｌｏｃｋ＿ｔｉｌｅ＿ｍｅｍｏｒｙの各テンプレート・パラメータは、デフォルト・パラメータを有する。少なくとも１つの実施例では、最大ＣＴＡサイズは、ＣＴＡサイズについてのハードウェア制限である１０２４個のスレッドにデフォルト設定される。少なくとも１つの実施例では、デフォルトのワープごとメモリ・サイズは、最も一般的なデータ型を使用して集合の効率的な動作を可能にするために、８Ｂに設定される。

少なくとも１つの実施例では、集合は、集合に応じてわずかな修正を伴って、以下の低減アルゴリズムに従って実装される。

少なくとも１つの実施例では、ｓｈｆｌの場合、ソース・ワープは、最後のワープが到着する代わりに、他のスレッドをバリアからリリースする。少なくとも１つの実施例では、ワープ・サイズ（低減ロケーションのサイズ）ごとに指定されたよりも大きい型に関して動作する集合の場合、各ワープとリリースするワープとの間で、データ転送の複数のラウンドが実施される。

少なくとも１つの実施例では、ｔｈｒｅａｄ＿ｒａｎｋ又はｍｅｔａ＿ｇｒｏｕｐ＿ｓｉｚｅのようなランク／サイズ計算を伴うメソッドは、静的ランク／サイズ計算方式が同じであるので、ｔｈｒｅａｄ＿ｂｌｏｃｋ＿ｔｉｌｅの現在の実装から再使用される。

図１は、少なくとも１つの実施例による、ワープの一実例を示す。少なくとも１つの実施例では、アプリケーションは、複数の処理コア上で並列に実施され得る複数のスレッドを定義することによって、並列処理を利用する。少なくとも１つの実施例では、１つのスレッド１０２が、１つのコア１０４上で稼働する。少なくとも１つの実施例では、スレッドは、プログラム又はプログラム・セグメントのコピー又はインスタンスであり得る。少なくとも１つの実施例では、カーネルは、複数のコア上で複数回稼働するように指定された機能である。少なくとも１つの実施例では、ワープは、プロセッサ・コアのセット上で並列に稼働するスレッドのグループである。少なくとも１つの実施例では、ワープ１０６は、多くとも３２個のスレッド１０８を含む。少なくとも１つの実施例では、ワープ中にあり得るスレッドの最大数は、マルチプロセッサの実装形態によって制限される。

少なくとも１つの実施例では、グラフィカル処理ユニット（「ＧＰＵ」：ｇｒａｐｈｉｃａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）などのマルチプロセッサは、実行されるべき複数のスレッドを定義するコードとともに提供される。少なくとも１つの実施例では、ＧＰＵは、スレッドを複数のコアに分散させ、これは、スレッドが並列に稼働されることを可能にする。少なくとも１つの実施例では、スレッドは、３２スレッド・ワープに分割され、これは、次いで、スケジューリングされ、一度に１つ又は複数のワープを稼働する。少なくとも１つの実施例では、ワープの最大サイズは、ＧＰＵのタイプに基づいて、より大きく又はより小さくなり得る。少なくとも１つの実施例では、ワープは、並列に又は直列に稼働され得る。

少なくとも１つの実施例では、プログラマは、連動グループとして実行されるべきスレッドのグループを指定することができる。少なくとも１つの実施例では、連動グループは、対応する数のコア上で同時に稼働されるべきスレッドのグループである。少なくとも１つの実施例では、連動グループがワープ内に収まる場合、連動グループのスレッドは単一ワープ内に配置され、同時に実行され得る。少なくとも１つの実施例では、連動グループ中のスレッドの数がワープの最大サイズを超える場合、同時に稼働すべきスレッドの２つ又はそれ以上のワープを同期させるための機構が必要とされる。

図２は、少なくとも１つの実施例による、２つのワープにわたる連動スレッド・グループの一実例を示す。少なくとも１つの実施例では、第１のワープ２０２と第２のワープ２０４とは、それらが並列に実行するように同期される。少なくとも１つの実施例では、第１のワープ２０２は、３２個のスレッドの第１のトレッド・ブロック２０６を含み、第２のワープ２０４は、３２個のスレッドの第２のスレッド・ブロック２０８を含み、合計で、連動スレッド・グループとして動作することが可能である６４個のスレッドとなる。少なくとも１つの実施例では、第１のワープ２０２と第２のワープ２０４との間の同期は、バリア２１０を使用して達成される。少なくとも１つの実施例では、バリア２１０は、第１のワープ２０２又は第２のワープ２０４のいずれかにおける任意のスレッドにとってアクセス可能である共有メモリに記憶される。

少なくとも１つの実施例では、バリア２１０は、３２ビット値である。少なくとも１つの実施例では、各ワープが完了したとき、バリア２１０は、アトミック加算演算を使用して増分される。少なくとも１つの実施例では、バリア２１０の値が連動スレッド・グループ中のワープの数に達したとき、連動スレッド・ブロック中のすべてのスレッドが同期されたと決定され得る。少なくとも１つの実施例では、バリア２１０は、第１のワープ２０２又は第２のワープ２０４中のブロック・スレッドをリリースするために使用され得る。

図３は、少なくとも１つの実施例による、４つのワープにわたる連動スレッド・グループの一実例を示す。少なくとも１つの実施例では、連動スレッド・グループは、４つのワープ、第１のワープ３０２と、第２のワープ３０４と、第３のワープ３０６と、第４のワープ３０８とを含む。少なくとも１つの実施例では、各ワープが３２個のスレッドを有し、第１のワープ３０２はスレッドの第１のグループ３１０を有し、第２のワープ３０４はスレッドの第２のグループ３１２を有し、第３のワープ３０６はスレッドの第３のグループ３１４を有し、第４のワープ３０８はスレッドの第４のグループ３１６を有する。

少なくとも１つの実施例では、第１のワープ３０２と、第２のワープ３０４と、第３のワープ３０６と、第４のワープ３０８とは、バリア３１８を使用して同期される。少なくとも１つの実施例では、バリアはカウンタとして実装され、カウンタは、０において開始し、すべてのワープが同期されたことを指示する４にカウンタが達するまで、各ワープが同期されたときに増分する。少なくとも１つの実施例では、バリア３１８は、すべてのスレッドをブロックし、４ビットが設定されたときにそれらをリリースする。少なくとも１つの実施例では、バリア３１８は、ビット・フィールドとして実装され、各ビットは異なるワープを表す。少なくとも１つの実施例では、適切に同期されたとき、すべての４つのワープ及びそれらに関連するスレッドが実行され、連動して動作し得る。

図４は、少なくとも１つの実施例による、各グループが４つのワープにわたる、４つのグループをもつ連動スレッド・アレイの一実例を示す。少なくとも１つの実施例では、連動スレッド・アレイ４０２は、４つの連動スレッド・グループ、第１の連動グループ４０４と、第２の連動グループ４０６と、第３の連動グループ４０８と、第４の連動グループ４１０とを含む。少なくとも１つの実施例では、各連動グループは、３２個のスレッドの４つのワープにわたる。

少なくとも１つの実施例では、第１の連動グループ４０４と、第２の連動グループ４０８と、第３の連動グループ４１０と、第４の連動グループ４１２とは、各連動グループのためのバリアを使用して同期される。少なくとも１つの実施例では、バリアは共有メモリに記憶された４つのカウンタとして実装され、４つのカウンタは、各々、０において開始し、対応するグループ中のすべてのワープが同期されたことを指示する４にカウンタが達するまで、対応するグループ中の各ワープが同期されたときに増分する。グループ及びワープの異なる内訳が可能であり、必要とされるバリアの数が、グループの数に応じる。

図５は、少なくとも１つの実施例による、各グループが８つのワープにわたる、４つのグループをもつ連動スレッド・アレイの一実例を示す。少なくとも１つの実施例では、連動スレッド・アレイ５０２は、４つの連動スレッド・グループ、第１の連動グループ５０４と、第２の連動グループ５０６とを含む。少なくとも１つの実施例では、各連動グループは、３２個のスレッドの８つのワープにわたる。

少なくとも１つの実施例では、第１の連動グループ５０４と、第２の連動グループ５０８とは、各連動グループのためのバリアを使用して同期される。少なくとも１つの実施例では、バリアは共有メモリに記憶された２つのカウンタとして実装され、２つのカウンタは、各々、０において開始し、対応するグループ中のすべてのワープが同期されたことを指示する８にカウンタが達するまで、対応するグループ中の各ワープが同期されたときに増分する。

少なくとも１つの実施例では、マルチワープ・バリアが、到着したワープをカウントし、バリア・フェーズとして最高ビットを使用するためにａｔｏｍｉｃＡｄｄなどのアトミック加算演算を使用して実装される。少なくとも１つの実施例では、各グループは別個のバリアを使用し、したがって、可能なグループごとに単一のバリアが割り振られる。少なくとも１つの実施例では、バリアは、グループ合成が知られる前に、共有メモリ中に割り振られ、したがって、すべての可能なバリアが割り振られる。少なくとも１つの実施例では、グループ中のワープの数が３２個に制限されるので、到着するワープをカウントするためにｉｎｔの全範囲は必要とされないが、ａｔｏｍｉｃＡｄｄは、バリアとして代わりに使用するためのより小さい型をサポートしない。

少なくとも１つの実施例では、より小さいバリアを使用する代わりに、３２ビット・バリア中の１ビットでグループ中の各ワープを表すために３２個のワープの制限に依拠する。少なくとも１つの実施例では、到着するワープは、到着したとして、そのビットをマークするためにａｔｏｍｉｃＯｒを使用することになる。少なくとも１つの実施例では、ａｔｏｍｉｃＯｒによって再調整された古い値が、対応するグループ・マスクと比較されることになり、ワープがバリア上に到着すべき最後のワープである場合、それは、グループ中のワープのすべてのビットをクリアしてバリアからそれらをリリースするために、ａｔｏｍｉｃＡｎｄを行う。

少なくとも１つの実施例では、これらのグループが共通のワープを有しない限り、単一のバリアが複数のグループのために使用され得る。少なくとも１つの実施例では、可能なグループごとに１つのバリアの代わりに、マルチワープ・グループの各可能なサイズのために１つのバリアが使用される。少なくとも１つの実施例では、バリアのためのメモリ需要が、以下の表に示されているように、著しく低減される。

＊表中の＋１は、ｔｈｒｅａｄ＿ｂｌｏｃｋ到着及び待機実装のための１つの追加のバリアをカウントし、これは、マルチワープ・グループに関係しない。

少なくとも１つの実施例では、ｔｈｒｅａｄ＿ｂｌｏｃｋにおける到着－待機バリアと同様の可能な将来の使用事例、並びに単純さのためのオプションを残すために、すべての場合において割り振られる８つのバリアを割り振る。少なくとも１つの実施例では、それは、より小さいＣＴＡのために４つに低減され得る。

少なくとも１つの実施例では、このバリア実装は、到着と待機との間のバリア・フェーズを保つためにレジスタを使用せずに、以下で説明される到着－待機機能の実装を可能にする。

少なくとも１つの実施例では、到着待機バリアがＣＵＤＡデバイス側ＡＰＩに追加され、単一ワープよりも大きいＣＧグループにおける同様の機能性を可能にする。少なくとも１つの実施例では、到着及び待機は集合的であり、ｔｈｒｅａｄ＿ｂｌｏｃｋ＿ｔｉｌｅ及びｔｈｒｅａｄ＿ｂｌｏｃｋの場合、ワープ中のすべてのスレッドによって、及びｇｒｉｄ＿ｇｒｏｕｐの場合、スレッド・ブロック中のすべてのスレッドによって、コールされなければならない。

少なくとも１つの実施例では、到着は、グループ・バリアに到着したとして、コールするワープ又はスレッド・ブロックをマークする。少なくとも１つの実施例では、待機するためのコールが、すべてのワープ又はスレッド・ブロックが到着をコールするまで、コールするスレッドを止めることになる。

少なくとも１つの実施例では、到着及び待機は、ペアでコールされる必要があり、グループ上で待機機能をコールすることは、マッチする到着コールが、コールするスレッドにおいて同じグループ上で行われない場合、定義されていない挙動を生じる。少なくとも１つの実施例では、それらの間の待機なしに到着を２回コールすることは、定義されていない挙動を生じる。

少なくとも１つの実施例では、グループ同期の現在の実装は、到着及び待機ステップにおいてすでに行われ、これらの新しい機能の実装は、２つの別個のステップとして公開される同じアルゴリズムをただ使用することになる。

少なくとも１つの実施例では、それに対する唯一の例外は、組み込まれたｓｙｎｃｔｈｒｅａｄｓ（）を使用する、ｔｈｒｅａｄ＿ｂｌｏｃｋグループである。少なくとも１つの実施例では、この場合、到着及び待機機能は、これらの機能のマルチワープ・グループ実装を使用することになる。少なくとも１つの実施例では、マルチワープ・グループは、２のべき乗であるサイズに制限されるが、同期機構は、スレッド・ブロックが２のべき乗である状況に制限されない。

少なくとも１つの実施例では、メモリ・バリアは、ｍｅｍｂａｒ、メモリ・フェンス又はフェンス命令と呼ばれることがある。少なくとも１つの実施例では、バリアはバリア命令として実装され、バリア命令は、プロセッサに、バリア命令の前及び後に発行されるメモリ演算に関する順序付け制約をエンフォース（ｅｎｆｏｒｃｅ）させる。少なくとも１つの実施例では、これは、ハードウェア又はソフトウェアにおいてエンフォースされ得る。少なくとも１つの実施例では、バリアより前に発行される演算は、バリアの後に発行される演算の前に実施されることが保証される。少なくとも１つの実施例では、これは、同期に言及され得る。

少なくとも１つの実施例では、バリアは、複数のデバイス、スレッド、又はプロセスによって共有されるメモリ上で動作する低レベル機械コードを実装するときに使用され得る。少なくとも１つの実施例では、そのようなコードは、マルチプロセッサ・システム、及びコンピュータ・ハードウェアと通信するデバイス・ドライバ上の、同期プリミティブとロックフリー・データ構造とを含む。

図６は、少なくとも１つの実施例による、カウンタに基づくバリア実装形態の一実例を示す。少なくとも１つの実施例では、カウンタは、各可能なグループのためのバリアとして使用される。少なくとも１つの実施例では、ＣＴＡは、各グループが識別された数のワープを含む、ワープの様々なグループに分割され得る。少なくとも１つの実施例では、グループは、２のべき乗である、ワープの数に制限される。

少なくとも１つの実施例では、１０２４スレッドＣＴＡが、各々２つのワープの１６個のグループに分割される場合、１６個のバリア６０２が使用される。少なくとも１つの実施例では、１６個のバリア６０２の各々は、３２ビット値であり、これは、各ワープがその対応するバリアに到着したときに増分される。少なくとも１つの実施例では、（８ビット・バイトなどの）より小さい値が、そのような値に対して機能するアトミック加算演算が利用可能である場合、バリアとして使用され得る。

少なくとも１つの実施例では、１０２４スレッドＣＴＡが、各々４つのワープの８つのグループに分割される場合、８つのバリア６０４が使用される。少なくとも１つの実施例では、８つのバリア６０４の各々は、３２ビット値であり、これは、各ワープがその対応するバリアに到着したときに増分される。少なくとも１つの実施例では、（８ビット・バイトなどの）より小さい値が、そのような値に対して機能するアトミック加算演算が利用可能である場合、バリアとして使用され得る。

少なくとも１つの実施例では、１０２４スレッドＣＴＡが、各々８つのワープの４つのグループに分割される場合、４つのバリア６０４が使用される。少なくとも１つの実施例では、４つのバリア６０６の各々は、３２ビット値であり、これは、各ワープがその対応するバリアに到着したときに増分される。少なくとも１つの実施例では、（８ビット・バイトなどの）より小さい値が、そのような値に対して機能するアトミック加算演算が利用可能である場合、バリアとして使用され得る。

少なくとも１つの実施例では、１０２４スレッドＣＴＡが、各々１６個のワープの２つのグループに分割される場合、２つのバリア６０４が使用される。少なくとも１つの実施例では、２つのバリア６０８の各々は、３２ビット値であり、これは、各ワープがその対応するバリアに到着したときに増分される。少なくとも１つの実施例では、（８ビット・バイトなどの）より小さい値が、そのような値に対して機能するアトミック加算演算が利用可能である場合、バリアとして使用され得る。

少なくとも１つの実施例では、これらのグループのいずれも１０２４スレッドＣＴＡとともに使用されることを可能にすると、合計で、１６＋８＋４＋２個のバリアが必要とされる。

図７は、少なくとも１つの実施例による、コンピュータ・システムによって実施された結果として、マルチワープ・グループのバリアを更新するプロセスの一実例を示す。少なくとも１つの実施例では、ブロック７０２において、コンピュータ・システムは、連動グループ内のワープが完了したことを通知される。少なくとも１つの実施例では、ワークのステータスは、ＧＰＵ、マルチコア・プロセッサによって、又はコア内のスレッドの実行を監視するソフトウェアをコーディングするオペレーティング・システムによって、追跡され得る。

少なくとも１つの実施例では、ワープが完了した又は同期状態にあると決定した結果として、実行はブロック７０４を進ませ、コンピュータ・システムが、そのワープ・グループのためのバリアを増分する。少なくとも１つの実施例では、バリアは、アトミック加算演算を使用して増分される。少なくとも１つの実施例では、判定ブロック７０６において、コンピュータ・システムは、バリアの値に少なくとも部分的に基づいて、グループのすべてのワープが完了した又は同期されたかどうかを決定する。少なくとも１つの実施例では、連動グループの同期は、バリア値が、前記連動グループ中のワープの数よりも大きいか又はそれに等しいと決定することによって、決定される。

少なくとも１つの実施例では、コンピュータ・システムが、グループ中のすべてのワープが完了しているとは限らないと決定した場合、実行はブロック７０８を進ませ、コンピュータ・システムが、別のワープが完了するのを待機する。少なくとも１つの実施例では、コンピュータ・システムが、グループ中のすべてのワープが完了同期されたと決定した場合、実行はブロック７１０に進む。少なくとも１つの実施例では、ブロック７１２において、連動グループに関連するバリアは０にリセットされ、前記連動グループに関連するすべてのワープがリリースされる。

図８は、少なくとも１つの実施例による、ビット・フィールドに基づくバリア実装形態の一実例を示す。少なくとも１つの実施例では、バリアは、ビット・フィールドとして実装され、ビット・フィールド中の各ビットは、連動スレッド・グループ中の異なるワープを表す。少なくとも１つの実施例では、連動グループの状態は、論理ＡＮＤ演算とともに前記グループに関連するマスクをバリアに適用することによって取得される。少なくとも１つの実施例では、ワープに関連するビットは、論理ＯＲ演算とともに前記ワープに関連するマスクをバリアに適用することによって設定される。少なくとも１つの実施例では、グループのためのバリアは、論理ａｎｄとともに関連するマスクの逆数を前記バリアに適用することによってリセットされ得る。

少なくとも１つの実施例では、１０２４個のスレッドのＣＴＡは、各々２つのワープの１６個のグループに分割される。少なくとも１つの実施例では、単一の３２ビット・バリアが、すべての１６個のグループのために必要とされる同期データのすべてを表すことができる。少なくとも１つの実施例では、第１のバイト８０２は、グループ１～４についての同期情報を記憶する。少なくとも１つの実施例では、第２のバイト８０４は、グループ５～８についての同期情報を記憶する。少なくとも１つの実施例では、第３のバイト８０６は、グループ９～１２についての同期情報を記憶する。少なくとも１つの実施例では、第４のバイト８０８は、グループ１３～１６についての同期情報を記憶する。

少なくとも１つの実施例では、１０２４個のスレッドのＣＴＡは、各々４つのワープの８つのグループに分割される。少なくとも１つの実施例では、単一の３２ビット・バリアが、すべての８つのグループのために必要とされる同期データのすべてを表すことができる。少なくとも１つの実施例では、第１のバイト８１０は、グループ１及び２についての同期情報を記憶する。少なくとも１つの実施例では、第２のバイト８１２は、グループ３及び４についての同期情報を記憶する。少なくとも１つの実施例では、第３のバイト８１４は、グループ５及び６についての同期情報を記憶する。少なくとも１つの実施例では、第４のバイト８１６は、グループ７及び８についての同期情報を記憶する。

少なくとも１つの実施例では、１０２４個のスレッドのＣＴＡは、各々８つのワープの４つのグループに分割される。少なくとも１つの実施例では、単一の３２ビット・バリアが、すべての４つのグループのために必要とされる同期データのすべてを表すことができる。少なくとも１つの実施例では、第１のバイト８１８は、グループ１についての同期情報を記憶する。少なくとも１つの実施例では、第２のバイト８２０は、グループ２についての同期情報を記憶する。少なくとも１つの実施例では、第３のバイト８２２は、グループ３についての同期情報を記憶する。少なくとも１つの実施例では、第４のバイト８２４は、グループ４についての同期情報を記憶する。

少なくとも１つの実施例では、１０２４個のスレッドのＣＴＡは、各々１６個のワープの２つのグループに分割される。少なくとも１つの実施例では、単一の３２ビット・バリアが、両方のグループのために必要とされる同期データのすべてを表すことができる。少なくとも１つの実施例では、第１のバイト８２６及び第２のバイト８２８は、グループ１についての同期情報を記憶する。少なくとも１つの実施例では、第３のバイト８３０及び第４のバイト８３２は、グループ２についての同期情報を記憶する。

少なくとも１つの実施例では、複数のグループが、単一のバリアを共有することが可能であるので、著しく少ないストレージ空間が必要とされる。少なくとも１つの実施例では、すべての上記の連動グループは、図６に示されている手法を使用する３０個の値とは対照的に、４つの３２ビット値のみを必要とする。

図９は、少なくとも１つの実施例による、コンピュータ・システムによって実施された結果として、マルチワープ・グループのバリアを更新するプロセスの一実例を示す。少なくとも１つの実施例では、ブロック９０２において、コンピュータ・システムは、いくつかの実例ではワープと呼ばれる、並列スレッドのグループの完了を検出する。少なくとも１つの実施例では、ブロック９０４において、ワープが連動グループの一部であるかどうかを決定し、そうである場合、連動グループのバリア中のワープに関連するビットを設定する。少なくとも１つの実施例では、ブロック９０６において、コンピュータ・システムは、連動グループに関連するビット・マスクを取得する。少なくとも１つの実施例では、マスクは３２ビット・フィールドであり、１が、グループのワープに関連するビットを指示する。少なくとも１つの実施例では、マスクは、このグループに関連するバリアに適用されて、９０８において、このグループのすべてのワープがバリアに到着したかどうかを決定する。

少なくとも１つの実施例では、判定ブロック９０８において、コンピュータ・システムが、連動グループについてのすべてのビットがまだ設定されないと決定した場合、実行はブロック９１０にダイレクトされ、コンピュータ・システムが、スレッドの別のワープが完了するのを待機する。少なくとも１つの実施例では、判定ブロック９０８において、コンピュータ・システムが、連動グループについてのすべてのビットが設定されたと決定した場合、実行はブロック９１２に進み、連動グループのすべてのワープがバリアにおいて同期されると決定される。少なくとも１つの実施例では、ブロック９１４において、バリアは、連動グループに関連するビットをクリアすることによってリセットされ、関連するワープをリリースする。

データ・センタ
少なくとも１つの実施例では、上記で説明された技法は、データ・センタ１０００など、以下で説明されるようなデータ・センタにおいて実装され得る。少なくとも１つの実施例では、データ・センタにおいて稼働されるアプリケーションが、複数のプロセッサ上で並列に稼働される従属スレッド（ｄｅｐｅｎｄｅｎｔｔｈｒｅａｄ）に分割され得る。少なくとも１つの実施例では、プロセッサは、以下で説明される任意のプロセッサ・タイプを含み得る。少なくとも１つの実施例では、１つ又は複数の回路は、２つ又はそれ以上の従属スレッドが、２つ又はそれ以上の別個のマルチスレッド・プロセッサ・コアを使用して並列に実施されることを引き起こす。少なくとも１つの実施例では、プロセッサ・コアは、マルチコアＣＰＵ中のコア、ＧＰＵ中のＳＭＰコア、又は記憶可能な命令を実行することが可能な他の回路であり得る。少なくとも１つの実施例では、スレッドの第１のグループが、２つ又はそれ以上のプロセッサ・コアを使用して並列に実施されるべきスレッドの２つ又はそれ以上のサブグループに編成されることを引き起こすための１つ又は複数の回路。少なくとも１つの実施例では、スレッドのグループは、並列に稼働する連動グループであり得る。少なくとも１つの実施例では、連動グループは、ＧＰＵ上でワープ中に配置された複数のカーネル・スレッドを含む。少なくとも１つの実施例では、スレッド間の同期動作は、バリアの使用によって可能にされ得る。少なくとも１つの実施例では、１つ又は複数の回路は、メモリ・バリア演算を実施して、スレッドの複数のグループによるメモリへのアクセスが、メモリ・バリア演算によって指示される順序で発生することを引き起こす。少なくとも１つの実施例では、バリア演算は、ビット単位論理演算（たとえば、ＡＮＤ、ＯＲ、ＸＯＲ）などのアトミック演算、或いはアトミック加算又は減算などの数学演算であり得る。

図１０は、少なくとも１つの実施例による、例示的なデータ・センタ１０００を示す。少なくとも１つの実施例では、データ・センタ１０００は、限定はしないが、データ・センタ・インフラストラクチャ層１０１０と、フレームワーク層１０２０と、ソフトウェア層１０３０と、アプリケーション層１０４０とを含む。

少なくとも１つの実施例では、図１０に示されているように、データ・センタ・インフラストラクチャ層１０１０は、リソース・オーケストレータ１０１２と、グループ化されたコンピューティング・リソース１０１４と、ノード・コンピューティング・リソース（「ノードＣ．Ｒ．」：ｎｏｄｅｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅ）１０１６（１）～１０１６（Ｎ）とを含み得、ここで、「Ｎ」は、任意のすべての正の整数を表す。少なくとも１つの実施例では、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）は、限定はしないが、任意の数の中央処理ユニット（「ＣＰＵ：ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ」）又は（アクセラレータ、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」：ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ）、ネットワーク・デバイス中のデータ処理ユニット（「ＤＰＵ」：ｄａｔａｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）、グラフィックス・プロセッサなどを含む）他のプロセッサ、メモリ・デバイス（たとえば、動的読取り専用メモリ）、ストレージ・デバイス（たとえば、ソリッド・ステート又はディスク・ドライブ）、ネットワーク入力／出力（「ＮＷＩ／Ｏ」：ｎｅｔｗｏｒｋｉｎｐｕｔ／ｏｕｔｐｕｔ）デバイス、ネットワーク・スイッチ、仮想機械（「ＶＭ」：ｖｉｒｔｕａｌｍａｃｈｉｎｅ）、電力モジュール、及び冷却モジュールなどを含み得る。少なくとも１つの実施例では、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）の中からの１つ又は複数のノードＣ．Ｒ．は、上述のコンピューティング・リソースのうちの１つ又は複数を有するサーバであり得る。

少なくとも１つの実施例では、グループ化されたコンピューティング・リソース１０１４は、１つ又は複数のラック（図示せず）内に格納されたノードＣ．Ｒ．の別個のグループ化、又は様々な地理的ロケーション（同じく図示せず）においてデータ・センタ中に格納された多くのラックを含み得る。グループ化されたコンピューティング・リソース１０１４内のノードＣ．Ｒ．の別個のグループ化は、１つ又は複数のワークロードをサポートするように構成されるか又は割り振られ得る、グループ化されたコンピュート・リソース、ネットワーク・リソース、メモリ・リソース、又はストレージ・リソースを含み得る。少なくとも１つの実施例では、ＣＰＵ又はプロセッサを含むいくつかのノードＣ．Ｒ．は、１つ又は複数のワークロードをサポートするためのコンピュート・リソースを提供するために１つ又は複数のラック内でグループ化され得る。少なくとも１つの実施例では、１つ又は複数のラックはまた、任意の数の電力モジュール、冷却モジュール、及びネットワーク・スイッチを、任意の組合せで含み得る。

少なくとも１つの実施例では、リソース・オーケストレータ１０１２は、１つ又は複数のノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）及び／又はグループ化されたコンピューティング・リソース１０１４を構成するか、又はさもなければ、制御し得る。少なくとも１つの実施例では、リソース・オーケストレータ１０１２は、データ・センタ１０００のためのソフトウェア設計インフラストラクチャ（「ＳＤＩ」：ｓｏｆｔｗａｒｅｄｅｓｉｇｎｉｎｆｒａｓｔｒｕｃｔｕｒｅ）管理エンティティを含み得る。少なくとも１つの実施例では、リソース・オーケストレータ１０１２は、ハードウェア、ソフトウェア、又はそれらの何らかの組合せを含み得る。

少なくとも１つの実施例では、図１０に示されているように、フレームワーク層１０２０は、限定はしないが、ジョブ・スケジューラ１０３２と、構成マネージャ１０３４と、リソース・マネージャ１０３６と、分散型ファイル・システム１０３８とを含む。少なくとも１つの実施例では、フレームワーク層１０２０は、ソフトウェア層１０３０のソフトウェア１０５２、及び／又はアプリケーション層１０４０の１つ又は複数のアプリケーション１０４２をサポートするためのフレームワークを含み得る。少なくとも１つの実施例では、ソフトウェア１０５２又は（１つ又は複数の）アプリケーション１０４２は、それぞれ、アマゾン・ウェブ・サービス、ＧｏｏｇｌｅＣｌｏｕｄ、及びＭｉｃｒｏｓｏｆｔＡｚｕｒｅによって提供されるものなど、ウェブ・ベースのサービス・ソフトウェア又はアプリケーションを含み得る。少なくとも１つの実施例では、フレームワーク層１０２０は、限定はしないが、大規模データ処理（たとえば、「ビック・データ」）のために分散型ファイル・システム１０３８を利用し得るＡｐａｃｈｅＳｐａｒｋ（商標）（以下「Ｓｐａｒｋ」）など、無料でオープンソースのソフトウェア・ウェブ・アプリケーション・フレームワークのタイプであり得る。少なくとも１つの実施例では、ジョブ・スケジューラ１０３２は、データ・センタ１０００の様々な層によってサポートされるワークロードのスケジューリングを容易にするために、Ｓｐａｒｋドライバを含み得る。少なくとも１つの実施例では、構成マネージャ１０３４は、ソフトウェア層１０３０、並びに大規模データ処理をサポートするためのＳｐａｒｋ及び分散型ファイル・システム１０３８を含むフレームワーク層１０２０など、異なる層を構成することが可能であり得る。少なくとも１つの実施例では、リソース・マネージャ１０３６は、分散型ファイル・システム１０３８及びジョブ・スケジューラ１０３２をサポートするようにマッピングされたか又は割り振られた、クラスタ化された又はグループ化されたコンピューティング・リソースを管理することが可能であり得る。少なくとも１つの実施例では、クラスタ化された又はグループ化されたコンピューティング・リソースは、データ・センタ・インフラストラクチャ層１０１０において、グループ化されたコンピューティング・リソース１０１４を含み得る。少なくとも１つの実施例では、リソース・マネージャ１０３６は、リソース・オーケストレータ１０１２と協調して、これらのマッピングされた又は割り振られたコンピューティング・リソースを管理し得る。

少なくとも１つの実施例では、ソフトウェア層１０３０中に含まれるソフトウェア１０５２は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）、グループ化されたコンピューティング・リソース１０１４、及び／又はフレームワーク層１０２０の分散型ファイル・システム１０３８の少なくとも部分によって使用されるソフトウェアを含み得る。１つ又は複数のタイプのソフトウェアは、限定はしないが、インターネット・ウェブ・ページ検索ソフトウェアと、電子メール・ウイルス・スキャン・ソフトウェアと、データベース・ソフトウェアと、ストリーミング・ビデオ・コンテンツ・ソフトウェアとを含み得る。

少なくとも１つの実施例では、アプリケーション層１０４０中に含まれる（１つ又は複数の）アプリケーション１０４２は、ノードＣ．Ｒ．１０１６（１）～１０１６（Ｎ）、グループ化されたコンピューティング・リソース１０１４、及び／又はフレームワーク層１０２０の分散型ファイル・システム１０３８の少なくとも部分によって使用される１つ又は複数のタイプのアプリケーションを含み得る。少なくとも１つ又は複数のタイプのアプリケーションでは、限定はしないが、ＣＵＤＡアプリケーションを含み得る。

少なくとも１つの実施例では、構成マネージャ１０３４、リソース・マネージャ１０３６、及びリソース・オーケストレータ１０１２のいずれかが、任意の技術的に実現可能な様式で獲得された任意の量及びタイプのデータに基づいて、任意の数及びタイプの自己修正アクションを実装し得る。少なくとも１つの実施例では、自己修正アクションは、データ・センタ１０００のデータ・センタ・オペレータを、不良の恐れのある構成を判定し、十分に利用されていない及び／又は性能の低いデータ・センタの部分を場合によっては回避することから解放し得る。

コンピュータ・ベースのシステム
以下の図は、限定はしないが、少なくとも１つの実施例を実装するために使用され得る、例示的なコンピュータ・ベースのシステムを記載する。

少なくとも１つの実施例では、上記で説明された技法は、コンピュータ・システム１２００又は例示的な集積回路１４００など、以下で説明されるようなコンピュータ・システム上で実装され得る。少なくとも１つの実施例では、コンピュータ・システムにおいて稼働されるアプリケーションが、複数のプロセッサ上で並列に稼働される従属スレッドに分割され得る。少なくとも１つの実施例では、プロセッサは、処理システム１１００又は処理サブシステム１５０１を含む、以下で説明される任意のプロセッサ・タイプを含み得る。少なくとも１つの実施例では、１つ又は複数の回路は、２つ又はそれ以上の従属スレッドが、２つ又はそれ以上の別個のマルチスレッド・プロセッサ・コアを使用して並列に実施されることを引き起こす。少なくとも１つの実施例では、プロセッサ・コアは、マルチコアＣＰＵ中のコア、ＧＰＵ中のＳＭＰコア、又は記憶可能な命令を実行することが可能な他の回路であり得る。少なくとも１つの実施例では、スレッドの第１のグループが、２つ又はそれ以上のプロセッサ・コアを使用して並列に実施されるべきスレッドの２つ又はそれ以上のサブグループに編成されることを引き起こすための１つ又は複数の回路。少なくとも１つの実施例では、スレッドのグループは、並列に稼働する連動グループであり得る。少なくとも１つの実施例では、連動グループは、ＧＰＵ上でワープ中に配置された複数のカーネル・スレッドを含む。少なくとも１つの実施例では、スレッド間の同期動作は、バリアの使用によって可能にされ得る。少なくとも１つの実施例では、１つ又は複数の回路は、メモリ・バリア演算を実施して、スレッドの複数のグループによるメモリへのアクセスが、メモリ・バリア演算によって指示される順序で発生することを引き起こす。少なくとも１つの実施例では、バリア演算は、ビット単位論理演算（たとえば、ＡＮＤ、ＯＲ、ＸＯＲ）などのアトミック演算、或いはアトミック加算又は減算などの数学演算であり得る。

図１１は、少なくとも１つの実施例による、処理システム１１００を示す。少なくとも１つの実施例では、処理システム１１００は、１つ又は複数のプロセッサ１１０２と１つ又は複数のグラフィックス・プロセッサ１１０８とを含み、単一プロセッサ・デスクトップ・システム、マルチプロセッサ・ワークステーション・システム、或いは多数のプロセッサ１１０２又はプロセッサ・コア１１０７を有するサーバ・システムであり得る。少なくとも１つの実施例では、処理システム１１００は、モバイル・デバイス、ハンドヘルド・デバイス、又は組み込みデバイスにおいて使用するためのシステム・オン・チップ（「ＳｏＣ」：ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）集積回路内に組み込まれた処理プラットフォームである。

少なくとも１つの実施例では、処理システム１１００は、サーバ・ベースのゲーミング・プラットフォーム、ゲーム・コンソール、メディア・コンソール、モバイル・ゲーミング・コンソール、ハンドヘルド・ゲーム・コンソール、又はオンライン・ゲーム・コンソールを含むことができるか、或いはそれらの内部に組み込まれ得る。少なくとも１つの実施例では、処理システム１１００は、モバイル・フォン、スマート・フォン、タブレット・コンピューティング・デバイス又はモバイル・インターネット・デバイスである。少なくとも１つの実施例では、処理システム１１００はまた、スマート・ウォッチ・ウェアラブル・デバイス、スマート・アイウェア・デバイス、拡張現実デバイス、又は仮想現実デバイスなどのウェアラブル・デバイスを含むことができるか、それらと結合することができるか、又はそれらの内部に組み込まれ得る。少なくとも１つの実施例では、処理システム１１００は、１つ又は複数のプロセッサ１１０２と、１つ又は複数のグラフィックス・プロセッサ１１０８によって生成されるグラフィカル・インターフェースとを有するテレビ又はセット・トップ・ボックス・デバイスである。

少なくとも１つの実施例では、１つ又は複数のプロセッサ１１０２は、各々、実行されたときにシステム及びユーザ・ソフトウェアのための動作を実施する命令を処理するための１つ又は複数のプロセッサ・コア１１０７を含む。少なくとも１つの実施例では、１つ又は複数のプロセッサ・コア１１０７の各々は、特定の命令セット１１０９を処理するように構成される。少なくとも１つの実施例では、命令セット１１０９は、複合命令セット・コンピューティング（「ＣＩＳＣ」：ＣｏｍｐｌｅｘＩｎｓｔｒｕｃｔｉｏｎＳｅｔＣｏｍｐｕｔｉｎｇ）、縮小命令セット・コンピューティング（「ＲＩＳＣ」：ＲｅｄｕｃｅｄＩｎｓｔｒｕｃｔｉｏｎＳｅｔＣｏｍｐｕｔｉｎｇ）、又は超長命令語（「ＶＬＩＷ」：ＶｅｒｙＬｏｎｇＩｎｓｔｒｕｃｔｉｏｎＷｏｒｄ）を介したコンピューティングを容易にし得る。少なくとも１つの実施例では、プロセッサ・コア１１０７は、各々、異なる命令セット１１０９を処理し得、命令セット１１０９は、他の命令セットのエミュレーションを容易にするための命令を含み得る。少なくとも１つの実施例では、プロセッサ・コア１１０７はまた、デジタル信号プロセッサ（「ＤＳＰ」：ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ）などの他の処理デバイスを含み得る。

少なくとも１つの実施例では、プロセッサ１１０２はキャッシュ・メモリ（「キャッシュ」）１１０４を含む。少なくとも１つの実施例では、プロセッサ１１０２は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有することができる。少なくとも１つの実施例では、キャッシュ・メモリは、プロセッサ１１０２の様々な構成要素の間で共有される。少なくとも１つの実施例では、プロセッサ１１０２はまた、外部キャッシュ（たとえば、レベル３（「Ｌ３」）キャッシュ又はラスト・レベル・キャッシュ（「ＬＬＣ」：ＬａｓｔＬｅｖｅｌＣａｃｈｅ））（図示せず）を使用し、外部キャッシュは、知られているキャッシュ・コヒーレンシ技法を使用してプロセッサ・コア１１０７の間で共有され得る。少なくとも１つの実施例では、追加として、レジスタ・ファイル１１０６がプロセッサ１１０２中に含まれ、レジスタ・ファイル１１０６は、異なるタイプのデータを記憶するための異なるタイプのレジスタ（たとえば、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタ）を含み得る。少なくとも１つの実施例では、レジスタ・ファイル１１０６は、汎用レジスタ又は他のレジスタを含み得る。

少なくとも１つの実施例では、１つ又は複数のプロセッサ１１０２は、アドレス、データ、又は制御信号などの通信信号を、プロセッサ１１０２と処理システム１１００中の他の構成要素との間で送信するために、１つ又は複数のインターフェース・バス１１１０と結合される。少なくとも１つの実施例では、１つの実施例におけるインターフェース・バス１１１０は、ダイレクト・メディア・インターフェース（「ＤＭＩ」：ＤｉｒｅｃｔＭｅｄｉａＩｎｔｅｒｆａｃｅ）バスのバージョンなどのプロセッサ・バスであり得る。少なくとも１つの実施例では、インターフェース・バス１１１０は、ＤＭＩバスに限定されず、１つ又は複数の周辺構成要素相互接続バス（たとえば、「ＰＣＩ」：ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩＥｘｐｒｅｓｓ（「ＰＣＩｅ」））、メモリ・バス、又は他のタイプのインターフェース・バスを含み得る。少なくとも１つの実施例では、（１つ又は複数の）プロセッサ１１０２は、統合されたメモリ・コントローラ１１１６と、プラットフォーム・コントローラ・ハブ１１３０とを含む。少なくとも１つの実施例では、メモリ・コントローラ１１１６は、メモリ・デバイスと処理システム１１００の他の構成要素との間の通信を容易にし、プラットフォーム・コントローラ・ハブ（「ＰＣＨ」：ｐｌａｔｆｏｒｍｃｏｎｔｒｏｌｌｅｒｈｕｂ）１１３０は、ローカル入力／出力（「Ｉ／Ｏ」：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）バスを介してＩ／Ｏデバイスへの接続を提供する。

少なくとも１つの実施例では、メモリ・デバイス１１２０は、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」：ｄｙｎａｍｉｃｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）デバイス、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」：ｓｔａｔｉｃｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）デバイス、フラッシュ・メモリ・デバイス、相変化メモリ・デバイス、又はプロセッサ・メモリとして働くのに好適な性能を有する何らかの他のメモリ・デバイスであり得る。少なくとも１つの実施例では、メモリ・デバイス１１２０は、１つ又は複数のプロセッサ１１０２がアプリケーション又はプロセスを実行するときの使用のためのデータ１１２２及び命令１１２１を記憶するために、処理システム１１００のためのシステム・メモリとして動作することができる。少なくとも１つの実施例では、メモリ・コントローラ１１１６はまた、随意の外部グラフィックス・プロセッサ１１１２と結合し、外部グラフィックス・プロセッサ１１１２は、グラフィックス動作及びメディア動作を実施するために、プロセッサ１１０２中の１つ又は複数のグラフィックス・プロセッサ１１０８と通信し得る。少なくとも１つの実施例では、ディスプレイ・デバイス１１１１は、（１つ又は複数の）プロセッサ１１０２に接続することができる。少なくとも１つの実施例では、ディスプレイ・デバイス１１１１は、モバイル電子デバイス又はラップトップ・デバイスの場合のような内部ディスプレイ・デバイス、或いは、ディスプレイ・インターフェース（たとえば、ＤｉｓｐｌａｙＰｏｒｔなど）を介して取り付けられた外部ディスプレイ・デバイスのうちの１つ又は複数を含むことができる。少なくとも１つの実施例では、ディスプレイ・デバイス１１１１は、仮想現実（「ＶＲ」：ｖｉｒｔｕａｌｒｅａｌｉｔｙ）アプリケーション又は拡張現実（「ＡＲ」：ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ）アプリケーションにおいて使用するための立体ディスプレイ・デバイスなどの頭部装着型ディスプレイ（「ＨＭＤ」：ｈｅａｄｍｏｕｎｔｅｄｄｉｓｐｌａｙ）を含むことができる。

少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１１３０は、周辺機器が高速Ｉ／Ｏバスを介してメモリ・デバイス１１２０及びプロセッサ１１０２に接続することを可能にする。少なくとも１つの実施例では、Ｉ／Ｏ周辺機器は、限定はしないが、オーディオ・コントローラ１１４６と、ネットワーク・コントローラ１１３４と、ファームウェア・インターフェース１１２８と、ワイヤレス・トランシーバ１１２６と、タッチ・センサ１１２５と、データ・ストレージ・デバイス１１２４（たとえば、ハード・ディスク・ドライブ、フラッシュ・メモリなど）とを含む。少なくとも１つの実施例では、データ・ストレージ・デバイス１１２４は、ストレージ・インターフェース（たとえば、ＳＡＴＡ）を介して、或いはＰＣＩ又はＰＣＩｅなどの周辺バスを介して、接続することができる。少なくとも１つの実施例では、タッチ・センサ１１２５は、タッチ・スクリーン・センサ、圧力センサ、又は指紋センサを含むことができる。少なくとも１つの実施例では、ワイヤレス・トランシーバ１１２６は、Ｗｉ－Ｆｉトランシーバ、Ｂｌｕｅｔｏｏｔｈトランシーバ、或いは３Ｇ、４Ｇ、又はロング・ターム・エボリューション（「ＬＴＥ」：ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）トランシーバなどのモバイル・ネットワーク・トランシーバであり得る。少なくとも１つの実施例では、ファームウェア・インターフェース１１２８は、システム・ファームウェアとの通信を可能にし、たとえば、ユニファイド・エクステンシブル・ファームウェア・インターフェース（「ＵＥＦＩ」：ｕｎｉｆｉｅｄｅｘｔｅｎｓｉｂｌｅｆｉｒｍｗａｒｅｉｎｔｅｒｆａｃｅ）であり得る。少なくとも１つの実施例では、ネットワーク・コントローラ１１３４は、ワイヤード・ネットワークへのネットワーク接続を可能にすることができる。少なくとも１つの実施例では、高性能ネットワーク・コントローラ（図示せず）は、インターフェース・バス１１１０と結合する。少なくとも１つの実施例では、オーディオ・コントローラ１１４６は、マルチチャネル高精細度オーディオ・コントローラである。少なくとも１つの実施例では、処理システム１１００は、レガシー（たとえば、パーソナル・システム２（「ＰＳ／２」：ＰｅｒｓｏｎａｌＳｙｓｔｅｍ２））デバイスを処理システム１１００に結合するための随意のレガシーＩ／Ｏコントローラ１１４０を含む。少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１１３０は、キーボードとマウス１１４３との組合せ、カメラ１１４４、又は他のＵＳＢ入力デバイスなど、１つ又は複数のユニバーサル・シリアル・バス（「ＵＳＢ」：ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）コントローラ１１４２接続入力デバイスにも接続することができる。

少なくとも１つの実施例では、メモリ・コントローラ１１１６及びプラットフォーム・コントローラ・ハブ１１３０のインスタンスが、外部グラフィックス・プロセッサ１１１２などの慎重な外部グラフィックス・プロセッサに組み込まれ得る。少なくとも１つの実施例では、プラットフォーム・コントローラ・ハブ１１３０及び／又はメモリ・コントローラ１１１６は、１つ又は複数のプロセッサ１１０２の外部にあり得る。たとえば、少なくとも１つの実施例では、処理システム１１００は、外部のメモリ・コントローラ１１１６とプラットフォーム・コントローラ・ハブ１１３０とを含むことができ、それらは、（１つ又は複数の）プロセッサ１１０２と通信しているシステム・チップセット内のメモリ・コントローラ・ハブ及び周辺コントローラ・ハブとして構成され得る。

図１２は、少なくとも１つの実施例による、コンピュータ・システム１２００を示す。少なくとも１つの実施例では、コンピュータ・システム１２００は、相互接続されたデバイス及び構成要素をもつシステム、ＳＯＣ、又は何らかの組合せであり得る。少なくとも１つの実施例では、コンピュータ・システム１２００は、命令を実行するための実行ユニットを含み得るプロセッサ１２０２とともに形成される。少なくとも１つの実施例では、コンピュータ・システム１２００は、限定はしないが、データを処理するためのアルゴリズムを実施するための論理を含む実行ユニットを採用するための、プロセッサ１２０２などの構成要素を含み得る。少なくとも１つの実施例では、コンピュータ・システム１２００は、カリフォルニア州サンタクララのＩｎｔｅｌＣｏｒｐｏｒａｔｉｏｎから入手可能なＰＥＮＴＩＵＭ（登録商標）プロセッサ・ファミリー、Ｘｅｏｎ（商標）、Ｉｔａｎｉｕｍ（登録商標）、ＸＳｃａｌｅ（商標）及び／又はＳｔｒｏｎｇＡＲＭ（商標）、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（商標）、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）マイクロプロセッサなどのプロセッサを含み得るが、（他のマイクロプロセッサ、エンジニアリング・ワークステーション、セット・トップ・ボックスなどを有するＰＣを含む）他のシステムも使用され得る。少なくとも１つの実施例では、コンピュータ・システム１２００は、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔＣｏｒｐｏｒａｔｉｏｎから入手可能なＷＩＮＤＯＷＳ（登録商標）オペレーティング・システムのあるバージョンを実行し得るが、他のオペレーティング・システム（たとえば、ＵＮＩＸ（登録商標）及びＬｉｎｕｘ（登録商標））、組み込みソフトウェア、及び／又はグラフィカル・ユーザ・インターフェースも使用され得る。

少なくとも１つの実施例では、コンピュータ・システム１２００は、ハンドヘルド・デバイス及び組み込みアプリケーションなど、他のデバイスにおいて使用され得る。ハンドヘルド・デバイスのいくつかの実例は、セルラー・フォン、インターネット・プロトコル・デバイス、デジタル・カメラ、パーソナル・デジタル・アシスタント（「ＰＤＡ」：ｐｅｒｓｏｎａｌｄｉｇｉｔａｌａｓｓｉｓｔａｎｔ）、及びハンドヘルドＰＣを含む。少なくとも１つの実施例では、組み込みアプリケーションは、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、ＳｏＣ、ネットワーク・コンピュータ（「ＮｅｔＰＣ」：ｎｅｔｗｏｒｋｃｏｍｐｕｔｅｒ）、セット・トップ・ボックス、ネットワーク・ハブ、ワイド・エリア・ネットワーク（「ＷＡＮ」：ｗｉｄｅａｒｅａｎｅｔｗｏｒｋ）スイッチ、又は１つ又は複数の命令を実施し得る任意の他のシステムを含み得る。

少なくとも１つの実施例では、コンピュータ・システム１２００は、限定はしないが、プロセッサ１２０２を含み得、プロセッサ８０２は、限定はしないが、コンピュート・ユニファイド・デバイス・アーキテクチャ（「ＣＵＤＡ」）（ＣＵＤＡ（登録商標）は、カリフォルニア州サンタクララのＮＶＩＤＩＡＣｏｒｐｏｒａｔｉｏｎによって開発される）プログラムを実行するように構成され得る、１つ又は複数の実行ユニット１２０８を含み得る。少なくとも１つの実施例では、ＣＵＤＡプログラムは、ＣＵＤＡプログラミング言語で書かれたソフトウェア・アプリケーションの少なくとも一部分である。少なくとも１つの実施例では、コンピュータ・システム１２００は、シングル・プロセッサ・デスクトップ又はサーバ・システムである。少なくとも１つの実施例では、コンピュータ・システム１２００は、マルチプロセッサ・システムであり得る。少なくとも１つの実施例では、プロセッサ１２０２は、限定はしないが、ＣＩＳＣマイクロプロセッサ、ＲＩＳＣマイクロプロセッサ、ＶＬＩＷマイクロプロセッサ、命令セットの組合せを実装するプロセッサ、又は、たとえばデジタル信号プロセッサなど、任意の他のプロセッサ・デバイスを含み得る。少なくとも１つの実施例では、プロセッサ１２０２は、プロセッサ・バス１２１０に結合され得、プロセッサ・バス１２１０は、プロセッサ１２０２とコンピュータ・システム１２００中の他の構成要素との間でデータ信号を送信し得る。

少なくとも１つの実施例では、プロセッサ１２０２は、限定はしないが、レベル１（「Ｌ１」）の内部キャッシュ・メモリ（「キャッシュ」）１２０４を含み得る。少なくとも１つの実施例では、プロセッサ１２０２は、単一の内部キャッシュ又は複数のレベルの内部キャッシュを有し得る。少なくとも１つの実施例では、キャッシュ・メモリは、プロセッサ１２０２の外部に存在し得る。少なくとも１つの実施例では、プロセッサ１２０２は、内部キャッシュと外部キャッシュの両方の組合せをも含み得る。少なくとも１つの実施例では、レジスタ・ファイル１２０６は、限定はしないが、整数レジスタ、浮動小数点レジスタ、ステータス・レジスタ、及び命令ポインタ・レジスタを含む様々なレジスタに、異なるタイプのデータを記憶し得る。

少なくとも１つの実施例では、限定はしないが、整数演算及び浮動小数点演算を実施するための論理を含む実行ユニット１２０８も、プロセッサ１２０２中に存在し得る。プロセッサ１２０２は、いくつかのマクロ命令のためのマイクロコードを記憶するマイクロコード（「ｕコード」）読取り専用メモリ（「ＲＯＭ」：ｒｅａｄｏｎｌｙｍｅｍｏｒｙ）をも含み得る。少なくとも１つの実施例では、実行ユニット１２０８は、パック命令セット１２０９に対処するための論理を含み得る。少なくとも１つの実施例では、パック命令セット１２０９を、命令を実行するための関連する回路要素とともに汎用プロセッサ１２０２の命令セットに含めることによって、多くのマルチメディア・アプリケーションによって使用される演算が、汎用プロセッサ１２０２中のパック・データを使用して実施され得る。少なくとも１つの実施例では、多くのマルチメディア・アプリケーションが、パック・データの演算を実施するためにプロセッサのデータ・バスの全幅を使用することによって加速され、より効率的に実行され得、これは、一度に１つのデータ要素ずつ１つ又は複数の演算を実施するために、プロセッサのデータ・バスにわたってより小さい単位のデータを転送する必要をなくし得る。

少なくとも１つの実施例では、実行ユニット１２０８はまた、マイクロコントローラ、組み込みプロセッサ、グラフィックス・デバイス、ＤＳＰ、及び他のタイプの論理回路において使用され得る。少なくとも１つの実施例では、コンピュータ・システム１２００は、限定はしないが、メモリ１２２０を含み得る。少なくとも１つの実施例では、メモリ１２２０は、ＤＲＡＭデバイス、ＳＲＡＭデバイス、フラッシュ・メモリ・デバイス、又は他のメモリ・デバイスとして実装され得る。メモリ１２２０は、プロセッサ１２０２によって実行され得るデータ信号によって表される（１つ又は複数の）命令１２１９及び／又はデータ１２２１を記憶し得る。

少なくとも１つの実施例では、システム論理チップが、プロセッサ・バス１２１０及びメモリ１２２０に結合され得る。少なくとも１つの実施例では、システム論理チップは、限定はしないが、メモリ・コントローラ・ハブ（「ＭＣＨ」：ｍｅｍｏｒｙｃｏｎｔｒｏｌｌｅｒｈｕｂ）１２１６を含み得、プロセッサ１２０２は、プロセッサ・バス１２１０を介してＭＣＨ１２１６と通信し得る。少なくとも１つの実施例では、ＭＣＨ１２１６は、命令及びデータ・ストレージのための、並びにグラフィックス・コマンド、データ及びテクスチャのストレージのための、高帯域幅メモリ経路１２１８をメモリ１２２０に提供し得る。少なくとも１つの実施例では、ＭＣＨ１２１６は、プロセッサ１２０２と、メモリ１２２０と、コンピュータ・システム１２００中の他の構成要素との間でデータ信号をダイレクトし、プロセッサ・バス１２１０と、メモリ１２２０と、システムＩ／Ｏ１２２２との間でデータ信号をブリッジし得る。少なくとも１つの実施例では、システム論理チップは、グラフィックス・コントローラに結合するためのグラフィックス・ポートを提供し得る。少なくとも１つの実施例では、ＭＣＨ１２１６は、高帯域幅メモリ経路１２１８を通してメモリ１２２０に結合され得、グラフィックス／ビデオ・カード１２１２は、アクセラレーテッド・グラフィックス・ポート（「ＡＧＰ」：ＡｃｃｅｌｅｒａｔｅｄＧｒａｐｈｉｃｓＰｏｒｔ）相互接続１２１４を介してＭＣＨ１２１６に結合され得る。

少なくとも１つの実施例では、コンピュータ・システム１２００は、ＭＣＨ１２１６をＩ／Ｏコントローラ・ハブ（「ＩＣＨ」：Ｉ／Ｏｃｏｎｔｒｏｌｌｅｒｈｕｂ）１２３０に結合するためのプロプライエタリ・ハブ・インターフェース・バスである、システムＩ／Ｏ１２２２を使用し得る。少なくとも１つの実施例では、ＩＣＨ１２３０は、ローカルＩ／Ｏバスを介していくつかのＩ／Ｏデバイスに直接接続を提供し得る。少なくとも１つの実施例では、ローカルＩ／Ｏバスは、限定はしないが、周辺機器をメモリ１２２０、チップセット、及びプロセッサ１２０２に接続するための高速Ｉ／Ｏバスを含み得る。実例は、限定はしないが、オーディオ・コントローラ１２２９と、ファームウェア・ハブ（「フラッシュＢＩＯＳ」）１２２８と、ワイヤレス・トランシーバ１２２６と、データ・ストレージ１２２４と、ユーザ入力インターフェース１２２５及びキーボード・インターフェースを含んでいるレガシーＩ／Ｏコントローラ１２２３と、ＵＳＢなどのシリアル拡張ポート１２２７と、ネットワーク・コントローラ１２３４とを含み得る。データ・ストレージ１２２４は、ハード・ディスク・ドライブ、フロッピー・ディスク・ドライブ、ＣＤ－ＲＯＭデバイス、フラッシュ・メモリ・デバイス、又は他の大容量ストレージ・デバイスを備え得る。

少なくとも１つの実施例では、図１２は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示す。少なくとも１つの実施例では、図１２は、例示的なＳｏＣを示し得る。少なくとも１つの実施例では、図１２に示されているデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）、又はそれらの何らかの組合せで相互接続され得る。少なくとも１つの実施例では、システム１２００の１つ又は複数の構成要素は、コンピュート・エクスプレス・リンク（「ＣＸＬ」：ｃｏｍｐｕｔｅｅｘｐｒｅｓｓｌｉｎｋ）相互接続を使用して相互接続される。

図１３は、少なくとも１つの実施例による、システム１３００を示す。少なくとも１つの実施例では、システム１３００は、プロセッサ１３１０を利用する電子デバイスである。少なくとも１つの実施例では、システム１３００は、たとえば、限定はしないが、ノートブック、タワー・サーバ、ラック・サーバ、ブレード・サーバ、１つ又は複数の構内サービス・プロバイダ又はクラウド・サービス・プロバイダに通信可能に結合されたエッジ・デバイス、ラップトップ、デスクトップ、タブレット、モバイル・デバイス、電話、組み込みコンピュータ、或いは任意の他の好適な電子デバイスであり得る。

少なくとも１つの実施例では、システム１３００は、限定はしないが、任意の好適な数又は種類の構成要素、周辺機器、モジュール、又はデバイスに通信可能に結合されたプロセッサ１３１０を含み得る。少なくとも１つの実施例では、プロセッサ１３１０は、Ｉ^２Ｃバス、システム管理バス（「ＳＭＢｕｓ」：ＳｙｓｔｅｍＭａｎａｇｅｍｅｎｔＢｕｓ）、ロー・ピン・カウント（「ＬＰＣ」：ＬｏｗＰｉｎＣｏｕｎｔ）バス、シリアル周辺インターフェース（「ＳＰＩ」：ＳｅｒｉａｌＰｅｒｉｐｈｅｒａｌＩｎｔｅｒｆａｃｅ）、高精細度オーディオ（「ＨＤＡ」：ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＡｕｄｉｏ）バス、シリアル・アドバンス・テクノロジー・アタッチメント（「ＳＡＴＡ」：ＳｅｒｉａｌＡｄｖａｎｃｅＴｅｃｈｎｏｌｏｇｙＡｔｔａｃｈｍｅｎｔ）バス、ＵＳＢ（バージョン１、２、３）、又はユニバーサル非同期受信機／送信機（「ＵＡＲＴ」：ＵｎｉｖｅｒｓａｌＡｓｙｎｃｈｒｏｎｏｕｓＲｅｃｅｉｖｅｒ／Ｔｒａｎｓｍｉｔｔｅｒ）バスなど、バス又はインターフェースを使用して結合される。少なくとも１つの実施例では、図１３は、相互接続されたハードウェア・デバイス又は「チップ」を含むシステムを示す。少なくとも１つの実施例では、図１３は、例示的なＳｏＣを示し得る。少なくとも１つの実施例では、図１３に示されているデバイスは、プロプライエタリ相互接続、標準相互接続（たとえば、ＰＣＩｅ）又はそれらの何らかの組合せで相互接続され得る。少なくとも１つの実施例では、図１３の１つ又は複数の構成要素は、ＣＸＬ相互接続を使用して相互接続される。

少なくとも１つの実施例では、図１３は、ディスプレイ１３２４、タッチ・スクリーン１３２５、タッチ・パッド１３３０、ニア・フィールド通信ユニット（「ＮＦＣ」：ＮｅａｒＦｉｅｌｄＣｏｍｍｕｎｉｃａｔｉｏｎ）１３４５、センサ・ハブ１３４０、熱センサ１３４６、エクスプレス・チップセット（「ＥＣ」：ＥｘｐｒｅｓｓＣｈｉｐｓｅｔ）１３３５、トラステッド・プラットフォーム・モジュール（「ＴＰＭ」：ＴｒｕｓｔｅｄＰｌａｔｆｏｒｍＭｏｄｕｌｅ）１３３８、ＢＩＯＳ／ファームウェア／フラッシュ・メモリ（「ＢＩＯＳ、ＦＷフラッシュ」：ＢＩＯＳ／ｆｉｒｍｗａｒｅ／ｆｌａｓｈｍｅｍｏｒｙ）１３２２、ＤＳＰ１３６０、ソリッド・ステート・ディスク（「ＳＳＤ」：ＳｏｌｉｄＳｔａｔｅＤｉｓｋ）又はハード・ディスク・ドライブ（「ＨＤＤ」：ＨａｒｄＤｉｓｋＤｒｉｖｅ）１３２０、ワイヤレス・ローカル・エリア・ネットワーク・ユニット（「ＷＬＡＮ」：ｗｉｒｅｌｅｓｓｌｏｃａｌａｒｅａｎｅｔｗｏｒｋ）１３５０、Ｂｌｕｅｔｏｏｔｈユニット１３５２、ワイヤレス・ワイド・エリア・ネットワーク・ユニット（「ＷＷＡＮ」：ＷｉｒｅｌｅｓｓＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）１３５６、全地球測位システム（「ＧＰＳ」：ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）１３５５、ＵＳＢ３．０カメラなどのカメラ（「ＵＳＢ３．０カメラ」）１３５４、或いは、たとえばＬＰＤＤＲ３規格において実装された低電力ダブル・データ・レート（「ＬＰＤＤＲ」：ＬｏｗＰｏｗｅｒＤｏｕｂｌｅＤａｔａＲａｔｅ）メモリ・ユニット（「ＬＰＤＤＲ３」）１３１５を含み得る。これらの構成要素は、各々、任意の好適な様式で実装され得る。

少なくとも１つの実施例では、上記で説明された構成要素を通して、他の構成要素がプロセッサ１３１０に通信可能に結合され得る。少なくとも１つの実施例では、加速度計１３４１と、周囲光センサ（「ＡＬＳ」：ＡｍｂｉｅｎｔＬｉｇｈｔＳｅｎｓｏｒ）１３４２と、コンパス１３４３と、ジャイロスコープ１３４４とが、センサ・ハブ１３４０に通信可能に結合され得る。少なくとも１つの実施例では、熱センサ１３３９と、ファン１３３７と、キーボード１３３６と、タッチ・パッド１３３０とが、ＥＣ１３３５に通信可能に結合され得る。少なくとも１つの実施例では、スピーカー１３６３と、ヘッドフォン１３６４と、マイクロフォン（「ｍｉｃ」）１３６５とが、オーディオ・ユニット（「オーディオ・コーデック及びクラスｄアンプ」）１３６２に通信可能に結合され得、オーディオ・ユニット１３６２は、ＤＳＰ１３６０に通信可能に結合され得る。少なくとも１つの実施例では、オーディオ・ユニット１３６２は、たとえば、限定はしないが、オーディオ・コーダ／デコーダ（「コーデック」）及びクラスＤ増幅器を含み得る。少なくとも１つの実施例では、ＳＩＭカード（「ＳＩＭ」）１３５７は、ＷＷＡＮユニット１３５６に通信可能に結合され得る。少なくとも１つの実施例では、ＷＬＡＮユニット１３５０及びＢｌｕｅｔｏｏｔｈユニット１３５２などの構成要素、並びにＷＷＡＮユニット１３５６は、次世代フォーム・ファクタ（「ＮＧＦＦ」：ＮｅｘｔＧｅｎｅｒａｔｉｏｎＦｏｒｍＦａｃｔｏｒ）において実装され得る。

図１４は、少なくとも１つの実施例による、例示的な集積回路１４００を示す。少なくとも１つの実施例では、例示的な集積回路１４００は、１つ又は複数のＩＰコアを使用して作製され得るＳｏＣである。少なくとも１つの実施例では、集積回路１４００は、１つ又は複数のアプリケーション・プロセッサ１４０５（たとえば、ＣＰＵ、ＤＰＵ）、少なくとも１つのグラフィックス・プロセッサ１４１０を含み、追加として、画像プロセッサ１４１５及び／又はビデオ・プロセッサ１４２０を含み得、それらのいずれも、モジュール式ＩＰコアであり得る。少なくとも１つの実施例では、集積回路１４００は、ＵＳＢコントローラ１４２５、ＵＡＲＴコントローラ１４３０、ＳＰＩ／ＳＤＩＯコントローラ１４３５、及びＩ^２Ｓ／Ｉ^２Ｃコントローラ１４４０を含む周辺機器又はバス論理を含む。少なくとも１つの実施例では、集積回路１４００は、高精細度マルチメディア・インターフェース（「ＨＤＭＩ（登録商標）」：ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎｍｕｌｔｉｍｅｄｉａｉｎｔｅｒｆａｃｅ）コントローラ１４５０及びモバイル・インダストリ・プロセッサ・インターフェース（「ＭＩＰＩ」：ｍｏｂｉｌｅｉｎｄｕｓｔｒｙｐｒｏｃｅｓｓｏｒｉｎｔｅｒｆａｃｅ）ディスプレイ・インターフェース１４５５のうちの１つ又は複数に結合されたディスプレイ・デバイス１４４５を含むことができる。少なくとも１つの実施例では、フラッシュ・メモリとフラッシュ・メモリ・コントローラとを含むフラッシュ・メモリ・サブシステム１４６０によって、ストレージが提供され得る。少なくとも１つの実施例では、ＳＤＲＡＭ又はＳＲＡＭメモリ・デバイスへのアクセスのために、メモリ・コントローラ１４６５を介してメモリ・インターフェースが提供され得る。少なくとも１つの実施例では、いくつかの集積回路は、追加として、組み込みセキュリティ・エンジン１４７０を含む。

図１５は、少なくとも１つの実施例による、コンピューティング・システム１５００を示す。少なくとも１つの実施例では、コンピューティング・システム１５００は、メモリ・ハブ１５０５を含み得る相互接続経路を介して通信する１つ又は複数のプロセッサ１５０２とシステム・メモリ１５０４とを有する処理サブシステム１５０１を含む。少なくとも１つの実施例では、メモリ・ハブ１５０５は、チップセット構成要素内の別個の構成要素であり得るか、又は１つ又は複数のプロセッサ１５０２内に組み込まれ得る。少なくとも１つの実施例では、メモリ・ハブ１５０５は、通信リンク１５０６を介してＩ／Ｏサブシステム１５１１と結合する。少なくとも１つの実施例では、Ｉ／Ｏサブシステム１５１１は、コンピューティング・システム１５００が１つ又は複数の入力デバイス１５０８からの入力を受信することを可能にすることができるＩ／Ｏハブ１５０７を含む。少なくとも１つの実施例では、Ｉ／Ｏハブ１５０７は、１つ又は複数のプロセッサ１５０２中に含まれ得るディスプレイ・コントローラが、１つ又は複数のディスプレイ・デバイス１５１０Ａに出力を提供することを可能にすることができる。少なくとも１つの実施例では、Ｉ／Ｏハブ１５０７と結合された１つ又は複数のディスプレイ・デバイス１５１０Ａは、ローカルの、内部の、又は組み込まれたディスプレイ・デバイスを含むことができる。

少なくとも１つの実施例では、処理サブシステム１５０１は、バス又は他の通信リンク１５１３を介してメモリ・ハブ１５０５に結合された１つ又は複数の並列プロセッサ１５１２を含む。少なくとも１つの実施例では、通信リンク１５１３は、限定はしないがＰＣＩｅなど、任意の数の規格ベースの通信リンク技術又はプロトコルのうちの１つであり得るか、或いはベンダー固有の通信インターフェース又は通信ファブリックであり得る。少なくとも１つの実施例では、１つ又は複数の並列プロセッサ１５１２は、メニー・インテグレーテッド・コア・プロセッサなど、多数の処理コア及び／又は処理クラスタを含むことができる、算出に集中した並列又はベクトル処理システムを形成する。少なくとも１つの実施例では、１つ又は複数の並列プロセッサ１５１２は、グラフィックス処理サブシステムを形成し、グラフィックス処理サブシステムは、Ｉ／Ｏハブ１５０７を介して結合された１つ又は複数のディスプレイ・デバイス１５１０Ａのうちの１つにピクセルを出力することができる。少なくとも１つの実施例では、１つ又は複数の並列プロセッサ１５１２はまた、ディスプレイ・コントローラと、１つ又は複数のディスプレイ・デバイス１５１０Ｂへの直接接続を可能にするためのディスプレイ・インターフェース（図示せず）とを含むことができる。

少なくとも１つの実施例では、システム・ストレージ・ユニット１５１４は、Ｉ／Ｏハブ１５０７に接続して、コンピューティング・システム１５００のためのストレージ機構を提供することができる。少なくとも１つの実施例では、Ｉ／Ｏハブ１５０７と、プラットフォームに組み込まれ得るネットワーク・アダプタ１５１８及び／又はワイヤレス・ネットワーク・アダプタ１５１９などの他の構成要素、並びに１つ又は複数のアドイン・デバイス１５２０を介して追加され得る様々な他のデバイスとの間の接続を可能にするためのインターフェース機構を提供するために、Ｉ／Ｏスイッチ１５１６が使用され得る。少なくとも１つの実施例では、ネットワーク・アダプタ１５１８は、イーサネット・アダプタ又は別のワイヤード・ネットワーク・アダプタであり得る。少なくとも１つの実施例では、ワイヤレス・ネットワーク・アダプタ１５１９は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、又は１つ又は複数のワイヤレス無線を含む他のネットワーク・デバイスのうちの１つ又は複数を含むことができる。

少なくとも１つの実施例では、コンピューティング・システム１５００は、ＵＳＢ又は他のポート接続、光学ストレージ・ドライブ、ビデオ・キャプチャ・デバイスなどを含む、Ｉ／Ｏハブ１５０７にも接続され得る、明示的に示されていない他の構成要素を含むことができる。少なくとも１つの実施例では、図１５中の様々な構成要素を相互接続する通信経路が、ＰＣＩベースのプロトコル（たとえば、ＰＣＩｅ）などの任意の好適なプロトコル、或いはＮＶＬｉｎｋ高速相互接続などの他のバス又はポイントツーポイント通信インターフェース及び／又は（１つ又は複数の）プロトコル、或いは相互接続プロトコルを使用して、実装され得る。

少なくとも１つの実施例では、１つ又は複数の並列プロセッサ１５１２は、たとえばビデオ出力回路要素を含むグラフィックス及びビデオ処理のために最適化された回路要素を組み込み、グラフィックス処理ユニット（「ＧＰＵ」）を構成する。少なくとも１つの実施例では、１つ又は複数の並列プロセッサ１５１２は、汎用処理のために最適化された回路要素を組み込む。少なくとも実施例では、コンピューティング・システム１５００の構成要素は、単一の集積回路上の１つ又は複数の他のシステム要素と統合され得る。たとえば、少なくとも１つの実施例では、１つ又は複数の並列プロセッサ１５１２、メモリ・ハブ１５０５、（１つ又は複数の）プロセッサ１５０２、及びＩ／Ｏハブ１５０７は、ＳｏＣ集積回路に組み込まれ得る。少なくとも１つの実施例では、コンピューティング・システム１５００の構成要素は、システム・イン・パッケージ（「ＳＩＰ」：ｓｙｓｔｅｍｉｎｐａｃｋａｇｅ）構成を形成するために、単一のパッケージに組み込まれ得る。少なくとも１つの実施例では、コンピューティング・システム１５００の構成要素の少なくとも一部分は、マルチチップ・モジュール（「ＭＣＭ」：ｍｕｌｔｉ－ｃｈｉｐｍｏｄｕｌｅ）に組み込まれ得、マルチチップ・モジュールは、他のマルチチップ・モジュールと相互接続されてモジュール式コンピューティング・システムにすることができる。少なくとも１つの実施例では、Ｉ／Ｏサブシステム１５１１及びディスプレイ・デバイス１５１０Ｂは、コンピューティング・システム１５００から省略される。

処理システム
以下の図は、限定はしないが、少なくとも１つの実施例を実装するために使用され得る、例示的な処理システムを記載する。

少なくとも１つの実施例では、ストリーミング・マルチプロセッサ（「ＳＭ」：ＳｔｒｅａｍｉｎｇＭｕｌｔｉｐｒｏｃｅｓｓｏｒ）ではなく、ストリーム処理ユニット（「ＳＰＵ」：ＳｔｒｅａｍＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）が使用され得る。少なくとも１つの実施例では、単一のＳＰＵが、複数のＳＰと、ブランチ制御ユニットと、ストレージ・レジスタとを含んでいる。少なくとも１つの実施例では、ＳＰＵは、各ＳＰＵ上でスレッドをスケジューリングするためのスレッド・シーケンサ（又はスケジューラ）を含んでいる、ＳＩＭＤコアにグループ化される。少なくとも１つの実施例では、各ＳＩＭＤコアは、ＳＰＵ間のそれ自体の共有メモリ、並びにテクスチャ・ユニット及びキャッシュのような他の構成要素を含んでいる。少なくとも１つの実施例では、各ＧＰＵは、複数のＳＩＭＤコア、並びに（ランダム・アクセス・メモリ（「ＲＡＭ」：ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）などの）グローバル・データ・ストレージ及びキャッシュの形態を含んでいる。

少なくとも１つの実施例では、ＧＣＮ、及び後でＲＤＮＡにおいて、ＳＰＵは、もはや必要とされない。少なくとも１つの実施例では、ＳＰは、ＳＩＭＤコアに組み合わせられる。少なくとも１つの実施例では、ＧＣＮの場合、ＳＩＭＤコアは、１６個のＳＰと、共有メモリのためのレジスタとを有する。少なくとも１つの実施例では、ＲＤＮＡの場合、各ＳＩＭＤコアは、３２個のＳＰと、より多くの共有メモリとを有する。少なくとも１つの実施例では、複数のＳＩＭＤコアは、１つのコンピュート・ユニット（ＣＵ）に組み合わせられる。少なくとも１つの実施例では、ＧＣＮの場合、単一のＣＵが、データ及び命令キャッシュ、ブランチ・ユニット、並びに「スカラーＡＬＵ」とともに、４つのＳＩＭＤコアを有する。少なくとも１つの実施例では、スカラーＡＬＵは、ｌｏｇ、ｓｉｎ／ｃｏｓなどのような１回限りの数学演算を行うための特殊ＡＬＵである。

少なくとも１つの実施例では、ＲＤＮＡの場合、単一のＣＵは、各ＳＩＭＤコアについてのスケジューラ、レジスタ、及びスカラーＡＬＵをもつ２つのＳＩＭＤコアを有する。少なくとも１つの実施例では、これらのＣＵは、ＧＣＮの場合と同数のＳＰを有するが、それらはより大きいグループにグループ化される。少なくとも１つの実施例では、これは、以下で説明されるようにスレッドグループ化するときに目的を果たす。少なくとも１つの実施例では、ＲＤＮＡはまた、２つのＣＵを、データ及び命令キャッシュがＣＵにわたって共有されるワーク・グループ・プロセッサ（ＷＧＰ）にペアリングする。少なくとも１つの実施例では、ＧＰＵ中のＣＵ／ＷＧＰの数は、モデルにわたって変動する。

少なくとも１つの実施例では、ワープの代わりに、ウェーブフロントが使用され得る。少なくとも１つの実施例では、ＧＣＮは、ウェーブフロントごとに６４個のスレッドを有するが、ＲＤＮＡは、これをウェーブフロントごとに半分の３２個のスレッドにカットする。少なくとも１つの実施例では、これは、簡略化されたスケジューリング及びより速い実行を可能にし、それにより、ウェーブフロント全体が各ＳＩＭＤコアによって実行され得る。少なくとも１つの実施例では、各ＣＵは４つのウェーブフロント（ＧＣＮ）を処理することができ、ここで、各ＳＩＭＤコアは、別個のウェーブフロントに対して機能する。少なくとも１つの実施例では、ハードウェア・スケジューラは、各ＣＵ中の各ＳＩＭＤコアについての独立したスレッド・グループをディスパッチすることに対処する。少なくとも１つの実施例では、各ＳＩＭＤコアは、それ自体の内部スケジューラを有する。少なくとも１つの実施例では、ＣＵにわたってワークロードをスケジューリングするために、非同期コンピュート・エンジン（ＡＣＥ：ＡｓｙｎｃｈｒｏｎｏｕｓＣｏｍｐｕｔｅＥｎｇｉｎｅ）が使用され得る。少なくとも１つの実施例では、ＡＣＥは、リソース割振り、コンテキスト切替えなどに対処し、ＣＵにわたってウェーブフロントをスケジューリングする。

少なくとも１つの実施例では、「実行ユニット」又はＥＵが、ＳＰの代わりに使用され得る。少なくとも１つの実施例では、ＥＵは、４ワイドＳＩＭＤ回路の２つのセットをもつ単一のスレッド・ユニットである。少なくとも１つの実施例では、ＳＩＭＤ回路の１つのセットはＦＰＵと整数ＡＬＵとを有し、ＳＩＭＤ回路の１つのセットは、ＦＰＵと、「拡張数学」（ＥＭ：ｅｘｔｅｎｄｅｄｍａｔｈ）ユニットと呼ばれることがある、特殊機能ユニット（ＳＦＵ：ｓｐｅｃｉａｌｆｕｎｃｔｉｏｎｕｎｉｔ）とを有する。少なくとも１つの実施例では、各ＥＵは、スレッド状態及びデータを追跡するための、スレッド制御ユニットと、レジスタ／メモリとを有する。少なくとも１つの実施例では、これは、「ストリーミング・マルチプロセッサ」中の「コア」又は「ストリーミング・プロセッサ」の代わりに使用され得る。

少なくとも１つの実施例では、ＥＵは、「サブ・スライス」又は「サブスライス」にグループ化され、これは、スレッド・ディスパッチ・ユニット、命令キャッシュ、データ・キャッシュ、テクスチャ・キャッシュ、ロード／ストア・ユニット、及び「サンプラ」と呼ばれることがあるものをもつ１６個のＥＵの集合である。少なくとも１つの実施例では、「サブスライス」は、ＳＭ又はＳＩＭＤコアの代わりに使用される。少なくとも１つの実施例では、サブスライスは、Ｘｅ「スライス」又は「Ｘｓｌｉｃｅ」にグループ化される。少なくとも１つの実施例では、スライス又はＸｓｌｉｃｅは、ＣＵの代わりに使用可能である。

少なくとも１つの実施例では、ワープは、ウェーブ、ウェーブフロント、又はスレッドのグループと置き換えられ得る。少なくとも１つの実施例では、「ウェーブ」、「ウェーブフロント」、又は「スレッド」は、少なくとも８つのスレッドからなる。

少なくとも１つの実施例では、上記で説明された技法は、コンピュータ・システム１２００又は例示的な集積回路１４００など、以下で説明されるようなコンピュータ・システム上で実装され得る。少なくとも１つの実施例では、コンピュータ・システムにおいて稼働されるアプリケーションが、複数のプロセッサ上で並列に稼働される従属スレッドに分割され得る。少なくとも１つの実施例では、プロセッサは、ＡＰＵ１６００、ＣＰＵ１７００、グラフィックス・コア２０００、グラフィックス・プロセッサ１９１０、ＧＰＧＰＵ２０３０、並列プロセッサ２１００、グラフィックス・マルチプロセッサ２１３４、グラフィックス・プロセッサ２２００、プロセッサ２３００、プロセッサ２４００、グラフィックス・プロセッサ・コア２５００、ＰＰＵ２６００、ＧＰＣ２７００、ＳＭ２８００、又はアクセラレータ統合スライス１８９０を含む、以下で説明される任意のプロセッサ・タイプを含み得る。少なくとも１つの実施例では、１つ又は複数の回路は、２つ又はそれ以上の従属スレッドが、２つ又はそれ以上の別個のマルチスレッド・プロセッサ・コアを使用して並列に実施されることを引き起こす。少なくとも１つの実施例では、プロセッサ・コアは、マルチコアＣＰＵ中のコア、ＧＰＵ中のＳＭＰコア、又は記憶可能な命令を実行することが可能な他の回路であり得る。少なくとも１つの実施例では、スレッドの第１のグループが、２つ又はそれ以上のプロセッサ・コアを使用して並列に実施されるべきスレッドの２つ又はそれ以上のサブグループに編成されることを引き起こすための１つ又は複数の回路。少なくとも１つの実施例では、スレッドのグループは、並列に稼働する連動グループであり得る。少なくとも１つの実施例では、連動グループは、ＧＰＵ上でワープ中に配置された複数のカーネル・スレッドを含む。少なくとも１つの実施例では、スレッド間の同期動作は、バリアの使用によって可能にされ得る。少なくとも１つの実施例では、１つ又は複数の回路は、メモリ・バリア演算を実施して、スレッドの複数のグループによるメモリへのアクセスが、メモリ・バリア演算によって指示される順序で発生することを引き起こす。少なくとも１つの実施例では、バリア演算は、ビット単位論理演算（たとえば、ＡＮＤ、ＯＲ、ＸＯＲ）などのアトミック演算、或いはアトミック加算又は減算などの数学演算であり得る。

図１６は、少なくとも１つの実施例による、加速処理ユニット（「ＡＰＵ」：ａｃｃｅｌｅｒａｔｅｄｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）１６００を示す。少なくとも１つの実施例では、ＡＰＵ１６００は、カリフォルニア州サンタクララのＡＭＤＣｏｒｐｏｒａｔｉｏｎによって開発される。少なくとも１つの実施例では、ＡＰＵ１６００は、ＣＵＤＡプログラムなど、アプリケーション・プログラムを実行するように構成され得る。少なくとも１つの実施例では、ＡＰＵ１６００は、限定はしないが、コア複合体１６１０と、グラフィックス複合体１６４０と、ファブリック１６６０と、Ｉ／Ｏインターフェース１６７０と、メモリ・コントローラ１６８０と、ディスプレイ・コントローラ１６９２と、マルチメディア・エンジン１６９４とを含む。少なくとも１つの実施例では、ＡＰＵ１６００は、限定はしないが、任意の数のコア複合体１６１０と、任意の数のグラフィックス複合体１６５０と、任意の数のディスプレイ・コントローラ１６９２と、任意の数のマルチメディア・エンジン１６９４とを、任意の組合せで含み得る。説明目的のために、同様のオブジェクトの複数のインスタンスは、オブジェクトを識別する参照番号と、必要な場合にインスタンスを識別する括弧付きの番号とともに、本明細書で示される。

少なくとも１つの実施例では、コア複合体１６１０はＣＰＵであり、グラフィックス複合体１６４０はＧＰＵであり、ＡＰＵ１６００は、限定はしないが、単一のチップ上に１６１０及び１６４０を組み込む処理ユニットである。少なくとも１つの実施例では、いくつかのタスクは、コア複合体１６１０に割り当てられ得、他のタスクは、グラフィックス複合体１６４０に割り当てられ得る。少なくとも１つの実施例では、コア複合体１６１０は、オペレーティング・システムなど、ＡＰＵ１６００に関連するメイン制御ソフトウェアを実行するように構成される。少なくとも１つの実施例では、コア複合体１６１０は、ＡＰＵ１６００のマスタ・プロセッサであり、他のプロセッサの動作を制御し、協調させる。少なくとも１つの実施例では、コア複合体１６１０は、グラフィックス複合体１６４０の動作を制御するコマンドを発行する。少なくとも１つの実施例では、コア複合体１６１０は、ＣＵＤＡソース・コードから導出されたホスト実行可能コードを実行するように構成され得、グラフィックス複合体１６４０は、ＣＵＤＡソース・コードから導出されたデバイス実行可能コードを実行するように構成され得る。

少なくとも１つの実施例では、コア複合体１６１０は、限定はしないが、コア１６２０（１）～１６２０（４）と、Ｌ３キャッシュ１６３０とを含む。少なくとも１つの実施例では、コア複合体１６１０は、限定はしないが、任意の数のコア１６２０と、任意の数及びタイプのキャッシュとを、任意の組合せで含み得る。少なくとも１つの実施例では、コア１６２０は、特定の命令セット・アーキテクチャ（「ＩＳＡ」：ｉｎｓｔｒｕｃｔｉｏｎｓｅｔａｒｃｈｉｔｅｃｔｕｒｅ）の命令を実行するように構成される。少なくとも１つの実施例では、各コア１６２０はＣＰＵコアである。

少なくとも１つの実施例では、各コア１６２０は、限定はしないが、フェッチ／復号ユニット１６２２と、整数実行エンジン１６２４と、浮動小数点実行エンジン１６２６と、Ｌ２キャッシュ１６２８とを含む。少なくとも１つの実施例では、フェッチ／復号ユニット１６２２は、命令をフェッチし、そのような命令を復号し、マイクロ・オペレーションを生成し、整数実行エンジン１６２４と浮動小数点実行エンジン１６２６とに別個のマイクロ命令をディスパッチする。少なくとも１つの実施例では、フェッチ／復号ユニット１６２２は、同時に、あるマイクロ命令を整数実行エンジン１６２４にディスパッチし、別のマイクロ命令を浮動小数点実行エンジン１６２６にディスパッチすることができる。少なくとも１つの実施例では、整数実行エンジン１６２４は、限定はしないが、整数及びメモリ演算を実行する。少なくとも１つの実施例では、浮動小数点エンジン１６２６は、限定はしないが、浮動小数点及びベクトル演算を実行する。少なくとも１つの実施例では、フェッチ復号ユニット１６２２は、整数実行エンジン１６２４と浮動小数点実行エンジン１６２６の両方を置き換える単一の実行エンジンに、マイクロ命令をディスパッチする。

少なくとも１つの実施例では、ｉがコア１６２０の特定のインスタンスを表す整数である、各コア１６２０（ｉ）は、コア１６２０（ｉ）中に含まれるＬ２キャッシュ１６２８（ｉ）にアクセスし得る。少なくとも１つの実施例では、ｊがコア複合体１６１０の特定のインスタンスを表す整数である、コア複合体１６１０（ｊ）中に含まれる各コア１６２０は、コア複合体１６１０（ｊ）中に含まれるＬ３キャッシュ１６３０（ｊ）を介して、コア複合体１６１０（ｊ）中に含まれる他のコア１６２０に接続される。少なくとも１つの実施例では、ｊがコア複合体１６１０の特定のインスタンスを表す整数である、コア複合体１６１０（ｊ）中に含まれるコア１６２０は、コア複合体１６１０（ｊ）中に含まれるＬ３キャッシュ１６３０（ｊ）のすべてにアクセスすることができる。少なくとも１つの実施例では、Ｌ３キャッシュ１６３０は、限定はしないが、任意の数のスライスを含み得る。

少なくとも１つの実施例では、グラフィックス複合体１６４０は、高度並列様式でコンピュート動作を実施するように構成され得る。少なくとも１つの実施例では、グラフィックス複合体１６４０は、描画コマンド、ピクセル動作、幾何学的算出、及びディスプレイに画像をレンダリングすることに関連する他の動作など、グラフィックス・パイプライン動作を実行するように構成される。少なくとも１つの実施例では、グラフィックス複合体１６４０は、グラフィックに関係しない動作を実行するように構成される。少なくとも１つの実施例では、グラフィックス複合体１６４０は、グラフィックに関係する動作とグラフィックに関係しない動作の両方を実行するように構成される。

少なくとも１つの実施例では、グラフィックス複合体１６４０は、限定はしないが、任意の数のコンピュート・ユニット１６５０と、Ｌ２キャッシュ１６４２とを含む。少なくとも１つの実施例では、コンピュート・ユニット１６５０は、Ｌ２キャッシュ１６４２を共有する。少なくとも１つの実施例では、Ｌ２キャッシュ１６４２は区分けされる。少なくとも１つの実施例では、グラフィックス複合体１６４０は、限定はしないが、任意の数のコンピュート・ユニット１６５０と、（ゼロを含む）任意の数及びタイプのキャッシュとを含む。少なくとも１つの実施例では、グラフィックス複合体１６４０は、限定はしないが、任意の量の専用グラフィックス・ハードウェアを含む。

少なくとも１つの実施例では、各コンピュート・ユニット１６５０は、限定はしないが、任意の数のＳＩＭＤユニット１６５２と、共有メモリ１６５４とを含む。少なくとも１つの実施例では、各ＳＩＭＤユニット１６５２は、ＳＩＭＤアーキテクチャを実装し、動作を並列に実施するように構成され得る。少なくとも１つの実施例では、各コンピュート・ユニット１６５０は、任意の数のスレッド・ブロックを実行し得るが、各スレッド・ブロックは、単一のコンピュート・ユニット１６５０上で実行する。少なくとも１つの実施例では、スレッド・ブロックは、限定はしないが、任意の数の実行のスレッドを含む。少なくとも１つの実施例では、ワークグループは、スレッド・ブロックである。少なくとも１つの実施例では、各ＳＩＭＤユニット１６５２は、異なるワープを実行する。少なくとも１つの実施例では、ワープは、スレッドのグループ（たとえば、１６個のスレッド）であり、ここで、ワープ中の各スレッドは、単一のスレッド・ブロックに属し、命令の単一のセットに基づいて、データの異なるセットを処理するように構成される。少なくとも１つの実施例では、ワープ中の１つ又は複数のスレッドを無効にするために、プレディケーションが使用され得る。少なくとも１つの実施例では、レーンはスレッドである。少なくとも１つの実施例では、ワーク・アイテムはスレッドである。少なくとも１つの実施例では、ウェーブフロントはワープである。少なくとも１つの実施例では、スレッド・ブロック中の異なるウェーブフロントは、互いに同期し、共有メモリ１６５４を介して通信し得る。

少なくとも１つの実施例では、ファブリック１６６０は、コア複合体１６１０、グラフィックス複合体１６４０、Ｉ／Ｏインターフェース１６７０、メモリ・コントローラ１６８０、ディスプレイ・コントローラ１６９２、及びマルチメディア・エンジン１６９４にわたるデータ及び制御送信を容易にするシステム相互接続である。少なくとも１つの実施例では、ＡＰＵ１６００は、限定はしないが、ファブリック１６６０に加えて又はそれの代わりに、任意の量及びタイプのシステム相互接続を含み得、それは、ＡＰＵ１６００の内部又は外部にあり得る、任意の数及びタイプの直接又は間接的にリンクされた構成要素にわたるデータ及び制御送信を容易にする。少なくとも１つの実施例では、Ｉ／Ｏインターフェース１６７０は、任意の数及びタイプのＩ／Ｏインターフェース（たとえば、ＰＣＩ、ＰＣＩ－Ｅｘｔｅｎｄｅｄ（「ＰＣＩ－Ｘ」）、ＰＣＩｅ、ギガビット・イーサネット（「ＧＢＥ」：ｇｉｇａｂｉｔＥｔｈｅｒｎｅｔ）、ＵＳＢなど）を表す。少なくとも１つの実施例では、様々なタイプの周辺デバイスが、Ｉ／Ｏインターフェース１６７０に結合される。少なくとも１つの実施例では、Ｉ／Ｏインターフェース１６７０に結合される周辺デバイスは、限定はしないが、キーボード、マウス、プリンタ、スキャナ、ジョイスティック又は他のタイプのゲーム・コントローラ、メディア記録デバイス、外部ストレージ・デバイス、ネットワーク・インターフェース・カードなどを含み得る。

少なくとも１つの実施例では、ディスプレイ・コントローラＡＭＤ９２は、液晶ディスプレイ（「ＬＣＤ」：ｌｉｑｕｉｄｃｒｙｓｔａｌｄｉｓｐｌａｙ）デバイスなど、１つ又は複数のディスプレイ・デバイス上に画像を表示する。少なくとも１つの実施例では、マルチメディア・エンジン１６９４は、限定はしないが、ビデオ・デコーダ、ビデオ・エンコーダ、画像信号プロセッサなど、マルチメディアに関係する任意の量及びタイプの回路要素を含む。少なくとも１つの実施例では、メモリ・コントローラ１６８０は、ＡＰＵ１６００と統一システム・メモリ１６９０との間のデータ転送を容易にする。少なくとも１つの実施例では、コア複合体１６１０とグラフィックス複合体１６４０とは、統一システム・メモリ１６９０を共有する。

少なくとも１つの実施例では、ＡＰＵ１６００は、限定はしないが、１つの構成要素に専用であるか又は複数の構成要素の間で共有され得る、任意の量及びタイプのメモリ・コントローラ１６８０及びメモリ・デバイス（たとえば、共有メモリ１６５４）を含む、メモリ・サブシステムを実装する。少なくとも１つの実施例では、ＡＰＵ１６００は、限定はしないが、１つ又は複数のキャッシュ・メモリ（たとえば、Ｌ２キャッシュ１７２８、Ｌ３キャッシュ１６３０、及びＬ２キャッシュ１６４２）を含む、キャッシュ・サブシステムを実装し、１つ又は複数のキャッシュ・メモリは、各々、任意の数の構成要素（たとえば、コア１６２０、コア複合体１６１０、ＳＩＭＤユニット１６５２、コンピュート・ユニット１６５０、及びグラフィックス複合体１６４０）に対してプライベートであるか、又は任意の数の構成要素間で共有され得る。

図１７は、少なくとも１つの実施例による、ＣＰＵ１７００を示す。少なくとも１つの実施例では、ＣＰＵ１７００は、カリフォルニア州サンタクララのＡＭＤＣｏｒｐｏｒａｔｉｏｎによって開発される。少なくとも１つの実施例では、ＣＰＵ１７００は、アプリケーション・プログラムを実行するように構成され得る。少なくとも１つの実施例では、ＣＰＵ１７００は、オペレーティング・システムなど、メイン制御ソフトウェアを実行するように構成される。少なくとも１つの実施例では、ＣＰＵ１７００は、外部ＧＰＵ（図示せず）の動作を制御するコマンドを発行する。少なくとも１つの実施例では、ＣＰＵ１７００は、ＣＵＤＡソース・コードから導出されたホスト実行可能コードを実行するように構成され得、外部ＧＰＵは、そのようなＣＵＤＡソース・コードから導出されたデバイス実行可能コードを実行するように構成され得る。少なくとも１つの実施例では、ＣＰＵ１７００は、限定はしないが、任意の数のコア複合体１７１０と、ファブリック１７６０と、Ｉ／Ｏインターフェース１７７０と、メモリ・コントローラ１７８０とを含む。

少なくとも１つの実施例では、コア複合体１７１０は、限定はしないが、コア１７２０（１）～１７２０（４）と、Ｌ３キャッシュ１７３０とを含む。少なくとも１つの実施例では、コア複合体１７１０は、限定はしないが、任意の数のコア１７２０と、任意の数及びタイプのキャッシュとを、任意の組合せで含み得る。少なくとも１つの実施例では、コア１７２０は、特定のＩＳＡの命令を実行するように構成される。少なくとも１つの実施例では、各コア１７２０はＣＰＵコアである。

少なくとも１つの実施例では、各コア１７２０は、限定はしないが、フェッチ／復号ユニット１７２２と、整数実行エンジン１７２４と、浮動小数点実行エンジン１７２６と、Ｌ２キャッシュ１７２８とを含む。少なくとも１つの実施例では、フェッチ／復号ユニット１７２２は、命令をフェッチし、そのような命令を復号し、マイクロ・オペレーションを生成し、整数実行エンジン１７２４と浮動小数点実行エンジン１７２６とに別個のマイクロ命令をディスパッチする。少なくとも１つの実施例では、フェッチ／復号ユニット１７２２は、同時に、あるマイクロ命令を整数実行エンジン１７２４にディスパッチし、別のマイクロ命令を浮動小数点実行エンジン１７２６にディスパッチすることができる。少なくとも１つの実施例では、整数実行エンジン１７２４は、限定はしないが、整数及びメモリ演算を実行する。少なくとも１つの実施例では、浮動小数点エンジン１７２６は、限定はしないが、浮動小数点及びベクトル演算を実行する。少なくとも１つの実施例では、フェッチ復号ユニット１７２２は、整数実行エンジン１７２４と浮動小数点実行エンジン１７２６の両方を置き換える単一の実行エンジンに、マイクロ命令をディスパッチする。

少なくとも１つの実施例では、ｉがコア１７２０の特定のインスタンスを表す整数である、各コア１７２０（ｉ）は、コア１７２０（ｉ）中に含まれるＬ２キャッシュ１７２８（ｉ）にアクセスし得る。少なくとも１つの実施例では、ｊがコア複合体１７１０の特定のインスタンスを表す整数である、コア複合体１７１０（ｊ）中に含まれる各コア１７２０は、コア複合体１７１０（ｊ）中に含まれるＬ３キャッシュ１７３０（ｊ）を介して、コア複合体１７１０（ｊ）中の他のコア１７２０に接続される。少なくとも１つの実施例では、ｊがコア複合体１７１０の特定のインスタンスを表す整数である、コア複合体１７１０（ｊ）中に含まれるコア１７２０は、コア複合体１７１０（ｊ）中に含まれるＬ３キャッシュ１７３０（ｊ）のすべてにアクセスすることができる。少なくとも１つの実施例では、Ｌ３キャッシュ１７３０は、限定はしないが、任意の数のスライスを含み得る。

少なくとも１つの実施例では、ファブリック１７６０は、コア複合体１７１０（１）～１７１０（Ｎ）（ここで、Ｎは０よりも大きい整数である）、Ｉ／Ｏインターフェース１７７０、及びメモリ・コントローラ１７８０にわたるデータ及び制御送信を容易にするシステム相互接続である。少なくとも１つの実施例では、ＣＰＵ１７００は、限定はしないが、ファブリック１７６０に加えて又はそれの代わりに、任意の量及びタイプのシステム相互接続を含み得、それは、ＣＰＵ１７００の内部又は外部にあり得る、任意の数及びタイプの直接又は間接的にリンクされた構成要素にわたるデータ及び制御送信を容易にする。少なくとも１つの実施例では、Ｉ／Ｏインターフェース１７７０は、任意の数及びタイプのＩ／Ｏインターフェース（たとえば、ＰＣＩ、ＰＣＩ－Ｘ、ＰＣＩｅ、ＧＢＥ、ＵＳＢなど）を表す。少なくとも１つの実施例では、様々なタイプの周辺デバイスが、Ｉ／Ｏインターフェース１７７０に結合される。少なくとも１つの実施例では、Ｉ／Ｏインターフェース１７７０に結合される周辺デバイスは、限定はしないが、ディスプレイ、キーボード、マウス、プリンタ、スキャナ、ジョイスティック又は他のタイプのゲーム・コントローラ、メディア記録デバイス、外部ストレージ・デバイス、ネットワーク・インターフェース・カードなどを含み得る。

少なくとも１つの実施例では、メモリ・コントローラ１７８０は、ＣＰＵ１７００とシステム・メモリ１７９０との間のデータ転送を容易にする。少なくとも１つの実施例では、コア複合体１７１０とグラフィックス複合体１７４０とは、システム・メモリ１７９０を共有する。少なくとも１つの実施例では、ＣＰＵ１７００は、限定はしないが、１つの構成要素に専用であるか又は複数の構成要素の間で共有され得る、任意の量及びタイプのメモリ・コントローラ１７８０及びメモリ・デバイスを含む、メモリ・サブシステムを実装する。少なくとも１つの実施例では、ＣＰＵ１７００は、限定はしないが、１つ又は複数のキャッシュ・メモリ（たとえば、Ｌ２キャッシュ１７２８及びＬ３キャッシュ１７３０）を含む、キャッシュ・サブシステムを実装し、１つ又は複数のキャッシュ・メモリは、各々、任意の数の構成要素（たとえば、コア１７２０及びコア複合体１７１０）に対してプライベートであるか、又は任意の数の構成要素間で共有され得る。

図１８は、少なくとも１つの実施例による、例示的なアクセラレータ統合スライス１８９０を示す。本明細書で使用される「スライス」は、アクセラレータ統合回路の処理リソースの指定部分を備える。少なくとも１つの実施例では、アクセラレータ統合回路は、グラフィックス加速モジュール中に含まれる複数のグラフィックス処理エンジンの代わりに、キャッシュ管理、メモリ・アクセス、コンテキスト管理、及び割込み管理サービスを提供する。グラフィックス処理エンジンは、各々、別個のＧＰＵを備え得る。代替的に、グラフィックス処理エンジンは、ＧＰＵ内に、グラフィックス実行ユニット、メディア処理エンジン（たとえば、ビデオ・エンコーダ／デコーダ）、サンプラ、及びｂｌｉｔエンジンなど、異なるタイプのグラフィックス処理エンジンを備え得る。少なくとも１つの実施例では、グラフィックス加速モジュールは、複数のグラフィックス処理エンジンをもつＧＰＵであり得る。少なくとも１つの実施例では、グラフィックス処理エンジンは、共通のパッケージ、ライン・カード、又はチップ上に組み込まれた個々のＧＰＵであり得る。

システム・メモリ１８１４内のアプリケーション実効アドレス空間１８８２は、プロセス要素１８８３を記憶する。一実施例では、プロセス要素１８８３は、プロセッサ１８０７上で実行されるアプリケーション１８８０からのＧＰＵ呼出し１８８１に応答して、記憶される。プロセス要素１８８３は、対応するアプリケーション１８８０のプロセス状態を含んでいる。プロセス要素１８８３に含まれているワーク記述子（「ＷＤ」：ｗｏｒｋｄｅｓｃｒｉｐｔｏｒ）１８８４は、アプリケーションによって要求される単一のジョブであり得るか、又はジョブのキューに対するポインタを含んでいることがある。少なくとも１つの実施例では、ＷＤ１８８４は、アプリケーション実効アドレス空間１８８２におけるジョブ要求キューに対するポインタである。

グラフィックス加速モジュール１８４６及び／又は個々のグラフィックス処理エンジンは、システム中のプロセスのすべて又はサブセットによって共有され得る。少なくとも１つの実施例では、プロセス状態を設定し、ＷＤ１８８４をグラフィックス加速モジュール１８４６に送出して、仮想化環境中でジョブを開始するためのインフラストラクチャが、含められ得る。

少なくとも１つの実施例では、専用プロセス・プログラミング・モデルは、実装固有である。このモデルでは、単一のプロセスが、グラフィックス加速モジュール１８４６又は個々のグラフィックス処理エンジンを所有する。グラフィックス加速モジュール１８４６が単一のプロセスによって所有されるので、ハイパーバイザは、所有パーティションについてアクセラレータ統合回路を初期化し、グラフィックス加速モジュール１８４６が割り当てられたとき、オペレーティング・システムは、所有プロセスについてアクセラレータ統合回路を初期化する。

動作時、アクセラレータ統合スライス１８９０中のＷＤフェッチ・ユニット１８９１は、グラフィックス加速モジュール１８４６の１つ又は複数のグラフィックス処理エンジンによって行われるべきであるワークの指示を含む、次のＷＤ１８８４をフェッチする。示されているように、ＷＤ１８８４からのデータは、レジスタ１８４５に記憶され、メモリ管理ユニット（「ＭＭＵ」：ｍｅｍｏｒｙｍａｎａｇｅｍｅｎｔｕｎｉｔ）１８３９、割込み管理回路１８４７、及び／又はコンテキスト管理回路１８４８によって使用され得る。たとえば、ＭＭＵ１８３９の一実施例は、ＯＳ仮想アドレス空間１８８５内のセグメント／ページ・テーブル１８８６にアクセスするためのセグメント／ページ・ウォーク回路要素を含む。割込み管理回路１８４７は、グラフィックス加速モジュール１８４６から受信された割込みイベント（「ＩＮＴ」：ｉｎｔｅｒｒｕｐｔ）１８９２を処理し得る。グラフィックス動作を実施するとき、グラフィックス処理エンジンによって生成された実効アドレス１８９３は、ＭＭＵ１８３９によって実アドレスにトランスレートされる。

一実施例では、レジスタ１８４５の同じセットが、各グラフィックス処理エンジン、及び／又はグラフィックス加速モジュール１８４６について複製され、ハイパーバイザ又はオペレーティング・システムによって初期化され得る。これらの複製されたレジスタの各々は、アクセラレータ統合スライス１８９０中に含められ得る。ハイパーバイザによって初期化され得る例示的なレジスタが、表１に示されている。

オペレーティング・システムによって初期化され得る例示的なレジスタが、表２に示されている。

一実施例では、各ＷＤ１８８４は、特定のグラフィックス加速モジュール１８４６及び／又は特定のグラフィックス処理エンジンに固有である。ＷＤ１８８４は、ワークを行うためにグラフィックス処理エンジンによって必要とされるすべての情報を含んでいるか、又は、ＷＤ１８８４は、完了されるべきワークのコマンド・キューをアプリケーションが設定したメモリ・ロケーションに対するポインタであり得る。

図１９Ａ～図１９Ｂは、少なくとも１つの実施例による、例示的なグラフィックス・プロセッサを示す。少なくとも１つの実施例では、例示的なグラフィックス・プロセッサのうちのいずれかは、１つ又は複数のＩＰコアを使用して作製され得る。示されているものに加えて、少なくとも１つの実施例では、追加のグラフィックス・プロセッサ／コア、周辺インターフェース・コントローラ、又は汎用プロセッサ・コアを含む他の論理及び回路が含まれ得る。少なくとも１つの実施例では、例示的なグラフィックス・プロセッサは、ＳｏＣ内での使用のためのものである。

図１９Ａは、少なくとも１つの実施例による、１つ又は複数のＩＰコアを使用して作製され得るＳｏＣ集積回路の例示的なグラフィックス・プロセッサ１９１０を示す。図１９Ｂは、少なくとも１つの実施例による、１つ又は複数のＩＰコアを使用して作製され得るＳｏＣ集積回路の追加の例示的なグラフィックス・プロセッサ１９４０を示す。少なくとも１つの実施例では、図１９Ａのグラフィックス・プロセッサ１９１０は、低電力グラフィックス・プロセッサ・コアである。少なくとも１つの実施例では、図１９Ｂのグラフィックス・プロセッサ１９４０は、より高性能のグラフィックス・プロセッサ・コアである。少なくとも１つの実施例では、グラフィックス・プロセッサ１９１０、１９４０の各々は、図１４のグラフィックス・プロセッサ１４１０の変形態であり得る。

少なくとも１つの実施例では、グラフィックス・プロセッサ１９１０は、頂点プロセッサ１９０５と、１つ又は複数のフラグメント・プロセッサ１９１５Ａ～１９１５Ｎ（たとえば、１９１５Ａ、１９１５Ｂ、１９１５Ｃ、１９１５Ｄ～１９１５Ｎ－１、及び１９１５Ｎ）とを含む。少なくとも１つの実施例では、グラフィックス・プロセッサ１９１０は、別個の論理を介して異なるシェーダ・プログラムを実行することができ、それにより、頂点プロセッサ１９０５は、頂点シェーダ・プログラムのための動作を実行するように最適化され、１つ又は複数のフラグメント・プロセッサ１９１５Ａ～１９１５Ｎは、フラグメント又はピクセル・シェーダ・プログラムのためのフラグメント（たとえば、ピクセル）シェーディング動作を実行する。少なくとも１つの実施例では、頂点プロセッサ１９０５は、３Ｄグラフィックス・パイプラインの頂点処理段階を実施し、プリミティブ及び頂点データを生成する。少なくとも１つの実施例では、（１つ又は複数の）フラグメント・プロセッサ１９１５Ａ～１９１５Ｎは、頂点プロセッサ１９０５によって生成されたプリミティブ及び頂点データを使用して、ディスプレイ・デバイス上に表示されるフレームバッファを作り出す。少なくとも１つの実施例では、（１つ又は複数の）フラグメント・プロセッサ１９１５Ａ～１９１５Ｎは、ＯｐｅｎＧＬＡＰＩにおいて提供されるようなフラグメント・シェーダ・プログラムを実行するように最適化され、ＯｐｅｎＧＬＡＰＩは、Ｄｉｒｅｃｔ３ＤＡＰＩにおいて提供されるようなピクセル・シェーダ・プログラムと同様の動作を実施するために使用され得る。

少なくとも１つの実施例では、グラフィックス・プロセッサ１９１０は、追加として、１つ又は複数のＭＭＵ１９２０Ａ～１９２０Ｂと、（１つ又は複数の）キャッシュ１９２５Ａ～１９２５Ｂと、（１つ又は複数の）回路相互接続１９３０Ａ～１９３０Ｂとを含む。少なくとも１つの実施例では、１つ又は複数のＭＭＵ１９２０Ａ～１９２０Ｂは、頂点プロセッサ１９０５及び／又は（１つ又は複数の）フラグメント・プロセッサ１９１５Ａ～１９１５Ｎを含む、グラフィックス・プロセッサ１９１０のための仮想－物理アドレス・マッピングを提供し、それらは、１つ又は複数のキャッシュ１９２５Ａ～１９２５Ｂに記憶された頂点又は画像／テクスチャ・データに加えて、メモリに記憶された頂点又は画像／テクスチャ・データを参照し得る。少なくとも１つの実施例では、１つ又は複数のＭＭＵ１９２０Ａ～１９２０Ｂは、図１４の１つ又は複数のアプリケーション・プロセッサ１４０５、画像プロセッサ１４１５、及び／又はビデオ・プロセッサ１４２０に関連する１つ又は複数のＭＭＵを含む、システム内の他のＭＭＵと同期され得、それにより、各プロセッサ１４０５～１４２０は、共有又は統一仮想メモリ・システムに参加することができる。少なくとも１つの実施例では、１つ又は複数の回路相互接続１９３０Ａ～１９３０Ｂは、グラフィックス・プロセッサ１９１０が、ＳｏＣの内部バスを介して又は直接接続を介してのいずれかで、ＳｏＣ内の他のＩＰコアとインターフェースすることを可能にする。

少なくとも１つの実施例では、グラフィックス・プロセッサ１９４０は、図１９Ａのグラフィックス・プロセッサ１９１０の１つ又は複数のＭＭＵ１９２０Ａ～１９２０Ｂと、キャッシュ１９２５Ａ～１９２５Ｂと、回路相互接続１９３０Ａ～１９３０Ｂとを含む。少なくとも１つの実施例では、グラフィックス・プロセッサ１９４０は、１つ又は複数のシェーダ・コア１９５５Ａ～１９５５Ｎ（たとえば、１９５５Ａ、１９５５Ｂ、１９５５Ｃ、１９５５Ｄ、１９５５Ｅ、１９５５Ｆ～１９５５Ｎ－１、及び１９５５Ｎ）を含み、１つ又は複数のシェーダ・コア１９５５Ａ～１９５５Ｎは、単一のコア、又はタイプ、又はコアが、頂点シェーダ、フラグメント・シェーダ、及び／又はコンピュート・シェーダを実装するためのシェーダ・プログラム・コードを含むすべてのタイプのプログラマブル・シェーダ・コードを実行することができる統一シェーダ・コア・アーキテクチャを提供する。少なくとも１つの実施例では、シェーダ・コアの数は変動することができる。少なくとも１つの実施例では、グラフィックス・プロセッサ１９４０は、１つ又は複数のシェーダ・コア１９５５Ａ～１９５５Ｎに実行スレッドをディスパッチするためのスレッド・ディスパッチャとして作用するコア間タスク・マネージャ１９４５と、たとえばシーン内のローカル空間コヒーレンスを利用するため、又は内部キャッシュの使用を最適化するために、シーンについてのレンダリング動作が画像空間において下位区分される、タイル・ベースのレンダリングのためのタイリング動作を加速するためのタイリング・ユニット１９５８とを含む。

図２０Ａは、少なくとも１つの実施例による、グラフィックス・コア２０００を示す。少なくとも１つの実施例では、グラフィックス・コア２０００は、図１４のグラフィックス・プロセッサ１４１０内に含まれ得る。少なくとも１つの実施例では、グラフィックス・コア２０００は、図１９Ｂの場合のような統一シェーダ・コア１９５５Ａ～１９５５Ｎであり得る。少なくとも１つの実施例では、グラフィックス・コア２０００は、共有命令キャッシュ２００２と、テクスチャ・ユニット２０１８と、キャッシュ／共有メモリ２０２０とを含み、それらは、グラフィックス・コア２０００内の実行リソースに共通である。少なくとも１つの実施例では、グラフィックス・コア２０００は、複数のスライス２００１Ａ～２００１Ｎ、又は各コアについてのパーティションを含むことができ、グラフィックス・プロセッサは、グラフィックス・コア２０００の複数のインスタンスを含むことができる。スライス２００１Ａ～２００１Ｎは、ローカル命令キャッシュ２００４Ａ～２００４Ｎと、スレッド・スケジューラ２００６Ａ～２００６Ｎと、スレッド・ディスパッチャ２００８Ａ～２００８Ｎと、レジスタのセット２０１０Ａ～２０１０Ｎとを含むサポート論理を含むことができる。少なくとも１つの実施例では、スライス２００１Ａ～２００１Ｎは、追加機能ユニット（「ＡＦＵ」：ａｄｄｉｔｉｏｎａｌｆｕｎｃｔｉｏｎｕｎｉｔ）２０１２Ａ～２０１２Ｎ、浮動小数点ユニット（「ＦＰＵ」：ｆｌｏａｔｉｎｇ－ｐｏｉｎｔｕｎｉｔ）２０１４Ａ～２０１４Ｎ、整数算術論理ユニット（「ＡＬＵ」：ｉｎｔｅｇｅｒａｒｉｔｈｍｅｔｉｃｌｏｇｉｃｕｎｉｔ）２０１６～２０１６Ｎ、アドレス算出ユニット（「ＡＣＵ」：ａｄｄｒｅｓｓｃｏｍｐｕｔａｔｉｏｎａｌｕｎｉｔ）２０１３Ａ～２０１３Ｎ、倍精度浮動小数点ユニット（「ＤＰＦＰＵ」：ｄｏｕｂｌｅ－ｐｒｅｃｉｓｉｏｎｆｌｏａｔｉｎｇ－ｐｏｉｎｔｕｎｉｔ）２０１５Ａ～２０１５Ｎ、及び行列処理ユニット（「ＭＰＵ」：ｍａｔｒｉｘｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）２０１７Ａ～２０１７Ｎのセットを含むことができる。

少なくとも１つの実施例では、ＦＰＵ２０１４Ａ～２０１４Ｎは、単精度（３２ビット）及び半精度（１６ビット）の浮動小数点演算を実施することができ、ＤＰＦＰＵ２０１５Ａ～２０１５Ｎは、倍精度（６４ビット）の浮動小数点演算を実施する。少なくとも１つの実施例では、ＡＬＵ２０１６Ａ～２０１６Ｎは、８ビット、１６ビット、及び３２ビットの精度で可変精度整数演算を実施することができ、混合精度演算のために構成され得る。少なくとも１つの実施例では、ＭＰＵ２０１７Ａ～２０１７Ｎも、半精度浮動小数点演算と８ビット整数演算とを含む、混合精度行列演算のために構成され得る。少なくとも１つの実施例では、ＭＰＵ２０１７～２０１７Ｎは、加速汎用行列－行列乗算（「ＧＥＭＭ」：ｇｅｎｅｒａｌｍａｔｒｉｘｔｏｍａｔｒｉｘｍｕｌｔｉｐｌｉｃａｔｉｏｎ）のサポートを可能にすることを含む、ＣＵＤＡプログラムを加速するための様々な行列演算を実施することができる。少なくとも１つの実施例では、ＡＦＵ２０１２Ａ～２０１２Ｎは、三角関数演算（たとえば、サイン、コサインなど）を含む、浮動小数点ユニット又は整数ユニットによってサポートされていない追加の論理演算を実施することができる。

図２０Ｂは、少なくとも１つの実施例による、汎用グラフィックス処理ユニット（「ＧＰＧＰＵ」：ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅｇｒａｐｈｉｃｓｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）２０３０を示す。少なくとも１つの実施例では、ＧＰＧＰＵ２０３０は、高度並列であり、マルチチップ・モジュール上での導入に好適である。少なくとも１つの実施例では、ＧＰＧＰＵ２０３０は、高度並列コンピュート動作がＧＰＵのアレイによって実施されることを可能にするように構成され得る。少なくとも１つの実施例では、ＧＰＧＰＵ２０３０は、ＣＵＤＡプログラムのための実行時間を改善するためにマルチＧＰＵクラスタを作成するために、ＧＰＧＰＵ２０３０の他のインスタンスに直接リンクされ得る。少なくとも１つの実施例では、ＧＰＧＰＵ２０３０は、ホスト・プロセッサとの接続を可能にするためのホスト・インターフェース２０３２を含む。少なくとも１つの実施例では、ホスト・インターフェース２０３２は、ＰＣＩｅインターフェースである。少なくとも１つの実施例では、ホスト・インターフェース２０３２は、ベンダー固有の通信インターフェース又は通信ファブリックであり得る。少なくとも１つの実施例では、ＧＰＧＰＵ２０３０は、ホスト・プロセッサからコマンドを受信し、グローバル・スケジューラ２０３４を使用して、それらのコマンドに関連する実行スレッドを、コンピュート・クラスタ２０３６Ａ～２０３６Ｈのセットに分散させる。少なくとも１つの実施例では、コンピュート・クラスタ２０３６Ａ～２０３６Ｈは、キャッシュ・メモリ２０３８を共有する。少なくとも１つの実施例では、キャッシュ・メモリ２０３８は、コンピュート・クラスタ２０３６Ａ～２０３６Ｈ内のキャッシュ・メモリのためのより高レベルのキャッシュとして働くことができる。

少なくとも１つの実施例では、ＧＰＧＰＵ２０３０は、メモリ・コントローラ２０４２Ａ～１９４２Ｂのセットを介してコンピュート・クラスタ２０３６Ａ～２０３６Ｈと結合されたメモリ２０４４Ａ～２０４４Ｂを含む。少なくとも１つの実施例では、メモリ２０４４Ａ～２０４４Ｂは、ＤＲＡＭ、又は、グラフィックス・ダブル・データ・レート（「ＧＤＤＲ」：ｇｒａｐｈｉｃｓｄｏｕｂｌｅｄａｔａｒａｔｅ）メモリを含む同期グラフィックス・ランダム・アクセス・メモリ（「ＳＧＲＡＭ」：ｓｙｎｃｈｒｏｎｏｕｓｇｒａｐｈｉｃｓｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）などのグラフィックス・ランダム・アクセス・メモリを含む、様々なタイプのメモリ・デバイスを含むことができる。

少なくとも１つの実施例では、コンピュート・クラスタ２０３６Ａ～２０３６Ｈは、各々、図２０Ａのグラフィックス・コア２０００などのグラフィックス・コアのセットを含み、グラフィックス・コアのセットは、ＣＵＤＡプログラムに関連する算出に適したものを含む、様々な精度で算出動作を実施することができる複数のタイプの整数及び浮動小数点論理ユニットを含むことができる。たとえば、少なくとも１つの実施例では、コンピュート・クラスタ２０３６Ａ～２０３６Ｈの各々における浮動小数点ユニットの少なくともサブセットは、１６ビット又は３２ビットの浮動小数点演算を実施するように構成され得、浮動小数点ユニットの異なるサブセットは、６４ビットの浮動小数点演算を実施するように構成され得る。

少なくとも１つの実施例では、ＧＰＧＰＵ２０３０の複数のインスタンスは、コンピュート・クラスタとして動作するように構成され得る。コンピュート・クラスタ２０３６Ａ～２０３６Ｈは、同期及びデータ交換のための任意の技術的に実現可能な通信技法を実装し得る。少なくとも１つの実施例では、ＧＰＧＰＵ２０３０の複数のインスタンスは、ホスト・インターフェース２０３２を介して通信する。少なくとも１つの実施例では、ＧＰＧＰＵ２０３０は、Ｉ／Ｏハブ２０３９を含み、Ｉ／Ｏハブ２０３９は、ＧＰＧＰＵ２０３０を、ＧＰＧＰＵ２０３０の他のインスタンスへの直接接続を可能にするＧＰＵリンク２０４０と結合する。少なくとも１つの実施例では、ＧＰＵリンク２０４０は、ＧＰＧＰＵ２０３０の複数のインスタンス間での通信及び同期を可能にする専用ＧＰＵ－ＧＰＵブリッジに結合される。少なくとも１つの実施例では、ＧＰＵリンク２０４０は、他のＧＰＧＰＵ２０３０又は並列プロセッサにデータを送信及び受信するために高速相互接続と結合される。少なくとも１つの実施例では、ＧＰＧＰＵ２０３０の複数のインスタンスは、別個のデータ処理システムに位置し、ホスト・インターフェース２０３２を介してアクセス可能であるネットワーク・デバイスを介して通信する。少なくとも１つの実施例では、ＧＰＵリンク２０４０は、ホスト・インターフェース２０３２に加えて、又はその代替として、ホスト・プロセッサへの接続を可能にするように構成され得る。少なくとも１つの実施例では、ＧＰＧＰＵ２０３０は、ＣＵＤＡプログラムを実行するように構成され得る。

図２１Ａは、少なくとも１つの実施例による、並列プロセッサ２１００を示す。少なくとも１つの実施例では、並列プロセッサ２１００の様々な構成要素は、プログラマブル・プロセッサ、特定用途向け集積回路（「ＡＳＩＣ」：ａｐｐｌｉｃａｔｉｏｎｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ）、又はＦＰＧＡなど、１つ又は複数の集積回路デバイスを使用して実装され得る。

少なくとも１つの実施例では、並列プロセッサ２１００は並列処理ユニット２１０２を含む。少なくとも１つの実施例では、並列処理ユニット２１０２は、並列処理ユニット２１０２の他のインスタンスを含む、他のデバイスとの通信を可能にするＩ／Ｏユニット２１０４を含む。少なくとも１つの実施例では、Ｉ／Ｏユニット２１０４は、他のデバイスに直接接続され得る。少なくとも１つの実施例では、Ｉ／Ｏユニット２１０４は、メモリ・ハブ２１０５など、ハブ又はスイッチ・インターフェースの使用を介して他のデバイスと接続する。少なくとも１つの実施例では、メモリ・ハブ２１０５とＩ／Ｏユニット２１０４との間の接続は、通信リンクを形成する。少なくとも１つの実施例では、Ｉ／Ｏユニット２１０４は、ホスト・インターフェース２１０６及びメモリ・クロスバー２１１６と接続し、ホスト・インターフェース２１０６は、処理動作を実施することを対象とするコマンドを受信し、メモリ・クロスバー２１１６は、メモリ動作を実施することを対象とするコマンドを受信する。

少なくとも１つの実施例では、ホスト・インターフェース２１０６が、Ｉ／Ｏユニット２１０４を介してコマンド・バッファを受信したとき、ホスト・インターフェース２１０６は、それらのコマンドを実施するためのワーク動作をフロント・エンド２１０８に向けることができる。少なくとも１つの実施例では、フロント・エンド２１０８はスケジューラ２１１０と結合し、スケジューラ２１１０は、コマンド又は他のワーク・アイテムを処理アレイ２１１２に分散させるように構成される。少なくとも１つの実施例では、スケジューラ２１１０は、処理アレイ２１１２にタスクが分散される前に、処理アレイ２１１２が適切に構成され、有効な状態にあることを確実にする。少なくとも１つの実施例では、スケジューラ２１１０は、マイクロコントローラ上で実行しているファームウェア論理を介して実装される。少なくとも１つの実施例では、マイクロコントローラ実装スケジューラ２１１０は、複雑なスケジューリング及びワーク分散動作を、粗い粒度及び細かい粒度において実施するように構成可能であり、処理アレイ２１１２上で実行しているスレッドの迅速なプリエンプション及びコンテキスト切替えを可能にする。少なくとも１つの実施例では、ホスト・ソフトウェアは、処理アレイ２１１２上でのスケジューリングのためのワークロードを、複数のグラフィックス処理ドアベルのうちの１つを介して証明することができる。少なくとも１つの実施例では、ワークロードは、次いで、スケジューラ２１１０を含むマイクロコントローラ内のスケジューラ２１１０論理によって、処理アレイ２１１２にわたって自動的に分散され得る。

少なくとも１つの実施例では、処理アレイ２１１２は、最高「Ｎ」個のクラスタ（たとえば、クラスタ２１１４Ａ、クラスタ２１１４Ｂ～クラスタ２１１４Ｎ）を含むことができる。少なくとも１つの実施例では、処理アレイ２１１２の各クラスタ２１１４Ａ～２１１４Ｎは、多数の同時スレッドを実行することができる。少なくとも１つの実施例では、スケジューラ２１１０は、様々なスケジューリング及び／又はワーク分散アルゴリズムを使用して処理アレイ２１１２のクラスタ２１１４Ａ～２１１４Ｎにワークを割り振ることができ、それらのアルゴリズムは、プログラム又は算出の各タイプについて生じるワークロードに応じて変動し得る。少なくとも１つの実施例では、スケジューリングは、スケジューラ２１１０によって動的に対処され得るか、又は処理アレイ２１１２による実行のために構成されたプログラム論理のコンパイル中に、コンパイラ論理によって部分的に支援され得る。少なくとも１つの実施例では、処理アレイ２１１２の異なるクラスタ２１１４Ａ～２１１４Ｎは、異なるタイプのプログラムを処理するために、又は異なるタイプの算出を実施するために割り振られ得る。

少なくとも１つの実施例では、処理アレイ２１１２は、様々なタイプの並列処理動作を実施するように構成され得る。少なくとも１つの実施例では、処理アレイ２１１２は、汎用並列コンピュート動作を実施するように構成される。たとえば、少なくとも１つの実施例では、処理アレイ２１１２は、ビデオ及び／又はオーディオ・データをフィルタリングすること、物理動作を含むモデリング動作を実施すること、及びデータ変換を実施することを含む処理タスクを実行するための論理を含むことができる。

少なくとも１つの実施例では、処理アレイ２１１２は、並列グラフィックス処理動作を実施するように構成される。少なくとも１つの実施例では、処理アレイ２１１２は、限定はしないが、テクスチャ動作を実施するためのテクスチャ・サンプリング論理、並びにテッセレーション論理及び他の頂点処理論理を含む、そのようなグラフィックス処理動作の実行をサポートするための追加の論理を含むことができる。少なくとも１つの実施例では、処理アレイ２１１２は、限定はしないが、頂点シェーダ、テッセレーション・シェーダ、ジオメトリ・シェーダ、及びピクセル・シェーダなど、グラフィックス処理関係シェーダ・プログラムを実行するように構成され得る。少なくとも１つの実施例では、並列処理ユニット２１０２は、処理のためにＩ／Ｏユニット２１０４を介してシステム・メモリからデータを転送することができる。少なくとも１つの実施例では、処理中に、転送されたデータは、処理中にオンチップ・メモリ（たとえば、並列プロセッサ・メモリ２１２２）に記憶され、次いでシステム・メモリに書き戻され得る。

少なくとも１つの実施例では、並列処理ユニット２１０２がグラフィックス処理を実施するために使用されるとき、スケジューラ２１１０は、処理アレイ２１１２の複数のクラスタ２１１４Ａ～２１１４Ｎへのグラフィックス処理動作の分散をより良く可能にするために、処理ワークロードをほぼ等しいサイズのタスクに分割するように構成され得る。少なくとも１つの実施例では、処理アレイ２１１２の部分は、異なるタイプの処理を実施するように構成され得る。たとえば、少なくとも１つの実施例では、表示のために、レンダリングされた画像を作り出すために、第１の部分は、頂点シェーディング及びトポロジ生成を実施するように構成され得、第２の部分は、テッセレーション及びジオメトリ・シェーディングを実施するように構成され得、第３の部分は、ピクセル・シェーディング又は他のスクリーン空間動作を実施するように構成され得る。少なくとも１つの実施例では、クラスタ２１１４Ａ～２１１４Ｎのうちの１つ又は複数によって作り出された中間データは、中間データがさらなる処理のためにクラスタ２１１４Ａ～２１１４Ｎ間で送信されることを可能にするために、バッファに記憶され得る。

少なくとも１つの実施例では、処理アレイ２１１２は、実行されるべき処理タスクをスケジューラ２１１０を介して受信することができ、スケジューラ２１１０は、処理タスクを定義するコマンドをフロント・エンド２１０８から受信する。少なくとも１つの実施例では、処理タスクは、処理されるべきデータのインデックス、たとえば、表面（パッチ）データ、プリミティブ・データ、頂点データ、及び／又はピクセル・データ、並びに、データがどのように処理されるべきであるか（たとえば、どのプログラムが実行されるべきであるか）を定義する状態パラメータ及びコマンドを含むことができる。少なくとも１つの実施例では、スケジューラ２１１０は、タスクに対応するインデックスをフェッチするように構成され得るか、又はフロント・エンド２１０８からインデックスを受信し得る。少なくとも１つの実施例では、フロント・エンド２１０８は、入って来るコマンド・バッファ（たとえば、バッチ・バッファ、プッシュ・バッファなど）によって指定されるワークロードが始動される前に、処理アレイ２１１２が有効な状態に構成されることを確実にするように構成され得る。

少なくとも１つの実施例では、並列処理ユニット２１０２の１つ又は複数のインスタンスの各々は、並列プロセッサ・メモリ２１２２と結合することができる。少なくとも１つの実施例では、並列プロセッサ・メモリ２１２２は、メモリ・クロスバー２１１６を介してアクセスされ得、メモリ・クロスバー１７１６は、処理アレイ２１１２並びにＩ／Ｏユニット２１０４からメモリ要求を受信することができる。少なくとも１つの実施例では、メモリ・クロスバー２１１６は、メモリ・インターフェース２１１８を介して並列プロセッサ・メモリ２１２２にアクセスすることができる。少なくとも１つの実施例では、メモリ・インターフェース２１１８は、複数のパーティション・ユニット（たとえば、パーティション・ユニット２１２０Ａ、パーティション・ユニット２１２０Ｂ～パーティション・ユニット２１２０Ｎ）を含むことができ、複数のパーティション・ユニットは、各々、並列プロセッサ・メモリ２１２２の一部分（たとえば、メモリ・ユニット）に結合することができる。少なくとも１つの実施例では、パーティション・ユニット２１２０Ａ～２１２０Ｎの数は、メモリ・ユニットの数に等しくなるように構成され、それにより、第１のパーティション・ユニット２１２０Ａは、対応する第１のメモリ・ユニット２１２４Ａを有し、第２のパーティション・ユニット２１２０Ｂは、対応するメモリ・ユニット２１２４Ｂを有し、第Ｎのパーティション・ユニット２１２０Ｎは、対応する第Ｎのメモリ・ユニット２１２４Ｎを有する。少なくとも１つの実施例では、パーティション・ユニット２１２０Ａ～２１２０Ｎの数は、メモリ・デバイスの数に等しくないことがある。

少なくとも１つの実施例では、メモリ・ユニット２１２４Ａ～２１２４Ｎは、ＧＤＤＲメモリを含むＳＧＲＡＭなど、ＤＲＡＭ又はグラフィックス・ランダム・アクセス・メモリを含む、様々なタイプのメモリ・デバイスを含むことができる。少なくとも１つの実施例では、メモリ・ユニット２１２４Ａ～２１２４Ｎは、限定はしないが高帯域幅メモリ（「ＨＢＭ」：ｈｉｇｈｂａｎｄｗｉｄｔｈｍｅｍｏｒｙ）を含む、３Ｄ積層メモリをも含み得る。少なくとも１つの実施例では、並列プロセッサ・メモリ２１２２の利用可能な帯域幅を効率的に使用するために、フレーム・バッファ又はテクスチャ・マップなどのレンダー・ターゲットが、メモリ・ユニット２１２４Ａ～２１２４Ｎにわたって記憶されて、パーティション・ユニット２１２０Ａ～２１２０Ｎが、各レンダー・ターゲットの部分を並列に書き込むことを可能にし得る。少なくとも１つの実施例では、ローカル・キャッシュ・メモリと併せてシステム・メモリを利用する統一メモリ設計に有利なように、並列プロセッサ・メモリ２１２２のローカル・インスタンスが除外され得る。

少なくとも１つの実施例では、処理アレイ２１１２のクラスタ２１１４Ａ～２１１４Ｎのうちのいずれか１つは、並列プロセッサ・メモリ２１２２内のメモリ・ユニット２１２４Ａ～２１２４Ｎのいずれかに書き込まれることになるデータを処理することができる。少なくとも１つの実施例では、メモリ・クロスバー２１１６は、各クラスタ２１１４Ａ～２１１４Ｎの出力を、出力に対して追加の処理動作を実施することができる任意のパーティション・ユニット２１２０Ａ～２１２０Ｎに転送するか、又は別のクラスタ２１１４Ａ～２１１４Ｎに転送するように構成され得る。少なくとも１つの実施例では、各クラスタ２１１４Ａ～２１１４Ｎは、様々な外部メモリ・デバイスから読み取るか、又はそれに書き込むために、メモリ・クロスバー２１１６を通してメモリ・インターフェース２１１８と通信することができる。少なくとも１つの実施例では、メモリ・クロスバー２１１６は、Ｉ／Ｏユニット２１０４と通信するためのメモリ・インターフェース２１１８への接続、並びに、並列プロセッサ・メモリ２１２２のローカル・インスタンスへの接続を有し、これは、異なるクラスタ２１１４Ａ～２１１４Ｎ内の処理ユニットが、システム・メモリ、又は並列処理ユニット２１０２にローカルでない他のメモリと通信することを可能にする。少なくとも１つの実施例では、メモリ・クロスバー２１１６は、クラスタ２１１４Ａ～２１１４Ｎとパーティション・ユニット２１２０Ａ～２１２０Ｎとの間でトラフィック・ストリームを分離するために、仮想チャネルを使用することができる。

少なくとも１つの実施例では、並列処理ユニット２１０２の複数のインスタンスは、単一のアドイン・カード上で提供され得るか、又は複数のアドイン・カードが相互接続され得る。少なくとも１つの実施例では、並列処理ユニット２１０２の異なるインスタンスは、異なるインスタンスが異なる数の処理コア、異なる量のローカル並列プロセッサ・メモリ、及び／又は他の構成の差を有する場合でも、相互動作するように構成され得る。たとえば、少なくとも１つの実施例では、並列処理ユニット２１０２のいくつかのインスタンスは、他のインスタンスに対してより高い精度の浮動小数点ユニットを含むことができる。少なくとも１つの実施例では、並列処理ユニット２１０２又は並列プロセッサ２１００の１つ又は複数のインスタンスを組み込んだシステムは、限定はしないが、デスクトップ、ラップトップ、又はハンドヘルド・パーソナル・コンピュータ、サーバ、ワークステーション、ゲーム・コンソール、及び／又は組み込みシステムを含む、様々な構成及びフォーム・ファクタにおいて実装され得る。

図２１Ｂは、少なくとも１つの実施例による、処理クラスタ２１９４を示す。少なくとも１つの実施例では、処理クラスタ２１９４は、並列処理ユニット内に含まれる。少なくとも１つの実施例では、処理クラスタ２１９４は、図２１の処理クラスタ２１１４Ａ～２１１４Ｎのうちの１つである。少なくとも１つの実施例では、処理クラスタ２１９４は、多くのスレッドを並列で実行するように構成され得、「スレッド」という用語は、入力データの特定のセットに対して実行している特定のプログラムのインスタンスを指す。少なくとも１つの実施例では、複数の独立した命令ユニットを提供することなしに多数のスレッドの並列実行をサポートするために、単一命令複数データ（「ＳＩＭＤ」：ｓｉｎｇｌｅｉｎｓｔｒｕｃｔｉｏｎ，ｍｕｌｔｉｐｌｅｄａｔａ）命令発行技法が使用される。少なくとも１つの実施例では、各処理クラスタ２１９４内の処理エンジンのセットに命令を発行するように構成された共通の命令ユニットを使用して、全体的に同期された多数のスレッドの並列実行をサポートするために、単一命令複数スレッド（「ＳＩＭＴ」：ｓｉｎｇｌｅｉｎｓｔｒｕｃｔｉｏｎ，ｍｕｌｔｉｐｌｅｔｈｒｅａｄ）技法が使用される。

少なくとも１つの実施例では、処理クラスタ２１９４の動作は、ＳＩＭＴ並列プロセッサに処理タスクを分散させるパイプライン・マネージャ２１３２を介して制御され得る。少なくとも１つの実施例では、パイプライン・マネージャ２１３２は、図２１のスケジューラ２１１０から命令を受信し、グラフィックス・マルチプロセッサ２１３４及び／又はテクスチャ・ユニット２１３６を介してそれらの命令の実行を管理する。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２１３４は、ＳＩＭＴ並列プロセッサの例示的なインスタンスである。しかしながら、少なくとも１つの実施例では、異なるアーキテクチャの様々なタイプのＳＩＭＴ並列プロセッサが、処理クラスタ２１９４内に含められ得る。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２１３４の１つ又は複数のインスタンスは、処理クラスタ２１９４内に含められ得る。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２１３４はデータを処理することができ、処理されたデータを、他のシェーダ・ユニットを含む複数の可能な宛先のうちの１つに分散させるために、データ・クロスバー２１４０が使用され得る。少なくとも１つの実施例では、パイプライン・マネージャ２１３２は、データ・クロスバー２１４０を介して分散されることになる処理されたデータのための宛先を指定することによって、処理されたデータの分散を容易にすることができる。

少なくとも１つの実施例では、処理クラスタ２１９４内の各グラフィックス・マルチプロセッサ２１３４は、関数実行論理（たとえば、算術論理ユニット、ロード／ストア・ユニット（「ＬＳＵ」：ｌｏａｄ／ｓｔｏｒｅｕｎｉｔ）など）の同一のセットを含むことができる。少なくとも１つの実施例では、関数実行論理は、前の命令が完了する前に新しい命令が発行され得るパイプライン様式で構成され得る。少なくとも１つの実施例では、関数実行論理は、整数及び浮動小数点算術、比較演算、ブール演算、ビット・シフト、及び様々な代数関数の算出を含む様々な演算をサポートする。少なくとも１つの実施例では、異なる演算を実施するために同じ関数ユニット・ハードウェアが活用され得、関数ユニットの任意の組合せが存在し得る。

少なくとも１つの実施例では、処理クラスタ２１９４に送信される命令がスレッドを構成する。少なくとも１つの実施例では、並列処理エンジンのセットにわたって実行しているスレッドのセットが、スレッド・グループである。少なくとも１つの実施例では、スレッド・グループは、異なる入力データに対してプログラムを実行する。少なくとも１つの実施例では、スレッド・グループ内の各スレッドは、グラフィックス・マルチプロセッサ２１３４内の異なる処理エンジンに割り当てられ得る。少なくとも１つの実施例では、スレッド・グループは、グラフィックス・マルチプロセッサ２１３４内の処理エンジンの数よりも少ないスレッドを含み得る。少なくとも１つの実施例では、スレッド・グループが処理エンジンの数よりも少ないスレッドを含むとき、処理エンジンのうちの１つ又は複数は、そのスレッド・グループが処理されているサイクル中にアイドルであり得る。少なくとも１つの実施例では、スレッド・グループはまた、グラフィックス・マルチプロセッサ２１３４内の処理エンジンの数よりも多いスレッドを含み得る。少なくとも１つの実施例では、スレッド・グループがグラフィックス・マルチプロセッサ２１３４内の処理エンジンの数よりも多くのスレッドを含むとき、連続するクロック・サイクルにわたって処理が実施され得る。少なくとも１つの実施例では、複数のスレッド・グループが、グラフィックス・マルチプロセッサ２１３４上で同時に実行され得る。

少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２１３４は、ロード動作及びストア動作を実施するための内部キャッシュ・メモリを含む。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２１３４は、内部キャッシュをやめ、処理クラスタ２１９４内のキャッシュ・メモリ（たとえば、Ｌ１キャッシュ２１４８）を使用することができる。少なくとも１つの実施例では、各グラフィックス・マルチプロセッサ２１３４は、パーティション・ユニット（たとえば、図２１Ａのパーティション・ユニット２１２０Ａ～２１２０Ｎ）内のレベル２（「Ｌ２」）キャッシュへのアクセスをも有し、それらのＬ２キャッシュは、すべての処理クラスタ２１９４の間で共有され、スレッド間でデータを転送するために使用され得る。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２１３４はまた、オフチップ・グローバル・メモリにアクセスし得、オフチップ・グローバル・メモリは、ローカル並列プロセッサ・メモリ及び／又はシステム・メモリのうちの１つ又は複数を含むことができる。少なくとも１つの実施例では、並列処理ユニット２１０２の外部の任意のメモリが、グローバル・メモリとして使用され得る。少なくとも１つの実施例では、処理クラスタ２１９４は、グラフィックス・マルチプロセッサ２１３４の複数のインスタンスを含み、グラフィックス・マルチプロセッサ２１３４は、共通の命令及びデータを共有することができ、共通の命令及びデータは、Ｌ１キャッシュ２１４８に記憶され得る。

少なくとも１つの実施例では、各処理クラスタ２１９４は、仮想アドレスを物理アドレスにマッピングするように構成されたＭＭＵ２１４５を含み得る。少なくとも１つの実施例では、ＭＭＵ２１４５の１つ又は複数のインスタンスは、図２１のメモリ・インターフェース２１１８内に存在し得る。少なくとも１つの実施例では、ＭＭＵ２１４５は、仮想アドレスを、タイル及び随意にキャッシュ・ライン・インデックスの物理アドレスにマッピングするために使用されるページ・テーブル・エントリ（「ＰＴＥ」：ｐａｇｅｔａｂｌｅｅｎｔｒｙ）のセットを含む。少なくとも１つの実施例では、ＭＭＵ２１４５は、アドレス・トランスレーション・ルックアサイド・バッファ（「ＴＬＢ」：ｔｒａｎｓｌａｔｉｏｎｌｏｏｋａｓｉｄｅｂｕｆｆｅｒ）又はキャッシュを含み得、これらは、グラフィックス・マルチプロセッサ２１３４又はＬ１キャッシュ２１４８或いは処理クラスタ２１９４内に存在し得る。少なくとも１つの実施例では、物理アドレスが、表面データ・アクセス・ローカリティを分散させて、パーティション・ユニットの間での効率的な要求インターリーブを可能にするために処理される。少なくとも１つの実施例では、キャッシュ・ライン・インデックスが、キャッシュ・ラインについての要求がヒットであるのかミスであるのかを決定するために使用され得る。

少なくとも１つの実施例では、処理クラスタ２１９４は、各グラフィックス・マルチプロセッサ２１３４が、テクスチャ・マッピング動作、たとえば、テクスチャ・サンプル位置を決定すること、テクスチャ・データを読み取ること、及びテクスチャ・データをフィルタリングすることを実施するためのテクスチャ・ユニット２１３６に結合されるように、構成され得る。少なくとも１つの実施例では、テクスチャ・データは、内部テクスチャＬ１キャッシュ（図示せず）から又はグラフィックス・マルチプロセッサ２１３４内のＬ１キャッシュから読み取られ、必要に応じて、Ｌ２キャッシュ、ローカル並列プロセッサ・メモリ、又はシステム・メモリからフェッチされる。少なくとも１つの実施例では、各グラフィックス・マルチプロセッサ２１３４は、処理されたタスクをデータ・クロスバー２１４０に出力して、処理されたタスクを、さらなる処理のために別の処理クラスタ２１９４に提供するか、或いは、処理されたタスクを、メモリ・クロスバー２１１６を介してＬ２キャッシュ、ローカル並列プロセッサ・メモリ、又はシステム・メモリに記憶する。少なくとも１つの実施例では、プレ・ラスタ演算ユニット（「プレＲＯＰ」：ｐｒｅ－ｒａｓｔｅｒｏｐｅｒａｔｉｏｎ）２１４２は、グラフィックス・マルチプロセッサ２１３４からデータを受信し、データをＲＯＰユニットにダイレクトするように構成され、ＲＯＰユニットは、本明細書で説明されるようなパーティション・ユニット（たとえば、図２１のパーティション・ユニット２１２０Ａ～２１２０Ｎ）とともに位置し得る。少なくとも１つの実施例では、プレＲＯＰ２１４２は、色ブレンディングのための最適化を実施し、ピクセル色データを組織化し、アドレス・トランスレーションを実施することができる。

図２１Ｃは、少なくとも１つの実施例による、グラフィックス・マルチプロセッサ２１９６を示す。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２１９６は、図２１Ｂのグラフィックス・マルチプロセッサ２１３４である。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２１９６は、処理クラスタ２１９４のパイプライン・マネージャ２１３２と結合する。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２１９６は、限定はしないが、命令キャッシュ２１５２と、命令ユニット２１５４と、アドレス・マッピング・ユニット２１５６と、レジスタ・ファイル２１５８と、１つ又は複数のＧＰＧＰＵコア２１６２と、１つ又は複数のＬＳＵ２１６６とを含む実行パイプラインを有する。ＧＰＧＰＵコア２１６２及びＬＳＵ２１６６は、メモリ及びキャッシュ相互接続２１６８を介してキャッシュ・メモリ２１７２及び共有メモリ２１７０と結合される。

少なくとも１つの実施例では、命令キャッシュ２１５２は、実行すべき命令のストリームをパイプライン・マネージャ２１３２から受信する。少なくとも１つの実施例では、命令は、命令キャッシュ２１５２においてキャッシュされ、命令ユニット２１５４による実行のためにディスパッチされる。少なくとも１つの実施例では、命令ユニット２１５４は、命令をスレッド・グループ（たとえば、ワープ）としてディスパッチすることができ、スレッド・グループの各スレッドは、ＧＰＧＰＵコア２１６２内の異なる実行ユニットに割り当てられる。少なくとも１つの実施例では、命令は、統一アドレス空間内のアドレスを指定することによって、ローカル、共有、又はグローバルのアドレス空間のいずれかにアクセスすることができる。少なくとも１つの実施例では、アドレス・マッピング・ユニット２１５６は、統一アドレス空間中のアドレスを、ＬＳＵ２１６６によってアクセスされ得る個別メモリ・アドレスにトランスレートするために使用され得る。

少なくとも１つの実施例では、レジスタ・ファイル２１５８は、グラフィックス・マルチプロセッサ２１９６の機能ユニットにレジスタのセットを提供する。少なくとも１つの実施例では、レジスタ・ファイル２１５８は、グラフィックス・マルチプロセッサ２１９６の機能ユニット（たとえば、ＧＰＧＰＵコア２１６２、ＬＳＵ２１６６）のデータ経路に接続された、オペランドのための一時的ストレージを提供する。少なくとも１つの実施例では、レジスタ・ファイル２１５８は、各機能ユニットがレジスタ・ファイル２１５８の専用部分を割り振られるように、機能ユニットの各々の間で分割される。少なくとも１つの実施例では、レジスタ・ファイル２１５８は、グラフィックス・マルチプロセッサ２１９６によって実行されている異なるスレッド・グループ間で分割される。

少なくとも１つの実施例では、ＧＰＧＰＵコア２１６２は、各々、グラフィックス・マルチプロセッサ２１９６の命令を実行するために使用されるＦＰＵ及び／又は整数ＡＬＵを含むことができる。ＧＰＧＰＵコア２１６２は、同様のアーキテクチャであることも異なるアーキテクチャであることもある。少なくとも１つの実施例では、ＧＰＧＰＵコア２１６２の第１の部分は、単精度ＦＰＵ及び整数ＡＬＵを含み、ＧＰＧＰＵコア２１６２の第２の部分は、倍精度ＦＰＵを含む。少なくとも１つの実施例では、ＦＰＵは、浮動小数点算術のためのＩＥＥＥ７５４－２００８規格を実装することができるか、又は、可変精度の浮動小数点算術を有効にすることができる。少なくとも１つの実施例では、グラフィックス・マルチプロセッサ２１９６は、追加として、矩形コピー動作又はピクセル・ブレンディング動作などの特定の機能を実施するための１つ又は複数の固定機能ユニット又は特別機能ユニットを含むことができる。少なくとも１つの実施例では、ＧＰＧＰＵコア２１６２のうちの１つ又は複数は、固定又は特別機能論理をも含むことができる。

少なくとも１つの実施例では、ＧＰＧＰＵコア２１６２は、データの複数のセットに対して単一の命令を実施することが可能なＳＩＭＤ論理を含む。少なくとも１つの実施例では、ＧＰＧＰＵコア２１６２は、ＳＩＭＤ４、ＳＩＭＤ８、及びＳＩＭＤ１６命令を物理的に実行し、ＳＩＭＤ１、ＳＩＭＤ２、及びＳＩＭＤ３２命令を論理的に実行することができる。少なくとも１つの実施例では、ＧＰＧＰＵコア２１６２のためのＳＩＭＤ命令は、シェーダ・コンパイラによるコンパイル時に生成されるか、或いは、単一プログラム複数データ（「ＳＰＭＤ」：ｓｉｎｇｌｅｐｒｏｇｒａｍｍｕｌｔｉｐｌｅｄａｔａ）又はＳＩＭＴアーキテクチャのために書かれ、コンパイルされたプログラムを実行しているときに自動的に生成され得る。少なくとも１つの実施例では、ＳＩＭＴ実行モデルのために構成されたプログラムの複数のスレッドは、単一のＳＩＭＤ命令を介して実行され得る。たとえば、少なくとも１つの実施例では、同じ又は同様の動作を実施する８つのＳＩＭＴスレッドが、単一のＳＩＭＤ８論理ユニットを介して並列に実行され得る。

少なくとも１つの実施例では、メモリ及びキャッシュ相互接続２１６８は、グラフィックス・マルチプロセッサ２１９６の各機能ユニットをレジスタ・ファイル２１５８及び共有メモリ２１７０に接続する相互接続ネットワークである。少なくとも１つの実施例では、メモリ及びキャッシュ相互接続２１６８は、ＬＳＵ２１６６が、共有メモリ２１７０とレジスタ・ファイル２１５８との間でロード動作及びストア動作を実装することを可能にするクロスバー相互接続である。少なくとも１つの実施例では、レジスタ・ファイル２１５８は、ＧＰＧＰＵコア２１６２と同じ周波数において動作することができ、したがって、ＧＰＧＰＵコア２１６２とレジスタ・ファイル２１５８との間のデータ転送は、非常に低いレイテンシである。少なくとも１つの実施例では、共有メモリ２１７０は、グラフィックス・マルチプロセッサ２１９６内の機能ユニット上で実行するスレッド間の通信を可能にするために使用され得る。少なくとも１つの実施例では、キャッシュ・メモリ２１７２は、たとえば、機能ユニットとテクスチャ・ユニット２１３６との間で通信されるテクスチャ・データをキャッシュするために、データ・キャッシュとして使用され得る。少なくとも１つの実施例では、共有メモリ２１７０は、キャッシュされる管理されるプログラムとしても使用され得る。少なくとも１つの実施例では、ＧＰＧＰＵコア２１６２上で実行しているスレッドは、キャッシュ・メモリ２１７２内に記憶される自動的にキャッシュされるデータに加えて、データを共有メモリ内にプログラム的に記憶することができる。

少なくとも１つの実施例では、本明細書で説明されるような並列プロセッサ又はＧＰＧＰＵは、グラフィックス動作、機械学習動作、パターン分析動作、及び様々な汎用ＧＰＵ（ＧＰＧＰＵ）機能を加速するために、ホスト／プロセッサ・コアに通信可能に結合される。少なくとも１つの実施例では、ＧＰＵは、バス又は他の相互接続（たとえば、ＰＣＩｅ又はＮＶＬｉｎｋなどの高速相互接続）を介してホスト・プロセッサ／コアに通信可能に結合され得る。少なくとも１つの実施例では、ＧＰＵは、コアとして同じパッケージ又はチップに集積され、パッケージ又はチップの内部にあるプロセッサ・バス／相互接続を介してコアに通信可能に結合され得る。少なくとも１つの実施例では、ＧＰＵが接続される様式にかかわらず、プロセッサ・コアは、ＷＤ中に含まれているコマンド／命令のシーケンスの形態で、ワークをＧＰＵに割り振り得る。少なくとも１つの実施例では、ＧＰＵは、次いで、これらのコマンド／命令を効率的に処理するための専用回路要素／論理を使用する。

図２２は、少なくとも１つの実施例による、グラフィックス・プロセッサ２２００を示す。少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、リング相互接続２２０２と、パイプライン・フロント・エンド２２０４と、メディア・エンジン２２３７と、グラフィックス・コア２２８０Ａ～２２８０Ｎとを含む。少なくとも１つの実施例では、リング相互接続２２０２は、グラフィックス・プロセッサ２２００を、他のグラフィックス・プロセッサ又は１つ又は複数の汎用プロセッサ・コアを含む他の処理ユニットに結合する。少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、マルチコア処理システム内に組み込まれた多くのプロセッサのうちの１つである。

少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、リング相互接続２２０２を介してコマンドのバッチを受信する。少なくとも１つの実施例では、入って来るコマンドは、パイプライン・フロント・エンド２２０４中のコマンド・ストリーマ２２０３によって解釈される。少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、（１つ又は複数の）グラフィックス・コア２２８０Ａ～２２８０Ｎを介して３Ｄジオメトリ処理及びメディア処理を実施するためのスケーラブル実行論理を含む。少なくとも１つの実施例では、３Ｄジオメトリ処理コマンドについて、コマンド・ストリーマ２２０３は、コマンドをジオメトリ・パイプライン２２３６に供給する。少なくとも１つの実施例では、少なくともいくつかのメディア処理コマンドについて、コマンド・ストリーマ２２０３は、コマンドをビデオ・フロント・エンド２２３４に供給し、ビデオ・フロント・エンド２２３４はメディア・エンジン２２３７と結合する。少なくとも１つの実施例では、メディア・エンジン２２３７は、ビデオ及び画像後処理のためのビデオ品質エンジン（「ＶＱＥ」：ＶｉｄｅｏＱｕａｌｉｔｙＥｎｇｉｎｅ）２２３０と、ハードウェア加速メディア・データ・エンコード及びデコードを提供するためのマルチ・フォーマット・エンコード／デコード（「ＭＦＸ」：ｍｕｌｔｉ－ｆｏｒｍａｔｅｎｃｏｄｅ／ｄｅｃｏｄｅ）エンジン２２３３とを含む。少なくとも１つの実施例では、ジオメトリ・パイプライン２２３６及びメディア・エンジン２２３７は、各々、少なくとも１つのグラフィックス・コア２２８０Ａによって提供されるスレッド実行リソースのための実行スレッドを生成する。

少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、各々が（コア・サブ・スライスと呼ばれることがある）複数のサブ・コア２２５０Ａ～５５０Ｎ、２２６０Ａ～２２６０Ｎを有する、（コア・スライスと呼ばれることがある）モジュール式グラフィックス・コア２２８０Ａ～２２８０Ｎを特徴とするスケーラブル・スレッド実行リソースを含む。少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、任意の数のグラフィックス・コア２２８０Ａ～２２８０Ｎを有することができる。少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、少なくとも第１のサブ・コア２２５０Ａ及び第２のサブ・コア２２６０Ａを有するグラフィックス・コア２２８０Ａを含む。少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、単一のサブ・コア（たとえば、サブ・コア２２５０Ａ）をもつ低電力プロセッサである。少なくとも１つの実施例では、グラフィックス・プロセッサ２２００は、各々が第１のサブ・コア２２５０Ａ～２２５０Ｎのセットと第２のサブ・コア２２６０Ａ～２２６０Ｎのセットとを含む、複数のグラフィックス・コア２２８０Ａ～２２８０Ｎを含む。少なくとも１つの実施例では、第１のサブ・コア２２５０Ａ～２２５０Ｎ中の各サブ・コアは、少なくとも、実行ユニット（「ＥＵ」：ｅｘｅｃｕｔｉｏｎｕｎｉｔ）２２５２Ａ～２２５２Ｎ及びメディア／テクスチャ・サンプラ２２５４Ａ～２２５４Ｎの第１のセットを含む。少なくとも１つの実施例では、第２のサブ・コア２２６０Ａ～２２６０Ｎ中の各サブ・コアは、少なくとも、実行ユニット２２６２Ａ～２２６２Ｎ及びサンプラ２２６４Ａ～２２６４Ｎの第２のセットを含む。少なくとも１つの実施例では、各サブ・コア２２５０Ａ～２２５０Ｎ、２２６０Ａ～２２６０Ｎは、共有リソース２２７０Ａ～２２７０Ｎのセットを共有する。少なくとも１つの実施例では、共有リソース２２７０は、共有キャッシュ・メモリ及びピクセル動作論理を含む。

図２３は、少なくとも１つの実施例による、プロセッサ２３００を示す。少なくとも１つの実施例では、プロセッサ２３００は、限定はしないが、命令を実施するための論理回路を含み得る。少なくとも１つの実施例では、プロセッサ２３００は、ｘ８６命令、ＡＭＲ命令、ＡＳＩＣのための特別命令などを含む命令を実施し得る。少なくとも１つの実施例では、プロセッサ２３１０は、カリフォルニア州サンタクララのＩｎｔｅｌＣｏｒｐｏｒａｔｉｏｎからの、ＭＭＸ（商標）技術で可能にされたマイクロプロセッサ中の６４ビット幅ＭＭＸレジスタなど、パック・データを記憶するためのレジスタを含み得る。少なくとも１つの実施例では、整数形式と浮動小数点形式の両方で利用可能なＭＭＸレジスタは、ＳＩＭＤ及びストリーミングＳＩＭＤ拡張（「ＳＳＥ」：ｓｔｒｅａｍｉｎｇＳＩＭＤｅｘｔｅｎｓｉｏｎ）命令を伴うパック・データ要素で動作し得る。少なくとも１つの実施例では、ＳＳＥ２、ＳＳＥ３、ＳＳＥ４、ＡＶＸ、又はそれ以上（総称して「ＳＳＥｘ」と呼ばれる）技術に関係する１２８ビット幅ＸＭＭレジスタは、そのようなパック・データ・オペランドを保持し得る。少なくとも１つの実施例では、プロセッサ２３１０は、ＣＵＤＡプログラムを加速するための命令を実施し得る。

少なくとも１つの実施例では、プロセッサ２３００は、実行されるべき命令をフェッチし、プロセッサ・パイプラインにおいて後で使用されるべき命令を準備するためのイン・オーダー・フロント・エンド（「フロント・エンド」）２３０１を含む。少なくとも１つの実施例では、フロント・エンド２３０１は、いくつかのユニットを含み得る。少なくとも１つの実施例では、命令プリフェッチャ２３２６が、メモリから命令をフェッチし、命令を命令デコーダ２３２８にフィードし、命令デコーダ２３２８が命令を復号又は解釈する。たとえば、少なくとも１つの実施例では、命令デコーダ２３２８は、受信された命令を、実行のために「マイクロ命令」又は「マイクロ・オペレーション」と呼ばれる（「マイクロ・オプ」又は「ｕｏｐ」とも呼ばれる）１つ又は複数のオペレーションに復号する。少なくとも１つの実施例では、命令デコーダ２３２８は、命令を、動作を実施するためにマイクロアーキテクチャによって使用され得るオプコード及び対応するデータ並びに制御フィールドに構文解析する。少なくとも１つの実施例では、トレース・キャッシュ２３３０は、復号されたｕｏｐを、実行のためにｕｏｐキュー２３３４においてプログラム順のシーケンス又はトレースにアセンブルし得る。少なくとも１つの実施例では、トレース・キャッシュ２３３０が複雑な命令に遭遇したとき、マイクロコードＲＯＭ２３３２が、動作を完了するために必要なｕｏｐを提供する。

少なくとも１つの実施例では、単一のマイクロ・オプにコンバートされ得る命令もあれば、全動作を完了するためにいくつかのマイクロ・オプを必要とする命令もある。少なくとも１つの実施例では、命令を完了するために５つ以上のマイクロ・オプが必要とされる場合、命令デコーダ２３２８は、マイクロコードＲＯＭ２３３２にアクセスして命令を実施し得る。少なくとも１つの実施例では、命令は、命令デコーダ２３２８における処理のために少数のマイクロ・オプに復号され得る。少なくとも１つの実施例では、命令は、動作を達成するためにいくつかのマイクロ・オプが必要とされる場合、マイクロコードＲＯＭ２３３２内に記憶され得る。少なくとも１つの実施例では、トレース・キャッシュ２３３０は、マイクロコードＲＯＭ２３３２からの１つ又は複数の命令を完了するために、エントリ・ポイント・プログラマブル論理アレイ（「ＰＬＡ」：ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃａｒｒａｙ）を参照して、マイクロコード・シーケンスを読み取るための正しいマイクロ命令ポインタを決定する。少なくとも１つの実施例では、マイクロコードＲＯＭ２３３２が命令のためにマイクロ・オプのシーケンシングを終えた後、機械のフロント・エンド２３０１は、トレース・キャッシュ２３３０からマイクロ・オプをフェッチすることを再開し得る。

少なくとも１つの実施例では、アウト・オブ・オーダー実行エンジン（「アウト・オブ・オーダー・エンジン」）２３０３は、実行のために命令を準備し得る。少なくとも１つの実施例では、アウト・オブ・オーダー実行論理は、命令がパイプラインを下り、実行のためにスケジューリングされるときの性能を最適化するために、命令のフローを滑らかにし、それを並べ替えるためのいくつかのバッファを有する。アウト・オブ・オーダー実行エンジン２３０３は、限定はしないが、アロケータ／レジスタ・リネーマ２３４０と、メモリｕｏｐキュー２３４２と、整数／浮動小数点ｕｏｐキュー２３４４と、メモリ・スケジューラ２３４６と、高速スケジューラ２３０２と、低速／汎用浮動小数点スケジューラ（「低速／汎用ＦＰ（ｆｌｏａｔｉｎｇｐｏｉｎｔ）スケジューラ」）２３０４と、単純浮動小数点スケジューラ（「単純ＦＰスケジューラ」）２３０６とを含む。少なくとも１つの実施例では、高速スケジューラ２３０２、低速／汎用浮動小数点スケジューラ２３０４、及び単純浮動小数点スケジューラ２３０６は、総称して本明細書では「ｕｏｐスケジューラ２３０２、２３０４、２３０６」とも呼ばれる。アロケータ／レジスタ・リネーマ２３４０は、実行するために各ｕｏｐが必要とする機械バッファ及びリソースを割り振る。少なくとも１つの実施例では、アロケータ／レジスタ・リネーマ２３４０は、レジスタ・ファイルへのエントリ時に論理レジスタをリネームする。少なくとも１つの実施例では、アロケータ／レジスタ・リネーマ２３４０はまた、メモリ・スケジューラ２３４６及びｕｏｐスケジューラ２３０２、２３０４、２３０６の前の、２つのｕｏｐキュー、すなわちメモリ動作のためのメモリｕｏｐキュー２３４２及び非メモリ動作のための整数／浮動小数点ｕｏｐキュー２３４４のうちの１つにおいて、各ｕｏｐのためのエントリを割り振る。少なくとも１つの実施例では、ｕｏｐスケジューラ２３０２、２３０４、２３０６は、ｕｏｐがいつ実行する準備ができるかを、それらの従属入力レジスタ・オペランド・ソースが準備されていることと、それらの動作を完了するためにｕｏｐが必要とする実行リソースの利用可能性とに基づいて、決定する。少なくとも１つの実施例では、少なくとも１つの実施例の高速スケジューラ２３０２は、メイン・クロック・サイクルの半分ごとにスケジューリングし得、低速／汎用浮動小数点スケジューラ２３０４及び単純浮動小数点スケジューラ２３０６は、メイン・プロセッサ・クロック・サイクル当たりに１回スケジューリングし得る。少なくとも１つの実施例では、ｕｏｐスケジューラ２３０２、２３０４、２３０６は、実行のためにｕｏｐをスケジューリングするためにディスパッチ・ポートを調停する。

少なくとも１つの実施例では、実行ブロック２３１１は、限定はしないが、整数レジスタ・ファイル／バイパス・ネットワーク２３０８と、浮動小数点レジスタ・ファイル／バイパス・ネットワーク（「ＦＰレジスタ・ファイル／バイパス・ネットワーク」）２３１０と、アドレス生成ユニット（「ＡＧＵ」：ａｄｄｒｅｓｓｇｅｎｅｒａｔｉｏｎｕｎｉｔ）２３１２及び２３１４と、高速ＡＬＵ２３１６及び２３１８と、低速ＡＬＵ２３２０と、浮動小数点ＡＬＵ（「ＦＰ」）２３２２と、浮動小数点移動ユニット（「ＦＰ移動」）２３２４とを含む。少なくとも１つの実施例では、整数レジスタ・ファイル／バイパス・ネットワーク２３０８及び浮動小数点レジスタ・ファイル／バイパス・ネットワーク２３１０は、本明細書では「レジスタ・ファイル２３０８、２３１０」とも呼ばれる。少なくとも１つの実施例では、ＡＧＵ２３１２及び２３１４、高速ＡＬＵ２３１６及び２３１８、低速ＡＬＵ２３２０、浮動小数点ＡＬＵ２３２２、及び浮動小数点移動ユニット２３２４は、本明細書では「実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、及び２３２４」とも呼ばれる。少なくとも１つの実施例では、実行ブロックは、限定はしないが、（ゼロを含む）任意の数及びタイプのレジスタ・ファイル、バイパス・ネットワーク、アドレス生成ユニット、及び実行ユニットを、任意の組合せで含み得る。

少なくとも１つの実施例では、レジスタ・ファイル２３０８、２３１０は、ｕｏｐスケジューラ２３０２、２３０４、２３０６と、実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、及び２３２４との間に配置され得る。少なくとも１つの実施例では、整数レジスタ・ファイル／バイパス・ネットワーク２３０８は、整数演算を実施する。少なくとも１つの実施例では、浮動小数点レジスタ・ファイル／バイパス・ネットワーク２３１０は、浮動小数点演算を実施する。少なくとも１つの実施例では、レジスタ・ファイル２３０８、２３１０の各々は、限定はしないが、バイパス・ネットワークを含み得、バイパス・ネットワークは、レジスタ・ファイルにまだ書き込まれていない完了したばかりの結果を、新しい従属ｕｏｐにバイパス又はフォワーディングし得る。少なくとも１つの実施例では、レジスタ・ファイル２３０８、２３１０は、互いにデータを通信し得る。少なくとも１つの実施例では、整数レジスタ・ファイル／バイパス・ネットワーク２３０８は、限定はしないが、２つの別個のレジスタ・ファイル、すなわち低次３２ビットのデータのための１つのレジスタ・ファイル及び高次３２ビットのデータのための第２のレジスタ・ファイルを含み得る。少なくとも１つの実施例では、浮動小数点命令は、通常、６４～１２８ビット幅のオペランドを有するので、浮動小数点レジスタ・ファイル／バイパス・ネットワーク２３１０は、限定はしないが、１２８ビット幅のエントリを含み得る。

少なくとも１つの実施例では、実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、２３２４は、命令を実行し得る。少なくとも１つの実施例では、レジスタ・ファイル２３０８、２３１０は、マイクロ命令が実行する必要がある整数及び浮動小数点データ・オペランド値を記憶する。少なくとも１つの実施例では、プロセッサ２３００は、限定はしないが、任意の数及び組合せの実行ユニット２３１２、２３１４、２３１６、２３１８、２３２０、２３２２、２３２４を含み得る。少なくとも１つの実施例では、浮動小数点ＡＬＵ２３２２及び浮動小数点移動ユニット２３２４は、浮動小数点、ＭＭＸ、ＳＩＭＤ、ＡＶＸ及びＳＳＥ、又は他の演算を実行し得る。少なくとも１つの実施例では、浮動小数点ＡＬＵ２３２２は、限定はしないが、除算、平方根、及び剰余マイクロ・オプを実行するための６４ビットずつの浮動小数点デバイダを含み得る。少なくとも１つの実施例では、浮動小数点値を伴う命令は、浮動小数点ハードウェアで対処され得る。少なくとも１つの実施例では、ＡＬＵ演算は、高速ＡＬＵ２３１６、２３１８に渡され得る。少なくとも１つの実施例では、高速ＡＬＵ２３１６、２３１８は、クロック・サイクルの半分の実効レイテンシを伴う高速演算を実行し得る。少なくとも１つの実施例では、低速ＡＬＵ２３２０は、限定はしないが、乗数、シフト、フラグ論理、及びブランチ処理などの長レイテンシ・タイプの演算のための整数実行ハードウェアを含み得るので、ほとんどの複雑な整数演算は低速ＡＬＵ２３２０に進む。少なくとも１つの実施例では、メモリ・ロード／ストア動作は、ＡＧＵ２３１２、２３１４によって実行され得る。少なくとも１つの実施例では、高速ＡＬＵ２３１６、高速ＡＬＵ２３１８、及び低速ＡＬＵ２３２０は、６４ビット・データ・オペランドで整数演算を実施し得る。少なくとも１つの実施例では、高速ＡＬＵ２３１６、高速ＡＬＵ２３１８、及び低速ＡＬＵ２３２０は、１６、３２、１２８、２５６などを含む様々なデータ・ビット・サイズをサポートするために実装され得る。少なくとも１つの実施例では、浮動小数点ＡＬＵ２３２２及び浮動小数点移動ユニット２３２４は、様々なビット幅を有する様々なオペランドをサポートするために実装され得る。少なくとも１つの実施例では、浮動小数点ＡＬＵ２３２２及び浮動小数点移動ユニット２３２４は、ＳＩＭＤ及びマルチメディア命令と併せた１２８ビット幅のパック・データ・オペランドで動作し得る。

少なくとも１つの実施例では、ｕｏｐスケジューラ２３０２、２３０４、２３０６は、親ロードが実行し終える前に従属演算をディスパッチする。少なくとも１つの実施例では、ｕｏｐは、プロセッサ２３００において投機的にスケジューリング及び実行され得るので、プロセッサ２３００は、メモリ・ミスに対処するための論理をも含み得る。少なくとも１つの実施例では、データ・キャッシュにおいてデータ・ロードがミスした場合、一時的に不正確なデータをもつスケジューラを通り過ぎたパイプラインにおいて、進行中の従属演算があり得る。少なくとも１つの実施例では、リプレイ機構が、不正確なデータを使用する命令を追跡及び再実行する。少なくとも１つの実施例では、従属演算は、リプレイされる必要があり得、独立した演算は、完了することを可能にされ得る。少なくとも１つの実施例では、プロセッサの少なくとも１つの実施例のスケジューラ及びリプレイ機構はまた、テキスト・ストリング比較演算のための命令シーケンスを捕捉するように設計され得る。

少なくとも１つの実施例では、「レジスタ」という用語は、オペランドを識別するための命令の一部として使用され得るオンボード・プロセッサ・ストレージ・ロケーションを指し得る。少なくとも１つの実施例では、レジスタは、（プログラマの視点から見て）プロセッサの外部から使用可能であり得るものであり得る。少なくとも１つの実施例では、レジスタは、特定のタイプの回路に限定されないことがある。むしろ、少なくとも１つの実施例では、レジスタは、データを記憶し、データを提供し、本明細書で説明される機能を実施し得る。少なくとも１つの実施例では、本明細書で説明されるレジスタは、専用物理レジスタ、レジスタ・リネーミングを使用して動的に割り振られる物理レジスタ、専用物理レジスタと動的に割り振られる物理レジスタとの組合せなど、任意の数の異なる技法を使用して、プロセッサ内の回路要素によって実装され得る。少なくとも１つの実施例では、整数レジスタは、３２ビット整数データを記憶する。少なくとも１つの実施例のレジスタ・ファイルは、パック・データのための８つのマルチメディアＳＩＭＤレジスタをも含んでいる。

図２４は、少なくとも１つの実施例による、プロセッサ２４００を示す。少なくとも１つの実施例では、プロセッサ２４００は、限定はしないが、１つ又は複数のプロセッサ・コア（「コア」）２４０２Ａ～２４０２Ｎと、統合されたメモリ・コントローラ２４１４と、統合されたグラフィックス・プロセッサ２４０８とを含む。少なくとも１つの実施例では、プロセッサ２４００は、破線ボックスによって表される追加プロセッサ・コア２４０２Ｎまでの追加コアを含むことができる。少なくとも１つの実施例では、プロセッサ・コア２４０２Ａ～２４０２Ｎの各々は、１つ又は複数の内部キャッシュ・ユニット２４０４Ａ～２４０４Ｎを含む。少なくとも１つの実施例では、各プロセッサ・コアはまた、１つ又は複数の共有キャッシュ・ユニット２４０６へのアクセスを有する。

少なくとも１つの実施例では、内部キャッシュ・ユニット２４０４Ａ～２４０４Ｎと共有キャッシュ・ユニット２４０６とは、プロセッサ２４００内のキャッシュ・メモリ階層を表す。少なくとも１つの実施例では、キャッシュ・メモリ・ユニット２４０４Ａ～２４０４Ｎは、各プロセッサ・コア内の命令及びデータ・キャッシュの少なくとも１つのレベル、及びＬ２、Ｌ３、レベル４（「Ｌ４」）などの共有中間レベル・キャッシュの１つ又は複数のレベル、又はキャッシュの他のレベルを含み得、ここで、外部メモリの前の最高レベルのキャッシュは、ＬＬＣとして分類される。少なくとも１つの実施例では、キャッシュ・コヒーレンシ論理は、様々なキャッシュ・ユニット２４０６及び２４０４Ａ～２４０４Ｎ間でコヒーレンシを維持する。

少なくとも１つの実施例では、プロセッサ２４００は、１つ又は複数のバス・コントローラ・ユニット２４１６とシステム・エージェント・コア２４１０とのセットをも含み得る。少なくとも１つの実施例では、１つ又は複数のバス・コントローラ・ユニット２４１６は、１つ又は複数のＰＣＩ又はＰＣＩエクスプレス・バスなどの周辺バスのセットを管理する。少なくとも１つの実施例では、システム・エージェント・コア２４１０は、様々なプロセッサ構成要素のための管理機能性を提供する。少なくとも１つの実施例では、システム・エージェント・コア２４１０は、様々な外部メモリ・デバイス（図示せず）へのアクセスを管理するための１つ又は複数の統合されたメモリ・コントローラ２４１４を含む。

少なくとも１つの実施例では、プロセッサ・コア２４０２Ａ～２４０２Ｎのうちの１つ又は複数は、同時マルチスレッディングのサポートを含む。少なくとも１つの実施例では、システム・エージェント・コア２４１０は、マルチスレッド処理中にプロセッサ・コア２４０２Ａ～２４０２Ｎを協調させ、動作させるための構成要素を含む。少なくとも１つの実施例では、システム・エージェント・コア２４１０は、追加として、電力制御ユニット（「ＰＣＵ」：ｐｏｗｅｒｃｏｎｔｒｏｌｕｎｉｔ）を含み得、ＰＣＵは、プロセッサ・コア２４０２Ａ～２４０２Ｎ及びグラフィックス・プロセッサ２４０８の１つ又は複数の電力状態を調節するための論理及び構成要素を含む。

少なくとも１つの実施例では、プロセッサ２４００は、追加として、グラフィックス処理動作を実行するためのグラフィックス・プロセッサ２４０８を含む。少なくとも１つの実施例では、グラフィックス・プロセッサ２４０８は、共有キャッシュ・ユニット２４０６、及び１つ又は複数の統合されたメモリ・コントローラ２４１４を含むシステム・エージェント・コア２４１０と結合する。少なくとも１つの実施例では、システム・エージェント・コア２４１０は、１つ又は複数の結合されたディスプレイへのグラフィックス・プロセッサ出力を駆動するためのディスプレイ・コントローラ２４１１をも含む。少なくとも１つの実施例では、ディスプレイ・コントローラ２４１１はまた、少なくとも１つの相互接続を介してグラフィックス・プロセッサ２４０８と結合された別個のモジュールであり得るか、又はグラフィックス・プロセッサ２４０８内に組み込まれ得る。

少なくとも１つの実施例では、プロセッサ２４００の内部構成要素を結合するために、リング・ベースの相互接続ユニット２４１２が使用される。少なくとも１つの実施例では、ポイントツーポイント相互接続、切替え相互接続、又は他の技法などの代替相互接続ユニットが使用され得る。少なくとも１つの実施例では、グラフィックス・プロセッサ２４０８は、Ｉ／Ｏリンク２４１３を介してリング相互接続２４１２と結合する。

少なくとも１つの実施例では、Ｉ／Ｏリンク２４１３は、様々なプロセッサ構成要素と、ｅＤＲＡＭモジュールなどの高性能組み込みメモリ・モジュール２４１８との間の通信を容易にするオン・パッケージＩ／Ｏ相互接続を含む、複数の種類のＩ／Ｏ相互接続のうちの少なくとも１つを表す。少なくとも１つの実施例では、プロセッサ・コア２４０２Ａ～２４０２Ｎの各々と、グラフィックス・プロセッサ２４０８とは、共有ＬＬＣとして組み込みメモリ・モジュール２４１８を使用する。

少なくとも１つの実施例では、プロセッサ・コア２４０２Ａ～２４０２Ｎは、共通の命令セット・アーキテクチャを実行する同種のコアである。少なくとも１つの実施例では、プロセッサ・コア２４０２Ａ～２４０２Ｎは、ＩＳＡという観点から異種であり、ここで、プロセッサ・コア２４０２Ａ～２４０２Ｎのうちの１つ又は複数は、共通の命令セットを実行し、プロセッサ・コア２４０２Ａ～２４－０２Ｎのうちの１つ又は複数の他のコアは、共通の命令セットのサブセット、又は異なる命令セットを実行する。少なくとも１つの実施例では、プロセッサ・コア２４０２Ａ～２４０２Ｎは、マイクロアーキテクチャという観点から異種であり、ここで、電力消費量が比較的高い１つ又は複数のコアは、電力消費量がより低い１つ又は複数のコアと結合する。少なくとも１つの実施例では、プロセッサ２４００は、１つ又は複数のチップ上に、又はＳｏＣ集積回路として実装され得る。

図２５は、説明される少なくとも１つの実施例による、グラフィックス・プロセッサ・コア２５００を示す。少なくとも１つの実施例では、グラフィックス・プロセッサ・コア２５００は、グラフィックス・コア・アレイ内に含まれる。少なくとも１つの実施例では、コア・スライスと呼ばれることがあるグラフィックス・プロセッサ・コア２５００は、モジュール式グラフィックス・プロセッサ内の１つ又は複数のグラフィックス・コアであり得る。少なくとも１つの実施例では、グラフィックス・プロセッサ・コア２５００は、１つのグラフィックス・コア・スライスの例示であり、本明細書で説明されるグラフィックス・プロセッサは、ターゲット電力及び性能エンベロープに基づいて、複数のグラフィックス・コア・スライスを含み得る。少なくとも１つの実施例では、各グラフィックス・コア２５００は、汎用及び固定機能論理のモジュール式ブロックを含む、サブ・スライスとも呼ばれる複数のサブ・コア２５０１Ａ～２５０１Ｆと結合された固定機能ブロック２５３０を含むことができる。

少なくとも１つの実施例では、固定機能ブロック２５３０は、たとえば、より低い性能及び／又はより低い電力のグラフィックス・プロセッサ実装形態において、グラフィックス・プロセッサ２５００中のすべてのサブ・コアによって共有され得るジオメトリ／固定機能パイプライン２５３６を含む。少なくとも１つの実施例では、ジオメトリ／固定機能パイプライン２５３６は、３Ｄ固定機能パイプラインと、ビデオ・フロント・エンド・ユニットと、スレッド・スポーナ（ｓｐａｗｎｅｒ）及びスレッド・ディスパッチャと、統一リターン・バッファを管理する統一リターン・バッファ・マネージャとを含む。

少なくとも１つの実施例では、固定機能ブロック２５３０はまた、グラフィックスＳｏＣインターフェース２５３７と、グラフィックス・マイクロコントローラ２５３８と、メディア・パイプライン２５３９とを含む。グラフィックスＳｏＣインターフェース２５３７は、グラフィックス・コア２５００と、ＳｏＣ集積回路内の他のプロセッサ・コアとの間のインターフェースを提供する。少なくとも１つの実施例では、グラフィックス・マイクロコントローラ２５３８は、スレッド・ディスパッチと、スケジューリングと、プリエンプションとを含む、グラフィックス・プロセッサ２５００の様々な機能を管理するように構成可能であるプログラマブル・サブ・プロセッサである。少なくとも１つの実施例では、メディア・パイプライン２５３９は、画像及びビデオ・データを含むマルチメディア・データの復号、符号化、前処理、及び／又は後処理を容易にするための論理を含む。少なくとも１つの実施例では、メディア・パイプライン２５３９は、サブ・コア２５０１～２５０１Ｆ内のコンピュート論理又はサンプリング論理への要求を介して、メディア動作を実装する。

少なくとも１つの実施例では、ＳｏＣインターフェース２５３７は、グラフィックス・コア２５００が汎用アプリケーション・プロセッサ・コア（たとえば、ＣＰＵ）及び／又はＳｏＣ内の他の構成要素と通信することを可能にし、ＳｏＣ内の他の構成要素は、共有ＬＬＣメモリ、システムＲＡＭ、及び／或いは組み込みオンチップ又はオンパッケージＤＲＡＭなどのメモリ階層要素を含む。少なくとも１つの実施例では、ＳｏＣインターフェース２５３７はまた、カメラ撮像パイプラインなど、ＳｏＣ内の固定機能デバイスとの通信を可能にすることができ、グラフィックス・コア２５００とＳｏＣ内のＣＰＵとの間で共有され得るグローバル・メモリ・アトミックの使用を可能にし、及び／又はそれを実装する。少なくとも１つの実施例では、ＳｏＣインターフェース２５３７はまた、グラフィックス・コア２５００のための電力管理制御を実装し、グラフィック・コア２５００のクロック・ドメインとＳｏＣ内の他のクロック・ドメインとの間のインターフェースを可能にすることができる。少なくとも１つの実施例では、ＳｏＣインターフェース２５３７は、グラフィックス・プロセッサ内の１つ又は複数のグラフィックス・コアの各々にコマンド及び命令を提供するように構成されたコマンド・ストリーマ及びグローバル・スレッド・ディスパッチャからのコマンド・バッファの受信を可能にする。少なくとも１つの実施例では、コマンド及び命令は、メディア動作が実施されるべきであるときにメディア・パイプライン２５３９にディスパッチされ得るか、又は、グラフィックス処理動作が実施されるべきであるときにジオメトリ及び固定機能パイプライン（たとえば、ジオメトリ及び固定機能パイプライン２５３６、ジオメトリ及び固定機能パイプライン２５１４）にディスパッチされ得る。

少なくとも１つの実施例では、グラフィックス・マイクロコントローラ２５３８は、グラフィックス・コア２５００のための様々なスケジューリング及び管理タスクを実施するように構成され得る。少なくとも１つの実施例では、グラフィックス・マイクロコントローラ２５３８は、サブ・コア２５０１Ａ～２５０１Ｆ内の実行ユニット（ＥＵ）アレイ２５０２Ａ～２５０２Ｆ、２５０４Ａ～２５０４Ｆ内の様々なグラフィックス並列エンジンに対して、グラフィックスを実施し、及び／又はワークロード・スケジューリングを算出することができる。少なくとも１つの実施例では、グラフィックス・コア２５００を含むＳｏＣのＣＰＵコア上で実行しているホスト・ソフトウェアは、複数のグラフィック・プロセッサ・ドアベルのうちの１つにワークロードをサブミットすることができ、このドアベルが、適切なグラフィックス・エンジンに対するスケジューリング動作を呼び出す。少なくとも１つの実施例では、スケジューリング動作は、どのワークロードを次に稼働すべきかを決定することと、ワークロードをコマンド・ストリーマにサブミットすることと、エンジン上で稼働している既存のワークロードをプリエンプトすることと、ワークロードの進行を監視することと、ワークロードが完了したときにホスト・ソフトウェアに通知することとを含む。少なくとも１つの実施例では、グラフィックス・マイクロコントローラ２５３８はまた、グラフィックス・コア２５００のための低電力又はアイドル状態を促進して、オペレーティング・システム及び／又はシステム上のグラフィックス・ドライバ・ソフトウェアとは無関係に、低電力状態移行にわたってグラフィックス・コア２５００内のレジスタを保存及び復元するアビリティをグラフィックス・コア２５００に提供することができる。

少なくとも１つの実施例では、グラフィックス・コア２５００は、示されているサブ・コア２５０１Ａ～２５０１Ｆよりも多い又はそれよりも少ない、Ｎ個までのモジュール式サブ・コアを有し得る。Ｎ個のサブ・コアの各セットについて、少なくとも１つの実施例では、グラフィックス・コア２５００はまた、共有機能論理２５１０、共有及び／又はキャッシュ・メモリ２５１２、ジオメトリ／固定機能パイプライン２５１４、並びに様々なグラフィックスを加速し、処理動作を算出するための追加の固定機能論理２５１６を含むことができる。少なくとも１つの実施例では、共有機能論理２５１０は、グラフィックス・コア２５００内の各Ｎ個のサブ・コアによって共有され得る論理ユニット（たとえば、サンプラ、数理、及び／又はスレッド間通信論理）を含むことができる。共有及び／又はキャッシュ・メモリ２５１２は、グラフィックス・コア２５００内のＮ個のサブ・コア２５０１Ａ～２５０１ＦのためのＬＬＣであり得、また、複数のサブ・コアによってアクセス可能である共有メモリとして働き得る。少なくとも１つの実施例では、ジオメトリ／固定機能パイプライン２５１４は、固定機能ブロック２５３０内のジオメトリ／固定機能パイプライン２５３６の代わりに含まれ得、同じ又は同様の論理ユニットを含むことができる。

少なくとも１つの実施例では、グラフィックス・コア２５００は、グラフィックス・コア２５００による使用のための様々な固定機能加速論理を含むことができる追加の固定機能論理２５１６を含む。少なくとも１つの実施例では、追加の固定機能論理２５１６は、位置限定シェーディング（ｐｏｓｉｔｉｏｎｏｎｌｙｓｈａｄｉｎｇ）において使用するための追加のジオメトリ・パイプラインを含む。位置限定シェーディングでは、少なくとも２つのジオメトリ・パイプラインが存在するが、ジオメトリ／固定機能パイプライン２５１６、２５３６内の完全ジオメトリ・パイプライン、並びに選別パイプライン（ｃｕｌｌｐｉｐｅｌｉｎｅ）においてであり、選別パイプラインは、追加の固定機能論理２５１６内に含まれ得る追加のジオメトリ・パイプラインである。少なくとも１つの実施例では、選別パイプラインは、完全ジオメトリ・パイプラインの縮小版である。少なくとも１つの実施例では、完全パイプライン及び選別パイプラインは、アプリケーションの異なるインスタンスを実行することができ、各インスタンスは別個のコンテキストを有する。少なくとも１つの実施例では、位置限定シェーディングは、切り捨てられた三角形の長い選別ランを隠すことができ、これは、いくつかのインスタンスにおいてシェーディングがより早く完了することを可能にする。たとえば、少なくとも１つの実施例では、選別パイプラインは、ピクセルの、フレーム・バッファへのラスタ化及びレンダリングを実施することなしに、頂点の位置属性をフェッチし、シェーディングするので、追加の固定機能論理２５１６内の選別パイプライン論理は、メイン・アプリケーションと並列で位置シェーダを実行することができ、全体的に完全パイプラインよりも速く臨界結果（ｃｒｉｔｉｃａｌｒｅｓｕｌｔ）を生成する。少なくとも１つの実施例では、選別パイプラインは、生成された臨界結果を使用して、すべての三角形について、それらの三角形が選別されているかどうかにかかわらず、可視性情報を算出することができる。少なくとも１つの実施例では、（このインスタンスではリプレイ・パイプラインと呼ばれることがある）完全パイプラインは、可視性情報を消費して、選別された三角形を飛ばして可視三角形のみをシェーディングすることができ、可視三角形は、最終的にラスタ化フェーズに渡される。

少なくとも１つの実施例では、追加の固定機能論理２５１６はまた、ＣＵＤＡプログラムを加速するために、固定機能行列乗算論理など、汎用処理加速論理を含むことができる。

少なくとも１つの実施例では、各グラフィックス・サブ・コア２５０１Ａ～２５０１Ｆは、実行リソースのセットを含み、実行リソースのセットは、グラフィックス・パイプライン、メディア・パイプライン、又はシェーダ・プログラムによる要求に応答して、グラフィックス動作、メディア動作、及びコンピュート動作を実施するために使用され得る。少なくとも１つの実施例では、グラフィックス・サブ・コア２５０１Ａ～２５０１Ｆは、複数のＥＵアレイ２５０２Ａ～２５０２Ｆ、２５０４Ａ～２５０４Ｆと、スレッド・ディスパッチ及びスレッド間通信（「ＴＤ／ＩＣ」：ｔｈｒｅａｄｄｉｓｐａｔｃｈａｎｄｉｎｔｅｒ－ｔｈｒｅａｄｃｏｍｍｕｎｉｃａｔｉｏｎ）論理２５０３Ａ～２５０３Ｆと、３Ｄ（たとえば、テクスチャ）サンプラ２５０５Ａ～２５０５Ｆと、メディア・サンプラ２５０６Ａ～２５０６Ｆと、シェーダ・プロセッサ２５０７Ａ～２５０７Ｆと、共有ローカル・メモリ（「ＳＬＭ」：ｓｈａｒｅｄｌｏｃａｌｍｅｍｏｒｙ）２５０８Ａ～２５０８Ｆとを含む。ＥＵアレイ２５０２Ａ～２５０２Ｆ、２５０４Ａ～２５０４Ｆは、各々、複数の実行ユニットを含み、複数の実行ユニットは、グラフィックス、メディア、又はコンピュート・シェーダ・プログラムを含むグラフィックス動作、メディア動作、又はコンピュート動作のサービスにおいて浮動小数点及び整数／固定小数点論理演算を実施することが可能なＧＰＧＰＵである。少なくとも１つの実施例では、ＴＤ／ＩＣ論理２５０３Ａ～２５０３Ｆは、サブ・コア内の実行ユニットのためのローカル・スレッド・ディスパッチ及びスレッド制御動作を実施し、サブ・コアの実行ユニット上で実行しているスレッド間の通信を容易にする。少なくとも１つの実施例では、３Ｄサンプラ２５０５Ａ～２５０５Ｆは、テクスチャ又は他の３Ｄグラフィックス関係データをメモリに読み取ることができる。少なくとも１つの実施例では、３Ｄサンプラは、所与のテクスチャに関連する、構成されたサンプル状態及びテクスチャ・フォーマットに基づいて、テクスチャ・データを異なるやり方で読み取ることができる。少なくとも１つの実施例では、メディア・サンプラ２５０６Ａ～２５０６Ｆは、メディア・データに関連するタイプ及びフォーマットに基づいて、同様の読取り動作を実施することができる。少なくとも１つの実施例では、各グラフィックス・サブ・コア２５０１Ａ～２５０１Ｆは、代替的に統一３Ｄ及びメディア・サンプラを含むことができる。少なくとも１つの実施例では、サブ・コア２５０１Ａ～２５０１Ｆの各々内の実行ユニット上で実行しているスレッドは、スレッド・グループ内で実行しているスレッドがオンチップ・メモリの共通のプールを使用して実行することを可能にするために、各サブ・コア内の共有ローカル・メモリ２５０８Ａ～２５０８Ｆを利用することができる。

図２６は、少なくとも１つの実施例による、並列処理ユニット（「ＰＰＵ」：ｐａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）２６００を示す。少なくとも１つの実施例では、ＰＰＵ２６００は、ＰＰＵ２６００によって実行された場合、ＰＰＵ２６００に、本明細書で説明されるプロセス及び技法のいくつか又はすべてを実施させる機械可読コードで構成される。少なくとも１つの実施例では、ＰＰＵ２６００はマルチスレッド・プロセッサであり、マルチスレッド・プロセッサは、１つ又は複数の集積回路デバイス上で実装され、（機械可読命令又は単に命令とも呼ばれる）コンピュータ可読命令を複数のスレッド上で並列に処理するように設計されたレイテンシ隠蔽技法としてマルチスレッディングを利用する。少なくとも１つの実施例では、スレッドは、実行のスレッドを指し、ＰＰＵ２６００によって実行されるように構成された命令のセットのインスタンス化である。少なくとも１つの実施例では、ＰＰＵ２６００は、ＬＣＤデバイスなどのディスプレイ・デバイス上での表示のための２次元（「２Ｄ」）画像データを生成するために３次元（「３Ｄ」）グラフィックス・データを処理するためのグラフィックス・レンダリング・パイプラインを実装するように構成されたＧＰＵである。少なくとも１つの実施例では、ＰＰＵ２６００は、線形代数演算及び機械学習演算などの算出を実施するために利用される。図２６は、単に例示を目的とした例示的な並列プロセッサを示し、少なくとも１つの実施例において実装され得るプロセッサ・アーキテクチャの非限定的な実例として解釈されるべきである。

少なくとも１つの実施例では、１つ又は複数のＰＰＵ２６００は、高性能コンピューティング（「ＨＰＣ」：ＨｉｇｈＰｅｒｆｏｒｍａｎｃｅＣｏｍｐｕｔｉｎｇ）、データ・センタ、及び機械学習アプリケーションを加速するように構成される。少なくとも１つの実施例では、１つ又は複数のＰＰＵ２６００は、ＣＵＤＡプログラムを加速するように構成される。少なくとも１つの実施例では、ＰＰＵ２６００は、限定はしないが、Ｉ／Ｏユニット２６０６と、フロント・エンド・ユニット２６１０と、スケジューラ・ユニット２６１２と、ワーク分散ユニット２６１４と、ハブ２６１６と、クロスバー（「Ｘバー」：ｃｒｏｓｓｂａｒ）２６２０と、１つ又は複数の汎用処理クラスタ（「ＧＰＣ」：ｇｅｎｅｒａｌｐｒｏｃｅｓｓｉｎｇｃｌｕｓｔｅｒ）２６１８と、１つ又は複数のパーティション・ユニット（「メモリ・パーティション・ユニット」）２６２２とを含む。少なくとも１つの実施例では、ＰＰＵ２６００は、１つ又は複数の高速ＧＰＵ相互接続（「ＧＰＵ相互接続」）２６０８を介してホスト・プロセッサ又は他のＰＰＵ２６００に接続される。少なくとも１つの実施例では、ＰＰＵ２６００は、システム・バス又は相互接続２６０２を介してホスト・プロセッサ又は他の周辺デバイスに接続される。少なくとも１つの実施例では、ＰＰＵ２６００は、１つ又は複数のメモリ・デバイス（「メモリ」）２６０４を備えるローカル・メモリに接続される。少なくとも１つの実施例では、メモリ・デバイス２６０４は、限定はしないが、１つ又は複数のダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）デバイスを含む。少なくとも１つの実施例では、１つ又は複数のＤＲＡＭデバイスは、複数のＤＲＡＭダイが各デバイス内で積層された高帯域幅メモリ（「ＨＢＭ」）サブシステムとして構成され、及び／又は構成可能である。

少なくとも１つの実施例では、高速ＧＰＵ相互接続２６０８は、ワイヤ・ベースのマルチ・レーン通信リンクを指し得、ワイヤ・ベースのマルチ・レーン通信リンクは、１つ又は複数のＣＰＵと組み合わせられた１つ又は複数のＰＰＵ２６００をスケーリングし、含めるために、システムによって使用され、ＰＰＵ２６００とＣＰＵとの間のキャッシュ・コヒーレンス、及びＣＰＵマスタリングをサポートする。少なくとも１つの実施例では、データ及び／又はコマンドは、高速ＧＰＵ相互接続２６０８によって、ハブ２６１６を通して、１つ又は複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニット、及び図２６に明示的に示されていないこともある他の構成要素など、ＰＰＵ２６００の他のユニットに／から送信される。

少なくとも１つの実施例では、Ｉ／Ｏユニット２６０６は、システム・バス２６０２を介して（図２６に示されていない）ホスト・プロセッサから通信（たとえば、コマンド、データ）を送受信するように構成される。少なくとも１つの実施例では、Ｉ／Ｏユニット２６０６は、システム・バス２６０２を介して直接、又は、メモリ・ブリッジなどの１つ又は複数の中間デバイスを通して、ホスト・プロセッサと通信する。少なくとも１つの実施例では、Ｉ／Ｏユニット２６０６は、システム・バス２６０２を介してＰＰＵ２６００のうちの１つ又は複数などの１つ又は複数の他のプロセッサと通信し得る。少なくとも１つの実施例では、Ｉ／Ｏユニット２６０６は、ＰＣＩｅインターフェースを、ＰＣＩｅバスを介した通信のために実装する。少なくとも１つの実施例では、Ｉ／Ｏユニット２６０６は、外部デバイスと通信するためのインターフェースを実装する。

少なくとも１つの実施例では、Ｉ／Ｏユニット２６０６は、システム・バス２６０２を介して受信されたパケットを復号する。少なくとも１つの実施例では、少なくともいくつかのパケットは、ＰＰＵ２６００に様々な動作を実施させるように構成されたコマンドを表す。少なくとも１つの実施例では、Ｉ／Ｏユニット２６０６は、復号されたコマンドを、コマンドによって指定されるＰＰＵ２６００の様々な他のユニットに送信する。少なくとも１つの実施例では、コマンドは、フロント・エンド・ユニット２６１０に送信され、及び／或いは、ハブ２６１６、又は（図２６に明示的に示されていない）１つ又は複数のコピー・エンジン、ビデオ・エンコーダ、ビデオ・デコーダ、電力管理ユニットなど、ＰＰＵ２６００の他のユニットに送信される。少なくとも１つの実施例では、Ｉ／Ｏユニット２６０６はＰＰＵ２６００の様々な論理ユニット間で及びそれらの間で通信をルーティングするように構成される。

少なくとも１つの実施例では、ホスト・プロセッサによって実行されるプログラムは、処理のためにワークロードをＰＰＵ２６００に提供するバッファにおいて、コマンド・ストリームを符号化する。少なくとも１つの実施例では、ワークロードは、命令と、それらの命令によって処理されるべきデータとを含む。少なくとも１つの実施例では、バッファは、ホスト・プロセッサとＰＰＵ２６００の両方によってアクセス（たとえば、読取り／書込み）可能であるメモリ中の領域であり、ホスト・インターフェース・ユニットは、Ｉ／Ｏユニット２６０６によってシステム・バス２６０２を介して送信されるメモリ要求を介して、システム・バス２６０２に接続されたシステム・メモリ中のバッファにアクセスするように構成され得る。少なくとも１つの実施例では、ホスト・プロセッサは、バッファにコマンド・ストリームを書き込み、次いでコマンド・ストリームの開始に対するポインタをＰＰＵ２６００に送信し、それにより、フロント・エンド・ユニット２６１０は、１つ又は複数のコマンド・ストリームに対するポインタを受信し、１つ又は複数のコマンド・ストリームを管理して、コマンド・ストリームからコマンドを読み取り、コマンドをＰＰＵ２６００の様々なユニットにフォワーディングする。

少なくとも１つの実施例では、フロント・エンド・ユニット２６１０は、１つ又は複数のコマンド・ストリームによって定義されるタスクを処理するように様々なＧＰＣ２６１８を構成するスケジューラ・ユニット２６１２に結合される。少なくとも１つの実施例では、スケジューラ・ユニット２６１２は、スケジューラ・ユニット２６１２によって管理される様々なタスクに関係する状態情報を追跡するように構成され、状態情報は、ＧＰＣ２６１８のうちのどれにタスクが割り当てられるか、タスクがアクティブであるのか非アクティブであるのか、タスクに関連する優先レベルなどを指示し得る。少なくとも１つの実施例では、スケジューラ・ユニット２６１２は、ＧＰＣ２６１８のうちの１つ又は複数上での複数のタスクの実行を管理する。

少なくとも１つの実施例では、スケジューラ・ユニット２６１２は、ＧＰＣ２６１８上での実行のためのタスクをディスパッチするように構成されたワーク分散ユニット２６１４に結合される。少なくとも１つの実施例では、ワーク分散ユニット２６１４は、スケジューラ・ユニット２６１２から受信された、スケジューリングされたタスクの数を追跡し、ワーク分散ユニット２６１４は、ＧＰＣ２６１８の各々について、ペンディング・タスク・プール及びアクティブ・タスク・プールを管理する。少なくとも１つの実施例では、ペンディング・タスク・プールは、特定のＧＰＣ２６１８によって処理されるように割り当てられたタスクを含んでいるいくつかのスロット（たとえば、３２個のスロット）を備え、アクティブ・タスク・プールは、ＧＰＣ２６１８によってアクティブに処理されているタスクのためのいくつかのスロット（たとえば、４つのスロット）を備え得、それにより、ＧＰＣ２６１８のうちの１つがタスクの実行を完了したとき、ＧＰＣ２６１８のためのアクティブ・タスク・プールからそのタスクが排除され、ペンディング・タスク・プールからの他のタスクのうちの１つが選択され、ＧＰＣ２６１８上での実行のためにスケジューリングされる。少なくとも１つの実施例では、データ依存性が解決されるのを待っている間など、アクティブ・タスクがＧＰＣ２６１８上でアイドルである場合、アクティブ・タスクがＧＰＣ２６１８から排除され、ペンディング・タスク・プールに戻され、その間に、ペンディング・タスク・プール中の別のタスクが選択され、ＧＰＣ２６１８上での実行のためにスケジューリングされる。

少なくとも１つの実施例では、ワーク分散ユニット２６１４は、Ｘバー２６２０を介して１つ又は複数のＧＰＣ２６１８と通信する。少なくとも１つの実施例では、Ｘバー２６２０は、ＰＰＵ２６００の多くのユニットをＰＰＵ２６００の他のユニットに結合する相互接続ネットワークであり、ワーク分散ユニット２６１４を特定のＧＰＣ２６１８に結合するように構成され得る。少なくとも１つの実施例では、ＰＰＵ２６００の１つ又は複数の他のユニットも、ハブ２６１６を介してＸバー２６２０に接続され得る。

少なくとも１つの実施例では、タスクはスケジューラ・ユニット２６１２によって管理され、ワーク分散ユニット２６１４によってＧＰＣ２６１８のうちの１つにディスパッチされる。ＧＰＣ２６１８は、タスクを処理し、結果を生成するように構成される。少なくとも１つの実施例では、結果は、ＧＰＣ２６１８内の他のタスクによって消費されるか、Ｘバー２６２０を介して異なるＧＰＣ２６１８にルーティングされるか、又はメモリ２６０４に記憶され得る。少なくとも１つの実施例では、結果は、パーティション・ユニット２６２２を介してメモリ２６０４に書き込まれ得、パーティション・ユニット２６２２は、メモリ２６０４への／からのデータの読取り及び書込みを行うためのメモリ・インターフェースを実装する。少なくとも１つの実施例では、結果は、高速ＧＰＵ相互接続２６０８を介して別のＰＰＵ２６０４又はＣＰＵに送信され得る。少なくとも１つの実施例では、ＰＰＵ２６００は、限定はしないが、ＰＰＵ２６００に結合された別個の個別メモリ・デバイス２６０４の数に等しいＵ個のパーティション・ユニット２６２２を含む。

少なくとも１つの実施例では、ホスト・プロセッサはドライバ・カーネルを実行し、ドライバ・カーネルは、ホスト・プロセッサ上で実行している１つ又は複数のアプリケーションがＰＰＵ２６００上での実行のために動作をスケジューリングすることを可能にするアプリケーション・プログラミング・インターフェース（「ＡＰＩ」）を実装する。少なくとも１つの実施例では、複数のコンピュート・アプリケーションが、ＰＰＵ２６００によって同時に実行され、ＰＰＵ２６００は、複数のコンピュート・アプリケーションに対して、隔離、サービス品質（「ＱｏＳ」：ｑｕａｌｉｔｙｏｆｓｅｒｖｉｃｅ）、及び独立したアドレス空間を提供する。少なくとも１つの実施例では、アプリケーションは、ＰＰＵ２６００による実行のための１つ又は複数のタスクをドライバ・カーネルに生成させる（たとえば、ＡＰＩコールの形態の）命令を生成し、ドライバ・カーネルは、ＰＰＵ２６００によって処理されている１つ又は複数のストリームにタスクを出力する。少なくとも１つの実施例では、各タスクは、ワープと呼ばれることがある関係スレッドの１つ又は複数のグループを備える。少なくとも１つの実施例では、ワープは、並列に実行され得る複数の関係スレッド（たとえば、３２個のスレッド）を備える。少なくとも１つの実施例では、連動スレッドは、タスクを実施するための命令を含み、共有メモリを通してデータを交換する、複数のスレッドを指すことができる。

図２７は、少なくとも１つの実施例による、ＧＰＣ２７００を示す。少なくとも１つの実施例では、ＧＰＣ２７００は、図２６のＧＰＣ２６１８である。少なくとも１つの実施例では、各ＧＰＣ２７００は、限定はしないが、タスクを処理するためのいくつかのハードウェア・ユニットを含み、各ＧＰＣ２７００は、限定はしないが、パイプライン・マネージャ２７０２、プレ・ラスタ演算ユニット（「ＰＲＯＰ」：ｐｒｅ－ｒａｓｔｅｒｏｐｅｒａｔｉｏｎ）２７０４、ラスタ・エンジン２７０８、ワーク分散クロスバー（「ＷＤＸ」：ｗｏｒｋｄｉｓｔｒｉｂｕｔｉｏｎｃｒｏｓｓｂａｒ）２７１６、ＭＭＵ２７１８、１つ又は複数のデータ処理クラスタ（「ＤＰＣ」：ＤａｔａＰｒｏｃｅｓｓｉｎｇＣｌｕｓｔｅｒ）２７０６、及びパーツの任意の好適な組合せを含む。

少なくとも１つの実施例では、ＧＰＣ２７００の動作は、パイプライン・マネージャ２７０２によって制御される。少なくとも１つの実施例では、パイプライン・マネージャ２７０２は、ＧＰＣ２７００に割り振られたタスクを処理するための１つ又は複数のＤＰＣ２７０６の構成を管理する。少なくとも１つの実施例では、パイプライン・マネージャ２７０２は、グラフィックス・レンダリング・パイプラインの少なくとも一部分を実装するように、１つ又は複数のＤＰＣ２７０６のうちの少なくとも１つを構成する。少なくとも１つの実施例では、ＤＰＣ２７０６は、プログラマブル・ストリーミング・マルチプロセッサ（「ＳＭ」：ｓｔｒｅａｍｉｎｇｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）２７１４上で頂点シェーダ・プログラムを実行するように構成される。少なくとも１つの実施例では、パイプライン・マネージャ２７０２は、ワーク分散ユニットから受信されたパケットを、ＧＰＣ２７００内の適切な論理ユニットにルーティングするように構成され、少なくとも１つの実施例では、いくつかのパケットは、ＰＲＯＰ２７０４中の固定機能ハードウェア・ユニット及び／又はラスタ・エンジン２７０８にルーティングされ得、他のパケットは、プリミティブ・エンジン２７１２又はＳＭ２７１４による処理のためにＤＰＣ２７０６にルーティングされ得る。少なくとも１つの実施例では、パイプライン・マネージャ２７０２は、コンピューティング・パイプラインを実装するように、ＤＰＣ２７０６のうちの少なくとも１つを構成する。少なくとも１つの実施例では、パイプライン・マネージャ２７０２は、ＣＵＤＡプログラムの少なくとも一部分を実行するように、ＤＰＣ２７０６のうちの少なくとも１つを構成する。

少なくとも１つの実施例では、ＰＲＯＰユニット２７０４は、ラスタ・エンジン２７０８及びＤＰＣ２７０６によって生成されたデータを、図２６と併せて上記でより詳細に説明されたメモリ・パーティション・ユニット２６２２など、パーティション・ユニット中のラスタ演算（「ＲＯＰ」：ＲａｓｔｅｒＯｐｅｒａｔｉｏｎ）ユニットにルーティングするように構成される。少なくとも１つの実施例では、ＰＲＯＰユニット２７０４は、色ブレンディングのための最適化を実施すること、ピクセル・データを組織化すること、アドレス・トランスレーションを実施することなどを行うように構成される。少なくとも１つの実施例では、ラスタ・エンジン２７０８は、限定はしないが、様々なラスタ演算を実施するように構成されたいくつかの固定機能ハードウェア・ユニットを含み、少なくとも１つの実施例では、ラスタ・エンジン２７０８は、限定はしないが、セットアップ・エンジン、粗いラスタ・エンジン、選別エンジン、クリッピング・エンジン、細かいラスタ・エンジン、タイル合体エンジン、及びそれらの任意の好適な組合せを含む。少なくとも１つの実施例では、セットアップ・エンジンは、変換された頂点を受信し、頂点によって定義された幾何学的プリミティブに関連する平面方程式を生成し、平面方程式は、プリミティブについてのカバレージ情報（たとえば、タイルのためのｘ、ｙカバレージ・マスク）を生成するために粗いラスタ・エンジンに送信され、粗いラスタ・エンジンの出力は選別エンジンに送信され、ｚテストに落ちたプリミティブに関連するフラグメントが選別され、クリッピング・エンジンに送信され、視錐台の外側にあるフラグメントがクリップされる。少なくとも１つの実施例では、クリッピング及び選別を通過したフラグメントは、セットアップ・エンジンによって生成された平面方程式に基づいてピクセル・フラグメントについての属性を生成するために、細かいラスタ・エンジンに渡される。少なくとも１つの実施例では、ラスタ・エンジン２７０８の出力は、ＤＰＣ２７０６内に実装されたフラグメント・シェーダによってなど、任意の好適なエンティティによって処理されるべきフラグメントを含む。

少なくとも１つの実施例では、ＧＰＣ２７００中に含まれる各ＤＰＣ２７０６は、限定はしないが、Ｍパイプ・コントローラ（「ＭＰＣ」：Ｍ－ＰｉｐｅＣｏｎｔｒｏｌｌｅｒ）２７１０、プリミティブ・エンジン２７１２、１つ又は複数のＳＭ２７１４、及びそれらの任意の好適な組合せを含む。少なくとも１つの実施例では、ＭＰＣ２７１０は、ＤＰＣ２７０６の動作を制御して、パイプライン・マネージャ２７０２から受信されたパケットを、ＤＰＣ２７０６中の適切なユニットにルーティングする。少なくとも１つの実施例では、頂点に関連するパケットは、頂点に関連する頂点属性をメモリからフェッチするように構成されたプリミティブ・エンジン２７１２にルーティングされ、対照的に、シェーダ・プログラムに関連するパケットは、ＳＭ２７１４に送信され得る。

少なくとも１つの実施例では、ＳＭ２７１４は、限定はしないが、いくつかのスレッドによって表されたタスクを処理するように構成されたプログラマブル・ストリーミング・プロセッサを含む。少なくとも１つの実施例では、ＳＭ２７１４はマルチスレッド化され、スレッドの特定のグループからの複数のスレッド（たとえば、３２個のスレッド）を同時に実行するように構成され、ＳＩＭＤアーキテクチャを実装し、スレッドのグループ（たとえば、ワープ）中の各スレッドは、命令の同じセットに基づいてデータの異なるセットを処理するように構成される。少なくとも１つの実施例では、スレッドのグループ中のすべてのスレッドが同じ命令を実行する。少なくとも１つの実施例では、ＳＭ２７１４は、ＳＩＭＴアーキテクチャを実装し、スレッドのグループ中の各スレッドは、命令の同じセットに基づいて、データの異なるセットを処理するように構成されるが、スレッドのグループ中の個々のスレッドは、実行中に発散することを可能にされる。少なくとも１つの実施例では、プログラム・カウンタ、コール・スタック、及び実行状態が、各ワープについて維持されて、ワープ内のスレッドが発散するときのワープ間の同時処理及びワープ内の直列実行を可能にする。別の実施例では、プログラム・カウンタ、コール・スタック、及び実行状態が、各個々のスレッドについて維持されて、すべてのスレッド間、ワープ内及びワープ間での等しい同時処理を可能にする。少なくとも１つの実施例では、実行状態が、各個々のスレッドについて維持され、同じ命令を実行しているスレッドが、より良い効率性のために収束され、並列に実行され得る。ＳＭ２７１４の少なくとも１つの実施例は、図２８と併せてさらに詳細に説明される。

少なくとも１つの実施例では、ＭＭＵ２７１８は、ＧＰＣ２７００とメモリ・パーティション・ユニット（たとえば、図２６のパーティション・ユニット２６２２）との間のインターフェースを提供し、ＭＭＵ２７１８は、仮想アドレスから物理アドレスへのトランスレーションと、メモリ保護と、メモリ要求の調停とを提供する。少なくとも１つの実施例では、ＭＭＵ２７１８は、仮想アドレスからメモリ中の物理アドレスへのトランスレーションを実施するための１つ又は複数のトランスレーション・ルックアサイド・バッファ（ＴＬＢ）を提供する。

図２８は、少なくとも１つの実施例による、ストリーミング・マルチプロセッサ（「ＳＭ」）２８００を示す。少なくとも１つの実施例では、ＳＭ２８００は、図２７のＳＭ２７１４である。少なくとも１つの実施例では、ＳＭ２８００は、限定はしないが、命令キャッシュ２８０２、１つ又は複数のスケジューラ・ユニット２８０４、レジスタ・ファイル２８０８、１つ又は複数の処理コア（「コア」）２８１０、１つ又は複数の特殊機能ユニット（「ＳＦＵ」：ｓｐｅｃｉａｌｆｕｎｃｔｉｏｎｕｎｉｔ）２８１２、１つ又は複数のＬＳＵ２８１４、相互接続ネットワーク２８１６、共有メモリ／Ｌ１キャッシュ２８１８、及びそれらの任意の好適な組合せを含む。少なくとも１つの実施例では、ワーク分散ユニットは、並列処理ユニット（ＰＰＵ）のＧＰＣ上での実行のためにタスクをディスパッチし、各タスクは、ＧＰＣ内の特定のデータ処理クラスタ（ＤＰＣ）に割り振られ、タスクがシェーダ・プログラムに関連する場合、タスクはＳＭ２８００のうちの１つに割り振られる。少なくとも１つの実施例では、スケジューラ・ユニット２８０４は、ワーク分散ユニットからタスクを受信し、ＳＭ２８００に割り当てられた１つ又は複数のスレッド・ブロックについて命令スケジューリングを管理する。少なくとも１つの実施例では、スケジューラ・ユニット２８０４は、並列スレッドのワープとしての実行のためにスレッド・ブロックをスケジューリングし、各スレッド・ブロックは、少なくとも１つのワープを割り振られる。少なくとも１つの実施例では、各ワープは、スレッドを実行する。少なくとも１つの実施例では、スケジューラ・ユニット２８０４は、複数の異なるスレッド・ブロックを管理して、異なるスレッド・ブロックにワープを割り振り、次いで、複数の異なる連動グループからの命令を、各クロック・サイクル中に様々な機能ユニット（たとえば、処理コア２８１０、ＳＦＵ２８１２、及びＬＳＵ２８１４）にディスパッチする。

少なくとも１つの実施例では、「連動グループ」は、通信するスレッドのグループを組織化するためのプログラミング・モデルを指し得、プログラミング・モデルは、スレッドが通信している粒度を開発者が表現することを可能にして、より豊富でより効率的な並列分解の表現を可能にする。少なくとも１つの実施例では、連動起動ＡＰＩは、並列アルゴリズムの実行のためにスレッド・ブロックの間の同期をサポートする。少なくとも１つの実施例では、従来のプログラミング・モデルのＡＰＩは、連動スレッドを同期するための単一の簡単な構築物、すなわちスレッド・ブロックのすべてのスレッドにわたるバリア（たとえば、ｓｙｎｃｔｈｒｅａｄｓ（）関数）を提供する。しかしながら、少なくとも１つの実施例では、プログラマは、スレッド・ブロックよりも小さい粒度においてスレッドのグループを定義し、定義されたグループ内で同期して、集合的なグループ全般にわたる機能インターフェースの形態で、より高い性能、設計のフレキシビリティ、及びソフトウェア再使用を可能にし得る。少なくとも１つの実施例では、連動グループは、プログラマが、サブ・ブロック粒度及びマルチ・ブロック粒度において、スレッドのグループを明示的に定義し、連動グループ中のスレッドに対する同期などの集合的な動作を実施することを可能にする。少なくとも１つの実施例では、サブ・ブロック粒度は、単一スレッドと同じくらい小さい。少なくとも１つの実施例では、プログラミング・モデルは、ソフトウェア境界にわたるクリーンな合成をサポートし、それにより、ライブラリ及びユーティリティ関数が、収束に関して仮定する必要なしにそれらのローカル・コンテキスト内で安全に同期することができる。少なくとも１つの実施例では、連動グループ・プリミティブは、限定はしないが、プロデューサ－コンシューマ並列性、日和見並列性（ｏｐｐｏｒｔｕｎｉｓｔｉｃｐａｒａｌｌｅｌｉｓｍ）、及びスレッド・ブロックのグリッド全体にわたるグローバルな同期を含む、新しいパターンの連動並列性を可能にする。

少なくとも１つの実施例では、ディスパッチ・ユニット２８０６は、機能ユニットのうちの１つ又は複数に命令を送信するように構成され、スケジューラ・ユニット２８０４は、限定はしないが、同じワープからの２つの異なる命令が各クロック・サイクル中にディスパッチされることを可能にする２つのディスパッチ・ユニット２８０６を含む。少なくとも１つの実施例では、各スケジューラ・ユニット２８０４は、単一のディスパッチ・ユニット２８０６又は追加のディスパッチ・ユニット２８０６を含む。

少なくとも１つの実施例では、各ＳＭ２８００は、少なくとも１つの実施例では、限定はしないが、ＳＭ２８００の機能ユニットにレジスタのセットを提供するレジスタ・ファイル２８０８を含む。少なくとも１つの実施例では、レジスタ・ファイル２８０８は、各機能ユニットがレジスタ・ファイル２８０８の専用部分を割り振られるように、機能ユニットの各々の間で分割される。少なくとも１つの実施例では、レジスタ・ファイル２８０８は、ＳＭ２８００によって実行されている異なるワープ間で分割され、レジスタ・ファイル２８０８は、機能ユニットのデータ経路に接続されたオペランドのための一時的ストレージを提供する。少なくとも１つの実施例では、各ＳＭ２８００は、限定はしないが、複数のＬ個の処理コア２８１０を含む。少なくとも１つの実施例では、ＳＭ２８００は、限定はしないが、多数の（たとえば、１２８個以上の）個別の処理コア２８１０を含む。少なくとも１つの実施例では、各処理コア２８１０は、限定はしないが、完全にパイプライン化された、単精度の、倍精度の、及び／又は混合精度の処理ユニットを含み、これは、限定はしないが、浮動小数点算術論理ユニット及び整数算術論理ユニットを含む。少なくとも１つの実施例では、浮動小数点算術論理ユニットは、浮動小数点算術のためのＩＥＥＥ７５４－２００８規格を実装する。少なくとも１つの実施例では、処理コア２８１０は、限定はしないが、６４個の単精度（３２ビット）浮動小数点コアと、６４個の整数コアと、３２個の倍精度（６４ビット）浮動小数点コアと、８つのテンソル・コアとを含む。

少なくとも１つの実施例では、テンソル・コアは、行列演算を実施するように構成される。少なくとも１つの実施例では、１つ又は複数のテンソル・コアは、処理コア２８１０中に含まれる。少なくとも１つの実施例では、テンソル・コアは、ニューラル・ネットワーク訓練及び推論のための畳み込み演算など、深層学習行列算術を実施するように構成される。少なくとも１つの実施例では、各テンソル・コアは、４×４の行列で動作し、行列の積和演算（ｍａｔｒｉｘｍｕｌｔｉｐｌｙａｎｄａｃｃｕｍｕｌａｔｅｏｐｅｒａｔｉｏｎ）Ｄ＝Ａ×Ｂ＋Ｃを実施し、ここで、Ａ、Ｂ、Ｃ、及びＤは４×４の行列である。

少なくとも１つの実施例では、行列乗算入力Ａ及びＢは、１６ビットの浮動小数点行列であり、和の行列Ｃ及びＤは、１６ビットの浮動小数点又は３２ビットの浮動小数点行列である。少なくとも１つの実施例では、テンソル・コアは、３２ビットの浮動小数点の和をもつ１６ビットの浮動小数点入力データで動作する。少なくとも１つの実施例では、１６ビットの浮動小数点乗算は、６４個の演算を使用し、結果的に完全精度の積をもたらし、次いで、完全精度の積が、４×４×４の行列乗算についての他の中間積との３２ビット浮動小数点加算を使用して加算される。少なくとも１つの実施例では、これらの小さい要素から築かれる、はるかに大きい２次元又はさらに高次元の行列演算を実施するために、テンソル・コアが使用される。少なくとも１つの実施例では、ＣＵＤＡ－Ｃ＋＋ＡＰＩなどのＡＰＩは、ＣＵＤＡ－Ｃ＋＋プログラムからテンソル・コアを効率的に使用するために、特殊な行列ロード演算、行列積和演算、及び行列ストア演算を公開している。少なくとも１つの実施例では、ＣＵＤＡレベルにおいて、ワープ・レベル・インターフェースは、ワープの３２個のスレッドすべてに及ぶ１６×１６サイズの行列を仮定する。

少なくとも１つの実施例では、各ＳＭ２８００は、限定はしないが、特殊関数（たとえば、属性評価、逆数平方根など）を実施するＭ個のＳＦＵ２８１２を含む。少なくとも１つの実施例では、ＳＦＵ２８１２は、限定はしないが、階層ツリー・データ構造をトラバースするように構成されたツリー・トラバーサル・ユニットを含む。少なくとも１つの実施例では、ＳＦＵ２８１２は、限定はしないが、テクスチャ・マップ・フィルタリング動作を実施するように構成されたテクスチャ・ユニットを含む。少なくとも１つの実施例では、テクスチャ・ユニットは、メモリ及びサンプル・テクスチャ・マップからテクスチャ・マップ（たとえば、テクセルの２Ｄアレイ）をロードして、ＳＭ２８００によって実行されるシェーダ・プログラムにおける使用のためのサンプリングされたテクスチャ値を作り出すように構成される。少なくとも１つの実施例では、テクスチャ・マップは、共有メモリ／Ｌ１キャッシュ２８１８に記憶される。少なくとも１つの実施例では、テクスチャ・ユニットは、ミップ・マップ（たとえば、詳細のレベルが異なるテクスチャ・マップ）を使用したフィルタリング動作などのテクスチャ動作を実装する。少なくとも１つの実施例では、各ＳＭ２８００は、限定はしないが、２つのテクスチャ・ユニットを含む。

少なくとも１つの実施例では、各ＳＭ２８００は、限定はしないが、共有メモリ／Ｌ１キャッシュ２８１８とレジスタ・ファイル２８０８との間でロード及びストア動作を実装するＮ個のＬＳＵ２８１４を含む。少なくとも１つの実施例では、各ＳＭ２８００は、限定はしないが、相互接続ネットワーク２８１６を含み、相互接続ネットワーク２８１６は、機能ユニットの各々をレジスタ・ファイル２８０８に接続し、ＬＳＵ２８１４をレジスタ・ファイル２８０８及び共有メモリ／Ｌ１キャッシュ２８１８に接続する。少なくとも１つの実施例では、相互接続ネットワーク２８１６はクロスバーであり、クロスバーは、機能ユニットのうちのいずれかをレジスタ・ファイル２８０８中のレジスタのうちのいずれかに接続し、ＬＳＵ２８１４をレジスタ・ファイル２８０８と共有メモリ／Ｌ１キャッシュ２８１８中のメモリ・ロケーションとに接続するように構成され得る。

少なくとも１つの実施例では、共有メモリ／Ｌ１キャッシュ２８１８は、ＳＭ２８００とプリミティブ・エンジンとの間及びＳＭ２８００中のスレッド間でのデータ・ストレージ及び通信を可能にするオンチップ・メモリのアレイである。少なくとも１つの実施例では、共有メモリ／Ｌ１キャッシュ２８１８は、限定はしないが、１２８ＫＢのストレージ容量を備え、ＳＭ２８００からパーティション・ユニットへの経路中にある。少なくとも１つの実施例では、共有メモリ／Ｌ１キャッシュ２８１８は、読取り及び書込みをキャッシュするために使用される。少なくとも１つの実施例では、共有メモリ／Ｌ１キャッシュ２８１８、Ｌ２キャッシュ、及びメモリのうちの１つ又は複数は、補助ストアである。

少なくとも１つの実施例では、データ・キャッシュと共有メモリ機能性とを単一のメモリ・ブロックに組み合わせることは、両方のタイプのメモリ・アクセスについて改善された性能を提供する。少なくとも１つの実施例では、容量は、共有メモリが容量の半分を使用するように構成され、テクスチャ及びロード／ストア動作が残りの容量を使用することができる場合など、共有メモリを使用しないプログラムによってキャッシュとして使用されるか、又は使用可能である。少なくとも１つの実施例では、共有メモリ／Ｌ１キャッシュ２８１８内の統合は、共有メモリ／Ｌ１キャッシュ２８１８が、データをストリーミングするための高スループット管として機能しながら、同時に高帯域幅及び低レイテンシのアクセスを、頻繁に再使用されるデータに提供することを可能にする。少なくとも１つの実施例では、汎用並列算出のために構成されたとき、グラフィックス処理と比較してより簡単な構成が使用され得る。少なくとも１つの実施例では、固定機能ＧＰＵがバイパスされて、はるかに簡単なプログラミング・モデルを作成する。少なくとも１つの実施例では及び汎用並列算出構成では、ワーク分散ユニットは、スレッドのブロックをＤＰＣに直接割り当て、分散させる。少なくとも１つの実施例では、ブロック中のスレッドは、各スレッドが一意の結果を生成することを確実にするように、計算において一意のスレッドＩＤを使用して、同じプログラムを実行し、ＳＭ２８００を使用してプログラムを実行し、計算を実施し、共有メモリ／Ｌ１キャッシュ２８１８を使用してスレッド間で通信し、ＬＳＵ２８１４を使用して、共有メモリ／Ｌ１キャッシュ２８１８及びメモリ・パーティション・ユニットを通してグローバル・メモリを読み取り、書き込む。少なくとも１つの実施例では、汎用並列算出のために構成されたとき、ＳＭ２８００は、ＤＰＣ上で新しいワークを起動するためにスケジューラ・ユニット２８０４が使用することができるコマンドを書き込む。

少なくとも１つの実施例では、ＰＰＵは、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、サーバ、スーパーコンピュータ、スマート・フォン（たとえば、ワイヤレス・ハンドヘルド・デバイス）、ＰＤＡ、デジタル・カメラ、車両、頭部装着型ディスプレイ、ハンドヘルド電子デバイスなどに含まれるか、又はそれらに結合される。少なくとも１つの実施例では、ＰＰＵは、単一の半導体基板上で具体化される。少なくとも１つの実施例では、ＰＰＵは、追加のＰＰＵ、メモリ、ＲＩＳＣＣＰＵ、ＭＭＵ、デジタル－アナログ変換器（「ＤＡＣ」：ｄｉｇｉｔａｌ－ｔｏ－ａｎａｌｏｇｃｏｎｖｅｒｔｅｒ）などの１つ又は複数の他のデバイスとともにＳｏＣ中に含まれる。

少なくとも１つの実施例では、ＰＰＵは、１つ又は複数のメモリ・デバイスを含むグラフィックス・カード上に含まれ得る。少なくとも１つの実施例では、グラフィックス・カードは、デスクトップ・コンピュータのマザーボード上のＰＣＩｅスロットとインターフェースするように構成され得る。少なくとも１つの実施例では、ＰＰＵは、マザーボードのチップセット中に含まれる統合されたＧＰＵ（「ｉＧＰＵ」：ｉｎｔｅｇｒａｔｅｄＧＰＵ）であり得る。

汎用コンピューティングのためのソフトウェア構築物
以下の図は、限定はしないが、少なくとも１つの実施例を実装するための例示的なソフトウェア構築物を記載する。

少なくとも１つの実施例では、上記で説明された技法は、ソフトウェア・スタック２９００又はプログラミング・プラットフォーム３３０４など、以下で説明されるようなコンピューティング・サービス上で実装され得る。少なくとも１つの実施例では、コンピュータ・システムにおいて稼働されるアプリケーションが、複数のプロセッサ上で並列に稼働される従属スレッドに分割され得る。少なくとも１つの実施例では、プロセッサは、ＧＰＵ３７９２を含む、以下で説明される任意のプロセッサ・タイプを含み得る。少なくとも１つの実施例では、１つ又は複数の回路は、２つ又はそれ以上の従属スレッドが、２つ又はそれ以上の別個のマルチスレッド・プロセッサ・コアを使用して並列に実施されることを引き起こす。少なくとも１つの実施例では、プロセッサ・コアは、マルチコアＣＰＵ中のコア、ＧＰＵ中のＳＭＰコア、又は記憶可能な命令を実行することが可能な他の回路であり得る。少なくとも１つの実施例では、スレッドの第１のグループが、２つ又はそれ以上のプロセッサ・コアを使用して並列に実施されるべきスレッドの２つ又はそれ以上のサブグループに編成されることを引き起こすための１つ又は複数の回路。少なくとも１つの実施例では、スレッドのグループは、並列に稼働する連動グループであり得る。少なくとも１つの実施例では、連動グループは、ＧＰＵ上でワープ中に配置された複数のカーネル・スレッドを含む。少なくとも１つの実施例では、スレッド間の同期動作は、バリアの使用によって可能にされ得る。少なくとも１つの実施例では、１つ又は複数の回路は、メモリ・バリア演算を実施して、スレッドの複数のグループによるメモリへのアクセスが、メモリ・バリア演算によって指示される順序で発生することを引き起こす。少なくとも１つの実施例では、バリア演算は、ビット単位論理演算（たとえば、ＡＮＤ、ＯＲ、ＸＯＲ）などのアトミック演算、或いはアトミック加算又は減算などの数学演算であり得る。

図２９は、少なくとも１つの実施例による、プログラミング・プラットフォームのソフトウェア・スタックを示す。少なくとも１つの実施例では、プログラミング・プラットフォームは、算出タスクを加速するために、コンピューティング・システム上のハードウェアを活用するためのプラットフォームである。少なくとも１つの実施例では、プログラミング・プラットフォームは、ライブラリ、コンパイラ指令、及び／又はプログラミング言語への拡張を通して、ソフトウェア開発者にとってアクセス可能であり得る。少なくとも１つの実施例では、プログラミング・プラットフォームは、限定はしないが、ＣＵＤＡ、Ｒａｄｅｏｎオープン・コンピュート・プラットフォーム（「ＲＯＣｍ」：ＲａｄｅｏｎＯｐｅｎＣｏｍｐｕｔｅＰｌａｔｆｏｒｍ）、ＯｐｅｎＣＬ（ＯｐｅｎＣＬ（商標）はクロノス・グループ（Ｋｈｒｏｎｏｓｇｒｏｕｐ）によって開発される）、ＳＹＣＬ、又はＩｎｔｅｌＯｎｅＡＰＩであり得る。

少なくとも１つの実施例では、プログラミング・プラットフォームのソフトウェア・スタック２９００は、アプリケーション２９０１のための実行環境を提供する。少なくとも１つの実施例では、アプリケーション２９０１は、ソフトウェア・スタック２９００上で起動されることが可能な任意のコンピュータ・ソフトウェアを含み得る。少なくとも１つの実施例では、アプリケーション２９０１は、限定はしないが、人工知能（「ＡＩ」：ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ）／機械学習（「ＭＬ」：ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ）アプリケーション、高性能コンピューティング（「ＨＰＣ」）アプリケーション、仮想デスクトップ・インフラストラクチャ（「ＶＤＩ」：ｖｉｒｔｕａｌｄｅｓｋｔｏｐｉｎｆｒａｓｔｒｕｃｔｕｒｅ）、又はデータ・センタ・ワークロードを含み得る。

少なくとも１つの実施例では、アプリケーション２９０１及びソフトウェア・スタック２９００は、ハードウェア２９０７上で稼働する。少なくとも１つの実施例では、ハードウェア２９０７は、１つ又は複数のＧＰＵ、ＣＰＵ、ＦＰＧＡ、ＡＩエンジン、及び／又はプログラミング・プラットフォームをサポートする他のタイプのコンピュート・デバイスを含み得る。ＣＵＤＡの場合など、少なくとも１つの実施例では、ソフトウェア・スタック２９００は、ベンダー固有であり、（１つ又は複数の）特定のベンダーからのデバイスのみと互換性があり得る。ＯｐｅｎＣＬの場合など、少なくとも１つの実施例では、ソフトウェア・スタック２９００は、異なるベンダーからのデバイスで使用され得る。少なくとも１つの実施例では、ハードウェア２９０７は、アプリケーション・プログラミング・インターフェース（「ＡＰＩ」）コールを介して算出タスクを実施するためにアクセスされ得るもう１つのデバイスに接続されたホストを含む。少なくとも１つの実施例では、限定はしないが、ＣＰＵ（ただし、コンピュート・デバイスをも含み得る）及びそのメモリを含み得る、ハードウェア２９０７内のホストとは対照的に、ハードウェア２９０７内のデバイスは、限定はしないが、ＧＰＵ、ＦＰＧＡ、ＡＩエンジン、又は他のコンピュート・デバイス（ただし、ＣＰＵをも含み得る）及びそのメモリを含み得る。

少なくとも１つの実施例では、プログラミング・プラットフォームのソフトウェア・スタック２９００は、限定はしないが、いくつかのライブラリ２９０３と、ランタイム２９０５と、デバイス・カーネル・ドライバ２９０６とを含む。少なくとも１つの実施例では、ライブラリ２９０３の各々は、コンピュータ・プログラムによって使用され、ソフトウェア開発中に活用され得る、データ及びプログラミング・コードを含み得る。少なくとも１つの実施例では、ライブラリ２９０３は、限定はしないが、事前に書かれたコード及びサブルーチン、クラス、値、タイプ仕様、構成データ、ドキュメンテーション、ヘルプ・データ、並びに／又はメッセージ・テンプレートを含み得る。少なくとも１つの実施例では、ライブラリ２９０３は、１つ又は複数のタイプのデバイス上での実行のために最適化される機能を含む。少なくとも１つの実施例では、ライブラリ２９０３は、限定はしないが、デバイス上で数学、深層学習、及び／又は他のタイプの動作を実施するための機能を含み得る。少なくとも１つの実施例では、ライブラリ２９０３は、ライブラリ２９０３において実装される機能を公開する、１つ又は複数のＡＰＩを含み得る、対応するＡＰＩ２９０２に関連する。

少なくとも１つの実施例では、アプリケーション２９０１は、図３４～図３６と併せて以下でより詳細に説明されるように、実行可能コードにコンパイルされるソース・コードとして書かれる。少なくとも１つの実施例では、アプリケーション２９０１の実行可能コードは、少なくとも部分的に、ソフトウェア・スタック２９００によって提供される実行環境上で稼働し得る。少なくとも１つの実施例では、アプリケーション２９０１の実行中に、ホストとは対照的な、デバイス上で稼働する必要があるコードに達し得る。少なくとも１つの実施例では、そのような場合、デバイス上で必須のコードをロード及び起動するために、ランタイム２９０５がコールされ得る。少なくとも１つの実施例では、ランタイム２９０５は、アプリケーションＳ０１の実行をサポートすることが可能である、任意の技術的に実現可能なランタイム・システムを含み得る。

少なくとも１つの実施例では、ランタイム２９０５は、（１つ又は複数の）ＡＰＩ２９０４として示されている、対応するＡＰＩに関連する、１つ又は複数のランタイム・ライブラリとして実装される。少なくとも１つの実施例では、そのようなランタイム・ライブラリのうちの１つ又は複数は、限定はしないが、とりわけ、メモリ管理、実行制御、デバイス管理、エラー対処、及び／又は同期のための機能を含み得る。少なくとも１つの実施例では、メモリ管理機能は、限定はしないが、デバイス・メモリを割り振り、割振り解除し、コピーし、並びにホスト・メモリとデバイス・メモリとの間でデータを転送するための機能を含み得る。少なくとも１つの実施例では、実行制御機能は、限定はしないが、デバイス上で機能（機能がホストからコール可能なグローバル機能であるとき、「カーネル」と呼ばれることがある）を起動し、デバイス上で実行されるべき所与の機能のためのランタイム・ライブラリによって維持されるバッファ中に属性値をセットするための機能を含み得る。

少なくとも１つの実施例では、ランタイム・ライブラリ及び対応する（１つ又は複数の）ＡＰＩ２９０４は、任意の技術的に実現可能な様式で実装され得る。少なくとも１つの実施例では、ある（又は任意の数の）ＡＰＩは、デバイスのきめ細かい制御のための機能の低レベルのセットを公開し得るが、別の（又は任意の数の）ＡＰＩは、そのような機能のより高いレベルのセットを公開し得る。少なくとも１つの実施例では、高レベル・ランタイムＡＰＩは、低レベルＡＰＩの上に築かれ得る。少なくとも１つの実施例では、ランタイムＡＰＩのうちの１つ又は複数は、言語依存しないランタイムＡＰＩの上に階層化された言語固有ＡＰＩであり得る。

少なくとも１つの実施例では、デバイス・カーネル・ドライバ２９０６は、基礎をなすデバイスとの通信を容易にするように構成される。少なくとも１つの実施例では、デバイス・カーネル・ドライバ２９０６は、（１つ又は複数の）ＡＰＩ２９０４などのＡＰＩ及び／又は他のソフトウェアが依拠する、低レベル機能性を提供し得る。少なくとも１つの実施例では、デバイス・カーネル・ドライバ２９０６は、ランタイムにおいて中間表現（「ＩＲ」：ｉｎｔｅｒｍｅｄｉａｔｅｒｅｐｒｅｓｅｎｔａｔｉｏｎ）コードをバイナリ・コードにコンパイルするように構成され得る。少なくとも１つの実施例では、ＣＵＤＡの場合、デバイス・カーネル・ドライバ２９０６は、ハードウェア固有でない並列スレッド実行（「ＰＴＸ」：ＰａｒａｌｌｅｌＴｈｒｅａｄＥｘｅｃｕｔｉｏｎ）ＩＲコードを、（コンパイルされたバイナリ・コードのキャッシングを伴って）ランタイムにおいて特定のターゲット・デバイスのためのバイナリ・コードにコンパイルし得、これは、コードを「ファイナライズする」（ｆｉｎａｌｉｚｉｎｇ）と呼ばれることもある。少なくとも１つの実施例では、そうすることは、ファイナライズされたコードがターゲット・デバイス上で稼働することを許し得、これは、ソース・コードが最初にＰＴＸコードにコンパイルされたとき、存在していないことがある。代替的に、少なくとも１つの実施例では、デバイス・ソース・コードは、デバイス・カーネル・ドライバ２９０６がランタイムにおいてＩＲコードをコンパイルすることを必要とすることなしに、オフラインでバイナリ・コードにコンパイルされ得る。

図３０は、少なくとも１つの実施例による、図２９のソフトウェア・スタック２９００のＣＵＤＡ実装形態を示す。少なくとも１つの実施例では、アプリケーション３００１が起動され得るＣＵＤＡソフトウェア・スタック３０００は、ＣＵＤＡライブラリ３００３と、ＣＵＤＡランタイム３００５と、ＣＵＤＡドライバ３００７と、デバイス・カーネル・ドライバ３００８とを含む。少なくとも１つの実施例では、ＣＵＤＡソフトウェア・スタック３０００は、ハードウェア３００９上で実行し、ハードウェア３００９はＧＰＵを含み得、ＧＰＵは、ＣＵＤＡをサポートし、カリフォルニア州サンタクララのＮＶＩＤＩＡＣｏｒｐｏｒａｔｉｏｎによって開発される。

少なくとも１つの実施例では、アプリケーション３００１、ＣＵＤＡランタイム３００５、及びデバイス・カーネル・ドライバ３００８は、それぞれ、図２９と併せて上記で説明された、アプリケーション２９０１、ランタイム２９０５、及びデバイス・カーネル・ドライバ２９０６と同様の機能性を実施し得る。少なくとも１つの実施例では、ＣＵＤＡドライバ３００７は、ＣＵＤＡドライバＡＰＩ３００６を実装するライブラリ（ｌｉｂｃｕｄａ．ｓｏ）を含む。少なくとも１つの実施例では、ＣＵＤＡランタイム・ライブラリ（ｃｕｄａｒｔ）によって実装されるＣＵＤＡランタイムＡＰＩ３００４と同様に、ＣＵＤＡドライバＡＰＩ３００６は、限定はしないが、とりわけ、メモリ管理、実行制御、デバイス管理、エラー対処、同期、及び／又はグラフィックス相互運用性のための機能を公開し得る。少なくとも１つの実施例では、ＣＵＤＡドライバＡＰＩ３００６は、ＣＵＤＡランタイムＡＰＩ３００４が、暗黙的な初期化、（プロセスに類似する）コンテキスト管理、及び（動的にロードされたライブラリに類似する）モジュール管理を提供することによって、デバイス・コード管理を簡略化するという点で、ＣＵＤＡランタイムＡＰＩ３００４とは異なる。少なくとも１つの実施例では、高レベルＣＵＤＡランタイムＡＰＩ３００４とは対照的に、ＣＵＤＡドライバＡＰＩ３００６は、特にコンテキスト及びモジュール・ローディングに関して、デバイスのよりきめ細かい制御を提供する低レベルＡＰＩである。少なくとも１つの実施例では、ＣＵＤＡドライバＡＰＩ３００６は、ＣＵＤＡランタイムＡＰＩ３００４によって公開されないコンテキスト管理のための機能を公開し得る。少なくとも１つの実施例では、ＣＵＤＡドライバＡＰＩ３００６はまた、言語依存せず、たとえば、ＣＵＤＡランタイムＡＰＩ３００４に加えて、ＯｐｅｎＣＬをサポートする。さらに、少なくとも１つの実施例では、ＣＵＤＡランタイム３００５を含む開発ライブラリは、ユーザモードＣＵＤＡドライバ３００７と（「ディスプレイ」ドライバと呼ばれることもある）カーネルモード・デバイス・ドライバ３００８とを含むドライバ構成要素とは別個のものと見なされ得る。

少なくとも１つの実施例では、ＣＵＤＡライブラリ３００３は、限定はしないが、数学ライブラリ、深層学習ライブラリ、並列アルゴリズム・ライブラリ、及び／又は信号／画像／ビデオ処理ライブラリを含み得、それらをアプリケーション３００１などの並列コンピューティング・アプリケーションが利用し得る。少なくとも１つの実施例では、ＣＵＤＡライブラリ３００３は、とりわけ、線形代数演算を実施するための基本線形代数サブプログラム（「ＢＬＡＳ」：ＢａｓｉｃＬｉｎｅａｒＡｌｇｅｂｒａＳｕｂｐｒｏｇｒａｍｓ）の実装であるｃｕＢＬＡＳライブラリ、高速フーリエ変換（「ＦＦＴ」：ｆａｓｔＦｏｕｒｉｅｒｔｒａｎｓｆｏｒｍ）を算出するためのｃｕＦＦＴライブラリ、及び乱数を生成するためのｃｕＲＡＮＤライブラリなど、数学ライブラリを含み得る。少なくとも１つの実施例では、ＣＵＤＡライブラリ３００３は、とりわけ、深層ニューラル・ネットワークのためのプリミティブのｃｕＤＮＮライブラリ及び高性能深層学習推論のためのＴｅｎｓｏｒＲＴプラットフォームなど、深層学習ライブラリを含み得る。

図３１は、少なくとも１つの実施例による、図２９のソフトウェア・スタック２９００のＲＯＣｍ実装形態を示す。少なくとも１つの実施例では、アプリケーション３１０１が起動され得るＲＯＣｍソフトウェア・スタック３１００は、言語ランタイム３１０３と、システム・ランタイム３１０５と、サンク（ｔｈｕｎｋ）３１０７と、ＲＯＣｍカーネル・ドライバ３１０８とを含む。少なくとも１つの実施例では、ＲＯＣｍソフトウェア・スタック３１００は、ハードウェア３１０９上で実行し、ハードウェア３１０９はＧＰＵを含み得、ＧＰＵは、ＲＯＣｍをサポートし、カリフォルニア州サンタクララのＡＭＤＣｏｒｐｏｒａｔｉｏｎによって開発される。

少なくとも１つの実施例では、アプリケーション３１０１は、図２９と併せて上記で説明されたアプリケーション２９０１と同様の機能性を実施し得る。少なくとも１つの実施例では、さらに、言語ランタイム３１０３及びシステム・ランタイム３１０５は、図２９と併せて上記で説明されたランタイム２９０５と同様の機能性を実施し得る。少なくとも１つの実施例では、言語ランタイム３１０３とシステム・ランタイム３１０５とは、システム・ランタイム３１０５が、ＲＯＣｒシステム・ランタイムＡＰＩ３１０４を実装し、異種システム・アーキテクチャ（「ＨＳＡ」：ＨｅｔｅｒｏｇｅｎｅｏｕｓＳｙｓｔｅｍＡｒｃｈｉｔｅｃｔｕｒｅ）ランタイムＡＰＩを利用する、言語依存しないランタイムであるという点で、異なる。少なくとも１つの実施例では、ＨＳＡランタイムＡＰＩは、とりわけ、メモリ管理、カーネルの設計されたディスパッチを介した実行制御、エラー対処、システム及びエージェント情報、並びにランタイム初期化及び停止（ｓｈｕｔｄｏｗｎ）のための機能を含む、ＡＭＤＧＰＵにアクセスし、それと対話するためのインターフェースを公開する、シン（ｔｈｉｎ）・ユーザモードＡＰＩである。少なくとも１つの実施例では、システム・ランタイム３１０５とは対照的に、言語ランタイム３１０３は、ＲＯＣｒシステム・ランタイムＡＰＩ３１０４の上に階層化された言語固有ランタイムＡＰＩ３１０２の実装である。少なくとも１つの実施例では、言語ランタイムＡＰＩは、限定はしないが、とりわけ、ポータビリティのための異種コンピュート・インターフェース（「ＨＩＰ」：ＨｅｔｅｒｏｇｅｎｅｏｕｓｃｏｍｐｕｔｅＩｎｔｅｒｆａｃｅｆｏｒＰｏｒｔａｂｉｌｉｔｙ）言語ランタイムＡＰＩ、異種コンピュート・コンパイラ（「ＨＣＣ」：ＨｅｔｅｒｏｇｅｎｅｏｕｓＣｏｍｐｕｔｅＣｏｍｐｉｌｅｒ）言語ランタイムＡＰＩ、又はＯｐｅｎＣＬＡＰＩを含み得る。特にＨＩＰ言語は、機能的に同様のバージョンのＣＵＤＡ機構をもつＣ＋＋プログラミング言語の拡張であり、少なくとも１つの実施例では、ＨＩＰ言語ランタイムＡＰＩは、とりわけ、メモリ管理、実行制御、デバイス管理、エラー対処、及び同期のための機能など、図３０と併せて上記で説明されたＣＵＤＡランタイムＡＰＩ３００４の機能と同様である機能を含む。

少なくとも１つの実施例では、サンク（ＲＯＣｔ）３１０７は、基礎をなすＲＯＣｍドライバ３１０８と対話するために使用され得るインターフェース３１０６である。少なくとも１つの実施例では、ＲＯＣｍドライバ３１０８は、ＡＭＤＧＰＵドライバとＨＳＡカーネル・ドライバ（ａｍｄｋｆｄ）との組合せである、ＲＯＣｋドライバである。少なくとも１つの実施例では、ＡＭＤＧＰＵドライバは、図２９と併せて上記で説明されたデバイス・カーネル・ドライバ２９０６と同様の機能性を実施する、ＡＭＤによって開発されたＧＰＵのためのデバイス・カーネル・ドライバである。少なくとも１つの実施例では、ＨＳＡカーネル・ドライバは、異なるタイプのプロセッサがハードウェア特徴を介してより効果的にシステム・リソースを共有することを許すドライバである。

少なくとも１つの実施例では、様々なライブラリ（図示せず）が、言語ランタイム３１０３より上にＲＯＣｍソフトウェア・スタック３１００中に含まれ、図３０と併せて上記で説明されたＣＵＤＡライブラリ３００３に対する機能性の類似性を提供し得る。少なくとも１つの実施例では、様々なライブラリは、限定はしないが、とりわけ、ＣＵＤＡｃｕＢＬＡＳの機能と同様の機能を実装するｈｉｐＢＬＡＳライブラリ、ＣＵＤＡｃｕＦＦＴと同様であるＦＦＴを算出するためのｒｏｃＦＦＴライブラリなど、数学、深層学習、及び／又は他のライブラリを含み得る。

図３２は、少なくとも１つの実施例による、図２９のソフトウェア・スタック２９００のＯｐｅｎＣＬ実装形態を示す。少なくとも１つの実施例では、アプリケーション３２０１が起動され得るＯｐｅｎＣＬソフトウェア・スタック３２００は、ＯｐｅｎＣＬフレームワーク３２１０と、ＯｐｅｎＣＬランタイム３２０６と、ドライバ３２０７とを含む。少なくとも１つの実施例では、ＯｐｅｎＣＬソフトウェア・スタック３２００は、ベンダー固有でないハードウェア３００９上で実行する。少なくとも１つの実施例では、ＯｐｅｎＣＬは、異なるベンダーによって開発されたデバイスによってサポートされるので、そのようなベンダーからのハードウェアと相互動作するために、特定のＯｐｅｎＣＬドライバが必要とされ得る。

少なくとも１つの実施例では、アプリケーション３２０１、ＯｐｅｎＣＬランタイム３２０６、デバイス・カーネル・ドライバ３２０７、及びハードウェア３２０８は、それぞれ、図２９と併せて上記で説明された、アプリケーション２９０１、ランタイム２９０５、デバイス・カーネル・ドライバ２９０６、及びハードウェア２９０７と同様の機能性を実施し得る。少なくとも１つの実施例では、アプリケーション３２０１は、デバイス上で実行されるべきであるコードをもつＯｐｅｎＣＬカーネル３２０２をさらに含む。

少なくとも１つの実施例では、ＯｐｅｎＣＬは、ホストに接続されたデバイスをホストが制御することを可能にする「プラットフォーム」を定義する。少なくとも１つの実施例では、ＯｐｅｎＣＬフレームワークは、プラットフォームＡＰＩ３２０３及びランタイムＡＰＩ３２０５として示されている、プラットフォーム層ＡＰＩ及びランタイムＡＰＩを提供する。少なくとも１つの実施例では、ランタイムＡＰＩ３２０５は、デバイス上でのカーネルの実行を管理するためにコンテキストを使用する。少なくとも１つの実施例では、各識別されたデバイスは、それぞれのコンテキストに関連し得、ランタイムＡＰＩ３２０５は、それぞれのコンテキストを使用して、そのデバイスのために、とりわけ、コマンド・キュー、プログラム・オブジェクト、及びカーネル・オブジェクトを管理し、メモリ・オブジェクトを共有し得る。少なくとも１つの実施例では、プラットフォームＡＰＩ３２０３は、とりわけ、デバイスを選択及び初期化し、コマンド・キューを介してデバイスにワークをサブミットし、デバイスとの間でのデータ転送を可能にするために、デバイス・コンテキストが使用されることを許す機能を公開する。少なくとも１つの実施例では、さらに、ＯｐｅｎＣＬフレームワークは、とりわけ、数学関数とリレーショナル関数と画像処理関数とを含む、様々な組み込み関数（図示せず）を提供する。

少なくとも１つの実施例では、コンパイラ３２０４も、ＯｐｅｎＣＬフレームワーク３２１０中に含まれる。少なくとも１つの実施例では、ソース・コードは、アプリケーションを実行するより前にオフラインでコンパイルされるか、又はアプリケーションの実行中にオンラインでコンパイルされ得る。ＣＵＤＡ及びＲＯＣｍとは対照的に、少なくとも１つの実施例におけるＯｐｅｎＣＬアプリケーションは、コンパイラ３２０４によってオンラインでコンパイルされ得、コンパイラ２８０４は、標準ポータブル中間表現（「ＳＰＩＲ－Ｖ」：ＳｔａｎｄａｒｄＰｏｒｔａｂｌｅＩｎｔｅｒｍｅｄｉａｔｅＲｅｐｒｅｓｅｎｔａｔｉｏｎ）コードなど、ソース・コード及び／又はＩＲコードをバイナリ・コードにコンパイルするために使用され得る、任意の数のコンパイラを表すために含まれる。代替的に、少なくとも１つの実施例では、ＯｐｅｎＣＬアプリケーションは、そのようなアプリケーションの実行より前に、オフラインでコンパイルされ得る。

図３３は、少なくとも１つの実施例による、プログラミング・プラットフォームによってサポートされるソフトウェアを示す。少なくとも１つの実施例では、プログラミング・プラットフォーム３３０４は、アプリケーション３３００が依拠し得る、様々なプログラミング・モデル３３０３、ミドルウェア及び／又はライブラリ３３０２、並びにフレームワーク３３０１をサポートするように構成される。少なくとも１つの実施例では、アプリケーション３３００は、たとえば、ＭＸＮｅｔ、ＰｙＴｏｒｃｈ、又はＴｅｎｓｏｒＦｌｏｗなど、深層学習フレームワークを使用して実装される、ＡＩ／ＭＬアプリケーションであり得、これは、基礎をなすハードウェア上で加速コンピューティングを提供するために、ｃｕＤＮＮ、ＮＶＩＤＩＡ集合通信ライブラリ（「ＮＣＣＬ」：ＮＶＩＤＩＡＣｏｌｌｅｃｔｉｖｅＣｏｍｍｕｎｉｃａｔｉｏｎｓＬｉｂｒａｒｙ）、及び／又はＮＶＩＤＡディベロッパー・データ・ローディング・ライブラリ（「ＤＡＬＩ（登録商標）」：ＮＶＩＤＡＤｅｖｅｌｏｐｅｒＤａｔａＬｏａｄｉｎｇＬｉｂｒａｒｙ）ＣＵＤＡライブラリなど、ライブラリに依拠し得る。

少なくとも１つの実施例では、プログラミング・プラットフォーム３３０４は、それぞれ、図３０、図３１、及び図３２と併せて上記で説明された、ＣＵＤＡ、ＲＯＣｍ、又はＯｐｅｎＣＬプラットフォームのうちの１つであり得る。少なくとも１つの実施例では、プログラミング・プラットフォーム３３０４は、アルゴリズム及びデータ構造の表現を許す基礎をなすコンピューティング・システムの抽象化である、複数のプログラミング・モデル３３０３をサポートする。少なくとも１つの実施例では、プログラミング・モデル３３０３は、性能を改善するために、基礎をなすハードウェアの特徴を公開し得る。少なくとも１つの実施例では、プログラミング・モデル３３０３は、限定はしないが、ＣＵＤＡ、ＨＩＰ、ＯｐｅｎＣＬ、Ｃ＋＋加速超並列性（「Ｃ＋＋ＡＭＰ」：Ｃ＋＋ＡｃｃｅｌｅｒａｔｅｄＭａｓｓｉｖｅＰａｒａｌｌｅｌｉｓｍ）、オープン・マルチプロセシング（「ＯｐｅｎＭＰ」：ＯｐｅｎＭｕｌｔｉ－Ｐｒｏｃｅｓｓｉｎｇ）、オープン・アクセラレータ（「ＯｐｅｎＡＣＣ」：ＯｐｅｎＡｃｃｅｌｅｒａｔｏｒｓ）、及び／又はＶｕｌｃａｎコンピュート（ＶｕｌｃａｎＣｏｍｐｕｔｅ）を含み得る。

少なくとも１つの実施例では、ライブラリ及び／又はミドルウェア３３０２は、プログラミング・モデル３３０４の抽象化の実装を提供する。少なくとも１つの実施例では、そのようなライブラリは、コンピュータ・プログラムによって使用され、ソフトウェア開発中に活用され得る、データ及びプログラミング・コードを含む。少なくとも１つの実施例では、そのようなミドルウェアは、プログラミング・プラットフォーム３３０４から利用可能なソフトウェア以外にアプリケーションにサービスを提供するソフトウェアを含む。少なくとも１つの実施例では、ライブラリ及び／又はミドルウェア３３０２は、限定はしないが、ｃｕＢＬＡＳ、ｃｕＦＦＴ、ｃｕＲＡＮＤ、及び他のＣＵＤＡライブラリ、又は、ｒｏｃＢＬＡＳ、ｒｏｃＦＦＴ、ｒｏｃＲＡＮＤ、及び他のＲＯＣｍライブラリを含み得る。さらに、少なくとも１つの実施例では、ライブラリ及び／又はミドルウェア３３０２は、ＧＰＵのための通信ルーチンを提供するＮＣＣＬ及びＲＯＣｍ通信集合ライブラリ（「ＲＣＣＬ」：ＲＯＣｍＣｏｍｍｕｎｉｃａｔｉｏｎＣｏｌｌｅｃｔｉｖｅｓＬｉｂｒａｒｙ）のライブラリ、深層学習加速のためのＭＩＯｐｅｎライブラリ、並びに／又は、線形代数、行列及びベクトル演算、幾何学的変換、数値ソルバー、及び関係するアルゴリズムのための固有（Ｅｉｇｅｎ）ライブラリを含み得る。

少なくとも１つの実施例では、アプリケーション・フレームワーク３３０１は、ライブラリ及び／又はミドルウェア３３０２に依存する。少なくとも１つの実施例では、アプリケーション・フレームワーク３３０１の各々は、アプリケーション・ソフトウェアの標準構造を実装するために使用されるソフトウェア・フレームワークである。少なくとも１つの実施例では、上記で説明されたＡＩ／ＭＬ実例に戻ると、ＡＩ／ＭＬアプリケーションは、Ｃａｆｆｅ、Ｃａｆｆｅ２、ＴｅｎｓｏｒＦｌｏｗ、Ｋｅｒａｓ、ＰｙＴｏｒｃｈ、又はＭｘＮｅｔ深層学習フレームワークなど、フレームワークを使用して実装され得る。

図３４は、少なくとも１つの実施例による、図２９～図３２のプログラミング・プラットフォームのうちの１つの上で実行するためのコードをコンパイルすることを示す。少なくとも１つの実施例では、コンパイラ３４０１は、ホスト・コード並びにデバイス・コードの両方を含むソース・コード３４００を受信する。少なくとも１つの実施例では、コンパイラ３４０１は、ソース・コード３４００を、ホスト上での実行のためのホスト実行可能コード３４０２及びデバイス上での実行のためのデバイス実行可能コード３４０３にコンバートするように構成される。少なくとも１つの実施例では、ソース・コード３４００は、アプリケーションの実行より前にオフラインでコンパイルされるか、又はアプリケーションの実行中にオンラインでコンパイルされるかのいずれかであり得る。

少なくとも１つの実施例では、ソース・コード３４００は、Ｃ＋＋、Ｃ、Ｆｏｒｔｒａｎなど、コンパイラ３４０１によってサポートされる任意のプログラミング言語のコードを含み得る。少なくとも１つの実施例では、ソース・コード３４００は、ホスト・コードとデバイス・コードとの混合物を有する単一ソース・ファイル中に含まれ得、その中にデバイス・コードのロケーションが指示されている。少なくとも１つの実施例では、単一ソース・ファイルは、ＣＵＤＡコードを含む．ｃｕファイル、又はＨＩＰコードを含む．ｈｉｐ．ｃｐｐファイルであり得る。代替的に、少なくとも１つの実施例では、ソース・コード３４００は、その中でホスト・コードとデバイス・コードとが分離される単一ソース・ファイルではなく、複数のソース・コード・ファイルを含み得る。

少なくとも１つの実施例では、コンパイラ３４０１は、ソース・コード３４００を、ホスト上での実行のためのホスト実行可能コード３４０２及びデバイス上での実行のためのデバイス実行可能コード３４０３にコンパイルするように構成される。少なくとも１つの実施例では、コンパイラ３４０１は、ソース・コード３４００を抽象システム・ツリー（ＡＳＴ：ａｂｓｔｒａｃｔｓｙｓｔｅｍｔｒｅｅ）に構文解析することと、最適化を実施することと、実行可能コードを生成することとを含む、動作を実施する。ソース・コード３４００が単一ソース・ファイルを含む、少なくとも１つの実施例では、コンパイラ３４０１は、図３５に関して以下でより詳細に説明されるように、そのような単一ソース・ファイル中でデバイス・コードをホスト・コードから分離し、デバイス・コード及びホスト・コードを、それぞれ、デバイス実行可能コード３４０３及びホスト実行可能コード３４０２にコンパイルし、デバイス実行可能コード３４０３とホスト実行可能コード３４０２とを単一のファイルにおいて互いにリンクし得る。

少なくとも１つの実施例では、ホスト実行可能コード３４０２及びデバイス実行可能コード３４０３は、バイナリ・コード及び／又はＩＲコードなど、任意の好適なフォーマットのものであり得る。少なくとも１つの実施例では、ＣＵＤＡの場合、ホスト実行可能コード３４０２は、ネイティブ・オブジェクト・コードを含み得、デバイス実行可能コード３４０３は、ＰＴＸ中間表現のコードを含み得る。少なくとも１つの実施例では、ＲＯＣｍの場合、ホスト実行可能コード３４０２とデバイス実行可能コード３４０３の両方は、ターゲット・バイナリ・コードを含み得る。

図３５は、少なくとも１つの実施例による、図２９～図３２のプログラミング・プラットフォームのうちの１つの上で実行するためのコードをコンパイルすることのより詳細な図である。少なくとも１つの実施例では、コンパイラ３５０１は、ソース・コード３５００を受信し、ソース・コード３５００をコンパイルし、実行可能ファイル３５１０を出力するように構成される。少なくとも１つの実施例では、ソース・コード３５００は、ホスト・コードとデバイス・コードの両方を含む、．ｃｕファイル、．ｈｉｐ．ｃｐｐファイル、又は別のフォーマットのファイルなど、単一ソース・ファイルである。少なくとも１つの実施例では、コンパイラ３５０１は、限定はしないが、．ｃｕファイル中のＣＵＤＡコードをコンパイルするためのＮＶＩＤＩＡＣＵＤＡコンパイラ（「ＮＶＣＣ」：ＮＶＩＤＩＡＣＵＤＡｃｏｍｐｉｌｅｒ）、又は．ｈｉｐ．ｃｐｐファイル中のＨＩＰコードをコンパイルするためのＨＣＣコンパイラであり得る。

少なくとも１つの実施例では、コンパイラ３５０１は、コンパイラ・フロント・エンド３５０２と、ホスト・コンパイラ３５０５と、デバイス・コンパイラ３５０６と、リンカ３５０９とを含む。少なくとも１つの実施例では、コンパイラ・フロント・エンド３５０２は、ソース・コード３５００中でデバイス・コード３５０４をホスト・コード３５０３から分離するように構成される。少なくとも１つの実施例では、デバイス・コード３５０４は、デバイス・コンパイラ３５０６によってデバイス実行可能コード３５０８にコンパイルされ、デバイス実行可能コード３５０８は、説明されたように、バイナリ・コード又はＩＲコードを含み得る。少なくとも１つの実施例では、別個に、ホスト・コード３５０３は、ホスト・コンパイラ３５０５によってホスト実行可能コード３５０７にコンパイルされる。少なくとも１つの実施例では、ＮＶＣＣの場合、ホスト・コンパイラ３５０５は、限定はしないが、ネイティブ・オブジェクト・コードを出力する汎用Ｃ／Ｃ＋＋コンパイラであり得るが、デバイス・コンパイラ３５０６は、限定はしないが、ＬＬＶＭコンパイラ・インフラストラクチャをフォークし、ＰＴＸコード又はバイナリ・コードを出力する、低レベル仮想機械（「ＬＬＶＭ」：ＬｏｗＬｅｖｅｌＶｉｒｔｕａｌＭａｃｈｉｎｅ）ベースのコンパイラであり得る。少なくとも１つの実施例では、ＨＣＣの場合、ホスト・コンパイラ３５０５とデバイス・コンパイラ３５０６の両方は、限定はしないが、ターゲット・バイナリ・コードを出力するＬＬＶＭベースのコンパイラであり得る。

少なくとも１つの実施例では、ソース・コード３５００をホスト実行可能コード３５０７及びデバイス実行可能コード３５０８にコンパイルした後に、リンカ３５０９は、ホスト実行可能コード３５０７とデバイス実行可能コード３５０８とを実行可能ファイル３５１０において互いにリンクする。少なくとも１つの実施例では、ホストのためのネイティブ・オブジェクト・コードと、デバイスのためのＰＴＸ又はバイナリ・コードとは、オブジェクト・コードを記憶するために使用されるコンテナ・フォーマットである、実行可能及びリンク可能フォーマット（「ＥＬＦ」：ＥｘｅｃｕｔａｂｌｅａｎｄＬｉｎｋａｂｌｅＦｏｒｍａｔ）ファイルにおいて互いにリンクされ得る。

図３６は、少なくとも１つの実施例による、ソース・コードをコンパイルするより前にソース・コードをトランスレートすることを示す。少なくとも１つの実施例では、ソース・コード３６００は、トランスレーション・ツール３６０１を通して渡され、トランスレーション・ツール３６０１は、ソース・コード３６００を、トランスレートされたソース・コード３６０２にトランスレートする。少なくとも１つの実施例では、コンパイラ３６０３は、図３４と併せて上記で説明されたように、ホスト実行可能コード３４０２及びデバイス実行可能３４０３へのコンパイラ３４０１によるソース・コード３４００のコンパイルと同様であるプロセスにおいて、トランスレートされたソース・コード３６０２をホスト実行可能コード３６０４及びデバイス実行可能コード３６０５にコンパイルするために使用される。

少なくとも１つの実施例では、トランスレーション・ツール３６０１によって実施されるトランスレーションは、稼働することが最初に意図された環境とは異なる環境における実行のためにソース３６００を移植するために使用される。少なくとも１つの実施例では、トランスレーション・ツール３６０１は、限定はしないが、ＣＵＤＡプラットフォームを対象とするＣＵＤＡコードを、ＲＯＣｍプラットフォーム上でコンパイル及び実行され得るＨＩＰコードに「ｈｉｐｉｆｙ」するために使用される、ＨＩＰトランスレータを含み得る。少なくとも１つの実施例では、ソース・コード３６００のトランスレーションは、図３７Ａ～図３８と併せて以下でより詳細に説明されるように、ソース・コード３６００を構文解析することと、あるプログラミング・モデル（たとえば、ＣＵＤＡ）によって提供される（１つ又は複数の）ＡＰＩへのコールを、別のプログラミング・モデル（たとえば、ＨＩＰ）によって提供される（１つ又は複数の）ＡＰＩへの対応するコールにコンバートすることとを含み得る。少なくとも１つの実施例では、ＣＵＤＡコードをｈｉｐｉｆｙすることの実例に戻ると、ＣＵＤＡランタイムＡＰＩ、ＣＵＤＡドライバＡＰＩ、及び／又はＣＵＤＡライブラリへのコールは、対応するＨＩＰＡＰＩコールにコンバートされ得る。少なくとも１つの実施例では、トランスレーション・ツール３６０１によって実施される自動トランスレーションは、時々、不完全であり、ソース・コード３６００を完全に移植するために追加の手動の労力を必要とし得る。

汎用コンピューティングのためのＧＰＵを構成すること
以下の図は、限定はしないが、少なくとも１つの実施例による、コンピュート・ソース・コードをコンパイル及び実行するための例示的なアーキテクチャを記載する。

図３７Ａは、少なくとも１つの実施例による、異なるタイプの処理ユニットを使用してＣＵＤＡソース・コード３７１０をコンパイル及び実行するように構成されたシステム３７Ａ００を示す。少なくとも１つの実施例では、システム３７Ａ００は、限定はしないが、ＣＵＤＡソース・コード３７１０と、ＣＵＤＡコンパイラ３７５０と、ホスト実行可能コード３７７０（１）と、ホスト実行可能コード３７７０（２）と、ＣＵＤＡデバイス実行可能コード３７８４と、ＣＰＵ３７９０と、ＣＵＤＡ対応ＧＰＵ３７９４と、ＧＰＵ３７９２と、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０と、ＨＩＰソース・コード３７３０と、ＨＩＰコンパイラ・ドライバ３７４０と、ＨＣＣ３７６０と、ＨＣＣデバイス実行可能コード３７８２とを含む。

少なくとも１つの実施例では、ＣＵＤＡソース・コード３７１０は、ＣＵＤＡプログラミング言語の人間が読み取れるコードの集合である。少なくとも１つの実施例では、ＣＵＤＡコードは、ＣＵＤＡプログラミング言語の人間が読み取れるコードである。少なくとも１つの実施例では、ＣＵＤＡプログラミング言語は、限定はしないが、デバイス・コードを定義し、デバイス・コードとホスト・コードとを区別するための機構を含む、Ｃ＋＋プログラミング言語の拡張である。少なくとも１つの実施例では、デバイス・コードは、コンパイルの後にデバイス上で並列に実行可能であるソース・コードである。少なくとも１つの実施例では、デバイスは、ＣＵＤＡ対応ＧＰＵ３７９０、ＧＰＵ３７１９２、又は別のＧＰＧＰＵなど、並列命令処理のために最適化されるプロセッサであり得る。少なくとも１つの実施例では、ホスト・コードは、コンパイルの後にホスト上で実行可能であるソース・コードである。少なくとも１つの実施例では、ホストは、ＣＰＵ３７９０など、連続命令処理のために最適化されるプロセッサである。

少なくとも１つの実施例では、ＣＵＤＡソース・コード３７１０は、限定はしないが、（ゼロを含む）任意の数のグローバル機能３７１２と、（ゼロを含む）任意の数のデバイス機能３７１４と、（ゼロを含む）任意の数のホスト機能３７１６と、（ゼロを含む）任意の数のホスト／デバイス機能３７１８とを含む。少なくとも１つの実施例では、グローバル機能３７１２と、デバイス機能３７１４と、ホスト機能３７１６と、ホスト／デバイス機能３７１８とは、ＣＵＤＡソース・コード３７１０中で混合され得る。少なくとも１つの実施例では、グローバル機能３７１２の各々は、デバイス上で実行可能であり、ホストからコール可能である。少なくとも１つの実施例では、グローバル機能３７１２のうちの１つ又は複数は、したがって、デバイスへのエントリ・ポイントとして働き得る。少なくとも１つの実施例では、グローバル機能３７１２の各々はカーネルである。少なくとも１つの実施例では、及び動的並列性として知られる技法では、グローバル機能３７１２のうちの１つ又は複数は、カーネルを定義し、カーネルは、デバイス上で実行可能であり、そのようなデバイスからコール可能である。少なくとも１つの実施例では、カーネルは、実行中にデバイス上のＮ（ここで、Ｎは任意の正の整数である）個の異なるスレッドによって並列にＮ回実行される。

少なくとも１つの実施例では、デバイス機能３７１４の各々は、デバイス上で実行され、そのようなデバイスからのみコール可能である。少なくとも１つの実施例では、ホスト機能３７１６の各々は、ホスト上で実行され、そのようなホストからのみコール可能である。少なくとも１つの実施例では、ホスト／デバイス機能３７１６の各々は、ホスト上で実行可能であり、そのようなホストからのみコール可能であるホスト・バージョンの機能と、デバイス上で実行可能であり、そのようなデバイスからのみコール可能であるデバイス・バージョンの機能の両方を定義する。

少なくとも１つの実施例では、ＣＵＤＡソース・コード３７１０は、限定はしないが、ＣＵＤＡランタイムＡＰＩ３７０２を介して定義される任意の数の機能への任意の数のコールをも含み得る。少なくとも１つの実施例では、ＣＵＤＡランタイムＡＰＩ３７０２は、限定はしないが、デバイス・メモリを割り振り、割振り解除し、ホスト・メモリとデバイス・メモリとの間でデータを転送し、複数のデバイスをもつシステムを管理するなどのためにホスト上で実行する、任意の数の機能を含み得る。少なくとも１つの実施例では、ＣＵＤＡソース・コード３７１０は、任意の数の他のＣＵＤＡＡＰＩにおいて指定される任意の数の機能への任意の数のコールをも含み得る。少なくとも１つの実施例では、ＣＵＤＡＡＰＩは、ＣＵＤＡコードによる使用のために設計される任意のＡＰＩであり得る。少なくとも１つの実施例では、ＣＵＤＡＡＰＩは、限定はしないが、ＣＵＤＡランタイムＡＰＩ３７０２、ＣＵＤＡドライバＡＰＩ、任意の数のＣＵＤＡライブラリのためのＡＰＩなどを含む。少なくとも１つの実施例では、及びＣＵＤＡランタイムＡＰＩ３７０２に対して、ＣＵＤＡドライバＡＰＩは、より低いレベルのＡＰＩであるが、デバイスのよりきめ細かい制御を提供する。少なくとも１つの実施例では、ＣＵＤＡライブラリの実例は、限定はしないが、ｃｕＢＬＡＳ、ｃｕＦＦＴ、ｃｕＲＡＮＤ、ｃｕＤＮＮなどを含む。

少なくとも１つの実施例では、ＣＵＤＡコンパイラ３７５０は、ホスト実行可能コード３７７０（１）及びＣＵＤＡデバイス実行可能コード３７８４を生成するために、入力ＣＵＤＡコード（たとえば、ＣＵＤＡソース・コード３７１０）をコンパイルする。少なくとも１つの実施例では、ＣＵＤＡコンパイラ３７５０はＮＶＣＣである。少なくとも１つの実施例では、ホスト実行可能コード３７７０（１）は、ＣＰＵ３７９０上で実行可能である、入力ソース・コード中に含まれるホスト・コードのコンパイルされたバージョンである。少なくとも１つの実施例では、ＣＰＵ３７９０は、連続命令処理のために最適化される任意のプロセッサであり得る。

少なくとも１つの実施例では、ＣＵＤＡデバイス実行可能コード３７８４は、ＣＵＤＡ対応ＧＰＵ３７９４上で実行可能である、入力ソース・コード中に含まれるデバイス・コードのコンパイルされたバージョンである。少なくとも１つの実施例では、ＣＵＤＡデバイス実行可能コード３７８４は、限定はしないが、バイナリ・コードを含む。少なくとも１つの実施例では、ＣＵＤＡデバイス実行可能コード３７８４は、限定はしないが、ＰＴＸコードなどのＩＲコードを含み、これは、デバイス・ドライバによって、特定のターゲット・デバイス（たとえば、ＣＵＤＡ対応ＧＰＵ３７９４）のためのバイナリ・コードに、ランタイムにおいてさらにコンパイルされる。少なくとも１つの実施例では、ＣＵＤＡ対応ＧＰＵ３７９４は、並列命令処理のために最適化され、ＣＵＤＡをサポートする、任意のプロセッサであり得る。少なくとも１つの実施例では、ＣＵＤＡ対応ＧＰＵ３７９４は、カリフォルニア州サンタクララのＮＶＩＤＩＡＣｏｒｐｏｒａｔｉｏｎによって開発される。

少なくとも１つの実施例では、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０は、ＣＵＤＡソース・コード３７１０を機能的に同様のＨＩＰソース・コード３７３０にトランスレートするように構成される。少なくとも１つの実施例では、ＨＩＰソース・コード３７３０は、ＨＩＰプログラミング言語の人間が読み取れるコードの集合である。少なくとも１つの実施例では、ＨＩＰコードは、ＨＩＰプログラミング言語の人間が読み取れるコードである。少なくとも１つの実施例では、ＨＩＰプログラミング言語は、限定はしないが、デバイス・コードを定義し、デバイス・コードとホスト・コードとを区別するための、機能的に同様のバージョンのＣＵＤＡ機構を含む、Ｃ＋＋プログラミング言語の拡張である。少なくとも１つの実施例では、ＨＩＰプログラミング言語は、ＣＵＤＡプログラミング言語の機能性のサブセットを含み得る。少なくとも１つの実施例では、たとえば、ＨＩＰプログラミング言語は、限定はしないが、グローバル機能３７１２を定義するための（１つ又は複数の）機構を含むが、そのようなＨＩＰプログラミング言語は、動的並列性のサポートがないことがあり、したがって、ＨＩＰコードにおいて定義されたグローバル機能３７１２は、ホストからのみコール可能であり得る。

少なくとも１つの実施例では、ＨＩＰソース・コード３７３０は、限定はしないが、（ゼロを含む）任意の数のグローバル機能３７１２と、（ゼロを含む）任意の数のデバイス機能３７１４と、（ゼロを含む）任意の数のホスト機能３７１６と、（ゼロを含む）任意の数のホスト／デバイス機能３７１８とを含む。少なくとも１つの実施例では、ＨＩＰソース・コード３７３０は、ＨＩＰランタイムＡＰＩ３７３２において指定される任意の数の機能への任意の数のコールをも含み得る。少なくとも１つの実施例では、ＨＩＰランタイムＡＰＩ３７３２は、限定はしないが、ＣＵＤＡランタイムＡＰＩ３７０２中に含まれる機能のサブセットの機能的に同様のバージョンを含む。少なくとも１つの実施例では、ＨＩＰソース・コード３７３０は、任意の数の他のＨＩＰＡＰＩにおいて指定される任意の数の機能への任意の数のコールをも含み得る。少なくとも１つの実施例では、ＨＩＰＡＰＩは、ＨＩＰコード及び／又はＲＯＣｍによる使用のために設計される任意のＡＰＩであり得る。少なくとも１つの実施例では、ＨＩＰＡＰＩは、限定はしないが、ＨＩＰランタイムＡＰＩ３７３２、ＨＩＰドライバＡＰＩ、任意の数のＨＩＰライブラリのためのＡＰＩ、任意の数のＲＯＣｍライブラリのためのＡＰＩなどを含む。

少なくとも１つの実施例では、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０は、ＣＵＤＡコード中の各カーネル・コールを、ＣＵＤＡシンタックスからＨＩＰシンタックスにコンバートし、ＣＵＤＡコード中の任意の数の他のＣＵＤＡコールを、任意の数の他の機能的に同様のＨＩＰコールにコンバートする。少なくとも１つの実施例では、ＣＵＤＡコールは、ＣＵＤＡＡＰＩにおいて指定された機能へのコールであり、ＨＩＰコールは、ＨＩＰＡＰＩにおいて指定された機能へのコールである。少なくとも１つの実施例では、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０は、ＣＵＤＡランタイムＡＰＩ３７０２において指定された機能への任意の数のコールを、ＨＩＰランタイムＡＰＩ３７３２において指定された機能への任意の数のコールにコンバートする。

少なくとも１つの実施例では、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０は、テキスト・ベースのトランスレーション・プロセスを実行するｈｉｐｉｆｙ－ｐｅｒｌとして知られるツールである。少なくとも１つの実施例では、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０は、ｈｉｐｉｆｙ－ｃｌａｎｇとして知られるツールであり、これは、ｈｉｐｉｆｙ－ｐｅｒｌに対して、ｃｌａｎｇ（コンパイラ・フロント・エンド）を使用してＣＵＤＡコードを構文解析することと、次いで、得られたシンボルをトランスレートすることとを伴う、より複雑でよりロバストなトランスレーション・プロセスを実行する。少なくとも１つの実施例では、ＣＵＤＡコードをＨＩＰコードに適切にコンバートすることは、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０によって実施される修正に加えて、修正（たとえば、手動の編集）を必要とし得る。

少なくとも１つの実施例では、ＨＩＰコンパイラ・ドライバ３７４０は、ターゲット・デバイス３７４６を決定し、次いで、ターゲット・デバイス３７４６と互換性があるコンパイラを、ＨＩＰソース・コード３７３０をコンパイルするように構成する、フロント・エンドである。少なくとも１つの実施例では、ターゲット・デバイス３７４６は、並列命令処理のために最適化されるプロセッサである。少なくとも１つの実施例では、ＨＩＰコンパイラ・ドライバ３７４０は、任意の技術的に実現可能な様式でターゲット・デバイス３７４６を決定し得る。

少なくとも１つの実施例では、ターゲット・デバイス３７４６が、ＣＵＤＡ（たとえば、ＣＵＤＡ対応ＧＰＵ３７９４）と互換性がある場合、ＨＩＰコンパイラ・ドライバ３７４０は、ＨＩＰ／ＮＶＣＣコンパイル・コマンド３７４２を生成する。少なくとも１つの実施例では、及び図３７Ｂと併せてより詳細に説明されるように、ＨＩＰ／ＮＶＣＣコンパイル・コマンド３７４２は、限定はしないが、ＨＩＰからＣＵＤＡへのトランスレーション・ヘッダ及びＣＵＤＡランタイム・ライブラリを使用してＨＩＰソース・コード３７３０をコンパイルするようにＣＵＤＡコンパイラ３７５０を構成する。少なくとも１つの実施例では、及びＨＩＰ／ＮＶＣＣコンパイル・コマンド３７４２に応答して、ＣＵＤＡコンパイラ３７５０は、ホスト実行可能コード３７７０（１）及びＣＵＤＡデバイス実行可能コード３７８４を生成する。

少なくとも１つの実施例では、ターゲット・デバイス３７４６が、ＣＵＤＡと互換性がない場合、ＨＩＰコンパイラ・ドライバ３７４０は、ＨＩＰ／ＨＣＣコンパイル・コマンド３７４４を生成する。少なくとも１つの実施例では、及び図３７Ｃと併せてより詳細に説明されるように、ＨＩＰ／ＨＣＣコンパイル・コマンド３７４４は、限定はしないが、ＨＣＣヘッダ及びＨＩＰ／ＨＣＣランタイム・ライブラリを使用してＨＩＰソース・コード３７３０をコンパイルするようにＨＣＣ３７６０を構成する。少なくとも１つの実施例では、及びＨＩＰ／ＨＣＣコンパイル・コマンド３７４４に応答して、ＨＣＣ３７６０は、ホスト実行可能コード３７７０（２）及びＨＣＣデバイス実行可能コード３７８２を生成する。少なくとも１つの実施例では、ＨＣＣデバイス実行可能コード３７８２は、ＧＰＵ３７９２上で実行可能である、ＨＩＰソース・コード３７３０中に含まれるデバイス・コードのコンパイルされたバージョンである。少なくとも１つの実施例では、ＧＰＵ３７９２は、並列命令処理のために最適化され、ＣＵＤＡと互換性がなく、ＨＣＣと互換性がある、任意のプロセッサであり得る。少なくとも１つの実施例では、ＧＰＵ３７９２は、カリフォルニア州サンタクララのＡＭＤＣｏｒｐｏｒａｔｉｏｎによって開発される。少なくとも１つの実施例では、ＧＰＵ３７９２は、ＣＵＤＡ非対応ＧＰＵ３７９２である。

単に説明目的のために、ＣＰＵ３７９０及び異なるデバイス上での実行のためにＣＵＤＡソース・コード３７１０をコンパイルするために少なくとも１つの実施例において実装され得る３つの異なるフローが、図３７Ａに図示されている。少なくとも１つの実施例では、直接的ＣＵＤＡフローが、ＣＵＤＡソース・コード３７１０をＨＩＰソース・コード３７３０にトランスレートすることなしに、ＣＰＵ３７９０及びＣＵＤＡ対応ＧＰＵ３７９４上での実行のためにＣＵＤＡソース・コード３７１０をコンパイルする。少なくとも１つの実施例では、間接的ＣＵＤＡフローが、ＣＵＤＡソース・コード３７１０をＨＩＰソース・コード３７３０にトランスレートし、次いで、ＣＰＵ３７９０及びＣＵＤＡ対応ＧＰＵ３７９４上での実行のためにＨＩＰソース・コード３７３０をコンパイルする。少なくとも１つの実施例では、ＣＵＤＡ／ＨＣＣフローが、ＣＵＤＡソース・コード３７１０をＨＩＰソース・コード３７３０にトランスレートし、次いで、ＣＰＵ３７９０及びＧＰＵ３７９２上での実行のためにＨＩＰソース・コード３７３０をコンパイルする。

少なくとも１つの実施例において実装され得る直接的ＣＵＤＡフローは、破線及びＡ１～Ａ３とアノテーション付けされた一連のバブルを介して図示されている。少なくとも１つの実施例では、及びＡ１とアノテーション付けされたバブルで図示されているように、ＣＵＤＡコンパイラ３７５０は、ＣＵＤＡソース・コード３７１０と、ＣＵＤＡソース・コード３７１０をコンパイルするようにＣＵＤＡコンパイラ３７５０を構成するＣＵＤＡコンパイル・コマンド３７４８とを受信する。少なくとも１つの実施例では、直接的ＣＵＤＡフローにおいて使用されるＣＵＤＡソース・コード３７１０は、Ｃ＋＋以外のプログラミング言語（たとえば、Ｃ、Ｆｏｒｔｒａｎ、Ｐｙｔｈｏｎ、Ｊａｖａなど）に基づくＣＵＤＡプログラミング言語で書かれる。少なくとも１つの実施例では、及びＣＵＤＡコンパイル・コマンド３７４８に応答して、ＣＵＤＡコンパイラ３７５０は、ホスト実行可能コード３７７０（１）及びＣＵＤＡデバイス実行可能コード３７８４を生成する（Ａ２とアノテーション付けされたバブルで図示される）。少なくとも１つの実施例では、及びＡ３とアノテーション付けされたバブルで図示されているように、ホスト実行可能コード３７７０（１）及びＣＵＤＡデバイス実行可能コード３７８４は、それぞれ、ＣＰＵ３７９０及びＣＵＤＡ対応ＧＰＵ３７９４上で実行され得る。少なくとも１つの実施例では、ＣＵＤＡデバイス実行可能コード３７８４は、限定はしないが、バイナリ・コードを含む。少なくとも１つの実施例では、ＣＵＤＡデバイス実行可能コード３７８４は、限定はしないが、ＰＴＸコードを含み、ランタイムにおいて特定のターゲット・デバイスのためのバイナリ・コードにさらにコンパイルされる。

少なくとも１つの実施例において実装され得る間接的ＣＵＤＡフローは、点線及びＢ１～Ｂ６とアノテーション付けされた一連のバブルを介して図示されている。少なくとも１つの実施例では、及びＢ１とアノテーション付けされたバブルで図示されているように、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０は、ＣＵＤＡソース・コード３７１０を受信する。少なくとも１つの実施例では、及びＢ２とアノテーション付けされたバブルで図示されているように、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０は、ＣＵＤＡソース・コード３７１０をＨＩＰソース・コード３７３０にトランスレートする。少なくとも１つの実施例では、及びＢ３とアノテーション付けされたバブルで図示されているように、ＨＩＰコンパイラ・ドライバ３７４０は、ＨＩＰソース・コード３７３０を受信し、ターゲット・デバイス３７４６がＣＵＤＡ対応であると決定する。

少なくとも１つの実施例では、及びＢ４とアノテーション付けされたバブルで図示されているように、ＨＩＰコンパイラ・ドライバ３７４０は、ＨＩＰ／ＮＶＣＣコンパイル・コマンド３７４２を生成し、ＨＩＰ／ＮＶＣＣコンパイル・コマンド３７４２とＨＩＰソース・コード３７３０の両方をＣＵＤＡコンパイラ３７５０に送信する。少なくとも１つの実施例では、及び図３７Ｂと併せてより詳細に説明されるように、ＨＩＰ／ＮＶＣＣコンパイル・コマンド３７４２は、限定はしないが、ＨＩＰからＣＵＤＡへのトランスレーション・ヘッダ及びＣＵＤＡランタイム・ライブラリを使用してＨＩＰソース・コード３７３０をコンパイルするようにＣＵＤＡコンパイラ３７５０を構成する。少なくとも１つの実施例では、及びＨＩＰ／ＮＶＣＣコンパイル・コマンド３７４２に応答して、ＣＵＤＡコンパイラ３７５０は、ホスト実行可能コード３７７０（１）及びＣＵＤＡデバイス実行可能コード３７８４を生成する（Ｂ５とアノテーション付けされたバブルで図示される）。少なくとも１つの実施例では、及びＢ６とアノテーション付けされたバブルで図示されているように、ホスト実行可能コード３７７０（１）及びＣＵＤＡデバイス実行可能コード３７８４は、それぞれ、ＣＰＵ３７９０及びＣＵＤＡ対応ＧＰＵ３７９４上で実行され得る。少なくとも１つの実施例では、ＣＵＤＡデバイス実行可能コード３７８４は、限定はしないが、バイナリ・コードを含む。少なくとも１つの実施例では、ＣＵＤＡデバイス実行可能コード３７８４は、限定はしないが、ＰＴＸコードを含み、ランタイムにおいて特定のターゲット・デバイスのためのバイナリ・コードにさらにコンパイルされる。

少なくとも１つの実施例において実装され得るＣＵＤＡ／ＨＣＣフローは、実線及びＣ１～Ｃ６とアノテーション付けされた一連のバブルを介して図示されている。少なくとも１つの実施例では、及びＣ１とアノテーション付けされたバブルで図示されているように、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０は、ＣＵＤＡソース・コード３７１０を受信する。少なくとも１つの実施例では、及びＣ２とアノテーション付けされたバブルで図示されているように、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０は、ＣＵＤＡソース・コード３７１０をＨＩＰソース・コード３７３０にトランスレートする。少なくとも１つの実施例では、及びＣ３とアノテーション付けされたバブルで図示されているように、ＨＩＰコンパイラ・ドライバ３７４０は、ＨＩＰソース・コード３７３０を受信し、ターゲット・デバイス３７４６がＣＵＤＡ対応でないと決定する。

少なくとも１つの実施例では、ＨＩＰコンパイラ・ドライバ３７４０は、ＨＩＰ／ＨＣＣコンパイル・コマンド３７４４を生成し、ＨＩＰ／ＨＣＣコンパイル・コマンド３７４４とＨＩＰソース・コード３７３０の両方をＨＣＣ３７６０に送信する（Ｃ４とアノテーション付けされたバブルで図示される）。少なくとも１つの実施例では、及び図３７Ｃと併せてより詳細に説明されるように、ＨＩＰ／ＨＣＣコンパイル・コマンド３７４４は、限定はしないが、ＨＣＣヘッダ及びＨＩＰ／ＨＣＣランタイム・ライブラリを使用してＨＩＰソース・コード３７３０をコンパイルするようにＨＣＣ３７６０を構成する。少なくとも１つの実施例では、及びＨＩＰ／ＨＣＣコンパイル・コマンド３７４４に応答して、ＨＣＣ３７６０は、ホスト実行可能コード３７７０（２）及びＨＣＣデバイス実行可能コード３７８２を生成する（Ｃ５とアノテーション付けされたバブルで図示される）。少なくとも１つの実施例では、及びＣ６とアノテーション付けされたバブルで図示されているように、ホスト実行可能コード３７７０（２）及びＨＣＣデバイス実行可能コード３７８２は、それぞれ、ＣＰＵ３７９０及びＧＰＵ３７９２上で実行され得る。

少なくとも１つの実施例では、ＣＵＤＡソース・コード３７１０がＨＩＰソース・コード３７３０にトランスレートされた後に、ＨＩＰコンパイラ・ドライバ３７４０は、その後、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０を再実行することなしに、ＣＵＤＡ対応ＧＰＵ３７９４又はＧＰＵ３７９２のいずれかのための実行可能コードを生成するために使用され得る。少なくとも１つの実施例では、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０は、ＣＵＤＡソース・コード３７１０をＨＩＰソース・コード３７３０にトランスレートし、ＨＩＰソース・コード３７３０は、次いで、メモリに記憶される。少なくとも１つの実施例では、ＨＩＰコンパイラ・ドライバ３７４０は、次いで、ＨＩＰソース・コード３７３０に基づいてホスト実行可能コード３７７０（２）及びＨＣＣデバイス実行可能コード３７８２を生成するようにＨＣＣ３７６０を構成する。少なくとも１つの実施例では、ＨＩＰコンパイラ・ドライバ３７４０は、その後、記憶されたＨＩＰソース・コード３７３０に基づいてホスト実行可能コード３７７０（１）及びＣＵＤＡデバイス実行可能コード３７８４を生成するようにＣＵＤＡコンパイラ３７５０を構成する。

図３７Ｂは、少なくとも１つの実施例による、ＣＰＵ３７９０及びＣＵＤＡ対応ＧＰＵ３７９４を使用して、図３７ＡのＣＵＤＡソース・コード３７１０をコンパイル及び実行するように構成されたシステム３７０４を示す。少なくとも１つの実施例では、システム３７０４は、限定はしないが、ＣＵＤＡソース・コード３７１０と、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０と、ＨＩＰソース・コード３７３０と、ＨＩＰコンパイラ・ドライバ３７４０と、ＣＵＤＡコンパイラ３７５０と、ホスト実行可能コード３７７０（１）と、ＣＵＤＡデバイス実行可能コード３７８４と、ＣＰＵ３７９０と、ＣＵＤＡ対応ＧＰＵ３７９４とを含む。

少なくとも１つの実施例では、及び図３７Ａと併せて本明細書で前に説明されたように、ＣＵＤＡソース・コード３７１０は、限定はしないが、（ゼロを含む）任意の数のグローバル機能３７１２と、（ゼロを含む）任意の数のデバイス機能３７１４と、（ゼロを含む）任意の数のホスト機能３７１６と、（ゼロを含む）任意の数のホスト／デバイス機能３７１８とを含む。少なくとも１つの実施例では、ＣＵＤＡソース・コード３７１０は、限定はしないが、任意の数のＣＵＤＡＡＰＩにおいて指定される任意の数の機能への任意の数のコールをも含む。

少なくとも１つの実施例では、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０は、ＣＵＤＡソース・コード３７１０をＨＩＰソース・コード３７３０にトランスレートする。少なくとも１つの実施例では、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０は、ＣＵＤＡソース・コード３７１０中の各カーネル・コールを、ＣＵＤＡシンタックスからＨＩＰシンタックスにコンバートし、ＣＵＤＡソース・コード３７１０中の任意の数の他のＣＵＤＡコールを、任意の数の他の機能的に同様のＨＩＰコールにコンバートする。

少なくとも１つの実施例では、ＨＩＰコンパイラ・ドライバ３７４０は、ターゲット・デバイス３７４６がＣＵＤＡ対応であると決定し、ＨＩＰ／ＮＶＣＣコンパイル・コマンド３７４２を生成する。少なくとも１つの実施例では、ＨＩＰコンパイラ・ドライバ３７４０は、次いで、ＨＩＰソース・コード３７３０をコンパイルするようにＨＩＰ／ＮＶＣＣコンパイル・コマンド３７４２を介してＣＵＤＡコンパイラ３７５０を構成する。少なくとも１つの実施例では、ＨＩＰコンパイラ・ドライバ３７４０は、ＣＵＤＡコンパイラ３７５０を構成することの一部として、ＨＩＰからＣＵＤＡへのトランスレーション・ヘッダ３７５２へのアクセスを提供する。少なくとも１つの実施例では、ＨＩＰからＣＵＤＡへのトランスレーション・ヘッダ３７５２は、任意の数のＨＩＰＡＰＩにおいて指定された任意の数の機構（たとえば、機能）を、任意の数のＣＵＤＡＡＰＩにおいて指定された任意の数の機構にトランスレートする。少なくとも１つの実施例では、ＣＵＤＡコンパイラ３７５０は、ホスト実行可能コード３７７０（１）及びＣＵＤＡデバイス実行可能コード３７８４を生成するために、ＣＵＤＡランタイムＡＰＩ３７０２に対応するＣＵＤＡランタイム・ライブラリ３７５４と併せて、ＨＩＰからＣＵＤＡへのトランスレーション・ヘッダ３７５２を使用する。少なくとも１つの実施例では、ホスト実行可能コード３７７０（１）及びＣＵＤＡデバイス実行可能コード３７８４は、次いで、それぞれ、ＣＰＵ３７９０及びＣＵＤＡ対応ＧＰＵ３７９４上で実行され得る。少なくとも１つの実施例では、ＣＵＤＡデバイス実行可能コード３７８４は、限定はしないが、バイナリ・コードを含む。少なくとも１つの実施例では、ＣＵＤＡデバイス実行可能コード３７８４は、限定はしないが、ＰＴＸコードを含み、ランタイムにおいて特定のターゲット・デバイスのためのバイナリ・コードにさらにコンパイルされる。

図３７Ｃは、少なくとも１つの実施例による、ＣＰＵ３７９０及びＣＵＤＡ非対応ＧＰＵ３７９２を使用して、図３７ＡのＣＵＤＡソース・コード３７１０をコンパイル及び実行するように構成されたシステム３７０６を示す。少なくとも１つの実施例では、システム３７０６は、限定はしないが、ＣＵＤＡソース・コード３７１０と、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０と、ＨＩＰソース・コード３７３０と、ＨＩＰコンパイラ・ドライバ３７４０と、ＨＣＣ３７６０と、ホスト実行可能コード３７７０（２）と、ＨＣＣデバイス実行可能コード３７８２と、ＣＰＵ３７９０と、ＧＰＵ３７９２とを含む。

少なくとも１つの実施例では、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０は、ＣＵＤＡソース・コード３７１０をＨＩＰソース・コード３７３０にトランスレートする。少なくとも１つの実施例では、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０は、ＣＵＤＡソース・コード３７１０中の各カーネル・コールを、ＣＵＤＡシンタックスからＨＩＰシンタックスにコンバートし、ソース・コード３７１０中の任意の数の他のＣＵＤＡコールを、任意の数の他の機能的に同様のＨＩＰコールにコンバートする。

少なくとも１つの実施例では、ＨＩＰコンパイラ・ドライバ３７４０は、その後、ターゲット・デバイス３７４６がＣＵＤＡ対応でないと決定し、ＨＩＰ／ＨＣＣコンパイル・コマンド３７４４を生成する。少なくとも１つの実施例では、ＨＩＰコンパイラ・ドライバ３７４０は、次いで、ＨＩＰソース・コード３７３０をコンパイルするためにＨＩＰ／ＨＣＣコンパイル・コマンド３７４４を実行するようにＨＣＣ３７６０を構成する。少なくとも１つの実施例では、ＨＩＰ／ＨＣＣコンパイル・コマンド３７４４は、限定はしないが、ホスト実行可能コード３７７０（２）及びＨＣＣデバイス実行可能コード３７８２を生成するためにＨＩＰ／ＨＣＣランタイム・ライブラリ３７５８及びＨＣＣヘッダ３７５６を使用するようにＨＣＣ３７６０を構成する。少なくとも１つの実施例では、ＨＩＰ／ＨＣＣランタイム・ライブラリ３７５８は、ＨＩＰランタイムＡＰＩ３７３２に対応する。少なくとも１つの実施例では、ＨＣＣヘッダ３７５６は、限定はしないが、ＨＩＰ及びＨＣＣのための任意の数及びタイプの相互運用性機構を含む。少なくとも１つの実施例では、ホスト実行可能コード３７７０（２）及びＨＣＣデバイス実行可能コード３７８２は、それぞれ、ＣＰＵ３７９０及びＧＰＵ３７９２上で実行され得る。

図３８は、少なくとも１つの実施例による、図３７ＣのＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０によってトランスレートされた例示的なカーネルを示す。少なくとも１つの実施例では、ＣＵＤＡソース・コード３７１０は、所与のカーネルが解くように設計される全体的な問題を、スレッド・ブロックを使用して独立して解かれ得る比較的粗いサブ問題に区分けする。少なくとも１つの実施例では、各スレッド・ブロックは、限定はしないが、任意の数のスレッドを含む。少なくとも１つの実施例では、各サブ問題は、スレッド・ブロック内のスレッドによって並列に連動して解かれ得る比較的細かい部片に区分けされる。少なくとも１つの実施例では、スレッド・ブロック内のスレッドは、共有メモリを通してデータを共有することによって、及びメモリ・アクセスを協調させるために実行を同期させることによって連動することができる。

少なくとも１つの実施例では、ＣＵＤＡソース・コード３７１０は、所与のカーネルに関連するスレッド・ブロックを、スレッド・ブロックの１次元グリッド、２次元グリッド、又は３次元グリッドに組織化する。少なくとも１つの実施例では、各スレッド・ブロックは、限定はしないが、任意の数のスレッドを含み、グリッドは、限定はしないが、任意の数のスレッド・ブロックを含む。

少なくとも１つの実施例では、カーネルは、「＿＿ｇｌｏｂａｌ＿＿」宣言指定子（ｄｅｃｌａｒａｔｉｏｎｓｐｅｃｉｆｉｅｒ）を使用して定義されるデバイス・コード中の関数である。少なくとも１つの実施例では、所与のカーネル・コール及び関連するストリームについてカーネルを実行するグリッドの次元は、ＣＵＤＡカーネル起動シンタックス３８１０を使用して指定される。少なくとも１つの実施例では、ＣＵＤＡカーネル起動シンタックス３８１０は、「ＫｅｒｎｅｌＮａｍｅ＜＜＜ＧｒｉｄＳｉｚｅ，ＢｌｏｃｋＳｉｚｅ，ＳｈａｒｅｄＭｅｍｏｒｙＳｉｚｅ，Ｓｔｒｅａｍ＞＞＞（ＫｅｒｎｅｌＡｒｇｕｍｅｎｔｓ）；」として指定される。少なくとも１つの実施例では、実行構成シンタックスは、カーネル名（「ＫｅｒｎｅｌＮａｍｅ」）とカーネル引数の括弧に入れられたリスト（「ＫｅｒｎｅｌＡｒｇｕｍｅｎｔｓ」）との間に挿入される「＜＜＜．．．＞＞＞」構築物である。少なくとも１つの実施例では、ＣＵＤＡカーネル起動シンタックス３８１０は、限定はしないが、実行構成シンタックスの代わりにＣＵＤＡ起動機能シンタックスを含む。

少なくとも１つの実施例では、「ＧｒｉｄＳｉｚｅ」は、タイプｄｉｍ３のものであり、グリッドの次元及びサイズを指定する。少なくとも１つの実施例では、タイプｄｉｍ３は、限定はしないが、符号なし整数ｘ、ｙ、及びｚを含む、ＣＵＤＡ定義構造である。少なくとも１つの実施例では、ｚが指定されない場合、ｚは１にデフォルト設定される。少なくとも１つの実施例では、ｙが指定されない場合、ｙは１にデフォルト設定される。少なくとも１つの実施例では、グリッド中のスレッド・ブロックの数は、ＧｒｉｄＳｉｚｅ．ｘとＧｒｉｄＳｉｚｅ．ｙとＧｒｉｄＳｉｚｅ．ｚとの積に等しい。少なくとも１つの実施例では、「ＢｌｏｃｋＳｉｚｅ」は、タイプｄｉｍ３のものであり、各スレッド・ブロックの次元及びサイズを指定する。少なくとも１つの実施例では、スレッド・ブロックごとのスレッドの数は、ＢｌｏｃｋＳｉｚｅ．ｘとＢｌｏｃｋＳｉｚｅ．ｙとＢｌｏｃｋＳｉｚｅ．ｚとの積に等しい。少なくとも１つの実施例では、カーネルを実行する各スレッドは、組み込み変数（たとえば、「ｔｈｒｅａｄＩｄｘ」）を通してカーネル内でアクセス可能である一意のスレッドＩＤを与えられる。

少なくとも１つの実施例では、及びＣＵＤＡカーネル起動シンタックス３８１０に関して、「ＳｈａｒｅｄＭｅｍｏｒｙＳｉｚｅ」は、静的に割り振られたメモリに加えて、所与のカーネル・コールについてスレッド・ブロックごとに動的に割り振られる共有メモリ中のバイトの数を指定する随意の引数である。少なくとも１つの実施例では、及びＣＵＤＡカーネル起動シンタックス３８１０に関して、ＳｈａｒｅｄＭｅｍｏｒｙＳｉｚｅは０にデフォルト設定される。少なくとも１つの実施例では、及びＣＵＤＡカーネル起動シンタックス３８１０に関して、「Ｓｔｒｅａｍ」は、関連するストリームを指定する随意の引数であり、デフォルト・ストリームを指定するために０にデフォルト設定される。少なくとも１つの実施例では、ストリームは、イン・オーダーで実行する（場合によっては、異なるホスト・スレッドによって発行された）コマンドのシーケンスである。少なくとも１つの実施例では、異なるストリームは、互いに対してアウト・オブ・オーダーで、又は同時に、コマンドを実行し得る。

少なくとも１つの実施例では、ＣＵＤＡソース・コード３７１０は、限定はしないが、例示的なカーネル「ＭａｔＡｄｄ」のためのカーネル定義とメイン関数とを含む。少なくとも１つの実施例では、メイン関数は、ホスト上で実行し、限定はしないが、カーネルＭａｔＡｄｄにデバイス上で実行させるカーネル・コールを含む、ホスト・コードである。少なくとも１つの実施例では、及び示されているように、カーネルＭａｔＡｄｄは、Ｎが正の整数である、サイズＮ×Ｎの２つの行列ＡとＢとを加算し、結果を行列Ｃに記憶する。少なくとも１つの実施例では、メイン関数は、ｔｈｒｅａｄｓＰｅｒＢｌｏｃｋ変数を１６×１６として定義し、ｎｕｍＢｌｏｃｋｓ変数をＮ／１６×Ｎ／１６として定義する。少なくとも１つの実施例では、メイン関数は、次いで、カーネル・コール「ＭａｔＡｄｄ＜＜＜ｎｕｍＢｌｏｃｋｓ，ｔｈｒｅａｄｓＰｅｒＢｌｏｃｋ＞＞＞（Ａ，Ｂ，Ｃ）；」を指定する。少なくとも１つの実施例では、及びＣＵＤＡカーネル起動シンタックス３８１０通りに、カーネルＭａｔＡｄｄは、寸法Ｎ／１６×Ｎ／１６を有する、スレッド・ブロックのグリッドを使用して実行され、ここで、各スレッド・ブロックは、１６×１６の寸法を有する。少なくとも１つの実施例では、各スレッド・ブロックは、２５６個のスレッドを含み、グリッドは、行列要素ごとに１つのスレッドを有するのに十分なブロックで作成され、そのようなグリッド中の各スレッドは、１つのペアワイズ加算を実施するためにカーネルＭａｔＡｄｄを実行する。

少なくとも１つの実施例では、ＣＵＤＡソース・コード３７１０をＨＩＰソース・コード３７３０にトランスレートする間、ＣＵＤＡからＨＩＰへのトランスレーション・ツール３７２０は、ＣＵＤＡソース・コード３７１０中の各カーネル・コールを、ＣＵＤＡカーネル起動シンタックス３８１０からＨＩＰカーネル起動シンタックス３８２０にトランスレートし、ソース・コード３７１０中の任意の数の他のＣＵＤＡコールを、任意の数の他の機能的に同様のＨＩＰコールにコンバートする。少なくとも１つの実施例では、ＨＩＰカーネル起動シンタックス３８２０は、「ｈｉｐＬａｕｎｃｈＫｅｒｎｅｌＧＧＬ（ＫｅｒｎｅｌＮａｍｅ，ＧｒｉｄＳｉｚｅ，ＢｌｏｃｋＳｉｚｅ，ＳｈａｒｅｄＭｅｍｏｒｙＳｉｚｅ，Ｓｔｒｅａｍ，ＫｅｒｎｅｌＡｒｇｕｍｅｎｔｓ）；」として指定される。少なくとも１つの実施例では、ＫｅｒｎｅｌＮａｍｅ、ＧｒｉｄＳｉｚｅ、ＢｌｏｃｋＳｉｚｅ、ＳｈａｒｅＭｅｍｏｒｙＳｉｚｅ、Ｓｔｒｅａｍ、及びＫｅｒｎｅｌＡｒｇｕｍｅｎｔｓの各々は、ＨＩＰカーネル起動シンタックス３８２０において、（本明細書で前に説明された）ＣＵＤＡカーネル起動シンタックス３８１０の場合と同じ意味を有する。少なくとも１つの実施例では、引数ＳｈａｒｅｄＭｅｍｏｒｙＳｉｚｅ及びＳｔｒｅａｍは、ＨＩＰカーネル起動シンタックス３８２０では必要とされ、ＣＵＤＡカーネル起動シンタックス３８１０では随意である。

少なくとも１つの実施例では、図３８に図示されたＨＩＰソース・コード３７３０の一部分は、カーネルＭａｔＡｄｄにデバイス上で実行させるカーネル・コールを除いて、図３８に図示されたＣＵＤＡソース・コード３７１０の一部分と同一である。少なくとも１つの実施例では、カーネルＭａｔＡｄｄは、カーネルＭａｔＡｄｄがＣＵＤＡソース・コード３７１０において定義される、同じ「＿＿ｇｌｏｂａｌ＿＿」宣言指定子を用いて、ＨＩＰソース・コード３７３０において定義される。少なくとも１つの実施例では、ＨＩＰソース・コード３７３０中のカーネル・コールは、「ｈｉｐＬａｕｎｃｈＫｅｒｎｅｌＧＧＬ（ＭａｔＡｄｄ，ｎｕｍＢｌｏｃｋｓ，ｔｈｒｅａｄｓＰｅｒＢｌｏｃｋ，０，０，Ａ，Ｂ，Ｃ）；」であるが、ＣＵＤＡソース・コード３７１０中の対応するカーネル・コールは、「ＭａｔＡｄｄ＜＜＜ｎｕｍＢｌｏｃｋｓ，ｔｈｒｅａｄｓＰｅｒＢｌｏｃｋ＞＞＞（Ａ，Ｂ，Ｃ）；」である。

図３９は、少なくとも１つの実施例による、図３７ＣのＣＵＤＡ非対応ＧＰＵ３７９２をより詳細に示す。少なくとも１つの実施例では、ＧＰＵ３７９２は、サンタクララのＡＭＤｃｏｒｐｏｒａｔｉｏｎによって開発される。少なくとも１つの実施例では、ＧＰＵ３７９２は、高度並列様式でコンピュート動作を実施するように構成され得る。少なくとも１つの実施例では、ＧＰＵ３７９２は、描画コマンド、ピクセル動作、幾何学的算出、及びディスプレイに画像をレンダリングすることに関連する他の動作など、グラフィックス・パイプライン動作を実行するように構成される。少なくとも１つの実施例では、ＧＰＵ３７９２は、グラフィックに関係しない動作を実行するように構成される。少なくとも１つの実施例では、ＧＰＵ３７９２は、グラフィックに関係する動作とグラフィックに関係しない動作の両方を実行するように構成される。少なくとも１つの実施例では、ＧＰＵ３７９２は、ＨＩＰソース・コード３７３０中に含まれるデバイス・コードを実行するように構成され得る。

少なくとも１つの実施例では、ＧＰＵ３７９２は、限定はしないが、任意の数のプログラマブル処理ユニット３９２０と、コマンド・プロセッサ３９１０と、Ｌ２キャッシュ３９２２と、メモリ・コントローラ３９７０と、ＤＭＡエンジン３９８０（１）と、システム・メモリ・コントローラ３９８２と、ＤＭＡエンジン３９８０（２）と、ＧＰＵコントローラ３９８４とを含む。少なくとも１つの実施例では、各プログラマブル処理ユニット３９２０は、限定はしないが、ワークロード・マネージャ３９３０と、任意の数のコンピュート・ユニット３９４０とを含む。少なくとも１つの実施例では、コマンド・プロセッサ３９１０は、１つ又は複数のコマンド・キュー（図示せず）からコマンドを読み取り、ワークロード・マネージャ３９３０にコマンドを分散させる。少なくとも１つの実施例では、各プログラマブル処理ユニット３９２０について、関連するワークロード・マネージャ３９３０は、プログラマブル処理ユニット３９２０中に含まれるコンピュート・ユニット３９４０にワークを分散させる。少なくとも１つの実施例では、各コンピュート・ユニット３９４０は、任意の数のスレッド・ブロックを実行し得るが、各スレッド・ブロックは、単一のコンピュート・ユニット３９４０上で実行する。少なくとも１つの実施例では、ワークグループは、スレッド・ブロックである。

少なくとも１つの実施例では、各コンピュート・ユニット３９４０は、限定はしないが、任意の数のＳＩＭＤユニット３９５０と、共有メモリ３９６０とを含む。少なくとも１つの実施例では、各ＳＩＭＤユニット３９５０は、ＳＩＭＤアーキテクチャを実装し、動作を並列に実施するように構成され得る。少なくとも１つの実施例では、各ＳＩＭＤユニット３９５０は、限定はしないが、ベクトルＡＬＵ３９５２とベクトル・レジスタ・ファイル３９５４とを含む。少なくとも１つの実施例では、各ＳＩＭＤユニット３９５０は、異なるワープを実行する。少なくとも１つの実施例では、ワープは、スレッドのグループ（たとえば、１６個のスレッド）であり、ここで、ワープ中の各スレッドは、単一のスレッド・ブロックに属し、命令の単一のセットに基づいて、データの異なるセットを処理するように構成される。少なくとも１つの実施例では、ワープ中の１つ又は複数のスレッドを無効にするために、プレディケーションが使用され得る。少なくとも１つの実施例では、レーンはスレッドである。少なくとも１つの実施例では、ワーク・アイテムはスレッドである。少なくとも１つの実施例では、ウェーブフロントはワープである。少なくとも１つの実施例では、スレッド・ブロック中の異なるウェーブフロントは、互いに同期し、共有メモリ３９６０を介して通信し得る。

少なくとも１つの実施例では、プログラマブル処理ユニット３９２０は、「シェーダ・エンジン」と呼ばれる。少なくとも１つの実施例では、各プログラマブル処理ユニット３９２０は、限定はしないが、コンピュート・ユニット３９４０に加えて、任意の量の専用グラフィックス・ハードウェアを含む。少なくとも１つの実施例では、各プログラマブル処理ユニット３９２０は、限定はしないが、（ゼロを含む）任意の数のジオメトリ・プロセッサと、（ゼロを含む）任意の数のラスターライザと、（ゼロを含む）任意の数のレンダー・バック・エンドと、ワークロード・マネージャ３９３０と、任意の数のコンピュート・ユニット３９４０とを含む。

少なくとも１つの実施例では、コンピュート・ユニット３９４０は、Ｌ２キャッシュ３９２２を共有する。少なくとも１つの実施例では、Ｌ２キャッシュ３９２２は区分けされる。少なくとも１つの実施例では、ＧＰＵメモリ３９９０は、ＧＰＵ３７９２中のすべてのコンピュート・ユニット３９４０によってアクセス可能である。少なくとも１つの実施例では、メモリ・コントローラ３９７０及びシステム・メモリ・コントローラ３９８２は、ＧＰＵ３７９２とホストとの間のデータ転送を容易にし、ＤＭＡエンジン３９８０（１）は、ＧＰＵ３７９２とそのようなホストとの間の非同期メモリ転送を可能にする。少なくとも１つの実施例では、メモリ・コントローラ３９７０及びＧＰＵコントローラ３９８４は、ＧＰＵ３７９２と他のＧＰＵ３７９２との間のデータ転送を容易にし、ＤＭＡエンジン３９８０（２）は、ＧＰＵ３７９２と他のＧＰＵ３７９２との間の非同期メモリ転送を可能にする。

少なくとも１つの実施例では、ＧＰＵ３７９２は、限定はしないが、ＧＰＵ３７９２の内部又は外部にあり得る、任意の数及びタイプの直接又は間接的にリンクされた構成要素にわたるデータ及び制御送信を容易にする、任意の量及びタイプのシステム相互接続を含む。少なくとも１つの実施例では、ＧＰＵ３７９２は、限定はしないが、任意の数及びタイプの周辺デバイスに結合される、任意の数及びタイプのＩ／Ｏインターフェース（たとえば、ＰＣＩｅ）を含む。少なくとも１つの実施例では、ＧＰＵ３７９２は、限定はしないが、（ゼロを含む）任意の数のディスプレイ・エンジンと、（ゼロを含む）任意の数のマルチメディア・エンジンとを含み得る。少なくとも１つの実施例では、ＧＰＵ３７９２は、限定はしないが、１つの構成要素に専用であるか又は複数の構成要素の間で共有され得る、任意の量及びタイプのメモリ・コントローラ（たとえば、メモリ・コントローラ３９７０及びシステム・メモリ・コントローラ３９８２）及びメモリ・デバイス（たとえば、共有メモリ３９６０）を含む、メモリ・サブシステムを実装する。少なくとも１つの実施例では、ＧＰＵ３７９２は、限定はしないが、１つ又は複数のキャッシュ・メモリ（たとえば、Ｌ２キャッシュ３９２２）を含む、キャッシュ・サブシステムを実装し、１つ又は複数のキャッシュ・メモリは、各々、任意の数の構成要素（たとえば、ＳＩＭＤユニット３９５０、コンピュート・ユニット３９４０、及びプログラマブル処理ユニット３９２０）に対してプライベートであるか、又は任意の数の構成要素間で共有され得る。

図４０は、少なくとも１つの実施例による、例示的なＣＵＤＡグリッド４０２０のスレッドが図３９の異なるコンピュート・ユニット３９４０にどのようにマッピングされるかを示す。少なくとも１つの実施例では、及び単に説明目的のために、グリッド４０２０は、ＢＸ×ＢＹ×１のＧｒｉｄＳｉｚｅと、ＴＸ×ＴＹ×１のＢｌｏｃｋＳｉｚｅとを有する。少なくとも１つの実施例では、グリッド４０２０は、したがって、限定はしないが、（ＢＸ＊ＢＹ）個のスレッド・ブロック４０３０を含み、各スレッド・ブロック４０３０は、限定はしないが、（ＴＸ＊ＴＹ）個のスレッド４０４０を含む。スレッド４０４０は、曲がりくねった矢印（ｓｑｕｉｇｇｌｙａｒｒｏｗ）として図４０に図示されている。

少なくとも１つの実施例では、グリッド４０２０は、限定はしないが、コンピュート・ユニット３９４０（１）～３９４０（Ｃ）を含むプログラマブル処理ユニット３９２０（１）にマッピングされる。少なくとも１つの実施例では、及び示されているように、（ＢＪ＊ＢＹ）個のスレッド・ブロック４０３０が、コンピュート・ユニット３９４０（１）にマッピングされ、残りのスレッド・ブロック４０３０が、コンピュート・ユニット３９４０（２）にマッピングされる。少なくとも１つの実施例では、各スレッド・ブロック４０３０は、限定はしないが、任意の数のワープを含み得、各ワープは、図３９の異なるＳＩＭＤユニット３９５０にマッピングされる。

少なくとも１つの実施例では、所与のスレッド・ブロック４０３０中のワープは、互いに同期し、関連するコンピュート・ユニット３９４０中に含まれる共有メモリ３９６０を通して通信し得る。たとえば、及び少なくとも１つの実施例では、スレッド・ブロック４０３０（ＢＪ，１）中のワープは、互いに同期し、共有メモリ３９６０（１）を通して通信することができる。たとえば、及び少なくとも１つの実施例では、スレッド・ブロック４０３０（ＢＪ＋１，１）中のワープは、互いに同期し、共有メモリ３９６０（２）を通して通信することができる。

図４１は、少なくとも１つの実施例による、既存のＣＵＤＡコードをＤａｔａＰａｒａｌｌｅｌＣ＋＋コードにどのようにマイグレートするかを示す。ＤａｔａＰａｒａｌｌｅｌＣ＋＋（ＤＰＣ＋＋）は、単一アーキテクチャ・プロプライエタリ言語に対するオープンな規格ベースの代替を指し得、これは、開発者が、ハードウェア・ターゲット（ＣＰＵ並びにＧＰＵ及びＦＰＧＡなどのアクセラレータ）にわたってコードを再使用し、また、特定のアクセラレータのためのカスタム調整を実施することを可能にする。ＤＰＣ＋＋は、開発者が精通していることがあるＩＳＯＣ＋＋に従う、同様の及び／又は同一のＣ及びＣ＋＋構築物を使用する。ＤＰＣ＋＋は、データ並列性及び異種プログラミングをサポートするためにクロノス・グループからの標準ＳＹＣＬを組み込む。ＳＹＣＬは、ＯｐｅｎＣＬの基礎をなす概念、ポータビリティ及び効率に基づく、クロスプラットフォーム抽象化層を指し、これは、異種プロセッサのためのコードが、標準Ｃ＋＋を使用して「単一ソース」スタイルで書かれることを可能にする。ＳＹＣＬは、Ｃ＋＋テンプレート関数が、ホスト・コードとデバイス・コードの両方を含んでおり、ＯｐｅｎＣＬ加速を使用する複雑なアルゴリズムを構築し、次いで、それらを、異なるタイプのデータに関するそれらのソース・コード全体にわたって再使用することができる、単一ソース開発を可能にし得る。

少なくとも１つの実施例では、ＤＰＣ＋＋コンパイラは、多様なハードウェア・ターゲットにわたって導入され得るＤＰＣ＋＋ソース・コードをコンパイルするために使用される。少なくとも１つの実施例では、ＤＰＣ＋＋コンパイラは、多様なハードウェア・ターゲットにわたって導入され得るＤＰＣ＋＋アプリケーションを生成するために使用され、ＤＰＣ＋＋互換性ツールは、ＣＵＤＡアプリケーションをＤＰＣ＋＋のマルチプラットフォーム・プログラムにマイグレートするために使用され得る。少なくとも１つの実施例では、ＤＰＣ＋＋ベース・ツール・キットは、多様なハードウェア・ターゲットにわたってアプリケーションを導入するためのＤＰＣ＋＋コンパイラと、ＣＰＵ、ＧＰＵ、及びＦＰＧＡにわたって生産性及び性能を増加させるためのＤＰＣ＋＋ライブラリと、ＣＵＤＡアプリケーションをマルチプラットフォーム・アプリケーションにマイグレートするためのＤＰＣ＋＋互換性ツールと、それらの任意の好適な組合せとを含む。

少なくとも１つの実施例では、ＤＰＣ＋＋プログラミング・モデルは、ＤａｔａＰａｒａｌｌｅｌＣ＋＋と呼ばれるプログラミング言語を用いて並列性を表現するための現代のＣ＋＋特徴を使用することによって、単に、ＣＰＵ及びアクセラレータをプログラムすることに関係する１つ又は複数の態様に対して利用される。ＤＰＣ＋＋プログラミング言語は、ホスト（たとえば、ＣＰＵ）及びアクセラレータ（たとえば、ＧＰＵ又はＦＰＧＡ）のためのコード再使用に対して利用され、単一のソース言語を使用し、実行及びメモリ依存性が明確に通信され得る。ＤＰＣ＋＋コード内でのマッピングは、アプリケーションを移行させて、ワークロードを最も良く加速するハードウェア又はハードウェア・デバイスのセット上で稼働するために、使用され得る。利用可能なアクセラレータを有しないプラットフォーム上でも、デバイス・コードの開発及びデバッギングを簡略化するために、ホストが利用可能であり得る。

少なくとも１つの実施例では、人間が読み取れるＤＰＣ＋＋４１０４を生成するために、ＤＰＣ＋＋互換性ツール４１０２への入力として、ＣＵＤＡソース・コード４１００が提供される。少なくとも１つの実施例では、人間が読み取れるＤＰＣ＋＋４１０４は、ＤＰＣ＋＋互換性ツール４１０２によって生成されたインライン・コメントを含み、これは、コーディングと所望の性能への調整とを完了４１０６するために、ＤＰＣ＋＋コードをどのように及び／又はどこで修正すべきかに関して開発者をガイドし、それにより、ＤＰＣ＋＋ソース・コード４１０８を生成する。

少なくとも１つの実施例では、ＣＵＤＡソース・コード４１００は、ＣＵＤＡプログラミング言語の人間が読み取れるソース・コードの集合であるか、又はその集合を含む。少なくとも１つの実施例では、ＣＵＤＡソース・コード４１００は、ＣＵＤＡプログラミング言語の人間が読み取れるソース・コードである。少なくとも１つの実施例では、ＣＵＤＡプログラミング言語は、限定はしないが、デバイス・コードを定義し、デバイス・コードとホスト・コードとを区別するための機構を含む、Ｃ＋＋プログラミング言語の拡張である。少なくとも１つの実施例では、デバイス・コードは、コンパイルの後に、デバイス（たとえば、ＧＰＵ又はＦＰＧＡ）上で実行可能であり、デバイスの１つ又は複数のプロセッサ・コア上で実行され得る、又はより並列化可能なワークフローを含み得る、ソース・コードである。少なくとも１つの実施例では、デバイスは、ＣＵＤＡ対応ＧＰＵ、ＧＰＵ、又は別のＧＰＧＰＵなど、並列命令処理のために最適化されるプロセッサであり得る。少なくとも１つの実施例では、ホスト・コードは、コンパイルの後にホスト上で実行可能であるソース・コードである。少なくとも１つの実施例では、ホスト・コード及びデバイス・コードの一部又は全部は、ＣＰＵ及びＧＰＵ／ＦＰＧＡにわたって並列に実行され得る。少なくとも１つの実施例では、ホストは、ＣＰＵなど、連続命令処理のために最適化されるプロセッサである。図４１に関して説明されるＣＵＤＡソース・コード４１００は、本明細書の他の場所で説明されるＣＵＤＡソース・コードに従い得る。

少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１０２は、ＤＰＣ＋＋ソース・コード４１０８へのＣＵＤＡソース・コード４１００のマイグレーションを容易にするために使用される、実行可能ツール、プログラム、アプリケーション、又は任意の他の好適なタイプのツールを指す。少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１０２は、既存のＣＵＤＡソースをＤＰＣ＋＋に移植するために使用されるＤＰＣ＋＋ツール・キットの一部として利用可能なコマンド・ライン・ベースのコード・マイグレーション・ツールである。少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１０２は、ＣＵＤＡアプリケーションの一部又は全部のソース・コードをＣＵＤＡからＤＰＣ＋＋にコンバートし、人間が読み取れるＤＰＣ＋＋４１０４と呼ばれる、少なくとも部分的にＤＰＣ＋＋で書かれる得られたファイルを生成する。少なくとも１つの実施例では、人間が読み取れるＤＰＣ＋＋４１０４は、ユーザ介入がどこで必要であり得るかを指示するためにＤＰＣ＋＋互換性ツール４１０２によって生成されるコメントを含む。少なくとも１つの実施例では、ユーザ介入は、ＣＵＤＡソース・コード４１００が、類似するＤＰＣ＋＋ＡＰＩを有しないＣＵＤＡＡＰＩをコールするとき、必要であり、ユーザ介入が必要とされる他の実例は、後でより詳細に説明される。

少なくとも１つの実施例では、ＣＵＤＡソース・コード４１００（たとえば、アプリケーション又はそれの部分）をマイグレートするためのワークフローは、１つ又は複数のコンパイル・データベース・ファイルを作成することと、ＤＰＣ＋＋互換性ツール４１０２を使用してＣＵＤＡをＤＰＣ＋＋にマイグレートすることと、マイグレーションを完了し、正当性を確認し、それにより、ＤＰＣ＋＋ソース・コード４１０８を生成することと、ＤＰＣ＋＋アプリケーションを生成するためにＤＰＣ＋＋コンパイラを用いてＤＰＣ＋＋ソース・コード４１０８をコンパイルすることとを含む。少なくとも１つの実施例では、互換性ツールは、Ｍａｋｅｆｉｌｅが実行するときに使用されるコマンドをインターセプトし、それらをコンパイル・データベース・ファイルに記憶する、ユーティリティを提供する。少なくとも１つの実施例では、ファイルは、ＪＳＯＮフォーマットで記憶される。少なくとも１つの実施例では、ｉｎｔｅｒｃｅｐｔ－ｂｕｉｌｔコマンドは、ＭａｋｅｆｉｌｅコマンドをＤＰＣ互換性コマンドにコンバートする。

少なくとも１つの実施例では、ｉｎｔｅｒｃｅｐｔ－ｂｕｉｌｄは、ビルド・プロセスをインターセプトして、コンパイル・オプション、マクロ定義（ｍａｃｒｏｄｅｆｓ）、及びインクルード・パス（ｉｎｃｌｕｄｅｐａｔｈｓ）をキャプチャし、このデータをコンパイル・データベース・ファイルに書き込む、ユーティリティ・スクリプトである。少なくとも１つの実施例では、コンパイル・データベース・ファイルは、ＪＳＯＮファイルである。少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１０２は、コンパイル・データベースを構文解析し、入力ソースをマイグレートするときにオプションを適用する。少なくとも１つの実施例では、ｉｎｔｅｒｃｅｐｔ－ｂｕｉｌｄの使用は、随意であるが、Ｍａｋｅ又はＣＭａｋｅベースの環境について大いに推奨される。少なくとも１つの実施例では、マイグレーション・データベースは、コマンドとディレクトリとファイルとを含み、コマンドは、必要なコンパイル・フラグを含み得、ディレクトリは、ヘッダ・ファイルへのパスを含み得、ファイルは、ＣＵＤＡファイルへのパスを含み得る。

少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１０２は、可能な場合はいつでもＤＰＣ＋＋を生成することによって、ＣＵＤＡで書かれたＣＵＤＡコード（たとえば、アプリケーション）をＤＰＣ＋＋にマイグレートする。少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１０２は、ツール・キットの一部として利用可能である。少なくとも１つの実施例では、ＤＰＣ＋＋ツール・キットは、ｉｎｔｅｒｃｅｐｔ－ｂｕｉｌｄツールを含む。少なくとも１つの実施例では、ｉｎｔｅｒｃｅｐｔ－ｂｕｉｌｔツールは、ＣＵＤＡファイルをマイグレートするためにコンパイル・コマンドをキャプチャするコンパイル・データベースを作成する。少なくとも１つの実施例では、ｉｎｔｅｒｃｅｐｔ－ｂｕｉｌｔツールによって生成されたコンパイル・データベースは、ＣＵＤＡコードをＤＰＣ＋＋にマイグレートするためにＤＰＣ＋＋互換性ツール４１０２によって使用される。少なくとも１つの実施例では、非ＣＵＤＡＣ＋＋コード及びファイルは、そのままマイグレートされる。少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１０２は、人間が読み取れるＤＰＣ＋＋４１０４を生成し、これは、ＤＰＣ＋＋互換性ツール４１０２によって生成されたとき、ＤＰＣ＋＋コンパイラによってコンパイルされないことがあり、正しくマイグレートされなかったコードの部分を確認するための追加のプラミング（ｐｌｕｍｂｉｎｇ）を必要とする、ＤＰＣ＋＋コードであり得、開発者によってなど、手動の介入を伴い得る。少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１０２は、自動的にマイグレートされないことがある追加のコードを開発者が手動でマイグレートするのを助けるために、コード中に埋め込まれたヒント又はツールを提供する。少なくとも１つの実施例では、マイグレーションは、ソース・ファイル、プロジェクト、又はアプリケーションのための１回のアクティビティである。

少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１００２は、ＣＵＤＡコードのすべての部分をＤＰＣ＋＋に正常にマイグレートすることが可能であり、単に、生成されたＤＰＣ＋＋ソース・コードの性能を手動で確認及び調整するための随意のステップがあり得る。少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１０２は、ＤＰＣ＋＋互換性ツール４１０２によって生成されたＤＰＣ＋＋コードを修正するための人間の介入を必要とするか又は利用することなしに、ＤＰＣ＋＋コンパイラによってコンパイルされるＤＰＣ＋＋ソース・コード４１０８を直接生成する。少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツールは、コンパイル可能なＤＰＣ＋＋コードを生成し、これは、性能、読みやすさ、維持可能性、他の様々な考慮事項、又はそれらの任意の組合せについて、開発者によって随意に調整され得る。

少なくとも１つの実施例では、１つ又は複数のＣＵＤＡソース・ファイルは、少なくとも部分的にＤＰＣ＋＋互換性ツール４１０２を使用してＤＰＣ＋＋ソース・ファイルにマイグレートされる。少なくとも１つの実施例では、ＣＵＤＡソース・コードは、ＣＵＤＡヘッダ・ファイルを含み得る１つ又は複数のヘッダ・ファイルを含む。少なくとも１つの実施例では、ＣＵＤＡソース・ファイルは、＜ｃｕｄａ．ｈ＞ヘッダ・ファイルと、テキストをプリントするために使用され得る＜ｓｔｄｉｏ．ｈ＞ヘッダ・ファイルとを含む。少なくとも１つの実施例では、ベクトル加算カーネルＣＵＤＡソース・ファイルの一部分は、以下のように書かれるか、又は以下に関係し得る。

少なくとも１つの実施例では、及び上記で提示されたＣＵＤＡソース・ファイルに関して、ＤＰＣ＋＋互換性ツール４１０２は、ＣＵＤＡソース・コードを構文解析し、ヘッダ・ファイルを、適切なＤＰＣ＋＋ヘッダ・ファイル及びＳＹＣＬヘッダ・ファイルと置き換える。少なくとも１つの実施例では、ＤＰＣ＋＋ヘッダ・ファイルは、ヘルパー宣言（ｈｅｌｐｅｒｄｅｃｌａｒａｔｉｏｎ）を含む。ＣＵＤＡでは、スレッドＩＤの概念があり、対応して、ＤＰＣ＋＋又はＳＹＣＬでは、各要素について、ローカル識別子がある。

少なくとも１つの実施例では、及び上記で提示されたＣＵＤＡソース・ファイルに関して、初期化される２つのベクトルＡ及びＢがあり、ベクトル加算結果が、ＶｅｃｔｏｒＡｄｄＫｅｒｎｅｌ（）の一部として、ベクトルＣに入れられる。少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１０２は、ＣＵＤＡコードをＤＰＣ＋＋コードにマイグレートすることの一部として、ワーク要素をインデックス付けするために使用されるＣＵＤＡスレッドＩＤを、ローカルＩＤを介したワーク要素のためのＳＹＣＬ標準アドレッシングにコンバートする。少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１０２によって生成されたＤＰＣ＋＋コードは、たとえば、ｎｄ＿ｉｔｅｍの次元を低減し、それにより、メモリ及び／又はプロセッサ利用率を増加させることによって、最適化され得る。

少なくとも１つの実施例では、及び上記で提示されたＣＵＤＡソース・ファイルに関して、メモリ割振りがマイグレートされる。少なくとも１つの実施例では、ｃｕｄａＭａｌｌｏｃ（）は、プラットフォーム、デバイス、コンテキスト、及びキューなど、ＳＹＣＬ概念に依拠して、デバイス及びコンテキストが渡される、統一共有メモリＳＹＣＬコールｍａｌｌｏｃ＿ｄｅｖｉｃｅ（）にマイグレートされる。少なくとも１つの実施例では、ＳＹＣＬプラットフォームは、複数のデバイス（たとえば、ホスト及びＧＰＵデバイス）を有することができ、デバイスは、ジョブがサブミットされ得る複数のキューを有し得、各デバイスは、コンテキストを有し得、コンテキストは、複数のデバイスを有し、共有メモリ・オブジェクトを管理し得る。

少なくとも１つの実施例では、及び上記で提示されたＣＵＤＡソース・ファイルに関して、ｍａｉｎ（）関数は、２つのベクトルＡとＢとを互いに加算し、結果をベクトルＣに記憶するための、ＶｅｃｔｏｒＡｄｄＫｅｒｎｅｌ（）を呼び出すか又はコールする。少なくとも１つの実施例では、ＶｅｃｔｏｒＡｄｄＫｅｒｎｅｌ（）を呼び出すためのＣＵＤＡコードは、実行のためにカーネルをコマンド・キューにサブミットするためのＤＰＣ＋＋コードによって置き換えられる。少なくとも１つの実施例では、コマンド・グループ・ハンドラｃｇｈは、キューにサブミットされる、データ、同期、及び算出を渡し、ｐａｒａｌｌｅｌ＿ｆｏｒは、ＶｅｃｔｏｒＡｄｄＫｅｒｎｅｌ（）がコールされるワーク・グループ中の、グローバル要素の数及びワーク・アイテムの数についてコールされる。

少なくとも１つの実施例では、及び上記で提示されたＣＵＤＡソース・ファイルに関して、デバイス・メモリをコピーし、次いで、ベクトルＡ、Ｂ、及びＣのためのメモリを解放するためのＣＵＤＡコールが、対応するＤＰＣ＋＋コールにマイグレートされる。少なくとも１つの実施例では、Ｃ＋＋コード（たとえば、浮動小数点変数のベクトルをプリントするための標準ＩＳＯＣ＋＋コード）は、ＤＰＣ＋＋互換性ツール４１０２によって修正されることなしに、そのままマイグレートされる。少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１０２は、加速デバイス上でカーネルを実行するために、メモリ・セットアップ及び／又はホスト・コールのためのＣＵＤＡＡＰＩを修正する。少なくとも１つの実施例では、及び上記で提示されたＣＵＤＡソース・ファイルに関して、（たとえば、コンパイルされ得る）対応する人間が読み取れるＤＰＣ＋＋４１０４は、以下のように書かれるか、又は以下に関係する。

少なくとも１つの実施例では、人間が読み取れるＤＰＣ＋＋４１０４は、ＤＰＣ＋＋互換性ツール４１０２によって生成された出力を指し、ある様式又は別の様式で最適化され得る。少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１０２によって生成された人間が読み取れるＤＰＣ＋＋４１０４は、それをより維持可能にすること、性能、又は他の考慮事項のために、マイグレーションの後に開発者によって手動で編集され得る。少なくとも１つの実施例では、開示されるＤＰＣ＋＋などのＤＰＣ＋＋互換性ツール４１００２によって生成されたＤＰＣ＋＋コードは、各ｍａｌｌｏｃ＿ｄｅｖｉｃｅ（）コールのためのｇｅｔ＿ｃｕｒｒｅｎｔ＿ｄｅｖｉｃｅ（）及び／又はｇｅｔ＿ｄｅｆａｕｌｔ＿ｃｏｎｔｅｘｔ（）への繰返しコールを削除することによって最適化され得る。少なくとも１つの実施例では、上記で生成されるＤＰＣ＋＋コードは、３次元のｎｄ＿ｒａｎｇｅを使用し、これは、単一次元のみを使用し、それにより、メモリ使用量を低減するために、再ファクタ化され得る。少なくとも１つの実施例では、開発者は、ＤＰＣ＋＋互換性ツール４１０２によって生成されたＤＰＣ＋＋コードを手動で編集し、統一共有メモリの使用をアクセッサと置き換えることができる。少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１０２は、それがＣＵＤＡコードをＤＰＣ＋＋コードにどのようにマイグレートするかを変更するためのオプションを有する。少なくとも１つの実施例では、ＤＰＣ＋＋互換性ツール４１０２は、それが、ＣＵＤＡコードを、多数の場合について機能するＤＰＣ＋＋コードにマイグレートするための一般的なテンプレートを使用しているので、冗長である。

少なくとも１つの実施例では、ＣＵＤＡからＤＰＣ＋＋へのマイグレーション・ワークフローは、ｉｎｔｅｒｃｅｐｔ－ｂｕｉｌｄスクリプトを使用してマイグレーションの準備をするためのステップと、ＤＰＣ＋＋互換性ツール４１０２を使用してＤＰＣ＋＋へのＣＵＤＡプロジェクトのマイグレーションを実施するためのステップと、完了及び正当性のために、マイグレートされたソース・ファイルを手動で検討及び編集するためのステップと、ＤＰＣ＋＋アプリケーションを生成するために最終ＤＰＣ＋＋コードをコンパイルするためのステップとを含む。少なくとも１つの実施例では、ＤＰＣ＋＋ソース・コードの手動の検討は、限定はしないが、マイグレートされたＡＰＩがエラー・コードを返さないこと（ＣＵＤＡコードは、エラー・コードを返すことができ、エラー・コードは、次いで、アプリケーションよって消費され得るが、ＳＹＣＬは、エラーを報告するために例外を使用し、したがって、エラーを表面化させるためのエラー・コードを使用しない）、ＣＵＤＡコンピュート能力依存論理がＤＰＣ＋＋によってサポートされないこと、ステートメントが削除されないことがあることを含む、１つ又は複数のシナリオにおいて必要とされ得る。少なくとも１つの実施例では、ＤＰＣ＋＋コードが手動の介入を必要とするシナリオは、限定はしないが、エラー・コード論理が（＊，０）コードと置き換えられるか又はコメント・アウトされる、等価なＤＰＣ＋＋ＡＰＩが利用可能でない、ＣＵＤＡコンピュート能力依存論理、ハードウェア依存ＡＰＩ（ｃｌｏｃｋ（））、欠落した特徴、サポートされていないＡＰＩ、実行時間測定論理、組み込みベクトル・タイプ競合に対処すること、ｃｕＢＬＡＳＡＰＩのマイグレーションなどを含み得る。

少なくとも１つの実施例では、本明細書で説明される１つ又は複数の技法は、ｏｎｅＡＰＩプログラミング・モデルを利用する。少なくとも１つの実施例では、ｏｎｅＡＰＩプログラミング・モデルは、様々なコンピュート・アクセラレータ・アーキテクチャと対話するためのプログラミング・モデルを指す。少なくとも１つの実施例では、ｏｎｅＡＰＩは、様々なコンピュート・アクセラレータ・アーキテクチャと対話するように設計されたアプリケーション・プログラミング・インターフェース（ＡＰＩ）を指す。少なくとも１つの実施例では、ｏｎｅＡＰＩプログラミング・モデルは、ＤＰＣ＋＋プログラミング言語を利用する。少なくとも１つの実施例では、ＤＰＣ＋＋プログラミング言語は、データ並列プログラミング生産性のための高水準言語を指す。少なくとも１つの実施例では、ＤＰＣ＋＋プログラミング言語は、Ｃ及び／又はＣ＋＋プログラミング言語に少なくとも部分的に基づく。少なくとも１つの実施例では、ｏｎｅＡＰＩプログラミング・モデルは、カリフォルニア州サンタクララのＩｎｔｅｌＣｏｒｐｏｒａｔｉｏｎによって開発されたものなどのプログラミング・モデルである。

少なくとも１つの実施例では、ｏｎｅＡＰＩ及び／又はｏｎｅＡＰＩプログラミング・モデルは、様々なアクセラレータ・アーキテクチャ、ＧＰＵアーキテクチャ、プロセッサ・アーキテクチャ、及び／又はそれらの変形形態のアーキテクチャと対話するために利用される。少なくとも１つの実施例では、ｏｎｅＡＰＩは、様々な機能性を実装するライブラリのセットを含む。少なくとも１つの実施例では、ｏｎｅＡＰＩは、少なくとも、ｏｎｅＡＰＩＤＰＣ＋＋ライブラリ、ｏｎｅＡＰＩマス・カーネル・ライブラリ、ｏｎｅＡＰＩデータ分析ライブラリ、ｏｎｅＡＰＩ深層ニューラル・ネットワーク・ライブラリ、ｏｎｅＡＰＩ集合通信ライブラリ、ｏｎｅＡＰＩスレッディング・ビルディング・ブロック・ライブラリ、ｏｎｅＡＰＩビデオ処理ライブラリ、及び／又はそれらの変形形態を含む。

少なくとも１つの実施例では、ｏｎｅＤＰＬとも呼ばれるｏｎｅＡＰＩＤＰＣ＋＋ライブラリは、ＤＰＣ＋＋カーネル・プログラミングを加速するためのアルゴリズム及び機能を実装するライブラリである。少なくとも１つの実施例では、ｏｎｅＤＰＬは、１つ又は複数の標準テンプレート・ライブラリ（ＳＴＬ：ｓｔａｎｄａｒｄｔｅｍｐｌａｔｅｌｉｂｒａｒｙ）機能を実装する。少なくとも１つの実施例では、ｏｎｅＤＰＬは、１つ又は複数の並列ＳＴＬ機能を実装する。少なくとも１つの実施例では、ｏｎｅＤＰＬは、並列アルゴリズム、イテレーター、関数オブジェクト・クラス、範囲ベースのＡＰＩ、及び／又はそれらの変形形態など、ライブラリ・クラス及び関数のセットを提供する。少なくとも１つの実施例では、ｏｎｅＤＰＬは、Ｃ＋＋標準ライブラリの１つ又は複数のクラス及び／又は関数を実装する。少なくとも１つの実施例では、ｏｎｅＤＰＬは、１つ又は複数の乱数生成器関数を実装する。

少なくとも１つの実施例では、ｏｎｅＭＫＬとも呼ばれるｏｎｅＡＰＩマス・カーネル・ライブラリは、様々な数学関数及び／又は演算のための様々な最適化及び並列化されたルーチンを実装するライブラリである。少なくとも１つの実施例では、ｏｎｅＭＫＬは、１つ又は複数の基本線形代数サブプログラム（ＢＬＡＳ）及び／又は線形代数パッケージ（ＬＡＰＡＣＫ：ｌｉｎｅａｒａｌｇｅｂｒａｐａｃｋａｇｅ）高密度線形代数ルーチンを実装する。少なくとも１つの実施例では、ｏｎｅＭＫＬは、１つ又は複数のスパースＢＬＡＳ線形代数ルーチンを実装する。少なくとも１つの実施例では、ｏｎｅＭＫＬは、１つ又は複数の乱数生成器（ＲＮＧ：ｒａｎｄｏｍｎｕｍｂｅｒｇｅｎｅｒａｔｏｒ）を実装する。少なくとも１つの実施例では、ｏｎｅＭＫＬは、ベクトルに関する数学演算のための１つ又は複数のベクトル数学（ＶＭ：ｖｅｃｔｏｒｍａｔｈｅｍａｔｉｃｓ）ルーチンを実装する。少なくとも１つの実施例では、ｏｎｅＭＫＬは、１つ又は複数の高速フーリエ変換（ＦＦＴ）関数を実装する。

少なくとも１つの実施例では、ｏｎｅＤＡＬとも呼ばれるｏｎｅＡＰＩデータ分析ライブラリは、様々なデータ分析アプリケーション及び分散算出を実装するライブラリである。少なくとも１つの実施例では、ｏｎｅＤＡＬは、バッチ、オンライン、及び算出の分散処理モードにおける、データ分析のための前処理、変換、分析、モデリング、確認、及び意思決定のための、様々なアルゴリズムを実装する。少なくとも１つの実施例では、ｏｎｅＤＡＬは、様々なＣ＋＋及び／又はＪａｖａＡＰＩと、１つ又は複数のデータ・ソースへの様々なコネクタとを実装する。少なくとも１つの実施例では、ｏｎｅＤＡＬは、旧来のＣ＋＋インターフェースに対するＤＰＣ＋＋ＡＰＩ拡張を実装し、様々なアルゴリズムのためのＧＰＵ使用を可能にする。

少なくとも１つの実施例では、ｏｎｅＤＮＮとも呼ばれるｏｎｅＡＰＩ深層ニューラル・ネットワーク・ライブラリは、様々な深層学習機能を実装するライブラリである。少なくとも１つの実施例では、ｏｎｅＤＮＮは、様々なニューラル・ネットワーク、機械学習、及び深層学習機能、アルゴリズム、並びに／又はそれらの変形形態を実装する。

少なくとも１つの実施例では、ｏｎｅＣＣＬとも呼ばれるｏｎｅＡＰＩ集合通信ライブラリは、深層学習及び機械学習ワークロードのための様々なアプリケーションを実装するライブラリである。少なくとも１つの実施例では、ｏｎｅＣＣＬは、メッセージ・パッシング・インターフェース（ＭＰＩ：ｍｅｓｓａｇｅｐａｓｓｉｎｇｉｎｔｅｒｆａｃｅ）及びｌｉｂｆａｂｒｉｃなど、下位レベル通信ミドルウェア上に築かれる。少なくとも１つの実施例では、ｏｎｅＣＣＬは、優先順位、永続的な動作、アウト・オブ・オーダー実行、及び／又はそれらの変形形態など、深層学習固有の最適化のセットを可能にする。少なくとも１つの実施例では、ｏｎｅＣＣＬは、様々なＣＰＵ及びＧＰＵ機能を実装する。

少なくとも１つの実施例では、ｏｎｅＴＢＢとも呼ばれるｏｎｅＡＰＩスレッディング・ビルディング・ブロック・ライブラリは、様々なアプリケーションのための様々な並列化されたプロセスを実装するライブラリである。少なくとも１つの実施例では、ｏｎｅＴＢＢは、ホスト上でのタスク・ベース共有並列プログラミングのために利用される。少なくとも１つの実施例では、ｏｎｅＴＢＢは、一般並列アルゴリズムを実装する。少なくとも１つの実施例では、ｏｎｅＴＢＢは、同時コンテナを実装する。少なくとも１つの実施例では、ｏｎｅＴＢＢは、スケーラブル・メモリ・アロケータを実装する。少なくとも１つの実施例では、ｏｎｅＴＢＢは、ワークスティーリング（ｗｏｒｋ－ｓｔｅａｌｉｎｇ）・タスク・スケジューラを実装する。少なくとも１つの実施例では、ｏｎｅＴＢＢは、低レベル同期プリミティブを実装する。少なくとも１つの実施例では、ｏｎｅＴＢＢは、コンパイラ依存せず、ＧＰＵ、ＰＰＵ、ＣＰＵ、及び／又はそれらの変形形態など、様々なプロセッサ上で使用可能である。

少なくとも１つの実施例では、ｏｎｅＶＰＬとも呼ばれるｏｎｅＡＰＩビデオ処理ライブラリは、１つ又は複数のアプリケーションにおけるビデオ処理を加速するために利用されるライブラリである。少なくとも１つの実施例では、ｏｎｅＶＰＬは、様々なビデオ復号、符号化、及び処理機能を実装する。少なくとも１つの実施例では、ｏｎｅＶＰＬは、ＣＰＵ、ＧＰＵ、及び他のアクセラレータ上のメディア・パイプラインのための様々な機能を実装する。少なくとも１つの実施例では、ｏｎｅＶＰＬは、メディア中心及びビデオ分析ワークロードにおけるデバイス発見及び選択を実装する。少なくとも１つの実施例では、ｏｎｅＶＰＬは、ゼロコピー・バッファ共有のためのＡＰＩプリミティブを実装する。

少なくとも１つの実施例では、ｏｎｅＡＰＩプログラミング・モデルは、ＤＰＣ＋＋プログラミング言語を利用する。少なくとも１つの実施例では、ＤＰＣ＋＋プログラミング言語は、限定はしないが、デバイス・コードを定義し、デバイス・コードとホスト・コードとを区別するための、機能的に同様のバージョンのＣＵＤＡ機構を含むプログラミング言語である。少なくとも１つの実施例では、ＤＰＣ＋＋プログラミング言語は、ＣＵＤＡプログラミング言語の機能性のサブセットを含み得る。少なくとも１つの実施例では、１つ又は複数のＣＵＤＡプログラミング・モデル動作は、ＤＰＣ＋＋プログラミング言語を使用するｏｎｅＡＰＩプログラミング・モデルを使用して実施される。

本明細書で説明される例示的な実施例は、ＣＵＤＡプログラミング・モデルに関係し得るが、本明細書で説明される技法は、ＨＩＰ、ｏｎｅＡＰＩ、及び／又はそれらの変形形態など、任意の好適なプログラミング・モデルとともに利用され得ることに留意されたい。

本開示の少なくとも１つの実施例は、以下の条項を考慮して説明され得る。

１．メモリ・バリア演算であって、スレッドの複数のグループによるメモリへのアクセスが、メモリ・バリア演算によって指示される順序で発生することを引き起こすための、メモリ・バリア演算を実施するための１つ又は複数の回路を備える、プロセッサ。

２．メモリ・バリア演算が、スレッドの複数のグループについての同期情報を単一のアドレス指定可能なメモリ・ロケーションに記憶する、条項１に記載のプロセッサ。

３．同期情報が、スレッドの個々のグループの同期を指示するビットの別個のグループをもつビット・フィールドとして記憶される、条項２に記載のプロセッサ。

４．ビット・フィールドの個々のビットが、対称型マルチプロセッサ上で並列に実行されることが可能なスレッドのサブグループを表す、条項３に記載のプロセッサ。

５．同期情報が、アトミック論理演算を使用して操作される、条項２から４までのいずれか一項に記載のプロセッサ。

６．メモリ・バリア演算は、スレッドの複数のグループが、並列に実行されることを引き起こす、条項１から６までのいずれか一項に記載のプロセッサ。

７．スレッドの複数のグループの個々のグループが連動スレッド・グループである、条項６に記載のプロセッサ。

８．連動スレッド・グループが複数のワープにわたる、条項７に記載のプロセッサ。

９．メモリ・バリア演算であって、スレッドの複数のグループによるメモリへのアクセスが、メモリ・バリア演算によって指示される順序で発生することを引き起こすための、メモリ・バリア演算を実施するステップを含む、コンピュータ実装方法。

１０．メモリ・バリア演算が、スレッドの複数のグループについての同期情報を単一のアドレス指定可能なメモリ・ロケーションに記憶する、条項９に記載のコンピュータ実装方法。

１１．同期情報が、スレッドの個々のグループの同期を指示するビットの別個のグループをもつビット・フィールドとして記憶される、条項１０に記載のコンピュータ実装方法。

１２．ビット・フィールドの個々のビットが、対称型マルチプロセッサ上で並列に実行されることが可能なスレッドのサブグループを表す、条項１１に記載のコンピュータ実装方法。

１３．同期情報が、アトミック論理演算を使用して操作される、条項１０から１２までのいずれか一項に記載のコンピュータ実装方法。

１４．メモリ・バリア演算は、スレッドの複数のグループが、並列に実行されることを引き起こす、条項９から１３までのいずれか一項に記載のコンピュータ実装方法。

１５．スレッドの複数のグループの個々のグループが連動スレッド・グループである、条項１４に記載のコンピュータ実装方法。

１６．連動スレッド・グループが複数のワープにわたる、条項１５に記載のコンピュータ実装方法。

１７．１つ又は複数のプロセッサと実行可能命令を記憶するメモリとを備えるコンピュータ・システムであって、実行可能命令は、１つ又は複数のプロセッサによって実行された結果として、コンピュータ・システムに、メモリ・バリア演算であって、スレッドの複数のグループによるメモリへのアクセスが、メモリ・バリア演算によって指示される順序で発生することを引き起こす、メモリ・バリア演算を実施させる、コンピュータ・システム。

１８．メモリ・バリア演算が、スレッドの複数のグループについての同期情報を単一のアドレス指定可能なメモリ・ロケーションに記憶する、条項１７に記載のコンピュータ・システム。

１９．同期情報が、スレッドの個々のグループの同期を指示するビットの別個のグループをもつビット・フィールドとして記憶される、条項１８に記載のコンピュータ・システム。

２０．ビット・フィールドの個々のビットが、対称型マルチプロセッサ上で並列に実行されることが可能なスレッドのサブグループを表す、条項１９に記載のコンピュータ・システム。

２１．同期情報が、アトミック論理演算を使用して操作される、条項１８から２０までのいずれか一項に記載のコンピュータ・システム。

２２．メモリ・バリア演算は、スレッドの複数のグループが、並列に実行されることを引き起こす、条項１７から２１までのいずれか一項に記載のコンピュータ・システム。

２３．スレッドの複数のグループの個々のグループが連動スレッド・グループである、条項２２に記載のコンピュータ・システム。

２４．連動スレッド・グループが複数のワープにわたる、条項２３に記載のコンピュータ・システム。

２５．命令のセットを記憶した機械可読媒体であって、命令のセットが、１つ又は複数のプロセッサによって実施された場合、１つ又は複数のプロセッサに、メモリ・バリア演算であって、スレッドの複数のグループによるメモリへのアクセスが、メモリ・バリア演算によって指示される順序で発生することを引き起こす、メモリ・バリア演算を実施させる、機械可読媒体。

２６．メモリ・バリア演算が、スレッドの複数のグループについての同期情報を単一のアドレス指定可能なメモリ・ロケーションに記憶する、条項２５に記載の機械可読媒体。

２７．同期情報が、スレッドの個々のグループの同期を指示するビットの別個のグループをもつビット・フィールドとして記憶される、条項２６に記載の機械可読媒体。

２８．ビット・フィールドの個々のビットが、対称型マルチプロセッサ上で並列に実行されることが可能なスレッドのサブグループを表す、条項２７に記載の機械可読媒体。

２９．同期情報が、アトミック論理演算を使用して操作される、条項２６から２８までのいずれか一項に記載の機械可読媒体。

３０．メモリ・バリア演算は、スレッドの複数のグループが、並列に実行されることを引き起こす、条項２５から２９までのいずれか一項に記載の機械可読媒体。

３１．スレッドの複数のグループの個々のグループが連動スレッド・グループである、条項３０に記載の機械可読媒体。

３２．連動スレッド・グループが複数のワープにわたる、条項３１に記載の機械可読媒体。

他の変形形態は、本開示の範囲内にある。したがって、開示される技法は、様々な修正及び代替構築が可能であるが、それらのいくつかの例示的な実施例が図面に示され、上記で詳細に説明された。しかしながら、特定の１つ又は複数の開示された形態に本開示を限定する意図はなく、その反対に、添付の特許請求の範囲において定義されるように、開示の趣旨及び範囲に入るすべての修正形態、代替構築、及び等価物を網羅することを意図していることが理解されるべきである。

開示される実施例を説明する文脈において（特に、以下の特許請求の範囲の文脈において）「ａ」及び「ａｎ」及び「ｔｈｅ」という用語、並びに同様の指示語を使用することは、本明細書に別段の記載のない限り、又は文脈によって明らかに否定されない限り、単数と複数の両方を網羅すると解釈されるべきであり、用語の定義であると解釈されるべきではない。「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」という用語は、別段の記載のない限り、オープンエンドの用語（「限定はしないが、～を含む（ｉｎｃｌｕｄｉｎｇ，ｂｕｔｎｏｔｌｉｍｉｔｅｄｔｏ，）」を意味する）と解釈されるべきである。「接続される」という用語は、修飾されず、物理的接続を指しているとき、何か介在するものがある場合でも、部分的に又は完全に中に含まれているか、取り付けられるか、又は互いに接合されるものとして解釈されるべきである。本明細書で値の範囲を詳述することは、本明細書に別段の記載のない限り、及び各別個の値が、本明細書に個々に詳述されているかのように明細書に組み込まれていない限り、範囲内に入る各別個の値を個々に参照する簡潔な方法として働くことを単に意図しているにすぎない。「セット」（たとえば、「項目のセット」）又は「サブセット」という用語の使用は、文脈によって別段の記載がないか又は否定されない限り、１つ又は複数の部材を備える空ではない集合として解釈されるべきである。さらに、文脈によって別段の記載がないか又は否定されない限り、対応するセットの「サブセット」という用語は、対応するセットの厳密なサブセットを必ずしも指すとは限らず、サブセットと、対応するセットとは、等しくなり得る。

「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ及びＣのうちの少なくとも１つ」という形態の言い回しなどの結合語は、別段の具体的な記載がないか又はさもなければ文脈によって明確に否定されない限り、別様に、項目、用語などが、Ａ又はＢ又はＣのいずれか、或いはＡとＢとＣとのセットの任意の空でないサブセットであり得ることを提示するために一般に使用される文脈で、理解される。たとえば、３つの部材を有するセットの説明的な実例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」並びに「Ａ、Ｂ及びＣのうちの少なくとも１つ」という結合句は、次のセットのうちのいずれかを指す：｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ、Ｂ｝、｛Ａ、Ｃ｝、｛Ｂ、Ｃ｝、｛Ａ、Ｂ、Ｃ｝。したがって、そのような結合語は、いくつかの実施例が、Ａのうちの少なくとも１つ、Ｂのうちの少なくとも１つ、及びＣのうちの少なくとも１つの各々が存在することを必要とすることを全体的に暗示するものではない。さらに、別段の記載がないか又は文脈によって否定されない限り、「複数（ｐｌｕｒａｌｉｔｙ）」という用語は、複数である状態を示す（たとえば、「複数の項目（ａｐｌｕｒａｌｉｔｙｏｆｉｔｅｍｓ）」は複数の項目（ｍｕｌｔｉｐｌｅｉｔｅｍｓ）を示す）。複数である項目の数は、少なくとも２つであるが、明示的に、又は文脈によってのいずれかでそのように示されているとき、それよりも多いことがある。さらに、別段の記載がないか又はさもなければ文脈から明らかでない限り、「～に基づいて」という言い回しは、「少なくとも部分的に～に基づいて」を意味し、「～のみに基づいて」を意味しない。

本明細書で説明されるプロセスの動作は、本明細書に別段の記載がないか又はさもなければ文脈によって明確に否定されない限り、任意の好適な順序で実施され得る。少なくとも１つの実施例では、本明細書で説明されるプロセス（又はその変形形態及び／又は組合せ）などのプロセスは、実行可能命令で構成された１つ又は複数のコンピュータ・システムの制御下で実施され、１つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組合せによって集合的に実行するコード（たとえば、実行可能命令、１つ又は複数のコンピュータ・プログラム、又は１つ又は複数のアプリケーション）として実装される。少なくとも１つの実施例では、コードは、たとえば、１つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータ・プログラムの形態で、コンピュータ可読記憶媒体に記憶される。少なくとも１つの実施例では、コンピュータ可読記憶媒体は、一時的信号（たとえば、伝搬する一時的な電気又は電磁送信）を除外するが、一時的信号のトランシーバ内の非一時的データ・ストレージ回路要素（たとえば、バッファ、キャッシュ、及びキュー）を含む非一時的コンピュータ可読記憶媒体である。少なくとも１つの実施例では、コード（たとえば、実行可能コード又はソース・コード）は、１つ又は複数の非一時的コンピュータ可読記憶媒体のセットに記憶され、この記憶媒体は、コンピュータ・システムの１つ又は複数のプロセッサによって実行されたときに（たとえば、実行された結果として）、コンピュータ・システムに本明細書で説明される動作を実施させる実行可能命令を記憶している（又は、実行可能命令を記憶するための他のメモリを有する）。非一時的コンピュータ可読記憶媒体のセットは、少なくとも１つの実施例では、複数の非一時的コンピュータ可読記憶媒体を備え、複数の非一時的コンピュータ可読記憶媒体の個々の非一時的記憶媒体のうちの１つ又は複数は、コードのすべてがないが、複数の非一時的コンピュータ可読記憶媒体は、集合的にコードのすべてを記憶している。少なくとも１つの実施例では、実行可能命令は、異なる命令が異なるプロセッサによって実行されるように実行され、たとえば、非一時的コンピュータ可読記憶媒体は命令を記憶し、メイン中央処理ユニット（「ＣＰＵ」）は命令のいくつかを実行し、グラフィックス処理ユニット（「ＧＰＵ」）は他の命令を実行する。少なくとも１つの実施例では、コンピュータ・システムの異なる構成要素は、別個のプロセッサを有し、異なるプロセッサが命令の異なるサブセットを実行する。

したがって、少なくとも１つの実施例では、コンピュータ・システムは、本明細書で説明されるプロセスの動作を単独で又は集合的に実施する１つ又は複数のサービスを実装するように構成され、そのようなコンピュータ・システムは、動作の実施を可能にする適用可能なハードウェア及び／又はソフトウェアで構成される。さらに、本開示の少なくとも１つの実施例を実装するコンピュータ・システムは、単一のデバイスであり、別の実施例では、分散型コンピュータ・システムが本明細書で説明される動作を実施するように、及び単一のデバイスがすべての動作を実施しないように、異なるやり方で動作する複数のデバイスを備える分散型コンピュータ・システムである。

本明細書で提供されるあらゆる実例、又は例示的な言葉（たとえば、「など、などの（ｓｕｃｈａｓ）」）の使用は、本開示の実施例をより明らかにすることのみを意図しており、別段の主張のない限り、本開示の範囲に制限を加えるものではない。本明細書のいかなる言葉も、特許請求されていない任意の要素を、本開示の実践に不可欠なものとして示すと解釈されるべきではない。

本明細書で引用される出版物、特許出願、及び特許を含むすべての参考文献は、各参考文献が参照により組み込まれることが個別に明確に示され、その全体が本明細書に記載されたかのように、それと同程度まで参照により本明細書に組み込まれる。

明細書及び特許請求の範囲において、「結合される」及び「接続される」という用語が、その派生語とともに使用され得る。これらの用語は、互いに同義語として意図されていないことがあることが理解されるべきである。むしろ、特定の実例では、「接続される」又は「結合される」は、２つ又はそれ以上の要素が物理的又は電気的に互いに直接又は間接的に接触していることを示すために使用され得る。「結合される」はまた、２つ又はそれ以上の要素が直接互いに接触していないが、それでもなお互いに連動又は対話することを意味し得る。

別段の具体的な記載がない限り、明細書全体を通して、「処理する（ｐｒｏｃｅｓｓｉｎｇ）」、「算出する（ｃｏｍｐｕｔｉｎｇ）」、「計算する（ｃａｌｃｕｌａｔｉｎｇ）」、又は「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」などの用語は、コンピューティング・システムのレジスタ及び／又はメモリ内の、電子的などの物理的な量として表されるデータを、コンピューティング・システムのメモリ、レジスタ又は他のそのような情報ストレージ、送信、若しくはディスプレイ・デバイス内の物理的な量として同様に表される他のデータになるように操作及び／又は変換する、コンピュータ又はコンピューティング・システム、或いは同様の電子コンピューティング・デバイスのアクション及び／又はプロセスを指すことが諒解され得る。

同様に、「プロセッサ」という用語は、レジスタ及び／又はメモリからの電子データを処理し、その電子データを、レジスタ及び／又はメモリに記憶され得る他の電子データに変換する任意のデバイス、又はデバイスの一部分を指し得る。非限定的な実例として、「プロセッサ」は、ＣＰＵ又はＧＰＵであり得る。「コンピューティング・プラットフォーム」は、１つ又は複数のプロセッサを備え得る。本明細書で使用される「ソフトウェア」プロセスは、たとえば、タスク、スレッド、及び知的エージェントなど、経時的にワークを実施するソフトウェア及び／又はハードウェア・エンティティを含み得る。また、各プロセスは、命令を直列で又は並列で、連続的に又は断続的に行うための複数のプロセスを指し得る。「システム」及び「方法」という用語は、１つ又は複数の方法をシステムが具体化し得、方法がシステムと考えられ得る場合に限り、本明細書において交換可能に使用される。

少なくとも１つの実施例では、算術論理ユニットは、結果を作り出すために１つ又は複数の入力をとる組合せ論理回路要素のセットである。少なくとも１つの実施例では、算術論理ユニットは、加算、減算、又は乗算などの数学演算を実装するためにプロセッサによって使用される。少なくとも１つの実施例では、算術論理ユニットは、論理ＡＮＤ／ＯＲ又はＸＯＲなどの論理演算を実装するために使用される。少なくとも１つの実施例では、算術論理ユニットは、ステートレスであり、論理ゲートを形成するように構成された半導体トランジスタなど、物理的切替え構成要素から作られる。少なくとも１つの実施例では、算術論理ユニットは、関連するクロックをもつステートフル論理回路として、内部で動作し得る。少なくとも１つの実施例では、算術論理ユニットは、関連するレジスタ・セット中で維持されない内部状態をもつ非同期論理回路として構築され得る。少なくとも１つの実施例では、算術論理ユニットは、プロセッサの１つ又は複数のレジスタに記憶されたオペランドを組み合わせ、別のレジスタ又はメモリ・ロケーションにプロセッサによって記憶され得る出力を作り出すために、プロセッサによって使用される。

少なくとも１つの実施例では、プロセッサによって取り出された命令を処理した結果として、プロセッサは、１つ又は複数の入力又はオペランドを算術論理ユニットに提示し、算術論理ユニットに、算術論理ユニットの入力に提供された命令コードに少なくとも部分的に基づく結果を作り出させる。少なくとも１つの実施例では、プロセッサによってＡＬＵに提供された命令コードは、プロセッサによって実行された命令に少なくとも部分的に基づく。少なくとも１つの実施例では、ＡＬＵにおける組合せ論理は、入力を処理し、プロセッサ内のバス上に置かれる出力を作り出す。少なくとも１つの実施例では、プロセッサは、プロセッサをクロック制御することにより、ＡＬＵによって作り出された結果が所望のロケーションに送出されるように、宛先レジスタ、メモリ・ロケーション、出力デバイス、又は出力バス上の出力ストレージ・ロケーションを選択する。

本明細書では、アナログ・データ又はデジタル・データを取得すること、獲得すること、受信すること、或いはそれらをサブシステム、コンピュータ・システム、又はコンピュータ実装機械に入力することに言及し得る。アナログ・データ及びデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、関数コール、又はアプリケーション・プログラミング・インターフェースへのコールのパラメータとしてデータを受信することによってなど、様々なやり方で実現され得る。いくつかの実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、直列又は並列インターフェースを介してデータを転送することによって実現され得る。別の実装形態では、アナログ・データ又はデジタル・データを取得する、獲得する、受信する、又は入力するプロセスは、提供するエンティティから獲得するエンティティにコンピュータ・ネットワークを介してデータを転送することによって実現され得る。アナログ・データ又はデジタル・データを提供すること、出力すること、送信すること、送出すること、又は提示することにも言及し得る。様々な実例では、アナログ・データ又はデジタル・データを提供する、出力する、送信する、送出する、又は提示するプロセスは、関数コールの入力又は出力パラメータ、アプリケーション・プログラミング・インターフェース又はプロセス間通信機構のパラメータとしてデータを転送することによって実現され得る。

上記の説明は、説明された技法の例示的な実装形態について述べているが、他のアーキテクチャが、説明された機能性を実装するために使用され得、本開示の範囲内にあることが意図される。さらに、説明を目的として、責任の具体的な分散が上記で定義されたが、様々な機能及び責任は、状況に応じて異なるやり方で分散及び分割され得る。

さらに、主題は、構造的特徴及び／又は方法論的行為に特有の言語で説明されたが、添付の特許請求の範囲で特許請求される主題は、説明された特有の特徴又は行為に必ずしも限定されるとは限らないことが理解されるべきである。むしろ、特有の特徴及び行為は、特許請求の範囲を実装する例示的な形態として開示される。

Claims

メモリ・バリア演算であって、スレッドの複数のグループによるメモリへのアクセスが、前記メモリ・バリア演算によって指示される順序で発生することを引き起こすための、メモリ・バリア演算を実施するための１つ又は複数の回路を備える、プロセッサ。
前記メモリ・バリア演算が、スレッドの前記複数のグループについての同期情報を単一のアドレス指定可能なメモリ・ロケーションに記憶する、請求項１に記載のプロセッサ。
前記同期情報が、スレッドの個々のグループの同期を指示するビットの別個のグループをもつビット・フィールドとして記憶される、請求項２に記載のプロセッサ。
前記ビット・フィールドの個々のビットが、対称型マルチプロセッサ上で並列に実行されることが可能なスレッドのサブグループを表す、請求項３に記載のプロセッサ。
前記同期情報が、アトミック論理演算を使用して操作される、請求項２に記載のプロセッサ。
前記メモリ・バリア演算は、スレッドの前記複数のグループが、並列に実行されることを引き起こす、請求項１に記載のプロセッサ。
スレッドの前記複数のグループの個々のグループが連動スレッド・グループである、請求項６に記載のプロセッサ。
前記連動スレッド・グループが複数のワープにわたる、請求項７に記載のプロセッサ。
メモリ・バリア演算であって、スレッドの複数のグループによるメモリへのアクセスが、前記メモリ・バリア演算によって指示される順序で発生することを引き起こすための、メモリ・バリア演算を実施するステップを含む、コンピュータ実装方法。
前記メモリ・バリア演算が、スレッドの前記複数のグループについての同期情報を単一のアドレス指定可能なメモリ・ロケーションに記憶する、請求項９に記載のコンピュータ実装方法。
前記同期情報が、スレッドの個々のグループの同期を指示するビットの別個のグループをもつビット・フィールドとして記憶される、請求項１０に記載のコンピュータ実装方法。
前記ビット・フィールドの個々のビットが、対称型マルチプロセッサ上で並列に実行されることが可能なスレッドのサブグループを表す、請求項１１に記載のコンピュータ実装方法。
前記同期情報が、アトミック論理演算を使用して操作される、請求項１０に記載のコンピュータ実装方法。
前記メモリ・バリア演算は、スレッドの前記複数のグループが、並列に実行されることを引き起こす、請求項９に記載のコンピュータ実装方法。
スレッドの前記複数のグループの個々のグループが連動スレッド・グループである、請求項１４に記載のコンピュータ実装方法。
前記連動スレッド・グループが複数のワープにわたる、請求項１５に記載のコンピュータ実装方法。
１つ又は複数のプロセッサと実行可能命令を記憶するメモリとを備えるコンピュータ・システムであって、前記実行可能命令は、前記１つ又は複数のプロセッサによって実行された結果として、前記コンピュータ・システムに、メモリ・バリア演算であって、スレッドの複数のグループによるメモリへのアクセスが、前記メモリ・バリア演算によって指示される順序で発生することを引き起こす、メモリ・バリア演算を実施させる、コンピュータ・システム。
前記メモリ・バリア演算が、スレッドの前記複数のグループについての同期情報を単一のアドレス指定可能なメモリ・ロケーションに記憶する、請求項１７に記載のコンピュータ・システム。
前記同期情報が、スレッドの個々のグループの同期を指示するビットの別個のグループをもつビット・フィールドとして記憶される、請求項１８に記載のコンピュータ・システム。
前記ビット・フィールドの個々のビットが、対称型マルチプロセッサ上で並列に実行されることが可能なスレッドのサブグループを表す、請求項１９に記載のコンピュータ・システム。
前記同期情報が、アトミック論理演算を使用して操作される、請求項１８に記載のコンピュータ・システム。
前記メモリ・バリア演算は、スレッドの前記複数のグループが、並列に実行されることを引き起こす、請求項１７に記載のコンピュータ・システム。
スレッドの前記複数のグループの個々のグループが連動スレッド・グループである、請求項２２に記載のコンピュータ・システム。
前記連動スレッド・グループが複数のワープにわたる、請求項２３に記載のコンピュータ・システム。
命令のセットを記憶した機械可読媒体であって、命令の前記セットが、１つ又は複数のプロセッサによって実施された場合、前記１つ又は複数のプロセッサに、メモリ・バリア演算であって、スレッドの複数のグループによるメモリへのアクセスが、前記メモリ・バリア演算によって指示される順序で発生することを引き起こす、メモリ・バリア演算を実施させる、機械可読媒体。
前記メモリ・バリア演算が、スレッドの前記複数のグループについての同期情報を単一のアドレス指定可能なメモリ・ロケーションに記憶する、請求項２５に記載の機械可読媒体。
前記同期情報が、スレッドの個々のグループの同期を指示するビットの別個のグループをもつビット・フィールドとして記憶される、請求項２６に記載の機械可読媒体。
前記ビット・フィールドの個々のビットが、対称型マルチプロセッサ上で並列に実行されることが可能なスレッドのサブグループを表す、請求項２７に記載の機械可読媒体。
前記同期情報が、アトミック論理演算を使用して操作される、請求項２６に記載の機械可読媒体。
前記メモリ・バリア演算は、スレッドの前記複数のグループが、並列に実行されることを引き起こす、請求項２５に記載の機械可読媒体。
スレッドの前記複数のグループの個々のグループが連動スレッド・グループである、請求項３０に記載の機械可読媒体。
前記連動スレッド・グループが複数のワープにわたる、請求項３１に記載の機械可読媒体。