JP2022506592A - ストリーミングプラットフォームフローおよびアーキテクチャ - Google Patents

Abstract

集積回路（ＩＣ）が、プログラマブル回路において実装される第１のカーネル回路［２３４－１］と、プログラマブル回路において実装される第２のカーネル回路［２３４－２、２３４－３、４４０－１、４４０－３］と、第１のカーネル回路［２３４－１］と第２のカーネル回路［２３４－２、２３４－３、４４０－１、４４０－３］とに結合されたストリームトラフィックマネージャ回路［２１２］とを含む。ストリームトラフィックマネージャ回路［２１２］は、第１のカーネル回路［２３４－２］と第２のカーネル回路［２３４－２、２３４－３、４４０－１、４４０－３］との間で交換されるデータストリームを制御するように設定される。【選択図】図２

Description

著作権のある資料の権利の留保
本特許文書の開示の一部分が、著作権保護の対象となる資料を含んでいる。著作権所有者は、米国特許商標庁の特許ファイルまたは記録に現れるように、特許文書または特許開示の何者による複製にも異議はないが、それ以外は何であれすべての著作権を留保する。

本開示は集積回路（ＩＣ）に関し、より詳細には、ホストシステムとハードウェアアクセラレーテッド（ｈａｒｄｗａｒｅ ａｃｃｅｌｅｒａｔｅｄ）回路との間の通信のためにおよびハードウェアアクセラレーテッド回路のカーネル回路間の通信のためにデータストリームを使用することに関する。

ハードウェアアクセラレーションは、ハードウェアまたは回路においてプログラムコードの一部の機能性を実装することを指す。ハードウェアアクセラレーテッドプログラムコードは、元のプログラムコードと機能的に等価である。プロセッサを使用する実行可能なバイナリなど、プログラムコードのコンパイルされたバージョンを実行する代わりに、プログラムコードは、実行可能なバイナリと同じ機能性を提供するように設定された回路として実装される。プログラムコードのハードウェアアクセラレーテッドバージョンは、通常、何らかのプロセッサを使用してプログラムコードを実行することと比較して、改善された性能を提供する。いくつかの場合には、プログラムコードは、プログラマブルＩＣ内に実装される回路設計にコンパイルされる。

上記および他の実装形態は、各々、随意に、単独でまたは組み合わせて、以下の特徴のうちの１つまたは複数を含むか、あるいは以下の特徴のすべてを含むことができる。

１つまたは複数の実施形態では、システムが、ホストシステムと、通信インターフェースを通してホストシステムに結合されたＩＣとを含む。ＩＣは、ハードウェアアクセラレーションのために設定される。ＩＣは、通信インターフェースに結合された直接メモリアクセス回路と、カーネル回路と、直接メモリアクセス回路とカーネル回路とに結合されたストリームトラフィックマネージャ回路（ｓｔｒｅａｍ ｔｒａｆｆｉｃ ｍａｎａｇｅｒ ｃｉｒｃｕｉｔ）とを含む。ストリームトラフィックマネージャ回路は、ホストシステムとカーネル回路との間で交換されるデータストリームを制御するように設定される。

一態様では、ホストシステムとＩＣとは、パケット化されたデータを交換することによって通信する。

別の態様では、ＩＣは、ストリームトラフィックマネージャ回路とカーネル回路とを接続する相互接続回路を含む。

別の態様では、カーネル回路は、複数のカーネル回路のうちの１つであり、ストリームトラフィックマネージャ回路は、複数のカーネル回路に提供されるデータストリームをインターリーブするように設定される。

別の態様では、ＩＣは、相互接続回路とカーネル回路とに結合された入力バッファを含み、入力バッファは、ストリームトラフィックマネージャ回路からのパケット化されたデータを一時的に保持し、パケット化されたデータを、カーネル回路に提供されるデータストリームに変換するように設定される。ＩＣは、相互接続回路とカーネル回路とに結合された出力バッファをさらに含み、出力バッファは、カーネル回路から出力されたデータストリームを一時的に保持し、データストリームを、パケット化されたデータに変換するように設定される。

別の態様では、ホストシステムは、メモリに結合されたプロセッサを含み、プロセッサは、メモリにおいて、入力バッファに対応する書込みキューと出力バッファに対応する読取りキューとを実装するように設定される。書込みキューは、入力バッファにストリーミングされるべきデータを指定する記述子を記憶する。読取りキューは、出力バッファからホストシステムのメモリにストリーミングされるべきデータを指定する記述子を記憶する。

別の態様では、ホストシステムは、カーネル回路に、帯域内命令をもつパケット化されたデータを送出するように設定される。

１つまたは複数の実施形態では、方法が、コンピュータハードウェアを使用して、カーネル回路を指定する設定ビットストリームと、カーネル回路についてのメタデータとを含むコンテナファイルを選択することと、コンピュータハードウェアを使用して、コンテナファイルから設定ビットストリームを抽出し、ＩＣ内にカーネル回路を実装するために、ＩＣ内に設定ビットストリームをロードすることと、コンピュータハードウェアを使用して、メタデータからパイププロパティを決定することであって、パイププロパティが、ホストシステムからカーネル回路にデータをストリーミングするためのセッティングを指定する、パイププロパティを決定することとを含む。方法は、データストリームに変換され、パイププロパティによって指定されたセッティングを使用してカーネル回路に提供される、パケット化されたデータとしての、ホストシステムからカーネル回路への直接のデータ転送を実装することをも含むことができる。

一態様では、方法は、結果を指定するさらなるデータストリームとしての、カーネル回路から直接ホストシステムへのさらなるデータ転送を実装することを含む。

別の態様では、さらなるデータ転送を実装することは、ホストシステムに位置する、カーネル回路に対応する書込みキューが、データの完全なパケットを受信するためのスペースを有するかどうかを決定することと、書込みキューがスペースを有すると決定したことに応答して、カーネル回路からホストシステムへのデータ転送を始動することとを含む。

別の態様では、方法は、ＩＣ内のストリームトラフィックマネージャ回路にセッティングを送出することを含み、ストリームトラフィックマネージャ回路は、ホストシステムとカーネル回路との間でデータをストリーミングするためにセッティングを実装する。

別の態様では、方法は、データストリーム内の帯域内にカーネル回路についての命令を含めることを含む。

別の態様では、方法は、データ転送が、データ転送を要求するユーザアプリケーションによって使用されるデータタイプに基づいてデータストリームとして実装されるべきであると決定することを含む。

別の態様では、データ転送を実装することは、ＩＣ内のカーネル回路に結合された入力バッファが、データを受信するためのスペースを有するかどうかを決定することと、入力バッファがスペースを有すると決定したことに応答して、カーネル回路へのデータ転送を始動することとを含む。

１つまたは複数の実施形態では、ＩＣが、ホストシステムに結合された通信インターフェースと、通信インターフェースに結合された直接メモリアクセス回路と、プログラマブル回路を使用して実装されるカーネル回路と、直接メモリアクセス回路とカーネル回路とに結合されたストリームトラフィックマネージャ回路とを含む。ストリームトラフィックマネージャ回路は、ホストシステムとカーネル回路との間で交換されるデータストリームを制御するように設定される。

一態様では、ＩＣは、ストリームトラフィックマネージャ回路から、パケット化されたデータを受信し、パケット化されたデータをカーネル回路に配信するように設定された第１の相互接続と、カーネル回路からデータを受信し、データをストリームトラフィックマネージャ回路に提供するように設定された第２の相互接続とを含む。

別の態様では、ＩＣは、第１の相互接続の出力ポートとカーネル回路の入力ポートとに結合された入力バッファであって、入力バッファが、パケット化されたデータを一時的に記憶し、パケット化されたデータをデータストリームに変換し、データストリームをカーネル回路に提供するように設定された、入力バッファを含む。ストリームトラフィックマネージャ回路は、入力バッファが、利用可能なスペースを有すると決定したことに応答して、カーネル回路へのデータ転送を始動する。

別の態様では、ＩＣは、カーネル回路の出力ポートとストリームトラフィックマネージャ回路の入力ポートとに結合された出力バッファであって、出力バッファが、カーネル回路から出力されたデータストリームを一時的に記憶し、データストリームを、パケット化されたデータに変換し、パケット化されたデータを第２の相互接続に提供するように設定された、出力バッファを含む。ストリームトラフィックマネージャ回路は、出力バッファに対応する、ホストシステムにおけるバッファが、利用可能なスペースを有し、出力バッファが少なくとも１つの完全なパケットを含むと決定したことに応答して、カーネル回路からホストシステムへのデータ転送を始動する。

別の態様では、カーネル回路は、プログラマブル回路において実装される複数のカーネル回路のうちの１つである。ストリームトラフィックマネージャ回路は、複数のカーネル回路の各々に結合され、複数のカーネル回路と交換されるデータストリームをインターリーブするように設定される。

別の態様では、複数のカーネル回路の各カーネル回路は、バッファおよび相互接続を通してストリームトラフィックマネージャ回路に結合される。ストリームトラフィックマネージャ回路は、各それぞれのカーネル回路に対応するバッファのスペース利用可能性に基づいて、複数のカーネル回路の各々にデータをストリーミングするためのラウンドロビンアービトレーション方式を実装する。

１つまたは複数の実施形態では、ＩＣが、プログラマブル回路において実装される第１のカーネル回路と、プログラマブル回路において実装される第２のカーネル回路と、第１のカーネル回路と第２のカーネル回路とに結合されたストリームトラフィックマネージャ回路とを含む。ストリームトラフィックマネージャ回路は、第１のカーネル回路と第２のカーネル回路との間で交換されるデータストリームを制御するように設定される。

一態様では、第１のカーネル回路から第２のカーネル回路に送出される選択されたデータストリームが、第２のカーネル回路についての帯域内命令を含む。

別の態様では、第１のカーネル回路は、第１の入力バッファと第１の出力バッファとを通して第１の相互接続に結合され、第２のカーネル回路は、第２の入力バッファと第２の出力バッファとを通して第２の相互接続に結合され、第１の相互接続と第２の相互接続とはストリームトラフィックマネージャに結合される。

別の態様では、ストリームトラフィックマネージャ回路は、選択されたデータストリームを、集積回路に結合されたホストシステムから第１のカーネル回路にまたは第２のカーネル回路に直接提供し、結果データストリームを、第１のカーネル回路または第２のカーネル回路からホストシステムに提供するように設定される。

別の態様では、選択されたデータストリームは、第１のカーネル回路または第２のカーネル回路についての帯域内命令を含む。

別の態様では、第１のカーネル回路は集積回路の第１のダイに位置し、第２のカーネル回路は集積回路の第２のダイに位置する。

別の態様では、ストリームトラフィックマネージャ回路は第１のダイに位置する。

別の態様では、ＩＣは、第２のダイ内の第２のカーネル回路の入力ポートに結合され、第２のカーネル回路にストリーミングされるデータを一時的に記憶するように設定された入力バッファと、第１のダイ内の第１のカーネル回路の出力ポートに結合され、第１のカーネル回路から出力されたデータを一時的に記憶するように設定された出力バッファとを含む。ストリームトラフィックマネージャ回路は、入力バッファが、利用可能なスペースを有し、出力バッファがデータを記憶していると決定したことに応答して、第１のカーネル回路から第２のカーネル回路へのデータ転送を始動するように設定される。

別の態様では、ＩＣは、第１のダイ内の第１のカーネル回路の入力ポートに結合され、第１のカーネル回路にストリーミングされるデータを一時的に記憶するように設定された入力バッファと、第２のダイ内の第２のカーネル回路の出力ポートに結合され、第２のカーネル回路から出力されたデータを一時的に記憶するように設定された出力バッファとを含む。ストリームトラフィックマネージャ回路は、入力バッファが、利用可能なスペースを有し、出力バッファがデータを記憶していると決定したことに応答して、第２のカーネル回路から第１のカーネル回路へのデータ転送を始動するように設定される。

１つまたは複数の実施形態では、システムが、第１の複数のカーネル回路と、第１の複数のカーネル回路のうちの異なるカーネル回路間で交換されるデータストリームを制御するように設定されたストリームトラフィックマネージャ回路と、第１のトランシーバとを有する第１のＩＣと、第２の複数のカーネル回路と、第２の複数のカーネル回路のうちの異なるカーネル回路間で交換されるデータストリームを制御するように設定された衛星ストリームトラフィックマネージャ回路と、第１のトランシーバに結合された第２のトランシーバとを有する第２のＩＣとを含む。ストリームトラフィックマネージャ回路と衛星ストリームトラフィックマネージャ回路とは、第１の複数のカーネル回路のうちの選択されたカーネル回路と第２の複数のカーネル回路のうちの選択されたカーネル回路との間で渡されるデータストリームを交換するように設定される。

一態様では、第１の複数のカーネル回路は第１のＩＣの異なるダイに位置し、第２の複数のカーネル回路は第２のＩＣの異なるダイに位置する。

別の態様では、第１の複数のカーネル回路のうちの選択されたカーネル回路と第２の複数のカーネル回路のうちの選択されたカーネル回路との間で交換されるデータストリームは、第２のカーネル回路についての帯域内命令を含む。

別の態様では、ストリームトラフィックマネージャ回路は、選択されたデータストリームを、第１のＩＣに結合されたホストシステムから、第１の複数のカーネル回路のうちの選択されたカーネル回路または第２の複数のカーネル回路のうちの選択されたカーネル回路に直接提供し、結果データストリームを、第１の複数のカーネル回路のうちの選択されたカーネル回路または第２の複数のカーネル回路のうちの選択されたカーネル回路からホストシステムに提供するように設定される。

別の態様では、選択されたデータストリームは、第１のカーネル回路または第２のカーネル回路についての帯域内命令を含む。

別の態様では、第１のＩＣは、ストリームトラフィックマネージャと第１の複数のカーネル回路とに結合された相互接続を含み、第２のＩＣは、衛星ストリームトラフィックマネージャと第２の複数のカーネル回路とに結合された相互接続を含む。

別の態様では、ストリームトラフィックマネージャ回路と衛星ストリームトラフィックマネージャ回路とは、受信カーネル回路の入力バッファが、利用可能なスペースを有すると決定したことに応答して、データストリームを交換するように設定される。

別の態様では、第１のＩＣは、第１の複数のダイを含み、第１の複数のカーネル回路が第１の複数のダイにわたって分散される。各ダイは、ストリームトラフィックマネージャと、ダイ内の第１の複数のカーネル回路のうちの特定のカーネル回路とに結合された相互接続を含む。

１つまたは複数の実施形態では、方法が、ストリームトラフィックマネージャ回路（ｓｔｒｅａｍ ｔｒａｆｆｉｃ ｍａｎａｇｅｒ ｃｉｒｃｕｉｔｒｙ）によって、パケットについて、カーネル回路の出力バッファを監視することであって、カーネル回路が少なくとも１つのＩＣのプログラマブル回路において実装される、出力バッファを監視することと、送出カーネル回路の出力バッファがパケットを記憶していることを検出したことに応答して、ストリームトラフィックマネージャ回路によって、パケットについて、受信カーネル回路を決定することと、ストリームトラフィックマネージャ回路によって、受信カーネル回路の入力バッファが、パケットを記憶するために利用可能なスペースを有するかどうかを決定することと、入力バッファが、パケットを記憶するために利用可能なスペースを有すると決定したことに応答して、ストリームトラフィックマネージャ回路によって、送出カーネル回路の出力バッファから受信カーネル回路の入力バッファへのストリームデータ転送を始動することとを含む。

一態様では、ストリームデータ転送は、ホストシステムの関与なしに実施される。

別の態様では、ストリームデータ転送は、受信カーネル回路の動作を制御する帯域内命令を含む。

本発明の概要セクションは、いくつかの概念を導入するために提供されるにすぎず、請求される主題の重要な、または本質的な特徴を識別するために提供されるものではない。本発明の構成の他の特徴は、添付の図面および以下の発明を実施するための形態から明らかになろう。

本発明の構成は、添付の図面において例として示される。しかしながら、図面は、本発明の構成を、図示される特定の実装形態のみに限定するものと解釈されるべきではない。様々な態様および利点が、以下の発明を実施するための形態を検討し、図面を参照すると明らかになろう。

ハードウェアアクセラレーションのための例示的なアーキテクチャを示す図である。 図１のアーキテクチャの別の例示的な実装形態を示す図である。 データストリームを使用してホストシステムとハードウェアアクセラレータのカーネル回路との間でデータを転送する例示的な方法を示す図である。 データストリームを使用してカーネル回路間でデータを交換するための例示的なアーキテクチャを示す図である。 データストリームを使用してカーネル回路間でデータを交換する例示的な方法を示す図である。 本明細書で説明される１つまたは複数の実施形態とともに使用するための例示的なシステムを示す図である。 ＩＣのための例示的なアーキテクチャを示す図である。

本開示は、新規の特徴を定義する特許請求の範囲で締めくくるが、本開示内で説明される様々な特徴は、図面とともにその説明を考慮することにより、より良く理解されると考えられる。本明細書で説明される（１つまたは複数の）プロセス、（１つまたは複数の）機械、（１つまたは複数の）製造物およびその任意の変形形態は、例示のために提供される。本開示内で説明される特定の構造的および機能的詳細は、限定するものとして解釈されるべきではなく、単に、特許請求の範囲のための基礎として、およびほぼすべての適切に詳細な構造において説明される特徴を様々に採用するように当業者に教示するための代表的基礎として解釈されるべきである。さらに、本開示内で使用される用語および句は、限定するものではなく、むしろ、説明される特徴の理解可能な説明を提供するものである。

本開示はＩＣに関し、より詳細には、ホストシステムとハードウェアアクセラレーテッド回路との間の通信のためにおよびハードウェアアクセラレーテッド回路のカーネル回路間の通信のためにデータストリームを使用することに関する。ＩＣは、ハードウェアアクセラレーテッド回路を１つまたは複数のカーネル回路として実装する。たとえば、各カーネル回路は、ハードウェアアクセラレーテッドプログラムコードを表す。ホストシステムは、ＩＣ内に実装されるカーネル回路に１つまたは複数のタスクをオフロードすることが可能である。カーネル回路に１つまたは複数のタスクをオフロードする際に、ホストシステムは、データストリームをサポートするアーキテクチャを使用して、カーネル回路による動作の対象となるべきデータを転送する。カーネル回路は、データストリーム対応アーキテクチャを使用して互いとデータを交換することが可能である。カーネル回路はまた、データ、たとえば、結果を、ホストシステムに送出するより前にパケット化されたデータストリームとして、ホストシステムに転送する。

従来のシステムでは、カーネル回路にタスクをオフロードするとき、ホストシステムは、カーネル回路を実装するＩＣに結合されたランダムアクセスメモリ（ＲＡＭ）を介した、カーネル回路へのデータ転送を始動する。しかしながら、ＲＡＭは、カーネル回路と、同じ回路板（たとえば、アクセラレータカード）上に位置するが、同じＩＣ中にない。データがＲＡＭに転送されると、ホストシステムは、カーネル回路に、データが、使用するための準備ができていることを通知する。これは、ＲＡＭへのデータ転送が完了するまで、カーネル回路がデータに対して動作することを始めることができないことを意味する。ホストシステムからカーネル回路に提供される命令は、データに対して、別個に、たとえば、帯域外で提供される。たとえば、コマンドが、データを伝達するために使用されるものとは異なる物理インターフェース上で、カーネル回路に提供される。

従来のシステムでは、カーネル回路は、データの利用可能性を通知されると、ＲＡＭからデータを読み取り、データを処理し、ＲＡＭに結果を書き込む。カーネル回路がＲＡＭに結果を書き込み終えたとき、カーネル回路は、ホストシステムに、結果の利用可能性を通知する。次いで、ホストシステムは、ＲＡＭから結果を取り出す。

本開示内で説明される本発明の構成によれば、データが、データストリームおよびパケット化を使用してホストシステムとカーネル回路との間で交換される。ホストシステムによって発信されるデータがカーネル回路に直接送出される。同様に、カーネル回路によって発信されるデータがホストシステムに直接送出される。例示的なおよび非限定的な例として、ホストシステムからカーネル回路へのデータ転送がホストシステムからカーネル回路に直接流れる。ホストシステムから転送されるデータは、最初にオフチップＲＡＭに記憶および累積されず、次いでカーネル回路によって読み取られる。同様に、カーネル回路からホストシステムに転送される結果は、ホストシステムに提供される前に、最初にオフチップＲＡＭに記憶および累積されない。代わりに、データは、カーネル回路からホストシステムに直接流れる。１つまたは複数のより小さい内部メモリバッファを利用するＩＣ内のデータ経路上で、ストリーミングが実施される。メモリバッファは、たとえば、ホストシステムとカーネル回路との間で交換されるデータの量よりもサイズが小さい。

本開示内で説明されるストリーミングアーキテクチャは、従来のシステムと比較して、より速いデータ転送、より少ないレイテンシ、およびメモリのより効率的な使用を容易にする。たとえば、カーネル回路は、データの全体が最初にオフチップＲＡＭに転送され、次いでカーネル回路にロードされるのを待つのではなく、データの全体よりも少ないデータを受信した後直ちにそのデータに対する動作を始めることができる。これは、システム全体の速度およびレイテンシを改善する。速度およびレイテンシにおける同様の利得が、カーネル回路からホストシステムにデータをストリーミングすることによって取得される。ストリーミングアーキテクチャを使用すると、ホストシステムからカーネル回路へのコマンドが、データストリーム自体の中に含まれ、たとえば、帯域内に入れ（ｉｎ－ｂａｎｄ）られ、これはシステムレイテンシをさらに低減する。ＩＣの内部メモリをより効率的に利用することによって、より少ないオフチップＲＡＭが必要とされ、これは、システムおよび／またはハードウェアアクセラレータの電力要件を低減する。

特定の実施形態では、カーネル回路はまた、データストリームを使用して互いと通信することが可能である。また、ホストシステム－カーネル回路通信に関係して説明される利益は、カーネル回路の間の通信のためにデータストリームを使用することによって達成される。さらに、（１つまたは複数の）プログラマブルＩＣ内にストリーミングインフラストラクチャを含めることによって、カーネル回路は、あまり複雑でないインフラストラクチャ、たとえば、互いと通信することが意図されたカーネル回路の間の直接ポイントツーポイント通信リンクを必要としないインフラストラクチャを使用して、互いとデータを交換することが可能である。

図を参照しながら、本発明の構成のさらなる態様が以下でより詳細に説明される。例示を単純および明快にするために、図に示されている要素は、必ずしも一定の縮尺で描かれているとは限らない。たとえば、要素のうちのいくつかの寸法は、明快のために、他の要素に対して誇張され得る。さらに、適切と見なされる場合、対応する、類似する、または同様の特徴を示すために、参照番号が図の間で繰り返される。

図１は、ハードウェアアクセラレーションのための例示的なアーキテクチャ１００を示す。アーキテクチャ１００は、ホストシステム１０２とハードウェアアクセラレータ１０３とを含む。ホストシステム１０２は、サーバまたは他のデータ処理システムなど、コンピュータシステムとして実装される。ハードウェアアクセラレータ１０３は、ＩＣ１０４とＩＣ１０４にアタッチされたメモリ１０６とを有する回路板として実装される。たとえば、ハードウェアアクセラレータ１０３は、ホストシステム１０２の利用可能な周辺スロットに挿入され得るエッジコネクタを有するアクセラレータカードとして、実装され得る。

図１の例は、ＩＣ１０４の外部にあるメモリ（たとえば、ＲＡＭ）を使用して説明されるが、ストリーミングデータに関係して本明細書で説明される実施形態は、ＩＣ１０４が、メモリ１０６が必要とされないような十分なオンチップメモリを含む場合も、有効および適用可能である。ＩＣ１０４が、十分なオンチップメモリまたは同じダイメモリを含む場合、外部メモリに関与する問題と同様の問題が、カーネル回路がデータに対して動作することを許可される前に、データ全体がメモリに転送されなければならないとき、起こる。内部メモリを使用することは、外部メモリを使用することよりも高速であるが、レイテンシの増加、記憶容量（メモリ）の増加の必要、および同期など、問題が生じ、これらは、本明細書で説明されるストリーミング対応実施形態によって克服される。

１つまたは複数の実施形態では、ＩＣ１０４は、プログラマブルＩＣとして実装される。特定の実施形態では、ＩＣ１０４は、図７に関して説明されるものと同じまたは同様のアーキテクチャを使用して実装される。図１の例では、ＩＣ１０４は、エンドポイント１０８と、直接メモリアクセス回路（ＤＭＡ）１１０と、カーネル回路１１２と、メモリコントローラ１１４とを含む。エンドポイント１０８は、通信バス上でホストシステム１０２と通信することが可能であるインターフェースである。例示的および非限定的な例として、通信バスは、周辺構成要素相互接続エクスプレス（ＰＣＩｅ）バスとして実装され得る。したがって、エンドポイント１０８は、ＰＣＩｅエンドポイントとして実装され得る。ただし、他の通信バスが使用され得ることと、提供された例は限定するものではないこととを諒解されたい。したがって、エンドポイント１０８は、通信バス上で通信するための様々な好適なインターフェースのいずれかとして実装され得る。

エンドポイント１０８は、ＤＭＡ１１０に結合される。また、ＤＭＡ１１０は、カーネル回路１１２と（図１で「ＭＣ」と略される）メモリコントローラ１１４とに結合される。特定の実施形態では、ＤＭＡ１１０は、エンドポイント１０８とのおよびカーネル回路１１２との双方向通信をサポートする２つの独立チャネルを含む。図１の例では、ＤＭＡ１１０は、１つまたは複数のインターフェース１１６を通してカーネル回路１１２に結合される。したがって、ホストシステム１０２は、カーネル回路１１２に提供される前に１つまたは複数のデータストリームに変換されたパケット化されたデータとして、エンドポイント１０８およびＤＭＡ１１０を介してカーネル回路１１２にデータを転送することが可能である。同様に、カーネル回路１１２は、ＤＭＡ１１０およびエンドポイント１０８を介してホストシステム１０２に提供されるより前にパケット化されるデータストリームを出力することによって、ホストシステム１０２にデータを転送することが可能である。データの転送に関係するさらなる詳細が、図２に関してより詳細に説明される。概して、１つのデータストリームは、ホストシステム１０２において発信するのか、カーネル回路１１２から発信するのかにかかわらず、複数のパケットに変換されるが、データストリームのサイズに応じて（たとえば、データストリームがより少ない量のデータを伝達する場合）、データストリームが単一のパケットに変換される場合があり得る。

インターフェース１１６の一例は、アドバンストマイクロコントローラバスアーキテクチャ（ＡＭＢＡ（登録商標）：Ａｄｖａｎｃｅｄ Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｂｕｓ Ａｒｃｈｉｔｅｃｔｕｒｅ）アドバンスト拡張可能インターフェース（ＡＸＩ：Ａｄｖａｎｃｅｄ Ｅｘｔｅｎｓｉｂｌｅ Ｉｎｔｅｒｆａｃｅ）など、ストリーム対応オンチップ相互接続である。ＡＸＩストリーム相互接続は、異種マスタ／スレーブＡＭＢＡ（登録商標）ＡＸＩストリームプロトコル準拠回路ブロックの接続を可能にする。インターフェース１１６は、１つまたは複数のマスタから１つまたは複数のスレーブに、パケット化されたデータを伝達する接続をルーティングすることが可能である。ＡＸＩは、限定するものではなく、例示の目的で提供される。インターフェース１１６は、様々な相互接続のいずれかとして実装され得ることを諒解されたい。たとえば、インターフェース１１６は、バス、ネットワークオンチップ（ＮｏＣ）、クロスバー、スイッチ、または他のタイプの相互接続として実装され得る。

１つまたは複数の実施形態では、メモリコントローラ１１４はメモリ１０６に結合される。メモリ１０６はＲＡＭとして実装される。メモリコントローラ１１４は、マルチポートであり得、ＤＭＡ１１０とカーネル回路１１２とに結合される。メモリコントローラ１１４は、ＤＭＡ１１０および／またはカーネル回路１１２の制御下でメモリ１０６にアクセスする（たとえば、読み取るおよび／または書き込む）ことが可能である。たとえば、ＤＭＡ１１０は、メモリマッピングされたインターフェース１１８を通してメモリコントローラ１１４に結合される。同様に、カーネル回路１１２は、メモリマッピングされたインターフェース１２０を通してメモリコントローラ１１４に結合される。ＤＭＡ１１０は、制御インターフェース１２２を介してカーネル回路１１２に結合される。１つまたは複数の実施形態では、制御インターフェース１２２は、回路ブロックとのポイントツーポイント双方向通信を提供するように設定されたＡＸＩ－Ｌｉｔｅインターフェースとして実装される。ＡＸＩ－Ｌｉｔｅは、カーネル回路１１２のための制御インターフェースとして使用され得る。説明されたように、ＡＸＩは、限定ではなく、例示の目的で提供される。

メモリマッピングされたインターフェース１１８および１２０と制御インターフェース１２２とを使用すると、図１に示されているアーキテクチャは、メモリ１０６を通した、ホストシステム１０２とカーネル回路１１２との間のデータ転送をサポートすることも可能である。たとえば、ホストシステム１０２はメモリ１０６にデータを送出する。データは、ＤＭＡ１１０に提供され得、ＤＭＡ１１０は、メモリコントローラ１１４を使用してメモリ１０６内にデータを記憶する。データは、前に説明されたように、データ転送が完了するまで、メモリ１０６に累積および記憶される。ホストシステム１０２は、制御インターフェース１２２を通してカーネル回路１１２に、メモリ１０６中のデータの利用可能性を通知し得る。カーネル回路１１２は、メモリコントローラ１１４にアクセスしてメモリ１０６からデータを読み取ることが可能である。カーネル回路１１２は、結果を生成し、その結果をメモリ１０６内に記憶する。カーネル回路１１２は、制御インターフェース１２２を通してホストシステム１０２に、メモリ１０６中の結果の利用可能性を通知する。

データが、メモリ１０６を使用して、ＩＣ１０４において実装されるカーネル回路１１２または複数のカーネル回路に転送される例では、ホストシステム１０２は、様々なカーネル回路間でメモリ１０６を割り振り、共有する責任を有する。ホストシステム１０２は、制御インターフェース１２２を通して、カーネル回路を設定し、開始する。しかしながら、制御インターフェース１２２は、かなりのレイテンシを伴うより遅いインターフェースである傾向がある。制御インターフェース１２２を通してカーネル回路と通信しなければならないことのほかに、ホストシステム１０２は、また、カーネル回路動作を管理し、同期させなければならず、ホストシステム１０２にかなりのオーバーヘッドを追加する。ホストシステム１０２は、たとえば、（１つまたは複数の）適切な時間においてカーネル回路を開始および／または停止するために、データ転送を制御信号と同期させなければならない。

説明されたように、他の実施形態では、ＩＣ１０４は、メモリ１０６がＩＣ１０４内の内部メモリとして実装されるような十分なメモリリソースを含む。その場合、ＩＣ１０４において記述される回路ブロックが、ＩＣ１０４内のインターフェース回路を使用して内部メモリにアクセスすることが可能であり、したがって、メモリコントローラ１１４は除外され得る。

１つまたは複数の実施形態では、アーキテクチャ１００は、パケット化されたデータとデータストリームとを介した、ホストシステム１０２とカーネル回路１１２との間の直接通信をサポートするために実装される。その場合、メモリマッピングされた通信能力が省略され得る。たとえば、（メモリ１０６が省略され得るように）制御インターフェース１２２と、メモリマッピングされたインターフェース１１８および１２０と、メモリコントローラ１１４とが省略され得る。しかしながら、１つまたは複数の他の実施形態では、アーキテクチャ１００は、メモリ１０６を伴うメモリマッピングされた通信と、パケット化されたデータとデータストリームとを使用する直接通信の両方をサポートするために実装される。たとえば、ＤＭＡ１１０は、両方のタイプのデータ転送をサポートし得る。さらに、図１の例において、単一のカーネル回路が示されているが、複数のカーネル回路が実装され得、いくつかのカーネル回路は、データストリームを介したホストシステム１０２との直接通信を利用し、他のカーネル回路は、ホストシステム１０２とのデータ転送のためにメモリ１０６を利用する。さらに他の実施形態では、カーネル回路を呼び出している、ホストシステム１０２によって実行される特定のアプリケーション、またはカーネル回路と通信するためにアプリケーションによって呼び出される特定の機能に応じて、データストリームを介した直接通信またはデータ転送のためのメモリ１０６のいずれかを利用するために、カーネル回路が実装され得る。

アーキテクチャ１００および本明細書で説明される他のストリーミングアーキテクチャが、カーネル回路を設定し、管理するためのより効率的なやり方を提供する。特定の実施形態では、命令が、データストリームのデータペイロードとともに帯域内でカーネル回路に提供され得る。データとともに命令を含めること、たとえば、「命令を帯域内に入れること」は、データストリームが使用されるときの、制御インターフェース１２２の必要を除去し、より効率的なホストシステム－カーネル回路通信を提供する。

ホストシステム１０２は、メモリマッピングされたユーザアプリケーション１２４および／またはストリームユーザアプリケーション１２６など、１つまたは複数のユーザアプリケーションを含むソフトウェアフレームワークを実行することが可能である。メモリマッピングされたユーザアプリケーション１２４は、カーネル回路１１２などのカーネル回路を呼び出し、メモリマッピングされたインターフェース１１８および１２０と、制御インターフェース１２２と、メモリ１０６とを使用してカーネル回路１１２とデータを交換するように設定された、ホストシステム１０２によって実行されるアプリケーションである。ストリームユーザアプリケーション１２６は、カーネル回路１１２などのカーネル回路を呼び出し、ストリーミングインターフェース１１６を使用してカーネル回路１１２とデータを交換するように設定された、ホストシステム１０２によって実行されるアプリケーションである。

ソフトウェアフレームワークはランタイム１２８をも含む。ランタイム１２８は、ＩＣ１０４と通信するための機能、たとえば、アプリケーションプログラミングインターフェース（ＡＰＩ）を提供する。たとえば、ランタイム１２８は、ＰＣＩｅ上でのＤＭＡ転送を実装するための機能を提供することが可能である。１つまたは複数の実施形態では、ランタイム１２８は、インターフェース１１６を使用してカーネル回路１１２とホストシステム１０２との間でデータをストリーミングするためのサポートを提供することが可能である。１つまたは複数の他の実施形態では、ランタイム１２８は、メモリ１０６と、メモリマッピングされたインターフェース１１８および１２０と、制御インターフェース１２２とを使用してカーネル回路１１２とホストシステム１０２との間でデータを転送するためのサポートを提供することが可能である。例示的な例として、ランタイム１２８は、メモリマッピングされたユーザアプリケーション１２４の実行と、メモリ１０６を介した、カーネル回路１１２とのデータの転送とをサポートすること、および／またはストリームユーザアプリケーション１２６の実行と、インターフェース１１６を介した、カーネル回路１１２とのデータの転送とをサポートすることが可能である。

ドライバ１３０が、ホストシステム１０２内のエンドポイント（図示せず）を制御することが可能である。ＰＣＩｅ接続の場合、たとえば、ホストシステム１０２内のエンドポイントは、ルートコンプレックスとして実装される。したがって、ドライバ１３０は、ホストシステム１０２とＩＣ１０４との間のデータ転送を制御する記述子を記憶するための複数の読取りキューおよび書込みキューを実装し、管理することが可能である。

１つまたは複数の実施形態では、ドライバ１３０は、カーネル回路への大きいデータの転送（たとえば、ストリーミングされるデータの転送）についての要求を、パケットと呼ばれるデータのより小さいチャンクの複数のストリーム転送に分割することが可能である。ドライバ１３０によって実施される、データのこの分割、または「パケットへのデータのパケット化」は、大部分は、カーネル回路１１２から隠される。パケット化は、異なるカーネル回路に宛てられるおよび／または異なるカーネル回路から宛てられるパケットをインターリーブすることによって、複数のカーネル回路をコンカレントにサービスするためにＩＣ１０４において実装される相互接続ファブリックを可能にする。ドライバ１３０はパケットサイズを、パケット化オーバーヘッドを効率的にならす（ａｍｏｒｔｉｚｅ）のに十分に大きいが、ストリーミングされるデータを他のカーネル回路が転送している間、ストリーミングされるデータを送出および／または受信する順番を待ちながらカーネル回路がストールすることをパケットが引き起こすほど大きくならないように、決定することが可能である。

概して説明されるように、制御インターフェース１２２は、カーネル回路１１２に伝達される制御信号とカーネル回路１１２に配信されるデータとの間の同期を必要とする遅い接続である傾向がある。たとえば、制御インターフェース１２２が、データストリームを用いる帯域外シグナリングのために使用される場合、速度要件および／または同期要件が、しばしば、（１つまたは複数の）データストリームを再開するより前に制御信号を変更するために、カーネル回路への（１つまたは複数の）データストリームを停止することをもたらす。

例示的なおよび非限定的な例として、カーネル回路１１２が暗号化動作を実装する場合を考慮する。カーネル回路１１２に提供される異なるデータペイロードが、一般に、暗号化のための異なる鍵を必要とする。制御インターフェース１２２が使用されるべきである場合、カーネル回路１１２へのデータストリームが停止され、鍵は、制御インターフェース１１２を介して更新され、次いで（１つまたは複数の）データストリームが再開されることになる。そのような動作はホストシステム１０２によって協調されることになり、これは、ホストシステム１０２のオーバーヘッドを増やす。本明細書で説明される１つまたは複数の実施形態では、カーネル回路１１２への１つまたは複数の命令が帯域内で提供される。したがって、新しいおよび／または更新された鍵は、カーネル回路１１２に提供される、帯域内のデータストリーム中に含まれ得る。命令は、ペイロードとともにまたはペイロードの直前に含まれ得る。特定の実施形態では、命令は、各パケットについてのカスタム定義されたヘッダにおいて指定され得る。本例では、ホストシステム１０２は、カーネル回路１１２が動作するべきである対象の１つまたは複数のパケットの（１つまたは複数の）平文ペイロードのためのパケットヘッダの一部として、暗号化鍵を送出することが可能である。したがって、カーネル回路１１２は、効率的に動作し、この場合、カーネル回路１１２が停止されおよび／または制御インターフェース１２２と同期される必要がないので、ホストシステム１０２が同期オーバーヘッドを招くことなしに、およびデータ転送のための従来の技法と比較して、低減されたレイテンシで、異なるペイロードのために暗号化鍵を切り替えることが可能である。

図２は、図１のアーキテクチャ１００の別の例示的な実装形態を示す。図２は、図１に関して説明されたより高いレベルのビューに示されていないアーキテクチャ１００のさらなる態様を示す。ただし、例示の目的で、ホストシステム１０２によって実行されるソフトウェアフレームワークの選択された要素、ＩＣ１０４内のエンドポイント１０８およびメモリコントローラ１１４、ならびにメモリ１０６など、図１に示されているいくつかの要素が図２に示されていない。

図２の例では、ホストシステム１０２によって実行されるソフトウェアフレームワークのドライバ１３０が示されている。ドライバ１３０は、複数のキュー２０２－１～２０２－８を実装することが可能である。ドライバ１３０は、ＩＣ１０４内に実装される各カーネル回路について、読取りキューおよび書込みキューを作成することが可能である。例示の目的で、書込みキューとして設定されたキュー２０２は陰影を付けられており、読取りキューとして設定されたキュー２０２は陰影を付けられていない。ＩＣ１０４は、４つのカーネル回路２３４－１、２３４－２、２３４－３、および２３４－４を実装するので、ドライバ１３０は、４つの書込みキュー（たとえば、２０２－１、２０２－３、２０２－５、および２０２－７）と４つの読取りキュー（たとえば、２０２－２、２０２－４、２０２－６、および２０２－８）とを実装する。キュー２０２の各々が、１つまたは複数の記述子を記憶することが可能であり、各記述子は、実施されるべきデータ転送を記述する。書込みキューに記憶される各記述子は、ホストシステム１０２からカーネル回路２３４へのデータ転送を記述し、読取りキューに記憶される各記述子は、カーネル回路２３４からホストシステム１０２へのデータ転送を記述する。

ＤＭＡ１１０は、述べられたように、２つのチャネルを含む。書込みチャネルが、ホストシステム１０２からカーネル回路２３４へのデータの転送をサポートする。書込みチャネルは、書込み回路２０４とアービトレーション回路２０６とを含む。書込み回路２０４は、カーネル回路２３４にコマンドおよび／またはデータをフォワーディングするより前に、ホストシステム１０２から受信されたコマンドおよび／またはデータを記憶することが可能である。読取りチャネルが、カーネル回路２３４からホストシステム１０２へのデータの転送をサポートする。読取りチャネルは、読取り回路２０８とアービトレーション回路２１０とを含む。読取り回路２０８は、ホストシステム１０２にデータをフォワーディングするより前に、カーネル回路２３４から受信されたデータを記憶することが可能である。

ＤＭＡ１１０は、ホストシステム１０２のホストメモリ（図示せず）とバッファ２１８、２２０、２２２、２２４、２２６、２２８、２３０、および２３２との間でデータを移動する。ＤＭＡ１１０は、転送されるべきあらゆるパケットについてのアドレス、たとえば、記述子のリストをフェッチおよび維持し、エンドポイント１０８のためにコマンドおよびアドレスのシーケンスを形成する。１つまたは複数の実施形態では、ＤＭＡ１１０は高度に設定可能である。したがって、ストリームトラフィックマネージャ２１２を通して、ＤＭＡ１１０のためのトラフィック管理およびフロー制御が実施される。ストリームトラフィックマネージャ２１２は、すべてのカーネル回路２３４が、ホストシステム１０２との間でのデータ転送のための、ＤＭＡ１１０へのフェアなアクセスを有することを効果的に確実にする。

ストリームトラフィックマネージャ２１２は、ＤＭＡ１１０と相互接続２１４および２１６とに結合される。ストリームトラフィックマネージャ２１２は、ホストシステム１０２とカーネル回路２３４との間のデータストリーム／パケットのフローを調節することが可能である。図２の例では、ストリームトラフィックマネージャ２１２は、コントローラ２３６と、１つまたは複数のバッファ２３８と、１つまたは複数のデータムーバエンジン２４０と、フロー対パイプマップ（マップ）２４２と、パイプ対ルートマップ（マップ）２４４とを含む。

特定の実施形態では、相互接続２１４および相互接続２１６は、図１のインターフェース１１６を実装する。図２の例では、相互接続２１４は、ストリームトラフィックマネージャ２１２から、パケット化されたデータを受信し、パケット化されたデータを適切なカーネル回路２３４にルーティングするように設定される。相互接続２１６は、カーネル回路２３４から、パケット化されたデータを受信し、パケット化されたデータをストリームトラフィックマネージャ２１２に提供するように設定される。

図２の例では、カーネル回路２３４は、バッファを通して相互接続２１４と相互接続２１６とに接続される。カーネル回路２３４の各々が、対応する入力バッファを通してデータストリームを受信するように設定された入力ポートと、対応する出力バッファを通してデータストリームを送出するように設定された出力ポートとを有する。例示の目的で、入力バッファ（たとえば、バッファ２１８、２２２、２２６、および２３０）は陰影を付けられている。出力バッファ（たとえば、バッファ２２０、２２４、２２８、および２３２）は陰影を付けられていない。

カーネル回路２３４－１は、バッファ２１８を通して相互接続２１４に接続され、バッファ２２０を通して相互接続２１６に接続される。カーネル回路２３４－２は、バッファ２２２を通して相互接続２１４に接続され、バッファ２２４を通して相互接続２１６に接続される。カーネル回路２３４－３は、バッファ２２６を通して相互接続２１４に接続され、バッファ２２８を通して相互接続２１６に接続される。カーネル回路２３４－４は、バッファ２３０を通して相互接続２１４に接続され、バッファ２３２を通して相互接続２１６に接続される。

述べられたように、相互接続２１４および２１６はＡＸＩストリーム相互接続として実装され得るが、本発明の構成は、そのように限定されるものではない。パケット化されたデータを配信するための様々な回路アーキテクチャのいずれかが使用され得る。相互接続２１４および２１６を実装するために使用され得る他の例示的な回路アーキテクチャが、限定はしないが、クロスバー、多重化されたバス、メッシュネットワーク、および／またはネットワークオンチップ（ＮｏＣ）を含む。

入力バッファ２１８、２２２、２２６、および２３０の各々が、相互接続２１４と、それぞれ、カーネル回路２３４－１、２３４－２、２３４－３、および２３４－４の入力ポートとに結合される。各入力バッファは、カーネル回路が受信されたデータを直ちに受け入れることまたは処理することが可能でない場合、対応するカーネル回路２３４に向けられた、ホストシステム１０２からのパケット化されたデータを一時的に記憶することが可能である。さらに、各入力バッファは、ホストシステム１０２から受信されたパケット化されたデータを、対応するカーネル回路２３４に提供されるデータストリームに変換することも可能である。たとえば、各入力バッファは、対応するカーネル回路に提供され得るデータストリームを生成するために、１つまたは複数のパケットのシーケンスを組み合わせることが可能である。

出力バッファ２２０、２２４、２２８、および２３２の各々が、相互接続２１６と、それぞれ、カーネル回路２３４－１、２３４－２、２３４－３、および２３４－４の出力ポートとに結合される。各出力バッファは、対応するカーネル回路２３４から出力されたデータストリームを一時的に保持し、データストリームを、パケット化されたデータに変換し、パケット化されたデータを、相互接続２１６を介してホストシステム１０２に送出することが可能である。各出力バッファは、カーネル回路がストリーミングインフラストラクチャと歩調を合わせることができない場合、データを記憶することが可能である。各出力バッファは、たとえば、対応するカーネル回路から出力されたデータストリームを１つまたは複数のパケットに分離することが可能である。

１つまたは複数の実施形態では、出力バッファ２２０、２２４、２２８、および２３２は、ソースカーネル回路および／または宛先カーネル回路を識別するためのカーネルタグ付け情報を提供することが可能である。たとえば、出力バッファは、プリペンドされた（ｐｒｅ－ｐｅｎｄｅｄ）ヘッダとしてタグ付け情報を追加することが可能である。出力バッファによって実施されるタグ付けは、パケット内のデータが、ホストメモリ中の正しい場所にまたは適切なカーネル回路に配置またはルーティングされることを可能にする。たとえば、カーネル回路２３４に対応する各出力バッファは、各パケットにソースカーネル識別子をタグ付けし、それらのパケットを相互接続２１６に送出することが可能である。相互接続２１６は、ストリームトラフィックマネージャ２１２およびＤＭＡエンジン１１０にパケットを配信する。ＤＭＡエンジン１１０は、パケット化されたデータをホストメモリに移動する。

例示の目的で、カーネル回路２３４－１が説明される。カーネル回路２３４－２、２３４－３、および２３４－４は、同じまたは同様の様式で動作し得ることを諒解されたい。図２の例では、カーネル回路２３４－１の入力ポートが、バッファ２１８を通して相互接続２１４に接続される。カーネル回路２３４－１の出力ポートが、バッファ２２０を通して相互接続２１６に接続される。例示の目的で、書込みキュー２０２－１が入力バッファ２１８にマッピングされ、読取りキュー２０２－２が出力バッファ２２０にマッピングされる。概して、キュー２０２の各々が、バッファ２１８～２３２のうちの１つにマッピングされる。しかしながら、バッファ２１８～２３２は、キュー２０２のうちの２つ以上にマッピングされ得る。例示の目的で、キュー２０２－１および２０２－２はバッファ２１８および２２０に対応し、キュー２０２－３および２０２－４はバッファ２２２および２２４に対応し、キュー２０２－５および２０２－６はバッファ２２６および２２８に対応し、キュー２０２－７および２０２－８はバッファ２３０および２３２に対応する。

図２の例では、ホストシステム１０２は、データストリーミングのために設定されたユーザアプリケーションを実行する。カーネル回路２３４への接続を確立するために、ホストシステム１０２は、キュー２０２のペアを作成する。例示的な例として、ユーザアプリケーションは、ドライバ１３０に、それぞれ、バッファ２１８および２２０に対応するキュー２０２－１および２０２－２のペアを作成させる、ランタイム１２８によって提供される機能を呼び出し得る。キュー２０２のペアが作成されると、この例では、データがホストシステム１０２とカーネル回路２３４－１との間でストリーミングされ得るように、ホストプロセッサが、ＤＭＡ１１０内の制御レジスタ（図示せず）とストリームトラフィックマネージャ２１２のマップ２４２および２４４とを設定するためのさらなる機能を呼び出すことが可能である。

ユーザアプリケーションを実行する際に、ホストシステム１０２は、カーネル回路２３４－１にデータを送出する（たとえば、書き込む）ための命令を指定する記述子をキュー２０２－１内に配置し、適宜に、カーネル回路２３４－１からデータを受信する（たとえば、読み取る）ための命令を指定する記述子を読取りキュー２０２－２内に配置する。特定の実施形態では、ドライバ１３０は、ＩＣ１０４に送出されるべきデータをパケット化し、ＤＭＡ１１０に、フェッチされるべき、キュー２０２において利用可能な記述子の数を通知することが可能である。ＤＭＡ１１０は、その情報をストリームトラフィックマネージャ２１２に伝達する。

ストリームトラフィックマネージャ２１２は、マップ２４２およびマップ２４４を使用して、バッファ２１８～２３２へのキュー２０２のマッピングを維持する。記憶されたマッピングを使用して、ストリームトラフィックマネージャ２１２は、キュー２０２－１がバッファ２１８に対応し、キュー２０２－２がバッファ２２０に対応すると決定する。キュー２０２－１において利用可能な記述子に気づいているコントローラ２３６は、カーネル回路２３４－１の入力ポートのためのバッファ２１８にアクセスすることが可能である。コントローラ２３６は、バッファ２１８が、データを受信するために利用可能なスペースを有するかどうかを決定し、データを受信するために利用可能なスペースを有する場合、バッファ２１８において受信し、記憶され得るデータの量を決定する。

１つまたは複数の実施形態では、ＤＭＡ１１０は、キュー２０２の各々がどのくらいいっぱいであるかを決定し、コントローラ２３６に知らせることが可能である。書込み回路２０４は、たとえば、キュー２０２－１、２０２－３、２０２－５、および２０２－７の各々中の記述子の数を決定することが可能である。読取り回路２０８は、キュー２０２－２、２０２－４、２０２－６、および２０２－８の各々中の記述子の数を決定することが可能である。読取り回路２０４および書込み回路２０８は、ストリームトラフィックマネージャ２１２に、それぞれのキュー２０２中の記述子の数を知らせることが可能である。さらに、書込み回路２０４および読取り回路２０８は、ストリームトラフィックマネージャ２１２の制御下でキュー２０２から記述子を取り出すことが可能である。

ストリームトラフィックマネージャ２１２内で、（１つまたは複数の）バッファ２３８は、ＤＭＡ１１０を介してキュー２０２から取り出された記述子を記憶する。たとえば、コントローラ２３６は、ＤＭＡ１１０が、（１つまたは複数の）バッファ２３８内で利用可能なスペース量に応じて、特定の数の記述子を取り出すことを要求することが可能である。ＤＭＡ１１０は、取り出された記述子をストリームトラフィックマネージャ２１２に提供する。したがって、ストリームトラフィックマネージャ２１２は、キュー２０２の各々に記憶された記述子のサブセットを（１つまたは複数の）バッファ２３８内に内部的に記憶することが可能である。

１つまたは複数の実施形態では、記述子のフォーマットまたはシンタックスが、パケットを形成するためにいくつの記述子が必要とされるか、およびパケット中のバイト数を示す。コントローラ２３６は、バッファ２１８が、データを受信するために利用可能なスペースを有すると決定したことに応答して、（たとえば、記述子がキュー２０２－１から取り出された場合）カーネル回路２３４－１に対応する、（１つまたは複数の）バッファ２３８内に記憶された記述子を評価し、（１つまたは複数の）記述子自体内のデータに基づいて、バッファ２１８に記憶すべき、バッファ２１８の利用可能なスペースを越えない、十分な量のデータ（たとえば、（１つまたは複数の）パケット）を取り出すために実行すべき記述子の数を決定する。

１つまたは複数の実施形態では、データムーバエンジン２４０の各々が、ホストシステム１０２からデータを取り出すことと、ＤＭＡ１１０を介してホストシステム１０２にデータを送出することとが可能である。データムーバエンジン２４０は、コンカレントに動作することが可能である。コントローラ２３６は、（１つまたは複数の）バッファ２３８からデータムーバエンジン２４０のうちの利用可能なデータムーバエンジンに、実行されるべき記述子を割り当てることが可能である。各データムーバエンジン２４０は、それぞれの記述子の各々によって指定されたデータをフェッチすることによって、割り当てられた記述子を処理する。たとえば、データムーバエンジン２４０は、（１つまたは複数の）記述子によって指定された取り出されたパケット化されたデータを、相互接続２１４を介してバッファ２１８に送出することが可能である。述べられたように、入力バッファ２１８は、パケット化されたデータを記憶し、パケット化されたデータをデータストリームに変換し、データストリームをカーネル回路２３４－１に提供することが可能である。

ストリームトラフィックマネージャ２１２のパケットハンドリング能力は、異なるデータストリームに対応し得るパケットが、インターリーブされた様式で取り出されることを可能にする。パケットは、Ｎ個の異なるデータストリームについて、インターリーブされた様式でホストシステム１０２から取り出され（またはホストシステム１０２に送出され）得る。

ストリームトラフィックマネージャ２１２は、カーネル回路２３４の各々について記述される動作を実施することが可能である。したがって、ストリームトラフィックマネージャ２１２は、各カーネル回路２３４について入力バッファを継続的に監視し、入力バッファが、データを受信し、記憶するためのスペースを有すると最初に決定したことに応答してのみ、バッファへのデータ転送を始動することが可能である。言い換えれば、コントローラ２３６は、キュー２０２中のどの記述子が、利用可能な十分なスペースを有する、ＩＣ１０４中の対応するバッファを有するかを継続的に決定し、次いで、そのような記述子を実行することが可能である。

所与の時間において、ＩＣ１０４とホストシステム１０２とを接続する通信バスは、フェッチされている複数の記述子および／またはデータを同時に搬送することが可能である。相互接続２１４および２１６の各々が、一度に単一のパケットを伝達することが可能である。特定の実施形態では、アービトレーション回路２０６は、異なるカーネル回路に対応して一度に１つのパケットを渡すためのラウンドロビンアービトレーション方式を実装することが可能である。他の実施形態では、アービトレーション回路２０６は、異なるアービトレーション方式を使用し得る。ストリームトラフィックマネージャ２１２は、入力バッファ中に利用可能なスペースを有するカーネル回路２３４についてのみ記述子を実行する（読取り要求を始動する）ので、ストリームアービトレーション２０６から受信されたパケットは、ターゲットカーネル回路２３４の意図された入力バッファ上に渡され、バックプレッシャーを有しないことが保証される。入力バッファ中のスペースが事前に割り振られたので、パケット化されたデータを受信するためのスペースが保証される。

ストリームトラフィックマネージャ２１２は、さらに、ＤＭＡ１１０に、インターリーブされた様式でデータをフェッチするように命令することが可能である。例示的な例として、コントローラ２３６は、どのカーネル回路がビジーであるか、および入力バッファ中の利用可能なスペースに基づいて、ＤＭＡ１１０に、カーネル回路２３４－１のための１つまたは複数のパケットを取り出し、次いで、カーネル回路２３４－２のための１つまたは複数のパケットなどを取り出すように要求する。ストリームトラフィックマネージャ２１２は、カーネル回路２３４の各々がどのくらいビジーであるか、および、各カーネル回路２３４の各それぞれの入力バッファ内で、どれくらいのデータストレージが利用可能であるかを知ると、カーネル回路２３４の間でアービトレーションを実施する。特定の実施形態では、コントローラ２３６は、（１つまたは複数の）バッファ２３８に、書込みキュー２０２の各々についての最初の「Ｎ個の」記述子をローカルに記憶し、利用可能なスペースについて各カーネル回路の各入力バッファを検査するラウンドロビンアービトレーション方式を実施する。

アーキテクチャ１００は、カーネル回路２３４からホストシステム１０２にデータを転送するとき、同様の様式で動作することが可能である。たとえば、ストリームトラフィックマネージャ２１２は、読取りキュー２０２－２、２０２－４、２０２－６、および２０２－８の各々の最初の「Ｎ個の」記述子を記憶することが可能である。ストリームトラフィックマネージャ２１２は、結果データがカーネル回路２３４についての出力キューにおいていつ利用可能であるかを決定することが可能である。出力バッファに対応する記述子が利用可能である、すなわち、記憶された結果を含んでいる、と決定したことに応答して、コントローラ２３６は、利用可能なデータムーバエンジン２４０を使用して出力バッファからホストシステム１０２へのデータ転送を始動する。記述子の利用可能性は、ホストシステム１０２が、カーネル回路から結果を受信するための利用可能なスペースを有することを示す。

例示の目的で、カーネル回路２３４－１は、入力バッファ２１８からのデータに対して動作することが可能である。カーネル回路２３４－１は、結果データを、データストリームとして出力バッファ２２０に出力する。ストリームトラフィックマネージャ２１２、たとえば、コントローラ２３６は、いつデータが利用可能であるか、たとえば、いつ、データの少なくとも完全なパケットが出力バッファにおいて利用可能であり、対応する読取りキューが、そのデータ（たとえば、少なくとも完全なパケット）を記憶するために利用可能な十分なスペースを有するかを決定するために、出力バッファを監視することが可能である。出力バッファ２２０が利用可能なデータを有すると決定したことと、（ストリームトラフィックマネージャ２１２中のバッファ２３８において取り出され、キャッシュされ得る）記述子が、対応する読取りキュー２０２－２において利用可能であると決定したこととに応答して、コントローラ２３６は、出力バッファ２２０から相互接続２１６を通したＤＭＡ１１０とホストシステム１０２とへのデータ転送を始動する。出力バッファ２１６は、相互接続２１６に、およびホストシステム１０２上にデータを送出する前に、データストリームを、パケット化されたデータに変換する。１つまたは複数の実施形態では、アービトレーション２１０はラウンドロビンアービトレーションを実装することが可能である。他の実施形態では、アービトレーション２１０は、他のアービトレーション技法を実装することが可能である。アービトレーション技法は、ラウンドロビンなのか、それ以外なのかにかかわらず、カーネル回路２３４からのデータストリームおよび／またはパケットのインターリービングまたは交代を実装する。

複数のストリーミング対応カーネル回路がＩＣ内に実装される実施形態では、各アクティブカーネル回路が、ＩＣのデータ転送帯域幅の一部分を受信する。複数のストリーミング対応カーネル回路のコンカレント動作は、一般に、算出が始まる前に、そのようなカーネル回路が、完了されたデータ転送全体に対して動作するのではなく、データフラグメントが各それぞれのカーネル回路に到着するとき、データのフラグメントに対して動作するように設計されることを意味する。データのより小さいフラグメントに対して動作するこの能力は、本明細書で説明されるストリーミング対応カーネル回路にデータへのより迅速なアクセスを与え、これは、より低いレイテンシ、より高い性能、より低いデータストレージ要件、より低い全体的コスト、およびより低い電力消費を容易にする。

ＤＭＡ１１０にデータを送出するおよび／またはＤＭＡ１１０からデータを受信する異なるカーネル回路の間でインターリーブ（または交代）するとき、ストリームトラフィックマネージャ２１２は、相互接続ファブリック、たとえば、相互接続２１４、２１６が、遅いカーネル回路によってブロックされないことを確実にすることが可能である。これは、少なくとも部分的に、バッファ２１８～２３２を使用することによって達成される。一実施形態では、バッファ２１８～２３２の各々が、データの少なくとも１つの完全なパケットを記憶するようにサイズ決定される。説明されたように、カーネル回路に向けられたデータは、カーネル回路の入力バッファにおいてバッファスペースが利用可能でない限り、送出されない。パケットのバーストが入力バッファに到着すると、カーネル回路は、相互接続２１４上のトラフィックに悪影響を及ぼすことなしにカーネル回路自体のタイムテーブル上のバッファを空にし、それにより、「ヘッドオブラインブロッキング」として知られる輻輳状態を防ぐことが可能である。同様に、カーネル回路からホストシステム１０２に向けられたデータは、全パケットが出力バッファに転送されるまで、カーネル回路から相互接続２１６にわたって送出されない。

カーネル回路の出力バッファは、データ転送が始まると、相互接続２１６を独占的に使用する。カーネル回路が、パケットの途中で、データを送出することに遅れるかまたはデータを送出することを停止した場合、相互接続２１６は、相互接続２１６がパケット全体を受信するまで、別のカーネル回路をサービスすることに切り替えることができず、それにより、相互接続２１６をロックし、他のカーネル回路がホストシステムにデータを送出するのを妨げる。出力バッファが省略されるべきである場合、あるカーネル回路が他のカーネル回路の性能に悪影響を及ぼすことがある。本明細書で説明される本発明の構成によれば、各出力バッファは、相互接続２１６にデータを送出することを試みる前に、パケット全体の最小限を受信し、記憶することが可能である。この特徴は、パケットの送信が始まると、カーネル回路挙動またはカーネル回路出力データレートとは無関係に相互接続２１６およびアップストリームインフラストラクチャが転送を受け入れることができるほど迅速に、その送信が完了することを確実にする。

１つまたは複数の実施形態では、カーネル回路およびバッファは、プログラマブル回路を使用して実装される。したがって、バッファは、ＩＣ１０４において実際に実装されるカーネル回路についてのみ作成される。ＩＣ１０４の回路リソースは、少数のカーネル回路が展開されるとき、入力バッファおよび／または出力バッファに関して浪費されない。リソース使用量は、ＩＣ１０４において実装されるカーネル回路の数とともにスケーリングする。特定の実施形態では、相互接続２１４、２１６にわたるデータ転送は、ストリームトラフィックマネージャ２１２によって管理されるバッファクレジットのシステムを通して調節される。

１つまたは複数の実施形態では、ランタイム１２８は、データストリームを使用する、カーネル回路との直接の通信をサポートするために、ユーザアプリケーションによって呼び出され得る様々なアプリケーションプログラミングインターフェース（ＡＰＩ）を提供することが可能である。以下は、ランタイム１２８によって提供される例示的なＡＰＩのリストである。
ｃｌＣｒｅａｔｅＨｏｓｔＰｉｐｅ－「ストリーミングパイプ」とも呼ばれる、データをストリーミングするための読取りタイプまたは書込みタイプのデータバッファを作成するＯｐｅｎＣＬ ＡＰＩ。
ｃｌＥｎｑｕｅｕｅＷｒｉｔｅＰｉｐｅＢｕｆｆｅｒ－書込み（カーネル回路へのデータ転送）のためのストリーミングパイプに直接パケットをキューイングする。
ｃｌＥｎｑｕｅｕｅＲｅａｄＰｉｐｅＢｕｆｆｅｒ－読取り（カーネル回路からのデータ転送）のためのストリーミングパイプに直接パケットをキューイングする。

ランタイム１２８は、読取りキューペアおよび／または書込みキューペアを作成、破棄、開始、停止、および修正するためのＡＰＩをさらに提供し得る。
ｓｔｒｕｃｔ ｘｃｌＱｕｅｕｅＣｏｎｔｅｘｔ
ｘｃｌＣｒｅａｔｅＷｒｉｔｅＱｕｅｕｅ－ホストシステムにおいて書込みキューを作成する。ホストシステムにおいてリソースを割り振り、ＤＭＡ１１０のための書込みキューを初期化して、デバイス要求を発行する。作成された書込みキューについてのキューハンドルが将来のアクセスのために返される。
ｘｃｌＣｒｅａｔｅＲｅａｄＱｕｅｕｅ－ホストシステムにおいて読取りキューを作成する。ホストシステムにおいてリソースを割り振り、ＤＭＡ１１０のための読取りキューを初期化して、「デバイスからの」要求を発行する。作成された読取りキューについてのキューハンドルが将来のアクセスのために返される。
ｘｃｌＤｅｓｔｒｏｙＱｕｅｕｅ－指定された読取りキュー／書込みキューを破棄し、破棄された読取りキュー／書込みキューを実装するために使用されたリソースを回収する。
ｘｃｌＭｏｄｉｆｙＱｕｅｕｅ－指定された読取りキュー／書込みキューのパラメータを修正する。
ｘｃｌＳｔａｒｔＱｕｅｕｅ－指定された読取りキュー／書込みキューを、キューがＤＭＡ要求を受け付け、処理することを開始することが可能である稼働状態にする。
ｘｃｌＳｔｏｐＱｕｅｕｅ－指定された読取りキュー／書込みキューを、初期化された状態にする。すべての保留中のＤＭＡ要求がフラッシュされる。

ランタイム１２８は、以下のものなど、カーネル回路への書込みおよびカーネル回路からの読取りを発行するためのＡＰＩをさらに提供し得る。
ｓｔｒｕｃｔ ｘｃｌＱｕｅｕｅＲｅｑｕｅｓｔ
ｓｔｒｕｃｔ ｘｃｌＷＲＢｕｆｆｅｒ
ｘｃｌＷｒｉｔｅＱｕｅｕｅ－指定されたキューに書き込む。
ｘｃｌＲｅａｄＱｕｅｕｅ－指定されたキューから読み取る。

ドライバ１３０は、以下のものなど、ＤＭＡ１１０の動作をサポートするＡＰＩをさらに提供し得る。
ｓｔｒｅａｍｑ＿ｃｒｅａｔｅ（）
ｓｔｒｅａｍｑ＿ｄｅｓｔｒｏｙ（）
ｓｔｒｅａｍｑ＿ｗｒｉｔｅ（）／ｓｔｒｅａｍｑ＿ｒｅａｄ

１つまたは複数の実施形態では、ランタイム１２８は、読取り要求および／または書込み要求を作成、破棄、開始、停止、および修正するために呼び出され得る、ＩＣ１０４に関係する入出力動作のための入出力制御（ＩＯＣＴＬ）システム呼を提供する。特定の実施形態では、これらのシステム呼は、ホストシステム１０２において実行するユーザスペースアプリケーションにとって利用可能でない。ランタイム１２８は、ホストシステム１０２内で実行されるユーザスペースアプリケーションにとって利用可能であるポータブルオペレーティングシステムインターフェース（ＰＯＳＩＸ）読取り／書込み機能と非同期Ｉ／Ｏ（ＡＩＯ）読取り／書込み機能とをさらに提供し得る。

ハードウェアコンパイラ／システムリンカを含む電子設計オートメーション（ＥＤＡ）アプリケーションを実行するシステムが、カーネルを実装する設計フロー（たとえば、高レベル合成、合成、配置、ルーティング、および／または設定ビットストリーム生成）中にカーネル引数をキューにマッピングすることが可能である。マッピング情報が、生成され、コンテナファイル内に、カーネル回路を指定する設定ビットストリーム（たとえば、部分設定ビットストリーム）とともに記憶される。コンテナファイルは、ＩＣ１０４内での使用および実装のために、ホストシステム１０２に記憶される。

ホストシステム１０２は、コンテナファイルを取り出して、ＩＣ１０４とともにコンテナファイルからの設定ビットストリームを実装するとき、ホストシステム１０２は、さらに、コンパイル中に生成されたマッピング情報を含むメタデータを抽出することが可能である。マッピング情報は、ＩＣ１０４内に実装されると、ホストシステム１０２とカーネル回路との間のデータストリームをルーティングするために通信経路をセットアップする際に使用するために、ランタイム１２８に提供される。

カーネルのためのプログラムコード内の「パイプ」データ構築物の利用に基づいて、ＥＤＡアプリケーションは、データ転送のために、オフチップＲＡＭまたは内部ＲＡＭのいずれかを伴うメモリマッピングされたトランザクションの代わりにデータストリームを使用するように設定されたカーネル回路を生成する（たとえば、設定ビットストリームがカーネル回路を指定する）ことが可能である。たとえば、パイプデータ構造を検出したことに応答して、ＥＤＡアプリケーションは、図１および／または図２に関して説明された、データストリームを使用するデータ転送をサポートする必要なハードウェアインフラストラクチャおよび／または回路を生成することが可能である。ＯｐｅｎＣＬにおいて指定されているカーネルの一例が例１として以下で提供される。

上記の例示的なカーネルをコンパイルするとき、ＥＤＡアプリケーションは、ｐ１およびｐ２についてのマッピング情報を生成する。マッピング情報は、ＩＣ１０４内に実装されると、ホストシステム１０２と、カーネル回路２３４－１などの特定のカーネル回路との間でデータストリームを正しくルーティングするように、（たとえば、マップ２４２および２４４にレジスタセッティングを記憶することによって）ストリームトラフィックマネージャ２１２を設定し、（ＤＭＡ１１０中の制御レジスタに記憶することによって）ＤＭＡ１１０を設定するための、レジスタセッティングを含む。一例では、マッピング情報は、各パイプがバインドされる特定のｒｏｕｔｅ＿ｉｄおよびｆｌｏｗ＿ｉｄ、ならびに／または、パイプｐ１およびパイプｐ２に関係する静的情報を指定する。このマッピングデータは、カーネルから生成されたカーネル回路を指定する設定ビットストリームについてのメタデータ（たとえば、プログラムコード）としてコンテナファイル内に記憶される。

たとえば、ホストシステム１０２のメモリからカーネル回路２３４－１にデータを送出するために、ランタイム１２８および／またはドライバ１３０は、その動作をｐ１に割り当て、ｐ１をキュー構造２０２－１にバインドする。ホストシステム１０２は、内部テーブルからカーネル回路２３４－１のためのｒｏｕｔｅ＿ｉｄをルックアップする。ｒｏｕｔｅ＿ｉｄは、カーネル回路２３４－１のロケーションを指定する。ホストシステム１０２は、パイプｐ１および関連するキュー２０２－１でＤＭＡ１１０の制御レジスタを設定する。ホストシステム１０２は、カーネル回路２３４－１のためのｒｏｕｔｅ＿ｉｄをキュー２０２－１およびパイプｐ１と相関させるエントリを作成する。１つまたは複数の実施形態では、ストリームトラフィックマネージャ２１２は、パイプｐ１に対応するデータを受信したことに応答して、ｐ１に属するカーネル回路バウンドデータ（ｋｅｒｎｅｌ ｃｉｒｃｕｉｔ ｂｏｕｎｄ ｄａｔａ）に正しいｒｏｕｔｅ＿ｉｄをタグ付けすることが可能である。このｒｏｕｔｅ＿ｉｄをタグ付けされたデータが与えられると、ストリームトラフィックマネージャ２１２および相互接続２１４は、バッファ２１８を介してカーネル回路２３４－１にデータを配信することが可能である。

同様に、カーネル回路２３４－１からホストシステム１０２内のメモリにデータを転送するために、ランタイム１２８および／またはドライバ１３０は、その動作をｐ２に割り当て、ｐ２をキュー２０２－１にバインドすることが可能である。ホストシステム１０２は、カーネル回路２３４－１からのホストバウンドデータ（ｈｏｓｔ ｂｏｕｎｄ ｄａｔａ）にタグ付けするために使用されるｆｌｏｗ＿ｉｄをルックアップする。１つまたは複数の実施形態では、カーネル回路２３４－１は、アウトバウンドデータ（ｏｕｔｂｏｕｎｄ ｄａｔａ）に適切なｆｌｏｗ＿ｉｄをタグ付けすることが可能である。１つまたは複数の他の実施形態では、バッファ２２０は、アウトバウンドデータに適切なｆｌｏｗ＿ｉｄをタグ付けすることが可能である回路を含む。ホストシステム１０２は、パイプｐ２でＤＭＡ１１０を設定し、パイプｐ２をキュー２０２－２に関連付ける。ホストシステム１０２は、さらに、データ転送のために、カーネル回路２３４－１のためのｆｌｏｗ＿ｉｄ（たとえば、バッファ２２０）をキュー２０２－２およびパイプｐ２と相関させるエントリを作成する。ストリームトラフィックマネージャ２１２は、さらに、そのデータをＤＭＡ１１０にフォワーディングするとき、ｆｌｏｗ＿ｉｄをタグ付けされたホストバウンドトラフィック（ｈｏｓｔ－ｂｏｕｎｄ ｔｒａｆｆｉｃ）をパイプｐ２にバインドすることが可能である。

ＤＭＡ１１０とストリームトラフィックマネージャ２１２の両方がデータ転送のために設定されると、ＤＭＡ１１０は、上記の例１に従って動作を始めるように指令される。

図３は、データストリームを使用してホストシステムとハードウェアアクセラレータのカーネル回路との間でデータを転送する例示的な方法３００を示す。方法３００は、ホストシステムがメモリ内に１つまたは複数のコンテナファイルを記憶する状態において始まることができる。各コンテナファイルが、１つまたは複数の設定ビットストリームと、対応するメタデータとを含む。部分設定ビットストリームであり得る設定ビットストリームの各々が、１つまたは複数のカーネル回路を指定する。

ブロック３０５において、ホストシステムはコンテナファイルを選択する。例示の目的で、コンテナファイルは、設定ビットストリームと設定ビットストリームについてのメタデータとを含む。設定ビットストリームは、部分設定ビットストリームであり得る。１つまたは複数の実施形態では、ホストシステムは、ユーザアプリケーションが、コンテナファイル中の設定ビットストリームによって指定されたカーネル回路によって実装されるハードウェアアクセラレーテッド機能性を要求したことに応答して、コンテナファイルを選択する。ユーザアプリケーションは、メモリから選択されるかまたは取り出され、ハードウェアアクセラレータにおいて実装されるべき、特定のコンテナファイルを指定し得る。

ブロック３１０において、ホストシステムはコンテナファイルから設定ビットストリームを抽出する。ホストシステムは、ハードウェアアクセラレータのＩＣ、たとえば、ＩＣ１０４に設定ビットストリームをロードする。ハードウェアアクセラレータのＩＣに設定ビットストリームをロードすることによって、設定ビットストリームによって指定されたカーネル回路は、ＩＣ内に物理的に実装され、ホストシステムによって要求されるタスクを実施するために利用可能である。

ブロック３１５において、ホストシステムは、メタデータから１つまたは複数のパイププロパティを決定する。たとえば、ホストシステムは、選択されたコンテナファイルから設定ビットストリームについてのメタデータを抽出する。メタデータは、カーネルがコンパイルされたときに生成されたマッピング情報を含む。マッピングデータは、ＤＭＡ１１０およびストリームトラフィックマネージャ２１２を設定するために使用され得る１つまたは複数のパイププロパティを含む。たとえば、パイププロパティは、セッティング、たとえば、ホストシステムと、選択されたコンテナファイルから抽出された設定ビットストリームによって実装された１つまたは複数のカーネル回路との間でデータを交換するためのルートを確立するために、ＤＭＡ１１０および／またはストリームトラフィックマネージャにロードされ得るｒｏｕｔｅ＿ｉｄおよび／またはｆｌｏｗ＿ｉｄなど、レジスタセッティングを含み得る。

１つまたは複数の実施形態では、設定ビットストリームについてのメタデータは、ストリームトラフィックマネージャがより効率的に動作することを可能にする、設計フロー中に生成された追加情報を含む。たとえば、メタデータは、各カーネルに固有である情報、たとえば、セッティングを指定することができる。したがって、メタデータを使用して、ストリームトラフィックマネージャは、カーネル回路ごとに、データがどのようにカーネル回路にストリーミングされ、および／またはカーネル回路からホストシステムにストリーミングされるかを調整することが可能である。メタデータは、たとえば、（パケットサイズに対応する）カーネル回路のワーキングデータセットのサイズ、データセットごとにカーネル回路のために必要とされる算出時間、カーネル回路のために望まれるプリフェッチングの量などを指定することができる。ストリームトラフィックマネージャは、動作中に、その特定のカーネル回路についてのメタデータに従って、カーネルのために取り出されるデータの量とプリフェッチングの量とを調整することができる。

ブロック３１５の一部として、ホストシステムは、ストリームトラフィックマネージャおよび／またはＤＭＡにセッティング（たとえば、説明されるパイププロパティおよび／または他の情報）を送出して、実装されたカーネル回路とホストシステムとの間でデータをストリーミングするためのデータ経路を設定することが可能である。たとえば、ホストシステムは、データ経路を設定するためにドライバおよび／またはランタイムにおいて利用可能な１つまたは複数の機能を呼び出す。その機能は、たとえば、ＤＭＡの制御レジスタへのセッティングとストリームトラフィックマネージャのマップとを書き込む。ストリームトラフィックマネージャは、本明細書で説明されるセッティングとともに書き込まれ得る追加の制御レジスタを含み得る。

ブロック３２０において、ホストシステムは、セッティングを使用して、データストリームとしての、ホストシステムからカーネル回路への直接のデータ転送を実装する。たとえば、ホストシステムは、ターゲットカーネル回路の入力バッファに対応する、ドライバ内の書込みキューに１つまたは複数の記述子を追加する。ＤＭＡは、記述子のうちの１つまたは複数を取り出し、取り出された記述子をストリームトラフィックマネージャに提供することが可能である。ストリームトラフィックマネージャは、記述子を内部バッファ内に一時的に記憶する。説明されたように、ストリームトラフィックマネージャは、ターゲットカーネル回路について入力バッファの状態を監視し、入力バッファ内でスペースが利用可能であるとき、ストリームトラフィックマネージャ中に含まれている利用可能なデータムーバエンジンを使用して、ターゲットカーネル回路の入力バッファに対応する記述子のうちの１つまたは複数を実行することが可能である。したがって、ＤＭＡ１１０は、ホストメモリから、パケット化された形態のデータを取り出す。ストリームトラフィックマネージャは、ターゲットカーネル回路の入力バッファにそのデータをストリーミングする。述べられたように、入力バッファは、パケット化されたデータを、ストリーミングされるデータに変換することが可能である。

１つまたは複数の実施形態では、ターゲットカーネル回路に転送されるデータは、そのデータ中に埋め込まれた、カーネル回路のための１つまたは複数の命令を含む。この点について、コマンドは、データとともにまたはデータに対して「帯域内」にあると言われる。データストリーム内にカーネル回路のための命令を含めることによって、カーネル回路の動作を開始および／または停止するための、カーネル回路のための別個のシグナリングが提供される必要がない。そのような動作は、（１つまたは複数の）データストリーム中に含まれる帯域内命令によって始動され得る。特定の実施形態では、カーネル回路および／またはホストシステムは、連続データストリーム、または随意に、命令（たとえば、コマンドまたはステータス情報）が点在しているデータストリームを交換することが可能である。

１つまたは複数の実施形態では、ホストシステムは、データ転送が、データ転送を要求するユーザアプリケーションによって使用されるデータタイプ、および／またはユーザアプリケーションによって呼び出される特定のＡＰＩに基づいて、データストリームとして実装されるべきであると決定することが可能である。

ブロック３２５において、ホストシステムは、パイププロパティを使用して、データストリームとしての、カーネル回路から直接ホストシステムへのさらなるデータ転送を実装する。たとえば、ホストシステムは、ターゲットカーネル回路の出力バッファに対応する、ドライバの読取りキューに１つまたは複数の記述子を追加する。述べられたように、ＤＭＡは、記述子のうちの１つまたは複数を取り出し、取り出された記述子をストリームトラフィックマネージャに提供することが可能である。ストリームトラフィックマネージャは、記述子を内部バッファ内に一時的に記憶する。ストリームトラフィックマネージャは、カーネル回路について出力バッファの状態を監視し、出力バッファ内でデータストリームが利用可能であるとき、ストリームトラフィックマネージャ中に含まれている利用可能なデータムーバエンジンを使用して、ターゲットカーネル回路の出力バッファに対応する記述子のうちの１つまたは複数を実行することが可能である。したがって、ストリームトラフィックマネージャのデータムーバエンジンは、ターゲットカーネル回路の出力バッファから、パケット化されたデータを取り出し、パケット化されたデータをＤＭＡに提供する。述べられたように、出力バッファは、データストリームを、パケット化されたデータに変換する。ＤＭＡは、通信バス上で、パケット化されたデータをホストメモリに提供する。

図４は、データストリームを使用してカーネル回路間でデータを交換するための例示的なアーキテクチャ４００を示す。アーキテクチャ４００は、アプリケーションが複数の大きいおよび複雑なカーネル回路を必要とし、１次ＩＣによって提供されたプログラマブル回路を増強するために、追加のＩＣが使用される、使用事例をサポートする。１次ＩＣは、エンドポイントおよびＤＭＡを介した、ホストシステムとの通信をサポートするように設定される。１次ＩＣはまた、ストリームトラフィックマネージャを含む。１つまたは複数の実施形態では、ストリームトラフィックマネージャは、カーネル回路のためのパケット化されたデータを、独立した相互接続に各々接続されたいくつかの異なるポートのうちの１つにルーティングすることが可能である。カーネル回路を異なる相互接続に区分することは、カーネル回路が、ＩＣの異なる物理領域、たとえば、マルチダイＩＣの場合の異なるダイに位置することを可能にする。さらに、異なる相互接続は、異なる領域のカーネル回路を、互いに干渉しないように隔離する。この区分は、マルチダイＩＣが使用されることと、また、２次ＩＣが使用されることとを可能にする。

アーキテクチャ４００は、ＩＣ１０４とＩＣ４０２とを含む。１つまたは複数の実施形態では、ＩＣ１０４および４０２は、ＲＡＭ（図示せず）をも含み得る同じ回路板、たとえば、ハードウェアアクセラレータに結合される。図４の例では、ＩＣ１０４および４０２の各々がマルチダイＩＣとして実装される。ＩＣ１０４は、ダイ４０４および４０６を含む。ＩＣ４０２は、ダイ４０８および４１０を含む。ダイ４０４、４０６、４０８、および４１０の各々が、図７に関して本明細書でより詳細に説明されるプログラマブル回路を含めるために実装される。特定の実施形態では、ダイ４０４、４０６、４０８、および４１０のうちの１つまたは複数が、１つまたは複数のハードワイヤード回路ブロックを含む。一例では、ダイ４０４、４０６、４０８、および４１０の各々はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実装される。

図４の例では、ダイ４０４とダイ４０６とは同じパッケージ内に含まれるが、ダイ４０８とダイ４１０とは異なるパッケージ中に含まれる。ＩＣ１０４およびＩＣ４０２は、様々な利用可能なマルチダイ技術のいずれかを使用して実装され得る。１つまたは複数の実施形態では、ダイ４０４および４０６は、ダイ４０４とダイ４０６との間で信号を伝達することが可能なワイヤを含むインターポーザ（ｉｎｔｅｒｐｏｓｅｒ）上に取り付けられる。同様に、ダイ４０８および４１０は、ダイ４０８とダイ４１０との間で信号を伝達することが可能なワイヤを含むインターポーザ上に取り付けられる。それらのダイは、複数のはんだバンプまたは別の接続技術を使用して取り付けられ得る。インターポーザは、たとえば、選択された信号が、マルチダイＩＣパッケージの外部に渡り、基板に渡ることを可能にする、複数のスルービアを含む。

例示の目的で、ダイ４０４および４０８は、各それぞれのダイ中に含まれる異なる回路ブロックをより良く示すために陰影を付けられている。図４の例では、ダイ４０４および４０８は、それぞれ、ダイ４０６および４１０中に含まれない追加の回路ブロックを含む。たとえば、ダイ４０４は、エンドポイント１０８と、ＤＭＡ１１０と、ストリームトラフィックマネージャ２１２と、トランシーバ４４２とを含むが、ダイ４０６はそれらを含まない。１つまたは複数の実施形態では、エンドポイント１０８、ＤＭＡ１１０、および／またはトランシーバ４４２のうちの１つまたは複数が、ハードワイヤード回路ブロックとして実装される。特定の実施形態では、エンドポイント１０８、ＤＭＡ１１０、および／またはトランシーバ４４２はプログラマブル回路において実装される。これらの回路構造はダイ４０６内で繰り返されない。同様に、ダイ４０８は、トランシーバ４４４と衛星ストリームトラフィックマネージャ４１２とを含むが、ダイ４１０はそれらを含まない。これらの構造はダイ４１０において繰り返されない。

図４の例では、エンドポイント１０８、ＤＭＡ１１０、およびストリームトラフィックマネージャ２１２は、実質的に、図１および図２に関して説明されたように実装される。しかしながら、図４の例では、ストリームトラフィックマネージャ２１２は追加のＩ／Ｏポートを含む。たとえば、ストリームトラフィックマネージャ２１２は、トランシーバ４４２に接続する追加のＩ／Ｏポートを含む。さらに、ストリームトラフィックマネージャ２１２の１つまたは複数のＩ／Ｏポートが、ダイ４０６に、詳細には、相互接続４１６に結合する。１つまたは複数の実施形態では、相互接続４１４および相互接続４１６は、各々、相互接続２１４のインスタンスおよび相互接続２１６のインスタンスを表す。したがって、ダイ４０４および４０６の各々が、相互接続２１４および相互接続２１６のインスタンスを含む。示されているように、カーネル回路２３４および対応するバッファが、ダイ４０４および４０６にわたって拡散される。

ダイ４０８は、トランシーバ４４４と、衛星ストリームトラフィックマネージャ４１２と、相互接続４１８と、バッファ４２２、４２４、４２６、および４２８と、カーネル回路４４０－１および４４０－２とを含む。特定の実施形態では、相互接続４１８は、相互接続２１４の別のインスタンスおよび相互接続２１６の別のインスタンスを表す。ダイ４１０は、相互接続４２０と、バッファ４３２、４３４、４３６、および４３８と、カーネル回路４４０－３および４４０－４とを含む。同様に、相互接続４２０は、相互接続２１４の別のインスタンスおよび相互接続２１６の別のインスタンスを表す。１つまたは複数の実施形態では、トランシーバ４４４はハードワイヤード回路ブロックとして実装される。特定の実施形態では、トランシーバ４４４はプログラマブル回路において実装される。

図４の例では、ＩＣ１０４は、ダイ４０４が、ホストシステム１０２と通信するためのエンドポイント１０８を含むという点で、マスタとして動作することが可能である。さらに、ストリームトラフィックマネージャ２１２は、トランシーバ４４２および４４４を介して衛星ストリームトラフィックマネージャ４１２と通信することが可能である。１つまたは複数の実施形態では、トランシーバ４４２および４４４は、複数のシリアルデータレーン（ｓｅｒｉａｌ ｄａｔａ ｌａｎｅ）を含む高速ポイントツーポイント相互接続を実装する。トランシーバ４４２および４４４によって形成された接続が、ストリームトラフィックマネージャ２１２と衛星ストリームトラフィックマネージャ４１２との間でデータを交換する。さらに、トランシーバ４４２および４４４は、ＩＣ境界を横断することによる追加のレイテンシを隠すために、バッファリングの追加の層を提供することが可能である。図４の例では、ストリームトラフィックマネージャ２１２および衛星ストリームトラフィックマネージャ４１２は、パケット化されたデータを送出および受信する。１つまたは複数の実施形態では、トランシーバ４４２および４４４は、一方のトランシーバから他方のトランシーバに送信する目的で、ストリームトラフィックマネージャ２１２と衛星ストリームトラフィックマネージャ４１２との間で交換されるストリーミングパケットをシリアライズすることと、ＩＣ１０４および４０２内で送出および／またはハンドリングするために、送信されたデータをデシリアライズすることとが可能である。同様に、トランシーバ４４２および４４４は、一方のトランシーバから他方のトランシーバに送信する目的で、ストリームトラフィックマネージャ２１２と衛星ストリームトラフィックマネージャ４１２との間で交換されるクレジットメッセージをシリアライズすることと、ＩＣ１０４および／またはＩＣ４０２内で送出および／またはハンドリングするためにそのようなメッセージをデシリアライズすることとが可能である。

アーキテクチャ４００を使用して、ホストシステム１０２は、パケット化されたデータをルーティングするように、ＤＭＡ１１０、ストリームトラフィックマネージャ２１２、および衛星ストリームトラフィックマネージャ４１２を設定することが可能である。たとえば、ストリームトラフィックマネージャ２１２は、必要なマッピングデータおよび／またはセッティングを衛星ストリームトラフィックマネージャ４１２上に渡すことが可能である。設定されると、ホストシステム１０２は、ＩＣ１０４および／またはＩＣ４０２にタスクをオフロードすることが可能である。さらに、ホストシステム１０２は、カーネル回路２３４のうちの１つまたは複数および／またはカーネル回路４４０のうちの１つまたは複数にタスクを指示することが可能である。

カーネル回路２３４は、図２の例では単一のダイ中に含まれたが、図４の例では、カーネル回路２３４は、ダイ４０４および４０６にわたって分散される。同様に、カーネル回路４４０は、ダイ４０８および４１０にわたって分散される。ストリームトラフィックマネージャ２１２は、データがコンカレントに複数のカーネル回路に提供されることを可能にするが、ストリームトラフィックマネージャ２１２は、カーネル回路２３４間で（たとえば、２３４－１から２３４－２にまたはその逆、２３４－１または２３４－２から２３４－３または２３４－４に、２３４－３から２３４－４にまたはその逆、２３４－３または２３４－４から２３４－２または２３４－１に）接続を確立することも可能である。たとえば、カーネル回路が初期に、互いと直接通信するように設定されない場合、ストリームトラフィックマネージャ２１２は、カーネル回路が、別のカーネル回路に、同じダイ中にあるのか、同じＩＣの異なるダイ中にあるのかにかかわらず、データをストリーミングすることを可能にすることが可能である。同様に、衛星ストリームトラフィックマネージャ４１８は、カーネル回路が、別のカーネル回路に、同じダイ中にあるのか、同じＩＣの異なるダイ中にあるのかにかかわらず（たとえば、４４０－１または４４０－２から４４０－３または４４０－４に、４４０－１から４４０－２にまたはその逆、４４０－３から４４０－４にまたはその逆、４４０－３または４４０－４から４４０－１または４４０－２に）データをストリーミングすることを可能にすることが可能である。異なるダイおよび／または異なるＩＣに位置するカーネル回路間で交換されるデータは、場合によっては、ストリームトラフィックマネージャ２１２および／または衛星ストリームトラフィックマネージャ４１２によって制御され、ストリームトラフィックマネージャ２１２および／または衛星ストリームトラフィックマネージャ４１２を通って流れなければならない。

別の実施形態では、データが、同じダイに位置するカーネル回路間で交換されるとき、データは、場合によっては、送出カーネル回路から相互接続に流れ、相互接続から受信カーネル回路に流れ、ストリームトラフィックマネージャ２１２および／または衛星ストリームトラフィックマネージャ４１２をバイパスするが、ストリームトラフィックマネージャ２１２および／または衛星ストリームトラフィックマネージャ４１２の制御下にあり得る。いずれの場合も、送出カーネル回路の出力バッファは、送出カーネル回路から出力されたデータストリームを、パケット化されたデータに変換し、受信カーネル回路の入力バッファは、パケット化されたデータを、受信カーネル回路による消費のためのデータストリームに変換する。

ストリームトラフィックマネージャ２１２は、衛星ストリームトラフィックマネージャ４１２と通信することも可能である。衛星ストリームトラフィックマネージャ４１２は、ストリームトラフィックマネージャ２１２と実質的に同様に実装される。トランシーバ４４２および４４４を介した、ストリームトラフィックマネージャ２１２と衛星ストリームトラフィックマネージャ４１２との間の通信は、あるＩＣ中のカーネル回路が、異なるＩＣ中のカーネル回路に（たとえば、２３４－１または２３４－２から４４０－１または４４０－２に、２３４－１または２３４－２から４４０－３または４４０－４に、２３４－３または２３４－４から４４０－１または４４０－２に、２３４－３または２３４－４から４４０－３または４４０－４に、４４０－１または４４０－２から２３４－１または２３４－２に、４４０－１または４４０－２から２３４－３または２３４－４に、４４０－３または４４０－４から２３４－１または２３４－２に、４４０－３または４４０－４から２３４－３または２３４－４に）データをストリーミングすることを可能にする。

それにもかかわらず、カーネル回路は、互いと直接通信するために実装され得る。その場合、カーネル回路は、プログラマブル回路内で作成および実装され、この能力が組み込まれる。そのような接続が図４に示されており、カーネル回路２３４－３が、カーネル２３４－４と直接通信して、ストリームトラフィックマネージャ２１２を使用することなしにカーネル２３４－４にデータ結果を提供することが可能である。カーネル回路が、異なるダイおよび／または異なるＩＣに位置する場合、ストリームトラフィックマネージャ２１２および／または衛星ストリームトラフィックマネージャ４１２は必要とされる。

多くの場合、カーネル回路（たとえば、そのようなカーネル回路によって実施される動作）は一緒に直列に連結される。データは、各異なるカーネル回路が異なる動作を実施するようにカスタマイズされるステップにおいて、あるカーネル回路から別のカーネル回路に渡され得る。メモリがＩＣ内でローカルであるのか、ＩＣの外部にあるのかにかかわらず、メモリマッピングされたインターフェースを使用する他の実装形態では、たとえば、（１つまたは複数の）アップストリームカーネル回路の動作が検出されたとき、適時に（１つまたは複数の）ダウンストリームカーネル回路を開始するために、（１つまたは複数の）アップストリームカーネル回路の進捗がホストシステムによって追跡されなければならない。いくつかの場合には、ホストシステムはまた、ダウンストリームカーネル回路が、アップストリームカーネル回路と同じメモリへのアクセスを有しない場合、アップストリームカーネル回路からダウンストリームカーネルにデータをコピーしなければならない。このタイプのアーキテクチャは、ホストシステム１０２内のソフトウェアにおけるかなりのオーバーヘッドを生じ、しばしばハードウェア（カーネル回路）の過少利用を生じる。

カーネル回路からカーネル回路に渡されるデータストリーム内の帯域内命令を使用する、本開示内で説明されるストリーミングアーキテクチャは、あるカーネル回路が、データストリーム中に含まれる命令とともにデータを別のカーネル回路に直接渡すことを可能にし、それにより、ホストシステム１０２の関与なしの、複数のカーネル回路を通した、データの連結された処理を実装する。そのストリーミングアーキテクチャは、ホストシステムに課されるオーバーヘッドを低減し、ハードウェアリソースをより効率的に使用する。

ストリームトラフィックマネージャ回路は、ホストシステム１０２から、ＩＣ１０２またはＩＣ４０２において実装されるカーネル回路のいずれかにデータを提供することが可能であることを諒解されたい。ホストシステム１０２からＩＣ１０４中のカーネル回路に提供されたパケット化されたデータが、エンドポイント１０８、ＤＭＡ１１０、およびストリームトラフィックマネージャ２１２を通過する。ＩＣ１０４中のカーネル回路から出力されたデータストリーム（たとえば、結果データストリーム）が、ストリームトラフィックマネージャ２１２、ＤＭＡ１１０、およびエンドポイント１０８を介してホストシステム１０２に渡る。ホストシステム１０２からＩＣ４０２中のカーネル回路に提供されたパケット化されたデータが、エンドポイント１０８、ＤＭＡ１１０、ストリームトラフィックマネージャ２１２、トランシーバ４４２および４４４、ならびに衛星ストリームトラフィックマネージャ４１２を通過する。ＩＣ４０２中のカーネル回路から出力されたデータストリーム（たとえば、結果データストリーム）が、衛星ストリームトラフィックマネージャ４１２、トランシーバ４４４および４４２、ストリームトラフィックマネージャ２１２、ＤＭＡ１１０、ならびにエンドポイント１０８を通過する。ＩＣ４０２中のカーネル回路への、パケット化されたデータを送出および／または受信する際に、ホストシステム１０２は、実質的に、図２に関して説明されたように動作し得、入力ドライバ１３０は、各カーネル回路について、ＩＣ１０２において実装されるのか、ＩＣ４０２において実装されるのかにかかわらず、読取りキューおよび書込みキューを生成する。

図１、図２、および図４に示されているアーキテクチャは、カーネル回路の各可能なペア間の直接接続をサポートする、より複雑な相互接続回路を必要とすることなしに、アップストリームカーネル回路が、任意の利用可能なダウンストリームカーネル回路にデータをストリーミングすることを可能にする。図１、図２、および図４のアーキテクチャは、アップストリームカーネル回路にストリームトラフィックマネージャ回路へのデータを出力させることによってこの能力を実装する（説明の目的で、「ストリームトラフィックマネージャ回路」は、ストリームトラフィックマネージャ、衛星ストリームトラフィックマネージャ、または協調様式で動作するその両方を指す）。ストリームトラフィックマネージャ回路はダウンストリームカーネルにデータをルーティングする。データは、クレジットを使用してストリームトラフィックマネージャ回路によって調節されるので、大きいストアアンドフォワードバッファ（ｓｔｏｒｅ ａｎｄ ｆｏｒｗａｒｄ ｂｕｆｆｅｒ）が必要とされない。さらに、ホストシステム１０２はデータ転送に関与しない。例示的なおよび非限定的な例として、アップストリームカーネル回路、たとえば、送出カーネル回路が圧縮を実施し、ダウンストリームカーネル回路が暗号化を実施する。アップストリームカーネル回路は、得られた圧縮されたデータをストリームトラフィックマネージャ回路に送出し、ストリームトラフィックマネージャ回路は、送出カーネル回路の出力バッファによってパケット化されたデータを、ダウンストリームカーネル回路、たとえば、受信カーネル回路にルーティングする。受信カーネル回路の入力バッファは、パケット化されたデータをデータストリームに変換する。ダウンストリームカーネル回路は、得られた暗号化されたデータをストリームトラフィックマネージャ回路に提供し得、ストリームトラフィックマネージャ回路は、次いで、暗号化されたデータをまた別のカーネル回路にルーティングするか、または、暗号化されたデータをホストシステム１０２に提供し得る。

本開示内で説明されるストリーミングアーキテクチャは、配置ツールおよびルートツールがアップストリームカーネル回路とダウンストリームカーネル回路との相対配置を考慮する必要がないので、（データ処理システムによって実行される）ＥＤＡアプリケーションの配置機能およびルート機能が、より効率的に（完了するための時間をあまり必要とせずに）動作することをも可能にする。これは、データストリームを介してデータを交換する２つまたはそれ以上のカーネル回路が、異なるダイおよび／または異なるＩＣに位置するとき、特に重要である。

本開示内で説明される例示的なストリーミングアーキテクチャがない場合、直接カーネル－カーネルルーティング（ｄｉｒｅｃｔ ｋｅｒｎｅｌ－ｔｏ－ｋｅｒｎｅｌ ｒｏｕｔｉｎｇ）は、通信することが意図されたカーネル回路の各ペアの間で実装される必要があるであろう。このタイプの接続性は、タイミング要件を満たすためにカーネル回路の配置およびルーティングに対して著しい制限を課し、ダイ境界および／またはＩＣ境界を横断するときにさらに困難になる。さらに、本明細書で説明されるアーキテクチャを使用することは、説明されるフレキシビリティを提供しながら、実装されるカーネル回路について、より大きいクロック速度をも達成する。カーネル回路の各可能なペア間のポイントツーポイント接続を使用するアーキテクチャは、プログラマブル回路の極めて多くのリソースを必要とすることになるので、得られた実装形態は、本明細書で説明される例示的なストリーミングアーキテクチャを使用して達成可能であるよりも遅いクロック周波数において動作することになる。

図４の例では、ＩＣ１０４およびＩＣ４０２は両方ともマルチダイＩＣとして実装される。１つまたは複数の他の実施形態では、ＩＣ１０４およびＩＣ４０２のうちの一方または両方が、トランシーバを含む単一ダイＩＣとして実装される。

図５は、データストリームを使用してカーネル回路間でデータを交換する例示的な方法５００を示す。方法５００は、ホストシステムがハードウェアアクセラレータ内のカーネル回路にタスクをオフロードした状態において始まることができる。１つまたは複数の実施形態では、方法５００は、図３のブロック３０５～３２０を実施した後の状態においておよび／またはデータ転送に関与する各ＩＣについて始まる。図５の例では、本明細書では送出カーネル回路と呼ばれるカーネル回路は、一連の動作の中のある動作を実施し、各動作が、異なるカーネル回路によって実施される。

ブロック５０５において、送出カーネル回路は、出力ポートにアタッチされた出力バッファにデータストリーミングを出力するか、または記憶する。ブロック５１０において、ストリームトラフィックマネージャ回路は、送出カーネル回路の出力バッファに記憶されたデータストリームを検出する。ストリームトラフィックマネージャ回路は、図２に関して説明されたように、バッファのステータスを監視することが可能である。１つまたは複数の実施形態では、データストリームは、データの宛先を指定する情報を含む。宛先は、この例では、ホストシステムではなく、むしろ、受信カーネル回路と呼ばれる別のカーネル回路である。１つまたは複数の他の実施形態では、ストリームトラフィックマネージャ回路は、たとえば、前に説明されたマッピングデータを使用して、送出カーネル回路から、受信カーネル回路および／またはホストシステムなどの別の宛先にデータをルーティングするように設定される。ブロック５１５において、ストリームトラフィックマネージャ回路は受信カーネル回路を決定する。ストリームトラフィックマネージャ回路は、たとえば、送出カーネル回路の出力バッファに記憶されたデータストリームを読み取り、指定された受信カーネル回路を決定することが可能である。別の例では、ストリームトラフィックマネージャは、ストリームトラフィックマネージャに記憶されたマッピングデータ（たとえば、宛先への、特定のカーネル回路出力のマッピング）に基づいて受信カーネル回路を決定する。

ブロック５２０において、ストリームトラフィックマネージャ回路は、受信カーネル回路の入力バッファが、送出カーネル回路からのデータストリームを記憶するために利用可能な十分なスペースを有するかどうかを決定する。ブロック５２５において、受信カーネル回路の入力バッファが十分なスペースを有すると決定したことに応答して、ストリームトラフィックマネージャ回路は、送出カーネル回路から受信カーネル回路へのデータ転送を始動する。ストリームトラフィックマネージャ回路は、（１つまたは複数の）相互接続を通して、および／または、ＩＣ横断（ｃｒｏｓｓ－ＩＣ）データ転送が実施される場合、トランシーバを通して、送出カーネル回路の出力バッファから受信カーネル回路の入力バッファにデータを転送する。１つまたは複数の実施形態では、同じダイ中のカーネル回路間でデータを転送するとき、データは、ストリームトラフィックマネージャ回路を通過することなしに、ストリームトラフィックマネージャ回路の制御下の関連する相互接続を通して送出され得る。

特定の実施形態では、送出カーネル回路からのデータストリームは、データストリーム内の帯域内に１つまたは複数の命令を含む。一例では、命令は、送出カーネル回路から受信カーネル回路へのデータストリーム（またはパケット化されたデータ）のペイロード部分中に含まれる。説明されたように、送出カーネル回路の出力バッファは、受信カーネル回路に送出するために、データストリームを、パケット化されたデータに変換する。受信カーネル回路の入力バッファは、受信されたパケット化されたデータを、受信カーネル回路に提供されるデータストリームに変換する。

図５の例では、データストリームは、ダイ４０４中のカーネル回路からダイ４０６中のカーネル回路に送出され得るか、またはダイ４０６中のカーネル回路からダイ４０４中のカーネル回路に送出され得ることを諒解されたい。同様に、データストリームは、ダイ４０８中のカーネル回路からダイ４１０中のカーネル回路に送出され得るか、またはダイ４１０中のカーネル回路からダイ４０８中のカーネル回路に送出され得る。

図５の例はストリームトラフィックマネージャ回路を参照する。この点について、方法５００が実施され得、ストリームトラフィックマネージャが、説明される動作を実施する（たとえば、送出カーネル回路と受信カーネル回路の両方がＩＣ１０４中にある）か、衛星ストリームトラフィックマネージャが、説明される動作を実施する（送出カーネル回路と受信カーネル回路の両方がＩＣ４０２中にある）か、またはストリームトラフィックマネージャと衛星ストリームトラフィックマネージャの両方がそれらの動作を実施する（たとえば、送出カーネル回路と受信カーネル回路とが、異なるＩＣ中にある）。後者の場合、ストリームトラフィックマネージャおよび衛星ストリームトラフィックマネージャの各々が、同じＩＣに位置するカーネル回路と対話することを諒解されたい。

たとえば、送出カーネル回路と受信カーネル回路とが、異なるＩＣに位置する場合、ストリームトラフィックマネージャと衛星ストリームトラフィックマネージャとは、カーネル回路の入力バッファおよび出力バッファのステータスを決定するために、トランシーバ４４２および４４４を介して通信することが可能である。たとえば、ストリームトラフィックマネージャは、ＩＣ１０４中のバッファのステータスを決定することが可能であり、衛星ストリームトラフィックマネージャは、ＩＣ４０２中のバッファのステータスを決定することが可能である。ストリームトラフィックマネージャは、ＩＣ４０２中の任意のバッファのステータスを衛星ストリームトラフィックマネージャに要求することが可能であり、衛星ストリームトラフィックマネージャは、（１つまたは複数の）要求されたステータスで応答する。同様に、衛星ストリームトラフィックマネージャは、ＩＣ１０４中の任意のバッファのステータスをストリームトラフィックマネージャに要求することが可能であり、ストリームトラフィックマネージャは、（１つまたは複数の）要求されたステータスで応答する。ストリームトラフィックマネージャと衛星ストリームトラフィックマネージャとの間の通信は、ＩＣ１０４の同じダイまたはＩＣ１０４の異なるダイに位置するか、ＩＣ４０２の同じダイまたはＩＣ４０２の異なるダイに位置するか、あるいは異なるＩＣに位置する、送信カーネル回路と受信カーネル回路とをサポートする。

図６は、本明細書で説明される１つまたは複数の実施形態とともに使用するための例示的なシステム６００を示す。システム６００は、コンピュータ、サーバ、ラップトップまたはタブレットコンピュータなどのポータブルコンピュータ、あるいは他のデータ処理システムを実装するために使用され得るコンピュータハードウェアの一例である。たとえば、システム６００は、ホストシステム１０２、および／または本明細書で説明されるコンテナファイルを生成するためのＥＤＡアプリケーションを実行する別のシステムの例示的な一実装形態である。

図６の例では、システム６００は、少なくとも１つのプロセッサ６０５を含む。プロセッサ６０５は、インターフェース回路６１５を通してメモリ６１０に結合される。システム６００は、メモリ６１０内に（「プログラムコード」とも呼ばれる）コンピュータ可読命令を記憶することが可能である。メモリ６１０は、コンピュータ可読記憶媒体の一例である。プロセッサ６０５は、インターフェース回路６１５を介してメモリ６１０からアクセスされるプログラムコードを実行することが可能である。

メモリ６１０は、たとえば、ローカルメモリおよびバルク記憶デバイス（ｂｕｌｋ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）など、１つまたは複数の物理メモリデバイスを含み得る。ローカルメモリは、概してプログラムコードの実際の実行中に使用される（１つまたは複数の）非永続的メモリデバイスを指す。ローカルメモリの例は、ＲＡＭ、および／または、プログラムコードの実行中のプロセッサによる使用のために好適である様々なタイプのＲＡＭ（たとえば、ダイナミックＲＡＭまたは「ＤＲＡＭ」あるいはスタティックＲＡＭまたは「ＳＲＡＭ」）のいずれかを含む。バルク記憶デバイスは、永続的データ記憶デバイスを指す。バルク記憶デバイスの例は、限定はしないが、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、または他の好適なメモリを含む。システム６００は、プログラムコードが実行中にバルク記憶デバイスから取り出されなければならない回数を低減するために少なくともあるプログラムコードの一時的記憶を行う１つまたは複数のキャッシュメモリ（図示せず）をも含み得る。

メモリ６１０は、プログラムコードおよび／またはデータを記憶することが可能である。１つまたは複数の実施形態では、システム６００がホストシステム１０２などのシステムを実装するとき、メモリ６１０は、図１に関して説明されたものと同じまたは同様のフレームワークを記憶し、実行することが可能である。また、フレームワークはオペレーティングシステムを含み得る。インターフェース回路６１５を通してシステム６００にアタッチされたハードウェアアクセラレータ６２５内での実装のために、１つまたは複数のコンテナもメモリ６１０に記憶され得る。ハードウェアアクセラレータ６２５は、図７に関して説明されるものと同じまたは同様のアーキテクチャを有する１つまたは複数のＩＣを含む。

１つまたは複数の他の実施形態では、システム６００は、ＥＤＡアプリケーションを実行するＥＤＡシステムを実装する。したがって、システム６００は、設定ビットストリームまたは場合によっては部分設定ビットストリームとして、指定されたカーネル回路を生成するために、カーネルを指定するプログラムコードを処理することが可能である。システム６００は、コンテナファイル内に（１つまたは複数の）設定ビットストリームを含める。さらに、システム６００は、マッピング情報を生成し、そのマッピング情報をメタデータとしてコンテナファイル内に含めることが可能である。システム６００がＥＤＡシステムを実装する実施形態では、ハードウェアアクセラレータ６２５は、含まれることも含まれないこともある。

システム６００、たとえば、プロセッサ６０５は、本開示内で説明される動作を実施するために、本明細書で説明されるオペレーティングシステム、アプリケーション、および／またはフレームワークを実行することが可能である。したがって、メモリ６１０に記憶された命令および／またはデータは、システム６００の一体部分と見なされ得る。さらに、システム６００（たとえば、プロセッサ６０５）によって使用され、生成され、および／または作用されるデータは、システムの一部として採用されたときに機能性を与える機能的データ構造であることを諒解されたい。

インターフェース回路６１５の例は、限定はしないが、システムバスと入出力（Ｉ／Ｏ）バスとを含む。インターフェース回路６１５は、様々なバスアーキテクチャのいずれかを使用して実装され得る。バスアーキテクチャの例は、限定はしないが、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、アクセラレーテッドグラフィックスポート（ＡＧＰ）、ビデオエレクトロニクス規格協会（ＶＥＳＡ）ローカルバス、ユニバーサルシリアルバス（ＵＳＢ）、およびＰＣＩｅバスを含み得る。

システム６００は、インターフェース回路６１５に結合された１つまたは複数のＩ／Ｏデバイス６２０をさらに含み得る。Ｉ／Ｏデバイス６２０は、直接、または介在するＩ／Ｏコントローラを通してのいずれかで、システム６００、たとえば、インターフェース回路６１５に結合され得る。Ｉ／Ｏデバイス６２０の例は、限定はしないが、キーボード、ディスプレイデバイス、ポインティングデバイス、１つまたは複数の通信ポート、およびネットワークアダプタを含む。ネットワークアダプタは、システム６００が、介在するプライベートまたは公衆ネットワークを通して他のシステム、コンピュータシステム、リモートプリンタ、および／またはリモート記憶デバイスに結合されるようになることを可能にする回路を指す。モデム、ケーブルモデム、イーサネットカード、およびワイヤレストランシーバが、システム６００とともに使用され得る異なるタイプのネットワークアダプタの例である。

システム６００は、実装されるデバイスおよび／またはシステムの特定のタイプに応じて、図示された構成要素よりも少数の構成要素、または図６に示されていない追加の構成要素を含み得る。さらに、含まれる特定のオペレーティングシステム、（１つまたは複数の）アプリケーション、および／またはＩ／Ｏデバイスは、システムタイプに基づいて変動し得る。さらに、例示的な構成要素のうちの１つまたは複数は、別の構成要素に組み込まれるか、またはさもなければ、別の構成要素の一部分を形成し得る。たとえば、プロセッサが、少なくともあるメモリを含み得る。システム６００は、図６のアーキテクチャまたはそれと同様のアーキテクチャを使用して各々実装される単一のコンピュータあるいは複数のネットワーク化されたまたは相互接続されたコンピュータを実装するために使用され得る。

プログラマブルＩＣと呼ばれるいくつかのＩＣは、指定された機能を実施するようにプログラムされ得る。プログラムされ得るＩＣの一例がＦＰＧＡである。ＦＰＧＡは、一般に、プログラマブルタイルのアレイを含む。これらのプログラマブルタイルは、たとえば、入出力ブロック（ＩＯＢ）、設定可能論理ブロック（ＣＬＢ）、専用ＲＡＭブロック（ＢＲＡＭ）、乗算器、デジタル信号処理ブロック（ＤＳＰ）、プロセッサ、クロックマネージャ、遅延ロックループ（ＤＬＬ）などを含み得る。

各プログラマブルタイルは、一般に、プログラマブル相互接続回路とプログラマブル論理回路の両方を含む。プログラマブル相互接続回路は、一般に、プログラマブル相互接続点（ＰＩＰ）によって相互接続された変動する長さの多数の相互接続線を含む。プログラマブル論理回路は、たとえば、関数生成器、レジスタ、算術論理などを含み得る、プログラマブル要素を使用して、ユーザ設計の論理を実装する。

プログラマブル相互接続回路およびプログラマブル論理回路は、一般に、設定データのストリームを、プログラマブル要素がどのように設定されるかを定義する内部設定メモリセルにロードすることによってプログラムされる。設定データは、外部デバイスによって、メモリから（たとえば、外部ＰＲＯＭから）読み取られるかまたはＦＰＧＡに書き込まれ得る。その場合、個々のメモリセルの全体的な状態がＦＰＧＡの機能を決定する。

別のタイプのプログラマブルＩＣは、複合プログラマブル論理デバイス、またはＣＰＬＤである。ＣＰＬＤは、相互接続スイッチマトリックスによって一緒に接続されたおよび入出力（Ｉ／Ｏ）リソースに接続された２つまたはそれ以上の「機能ブロック」を含む。ＣＰＬＤの各機能ブロックが、プログラマブル論理アレイ（ＰＬＡ）、およびプログラマブルアレイ論理（ＰＡＬ）デバイスにおいて使用されるものと同様の、２レベルＡＮＤ／ＯＲ構造を含む。ＣＰＬＤでは、設定データは、一般に、不揮発性メモリにオンチップで記憶される。いくつかのＣＰＬＤでは、設定データは、不揮発性メモリにオンチップで記憶され、次いで、初期設定（プログラミング）シーケンスの一部として揮発性メモリにダウンロードされる。

これらのプログラマブルＩＣのすべてについて、デバイスの機能性は、その目的でデバイスに提供されたデータビットによって制御される。データビットは、揮発性メモリ（たとえば、ＦＰＧＡおよびいくつかのＣＰＬＤの場合のような、スタティックメモリセル）、不揮発性メモリ（たとえば、いくつかのＣＰＬＤの場合のようなフラッシュメモリ）、または任意の他のタイプのメモリセルに記憶され得る。

他のプログラマブルＩＣが、デバイス上の様々な要素をプログラム可能に相互接続する、金属層など、処理層を適用することによってプログラムされる。これらのプログラマブルＩＣはマスクプログラマブルデバイスとして知られている。プログラマブルＩＣはまた、他のやり方で、たとえば、ヒューズまたはアンチヒューズ技術を使用して実装され得る。「プログラマブルＩＣ」という句は、限定はしないが、これらのデバイスを含み得、さらに、部分的にのみプログラム可能であるデバイスを包含し得る。たとえば、あるタイプのプログラマブルＩＣは、ハードコーディングされたトランジスタ論理と、ハードコーディングされたトランジスタ論理をプログラム可能に相互接続するプログラマブルスイッチファブリックとの組合せを含む。

図７は、ＩＣのための例示的なアーキテクチャ７００を示す。一態様では、アーキテクチャ７００は、プログラマブルＩＣ内に実装され得る。たとえば、アーキテクチャ７００は、ＦＰＧＡを実装するために使用され得る。アーキテクチャ７００はまた、ＩＣのシステムオンチップ（ＳｏＣ）タイプを表し得る。ＳｏＣは、プログラムコードを実行するプロセッサと、１つまたは複数の他の回路とを含むＩＣである。他の回路は、ハードワイヤード回路、プログラマブル回路、および／またはそれらの組合せとして実装され得る。回路は、互いと、および／またはプロセッサと協働して動作し得る。

図示のように、アーキテクチャ７００は、いくつかの異なるタイプのプログラマブル回路、たとえば、論理、ブロックを含む。たとえば、アーキテクチャ７００は、マルチギガビットトランシーバ（ＭＧＴ：ｍｕｌｔｉ－ｇｉｇａｂｉｔ ｔｒａｎｓｃｅｉｖｅｒ）７０１、設定可能論理ブロック（ＣＬＢ）７０２、ＢＲＡＭ７０３、入出力ブロック（ＩＯＢ）７０４、設定およびクロッキング論理（ＣＯＮＦＩＧ／ＣＬＯＣＫＳ）７０５、デジタル信号処理ブロック（ＤＳＰ）７０６、特殊なＩ／Ｏブロック７０７（たとえば、設定ポートおよびクロックポート）、ならびにデジタルクロックマネージャ、アナログデジタル変換器、システム監視論理などの他のプログラマブル論理７０８を含む、多数の異なるプログラマブルタイルを含み得る。

いくつかのＩＣでは、各プログラマブルタイルは、プログラマブル相互接続要素（ＩＮＴ）７１１を含み、ＩＮＴ７１１は、各隣接するタイル中の対応するＩＮＴ７１１との間の規格化された接続を有する。したがって、ＩＮＴ７１１は、まとめると、示されているＩＣのためのプログラマブル相互接続構造を実装する。各ＩＮＴ７１１は、図７の上部に含まれる例によって示されているように、同じタイル内のプログラマブル論理要素との間の接続をも含む。

たとえば、ＣＬＢ７０２は、ユーザ論理を実装するようにプログラムされ得る設定可能論理要素（ＣＬＥ）７１２と、単一のＩＮＴ７１１とを含み得る。ＢＲＡＭ７０３は、１つまたは複数のＩＮＴ７１１に加えてＢＲＡＭ論理要素（ＢＲＬ）７１３を含み得る。一般に、タイル中に含まれるＩＮＴ７１１の数は、タイルの高さに依存する。描かれているように、ＢＲＡＭタイルは、５つのＣＬＢと同じ高さを有するが、他の数（たとえば、４つ）も使用され得る。ＤＳＰタイル７０６は、適切な数のＩＮＴ７１１に加えてＤＳＰ論理要素（ＤＳＰＬ）７１４を含み得る。ＩＯＢ７０４は、たとえば、ＩＮＴ７１１の１つのインスタンスに加えてＩ／Ｏ論理要素（ＩＯＬ）７１５の２つのインスタンスを含み得る。ＩＯＬ７１５に接続された実際のＩ／Ｏパッドは、ＩＯＬ７１５のエリアに制限されないことがある。

図７に描かれている例では、ダイの中心の近くの、たとえば、領域７０５、７０７、および７０８から形成された、列状エリアが、設定、クロック、および他の制御論理のために使用され得る。この列から延びる水平エリア７０９が、プログラマブルＩＣの幅にわたってクロックおよび設定信号を分散させるために使用され得る。

図７に示されているアーキテクチャを利用するいくつかのＩＣは、ＩＣの大部分を作り上げる規則的な列状構造を損なう追加の論理ブロックを含む。追加の論理ブロックは、プログラマブルブロックおよび／または専用回路であり得る。たとえば、ＰＲＯＣ７１０として示されているプロセッサブロックが、ＣＬＢおよびＢＲＡＭのいくつかの列にまたがる。

一態様では、ＰＲＯＣ７１０は、ＩＣのプログラマブル回路を実装するダイの一部として作製される専用回路として、たとえば、ハードワイヤードプロセッサとして実装され得る。ＰＲＯＣ７１０は、個々のプロセッサ、たとえば、プログラムコードを実行することが可能な単一のコアから、１つまたは複数のコア、モジュール、コプロセッサ、インターフェースなどを有するプロセッサシステム全体まで、複雑さに幅がある様々な異なるプロセッサタイプおよび／またはシステムのいずれかを表し得る。

別の態様では、ＰＲＯＣ７１０は、アーキテクチャ７００から省略され、説明されるプログラマブルブロックの他の種類のうちの１つまたは複数と置き換えられ得る。さらに、そのようなブロックは、ＰＲＯＣ７１０の場合のようにプログラムコードを実行することができるプロセッサを形成するためにプログラマブル回路の様々なブロックが使用され得るという点で、「ソフトプロセッサ」を形成するために利用され得る。

「プログラマブル回路」という句は、ＩＣ内のプログラマブル回路要素、たとえば、本明細書で説明される様々なプログラマブルまたは設定可能回路ブロックまたはタイル、ならびに、ＩＣにロードされた設定データに従って様々な回路ブロック、タイル、および／または要素を選択的に結合する相互接続回路を指す。たとえば、ＣＬＢ７０２など、ＰＲＯＣ７１０の外部にある、図７に示されている回路ブロックは、ＩＣのプログラマブル回路と見なされる。

概して、プログラマブル回路の機能性は、設定データがＩＣにロードされるまで確立されない。ＦＰＧＡなど、ＩＣのプログラマブル回路をプログラムするために、設定ビットのセットが使用され得る。（１つまたは複数の）設定ビットは、一般に、「設定ビットストリーム」と呼ばれる。概して、プログラマブル回路は、設定ビットストリームをＩＣに最初にロードしなければ、動作可能でないか、または機能可能でない。設定ビットストリームは、プログラマブル回路内に特定の回路設計を効果的に実装する。回路設計は、たとえば、プログラマブル回路ブロックの機能的態様と、様々なプログラマブル回路ブロックの間の物理的接続性とを指定する。

「ハードワイヤード」または「ハード化（ｈａｒｄｅｎ）」される、すなわち、プログラマブルでない回路が、ＩＣの一部として製造される。プログラマブル回路とは異なり、ハードワイヤード回路または回路ブロックは、設定ビットストリームのローディングを通してＩＣの製造後に実装されない。ハードワイヤード回路は、概して、たとえば、設定ビットストリームを、ＩＣ、たとえば、ＰＲＯＣ７１０に最初にロードすることなしに機能可能である、専用回路ブロックおよび相互接続を有すると見なされる。

いくつかの事例では、ハードワイヤード回路は、ＩＣ内の１つまたは複数のメモリ要素に記憶されたレジスタセッティングまたは値に従ってセットまたは選択され得る１つまたは複数の動作モードを有し得る。動作モードは、たとえば、ＩＣへの設定ビットストリームのローディングを通してセットされ得る。この能力にもかかわらず、ハードワイヤード回路が、ＩＣの一部として製造されたとき、動作可能であり、特定の機能を有するので、ハードワイヤード回路はプログラマブル回路と見なされない。

ＳｏＣの場合、設定ビットストリームは、プログラマブル回路内に実装されるべきである回路と、ＰＲＯＣ７１０またはソフトプロセッサによって実行されるべきであるプログラムコードとを指定し得る。いくつかの場合には、アーキテクチャ７００は、適切な設定メモリおよび／またはプロセッサメモリに設定ビットストリームをロードする専用設定プロセッサを含む。専用設定プロセッサは、ユーザ指定のプログラムコードを実行しない。他の場合には、アーキテクチャ７００は、設定ビットストリームを受信し、設定ビットストリームを適切な設定メモリにロードし、および／または実行のためのプログラムコードを抽出するために、ＰＲＯＣ７１０を利用し得る。

図７は、プログラマブル回路、たとえば、プログラマブルファブリックを含むＩＣを実装するために使用され得る例示的なアーキテクチャを示すことを意図される。たとえば、１つの列中の論理ブロックの数、列の相対幅、列の数および順序、列中に含まれる論理ブロックのタイプ、論理ブロックの相対サイズ、および図７の上部に含まれる相互接続／論理実装形態は、例示にすぎない。実際のＩＣでは、たとえば、ＣＬＢの２つ以上の隣接する列は、一般に、ユーザ回路設計の効率的な実装を容易にするために、ＣＬＢが現れるところならどこでも含まれる。しかしながら、隣接するＣＬＢ列の数は、ＩＣの全体的サイズとともに変動し得る。さらに、ＩＣ内のＰＲＯＣ７１０などのブロックのサイズおよび／または位置決めは、例示のためのものにすぎず、限定として意図されていない。

説明されたように、アーキテクチャ７００またはアーキテクチャ７００と同様のアーキテクチャを使用して実装されるＩＣは、本明細書で説明されるストリーミングアーキテクチャを実装するために使用され得る。１つまたは複数の実施形態では、エンドポイント１０８、ＤＭＡ１１０、ストリームトラフィックマネージャ２１２、衛星ストリームトラフィックマネージャ４１２、相互接続２１４および２１６、バッファ２１８～２３２、ならびにカーネル回路２３４は、プログラマブル回路を使用して実装され得る。１つまたは複数の他の実施形態では、エンドポイント１０８、ＤＭＡ１１０、および／または相互接続などの回路ブロックのうちの選択された回路ブロックが、ハード化されたまたはハードワイヤード回路ブロックとして実装され得る。１つまたは複数の実施形態では、入力バッファおよび／または出力バッファはＡＸＩ４－ＳｔｒｅａｍデータＦＩＦＯとして実装され得る。

特定の実施形態では、ＩＣ１０４に位置するものとして説明される任意のバッファまたはキューが、より遅いオフチップＲＡＭを使用することとは対照的に、利用可能なメモリリソース（たとえば、ＢＲＡＭ）、またはＩＣ１０４内で利用可能な他の同様の回路ブロックを使用して実装され得る。たとえば、バッファ２１８～２３２、トラフィックストリームマネージャ２１２中のキュー、および／またはＤＭＡ１１０中のキューが、ＩＣ上で利用可能なメモリリソースを使用して実装され得る。

本明細書で説明されるアーキテクチャは、限定ではなく、例示の目的で提供される。たとえば、ＩＣは、図に示されているカーネル回路よりも少ないまたは多いカーネル回路を含み得る。さらに、ＩＣのプログラマブル回路を使用して実装されるカーネル回路の数に基づいて、ドライバ中のキューの数およびＩＣ内に実装されるバッファ中のキューの数が変動することになる。

説明のために、特定の名称が、本明細書で開示される様々な発明概念の完全な理解を提供するために記載される。しかしながら、本明細書で使用される専門用語は、本発明の構成の特定の態様を説明するためのものにすぎず、限定するものではない。

本明細書で定義される単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が別段に明確に示さない限り、複数形をも含むものとする。

本明細書で定義される「約」という用語は、正確ではないが、ほぼ正しいまたは厳密である、値または量が近い、を意味する。たとえば、「約」という用語は、具陳された特性、パラメータ、または値が、厳密な特性、パラメータ、または値の所定の量内にあることを意味し得る。

本明細書で定義される「少なくとも１つ」、「１つまたは複数」、および「および／または」という用語は、別段に明記されていない限り、運用において連言的と選言的の両方である、オープンエンド表現である。たとえば、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」、「Ａ、Ｂ、およびＣのうちの１つまたは複数」、「Ａ、Ｂ、またはＣのうちの１つまたは複数」、および「Ａ、Ｂ、および／またはＣ」という表現の各々は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢを一緒に、ＡとＣを一緒に、ＢとＣを一緒に、またはＡとＢとＣを一緒に、を意味する。

本明細書で定義される「自動的に」という用語は、ユーザ介入なしに、を意味する。本明細書で定義される「ユーザ」という用語は、人間を意味する。

本明細書で定義される「コンピュータ可読記憶媒体」という用語は、命令実行システム、装置、またはデバイスが使用するための、あるいはそれとともに使用するためのプログラムコードを含んでいるかまたは記憶する記憶媒体を意味する。本明細書で定義される「コンピュータ可読記憶媒体」は、それ自体は、一時的な伝搬信号でない。コンピュータ可読記憶媒体は、限定はしないが、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または上記の任意の好適な組合せであり得る。本明細書で説明される、様々な形態のメモリが、コンピュータ可読記憶媒体の例である。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、ポータブルコンピュータディスケット、ハードディスク、ＲＡＭ、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電子的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスクなどを含み得る。

本明細書で定義される「する場合（ｉｆ）」という用語は、文脈に応じて、「するとき（ｗｈｅｎ）」または「すると（ｕｐｏｎ）」または「に応答して（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ）」または「に反応して（ｒｅｓｐｏｎｓｉｖｅ ｔｏ）」を意味する。したがって、「それが決定された場合」または「［述べられた条件またはイベント］が検出された場合」という句は、文脈に応じて、「決定すると」または「決定したことに応答して」あるいは「［述べられた条件またはイベント］を検出すると」または「［述べられた条件またはイベント］を検出したことに応答して」または「［述べられた条件またはイベント］を検出したことに反応して」を意味すると解釈され得る。

本明細書で定義される「に反応して」という用語および上記で説明されたような同様の言い回し、たとえば、「する場合」、「するとき」、または「すると」は、アクションまたはイベントに容易に応答または反応することを意味する。応答または反応は、自動的に実施される。したがって、第２のアクションが第１のアクション「に反応して」実施される場合、第１のアクションの発生と第２のアクションの発生との間に因果関係がある。「に反応して」という用語は、因果関係を示す。

本明細書で定義される「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」、「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、「１つまたは複数の実施形態」、「特定の実施形態」という用語、または同様の言い回しは、実施形態に関して説明される特定の特徴、構造、または特性が、本開示内で説明される少なくとも１つの実施形態に含まれることを意味する。したがって、本開示全体にわたる、「一実施形態では（ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」、「一実施形態では（ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、「１つまたは複数の実施形態では」、「特定の実施形態では」という句、および同様の言い回しの出現は、必ずしもそうとは限らないが、すべて、同じ実施形態を指し得る。「実施形態」および「構成」という用語は、本開示内では互換的に使用される。

本明細書で定義される「プロセッサ」という用語は、プログラムコード中に含まれている命令を行うことが可能な少なくとも１つのハードウェア回路を意味する。ハードウェア回路は集積回路であり得る。プロセッサの例は、限定はしないが、中央処理ユニット（ＣＰＵ）、アレイプロセッサ、ベクトルプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、およびコントローラを含む。

本明細書で定義される「出力」という用語は、物理メモリ要素、たとえば、デバイスに記憶すること、ディスプレイまたは他の周辺出力デバイスに書き込むこと、別のシステムに送出することまたは送信すること、エクスポートすることなどを意味する。

本明細書で定義される「実質的に」という用語は、具陳された特性、パラメータ、または値が正確に達成される必要がないこと、ただし、たとえば、当業者に知られている許容差、測定誤差、測定精度限界、および他のファクタを含む、偏差または変動が、特性が提供することを意図された効果を妨げない量で生じ得ることを意味する。

第１の、第２のなどの用語は、様々な要素を説明するために本明細書で使用され得る。これらの用語は、別段に述べられていない限り、または文脈が別段に明確に示さない限り、ある要素を別の要素と区別するために使用されるにすぎないので、これらの要素はこれらの用語によって限定されるべきでない。

コンピュータプログラム製品は、プロセッサに本明細書で説明される本発明の構成の態様を行わせるためのコンピュータ可読プログラム命令をその上に有する（１つまたは複数の）コンピュータ可読記憶媒体を含み得る。本開示内では、「プログラムコード」という用語は、「コンピュータ可読プログラム命令」という用語と互換的に使用される。本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、あるいはネットワーク、たとえば、インターネット、ＬＡＮ、ＷＡＮおよび／またはワイヤレスネットワークを介して外部コンピュータまたは外部記憶デバイスにダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ファイバー、ワイヤレス送信、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを含むエッジデバイスを含み得る。各コンピューティング／処理デバイス中のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、そのコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するためにフォワーディングする。

本明細書で説明される本発明の構成のための動作を行うためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、あるいは、オブジェクト指向プログラミング言語および／または手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組合せで書き込まれたソースコードまたはオブジェクトコードのいずれかであり得る。コンピュータ可読プログラム命令は、状態セッティングデータを含み得る。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上でおよび部分的にリモートコンピュータ上で、あるいは完全にリモートコンピュータまたはサーバ上で実行し得る。後者のシナリオでは、リモートコンピュータは、ＬＡＮまたはＷＡＮを含む任意のタイプのネットワークを通してユーザのコンピュータに接続され得るか、あるいは接続は、（たとえば、インターネットサービスプロバイダを使用してインターネットを通して）外部コンピュータに対して行われ得る。いくつかの場合には、たとえば、プログラマブル論理回路、ＦＰＧＡ、またはＰＬＡを含む電子回路が、本明細書で説明される本発明の構成の態様を実施するために、電子回路を個人化するためにコンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行し得る。

本発明の構成のいくつかの態様が、方法、装置（システム）、およびコンピュータプログラム製品のフローチャート例示図および／またはブロック図を参照しながら本明細書で説明された。フローチャート例示図および／またはブロック図の各ブロック、ならびにフローチャート例示図および／またはブロック図中のブロックの組合せが、コンピュータ可読プログラム命令、たとえば、プログラムコードによって実装され得ることを理解されよう。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または機械を製造するための他のプログラマブルデータ処理装置のプロセッサに提供され得、その結果、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行する命令は、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／行為を実装するための手段を作成する。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラマブルデータ処理装置、および／または他のデバイスに特定の様式で機能するように指示することができるコンピュータ可読記憶媒体に記憶され得、その結果、命令が記憶されたコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された動作の態様を実装する命令を含む製造品を備える。

コンピュータ可読プログラム命令はまた、コンピュータ実装プロセスを作り出すために、一連の動作をコンピュータ、他のプログラマブルデータ処理装置または他のデバイス上で実施させるように、コンピュータ、他のプログラマブル装置、または他のデバイスにロードされ得、その結果、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行する命令は、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／行為を実装する。

図中のフローチャートおよびブロック図は、本発明の構成の様々な態様によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示す。この点について、フローチャートまたはブロック図中の各ブロックは、指定された動作を実装するための１つまたは複数の実行可能な命令を備える、命令のモジュール、セグメント、または部分を表し得る。

いくつかの代替実装形態では、ブロック中で言及される動作は、図中で言及される順序から外れて行われ得る。たとえば、関与する機能性に応じて、連続して示されている２つのブロックが、実質的にコンカレントに実行され得るか、またはブロックが、時々、逆の順序で実行され得る。他の例では、ブロックは、概して小さい数字から順に実施され得、さらに他の例では、１つまたは複数のブロックは、変動順で実施され得、結果は、記憶され、後続の、または直後にこない他のブロックにおいて利用される。また、ブロック図および／またはフローチャート例示図の各ブロック、ならびにブロック図および／またはフローチャート例示図中のブロックの組合せが、指定された機能または行為を実施するかあるいは専用ハードウェアとコンピュータ命令との組合せを行う専用ハードウェアベースシステムによって実装され得ることに留意されたい。

以下の特許請求の範囲において見られ得るすべての手段またはステップおよび機能要素の対応する構造、材料、行為、および等価物は、特に主張されるように、他の請求される要素と組み合わせて機能を実施するための任意の構造、材料、または行為を含むことを意図される。

本明細書で提供される本発明の構成の説明は、例示のためであり、網羅的なものでも、開示される形式および例に限定されるものでもない。本明細書で使用される専門用語は、本発明の構成の原理、実際的適用例、または市場で見られる技術に対する技術的改善を説明するために、および／あるいは、他の当業者が本明細書で開示される本発明の構成を理解することを可能にするために選定された。説明される本発明の構成の範囲および趣旨から逸脱することなく、修正および変形が当業者に明らかになり得る。したがって、そのような特徴および実装形態の範囲を示すものとして、上記の開示に対してではなく、以下の特許請求の範囲に対して参照が行われるべきである。

Claims (15)

1. ホストシステムと通信するように設定された通信インターフェースと、
   前記通信インターフェースに結合された直接メモリアクセス回路と、
   プログラマブル回路を使用して実装されるカーネル回路と、
   前記直接メモリアクセス回路と前記カーネル回路とに結合されたストリームトラフィックマネージャ回路であって、前記ストリームトラフィックマネージャ回路が、前記ホストシステムと前記カーネル回路との間で交換されるデータストリームを制御するように設定された、ストリームトラフィックマネージャ回路と
   を備える、集積回路。
2. 前記ストリームトラフィックマネージャ回路から、パケット化されたデータを受信し、前記パケット化されたデータを前記カーネル回路に配信するように設定された第１の相互接続と、
   前記カーネル回路からデータを受信し、前記データを前記ストリームトラフィックマネージャ回路に提供するように設定された第２の相互接続と
   をさらに備える、請求項１に記載の集積回路。
3. 前記第１の相互接続の出力ポートと前記カーネル回路の入力ポートとに結合された入力バッファであって、前記入力バッファが、前記パケット化されたデータを一時的に記憶し、前記パケット化されたデータをデータストリームに変換し、前記データストリームを前記カーネル回路に提供するように設定された、入力バッファ
   をさらに備え、
   前記ストリームトラフィックマネージャ回路は、前記入力バッファが、利用可能なスペースを有すると決定したことに応答して、前記カーネル回路へのデータ転送を始動する、請求項２に記載の集積回路。
4. 前記カーネル回路の出力ポートと前記ストリームトラフィックマネージャ回路の入力ポートとに結合された出力バッファであって、前記出力バッファが、前記カーネル回路から出力されたデータストリームを一時的に記憶し、前記データストリームを、パケット化されたデータに変換し、前記パケット化されたデータを前記第２の相互接続に提供するように設定された、出力バッファ
   をさらに備え、
   前記ストリームトラフィックマネージャ回路は、前記出力バッファに対応する、前記ホストシステムにおけるバッファが、利用可能なスペースを有し、前記出力バッファが少なくとも１つの完全なパケットを含むと決定したことに応答して、前記カーネル回路から前記ホストシステムへのデータ転送を始動する、請求項３に記載の集積回路。
5. 前記カーネル回路が、前記プログラマブル回路において実装される複数のカーネル回路のうちの１つであり、前記ストリームトラフィックマネージャ回路が、前記複数のカーネル回路の各々に結合され、前記複数のカーネル回路と交換されるデータストリームをインターリーブするように設定された、請求項１に記載の集積回路。
6. 前記複数のカーネル回路の各カーネル回路が、バッファおよび相互接続を通して前記ストリームトラフィックマネージャ回路に結合され、前記ストリームトラフィックマネージャ回路が、各それぞれのカーネル回路に対応する前記バッファのスペース利用可能性に基づいて、前記複数のカーネル回路の各々にデータをストリーミングするためのラウンドロビンアービトレーション方式を実装する、請求項５に記載の集積回路。
7. プログラマブル回路において実装される第１のカーネル回路と、
   プログラマブル回路において実装される第２のカーネル回路と、
   前記第１のカーネル回路と前記第２のカーネル回路とに結合されたストリームトラフィックマネージャ回路であって、前記ストリームトラフィックマネージャ回路が、前記第１のカーネル回路と前記第２のカーネル回路との間で交換されるデータストリームを制御するように設定された、ストリームトラフィックマネージャ回路と
   を備える、集積回路。
8. 前記第１のカーネル回路から前記第２のカーネル回路に送出される選択されたデータストリームが、前記第２のカーネル回路についての帯域内命令を含む、請求項７に記載の集積回路。
9. 前記第１のカーネル回路が、第１の入力バッファと第１の出力バッファとを通して第１の相互接続に結合され、
   前記第２のカーネル回路が、第２の入力バッファと第２の出力バッファとを通して第２の相互接続に結合され、
   前記第１の相互接続と前記第２の相互接続とが前記ストリームトラフィックマネージャ回路に結合される、請求項７に記載の集積回路。
10. 前記ストリームトラフィックマネージャ回路が、選択されたデータストリームを、前記集積回路に結合されたホストシステムから前記第１のカーネル回路にまたは前記第２のカーネル回路に直接提供し、結果データストリームを、前記第１のカーネル回路または前記第２のカーネル回路から前記ホストシステムに提供するように設定された、請求項７に記載の集積回路。
11. 前記選択されたデータストリームが、前記第１のカーネル回路または前記第２のカーネル回路についての帯域内命令を含む、請求項１０に記載の集積回路。
12. 前記第１のカーネル回路が前記集積回路の第１のダイに位置し、前記第２のカーネル回路が前記集積回路の第２のダイに位置する、請求項７に記載の集積回路。
13. 前記ストリームトラフィックマネージャ回路が前記第１のダイに位置する、請求項１２に記載の集積回路。
14. 前記第２のダイ内の前記第２のカーネル回路の入力ポートに結合され、前記第２のカーネル回路にストリーミングされるデータを一時的に記憶するように設定された入力バッファと、
    前記第１のダイ内の前記第１のカーネル回路の出力ポートに結合され、前記第１のカーネル回路から出力されたデータを一時的に記憶するように設定された出力バッファと
    をさらに備え、
    前記ストリームトラフィックマネージャ回路は、前記入力バッファが、利用可能なスペースを有し、前記出力バッファがデータを記憶していると決定したことに応答して、前記第１のカーネル回路から前記第２のカーネル回路へのデータ転送を始動するように設定された、請求項１２に記載の集積回路。
15. 前記第１のダイ内の前記第１のカーネル回路の入力ポートに結合され、前記第１のカーネル回路にストリーミングされるデータを一時的に記憶するように設定された入力バッファと、
    前記第２のダイ内の前記第２のカーネル回路の出力ポートに結合され、前記第２のカーネル回路から出力されたデータを一時的に記憶するように設定された出力バッファと
    をさらに備え、
    前記ストリームトラフィックマネージャ回路は、前記入力バッファが、利用可能なスペースを有し、前記出力バッファがデータを記憶していると決定したことに応答して、前記第２のカーネル回路から前記第１のカーネル回路へのデータ転送を始動するように設定された、請求項１２に記載の集積回路。

Images