JP2022541899A - 畳み込みニューラルネットワークを実装するための構成可能なプロセッサ - Google Patents

Abstract

ＣＮＮを実装するための構成可能なプロセッサが提供される。そのような構成可能なＣＮＮプロセッサの１つは、複数のコア計算回路要素であって、各々が予め選択されたデータフローグラフに従ってＣＮＮ関数を実行するように構成される、複数のコア計算回路要素と、アクティブメモリバッファと、アクティブメモリバッファと複数のコア計算回路要素との間の複数の接続であって、各々が予め選択されたデータフローグラフに従って確立される、複数の接続と、複数のコア計算回路要素間の複数の接続であって、各々が予め選択されたデータフローグラフに従って確立される、複数の接続とを備え、アクティブメモリバッファが、予め選択されたデータフローグラフに従って、アクティブメモリバッファを介して複数のコア計算回路要素間でデータを移動させるように構成されている。【選択図】図１

Description

本明細書に記載の主題は、概して、機械学習および畳み込みニューラルネットワーク（ＣＮＮ）に関する。より詳細には、本明細書に記載の主題は、ＣＮＮを実装するための構成可能なプロセッサに関する。

関連出願との相互参照
本出願は、２０２０年５月１５日に出願された、代理人整理番号ＳＩＮＨＡ－１００３Ｐ２を有する「Ｄｉｒｅｃｔ Ｃｏｎｖｅｒｓｉｏｎ ｏｆ Ｒａｗ Ｉｍａｇｅ Ｓｅｎｓｏｒ Ｉｎｐｕｔ（Ｂａｙｅｒ－Ｐａｔｔｅｍ）ｔｏ Ｉｍａｇｅ／Ｖｉｄｅｏ Ａｎａｌｙｔｉｃｓ ｕｓｉｎｇ ａ Ｓｉｎｇｌｅ ＣＮＮ」という名称の米国仮出願第６３／０２５，５８０号、２０１９年１１月２７日に出願された、代理人整理番号ＳＩＮＨＡ－１００３Ｐ１を有する「Ｄｉｒｅｃｔ Ｃｏｎｖｅｒｓｉｏｎ ｏｆ Ｒａｗ Ｉｍａｇｅ Ｓｅｎｓｏｒ Ｉｎｐｕｔ（Ｂａｙｅｒ－Ｐａｔｔｅｒｎ）ｔｏ Ｉｍａｇｅ／Ｖｉｄｅｏ Ａｎａｌｙｔｉｃｓ ｕｓｉｎｇ ａ Ｓｉｎｇｌｅ ＣＮＮ」という名称の米国仮出願第６２／９４１，６４６号、並びに、２０１９年７月１９日に出願された、代理人整理番号ＳＩＮＨＡ－１００２Ｐ２を有する「Ｐｒｏｇｒａｍｍａｂｌｅ Ｆｕｎｃｔｉｏｎａｌ Ａｒｒａｙ（ＰＦＡ）Ｐｒｏｃｅｓｓｏｒ ｆｏｒ ＣＮＮｓ」という名称の米国仮出願第６２／８７６，２１９号の優先権と利益を主張するものであり、それぞれの内容全体は引用により本明細書に援用されるものとする。

ディープラーニング（深層学習）は、深層構造化学習または階層学習とも呼ばれることがあり、人工ニューラルネットワークに基づく機械学習方法の幅広いファミリの一部である。学習には、教師あり、半教師ありまたは教師なしがある。ディープニューラルネットワーク、ディープビリーフネットワーク、リカレントニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）などのディープラーニングアーキテクチャは、画像分類や自然言語処理などの多くの分野に適用されており、人間の専門家に匹敵する結果を生み出している。例えば、ディープラーニングは、物体認識、セマンティックセグメンテーション、画像キャプション、人間の姿勢推定などの画像認識およびビジョンタスクにおいて、最先端のパフォーマンスをもたらしている。これらの成果の殆どは、複雑な階層的特徴表現を学習することができるＣＮＮの使用に起因し得る。

ＣＮＮの複雑さが増すに連れて、ハードウェア要件は最先端の実装に課題をもたらしている。メモリ、計算および消費電力などのリソースに対する実際的な制限によって、非常に深く効率的なニューラルネットワークの探索が妨げられている。今日使用されるＣＮＮの計算を高速化するための一般的なアプローチには、グラフィカル処理ユニット（ＧＰＵ）、さらにはカスタムハードウェアソリューションの使用が含まれる場合がある。

Ｍｉｃｒｏｓｏｆｔ Ｒｅｓｅａｒｃｈの２０１５年の記事では、専用のハードウェアを使用して深い畳み込みニューラルネットワークを高速化することに焦点が当てられている。２０１６年の記事では、ＹｏｄａＮＮと呼ばれるバイナリウェイトベースの超低消費電力の畳み込みニューラルネットワークアクセラレータが紹介されている。２０１７年の記事では、スループットが２．２倍（例えば、２．２倍）、エネルギー効率が２．３倍、チップ面積の使用量が２６～３５％減少したと主張して、ＣＮＮアクセラレータを打ち負かしたとされる再構成可能アーキテクチャが紹介されている。ＣＮＮは、通常はバックプロパゲーションを用いて、ラベル付けされた例のセットに対して正しい出力を生成するようにトレーニングされる。ネットワークのトレーニングは通常、グラフィカル処理ユニット（ＧＰＵ）や高度に専門化されたサーバ指向のアーキテクチャなどのハードウェアプラットフォームで行われる。

最先端（ＳＯＡ）トレーニング済みＣＮＮにおける推論は、計算コストが高く、典型的には画像あたり数十億回の乗算－積算（ＭＡＣ）演算を使用する。ＣＮＮの推論を実行するためにモバイルプロセッサまたはモバイルＧＰＵを使用すると、電力に制約のあるモバイルプラットフォームでは、非常に費用がかかる可能性がある。例えば、モバイル自動運転支援（ＡＤＡＳ）アプリケーションを対象とするＮＶＩＤＩＡ Ｔｅｇｒａ Ｘ１ ＧＰＵプラットフォームは、計算効率の高いセマンティックセグメンテーションＣＮＮを通じて、６４０×３６０のカラー入力フレームを１５ヘルツ（Ｈｚ）のレートで処理できることが報告されている。このため、このＣＮＮを介して各フレームを処理するには、約２０億回のＭＡＣ演算が必要と考えられる。したがって、ＧＰＵは、約１０ワット（Ｗ）の消費電力で、１秒あたり約６００億（ギガ）演算（ＧＯｐｓ／ｓ）を実行する。よって、アプリケーションレベルでは、このＧＰＵは約６ＧＯｐｓ／Ｗの電力効率を達成しているが、これは理論上の最大パフォーマンスの約６％に過ぎない。その結果、ネットワークに必要なＧＯｐｓ／フレームが２未満である場合、ＮＶＩＤＩＡソリューションは、１秒あたり僅か３０フレーム（ＦＰＳ）でＣＮＮを処理することができる。

ハードウェアアクセラレータに関連するＣＮＮ研究の重要な進展は、低精度の重み、活性化、時には逆伝播勾配を用いるＣＮＮのトレーニング方法の使用である。低精度のパラメータおよび正規化線形ユニット（ＲｅＬＵ）活性化関数を使用するネットワークをトレーニングすると、活性化のスパース性が最大で５０％増加する可能性がある。スパースなネットワークは推論時の計算とメモリアクセスを最小化するのに有効である。いくつかの専用アクセラレータが、このスパース性を既に利用していることが報告されている。例えば、ＮｕｌｌＨｏｐと呼ばれるＣＮＮハードウェアアクセラレータは、活性化のスパース性を利用している。ＧｒｏｑのＣＮＮ推論アクセラレータの電力最適化実装では、１Ｗあたり毎秒８テラオペレーション（ＴＯＰＳ）の消費電力が報告されており、非常に効率的である。別の効率的なＣＮＮ推論アクセラレータは、Ｇｙｒｆａｌｃｏｎ技術により９．３ＴＯＰＳ／Ｗの電力消費を有すると報告されている。

しかしながら、ＣＮＮプロセッサまたはアクセラレータに対する上述したアプローチは、１または複数の欠陥に悩まされている。例えば、多くの場合、外部メモリの使用を必要とするアーキテクチャを使用する。また、上述したアプローチの各々は、リアルタイム要件に対応しないアーキテクチャを使用するか、かつ／またはＣＮＮアーキテクチャにあまり適していない。結果として、それらの欠点に対処する改良されたＣＮＮプロセッサの必要性が存在する。

以下に、本開示のいくつかの態様の簡略化された概要を、そのような態様の基本的な理解を提供するために示している。この概要は、本開示のすべての想定される特徴の広範な概要ではなく、本開示のすべての態様の主要または重要な要素を特定することも、本開示のいずれかの態様またはすべての態様の範囲を明確にすることも意図されていない。その唯一の目的は、後に提示されるより詳細な説明の前段階として、本開示のいくつかの態様の様々な概念を簡略化した形式で提示することである。

一態様において、本開示は、畳み込みニューラルネットワーク（ＣＮＮ）の実装専用の構成可能なプロセッサを提供し、この構成可能なプロセッサが、複数のコア計算回路要素であって、各々が予め選択されたデータフローグラフに従ってＣＮＮ関数を実行するように構成される、複数のコア計算回路要素と、アクティブメモリバッファと、アクティブメモリバッファと複数のコア計算回路要素との間の複数の接続であって、各々が予め選択されたデータフローグラフに従って確立される、複数の接続と、複数のコア計算回路要素間の複数の接続であって、各々が予め選択されたデータフローグラフに従って確立される、複数の接続とを備え、アクティブメモリバッファが、予め選択されたデータフローグラフに従って、アクティブメモリバッファを介して複数のコア計算回路要素間でデータを移動させるように構成されている。

一態様において、予め選択されたデータフローグラフは、予め選択されたＣＮＮに基づくものである。

一態様において、複数のコア計算回路要素の各々は、命令セットを使用せずに、予め選択されたデータフローグラフに従ってＣＮＮ関数を実行するように構成されている。

一態様において、複数のコア計算回路要素のうちの少なくとも２つは、互いに非同期で動作するように構成されている。

一態様において、アクティブメモリバッファおよび複数のコア計算回路要素の各々は、互いに非同期で動作するように構成されている。

一態様において、複数のコア計算回路要素の各々は、ＣＮＮ関数を実行する専用のものである。

一態様において、複数のコア計算回路要素の各々は、構成可能なプロセッサの実行時間の前に、ＣＮＮ関数を実行するように構成されている。

一態様において、複数のコア計算回路要素の各々は、ＣＮＮ関数のレイヤを計算するように構成されている。

一態様において、複数のコア計算回路素子の各々は、ＣＮＮ全体を計算するように構成されている。

一態様において、複数のコア計算回路要素の各々は、推論とトレーニングの両方のためにＣＮＮ関数を実行するように構成されている。

一態様において、複数のコア計算回路要素の各々は、ＣＮＮ関数を実行するために使用される重みを格納するように構成されたメモリを備える。

一態様において、アクティブメモリバッファと複数のコア計算回路要素との間の複数の接続は、コンパイル時に確立されて、構成可能なプロセッサの実行時に固定され、複数のコア計算回路要素間の複数の接続は、コンパイル時に確立されて、実行時に固定される。

一態様において、本開示は、プロセッサアレイをさらに提供し、このプロセッサアレイは、上記のような複数の構成可能なプロセッサと、相互接続回路と、複数の構成可能なプロセッサおよび／または相互接続回路間の複数の接続であって、各々が予め選択されたデータフローグラフに従って確立される複数の接続とを備える。

一態様において、本開示は、システムをさらに提供し、このシステムが、モバイル・インダストリ・プロセッサ・インタフェース（ＭＩＰＩ）ソースと、ＭＩＰＩシンクと、ＭＩＰＩソースとＭＩＰＩシンクとの間に結合されたＭＩＰＩバスと、上記のような構成可能なプロセッサであって、ＭＩＰＩバス上のすべてのデータが構成可能なプロセッサを通過するように、ＭＩＰＩバスに沿って直列に配置される構成可能なプロセッサとを備える。

一態様において、本システムは、ＳＰＩ、Ｉ２Ｃインターフェース、またはＵＡＲＴインターフェースのうちの少なくとも１つを含む非ＭＩＰＩ出力インターフェースをさらに備え、構成可能なプロセッサが、非ＭＩＰＩ出力インターフェースまたはＭＩＰＩバスのいずれかを使用して、外部デバイスに情報を送信するように構成されている。

一態様において、本開示は、システムをさらに提供し、このシステムが、センサデータを生成するように構成されたセンサと、上記のような構成可能なプロセッサであって、センサに直接結合され、センサデータに基づいて処理されたデータを生成するように構成された構成可能なプロセッサと、構成可能なプロセッサに直接結合され、処理されたデータの少なくとも一部を送信するように構成された無線送信機とを備える。一態様では、センサデータが、画像データを含み、処理されたデータが、画像データに基づいて生成された分類データを含み、無線送信機が、分類データを送信するように構成されている。

一態様において、本開示は、畳み込みニューラルネットワーク（ＣＮＮ）の実装に特化した構成可能なプロセッサを構成するための方法をさらに提供し、この方法が、予め選択されたデータフローグラフを受信するステップと、複数のコア計算回路要素の各々を、予め選択されたデータフローグラフに従ってＣＮＮ関数を実行するようにプログラミングするステップと、予め選択されたデータフローグラフに従って、アクティブメモリバッファをプログラミングするステップと、予め選択されたデータフローグラフに従って、アクティブメモリバッファと複数のコア計算回路要素との間の複数の接続をプログラミングするステップと、予め選択されたデータフローグラフに従って、複数のコア計算回路要素間の複数の接続をプログラミングするステップと、予め選択されたデータフローグラフに従って、メモリバッファを介して複数のコア計算回路要素間でデータを移動させるように、アクティブメモリバッファをプログラミングするステップとを備える。

一態様において、プログラミング動作の各々は、構成可能なプロセッサの実行時間の前に実行される。

一態様において、本方法は、複数のコア計算回路要素を動作させて、命令セットを使用せずに、ＣＮＮ関数を実行するステップと、命令セットを使用せずに、アクティブメモリバッファを動作させるステップとをさらに含む。

一態様において、予め選択されたデータフローグラフは、予め選択されたＣＮＮに基づくものである。

一態様において、本方法は、複数のコア計算回路要素のうちの少なくとも２つを互いに非同期で動作させるステップをさらに含む。

一態様において、本方法は、アクティブメモリバッファおよび複数のコア計算回路要素の各々を互いに非同期で動作させるステップをさらに備える。

一態様において、複数のコア計算回路素子の各々は、ＣＮＮ関数を実行する専用のものである。

一態様において、本方法は、構成可能なプロセッサの実行時に、複数のコア計算回路要素のそれぞれの１つにおいて、ＣＮＮ関数を実行するステップをさらに含む。

一態様において、本方法は、構成可能なプロセッサの実行時に、複数のコア計算回路要素のそれぞれの１つにおいて、ＣＮＮ関数のレイヤを計算するステップをさらに含む。

一態様において、本方法は、構成可能なプロセッサの実行時に、複数のコア計算回路要素のうちの少なくとも１つにおいてＣＮＮ全体を計算するステップをさらに含む。

一態様において、アクティブメモリバッファと複数のコア計算回路要素との間の複数の接続は、コンパイル時にプログラムされ、構成可能なプロセッサの実行時に固定され、複数のコア計算回路要素間の複数の接続は、コンパイル時にプログラムされ、実行時に固定される。

一態様において、複数のコア計算回路要素の各々は、推論とトレーニングの両方のためにＣＮＮ関数を実行するように構成されている。

一態様において、複数のコア計算回路要素の各々は、ＣＮＮ関数を実行するために使用される重みを格納するように構成されたメモリを備える。

一態様において、本開示は、畳み込みニューラルネットワーク（ＣＮＮ）の実装に特化した構成可能なプロセッサをさらに提供し、この構成可能なプロセッサが、予め選択されたデータフローグラフに従ってＣＮＮ関数を実行するための複数の手段と、データを格納するための手段と、予め選択されたデータフローグラフに従って、データを格納するための手段とＣＮＮ関数を実行するための複数の手段との間の接続を確立するための手段と、予め選択されたデータフローグラフに従って、ＣＮＮ関数を実行するための複数の手段間の接続を確立するための手段とを備え、データを格納するための手段が、予め選択されたデータフローグラフに従って、データを格納するための手段を介して、ＣＮＮ関数を実行するための複数の手段間でデータを移動させる手段を備える。

一態様において、本開示は、畳み込みニューラルネットワーク（ＣＮＮ）を実装することに特化した構成可能なプロセッサをさらに提供し、この構成可能なプロセッサが、モバイル・インダストリ・プロセッサ・インタフェース（ＭＩＰＩ）ソースに直接結合されるように構成されたＭＩＰＩ入力と、アプリケーションプロセッサに直接結合されるように構成されたＭＩＰＩ出力と、ＭＩＰＩ入力とＭＩＰＩ出力との間に結合されたＭＩＰＩバスと、ＭＩＰＩバス上のすべてのデータが構成可能なプロセッサを通過するように、ＭＩＰＩバスに沿って直列に配置された構成可能なＣＮＮサブプロセッサであって、ＭＩＰＩソースから画像データを受信し、画像データに基づいて処理されたデータを生成し、かつ、処理されたデータをアプリケーションプロセッサに提供するように構成された構成可能なＣＮＮサブプロセッサとを備える。

一態様において、構成可能なＣＮＮサブプロセッサは、予め選択されたＣＮＮを使用して、画像データに基づいて処理されたデータを生成するようにさらに構成されている。

一態様において、構成可能なＣＮＮサブプロセッサは、カスケード構成にある複数の構成可能なＣＮＮサブプロセッサを含む。

一態様において、構成可能なＣＮＮサブプロセッサは、ＭＩＰＩバスを介してアプリケーションプロセッサに処理されたデータを提供するように構成されている。

一態様において、構成可能なＣＮＮサブプロセッサは、複数のコア計算回路要素であって、各々が予め選択されたデータフローグラフに従ってＣＮＮ関数を実行するように構成された、複数のコア計算回路要素と、アクティブメモリバッファと、アクティブメモリバッファと複数のコア計算回路要素との間の複数の接続であって、各々が予め選択されたデータフローグラフに従って確立される、複数の接続と、複数のコア計算回路要素間の複数の接続であって、各々が予め選択されたデータフローグラフに従って確立される、複数の接続とを備え、アクティブメモリバッファが、予め選択されたデータフローグラフに従って、アクティブメモリバッファを介して複数のコア計算回路要素間でデータを移動するように構成されている。

一態様において、構成可能なＣＮＮサブプロセッサは、ＳＰＩ、Ｉ２ＣインターフェースまたはＵＡＲＴインターフェースのうちの少なくとも１つを含む非ＭＩＰＩ出力インターフェースをさらに備え、構成可能なプロセッサが、非ＭＩＰＩ出力インターフェースまたはＭＩＰＩバスのいずれかを使用して、アプリケーションプロセッサに情報を送信するように構成されている。

図１は、本開示のいくつかの態様に係る、アクティブメモリバッファおよび複数のコア計算要素を含む、畳み込みニューラルネットワーク（ＣＮＮ）を実装するための例示的な構成可能なプロセッサを示すブロック図である。 図２は、本開示のいくつかの態様に係る、ＣＮＮを実装するための構成可能なプロセッサを構成するためのプロセスを示すフローチャートである。 図３は、本開示のいくつかの態様に係る、プログラマブル機能ユニット（ＰＦＵ）として具現化されたＣＮＮを実装するための例示的な構成可能なプロセッサを示すブロック図である。 図４は、本開示のいくつかの態様に係る、複数のＰＦＵを含むプログラマブル機能アレイ（ＰＦＡ）として具現化された構成可能なＣＮＮプロセッサを示すブロック図である。 図５は、本開示のいくつかの態様に係る、カスケード構成の複数のＰＦＡを含むシステムとして具現化された構成可能なＣＮＮプロセッサを示すブロック図である。 図６は、本開示のいくつかの態様に係る構成可能なＣＮＮプロセッサ内で使用するための例示的なアクティブメモリバッファを示すブロック図である。 図７は、本開示のいくつかの態様に係る、アクティブメモリバッファのための例示的なメモリ構成を示す斜視図である。 図８は、本開示のいくつかの態様に係る、アクティブメモリバッファからコア計算要素にデータを送信するための例示的なプロトコルを示すタイミング図である。 図９は、本開示のいくつかの態様に係る、アクティブメモリバッファでコア計算要素からデータを受信するための例示的なプロトコルを示すタイミング図である。 図１０は、本開示のいくつかの態様に係る構成可能なＣＮＮプロセッサ内で使用するための例示的なコア計算要素を示すブロック図である。 図１１は、本開示のいくつかの態様に係る、コア計算要素内で使用するための例示的な制御ユニットを示すブロック図である。 図１２は、本開示のいくつかの態様に係る例示的なＣＮＮを示す図である。 図１３は、本開示のいくつかの態様に係る、図１２の例示的なＣＮＮの畳み込み演算を示すブロック図である。 図１４は、本開示のいくつかの態様に係る、図１２の例示的なＣＮＮのフォワードパスおよびバックプロパゲーションパスを示すブロック図である。 図１５は、本開示のいくつかの態様に係る、ＣＮＮの一部をコア計算要素にマッピングするための３つの例示的な変換を示すブロック図である。 図１６は、本開示のいくつかの態様に係る、複数のラインバッファを使用するコア計算要素への図１２の例示的なＣＮＮの可能性のあるマッピングを示すブロック図である。 図１７は、本開示のいくつかの態様に係る、ラインバッファがアクティブメモリバッファに集約される、図１２の例示的なＣＮＮのコア計算要素への可能性のあるマッピングの単一のブロック図である。 図１８は、本開示のいくつかの態様に係る、ラインバッファがアクティブメモリバッファに集約される、図１２の例示的なＣＮＮのコア計算要素への可能性のあるマッピングの単一のブロック図である。 図１９は、本開示のいくつかの態様に係る構成可能なＣＮＮプロセッサにマッピングされる第１の例示的なＣＮＮを示すブロック図である。 図２０は、本開示のいくつかの態様に係る、図１９の第１の例示的なＣＮＮを使用する構成可能なＣＮＮプロセッサの結果としてのマッピングを示すブロック図である。 図２１は、本開示のいくつかの態様に係る構成可能なＣＮＮプロセッサにマッピングされる第２の例示的なＣＮＮを示すブロック図である。 図２２は、本開示のいくつかの態様に係る、図２１の第２の例示的なＣＮＮを使用する構成可能なＣＮＮプロセッサの結果としてのマッピングを示すブロック図である。 図２３は、本開示のいくつかの態様に係る構成可能なＣＮＮプロセッサにマッピングされる第３の例示的なＣＮＮを示すブロック図である。 図２４は、本開示のいくつかの態様に係る、図２３の第３の例示的なＣＮＮを使用する構成可能なＣＮＮプロセッサの結果としてのマッピングを示すブロック図である。 図２５は、本開示のいくつかの態様に係る、ＭＩＰＩアプリケーションにおける構成可能なＣＮＮプロセッサの第１のユースケースを示すブロック図である。 図２６は、本開示のいくつかの態様に係る、ＭＩＰＩアプリケーションにおける構成可能なＣＮＮプロセッサの第２のユースケースを示すブロック図である。 図２７は、本開示のいくつかの態様に係る、ＭＩＰＩアプリケーションにおける構成可能なＣＮＮプロセッサの第３のユースケースを示すブロック図である。 図２８は、本開示のいくつかの態様に係る、ＭＩＰＩアプリケーションにおける構成可能なＣＮＮプロセッサの第４のユースケースを示すブロック図である。 図２９は、本開示のいくつかの態様に係る、ダイレクトセンサインターフェースアプリケーションにおける構成可能なＣＮＮプロセッサの第５のユースケースを示すブロック図である。 図３０は、本開示のいくつかの態様に係る、ＭＩＰＩアプリケーションにおいて構成可能なＣＮＮプロセッサを動作させるためのプロセスを示すフローチャートである。

ここで図面を参照すると、畳み込みニューラルネットワーク（ＣＮＮ）を実装するための構成可能なプロセッサの実施形態が示されている。これらの構成可能なプロセッサは、ＣＮＮを実装するための専用とすることができ、複数のコア計算回路要素であって、各々が（例えば、予め選択されたＣＮＮに対応する）予め選択されたデータフローグラフに従ってＣＮＮ関数を実行するように構成される複数のコア計算回路要素と、アクティブメモリバッファと、アクティブメモリバッファと複数のコア計算回路要素との間の接続であって、各々が予め選択されたデータフローグラフに従って確立される接続と、複数のコア計算回路要素間の接続であって、各々が予め選択されたデータフローグラフに従って確立される接続とを含むことができ、アクティブメモリバッファが、予め選択されたデータフローグラフに従って、アクティブメモリバッファを介して複数のコア計算回路要素間でデータを移動するよう構成されている。したがって、これらの構成可能なプロセッサは、ＣＮＮを実装するために特別に構成されていない従来の命令セットアーキテクチャ（ＩＳＡまたはロード／ストアアーキテクチャ）タイプのプロセッサの落とし穴を回避しつつ、ＣＮＮ関数の効率的なパフォーマンスを可能にするアーキテクチャを含むことができる。

概要
ＧｒｏｑおよびＧｙｒｆａｌｃｏｎについて上述したアーキテクチャの欠点の一つは、これらのアーキテクチャが単に従来のロード／ストアアーキテクチャパラダイムを提供するだけであり、ＣＮＮアーキテクチャに特化していないことである。従来のロード／ストアアーキテクチャは、意図するタスクを事前にプログラムする個別のメカニズムを有するが、操作されるデータは通常のデータパスアーキテクチャによって個別に処理される。本明細書で説明する構成可能なＣＮＮプロセッサアーキテクチャでは、プログラム制御シーケンスの主要部分をデータフロー自体に注入し、非常に効率的なプロセッサとすると同時に、ＣＮＮの処理に高度に特化したものとなっている。

１つの設計目標は、様々なＣＮＮアーキテクチャを計算することを意図したプロセッサアーキテクチャを開発することである。理想的には、このアーキテクチャは、低コスト、低電力であり、外部メモリにアクセスすることなくリアルタイムでＣＮＮアーキテクチャを処理できる必要がある。一態様では、本明細書に記載の構成可能なＣＮＮプロセッサが、ＣＮＮアーキテクチャを計算するために、システムに対するコプロセッサとして使用され得る。これにより、プロセッサによる電力の使用を制約するアーキテクチャ技術の使用が可能になる。本開示は、データフロー制御のための従来のコントローラの必要性を排除することによって、１または複数の極めて低電力のソリューションを提示する。一態様では、本開示は、プロセッサの様々なモジュールにわたるデータフローの制御を、アーキテクチャへのデータインフローと結び付ける。このため、流入するデータは、システムを介して出力にデータをプッシュする役割を担うことができる。この種のアーキテクチャは、データフローアーキテクチャを表している。一態様では、本開示が、システム全体のデータ－フローと結合することができない制御フローの一部に対して、階層的に分散されたマイクロプログラム式制御メモリを使用することも含む。

ＣＮＮアーキテクチャは、ＣＮＮのすべてのレイヤに出力データを格納するために、大量の一時メモリを必要とする場合がある。本開示は、ＣＮＮの様々なレイヤのメモリニーズが、１つの物理空間内に位置するメモリを使用して集約および対処され得るように、データを配置する。これは、消費電力と面積効率に大きな利点を有する。同時に、開示のアーキテクチャは、各ＣＮＮレイヤにおける畳み込みを正常に計算するために、特定の数の入力行を格納するだけでよいという事実を利用し、ＣＮＮの畳み込みステージではフレーム全体を格納する必要がない。このため、開示のプロセッサアーキテクチャは、いくつかの態様において、各ＣＮＮの入力に必要なラインバッファのみを格納することができる。これは、アーキテクチャ全体で使用される正味消費電力およびチップ面積の削減を含む、複合的な効果を有する。

一態様では、構成可能なＣＮＮプロセッサが、複数の入力ポートおよび複数の出力ポートを有することができるインテリジェントメモリバッファ（例えば、アクティブメモリバッファ）を含む。インテリジェントメモリバッファは、複数の入力データポートから入力データを受け取り、バッファ内に含まれるコアメモリアレイに格納する。インテリジェントメモリバッファは、複数の出力ポートを使用して、データを運ぶための標準プロトコルを維持しながら、システム全体で標準化されている順序で、正しいコア計算要素（例えば、計算コアモジュール）に所望のデータを分配することができる。このデータの分配により、データ移動のフローを制御するためにプログラムシーケンスを使用する必要性を排除することができる。このため、各コア計算要素／モジュールは、データに対して特定の周期で繰り返しタスクを処理するという非常に単純なプロファイルを維持することができる。データフロー制御に容易に組み込むことができない最小限のプログラミング情報は、各コア計算要素に含まれる階層的に分散したマイクロプログラム式制御ユニットの形式で制御シーケンスとして格納することができる。

特定のＣＮＮレイヤに対応するデータを処理した後、データをインテリジェントメモリバッファに書き戻すことができる。ＣＮＮレイヤの出力からデータが利用可能になると、次のレイヤの処理を開始することができる。したがって、データのフローは、データがシステムに流入する速度によって制御することができる。このため、システム全体のデータのフローを管理するためのロードストアアーキテクチャが不要になる。また、データは、冗長なデータ移動を最小限に抑える非常にインテリジェントな方法で、構成可能なＣＮＮプロセッサアーキテクチャ内で移動される。

メモリから計算ユニットへの冗長なデータ転送を減らすために、インテリジェントメモリバッファからのデータ転送にはいくつかのモードがある。インテリジェントバッファに出入りするデータフローは、エラスティックＦＩＦＯを使用して管理することができ、それによりシステム全体でデータを柔軟に移動させることができ、すべての内部データ転送をより流動的なものとすることができる。一態様では、インテリジェントメモリバッファが、並列に動作する多数の計算モジュールを駆動する大量のファンアウトに耐えることが予想される。このことは、典型的には、タイミング要件を満たすために複数のバッファを使用することから生じる比較的高いパワーペナルティをもたらす可能性がある。一態様では、トランジスタが益々小さくなるチップレイアウトにおいて、これはさらに指数関数的に増加する可能性がある。コア計算要素を通過および出入りするデータからタイミング制約を切り離すために、計算モジュールのすべての入出力をＦＩＦＯを使用してバッファリングすることが可能である。これにより、システム内の様々なコンポーネントを互いに非同期で動作させることができる。さらに、これにより、様々なコア計算要素を様々なクロック速度で動作させ、電力消費を最適化することができる。

個々のコア計算要素は、非常に柔軟なモジュールであり、データの小さなブロックに対して計算を実行することができる。コア計算要素の各々は、インテリジェントメモリバッファと通信するのとは別に、近くのコア計算要素と通信することができる。コア計算要素は、階層的に配置することができる。階層的に配置されたコア計算要素のグループは、インテリジェントメモリバッファとともにグループ化して、容易に拡張可能なユニットを構成することができる。これにより、システムは、高度にモジュール化されて、拡張が容易となる。モジュール式システムは、複数のＣＮＮアーキテクチャ（例えば、複数のＣＮＮ）を並列に実行することができ、また、そのような拡張可能なモジュールの複数のインスタンスを互いにカスケード接続し、それにより非常に大きなＣＮＮアーキテクチャを実装することができる。

一態様では、本明細書に提示のアーキテクチャの少なくともいくつかは、メモリからの読み取りおよび書き込みの操作全体を最適化することによって、低電力プロファイルを保証することができる。構成可能なＣＮＮプロセッサアーキテクチャは、非常に効率的かつ最適な方法でメモリおよび計算ブロックにわたってデータを移動させる機構も提供することができる。一態様では、モジュール間の任意の冗長なデータ移動を低減することができる。一態様では、最適な電力消費は、必要なビットのみのトグルを保証し、システム全体にわたるビットの冗長性および不要なトグルを低減することからもたらされ得る。データフロー制御をデータに組み込むという全体的なシステムアーキテクチャは、モジュールの最適な電力消費をさらに強化することができる。また、設計は、すべてのコア計算要素およびアクティブメモリバッファ、または少なくともそれらコンポーネントのサブセットが、別々のクロックドメインで動作することを可能にし、それにより、高周波クロックのクロック分配電力を低減することができる。

一態様では、コア計算要素を、より高い周波数クロックを使用するように動的に設定することができ、また、インテリジェントメモリバッファの動作クロック周波数を、最適な電力消費のためにより低い周波数クロックを使用するように設定することができる。コア計算要素は、様々な動作モードの下で動作することができ、各々を、（１）ジェネリックフィルタとして、（２）分離可能なフィルタとして、（３）時間が別のフィルタ次元である場合は、複数のフレームにわたるフィルタ（例えば、３Ｄ畳み込み演算）として、または（４）コア計算要素の各々が複数の並列ＬＳＴＭセルに動的に構成される場合は、長短期記憶（ＬＳＴＭ）セルとして、動的に構成することができる。

本開示は、構成可能なＣＮＮプロセッサへのＣＮＮアルゴリズムのマッピングを示すルーティングアルゴリズムをさらに提示する。本開示は、少なくとも一態様において、構成可能なＣＮＮプロセッサのアーキテクチャが、様々な種類のＣＮＮアルゴリズムをマッピングできるように十分に汎用的であることを実証している。

例示的な構成可能なＣＮＮプロセッサ
図１は、本開示のいくつかの態様に係る、アクティブメモリバッファ１０２および複数のコア計算要素（１０４－１、１０４－２、１０４－３、１０４－４、まとめて１０４と称する）を含む、畳み込みニューラルネットワーク（ＣＮＮ）を実装するための例示的な構成可能なプロセッサ１００を示すブロック図である。コア計算要素（例えば、コア計算回路要素）１０４の各々は、予め選択されたデータフローグラフに従ってＣＮＮ関数を実行するように構成され得る。予め選択されたデータフローグラフは、プロセッサ１００に実装される予め選択されたＣＮＮから導出することができる。ＣＮＮ関数は、畳み込み関数、ダウンサンプリング（例えば、プーリング）関数、アップサンプリング関数、ネイティブ１×１畳み込み関数、ネイティブＮ×Ｎ畳み込み（例えば、本明細書でさらに詳細に説明するように、３×３）関数、ルックアップテーブル（ＬＵＴ）値補間による設定可能な活性化関数、統合関数、ローカル応答正規化関数、およびローカルバッチ正規化関数のうちの１または複数を含むことが可能である。コア計算要素の各々は、ＬＳＴＭセルおよび／または浅い深さのエラスティックＦＩＦＯによってバッファリングされた入力と出力を含むことができる。コア計算要素１０４に関する更なる詳細は後述する。

アクティブメモリバッファ１０２は、予め選択されたデータフローグラフに従って、コア計算回路要素間でデータを移動させるように構成することができる。アクティブメモリバッファ１０２は、それらの動作のために、また多数のコア計算要素を受け入れるために十分なメモリを含むことができる。

アクティブメモリバッファ１０２とコア計算要素１０４との間の接続が必要に応じて確立されるように、コア計算要素１０４とアクティブメモリバッファ１０２との間に結合ファブリック（図示せず）が存在する。同様に、結合ファブリックは、必要に応じて、コア計算要素１０４間の接続を可能にすることができる。結合ファブリックは、それらの接続が、実装される予め選択されたＣＮＮに対応する予め選択されたデータフローグラフに従って確立されるように構成されている。

図１では、構成可能なＣＮＮプロセッサ１００が、４つのコア計算要素１０４を含む。一態様では、構成可能なＣＮＮプロセッサ１００が、４つよりも多いまたは少ないコア計算要素１０４を含むことができる。

一態様では、コア計算回路要素１０４の各々が、予め選択されたデータフローグラフに従って、命令セットを使用せずにＣＮＮ関数を実行するように構成されている。一態様では、コア計算回路要素１０４の少なくとも２つが、互いに非同期で動作するように構成されている。一態様では、アクティブメモリバッファ１０２が、コア計算回路要素１０４のうちの１または複数から非同期で動作するように構成されている。一態様では、コア計算回路要素１０４の各々は、ＣＮＮ関数を実行するための専用となっている。例えば、一態様では、コア計算回路要素１０４の各々が、例えば汎用プロセッサにより通常実行される一般的な処理タスクではなく、ＣＮＮ関数のみを計算するように特別に構成することができる。

一態様では、構成可能なプロセッサ１００の実行時間の前に、コア計算回路要素１０４の各々がＣＮＮ関数を実行するように構成されている。一態様では、コア計算回路要素１０４の各々が、ＣＮＮ関数のレイヤ（例えば、ステージ）を計算するように構成されている。一態様では、コア計算回路要素１０４の各々が、ＣＮＮ全体を計算するように構成されている。

一態様では、アクティブメモリバッファ１０２とコア計算回路要素１０４との間の接続が、コンパイル時に確立されて、構成可能なプロセッサ１００の実行時に固定される。同様に、一態様では、コア計算回路要素１０４間の接続が、コンパイル時に確立されて、実行時に固定される。

アクティブメモリバッファ１０２およびコア計算回路要素１０４に関する更なる詳細は、以下に提供される。

一態様では、コア計算要素１０４の各々が、後述するコア計算要素３０４および１０００と同様に、予め選択されたデータフローグラフに従ってＣＮＮ関数を実行するための手段として機能することができる。一態様では、アクティブメモリバッファ１０２が、データを格納するための手段として機能し、後述するアクティブメモリバッファ３０２および６００と同様に、予め選択されたデータフローグラフに従ってデータを格納するための手段を介してＣＮＮ関数を実行するための複数の手段（例えば、コア計算要素）間でデータを移動させるための手段として機能することができる。一態様では、結合ファブリック（図１には示されていないが、図３および図１５を参照）が、予め選択されたデータフローグラフに従って、データを格納するための手段（アクティブメモリバッファ）とＣＮＮ関数を実行するための複数の手段（コア計算要素）との間の接続を確立するための手段として機能することができる。この結合ファブリックは、予め選択されたデータフローグラフに従って、ＣＮＮ関数を実行するための複数の手段（コア計算要素）間の接続を確立するための手段としても機能することができる。

図２は、本開示のいくつかの態様に係る、ＣＮＮを実装するための構成可能なプロセッサを構成するためのプロセス２００を示すフローチャートである。一態様では、プロセス２００は、構成可能なＣＮＮプロセッサ（例えば、図１の構成可能なＣＮＮプロセッサ１００）に結合されたコンピュータによって実行することができる。ブロック２０２では、プロセスが、予め選択されたデータフローグラフを受信する。一態様では、予め選択されたデータフローグラフが、実装される予め選択されたＣＮＮに対応するもので、この予め選択されたＣＮＮから導き出されたものである。

ブロック２０４では、プロセスが、複数のコア計算回路要素の各々を、予め選択されたデータフローグラフに従ってＣＮＮ関数を実行するようにプログラムする。ＣＮＮ関数は、畳み込み関数、ダウンサンプリング（例えば、プーリング）関数、アップサンプリング関数、ネイティブ１×１畳み込み関数、ネイティブＮ×Ｎ畳み込み（例えば、本明細書でさらに詳細に説明されるように３×３）関数、ルックアップテーブル（ＬＵＴ）値補間による構成可能な活性化関数、統合関数、ローカル応答正規化関数およびローカルバッチ正規化関数のうちの１または複数を含むことができる。

ブロック２０６では、プロセスが、予め選択されたデータフローグラフに従って、アクティブメモリバッファ（例えば、図１のアクティブメモリバッファ１０２）をプログラムする。

ブロック２０８では、プロセスが、予め選択されたデータフローグラフに従って、アクティブメモリバッファ（例えば、１０２）と複数のコア計算回路要素（例えば、１０４）との間の複数の接続をプログラムする。

ブロック２１０では、プロセスが、予め選択されたデータフローグラフに従って、複数のコア計算回路要素間の複数の接続をプログラムする。ブロック２１０、２０８で使用される「プログラム」という用語は、プロセスが、実行時間の前に、それらのコンポーネントを結合するためにＣＮＮプロセッサ内に存在する結合ファブリックを使用して、コンポーネント間の様々な接続を確立することを意味する。

ブロック２１２では、プロセスが、予め選択されたデータフローグラフに従って、メモリバッファを介して複数のコア計算回路要素（例えば、１０４）間でデータを移動させるように、アクティブメモリバッファ（例えば、１０２）をプログラムする。

一態様では、プログラミング動作の各々（例えば、ブロック２０４～２１２で説明したようなプログラミング動作）が、構成可能なプロセッサの実行時間の前に実行される。

一態様では、プロセスが、命令セットを使用せずにＣＮＮ関数を実行するために複数のコア計算回路要素を動作させること、および／または、命令セットを使用せずにアクティブメモリバッファを動作させることをさらに含む。

図３は、本開示のいくつかの態様に係る、プログラマブル機能ユニット（ＰＦＵ）として具現化されたＣＮＮを実装するための例示的な構成可能なプロセッサ３００を示すブロック図である。ＰＦＵ３００は、インテリジェントメモリバッファ（例えば、アクティブメモリバッファ）３０２と、階層型計算ユニット３０６内の１６個のコア計算要素３０４と、並列ＳＰＩインターフェース３０８とを含む。一態様では、アクティブメモリバッファ３０２およびコア計算要素（例えば、コア計算回路要素）３０４が、図１および図２に関して上述したように動作することができる。

図３は、単一のインテリジェントメモリバッファ３０２を有する複数のコア計算要素／モジュール３０４の階層表現として見ることができ、これらを集合的にＰＦＵと呼ぶことができる。コア計算要素３０４の各々は、インテリジェントメモリバッファ３０２のいくつかの読み取りおよび書き込みポートを介してアクセス可能である。ＰＦＵ３００は、入力データインターフェース３１０および出力データインターフェース３１２をさらに含む。入力データインターフェース３１０を介して受信された入力データおよび出力データインターフェース３１２を介して送信された出力データは、それぞれ、インテリジェントメモリバッファ３０２内の読み取りおよび書き込みポートと直接インターフェースすることができる。これにより、他のＰＦＵユニットは、送信機と受信機の構成に基づいて、読み取りおよび書き込みポートを介してポイントツーポイントで相互に通信することが可能になる。

読み取りポート（例えば、Ｍ個の入力ポートのいずれか１つ）および書き込みポート（例えば、Ｎ個の出力ポートのいずれか１つ）は、異なるチップ上の他のＰＦＵと、ＳＰＩなどのシリアル－パラレルインタフェース３０８を介して通信されるデータをシリアル化および逆シリアル化するためにも使用することができる。ＳＰＩ３０８は、チップ境界を跨ぐ２つのＰＦＵ間の通信チャネルの比較的低電力の実装を提供することができる。一態様では、ＰＦＵ３００が、単一チップを使用して実装される。ＰＦＵチップ内のパラレルインターフェース３０８を介して送信されたデータは、シリアル化され、プリント回路基板（ＰＣＢ）を介して送信され、その後、宛先チップ（例えば、第２のＰＦＵ）で受信されるとパラレル化され得る。シリアルリンクは、単純なＳＰＩからより複雑なクロック埋め込みリンクまで、任意の種類のシリアルリンクであってもよい。

ＰＦＵ３００は、コア計算要素がより大きなメモリプールにアクセスするために、ＰＦＵの外部にある外部メモリとのインターフェースも含むことができる。典型的なＣＮＮでは、少数のレイヤのみが多数の重みにアクセスする必要があり、具体的には全結合層がそうである。多数の重みにアクセスする必要があるＣＮＮレイヤが少ないため、各ＰＦＵは、畳み込みレイヤで使用される平均的な数の重みを格納するのに十分な重みメモリのみで構成することができる。本明細書で使用される場合、「重みメモリ」は、ＣＮＮレイヤを処理／計算するための重みを格納するために使用されるコア計算要素のメモリを意味する。コア計算要素がより大きな重みメモリにアクセスする必要がある場合は常に、外部のより大きなメモリプールからフェッチすることができる。しかしながら、外部メモリのメモリ帯域幅は、バックプレッシャなしに２つのコア計算要素をサポートするのに十分である場合がある。より大きな重みメモリプールにアクセスするコア計算要素の数が多くなると、スループットが低下する可能性がある。

重みメモリの制約により特定の畳み込み演算が単一のコア計算要素に収まらない場合、畳み込み変換（例えば、図１５のケース２に示す）を利用して、複数のコア計算要素に畳み込みを分割することも可能である。このメカニズムにより、通常のＰＦＵを比較的少量の重みメモリに制限することができるが、外部の大きなメモリプールにアクセスするか、または畳み込み変換を使用して複数のコア計算要素に畳み込みを分散することによって、より多くの重みにアクセスする能力を有することが可能である。

構成可能なＣＮＮプロセッサの追加構成
図４は、本開示のいくつかの態様に係る、４つのＰＦＵ４０２を含むプログラマブル機能アレイ（ＰＦＡ）として具現化された構成可能なＣＮＮプロセッサ４００を示すブロック図である。ＰＦＡとして具現化されたこの構成可能なＣＮＮプロセッサ４００は、前述したＰＦＵの階層的な集合体として見ることができる。同様に、複数のＰＦＡは、全体的な構成可能なＣＮＮプロセッサまたはＰＦＡプロセッサを形成するために並列に段階化され得る。ＰＦＵ間の相互接続性は、相互接続モジュール４０４によって制御することができ、これは、ＣＮＮデータフローグラフによって記述されるようにコンパイル時にプログラムされ得る。

本開示が構成可能なＣＮＮプロセッサとして提示するものは、プロセッサ設計の従来のアプローチ（命令がプログラミング言語からコンパイルされ、プロセッサに格納され、実行時に命令が実行され、プロセッサ全体のデータフローが実行時に制御されるというプロセッサ設計の従来のアプローチ）から逸脱している。また、従来の命令セットアーキテクチャでは、プログラマが外部入出力（ＩＯ）とインターフェイスして、他の世界と通信し、それによりデータをフェッチして、処理済みの出力データを転送することができる。命令セットアーキテクチャは、ハードウェアの抽象化を可能にし、高級言語のプログラミングとコンパイルを含む複雑なソフトウェア開発を可能にする。これは、命令セットアーキテクチャが大きな柔軟性を提供する汎用プロセッサにおいて容易に可能である。

一方、プロセッサが特定のタスクセット専用であり、柔軟性と命令セットの抽象化を可能にする実行時制御フローメカニズムの要件を制限できると仮定すると、多くの電力を最適化することが可能である。アプリケーションに十分な制約がある場合、アーキテクチャにおけるそのような制限は可能になる可能性がある。この場合、構成可能なＣＮＮプロセッサのアプリケーションは、ＣＮＮ中心の操作に制限され得る。この仮定に基づいて、本開示は、データフロー制御がコンパイル時に静的に割り当てられ、ＣＮＮのデータフローグラフに基づくメモリおよびコア計算要素の構成が、データフローを制御するのに十分であると仮定することができる。このため、実行時に、動作が必要になる可能性がある唯一のアクティビティは、予め選択された計算レートおよび／またはデータレートの入力仕様に基づくデータに対する計算である。

一態様において、専用のＣＮＮプロセッサであり、ＰＦＡプロセッサとも呼ばれる構成可能なＣＮＮプロセッサについて、本開示は、プロセッサの目的が、ＣＮＮまたは畳み込み変換に基づく変形によって表されるものと同様のデータフローグラフを処理することであると想定することができる。本開示は、例えば、構成可能なＣＮＮプロセッサ専用のコンパイラソフトウェアを含み、予め選択されたＣＮＮのデータフローグラフを分析し、それを最適化し、次いで、ＣＮＮを表すグラフの機能を構成可能なＣＮＮプロセッサにマッピングする。ＣＮＮグラフのマッピングは、図２のプロセス２００のように、コア計算要素およびインテリジェントバッファの相互接続性およびそれらの階層をプログラミングすることによって行うことができる。構成可能なＣＮＮプロセッサのプログラミングは、以下を含むことができる。

（１）コア計算要素、それらの動作モード、およびコンパイル時に静的に定義されるすべての構成のプログラミング。

（２）インテリジェントメモリバッファのプログラミング（これは、どのコア計算要素をどの読み取りおよび／または書き込みポートに接続／結合するかを割り当てることを含む、すべての書き込みおよび読み取りポートの構成のプログラミングを含むことができる）。

（３）データフローおよび接続性は、各ＰＦＵレベルで、場合によってはＰＦＡレベルで、他の並列ＰＦＡユニットにわたって、プログラムすることができる。一態様では、すべての相互接続構成が、コンパイル時に決定され、実行時に静的である（例えば、計算中に時間とともに変化しない）。ＣＮＮデータフローグラフは、パラレル－シリアルインターフェースおよびシリアル－パラレルインターフェースを介して通信する複数のＰＦＡユニットまたは複数のチップ（例えば、ＰＦＵまたはＰＦＡ）にマッピングすることもできる。その場合、各チップを独立してプログラムすることができる。チップ間通信のレイテンシは、パラレル－シリアル－パラレルインタフェースによってもたらされる最大レイテンシに基づいて、コンパイル時に予め求めることができる。一態様では、ＰＦＡ４００が単一のチップを使用して実装される。

図５は、本開示のいくつかの態様に係る、カスケード構成の複数のＰＦＡ５０１を含むシステム５００として具現化される構成可能なＣＮＮプロセッサを示すブロック図である。図５は、複数のＰＦＡ５０１がどのように直列に接続され得るかを示している。この例では、ＰＦＡ５０１の各々が、４つのＰＦＵ５０２を実装している。また、この例では、単一のＳＰＩインおよびＳＰＩアウトが各ＰＦＡ５０１に含まれる。一態様では、複数のＳＰＩインおよびＳＰＩアウトのポートを使用することができる。複数のＰＦＡをカスケード接続する機能により、ユーザは、単一のチップでは不可能であったディープＣＮＮを実装するか、あるいは単一のチップでは不可能であった複数のＣＮＮを並列に実装することができる。

構成可能なＣＮＮプロセッサのコンポーネント
図６は、本開示のいくつかの態様に係る構成可能なＣＮＮプロセッサ内で使用するための例示的なアクティブメモリバッファ６００を示すブロック図である。主なＩＯは、書き込みポート６０２および読み取りポート６０４である。他のＩＯインターフェースは、インテリジェントメモリバッファ６００の構成を担うレジスタモジュールインターフェース６０６である。各読み取り／書き込みポート（６０４、６０２）は、小さな先入れ先出しデータバッファ（ＦＩＦＯ）（６０８、６１０）によってサポートされ、メモリ操作を効果的かつ柔軟に行うことができる。同様に、各コア計算要素は、入力および出力にＦＩＦＯを含むことができ、それにより、メモリおよび様々なコア計算要素間のデータフロー全体が非常に柔軟になる。

読み取りポート６０４は、多数の並列読み取りポートコントローラ６１２によって制御される。各読み取りポートコントローラ６１２は、読み取りポートがどの出力を制御するのかを示すように個別にプログラムすることができる。各読み取りポートコントローラ６１２は、メモリ６１４から選択された読み取りポート６０４を介して特定のコア計算要素（図示せず）へデータを駆動する役割を果たす。これらのコントローラ６１２の各々は、読み取りポート６０４の各々のためにラウンドロビン方式で使用することができる。これにより、コンパイラは、実装される予め選択されたＣＮＮの要件に基づいて、読み取りポート６０４を過負荷にして複数のコア計算要素を駆動するか、または単一の読み取りポート６０４を選択して単一のコア計算要素を駆動することができる。これにより、データレート要件に基づいて、インテリジェントメモリバッファおよびコア計算要素を構成および／または接続、最適化する方法に柔軟性がもたらされる。

入力書込みポート６０２の各々は、ＦＩＦＯ６０８に結合され、それを備える。入力ＦＩＦＯ６０８は、ラウンドロビン方式でアドレス指定することができる。アクティブメモリバッファ６００の書き込みポート６０２および読み取りポート６０４の両方にＦＩＦＯ（６０８、６１０）を有し、コア計算要素の入力および出力にＦＩＦＯを有することにより、真の非同期バスアーキテクチャの使用が可能になる。これは、特に、複数のＰＦＵを互いに接続して単一のＰＦＡ（例えば、１つのチップ）を形成することが、特にタイミングクロージャの観点から課題となるチップのトップレベルにおいて有用となる場合がある。一態様では、複数のＰＦＵモジュールを互いに集約して、構成可能なＣＮＮプロセッサの一実施形態となり得るＰＦＡ（例えば、チップ）を形成することができる。ＰＦＡまたはＰＦＡモジュールは、チップのトップビューを示す。チップのトップレベルにおけるタイミング要件の緩和は、エッジアラインされたクロックをすべてのリーフノードに送達する試みにおいて特にクロックツリーの電力を節約し得るため、特に有用である。

チップ内のクロック分散は、特にクロックツリー分岐がすべてのリーフノードがチップ全体でクロックエッジ同期を維持することを確認しなければならないチップのトップレベルにおいて、非常に困難な場合がある。異なるモジュールを互いに非同期で実行する機能、例えば、同じクロック周波数で非同期クロックドメインで実行されるインテリジェントメモリバッファ６００およびコア計算要素は、クロックツリーの制約を緩和する。その結果、通常、同期回路に追加される多くのクロックバッファが冗長となる。消費者向け電子機器のクロックツリーは、デバイスの電力の平均６０％を消費する場合がある。この電力を削減できることは大きな意味を持つ。複数のブロックが同じクロック周波数で互いに非同期で動作できるため、そうでなければクロックツリー全体のクロックをエッジアライメントするために使用されていたであろう多数のクロックツリーバッファが緩和される。異なるブロックがすべて同期クロックドメイン上にあるような実装も存在し得る。

読み取りポートと書き込みポートの両方におけるＦＩＦＯ要件（例えば、サイズ）は、浅くてもよく、書き込みポートと読み取りポートの各々の予想または定義されたデータレートの関数となる。

連続メモリ６１４は、シングルまたはデュアルポートメモリ、あるいは複数のポートであってもよい。連続メモリ６１４のネイティブポートの数の選択は、全容量の下で処理される最大データレートに依存する。現実的には、複数のネイティブポートの増加に伴い、消費電力が指数関数的に増加する可能性があり、よって少ないポート数を維持することが、電力の観点から理想的である可能性がある。しかしながら、最大データレートの設計目標は、少なくともある態様において、好ましくは２つのネイティブポートを超えないデュアルポートメモリの選択を促進する可能性がある。メモリ６１４は、レイアウトに最も適した方法で物理的に編成することができる。メモリの物理的境界は、物理メモリ設計コンパイラによって割り当てられるように、メモリのアドレス空間またはデータ幅のいずれかとなり得る。

インテリジェントメモリバッファ６００は、単一のＣＮＮを実装することに制限されるものではない。一態様において、複数のＣＮＮが共通のデータフローグラフを有する限り、複数のＣＮＮを同時に実装することができる。例えば、同時に実装される２つのＣＮＮがある場合、一方のＣＮＮグラフは他方のＣＮＮのサブセットとすることができる。

最後に、コントローラ６１６は、構成レジスタ６０６によって選択された適切なデータフローのために、すべての制御信号を同期させる役割を果たすことができる。

上述したように、ＦＩＦＯ（６０８、６１０）を使用することにより、データフローを柔軟にすることができる。より具体的には、使用されるＦＩＦＯは、非同期ＦＩＦＯとすることができる。その結果、コア計算要素とインテリジェントメモリバッファ６００は、異なるクロックドメインで効果的に実行することができる。構成可能なＣＮＮプロセッサにおけるデータフローは、インテリジェントメモリバッファ６００によって制御することができる。インテリジェントメモリバッファ６００は、様々なデータレートで同時に動作し、互いに完全に非同期であるトラフィックのバーストを有する様々な読み取りポートおよび書き込みポートをサポートする。これが命令セットアーキテクチャによって制御される場合、様々なポート間の同期、および様々な書き込みポートと読み取りポート間のデータ転送は、より多くのロジックを必要とし、よって、より多くの電力を消費することになるであろう。本明細書で提示する設計（例えば、図６）では、書き込みポートおよび読み取りポートの各ＦＩＦＯが、浅い深さになるように設計されている。このＦＩＦＯ構造は、データ生成源へのバックプレッシャを可能にする。それにより、インテリジェントメモリバッファ／設計は、バーストデータフローを処理し、データ生成源にバックプレッシャをかけることができ、その結果、データの正確なフローが予め決定されておらず、データフローリンクに弾力性が提供されるようなアーキテクチャを実現することができる。また、インテリジェントメモリバッファとコア計算要素が同じ周波数クロックで動作することは必須ではないが、互いに非同期であることが必要である。実際に、実装に応じて、様々なモジュールの動作周波数を調整して、全体の消費電力を下げることも可能である。

一態様では、インテリジェントメモリバッファが、２、４、８または１６ビット演算など、コンパイル時に選択できる異なる／複数のデータ幅（例えば、異なるサイズの幅）を有するデータをサポートするように構成することができる。これにより、全幅のデータ処理が不要な場合、データ幅の処理を低減することにより、省電力化が可能となる。その結果、コンパイル時に選択したビット幅のみを使用して、読み取りと書き込みを実行することができる。このようなメモリ動作による電力削減は、かなりの量になる可能性がある。

図７は、本開示のいくつかの態様に係るアクティブメモリバッファのための例示的なメモリ構成７００を示す斜視図である。図７は、アクティブメモリバッファからコア計算要素にデータを伝送する様々なモードを示している。コア計算要素は、インテリジェントメモリバッファによって提供されるデータブロックのチャンクに対して動作する。畳み込みのタイプに応じて、インテリジェントメモリバッファは、３つの異なるモード（７０２、７０４、７０６）でコア計算要素にデータを提供することができる。モード値自体は、伝送プロトコルに埋め込むことができる。畳み込みを計算する間、コア計算モジュールによる重複したデータ要件が存在する可能性がある。例えば、一態様において、３×３×Ｎの畳み込みを計算する間、新しいデータブロックは１×３×Ｎ次元のみで、残りの部分は前の畳み込みから再利用される。一態様では、１×１の畳み込みの計算が、重複するデータポイントがないため、モード１ブロックが毎回送信されることを必要とし得る。一態様では、入力次元のエッジとして畳み込みを計算するときに、モード３ブロックも使用することができる。モード２ブロックは、ストライド２で３×３の畳み込みを計算するときに使用することができる。これらの異なるモードの使用は、重複するメモリ読み取り動作を防止し、電力を節約することができる。

図８は、本開示のいくつかの態様に係る、アクティブメモリバッファからコア計算要素にデータを送信するための例示的なプロトコル８００を示すタイミング図である。ブロック情報（例えば、Ｂｌｏｃｋ－Ｉｎｆｏ）は、送信パケットの各々を自己完結型にすることができる。ブロック情報は、データパケットの宛先コア計算要素にもラベルを付ける。コア計算要素のアドレス（例えば、「３６－Ｍのアドレス」、ここで「３６－Ｍ」はコア計算要素を指すことができる）は、ブロック情報の一部である。このプロトコルでは、アクティブメモリバッファの１つの読み取りポートから、１または複数、さらにはすべてのコア計算要素にデータを送信することも可能である。また、ブロック情報には、入力データボリュームの行、列、深さの次元に関する情報も含まれる。これにより、インテリジェントメモリバッファは、処理対象の領域のみを送信できるようになる。

図９は、本開示のいくつかの態様に係る、コア計算要素からアクティブメモリバッファでデータを受信するための例示的なプロトコル９００を示すタイミング図である。例示的なプロトコル９００は、図８の例示的なプロトコル８００と同様である。一態様では、インテリジェントメモリバッファに書き込まれるデータは、ラスタスキャン方式で書き込まれ、深さが書き込まれる最初の次元であり、次に列、次に行が続くと想定することができる。

図１０は、本開示のいくつかの態様に係る構成可能なＣＮＮプロセッサ内で使用するための例示的なコア計算要素１０００を示すブロック図である。コア計算要素１０００は、入力（１００２－１、１００２－２、まとめて１００２と呼ぶ）および出力（１００４）の両方にエラスティックＦＩＦＯバッファを有する。これらのＦＩＦＯ（１００２、１００４）は、アクティブメモリバッファとコア計算要素との間の非同期データ転送を可能にすることができる。このため、コア計算要素のクロック速度と比較して、異なるクロック速度で動作するアクティブメモリバッファを実装することができる。これは、コア計算要素１０００が、内部メモリの速度によって制限され得るインテリジェントメモリバッファと比較して、遥かに高いクロック速度で動作することができるため、現実的である。また、非同期接続は、例えばすべてのクロックリーフノードのエッジアラインメントを試みることによって、タイミングを満たすことが困難になるトップレベルにおいて、特に魅力的である。タイミング要件が緩和されると、チップのトップレベルのレイアウトが容易になり、すべてのリーフノードでクロックエッジを合わせるための過剰なバッファが不要になるため、電力が削減される。

一態様では、複数のサイズの計算データ幅をサポートするように、コア計算要素を構成することができる。その場合、データ幅は、コンパイル時に選択することができ、例えば、２、４、８または１６ビット演算に対応するデータ幅を含むことができる。この機能は、全幅の計算が不要な場合に、減らした幅の計算を使用することによって、電力を節約できる可能性がある。

入力ＦＩＦＯ１００２は、ピンポンバッファとして機能することができ、コア計算要素が他のバッファ（１００２－２）を使用して作業を行うことができる間に、１つのバッファ（１００２－１）がアクティブメモリバッファによって書き込まれることができ、それによりパイプライン動作を可能にして待機時間をなくすことができる。インテリジェントメモリバッファからの入力バッファ１００２－１は、固定平均と分散に基づく正規化モジュール１００６に入力データを供給する。一態様では、モジュール１００６が、すべてのデータポイントを平均で減算し、分散の逆数を乗算することによって、データを操作することができる。平均と分散の値は、コンパイル時にプログラム可能である。

正規化モジュール１００６の出力は、畳み込みを実施する並列な乗算・加算ユニット１００８のアレイに供給され、その後に、結果１０１０のコンバイナ１０１０と、積分器およびローカル応答正規化モジュール１０１２が続く。これらの各モジュールは、コンパイル時に構成可能である。その後、出力は、ローカル入力ＦＩＦＯ１００２－２により同期化される近くのコア計算モジュールからの入力データを用いてＦＩＦＯ１０１４で同期化される。これら２つのＦＩＦＯ（１００２－２、１０１４）の出力は、算術的に結合１０１６され、次のモジュール１０１８が、バッチ正規化および活性化関数を計算する。活性化関数は、ルックアップテーブル（ＬＵＴ）を使用して計算することができ、これにより、可能な活性化関数を実装する柔軟性がもたらされる。このモジュール１０１８は、ローカルルーティングを使用して、計算されたデータを近くのコア計算要素に出力することもできる。この出力データは、インテリジェントメモリバッファに送信する前に、出力ＦＩＦＯ１００４によってバッファリングされる。一態様では、各コア計算要素は、推論とトレーニングの両方について予め選択されたＣＮＮ関数を実行するように構成することができる。

図１１は、本開示のいくつかの態様に係るコア計算要素内で使用するための例示的な制御ユニット１１００を示すブロック図である。コア計算要素の制御ユニット１１００は、階層的に分散されたマイクロプログラム式制御ユニットとして実装することができ、またはハードワイヤード制御ユニットとして実装することもできる。図１１は、階層的に分散されたマイクロプログラム式制御ユニットとして実装された制御ユニットを示している。入力タイミングデータは、制御ワードを含む様々なメモリのアドレス指定を制御する。これらの制御ワードは、コア計算要素全体のデータフローを担う信号を制御する役割を果たす。一態様では、制御ユニットのハードワイヤード実装が、電力消費に関して最適である可能性がある。同時に、実装が非常に難しい場合がある。

制御ユニット１１００は、コア計算要素内のデータフローを制御し、コア計算要素／モジュールの正しい動作を保証する役割を担うことができる。制御ユニット１１００において、制御ワードは、動作モードに基づいてカテゴリに分類することができる。動作モードに基づいて、適切な制御ワークが選択される。１１０２、１１０４、１１０６、１１０８、１１１０を含む制御ワードメモリは、浅い深さを有することができる。演算・係数制御メモリ（ＣＭ）１１０４は、コア計算要素の全体的な動作を制御する別個の制御ワードを格納することができる。相互接続ＣＭ１１０６は、コア計算要素内の相互接続を決定する固有の制御ワードを格納する役割を担うことができる。データプリフェッチ制御メモリ１１１０は、コア計算要素の外部から重みをフェッチするための制御ビットを格納することができる。フィルタモードＣＭ１１０８は、係数メモリから実際の計算場所へのフィルタ係数のフローを制御する固有の制御ビットを格納する役割を担うことができる。コア計算要素における操作は、本質的に周期的である可能性がある。その結果、必要とされる固有の制御ワードの総数は、本質的に少なく、よって深さが浅くなる可能性がある。マイクロプログラム式制御ユニット１１００がハードワイヤード制御ユニットに置き換えられ、プロセッサ全体の動作を変更しない場合に、コア計算要素の実装が可能である。

制御ユニット１１００は、重みメモリから重みをフェッチする役割も果たす。制御ユニット１１００は、メモリの外部プールからそれらの重みをフェッチすることによって、ローカル重みメモリ１１１２の物理的限界（例えば、約６～８メガビット）を超えてから要求された重みに対処することができる。これは、仮想拡張可能メモリ１１１４と呼ばれる。データプリフェッチユニット１１１６は、１つまたは２つのコア計算要素のみがメモリの外部プールへのアクセスを必要とし得るという仮定の下で、メモリの外部プールからデータを読み取ることができる。多数のコア計算要素からのメモリアクセスの要求が多すぎると、データスループットのボトルネックとなる可能性がある。ある態様では、ＣＮＮの全結合（ＦＣ）レイヤを実行する少数のコア計算要素のみが、このメモリの外部プールへのアクセスを必要とし得る。これは、ＦＣレイヤが畳み込みレイヤに比べて多くの重みを含むからである。ＦＣレイヤでのデータレート要件は、初期の畳み込みレイヤでのデータレート要件と比較して、遥かに低い。これにより、複数のコア計算要素が、この外部プールのメモリを共有リソースとして利用することができる。同時に、あまりにも多くのコア計算要素がこの共有メモリリソースにアクセスし始めると、帯域幅が不足する。一態様では、ＦＣレイヤを実行するほんの一握りのコア計算モジュールのみが、この共有リソースへのアクセスを必要とするという仮定が可能である。一態様では、メモリの外部プールが、チップ上（例えば、図４のＰＦＡチップ４００のメモリ４０４内）に位置することができる。一態様では、メモリの外部プールが、チップ外に位置することができる。

一態様では、本開示が、構成可能なＣＮＮプロセッサ上のＣＮＮ（例えば、ＣＮＮアーキテクチャ）をマッピングするためのコンパイラの使用を含む。コンパイラは、ＣＮＮをルーティングまたはマッピングするためのアルゴリズムを実装することができる。そのようなアルゴリズムの１つには、以下のものが含まれる。
（１）実装されるＣＮＮアーキテクチャを入力する。
（２）ＣＮＮの各畳み込み演算をコア計算要素に割り当てる。
（３）最悪条件に割り当てられたそれぞれのコア計算要素による、各畳み込みモジュールの正味の計算時間を含む時間を評価する。
（４）１秒毎に特定のフレームを処理するための要件に基づいて、各コア計算モジュールに計算時間バジェットを割り当てる。
（５）時間バジェット内で十分に計算可能な各コア計算要素について、単一のコア計算モジュールで２つのＣＮＮ演算の計算が可能であるか否かを評価する。２つのＣＮＮの計算を単一のコア計算要素に組み合わせる際に、必要な全体係数を考慮に入れることができる。
（６）利用可能な時間バジェットを超えている各コア計算要素について、各コア計算要素が必要な出力ボリュームの半分のみを計算するように、２つのコア計算要素に畳み込みを分割する。各コア計算要素がその時間バジェット内で個別に割り当てられたタスクを計算できるようになるまで、このステップを繰り返す。
（７）３×３より大きな畳み込み演算の場合、ステップ（２）で、ＣＮＮ演算を複数のコア計算要素に割り当てることができる。この場合、ステップ（３）～（６）において、ＣＮＮ演算を示すコア計算要素のグループが考慮される。
（８）入力データをインテリジェントメモリバッファのメモリにロードし、出力をインテリジェントメモリバッファから読み出す。インテリジェントメモリバッファのメモリ空間全体は、プロセッサの外部との通信を担うＩＯデバイスからアクセス可能である。

上記のアルゴリズムは、本明細書で説明するように、コンパイラが予め選択されたＣＮＮを構成可能なＣＮＮプロセッサにルーティングまたはマッピングするための１つの方法を説明している。一態様では、このアルゴリズムを、他の設計目標に適合するように修正することができる。

ＣＮＮ演算
図１２は、本開示のいくつかの態様に係る例示的なＣＮＮ１２００を示す図である。ＣＮＮ１２００は、一般的なＣＮＮである。この具体的な例は、畳み込み、ＲｅＬｕ、プーリング、全結合層およびソフトマックス層などの様々な計算ノードとともに、データおよび計算のフローを示している。計算ノードとそれに関連するメモリ要件は、ＣＮＮのデータフローグラフの対象となる。

図１３は、本開示のいくつかの態様に係る、図１２の例示的なＣＮＮ１２００の畳み込み演算１３００を示すブロック図である。ＣＮＮのコア計算の大部分は、畳み込み演算による。同様に、ＣＮＮのバックプロパゲーションまたはトレーニング中のコア計算の大部分も、畳み込み演算による。

図１４は、本開示のいくつかの態様に係る、図１２の例示的なＣＮＮのフォワードパス１４００およびバックプロパゲーションパス１４２０を示すブロック図である。フォワードパス１４００において、Ｘは畳み込みへの入力を示し、Ｆはフィルタ重みを示し、Ｏは出力を示している。これは、ＣＮＮのフォワードパスまたは推論パスである。

バックプロパゲーション中の計算パスは１４２０で示される。式は、ＣＮＮのトレーニング中のバックプロパゲーションパスが、推論パスにおける畳み込み演算と同様の畳み込み演算に縮小されることを示している。１４２０におけるこれらの畳み込み演算は、１４００で示される推論パスにおいて実行されている畳み込みと同様に、構成可能なＣＮＮプロセッサによって実行することができる。これにより、構成可能なＣＮＮプロセッサの同じアーキテクチャを推論とトレーニング操作の両方に使用することができる。

バックプロパゲーションパス１４２０は、ＣＮＮトレーニングのいくつかの態様を示している。ＣＮＮのトレーニング中、ＣＮＮの最終ステージからの誤差導関数は、推論の逆方向でＣＮＮの最初のステージに逆伝播される。バックプロパゲーションアルゴリズムの主な目的は、各ステージで誤差勾配出力を計算し、それぞれの重みに伝播された誤差勾配に基づいて重みを更新することである。あるステージから他のステージに流れる勾配とそれぞれの重みの勾配の計算は、畳み込み演算で近似できることがわかる。バックプロパゲーションパス１４２０は、これをグラフィカルに記述している。

これは、推論パスを計算するすべての計算ノードが、ＣＮＮのトレーニングに使用され得るバックプロパゲーションのための勾配フローも計算できることを意味する。また、トレーニングは、正しい損失関数の選択と、フィルタ勾配に基づいて重みを更新する機構も含む。本明細書に記載の構成可能なＣＮＮプロセッサは、推論とトレーニングの両方を目的としており、またその両方が可能である。唯一の違いは、トレーニング中に、推論からの中間ステージの結果を格納するために、バックプロパゲーション中に使用されるよりも多くのメモリが必要とされる可能性があることである。

構成可能なＣＮＮプロセッサのマッピング例
図１５は、本開示のいくつかの態様に係る、ＣＮＮの一部をコア計算要素にマッピングするための３つの例示的な変換を示すブロック図である。図１５は、本明細書に記載の構成可能なＣＮＮプロセッサへのＣＮＮデータフローグラフのマッピング中に使用され得る３つの異なる種類の変換（例えば、ケース１、ケース２、ケース３）を示している。図１５では、コア計算要素が、ＣＮＮの必要な計算をすべて計算すると仮定され、正しいデータがそれに渡され、適切な出力データがそこから正しく収集されると仮定されている。

ケース１の変換は、単一のコア計算要素が必要な計算時間メトリクスを満たすことができない場合に使用することができる。そのような場合、畳み込み演算を２つの並列コア計算要素に分割して並列に動作させ、必要な出力ボリュームを生成することができる。このスキームでは、２つのコア計算要素の形式で２倍の計算ユニットを使用し、単一のコア計算要素で計算される非変換モデルの半分の時間で出力ボリュームを生成することができる。また、メモリリソースの利用という点では、２倍の読み取りポート、２倍の書き込みポートが必要になることもある。物理メモリの総使用量は変換の前後で変わらない。

次のケース２の変換は、２倍のコア計算要素とメモリ読み取りポートリソースを含む。しかしながら、ケース２は、１倍のメモリ書き込みポートリソースと、コア計算要素間の内部通信チャネルを必要とするだけである。各コア計算要素は、入力の深さの半分で計算を行い、２つのコア計算要素間の内部通信リソースを使用する。最終的な出力ボリュームを構成するために、２つのコア計算要素からの計算された出力をまとめる必要がある。これは、受信側のコア計算要素で行うことができる。書き込みポートの１つは、２つのコア計算要素間の内部通信によって補われる。この変換は、追加の書き込みポートが利用できない場合に非常に有用となる。

最後のケース３の変換は、フィルタ次元３×３より大きい畳み込みを実行するためにコア計算要素のグループを使用する。この例は、９×９の次元のフィルタを使用した畳み込みを示している。殆どのＣＮＮは、３×３または最大でも５×５を使用し、９×９はおろか７×７の畳み込みを使用するものも殆どない。９×９の畳み込みは、より低い次元の潜在的な畳み込みを自動的にカバーするため、ケース３の例として選択している。この例では、９×９の畳み込みを９個のコア計算要素からなるグリッドで実行している。全体として、メモリリソースに関して１つの読み取りポートと１つの書き込みポートを使用し、残りの通信はコア計算間通信リンク（例えば、結合ファブリック）を介して行われる。

上記の３つのケースすべてにおいて、任意のコア計算要素へのデータは、専用のメモリ読み取りポート（例えば、インテリジェント／アクティブメモリバッファのメモリ読み取りポート）または単一のメモリ読み取りポートリソースを共有する複数のコア計算要素のいずれかによって駆動することが可能である。

図１６は、本開示のいくつかの態様に係る、複数のラインバッファを使用するコア計算要素への図１２の例示的なＣＮＮの可能性のあるマッピングを示すブロック図である。図１６は、先に紹介したＣＮＮの一例であるが、ここでは、１秒当たりの仮想的なフレーム数（例えば、予め選択された処理要件）を計算するために畳み込み演算が複数のコア計算要素に分散されている。１秒間に処理されるフレーム数によって、目標データスループットを満たすために各ＣＮＮステージで（上述した）必要な変換が決定される。この結果、ＣＮＮステージの各々における専用のコア計算モジュールの数が決定される。

図１６は、ラインバッファがすべてのコア計算モジュールの前に必要とされることを示すとともに、それにより、関与し得るラインバッファモジュールの総数を示している。各ラインバッファは、深さとともに３ラインのデータを含む。Ｎ×Ｎの次元のフィルタを実現するには、その深さを持つＮ個のラインバッファが、各コア計算要素のデータ要件をサポートするために、必要となる場合がある。ここでは、３×３の次元のフィルタであるため、各ステージのラインバッファは、深さとともに３ラインのデータを格納する。コア計算モジュールとラインバッファ間の相互接続は、実装する予定のＣＮＮを定義した接続グラフに基づいて、ＣＮＮ毎に変化する。本明細書に記載の構成可能なＣＮＮプロセッサの背後にある１つのアイデアは、ラインバッファと計算モジュールの間の接続を再配置することによって、様々なＣＮＮグラフを実現できるように、この接続を容易にすることである。基本的には、これにより、ＣＮＮの機能グラフをプロセッサ上に直接プログラミングまたはマッピングすることができる。

図１７および図１８は、本開示のいくつかの態様に係る、図１２の例示的なＣＮＮのコア計算要素（例えば、「３６－Ｍ」）への可能性のあるマッピング（１７００－１、１７００－２、まとめて１７００と呼ぶ）の単一のブロック図を示し、ラインバッファがアクティブメモリバッファに集約されている。図１７および図１８では、複数のラインバッファが集約されて、インテリジェントメモリバッファ（例えば、本明細書に記載のインテリジェントメモリバッファ）と呼ばれるユニット（１７０２－１、１７０２－２、１７０２－３、まとめて１７０２と呼ぶ）に配置されている。インテリジェントメモリバッファ１７０２は、ラインバッファの構成に基づいて、それらの深さとともに所定数のラインバッファを収容することができる連続メモリを有するように構成することができる。一態様では、インテリジェントメモリバッファ１７０２が、所定数の書き込みポートと所定数の読み取りポートとを有すると仮定することができる。

特定の条件下では、次のように仮定することが適切である。
（１）プロセッサ実装のテクノロジーノードを考えると、プロセッサは、計算される入力データレートよりも桁違いに速い速度で動作し得る。一例として、リアルタイムモーションは、４００×４００×３サイズの画像が毎秒約１４．５メガピクセルのデータレートを有する場合に、毎秒３０フレームのフレームレートを有する可能性があり、１ＧＨｚで動作する本明細書に記載の構成可能なＣＮＮプロセッサと比較すると、速度におけるオーダーの違いは約７０倍である（例えば、構成可能なＣＮＮプロセッサは、リアルタイムモーションデータソースの７０倍のデータレートで動作している）。計算エンジンと目標データ処理レートとの間のこのデータレートの違いは、先に述べた畳み込み変換の助けを借りて、ＣＮＮのすべてのステージに容易に拡張することができる。その場合、すべてのステージは、それぞれの目標データ処理レートと、インテリジェントメモリバッファおよびコア計算要素などのハードウェア計算要素の処理レートに行き着くことになる。その結果、ＣＮＮの各ステージにおいて、メモリおよびコア計算要素は、目標処理レートより遥かに速い速度で動作するように構成することができる。
（２）上記仮定の下で、各インテリジェントメモリバッファとコア計算要素の動作速度が目標処理レートより速い場合、インテリジェントメモリバッファは容易にマルチタスクを実行できると結論付けるのが妥当であろう。インテリジェントメモリバッファの場合、データが格納されている内部メモリは、複数の読み取りおよび書き込みポートを介して、データの読み取りと書き込みの要件を有する複数のコア計算要素を使用可能にするために、容易にマルチタスクを実行することができる。１つの例は、インテリジェントメモリバッファのコアメモリがデュアルポートの連続メモリで、インテリジェントメモリバッファが８つの読み取りポートと８つの書き込みポートを同時にサポートする場合である。換言すれば、この例では、平均的かつ最大スループット能力において、インテリジェントフレームバッファは、８クロック毎に読み取りポートと書き込みポートの各々を使用可能にすることができる。
（３）コア計算要素の各々は、割り当てられたタスクを計算するために８クロックを超えるクロックを使用するように構成することができる。一態様では、並行して計算するフィルタがいくつかある場合に、これが桁違いに増加する可能性がある。これは、コア計算要素にデータを供給する際にボトルネックとなることなく、異なるコア計算要素間でマルチタスクを実行することができるため、インテリジェントメモリバッファに最適である。一態様では、この時間多重化の能力により、インテリジェントメモリバッファは、低消費電力実装の制約下で動作しながら、複数の読み取りおよび書き込みポートを提供し、複数のコア計算要素間でデータの一貫性を維持することができる。この戦略により、畳み込み用のデータを最適に読み出すことができ、キャッシュベースのメモリ階層システムの場合に必要とされるような、余分な読み取り操作をすべて回避することができる。
（４）最新のテクノロジ実装では、読み取りや書き込みなどのメモリ操作は、加算、減算、乗算などの単純な算術演算よりも遥かに多くの電力を消費する可能性がある。したがって、ここで活用される１つの有用な戦略は、メモリへの読み取り／書き込み操作を最小化し、クロックあたりの計算の総数を最大化することである。一態様では、インテリジェントメモリバッファは、各コア計算要素にデータを供給する役割を果たし、その後、コア計算要素が数クロックを使用してデータを使い、意味のある結果をもたらす。すべてのメモリ読み取り／書き込み操作をインテリジェントメモリバッファ内にカプセル化し、最適な読み取りおよび書き込み操作を実行することにより、構成可能なＣＮＮプロセッサはメモリの読み取り／書き込みの電力消費を最小化することができる。畳み込み演算では、データが畳み込みのサイズを反映したチャンクで処理される。例えば、一態様では、ＣＮＮステージで１２８個の並列フィルタを用いた３×３×１６の畳み込みは、コア計算要素が計算するために３×３×１６のデータチャンクを必要とし、１２８個の並列フィルタに対応する１２８のデータポイント（例えば、各並列フィルタに対して１つ）を計算した後、次のセットの１２８の出力ポイントを生成するために３×３×１６データの次のチャンクを使用する必要が生じるであろう。畳み込みが１×１の畳み込みである場合、各セットの３×３×１６のデータポイントは一意である。しかしながら、この場合、３×３フィルタであるため、後続の３×３×１６のデータブロック間でデータポイントが重複する結果となる。図７は、サポートされる様々なモードを示している。これにより、データ読み取り動作の繰り返しを防止することができる。しかしながら、この例では、２×３×１６の重複があり、１×３×１６の新しいデータポイント（例えば、図７のモード３）のみをインテリジェントメモリバッファから読み出す必要がある。しかしながら、フィルタのサイズが３×３ではなく１×１である場合、この例は図７のモード１と同様である。これにより、最適なメモリ読み取り動作が確保され、最適な読み取り電力を保証することができる。
（５）一態様では、任意の時点で畳み込みを実行するために、フィルタの次元と同じ数の行データのみが、入力フレームに対して計算を開始するために必要とされる可能性がある。例えば、３×３の畳み込みは、任意の時点で深さデータポイントとともに３ラインを格納することのみを必要とし、それは次の入力行データによって上書きされ、さらに次の入力行データによって上書きされる。インテリジェントメモリバッファの連続メモリにより、任意の時点で保存する必要があるラインバッファの総数の使用を最適化することができ、同時に、読み取りおよび書き込みポートを通じて、多数のコア計算要素間で共有リソースを提供することができる。同時に、これにより、フレームデータ全体をメモリモジュール内に格納するオプションも提供される。これは、デバッグに使用したり、後で使用されるフレーム全体の中間ストレージを含むＣＮＮネットワークに使用したりすることができる。これにより、任意のＣＮＮステージで、勿論メモリ全体の範囲内で、必要なデータの次元に適応するように、インテリジェントメモリバッファに柔軟性が提供される。例えば、コンパイル時にコンパイラは、インテリジェントメモリバッファで利用可能な総メモリのサイズに基づいて、単一のインテリジェントメモリバッファでサポートできるＣＮＮ畳み込みの数を決定することができる。この決定は、必要なデータ処理レートにも影響される。
（６）一態様では、インテリジェントメモリバッファを構成可能なＣＮＮプロセッサのコアコンポーネントと見なすことができる。それは、コア計算要素にデータを提供する役割を果たすとともに、次の畳み込みモジュールのためにコア計算要素からメモリに計算結果を書き戻す役割も果たす。
（７）一態様では、インテリジェントメモリバッファの読み取りポート毎に複数のコア計算要素があり、コア計算要素の各々が、インテリジェントメモリバッファの書き込みポートのセットにのみアクセスすることができる。インテリジェントメモリバッファとコア計算要素との間の接続は、実装されるＣＮＮのデータフローグラフに基づいて決定される。これは、コンパイル時に決定することができ、それにより、所与のＣＮＮの実行時にモジュール間のこの接続を動的に変更する必要がなくなる。この固定された接続により、電力消費（そうでなければ接続を常に切り替えることと、命令セットアーキテクチャを使用する従来のプロセッサに典型的である、実行時に接続を変更する命令を格納する機構によって消費されるであろう電力消費）が著しく減少する。

図１９は、本開示のいくつかの態様に係る構成可能なＣＮＮプロセッサにマッピングされる第１の例示的なＣＮＮ（ケース１）を示すブロック図である。

図２０は、本開示のいくつかの態様に係る、図１９の第１の例示的なＣＮＮを使用する構成可能なＣＮＮプロセッサ（ケース１）の結果としてのマッピングを示すブロック図である。一態様において、図２０は、畳み込み変換ケース１を使用して例示的なＣＮＮデータフローグラフをマッピングする一例として見ることができる。図１９および図２０の例は、図１５のケース１に示す変換の使用を強調することを意図している。図２０は、ステージ２において、図１９のＣＮＮが、特定の仮想的なデータレートを満たすために１０個のコア計算要素に分割されていることを示している。図２０のステージ３では、コア計算要素が２つの部分に分割され、各々が３２の並列フィルタを計算する（例えば、合計６４個の総出力チャネルで、５個のコア計算モジュールにわたって計算される）。

図２１は、本開示のいくつかの態様に係る構成可能なＣＮＮプロセッサにマッピングされる第２の例示的なＣＮＮ（ケース２）を示すブロック図である。

図２２は、本開示のいくつかの態様に係る、図２１の第２の例示的なＣＮＮを使用する構成可能なＣＮＮプロセッサ（ケース２）の結果としてのマッピングを示すブロック図である。図２２は、畳み込み変換ケース２を使用する例示的なＣＮＮデータフローグラフのマッピングとして見ることができる。図１９および図２０の例は、ケース１の変換を示すことを意図しており、図２１および図２２の例は、ケース２の変換を示すことを意図しており、図２３および図２４の例は、ケース３の変換を示すことを意図している。図２２に示すＣＮＮのステージ２は、図１５に示すケース２の変換を示している。２つの変換の違いは、図２０と図２２ではっきりと確認することができる。より具体的には、図２０のステージ２はインテリジェントメモリバッファの追加の書き込みポートを使用する一方、図２２の実装はより多くのコア計算モジュール間の通信リソースを利用する。

図２３は、本開示のいくつかの態様に係る構成可能なＣＮＮプロセッサにマッピングされる第３の例示的なＣＮＮ（ケース３）を示すブロック図である。

図２４は、本開示のいくつかの態様に係る、図２３の第３の例示的なＣＮＮを使用する構成可能なＣＮＮプロセッサ（ケース３）の結果としてのマッピングを示すブロック図である。図２４は、畳み込み変換ケース３を使用して例示的なＣＮＮデータフローグラフをマッピングする一例として見ることができる。図２４のステージ３は、図１５のケース３に示す変換の使用を示している。ステージ３は、５×５の畳み込みを使用する。５×５の畳み込みは、コア計算要素の２×２アレイに分散される。基本的に、ハードウェアは６×６の畳み込みを実装している。高次は常に、ゼロを挿入した低次のフィルタを実装することができる。図２４のステージ３は、ケース３で示す変換を実装しているだけでなく、ケース２で示す変換と組み合わせている。

構成可能なＣＮＮプロセッサを組み込んだユースケース
図２５は、本開示のいくつかの態様に係る、ＭＩＰＩアプリケーション２５０１における構成可能なＣＮＮプロセッサの第１のユースケース２５００を示すブロック図である。ＭＩＰＩまたはモバイル・インダストリ・プロセッサ・インターフェイスは、モバイルエコシステム、特にスマートフォンのための技術仕様であるが、他のモバイルインダストリも含まれる。カメラシリアルインターフェース（ＣＳＩ）は、モバイル・インダストリ・プロセッサ・インターフェイス（ＭＩＰＩ）アライアンスの仕様である。これは、カメラとホストプロセッサの間のインターフェイスを定義している。ＭＩＰＩの態様は、図２５の様々なコンポーネントに組み込まれている。

本開示は、一般にデータを処理し、分析を生成することができるシステムを説明する。例示的なアプリケーションの１つは、画像／ビデオデータを処理することである。分析は、シーンからのオブジェクト検出／認識、低照度条件からの画像強調などのタスクの形態で行うことができ、あるいはフレーム単位またはビデオシーケンスとして定義されたフレーム群のいずれかで計算されることを意図したインテリジェントタスクの任意の形態で行うことができる。ビデオシーケンスの認識は、行動認識などの時間的依存性を含むことができる。

図２５は、イメージセンサデータ２５０４を入力し、プログラマブル機能アレイ（ＰＦＡ）２５０２でそれを（例えば、ＭＩＰＩ Ｄ－ＰＨＹおよびＭＩＰＩ ＣＳＩ－Ｒｘを介して受信した後に）処理し、かつ（１）ＳＰＩ、ＵＡＲＴ、Ｉ２Ｃ、または別のそのようなインタフェースなどの標準通信バスを介して、計算された分析をアプリケーションプロセッサ２５０６に送るオプション、または（２）ＭＩＰＩ－ＣＳＩ出力バス上の計算データを（例えば、出力時にＭＩＰＩ ＣＳＩ－ＴｘおよびＭＩＰＩ Ｄ－ＰＨＹを介して送られるパケットに）直接組み込むオプションを有する、ＭＩＰＩ２５０１用に構成されたそのようなＣＮＮプロセッサを説明する。ＭＩＰＩ Ｄ－ＰＨＹは、主にカメラやディスプレイをアプリケーションプロセッサに相互接続するために使用される物理レイヤコンポーネントであり、ＭＩＰＩアライアンスによって定義されている。ＭＩＰＩ ＣＳＩ（ＭＩＰＩ ＣＳＩ－Ｒｘまたは受信コンポーネントとＭＩＰＩ ＣＳＩ－Ｔｘまたは送信コンポーネントを含む）は、主にデバイス内のカメラをアプリケーションプロセッサまたは画像信号プロセッサに相互接続するために使用されるカメラシリアルインターフェースであり、ＭＩＰＩアライアンスによって定義されている。

ＰＦＡ／ＣＮＮサブプロセッサ２５０２の処理された分析は、２つの形態で提供することができる。一形態では、出力分析は、分類結果などの少数のデータワードによって定義することができ、その場合、ＭＩＰＩ規格の一部としてのＩ２Ｃバスを含む標準シリアル通信バス（ＳＰＩ、ＵＡＲＴ、Ｉ２Ｃ）経由でアプリケーションプロセッサ２５０６に送信することができる。他の形態では、処理された出力は、ＭＩＰＩ－ＣＳＩバス（例えば、メインデータバス）を介して送信される大量の出力データで構成することができる。この場合、ＰＦＡ／ＣＮＮサブプロセッサ２５０２は、ＭＩＰＩ－ＣＳＩデータ上に分析を直接埋め込むことができ、アプリケーションプロセッサ２５０６は、ＭＩＰＩ－ＣＳＩバスから分析を抽出する。これにより、ＣＮＮプロセッサ２５０１とアプリケーションプロセッサ２５０６との間でデータを伝送するための高度に最適化されたシステムが得られる。アプリケーションプロセッサ２５０６が特にＣＮＮプロセッサ２５０１にデータを転送する必要性を排除することにより、システム全体の電力を最小化することができる。これにより、システム全体のレイテンシをさらに低減することができる。スリープモードでは、デフォルトのデータフロー経路は、ＰＦＡ／ＣＮＮサブプロセッサ２５０２をバイパスして、ＭＩＰＩ－ＣＳＩバスの入力から出力までである。これにより、ＣＮＮプロセッサ２５０１のための電力が、ＰＦＡ／ＣＮＮサブプロセッサ２５０２が計算に使用されるときにのみ、消費されるか、または主に消費されることが保証される。一態様では、ＭＩＰＩバスを、フレキシブルケーブルを使用して実装することができる。そのような場合、ＣＮＮプロセッサ２５０１は、バスに沿って、そしてケーブルに沿って直列に配置することができる。一態様において、ＣＮＮサブプロセッサ２５０２は、本明細書に記載のＰＦＡのいずれかを用いて実装することができる。一態様では、ＣＮＮサブプロセッサ２５０２は、上述したような従来の命令セットアーキテクチャプロセッサ（例えば、ロード／ストアプロセッサ）を使用して実装することができる。

一態様では、ＣＮＮサブプロセッサ２５０２は、ＭＩＰＩを介して画像カメラセンサ２５０４から画像データを受信することができる。その後、ＣＮＮサブプロセッサ２５０２は、画像データに基づいて処理されたデータを生成することができる。処理されたデータは、分析または他の統計の形式をとることができる。次いで、ＣＮＮサブプロセッサ２５０２は、処理されたデータをアプリケーションプロセッサ（例えば、ＭＩＰＩバス上またはＳＰＩ／Ｉ２Ｃ／ＵＡＲＴバス上）に提供することができる。

図２６は、本開示のいくつかの態様に係る、ＭＩＰＩアプリケーションにおける構成可能なＣＮＮプロセッサ（２６０１（１）～２６０１（Ｎ）、まとめて２６０１と呼ぶ）の第２のユースケース２６００を示すブロック図である。図２６は、複数の構成可能なＣＮＮプロセッサ２６０１が、画像カメラセンサ２６０４とアプリケーションプロセッサ２６０６との間のＭＩＰＩバス上で直列にカスケード接続されている実装を説明している。この実装は、（例えば、図５に見られるように）単一のＣＮＮプロセッサを使用して計算することが困難または不可能である、より大きな画像分析関数を計算するための柔軟性を提供する。一態様では、第２のユースケース２６００が、ＰＦＡ／ＣＮＮサブプロセッサ２６０２をそれぞれ含む複数のＣＮＮプロセッサ２６０１を備える以外は、第１のユースケース２５００と実質的に同じように動作する。別の態様では、直列に結合された複数のＣＮＮプロセッサが、２６０１のＣＮＮプロセッサの各々で固有のアプリケーションを実装することができる。このユースケースでは、データがＣＮＮプロセッサの各々を通って流れる際に遅延が殆どなく、入力データがＭＩＰＩバスを介してＣＮＮプロセッサに到達するため、各ＣＮＮ計算の開始間のレイテンシを最小限に抑えて複数のＣＮＮをカスケードで実装することができる。

ＣＮＮプロセッサ２６０１の各々は、ＭＩＰＩバス上にあり、入力から出力へのＭＩＰＩバスのパススルーを有している。各々は、ＭＩＰＩバスからデータを読み取るとともに、入力の到着から出力が有効になるまで間のレイテンシを最小限に抑えて、入力から出力までのＭＩＰＩデータのフローを引き起こすかまたは有効にしている。これにより、入力から最初のＣＮＮプロセッサ２６０１（１）と比較すると、下流のＣＮＮプロセッサ２６０１（ｘ～Ｎ）は、アプリケーションプロセッサがダイレクトメモリ転送（ＤＭＡ）を介してＣＮＮコプロセッサの各々にデータを送信していたシステムと比較して、待ち時間なしに入力画像データに対して処理を開始することが可能になる。そのようなシステムでは、複数のＤＭＡチャンネルを並列に持つ必要があり、電力と面積の点でコストがかかる可能性がある。別の方法は、単一チャンネルＤＭＡを使用し、データを各コプロセッサにシリアル転送することであるが、これは時間のかかるプロセスであり、あるＣＮＮコプロセッサの開始時間と別のコプロセッサの開始時間との間に大きなレイテンシが生じるだろう。

図２７は、本開示のいくつかの態様に係る、ＭＩＰＩアプリケーションにおける構成可能なＣＮＮプロセッサ２７０１の第３のユースケース２７００を示すブロック図である。図２７は、ＭＩＰＩソース２７０４で始まるＭＩＰＩバスが、ＰＦＡ（例えば、構成可能なＣＮＮサブプロセッサ）２７０２をバイパスして、ＭＩＰＩシンク２７０６を介して、アプリケーションプロセッサに直接データを送り、同時に、構成可能なＣＮＮサブプロセッサ２７０２がＭＩＰＩデータを並行して処理することができる方法を示している。これは、少なくとも部分的には、マルチプレクサ２７０８の使用によって可能となる。

図２８は、本開示のいくつかの態様に係る、ＭＩＰＩアプリケーションにおける構成可能なＣＮＮプロセッサ２８０１の第４のユースケース２８００を示すブロック図である。図２８は、構成可能なＣＮＮプロセッサ２８０１の内部アーキテクチャを示す、より詳細な図である。ＣＮＮプロセッサ２８０１は、構成可能なＰＦＡ／ＣＮＮサブプロセッサ２８０２、マイクロコントローラ（図示のようにＲＩＳＣ－Ｖ）２８０４、ＭＩＰＩサブシステム、およびＵＡＲＴ、ＧＰＩＯ、ＳＰＩ、Ｉ２Ｃなどの標準ＩＯを含む。システム内（ＣＮＮサブプロセッサとＲＩＳＣ－Ｖマイクロコントローラの両方）のすべてのメモリは、メモリマッピングが可能であり、内部メモリバスを駆動する様々なマスタによってアクセス可能である。ＰＦＡ／ＣＮＮサブプロセッサ２８０２のプログラミングは、２つの異なるモードのうちの一方、すなわち、（１）ＳＰＩ ＦＬＡＳＨからＣＮＮプロセッサを構成する内部マイクロプロセッサによって、または（２）メモリバス上のマスタデバイスであるＳＰＩ、Ｉ２Ｃ、ＵＡＲＴなどの標準ＩＯインターフェースを介してアプリケーションプロセッサ（図示しないが、おそらくＭＩＰＩシンクに結合されている）によって、行うことができる。第２のモードでは、ＳＰＩ ＦＬＡＳＨを省略することができる。ＲＩＳＣ Ｖ内部プロセッサ２８０４は、様々なハウスキーピング機能を担い、必要に応じて計算にも使用することができる。それは、外部とのインターフェイスのためにＣＮＮサブプロセッサ２８０２の状態を追跡する。最後に、ＲＩＳＣ－Ｖ２８０４は、実行時にシステムで発生し得るあらゆる種類の例外を柔軟に処理することもできる。一態様では、ＲＩＳＣ－Ｖプロセッサを、オープンソースライセンスでカバーされる命令セットアーキテクチャコントローラとすることができ、それにより容易に採用することができる。

一態様において、図２８の構成可能なＣＮＮプロセッサ２８０１は、異なるユースケースとしてではなく、ＭＩＰＩを有する先の図面（例えば、図２７の２７０１、図２６の２６０１、または図２５の２５０１）の単なる詳細な説明と見なすことができる。ＲＩＳＣ－Ｖプロセッサはオプションである。ＲＩＳＣ－Ｖプロセッサを使用しないユースケースでは、アプリケーションプロセッサ（図２８には示されていないが、図２５の２５０６を参照）は、ＳＰＩ／Ｉ２Ｃ／ＵＡＲＴバスを介して構成可能なＣＮＮサブプロセッサ２８０２を構成することができる。その場合、ＣＮＮサブプロセッサの出力は、アプリケーションプロセッサによって読み取られるか、またはＣＮＮサブプロセッサは、出力をＭＩＰＩフレームに埋め込み、それらをアプリケーションプロセッサに送信することができる。一態様では、ＲＩＳＣ－Ｖプロセッサを使用することで、システムの柔軟性が高まる。電源投入時に、アプリケーションプロセッサのプログラミングを待たずに、ＳＰＩ－ＦＬＡＳＨから直接ＰＦＡ／ＣＮＮサブプロセッサ２８０２をプログラミングすることが可能である。オープンスタンダードのＲＩＳＣプロセッサであるＲＩＳＣ－Ｖプロセッサは、ＣＮＮサブプロセッサの状態を把握することができ、必要に応じて、計算の目的にも使用することができる。また、ＣＮＮプロセッサ２８０１およびチップ全体のテストにも使用することができる。

図２９は、本開示のいくつかの態様に係る、ダイレクトセンサインターフェースアプリケーションにおける構成可能なＣＮＮプロセッサ２９０２の第５のユースケース２９００を示すブロック図である。図２９では、第５のユースケースが、構成可能なＣＮＮプロセッサ２９０２を使用してセンサデータを直接処理する。ＣＮＮプロセッサ２９０２のサブコンポーネントである、センサへのＭＩＰＩインタフェースは、それを達成するのを助ける。図２９は、ＣＮＮプロセッサ２９０２がカメラセンサモジュールと直接インターフェースして、ＷｉＦｉ送信機２９０４を介して直接送信される画像／ビデオ分析を生成するユースケースの一例を示している。計算された画像／ビデオ分析（例えば、センサからの画像データに基づく分類データであり得る出力）は、入力データよりも著しく（例えば、数桁）小さく、ＷｉＦｉを介して伝送される。これにより、消費電力が大幅に低下し、ダイレクトセンサインターフェースデバイスのバッテリ寿命が向上し、当該デバイスは、任意のデバイス電源（例えば、バッテリ）を再充電する前に数ヶ月間使用可能な状態を維持することができる。このユニットの他の利点は、ＣＮＮプロセッサが画像を処理するためにフレーム全体を保存する必要がなく、実際の画像をデジタル形式で保存する必要がないことである。計算された統計値をＷｉＦｉで送信するのみである。このようなデバイスは、いかなる媒体にも画像またはビデオを記録しないため、プライバシー法の潜在的な抵触を回避することができる。

一態様では、デバイスは、処理されたデータが関連する場合にのみＷｉＦｉを介して送信することができ、その送信は、意図された統計（例えば、少数のデータワード）のみを含み、それによって全体の送信帯域幅を減少させることができる。このため、このユースケースおよび／または実装は、何千ものデバイスをＷｉＦｉを介して接続することを可能にし、その結果、大規模な展開が容易または可能になり、低コストで実装することができる。

一態様では、ＷｉＦｉ送信機２９０４を、無線通信に利用可能な多数の無線プロトコルのうちの任意の１つをサポートするより汎用的な無線送信機によって置き換えることができる。そのような場合、ＷｉＦｉを使用するものとして上述した通信は、代わりに、ＷｉＦｉ以外の無線プロトコルのいずれかを使用して無線で実行することができる。

図３０は、本開示のいくつかの態様に係る、ＭＩＰＩアプリケーションにおいて構成可能なＣＮＮプロセッサを動作させるためのプロセス３０００を示すフローチャートである。一態様では、ＭＩＰＩ用に構成された構成可能なＣＮＮプロセッサ（例えば、２５０１、２６０１、２７０１、２８０１、または２９０１）のいずれかが、このプロセスを実行することができる。ブロック３００２では、プロセスが、画像データを（例えば、図２５のＭＩＰＩを介して画像カメラセンサ２５０４から）受信する。ブロック３００４では、プロセスが、画像データに基づいて処理されたデータを生成する。処理されたデータは、分析または他の統計（例えば、画像データに基づく分類データを含む）の形態をとることができる。ブロック３００６では、プロセスが、処理されたデータをアプリケーションプロセッサ（例えば、ＭＩＰＩバス上またはＳＰＩ／Ｉ２Ｃ／ＵＡＲＴバス上）、または別のＭＩＰＩシンクに提供する。

追加の態様
一態様において、本明細書に記載の構成可能なＣＮＮプロセッサは、様々な利点を提供することができる。例えば、アクティブメモリバッファとコア計算要素との間のインターフェースは、非常に弾力的であり、ＦＩＦＯによって制御され得る。これにより、それらモジュールの各々は、その動作に影響を与えることなく、互いに非同期で実行することができる。それらＦＩＦＯの各々は、浅い深さであり、典型的には８～１６ワードの深さのオーダーであり得る。その結果、各コア計算要素は、入出力ＦＩＦＯとパイプラインレジスタ以外の大きなローカルメモリを使用することがなくなる。これは、コア計算要素とアクティブメモリバッファとの間のデータフローが、コンパイル時に静的に定義できるためである。プロセッササブシステム内の様々なコンポーネントを非同期に相互作用させる能力は、チップ設計内のタイミングクロージャなどの問題を排除するのに役立ち、タイミングを近付けるためにチップトップレベルで高コストな電力消費型クロックバッファ（例えば、至る所にある）を必要としないことによって、全体の電力を節約するのに役立つ。

本明細書に記載の構成可能なＣＮＮプロセッサの別の利点は、アクティブ／インテリジェントメモリバッファを含む。一態様では、浅い深さの入力および出力ＦＩＦＯを有し、システムの唯一の大きなメモリはその内部メモリアレイであり、これは単一の連続メモリとすることができ、複数のポートを含むことができる。一例では、連続メモリが２ポートの連続メモリアレイである。このような大きさの連続メモリアレイを１か所でのみ使用することは、チップトップレベルでタイミングを近付けるのに役立ち、チップ全体の設計を補助する。

本明細書に記載の構成可能なＣＮＮプロセッサの別の利点は、汎用性を含む。例えば、所与のＣＮＮのデータフローグラフが単一チップに収まらない場合、データフローグラフを分割し、複数のチップにまたがって実装することができる。複数のチップ間の通信は、チップ境界を越えて第１のチップのアクティブメモリバッファの出力を第２のチップのアクティブメモリバッファの入力に接続することによって可能となる。メモリバッファの出力ポートおよび入力ポートに存在するエラスティックＦＩＦＯにより、チップ間通信の実装が非常に柔軟になり、シリアルインターフェースまたはパラレルインターフェースのいずれかによって実装することが可能である。

一態様では、複数のＣＮＮを、本明細書で説明するように、構成可能なＣＮＮプロセッサ上に並列に実装することができる。一態様において、実装は、実装するＣＮＮの数に制限されるものではないが、むしろ、複数のＣＮＮを並列に実装するために利用可能な総リソースに制限があり得る。

一態様では、入力／予め選択されたＣＮＮまたはＣＮＮ記述が、高水準プログラミング言語であるＰｙｔｈｏｎで提供され、コンパイラが、構成可能なＣＮＮプロセッサのための適切な構成を生成する。

本明細書に記載の例は、本開示の特定の概念を説明するために提供されている。当業者であれば、それらは本質的に単なる例示であり、他の例が本開示の範囲および添付の特許請求の範囲に含まれる可能性があることを理解するであろう。本明細書の教示に基づいて、当業者は、本明細書に開示の一態様を他の任意の態様から独立して実施することができ、それらの態様のうちの２以上を様々な方法で組み合わせることができることを理解するはずである。例えば、本明細書に記載の任意の数の態様を使用して、装置を実装することができ、あるいは方法を実施することができる。さらに、他の構造および機能を使用して、または本明細書に記載の態様の１または複数に加えて又はそれ以外の他の構造および機能を使用して、そのような装置を実装することができ、あるいはそのような方法を実施することができる。

多くの態様は、例えばコンピューティングデバイスの要素によって実行される一連の動作に関して説明される。本明細書に記載の様々な動作は、特定の回路、例えば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の様々なタイプの汎用または専用のプロセッサまたは回路によって、１または複数のプロセッサによって実行されるプログラム命令によって、または両方の組合せによって実行できることが認識されよう。さらに、本明細書に記載のそれらの一連の動作は、実行時に関連するプロセッサに本明細書に記載の機能を実行させるコンピュータ命令の対応するセットを格納した任意の形式のコンピュータ可読記憶媒体内で完全に具現化されるとみなすことができる。したがって、本開示の様々な態様は、多数の様々な形態で具現化され得るが、それらのすべてが、請求された主題の範囲内にあることが企図されている。さらに、本明細書に記載の各態様について、そのような態様の対応する形態は、例えば、記載の動作を実行「するように構成されたロジック」として本明細書で説明され得る。

当業者であれば、情報および信号を、様々な異なる技術および手法のいずれかを使用して表すことができることを理解するであろう。例えば、上記説明を通じて言及されるデータ、命令、コマンド、情報、信号、ビット、記号およびチップは、電圧、電流、電磁波、磁場または粒子、光学場または粒子、またはそれらの任意の組合せによって表すことができる。

さらに、当業者は、本明細書に開示の態様に関連して説明された様々な例示的な論理ブロック、モジュール、回路およびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェアまたは両者の組合せとして実装され得ることを理解するであろう。ハードウェアとソフトウェアのこの互換性を明確に説明するために、様々な例示的なコンポーネント、ブロック、モジュール、回路およびステップが、全体としてそれらの機能の観点から上述されている。そのような機能がハードウェアとして実装されるかソフトウェアとして実装されるかは、具体的なアプリケーションとシステム全体に課される設計上の制約に依存する。当業者は、記載の機能を各具体的なアプリケーションに対して様々な方法で実装することができるが、そのような実装の決定は、本開示の範囲からの逸脱を引き起こすものと解釈されるべきではない。

上述したコンポーネント、ステップ、特徴および／または機能のうちの１または複数は、再配置し、かつ／または単一のコンポーネント、ステップ、特徴または機能に結合することができ、または複数のコンポーネント、ステップまたは機能に具現化することができる。また、本明細書に開示の新規の特徴から逸脱することなく、追加の要素、コンポーネント、ステップおよび／または機能を追加することができる。上述した装置、デバイスおよび／またはコンポーネントは、本明細書に記載の方法、特徴またはステップのうちの１または複数を実行するように構成することができる。また、本明細書に記載の新規のアルゴリズムは、ソフトウェアに効率的に実装され、かつ／またはハードウェアに組み込まれ得る。

開示の方法におけるステップの具体的な順序または階層は、例示的なプロセスの一例であることを理解されたい。設計上の望ましさに基づいて、方法におけるステップの具体的な順序または階層を再配置できることを理解されたい。添付の方法の請求項は、様々なステップの要素を例示的な順序で提示しており、そこに具体的に記載されていない限り、提示された具体的な順序または階層に限定されることを意図するものではない。

本明細書に開示の態様に関連して説明された方法、シーケンスまたはアルゴリズムは、ハードウェアで直接、プロセッサによって実行されるソフトウェアモジュールで、またはそれら２つの組合せで具現化されることができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭまたは当該技術分野で知られている任意の他の形態の記憶媒体に常駐することができる。記憶媒体の一例は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合されている。代替的には、記憶媒体はプロセッサと一体であってもよい。

本明細書では、「例示的」という語が、「例、実例、または例示として機能する」という意味で使用される。本明細書において「例示的」として説明される任意の態様は、必ずしも他の態様よりも好ましい又は有利であると解釈されるものではない。同様に、「態様」という用語は、すべての態様が検討した特徴、利点または動作モードを含むことを必要とするものではない。

本明細書で使用される用語は、特定の態様を説明することのみを目的としており、その態様を限定することを意図するものではない。本明細書で使用される場合、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が明らかにそうでないことを示さない限り、複数形も含むことが意図されている。さらに、本明細書で使用される場合、「ｃｏｍｐｒｉｓｅ」、「ｃｏｍｐｒｉｓｉｎｇ」、「ｉｎｃｌｕｄｅｓ」または「ｉｎｃｌｕｄｉｎｇ」という用語は、述べられた特徴、整数、ステップ、操作、要素またはコンポーネントの存在を特定するが、１または複数の他の特徴、整数、ステップ、操作、要素、コンポーネントまたはそれらの群の存在または追加を排除しないことが理解されよう。さらに、「または」という語はブール演算子「ＯＲ」と同じ意味を持ち、すなわち、特に明記しない限り、「いずれか」および「両方」の可能性を包含し、「排他的論理和」（「ＸＯＲ」）に限定されるものではないことを理解されたい。また、隣接する２つの語の間の「／」という記号は、特に明記しない限り、「または」と同じ意味を有する。また、「接続されている」、「結合されている」、「通信している」などの表現は、特に明記しない限り、直接的な接続に限定されるものではない。

本明細書における、「第１」、「第２」などの指定を用いた要素に対する言及は、一般に、それらの要素の数量または順序を制限するものではない。むしろ、それらの指定は、２以上の要素または要素のインスタンスを区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への言及は、そこで２つの要素のみが使用され得ること、または第１の要素が何らかの方法で第２の要素に先行しなければならないことを意味するものではない。また、特に明記しない限り、要素のセットは１または複数の要素を含むことができる。さらに、本明細書または特許請求の範囲で使用される「ａ、ｂ、またはｃの少なくとも１つ」または「ａ、ｂ、ｃ、またはそれらの任意の組合せ」という形式の用語は、「ａまたはｂまたはｃ、またはそれら要素の任意の組合せ」を意味する。例えば、この用語は、ａ、またはｂ、またはｃ、またはａとｂ、またはａとｃ、またはａとｂとｃ、または２ａ、または２ｂ、または２ｃ、または２ａとｂなどを含むことができる。

本明細書において、「特定する」という用語は、多種多様な動作を包含する。例えば、「特定する」ことは、計算すること、演算すること、処理すること、導き出すこと、調査すること、検索すること（例えば、テーブル、データベースまたは他のデータ構造で検索すること）、確認すること等を含むことができる。また、「特定する」は、受信すること（例えば、情報を受信すること）、アクセスすること（例えば、メモリ内のデータにアクセスすること）等も含むことができる。また、「特定する」ことは、求めること、選択すること、選ぶこと、確立すること等も含むことができる。

上述した開示は例示的な態様を示しているが、添付の特許請求の範囲から逸脱することなく、本明細書において様々な変更および修正が可能であることに留意されたい。また、本明細書に記載の態様に係る方法の請求項の機能、ステップまたは動作は、特に明記しない限り、特定の順序で実行する必要はない。さらに、要素が単数形で記載または請求されることがあるが、単数形への限定が明示されていない限り、その複数形が企図されている。

Claims (37)

1. 畳み込みニューラルネットワーク（ＣＮＮ）の実装専用の構成可能なプロセッサであって、
   複数のコア計算回路要素であって、各々が、予め選択されたデータフローグラフに従ってＣＮＮ関数を実行するように構成される、複数のコア計算回路要素と、
   アクティブメモリバッファと、
   前記アクティブメモリバッファと前記複数のコア計算回路要素との間の複数の接続であって、各々が、前記予め選択されたデータフローグラフに従って確立される、複数の接続と、
   前記複数のコア計算回路要素間の複数の接続であって、各々が、前記予め選択されたデータフローグラフに従って確立される、複数の接続とを備え、
   前記アクティブメモリバッファが、前記予め選択されたデータフローグラフに従って、前記アクティブメモリバッファを介して前記複数のコア計算回路要素間でデータを移動させるように構成されていることを特徴とする構成可能なプロセッサ。
2. 請求項１に記載の構成可能なプロセッサにおいて、
   前記予め選択されたデータフローグラフが、予め選択されたＣＮＮに基づいていることを特徴とする構成可能なプロセッサ。
3. 請求項１に記載の構成可能なプロセッサにおいて、
   前記複数のコア計算回路要素の各々が、命令セットを使用せずに、前記予め選択されたデータフローグラフに従ってＣＮＮ関数を実行するように構成されていることを特徴とする構成可能なプロセッサ。
4. 請求項１に記載の構成可能なプロセッサにおいて、
   前記複数のコア計算回路要素のうちの少なくとも２つが、互いに非同期で動作するように構成されていることを特徴とする構成可能なプロセッサ。
5. 請求項１に記載の構成可能なプロセッサにおいて、
   前記アクティブメモリバッファおよび前記複数のコア計算回路要素の各々が、互いに非同期で動作するように構成されていることを特徴とする構成可能なプロセッサ。
6. 請求項１に記載の構成可能なプロセッサにおいて、
   前記複数のコア計算回路要素の各々が、ＣＮＮ関数を実行する専用のものであることを特徴とする構成可能なプロセッサ。
7. 請求項１に記載の構成可能なプロセッサにおいて、
   前記複数のコア計算回路要素の各々が、前記構成可能なプロセッサの実行時間の前に、ＣＮＮ関数を実行するように構成されていることを特徴とする構成可能なプロセッサ。
8. 請求項１に記載の構成可能なプロセッサにおいて、
   前記複数のコア計算回路要素の各々が、ＣＮＮ関数のレイヤを計算するように構成されていることを特徴とする構成可能なプロセッサ。
9. 請求項１に記載の構成可能なプロセッサにおいて、
   前記複数のコア計算回路素子の各々が、ＣＮＮ全体を計算するように構成されていることを特徴とする構成可能なプロセッサ。
10. 請求項１に記載の構成可能なプロセッサにおいて、
    前記複数のコア計算回路素子の各々が、推論とトレーニングの両方のためにＣＮＮ関数を実行するように構成されていることを特徴とする構成可能なプロセッサ。
11. 請求項１に記載の構成可能なプロセッサにおいて、
    前記複数のコア計算回路要素の各々が、ＣＮＮ関数の実行に使用される重みを格納するように構成されたメモリを備えることを特徴とする構成可能なプロセッサ。
12. 請求項１に記載の構成可能なプロセッサにおいて、
    前記アクティブメモリバッファと前記複数のコア計算回路要素との間の複数の接続が、コンパイル時に確立されて、当該構成可能なプロセッサの実行時に固定され、
    前記複数のコア計算回路要素間の複数の接続が、前記コンパイル時に確立されて、前記実行時に固定されることを特徴とする構成可能なプロセッサ。
13. プロセッサアレイであって、
    請求項１に記載の複数の構成可能なプロセッサと、
    相互接続回路と、
    前記複数の構成可能なプロセッサおよび／または前記相互接続回路間の複数の接続であって、各々が、前記予め選択されたデータフローグラフに従って確立される、複数の接続とを備えることを特徴とするプロセッサアレイ。
14. システムであって、
    モバイル・インダストリ・プロセッサ・インタフェース（ＭＩＰＩ）ソースと、
    ＭＩＰＩシンクと、
    前記ＭＩＰＩソースと前記ＭＩＰＩシンクとの間に結合されたＭＩＰＩバスと、
    請求項１に記載の構成可能なプロセッサであって、前記ＭＩＰＩバス上のすべてのデータが当該構成可能なプロセッサを通過するように、前記ＭＩＰＩバスに沿って直列に配置される構成可能なプロセッサとを備えることを特徴とするシステム。
15. 請求項１４に記載のシステムにおいて、
    ＳＰＩ、Ｉ２Ｃインターフェース、またはＵＡＲＴインターフェースのうちの少なくとも１つを含む非ＭＩＰＩ出力インターフェースをさらに備え、
    前記構成可能なプロセッサが、前記非ＭＩＰＩ出力インターフェースまたは前記ＭＩＰＩバスのいずれかを使用して、外部デバイスに情報を送信するように構成されていることを特徴とするシステム。
16. システムであって、
    センサデータを生成するように構成されたセンサと、
    請求項１に記載の構成可能なプロセッサであって、前記センサに直接結合され、前記センサデータに基づいて処理されたデータを生成するように構成された構成可能なプロセッサと、
    前記構成可能なプロセッサに直接結合され、前記処理されたデータの少なくとも一部を送信するように構成された無線送信機とを備えることを特徴とするシステム。
17. 請求項１６に記載のシステムにおいて、
    前記センサデータが、画像データを含み、
    前記処理されたデータが、前記画像データに基づいて生成された分類データを含み、
    前記無線送信機が、前記分類データを送信するように構成されていることを特徴とするシステム。
18. 畳み込みニューラルネットワーク（ＣＮＮ）の実装専用の構成可能なプロセッサを構成する方法であって、
    予め選択されたデータフローグラフを受信するステップと、
    複数のコア計算回路要素の各々を、前記予め選択されたデータフローグラフに従ってＣＮＮ関数を実行するようにプログラミングするステップと、
    前記予め選択されたデータフローグラフに従って、アクティブメモリバッファをプログラミングするステップと、
    前記予め選択されたデータフローグラフに従って、前記アクティブメモリバッファと前記複数のコア計算回路要素との間の複数の接続をプログラミングするステップと、
    前記予め選択されたデータフローグラフに従って、前記複数のコア計算回路要素間の複数の接続をプログラミングするステップと、
    前記予め選択されたデータフローグラフに従って、前記メモリバッファを介して前記複数のコア計算回路要素間でデータを移動させるように、前記アクティブメモリバッファをプログラミングするステップとを備えることを特徴とする方法。
19. 請求項１８に記載の方法において、
    プログラミング動作の各々が、前記構成可能なプロセッサの実行時間の前に実行されることを特徴とする方法。
20. 請求項１８に記載の方法において、
    前記複数のコア計算回路要素を動作させて、命令セットを使用せずに、ＣＮＮ関数を実行するステップと、
    命令セットを使用せずに、前記アクティブメモリバッファを動作させるステップとをさらに含むことを特徴とする方法。
21. 請求項１８に記載の方法において、
    前記予め選択されたデータフローグラフが、予め選択されたＣＮＮに基づいていることを特徴とする方法。
22. 請求項１８に記載の方法において、
    前記複数のコア計算回路要素のうちの少なくとも２つを互いに非同期で動作させるステップをさらに含むことを特徴とする方法。
23. 請求項１８に記載の方法において、
    前記アクティブメモリバッファおよび前記複数のコア計算回路要素の各々を互いに非同期で動作させるステップをさらに含むことを特徴とする方法。
24. 請求項１８に記載の方法において、
    前記複数のコア計算回路要素の各々が、ＣＮＮ関数を実行する専用のものであることを特徴とする方法。
25. 請求項１８に記載の方法において、
    前記構成可能なプロセッサの実行時に、前記複数のコア計算回路要素のそれぞれの１つにおいて、ＣＮＮ関数を実行するステップをさらに含むことを特徴とする方法。
26. 請求項１８に記載の方法において、
    前記構成可能なプロセッサの実行時に、前記複数のコア計算回路要素のそれぞれの１つにおいて、ＣＮＮ関数のレイヤを計算するステップをさらに含むことを特徴とする方法。
27. 請求項１８に記載の方法において、
    前記構成可能なプロセッサの実行時に、前記複数のコア計算回路要素のうちの少なくとも１つにおいてＣＮＮ全体を計算するステップをさらに含むことを特徴とする方法。
28. 請求項１８に記載の方法において、
    前記アクティブメモリバッファと前記複数のコア計算回路要素との間の複数の接続が、コンパイル時にプログラムされ、前記構成可能なプロセッサの実行時に固定され、
    前記複数のコア計算回路要素間の複数の接続が、前記コンパイル時にプログラムされ、前記実行時に固定されることを特徴とする方法。
29. 請求項１８に記載の方法において、
    前記複数のコア計算回路要素の各々が、推論とトレーニングの両方のためにＣＮＮ関数を実行するように構成されていることを特徴とする方法。
30. 請求項１８に記載の方法において、
    前記複数のコア計算回路要素の各々が、ＣＮＮ関数の実行に使用される重みを格納するように構成されたメモリを備えることを特徴とする方法。
31. 畳み込みニューラルネットワーク（ＣＮＮ）の実装専用の構成可能なプロセッサであって、
    予め選択されたデータフローグラフに従ってＣＮＮ関数を実行するための複数の手段と、
    データを格納するための手段と、
    前記予め選択されたデータフローグラフに従って、前記データを格納するための手段と前記ＣＮＮ関数を実行するための複数の手段との間の接続を確立するための手段と、
    前記予め選択されたデータフローグラフに従って、前記ＣＮＮ関数を実行するための複数の手段間の接続を確立するための手段とを備え、
    前記データを格納するための手段が、前記予め選択されたデータフローグラフに従って、前記データを格納するための手段を介して、前記ＣＮＮ関数を実行するための複数の手段間でデータを移動させるための手段を備えることを特徴とする構成可能なプロセッサ。
32. 畳み込みニューラルネットワーク（ＣＮＮ）の実装専用の構成可能なプロセッサであって、
    モバイル・インダストリ・プロセッサ・インタフェース（ＭＩＰＩ）ソースに直接結合されるように構成されたＭＩＰＩ入力と、
    アプリケーションプロセッサに直接結合されるように構成されたＭＩＰＩ出力と、
    前記ＭＩＰＩ入力と前記ＭＩＰＩ出力との間に結合されたＭＩＰＩバスと、
    前記ＭＩＰＩバス上のすべてのデータが前記構成可能なプロセッサを通過するように、前記ＭＩＰＩバスに沿って直列に配置された構成可能なＣＮＮサブプロセッサであって、
    前記ＭＩＰＩソースから画像データを受信し、
    前記画像データに基づいて処理されたデータを生成し、かつ、
    前記処理されたデータを前記アプリケーションプロセッサに提供するように構成された構成可能なＣＮＮサブプロセッサとを備えることを特徴とする構成可能なプロセッサ。
33. 請求項３２に記載の構成可能なプロセッサにおいて、
    前記構成可能なＣＮＮサブプロセッサが、予め選択されたＣＮＮを用いて前記画像データに基づいて前記処理されたデータを生成するようにさらに構成されていることを特徴とする構成可能なプロセッサ。
34. 請求項３２に記載の構成可能なプロセッサにおいて、
    前記構成可能なＣＮＮサブプロセッサが、カスケード構成にある複数の構成可能なＣＮＮサブプロセッサを含むことを特徴とする構成可能なプロセッサ。
35. 請求項３２に記載の構成可能なプロセッサにおいて、
    前記構成可能なＣＮＮサブプロセッサが、前記ＭＩＰＩバスを介して前記アプリケーションプロセッサに前記処理されたデータを提供するように構成されていることを特徴とする構成可能なプロセッサ。
36. 請求項３２に記載の構成可能なプロセッサにおいて、
    前記構成可能なＣＮＮサブプロセッサが、
    複数のコア計算回路要素であって、各々が予め選択されたデータフローグラフに従ってＣＮＮ関数を実行するように構成された、複数のコア計算回路要素と、
    アクティブメモリバッファと、
    前記アクティブメモリバッファと前記複数のコア計算回路要素との間の複数の接続であって、各々が前記予め選択されたデータフローグラフに従って確立される、複数の接続と、
    前記複数のコア計算回路要素間の複数の接続であって、各々が前記予め選択されたデータフローグラフに従って確立される、複数の接続とをさらに備え、
    前記アクティブメモリバッファが、前記予め選択されたデータフローグラフに従って、前記アクティブメモリバッファを介して前記複数のコア計算回路要素間でデータを移動させるように構成されていることを特徴とする構成可能なプロセッサ。
37. 請求項３２に記載の構成可能なプロセッサにおいて、
    ＳＰＩ、Ｉ２ＣインターフェースまたはＵＡＲＴインターフェースのうちの少なくとも１つを含む非ＭＩＰＩ出力インターフェースをさらに備え、
    前記構成可能なプロセッサが、前記非ＭＩＰＩ出力インターフェースまたは前記ＭＩＰＩバスのいずれかを使用して、前記アプリケーションプロセッサに情報を送信するように構成されていることを特徴とする構成可能なプロセッサ。

Images