JP2023056644A - ニューラルネットワーク回路およびニューラルネットワーク回路の制御方法 - Google Patents

Abstract

【課題】ＩｏＴ機器などの組み込み機器に組み込み可能なニューラルネットワーク回路を高性能に動作させる。【解決手段】ニューラルネットワーク回路は、入力データに対して畳み込み演算を行う畳み込み演算回路と、前記畳み込み演算回路の畳み込み演算出力データに対して量子化演算を行う量子化演算回路と、を備え、前記畳み込み演算回路は、前記畳み込み演算の実行を待ち合わせるとき、前記畳み込み演算回路の少なくとも一部に供給される第一クロックのクロックゲーティングを有効にする。【選択図】図４

Description

本発明は、ニューラルネットワーク回路およびニューラルネットワーク回路の制御方法に関する。

近年、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）が画像認識等のモデルとして用いられている。畳み込みニューラルネットワークは、畳み込み層やプーリング層を有する多層構造であり、畳み込み演算等の多数の演算を必要とする。畳み込みニューラルネットワークによる演算を高速化する演算手法が様々考案されている（特許文献１など）。

特開２０１８－０７７８２９号公報

一方で、ＩｏＴ機器などの組み込み機器においても畳み込みニューラルネットワークを利用した画像認識等を実現することが望まれている。組み込み機器においては、特許文献1等に記載された大規模な専用回路を組み込むことは難しい。また、ＣＰＵやメモリ等のハードウェアリソースが限られた組み込み機器においては、畳み込みニューラルネットワークの十分な演算性能をソフトウェアのみにより実現することは難しい。

上記事情を踏まえ、本発明は、ＩｏＴ機器などの組み込み機器に組み込み可能なニューラルネットワーク回路を高性能に動作させることができるニューラルネットワーク回路およびニューラルネットワーク回路の制御方法を提供することを目的とする。

上記課題を解決するために、この発明は以下の手段を提案している。
本発明の第一の態様に係るニューラルネットワーク回路は、入力データに対して畳み込み演算を行う畳み込み演算回路と、前記畳み込み演算回路の畳み込み演算出力データに対して量子化演算を行う量子化演算回路と、を備え、前記畳み込み演算回路は、前記畳み込み演算の実行を待ち合わせるとき、前記畳み込み演算回路の少なくとも一部に供給される第一クロックのクロックゲーティングを有効にする。

本発明のニューラルネットワーク回路およびニューラルネットワーク回路の制御方法は、ＩｏＴ機器などの組み込み機器に組み込み可能なニューラルネットワーク回路を高性能に動作させることができる。

畳み込みニューラルネットワークを示す図である。 畳み込み層が行う畳み込み演算を説明する図である。 畳み込み演算のデータの展開を説明する図である。 第一実施形態に係るニューラルネットワーク回路の全体構成を示す図である。 同ニューラルネットワーク回路の動作例を示すタイミングチャートである。 同ニューラルネットワーク回路の他の動作例を示すタイミングチャートである。 同ニューラルネットワーク回路のＤＭＡＣの内部ブロック図である。 同ＤＭＡＣの制御回路のステート遷移図である。 クロック制御部３９の動作を示すタイミングチャートである。 同ニューラルネットワーク回路の畳み込み演算回路の内部ブロック図である。 同畳み込み演算回路の乗算器の内部ブロック図である。 同乗算器の積和演算ユニットの内部ブロック図である。 同畳み込み演算回路のアキュムレータ回路の内部ブロック図である。 同アキュムレータ回路のアキュムレータユニットの内部ブロック図である。 同ニューラルネットワーク回路の量子化演算回路の内部ブロック図である。 同量子化演算回路のベクトル演算回路と量子化回路の内部ブロック図である。 演算ユニットのブロック図である。 同量子化回路のベクトル量子化ユニットの内部ブロック図である。 セマフォによる同ニューラルネットワーク回路の制御を説明する図である。 第一データフローのタイミングチャートである。 第二データフローのタイミングチャートである。 畳み込み演算実施命令を説明する図である。 畳み込み演算命令の具体例を示す図である。 量子化演算実施命令を説明する図である。 ＤＭＡ転送実施命令を説明する図である。 第二実施形態に係るニューラルネットワーク回路の畳み込み演算命令を示す図である。 同ニューラルネットワーク回路の畳み込み演算命令の具体例を示す図である。

（第一実施形態）
本発明の第一実施形態について、図１から図２５を参照して説明する。
図１は、畳み込みニューラルネットワーク２００（以下、「ＣＮＮ２００」という）を示す図である。第一実施形態に係るニューラルネットワーク回路１００（以下、「ＮＮ回路１００」という）が行う演算は、推論時に使用する学習済みのＣＮＮ２００の少なくとも一部である。

［ＣＮＮ２００］
ＣＮＮ２００は、畳み込み演算を行う畳み込み層２１０と、量子化演算を行う量子化演算層２２０と、出力層２３０と、を含む多層構造のネットワークである。ＣＮＮ２００の少なくとも一部において、畳み込み層２１０と量子化演算層２２０とが交互に連結されている。ＣＮＮ２００は、画像認識や動画認識に広く使われるモデルである。ＣＮＮ２００は、全結合層などの他の機能を有する層（レイヤ）をさらに有してもよい。

図２は、畳み込み層２１０が行う畳み込み演算を説明する図である。
畳み込み層２１０は、入力データａに対して重みｗを用いた畳み込み演算を行う。畳み込み層２１０は、入力データａと重みｗとを入力とする積和演算を行う。

畳み込み層２１０への入力データａ（アクティベーションデータ、特徴マップともいう）は、画像データ等の多次元データである。本実施形態において、入力データａは、要素（ｘ，ｙ，ｃ）からなる３次元テンソルである。ＣＮＮ２００の畳み込み層２１０は、低ビットの入力データａに対して畳み込み演算を行う。本実施形態において、入力データａの要素は、２ビットの符号なし整数（０，１，２，３）である。入力データａの要素は、例えば、４ビットや８ビット符号なし整数でもよい。

ＣＮＮ２００に入力される入力データが、例えば３２ビットの浮動小数点型など、畳み込み層２１０への入力データａと形式が異なる場合、ＣＮＮ２００は畳み込み層２１０の前に型変換や量子化を行う入力層をさらに有してもよい。

畳み込み層２１０の重みｗ（フィルタ、カーネルともいう）は、学習可能なパラメータである要素を有する多次元データである。本実施形態において、重みｗは、要素（ｉ，ｊ，ｃ，ｄ）からなる４次元テンソルである。重みｗは、要素（ｉ，ｊ，ｃ）からなる３次元テンソル（以降、「重みｗｏ」という）をｄ個有している。学習済みのＣＮＮ２００における重みｗは、学習済みのデータである。ＣＮＮ２００の畳み込み層２１０は、低ビットの重みｗを用いて畳み込み演算を行う。本実施形態において、重みｗの要素は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。

畳み込み層２１０は、式１に示す畳み込み演算を行い、出力データｆを出力する。式１において、ｓはストライドを示す。図２において点線で示された領域は、入力データａに対して重みｗｏが適用される領域ａｏ（以降、「適用領域ａｏ」という）の一つを示している。適用領域ａｏの要素は、（ｘ＋ｉ，ｙ＋ｊ，ｃ）で表される。

量子化演算層２２０は、畳み込み層２１０が出力する畳み込み演算の出力に対して量子化などを実施する。量子化演算層２２０は、プーリング層２２１と、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２と、活性化関数層２２３と、量子化層２２４と、を有する。

プーリング層２２１は、畳み込み層２１０が出力する畳み込み演算の出力データｆに対して平均プーリング（式２）やＭＡＸプーリング（式３）などの演算を実施して、畳み込み層２１０の出力データｆを圧縮する。式２および式３において、ｕは入力テンソルを示し、ｖは出力テンソルを示し、Ｔはプーリング領域の大きさを示す。式３において、ｍａｘはＴに含まれるｉとｊの組み合わせに対するｕの最大値を出力する関数である。

Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２は、量子化演算層２２０やプーリング層２２１の出力データに対して、例えば式４に示すような演算によりデータ分布の正規化を行う。式４において、ｕは入力テンソルを示し、ｖは出力テンソルを示し、αはスケールを示し、βはバイアスを示す。学習済みのＣＮＮ２００において、αおよびβは学習済みの定数ベクトルである。

活性化関数層２２３は、量子化演算層２２０やプーリング層２２１やＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２の出力に対してＲｅＬＵ（式５）などの活性化関数の演算を行う。式５において、ｕは入力テンソルであり、ｖは出力テンソルである。式５において、ｍａｘは引数のうち最も大きい数値を出力する関数である。

量子化層２２４は、量子化パラメータに基づいて、プーリング層２２１や活性化関数層２２３の出力に対して例えば式６に示すような量子化を行う。式６に示す量子化は、入力テンソルｕを２ビットにビット削減している。式６において、ｑ(ｃ)は量子化パラメータのベクトルである。学習済みのＣＮＮ２００において、ｑ(ｃ)は学習済みの定数ベクトルである。式６における不等号「≦」は「＜」であってもよい。

出力層２３０は、恒等関数やソフトマックス関数等によりＣＮＮ２００の結果を出力する層である。出力層２３０の前段のレイヤは、畳み込み層２１０であってもよいし、量子化演算層２２０であってもよい。

ＣＮＮ２００は、量子化された量子化層２２４の出力データが、畳み込み層２１０に入力されるため、量子化を行わない他の畳み込みニューラルネットワークと比較して、畳み込み層２１０の畳み込み演算の負荷が小さい。

［畳み込み演算の分割］
ＮＮ回路１００は、畳み込み層２１０の畳み込み演算（式１）の入力データを部分テンソルに分割して演算する。部分テンソルへの分割方法や分割数は特に限定されない。部分テンソルは、例えば、入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）をａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）に分割することにより形成される。なお、ＮＮ回路１００は、畳み込み層２１０の畳み込み演算（式１）の入力データを分割せずに演算することもできる。

畳み込み演算の入力データ分割において、式１における変数ｃは、式７に示すように、サイズＢｃのブロックで分割される。また、式１における変数ｄは、式８に示すように、サイズＢｄのブロックで分割される。式７において、ｃｏはオフセットであり、ｃｉは０から(Ｂｃ－１)までのインデックスである。式８において、ｄｏはオフセットであり、ｄｉは０から(Ｂｄ－１)までのインデックスである。なお、サイズＢｃとサイズＢｄは同じであってもよい。

式１における入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）は、ｃ軸方向においてサイズＢｃにより分割され、分割された入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）で表される。以降の説明において、分割された入力データａを「分割入力データａ」ともいう。

式１における重みｗ（ｉ，ｊ，ｃ，ｄ）は、ｃ軸方向においてサイズＢｃおよびｄ軸方向においてサイズＢｄにより分割され、分割された重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）で表される。以降の説明において、分割された重みｗを「分割重みｗ」ともいう。

サイズＢｄにより分割された出力データｆ（ｘ，ｙ，ｄｏ）は、式９により求まる。分割された出力データｆ（ｘ，ｙ，ｄｏ）を組み合わせることで、最終的な出力データｆ（ｘ，ｙ，ｄ）を算出できる。

［畳み込み演算のデータの展開］
ＮＮ回路１００は、畳み込み層２１０の畳み込み演算における入力データａおよび重みｗを展開して畳み込み演算を行う。

図３は、畳み込み演算のデータの展開を説明する図である。
分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ）は、Ｂｃ個の要素を持つベクトルデータに展開される。分割入力データａの要素は、ｃｉでインデックスされる（０≦ｃｉ＜Ｂｃ）。以降の説明において、ｉ，ｊごとにベクトルデータに展開された分割入力データａを「入力ベクトルＡ」ともいう。入力ベクトルＡは、分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ×Ｂｃ）から分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ×Ｂｃ＋（Ｂｃ－１））までを要素とする。

分割重みｗ（ｉ，ｊ，ｃｏ、ｄｏ）は、Ｂｃ×Ｂｄ個の要素を持つマトリクスデータに展開される。マトリクスデータに展開された分割重みｗの要素は、ｃｉとｄｉでインデックスされる（０≦ｄｉ＜Ｂｄ）。以降の説明において、ｉ，ｊごとにマトリクスデータに展開された分割重みｗを「重みマトリクスＷ」ともいう。重みマトリクスＷは、分割重みｗ（ｉ，ｊ，ｃｏ×Ｂｃ、ｄｏ×Ｂｄ）から分割重みｗ（ｉ，ｊ，ｃｏ×Ｂｃ＋（Ｂｃ－１）、ｄｏ×Ｂｄ＋（Ｂｄ－１））までを要素とする。

入力ベクトルＡと重みマトリクスＷとを乗算することで、ベクトルデータが算出される。ｉ，ｊ，ｃｏごとに算出されたベクトルデータを３次元テンソルに整形することで、出力データｆ（ｘ，ｙ，ｄｏ）を得ることができる。このようなデータの展開を行うことで、畳み込み層２１０の畳み込み演算を、ベクトルデータとマトリクスデータとの乗算により実施できる。

［ＮＮ回路１００］
図４は、本実施形態に係るＮＮ回路１００の全体構成を示す図である。
ＮＮ回路１００は、第一メモリ１と、第二メモリ２と、ＤＭＡコントローラ３（以下、「ＤＭＡＣ３」ともいう）と、畳み込み演算回路４と、量子化演算回路５と、コントローラ６と、を備える。ＮＮ回路１００は、第一メモリ１および第二メモリ２を介して、畳み込み演算回路４と量子化演算回路５とがループ状に形成されていることを特徴とする。

第一メモリ１は、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第一メモリ１には、ＤＭＡＣ３やコントローラ６を介してデータの書き込みおよび読み出しが行われる。第一メモリ１は、畳み込み演算回路４の入力ポートと接続されており、畳み込み演算回路４は第一メモリ１からデータを読み出すことができる。また、第一メモリ１は、量子化演算回路５の出力ポートと接続されており、量子化演算回路５は第一メモリ１にデータを書き込むことができる。外部ホストＣＰＵ１１０は、第一メモリ１に対するデータの書き込みや読み出しにより、ＮＮ回路１００に対するデータの入出力を行うことができる。

第二メモリ２は、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第二メモリ２には、ＤＭＡＣ３やコントローラ６を介してデータの書き込みおよび読み出しが行われる。第二メモリ２は、量子化演算回路５の入力ポートと接続されており、量子化演算回路５は第二メモリ２からデータを読み出すことができる。また、第二メモリ２は、畳み込み演算回路４の出力ポートと接続されており、畳み込み演算回路４は第二メモリ２にデータを書き込むことができる。外部ホストＣＰＵ１１０は、第二メモリ２に対するデータの書き込みや読み出しにより、ＮＮ回路１００に対するデータの入出力を行うことができる。

ＤＭＡＣ３は、外部バスＥＢに接続されており、ＤＲＡＭなどの外部メモリ１２０と第一メモリ１との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリ１２０と第二メモリ２との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリ１２０と畳み込み演算回路４との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリ１２０と量子化演算回路５との間のデータ転送を行う。

畳み込み演算回路４は、学習済みのＣＮＮ２００の畳み込み層２１０における畳み込み演算を行う回路である。畳み込み演算回路４は、第一メモリ１に格納された入力データａを読み出し、入力データａに対して畳み込み演算を実施する。畳み込み演算回路４は、畳み込み演算の出力データｆ（以降、「畳み込み演算出力データ」ともいう）を第二メモリ２に書き込む。

量子化演算回路５は、学習済みのＣＮＮ２００の量子化演算層２２０における量子化演算の少なくとも一部を行う回路である。量子化演算回路５は、第二メモリ２に格納された畳み込み演算の出力データｆを読み出し、畳み込み演算の出力データｆに対して量子化演算（プーリング、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、活性化関数、および量子化のうち少なくとも量子化を含む演算）を行う。量子化演算回路５は、量子化演算の出力データ（以降、「量子化演算出力データ」ともいう）を第一メモリ１に書き込む。

コントローラ６は、外部バスＥＢに接続されており、外部バスＥＢに対してマスタおよびスレーブとして動作する。コントローラ６は、レジスタ６１と、ＩＦＵ６２と、を有している。

レジスタ６１は、パラメータレジスタや状態レジスタを有する。パラメータレジスタは、ＮＮ回路１００の動作を制御するレジスタである。状態レジスタはセマフォＳを含むＮＮ回路１００の状態を示すレジスタである。外部ホストＣＰＵ１１０は、コントローラ６を経由して、レジスタ６１にアクセスできる。

ＩＦＵ（Instruction Fetch Unit、命令フェッチユニット）６２は、外部ホストＣＰＵ１１０の指示に基づいて、外部バスＥＢを経由してＤＭＡＣ３、畳み込み演算回路４および量子化演算回路５に対する命令コマンドを読み出す。また、ＩＦＵ６２は、読み出した命令コマンドを対応するＤＭＡＣ３、畳み込み演算回路４および量子化演算回路５に転送する。

コントローラ６は、内部バスＩＢ（図４参照）およびＩＦＵ６２と接続された専用配線（不図示）を介して、第一メモリ１と、第二メモリ２と、ＤＭＡＣ３と、畳み込み演算回路４と、量子化演算回路５と、接続されている。外部ホストＣＰＵ１１０は、コントローラ６を経由して、各ブロックに対してアクセスできる。例えば、外部ホストＣＰＵ１１０は、コントローラ６を経由して、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５に対する命令を指示することができる。また、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５は、内部バスＩＢを介して、コントローラ６が有する状態レジスタ（セマフォＳを含む）を更新できる。状態レジスタ（セマフォＳを含む）は、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５と接続された専用配線を介して更新されるように構成されていてもよい。

ＮＮ回路１００は、第一メモリ１や第二メモリ２等を有するため、ＤＲＡＭなどの外部メモリ１２０からのＤＭＡＣ３によるデータ転送において、重複するデータのデータ転送の回数を低減できる。これにより、メモリアクセスにより発生する消費電力を大幅に低減することができる。

［ＮＮ回路１００の動作例１］
図５は、ＮＮ回路１００の動作例を示すタイミングチャートである。
ＤＭＡＣ３は、レイヤ１の入力データａを第一メモリ１に格納する。ＤＭＡＣ３は、畳み込み演算回路４が行う畳み込み演算の順序にあわせて、レイヤ１の入力データａを分割して第一メモリ１に転送してもよい。

畳み込み演算回路４は、第一メモリ１に格納されたレイヤ１の入力データａを読み出す。畳み込み演算回路４は、レイヤ１の入力データａに対して図１に示すレイヤ１の畳み込み演算を行う。レイヤ１の畳み込み演算の出力データｆは、第二メモリ２に格納される。

量子化演算回路５は、第二メモリ２に格納されたレイヤ１の出力データｆを読み出す。量子化演算回路５は、レイヤ１の出力データｆに対してレイヤ２の量子化演算を行う。レイヤ２の量子化演算の出力データは、第一メモリ１に格納される。

畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２の量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２の量子化演算の出力データを入力データａとしてレイヤ３の畳み込み演算を行う。レイヤ３の畳み込み演算の出力データｆは、第二メモリ２に格納される。

畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２Ｍ－２（Ｍは自然数）の量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２Ｍ－２の量子化演算の出力データを入力データａとしてレイヤ２Ｍ－１の畳み込み演算を行う。レイヤ２Ｍ－１の畳み込み演算の出力データｆは、第二メモリ２に格納される。

量子化演算回路５は、第二メモリ２に格納されたレイヤ２Ｍ－１の出力データｆを読み出す。量子化演算回路５は、２Ｍ－１レイヤの出力データｆに対してレイヤ２Ｍの量子化演算を行う。レイヤ２Ｍの量子化演算の出力データは、第一メモリ１に格納される。

畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２Ｍの量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２Ｍの量子化演算の出力データを入力データａとしてレイヤ２Ｍ＋１の畳み込み演算を行う。レイヤ２Ｍ＋１の畳み込み演算の出力データｆは、第二メモリ２に格納される。

畳み込み演算回路４と量子化演算回路５とが交互に演算を行い、図１に示すＣＮＮ２００の演算を進めていく。ＮＮ回路１００は、畳み込み演算回路４が時分割によりレイヤ２Ｍ－１とレイヤ２Ｍ＋１の畳み込み演算を実施する。また、ＮＮ回路１００は、量子化演算回路５が時分割によりレイヤ２Ｍ－２とレイヤ２Ｍの量子化演算を実施する。そのため、ＮＮ回路１００は、レイヤごとに別々の畳み込み演算回路４と量子化演算回路５を実装する場合と比較して、回路規模が著しく小さい。

ＮＮ回路１００は、複数のレイヤの多層構造であるＣＮＮ２００の演算を、ループ状に形成された回路により演算する。ＮＮ回路１００は、ループ状の回路構成により、ハードウェア資源を効率的に利用できる。なお、ＮＮ回路１００は、ループ状に回路を形成するために、各レイヤで変化する畳み込み演算回路４や量子化演算回路５におけるパラメータは適宜更新される。

ＣＮＮ２００の演算にＮＮ回路１００により実施できない演算が含まれる場合、ＮＮ回路１００は外部ホストＣＰＵ１１０などの外部演算デバイスに中間データを転送する。外部演算デバイスが中間データに対して演算を行った後、外部演算デバイスによる演算結果は第一メモリ１や第二メモリ２に入力される。ＮＮ回路１００は、外部演算デバイスによる演算結果に対する演算を再開する。

［ＮＮ回路１００の動作例２］
図６は、ＮＮ回路１００の他の動作例を示すタイミングチャートである。
ＮＮ回路１００は、入力データａを部分テンソルに分割して、時分割により部分テンソルに対する演算を行ってもよい。部分テンソルへの分割方法や分割数は特に限定されない。

図６は、入力データａを二つの部分テンソルに分解した場合の動作例を示している。分解された部分テンソルを、「第一部分テンソルａ₁」、「第二部分テンソルａ₂」とする。例えば、レイヤ２Ｍ－１の畳み込み演算は、第一部分テンソルａ₁に対応する畳み込み演算（図６において、「レイヤ２Ｍ－１（ａ₁）」と表記）と、第二部分テンソルａ₂に対応する畳み込み演算（図６において、「レイヤ２Ｍ－１（ａ₂）」と表記）と、に分解される。

第一部分テンソルａ₁に対応する畳み込み演算および量子化演算と、第二部分テンソルａ₂に対応する畳み込み演算および量子化演算とは、図６に示すように、独立して実施することができる。

畳み込み演算回路４は、第一部分テンソルａ₁に対応するレイヤ２Ｍ－１の畳み込み演算（図６において、レイヤ２Ｍ－１（ａ₁）で示す演算）を行う。その後、畳み込み演算回路４は、第二部分テンソルａ_２に対応するレイヤ２Ｍ－１の畳み込み演算（図６において、レイヤ２Ｍ－１（ａ_２）で示す演算）を行う。また、量子化演算回路５は、第一部分テンソルａ₁に対応するレイヤ２Ｍの量子化演算（図６において、レイヤ２Ｍ（ａ₁）で示す演算）を行う。このように、ＮＮ回路１００は、第二部分テンソルａ_２に対応するレイヤ２Ｍ－１の畳み込み演算と、第一部分テンソルａ₁に対応するレイヤ２Ｍの量子化演算と、を並列に実施できる。

次に、畳み込み演算回路４は、第一部分テンソルａ₁に対応するレイヤ２Ｍ＋１の畳み込み演算（図６において、レイヤ２Ｍ＋１（ａ₁）で示す演算）を行う。また、量子化演算回路５は、第二部分テンソルａ_２に対応するレイヤ２Ｍの量子化演算（図６において、レイヤ２Ｍ（ａ_２）で示す演算）を行う。このように、ＮＮ回路１００は、第一部分テンソルａ₁に対応するレイヤ２Ｍ＋１の畳み込み演算と、第二部分テンソルａ_２に対応するレイヤ２Ｍの量子化演算と、を並列に実施できる。

第一部分テンソルａ₁に対応する畳み込み演算および量子化演算と、第二部分テンソルａ₂に対応する畳み込み演算および量子化演算とは、独立して実施することができる。そのため、ＮＮ回路１００は、例えば、第一部分テンソルａ₁に対応するレイヤ２Ｍ－１の畳み込み演算と、第二部分テンソルａ_２に対応するレイヤ２Ｍ＋２の量子化演算と、を並列に実施してもよい。すなわち、ＮＮ回路１００が並列で演算する畳み込み演算と量子化演算は、連続するレイヤの演算に限定されない。

入力データａを部分テンソルに分割することで、ＮＮ回路１００は畳み込み演算回路４と量子化演算回路５とを並列して動作させることができる。その結果、畳み込み演算回路４と量子化演算回路５が待機する時間が削減され、ＮＮ回路１００の演算処理効率が向上する。図６に示す動作例において分割数は２であったが、分割数が２より大きい場合も同様に、ＮＮ回路１００は畳み込み演算回路４と量子化演算回路５とを並列して動作させることができる。

例えば、入力データａが「第一部分テンソルａ₁」、「第二部分テンソルａ₂」および「第三部分テンソルａ_３」に分割される場合、ＮＮ回路１００は、第二部分テンソルａ_２に対応するレイヤ２Ｍ－１の畳み込み演算と、第三部分テンソルａ_３に対応するレイヤ２Ｍの量子化演算と、を並列に実施してもよい。演算の順序は、第一メモリ１および第二メモリ２における入力データａの格納状況によって適宜変更される。

なお、部分テンソルに対する演算方法としては、同一レイヤにおける部分テンソルの演算を畳み込み演算回路４または量子化演算回路５で行った後に次のレイヤにおける部分テンソルの演算を行う例（方法１）を示した。例えば、図６に示すように、畳み込み演算回路４において、第一部分テンソルａ₁および第二部分テンソルａ_２に対応するレイヤ２Ｍ－１の畳み込み演算（図６において、レイヤ２Ｍ－１（ａ₁）およびレイヤ２Ｍ－１（ａ_２）で示す演算）を行った後に、第一部分テンソルａ₁および第二部分テンソルａ_２に対応するレイヤ２Ｍ＋１の畳み込み演算（図６において、レイヤ２Ｍ＋１（ａ₁）およびレイヤ２Ｍ＋１（ａ_２）で示す演算）を実施している。

しかしながら、部分テンソルに対する演算方法はこれに限られない。部分テンソルに対する演算方法は、複数レイヤにおける一部の部分テンソルの演算をした後に残部の部分テンソルの演算を実施する方法でもよい（方法２）。例えば、畳み込み演算回路４において、第一部分テンソルａ₁に対応するレイヤ２Ｍ－１および第一部分テンソルａ₁に対応するレイヤ２Ｍ＋１の畳み込み演算を行った後に、第二部分テンソルａ_２に対応するレイヤ２Ｍ－１および第二部分テンソルａ_２に対応するレイヤ２Ｍ＋１の畳み込み演算を実施してもよい。

また、部分テンソルに対する演算方法は、方法１と方法２とを組み合わせて部分テンソルを演算する方法でもよい。ただし、方法２を用いる場合は、部分テンソルの演算順序に関する依存関係に従って演算を実施する必要がある。

次に、ＮＮ回路１００の各構成に関して詳しく説明する。

［ＤＭＡＣ３］
図７は、ＤＭＡＣ３の内部ブロック図である。
ＤＭＡＣ３は、データ転送回路３１と、ステートコントローラ３２と、クロック制御部３９と、を有する。ＤＭＡＣ３は、データ転送回路３１に対する専用のステートコントローラ３２を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずにＤＭＡデータ転送を実施できる。

データ転送回路３１は、外部バスＥＢに接続されており、ＤＲＡＭなどの外部メモリ１２０と第一メモリ１との間のＤＭＡデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリ１２０と第二メモリ２との間のＤＭＡデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリ１２０と畳み込み演算回路４との間のデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリ１２０と量子化演算回路５との間のデータ転送を行う。データ転送回路３１のＤＭＡチャンネル数は限定されない。例えば、第一メモリ１と第二メモリ２のそれぞれに専用のＤＭＡチャンネルを有していてもよい。

ステートコントローラ３２は、データ転送回路３１のステートを制御する。また、ステートコントローラ３２は、内部バスＩＢ（図４参照）およびＩＦＵ６２と接続された専用配線（不図示）を介してコントローラ６と接続されている。ステートコントローラ３２は、命令キュー３３と制御回路３４とを有する。

命令キュー３３は、ＤＭＡＣ３用の命令コマンドＣ３が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー３３には、内部バスＩＢまたはＩＦＵ６２経由で１つ以上の命令コマンドＣ３が書き込まれる。

制御回路３４は、命令コマンドＣ３をデコードし、命令コマンドＣ３に基づいて順次データ転送回路３１を制御するステートマシンである。制御回路３４は、論理回路により実装されていてもよいし、ソフトウェアによって制御されるＣＰＵによって実装されていてもよい。

図８は、制御回路３４のステート遷移図である。
制御回路３４は、命令キュー３３に命令コマンドＣ３が入力されると（Ｎｏｔ ｅｍｐｔｙ）、アイドルステートＳＴ１からデコードステートＳＴ２に遷移する。

制御回路３４は、デコードステートＳＴ２において、命令キュー３３から出力される命令コマンドＣ３をデコードする。また、制御回路３４は、コントローラ６のレジスタ６１に格納されたセマフォＳを読み出し、命令コマンドＣ３において指示されたデータ転送回路３１の動作を実行可能であるかを判定する。実行不能である場合（Ｎｏｔ ｒｅａｄｙ）、制御回路３４はデコードステートＳＴ２からウエイトステートＳＴ４に遷移する。実行可能である場合（ｒｅａｄｙ）、制御回路３４はデコードステートＳＴ２から実行ステートＳＴ３に遷移する。

制御回路３４は、ウエイトステートＳＴ４において、命令コマンドＣ３において指示されたデータ転送回路３１の動作を実行可能となるまで待つ（Ｗａｉｔ）。実行可能となった場合（ｒｅａｄｙ）、制御回路３４はウエイトステートＳＴ４から実行ステートＳＴ３に遷移する。

制御回路３４は、実行ステートＳＴ３において、データ転送回路３１を制御して、データ転送回路３１に命令コマンドＣ３において指示された動作を実施させる。制御回路３４は、データ転送回路３１の動作が終わると、命令キュー３３から実行を終えた命令コマンドＣ３を取り除くとともに、コントローラ６のレジスタ６１に格納されたセマフォＳを更新する。制御回路３４は、命令キュー３３に命令がある場合（Ｎｏｔ ｅｍｐｔｙ）、実行ステートＳＴ３からデコードステートＳＴ２に遷移する。制御回路３４は、命令キュー３３に命令がない場合（ｅｍｐｔｙ）、実行ステートＳＴ３からアイドルステートＳＴ１に遷移する。

図９は、クロック制御部３９の動作を示すタイミングチャートである。
クロック制御部３９は、ＮＮ回路１００に供給されるクロックＣＫから、クロックイネーブル信号ＣＥ３に基づいて、ゲーティッドクロック（第三クロック）ＧＣ３を生成する。クロックイネーブル信号ＣＥ３がネゲートされて無効（Ｄｉｓａｂｌｅ、図９においてＬｏｗ）に設定されると、ゲーティッドクロックＧＣ３のトグルが停止される。クロックイネーブル信号ＣＥ３がアサートされて有効（Ｅｎａｂｌｅ、図９においてＨｉｇｈ）に設定されると、ゲーティッドクロックＧＣ３のトグルが開始される。ゲーティッドクロックＧＣ３の生成回路は、公知のクロックゲーティング用回路から適宜選択された回路である。

クロックイネーブル信号ＣＥ３は、ステートコントローラ３２によって制御される。ステートコントローラ３２の制御回路３４は、デコードステートＳＴ２からウエイトステートＳＴ４に遷移するときに、クロックイネーブル信号ＣＥ３をネゲートして無効（Ｄｉｓａｂｌｅ）に設定する。制御回路３４がウエイトステートＳＴ４であるとき、ゲーティッドクロックＧＣ３のトグルが停止される。ステートコントローラ３２の制御回路３４は、ウエイトステートＳＴ４から実行ステートＳＴ３に遷移するときに、クロックイネーブル信号ＣＥ３をアサートして有効（Ｅｎａｂｌｅ）に設定する。制御回路３４が実行ステートＳＴ３であるとき、ゲーティッドクロックＧＣ３のトグルが再開される。

生成されたゲーティッドクロックＧＣ３は、図７に示すように、ステートコントローラ３２の一部と、データ転送回路３１とに対して出力され、動作クロックとして使用される。

［畳み込み演算回路４］
図１０は、畳み込み演算回路４の内部ブロック図である。
畳み込み演算回路４は、重みメモリ４１と、乗算器４２と、アキュムレータ回路４３と、ステートコントローラ４４と、クロック制御部４９と、を有する。畳み込み演算回路４は、乗算器４２およびアキュムレータ回路４３に対する専用のステートコントローラ４４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに畳み込み演算を実施できる。

重みメモリ４１は、畳み込み演算に用いる重みｗが格納されるメモリであり、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。ＤＭＡＣ３は、ＤＭＡ転送により、畳み込み演算に必要な重みｗを重みメモリ４１に書き込む。

図１１は、乗算器４２の内部ブロック図である。
乗算器４２は、入力ベクトルＡと重みマトリクスＷとを乗算する。入力ベクトルＡは、上述したように、分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ）がｉ、ｊごとに展開されたＢｃ個の要素を持つベクトルデータである。また、重みマトリクスＷは、分割重みｗ（ｉ，ｊ，ｃｏ、ｄｏ）がｉ、ｊごとに展開されたＢｃ×Ｂｄ個の要素を持つマトリクスデータである。乗算器４２は、Ｂｃ×Ｂｄ個の積和演算ユニット４７を有し、入力ベクトルＡと重みマトリクスＷとを乗算を並列して実施できる。

乗算器４２は、乗算に必要な入力ベクトルＡと重みマトリクスＷを、第一メモリ１および重みメモリ４１から読み出して乗算を実施する。乗算器４２は、Ｂｄ個の積和演算結果Ｏ（ｄｉ）を出力する。

図１２は、積和演算ユニット４７の内部ブロック図である。
積和演算ユニット４７は、入力ベクトルＡの要素Ａ（ｃｉ）と、重みマトリクスＷの要素Ｗ（ｃｉ，ｄｉ）との乗算を実施する。また、積和演算ユニット４７は、乗算結果と他の積和演算ユニット４７の乗算結果Ｓ（ｃｉ，ｄｉ）と加算する。積和演算ユニット４７は、加算結果Ｓ（ｃｉ＋１，ｄｉ）を出力する。要素Ａ（ｃｉ）は、２ビットの符号なし整数（０，１，２，３）である。要素Ｗ（ｃｉ，ｄｉ）は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。

積和演算ユニット４７は、反転器（インバータ）４７ａと、セレクタ４７ｂと、加算器４７ｃと、を有する。積和演算ユニット４７は、乗算器を用いず、反転器４７ａおよびセレクタ４７ｂのみを用いて乗算を行う。セレクタ４７ｂは、要素Ｗ（ｃｉ，ｄｉ）が「０」の場合、要素Ａ（ｃｉ）の入力を選択する。セレクタ４７ｂは、要素Ｗ（ｃｉ，ｄｉ）が「１」の場合、要素Ａ（ｃｉ）を反転器により反転させた補数を選択する。要素Ｗ（ｃｉ，ｄｉ）は、加算器４７ｃのＣａｒｒｙ－ｉｎにも入力される。加算器４７ｃは、要素Ｗ（ｃｉ，ｄｉ）が「０」のとき、Ｓ（ｃｉ，ｄｉ）に要素Ａ（ｃｉ）を加算した値を出力する。加算器４７ｃは、Ｗ（ｃｉ，ｄｉ）が「１」のとき、Ｓ（ｃｉ，ｄｉ）から要素Ａ（ｃｉ）を減算した値を出力する。

図１３は、アキュムレータ回路４３の内部ブロック図である。
アキュムレータ回路４３は、乗算器４２の積和演算結果Ｏ（ｄｉ）を第二メモリ２にアキュムレートする。アキュムレータ回路４３は、Ｂｄ個のアキュムレータユニット４８を有し、Ｂｄ個の積和演算結果Ｏ（ｄｉ）を並列して第二メモリ２にアキュムレートできる。

図１３は、アキュムレータユニット４８の内部ブロック図である。
アキュムレータユニット４８は、加算器４８ａと、マスク部４８ｂとを有している。加算器４８ａは、積和演算結果Ｏの要素Ｏ（ｄｉ）と、第二メモリ２に格納された式１に示す畳み込み演算の途中経過である部分和と、を加算する。加算結果は、要素あたり１６ビットである。加算結果は、要素あたり１６ビットに限定されず、例えば要素あたり１５ビットや１７ビットであってもよい。

加算器４８ａは、加算結果を第二メモリ２の同一アドレスに書き込む。マスク部４８ｂは、初期化信号ｃｌｅａｒがアサートされた場合に、第二メモリ２からの出力をマスクし、要素Ｏ（ｄｉ）に対する加算対象をゼロにする。初期化信号ｃｌｅａｒは、第二メモリ２に途中経過の部分和が格納されていない場合にアサートされる。

乗算器４２およびアキュムレータ回路４３による畳み込み演算が完了すると、第二メモリに、出力データｆ（ｘ，ｙ，ｄｏ）が格納される。

ステートコントローラ４４は、乗算器４２およびアキュムレータ回路４３のステートを制御する。また、ステートコントローラ４４は、内部バスＩＢ（図４参照）およびＩＦＵ６２と接続された専用配線（不図示）を介してコントローラ６と接続されている。ステートコントローラ４４は、命令キュー４５と制御回路４６とを有する。

命令キュー４５は、畳み込み演算回路４用の命令コマンドＣ４が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー４５には、内部バスＩＢまたはＩＦＵ６２経由で命令コマンドＣ４が書き込まれる。

制御回路４６は、命令コマンドＣ４をデコードし、命令コマンドＣ４に基づいて乗算器４２およびアキュムレータ回路４３を制御するステートマシンである。制御回路４６は、ＤＭＡＣ３のステートコントローラ３２の制御回路３４と同様の構成である。

クロック制御部４９は、ＮＮ回路１００に供給されるクロックＣＫから、クロックイネーブル信号ＣＥ４に基づいて、ゲーティッドクロック（第一クロック）ＧＣ４を生成する。図９に示すように、クロックイネーブル信号ＣＥ４がネゲートされて無効（Ｄｉｓａｂｌｅ）に設定されると、ゲーティッドクロックＧＣ４のトグルが停止される。クロックイネーブル信号ＣＥ４がアサートされて有効（Ｅｎａｂｌｅ）に設定されると、ゲーティッドクロックＧＣ４のトグルが開始される。クロック制御部４９は、ＤＭＡＣ３のクロック制御部３９と同様の構成である。

クロックイネーブル信号ＣＥ４は、ステートコントローラ４４によって制御される。ステートコントローラ４４の制御回路４６は、デコードステートＳＴ２からウエイトステートＳＴ４に遷移するときに、クロックイネーブル信号ＣＥ４をネゲートして無効（Ｄｉｓａｂｌｅ）に設定する。制御回路４６がウエイトステートＳＴ４であるとき、ゲーティッドクロックＧＣ４のトグルが停止される。ステートコントローラ４４の制御回路４６は、ウエイトステートＳＴ４から実行ステートＳＴ３に遷移するときに、クロックイネーブル信号ＣＥ４をアサートして有効（Ｅｎａｂｌｅ）に設定する。制御回路４６が実行ステートＳＴ３であるとき、ゲーティッドクロックＧＣ４のトグルが再開される。

生成されたゲーティッドクロックＧＣ４は、図１０に示すように、ステートコントローラ４４の一部と、重みメモリ４１と、乗算器４２と、アキュムレータ回路４３とに対して出力され、動作クロックとして使用される。

［量子化演算回路５］
図１５は、量子化演算回路５の内部ブロック図である。
量子化演算回路５は、量子化パラメータメモリ５１と、ベクトル演算回路５２と、量子化回路５３と、ステートコントローラ５４と、クロック制御部５９と、を有する。量子化演算回路５は、ベクトル演算回路５２および量子化回路５３に対する専用のステートコントローラ５４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに量子化演算を実施できる。

量子化パラメータメモリ５１は、量子化演算に用いる量子化パラメータｑが格納されるメモリであり、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。ＤＭＡＣ３は、ＤＭＡ転送により、量子化演算に必要な量子化パラメータｑを量子化パラメータメモリ５１に書き込む。

図１６は、ベクトル演算回路５２と量子化回路５３の内部ブロック図である。
ベクトル演算回路５２は、第二メモリ２に格納された出力データｆ（ｘ，ｙ，ｄｏ）に対して演算を行う。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７を有し、出力データｆ（ｘ，ｙ，ｄｏ）に対して並列にＳＩＭＤ演算を行う。

図１７は、演算ユニット５７のブロック図である。
演算ユニット５７は、例えば、ＡＬＵ５７ａと、第一セレクタ５７ｂと、第二セレクタ５７ｃと、レジスタ５７ｄと、シフタ５７ｅと、を有する。演算ユニット５７は、公知の汎用ＳＩＭＤ演算回路が有する他の演算器等をさらに有してもよい。

ベクトル演算回路５２は、演算ユニット５７が有する演算器等を組み合わせることで、出力データｆ（ｘ，ｙ，ｄｏ）に対して、量子化演算層２２０におけるプーリング層２２１や、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２や、活性化関数層２２３の演算のうち少なくとも一つの演算を行う。

演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより加算できる。演算ユニット５７は、ＡＬＵ５７ａによる加算結果をレジスタ５７ｄに格納できる。演算ユニット５７は、第一セレクタ５７ｂの選択によりレジスタ５７ｄに格納されたデータに代えて「０」をＡＬＵ５７ａに入力することで加算結果を初期化できる。例えばプーリング領域が２×２である場合、シフタ５７ｅはＡＬＵ５７ａの出力を２ｂｉｔ右シフトすることで加算結果の平均値を出力できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式２に示す平均プーリングの演算を実施できる。

演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより比較できる。
演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて第二セレクタ５７ｃを制御して、レジスタ５７ｄに格納されたデータと要素ｆ（ｄｉ）の大きい方を選択できる。演算ユニット５７は、第一セレクタ５７ｂの選択により要素ｆ（ｄｉ）の取りうる値の最小値をＡＬＵ５７ａに入力することで比較対象を最小値に初期化できる。本実施形態において要素ｆ（ｄｉ）は１６ｂｉｔ符号付き整数であるので、要素ｆ（ｄｉ）の取りうる値の最小値は「０ｘ８０００」である。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式３のＭＡＸプーリングの演算を実施できる。なお、ＭＡＸプーリングの演算ではシフタ５７ｅは第二セレクタ５７ｃの出力をシフトしない。

演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより減算できる。シフタ５７ｅはＡＬＵ５７ａの出力を左シフト（すなわち乗算）もしくは右シフト（すなわち除算）できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式４のＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎの演算を実施できる。

演算ユニット５７は、第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）と第一セレクタ５７ｂにより選択された「０」とをＡＬＵ５７ａにより比較できる。演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて要素ｆ（ｄｉ）と予めレジスタ５７ｄに格納された定数値「０」のいずれかを選択して出力できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式５のＲｅＬＵ演算を実施できる。

ベクトル演算回路５２は、平均プーリング、ＭＡＸプーリング、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、活性化関数の演算およびこれらの演算の組み合わせを実施できる。ベクトル演算回路５２は、汎用ＳＩＭＤ演算を実施できるため、量子化演算層２２０における演算に必要な他の演算を実施してもよい。また、ベクトル演算回路５２は、量子化演算層２２０における演算以外の演算を実施してもよい。

なお、量子化演算回路５は、ベクトル演算回路５２を有してなくてもよい。量子化演算回路５がベクトル演算回路５２を有していない場合、出力データｆ（ｘ，ｙ，ｄｏ）は量子化回路５３に入力される。

量子化回路５３は、ベクトル演算回路５２の出力データに対して、量子化を行う。量子化回路５３は、図１６に示すように、Ｂｄ個の量子化ユニット５８を有し、ベクトル演算回路５２の出力データに対して並列に演算を行う。

図１８は、量子化ユニット５８の内部ブロック図である。
量子化ユニット５８は、ベクトル演算回路５２の出力データの要素ｉｎ（ｄｉ）に対して量子化を行う。量子化ユニット５８は、比較器５８ａと、エンコーダ５８ｂと、を有する。量子化ユニット５８はベクトル演算回路５２の出力データ（１６ビット／要素）に対して、量子化演算層２２０における量子化層２２４の演算（式６）を行う。量子化ユニット５８は、量子化パラメータメモリ５１から必要な量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）を読み出し、比較器５８ａにより入力ｉｎ（ｄｉ）と量子化パラメータｑとの比較を行う。量子化ユニット５８は、比較器５８ａによる比較結果をエンコーダ５８ｂにより２ビット／要素に量子化する。式４におけるα(c)とβ(c)は、変数ｃごとに異なるパラメータであるため、α(c)とβ(c)を反映する量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）はｉｎ（ｄｉ）ごとに異なるパラメータである。

量子化ユニット５８は、入力ｉｎ（ｄｉ）を３つの閾値ｔｈ０，ｔｈ１，ｔｈ２と比較することにより、入力ｉｎ（ｄｉ）を４領域（例えば、ｉｎ≦ｔｈ０，ｔｈ０＜ｉｎ≦ｔｈ１，ｔｈ１＜ｉｎ≦ｔｈ２，ｔｈ２＜ｉｎ）に分類し、分類結果を２ビットにエンコードして出力する。量子化ユニット５８は、量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）の設定により、量子化と併せてＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎや活性化関数の演算を行うこともできる。

量子化ユニット５８は、閾値ｔｈ０を式４のβ(ｃ)、閾値の差（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を式４のα(ｃ)として設定して量子化を行うことで、式４に示すＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎの演算を量子化と併せて実施できる。（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を大きくすることでα(ｃ)を小さくできる。（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を小さくすることで、α(c)を大きくできる。

量子化ユニット５８は、入力ｉｎ（ｄｉ）の量子化と併せて活性化関数のＲｅＬＵ演算を実施できる。例えば、量子化ユニット５８は、ｉｎ（ｄｉ）≦ｔｈ０およびｔｈ２＜ｉｎ（ｄｉ）となる領域では出力値を飽和させる。量子化ユニット５８は、出力が非線形とするように量子化パラメータｑを設定することで活性化関数の演算を量子化と併せて実施できる。

ステートコントローラ５４は、ベクトル演算回路５２および量子化回路５３のステートを制御する。また、ステートコントローラ５４は、内部バスＩＢ（図４参照）およびＩＦＵ６２と接続された専用配線（不図示）を介してコントローラ６と接続されている。ステートコントローラ５４は、命令キュー５５と制御回路５６とを有する。

命令キュー５５は、量子化演算回路５用の命令コマンドＣ５が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー５５には、内部バスＩＢまたはＩＦＵ６２経由で命令コマンドＣ５が書き込まれる。

制御回路５６は、命令コマンドＣ５をデコードし、命令コマンドＣ５に基づいてベクトル演算回路５２および量子化回路５３を制御するステートマシンである。制御回路５６は、ＤＭＡＣ３のステートコントローラ３２の制御回路３４と同様の構成である。

クロック制御部５９は、ＮＮ回路１００に供給されるクロックＣＫから、クロックイネーブル信号ＣＥ５に基づいて、ゲーティッドクロック（第三クロック）ＧＣ５を生成する。図９に示すように、クロックイネーブル信号ＣＥ５がネゲートされて無効（Ｄｉｓａｂｌｅ）に設定されると、ゲーティッドクロックＧＣ５のトグルが停止される。クロックイネーブル信号ＣＥ５がアサートされて有効（Ｅｎａｂｌｅ）に設定されると、ゲーティッドクロックＧＣ５のトグルが開始される。クロック制御部５９は、ＤＭＡＣ３のクロック制御部３９と同様の構成である。

クロックイネーブル信号ＣＥ５は、ステートコントローラ５４によって制御される。ステートコントローラ５４の制御回路５６は、デコードステートＳＴ２からウエイトステートＳＴ４に遷移するときに、クロックイネーブル信号ＣＥ５をネゲートして無効（Ｄｉｓａｂｌｅ）に設定する。制御回路５６がウエイトステートＳＴ４であるとき、ゲーティッドクロックＧＣ５のトグルが停止される。ステートコントローラ５４の制御回路５６は、ウエイトステートＳＴ４から実行ステートＳＴ３に遷移するときに、クロックイネーブル信号ＣＥ５をアサートして有効（Ｅｎａｂｌｅ）に設定する。制御回路５６が実行ステートＳＴ３であるとき、ゲーティッドクロックＧＣ５のトグルが再開される。

生成されたゲーティッドクロックＧＣ５は、図１５に示すように、ステートコントローラ５４の一部と、量子化パラメータメモリ５１と、ベクトル演算回路５２と、量子化回路５３とに対して出力され、動作クロックとして使用される。

量子化演算回路５は、Ｂｄ個の要素を持つ量子化演算出力データを第一メモリ１に書き込む。なお、ＢｄとＢｃの好適な関係を式１０に示す。式１０においてｎは整数である。

［コントローラ６］
コントローラ６は、外部バスＥＢに接続されており、外部バスＥＢに対してマスタおよびスレーブとして動作する。コントローラ６は、パラメータレジスタや状態レジスタを含むレジスタ６１と、ＩＦＵ６２と、を有している。パラメータレジスタは、ＮＮ回路１００の動作を制御するレジスタである。状態レジスタは、セマフォＳを含むＮＮ回路１００の状態を示すレジスタである。

コントローラ６は、二つの方法により、ＤＭＡＣ３、畳み込み演算回路４および量子化演算回路５が有する命令キューに命令コマンドを転送する。一つ目の方法は、外部ホストＣＰＵ１１０からコントローラ６に転送される命令コマンドを、内部バスＩＢ（図４参照）を介して転送する方法である。二つ目の方法は、ＩＦＵ６２が外部メモリ１２０から命令コマンドを読み出し、ＩＦＵ６２と接続された専用配線（不図示）を介して命令コマンドを転送する方法である。

［セマフォＳ］
図１９は、セマフォＳによるＮＮ回路１００の制御を説明する図である。
セマフォＳは、第一セマフォＳ１と、第二セマフォＳ２と、第三セマフォＳ３と、を有する。セマフォＳは、Ｐ操作によりデクリメントされ、Ｖ操作によってインクリメントされる。ＤＭＡＣ３、畳み込み演算回路４および量子化演算回路５によるＰ操作およびＶ操作は、内部バスＩＢを経由して、コントローラ６が有するセマフォＳを更新する。

第一セマフォＳ１は、第一データフローＦ１の制御に用いられる。第一データフローＦ１は、ＤＭＡＣ３（Ｐｒｏｄｕｃｅｒ）が第一メモリ１に入力データａを書き込み、畳み込み演算回路４（Ｃｏｎｓｕｍｅｒ）が入力データａを読み出すデータフローである。第一セマフォＳ１は、第一ライトセマフォＳ１Ｗと、第一リードセマフォＳ１Ｒと、を有する。

第二セマフォＳ２は、第二データフローＦ２の制御に用いられる。第二データフローＦ２は、畳み込み演算回路４（Ｐｒｏｄｕｃｅｒ）が出力データｆを第二メモリ２に書き込み、量子化演算回路５（Ｃｏｎｓｕｍｅｒ）が出力データｆを読み出すデータフローである。第二セマフォＳ２は、第二ライトセマフォＳ２Ｗと、第二リードセマフォＳ２Ｒと、を有する。

第三セマフォＳ３は、第三データフローＦ３の制御に用いられる。第三データフローＦ３は、量子化演算回路５（Ｐｒｏｄｕｃｅｒ）が量子化演算出力データを第一メモリ１に書き込み、畳み込み演算回路４（Ｃｏｎｓｕｍｅｒ）が量子化演算回路５の量子化演算出力データを読み出すデータフローである。第三セマフォＳ３は、第三ライトセマフォＳ３Ｗと、第三リードセマフォＳ３Ｒと、を有する。

［第一データフローＦ１］
図２０は、第一データフローＦ１のタイミングチャートである。
第一ライトセマフォＳ１Ｗは、第一データフローＦ１におけるＤＭＡＣ３による第一メモリ１に対する書き込みを制限するセマフォである。第一ライトセマフォＳ１Ｗは、第一メモリ１において、例えば入力ベクトルＡなどの所定のサイズのデータを格納可能なメモリ領域のうち、データが読み出し済みで他のデータを書き込み可能なメモリ領域の数を示している。第一ライトセマフォＳ１Ｗが「０」の場合、ＤＭＡＣ３は第一メモリ１に対して第一データフローＦ１における書き込みを行えず、第一ライトセマフォＳ１Ｗが「１」以上となるまで待たされる。

第一リードセマフォＳ１Ｒは、第一データフローＦ１における畳み込み演算回路４による第一メモリ１からの読み出しを制限するセマフォである。第一リードセマフォＳ１Ｒは、第一メモリ１において、例えば入力ベクトルＡなどの所定のサイズのデータを格納可能なメモリ領域のうち、データが書き込み済みで読み出し可能なメモリ領域の数を示している。第一リードセマフォＳ１Ｒが「０」の場合、畳み込み演算回路４は第一メモリ１からの第一データフローＦ１における読み出しを行えず、第一リードセマフォＳ１Ｒが「１」以上となるまで待たされる。

ＤＭＡＣ３は、命令キュー３３に命令コマンドＣ３が格納されることにより、ＤＭＡ転送を開始する。図２０に示すように、第一ライトセマフォＳ１Ｗが「０」でないため、ＤＭＡＣ３はＤＭＡ転送を開始する（ＤＭＡ転送１）。ＤＭＡＣ３は、ＤＭＡ転送を開始する際に、第一ライトセマフォＳ１Ｗに対してＰ操作を行う。ＤＭＡＣ３は、ＤＭＡ転送の完了後に、第一リードセマフォＳ１Ｒに対してＶ操作を行う。

畳み込み演算回路４は、命令キュー４５に命令コマンドＣ４が格納されることにより、畳み込み演算を開始する。図２０に示すように、第一リードセマフォＳ１Ｒが「０」であるため、畳み込み演算回路４は第一リードセマフォＳ１Ｒが「１」以上となるまで待たされる（デコードステートＳＴ４におけるＷａｉｔ）。畳み込み演算回路４のステートコントローラ４４の制御回路４６は、デコードステートＳＴ２からウエイトステートＳＴ４に遷移するときに、クロックイネーブル信号ＣＥ４をネゲートして無効（Ｄｉｓａｂｌｅ）に設定する。その結果、ステートコントローラ４４の一部と、重みメモリ４１と、乗算器４２と、アキュムレータ回路４３に提供されるゲーティッドクロックＧＣ４のトグルが停止される。その結果、ウエイトステートＳＴ４におけるゲーティッドクロックＧＣ４に関連する動的電力を削減できる。なお、制御回路４６がウエイトステートＳＴ４であるとき、他のブロックとのデータ通信等の動作が必要なステートコントローラ４４の残部は、ゲーティッドクロックＧＣ４ではなくクロックＣＫが提供され、動作を継続する。

ＤＭＡＣ３によるＶ操作により第一リードセマフォＳ１Ｒが「１」となると、畳み込み演算回路４は畳み込み演算を開始する（畳み込み演算１）。ステートコントローラ４４の制御回路４６は、ウエイトステートＳＴ４から実行ステートＳＴ３に遷移するときに、クロックイネーブル信号ＣＥ４をアサートして有効（Ｅｎａｂｌｅ）に設定する。その結果、ゲーティッドクロックＧＣ４のトグルが再開される。また、畳み込み演算回路４は、畳み込み演算を開始する際、第一リードセマフォＳ１Ｒに対してＰ操作を行う。畳み込み演算回路４は、畳み込み演算の完了後に、第一ライトセマフォＳ１Ｗに対してＶ操作を行う。

図２０において「ＤＭＡ転送３」と記載されたＤＭＡ転送をＤＭＡＣ３が開始する際、第一ライトセマフォＳ１Ｗが「０」であるため、ＤＭＡＣ３は第一ライトセマフォＳ１Ｗが「１」以上となるまで待たされる（デコードステートＳＴ４におけるＷａｉｔ）。ＤＭＡＣ３のステートコントローラ３２の制御回路３４は、デコードステートＳＴ２からウエイトステートＳＴ４に遷移するときに、クロックイネーブル信号ＣＥ３をネゲートして無効（Ｄｉｓａｂｌｅ）に設定する。その結果、ステートコントローラ３２の一部と、データ転送回路３１に提供されるゲーティッドクロックＧＣ３のトグルが停止される。その結果、ウエイトステートＳＴ４におけるゲーティッドクロックＧＣ３に関連する動的電力を削減できる。なお、制御回路３４がウエイトステートＳＴ４であるとき、他のブロックとのデータ通信等の動作が必要なステートコントローラ３２の残部は、ゲーティッドクロックＧＣ３ではなくクロックＣＫが提供され、動作を継続する。

畳み込み演算回路４によるＶ操作により第一ライトセマフォＳ１Ｗが「１」以上となると、ＤＭＡＣ３はＤＭＡ転送を開始する。ステートコントローラ３２の制御回路３４は、ウエイトステートＳＴ４から実行ステートＳＴ３に遷移するときに、クロックイネーブル信号ＣＥ３をアサートして有効（Ｅｎａｂｌｅ）に設定する。その結果、ゲーティッドクロックＧＣ３のトグルが再開される。

ＤＭＡＣ３と畳み込み演算回路４とは、セマフォＳ１を使用することで、第一データフローＦ１において第一メモリ１に対するアクセス競合を防止できる。また、ＤＭＡＣ３と畳み込み演算回路４とは、セマフォＳ１を使用することで、第一データフローＦ１におけるデータ転送の同期を取りつつ、独立して並列に動作できる。

［第二データフローＦ２］
図２１は、第二データフローＦ２のタイミングチャートである。
第二ライトセマフォＳ２Ｗは、第二データフローＦ２における畳み込み演算回路４による第二メモリ２に対する書き込みを制限するセマフォである。第二ライトセマフォＳ２Ｗは、第二メモリ２において、例えば出力データｆなどの所定のサイズのデータを格納可能なメモリ領域のうち、データが読み出し済みで他のデータを書き込み可能なメモリ領域の数を示している。第二ライトセマフォＳ２Ｗが「０」の場合、畳み込み演算回路４は第二メモリ２に対して第二データフローＦ２における書き込みを行えず、第二ライトセマフォＳ２Ｗが「１」以上となるまで待たされる。

第二リードセマフォＳ２Ｒは、第二データフローＦ２における量子化演算回路５による第二メモリ２からの読み出しを制限するセマフォである。第二リードセマフォＳ２Ｒは、第二メモリ２において、例えば出力データｆなどの所定のサイズのデータを格納可能なメモリ領域のうち、データが書き込み済みで読み出し可能なメモリ領域の数を示している。第二リードセマフォＳ２Ｒが「０」の場合、量子化演算回路５は第二メモリ２からの第二データフローＦ２における読み出しを行えず、第二リードセマフォＳ２Ｒが「１」以上となるまで待たされる。

畳み込み演算回路４は、図２１に示すように、畳み込み演算を開始する際、第二ライトセマフォＳ２Ｗに対してＰ操作を行う。畳み込み演算回路４は、畳み込み演算の完了後に、第二リードセマフォＳ２Ｒに対してＶ操作を行う。

量子化演算回路５は、命令キュー５５に命令コマンドＣ５が格納されることにより、量子化演算を開始する。図２１に示すように、第二リードセマフォＳ２Ｒが「０」であるため、量子化演算回路５は第二リードセマフォＳ２Ｒが「１」以上となるまで待たされる（デコードステートＳＴ４におけるＷａｉｔ）。量子化演算回路５のステートコントローラ５４の制御回路５６は、デコードステートＳＴ２からウエイトステートＳＴ４に遷移するときに、クロックイネーブル信号ＣＥ５をネゲートして無効（Ｄｉｓａｂｌｅ）に設定する。その結果、ステートコントローラ５４の一部と、量子化パラメータメモリ５１と、ベクトル演算回路５２と、量子化回路５３に提供されるゲーティッドクロックＧＣ５のトグルが停止される。その結果、ウエイトステートＳＴ４におけるゲーティッドクロックＧＣ５に関連する動的電力を削減できる。なお、制御回路５６がウエイトステートＳＴ４であるとき、他のブロックとのデータ通信等の動作が必要なステートコントローラ５４の残部は、ゲーティッドクロックＧＣ５ではなくクロックＣＫが提供され、動作を継続する。

畳み込み演算回路４によるＶ操作により第二リードセマフォＳ２Ｒが「１」となると、量子化演算回路５は量子化演算を開始する（量子化演算１）。ステートコントローラ５４の制御回路５６は、ウエイトステートＳＴ４から実行ステートＳＴ３に遷移するときに、クロックイネーブル信号ＣＥ５をアサートして有効（Ｅｎａｂｌｅ）に設定する。その結果、ゲーティッドクロックＧＣ５のトグルが再開される。また、量子化演算回路５は、量子化演算を開始する際、第二リードセマフォＳ２Ｒに対してＰ操作を行う。量子化演算回路５は、量子化演算の完了後に、第二ライトセマフォＳ２Ｗに対してＶ操作を行う。

図２１において「量子化演算２」と記載された量子化演算を量子化演算回路５が開始する際、第二リードセマフォＳ２Ｒが「０」であるため、量子化演算回路５は第二リードセマフォＳ２Ｒが「１」以上となるまで待たされる（デコードステートＳＴ４におけるＷａｉｔ）。量子化演算回路５のステートコントローラ５４の制御回路５６は、デコードステートＳＴ２からウエイトステートＳＴ４に遷移するときに、クロックイネーブル信号ＣＥ５をネゲートして無効（Ｄｉｓａｂｌｅ）に設定する。畳み込み演算回路４によるＶ操作により第二リードセマフォＳ２Ｒが「１」以上となると、量子化演算回路５は量子化演算を開始する。ステートコントローラ５４の制御回路５６は、ウエイトステートＳＴ４から実行ステートＳＴ３に遷移するときに、クロックイネーブル信号ＣＥ５をアサートして有効（Ｅｎａｂｌｅ）に設定する。

畳み込み演算回路４と量子化演算回路５とは、セマフォＳ２を使用することで、第二データフローＦ２において第二メモリ２に対するアクセス競合を防止できる。また、畳み込み演算回路４と量子化演算回路５とは、セマフォＳ２を使用することで、第二データフローＦ２におけるデータ転送の同期を取りつつ、独立して並列に動作できる。

［第三データフローＦ３］
第三ライトセマフォＳ３Ｗは、第三データフローＦ３における量子化演算回路５による第一メモリ１に対する書き込みを制限するセマフォである。第三ライトセマフォＳ３Ｗは、第一メモリ１において、例えば量子化演算回路５の量子化演算出力データなどの所定のサイズのデータを格納可能なメモリ領域のうち、データが読み出し済みで他のデータを書き込み可能なメモリ領域の数を示している。第三ライトセマフォＳ３Ｗが「０」の場合、量子化演算回路５は第一メモリ１に対して第三データフローＦ３における書き込みを行えず、第三ライトセマフォＳ３Ｗが「１」以上となるまで待たされる。

第三リードセマフォＳ３Ｒは、第三データフローＦ３における畳み込み演算回路４による第一メモリ１からの読み出しを制限するセマフォである。第三リードセマフォＳ３Ｒは、第一メモリ１において、例えば量子化演算回路５の量子化演算出力データなどの所定のサイズのデータを格納可能なメモリ領域のうち、データが書き込み済みで読み出し可能なメモリ領域の数を示している。第三リードセマフォＳ３Ｒが「０」の場合、畳み込み演算回路４は第三データフローＦ３における第一メモリ１からの読み出しを行えず、第三リードセマフォＳ３Ｒが「１」以上となるまで待たされる。

量子化演算回路５と畳み込み演算回路４とは、セマフォＳ３を使用することで、第三データフローＦ３において第一メモリ１に対するアクセス競合を防止できる。また、量子化演算回路５と畳み込み演算回路４とは、セマフォＳ３を使用することで、第三データフローＦ３におけるデータ転送の同期を取りつつ、独立して並列に動作できる。

第一メモリ１は、第一データフローＦ１および第三データフローＦ３において共有される。ＮＮ回路１００は、第一セマフォＳ１と第三セマフォＳ３とを別途設けることで、第一データフローＦ１と第三データフローＦ３とを区別してデータ転送の同期を取ることができる。

［畳み込み演算回路４の動作（１）］
畳み込み演算回路４は、畳み込み演算を行う際、第一メモリ１から読み出しを行い、第二メモリ２に対して書き込みを行う。すなわち、畳み込み演算回路４は、第一データフローＦ１においてはＣｏｎｓｕｍｅｒであり、第二データフローＦ２においてはＰｒｏｄｕｃｅｒである。そのため、畳み込み演算回路４は、畳み込み演算を開始する際、第一リードセマフォＳ１Ｒに対してＰ操作を行い（図２０参照）、第二ライトセマフォＳ２Ｗに対してＰ操作を行う（図２１参照）。畳み込み演算回路４は、畳み込み演算の完了後に、第一ライトセマフォＳ１Ｗに対してＶ操作を行い（図２０参照）、第二リードセマフォＳ２Ｒに対してＶ操作を行う（図２１参照）。

畳み込み演算回路４は、畳み込み演算を開始する際、第一リードセマフォＳ１Ｒが「１」以上、かつ、第二ライトセマフォＳ２Ｗが「１」以上となるまで待たされる（デコードステートＳＴ４におけるＷａｉｔ）。畳み込み演算回路４が二つのセマフォにより待たされている期間において、ゲーティッドクロックＧＣ４のトグルが停止される。その結果、ウエイトステートＳＴ４におけるゲーティッドクロックＧＣ４に関連する動的電力を削減できる。

畳み込み演算回路４は、第一リードセマフォＳ１Ｒが「１」以上、かつ、第二ライトセマフォＳ２Ｗが「１」以上となり、ウエイトステートＳＴ４から実行ステートＳＴ３に遷移するときに、クロックイネーブル信号ＣＥ４をアサートして有効（Ｅｎａｂｌｅ）に設定する。その結果、ゲーティッドクロックＧＣ４のトグルが再開される。

［量子化演算回路５の動作］
量子化演算回路５は、量子化演算を行う際、第二メモリ２から読み出しを行い、第一メモリ１に対して書き込みを行う。すなわち、量子化演算回路５は、第二データフローＦ２においてはＣｏｎｓｕｍｅｒであり、第三データフローＦ３においてはＰｒｏｄｕｃｅｒである。そのため、量子化演算回路５は、量子化演算を開始する際、第二リードセマフォＳ２Ｒに対してＰ操作を行い、第三ライトセマフォＳ３Ｗに対してＰ操作を行う。量子化演算回路５は量子化演算の完了後に、第二ライトセマフォＳ２Ｗに対してＶ操作を行い、第三リードセマフォＳ３Ｒに対してＶ操作を行う。

量子化演算回路５は、量子化演算を開始する際、第二リードセマフォＳ２Ｒが「１」以上、かつ、第三ライトセマフォＳ３Ｗが「１」以上となるまで待たされる（デコードステートＳＴ４におけるＷａｉｔ）。量子化演算回路５が二つのセマフォにより待たされている期間において、ゲーティッドクロックＧＣ５のトグルが停止される。その結果、ウエイトステートＳＴ４におけるゲーティッドクロックＧＣ５に関連する動的電力を削減できる。

量子化演算回路５は、第二リードセマフォＳ２Ｒが「１」以上、かつ、第三ライトセマフォＳ３Ｗが「１」以上となり、ウエイトステートＳＴ４から実行ステートＳＴ３に遷移するときに、クロックイネーブル信号ＣＥ５をアサートして有効（Ｅｎａｂｌｅ）に設定する。その結果、ゲーティッドクロックＧＣ５のトグルが再開される。

［畳み込み演算回路４の動作（２）］
畳み込み演算回路４が第一メモリ１から読み出す入力データは、第三データフローにおいて量子化演算回路５が書き込んだデータである場合もある。この場合、畳み込み演算回路４は、第三データフローＦ３においてはＣｏｎｓｕｍｅｒであり、第二データフローＦ２においてはＰｒｏｄｕｃｅｒである。そのため、畳み込み演算回路４は、畳み込み演算を開始する際、第三リードセマフォＳ３Ｒに対してＰ操作を行い、第二ライトセマフォＳ２Ｗに対してＰ操作を行う。畳み込み演算回路４は、畳み込み演算の完了後に、第三ライトセマフォＳ３Ｗに対してＶ操作を行い、第二リードセマフォＳ２Ｒに対してＶ操作を行う。

畳み込み演算回路４は、畳み込み演算を開始する際、第三リードセマフォＳ３Ｒが「１」以上、かつ、第二ライトセマフォＳ２Ｗが「１」以上となるまで待たされる（デコードステートＳＴ４におけるＷａｉｔ）。畳み込み演算回路４が二つのセマフォにより待たされている期間において、ゲーティッドクロックＧＣ４のトグルが停止される。その結果、ウエイトステートＳＴ４におけるゲーティッドクロックＧＣ４に関連する動的電力を削減できる。

畳み込み演算回路４は、第一リードセマフォＳ１Ｒが「１」以上、かつ、第二ライトセマフォＳ２Ｗが「１」以上となり、ウエイトステートＳＴ４から実行ステートＳＴ３に遷移するときに、クロックイネーブル信号ＣＥ４をアサートして有効（Ｅｎａｂｌｅ）に設定する。その結果、ゲーティッドクロックＧＣ４のトグルが再開される。

［畳み込み演算実施命令］
図２２は、畳み込み演算実施命令を説明する図である。
畳み込み演算実施命令は、畳み込み演算回路４に対する命令コマンドＣ４の一つである。畳み込み演算実施命令は、畳み込み演算回路４に対する命令が格納された命令フィールドＩＦと、セマフォＳに対する操作等が格納されたセマフォ操作フィールドＳＦと、を有する。命令フィールドＩＦとセマフォ操作フィールドＳＦとは、畳み込み演算実施命令として一命令に収められている。

畳み込み演算実施命令の命令フィールドＩＦは、畳み込み演算回路４に対する命令が格納されるフィールドである。命令フィールドＩＦには、例えば、乗算器４２およびアキュムレータ回路４３に畳み込み演算を実施させるコマンドや、アキュムレータ回路４３のｃｌｅａｒ信号の制御コマンドや、入力ベクトルＡと重みマトリクスＷのサイズやメモリアドレスなどが格納される。

畳み込み演算実施命令のセマフォ操作フィールドＳＦは、命令フィールドＩＦに格納された命令に関連するセマフォＳに対する操作等が格納される。畳み込み演算回路４は、第一データフローＦ１および第三データフローＦ３においては相手側からデータを受信し消費するＣｏｎｓｕｍｅｒであり、第二データフローＦ２においては相手側に生産したデータを送信するＰｒｏｄｕｃｅｒである。よって、関連するセマフォＳは第一セマフォＳ１と第二セマフォＳ２と第三セマファＳ３である。そのため、図２２に示すように、畳み込み演算実施命令のセマフォ操作フィールドＳＦには、第一セマフォＳ１と第二セマフォＳ２と第三セマファＳ３に対する操作フィールドが含まれる。

セマフォ操作フィールドＳＦには、セマフォごとにＰ操作フィールドとＶ操作フィールドとが設けられている。図２２に示すように、畳み込み演算実施命令のセマフォ操作フィールドＳＦには、６個の操作フィールドが含まれる。セマフォ操作フィールドＳＦの各操作フィールドは１ビットである。セマフォ操作フィールドＳＦの各操作フィールドは、複数ビットであってもよい。

畳み込み演算回路４がＣｏｎｓｕｍｅｒとなる第一データフローＦ１および第三データフローＦ３に対する第一セマフォＳ１および第三セマファＳ３には、リードセマフォ（Ｓ１Ｒ、Ｓ３Ｒ）に対するＰ操作フィールドと、ライトセマフォ（Ｓ１Ｗ、Ｓ３Ｗ）に対するＶ操作フィールドが設けられている。

畳み込み演算回路４がＰｒｏｄｕｃｅｒとなる第二データフローＦ２に対する第二セマフォＳ２には、ライトセマフォ（Ｓ２Ｗ）に対するＰ操作フィールドと、リードセマフォ（Ｓ２Ｒ）に対するＶ操作フィールドが設けられている。

図２３は、畳み込み演算命令の具体例を示す図である。
図２３に示す具体例は、４個の畳み込み演算命令（以降、「命令１」から「命令４」という）で構成されており、４個の畳み込み演算命令は第一メモリ１に格納された入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）を４回に分割して畳み込み演算回路４に畳み込み演算を実施させる。

畳み込み演算回路４のステートコントローラ４４は、デコードステートＳＴ２に遷移し、命令キュー４５に格納された４命令（命令１から命令４）のうち最初に格納された命令１をデコードする。

Ｐ操作フィールドが「１」に設定されている場合、ステートコントローラ４４は、内部バスＩＢを介してコントローラ６から「１」に設定されたＰ操作フィールドに対応するセマフォＳを読み出し、実施条件を満たしているか判定する。実施条件とは、「１」に設定されたＰ操作フィールドに対応するセマフォＳ全てが「１」以上であることである。命令１において、第一リードセマフォＳ１Ｒに対するＰ操作フィールドと、第二ライトセマフォＳ２Ｗに対するＰ操作フィールドと、が「１」に設定されている。そのため、ステートコントローラ４４は、第一リードセマフォＳ１Ｒおよび第二ライトセマフォＳ２Ｗを読み出し、実施条件を満たしているか判定する。

Ｐ操作フィールドが「１」に設定されている場合、ステートコントローラ４４は、「１」に設定されたＰ操作フィールドに対応するセマフォＳが更新されて実施条件を満たすまで待つ。命令１の場合、ステートコントローラ４４は、第一リードセマフォＳ１Ｒが「１」以上、かつ、第二ライトセマフォＳ２Ｗが「１」以上でなければ（Ｎｏｔ Ｒｅａｄｙ）、セマフォＳが更新されて実施条件を満たすまで待つ（Ｗａｉｔ）。

Ｐ操作フィールドが「１」に設定されている場合、ステートコントローラ４４は、実施条件を満たしていれば、実行ステートＳＴ３に遷移して、命令フィールドＩＦに基づく畳み込み演算を実施する。命令１の場合、第一リードセマフォＳ１Ｒが「１」以上、かつ、第二ライトセマフォＳ２Ｗが「１」以上であれば（Ｒｅａｄｙ）、ステートコントローラ４４は、実行ステートＳＴ３に遷移して、命令フィールドＩＦに基づく畳み込み演算を実施する。

Ｐ操作フィールドが「１」に設定されている場合、ステートコントローラ４４は、畳み込み演算の実施前に、「１」に設定されたＰ操作フィールドに対応するセマフォＳに対してＰ操作を行う。命令１の場合、ステートコントローラ４４は、畳み込み演算の実施前に、第一リードセマフォＳ１Ｒおよび第二ライトセマフォＳ２Ｗに対してＰ操作を行う。

ステートコントローラ４４は、命令１の実行後、デコードステートＳＴ２に遷移して、命令２をデコードする。命令２において、いずれのセマフォ操作フィールドＳＦも「１」に設定されていない。そのため、ステートコントローラ４４は、セマフォＳの確認や更新を行わずに実行ステートＳＴ３に遷移して、命令フィールドＩＦに基づく畳み込み演算を実施する。

ステートコントローラ４４は、命令２の実行後、デコードステートＳＴ２に遷移して、命令３をデコードする。命令３において、いずれのセマフォ操作フィールドＳＦも「１」に設定されていない。そのため、ステートコントローラ４４は、セマフォＳの確認や更新を行わずに実行ステートＳＴ３に遷移して、命令フィールドＩＦに基づく畳み込み演算を実施する。

ステートコントローラ４４は、命令３の実行後、デコードステートＳＴ２に遷移して、命令４をデコードする。命令４において、いずれのＰ操作フィールドも「１」に設定されていない。そのため、ステートコントローラ４４は、セマフォＳの確認や更新を行わずに実行ステートＳＴ３に遷移して、命令フィールドＩＦに基づく畳み込み演算を実施する。

Ｖ操作フィールドが「１」に設定されている場合、ステートコントローラ４４は、命令４の畳み込み演算の完了後に、「１」に設定されたＶ操作フィールドに対応するセマフォＳに対してＶ操作を行う。命令４において、第一ライトセマフォＳ１Ｗに対するＶ操作フィールドと、第二リードセマフォＳ２Ｒに対するＶ操作フィールドと、が「１」に設定されている。そのため、ステートコントローラ４４は、命令４の畳み込み演算の完了後に、第一ライトセマフォＳ１Ｗおよび第二リードセマフォＳ２Ｒに対してＶ操作を行う。

ステートコントローラ４４は、命令４の実行後、アイドルステートＳＴ１に遷移して、４命令で構成される一連の畳み込み演算命令の実行を終了する。

量子化演算回路５が第一メモリ１に書き込んだ量子化演算出力データを畳み込み演算回路４が入力データとして使用する場合、第三セマフォＳ３に対応する操作フィールドが使用される。

畳み込み演算実施命令は、命令フィールドＩＦに基づく畳み込み演算を指示するともに、セマフォ操作フィールドＳＦに基づいて関連するセマフォＳの確認および更新を実施する。命令フィールドＩＦとセマフォ操作フィールドＳＦとは、畳み込み演算実施命令として一命令に収められているため、畳み込み演算を実施させるための命令コマンドＣ４の数を少なくできる。また、デコード等の命令実行に係る処理時間を短くできる。

［量子化演算実施命令］
図２４は、量子化演算実施命令を説明する図である。
量子化演算実施命令は、量子化演算回路５に対する命令コマンドＣ５の一つである。量子化演算実施命令は、量子化演算回路５に対する命令が格納された命令フィールドＩＦと、セマフォＳに対する操作等が格納されたセマフォ操作フィールドＳＦと、を有する。命令フィールドＩＦとセマフォ操作フィールドＳＦとは、量子化演算実施命令として一命令に収められている。

量子化演算実施命令の命令フィールドＩＦは、量子化演算回路５に対する命令が格納されるフィールドである。命令フィールドＩＦには、例えば、ベクトル演算回路５２と量子化回路５３に演算を実施させるコマンドや、出力データｆと量子化パラメータｐのサイズやメモリアドレスなどが格納される。

量子化演算実施命令のセマフォ操作フィールドＳＦは、命令フィールドＩＦに格納された命令に関連するセマフォＳに対する操作等が格納される。量子化演算回路５は、第二データフローＦ２においてＣｏｎｓｕｍｅｒであり、第三データフローＦ３においてＰｒｏｄｕｃｅｒである。よって、関連するセマフォＳは第二セマフォＳ２と第三セマファＳ３である。そのため、図２４に示すように、量子化演算実施命令のセマフォ操作フィールドＳＦには、第二セマフォＳ２と第三セマファＳ３に対する操作フィールドが含まれる。

量子化演算回路５がＣｏｎｓｕｍｅｒとなる第二データフローＦ２に対する第二セマフォＳ２には、リードセマフォ（Ｓ２Ｒ）に対するＰ操作フィールドと、ライトセマフォ（Ｓ２Ｗ）に対するＶ操作フィールドが設けられている。

量子化演算回路５がＰｒｏｄｕｃｅｒとなる第三データフローＦ３に対する第三セマフォＳ３には、ライトセマフォ（Ｓ３Ｗ）に対するＰ操作フィールドと、リードセマフォ（Ｓ３Ｒ）に対するＶ操作フィールドが設けられている。

量子化演算回路５のステートコントローラ５４は、Ｐ操作フィールドやＶ操作フィールドが「１」に設定されている量子化演算実施命令に対して、畳み込み演算実施命令に対するステートコントローラ４４の動作と同様に、セマフォＳの確認や更新を行う。

［ＤＭＡ転送実施命令］
図２５は、ＤＭＡ転送実施命令を説明する図である。
ＤＭＡ転送実施命令は、ＤＭＡＣ３に対する命令コマンドＣ３の一つである。ＤＭＡ転送実施命令は、ＤＭＡＣ３に対する命令が格納された命令フィールドＩＦと、セマフォＳに対する操作等が格納されたセマフォ操作フィールドＳＦと、を有する。命令フィールドＩＦとセマフォ操作フィールドＳＦとは、ＤＭＡ転送実施命令として一命令に収められている。

ＤＭＡ転送実施命令の命令フィールドＩＦは、ＤＭＡＣ３に対する命令が格納されるフィールドである。命令フィールドＩＦには、例えば、メモリ転送元やメモリ転送先のメモリアドレスや転送データサイズなどが格納される。

ＤＭＡ転送実施命令のセマフォ操作フィールドＳＦは、命令フィールドＩＦに格納された命令に関連するセマフォＳに対する操作等が格納される。ＤＭＡＣ３は、第一データフローＦ１においてＰｒｏｄｕｃｅｒである。よって、関連するセマフォＳは第一セマフォＳ１である。そのため、図２５に示すように、ＤＭＡ転送実施命令のセマフォ操作フィールドＳＦには、第一セマフォＳ１に対する操作フィールドが含まれる。

ＤＭＡＣ３がＰｒｏｄｕｃｅｒとなる第一データフローＦ１に対する第一セマフォＳ１には、ライトセマフォ（Ｓ１Ｗ）に対するＰ操作フィールドと、リードセマフォ（Ｓ１Ｒ）に対するＶ操作フィールドが設けられている。

ＤＭＡＣ３のステートコントローラ３２は、Ｐ操作フィールドやＶ操作フィールドが「１」に設定されているＤＭＡ転送実施命令に対して、畳み込み演算実施命令に対するステートコントローラ４４の動作と同様に、セマフォＳの確認や更新を行う。

本実施形態に係るＮＮ回路１００およびニューラルネットワーク回路の制御方法によれば、ＩｏＴ機器などの組み込み機器に組み込み可能なＮＮ回路１００を高性能に動作させることができる。畳み込み演算実施命令、量子化演算実施命令およびＤＭＡ転送実施命令において、命令フィールドＩＦとセマフォ操作フィールドＳＦとは、一命令に収められている。そのため、畳み込み演算等を実施させるための命令コマンドの数を少なくできる。また、デコード等の命令実行に係る処理時間を短くできる。

以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示した構成要素は適宜に組み合わせて構成することが可能である。

（第二実施形態）
本発明の第二実施形態に係るニューラルネットワーク回路１００Ｂ（以下、「ＮＮ回路１００Ｂ」という）について、図２６から図２７を参照して説明する。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。

ＮＮ回路１００Ｂは、第一実施形態のＮＮ回路１００と比較して、命令（畳み込み演算命令，量子化演算実施命令、ＤＭＡ転送実施命令）と、クロックイネーブルＣＥ３，ＣＥ４，ＣＥ５の制御と、が異なっている。第一実施形態において、クロックイネーブルＣＥ３，ＣＥ４，ＣＥ５は、ステートコントローラの状態遷移と連動して制御されていた。第二実施形態においては、クロックイネーブルＣＥ３，ＣＥ４，ＣＥ５は、命令（畳み込み演算命令，量子化演算実施命令、ＤＭＡ転送実施命令）に基づいて制御される。以降では、畳み込み演算命令とクロックイネーブルＣＥ４の制御を一例として説明する。

図２６は、畳み込み演算命令を示す図である。
本実施形態においては、畳み込み演算実施命令は、命令フィールドＩＦと、セマフォ操作フィールドＳＦとに加えて、クロックイネーブルＣＥに対する操作等が格納されたクロックイネーブル操作フィールドＣＦをさらに有する。

クロックイネーブル操作フィールドＣＦは、「１」に設定されたＰ操作フィールドに対応するセマフォＳが実施条件を満たしておらず畳み込み演算回路４に待ち合わせが発生する場合に、クロックイネーブルＣＥ４を制御する操作等が格納される。具体的には、クロックイネーブル操作フィールドＣＦが「１」のとき、待ち合わせが発生する場合に、クロックイネーブルＣＥ４の制御が有効化されてクロックゲーティングが実施される。クロックイネーブル操作フィールドＣＦが「０」のとき、待ち合わせが発生する場合に、クロックイネーブルＣＥ４を制御が無効化されてクロックゲーティングが実施されない。

図２７は、畳み込み演算命令の具体例を示す図である。
畳み込み演算回路４のステートコントローラ４４は、デコードステートＳＴ２に遷移し、命令キュー４５に格納された図２７に示す畳み込み演算命令Ａをデコードする。

Ｐ操作フィールドが「１」に設定されている場合、ステートコントローラ４４は、内部バスＩＢを介してコントローラ６から「１」に設定されたＰ操作フィールドに対応するセマフォＳを読み出し、実施条件を満たしているか判定する。実施条件とは、「１」に設定されたＰ操作フィールドに対応するセマフォＳ全てが「１」以上であることである。畳み込み演算命令Ａにおいて、第一リードセマフォＳ１Ｒに対するＰ操作フィールドが「１」に設定されている。そのため、ステートコントローラ４４は、第一リードセマフォＳ１Ｒを読み出し、実施条件を満たしているか判定する。

Ｐ操作フィールドが「１」に設定されている場合、ステートコントローラ４４は、「１」に設定されたＰ操作フィールドに対応するセマフォＳが更新されて実施条件を満たすまで待つ。畳み込み演算命令Ａの場合、ステートコントローラ４４は、第一リードセマフォＳ１Ｒが「１」以上でなければ（Ｎｏｔ Ｒｅａｄｙ）、セマフォＳが更新されて実施条件を満たすまで待つ（Ｗａｉｔ）。

畳み込み演算回路４が待たされている期間において、クロックイネーブル操作フィールドＣＦが「１（クロックゲーティング有効）」に設定されている場合、クロック制御部４９はクロックイネーブル信号ＣＥ４をネゲートして無効（Ｄｉｓａｂｌｅ）に設定する。その結果、ゲーティッドクロックＧＣ４のトグルが停止され、ゲーティッドクロックＧＣ４に関連する動的電力を削減できる。

畳み込み演算回路４が待たされている期間において、クロックイネーブル操作フィールドＣＦが「０（クロックゲーティング無効）」に設定されている場合、クロック制御部４９はクロックイネーブル信号ＣＥ４をネゲートして無効（Ｄｉｓａｂｌｅ）に設定せずに有効（Ｅｎａｂｌｅ）の設定を維持する。

セマフォＳが更新されて実施条件を満たした場合、クロック制御部４９はクロックイネーブル信号ＣＥ４をアサートして有効（Ｅｎａｂｌｅ）に設定する。その結果、クロックゲーティッドクロックＧＣ４のトグルが再開される。

量子化演算実施命令は、同様に、クロックイネーブルＣＥ５を制御する操作等が格納されるクロックイネーブル操作フィールドＣＦをさらに有してもよい。また、ＤＭＡ転送実施命令は、同様に、クロックイネーブルＣＥ３を制御する操作等が格納されるクロックイネーブル操作フィールドＣＦをさらに有してもよい。

本実施形態に係るＮＮ回路１００Ｂおよびニューラルネットワーク回路の制御方法によれば、ＩｏＴ機器などの組み込み機器に組み込み可能なＮＮ回路１００を高性能に動作させることができる。畳み込み演算実施命令、量子化演算実施命令およびＤＭＡ転送実施命令において、命令フィールドＩＦとセマフォ操作フィールドＳＦと、クロックイネーブル操作フィールドＣＦとは、一命令に収められている。そのため、畳み込み演算等を実施させるための命令コマンドの数を少なくできる。また、デコード等の命令実行に係る処理時間を短くできる。

本実施形態に係るＮＮ回路１００Ｂおよびニューラルネットワーク回路の制御方法によれば、クロックゲーティングの有効化と無効化を命令ごとに設定することができる。例えば、所定に命令の組合せの際に、一部の命令においてのみクロックゲーティングを無効化するなど、細やかなクロックゲーティングの制御を実施できる。

例えば、セマフォＳが実施条件を満たしておらず、いずれかの回路に待ち合わせが発生する場合であっても、待ち合わせに要する時間が短いと予め判断できるときは、クロックゲーティングを無効化せずに有効化の設定を維持してもよい。クロックゲーティングを無効化（クロックのトグルを停止）した後に、クロックゲーティングを有効化（クロックのトグルを再開）する場合、回路は動作再開までに所定の待ち時間が必要となる。上述のように待ち合わせに要する時間が短いと予め判断できるときは、クロックゲーティングの有効化の設定を維持し、クロックゲーティングを有効化による動作再開までの所定の待ち時間をなくすことで、処理時間全体が短くなる場合がある。

以上、本発明の第二実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示した構成要素は適宜に組み合わせて構成することが可能である。

（変形例１）
上記実施形態において、一つの命令フィールドＩＦに対して複数のセマフォ操作フィールドＳＦを一命令に収める命令の例を示したが、命令の態様はこれに限られるものではない。命令は、複数の命令フィールドＩＦと、命令フィールドＩＦごとに対して関連づけられた複数のセマフォ操作フィールドＳＦと、を一命令内に収める態様であってもよい。また、命令フィールドＩＦとセマフォ操作フィールドＳＦを一命令に収める方法としては、上記実施形態の構成に限られない。さらに、命令フィールドＩＦとセマフォ操作フィールドＳＦとは、複数の命令に分割して収められていてもてよい。命令において命令フィールドＩＦが対応するセマフォ操作フィールドＳＦと関連づけられていれば、同様の効果を奏することができる。

（変形例２）
上記実施形態において、第一メモリ１と第二メモリ２は別のメモリであったが、第一メモリ１と第二メモリ２の態様はこれに限定されない。第一メモリ１と第二メモリ２は、例えば、同一メモリにおける第一メモリ領域と第二メモリ領域であってもよい。

（変形例３）
上記実施形態において、セマフォＳは第一データフローＦ１、第二データフローＦ２および第三データフローＦ３に対して設けられていたが、セマフォＳの態様はこれに限定されない。セマフォＳは、例えば、ＤＭＡＣ３が重みｗを重みメモリ４１に書き込み、乗算器４２が重みｗを読み出すデータフローに設けられていてもよい。セマフォＳは、例えば、ＤＭＡＣ３が量子化パラメータｑを量子化パラメータメモリ５１に書き込み、量子化回路５３が量子化パラメータｑを読み出すデータフローに設けられていてもよい。

（変形例４）
例えば、上記実施形態に記載のＮＮ回路１００に入力されるデータは単一の形式に限定されず、静止画像、動画像、音声、文字、数値およびこれらの組み合わせで構成することが可能である。なお、ＮＮ回路１００に入力されるデータは、ＮＮ回路１００が設けられるエッジデバイスに搭載され得る、光センサ、温度計、Global Positioning System（GPS）計測器、角速度計測器、風速計などの物理量測定器における測定結果に限られない。周辺機器から有線または無線通信経由で受信する基地局情報、車両・船舶等の情報、天候情報、混雑状況に関する情報などの周辺情報や金融情報や個人情報等の異なる情報を組み合わせてもよい。

（変形例５）
ＮＮ回路１００が設けられるエッジデバイスは、バッテリー等で駆動する携帯電話などの通信機器、パーソナルコンピュータなどのスマートデバイス、デジタルカメラ、ゲーム機器、ロボット製品などのモバイル機器を想定するが、これに限られるものではない。Power on Ethernet（PoE）などでの供給可能なピーク電力制限、製品発熱の低減または長時間駆動の要請が高い製品に利用することでも他の先行例にない効果を得ることができる。例えば、車両や船舶などに搭載される車載カメラや、公共施設や路上などに設けられる監視カメラ等に適用することで長時間の撮影を実現できるだけでなく、軽量化や高耐久化にも寄与する。また、テレビやディスプレイ等の表示デバイス、医療カメラや手術ロボット等の医療機器、製造現場や建築現場で使用される作業ロボットなどにも適用することで同様の効果を奏することができる。

（変形例６）
ＮＮ回路１００は、ＮＮ回路１００の一部または全部を一つ以上のプロセッサを用いて実現してもよい。例えば、ＮＮ回路１００は、入力層または出力層の一部または全部をプロセッサによるソフトウェア処理により実現してもよい。ソフトウェア処理により実現する入力層または出力層の一部は、例えば、データの正規化や変換である。これにより、様々な形式の入力形式または出力形式に対応できる。なお、プロセッサで実行するソフトウェアは、通信手段や外部メディアを用いて書き換え可能に構成してもよい。

（変形例７）
ＮＮ回路１００は、ＣＮＮ２００における処理の一部をクラウド上のGraphics Processing Unit（GPU）等を組み合わせることで実現してもよい。ＮＮ回路１００は、ＮＮ回路１００が設けられるエッジデバイスで行った処理に加えて、クラウド上でさらに処理を行ったり、クラウド上での処理に加えてエッジデバイス上で処理を行ったりすることで、より複雑な処理を少ないリソースで実現できる。このような構成によれば、ＮＮ回路１００は、処理分散によりエッジデバイスとクラウドとの間の通信量を低減できる。

（変形例８）
ＮＮ回路１００が行う演算は、学習済みのＣＮＮ２００の少なくとも一部であったが、ＮＮ回路１００が行う演算の対象はこれに限定されない。ＮＮ回路１００が行う演算は、例えば畳み込み演算と量子化演算のように、２種類の演算を繰り返す学習済みのニューラルネットワークの少なくとも一部であってもよい。

（変形例９）
上記の第一実施形態および第二実施形態において、クロックイネーブルの制御を、ステートコントローラの状態遷移または命令に基づいて制御する例について示したが、ステートコントローラの状態遷移または命令に基づく制御対象は、クロックイネーブルに限定されない。一例としては、図４に示されるＮＮ回路１００に含まれる各構成への電力供給を制御対象といてもよい。具体的には、ＮＮ回路１００に含まれる各構成（畳み込み演算回路４や量子化演算回路５）に供給される電力を制御する電力制御部を設ける。電力制御部は、ステートコントローラの状態遷移または命令に基づいて、電力供給に対するイネーブル信号の制御（パワーゲーティングの制御）を行う。例えば、ステートコントローラにおけるＩｄｌｅやＷａｉｔなどのステートの遷移に合わせて、電力制御部は各構成への電力供給を制御する。なお、この電力供給の制御は、上記の実施形態のクロックイネーブルの制御と組み合わせてもよい。電力供給を停止した後に電力供給を再開した場合、回路は復帰までに所定の時間が必要となる。そのため、セマフォＳが実施条件を満たしていない場合に生じる待ち合わせに要する時間が所定期間より長いと予め判断できるときに限り、クロックイネーブルの無効化（クロックのトグルを停止）および電力供給に対するイネーブル信号の無効化（電力供給を停止）してもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

本発明は、ニューラルネットワークの演算に適用することができる。

２００ 畳み込みニューラルネットワーク
１００ ニューラルネットワーク回路（ＮＮ回路）
１ 第一メモリ
２ 第二メモリ
３ ＤＭＡコントローラ（ＤＭＡＣ）
４ 畳み込み演算回路
４２ 乗算器
４３ アキュムレータ回路
５ 量子化演算回路
５２ ベクトル演算回路
５３ 量子化回路
６ コントローラ
６１ レジスタ
Ｓ セマフォ
Ｆ１ 第一データフロー
Ｆ２ 第二データフロー
Ｆ３ 第三データフロー
ＧＣ３ ゲーティッドクロック（第三クロック）
ＧＣ４ ゲーティッドクロック（第一クロック）
ＧＣ５ ゲーティッドクロック（第二クロック）

Claims (15)

1. 入力データに対して畳み込み演算を行う畳み込み演算回路と、
   前記畳み込み演算回路の畳み込み演算出力データに対して量子化演算を行う量子化演算回路と、
   を備え、
   前記畳み込み演算回路は、前記畳み込み演算の実行を待ち合わせるとき、前記畳み込み演算回路の少なくとも一部に供給される第一クロックのクロックゲーティングを有効にする、
   ニューラルネットワーク回路。
2. 前記量子化演算回路は、前記量子化演算の実行を待ち合わせるとき、前記量子化演算回路の少なくとも一部に供給される第二クロックのクロックゲーティングを有効にする、
   請求項１に記載のニューラルネットワーク回路。
3. 前記入力データを格納する第一メモリと、
   前記畳み込み演算出力データを格納する第二メモリと、
   をさらに有し、
   前記畳み込み演算回路は、前記第一メモリに格納された前記入力データに対して前記畳み込み演算を実行するとき、前記第一クロックのクロックゲーティングを無効にし、
   前記量子化演算回路は、前記第二メモリに格納された前記畳み込み演算出力データ対して前記量子化演算を実行するとき、前記第二クロックのクロックゲーティングを無効にする、
   請求項２に記載のニューラルネットワーク回路。
4. 前記量子化演算回路の量子化演算出力データは、前記第一メモリに格納されて、
   前記第一メモリに格納された前記量子化演算出力データは、前記畳み込み演算回路に前記入力データとして入力される、
   請求項３に記載のニューラルネットワーク回路。
5. 前記畳み込み演算回路による前記第一メモリからの読み出しを制限する第三リードセマフォと、
   前記畳み込み演算回路による前記第二メモリに対する書き込みを制限する第二ライトセマフォと、
   を備え、
   前記畳み込み演算回路は、前記第三リードセマフォおよび前記第二ライトセマフォに基づき前記畳み込み演算の実行を待ち合わせるとき、前記畳み込み演算回路の少なくとも一部に供給される前記第一クロックのクロックゲーティングを有効にする、
   請求項３または請求項４に記載のニューラルネットワーク回路。
6. 前記量子化演算回路による前記第二メモリからの読み出しを制限する第二リードセマフォと、
   前記量子化演算回路による前記第一メモリに対する書き込みを制限する第三ライトセマフォと、
   をさらに備え、
   前記量子化演算回路は、前記第二リードセマフォおよび前記第三ライトセマフォに基づき前記量子化演算の実行を待ち合わせるとき、前記量子化演算回路の少なくとも一部に供給される前記第二クロックのクロックゲーティングを有効にする、
   請求項５に記載のニューラルネットワーク回路。
7. 前記第一メモリに前記入力データを転送するＤＭＡコントローラと、
   前記畳み込み演算回路による前記第一メモリからの読み出しを制限する第一リードセマフォと、
   をさらに備え、
   前記畳み込み演算回路は、前記第一リードセマフォおよび前記第二ライトセマフォに基づき前記畳み込み演算の実行を待ち合わせるとき、前記畳み込み演算回路の少なくとも一部に供給される前記第一クロックのクロックゲーティングを有効にする、
   請求項５または請求項６に記載のニューラルネットワーク回路。
8. 前記ＤＭＡコントローラによる前記第一メモリに対する書き込みを制限する第一ライトセマフォと、
   をさらに備え、
   前記ＤＭＡコントローラは、前記第一ライトセマフォに基づき前記転送の実行を待ち合わせるとき、前記ＤＭＡコントローラの少なくとも一部に供給される第三クロックのクロックゲーティングを有効にする、
   請求項７に記載のニューラルネットワーク回路。
9. 前記畳み込み演算回路に対して、前記第三リードセマフォおよび前記第二ライトセマフォに基づく前記畳み込み演算の実施条件の判定と、前記判定に基づく前記畳み込み演算の実施と、前記判定に基づく前記畳み込み演算回路に対する前記クロックゲーティングの実施の有無と、を一命令で指令する畳み込み演算実施命令を実行する制御回路を備える、
   請求項５に記載のニューラルネットワーク回路。
10. 前記量子化演算回路に対して、前記第二リードセマフォおよび前記第三ライトセマフォに基づく前記量子化演算の実施条件の判定と、前記判定に基づく前記量子化演算の実施と、前記判定に基づく前記量子化演算回路に対する前記クロックゲーティングの実施の有無と、を一命令で指令する量子化演算実施命令を実行する制御回路を備える、
    請求項６に記載のニューラルネットワーク回路。
11. 前記畳み込み演算回路に対して、前記第一リードセマフォおよび前記第二ライトセマフォに基づく前記畳み込み演算の実施条件の判定と、前記判定に基づく前記畳み込み演算の実施と、前記判定に基づく前記クロックゲーティングの実施の有無と、を一命令で指令する畳み込み演算実施命令を実行する制御回路を備える、
    請求項７に記載のニューラルネットワーク回路。
12. 前記ＤＭＡコントローラに対して、前記第一ライトセマフォに基づく前記畳み込み演算の実施条件の判定と、前記判定に基づく前記転送の実施と、前記判定に基づく前記クロックゲーティングの実施の有無と、を一命令で指令するＤＭＡ転送実施命令を実行する制御回路を備える、
    請求項８に記載のニューラルネットワーク回路。
13. 入力データに対して畳み込み演算を行う畳み込み演算回路と、
    前記畳み込み演算回路の畳み込み演算出力データに対して量子化演算を行う量子化演算回路と、
    を備えるニューラルネットワーク回路の制御方法であって、
    前記畳み込み演算回路が前記畳み込み演算の実行を待ち合わせるとき、前記畳み込み演算回路の少なくとも一部に供給される第一クロックのクロックゲーティングを有効にする、
    ニューラルネットワーク回路の制御方法。
14. 前記量子化演算回路が前記量子化演算の実行を待ち合わせるとき、前記量子化演算回路の少なくとも一部に供給される第二クロックのクロックゲーティングを有効にする、
    請求項１３に記載のニューラルネットワーク回路の制御方法。
15. 前記ニューラルネットワーク回路は、
    前記入力データを格納する第一メモリと、
    前記畳み込み演算出力データを格納する第二メモリと、
    をさらに有し、
    前記畳み込み演算回路が前記第一メモリに格納された前記入力データに対して前記畳み込み演算を実行するとき、前記第一クロックのクロックゲーティングを無効にし、
    前記量子化演算回路が前記第二メモリに格納された前記畳み込み演算出力データ対して前記量子化演算を実行するとき、前記第二クロックのクロックゲーティングを無効にする、
    請求項１４に記載のニューラルネットワーク回路の制御方法。

Images