JP2022105437A - ニューラルネットワーク回路およびニューラルネットワーク演算方法 - Google Patents

Abstract

【課題】ＩｏＴ機器などの組み込み機器に組み込み可能かつ高性能なニューラルネットワーク回路を提供する。【解決手段】ニューラルネットワーク回路は、入力データと重みとに対して畳み込み演算を行う畳み込み演算回路を備え、前記入力データは、ｘ軸方向、ｙ軸方向およびｃ軸方向に要素を有する３次以上のテンソルであり、前記畳み込み演算回路は、前記入力データの要素を前記ｃ軸方向ごとに演算する演算器アレイを少なくとも一つ有し、前記演算器アレイは、前記入力データが入力される入力レジスタと、前記入力データの前記ｘ軸方向および前記ｙ軸方向の複数の要素を演算する積和演算ユニットアレイと、を有する。【選択図】図１１

Description

本発明は、ニューラルネットワーク回路およびニューラルネットワーク演算方法に関する。

近年、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）が画像認識等のモデルとして用いられている。畳み込みニューラルネットワークは、畳み込み層やプーリング層を有する多層構造であり、畳み込み演算等の多数の演算を必要とする。畳み込みニューラルネットワークによる演算を高速化する演算手法が様々考案されている（特許文献１など）。

特開２０１８－０７７８２９号公報

一方で、ＩｏＴ機器などの組み込み機器においても畳み込みニューラルネットワークを利用した画像認識等を実現することが望まれている。組み込み機器においては、特許文献1等に記載された大規模な専用回路を組み込むことは難しい。また、ＣＰＵやメモリ等のハードウェアリソースが限られた組み込み機器においては、畳み込みニューラルネットワークの十分な演算性能をソフトウェアのみにより実現することは難しい。

上記事情を踏まえ、本発明は、ＩｏＴ機器などの組み込み機器に組み込み可能かつ高性能なニューラルネットワーク回路およびニューラルネットワーク演算方法を提供することを目的とする。

上記課題を解決するために、この発明は以下の手段を提案している。
本発明の第一の態様に係るニューラルネットワーク回路は、入力データと重みとに対して畳み込み演算を行う畳み込み演算回路を備え、前記入力データは、ｘ軸方向、ｙ軸方向およびｃ軸方向に要素を有する３次以上のテンソルであり、前記畳み込み演算回路は、前記入力データの要素を前記ｃ軸方向ごとに演算する演算器アレイを少なくとも一つ有し、前記演算器アレイは、前記入力データが入力される入力レジスタと、前記入力データの前記ｘ軸方向および前記ｙ軸方向の複数の要素を演算する積和演算ユニットアレイと、を有する。

本発明の第二の態様に係るニューラルネットワーク演算方法は、ｘ軸方向、ｙ軸方向およびｃ軸方向に要素を有する３次以上のテンソルである入力データを畳み込み演算する演算方法であって、前記入力データの要素を前記ｃ軸方向ごとに分割し、前記入力データの前記ｘ軸方向および前記ｙ軸方向の複数の要素を並列に演算する。

本発明のニューラルネットワーク回路およびニューラルネットワーク演算方法は、ＩｏＴ機器などの組み込み機器に組み込み可能かつ高性能である。

畳み込みニューラルネットワークを示す図である。 畳み込み層が行う畳み込み演算を説明する図である。 畳み込み演算のデータの展開を説明する図である。 第一実施形態に係るニューラルネットワーク回路の全体構成を示す図である。 同ニューラルネットワーク回路の動作例を示すタイミングチャートである。 同ニューラルネットワーク回路の他の動作例を示すタイミングチャートである。 同ニューラルネットワーク回路のＤＭＡＣの内部ブロック図である。 同ＤＭＡＣの制御回路のステート遷移図である。 同ニューラルネットワーク回路の畳み込み演算回路の内部ブロック図である。 同畳み込み演算回路の乗算器の内部ブロック図である。 同乗算器のマルチ積和演算ユニットの内部ブロック図である。 同乗算器の積和演算ユニットの内部ブロック図である。 入力レジスタと同積和演算ユニットとの接続を示す図である。 データをシフトした同入力レジスタと同積和演算ユニットとの接続を示す図である。 要素３２個分だけ左シフトした同入力レジスタと同積和演算ユニットとの接続を示す図である。 同入力レジスタと同積和演算ユニットとの他の接続態様を示す図である。 同畳み込み演算回路のアキュムレータ回路の内部ブロック図である。 同アキュムレータ回路のアキュムレータユニットの内部ブロック図である。 同ニューラルネットワーク回路の量子化演算回路の内部ブロック図である。 同量子化演算回路のベクトル演算回路と量子化回路の内部ブロック図である。 演算ユニットのブロック図である。 同量子化回路のベクトル量子化ユニットの内部ブロック図である。

（第一実施形態）
本発明の第一実施形態について、図１から図２２を参照して説明する。
図１は、畳み込みニューラルネットワーク２００（以下、「ＣＮＮ２００」という）を示す図である。第一実施形態に係るニューラルネットワーク回路１００（以下、「ＮＮ回路１００」という）が行う演算は、推論時に使用する学習済みのＣＮＮ２００の少なくとも一部である。

［ＣＮＮ２００］
ＣＮＮ２００は、畳み込み演算を行う畳み込み層２１０と、量子化演算を行う量子化演算層２２０と、出力層２３０と、を含む多層構造のネットワークである。ＣＮＮ２００の少なくとも一部において、畳み込み層２１０と量子化演算層２２０とが交互に連結されている。ＣＮＮ２００は、画像認識や動画認識に広く使われるモデルである。ＣＮＮ２００は、全結合層などの他の機能を有する層（レイヤ）をさらに有してもよい。

図２は、畳み込み層２１０が行う畳み込み演算を説明する図である。
畳み込み層２１０は、入力データａに対して重みｗを用いた畳み込み演算を行う。畳み込み層２１０は、入力データａと重みｗとを入力とする積和演算を行う。

畳み込み層２１０への入力データａ（アクティベーションデータ、特徴マップともいう）は、画像データ等の多次元データである。本実施形態において、入力データａは、要素（ｘ，ｙ，ｃ）からなる３次元テンソルである。ＣＮＮ２００の畳み込み層２１０は、低ビットの入力データａに対して畳み込み演算を行う。本実施形態において、入力データａの要素は、２ビットの符号なし整数（０，１，２，３）である。入力データａの要素は、例えば、４ビットや８ビット符号なし整数でもよい。

ＣＮＮ２００に入力される入力データが、例えば３２ビットの浮動小数点型など、畳み込み層２１０への入力データａと形式が異なる場合、ＣＮＮ２００は畳み込み層２１０の前に型変換や量子化を行う入力層をさらに有してもよい。

畳み込み層２１０の重みｗ（フィルタ、カーネルともいう）は、学習可能なパラメータである要素を有する多次元データである。本実施形態において、重みｗは、要素（ｉ，ｊ，ｃ，ｄ）からなる４次元テンソルである。重みｗは、要素（ｉ，ｊ，ｃ）からなる３次元テンソル（以降、「重みｗｏ」という）をｄ個有している。学習済みのＣＮＮ２００における重みｗは、学習済みのデータである。ＣＮＮ２００の畳み込み層２１０は、低ビットの重みｗを用いて畳み込み演算を行う。本実施形態において、重みｗの要素は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。

畳み込み層２１０は、式１に示す畳み込み演算を行い、出力データｆを出力する。式１において、ｓはストライドを示す。図２において点線で示された領域は、入力データａに対して重みｗｏが適用される領域ａｏ（以降、「適用領域ａｏ」という）の一つを示している。適用領域ａｏの要素は、（ｘ＋ｉ，ｙ＋ｊ，ｃ）で表される。

量子化演算層２２０は、畳み込み層２１０が出力する畳み込み演算の出力に対して量子化などを実施する。量子化演算層２２０は、プーリング層２２１と、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２と、活性化関数層２２３と、量子化層２２４と、を有する。

プーリング層２２１は、畳み込み層２１０が出力する畳み込み演算の出力データｆに対して平均プーリング（式２）やＭＡＸプーリング（式３）などの演算を実施して、畳み込み層２１０の出力データｆを圧縮する。式２および式３において、ｕは入力テンソルを示し、ｖは出力テンソルを示し、Ｔはプーリング領域の大きさを示す。式３において、ｍａｘはＴに含まれるｉとｊの組み合わせに対するｕの最大値を出力する関数である。

Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２は、量子化演算層２２０やプーリング層２２１の出力データに対して、例えば式４に示すような演算によりデータ分布の正規化を行う。式４において、ｕは入力テンソルを示し、ｖは出力テンソルを示し、αはスケールを示し、βはバイアスを示す。学習済みのＣＮＮ２００において、αおよびβは学習済みの定数ベクトルである。

活性化関数層２２３は、量子化演算層２２０やプーリング層２２１やＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２の出力に対してＲｅＬＵ（式５）などの活性化関数の演算を行う。式５において、ｕは入力テンソルであり、ｖは出力テンソルである。式５において、ｍａｘは引数のうち最も大きい数値を出力する関数である。

量子化層２２４は、量子化パラメータに基づいて、プーリング層２２１や活性化関数層２２３の出力に対して例えば式６に示すような量子化を行う。式６に示す量子化は、入力テンソルｕを２ビットにビット削減している。式６において、ｑ(ｃ)は量子化パラメータのベクトルである。学習済みのＣＮＮ２００において、ｑ(ｃ)は学習済みの定数ベクトルである。式６における不等式「≦」は「＜」であってもよい。

出力層２３０は、恒等関数やソフトマックス関数等によりＣＮＮ２００の結果を出力する層である。出力層２３０の前段のレイヤは、畳み込み層２１０であってもよいし、量子化演算層２２０であってもよい。

ＣＮＮ２００は、量子化された量子化層２２４の出力データが、畳み込み層２１０に入力されるため、量子化を行わない他の畳み込みニューラルネットワークと比較して、畳み込み層２１０の畳み込み演算の負荷が小さい。

［畳み込み演算の分割］
ＮＮ回路１００は、畳み込み層２１０の畳み込み演算（式１）の入力データを部分テンソルに分割して演算する。部分テンソルへの分割方法や分割数は特に限定されない。部分テンソルは、例えば、入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）をａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）に分割することにより形成される。なお、ＮＮ回路１００は、畳み込み層２１０の畳み込み演算（式１）の入力データを分割せずに演算することもできる。

畳み込み演算の入力データ分割において、式１における変数ｃは、式７に示すように、サイズＢｃのブロックで分割される。また、式１における変数ｄは、式８に示すように、サイズＢｄのブロックで分割される。式７において、ｃｏはオフセットであり、ｃｉは０から(Ｂｃ－１)までのインデックスである。式８において、ｄｏはオフセットであり、ｄｉは０から(Ｂｄ－１)までのインデックスである。なお、サイズＢｃとサイズＢｄは同じであってもよい。

式１における入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃ）は、サイズＢｃにより分割され、分割された入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）で表される。以降の説明において、分割された入力データａを「分割入力データａ」ともいう。

式１における重みｗ（ｉ，ｊ，ｃ，ｄ）は、サイズＢｃおよびＢｄにより分割され、分割された重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）で表される。以降の説明において、分割された重みｗを「分割重みｗ」ともいう。

サイズＢｄにより分割された出力データｆ（ｘ，ｙ，ｄｏ）は、式９により求まる。分割された出力データｆ（ｘ，ｙ，ｄｏ）を組み合わせることで、最終的な出力データｆ（ｘ，ｙ，ｄ）を算出できる。

［畳み込み演算のデータの展開］
ＮＮ回路１００は、畳み込み層２１０の畳み込み演算における入力データａおよび重みｗを展開して畳み込み演算を行う。

図３は、畳み込み演算のデータの展開を説明する図である。
分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ）は、Ｂｃ個の要素を持つベクトルデータに展開される。分割入力データａの要素は、ｃｉでインデックスされる（０≦ｃｉ＜Ｂｃ）。以降の説明において、ｉ，ｊごとにベクトルデータに展開された分割入力データａを「入力ベクトルＡ」ともいう。入力ベクトルＡは、分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ×Ｂｃ）から分割入力データａ（ｘ＋ｉ、ｙ＋ｊ、ｃｏ×Ｂｃ＋（Ｂｃ－１））までを要素とする。

分割重みｗ（ｉ，ｊ，ｃｏ、ｄｏ）は、Ｂｃ×Ｂｄ個の要素を持つマトリクスデータに展開される。マトリクスデータに展開された分割重みｗの要素は、ｃｉとｄｉでインデックスされる（０≦ｄｉ＜Ｂｄ）。以降の説明において、ｉ，ｊごとにマトリクスデータに展開された分割重みｗを「重みマトリクスＷ」ともいう。重みマトリクスＷは、分割重みｗ（ｉ，ｊ，ｃｏ×Ｂｃ、ｄｏ×Ｂｄ）から分割重みｗ（ｉ，ｊ，ｃｏ×Ｂｃ＋（Ｂｃ－１）、ｄｏ×Ｂｄ＋（Ｂｄ－１））までを要素とする。

入力ベクトルＡと重みマトリクスＷとを乗算することで、ベクトルデータが算出される。ｉ，ｊ，ｃｏごとに算出されたベクトルデータを３次元テンソルに整形することで、出力データｆ（ｘ，ｙ，ｄｏ）を得ることができる。このようなデータの展開を行うことで、畳み込み層２１０の畳み込み演算を、ベクトルデータとマトリクスデータとの乗算により実施できる。

［ＮＮ回路１００］
図４は、本実施形態に係るＮＮ回路１００の全体構成を示す図である。
ＮＮ回路１００は、第一メモリ１と、第二メモリ２と、ＤＭＡコントローラ３（以下、「ＤＭＡＣ３」ともいう）と、畳み込み演算回路４と、量子化演算回路５と、コントローラ６と、を備える。ＮＮ回路１００は、第一メモリ１および第二メモリ２を介して、畳み込み演算回路４と量子化演算回路５とがループ状に形成されていることを特徴とする。

第一メモリ１は、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第一メモリ１には、ＤＭＡＣ３やコントローラ６を介してデータの書き込みおよび読み出しが行われる。第一メモリ１は、畳み込み演算回路４の入力ポートと接続されており、畳み込み演算回路４は第一メモリ１からデータを読み出すことができる。また、第一メモリ１は、量子化演算回路５の出力ポートと接続されており、量子化演算回路５は第一メモリ１にデータを書き込むことができる。外部ホストＣＰＵは、第一メモリ１に対するデータの書き込みや読み出しにより、ＮＮ回路１００に対するデータの入出力を行うことができる。

第二メモリ２は、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。第二メモリ２には、ＤＭＡＣ３やコントローラ６を介してデータの書き込みおよび読み出しが行われる。第二メモリ２は、量子化演算回路５の入力ポートと接続されており、量子化演算回路５は第二メモリ２からデータを読み出すことができる。また、第二メモリ２は、畳み込み演算回路４の出力ポートと接続されており、畳み込み演算回路４は第二メモリ２にデータを書き込むことができる。外部ホストＣＰＵは、第二メモリ２に対するデータの書き込みや読み出しにより、ＮＮ回路１００に対するデータの入出力を行うことができる。

ＤＭＡＣ３は、外部バスＥＢに接続されており、ＤＲＡＭなどの外部メモリと第一メモリ１との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと第二メモリ２との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと畳み込み演算回路４との間のデータ転送を行う。また、ＤＭＡＣ３は、ＤＲＡＭなどの外部メモリと量子化演算回路５との間のデータ転送を行う。

畳み込み演算回路４は、学習済みのＣＮＮ２００の畳み込み層２１０における畳み込み演算を行う回路である。畳み込み演算回路４は、第一メモリ１に格納された入力データａを読み出し、入力データａに対して畳み込み演算を実施する。畳み込み演算回路４は、畳み込み演算の出力データｆ（以降、「畳み込み演算出力データ」ともいう）を第二メモリ２に書き込む。

量子化演算回路５は、学習済みのＣＮＮ２００の量子化演算層２２０における量子化演算の少なくとも一部を行う回路である。量子化演算回路５は、第二メモリ２に格納された畳み込み演算の出力データｆを読み出し、畳み込み演算の出力データｆに対して量子化演算（プーリング、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、活性化関数、および量子化のうち少なくとも量子化を含む演算）を行う。量子化演算回路５は、量子化演算の出力データ（以降、「量子化演算出力データ」ともいう）を第一メモリ１に書き込む。

コントローラ６は、外部バスＥＢに接続されており、外部のホストＣＰＵのスレーブとして動作する。コントローラ６は、パラメータレジスタや状態レジスタを含むレジスタ６１を有している。パラメータレジスタは、ＮＮ回路１００の動作を制御するレジスタである。状態レジスタはセマフォＳを含むＮＮ回路１００の状態を示すレジスタである。外部ホストＣＰＵは、コントローラ６を経由して、レジスタ６１にアクセスできる。

コントローラ６は、内部バスＩＢを介して、第一メモリ１と、第二メモリ２と、ＤＭＡＣ３と、畳み込み演算回路４と、量子化演算回路５と、接続されている。外部ホストＣＰＵは、コントローラ６を経由して、各ブロックに対してアクセスできる。例えば、外部ホストＣＰＵは、コントローラ６を経由して、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５に対する命令を指示することができる。また、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５は、内部バスＩＢを介して、コントローラ６が有する状態レジスタ（セマフォＳを含む）を更新できる。状態レジスタ（セマフォＳを含む）は、ＤＭＡＣ３や畳み込み演算回路４や量子化演算回路５と接続された専用配線を介して更新されるように構成されていてもよい。

ＮＮ回路１００は、第一メモリ１や第二メモリ２等を有するため、ＤＲＡＭなどの外部メモリからのＤＭＡＣ３によるデータ転送において、重複するデータのデータ転送の回数を低減できる。これにより、メモリアクセスにより発生する消費電力を大幅に低減することができる。

［ＮＮ回路１００の動作例１］
図５は、ＮＮ回路１００の動作例を示すタイミングチャートである。
ＤＭＡＣ３は、レイヤ１の入力データａを第一メモリ１に格納する。ＤＭＡＣ３は、畳み込み演算回路４が行う畳み込み演算の順序にあわせて、レイヤ１の入力データａを分割して第一メモリ１に転送してもよい。

畳み込み演算回路４は、第一メモリ１に格納されたレイヤ１の入力データａを読み出す。畳み込み演算回路４は、レイヤ１の入力データａに対して図１に示すレイヤ１の畳み込み演算を行う。レイヤ１の畳み込み演算の出力データｆは、第二メモリ２に格納される。

量子化演算回路５は、第二メモリ２に格納されたレイヤ１の出力データｆを読み出す。量子化演算回路５は、レイヤ１の出力データｆに対してレイヤ２の量子化演算を行う。レイヤ２の量子化演算の出力データは、第一メモリ１に格納される。

畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２の量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２の量子化演算の出力データを入力データａとしてレイヤ３の畳み込み演算を行う。レイヤ３の畳み込み演算の出力データｆは、第二メモリ２に格納される。

畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２Ｍ－２（Ｍは自然数）の量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２Ｍ－２の量子化演算の出力データを入力データａとしてレイヤ２Ｍ－１の畳み込み演算を行う。レイヤ２Ｍ－１の畳み込み演算の出力データｆは、第二メモリ２に格納される。

量子化演算回路５は、第二メモリ２に格納されたレイヤ２Ｍ－１の出力データｆを読み出す。量子化演算回路５は、２Ｍ－１レイヤの出力データｆに対してレイヤ２Ｍの量子化演算を行う。レイヤ２Ｍの量子化演算の出力データは、第一メモリ１に格納される。

畳み込み演算回路４は、第一メモリ１に格納されたレイヤ２Ｍの量子化演算の出力データを読み出す。畳み込み演算回路４は、レイヤ２Ｍの量子化演算の出力データを入力データａとしてレイヤ２Ｍ＋１の畳み込み演算を行う。レイヤ２Ｍ＋１の畳み込み演算の出力データｆは、第二メモリ２に格納される。

畳み込み演算回路４と量子化演算回路５とが交互に演算を行い、図１に示すＣＮＮ２００の演算を進めていく。ＮＮ回路１００は、畳み込み演算回路４が時分割によりレイヤ２Ｍ－１の畳み込み演算とレイヤ２Ｍ＋１を実施する。また、ＮＮ回路１００は、量子化演算回路５が時分割によりレイヤ２Ｍ－２の畳み込み演算とレイヤ２Ｍを実施する。そのため、ＮＮ回路１００は、レイヤごとに別々の畳み込み演算回路４と量子化演算回路５を実装する場合と比較して、回路規模が著しく小さい。

ＮＮ回路１００は、複数のレイヤの多層構造であるＣＮＮ２００の演算を、ループ状に形成された回路により演算する。ＮＮ回路１００は、ループ状の回路構成により、ハードウェア資源を効率的に利用できる。なお、ＮＮ回路１００は、ループ状に回路を形成するために、各レイヤで変化する畳み込み演算回路４や量子化演算回路５におけるパラメータは適宜更新される。

ＣＮＮ２００の演算にＮＮ回路１００により実施できない演算が含まれる場合、ＮＮ回路１００は外部ホストＣＰＵなどの外部演算デバイスに中間データを転送する。外部演算デバイスが中間データに対して演算を行った後、外部演算デバイスによる演算結果は第一メモリ１や第二メモリ２に入力される。ＮＮ回路１００は、外部演算デバイスによる演算結果に対する演算を再開する。

［ＮＮ回路１００の動作例２］
図６は、ＮＮ回路１００の他の動作例を示すタイミングチャートである。
ＮＮ回路１００は、入力データａを部分テンソルに分割して、時分割により部分テンソルに対する演算を行ってもよい。部分テンソルへの分割方法や分割数は特に限定されない。

図６は、入力データａを二つの部分テンソルに分解した場合の動作例を示している。分解された部分テンソルを、「第一部分テンソルａ₁」、「第二部分テンソルａ₂」とする。例えば、レイヤ２Ｍ－１の畳み込み演算は、第一部分テンソルａ₁に対応する畳み込み演算（図６において、「レイヤ２Ｍ－１（ａ₁）」と表記）と、第二部分テンソルａ₂に対応する畳み込み演算（図６において、「レイヤ２Ｍ－１（ａ₂）」と表記）と、に分解される。

第一部分テンソルａ₁に対応する畳み込み演算および量子化演算と、第二部分テンソルａ₂に対応する畳み込み演算および量子化演算とは、図６に示すように、独立して実施することができる。

畳み込み演算回路４は、第一部分テンソルａ₁に対応するレイヤ２Ｍ－１の畳み込み演算（図６において、レイヤ２Ｍ－１（ａ₁）で示す演算）を行う。その後、畳み込み演算回路４は、第二部分テンソルａ_２に対応するレイヤ２Ｍ－１の畳み込み演算（図６において、レイヤ２Ｍ－１（ａ_２）で示す演算）を行う。また、量子化演算回路５は、第一部分テンソルａ₁に対応するレイヤ２Ｍの量子化演算（図６において、レイヤ２Ｍ（ａ₁）で示す演算）を行う。このように、ＮＮ回路１００は、第二部分テンソルａ_２に対応するレイヤ２Ｍ－１の畳み込み演算と、第一部分テンソルａ₁に対応するレイヤ２Ｍの量子化演算と、を並列に実施できる。

次に、畳み込み演算回路４は、第一部分テンソルａ₁に対応するレイヤ２Ｍ＋１の畳み込み演算（図６において、レイヤ２Ｍ＋１（ａ₁）で示す演算）を行う。また、量子化演算回路５は、第二部分テンソルａ_２に対応するレイヤ２Ｍの量子化演算（図６において、レイヤ２Ｍ（ａ_２）で示す演算）を行う。このように、ＮＮ回路１００は、第一部分テンソルａ₁に対応するレイヤ２Ｍ＋１の畳み込み演算と、第二部分テンソルａ_２に対応するレイヤ２Ｍの量子化演算と、を並列に実施できる。

入力データａを部分テンソルに分割することで、ＮＮ回路１００は畳み込み演算回路４と量子化演算回路５とを並列して動作させることができる。その結果、畳み込み演算回路４と量子化演算回路５が待機する時間が削減され、ＮＮ回路１００の演算処理効率が向上する。図６に示す動作例において分割数は２であったが、分割数が２より大きい場合も同様に、ＮＮ回路１００は畳み込み演算回路４と量子化演算回路５とを並列して動作させることができる。

なお、部分テンソルに対する演算方法としては、同一レイヤにおける部分テンソルの演算を畳み込み演算回路４または量子化演算回路５で行った後に次のレイヤにおける部分テンソルの演算を行う例（方法１）を示したが、演算方法はこれに限られない。ＮＮ回路１００は、複数レイヤにおける一部の部分テンソルの演算をした後に残部の部分テンソルの演算をしてもよい（方法２）。また、ＮＮ回路１００は、方法１と方法２とを組み合わせて部分テンソルを演算してもよい。

次に、ＮＮ回路１００の各構成に関して詳しく説明する。

［ＤＭＡＣ３］
図７は、ＤＭＡＣ３の内部ブロック図である。
ＤＭＡＣ３は、データ転送回路３１と、ステートコントローラ３２と、を有する。ＤＭＡＣ３は、データ転送回路３１に対する専用のステートコントローラ３２を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずにＤＭＡデータ転送を実施できる。

データ転送回路３１は、外部バスＥＢに接続されており、ＤＲＡＭなどの外部メモリと第一メモリ１との間のＤＭＡデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリと第二メモリ２との間のＤＭＡデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリと畳み込み演算回路４との間のデータ転送を行う。また、データ転送回路３１は、ＤＲＡＭなどの外部メモリと量子化演算回路５との間のデータ転送を行う。データ転送回路３１のＤＭＡチャンネル数は限定されない。例えば、第一メモリ１と第二メモリ２のそれぞれに専用のＤＭＡチャンネルを有していてもよい。

ステートコントローラ３２は、データ転送回路３１のステートを制御する。また、ステートコントローラ３２は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ３２は、命令キュー３３と制御回路３４とを有する。

命令キュー３３は、ＤＭＡＣ３用の命令コマンドＣ３が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー３３には、内部バスＩＢ経由で１つ以上の命令コマンドＣ３が書き込まれる。

制御回路３４は、命令コマンドＣ３をデコードし、命令コマンドＣ３に基づいて順次データ転送回路３１を制御するステートマシンである。制御回路３４は、論理回路により実装されていてもよいし、ソフトウェアによって制御されるＣＰＵによって実装されていてもよい。

図８は、制御回路３４のステート遷移図である。
制御回路３４は、命令キュー３３に命令コマンドＣ３が入力されると（Ｎｏｔ ｅｍｐｔｙ）、アイドルステートＳ１からデコードステートＳ２に遷移する。

制御回路３４は、デコードステートＳ２において、命令キュー３３から出力される命令コマンドＣ３をデコードする。また、制御回路３４は、コントローラ６のレジスタ６１に格納されたセマフォＳを読み出し、命令コマンドＣ３において指示されたデータ転送回路３１の動作を実行可能であるかを判定する。実行不能である場合（Ｎｏｔ ｒｅａｄｙ）、制御回路３４は実行可能となるまで待つ（Ｗａｉｔ）。実行可能である場合（ｒｅａｄｙ）、制御回路３４はデコードステートＳ２から実行ステートＳ３に遷移する。

制御回路３４は、実行ステートＳ３において、データ転送回路３１を制御して、データ転送回路３１に命令コマンドＣ３において指示された動作を実施させる。制御回路３４は、データ転送回路３１の動作が終わると、命令キュー３３から実行を終えた命令コマンドＣ３を取り除くとともに、コントローラ６のレジスタ６１に格納されたセマフォＳを更新する。制御回路３４は、命令キュー３３に命令がある場合（Ｎｏｔ ｅｍｐｔｙ）、実行ステートＳ３からデコードステートＳ２に遷移する。制御回路３４は、命令キュー３３に命令がない場合（ｅｍｐｔｙ）、実行ステートＳ３からアイドルステートＳ１に遷移する。

［畳み込み演算回路４］
図９は、畳み込み演算回路４の内部ブロック図である。
畳み込み演算回路４は、重みメモリ４１と、乗算器４２と、アキュムレータ回路４３と、ステートコントローラ４４と、を有する。畳み込み演算回路４は、乗算器４２およびアキュムレータ回路４３に対する専用のステートコントローラ４４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに畳み込み演算を実施できる。

重みメモリ４１は、畳み込み演算に用いる重みｗが格納されるメモリであり、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。ＤＭＡＣ３は、ＤＭＡ転送により、畳み込み演算に必要な重みｗを重みメモリ４１に書き込む。

図１０は、乗算器４２の内部ブロック図である。
乗算器（演算器アレイ）４２は、分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）の各要素ａ（ｘ＋ｉ，ｙ＋ｊ，ｃｉ）と、分割重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）の各要素ｗ（ｉ，ｊ，ｃｉ，ｄｉ）と、を乗算する。乗算器４２は、Ｂｃ×Ｂｄ個の積和演算ユニットアレイ４２Ａを有し、分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）の要素ａ（ｘ＋ｉ，ｙ＋ｊ，ｃｉ）と分割重みｗ（ｉ，ｊ，ｃｏ，ｄｏ）の要素ｗ（ｉ，ｊ，ｃｉ，ｄｉ）との乗算を並列して実施できる。

乗算器（演算器アレイ）４２は、乗算に必要な要素ａ（ｘ＋ｉ，ｙ＋ｊ，ｃｉ）と要素ｗ（ｉ，ｊ，ｃｉ，ｄｉ）を、第一メモリ１および重みメモリ４１から読み出して乗算を実施する。乗算器４２は、Ｂｄ個の積和演算結果Ｏ（ｘ＋ｉ，ｙ＋ｊ，ｄｉ）を出力する。ここで、本実施形態において第一メモリ１には一度に３２×３２個の要素ａを格納可能とする。

なお、乗算器４２に含まれる積和演算ユニットアレイ４２Ａの数はＢｃ×Ｂｄ個に限定されない。例えば、積和演算ユニットアレイ４２Ａの数を（Ｂｃ／Ｐ）×Ｂｄ個（ＰはＢｃ又はＢｃの約数）とし、分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）をｃ軸方向にＰ個に分割してＰ回演算を繰り返す。これにより、Ｂｄ個の積和演算結果Ｏ（ｘ＋ｉ，ｙ＋ｊ，ｄｉ）を乗算器４２のアウトプットとして得ることも可能である。この様に積和演算ユニットアレイ４２Ａの数を減少させることで並列演算数が低下し演算速度に影響を及ぼす場合もあるが、回路規模縮小による低コスト化や低消費電力化を実現できる。

図１１は、積和演算ユニットアレイ４２Ａの内部ブロック図である。
積和演算ユニットアレイ４２Ａは、要素ａ（ｘ＋ｉ，ｙ＋ｊ，ｃｉ）と、要素ｗ（ｉ，ｊ，ｃｉ，ｄｉ）とを乗算する。積和演算ユニットアレイ４２Ａは、９個の要素ｗを乗算可能な９個の積和演算ユニット４７を有する。本実施形態においては、重みｗのｘｙ軸平面における３ｘ３の９要素が、９個の積和演算ユニット４７により乗算される。

積和演算ユニットアレイ４２Ａは、要素ａが格納される入力レジスタ４９を有する。入力レジスタ４９は、第一入力レジスタ４９ａと、第二入力レジスタ４９ｂと、第三入力レジスタ４９ｃと、を有する。

第一入力レジスタ４９ａは、例えばｙ軸座標が（ｙ）であり、ｘ軸方向に連続する３２個の要素ａ（ｘ＋αｉ，ｙ，ｃｉ）が入力される（０≦αｉ＜３２）。このデータを「ラインデータＬ（ｙ）」とする。

第二入力レジスタ４９ｂは、例えばｙ軸座標が（ｙ＋１）であり、ｘ軸方向に連続する３２個の要素ａ（ｘ＋αｉ，ｙ＋１，ｃｉ）が入力される（０≦αｉ＜３２）。このデータを「ラインデータＬ（ｙ＋１）」とする。

第三入力レジスタ４９ｃは、例えばｙ軸座標が（ｙ＋２）であり、ｘ軸方向に連続する３２個の要素ａ（ｘ+αｉ，ｙ＋２，ｃｉ）が入力される（０≦αｉ＜３２）。このデータを「ラインデータＬ（ｙ＋２）」とする。

同様に、ｙ軸座標が（ｙ＋３）であり、ｘ軸方向に連続する３２個の要素ａ（ｘ+αｉ，ｙ＋３，ｃｉ）を「ラインデータＬ（ｙ＋３）」とする。

ラインデータＬ（ｙ）とラインデータＬ（ｙ＋１）とラインデータＬ（ｙ＋２）とラインデータＬ（ｙ＋３）とは、ｘｙ軸平面におけるｙ軸方向に連続するラインデータである。なお、入力レジスタ４９に入力可能な要素aの個数は第一メモリに格納可能な要素ａの個数によって決定することが好ましい。第一メモリ１に格納された入力データａを効率的に読み出すことが可能となる。また、入力レジスタ４９に含まれる第一入力レジスタ４９ａ、第二入力レジスタ４９ｂ、第三入力レジスタ４９ｃに保持できる要素ａの個数は同じでなくても良い。例えば、第三入力レジスタ４９ｃに保持できる個数を他よりも少なくすることで、全体の回路規模を縮小することができる。

積和演算ユニットアレイ４２Ａは、９個の積和演算ユニット４７と、加算器４７Ａと、を有する。以降の説明において、９個の積和演算ユニット４７を、第一積和演算ユニット４７１、第二積和演算ユニット４７２、第三積和演算ユニット４７３、第四積和演算ユニット４７４、第五積和演算ユニット４７５、第六積和演算ユニット４７６、第七積和演算ユニット４７７、第八積和演算ユニット４７８、第九積和演算ユニット４７９という。

図１２は、積和演算ユニット４７の内部ブロック図である。
積和演算ユニット４７は、入力ベクトルＡの要素Ａ（ｃｉ）と、重みマトリクスＷの要素Ｗ（ｃｉ，ｄｉ）とを乗算する。また、積和演算ユニット４７は、乗算結果と他の積和演算ユニット４７の乗算結果Ｓ（ｉ，ｊ）と加算する。積和演算ユニット４７は、加算結果Ｓ（ｉ＋１，ｊ）を出力する。要素Ａ（ｃｉ）は、２ビットの符号なし整数（０，１，２，３）である。要素Ｗ（ｃｉ，ｄｉ）は、１ビットの符号付整数（０，１）であり、値「０」は＋１を表し、値「１」は－１を表す。

積和演算ユニット４７は、反転器（インバータ）４７ａと、セレクタ４７ｂと、加算器４７ｃと、を有する。積和演算ユニット４７は、乗算器を用いず、反転器４７ａおよびセレクタ４７ｂのみを用いて乗算を行う。セレクタ４７ｂは、要素Ｗ（ｃｉ，ｄｉ）が「０」の場合、要素Ａ（ｃｉ）の入力を選択する。セレクタ４７ｂは、要素Ｗ（ｃｉ，ｄｉ）が「１」の場合、要素Ａ（ｃｉ）を反転器により反転させた補数を選択する。要素Ｗ（ｃｉ，ｄｉ）は、加算器４７ｃのＣａｒｒｙ－ｉｎにも入力される。加算器４７ｃは、要素Ｗ（ｃｉ，ｄｉ）が「０」のとき、Ｓ（ｉ，ｊ）に要素Ａ（ｃｉ）を加算した値を出力する。加算器４７ｃは、Ｗ（ｃｉ，ｄｉ）が「１」のとき、Ｓ（ｉ，ｊ）から要素Ａ（ｃｉ）を減算した値を出力する。

第一積和演算ユニット４７１は、要素ａ（Ｘ，Ｙ，ｃｉ）と要素ｗ（ｉ，ｊ，ｃｉ，ｄｉ）とを乗算する（Ｘは入力データａに含まれる任意のｘ座標、Ｙは入力データａに含まれる任意のｙ座標）。第一積和演算ユニット４７１は、出力Ｓ（ｉ，ｊ）を第二積和演算ユニット４７２に出力する。

第二積和演算ユニット４７２は、要素ａ（Ｘ＋１，Ｙ，ｃｉ）と要素ｗ（ｉ＋１，ｊ，ｃｉ，ｄｉ）とを乗算する。また、第二積和演算ユニット４７２は、乗算結果とＳ（ｉ，ｊ）とを加算する。第二積和演算ユニット４７２は、出力Ｓ（ｉ＋１，ｊ）を第三積和演算ユニット４７３に出力する。

第三積和演算ユニット４７３は、要素ａ（Ｘ＋２，Ｙ，ｃｉ）と要素ｗ（ｉ＋２，ｊ，ｃｉ，ｄｉ）とを乗算する。また、第三積和演算ユニット４７３は、乗算結果とＳ（ｉ＋１，ｊ）とを加算する。第三積和演算ユニット４７３は、出力Ｓ１を加算器４７Ａに出力する。

第四積和演算ユニット４７４は、要素ａ（Ｘ，Ｙ＋１，ｃｉ）と要素ｗ（ｉ，ｊ＋１，ｃｉ，ｄｉ）とを乗算する。第四積和演算ユニット４７４は、出力Ｓ（ｉ，ｊ＋１）を第五積和演算ユニット４７５に出力する。

第五積和演算ユニット４７５は、要素ａ（Ｘ＋１，Ｙ＋１，ｃｉ）と要素ｗ（ｉ＋１，ｊ＋１，ｃｉ，ｄｉ）とを乗算する。また、第五積和演算ユニット４７５は、乗算結果とＳ（ｉ，ｊ＋１）とを加算する。第五積和演算ユニット４７５は、出力Ｓ（ｉ＋１，ｊ＋１）を第六積和演算ユニット４７６に出力する。

第六積和演算ユニット４７６は、要素ａ（Ｘ＋２，Ｙ＋１，ｃｉ）と要素ｗ（ｉ＋２，ｊ＋１，ｃｉ，ｄｉ）とを乗算する。また、第六積和演算ユニット４７６は、乗算結果とＳ（ｉ＋１，ｊ＋１）とを加算する。第六積和演算ユニット４７６は、出力Ｓ２を加算器４７Ａに出力する。

第七積和演算ユニット４７７は、要素ａ（Ｘ，Ｙ＋２，ｃｉ）と要素ｗ（ｉ，ｊ＋２，ｃｉ，ｄｉ）とを乗算する。第七積和演算ユニット４７７は、出力Ｓ（ｉ，ｊ＋２）を第八積和演算ユニット４７８に出力する。

第八積和演算ユニット４７８は、要素ａ（Ｘ＋１，Ｙ＋２，ｃｉ）と要素ｗ（ｉ＋１，ｊ＋２，ｃｉ，ｄｉ）とを乗算する。また、第八積和演算ユニット４７８は、乗算結果とＳ（ｉ，ｊ＋２）とを加算する。第八積和演算ユニット４７８は、出力Ｓ（ｉ＋１，ｊ＋２）を第九積和演算ユニット４７９に出力する。

第九積和演算ユニット４７９は、要素ａ（Ｘ＋２，Ｙ＋２，ｃｉ）と要素ｗ（ｉ＋２，ｊ＋２，ｃｉ，ｄｉ）とを乗算する。また、第九積和演算ユニット４７９は、乗算結果とＳ（ｉ＋１，ｊ＋２）とを加算する。第九積和演算ユニット４７９は、出力Ｓ３を加算器４７Ａに出力する。

加算器４７Ａは、出力Ｓ１と出力Ｓ２と出力Ｓ３と加算して、加算結果Ｏ（ｘ＋ｉ，ｙ＋ｊ，ｄｉ）を出力する。なお、積和演算ユニットアレイ４２Ａに加算器４７Ａを設けずに、アキュムレータ回路４３が加算処理を行ってもよい。

第一積和演算ユニット４７１と、第二積和演算ユニット４７２と、第三積和演算ユニット４７３とは、カスケード接続されていなくてもよい。その場合、加算器４７Ａやアキュムレータ回路４３が積和演算ユニット４７の出力を加算する。

第四積和演算ユニット４７４と、第五積和演算ユニット４７５と、第六積和演算ユニット４７６とは、カスケード接続されていなくてもよい。その場合、加算器４７Ａやアキュムレータ回路４３が積和演算ユニット４７の出力を加算する。

第七積和演算ユニット４７７と、第八積和演算ユニット４７８と、第九積和演算ユニット４７９とは、カスケード接続されていなくてもよい。その場合、加算器４７Ａやアキュムレータ回路４３が積和演算ユニット４７の出力を加算する。

図１３は、入力レジスタ４９と積和演算ユニット４７との接続を示す図である。
第一入力レジスタ４９ａに格納されたラインデータＬ（ｙ）において、要素ａ（ｘ，ｙ，ｃｉ）が第一積和演算ユニット４７１に入力され、要素ａ（ｘ＋１，ｙ，ｃｉ）が第二積和演算ユニット４７２に入力され、要素ａ（ｘ＋２，ｙ，ｃｉ）が第三積和演算ユニット４７３に入力される。

第二入力レジスタ４９ｂに格納されたラインデータＬ（ｙ＋１）において、要素ａ（ｘ，ｙ＋１，ｃｉ）が第四積和演算ユニット４７４に入力され、要素ａ（ｘ＋１，ｙ＋１，ｃｉ）が第五積和演算ユニット４７５に入力され、要素ａ（ｘ＋２，ｙ＋１，ｃｉ）が第六積和演算ユニット４７６に入力される。

第三入力レジスタ４９ｃに格納されたラインデータＬ（ｙ＋２）において、要素ａ（ｘ，ｙ＋２，ｃｉ）が第七積和演算ユニット４７７に入力され、要素ａ（ｘ＋１，ｙ＋２，ｃｉ）が第八積和演算ユニット４７８に入力され、要素ａ（ｘ＋２，ｙ＋２，ｃｉ）が第九積和演算ユニット４７９に入力される。

図１４は、データをシフトした入力レジスタ４９と積和演算ユニット４７との接続を示す図である。第一入力レジスタ４９ａと、第二入力レジスタ４９ｂと、第三入力レジスタ４９ｃと、は連続するシフトレジスタとして機能する。左シフトにより第三入力レジスタ４９ｃから出力されたデータは、第二入力レジスタ４９ｂに入力される。左シフトにより第二入力レジスタ４９ｂから出力されたデータは、第一入力レジスタ４９ａに入力される。

図１４にラインデータＬは、図１３に示すラインデータＬと比べて、要素１個分だけ左シフトしている（左シフト量ｓｈｔ＝１）。第一入力レジスタ４９ａには、ラインデータＬ（ｙ＋１）の先頭の１要素が入力される。第二入力レジスタ４９ｂには、ラインデータＬ（ｙ＋２）の先頭の１要素が入力される。第三入力レジスタ４９ｃには、ラインデータＬ（ｙ＋３）の先頭の１要素が入力される。

ラインデータＬが要素１個分だけ左シフトすることで（左シフト量ｓｈｔ＝１）、積和演算ユニット４７に入力される分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）の要素が切り替わる。

図１４に示すように、第一入力レジスタ４９ａに格納されたラインデータＬ（ｙ）が要素１個分だけ左シフトすることで、要素ａ（ｘ＋１，ｙ，ｃｉ）が第一積和演算ユニット４７１に入力され、要素ａ（ｘ＋２，ｙ，ｃｉ）が第二積和演算ユニット４７２に入力され、要素ａ（ｘ＋３，ｙ，ｃｉ）が第三積和演算ユニット４７３に入力される。

図１４に示すように、第二入力レジスタ４９ｂに格納されたラインデータＬ（ｙ＋１）が要素１個分だけ左シフトすることで、要素ａ（ｘ＋１，ｙ＋１，ｃｉ）が第四積和演算ユニット４７４に入力され、要素ａ（ｘ＋２，ｙ＋１，ｃｉ）が第五積和演算ユニット４７５に入力され、要素ａ（ｘ＋３，ｙ＋１，ｃｉ）が第六積和演算ユニット４７６に入力される。

図１４に示すように、第三入力レジスタ４９ｃに格納されたラインデータＬ（ｙ＋２）が要素１個分だけ左シフトすることで、要素ａ（ｘ＋１，ｙ＋２，ｃｉ）が第七積和演算ユニット４７７に入力され、要素ａ（ｘ＋２，ｙ＋２，ｃｉ）が第八積和演算ユニット４７８に入力され、要素ａ（ｘ＋３，ｙ＋２，ｃｉ）が第九積和演算ユニット４７９に入力される。

このように、第一入力レジスタ４９ａと、第二入力レジスタ４９ｂと、第三入力レジスタ４９ｃとに格納されるラインデータＬをデータシフトすることにより、積和演算ユニット４７に入力される分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）の要素を切り替えることができる。積和演算ユニットアレイ４２Ａは、ラインデータＬを一要素分左シフトするごとに、加算結果Ｏ（ｘ＋ｉ，ｙ＋ｊ，ｄｉ）を出力する。

図１５は、要素３２個分だけ左シフトした入力レジスタ４９と積和演算ユニット４７との接続を示す図である（左シフト量ｓｈｔ＝３２）。
データシフトにより、第一入力レジスタ４９ａにはラインデータＬ（ｙ＋１）が入力され、第二入力レジスタ４９ｂにはラインデータＬ（ｙ＋２）が入力され、第三入力レジスタ４９ｃにはラインデータＬ（ｙ＋２）が入力される。

ラインデータＬ（ｙ＋１）が第一入力レジスタ４９ａに格納されることで、要素ａ（ｘ，ｙ＋１，ｃｉ）が第一積和演算ユニット４７１に入力され、要素ａ（ｘ＋１，ｙ＋１，ｃｉ）が第二積和演算ユニット４７２に入力され、要素ａ（ｘ＋２，ｙ＋１，ｃｉ）が第三積和演算ユニット４７３に入力される。

ラインデータＬ（ｙ＋２）が第二入力レジスタ４９ｂに格納されることで、要素ａ（ｘ，ｙ＋２，ｃｉ）が第四積和演算ユニット４７４に入力され、要素ａ（ｘ＋１，ｙ＋２，ｃｉ）が第五積和演算ユニット４７５に入力され、要素ａ（ｘ＋２，ｙ＋２，ｃｉ）が第六積和演算ユニット４７６に入力される。

ラインデータＬ（ｙ＋３）が第三入力レジスタ４９ｃに格納されることで、要素ａ（ｘ，ｙ＋３，ｃｉ）が第七積和演算ユニット４７７に入力され、要素ａ（ｘ＋１，ｙ＋３，ｃｉ）が第八積和演算ユニット４７８に入力され、要素ａ（ｘ＋２，ｙ＋３，ｃｉ）が第九積和演算ユニット４７９に入力される。

このように、乗算に必要な分割入力データａ（ｘ＋ｉ，ｙ＋ｊ，ｃｏ）の要素ａをラインデータＬとして積和演算ユニットアレイ４２Ａに順次入力する。積和演算ユニットアレイ４２Ａは、ラインデータＬを一要素分左シフトするごとに、加算結果Ｏ（ｘ＋ｉ，ｙ＋ｊ，ｄｉ）を出力する。

図１６は、入力レジスタ４９と積和演算ユニット４７との他の接続態様を示す図である。
第一入力レジスタ４９ａから積和演算ユニット４７に出力される要素は、ｘ軸方向に連続する要素でなくてもよい。図１６に示すように、第一入力レジスタ４９ａから積和演算ユニット４７に出力される要素は、例えばｘ軸方向に連続する２要素ごとに１要素を飛ばして選択した要素を出力してもよい。

また、入力レジスタ４９は、スイッチまたはマルチプレクサ（以降、「選択部」という）により任意に選択した要素を出力してもよい。選択部は、制御回路４６などにより制御される。つまり、選択部によって、入力レジスタ４９に保持された複数の要素ａに対して畳み込み演算を行う場合に、フィルタのサイズや種類などに応じて適宜演算対象を選択することができる。また、入力レジスタ４９と積和演算ユニット４７を選択的に接続可能な接続部を備えることにより、入力レジスタ４９に入力される要素ａの個数がレイヤや部分テンソルごとに変化する場合や、入力レジスタ４９に入力可能な最大幅と第一メモリ１に格納されている入力データａの個数に差がある場合でも、接続を適宜変更することによって対応することができる。

入力レジスタ４９に入力する複数のラインデータＬは、ｘｙ軸平面におけるｙ軸方向に連続するラインデータでなくてもよい。入力レジスタ４９に入力する複数のラインデータＬは、ｙ軸方向に所定のライン数分だけ離れたラインデータであってもよい。

図１７は、アキュムレータ回路４３の内部ブロック図である。
アキュムレータ回路４３は、乗算器４２の積和演算結果Ｏ（ｄｉ）を第二メモリ２にアキュムレートする。アキュムレータ回路４３は、Ｂｄ個のアキュムレータユニット４８を有し、Ｂｄ個の積和演算結果Ｏ（ｄｉ）を並列して第二メモリ２にアキュムレートできる。

図１８は、アキュムレータユニット４８の内部ブロック図である。
アキュムレータユニット４８は、加算器４８ａと、マスク部４８ｂとを有している。加算器４８ａは、積和演算結果Ｏの要素Ｏ（ｄｉ）と、第二メモリ２に格納された式１に示す畳み込み演算の途中経過である部分和と、を加算する。加算結果は、要素あたり１６ビットである。加算結果は、要素あたり１６ビットに限定されず、例えば要素あたり１５ビットや１７ビットであってもよい。

加算器４８ａは、加算結果を第二メモリ２の同一アドレスに書き込む。マスク部４８ｂは、初期化信号ｃｌｅａｒがアサートされた場合に、第二メモリ２からの出力をマスクし、要素Ｏ（ｄｉ）に対する加算対象をゼロにする。初期化信号ｃｌｅａｒは、第二メモリ２に途中経過の部分和が格納されていない場合にアサートされる。

乗算器４２およびアキュムレータ回路４３による畳み込み演算が完了すると、第二メモリに、出力データｆ（ｘ，ｙ，ｄｏ）が格納される。

ステートコントローラ４４は、乗算器４２およびアキュムレータ回路４３のステートを制御する。また、ステートコントローラ４４は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ４４は、命令キュー４５と制御回路４６とを有する。

命令キュー４５は、畳み込み演算回路４用の命令コマンドＣ４が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー４５には、内部バスＩＢ経由で命令コマンドＣ４が書き込まれる。

制御回路４６は、命令コマンドＣ４をデコードし、命令コマンドＣ４に基づいて乗算器４２およびアキュムレータ回路４３を制御するステートマシンである。制御回路４６は、ＤＭＡＣ３のステートコントローラ３２の制御回路３４と同様の構成である。

［量子化演算回路５］
図１９は、量子化演算回路５の内部ブロック図である。
量子化演算回路５は、量子化パラメータメモリ５１と、ベクトル演算回路５２と、量子化回路５３と、ステートコントローラ５４と、を有する量子化演算回路５は、ベクトル演算回路５２および量子化回路５３に対する専用のステートコントローラ５４を有しており、命令コマンドが入力されると、外部のコントローラを必要とせずに量子化演算を実施できる。

量子化パラメータメモリ５１は、量子化演算に用いる量子化パラメータｑが格納されるメモリであり、例えばＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などで構成された揮発性のメモリ等の書き換え可能なメモリである。ＤＭＡＣ３は、ＤＭＡ転送により、量子化演算に必要な量子化パラメータｑを量子化パラメータメモリ５１に書き込む。

図２０は、ベクトル演算回路５２と量子化回路５３の内部ブロック図である。
ベクトル演算回路５２は、第二メモリ２に格納された出力データｆ（ｘ，ｙ，ｄｏ）に対して演算を行う。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７を有し、出力データｆ（ｘ，ｙ，ｄｏ）に対して並列にＳＩＭＤ演算を行う。

図２１は、演算ユニット５７のブロック図である。
演算ユニット５７は、例えば、ＡＬＵ５７ａと、第一セレクタ５７ｂと、第二セレクタ５７ｃと、レジスタ５７ｄと、シフタ５７ｅと、を有する。演算ユニット５７は、公知の汎用ＳＩＭＤ演算回路が有する他の演算器等をさらに有してもよい。

ベクトル演算回路５２は、演算ユニット５７が有する演算器等を組み合わせることで、出力データｆ（ｘ，ｙ，ｄｏ）に対して、量子化演算層２２０におけるプーリング層２２１や、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層２２２や、活性化関数層２２３の演算のうち少なくとも一つの演算を行う。

演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより加算できる。演算ユニット５７は、ＡＬＵ５７ａによる加算結果をレジスタ５７ｄに格納できる。演算ユニット５７は、第一セレクタ５７ｂの選択によりレジスタ５７ｄに格納されたデータに代えて「０」をＡＬＵ５７ａに入力することで加算結果を初期化できる。例えばプーリング領域が２×２である場合、シフタ５７ｅはＡＬＵ５７ａの出力を２ｂｉｔ右シフトすることで加算結果の平均値を出力できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式２に示す平均プーリングの演算を実施できる。

演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより比較できる。
演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて第二セレクタ５７ｃを制御して、レジスタ５７ｄに格納されたデータと要素ｆ（ｄｉ）の大きい方を選択できる。演算ユニット５７は、第一セレクタ５７ｂの選択により要素ｆ（ｄｉ）の取りうる値の最小値をＡＬＵ５７ａに入力することで比較対象を最小値に初期化できる。本実施形態において要素ｆ（ｄｉ）は１６ｂｉｔ符号付き整数であるので、要素ｆ（ｄｉ）の取りうる値の最小値は「０ｘ８０００」である。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式３のＭＡＸプーリングの演算を実施できる。なお、ＭＡＸプーリングの演算ではシフタ５７ｅは第二セレクタ５７ｃの出力をシフトしない。

演算ユニット５７は、レジスタ５７ｄに格納されたデータと第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）とをＡＬＵ５７ａにより減算できる。シフタ５７ｅはＡＬＵ５７ａの出力を左シフト（すなわち乗算）もしくは右シフト（すなわち除算）できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式４のＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎの演算を実施できる。

演算ユニット５７は、第二メモリ２から読み出した出力データｆ（ｘ，ｙ，ｄｏ）の要素ｆ（ｄｉ）と第一セレクタ５７ｂにより選択された「０」とをＡＬＵ５７ａにより比較できる。演算ユニット５７は、ＡＬＵ５７ａによる比較結果に応じて要素ｆ（ｄｉ）と予めレジスタ５７ｄに格納された定数値「０」のいずれかを選択して出力できる。ベクトル演算回路５２は、Ｂｄ個の演算ユニット５７による上記の演算等を繰り返すことで、式５のＲｅＬＵ演算を実施できる。

ベクトル演算回路５２は、平均プーリング、ＭＡＸプーリング、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、活性化関数の演算およびこれらの演算の組み合わせを実施できる。ベクトル演算回路５２は、汎用ＳＩＭＤ演算を実施できるため、量子化演算層２２０における演算に必要な他の演算を実施してもよい。また、ベクトル演算回路５２は、量子化演算層２２０における演算以外の演算を実施してもよい。

なお、量子化演算回路５は、ベクトル演算回路５２を有してなくてもよい。量子化演算回路５がベクトル演算回路５２を有していない場合、出力データｆ（ｘ，ｙ，ｄｏ）は量子化回路５３に入力される。

量子化回路５３は、ベクトル演算回路５２の出力データに対して、量子化を行う。量子化回路５３は、図２０に示すように、Ｂｄ個の量子化ユニット５８を有し、ベクトル演算回路５２の出力データに対して並列に演算を行う。

図２２は、量子化ユニット５８の内部ブロック図である。
量子化ユニット５８は、ベクトル演算回路５２の出力データの要素ｉｎ（ｄｉ）に対して量子化を行う。量子化ユニット５８は、比較器５８ａと、エンコーダ５８ｂと、を有する。量子化ユニット５８はベクトル演算回路５２の出力データ（１６ビット／要素）に対して、量子化演算層２２０における量子化層２２４の演算（式６）を行う。量子化ユニット５８は、量子化パラメータメモリ５１から必要な量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）を読み出し、比較器５８ａにより入力ｉｎ（ｄｉ）と量子化パラメータｑとの比較を行う。量子化ユニット５８は、比較器５８ａによる比較結果をエンコーダ５８ｂにより２ビット／要素に量子化する。式４におけるα(c)とβ(c)は、変数ｃごとに異なるパラメータであるため、α(c)とβ(c)を反映する量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）はｉｎ（ｄｉ）ごとに異なるパラメータである。

量子化ユニット５８は、入力ｉｎ（ｄｉ）を３つの閾値ｔｈ０，ｔｈ１，ｔｈ２と比較することにより、入力ｉｎ（ｄｉ）を４領域（例えば、ｉｎ≦ｔｈ０，ｔｈ０＜ｉｎ≦ｔｈ１，ｔｈ１＜ｉｎ≦ｔｈ２，ｔｈ２＜ｉｎ）に分類し、分類結果を２ビットにエンコードして出力する。量子化ユニット５８は、量子化パラメータｑ（ｔｈ０，ｔｈ１，ｔｈ２）の設定により、量子化と併せてＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎや活性化関数の演算を行うこともできる。

量子化ユニット５８は、閾値ｔｈ０を式４のβ(ｃ)、閾値の差（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を式４のα(ｃ)として設定して量子化を行うことで、式４に示すＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎの演算を量子化と併せて実施できる。（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を大きくすることでα(ｃ)を小さくできる。（ｔｈ１―ｔｈ０）および（ｔｈ２―ｔｈ１）を小さくすることで、α(c)を大きくできる。

量子化ユニット５８は、入力ｉｎ（ｄｉ）の量子化と併せて活性化関数のＲｅＬＵ演算を実施できる。例えば、量子化ユニット５８は、ｉｎ（ｄｉ）≦ｔｈ０およびｔｈ２＜ｉｎ（ｄｉ）となる領域では出力値を飽和させる。量子化ユニット５８は、出力が非線形とするように量子化パラメータｑを設定することで活性化関数の演算を量子化と併せて実施できる。

ステートコントローラ５４は、ベクトル演算回路５２および量子化回路５３のステートを制御する。また、ステートコントローラ５４は、内部バスＩＢを介してコントローラ６と接続されている。ステートコントローラ５４は、命令キュー５５と制御回路５６とを有する。

命令キュー５５は、量子化演算回路５用の命令コマンドＣ５が格納されるキューであり、例えばＦＩＦＯメモリで構成される。命令キュー５５には、内部バスＩＢ経由で命令コマンドＣ５が書き込まれる。

制御回路５６は、命令コマンドＣ５をデコードし、命令コマンドＣ５に基づいてベクトル演算回路５２および量子化回路５３を制御するステートマシンである。制御回路５６は、ＤＭＡＣ３のステートコントローラ３２の制御回路３４と同様の構成である。

量子化演算回路５は、Ｂｄ個の要素を持つ量子化演算出力データを第一メモリ１に書き込む。なお、ＢｄとＢｃの好適な関係を式１０に示す。式１０においてｎは整数である。

以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示した構成要素は適宜に組み合わせて構成することが可能である。

（変形例１）
本実施形態においては、重みｗのｘｙ軸平面において３ｘ３の９要素を９個の積和演算ユニット４７により乗算する例を示したが、演算対象の要素の数を増減することも可能である。例えば、要素の数を９個より少なくする場合には、入力レジスタ４９と積和演算ユニット４７の間の接続部を制御し、接続する個数を９個以下の任意の個数とすることで実現することができる。また要素が入力されない積和演算ユニット４７の出力を０または無効とする事によって積和演算ユニットアレイ４２Ａに含まれる積和演算ユニット４７の個数よりも少ない要素に対して積和演算を行うことができる。

また、要素の数を９個より多くする場合には、ｘｙ軸平面において重みｗを分割してサイズを３ｘ３以下とすることで実現することができる。具体的に一例として５ｘ５の２５要素を９個の積和演算ユニット４７により乗算する場合には、重みｗを３ｘ３、３ｘ２、２ｘ３、２x２の４つの分割重みに分割する。そして、それぞれの分割重みを用いて、順次第一メモリ１に格納された入力データａに対して演算を行い、演算結果をアキュムレータ回路４３などを用いて加算する。この様に、重みｗを一つの積和演算ユニットアレイ４２Ａに含まれる積和演算ユニット４７の個数よりも小さいサイズに重みを分割し、それぞれで積和演算をこないその後加算することによって積和演算ユニットアレイ４２Ａに含まれる積和演算ユニット４７の個数よりも多い要素に対して積和演算を行うことができる。

（変形例２）
上記実施形態において、第一メモリ１と第二メモリ２は別のメモリであったが、第一メモリ１と第二メモリ２の態様はこれに限定されない。第一メモリ１と第二メモリ２は、例えば、同一メモリにおける第一メモリ領域と第二メモリ領域であってもよい。

（変形例３）
例えば、上記実施形態に記載のＮＮ回路１００に入力されるデータは単一の形式に限定されず、静止画像、動画像、音声、文字、数値およびこれらの組み合わせで構成することが可能である。なお、ＮＮ回路１００に入力されるデータは、ＮＮ回路１００が設けられるエッジデバイスに搭載され得る、光センサ、温度計、Global Positioning System（GPS）計測器、角速度計測器、風速計などの物理量測定器における測定結果に限られない。周辺機器から有線または無線通信経由で受信する基地局情報、車両・船舶等の情報、天候情報、混雑状況に関する情報などの周辺情報や金融情報や個人情報等の異なる情報を組み合わせてもよい。

（変形例４）
ＮＮ回路１００が設けられるエッジデバイスは、バッテリー等で駆動する携帯電話などの通信機器、パーソナルコンピュータなどのスマートデバイス、デジタルカメラ、ゲーム機器、ロボット製品などのモバイル機器を想定するが、これに限られるものではない。Power on Ethernet（PoE）などでの供給可能なピーク電力制限、製品発熱の低減または長時間駆動の要請が高い製品に利用することでも他の先行例にない効果を得ることができる。例えば、車両や船舶などに搭載される車載カメラや、公共施設や路上などに設けられる監視カメラ等に適用することで長時間の撮影を実現できるだけでなく、軽量化や高耐久化にも寄与する。また、テレビやディスプレイ等の表示デバイス、医療カメラや手術ロボット等の医療機器、製造現場や建築現場で使用される作業ロボットなどにも適用することで同様の効果を奏することができる。

（変形例５）
ＮＮ回路１００は、ＮＮ回路１００の一部または全部を一つ以上のプロセッサを用いて実現してもよい。例えば、ＮＮ回路１００は、入力層または出力層の一部または全部をプロセッサによるソフトウェア処理により実現してもよい。ソフトウェア処理により実現する入力層または出力層の一部は、例えば、データの正規化や変換である。これにより、様々な形式の入力形式または出力形式に対応できる。なお、プロセッサで実行するソフトウェアは、通信手段や外部メディアを用いて書き換え可能に構成してもよい。

（変形例６）
ＮＮ回路１００は、ＣＮＮ２００における処理の一部をクラウド上のGraphics Processing Unit（GPU）等を組み合わせることで実現してもよい。ＮＮ回路１００は、ＮＮ回路１００が設けられるエッジデバイスで行った処理に加えて、クラウド上でさらに処理を行ったり、クラウド上での処理に加えてエッジデバイス上で処理を行ったりすることで、より複雑な処理を少ないリソースで実現できる。このような構成によれば、ＮＮ回路１００は、処理分散によりエッジデバイスとクラウドとの間の通信量を低減できる。

（変形例７）
ＮＮ回路１００が行う演算は、学習済みのＣＮＮ２００の少なくとも一部であったが、ＮＮ回路１００が行う演算の対象はこれに限定されない。ＮＮ回路１００が行う演算は、例えば畳み込み演算と量子化演算のように、２種類の演算を繰り返す学習済みのニューラルネットワークの少なくとも一部であってもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

本発明は、ニューラルネットワークの演算に適用することができる。

２００ 畳み込みニューラルネットワーク
１００ ニューラルネットワーク回路（ＮＮ回路）
１ 第一メモリ
２ 第二メモリ
３ ＤＭＡコントローラ（ＤＭＡＣ）
４ 畳み込み演算回路
４２ 乗算器（演算器アレイ）
４２Ａ 積和演算ユニットアレイ
４７ 積和演算ユニット
４３ アキュムレータ回路
５ 量子化演算回路
５２ ベクトル演算回路
５３ 量子化回路
６ コントローラ
６１ レジスタ

Claims (8)

1. 入力データと重みとに対して畳み込み演算を行う畳み込み演算回路を備え、
   前記入力データは、ｘ軸方向、ｙ軸方向およびｃ軸方向に要素を有する３次以上のテンソルであり、
   前記畳み込み演算回路は、前記入力データの要素を前記ｃ軸方向ごとに演算する演算器アレイを少なくとも一つ有し、
   前記演算器アレイは、前記入力データが入力される入力レジスタと、前記入力データの前記ｘ軸方向および前記ｙ軸方向の複数の要素を演算する積和演算ユニットアレイと、を有する、
   ニューラルネットワーク回路。
2. 前記入力レジスタに格納される前記入力データの要素数は、前記積和演算ユニットアレイが演算する前記入力データの要素数より多い、
   請求項１に記載のニューラルネットワーク回路。
3. 前記積和演算ユニットアレイは、前記入力データの要素を演算する積和演算ユニットを複数有し、
   前記入力レジスタに格納される前記入力データがシフトされることにより、前記積和演算ユニットに入力される前記入力データの要素が切り替わる、
   請求項１または請求項２に記載のニューラルネットワーク回路。
4. 前記積和演算ユニットアレイは、前記入力データの要素を演算する積和演算ユニットを複数有し、
   前記積和演算ユニットアレイは、前記積和演算ユニットに入力される前記入力データの要素を切り替える接続部をさらに有する、
   請求項１または請求項２に記載のニューラルネットワーク回路。
5. 複数の前記積和演算ユニットは、カスケード接続されている、
   請求項３または請求項４に記載のニューラルネットワーク回路。
6. 前記積和演算ユニットアレイは、９個の前記積和演算ユニットを有する、
   請求項３または請求項４に記載のニューラルネットワーク回路。
7. 前記畳み込み演算回路は、前記演算器アレイの積和演算結果を累積加算するアキュムレータ回路をさらに有する、
   請求項１から請求項６のいずれか一項に記載のニューラルネットワーク回路。
8. ｘ軸方向、ｙ軸方向およびｃ軸方向に要素を有する３次以上のテンソルである入力データを畳み込み演算する演算方法であって、
   前記入力データの要素を前記ｃ軸方向ごとに分割し、前記入力データの前記ｘ軸方向および前記ｙ軸方向の複数の要素を並列に演算する、
   ニューラルネットワーク演算方法。

Images