JP2021103521A - ニューラルネットワーク演算装置および方法 - Google Patents

Abstract

【課題】ニューラルハードウェアの電力と演算速度表現を改善することのできるニューラルネットワーク演算装置および方法を提供する。【解決手段】ニューラルネットワーク演算装置３０は、第１ニューラル回路および第２ニューラル回路を含む。第１ニューラル回路は、ニューラルネットワークアルゴリズムにおいて特徴パターン（ｐａｔｔｅｒｎ）が固定された少なくとも１つの演算層のニューラルネットワーク演算を実行するために使用される。第２ニューラル回路は、ニューラルネットワークアルゴリズムにおいて特徴パターンが固定されていない少なくとも１つの演算層のニューラルネットワーク演算を実行するために使用される。第１ニューラル回路の性能は、第２ニューラル回路よりも大きい。【選択図】図３

Description

本発明は、演算装置および方法に関するものであり、特に、ニューラルネットワーク演算装置および方法に関するものである。

現在の生活において、人工知能（Artificial Intelligence，AI）が異なる技術分野において幅広く応用されるようになり、認識、警告、操作支援等に応用されている。しかし、ＡＩが急速に発展したことによって、新しいタイプの様々なネットワークが生まれ、ハードウェア性能への要求も高まり続けている。人工知能発展の要求に応じるため、高効率人工知能の演算ハードウェアもまた、主な発展目的になっている。

さらに、人工知能を実現する演算ハードウェアは、主に、フォン・ノイマン（Von Neumann）構造により実現することができ、主に、メモリを介して重み値を保存し、処理ユニットを使用して入力信号を処理し、メモリの重み値にアクセスして演算結果を生成することによって、ニューラル演算を行う。処理ユニットが演算を行うには、いずれもメモリから重み値情報にアクセスする必要があるため、電力を大幅に消費して演算の遅延をもたらし、フォン・ノイマン構造がフォン・ノイマン・ボトルネック（Von Neumann Bottleneck）となって、ニューラルハードウェアの電力と演算速度表現が制限される。

本発明は、ニューラルハードウェアの電力と演算速度表現を改善することのできるニューラルネットワーク演算装置および方法を提供する。

本発明の１つの実施形態において、第１ニューラル回路および第２ニューラル回路を含むニューラルネットワーク演算装置を提供する。第１ニューラル回路は、ニューラルネットワークアルゴリズムにおいて特徴パターン（pattern）が固定された少なくとも１つの演算層のニューラルネットワーク演算を実行するために使用される。第２ニューラル回路は、ニューラルネットワークアルゴリズムにおいて特徴パターンが固定されていない少なくとも１つの演算層のニューラルネットワーク演算を実行するために使用される。第１ニューラル回路の性能は、第２ニューラル回路よりも大きい。

本発明の１つの実施形態において、第１ニューラル回路および第２ニューラル回路を内蔵したニューラルネットワーク演算装置に適用するニューラルネットワーク演算方法を提供する。第１ニューラル回路の性能は、第２ニューラル回路よりも大きい。前記方法は、第１ニューラル回路を使用して、ニューラルネットワークアルゴリズムにおいて特徴パターンが固定された少なくとも１つの演算層のニューラルネットワーク演算を実行するステップと、第２ニューラル回路を使用して、ニューラルネットワークアルゴリズムにおいて特徴パターンが固定されていない少なくとも１つの演算層のニューラルネットワーク演算を実行するステップと、を含む。

本発明の実施形態のニューラルネットワーク演算装置および方法は、それが実行する演算の特徴パターンに基づいて、ニューラルネットワークを２つの部分に分ける。特徴パターンが固定された特定の演算層のニューラルネットワーク演算については、性能の高いニューラル回路を使用して実行するが、特徴パターンが固定されていないその他の演算層については、性能は低いが弾性の高いニューラル回路を使用して実行するため、ニューラルハードウェアの電力および演算速度表現を改善することができる。

本発明の上記および他の目的、特徴、および利点をより分かり易くするため、図面と併せた幾つかの実施形態を以下に説明する。

添付図面は、本発明の原理がさらに理解されるために含まれており、本明細書に組み込まれ、且つその一部を構成するものである。図面は、本発明の実施形態を例示しており、説明とともに、本発明の原理を説明する役割を果たしている。

本発明の１つの実施形態に係るニューラルネットワークアーキテクチャの概略図である。 本発明の１つの実施形態に係るニューラルネットワークの転移学習の概略図である。 本発明の１つの実施形態に係るニューラルネットワーク演算装置のブロック図である。 本発明の１つの実施形態に係るニューラルネットワーク演算方法のフロー図である。 本発明の１つの実施形態に係るニューラル回路の概略図である。 本発明の１つの実施形態に係るニューラルネットワーク演算方法のフロー図である。 本発明の１つの実施形態に係るニューラルネットワーク演算方法のフロー図である。

本発明の実施形態は、半導体プロセスの方法で領域特定を実現する人工知能（Artificial Intelligence, AI）のニューラルネットワーク（Neural network）演算装置を提供する。メモリ内計算（Computing in memory, CIM）および転移学習（Transfer learning）の方法に基づいて、本発明の実施形態は、性能の高いニューラル回路を使用して、ニューラルネットワークにおいて特徴パターンが固定された（例えば、構造と重み値を更新する必要がない）特定の演算層のニューラルネットワーク演算を実行してから、性能は低いが弾性の高いニューラル回路を合わせて、ニューラルネットワークにおいて特徴パターンが固定されていない（例えば、構造と重み値を更新する必要がある）その他の演算層のニューラルネットワーク演算を実行する。そのため、演算リソースに限りのあるエッジデバイスにおいて、ニューラルネットワークを使用して映像／音声等の信号の認識を実現することができる。

図１は、本発明の１つの実施形態に係るニューラルネットワークアーキテクチャの概略図である。図１を参照すると、本実施形態のニューラルネットワーク１が畳み込みニューラルネットワーク（Convolution neural network, CNN）である場合を例とすると、畳み込みニューラルネットワークは、認識対象信号２の処理に対し、機能に基づいて、前処理、調整、特徴抽出、接続、決定等の複数の段階に分ける。ここで、認識対象信号２は、例えば、音声、映像等のセンサにより測定して得られたセンサ信号であり、前処理段階において、例えば、前処理回路により信号増幅、フィルタリング、ノイズ抑制、補償、デジタル−アナログ変換、アナログ特徴抽出等の前処理を行って、ニューラルネットワーク１の入力を生成する。

調整段階において、ニューラルネットワーク１は、例えば、様々な適応（adaptation）技術を応用して、後続の特徴抽出に適するよう、特徴の変化を調整する、または減少させる。

特徴抽出段階において、ニューラルネットワーク１は、例えば、複数の畳み込み層、プーリング（pooling）層で構成された特徴抽出装置を使用して、調整後の入力データに対して特徴抽出を行う。畳み込み層は、例えば、複数の入力から成る入力画像上で、異なる畳み込みカーネル（kernel）を移動させて畳み込み演算を行い、１組の特徴マップ（feature map）を取得する。プーリング層は、例えば、非線形プーリング関数を使用して、入力画像に対してダウンサンプリングを行い、パラメータの数と計算量を減らす。いくつかの実施形態において、プーリング層は、さらに、畳み込み層の物体辺縁に対する敏感性を減らすことができる。

特徴抽出のいくつか前の層において、ニューラルネットワーク１は、例えば、点、線、円、または多角形等の固定された特徴パターン（pattern）を採用して入力データの特徴を抽出する。これらの特徴は、通常、認識対象物体に特定されないが、後続の認識した物体に対する特定の特徴抽出の基礎とすることができる。顔認識を例に挙げると、まず、顔部分のライン、輪郭、または形状等の簡単な特徴を抽出することによって、後続の目、鼻、口等の特定部位の特徴抽出を行うのに有利になる。

接続段階において、ニューラルネットワーク１は、例えば、１つまたは複数の完全接続（fully connected）層で構成された分類器を１層前の演算層（例えば、特徴抽出装置の最後の１層の畳み込み層）と接続して、前方の特徴抽出装置が抽出した全ての特徴の重み値を受信し、後続の分類を行う。

決定段階において、ニューラルネットワーク１は、例えば、上述した完全接続層で構成された分類器により、接続段階で受信した特徴重み値に対し、ソフトマックス関数（softmax function）等の非線形関数を使用して個別の特徴の確率（各特徴の出力は０と１の間であり、且つ出力の総和は１である）を計算し、最後に、出力層により、分類器が計算した各特徴の確率に基づいて、投票により最終の認識結果を決定して出力する。上述した認識結果は、例えば、認識対象信号２が各分類に属する確率であり、認識対象信号２がどの分類に属するのか（例えば、確率の最も大きいものはどれか）を表示することができる。

図２は、本発明の１つの実施形態に係るニューラルネットワークの転移学習の概略図である。図２を参照すると、本実施形態は、図１のニューラルネットワーク１を例に挙げて、転移学習の概念について説明する。

まず、入力データの種類および認識対象の分類に基づいて、ニューラルネットワーク１の演算層アーキテクチャ（例えば、調整段階で応用する入力層、特徴抽出段階、接続段階、および決定段階で応用する複数の隠れ層、および決定段階の結果を出力するための出力層を含む）を決定し、ニューラルネットワーク１を確立するとともに、ランダム方式を採用して、各演算層における複数の節点の重み値を生成する。

続いて、映像認識データベース（例えば、イメージネット（ImageNet））から取得した複数の画像およびそれに対応する分類結果をトレーニングデータ３としてニューラルネットワーク１に送信してトレーニングを行い、トレーニングされたニューラルネットワーク１ａを取得する。このニューラルネットワーク１ａの各演算層における節点の重み値は、既にトレーニングデータを学習することにより更新されている。ニューラルネットワーク１ａの複数の演算層は、それが演算した特徴パターンに基づいて、特徴パターンが固定されたニューラルネットワーク演算を実行するための演算層集合１２と、特徴パターンが固定されていないニューラルネットワーク演算を実行するための演算層集合１４とに分けることができる。

その後、新しいトレーニングデータ４および新しい分類をニューラルネットワーク１ａに導入して、再度ニューラルネットワーク１ａをトレーニングし、新しいニューラルネットワーク１ｂを生成する。トレーニング過程では、演算層集合１２において各演算層が認識した特徴パターンに基づいて固定するため、その中の節点の重み値を更新する必要がなく、演算層集合１４の複数の演算層に対してのみ構造調整および／または重み値更新を行うことができる。例を挙げて説明すると、ニューラルネットワーク１ｂにおいて、新しい分類に対し、調整後の演算層集合１６における出力層の節点数は、３個増加されて５個になり、且つ各演算層の節点の重み値も新しいトレーニングデータ３を学習することにより更新される。

動物画像の認識を例に挙げて説明すると、入力層の入力は、パターンの全ての画素点であり、第１層の畳み込み層は、最も基礎的な図形、例えば、横線、直線、丸のような図形を判断し、第２層は、やや複雑な図形、例えば、多角形を判断し、第３層は、さらに複雑な図形を判断し、以下同様に判断を行う。このことからわかるように、前方のいくつかの層の特徴認識は、認識対象のターゲットと直接関係がないため、猫、犬、鳥、象、虎のどれを認識するかに関わらず、画素レベルの微小図形ではない。しかしながら、どのような図形であるかに関わらず、いずれも画素レベルの図形がまとまって形成されているため、前方のいくつかの層も極めて重要である。したがって、本発明の実施形態において、前方のいくつかの層を保留して、後方のいくつかの層を置換または更新した後、再度モデルのパラメータをトレーニングすることによって、新しく、且つ要求を満たしたモデルを取得することができる。新しいモデルに基づいて後方のいくつかの層をトレーニングするだけでよく、計算するパラメータが比較的少ないため、過剰適合（over-fitting）の問題が発生しにくい。

上述したニューラルネットワークアーキテクチャに基づき、本発明の実施形態は、メモリ内計算方式に基づくニューラルネットワーク演算装置アーキテクチャを提供する。図３は、本発明の１つの実施形態に係るニューラルネットワーク演算装置のブロック図である。図３を参照すると、本実施形態のニューラルネットワーク演算装置３０は、例えば、抵抗変化型メモリアーキテクチャを採用したニューラルネットワーク加速器、あるいはこの加速器における１つの処理エンジン（Processing engine, PE）であり、ディープラーニング（Deep learning, DL）に応用され、プロセッサ（例えば、中央処理装置）を補助してニューラルネットワーク演算を行うために使用される。上述したニューラルネットワーク演算は、例えば、積和（Multiply Accumulate, MAC）演算である。

ニューラルネットワーク演算装置３０は、第１ニューラル回路３２および第２ニューラル回路３４を含み、且つ第１ニューラル回路３２の性能は、第２ニューラル回路３４よりも大きい。いくつかの実施形態において、第１ニューラル回路３２は、例えば、読み出し専用メモリ（Read only memory，ROM）または電子ヒューズ（Efuse）メモリ等のワンタイムプログラミング（One-time programming, OTP）メモリである。第２ニューラル回路３４は、例えば、スタティックランダムアクセスメモリ（Static random access memory，SRAM）またはフラッシュ（flash）メモリ等のマルチタイムプログラミング（Multi-time programming，MTP）メモリである。その他の実施形態において、第１ニューラル回路３２および第２ニューラル回路３４は、その他の類型のメモリの組み合わせであってもよく、本発明はこれに限定されない。

いくつかの実施形態において、ニューラルネットワーク演算装置３０は、さらに、入力および出力データを一時的に保存するためのバッファ（buffer）、および非線形関数およびプーリング関数演算を支持するための演算回路（図示せず）を含むが、本発明はこれに限定されない。

図４は、本発明の１つの実施形態に係るニューラルネットワーク演算方法のフロー図である。図３および図４を同時に参照すると、本実施形態の方法は、図３のニューラルネットワーク演算装置３０に適用され、以下、ニューラルネットワーク演算装置３０における各素子を組み合わせて、本発明のニューラルネットワーク演算方法の詳細なステップについて説明する。

ステップＳ４０２において、ニューラルネットワーク演算装置３０は、第１ニューラル回路３２を使用して、ニューラルネットワークアルゴリズムにおいて特徴パターンが固定された少なくとも１つの演算層のニューラルネットワーク演算を実行する。上述した固定された特徴パターンは、認識対象物体に特定されない点、線、円、または多角形を含むが、本発明はこれに限定されない。第１ニューラル回路３２は、例えば、ニューラルネットワークアルゴリズムにおいて特徴学習を担当する演算層の演算、またはその他の認識したい対象と直接関係のない演算層の演算を行うために使用される。

いくつかの実施形態において、ニューラルネットワーク演算装置３０は、例えば、まず、入力信号に対して信号増幅、フィルタリング、ノイズ抑制、補償、アナログ−デジタル変換、アナログ特徴抽出等の前処理を行って、第１ニューラル回路３２の入力（例えば、図１の前処理段階における処理に対応する）を生成する。

いくつかの実施形態において、第１ニューラル回路３２は、互いに交差して配置された複数の入力線および複数の出力線、それぞれ入力線と出力線の複数の交点に配置され、且つニューラルネットワーク演算の複数の重み値を保存する複数の記憶ユニット、およびそれぞれ出力線に接続された複数のセンサアンプを含むメモリ内計算（Computing in memory, CIM）アーキテクチャを採用する。

図５は、本発明の１つの実施形態に係るニューラル回路の概略図である。図５を参照すると、本実施形態は、図３の第１ニューラル回路３２のアーキテクチャおよび操作方法を説明したものである。第１ニューラル回路３２は、交差して配置された複数の入力線および複数の出力線を含むクロスバーアレイ（crossbar array）のアーキテクチャを採用する。これらの入力線および出力線は、例えば、メモリ回路のワード線およびビット線であり、列デコーダおよび行デコーダの制御により、ニューラルネットワーク演算の入力Ｉ₁〜入力線に送信することができるが、本発明はこれに限定されない。

入力線および出力線の各交点において記憶ユニットを配置し、この記憶ユニットは、例えば、入力線の制御によりニューラルネットワーク演算の重み値（例えば、図示した重み値Ｒ₁₁〜Ｒ_mn、ｍ、ｎは正の整数）を保存して、対応する出力電流または等価抵抗をイネーブルにする、または起動時に生成することのできる読み出し専用メモリ（Read only memory, ROM）または電子ヒューズ（Efuse）等の半導体素子を採用する。

記憶ユニットは、ｎ列とｍ行に分けられ、各行の記憶ユニットは、共に１本の入力線に接続され、ニューラルネットワーク演算の入力Ｉ₁〜Ｉ_mを受信して、前記行記憶ユニットの電流の大きさまたは等価抵抗を制御する。各記憶ユニットは、例えば、接続された入力線の入力に対して乗法演算を行い、接続された出力線に乗積を出力する（例えば、入力電圧は、保存した抵抗値に対応するコンダクタンスの作用により、出力電流を生成する）。各列の記憶ユニットは、共に１本の出力線に接続され、出力線は、接続された記憶ユニットが出力した乗積を累加して、出力Ｏ₁〜Ｏ_ｎを生成する（例えば、各記憶ユニットが出力した電流を集めて、出力電流を生成する）。

センサアンプＳＡ₁〜ＳＡ_ｎは、それぞれ出力線に接続され、接続された記憶ユニットが出力した乗積を出力線が累加して得られる出力Ｏ₁〜Ｏ_ｎを感知するために使用され、次の演算層の入力として使用される。

いくつかの実施形態において、ニューラルネットワーク演算装置３０は、例えば、第１ニューラル回路３２において複数の演算層のニューラルネットワーク演算を実行した時、互いに隣接する演算層の間に出力結果を調整することのできる１つの調整回路（図示せず）を追加し、この調整回路は、それぞれセンサアンプＳＡ₁〜ＳＡ_ｎに接続または配置され、調整後の出力が次の演算層の入力として適するよう、センサアンプＳＡ₁〜ＳＡ_ｎが感知した出力のゲイン（gain）およびバイアス（bias）を調整するために使用することができる。

図６は、本発明の１つの実施形態に係るニューラルネットワーク演算方法のフロー図である。図５および図６を同時に参照すると、本実施形態の方法は、図５の第１ニューラル回路３２に適用され、以下、第１ニューラル回路３２における各素子を組み合わせて、本発明のニューラルネットワーク演算方法の詳細なステップについて説明する。

ステップＳ６０２において、ニューラルネットワーク演算装置３０により、ニューラルネットワーク演算の複数の入力Ｉ₁〜Ｉ_mをそれぞれ第１ニューラル回路３２の入力線に入力する。

ステップＳ６０４において、第１ニューラル回路３２の記憶ユニットにより、接続された入力線の入力Ｉ₁〜Ｉ_mに対して乗法演算を行い、接続された出力線に乗積を出力する。

ステップＳ６０６において、第１ニューラル回路３２のセンサアンプＳＡ₁〜ＳＡ_ｎにより、接続された記憶ユニットが出力した乗積を出力線が累加して得られる出力Ｏ_1〜Ｏ_ｎを感知する。

ステップＳ６０８において、第１ニューラル回路３２の調整回路により、調整後の出力が次の演算層の入力として適するよう、センサアンプＳＡ₁〜ＳＡ_ｎが感知した出力のゲインとバイアスを調整する。

出力結果を適切に調整することにより、１層下の演算層の特性または要求に符合させることができ、ハードウェアアーキテクチャを大幅に変更しなくても、より優れた正確性特性を実現することができる。

図４のフローに戻ると、ステップＳ４０４において、ニューラルネットワーク演算装置３０は、第２ニューラル回路３４を使用して、ニューラルネットワークアルゴリズムにおいて特徴パターンが固定されていない少なくとも１つの演算層のニューラルネットワーク演算を実行する。つまり、第２ニューラル回路３４は、例えば、ニューラルネットワークアルゴリズムにおいて分類を担当する演算層の演算、または認識対象が異なるために修正を必要とするその他の演算層の演算を行うために使用される。

第１ニューラル回路３２と同様に、第２ニューラル回路３４もメモリ内計算演算アーキテクチャ（図５に示す）を採用するが、第１ニューラル回路３２と異なるのは、第２ニューラル回路３４における記憶ユニットが、スタティックランダムアクセスメモリ（Static random access memory，SRAM）またはフラッシュ（flash）等の半導体素子を採用することである。第１ニューラル回路３２の記憶ユニットと相対させて説明すると、性能は低いが比較的高い弾性を有するため、新しい入力データに対応して、演算層のアーキテクチャを適応的に調整し、各演算層における節点の重み値を更新することができる。

図７は、本発明の１つの実施形態に係るニューラルネットワーク演算方法のフロー図である。図３および図７を参照すると、本実施形態の方法は、図３の第２ニューラル回路３４に適用され、第２ニューラル回路３４は、図５に示した第１ニューラル回路３２のアーキテクチャを採用する。

ステップＳ７０２において、ニューラルネットワーク演算装置３０は、ニューラルネットワーク演算の複数の入力をそれぞれ第２ニューラル回路３４の入力線に入力する。

ステップＳ７０４において、第２ニューラル回路３４の記憶ユニットは、接続された入力線の入力に対して乗法演算を行い、接続された出力線に乗積を出力する。

ステップＳ７０６において、第２ニューラル回路３４のセンサアンプにより、接続された記憶ユニットが出力した乗積を出力線が累加して得られる出力を感知する。

ステップＳ７０８において、第２ニューラル回路３４により、センサアンプが感知した出力に基づいて、演算層のアーキテクチャを調整する、または各記憶ユニットに保存した重み値を更新する。そのため、調整後の演算層は、新しい分類演算を支持することができ、且つより優れた認識正確性を有する。

いくつかの実施形態において、第２ニューラル回路３４は、出力に対してアナログ−デジタル変換、正規化、および活性化関数演算等の後処理を行うことにより、次の演算層の入力とすることができるが、本発明はこれに限定されない。

いくつかの実施形態において、第１ニューラル回路３２と同様に、第２ニューラル回路３４も、互いに隣接する演算層の間に出力結果を調整することのできる１つの調整回路を追加して、調整後の出力が次の演算層の入力として適するよう、センサアンプが感知した出力のゲインおよびバイアスを調整するために使用することができ、それにより、より優れた正確性を実現することができるが、本発明はこれに限定されない。

以上のように、本発明の実施形態のニューラルネットワーク演算装置および方法は、メモリ内計算および転移学習の利点を組み合わせ、実行する演算の特徴パターンに基づいて、ニューラルネットワークを２つの部分に分ける。特徴パターンが固定された特定の演算層のニューラルネットワーク演算については、性能の高いニューラル回路を使用して実行するが、特徴パターンが固定されていないその他の演算層については、性能は低いが弾性の高いニューラル回路を使用して実行するため、高性能、低コスト、且つ一定の弾性を有するＡＩ加速器チップ構造を実現することができ、端末（エッジ）またはクラウドのニューラルネットワーク加速器において運用することができる。

以上のごとく、この発明を実施形態により開示したが、もとより、この発明を限定するためのものではなく、当業者であれば容易に理解できるように、この発明の技術思想の範囲内において、適当な変更ならびに修正が当然なされうるものであるから、その特許権保護の範囲は、特許請求の範囲および、それと均等な領域を基準として定めなければならない。

本発明のニューラルネットワーク演算装置および方法は、メモリ装置、プロセッサ、およびその製造方法に応用することができる。

１、１ａ、１ｂ ニューラルネットワーク
２ 認識対象信号
３、４ トレーニングデータ
１２、１４、１６ 演算層集合
３０ ニューラルネットワーク演算装置
３２ 第１ニューラル回路
３４ 第２ニューラル回路
Ｉ₁〜Ｉ_m 入力
Ｒ₁₁〜Ｒ_mn 重み値
Ｏ₁〜Ｏ_n 出力
ＳＡ₁〜ＳＡ_n センサアンプ
Ｓ４０２〜Ｓ４０４、Ｓ６０２〜Ｓ６０８、Ｓ７０２〜Ｓ７０８ ステップ

Claims (20)

1. ニューラルネットワークアルゴリズムにおいて特徴パターン（pattern）が固定された少なくとも１つの演算層のニューラルネットワーク演算を実行する第１ニューラル回路と、
   前記ニューラルネットワークアルゴリズムにおいて特徴パターンが固定されていない少なくとも１つの演算層のニューラルネットワーク演算を実行する第２ニューラル回路と、
   を含み、前記第１ニューラル回路の性能が、前記第２ニューラル回路よりも大きいニューラルネットワーク演算装置。
2. 前記第１ニューラル回路が、ワンタイムプログラミング（One-time programming, OTP）メモリであり、前記第２ニューラル回路が、マルチタイムプログラミング（Multi-time programming, MTP）メモリである請求項１に記載のニューラルネットワーク演算装置。
3. 前記ワンタイムプログラミングメモリが、読み出し専用メモリ（Read only memory, ROM）または電子ヒューズ（Efuse）メモリである請求項１または２に記載のニューラルネットワーク演算装置。
4. 前記マルチタイムプログラミングメモリが、スタティックランダムアクセスメモリ（Static random access memory, SRAM）またはフラッシュ（flash）メモリである請求項２に記載のニューラルネットワーク演算装置。
5. 固定された前記特徴パターンが、認識対象物体に特定されない点、線、円、または多角形を含む請求項２に記載のニューラルネットワーク演算装置。
6. 入力信号に対して前処理を行い、前記第１ニューラル回路の複数の入力を生成する前処理回路をさらに含み、前記前処理が、信号増幅、フィルタリング、ノイズ抑制、補償、デジタル−アナログ変換、アナログ特徴抽出のうちの１つ、またはその組み合わせを含む請求項１〜５のいずれか１項に記載のニューラルネットワーク演算装置。
7. 前記第１ニューラル回路および前記第２ニューラル回路が、それぞれ、
   それぞれ前記ニューラルネットワーク演算の複数の入力を受信する複数の入力線、および前記複数の入力線と交差して配置された複数の出力線と、
   それぞれ前記入力線と前記出力線の複数の交点に配置され、前記ニューラルネットワーク演算の複数の重み値を保存し、接続された前記入力線の前記入力に対して乗法演算を行って、接続された前記出力線に乗積を出力するための複数の記憶ユニットと、
   それぞれ前記出力線に接続され、接続された前記記憶ユニットが出力した前記乗積を前記出力線が累加して得られる出力を感知するための複数のセンサアンプ（Sense amplifier, SA）と、
   を含む請求項１〜６のいずれか１項に記載のニューラルネットワーク演算装置。
8. 前記第１ニューラル回路および前記第２ニューラル回路が、さらに、
   それぞれ前記センサアンプに接続または配置され、調整後の前記出力が次の前記演算層の入力として適するよう、前記センサアンプが感知した前記出力のゲイン（gain）およびバイアス（bias）を調整するための複数の調整回路を含む請求項７に記載のニューラルネットワーク演算装置。
9. 前記ニューラルネットワーク演算が、積和（Multiply Accumulate, MAC）演算である請求項１〜８のいずれか１項に記載のニューラルネットワーク演算装置。
10. 第１ニューラル回路および第２ニューラル回路を内蔵したニューラルネットワーク演算装置に適用するニューラルネットワーク演算方法であって、前記第１ニューラル回路の性能が、前記第２ニューラル回路よりも大きく、前記方法が、
    前記第１ニューラル回路を使用して、前記ニューラルネットワークアルゴリズムにおいて特徴パターンが固定された少なくとも１つの演算層のニューラルネットワーク演算を実行するステップと、
    前記第２ニューラル回路を使用して、前記ニューラルネットワークアルゴリズムにおいて特徴パターンが固定されていない少なくとも１つの演算層のニューラルネットワーク演算を実行するステップと、
    を含む方法。
11. 前記第１ニューラル回路が、互いに交差して配置された複数の入力線および複数の出力線、それぞれ前記入力線と前記出力線の複数の交点に配置され、且つ前記ニューラルネットワーク演算の複数の重み値を保存する複数の記憶ユニット、およびそれぞれ前記出力線に接続された複数のセンサアンプを含み、前記第１ニューラル回路を使用して、前記ニューラルネットワークアルゴリズムにおいて特徴パターンが固定された少なくとも１つの演算層のニューラルネットワーク演算を実行する前記ステップが、
    前記ニューラルネットワーク演算の複数の入力を前記入力線に入力するステップと、
    前記記憶ユニットにより、接続された前記入力線の前記入力に対して乗法演算を行い、接続された前記出力線に乗積を出力するステップと、
    前記センサアンプにより、接続された前記記憶ユニットが出力した前記乗積を前記出力線が累加して得られる出力を感知するステップと、
    を含む請求項１０に記載の方法。
12. 前記第１ニューラル回路を使用して、前記ニューラルネットワークアルゴリズムにおいて特徴パターンが固定された少なくとも１つの演算層のニューラルネットワーク演算を実行するステップの前に、さらに、
    入力信号に対して前処理を行い、前記第１ニューラル回路の前記入力を生成するステップを含み、前記前処理が、信号増幅、フィルタリング、ノイズ抑制、補償、アナログ−デジタル変換、アナログ特徴抽出のうちの１つ、またはその組み合わせを含む請求項１０または１１に記載の方法。
13. 前記センサアンプにより、接続された前記記憶ユニットが出力した前記乗積を前記出力線が累加して得られる出力を感知するステップの後に、さらに、
    前記センサアンプが感知した前記出力に対して後処理を行うことにより、次の前記演算層の入力とするステップを含み、前記後処理が、アナログ−デジタル変換、正規化（normalization）、および活性化関数（activation function）演算のうちの１つ、またはその組み合わせを含む請求項１０〜１２のいずれか１項に記載の方法。
14. 前記後処理が、さらに、調整後の前記出力が次の前記演算層の入力として適するよう、前記センサアンプが感知した前記出力のゲインおよびバイアスを調整することを含む請求項１３に記載の方法。
15. 前記第２ニューラル回路が、互いに交差して配置された複数の入力線および複数の出力線、それぞれ前記入力線と前記出力線の複数の交点に配置され、且つ前記ニューラルネットワーク演算の複数の重み値を保存する複数の記憶ユニット、およびそれぞれ前記出力線に接続された複数のセンサアンプを含み、前記第２ニューラル回路を使用して、前記ニューラルネットワークアルゴリズムにおいて特徴パターンが固定されていない少なくとも１つの演算層のニューラルネットワーク演算を実行する前記ステップが、
    前記ニューラルネットワーク演算の複数の入力を前記入力線に入力するステップと、
    前記記憶ユニットにより、接続された前記入力線の前記入力に対して乗法演算を行い、接続された前記出力線に乗積を出力するステップと、
    前記センサアンプにより、接続された前記記憶ユニットが出力した前記乗積を前記出力線が累加して得られる出力を感知するステップと、
    感知した前記出力に基づいて、前記演算層のアーキテクチャを調整する、または各前記記憶ユニットに保存した前記重み値を更新するステップと、
    を含む請求項１０〜１２のいずれか１項に記載の方法。
16. 前記センサアンプにより、接続された前記記憶ユニットが出力した前記乗積を前記出力線が累加して得られる出力を感知するステップの後に、さらに、
    前記出力に対して後処理を行うことにより、次の前記演算層の入力とするステップを含み、前記後処理が、アナログ−デジタル変換、正規化、および活性化関数演算のうちの１つ、またはその組み合わせを含む請求項１５に記載の方法。
17. 前記後処理が、さらに、調整後の前記出力が次の前記演算層の入力として適するよう、前記センサアンプが感知した前記出力のゲインおよびバイアスを調整することを含む請求項１３に記載の方法。
18. 前記第１ニューラル回路が、ワンタイムプログラミングメモリであり、前記第２ニューラル回路が、マルチタイムプログラミングメモリであり、前記ワンタイムプログラミングメモリが、読み出し専用メモリまたは電子ヒューズメモリであり、前記マルチタイムプログラミングメモリが、スタティックランダムアクセスメモリまたはフラッシュメモリである請求項１０〜１７のいずれか１項に記載の方法。
19. 固定された前記特徴パターンが、認識対象物体に特定されない点、線、円、または多角形を含む請求項１０〜１８のいずれか１項に記載の方法。
20. 前記ニューラルネットワーク演算が、積和演算である請求項１０〜１９のいずれか１項に記載の方法。

Images