JP2022509754A - 改良されたスパイキングニューラルネットワーク - Google Patents

改良されたスパイキングニューラルネットワーク Download PDF

Info

Publication number
JP2022509754A
JP2022509754A JP2021524331A JP2021524331A JP2022509754A JP 2022509754 A JP2022509754 A JP 2022509754A JP 2021524331 A JP2021524331 A JP 2021524331A JP 2021524331 A JP2021524331 A JP 2021524331A JP 2022509754 A JP2022509754 A JP 2022509754A
Authority
JP
Japan
Prior art keywords
spike
spiking neuron
value
synapse
spiking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021524331A
Other languages
English (en)
Other versions
JPWO2020092691A5 (ja
Inventor
デル メイド，ピーター エージェイ ヴァン
シャムラオ マンカー，アニル
Original Assignee
ブレインチップ，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブレインチップ，インコーポレイテッド filed Critical ブレインチップ，インコーポレイテッド
Publication of JP2022509754A publication Critical patent/JP2022509754A/ja
Publication of JPWO2020092691A5 publication Critical patent/JPWO2020092691A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Memory System (AREA)
  • Error Detection And Correction (AREA)
  • Television Systems (AREA)
  • Feedback Control In General (AREA)

Abstract

Figure 2022509754000001
本明細書に開示されるのは、入力ストリームから特徴を学習し、教師なし抽出を実行するように構成された、改良されたスパイキングニューラルネットワーク（ＳＮＮ）のシステム、方法、及びコンピュータプログラム製品の実施形態が開示される。実施形態は、スパイキングニューロン回路に関連付けられた１組のシナプスに対応する１組のスパイクビットを受信することにより動作する。実施形態は、第１の論理ＡＮＤ関数を１組のスパイクビット内の第１のスパイクビット及び１組のシナプス内の第１のシナプスの第１のシナプス重みに適用する。実施形態は、適用することに基づいて、スパイキングニューロン回路に関連付けられたメンブレン電位値をインクリメントする。実施形態は、スパイキングニューロン回路に関連付けられたメンブレン電位値が学習閾値に達したと判断する。実施形態は次に、スパイキングニューロン回路のメンブレン電位値が学習閾値に達したとの判断に基づいて、スパイク時間依存可塑性（ＳＴＤＰ）学習関数を実行する。

Description

関連出願の相互参照
[0001] 本願は、２０１８年１１月１日付けで出願された「An Improved Spiking Neural Network」と題する米国仮特許出願第６２／７５４，３４８号の利益を主張するものであり、この仮特許出願は全体的に、参照により本明細書に援用される。
分野
[0002] 本手法は、一般的にはニューラル回路エンジニアリングに関し、より詳細には、低電力高密度自律学習人工ニューラルネットワークオンチップのシステム及び方法に関する。
背景
[0003] 人工ニューラルネットワークが生物学的神経回路網（脳）の機能を複製することが、長い間目標であったが、成功は限られてきた。人工ニューラルネットワークの設計へのブルートフォースハードウェア手法は、面倒で不適切であり、人間の脳の機能を複製するという所望の目標から遅れている。したがって、多種多様な可能な入力データ及び／又はセンサソースから高速で推論を行いながら、非常に大規模なネットワークにスケーリングすることができ、それでいてなおチップに収まることができる自律し再構成可能なスパイキングニューラルネットワークを実現できるようにする手法が必要とされている。
概要
[0004] 本明細書には、入力ストリームから特徴を学習し、教師なし抽出を実行するように構成された、改良されたスパイキングニューラルネットワーク（ＳＮＮ）のシステム、装置、製品、方法、及び／又はコンピュータプログラム製品の実施形態及び／又はその組合せ及び下位組合せが提供される。幾つかの実施形態は、スパイク変換器と、再構成可能神経線維と、メモリと、プロセッサとを備えたニューロモルフィック集積回路を含む。スパイク変換器は、入力データからスパイクを生成するように構成される。再構成可能神経線維は、複数のスパイキングニューロン回路を含むニューラルプロセッサを含む。スパイキングニューロン回路は、スパイク変換器から受信したスパイク及びニューラルネットワーク構成に基づいてタスクを実行するように構成される。メモリは、電位アレイ及び複数のシナプスを含むニューラルネットワーク構成を含む。ニューラルネットワーク構成は、複数のスパイキングニューロン回路と複数のシナプスとの間の接続を更に定義する。プロセッサは、構成ファイルに基づいてニューラルネットワーク構成を変更するように構成される。
[0005] 本明細書には、入力ストリームから特徴を学習し、教師なし抽出を実行する実施形態も記載される。幾つかの実施形態は、スパイキングニューロン回路において、１組のシナプスに対応する１組のスパイクビットを受信するように動作する。スパイキングニューロン回路は、論理ＡＮＤ関数を１組のスパイクビット内のスパイクビット及び１組のシナプス内のシナプスのシナプス重みに適用する。スパイキングニューロン回路は、論理ＡＮＤ関数の適用に基づいてメンブレン電位値をインクリメントする。次に、ニューラルプロセッサは、スパイキングニューロン回路に関連付けられたメンブレン電位値が学習閾値に達したと判断する。次に、ニューラルプロセッサは、スパイキングニューロン回路のメンブレン電位値が学習閾値に達したとの判断に基づいて、スパイク時間依存可塑性（ＳＴＤＰ）学習関数を実行する。
[0006] この概要は単に、本明細書に記載される趣旨の理解を提供するために幾つかの実施形態例を示す目的で提供されている。したがって、上記特徴は単なる例であり、本開示の趣旨の範囲又は精神を狭めるものとして解釈されるべきではない。本開示の他の特徴、態様、及び利点も以下の詳細な説明、図、及び特許請求の範囲から明かになろう。
図面の簡単な説明
[0007] 添付図面は、本明細書に組み込まれ、本明細書の一部をなす。
[0008]幾つかの実施形態によるニューラルモデルのブロック図である。 [0009]幾つかの実施形態によるニューロモルフィック集積回路のブロック図である。 [0010]幾つかの実施形態による図２Ａのニューロモルフィック集積回路のブロック図である。 [0011]幾つかの実施形態による、入力スパイクのバッファリング、パケット化、及び次の層への出力スパイクのバッファリングの流れ図である。 [0012]幾つかの実施形態によるスパイキング畳み込みニューラルプロセッサとして構成されたニューラルプロセッサのブロック図である。 [0013]幾つかの実施形態によるスパイキング全結合ニューラルプロセッサとして構成されたニューラルプロセッサのブロック図である。 [0014]幾つかの実施形態によるスパイクをスパイクパケットにパケット化する一例である。 [0015]幾つかの実施形態による図６Ａのスパイクパケットの表現例である。 [0016]幾つかの実施形態による、ビットがメンブレン電位カウンタをインクリメントするか、それともデクリメントするかを選択する方法の一例である。 [0017]幾つかの実施形態によるＳＴＤＰ学習法の重み交換ステップを示す。 [0018]幾つかの実施形態によるスパイキング畳み込みニューラルプロセッサで使用される畳み込み法を示す。 [0019]幾つかの実施形態による、深度１のピクセルの８×８行列における畳み込みの象徴的表現を示す。 [0020]幾つかの実施形態による、２つのスパイクチャネル、２つの３×３逆畳み込みカーネル、及び生成されるメンブレン電位値が関わる畳み込みの象徴的表現を示す。 [0021]幾つかの実施形態による図１１のチャネル１及びチャネル２のニューロンで生成されたスパイクを示す。 [0022]幾つかの実施形態によるスパイキングニューラルネットワーク畳み込み演算を示す。 [0023]幾つかの実施形態による入力画像に適用されている８つの方向フィルタニューロン畳み込みの結果を示す。 [0024]幾つかの実施形態によるＤＶＳスパイクベースの畳み込みとフレームベースの畳み込みとの類似性を示す。 [0025]幾つかの実施形態によるＹＡＭＬ構成ファイルの一例を示す。 [0026]幾つかの実施形態による、各スパイキングニューロン回路及びスパイキングニューロン回路の各層の構成及び接続を定義するスキャンチェーンを含む構成レジスタを示す。
[0027] 図面中、同様の参照符号は一般に同一又は同様の要素を示す。さらに、一般に、参照符号の左端の桁は、その参照符号が最初に現れた図面を識別する。
詳細な説明
[0028] 本明細書には、入力ストリームからの特徴を学習し、教師なし抽出を実行するように構成された、改良されたスパイキングニューラルネットワーク（ＳＮＮ）のシステム、装置、デバイス、方法、及び／又はコンピュータプログラム製品の実施形態及び／又はその組合せ及び下位組合せが提供される。本明細書における実施形態は、改良されたＳＮＮを提供するスタンドアロンニューロモルフィック集積回路を含む。ニューロモルフィック集積回路は幾つかの利点を提供する。第１に、ニューロモルフィック集積回路はサイズがコンパクトである。例えば、ニューロモルフィック集積回路は、シリコンダイ上にプロセッサ複合体、１つ又は複数のセンサインターフェース、１つ又は複数のデータインターフェース、スパイク変換器、及びメモリを集積する。これは、ハードウェア実装でのシリコンエリアの効率的な使用を可能にする。第２に、ニューロモルフィック集積回路は、ユーザ定義の構成ファイルを使用して多くの異なるタスクに向けて再プログラムすることができる。例えば、ニューロモルフィック集積回路における層及びニューラルプロセッサ間の接続は、ユーザ定義の構成ファイルを使用して再プログラムすることができる。第３に、ニューロモルフィック集積回路は低待ち時間出力を提供する。第４に、ニューロモルフィック集積回路の消費電力量は小さい。例えば、ニューロモルフィック集積回路は、同じタスクを実行する場合、同等の人工ニューラルネットワーク（ＡＮＮ）よりも２桁低い電力を消費することができる。さらに、ニューロモルフィック集積回路は、現行水準に近づく又は現行水準に等しい精度を提供することができる。最後に、ニューロモルフィック集積回路は、内蔵ホメオスタシス及び入力データパターンへのシナプス重みの高速収束の両方を示す改良された学習法を提供する。
[0029] ＡＮＮは一般に、設計時に決定されるアーキテクチャを特徴とする人工ニューロンからなる。ニューロンは、生物学的脳におけるニューロンを大まかにモデリングすることができる。ニューロンは、ハードウェア回路であってもよく、又はプログラム的に定義してもよい。ＡＮＮの機能は、層内のニューロン間の接続、ニューロンの層間の接続、シナプス重み、及び予め定義された入力範囲に適合するような入力データの前処理により定義することができる。
[0030] ＡＮＮでは、推論は、積和（ＭＡＣ）演算を使用して実行することができる。ＭＡＣ演算では、入力データ値は、メモリに記憶された複数のシナプス重みで乗じることができる。例えば、ＡＮＮは、画像当たり多くのＭＡＣ演算（例えば、１億５６００万ものＭＡＣ演算）を実行して、画像内の物体を分類することができる。次に、これらの乗算の結果は、ネットワーク内の各ニューロンにおける加算により積分することができる。ＭＡＣ演算の実行後、非線形関数をニューロンの積分値に適用して、出力値を生成することができる。出力値は浮動小数点値であることができる。
[0031] 複数の層を使用して、特定のタスクを実行するＡＮＮを作成することができる。多くのニューロンは、ＡＮＮの各層で並列に使用することができる。プーリング演算を推論層間で実行することもできる。
[0032] ディープＡＮＮは、多くの層を有するＡＮＮのソフトウェア又はハードウェア実装を指すことができる。ディープＡＮＮは、画像分類でかなりの成功を収めることができる。例えば、ディープＡＮＮはImageNetにおける画像の画像分類でかなりの成功を収めてきた。ImageNetとは、手動でラベル付けされた画像の大きな集まりである。
[0033] ディープＡＮＮは、生物学的ニューロンが、発火率、例えば、電気インパルスがニューロンにより受け取られ生成される率を通してデータを通信するという信念の下で創立された。ディープＡＮＮにおけるニューロンは、浮動小数点数又はマルチビット整数で通信することができる。
[0034] 畳み込みニューラルネットワーク（ＣＮＮ）は、ニューロンが多くのラベル付き例を使用してトレーニングされて、データセット中に発生する特徴を抽出するディープＡＮＮの一種である。例えば、データセットは画像であることができる。ＣＮＮは畳み込み演算を画像に適用することができる。畳み込み演算は、画像の小さなセクションに作用することができ、画像における特徴の発生を示す値をＣＮＮ内の次の層に通信することができる。特徴は、小さな矩形エリアに含まれることができる。この小さな矩形は、より大きな入力画像の周囲をプログラム的に移動することができる。画像内の特徴が、ニューロンのシナプス重みに記憶された特徴情報に一致する場合、値はＣＮＮ内の次の層に送られる。ＣＮＮでは、シナプス重みは、画像の異なる場所における同様の特徴に応答するニューロン間で共有される。ＣＮＮ内のニューロンは、定義された特徴のフィルタとして機能することができる。ＣＮＮのトレーニングは、バックプロパゲーションとして知られる数学的最適化技法を通して達成することができる。
[0035] ＣＮＮは、特徴の検出及び画像の分類では成功してきたが、多くの場合、高計算需要、破滅的な忘却、及び敵対的サンプルの不正確な分類を含む幾つかの技術的問題を有することが多い。ＣＮＮは高待ち時間も有する。メニーコアプロセッサ及び超並列処理をＣＮＮで使用して、高計算要件により生じる待ち時間問題を相殺することができるが、これは多くの場合、ＣＮＮへの高電力要件を生じさせる。例えば、ImageNet内の画像の分類に使用されるＣＮＮは、２０００ワットもの電力を使用することができる。これは、ＣＮＮが高電力中央演算処理装置（ＣＰＵ）及びペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）アドインボードに実装される１つ又は複数のグラフィックス処理ユニット（ＧＰＵ）を利用する必要があり得るためである。
[0036] ＳＮＮは、ＣＮＮに関連する技術的問題の幾つかを解決することができる。ＳＮＮは、生物学的ニューロンが、感覚器官により発せられるパルスのタイミングにおいてニューラル層間でデータを通信するという生体医学研究における命題に基づく。パルスは、スパイクと呼ばれるエネルギーの短いバーストである。ＳＮＮは、ニューロン間の情報がスパイクを使用して表現されるＡＮＮの一種である。スパイクは、そのタイミング及び空間分布に基づいて情報を表すことができる。ＳＮＮにおけるスパイキングニューロンは、入力における一連のイベントが前に学習したシーケンスとして認識される場合のみ、スパイクし、電気エネルギーを消費し得る。これは、生物学的脳で生じる処理と同様である。ＳＮＮにおいて脳の機能を模倣し、画像における物体の分類又はデータストリームにおける特定の特徴の認識等の結果を達成する技術は、ニューロモルフィック計算と呼ぶことができる。
[0037] ＳＮＮにおけるニューロンはＡＮＮのＭＡＣ要件を実行するように常に処理するわけではないため、ＳＮＮは、他のタイプのＡＮＮよりも数桁低い電力を消費することができる。むしろ、ニューロンは、スパイク発生時のみ電力を消費することができる。ＳＮＮでは、ニューラル機能は、入力スパイクが受信される都度、可変非ゼロシナプス重み値をニューロンのシミュレートされるメンブレン電位値（membrane potential value）に追加することによりエミュレートすることができる。次に、シミュレートされるメンブレン電位値は１つ又は複数の閾値と比較することができる。スパイクは、ニューロンのメンブレン電位値が閾値に達するか、又は閾値を超えた場合、生成することができる。ＳＮＮは破滅的な忘却を示さず、ＳＮＮがトレーニングされた後、学習を続けることができる。さらに、ＳＮＮが敵対的サンプルに起因した不正確な分類を受けるという証拠はない。
[0038] しかし、従来のＳＮＮは幾つかの技術問題に悩まされ得る。第１に、従来のＳＮＮは、畳み込み演算と全結合演算とを切り替えることができない。例えば、従来のＳＮＮは、設計時に、全結合フィードフォワードアーキテクチャを使用して特徴を学習し、データを分類するように構成し得る。本明細書における実施形態（例えば、ニューロモルフィック集積回路）は、ＣＮＮの特徴とＳＮＮの特徴とを組み合わせて、畳み込み演算と全結合ニューラルネットワーク機能とを切り替えるように構成され得るスパイキング畳み込みニューラルネットワーク（ＳＣＮＮ）にすることにより、この技術的問題を解決する。ＳＣＮＮは、各ニューロンのシナプス重みの数を低減することもできる。これはまた、各ニューロンでより少ないシナプス重みでＳＣＮＮを従来のＳＮＮよりも深くする（例えば、より多くの層を有する）こともできる。本明細書における実施形態は、入力空間の特定の位置におけるフィルタとして機能する各ニューロンの勝者総獲得（ＷＡＴ）手法を使用することにより畳み込み演算を更に改善する。これは、ネットワークの選択性及び不変性を改善することができる。換言すれば、これは推論演算の精度を改善することができる。
[0039] 第２に、従来のＳＮＮは再構成可能ではない。本明細書における実施形態は、ユーザ定義の構成に基づいてＳＮＮのニューロンとシナプスとの間の接続を再プログラムできるようにすることにより、この技術的問題を解決する。例えば、層とニューラルプロセッサとの間の接続は、ユーザ定義の構成ファイルを使用して再プログラムすることができる。
[0040] 第３に、従来のＳＮＮは、ＳＮＮの異なる層間にバッファリングを提供しない。しかし、バッファリングは、出力スパイクを次の層に渡すための時間遅延を可能にすることができる。本明細書における実施形態は、入力スパイクバッファ及び出力スパイクバッファをＳＣＮＮの層間に追加することによりこの技術的問題を解決する。
[0041] 第４に、従来のＳＮＮはシナプス重み共有をサポートしない。本明細書における実施形態は、畳み込みを実行するとき、ＳＣＮＮのカーネルがシナプス重みを共有できるようにすることによりこの技術的問題を解決する。これは、ＳＣＮＮのメモリ要件を低減することができる。
[0042] 第５に、従来のＳＮＮは多くの場合、１ビットシナプス重みを使用する。しかし、１ビットシナプス重みの使用は、接続を阻止する方法を提供しない。本明細書における実施形態は、三次シナプス重みを使用することによりこの技術的問題を解決する。例えば、本明細書における実施形態は２ビットシナプス重みを使用することができる。これらの三次シナプス重みは正の値、ゼロ、又は負の値を有することができる。負の重みの使用は、接続を阻止する方法を提供することができ、これは選択性を改善することができる。換言すれば、これは推論演算の精度を改善することができる。
[0043] 第６に、従来のＳＮＮはプーリングを実行しない。これは、従来のＳＮＮでのメモリ要件を増大させる。本明細書における実施形態は、前の層の出力に対してプーリングを実行することによりこの技術的問題を解決する。例えば、本明細書における実施形態は、前の層により出力された電位アレイに対してプーリングを実行することができる。このプーリング演算は、最も重要な情報を保持しながら、電位アレイの次元を低減する。
[0044] 第７に、従来のＳＮＮは多くの場合、スパイクをビットアレイに記憶する。本明細書における実施形態は、スパイクを表し処理する改良された方法を提供する。例えば、本明細書における実施形態は、ビットアレイの代わりに接続リストを使用することができる。この接続リストは、各入力層ニューロンが、更新しなければならない１組のオフセットインデックスを有するように最適化される。これにより、本明細書における実施形態は、現在層内の接続ニューロンの全てのメンブレン電位値を更新するのに１つの接続リストのみを考慮するだけでよい。
[0045] 第８に、従来のＳＮＮは多くの場合、スパイク毎に処理する。これとは対照的に、本明細書における実施形態はスパイクのパケットを処理することができる。これは、スパイクが処理されるとすぐに、電位アレイを更新させることができる。これは、より大きなハードウェア並列化を可能にすることができる。
[0046] 最後に、従来のＳＮＮは、外部ソースから学習（例えば、シナプス重み）をインポートする方法を提供しない。例えば、ＳＮＮは、バックプロパゲーションを使用してオフラインで実行された学習をインポートする方法を提供しない。本明細書における実施形態は、ユーザがオフラインで実行された学習をニューロモルフィック集積回路にインポートできるようにすることによりこの技術的問題を解決する。
[0047] 幾つかの実施形態では、ＳＣＮＮは１つ又は複数のニューラルプロセッサを含むことができる。各ニューラルプロセッサは、再プログラム可能な線維を通して相互接続することができる。各ニューラルプロセッサは再構成可能であることができる。各ニューロンプロセッサは、全結合層における畳み込み又は分類を実行するように構成することができる。
[0048] 各ニューラルプロセッサは、複数のニューロン及び複数のシナプスを含むことができる。ニューロンは、簡易化積分発火型（Ｉ＆Ｆ）ニューロンであることができる。ニューロン及びシナプスは、再プログラム可能線維を通して相互接続することができる。ニューラルプロセッサの各ニューロンは、ハードウェア又はソフトウェアで実装することができる。ハードウェアで実装されるニューロンはニューロン回路と呼ぶことができる。
[0049] 幾つかの実施形態では、各ニューロンはインクリメント又はデクリメント関数を使用して、ニューロンのメンブレン電位値を設定することができる。これは、従来のＩ＆Ｆニューロンの加算関数を使用するよりも効率的であることができる。
[0050] 幾つかの実施形態では、ＳＣＮＮは異なる学習関数を使用することができる。例えば、ＳＣＮＮはＳＴＤＰ学習関数を使用することができる。幾つかの他の実施形態では、ＳＣＮＮは、シナプス重み交換を使用してＳＴＤＰ学習関数の改良版を実施することができる。この改良されたＳＴＤＰ学習関数は、内蔵ホメオスタシス（例えば、安定した学習重み）及び効率改善を提供することができる。
[0051] 幾つかの実施形態では、ＳＣＮＮへの入力はオーディオストリームから導出される。アナログ／デジタル（Ａ／Ｄ）変換器は、オーディオストリームをデジタルデータに変換することができる。Ａ／Ｄ変換器は、パルスコード変調（ＰＣＭ）データの形態のデジタルデータを出力することができる。データ／スパイク変換器は、デジタルデータを、オーディオストリームのスペクトルを表す一連の空間的及び時間的に分布したスパイクに変換することができる。
[0052] 幾つかの実施形態では、ＳＣＮＮへの入力はビデオストリームから導出される。Ａ／Ｄ変換器は、ビデオストリームをデジタルデータに変換することができる。例えば、Ａ／Ｄ変換器は、ビデオストリームを、各ピクセルの強度がデジタル値として表されるピクセル情報に変換することができる。デジタルカメラはそのようなピクセル情報を提供することができる。例えば、デジタルカメラは、赤ピクセル、緑ピクセル、及び青ピクセルの３つの８ビット値の形態でピクセル情報を提供することができる。ピクセル情報は捕捉され、メモリに記憶することができる。データ／スパイク変換器は、人間の視覚系の動作を模倣する感覚ニューロンにより、ピクセル情報を空間的及び時間的に分布したスパイクに変換することができる。
[0053] 幾つかの実施形態では、ＳＣＮＮへの入力は、バイナリ値の形でデータから導出される。データ／スパイク変換器は、ガウス受容野により、バイナリ値の形のデータをスパイクに変換することができる。当業者ならば理解するように、データ／スパイク変換器は、他の手段によりバイナリ値の形のデータをスパイクに変換することもできる。
[0054] 幾つかの実施形態では、デジタルビジョンセンサ（例えば、iniVation AG又は他の製造からにより供給されるダイナミックビジョンセンサ（ＤＶＳ））がＳＣＮＮのスパイク入力インターフェースに接続される。デジタルビジョンセンサは、スパイクの形態のピクセルイベント情報を送信することができる。デジタルビジョンセンサは、アドレスイベント表現（ＡＥＲ）バスを介してスパイクを符号化することができる。ピクセルイベントは、ピクセルの強度が上がる又は下がるとき、生じることができる。
[0055] 幾つかの実施形態では、ＳＣＮＮの入力フォーマットは空間的及び時間的に分布したスパイクの形である。スパイクは、電気エネルギーの短いバーストとして定義することができる。
[0056] 幾つかの実施形態では、ＳＣＮＮは、スパイクニューロンの１つ又は複数の層からなることができる。スパイキングニューロンは、ニューロンの機能を模倣することができる。スパイキングニューロンは、シナプスの機能を模倣する回路を通して相互接続することができる。
[0057] スパイキングニューロンは、ハードウェア又はソフトウェアで実装することができる。ハードウェア実装スパイキングニューロンは、スパイキングニューロン回路と呼ぶことができる。しかしながら、当業者ならば理解するように、本明細書における任意の実施形態において、ソフトウェア実装スパイキングニューロンをスパイキングニューロン回路の代わりに使用することも可能である。
[0058] 幾つかの実施形態では、ＳＣＮＮは、記憶された構成から構成することができる。記憶された構成は、YAML Ain’t Markup Language（ＹＡＭＬ）ファイルを使用して変更することができる。ＹＡＭＬファイルは、神経線維の成分の機能を定義して、特定のタスクに向けられたＳＣＮＮを形成することができる。例えば、ＹＡＭＬファイルは、Canadian Institute For Advanced Research 10（ＣＩＦＡＲ－１０）データセット（機械学習及びコンピュータビジョンアルゴリズムのトレーニングに一般に使用される画像の集まり）内の画像を分類するようにＳＣＮＮを構成することができる。
[0059] 幾つかの実施形態では、ＳＣＮＮ内の各層は、最大プーリング及び共有シナプス重みを有する畳み込み層として又は個々のシナプスを有する全結合層として定義、接続、及び構成することができる。
[0060] 幾つかの実施形態では、畳み込み層は、特定の特徴を抽出し、それらの特徴をメタデータとしてＳＣＮＮ内の次の層に通信することにより、入力信号の次元低減において１つ又は複数の最大プーリング層と組み合わせて使用することができる。各ニューロンにより渡されるメタデータは、ニューロンメンブレン電位値又はスパイクの形態であることができる。スパイクは、閾値に達したことを示すことができる。スパイクは学習イベント又は出力スパイクをトリガーすることができる。ニューロンメンブレン電位値は、ニューロンの電位値である。ニューロンメンブレン電位値は、閾値から独立して読み取ることができる。
[0061] 幾つかの実施形態では、ＳＣＮＮ内の畳み込みネットワーク層は、複数のスパイキングニューロン回路を含むことができる。各スパイキングニューロン回路は、積分器及び層内の他のニューロンと共有される複数のシナプスを含むことができる。各スパイキングニューロン回路は、特徴検出器として構成することができる。畳み込み層の直後にプーリング層が続くことができる。プーリング層は、当業者ならば理解するように、最大プーリング層、平均プーリング層、又は別のタイプのプーリング層であることができる。最大プーリング層は、スパイキングニューロン回路（例えば、特徴検出器）の出力を受信することができる。最大プーリング層は、最高電位値を有するニューロン出力（例えば、ニューロンメンブレン電位値又はスパイク）のみを次の層に渡すことができる。平均プーリングは、入力を矩形プーリング領域に分割し、各領域の平均値を計算することによりダウンサンプリングを実行することができる。
[0062] 幾つかの実施形態では、ＳＣＮＮ内の全結合層は、分類、自律特徴学習、及び特徴抽出に使用することができる。全結合層は、複数のスパイキングニューロン回路を含むことができる。各スパイキングニューロン回路は、積分器及び複数のシナプスを含むことができる。複数のシナプスは、全結合層内の他のニューロン回路と共有されなくてよい。
[0063] 幾つかの実施形態では、ＳＣＮＮにおける学習は、スパイクタイミング依存可塑性（ＳＴＤＰ）として知られている方法を通して行うことができる。ＳＴＤＰ学習では、出力スパイクに先行する入力スパイクは、出力スパイクに寄与した入力スパイクを示す。ＳＴＤＰでは、これはシナプス重みの強化を生じさせることができる。
[0064] 幾つかの実施形態では、ＳＴＤＰ学習法は、シナプス重み交換を使用して改良することができる。シナプス重み値はシナプスにわたり交換して、出力スパイクイベントに寄与したシナプス入力を補強し、寄与しなかったシナプスを弱化させることができる。これは、スパイキングニューロン回路を特定の入力特徴にますます選択的にさせることができる。
[0065] 幾つかの実施形態では、ＳＴＤＰ学習法は、ターシャリシナプス重みを使用して更に改良することができる。ターシャリシナプス重みは、正の値、ゼロ、又は負の値を有することができる。正の重みを記憶するシナプスは、興奮性シナプスと呼ぶことができる。負の重みを記憶するシナプスは、抑制性シナプスと呼ぶことができる。ゼロの重みを記憶するシナプスは、選択プロセスに寄与しないことができる。
[0066] 幾つかの実施形態では、スパイク入力バッファは、ニューラルネットワークの各層の入力に存在する。スパイク入力バッファは、スパイク情報を受信し記憶することができる。スパイク情報は、デジタルビットとしてスパイク入力バッファに送信することができる。スパイクの存在は「１」を使用して表すことができる。スパイクの不在は「０」を使用して表すことができる。
[0067] 幾つかの実施形態では、パケタイザが、スパイク入力バッファ内のスパイクをソートして１つ又は複数のスパイクパケットにすることができる。スパイクパケットはパケットレジスタに記憶することができる。
[0068] 幾つかの実施形態では、第１の論理ＡＮＤ関数をパケットレジスタに記憶されたビットパターン及びシナプスに記憶された正の重みビットに適用することができる。第１の論理ＡＮＤ関数の出力における論理「１」は、スパイキングニューロン回路のメンブレン電位カウンタをインクリメントする。第２のＡＮＤ関数を入力スパイクバッファに記憶されたビットパターン及びシナプス内の反転された負の重みビットに適用することができる。第２の論理ＡＮＤ関数の出力における論理「１」は、スパイキングニューロン回路のメンブレン電位カウンタをデクリメントする。
[0069] 幾つかの実施形態では、ＳＣＮＮ内の層は、パラメータを共有するニューロンの集まりである。層は、前の層からスパイク情報を受け取り、スパイク情報を続くレイヤに伝播させることができる。
[0070] 幾つかの実施形態では、ＳＣＮＮは、フィードフォワード及びフィードバックアーキテクチャをサポートすることができる。これは、各層が入力をローカルバス構造から受け取り、出力を同じローカルバスに渡す接続トポロジであることができる。
[0071] 幾つかの実施形態では、各層は、ヘッダ及びイベントアドレスを含むアドレスイベント表現（ＡＥＲ）式データ構造を送受信することができる。この情報は、スパイク入力バッファにおいて受信することができる。ＡＥＲイベントは３つの成分：ｘ、ｙ、ｆを含み、ここで、ｆは特徴（例えばチャネル）であり、ｘ、ｙは、スパイクしたスパイキングニューロン回路の座標である。入力スパイクバッファは処理されて、層により処理されるスパイクパケットを作成することができる。層は、スパイクを処理のために次の層への出力スパイクバッファに出力することができる。
[0072] 幾つかの実施形態では、入力層タイプではない全ての層タイプは電位アレイを有することができる。電位アレイは、各スパイキングニューロン回路のメンブレン電位値を記憶することができる。
[0073] 幾つかの実施形態では、各層は、層内のスパイキングニューロン回路とニューロンへの入力との間の接続を記述する２つのデータ構造を含むことができる。第１のデータ構造は、接続リストアレイと呼ぶことができる。接続リストアレイ内のエントリは、特定の入力が接続されるスパイキングニューロン回路のリストに対応することができる。接続リストアレイは、発信元から宛先への接続情報を含むことができる。
[0074] 第２のデータ構造は、重みベクトルアレイと呼ぶことができる。重みベクトルアレイ内の各エントリは、特定のスパイキングニューロン回路が接続される入力のベクトルに対応する。重みベクトルアレイは、宛先から発信元への情報を含むことができる。
[0075] 幾つかの実施形態では、全結合層タイプの各スパイキングニューロン回路は、電位アレイに１つのエントリを有する。これとは対照的に、幾つかの実施形態では、畳み込み層のスパイキングニューロン回路は、あらゆる入力チャネルにわたりｘ－ｙ座標に適用される１組のシナプス重みを共有することができる。シナプス重みは、重みベクトルアレイ内に宛先－発信元フォーマットで記憶することができる。
[0076] 計算的に導出されるニューロン関数を有するＡＮＮ、（例えば、ディープラーニングニューラルネットワーク（ＤＮＮ）では、トレーニング及び推論は、異なる環境又はマシンで行われる２つの別個の演算であることができる。トレーニングフェーズ中、ＤＮＮは、バックプロパゲーションによりニューラルネットワークにおいてシナプス重み値を計算することにより、大きなトレーニングデータセットから学習する。これとは対照的に、ＤＮＮの推論フェーズ中、学習は行われなくてよい。
[0077] 幾つかの実施形態では、ＳＣＮＮは、トレーニング演算と推論演算とを明確に区別しない。推論演算は、イベントプロパゲーションをとして動作することができる。イベントプロパゲーションは、電位アレイを更新し、その層で発火するスパイクの出力スパイクバッファを生成するＳＣＮＮの層による入力の処理を指すことができる。層内のスパイキングニューロン回路はまず、イベントプロパゲーションステップ（例えば、推論）を実行し、次に学習ステップを実行することができる。幾つかの実施形態では、学習がＳＣＮＮの層でディセーブルされている場合、層は、事実上、推論フェーズであるイベントプロパゲーションステップのみを実行し得る。
[0078] 畳み込みが関わる幾つかの実施形態では、スパイキングニューロン回路はシナプス重みを共有することができる。これらのニューロン回路はフィルタと呼ぶことができる。これは、これらのスパイキングニューロン回路が入力ストリームから特定の特徴をフィルタリングすることができるためである。
[0079] 図１は、幾つかの実施形態によるニューラルネットワークモデルのブロック図である。図１では、スパイクはローカルバス１０１を介して通信することができる。例えば、ローカルバス１０１はネットワークオンチップ（ＮｏＣ）バスであることができる。スパイクは、ネットワークパケットの形態で通信することができる。ネットワークパケットは、１つ又は複数のスパイクと、発信元及び宛先のアドレスを示すコードとを含むことができる。
[0080] 図１では、スパイクデコーダ１０２は、ネットワークパケット内のスパイクを復号化することができる。スパイクデコーダ回路１０２は、ネットワークパケット内の発信元アドレスに基づいて、スパイクを特定のスパイキングニューロン回路に送信することができる。例えば、スパイクデコーダ回路１０２は、スパイクを対応するスパイキングニューロン回路のスパイク入力バッファ１０３に記憶することができる。スパイクデコーダ回路１０２はまた、対応するニューロン回路のスパイク入力バッファ１０３に、ビットが行き着くことになるアドレスを記憶することもできる。
[0081] スパイク入力バッファ１０３は、１つ又は複数のスパイクを記憶することができる。「１」ビットはスパイクの存在を表すことができ、０ビットはスパイクの不在を表すことができる。スパイク入力バッファ１０３は、ビットが行き着くことになるアドレスを含むこともできる。
[0082] 図１では、パケタイザ１１４は、スパイク入力バッファ１０３内のスパイクをソートして、１つ又は複数のスパイクパケットにすることができる。スパイクパケットは、パケットレジスタ１０４に記憶することができる。例えば、スパイキングニューロン回路が１０２４個のシナプスを有する場合、パケットレジスタ１０４は１０２４ビット長であることができる。パケタイザ１１４は、スパイク入力バッファ１０３内のビットを１０２４ビットパケットレジスタ１０４に沿った正確な位置にソートすることができる。このソートプロセスについて図６において更に説明する。
[0083] 図１では、シナプス重み値はシナプス重み記憶装置１０５に記憶することができる。幾つかの実施形態では、シナプス重み記憶装置１０５は、静的ランダムアクセスメモリ（ＳＲＡＭ）を使用して実施することができる。当業者ならば理解するように、シナプス重み記憶装置１０５は、種々の他のメモリ技術を使用して実施することもできる。
[0084] シナプス重み記憶装置１０５内のシナプス重み値は、正又は負であることができる。幾つかの実施形態では、シナプス重み記憶装置１０５内のシナプス重み値は、処理のために重みレジスタ１０６に転送することができる。重みレジスタ１０６内の正のシナプス重み値は、論理ＡＮＤ回路１０７においてパケットレジスタ１０４内の対応するビットとＡＮＤ演算することができる。その結果生成された論理ＡＮＤ回路１０７の出力は、ＡＮＤ関数の正の結果のそれぞれについて、カウンタ１０９をインクリメントすることができる。カウンタ１０９は、ニューロンのメンブレン電位値を表すことができる。
[0085] 重みレジスタ１０６内の負のシナプス重み値は、論理ＡＮＤ回路１０８において、パケットレジスタ１０４内の対応するビットとＡＮＤ演算することができる。その結果生成される論理ＡＮＤ回路１０８の出力は、カウンタ１０９をデクリメントすることができる。このプロセスは、パケットレジスタ１０４内の全てのビットが処理されるまで続けることができる。
[0086] パケットレジスタ１０４内の全てのビットが処理された後、カウンタ１０９は、重みレジスタ１０６内の正及び負のシナプス重み値に対応するパケットレジスタ１０４内のビット数を表す値を含むことができる。カウンタ１０９の値は、閾値比較器１１０を使用して少なくとも１つの閾値と比較することができる。
[0087] 幾つかの実施形態では、閾値比較器１１０は、カウンタ１０９の値を２つの閾値と比較することができる。例えば、閾値比較器回路１１０は、カウンタ１０９の値を学習閾値レジスタ１１１内の値及びスパイキング閾値レジスタ１１２内の値と比較することができる。
[0088] 幾つかの実施形態では、学習閾値レジスタ１１１内の値はまず低値に設定することができ、ニューロンが学習できるようにする。学習プロセス中、シナプス重みは、重み交換器１１３を使用して入力スパイクに割り当てることができる。この方法は図８及び図９に示される。幾つかの実施形態では、ニューロンが学習するにつれて、カウンタ１０９内の値は増大し、学習閾値レジスタ１１１内の値も同様に増大する。このプロセスは、ニューロンが特定の学習されたパターンに対して強力な応答を提示するまで続けることができる。
[0089] 図２Ａは、幾つかの実施形態によるニューロモルフィック集積回路２００のブロック図である。ニューロモルフィック集積回路２００は、神経線維２０１、変換複合体２０２、センサインターフェース２０３、プロセッサ複合体２０４、１つ又は複数のデータインターフェース２０５、１つ又は複数のメモリインターフェース２０６、高速チップ間インターフェースを提供することができるマルチチップ拡張インターフェース２０７、電力管理ユニット２１３、及び１つ又は複数の直接メモリアクセス（ＤＭＡ）エンジン２１４を含むことができる。
[0090] 幾つかの実施形態では、神経線維２０１は、複数の再構成可能なニューラルプロセッサ２０８を含むことができる。ニューラルプロセッサ２０８は、複数のニューロンを含むことができる。例えば、ニューラルプロセッサ２０８は、複数のスパイキングニューロン回路及び複数のシナプスを含むことができる。上述したように、スパイキングニューロン回路は、入力スパイクバッファ１０３、パケタイザ１１４、パケットレジスタ１０４、論理ＡＮＤ回路１０７、論理ＡＮＤ回路１０８、カウンタ１０９、閾値比較器１１０、学習閾値１１１、スパイキング閾値１１２を使用して実施することができる。複数のシナプスは、重みレジスタ１０６、シナプス重み記憶装置１０５、及び重み交換器１１３を使用して実施することができる。各ニューラルプロセッサ２０８は、神経線維２０１の任意の部分に接続することができる複数の再プログラム可能なスパイキングニューロン回路を含むことができる。
[0091] 幾つかの実施形態では、変換複合体２０２は、ピクセル／スパイク変換器２０９、オーディオ／スパイク変換器２１０、ダイナミックビジョンセンサ（ＤＶＳ）／スパイク変換器２１１、及びデータ／スパイク変換器２１２の１つ又は複数を含むことができる。ピクセル／スパイク変換器２０９は、画像をスパイクイベントに変換することができる。
[0092] 幾つかの実施形態では、センサインターフェース２０３は、ピクセルデータ、オーディオデータ、アナログデータ、及びデジタルデータの１つ又は複数のインターフェースを含むことができる。センサインターフェース２０３は、ＤＶＳピクセルデータのＡＥＲインターフェースを含むこともできる。
[0093] 幾つかの実施形態では、プロセッサ複合体２０４は、少なくとも１つのプログラマブルプロセッサコア、メモリ、及び入出力周辺機器を含むことができる。プロセッサ複合体２０４は、ニューロモルフィック集積回路２００と同じダイに実装することができる。
[0094] 幾つかの実施形態では、データインターフェース２０５は、入出力周辺機器の１つ又は複数のインターフェースを含むことができる。１つ又は複数のインターフェースは、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）バス規格、ユニバーサルシリアルバス（ＵＳＢ）バス規格、イーサネットバス規格、コントローラエリアネットワーク（ＣＡＮ）バス規格、及びリアルデータを送受信するための万能非同期送信受信機（ＵＡＲＴ）を使用することができる。
[0095] 幾つかの実施形態では、メモリインターフェース２０６は、ダイナミックランダムアクセスメモリ（ＲＡＭ）拡張のための１つ又は複数のインターフェースを含むことができる。１つ又は複数のインターフェースは、ダブルデータレート同期ダイナミックランダムアクセスメモリ（ＤＤＲ ＳＤＲＡＭ）規格を使用することができる。例えば、１つ又は複数のメモリインターフェースは、ＤＤＲ３又はＤＤＲ４規格を使用することができる。
[0096] 幾つかの実施形態では、マルチチップ拡張インターフェース２０７は、スパイク情報を搬送することができ、神経線維２０１を複数のチップに拡張できるようにする。マルチチップ拡張インターフェース２０７は、ＡＥＲを使用してスパイク情報を搬送することができる。ＡＥＲは、システムバスを介してスパイクイベントを送信する規格である。スパイクが発生時にスパイクする特定のニューロンのアドレスが送信される。
[0097] 幾つかの実施形態では、ニューロモルフィック集積回路２００は、スパイク情報を入力としてとり、出力としてＡＥＲスパイクイベントを生成することができる。ＳＣＮＮの最後の層からスパイクを出力することに加えて、ＡＥＲスパイクイベントは、各スパイキングニューロン回路のメンブレン電位値を送信することもできる。
[0098] 幾つかの実施形態では、神経線維２０１は、フィードフォワード様式でスパイクを処理することができる。スパイクは、ＡＥＲフォーマットデータを使用して層間を送信することができる。各層は、入力スパイクバッファに記憶されたスパイクを１組のスパイクパケットに変換する入力スパイクバッファ（例えば、入力スパイクバッファ１０３）を有することができる。あらゆる層は、入力スパイクバッファ内の全てのスパイクを完全に処理してから、その出力スパイクを次の層に送信することができる。
[0099] 図２Ｂは、幾つかの実施形態による図２Ａのニューロモルフィック集積回路２００の別のブロック図を示す。図２Ｂは、ローカルバス２２０（例えば、ＮｏＣバス）を使用したニューロモルフィック集積回路２００の構成要素の相互接続を示す。図２Ｂでは、ニューロモルフィック集積回路２００は、図２Ａに示されるように、神経線維２０１、プロセッサ複合体２０４、１つ又は複数のデータインターフェース２０５、ピクセル／スパイク変換器２０９、オーディオ／スパイク変換器２１０、及びＤＭＡエンジン２１４を含むことができる。ニューロモルフィック集積回路２００は、シナプス重み記憶装置２２２、メモリ２２４、シリアル読み取り専用メモリ（ＲＯＭ）２２６、構成レジスタ２２８、ＰＣＩｅインターフェースブロック２３０、ＰＣＩｅバス２３２、ＵＡＲＴインターフェース２３４、ＣＡＮインターフェース２３６、ＵＳＢインターフェース２３８、及びイーサネットインターフェース２４０を含むこともできる。
[0100] 幾つかの実施形態では、シナプス重み記憶装置２２２は、図１のシナプス重み記憶装置１０５と同等であることができる。シナプス重み記憶装置２２２は、神経線維２０１に接続することができる。シナプス重み記憶装置２２２は、全てのシナプスの重み及び全てのスパイキングニューロン回路のメンブレン電位値を記憶することができる。シナプス重み記憶装置２２２は、ＰＣＩｅバス２３２に接続することができるＰＣＩｅインターフェースブロック２３０から１つ又は複数のＤＭＡエンジン２１４を通して外部からアクセスすることができる。
[0101] 幾つかの実施形態では、構成レジスタ２２８は神経線維２０１に接続することができる。神経線維２０１の初期化中、プロセッサ複合体２０４はシリアルＲＯＭ２２６を読み取り、値を構成レジスタ２２８及びシナプス重み記憶装置２２２に書き込むことにより、外部定義の機能に向けて神経線維２０１を構成することができる。
[0102] 幾つかの実施形態では、プロセッサ複合体２０４は、ＰＣＩｅインターフェース２３０を通して外部から利用可能である。プログラムはメモリ２２４に記憶することができる。プログラムは、ＵＡＲＴインターフェース２３４、ＣＡＮインターフェース２３６、ＵＳＢインターフェース２３８、及びイーサネットインターフェース２４０の機能を決めることができる。これらのインターフェースの１つ又は複数は、神経線維２０１、プロセッサ複合体２０４、又は両方により処理されるデータを送出することができる。
[0103] オーディオ／スパイク変換器２１０は、神経線維２０１により処理されるべきスパイクをローカルバス２２０に直接送出することができる。ピクセル／スパイク変換器２０９は、外部画像センサに接続することができ、ピクセル情報をスパイクパケットに変換し、スパイクパケットは、神経線維２０１による処理のためにローカルバス２２０に配られる。処理されたスパイクはパケット化され（例えば、ネットワークパケットに挿入され）、ローカルバス２２０に配置される。
[0104] 図３は、幾つかの実施形態による、入力パケットバッファリング、パケット化、及び次の層への出力スパイクバッファリングの流れ図である。図３は、入力スパイクバッファ３０１、１つ又は複数のスパイクパケット３０２、神経線維３０３、及び出力スパイクバッファ３０４を含む。図３では、入力スパイクバッファ３０１内のスパイクは、神経線維３０３内の特定のニューロン（例えば、スパイキングニューロン回路）の１つ又は複数のスパイクパケット３０２にソートすることができる。神経線維３０３で処理された後、生成されたあらゆるスパイクは、後続層に送信される出力スパイクバッファ３０４に記憶することができる。出力スパイクバッファ３０４内の生成されたスパイクは、後続層による処理のためにパケット化することができる。
[0105] 幾つかの実施形態では、神経線維３０３内の層は、入力スパイクバッファ３０１の全体を処理することができる。層は、各スパイクパケット３０２を順次処理することができる。その結果生成された出力スパイクは、出力スパイクバッファ３０４に配置することができる。出力スパイクバッファ３０４は、全てのスパイクパケット３０２が処理されるまで、処理に向けて次の層に送信されないことがある。幾つかの実施形態では、神経線維３０３の全ての層はこの作業フローに従うことができる。
[0106] 幾つかの実施形態では、神経線維３０３は、一度に多くのスパイクを処理することができる。幾つかの実施形態では、異なるスパイクバッファタイプを神経線維３０３内の層に使用することができる。スパイク入力バッファのタイプは、入力データの性質に依存することができる。スパイクバッファタイプ間の違いは、入力スパイクバッファ３０１からスパイクパケットをいかに生成するかにあることができる。
[0107] 幾つかの実施形態では、パケット化バッファタイプを使用して、連続又は継続タイプのデータ（例えば、ＤＶＳカメラにより生成される一連のスパイク）を処理することができる。ユーザは、このバッファタイプを使用するように神経線維３０３の異なる層を構成することができる。パケット化バッファタイプは、一度に１つずつ又は非常に大きなバーストでの多くのスパイクの処理を可能にすることができる。パケット化バッファは、スパイク数が構成ファイル（例えば、ＹＡＭＬファイル）において指定されるパラメータ（例えば、パケットサイズ）により定義されるサイズに達するまで、受信された順にスパイクを記憶することができる。パケット化バッファがそのサイズに達すると、スパイクパケットを処理に向けて神経線維３０３に渡すことができる。次に、パケット化バッファをクリアすることができる。次に、パケット化バッファはスパイクを引き続き記憶することができる。
[0108] 幾つかの実施形態では、フラッシュバッファタイプを使用して、定義されたサイズ（例えば、従来のビデオイメージフレーム又は定義された組の値）の形態のデータを処理することができる。例えば、ビデオフレームは、６４０×４８０ピクセル等の定義されたサイズを有することができる。しかしながら、この場合、一度に送信される多くのスパイクは、１つのパケットとして処理するために即時に送信し得る。スパイクパケットは異なる長さであることができる。
[0109] 幾つかの実施形態では、各層タイプは、まず、スパイク入力バッファからパケットを生成することにより、スパイク入力バッファ（例えば、スパイク入力バッファ３０１）全体を処理する関数を実施することができる。スパイク入力バッファ全体がパケット化された後、この関数は全てのスパイクパケットを処理することができる。次に、この関数は、処理されたスパイクパケットを削除し、出力スパイクをスパイクパケットから出力スパイクバッファ（例えば、出力スパイクバッファ３０４）にプッシュすることができる。次に、この関数は、処理する次のスパイクパケットを取得することができる。バッファタイプ間の違いは、入力スパイクバッファからスパイクパケットを生成する方法にあることができる。
[0110] 図４は、幾つかの実施形態による、スパイキング畳み込みニューラルプロセッサとして構成されたニューラルプロセッサ４００のブロック図である。ニューラルプロセッサ４００は、ローカルバス４０１（例えば、ＮｏＣバス）上のネットワーク、スパイクデコーダ４０２、シナプス重み記憶装置４０３、ニューロン位置生成器、プーリング回路４０４、神経線維４０５、電位更新及びチェック回路４０６、並びにスパイク生成器４０７を含むことができる。神経線維４０５は、図２の神経線維２０１と同等であることができる。シナプス重み記憶装置４０３は、シナプス重み値及びニューロンのメンブレン電位値（例えば、電位アレイ）を記憶することができる。プーリング回路４０４は、当業者ならば理解するように、最大プーリング演算、平均プーリング演算、又は他のタイプのプーリング演算を実行することができる。１対多スパイク生成器回路４０７は、ローカルバス４０１を介して１対多で送信することができるスパイクパケットを生成することができる。
[0111] 図５は、幾つかの実施形態による、スパイキング全結合ニューラルプロセッサとして構成されたニューラルプロセッサ５００のブロック図である。ニューラルプロセッサ５００は、ローカルバス５０１（例えば、ＮｏＣバス）、スパイクデコーダ５０２、シナプス重み記憶装置５０３、ニューロン位置生成器、パケット形成器５０４、神経線維５０５、電位更新及びチェック回路５０６、並びに電位及びスパイク出力回路５０７を含む。神経線維５０５は、図２の神経線維２０１と同等であることができる。シナプス重み記憶装置５０３は、シナプス重み値及びニューロンのメンブレン電位値（例えば、電位アレイ）を記憶することができる。図５では、スパイクは、スパイク入力バッファで受信し、スパイキングデコーダ５０２を使用してスパイクパケットとして分配される。
[0112] 幾つかの実施形態では、シナプス重みは三次重みであることができる。これらの三次シナプス重みは２ビット幅であることができる。これらの２ビット幅シナプス重みは、正の値及び負の値の両方を含むことができる。これは従来のＳＮＮと異なる。２ビット幅シナプス重みの正の値は、ニューロンのメンブレン電位値を増大させることができる。２ビット幅シナプス重みの負の値は、ニューロンのメンブレン電位値を低減することができる。
[0113] 幾つかの実施形態では、スパイクパケット内のスパイクは、シナプス宛先数に従って分配することができる。幾つかの実施形態では、処理中、三次シナプス重みは、スパイクパケットにおいて表されるスパイクと論理ＡＮＤ演算される。スパイクパケット内のスパイクは、正のスパイクビットを使用して表すことができる。スパイクパケット内のスパイクの不在は、ゼロを使用して表すことができる。シナプス重みは負又は正であることができる。負のシナプス重みは、ニューロンのカウンタ１０９（例えば、メンブレン電位レジスタ）をデクリメントすることができる。正のシナプス重みは、ニューロンのカウンタ１０９（例えば、メンブレン電位レジスタ）をインクリメントすることができる。
[0114] 幾つかの実施形態では、学習プロセスは、ニューロンの学習閾値（例えば、学習閾値レジスタ１１１内の値）に達した場合、入力を調べることにより実施することができる。ニューロンの学習閾値はまず、非常に低い値に設定することができる。学習閾値は、ニューロンが学習し、より多くのシナプス重みがマッチするにつれて、増大することができる。幾つかの実施形態では、学習プロセスは、未使用シナプス重み（例えば、スパイクが発生しない場所における正のシナプス重み）と未使用スパイク（例えば、値０を有するシナプス重みに対する位置にあるスパイクパケット内のスパイク）の交換を含み得る。未使用シナプス重みは、未使用スパイクを含む場所と交換することができる。
[0115] 幾つかの実施形態では、ニューロンメンブレン電位値（例えば、カウンタ１０９により表される）がスパイキング閾値（例えば、スパイキング閾値レジスタ１１２内の値）を超える場合、スパイクが生成される。スパイクはローカルバスに配置される。
[0116] 図６Ａは、幾つかの実施形態による、スパイクをパケット化してスパイクパケットにすることの一例である。図６Ａでは、スパイク入力バッファ６０１（例えば、スパイク入力バッファ１０３と同等）は、スパイク復号化回路により処理されたスパイクをローカルバスから受信する。パケタイザ６０２は、スパイクのシナプスインデックス数に従ってスパイク入力バッファ６０１内のスパイクをソートしてスパイクパケット６０３にすることができる。例えば、図６Ａでは、受信されたスパイクシーケンスは１、６、２３、１、１９、１８である。当業者なら理解するように、スパイクシーケンスは、図６Ａに示される少数のスパイクよりもはるかに多数であり得る。例えば、スパイクシーケンスは、多数のシナプスに分配される数千のスパイクを含むことができる。
[0117] 図６Ｂでは、幾つかの実施形態による図６Ａのスパイクパケット６０３の表現の一例である。図６Ｂでは、スパイクパケット６０３は、スパイク入力バッファ６０１からソートされたスパイクを含む。スパイクパケット６０３では、位置１、６、１８、１９、及び２３は強調表示されて、論理「１」値を含むことを示す。スパイクパケット６０３内の残りの位置はゼロ（例えば、スパイクの不在を示す）を含む。
[0118] 幾つかの実施形態では、スパイクは、シナプス重みがメモリ（例えば、シナプス重み記憶装置１０５）に配置されたのと同じ順に編成することができる。これは、シナプス重み値と入力スパイクパケット内のスパイクとの間でＡＮＤ演算を実行して、メンブレン電位カウンタ（例えば、カウンタ１０９）がインクリメントされるか、それともデクリメントされるかを判断できるようにすることができる。スパイクが、シナプス重み値がゼロである位置で生じる場合、カウンタはそのビット位置について変更されない。
[0119] 図７は、幾つかの実施形態による、メンブレン電位値（例えば、カウンタ１０９）がインクリメントされるか、それともデクリメントされるかを選択する方法の一例である。図７では、論理ＡＮＤ演算がスパイクパケット７０１と重みレジスタ７０２（例えば、重みレジスタ７０２は重みレジスタ１０６と同等である）との間で実行される。図７では、スパイクパケット７０１のスパイクビット１、６、１８、１９、及び２３は強調表示されて、論理「１」値（例えば、スパイクの存在を示す）を含むことを示す。スパイクパケット７０１内の残りの位置はゼロ（例えば、スパイクの不在を示す）を含む。
[0120] 重みレジスタ７０２は、正の値又は負の値の何れか一方を示す論理ビットを含むことができる。図７では、ビット１、４、５、１４、及び２２は正の値を含み、一方、ビット１８は負の値を含む。正の値は興奮作用を示すことができ、一方、負の値は抑制作用を示すことができる。重みレジスタ７０２内のビットは、興奮性重みの場合、ＥＸＣと記し、抑制性重みの場合、ＩＮＨと記すことができる。論理ＡＮＤが、重みレジスタ７０２内のビットとスパイクパケット７０１内のビットとの間で実行される。したがって、位置１において生じたスパイクは、ニューロンのメンブレン電位値（例えば、カウンタ１０９）をインクリメントする。これとは対照的に、位置１８で生じたスパイクは、ニューロンのメンブレン電位値（例えば、カウンタ１０９）をデクリメントする。
[0121] 図７は、幾つかの実施形態による、スパイク時間依存可塑性（ＳＴＤＰ）学習法の一例である。ＳＴＤＰ学習では、出力イベント／スパイクに寄与するスパイクは、強化された代表的なシナプス重みを有することができ、一方、出力イベント／スパイクに寄与しなかったスパイクは、弱化されたシナプス重みを有することができる。
[0122] 幾つかの実施形態では、ＳＴＤＰ学習法は、未使用シナプス重みが、未使用スパイクを含む場所と交換されるように変更される。例えば、ゼロであり、スパイクを受信したシナプス重みは、論理「１」であり、いかなるスパイクも受信しなかったシナプス重みと交換される。
[0123] 幾つかの実施形態では、論理ＡＮＤ演算が、「１」であるスパイクパケット内のスパイクビット及びゼロであるシナプス重みに対して実行される場合、結果はゼロである。これは、「未使用スパイク」と呼ぶことができる。論理ＡＮＤ演算が、「０」であるスパイクパケット内のスパイクビット及び「１」であるシナプス重みに対して実行される場合、結果はゼロである。これは「未使用シナプス重み」と呼ぶことができる。学習回路（例えば、重み交換器１１３）は、未使用スパイクが生じているランダムに選択された未使用シナプス重みを交換することができる。
[0124] 図７では、スパイクパケット７０１内の位置１は、使用済みスパイクを含む。シナプス重み７０２内の位置１は、使用済み重みを含む。これは、ニューロンのメンブレン電位値（例えば、カウンタ１０９）をインクリメントさせることができる。
[0125] シナプス重み７０２内の位置４及び５は、未使用シナプス重みを含む。これらのシナプス重みは、交換の候補である。スパイクパケット７０１内の位置６は、未使用スパイクを含む。換言すれば、スパイクパケット７０１内の位置６は１を含むが、シナプス重み７０２の位置６はゼロを含む。未使用シナプス重みはこの位置と交換することができる。シナプス重み７０２の位置１４は、未使用シナプス重みを含む。スパイクパケット７０１の位置１８は、使用済みスパイクを含み、シナプス重み７０２の位置１８は、使用済みシナプス重み（この場合、抑制性）を含む。これは、ニューロンのメンブレン電位値（例えば、カウンタ１０９）をデクリメントさせることができる。スパイクパケット７０１の位置１９は、未使用スパイクを含む。シナプス重み７０２の位置２２は、未使用シナプス重みを含む。スパイクパケット７０１の位置２３は、未使用スパイクを含む。
[0126] このＳＴＤＰ学習法は、生物学的脳で行われる学習によりインスパイアされている。幾つかの実施形態では、変更された形態のＳＴＤＰ学習法は、学習の実行に使用される。この変更された方法は、生物学的ニューロンが学習するメカニズムと同様である。
[0127] 幾つかの実施形態では、スパイキングニューロン回路は、入力がメンブレン電位値（例えば、カウンタ１０９）を閾値まで駆動したとき、スパイクを発する。これは、ニューロンが閾値まで駆動され、スパイクを生成するとき、その最近活性化された入力からの接続は強化され、一方、幾つかのその他の接続は弱化されることを意味することができる。繰り返し見る入力のパターンに応答してニューロンが学習することになり、それにより、入力データセットを特徴付ける特徴を自動的に学習することができる。
[0128] 幾つかの実施形態では、学習閾値の変更により生じるニューロン間の自然な競合等のこのＳＴＤＰ法の他の属性に応じて、層内のニューロンの集団は、様々な入力特徴空間を学習する。したがって、所与の入力に対するニューロンの集団の応答は、存在する特徴についての情報を搬送する。
[0129] 脳では、感覚処理は通常、階層的であり、一連の層にわたって行われる。初期層は単純な特徴についての情報を抽出し、上位層ほど、応答がより複雑な形状又は物体に対してより選択的であるとともに、空間位置又は向きに対して不変であるという点でより一般的であるように、それらの特徴の組合せに応答するように学習する。
[0130] 幾つかの実施形態では、この変更されたＳＴＤＰ学習法は完全に教師なしである。これは、ニューラルネットワークで使用されている従来の多様な教師ありトレーニング法と異なる。これは、本明細書における実施形態にラベルなしデータセットを提示することができ、いかなる追加情報もなく、データに存在する異なる特徴に応答するように学習することができることを意味する。学習は進行中のプロセスであることができる。
[0131] 幾つかの実施形態では、新しいクラスが既にトレーニングされたデータセットに追加される場合、ニューラルネットワーク（例えば、神経線維２０１）全体を再トレーニングする必要がない。これは、破滅的な忘却性という技術的問題をなくすことができる。学習を継続できるようにすることにより、ネットワークにより既に認識されたネットワークに新しいクラスを追加することができる。
[0132] 教師なし学習は、特徴を抽出することができる。しかしながら、ラベル付きデータがない場合、教師なし学習は出力を直接「ラベル付け」することができない。分類タスクでは、ニューラルネットワーク（例えば、神経線維２０１）は、刺激データセットに存在するクラスを区別する１組の特徴を学習することができる。次に、特徴を表す応答を入力ラベルにリンクする方法を適用するのはユーザ次第であることができる。
[0133] 図８は、幾つかの実施形態によるＳＴＤＰ学習法の重み交換ステップを示す。図８は、「未使用シナプス重み」が「未使用入力」と交換され、それにより、将来、同じ又は同様の入力スパイクパターンへのニューロンの応答を強化する、変更されたＳＴＤＰ学習プロセスにおける次のステップの一例を示す。
[0134] 図８では、スパイクパケット８０１のスパイクビット１、６、１８、１９、及び２３は強調表示されて、論理「１」値を含む（例えば、スパイクの存在を示す）ことを示す。スパイクパケット８０１内の残りの位置はゼロを含む（例えば、スパイクの不在を示す）。シナプス重み８０２のビット１、４、５、１４、及び２２は「＋１」値を含み、一方、ビット１８は「－１」値を含む。未使用スパイク８０１のビット１９は、スパイクパケット８０１内の未使用スパイクを表す。未使用シナプス重み８０２のビット５及び１４は、シナプス重み８０２内の未使用シナプス重みを表す。図８では、新しいシナプス重み８０５は、未使用シナプス重み（例えば、スパイクが生じなかった場所における正のシナプス重み）及び未使用スパイク（例えば、ゼロの値を有するシナプス重みに対する位置にあるスパイクパケット内のスパイク）を交換した結果を表す。例えば、新しいシナプス重み８０５のビット１４は、シナプス重み８０２のビット１８の値を含み、この逆も同様である。
[0135] 図９は、幾つかの実施形態による、スパイキング全結合ニューラルプロセッサとして構成されたニューラルプロセッサにおける畳み込みを示す。例えば、図９は、スパイキング全結合ニューラルプロセッサとして構成されたニューラルプロセッサで使用される畳み込み層における重み交換による変更されたＳＴＤＰ学習法を示す。
[0136] 畳み込みは、データ（例えば、画像）から特徴を抽出する目的を有する数学的演算であることができる。２組のデータ間の畳み込みの結果は、画像データであれ、又は別のデータタイプであれ、第３の組のデータである。
[0137] 幾つかの実施形態では、畳み込みはスパイク及び電位値に対して作用することができる。各ニューラルプロセッサ（例えば、ニューラルプロセッサ２０８）は、最高電位値を有するニューロンを識別し、それを同じ層内の他のニューラルプロセッサにブロードキャストすることができる。幾つかの実施形態では、ニューロンの電位値が学習閾値（例えば、学習閾値レジスタ１１１内の値）よりも高い場合、そのニューロンに出力するニューロンの全てのカーネルのシナプス重みは更新される。同じイベントパケットを前の層から再送信することができる。ニューラルプロセッサは、ニューロンの各フィールド内のスパイクのみに影響を及ぼし得る。例えば、図９では、正方形９０２内のエリアのように。ニューラルプロセッサ２０８は、各フィールド内で未使用スパイク（Ｕとして示される）及びカーネル（例えば、カーネル９０１及び９０３）内の未使用重み（Ｕとして示される）を識別した。
[0138] 幾つかの実施形態では、変更されたＳＴＤＰ学習法は、ルールに従って未使用シナプス重みと好ましいシナプス重みとの間で全てのカーネルにわたり交換されるビットの総数を決定することができる。例えば、ルールは、交換されるビットの数＝ｍｉｎ（交換数、未使用スパイク数、未使用重み数）であり得、ここで、交換数は構成フィールドであることができる。この例では、ｍｉｎ（５，３，４）＝３である。次に、変更されたＳＴＤＰ学習法は、全てのカーネルにわたり「交換されるビット数」のビットをランダムに交換することができる。図９では、３つのビットが交換される。次に、変更されたＳＴＤＰ学習法は、それに従って同じ層の他の全てのニューラルプロセッサのフィルタのシナプス重みを更新することができる。
[0139] ニューラルネットワークはトレーニングフェーズを有することができる。トレーニングフェーズは、既知の試料を使用することができる。ニューラルネットワークは、前に使用されなかった試料が認識される推論ステージを有することもできる。トレーニングフェーズ中、出力ニューロンは、最も応答する刺激クラスに従ってラベル付けられる。推論フェーズ中、入力は、そのニューロンが最も応答する特徴に従ってラベル付けられる。本明細書における実施形態の教師なし学習法は、小さな部分のみがラベル付けられた相当なデータセットが存在する場合、有用であることができる。この場合、本明細書における実施形態は、データセット全体でトレーニングすることができ、その後、教師ありステージが実行されて、ラベル付けられたより小さなデータセットを使用してネットワーク出力をラベル付ける。
[0140] 幾つかの実施形態では、教師あり学習アルゴリズムを使用することができる。本明細書における実施形態の推論コンポーネントは、高速で効率的な計算という利点を保ちながら、学習アルゴリズムから完全に分離可能であることができる。本明細書における実施形態は、ユーザ選択のアルゴリズムを使用してオフラインで学習されたシナプス重みを容易にアップロードすることができるように設計された。ネットワーク設計は、二次又は三次シナプス重み及び活性化レベルに制限することができる。増え続ける第三者技法が存在し、これらの制約内の教師あり学習に行き着く。
[0141] 教師なし学習は、あるステージでは教師により支援されて、これらのタスクで上手く実行することができるが、教師あり学習法が有利な幾つかの場合がある。しかしながら、その一方で、教師なし学習は、教師あり学習法では不可能なタスク－例えば、教師に使用されるラベル付き結果がない場合、データ内の未知で予期されないパターンを見つけること－を実行する能力を有する。これらの手法は失敗しやすい。
[0142] 図１０は、幾つかの実施形態による、深度１のピクセルの８×８行列での畳み込みの象徴的表現を示す。図１０では、一例の５×５畳み込みフィルタ１００２が適用される。図１０では、フィルタ１００２は元の入力から「突き出る」ことができる。図１０では、これは、元の入力１００１をゼロでパディングすることにより行うことができる。
[0143] ４つの畳み込みタイプがサポートされる：有効、同じ、フル、及びパディング。図１０は、結果として生成された畳み込みを示す。「フル」畳み込み（例えば、フル畳み込み１００３）は、大方、４のパディングを用いて出力畳み込みサイズを増大させることができる。「同じ」畳み込み（例えば、同じ畳み込み１００４）は、２のパディングを使用して、元の入力次元（例えば、８×８×１）と同じ出力畳み込みサイズを生成することができる。「有効」畳み込み（例えば、有効畳み込み１００５）は、０パディングを使用し、元の入力次元未満の出力畳み込みサイズを生成する。
[0144] 幾つかの実施形態では、ＳＣＮＮは、フル畳み込み、同じ畳み込み、又は有効畳み込みを使用できるようにすることができる。ＳＣＮＮはまた、「パディング」と呼ばれるカスタム畳み込みタイプを使用できるようにすることもできる。プログラマは、元の入力１００１の各辺の周囲にパディングを指定することによりパディング畳み込みタイプを示すことができる。
[0145] 幾つかの実施形態では、異なるタイプの畳み込みは式２－４により定義することができる。式２－４は、元の入力サイズ及びフィルタサイズの関数として、畳み込まれる入力のサイズを定義することができる。式２－４では、ＩＷは元の入力の幅を表すことができ、ＣＷは畳み込まれる入力（例えば、電位アレイ）の幅を表すことができ、ｋＷはフィルタの幅を表すことができる。
有効タイプ：Ｃｗ＝Ｉｗ－（ｋｗ－１） （２）
同じタイプ：Ｃｗ＝Ｉｗ （３）
フルタイプ：Ｃｗ＝Ｉｗ＋（ｋｗ－１） （４）
[0146] 図１１は、幾つかの実施形態による、２チャネルのスパイク、２つの３×３逆畳み込みカーネル、及び生成されるメンブレン電位値が関わる畳み込みの象徴的表現を示す。図１１は、スパイクの２つのチャネル１１０１及び１１０２を示す。図１１は、２つの３×３逆畳み込みカーネル１１０３及び１１０４並びに精製されたニューロンメンブレン電位値１１０５を更に示す。本実施形態の２チャネル例がここに提示され、これらの演算がプログラムされたプロセッサではなくスパイキングニューロン回路を使用して実行されるという変更がなされている。まず、ＳＣＮＮプロセッサとして講師絵されたニューラルプロセッサ内の全ての電位は、ゼロにクリアされる。スパイクパケットが入力されると、スパイクパケットの処理により、影響を受けるニューロン回路のメンブレン電位値は変更される。
[0147] 図１２は、幾つかの実施形態による、図１１のチャネル１１０１及び１１０２におけるスパイキングニューロン回路で生成されてもたらされたスパイクを示す。チャネル１１０１は、発火されたスパイキングニューロン回路を行列中の「１」として示す。チャネル１１０１中の他の全ての場所はゼロで埋められる。スパイクマップは、チャネル１１０１及び１１０２について図１１に示される２つの逆カーネル１１０３及び１１０４を使用して畳み込むことができ、図１１に示されるニューロンメンブレン電位値１１０５が生成される。
[0148] 図１３は、幾つかの実施形態によるスパイキングニューラルネットワーク畳み込み演算を示す。図１３は、２つのフィルタ（例えば、フィルタ１３０４及び１３０５）により処理されている３つのチャネル（例えば、チャネル１３０１、１３０２、及び１３０３）を有する入力（例えば、画像）を示す。フィルタ１３０４及び１３０５中の空のエントリは、ゼロ値に対応することができる。
[0149] 図１３では、フィルタ１３０４は５×５×３（例えば、フィルタ幅×フィルタ高さ×チャネル数）という次元を有する。フィルタ１３０４は、入力画像の座標（２，２）でセンタリングされる。入力画像の左上隅は座標（０，０）を有する。フィルタの幅及び高さは、入力画像よりも小さくてよい。当業者ならば理解するように、フィルタは３×３、５×５、又は７×７構成を有することが多い。
[0150] 幾つかの実施形態では、フィルタは、入力の特定のチャネルに対応する異なる組の重みを有することができる。各組の重みは、フィルタのカーネルと呼ぶことができる。図１３では、フィルタ１３０４は３つのカーネル（例えば、カーネル１３０６、１３０７、及び１３０８）を有する。各フィルタ中のカーネルの数は、入力中のチャネル数に一致することができる。あらゆる入力イベントは、（ｘ，ｙ）座標及びチャネル座標を有することができる。
[0151] 幾つかの実施形態では、畳み込み演算の結果は、電位アレイ中の１つのエントリに合算される。図１３では、点線の枠は、フィルタ１３０４の畳み込みが入力に対して行われる場所を示す。フィルタ１３０４の電位アレイ１３０９中のより小さな点線の枠は、これらの入力が合算される場所を示す。
[0152] 図１３中、フィルタ１３０４により実行される畳み込み演算は、３Ｄドット積として説明することができる。点線の枠は、フィルタ１３０４が入力と位置合わせされる場所を示す。３Ｄドット積はｘ、ｙ及びチャネルにわたり合算し、このスカラー和を電位アレイ（又は活性化マップ）と呼ばれる第３の行列中に配置する。図１３では、電位アレイ１３０９はフィルタ１３０４の電位アレイを表す。当業者ならば理解するように、電位アレイの各要素は、ニューロン（例えば、スパイキングニューロン回路）のメンブレン電位値として見ることができる。
[0153] 図１３では、電位アレイ１３０９及び１３１０は、フィルタ１３０４及び１３０５に対応する電位アレイを表す。点線の枠は、現在の畳み込みの結果を示す。電位アレイの次元は、ニューロン（例えば、スパイキングニューロン回路）の総数を定義することができる。図１３では、フィルタ１３０４及び１３０５はそれぞれ９つのニューロンをシミュレートする。各フィルタ１３０４及び１３０５は、３つの入力チャネル内の異なるｘ－ｙ位置でセンタリングすることができる。図１３における畳み込みのこの例は、入力画像中の要素並びにフィルタ１３０４及び１３０５中の重みの二進値を示す。しかしながら、当業者ならば理解するように、入力画像中の要素並びにフィルタ１３０４及び１３０５中の重みは、正及び負の浮動小数点値を含むこともできる。
[0154] 幾つかの実施形態では、離散畳み込みは式１を使用して実行することができる。式１中、ｆは入力を表すことができ、ｇはフィルタ（例えば、フィルタ１３０４）を表すことができる。当業者ならば理解するように、式１は、各値で異なる画像場所でセンタリングされたドット積を計算することと同様である。しかしながら、当業者ならば理解するように、フィルタは、各ドット積の入力上を「滑る」前、「反転」する必要があり得る。畳み込み演算は、有用な数学的属性であるため、フィルタ中でインデックスを反転させる必要があり得る。
Figure 2022509754000002
[0155] 幾つかの実施形態では、畳み込み層のストライドは、フィルタ（例えば、１３０４）が後続するドット積演算間でシフトされる量として定義することができる。幾つかの実施形態では、畳み込みストライドは１としてハードコードすることができる。
[0156] 図１３中、フィルタ１３０４及び１３０５は、畳み込み演算中、元の入力画像から「突き出る」ことが全く許されない。このタイプの畳み込みは「有効」畳み込みと呼ぶことができる。このタイプの畳み込みは、元の入力よりも小さな電位アレイ（例えば、電位アレイ１３０９及び１３１０）を生じさせることができる。
[0157] 図１４は、幾つかの実施形態による、入力画像に適用されている８つの方向フィルタニューロン畳み込みの結果を示す。図１４では、１つのチャネルを有する、猫を含む入力画像１４０１は、チャネル１４０２、１４０３、１４０４、１４０５、１４０６、１４０７、１４０８、及び１４０９を有する、元の画像と同じ幅及び高さ次元を有するスパイクマップに変換される。
[0158] 図１５は、幾つかの実施形態によるＤＶＳスパイクベースの畳み込みとフレームベースの畳み込みとの類似性を示す。フレームは、標準ビデオカメラにより送信されたフレームを指すことができる。イベント（又はスパイク）は、スパイク又はイベントベースのカメラにより送信される。イベントベースの畳み込みは、各イベント（又はスパイク）において畳み込み演算を実行することができ、結果を出力メンブレン電位アレイに配置する。フレームベースの畳み込み１５０２は、畳み込みがフル画像にわたり実行される従来のフレームベースの畳み込みを示す。畳み込みのパラメータ及び結果が示されている。イベントベースの畳み込み１５０４は、（３，３）におけるイベント（又はスパイク）が時間０ナノ秒（ｎｓ）において処理され、次に、（２，３）におけるイベントが時間１０ｎｓにおいて処理され、次に（３，３）における別のイベントが２０ｎｓにおいて処理され、そして最後に（３，２）におけるイベントが３０ｎｓにおいて処理されるイベントベースの畳み込み演算を示す。各イベントが処理された後、結果として生成されたアレイは、カーネルの上に示されている。最終結果は同じである。
[0159] 図１６は、幾つかの実施形態によるＹＡＭＬ構成ファイル１６００の一例を示す。ＹＡＭＬファイルは、Pythonプログラミング言語の特徴であることができる。幾つかの実施形態では、ＹＡＭＬ構成ファイル１６００は、ニューロモルフィック集積回路をプログラムし、定義されたアプリケーションでイベント（又はスパイク）を処理するように初期化するのに使用することができる。イベントは、スパイクの発生により示され、画像中の色変換、測定されたアナログ値の増減、コントラストの変化、データパケット中の特定のデータの発生、又は他の現実世界の現象を示し得る。
[0160] 幾つかの実施形態では、ニューロモルフィック集積回路又はそのソフトウェアシミュレーションは、８つの別個のニューラル層を有するＳＣＮＮにおいてＣＩＦＡＲ１０データセットを処理するようにＹＡＭＬ構成ファイル１６００により構成される。第１の層（層１６０２）は、データセットの解像度に合うように３２×３２ビット編成を有する入力層として構成される。この層は、ピクセル情報をスパイクに変換することができ、層１６０４に接続される。
[0161] 層１６０４は、三次シナプス重みを有する畳み込み層として構成される。層１６０４は「ConvolutionalTertiary」層タイプとして定義される。重みは、指定されたディレクトリに存在する「scnn_conv2_wts.dat」と呼ばれるファイルから層１６０４に予めロードすることができる。層１６０４は「FlushingBuffer」を使用するように定義される。「FlushingBuffer」は、ＹＡＭＬ構成ファイル１６００の他の箇所で定義される。層１６０４のスパイクパケットサイズは１３１，０７２スパイクとして定義される。これは、深さ８を有する３２×３２ピクセルの１つのフレーム全体と同等であることができる。層１６０４は、次の層（例えば、層１６０６）への１２８個の出力を有するように定義される。層１６０４は、２×２フィールドにわたるプーリングを有する３×３ピクセルの畳み込みサイズを有するように定義される。
[0162] ＳＣＮＮ中の各畳み込み層は、同様に構成することができる。最後の層は、層が、三次シナプス重みを有する全結合層であることを示す「FullyConnectedTernary」タイプであることができる。この最後の層は１０個の出力を有することができる。これは、ＣＩＦＡＲ１０データセットに含まれる１０個のクラスと同等であることができる。最後の層はパケットサイズ１０２４を有することができる。これは、前の畳み込み層で返された特徴数と同等であることができる。
[0163] 幾つかの実施形態では、ＹＡＭＬ構成ファイル１６００は、ニューロモルフィック集積回路の初期化中、処理することができる。コンストラクタタスクは、ＹＡＭＬ構成ファイル１６００において指定されるパラメータからパラメータオブジェクトを生成することができる。コンストラクタタスクは、ＹＡＭＬ構成ファイル１６００における各パラメータオブジェクトに１つの層を割り振ることができる。各層は、その特定のパラメータを用いて作成することができる。データ構造を使用して、全層を通して順次繰り返すことができる。バッファリングタイプオブジェクトは、ＳＣＮＮ中の各層に作成し、初期化することができる。各層は初期化され、入力信号に接続することができ、次の層に出力する、入力層を除くスキャンチェーンとして編成されたレジスタを通して前の層に接続することができる。層初期化中、接続リスト、重みベクトルアレイ、及び電位アレイは初期化される。接続リストは、どのニューロン回路が接続されるかについての情報を含むことができる。ＳＣＮＮ中の各ニューロン回路は、シナプス重み値を含む、定義された数のシナプスを有することができる。各ニューロンのメンブレン電位値は、そのニューロン回路に接続され、スパイクパケット中のスパイクにより示される全てのシナプス重みベクトルの和として定義することができる。
[0164] 図１７は、幾つかの実施形態による、各ニューロン回路及びニューロン回路の各層の構成及び接続を定義するスキャンチェーンを含む構成レジスタを示す。図１７は、幾つかの実施形態による、各ニューロン回路及びニューロン回路の各層の構成及び接続を定義するスキャンチェーンを含む構成レジスタを示す。構成データは、ニューラルプロセッサに順次送信されて、処理シーケンスを構築することができる。

Claims (24)

  1. ニューロモルフィック集積回路であって、
    入力データからスパイクを生成するように構成されたスパイク変換器と、
    前記スパイク及びニューラルネットワーク構成に基づいてタスクを実行するように構成された複数のスパイキングニューロン回路を含むニューラルプロセッサを含む再構成可能神経線維と、
    前記ニューラルネットワーク構成を含むメモリであって、前記ニューラルネットワーク構成は、電位アレイ及び複数のシナプスを含み、前記ニューラルネットワーク構成は、前記複数のスパイキングニューロン回路と前記複数のシナプスとの間の接続を定義し、前記電位アレイは、前記複数のスパイキングニューロン回路のメンブレン電位値を含み、前記複数のシナプスは対応するシナプス重みを有する、メモリと、
    構成ファイルに基づいて前記ニューラルネットワーク構成を変更するように構成されたプロセッサと、
    を備えるニューロモルフィック集積回路。
  2. 前記シナプス重みの各シナプス重みは、－１、０、及び１からなる群から選択される重み値を有する、請求項１に記載のニューロモルフィック集積回路。
  3. 前記ニューロモルフィック集積回路は、
    前記スパイク変換器からの前記スパイクを記憶するように構成されたスパイク入力バッファと、
    前記スパイク入力バッファ内の前記スパイクを表すスパイクビットを含むスパイクパケットを生成するように構成されたパケタイザであって、前記スパイクパケット内の各スパイクビットは前記複数のシナプス内のシナプスに対応する、パケタイザと、
    を更に備える、請求項１に記載のニューロモルフィック集積回路。
  4. 前記スパイクパケット内の各スパイクビットは、デジタルビットを使用して表される、請求項３に記載のニューロモルフィック集積回路。
  5. 前記複数のスパイキングニューロン回路内のスパイキングニューロン回路は、
    第１の論理ＡＮＤ関数を前記スパイクパケット内の第１のスパイクビット及び前記第１のスパイクビットに対応する第１のシナプスの第１のシナプス重みに適用することであって、前記第１のシナプス重みは１の値を有し、前記第１の論理ＡＮＤ関数の適用により、論理１が出力される、適用することと、
    前記第１の論理ＡＮＤ関数を適用して前記論理１が出力されたことに応答して、前記スパイキングニューロン回路に関連付けられたメンブレン電位値をインクリメントすることと、
    を行うように構成される、請求項３に記載のニューロモルフィック集積回路。
  6. 前記複数のスパイキングニューロン回路内のスパイキングニューロン回路は、
    第２の論理ＡＮＤ関数を前記スパイクパケット内の第１のスパイクビット及び前記第１のスパイクビットに対応する第２のシナプス重みに適用することであって、前記第２のシナプス重みは－１の値を有し、前記第２の論理ＡＮＤ関数の適用により、論理１が出力される、適用することと、
    前記第２の論理ＡＮＤ関数を適用して前記論理１が出力されたことに応答して、前記スパイキングニューロン回路に関連付けられたメンブレン電位値をデクリメントすることと、
    を行うように構成される、請求項３に記載のニューロモルフィック集積回路。
  7. 前記ニューラルプロセッサは、
    前記複数のスパイキングニューロン回路の前記メンブレン電位値の中の最高値であるメンブレン電位値を有する前記スパイキングニューロン回路に基づいて、前記複数のスパイキングニューロン回路内のスパイキングニューロン回路を選択することと、
    前記選択されたスパイキングニューロン回路の前記メンブレン電位値が、前記スパイキングニューロン回路に関連付けられた学習閾値に達したと判断することと、
    前記選択されたスパイキングニューロン回路の前記メンブレン電位値が、前記選択されたスパイキングニューロン回路に関連付けられた学習閾値に達したとの判断に基づいて、スパイク時間依存可塑性（ＳＴＤＰ）学習関数を実行することと、
    を行うように構成される、請求項３に記載のニューロモルフィック集積回路。
  8. 前記ＳＴＤＰ学習関数を実行するために、前記ニューラルプロセッサは、
    前記スパイクパケット内の第１のスパイクビットが未使用スパイクを表すと判断することであって、前記第１のスパイクビットは前記複数のシナプス内の第１のシナプスに対応し、前記第１のスパイクビットは値１を有し、前記第１のシナプスの第１のシナプス重みは値０を有する、判断することと、
    前記複数のシナプス内の第２のシナプスの第２のシナプス重みが未使用シナプス重みであると判断することであって、前記第２のシナプス重みは前記スパイクパケット内の第２のスパイクビットに対応し、前記第２のシナプス重みは値１を有し、前記スパイクパケット内の前記第２のスパイクビットは値０を有する、判断することと、
    前記第２のシナプス重みの値を前記第１のスパイクの値と交換することと、
    を行うように構成される、請求項７に記載のニューロモルフィック集積回路。
  9. 前記複数のスパイキングニューロン回路内のスパイキングニューロン回路は、
    前記スパイキングニューロン回路に関連付けられたメンブレン電位値が前記スパイキングニューロン回路のスパイキング閾値に達したと判断することと、
    前記スパイキングニューロン回路の前記メンブレン電位値が前記スパイキング閾値に達したとの判断に基づいて、出力スパイクを生成することと、
    を行うように構成される、請求項１に記載のニューロモルフィック集積回路。
  10. 出力スパイクバッファ及びネットワークオンチップ（ＮｏＣ）バスを更に備え、前記複数のスパイキングニューロン回路内の前記スパイキングニューロン回路は、前記ＮｏＣバスで送信するために、前記出力スパイクを前記出力スパイクバッファに挿入するように構成される、請求項９に記載のニューロモルフィック集積回路。
  11. 前記再構成可能神経線維は、畳み込み演算を使用して前記タスクを実行するように構成される、請求項１に記載のニューロモルフィック集積回路。
  12. 前記ニューラルネットワーク構成を変更するために、前記プロセッサは、前記構成ファイルに基づいて前記複数のスパイキングニューロン回路と前記複数のシナプスとの間の前記接続を変更するように構成される、請求項１に記載のニューロモルフィック集積回路。
  13. 前記構成ファイルは拡張可能マークアップ言語（ＸＭＬ）を使用して定義される、請求項１に記載のニューロモルフィック集積回路。
  14. 前記ニューロモルフィック集積回路は、
    ユニバーサルシリアルバス（ＵＳＢ）インターフェース、イーサネットインターフェース、コントローラエリアネットワーク（ＣＡＮ）バスインターフェース、万能非同期送信受信機（ＵＡＲＴ）を使用したシリアルインターフェース、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）インターフェース、又はジョイントテストアクショングループ（ＪＴＡＧ）インターフェースの少なくとも１つを含む複数の通信インターフェースを更に備える、請求項１に記載のニューロモルフィック集積回路。
  15. 前記入力データは、ピクセルデータ、オーディオデータ、又は感覚データを含む、請求項１に記載のニューロモルフィック集積回路。
  16. 前記ニューロモルフィック集積回路は、複数のセンサインターフェースを更に備える、請求項１に記載のニューロモルフィック集積回路。
  17. スパイキングニューロン回路において、前記スパイキングニューロン回路に関連付けられた１組のシナプスに対応する１組のスパイクビットを受信することと、
    前記スパイキングニューロン回路において、第１の論理ＡＮＤ関数を前記１組のスパイクビット内の第１のスパイクビット及び前記１組のシナプス内の第１のシナプスの第１のシナプス重みに適用することであって、前記第１のシナプスは前記第１のスパイクビットに対応する、適用することと、
    前記スパイキングニューロン回路において、前記適用することに基づいて前記スパイキングニューロン回路に関連付けられたメンブレン電位値をインクリメントすることと、
    ニューラルプロセッサにおいて、前記スパイキングニューロン回路に関連付けられた前記メンブレン電位値が、前記スパイキングニューロン回路に関連付けられた学習閾値に達したと判断することと、
    前記ニューラルプロセッサにおいて、前記スパイキングニューロン回路の前記メンブレン電位値が前記スパイキングニューロン回路に関連付けられた前記学習閾値に達したとの判断に基づいて、スパイク時間依存可塑性（ＳＴＤＰ）学習関数を実行することと、
    を含む方法。
  18. 前記１組のスパイクビットは、ピクセルデータ、オーディオデータ、又は感覚データを含む入力データを表す、請求項１７に記載の方法。
  19. 前記１組のシナプスは対応するシナプス重みを有し、各シナプス重みは、－１、０、及び１からなる値の群から選択される重み値を有する、請求項１７に記載の方法。
  20. 前記ニューラルプロセッサにより、前記複数のスパイキングニューロン回路のメンブレン電位値の中から最高値を有する前記スパイキングニューロン回路の前記メンブレン電位値に基づいて、複数のスパイキングニューロン回路から前記スパイキングニューロン回路を選択することを更に含む請求項１７に記載の方法。
  21. 前記スパイキングニューロン回路において、第２の論理ＡＮＤ関数を前記１組のスパイクビット内の前記第１のスパイクビット及び前記１組のシナプス内の第２のシナプスの第２のシナプス重みに適用することであって、前記第２のシナプスは前記第１のスパイクビットに対応し、前記第２のシナプス重みは値－１を有し、前記第２の論理ＡＮＤ関数を適用することにより、論理１が出力される、適用することと、
    前記スパイキングニューロン回路において、前記第２の論理ＡＮＤ関数の適用により前記論理１が出力されたことに応答して、前記スパイキングニューロン回路に関連付けられた前記メンブレン電位値をデクリメントすることと、
    を更に含む請求項１７に記載の方法。
  22. 前記ＳＴＤＰ学習関数を実行することは、
    前記スパイクパケット内の第２のスパイクビットが未使用スパイクを表すと判断することであって、前記第２のスパイクビットは前記複数のシナプス内の第２のシナプスに対応し、前記第２のスパイクビットは値１を有し、前記第２のシナプスの第２のシナプス重みは値０を有する、判断することと、
    前記複数のシナプス内の第３のシナプスの第３のシナプス重みが未使用シナプス重みであると判断することであって、前記第３のシナプスは前記スパイクパケット内の第３のスパイクビットに対応し、前記第３のシナプス重みは値１を有し、前記スパイクパケット内の前記第３のスパイクビットは値０を有する、判断することと、
    前記第３のシナプス重みを前記第２のスパイクビットの値と交換することと、
    を更に含む、請求項１７に記載の方法。
  23. 前記スパイキングニューロン回路において、前記スパイキングニューロン回路に関連付けられた前記メンブレン電位値が、前記スパイキングニューロン回路のスパイキング閾値に達したと判断することと、
    前記スパイキングニューロン回路において、前記スパイキングニューロン回路の前記メンブレン電位値が前記スパイキング閾値に達したとの判断に基づいて、出力スパイクを生成することと、
    を更に含む請求項１７に記載の方法。
  24. 前記スパイキングニューロン回路により、ネットワークオンチップ（ＮＯＣ）バスに送信するために、出力スパイクビットを出力スパイクバッファに挿入することを更に含む請求項２４に記載の方法。
JP2021524331A 2018-11-01 2019-10-31 改良されたスパイキングニューラルネットワーク Pending JP2022509754A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862754348P 2018-11-01 2018-11-01
US62/754,348 2018-11-01
PCT/US2019/059032 WO2020092691A1 (en) 2018-11-01 2019-10-31 An improved spiking neural network

Publications (2)

Publication Number Publication Date
JP2022509754A true JP2022509754A (ja) 2022-01-24
JPWO2020092691A5 JPWO2020092691A5 (ja) 2022-11-09

Family

ID=70458523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021524331A Pending JP2022509754A (ja) 2018-11-01 2019-10-31 改良されたスパイキングニューラルネットワーク

Country Status (7)

Country Link
US (2) US11468299B2 (ja)
EP (1) EP3874411A4 (ja)
JP (1) JP2022509754A (ja)
KR (1) KR20210098992A (ja)
CN (2) CN111417963B (ja)
AU (2) AU2019372063B2 (ja)
WO (1) WO2020092691A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111417963B (zh) 2018-11-01 2021-06-22 P·A·范德梅德 改进的尖峰神经网络
US11204740B2 (en) * 2018-12-04 2021-12-21 Electronics And Telecommunications Research Institute Neuromorphic arithmetic device and operating method thereof
US20200401876A1 (en) * 2019-06-24 2020-12-24 Washington University Method for designing scalable and energy-efficient analog neuromorphic processors
CN112766511A (zh) * 2019-11-01 2021-05-07 伊姆西Ip控股有限责任公司 用于模型自适应的方法、设备以及机程序产品
KR20210063721A (ko) * 2019-11-25 2021-06-02 삼성전자주식회사 뉴로모픽 장치 및 이를 포함하는 뉴로모픽 시스템
EP4081954A4 (en) * 2019-12-27 2023-04-05 Micron Technology, Inc. NEUROMORPHIC STORAGE DEVICE AND METHOD
EP4085458A4 (en) 2019-12-30 2023-05-31 Micron Technology, Inc. STORAGE DEVICE INTERFACE AND METHOD
US11538508B2 (en) 2019-12-31 2022-12-27 Micron Technology, Inc. Memory module multiple port buffer techniques
US11176043B2 (en) * 2020-04-02 2021-11-16 International Business Machines Corporation Distributed memory-augmented neural network architecture
US20220143820A1 (en) * 2020-11-11 2022-05-12 Sony Interactive Entertainment Inc. Domain adaptation for simulated motor backlash
FR3123748A1 (fr) * 2021-06-04 2022-12-09 Commissariat A L'energie Atomique Et Aux Energies Alternatives Apprentissage automatique sans annotation ameliore par regroupements adaptatifs en ensemble ouvert de classes
CN113902106B (zh) * 2021-12-06 2022-02-22 成都时识科技有限公司 脉冲事件决策装置、方法、芯片及电子设备
WO2023158352A1 (en) * 2022-02-21 2023-08-24 Telefonaktiebolaget Lm Ericsson (Publ) Communication of spiking data over a wireless communication network
WO2023163619A1 (en) * 2022-02-22 2023-08-31 Telefonaktiebolaget Lm Ericsson (Publ) Communication of spiking data on radio resources
CN114692681B (zh) * 2022-03-18 2023-08-15 电子科技大学 基于scnn的分布式光纤振动及声波传感信号识别方法
WO2023250093A1 (en) * 2022-06-22 2023-12-28 Brainchip, Inc. Method and system for implementing temporal convolution in spatiotemporal neural networks
WO2023250092A1 (en) * 2022-06-22 2023-12-28 Brainchip, Inc. Method and system for processing event-based data in event-based spatiotemporal neural networks
CN116030535B (zh) * 2023-03-24 2023-06-20 深圳时识科技有限公司 手势识别方法及装置、芯片和电子设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410117B2 (en) * 2008-09-21 2019-09-10 Brainchip, Inc. Method and a system for creating dynamic neural function libraries
US8250011B2 (en) * 2008-09-21 2012-08-21 Van Der Made Peter A J Autonomous learning dynamic artificial neural computing device and brain inspired system
EP2259214B1 (en) * 2009-06-04 2013-02-27 Honda Research Institute Europe GmbH Implementing a neural associative memory based on non-linear learning of discrete synapses
US9129220B2 (en) * 2010-07-07 2015-09-08 Qualcomm Incorporated Methods and systems for digital neural processing with discrete-level synapes and probabilistic STDP
US9269042B2 (en) * 2010-09-30 2016-02-23 International Business Machines Corporation Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices
US8856055B2 (en) * 2011-04-08 2014-10-07 International Business Machines Corporation Reconfigurable and customizable general-purpose circuits for neural networks
US9460387B2 (en) 2011-09-21 2016-10-04 Qualcomm Technologies Inc. Apparatus and methods for implementing event-based updates in neuron networks
US20130325766A1 (en) * 2012-06-04 2013-12-05 Csaba Petre Spiking neuron network apparatus and methods
US9367798B2 (en) * 2012-09-20 2016-06-14 Brain Corporation Spiking neuron network adaptive control apparatus and methods
US20150134582A1 (en) * 2013-11-08 2015-05-14 Qualcomm Incorporated Implementing synaptic learning using replay in spiking neural networks
US20150269482A1 (en) * 2014-03-24 2015-09-24 Qualcomm Incorporated Artificial neural network and perceptron learning using spiking neurons
US11157800B2 (en) * 2015-07-24 2021-10-26 Brainchip, Inc. Neural processor based accelerator system and method
US20170236027A1 (en) * 2016-02-16 2017-08-17 Brainchip Inc. Intelligent biomorphic system for pattern recognition with autonomous visual feature extraction
US10586147B2 (en) * 2016-09-22 2020-03-10 Intel Corporation Neuromorphic computing device, memory device, system, and method to maintain a spike history for neurons in a neuromorphic computing environment
EP3324343A1 (en) * 2016-11-21 2018-05-23 Centre National de la Recherche Scientifique Unsupervised detection of repeating patterns in a series of events
US10846590B2 (en) * 2016-12-20 2020-11-24 Intel Corporation Autonomous navigation using spiking neuromorphic computers
US10565500B2 (en) 2016-12-20 2020-02-18 Intel Corporation Unsupervised learning using neuromorphic computing
US20180174042A1 (en) 2016-12-20 2018-06-21 Intel Corporation Supervised training and pattern matching techniques for neural networks
US11062203B2 (en) 2016-12-30 2021-07-13 Intel Corporation Neuromorphic computer with reconfigurable memory mapping for various neural network topologies
US10713558B2 (en) * 2016-12-30 2020-07-14 Intel Corporation Neural network with reconfigurable sparse connectivity and online learning
US11295204B2 (en) * 2017-01-06 2022-04-05 International Business Machines Corporation Area-efficient, reconfigurable, energy-efficient, speed-efficient neural network substrate
US11151441B2 (en) 2017-02-08 2021-10-19 Brainchip, Inc. System and method for spontaneous machine learning and feature extraction
US10878313B2 (en) 2017-05-02 2020-12-29 Intel Corporation Post synaptic potential-based learning rule
US11080592B2 (en) * 2017-10-05 2021-08-03 International Business Machines Corporation Neuromorphic architecture for feature learning using a spiking neural network
US11195079B2 (en) * 2017-11-22 2021-12-07 Intel Corporation Reconfigurable neuro-synaptic cores for spiking neural network
WO2019125419A1 (en) 2017-12-19 2019-06-27 Intel Corporation Device, system and method for varying a synaptic weight with a phase differential of a spiking neural network
US20190228285A1 (en) * 2018-01-24 2019-07-25 The Regents Of The University Of Michigan Configurable Convolution Neural Network Processor
CN111417963B (zh) 2018-11-01 2021-06-22 P·A·范德梅德 改进的尖峰神经网络

Also Published As

Publication number Publication date
CN113537471A (zh) 2021-10-22
AU2019372063A1 (en) 2021-06-10
EP3874411A1 (en) 2021-09-08
AU2021254524B2 (en) 2022-07-28
EP3874411A4 (en) 2022-08-03
AU2019372063B2 (en) 2022-12-01
US20230026363A1 (en) 2023-01-26
US11468299B2 (en) 2022-10-11
WO2020092691A1 (en) 2020-05-07
CN111417963A (zh) 2020-07-14
CN111417963B (zh) 2021-06-22
CN113537471B (zh) 2024-04-02
KR20210098992A (ko) 2021-08-11
US11657257B2 (en) 2023-05-23
AU2021254524A1 (en) 2021-11-11
US20200143229A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
JP2022509754A (ja) 改良されたスパイキングニューラルネットワーク
CN107563497B (zh) 用于稀疏人工神经网络的计算装置和运算方法
KR102545128B1 (ko) 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템
JP2022541909A (ja) 再構成可能な時間符号化畳み込みスパイキングニューラルネットワークにおける特徴のイベントベースの分類
KR20210127133A (ko) 탄력적인 뉴럴 네트워크
Koulakov et al. Encoding innate ability through a genomic bottleneck
US10832121B2 (en) Transform for a neurosynaptic core circuit
CN111340194B (zh) 脉冲卷积神经网络神经形态硬件及其图像识别方法
Li et al. Performance analysis of fine-tune transferred deep learning
CN112598119B (zh) 一种面向液体状态机的神经形态处理器片上存储压缩方法
CN114766024A (zh) 用于修剪神经网络的方法和设备
Tareen et al. Convolutional neural networks for beginners
JP2023526915A (ja) アナログ人工知能ネットワーク推論のための行単位畳み込みニューラル・ネットワーク・マッピングのための効率的なタイル・マッピング
AU2022287647B2 (en) An improved spiking neural network
Sugiarto et al. Understanding a deep learning technique through a neuromorphic system a case study with spinnaker neuromorphic platform
Bihl et al. Exploring spiking neural networks (SNN) for low Size, Weight, and Power (SWaP) benefits
Ali et al. FlexPooling with Simple Auxiliary Classifiers in Deep Networks.
Negi et al. Devanagari character recognition using artificial neural network
AU2023214246A1 (en) Event-based extraction of features in a convolutional spiking neural network
Domen et al. Implementation of Massive Artificial Neural Networks with Field-programmable Gate Arrays
Naylor Design and application of neurocomputers
Tien Neural Petri nets and their applications to combinatorial games

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221031

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221031

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231025

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240517