JP2016027485A - 発振を使用したメモリのためのロバストなニューラル時間符号化、学習、およびセル・リクルートメントの方法および装置 - Google Patents

発振を使用したメモリのためのロバストなニューラル時間符号化、学習、およびセル・リクルートメントの方法および装置 Download PDF

Info

Publication number
JP2016027485A
JP2016027485A JP2015179468A JP2015179468A JP2016027485A JP 2016027485 A JP2016027485 A JP 2016027485A JP 2015179468 A JP2015179468 A JP 2015179468A JP 2015179468 A JP2015179468 A JP 2015179468A JP 2016027485 A JP2016027485 A JP 2016027485A
Authority
JP
Japan
Prior art keywords
synaptic
neuron
circuit
input
neuron circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015179468A
Other languages
English (en)
Other versions
JP6092334B2 (ja
Inventor
ジェイソン・フランク・ハンジンジャー
Frank Hunzinger Jason
ビクター・ホッキウ・チャン
Hokkiu Chan Victor
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016027485A publication Critical patent/JP2016027485A/ja
Application granted granted Critical
Publication of JP6092334B2 publication Critical patent/JP6092334B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】効率的な時間的パターンメモリのためのロバストネス、信頼度または完全性符号化およびセル・リクルートメントのためのスケーラブルな時間的ニューラルモデルへ拡張し、単に入力または入力の順序の一致ではなく、時間的パターンを見分けるため、一貫性があるが、複雑さが低減され、時間的スパイク信号パターンを符号化し、復号し、認識し、学習する方法を提供する。
【解決手段】ネットワークのニューロン回路に各々がシナプス重みのうちの１つのシナプス重みと時間遅延とに関連付けられるシナプス入力を提供し、シナプス入力を含むニューロン回路の入力が増加したら、重み付けされ遅延されているシナプス入力の各々をラッチする。入力があったらまたは入力の増加に基づいてニューロン回路がスパイクしたら、そのシナプス入力に関連付けられたシナプス重みの変化を決定するために、ラッチされたシナプス入力に学習ルールを適用する。
【選択図】図１５

Description

本開示のいくつかの態様は、一般に、神経システム工学に関し、より詳細には、発振（oscillations）を使用したメモリのためのロバストなニューラル時間符号化、学習、およびセル・リクルートメント（cell recruitments）の方法および装置に関する。
神経システムのニューロンは、時限式スパイクの形態で時間コード（temporal codes）を使用して時間的に情報を通信することができる。この理由から、符号化（coding）および復号の方法、ならびに、そのような時間的情報を学習する方法は、主要な関心事である。
特に、他の時間的パターン方法とは対照的に、単に入力または入力の順序の一致ではなく、時間的パターンを見分けることが望まれる。本開示は、生物学的に着想を得ており／一貫性がある（biologically-inspired/consistent）が、複雑さが低減され、時間的スパイク信号パターンを符号化し、復号し、認識し、学習することができる方法を提供する。
本開示のいくつかの態様は、スパイキングニューロン回路のネットワークをニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージする方法を提供する。本方法は、一般に、ネットワークのニューロン回路にシナプス入力を提供することであって、シナプス入力の各々がシナプス重みのうちの１つのシナプス重みと時間遅延とに関連付けられた、提供することと、シナプス入力を含むニューロン回路の入力が増加したら、重み付けされ遅延されているシナプス入力の各々をラッチすることと、入力があったら、または入力の増加に基づいてニューロン回路がスパイクしたら、そのシナプス入力に関連付けられたシナプス重みの変化を決定するために、ラッチされたシナプス入力に学習ルールを適用することとを含む。
本開示のいくつかの態様は、スパイキングニューロン回路のネットワークをニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージするための電気回路を提供する。本電気回路は、一般に、ネットワークのニューロン回路にシナプス入力を提供するように構成された第１の回路であって、シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、第１の回路と、シナプス入力を含むニューロン回路の入力が増加したら、重み付けされ遅延されているシナプス入力の各々をラッチするように構成された第２の回路と、入力があったら、または入力の増加に基づいてニューロン回路がスパイクしたら、そのシナプス入力に関連付けられたシナプス重みの変化を決定するために、ラッチされたシナプス入力に学習ルールを適用するように構成された第３の回路とを含む。
本開示のいくつかの態様は、スパイキングニューロン回路のネットワークをニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージするための装置を提供する。本装置は、一般に、ネットワークのニューロン回路にシナプス入力を提供するための手段であって、シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、手段と、シナプス入力を含むニューロン回路の入力が増加したら、重み付けされ遅延されているシナプス入力の各々をラッチするための手段と、入力があったら、または入力の増加に基づいてニューロン回路がスパイクしたら、そのシナプス入力に関連付けられたシナプス重みの変化を決定するために、ラッチされたシナプス入力に学習ルールを適用するための手段とを含む。
本開示のいくつかの態様は、ニューラルネットワークのニューロン回路の発火率を調節する方法を提供する。本方法は、一般に、時間期間内のニューロン回路の発火の数をカウントすることによって、ニューロン回路の発火率を定期的に計算することと、発火率が下限を下回るか、または上限を上回るかを決定することと、決定に基づいてステップ量によって発火率を調整することとを含む。
本開示のいくつかの態様は、ニューラルネットワークのニューロン回路の発火率を調節するための電気回路を提供する。本電気回路は、一般に、時間期間内のニューロン回路の発火の数をカウントすることによって、ニューロン回路の発火率を定期的に計算するように構成された第１の回路と、発火率が下限を下回るか、または上限を上回るかを決定するように構成された第２の回路と、決定に基づいてステップ量によって発火率を調整するように構成された第３の回路とを含む。
本開示のいくつかの態様は、ニューラルネットワークのニューロン回路の発火率を調節するための装置を提供する。本装置は、一般に、時間期間内のニューロン回路の発火の数をカウントすることによって、ニューロン回路の発火率を定期的に計算するための手段と、発火率が下限を下回るか、または上限を上回るかを決定するための手段と、決定に基づいてステップ量によって発火率を調整するための手段とを含む。
本開示の上述の特徴を詳細に理解することができるように、添付の図面にその一部が示された諸態様を参照することによって、上記で概要を示した、より具体的な説明が得られる。しかしながら、それらの説明が他の等価の有効な態様を容認し得るので、添付の図面は、本開示の特定の典型的な態様のみを示しており、したがって、本開示の範囲の限定するものとみなされるべきではないことに留意されたい。
本開示のいくつかの態様による例示的なニューロンのネットワークを示す図。 本開示のいくつかの態様による例示的な相対遅延ニューロンモデルを示す図。 本開示のいくつかの態様による樹状モデルによる相対遅延入力の例示的な再アラインメントを示す図。 本開示のいくつかの態様による学習曲線の例示的な時間的シフトを示す図。 本開示のいくつかの態様による学習曲線の例示的な時間的シフトおよび感度減衰を示す図。 本開示のいくつかの態様によるダイナミックスパイキングヘブルール方法（dynamic spiking Hebbian rule method）によって得られる例示的な学習曲線を示す図。 本開示のいくつかの態様による相対遅延ニューロンモデルのロバストネス態様の一例を示す図。 本開示のいくつかの態様による完全性符号化（integrity coding）の基本的な触媒としての例示的な単一の発振を示す図。 本開示のいくつかの態様による例示的な発振基準および完全性時間符号化を示す図。 本開示のいくつかの態様による例示的な発振基準および完全性レート符号化を示す図。 本開示のいくつかの態様によるメモリのための特定のセルのリクルートメントのための接続性の一例を示す図。 本開示のいくつかの態様によるメモリのための特定のセルのリクルートメントのための例示的な時間的ビューを示す図。 本開示のいくつかの態様による、時間的パターンを高度に分解可能なサブパターンに分けるために発振を使用する一例を示す図。 本開示のいくつかの態様によるパターンを関連付けるために発振を使用する一例を示す図。 本開示のいくつかの態様によるニューロン回路のネットワークで実行され得る例示的な動作を示す図。 図１５に示した動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様によるニューラルネットワークのニューロン回路で実行され得る他の例示的な動作を示す図。 図１６に示した動作を実行することが可能な例示的な構成要素を示す図。
詳細な説明
添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得るものであり、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈すべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるために与えるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載の態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、本明細書に記載の本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示する本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。
「例示的」という単語は、本明細書では、「例、事例、または例示の働きをすること」を意味するために使用する。本明細書で「例示的」として説明するいかなる態様も、必ずしも他の態様よりも好適または有利であると解釈すべきではない。
本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。詳細な説明および図面は、限定的なものではなく本開示を説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびその均等物によって規定される。
例示的な神経システム
図１は、本開示の特定の態様による、複数のレベルのニューロンを含む例示的な神経システム１００を示す。神経システム１００は、シナプス結合のネットワーク１０４を介して別のレベルのニューロン１０６に接続されたあるレベルのニューロン１０２を含み得る。簡単のために、図１には２つのレベルのニューロンのみが示されているが、典型的な神経システムには、より少ないまたはより多くのレベルのニューロンが存在し得る。
図１に示すように、レベル１０２における各ニューロンは、前のレベル（図１には図示せず）の複数のニューロンによって生成され得る入力信号１０８を受信することができる。信号１０８は、レベル１０２のニューロンの入力電流を表し得る。この電流は、ニューロン膜に蓄積されて、膜電位に充電し得る。膜電位がその閾値に達すると、ニューロンは、発火し、次のレベルのニューロン（たとえば、レベル１０６）に伝達されるべき出力スパイクを生成し得る。
図１に示すように、あるレベルのニューロンから別のレベルのニューロンへのスパイクの伝達は、シナプス結合（または単に「シナプス」）のネットワーク１０４を通じて達成され得る。シナプス１０４は、レベル１０２のニューロンから出力信号（すなわち、スパイク）を受信し、調整可能なシナプス重みｗ１ (i,i+1)，．．．，ｗＰ (i,i+1)（Ｐは、レベル１０２のニューロンとレベル１０６のニューロンとの間のシナプス結合の総数）に従って、それらの信号をスケーリングし、スケーリングされた信号をレベル１０６における各ニューロンの入力信号として結合することができる。レベル１０６におけるあらゆるニューロンは、対応する結合された入力信号に基づいて、出力スパイク１１０を生成し得る。出力スパイク１１０は、次いで、シナプス結合の別のネットワーク（図１には図示せず）を使用して、別のレベルのニューロンに伝達され得る。
神経システム１００は、電気回路によってエミュレートされ得、たとえば画像およびパターン認識、機械学習、モータ制御など、広い適用範囲において利用され得る。神経システム１００における各ニューロンは、ニューロン回路として実装され得る。出力スパイクを開始する閾値までチャージされたニューロン膜は、たとえば、それを通って流れる電流を積分するキャパシタとして実装され得る。
一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除去されることができ、その代わりにより小さいメモリスタ要素が使用され得る。この手法は、ニューロン回路において、ならびにかさばるキャパシタが電流積分器として利用される様々な他の用途において適用され得る。さらに、シナプス１０４の各々は、メモリスタ要素に基づいて実装され得、シナプスの重みの変化は、メモリスタ抵抗の変化に関連し得る。ナノメートルのフィーチャサイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され、これによって、非常に大規模な神経システムハードウェア実装形態の実装が実用的になり得る。
神経システム１００のニューロン回路は時限式スパイクの形態のいわゆる時間コードを使用して時間的に情報を通信すし得るので、符号化および復号方法ならびにそのような時間的情報を学習する方法は、主要な関心事である。本開示のいくつかの態様は、他の時間的パターン方法とは対照的に、単に入力または入力の順序の一致ではなく、時間的パターンを見分けるための方法をサポートする。さらに、本開示は、生物学的に着想を得ており／一貫性があるが、複雑さが低減され、時間的スパイク信号パターンを符号化し、復号し、認識し、学習することができる実用的な方法を提案する。本開示では、効率的な時間的パターンメモリのためのロバストネス、信頼度または完全性符号化、およびセル・リクルートメントのためのスケーラブルな時間的ニューラルモデルへの拡張が提案される。提案された手法は、発振またはリズムおよび同期性の実験的な証拠によって生物学的に着想を得ており、また同時に、モデリングの複雑性を低減するように動機付けられる。
相対遅延線および樹状遅延線
本開示では、シナプスにおける入力間の相対遅延、シナプスにおける入力と基準入力との間の相対遅延、またはその両方に基づいてニューロンの挙動が決定され得る方法が提案される。時間符号化モデルの基本的な態様が図２に示される。ニューロン２０２、２０４、２０６、２０８（すなわち、入力ニューロン）から出力されたスパイクの空間時間的パターンは、ニューロン２１０のためのスパイク入力を構成し得る。各入力ニューロンは、ニューロン２１０の１つまたは複数の樹状突起において１つまたは複数のシナプスを介してニューロン２１０に接続することができる。各シナプスは、ニューロン２０４とニューロン２１０とを接続しているシナプス２１２について図２に示すように、ニューロン２１０の細胞体に到達する前に入力ニューロンからのスパイクが受ける時間遅延を特徴付ける関連する遅延を有し得る。図２に示すように、入力は、遅延および統合の前にスケーリングを受け得る。代替的に、入力は、大規模なネットワークにおける処理低減のためのスケーリングの前に遅延を受け得る。
この方法を使用して、ニューロンは、入力ニューロンの出力において空間時間的（入力ニューロンという意味では空間的、相対的なスパイクタイミングまたはスパイク間の時間差という意味では時間的）パターンを認識することができる。これは図３に示されており、入力ニューロン３０２、３０４、３０６、３０８が異なる時刻にスパイクし得る。しかしながら、樹状突起における遅延の結果、入力ニューロンからの信号は、時間的に整列されて出力ニューロンｘの細胞体に到達し得る。したがって、時刻ｔにおける出力ニューロンｘへの入力は、入力ニューロンの遅延された出力の関数として表される：
Figure 2016027485
式中、ｊはシナプスインデックス、ｉjはシナプスｊが接続する入力ニューロン、ｎjはΔｔの単位のシナプス遅延、ｖi（ｔ）は入力ニューロンｉの出力、ｗjはシナプス重みである。式（１）では、シナプス遅延は、合計遅延が抽出（abstract）される遅延を表す。その合計遅延は、デジタルアナログ遅延（すなわち、活動電位（ＡＰ：action potential）からシナプス後電位（ＰＳＰ：post-synaptic potential）への変換のための時間）に起因する実際のシナプス遅延、樹状遅延（すなわち、ＰＳＰが細胞体に到達するための受動的な移動時間）、または他の遅延（たとえば、異なる層または数のニューロンを通る経路に起因する軸索遅延またはネットワークアーキテクチャ遅延）のうちの１つまたは複数（の組合せ）に起因し得る。
ニューロン３０２、３０４、３０６、３０８の発火の実際のタイミングは、図３に３１０と標示されている。シナプスに対応する特定の遅延（すなわち、時間遅延分解能Δｔの倍数によって示される）があるので、遅延の後の入力のタイミングは、相対遅延がいったん考慮に入れられた後には（図３に３１２と標示されている）、整列してもよく、整列しなくてもよい。いくつかのシナプスが、長すぎて（たとえば、遅延３１４を有するシナプス）、または短すぎて（たとえば、遅延３１６を有するシナプス）他のシナプスの遅延と一致しない遅延に関連付けられることが、図３から観察される。一態様では、これらの短いおよび長い遅延は、認識されたパターンから破棄され、または認識されたパターンに追加されないことが可能であり、一方、結果として一致する遅延されたスパイクになる遅延は、認識されたパターンに対応するように保持または追加され得る。
本開示の好ましい態様では、整数ミリ秒の離散時間遅延を利用することができる（すなわち、時間遅延分解能Δｔ＝１ｍｓの倍数の遅延）。しかしながら、一般に、任意の離散的または連続的な分解能が使用され得る。離散的なモデルでは、遅延は、整数ｎxiによって表され得、ｘは入力ニューロン（たとえば、図３のニューロン３０２）であり、ｉは、各入力に対する１つまたは複数のシナプスが存在し得るので、その入力ニューロンに関するシナプスインデックスである。
以下に、ロバストな形で空間時間的パターンをどのように学習するかを示す。
スパイクベースのヘブ学習方法（SPIKE-BASED HEBBIAN LEARNING METHOD）
本開示では、まず、時間符号化および学習のためのロバストな低減された方法が提案される。次に、この方法は、発振およびリズムを使用したさらなるロバストネスの方法のためのベースとして利用され得る。本開示の態様では、メモリのためのセル・リクルートメントのために、これらの２つの方法が一緒に使用され得る。
ヘブ学習ルールは、一般的に、レート符号化または他のウィンドウ化されたニューロンモデルに基づいて動作し、試行時間ウィンドウにわたる発火出力に基づいてシナプス重みを調整する。しかしながら、スパイクベースのモデルは、必ずしも発火を引き起こす役目を果たす特定の入力と一致するとは限らない特定の遅延で発火し得る、ニューロンの精密なタイミング挙動を再現するために使用され得る。低減されたモデルで使用される方法は、これらの差を調整することを可能にする。
一般に、ヘブ学習は、入力と出力が同時に起こるときに、入力を出力と関連付ける（接続する（wires together））学習を指す。しかしながら、様々なそのようなルールおよび関連する変形は、特定の時間的態様ゆえに、本開示において提案される方法に関連すると考えられ得る。レート符号化では、一般にヘブ原理による関連付けのための時間ウィンドウ中に発火している２つのニューロンを考慮し得る。しかしながら、提案された方法では、個々のスパイクの相対的タイミングが考慮され得る。さらに、ニューロンが入力後にいくらか遅延を伴って発火し得る（因果性（causality））ので、個々のスパイクレベルで挙動を考えるときには、「同時性（simultaneity）」が必ずしも最適な関連条件とは限らない場合がある。これは、以下で説明する理由のために重要であり得る。
シナプスの重みを学習することは、一般的に、シナプス可塑性と呼ばれ得る。スパイクタイミング依存可塑性（ＳＴＤＰ：Spike-Timing-Dependent Plasticity）では、学習におけるシナプスの重みの調整は、一般的に、ΔＴによって表される、シナプス前入力スパイクが発生するときと、シナプス後ニューロンが発火するときとの間の時間差に関して説明され得る。ここでは、正の値は、シナプス前入力がシナプス後ニューロンの後で発火したことを意味する表記法が使用され得る。学習は、時間差値の範囲にわたる重み調整の量および方向を表す曲線として表すことができる。標準ＳＴＤＰ曲線が原点で不連続性を有することに留意されたい。
しかしながら、学習曲線の重要な面は、シフトであり得る。シフトされた曲線の例が図４および図５に示される。図４は、本開示のいくつかの態様による学習曲線の時間的シフトの一例４００を示す。図５は、本開示のいくつかの態様による学習曲線の時間的シフトおよび感度減衰の一例５００を示す。シフトが他の態様、たとえば強化またはデエンファシスの変形または他の形状態様などと結合され得ることに留意されたい。
重み学習曲線のそのようなシフトは、様々な理由から動機付けられ得る。まず、（たとえば、細胞体の時定数など）ニューロンの脱分極遅延（depolarization delay）に対応することが望まれ得る。言い換えれば、ニューロンの生物学的に動機付けられたダイナミックモデルの場合のように発火が遅延される場合、十分に脱分極している入力の後、ただしニューロンが発火する前に、期せずして到着し得る外来の入力についてのシナプスの重みを補強することが必要ではない可能性がある。図５に示すように、これは左の方に曲線をシフトすることによって防止され得、これは、ニューロンが外来の入力時の方に前方にスライドするのをさまたげ得る。第２に、公称の学習曲線形状ゆえに（すなわち、入力がますます早く到着し、したがって、発火をますます早く生じさせることでシナプスを補強する）、ニューロンがパターンの一部を学習し、パターンのより初期の部分に向かって歳差運動を始めた場合に起こり得るスライディング効果を制御する（制限する）ことが望まれ得る。これは、曲線を右にシフトさせて、非因果的入力の狭いウィンドウを補強することによって防止され得、このことは、ニューロンが後方にスライドするのをさまたげ得る。
理論的な神経科学の分野において適用される代表的なヘブ可塑性ルール、たとえばＯｊａルールまたはＢＣＭルール（Ｂｉｅｎｅｎｓｔｏｃｋ−Ｃｏｏｐｅｒ−Ｍｕｎｒｏルール）およびそれらの変形は、重み調節効果を有し、これらのルールから生じる学習を安定させることができる。たとえば、Ｏｊａのルールは、次式によって与えられる重み変化を（ベクトルとして）提供することができる。
Figure 2016027485
式中、ｖはニューロンの出力、ｕはニューロンの入力、τは重み適応（学習）レートを制御する時定数、およびαは正規化を制御するパラメータである。定常状態ではｕ＝αｖｗであることがわかる。したがって、一致する入出力では、重みは、１／αの値に正規化され得る。これは、レギュレーションまたはいわゆるホメオスタシスの効果を有し得る。本開示では、ニューロンレギュレーションまたはホメオスタシス（たとえば、長期の発火率を一定に保つ）が重要な構成要素であることが提案される。したがって、ＳＴＤＰまたは図４〜図５に示したような曲線を使用するときには（ＯｊａルールまたはＢＣＭルールとは対照的に）、ニューロンレギュレーションまたはホメオスタシスの追加は重要であり得る。
ホメオスタシスに関して、特定の発火率を目標とするよりも、ニューロンが発火率範囲内で動作することができることが推奨され得る。したがって、本開示において、レートが上限または下限範囲を超える場合のみ、閾値（または入力）がスケーリングされることが提案される。このことは、様々なパターン密度に対して安定性ならびに柔軟性を提供し得る。したがって、そのような調整がゆっくり、すなわち、少なくとも複数のパターン曝露の順序で行われ、段階的に適用されることを提案する。
しかしながら、直接そのような学習曲線を実際に適用することなく（すなわち、複雑さが低減されたモデル）、ＳＴＤＰのような効果（曲線）が再現され得ることが観察され得る。むしろ、Ｏｊａルールなどのヘブルールを使用して、Ｉｚｈｉｋｅｖｉｃｈの簡単なモデルなどのダイナミックスパイキングニューロンモデルに結合されたときには、上記で説明した時間的学習曲線効果を観察することが可能であり得る（実験的に観察されたＳＴＤＰ曲線または説明した変形と同様であるかどうかにかかわらず）。
ダイナミックスパイキングヘブルール方法から得られる学習曲線の一例が図６に示される。生物学的に観察された（理想化された）ＳＴＤＰ曲線との類似点がある一方、実際のデータポイントがゼロ近くでやや分散される生の生物学的観察データと矛盾しない差が存在し得ることに留意されたい。これは、上記のような異なる曲線を検討する動機づけも表し得る。一態様では、可励起性を促進し、遅延応答の学習および分布を加速するために、重みを最初に高く設定することができる。図６に示した平均曲線６０２および正の変化曲線６０４の平均を観察することによって、最適な時間的可塑性曲線が通常レンダリングされるように正確ではない可能性があるという洞察が提供され得る。曲線６０４の比較的平坦なテールが非因果的（左側の）遅延の限られた負の影響として観察され得る。
しかしながら、学習曲線を直接適用することなくこれらの効果を得ることは、重要な構成要素、すなわち、その入力がラッチされることを必要とし得る。ＯｊａルールまたはＢＣＭルールのような学習ルールが一般的に発火率に関して入力および出力を前提とし得るので、ラッチは重要であり得るのに対して、ダイナミックスパイキングモデルは、入力からのいくらかの遅延の後、スパイクし得る。これを達成する１つの方法は、全入力が増加するときに入力をラッチし、発火までラッチを維持することであり得る。次いで、ラッチコンテンツおよび発火が学習ルールに従って利用され得る。
上記の態様は、時間的可塑性の以下の低減されたモデルにおいて見ることができる。図６に示した図は、発火と入力（シナプスにおける）との間の遅延に応じた、平均重み変化６０２、平均の正の重み変化６０４、および平均の負の重み変化６０８で重み変化６０６の分散プロットをオーバーレイする。ラッチ動作は、数学的に以下のように表され得る。
Figure 2016027485
Ｏｊａ学習ルール（またはＢＣＭもしくは他のルール）を適用するときには、発火時に入力の現在値ｕ（ｔ）を使用する代わりに、入力のラッチされたバージョンｕlatchが使用され得る。これは、いくつかの利点を有する可能性がある。第１に、タイムスタンプを記憶し、学習曲線を適用するために時間遅延を計算する必要がない。さらに、小さいメモリ（ラッチ）を利用することができる。（たとえば、ダイナミックスパイキングモデルにおいて）ニューロンが再び発火する前に入力が増加し得るので、これが機能し得る。さらに、このラッチ条件（latch condition）の変形が使用され得る。たとえば、最後の発火以来の最大の全入力が利用され得、これは、入力後樹状遅延（input post dendritic delay）と呼ばれ得る。
学習安定性
ヘブルールを適用するにせよ、ＳＴＤＰ状効果を適用するにせよ、本開示では、重みが許容される、さらには分極させる（たとえば、パターンの安定した学習時に、０または１に向かう双極性の傾向）ように設計されることが提案される。言い換えれば、学習ルールは、学習ニューロンでは重みを分極させ、非学習ニューロン（他のメモリのために予約されている、または所与のパターンを符号化するために競争を失っているニューロン）については重みを脱分極させることが提案される。
この理由は、学習ルール（ＳＴＤＰ、ヘブ、またはそれ以外）の適用に起因する双極性の状態（０または１の傾向がある重み）が、複数のパターンまたはサブパターンを学習するときに安定性の利点を有し得るということである。これは、学習ルールの性質（たとえば、加法または乗法の性質）に関し得る。一態様では、ニューロンは、次いで提案に従って学習し、したがって双極性の重み状態に達するパターンに曝露され得る。そのような双極性の重み（その前の刺激を学習した）を有するこのニューロンの、新しい刺激（異なる時間的パターン）へのその後の暴露は、重みの擾乱の機会をより少なくし得る。したがって、ニューロンが前のパターンを学習しないことは、学習ルールが重みを０と１（双極性でない）との間に分散されたままにしておく場合より、可能性が低くなり得る。
技術的には、０または０近くの重みについては、前のパターンとは逆にそれらを補強するために学習係数が乗じられ、重みが０または０近くにあることにより変化が最小限であり得るので、これが起こり得る。さらに、１の近くの重みでは、前のパターンとは逆にそれらに重みをおかないために１未満の学習係数が乗じられ、重みが１または１近くにあることにより変化が最小限であり得る。一方、重みが中程度の（または脱分極された）単純な（naive）シナプスは、新しいパターンのためにリクルートメントされる可能性がはるかに高い場合がある。したがって、一般に、重みを調整するためにどんな方法が使用されようとも、（ａ）重みが競争的獲得（所与のパターンの学習）において分極するべきである、（ｂ）そうでなければ脱分極すべきである（所与のパターンを学習するために割り当てられないニューロン）、および（ｃ）学習ルールは、分極重みは容易に脱分極されないように設計されるべきであることが提案される。
ロバストネスおよび信頼度の向上
本開示のいくつかの態様は、パターンマッチの信頼度またはロバストネスを効率的に測定する方法およびそれを時間コードに変換する方法をサポートする。図７は、シナプスの重み、樹状遅延、および同じパターンに曝露されたときの結合の結果として、さまざまな大きさのニューロンの細胞体への一致する入力（coincident input）の３つのケースについての一例７００を示す。
発火閾値を超えるために、結合された一致する入力は、一般に、（静止電位に対して）閾値を超える必要があり得ることに留意されたい。シナプスの重み、閾値、および数の寄与について、さらなる説明で示される。図７に示されるケース７０２では、一致するシナプスが少なすぎる可能性がある（または、重みが少なすぎる、または閾値７０８が高すぎる）。ケース７０４では、反対のことが行われ得る。ケース７０６の場合のみ、マッチが完全となり得る。ケース７０４は、見通し、情況、または雑音レベルに応じて、緩い（冗長）またはロバストのいずれかであるとみなされ得る。同様に、ケース７０６は、完全である（精密または効率的）または敏感である（脆い、非ロバスト）とみなされ得る。
所与の発火では、一致する遅延（単に互いと比較してだけでなく他の入力との組合せと比較して）およびそれらの重みを有するシナプスの合計によって、単一の入力ニューロンの全寄与が決定され得ることにも留意されたい。それらのシナプスについての入力ニューロンにわたる合計の一致する入力が閾値７０８未満である場合、発火は発生しない場合がある。一方、それらのシナプスについての入力ニューロンにわたる合計の一致する入力が閾値７０８を上回る場合、発火が発生し得る。このことは、問題を含み得、それを図７から観察することができる。ケース７０４として図示されたように、ニューロン７１０からの入力パターンなど、パターンのいくつかの部分が発火に必要でない場合がある。したがって、パターンマッチ信頼度は、低くなり得る。
ロバストネスに対するソリューション
本開示では、ロバストネスに関するこれらの上記の問題を解決するための１つまたは複数の態様の組合せが提案される。第１に、ニューロンレギュレーションまたはホメオスタシスは、数、重み、またはそれ以外に関して、寄与する入力の合計寄与を制御または正規化するために使用され得る。したがって、ターゲットパターンが図７のケース７０６に対応するように、ニューロンの入力レベルが調整され得る（すなわち、十分に閾値７０８以上であるが、正しいパターンなしに発火をもたらすのにかけはなれすぎない）。実際、入力レベルは、重みをスケーリングすることによって調整され得る。また、これらの重みは、所望のロバストネス（余分の入力）を与えるように調整され得る。これは、信頼度または完全性符号化方法の以下の説明の構成単位であり得る。
図８に示した入力ニューロン８０２、８０４、８０６、８０８の時間的スパイクパターンに出力ニューロンｘがマッチすることが望まれ得る。発振８１０が膜電位または発火閾値に導入される場合、出力ニューロンｘが入力を考慮するときの位相に依存することにより、パターンにマッチするには入力がどれくらい精密である必要があるかが決まり得ることに留意されたい。一態様では、最高の精度は、発振８１０のトラフ８１２で必要とされ得る。しかしながら、８１４さらには８１６において、ニューロンに点火するために、あまり精度は必要とされない場合がある。たとえば、８１４では、ニューロン８０２からのスパイクは完全に失われている可能性があり、８１６では、ニューロン８０６からのスパイクは必要とされない場合がある。
次に、図９に示すように、基準発火が含まれ得る。発振９０２は、（たとえば正弦曲線９０２のトラフにおいて）基準ニューロン発火９０４との組合せで、信頼度を時間コードに変換するために使用され得る。図９に示すように、ニューロン発火を認識するパターンが基準（トラフ）９０４に近ければ近いほど、より良くマッチする。したがって、基準ニューロン９０４の出力およびマッチャニューロン９０６の出力がニューロン９０８に供給される場合、ニューロン９０８の時間的に符号化された出力は、スパイキングパターン９１０を検出する信頼度の目安として使用され得る。
パターン９１０の鍵となる性質は、入力ニューロン９１２、９１４、９１６、９１８のスパイクタイミングであり得る。さらに、基準ニューロン９０４は、発振９０２に基づいて特定の位相に発火することができる。マッチにおける信頼度は、ニューロン９０６によって評価され得るが、アラインメントに対応する遅延によって学習することができる（または構成され得る）ニューロン９０８に、ニューロン９０６および基準ニューロン９０４の出力が提供される。たとえば、１つの可能な構成は、ニューロン９０６の出力が発振トラフとアラインしている場合には、ニューロン９０８は発火し、そうでない場合には発火しないようにすることができる。この例は、一般に、発振位相に対する任意の対応が決定され、時間的に符号化され得ることを示す。
発振９０２の上に向かう波（または下に向かう波）の間、候補ｘ（または別の変形ｙもしくはｚ）が発火する場合、パターン９１０は、正確にマッチしない場合があることにも留意されたい。一態様では、時間差を基準時間にマッチさせることによって、ニューロン９０８は、そのより劣った品質を時間的に符号化するように容易に構成（または学習）され得る。時間符号化ニューロンモデルがこれらのニューロンのすべてのための基礎として利用されることに留意されたい。
本質的に、信頼度は、発振位相、膜時定数、および一致する入力の数および重みによって決まり得る。したがって、発振は、（ａ）入力の数に対する感度を増減するため、（ｂ）入力の一致に対する感度を増減するため、または（ｃ）その両方のために使用され得る。
確率的信頼度およびレート符号化
信頼度は、パターンマッチング確度または信頼度に対してある範囲の感度を有するニューロン群を使用することによって、レートコードとして符号化され得ることに留意されたい。ニューロンの結合されたスパイキングは、総スパイク数または信頼度のレートコードとして機能し得る（すなわち、より多くのニューロン発火はより高い信頼度を意味する）。この目的で、図１０に示すように、様々な精度のニューロン群の出力が、レート符号化信頼度ニューロン１００２に供給され得る。図１０は、２つのパターンケース１００４および１００６を示しており、第１のパターンケース１００４は、すべての精度ニューロンが発火するように、パターンとマッチする入力を有し、信頼度は、ニューロン１００２から高レートスパイクパターン１００８へとレート符号化され得る。第２のケースでは、パターン１００６は、同様にマッチしない場合があり、したがって、ニューロンのサブセットのみが発火する可能性があり、スパイクパターン１０１０によって示されるように、ニューロン１００２は、より遅いレートにレート符号化し得る。
本開示の一態様では、ニューロン１００２は、入力の数に応じて決まる数またはレートで一連のスパイクに点火することができる。これもまた、所望の高レベルのロバストネス効果を達成するために、様々な組合せ（ネットワークアーキテクチャの段階または部分）で、時間符号化の上述した方法と結合されてもよい。
メモリのためのセルのリクルートメント
本開示では、完全性または信頼度および精度の上述した概念が特にメモリの側面に関連することがさらに提案される。図１１は、ネットワーク１１０２によって記憶されることが望ましい特定の入力に曝露され得る多数の相互接続されたニューロンのネットワーク１１０２を示す。答えるべき重要な問題は、ネットワークがこの特定の入力パターンに曝露される次のときそれがこの入力を認識することができるように、ネットワーク１１０２が１つ１つのニューロンの出力を記憶（符号化）することが必要かどうかということである。答えるべき別の重要な問題は、ネットワークがその最上位層（出力）ニューロンのすべての出力を記憶（符号化）することが必要かどうかということである。
本開示では、そのようなグローバルなまたは大容量のメモリが不必要であるだけでなく、非効率的でもあることが示唆される。むしろ、入力パターンを記憶するのに数個の（さらには１つの）ニューロンの出力で十分であり得る方法が提案される。ネットワークシステムおよびメモリによってリクルートメントされるそのようなセルがどのように学習され得るかについても開示される。
本開示では、上記の提案された信頼方法を一部使用することによってメモリのためのキーニューロンを識別するための方法が提案される。発振を適用することが、時間的信頼コードまたは確率的／レートコードによってどのニューロンが特に正確なパターンに調整されるかについてどのように識別することができるかが示される。したがって、特定のメモリについてこのセルを識別し、リクルートメントすることが可能であり得る。次いで、この特定のセルは、学習されるべきメモリセル入力に接続（重み補強）され得る。こうして、メモリセルバンクおよび側抑制により、多くのパターンの非常に効果的な記憶が達成され得る。
このことは、ネットワーク層１１０２が抽出（abstract）される図１１の状況で説明することができる。入力１１０４は、ネットワーク１１０２に供給され得、ニューロン１１０６、１１０８、１１１０は、ネットワーク１１０２において少しのニューロンしか表していない可能性がある。どれが所与の入力について最も精密な時間符号化のマッチであるかを決定し、（たとえばニューロン１１０６など）メモリセルのための優位の（または唯一の）入力としてそれを割り当てることが可能であり得る。ある意味では、ニューロン１１０６は、「メモリニューロン」と呼ぶことができるが、ｍセル１１１２は、それが発振基準１１１４の一致およびニューロン１１０６の出力を符号化できるので、メモリセルと呼ばれる。
この選択プロセスは、ヘブ学習ルールで実行することもできる。したがって、メモリニューロンが一致を学習するように、一致する入出力が一緒に接続され得る。この場合、多くのネットワークニューロンは、最初に１つまたは複数のメモリセルに接続され、次いで、重みを適応させることによって、基準との対応が学習され得る。たとえば、図１１では、ニューロン１１０６とセル１１１２とを接続するシナプスの重みは、強い重みを表し得る。時間符号化がネットワーク層で起こり得るので、時間的パターンモデルがメモリニューロンのために必要とされない可能性があることに留意されたい。これについては、図１２の状況で説明され得る。
図１２では、ニューロン１２０２は、発振トラフから最少のオフセットで発火するので、入力パターンを最も精密に符号化することが明らかである。最小の時間符号化遅延範囲を有するメモリセル（すなわち主に一致コーダ）が使用される（すなわち、メモリセル１２０４）場合、メモリセル１２０４は最も一致する入力、入力１２０２および１２０６について発火するように訓練され得る。したがって、最少のリソース（ニューロン）を有する入力パターンを記憶するためのメカニズムが、本開示において開示され得る。
長時間フレームにわたるロバストネス
さらに、本開示では、異なる発振周波数またはオフセットを受けるネットワーク（図１３に示される例）の異なる部分に入力を供給することによって、入力の時間的パターンのこれらの部分がそれらのネットワーク部分内のロバストなパターンマッチングのために切り離され（分離され）得、次いで結果が再結合され得ることが提案される。非常に効率的なネットワークにおいて、これは、一方または他方において発振ピークとして２つのネットワーク部分の間で前後にパターンマッチングを渡すことによっても起こり得る。
ネットワークは、ただ１つの発振およびパターンのサンプル部分だけで構成されることもできるが、それによって、セクション間の個々のニューロン状態を「消去」し、符号化／認識忠実度を向上させるために、パターンが明確に分離された部分に分けられる。
時間的に相関するメモリ
一態様では、２つの時間的に符号化された記号的メモリを考慮することができ、それらは互いに接続されている（関連付けられている）ことが望ましい。一態様では、時間的にエンコードされ得る任意の所望の重なりを取得するためにニューロンアセンブリを再アラインメントするために、発振（リズム）が使用され得る。これをどのように行うかを理解するために、上記の時間的信頼符号化構成単位を考慮することができる。
図１４は、空間時間的入力パターン１４０２を示し、長方形は、特定のニューロン（発振がない場合、すなわち高忠実度）によって認識されるパターンの部分を示す。ここで、２つの発振１４０４〜１４０６が追加され得、各リズムが２つの回路に適用され、一方の回路はニューロン１４０８を含み、別の回路はニューロン１４１０を含む。これらの２つの組のニューロンが２つの時間的信頼コードであると見なされる場合、これらのニューロンは、発振の（位相）シフトまたはスケーリング（周波数の変更）によって、２次的な一致符号化のためにアラインメントされ得る。発振上昇位相では、ニューロンは、あまり厳しくない条件であるので、より早く発火し得ることに留意されたい。２つを分解可能な時間ウィンドウに持ってくることによって、それらの関連付けが符号化され得る。
図１５は、本開示のいくつかの態様によるニューロン回路に関連付けられたシナプス重みを学習するためのルールとネットワークをマージするためのスパイキングニューロン回路のネットワークで実行され得る例示的な動作１５００を示す。１５０２において、シナプス入力がネットワークのニューロン回路に提供され、シナプス入力の各々がシナプス重みと時間遅延とに関連付けられる。１５０４において、シナプス入力を含むニューロン回路の入力が増加すると、重み付けされ遅延されているシナプス入力の各々がラッチされ得る。１５０６において、入力されると、または入力の増加に基づいてニューロン回路がスパイクすると、そのシナプス入力に関連付けられたシナプス重みの変化を決定するために、ラッチされたシナプス入力に学習ルールが適用される。
一態様では、その重み付けされ遅延されたシナプス入力は、ニューロン回路が最後に発火して以来、ニューロン回路の入力が最大値であるときに、ラッチされ得る。本開示のいくつかの態様によれば、学習ルールは、たとえばＯｊａ学習ルールなど、実数値のヘブ学習ルールのうちの１つに対応し得る。さらに、適用された学習ルールは、そのシナプス入力に関連付けられたシナプス重みを分極させ得る。また、シナプス入力の定義されたレベルの脱分極からニューロン回路のスパイクまでの遅延を補償するために、学習ルールは、シフトされたＳＴＤＰ学習曲線に関連付けられ得る。
一態様では、時間遅延は、時間遅延分解能の１または複数の倍数に等しくてもよい。ニューロン回路の入力は、シナプス入力の合計を含み得、合計されたシナプス入力の各々は、重みおよび時間遅延（たとえば、式（１）によって定義された）によって特徴付けられるシナプスに関連付けられ得る。
一態様では、ニューロン回路およびシナプス入力は、ダイナミックスパイキングニューロンモデルに関連付けられ得る。別の態様では、ニューロン回路およびシナプス入力は、ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンモデルに関連付けられ得る。
本開示の一態様では、図９に示すように、ニューロン回路の発火とネットワークの基準ニューロン回路の発火との間の時間差が、ネットワークの別のニューロン回路の出力を時間的に符号化するために利用され得る。時間的に符号化された出力は、シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度に関する情報を含み得、一方で、ニューロン回路および基準ニューロン回路の出力は、時間的に符号化された出力を生成するために他のニューロン回路に供給され得る。別の態様では、図１０に示すように、ニューロン回路の出力は、他のニューロン回路の出力を生成するために、ネットワークの他のニューロン回路に提供され得る。この場合、該他のニューロン回路の出力の発火率は、ニューロン回路へのシナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度を示すことができる。
本開示の一態様では、図１１〜図１２に示すように、ネットワークに供給されるスパイキングパターンを記憶するためのメモリセルとして、ニューロン回路のうちの１つが選択され得、一方、ネットワークの基準ニューロン回路の入力において、発振が適用され得る。選択は、そのニューロン回路が１組のニューロン回路の中で発振のトラフに最も近いスパイキングパターンに応答することに基づき得る。
図１６は、本開示のいくつかの態様によるニューラルネットワークのニューロン回路で実行され得る例示的な動作１６００を示す。１６０２において、ある時間期間内のニューロン回路の発火の数をカウントすることによって、ニューロン回路の発火率が定期的に計算される。１６０４において、発火率が下限を下回るか、または上限を上回るかが決定される。１６０６において、決定に基づいてステップ量によって発火率が調整される。
本開示の一態様では、計算された発火率が下限を下回る場合、発火率を調整することは発火率をブーストすることを含み得る。別の態様では、計算された発火率が上限を上回る場合、発火率を調整することは発火率を抑制することを含み得る。
本開示のいくつかの態様によれば、一般的な乗算器が、発火率を調節するために、ニューロン回路のすべてのシナプス入力に適用され得る。一態様では、ステップ量によって発火率を調整することは、適用された乗算器を調整することによって達成され得る。
上記で説明した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々なハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含むことができる。一般に、図に示される動作がある場合、これらの動作は、同様の番号を有する対応する対のミーンズプラスファンクション構成要素を有し得る。たとえば、図１５および図１６に示す動作１５００および１６００は、図１５Ａおよび図１６Ａに示す構成要素１５００Ａおよび１６００Ａに対応する。
本明細書で使用する「決定すること」という用語は、多種多様なアクションを包含する。たとえば、「決定すること」は、計算すること、算出すること、処理すること、導出すること、調査すること、探索すること（たとえば、テーブル、データベースまたは別のデータ構造での探索）、確認することなどを含み得る。また、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ内のデータにアクセスすること）などを含む場合がある。また、「決定すること」は、解決すること、選択すること、選出すること、確立することなどを含むことができる。
本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、個々のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ〜ｂ、ａ〜ｃ、ｂ〜ｃ、およびａ〜ｂ〜ｃをカバーするものとする。
上記の方法の様々な動作は、たとえば様々なハードウェアおよび／またはソフトウェア構成要素、回路および／またはモジュールなど、動作を実施することができる任意の好適な手段によって実施することができる。一般に、図に示すどの動作も、その動作を実行することが可能な対応する機能的手段によって実行され得る。
本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
本開示に関連して説明した方法またはアルゴリズムのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体内に常駐することができる。使用され得る記憶媒体のいくつかの例には、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、取外し可能ディスク、ＣＤ−ＲＯＭなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を含むことができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取り得、その記憶媒体に情報を書き込み得るように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサに一体化され得る。
本明細書で開示する方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを含む。本方法のステップおよび／または動作は、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は特許請求の範囲の範囲から逸脱することなく変更され得る。
説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装した場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を含むことができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ここで使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は、非一時的なコンピュータ可読媒体（たとえば、有形媒体）を含み得る。さらに、他の態様では、コンピュータ可読媒体は、一時的なコンピュータ可読媒体（たとえば、信号）を含み得る。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を含み得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために１つまたは複数のプロセッサによって実行可能である命令をその上に記憶した（および／またはエンコードした）コンピュータ可読媒体を含み得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
ソフトウェアまたは命令はまた、伝送媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。
さらに、本明細書で説明する方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合、ユーザ端末および／または基地局によってダウンロードされ得、および／またはその他の方法で得られ得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明する方法を実施するための手段の転送を容易にするために、サーバに結合することができる。代わりに、本明細書で説明した様々な方法は、ユーザ端末および／または基地局が、記憶手段をデバイスに結合したすぐ後、または提供したすぐ後に、様々な方法を得ることができるように、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理的記憶媒体など）を介して提供することができる。さらに、本明細書で説明する方法および技法をデバイスに与えるための任意の他の適切な技法を利用することができる。
特許請求の範囲は、上記に示した正確な構成および構成要素に限定されないことを理解されたい。上記の方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形を行うことができる。
上記は本開示の諸態様を対象とするが、本開示の他の態様およびさらなる態様が、本開示の基本的範囲から逸脱することなく考案され、本開示の範囲は、特許請求の範囲によって決定される。
上記は本開示の諸態様を対象とするが、本開示の他の態様およびさらなる態様が、本開示の基本的範囲から逸脱することなく考案され、本開示の範囲は、特許請求の範囲によって決定される。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
スパイキングニューロン回路のネットワークを、前記ニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージする方法であって、
前記ネットワークのニューロン回路にシナプス入力を提供することであって、前記シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、提供することと、
前記シナプス入力を含む前記ニューロン回路の入力が増加したら、重み付けされ遅延されている前記シナプス入力の各々をラッチすることと、
前記入力があったら、または前記入力の前記増加に基づいて前記ニューロン回路がスパイクしたら、そのシナプス入力に関連付けられた前記シナプス重みの変化を決定するために、前記ラッチされたシナプス入力に前記学習ルールを適用することと
を含む方法。
［Ｃ２］
前記学習ルールが実数値のヘブ学習ルールを含む、上記Ｃ１に記載の方法。
［Ｃ３］
前記ヘブ学習ルールがＯｊａ学習ルールを含む、上記Ｃ２に記載の方法。
［Ｃ４］
前記時間遅延が時間遅延分解能の１または複数の倍数に等しい、上記Ｃ１に記載の方法。
［Ｃ５］
ニューロン回路の前記入力が、前記シナプス入力の合計を含み、前記合計されたシナプス入力の各々が、前記シナプス重みおよび前記時間遅延によって特徴付けられるシナプスに関連付けられる、上記Ｃ１に記載の方法。
［Ｃ６］
ラッチすることが、
ニューロン回路が最後に発火して以来、前記ニューロン回路の前記入力が最大値であるときに、前記重み付けされ遅延されたシナプス入力をラッチすること
を含む、上記Ｃ１に記載の方法。
［Ｃ７］
ラッチすることが、
ニューロン回路の前記入力の増加があれば、前記重み付けされ遅延されたシナプス入力をラッチすること
を含む、上記Ｃ１に記載の方法。
［Ｃ８］
前記適用された学習ルールが、そのシナプス入力に関連付けられた前記シナプス重みを分極させる、上記Ｃ１に記載の方法。
［Ｃ９］
前記ニューロン回路および前記シナプス入力が、ダイナミックスパイキングニューロンモデルに関連付けられる、上記Ｃ１に記載の方法。
［Ｃ１０］
前記ニューロン回路および前記シナプス入力が、ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンモデルに関連付けられる、上記Ｃ１に記載の方法。
［Ｃ１１］
前記学習ルールが、前記シナプス入力の定義されたレベルの脱分極から前記ニューロン回路のスパイクまでの遅延を補償するために、シフトされたスパイクタイミング依存可塑性（ＳＴＤＰ）学習曲線に関連付けられる、上記Ｃ１に記載の方法。
［Ｃ１２］
前記ニューロン回路の発火と前記ネットワークの基準ニューロン回路の発火との間の時間差を利用して、前記ネットワークの別のニューロン回路の出力を時間的に符号化すること
をさらに含み、時間的に符号化された出力が、前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度に関する情報を含み、
前記ニューロン回路の出力および前記基準ニューロン回路の出力が、前記時間的に符号化された出力を生成するために、前記別のニューロン回路に供給される
上記Ｃ１に記載の方法。
［Ｃ１３］
別のニューロン回路の出力を生成するために、前記ネットワークの前記別のニューロン回路に前記ニューロン回路の出力を提供すること
をさらに含み、前記別のニューロン回路の前記出力の発火率が、前記ニューロン回路への前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度を示す
上記Ｃ１に記載の方法。
［Ｃ１４］
前記ネットワークの基準ニューロン回路の入力での発振を使用して、前記ネットワークに供給されるスパイキングパターンを記憶するためのメモリセルとして前記ニューロン回路のうちの１つを選択すること
をさらに含み、前記選択は、そのニューロン回路が１組の前記ニューロン回路の中で前記発振のトラフに最も近い前記スパイキングパターンに応答することに基づく
上記Ｃ１に記載の方法。
［Ｃ１５］
スパイキングニューロン回路のネットワークを、前記ニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージするための電気回路であって、
前記ネットワークのニューロン回路にシナプス入力を提供するように構成された第１の回路であって、前記シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、第１の回路と、
前記シナプス入力を含む前記ニューロン回路の入力が増加したら、重み付けされ遅延されている前記シナプス入力の各々をラッチするように構成された第２の回路と、
前記入力があったら、または前記入力の前記増加に基づいて前記ニューロン回路がスパイクしたら、そのシナプス入力に関連付けられた前記シナプス重みの変化を決定するために、前記ラッチされたシナプス入力に前記学習ルールを適用するように構成された第３の回路と
を含む電気回路。
［Ｃ１６］
前記学習ルールが実数値のヘブ学習ルールを含む、上記Ｃ１５に記載の電気回路。
［Ｃ１７］
前記ヘブ学習ルールがＯｊａ学習ルールを含む、上記Ｃ１６に記載の電気回路。
［Ｃ１８］
前記時間遅延が時間遅延分解能の１または複数の倍数に等しい、上記Ｃ１５に記載の電気回路。
［Ｃ１９］
ニューロン回路の前記入力が、前記シナプス入力の合計を含み、前記合計されたシナプス入力の各々が、前記シナプス重みおよび前記時間遅延によって特徴付けられるシナプスに関連付けられる、上記Ｃ１５に記載の電気回路。
［Ｃ２０］
前記第２の回路が、また、ニューロン回路が最後に発火して以来前記ニューロン回路の前記入力が最大値であるときに、前記重み付けされ遅延されたシナプス入力をラッチするように構成される、上記Ｃ１５に記載の電気回路。
［Ｃ２１］
前記第２の回路が、また、ニューロン回路の前記入力の増加があれば、前記重み付けされ遅延されたシナプス入力をラッチするように構成される、上記Ｃ１５に記載の電気回路。
［Ｃ２２］
前記適用された学習ルールが、そのシナプス入力に関連付けられた前記シナプス重みを分極させる、上記Ｃ１５に記載の電気回路。
［Ｃ２３］
前記ニューロン回路および前記シナプス入力が、ダイナミックスパイキングニューロンモデルに関連付けられる、上記Ｃ１５に記載の電気回路。
［Ｃ２４］
前記ニューロン回路および前記シナプス入力が、ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンモデルに関連付けられる、上記Ｃ１５に記載の電気回路。
［Ｃ２５］
前記学習ルールが、前記シナプス入力の定義されたレベルの脱分極から前記ニューロン回路のスパイクまでの遅延を補償するために、シフトされたスパイクタイミング依存可塑性（ＳＴＤＰ）学習曲線に関連付けられる、上記Ｃ１５に記載の電気回路。
［Ｃ２６］
前記ニューロン回路の発火と前記ネットワークの基準ニューロン回路の発火との間の時間差を利用して、前記ネットワークの別のニューロン回路の出力を時間的に符号化するように構成された第４の回路
をさらに含み、時間的に符号化された出力が、前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度に関する情報を含み、
前記ニューロン回路の出力および前記基準ニューロン回路の出力が、前記時間的に符号化された出力を生成するために、前記別のニューロン回路に供給される
上記Ｃ１５に記載の電気回路。
［Ｃ２７］
別のニューロン回路の出力を生成するために、前記ネットワークの前記別のニューロン回路に前記ニューロン回路の出力を提供するように構成された第４の回路
をさらに含み、前記別のニューロン回路の前記出力の発火率が、前記ニューロン回路への前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度を示す
上記Ｃ１５に記載の電気回路。
［Ｃ２８］
前記ネットワークの基準ニューロン回路の入力での発振を使用して、前記ネットワークに供給されるスパイキングパターンを記憶するためのメモリセルとして前記ニューロン回路のうちの１つを選択するように構成された第４の回路
をさらに含み、前記選択は、そのニューロン回路が１組の前記ニューロン回路の中で前記発振のトラフに最も近い前記スパイキングパターンに応答することに基づく
上記Ｃ１５に記載の電気回路。
［Ｃ２９］
スパイキングニューロン回路のネットワークを、前記ニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージするための装置であって、
前記ネットワークのニューロン回路にシナプス入力を提供するための手段であって、前記シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、手段と、
前記シナプス入力を含む前記ニューロン回路の入力が増加したら、重み付けされ遅延されている前記シナプス入力の各々をラッチするための手段と、
前記入力があったら、または前記入力の前記増加に基づいて前記ニューロン回路がスパイクしたら、そのシナプス入力に関連付けられた前記シナプス重みの変化を決定するために、前記ラッチされたシナプス入力に前記学習ルールを適用するための手段と
を含む装置。
［Ｃ３０］
前記学習ルールが実数値のヘブ学習ルールを含む、上記Ｃ２９に記載の装置。
［Ｃ３１］
前記ヘブ学習ルールがＯｊａ学習ルールを含む、上記Ｃ３０に記載の装置。
［Ｃ３２］
前記時間遅延が時間遅延分解能の１または複数の倍数に等しい、上記Ｃ２９に記載の装置。
［Ｃ３３］
ニューロン回路の前記入力が、前記シナプス入力の合計を含み、前記合計されたシナプス入力の各々が、前記シナプス重みおよび前記時間遅延によって特徴付けられるシナプスに関連付けられる、上記Ｃ２９に記載の装置。
［Ｃ３４］
ニューロン回路が最後に発火して以来、前記ニューロン回路の前記入力が最大値であるときに、前記重み付けされ遅延されたシナプス入力をラッチするための手段
をさらに含む、上記Ｃ２９に記載の装置。
［Ｃ３５］
ニューロン回路の前記入力の増加があれば、前記重み付けされ遅延されたシナプス入力をラッチするための手段
をさらに含む、上記Ｃ２９に記載の装置。
［Ｃ３６］
前記適用された学習ルールが、そのシナプス入力に関連付けられた前記シナプス重みを分極させる、上記Ｃ２９に記載の装置。
［Ｃ３７］
前記ニューロン回路および前記シナプス入力が、ダイナミックスパイキングニューロンモデルに関連付けられる、上記Ｃ２９に記載の装置。
［Ｃ３８］
前記ニューロン回路および前記シナプス入力が、ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンモデルに関連付けられる、上記Ｃ２９に記載の装置。
［Ｃ３９］
前記学習ルールが、前記シナプス入力の定義されたレベルの脱分極から前記ニューロン回路のスパイクまでの遅延を補償するために、シフトされたスパイクタイミング依存可塑性（ＳＴＤＰ）学習曲線に関連付けられる、上記Ｃ２９に記載の装置。
［Ｃ４０］
前記ニューロン回路の発火と前記ネットワークの基準ニューロン回路の発火との間の時間差を利用して、前記ネットワークの別のニューロン回路の出力を時間的に符号化するための手段
をさらに含み、時間的に符号化された出力が、前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度に関する情報を含み、
前記ニューロン回路の出力および前記基準ニューロン回路の出力が、前記時間的に符号化された出力を生成するために、前記別のニューロン回路に供給される
上記Ｃ２９に記載の装置。
［Ｃ４１］
別のニューロン回路の出力を生成するために、前記ネットワークの前記別のニューロン回路に前記ニューロン回路の出力を提供するための手段
をさらに含み、前記別のニューロン回路の前記出力の発火率が、前記ニューロン回路への前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度を示す
上記Ｃ２９に記載の装置。
［Ｃ４２］
前記ネットワークの基準ニューロン回路の入力での発振を使用して、前記ネットワークに供給されるスパイキングパターンを記憶するためのメモリセルとして前記ニューロン回路のうちの１つを選択するための手段
をさらに含み、前記選択は、そのニューロン回路が１組の前記ニューロン回路の中で前記発振のトラフに最も近い前記スパイキングパターンに応答することに基づく
上記Ｃ２９に記載の装置。
［Ｃ４３］
ニューラルネットワークのニューロン回路の発火率を調節する方法であって、
時間期間内の前記ニューロン回路の発火の数をカウントすることによって、前記ニューロン回路の前記発火率を定期的に計算することと、
前記発火率が下限を下回るか、または上限を上回るかを決定することと、
前記決定に基づいてステップ量によって前記発火率を調整することと
を含む方法。
［Ｃ４４］
前記発火率を調整することが、
前記計算された発火率が前記下限を下回る場合、前記発火率をブーストすること
を含む、上記Ｃ４３に記載の方法。
［Ｃ４５］
前記発火率を調整することが、
前記計算された発火率が前記上限を上回る場合、前記発火率を抑制すること
を含む、上記Ｃ４３に記載の方法。
［Ｃ４６］
前記発火率を調節するために、乗算器を前記ニューロン回路のすべてのシナプス入力に適用すること
をさらに含む、上記Ｃ４３に記載の方法。
［Ｃ４７］
前記ステップ量によって前記発火率を調整することが、前記適用された乗算器を調整することを含む、上記Ｃ４３に記載の方法。
［Ｃ４８］
ニューラルネットワークのニューロン回路の発火率を調節するための電気回路であって、
時間期間内の前記ニューロン回路の発火の数をカウントすることによって、前記ニューロン回路の前記発火率を定期的に計算するように構成された第１の回路と、
前記発火率が下限を下回るか、または上限を上回るかを決定するように構成された第２の回路と、
前記決定に基づいてステップ量によって前記発火率を調整するように構成された第３の回路と
を含む電気回路。
［Ｃ４９］
前記第３の回路が、また、
前記計算された発火率が前記下限を下回る場合、前記発火率をブーストするように構成される、上記Ｃ４８に記載の電気回路。
［Ｃ５０］
前記第３の回路が、また、
前記計算された発火率が前記上限を上回る場合、前記発火率を抑制するように構成される、上記Ｃ４８に記載の電気回路。
［Ｃ５１］
前記発火率を調節するために、前記ニューロン回路のすべてのシナプス入力に適用されるように構成された乗算器
をさらに含む、上記Ｃ４８に記載の電気回路。
［Ｃ５２］
前記ステップ量によって前記発火率を調整することが、前記適用された乗算器を調整することを含む、上記Ｃ４８に記載の電気回路。
［Ｃ５３］
ニューラルネットワークのニューロン回路の発火率を調節する装置であって、
時間期間内の前記ニューロン回路の発火の数をカウントすることによって、前記ニューロン回路の前記発火率を定期的に計算するための手段と、
前記発火率が下限を下回るか、または上限を上回るかを決定するための手段と、
前記決定に基づいてステップ量によって前記発火率を調整するための手段と
を含む装置。
［Ｃ５４］
前記発火率を調整するための前記手段が、
前記計算された発火率が前記下限を下回る場合、前記発火率をブートするための手段
を含む、上記Ｃ５３に記載の装置。
［Ｃ５５］
前記発火率を調整するための前記手段が、
前記計算された発火率が前記上限を上回る場合、前記発火率を抑制するための手段
を含む、上記Ｃ５３に記載の装置。
［Ｃ５６］
前記発火率を調節するために、乗算器を前記ニューロン回路のすべてのシナプス入力に適用するための手段
をさらに含む、上記Ｃ５３に記載の装置。
［Ｃ５７］
前記ステップ量によって前記発火率を調整するための手段が、前記適用された乗算器を調整するための手段を含む、上記Ｃ５３に記載の装置。

Claims (57)

  1. スパイキングニューロン回路のネットワークを、前記ニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージする方法であって、
    前記ネットワークのニューロン回路にシナプス入力を提供することであって、前記シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、提供することと、
    前記シナプス入力を含む前記ニューロン回路の入力が増加したら、重み付けされ遅延されている前記シナプス入力の各々をラッチすることと、
    前記入力があったら、または前記入力の前記増加に基づいて前記ニューロン回路がスパイクしたら、そのシナプス入力に関連付けられた前記シナプス重みの変化を決定するために、前記ラッチされたシナプス入力に前記学習ルールを適用することと
    を含む方法。
  2. 前記学習ルールが実数値のヘブ学習ルールを含む、請求項１に記載の方法。
  3. 前記ヘブ学習ルールがＯｊａ学習ルールを含む、請求項２に記載の方法。
  4. 前記時間遅延が時間遅延分解能の１または複数の倍数に等しい、請求項１に記載の方法。
  5. ニューロン回路の前記入力が、前記シナプス入力の合計を含み、前記合計されたシナプス入力の各々が、前記シナプス重みおよび前記時間遅延によって特徴付けられるシナプスに関連付けられる、請求項１に記載の方法。
  6. ラッチすることが、
    ニューロン回路が最後に発火して以来、前記ニューロン回路の前記入力が最大値であるときに、前記重み付けされ遅延されたシナプス入力をラッチすること
    を含む、請求項１に記載の方法。
  7. ラッチすることが、
    ニューロン回路の前記入力の増加があれば、前記重み付けされ遅延されたシナプス入力をラッチすること
    を含む、請求項１に記載の方法。
  8. 前記適用された学習ルールが、そのシナプス入力に関連付けられた前記シナプス重みを分極させる、請求項１に記載の方法。
  9. 前記ニューロン回路および前記シナプス入力が、ダイナミックスパイキングニューロンモデルに関連付けられる、請求項１に記載の方法。
  10. 前記ニューロン回路および前記シナプス入力が、ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンモデルに関連付けられる、請求項１に記載の方法。
  11. 前記学習ルールが、前記シナプス入力の定義されたレベルの脱分極から前記ニューロン回路のスパイクまでの遅延を補償するために、シフトされたスパイクタイミング依存可塑性（ＳＴＤＰ）学習曲線に関連付けられる、請求項１に記載の方法。
  12. 前記ニューロン回路の発火と前記ネットワークの基準ニューロン回路の発火との間の時間差を利用して、前記ネットワークの別のニューロン回路の出力を時間的に符号化すること
    をさらに含み、時間的に符号化された出力が、前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度に関する情報を含み、
    前記ニューロン回路の出力および前記基準ニューロン回路の出力が、前記時間的に符号化された出力を生成するために、前記別のニューロン回路に供給される
    請求項１に記載の方法。
  13. 別のニューロン回路の出力を生成するために、前記ネットワークの前記別のニューロン回路に前記ニューロン回路の出力を提供すること
    をさらに含み、前記別のニューロン回路の前記出力の発火率が、前記ニューロン回路への前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度を示す
    請求項１に記載の方法。
  14. 前記ネットワークの基準ニューロン回路の入力での発振を使用して、前記ネットワークに供給されるスパイキングパターンを記憶するためのメモリセルとして前記ニューロン回路のうちの１つを選択すること
    をさらに含み、前記選択は、そのニューロン回路が１組の前記ニューロン回路の中で前記発振のトラフに最も近い前記スパイキングパターンに応答することに基づく
    請求項１に記載の方法。
  15. スパイキングニューロン回路のネットワークを、前記ニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージするための電気回路であって、
    前記ネットワークのニューロン回路にシナプス入力を提供するように構成された第１の回路であって、前記シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、第１の回路と、
    前記シナプス入力を含む前記ニューロン回路の入力が増加したら、重み付けされ遅延されている前記シナプス入力の各々をラッチするように構成された第２の回路と、
    前記入力があったら、または前記入力の前記増加に基づいて前記ニューロン回路がスパイクしたら、そのシナプス入力に関連付けられた前記シナプス重みの変化を決定するために、前記ラッチされたシナプス入力に前記学習ルールを適用するように構成された第３の回路と
    を含む電気回路。
  16. 前記学習ルールが実数値のヘブ学習ルールを含む、請求項１５に記載の電気回路。
  17. 前記ヘブ学習ルールがＯｊａ学習ルールを含む、請求項１６に記載の電気回路。
  18. 前記時間遅延が時間遅延分解能の１または複数の倍数に等しい、請求項１５に記載の電気回路。
  19. ニューロン回路の前記入力が、前記シナプス入力の合計を含み、前記合計されたシナプス入力の各々が、前記シナプス重みおよび前記時間遅延によって特徴付けられるシナプスに関連付けられる、請求項１５に記載の電気回路。
  20. 前記第２の回路が、また、ニューロン回路が最後に発火して以来前記ニューロン回路の前記入力が最大値であるときに、前記重み付けされ遅延されたシナプス入力をラッチするように構成される、請求項１５に記載の電気回路。
  21. 前記第２の回路が、また、ニューロン回路の前記入力の増加があれば、前記重み付けされ遅延されたシナプス入力をラッチするように構成される、請求項１５に記載の電気回路。
  22. 前記適用された学習ルールが、そのシナプス入力に関連付けられた前記シナプス重みを分極させる、請求項１５に記載の電気回路。
  23. 前記ニューロン回路および前記シナプス入力が、ダイナミックスパイキングニューロンモデルに関連付けられる、請求項１５に記載の電気回路。
  24. 前記ニューロン回路および前記シナプス入力が、ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンモデルに関連付けられる、請求項１５に記載の電気回路。
  25. 前記学習ルールが、前記シナプス入力の定義されたレベルの脱分極から前記ニューロン回路のスパイクまでの遅延を補償するために、シフトされたスパイクタイミング依存可塑性（ＳＴＤＰ）学習曲線に関連付けられる、請求項１５に記載の電気回路。
  26. 前記ニューロン回路の発火と前記ネットワークの基準ニューロン回路の発火との間の時間差を利用して、前記ネットワークの別のニューロン回路の出力を時間的に符号化するように構成された第４の回路
    をさらに含み、時間的に符号化された出力が、前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度に関する情報を含み、
    前記ニューロン回路の出力および前記基準ニューロン回路の出力が、前記時間的に符号化された出力を生成するために、前記別のニューロン回路に供給される
    請求項１５に記載の電気回路。
  27. 別のニューロン回路の出力を生成するために、前記ネットワークの前記別のニューロン回路に前記ニューロン回路の出力を提供するように構成された第４の回路
    をさらに含み、前記別のニューロン回路の前記出力の発火率が、前記ニューロン回路への前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度を示す
    請求項１５に記載の電気回路。
  28. 前記ネットワークの基準ニューロン回路の入力での発振を使用して、前記ネットワークに供給されるスパイキングパターンを記憶するためのメモリセルとして前記ニューロン回路のうちの１つを選択するように構成された第４の回路
    をさらに含み、前記選択は、そのニューロン回路が１組の前記ニューロン回路の中で前記発振のトラフに最も近い前記スパイキングパターンに応答することに基づく
    請求項１５に記載の電気回路。
  29. スパイキングニューロン回路のネットワークを、前記ニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージするための装置であって、
    前記ネットワークのニューロン回路にシナプス入力を提供するための手段であって、前記シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、手段と、
    前記シナプス入力を含む前記ニューロン回路の入力が増加したら、重み付けされ遅延されている前記シナプス入力の各々をラッチするための手段と、
    前記入力があったら、または前記入力の前記増加に基づいて前記ニューロン回路がスパイクしたら、そのシナプス入力に関連付けられた前記シナプス重みの変化を決定するために、前記ラッチされたシナプス入力に前記学習ルールを適用するための手段と
    を含む装置。
  30. 前記学習ルールが実数値のヘブ学習ルールを含む、請求項２９に記載の装置。
  31. 前記ヘブ学習ルールがＯｊａ学習ルールを含む、請求項３０に記載の装置。
  32. 前記時間遅延が時間遅延分解能の１または複数の倍数に等しい、請求項２９に記載の装置。
  33. ニューロン回路の前記入力が、前記シナプス入力の合計を含み、前記合計されたシナプス入力の各々が、前記シナプス重みおよび前記時間遅延によって特徴付けられるシナプスに関連付けられる、請求項２９に記載の装置。
  34. ニューロン回路が最後に発火して以来、前記ニューロン回路の前記入力が最大値であるときに、前記重み付けされ遅延されたシナプス入力をラッチするための手段
    をさらに含む、請求項２９に記載の装置。
  35. ニューロン回路の前記入力の増加があれば、前記重み付けされ遅延されたシナプス入力をラッチするための手段
    をさらに含む、請求項２９に記載の装置。
  36. 前記適用された学習ルールが、そのシナプス入力に関連付けられた前記シナプス重みを分極させる、請求項２９に記載の装置。
  37. 前記ニューロン回路および前記シナプス入力が、ダイナミックスパイキングニューロンモデルに関連付けられる、請求項２９に記載の装置。
  38. 前記ニューロン回路および前記シナプス入力が、ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンモデルに関連付けられる、請求項２９に記載の装置。
  39. 前記学習ルールが、前記シナプス入力の定義されたレベルの脱分極から前記ニューロン回路のスパイクまでの遅延を補償するために、シフトされたスパイクタイミング依存可塑性（ＳＴＤＰ）学習曲線に関連付けられる、請求項２９に記載の装置。
  40. 前記ニューロン回路の発火と前記ネットワークの基準ニューロン回路の発火との間の時間差を利用して、前記ネットワークの別のニューロン回路の出力を時間的に符号化するための手段
    をさらに含み、時間的に符号化された出力が、前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度に関する情報を含み、
    前記ニューロン回路の出力および前記基準ニューロン回路の出力が、前記時間的に符号化された出力を生成するために、前記別のニューロン回路に供給される
    請求項２９に記載の装置。
  41. 別のニューロン回路の出力を生成するために、前記ネットワークの前記別のニューロン回路に前記ニューロン回路の出力を提供するための手段
    をさらに含み、前記別のニューロン回路の前記出力の発火率が、前記ニューロン回路への前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度を示す
    請求項２９に記載の装置。
  42. 前記ネットワークの基準ニューロン回路の入力での発振を使用して、前記ネットワークに供給されるスパイキングパターンを記憶するためのメモリセルとして前記ニューロン回路のうちの１つを選択するための手段
    をさらに含み、前記選択は、そのニューロン回路が１組の前記ニューロン回路の中で前記発振のトラフに最も近い前記スパイキングパターンに応答することに基づく
    請求項２９に記載の装置。
  43. ニューラルネットワークのニューロン回路の発火率を調節する方法であって、
    時間期間内の前記ニューロン回路の発火の数をカウントすることによって、前記ニューロン回路の前記発火率を定期的に計算することと、
    前記発火率が下限を下回るか、または上限を上回るかを決定することと、
    前記決定に基づいてステップ量によって前記発火率を調整することと
    を含む方法。
  44. 前記発火率を調整することが、
    前記計算された発火率が前記下限を下回る場合、前記発火率をブーストすること
    を含む、請求項４３に記載の方法。
  45. 前記発火率を調整することが、
    前記計算された発火率が前記上限を上回る場合、前記発火率を抑制すること
    を含む、請求項４３に記載の方法。
  46. 前記発火率を調節するために、乗算器を前記ニューロン回路のすべてのシナプス入力に適用すること
    をさらに含む、請求項４３に記載の方法。
  47. 前記ステップ量によって前記発火率を調整することが、前記適用された乗算器を調整することを含む、請求項４３に記載の方法。
  48. ニューラルネットワークのニューロン回路の発火率を調節するための電気回路であって、
    時間期間内の前記ニューロン回路の発火の数をカウントすることによって、前記ニューロン回路の前記発火率を定期的に計算するように構成された第１の回路と、
    前記発火率が下限を下回るか、または上限を上回るかを決定するように構成された第２の回路と、
    前記決定に基づいてステップ量によって前記発火率を調整するように構成された第３の回路と
    を含む電気回路。
  49. 前記第３の回路が、また、
    前記計算された発火率が前記下限を下回る場合、前記発火率をブーストするように構成される、請求項４８に記載の電気回路。
  50. 前記第３の回路が、また、
    前記計算された発火率が前記上限を上回る場合、前記発火率を抑制するように構成される、請求項４８に記載の電気回路。
  51. 前記発火率を調節するために、前記ニューロン回路のすべてのシナプス入力に適用されるように構成された乗算器
    をさらに含む、請求項４８に記載の電気回路。
  52. 前記ステップ量によって前記発火率を調整することが、前記適用された乗算器を調整することを含む、請求項４８に記載の電気回路。
  53. ニューラルネットワークのニューロン回路の発火率を調節する装置であって、
    時間期間内の前記ニューロン回路の発火の数をカウントすることによって、前記ニューロン回路の前記発火率を定期的に計算するための手段と、
    前記発火率が下限を下回るか、または上限を上回るかを決定するための手段と、
    前記決定に基づいてステップ量によって前記発火率を調整するための手段と
    を含む装置。
  54. 前記発火率を調整するための前記手段が、
    前記計算された発火率が前記下限を下回る場合、前記発火率をブートするための手段
    を含む、請求項５３に記載の装置。
  55. 前記発火率を調整するための前記手段が、
    前記計算された発火率が前記上限を上回る場合、前記発火率を抑制するための手段
    を含む、請求項５３に記載の装置。
  56. 前記発火率を調節するために、乗算器を前記ニューロン回路のすべてのシナプス入力に適用するための手段
    をさらに含む、請求項５３に記載の装置。
  57. 前記ステップ量によって前記発火率を調整するための手段が、前記適用された乗算器を調整するための手段を含む、請求項５３に記載の装置。
JP2015179468A 2011-07-21 2015-09-11 発振を使用したメモリのためのロバストなニューラル時間符号化、学習、およびセル・リクルートメントの方法および装置 Active JP6092334B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/187,915 2011-07-21
US13/187,915 US9053428B2 (en) 2011-07-21 2011-07-21 Method and apparatus of robust neural temporal coding, learning and cell recruitments for memory using oscillation

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014521805A Division JP5840776B2 (ja) 2011-07-21 2012-07-19 発振を使用したメモリのためのロバストなニューラル時間符号化、学習、およびセル・リクルートメントの方法および装置

Publications (2)

Publication Number Publication Date
JP2016027485A true JP2016027485A (ja) 2016-02-18
JP6092334B2 JP6092334B2 (ja) 2017-03-08

Family

ID=46604567

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014521805A Active JP5840776B2 (ja) 2011-07-21 2012-07-19 発振を使用したメモリのためのロバストなニューラル時間符号化、学習、およびセル・リクルートメントの方法および装置
JP2015179468A Active JP6092334B2 (ja) 2011-07-21 2015-09-11 発振を使用したメモリのためのロバストなニューラル時間符号化、学習、およびセル・リクルートメントの方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014521805A Active JP5840776B2 (ja) 2011-07-21 2012-07-19 発振を使用したメモリのためのロバストなニューラル時間符号化、学習、およびセル・リクルートメントの方法および装置

Country Status (9)

Country Link
US (1) US9053428B2 (ja)
EP (1) EP2734958A1 (ja)
JP (2) JP5840776B2 (ja)
KR (2) KR101851838B1 (ja)
CN (1) CN103688277B (ja)
BR (1) BR112014001180A2 (ja)
CA (1) CA2842334A1 (ja)
RU (1) RU2014106545A (ja)
WO (1) WO2013013095A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9147155B2 (en) 2011-08-16 2015-09-29 Qualcomm Incorporated Method and apparatus for neural temporal coding, learning and recognition
US9092735B2 (en) 2011-09-21 2015-07-28 Qualcomm Incorporated Method and apparatus for structural delay plasticity in spiking neural networks
US9111224B2 (en) 2011-10-19 2015-08-18 Qualcomm Incorporated Method and apparatus for neural learning of natural multi-spike trains in spiking neural networks
US8909575B2 (en) 2012-02-29 2014-12-09 Qualcomm Incorporated Method and apparatus for modeling neural resource based synaptic placticity
US9064215B2 (en) 2012-06-14 2015-06-23 Qualcomm Incorporated Learning spike timing precision
US9286006B2 (en) * 2013-04-05 2016-03-15 Netapp, Inc. Systems and methods for scheduling deduplication of a storage system
US9275329B2 (en) 2013-08-12 2016-03-01 Qualcomm Incorporated Behavioral homeostasis in artificial nervous systems using dynamical spiking neuron models
DE112016000146T5 (de) * 2015-10-23 2017-07-06 Semiconductor Energy Laboratory Co., Ltd. Halbleitervorrichtung und elektronische Vorrichtung
WO2018081560A1 (en) 2016-10-27 2018-05-03 University Of Florida Research Foundation Memristive learning for neuromorphic circuits
US11580373B2 (en) 2017-01-20 2023-02-14 International Business Machines Corporation System, method and article of manufacture for synchronization-free transmittal of neuron values in a hardware artificial neural networks
US10803383B2 (en) 2017-01-25 2020-10-13 Electronics And Telecommunications Research Institute Neuromorphic arithmetic device
KR102314300B1 (ko) * 2017-02-10 2021-10-21 한국전자통신연구원 뉴로모픽 연산 장치
US10438116B2 (en) 2017-02-10 2019-10-08 Electronics And Telecommunications Research Institute Neuromorphic arithmetic device
CN108229830B (zh) * 2018-01-08 2021-09-10 东北大学 考虑学习效应的动态混合流水作业极小化总完工时间问题下界算法
US11403515B2 (en) 2018-04-09 2022-08-02 Electronics And Telecommunications Research Institute Spike neural network circuit including radiation source
CN109324503B (zh) * 2018-08-28 2022-02-15 南京理工大学 基于鲁棒积分的多层神经网络电机系统控制方法
US11861483B2 (en) 2018-11-20 2024-01-02 Electronics And Telecommunications Research Institute Spike neural network circuit including comparator operated by conditional bias current
WO2020175209A1 (ja) * 2019-02-28 2020-09-03 国立研究開発法人科学技術振興機構 スパイク生成回路、情報処理回路、電力変換回路、検出器および電子回路
US20200356847A1 (en) 2019-05-07 2020-11-12 Hrl Laboratories, Llc Transistorless all-memristor neuromorphic circuits for in-memory computing
JP7447034B2 (ja) 2021-02-24 2024-03-11 株式会社東芝 シナプス回路およびニューラルネットワーク装置
KR102521702B1 (ko) * 2021-11-04 2023-04-17 서울대학교산학협력단 뉴런 회로와 이의 동작 방법, 그리고, 뉴런 회로를 포함하는 뉴로모픽 장치
CN114089630B (zh) * 2021-11-12 2024-05-17 南京模数智芯微电子科技有限公司 一种基于stdp学习规则的低功耗非对称性可调突触电路

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348637A (ja) * 2003-05-26 2004-12-09 Fuji Xerox Co Ltd 連想記憶装置および方法

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993018474A1 (en) 1992-03-11 1993-09-16 University College London Devices for use in neural processing
JP3178884B2 (ja) 1992-03-30 2001-06-25 株式会社東芝 ニューラルネットワーク装置
JP3345478B2 (ja) 1993-09-20 2002-11-18 株式会社東芝 ニューラルネットワーク装置およびその学習方法
US5666079A (en) 1994-05-06 1997-09-09 Plx Technology, Inc. Binary relative delay line
WO1997029437A1 (en) 1996-02-09 1997-08-14 Sarnoff Corporation Method and apparatus for training a neural network to detect and classify objects with uncertain training data
US6284794B1 (en) 1996-11-05 2001-09-04 Head Explorer Aps Method for treating tension-type headache with inhibitors of nitric oxide and nitric oxide synthase
KR100567465B1 (ko) * 1997-06-11 2006-04-03 유니버시티 오브 서던 캘리포니아 신경망에서의 신호처리를 위한 다이내믹 시냅스
US6581046B1 (en) 1997-10-10 2003-06-17 Yeda Research And Development Co. Ltd. Neuronal phase-locked loops
US6505182B1 (en) 1998-10-09 2003-01-07 Van Den Heuvel Raymond C. Recognition engine with time referenced neurons
US7088860B2 (en) 2001-03-28 2006-08-08 Canon Kabushiki Kaisha Dynamically reconfigurable signal processing circuit, pattern recognition apparatus, and image processing apparatus
CA2467401A1 (en) 2001-11-16 2003-05-30 Yuan Yan Chen Pausible neural network with supervised and unsupervised cluster analysis
US7412428B2 (en) 2002-03-12 2008-08-12 Knowmtech, Llc. Application of hebbian and anti-hebbian learning to nanotechnology-based physical neural networks
US7174325B1 (en) 2002-06-07 2007-02-06 George Mason Intellectual Properties, Inc. Neural processor
US7430546B1 (en) 2003-06-07 2008-09-30 Roland Erwin Suri Applications of an algorithm that mimics cortical processing
US7657313B2 (en) 2003-07-21 2010-02-02 Ai-Semi Ltd Adaptive cardiac resynchronization therapy system
WO2006126185A2 (en) 2005-05-27 2006-11-30 A.I. Medical Semiconductor Ventricle pacing during atrial fibrillation episodes
US7904398B1 (en) 2005-10-26 2011-03-08 Dominic John Repici Artificial synapse component using multiple distinct learning means with distinct predetermined learning acquisition times
EP1964036A4 (en) 2005-12-23 2010-01-13 Univ Sherbrooke ROOM-TIME PATTERN RECOGNITION USING A NEURONAL SPIKING NETWORK AND PROCESSING THEREOF FOR A PORTABLE AND / OR DISTRIBUTED COMPUTER
EP2046445A4 (en) 2006-07-17 2013-02-13 A I Medical Semiconductor INTELLIGENT CONTROL SYSTEM FOR AN ADAPTIVE DEVICE FOR CARDIAC RESYNCHRONIZATION THERAPY
WO2008106615A1 (en) 2007-02-28 2008-09-04 Numenta, Inc. Spatio-temporal learning algorithms in hierarchical temporal networks
JP2008225607A (ja) * 2007-03-09 2008-09-25 Institute Of Physical & Chemical Research 制御装置、制御システム、ならびに、プログラム
EP2012260B1 (en) * 2007-06-22 2012-04-11 Honda Research Institute Europe GmbH Method and device for realizing an associative memory based on inhibitory neural networks
GB0811057D0 (en) 2008-06-17 2008-07-23 Univ Ulster Artificial neural network architecture
WO2010025130A1 (en) 2008-08-28 2010-03-04 Massachusetts Institute Of Technology Circuits and methods representative of spike timing dependent plasticity of neurons
US8250011B2 (en) 2008-09-21 2012-08-21 Van Der Made Peter A J Autonomous learning dynamic artificial neural computing device and brain inspired system
US8630966B2 (en) 2009-01-27 2014-01-14 Salk Institute For Biological Studies Temporally dynamic artificial neural networks
KR20100090147A (ko) * 2009-02-05 2010-08-13 김시영 쾌적한 난방을 제공하는 난방기
US7978510B2 (en) 2009-03-01 2011-07-12 International Businesss Machines Corporation Stochastic synapse memory element with spike-timing dependent plasticity (STDP)
US8250010B2 (en) 2009-05-21 2012-08-21 International Business Machines Corporation Electronic learning synapse with spike-timing dependent plasticity using unipolar memory-switching elements
US8447714B2 (en) 2009-05-21 2013-05-21 International Business Machines Corporation System for electronic learning synapse with spike-timing dependent plasticity using phase change memory
US8527438B2 (en) 2009-12-22 2013-09-03 International Business Machines Corporation Producing spike-timing dependent plasticity in an ultra-dense synapse cross-bar array
US8625337B2 (en) 2010-05-06 2014-01-07 Qualcomm Incorporated Method and apparatus of probabilistic programming multi-level memory in cluster states of bi-stable elements
US8694452B2 (en) 2010-07-07 2014-04-08 Qualcomm Incorporated Methods and systems for CMOS implementation of neuron synapse
US8433665B2 (en) 2010-07-07 2013-04-30 Qualcomm Incorporated Methods and systems for three-memristor synapse with STDP and dopamine signaling
US8892485B2 (en) 2010-07-08 2014-11-18 Qualcomm Incorporated Methods and systems for neural processor training by encouragement of correct output
US8606732B2 (en) 2010-08-04 2013-12-10 Qualcomm Incorporated Methods and systems for reward-modulated spike-timing-dependent-plasticity
US9269042B2 (en) 2010-09-30 2016-02-23 International Business Machines Corporation Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices
US8515885B2 (en) 2010-10-29 2013-08-20 International Business Machines Corporation Neuromorphic and synaptronic spiking neural network with synaptic weights learned using simulation
US8473439B2 (en) 2010-12-08 2013-06-25 International Business Machines Corporation Integrate and fire electronic neurons
US8756173B2 (en) 2011-01-19 2014-06-17 Qualcomm Incorporated Machine learning of known or unknown motion states with sensor fusion
US9147156B2 (en) 2011-09-21 2015-09-29 Qualcomm Technologies Inc. Apparatus and methods for synaptic update in a pulse-coded network
US8706662B2 (en) 2011-07-21 2014-04-22 Qualcomm Incorporated Method and apparatus of controlling noise associated with synaptic inputs based on neuronal firing rate
US9147155B2 (en) 2011-08-16 2015-09-29 Qualcomm Incorporated Method and apparatus for neural temporal coding, learning and recognition
US9092735B2 (en) 2011-09-21 2015-07-28 Qualcomm Incorporated Method and apparatus for structural delay plasticity in spiking neural networks
US9111224B2 (en) 2011-10-19 2015-08-18 Qualcomm Incorporated Method and apparatus for neural learning of natural multi-spike trains in spiking neural networks
KR101912165B1 (ko) * 2011-12-09 2018-10-29 삼성전자주식회사 스파이킹 뉴런 기반 작업 기억 장치
US8909575B2 (en) 2012-02-29 2014-12-09 Qualcomm Incorporated Method and apparatus for modeling neural resource based synaptic placticity
US9064215B2 (en) 2012-06-14 2015-06-23 Qualcomm Incorporated Learning spike timing precision

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348637A (ja) * 2003-05-26 2004-12-09 Fuji Xerox Co Ltd 連想記憶装置および方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JPN5014008834; ＢＯＦＩＬＬ-Ｉ-ＰＥＴＩＴ　ＡＤＲＩＡ　ｅｔ　ａｌ．: 'ＳＹＮＣＨＲＯＮＹ　ＤＥＴＥＣＴＩＯＮ　ＡＮＤ　ＡＭＰＬＩＦＩＣＡＴＩＯＮ　ＢＹ　ＳＩＬＩＣＯＮ　ＮＥＵＲＯＮＳ　ＷＩＴＨ　ＳＴＤＰ　ＳＹＮＡＰＳＥＳ' ＩＥＥＥ　ＴＲＡＮＳＡＣＴＩＯＮＳ　ＯＮ　ＮＥＵＲＡＬ　ＮＥＴＷＯＲＫＳ Ｖｏｌ．１５，　Ｎｏ．５, 200409, ｐ．１２９６-１３０４ *
JPN5014008835; ＢＡＫＴＡＳＨ　ＢＡＢＡＤＩ　ｅｔ　ａｌ．: 'ＩＮＴＲＩＮＳＩＣ　ＳＴＡＢＩＬＩＴＹ　ＯＦ　ＴＥＭＰＯＲＡＬＬＹ　ＳＨＩＦＴＥＤ　ＳＰＩＫＥ-ＴＩＭＩＮＧ　ＤＥＰＥＮＤＥＮＴ　ＰＬＡＳＴＩＣＩＴＹ' ＰＬＯＳ　ＣＯＭＰＵＴＡＴＩＯＮＡＬ　ＢＩＯＬＯＧＹ Ｖｏｌ．６，　Ｎｏ．１１, 2010, ｐ．１-１４ *
JPN6016030052; 飯塚博幸: '恒常性機構を用いたニューラルネットワークモデルの拡張と適応性の比較' 情報処理学会研究報告 Ｖｏｌ．２００８，　Ｎｏ．２０, 20080305, ｐ．５５-６０, 社団法人情報処理学会 *

Also Published As

Publication number Publication date
BR112014001180A2 (pt) 2017-02-21
US9053428B2 (en) 2015-06-09
KR101851838B1 (ko) 2018-04-24
CA2842334A1 (en) 2013-01-24
US20130024409A1 (en) 2013-01-24
JP2014523592A (ja) 2014-09-11
CN103688277B (zh) 2016-08-17
KR101596656B1 (ko) 2016-02-23
EP2734958A1 (en) 2014-05-28
KR20140041866A (ko) 2014-04-04
CN103688277A (zh) 2014-03-26
RU2014106545A (ru) 2015-08-27
JP5840776B2 (ja) 2016-01-06
WO2013013095A1 (en) 2013-01-24
KR20150091186A (ko) 2015-08-07
JP6092334B2 (ja) 2017-03-08

Similar Documents

Publication Publication Date Title
JP6092334B2 (ja) 発振を使用したメモリのためのロバストなニューラル時間符号化、学習、およびセル・リクルートメントの方法および装置
JP6219418B2 (ja) ニューラルテンポラルコーディング、学習および認識のための方法および装置
Dieleman et al. The challenge of realistic music generation: modelling raw audio at scale
CN106575377B (zh) 共同特征上的分类器更新
JP6009570B2 (ja) スパイキングニューラルネットワークにおける構造遅延可塑性のための方法および装置
US11615298B2 (en) STDP with synaptic fatigue for learning of spike-time-coded patterns in the presence of parallel rate-coding
EP3937087A1 (en) Knowledge-graph biased classification for data
JP2017509951A (ja) スパースニューラルネットワークを構成すること
US20150212861A1 (en) Value synchronization across neural processors
WO2013130872A1 (en) Method and apparatus for modeling neural resource based synaptic placticity
US9652711B2 (en) Analog signal reconstruction and recognition via sub-threshold modulation
Sboev et al. Solving a classification task by spiking neural network with STDP based on rate and temporal input encoding
CN114186063A (zh) 跨域文本情绪分类模型的训练方法和分类方法
Falez et al. Mastering the output frequency in spiking neural networks
Zhang et al. Learning contextual causality between daily events from time-consecutive images
Panchev et al. Spike-timing-dependent synaptic plasticity: from single spikes to spike trains
US20150213356A1 (en) Method for converting values into spikes
CN115329146A (zh) 时序网络中的链路预测方法、电子设备及存储介质
CN115879518A (zh) 一种基于ai芯片的任务处理方法和装置
Savin et al. Two is better than one: distinct roles for familiarity and recollection in retrieving palimpsest memories
Nilsson et al. A Comparison of Temporal Encoders for Neuromorphic Keyword Spotting with Few Neurons
Liu et al. Push-pull feedback implements hierarchical information retrieval efficiently
Wang et al. KD-FixMatch: Knowledge distillation siamese neural networks
Bapiyev et al. METHOD FOR DETERMINING EFFECTIVE TYPES OF NEURAL NETWORK MODELS FOR RECOGNITION OF CYBER ATTACKS BASED ON PROCEDURAL RULES
Mahat A Human Face Recognition using Alyuda Neurointelligence

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170208

R150 Certificate of patent or registration of utility model

Ref document number: 6092334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250