JP2017507397A - 自動エラー訂正のための同時レイテンシおよびレートコーディング - Google Patents

自動エラー訂正のための同時レイテンシおよびレートコーディング Download PDF

Info

Publication number
JP2017507397A
JP2017507397A JP2016544506A JP2016544506A JP2017507397A JP 2017507397 A JP2017507397 A JP 2017507397A JP 2016544506 A JP2016544506 A JP 2016544506A JP 2016544506 A JP2016544506 A JP 2016544506A JP 2017507397 A JP2017507397 A JP 2017507397A
Authority
JP
Japan
Prior art keywords
spike
stimulus
spikes
train
neuron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016544506A
Other languages
English (en)
Other versions
JP2017507397A5 (ja
Inventor
チャン、ビクター・ホッキウ
カーレイ、ライアン・マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017507397A publication Critical patent/JP2017507397A/ja
Publication of JP2017507397A5 publication Critical patent/JP2017507397A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0463Neocognitrons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

スパイキング開始とスパイクカウンティングの両方を使用して、人工神経系における環境刺激を識別するための方法および装置が提供される。人工神経系を操作する1つの例示的な方法は、一般に、刺激を受信することと、人工ニューロンで、刺激に少なくとも部分的に基づいて、2つ以上のスパイクのスパイク列を生成することと、スパイク列の開始に少なくとも部分的に基づいて、刺激を識別することと、スパイク列内のスパイクのレートに少なくとも部分的に基づいて、識別された刺激を検査することとを含む。このように、本開示のいくつかの態様は、短い応答レイテンシで応答し得、また、エラー訂正を可能にすることによって、精度を維持し得る。

Description

米国特許法第119条の下での優先権の主張
[0001]本出願は、2014年1月6日に出願された、「Simultaneous Latency and Rate Coding for Automatic Error Correction」と題する米国仮特許出願第61/924,074号、および2014年5月16日に出願された米国特許出願第14/279,375号の利益を主張し、これらの両方は、参照により全体が本明細書に組み込まれる。
[0002]本開示のいくつかの態様は、一般に人工神経系に関し、より詳細には、スパイキング開始(spiking onset)とスパイクカウンティングの両方を使用して、人工神経系内の環境刺激間を区別することに関する。
[0003]人工ニューラルネットワークは、人工ニューロン(すなわち、ニューロンモデル)の相互結合されたグループを備え得、計算デバイス、あるいは、計算デバイスによって実行される方法を表す。人工ニューラルネットワークは、生物学的ニューラルネットワークにおける対応する構造および/または機能を有し得る。しかしながら、人工ニューラルネットワークは、従来の計算技法が扱いにくい、実行不可能または不適切であるいくつかの適用例に革新的で有用な計算技法を提供し得る。人工ニューラルネットワークが観測から機能を推論することができるので、そのようなネットワークは、タスクまたはデータの複雑さが従来の技法による機能の設計を面倒にする適用例において、特に有用である。
[0004]1つのタイプの人工ニューラルネットワークはスパイキングニューラルネットワークであり、これは、それの動作モデルならびにニューロンおよびシナプスの状態に時間の概念を組み込み、それによって、ニューラルネットワークにおける計算機能の発生元となり得る挙動の豊かなセットを提供する。スパイキングニューラルネットワークは、ニューロンがニューロンの状態に基づいて特定の(1つまたは複数の)時間に発火する、または「スパイクする」という概念、および時間がニューロン機能にとって重要であるという概念に基づく。ニューロンが発火するとき、そのニューロンは、他のニューロンに進むスパイクを生成し、他のニューロンは、今度は、このスパイクが受信された時間に基づいてそれらの状態を調整し得る。言い換えれば、ニューラルネットワークにおけるスパイクの相対的タイミングまたは絶対的タイミングで情報が符号化され得る。
[0005]本開示のいくつかの態様は、一般に、人工神経系によって受信される複数の環境刺激を識別して差異化するために、レイテンシとレートコーディングの両方(たとえば、それぞれ時間ウィンドウ内のスパイキング開始とスパイクカウント)を使用することに関する。
[0006]本開示のいくつかの態様は、人工神経系を操作するための方法を提供する。本方法は、一般に、刺激を受信することと、第1のデバイス(たとえば、人工ニューロン)で、刺激に少なくとも部分的に基づいて、2つ以上のスパイクのスパイク列を生成することと、スパイク列の開始に少なくとも部分的に基づいて、刺激を識別することと、スパイク列内のスパイクのレート(rate)に少なくとも部分的に基づいて、識別された刺激を検査することとを含む。
[0007]本開示のいくつかの態様は、人工神経系を操作するための装置を提供する。本装置は通常、処理システムと、処理システムに結合されたメモリとを含む。本処理システムは、一般に、刺激を受信して、刺激に少なくとも部分的に基づいて、2つ以上のスパイクのスパイク列を生成して、スパイク列の開始に少なくとも部分的に基づいて、刺激を識別して、スパイク列内のスパイクのレートに少なくとも部分的に基づいて、識別された刺激を検査するように構成される。
[0008]本開示のいくつかの態様は、人工神経系を操作するための装置を提供する。本装置は、一般に、刺激を受信するための手段と、刺激に少なくとも部分的に基づいて、2つ以上のスパイクのスパイク列を生成するための手段と、スパイク列の開始に少なくとも部分的に基づいて、刺激を識別するための手段と、スパイク列内のスパイクのレートに少なくとも部分的に基づいて、識別された刺激を検査するための手段とを含む。
[0009]本開示のいくつかの態様は、人工神経系を操作するためのコンピュータプログラム製品を提供する。本コンピュータプログラム製品は、一般に、刺激を受信することと、刺激に少なくとも部分的に基づいて、2つ以上のスパイクのスパイク列を生成することと、スパイク列の開始に少なくとも部分的に基づいて、刺激を識別することと、スパイク列内のスパイクのレートに少なくとも部分的に基づいて、識別された刺激を検査することとを行うために実行可能な命令を有するコンピュータ可読媒体を含む。
[0010]本開示のいくつかの態様は、人工神経系内の刺激を識別するための方法を提供する。本方法は、一般に、人工ニューロンで2つ以上のスパイクのスパイク列を受信することと、スパイク列の開始に少なくとも部分的に基づいて、人工ニューロンから第1のスパイクを出力することと、スパイク列内のスパイクのレートに少なくとも部分的に基づいて、人工ニューロンから第2のスパイクを出力することとを含む。
[0011]本開示のいくつかの態様は、人工神経系内の刺激を識別するための装置を提供する。本装置は通常、処理システムと、処理システムに結合されたメモリとを含む。本処理システムは、一般に、人工ニューロンで2つ以上のスパイクのスパイク列を受信して、スパイク列の開始に少なくとも部分的に基づいて、人工ニューロンから第1のスパイクを出力して、スパイク列内のスパイクのレートに少なくとも部分的に基づいて、人工ニューロンから第2のスパイクを出力するように構成される。
[0012]本開示のいくつかの態様は、人工神経系内の刺激を識別するための装置を提供する。本装置は、一般に、人工ニューロンで2つ以上のスパイクのスパイク列を受信するための手段と、スパイク列の開始に少なくとも部分的に基づいて、人工ニューロンから第1のスパイクを出力するための手段と、スパイク列内のスパイクのレートに少なくとも部分的に基づいて、人工ニューロンから第2のスパイクを出力するための手段とを含む。
[0013]本開示のいくつかの態様は、人工神経系内の刺激を識別するためのコンピュータプログラム製品を提供する。本コンピュータプログラム製品は、一般に、人工ニューロンで2つ以上のスパイクのスパイク列を受信することと、スパイク列の開始に少なくとも部分的に基づいて、人工ニューロンから第1のスパイクを出力することと、スパイク列内のスパイクのレートに少なくとも部分的に基づいて、人工ニューロンから第2のスパイクを出力することとを行うために実行可能な命令を有するコンピュータ可読媒体(たとえば、コンピュータ可読記憶デバイス)を含む。
[0014]本開示の上述の特徴が詳細に理解され得るように、添付の図面にその一部が示される態様を参照することによって、上記で簡単に要約された内容のより具体的な説明が得られ得る。ただし、その説明は他の等しく有効な態様に通じ得るので、添付の図面は、本開示のいくつかの典型的な態様のみを示し、したがって、本開示の範囲を限定するものと見なされるべきではないことに留意されたい。
[0015]本開示のいくつかの態様によるニューロンの例示的なネットワークを示す図。 [0016]本開示のいくつかの態様による、計算ネットワーク(ニューラルシステムまたはニューラルネットワーク)の例示的な処理ユニット(ニューロン)を示す図。 [0017]本開示のいくつかの態様による例示的なスパイクタイミング依存可塑性(STDP)曲線を示す図。 [0018]本開示のいくつかの態様による、ニューロンの挙動を定義するための正レジームと負レジームとを示す、人工ニューロンに関する状態の例示的なグラフ。 [0019]本開示のいくつかの態様による、様々なシナプス後電位関数を示す図。 本開示のいくつかの態様による、様々なシナプス後電位関数を示す図。 本開示のいくつかの態様による、様々なシナプス後電位関数を示す図。 [0020]本開示のいくつかの態様による、2つの異なる視覚刺激への例示的なニューラル応答と、刺激を差異化するための様々な応答メトリクスとを示す図。 [0021]本開示のいくつかの態様による、3つの異なる入力電流と、入力強度、スパイクカウント、およびスパイクレイテンシ間の相関関係とを示す図。 [0022]本開示のいくつかの態様による、異なる刺激間を区別する時の、速度と精度との間の例示的なトレードオフを示す図。 [0023]本開示のいくつかの態様による、スパイク間の間隔(ISI)によって分離される1組のスパイクを有する刺激に応答する、検出器ニューロンの例示的な動作を示す図。 [0024]本開示のいくつかの態様による、この刺激プロファイルの同時一致検出および事象カウンティングを可能にするための、興奮性シナプス後電流(EPSC)の形状を示す図。 [0025]本開示のいくつかの態様による、図10からの刺激プロファイルを示す、例示的な受容体ニューロンの動作を示す図。 [0026]本開示のいくつかの態様による、図10からの例示的なEPSC設計を実装し、したがって、一致検出器と事象カウンタの両方として機能する、例示的な検出器ニューロンの動作を示す図。 [0027]本開示のいくつかの態様による、図12の例示的な検出器ニューロン挙動の入力スパイクレートおよびISIのグラフ。 [0028]本開示のいくつかの態様による、レイテンシおよびレートコーディングを同時に使用する例を示す図。 [0029]本開示のいくつかの態様による、この刺激プロファイルの単一のニューロンにおける開始検出および事象カウンティングを可能にするための、別の例示的な刺激プロファイルと例示的な一次元(1D)検出器ニューロン設計とを示す図。 [0030]本開示のいくつかの態様による、例示的な2次元(2D)ニューロン設計を示す図。 [0031]本開示のいくつかの態様による、図15の例示的な1Dニューロンよりも鋭い、開始検出器/カウンタ挙動間の遷移を提供する図16の例示的な2Dニューロンを示す図。 [0032]本開示のいくつかの態様による、図16の例示的な2D検出器ニューロンにおいて、レイテンシおよびレートコーディングを同時に使用する例を示す図。 [0033]本開示のいくつかの態様による、ノイズが以前のレイテンシコーディングを中断する時に、後期のISI符号化が堅牢なままであり得る方法の例を示す、出力タイミング対入力強度のグラフ。 本開示のいくつかの態様による、ノイズが以前のレイテンシコーディングを中断する時に、後期のISI符号化が堅牢なままであり得る方法の例を示す、出力タイミング対入力強度のグラフ。 [0034]本開示のいくつかの態様による、刺激を識別するためにレイテンシとスパイクカウント情報の両方を使用する、例示的な人工神経系の一部を示す図。 [0035]本開示のいくつかの態様による、図21の例示的な人工神経系におけるスパイク間の間隔によって示される刺激識別エラーの例を示す図。 [0036]本開示のいくつかの態様による、図21の例示的な人工神経系におけるレイテンシコード内のエラーを検出する例を示す図。 [0037]本開示のいくつかの態様による、人工神経系を操作するための例示的な動作の流れ図。 [0038]本開示のいくつかの態様による、図24の動作を実行することが可能な例示的な構成要素を示す図。 [0039]本開示のいくつかの態様による、汎用プロセッサを使用して人工神経系を操作するための例示的な実装形態を示す図。 [0040]本開示のいくつかの態様による、メモリが個々の分散処理ユニットとインターフェースされ得る人工神経系を操作するための例示的な実装形態を示す図。 [0041]本開示のいくつかの態様による、分散メモリおよび分散処理ユニットに基づいて人工神経系を操作するための例示的な実装形態を示す図。 [0042]本開示のいくつかの態様による、ニューラルネットワークの例示的な実装形態を示す図。
[0043]添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示される任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えられる。本明細書の教示に基づいて、本開示の範囲は、本開示の任意の他の態様とは無関係に実装されるにせよ、本開示の任意の他の態様と組み合わされるにせよ、本明細書で開示する本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載される態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、本明細書に記載される本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示する本開示のいずれの態様も、請求項の1つまたは複数の要素によって実施され得ることを理解されたい。
[0044]「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきであるとは限らない。
[0045]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
例示的なニューラルシステム
[0046]図1は、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的なニューラルシステム100を示す。ニューラルシステム100は、シナプス結合のネットワーク104(すなわち、フィードフォワード結合)を介してニューロンの別のレベル106に結合されたニューロンのあるレベル102を備え得る。簡単のために、図1には2つのレベルのニューロンのみが示されているが、典型的なニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。ニューロンのいくつかは、ラテラル結合を介して同じ層の他のニューロンに結合し得ることに留意されたい。さらに、ニューロンのいくつかは、フィードバック結合を介して前の層のニューロンに戻る形で結合し得る。
[0047]図1に示すように、レベル102における各ニューロンは、前のレベル(図1に図示せず)の複数のニューロンによって生成され得る入力信号108を受信し得る。信号108は、レベル102のニューロンへの入力(たとえば、入力電流)を表し得る。そのような入力は、膜電位を充電するためにニューロン膜上に蓄積され得る。膜電位がそれのしきい値に達すると、ニューロンは、発火し、ニューロンの次のレベル(たとえば、レベル106)に転送されるべき出力スパイクを生成し得る。そのような挙動は、アナログおよびデジタル実装形態を含むハードウェアおよび/またはソフトウェアでエミュレートまたはシミュレートされ得る。
[0048]生物学的ニューロンでは、ニューロンが発火するときに生成される出力スパイクは、活動電位と呼ばれる。電気信号は、約100mVの振幅と約1msの持続時間とを有する比較的急速で、一時的で、全か無かの神経インパルスである。一連の結合されたニューロンを有するニューラルシステムの特定の態様(たとえば、図1におけるあるレベルのニューロンから別のレベルのニューロンへのスパイクの転送)では、あらゆる活動電位が基本的に同じ振幅と持続時間とを有するので、信号における情報は、振幅によってではなく、スパイクの周波数および数(またはスパイクの時間)によってのみ表される。活動電位によって搬送される情報は、スパイク、スパイクしたニューロン、および1つまたは複数の他のスパイクに対するスパイクの時間によって決定される。
[0049]図1に示すように、あるレベルのニューロンから別のレベルのニューロンへのスパイクの転送は、シナプス結合(または単に「シナプス」)のネットワーク104によって達成され得る。シナプス104は、レベル102のニューロン(シナプス104に対するシナプス前ニューロン)から出力信号(すなわち、スパイク)を受信し得る。いくつかの態様では、これらの信号は、調整可能なシナプス重みw (i,i+1),...,w (i,i+1)(ここでPは、レベル102のニューロンとレベル106のニューロンとの間のシナプス結合の総数である)に従ってスケーリングされ得る。他の態様では、シナプス104は、いかなるシナプス重みをも適用しないことがある。さらに、(スケーリングされた)信号は、レベル106における各ニューロン(シナプス104に対するシナプス後ニューロン)の入力信号として合成され得る。レベル106におけるあらゆるニューロンは、対応する合成された入力信号に基づいて、出力スパイク110を生成し得る。出力スパイク110は、次いで、シナプス結合の別のネットワーク(図1には図示せず)を使用して、別のレベルのニューロンに転送され得る。
[0050]生物学的シナプスは、電気シナプスまたは化学シナプスのいずれに分類され得る。電気シナプスは、興奮性信号を送るために主に使用される一方、化学シナプスは、シナプス後ニューロンにおける興奮性活動または抑制性(過分極化)活動のいずれかを調停することができ、ニューロン信号を増幅する役目を果たすこともできる。興奮性信号は通常、膜電位を脱分極する(すなわち、静止電位に対して膜電位を増加させる)。しきい値を超えて膜電位を脱分極するために十分な興奮性信号が一定期間内に受信された場合、シナプス後ニューロンに活動電位が生じる。対照的に、抑制性信号は一般に、膜電位を過分極する(すなわち、低下させる)。抑制性信号は、十分に強い場合、興奮性信号のすべてを相殺し、膜電位がしきい値に達するのを防止することができる。シナプス興奮を相殺することに加えて、シナプス抑制は、自然に活発なニューロンに対して強力な制御を行うことができる。自然に活発なニューロンは、たとえば、それのダイナミクスまたはフィードバックに起因するさらなる入力なしにスパイクするニューロンを指す。これらのニューロンにおける活動電位の自然な生成を抑圧することによって、シナプス抑制は、ニューロンの発火のパターンを形成することができ、それは一般にスカルプチャリングと呼ばれる。様々なシナプス104は、望まれる挙動に応じて、興奮性シナプスまたは抑制性シナプスの任意の組合せとして働き得る。
[0051]ニューラルシステム100は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス(PLD)、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、プロセッサによって実行されるソフトウェアモジュール、またはそれらの任意の組合せによってエミュレートされ得る。ニューラルシステム100は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。ニューラルシステム100における各ニューロン(または、ニューロンモデル)は、ニューロン回路として実装され得る。出力スパイクを開始するしきい値まで充電されるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。
[0052]一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除去され得、その代わりにより小さいメモリスタ(memristor)要素が使用され得る。この手法は、ニューロン回路において、ならびにかさばるキャパシタが電流積分器として利用される様々な他の適用例において適用され得る。さらに、シナプス104の各々は、メモリスタ要素に基づいて実装され得、シナプス重みの変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され得、それによって、非常に大規模なニューラルシステムハードウェア実装形態の実装が実用的になり得る。
[0053]ニューラルシステム100をエミュレートするニューラルプロセッサの機能は、シナプス結合の重みに依存し得、それは、ニューロン間の結合の強さを制御し得る。シナプス重みは、パワーダウン後にプロセッサの機能を維持するために、不揮発性メモリに記憶され得る。一態様では、シナプス重みメモリは、主たるニューラルプロセッサチップとは別個の外部チップ上に実装され得る。シナプス重みメモリは、交換可能メモリカードとしてニューラルプロセッサチップとは別個にパッケージ化され得る。これは、ニューラルプロセッサに多様な機能を提供することができ、特定の機能は、ニューラルプロセッサに現在取り付けられているメモリカードに記憶されたシナプス重みに基づき得る。
[0054]図2は、本開示のいくつかの態様による、計算ネットワーク(たとえば、ニューラルシステムまたはニューラルネットワーク)の処理ユニット(たとえば、人工ニューロン202)の一例200を示す。たとえば、ニューロン202は、図1のレベル102のニューロンおよび106のニューロンのうちのいずれかに対応し得る。ニューロン202は、複数の入力信号2041〜204N(x1〜xN)を受信し得、それは、ニューラルシステムの外部にある信号、または同じニューラルシステムの他のニューロンによって生成された信号、またはその両方であり得る。入力信号は、電流または電圧、実数値または複素数値であり得る。入力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。これらの入力信号は、調整可能なシナプス重み2061〜206N(w1〜wN)に従って信号をスケーリングするシナプス結合を通してニューロン202に伝えられ得、Nはニューロン202の入力接続の総数であり得る。
[0055]ニューロン202は、スケーリングされた入力信号を合成し、合成された、スケーリングされた入力を使用して、出力信号208(すなわち、信号y)を生成し得る。出力信号208は、電流または電圧、実数値または複素数値であり得る。出力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。出力信号208は、次いで、同じニューラルシステムの他のニューロンへの入力信号として、または同じニューロン202への入力信号として、またはニューラルシステムの出力として伝達され得る。
[0056]処理ユニット(ニューロン202)は電気回路によってエミュレートされ得、それの入力接続および出力接続は、シナプス回路をもつワイヤによってエミュレートされ得る。処理ユニット、それの入力接続および出力接続はまた、ソフトウェアコードによってエミュレートされ得る。処理ユニットはまた、電気回路によってエミュレートされ得るが、それの入力接続および出力接続はソフトウェアコードによってエミュレートされ得る。一態様では、計算ネットワーク中の処理ユニットはアナログ電気回路を備え得る。別の態様では、処理ユニットはデジタル電気回路を備え得る。さらに別の態様では、処理ユニットは、アナログ構成要素とデジタル構成要素の両方をもつ混合信号電気回路を備え得る。計算ネットワークは、上述の形態のいずれかにおける処理ユニットを備え得る。そのような処理ユニットを使用した計算ネットワーク(ニューラルシステムまたはニューラルネットワーク)は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。
[0057]ニューラルネットワークをトレーニングする過程で、シナプス重み(たとえば、図1の重みw (i,i+1),...,w (i,i+1)および/または図2の重み2061〜206N)がランダム値により初期化され得、学習ルールに従って増加または減少し得る。学習ルールのいくつかの例として、スパイクタイミング依存可塑性(STDP)学習ルール、Hebb則、Oja則、Bienenstock−Copper−Munro(BCM)則などがある。非常に多くの場合、重みは、2つの値のうちの1つに安定し得る(すなわち、重みの双峰分布)。この効果が利用されて、シナプス重み当たりのビット数を低減し、シナプス重みを記憶するメモリとの間の読取りおよび書込みの速度を上げ、シナプスメモリの電力消費量を低減し得る。
シナプスタイプ
[0058]ニューラルネットワークのハードウェアおよびソフトウェアモデルでは、シナプス関係機能の処理がシナプスタイプに基づき得る。シナプスタイプは、非塑性シナプス(non-plastic synapse)(重みおよび遅延の変化がない)と、可塑性シナプス(重みが変化し得る)と、構造遅延可塑性シナプス(重みおよび遅延が変化し得る)と、完全可塑性シナプス(重み、遅延および結合性が変化し得る)と、それの変形(たとえば、遅延は変化し得るが、重みまたは結合性の変化はない)とを備え得る。これの利点は、処理が再分割され得ることである。たとえば、非塑性シナプスは、可塑性機能を実行すること(またはそのような機能が完了するのを待つこと)を必要とし得ない。同様に、遅延および重み可塑性は、一緒にまたは別々に、順にまたは並列に動作し得る動作に再分割され得る。異なるタイプのシナプスは、適用される異なる可塑性タイプの各々の異なるルックアップテーブルまたは式およびパラメータを有し得る。したがって、本方法は、シナプスのタイプの関係するテーブルにアクセスすることになる。
[0059]また、スパイクタイミング依存構造可塑性がシナプス可塑性とは無関係に実行され得るという事実のさらなる含意がある。構造可塑性(すなわち、遅延量の変化)は前後スパイク時間差(pre-post spike time difference)の直接関数であり得るので、構造可塑性は、重みの大きさに変化がない場合(たとえば、重みが最小値または最大値に達したか、あるいはそれが何らかの他の理由により変更されない場合)でも実行され得る。代替的に、それは、重み変化量に応じて、または重みもしくは重み変化の限界に関係する条件に基づいて設定され得る。たとえば、重み変化が生じたとき、または重みが最大限に達するのではなく、重みがゼロに達した場合のみ、シナプス遅延が変化し得る。しかしながら、これらのプロセスが並列化され、メモリアクセスの数および重複を低減し得るように、独立した機能を有することが有利であり得る。
シナプス可塑性の決定
[0060]神経可塑性(または単に「可塑性」)は、脳内のニューロンおよびニューラルネットワークがそれらのシナプス結合と挙動とを新しい情報、感覚上の刺激、発展、損傷または機能不全に応答して変える能力である。可塑性は、生物学における学習および記憶にとって、また計算論的神経科学およびニューラルネットワークにとって重要である。(たとえば、Hebb則理論による)シナプス可塑性、スパイクタイミング依存可塑性(STDP)、非シナプス可塑性、活性依存可塑性、構造可塑性および恒常的可塑性など、様々な形の可塑性が研究されている。
[0061]STDPは、脳内の場合のようなニューロン間のシナプス結合の強さを調整する学習プロセスである。結合強度は、特定のニューロンの出力スパイクおよび受信入力スパイク(すなわち、活動電位)の相対的タイミングに基づいて調整される。STDPプロセスの下で、あるニューロンに対する入力スパイクが、平均して、そのニューロンの出力スパイクの直前に生じる傾向がある場合、長期増強(LTP)が生じ得る。その場合、その特定の入力はいくらか強くなる。対照的に、入力スパイクが、平均して、出力スパイクの直後に生じる傾向がある場合、長期抑圧(LTD)が生じ得る。その場合、その特定の入力はいくらか弱くなるので、「スパイクタイミング依存可塑性」と呼ばれる。したがって、シナプス後ニューロンの興奮の原因であり得る入力は、将来的に寄与する可能性がさらに高くなる一方、シナプス後スパイクの原因ではない入力は、将来的に寄与する可能性が低くなる。結合の初期セットのサブセットが残る一方で、その他の部分の影響がゼロまたはゼロの近くまで低減されるまで、このプロセスは続く。
[0062]ニューロンは一般に出力スパイクを、それの入力の多くが短い期間内に生じる(すなわち、出力をもたらすのに十分に累積している)ときに生成するので、通常残っている入力のサブセットは、時間的に相関する傾向のあった入力を含む。さらに、出力スパイクの前に生じる入力は強化されるので、最も早い十分に累積的な相関表示を提供する入力は結局、ニューロンへの最終入力となる。
[0063]STDP学習ルールは、シナプス前ニューロンのスパイク時間tpreとシナプス後ニューロンのスパイク時間tpostとの間の時間差(すなわち、t=tpost−tpre)に応じて、シナプス前ニューロンをシナプス後ニューロンに結合するシナプスのシナプス重みを効果的に適合させ得る。STDPの通常の公式化は、時間差が正である(シナプス前ニューロンがシナプス後ニューロンの前に発火する)場合にシナプス重みを増加させ(すなわち、シナプスを増強し)、時間差が負である(シナプス後ニューロンがシナプス前ニューロンの前に発火する)場合にシナプス重みを減少させる(すなわち、シナプスを抑制する)ことである。
[0064]STDPプロセスでは、経時的なシナプス重みの変化は通常、以下の式によって与えられるように、指数関数的減衰を使用して達成され得る。
Figure 2017507397
ここで、k+およびk-はそれぞれ、正のおよび負の時間差に対する時間定数であり、a+およびa-は対応するスケーリングの大きさであり(a-は通常、慣例により負である)、μは正の時間差および/または負の時間差に適用され得るオフセットである。
[0065]図3は、STDPによる、シナプス前スパイクおよびシナプス後スパイクの相対的タイミングに応じたシナプス重み変化の例示的なグラフ300を示す。シナプス前ニューロンがシナプス後ニューロンの前に発火する場合、グラフ300の部分302に示すように、対応するシナプス重みは増加し得る。この重み増加は、シナプスのLTPと呼ばれ得る。グラフ部分302から、シナプス前スパイク時間とシナプス後スパイク時間との間の時間差に応じて、LTPの量がほぼ指数関数的に減少し得ることが観測され得る。グラフ300の部分304に示すように、発火の逆の順序は、シナプス重みを減少させ、シナプスのLTDをもたらし得る。
[0066]図3のグラフ300に示すように、STDPグラフのLTP(原因)部分302に負のオフセットμが適用され得る。x軸の交差306のポイント(y=0)は、層i−1(シナプス前層)からの原因入力の相関を考慮して、最大タイムラグと一致するように構成され得る。フレームベースの入力(すなわち、入力は、スパイクまたはパルスを備える特定の持続時間のフレームの形態である)の場合、オフセット値μは、フレーム境界を反映するように計算され得る。直接的にシナプス後電位によってモデル化されるように、またはニューラル状態に対する影響の点で、フレームにおける第1の入力スパイク(パルス)が経時的に減衰することが考慮され得る。フレームにおける第2の入力スパイク(パルス)が特定の時間フレームの相関したまたは関連したものと考えられる場合、フレームの前および後の関連する時間は、その時間フレーム境界で分離され、関連する時間の値が異なり得る(たとえば、1つのフレームよりも大きい場合は負、1つのフレームよりも小さい場合は正)ように、STDP曲線の1つまたは複数の部分をオフセットすることによって、可塑性の点で別様に扱われ得る。たとえば、曲線が、フレーム時間よりも大きい前後の時間で実際にゼロよりも下になり、結果的にLTPの代わりにLTDの一部であるようにLTPをオフセットするために負のオフセットμが設定され得る。
ニューロンモデルおよび演算
[0067]有用なスパイキングニューロンモデルを設計するための一般的原理がいくつかある。良いニューロンモデルは、2つの計算レジーム、すなわち、一致検出および関数計算の点で豊かな潜在的挙動を有し得る。その上、良いニューロンモデルは、時間コーディングを可能にするための2つの特性を有する必要がある。すなわち、(1)入力の到着時間は出力時間に影響を与え、(2)一致検出は狭い時間ウィンドウを有する。最後に、計算上魅力的であるために、良いニューロンモデルは、連続した時間において閉形式解を有し得、ニアアトラクター(near attractor)と鞍点とを含む安定した挙動を有し得る。言い換えれば、有用なニューロンモデルは、実用的なニューロンモデルであり、豊かで、現実的で、生物学的に一貫した挙動をモデル化するために使用され得、神経回路のエンジニアリングとリバースエンジニアリングの両方を行うために使用され得るニューロンモデルである。
[0068]ニューロンモデルは事象、たとえば入力の到着、出力スパイク、または内部的であるか外部的であるかを問わず他の事象に依存し得る。豊かな挙動レパートリーを実現するために、複雑な挙動を示すことができる状態機械が望まれ得る。入力寄与(ある場合)とは別個の事象の発生自体が状態機械に影響を与え、事象の後のダイナミクスを制限し得る場合、システムの将来の状態は、単なる状態および入力の関数ではなく、むしろ状態、事象および入力の関数である。
[0069]一態様では、ニューロンnは、下記のダイナミクスによって決定される膜電圧vn(t)によるスパイキングリーキー積分発火ニューロンとしてモデル化され得る。
Figure 2017507397
ここでαおよびβはパラメータであり(αは通常、慣例により負である)、wm,nは、シナプス前ニューロンmをシナプス後ニューロンnに結合するシナプスのシナプス重みであり、ym(t)は、ニューロンnの細胞体に到着するまでΔtm,nに従って樹状遅延または軸索遅延によって遅延し得るニューロンmのスパイキング出力である。
[0070]シナプス後ニューロンへの十分な入力が達成された時間からシナプス後ニューロンが実際に発火する時間までの遅延があることに留意されたい。イジケヴィッチの単純モデルなど、動的スパイキングニューロンモデルでは、脱分極しきい値vtとピークスパイク電圧vpeakとの間に差がある場合、時間遅延が生じ得る。たとえば、単純モデルでは、電圧および復元のための1対の微分方程式、すなわち、
Figure 2017507397
Figure 2017507397
によってニューロン細胞体ダイナミクス(neuron soma dynamics)が決定され得る。ここでvは膜電位であり、uは、膜復元変数であり、kは、膜電位vの時間スケールを記述するパラメータであり、aは、復元変数uの時間スケールを記述するパラメータであり、bは、膜電位vのしきい値下変動に対する復元変数uの感度を記述するパラメータであり、vrは、膜静止電位であり、Iは、シナプス電流であり、Cは、膜のキャパシタンスである。このモデルによれば、ニューロンはv>vpeakのときにスパイクすると定義される。
Hunzinger Coldモデル
[0071]Hunzinger Coldニューロンモデルは、豊かな様々な神経挙動を再生し得る最小二重レジームスパイキング線形動的モデルである。モデルの1次元または2次元の線形ダイナミクスは2つのレジームを有することができ、時間定数(および結合)はレジームに依存し得る。しきい値下レジームでは、時間定数は、慣例により負であり、一般に生物学的に一貫した線形方式で静止状態に細胞を戻す役目を果たすリーキーチャネルダイナミクスを表す。しきい値上レジームにおける時間定数は、慣例により正であり、一般にスパイク生成のレイテンシを生じさせる一方でスパイク状態に細胞を駆り立てる反リーキーチャネルダイナミクスを反映する。
[0072]回復電位(u)対膜電位(v)図4のグラフに示すように、モデルのダイナミクスは2つの(またはそれよりも多くの)レジームに分割され得る。これらのレジームは、負レジーム402(リーキー積分発火(LIF)ニューロンモデルと混同されないように互換的にLIFレジームとも呼ばれる)および正レジーム404(反リーキー積分発火(ALIF)ニューロンモデルと混同されないように互換的にALIFレジームとも呼ばれる)と呼ばれ得る。静止電位(v-)と発火しきい値(v+)との間の負レジーム402では、状態は将来の事象の時点における静止(v-)に向かう。この負レジームでは、モデルは一般に、時間的入力検出特性と他のしきい値下挙動とを示す。v+とピーク電圧(vs)との間の正レジーム404では、状態はスパイキング事象(vs)に向かう。この正レジームでは、モデルは、後続の入力事象に応じてスパイクにレイテンシを生じさせるなどの計算特性を示す。事象の点からのダイナミクスの公式化およびこれら2つのレジームへのダイナミクスの分離は、モデルの基本的特性である。
[0073]線形二重レジーム2次元ダイナミクス(状態vおよびuの場合)は、慣例により次のように定義され得る。
Figure 2017507397
Figure 2017507397
ここでqρおよびrは、結合のための線形変換変数である。
[0074]シンボルρは、ダイナミクスレジームを示すためにここで使用され、特定のレジームの関係を論述または表現するときに、それぞれ負レジームおよび正レジームについて符号「−」または「+」にシンボルρを置き換える慣例がある。
[0075]モデル状態は、膜電位(電圧)vおよび復元電流uによって定義される。基本形態では、レジームは基本的にモデル状態によって決定される。正確で一般的な定義の微妙だが重要な側面があるが、差し当たり、モデルが、電圧vがしきい値(v+)を上回る場合に正レジーム404にあり、そうでない場合に負レジーム402にあると考える。
[0076]レジーム依存時間定数は、負レジーム時間定数であるτ-と正レジーム時間定数であるτ+とを含む。復元電流時間定数τuは通常、レジームから独立している。便宜上、τuと同様に、指数およびτ+が一般に正となる正レジームの場合に、電圧発展(voltage evolution)に関する同じ表現が使用され得るように、減衰を反映するために負の量として負レジーム時間定数τ-が一般に指定される。
[0077]2つの状態要素のダイナミクスは、事象において、ヌルクラインから状態をオフセットする変換によって結合され得、ここで変換変数は、
Figure 2017507397
Figure 2017507397
であり、δ、ε、βおよびv-、v+はパラメータである。vρのための2つの値は、2つのレジームのための参照電圧のベースである。パラメータv-は、負レジームのためのベース電圧であり、膜電位は一般に、負レジームにおいてv-に減衰することになる。パラメータv+は、正レジームのためのベース電圧であり、膜電位は一般に、正レジームにおいてv+から離れる傾向となる。
[0078]vおよびuのためのヌルクラインは、それぞれ変換変数qρおよびrの負によって与えられる。パラメータδは,uヌルクラインの傾きを制御するスケール係数である。パラメータεは通常、−v-に等しく設定される。パラメータβは、両方のレジームにおいてvヌルクラインの傾きを制御する抵抗値である。τρ時間定数パラメータは、指数関数的減衰だけでなく、各レジームにおいて別個にヌルクラインの傾きを制御する。
[0079]モデルは、電圧vが値vsに達したときにスパイクするように定義される。続いて、状態は通常、(技術的に、スパイク事象と同じ1つのものであり得る)リセット事象でリセットされる。
Figure 2017507397
Figure 2017507397
ここで、
Figure 2017507397
およびΔuはパラメータである。リセット電圧
Figure 2017507397
は通常、v-にセットされる。
[0080]瞬時結合の原理によって、状態について(また、単一の指数項による)だけではなく、特定の状態に到達するために必要とされる時間についても、閉形式解が可能である。閉形式状態解は、次のとおりである。
Figure 2017507397
Figure 2017507397
[0081]したがって、モデル状態は、入力(シナプス前スパイク)または出力(シナプス後スパイク)などの事象に伴ってのみ更新され得る。また、演算が(入力があるか、出力があるかを問わず)任意の特定の時間に実行され得る。
[0082]その上、瞬時結合原理によって、反復的技法または数値解法(たとえば、オイラー数値解法)なしに、特定の状態に到達する時間が事前に決定され得るように、シナプス後スパイクの時間が予想され得る。前の電圧状態v0を踏まえ、電圧状態vfに到達するまでの時間遅延は、次の式によって与えられる。
Figure 2017507397
[0083]スパイクが、電圧状態vがvsに到達する時間に生じると定義される場合、電圧が所与の状態vにある時間から測定されたスパイクが生じるまでの時間量、または相対的遅延に関する閉形式解は、次のとおりである。
Figure 2017507397
ここで、
Figure 2017507397
は通常、パラメータv+にセットされるが、他の変形も可能であり得る。
[0084]モデルダイナミクスの上記の定義は、モデルが正レジームにあるか、それとも負レジームにあるかに依存する。上述のように、結合およびレジームρは、事象に伴って計算され得る。状態の伝搬のために、レジームおよび結合(変換)変数は、最後の(前の)事象の時間における状態に基づいて定義され得る。続いてスパイク出力時間を予想するために、レジームおよび結合変数は、次の(最新の)事象の時間における状態に基づいて定義され得る。
[0085]Coldモデルの、適時にシミュレーション、エミュレーションまたはモデルを実行するいくつかの可能な実装形態がある。これは、たとえば、事象更新モード、ステップ事象更新モード、およびステップ更新モードを含む。事象更新は、(特定の瞬間における)事象または「事象更新」に基づいて状態が更新される更新である。ステップ更新は、間隔(たとえば、1ms)をおいてモデルが更新される更新である。これは必ずしも、反復的技法または数値解法を必要とするとは限らない。また、事象がステップもしくはステップ間で生じる場合または「ステップ事象」更新によってモデルを更新するのみによって、ステップベースのシミュレータにおいて限られた時間分解能で事象ベースの実装形態が可能である。
ニューラルコーディング
[0086]図1のレベルのニューロン102、106から構成されるニューラルネットワークモデルなどの有用なニューラルネットワークモデルは、一致コーディング、時間コーディングまたはレートコーディングなど、様々な好適なニューラルコーディング方式のうちのいずれかを介して情報を符号化することができる。一致コーディングでは、情報は、ニューロン集団の活動電位(スパイキング活動)の一致(または時間的近接度)で符号化される。時間コーディングでは、ニューロンは、絶対時間であるか相対時間であるかを問わず、活動電位(すなわち、スパイク)の正確なタイミングを通して情報を符号化する。したがって、情報は、ニューロン集団の間でスパイクの相対的タイミングで符号化され得る。対照的に、レートコーディングは、発火レートまたは集団発火レートでニューラル情報をコーディングすることを伴う。
[0087]ニューロンモデルは、時間コーディングを実行し得る場合、(レートは単に、タイミングまたはスパイク間の間隔の関数であるので)レートコーディングも実行し得る。時間コーディングを行うために、良いニューロンモデルは2つの特性を有する必要がある。すなわち、(1)入力の到着時間は出力時間に影響を与え、(2)一致検出は狭い時間ウィンドウを有する。時間パターンの要素を適切に遅延させることによって、要素はタイミング一致に組み込まれ得るので、結合遅延は、一致検出を時間パターン復号に拡大するための1つの手段を提供する。
到着時間
[0088]良いニューロンモデルでは、入力の到着の時間は、出力の時間に影響を与えるはずである。シナプス入力は、ディラックのデルタ関数であるか、成形シナプス後電位(PSP:shaped post-synaptic potential)であるかを問わず、興奮性(EPSP)であるか、抑制性(IPSP)であるかを問わず、到着時間(たとえば、デルタ関数またはステップもしくは他の入力関数の開始もしくはピークの時間)を有し、これは入力時間と呼ばれ得る。ニューロン出力(すなわち、スパイク)は、(細胞体、軸索に沿ったポイント、または軸索の端部など、どこで測定される場合でも)発生の時間を有し、これは出力時間と呼ばれ得る。出力時間は、スパイクのピークの時間、スパイクの開始の時間、または出力波形に関係する任意の他の時間であり得る。支配的な原理は、出力時間が入力時間に依存することである。
[0089]一見したところ、すべてのニューロンモデルがこの原理に従うと思われるかもしれないが、これは一般には当てはまらない。たとえば、レートベースのモデルは、この特徴を有しない。多くのスパイキングモデルも、一般には適合しない。リーキー積分発火(LIF)モデルは、(しきい値を越えて)追加の入力がある場合にさらに速く発火することはない。その上、非常に高いタイミング分解能でモデル化された場合に適合する可能性があるモデルは多くの場合、タイミング分解能がたとえば1msのステップに限定されているときに適合しない。
入力
[0090]ニューロンモデルへの入力はディラックのデルタ関数、たとえば電流としての入力または伝導性ベースの入力を含み得る。後者の場合、ニューロン状態への寄与は連続的または状態依存的であり得る。
自動エラー訂正のための、例示的な同時レイテンシおよびレートコーディング
[0091]迅速な応答時間は、刺激弁別に関わるスパイキングニューロンネットワークを含む、環境入力に応答するあらゆるシステムにとって有利である。そのようなネットワークでは、環境刺激は、感覚経路内のニューロン全体に刺激固有のスパイクパターンを誘発する。特定の受容体ニューロンでは、より有効な刺激は、より多くのスパイクを誘発するだけでなく、スパイキング開始までの時間を減少させる傾向がある。このため、刺激弁別は、スパイクカウンティングメトリック、またはスパイキング開始の測定(たとえば、第1のスパイクまでの時間)のいずれかを使用することができる。各手法には長所と短所がある。たとえば、スパイクカウンティングはノイズに対してより堅牢であるが、より長い期間のサンプリングを必要とし、その結果、応答レイテンシが長くなる。応答開始を測定することははるかに迅速であるが、特定の種類のノイズ(たとえば、スパイクタイミングジッタ、または偽のスパイク)によって損なわれる可能性がある。
[0092]したがって、人工神経系における強化された刺激弁別のための技法および装置が必要とされる。
[0093]本開示のいくつかの態様は、受容体ニューロン(感覚ニューロンなどの、刺激を受信する人工ニューロン)へのシナプス後である検出器ニューロン(detector neuron)を提供する。検出器ニューロンは、第1のスパイクで有効な刺激の開始に応答し(レイテンシコードに基づくプライマリ応答)、ある間隔の後に第2のスパイクで応答する(レートコードに基づくセカンダリ応答)。その結果、スパイク間の間隔(ISI)は、入ってくるスパイクレート(spike rate)に反比例し、したがって、「エラーチェック信号」として機能し得る。プライマリ応答が正確である場合、人工神経系は、プライマリスパイクとセカンダリスパイクとの間の対応するISIを予測することができる。しかしながら、プライマリ応答がエラーで発生した場合(たとえば、スパイクタイミングジッタのために)、ノイズに対してより堅牢なレート情報を搬送するセカンダリ応答は、いくつかの態様にとって不適当なISIを有するエラーを通知し得る(または、他の態様のために第2のスパイクを完全に省略することによって)。その結果、本開示のいくつかの態様は、短い応答レイテンシで応答し得、また、エラー訂正を可能にすることによって精度を維持し得る。いくつかの態様では、受容体−検出器ニューロンの組は、送信者−受信者ニューロンの組と呼ばれ得る。
[0094]図5A〜図5Cは、本開示のいくつかの態様による、様々なシナプス後電位(PSP)関数を示している。図5AのPSP500はディラックのデルタ関数であり、たとえば、入力スパイクがフィルタブロック内のPSP500で畳み込まれる時にゼロメモリ一致検出器として機能する人工ニューロンをもたらす。図5BのPSP510は2つのDCレベル間のステップ関数であり、入力スパイクがこのPSP510で畳み込まれる時に無限メモリ事象カウンタとして機能する人工ニューロンをもたらす。図5CのPSP520は、前の2つの関数の特徴を結合し、迅速な立上り時間を示すが、低速の減衰である。その結果、このPSP520を有する人工ニューロンは、一致を検出するための迅速な立上り時間(スパイクタイミング・デコーディング(spike timing decoding))、および限られた時間ウィンドウ内で事象をカウントするための低速の減衰(レート・デコーディング(rate decoding))で、一致と事象カウンティングの両方を計算するために使用され得る。
[0095]図6は、本開示のいくつかの態様による、2つの異なる視覚刺激への例示的なニューラル応答と、刺激を差異化するための様々な応答メトリクスとを示している。人工ニューロンのスパイク列応答は、刺激とニューロンの受容野との関数である。この例では、刺激Lの向きはニューロンの受容野の向きと一致し、ニューラル応答は迅速で強力であり、初期の第1のスパイクと高いスパイクカウントとを特徴とする。対照的に、刺激の向きが受容野の向きと密接に一致しない場合(刺激Rと同様)、ニューロンは、後期の第1のスパイクとより少ない合計スパイクとで応答する。
[0096]刺激は通常、スパイクが発生する時、または多くのスパイクが発生する方法に応じて符号化される。刺激を差異化するためのメトリックは、時間応答開始(たとえば、刺激Rと比較して刺激Lに応答する以前の第1のスパイク)、誘発された合計スパイクカウント(たとえば、刺激Rと比較して刺激Lのためのより多くの合計スパイク)、またはその間のハイブリッドを含む。開始までの時間を使用することはより迅速であるが、たとえば、タイミングジッタ、またはドロップしたスパイクのために信頼性が低い場合がある。対照的に、誘発された合計スパイクカウント方法はより遅いが、基礎となる信号を表すためにより多くのスパイクが使用されるため、より信頼性があり得る。ハイブリッド方法は、速度対精度のトレードオフをもたらし得る。
[0097]図7は、本開示のいくつかの態様による、グラフ700における3つの異なる入力強度での受容体ニューロンへの例示的な入力電流を示している。増加する入力強度は、グラフ710に示すようにスパイクカウントを増加し得、またグラフ720に描くようにスパイクレイテンシを減少させる。これは、グラフ730に示すように、スパイクカウントとスパイクレイテンシとの間に相関関係をもたらし得る。
[0098]図8は、本開示のいくつかの態様による、異なる刺激間を区別する時の、速度と精度との間の例示的なトレードオフを示している。いくつかの異なるノイズ(ジッタ)条件下で、刺激スパイク列AとBとの間の区別の信頼度が経時的にプロットされている。特定の決定時間での精度は、この信頼値に等しい。ジッタが低い場合、刺激開始の直後に精度は0.5(チャンス)〜約1.0にジャンプする。ジッタが高い場合、すべてのスパイクがカウントされる(すなわち、刺激の終わり)まで、精度は低いままであり得る。したがって、ノイズがある場合、より正確な方法は通常より遅く(スパイクカウンティングを含む)、より速い方法(刺激開始の後)はあまり正確ではない場合がある。単一の方法の使用を強制するよりも、本開示の態様は、2つの方法を並列に使用することをサポートする。(たとえば、迅速な初期の構成要素に続いて、ノイズに対してより堅牢であるより遅い構成要素は、この速度−精度曲線を曲線の複数の点で効果的に「サンプリング」する)。
[0099]図9は、本開示のいくつかの態様による、スパイク間の間隔(ISI)によって分離される1組のスパイクを有する刺激に応答する、検出器ニューロンの例示的な動作を示している。第1のスパイクコードのレイテンシは、入力スパイクレイテンシに基づいて信号強度の初期推定を符号化して、ISIは、入力のスパイクレートに基づいて信号強度の後続の推定を符号化する。第1のスパイクのレイテンシはより速く、識別された刺激の初期の最良の推測を提供するより信頼性の低いメトリックである。検出器ニューロンの2つのスパイク間のISIはより遅く、より信頼性があるメトリックであり、本開示のいくつかの態様におけるエラー訂正のために使用され得る。
[0100]図10は、本開示のいくつかの態様による、例示的な刺激プロファイルと、この刺激プロファイルの同時一致検出および事象カウンティングを可能にするための、興奮性シナプス後電流(EPSC)の形状とを示している。この刺激プロファイルでは、刺激開始は(スパイク確率P(スパイク)〜1.0で)一時的な一致スパイキング、続いて、刺激の持続時間に関する一定のスパイク確率pの期間で示される。EPSCの形状は、一致検出のための初期デルタ(この刺激のために、刺激開始の検出を可能にする)と、事象カウンティングのための持続的なすそ(persistent tail)(この刺激について、pの符号化を可能にする)とを有する。
[0101]図11は、本開示のいくつかの態様による、図10からの刺激プロファイルを示す、例示的な受容体ニューロンの動作を示している。この例では、正方形電流(刺激の持続時間および強度を示す)が受容体ニューロンに注入され、刺激開始の直後に脱分極およびスパイクして、その後、定期的にスパイクを生成する(本質的な体細胞ノイズ(intrinsic somatic noise)の結果として)。スパイクラスタは、同一の電流注入を受け取る20個のそのような受容体ニューロンからの例示的なスパイキングを示しているが、異なる体細胞ノイズを有しており、スパイク確率ヒストグラムは、そのようなニューロンの大集団全体のスパイキングプロファイルを示している。図10のように、これらのニューロンの集団は、刺激開始時の同時発火(スパイク確率〜1.0)に続いて、刺激の持続時間にわたる持続的な発火(スパイク確率〜0.015)を示す。挿入されたISIヒストグラムは、スパイキングが、およそポアソンであり、不応期を伴うことを示している。
[0102]図12は、本開示のいくつかの態様による、例示的な検出器ニューロンを示し、それは、図10からの例示的なEPSC設計、よって、一致検出器と事象カウンタの両方としての機能を実装する。この例では、検出器ニューロンは、図11のような挙動をする受容体ニューロンの集団から入力を受信する。検出器ニューロンは刺激開始で一度スパイクし、次いで、スパイクのカウンティングを開始し、その膜電位(vdetector)において、特徴的な「階段状(stair step)」カウンティング挙動を示す。入力強度を増加させると(この例では、2から6まで)、より高い持続的な入力スパイク確率をもたらし、事象カウンタはより速くしきい値に達し、より短いISIをもたらす。スパイクラスタは、各入力強度の5つの試行を示し、入力強度のISI符号化の堅牢性を示す。
[0103]図13は、本開示のいくつかの態様による、図12の例示的な検出器ニューロン挙動の入力スパイクレートおよびISIのグラフを示している。図13は、ISIが入力強度を確実に符号化できることを示す。
[0104]図14は、本開示のいくつかの態様による、レイテンシおよびレートコーディングを同時に使用する例を示している。受容体ニューロン設計(左上)は、図11における例と類似しているが、ここでは、注入された電流と開始スロープとの大きさはともに変化し、初期一致スパイキングが、入力強度の関数として特徴的なレイテンシで発生する刺激をもたらす。グラフ内の線の幅が太いほど、注入された電流の大きさがより高く、開始スロープがより大きい。前述のように、スパイキングの持続的な確率(中央左)は入力強度の関数である。例示的な検出器ニューロン(左下)は、刺激開始で最初のスパイクを生成する(レイテンシコードを示す)だけでなく、入力強度の関数であるISIで後続のスパイクを生成する。レイテンシとISI(右)は両方とも、入力強度の範囲にわたって信頼性の高い符号化を示す。
[0105]図15は、本開示のいくつかの態様による、この刺激プロファイルの単一のニューロンにおける開始検出および事象カウンティングを可能にするための、別の例示的な刺激プロファイルと例示的な検出器ニューロン設計とを示している。この刺激には初期一致スパイキングはなく、入力スパイク確率(上)は刺激持続時間にわたって平坦である。理想的な検出器ニューロン(中央)は、最初に、低しきい値で開始検出器として機能し得る。第1の検出器スパイクの後(刺激開始を示す)、しきい値が増加し得、検出器ニューロンをスパイクカウンタに変換する。刺激オフセットに続いて、ニューロンは、低しきい値開始検出器モードに戻ることができる。この理想的な検出器のニューロンは、たとえば、およそ1次元(1D)ニューロン設計(下)で実装され得る。定常状態v-はしきい値(v+)に近く、低しきい値開始検出器モードを定義する。しかしながら、vresetは、v-よりもはるかに低く設定され、各検出器ニューロンスパイクに続く有効なしきい値を簡単に上げている(スパイクカウンティングモードに)。しかしながら、1Dニューロン設計は通常、変化され得る1つの時定数のみを有する。50の時定数を有するニューロン設計は迅速に開始検出モードに戻り、これは持続的なスパイクカウンティングモードにとって望ましくない場合がある。1000の時定数を持つニューロン設計は、はるかに安定したスパイクカウンティングモードを提供するが、図15に示すように、この設計は次の刺激のための時間内に回復し得ない。理想的な検出器ニューロンは、モード間のより鋭い遷移を可能にする。
[0106]図16は、本開示のいくつかの態様による、開始検出とスパイクカウンティングモードとの間のより鋭い遷移を可能にする、例示的な2次元(2D)ニューロン設計(膜電位vと復元変数uとを有する)を示している。複数の時定数を有する2つの結合された状態変数を使用することによって、リセット後の電圧回復の形状は、1次元ニューロン設計よりも、所望の形状により近く作られ得る。
[0107]図17は、本開示のいくつかの態様による、図15の例示的な1Dニューロンよりも鋭い、開始検出器/カウンタ挙動間の遷移を提供する図16の例示的な2Dニューロンを示している。この例では、挙動は、入力ISIの関数として、検出器ニューロンスパイクを誘発するのに十分な入力スパイクの数によって測定される。この構成では、より長い入力ISIでの理想的な挙動は、単一の入力スパイクの後に応答することであり、より短い入力ISIでの理想的な挙動は、10個の入力スパイクの後に応答することである。2Dニューロンは、これらの挙動モード間のより急傾斜の遷移を有する。
[0108]図18は、本開示のいくつかの態様による、図16の例示的な2D検出器ニューロンにおいて、レイテンシおよびレートコーディングを同時に使用する例を示している。この例では、入力列は二重指数入力電流(上)を受容体ニューロンに注入することによって生成され、入力強度に応じて異なる開始レイテンシとレート(中央)でスパイクする。例示的な2D検出器ニューロンでは、第1のスパイクレイテンシとISIの両方が入力強度(下)を符号化する。
[0109]図19および図20は、本開示のいくつかの態様による、ノイズが以前のレイテンシコーディングを中断する時に、後期のISI符号化が堅牢なままであり得る方法の例を示す、出力タイミング対入力強度のグラフである。図19では、背景ポアソンスパイクが受容体ニューロンスパイクに追加される。図20では、体細胞ノイズが受容体ニューロンに注入され、これはスパイクタイミングに影響を与えることができる。
[0110]図21は、本開示のいくつかの態様による、刺激を識別するためにレイテンシとスパイクカウント情報の両方を使用して、二分決定を行う、例示的な人工神経系の一部を示している。検出器ニューロンからの以前の応答(第1のスパイク)が、刺激開始の直後に、刺激アイデンティティの最初の最良の推測を提供し(レイテンシ、または相対的レイテンシコードを使用して)、検出器ニューロン間の側方抑制が勝者総取り方式(winner-takes-all)セットアップを提供する。この第1のスパイクのタイミングは、ノイズ(たとえば、ジッタ)の影響を受ける可能性がある。検出器ニューロンからの後期の応答(第2のスパイク)は、エラー訂正を可能にする。この第2のスパイクのタイミングは、より長い期間(たとえば、スパイクカウンティング)にわたって情報を統合しているため、ノイズに対してより堅牢である。検出器ニューロンスパイクからのISIが検出器ニューロンからの第1のスパイクに基づく予想と一致しない場合、初期の「最良の推測」信号によって最初にトリガされた人工神経系の挙動(たとえば、挙動Aまたは挙動B)は最終的に抑制され得る。いくつかの態様では、入力刺激を識別するために、時間的コードモジュールが使用され得る。
[0111]図22は、本開示のいくつかの態様による、図21の例示的な人工神経系におけるISIによって示される刺激識別エラーの例を示している。シンボルは、刺激Lの正しい、または誤った識別を示している。第1の試行では、刺激Lが提示され、第1のL検出器スパイクによって正しく識別された。この試行における検出器ISIは、この識別をサポートする(「ISIを検査する」ニューロンスパイク)。第2の試行では、刺激Rが提示され、L検出器はスパイクしない。第3の試行では、刺激Rが提示されるが、L検出器が(誤って)スパイクするようにレイテンシがジッタされる。この試行では、L検出器ISIは、刺激Lと不調和であるため、「ISIを検査する」ニューロンはスパイクせず、初期の検出におけるエラーを示す。
[0112]図23は、本開示のいくつかの態様による、図21の例示的な人工神経系におけるレイテンシコード内のエラーを検出する例を示している。ポアソンスパイクは受容体ニューロンスパイク(上)に追加され、刺激を正しく識別するための検出器ニューロンの能力を低下させる。ポアソン率が上昇するにつれて、検出器ニューロンの失敗(「誤った検出器が発火した」)の割合が増加する(中)。しかしながら、これらの場合、ISIエラーチェッキングは発火せず、したがって、偽陽性率(「誤ったエラーチェックが発火した」)はゼロに近いままである。ISIを使用するROC曲線(下)は、高いポアソンノイズ率まで刺激が分離可能であることを示す。
[0113]図24は、本開示のいくつかの態様による、人工神経系を操作するための例示的な動作2400の流れ図である。動作2400は、ハードウェアで(たとえば、ニューロモルフィックプロセッサなどの1つまたは複数のニューラル処理ユニットによって)、ソフトウェアで、またはファームウェアで実行され得る。人工神経系は、視覚神経系、聴覚神経系、海馬等の、様々な生物学的または仮想的な神経系のいずれかの上でモデル化され得る。
[0114]動作2400は、2402で、人工神経系(あるいは、1つまたは複数の人工ニューロン、またはその中のシナプス)が刺激を受信することで開始する。2404で、第1のデバイスは、2402で受信された刺激に少なくとも部分的に基づいて、2つ以上のスパイクのスパイク列を生成し得る。第1のデバイスは、たとえば、受容体人工ニューロン、トランスデューサ、またはアナログ信号をスパイクに変換するセンサを含み得る。2406で、刺激は、スパイク列の開始(たとえば、スパイク列内の最初のスパイクまでの時間)に少なくとも部分的に基づいて識別される。2408で、識別された刺激は、スパイク列の少なくとも一部におけるスパイクのレート(またはスパイクの数、すなわちスパイクカウント)に少なくとも部分的に基づいて検査される。
[0115]いくつかの態様によれば、動作2400は、2408での検査が失敗した場合、識別された刺激に関連付けられる挙動を抑制する、または訂正する、人工神経系をさらに含み得る。
[0116]いくつかの態様によれば、2406で刺激を識別することは、第2のデバイス(たとえば、人工ニューロン)で、スパイク列の開始に(少なくとも部分的に)基づいて、第1のスパイクを生成することを含み得る。この場合、動作2400は、第2のデバイスで、スパイク列内のスパイクのレートに(少なくとも部分的に)基づいて、第2のスパイクを生成することをさらに含み得る。第2のスパイクは第1のスパイクの後に発生する。いくつかの態様では、2408で識別された刺激を検査することは、スパイク列の開始に(少なくとも部分的に)基づいて、第1のスパイクと第2のスパイクとの間の間隔(たとえば、スパイク間の間隔)が、識別された刺激に対応するかどうかを決定することを伴う。いくつかの態様では、第2のデバイスは、人工シナプスを介して第1のデバイス(たとえば、受容体人工ニューロン)に接続された検出器人工ニューロンである。
[0117]他の態様では、2406で刺激を識別することは、第2のデバイス(たとえば、人工ニューロン)で、上述のように、スパイク列の開始に(少なくとも部分的に)基づいて、第1のスパイクを生成することを含み得る。しかしながら、動作2400は、第3のデバイス(たとえば、第2の人工ニューロンや他のデバイスとは異なる人工ニューロン)で、スパイク列内のスパイクのレートに(少なくとも部分的に)基づいて、第2のスパイクを生成することをさらに含み得る。第2のスパイクは第1のスパイクの後に発生する。たとえば、第2および第3のデバイスは、2つのLIFニューロンを備え得る。第2および第3のデバイスからの第1および第2のスパイクはそれぞれ、上述のようにISI検証器などの別の構成要素によって処理され得る。
[0118]いくつかの態様によれば、動作2400は、スパイク列内の一番先のスパイク(たとえば、スパイク列内の最も初めのスパイクまでの時間)、またはスパイク列内の最初のスパイクのセット(たとえば、スパイク列内の最初のスパイクのクラスタまたは連発までの時間)のうちの少なくとも1つに基づいて、スパイク列の開始を決定することをさらに含み得る。いくつかの態様では、動作2400は、スパイク確率の一時的な上昇(たとえば、増加した一致)に基づいて、スパイク列の開始を決定することをさらに含み得る。
[0119]いくつかの態様によれば、動作2400は、基準信号と、スパイク列内の特定のスパイク(たとえば、一番先のスパイク)との間の時間差に基づいて、スパイク列の開始を決定することをさらに含み得る。他の態様では、スパイク列の開始は、基準信号と、スパイク列内の複数のスパイクに基づいて計算された時間との間の時間差に基づいて決定され得る。基準信号は、クロック、フレーム境界、いくつかの外部同期信号等から来る場合がある。
[0120]いくつかの態様によれば、スパイクのレートは、開始が決定されるよりも長い時間の期間にわたって平均化される。
[0121]いくつかの態様によれば、動作2400は、検査することが失敗した場合、訂正された刺激で識別された刺激の表示を更新することをさらに含み得、ここにおいて、更新することはスパイクのレートに基づき得る。この場合、動作2400は、訂正された刺激に関連付けられる挙動を生成するために、信号(たとえば、追加信号(additive signal))を出力することをさらに含み得る。
[0122]いくつかの態様によれば、動作2400は、検査することが失敗した場合、通知を出力することをさらに含み得る。たとえば、この通知は人工神経系による、または人工神経系内のエラー表示出力であり得る。
[0123]いくつかの態様によれば、2404で生成することは、刺激と符号化方式とに少なくとも部分的に基づいて、スパイク列を生成することを含む。たとえば、刺激が継続信号x(t)である場合、符号化方式h(.)は、スパイク内の符号化された信号がy(t)=h(x(t))であるように使用され得る。
[0124]刺激の入力強度は、スパイクのレートに比例し得る。入力強度はまた、スパイク列の開始に反比例し得る。
[0125]図25は、本開示のいくつかの態様による、汎用プロセッサ2502を使用して人工神経系を操作するための上述の方法を実装するための構成要素の例示的なブロック図2500を示している。計算ネットワーク(ニューラルネットワーク)に関連する変数(ニューラル信号)、シナプス重み、および/またはシステムパラメータは、メモリブロック2504に記憶され得る一方、汎用プロセッサ2502において実行される関連した命令は、プログラムメモリ2506からロードされ得る。本開示のある態様では、汎用プロセッサ2502にロードされた命令は、刺激を受信するためのコードと、第1の人工ニューロンで、刺激に少なくとも部分的に基づいてスパイク列を生成するためのコードと、スパイク列の開始に少なくとも部分的に基づいて、刺激を識別するためのコードと、スパイク列内のスパイクのレートに少なくとも部分的に基づいて、識別された刺激を検査するためのコードとを含み得る。本開示の別の態様では、汎用プロセッサ2502にロードされた命令は、人工ニューロンでスパイク列を受信するためのコードと、スパイク列の開始に少なくとも部分的に基づいて、人工ニューロンから第1のスパイクを出力するためのコードと、スパイク列内のスパイクのレートに少なくとも部分的に基づいて、人工ニューロンから第2のスパイクを出力するためのコードとを含み得る。
[0126]図26は、本開示のいくつかの態様による、メモリ2602が、計算ネットワーク(ニューラルネットワーク)の個々の(分散)処理ユニット(ニューラルプロセッサ)2606と、相互接続ネットワーク2604を介してインターフェースされ得る、人工神経系を操作するための上述の方法を実装するための構成要素の例示的なブロック図2600を示している。計算ネットワーク(ニューラルネットワーク)に関連する変数(ニューラル信号)、シナプス重み、および/またはシステムパラメータは、メモリ2602に記憶されてよく、相互接続ネットワーク2604の接続を介してメモリ1402から各処理ユニット(ニューラルプロセッサ)2606にロードされ得る。本開示のある態様では、処理ユニット2606は、刺激を受信して、第1の人工ニューロンで、刺激に少なくとも部分的に基づいてスパイク列を生成して、スパイク列の開始に少なくとも部分的に基づいて刺激を識別して、スパイク列内のスパイクのレートに少なくとも部分的に基づいて、識別された刺激を検査するように構成され得る。本開示の別の態様では、処理ユニット2606は、人工ニューロンでスパイク列を受信して、スパイク列の開始に少なくとも部分的に基づいて、人工ニューロンから第1のスパイクを出力して、スパイク列内のスパイクのレートに少なくとも部分的に基づいて、人工ニューロンから第2のスパイクを出力するように構成され得る。
[0127]図27は、本開示のいくつかの態様による、分散メモリ2702および分散処理ユニット(ニューラルプロセッサ)2704に基づいて人工神経系を操作するための上述の方法を実装するための構成要素の例示的なブロック図2700を示している。図27に示すように、1つのメモリバンク2702が、計算ネットワーク(ニューラルネットワーク)の1つの処理ユニット2704と直接インターフェースされてよく、メモリバンク2702は、その処理ユニット(ニューラルプロセッサ)2704に関連する変数(ニューラル信号)、シナプス重み、および/またはシステムパラメータを記憶することができる。本開示のある態様では、処理ユニット2704は、刺激を受信して、第1の人工ニューロンで、刺激に少なくとも部分的に基づいてスパイク列を生成して、スパイク列の開始に少なくとも部分的に基づいて刺激を識別して、スパイク列内のスパイクのレートに少なくとも部分的に基づいて、識別された刺激を検査するように構成され得る。本開示の別の態様では、処理ユニット2704は、人工ニューロンでスパイク列を受信して、スパイク列の開始に少なくとも部分的に基づいて、人工ニューロンから第1のスパイクを出力して、スパイク列内のスパイクのレートに少なくとも部分的に基づいて、人工ニューロンから第2のスパイクを出力するように構成され得る。
[0128]図28は、本開示のいくつかの態様による、ニューラルネットワーク2800の例示的な実装形態を示す。図28に示すように、ニューラルネットワーク2800は、上述した方法の様々な動作を実行し得る複数のローカル処理ユニット2802を備えることができる。各処理ユニット2802は、ローカル状態メモリ2804と、ニューラルネットワークのパラメータを記憶するローカルパラメータメモリ2806とを備えることができる。さらに、処理ユニット2802は、ローカル(ニューロン)モデルプログラムを有するメモリ2808と、ローカル学習プログラムを有するメモリ2810と、ローカル接続メモリ2812とを備えることができる。さらに、図28に示すように、各ローカル処理ユニット2802は、ローカル処理ユニットのローカルメモリのための設定を提供し得る設定処理のためのユニット2814と、またローカル処理ユニット2802間のルーティングを提供するルーティング接続処理要素2816とインターフェースされ得る。
[0129]本開示のいくつかの態様によれば、各ローカル処理ユニット2802は、ニューラルネットワークの所望の1つまたは複数の機能的特徴に基づいてニューラルネットワークのパラメータを決定し、決定されたパラメータがさらに適合、調整および更新されることで、1つまたは複数の機能的特徴を所望の機能的特徴に向けて発展させるように構成され得る。
[0130]上述した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路(ASIC)、またはプロセッサを含む、様々なハードウェアおよび/またはソフトウェア構成要素および/またはモジュールを含み得る。たとえば、様々な動作は、図25〜図28に示す様々なプロセッサのうちの1つまたは複数によって実行され得る。概して、図に示されている動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。たとえば、図24に示す動作2400は、図24Aに示す手段2400Aに対応する。
[0131]たとえば、処理するための手段、受信するための手段、保持するための手段、出力するための手段、または決定するための手段は、1つまたは複数のプロセッサまたは処理ユニットを含み得る、処理システムを備え得る。記憶するための手段は、処理システムによってアクセスされ得る、メモリまたは任意の他の好適な記憶デバイス(たとえば、RAM)を備え得る。
[0132]本明細書で使用する「決定」という用語は、多種多様なアクションを包含する。たとえば、「決定」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること(たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること)、確認することなどを含み得る。また、「決定」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリ中のデータにアクセスすること)などを含み得る。また、「決定」は、解決すること、選択すること、選定すること、確立することなどを含み得る。
[0133]本明細書で使用する、項目のリスト「のうちの少なくとも1つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a−b、a−c、b−c、およびa−b−cを包含するものとする。
[0134]本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ信号(FPGA)または他のプログラマブル論理デバイス(PLD)、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラまたは状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
[0135]本開示に関連して説明した方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその2つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形態の記憶媒体中に常駐し得る。使用され得る記憶媒体のいくつかの例としては、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、フラッシュメモリ、EPROMメモリ、EEPROM(登録商標)メモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROMなどを含む。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサと一体化され得る。
[0136]本明細書で開示する方法は、説明した方法を達成するための1つまたは複数のステップまたはアクションを備える。本方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく変更され得る。
[0137]説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスとブリッジとを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプタを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース(たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど)もバスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路などの様々な他の回路にリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上は説明されない。
[0138]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、1つまたは複数の汎用および/または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、DSPプロセッサ、およびソフトウェアを実行し得る他の回路を含む。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、例として、RAM(ランダムアクセスメモリ)、フラッシュメモリ、ROM(読取り専用メモリ)、PROM(プログラマブル読取り専用メモリ)、EPROM(消去可能プログラマブル読取り専用メモリ)、EEPROM(電気消去可能プログラマブル読取り専用メモリ)、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または任意の他の好適な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。
[0139]ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および/またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加で、機械可読媒体またはその任意の部分は、キャッシュおよび/または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。
[0140]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する1つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部分を提供する外部メモリとをもつ汎用処理システムとして構成され得る。代替的に、処理システムは、プロセッサをもつASIC(特定用途向け集積回路)と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部分とを用いて、あるいは1つまたは複数のFPGA(フィールドプログラマブルゲートアレイ)、PLD(プログラマブル論理デバイス)、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、もしくは他の好適な回路、または本開示全体にわたって説明した様々な機能を実行し得る回路の任意の組合せを用いて、実装され得る。当業者なら、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明した機能を最も良く実装し得るかを理解されよう。
[0141]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからRAMにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、1つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。
[0142]ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体を適切に名づけられる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線(IR)、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびBlu−ray(登録商標)媒体ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体(たとえば、有形媒体)を備え得る。さらに、他の態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体(たとえば、信号)を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[0143]したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために1つまたは複数のプロセッサによって実行可能である命令を記憶した(および/または符号化した)コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
[0144]さらに、本明細書で説明した方法および技法を実行するためのモジュールおよび/または他の適切な手段は、適用可能な場合にデバイスによってダウンロードされ、および/または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実施するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明した様々な方法は、デバイスが記憶手段をデバイスに結合または提供すると様々な方法を得ることができるように、記憶手段(たとえば、RAM、ROM、コンパクトディスク(CD)またはフロッピーディスクなどの物理記憶媒体など)によって提供され得る。その上、本明細書で説明した方法および技法をデバイスに与えるための任意の他の好適な技法が利用され得る。
[0145]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
[0145]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
人工神経系を操作するための方法であって、
刺激を受信することと、
第1のデバイスで、前記刺激に少なくとも部分的に基づいて、2つ以上のスパイクのスパイク列を生成することと、
前記スパイク列の開始に少なくとも部分的に基づいて、前記刺激を識別することと、
前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記識別された刺激を検査することと、
を備える、方法。
[C2]
前記検査することが失敗した場合、前記識別された刺激に関連付けられた挙動を抑制することをさらに備える、C1に記載の方法。
[C3]
前記刺激を識別することが、第2のデバイスで、前記スパイク列の前記開始に少なくとも部分的に基づいて、第1のスパイクを生成することを備える、C1に記載の方法。
[C4]
前記第2のデバイスで、前記スパイク列内のスパイクのレートに少なくとも部分的に基づいて、第2のスパイクを生成することをさらに備え、ここにおいて、前記第2のスパイクが前記第1のスパイクの後に発生する、C3に記載の方法。
[C5]
前記識別された刺激を検査することが、前記第1のスパイクと前記第2のスパイクとの間の間隔が前記識別された刺激に対応するかどうかを決定することを備える、C4に記載の方法。
[C6]
前記第1のデバイスのニューロンが受容体人工ニューロンであり、前記第2のデバイスが、人工シナプスを介して前記受容体人工ニューロンに接続された検出器人工ニューロンである、C3に記載の方法。
[C7]
前記刺激の入力強度がスパイクの前記レートに比例し、前記スパイク列の前記開始に反比例する、C1に記載の方法。
[C8]
前記スパイク列内の一番先のスパイク、または前記スパイク列内の最初のスパイクのセットのうちの少なくとも1つに基づいて、前記スパイク列の前記開始を決定することをさらに備える、C1に記載の方法。
[C9]
基準信号と、前記スパイク列内の一番先のスパイクとの間の時間差に基づいて、前記スパイク列の前記開始を決定することをさらに備える、C1に記載の方法。
[C10]
スパイク確率の一時的な上昇に基づいて、前記スパイク列の前記開始を決定することをさらに備える、C1に記載の方法。
[C11]
スパイクの前記レートが、前記開始が決定されるよりも長い時間の期間にわたって平均化される、C1に記載の方法。
[C12]
前記検査することが失敗した場合、訂正された刺激で前記識別された刺激の表示を更新することをさらに備える、C1に記載の方法。
[C13]
訂正された刺激に関連付けられる挙動を生成するために、追加信号を出力することをさらに備える、C11に記載の方法。
[C14]
前記検査することが失敗した場合、通知を出力することをさらに備える、C1に記載の方法。
[C15]
前記生成することが、前記刺激と符号化方式とに少なくとも部分的に基づいて、前記スパイク列を生成することを備える、C1に記載の方法。
[C16]
人工神経系を操作するための装置であって、前記装置は下記を備える、
処理システムであって、
刺激を受信し、
前記刺激に少なくとも部分的に基づいて、2つ以上のスパイクのスパイク列を生成し、
前記スパイク列の開始に少なくとも部分的に基づいて、前記刺激を識別し、
前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記識別された刺激を検査する、
ように構成された処理システムと、
前記処理システムに結合されたメモリ。
[C17]
人工神経系を操作するための装置であって、前記装置は下記を備える、
刺激を受信するための手段と、
前記刺激に少なくとも部分的に基づいて、2つ以上のスパイクのスパイク列を生成するための手段と、
前記スパイク列の開始に少なくとも部分的に基づいて、前記刺激を識別するための手段と、
前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記識別された刺激を検査するための手段。
[C18]
人工神経系を操作するためのコンピュータプログラム製品であって、
刺激を受信することと、
前記刺激に少なくとも部分的に基づいて、2つ以上のスパイクのスパイク列を生成することと、
前記スパイク列の開始に少なくとも部分的に基づいて、前記刺激を識別することと、
前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記識別された刺激を検査することと、
を行うために実行可能な命令を有する非一時的コンピュータ可読媒体を備える、コンピュータプログラム製品。
[C19]
人工神経系内の刺激を識別するための方法であって、
人工ニューロンで2つ以上のスパイクのスパイク列を受信することと、
前記スパイク列の前記開始に少なくとも部分的に基づいて、前記人工ニューロンから第1のスパイクを出力することと、
前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記人工ニューロンから第2のスパイクを出力することと、
を備える、方法。
[C20]
前記第1のスパイクと前記第2のスパイクとの間の間隔が、前記スパイク列の前記開始に少なくとも部分的に基づいて識別された前記刺激が正しいかどうかを検査するために使用される、C19に記載の方法。
[C21]
前記第1のスパイクが前記刺激の推定に対応する、C19に記載の方法。
[C22]
前記第2のスパイクが前記刺激の前記推定を改善するために使用される、C19に記載の方法。
[C23]
前記第2のスパイクのタイミングが、前記スパイク列内の複数のスパイクの統合に基づく、C19に記載の方法。
[C24]
前記刺激の入力強度がスパイクの前記レートに比例し、前記スパイク列の前記開始に反比例する、C19に記載の方法。
[C25]
人工神経系において刺激を識別するための装置であって、前記装置は下記を備える、
処理システムであって、
人工ニューロンで2つ以上のスパイクのスパイク列を受信し、
前記スパイク列の開始に少なくとも部分的に基づいて、前記人工ニューロンから第1のスパイクを出力し、
前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記人工ニューロンから第2のスパイクを出力する、
ように構成された処理システムと、
前記処理システムに結合されたメモリ。
[C26]
人工神経系内の刺激を識別するための装置であって、前記装置は下記を備える、
人工ニューロンで2つ以上のスパイクのスパイク列を受信するための手段と、
前記スパイク列の開始に少なくとも部分的に基づいて、前記人工ニューロンから第1のスパイクを出力するための手段と、
前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記人工ニューロンから第2のスパイクを出力するための手段。
[C27]
人工神経系において刺激を識別するためのコンピュータプログラム製品であって、
人工ニューロンで2つ以上のスパイクのスパイク列を受信することと、
前記スパイク列の開始に少なくとも部分的に基づいて、前記人工ニューロンから第1のスパイクを出力することと、
前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記人工ニューロンから第2のスパイクを出力することと、
を行うために実行可能な命令を有する非一時的コンピュータ可読媒体を備える、コンピュータプログラム製品。

Claims (27)

  1. 人工神経系を操作するための方法であって、
    刺激を受信することと、
    第1のデバイスで、前記刺激に少なくとも部分的に基づいて、2つ以上のスパイクのスパイク列を生成することと、
    前記スパイク列の開始に少なくとも部分的に基づいて、前記刺激を識別することと、
    前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記識別された刺激を検査することと、
    を備える、方法。
  2. 前記検査することが失敗した場合、前記識別された刺激に関連付けられた挙動を抑制することをさらに備える、請求項1に記載の方法。
  3. 前記刺激を識別することが、第2のデバイスで、前記スパイク列の前記開始に少なくとも部分的に基づいて、第1のスパイクを生成することを備える、請求項1に記載の方法。
  4. 前記第2のデバイスで、前記スパイク列内のスパイクの前記レートに少なくとも部分的に基づいて、第2のスパイクを生成することをさらに備え、ここにおいて、前記第2のスパイクが前記第1のスパイクの後に発生する、請求項3に記載の方法。
  5. 前記識別された刺激を検査することが、前記第1のスパイクと前記第2のスパイクとの間の間隔が前記識別された刺激に対応するかどうかを決定することを備える、請求項4に記載の方法。
  6. 前記第1のデバイスのニューロンが受容体人工ニューロンであり、前記第2のデバイスが、人工シナプスを介して前記受容体人工ニューロンに接続された検出器人工ニューロンである、請求項3に記載の方法。
  7. 前記刺激の入力強度がスパイクの前記レートに比例し、前記スパイク列の前記開始に反比例する、請求項1に記載の方法。
  8. 前記スパイク列内の一番先のスパイク、または前記スパイク列内の最初のスパイクのセットのうちの少なくとも1つに基づいて、前記スパイク列の前記開始を決定することをさらに備える、請求項1に記載の方法。
  9. 基準信号と、前記スパイク列内の一番先のスパイクとの間の時間差に基づいて、前記スパイク列の前記開始を決定することをさらに備える、請求項1に記載の方法。
  10. スパイク確率の一時的な上昇に基づいて、前記スパイク列の前記開始を決定することをさらに備える、請求項1に記載の方法。
  11. スパイクの前記レートが、前記開始が決定されるよりも長い時間の期間にわたって平均化される、請求項1に記載の方法。
  12. 前記検査することが失敗した場合、訂正された刺激で前記識別された刺激の表示を更新することをさらに備える、請求項1に記載の方法。
  13. 訂正された刺激に関連付けられる挙動を生成するために、追加信号を出力することをさらに備える、請求項11に記載の方法。
  14. 前記検査することが失敗した場合、通知を出力することをさらに備える、請求項1に記載の方法。
  15. 前記生成することが、前記刺激と符号化方式とに少なくとも部分的に基づいて、前記スパイク列を生成することを備える、請求項1に記載の方法。
  16. 人工神経系を操作するための装置であって、前記装置は下記を備える、
    処理システムであって、
    刺激を受信し、
    前記刺激に少なくとも部分的に基づいて、2つ以上のスパイクのスパイク列を生成し、
    前記スパイク列の開始に少なくとも部分的に基づいて、前記刺激を識別し、
    前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記識別された刺激を検査する、
    ように構成された処理システムと、
    前記処理システムに結合されたメモリ。
  17. 人工神経系を操作するための装置であって、前記装置は下記を備える、
    刺激を受信するための手段と、
    前記刺激に少なくとも部分的に基づいて、2つ以上のスパイクのスパイク列を生成するための手段と、
    前記スパイク列の開始に少なくとも部分的に基づいて、前記刺激を識別するための手段と、
    前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記識別された刺激を検査するための手段。
  18. 人工神経系を操作するためのコンピュータプログラム製品であって、
    刺激を受信することと、
    前記刺激に少なくとも部分的に基づいて、2つ以上のスパイクのスパイク列を生成することと、
    前記スパイク列の開始に少なくとも部分的に基づいて、前記刺激を識別することと、
    前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記識別された刺激を検査することと、
    を行うために実行可能な命令を有する非一時的コンピュータ可読媒体を備える、コンピュータプログラム製品。
  19. 人工神経系内の刺激を識別するための方法であって、
    人工ニューロンで2つ以上のスパイクのスパイク列を受信することと、
    前記スパイク列の開始に少なくとも部分的に基づいて、前記人工ニューロンから第1のスパイクを出力することと、
    前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記人工ニューロンから第2のスパイクを出力することと、
    を備える、方法。
  20. 前記第1のスパイクと前記第2のスパイクとの間の間隔が、前記スパイク列の前記開始に少なくとも部分的に基づいて識別された前記刺激が正しいかどうかを検査するために使用される、請求項19に記載の方法。
  21. 前記第1のスパイクが前記刺激の推定に対応する、請求項19に記載の方法。
  22. 前記第2のスパイクが前記刺激の推定を改善するために使用される、請求項19に記載の方法。
  23. 前記第2のスパイクのタイミングが、前記スパイク列内の複数のスパイクの統合に基づく、請求項19に記載の方法。
  24. 前記刺激の入力強度がスパイクの前記レートに比例し、前記スパイク列の前記開始に反比例する、請求項19に記載の方法。
  25. 人工神経系において刺激を識別するための装置であって、前記装置は下記を備える、
    処理システムであって、
    人工ニューロンで2つ以上のスパイクのスパイク列を受信し、
    前記スパイク列の開始に少なくとも部分的に基づいて、前記人工ニューロンから第1のスパイクを出力し、
    前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記人工ニューロンから第2のスパイクを出力する、
    ように構成された処理システムと、
    前記処理システムに結合されたメモリ。
  26. 人工神経系内の刺激を識別するための装置であって、前記装置は下記を備える、
    人工ニューロンで2つ以上のスパイクのスパイク列を受信するための手段と、
    前記スパイク列の開始に少なくとも部分的に基づいて、前記人工ニューロンから第1のスパイクを出力するための手段と、
    前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記人工ニューロンから第2のスパイクを出力するための手段。
  27. 人工神経系において刺激を識別するためのコンピュータプログラム製品であって、
    人工ニューロンで2つ以上のスパイクのスパイク列を受信することと、
    前記スパイク列の開始に少なくとも部分的に基づいて、前記人工ニューロンから第1のスパイクを出力することと、
    前記スパイク列内の前記スパイクのレートに少なくとも部分的に基づいて、前記人工ニューロンから第2のスパイクを出力することと、
    を行うために実行可能な命令を有する非一時的コンピュータ可読媒体を備える、コンピュータプログラム製品。
JP2016544506A 2014-01-06 2014-12-19 自動エラー訂正のための同時レイテンシおよびレートコーディング Pending JP2017507397A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461924074P 2014-01-06 2014-01-06
US61/924,074 2014-01-06
US14/279,375 US10282660B2 (en) 2014-01-06 2014-05-16 Simultaneous latency and rate coding for automatic error correction
US14/279,375 2014-05-16
PCT/US2014/071372 WO2015102935A2 (en) 2014-01-06 2014-12-19 Simultaneous latency and rate coding for automatic error correction

Publications (2)

Publication Number Publication Date
JP2017507397A true JP2017507397A (ja) 2017-03-16
JP2017507397A5 JP2017507397A5 (ja) 2018-01-11

Family

ID=52350355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016544506A Pending JP2017507397A (ja) 2014-01-06 2014-12-19 自動エラー訂正のための同時レイテンシおよびレートコーディング

Country Status (6)

Country Link
US (1) US10282660B2 (ja)
EP (1) EP3092605A2 (ja)
JP (1) JP2017507397A (ja)
CN (1) CN105874478A (ja)
TW (1) TW201539336A (ja)
WO (1) WO2015102935A2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10671912B2 (en) * 2016-09-13 2020-06-02 Sap Se Spatio-temporal spiking neural networks in neuromorphic hardware systems
CN108304912B (zh) * 2017-12-29 2020-12-29 北京理工大学 一种运用抑制信号实现脉冲神经网络监督学习的系统和方法
CN109948788B (zh) * 2019-03-07 2021-01-15 清华大学 基于fpga的神经网络加速器
RU195230U1 (ru) * 2019-08-07 2020-01-17 Федеральное государственное бюджетное научное учреждение "Научный центр неврологии" (ФГБНУ НЦН) Тренажер-квадрат с линейными и квадратными углублениями для групповых занятий по восстановлению и профилактической тренировке зрительно-пространственной памяти
CN110647982B (zh) * 2019-09-26 2022-04-15 中国科学院微电子研究所 人工感受神经电路及其制备方法
KR20210063721A (ko) 2019-11-25 2021-06-02 삼성전자주식회사 뉴로모픽 장치 및 이를 포함하는 뉴로모픽 시스템
CN114528983A (zh) * 2021-12-29 2022-05-24 北京时代民芯科技有限公司 一种脉冲神经元加固电路、加固方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040204769A1 (en) * 2001-01-12 2004-10-14 Richmond Barry J. Decoding algorithm for neuronal reponses
JP2005267105A (ja) * 2004-03-17 2005-09-29 Canon Inc 並列パルス信号処理装置、パターン認識装置、及び画像入力装置
US20130151448A1 (en) * 2011-12-07 2013-06-13 Filip Ponulak Apparatus and methods for implementing learning for analog and spiking signals in artificial neural networks

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5107442A (en) * 1989-01-12 1992-04-21 Recognition Equipment Incorporated Adaptive neural network image processing system
US6581046B1 (en) * 1997-10-10 2003-06-17 Yeda Research And Development Co. Ltd. Neuronal phase-locked loops
JP4248187B2 (ja) 2002-03-27 2009-04-02 シャープ株式会社 集積回路装置及びニューロ素子
US7430546B1 (en) * 2003-06-07 2008-09-30 Roland Erwin Suri Applications of an algorithm that mimics cortical processing
US7395251B2 (en) 2005-07-01 2008-07-01 International Business Machines Corporation Neural networks for prediction and control
WO2008039331A1 (en) * 2006-09-22 2008-04-03 The Trustees Of The University Of Pennsylvania Classification of sub cortical structures
US8504502B2 (en) 2007-11-20 2013-08-06 Christopher Fiorillo Prediction by single neurons
WO2012005953A1 (en) * 2010-06-28 2012-01-12 The Regents Of The University Of California Adaptive set discrimination procedure
WO2012078503A2 (en) * 2010-12-05 2012-06-14 Brown University Methods for prediction and early detection of neurological events
WO2012108918A1 (en) * 2011-02-09 2012-08-16 The Trustees Of Dartmouth College Acoustic sensor with an acoustic object detector for reducing power consumption in front-end circuit
US9047568B1 (en) * 2012-09-20 2015-06-02 Brain Corporation Apparatus and methods for encoding of sensory data using artificial spiking neurons
US9256215B2 (en) 2012-07-27 2016-02-09 Brain Corporation Apparatus and methods for generalized state-dependent learning in spiking neuron networks
US9189730B1 (en) * 2012-09-20 2015-11-17 Brain Corporation Modulated stochasticity spiking neuron network controller apparatus and methods
US9367798B2 (en) 2012-09-20 2016-06-14 Brain Corporation Spiking neuron network adaptive control apparatus and methods
US9111226B2 (en) * 2012-10-25 2015-08-18 Brain Corporation Modulated plasticity apparatus and methods for spiking neuron network
US9177245B2 (en) * 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040204769A1 (en) * 2001-01-12 2004-10-14 Richmond Barry J. Decoding algorithm for neuronal reponses
JP2005267105A (ja) * 2004-03-17 2005-09-29 Canon Inc 並列パルス信号処理装置、パターン認識装置、及び画像入力装置
US20130151448A1 (en) * 2011-12-07 2013-06-13 Filip Ponulak Apparatus and methods for implementing learning for analog and spiking signals in artificial neural networks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
渡辺 正峰 外1名: "「デュアルコーディングとネットワークダイナミクス」", 電子情報通信学会技術研究報告, vol. 第100巻,第191号, JPN6018041339, 11 July 2000 (2000-07-11), pages pp.31−36 *

Also Published As

Publication number Publication date
TW201539336A (zh) 2015-10-16
WO2015102935A3 (en) 2015-10-08
US10282660B2 (en) 2019-05-07
US20150193680A1 (en) 2015-07-09
CN105874478A (zh) 2016-08-17
EP3092605A2 (en) 2016-11-16
WO2015102935A2 (en) 2015-07-09

Similar Documents

Publication Publication Date Title
JP6130056B2 (ja) スパイキングネットワークの効率的なハードウェア実装
JP6275868B2 (ja) ニューラルウォッチドッグ
JP2017507397A (ja) 自動エラー訂正のための同時レイテンシおよびレートコーディング
US9558442B2 (en) Monitoring neural networks with shadow networks
JP2016538632A (ja) 教師あり学習を使用してクラスにタグ付けするための方法および装置
JP2017513127A (ja) スパイキング深層信念ネットワーク(dbn)におけるトレーニング、認識、および生成
US9652711B2 (en) Analog signal reconstruction and recognition via sub-threshold modulation
US20150212861A1 (en) Value synchronization across neural processors
JP2017514215A (ja) スパイキングニューラルネットワークを使用する画像の不変オブジェクト表現
KR20160123309A (ko) 확률적 스파이킹 베이지안망들에 대한 이벤트-기반 추론 및 학습
JP2016539414A (ja) スパイキングニューラルネットワークにおいてリプレーを使用するシナプス学習を実装すること
US9710749B2 (en) Methods and apparatus for implementing a breakpoint determination unit in an artificial nervous system
JP2016536657A (ja) ニューラルモデルのためのグループタグの実装のための方法および装置
JP2017510890A (ja) 一般的なニューロンモデルの効率的な実装のための方法および装置
JP2016538633A (ja) 多次元範囲にわたって分離可能なサブシステムを含むシステムの評価
JP6193509B2 (ja) 可塑性シナプス管理
JP6219509B2 (ja) シナプス遅延を動的に割り当てることおおよび検査すること
JP6096388B2 (ja) ニューラルネットワークモデルにおけるドップラー効果処理
US9418332B2 (en) Post ghost plasticity
JP2016536676A (ja) ニューラルモデル実行をリモートで制御および監視するための方法および装置
US20150278684A1 (en) Time synchronization of spiking neuron models on multiple nodes
JP2017509979A (ja) 空間ターゲット選択のためのアンバランスな交差抑制メカニズム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190521