JP2016536657A - ニューラルモデルのためのグループタグの実装のための方法および装置 - Google Patents
ニューラルモデルのためのグループタグの実装のための方法および装置 Download PDFInfo
- Publication number
- JP2016536657A JP2016536657A JP2016516530A JP2016516530A JP2016536657A JP 2016536657 A JP2016536657 A JP 2016536657A JP 2016516530 A JP2016516530 A JP 2016516530A JP 2016516530 A JP2016516530 A JP 2016516530A JP 2016536657 A JP2016536657 A JP 2016536657A
- Authority
- JP
- Japan
- Prior art keywords
- population
- parameters
- artificial
- synapses
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Nitrogen Condensed Heterocyclic Rings (AREA)
Abstract
Description
[0001]本出願は、2013年9月25日に出願された米国仮特許出願第61/882,465号、および2014年5月2日に出願された米国特許出願第14/268,152号の利益を主張し、その両方は、参照により全体が本明細書に組み込まれる。
例示的なニューラルシステム
[0029]図1は、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的なニューラルシステム100を示す。ニューラルシステム100は、シナプス結合のネットワーク104(すなわち、フィードフォワード結合)を介してニューロンの別のレベル106に結合されたニューロンのあるレベル102を備え得る。簡単のために、図1には2つのレベルのニューロンのみが示されているが、典型的なニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。ニューロンのいくつかは、ラテラル結合を介して同じ層の他のニューロンに結合し得ることに留意されたい。さらに、ニューロンのいくつかは、フィードバック結合を介して前の層のニューロンに戻る形で結合し得る。
シナプスタイプ
[0041]ニューラルネットワークのハードウェアおよびソフトウェアモデルでは、シナプス関係機能の処理がシナプスタイプに基づき得る。シナプスタイプは、非塑性シナプス(non-plastic synapse)(重みおよび遅延の変化がない)と、可塑性シナプス(重みが変化し得る)と、構造遅延可塑性シナプス(重みおよび遅延が変化し得る)と、完全可塑性シナプス(重み、遅延および結合性が変化し得る)と、それの変形(たとえば、遅延は変化し得るが、重みまたは結合性の変化はない)とを備え得る。これの利点は、処理が再分割され得ることである。たとえば、非塑性シナプスは、可塑性機能を実行すること(またはそのような機能が完了するのを待つこと)を必要とし得ない。同様に、遅延および重み可塑性は、一緒にまたは別々に、順にまたは並列に動作し得る動作に再分割され得る。異なるタイプのシナプスは、適用される異なる可塑性タイプの各々の異なるルックアップテーブルまたは式およびパラメータを有し得る。したがって、本方法は、シナプスのタイプの関係するテーブルにアクセスすることになる。
シナプス可塑性の決定
[0043]神経可塑性(または単に「可塑性」)は、脳内のニューロンおよびニューラルネットワークがそれらのシナプス結合と挙動とを新しい情報、感覚上の刺激、発展、損傷または機能不全に応答して変える能力である。可塑性は、生物学における学習および記憶にとって、また計算論的神経科学およびニューラルネットワークにとって重要である。(たとえば、Hebb則理論による)シナプス可塑性、スパイクタイミング依存可塑性(STDP)、非シナプス可塑性、活性依存可塑性、構造可塑性および恒常的可塑性など、様々な形の可塑性が研究されている。
ニューロンモデルおよび演算
[0050]有用なスパイキングニューロンモデルを設計するための一般的原理がいくつかある。良いニューロンモデルは、2つの計算レジーム、すなわち、一致検出および関数計算の点で豊かな潜在的挙動を有し得る。その上、良いニューロンモデルは、時間コーディングを可能にするための2つの要素を有する必要がある。すなわち、入力の到着時間は出力時間に影響を与え、一致検出は狭い時間ウィンドウを有し得る。最後に、計算上魅力的であるために、良いニューロンモデルは、連続時間に閉形式解を有することができ、ニアアトラクター(near attractor)と鞍点とを含む安定した挙動を有し得る。言い換えれば、有用なニューロンモデルは、実用的なニューロンモデルであり、豊かで、現実的で、生物学的に一貫した挙動をモデル化するために使用され得、神経回路のエンジニアリングとリバースエンジニアリングの両方を行うために使用され得るニューロンモデルである。
Hunzinger Coldモデル
[0054]Hunzinger Coldニューロンモデルは、豊かな様々な神経挙動を再生し得る最小二重レジームスパイキング線形動的モデルである。モデルの1次元または2次元の線形ダイナミクスは2つのレジームを有することができ、時間定数(および結合)はレジームに依存し得る。しきい値下レジームでは、時間定数は、慣例により負であり、一般に生物学的に一貫した線形方式で静止状態に細胞を戻す役目を果たすリーキーチャネルダイナミクスを表す。しきい値上レジームにおける時間定数は、慣例により正であり、一般にスパイク生成のレイテンシを生じさせる一方でスパイク状態に細胞を駆り立てる反リーキーチャネルダイナミクスを反映する。
ニューラルコーディング
[0069]図1の人工ニューロン102、106から構成されるニューラルネットワークモデルなどの有用なニューラルネットワークモデルは、一致コーディング、時間コーディングまたはレートコーディングなど、様々な好適なニューラルコーディング方式のうちのいずれかを介して情報を符号化することができる。一致コーディングでは、情報は、ニューロン集団の活動電位(スパイキング活動)の一致(または時間的近接度)で符号化される。時間コーディングでは、ニューロンは、絶対時間であるか相対時間であるかを問わず、活動電位(すなわち、スパイク)の正確なタイミングを通して情報を符号化する。したがって、情報は、ニューロン集団の間でスパイクの相対的タイミングで符号化され得る。対照的に、レートコーディングは、発火レートまたは集団発火レートでニューラル情報をコーディングすることを伴う。
到着時間
[0071]良いニューロンモデルでは、入力の到着の時間は、出力の時間に影響を与えるはずである。シナプス入力は、ディラックのデルタ関数であるか、成形シナプス後電位(PSP:shaped post-synaptic potential)であるかを問わず、興奮性(EPSP)であるか、抑制性(IPSP)であるかを問わず、到着時間(たとえば、デルタ関数またはステップもしくは他の入力関数の開始もしくはピークの時間)を有し、これは入力時間と呼ばれ得る。ニューロン出力(すなわち、スパイク)は、(細胞体、軸索に沿ったポイント、または軸索の端部など、どこで測定される場合でも)発生の時間を有し、これは出力時間と呼ばれ得る。出力時間は、スパイクのピークの時間、スパイクの開始の時間、または出力波形に関係する任意の他の時間であり得る。支配的原理は、出力時間が入力時間に依存することである。
入力
[0073]ニューロンモデルへの入力はディラックのデルタ関数、たとえば電流としての入力または伝導性ベースの入力を含み得る。後者の場合、ニューロン状態への寄与は連続的または状況依存的であり得る。
解決される例示的な問題
[0074]本開示のいくつかの態様は、人工ニューロンおよび/またはシナプスのセットのメモリ要件の低減、ならびに、人工ニューロンおよび/またはシナプスの大きい集団に関連付けられるフラグを、同時に、または時間的に近接してオン/オフにすることという2つの問題に対するソリューションを提供する。
人工ニューロンおよびシナプスのためのグループタグ
[0079]本開示のいくつかの態様は、人工神経系の人工ニューロンおよび/またはシナプスをグループタグに割り当てることをサポートし、グループタグは、関連付けられるパラメータのセットを有する。グループタグを使用することによって、集団における人工ニューロンおよび/またはシナプスは、グループタグを割り当てられ得る。次いで、グループタグに関連付けられるパラメータを変更することによって、グループ内のすべてのシナプスおよび/または人工ニューロンはそのパラメータを変更し得る。
追加の機能
[0087]本開示のいくつかの態様によれば、グループタグは動的に割り当てられ得る。さらに、シナプスまたは人工ニューロンは複数のグループに属し得る。複数のグループに属する1つの方法は、ニューロン/シナプスが、それらが属する任意のグループへの変更を追跡して、グループメンバーシップのそれらのセットに基づいて最後に更新された値を維持することである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
人工神経系を操作するための方法であって、
前記人工神経系のシナプスの第1の集団または人工ニューロンの第1の集団のうちの少なくとも1つを第1のグループタグに割り当てることと、ここにおいて、前記第1のグループタグが、パラメータの第1のセットと、第1のシナプスタイプまたは第1のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記人工神経系のシナプスの第2の集団または人工ニューロンの第2の集団のうちの少なくとも1つを第2のグループタグに割り当てることと、ここにおいて、前記第2のグループタグが、パラメータの第2のセットと、第2のシナプスタイプまたは第2のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記第1の集団または前記第2の集団のうちの少なくとも1つにおける1つまたは複数のシナプス、あるいは、前記第1の集団または前記第2の集団のうちの少なくとも1つにおける1つまたは複数の人工ニューロンのうちの少なくとも1つについての前記1つまたは複数のパラメータの変更をもたらす、パラメータの前記第1のセットまたはパラメータの前記第2のセットのうちの少なくとも1つにおける1つまたは複数のパラメータを変更することとを備える、方法。
[C2]
前記人工ニューロンのうちの1つまたは複数、あるいは前記シナプスのうちの1つまたは複数のうちの少なくとも1つを、前記第1のグループタグと第2のグループタグの両方でタグ付けすることをさらに備える、C1に記載の方法。
[C3]
前記第1のシナプスタイプおよび第2のシナプスタイプに関連付けられるパラメータを変更することが、前記第1の集団および第2の集団におけるすべてのシナプスのためにこれらのパラメータを変更することをもたらすことと、
前記第1のニューロンタイプおよび第2のニューロンタイプに関連付けられる他のパラメータを変更することが、前記第1の集団および第2の集団におけるすべての人工ニューロンのためにこれらの他のパラメータを変更することをもたらすこととをさらに備える、C1に記載の方法。
[C4]
パラメータの前記第1のセットおよび第2のセットが、可塑性を有効にするためのフラグ、可塑性を無効にするためのフラグ、シナプス後電位(PSP)転送のためのフラグ、ドーパミンのためのフラグ、恒常性有効フラグ、恒常性無効フラグ、可塑性有効フラグ、または可塑性無効フラグのうちの少なくとも1つを備える、C1に記載の方法。
[C5]
可塑性を有効にするための前記フラグと、可塑性を無効にするための前記フラグと、シナプス後電位(PSP)転送のための前記フラグと、ドーパミンのための前記フラグとを同時に制御することをさらに備える、C4に記載の方法。
[C6]
前記第1のシナプスタイプおよび第2のシナプスタイプに関連付けられるパラメータが、スパイクタイミング依存可塑性(STDP)テーブル、リソースモデル、または可塑性パラメータのうちの少なくとも1つを備える、C1に記載の方法。
[C7]
前記第1のセットおよび第2のセットにおけるパラメータを同時に制御することをさらに備える、C1に記載の方法。
[C8]
前記第1のシナプスタイプが前記第2のシナプスタイプと同じであり、
前記第1のニューロンタイプが前記第2のニューロンタイプと同じであり、前記方法が、
前記第1のセットおよび第2のセットにおけるパラメータを、異なる時間インスタントに変更することをさらに備え、
前記第1のセットにおけるパラメータの値が、前記第2のセットにおけるそのパラメータの値とは異なる、C1に記載の方法。
[C9]
シナプスの前記第1の集団および第2の集団が、同じレイヤまたは同じタイプのうちの少なくとも1つのシナプスのセットのサブセットであり、
人工ニューロンの前記第1の集団および第2の集団が、同じレイヤまたは同じタイプのうちの少なくとも1つの人工ニューロンのセットのサブセットである、C1に記載の方法。
[C10]
前記第1のセットおよび第2のセットにおけるパラメータが、前記第1のシナプスタイプおよび第2のシナプスタイプに関連付けられるパラメータから外される、C1に記載の方法。
[C11]
前記第1のセットおよび第2のセットにおける少なくとも1つのパラメータが、前記第1のシナプスタイプおよび第2のシナプスタイプに関連付けられる少なくとも1つのパラメータと共通であり、前記方法が、
前記第1のセットおよび第2のセットにおける前記少なくとも1つのパラメータに基づいて、前記第1のシナプスタイプおよび第2のシナプスタイプに関連付けられる前記少なくとも1つのパラメータをオーバーライドすることをさらに備える、C1に記載の方法。
[C12]
前記第1のグループタグまたは前記第2のグループタグのうちの少なくとも1つが動的に割り当てられる、C1に記載の方法。
[C13]
第1のグループタグまたは第2のグループタグのうちの前記少なくとも1つを動的に割り当てることが、しきい値を下回る重みを有するシナプスの前記第1の集団、またはシナプスの前記第2の集団のうちの少なくとも1つのシナプスに関連付けられる、C12に記載の方法。
[C14]
第1のグループタグまたは第2のグループタグのうちの前記少なくとも1つを動的に割り当てることが、
再割振りまたは構造可塑性のうちの少なくとも1つのために、シナプスの前記第1の集団または第2の集団のうちの少なくとも1つの十分に活用されていないシナプス、および人工ニューロンの前記第1の集団または第2の集団のうちの少なくとも1つの十分に活用されていない人工ニューロンをフラグ付けすることをさらに備える、C12に記載の方法。
[C15]
前記1つまたは複数のパラメータを変更することが、可塑性を有効にすることおよび無効にすることを備え、前記方法が、
人工ニューロンの前記第1の集団の、または人工ニューロンスパイキングの前記第2の集団の、いくつかの人工ニューロンに基づいて可塑性を有効にすることと、
人工ニューロンの前記第1の集団の、または人工ニューロンスパイキングの前記第2の集団の、異なるいくつかの人工ニューロンに基づいて可塑性を無効にすることとをさらに備える、C1に記載の方法。
[C16]
前記1つまたは複数のパラメータを変更することが、可塑性を有効にすることおよび無効にすることを備え、前記方法が、
人工ニューロンの前記第1の集団または人工ニューロンスパイキングの前記第2の集団のうちの少なくとも1つの人工ニューロンのセットに基づいて、可塑性を有効にすることをさらに備える、C1に記載の方法。
[C17]
前記1つまたは複数のパラメータを変更することが、可塑性を有効にすることおよび無効にすることを備え、前記方法が、
人工ニューロンの前記第1の集団または定義された活動率を有する人工ニューロンの前記第2の集団のうちの少なくとも1つの人工ニューロンのセットに基づいて、可塑性を有効にすることをさらに備える、C1に記載の方法。
[C18]
前記1つまたは複数のパラメータを変更することが、可塑性を有効にすることおよび無効にすることを備え、前記方法が、
メトリックに到達するシナプスの前記第1の集団またはシナプスの前記第2の集団のうちの少なくとも1つに関連付けられるシナプス重みの機能に基づいて可塑性を有効にすることをさらに備える、C1に記載の方法。
[C19]
人工神経系を操作するための装置であって、
前記人工神経系のシナプスの第1の集団または人工ニューロンの第1の集団のうちの少なくとも1つを第1のグループタグに割り当てて、ここにおいて、前記第1のグループタグが、パラメータの第1のセットと、第1のシナプスタイプまたは第1のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記人工神経系のシナプスの第2の集団または人工ニューロンの第2の集団のうちの少なくとも1つを第2のグループタグに割り当てて、ここにおいて、前記第2のグループタグが、パラメータの第2のセットと、第2のシナプスタイプまたは第2のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記第1の集団または前記第2の集団のうちの少なくとも1つにおける1つまたは複数のシナプス、あるいは、前記第1の集団または前記第2の集団のうちの少なくとも1つにおける1つまたは複数の人工ニューロンのうちの少なくとも1つについての前記1つまたは複数のパラメータの変更をもたらす、パラメータの前記第1のセットまたはパラメータの前記第2のセットのうちの少なくとも1つにおける1つまたは複数のパラメータを変更するように構成された処理システムと、
前記処理システムに結合されたメモリとを備える、装置。
[C20]
人工神経系を操作するための装置であって、
前記人工神経系のシナプスの第1の集団または人工ニューロンの第1の集団のうちの少なくとも1つを第1のグループタグに割り当てるための手段と、ここにおいて、前記第1のグループタグが、パラメータの第1のセットと、第1のシナプスタイプまたは第1のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記人工神経系のシナプスの第2の集団または人工ニューロンの第2の集団のうちの少なくとも1つを第2のグループタグに割り当てるための手段と、ここにおいて、前記第2のグループタグが、パラメータの第2のセットと、第2のシナプスタイプまたは第2のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記第1の集団または前記第2の集団のうちの少なくとも1つにおける一手段、またはより多くのシナプス、あるいは、前記第1の集団または前記第2の集団のうちの少なくとも1つにおける1つまたは複数の人工ニューロンのうちの少なくとも1つについての前記1つまたは複数のパラメータの変更をもたらす、パラメータの前記第1のセットまたはパラメータの前記第2のセットのうちの少なくとも1つにおける1つまたは複数のパラメータを変更するための手段とを備える、装置。
[C21]
人工神経系を操作するためのコンピュータプログラム製品であって、
前記人工神経系のシナプスの第1の集団または人工ニューロンの第1の集団のうちの少なくとも1つを第1のグループタグに割り当てることと、ここにおいて、前記第1のグループタグが、パラメータの第1のセットと、第1のシナプスタイプまたは第1のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記人工神経系のシナプスの第2の集団または人工ニューロンの第2の集団のうちの少なくとも1つを第2のグループタグに割り当てることと、ここにおいて、前記第2のグループタグが、パラメータの第2のセットと、第2のシナプスタイプまたは第2のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記第1の集団または前記第2の集団のうちの少なくとも1つにおける1つまたは複数のシナプス、あるいは、前記第1の集団または前記第2の集団のうちの少なくとも1つにおける1つまたは複数の人工ニューロンのうちの少なくとも1つについての前記1つまたは複数のパラメータの変更をもたらす、パラメータの前記第1のセットまたはパラメータの前記第2のセットのうちの少なくとも1つにおける1つまたは複数のパラメータを変更することとを行うために実行可能な命令を有するコンピュータ可読媒体を備える、コンピュータプログラム製品。
[C22]
人工神経系を操作するための方法であって、
前記人工神経系の人工ニューロンとシナプスとのグループを、関連付けられるパラメータのセットを有するグループタグに割り当てることと、
前記グループ内のすべての人工ニューロンとシナプスとの前記パラメータの同時切替えをもたらす前記セットにおける前記パラメータの値を変更する単一のメッセージを送ることとを備える、方法。
[C23]
前記セットにおける前記パラメータが、前記グループ内の人工ニューロンだけに適用するパラメータと、前記グループ内のシナプスだけに適用するパラメータと、前記グループ内の人工ニューロンとシナプスの両方に適用するパラメータとを備える、C22に記載の方法。
[C24]
前記グループ内の人工ニューロンだけに適用する前記パラメータが、恒常性有効フラグと恒常性無効フラグとを備える、C23に記載の方法。
[C25]
前記グループ内のシナプスだけに適用する前記パラメータが、シナプス後電位(PSP)転送有効フラグおよびPSP転送無効フラグを備える、C23に記載の方法。
[C26]
前記グループ内の人工ニューロンとシナプスの両方に適用する前記パラメータが、可塑性有効フラグと可塑性無効フラグとを備える、C23に記載の方法。
[C27]
人工神経系を操作するための装置であって、
前記人工神経系の人工ニューロンとシナプスとのグループを、関連付けられるパラメータのセットを有するグループタグに割り当てて、
前記グループ内のすべての人工ニューロンとシナプスとの前記パラメータの同時切替えをもたらす前記セットにおける前記パラメータの値を変更する単一のメッセージを送るように構成された処理システムと、
前記処理システムに結合されたメモリとを備える、装置。
[C28]
人工神経系を操作するための装置であって、
前記人工神経系の人工ニューロンとシナプスとのグループを、関連付けられるパラメータのセットを有するグループタグに割り当てるための手段と、
前記グループ内のすべての人工ニューロンとシナプスとの前記パラメータの同時切替えをもたらす前記セットにおける前記パラメータの値を変更する単一のメッセージを送るための手段とを備える、装置。
[C29]
人工神経系を操作するためのコンピュータプログラム製品であって、
前記人工神経系の人工ニューロンとシナプスとのグループを、関連付けられるパラメータのセットを有するグループタグに割り当てることと、
前記グループ内のすべての人工ニューロンとシナプスとの前記パラメータの同時切替えをもたらす前記セットにおける前記パラメータの値を変更する単一のメッセージを送ることとを行うために実行可能な命令を有するコンピュータ可読媒体を備える、コンピュータプログラム製品。
Claims (29)
- 人工神経系を操作するための方法であって、
前記人工神経系のシナプスの第1の集団または人工ニューロンの第1の集団のうちの少なくとも1つを第1のグループタグに割り当てることと、ここにおいて、前記第1のグループタグが、パラメータの第1のセットと、第1のシナプスタイプまたは第1のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記人工神経系のシナプスの第2の集団または人工ニューロンの第2の集団のうちの少なくとも1つを第2のグループタグに割り当てることと、ここにおいて、前記第2のグループタグが、パラメータの第2のセットと、第2のシナプスタイプまたは第2のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記第1の集団または前記第2の集団のうちの少なくとも1つにおける1つまたは複数のシナプス、あるいは、前記第1の集団または前記第2の集団のうちの少なくとも1つにおける1つまたは複数の人工ニューロンのうちの少なくとも1つについての前記1つまたは複数のパラメータの変更をもたらす、パラメータの前記第1のセットまたはパラメータの前記第2のセットのうちの少なくとも1つにおける1つまたは複数のパラメータを変更することと
を備える、方法。 - 前記人工ニューロンのうちの1つまたは複数、あるいは前記シナプスのうちの1つまたは複数のうちの少なくとも1つを、前記第1のグループタグと第2のグループタグの両方でタグ付けすることをさらに備える、請求項1に記載の方法。
- 前記第1のシナプスタイプおよび第2のシナプスタイプに関連付けられるパラメータを変更することが、前記第1の集団および第2の集団におけるすべてのシナプスのためにこれらのパラメータを変更することをもたらすことと、
前記第1のニューロンタイプおよび第2のニューロンタイプに関連付けられる他のパラメータを変更することが、前記第1の集団および第2の集団におけるすべての人工ニューロンのためにこれらの他のパラメータを変更することをもたらすことと
をさらに備える、請求項1に記載の方法。 - パラメータの前記第1のセットおよび第2のセットが、可塑性を有効にするためのフラグ、可塑性を無効にするためのフラグ、シナプス後電位(PSP)転送のためのフラグ、ドーパミンのためのフラグ、恒常性有効フラグ、恒常性無効フラグ、可塑性有効フラグ、または可塑性無効フラグのうちの少なくとも1つを備える、請求項1に記載の方法。
- 可塑性を有効にするための前記フラグと、可塑性を無効にするための前記フラグと、シナプス後電位(PSP)転送のための前記フラグと、ドーパミンのための前記フラグとを同時に制御することをさらに備える、請求項4に記載の方法。
- 前記第1のシナプスタイプおよび第2のシナプスタイプに関連付けられるパラメータが、スパイクタイミング依存可塑性(STDP)テーブル、リソースモデル、または可塑性パラメータのうちの少なくとも1つを備える、請求項1に記載の方法。
- 前記第1のセットおよび第2のセットにおけるパラメータを同時に制御することをさらに備える、請求項1に記載の方法。
- 前記第1のシナプスタイプが前記第2のシナプスタイプと同じであり、
前記第1のニューロンタイプが前記第2のニューロンタイプと同じであり、前記方法が、
前記第1のセットおよび第2のセットにおけるパラメータを、異なる時間インスタントに変更することをさらに備え、
前記第1のセットにおけるパラメータの値が、前記第2のセットにおけるそのパラメータの値とは異なる、請求項1に記載の方法。 - シナプスの前記第1の集団および第2の集団が、同じレイヤまたは同じタイプのうちの少なくとも1つのシナプスのセットのサブセットであり、
人工ニューロンの前記第1の集団および第2の集団が、同じレイヤまたは同じタイプのうちの少なくとも1つの人工ニューロンのセットのサブセットである、請求項1に記載の方法。 - 前記第1のセットおよび第2のセットにおけるパラメータが、前記第1のシナプスタイプおよび第2のシナプスタイプに関連付けられるパラメータから外される、請求項1に記載の方法。
- 前記第1のセットおよび第2のセットにおける少なくとも1つのパラメータが、前記第1のシナプスタイプおよび第2のシナプスタイプに関連付けられる少なくとも1つのパラメータと共通であり、前記方法が、
前記第1のセットおよび第2のセットにおける前記少なくとも1つのパラメータに基づいて、前記第1のシナプスタイプおよび第2のシナプスタイプに関連付けられる前記少なくとも1つのパラメータをオーバーライドすることをさらに備える、請求項1に記載の方法。 - 前記第1のグループタグまたは前記第2のグループタグのうちの少なくとも1つが動的に割り当てられる、請求項1に記載の方法。
- 第1のグループタグまたは第2のグループタグのうちの前記少なくとも1つを動的に割り当てることが、しきい値を下回る重みを有するシナプスの前記第1の集団、またはシナプスの前記第2の集団のうちの少なくとも1つのシナプスに関連付けられる、請求項12に記載の方法。
- 第1のグループタグまたは第2のグループタグのうちの前記少なくとも1つを動的に割り当てることが、
再割振りまたは構造可塑性のうちの少なくとも1つのために、シナプスの前記第1の集団または第2の集団のうちの少なくとも1つの十分に活用されていないシナプス、および人工ニューロンの前記第1の集団または第2の集団のうちの少なくとも1つの十分に活用されていない人工ニューロンをフラグ付けすることをさらに備える、請求項12に記載の方法。 - 前記1つまたは複数のパラメータを変更することが、可塑性を有効にすることおよび無効にすることを備え、前記方法が、
人工ニューロンの前記第1の集団の、または人工ニューロンスパイキングの前記第2の集団の、いくつかの人工ニューロンに基づいて可塑性を有効にすることと、
人工ニューロンの前記第1の集団の、または人工ニューロンスパイキングの前記第2の集団の、異なるいくつかの人工ニューロンに基づいて可塑性を無効にすることと
をさらに備える、請求項1に記載の方法。 - 前記1つまたは複数のパラメータを変更することが、可塑性を有効にすることおよび無効にすることを備え、前記方法が、
人工ニューロンの前記第1の集団または人工ニューロンスパイキングの前記第2の集団のうちの少なくとも1つの人工ニューロンのセットに基づいて、可塑性を有効にすることをさらに備える、請求項1に記載の方法。 - 前記1つまたは複数のパラメータを変更することが、可塑性を有効にすることおよび無効にすることを備え、前記方法が、
人工ニューロンの前記第1の集団または定義された活動率を有する人工ニューロンの前記第2の集団のうちの少なくとも1つの人工ニューロンのセットに基づいて、可塑性を有効にすることをさらに備える、請求項1に記載の方法。 - 前記1つまたは複数のパラメータを変更することが、可塑性を有効にすることおよび無効にすることを備え、前記方法が、
メトリックに到達するシナプスの前記第1の集団またはシナプスの前記第2の集団のうちの少なくとも1つに関連付けられるシナプス重みの機能に基づいて可塑性を有効にすることをさらに備える、請求項1に記載の方法。 - 人工神経系を操作するための装置であって、
前記人工神経系のシナプスの第1の集団または人工ニューロンの第1の集団のうちの少なくとも1つを第1のグループタグに割り当てて、ここにおいて、前記第1のグループタグが、パラメータの第1のセットと、第1のシナプスタイプまたは第1のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記人工神経系のシナプスの第2の集団または人工ニューロンの第2の集団のうちの少なくとも1つを第2のグループタグに割り当てて、ここにおいて、前記第2のグループタグが、パラメータの第2のセットと、第2のシナプスタイプまたは第2のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記第1の集団または前記第2の集団のうちの少なくとも1つにおける1つまたは複数のシナプス、あるいは、前記第1の集団または前記第2の集団のうちの少なくとも1つにおける1つまたは複数の人工ニューロンのうちの少なくとも1つについての前記1つまたは複数のパラメータの変更をもたらす、パラメータの前記第1のセットまたはパラメータの前記第2のセットのうちの少なくとも1つにおける1つまたは複数のパラメータを変更するように構成された処理システムと、
前記処理システムに結合されたメモリと
を備える、装置。 - 人工神経系を操作するための装置であって、
前記人工神経系のシナプスの第1の集団または人工ニューロンの第1の集団のうちの少なくとも1つを第1のグループタグに割り当てるための手段と、ここにおいて、前記第1のグループタグが、パラメータの第1のセットと、第1のシナプスタイプまたは第1のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記人工神経系のシナプスの第2の集団または人工ニューロンの第2の集団のうちの少なくとも1つを第2のグループタグに割り当てるための手段と、ここにおいて、前記第2のグループタグが、パラメータの第2のセットと、第2のシナプスタイプまたは第2のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記第1の集団または前記第2の集団のうちの少なくとも1つにおける一手段、またはより多くのシナプス、あるいは、前記第1の集団または前記第2の集団のうちの少なくとも1つにおける1つまたは複数の人工ニューロンのうちの少なくとも1つについての前記1つまたは複数のパラメータの変更をもたらす、パラメータの前記第1のセットまたはパラメータの前記第2のセットのうちの少なくとも1つにおける1つまたは複数のパラメータを変更するための手段と
を備える、装置。 - 人工神経系を操作するためのコンピュータプログラム製品であって、
前記人工神経系のシナプスの第1の集団または人工ニューロンの第1の集団のうちの少なくとも1つを第1のグループタグに割り当てることと、ここにおいて、前記第1のグループタグが、パラメータの第1のセットと、第1のシナプスタイプまたは第1のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記人工神経系のシナプスの第2の集団または人工ニューロンの第2の集団のうちの少なくとも1つを第2のグループタグに割り当てることと、ここにおいて、前記第2のグループタグが、パラメータの第2のセットと、第2のシナプスタイプまたは第2のニューロンタイプのうちの少なくとも1つとに関連付けられる、
前記第1の集団または前記第2の集団のうちの少なくとも1つにおける1つまたは複数のシナプス、あるいは、前記第1の集団または前記第2の集団のうちの少なくとも1つにおける1つまたは複数の人工ニューロンのうちの少なくとも1つについての前記1つまたは複数のパラメータの変更をもたらす、パラメータの前記第1のセットまたはパラメータの前記第2のセットのうちの少なくとも1つにおける1つまたは複数のパラメータを変更することと
を行うために実行可能な命令を有するコンピュータ可読媒体を備える、コンピュータプログラム製品。 - 人工神経系を操作するための方法であって、
前記人工神経系の人工ニューロンとシナプスとのグループを、関連付けられるパラメータのセットを有するグループタグに割り当てることと、
前記グループ内のすべての人工ニューロンとシナプスとの前記パラメータの同時切替えをもたらす前記セットにおける前記パラメータの値を変更する単一のメッセージを送ることと
を備える、方法。 - 前記セットにおける前記パラメータが、前記グループ内の人工ニューロンだけに適用するパラメータと、前記グループ内のシナプスだけに適用するパラメータと、前記グループ内の人工ニューロンとシナプスの両方に適用するパラメータとを備える、請求項22に記載の方法。
- 前記グループ内の人工ニューロンだけに適用する前記パラメータが、恒常性有効フラグと恒常性無効フラグとを備える、請求項23に記載の方法。
- 前記グループ内のシナプスだけに適用する前記パラメータが、シナプス後電位(PSP)転送有効フラグおよびPSP転送無効フラグを備える、請求項23に記載の方法。
- 前記グループ内の人工ニューロンとシナプスの両方に適用する前記パラメータが、可塑性有効フラグと可塑性無効フラグとを備える、請求項23に記載の方法。
- 人工神経系を操作するための装置であって、
前記人工神経系の人工ニューロンとシナプスとのグループを、関連付けられるパラメータのセットを有するグループタグに割り当てて、
前記グループ内のすべての人工ニューロンとシナプスとの前記パラメータの同時切替えをもたらす前記セットにおける前記パラメータの値を変更する単一のメッセージを送る
ように構成された処理システムと、
前記処理システムに結合されたメモリと
を備える、装置。 - 人工神経系を操作するための装置であって、
前記人工神経系の人工ニューロンとシナプスとのグループを、関連付けられるパラメータのセットを有するグループタグに割り当てるための手段と、
前記グループ内のすべての人工ニューロンとシナプスとの前記パラメータの同時切替えをもたらす前記セットにおける前記パラメータの値を変更する単一のメッセージを送るための手段と
を備える、装置。 - 人工神経系を操作するためのコンピュータプログラム製品であって、
前記人工神経系の人工ニューロンとシナプスとのグループを、関連付けられるパラメータのセットを有するグループタグに割り当てることと、
前記グループ内のすべての人工ニューロンとシナプスとの前記パラメータの同時切替えをもたらす前記セットにおける前記パラメータの値を変更する単一のメッセージを送ることと
を行うために実行可能な命令を有するコンピュータ可読媒体を備える、コンピュータプログラム製品。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361882465P | 2013-09-25 | 2013-09-25 | |
US61/882,465 | 2013-09-25 | ||
US14/268,152 US9959499B2 (en) | 2013-09-25 | 2014-05-02 | Methods and apparatus for implementation of group tags for neural models |
US14/268,152 | 2014-05-02 | ||
PCT/US2014/051469 WO2015047589A2 (en) | 2013-09-25 | 2014-08-18 | Methods and apparatus for implementation of group tags for neural models |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016536657A true JP2016536657A (ja) | 2016-11-24 |
JP2016536657A5 JP2016536657A5 (ja) | 2017-08-31 |
Family
ID=52691891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016516530A Pending JP2016536657A (ja) | 2013-09-25 | 2014-08-18 | ニューラルモデルのためのグループタグの実装のための方法および装置 |
Country Status (9)
Country | Link |
---|---|
US (1) | US9959499B2 (ja) |
EP (1) | EP3050004A2 (ja) |
JP (1) | JP2016536657A (ja) |
KR (1) | KR20160058825A (ja) |
CN (1) | CN105556543B (ja) |
BR (1) | BR112016006482A2 (ja) |
CA (1) | CA2921831A1 (ja) |
TW (1) | TW201523463A (ja) |
WO (1) | WO2015047589A2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170118479A1 (en) * | 2015-10-23 | 2017-04-27 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
CN108255775A (zh) * | 2016-12-28 | 2018-07-06 | 上海磁宇信息科技有限公司 | 用于细胞阵列计算系统的细胞阵列总线广播方法 |
US11195079B2 (en) * | 2017-11-22 | 2021-12-07 | Intel Corporation | Reconfigurable neuro-synaptic cores for spiking neural network |
CN108830379B (zh) * | 2018-05-23 | 2021-12-17 | 电子科技大学 | 一种基于参数量化共享的神经形态处理器 |
KR20200075344A (ko) | 2018-12-18 | 2020-06-26 | 삼성전자주식회사 | 검출기, 객체 검출 방법, 학습기 및 도메인 변환을 위한 학습 방법 |
US11625583B2 (en) * | 2019-02-13 | 2023-04-11 | Mipsology SAS | Quality monitoring and hidden quantization in artificial neural network computations |
TWI828109B (zh) * | 2019-09-24 | 2024-01-01 | 美商應用材料股份有限公司 | 用於組織分割之機器學習模型的交互式訓練 |
CN113065647B (zh) * | 2021-03-30 | 2023-04-25 | 西安电子科技大学 | 加速神经网络的计算-存储通信系统及通信方法 |
CN115169547B (zh) * | 2022-09-09 | 2022-11-29 | 深圳时识科技有限公司 | 神经形态芯片及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0414192A (ja) * | 1990-05-07 | 1992-01-20 | Fujitsu Ltd | ニューラルネットワークにおける結合のグループ単位学習調整方式 |
JPH06348675A (ja) * | 1993-06-07 | 1994-12-22 | Ebara Corp | ニューロコンピュータ応用機器およびこれを含む機械装置 |
JP2002251601A (ja) * | 2001-02-22 | 2002-09-06 | Fuji Xerox Co Ltd | ニューラルネットワーク処理装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5276769A (en) * | 1989-03-13 | 1994-01-04 | Sharp Kabushiki Kaisha | Neural network learning apparatus and method |
EP0937286B1 (en) * | 1996-11-05 | 2002-03-27 | Cyberlife Technology Limited | Process control |
US8630966B2 (en) | 2009-01-27 | 2014-01-14 | Salk Institute For Biological Studies | Temporally dynamic artificial neural networks |
US8504499B2 (en) | 2009-07-15 | 2013-08-06 | The Intellisis Corporation | Constant memory implementation of a phase-model neural network |
US20110055131A1 (en) * | 2009-08-28 | 2011-03-03 | Hung-Han Chen | Method of universal computing device |
US9129220B2 (en) | 2010-07-07 | 2015-09-08 | Qualcomm Incorporated | Methods and systems for digital neural processing with discrete-level synapes and probabilistic STDP |
US8738554B2 (en) | 2011-09-16 | 2014-05-27 | International Business Machines Corporation | Event-driven universal neural network circuit |
US9098811B2 (en) * | 2012-06-04 | 2015-08-04 | Brain Corporation | Spiking neuron network apparatus and methods |
US8943008B2 (en) * | 2011-09-21 | 2015-01-27 | Brain Corporation | Apparatus and methods for reinforcement learning in artificial neural networks |
US8712939B2 (en) | 2011-09-21 | 2014-04-29 | Brain Corporation | Tag-based apparatus and methods for neural networks |
US9129221B2 (en) | 2012-05-07 | 2015-09-08 | Brain Corporation | Spiking neural network feedback apparatus and methods |
US9256823B2 (en) * | 2012-07-27 | 2016-02-09 | Qualcomm Technologies Inc. | Apparatus and methods for efficient updates in spiking neuron network |
-
2014
- 2014-05-02 US US14/268,152 patent/US9959499B2/en active Active
- 2014-08-18 KR KR1020167008769A patent/KR20160058825A/ko not_active Application Discontinuation
- 2014-08-18 EP EP14759390.9A patent/EP3050004A2/en not_active Ceased
- 2014-08-18 BR BR112016006482A patent/BR112016006482A2/pt not_active Application Discontinuation
- 2014-08-18 CN CN201480051708.8A patent/CN105556543B/zh active Active
- 2014-08-18 CA CA2921831A patent/CA2921831A1/en not_active Abandoned
- 2014-08-18 WO PCT/US2014/051469 patent/WO2015047589A2/en active Application Filing
- 2014-08-18 JP JP2016516530A patent/JP2016536657A/ja active Pending
- 2014-08-20 TW TW103128664A patent/TW201523463A/zh unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0414192A (ja) * | 1990-05-07 | 1992-01-20 | Fujitsu Ltd | ニューラルネットワークにおける結合のグループ単位学習調整方式 |
JPH06348675A (ja) * | 1993-06-07 | 1994-12-22 | Ebara Corp | ニューロコンピュータ応用機器およびこれを含む機械装置 |
JP2002251601A (ja) * | 2001-02-22 | 2002-09-06 | Fuji Xerox Co Ltd | ニューラルネットワーク処理装置 |
Also Published As
Publication number | Publication date |
---|---|
TW201523463A (zh) | 2015-06-16 |
WO2015047589A2 (en) | 2015-04-02 |
CN105556543A (zh) | 2016-05-04 |
KR20160058825A (ko) | 2016-05-25 |
BR112016006482A2 (pt) | 2017-08-01 |
EP3050004A2 (en) | 2016-08-03 |
CA2921831A1 (en) | 2015-04-02 |
CN105556543B (zh) | 2018-11-23 |
US20150088796A1 (en) | 2015-03-26 |
US9959499B2 (en) | 2018-05-01 |
WO2015047589A3 (en) | 2015-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6130056B2 (ja) | スパイキングネットワークの効率的なハードウェア実装 | |
JP2016536679A (ja) | ニューラルシミュレータ用の共有メモリアーキテクチャ | |
JP6275868B2 (ja) | ニューラルウォッチドッグ | |
JP2016536657A (ja) | ニューラルモデルのためのグループタグの実装のための方法および装置 | |
JP2017509982A (ja) | 原位置ニューラルネットワークコプロセッシング | |
JP6133503B2 (ja) | 擬似乱数のプログラム可能な確率分布関数を生成するための方法および装置 | |
JP2017511936A (ja) | 現在の計算リソースへのニューラルネットワーク適応 | |
JP2016539414A (ja) | スパイキングニューラルネットワークにおいてリプレーを使用するシナプス学習を実装すること | |
JP2017509952A (ja) | シャドウネットワークでニューラルネットワークを監視すること | |
JP2017509951A (ja) | スパースニューラルネットワークを構成すること | |
JP2017513127A (ja) | スパイキング深層信念ネットワーク(dbn)におけるトレーニング、認識、および生成 | |
JP2016538632A (ja) | 教師あり学習を使用してクラスにタグ付けするための方法および装置 | |
JP2017510890A (ja) | 一般的なニューロンモデルの効率的な実装のための方法および装置 | |
JP2017519268A (ja) | スパイキングニューラルネットワークにおけるグローバルスカラ値によって可塑性を調節すること | |
WO2015020802A2 (en) | Computed synapses for neuromorphic systems | |
JP2016530630A (ja) | ニューラルデバイスのトレーニングを調節するための方法および装置 | |
JP2017513108A (ja) | サブしきい値変調を介するアナログ信号再構築および認識 | |
JP6193509B2 (ja) | 可塑性シナプス管理 | |
JP2017509980A (ja) | 動的な空間ターゲット選択 | |
JP2016538633A (ja) | 多次元範囲にわたって分離可能なサブシステムを含むシステムの評価 | |
JP2016532216A (ja) | 人工神経システムにおけるブレークポイント決定ユニットを実現するための方法および装置 | |
JP2016537711A (ja) | スパイキングニューロンのネットワークにおける輻輳回避 | |
JP6219509B2 (ja) | シナプス遅延を動的に割り当てることおおよび検査すること | |
JP6096388B2 (ja) | ニューラルネットワークモデルにおけるドップラー効果処理 | |
JP6133517B2 (ja) | 座標変換のための位相コーディング |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170721 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180629 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190212 |