JP2016501397A - 区分的線形ニューロンモデル化 - Google Patents
区分的線形ニューロンモデル化 Download PDFInfo
- Publication number
- JP2016501397A JP2016501397A JP2015542689A JP2015542689A JP2016501397A JP 2016501397 A JP2016501397 A JP 2016501397A JP 2015542689 A JP2015542689 A JP 2015542689A JP 2015542689 A JP2015542689 A JP 2015542689A JP 2016501397 A JP2016501397 A JP 2016501397A
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- state
- artificial neuron
- model
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
[0001]本出願は、2012年11月20日に出願された「Piecewise Linear Neuron Modeling」と題する米国仮特許出願第61/728,360号、2012年12月7日に出願された「Piecewise Linear Neuron Modeling」と題する米国仮特許出願第61/734,716号、2012年12月21日に出願された「Piecewise Linear Neuron Modeling」と題する米国仮特許出願第61/740,633号、2013年1月25日に出願された「Piecewise Linear Neuron Modeling」と題する米国仮特許出願第61/756,889号の利益を主張し、これらのすべては、参照により全体が本明細書に組み込まれる。
[0045]図1は、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的なニューラルシステム100を示す。ニューラルシステム100は、シナプス結合のネットワーク104(すなわち、フィードフォワード結合)を介してニューロンの別のレベル106に結合されたニューロンのあるレベル102を備え得る。簡単のために、図1には2つのレベルのニューロンのみが示されているが、典型的なニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。ニューロンのいくつかは、ラテラル結合を介して同じレイヤの他のニューロンに結合し得ることに留意されたい。さらに、ニューロンのいくつかは、フィードバック結合を介して前のレイヤのニューロンに戻る形で結合し得る。
[0057]ニューラルネットワークのハードウェアおよびソフトウェアモデルでは、シナプス関係機能の処理がシナプスタイプに基づき得る。シナプスタイプは、非塑性シナプス(non-plastic synapse)(重みおよび遅延の変化がない)と、可塑性シナプス(重みが変化し得る)と、構造遅延可塑性シナプス(重みおよび遅延が変化し得る)と、完全可塑性シナプス(重み、遅延および結合性が変化し得る)と、それの変形(たとえば、遅延は変化し得るが、重みまたは結合性の変化はない)とを備え得る。これの利点は、処理が再分割され得ることである。たとえば、非塑性シナプスは、可塑性機能を実行すること(またはそのような機能が完了するのを待つこと)を必要とし得ない。同様に、遅延および重み可塑性は、一緒にまたは別々に、順にまたは並列に動作し得る動作に再分割され得る。異なるタイプのシナプスは、適用される異なる可塑性タイプの各々の異なるルックアップテーブルまたは式およびパラメータを有し得る。したがって、本方法は、シナプスのタイプの関係するテーブルにアクセスすることになる。
[0059]神経可塑性(または単に「可塑性」)は、脳内のニューロンおよびニューラルネットワークがそれらのシナプス結合と挙動とを新しい情報、感覚上の刺激、発展、損傷または機能不全に応答して変える能力である。可塑性は、生物学における学習および記憶にとって、また計算論的神経科学およびニューラルネットワークにとって重要である。(たとえば、Hebb則理論による)シナプス可塑性、スパイクタイミング依存可塑性(STDP)、非シナプス可塑性、活性依存可塑性、構造可塑性および恒常的可塑性など、様々な形の可塑性が研究されている。
[0066]有用なスパイキングニューロンモデルを設計するための一般的原理がいくつかある。良いニューロンモデルは、2つの計算レジーム、すなわち、一致検出および関数計算の点で豊かな潜在的挙動を有し得る。その上、良いニューロンモデルは、時間コーディングを可能にするための2つの要素を有する必要がある。すなわち、入力の到着時間は出力時間に影響を与え、一致検出は狭い時間ウィンドウを有し得る。最後に、計算上魅力的であるために、良いニューロンモデルは、連続時間にクローズド式解を有することができ、ニアアトラクター(near attractor)と鞍点とを含む安定した挙動を有し得る。言い換えれば、有用なニューロンモデルは、実用的なニューロンモデルであり、豊かで、現実的で、生物学的に一貫した挙動をモデル化するために使用され得、かつ神経回路のエンジニアリングとリバースエンジニアリングの両方を行うために使用され得るニューロンモデルである。
[0070]Hunzinger Coldニューロンモデルは、豊かな様々な神経挙動を再生し得る最小二重レジームスパイキング線形動的モデルである。モデルの1次元または2次元の線形ダイナミクスは2つのレジームを有することができ、時間定数(および結合)はレジームに依存し得る。しきい値下レジームでは、時間定数は、慣例により負であり、一般に生物学的に一貫した線形方式で静止状態に細胞を戻す役目を果たすリーキーチャネルダイナミクスを表す。しきい値上レジームにおける時間定数は、慣例により正であり、一般にスパイク生成のレイテンシを生じさせる一方でスパイク状態に細胞を駆り立てる反リーキーチャネルダイナミクスを反映する。
[0085]図1の人工ニューロン102、106から構成されるニューラルネットワークモデルなどの有用なニューラルネットワークモデルは、一致コーディング、時間コーディングまたはレートコーディングなど、様々な好適なニューラルコーディング方式のうちのいずれかを介して情報を符号化することができる。一致コーディングでは、情報は、ニューロン集団の活動電位(スパイキング活動)の一致(または時間的近接度)で符号化される。時間コーディングでは、ニューロンは、絶対時間であるか相対時間であるかを問わず、活動電位(すなわち、スパイク)の正確なタイミングを通して情報を符号化する。したがって、情報は、ニューロン集団の間でスパイクの相対的タイミングで符号化され得る。対照的に、レートコーディングは、発火レートまたは集団発火レートでニューラル情報をコーディングすることを伴う。
[0087]良いニューロンモデルでは、入力の到着の時間は、出力の時間に影響を与えるはずである。シナプス入力は、ディラックのデルタ関数であるか、成形シナプス後電位(PSP:shaped post-synaptic potential)であるかを問わず、興奮性(EPSP)であるか、抑制性(IPSP)であるかを問わず、到着時間(たとえば、デルタ関数またはステップもしくは他の入力関数の開始もしくはピークの時間)を有し、これは入力時間と呼ばれ得る。ニューロン出力(すなわち、スパイク)は、(細胞体、軸索に沿ったポイント、または軸索の端部など、どこで測定される場合でも)発生の時間を有し、これは出力時間と呼ばれ得る。出力時間は、スパイクのピークの時間、スパイクの開始の時間、または出力波形に関係する任意の他の時間であり得る。支配的原理は、出力時間が入力時間に依存することである。
[0089]ニューロンモデルへの入力はディラックのデルタ関数、たとえば電流としての入力または伝導性ベースの入力を含み得る。後者の場合、ニューロン状態への寄与は連続的または状況依存的であり得る。
[0090]ニューロンのダイナミクスのための数学的モデルは、数十年にわたって模索され、研究されている。様々なニューロンモデルが提案されており、複雑性およびモデルと生物学的な対応物との合致の精度は異なる。基本的に、すべてのニューロンモデルは、実に様々なイオンチャネルの相互作用に起因する細胞膜電圧の非線形挙動を捕捉することを試み、共通の開始点、すなわち、1950年代のHodgkin−Huxleyの画期的な成果によって提供された数学的記述を有する。
[0096]微分方程式モデル化ニューロンダイナミクスの説明で始める。説明は2次元ニューロンモデルに焦点を当てるが、手法はより高い次元のモデルに拡張されてよく、1次元モデルに適用されてもよい。
[0107]微分に進む前に、いくつかの定義および表記の慣例を紹介する。以後、太字の大文字は行列を示し、太字の小文字はベクトルを示す。2次元状態ベクトルxは次のように定義され得る。
[0110]まず、時間軸t∈[0,∞]は、任意の重複しない時間間隔、すなわち次のように分割される。
(i) A(vn,t)は、一定であり、Anに等しい。その場合、Φ(t,Tn)は、よく知られている行列指数形式、すなわち以下のようになる。
[0122]さらなる単純化は、式(44)によって記述される線形時間変動(LTV)システムを線形時間不変(LTI)システムに変換することによって達成され得る。そうするために、係数a11[vn,t]は、間隔t∈[Tn,Tn+1]で一定に維持される。この結果は、いくつかの方法で達成され得るが、それらのうちのいくつかについて以下で説明する。上述のアフィン線形近似の各々について、定数係数は次のように定義され得る。
解
[0129]問題が公式化され、非線形関数に対するいくつかの可能なアフィン線形近似が提案されたので、ここでは、式(49)および(51)ならびにそれらの実装形態によって与えられる間隔t∈[Tn,Tn+1]でのLTIシステムに対する解に焦点を当てる。さらに式(49)の表記を単純化し、A(vn,Tn)=Anを示すと、
[0142]前のセクションでは、LTIシステムの状態に関する式が、任意の時刻で導出された。以下では、時間ステップが適応的に選択される場合、および固定された所定のステップサイズΔTn=Tにより時刻が均一である同期システムのより単純な場合についてより詳しく説明する。
[0147]この例では、式(68)は、単純モデルおよびテイラー展開方法に基づく線形化のために評価される。式をいくらか単純化するために、外部電流が存在しないと仮定される。
[0154]Hunzinger Coldモデルとして知られている単純な真性伝導性モデルのしきい値下ダイナミクスを調べる目的で別の例が作成されている。この例では、シナプス電流なしおよび衝撃外部電流の単純だが興味深い場合が仮定されている。
[0164]「解」と題するサブセクションの最後は、行列指数と逆行列とを事前計算するために、行列Anの第1の要素a11[vn,Tn]が、動的範囲をカバーする有限数の値に量子化されるべきことを述べている。前のサブセクションの微分から、特に例1からわかるように、係数a11[vn,Tn]は、vnおよび時間Tnにおける伝導性の関数である。膜電圧の動的範囲はかなり限られているが、伝導性の動的範囲は非常に大きいことがある。したがって、この場合に、多数の事前計算された行列が記憶されなければならない可能性が非常に高くなり得る。次に、メモリ需要を減らすためにさらなる単純化が探究される。1つの手法は、限られた範囲で所望の行列を事前計算して記憶し、その範囲を越える値のために所望の行列を近似する計算を実行する手法である。
[0172]説明および表記を単純化するために、この例は、シナプス電流が電圧依存型伝導性チャネル(たとえば、NMDAチャネル)を含まず、外部電流Iext(t)がないと仮定する。微分は、長さTの固定ステップサイズで得られる。まず、式(68)が次のように単純化され得る。
I. 所望の量子化により事前計算し、すべての係数(G、hi、およびq)を記憶する。
II. チャネルごとに、以下を計算する。
[0182]上記のサブセクションでは、ニューロンモデルの区分的線形化に対する一般的手法について説明した。図7は、様々なステップと線形化方法とを要約している。702において非線形時間変動システムで開始し、704において間隔Tn≦t≦Tn+1で区分的線形化が実行されて、706において行列A(vn,t)に関して区分的線形時間変動システムを生成することができる。708において、間隔Tn≦t≦Tn+1ごとに定数係数(すなわち、区分的定数関数)が使用され、次いで710において行列A(vn,Tn)に関して区分的LTIシステムが形成される。この線形化が712において時間間隔から独立して実行される場合、714において行列A(vn)に関して区分的LTIシステムが形成される。
[0183]上述した本開示のいくつかの態様は主に、状態変数のうちの1つ(たとえば、膜電位v)に限定された2次元状態空間の区分をカバーする。上述のように、(v,u)状態空間は、単一の状態を使用して垂直ブロックに区分され、各ブロックは、電圧間隔を表しており、線形微分方程式の別個のセットに関連付けられる。
[0185]2次元区分的線形微分方程式は、n番目の対が以下によって定義されるK対の微分方程式からなるセットとして表され得る。
[0186]基本的な考えは、区分的線形概念を、vに関してのみ定義された領域を越えて拡張する(すなわち、式(109)のほか、式(110)が間隔ごとに変化することを可能にする)ことである。これは、(v,u)空間でK個の2次元領域Ωkを定義することによって達成され、ここでk∈[1,K]であり、K個の領域の結合が(v,u)値の空間全体をカバーし得る。さらに、mkおよびdkに加えて、パラメータaおよびbは、これらのパラメータがkの関数になるように領域ごとに別個であることが可能である。パラメータCも、Ckとして領域ごとに別個のものにされてよいが、以下では領域ごとに固定されたままとされ、これは、Cが領域固有のものにされ得るという理解に基づく。これらの拡張は必ずしも、生物学的等価物を有するとは限らない。しかしながら、エンジニアリングおよび計算上の観点から、そのような拡張は、より豊かなニューロンモデルおよびより単純なプラットフォームの設計によるニューロンモデルの開発を可能にする。
[0190]M個の状態変数があるM次元の場合、状態空間式は以下の式になる。
[0191]連続時間ドメインおよび離散時間ドメインにおける式(113)の状態空間の解が提示される。それらの微分は、上述の手法と同じ手法を使用して必然的に生じる。連続時間の解は次のように表され得る。
[0194]図9は、3つの領域(すなわち、Ωk、ここでk∈[1,3])を有する例を示している。図9の3つの領域はすべて、方形領域である。
[0197]現在、領域は
[0200]一般化された方形領域の場合、k番目の領域は、
[0201]説明を簡単にするために、各々が静止状態(vr,0)を中心とする楕円領域のみを仮定する。その場合、k番目の領域は、
[0202]ニューロンモデル化のための状態空間のそのような一般化された区分は、ニューロンの合成をサポートし、体系的にそうするのを後押しすることができる。これの2つの例は、以下を実施する際のものである。(1)オンセット検出および事象カウント、ならびに(2)しきい値下振動挙動、後者については次のセクションで説明する。
[0205]膜電位が静止電位から上向く(すなわち、人工ニューロンのスパイク「準備をする(prime)」)際のスパイキングの可能性を高めるために、および下向く際の可能性を低下させるために、神経人工神経系においてしきい値下振動が使用され得る。前のセクションでは、状態変数のうちの1つ(たとえば、電圧)だけではなく、状態変数の組合せおよび領域(または関数)にも基づく2次元(または多次元)状態空間の区分を可能にすることによる区分的線形ニューロンモデル化の拡張について説明している。このセクションは、既存のしきい値下振動ニューロン設計の欠点を扱う。たとえば、既存のニューロンモデルは、3つの振動タイプ(たとえば、図12Aのグラフ1200に示す減衰振動、図12Bのグラフ1210に示す持続振動、または図12Cのグラフ1220に示す成長振動)のうちのせいぜい1つを示すしきい値下振動ニューロンの設計をサポートすることができるが、これらのモデルは、3つのタイプのうちの2つ以上を示す人工ニューロンの設計を可能にすることができない。その上、既存のニューロンモデルは、特定の振動周波数によるしきい値下振動ニューロンの体系的設計、減衰振動のための減衰レート、成長振動のための成長レート、および/または持続振動のための大きさをサポートすることができない。
[0207]しきい値下振動を生成することができる4つの既存のニューロンモデル、すなわち、Izhikevich(単純)モデル、(上述のBretteおよびGerstnerの線形プラス指数関数である)適応型指数関数(AdEx:Adaptive Exponential)ニューロンモデル、クォートモデル、およびHunzinger Coldモデルがある。これらのニューロンモデルは、次の4つの方法で特徴付けされ得る。(1)モデルが3つの可能なしきい値下振動挙動(減衰振動、持続振動、または成長振動)のうちのどれを生成し得るか、(2)3つの挙動のうちのいくつが、単一のニューロンによって示され得るか、(3)所望の振動周波数によるニューロンを設計するのがどのくらい容易であるか、および(4)振動設計を微調整する(たとえば、持続振動の大きさを定義する、または減衰もしくは成長の複数のレートを定義する)のがどのくらい容易であるか。下の表は、第1の測定について各ニューロンモデルがどのようになるかを要約している(これらのニューロンモデルは場合により、3つの振動タイプのうちの1つからすべてをサポートし得る)。
[0210]上の表に示すように、既存のニューロンモデルとは対照的に、本開示のいくつかの態様は、以下が可能である。(1)しきい値下レジームにおいて3つの振動タイプのすべてまたは任意のサブセットを示し得る人工ニューロンを生成する、(2)Hunzinger Coldモデルのように体系的に設計されるだけではなく、設計の微調整のサポートもする。
[0211]3つの振動タイプすべてを示すことが、上述の状態空間領域依存型手法を使用することによって実現され得る。たとえば、4つの領域の2次元ニューロンモデルが、図10に示すように定義され得る。
[0215]上記のように、リセット機構は、uをu+dにリセットすることを伴うことがあり、これは結局、たとえば、スパイク事象の後または制御信号のアクティブ化後にuを増分する。いくつかの態様では、u+d値が、ニューロンを直ちにスパイクさせること、または最初から持続振動に入らせることができるほど大きくないようにするために、uを目標定数に(すなわち、u+d以外に)リセットするオプションを有するのが望ましいことがある。このようにして、設計者は、状態空間のどこでニューロンがリセットするかを管理する。
[0216]一般に、持続振動における(v,u)トレースは、長軸および短軸がv、uのデカルト軸と整合しないことがある楕円の形となり得る(すなわち、楕円は傾きを有し得る)。解は、以下の形となり得る。
[0223]上記の考えは、振動のより漸進的な減衰または漸進的な成長をサポートするように拡張され得る。たとえば、減衰軌道の変動レートと成長軌道の変動レートとを有するために、6個の領域を有する図13に示すように、複数のリングが使用され得る。この例では、Ω3は、持続振動領域と考えられ得る。領域Ω5は、速い方の減衰軌道を有してよく、Ω4は、遅い方の減衰軌道を有し得る。これにより、持続振動領域Ω3への段階的でより緩やかな減衰が可能になる。同様に、Ω1は、速い方の成長軌道を有してよく、Ω2は、遅い方の成長軌道を有し得る。この概念は、さらに漸進的な変化のためのより多くのリングに拡張され得る。さらに、異なる持続振動パラメータ(たとえば、異なる周波数)が望まれる場合にマルチステージ持続振動領域が使用され得る。
[0224]図14は、本開示のいくつかの態様による、人工神経系における人工ニューロンの状態を更新するための例示的な動作1400の流れ図である。動作1400は、ハードウェアで(たとえば、神経形態学的プロセッサなどの1つもしくは複数のニューラル処理ユニット(たとえば、人工ニューロン)によって)、ソフトウェアで、またはファームウェアで実行され得る。人工神経系は、視覚神経系、聴覚神経系、海馬などのような様々な生物学上または想像上の神経系のうちのいずれかでモデル化され得る。
[0241]本開示のいくつかの態様は一般に、動的ニューロンモデルをサポートする共通のフレキシブルなアーキテクチャを開発することに関する。設計目標は、低複雑度と、ニューロンダイナミクスの正確なモデル化と、任意のニューロンモデルを実施する能力とを含む。このフレキシブルなアーキテクチャにより、様々な好適なニューロンモデルのいずれかが必要に応じて実行され、置換され得る。たとえば、ニューロンモデルは、Izhikevichの単純モデル、指数関数積分発火(EIF)モデル、FitzHugh−Nagumoモデル、クォートモデル、またはHunzinger Coldモデルのうちの少なくとも1つを含み得る。そのようなニューロンモデルは、上記のように区分的線形近似とそれに関連するパラメータ(たとえば、係数)とを使用して実施され得る。さらに、フレキシブルなアーキテクチャは、人工神経系における異なる人工ニューロンが、異なるニューロンモデルにより同時に動作することを可能にする。
Claims (64)
- 人工ニューロンの状態を更新するための方法であって、
前記人工ニューロンの第1の状態が第1の領域内にあると決定することと、
1次方程式の第1のセットに少なくとも部分的に基づいて前記人工ニューロンの第2の状態を決定することと、ここにおいて、前記1次方程式の第1のセットは、前記第1の領域に対応するパラメータの第1のセットに少なくとも部分的に基づく、
前記人工ニューロンの前記第2の状態が第2の領域内にあると決定することと、
1次方程式の第2のセットに少なくとも部分的に基づいて前記人工ニューロンの第3の状態を決定することと
を備え、前記1次方程式の第2のセットは、前記第2の領域に対応するパラメータの第2のセットに少なくとも部分的に基づく、
方法。 - 前記1次方程式の第1のセットおよび第2のセットは、線形時間不変(LTI)状態空間方程式の離散時間解を備える、
請求項1に記載の方法。 - メモリから前記パラメータの第1セットまたは第2のセットのうちの少なくとも1つを取り出すことをさらに備える、
請求項1に記載の方法。 - 前記取り出すことは、前記人工ニューロンの局所にあるメモリから前記パラメータの第1のセットまたは第2のセットのうちの前記少なくとも1つを取り出すことを備える、
請求項3に記載の方法。 - 前記パラメータの第1のセットまたは第2のセットのうちの少なくとも1つの少なくとも一部分を計算することをさらに備える、
請求項1に記載の方法。 - 前記パラメータの第1のセットまたは第2のセットのうちの前記少なくとも1つの前記少なくとも前記一部分は、メモリから取り出された1つまたは複数の値を使用して計算される、
請求項5に記載の方法。 - 前記パラメータの第1のセットまたは第2のセットのうちの少なくとも1つは、前記人工ニューロンに関連するニューロンモデルにおける非線形関数の少なくとも一部分を区分的線形関数により近似することによって取得される、
請求項1に記載の方法。 - 前記非線形関数は、電圧依存型伝導性(g(v))により増大する膜電位(v)を備える、
請求項7に記載の方法。 - 前記電圧依存型伝導性は、区分的定数関数により近似される、
請求項8に記載の方法。 - 前記非線形関数は電圧依存型関数(F(v))を備え、vは前記人工ニューロンの膜電位である、
請求項7に記載の方法。 - 前記第1の領域は、前記区分的線形関数において前記第2の領域とは異なる幅を有する、
請求項7に記載の方法。 - 前記区分的線形関数における前記第1の領域または前記第2の領域の幅は、前記非線形関数に依存する、
請求項7に記載の方法。 - 前記区分的線形関数近似は、テイラー展開方法、1次線形補間方法、最適線形補間方法、または平均傾斜方法のうちの少なくとも1つに少なくとも部分的に基づく、
請求項7に記載の方法。 - 前記パラメータの第1のセットまたは第2のセットのうちの少なくとも1つは、少なくとも部分的に前記人工ニューロンにおける特定の挙動を実現するように設計される、
請求項1に記載の方法。 - 前記人工ニューロンの前記第1の状態、第2の状態、および第3の状態は、膜電位(v)および復元電流(u)によって定義される、
請求項1に記載の方法。 - スパイク事象が生じているか、または生じることになるとの決定に少なくとも部分的に基づいて、前記人工ニューロンの前記膜電位または前記復元電流のうちの少なくとも1つをリセットすることをさらに備える、
請求項15に記載の方法。 - 前記膜電位は、静止電位にリセットされ、前記復元電流は、前記復元電流の現在値とオフセットとの合計にリセットされる、
請求項16に記載の方法。 - 前記1次方程式の第1のセットまたは第2のセットのうちの少なくとも1つは、前記人工ニューロンのためのニューロンモデルに少なくとも部分的に基づく、
請求項1に記載の方法。 - 前記ニューロンモデルは、Izhikevichの単純モデル、指数関数積分発火(EIF)モデル、FitzHugh−Nagumoモデル、クォートモデル、または真性伝導性モデルのうちの少なくとも1つに少なくとも部分的に基づく、
請求項18に記載の方法。 - 前記真性伝導性モデルは、電圧依存型伝導性(g(v))により増大する膜電位(v)として表される前記ニューロンモデルを備える、
請求項19に記載の方法。 - 前記ニューロンモデルは少なくとも2つの次元を備える、
請求項18に記載の方法。 - 前記ニューロンモデルの時間のステップサイズは、モデル化されている前記人工ニューロンのタイプに少なくとも部分的に基づく、
請求項18に記載の方法。 - 前記ニューロンモデルの時間のステップサイズは不均一である、
請求項18に記載の方法。 - 特定の時間ステップの時間の前記ステップサイズは、前記人工ニューロンの現在の状態もしくは過去の状態のうちの少なくとも1つに、またはパラメータの特定のセットに少なくとも部分的に基づいて決定される、
請求項23に記載の方法。 - 前記ニューロンモデルは、1つまたは複数の1次常微分方程式(ODE)に少なくとも部分的に基づく、
請求項18に記載の方法。 - 前記人工ニューロンの前記第2の状態または第3の状態のうちの少なくとも1つを決定することは、前記人工ニューロンに入力された電流に少なくとも部分的に基づく、
請求項1に記載の方法。 - 前記入力電流は、1つまたは複数のチャネルの各々に関する時間依存型伝導性および前記1つまたは複数のチャネルの各々に関する逆転電位に少なくとも部分的に基づくシナプス電流を備える、
請求項26に記載の方法。 - 前記シナプス電流は、N−メチル−D−アスパラギン酸(NMDA)チャネルに関する前記人工ニューロンのシナプス後膜電圧に少なくとも部分的に基づく、
請求項27に記載の方法。 - 前記時間依存型伝導性は、指数関数、アルファ関数、または指数差関数によってモデル化される、
請求項27に記載の方法。 - 前記第1の状態を決定することと前記第2の状態を決定することとの間の時間の第1のステップサイズは、前記第2の状態を決定することと前記第3の状態を決定することとの間の時間の第2のステップサイズとは異なる、
請求項1に記載の方法。 - 前記人工ニューロンの前記第2の状態を決定することは、第1の時間ステップで実行され、前記人工ニューロンの前記第3の状態を決定することは、前記第1の時間ステップに続く第2の時間ステップで実行される、
請求項1に記載の方法。 - 人工ニューロンを動作させるための装置であって、
前記人工ニューロンの第1の状態が第1の領域内にあると決定することと、
1次方程式の第1のセットに少なくとも部分的に基づいて前記人工ニューロンの第2の状態を決定することと、ここにおいて、前記1次方程式の第1のセットは、前記第1の領域に対応するパラメータの第1のセットに少なくとも部分的に基づく、
前記人工ニューロンの前記第2の状態が第2の領域内にあると決定することと、
1次方程式の第2のセットに少なくとも部分的に基づいて前記人工ニューロンの第3の状態を決定することと、ここにおいて、1次方程式の前記第2のセットは、前記第2の領域に対応するパラメータの第2のセットに少なくとも部分的に基づく、
を行うように構成された処理システムと、
前記処理システムに結合されたメモリと
を備える装置。 - 前記1次方程式の第1のセットおよび第2のセットは、線形時間不変(LTI)状態空間方程式の離散時間解を備える、
請求項32に記載の装置。 - 前記処理システムは、前記メモリから前記パラメータの第1のセットまたは第2のセットのうちの少なくとも1つを取り出すことを行うようにさらに構成される、
請求項32に記載の装置。 - メモリは、前記人工ニューロンの局所にある、
請求項34に記載の装置。 - 前記処理システムは、前記パラメータの第1のセットまたは第2のセットのうちの少なくとも1つの少なくとも一部分を計算することを行うようにさらに構成される、
請求項32に記載の装置。 - 前記パラメータの第1のセットまたは第2のセットのうちの前記少なくとも1つの前記少なくとも一部分は、前記メモリから取り出された1つまたは複数の値を使用して計算される、
請求項36に記載の装置。 - 前記パラメータの第1のセットまたは第2のセットのうちの少なくとも1つは、前記人工ニューロンに関連するニューロンモデルにおける非線形関数の少なくとも一部分を区分的線形関数により近似することによって取得される、
請求項32に記載の装置。 - 前記非線形関数は、電圧依存型伝導性(g(v))により増大する膜電位(v)を備える、
請求項38に記載の装置。 - 前記電圧依存型伝導性は区分的定数関数により近似される、
請求項39に記載の装置。 - 前記非線形関数は電圧依存型関数(F(v))を備え、vは前記人工ニューロンの膜電位である、
請求項38に記載の装置。 - 前記第1の領域は、前記区分的線形関数において前記第2の領域とは異なる幅を有する、
請求項38に記載の装置。 - 前記区分的線形関数における前記第1の領域または前記第2の領域の幅は、前記非線形関数に依存する、
請求項38に記載の装置。 - 前記区分的線形関数近似は、テイラー展開方法、1次線形補間方法、最適線形補間方法、または平均傾斜方法のうちの少なくとも1つに少なくとも部分的に基づく、
請求項38に記載の装置。 - 前記パラメータの第1のセットまたは第2のセットのうちの少なくとも1つは、少なくとも部分的に前記人工ニューロンにおける特定の挙動を実現するように設計される、
請求項32に記載の装置。 - 前記人工ニューロンの前記第1の状態、第2の状態、および第3の状態は、膜電位(v)および復元電流(u)によって定義される、
請求項32に記載の装置。 - 前記処理システムは、スパイク事象が生じているか、または生じることになるとの決定に少なくとも部分的に基づいて、前記人工ニューロンの前記膜電位または前記復元電流のうちの少なくとも1つをリセットすることを行うようにさらに構成される、
請求項46に記載の装置。 - 前記膜電位は、静止電位にリセットされ、前記復元電流は定数にリセットされる、
請求項47に記載の装置。 - 前記1次方程式の第1のセットまたは第2のセットのうちの少なくとも1つは、前記人工ニューロンのためのニューロンモデルに少なくとも部分的に基づく、
請求項32に記載の装置。 - 前記ニューロンモデルは、Izhikevichの単純モデル、指数関数積分発火(EIF)モデル、FitzHugh−Nagumoモデル、クォートモデル、または真性伝導性モデルのうちの少なくとも1つに少なくとも部分的に基づく、
請求項49に記載の装置。 - 前記真性伝導性モデルは、電圧依存型伝導性(g(v))により増大する膜電位(v)として表される前記ニューロンモデルを備える、
請求項50に記載の装置。 - 前記ニューロンモデルは少なくとも2つの次元を備える、
請求項49に記載の装置。 - 前記ニューロンモデルの時間のステップサイズは、モデル化されている前記人工ニューロンのタイプに少なくとも部分的に基づく、
請求項49に記載の装置。 - 前記ニューロンモデルの時間のステップサイズは、不均一である、
請求項49に記載の装置。 - 特定の時間ステップの時間の前記ステップサイズは、前記人工ニューロンの現在の状態もしくは過去の状態のうちの少なくとも1つに、またはパラメータの特定のセットに少なくとも部分的に基づいて決定される、
請求項54に記載の装置。 - 前記ニューロンモデルは、1つまたは複数の1次常微分方程式(ODE)に少なくとも部分的に基づく、
請求項49に記載の装置。 - 前記処理システムは、前記人工ニューロンに入力された電流に少なくとも部分的に基づいて、前記人工ニューロンの前記第2の状態または第3の状態のうちの少なくとも1つを決定することを行うように構成される、
請求項32に記載の装置。 - 前記入力電流は、1つまたは複数のチャネルの各々に関する時間依存型伝導性および前記1つまたは複数のチャネルの各々に関する逆転電位に少なくとも部分的に基づくシナプス電流を備える、
請求項57に記載の装置。 - 前記シナプス電流は、N−メチル−D−アスパラギン酸(NMDA)チャネルに関する前記人工ニューロンのシナプス後膜電圧に少なくとも部分的に基づく、
請求項58に記載の装置。 - 前記時間依存型伝導性は、指数関数、アルファ関数、または指数差関数によってモデル化される、
請求項58に記載の装置。 - 前記第1の状態を決定することと前記第2の状態を決定することとの間の時間の第1のステップサイズは、前記第2の状態を決定することと前記第3の状態を決定することとの間の時間の第2のステップサイズとは異なる、
請求項32に記載の装置。 - 前記処理システムは、
第1の時間ステップで前記人工ニューロンの前記第2の状態を決定することと、
前記第1の時間ステップに続く第2の時間ステップで前記人工ニューロンの前記第3の状態を決定することと
を行うように構成される、請求項32に記載の装置。 - 人工ニューロンを動作させるための装置であって、
前記人工ニューロンの第1の状態が第1の領域内にあると決定するための手段と、
1次方程式の第1のセットに少なくとも部分的に基づいて前記人工ニューロンの第2の状態を決定するための手段と、ここにおいて、1次方程式の前記第1のセットは、前記第1の領域に対応するパラメータの第1のセットに少なくとも部分的に基づく、
前記人工ニューロンの前記第2の状態が第2の領域内にあると決定するための手段と、
1次方程式の第2のセットに少なくとも部分的に基づいて前記人工ニューロンの第3の状態を決定するための手段と
を備え、1次方程式の前記第2のセットは、前記第2の領域に対応するパラメータの第2のセットに少なくとも部分的に基づく、
装置。 - コンピュータ可読記憶デバイスを備える、人工ニューロンを動作させるためのコンピュータプログラム製品であって、前記コンピュータ可読記憶デバイスは、
前記人工ニューロンの第1の状態が第1の領域内にあると決定することと、
1次方程式の第1のセットに少なくとも部分的に基づいて前記人工ニューロンの第2の状態を決定することと、ここにおいて、前記1次方程式の第1のセットは、前記第1の領域に対応するパラメータの第1のセットに少なくとも部分的に基づく、
前記人工ニューロンの前記第2の状態が第2の領域内にあると決定することと、
1次方程式の第2のセットに少なくとも部分的に基づいて前記人工ニューロンの第3の状態を決定することと
を行うように実行可能な命令を有し、ここにおいて、前記1次方程式の第2のセットは、前記第2の領域に対応するパラメータの第2のセットに少なくとも部分的に基づく、
コンピュータプログラム製品。
Applications Claiming Priority (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261728360P | 2012-11-20 | 2012-11-20 | |
US61/728,360 | 2012-11-20 | ||
US201261734716P | 2012-12-07 | 2012-12-07 | |
US61/734,716 | 2012-12-07 | ||
US201261740633P | 2012-12-21 | 2012-12-21 | |
US61/740,633 | 2012-12-21 | ||
US201361756889P | 2013-01-25 | 2013-01-25 | |
US61/756,889 | 2013-01-25 | ||
US14/070,652 US9292790B2 (en) | 2012-11-20 | 2013-11-04 | Piecewise linear neuron modeling |
US14/070,652 | 2013-11-04 | ||
PCT/US2013/068528 WO2014081560A1 (en) | 2012-11-20 | 2013-11-05 | Piecewise linear neuron modeling |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016501397A true JP2016501397A (ja) | 2016-01-18 |
JP2016501397A5 JP2016501397A5 (ja) | 2016-06-16 |
JP5976948B2 JP5976948B2 (ja) | 2016-08-24 |
Family
ID=50728915
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015542691A Active JP6117369B2 (ja) | 2012-11-20 | 2013-11-05 | 区分的線形ニューロンモデル化 |
JP2015542689A Expired - Fee Related JP5976948B2 (ja) | 2012-11-20 | 2013-11-05 | 区分的線形ニューロンモデル化 |
JP2015542690A Pending JP2016501398A (ja) | 2012-11-20 | 2013-11-05 | 区分的線形ニューロンモデル化 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015542691A Active JP6117369B2 (ja) | 2012-11-20 | 2013-11-05 | 区分的線形ニューロンモデル化 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015542690A Pending JP2016501398A (ja) | 2012-11-20 | 2013-11-05 | 区分的線形ニューロンモデル化 |
Country Status (7)
Country | Link |
---|---|
US (3) | US9477926B2 (ja) |
EP (3) | EP2923309A1 (ja) |
JP (3) | JP6117369B2 (ja) |
KR (1) | KR20150087266A (ja) |
CN (3) | CN104798088B (ja) |
TW (3) | TWI537843B (ja) |
WO (3) | WO2014081562A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102339485B1 (ko) * | 2020-06-30 | 2021-12-15 | 강원대학교산학협력단 | 인공신경망을 이용한 아크신호 검출방법 |
KR20230082525A (ko) | 2021-12-01 | 2023-06-08 | 주식회사 딥엑스 | 프로그래밍 가능 활성화 함수 생성 방법 및 이를 이용하는 장치 |
US11836604B2 (en) | 2021-12-01 | 2023-12-05 | Deepx Co., Ltd. | Method for generating programmable activation function and apparatus using the same |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9477926B2 (en) * | 2012-11-20 | 2016-10-25 | Qualcomm Incorporated | Piecewise linear neuron modeling |
US10288325B2 (en) | 2013-03-14 | 2019-05-14 | Rolls-Royce Corporation | Trans-critical vapor cycle system with improved heat rejection |
US10132529B2 (en) | 2013-03-14 | 2018-11-20 | Rolls-Royce Corporation | Thermal management system controlling dynamic and steady state thermal loads |
US10068170B2 (en) * | 2013-09-23 | 2018-09-04 | Oracle International Corporation | Minimizing global error in an artificial neural network |
US20150324690A1 (en) * | 2014-05-08 | 2015-11-12 | Microsoft Corporation | Deep Learning Training System |
WO2016054441A1 (en) * | 2014-10-01 | 2016-04-07 | Thalchemy Corporation | Efficient and scalable systems for calculating neural network connectivity in an event-driven way |
US10008264B2 (en) * | 2014-10-23 | 2018-06-26 | Hewlett Packard Enterprise Development Lp | Memristive cross-bar array for determining a dot product |
WO2016067548A1 (ja) * | 2014-10-28 | 2016-05-06 | 日本電気株式会社 | 領域線形モデル最適化システム、方法およびプログラム |
US9747546B2 (en) * | 2015-05-21 | 2017-08-29 | Google Inc. | Neural network processor |
CN106485321B (zh) * | 2015-10-08 | 2019-02-12 | 上海兆芯集成电路有限公司 | 具有架构神经网络执行单元的处理器 |
CN108780492B (zh) * | 2016-02-08 | 2021-12-14 | 斯佩罗设备公司 | 模拟协处理器 |
JP6713164B2 (ja) * | 2016-03-03 | 2020-06-24 | 国立研究開発法人物質・材料研究機構 | シグナル解析方法及び試料ガス識別方法 |
US9990196B2 (en) | 2016-04-01 | 2018-06-05 | Intel Corporation | Instruction, circuits, and logic for piecewise linear approximation |
CN106250600A (zh) * | 2016-07-27 | 2016-12-21 | 上海华虹宏力半导体制造有限公司 | 提高mos器件模拟应用模型精准性的方法 |
US11270193B2 (en) | 2016-09-30 | 2022-03-08 | International Business Machines Corporation | Scalable stream synaptic supercomputer for extreme throughput neural networks |
US10679118B2 (en) * | 2016-12-20 | 2020-06-09 | Intel Corporation | Solving matrix inverse problems using neuromorphic computing |
CN106897734A (zh) * | 2017-01-12 | 2017-06-27 | 南京大学 | 基于深度卷积神经网络的层内非均匀的k平均聚类定点量化方法 |
CN106875004B (zh) * | 2017-01-20 | 2019-09-10 | 北京灵汐科技有限公司 | 复合模式神经元信息处理方法和系统 |
US20200250515A1 (en) * | 2017-10-27 | 2020-08-06 | Google Llc | Systems and Methods for Improved Optimization of Machine-Learned Models |
CN109960673B (zh) * | 2017-12-14 | 2020-02-18 | 中科寒武纪科技股份有限公司 | 集成电路芯片装置及相关产品 |
US11663476B2 (en) | 2017-12-15 | 2023-05-30 | Electronics And Telecommunications Research Institute | Method and device for providing compression and transmission of training parameters in distributed processing environment |
WO2019117646A1 (ko) * | 2017-12-15 | 2019-06-20 | 한국전자통신연구원 | 분산 처리 환경에서의 학습 파라미터의 압축 및 전송을 제공하는 방법 및 장치 |
CN108647808B (zh) * | 2018-04-11 | 2022-03-29 | 济南大学 | 一种生产参数优化预测方法、装置、设备及存储介质 |
US10489482B1 (en) * | 2018-06-01 | 2019-11-26 | Hewlett Packard Enterprise Development Lp | Gaussian elimination via a vector matrix multiplication accelerator |
US12020168B2 (en) * | 2018-09-11 | 2024-06-25 | Apple Inc. | Compiling models for dedicated hardware |
US11468338B2 (en) | 2018-09-11 | 2022-10-11 | Apple Inc. | Compiling models for dedicated hardware |
US11610110B2 (en) | 2018-12-05 | 2023-03-21 | Bank Of America Corporation | De-conflicting data labeling in real time deep learning systems |
CN109800851B (zh) * | 2018-12-29 | 2024-03-01 | 中国人民解放军陆军工程大学 | 神经突触电路和脉冲神经网络电路 |
KR102425039B1 (ko) * | 2019-02-27 | 2022-07-28 | 한국전력공사 | 분산 딥러닝 환경에서 데이터 압축 장치 및 방법 |
US11195085B2 (en) * | 2019-03-21 | 2021-12-07 | International Business Machines Corporation | Spiking synaptic elements for spiking neural networks |
CN110472733B (zh) * | 2019-07-22 | 2023-05-02 | 天津大学 | 一种基于神经形态学的在体神经元建模方法 |
TWI728556B (zh) * | 2019-11-18 | 2021-05-21 | 財團法人工業技術研究院 | 神經元電路及類神經網路晶片 |
KR102431371B1 (ko) * | 2019-11-26 | 2022-08-10 | 성균관대학교산학협력단 | 스파이킹 뉴런 모델 및 그의 스파이크 생성 방법 |
TWI733305B (zh) * | 2020-01-10 | 2021-07-11 | 瑞昱半導體股份有限公司 | 晶片及基於神經網路電路的電流調整方法 |
CN111241749B (zh) * | 2020-01-13 | 2023-04-07 | 广西师范大学 | 一种基于储备池计算的永磁同步电动机混沌预测方法 |
CN111445017A (zh) * | 2020-03-23 | 2020-07-24 | 天津芯海创科技有限公司 | 一种运算方法及装置 |
KR20220033314A (ko) * | 2020-09-09 | 2022-03-16 | 삼성전자주식회사 | 호스트 프로세서 및 가속기의 동작 방법 및 이들을 포함한 전자 장치 |
US11568255B2 (en) * | 2020-09-10 | 2023-01-31 | Mipsology SAS | Fine tuning of trained artificial neural network |
CN112966433B (zh) * | 2021-02-08 | 2022-12-23 | 北京大学 | 一种基于即时编译的神经动力学仿真方法及装置 |
CN114861864A (zh) * | 2022-02-24 | 2022-08-05 | 天津大学 | 具有树突形态学的神经元网络建模方法及装置 |
CN114781608B (zh) * | 2022-04-19 | 2023-06-20 | 安徽科技学院 | 一种基于数字孪生的煤矿供电系统故障预警方法 |
CN116307942B (zh) * | 2023-05-18 | 2023-08-25 | 中国人民解放军96901部队 | 基于指标影响力演化的联合作战效能评估方法、系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0784974A (ja) * | 1993-09-16 | 1995-03-31 | Nissan Motor Co Ltd | リカレント・ニューラルネットワーク |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4979126A (en) * | 1988-03-30 | 1990-12-18 | Ai Ware Incorporated | Neural network with non-linear transformations |
US5140670A (en) | 1989-10-05 | 1992-08-18 | Regents Of The University Of California | Cellular neural network |
GB2236608B (en) | 1989-10-06 | 1993-08-18 | British Telecomm | Digital neural networks |
DE4131765A1 (de) * | 1991-09-24 | 1993-03-25 | Siemens Ag | Regelparameter-verbesserungsverfahren fuer industrielle anlagen |
FR2685109A1 (fr) | 1991-12-11 | 1993-06-18 | Philips Electronique Lab | Processeur numerique neuronal operant avec une approximation d'une fonction d'activation non lineaire. |
KR970008532B1 (ko) | 1993-08-10 | 1997-05-24 | 재단법인 한국전자통신연구소 | 비선형 함수의 근사를 위한 비선형 추정망의 학습방법 |
JPH08180034A (ja) * | 1994-12-20 | 1996-07-12 | Hitachi Microcomput Syst Ltd | 情報処理装置 |
US5749019A (en) * | 1996-09-09 | 1998-05-05 | Xerox Corporation | Look up table to control non-linear xerographic process |
KR100194761B1 (ko) | 1996-10-02 | 1999-06-15 | 이계철 | 제어형 연속 램프(r므ㅔ) 변환기 |
US20050239737A1 (en) * | 1998-05-12 | 2005-10-27 | Isis Pharmaceuticals, Inc. | Identification of molecular interaction sites in RNA for novel drug discovery |
US6507828B1 (en) | 1998-06-19 | 2003-01-14 | Jason Leonard | Neuron circuit and related techniques |
US6728690B1 (en) * | 1999-11-23 | 2004-04-27 | Microsoft Corporation | Classification system trainer employing maximum margin back-propagation with probabilistic outputs |
EP1172763A3 (en) | 2000-07-13 | 2008-11-05 | International Business Machines Corporation | Method and circuits for associating a norm to each component of an input pattern presented to a neural network |
US6823322B2 (en) | 2001-02-14 | 2004-11-23 | Denso Corporation | Piecewise nonlinear mapper for digitals |
JP4716605B2 (ja) * | 2001-03-29 | 2011-07-06 | 株式会社リコー | 音声認識装置及び音声認識方法 |
US7483868B2 (en) * | 2002-04-19 | 2009-01-27 | Computer Associates Think, Inc. | Automatic neural-net model generation and maintenance |
CN1417742A (zh) * | 2002-12-16 | 2003-05-14 | 武汉大学 | 一种动态认知神经网络及实现方法 |
EP1515270A1 (en) * | 2003-09-09 | 2005-03-16 | Semeion | An artificial neural network |
US7647213B1 (en) * | 2003-10-02 | 2010-01-12 | The Mathworks, Inc. | Method for modeling and analyzing linear time invariant systems with time delays |
FR2881857B1 (fr) * | 2005-02-04 | 2008-05-23 | Bernard Angeniol | Outil informatique de prevision |
US7711663B2 (en) * | 2006-03-27 | 2010-05-04 | Board Of Trustees Of Michigan State University | Multi-layer development network having in-place learning |
TW200914844A (en) | 2007-09-20 | 2009-04-01 | Univ Far East | Detection system and detection method for analyzing electronic signal state |
CN101546389A (zh) | 2008-03-26 | 2009-09-30 | 中国科学院半导体研究所 | 一种主方向神经网络系统 |
US8411910B2 (en) * | 2008-04-17 | 2013-04-02 | Biometricore, Inc. | Computationally efficient feature extraction and matching iris recognition |
TWI417798B (zh) | 2008-11-21 | 2013-12-01 | Nat Taipei University Oftechnology | High - speed reverse transfer neural network system with elastic structure and learning function |
JP2010266975A (ja) * | 2009-05-13 | 2010-11-25 | Sony Corp | 学習装置、学習方法、データ生成装置、データ生成方法、及び、プログラム |
JP2011059815A (ja) * | 2009-09-07 | 2011-03-24 | Sony Corp | 情報処理装置、情報処理方法、及び、プログラム |
TWI417797B (zh) | 2010-02-04 | 2013-12-01 | Univ Nat Taipei Technology | A Parallel Learning Architecture and Its Method for Transferred Neural Network |
CN101782743A (zh) | 2010-02-11 | 2010-07-21 | 浙江大学 | 神经网络建模方法及系统 |
CA2799167A1 (en) | 2010-05-19 | 2011-11-24 | Douglas A. Palmer | Neural processing unit |
TW201145057A (en) | 2010-06-02 | 2011-12-16 | Chun-Chen Liu | MLPR: a multilayer perceptron-based model reduction algorithm for nonlinear circuits |
TWI467520B (zh) | 2010-11-10 | 2015-01-01 | Univ Nat Chiao Tung | 建構個人化神經刺激模型之系統及方法 |
JP5723582B2 (ja) * | 2010-11-30 | 2015-05-27 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | スライディング・モード制御方式において、制御器を構成する方法、プログラム及びシステム |
US9367797B2 (en) * | 2012-02-08 | 2016-06-14 | Jason Frank Hunzinger | Methods and apparatus for spiking neural computation |
US9477926B2 (en) | 2012-11-20 | 2016-10-25 | Qualcomm Incorporated | Piecewise linear neuron modeling |
-
2013
- 2013-11-04 US US14/070,679 patent/US9477926B2/en not_active Expired - Fee Related
- 2013-11-04 US US14/070,652 patent/US9292790B2/en not_active Expired - Fee Related
- 2013-11-04 US US14/070,659 patent/US20140143191A1/en not_active Abandoned
- 2013-11-05 JP JP2015542691A patent/JP6117369B2/ja active Active
- 2013-11-05 JP JP2015542689A patent/JP5976948B2/ja not_active Expired - Fee Related
- 2013-11-05 EP EP13795358.4A patent/EP2923309A1/en not_active Withdrawn
- 2013-11-05 WO PCT/US2013/068537 patent/WO2014081562A1/en active Application Filing
- 2013-11-05 KR KR1020157014926A patent/KR20150087266A/ko not_active Application Discontinuation
- 2013-11-05 CN CN201380058966.4A patent/CN104798088B/zh active Active
- 2013-11-05 EP EP13795357.6A patent/EP2923308A1/en not_active Ceased
- 2013-11-05 WO PCT/US2013/068528 patent/WO2014081560A1/en active Application Filing
- 2013-11-05 JP JP2015542690A patent/JP2016501398A/ja active Pending
- 2013-11-05 CN CN201380058976.8A patent/CN104798089B/zh not_active Expired - Fee Related
- 2013-11-05 WO PCT/US2013/068531 patent/WO2014081561A1/en active Application Filing
- 2013-11-05 CN CN201380059005.5A patent/CN104781836B/zh not_active Expired - Fee Related
- 2013-11-05 EP EP13795359.2A patent/EP2923310A1/en not_active Ceased
- 2013-11-06 TW TW102140365A patent/TWI537843B/zh not_active IP Right Cessation
- 2013-11-06 TW TW102140364A patent/TWI541736B/zh not_active IP Right Cessation
- 2013-11-06 TW TW102140366A patent/TWI584207B/zh not_active IP Right Cessation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0784974A (ja) * | 1993-09-16 | 1995-03-31 | Nissan Motor Co Ltd | リカレント・ニューラルネットワーク |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102339485B1 (ko) * | 2020-06-30 | 2021-12-15 | 강원대학교산학협력단 | 인공신경망을 이용한 아크신호 검출방법 |
KR20230082525A (ko) | 2021-12-01 | 2023-06-08 | 주식회사 딥엑스 | 프로그래밍 가능 활성화 함수 생성 방법 및 이를 이용하는 장치 |
KR102553119B1 (ko) * | 2021-12-01 | 2023-07-07 | 주식회사 딥엑스 | 프로그래밍 가능 활성화 함수 생성 방법 및 이를 이용하는 장치 |
US11836604B2 (en) | 2021-12-01 | 2023-12-05 | Deepx Co., Ltd. | Method for generating programmable activation function and apparatus using the same |
Also Published As
Publication number | Publication date |
---|---|
CN104798088B (zh) | 2018-02-23 |
US9292790B2 (en) | 2016-03-22 |
CN104781836A (zh) | 2015-07-15 |
CN104781836B (zh) | 2018-05-08 |
TWI537843B (zh) | 2016-06-11 |
JP2016501398A (ja) | 2016-01-18 |
CN104798089A (zh) | 2015-07-22 |
TWI584207B (zh) | 2017-05-21 |
JP5976948B2 (ja) | 2016-08-24 |
WO2014081561A1 (en) | 2014-05-30 |
JP6117369B2 (ja) | 2017-04-19 |
EP2923308A1 (en) | 2015-09-30 |
US20140143191A1 (en) | 2014-05-22 |
EP2923310A1 (en) | 2015-09-30 |
TW201421383A (zh) | 2014-06-01 |
WO2014081562A1 (en) | 2014-05-30 |
KR20150087266A (ko) | 2015-07-29 |
TW201421382A (zh) | 2014-06-01 |
US20140143194A1 (en) | 2014-05-22 |
CN104798089B (zh) | 2018-01-16 |
EP2923309A1 (en) | 2015-09-30 |
US9477926B2 (en) | 2016-10-25 |
JP2016501399A (ja) | 2016-01-18 |
TW201421381A (zh) | 2014-06-01 |
TWI541736B (zh) | 2016-07-11 |
WO2014081560A1 (en) | 2014-05-30 |
US20140143190A1 (en) | 2014-05-22 |
CN104798088A (zh) | 2015-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6117369B2 (ja) | 区分的線形ニューロンモデル化 | |
US9542643B2 (en) | Efficient hardware implementation of spiking networks | |
US9330355B2 (en) | Computed synapses for neuromorphic systems | |
JP6092477B2 (ja) | ニューラルダイナミクスを修正するための自動化された方法 | |
US9600762B2 (en) | Defining dynamics of multiple neurons | |
US20140310216A1 (en) | Method for generating compact representations of spike timing-dependent plasticity curves | |
US20150112909A1 (en) | Congestion avoidance in networks of spiking neurons | |
US9542645B2 (en) | Plastic synapse management | |
CA2926034A1 (en) | Dynamically assigning and examining synaptic delay | |
US9342782B2 (en) | Stochastic delay plasticity | |
WO2015088689A1 (en) | Effecting modulation by global scalar values in a spiking neural network | |
US20150242742A1 (en) | Imbalanced cross-inhibitory mechanism for spatial target selection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160419 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160419 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160419 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160720 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5976948 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |