JP2012123797A - 統合発火型電子ニューロン、方法およびプログラム - Google Patents

Abstract

【課題】 統合発火型電子ニューロンを提供する。
【解決手段】 外部スパイク信号の受信に応じて、外部スパイク信号に基づいて電子ニューロンのデジタル膜電位が更新される。膜電位は漏れ率に基づいて減衰される。膜電位がしきい値を超えたことに応じて、スパイク信号が生成される。
【選択図】 図５

Description

本発明は、米国防総省国防高等研究計画局（ＤＡＲＰＡ）によって授与された契約第ＨＲ００１１−０９−Ｃ−０００２号に基づく政府支援により行われたものである。米国政府は本発明において一定の権利を有する。

本発明は、一般に、ニューロン・シナプス型システムに関し、より具体的には、スパイクタイミング依存可塑性に基づくニューロン・シナプス型システムに関する。

生物システムは、感覚入力によって提供された情報に秩序を与える。この情報は、典型的に、特有の空間的および時間的構造を備えた局部的イベントを含む時空パターンの形で提供される。これらのイベントは多種多様な空間時間スケールで発生するが、脳などの生物システムは、それらを統合し複数個の関連情報を抽出することができる。このような生物システムは、雑音のある時空入力から信号を急速に抽出することができる。

生物システムでは、ニューロンの軸索と他のニューロンの樹状突起との間の接触点はシナプスと呼ばれる。そのシナプスに関する２つのニューロンはそれぞれ、前シナプスおよび後シナプスと呼ばれる。ニューロンは、シナプスを介して受信した十分な入力によって活動化されると、そのニューロンが前シナプスであるシナプスに対して送達される「スパイク」を放出する。ニューロンは「興奮性」または「抑制性」のいずれかにすることができる。シナプス・コンダクタンスは、シナプスが前シナプスのスパイクによって活動化されたときにシナプスがその後シナプス・ターゲットに及ぼす影響の量を示す尺度である。シナプス・コンダクタンスは、スパイクタイミング依存可塑性（spike-timing dependent plasticity、ＳＴＤＰ）により、前シナプス・ニューロンと後シナプス・ニューロンの相対スパイク時間の関数として時間とともに変化することができる。ＳＴＤＰ規則では、その前シナプス・ニューロンが発火した後でその後シナプス・ニューロンが発火する場合にシナプスのコンダクタンスが増加し、２回の発火（fire）の順序が逆になった場合にシナプスのコンダクタンスが減少する。我々の個々の経験は、脳全体にわたる何兆ものシナプスのコンダクタンスとして保管されている。

人工ニューラル・ネットワークとも呼ばれるニューロン・シナプス型システムは、電子システムが本質的に生物学的脳と類似した方法で機能できるようにする計算システムである。ニューロン・シナプス型システムは、生物学的脳のニューロンと機能的にほぼ同等である処理要素間の接続を作成する。ニューロン・シナプス型システムは、生物ニューロンを手本にした様々な電子回路を含むことができる。

K.Likarev, "Hybrid CMOS/Nanoelectronic Circuits: Opportunities andChallenges", J. Nanoelectronics and Optoelectronics, 2008,Vol.3, pp.203-230, 2008年発行

本発明の諸実施形態は、統合発火型電子ニューロンを提供する。

一実施形態では、外部スパイク信号を受信したことに応じて、外部スパイク信号に基づいて、ニューロン膜電位を表すデジタル・カウンタが更新される。膜電位は漏れ率に基づいて減衰される。膜電位がしきい値を超えしたことに応じて、スパイク信号が生成される。膜電位は生物ニューロン内の膜電位（電圧）に対応する。

他の実施形態では、混合モードのデジタル・アナログ電子ニューロンが提供され、外部興奮性スパイク信号を受信したことに応じて、変更する必要があるカウンタ内のビットのみが変更されるようなビット単位の操作を使用して増加分だけデジタル膜電位が増分される。さらに、外部抑制性スパイク信号を受信したことに応じて、変更する必要があるカウンタ内のビットのみが変更されるようなビット単位の操作を使用して減少分だけ膜電位が減分される。さらに、アナログ抵抗−容量モデル（analog resistor-capacitor model）を使用して時定数に基づいて膜電位が減衰される。

一実施形態では、１つの時間ステップで受信した興奮性スパイク信号の数にスケーリング・パラメータを掛けたものに等しい増加分だけ膜電位を増加する。一例では、スケーリング・パラメータは２の倍数に制限され、受信した興奮性スパイクの数に倍率でスケーリングする（倍率を掛ける）ことがビットシフト操作によって行われるようになっている。

一実施形態では、１つの時間ステップで受信した抑制性スパイクの数にスケーリング・パラメータを掛けたものに等しい減少分だけ膜電位を減少させる。スケーリング・パラメータは２の倍数に制限され、受信した抑制性スパイクの数に倍率を掛けることがビットシフト操作によって行われるようになっている。

他の実施形態では、イベント・ドリブン電子ニューロンが提供され、興奮性イベント・タイプが発生すると、デジタル膜電位は興奮性シナプス強度増加分だけ増分される。抑制性イベント・タイプが発生すると、デジタル膜電位は抑制性シナプス強度減少分だけ減分される。減衰イベント・タイプが発生すると、デジタル膜電位は漏れ強度減少分だけ減分される。

本発明の上記その他の特徴、態様、および利点は、以下の説明、特許請求の範囲、および添付図面に関連して十分理解されたものになるであろう。

本発明の一実施形態による、統合発火型電子ニューロンを相互接続するクロスバー・アレイを有するニューロン・シナプス型システムの図である。 本発明の一実施形態による、線形漏れ（Linear-Leak）統合発火型電子ニューロンの応答グラフ例である。 本発明の一実施形態による、不応期（Refractory Period）付き凸状減衰（Convex-Decay）統合発火型電子ニューロンの応答グラフ例である。 本発明の一実施形態による、不応期およびコンダクタンスベースの抑制（Conductance-Based Inhibition）付き凸状減衰統合発火型電子ニューロンの応答グラフ例である。 本発明の一実施形態による、線形漏れ統合発火型（ＬＬ−ＩＦ）電子ニューロンのブロック図である。 本発明の一実施形態による、不応期付き凸状減衰近似統合発火型（ＣＤ−ＩＦ ｗ／ＲＰ）電子ニューロンのブロック図である。 本発明の一実施形態による、不応期およびコンダクタンスベースの抑制（ＣＤ−ＩＦ ｗ／ＲＰ＆ＣＢ−Ｉ）電子ニューロンのブロック図である。 本発明の一実施形態による、不応期およびコンダクタンスベースのシナプス（ＣＤ−ＩＦ ｗ／ＲＰ＆ＣＢ−Ｓ）電子ニューロンのブロック図である。 本発明の一実施形態による、図４と同じ刺激列（stimulation train）に対する抑制性コンダクタンスの値のグラフ例である。 本発明の一実施形態による、不応期およびコンダクタンスベースのシナプス付き凸状減衰統合発火型電子ニューロンの応答グラフ例である。 本発明の一実施形態による、図１０と同じ刺激列に対する抑制性コンダクタンスの値のグラフ例である。 本発明の一実施形態による、図１０と同じ刺激列に対する興奮性コンダクタンスの値のグラフ例である。 本発明の一実施形態による、混合モード・デジタル・アナログ統合発火型電子ニューロンの図である。 本発明の一実施形態による、図１３の電子ニューロン用のデジタル・カウンタの図である。 本発明の一実施形態による、図１３の電子ニューロン内で減衰イベントを発生するためのメカニズムを示す図である。 本発明の一実施形態による、図１５のメカニズムに関する充電率グラフである。 本発明の一実施形態による、図１５のメカニズムに関する放電率グラフである。 本発明の一実施形態による、統合発火型低電力イベント・ドリブン電子ニューロンおよびクロスバー・アレイの図である。 本発明の一実施形態による、図１８の統合発火型低電力イベント・ドリブン電子ニューロンの図である。 本発明の一実施形態を実装するために有用な情報処理システムの高レベル・ブロック図である。

本発明の諸実施形態は、統合発火型ニューロンを含むニューロン・シナプス型システムを提供する。統合発火型電子ニューロン（integrate and fire electronic neuron）は、生物ニューロンで検出された統合およびスパイク特性をシミュレートする計算効率の良いメカニズムである。このような電子ニューロンは、シナプス入力を膜電位電圧変数に統合し、膜電位電圧がしきい値を超えた場合にスパイクおよび電圧リセットを発生することによって動作する。本発明の諸実施形態は、正確な１対１のソフトウェア・ハードウェア対応を可能にし、カスタム・デジタル回路内のソフトウェア・シミュレーションおよびハードウェア・シミュレーションで実装可能な漏出型の統合発火型ニューロン・モデルをさらに提供する。

次に図１を参照すると、本発明の一実施形態による、統合発火型電子ニューロンを相互接続するクロスバー・アレイを有するニューロン・シナプス型システム１０の図が示されている。一例では、クロスバー・アレイは、約０．１ｎｍ〜１０μｍの範囲内のピッチを有することができる超高密度クロスバー・アレイを含むことができる。ニューロン・シナプス型システム１０は、本発明の一実施形態による、複数の統合発火型ニューロン１４、１６、１８、および２０を有するクロスバー・アレイ１２を含む。これらのニューロンは本明細書では「電子ニューロン」とも呼ばれる。ニューロン１４および１６は軸索ニューロンであり、ニューロン１８および２０は樹状突起ニューロンである。

軸索ニューロン１４および１６は、出力２２および２４が導電性軸索パス／ワイヤ（軸索）２６および２８にそれぞれ接続された状態で示されている。樹状突起ニューロン１８および２０は、入力３０および３２が導電性樹状突起パス／ワイヤ（樹状突起）３４および３６にそれぞれ接続された状態で示されている。軸索ニューロン１４および１６は、入力も含み、樹状突起伝いで信号を受信するが、これらの入力および樹状突起は図を単純にするために図示されていない。したがって、軸索ニューロン１４および１６は、樹状突起接続伝いで入力を受信するときに、樹状突起ニューロンとして機能することになる。同様に、樹状突起ニューロン１８および２０は、その軸索接続伝いで信号を送出するときに、軸索ニューロンとして機能することになる。ニューロン１４、１６、１８、および２０のいずれかが発火したときに、そのニューロンはその軸索接続および樹状突起接続にパルスを送出することになる。本明細書で使用する「ときに（when）」という用語は、ニューロンが発火してから即座にまたはニューロンが発火してからある程度の期間後に、信号が送信されることを意味することができる。

軸索２６、２８と樹状突起３４、３６との間の各接続はシナプス・デバイス（synapse device）によって行われ、そのシナプス・デバイスは一実施形態では可変状態抵抗（variable state resistor）３８、４０、４２、および４４を含む。可変状態抵抗が位置する接合部は、本明細書では「クロスポイント接合部（cross-point junction）」と呼ぶことができる。「可変状態抵抗」という用語は、電気パルス（電圧または電流のいずれか一方）の印加によってデバイスの電気コンダクタンス特性が変化するクラスのデバイスを指す。クロスバー・アレイ・ニューロン・シナプス型システムならびにこのようなクロスバー・アレイで使用される可変状態抵抗について全般的に考察するために、２００８年発行のJ. Nanoelectronics andOptoelectronics, 2008の第３巻、２０３〜２３０ページに掲載されたK.Likharevによる「Hybrid CMOS/Nanoelectronic Circuits: Opportunities andChallenges」を参照する。本発明の一実施形態では、可変状態抵抗は相変化メモリ（ＰＣＭ）を含むことができる。ＰＣＭデバイスの他に、本発明の諸実施形態で使用可能なその他の可変状態抵抗デバイスとしては、上記で参照したK.Likharevによる論文により詳細に記載されているように、金属酸化物、硫化物、酸化シリコンおよびアモルファスシリコン、磁気トンネル接合、浮遊ゲートＦＥＴトランジスタ、および有機薄膜層デバイスを使用して作られたデバイスを含む。また、可変状態抵抗は、スタティック・ランダム・アクセス・メモリ・デバイスを使用して構築することもできる。また、可変状態抵抗にはアクセス・デバイス３９も付加され、このアクセス・デバイスは、ＰＮダイオード、ダイオードとして配線されたＦＥＴ、または非線形の電圧電流応答を有するその他の何らかのエレメントを含むことができる。

一般に、本発明の一実施形態により、軸索ニューロン１４および１６は、樹状突起入力接続（図示せず）から受信する入力がしきい値を超えたときに、「発火する」（パルスを送信または放出する）ことになる。軸索ニューロン１４および１６が発火すると、それらは、時間の経過につれて（たとえば、約５０ｍｓｅｃ）減衰するＡ−ＳＴＤＰ変数を維持する。Ａ−ＳＴＤＰ変数は、たとえば、指数関数、一次関数、多項式関数、または二次関数などの関数に応じて、時間の関数として減衰する。Ａ−ＳＴＤＰ変数はサンプリングすることができる。本発明の他の実施形態では、Ａ−ＳＴＤＰ変数は、時間の経過につれて減少する代わりに増加することもできる。

Ａ−ＳＴＤＰ変数は、関連のニューロンの最後の発火以降の時間をエンコードすることにより、軸索ＳＴＤＰを達成するために使用される。軸索ＳＴＤＰは、典型的に、このコンテキストでシナプス・コンダクタンスを増加することとして定義される「増強（potentiation）」を制御するために使用されるが、このコンテキストでシナプス・コンダクタンスを減少させることを指す「下降（depression）」を制御するために使用することもできる。樹状突起ニューロン１８、２０が発火すると、それらは、時間の経過につれて（たとえば、約５０ｍｓｅｃ）減衰するＤ−ＳＴＤＰ変数を維持する。Ｄ−ＳＴＤＰ変数は、たとえば、指数関数、一次関数、多項式関数、または二次関数などの関数に応じて、時間の関数として減衰する。Ｄ−ＳＴＤＰ変数はサンプリングすることができる。本発明の他の実施形態では、この変数は、時間の経過につれて減少する代わりに増加することもできる。

Ｄ−ＳＴＤＰ変数は、以下により詳細に論ずるように、関連のニューロンの最後の発火以降の時間をエンコードすることにより、樹状突起ＳＴＤＰを達成するために使用することができる。樹状突起ＳＴＤＰは、典型的に、このコンテキストでシナプス・コンダクタンスを減少させることとして定義される「下降」を制御するために使用されるが、このコンテキストでシナプス・コンダクタンスを増加することを指す「増強」を制御するために使用することもできる。

一実施形態では、本発明は、デジタル回路を使用して実装される統合発火型電子ニューロンを提供する。第１の実装例は、線形漏れ回路と線形ポイント電流（linear point-current）タイプのシナプス・デバイスを使用する、統合発火型ニューロンを含む。第２の実装例は、線形漏れ回路を凸状電圧減衰回路で置き換えることを含み、さらに不応期を使用する。第３の実装例は、コンダクタンスベースの抑制を追加することを含む。第４の実装例は、二重指数コンダクタンスベースのシナプスを実装する。これらの実装例については以下により詳細に説明する。

線形漏れ統合発火型（ＬＬ−ＩＦ）
本発明の第１の実装例は、図５のブロック図例によって示されているように、線形漏れ統合発火型（ＬＬ−ＩＦ）電子ニューロン８０を含む。ＬＬ−ＩＦニューロン８０によって受信された各興奮性スパイクについて、入力積分器モジュール８１は一定の量ｓ₊だけニューロンの膜電位Ｖを増加し、ニューロンが受信する各抑制性スパイクについて、入力積分器モジュール８１は一定の量ｓ_-だけＶを減少させる。ニューロン膜漏れは、漏出器（leaker）モジュール８２を使用して各時間ステップ内でλだけＶを線形に減少させることによってシミュレートされる。１つのデジタル・クロック信号は複数の時間ステップを提供する。比較器モジュール８３により、ニューロン８０への入力がしきい値θより上にＶを増加する場合、スパイクが生成され、Ｖがリセット値Ｖ_resetに設定される。

ニューロン・パラメータは非負整数であり、ｎ₊は１つの時間ステップ内で受信した興奮性スパイクの数であり（整数［０，６３］）、ｎ_-は１つの時間ステップ内で受信した抑制性スパイクの数であり（整数［０，６３］）、ｓ₊は∈｛０，１，２，４，８，１６，３２｝である興奮強度であり、ｓ_-は∈｛０，１，２，４，８，１６，３２｝である抑制強度であり、効率のために、ｓ₊およびｓ_-は２の累乗になるように制限されており、θはＶと同じ分解能を有する整数であるスパイクしきい値であり、Ｖ_resetはリセット電圧であり（単純にするため、Ｖ_reset＝０と想定されている）、λは漏れ率である（整数［０，６３］）。

ニューロン・ダイナミクスに関しては、Ｖはデジタル・カウンタによって維持される膜電圧（８ビットで表される非負整数）であり、Ｖは折り返さず、Ｖがすでにゼロである場合にＶ−１は依然としてゼロになる。Ｖに関する更新規則は、以下の式に応じてＶを更新することを含む。
Ｖ（ｔ）＝Ｖ（ｔ−１）−λ＋ｓ₊ｎ₊−ｓ_-ｎ_-
ここで、ｓ₊は＋ｓ₊ｎ₊がｎ₊のビットシフト加算になるような２の累乗である。さらに、ｓ_-は−ｓ_-ｎ_-がｎ_-のビットシフト減算になるような２の累乗である。

このニューロンに関するスパイク条件は以下のものを含む。
Ｖ（ｔ）＞θである場合、Ｖ（ｔ）＝Ｖ_resetを設定し、スパイクを放出する。

図２は、時間に関して、入力なし（０〜２００時間ステップ）、確率興奮性入力（２０１〜４００時間ステップ）、および確率興奮性抑制性入力（４０１〜６００時間ステップ）という条件に対するＬＬ−ＩＦ電子ニューロンのＶ変数の応答グラフ例５１を示している。各時間ステップ内の入力スパイクの数はガウス分布（μ＝１，δ＝１）から引き出され、負数はゼロに丸められている。各時間ステップの長さはデジタル・クロック信号によって決定される。１ｍｓｅｃの時間ステップは、生物ニューロンで検出されたものを近似する時間スケール上での挙動を生成する。使用されるパラメータ値は、ｓ₊＝２⁴、ｓ_-＝２³、θ＝２００、Ｖ_reset＝０、λ＝６である。

不応期付き凸状減衰統合発火型（ＣＤ−ＩＦ ｗ／ＲＰ）
本発明の第２の実装例は、図６のブロック図例によって示されているように、不応期付き凸状減衰近似統合発火型（ＣＤ−ＩＦ ｗ／ＲＰ）電子ニューロン８５を含む。ＣＤ−ＩＦ ｗ／ＲＰ電子ニューロン８５は不応期を有し、ニューロンが受信する各興奮性スパイクについて、入力積分器８６は一定の量ｓ₊だけ膜電位Ｖを増加し、ニューロンが受信する各抑制性スパイクについて、入力積分器８６は一定の量ｓ_-だけＶを減少させる。ニューロン膜漏れは、漏出器モジュール８７が各時間ステップ内で時定数τに応じてＶを減衰することによってシミュレートされる（したがって、静止膜電位が０であると想定する）。比較器モジュール８８により、ニューロンへの入力がしきい値θより上にＶを増加する場合、ニューロンはスパイクを生成し、ＶがＶ_resetに設定される。ニューロンがスパイクを生成すると、不応期発生器モジュール８９がρ時間ステップの間、ＶをＶ_resetに保持することによって不応期がシミュレートされる。

すべてのニューロン・パラメータは非負整数であり、ｎ₊は１つの時間ステップ内で受信した興奮性スパイクの数であり（整数［０，６３］）、ｎ_-は１つの時間ステップ内で受信した抑制性スパイクの数であり（整数［０，６３］）、ｓ₊は∈｛０，１，２，４，８，１６，３２，６４，１２８｝である興奮強度であり、ｓ_-は∈｛０，１，２，４，８，１６，３２，６４，１２８｝である抑制強度であり、効率のために、ｓ₊およびｓ_-は２の累乗になるように制限されており、θはスパイクしきい値（Ｖと同じ分解能を有する整数）であり、Ｖ_resetはリセット電圧であって、θより小さい任意の正整数にすることができ、τは∈｛１，２，４，８．．．２¹⁰｝である膜時定数であり、効率のために、τはＶの範囲内の２の累乗になるように制限されており、ρは不応期である（整数［０，６３］）。本明細書に示されているパラメータ範囲は例に過ぎない。当業者であれば、本発明の諸実施形態では複数のパラメータ範囲が可能であり有用であることを認識するであろう。

ニューロン・ダイナミクスに関しては、Ｖは膜電位カウンタ（１０ビットで表される非負整数）であり、Ｖは折り返さず、Ｖがすでにゼロである場合にＶ−１は依然としてゼロになる。ｒは不応期カウンタ（６ビットで表される正整数）であり、ｒは折り返さない。

更新規則は、以下のものを含む。
ｒ（ｔ）＞０である場合、ｒ（ｔ）＝ｒ（ｔ−１）−１であり、Ｖを更新せず、
さもなければ、

に応じてＶを更新する。
ここで、ｓ₊は＋ｓ₊ｎ₊がｎ₊のビットシフト加算になるような２の累乗である。さらに、ｓ_-は−ｓ_-ｎ_-がｎ_-のビットシフト減算になるような２の累乗である。さらに、τは−Ｖ（ｔ−１）／τがＶ（ｔ−１）のビットシフト減算になるような２の累乗である。

このニューロンに関するスパイク条件は以下のものを含む。
Ｖ（ｔ）＞θである場合、ｒ（ｔ）＝ρを設定し、スパイクを放出する。

図３は、入力なし（たとえば、０〜２００時間ステップ）、確率興奮性入力（たとえば、２０１〜４００時間ステップ）、および確率興奮性抑制性入力（たとえば、４０１〜６００時間ステップ）に対するＣＤ−ＩＦ ｗ／ＲＰ電子ニューロンの応答グラフ例５２を示している。各時間ステップ内の入力スパイクの数はガウス分布（μ＝１，δ＝１）から引き出され、負数はゼロに丸められている。使用されるパラメータ値は、ｓ₊＝２⁶、ｓ_-＝２⁵、θ＝７００、Ｖ_reset＝０、ρ＝８、およびτ＝１６である。

不応期およびコンダクタンスベースの抑制付き凸状減衰統合発火型（ＣＤ−ＩＦ ｗ／ＲＰ＆ＣＢ−Ｉ）
本発明の第３の実装例は、図７のブロック図例によって示されているように、不応期およびコンダクタンスベースの抑制付き凸状減衰近似統合発火型（ＣＤ−ＩＦ ｗ／ＲＰ＆ＣＢ−Ｉ）電子ニューロン９０を含む。ＣＤ−ＩＦ ｗ／ＲＰ＆ＣＢ−Ｉニューロン９０が受信する各興奮性スパイクについて、入力積分器モジュール９１は一定の量ｓ₊だけ膜電位Ｖを増加し、入力積分器モジュール９１によって受信された各抑制性スパイクについて、入力積分器モジュール９１は一定の量ｓ_-だけ抑制性チャネル・コンダクタンスｇを増加する。シナプス・コンダクタンス計算器モジュール９２は各時間ステップで抑制性チャネル・コンダクタンス減衰を提供し、率は時定数τ_gによって支配される。次に、以下のように膜電位Ｖを減少させることにより、各時間ステップで入力積分器モジュール９１によって抑制が膜電位に統合される。

ここで、ｇ_scaleはｇの倍率である（これは０という抑制性逆転電位を想定している）。膜漏れは、漏出器モジュール９３が各時間ステップ内で時定数τに応じてＶを減衰することによってシミュレートされる（したがって、静止膜電位が０であると想定する）。比較器モジュール９４Ａにより、ニューロンへの入力がしきい値θより上にＶを増加する場合、ニューロンはスパイクを生成し、ＶがＶ_resetに設定される。不応期発生器モジュール９４Ｂにより、ニューロンがスパイクを生成すると、ρ時間ステップの間、ＶをＶ_resetに保持することによって不応期がシミュレートされる。

すべてのパラメータは非負整数であり、ｎ₊は１つの時間ステップ内で受信した興奮性スパイクの数であり（整数［０，６３］）、ｎ_-は１つの時間ステップ内で受信した抑制性スパイクの数であり（整数［０，６３］）、ｓ₊は∈｛０，１，２，４，８，１６，３２，６４，１２８｝である興奮強度であり、ｓ_-は∈｛０，１，２，４，８，１６，３２，６４，１２８｝である抑制強度であり、効率のために、ｓ₊およびｓ_-は２の累乗になるように制限されており、θはスパイクしきい値（Ｖと同じ分解能を有する整数）であり、Ｖ_resetはリセット電圧であって、θより小さい任意の正整数にすることができ、τは∈｛１，２，４，８．．．２¹⁰｝である膜時定数であり、効率のために、τはＶの範囲内の２の累乗になるように制限されており、τ_gは∈｛１，２，４，８．．．２⁸｝である抑制性コンダクタンス時定数であり、効率のために、τ_gはｇの範囲内の２の累乗になるように制限されており、ρは不応期であり（整数［０，６３］）、ｇ_scaleはｇの区分倍率（divisive scaling factor）である（整数［１０，１６］）。本明細書に示されているパラメータ範囲は例に過ぎない。当業者であれば、本発明の諸実施形態では複数のパラメータ範囲が可能であり有用であることを認識するであろう。

ダイナミクスに関しては、Ｖは膜電圧カウンタ（１０ビットで表される非負整数）であり、Ｖは折り返さず、Ｖがすでにゼロである場合にＶ−１は依然としてゼロになる。ｒは不応期カウンタ（６ビットで表される正整数）であり、ｒは折り返さない。ｇは抑制性コンダクタンス（１０ビットで表される正整数）であり、ｇは折り返さない。

このニューロンに関する更新規則は、以下のものを含む。

ここで、τ_gは２の累乗であり、−ｇ（ｔ−１）／τ_gはｇ（ｔ−１）のビットシフト減算であり、ｓ_-は２の累乗であり、−ｓ_-ｎ_-はｎ_-のビットシフト減算である。

ｒ（ｔ）＞０である場合、ｒ（ｔ）＝ｒ（ｔ−１）−１であり、Ｖを更新せず、
さもなければ、

に応じてＶを更新する。
ここで、ｋ＝ｇ_scale−ｆｌｏｏｒ（ｌｏｇ₂（ｇ（ｔ）））であり、ｆｌｏｏｒ（ｌｏｇ₂（ｘ））はｘ内の最上位非ゼロ・ビットの位置であり、ｋは整数であり、（Ｖ（ｔ−１）／２^k）はＶ（ｔ−１）のビットシフト・バージョンである。さらに、ｓ₊は＋ｓ₊ｎ₊がｎ₊のビットシフト加算になるような２の累乗である。さらに、τは−Ｖ（ｔ−１）／τがＶ（ｔ−１）のビットシフト減算になるような２の累乗である。

このニューロンに関するスパイク条件は以下のものを含む。
Ｖ（ｔ）＞θである場合、ｒ（ｔ）＝ρを設定し、スパイクを放出する。

図４は、入力なし（０〜２００時間ステップ）、確率興奮性入力（２０１〜４００時間ステップ）、および確率興奮性抑制性入力（４０１〜６００時間ステップ）に対するＣＤ−ＩＦ ｗ／ＲＰ＆ＣＢ−Ｉ電子ニューロンの応答グラフ例５３を示している。各時間ステップ内の入力スパイクの数はガウス分布（μ＝１，δ＝１）から引き出され、負数はゼロに丸められている。使用されるパラメータ値は、ｓ₊＝２⁶、ｓ_-＝２⁵、θ＝７００、Ｖ_reset＝０、ρ＝８、およびτ_g＝８、ｇ_scale＝８である。図９は、図４と同じ刺激列に対する抑制性コンダクタンスｇの値のグラフ例５４を示している。

不応期およびコンダクタンスベースのシナプス付き凸状減衰統合発火型（ＣＤ−ＩＦ ｗ／ＲＰ＆ＣＢ−Ｓ）
本発明の第４の実装例は、図８のブロック図例によって示されているように、不応期およびコンダクタンスベースのシナプス付き凸状減衰近似統合発火型（ＣＤ−ＩＦ ｗ／ＲＰ＆ＣＢ−Ｓ）電子ニューロン９５を含む。シナプス・チャネル・コンダクタンスは指数コンダクタンス変数ｇ₁およびｇ₂の差としてモデル化され、これらの変数はニューロンへの各入力によって強度係数ｓだけ増加する。次に、シナプス・コンダクタンス計算器モジュール９６により、コンダクタンス変数は各時間ステップで減衰し、率は時定数τ_gによって支配される。各時間ステップにおいて、入力積分器モジュール９７が以下のようにシナプス電流を使用することにより、ニューロン膜電位Ｖが変更される。

ここで、ｇ_scaleはｇの倍率であり、Ｅ_revはチャネル逆転電位であって、抑制性チャネルの場合は０になり、興奮性チャネルの場合は２¹⁰＋２^EEshiftになるように想定されている。膜漏れは、漏出器モジュール９８が各時間ステップ内で時定数τに応じてＶを減衰することによってシミュレートされる（したがって、静止膜電位が０であると想定する）。比較器モジュール９９Ａにより、ニューロン９５への入力がしきい値θより上にＶを増加する場合、ニューロンはスパイクを生成し、ＶがＶ_resetに設定される。不応期発生器９９Ｂにより、ニューロンがスパイクを生成すると、ρ時間ステップの間、ＶをＶ_resetに保持することによって不応期がシミュレートされる。

すべてのパラメータは非負整数であり、ｎ₊は受信した興奮性スパイクの数であり（整数［０，６３］）、ｎ_-は受信した抑制性スパイクの数であり（整数［０，６３］）、ｓ₊は∈｛０，１，２，４，８，１６，３２，６４，１２８｝である興奮強度であり、ｓ_-は∈｛０，１，２，４，８，１６，３２，６４，１２８｝である抑制強度であり、効率のために、ｓ₊およびｓ_-は２の累乗になるように制限されており、θはスパイクしきい値（Ｖと同じ分解能を有する整数）であり、Ｖ_resetはリセット電圧であって、θより小さい任意の正整数にすることができ、τは∈｛１，２，４，８．．．２¹⁰｝である膜時定数であり、効率のために、τはＶの範囲内の２の累乗になるように制限されており、τ_gI1は∈｛１，２，４，８．．．２⁸｝である第１の抑制性コンダクタンス時定数であり、τ_gI2は∈｛１，２，４，８．．．２⁸｝である第２の抑制性コンダクタンス時定数であり、τ_gE1は∈｛１，２，４，８．．．２⁸｝である第１の興奮性コンダクタンス時定数であり、τ_gE2は∈｛１，２，４，８．．．２⁸｝である第２の興奮性コンダクタンス時定数であり、効率のために、すべてのτ_gはｇの範囲内の２の累乗になるように制限されており、ρは不応期であり（整数［０，６３］）、ｇ_Escaleは興奮性コンダクタンスに関する区分倍率であり（整数［１０，１６］）、ｇ_Iscaleは抑制性コンダクタンスに関する区分倍率であり（整数［１０，１６］）、Ｅ_EShiftはしきい値より大きい興奮性逆転電位に合わせて調整する（整数［１０，１３］）。本明細書に示されているパラメータ範囲は例に過ぎない。当業者であれば、本発明の諸実施形態では複数のパラメータ範囲が可能であり有用であることを認識するであろう。

ダイナミクスに関しては、Ｖは膜電圧（１０ビットで表される非負整数）であり、Ｖは折り返さず、Ｖがすでにゼロである場合にＶ−１は依然としてゼロになる。ｒは不応期カウンタ（６ビットで表される正整数）であり、ｒは折り返さない。ｇ_I1は抑制性指数変数１（１０ビットで表される正整数）である。ｇ_I2は抑制性指数変数２（１０ビットで表される正整数）である。ｇ_E1は興奮性指数変数１（１０ビットで表される正整数）である。ｇ_E2は興奮性指数変数２（１０ビットで表される正整数）である。すべてのｇ値は折り返さない。

このニューロンに関する更新規則は、以下のものを含む。

に応じてｇ_I1を更新する。

に応じてｇ_I2を更新する。

₊
に応じてｇ_E1を更新する。

₊
に応じてｇ_E2を更新する。
ここで、τ_gは２の累乗であり、−ｇ（ｔ−１）／τ_gはｇ（ｔ−１）のビットシフト減算であり、ｓ_-は２の累乗であり、−ｓ_-ｎ_-はｎ_-のビットシフト減算であり、ｓ₊は２の累乗であり、＋ｓ₊ｎ₊はｎ₊のビットシフト加算である。

ｒ（ｔ）＞０である場合、ｒ（ｔ）＝ｒ（ｔ−１）−１であり、Ｖを更新せず、
さもなければ、

に応じてＶを更新する。
ここで、ｋ_I＝ｇ_Iscale−ｆｌｏｏｒ（ｌｏｇ₂（ｇ_I1−ｇ_I2））であり、ｋ_E＝ｇ_Escale−ｆｌｏｏｒ（ｌｏｇ₂（ｇ_E1−ｇ_E2））であり、ｋは整数であり、ｘ／２^kはｘのビットシフト・バージョンであり、ｆｌｏｏｒ（ｌｏｇ₂（ｘ））はｘ内の最上位非ゼロ・ビットの位置であり、２¹⁰−ＶはＶのビット単位の補数であり、２¹⁰−Ｖ＋Ｅ_EShiftは２¹⁰−Ｖのビットシフト・バージョンである。さらに、τは−Ｖ（ｔ−１）／τがＶ（ｔ−１）のビットシフト減算になるような２の累乗である。

このニューロンに関するスパイク条件は以下のものを含む。
Ｖ（ｔ）＞θである場合、ｒ（ｔ）＝ρを設定し、スパイクを放出する。

図１０は、入力なし（０〜２００時間ステップ）、確率興奮性入力（２０１〜４００時間ステップ）、および確率興奮性抑制性入力（４０１〜６００時間ステップ）に対するＣＤ−ＩＦ ｗ／ＲＰ＆ＣＢ−Ｓ電子ニューロンの応答グラフ例５５を示している。各時間ステップ内の入力スパイクの数はガウス分布（μ＝１，δ＝１）から引き出され、負数はゼロに丸められている。使用されるパラメータ値は、ｓ₊＝２⁶、ｓ_-＝２⁵、θ＝７００、Ｖ_reset＝０、ρ＝８、τ＝１６、τ_gI1＝２、τ_gI2＝８、τ_gE1＝１、τ_gE2＝２，ｇ_Iscale＝１０、ｇ_Escale＝１２、Ｅ_EShift＝１２、ｇ_scale＝８である。

図１１は、図１０と同じ刺激列に対する抑制性コンダクタンスｇの値のグラフ例を示している。図１２は、図１０と同じ刺激列に対する興奮性ｇの値のグラフ例を示している。

本明細書に記載されている本発明の実装例では、興奮強度パラメータおよび抑制強度パラメータｓ₊およびｓ_-は２の累乗に制限されている。この制限により、電子ニューロンは、単純なビットシフト操作を使用して、各時間ステップ内に受信した興奮性スパイクおよび抑制性スパイクの数ｎ₊およびｎ_-にそれぞれの強度パラメータを掛けることによって、入力スパイクを効率よく統合することができる。次に、加算または減算により、結果値を電圧またはシナプス・コンダクタンスのうち電子ニューロンに適した方に統合することができる。

シナプス強度パラメータを２の累乗に制限することによって提供されるものより精密な制御がそれらのパラメータに対して行われることが望ましい場合がある。このような制御は、シナプス強度パラメータを所与の範囲内の任意の正整数（たとえば、［０，１２７］）にして、さらに柔軟性を提供することによって達成することができる。次に、ｎ₊回だけ適切な変数にｓ₊を加えることによって興奮性スパイクを統合することができ、ｎ_-回だけ適切な変数からｓ_-を引くことによって抑制性スパイクを統合することができる。電子ニューロンが時間ステップあたり多くても１つの興奮性入力スパイクと１つの抑制性入力スパイクを受信する場合、この実装例は上記で詳述した実装例と同じ程度に効率が良いものである。

ＣＤ−ＩＦニューロン膜電位更新規則は以下の通りである。

これは、上記の第２および第３の実装例に関するものであり、伝統的な統合発火型（ＩＦ）ニューロン・モデルで使用される膜電圧の指数関数的減衰に対する凸状近似を提供し、したがって、以下の対応する膜更新規則に比較してより高度の生物学的リアリズムが得られる。
Ｖ（ｔ）＝Ｖ（ｔ−１）−λ＋ｓ₊ｎ₊−ｓ_-ｎ_-
これは、本発明の第１の実施形態に関するものであり、時間の経過につれて膜電圧が一定の直線傾斜下降することを使用する。

以下のように混合膜更新規則を使用することもできる。

ここで、電圧依存区分漏れおよび電圧非依存線形漏れの項の両方を使用して、この混合膜更新規則はさらに同調可能性を提供する。

本発明の一実施形態により、混合膜更新規則を実装するニューロン・シナプス型システムが上記の本発明の第１、第２、および第３の実装例の挙動を複製する際のパラメータ値を選択することができる。

イベントベースのニューロン更新も使用することができる。本明細書に記載されている更新規則はデジタル・クロック駆動方式で電子ニューロンの更新を提供し、１つまたは複数の状態変数は各時間ステップで変化する。イベントが発生したときに状態変数のみが変化するように、イベントベースの方式でニューロンをシミュレートすることができる。これは、各ニューロンに関するカウンタＫを保持することによって達成することができ、このカウンタはイベントが発生するたびにゼロに設定され、各時間ステップで１だけ増分する。次に、このカウンタにより、イベントが発生するたびに状態変数プロセスが変化する。たとえば、本発明の第１の実装例に関するプロセスは以下のように変化する。
更新規則：
Ｖ＝Ｖ−Ｋλ＋ｓ₊ｎ₊−ｓ_-ｎ_-に応じてＶを更新する。
ｓ₊は２の累乗であるので、＋ｓ₊ｎ₊はｎ₊のビットシフト加算である。
ｓ_-は２の累乗であるので、−ｓ_-ｎ_-はｎ_-のビットシフト減算である。
スパイク条件：
Ｖ（ｔ）＞θである場合、
Ｖ（ｔ）＝Ｖ_resetを設定し、スパイクを放出する。

このため、本発明の諸実施形態は専用デジタル電子ニューロンを使用して生物学的脳のシミュレーションを容易にし、この電子ニューロンは製作中に発生する小規模なハードウェアの変動の影響をあまり受けない。

本発明の諸実施形態はさらに、完全に非同期で電力効率が良いニューロン・シナプス型ハードウェア実装により、混合モード・デジタル・アナログ統合発火型電子ニューロンを提供する。

図１３は、本発明による混合モード・デジタル・アナログ統合発火型電子ニューロン６０の実装例の図を示している。混合モード・ニューロンはその膜電位（状態）をデジタル状態カウンタ６２で維持する。このニューロンが興奮性ニューロンからのスパイクを含む外部信号を受信すると、状態カウンタ６２は小さい整数（典型的に１に設定される）だけ増分される。このニューロンが抑制性ニューロンからのスパイクを含む外部信号を受信すると、状態カウンタ６２は小さい整数（典型的に１に設定される）だけ減分される。変更する必要がある状態カウンタ６２内のビットのみが変更されるように、この増分および減分は電力効率が良いビット単位の方式で実行される。状態カウンタが比較器６３によって決定されたしきい値を超えた場合、このニューロンは発火し、パルス・モジュール６４を介してスパイクを放出する。

図１４では、状態カウンタ６２のＭＳＢ（最上位ビット）および下位ビット（ＭＳＢビット以外のものすべて）が識別されている。減衰イベントを発生するためのメカニズム６１が設けられている（図１３）。減衰イベントが発生したときに以下のものを実装することによって効率の良い状態カウンタ漏れを達成することができる。
状態カウンタのＭＳＢが１である場合、
状態カウンタのＭＳＢがゼロに設定される。
さもなければ
すべての下位ビットがゼロに設定される。
終了。

図１５を参照すると、第１の実施形態では、減衰イベントを発生するためのメカニズム６１は、数ミリ秒のＲＣ時定数を有するアナログ抵抗−容量（ＲＣ）回路を含む（たとえば、約５〜２０ｍｓｅｃの範囲内の値により、電子ニューロンは生物ニューロンで観察された挙動を再生することができるであろう）。電子ニューロン６０がスパイクを生成すると、容量Ｃは急速に放電される。

次に、容量Ｃは、図１６の例によって示されているように、ゆっくり充電する。容量Ｃがしきい値（たとえば、その完全充電の８６．５％）に到達すると、減衰イベントが発生し、以下の動作が回路６１内で実行される。
容量６１Ａはスイッチ６１Ｂを介して急速に放電され、電流源６１Ｄからスイッチ６１Ｃを介してもう一度充電を開始する。
状態カウンタ６２のＭＳＢが１である場合、
状態カウンタのＭＳＢがゼロに設定される。
さもなければ
すべての下位ビットがゼロに設定される。
終了。

第２の実施形態では、減衰イベントを発生するためのメカニズム６１は、数ミリ秒のＲＣ時定数を有するＲＣ回路（図１５の例によって示されているものなど）を含む（たとえば、約５〜２０ｍｓｅｃの範囲内の値により、電子ニューロンは生物ニューロンで観察された挙動を再生することができるであろう）。電子ニューロン６０がスパイクを生成すると、容量Ｃは急速に放電される。さらに、以下の動作が実行される。
ステップ１：容量Ｃは開始値からゆっくり充電する（図１６）。スパイク・イベントが発生したばかりである場合、開始値はゼロであり、そうではない場合、開始値は、容量Ｃがすでに備えている電荷である。容量Ｃが第１のしきい値（たとえば、その完全充電の８６．５％）に到達すると、減衰イベントが発生し、以下の動作が実行される。
状態カウンタ６２（図１３）のＭＳＢが１である場合、
状態カウンタ６２のＭＳＢがゼロに設定される。
さもなければ
状態カウンタ６２のすべての下位ビットがゼロに設定される。
終了。
ステップ２に移行する。
ステップ２：次に容量Ｃは、それがすでに備えている電荷から始めて、図１７に示されているようにゆっくり放電する。容量Ｃが第２のしきい値（たとえば、その完全充電の約１３．５％または１４．５％）に到達すると、減衰イベントが発生し、以下の動作が実行される。
状態カウンタ６２（図１３）のＭＳＢが１である場合、
状態カウンタ６２のＭＳＢがゼロに設定される。
さもなければ
状態カウンタ６２のすべての下位ビットがゼロに設定される。
終了。
ステップ１に移行する。ステップ１の充電はこの時点では空の容量からではなく、容量がすでに備えている電荷から始めることになる。

パーセンテージに関しては、好ましくは以下のようになる。
第１のしきい値＋第２のしきい値＝１００％

上記のステップ１とステップ２は互いに逆であり、ステップ１ではエネルギー（すなわち、電荷）が容量Ｃに供給され、ステップ２ではエネルギーが容量Ｃから抽出される。このため、正味のエネルギー損失は削減される。

状態カウンタ６２は、電子ニューロン６０が興奮性信号を受信したときに増分動作を続行し、電子ニューロン６０が抑制性信号を受信したときに減分動作を続行する。いつでも状態カウンタ６２がしきい値（たとえば、約２５５）に到達した場合、電子ニューロン６０は発火し、スパイク信号を放出する。電子ニューロン９０がスパイクを生成すると、容量Ｃは急速に放電される。

上記の例では、スパイク・イベントが発生すると、容量Ｃが放電される。エネルギー損失を回避するために、放電動作を除去することができる。これは、追加の異質性と、ニューロン発火におけるランダム性の発生源をもたらすものである。

代わって、抵抗とインダクタと容量とを含むＲＬＣ回路において、２つの容量を使用することができる。ニューロンは、両方の容量が放電状態にある状態から始める。最初は、第１の容量が電流源を介してしきい値に到達するまで第１の容量が充電され、その間に第２の容量はインダクタを介して電流源に放電する。第１の容量がしきい値に到達すると、２つの容量の役割が逆転する。次に、第２の容量が電流源を介してしきい値に到達するまで第２の容量が充電され、その間に第１の容量はインダクタを介して電流源に放電する。第２の容量がしきい値に到達すると、２つの容量の役割がもう一度逆転する。このように、サイクルが継続する。したがって、２つの容量を交互にすることにより、エネルギー損失が最小限になる。

本発明による混合モード電子ニューロンの諸実施形態は、いくつかのこのようなニューロン間の非同期動作を提供し、減衰容量に関するエネルギー消費を削減する際に効率的である（容量内のエネルギー損失は、スパイク・イベントが発生したときにのみ発生し、必要であれば、これさえも最小限にすることができる）。混合モード・ニューロンは、状態カウンタを操作する際に最小限のエネルギーを必要とする（状態カウンタに関するエネルギー損失は、新しい情報が到着したとき、または減衰イベントが発生したとき、またはスパイク・イベントが発生したときにのみ発生する）。ニューロン間には固有の異質性が存在する。ニューロンは、自然にバイナリ・シナプスとのインターフェースを取り、ニューロン同士を相互接続するためにクロスバー・アレイとの高速インターフェース（たとえば、１０ｎｓｅｃ未満）をサポートする（アナログ専用ニューロンは長時間（０．１ｍｓ）の電流の流れを必要とする）。混合モード・ニューロンは、蓄積（デジタル状態カウンタ）および減衰（アナログＲＣ回路）のプロセスを分離する。

低電力イベント・ドリブン（ＬＰＥＤ）電子ニューロン回路は、上記のＬＬ−ＩＦニューロンをハードウェアで実現したものである。ＬＰＥＤ電子ニューロンは、貴重な資源（たとえば、クロスバー・アレイへのアクセス）を解放するために迅速にイベントを処理する。イベントは比較的低速で到着するので（たとえば、各ニューロンは平均して１０，０００入力×１０Ｈｚ＝１０⁵イベント／秒で受信する）、本発明の一実施形態による純粋なイベント・ドリブン電子ニューロンは、低い動的電力消費により改善されたサービス時間（たとえば、イベントあたり数ナノ秒未満）を提供する。

図１８は、クロスバー・アレイ回路１２に接続された本発明の一実施形態によるＬＰＥＤ電子ニューロン７０の図を示している。図１９は、本発明の一実施形態による、図１８のＬＬ−ＩＦ ＬＰＥＤ電子ニューロン７０に関する回路のより詳細な図を示している。ニューロン・パラメータ（たとえば、８ビットの符号付きの値）としては、興奮性シナプス強度（Ｅ）、抑制性シナプス強度（Ｉ）、漏れ強度（Ｌ）、リセット値（Ｒ）、およびしきい値（Ｔ）を含む。

この実施形態では、ＬＰＥＤ電子ニューロン７０は２つの樹状突起チャネル（ＥｘｃおよびＩｎｈ）上でシナプス・イベントを受信し、これらのイベントは、クロスバー・アレイ、仮想化ネットワークを含む多数の発生源から到着するか、または他のニューロンから発生した軸索から直接、到着する可能性がある。イベントは相互排他的に（一度に１つずつ）到着し、各イベントは他のイベントを受け入れる前にＬＰＥＤ電子ニューロン７０によって完全に処理される。他の実施形態では、イベント到着は排他的になるように制限されないが、ＬＰＥＤ電子ニューロン７０は、一度に１つずつ選択して、その複数入力間でアービトレーションを行う必要がある。また、ＬＰＥＤ電子ニューロン７０は、個別チャネル上で同期イベントも受信する。その出力のために、ＬＰＥＤ電子ニューロン７０は軸索チャネル上でスパイク・イベントを送信する。

イベント・ドリブン・ニューロン・システムでは、イベントが到着する順序はアービトレーションのために決定的ではない。非決定的イベント到着が存在する場合でも、１）すべての保留シナプス・イベントが時間ウィンドウｔ内で処理される（ニューロン膜電位Ｖ_tが一度にイベント１つずつについて更新される）シナプス更新フェーズと、２）スパイク・イベントが存在するかどうかを判断するためにＶ_tとしきい値が比較されるスパイク計算フェーズという２つのフェーズに計算を分けることにより、ＬＰＥＤニューロンをソフトウェア記述に正確に一致させることができる。スパイクの有無をチェックする前に、第１のフェーズでイベントが処理される順序がＶ_tの最終値を変更しないので（ニューロンが線形であるため）、ＬＰＥＤニューロンは決定的な挙動を示す。

ニューロン７０は、制御モジュール７５と、更新値モジュール７３と、リセット・モジュール７６と、加算器／ラッチ・モジュール７１と、比較モジュール７２とを含む。制御モジュール７５は、シナプス・イベント用のＣａおよびＣｂと、同期イベント用のＣｃと、Ｖ_tの符号（正または負）を決定するためのＣｘと、Ｖ_t＞Ｔ（しきい値）という条件を判断するためのＣｆという５つの入力チャネルを有する。ニューロン７０は、Ｖ_tを更新するための値を選択するためのＣｄと、Ｖ_tをリセットするためのＣｅと、スパイク・イベントを送信するためのＣｓという３つの出力チャネルを有する。更新値モジュール７３は、Ｖ_tに対して可能な更新の値を保管し、選択するための３つの値（８ビットの符号付きの数値）、すなわち、Ｅ、Ｉ、およびＬを有する。この値は、Ｃｄによって制御モジュール７５から選択され、加算器／ラッチ・モジュール７１に送信される。加算器／ラッチ・モジュール７１は、Ａと値ＢとしてＶ_tについて１１ビットの符号付き加算を実行し、Ｃ上に合計Ｖ_t+1を生成し、Ｄ上で加算の符号を送信する。この合計は加算器７１の出力にあるラッチに保管される。リセット・モジュール７６は、Ｖ_tをリセット値Ｒで置き換えるか、または制御モジュール７５からのＣｅ上で不変かつ条件付きのＶ_t+1を送信する。比較モジュール７２は、Ｖ_t+1をＴと比較し、その結果をＣｆ上で制御モジュール７５に送信する。

本明細書で使用する電子ニューロンという用語は、生物ニューロンをシミュレートするように構成されたアーキテクチャを表す。電子ニューロンは、生物学的脳のニューロンと機能的にほぼ同等の処理要素間の接続を作成する。このため、本発明の諸実施形態による電子ニューロンを含むニューロン・シナプス型システムは、生物ニューロンを手本にした様々な電子回路を含むことができる。さらに、本発明の諸実施形態による電子ニューロンを含むニューロン・シナプス型システムは、生物ニューロンを手本にした様々な処理要素（コンピュータ・シミュレーションを含む）を含むことができる。電子回路を含む電子ニューロンを使用して本発明の特定の例示的な諸実施形態について本明細書で説明してきたが、本発明は電子回路に限定されない。本発明の諸実施形態によるニューロン・シナプス型システムは、回路を含むニューロン・シナプス型アーキテクチャとして、さらにコンピュータ・シミュレーションとして実装することができる。実際に、本発明の諸実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはソフトウェア要素とハードウェア要素の両方を含む一実施形態の形を取ることができる。

本発明の諸実施形態は、コンピュータ、処理装置、または任意の命令実行システムによりあるいはそれに関連して使用するためのプログラム・コードを提供するコンピュータ使用可能媒体またはコンピュータ可読媒体からアクセス可能なコンピュータ・シミュレーションまたはプログラムの形を取ることができる。当業者であれば認識するように、本発明の諸態様は、システム、方法、またはコンピュータ・プログラムとして実施することができる。したがって、本発明の諸態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェア態様とハードウェア態様を結合した一実施形態の形を取ることができ、このような実施形態は一般に本明細書ではいずれも「回路」、「モジュール」、または「システム」と呼ぶことができる。さらに、本発明の諸態様は、コンピュータ可読プログラム・コードがそこに実施されている１つまたは複数のコンピュータ可読媒体に実施されたコンピュータ・プログラムの形を取ることもできる。

１つまたは複数のコンピュータ可読媒体の任意の組み合わせを使用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体にすることができる。コンピュータ可読記憶媒体は、たとえば、電子、磁気、光、電磁、赤外線、または半導体システム、装置、あるいはデバイス、もしくはこれらの任意の適切な組み合わせにすることができるが、これらに限定されないものである。コンピュータ可読記憶媒体のより具体的な例（非網羅的リスト）としては、１つまたは複数のワイヤを有する電気接続、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、光ファイバ、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、またはこれらの任意の適切な組み合わせを含むであろう。本書に関連して、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによりあるいはそれに関連して使用するためのプログラムを収容または保管可能な任意の有形媒体にすることができる。

コンピュータ可読信号媒体は、たとえば、ベースバンド内にまたは搬送波の一部として、コンピュータ可読プログラム・コードがそこに実施されている伝搬データ信号を含むことができる。このような伝搬信号は、電磁、光、またはこれらの任意の適切な組み合わせを含むがこれらに限定されない様々な形のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによりあるいはそれに関連して使用するためのプログラムを伝達、伝搬、または移送可能な任意のコンピュータ可読媒体にすることができる。

コンピュータ可読媒体上に実施されたプログラム・コードは、無線、有線、光ファイバ・ケーブル、ＲＦなど、またはこれらの任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体を使用して伝送することができる。本発明の諸態様に関する動作を実行するためのコンピュータ・プログラム・コードは、Ｊａｖａ（Ｒ）、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語ならびに「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組み合わせで作成することができる。このプログラム・コードは、スタンドアロン・ソフトウェア・パッケージとして、完全にユーザのコンピュータ上で、一部分はユーザのコンピュータ上で、一部分はユーザのコンピュータ上でしかも一部分はリモート・コンピュータ上で、あるいは完全にリモート・コンピュータまたはサーバ上で実行することができる。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続される場合もあれば、（たとえば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して接続が行われる場合もある。

本発明の諸実施形態による方法、装置（システム）、およびコンピュータ・プログラムの流れ図あるいはブロック図またはその両方に関連して、本発明の諸態様について以下に説明する。流れ図あるいはブロック図またはその両方の各ブロックならびに流れ図あるいはブロック図またはその両方の複数ブロックの組み合わせは、コンピュータ・プログラム命令によって実装可能であることが理解されるであろう。これらのコンピュータ・プログラム命令は、マシンを生産するために汎用コンピュータ、特殊目的コンピュータ、またはその他のプログラマブル・データ処理装置のプロセッサに提供することができ、それにより、コンピュータまたはその他のプログラマブル・データ処理装置のプロセッサを介して実行される命令は流れ図あるいはブロック図またはその両方の１つまたは複数のブロックに指定された機能／動作を実装するための手段を作成することになる。

また、これらのコンピュータ・プログラム命令は、コンピュータ、その他のプログラマブル・データ処理装置、またはその他のデバイスに対して特定の方法で機能するよう指示することができるコンピュータ可読媒体に保管することもでき、それにより、コンピュータ可読媒体に保管された命令は流れ図あるいはブロック図またはその両方の１つまたは複数のブロックに指定された機能／動作を実装する命令を含む生産物（article of manufacture）を生産することになる。

また、これらのコンピュータ・プログラム命令は、コンピュータ、その他のプログラマブル・データ処理装置、またはその他のデバイス上にロードして、コンピュータによって実装されるプロセスを生成するためにコンピュータ、その他のプログラマブル装置、またはその他のデバイス上で一連の動作ステップを実行させることができ、それにより、コンピュータまたはその他のプログラマブル装置上で実行される命令は流れ図あるいはブロック図またはその両方の１つまたは複数のブロックに指定された機能／動作を実装するためのプロセスを提供することになる。

図２０は、本発明の一実施形態を実装するために有用な情報処理システムを示す高レベル・ブロック図である。このコンピュータ・システムは、プロセッサ１０２などの１つまたは複数のプロセッサを含む。プロセッサ１０２は、通信インフラストラクチャ１０４（たとえば、通信バス、クロスバー、またはネットワーク）に接続されている。

コンピュータ・システムは、ディスプレイ装置１０８上に表示するために通信インフラストラクチャ１０４から（または図示していないフレーム・バッファから）グラフィックス、テキスト、およびその他のデータを転送するディスプレイ・インターフェース１０６を含むことができる。また、コンピュータ・システムは、好ましくはランダム・アクセス・メモリ（ＲＡＭ）であるメイン・メモリ１１０も含み、２次メモリ１１２を含むこともできる。２次メモリ１１２は、たとえば、ハード・ディスク・ドライブ１１４あるいは、たとえば、フレキシブル・ディスク・ドライブ、磁気テープ・ドライブ、または光ディスク・ドライブを表す取り外し可能ストレージ・ドライブ１１６またはその両方を含むことができる。取り外し可能ストレージ・ドライブ１１６は、当業者にとって周知の方法で、取り外し可能ストレージ・ユニット１１８からの読み取りあるいは取り外し可能ストレージ・ユニット１１８への書き込みまたはその両方を行う。取り外し可能ストレージ・ユニット１１８は、たとえば、フレキシブル・ディスク、コンパクト・ディスク、磁気テープ、または光ディスクなどを表し、取り外し可能ストレージ・ドライブ１１６によって読み書きされる。認識されるように、取り外し可能ストレージ・ユニット１１８は、コンピュータ・ソフトウェアあるいはデータまたはその両方がそこに保管されているコンピュータ可読媒体を含む。

代替諸実施形態では、２次メモリ１１２は、コンピュータ・プログラムまたはその他の命令をコンピュータ・システムにロードできるようにするためのその他の同様の手段を含むことができる。このような手段は、たとえば、取り外し可能ストレージ・ユニット１２０およびインターフェース１２２を含むことができる。このような手段の例としては、プログラム・パッケージおよびパッケージ・インターフェース（ビデオ・ゲーム・デバイス内に使用されているものなど）、取り外し可能メモリ・チップ（ＥＰＲＯＭまたはＰＲＯＭなど）および関連ソケット、ならびにその他の取り外し可能ストレージ・ユニット１２０と取り外し可能ストレージ・ユニット１２０からコンピュータ・システムにソフトウェアおよびデータを転送できるようにするインターフェース１２２を含むことができる。

また、コンピュータ・システムは通信インターフェース１２４を含むこともできる。通信インターフェース１２４は、コンピュータ・システムと外部装置との間でソフトウェアおよびデータを転送できるようにするものである。通信インターフェース１２４の例としては、モデム、ネットワーク・インターフェース（イーサネット・カードなど）、通信ポート、またはＰＣＭＣＩＡスロットおよびカードなどを含むことができる。通信インターフェース１２４を介して転送されるソフトウェアおよびデータは信号の形になっており、この信号は、たとえば、通信インターフェース１２４によって受信可能な電子信号、電磁信号、光信号、またはその他の信号にすることができる。これらの信号は通信パス（すなわち、チャネル）１２６を介して通信インターフェース１２４に提供される。この通信パス１２６は、信号を運搬するものであり、ワイヤまたはケーブル、光ファイバ、電話回線、携帯電話リンク、無線周波（ＲＦ）リンク、あるいはその他の通信チャネル、またはこれらの組み合わせを使用して実装することができる。

本明細書では、「コンピュータ・プログラム媒体」、「コンピュータ使用可能媒体」、および「コンピュータ可読媒体」という用語は、一般に、メイン・メモリ１１０および２次メモリ１１２、取り外し可能ストレージ・ドライブ１１６、ならびにハード・ディスク・ドライブ１１４に取り付けられたハード・ディスクなどの媒体を指すために使用されている。

コンピュータ・プログラム（コンピュータ制御ロジックとも呼ばれる）はメイン・メモリ１１０あるいは２次メモリ１１２またはその両方に保管される。また、コンピュータ・プログラムは通信インターフェース１２４を介して受信することもできる。このようなコンピュータ・プログラムが実行されると、コンピュータ・システムは本明細書で論じた本発明の特徴を実行することができる。特に、コンピュータ・プログラムが実行されると、プロセッサ１０２はコンピュータ・システムの特徴を実行することができる。したがって、このようなコンピュータ・プログラムは、コンピュータ・システムのコントローラを表す。

上記の図面内の流れ図およびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラムについて可能な実装例のアーキテクチャ、機能、および動作を例示している。この点に関しては、流れ図またはブロック図内の各ブロックは、指定の論理機能（複数も可）を実装するための１つまたは複数の実行可能命令を含む、コードのモジュール、セグメント、または一部分を表すことができる。また、いくつかの代替実装例では、ブロック内に示された機能は図面内に示された順序から外れて行われる可能性があることにも留意されたい。たとえば、連続して示されている２つのブロックは、関係する機能に応じて、実際にはほぼ同時に実行される場合もあれば、ときには逆の順序で実行される場合もある。また、ブロック図あるいは流れ図またはその両方の各ブロックならびにブロック図あるいは流れ図またはその両方の複数ブロックの組み合わせは、指定の機能または動作を実行する特殊目的ハードウェアベースのシステムによって、または特殊目的ハードウェアとコンピュータ命令の組み合わせによって、実装可能であることも留意されるであろう。

８０ 線形漏れ統合発火型（ＬＬ−ＩＦ）電子ニューロン
８１ 入力積分器
８２ 漏出器
８３ 比較器

Claims (26)

1. 統合発火型電子ニューロンの外部スパイク信号に応じて、前記外部スパイク信号に基づいてニューロン膜電位を表すデジタル膜電位を更新するステップと、
   漏れ率に基づいて前記デジタル膜電位を減衰するステップと、
   前記デジタル膜電位がしきい値を超えたことに応じて、スパイク信号を生成するステップと、
   を含む、方法。
2. 前記膜電位を更新するステップが、
   外部興奮性スパイク信号の受信に応じて、１の時間ステップで受信した興奮性スパイク信号の数に第１のスケーリング・パラメータを掛けたものに等しい増加分だけ前記膜電位を増加するステップと、
   外部抑制性スパイク信号の受信に応じて、１の時間ステップで受信した抑制性スパイク信号の数に第２のスケーリング・パラメータを掛けたものに等しい減少分だけ前記膜電位を減少させるステップと、
   を含む、請求項１記載の方法。
3. 前記第１のスケーリング・パラメータが２の倍数であり、前記受信した興奮性スパイクの数に前記倍率を掛けることがデジタル・ビットシフト操作によって行われる、請求項２記載の方法。
4. 前記第２のスケーリング・パラメータが２の倍数であり、前記受信した抑制性スパイクの数に前記倍率を掛けることがデジタル・ビットシフト操作によって行われる、請求項２記載の方法。
5. 前記膜電位を減衰するステップが、前記膜電位の現在値を時定数で割ったものに等しい漏れ率に基づいて前記膜電位を減衰するステップを含む、請求項４記載の方法。
6. 前記時定数が２の倍数であり、前記膜電位を前記時定数値で割ることがデジタル・ビットシフト操作によって行われる、請求項５記載の方法。
7. 前記膜電位を更新するステップが、抑制性スパイク信号の受信に応じて、抑制性チャネル・コンダクタンス値を増加するステップを含む、請求項４記載の方法。
8. 前記抑制性チャネル・コンダクタンス値の現在値を時定数で割ったものに等しい漏れ率に基づいて前記抑制性チャネル・コンダクタンス値を減衰するステップであって、前記時定数が２の倍数であり、前記抑制性チャネル・コンダクタンス値を前記時定数値で割ることがビットシフト操作によって行われる、ステップと、
   前記抑制性チャネル・コンダクタンス値に基づいて前記膜電位を減少させることにより前記膜電位に抑制を適用するステップと、
   をさらに含む、請求項７記載の方法。
9. 前記膜電位に抑制を適用するステップが、前記膜電位から前記膜電位値の現在値を除数値で割ったものを引くステップを含み、前記除数値が倍率から前記抑制性チャネル・コンダクタンス値内の最上位非ゼロ・ビットを引いたものに等しい冪指数だけ２を累乗したものを含む、請求項８記載の方法。
10. 各外部スパイク信号によって強度係数だけ増加する２つの抑制性チャネル・コンダクタンス変数の差として前記電子ニューロン内のシナプス・チャネル・コンダクタンスをモデル化するステップと、
    時定数によって支配される減衰率に基づいて前記コンダクタンス変数を減衰するステップであって、前記時定数が２の倍数であり、前記減衰がデジタル・ビットシフト操作によって行われる、ステップと、
    をさらに含む、請求項４記載の方法。
11. 前記膜電位から前記膜電位の現在値を除数値で割ったものを引くことにより前記膜電位に抑制を適用するステップであって、前記除数値が倍率から前記抑制性チャネル・コンダクタンス変数の前記差の値内の最上位非ゼロ・ビットを引いたものに等しい冪指数だけ２を累乗したものである、ステップと、
    合計を生成するためにビットシフト操作を使用して膜電位補数値を興奮性強度シフト係数に加えることにより前記膜電位に興奮を適用し、倍率から前記興奮性チャネル・コンダクタンス変数の前記差の値内の最上位非ゼロ・ビットを引いたものに等しい冪指数だけ２を累乗したものである除数で前記合計を割るステップと、
    をさらに含む、請求項１０記載の方法。
12. 統合発火型電子ニューロンの膜電位を表すデジタル・カウンタと、
    外部スパイク信号に基づいて前記膜電位を更新するために構成されたコントローラであって、
    外部興奮性スパイク信号の受信に応じて、変更する必要がある前記カウンタ内のビットのみが変更されるようなビット単位の操作を使用して増加分だけ前記膜電位を増分すること、
    外部抑制性スパイク信号の受信に応じて、変更する必要がある前記カウンタ内のビットのみが変更されるようなビット単位の操作を使用して減少分だけ前記膜電位を減分すること、
    によって前記膜電位を更新するためのコントローラと、
    アナログ抵抗−容量・モデルを使用して時定数に基づいて前記膜電位を減衰するために構成された減衰モジュールと、
    前記膜電位がしきい値を超えたことに応じて、スパイク信号を生成するために構成されたスパイク・モジュールと、
    を含む、統合発火型電子ニューロン。
13. 前記減衰モジュールが、アナログ抵抗−容量モデルを使用して時定数に基づいて減衰イベントを発生することにより前記膜電位を減衰するために構成される、請求項１２記載の統合発火型電子ニューロン。
14. 減衰イベントの発生に応じて、前記カウンタの最上位ビットが１である場合に前記カウンタの前記最上位ビットがゼロに設定され、そうではない場合に前記カウンタのすべての下位ビットがゼロに設定される、請求項１３記載の統合発火型電子ニューロン。
15. 前記ニューロンがスパイク信号を生成すると、前記容量が急速に放電され、ある充電率で充電され、前記充電がしきい値への到達に応じて、減衰イベントが発生される、請求項１４記載の統合発火型電子ニューロン。
16. 前記ニューロンがスパイク信号を生成すると、前記容量が急速に放電され、ある充電率で充電され、前記充電が第１のしきい値への到達に応じて、減衰イベントが発生され、
    前記容量がある率で放電され、前記充電が第２のしきい値への到達に応じて、減衰イベントが発生される、請求項１４記載の統合発火型電子ニューロン。
17. 前記抵抗−容量・モデルが２つの容量を含み、
    前記膜の前記電位が、
    前記ニューロンが第１のスパイク信号を生成したときに、第２の容量に切り替わりながら第１の容量を急速に放電することと、
    前記ニューロンが第２のスパイク信号を生成したときに、前記第１の容量に切り替わりながら前記第２の容量を急速に放電すること
    によって減衰される、請求項１３記載の統合発火型電子ニューロン。
18. イベント・ドリブン統合発火型電子ニューロン内で外部スパイク信号を受信したことに応じて、前記外部スパイク信号に基づいて電子ニューロンのデジタル膜電位を更新するステップと、
    漏れ率に基づいて前記膜電位を減衰するステップと、
    前記膜電位がしきい値を超えたことに応じて、スパイク信号を生成するステップを含み、
    前記膜電位を更新するステップが、興奮性イベント・タイプの発生に応じて、興奮性シナプス強度増加分だけ前記膜電位を増分するステップをさらに含む、方法。
19. 前記膜電位を更新するステップが、抑制性イベント・タイプの発生に応じて、抑制性シナプス強度減少分だけ前記膜電位を減分するステップをさらに含む、請求項１８記載の方法。
20. 前記膜電位を更新するステップが、減衰イベント・タイプの発生に応じて、漏れ強度減少分だけ前記膜電位を減分するステップをさらに含む、請求項１９記載の方法。
21. スパイク信号を生成するステップが、前記膜電位をリセット値に設定するステップをさらに含む、請求項２０記載の方法。
22. 減衰イベントの発生に応じて、前記膜電位がしきい値より上である場合に前記ニューロンがスパイク・イベントを送信し、シミュレーションとハードウェアとの対応を維持する、請求項１８記載の方法。
23. デジタル膜電位カウンタと、
    統合発火型電子ニューロン内の外部スパイク信号に応じて、前記外部スパイク信号に基づいてデジタル膜電位を更新するために構成されたコントローラ・モジュールであって、前記デジタル膜電位がニューロン膜電位を表す、コントローラ・モジュールと、
    漏れ率に基づいて前記デジタル膜電位を減衰するために構成された減衰モジュールと、
    前記デジタル膜電位がしきい値を超えたことに応じて、スパイク信号を生成するために構成されたスパイク・モジュールと、
    を含む、統合発火型電子ニューロン。
24. 前記コントローラ・モジュールが、
    外部興奮性スパイク信号の受信に応じて、１つの時間ステップで受信した興奮性スパイク信号の数に第１のスケーリング・パラメータを掛けたものに等しい増加分だけ前記膜電位を増加することと、
    外部抑制性スパイク信号の受信に応じて、１つの時間ステップで受信した抑制性スパイク信号の数に第２のスケーリング・パラメータを掛けたものに等しい減少分だけ前記膜電位を減少させること
    によって前記膜電位を更新するためにさらに構成される、請求項２３記載の統合発火型電子ニューロン。
25. 前記第１のスケーリング・パラメータが２の倍数であり、前記受信した興奮性スパイクの数に前記倍率を掛けることがデジタル・ビットシフト操作によって行われるようになっており、
    前記第２のスケーリング・パラメータが２の倍数であり、前記受信した抑制性スパイクの数に前記倍率を掛けることがデジタル・ビットシフト操作によって行われるようになっている、請求項２４記載の統合発火型電子ニューロン。
26. 請求項１〜１１、１８〜２２のいずれかに記載の方法の各ステップを実行させるプログラム・コードを含む、プログラム。

Images