JP2018529143A

JP2018529143A - イベントとイベントとの間の時間間隔による値の表現を使用するデータ処理デバイス

Info

Publication number: JP2018529143A
Application number: JP2018501204A
Authority: JP
Inventors: リャド・ベノスマン; グザヴィエ・ラゴルス
Original assignee: Sorbonne Universite
Current assignee: Sorbonne Universite
Priority date: 2015-07-13
Filing date: 2016-07-06
Publication date: 2018-10-04
Anticipated expiration: 2036-07-06
Also published as: FR3038997A1; EP3323090A1; CA2992036A1; KR20180077148A; JP6732880B2; WO2017009543A1; IL256813A; US20180357527A1; CN108369660A

Abstract

データを処理するためのデバイスは、一組の処理ノード(21、23、25、42、44、47、48、50)および前記ノード間の接続を備える。各接続(22、24、41、43、45、46、49、51)は、レシーバノードに、エミッタモードによって送出されるイベントを送信するように構成される。各ノードは、それが受信するイベントに応じてそれぞれの電位値を変化させ、電位値が事前定義された閾値に達したときにイベントを送出するように配置構成される。データ処理デバイスの少なくとも1つの入力値は、少なくとも1つのノードによって受信される2つのイベントの間の時間間隔によって表され、データ処理デバイスの少なくとも1つの出力値は、少なくとも1つのノードによって送出される2つのイベントの間の時間間隔によって表される。

Description

本発明は、データ処理技術に関係する。実施形態は、機械、特に、プログラム可能な機械で計算を実行する新しい様式を実装するものである。

大部分、現在のコンピュータは、フォンノイマンアーキテクチャに基づく。データおよびプログラム命令は、データに対してプログラムを実行するために算術論理演算装置によって順次アクセスされるメモリ内に記憶される。この順次アーキテクチャは、比較的不効率である、すなわち、メモリアクセスを何回も必要とするため、読み出しにも書き込みにも不効率である。

エネルギー効率の高い代替的手段を探索して行くうちに、脳の働きを模倣することを試みるクロックレス(clockless)処理アーキテクチャの提案に至った。DARPA SyNAPSEプログラムなどの、最近のプロジェクトは、シリコンベースのニューロモーフィックカード(neuromorphic card)技術の発展をもたらし、これは脳の形状、働き、およびアーキテクチャから発想を得た新しいタイプのコンピュータを製作することを可能にする。これらのクロックレスシステムの主要な利点は、そのエネルギー効率、および性能が使用されるニューロンおよびシナプスの量に比例することである。このような状況で、複数のプラットフォームが開発されており、特に、次のようなものである。
- IBM TrueNorth(Paul A. Merollaら、「A Million Spiking-Neuron Integrated Circuit with a Scalable Communication Network and Interface」、Science、第345巻、第6197号、668〜673頁、2014年8月)、
- Neurogrid(Ben V. Benjaminら、「Neurogrid: A Mixed-Analog-Digital Multichip System for Large-Scale Neural Simulations」、Proceedings of the IEEE、第102巻、第5号、699〜716頁、2014年5月)、
- SpiNNaker(Steve B. Furberら、「The SpiNNaker Project」、Proceedings of the IEEE、第102巻、第5号、652〜665頁、2014年5月)。

これらの機械は、生物学をシミュレートすることを実質的に目的としている。その主要な用途は、学習の分野にあり、すなわち、ニューラルネットワークまたはディープビリーフネットワークなどの深層学習アーキテクチャを実行するための分野である。これらは、コンピュータビジョン、音声認識、および言語処理の分野のような複数の分野において効率的である。

脳のいくつかの機能をシミュレートする、特に、視覚、認知、および運動課題を遂行することができるNEF(「ニューラルエンジニアリングフレームワーク」)などの他のオプションがある(Chris Eliasmithら、「A Large-Scale Model of the Functioning Brain」、Science、第338巻、第6111号、1202〜1205頁、2012年11月)。

これらの様々なアプローチでは、プログラム可能な機械で計算を実行するための一般的方法を提案していない。

Paul A. Merollaら、「A Million Spiking-Neuron Integrated Circuit with a Scalable Communication Network and Interface」、Science、第345巻、第6197号、668〜673頁、2014年8月 Ben V. Benjaminら、「Neurogrid: A Mixed-Analog-Digital Multichip System for Large-Scale Neural Simulations」、Proceedings of the IEEE、第102巻、第5号、699〜716頁、2014年5月 Steve B. Furberら、「The SpiNNaker Project」、Proceedings of the IEEE、第102巻、第5号、652〜665頁、2014年5月 Chris Eliasmithら、「A Large-Scale Model of the Functioning Brain」、Science、第338巻、第6111号、1202〜1205頁、2012年11月 John Backus、「Can Programming Be Liberated from the von Neumann Style?: A Functional Style and Its Algebra of Programs」、Communications of the ACM、第21巻、第8号、613〜641頁、1978年8月「Deterministic Nonperiodic Flow」、Journal of the Atmospheric Sciences、第20巻、第2号、130〜141頁、1963年3月

本発明の目的は、データの表現および計算の実行に対する新規性のあるアプローチを提案することである。このアプローチがエネルギー消費量が少なく、超並列処理を行える実装に適していることが望ましい。

一組の処理ノードおよびノード間の接続を含む、データ処理デバイスが提案されている。各接続は、その一組の処理ノードのうちからエミッタノードとレシーバノードとを有し、レシーバノードに、エミッタノードによって送出されるイベントを送信するように構成される。各ノードは、それが受信するイベントに応じてそれぞれの電位値を変化させ、電位値が事前定義された閾値に達したときにイベントを送出するように配置構成される。データ処理デバイスの少なくとも1つの入力値は、少なくとも1つのノードによって受信される2つのイベントの間の時間間隔によって表され、データ処理デバイスの少なくとも1つの出力値は、少なくとも1つのノードによって送出される2つのイベントの間の時間間隔によって表される。

処理ノードは、ニューロンタイプの計算ユニットを形成する。しかしながら、ここでは、脳の働きを模倣することは特には望まれていない。「ニューロン」という用語は、本開示では、言語上の便宜のために使用されているが、大脳皮質のニューロンの動作モードとの著しい類似性を必ずしも意味するわけではない。

処理デバイスにおけるイベントの特定の時間的構成、さらには結合(シナプス)の様々な特性を使用することによって、初等関数を計算するのに適している、計算フレームワーク全体を得ることができる。次いで、すべての既存の数学演算子が、線形または非線形であろうと、フォンノイマンアーキテクチャを必ずしも使用しなくても、実装され得る。その時点以降、デバイスが従来のコンピュータのように、ただし、メモリとの間で絶え間なく往復することを必要とせず、また浮動小数点精度に基づくことなく、機能することが可能である。これは、データの表現に対する基盤を形成する、シナプスのイベント、またはその時間的オフセットの時間的同時性である。

提案されている方法は、メモリと計算を区別しないニューロモーフィックアーキテクチャと一致している。各処理ノードの各接続は、情報を記憶し、同時に、この情報を計算に使用する。これは、メモリと処理とを区別し、フォンノイマンボトルネックを引き起こす、従来のコンピュータにおいて広く使用されている構成とは非常に異なり、計算時間の大部分は、メモリと中央演算処理装置との間の情報の移動にもっぱら費やされる(John Backus、「Can Programming Be Liberated from the von Neumann Style?: A Functional Style and Its Algebra of Programs」、Communications of the ACM、第21巻、第8号、613〜641頁、1978年8月)。

動作は、生体ニューロンのようにイベントによって支配される(「イベントドリブン」)通信に基づき、これにより、超並列処理による実行が可能になる。

デバイスの一実施形態において、各処理ノードは、その電位値を、イベントを送出するときにリセットするように配置構成される。リセットは、特に、ゼロ電位値へのリセットとすることができる。

データを処理するためのデバイスの多数の実施形態は、ノード間の接続のうち、各々がそれぞれの重みを有する1つまたは複数の電位変動接続(potential variation connection)を含む。そのような接続のレシーバノードは、接続の重みを電位値に加えることによってこの接続で受信されたイベントに応答するように配置構成される。

電位変動接続は、正の重みを有する、励起接続(excitation connection)と、負の重みを有する、抑制接続(inhibiting connection)とを含み得る。

デバイス内の値を操作するために、一組の処理ノードは、電位値に対する事前定義された閾値に少なくとも等しい第1の正の重みを有する第1の電位変動接続のレシーバノードを形成する少なくとも1つの第1のノードと、電位値に対する事前定義された閾値の1/2に少なくとも等しく、電位値に対する事前定義された閾値未満である重みを有する第2の電位変動接続のレシーバノードを形成する少なくとも1つの第2のノードとを含む。前述の第1のノードは、第1の重みと反対の値に等しい重みを有する第3の電位変動接続のエミッタノードおよびレシーバノード、さらには第4の接続のエミッタノードをさらに形成し、その一方で、第2のノードは、第5の接続のエミッタノードを形成する。したがって、第1および第2の電位変動接続は、各々入力値を表す第1の時間間隔によって隔てられた2つのイベントを受信するように構成され、それによって、第4および第5の接続は第1の時間間隔に関係する第2の時間間隔を間に有するそれぞれのイベントをトランスポート(transport)する。

本発明によるデバイスを使用して様々な動作が実行され得る。

特に、データを処理するためのデバイスの一例は、少なくとも1つの最小値計算回路を備え、これはそれ自体、
第1および第2の入力ノードと、
出力ノードと、
第1および第2の選択ノードと、
各々電位値に対する事前定義された閾値の1/2に少なくとも等しく、電位値に対する事前定義された閾値未満である第1の正の重みを有する第1、第2、第3、第4、第5、および第6の電位変動接続と、
各々第1の重みの値と反対の第2の重みを有する第7および第8の電位変動接続と、
各々第2の重みの2倍の第3の重みを有する第9および第10の電位変動接続とを備える。

この最小値計算回路において、第1の入力ノードは、第1および第3の接続のエミッタノードと第10の接続のレシーバノードとを形成し、第2の入力ノードは、第2および第4の接続のエミッタノードと第9の接続のレシーバノードとを形成し、第1の選択ノードは、第5、第7、および第9の接続のエミッタノードと第1および第8の接続のレシーバノードとを形成し、第2の選択ノードは、第6、第8、および第10の接続のエミッタノードと第2および第7の接続のレシーバノードとを形成し、出力ノードは、第3、第4、第5、および第6の接続のレシーバノードを形成する。

データを処理するためのデバイスの別の例は、少なくとも1つの最大値計算回路を備え、これはそれ自体、
第1および第2の入力ノードと、
出力ノードと、
第1および第2の選択ノードと、
各々電位値に対する事前定義された閾値の1/2に少なくとも等しく、電位値に対する事前定義された閾値未満である第1の正の重みを有する第1、第2、第3、および第4の電位変動接続と、
各々第1の重みの値と反対の値の2倍に等しい第2の重みを有する第5および第6の電位変動接続とを備える。

この最大値計算回路において、第1の入力ノードは、第1および第3の接続のエミッタノードを形成し、第2の入力ノードは、第2および第4の接続のエミッタノードを形成し、第1の選択ノードは、第5の接続のエミッタノードと第1および第6の接続のレシーバノードとを形成し、第2の選択ノードは、第6の接続のエミッタノードと第2および第5の接続のレシーバノードとを形成し、出力ノードは、第3および第4の接続のレシーバノードを形成する。

データを処理するためのデバイスの別の例は、少なくとも1つの減算器回路を備え、これはそれ自体、
第1および第2の同期ノードと、
第1および第2の抑制ノードと、
第1および第2の出力ノードと、
各々電位値に対する事前定義された閾値に少なくとも等しい第1の正の重みを有する第1、第2、第3、第4、第5、および第6の電位変動接続と、
各々第1の重みの1/2に等しい第2の重みを有する第7および第8の電位変動接続と、
各々第1の重みの値と反対の第3の重みを有する第9および第10の電位変動接続と、
各々第3の重みの2倍の第4の重みを有する第11および第12の電位変動接続とを備える。

この減算器回路において、第1の同期ノードは、第1、第2、第3、および第9の接続のエミッタノードを形成し、第2の同期ノードは、第4、第5、第6、および第10の接続のエミッタノードを形成し、第1の抑制ノードは、第11の接続のエミッタノードと第3、第8、および第10の接続のレシーバノードとを形成し、第2の抑制ノードは、第12の接続のエミッタノードと第6、第7、および第9の接続のレシーバノードとを形成し、第1の出力ノードは、第7の接続のエミッタノードと第1、第5、および第11の接続のレシーバノードとを形成し、第2の出力ノードは、第8の接続のエミッタノードと第2、第4、および第12の接続のレシーバノードとを形成する。第1の同期ノードは、第2の重みを有する少なくとも1つの電位変動接続上で、間に第1のオペランドを表す第1の時間間隔を有する第1の一対のイベントを受信するように構成される。第2の同期ノードは、第2の重みを有する少なくとも1つの電位変動接続上で、間に第2のオペランドを表す第2の時間間隔を有する第2の一対のイベントを受信するように構成され、それによって、間に第3の時間間隔を有する第3の一対のイベントは、第1の時間間隔が第2の時間間隔よりも長い場合には第1の出力ノードによって、第1の時間間隔が第2の時間間隔よりも短い場合には第2の出力ノードによって送出され、第3の時間間隔は第1のオペランドと第2のオペランドとの間の差の絶対値を表している。

減算器回路は、第1および第2の同期ノード、第1および第2の抑制ノードのうちの1つ、ならびに第1および第2の出力ノードのうちの1つとともに検出および抑制接続に関連付けられている少なくとも1つの検出ノードを含むゼロ検出論理回路をさらに備えることができる。検出および抑制接続は、第1および第2の時間間隔が実質的に等しいときに第1および第2の出力ノードのうちの一方によってイベントの発生を抑制するために、第1、第2、第3、第4、第5、第6、第7、第8、第9、第10、第11、および第12の接続よりも高速である。

デバイスの様々な実施形態において、この一組の処理ノードは、少なくとも1つの電流調整接続上で受信されたイベントに従って電流値を変化させ、前記電流値に比例する速度で時間の経過とともにその電位値を変化させるように配置構成されている少なくとも1つのノードを備える。そのような処理ノードは、特に、イベントを送出するときに電流値をゼロにリセットするように配置構成され得る。

これらのノードのうちの少なくともいくつかにおける電流値は、それぞれの重みを有する少なくとも1つの定電流成分調整接続上で受信された2つのイベントの間で一定である成分を有する。定電流成分調整接続のレシーバノードは、接続の重みを電流値の定数成分に加えることによってこの接続上で受信されたイベントに反応するように配置構成される。

データを処理するためのデバイスの別の例は、少なくとも1つのインバータメモリ回路を備え、これはそれ自体、
アキュムレータノードと、
第1、第2、および第3の定電流成分調整接続であって、第1および第3の接続は同じ正の重みを有し、第2の接続は第1および第3の接続の重みの値と反対の重みを有する、第1、第2、および第3の定電流成分調整接続と、
少なくとも1つの第4の接続とを備える。

このインバータメモリ回路において、アキュムレータノードは、第1、第2、および第3の接続のレシーバノードと第4の接続のエミッタノードとを形成し、第1および第2の接続は、それぞれ、アキュムレータノードへ、間に覚えておくべき値を表す時間間隔に関係する第1の時間間隔を有する第1および第2のイベントをアドレス指定するように構成され、それによって、アキュムレータノードは、次いで、第4の接続上の第4のイベントの送出までその電位値を増加させることによって第3の接続上で受信される第3のイベントに応答し、第3および第4のイベントは間に第1の時間間隔に関係する第2の時間間隔を有する。

データを処理するためのデバイスの別の例は、少なくとも1つのメモリ回路を備え、これはそれ自体、
第1および第2のアキュムレータノードと、
第1、第2、第3、および第4の定電流成分調整接続であって、第1、第2、および第4の接続は各々第1の正の重みを有し、第3の接続は第1の重みの値と反対の第2の重みを有する、第1、第2、第3、および第4の定電流成分調整接続と、
少なくとも1つの第5の接続とを備える。

このメモリ回路において、第1のアキュムレータノードは、第1の接続のレシーバノードと第3の接続のエミッタノードとを形成し、第2のアキュムレータノードは、第2、第3、および第4および第5の接続のレシーバノードを形成し、第5の接続のエミッタノード、第1および第2の接続は、それぞれ、第1および第2のアキュムレータノードへ、間に覚えておくべき値を表す時間間隔に関係する第1の時間間隔を有する第1および第2のイベントをアドレス指定するように構成され、それによって、第2のアキュムレータノードは、次いで、第5の接続上の第4のイベントの送出までその電位値を増加させることによって第4の接続上で受信される第3のイベントに応答し、第3および第4のイベントは間に第1の時間間隔に関係する第2の時間間隔を有する。

メモリ回路は、第1のアキュムレータノードをエミッタノードとして有する第6の接続をさらに備え、第6の接続はメモリ回路を読み取りに利用可能であることを知らせるイベントを送出する。

データを処理するためのデバイスの別の例は、今言及したばかりのタイプの、個数N>1のメモリ回路と、同期ノードとを含む、少なくとも1つの同期回路を備える。同期ノードは、第1の重みをNで割った値に等しい重みを有するそれぞれの電位変動接続を介してN個のメモリ回路のうちの1つの第6の接続上で送出される各イベントを感知する。同期ノードは、N個のメモリ回路のそれぞれの第4の接続を介して第3のイベントの同時受信をトリガするように配置構成される。

データを処理するためのデバイスの別の例は、少なくとも1つの累算回路を備え、これはそれ自体、
Nを1より大きい整数として、各々がそれぞれの重み付け係数を有するN個の入力と、
アキュムレータノードと、
同期ノードと、
累算回路のN個の入力の各々について、
前記入力のそれぞれの重み付け係数に比例する第1の正の重みを有する第1の定電流成分調整接続と、
第1の重みの値と反対の第2の重みを有する第2の定電流成分調整接続と、
第3の正の重みを有する第3の定電流成分調整接続とを備える。

この累算回路において、アキュムレータノードは、第1、第2、および第3の接続のレシーバノードを形成し、同期ノードは、第3の接続のエミッタノードを形成する。N個の入力の各々について、第1および第2の接続は、アキュムレータノードへ、間に前記入力上で与えられるそれぞれのオペランドを表す第1の時間間隔を有するそれぞれの第1および第2のイベントをアドレス指定するように構成される。同期ノードは、第1および第2のイベントがN個の入力の各々についてアドレス指定された後に第3のイベントを送出するように構成され、それによって、アキュムレータノードは、第4のイベントの送出までその電位値を増加させる。第3および第4のイベントは、それらの間にN個の入力上で与えられるオペランドの加重和を表す時間間隔に関係する第2の時間間隔を有する。

本発明によりデータを処理するためのデバイスの一例において、累算回路は、加重加算回路の一部であり、これは
第2のアキュムレータノードと、
第3の重みを有する第4の定電流成分調整接続と、
第5および第6の接続とをさらに備える。

この加重加算回路において、累算回路の同期ノードは、第4の接続のエミッタノードを形成し、累算回路のアキュムレータノードは、第5の接続のエミッタノードを形成し、第2のアキュムレータノードは、第4の接続のレシーバノードと第6の接続のエミッタノードとを形成する。同期ノードによる第3のイベントの送出に応答して、累算回路のアキュムレータノードは、第5の接続上の第4のイベントの送出までその電位値を増加させ、第2のアキュムレータノードは、第6の接続上の第5のイベントの送出までその電位値を増加させ、第4および第5のイベントはそれらの間に累算回路のN個の入力上で与えられるオペランドの加重和を表す時間間隔に関係する第3の時間間隔を有する。

データを処理するためのデバイスの別の例は、同期ノードを共有する、2つの累算回路と、共有された同期ノードによって送出される第3のイベントに応答し、間に2つの累算回路のうちの一方に対する加重和と2つの累算回路のうちの他方に対する加重和との差を表す第3の時間間隔を有する一対のイベントを送出することによって2つの累算回路のアキュムレータノードによってそれぞれ送出される第4のイベントに応答するように構成されている減算器回路とを含む少なくとも1つの一次結合回路を備える。

デバイスのいくつかの実施形態において、この一組の処理ノードは、少なくとも1つのノードを含み、その電流値は、それぞれの重みを有する少なくとも1つの指数関数的減少電流成分調整接続(exponentially decreasing current component adjustment connection)上で受信された2つのイベントの間で指数関数的に減少する成分を有する。指数関数的減少電流成分調整接続のレシーバノードは、接続の重みを電流値の指数関数的減少成分に加えることによってこの接続上で受信されたイベントに反応するように配置構成される。

データを処理するためのデバイスの別の例は、少なくとも1つの対数計算回路を備え、これはそれ自体、
アキュムレータノードと、
第1および第2の定電流成分調整接続であって、第1の接続は正の重みを有し、第2の接続は第1の接続の重みの値と反対の重みを有する、第1および第2の定電流成分調整接続と、
第3の指数関数的減少電流成分調整接続と、
少なくとも1つの第4の接続とを備える。

この対数計算回路において、アキュムレータノードは、第1、第2、および第3の接続のレシーバノードと第4の接続のエミッタノードとを形成する。第1および第2の接続は、アキュムレータノードへ、間に対数計算回路の入力値を表す時間間隔に関係する第1の時間間隔を有するそれぞれの第1および第2のイベントをアドレス指定するように構成される。第3の接続は、アキュムレータノードへ、第2のイベントと同時またはその後の第3のイベントをアドレス指定するように構成され、それによって、アキュムレータノードは、第4の接続上の第4のイベントの送出までその電位値を増加させ、第3および第4のイベントは間に入力値の対数を表す時間間隔に関係する第2の時間間隔を有する。

処理デバイスは、少なくとも1つのデアクティベーション接続をさらに備えることができ、そのレシーバノードは、デアクティベーション接続上で受信されたイベントに応答して電流の指数関数的に減少する成分を相殺することができるノードである。

データを処理するためのデバイスの別の例は、少なくとも1つの累乗回路(exponentiation circuit)を備え、これはそれ自体、
アキュムレータノードと、
第1の指数関数的減少電流成分調整接続と、
第2のデアクティベーション接続と、
第3の定電流成分調整接続と、
少なくとも1つの第4の接続とを備える。

この累乗回路において、アキュムレータノードは、第1、第2、および第3の接続のレシーバノードと第4の接続のエミッタノードとを形成する。第1および第2の接続は、アキュムレータノードへ、間に累乗回路の入力値を表す時間間隔に関係する第1の時間間隔を有するそれぞれの第1および第2のイベントをアドレス指定するように構成される。第3の接続は、アキュムレータノードへ、第2のイベントと同時またはその後の第3のイベントをアドレス指定するように構成され、それによって、アキュムレータノードは、第4の接続上の第4のイベントの送出までその電位値を増加させ、第3および第4のイベントは間に入力値の累乗を表す時間間隔に関係する第2の時間間隔を有する。

データを処理するためのデバイスの別の例は、少なくとも1つの乗算器回路を備え、これはそれ自体、
第1、第2、および第3のアキュムレータノードと、
同期ノードと、
第1、第2、第3、第4、および第5の定電流成分調整接続であって、第1、第3、および第5の接続は正の重みを有し、第2および第4の接続は第1、第2、および第5の接続の重みの値と反対の重みを有する、第1、第2、第3、第4、および第5の定電流成分調整接続と、
第6、第7、および第8の指数関数的減少電流成分調整接続と、
第9のデアクティベーション接続と、
少なくとも1つの第10の接続とを備える。

この乗算器回路において、第1のアキュムレータノードは、第1、第2、および第6の接続のレシーバノードと第7の接続のエミッタノードとを形成し、第2のアキュムレータノードは、第3、第4、および第7の接続のレシーバノードと第5および第9の接続のエミッタノードとを形成し、第3のアキュムレータノードは、第5、第8、および第9の接続のレシーバノードと第10の接続のエミッタノードとを形成し、同期ノードは、第6および第8の接続のエミッタノードを形成する。第1および第2の接続は、第1のアキュムレータノードへ、間に乗算器回路の第1のオペランドを表す時間間隔に関係する第1の時間間隔を有するそれぞれの第1および第2のイベントをアドレス指定するように構成される。第3および第4の接続は、第2のアキュムレータノードへ、間に乗算器回路の第2のオペランドを表す時間間隔に関係する第2の時間間隔を有するそれぞれの第3および第4のイベントをアドレス指定するように構成される。同期ノードは、第1、第2、第3、および第4のイベントが受信された後に第6および第8の接続上で第5のイベントを送出するように構成される。したがって、第1のアキュムレータノードは、第7の接続上の第6のイベントの送出までその電位値を増加させ、次いで、第6のイベントに応答して、第2のアキュムレータノードは、第5の接続および第9の接続上の第7のイベントの送出までその電位値を増加させる。この第7のイベントに応答して、第3のアキュムレータノードは、第10の接続上の第8のイベントの送出までその電位値を増加させ、第7および第8のイベントはそれらの間に第1のオペランドと第2のオペランドとの積を表す時間間隔に関係する第3の時間間隔を有する。

符号検出論理回路は、乗算器回路に関連付けられるものとしてよく、第1および第2のオペランドのそれぞれの符号を検出し、検出された符号に従って、間に第1のオペランドと第2のオペランドとの積を表す時間間隔を有する2つのイベントを乗算器回路の2つの出力のうちの一方または他方で送出させる。

処理デバイスの典型的な一実施形態において、各接続は遅延パラメータに関連付けられ、それにより、この接続のレシーバノードに、前記パラメータによって指示される、接続上でイベントを受信することに関して、遅延とともに状態の変化を実行することを知らせる。

絶対値xを有する値を表す2つのイベントの間の時間間隔Δtは、特に、Δt=T_min+x.T_codの形式をとることができ、ここで、T_minおよびT_codは、事前定義された時間パラメータである。時間間隔によって表される値は、たとえば、0から1の間の絶対値xを有する。

xの関数としてのΔtに対して均等目盛ではなく対数目盛を使用することもいくつかの用途に適していることがある。他の目盛も使用できる。

処理デバイスは、符号付き値を扱うために特別な構成を有するものとしてよい。したがって、これは、入力値について、
一組の処理ノードのうちから1つのノードまたは2つのノードを含む第1の入力であって、間に入力値の正の値を表す時間間隔を有する2つのイベントを受信するように配置構成されている、第1の入力と、
一組の処理ノードのうちから1つのノードまたは2つのノードを含む第2の入力であって、間に入力値の負の値を表す時間間隔を有する2つのイベントを受信するように配置構成されている、第2の入力とを備える。

出力値について、処理デバイスは、
一組の処理ノードのうちから1つのノードまたは2つのノードを含む第1の出力であって、間に前記出力値の正の値を表す時間間隔を有する2つのイベントを送出するように配置構成されている、第1の出力と、
一組の処理ノードのうちから1つのノードまたは2つのノードを含む第2の出力であって、間に前記出力値の負の値を表す時間間隔を有する2つのイベントを送出するように配置構成されている、第2の出力とを備える。

処理デバイスの一実施形態において、一組の処理のノードは、少なくとも1つのプログラム可能なアレイの形態をとり、アレイのノードは受信されたイベントに従う共有挙動モデルを有する。このデバイスは、計算プログラムに従ってアレイのノードの間の接続の重みおよび遅延パラメータを調整するためのプログラミング論理回路と、入力値をアレイに供給し、プログラムに従って計算された出力値を復元するための制御ユニットとをさらに備える。

本発明の他の特徴および利点は、添付図面を参照しつつ次の説明に示される。

本発明の一実施形態による、オンデマンドで定数値の表現を生成する処理回路の図である。本発明の一実施形態によるインバータメモリデバイスの図である。図2による時間が経過して生じる電位値の変化およびインバータメモリデバイスにおけるイベントの生成を示す図である。本発明の一実施形態によるメモリデバイスの図である。図4による時間が経過して生じる電位値の変化およびメモリデバイスにおけるイベントの生成を示す図である。本発明の一実施形態による符号付きメモリデバイスの図である。様々な入力値を与えられたときの図6による時間が経過して生じる電位値の変化および符号付きメモリデバイスにおけるイベントの生成を示す図である。様々な入力値を与えられたときの図6による時間が経過して生じる電位値の変化および符号付きメモリデバイスにおけるイベントの生成を示す図である。本発明の一実施形態による同期デバイスの図である。図8による時間が経過して生じる電位値の変化および同期デバイスにおけるイベントの生成を示す図である。本発明の別の実施形態による同期デバイスの図である。本発明の一実施形態による最小値を計算するためのデバイスの図である。図11による時間が経過して生じる電位値の変化および最小値を計算するためのデバイスにおけるイベントの生成を示す図である。本発明の一実施形態による最大値を計算するためのデバイスの図である。図13による時間が経過して生じる電位値の変化および最大値を計算するためのデバイスにおけるイベントの生成を示す図である。本発明の一実施形態による減算器デバイスの図である。図15による時間が経過して生じる電位値の変化および減算器デバイスにおけるイベントの生成を示す図である。ゼロに等しい差が考慮される減算器デバイスの代替的形態の図である。本発明の一実施形態による累算回路の図である。本発明の一実施形態による加重加算デバイスの図である。本発明の一実施形態による一次結合計算デバイスの図である。本発明の一実施形態による対数計算デバイスの図である。図21による時間が経過して生じる電位値の変化および対数計算デバイスにおけるイベントの生成を示す図である。本発明の一実施形態による累乗デバイスの図である。図23による時間が経過して生じる電位値の変化および累乗デバイスにおけるイベントの生成を示す図である。本発明の一実施形態による乗算器デバイスの図である。図25による時間が経過して生じる電位値の変化および乗算器デバイスにおけるイベントの生成を示す図である。本発明の一実施形態による符号付き乗算器デバイスの図である。本発明の一実施形態による積分器デバイスの図である。本発明の一実施形態の一例における1階微分方程式を解くのに適しているデバイスの図である。図29のデバイスのシミュレーションの結果を示すグラフである。図29のデバイスのシミュレーションの結果を示すグラフである。本発明の一実施形態の一例における2階微分方程式を解くのに適しているデバイスの図である。図31のデバイスのシミュレーションの結果を示すグラフである。図31のデバイスのシミュレーションの結果を示すグラフである。本発明の一実施形態の一例における3変数非線形微分方程式系を解くのに適しているデバイスの図である。図33のデバイスのシミュレーションの結果を示すグラフである。本発明の一実施形態によるプログラム可能処理デバイスの図である。

本明細書で提示されているようなデータ処理デバイスは、電気信号の振幅として、または論理回路によって処理される2進符号化された数としてではなく、間に接続を有する一組の処理ノード内に生じるイベントの間の時間間隔として処理済み値を表すことによって動作する。

本開示の文脈において、人工ニューラルネットワークに類似するアーキテクチャによるデータ処理デバイスの一実施形態が提示される。データ処理デバイスは、必ずしも、人々が「ニューラルネットワーク」と呼ぶものに厳密に対応するアーキテクチャを有していないが、次の説明では、デバイス内の2つのノードまたはニューロンの間の接続を指定するために「シナプス」という用語を使用するのと全く同様に、「ノード」および「ニューロン」という用語を入れ替えて使用することができる。

シナプスは、方向性を有する、すなわち、各接続は、エミッタノードとレシーバノードとを有し、レシーバノードに、エミッタノードによって生成されたイベントを送信する。イベントは、典型的には、エミッタノードによって送出され、レシーバノードに影響を及ぼす、電圧信号または電流信号のスパイクとして現れる。

人工ニューラルネットワークの文脈においては普通のことであるが、各接続またはシナプスは、イベントにおいてエミッタノードがレシーバノードに及ぼす影響の尺度を示す重みパラメータwを有する。

各ノードの挙動の記述は、人工ニューラルネットワークのパラダイムにおける膜電位Vに対応する電位値Vを参照することによって与えられ得る。ノードの電位値Vは、入接続上でノードが受信するイベントに従って時間の経過とともに変化する。この電位値Vが、閾値V_tに達するか、超えたときに、ノードは、下流に配置されているノードに送信されるイベント(「スパイク」)を放出する。

ノードまたはニューロンの挙動を説明するために、本発明の例示的な一実施形態において、成分g_eおよび適宜、成分g_fを有する電流値gをさらに参照することができる。

成分g_eは、ここでは定電流成分調整接続と呼ばれる特定のシナプス上でノードが受信する2つのイベントの間で一定であるか、または実質的に一定のままである成分である。

成分g_fは、ここでは指数関数的減少電流成分調整接続と呼ばれる特定のシナプス上でノードが受信する2つのイベントの間で指数関数的に変化する成分である、すなわち、指数関数的に変化する。

指数関数的減少電流成分g_fを考慮するノードは、ここではアクティベーション接続と呼ばれる特定のシナプス上で成分g_fのアクティベーションおよびデアクティベーションに対するイベントをさらに受信することができる。

したがって、注目する例では、処理ノードの挙動は、一組の微分方程式

によって一般的な形で表現されるものとしてよく、
ここで、
tは時間を指定し、
成分g_eはシナプスイベントによってのみ変化させられ得る一定入力電流を表し、
成分g_fは指数関数的に変化する入力電流を表し、
gateは、指数関数的減少電流成分g_fの2進アクティベーション(gate=1)またはデアクティベーション(gate=0)信号であり、
τ_mは電流値の関数g=g_e+gate.g_fとして電位値Vの直線変化を調節する時定数であり、
τ_jは成分g_fにおける減少の指数関数的変化を調節する時定数である。

方程式系(1)において、膜電位Vの漏れはないか、またはこの漏れの力学はデバイス内で動作している他のすべての力学よりもかなり大きいタイムスケールに基づくことが考えられる。

このモデルでは、ニューロンの挙動に影響を及ぼす次の4種類のシナプスを識別することができ、各シナプスは正または負のシナプス重みwを示す重みパラメータに関連付けられる。
ニューロンの膜電位の値を直接修正する、電位変化接続、またはVシナプス。V←V+w。言い替えれば、レシーバノードは、その電位値Vに、重みパラメータによって指示される重みwを加えることによってVシナプス上で受信されたイベントに応答する。
ニューロンの一定の入力電流を直接修正する、定電流成分調整接続、またはg_eシナプス。g_e←g_e+w。言い替えれば、レシーバノードは、その電流値の一定成分に、重みパラメータによって指示される重みwを加えることによってg_eシナプス上で受信されたイベントに応答する。
ニューロンの指数関数的に変化する入力電流を直接修正する、指数関数的減少電流成分調整接続、またはg_fシナプス。g_f←g_f+w。言い替えれば、レシーバノードは、その電流値の指数関数的に減少する成分に、重みパラメータによって指示される重みwを加えることによってg_fシナプス上で受信されたイベントに反応する。
正の重みw=1を指示するときにgate←1を設定することによってニューロンをアクティベートし、負の重みw=-1を指示するときにgate←0を設定することによってニューロンをデアクティベートする、アクティベーション接続、またはgateシナプス。

各シナプス接続は、エミッタニューロンとレシーバニューロンとの間の伝搬の遅延を与える遅延パラメータにさらに関連付けられる。

ニューロンは、その電位値Vが閾値V_tに達すると、すなわち
V≧V_t (2)
のときに、イベントをトリガする。

イベントがトリガされると、ニューロンがエミッタノードを形成する各シナプス上で送出されるスパイクが引き起こされ、その状態変数は次のようにリセットされる。
V←V_reset (3)
g_e←0 (4)
g_f←0 (5)
gate←0 (6)

一般性を失うことなく、V_reset=0の場合が考慮され得る。

これ以降、表記T_synは、標準シナプスに沿った伝搬の遅延を指定し、表記T_neuは、入力シナプスイベントによってトリガされた後にスパイクを発生させるときにニューロンがイベントを送信するのに要する時間を指定する。T_neuは、たとえば、神経シミュレータの時間ステップを表すものとしてよい。

標準重みw_eは、リセット状態からニューロンをトリガするためにVシナプスに適用されなければならない最小励起重みとして定義され、別の標準重みw_iは、反対の効果を有する抑制重みとして定義され、次のとおりに書かれる。
w_e=V_t (7)
w_i=-w_e (8)

デバイスによって処理される値は、イベントの間の時間間隔によって表される。一対のイベントの2つのイベントは、この対によって符号化される値xの関数である時間間隔Δtだけ隔てられ、次のとおりである。
Δt=f(x) (9)
ただし、fはデバイス内のデータの表現に対して選択された符号化関数である。

この値xを符号化する対の2つのイベントは、同じニューロンnによって、または2つの異なるニューロンによって送出され得る。

同じニューロンnの場合、時間的に連続してイベントe_n(i)、i=0、1、2、などを送出すると、このニューロンnは、時間変化信号u(t)を符号化すると考えることができ、その離散値は、

によって与えられ、
ここで、f^-1は選択された符号化関数の逆関数であり、iは偶数である。

符号化関数

は、特定のシステムにおいて処理される信号を考慮しつつ選択され、必要な精度に適合され得る。関数fは、特定の値に関連付けられているスパイクの間の間隔を計算する関数である。本発明の説明の残り部分において、線形符号化関数を使用する処理デバイスの実施形態は
Δt=f(x)=T_min+x.T_cod (11)
x∈[0, 1]
で表される。

関数のこの表現f:[0, 1]→[T_min,T_max]は、T_minとT_max=T_min+T_codとの間の時間間隔によって0と1の間の任意の値xを線形符号化することを可能にする。T_minの値は、ゼロであってよい。しかしながら、これが非ゼロであることは有利である。実際、値を表す2つのイベントが同じニューロンに由来するか、または同じニューロンによって受信された場合、最小間隔T_min>0は、このニューロンにリセットまでの時間を与える。さらに、T_min>0の選択は、ニューロンの特定の配置構成が第2のイベントを受信する前に第1の入力イベントに応答し、状態の変化を伝搬させることを可能にする。

符号化関数fに対する形式(11)は、可能なただ1つのものではない。別の好適な選択は、対数関数をとるもので、これはこの場合に大きい値に対して精度が低い、いくつかの用途に適している力学で広範な値が符号化されることを可能にする。

符号付き値を表すために、2つの異なる経路、各符号につき1つの経路が使用され得る。そこで、正の値は、特定のニューロンを使用して符号化され、負の値は、別のニューロンを使用して符号化される。任意に、ゼロは、正の値または負の値として表され得る。これ以降、ゼロは正の値として表される。

したがって、形式(11)の例を引き続き使用すると、値xが範囲[-1,+1]内の値を有する場合、これはx≧0の場合に正の値に関連付けられている経路上およびx<0の場合に負の値に関連付けられている経路上で伝搬される2つのイベントの間の時間間隔Δt=T_min+|x|.T_codによって表される。

符号化関数に対する(9)または(11)の選択で、g_eシナプスに対する2つの標準重みの定義が生じる。重みw_accは、時間T_max=T_min+T_codの後に、そのリセット状態から、ニューロンをトリガするのに必要なg_eの値であるものとして定義される、すなわち、(1)を考慮して

となる。

さらに、重み

は、時間T_codの後に、そのリセット状態から、ニューロンをトリガするのに必要なg_eの値であるものとして定義される、すなわち、

となる。

g_eシナプスについては、別の標準重みg_multは

として与えられるものとしてよい。

デバイスのノードの間の接続は、それぞれの遅延パラメータに各々さらに関連付けられ得る。このパラメータは、接続上のイベントの放出に関して、接続のレシーバノードが状態の変化を引き起こす際の遅延を指示する。シナプスに関連付けられているこれらの遅延パラメータによる遅延値の指示は、処理デバイス内の動作の適切な順序付けを確実にすることを可能にする。

式(1)〜(6)に記述されているような挙動をするように、処理ノードおよび相互接続を実装するために、様々な技術、すなわち、人工ニューラルネットワークのよく知られている分野において通常使用されている技術が使用され得る。各ノードは、たとえば、電圧レベルを保持し、変化させるための抵抗および容量素子、ならびに電圧レベルが閾値V_tを超えたときにイベントを送出するためのトランジスタ素子を伴う、アナログ技術を使用して作製され得る。

別の可能性として、たとえば、人工ニューロンを実装するための都合のよい手段を実現する、フィールドプログラマブルゲートアレイ(FPGA)に基づくデジタル技術を使用する方法もある。

以下では、相互接続された処理ノードを使用して形成されるデータを処理するためのいくつかのデバイスまたは回路が提示されている。図1、図2、図4、図6、図8、図10、図11、図13、図15、図17、図18、図19、図20、図21、図23、図25、図27、図28、図29、図31、および図33において、
実線で図示されているノード間の接続は、Vシナプスである。
破線で図示されている接続は、g_eシナプスである。
一点鎖線で図示されている接続は、g_fシナプスである。
点線で図示されている接続は、gateシナプスである。
接続は、レシーバノードの横にあるシンボルで向き付けられる。このシンボルは、励起接続、すなわち、正の重みを有する接続に対しては開いた正方形、抑制接続、すなわち、負の重みを有する接続に対しては閉じた正方形である。
接続の隣りのパラメータの対(w;T)は、重みwおよび接続に関連付けられている遅延Tを示す。ときには、重みwだけが示される。

これらの図面に示されているノードまたはニューロンのうちのいくつかは、回路内のその配置構成の結果、関数を呼び出すことを示すような名前を付けられ、入力ニューロンに対しては「input」、正の値の入力に対しては「input+」、負の値の入力に対しては「input-」、出力ニューロンに対しては「output」、正の値の出力に対しては「output+」、負の値の出力に対しては「output-」、値を復元するために使用されるニューロンに対しては「recall」、アキュムレータニューロンに対しては「acc」、値の結果の利用可能性を示すニューロンに対しては「ready」などとなる。

図1は、定数値xの表現をオンデマンドで生成するために使用され得る非常に単純な回路10を示している。w_e以上の重み(図示されている例では、重みはw_eに等しくなるように取られる)を有する2つのVシナプス11、12は、各々、エミッタノードとしてrecallニューロン15を、レシーバノードとしてoutputニューロン16を有する。シナプス11は、遅延パラメータT_synを使用するように構成されるが、シナプス12は、遅延パラメータT_syn+f(x)を使用するように構成される。

recallニューロン15のアクティベーションは、時刻T_synおよびT_syn+f(x)でoutputニューロン16をトリガし、そこで、回路10は、定数xを表す値f(x)によって時間に関して隔てられている2つのイベントを送出する。

A.メモリ
A.1.反転メモリ
図2は、反転メモリを形成する処理回路18を示している。

このデバイス18は、accニューロン30における動的範囲g_eにわたる電流の積分を使用して、区間Δt_in=f(x)とともにinputニューロン21で与えられた一対の入力スパイクによって符号化されたアナログ値xを記憶する。値xは、accニューロン30の膜電位に記憶され、recallニューロン31のアクティベーション時に読み出され、それにより、outputニューロン33における値1-xに対応する時間間隔Δt_out、すなわち、Δt_out=f(1-x)だけ隔てられた一対のイベントが送出される。

inputニューロン21は、accニューロン30に向けられるg_eシナプス26、27上でf(x)-T_min=x.T_codだけ隔てられている2つのイベントを発生させるために使用されるノード20のグループに属す。このグループは、「first」ニューロン23および「last」ニューロン25を備える。遅延T_synを有する2つの励起Vシナプス22、24は、inputニューロン21からfirstニューロン23およびlastニューロン25にそれぞれ進む。Vシナプス22は重みw_eを有し、Vシナプス24はw_e/2に等しい重みを有する。firstニューロン23は、重みw_iおよび遅延T_synを有するVシナプス28を介して自己抑制する。

励起g_eシナプス26は、firstニューロン23からaccニューロン30へ進み、重みw_accおよびT_syn+T_minの遅延を有する。抑制g_eシナプス27は、lastニューロン25からaccニューロン30へ進み、重み-w_accおよび遅延T_synを有する。励起Vシナプス32は、recallニューロン31からoutputニューロン33へ進み、重みw_eおよび2T_syn+T_neuの遅延を有する。励起Vシナプス34は、recallニューロン31からaccニューロン30へ進み、重みw_accおよび遅延T_synを有する。最後に、励起Vシナプス35は、accニューロン30からoutputニューロン33へ進み、重みw_eおよび遅延T_synを有する。

反転メモリデバイス18の動作は、図3に例示されている。

inputニューロン21で時刻

に第1のイベント(スパイク)を放出すると、時刻T_syn+T_neuの後に、すなわち、図3において時刻

にfirstニューロン23の出力でイベントがトリガされ、lastニューロン25の電位値がV_t/2に上げられる。次いで、firstニューロン23は、値-V_tをその膜電位に与えることによってシナプス28を介して自己抑制し、g_eシナプス26を介して、T_syn+T_minの後に、すなわち、時刻

にaccニューロン30により累算を開始する。

inputニューロン21で時刻

に第2のスパイクを放出すると、lastニューロン25は閾値電位V_tに達する。次いで、抑制g_eシナプス27上で時刻

にイベントが生成される。第2のスパイクは、シナプス22を介してfirstニューロン23の電位をゼロにリセットすることもトリガする。第2のスパイクに応答してg_eシナプス27によってトランスポートされるイベントは、時刻

にaccニューロン30によって実行された累算を停止する。

この段階で、電位値

は、値xを覚えておくためaccニューロン30に記憶される。次いで、その補数1-xが、recallニューロン31をアクティベートすることによって読み出されるものとしてよく、これは図3では時刻

に行われる。このアクティベーションは、時刻

にaccニューロン30における累算のプロセスを再開し、outputニューロン33上で時刻

にイベントをトリガする。累算は、電位値が閾値V_tに達する時刻

までaccニューロン30内で継続する、すなわち、

である。イベントは、時刻

にVシナプス35上で放出され、時刻

にoutputニューロン33上で別のイベントをトリガする。

最後に、outputニューロン33によって送出される2つのイベントは、時間間隔

で隔てられる。

値xは、2つの入力スパイクを受信した後にaccニューロン30に記憶され、recallニューロン31をアクティベートすることによって読み出しに即座に利用可能であることに留意されたい。

標準重みw_eは、リセット状態からニューロンをトリガするためにVシナプスに適用されなければならない最小励起重みとして定義されたので、図2の処理回路18は、次のようにしていくつかの重みが選択される場合に同様の機能を示すことに留意されたい。Vシナプス22は、w_e以上の重みwを有し、Vシナプス24は、少なくともw_e/2に等しく、V_tよりも小さい重みを有し、firstニューロン23は、重み-wを有するrecall Vシナプス28を介して自己抑制し、励起Vシナプス32は、w_e以上の重みを有し、励起Vシナプス35は、w_e以上の重みを有する、この観察結果は、次の処理回路に及ぶ。

A.2.メモリ
図4は、メモリを形成する処理回路40を示している。

このデバイス40は、一対のイベントが時間間隔Δt_out=f(x)で隔てられている、非反転出力を形成するために、2つのカスケードaccニューロン42、44における動的範囲g_e上の電流の積分を使用して、区間Δt_in=f(x)とともにinputニューロン21で与えられた一対の入力スパイクによって符号化されたアナログ値xを覚えておく。

メモリ回路40は、記憶されるべき値を受信するためのinputニューロン21、recallニューロン48によって形成される読み出しコマンド入力、recallニューロン48に読み出しコマンドを提示できる時刻を指示するreadyニューロン47、および記憶されている値を返すためのoutputニューロン50を有する。このメモリ回路のすべてのシナプスは、遅延T_synを有する。

inputニューロン21は、図2を参照しつつ説明されているものに類似するノード20のグループに属しており、firstニューロン23およびlastニューロン25はinputニューロン21によってf(x)=T_min+x.T_codの間隔で生成される2つのイベントを隔てる。

g_eシナプス41は、firstニューロン23から第1のaccニューロン42へ進み、重みw_accを有する。そこで、accニューロン42は時刻

に累算を開始する(図5)。g_eシナプス43は、lastニューロン25から第2のaccニューロン44へ進み、重みw_accを有する。そこで、accニューロン44は時刻

に累算を開始する。accニューロン42の出力で、重みw_accを有する別のg_eシナプス45は、accニューロン44に進み、重みw_eを有するVシナプス46は、readyニューロン47に進む。

accニューロン42における累算は、accニューロン42の電位が閾値V_tに達する時刻

まで継続し、g_eシナプス45上で時刻

にスパイクの放出をトリガする(図5)。このスパイクは、時刻

にaccニューロン44における累算を停止する。accニューロン42のトリガは、また、時刻

にreadyニューロン47上でイベントをトリガする。

この段階で、accニューロン44に記憶されている電位値は

であり、これにより値xを覚えておくことができる。読み出しは、recallニューロン48をアクティベートすることによって行われるものとしてよく、これは図5では時刻

に行われる。

recallニューロン48のアクティベーションは、Vシナプス49を介してoutputニューロン50上で時刻

にイベントをトリガし、時刻

にg_eシナプス51を介してaccニューロン44における累算のプロセスを再開する。累算は、電位値が閾値V_tに達する時刻

までaccニューロン44内で継続する、すなわち、

である。イベントは、時刻

にVシナプス52上で放出され、時刻

にoutputニューロン50上で別のイベントをトリガする。

最後に、outputニューロン50によって送出される2つのイベントは、時間間隔

で隔てられる。

図4のaccニューロン42は、いくつかのシナプス上でT_syn+T_maxの遅延を構成することによって排除することも可能でことに留意されたい。これは、ニューロンの数を減らすことについて興味深いものであり得るが、隣接するニューロンの間の遅延が延長することで特定の集積回路(ASIC)を使用するインストレーションにおいて問題を引き起こす可能性がある。

また、メモリ回路40は、上記の形式(11)に制限されることなく、T_minとT_maxとの間の時間間隔により値xの符号化に対して機能することに留意されたい。

A.3.符号付きメモリ
図6は、-1と+1との間の、符号付き値に対するメモリを形成する処理回路60を示している。その絶対値は、x≧0の場合に、input+ニューロン61によって与えられ、次いでoutput+ニューロン81によって返され、x<0の場合に、input-ニューロン62によって与えられ、output-ニューロン82によって返される2つのイベントの間の間隔Δt_in=f(|x|)によって符号化される。このメモリ回路のすべてのシナプスは、遅延T_synを有する。

符号付きメモリ回路60は、図4A〜図4Bに示されているタイプのメモリ回路40に基づく。input+ニューロン61およびinput-ニューロン62は、それぞれ、重みw_eを有する励起Vシナプス63、64によって回路40のinputニューロン21に接続される。したがって、|x|を表す2つのスパイクを受信するニューロン61、62のうちの一方は、回路40のinputニューロン21を2回アクティベートし、それにより、時間間隔f(|x|)が回路40のoutputニューロン50上で返される。

さらに、ニューロン61、62は、それぞれ、w_e/4の重みを有する励起Vシナプス67、68によってready+ニューロン65およびready-ニューロン66に接続される。符号付きメモリ回路は、重みw_e/2を有するそれぞれの励起Vシナプス71、72によってready+ニューロン65およびready-ニューロン66に接続されたrecallニューロン70を有する。ready+ニューロン65およびready-ニューロン66の各々は、重みw_eを有するそれぞれの励起Vシナプス73、74によって回路40のrecallニューロン48に接続される。w_i/2の重みを有する抑制Vシナプス75は、ready+ニューロン65からready-ニューロン66に進み、逆に、w_i/2の重みを有する抑制Vシナプス76は、ready-ニューロン66からready+ニューロン65に進む。ready+ニューロン65は、2w_iの重みを有する抑制Vシナプス77によって符号付きメモリ回路のoutput-ニューロン82に接続される。ready-ニューロン66は、2w_iの重みを有する抑制Vシナプス78によって符号付きメモリ回路のoutput+ニューロン81に接続される。

回路40のoutputニューロン50は、重みw_eを有するそれぞれの励起Vシナプス79、80によってoutput+ニューロン81およびoutput-ニューロン82に接続されている。

符号付きメモリ回路60の出力は、メモリ回路40のreadyニューロン47から来る重みw_eを有する励起Vシナプス85のレシーバノードであるreadyニューロン84を備える。

図7は、(a)正の入力の場合および(b)負の入力の場合の符号付きメモリ回路60のニューロンの挙動を示している。

ニューロン61、62のうちの一方における時刻

および

での2つのイベントの出現は、ready+ニューロン65またはready-ニューロン66の電位を2ステップで値V_t/2に上げる。並行して、上で説明されているように、メモリ回路40のaccニューロン44は、値

に帯電され、そのreadyニューロン47は、時刻

にイベントを生成する。

readyニューロン47がイベントを生成した後、readyニューロン70は、符号付きデータを読み取るようにアクティベートされてよく、これは図7では時刻

において行われる。

recallニューロン70のアクティベーションは、Vシナプス70または71を介してready+ニューロン65またはready-ニューロン66をトリガし、このトリガは、Vシナプス75または76を介して他のready-ニューロン65またはready+ニューロン66をゼロにリセットする。ready+ニューロン65またはready-ニューロン66によって送出されるイベントは、電位を-2V_tにすることによってVシナプス77または78を介してoutput-ニューロン82またはoutput+ニューロン81を抑制する。

時刻

にready+ニューロン65またはready-ニューロン66によって送出されるイベントは、Vシナプス73または74を介して提供される。これは、回路40のoutputニューロン50によってf(|x|)に等しい時間間隔によって隔てられた一対のスパイクの放出をトリガする。Vシナプス79、80を介してoutput+ニューロン81およびoutput-ニューロン82に伝達されるこの一対のスパイクは、時刻

および

に、入力されたデータxの符号に対応するoutput+ニューロン81およびoutput-ニューロン82のうちの一方を2回トリガし、他方のニューロン81、82の電位値をゼロにリセットする。

図6に示されている符号付きメモリ回路60は、次のことが可能であるので、ニューロンの数に関して最適化されないことに留意されたい。
メモリ回路40のinputニューロン21を排除することを、Vシナプス63および64を図4に示されている回路40のfirstニューロン23に直接送信することによって(Vシナプス22の代わりに)、およびw_e/2の重みを有する励起Vシナプスをinput+ニューロン61およびinput-ニューロン62からlastニューロン25に加えることによって(Vシナプス24の代わりに)行う。
メモリ回路40のoutputニューロン50を排除することを、g_eシナプス52を直接、output+ニューロン81およびoutput-ニューロン82に送信することによって(Vシナプス79、80の代わりに)行う。
メモリ回路40のrecallニューロン48を排除することを、Vシナプス73および74をoutput+ニューロン81およびoutput-ニューロン82に直接送信することによって(Vシナプス49の代わりに)、および重みw_accを有する励起g_eシナプスをready+ニューロン65およびready-ニューロン66から回路40のaccニューロン44に加えることによって(g_eシナプス51の代わりに)、行う。

A.4.シンクロナイザ
図8は、個数Nの入力上で受信された信号を同期させるために使用される処理回路90を示している(N≧2)。この同期回路のすべてのシナプスは、遅延T_synを有する。

各信号は、k=0、1、...、N-1について値x_kを符号化し、時刻

および

に生じる一対のスパイクの形態をとり、Δt_k=f(x_k)∈[T_min,T_max]である。これらの信号は、同期化方式で回路90の出力のところに返される、すなわち、N=2の場合について図9に示されているように、値x_kを符号化する各信号は時刻

および

に生じる、

である、一対のスパイクの形態をとって出力のところに現れる。

図8に示されている回路90は、N個のニューロン入力91₀、...、91_N-1、およびN個のニューロン出力92₀、...、92_N-1を備える。各inputニューロン91_kは、重みw_eを有するVシナプス93_kのエミッタノードであり、そのレシーバノードは、それぞれのメモリ回路40_kのinputニューロン21_kである。各メモリ回路40_kのoutputニューロン50_kは、重みw_eを有するVシナプス94_kのエミッタノードであり、そのレシーバノードは、同期回路90のoutputニューロン92_kである。

同期回路90は、w_e/Nの重みを有するN個の励起Vシナプス96₀、...、96_N-1のレシーバノードであるsyncニューロン95を備え、そのエミッタノードは、それぞれ、メモリ回路40₀、...、40_N-1のreadyニューロン47₀、...、47_N-1である。回路90は、重みw_eを有する励起Vシナプス97₀、...、97_N-1、エミッタノードとしてのsyncニューロン95、およびそれぞれ、レシーバノードとしてのメモリ回路40₀、...、40_N-1のrecallニューロン48₀、...、48_N-1も備える。

syncニューロン95は、N個の入力信号がメモリ回路40₀、...、40_N-1内にロードされるときに、すなわち、図9の時刻

、

にreadyニューロン47₀、...、47_N-1によって生成されるイベントを受信する。これらのN個のイベントの最後が受信されたときに、syncニューロン95は、イベントをT_synだけ後に、すなわち、図9の時刻

に送出する。これは、メモリ回路40₀、...、40_N-1のシナプス97₀、...97_N-1およびシナプス49を介して、各outputニューロン92₀、...、92_N-1上で第1の同期スパイク(

)の放出をトリガする。次いで、各メモリ回路40_kは、時刻

にその第2のそれぞれのスパイクを生成する。

図8を参照して同期回路を提示することで、説明がわかりやすくなっているが、いくつかのニューロンを排除することによって複数の簡素化が可能であることに留意されたい。たとえば、inputニューロン91₀、...、91_N-1およびoutputニューロン92₀、...、92_N-1は、オプションであるが、それは、入力はメモリ回路40₀、...、40_N-1のinputニューロン21₀、...、21_N-1によって直接与えられ、出力はメモリ回路40₀、...、40_N-1のoutputニューロン50₀、...、50_N-1によって直接与えられ得るからである。メモリ回路40₀、...、40_N-1のVシナプス46は、readyニューロン47₀、...、47_N-1を通過することなく、syncニューロン95に直接進むことができる。シナプス97₀、...、97_N-1は、メモリ回路のoutputニューロン50₀、...、50_N-1に直接供給されるものとしてよく(したがって、そのシナプス49を置き換える)、syncニューロン95は、accニューロン44における累算の再開を制御するためにメモリ回路40₀、...、40_N-1のg_eシナプス51のエミッタノードも形成する(図4および図5)。

単一のイベントのみを、時刻

に、同期出力信号を形成するすべての対の第1のイベントとして出力することも可能である。したがって、syncニューロン95は、回路の特定の出力(outputニューロン92₀、...、92_N-1のうちの1つまたは特定のニューロンであってよい)上で第1のスパイクの放出を直接制御し、次いで、g_eシナプスを介してメモリ回路40₀、...、40_N-1のaccニューロン44を再アクティベートすることによって各対の第2のスパイクの放出を直接制御する。言い替えれば、syncニューロン95は、様々なメモリ回路のrecallニューロン48として働く。

そのようなシンクロナイザ回路98は、図10によりN=2の場合について例示されており、ここでもまた、すべてのシナプスは遅延T_synを有する。syncニューロン95は、2つのメモリ回路のaccニューロン42から直接来るw_e/2の重みを有する2つのVシナプス46によって励起され、これは、accニューロン44における累算を再開するためのg_eシナプス51のエミッタノードである。この例では、「output ref」と表記されている特定のニューロン99は、Vシナプス97を介してsyncニューロン95から受信された励起に応答して、時刻

に2つの出力対の各々の第1のイベントを送出する。このoutput refニューロン99の役割は、代替的に、2つのoutputニューロン92₀、92₁のうちの一方によって果たされ得る。

図10の例では、回路98の出力値の値を符号化した2つのイベントは、2つの異なるニューロン(たとえば、値x₁に対してニューロン99および92₁)によって生成されることに留意されたい。

より一般的には、本発明の文脈において、値を表す1つの対の2つのイベントが単一のノードに由来する(出力値の場合に)か、または単一のノードによって受信される(入力値の場合に)必要はない。

B.論理演算
B.1.最小値
図11は、2つの入力ノード101、102上で同期方式で受信された2つの値の間の最小値を計算し、この最小値を出力ノード103上で送出する処理回路100を示している。

inputニューロン101、102およびoutputニューロン103に加えて、この回路100は、2つの「smaller」ニューロン104、105を備える。励起Vシナプス106は、w_e/2の重みを有し、inputニューロン101からsmallerニューロン104に進む。励起Vシナプス107は、w_e/2の重みを有し、inputニューロン102からsmallerニューロン105に進む。励起Vシナプス108は、w_e/2の重みを有し、inputニューロン101からoutputニューロン103に進む。励起Vシナプス109は、w_e/2の重みを有し、inputニューロン102からoutputニューロン103に進む。励起Vシナプス110は、w_e/2の重みを有し、smallerニューロン104からoutputニューロン103に進む。励起Vシナプス111は、w_e/2の重みを有し、smallerニューロン105からoutputニューロン103に進む。抑制Vシナプス112は、w_i/2の重みを有し、smallerニューロン104からsmallerニューロン105に進む。抑制Vシナプス113は、w_i/2の重みを有し、smallerニューロン105からsmallerニューロン104に進む。抑制Vシナプス114は、重みw_iを有し、smallerニューロン104からinputニューロン102に進む。抑制Vシナプス115は、重みw_iを有し、smallerニューロン105からinputニューロン101に進む。図11に示されているすべてのシナプス106〜115は、遅延が2.T_syn+T_neuであるシナプス108、109を除き、遅延T_synに関連付けられている。

時刻

の各inputニューロン101、102上での第1のスパイクの放出は(図12)、smallerニューロン104、105の各々を時刻

に電位値V_t/2に設定し、時刻

にoutputニューロン103上で第1のイベントをトリガする。図12の例における時刻

の最小値を有するinputニューロン、すなわち、ニューロン101上での第2のスパイクの放出は、smallerニューロンのうちの1つ、すなわち、この例におけるニューロン104を閾値電圧V_tに設定し、それにより、このニューロン104の出力のところで時刻

にイベントが引き起こされる。したがって、シナプス114は、他のinputニューロン102を抑制し、時刻

に第2のスパイクを発生せず、シナプス112は、他のsmallerニューロン105を抑制し、その電位はゼロにリセットされる。smallerニューロン104のトリガは、時刻

にoutputニューロン103の第2のトリガをさらに引き起こす。

最後に、outputニューロン103は、それが送出するイベントの間で、inputニューロン101、102によって生成される2つの対のイベントの間の最小時間間隔

を再現する。この最小値は、入力においてそれを表す対の第2のイベントの受信後に回路100の出力のところで利用可能である。

図11の最小値を計算するための回路100は、Δt=f(x)となるように関数fが増加関数であるときに機能する。

B.2.最大値
図13は、2つの入力ノード121、122上で同期方式で受信された2つの値の間の最大値を計算し、この最大値を出力ノード123上で送出する処理回路120を示している。

inputニューロン121、122およびoutputニューロン123に加えて、この回路120は、2つの「larger」ニューロン124、125を備える。励起Vシナプス126は、w_e/2の重みを有し、inputニューロン121からlargerニューロン124に進む。励起Vシナプス127は、w_e/2の重みを有し、inputニューロン122からlargerニューロン125に進む。励起Vシナプス128は、w_e/2の重みを有し、inputニューロン121からoutputニューロン123に進む。励起Vシナプス129は、w_e/2の重みを有し、inputニューロン122からoutputニューロン123に進む。抑制Vシナプス132は、重みw_iを有し、largerニューロン124からlargerニューロン125に進む。抑制Vシナプス133は、重みw_iを有し、largerニューロン125からlargerニューロン124に進む。図13に示されているすべてのシナプスは、遅延T_synに関連付けられる。

inputニューロン121、122によって同期方式(

)で放出される第1のスパイクは、時刻

にlargerニューロン124、125を電位値V_t/2に設定し、時刻

(図14)でoutputニューロン123上で第1のイベントをトリガする。図14の例における時刻

の最小値を有するinputニューロン、すなわち、ニューロン121上での第2のスパイクの放出は、largerニューロンのうちの1つ、すなわち、この例におけるニューロン124を閾値電圧V_tに設定し、それにより、このニューロン124の出力のところで時刻

にイベントがトリガされる。したがって、シナプス132は、他のlargerニューロン125を抑制し、その電位は値-V_t/2に設定される。第2のスパイクが時刻

に他のinputニューロン122によって放出されたときに(Δt₂>Δt₁の場合)、largerニューロン125の電位は、シナプス127を介してゼロにリセットされ、outputニューロン123は、時刻

にシナプス129を介してトリガされる。

最後に、outputニューロン123は、それが送出するイベントの間で、inputニューロン121、122によって生成される2つの対のイベントの間の最大時間間隔

を再現する。この最大値は、入力においてそれを表す対の第2のイベントの受信後に回路120の出力のところで利用可能である。

図13の最大値を計算するための回路120は、Δt=f(x)となるような関数fが増加関数であるときに機能する。

C.線形演算
C.1.減算
図15は、2つの入力ノード141、142上で同期方式で受信された2つの値x₁、x₂の間の差を計算し、結果x₁-x₂を正の場合に出力ノード143上で、負の場合に別の出力ノード144上で送出する減算回路140を示している。形式(11)の場合と同様に、Δt₁=f(x₁)およびΔt₂=f(x₂)となるような関数fが線形関数であることがここで仮定される。

inputニューロン141、142およびoutput+ニューロン143およびoutput-ニューロン144に加えて、減算回路140は、2つのsyncニューロン145、146および2つの「inb」ニューロン147、148を備える。励起Vシナプス150は、w_e/2の重みを有し、inputニューロン141からsyncニューロン145に進む。励起Vシナプス151は、w_e/2の重みを有し、inputニューロン142からsyncニューロン146に進む。各々w_eの重みを有する3つの励起Vシナプス152、153、154は、syncニューロン145からoutput+ニューロン143、output-ニューロン144、およびinbニューロン147にそれぞれ進む。各々重みw_eを有する3つの励起Vシナプス155、156、157は、syncニューロン146からoutput-ニューロン144、output+ニューロン143、およびinbニューロン148にそれぞれ進む。抑制Vシナプス158は、重みw_iを有し、syncニューロン145からinbニューロン148に進む。抑制Vシナプス159は、重みw_iを有し、syncニューロン146からinbニューロン147に進む。励起Vシナプス160は、w_e/2の重みを有し、output+ニューロン143からinbニューロン148に進む。励起Vシナプス161は、w_e/2の重みを有し、output-ニューロン144からinbニューロン147に進む。抑制Vシナプス162は、2w_iの重みを有し、inbニューロン147からoutput+ニューロン143に進む。抑制Vシナプス163は、2w_iの重みを有し、inbニューロン163からoutput-ニューロン144に進む。シナプス150、151、154、および157〜163は、T_synの遅延に関連付けられる。シナプス152および155は、T_min+3.T_syn+2.T_neuの遅延に関連付けられる。シナプス153および156は、3.T_syn+2.T_neuの遅延に関連付けられる。

図15による減算回路140の演算は、結果x₁-x₂が正である場合について図16によって例示されている。すべて、結果が負の場合も対称的に生じる。

inputニューロン141、142によって同期方式(

)で放出される第1のスパイクは、時刻

にsyncニューロン145、146を電位値V_t/2に設定する。Δt₂<Δt₁の場合の図16の例における時刻

の最小値を与えるinputニューロン、すなわち、ニューロン142上での第2のスパイクの放出は、syncニューロンのうちの1つ、すなわち、この例におけるニューロン146を閾値電圧V_tに設定し、それにより、このニューロン146の出力のところで時刻

にイベントがトリガされる。そこで、以下のようになる。
シナプス159は、inbニューロン147を抑制し、その電位は時刻

に値-V_tに設定される。
シナプス157は、時刻

にイベントを送出するinbニューロン148を励起し、次いで、そのイベントは、シナプス163を介して、output-ニューロン144を抑制し、その電位は時刻

に値-2V_tに設定される。
次いで、シナプス155は、output-ニューロン144を再励起し、その電位は時刻

に値-V_tに設定される。
シナプス156は、時刻

にイベントを送出するoutput+ニューロン143を励起し、次いで、そのイベントは、inbニューロン148を励起し、その電位は、時刻

に放出された前のイベントの後にゼロにリセットされ、時刻

に値V_t/2に設定される。

次いで、時刻

の他のinputニューロン141上での第2のスパイクの放出は、他のsyncニューロン145を閾値電圧V_tに設定し、これはこのニューロン145の出力のところで時刻

にイベントをトリガする。そこで、以下のようになる。
シナプス158は、inbニューロン148を抑制し、その電位は時刻

に値-V_t/2に設定される。
シナプス154は、その膜電位をゼロにリセットするinbニューロン147を励起する。
シナプス152は、時刻

にイベントを送出するoutput+ニューロン143を励起し、次いで、そのイベントは、inbニューロン148を励起し、その電位は時刻

にゼロにリセットされる。
シナプス153は、output-ニューロン144を励起し、その電位は時刻

にゼロにリセットされる。

時刻

および

に、output-ニューロン144によって受信された2つの励起イベントは、時刻

に受信された抑制ベントの後である。結果として、このニューロン144は、Δt₂<Δt₁のときにイベントを放出せず、したがって、結果の符号は、適切に知らされる。

最後に、output+ニューロン143は、間に、inputニューロン141、142によって生成される2つの対のイベントの間の時間間隔Δt_out、すなわち、

を有する2つのイベントを送出する。

減算器回路140の出力のところで正しい符号を有するoutputニューロン上で、間に時間間隔Δt_out=f(x₁-x₂)を有する2つのイベントが適切に得られる。この結果は、最大の絶対値を有する入力対の第2のイベントの受信後に回路の出力のところで利用可能である。

2つの等しい値が、入力のところで与えられたときに、図15に示されている減算器回路140は、2つの平行な経路をアクティベートし、結果は、output+ニューロン143およびoutput-ニューロン144の両方で送出され、inbニューロン147、148には勝利の経路を選択する時間がない。これを回避するために、減算器回路に、zeroニューロン171および高速Vシナプス172〜178を加えて、図17による減算器回路170を形成することが可能である。

図17において、図15と同じように配置構成されているニューロンおよびシナプスの参照番号は、繰り返されない。zeroニューロン171は、w_e/2の重みおよび遅延T_neuを有する2つの励起Vシナプス172、173のレシーバノードであり、一方はsyncニューロン145から来て、他方はsyncニューロン146から来る。これは、w_i/2の重みおよび2.T_neuの遅延を有する2つの抑制Vシナプス174、175のレシーバノードでもあり、一方はsyncニューロン145から来て、他方はsyncニューロン146から来る。zeroニューロン171は、重みw_eおよび遅延T_neuを有するVシナプス176を介して自己励起する。また、これは遅延T_neuを有する2つの抑制Vシナプスのエミッタノードでもあり、一方177はinbニューロン148の方へ向き付けられた重みw_iを有し、他方178はoutput-ニューロン144の方へ向き付けられた2w_iの重みを有する。

zeroニューロン171は、syncニューロン145、146によって送出されるイベントの間の一致の検出器として働く。これら2つのニューロンが関連付けられている入力の第2の符号化スパイクの時刻にのみイベントを送出するとした場合、この時間的一致を検出することは、後者が正しく同期化されている場合に、2つの入力値が等しいことを検出することと同等である。zeroニューロン171は、これがsyncニューロン145、146からT_neu未満の時間間隔だけ隔てられている2つのイベントを受信する場合にのみイベントを生成する。この場合、これは、シナプス178を介してoutput-ニューロン144を直接抑制し、シナプス177を介してinbニューロン148をデアクティベートする。

その結果、図17の減算器回路に与えられる2つの等しい入力値により、2つのイベントがoutput+ニューロン143の出力のところでT_minに等しい時間間隔で隔てられる、すなわち、zeroの差を符号化し、output-ニューロン144上でイベントを引き起こさない。入力値が等しくない場合、zeroニューロン171は、アクティベートされず、減算器は、図15と同じ方式で機能する。

C.2.累算
図18は、重み付けとともに正の入力値の累算を行うための回路180を示している。目標は、accニューロン184内に、加重和

に関係する電位値をロードすることであり、
ここで、α₀、α₁、...α_N-1は正またはzeroの重み付け係数であり、入力値x₀、x₁、...、x_N-1は正またはゼロである。

各入力値x_k(0≦k<N)について、回路180は、inputニューロン181_kおよびinput-ニューロン182_kを備え、ニューロンのそれぞれのグループ20の各部分は図2を参照しつつ上で説明されているグループ20の場合と同じように配置構成される。

ニューロン20のこれらのN個のグループのfirstおよびlastニューロンの出接続は、計算されるべき加重和の係数α_kの関数として構成される。

inputニューロン181_k(0≦k<N)に接続されたfirstニューロンは、α_k.w_accの重みおよびT_min+T_synの遅延を有する励起g_eシナプス182_kのエミッタノードである。inputニューロン181_kに接続されたlastニューロンは、-α_k.w_accの重みおよび遅延T_synを有する抑制g_eシナプス183_kのエミッタノードである。

accニューロン184は、項α_k.x_kを累算する。したがって、各入力kについて、accニューロン184は、励起g_eシナプス182_kおよび抑制g_eシナプス183_kのレシーバノードである。

回路180は、N個のVシナプスのレシーバノードであるsyncニューロン185をさらに備え、各々w_e/Nの重みおよび遅延T_synを有し、それぞれN個のニューロン入力181_k(0≦k<N)に接続されたlastニューロンから来る。syncニューロン185は、重みw_accおよび遅延T_synを有する励起g_eシナプス186のエミッタノードであり、そのレシーバノードは、accニューロン184である。

inputニューロン181_k上でΔt_k=T_min+x_k.T_codによって隔てられている2つのスパイクを有する各入力について、accニューロン184は、持続時間Δt_k-T_min=x_k.T_codにわたって量α_k.V_t/T_maxを積分する。

k個の入力信号のすべての第2のスパイクが受信された後、syncニューロン185はトリガされ、g_eシナプス186を介してaccニューロン184を励起する。accニューロン184の電位は、

に等しい残留時間について増加し続ける。このときに、イベントをトリガするaccニューロン184が閾値V_tに達する。

syncニューロン185によって送出されるものに関するこのイベントの遅延は

である。加重和sは、反転形式(1-s)の回路180によってのみアクセス可能にされる。

回路180は、

という条件の下で説明されたばかりの仕方で機能する。係数α_kは、x_kの可能なすべての値についてこの条件が満たされるように、すなわち、

が成り立つように正規化され得る。

C.3.加重和
重み付き加算回路190は、図19に示されている構造を有することができる。

(16)に従って加重和sの表現を得るために、図18を参照しつつ説明されているもののタイプの加重累算のための回路180が、別のaccニューロン188およびoutputニューロン189に関連付けられる。

accニューロン188は、重みw_accおよび遅延T_synを有する励起g_eシナプス191のレシーバノードであり、励起Vシナプス192のエミッタノードは重みw_eおよびT_min+T_synの遅延を有する。outputニューロン189は、また、重みw_eおよび遅延T_synを有する励起Vシナプス193のレシーバノードでもある。

直線的に変化する累算は、回路180のaccニューロン184において再開するのと同時にaccニューロン188において開始し、2つのaccニューロン184、188はsyncニューロン185から来る同じイベントによってg_eシナプス186、191上で励起される。それらの残留累算時間は、閾値V_tに達するまで、それぞれ、

およびT_maxである。シナプス192は、T_minの相対的遅延を有するので、outputニューロン189上でトリガされる2つのイベントは、間に時間間隔

を有する。

予想される加重和は、回路190の出力のところに表される。N=2およびα₀=α₁=1/2であるときに、この回路190は、単純な加算器回路になり、スケール係数1/2を有し、これによりaccニューロン184におけるオーバーフローを回避する。

C.4.一次結合
一次結合のより一般的な場合も、上記の式(16)で表されるが、係数α_kは、入力値x_kと全く同様に、正または負であってよい。一般性を失うことなく、係数および入力値は、係数α₀、α₁、...、α_M-1が正またはゼロであり、係数α_M+1、α_M+2、...、α_N-1が負(N≧2、M≧0、N-M≧0)になるように順序付けられる。

正または負の値を考慮するために、図20に示されている一次結合計算するための回路200は、図18を参照しつつ説明されているもののタイプの2つの累算回路180A、180Bを備える。

累算回路180Aのinputニューロン181_kは、それぞれ、0≦k<Mに対する係数α_k、およびM≦k<Nに対する反転係数-α_kに関連付けられる。0≦k<Mに対するこれらのinputニューロン181_kは、x_k≧0のときにx_kを表す一対のスパイクを受信し、したがって、これらの値x₀、...、x_M-1に対するinput+タイプのニューロンを形成する。M≦k<Nに対する回路180Aのinputニューロン181_kは、x_k<0のときにx_kを表す一対のスパイクを受信し、したがって、これらの値x_M、...、x_N-1に対するinput-タイプのニューロンを形成する。

加重累算に対する回路180Bのinputニューロン181_kは、それぞれ、0≦k<Mに対する係数-α_k、およびM≦k<Nに対する係数α_kに関連付けられる。0≦k<Mに対するこれらのinputニューロン181_kは、x_k<0のときにx_kを表す一対のスパイクを受信し、したがって、これらの値x₀、...、x_M-1に対するinput-タイプのニューロンを形成する。M≦k<Nに対する回路180Bのinputニューロン181_kは、x_k≧0のときにx_kを表す一対のスパイクを受信し、したがって、これらの値x_M、...、x_N-1に対するinput+タイプのニューロンを形成する。

2つの累算回路180A、180Bは、これにより2N個のVシナプスのレシーバノードであるsyncニューロン185を共有し、各々w_e/Nの重みおよび遅延T_synを有し、2N個のinputニューロン181_kに結合されたlastニューロンから来る。一次結合計算回路200のsyncニューロン185は、したがって、正または負のN個の入力値x₀、...、x_N-1がニューロン181_k上で受信された後にトリガされる。

回路180Aのsyncニューロン185およびaccニューロン184によって送出されるそれぞれのイベントからイベントの間に時間

が経過する。

回路180Bのsyncニューロン185およびaccニューロン184によって送出されるそれぞれのイベントからイベントの間に時間

が経過する。

次いで、図17に示されているもののタイプであってよい減算器回路170は、sの符号を示す出力上で

の表現を生成するために、時間間隔ΔT_AとΔT_Bとを組み合わせる。このために、図20の一次結合計算回路200は、減算器回路170のinputニューロン141、142の方へ向き付けられた、重みw_eおよびT_min+T_synの遅延を有する2つの励起Vシナプス198、199を備える。さらに、重みw_eおよび遅延T_synを有する励起Vシナプス201が回路180Aのaccニューロン184から減算器回路170のinputニューロン141に進む。重みw_eおよび遅延T_synを有する励起Vシナプス202が回路180Bのaccニューロン184から減算器回路170の他のinputニューロン142に進む。

減算器回路170のoutput-ニューロン144およびoutput+ニューロン143は、それぞれ、重みw_eおよび遅延T_synを有する励起Vシナプス205、206を介して、一次結合を計算するための回路200の出力を形成する2つの他のoutput+ニューロン203およびoutput-ニューロン204に接続される。

トリガされるこれら2つのニューロンのうちの一方は、一次結合の結果sの符号を指示する。これは、時間間隔

で隔てられた一対のイベントを送出する。

この結果が利用可能であることは、減算器回路170のoutput+ニューロン143およびoutput-ニューロン144から来る、重みw_eおよび遅延T_synを有する、2つの励起Vシナプス208、209を受信する「start」ニューロン207によって外部で指示される。startニューロン207は、重みw_iおよび遅延T_synを有する、Vシナプス210を介して自己抑制する。startニューロン207は、スパイクを、アクティベートされるoutput+ニューロン203またはoutput-ニューロン204の第1のスパイクと同時に送出する。

係数α_kは、条件

および

がx_kの可能なすべての値について満たされるように、すなわち、

となるように、正規化することができ、一次結合を計算するための回路200が上で説明されているように機能するようにできる。したがって、結果において正規化係数が考慮されなければならない。

D.非線形演算
D1.対数
図21は、数x∈]0,1]の自然対数を計算するための回路210を示しており、その符号化された表現は、Δt=f(x)=T_min+x.T_codとして時刻

および

(図22)に2つのイベントが生じるという形でinputニューロン211によって生成される。

inputニューロン211は、図2を参照しつつ説明されているものに類似するノード20のグループに属す。このグループ20のfirstニューロン213は、重み

およびT_min+T_synの遅延を有する励起g_eシナプス212のエミッタノードであり、lastニューロン215は、

の重みおよび遅延T_synを有する抑制g_eシナプス214のエミッタノードである。2つのg_eシナプス212、214は、レシーバノードと同じaccニューロン216を有する。lastニューロン215からaccニューロン216まで、重み

および遅延T_synを有するg_fシナプス217、ならびに1の重みおよび遅延T_synを有するgateシナプス218もある。

回路210は、lastニューロン215から来る重みw_eおよび2.T_synの遅延を有する励起Vシナプス221、ならびにaccニューロン216から来る重みw_eおよびT_min+T_synの遅延を有する励起Vシナプス222のレシーバノードであるoutputニューロン220をさらに備える。

図21による対数計算回路210の演算は、図22に例示されている。

inputニューロン211で時刻

に第1のスパイクを放出すると、時刻

にfirstニューロン213の出力でイベントがトリガされる。firstニューロン213は、g_eシナプス212を介して時刻

にaccニューロン216による累算を開始する。

inputニューロン211で時刻

に第2のスパイクを放出すると、lastニューロン215は時刻

にイベントを送出させられる。g_eシナプス214によってトランスポートされるこのイベントは、時刻

にaccニューロン216によって実行された累算を停止する。このときに、電位値V_t.xは、accニューロン216に記憶される。

シナプス217および218を介して、lastニューロン215は、g_fシナプス217およびgateシナプス218を介して同じ時刻

にaccニューロン216上で指数関数的変化をさらにアクティベートする。代替的に、g_fシナプス217によってトランスポートされるイベントは、また、他の演算がデバイス内で実行されている間に、後者において、電位値V_t.xを記憶することが望ましい場合にその後accニューロン216に届く可能性もあることに留意されたい。

シナプス217および218によるアクティベーションの後に、accニューロン216の構成要素g_fは

に従って変化し、
その膜電位は

に従って変化する。

この電位V(t)は、閾値V_tに達し、時刻

にVシナプス222上でイベントをトリガする。

時刻

におけるVシナプス221により、第1のイベントがoutputニューロン220上でトリガされる。シナプス222によってトリガされる第2のイベントは、時刻

に生じる。

最後に、outputニューロン220によって送出される2つのイベントは、時間間隔

で隔てられる。

入力値xの自然対数log(x)に比例する数の表現は、出力で適切に得られる。0<x≦1なので、対数log(x)は負の値である。

Aを値

と呼ぶとすれば、図21の回路210は、A≦x≦1となるような実数xの表現を受信したときにlog_A(x)の表現を送出するが、ただし、log_A(.)はAを底とする対数の演算を表す。われわれが、形式(11)において、outputニューロン220によって送出される2つのイベントの間の時間間隔がT_maxを超え得ると考えた場合に、回路210は、0<x≦1である任意の数xに対するlog_A(x)の表現を送出する。

D.2.累乗
図23は、数x∈[0,1]に対する累乗回路230を示しており、その符号化された表現は、Δt=f(x)=T_min+x.T_codとして時刻

および

(図24)に2つのイベントが生じるという形でinputニューロン231によって生成される。

inputニューロン231は、図2を参照しつつ説明されているものに類似するノード20のグループに属す。このグループ20のfirstニューロン233は、重みg_multおよびT_min+T_synの遅延を有するg_fシナプス232、さらには1の重みおよびT_min+T_synの遅延を有する励起gateシナプス234のエミッタノードである。グループ20のlastニューロン235は、-1の重みおよび遅延T_synを有する抑制gateシナプス236、さらには重み

および遅延T_synを有する励起g_eシナプス237のエミッタノードである。これらのシナプスは、レシーバノードと同じaccニューロン238を有する。

回路230は、lastニューロン235から来る重みw_eおよび2.T_synの遅延を有する励起Vシナプス241、ならびにaccニューロン238から来る重みw_eおよびT_min+T_synの遅延を有する励起Vシナプス242のレシーバノードであるoutputニューロン240をさらに備える。

図23による累乗回路230の演算は、図24に例示されている。

inputニューロン231で時刻

に第1のスパイクを放出すると、時刻

にfirstニューロン233の出力でイベントがトリガされる。firstニューロン233は、g_fシナプス232およびgateシナプス234を介して時刻

にaccニューロン238での指数関数的に増大する累算を開始する。

accニューロン238の構成要素g_fは、

に従って変化し、その膜電位は、

に従って変化する。

inputニューロン231で時刻

に第2のスパイクを放出すると、lastニューロン235は時刻

にイベントを送出させられる。gateシナプス236によってトランスポートされるこのイベントは、時刻

にaccニューロン238によって実行された指数関数的に変化する累算を停止する。このときに、電位値V_t.(1-A^x)は、accニューロン238に記憶され、上記のように、

である。g_eシナプス237を介して、lastニューロン235は、accニューロン238上で重み

を有する線形力学を、同じ時刻

にさらにアクティベートする。

したがって、ニューロン238の膜電位は、

に従って変化する。

この電位V(t)は、閾値V_tに達し、時刻

にVシナプス222上でイベントをトリガする。

時刻

におけるVシナプス241により、第1のイベントがoutputニューロン240上でトリガされる。シナプス242によってトリガされる第2のイベントは、時刻

に生じる。

最後に、outputニューロン240によって送出される2つのイベントは、時間間隔

で隔てられる。

そこで、図23の回路230は、0から1の範囲内の数xの表現を受信したときにA^xの表現を送出する。この回路は、1よりも大きい入力値xを受け付け(Δt>T_max)、また、そのoutputニューロン240上でA^xの表現を送出する。

図23の回路230は、図21の回路210によって実行される演算の逆演算を実行する。

これは、対数計算回路と累乗回路との間に単純な演算を使用して様々な非線形計算を実装するために使用され得る。たとえば、2つの対数の和で乗算を実行させることができ、2つの対数の減算で除算を実行させることができ、対数をn回足した和で数xをn乗することができる。

D.3.乗算
図25は、2つの値x₁、x₂の積を計算する乗算器回路250を示しており、その符号化された表現は、それぞれ、Δt₁=f(x₁)=T_min+x₁.T_codおよびΔt₂=f(x₂)=T_min+x₂.T_codとして、値x₁については時刻

および

に、値x₂(図25)については時刻

および

に生じるイベントの2つの対の形態で2つのinputニューロン251₁、251₂によって生成される。

各inputニューロン251_k(k=1または2)は、図2を参照しつつ説明されているものに類似するノード20_kのグループに属す。このグループ20_kのfirstニューロン253_kは、重み

およびT_min+T_synの遅延を有する励起g_eシナプス252_kのエミッタノードであり、lastニューロン255_kは、

の重みおよび遅延T_synを有する抑制g_eシナプス254_kのエミッタノードである。ノード20_kのグループからの2つのg_eシナプス252_k、254_kは、レシーバノードとして、図21のaccニューロン216と同様の役割を果たす、同じaccニューロン256_kを有する。

回路250は、それぞれlastニューロン255₁、255₂から来るw_e/2の重みおよび遅延T_synを有する2つの励起Vシナプス261₁、261₂のレシーバノードであるsyncニューロン260をさらに備える。重みg_multおよび遅延T_synを有するg_fシナプス262、ならびに1の重みおよび遅延T_synを有する励起gateシナプス264は、syncニューロン260からaccニューロン256₁に進む。

重みg_multおよび遅延T_synを有するg_fシナプス265、ならびに1の重みおよび遅延T_synを有する励起gateシナプス266は、accニューロン256₁からaccニューロン256₂に進む。

回路250は、図23のaccニューロン238と同様の役割を果たす別のaccニューロン268を備える。accニューロン268は、重みg_multおよび3T_synの遅延を有するg_fシナプス269、ならびに1の重みおよび3T_synの遅延を有する励起gateシナプス270のレシーバノードであり、両方ともsyncニューロン260から来る。さらに、accニューロン268は、-1の重みおよび遅延T_synを有する抑制gateシナプス271、ならびに重み

および遅延T_synを有する励起g_eシナプス272のレシーバノードであり、両方ともaccニューロン256₂から来る。

最後に、回路250は、accニューロン256₂から来る、重みw_eおよび2T_synの遅延を有する励起Vシナプス275、ならびにaccニューロン268から来る、重みw_eおよびT_syn+T_synの遅延を有する励起Vシナプス276のレシーバノードであるoutputニューロン274を有する。

図25による乗算器回路250の演算は、図26に例示されている。

2つのaccニューロン256₁、256₂の各々は、それぞれ、最初に図21のaccニューロン216に似た挙動を示し、線形数列278₁、278₂はx₁.T_cod、x₂.T_codのそれぞれの持続時間を有する第1の期間に重み

を有し、それにより、電位値V_t.x₁およびV_t.x₂はaccニューロン256₁、256₂内に記憶される。

最小値を有するinputニューロン(x₁>x₂である図26に示されている例におけるinputニューロン251₂)で時刻

に第2のスパイクを放出することにより、時刻

にg_eシナプス254₂を介して対応するaccニューロン256₂における直線的に変化する累算を停止する。したがって、このaccニューロン256₂の膜電位は、シナプス265、266を介してその再アクティベーションまで持続するプラトー279を有する。時刻

に、syncニューロン260の電位は、Vシナプス261₂を介してlastニューロン255₂からイベントが受信されたことで、値V_t/2になる。

最大値を有するinputニューロン(図26の場合のinputニューロン251₁)で時刻

に第2のスパイクを放出することにより、時刻

にg_eシナプス254₁を介して対応するaccニューロン256₁における直線的に変化する累算を停止する。それと同時に、このsyncニューロン260の電位は、Vシナプス261₁上でイベントが受信されたことにより、値V_tに達する。この結果、シナプス262および264上で時刻

にイベントを放出する。次いで、指数関数的変化280₁は、時刻

に直線的な変化278₁の代わりにaccニューロン256₁においてアクティベートされる。並行して、シナプス269、270は、時刻

にaccニューロン268において指数関数的変化281をアクティベートする。

accニューロン256₁の電位は、値V_tに達し、時刻

にシナプス265、266上でイベントをトリガする。

指数関数的変化280₁は、時刻

にaccニューロン256₂でアクティベートされる。このaccニューロン256₂の電位は、閾値V_tに達し、時刻

にシナプス271、272、275上でイベントをトリガする。gateシナプス271は、時刻

にaccニューロン268における指数関数的変化281をデアクティベートし、同時に、accニューロン268における直線的な変化282は、値

から開始して、g_eシナプス272を介してアクティベートされる。

Vシナプス275は、時刻

にoutputニューロン274上で第1のスパイクの放出をトリガする。

accニューロン268は、閾値Vtに達し、時刻

にVシナプス276上でイベントをトリガする。この結果、時刻

にoutputニューロン274で第2のスパイクを放出する。

最後に、outputニューロン268によって送出される2つのイベントは、時間間隔

で隔てられる。

そこで、図25の回路250は、outputニューロン268上で、Aと1との間の2つの数x₁、x₂の積x₁.x₂の表現を送出し、そのそれぞれの表現を、inputニューロン251₁、251₂上で受信する。

このために、イベントの対は、syncニューロン260が同期を処理するので、inputニューロン251₁、251₂上で同期方式で受信されなければならないということはなかった。

D.4.符号付き乗算
図27は、2つの符号付き値x₁、x₂の積を計算する乗算器回路290を示している。図27に示されているすべてのシナプスは、遅延T_synを有する。

各入力値x_k(1≦k≦2)について、乗算器回路290は、重みw_eを有する2つのそれぞれのVシナプス293_kおよび294_kのエミッタノードであるinput+ニューロン291_kおよびinput-ニューロン292_kを備える。Vシナプス293₁および294₁は、図25に示されているタイプの乗算器回路250のinputニューロン251₁の方へ向き付けられるが、Vシナプス293₁および294₁は、回路250の他のinputニューロン251₂の方へ向き付けられる。

乗算器回路290は、回路250のoutputニューロン274から来る重みw_eを有する2つのそれぞれの励起Vシナプス297および298のレシーバノードであるoutput+ニューロン295およびoutput-ニューロン296を有する。

乗算器回路290は、乗算の結果の符号を選択するための論理を形成するように接続されている4つのsignニューロン300〜303も備える。各signニューロン300〜303は、4つのinputニューロン291_k、292_kのうちの2つから来るw_e/4の重みを有する2つのそれぞれの励起Vシナプスのレシーバノードである。input+ニューロン291₁、291₂に接続されているsignニューロン300は、2つの正の入力x₁、x₂の受信を検出する。これは、output-ニューロン296に進む2w_iの重みを有する抑制Vシナプス305のエミッタノードを形成する。input-ニューロン292₁、292₂に接続されているsignニューロン303は、2つの負の入力x₁、x₂の受信を検出する。これは、output-ニューロン296に進む2w_iの重みを有する抑制Vシナプス308のエミッタノードを形成する。input-ニューロン292₁およびinput+ニューロン292₁に接続されているsignニューロン301は、負の入力x₁および正の入力x₂の受信を検出する。これは、output+ニューロン295に進む2w_iの重みを有する抑制Vシナプス306のエミッタノードを形成する。input+ニューロン291₁およびinput-ニューロン292₂に接続されているsignニューロン302は、正の入力x₁および負の入力x₂の受信を検出する。これは、output+ニューロン295に進む2w_iの重みを有する抑制Vシナプス307のエミッタノードを形成する。

抑制Vシナプスは、signニューロン300〜303の間に配置構成され、これにより、それらのうちの1つのみが、output+ニューロン295およびoutput-ニューロン296のうちの一方を抑制するように働くことを確実にする。したがって、積の符号(+または-)に対応する各signニューロン300〜303は、反対符号に対応する2つのsignニューロンにそれぞれ進むw_e/2の重みを有する2つの抑制Vシナプスのエミッタノードである。

こうして配置構成されている図27の回路290は、2つの数x₁、x₂が入力291_k、292_k上でそれぞれの符号とともに提示されたときに、x₁.x₂の符号に従って、その出力295、296のうちの一方の上で時間間隔f(|x₁.x₂|)で隔てられた2つのイベントを送出する。

図17の場合のように、入力の1つでゼロを検出するための論理回路が追加されてよく、これにより、ゼロの入力がoutput+ニューロン295上で生成されるがoutput-ニューロン296上では生成されない2つのイベントの間の時間間隔T_minをもたらすことを確実にする。

E.微分方程式の解法
E.1.積分
図28は、input+ニューロン311およびinput-ニューロン312の対のニューロン上で符号付き形式で与えられる微分係数から信号を再構成する回路310を示している。積分された信号は、その符号に従って、output+ニューロン313およびoutput-ニューロン314の対のニューロンによって与えられる。図28に示されているシナプス321〜332は、すべて重みw_eを有する励起Vシナプスである。これらはすべて、遅延がT_min+T_synであるシナプス329を除いて、遅延T_synを有する。

積分を実行するために、回路310は、図20に示されているタイプの一次結合回路200を使用し、ここで、N=2、係数α₀=1およびα₁=dt、dtは選択された積分ステップサイズとする。

input+ニューロン311およびinput-ニューロン312は、それぞれ、2つのVシナプス321、322によって係数α₁=dtに関連付けられている回路200のinput+およびinput-ニューロン181₁に接続される。

係数α₀=1に関連付けられている、回路200の他のinput+およびinput-ニューロン181₁は、それぞれ、回路217の2つのoutput+ニューロン315およびoutput-ニューロン316に2つのVシナプス323、324によって接続され、その役割は積分プロセスに対する初期化値x₀を与えることである。回路317は、実質的に、図1に示されている方式で同じrecallニューロン15に接続されているoutput+ニューロン315およびoutput-ニューロン316の対からなる。

積分回路310の別のinitニューロン318は、シナプス325のエミッタノードであり、そのレシーバノードは、回路317のrecallニューロン15である。initニューロン318は、積分器に、回路317に記憶されている初期値x₀をロードする。

シナプス326、327は、一次結合回路200のoutput+ニューロン143からそのinput+ニューロン181₀に、積分回路200のoutput-ニューロン144からそのinput-ニューロン181₀にフィードバックを送るように配置構成される。

startニューロン319は、積分回路180のinput+ニューロン181₁上で時間間隔T_minで隔てられた2つのイベントの形でゼロ値を供給する2つのシナプス328、329のエミッタノードである。

一次結合回路200のoutput+ニューロン143およびoutput-ニューロン144は、2つのシナプス330、331のそれぞれのエミッタノードであり、そのレシーバノードは、それぞれ、積分回路310のoutput+ニューロン313およびoutput-ニューロン314である。

最後に、積分回路310は、一次結合回路200のstartニューロン207から来るシナプス332のレシーバノードであるnew inputニューロン320を有する。

初期値x₀は、その符号に従って、initニューロン318、次いでstartニューロン319がアクティベートされた後に、output+ニューロン313またはoutput-ニューロン314上で送出される。それと同時に、new inputニューロン320によってイベントが送出される。このイベントは、回路310の環境に、k=0の場合の微分値g'(k.dt)を与えることができることを知らせるものである。微分値g'(k.dt)がinput+ニューロン311またはinput-ニューロン312上で与えられるとすぐに、新しい積分値がoutput+ニューロン313またはoutput-ニューロン314によって送出され、new inputニューロン320によって送出された新しいイベントが、回路310の環境に、次の微分値g'((k+1).dt)が与えられ得ることを知らせる。このプロセスは、微分値g'(k.dt)が与えられる(k=0、1、2、など)限り繰り返される。

(k+1)次微分値g'(k.dt)が積分器回路310に与えられた後、値の表現

が出力のところで得られ、これは、付加定数まで、T=(k+1).dtである場合に

の近似となっている。

図1〜図28を参照しつつ上で説明されている回路は、入力および/または出力のところで、操作される値が、ニューロンによって受信されるかまたは送出されるイベントの間の時間間隔によって表される多数のタイプの計算を実行するように組み立てられ、構成され得る。

特に、図29、図31、および図33は、微分方程式を解くために使用される本発明による処理デバイスの例を示している。計算は、これらの図のように製作された回路により、純粋に一例として、すなわち、τ_m=100s、τ_f=20ms、V_t=10mV、T_min=10ms、およびT_cod=100msのように選択したパラメータを用いて実行された。

E.2.一階微分方程式
図29は、微分方程式

の解を求める処理デバイスを示しており、
ここで、τおよびX_∞は様々な値を取り得るパラメータである。図29に示されているシナプスは、すべて重みw_eおよび遅延T_synを有する励起Vシナプスである。

方程式(24)を解くために、図29のデバイスでは、
N=2および係数α₀=-1/τおよびα₁=+1/τとした、図20に示されているような一次結合回路200と、
積分ステップサイズをdtとした、図28に示されているような積分器回路310と、
図28を参照しつつ説明されている回路317のように、定数X_∞を、X_∞の符号に従って、output+ニューロン315またはoutput-ニューロン316のいずれかによって送出される2つのスパイクの間の時間間隔f(|X_∞|)の形で与えるための回路317とを使用する。

定数X_∞は、積分器回路310のnew inputニューロン320から来るシナプス340のレシーバノードであるrecallニューロン15の各アクティベーションの後に一次結合回路200内の係数α₁=1/τに関連付けられているinput+およびinput-ニューロン181₁のうちの1つで与えられる。2つのシナプス341、342は、積分器回路310の出力ノードoutput+313から一次結合回路200の他の入力ノードinput+181₀に、および回路310の出力ノードoutput-314から回路200の他の入力ノードinput-181₀にフィードバックを送る。2つのシナプス343、344は、一次結合回路200の出力ノードoutput+203から積分器回路310の入力ノードinput+311へ進み、それぞれ、回路200の出力ノードoutput+204から回路310の入力ノードinput-312に進む。

図29のデバイスは、積分器回路310のoutput+ニューロン313およびoutput-ニューロン314から来る2つのシナプスのレシーバノードであるoutput+ニューロン346とoutput-ニューロン347の対を有する。

initニューロン348およびstartニューロン349は、積分のプロセスを初期化し、開始することを可能にする。initニューロン348は、初期値を積分器回路310にロードするために積分プロセスの前にトリガされなければならない。startニューロン349は、回路310から第1の値を送出するようにトリガされる。

図29のデバイスは、前の図を参照しつつ説明されているような構成要素が使用される場合に118個のニューロンを使用して作られる。ニューロンのこの数は、最適化を介して減らすことができる。

パラメータτ、X_∞の様々なセットを使用し、積分ステップサイズdt=0.5とした場合のこのデバイスのシミュレーションの結果が、τの様々な値について図30Aに、またX_∞の様々な値について図30Bに、提示されている(X_∞=-0.2、X_∞=0.1、X_∞=-0.4)。図30Aおよび図30Bに示されている曲線C1-C3、C'1-C'3の各点は、output+ニューロン346またはoutput-ニューロン347によって送出される一対のスパイクによって符号化されたそれぞれの出力値に対応する。微分方程式(24)の解X(t)についてこうして得られた曲線は、(解析解を介して)予想されているものに対応することが観察される。

E.3.二階微分方程式
図31は、微分方程式

の解を求める処理デバイスを示しており、
ここで、ξおよびω₀は様々な値を取り得るパラメータである。図31に示されているシナプスは、すべて重みw_eおよび遅延T_synを有する励起Vシナプスである。この例で操作される値はすべて正であるので、正の値に対する経路と負の値に対する経路とについて異なる2つの経路を用意する必要はない。したがって、正の値に関係する経路のみが含まれる。

方程式(25)を解くために、図31のデバイスでは、
N=3および係数α₀=α₂=ω₀ ²およびα₁=-ξ.ω₀とした、図20に示されているような一次結合回路200と、
積分ステップサイズをdtとした、図28に示されているものに似た2つの積分器回路310A、310Bと、
図1を参照しつつ説明されている回路のように、定数X_∞を、outputニューロン16によって送出される2つのスパイクの間の時間間隔f(X_∞)の形で与えるための回路317(X_∞>0)とを使用する。

定数X_∞は、第2の積分器回路310Bのnew inputニューロン320から来るシナプス350のレシーバノードであるrecallニューロン15の各アクティベーションの後に一次結合回路200内の係数α₂=ω₀ ²に関連付けられているinputニューロン181₂のところで与えられる。2つのシナプス351、352は、第2の積分器回路310Bの出力ノードoutput313から係数α₁=-ξ.ω₀に関連付けられている一次結合回路200の入力ノードinput181₁へ、それぞれ、第1の積分器回路310Aの出力ノードoutput313から係数α₀=ω₀ ²に関連付けられている、回路200の他の入力ノードinput181₀へフィードバックを送る。シナプス353は、一次結合回路200の出力ノードoutput203から第1の積分器回路310Aの入力ノードinput311に進む。シナプス354は、第1の積分器回路310Aの出力ノードoutput313から第2の積分器回路310Bの入力ノードinput311に進む。

図31のデバイスは、第2の積分器回路310Bのoutputニューロン313から来るシナプスのレシーバノードであるoutputニューロン356を有する。

initニューロン358およびstartニューロン359は、積分のプロセスを初期化し、開始することを可能にする。initニューロン358は、初期値を積分器回路310A、310Bにロードするために積分プロセスの前にトリガされなければならない。startニューロン359は、第2の積分器回路310Bから第1の値を送出するようにトリガされる。

図31のデバイスは、前の図を参照しつつ説明されているような構成要素が使用される場合に187個のニューロンを使用して作られる。ニューロンのこの数は、最適化を介して減らすことができる。

パラメータξ、ω₀の様々なセットを使用し、積分ステップサイズdt=0.2およびX_∞=-0.5とした場合のこのデバイスのシミュレーションの結果が、ω₀の様々な値について図32Aに、またξの様々な値について図32Bに、提示されている。図32Aおよび図32Bに示されている曲線D1-D3、D'1-D'3の各点は、outputニューロン356によって送出される一対のスパイクによって符号化されたそれぞれの出力値に対応する。微分方程式(25)の解X(t)についてこうして得られた曲線はここでもまた予想されているものに対応することは明らかである。

E.4.非線形微分方程式系の解法
図33は、決定論的非周期性フローのモデリングのためにE. Lorenzによって提案された非線形微分方程式系

の解を求める処理デバイスを示している(「Deterministic Nonperiodic Flow」、Journal of the Atmospheric Sciences、第20巻、第2号、130〜141頁、1963年3月)。

モデル化されたシステムがカオス的挙動を示すことを確実にするために、図33のデバイスは、パラメータσ=10、β=8/3、およびρ=28の選択でシミュレートされた。変数は、状態変数X、Y、およびZを得るためにスケーリングされ、上記の形式(11)で表すことが可能であるように各々区間[0,1]内で変化する。システムの初期状態は、X=-0.15、Y=-0.20、およびZ=0.20に設定された。使用される積分ステップサイズはdt=0.01であった。

図33に示されているシナプスは、すべて重みw_eおよび遅延T_synを有する励起Vシナプスである。図面を簡素化するために、1つの経路のみが図示されているが、毎回、変数の正の値に1つの経路、それに並行して、負の値に1つの経路があることは理解されるべきである。

方程式系(26)を解くために、図33のデバイスでは、
X、Y、およびZの微分に含まれる非線形性を計算するために図27に示されているものに似た2つの符号付き乗算器回路290A、290Bと、
X、Y、およびZの微分を計算するために図20に示されているものに似た3つの一次結合回路200A、200B、200Cと、
システムの状態を変化させる前に3つの微分が計算されるのを待つためにN=3とした場合の図8に示されているもののタイプの符号付きシンクロナイザ回路90と、
微分係数X、Y、およびZから新しい状態を計算するために図28に示されているものに似たステップサイズdtを有する3つの積分器回路310A、310B、310Cとを使用する。

一次結合回路200Aは、N=2および係数α₀=σおよびα₁=-σとなるように構成される。inputニューロン181A₀は、積分器回路310Aのoutputニューロン313Aから励起され、inputニューロン181A₁は、積分器回路310Bのoutputニューロン313Bから励起される。outputニューロン203Aは、inputニューロン91₀からシンクロナイザ回路90まで及ぶシナプスのエミッタノードである。

一次結合回路200Bは、N=3および係数α₀=ρおよびα₁=α₂=-1となるように構成される。inputニューロン181B₀は、積分器回路310Bのoutputニューロン313Bから励起され、inputニューロン181B₁は、積分器回路310Aのoutputニューロン313Aから励起され、inputニューロン181B₂は、乗算器回路290Aのoutputニューロン295Aから励起される。outputニューロン203Bは、inputニューロン91₁からシンクロナイザ回路90に至るシナプスのエミッタノードである。

一次結合回路200Cは、N=2および係数α₀=1およびα₁=-βとなるように構成される。inputニューロン181C₀は、乗算器回路290Bのoutputニューロン295Bから励起され、inputニューロン181C₁は、積分器回路310Cのoutputニューロン313Cから励起される。outputニューロン203Cは、inputニューロン91₂からシンクロナイザ回路90まで及ぶシナプスのエミッタノードである。

3つのシナプスは、それぞれ、シンクロナイザ回路90のoutputニューロン92₀から積分器回路310Aのinputニューロン311Aに進み、回路90のoutputニューロン92₁から積分器回路310Bのinputニューロン311Bに進み、回路90のoutputニューロン92₂から積分器回路310Cのinputニューロン311Cに進む。

乗算器回路290Aのinputニューロン291A₁は、積分器回路310Aのoutputニューロン313Aから励起され、inputニューロン291A₂は、積分器回路310Cのoutputニューロン313Cから励起される。乗算器回路290Bのinputニューロン291B₁は、積分器回路310Aのoutputニューロン313Aから励起され、inputニューロン291B₂は、積分器回路310Bのoutputニューロン313Bから励起される。

図33のデバイスは、積分器回路310A、310B、310Cのoutputニューロン313A、313B、および313Cから来る3つのそれぞれの励起Vシナプスのレシーバノードである3つのoutputニューロン361、362、および363を有する。これら3つのoutputニューロン361〜363は、一対のイベントを送出し、その間隔は、方程式系(26)について計算された解{X(t),Y(t),Z(t)}の値を表す。

図33のデバイスは、前の図を参照しつつ説明されているような構成要素が使用される場合に549個のニューロンを使用して作られる。ニューロンのこの数は、最適化を介して著しく減らすことができる。

図34内の点は、各々、それぞれ図33に示されているデバイスのシミュレーションを例示する三次元グラフ内の3つのoutputニューロン361〜363によって送出される3対のスパイクによって符号化された出力値の三つ組み{X(t),Y(t),Z(t)}に対応する。点Pは、シミュレーションの初期化値X(0)、Y(0)、およびZ(0)を表す。他の点は、図33のデバイスによって計算された三つ組みを表す。

この系は、Lorenzによって説明されているストレンジアトラクターに従って予想通りの挙動を示す。

F.議論
一組の処理ノードにおけるイベントの間の時間間隔の形態でデータを表現する提案されている計算アーキテクチャは、非常に効率よく高速に初等関数を実行する比較的単純な回路を設計することを可能にすることが示された。一般に、計算の結果は、様々な入力データが提供されるとすぐに利用可能である(わずかなシナプス遅延で可能)。

これらの回路は、より高度な計算を実行するように組み立てられ得る。これらは、強力な計算構造が構築できる一種の基本構造を形成する。これの例は、微分方程式の解に関して示されている。

基本回路が組み立てられるときに、使用されるニューロンの数を最適化することが可能である。たとえば、回路のいくつかが、inputニューロン、および/またはoutputニューロンおよび/またはfirst、lastニューロンとともに説明された。実際、基本回路間のインターフェースにおけるこれらのニューロンは、実行される機能を変更することなく排除され得る。

処理ノードは、典型的には、行列として構成される。これは、FPGAを使用する実装に特に十分役立つ。

処理デバイスの例示的な実装における、一組の処理ノード、またはこの一組のノードの一部を形成するプログラム可能なアレイ400は、図35に概略が示されている。アレイ400は複数のニューロンからなり、これらはすべてその接続で受信されたイベントに従って同じ挙動モデルを有する。たとえば、挙動は、上で示されている方程式(1)によってモデル化することができ、この場合、アレイの様々なノードに対してパラメータτ_mおよびτ_fは同一である。

プログラミングまたは構成論理回路420は、アレイ400のノードの間の接続のシナプス重みおよび遅延パラメータを調整するためにアレイ400に関連付けられる。この構成は、人工ニューラルネットワークの分野における決まり切った慣例である方式に類似する方式で実行される。この文脈において、接続のパラメータの構成は、実行される計算プログラムに従って、時間間隔とそれらが表す値との間で使用される関係、たとえば、関係式(11)を考慮しながら実行される。プログラムが基本演算に細分される場合、その構成は、上で説明されたもののタイプの回路の組み立ての結果行うことができる。この構成は、マンマシンインターフェースを備える制御ユニット410の制御の下で行われる。

制御ユニット410の別の役割は、好適な時間間隔で隔てられたイベントの形態で、プログラム可能なアレイ400に入力値を渡し、アレイ400の処理ノードが計算を実行し、結果を送出することである。これらの結果は、ユーザに、またはそれらを使用するアプリケーションに提示されるように制御ユニット410によって素早く復元される。

この計算アーキテクチャは、超並列計算を高速に実行するのに最適である。

さらに、このタイプの構成に最適であるアルゴリズムの実行のために、計算のパイプライン構成をとることは比較的容易である。

上で説明されている実施形態は、本発明を例示したものである。付属の請求項に示されている本発明の範囲から逸脱することなく様々な修正を加えることができる。

10 回路
11、12 Vシナプス
15 recallニューロン
16 outputニューロン
18 処理回路
18 反転メモリデバイス
20 ノード
20 グループ
21 inputニューロン
21₀、...、21_N-1 inputニューロン
21_k inputニューロン
22、24 励起Vシナプス
23 「first」ニューロン
24 Vシナプス
25 「last」ニューロン
26、27 g_eシナプス
28 Vシナプス
30 accニューロン
31 recallニューロン
32 励起Vシナプス
33 outputニューロン
34 励起Vシナプス
35 励起Vシナプス
40 処理回路
40 メモリ回路
40₀、...、40_N-1 メモリ回路
40_k メモリ回路
41 g_eシナプス
42 第1のaccニューロン
43 g_eシナプス
44 第2のaccニューロン
45 g_eシナプス
46 Vシナプス
47 readyニューロン
47₀、...、47_N-1 readyニューロン
48 recallニューロン
48₀、...、48_N-1 recallニューロン
49 Vシナプス
50 outputニューロン
50₀、...、50_N-1 outputニューロン
50k outputニューロン
51 g_eシナプス
52 Vシナプス
60 処理回路
60 符号付きメモリ回路
61 input+ニューロン
62 input-ニューロン
63、64 励起Vシナプス
65 ready+ニューロン
66 ready-ニューロン
67、68 励起Vシナプス
70 recallニューロン
71、72 励起Vシナプス
73、74 励起Vシナプス
75 抑制Vシナプス
76 抑制Vシナプス
77 抑制Vシナプス
78 抑制Vシナプス
79、80 励起Vシナプス
81 output+ニューロン
82 output-ニューロン
84 readyニューロン
85 励起Vシナプス
90 処理回路
90 符号付きシンクロナイザ回路
91₀、...、91_N-1 ニューロン入力
91₀ inputニューロン
91₁ inputニューロン
91₂ inputニューロン
92₀、...、92_N-1 ニューロン出力
92₀ outputニューロン
92₁ outputニューロン
92₂ outputニューロン
91_k inputニューロン
92_k outputニューロン
93_k Vシナプス
94_k Vシナプス
95 syncニューロン
96₀、...、96_N-1 励起Vシナプス
97₀、...、97_N-1 励起Vシナプス
97 Vシナプス
98 シンクロナイザ回路
99 ニューロン
99 output refニューロン
100 処理回路
101、102 入力ノード
101 inputニューロン
102 inputニューロン
103 出力ノード
103 outputニューロン
104 smallerニューロン
105 smallerニューロン
106〜115 シナプス
106 励起Vシナプス
107 励起Vシナプス
108 励起Vシナプス
109 励起Vシナプス
110 励起Vシナプス
111 励起Vシナプス
112 抑制Vシナプス
113 抑制Vシナプス
114 抑制Vシナプス
115 抑制Vシナプス
120 処理回路
121、122 入力ノード
123 出力ノード
124 largerニューロン
125 largerニューロン
126 励起Vシナプス
127 励起Vシナプス
128 励起Vシナプス
129 励起Vシナプス
132 抑制Vシナプス
133 抑制Vシナプス
140 減算回路
141、142 入力ノード
141 inputニューロン
142 inputニューロン
143 出力ノード
143 output+ニューロン
144 output-ニューロン
145 syncニューロン
146 syncニューロン
147 inbニューロン
148 inbニューロン
150、151、154、157〜163 シナプス
150 励起Vシナプス
151 励起Vシナプス
152、153、154 励起Vシナプス
155、156、157 励起Vシナプス
159 抑制Vシナプス
160 励起Vシナプス
161 励起Vシナプス
162 抑制Vシナプス
163 inbニューロン
163 抑制Vシナプス
170 減算器回路
171 zeroニューロン
172〜178 高速Vシナプス
172、173 励起Vシナプス
174、175 抑制Vシナプス
176 Vシナプス
177、178 シナプス
180 回路
180A、180B 累算回路
181₀ 入力ノードinput+
181₀ 入力ノードinput-
181A₀ inputニューロン
181A₁ inputニューロン
181B₀ inputニューロン
181B₁ inputニューロン
181B₂ inputニューロン
181C₀ inputニューロン
181C₁ inputニューロン
181_k inputニューロン
182_k input-ニューロン
182k 励起g_eシナプス
183k 抑制g_eシナプス
184 accニューロン
185 syncニューロン
186 励起g_eシナプス
188 accニューロン
189 outputニューロン
190 重み付き加算回路
191 励起g_eシナプス
192 励起Vシナプス
193 励起Vシナプス
198、199 励起Vシナプス
200 一次結合回路
200A、200B、200C 一次結合回路
201 励起Vシナプス
202 励起Vシナプス
203 output+ニューロン
203A outputニューロン
204 output-ニューロン
205、206 励起Vシナプス
207 「start」ニューロン
208、209 励起Vシナプス
210 Vシナプス
210 回路
210 対数計算回路
211 inputニューロン
212 励起g_eシナプス
213 firstニューロン
214 抑制g_eシナプス
215 lastニューロン
216 accニューロン
217 g_fシナプス
218 gateシナプス
220 outputニューロン
221 励起Vシナプス
222 励起Vシナプス
230 累乗回路
231 inputニューロン
232 g_fシナプス
233 firstニューロン
234 励起gateシナプス
235 lastニューロン
236 抑制gateシナプス
237 励起g_eシナプス
238 accニューロン
240 outputニューロン
241 励起Vシナプス
242 励起Vシナプス
250 乗算器回路
251₁、251₂ inputニューロン
252_k 励起g_eシナプス
253_k firstニューロン
254_k 抑制g_eシナプス
254₂ g_eシナプス
255_k lastニューロン
255₁、255₂ lastニューロン
256_k accニューロン
256₁ accニューロン
256₂ accニューロン
260 syncニューロン
261₁、261₂ 励起Vシナプス
262 g_fシナプス
264 励起gateシナプス
265 g_fシナプス
266 励起gateシナプス
268 accニューロン
269 g_fシナプス
270 励起gateシナプス
271 抑制gateシナプス
272 励起g_eシナプス
274 outputニューロン
275 励起Vシナプス
276 励起Vシナプス
278₁、278₂ 線形数列
279 プラトー
280₁ 指数関数的変化
281 指数関数的変化
290 乗算器回路
290A、290B 符号付き乗算器回路
291_k input+ニューロン
292_k input-ニューロン
292₁、292₂ input-ニューロン
291A₁ inputニューロン
291A₂ inputニューロン
291B₁ inputニューロン
291B₂ inputニューロン
293_k、294_k Vシナプス
293₁、294₁ Vシナプス
295 output+ニューロン
295A outputニューロン
295B outputニューロン
296 output-ニューロン
297、298 励起Vシナプス
300〜303 signニューロン
302 signニューロン
305 抑制Vシナプス
306 抑制Vシナプス
307 抑制Vシナプス
308 抑制Vシナプス
310 積分回路
310A、310B、310C 積分器回路
311 input+ニューロン
311A、311B、311C inputニューロン
312 input-ニューロン
313 output+ニューロン
313A、313B、313C outputニューロン
314 output-ニューロン
315 output+ニューロン
316 output-ニューロン
317 回路
318 initニューロン
319 startニューロン
320 new inputニューロン
321〜332 Vシナプス
323、324 Vシナプス
325 シナプス
326、327 シナプス
328、329 シナプス
330、331 シナプス
341、342 シナプス
346 output+ニューロン
347 output-ニューロン
348 initニューロン
349 startニューロン
350 シナプス
351、352 シナプス
353 シナプス
354 シナプス
356 outputニューロン
358 initニューロン
359 startニューロン
361、362、363 outputニューロン
400 アレイ
410 制御ユニット
420 プログラミングまたは構成論理回路

Claims

一組の処理ノードおよび前記ノード間の接続を含む、データ処理デバイスであって、
各接続は、前記一組の処理ノードのうちからエミッタノードとレシーバノードとを有し、前記レシーバノードに、前記エミッタノードによって送出されるイベントを送信するように構成され、
各ノードは、前記ノードによって受信されたイベントに従ってそれぞれの電位値(V)を変化させ、前記電位値が事前定義された閾値(V_t)に達したときにイベントを送出するように配置構成され、
前記データ処理デバイスの少なくとも1つの入力値(x)は、少なくとも1つのノードによって受信された2つのイベントの間の時間間隔(Δt)で表され、
前記データ処理デバイスの少なくとも1つの出力値は、少なくとも1つのノードによって送出された2つのイベントの間の時間間隔で表されるデータ処理デバイス。
各処理ノードは、その電位値を、イベントを送出するときにリセットするように配置構成される請求項1に記載のデバイス。
前記ノード間の前記接続は、各々がそれぞれの重みを有する電位変動接続を含み、
電位変動接続の前記レシーバノードは、その電位値(V)に、前記電位変動接続の前記重みを加えることによって前記電位変動接続で受信されたイベントに応答するように配置構成される請求項1または2に記載のデバイス。
前記一組の処理ノードは、前記電位値に対する前記事前定義された閾値(V_t)に少なくとも等しい第1の正の重みを有する第1の電位変動接続(22)の前記レシーバノードを形成する少なくとも1つの第1のノード(23)と、前記電位値に対する前記事前定義された閾値の1/2に少なくとも等しく、前記電位値に対する前記事前定義された閾値(V_t)未満である重みを有する第2の電位変動接続(24)の前記レシーバノードを形成する少なくとも1つの第2のノード(25)とを含み、前記第1のノード(23)は、前記第1の重みと反対の値に等しい重みを有する第3の電位変動接続(28)の前記エミッタノードおよび前記レシーバノードをさらに形成し、
前記第1のノード(23)は、第4の接続(26)の前記エミッタノードをさらに形成し、前記第2のノード(25)は、第5の接続(27)の前記エミッタノードをさらに形成し、
前記第1および第2の電位変動接続(22、24)は、各々入力値を表す第1の時間間隔(Δt)によって隔てられた2つのイベントを受信するように構成され、それによって、前記第4および第5の接続(26、27)は前記第1の時間間隔(Δt)に関係する第2の時間間隔を間に有するそれぞれのイベントをトランスポートする請求項3に記載のデバイス。
少なくとも1つの最小値計算回路(100)を備え、
前記最小値計算回路は、
第1および第2の入力ノード(101、102)と、
出力ノード(103)と、
第1および第2の選択ノード(104、105)と、
各々前記電位値に対する前記事前定義された閾値(V_t)の1/2に少なくとも等しく、前記電位値に対する前記事前定義された閾値(V_t)未満である第1の正の重みを有する第1、第2、第3、第4、第5、および第6の電位変動接続(106〜111)と、
各々前記第1の重みの値と反対の第2の重みを有する第7および第8の電位変動接続(112〜113)と、
各々前記第2の重みの2倍の第3の重みを有する第9および第10の電位変動接続(114〜115)とを備え、
前記第1の入力ノード(101)は、前記第1および第3の接続(106、108)の前記エミッタノードと前記第10の接続(115)の前記レシーバノードとを形成し、
前記第2の入力ノード(102)は、前記第2および第4の接続(107、109)の前記エミッタノードと前記第9の接続(114)の前記レシーバノードとを形成し、
前記第1の選択ノード(104)は、前記第5、第7、および第9の接続(110、112、114)の前記エミッタノードと前記第1および第8の接続(106、113)の前記レシーバノードとを形成し、
前記第2の選択ノード(105)は、前記第6、第8、および第10の接続(111、113、115)の前記エミッタノードと前記第2および第7の接続(107、112)の前記レシーバノードとを形成し、
前記出力ノード(103)は、前記第3、第4、第5、および第6の接続(108〜111)の前記レシーバノードを形成する請求項3に記載のデバイス。
少なくとも1つの最大値計算回路(120)を備え、
前記最大値計算回路は、
第1および第2の入力ノード(121、122)と、
出力ノード(123)と、
第1および第2の選択ノード(124、125)と、
各々前記電位値に対する前記事前定義された閾値(V_t)の1/2に少なくとも等しく、前記電位値に対する前記事前定義された閾値(V_t)未満である第1の正の重みを有する第1、第2、第3、および第4の電位変動接続(126〜129)と、
各々前記第1の重みの値と反対の値の2倍に等しい第2の重みを有する第5および第6の電位変動接続(132〜133)とを備え、
前記第1の入力ノード(121)は、前記第1および第3の接続(126、128)の前記エミッタノードを形成し、
前記第2の入力ノード(122)は、前記第2および第4の接続(127、129)の前記エミッタノードを形成し、
前記第1の選択ノード(104)は、前記第5の接続(132)の前記エミッタノードと前記第1および第6の接続(126、133)の前記レシーバノードとを形成し、
前記第2の選択ノード(105)は、前記第6の接続(133)の前記エミッタノードと前記第2および第5の接続(127、132)の前記レシーバノードとを形成し、
前記出力ノード(123)は、前記第3および第4の接続(128、129)の前記レシーバノードを形成する請求項3に記載のデバイス。
少なくとも1つの減算器回路(140、170)を備え、
前記減算器回路(140、170)は、
第1および第2の同期ノード(145、146)と、
第1および第2の抑制ノード(147、148)と、
第1および第2の出力ノード(143、144)と、
各々前記電位値に対する前記事前定義された閾値(V_t)に少なくとも等しい第1の正の重みを有する第1、第2、第3、第4、第5、および第6の電位変動接続(152〜157)と、
各々前記第1の重みの1/2に等しい第2の重みを有する第7および第8の電位変動接続(160、161)と、
各々前記第1の重みの値と反対の第3の重みを有する第9および第10の電位変動接続(158、159)と、
各々前記第3の重みの2倍の第4の重み(2w_i)を有する第11および第12の電位変動接続(162、163)とを備え、
前記第1の同期ノード(145)は、前記第1、第2、第3、および第9の接続(152、153、154、158)の前記エミッタノードを形成し、
前記第2の同期ノード(146)は、前記第4、第5、第6、および第10の接続(155、156、157、159)の前記エミッタノードを形成し、
前記第1の抑制ノード(147)は、前記第11の接続(162)の前記エミッタノードと前記第3、第8、および第10の接続(154、161、159)の前記レシーバノードとを形成し、
前記第2の抑制ノード(148)は、前記第12の接続(163)の前記エミッタノードと前記第6、第7、および第9の接続(157、160、158)の前記レシーバノードとを形成し、
前記第1の出力ノード(143)は、前記第7の接続(160)の前記エミッタノードと前記第1、第5、および第11の接続(152、156、162)の前記レシーバノードとを形成し、
前記第2の出力ノード(144)は、前記第8の接続(161)の前記エミッタノードと前記第2、第4、および第12の接続(153、155、163)の前記レシーバノードとを形成し、
前記第1の同期ノード(145)は、前記第2の重みを有する少なくとも1つの電位変動接続(150)上で、間に第1のオペランド(x₁)を表す第1の時間間隔(Δt₁)を有する第1の一対のイベントを受信するように構成され、前記第2の同期ノード(146)は、前記第2の重みを有する少なくとも1つの電位変動接続(151)上で、間に第2のオペランド(x₂)を表す第2の時間間隔(Δt₂)を有する第2の一対のイベントを受信するように構成され、それによって、間に第3の時間間隔(Δt_out)を有する第3の一対のイベントは、前記第1の時間間隔(Δt₁)が前記第2の時間間隔(Δt₂)よりも長い場合には前記第1の出力ノード(143)によって、前記第1の時間間隔(Δt₁)が前記第2の時間間隔(Δt₂)よりも短い場合には前記第2の出力ノード(144)によって送出され、前記第3の時間間隔(Δt_out)は前記第1のオペランド(x₁)と前記第2のオペランド(x₂)との間の差の絶対値を表す請求項3に記載のデバイス。
前記減算器回路(170)は、前記第1および第2の同期ノード(145、146)、前記第1および第2の抑制ノード(147、148)のうちの1つ、ならびに前記第1および第2の出力ノード(143、144)のうちの1つとともに検出および抑制接続(172〜178)に関連付けられている少なくとも1つの検出ノード(171)を含むゼロ検出論理回路をさらに備え、
前記検出および抑制接続(172〜178)は、前記第1および第2の時間間隔(Δt₁、Δt₂)が実質的に等しいときに前記第1および第2の出力ノード(143、144)のうちの一方によってイベントの発生を抑制するために、前記第1、第2、第3、第4、第5、第6、第7、第8、第9、第10、第11、および第12の接続(152〜163)よりも高速である請求項7に記載のデバイス。
前記一組の処理ノードは、少なくとも1つの電流調整接続上で受信されたイベントに従って電流値を変化させ、前記電流値に比例する速度で時間の経過とともにその電位値を変化させるように配置構成されている少なくとも1つのノードを備える請求項3から8のいずれか一項に記載のデバイス。
電流値を変化させるように配置構成されている処理ノードは、イベントを送出するときに前記電流値をゼロにリセットするように配置構成される請求項9に記載のデバイス。
少なくとも1つのノードにおける前記電流値は、それぞれの重みを有する少なくとも1つの定電流成分調整接続上で受信された2つのイベントの間で一定である成分(g_e)を有し、
定電流成分調整接続の前記レシーバノードは、前記接続の前記重みをそれの電流値の前記定数成分(g_e)に加えることによって前記接続上で受信されたイベントに応答するように配置構成される請求項9または請求項10に記載のデバイス。
少なくとも1つのインバータメモリ回路(18)を備え、
前記インバータメモリ回路は、
アキュムレータノード(30)と、
第1、第2、および第3の定電流成分調整接続であって、前記第1および第3の接続(26、34)は同じ正の重み(w_acc)を有し、前記第2の接続(27)は前記第1および第3の接続の前記重みの値と反対の重み(-w_acc)を有する、第1、第2、および第3の定電流成分調整接続と、
少なくとも1つの第4の接続(35)とを備え、
前記アキュムレータノード(30)は、前記第1、第2、および第3の接続(26、27、34)の前記レシーバノードと前記第4の接続(35)の前記エミッタノードとを形成し、
前記第1および第2の接続(26、27)は、それぞれ、アキュムレータノード(30)へ、間に覚えておくべき値を表す時間間隔に関係する第1の時間間隔を有する第1および第2のイベントをアドレス指定するように構成され、それによって、前記アキュムレータノード(30)は、次いで、前記第4の接続(35)上の第4のイベントの送出までその電位値を増加させることによって前記第3の接続(34)上で受信される第3のイベントに反応し、前記第3および第4のイベントは間に前記第1の時間間隔に関係する第2の時間間隔を有する請求項11に記載のデバイス。
少なくとも1つのメモリ回路(40)を備え、
前記メモリ回路は、
第1および第2のアキュムレータノード(42、44)と、
第1、第2、第3、および第4の定電流成分調整接続であって、前記第1、第2、および第4の接続(41、43、51)は各々第1の正の重み(w_acc)を有し、前記第3の接続(45)は前記第1、第2、および第4の接続の前記重みの値と反対の重み(-w_acc)を有する、第1、第2、第3、および第4の定電流成分調整接続と、
少なくとも1つの第5の接続(52)とを備え、
前記第1のアキュムレータノード(42)は、前記第1の接続(41)の前記レシーバノードと前記第3の接続(45)の前記エミッタノードとを形成し、
前記第2のアキュムレータノード(44)は、前記第2、第3、および第4および第5の接続(43、45、51)の前記レシーバノードと前記第5の接続(52)の前記エミッタノードとを形成し、
前記第1および第2の接続(41、43)は、前記第1および第2のアキュムレータノード(42、44)へ、それぞれ、間に覚えておくべき値を表す時間間隔に関係する第1の時間間隔を有する第1および第2のイベントをアドレス指定するように構成され、それによって、前記第2のアキュムレータノード(44)は、次いで、前記第5の接続(52)上の第4のイベントの送出までその電位値を増加させることによって前記第4の接続(51)上で受信される第3のイベントに応答し、前記第3および第4のイベントは間に前記第1の時間間隔に関係する第2の時間間隔を有する請求項12に記載のデバイス。
前記メモリ回路(40)は、前記第1のアキュムレータノード(42)をエミッタノードとして有する第6の接続(46)を備え、前記第6の接続は前記メモリ回路を読み取りに利用可能であることを知らせるイベントを送出する請求項13に記載のデバイス。
個数N>1のメモリ回路(40₁、...、40_N-1)と同期ノード(95)とを含む、少なくとも1つの同期回路(90、98)を備え、
前記同期ノード(95)は、前記第1の重みをNで割った値に等しい重みを有するそれぞれの電位変動接続(46;96₀、...、96_N-1)を介してN個のメモリ回路(40₁、...、40_N-1)のうちの1つの前記第6の接続上で送出される各イベントを感知し、
前記同期ノード(95)は、前記N個のメモリ回路(40₁、...、40_N-1)の前記それぞれの第4の接続(51)を介して前記第3のイベントの同時受信をトリガするように配置構成される請求項14に記載のデバイス。
少なくとも1つの累算回路(180)を備え、
前記累算回路は、
Nを1より大きい整数として、各々がそれぞれの重み付け係数(α₀、...、α_N-1)を有するN個の入力(181₀、...、181_N-1)と、
アキュムレータノード(184)と、
同期ノード(185)と、
前記累算回路(180)の前記N個の入力の各々について、
前記入力の前記それぞれの重み付け係数に比例する第1の正の重み(α₀w_acc、...、α_N-1w_acc)を有する第1の定電流成分調整接続(182₀、...、182_N-1)と、
前記第1の重みの値と反対の第2の重み(-α₀w_acc、...、-α_N-1w_acc)を有する第2の定電流成分調整接続(183₀、...、183_N-1)と、
第3の正の重み(w_acc)を有する第3の定電流成分調整接続(186)とを備え、
前記アキュムレータノード(184)は、前記第1、第2、および第3の接続(181₀、...、181_N-1、182₀、...、182_N-1、186)の前記レシーバノードを形成し、
前記同期ノード(185)は、前記第3の接続(186)の前記エミッタノードを形成し、
前記N個の入力の各々について、前記第1および第2の接続(181₀、...、181_N-1、182₀、...、182_N-1)は、それぞれ、前記アキュムレータノード(184)へ、間に前記入力上で与えられるそれぞれのオペランドを表す第1の時間間隔を有する第1および第2のイベントをアドレス指定するように構成され、
前記同期ノード(185)は、前記第1および第2のイベントが前記N個の入力の各々についてアドレス指定された後に第3のイベントを送出するように構成され、それによって、前記アキュムレータノード(184)は、第4のイベントの送出までその電位値を増加させ、前記第3および第4のイベントは間に前記N個の入力上で与えられた前記オペランドの加重和を表す時間間隔に関係する第2の時間間隔を有する請求項11に記載のデバイス。
前記累算回路(180)は、
第2のアキュムレータノード(188)と、
前記第3の重み(w_acc)を有する第4の定電流成分調整接続(191)と、
第5および第6の接続(193、192)とをさらに備える重み付き加算回路(190)の一部であり、
前記累算回路の前記同期ノード(185)は、前記第4の接続(191)の前記エミッタノードを形成し、
前記累算回路の前記アキュムレータノード(184)は、前記第5の接続(193)の前記エミッタノードを形成し、
前記第2のアキュムレータノード(188)は、前記第4の接続(191)の前記レシーバノードと前記第6の接続(192)の前記エミッタノードとを形成し、
前記同期ノード(185)による前記第3のイベントの送出に応答して、前記累算回路の前記アキュムレータノード(184)は、前記第5の接続(193)上の第4のイベントの送出までその電位値を増加させ、前記第2のアキュムレータノード(188)は、前記第6の接続(192)上の第5のイベントの送出までその電位値を増加させ、前記第4および第5のイベントは間に前記累算回路(180)の前記N個の入力上で与えられた前記オペランドの加重和を表す時間間隔に関係する第3の時間間隔を有する請求項16に記載のデバイス。
一次結合回路(200)内に組み立てられた2つの累算回路(180A、180B)を備え、
前記2つの累算回路(180A、180B)は、同期ノード(184)を共有し、
前記一次結合回路は、前記共有された同期ノード(185)によって送出される前記第3のイベントに反応し、間に前記2つの累算回路のうちの一方に対する前記加重和と前記2つの累算回路のうちの他方に対する前記加重和との差を表す第3の時間間隔を有する一対のイベントを送出することによって前記2つの累算回路(180A、180B)の前記アキュムレータノード(184)によってそれぞれ送出される前記第4のイベントに反応するように構成されている減算器回路(170)をさらに備える請求項16に記載のデバイス。
少なくとも1つのノードにおける前記電流値は、それぞれの重みを有する少なくとも1つの指数関数的減少電流成分調整接続上で受信された2つのイベントの間で指数関数的に減少する成分(g_f)を有し、
指数関数的減少電流成分調整接続の前記レシーバノードは、前記接続の前記重みをそれの電流値の前記指数関数的減少成分(g_f)に加えることによって前記接続上で受信されたイベントに応答するように配置構成される請求項11〜18のいずれか一項に記載のデバイス。
少なくとも1つの対数計算回路(210)を備え、
前記対数計算回路は、
アキュムレータノード(216)と、
第1および第2の定電流成分調整接続であって、前記第1の接続(212)は正の重み(

)を有し、前記第2の接続(214)は前記第1の接続の前記重みの値と反対の重み(

)を有する、第1および第2の定電流成分調整接続と、
第3の指数関数的減少電流成分調整接続(217)と、
少なくとも1つの第4の接続(222)とを備え、
前記アキュムレータノード(216)は、前記第1、第2、および第3の接続(212、214、217)の前記レシーバノードと前記第4の接続(222)の前記エミッタノードとを形成し、
前記第1および第2の接続(212、214)は、前記アキュムレータノード(216)へ、間に前記対数計算回路(210)の入力値(x)を表す時間間隔(Δt)に関係する第1の時間間隔を有するそれぞれの第1および第2のイベントをアドレス指定するように構成され、
前記第3の接続(217)は、前記アキュムレータノード(216)へ、前記第2のイベントと同時またはその後の第3のイベントをアドレス指定するように構成され、それによって、前記アキュムレータノードは、前記第4の接続(222)上の第4のイベントの送出までその電位値を増加させ、前記第3および第4のイベントは間に前記入力値の対数を表す時間間隔(Δt_out)に関係する第2の時間間隔を有する請求項19に記載のデバイス。
指数関数的減少電流成分(g_f)を考慮する少なくとも1つのノード(238;268)は、前記指数関数的減少成分のデアクティベーションに対するイベントを受信するためのデアクティベーション接続(236;271)の前記レシーバノードである請求項19に記載のデバイス。
少なくとも1つの累乗回路(230)を備え、
前記累乗回路は、
アキュムレータノード(238)と、
第1の指数関数的減少電流成分調整接続(232)と、
第2のデアクティベーション接続(236)と、
第3の定電流成分調整接続(237)と、
少なくとも1つの第4の接続(242)とを備え、
前記アキュムレータノード(238)は、前記第1、第2、および第3の接続(232、236、237)の前記レシーバノードと前記第4の接続(242)の前記エミッタノードとを形成し、
前記第1および第2の接続(232、236)は、前記アキュムレータノード(238)へ、間に前記累乗回路(230)の入力値(x)を表す時間間隔(Δt)に関係する第1の時間間隔を有するそれぞれの第1および第2のイベントをアドレス指定するように構成され、
前記第3の接続(237)は、前記アキュムレータノード(238)へ、前記第2のイベントと同時またはその後の第3のイベントをアドレス指定するように構成され、それによって、前記アキュムレータノードは、前記第4の接続(242)上の第4のイベントの送出までその電位値を増加させ、前記第3および第4のイベントは間に前記入力値の累乗を表す時間間隔(Δt_out)に関係する第2の時間間隔を有する請求項21に記載のデバイス。
少なくとも1つの乗算器回路(250)を備え、
前記乗算器回路は、
第1、第2、および第3のアキュムレータノード(256₁、256₂、268)と、
同期ノード(260)と、
第1、第2、第3、第4および第5の定電流成分調整接続であって、前記第1、第3、および第5の接続(252₁、252₂、272)は第1の正の重み(

)を有し、前記第2および第4の接続(254₁、254₂)は前記第1の重みの値と反対の第2の重み(

)を有する、第1、第2、第3、第4、および第5の定電流成分調整接続と、
第6、第7、および第8の指数関数的減少電流成分調整接続(262、265、279)と、
第9のデアクティベーション接続(271)と、
少なくとも1つの第10の接続(276)とを備え、
前記第1のアキュムレータノード(256₁)は、前記第1、第2、および第6の接続(252₁、254₁、262)の前記レシーバノードと前記第7の接続(265)の前記エミッタノードとを形成し、
前記第2のアキュムレータノード(256₂)は、前記第3、第4、および第7の接続(252₂、254₂、265)の前記レシーバノードと前記第5および第9の接続(272、271)の前記エミッタノードとを形成し、
前記第3のアキュムレータノード(268)は、前記第5、第8、および第9の接続(272、269、271)の前記レシーバノードと前記第10の接続(276)の前記エミッタノードとを形成し、
前記同期ノード(260)は、前記第6および第8の接続(272、271)の前記エミッタノードを形成し、
前記第1および第2の接続(252₁、254₁)は、前記第1のアキュムレータノード(256₁)へ、間に前記乗算器回路(250)の第1のオペランド(x₁)を表す時間間隔(Δt₁)に関係する第1の時間間隔を有するそれぞれの第1および第2のイベントをアドレス指定するように構成され、
前記第3および第4の接続(252₂、254₂)は、前記第2のアキュムレータノード(256₂)へ、間に前記乗算器回路(250)の第2のオペランド(x₂)を表す時間間隔(Δt₂)に関係する第2の時間間隔を有するそれぞれの第3および第4のイベントをアドレス指定するように構成され、
前記同期ノード(260)は、前記第1、第2、第3、および第4のイベントが受信された後に前記第6および第8の接続上で第5のイベントを送出するように構成され、それによって、
前記第1のアキュムレータノード(256₁)は、前記第7の接続(265)上の第6のイベントの送出までその電位値を増加させ、
前記第6のイベントに応答して、前記第2のアキュムレータノード(256₂)は、前記第5の接続および第9の接続(272、271)上の第7のイベントの送出までその電位値を増加させ、
前記第7のイベントに応答して、前記第3のアキュムレータノード(268)は、前記第10の接続(276)上の第8のイベントの送出までその電位値を増加させ、前記第7および第8のイベントは間に前記第1のオペランド(x₁)と前記第2のオペランド(x₂)との積を表す時間間隔(Δt_out)に関係する第3の時間間隔を有する請求項21に記載のデバイス。
前記第1および第2のオペランド(x₁、x₂)のそれぞれの符号を検出し、前記検出された符号に従って、間に前記第1のオペランドと前記第2のオペランドとの積を表す時間間隔(Δt_out)を有する2つのイベントを前記乗算器回路(250)の2つの出力のうちの一方または他方で送出させるために前記乗算器回路(250)に関連付けられている符号検出論理回路(300〜303)をさらに備える請求項23に記載のデバイス。
各接続は、遅延パラメータに関連付けられ、前記接続の前記レシーバノードに、前記パラメータによって指示される、前記接続上でイベントを受信することに関して、遅延とともに状態の変化を実行することを知らせる請求項1から24のいずれか一項に記載のデバイス。
絶対値xを有する値を表す2つのイベントの間の前記時間間隔Δtは、Δt=T_min+x.T_codの形式をとり、ここで、T_minおよびT_codは、事前定義された時間パラメータである請求項1から25のいずれか一項に記載のデバイス。
時間間隔によって表される前記値は、0から1の間の絶対値xを有する請求項26に記載のデバイス。
入力値(x)について、
前記一組の処理ノードのうちから1つのノードまたは2つのノードを含む第1の入力であって、間に前記入力値(x)の正の値を表す時間間隔(Δt)を有する2つのイベントを受信するように配置構成されている、第1の入力と、
前記一組の処理ノードのうちから1つのノードまたは2つのノードを含む第2の入力であって、間に前記入力値(x)の負の値を表す時間間隔(Δt)を有する2つのイベントを受信するように配置構成されている、第2の入力とを備える請求項1から27のいずれか一項に記載のデバイス。
出力値(x)について、
前記一組の処理ノードのうちから1つのノードまたは2つのノードを含む第1の出力であって、間に前記出力値(x)の正の値を表す時間間隔(Δt)を有する2つのイベントを送出するように配置構成されている、第1の出力と、
前記一組の処理ノードのうちから1つのノードまたは2つのノードを含む第2の出力であって、間に前記出力値(x)の負の値を表す時間間隔(Δt)を有する2つのイベントを送出するように配置構成されている、第2の出力とを備える請求項1から28のいずれか一項に記載のデバイス。
前記一組の処理ノードは、少なくとも1つのプログラム可能なアレイ(400)の形態をとり、前記アレイの前記ノードは受信された前記イベントによる共有挙動モデルを有し、前記デバイスは計算プログラムに従って前記アレイの前記ノードの間の前記接続の重みおよび遅延パラメータを調整するためのプログラミング論理回路(420)と、入力値を前記アレイに供給し、前記プログラムに従って計算された出力値を復元するための制御ユニット(410)とをさらに備える請求項1から29のいずれか一項に記載のデバイス。