JP2021533517A - データ処理モジュール、データ処理システム、およびデータ処理方法 - Google Patents
データ処理モジュール、データ処理システム、およびデータ処理方法 Download PDFInfo
- Publication number
- JP2021533517A JP2021533517A JP2021529520A JP2021529520A JP2021533517A JP 2021533517 A JP2021533517 A JP 2021533517A JP 2021529520 A JP2021529520 A JP 2021529520A JP 2021529520 A JP2021529520 A JP 2021529520A JP 2021533517 A JP2021533517 A JP 2021533517A
- Authority
- JP
- Japan
- Prior art keywords
- neural
- unit
- synapse
- brain
- memory unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 131
- 238000003672 processing method Methods 0.000 title claims description 9
- 230000001537 neural effect Effects 0.000 claims abstract description 205
- 230000015654 memory Effects 0.000 claims abstract description 159
- 210000000225 synapse Anatomy 0.000 claims abstract description 154
- 230000000946 synaptic effect Effects 0.000 claims abstract description 63
- 230000006870 function Effects 0.000 claims abstract description 55
- 238000010304 firing Methods 0.000 claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 210000002569 neuron Anatomy 0.000 claims abstract description 25
- 238000012421 spiking Methods 0.000 claims abstract description 11
- 239000003550 marker Substances 0.000 claims abstract 2
- 210000004556 brain Anatomy 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 230000036982 action potential Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 4
- 101100064323 Arabidopsis thaliana DTX47 gene Proteins 0.000 description 3
- 101150026676 SID1 gene Proteins 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000003050 axon Anatomy 0.000 description 1
- 230000003376 axonal effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 210000001787 dendrite Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
- Multi Processors (AREA)
Abstract
複数のニューラルユニットを備えるスパイキングニューラルネットワークを時間多重実行するための、脳型処理モジュール(1)が提供される。各ニューラルユニットは、ニューラル状態を有することが可能であり、そのニューラル状態を指定する状態情報を記憶するためのニューロン状態メモリユニット(11)内に、それぞれのアドレス指定可能なメモリエントリを有する。各ニューラルユニットについての状態情報は、前記ニューラルユニットに宛てられたイベントメッセージに応じて、処理モジュール内の処理機能(10、ニューラルコントローラ)によって時間多重式に計算および更新される。処理機能は、更新されたニューラルユニットが発火状態を有することを計算すると、更新されたニューラルユニットを初期状態にリセットすること、出力シナプススライスメモリユニット内の、更新されたニューラルユニットに関するそれぞれのエントリにアクセスすること、および前記それぞれのエントリから、シナプスインデックスのそれぞれの範囲についての標識を取り出すことを行い、処理機能は、それぞれの範囲内の各シナプスインデックスについて、シナプスメモリユニット内のそれぞれのエントリにアクセスすること、シナプスメモリユニットからシナプス属性データを取り出すこと、および前記シナプス属性データに関連付けられた各ニューラルユニットに発火イベントメッセージを送出することを行う。
Description
本発明は、データ処理モジュール、データ処理システム、およびデータ処理方法に関する。
コグニティブコンピューティングの到来により、ヒトの脳の働きに基づく代替コンピューティングパラダイムとしてのニューラルコンピューティングが提案されている。ニューラルコンピューティングデバイスは、それらの本質的に並列のアーキテクチャにより、フォンノイマンメモリボトルネックを軽減することが可能である。生物学的原理に発想を得て、ニューラルコンピューティングデバイスは、シナプス結合を通じて互いに対話するニューラルユニットとして設計される。これらの人工ニューラルコンピューティングデバイスのIC実装は、アナログ的に動作するそれらの生物学的対応物とは反対に、典型的にはデジタル性のものである。
これにより、一方では、シリコン上へのそれらの実装が容易になり、他方では、数十年に及ぶデジタル集積回路設計において達成されてきた多大な技術的進歩を活用する機会が与えられる。現在利用可能なデジタル処理要素とは反対に、生物学的ニューロンは、数十から数百Hzという非常に低い周波数で働く。したがって、これにより、それらの実装に大きな負担が課されることはない。しかし、シリコン上に、生物学的システムに準拠する属性を有する処理モジュールを設計することは、最新技術を用いても実用的とは依然として程遠く、というのも、典型的な生物学的システムは、典型的には数十億ものニューロンを収容しており、それらのニューロンはそれぞれ平均して複数のシナプスを有するためである。1つの手法は、そのような複雑なシステムを、複数のニューラルユニットが処理機能を共有する時間多重設計を用いて模倣するというものである。デジタルハードウェアは、生物学的ニューロンが働く速度よりも数桁速く実行することができるので、共有の処理機能はニューロンの振る舞いを現実的にエミュレートすることができ、その上、この手法により、より高密度の仮想ニューロンおよびそれらのシナプスを実装するためのスペースが節減される。
スパイキングニューラルネットワークは、ニューラルユニット間の情報が発火イベントメッセージとして交換されることを特徴とする。発火イベントメッセージ(スパイク)の放出は、データが利用可能であるということと、先行する発火イベントメッセージの放出から経過した時間間隔がデータ値を示すということを示す。時間間隔の長さは、交換されるデータ値を表す。一部の設計では、発火頻度がデータ値を表す。他の設計では、時間間隔の長さがデータ値を表すことがある。どちらの場合にも、しきい値時間間隔を超える時間間隔の間のイベントの不在がデータの不在を示す、という慣例が広く行われている可能性がある。これは、特に疎に満たされているときのアレイ処理にとって、例えば監視カメラからのデータの処理にとって、特に重要である。従来のデータ処理システムでは、各画像要素が所定のリフレッシュ周波数でスキャンされる必要がある。それによって、スキャニングの結果、スキャンされた画像アレイ内の画素数およびリフレッシュ周波数に比例したデータストリームがもたらされる。スパイキングニューラルネットワークが画像アレイに結合されている場合、画像内容の変化を検出したニューラルユニットだけが、データを二次ニューラルユニットに送出する。そして、それらの番になって、送出されたデータによってトリガされた二次ニューラルユニットだけがそれ自体でデータを送出する。それによって、計算負荷ならびにデータ伝送チャネルの負荷が大幅に低減される。
脳型(neuromorphic)データ処理システム、すなわちニューラルネットワークを模倣したデータ処理システムは、2Dメッシュの形に一緒にグループ化され、パケット交換ネットワークオンチップ(NoC)を介して互いに通信する、複数の時間多重処理モジュールを備えてよい。各時間多重処理モジュールは、ニューラルコンピューティングコアと見なすこともできる。この手法の一例が、Filipp Akopyanらの「TrueNorth: Design and Tool Flow of a 65 mW 1 Million Neural unit Programmable Neurosynaptic Chip」、IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems (Volume:34、発行:2015年10月10日)、https://ieeexplore.ieee.org/document/7229264/により記載されている。
知られているこのデータ処理システムの不利な点は、それが、ニューラルユニットおよびそれらのシナプスのマッピング比を制限している、ということである。各ニューラルユニットは、固定数の入力シナプスと1つの出力シナプスを有する。このことにより、応用ニューラルネットワークが、発火(スパイキング)ニューラルユニットが発火イベントメッセージをその固定数よりも多数のニューラルユニットに送出しなければならないことを要求する場合に、非効率的となる。この機能を達成するには、ユーザがニューラルユニットを複製するか、またはリレーニューラルユニットを作成しなければならない。いずれにせよ、それによりリソースが浪費され、電力消費が増加する。
追加のニューラルユニットを必要とせずより柔軟にニューラルユニットの入力シナプス数および出力シナプス数を変更することの可能な脳型データ処理モジュールを提供することが、本発明の第1の目的である。
複数のそのような処理モジュールを有する脳型データ処理システムを提供することが、本発明の第2の目的である。
対応する脳型データ処理方法を提供することが、本発明の第3の目的である。
本発明の第1の態様によれば、改善された脳型データ処理モジュールが特許請求される。データ処理モジュールは、ニューラルユニット状態が時間多重式に更新されるスパイキングニューラルネットワークとして動作する。改善されたデータ処理モジュールは、ネットワークトポロジを画定する、個別にアドレス指定可能なメモリユニットの組合せを備える。これらのメモリユニットのうちの第1のものは、入力シナプスメモリユニットであり、それは、入力シナプス識別番号でインデックス付けされてよく、また識別された各入力シナプスについて、発火イベントメッセージを受領する入力としての識別された入力シナプスを有するニューラルユニット識別番号、およびその入力において受領されるそのようなメッセージに割り当てるべき重みを含む、入力シナプス属性を提供する。これらのメモリユニットのうちの第2のものは、出力シナプスメモリユニットであり、それは、出力シナプス識別番号でインデックス付けされてよく、また識別された各出力シナプスについて、発火イベントメッセージの宛先である入力シナプス識別番号、およびその宛先にそのようなメッセージが送達されるのに伴う遅延(もしあれば)を含む、出力シナプス属性を提供する。これらのメモリユニットのうちの第3のものは、出力シナプススライスメモリユニットであり、それは、ニューラルユニット識別番号でインデックス付けされてよく、また識別された各ニューラルユニットについて、出力シナプスメモリユニット内のインデックスの範囲を指定する。一実施形態では、出力シナプスメモリユニットは入力シナプスメモリユニットと、シナプスメモリユニットとして統合されてよい。ネットワークトポロジは、これらのメモリユニットを書き換えることによって柔軟に再構成され得る。ニューラルユニットの出力シナプススライスが、出力シナプススライスメモリユニット内の単一エントリによって定められるので、ニューラルユニットのファンアウト範囲は実質的に無制限に変更され得る。このエントリによって参照される出力シナプス数は、0、1、2とすることもでき、あるいは全ての出力シナプスの合計数が出力シナプスメモリユニット内のエントリ数を超えない限り、他の任意の数とすることもできる。それによって、高ファンアウトを得るためにニューラルユニットを重複させることやリレーニューラルユニットを使用することといった微調整が不要になる。これらの3つのメモリユニットの内容を書き換えることによるネットワークトポロジの構成は、プログラマーによって、または機械学習プロセスの一環として動作中に、行われてよい。
この特徴は、電力消費の低減を引き出す助けにもなり、というのも、そのようなシステムにおいてシナプスはニューラルユニットよりも高価な部分であるためである。所与の応用例について性能のスラックマージンがある場合、マッパーは、この柔軟性を利用して、より少数のニューラルエンジンにより多くのネットワークを詰め込むことができる。このことが逆に、使用されていないデータ処理モジュールを低電力モードにすることによって、電力を節減する助けになる。この特徴は、複数の他のシナリオにおいても活用することができ、そのうちの1つが、デバッグシナプスを追加するというものである。
本発明の他の態様として、複数の脳型データ処理モジュールおよびメッセージベースのネットワークを備える脳型データ処理システムが提供される。このとき、各脳型データ処理モジュールはさらにネットワーク通信モジュールを備え、それらの脳型データ処理モジュールはそれ自体のネットワーク通信モジュールによってメッセージベースのネットワークに結合されている。時間多重脳型データ処理モジュールは、例えば、2Dメッシュの形に一緒にグループ化され、パケット交換ネットワークオンチップ(NoC)を介して互いに通信してよい。あるいは、3Dメッシュの形態のさらなる統合が行われてもよい。
ここで提案する実施形態では、スパイキングニューラルネットワークとして(再)構成可能である、スケーラブルな脳型データ処理モジュールを提示する。
図1に示すニューラルユニットは、ニューロンを備え、樹状突起とも示されている少なくとも1つの入力シナプス、および軸索突起とも示されている少なくとも1つの出力シナプスを有する。ニューラルユニットは、初期状態、1つまたは複数の遷移状態、およびそれがスパイクを発生させる発火状態を含む複数の状態から選択されるニューラル状態を有することが可能である。そのニューラル状態は、その少なくとも1つの入力シナプスによって受領した入力スパイクに応じて決まり、典型的には、ニューラル状態はまた、例えばそれがしばらくの間スパイクを受領しなかった場合に初期状態に向かう遷移によって、時間の経過とともに自律的に変化する。ニューラルユニットの少なくとも1つの入力シナプスは、入力スパイクを、正とすることも負とすることもできる重みによって変化させてよい。少なくとも1つの出力シナプスは、スパイクを、ある特定の遅延を伴って送出してよい。
図2A〜図2Cは、そのようなニューラルユニットから構成することのできる例示的ニューラルネットワークを示す。WO2017/009543に提示されている図2Dの符号なしメモリネットワークなどの他の例は、それによって構成することができる。より具体的には、図2Aは、3つのニューラルユニット(N0、N1、およびN2)が、入力シナプス(Di)および出力シナプス(Ai)に分類されるシナプスによって接続された、スパイキングニューラルネットワークを示す。
図2Bは、1つのニューラルユニットN0、5つの入力シナプス(D0、...、D4)、および1つの出力シナプスA0をもつスパイキングニューラルネットワークを示す。
図2Cは、2つのニューラルユニットN0、N1、7つの入力シナプス(D0、...、D6)、および8つの出力シナプス(A0、A1、...、A7)をもつ一例を示す。
ニューラルネットワークの原理はよく知られているが、そのようなニューラルネットワークを効率的に実装することのできる処理モジュールを提供することは困難である。本出願は、とりわけ容易に再構成され得る脳型処理モジュールを提供する。
図3は、上で詳しく述べたような複数のニューラルユニットを備えるスパイキングニューラルネットワークを時間多重実行するための、脳型処理モジュール1の一実施形態を概略的に示す。図示の実施形態では、各ニューラルユニットが、ニューロン状態メモリユニット11内に、それぞれのアドレス指定可能なメモリエントリを有する。ニューロン状態メモリユニット11は、各ニューラルユニットのニューラル状態を指定する状態情報を記憶する。その中に収容された各ニューラルユニットについての状態情報は、ニューラルユニットに宛てられたイベントメッセージに応じて、処理機能10によって時間多重式に計算および更新される。
あるニューラルユニットが更新の結果として発火状態を有することを処理機能が検出した場合、処理機能は、更新されたニューラルユニットを初期状態にリセットする。処理機能はさらに、出力シナプススライスメモリユニット12内の、更新されたニューラルユニットに割り当てられたエントリにアクセスし、そのエントリから、更新されたニューラルユニットに割り当てられたシナプスインデックスの範囲についての標識を取り出す。処理機能は、範囲内のインデックスの各々について、シナプスメモリユニット13内のそれぞれのエントリにアクセスし、処理機能はまた、アクセスされたエントリからシナプス属性データを取り出し、そのシナプス属性データに関連付けられた各ニューラルユニットに発火イベントメッセージを送出する。
図3に示す実施形態では、シナプスメモリユニット13は、出力シナプスメモリユニットである。本実施形態における脳型処理モジュールはさらに、入力シナプスメモリユニット14を含む。出力シナプスメモリユニット13内のエントリは、入力シナプスインデックスを含む。後者は、入力シナプスメモリユニット14内の対応するエントリを指し示す。入力シナプスメモリユニット14内の対応するエントリは、関連付けられたニューラルユニットへの参照を含む。
図3の実施形態では、出力シナプスメモリユニット13内のエントリはさらに、関連付けられたニューラルユニットに発火イベントが送出されるのに伴う遅延を指定する。
それに加えて、入力シナプスメモリユニット14内のエントリはさらに、処理機能が関連付けられたニューラルユニットを更新するときに発火メッセージに重み付けするのに用いる重みを指定する。
図4に示すように、脳型処理システム100内に複数の脳型処理モジュール1A、1B、...、1Nが備えられてよい。複数の脳型処理モジュールは、メッセージベースのネットワーク20、例えばネットワークオンチップに結合されている。図4に示す実施形態では、それに加えて、ホストコンピュータ30もネットワーク20に結合されている。図5に示すように、脳型処理モジュール1A、1B、...1Nはさらにネットワーク通信モジュールを備え、脳型処理モジュールはそのネットワーク通信モジュールによってメッセージベースのネットワーク20に結合されている。
図2Aのネットワーク例では、各ニューラルユニットが他とは異なる特徴を有する。
ニューラルユニットN0は、2つの入力シナプスD0、D1、および1つの出力シナプスA0を有し、
ニューラルユニットN1は、1つの入力シナプスD2、ならびに2つの出力シナプスA1およびA2を有し、
ニューラルユニットN2は、2つの入力シナプスD3、D4、および1つの出力シナプスA3を有する。
ニューラルユニットN0は、2つの入力シナプスD0、D1、および1つの出力シナプスA0を有し、
ニューラルユニットN1は、1つの入力シナプスD2、ならびに2つの出力シナプスA1およびA2を有し、
ニューラルユニットN2は、2つの入力シナプスD3、D4、および1つの出力シナプスA3を有する。
上で指摘したように、図3に示す脳型処理モジュールの実施形態では、出力シナプス属性および入力シナプス属性用に別々のメモリユニット13および14が設けられている。このようにして、ニューラルネットワーク設計者は、脳型処理モジュールによって作り出されるニューラルネットワークを容易に(再)構成することができる。実際のところ、これにより、各ニューラルユニットについて入力シナプスと出力シナプスを個別に取り扱うことが可能になり、その結果、いかなる制約もなくニューロンのファンインおよびファンアウトを共有または分割する柔軟性がもたらされる。
図4は、複数のデータ処理モジュール1A、1B、...、1Nおよびメッセージベースのネットワーク20を備える脳型データ処理システムを概略的に示す。図5に示すように、各データ処理モジュールはさらに、ネットワーク通信モジュール(15R、15T、図5を参照されたい)を備え、それらのデータ処理モジュールはそれ自体のネットワーク通信モジュールによってメッセージベースのネットワークに結合されている。この時間多重データ処理モジュールは、例えば、2Dメッシュの形に一緒にグループ化され、パケット交換ネットワークオンチップ(NoC)を介して互いに通信してよい。あるいは、3Dメッシュの形態のさらなる統合が行われてもよい。
メッセージベースのネットワーク20を介した通信を容易にするために、脳型処理モジュールのシナプスメモリユニット13は、それぞれのアドレス範囲内の各シナプスインデックスについて、さらに、宛先ニューラルユニットのそれぞれのネットワークアドレスも指定する。
図4に示す実施形態では、脳型データ処理システムはさらに、ネットワーク20に結合されたホストコンピュータ30を備える。ホストコンピュータは、ネットワークに入力データを提供し、そこから出力データを取り出すためのインターフェースの機能を含む、さまざまな機能を有してよい。一実施形態では、ホスト30は、処理モジュール1A、1B、...、1Nにおいて出力シナプススライスメモリユニット12を更新するように構成される。その代わりにまたはそれに加えて、ホストは、シナプスメモリユニット13を更新するように構成されてもよい。シナプスメモリユニット13が出力シナプスメモリユニットとして設けられる場合(例えば図3の実施形態における場合)、ホストは、別途の入力シナプスメモリユニット14を更新するように構成されてよい。あるいは、処理モジュールは、例えば機械学習プロセスの一環としてそれらが自律的に再構成されることを可能にする、(再)構成機能10C(図3を参照されたい)を含んでもよい。さらに他の実施形態では、メモリユニット12、13、14、またはそれらの一部のうちの1つまたは複数が、所定の内容を有してよい。脳型処理モジュールのいくつかは、例えばセキュアな機能をその改ざんを回避するように実装するために、それらのメモリユニット12、13、および14がROM内に実装されてよい。
一実施形態では、ホストコンピュータ30は、それがニューラルユニットを、出力シナプスメモリユニット内の関連付けられた出力アドレス範囲へのエントリとしてホストネットワークアドレスを指定することによってデバッグメッセージをホストコンピュータに直接送出するように構成できるという点で、デバッグ動作に利用可能であってよい。
図5は、脳型処理モジュールの機能的態様をより詳細に示す。機能的態様には、以下のものが含まれる。
図6にさらに示すニューロンプール51は、全てのニューラルユニットの現在の状態を収容するニューロン状態メモリユニット11、およびこれらの状態を時間多重式に更新する計算機能10Bを表す。
それ自体の処理モジュールに関するイベントメッセージを受領インターフェース15Rから受領するためのイベントコントローラ52が設けられている。図示の実施形態では、イベントコントローラ52はまた、ローカルに生成されたメッセージを、バイパス15BT、15B、15BRを介して受領してよい。イベントコントローラについては、図7および図8を参照してより詳しく述べる。
図9により詳細に示す統合コントローラ53は、統合命令を出すためのものである。イベントコントローラ52と統合コントローラ53が一緒になって、ニューロン命令をニューロンプールに出すニューラルコントローラ5253を成す。
図6にさらに示すニューロンプール51は、全てのニューラルユニットの現在の状態を収容するニューロン状態メモリユニット11、およびこれらの状態を時間多重式に更新する計算機能10Bを表す。
それ自体の処理モジュールに関するイベントメッセージを受領インターフェース15Rから受領するためのイベントコントローラ52が設けられている。図示の実施形態では、イベントコントローラ52はまた、ローカルに生成されたメッセージを、バイパス15BT、15B、15BRを介して受領してよい。イベントコントローラについては、図7および図8を参照してより詳しく述べる。
図9により詳細に示す統合コントローラ53は、統合命令を出すためのものである。イベントコントローラ52と統合コントローラ53が一緒になって、ニューロン命令をニューロンプールに出すニューラルコントローラ5253を成す。
図10を参照してより詳細に説明するイベントジェネレータ54は、ニューラルプール51からの出力がそのようなイベントを示すことに応答して発火イベントメッセージを生成するためのものである。
図5の処理モジュールは、制御機能10Aが、ニューラルユニットの状態の更新が必要か否かを判定するのに役立つ選択情報を収容する選択情報メモリユニット55、56をさらに含む。ユニット56内の選択情報は、ニューラルユニットに発火イベントメッセージが送出されたかどうかを示す。この場合、送出されたメッセージのターゲットである受領側ニューラルユニットの状態が更新される必要がある。さらに、ユニット55内の選択情報は、ニューラルユニットが活性状態にあると以前に判定されたかどうかを示す。やはりこの場合も、ニューラルユニットの状態が更新される必要がある。ニューラルユニットは、それがリセット状態にない場合、活性であると見なされる。制御機能10Aは、活性ニューラルユニットおよび受領側ニューラルユニットのリストを、制御信号R55、56を用いてリセットすることができ、またリスト上のエントリを統合コントローラ53への入力としてサンプリングするための制御信号S57,58を発行することができる。イベントコントローラ52は、メモリユニット56内の受領側ニューラルユニットのリストにニューラルユニットIDを、イベントコントローラ52がこのニューラルユニットを宛先としたイベントメッセージを受領した場合、追加する。ニューラルメモリプール51は、メモリユニット55内の活性ニューラルユニットのリストにニューラルユニットIDを、更新状態の後で状態が活性であると判定された場合、追加する。状態更新の結果としてスパイクが生じた場合、ニューラルユニットはその初期状態にリセットされ、活性ニューラルユニットのリスト55から削除される。
図6は、ニューロンプール51の機能的態様をより詳細に示す。上で述べたように、ニューロンプール51は、全てのニューラルユニットの現在の状態を収容するニューロン状態メモリユニット11、およびこれらの状態を時間多重式に更新する計算機能10Bを表す。入力レジスタ511が、イベントコントローラ52および統合コントローラ53を備えるニューラルコントローラ5253とのインターフェースを成し、入力レジスタ511はそこから命令を受領する。内部的には、ニューロンプール51の動作は、パイプラインコントローラ522によって制御されており、パイプラインコントローラ522は、ストール信号を発行し、それによって、レディ信号をネゲートし、その結果、ニューラルコントローラ5253を一時的にブロックすることができる。
図7により詳細に示すように、イベントコントローラ52は、イベントメッセージ(入力イベント)を受領すると、イベントメッセージをイベントリスト521に入力し、イベントリスト521は、イベントメモリ5211(図8を参照されたい)内にソートされた順序で維持されるか、またはヒープデータ構造などの形で、ニューラルユニットによって最初に処理されるメッセージ(出力イベント)が迅速に利用可能になるように少なくとも構成される。イベントコントローラは、プール内のアドレス指定されたニューラルユニットを識別するためのコンポーネント14A、およびその識別されたニューラルユニットを更新する際にイベントが重み付けされるのに用いられる重みを決定するためのコンポーネント14Bを有する、入力シナプスメモリユニット14にアクセスする。出力メッセージ(出力イベント)は、現在の時間(現在のdt)が、送出側ニューラルユニットの出力シナプスによって課される遅延に対応する指定の実行時間と同じであるときに、イベント命令としてニューラルプール51に発行される。イベントコントローラ52は、受領側ニューラルユニットを識別するとそれに応じてリスト56を更新する。
図9により詳細に示す統合コントローラ53は、ニューラルプールに統合命令を出す。統合命令を受領すると、ニューラルユニットの状態が更新される。命令は、エニュメレータ531によって発行され、エニュメレータ531は制御ロジック532によって制御される。統合命令は、ニューラルユニットがイベントメッセージの受領側である場合にそれが更新される必要がある場合に常に出されるが、ニューラルユニットが活性状態にある場合にも、たとえニューラルユニットがイベントメッセージを受領しなくとも常に出される。
図10により詳細に示すイベントジェネレータ54は、発火イベント(入力スパイク)時に、出力シナプススライスメモリユニット12および出力シナプスメモリユニット13を使用して、メモリコンポーネント13A内に指定された指定のシナプス遅延を伴い、メモリコンポーネント13B内に指定された宛先NEにおける入力シナプスIDにアドレス指定される、イベントメッセージ(出力イベント)を生成する。
図11は、複数のニューラルユニットを備えるスパイキングニューラルネットワークを時間多重実行するための、本発明による脳型データ処理方法を概略的に示す。
この方法では、ステップのシーケンスが反復され、各反復にはそれぞれのニューラルユニットが関連付けられる。
ステップS2において、統合コントローラによって、それぞれのニューラルユニットについて更新実施可能条件に適合するかどうかが検証される。適合する場合、下に指定するさらなる条件による以下のステップS3〜S11のサブシーケンスが実施される。適合しない場合、更新実施可能条件は、後続のニューラルユニットについて検証される。
適合すると、それぞれのニューラルユニットについて、ニューラル状態情報が、ニューロン状態メモリユニット11内のそれぞれのアドレス指定可能なメモリエントリから取り出され(S3)、処理機能10Bが状態情報を、前記ニューラルユニットに宛てられたイベントメッセージに応じて更新する(S4)。更新は、ニューラルユニットにおける自律減衰過程をエミュレートするためにも必要となり得る。ニューラルユニットがその初期状態に戻り、それによって不活性と分類されることが、減衰過程のエミュレートの結果としてあり得る。
処理機能10Bは、更新された状態情報が発火状態を示すかどうかを判定する(S5)。発火状態を示す場合、処理機能10Bは、初期状態を示すように状態情報をリセットし(S6)、さらに発火イベントメッセージを分配する(S7)。分配には、以下のステップが関与してよい。
図11Aおよび図12にやはり示されているように、処理機能は、出力シナプススライスメモリユニット12内の、(識別情報NUIDを有する)更新されたニューラルユニットに関する適切なメモリエントリにアクセスし(S7A)、そのメモリエントリから、シナプスインデックスのそれぞれの範囲ARについての標識を取り出す(S7B)。次いで、その範囲内の各シナプスインデックス(SID1、...、SIDn)について、処理機能は、シナプスメモリユニット13内のそれぞれのエントリにアクセスし(S7C)、シナプス属性データを取り出す。このデータは、アドレス指定されるニューラルユニットの識別情報(NUID1、...、NUIDn)を含む。処理機能はその後、取り出されたシナプス属性データ内に収容された宛先情報に関連付けられた各ニューラルユニットに発火イベントメッセージを送出する(S7D)。シナプス属性データは一般に、遅延情報(DT1、...、DTn)および重み情報(W1、...、Wn)をさらに含む。
オプションで、ここでの場合のように、宛先情報が、入力シナプスメモリユニット14内のそれぞれのアドレス指定可能なメモリエントリに関する詳述(SID1、...、SIDn)を含む。入力シナプスメモリユニット14は、アドレス指定される関連付けられたニューラルユニット(NUID1、...、NUIDn)、および処理機能が関連付けられたニューラルユニットを更新するときに発火メッセージに重み付けするのに用いる重み(W1、...、Wn)を指定する。その場合、方法は、取り出すステップ(S7C)の後であって送出するステップ(S7D)の前に中間ステップ(S7CD)を含む。この中間ステップでは、宛先情報から詳述が取り出され、入力シナプスメモリユニット(14)内の、詳述によって指定されているそれぞれのアドレス指定可能なメモリエントリがアクセスされる。次いで、アクセスされたそれぞれのメモリエントリから、関連付けられたニューラルユニットの識別情報が取り出される。
(実施例)
(実施例I)
例として、図2Aのネットワークの一実装形態について、下でより詳細に説明する。メモリユニット12、13、14には、ネットワークトポロジを画定する構成情報が事前にロードされるものと仮定する。
(実施例I)
例として、図2Aのネットワークの一実装形態について、下でより詳細に説明する。メモリユニット12、13、14には、ネットワークトポロジを画定する構成情報が事前にロードされるものと仮定する。
入力シナプスメモリユニット(14)
このメモリユニット14は、宛先情報を指定する。各エントリは、データ処理モジュール内の特定のニューラルユニットの特定の入ってくるシナプス(入力シナプス)を指定するものと見なすことができる。これは、同じデータ処理モジュール内の別のニューラルから来るシナプスを含むが、メッセージ交換ネットワーク内に構成された別のデータ処理モジュール内のニューラルユニットから来るシナプスを含んでもよい。一実施形態では、入力シナプスメモリユニットの各エントリが、シナプスの重みを指定する情報をもつ第1のフィールド、およびシナプスの持主であるニューラルユニットの識別子を含む第2のフィールドを備えてよい。
このメモリユニット14は、宛先情報を指定する。各エントリは、データ処理モジュール内の特定のニューラルユニットの特定の入ってくるシナプス(入力シナプス)を指定するものと見なすことができる。これは、同じデータ処理モジュール内の別のニューラルから来るシナプスを含むが、メッセージ交換ネットワーク内に構成された別のデータ処理モジュール内のニューラルユニットから来るシナプスを含んでもよい。一実施形態では、入力シナプスメモリユニットの各エントリが、シナプスの重みを指定する情報をもつ第1のフィールド、およびシナプスの持主であるニューラルユニットの識別子を含む第2のフィールドを備えてよい。
このメモリユニットの内容およびこのメモリユニット内でネットワークトポロジの態様がマッピングされる方途を、下の表中に提示する。
このメモリユニットへの入力は、例えば、下の表中に例示を目的として3つのフィールドを示す実施形態を有してよい。
入力シナプスIDは、メモリユニット自体のアドレスインデックスによって表される(この情報のためにメモリビットは使用されない)。このメモリユニット内のアドレス指定可能な各入力は、特定のシナプスに対応する。メモリユニットの深さはa1である。
図示の例では、ニューラルユニットIDというフィールドは、ニューラルユニットの識別子を含む。このフィールドに必要なサイズb1は、ニューラルユニット数のlog2である(例えば、256個のニューラルユニットをもつデータ処理モジュールの場合、このフィールドは8ビットになる)。
第2のフィールドは、シナプスに割り当てられたシナプス重みを表す値を収容する。シナプス重みが指定される所望の粒度に応じて、このフィールドのビット数b2は、より小さくてもよく、より大きくてもよい。一例では、このフィールドのビット数は32ビットである。
マッピング例
下の表は、図2Aに示すネットワーク例の場合の、このメモリユニット14の埋められた内容を示す。この例示的ネットワークは、3つのニューラルユニット(N0、...、N2)、およびそれぞれシナプス重み(W0、...、W4)を有する5つの入力シナプス(D0、...、D4)を有する。図中に示すネットワークに関してメモリユニットの内容を辿ることは容易である。本発明者らは、シナプス重みW0、W1をもつD0、D1が、N0に向かっていることを見て取ることができる。D2がN1に向かっており、以下同様である。表は、複数の入力シナプスをもつニューラルユニット(この場合はN0およびN2)のシナプス接続性が、入力シナプスメモリユニット内でどのように管理されているのかも示している。
下の表は、図2Aに示すネットワーク例の場合の、このメモリユニット14の埋められた内容を示す。この例示的ネットワークは、3つのニューラルユニット(N0、...、N2)、およびそれぞれシナプス重み(W0、...、W4)を有する5つの入力シナプス(D0、...、D4)を有する。図中に示すネットワークに関してメモリユニットの内容を辿ることは容易である。本発明者らは、シナプス重みW0、W1をもつD0、D1が、N0に向かっていることを見て取ることができる。D2がN1に向かっており、以下同様である。表は、複数の入力シナプスをもつニューラルユニット(この場合はN0およびN2)のシナプス接続性が、入力シナプスメモリユニット内でどのように管理されているのかも示している。
一実施形態では、入力シナプスメモリユニットはさらに、入力が内部でどのように処理されるのか、例えば、重みを活動電位値に加算することによって処理されるのか、または重みを、それにより活動電位値が各時間ステップにおいて増加する線形成分として使用することによって処理されるのかを、指定してよい。また、重みは、さらなる入力イベントがない場合にニューラルユニットの漸進的な不活性を表す減衰値を設定または変更するために使用されてもよい。
出力シナプスメモリユニット13
このメモリユニット13は、ニューラルユニットから発する発火イベントメッセージの宛先を各エントリが指定する、宛先情報を定める。各エントリは、データ処理モジュール内のニューラルユニットの出て行くシナプス(軸索突起)と見なすことができる。これは、同じデータ処理モジュール内の別のニューラルユニットに向かうシナプス、ならびにデータ処理システムの別のデータ処理モジュールまたは複数の他の異種コンポーネントに向かうシナプスを含む。メモリユニット13の各エントリ内の情報は、シナプスのシナプス遅延、すなわち発火イベントメッセージが送達されるのに伴う遅延を表す値をもつ、第1のフィールドを備えてよい。シナプス遅延が指定される所望の粒度に応じて、このフィールドは、より小さいまたはより大きいビット数b3を有してよい。一例では、数b3は32である。
このメモリユニット13は、ニューラルユニットから発する発火イベントメッセージの宛先を各エントリが指定する、宛先情報を定める。各エントリは、データ処理モジュール内のニューラルユニットの出て行くシナプス(軸索突起)と見なすことができる。これは、同じデータ処理モジュール内の別のニューラルユニットに向かうシナプス、ならびにデータ処理システムの別のデータ処理モジュールまたは複数の他の異種コンポーネントに向かうシナプスを含む。メモリユニット13の各エントリ内の情報は、シナプスのシナプス遅延、すなわち発火イベントメッセージが送達されるのに伴う遅延を表す値をもつ、第1のフィールドを備えてよい。シナプス遅延が指定される所望の粒度に応じて、このフィールドは、より小さいまたはより大きいビット数b3を有してよい。一例では、数b3は32である。
第2のフィールド(宛先入力シナプスID)は、発火イベントメッセージを受領することになる入力シナプスの識別子を含んでよい。入力シナプス数に応じて、第2のフィールドは、b5ビットという数を有してよい。例えば、データ処理モジュールが256個の入力シナプスを有する場合、この値は8ビットになる。
データ処理モジュールが、メッセージ交換ネットワークによって相互に結合された複数のデータ処理モジュールのうちの1つである場合、下の例示的な表のように、宛先モジュールの識別子を提供するための第3のフィールド(NE ID)が設けられてよい。その場合、発火イベントメッセージは、第3のフィールド内に指定された宛先データ処理モジュールに送出され、宛先データ処理モジュールによって受領されると、第2のフィールド内に指定された入力シナプスに送られる。ネットワーク内のデータ処理モジュール数に応じて、このフィールドのサイズはb4ビットである。例えば、65k個のデータ処理モジュールをもつネットワークでは、ビット数は(少なくとも)16になるはずである。
メモリユニット13内の各エントリが、ニューロンによって発行された発火イベントメッセージの特定の宛先に対応するので、出力シナプスに関する詳述をもつフィールドを含める必要はない。換言すれば、出力シナプスIDは、メモリユニット13自体のアドレスインデックスによって表される(この情報のためにメモリビットは使用されない)。データ処理モジュール内の全てのニューラルユニットの全ての出力シナプスの合計数の所望の上限に応じて、より小さいまたはより大きいメモリ深さが選択されてもよい。
マッピング例
下の表は、図2Aに示すネットワーク例の場合の、このメモリユニット13の埋められた内容を示す。このニューラルネットワークは、3つのニューラルユニット(N0、...、N2)、およびそれぞれシナプス遅延(T0、...、T3)を有する4つの出力シナプス(A0、...、A3)を有する。図中に示すネットワークに関してメモリの内容を辿ることは容易である。本発明者らは、この具体例の場合、メモリアドレスA3をもつエントリによって表される、(表中にデータ処理モジュールNEyとして表される)別のデータ処理モジュールに向かっている出力シナプスを除き、全ての出力シナプスが(表中にNExと識別された)同じデータ処理モジュール内にあることを見て取ることができる。メモリの最終カラムは、(入力スパイクとも呼ばれる)受領した発火イベントメッセージをニューラルユニットに関して作用させるためにこの出力シナプスに接続された入力シナプスの、入力シナプスIDを示す。指定された入力シナプスIDは、この入力シナプスに関する入力シナプス情報を収容する入力シナプスメモリユニット内のエントリのアドレスである。さらに示すと、本発明者らはこの表から、シナプス遅延T0を有する出力シナプスA0が、データ処理モジュールNEx(同じデータ処理モジュール)に発火イベントメッセージを送出するためのものであり、ネットワーク図中に示すD2というIDをもつ入力シナプスに接続されていることを見て取ることができる。
下の表は、図2Aに示すネットワーク例の場合の、このメモリユニット13の埋められた内容を示す。このニューラルネットワークは、3つのニューラルユニット(N0、...、N2)、およびそれぞれシナプス遅延(T0、...、T3)を有する4つの出力シナプス(A0、...、A3)を有する。図中に示すネットワークに関してメモリの内容を辿ることは容易である。本発明者らは、この具体例の場合、メモリアドレスA3をもつエントリによって表される、(表中にデータ処理モジュールNEyとして表される)別のデータ処理モジュールに向かっている出力シナプスを除き、全ての出力シナプスが(表中にNExと識別された)同じデータ処理モジュール内にあることを見て取ることができる。メモリの最終カラムは、(入力スパイクとも呼ばれる)受領した発火イベントメッセージをニューラルユニットに関して作用させるためにこの出力シナプスに接続された入力シナプスの、入力シナプスIDを示す。指定された入力シナプスIDは、この入力シナプスに関する入力シナプス情報を収容する入力シナプスメモリユニット内のエントリのアドレスである。さらに示すと、本発明者らはこの表から、シナプス遅延T0を有する出力シナプスA0が、データ処理モジュールNEx(同じデータ処理モジュール)に発火イベントメッセージを送出するためのものであり、ネットワーク図中に示すD2というIDをもつ入力シナプスに接続されていることを見て取ることができる。
入力シナプスD2を介して発火イベントメッセージを受領すると、制御機能10Aは、入力シナプスメモリユニット14から、関連付けられたニューラルユニットの識別子を取り出し(この場合それはニューラルユニットN1である)、計算機能10Bに、このニューラルユニットN1の状態を、この入力シナプスD2に割り当てられたシナプス重みW2をさらに考慮に入れて更新するように命令する。この例では、シナプス遅延T3をもつ出力シナプスA3は、外部データ処理モジュールNEyに向けられたシナプスであり、その外部宛先データ処理モジュールNEy内ではそれが、Dxという入力シナプスIDに接続されている。
出力シナプススライスメモリユニット12
出力シナプススライスメモリユニット12は、出力シナプスメモリユニット13内のどの出力シナプスが、データ処理モジュール内の各ニューラルユニットに対応するかを指定する。あるニューラルユニットが発火イベントメッセージを発行すると、制御機能10Aが、出力シナプススライスメモリユニット12から、アドレス範囲についての標識を取り出す。この標識は、出力シナプススライスメモリユニット12内の、発火ニューラルユニットに対応するアドレスを有するエントリから取り出される。本実施形態では、アドレスの範囲が、前記エントリの第1のフィールドおよび第2のフィールド内に指定されている。第1のフィールドは、出力シナプスメモリユニット13内へのオフセット(範囲内の先頭アドレス)を指定し、第2のものは、エントリ数を指定する。オフセットを指定するフィールドのサイズは、b6ビットであり(b6は複数の値を取ることができる)、その値は一般に、データ処理モジュール内の出力シナプス数のlog2である。あるいは、範囲の先頭アドレスおよび最終アドレスまたは範囲の最終アドレスとエントリ数とを指定することも可能である。数を指定する第2のフィールドのサイズは、b7ビットであり(b7は複数の値を取ることができる)、その値は一般に、1つのニューラルユニットの出力シナプス平均数のlog2である。
出力シナプススライスメモリユニット12は、出力シナプスメモリユニット13内のどの出力シナプスが、データ処理モジュール内の各ニューラルユニットに対応するかを指定する。あるニューラルユニットが発火イベントメッセージを発行すると、制御機能10Aが、出力シナプススライスメモリユニット12から、アドレス範囲についての標識を取り出す。この標識は、出力シナプススライスメモリユニット12内の、発火ニューラルユニットに対応するアドレスを有するエントリから取り出される。本実施形態では、アドレスの範囲が、前記エントリの第1のフィールドおよび第2のフィールド内に指定されている。第1のフィールドは、出力シナプスメモリユニット13内へのオフセット(範囲内の先頭アドレス)を指定し、第2のものは、エントリ数を指定する。オフセットを指定するフィールドのサイズは、b6ビットであり(b6は複数の値を取ることができる)、その値は一般に、データ処理モジュール内の出力シナプス数のlog2である。あるいは、範囲の先頭アドレスおよび最終アドレスまたは範囲の最終アドレスとエントリ数とを指定することも可能である。数を指定する第2のフィールドのサイズは、b7ビットであり(b7は複数の値を取ることができる)、その値は一般に、1つのニューラルユニットの出力シナプス平均数のlog2である。
マッピング
例として、下の表3は、図2Aのニューラルネットワークをマッピングした様子を示す。この例におけるニューラルネットワークは、3つのニューラルユニットN0、N1、N2を有し、それぞれが、メモリユニット12内にそれぞれのエントリを有する。メモリユニット12内に指定されているように、ニューラルユニットN0は、1つの出力シナプスA0を有し、その出力シナプス属性は、出力シナプスメモリユニット13内のオフセット0を有するエントリ内に指定されている。N1は、2つの出力シナプスA1、A2を有し、2つのエントリのうちの第1のものが、出力シナプスメモリユニット内のオフセットアドレス1を有する。最後に、ニューラルユニットN2は、1つの出力シナプスA3を有し、その出力シナプス属性は、出力シナプスメモリユニット内のオフセットアドレス3におけるエントリ内に指定されている。あるニューラルユニットが発火イベントメッセージを発行すると、制御機能10Aが、メモリユニット12から、イベントを送出する出力シナプスについての指定子を取り出し、指定された各出力シナプスについてメモリユニット13内に指定されている出力シナプス属性を使用する。
例として、下の表3は、図2Aのニューラルネットワークをマッピングした様子を示す。この例におけるニューラルネットワークは、3つのニューラルユニットN0、N1、N2を有し、それぞれが、メモリユニット12内にそれぞれのエントリを有する。メモリユニット12内に指定されているように、ニューラルユニットN0は、1つの出力シナプスA0を有し、その出力シナプス属性は、出力シナプスメモリユニット13内のオフセット0を有するエントリ内に指定されている。N1は、2つの出力シナプスA1、A2を有し、2つのエントリのうちの第1のものが、出力シナプスメモリユニット内のオフセットアドレス1を有する。最後に、ニューラルユニットN2は、1つの出力シナプスA3を有し、その出力シナプス属性は、出力シナプスメモリユニット内のオフセットアドレス3におけるエントリ内に指定されている。あるニューラルユニットが発火イベントメッセージを発行すると、制御機能10Aが、メモリユニット12から、イベントを送出する出力シナプスについての指定子を取り出し、指定された各出力シナプスについてメモリユニット13内に指定されている出力シナプス属性を使用する。
ニューロン状態メモリユニット11
ニューロン状態メモリユニット11は、実行中の各ニューラルユニットについてのそれぞれの状態値(膜電位)を記憶する。このメモリユニットが別途のフィールドを必要としないように、このメモリユニットをアドレス指定するためのインデックスとして、ニューラルユニット識別番号(ニューラルユニットID)が使用されてよい。このメモリユニット11は、データ処理モジュール内のニューラルユニット数に対応するa4という深さを有する。状態値は、b8ビットというサイズを有する(複数のニューラル状態変数が記憶される粒度に応じて、b8は複数の値を取ることができる)。b8の一例は50ビットである。
ニューロン状態メモリユニット11は、実行中の各ニューラルユニットについてのそれぞれの状態値(膜電位)を記憶する。このメモリユニットが別途のフィールドを必要としないように、このメモリユニットをアドレス指定するためのインデックスとして、ニューラルユニット識別番号(ニューラルユニットID)が使用されてよい。このメモリユニット11は、データ処理モジュール内のニューラルユニット数に対応するa4という深さを有する。状態値は、b8ビットというサイズを有する(複数のニューラル状態変数が記憶される粒度に応じて、b8は複数の値を取ることができる)。b8の一例は50ビットである。
一実施形態では、ニューラル状態は、その興奮状態を表す活動電位Vによって定められてよい。活動電位は、最小値から最大値までの範囲内の値を取ってよく、その際、最大値は一般にニューラルユニットがスパイクを放出するしきい値によって定められ、活動電位はまた、初期状態にリセットされ、その際、活動電位は最小値、例えば値0を有する。例えば入力を抑制した結果として負の活動電位値を生じさせることも考え出されてよい。
典型的には、生物学的ニューラルユニットのようなニューラルユニットの活動電位Vは、時間の経過とともに減衰する。活動電位は、定数成分と減衰成分(gf)の重ね合わせと見なすことができ、そのそれぞれについて、現在の値が状態として記憶される。一実施形態では、減衰は線形的とすることができ、別の実施形態では、減衰は指数関数的とすることができる。
スパイクの交換により表される値は、さまざまな方途で表されてよい。一実施形態では、この値は、スパイクの頻度によって表されてよく、頻度が高いほうが、より高い値を提示する。その場合、入力の加算は、受領したスパイクの数をカウントすることによって行われ得る。受領したスパイクごとに、それを受領した入力に割り当てられた重みを用いて、活動電位が増加する。あるいは、値は、連続するスパイク間の時間間隔によって表されてもよい。ニューラルユニットは、活動電位に加算される線形増加する成分を有してよい。線形増加する成分は、各離散時間ステップにおいて活動電位に加算される、インクリメント値(ge)として設けられてよい。ニューラルユニットは、第1のシナプスにおいて第1のスパイクを受領すると、インクリメント値を重み値に設定してよく、第2のシナプスにおいて第2のスパイクを受領すると、インクリメント値を0にリセットしてよい。その場合、結果として得られる活動電位の値の変化は、重みと、第1のスパイクの受領と第2のスパイクの受領との間の離散時間ステップ数との積となる。インクリメント値は、さらなる状態値として記憶されてよい。
さらなる状態値として、別の状態値(例えば減衰)が活動電位にどの程度寄与するかがそれにより決まる別途の制御値(gate)が記憶されてよい。
ニューラルユニットおよびシナプスの適応マッピングの例
(実施例-1)
図2Bは、1つのニューラルユニットN0、5つの入力シナプス(D0、...、D4)、および1つの出力シナプスA0をもつデータ処理モジュール例を示す。下の表は、このネットワーク例を、上のセクションで詳細に説明したようにシナプスメモリ上にマッピングした様子を示す。未使用の位置は、シンボルXを用いて示してある。
図2Bは、1つのニューラルユニットN0、5つの入力シナプス(D0、...、D4)、および1つの出力シナプスA0をもつデータ処理モジュール例を示す。下の表は、このネットワーク例を、上のセクションで詳細に説明したようにシナプスメモリ上にマッピングした様子を示す。未使用の位置は、シンボルXを用いて示してある。
(実施例-2)
図2Cは、2つのニューラルユニットN0、N1、7つの入力シナプス(D0、...、D6)、および8つの出力シナプス(A0、A1、...、A7)をもつ例を示す。下の表は、このネットワーク例を、上のセクションで詳細に説明したようにシナプスメモリ上にマッピングした様子を示す。
図2Cは、2つのニューラルユニットN0、N1、7つの入力シナプス(D0、...、D6)、および8つの出力シナプス(A0、A1、...、A7)をもつ例を示す。下の表は、このネットワーク例を、上のセクションで詳細に説明したようにシナプスメモリ上にマッピングした様子を示す。
(実施例3)
さらなる例として、メモリ12、13、および14の内容を、図2Dに示す符号なしメモリについて説明する。
さらなる例として、メモリ12、13、および14の内容を、図2Dに示す符号なしメモリについて説明する。
さまざまな制御機能が専用コントローラによって実施されてよいことに留意されよう。あるいは、1つのコントローラがさまざまな制御機能を実施してもよい。例えば時分割式である。1つまたは複数の制御機能を実施するためのコントローラは、専用ハードウェアとして、プログラマブルデバイスもしくは構成可能デバイスとして、またはそれらの組合せとして実装されてよい。ニューラルユニット状態を更新する計算機能10Bも同様に、さまざまな様式で実装されてよいが、好ましくは、最適な性能を得るために専用ハードウェアとして設けられる。
本明細書において使用される用語は、特定の実施形態について説明するためのものにすぎず、本発明を限定するようには意図されていない。本明細書では、単数形「1つの(a)」、「1つの(an)」、および「その(the)」は、文脈上別段明らかに示していない限り、複数形も含むように意図されている。「備える(comprises)」および/または「備える(comprising)」という用語は、本明細書において使用されるとき、述べられた特徴、整数、ステップ、動作、要素、および/またはコンポーネントの存在を指定するが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、コンポーネント、および/またはそれらのグループの存在または追加を排除しないことが、さらに理解されよう。さらに、そうではないと明記されていない限り、「または(or)」は、排他的論理和ではなく包括的論理和のことをいう。例えば、条件AまたはBは次の、Aが真であり(または存在し)かつBが偽である(または存在しない)、Aが偽であり(または存在せず)かつBが真である(または存在する)、およびAとBがどちらも真である(または存在する)、のうちのいずれか1つによって満たされる。
1 脳型処理モジュール
1A、1B、...、1N 脳型処理モジュール、データ処理モジュール
10 処理機能
10A 制御機能
10B 計算機能、処理機能
10C (再)構成機能
11 ニューロン状態メモリユニット
12 出力シナプススライスメモリユニット、メモリ
13 出力シナプスメモリユニット、メモリ
13A メモリコンポーネント
13B メモリコンポーネント
14 入力シナプスメモリユニット、メモリ
14A コンポーネント
14B コンポーネント
15B バイパス
15BT バイパス
15BR バイパス
15T ネットワーク通信モジュール
15R ネットワーク通信モジュール、受領インターフェース
20 メッセージベースのネットワーク
30 ホストコンピュータ、ホスト
51 ニューロンプール、ニューラルプール、ニューラルメモリプール
52 イベントコントローラ
53 統合コントローラ
54 イベントジェネレータ
55 選択情報メモリユニット、リスト
56 選択情報メモリユニット、リスト
100 脳型処理システム
511 入力レジスタ
521 イベントリスト
522 パイプラインコントローラ
531 エニュメレータ
532 制御ロジック
5211 イベントメモリ
5253 ニューラルコントローラ
A0、A1、...、A7 出力シナプス
AR 範囲
D0、...、D6 入力シナプス
DT1、...、DTn 遅延情報
gate 制御値
ge インクリメント値
gf 減衰成分
N0 ニューラルユニット
N1 ニューラルユニット
N2 ニューラルユニット
NUID 識別情報
NUID1、...、NUIDn 識別情報、ニューラルユニット
SID1、...、SIDn シナプスインデックス、詳述
R55、56 制御信号
S57、58 制御信号
V 活動電位
W0、...、Wn シナプス重み、重み情報
1A、1B、...、1N 脳型処理モジュール、データ処理モジュール
10 処理機能
10A 制御機能
10B 計算機能、処理機能
10C (再)構成機能
11 ニューロン状態メモリユニット
12 出力シナプススライスメモリユニット、メモリ
13 出力シナプスメモリユニット、メモリ
13A メモリコンポーネント
13B メモリコンポーネント
14 入力シナプスメモリユニット、メモリ
14A コンポーネント
14B コンポーネント
15B バイパス
15BT バイパス
15BR バイパス
15T ネットワーク通信モジュール
15R ネットワーク通信モジュール、受領インターフェース
20 メッセージベースのネットワーク
30 ホストコンピュータ、ホスト
51 ニューロンプール、ニューラルプール、ニューラルメモリプール
52 イベントコントローラ
53 統合コントローラ
54 イベントジェネレータ
55 選択情報メモリユニット、リスト
56 選択情報メモリユニット、リスト
100 脳型処理システム
511 入力レジスタ
521 イベントリスト
522 パイプラインコントローラ
531 エニュメレータ
532 制御ロジック
5211 イベントメモリ
5253 ニューラルコントローラ
A0、A1、...、A7 出力シナプス
AR 範囲
D0、...、D6 入力シナプス
DT1、...、DTn 遅延情報
gate 制御値
ge インクリメント値
gf 減衰成分
N0 ニューラルユニット
N1 ニューラルユニット
N2 ニューラルユニット
NUID 識別情報
NUID1、...、NUIDn 識別情報、ニューラルユニット
SID1、...、SIDn シナプスインデックス、詳述
R55、56 制御信号
S57、58 制御信号
V 活動電位
W0、...、Wn シナプス重み、重み情報
Claims (13)
- 複数のニューラルユニットを備えるスパイキングニューラルネットワークを時間多重実行するための、脳型処理モジュール(1)であって、各ニューラルユニットが、初期状態、1つまたは複数の遷移状態、および発火状態を含む複数の状態から選択されるニューラル状態を有することが可能であり、各ニューラルユニットが、そのニューラル状態を指定する状態情報を記憶するためのニューロン状態メモリユニット(11)内に、それぞれのアドレス指定可能なメモリエントリを有し、各ニューラルユニットについての前記状態情報が、前記ニューラルユニットに宛てられたイベントメッセージに応じて、前記脳型処理モジュールに組み込まれた処理機能(10)によって時間多重式に計算および更新され、前記処理機能が、更新されたニューラルユニットが前記発火状態を有することを計算すると、前記更新されたニューラルユニットを前記初期状態にリセットし、出力シナプススライスメモリユニット内の、前記更新されたニューラルユニットに関するそれぞれのエントリにアクセスし、および前記それぞれのエントリから、出力シナプスインデックスのそれぞれの範囲についての標識を取り出し、前記処理機能が、前記それぞれの範囲内の各出力シナプスインデックスについて、
- 出力シナプスメモリユニット(13)内のそれぞれのエントリにアクセスすること、
- 前記それぞれのエントリから出力シナプス属性データを取り出すことであって、前記出力シナプス属性データが、送出の遅延と、入力シナプスメモリユニット(14)内のそれぞれのエントリに対応するそれぞれの入力シナプスインデックスとを指定し、前記入力シナプスメモリユニット内の前記それぞれのエントリが、関連付けられたニューラルユニットへの参照を含む、前記取り出すこと、
および
- 前記関連付けられたニューラルユニットに発火イベントメッセージを、前記指定された遅延を伴って送出すること
を行う、脳型処理モジュール。 - 前記入力シナプスメモリユニット(14)内のエントリがさらに、前記処理機能が前記関連付けられたニューラルユニットを更新するときに発火メッセージに重み付けするのに用いる重みを指定する、請求項1に記載の脳型処理モジュール。
- 前記処理機能(10)が、制御機能(10A)および計算機能(10B)を備え、前記制御機能(10A)が、ニューラルユニットの状態の更新が必要か否かを定期的に検証および信号伝達するように構成され、前記計算機能(10B)が、前記制御機能(10A)によってこれが信号伝達された場合に、ニューラルユニットの更新された状態を計算するように構成される、請求項1または2に記載の脳型処理モジュール。
- ニューラルユニットの状態の更新が必要か否かを前記制御機能(10A)が判定するのに役立つ選択情報を含む選択情報メモリユニットをさらに含み、前記選択情報が、ニューラルユニットに発火イベントメッセージが送出されたかどうかを示し、かつ/またはニューラルユニットが活性状態にあると以前に判定されたかどうかを示す、請求項3に記載の脳型処理モジュール。
- 前記処理機能(10)が、前記出力シナプススライスメモリユニット(12)、前記出力シナプスメモリユニット(13)、および前記入力シナプスメモリユニット(14)のうちの少なくとも1つを更新するように構成される再構成機能(10C)をさらに備える、請求項1から4のいずれか一項に記載の脳型処理モジュール。
- 請求項1から5のいずれか一項に記載の脳型処理モジュールである複数の脳型処理モジュールおよびメッセージベースのネットワークを備え、各脳型処理モジュールがさらにネットワーク通信モジュールを備え、前記脳型処理モジュールがそれのネットワーク通信モジュールによって前記メッセージベースのネットワークに結合されている、脳型処理システム。
- 前記複数の脳型処理モジュールとともに前記メッセージベースのネットワークが、ネットワークオンチップとして形成される、請求項6に記載の脳型処理システム。
- 脳型処理モジュールの前記出力シナプスメモリユニット(13)が、それぞれのアドレス範囲内の各シナプスインデックスについて、さらに、宛先ニューラルユニットのそれぞれのネットワークアドレスを指定する、請求項6または7に記載の脳型処理システム。
- 脳型処理モジュールにおいて前記出力シナプススライスメモリユニット(12)、前記出力シナプスメモリユニット(13)、および前記入力シナプスメモリユニット(14)のうちの少なくとも1つを更新するように構成されたホストコンピュータをさらに備える、請求項6から8のいずれか一項に記載の脳型処理システム。
- 複数のニューラルユニットを備えるスパイキングニューラルネットワークを時間多重実行するための、脳型処理方法であって、各ニューラルユニットが、初期状態、1つまたは複数の遷移状態、および発火状態を含む複数の状態から選択されるニューラル状態を有することが可能であり、前記方法が、以下に指定する条件による以下のステップS3〜S11のシーケンス、すなわち、
ニューラルユニットに関するニューラル状態情報を、ニューロン状態メモリユニット内のそれぞれのアドレス指定可能なメモリエントリから取り出すステップ(S3)と、
前記状態情報を、前記ニューラルユニットに宛てられたイベントメッセージに応じて更新するステップ(S4)と、
前記更新された状態情報が発火状態を示すかどうかを判定するステップ(S5)と、
前記示す判定に従って、前記初期状態を示すように前記状態情報をリセットし(S6)、発火イベントメッセージを分配するステップ(S7)であって、以下のサブステップ、すなわち、
出力シナプススライスメモリユニット(12)内の、前記更新されたニューラルユニットに関する適切なメモリエントリにアクセスするサブステップ(S7A)、
前記適切なメモリエントリから、出力シナプスインデックスのそれぞれの範囲についての標識を取り出すサブステップ(S7B)、
それぞれの範囲内の各出力シナプスインデックスについて、
出力シナプスメモリユニット内のそれぞれのエントリにアクセスし(S7C)、出力シナプス属性データを取り出し、前記出力シナプス属性データが、送出の遅延と、関連付けられたニューラルユニットへの参照を含む入力シナプスメモリユニット内のそれぞれのエントリに対応するそれぞれの入力シナプスインデックスとの詳述を含み、
前記関連付けられたニューラルユニットに前記発火イベントメッセージを、前記指定された遅延を伴って送出するサブステップ(S7D)
を含む、ステップと、
それぞれのニューラルユニットに関する前記更新された状態情報を、第1のメモリユニット内の、そのそれぞれのアドレス指定可能な第1のメモリエントリ内に記憶するステップ(S8)と
を反復することを含む、脳型処理方法。 - 更新実施可能条件に適合するかどうかを検証すること(S2)によって、前記指定されたステップS3からS11のシーケンスを用いて更新すべきニューラルユニットを選択するステップを含む、請求項10に記載の脳型処理方法。
- 前記入力シナプスメモリユニット(14)内の前記それぞれのエントリが、前記関連付けられたニューラルユニットを更新するときに処理機能が発火メッセージに重み付けするのに用いる重みを指定し、前記方法が、前記取り出す(S7C)後であって前記送出する(S7D)の前に中間ステップ(S7CD)を含み、前記中間ステップは、宛先情報から前記詳述を取り出すことと、前記入力シナプスメモリユニット(14)内の、前記詳述によって指定されているそれぞれのアドレス指定可能なメモリエントリにアクセスすることと、前記アクセスされたそれぞれのメモリエントリから、前記関連付けられたニューラルユニットの識別情報を取り出すこととを含む、請求項10または11に記載の脳型処理方法。
- 前記出力シナプススライスメモリユニット、前記出力シナプスメモリユニット、および前記入力シナプスメモリユニットのうちの少なくとも1つを更新することによってニューラルネットワークトポロジを再構成するステップを含む、請求項10、11、または12に記載の脳型処理方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18290090.2 | 2018-07-31 | ||
| EP18290090.2A EP3605401A1 (en) | 2018-07-31 | 2018-07-31 | Data processing module, data processing system and data processing method |
| PCT/EP2019/070643 WO2020025680A1 (en) | 2018-07-31 | 2019-07-31 | Data processing module, data processing system and data processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021533517A true JP2021533517A (ja) | 2021-12-02 |
| JP7453229B2 JP7453229B2 (ja) | 2024-03-19 |
Family
ID=63254640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021529520A Active JP7453229B2 (ja) | 2018-07-31 | 2019-07-31 | データ処理モジュール、データ処理システム、およびデータ処理方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20210319295A1 (ja) |
| EP (2) | EP3605401A1 (ja) |
| JP (1) | JP7453229B2 (ja) |
| KR (1) | KR20210091688A (ja) |
| CN (1) | CN113196299A (ja) |
| WO (1) | WO2020025680A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4075275A1 (en) * | 2021-04-16 | 2022-10-19 | GrAl Matter Labs S.A.S. | Message based processor, message based processing method and record carrier |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0461902B1 (en) * | 1990-06-14 | 1998-12-23 | Canon Kabushiki Kaisha | Neural network |
| US20040193558A1 (en) * | 2003-03-27 | 2004-09-30 | Alex Nugent | Adaptive neural network utilizing nanotechnology-based components |
| US9460387B2 (en) * | 2011-09-21 | 2016-10-04 | Qualcomm Technologies Inc. | Apparatus and methods for implementing event-based updates in neuron networks |
| US8909576B2 (en) * | 2011-09-16 | 2014-12-09 | International Business Machines Corporation | Neuromorphic event-driven neural computing architecture in a scalable neural network |
| US9256823B2 (en) * | 2012-07-27 | 2016-02-09 | Qualcomm Technologies Inc. | Apparatus and methods for efficient updates in spiking neuron network |
| US9542643B2 (en) | 2013-05-21 | 2017-01-10 | Qualcomm Incorporated | Efficient hardware implementation of spiking networks |
| US10204301B2 (en) * | 2015-03-18 | 2019-02-12 | International Business Machines Corporation | Implementing a neural network algorithm on a neurosynaptic substrate based on criteria related to the neurosynaptic substrate |
| FR3038997A1 (fr) | 2015-07-13 | 2017-01-20 | Univ Pierre Et Marie Curie (Paris 6) | Dispositif de traitement de donnees avec representation de valeurs par des intervalles de temps entre evenements |
| CN105488565A (zh) * | 2015-11-17 | 2016-04-13 | 中国科学院计算技术研究所 | 加速深度神经网络算法的加速芯片的运算装置及方法 |
| US10990872B2 (en) | 2016-03-31 | 2021-04-27 | International Business Machines Corporation | Energy-efficient time-multiplexed neurosynaptic core for implementing neural networks spanning power- and area-efficiency |
| US20170330069A1 (en) * | 2016-05-11 | 2017-11-16 | Kneron Inc. | Multi-layer artificial neural network and controlling method thereof |
| US10824937B2 (en) * | 2016-12-20 | 2020-11-03 | Intel Corporation | Scalable neuromorphic core with shared synaptic memory and variable precision synaptic memory |
| US11037054B2 (en) * | 2016-12-20 | 2021-06-15 | Intel Corporation | Trace-based neuromorphic architecture for advanced learning |
| EP3564866A4 (en) * | 2016-12-28 | 2020-03-25 | Shanghai Cambricon Information Technology Co., Ltd | CALCULATION PROCEDURE |
-
2018
- 2018-07-31 EP EP18290090.2A patent/EP3605401A1/en not_active Withdrawn
-
2019
- 2019-07-31 KR KR1020217006235A patent/KR20210091688A/ko active Search and Examination
- 2019-07-31 WO PCT/EP2019/070643 patent/WO2020025680A1/en unknown
- 2019-07-31 JP JP2021529520A patent/JP7453229B2/ja active Active
- 2019-07-31 CN CN201980064672.XA patent/CN113196299A/zh active Pending
- 2019-07-31 US US17/264,648 patent/US20210319295A1/en active Pending
- 2019-07-31 EP EP19745163.6A patent/EP3830763A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210091688A (ko) | 2021-07-22 |
| EP3830763A1 (en) | 2021-06-09 |
| EP3605401A1 (en) | 2020-02-05 |
| CN113196299A (zh) | 2021-07-30 |
| JP7453229B2 (ja) | 2024-03-19 |
| US20210319295A1 (en) | 2021-10-14 |
| WO2020025680A1 (en) | 2020-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11295201B2 (en) | Time-division multiplexed neurosynaptic module with implicit memory addressing for implementing a neural network | |
| US9754221B1 (en) | Processor for implementing reinforcement learning operations | |
| US10891544B2 (en) | Event-driven universal neural network circuit | |
| US20160260008A1 (en) | Time-division multiplexed neurosynaptic module with implicit memory addressing for implementing a universal substrate of adaptation | |
| US9020867B2 (en) | Cortical simulator for object-oriented simulation of a neural network | |
| US9412064B2 (en) | Event-based communication in spiking neuron networks communicating a neural activity payload with an efficacy update | |
| Song et al. | Normal forms for some classes of sequential spiking neural P systems | |
| US20160321081A1 (en) | Embedded systems of internet-of-things incorporating a cloud computing service of FPGA reconfiguration | |
| US20130073496A1 (en) | Tag-based apparatus and methods for neural networks | |
| CN108228354A (zh) | 调度方法、系统、计算机设备和介质 | |
| US20190138373A1 (en) | Multithreaded data flow processing within a reconfigurable fabric | |
| TW201329743A (zh) | 用於仿神經系統之基本網路描述 | |
| CN108694089A (zh) | 使用非贪婪调度算法的并行计算架构 | |
| JP2020505666A (ja) | 面積高効率、再設定可能、エネルギ高効率、速度高効率のニューラル・ネットワーク基板 | |
| CN111708641A (zh) | 一种内存管理方法、装置、设备及计算机可读存储介质 | |
| CN114327399A (zh) | 分布式训练方法、装置、计算机设备、存储介质和产品 | |
| JP7453229B2 (ja) | データ処理モジュール、データ処理システム、およびデータ処理方法 | |
| Fox | Massively parallel neural computation | |
| EP3640862A1 (en) | Neural network evaluation tool and method | |
| CN113806077A (zh) | 基于人工智能的数据中心服务器调控方法及装置 | |
| CN112766475A (zh) | 处理部件及人工智能处理器 | |
| CN110399234A (zh) | 一种任务加速处理方法、装置、设备及可读存储介质 | |
| Yunzhou et al. | Innovative architecture of single chip edge device based on virtualization technology | |
| CN117709402A (zh) | 模型构建方法、装置、平台、电子设备及存储介质 | |
| Sokolnicki et al. | Graphical representation of data for a multiprocessor array emulating spiking neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220704 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230919 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240307 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7453229 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |