JP2008545197A - 神経モデリングのためのアドレス機構及び特殊目的プロセッサを使用する脳ベースの装置 - Google Patents
神経モデリングのためのアドレス機構及び特殊目的プロセッサを使用する脳ベースの装置 Download PDFInfo
- Publication number
- JP2008545197A JP2008545197A JP2008519506A JP2008519506A JP2008545197A JP 2008545197 A JP2008545197 A JP 2008545197A JP 2008519506 A JP2008519506 A JP 2008519506A JP 2008519506 A JP2008519506 A JP 2008519506A JP 2008545197 A JP2008545197 A JP 2008545197A
- Authority
- JP
- Japan
- Prior art keywords
- neural
- core
- output
- synaptic
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
- G06F15/7867—Architectures of general purpose stored program computers comprising a single central processing unit with reconfigurable architecture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【選択図】 図1A
Description
又、本出願は、参考としてここに援用する2006年6月27日に出願された“Addressing Scheme for Neural Modeling and Brain-Based Devices Using Special Purpose Processor”と題する米国特許出願第11/426,896号に対する優先権を請求する(代理人整理番号第NSRF−01006US3号)。
(1)人工知能(AI)
(2)人工神経網(ANN)
(3)脳ベースの装置(BBD)
但し、tは、現在エポックを表わす。これは、VirtexTM−IIXilixTMFPGAにおける18x18乗算器のような乗算器を使用することにより実施することができる。
但し、A(t)は、上述した現在の前シナプス出力であり、Snewは、神経素子の現在PSP出力値であり、Soldは、最後のエポックにおける神経素子のPSP出力値であり、gは、倍率係数であり、そしてtは、持続係数である。tanh(x)は、−1ないし1の範囲への圧縮を与える。
但し、ギリシャ文字のデルタは、トリガー係数である。
トリガー関数φ(x)は、tanh(x)関数と共に、Snewが0と1との間であることを保証する。Snew値は、出力記憶テーブルへ送信することができる。又、Snew値は、次のエポックにおいてSoldとして使用すべくローカル記憶することもできる。
但し、Sold>>Wは、Wスペースだけ右シフトであり、これは、ωSoldと同じであり、ここで、ω=2-wである。
但し、Δcj=ε(cj(0)−cj(t))は、忘却ルールであり、ηSF(S)は、値独立学習ルールであり、そしてηSF(S)V(d)は、値依存学習ルールである。cj(0)は、j番目の入力に対する初期重みであり、そしてcj(t)は、j番目の入力に対する現在重みである。εは、減衰定数であり、ηは、学習率定数であり、Sは、後シナプス出力、例えば、Snewである。
但し、θ1及びθ2は、スレッシュホールド定数で、(0<θ1<θ2<1)であり、κ1及びκ2は、傾斜定数であり、そしてρは、飽和パラメータで、全てのコアに対して6である。
但し、dは、値依存事象の開始以来のエポックの数のような遅延である。値学習が行なわれないときには、dは、0であるように定義することができ、V(d=0)は、1であるように定義される。値学習中のd値は、1からdmaxまでの範囲であり、ここで、dmax*(エポック周期)は、値学習周期である。従って、一例において、エポックは、10msであり、そして望ましい値学習周期は、900msであり、従って、dmaxは、90である。f(d)は、ほぼ0で開始し、1のピークに到達し、そしてdmaxにおいてほぼ0に復帰する関数である。f(d)は、値学習のオペレーションの開始を遅延させそしてそれを拡散させるのに使用できる。f(d)について考えられる1つの級数は、ポイントf(dmax/9)= 0.1, f(2dmax/9)= 0.1, f(3dmax/9)= 0.3, f(4dmax/9)= 0.7, f(5dmax/9)= 1.0, f(6dmax/9)= 1.0, f(7dmax/9)= 0.7, f(8dmax/9)= 0.3, f(dmax)= 0.1を含む曲線によって定義できる。
視覚システムは、霊長類の後頭側頭又は腹側皮質経路においてモデリングすることができ、そして神経エリアV1→V2→V4→ITを含み、ここで、次々のエリアにおけるニューロンは、下側側頭皮質において各フィールドがほぼ全視界をカバーするまで漸次より大きな感受性フィールドを有する。カメラからの視覚映像は、色及び縁についてフィルタリングすることができ、そしてフィルタリングされた出力は、エリアV1における神経アクティビティに直接作用する。V1は、サブ領域(図示せず)に分割することができ、その各々は、緑(V1−緑)、赤(V1−赤)、水平線セグメント(V1−水平)、垂直線セグメント(V1−垂直)、45度線(V1−対角−右)、及び135度線(V1−対角−左)に対して優先的に応答するニューロンユニットを有する。この視覚システムは、視覚システム内及び視覚システムと他の皮質エリアとの間の高レベル相互作用を分析するための計算上扱い易い基礎を与える。
トラッキングシステムは、BBDが聴覚及び視覚刺激に向くのを許す。神経エリアC(上丘と同様の)のアクティビティは、BBDがそのカメラ目線をどこに向けるか指令することができる。BBDにおけるトラッキングは、エリアCにおけるニューロンユニットのアクティビティのベクトル加算に基づいてホイール又はトラックへの信号により達成することができる。エリアCの各ニューロンユニットは、その好ましい方向に一致する各フィールドを持つことができ、そしてそのエリアは、アクティビティが主としてエリアCの左側にある場合に、左に向いたターンを引き起こすBBDホイールへの信号が発生されるようなトポグラフ的構成を有する。聴覚神経エリア(A−左及びA−右)は、エリアCの各同側への強い興奮性突出を有し、BBDを音源に向けさせる。神経エリアV4は、トポグラフ的にエリアCへ突出し、そのアクティビティは、BBDがその目線を視覚物体(例えば、赤い三角形)の中心に向けるようにさせる。神経エリアIT及び値システムSの両方がエリアCに突出し、経路IT→C及びIT→Sにおける可塑接続は、突起認知カテゴリーを反映するアクティビティのバイアスを生成することによりターゲットの選択を容易にする(以下の値システムを参照)。以下に述べるように、コンディショニング又はトレーニング段階の前には、バイアスがないので、BBDは、その目線を主としてその環境内において2つの物体(例えば、赤の三角形と赤の方形)の間に向ける。視覚物体(例えば、赤の三角形)を好むことを学習した後に、可塑接続の強さが変化すると、好ましい物体の位置に対応するエリアCの部分に大きなアクティビティを生じさせる。
このシステムは、マイクロホンからの入力を、刺激されたニューロンユニットアクティビティへ変換する。一実施形態において、神経エリア「マイク−左」及び「マイク−右」は、それに対応するマイクロホン16、18が指定の周波数範囲内の充分な振幅の音を検出したときに各々アクチベートすることができる。「マイク−左」/「マイク−右」は、エリア「A−左」/「A−右」のニューロンユニットへ突出する。片側からの音は、聴覚システムの同側にアクティビティを生じさせ、これは、次いで、エリアCの同側にアクティビティを生じさせ、BBDを音源に向けさせる。
シミュレーションされた値システムにおけるアクティビティは、突起知覚事象の発生を信号することができ、このアクティビティは、経路IT→S及びIT→Cにおける接続強度の変調に貢献する。最初に、以下に述べる学習段階において、神経エリアSは、聴覚システムにより検出された音でアクチベートされる(神経系12の「A−左」→S及び「A−右」→Sを参照)。エリアSのアクティビティは、突起事象によりトリガーされ、神経モデルの大きな領域に影響し(以下の「シナプス塑性」の章で述べる)、そして数サイクル間持続するという点で上行性神経変調システムのアクティビティと同様である。更に、トラッキングエリアCへのその突出のために、エリアSは、実世界の環境においてBBDの振舞いに直接影響する。
一実施形態では、神経モデル12の神経エリアV1、V2等内のニューロンユニットは、平均発射レートモデルによってシミュレーションされる。各ニューロンユニットの状態は、平均発射レート変数(σ)及び位相変数(P)により決定される。各ニューロンユニットの平均発射レート変数は、ほぼ100ミリ秒の時間周期中のほぼ100個のニューロンのグループの平均アクティビティ又は発射レートに対応する。発射アクティビティの相対的なタイミングを指定する位相変数は、個々のニューロンのスパイクアクティビティのモデリングに関連した計算コストを負うことなく一時的な特殊性をリアルタイムで与える(以下のニューロンユニットアクティビティ及び位相を参照)。
一実施形態において、例えば、V1又はCのような所与の神経エリア内におけるニューロンユニット間、及び神経エリア間のシナプス接続、例えば、V2→V4又はC→V4は、電圧独立又は電圧依存、位相独立又は位相依存、そして塑性又は非塑性にセットされる。電圧独立接続は、ニューロンの後シナプス状態に関りなく、後シナプスニューロンにシナプス入力を与える。電圧依存接続は、後シナプスの減極をアクチベートする必要のある受容体形式(例えば、NMDA受容体)の貢献を表わす。換言すれば、前シナプスニューロンは、その軸索に沿ってシナプスを経て後シナプスニューロンへ信号を送信する。後シナプスニューロンは、この信号を受信して、それを、他の前シナプスニューロンから受け取った他の信号と一体化する。
テーブル1に示すように、テーブル1に示すように、エリアV1は、入力神経エリアであり、そのアクティビティは、カメラの映像に基づいてセットすることができる。神経エリアV1、V2及びV4は、色(例えば、赤及び緑)及び線の向き(例えば、0、45、90及び135度)についてニューロンユニットが各々選択される6個のサブエリアを有することができる。神経エリア「マイク−左」及び「マイク−右」は、入力神経エリアであり、それらのアクティビティは、マイクロホンからの入力に基づいてセットされる。
シナプスの強度は、前及び後シナプスニューロンユニットの位相及びアクティビティに依存するシナプスルールに基づいて変更を受ける。塑性シナプス接続は、値独立(図1CにおいてIT→lTを参照)であるか、又は値依存(図1CにおいてIT→S、IT→Cを参照)である。これらルールは、両方とも、抑圧及び増強の領域を定義するスレッシュホールドが前シナプスと後シナプスのニューロンユニット間の位相差の関数である変更BCM学習ルールをベースとすることができる(図1Cの挿入図を参照)。
− モードレジスタアクセス
− 入力ポインタSDRAMアクセス
− 重みSDRAMアクセス
− OSTAアクセス(オンチップ出力)
− OSTBアクセス(オフチップ出力)
− NPU常時アクセス(NPSシステムバスを経て)
− エポックのステップ、素子及びコアを通してカウントする
− パイプラインレジスタ、メモリ及びシステムバスアクセスのためのフラグの必要なシーケンスを与える
− 出力記憶テーブル及びシステムバス装置のための必要なアドレスを与える
− プロセッサストリーミングアクセスのためのシーケンスをおそらく与える
− SDRAMレジスタ出力1010
− 書き込みFIFO1002
− 読み取りFIFO1004
− アドレスジェネレータ1006
− コントローラ限定状態マシン1008
− システムバスへのOST及び重みデータ
− システムバスからのOST及び重みデータ
− PPCデータ書き込み
− PPCデータ読み取り
256個のコア及び256個のタイムスライスを伴う一実施形態において、重みは、次のような単一のサイン入りバイトを使用できる。
256バイト/素子 => 256バイト
256タイムスライス素子/コア => 256*256 = 65536 バイト
256コア/チップ => 256^3 = 16,777,216 バイト
合計(16 Meg by 8)
PSP出力データは、各々、次のような単一の非サイン入りバイトを有する。
256バイト/素子 => 256バイト
256タイムスライス素子/コア => 256*256 = 65536 バイト
256コア/チップ => 256^3 = 16,777,216 バイト
合計(16 Meg by 8)
接続テーブルは、各接続に対して16ビット、行先神経コアIDに対して8ビット、及び行先タイムスライスIDに対して8ビットを有することができる。従って、
256接続/素子 => 2*256 = 516 バイト
256タイムスライス素子/コア => 2*256^2 接続バイト
256コア/チップ => 2*256^3 接続バイト
合計(16 Meg by 16)
Claims (15)
- 神経モデルを実施するFPGAを備え、前記神経モデルは複数の神経素子を含み、前記FPGAは、前記神経素子を実施するための複数のコアを含み、これらコアは、データを並列に処理し、前記コアにおける処理は、入力値及び重みを使用する前シナプス計算と、この前シナプス計算の結果を使用して後シナプス出力を発生するための後シナプス計算と、前記重みを変更するための塑性計算とを含み、前記入力値は、出力記憶テーブルに対するポインタを得るために接続テーブルを通してループすることによって前記コアへ与えられ、前記ポインタは、予め定められた順序で前記コアの入力を指示するものである、特殊目的プロセッサ。
- 前記後シナプス出力は、出力記憶テーブルを経てループする予め定められた順序で前記コアから前記出力記憶テーブルに与えられる、請求項1に記載の特殊目的プロセッサ。
- 前記重みは、予め定められた順序で前記コアに対する重みを得るために重みテーブルを経てループすることにより前記コアに与えられる、請求項1に記載の特殊目的プロセッサ。
- 請求項1に記載の特殊目的プロセッサを備えた脳ベースの装置において、更に、
前記特殊目的プロセッサのための入力を与える少なくとも1つのセンサと、
前記特殊目的プロセッサからの出力を受け取る少なくとも1つのアクチュエータであって、前記出力が前記神経モデルの神経素子による処理の結果であるようなアクチュエータと、
を備えた脳ベースの装置。 - 請求項1に記載の特殊目的プロセッサを備えた脳ベースの装置において、更に、
少なくとも1つのセンサ及び少なくとも1つのアクチュエータを含む複数の取外し可能なポッドを備えた、脳ベースの装置。 - 神経モデルを実施するFPGAを備え、前記神経モデルは複数の神経素子を含み、前記FPGAは、前記神経素子を実施するための複数のコアを含み、これらコアは、データを並列に処理し、前記コアにおける処理は、入力値及び重みを使用する前シナプス計算と、この前シナプス計算の結果を使用して後シナプス出力を発生するための後シナプス計算と、前記重みを変更するための塑性計算とを含み、前記後シナプス出力は、出力記憶テーブルを経てループする予め定められた順序で前記コアから前記出力記憶テーブルに与えられる、特殊目的プロセッサ。
- 前記重みは、予め定められた順序で前記コアに対する重みを得るために重みテーブルを経てループすることにより前記コアに与えられる、請求項6に記載の特殊目的プロセッサ。
- 前記入力値は、出力記憶テーブルに対するポインタを得るために接続テーブルを通してループすることにより前記コアへ与えられ、前記ポインタは、予め定められた順序で前記コアの入力を指示する、請求項6に記載の特殊目的プロセッサ。
- 請求項6に記載の特殊目的プロセッサを備えた脳ベースの装置において、更に、
前記特殊目的プロセッサのための入力を与える少なくとも1つのセンサと、
前記特殊目的プロセッサからの出力を受け取る少なくとも1つのアクチュエータであって、前記出力が前記神経モデルの神経素子による処理の結果であるようなアクチュエータと、
を備えた脳ベースの装置。 - 請求項6に記載の特殊目的プロセッサを備えた脳ベースの装置において、更に、
少なくとも1つのセンサ及び少なくとも1つのアクチュエータを含む複数の取外し可能なポッドを備えた、脳ベースの装置。 - 神経モデルを実施するFPGAを備え、前記神経モデルは複数の神経素子を含み、前記FPGAは、前記神経素子を実施するための複数のコアを含み、これらコアは、データを並列に処理し、前記コアにおける処理は、入力値及び重みを使用する前シナプス計算と、この前シナプス計算の結果を使用して後シナプス出力を発生するための後シナプス計算と、前記重みを変更するための塑性計算とを含み、前記重みは、予め定められた順序で前記コアに対する重みを得るために重みテーブルを経てループすることにより前記コアに与えられる、特殊目的プロセッサ。
- 前記入力値は、出力記憶テーブルに対するポインタを得るために接続テーブルを通してループすることにより前記コアへ与えられ、前記ポインタは、予め定められた順序で前記コアの入力を指示する、請求項11に記載の特殊目的プロセッサ。
- 前記後シナプス出力は、出力記憶テーブルを経てループする予め定められた順序で前記コアから前記出力記憶テーブルに与えられる、請求項11に記載の特殊目的プロセッサ。
- 請求項11に記載の特殊目的プロセッサを備えた脳ベースの装置において、更に、
前記特殊目的プロセッサのための入力を与える少なくとも1つのセンサと、
前記特殊目的プロセッサからの出力を受け取る少なくとも1つのアクチュエータであって、前記出力が前記神経モデルの神経素子による処理の結果であるようなアクチュエータと、
を備えた脳ベースの装置。 - 請求項11に記載の特殊目的プロセッサを備えた脳ベースの装置において、更に、
少なくとも1つのセンサ及び少なくとも1つのアクチュエータを含む複数の取外し可能なポッドを備えた、脳ベースの装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US69462805P | 2005-06-28 | 2005-06-28 | |
US11/426,896 US7627540B2 (en) | 2005-06-28 | 2006-06-27 | Addressing scheme for neural modeling and brain-based devices using special purpose processor |
PCT/US2006/025107 WO2007002731A2 (en) | 2005-06-28 | 2006-06-28 | Addressing scheme for neural modeling and brain-based devices using special purpose processor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008545197A true JP2008545197A (ja) | 2008-12-11 |
Family
ID=37596005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008519506A Pending JP2008545197A (ja) | 2005-06-28 | 2006-06-28 | 神経モデリングのためのアドレス機構及び特殊目的プロセッサを使用する脳ベースの装置 |
Country Status (4)
Country | Link |
---|---|
US (3) | US7627540B2 (ja) |
EP (1) | EP1899847A4 (ja) |
JP (1) | JP2008545197A (ja) |
WO (1) | WO2007002731A2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016536679A (ja) * | 2013-10-11 | 2016-11-24 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ニューラルシミュレータ用の共有メモリアーキテクチャ |
JP2022523291A (ja) * | 2019-01-18 | 2022-04-22 | シリコン ストーリッジ テクノロージー インコーポレイテッド | 深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてニューロン電流をニューロン電流ベースの時間パルスに変換するためのシステム |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7627540B2 (en) * | 2005-06-28 | 2009-12-01 | Neurosciences Research Foundation, Inc. | Addressing scheme for neural modeling and brain-based devices using special purpose processor |
US7272681B2 (en) * | 2005-08-05 | 2007-09-18 | Raytheon Company | System having parallel data processors which generate redundant effector date to detect errors |
US7765029B2 (en) * | 2005-09-13 | 2010-07-27 | Neurosciences Research Foundation, Inc. | Hybrid control device |
EP2024901A2 (en) | 2006-05-25 | 2009-02-18 | Elminda Ltd. | Neuropsychological spatiotemporal pattern recognition |
US8407429B2 (en) * | 2006-06-21 | 2013-03-26 | Element Cxi, Llc | Multi-context configurable memory controller |
US20140214730A9 (en) * | 2007-02-05 | 2014-07-31 | Goded Shahaf | System and method for neural modeling of neurophysiological data |
US8127075B2 (en) * | 2007-07-20 | 2012-02-28 | Seagate Technology Llc | Non-linear stochastic processing storage device |
EP2256667B1 (en) * | 2009-05-28 | 2012-06-27 | Honda Research Institute Europe GmbH | Driver assistance system or robot with dynamic attention module |
JP2013529342A (ja) * | 2010-05-19 | 2013-07-18 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | ニューラル処理ユニット |
US9626624B2 (en) * | 2010-07-20 | 2017-04-18 | Analog Devices, Inc. | Programmable probability processing |
US9563851B2 (en) | 2011-06-07 | 2017-02-07 | Analog Devices, Inc. | Programmable probability processing |
CN103136163B (zh) * | 2011-11-29 | 2015-06-24 | 中国航空工业集团公司第六三一研究所 | 可配置实现fc-ae-asm和fc-av协议的协议处理器芯片 |
WO2013090451A1 (en) * | 2011-12-13 | 2013-06-20 | Simigence, Inc. | Computer-implemented simulated intelligence capabilities by neuroanatomically-based system architecture |
US9082078B2 (en) | 2012-07-27 | 2015-07-14 | The Intellisis Corporation | Neural processing engine and architecture using the same |
US9563841B2 (en) | 2012-07-31 | 2017-02-07 | International Business Machines Corporation | Globally asynchronous and locally synchronous (GALS) neuromorphic network |
US9159020B2 (en) | 2012-09-14 | 2015-10-13 | International Business Machines Corporation | Multiplexing physical neurons to optimize power and area |
US9185057B2 (en) | 2012-12-05 | 2015-11-10 | The Intellisis Corporation | Smart memory |
US9904889B2 (en) | 2012-12-05 | 2018-02-27 | Applied Brain Research Inc. | Methods and systems for artificial cognition |
US9087301B2 (en) | 2012-12-21 | 2015-07-21 | International Business Machines Corporation | Hardware architecture for simulating a neural network of neurons |
US9053429B2 (en) | 2012-12-21 | 2015-06-09 | International Business Machines Corporation | Mapping neural dynamics of a neural model on to a coarsely grained look-up table |
US9239984B2 (en) | 2012-12-21 | 2016-01-19 | International Business Machines Corporation | Time-division multiplexed neurosynaptic module with implicit memory addressing for implementing a neural network |
US9373073B2 (en) | 2012-12-21 | 2016-06-21 | International Business Machines Corporation | Time-division multiplexed neurosynaptic module with implicit memory addressing for implementing a universal substrate of adaptation |
US9600762B2 (en) | 2013-04-12 | 2017-03-21 | Qualcomm Incorporated | Defining dynamics of multiple neurons |
US9542643B2 (en) | 2013-05-21 | 2017-01-10 | Qualcomm Incorporated | Efficient hardware implementation of spiking networks |
US9330355B2 (en) | 2013-08-06 | 2016-05-03 | Qualcomm Incorporated | Computed synapses for neuromorphic systems |
CN103691058B (zh) * | 2013-12-10 | 2015-10-28 | 天津大学 | 帕金森病基底核-丘脑网络的深度脑刺激fpga实验平台 |
US9852006B2 (en) * | 2014-03-28 | 2017-12-26 | International Business Machines Corporation | Consolidating multiple neurosynaptic core circuits into one reconfigurable memory block maintaining neuronal information for the core circuits |
US10817785B2 (en) * | 2014-08-09 | 2020-10-27 | Fred Narcross | Brain emulator support system |
US9916530B2 (en) * | 2014-10-03 | 2018-03-13 | The Regents Of The University Of California | Neuromorphic circuit model simulation that facilitates information routing and processing |
US10679120B2 (en) * | 2014-11-10 | 2020-06-09 | International Business Machines Corporation | Power driven synaptic network synthesis |
US10061531B2 (en) | 2015-01-29 | 2018-08-28 | Knuedge Incorporated | Uniform system wide addressing for a computing system |
US9552327B2 (en) | 2015-01-29 | 2017-01-24 | Knuedge Incorporated | Memory controller for a network on a chip device |
US11295202B2 (en) | 2015-02-19 | 2022-04-05 | Seagate Technology Llc | Storage device with configurable neural networks |
CN106295799B (zh) * | 2015-05-12 | 2018-11-02 | 核工业北京地质研究院 | 一种深度学习多层神经网络的实现方法 |
US10027583B2 (en) | 2016-03-22 | 2018-07-17 | Knuedge Incorporated | Chained packet sequences in a network on a chip architecture |
US10346049B2 (en) | 2016-04-29 | 2019-07-09 | Friday Harbor Llc | Distributed contiguous reads in a network on a chip architecture |
US10140574B2 (en) * | 2016-12-31 | 2018-11-27 | Via Alliance Semiconductor Co., Ltd | Neural network unit with segmentable array width rotator and re-shapeable weight memory to match segment width to provide common weights to multiple rotator segments |
US11615297B2 (en) | 2017-04-04 | 2023-03-28 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network compiler |
US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
US11551028B2 (en) | 2017-04-04 | 2023-01-10 | Hailo Technologies Ltd. | Structured weight based sparsity in an artificial neural network |
US11544545B2 (en) | 2017-04-04 | 2023-01-03 | Hailo Technologies Ltd. | Structured activation based sparsity in an artificial neural network |
US10387298B2 (en) | 2017-04-04 | 2019-08-20 | Hailo Technologies Ltd | Artificial neural network incorporating emphasis and focus techniques |
US10956811B2 (en) * | 2017-07-31 | 2021-03-23 | Intel Corporation | Variable epoch spike train filtering |
US11507806B2 (en) * | 2017-09-08 | 2022-11-22 | Rohit Seth | Parallel neural processor for Artificial Intelligence |
US10657426B2 (en) | 2018-01-25 | 2020-05-19 | Samsung Electronics Co., Ltd. | Accelerating long short-term memory networks via selective pruning |
US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09319724A (ja) * | 1996-05-31 | 1997-12-12 | Noritz Corp | 推論装置 |
JPH11515097A (ja) * | 1995-09-19 | 1999-12-21 | モルフォメトリックス テクノロジーズ インク. | ニューラル・ネットワーク支援型のマルチスペクトル・セグメンテーション・システム |
JP2002187082A (ja) * | 2000-10-11 | 2002-07-02 | Sony Corp | ロボット制御システム及びロボット制御方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4095367A (en) * | 1976-06-09 | 1978-06-20 | Takara Co., Ltd. | Articulated robot assembly |
US5164826A (en) * | 1991-08-19 | 1992-11-17 | Westinghouse Electric Corp. | Method and apparatus for visual inspection of the internal structure of apparatus through internal passages |
US5491650A (en) * | 1993-04-19 | 1996-02-13 | California Institute Of Technology | High precision computing with charge domain devices and a pseudo-spectral method therefor |
US5781702A (en) * | 1995-06-07 | 1998-07-14 | Univ South Western | Hybrid chip-set architecture for artificial neural network system |
EP0834817B1 (en) * | 1996-10-01 | 2000-08-02 | FINMECCANICA S.p.A. AZIENDA ANSALDO | Programmed neural module |
DE19718224A1 (de) * | 1997-04-30 | 1997-11-27 | Harald Dipl Phys Wuest | Digitaler Neuroprozessor |
US20040015079A1 (en) * | 1999-06-22 | 2004-01-22 | Teratech Corporation | Ultrasound probe with integrated electronics |
US6882992B1 (en) * | 1999-09-02 | 2005-04-19 | Paul J. Werbos | Neural networks for intelligent control |
EP1089221A3 (en) | 1999-09-29 | 2007-05-02 | Lucent Technologies Inc. | Spike-based hybrid computation |
EP1405044A1 (en) * | 2001-07-02 | 2004-04-07 | Battelle Memorial Institute | Intelligent microsensor module |
US6553300B2 (en) * | 2001-07-16 | 2003-04-22 | Deere & Company | Harvester with intelligent hybrid control system |
EP1563348A2 (en) * | 2002-08-21 | 2005-08-17 | Neal E. Solomon | Systems, methods and apparatus for organizing groups of self-configurable mobile robotic agents in a multi-robotic system |
JPWO2004033159A1 (ja) | 2002-10-11 | 2006-02-09 | 富士通株式会社 | ロボット制御アルゴリズム構築装置、ロボット制御アルゴリズム構築プログラムロボット制御装置、ロボット制御プログラム、およびロボット |
JP4587738B2 (ja) | 2003-08-25 | 2010-11-24 | ソニー株式会社 | ロボット装置及びロボットの姿勢制御方法 |
US7519879B2 (en) * | 2004-04-26 | 2009-04-14 | Agilent Technologies, Inc. | Apparatus and method for dynamic in-circuit probing of field programmable gate arrays |
US7240160B1 (en) * | 2004-06-30 | 2007-07-03 | Sun Microsystems, Inc. | Multiple-core processor with flexible cache directory scheme |
US7430643B2 (en) * | 2004-12-30 | 2008-09-30 | Sun Microsystems, Inc. | Multiple contexts for efficient use of translation lookaside buffer |
US7627540B2 (en) * | 2005-06-28 | 2009-12-01 | Neurosciences Research Foundation, Inc. | Addressing scheme for neural modeling and brain-based devices using special purpose processor |
-
2006
- 2006-06-27 US US11/426,896 patent/US7627540B2/en not_active Expired - Fee Related
- 2006-06-28 WO PCT/US2006/025107 patent/WO2007002731A2/en active Application Filing
- 2006-06-28 JP JP2008519506A patent/JP2008545197A/ja active Pending
- 2006-06-28 EP EP06774158A patent/EP1899847A4/en not_active Withdrawn
-
2009
- 2009-11-17 US US12/620,405 patent/US7908235B2/en not_active Expired - Fee Related
-
2011
- 2011-03-14 US US13/047,434 patent/US8326782B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11515097A (ja) * | 1995-09-19 | 1999-12-21 | モルフォメトリックス テクノロジーズ インク. | ニューラル・ネットワーク支援型のマルチスペクトル・セグメンテーション・システム |
JPH09319724A (ja) * | 1996-05-31 | 1997-12-12 | Noritz Corp | 推論装置 |
JP2002187082A (ja) * | 2000-10-11 | 2002-07-02 | Sony Corp | ロボット制御システム及びロボット制御方法 |
Non-Patent Citations (4)
Title |
---|
CSNG199700083011; 桑高 克直 他2名: '汎用並列ニューロコンピュータを用いたニューラルネットワーク演算' 電子情報通信学会技術研究報告 第96巻, 第430号, 19961214, p.79-86., 社団法人電子情報通信学会 * |
JPN6012014787; Max van Daalen, et al.: 'A stochastic neural architecture that exploits dynamically reconfigurable FPGAs' Proceedings. IEEE Workshop on FPGAs for Custom Computing Machines 1993 , 19930407, pp.202-211 * |
JPN6012064759; 桑高 克直 他2名: '汎用並列ニューロコンピュータを用いたニューラルネットワーク演算' 電子情報通信学会技術研究報告 第96巻, 第430号, 19961214, p.79-86., 社団法人電子情報通信学会 * |
JPN7012001019; Anil K. Seth, et al.: 'Visual Binding Through Reentrant Connectivity and Dynamic Synchronization in a Brain-based Device' Cerebral Cortex Volume 14, Issue 11, 20040513, pp.1185-1199 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016536679A (ja) * | 2013-10-11 | 2016-11-24 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ニューラルシミュレータ用の共有メモリアーキテクチャ |
JP2022523291A (ja) * | 2019-01-18 | 2022-04-22 | シリコン ストーリッジ テクノロージー インコーポレイテッド | 深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてニューロン電流をニューロン電流ベースの時間パルスに変換するためのシステム |
US11500442B2 (en) | 2019-01-18 | 2022-11-15 | Silicon Storage Technology, Inc. | System for converting neuron current into neuron current-based time pulses in an analog neural memory in a deep learning artificial neural network |
JP7346579B2 (ja) | 2019-01-18 | 2023-09-19 | シリコン ストーリッジ テクノロージー インコーポレイテッド | 深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてニューロン電流をニューロン電流ベースの時間パルスに変換するためのシステム |
Also Published As
Publication number | Publication date |
---|---|
US7627540B2 (en) | 2009-12-01 |
EP1899847A2 (en) | 2008-03-19 |
WO2007002731A3 (en) | 2007-05-10 |
WO2007002731A2 (en) | 2007-01-04 |
EP1899847A4 (en) | 2009-12-02 |
US20070011118A1 (en) | 2007-01-11 |
US20100161533A1 (en) | 2010-06-24 |
US20110302120A1 (en) | 2011-12-08 |
US8326782B2 (en) | 2012-12-04 |
US7908235B2 (en) | 2011-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008545197A (ja) | 神経モデリングのためのアドレス機構及び特殊目的プロセッサを使用する脳ベースの装置 | |
JP2009508182A (ja) | 特殊目的プロセッサを使用する神経モデリング及び脳ベースの装置 | |
Liu et al. | Neuromorphic sensory systems | |
Walter et al. | Neuromorphic implementations of neurobiological learning algorithms for spiking neural networks | |
US8793205B1 (en) | Robotic learning and evolution apparatus | |
EP0715737B1 (en) | Cnn topographic sensory organs and method | |
KR102589968B1 (ko) | 3 차원 적층 구조를 갖는 뉴로모픽 회로 및 이를 포함하는 반도체 장치 | |
Manfredi et al. | A bioinspired autonomous swimming robot as a tool for studying goal-directed locomotion | |
KR20160123309A (ko) | 확률적 스파이킹 베이지안망들에 대한 이벤트-기반 추론 및 학습 | |
JP2013546065A (ja) | シミュレーションを使用して学習されるシナプス重みを用いるニューロモーフィック/シナプトロニック・スパイキング・ニューラル・ネットワークのための方法、デバイス、および回路 | |
CN105205533A (zh) | 具有脑认知机理的发育自动机及其学习方法 | |
Davies et al. | Interfacing real-time spiking I/O with the SpiNNaker neuromimetic architecture | |
Ames et al. | Persuading computers to act more like brains | |
De Garis et al. | The cam-brain machine (cbm): Real time evolution and update of a 75 million neuron fpga-based artificial brain | |
Holland et al. | Evolving collective behaviours in simulated kilobots | |
Zins et al. | Implementation of Associative Memory Learning in Mobile Robots Using Neuromorphic Computing | |
JP2004348721A (ja) | 2つの異なる複雑性レベルにおけるシミュレーション | |
Braccini et al. | 1 Department of Computer Science and Engineering (DISI), Alma Mater Studiorum Università di Bologna, Cesena, Italy 2 | |
Weng et al. | Online learning for attention, recognition, and tracking by a single developmental framework | |
Capi et al. | Evolving recurrent neural controllers for sequential tasks: A parallel implementation | |
Berthouze | Bootstrapping the developmental process: The filter hypothesis | |
Kinouchi et al. | A Conscious AI System Based on Recurrent Neural Networks Applying Dynamic Information Equilibrium. | |
Courtney et al. | Cognitive systems platforms using open source | |
López‐Osorio et al. | A Neuromorphic Vision and Feedback Sensor Fusion Based on Spiking Neural Networks for Real‐Time Robot Adaption | |
Krundel et al. | Autonomous Design in VLSI: Growing and Learning on Silicon |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120326 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120626 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120703 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121217 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130318 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130326 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130924 |