JP2010015578A - 前の及び次の連合を表現する重みとカウントのべき級数を含む人工ニューロン - Google Patents
前の及び次の連合を表現する重みとカウントのべき級数を含む人工ニューロン Download PDFInfo
- Publication number
- JP2010015578A JP2010015578A JP2009183422A JP2009183422A JP2010015578A JP 2010015578 A JP2010015578 A JP 2010015578A JP 2009183422 A JP2009183422 A JP 2009183422A JP 2009183422 A JP2009183422 A JP 2009183422A JP 2010015578 A JP2010015578 A JP 2010015578A
- Authority
- JP
- Japan
- Prior art keywords
- trace
- power series
- dendrite
- count
- weights
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
- Charge And Discharge Circuits For Batteries Or The Like (AREA)
Abstract
【解決手段】人工ニューロン700は、入力及び樹状突起を含み、樹状突起のそれぞれは、入力のそれぞれと連合(関連付け)される。各樹状突起は、重みのべき級数を含み、べき級数の各重みは、連合されたべきに対する連合されたカウントを含む。重みのべき級数は、好ましくは、重みの2を底とするべき級数であり、この2を底とするべき級数の各重みは、ビット位置を表す連合されたカウントを含む。連合されたべきに対するカウントは、統計的カウントである。より具体的には、樹状突起は、シーケンシャルに順序付けられ、重みのべき級数は、一対の重みの第1及び第2のべき級数を含む。第1のべき級数の各重みは、先行の樹状突起の連合の関数である第1のカウントを含み、且つ、第2のべき級数の各重みは、次の樹状突起の連合の関数である第2のカウントを含む。
【選択図】図7
Description
のように、このような環境に対するエージェントベースの学習のアプリケーションが現在現れているが、非線形連合を学習して使用する場合のスケーリング問題に起因して、これらのアプリケーションをサポートするための学習テクノロジーを実施することは困難である。
本発明は、自動連想メモリであると長く信じられている小脳構造によって示唆されている。小脳は、伝統的に無意識の運動技能を記録して発揮すると考えられていたが、現在では、全ての認識活動、特に、一般的な想像をすること及び決定をすることにおいて、役割を演じると理解されている。
図7は、本発明の一実施の形態に係る人工ニューロンのブロック図である。図7に示されるように、人工ニューロン700は、複数の入力710a〜710cと複数の樹状突起720a〜720cとを含んでいる。それぞれの樹状突起720a〜720cは、入力710a〜710cのそれぞれに連合される(関連付けされる)。各樹状突起は、重みのべき級数730を含む。重みのべき級数の各重みは、関連付けされたべきに対する関連付けされたカウントを含んでいる。好ましくは、図7に示されているように、重みのべき級数は、重みの2を底とするべき級数であり、それによって2を底とするべき級数の各重みは、ビット位置を表す関連付けされたカウントを含んでいる。図7の人工ニューロン700は、単一の観測フェーズ、ここでは、図6の観測フェーズ11を表している。各樹状突起720a〜720cは、図8により詳細に示されるように、第2の観測フェーズに対応する少なくとも重みの第2のべき級数よりなることが好ましい。最後に、図7を参照して、重みの各べき級数は、一対の重みの第1及び第2のべき級数よりなることが好ましい。第1のべき級数の各重みは、前の樹状突起の関連付け値の関数である第1のカウントを含むことが好ましく、且つ、第2のべき級数の各重みは、次の樹状突起の関連付け値の関数である第2のカウントを含むことが好ましい。前(先行)の及び次の樹状突起のカウントは、「/」によって示され、それによって、例えば、樹状突起720cの22べきに対する表記0/1は、0個の前の関連付け値と1個の次の関連付け値を示す。
トレースの生成は、本発明に係る人工ニューロン用の多極ダイナミックスの最も単純なものであり、重み対の線形アレイが観測及びそれらのメモリを如何に表すかを示すことができる。従って、トレース生成及びトレースウエーブ伝播がここで記述される。
表すように、その入力がオフか否かを決定しなければならない。慣習によって、前の樹状突起は、高ビットとして働くが、次の樹状突起は低ビットとして働くと仮定される。より正確には、各樹状突起は、前の樹状突起への連合を計算すると、最初に、低ビットとして働き、次に、その自身信号をウエーブ中において次の樹状突起へ移すと、高ビット(前の樹状突起のように働く)。
本発明による人工ニューロンへの記憶又は書込みについて、ここで記述される。記憶は、好ましくは、1つより多くのウエーブ伝播を使用し、一般的には、より複雑である。また、マルチウエーブ伝播は、クライミングフィルタからの単一の信号がプルキンエニューロンにおけるアクティビティのバースを引き起こす小脳において指示され得る。図2は、クライミングフィルタ(CI)とそれが如何にプルキンエニューロンの樹状突起を囲むかを示す。トレース信号のセンサ信号の形成が与えられると、クライミングフィルタが記憶信号を提供し得る。
のインデックスは、重みべきを指し、それは、そのべきとしてウエーブの通過によって決定される。重みは、二つの方法で調節される。第1は、あらゆるマッチングダブルが減算され(それらがキャリーされるので)ると共に、トレースは、後に追加される(マッチングダブルをマイナスし、キャリーされることが必要なものを表す)。ブロック1314’を参照されたい。
トするので、そのダブルは、重みとトレースのカウンタの最小値である。
シャルに実行されることが好ましい。第1のブロック1802は、樹状突起中の可能なダブルを計算し、強制スプリットの計算によって偽のダブルの除去を含む。第2のブロック1804は、真のマッチングしたダブルを計算し、ウエーブから先行の累算をアカウント(除去)する。次に、第3のブロック1806は、次のカウントを重み,ダブル,及びトレースのウエーブの累算へ追加する。これらのコードブロックは、「classDendrite」の記憶及びイメージング方法によって呼び出され得る1つ又はそれより多くのプライベート方法(サブルーチン)として実行されることが好ましい。
人工ニューロンの読出しが記述される。マッチングされたダブルの計算は、書込み及び読出し動作の両方において使用される。記憶に対して記述されたように、マッチングされたダブルは、現在のセンサパターンにおけるどの連合が既に知られているかを指示し、それによって、それらは、次の重みべきへキャリーされ得る。「想像」とも呼ばれる、読出し動作のために、マッチングされたダブルは、新たな観測中の連合(トレース)をマッチングするメモリ中の連合(重み)の数を表す。ダブルマッチ/フィルタ処理は、この連想メモリマッチング関数の核心であり、類似度/距離の尺度である。
関連=WAA+WBB−WABAB
各重みは、生の観測カウントから以下のように計算され得る。
WA=W11+W01−W10−W00
WB=W11+W10−W01−W00
WAB=W11+W00−W01−W10
それらは、各フェーズに関して以下の部分公式に再配置され得る。
関連00=W00(−A*B−A−B)
関連01=W01(A−B+A*B)
関連10=W10(B−A+A*B)
関連11=W11(A+B−A*B)
フェーズが既にAとBの信号状態のフィルタである場合、センサ項は、任意のフェーズに対する定数であり、実際に、各フェーズに対して1の定数である。一例では、関連00=W00である。換言すれば、各フェーズの部分的関連は、観測重みの累算である。このように、本発明は、物理的表現が線形であり且つ呼出関数が観測カウントの累算であっても、線形と非線形連合をアカウントできる。ダブルマッチ/フィルタは、現在の観測を表すこれらの観測カウントを選択する。
Claims (83)
- 複数の入力と、
複数の樹状突起と、
を備え、前記樹状突起の各々が前記複数の入力の各1つと連合され、各樹状突起が重みのべき級数を含み、べき級数の各重みが前記連合されたべきに対する連合されたカウントを含むことを特徴とする人工ニューロン。 - 前記重みのべき級数は、重みの底が2のべき級数であり、この底が2のべき級数の各重みは、前記連合されたカウントのビット位置を表す連合されたカウントを含むことを特徴とする請求項1に記載の人工ニューロン。
- 前記カウントは、統計的カウントであることを特徴とする請求項1に記載の人工ニューロン。
- 前記樹状突起は、連続的に順序付けられ、且つ、前記重みのべき級数は、一対の重みの第1及び第2のべき級数よりなり、第1のべき級数の各重みは、前の樹状突起の連合の関数である第1のカウントを含み、第2のべき級数の各重みは、次の樹状突起の連合の関数である第2のカウントを含むことを特徴とする請求項1に記載の人工ニューロン。
- 前記重みのべき級数は、更に、第1の観測フェーズに対応する重みの第1のべき級数であり、且つ、各樹状突起は、第2の観測フェーズに対応する重みの第2のべき級数を含み、第2のべき級数の各重みは、前記第2の観測フェーズ中の連合されたべきに対するカウントを含むことを特徴とする請求項1に記載の人工ニューロン。
- 各樹状突起は、前記連合された入力での入力信号に応答するトレースを備え、前記トレースは、前の樹状突起での入力信号の連合の関数である第1のトレースカウントと、次の樹状突起での入力の連合の関数である第2のトレースカウントを含み、それぞれの第1及び第2のべき級数は、それぞれの第1及び第2のトレースカウントへ応答することを特徴とする請求項4に記載の人工ニューロン。
- 前の樹状突起の連合の関数は、前の樹状突起の連合の合計であり、次の樹状突起の連合の関数は、次の樹状突起の連合の合計であることを特徴とする請求項4に記載の人工ニューロン。
- 前記重みの一対の第1及び第2のべき級数は、前記複数の入力の第1の観測フェーズに対応する重みの第1の対の第1及び第2のべき級数であり、且つ各樹状突起は、更に、前記複数の入力の第2の観測フェーズに対応する第2の対の重みの第1及び第2のべき級数よりなることを特徴とする請求項4に記載の人工ニューロン。
- 各トレースは、前の樹状突起での入力信号の連合の関数である第1のトレースカウントのべき級数と次の樹状突起での入力信号の連合の関数である第2のトレースカウントのべき級数とを有することを特徴とする請求項6に記載の人工ニューロン。
- 前記入力信号を前記第1及び第2のトレースカウントへ変換するコンバータを更に備えることを特徴とする請求項6に記載の人工ニューロン。
- それぞれの第1及び第2のトレースカウントをそれぞれの重みの第1及び第2のべき級数へ伝播するトレースウエーブ伝播装置を更に備えることを特徴とする請求項6に記載の人工ニューロン。
- 前の樹状突起での入力信号の連合の関数は、前の樹状突起での入力信号の連合の合計であり、次の樹状突起での入力信号の連合の関数は、次の樹状突起での入力信号の連合の合計であることを特徴とする請求項6に記載の人工ニューロン。
- 前記第1及び第2のトレースカウントと前記重みの第1及び第2のべき級数との間のマッチングを累算するアキュムレータを更に備えることを特徴とする請求項6に記載の人工ニューロン。
- 各樹状突起は、更に、前記連合された入力での入力信号に応答するトレースを備え、前記トレースは、前の樹状突起での入力信号の連合の関数である第1のトレースカウントと、次の樹状突起での入力の連合の関数である第2のトレースカウントを含み、前記第1及び第2の対におけるそれぞれの第1及び第2のべき級数は、それぞれの第1及び第2のトレースカウントへ応答することを特徴とする請求項8に記載の人工ニューロン。
- 前記トレースウエーブ伝播装置は、順方向と逆方向へ前記連続的に順序付けられた樹状突起に沿って前記トレースを伝播することを特徴とする請求項9に記載の人工ニューロン。
- 前記トレースウエーブ伝播装置は、更に、前記複数の樹状突起における前記重みのべき級数に沿って前記トレースのキャリー結果を伝播して、前記入力信号の記憶を行うことを特徴とする請求項9に記載の人工ニューロン。
- 前記アキュムレータは、キャリー結果が生成されるか否かとは無関係に、前記重みの第1及び第2のトレースカウントにおけるカウントの全てに対して前記第1のトレースカウントと第2のトレースカウントとの間のマッチングを累算することを特徴とする請求項13に記載の人工ニューロン。
- 重みの前記第1及び第2のべき級数に対する第1及び第2のトレースカウントのマッチングの累算の結果を合計するために前記アキュムレータに応答する合計装置を更に備えることを特徴とする請求項13に記載の人工ニューロン。
- 各トレースは、前の樹状突起での前記入力信号の連合の関数である第1のトレースカウントのべき級数と、次の樹状突起での前記入力信号の連合の関数である第2のトレースカウントのべき級数とを備えることを特徴とする請求項14に記載の人工ニューロン。
- 前記トレースウエーブ伝播装置は、次のより高位のべき重みへの伝播のために、樹状突起での重みに対するキャリー結果を識別するダブルマッチ/フィルタを更に備えることを特徴とする請求項16に記載の人工ニューロン。
- 前記入力信号から前記第1及び第2のトレースカウントを発生するための手段を更に備えることを特徴とする請求項19に記載の人工ニューロン。
- 前記それぞれの第1及び第2のトレースカウントを前記それぞれの第1及び第2の対の重みのべき級数へ伝播するための手段を更に備えることを特徴とする請求項19に記載の人工ニューロン。
- 前記ダブルマッチ/フィルタは、重みとトレースの発生に基づいて、樹状突起における重みに対するキャリー結果を識別することを特徴とする請求項20に記載の人工ニューロン。
- 連続的に順序付けられる複数の入力と、
複数の対の第1及び第2の重みと、
を備え、それぞれの対は、前記複数の入力の内のそれぞれの入力に連合され、各第1の重みは、前記複数の連続的に順序付けられた入力の内の前の入力の連合の関数であり、且つ、各第2の重みは、前記複数の連続的に順序付けられた入力における次の入力の連合の関数であることを特徴とする人工ニューロン。 - 前の入力と次の入力の連合の関数は、前の入力と次の入力の連合の統計的関数であることを特徴とする請求項24に記載の人工ニューロン。
- 前の入力と次の入力の連合の関数は、前の入力と次の入力の連合の合計であることを特徴とする請求項24に記載の人工ニューロン。
- 前記連合された入力での入力信号に応答するトレースを更に備え、前記トレースは、前記複数の連続的に順序付けられた入力の前の入力で入力信号の連合の関数である第1のトレースカウントと、前記複数の連続的に順序付けられた入力において次の入力で入力信号の連合の関数である第2のトレースカウントとを含み、それぞれの第1及び第2の重みがそれぞれの第1及び第2のトレースカウントへ応答することを特徴とする請求項24に記載の人工ニューロン。
- 人工ニューロンであって、
連続的に順序付けられる複数の入力と、
複数の対の第1及び第2の重みと、
を備え、それぞれの対は、前記複数の入力の内のそれぞれの入力に連合され、各第1の重みは、前記複数の連続的に順序付けられた入力の第1の統計的関数であり、且つ、各第2の重みは、前記複数の連続的に順序付けられた入力の第2の統計的関数であることを特徴とする人工ニューロン。 - 前記連合された入力での入力信号に応答するトレースを更に備え、前記トレースは、前記入力信号の前記第1の統計的関数である第1のトレースカウントと、前記入力信号の前記第2の統計的関数である第2のトレースカウントとを含み、それぞれの第1及び第2の重みがそれぞれの第1及び第2のトレースカウントへ応答することを特徴とする請求項28に記載の人工ニューロン。
- 複数の入力と、
複数の重みのべき級数と、
を備え、それぞれの重みのべき級数は、前記複数の入力のそれぞれの入力に応答し、べき級数の各重みは、前記連合された入力の連合されたべきに対する連合されたカウントを含むことを特徴とする人工ニューロン。 - 前記複数の重みのべき級数は、複数の、2を底とする重みのべき級数であり、2を底とするべき級数における各重みは、前記連合されたカウントのビット位置を表す連合されたカウントを含むことを特徴とする請求項30に記載の人工ニューロン。
- 前記カウントは、統計的カウントであることを特徴とする請求項30に記載の人工ニューロン。
- 前記入力は、連続的に順序付けられ、且つ、前記複数の重みのべき級数は、前記複数の入力の内のそれぞれに対して応答する重みの第1及び第2のべき級数を備え、前記第1のべき級数の各重みは、前記連続的に順序付けられた入力における連合された入力の連合されたべきに対する前のべきの合計を表す連結された第1のカウントを含むと共に、前記第2のべき級数の各重みは、前記連合された入力の連合されたべきに対して前記連続的に順序付けられた入力における次の入力の合計を表す連合された第2のカウントを含むことを特徴とする請求項30に記載の人工ニューロン。
- 前記複数の重みのべき級数は、第1の観測フェーズに対応する複数の第1の重みのべき級数であり、前記人工ニューロンは、更に第2の観測フェーズに対応する複数の第2の重みのべき級数を含み、それぞれの重みの第2のべき級数が前記複数の入力のそれぞれに応答し、べき級数の各重みは、前記第2の観測フェーズに対し前記連合された入力の連合されたべきに対する連合されたカウントを含むことを特徴とする請求項30に記載の人工ニューロン。
- 複数のトレースを更に備え、前記トレースのそれぞれは、前記複数の入力のそれぞれに対して応答し、各トレースは、前の入力を表す第1のとレースカウントと、次の入力の合計を表す第2のトレースカウントとを含み、それぞれの第1及び第2のべき級数は、前記それぞれの第1及び第2のトレースカウントに対して応答することを特徴とする請求項33に記載の人工ニューロン。
- 複数の樹状突起を含む人工ニューロンに複数の入力を記憶するための方法であり、前記樹状突起のそれぞれは、前記複数の入力のそれぞれと連合されるようにした方法であって、
各樹状突起に対して重みのべき級数を提供するステップであって、べき級数中の各重みが連合されたべきの対する連合されたカウントを含むステップと、
入力信号を前記入力信号の連合の関数であるトレースカウントのべき級数に変換するステップと、
それぞれの第1及び第2のトレースカウントを前記それぞれの重みのべき級数へ伝播するステップと、
を備えることを特徴とする方法。 - 前記樹状突起は、連続的に順序付けられ、且つ、前記重みのべき級数は、一対の第1及び第2の重みのべき級数よりなり、第1のべき級数の各重みは、前の樹状突起の連合の関数である第1のカウントを含み、第2のべき級数の各重みは、次の樹状突起の連合の関数である第2のカウントを含み、
各トレースは、前の樹状突起での入力信号の連合の関数である第1のトレースカウントのべき級数と、次の樹状突起での入力信号の連合の関数である第2のトレースカウントのべき級数とを含む、
ことを特徴とする請求項36に記載の方法。 - 前記伝播するステップは、前記複数の樹状突起における重みのべき級数に沿って前記トレースのキャリー結果を伝播するステップを更に備えることを特徴とする請求項36に記載の方法。
- 前記第1及び第2のトレースカウントと前記第1及び第2の重みのべき級数との間のマッチングを累算して前記人工ニューロンを読み出すステップを更に備えることを特徴とする請求項36に記載の方法。
- 前記伝播するステップは、それぞれの第1及び第2のトレースカウントを順方向及び逆方向へそれぞれの重みのべき級数へ伝播するステップを含むことを特徴とする請求項37に記載の方法。
- キャリー結果を伝播するステップは、次のより高位のべきへの重みの伝播のために、前記トレースをダブルマッチフィルタ処理を行って樹状突起の重みに対するキャリー結果を識別するステップを含むことを特徴とする請求項38に記載の方法。
- 前記累算するステップは、キャリー結果が生成されるか否かに関係なく、前記第1及び第2のトレースカウントと前記重みの第1及び第2のべき級数におけるカウントの全てとの間のマッチングを累算するステップを含むことを特徴とする請求項39に記載の方法。
- 前記累算するステップの結果を合計するステップを更に含むことを特徴とする請求項39に記載の方法。
- 前記ダブルマッチフィルタ処理するステップは、重みとトレースの同時発生に基づいて樹状突起における重みに対するキャリー結果を識別するステップを含むことを特徴とする請求項41に記載の方法。
- 複数の樹状突起を含む人工ニューロンを読み出す方法であって、
各樹状突起毎に重みのべき級数を提供するステップであり、べき級数の各重みが連合されたべきに対する連合されたカウントを含むステップと、
入力信号を前記入力信号の連合の関数であるトレースカウントのべき級数へ変換するステップと、
前記第1及び第2のトレースカウントと前記重みの第1及び第2のべき級数との間のマッチングを累算するステップと、
を備えることを特徴とする方法。 - 前記累算するステップは、キャリー結果が生成されるか否かに関係なく、前記第1及び第2のトレースカウントと前記重みの第1及び第2のべき級数におけるカウントの全てとの間のマッチングを累算するステップを含むことを特徴とする請求項45に記載の方法。
- 前記累算するステップの結果を合計するステップを更に含むことを特徴とする請求項45に記載の方法。
- 前記樹状突起は、連続的に順序付けられ、且つ、前記重みのべき級数は、一対の第1及び第2の重みのべき級数よりなり、第1のべき級数の各重みは、前の樹状突起の連合の関数である第1のカウントを含み、第2のべき級数の各重みは、次の樹状突起の連合の関数である第2のカウントを含み、
各トレースは、前の樹状突起での入力信号の連合の関数である第1のトレースカウントのべき級数と、次の樹状突起での入力信号の連合の関数である第2のトレースカウントのべき級数とを含む、ことを特徴とする請求項45に記載の方法。 - 人工ニューロンを提供するためのコンピュータプログラム製品であって、記憶媒体の中に埋め込まれたコンピュータ読取可能プログラムコードを有するコンピュータ読取可能記憶媒体を備えたコンピュータプログラム製品において、
前記コンピュータ読取可能プログラムコードが、
複数の入力を提供するコンピュータ読取可能プログラムコードと、
複数の樹状突起を提供するコンピュータ読取可能プログラムコードと、
を備え、前記樹状突起の各々が前記複数の入力の各1つと連合され、各樹状突起が重みのべき級数を含み、べき級数の各重みが前記連合されたべきに対する連合されたカウントと、
を含むことを特徴とするコンピュータプログラム製品。 - 前記重みのべき級数は、重みの底が2のべき級数であり、
この底が2のべき級数の各重みは、前記連合されたカウントのビット位置を表す連合されたカウントを含むことを特徴とする請求項49に記載のコンピュータプログラム製品。 - 前記カウントは、統計的カウントであることを特徴とする請求項49に記載のコンピュータプログラム製品。
- 前記樹状突起は、連続的に順序付けられ、且つ、前記重みのべき級数は、一対の重みの第1及び第2のべき級数よりなり、第1のべき級数の各重みは、前の樹状突起の連合の関数である第1のカウントを含み、第2のべき級数の各重みは、次の樹状突起の連合の関数である第2のカウントを含むことを特徴とする請求項49に記載のコンピュータプログラム製品。
- 前記重みのべき級数は、第1の観測フェーズに対応する重みの第1のべき級数であり、且つ、各樹状突起は、更に第2の観測フェーズに対応する重みの第2のべき級数を含み、第2のべき級数の各重みは、前記第2の観測フェーズ中の連合されたべきに対するカウントを含むことを特徴とする請求項49に記載のコンピュータプログラム製品。
- 各樹状突起は、前記連合された入力での入力信号に応答するトレースを備え、前記トレースは、前の樹状突起での入力信号の連合の関数である第1のトレースカウントと、次の樹状突起での入力の連合の関数である第2のトレースカウントとを含み、それぞれの第1及び第2のべき級数は、それぞれの第1及び第2のトレースカウントへ応答することを特徴とする請求項52に記載のコンピュータプログラム製品。
- 前記前の樹状突起の連合の関数は、前の樹状突起の連合の合計であり、前記次の樹状突起の連合の関数は、次の樹状突起の連合の合計であることを特徴とする請求項52に記載のコンピュータプログラム製品。
- 前記対の重みの第1及び第2のべき級数は、前記複数の入力の第1の観測フェーズに対応する重みの第1の対の第1及び第2のべき級数であり、且つ、各樹状突起は、更に前記複数の入力の第2の観測フェーズに対応する第2の対の重みの第1及び第2のべき級数よりなることを特徴とする請求項52に記載のコンピュータプログラム製品。
- 各トレースは、前の樹状突起での入力信号の連合の関数である第1のトレースカウントのべき級数と次の樹状突起での入力信号の連合の関数である第2のトレースカウントのべき級数とを有することを特徴とする請求項54に記載のコンピュータプログラム製品。
- 前記入力信号を前記第1及び第2のトレースカウントへ変換するコンバータを提供するコンピュータ読取可能プログラムコードを更に備えることを特徴とする請求項54に記載のコンピュータプログラム製品。
- それぞれの第1及び第2のトレースカウントをそれぞれの重みの第1及び第2のべき級数へ伝播するトレースウエーブ伝播装置を提供するコンピュータ読取可能プログラムコードを更に備えることを特徴とする請求項54に記載のコンピュータプログラム製品。
- 前の樹状突起での入力信号の連合の関数は、前の樹状突起での入力信号の連合の合計であり、次の樹状突起での入力信号の連合の関数は、次の樹状突起での入力信号の連合の合計であることを特徴とする請求項54に記載のコンピュータプログラム製品。
- 前記第1及び第2のトレースカウントと前記重みの第1及び第2のべき級数との間のマッチングを累算するアキュムレータを提供するコンピュータ読取可能プログラムコードを更に備えることを特徴とする請求項54に記載のコンピュータプログラム製品。
- 各樹状突起は、前記連合された入力での入力信号に応答するトレースを更に備え、前記トレースは、前の樹状突起での入力信号の連合の関数である第1のトレースカウントと、次の樹状突起での入力の連合の関数である第2のトレースカウントとを含み、前記第1及び第2の対におけるそれぞれの第1及び第2のべき級数は、それぞれの第1及び第2のトレースカウントへ応答することを特徴とする請求項56に記載のコンピュータプログラム製品。
- 前記プログラム読取可能プログラムコードは、順方向と逆方向へ前記連続的に順序付けられた樹状突起に沿って前記トレースを伝播するトレースウエーブ伝播装置を提供することを特徴とする請求項57に記載のコンピュータプログラム製品。
- 前記コンピュータ読取可能プログラムコードは、前記複数の樹状突起における前記重みのべき級数に沿って前記トレースのキャリー結果を更に伝播して前記入力信号の記憶を行うトレースウエーブ伝播装置を提供することを特徴とする請求項57に記載のコンピュータプログラム製品。
- 前記コンピュータ読取可能プログラムコードは、キャリー結果が生成されるか否かとは無関係に、前記重みの第1及び第2のトレースカウントにおけるカウントの全てに対して前記第1のトレースカウントと第2のトレースカウントとの間のマッチングを累算するアキュムレータを提供することを特徴とする請求項61に記載のコンピュータプログラム製品。
- 前記重みの第1及び第2のべき級数に対する第1及び第2のトレースカウントのマッチングの累算の結果を合計するために前記アキュムレータに応答する合計装置を提供するコンピュータ読取可能プログラムコードを更に備えることを特徴とする請求項61に記載のコンピュータプログラム製品。
- 各トレースは、前の樹状突起での前記入力信号の連合の関数である第1のトレースカウントのべき級数と、次の樹状突起での前記入力信号の連合の関数である第2のトレースカウントのべき級数とを備えることを特徴とする請求項62に記載のコンピュータプログラム製品。
- 前記コンピュータ読取可能プログラムコードは、次のより高位のべき重みへの伝達のために、樹状突起における重みに対するキャリー結果を識別するダブルマッチ/フィルタを提供するコンピュータ読取可能プログラムコードを更に備えるトレースウエーブ伝達装置を提供することを特徴とする請求項64に記載のコンピュータプログラム製品。
- 前記入力信号から前記第1及び第2のトレースカウントを発生するコンピュータ読取可能プログラムコード手段を更に備えることを特徴とする請求項67に記載のコンピュータプログラム製品。
- 前記それぞれの第1及び第2のトレースカウントを前記それぞれ第1及び第2の対の重みのべき級数へ伝播するためのコンピュータ読取可能プログラムコード手段を更に備えることを特徴とする請求項67に記載のコンピュータプログラム製品。
- 前記ダブルマッチ/フィルタは、重みとトレースの同時発生に基づいて、樹状突起での重みに対するキャリー結果を識別することを特徴とする請求項68に記載のコンピュータプログラム製品。
- 人工ニューロンを提供するためのコンピュータプログラム製品であって、記憶媒体の中に埋め込まれたコンピュータ読取可能プログラムコードを有するコンピュータ読取可能記憶媒体を備えたコンピュータプログラム製品において、
前記コンピュータ読取可能プログラムコードが、
連続的に順序付けられる複数の入力を提供するコンピュータ読取可能プログラムコードと、
複数の対の第1及び第2の重みを提供するコンピュータ読取可能プログラムコードと、
を備え、それぞれの対が前記複数の入力のそれぞれと連合され、各第1の重みが前記複数の連続的に順序付けられた入力の中の前の入力の連合の関数であり、各第2の重みが前記複数の連続的に順序付けられた入力の中の次の入力の連合の関数であることを特徴とするコンピュータプログラム製品。 - 前の入力と次の入力の連合の前記関数は、前の入力と次の入力の連合の統計的関数であることを特徴とする請求項72に記載のコンピュータプログラム製品。
- 前の入力と次の入力の連合の前記関数は、前の入力と次の入力の連合の合計であることを特徴とする請求項72に記載のコンピュータプログラム製品。
- 前記連合された入力での入力信号に応答するトレースを提供するコンピュータ読取可能プログラムコードを更に備え、前記トレースは、前の樹状突起での入力信号の連合の関数である第1のトレースカウントと、次の樹状突起での入力の連合の関数である第2のトレースカウントとを含み、前記それぞれの第1及び第2の重みは、前記それぞれの第1及び第2のトレースカウントへ応答することを特徴とする請求項72に記載のコンピュータプログラム製品。
- 人工ニューロンを提供するためのコンピュータプログラム製品であって、記憶媒体の中に埋め込まれたコンピュータ読取可能プログラムコードを有するコンピュータ読取可能記憶媒体を備えたコンピュータプログラム製品において、
前記コンピュータ読取可能プログラムコードが、
連続的に順序付けられる複数の入力を提供するコンピュータ読取可能プログラムコードと、
複数対の第1及び第2の重みを提供するコンピュータ読取可能プログラムコードと、
を備え、それぞれの対が前記複数の入力のそれぞれと連合され、各第1の重みが前記複数の連続的に順序付けられた入力の第1の統計的関数であり、各第2の重みが前記複数の連続的に順序付けられた入力の第2の統計的関数であることを特徴とするコンピュータプログラム製品。 - 前記連合された入力での入力信号に応答するトレースを提供するコンピュータ読取可能プログラムコードを更に備え、前記トレースは、前記入力信号の前記第1の統計的関数である第1のトレースカウントと、前記入力信号の前記第2の統計的関数である第2のトレースカウントとを含み、前記それぞれの第1及び第2の重みは、前記それぞれの第1及び第2のトレースカウントへ応答することを特徴とする請求項76に記載のコンピュータプログラム製品。
- 人工ニューロンを提供するためのコンピュータプログラム製品であって、記憶媒体の中に埋め込まれたコンピュータ読取可能プログラムコードを有するコンピュータ読取可能記憶媒体を備えるコンピュータプログラム製品において、
前記コンピュータ読取可能プログラムコードが、
複数の入力を提供するコンピュータ読取可能プログラムコードと、
複数の重みのべき級数を提供するコンピュータ読取可能プログラムコードと、を備え、それぞれの重みのべき級数が前記複数の入力のそれぞれに応答し、べき級数の各重みは、前記連合された入力の連合されたべきに対する連合されたカウントを含むことを特徴とするコンピュータプログラム製品。 - 前記複数の重みのべき級数は、複数の、底が2の重みのべき級数であり、底が2のべき級数中の各重みは、前記連合されたカウントのビット位置を表す連合されたカウントを含むことを特徴とする請求項78に記載のコンピュータプログラム製品。
- 前記カウントが統計的カウントであることを特徴とする請求項78に記載のコンピュータプログラム製品。
- 前記入力は、連続的に順序付けられ、且つ、前記複数の重みのべき級数は、前記複数の入力の内のそれぞれに対して応答する重みの第1及び第2のべき級数を備え、前記第1のべき級数の各重みは、前記連続的に順序付けられた入力における連合された入力の連合されたべきに対する前のべきの合計を表す連結された第1のカウントを含むと共に、前記第2のべき級数の各重みは、前記連合された入力の連合されたべきに対して前記連続的に順序付けられた入力における次の入力の合計を表す連合された第2のカウントを含むことを特徴とする請求項78に記載のコンピュータプログラム製品。
- 前記複数の重みのべき級数は、第1の観測フェーズに対応する複数の第1の重みのべき級数であり、前記人工ニューロンは、更に第2の観測フェーズに対応する複数の第2の重みのべき級数を含み、それぞれの重みの第2のべき級数が前記複数の入力のそれぞれに応答し、べき級数の各重みは、前記第2の観測フェーズに対し前記連合された入力の連合されたべきに対する連合されたカウントを含むことを特徴とする請求項78に記載のコンピュータプログラム製品。
- 複数のトレースを更に備え、前記トレースのそれぞれは、
前記複数の入力のそれぞれに対して応答し、各トレースは、前の入力を表す第1のとレースカウントと、次の入力の合計を表す第2のトレースカウントとを含み、それぞれの第1及び第2のべき級数は、前記それぞれの第1及び第2のトレースカウントに対して応答することを特徴とする請求項81に記載のコンピュータプログラム製品。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/436,925 US6581049B1 (en) | 1999-11-08 | 1999-11-08 | Artificial neurons including power series of weights and counts that represent prior and next association |
US09/436,925 | 1999-11-08 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001536995A Division JP2003518661A (ja) | 1999-11-08 | 2000-09-19 | 前の及び次の連合を表現する重みとカウントのべき級数を含む人工ニューロン |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010015578A true JP2010015578A (ja) | 2010-01-21 |
JP2010015578A5 JP2010015578A5 (ja) | 2012-11-29 |
JP5249155B2 JP5249155B2 (ja) | 2013-07-31 |
Family
ID=23734364
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001536995A Withdrawn JP2003518661A (ja) | 1999-11-08 | 2000-09-19 | 前の及び次の連合を表現する重みとカウントのべき級数を含む人工ニューロン |
JP2009183422A Expired - Fee Related JP5249155B2 (ja) | 1999-11-08 | 2009-08-06 | 前の及び次の連合を表現する重みとカウントのべき級数を含む人工ニューロン |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001536995A Withdrawn JP2003518661A (ja) | 1999-11-08 | 2000-09-19 | 前の及び次の連合を表現する重みとカウントのべき級数を含む人工ニューロン |
Country Status (5)
Country | Link |
---|---|
US (1) | US6581049B1 (ja) |
EP (1) | EP1257970A2 (ja) |
JP (2) | JP2003518661A (ja) |
AU (1) | AU7704300A (ja) |
WO (1) | WO2001035337A2 (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6856983B2 (en) * | 2000-10-27 | 2005-02-15 | Panacya, Inc. | Adaptive feedback control in e-service management |
WO2003015026A1 (en) | 2001-08-10 | 2003-02-20 | Saffron Technology, Inc. | Artificial neurons including weights that define maximal projections |
US20040158504A1 (en) * | 2003-01-31 | 2004-08-12 | Gross John N. | Method of providing access to playable media |
US20040162783A1 (en) * | 2003-01-31 | 2004-08-19 | Gross John N. | Media queue replenisher |
US20040158503A1 (en) * | 2003-01-31 | 2004-08-12 | Gross John N. | Media queue monitor |
US8700538B2 (en) * | 2003-01-31 | 2014-04-15 | Media Queue, Llc | Media exchange system and method |
US8688462B2 (en) | 2003-01-31 | 2014-04-01 | Media Queue, Llc | Media auto exchange system and method |
US7389243B2 (en) * | 2003-01-31 | 2008-06-17 | Gross John N | Notification system and method for media queue |
US8712867B2 (en) * | 2003-01-31 | 2014-04-29 | Media Queue, Llc | System for providing access to playable media |
US8433622B2 (en) | 2003-05-28 | 2013-04-30 | Media Queue, Llc | Method of controlling electronic commerce queue |
US20060212367A1 (en) * | 2003-05-28 | 2006-09-21 | Gross John N | Method of selecting and distributing items to consumers of electronic media |
US8612311B2 (en) * | 2004-05-28 | 2013-12-17 | Media Queue, Llc | Hybrid distribution method for playable media |
MY138544A (en) * | 2003-06-26 | 2009-06-30 | Neuramatix Sdn Bhd | Neural networks with learning and expression capability |
US7574416B2 (en) * | 2004-01-16 | 2009-08-11 | Saffron Technology, Inc. | Distance-based spatial representation and prediction systems, methods and computer program products for associative memories |
US7266456B2 (en) * | 2004-04-19 | 2007-09-04 | Intelligent Agent Corporation | Method for management of multiple wells in a reservoir |
US7478192B2 (en) * | 2004-11-03 | 2009-01-13 | Saffron Technology, Inc. | Network of networks of associative memory networks |
US7478090B2 (en) * | 2005-01-14 | 2009-01-13 | Saffron Technology, Inc. | Methods, systems and computer program products for analogy detection among entities using reciprocal similarity measures |
US7565491B2 (en) * | 2005-08-04 | 2009-07-21 | Saffron Technology, Inc. | Associative matrix methods, systems and computer program products using bit plane representations of selected segments |
US7333917B2 (en) * | 2005-08-11 | 2008-02-19 | The University Of North Carolina At Chapel Hill | Novelty detection systems, methods and computer program products for real-time diagnostics/prognostics in complex physical systems |
US7657496B2 (en) * | 2006-06-26 | 2010-02-02 | Saffron Technology, Inc. | Nonlinear associative memories using linear arrays of associative memory cells, and methods of operating same |
US20080097945A1 (en) * | 2006-08-09 | 2008-04-24 | The University Of North Carolina At Chapel Hill | Novelty detection systems, methods and computer program products for real-time diagnostics/prognostics in complex physical systems |
US7672918B2 (en) * | 2007-02-05 | 2010-03-02 | Steve Adkins | Artificial neuron |
US20120233109A1 (en) * | 2007-06-14 | 2012-09-13 | The Boeing Company | Use of associative memory to predict mission outcomes and events |
US8914149B2 (en) | 2009-10-12 | 2014-12-16 | The Boeing Company | Platform health monitoring system |
US20110087387A1 (en) * | 2009-10-12 | 2011-04-14 | The Boeing Company | Platform Health Monitoring System |
US8572009B2 (en) | 2011-08-16 | 2013-10-29 | The Boeing Company | Evaluating the health status of a system using groups of vibration data including images of the vibrations of the system |
EP3063708A2 (en) | 2013-10-28 | 2016-09-07 | Intel Corporation | Methods, systems and computer program products for using a distributed associative memory base to determine data correlations and convergence therein |
EP3069305B1 (en) | 2013-11-15 | 2020-11-04 | Intel Corporation | Methods, systems and computer program products for using a distributed associative memory base to determine data correlations and convergence therein |
JP6328787B2 (ja) | 2014-04-15 | 2018-05-23 | インテル・コーポレーション | 複数の連想メモリを用いた神経形態学的グラフ圧縮の方法、システム、及びコンピュータプログラム製品 |
EP3627437B1 (en) * | 2017-04-06 | 2022-11-09 | Cambricon (Xi'an) Semiconductor Co., Ltd. | Data screening device and method |
US10636484B2 (en) * | 2018-09-12 | 2020-04-28 | Winbond Electronics Corporation | Circuit and method for memory operation |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4660166A (en) | 1985-01-22 | 1987-04-21 | Bell Telephone Laboratories, Incorporated | Electronic network for collective decision based on large number of connections between signals |
US5073867A (en) | 1989-06-12 | 1991-12-17 | Westinghouse Electric Corp. | Digital neural network processing elements |
US5103405A (en) | 1989-06-12 | 1992-04-07 | Westinghouse Electric Corp. | Digital probabilistic reasoning element |
EP0461902B1 (en) | 1990-06-14 | 1998-12-23 | Canon Kabushiki Kaisha | Neural network |
JP3088171B2 (ja) | 1991-02-12 | 2000-09-18 | 三菱電機株式会社 | 自己組織型パタ−ン分類システム及び分類方法 |
US5487133A (en) | 1993-07-01 | 1996-01-23 | Intel Corporation | Distance calculating neural network classifier chip and system |
US5619709A (en) | 1993-09-20 | 1997-04-08 | Hnc, Inc. | System and method of context vector generation and retrieval |
US6052679A (en) * | 1997-09-11 | 2000-04-18 | International Business Machines Corporation | Artificial neural networks including Boolean-complete compartments |
US5943670A (en) | 1997-11-21 | 1999-08-24 | International Business Machines Corporation | System and method for categorizing objects in combined categories |
-
1999
- 1999-11-08 US US09/436,925 patent/US6581049B1/en not_active Expired - Lifetime
-
2000
- 2000-09-19 AU AU77043/00A patent/AU7704300A/en not_active Abandoned
- 2000-09-19 JP JP2001536995A patent/JP2003518661A/ja not_active Withdrawn
- 2000-09-19 WO PCT/US2000/025604 patent/WO2001035337A2/en active Search and Examination
- 2000-09-19 EP EP00966748A patent/EP1257970A2/en not_active Withdrawn
-
2009
- 2009-08-06 JP JP2009183422A patent/JP5249155B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US6581049B1 (en) | 2003-06-17 |
EP1257970A2 (en) | 2002-11-20 |
JP2003518661A (ja) | 2003-06-10 |
WO2001035337A3 (en) | 2002-09-12 |
WO2001035337A2 (en) | 2001-05-17 |
JP5249155B2 (ja) | 2013-07-31 |
AU7704300A (en) | 2001-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5249155B2 (ja) | 前の及び次の連合を表現する重みとカウントのべき級数を含む人工ニューロン | |
JP5380196B2 (ja) | 最大射影を規定する重みを含む人工ニューロン | |
Wu et al. | Genetic algorithm based selective neural network ensemble | |
Sommer et al. | Improved bidirectional retrieval of sparse patterns stored by Hebbian learning | |
JP2662000B2 (ja) | 神経回路網およびその回路網に用いる回路 | |
Peterson | Track finding with neural networks | |
Barenco et al. | Elementary gates for quantum computation | |
Zheng et al. | Learning in energy-efficient neuromorphic computing: algorithm and architecture co-design | |
Lewicki et al. | Bayesian unsupervised learning of higher order structure | |
CN108364064A (zh) | 操作神经网络的方法、对应网络、装置、以及计算机程序产品 | |
Srinivasan et al. | Training deep spiking neural networks for energy-efficient neuromorphic computing | |
Zhang et al. | Summary of convolutional neural network compression technology | |
Chan et al. | A two-phase evolutionary algorithm for multiobjective mining of classification rules | |
Sarkar | Randomness in generalization ability: a source to improve it | |
Karimzadeh et al. | A hardware-friendly approach towards sparse neural networks based on LFSR-generated pseudo-random sequences | |
Campbell et al. | The target switch algorithm: a constructive learning procedure for feed-forward neural networks | |
CN108122028A (zh) | 深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质 | |
Mansour et al. | An optimal implementation on FPGA of a hopfield neural network | |
Niknia et al. | Nanoscale design of multi-layer perceptrons using floating-point arithmetic units | |
Mitrpanont et al. | The realization of quantum complex-valued backpropagation neural network in pattern recognition problem | |
Maren | Introduction to neural networks | |
Nedjah et al. | Hardware architecture for genetic algorithms | |
López et al. | Multilevel neuronal architecture to resolve classification problems with large training sets: Parallelization of the training process | |
Luhulima et al. | Digital Implementation of On-Chip Hebbian Learning for Oscillatory Neural Network | |
Singh et al. | Parallel evolutionary asymmetric subsethood product fuzzy-neural inference system with applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120508 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120807 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120810 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120907 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120912 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121009 |
|
A524 | Written submission of copy of amendment under section 19 (pct) |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20121009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121130 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130411 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160419 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |