JP2014520349A - スパース結合性をもたらす局所競合学習則のための方法および装置 - Google Patents

Abstract

本開示のいくつかの態様は、計算ネットワークの処理ユニットの間のスパース結合性をもたらす、上記ネットワークにおいて適用される局所競合学習則をサポートする。本開示は、Ｏｊａ則において２乗重みの和への制約を変更する、Ｏｊａ学習則への変更を提供する。この制約は、明示的であり、処理ユニットのすべての入力重みの各々を個別に更新するためにそれらの入力重みについての知識を必要とする、通常使用される乗法的正規化および減算的正規化とは対照的に、本質的で局所的であり得る。提示される法則は、元のＯｊａ則によって学習された重みベクトルよりもスパースである（すなわち、より多くの０要素を有する）重みベクトルへの収束を提供する。そのようなスパース結合性は、特定の特徴に対する処理ユニットのより高い選択性をもたらすことがあり、それは、ネットワーク構成を記憶するためにより少ないメモリを必要とし、それを動作させるためにより少ないエネルギーを必要とし得る。

Description

本開示のいくつかの態様は、一般に、神経システム工学に関し、より詳細には、スパース結合性（sparse connectivity）を生成する局所トレーニング則を使用して計算ネットワークをトレーニングするための方法および装置に関する。

人間および動物の発生中の脳は、幼年期においてシナプス成長スパートを経験し、その後、大量のシナプスプルーニング（synaptic pruning）が行われ、それにより、成人期までにシナプスの約１／２が除去される。成熟脳においてシナプス再配線（構造的可塑性）が継続するが、より遅い速度で行われる。シナプスプルーニングは、活性依存性（activity dependent）であり、より弱いシナプスを除去することがわかっている。そのために、それは、シナプスが神経栄養因子（neurotrophic factor）などの有限リソースについて競合する、シナプス可塑性（synaptic plasticity）によって説明され得る。シナプスプルーニングは、脳効率を高めるのを助け、これは、一般に、より少ないシナプスと同じ機能として定義され得る。シナプスを介した信号の伝達にはエネルギーが必要とされるので、より高い効率はより低いエネルギーをも意味する。

既存の教師なし学習則（unsupervised learning rule）は、明示的に、乗法的正規化（multiplicative normalization）または減算的正規化（subtractive normalization）によって、あるいは暗黙的に、限られたリソースについてのシナプス競合をモデル化する。しかしながら、明示的正規化は非局所的であり得、すなわち、明示的正規化は、ニューロンのすべての入力重みの各々を個別に更新するためにそれらの入力重みについての知識を必要とする。ただし、これは生物学的にもっともらしくないことがある。一方、Ｏｊａ則は、シナプスの重み更新を計算するためにシナプスにとって利用可能な局所情報のみを使用するが、それは、生物学的な正当とする理由を有しない、２乗重みの和を漸近的に制約する。

本開示のいくつかの態様は、計算ネットワークをトレーニングする方法を提供する。本方法は、概して、少なくとも１つの既存の重みに少なくとも部分的に基づいて計算ネットワーク中の処理ユニットの出力を計算することと、局所トレーニング則を使用して処理ユニットの少なくとも１つの重みを変更することであって、局所トレーニング則が計算ネットワークの処理ユニット間のスパース結合性を生成する、変更することとを含む。

本開示のいくつかの態様は、計算ネットワークの装置を提供する。本装置は、概して、少なくとも１つの既存の重みに少なくとも部分的に基づいて計算ネットワーク中の装置の出力を計算するように構成された第１の回路と、局所トレーニング則を使用して装置の少なくとも１つの重みを変更するように構成された第２の回路であって、局所トレーニング則が計算ネットワークの装置間のスパース結合性を生成する、第２の回路とを含む。

本開示のいくつかの態様は、計算ネットワークの装置を提供する。本装置は、概して、少なくとも１つの既存の重みに少なくとも部分的に基づいて計算ネットワーク中の装置の出力を計算するための手段と、局所トレーニング則を使用して処理ユニットの少なくとも１つの重みを変更するための手段であって、局所トレーニング則が計算ネットワークの装置間のスパース結合性を生成する、変更するための手段とを含む。

本開示のいくつかの態様は、計算ネットワークをトレーニングするためのコンピュータプログラム製品を提供する。本コンピュータプログラム製品は、概して、少なくとも１つの既存の重みに少なくとも部分的に基づいて計算ネットワーク中の処理ユニットの出力を計算することと、局所トレーニング則を使用して処理ユニットの少なくとも１つの重みを変更することであって、局所トレーニング則が計算ネットワークの処理ユニット間のスパース結合性を生成する、変更することとを行うためのコードを備えるコンピュータ可読媒体を含む。

本開示の上述の特徴を詳細に理解することができるように、添付の図面にその一部を示す態様を参照することによって、上記で簡単に要約したより具体的な説明が得られ得る。ただし、その説明は他の等しく有効な態様に通じ得るので、添付の図面は、本開示のいくつかの典型的な態様のみを示し、したがって、その範囲を限定するものと見なすべきではないことに留意されたい。

本開示のいくつかの態様による、神経システムの例示的な処理ユニットを示す図。 本開示のいくつかの態様による、漸近解の例示的な幾何学的分析を示す図。 本開示のいくつかの態様による、局所トレーニング則を使用して神経システムのシナプス重みを更新するための動作を示す図。 図３に示した動作を実行することが可能な例示的な構成要素を示す図。 本開示のいくつかの態様による、４つの異なる法則によってトレーニングされる単純型細胞（simple cell）の求心性受容野（afferent receptive field）を示す図。 本開示のいくつかの態様による、網膜神経節細胞対単純型細胞（ＲＧＣ対Ｓ１：Retinal Ganglion Cell to simple-cell）重みの分布を示す図。 本開示のいくつかの態様による、単純型細胞のプールから同じ複雑型細胞（complex cell）への結合（connection）をもつ単純型細胞配向マップを示す図。 本開示のいくつかの態様による、４つの異なる法則によってトレーニングされる単純型細胞対複雑型細胞（Ｓ１対Ｃ１：simple-cell to complex-cell）重みの分布を示す図。 本開示のいくつかの態様による、汎用プロセッサを使用した局所トレーニング則の例示的なソフトウェア実装形態を示す図。 本開示のいくつかの態様による、重みメモリが個々の分散処理ユニットとインターフェースされる局所トレーニング則の例示的な実装形態を示す図。 本開示のいくつかの態様による、分散重みメモリと分散処理ユニットとに基づく局所トレーニング則の例示的な実装形態を示す図。

添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈すべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるために与えるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載の態様をいくつ使用しても、装置を実装し、または方法を実施し得る。さらに、本開示の範囲は、本明細書に記載の本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示する本開示の任意の態様が請求項の１つまたは複数の要素によって実施され得ることを理解されたい。

「例示的」という単語は、本明細書では、「例、事例、または例示の働きをすること」を意味するために使用する。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好適または有利なものと解釈すべきではない。

本明細書では特定の態様について説明するが、これらの態様の多くの変形体および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。

例示的な神経システム
図１に、本開示のいくつかの態様による、計算ネットワーク（たとえば、神経システム）の処理ユニット（たとえば、ニューロン）１０２の一例１００を示す。ニューロン１０２は、神経システムの外部にある信号、または同じ神経システムの他のニューロンによって生成された信号、またはその両方であり得る、複数の入力信号１０４₁〜１０４_N（ｘ₁〜ｘ_N）を受信し得る。入力信号は、電流または電圧、実数値または複素数値であり得る。入力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。これらの入力信号は、調整可能なシナプス重み１０６₁〜１０６_N（ｗ_1〜ｗ_N）に従って信号をスケーリングするシナプス結合を通してニューロン１０２に伝えられ得、Ｎはニューロン１０２の入力接続の総数であり得る。

ニューロン１０２は、スケーリングされた入力信号を合成し、合成された、スケーリングされた入力を使用して、出力信号１０８（すなわち、信号ｙ）を生成し得る。出力信号１０８は、電流または電圧、実数値または複素数値であり得る。出力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。出力信号１０８は、次いで、同じ神経システムの他のニューロンへの入力信号として、または同じニューロン１０２への入力信号として、または神経システムの出力として伝達され得る。

処理ユニット（ニューロン）１０２は電気回路によってエミュレートされ得、それの入力および出力接続は、シナプス回路をもつワイヤによってエミュレートされ得る。処理ユニット１０２、それの入力および出力接続はまた、ソフトウェアコードによってエミュレートされ得る。処理ユニット１０２はまた、電気回路によってエミュレートされ得るが、それの入力および出力接続はソフトウェアコードによってエミュレートされ得る。本開示の一態様では、計算ネットワーク中の処理ユニット１０２はアナログ電気回路を備え得る。別の態様では、処理ユニット１０２はデジタル電気回路を備え得る。さらに別の態様では、処理ユニット１０２は、アナログ構成要素とデジタル構成要素の両方をもつ混合信号電気回路を備え得る。計算ネットワークは、上述の形態のいずれかにおける処理ユニットを備え得る。そのような処理ユニットを使用した計算ネットワーク（神経システム）は、画像およびパターン認識、機械学習、モータ制御など、広い範囲の適用例において利用され得る。

Ｌ１制約を用いた局所競合学習則
本開示のいくつかの態様は、図１に示した重み１０６₁〜１０６_Nなど、計算ネットワーク（神経システム）の１つまたは複数の処理ユニット（ニューロン）に関連する重みを更新するための局所競合学習則をサポートする。学習プロセスが完了すると、適用された局所競合学習則は処理ユニット間のスパース結合性をもたらし得、すなわち、重みのいくつかは、０に等しくなるか、またはあるしきい値を下回り得る。

一態様では、シナプス重みの一般的なヘッブの学習則は、次のように表され得る。

上式で、Δｗ_iはｉ番目のシナプス重みｗ_iの変化であり、ηは学習率であり、ｘ_iはｉ番目の入力（シナプス前反応（presynaptic response））であり、ｙはニューロン出力（シナプス後反応（postsynaptic response））である。式（１）によって定義される法則は非有界（unbounded）重み成長を生じることがあり、したがって、シナプス強化（synaptic potentiation）のための脳の限られたリソースと、これらのリソースについてのシナプス間の結果として生じる競合とを考慮することができない。

ヘッブの法則へのいくつかの変更は、それの欠点を克服するのを助け得る。たとえば、重み成長を制限するために、式（１）に受動重み減衰項が加算され得る。

この法則は、低い活性をもつ結合をプルーニングし得、それは、γが慎重に選択されない場合、すべての結合をプルーニングし得る。さらに、減衰項がシナプス後活性（postsynaptic activity）ｙでゲートされ得る、いわゆる「インスター則（instar rule）」は、次式によって与えられるようにこの問題を回避し得る。

式（３）によって定義される法則と同様の法則が自己組織化マップにおいて利用され得る。この法則はｗ_i＝ｘ_iに収束し得ることに留意されたい。

ｘ_iおよびｙの非０平均によりヘッブの法則のバイアスを除去し得、同時に、次式によって与えられるようにシナプス抑制（synaptic depression）を加え得る、共分散則（covariance rule）が提案され得る。

上式で、〈ｘ_i〉および〈ｙ〉は、それぞれ平均シナプス前活性（presynaptic activity）およびシナプス後活性である。ヘッブの法則とまったく同様に、式（４）によって定義される法則は、重み成長を制限し得ず、シナプス競合を強制し得ない。

シナプス競合を達成するために、平均シナプス後活性〈ｙ〉とともに線形的に成長する場合よりも速く成長するシナプス後しきい値が使用され得る。ＢＣＭ則（Ｂｉｅｎｅｎｓｔｏｃｋ−Ｃｏｏｐｅｒ−Ｍｕｎｒｏ則）と呼ばれる、得られた学習則は、次のように書かれ得る。

上式で、ｙ₀は〈ｙ〉の漸近ターゲットを表し、ｐ＞１は定数である。

重みの非有界成長を防ぐために、重みは、次式によって与えられるように、それらを一定に保つためにそれらの和で除算され得る。

上式で、ｗ’_i（ｔ）＝ｗ_i（ｔ−１）＋ηｘ_iｙであり、αはΣ_iｗ_i（ｔ）のターゲットであり、ｔは時間インデックスである。このタイプの重み制限は乗法的正規化と呼ばれることがある。それの元の形態では、乗法的正規化は単極重みに適用され得る。ただし、それは、式（６）中の分母をＬ₁−ｎｏｒｍΣ_i｜ｗ’_i｜に変更することによって双極重みに拡張され得る。それはまた、その分母を

に変更することによって重みベクトル長（Ｌ₂−ｎｏｒｍ）を制限するように変更され得る。式（６）中の重みはヘッブの法則によってトレーニングされ、次いで共通因数によってスケーリングされ得るので、式（１）および式（６）によって定義される両方の学習則は、同じ方向を指すが、異なる長さを有する重みベクトルに収束し得る。

また、各重みが、式（１）によって定義される学習則によって変更された後に、各重みから等しい量を減算し得、その量は、重みの総和が一定のままであり得るように選択される。

上式で、Ｎは入力の数である。このタイプの重み制限は減算的正規化と呼ばれることがある。ｗ’_i（ｔ）＝ｗ_i（ｔ−１）＋ηｘ_iｙを式（７）に代入し、Σ_iｗ_i（ｔ−１）＝αを考慮に入れると、（７）によって定義される学習則は次式に帰着し得る。

減算的正規化は、一般に、単極重みに適用され得、したがって、重みがそれらの符号を変更するのを防ぐために、０限界を必要とし得る。０限界を用いると、式（７）によってトレーニングされるニューロンのすべての入力重みが、１つの重みを除いて漸近的に０に収束し得る。単一の非０重みを防ぐために、重み値（weight magnitude）に対する上限も課され得る。乗法的正規化および減算的正規化の主要な欠点は、それらが非局所的であること、すなわち、それらは、各重みを個別に計算するためにニューロンのすべての入力重みまたは入力の知識を必要とし得ることであり得る。

Ｏｊａ学習則として知られる局所学習則は、平衡点において入力重みベクトルのＬ₂ノルムを制約し得る。一般的な形態では、Ｏｊａ則は次のように書かれ得る。

上式で、αは、平衡点における

のターゲットである。この法則は、限られたリソースについてのシナプス重み間の競合を生成し得るが、これらのリソースを２乗重みの和としてモデリングすることは生物学的に正当化され得ない。

上述の学習則は、興奮性ニューロン（excitatory neuron）からの結合が正の重みを有する必要があり得、抑制性ニューロン（inhibitory neuron）からの結合が負の重みを有する必要があり得るという原理に従うように、一般に、単極重みに適用され得る。一態様では、０限界を使用することによって、重みがそれらの符号を変更することが許され得ない。法則が求心性神経（afferent）を隔離することができる場合、０限界は、しばしば、多くの０要素（スパースベクトル）をもつ重みベクトルをもたらし得る。しかしながら、重みがそれらの符号を変更することが許される場合、上述の法則は、少数の０要素（非スパースベクトル）をもつ重みベクトルに収束し得る。

本開示のいくつかの態様によれば、式（９）によって定義されるＯｊａ則への変更が、次式によって与えられるように提案される。

上式で、Δｗ_iはｉ番目のシナプス重みｗ_iの変化であり、ηは学習率であり、ｘ_iはｉ番目の入力（シナプス前反応）であり、ｙはニューロン出力（シナプス後反応）であり、αはΣ_i｜ｗ_i｜のターゲットであり、ｓｇｎ（ ）は符号関数である。

式（１０）によって与えられる提案する法則が平衡点においてΣ_i｜ｗ_i｜をαに制約することを証明するために、出力ｙがニューロンの入力の重み付け和として生成されると仮定され得る。すなわち、

式（１１）を式（１０）に代入し、入力パターンが提示される時間に対して重み変更が遅いと仮定して、結果の時間平均〈 〉を取ると、次式になり得る。

または、行列形式では、次式になり得る。

上式で、ｗは入力重みベクトルであり、上付き文字のＴは転置を意味し、要素Ｃ_ik＝〈ｘ_iｘ_k〉をもつ行列Ｃは、入力の相関行列である。

平衡点において、平均重み変更は０に等しくなるべきである、すなわち、

式（１４）の両辺に左側からｗ_Tを掛け、得られた式をスカラー［ｗ_TＣｗ］で除算し、項を並べ替えると、次式になり得る。

すなわち、重みベクトルｗのＬ₁ノルムは平衡点においてαに等しくなり得る。

同様の方法で、以下の法則が平衡点において重みベクトルのＬ₀ノルムを制約し得ることが証明され得る。

上式で、βは定数（たとえば、β＝１またはβ＝０）であり、αはｗ中の非０要素の数のターゲットである。ｗ_iによる除算のために、式（１６）によって定義される法則は、ｗ_iが０に近いときに大きいΔｗ_i更新を生成し、０限界が使用されない限り、それは０の周りで振動することになり、決してターゲットに達し得ない。一方、式（１０）によって定義される学習則は、そのような挙動を示さないことがあり、以下でさらに詳細に示すように、０限界を用いてまたは用いずにスパースｗに収束し得る。

単純な例として、２つの入力ｘ₁およびｘ₂をもつ線形ニューロンと、対応する重みｗ₁およびｗ₂とについて考えることができる。その場合、ニューロン出力は次式によって与えられ得る。

上式で、すべての量は、正、負、または０のいずれかであり得る。入力が０平均である場合、出力ｙも０平均であり得、式（４）によって定義される共分散則は、式（１）によって定義されるヘッブの法則に帰着し得る。ヘッブの法則は、コスト関数Ｅの勾配の方向における最適化ステップと見なされ得る。

Ｅ＝ｙ₂／２、すなわち、ヘッブの法則が、ニューロンエネルギー、したがって重み値の非有界成長を最大にし得ることが示され得る。ｙの初期値に応じて、放物線ｙ₂／２の左側（ｙ＜０）および右側（ｙ＞０）に沿って、勾配上昇の２つの可能な解経路があり得る。簡単のために、この初期値は、式（１８）によって定義される学習則が放物線ｙ₂／２の右側に沿って移動するように、正であると仮定され得る。この場合、ｙ₂／２の最大化はｙの最大化に等価であり得る。非有界重み成長を防ぐために、重み値に制約が課され得る、すなわち、｜ｗ₁｜≦αおよび｜ｗ₂｜≦α。この制約は、図２Ａに示すように、（ｗ₁，ｗ₂）平面上で方形２０２を描き得る。直線２０４は、所与のｙ、ｘ₁、およびｘ₂のためのすべての可能な（ｗ₁，ｗ₂）解を描き得る。線２０４の傾きは−ｘ₁／ｘ₂によって決定され得、中心に対するそれの位置はｙ／ｘ₂によって決定され得る。ｙの最大化は、中心から離れて（ｘ₂＜０である場合は上に、またはｘ₂＞０である場合は下に）線２０４を移動し得る。漸近解（ｗ₁（∞），ｗ₂（∞））は、それが、ｘ₁＝０またはｘ₂＝０でない限り、常に角のうちの１つであり得る、ただ１つの点において方形２０２に接するまで、線２０４を、増加するｙの方向に移動することによって見つけられ得る。図２Ａにおいて観測され得るように、入力の大部分について、指定された限界を用いたヘッブの法則は、すべての重みが最大値を有する解につながり得る、すなわち、｜ｗ₁｜＝｜ｗ₂｜＝α。

式（７）によって定義される減算的正規化を用いたヘッブの法則は、重みの総和を一定に維持し得る、すなわち、ｗ₁＋ｗ₂＝α。この制約は、図２Ｂに示すように（ｗ₁，ｗ₂）平面上で（α，０）および（０，α）を通る直線２０６を描き得る。線２０６は非負重みに関連し得、別の線２０８は双極重みに関連し得るという２つの制約が示されている。可能な漸近解は２１０でマークされている。減算的正規化は、一般に非負重みに適用され得、その場合、α＞０であり、重みは０に制限される、すなわち、ｗ₁≧０およびｗ₂≧０。漸近解は（α，０）および（０，α）であり得、両方ともスパースである。重みがそれらの符号を変更することが許される場合、漸近解は、限界が強制され得ない限り、非有界であり得る。最大重み値がαにおいて制約される場合、漸近解は（−α，α）および（α，−α）であり、両方とも非スパースである。

１次近似まで、式（９）によって定義されるＯｊａ則は、ヘッブ項（式（９）の丸括弧中の第１の項）と、制約項（式（９）の丸括弧中の第２の項）とに分けられ得る。ヘッブ項は、最初の出力ｙが正であると仮定すると、出力ｙを最大にし得、第２の項は、漸近解に制約

を課し得る。この制約は、図２Ｃに示すように、（ｗ₁，ｗ₂）平面上で半径

をもつ円２１２を描き得る。漸近解（ｗ₁（∞），ｗ₂（∞））は、式（１７）によって定義される解線（solution line）２１４が円２１２に接する点として見つけられ得る。図２Ｃにおいて観測され得るように、ｘ₁＝０またはｘ₂＝０でない限り、Ｏｊａ則を用いたスパース解を取得することは不可能であり得る。より厳密な分析により、Ｏｊａ則は、Ｃ_ik＝〈ｘ_iｘ_k〉をもつデータ共分散行列Ｃの主固有ベクトルに収束し得ることを示すことができる。

本開示のいくつかの態様は、漸近制約｜ｗ₁｜＋｜ｗ₂｜＝αを課し得る、式（１０）によって定義される局所学習則をサポートする。この制約は、図２Ｄに示すように、（ｗ₁，ｗ₂）平面上ですべての辺が

に等しいひし形２１６を描き得る。漸近解（ｗ₁（∞），ｗ₂（∞））は、それが、｜ｘ₁｜＝｜ｘ₂｜でない限り、常に頂点のうちの１つであり得る、ただ１つの点においてひし形２１６に接するまで、式（１７）によって定義される解線２１８を、増加する出力ｙの方向に移動することによって見つけられ得る。したがって、入力の大部分について、提案する法則はスパース解を与え得る（すなわち、２つの重みのうちの１つが０であり得る）。

Ｎ個の入力重みの一般的な場合では、式（１０）によって定義される法則は、理論的には、値αのただ１つの非０重みをもつ解に収束し得る。重みベクトルが２つ以上の非０要素を有することを可能にすることが望ましいことがある。それを達成するために、ｗ_max＜αであるように、各重み値に対する上限ｗ_maxが課され得、上式で、α／ｗ_maxは、ｗ中の非０要素の数のターゲットであり得る。一態様では、αの選択は任意であり得る。ただし、ネットワーク中のすべての入力および出力が同じ限界（たとえば、ｘ_i∈［−１，１］およびｙ∈［−１，１］）内にあることが望まれる場合、αのための適切な値は１であり得る。この場合、学習則に必要な唯一の入力パラメータは、学習率ηと、重み値制限ｗ_max≦１とであり得る。

また、式（１６）によって定義されるＬ₀制約則は、最大重み値をｗ_max＝1／αに制限することによってネットワーク入力および出力を同じ限界内に保つことを強制され得、αは各重みベクトル中の非０要素の数である。

図３に、本開示の態様による、計算ネットワーク（ニューラルネットワーク）をトレーニングするための例示的な動作３００を示す。３０２において、少なくとも１つの既存の重みに少なくとも部分的に基づいて計算ネットワーク中の処理ユニット（ニューロン）の出力を計算する。３０４において、局所トレーニング則を使用して処理ユニットの少なくとも１つの重みを変更し、局所トレーニング則は計算ネットワークの処理ユニット間のスパース結合性を生成する。

本開示のいくつかの態様によれば、局所トレーニング則を使用して少なくとも１つの重みを変更することは、処理ユニットにおける１つまたは複数の入力、出力、または変更の前の少なくとも１つの既存の重みのうちの少なくとも１つに基づいて少なくとも１つの重みを更新することを備え得る。いくつかの実施形態によれば、スパース結合性が、少なくとも１つの重みの複数の更新の後に生成され得る。

本開示のいくつかの実施形態を示すために、式（１０）によって定義される学習則、および他の法則とのそれの差は、１次視覚野（Ｖ１）ニューラルネットワークモデル中のフィードフォワード結合重みをトレーニングするために使用され得る。ネットワークは、光受容体（photoreceptor）と、網膜神経節細胞（ＲＧＣ）と、Ｖ１単純型細胞（Ｓ１）と、Ｖ１複雑型細胞（Ｃ１）との４つの２次元層からなり得る。光受容体は、入力画像のピクセルに１：１でマッピングされ得る。各光受容体は、［−１，１］の範囲内の対応するピクセルの光度をコーディングし得る。光受容体出力は、ガウス差分（ＤｏＧ：Difference of Gaussians）を用いて入力画像の空間フィルタリングを実行する固定重み結合を通して、網膜局所的にマッピングされたＲＧＣに供給され得る。

各ＲＧＣの出力は、重み付けされた入力の線形和として計算され得る。それは、正、負、または０のいずれかであり得る。そのようなＲＧＣは、同じ入力と、反対の極性の入力重みとをもつＯＮ型細胞（ON cell）およびＯＦＦ型細胞（OFF cell）を結合し得る。それの出力は、対応するＯＮ型細胞出力およびＯＦＦ型細胞出力の差に等しくなり得る。ＲＧＣ出力は、対応するＯＮ型細胞およびＯＦＦ型細胞からの重み間の差をモデル化し得る適応可能な双極重みを通して単純型細胞に供給され得る。これらのＲＧＣ対Ｓ１重みは単純型細胞の受容野を判断し得る。また、Ｓ１層は短距離興奮および長距離抑制との側方結合（lateral connection）を有し得る。これらの側方結合は、単純型細胞が、風車型構造（pinwheel）および線形領域をもつ配向マップに自己組織化するのを助け得る。各単純型細胞Ｓ１は、出力の正の部分を維持し、負の部分を０にクリッピングし得る半波整流器を通過した、重み付けされた入力の和としてモデル化され得る。Ｓ１の正の出力は、適応可能な正の重みを通してＣ１に供給され得る。

最初に、式（７）によって定義される減算的正規化を用いたヘッブの法則と、式（９）によって定義されるＯｊａ則と、式（１０）によって定義される、提案する局所学習則と、（１６）によって定義される、変更された局所学習則との４つの法則を使用して、ＲＧＣ対Ｓ１結合をトレーニングした。すべての４つの法則は重み制限を生じ得、学習される重みは、［−ｗ_max，ｗ_max］の範囲に制限され得る。

図４Ａ〜図４Ｄに、出現したＲＧＣ対Ｓ１重み行列の例を示し、黒い円は正の重み（ＯＮ領域）を表し、白抜きの円は負の重み（ＯＦＦ領域）を表す。円の直径は重み値に比例し得る。重みは、［−ｗ_max，ｗ_max］制限を用いた４つの上述の法則によってトレーニングされ得る。図４Ａは、減算的正規化を用いたヘッブの法則によってトレーニングされる重みを示す。図４Ｂは、Ｏｊａ則によってトレーニングされる重みを示す。図４Ｃは、Ｌ₁制約を用いた、式（１０）によって定義される法則によってトレーニングされる重みを示す。図４Ｄは、式（１６）によって定義される、Ｌ₀制約を用いた法則によってトレーニングされる重みを示す。

図５Ａ〜図５Ｄに、すべてのＲＧＣ対Ｓ１重みの対応する分布を示す。図５Ａに示すように、減算的正規化を用いたヘッブの法則は最大値の重みに収束し得る。図５Ｂに示すＯｊａ則は段階的な重みに収束し得、それらの重みのうちのいくつかは、小さいが非０の値を有し得る。図５Ｃに示す、式（１０）によって定義される提案する法則は、明確なＯＮ領域およびＯＦＦ領域と、多数の０に近い要素とをもつ重み行列に収束し得る。図５Ｄに示す、式（１６）によって定義される法則は、ｗ_iによる除算のためにスパース重み行列に収束することができないことがあり、それにより小さい重みが０の周りで振動することになる。それらの法則のいずれかにおいて０限界なしに正確に０の重みを取得することは不可能であり得る。したがって、重み行列のスパーシティを推定するために、選択された丸め誤差内で０である重みが計数され得る。０：０１ｗ_maxの丸め誤差の場合、式（１０）によって定義される提案する法則によってトレーニングされるＲＧＣ対Ｓ１重みの約５４％は０であり得るが、他の３つの法則によってトレーニングされる重みの３％未満は０であり得る。

図６Ａ〜図６Ｄに、Ｓ１対Ｃ１結合をトレーニングするために使用される同じ４つの法則を示す。このとき、各法則は、［０，ｗ_max］への加えられた重み制限を有し得る。Ｓ１層のフラグメントが図６Ａ〜図６Ｄに示されており、これは、単純型細胞の２次元配列を単純型細胞の好適な配向の等配向等高線プロットとして示す（等高線上の値が、これらの等高線下に位置する単純型細胞の好適な配向を表す）。ボックス６０２、６０４、６０６、６０８はＳ１細胞のプールを概説し得、それの出力は同じ複雑型細胞に供給され得る。それらのボックス内の白抜きの円６１２、６１４、６１６、６１８は、これらの単純型細胞から、選択された複雑型細胞への結合強度を示し得、すなわち、円が大きいほど、重みは大きい。図６Ａは、減算的正規化を用いたヘッブの法則によってトレーニングされる重みを示す。図６Ｂは、Ｏｊａ則によってトレーニングされる重みを示す。図６Ｃは、Ｌ₁制約を用いた、式（１０）によって定義される法則によってトレーニングされる重みを示す。図６Ｄは、Ｌ₀制約を用いた、式（１６）によって定義される法則によってトレーニングされる重みを示す。

図７Ａ〜図７Ｄに、すべてのＳ１対Ｃ１重みの対応する分布を示す。減算的正規化を用いたヘッブの法則は０下限によるスパースＳ１対Ｃ１結合性を生成し得ることが、図７Ａにおいて観測され得る。図７Ｂは、Ｏｊａ則が、ボックス内のすべての単純型細胞への、さらには直交配向をもつすべての単純型細胞への可変強度の結合を生成することを示す。本開示のいくつかの態様によれば、図７Ｃに示すように、式（１０）によって定義される提案する局所学習則は、同様の配向の単純型細胞への強い結合と、配向選択的およびシフト不変複雑型細胞の生物学的データに一致し得る他の配向の単純型細胞への０強度結合とを生成し得る。図７Ｄに示すように、式（１６）によって定義される学習則はまた、０への負の重みのクリッピングによるスパースＳ１対Ｃ１結合性を生成し得る。

図８に、本開示のいくつかの態様による、汎用プロセッサ８０２を使用した上述の局所トレーニング則の例示的なソフトウェア実装形態８００を示す。汎用プロセッサ８０２において実行される局所トレーニング則に関係する命令がプログラムメモリ８０６からロードされ得る間、計算ネットワーク（ニューラルネットワーク）の各処理ユニット（ニューロン）に関連する既存の重みがメモリブロック８０４に記憶され得る。本開示のいくつかの態様によれば、ロードされた命令は、メモリブロック８０４に記憶された少なくとも１つの既存の重みに少なくとも部分的に基づいて計算ネットワーク中の各処理ユニットの出力を計算するためのコードを備え得る。さらに、ロードされた命令は、局所トレーニング則に従ってその処理ユニットの少なくとも１つの重みを変更するためのコードを備え得、局所トレーニング則は計算ネットワークの処理ユニット間のスパース結合性を生成し得る。本開示の一態様では、その処理ユニットの少なくとも１つの重みを変更するためのコードは、その処理ユニットにおける１つまたは複数の入力、前に計算された出力、または変更の前の少なくとも１つの既存の重みのうちの少なくとも１つに基づいて少なくとも１つの重みを更新するためのコードを備え得る。更新された重みはメモリブロック８０４に記憶され、古い重みを交換し得る。

図９に、本開示のいくつかの態様による、重みメモリ９０２が、計算ネットワーク（ニューラルネットワーク）の個々の（分散）処理ユニット（ニューロン）９０６をもつ相互接続ネットワーク９０４を介してインターフェースされる、上述の局所トレーニング則の例示的な実装形態９００を示す。処理ユニット９０６に関連する少なくとも１つの既存の重みが、その処理ユニット９０６への相互接続ネットワーク９０４の（１つまたは複数の）接続を介してメモリ９０２からロードされ得る。処理ユニット９０６は、少なくとも１つの既存の重みに少なくとも部分的に基づいてそれの出力を計算するように構成され得る。さらに、処理ユニット９０６は、局所トレーニング則に従ってその処理ユニットに関連する少なくとも１つの重みを変更するように構成され得、局所トレーニング則は計算ネットワークの処理ユニット９０６間のスパース結合性を生成し得る。本開示の一態様では、局所学習則に従って少なくとも１つの重みを変更することは、処理ユニット９０６における１つまたは複数の入力、処理ユニット９０６の、前に計算された出力、またはその変更の前の少なくとも１つの既存の重みのうちの少なくとも１つに基づいて少なくとも１つの重みを更新することをさらに備え得る。更新された重みはメモリ９０４に記憶され、その処理ユニット９０６に関連する古い重みを交換し得る。

図１０に、本開示のいくつかの態様による、分散重みメモリ１００２と分散処理ユニット１００４とに基づく上述の局所トレーニング則の例示的な実装形態１０００を示す。図１０に示すように、１つの重みメモリバンク１００２は、計算ネットワーク（ニューラルネットワーク）の１つの処理ユニット（ニューロン）１００４と直接インターフェースされ得、そのメモリバンク１００２は、その処理ユニット１００４に関連する少なくとも１つの既存の重みを記憶し得る。処理ユニット１００４は、対応する重みメモリバンク１００２からロードされた少なくとも１つの既存の重みに少なくとも部分的に基づいてそれの出力を計算するように構成され得る。さらに、処理ユニット１００４は、局所トレーニング則に従ってその処理ユニットに関連する少なくとも１つの重みを変更するように構成され得、局所トレーニング則は計算ネットワークの処理ユニット１００４間のスパース結合性を生成し得る。本開示の一態様では、局所学習則に従って処理ユニット１００４によって少なくとも１つの重みを変更することは、処理ユニット１００４における１つまたは複数の入力、処理ユニット１００４の前に計算された出力、または変更の前の少なくとも１つの既存の重みのうちの少なくとも１つに基づいて少なくとも１つの重みを更新することをさらに備え得る。更新された重みは対応するメモリブロック１００２に記憶され、古い重みを交換し得る。

本開示の態様によれば、提案する学習則は、平衡点においてニューロンの入力重みベクトルのＬ１ノルムを制約し得る。その学習則は局所的で本質的であり得、これによりソフトウェアおよびハードウェア実装形態がより単純になり得る。この法則は、０限界を用いてまたは用いずに元のＯｊａ則によって学習された重みベクトルよりもスパースな重みベクトルに収束し得る。そのようなスパース結合性は、多くの生物学的研究において発見され得る、特定の特徴に対するニューロンのより高い選択性をもたらし得る。Ｌ２ノルムの代わりにＬ１ノルムを制約する別の利点は、α＝１を選択することによってネットワークにおける入力および出力を同じ限界内に保つことの簡単さであり得る。

上記で説明した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々な（１つまたは複数の）ハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。一般に、図に示す動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。たとえば、図３に示す動作３００は、図３Ａに示す構成要素３００Ａに対応する。

本明細書で使用する「判断」という用語は、多種多様なアクションを包含する。たとえば、「判断」および「決定」は、計算、算出、処理、導出、調査、探索（たとえば、テーブル、データベース、または別のデータ構造での探索）、確認などを含み得る。また、「判断」および「決定」は、受信（たとえば、情報の受信）、アクセス（たとえば、メモリ中のデータへのアクセス）などを含み得る。また、「判断」および「決定」は、解決、選択、選出、確立などを含み得る。

本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらのアイテムの任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃをカバーするものとする。

上記で説明した方法の様々な動作は、（１つまたは複数の）様々なハードウェアおよび／またはソフトウェア構成要素、回路、および／または（１つまたは複数の）モジュールなど、それらの動作を実行することが可能な任意の好適な手段によって実行され得る。一般に、図に示すどの動作も、その動作を実行することが可能な対応する機能的手段によって実行され得る。

本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。

本開示に関連して説明した方法またはアルゴリズムのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体中に常駐し得る。使用され得る記憶媒体のいくつかの例には、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を備え得、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取り、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサに一体化され得る。

本明細書で開示した方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は特許請求の範囲の範囲から逸脱することなく変更され得る。

説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装した場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様の場合、コンピュータ可読媒体は一時的コンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。

したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために１つまたは複数のプロセッサによって実行可能である命令をその上に記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。

ソフトウェアまたは命令はまた、送信媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、送信媒体の定義に含まれる。

さらに、本明細書で説明した方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合にユーザ端末および／または基地局によってダウンロードおよび／または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実行するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明した様々な方法は、ユーザ端末および／または基地局が記憶手段をデバイスに結合するかまたは与えると様々な方法を得ることができるように、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって提供され得る。さらに、本明細書で説明した方法および技法をデバイスに与えるための任意の他の好適な技法を利用することができる。

特許請求の範囲は、上記に示した正確な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲の範囲から逸脱することなく、様々な改変、変更および変形を行い得る。

上記は本開示の態様を対象とするが、本開示の他の態様およびさらなる態様は、その基本的範囲から逸脱することなく考案され得、その範囲は以下の特許請求の範囲によって判断される。

Claims (60)

1. 計算ネットワークをトレーニングする方法であって、
   少なくとも１つの既存の重みに少なくとも部分的に基づいて前記計算ネットワーク中の処理ユニットの出力を計算することと、
   局所トレーニング則を使用して前記処理ユニットの前記少なくとも１つの重みを変更することであって、前記局所トレーニング則が前記計算ネットワークの処理ユニット間のスパース結合性を生成する、変更することと
   を備える、方法。
2. 前記局所トレーニング則を使用して前記少なくとも１つの重みを変更することが、
   前記処理ユニットにおける１つまたは複数の入力、前記出力、または前記変更の前の前記少なくとも１つの既存の重みのうちの少なくとも１つに基づいて前記少なくとも１つの重みを更新すること
   を備える、請求項１に記載の方法。
3. 前記スパース結合性が、前記少なくとも１つの重みの複数の更新の後に生成される、請求項２に記載の方法。
4. 前記計算ネットワークがニューラルネットワークを備え、
   前記処理ユニットがニューロン回路を備える、請求項１に記載の方法。
5. 前記局所トレーニング則が、前記重みの絶対値の和に制約を課する、請求項１に記載の方法。
6. 前記制約付き重みが前記処理ユニットへの入力接続に関連する、請求項５に記載の方法。
7. 前記局所トレーニング則が、平衡点において前記処理ユニットへの入力接続に関連する入力重みベクトルを制約する、請求項１に記載の方法。
8. 前記局所トレーニング則がいくつかの非０重みを制約する、請求項１に記載の方法。
9. 前記制約付き重みが前記処理ユニットへの入力接続に関連する、請求項８に記載の方法。
10. 前記処理ユニットが１つまたは複数の非線形演算を利用する、請求項１に記載の方法。
11. 前記局所トレーニング則が、前記処理ユニットへの入力接続に関連する個々の重みに制限を課する、請求項１に記載の方法。
12. 前記個々の重みの最大値が上限によって制限される、請求項１１に記載の方法。
13. 前記個々の重みの最小値が下限によって制限される、請求項１１に記載の方法。
14. 前記個々の重みの最大値と最小値の両方が制限される、請求項１１に記載の方法。
15. 前記制限が前記個々の重みについて異なる、請求項１１に記載の方法。
16. 計算ネットワークの装置であって、
    少なくとも１つの既存の重みに少なくとも部分的に基づいて前記計算ネットワーク中の前記装置の出力を計算するように構成された第１の回路と、
    局所トレーニング則を使用して前記装置の前記少なくとも１つの重みを変更するように構成された第２の回路であって、前記局所トレーニング則が、前記計算ネットワークの装置間のスパース結合性を生成する、第２の回路と
    を備える、装置。
17. 前記第２の回路がまた、前記装置における１つまたは複数の入力、前記出力、または前記変更の前の前記少なくとも１つの既存の重みのうちの少なくとも１つに基づいて前記少なくとも１つの重みを更新するように構成された、請求項１６に記載の装置。
18. 前記スパース結合性が、前記少なくとも１つの重みの複数の更新の後に生成される、請求項１７に記載の装置。
19. 前記計算ネットワークがニューラルネットワークを備え、
    前記装置がニューロン回路を備える、請求項１６に記載の装置。
20. 前記局所トレーニング則が、前記重みの絶対値の和に制約を課する、請求項１６に記載の装置。
21. 前記制約付き重みが前記装置への入力接続に関連する、請求項２０に記載の装置。
22. 前記局所トレーニング則が、平衡点において前記装置への入力接続に関連する入力重みベクトルを制約する、請求項１６に記載の装置。
23. 前記局所トレーニング則が、いくつかの非０重みを制約する、請求項１６に記載の装置。
24. 前記制約付き重みが前記装置への入力接続に関連する、請求項２３に記載の装置。
25. 前記装置が１つまたは複数の非線形演算を利用する、請求項１６に記載の装置。
26. 前記局所トレーニング則が、前記装置への入力接続に関連する個々の重みに制限を課する、請求項１６に記載の装置。
27. 前記個々の重みの最大値が上限によって制限される、請求項２６に記載の装置。
28. 前記個々の重みの最小値が下限によって制限される、請求項２６に記載の装置。
29. 前記個々の重みの最大値と最小値の両方が制限される、請求項２６に記載の装置。
30. 前記制限が前記個々の重みについて異なる、請求項２６に記載の装置。
31. 計算ネットワークの装置であって、
    少なくとも１つの既存の重みに少なくとも部分的に基づいて前記計算ネットワーク中の前記装置の出力を計算するための手段と、
    局所トレーニング則を使用して前記処理ユニットの前記少なくとも１つの重みを変更するための手段であって、前記局所トレーニング則が前記計算ネットワークの装置間のスパース結合性を生成する、変更するための手段と
    を備える、装置。
32. 前記局所トレーニング則を使用して前記少なくとも１つの重みを変更するための前記手段が、
    前記装置における１つまたは複数の入力、前記出力、または前記変更の前の前記少なくとも１つの既存の重みのうちの少なくとも１つに基づいて前記少なくとも１つの重みを更新するための手段
    を備える、請求項３１に記載の装置。
33. 前記スパース結合性が、前記少なくとも１つの重みの複数の更新の後に生成される、請求項３２に記載の装置。
34. 前記計算ネットワークがニューラルネットワークを備え、
    前記装置がニューロン回路を備える、請求項３１に記載の装置。
35. 前記局所トレーニング則が、前記重みの絶対値の和に制約を課する、請求項３１に記載の装置。
36. 前記制約付き重みが前記装置への入力接続に関連する、請求項３５に記載の装置。
37. 前記局所トレーニング則が、平衡点において前記装置への入力接続に関連する入力重みベクトルを制約する、請求項３１に記載の装置。
38. 前記局所トレーニング則が、いくつかの非０重みを制約する、請求項３１に記載の装置。
39. 前記制約付き重みが前記装置への入力接続に関連する、請求項３８に記載の装置。
40. 前記装置が１つまたは複数の非線形演算を利用する、請求項３１に記載の装置。
41. 前記局所トレーニング則が、前記装置への入力接続に関連する個々の重みに制限を課する、請求項３１に記載の装置。
42. 前記個々の重みの最大値が上限によって制限される、請求項４１に記載の装置。
43. 前記個々の重みの最小値が下限によって制限される、請求項４１に記載の装置。
44. 前記個々の重みの最大値と最小値の両方が制限される、請求項４１に記載の装置。
45. 前記制限が前記個々の重みについて異なる、請求項４１に記載の装置。
46. 計算ネットワークをトレーニングするためのコンピュータプログラム製品であって、
    少なくとも１つの既存の重みに少なくとも部分的に基づいて前記計算ネットワーク中の処理ユニットの出力を計算することと、
    局所トレーニング則を使用して前記処理ユニットの前記少なくとも１つの重みを変更することであって、前記局所トレーニング則が前記計算ネットワークの処理ユニット間のスパース結合性を生成する、変更することと
    を行うのためのコードを備えるコンピュータ可読媒体を備える、コンピュータプログラム製品。
47. 前記コンピュータ可読媒体が、
    前記処理ユニットにおける１つまたは複数の入力、前記出力、または前記変更の前の前記少なくとも１つの既存の重みのうちの少なくとも１つに基づいて前記少なくとも１つの重みを更新すること
    を行うためのコードをさらに備える、請求項４６に記載のコンピュータプログラム製品。
48. 前記スパース結合性が、前記少なくとも１つの重みの複数の更新の後に生成される、請求項４７に記載のコンピュータプログラム製品。
49. 前記計算ネットワークがニューラルネットワークを備え、
    前記処理ユニットがニューロン回路を備える、請求項４６に記載のコンピュータプログラム製品。
50. 前記局所トレーニング則が、前記重みの絶対値の和に制約を課する、請求項４６に記載のコンピュータプログラム製品。
51. 前記制約付き重みが前記処理ユニットへの入力接続に関連する、請求項５０に記載のコンピュータプログラム製品。
52. 前記局所トレーニング則が、平衡点において前記処理ユニットへの入力接続に関連する入力重みベクトルを制約する、請求項４６に記載のコンピュータプログラム製品。
53. 前記局所トレーニング則が、いくつかの非０重みを制約する、請求項４６に記載のコンピュータプログラム製品。
54. 前記制約付き重みが前記処理ユニットへの入力接続に関連する、請求項５３に記載のコンピュータプログラム製品。
55. 前記処理ユニットが１つまたは複数の非線形演算を利用する、請求項４６に記載のコンピュータプログラム製品。
56. 前記局所トレーニング則が、前記処理ユニットへの入力接続に関連する個々の重みに制限を課する、請求項４６に記載のコンピュータプログラム製品。
57. 前記個々の重みの最大値が上限によって制限される、請求項５６に記載のコンピュータプログラム製品。
58. 前記個々の重みの最小値が下限によって制限される、請求項５６に記載のコンピュータプログラム製品。
59. 前記個々の重みの最大値と最小値の両方が制限される、請求項５６に記載のコンピュータプログラム製品。
60. 前記制限が前記個々の重みについて異なる、請求項５６に記載のコンピュータプログラム製品。

Images