JP2017516192A - ニューラルネットワークにおける差分符号化 - Google Patents

ニューラルネットワークにおける差分符号化 Download PDF

Info

Publication number
JP2017516192A
JP2017516192A JP2016558315A JP2016558315A JP2017516192A JP 2017516192 A JP2017516192 A JP 2017516192A JP 2016558315 A JP2016558315 A JP 2016558315A JP 2016558315 A JP2016558315 A JP 2016558315A JP 2017516192 A JP2017516192 A JP 2017516192A
Authority
JP
Japan
Prior art keywords
value
neuron
activation value
neural network
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016558315A
Other languages
English (en)
Other versions
JP2017516192A5 (ja
Inventor
アンナプレディー、ベンカタ・スリーカンタ・レッディ
ジュリアン、デイビッド・ジョナサン
トワル、レーガン・ブライス
リウ、インイン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017516192A publication Critical patent/JP2017516192A/ja
Publication of JP2017516192A5 publication Critical patent/JP2017516192A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

ニューラルネットワークにおける差分符号化は、ニューロンの少なくとも1つの以前の活性化値に基づいて、ニューラルネットワークにおけるニューロンの活性化値を予測することを含む。符号化することは、予測された活性化値と、ニューラルネットワークにおけるニューロンの実際の活性化値との間の差分に基づいて値を符号化することをさらに含む。

Description

関連出願の相互参照
[0001]本出願は、米国特許法第119条(e)の下で、2014年3月24日に出願された「DIFFERENTIAL ENCODING IN NEURAL NETWORKS」と題する米国仮特許出願第61/969,747号の利益を主張し、その開示は、参照によりその全体が本明細書に明示的に組み込まれる。
[0002]本開示のいくつかの態様は、一般にニューラルシステムエンジニアリングに関し、より詳細には、ニューラルネットワークにおける差分符号化のためのシステムおよび方法に関する。
[0003]人工ニューロン(すなわち、ニューロンモデル)の相互結合されたグループを備え得る人工ニューラルネットワークは、計算デバイスであるか、または計算デバイスによって実行される方法を表す。人工ニューラルネットワークは、生物学的ニューラルネットワークにおける対応する構造および/または機能を有し得る。しかしながら、人工ニューラルネットワークは、従来の計算技法が厄介、実行不可能または不適切であるいくつかの適用例に革新的で有用な計算技法を提供することができる。人工ニューラルネットワークは観測から関数を推測することができるので、そのようなネットワークは、タスクまたはデータの複雑さが従来の技法による関数の設計を煩わしくする用途において、特に有用である。
[0004]本開示のある態様による、ニューラルネットワークにおいて差分符号化を実行する方法は、ニューロンの少なくとも1つの以前の活性化値に基づいて、ニューラルネットワークにおけるニューロンの活性化値を予測することを含む。そのような方法は、予測された活性化値と、ニューラルネットワークにおけるニューロンの活性化値との間の差分に基づいて値を符号化することをさらに含む。
[0005]本開示のある態様による、ニューラルネットワークにおいて差分符号化を実行するための装置は、メモリと、メモリに結合された少なくとも1つのプロセッサとを含む。本プロセッサは、ニューロンの少なくとも1つの以前の活性化値に基づいて、ニューラルネットワークにおけるニューロンの活性化値を予測するように構成される。本プロセッサはまた、予測された活性化値と、ニューラルネットワークにおけるニューロンの活性化値との間の差分に基づいて値を符号化するように構成される。
[0006]本開示の別の態様による、スパイキングニューラルネットワークにおいて差分符号化を実行するための装置は、ニューロンの少なくとも1つの以前の活性化値に基づいて、ニューラルネットワークにおけるニューロンの活性化値を予測するための手段を含む。そのような装置は、予測された活性化値と、ニューラルネットワークにおけるニューロンの活性化値との間の差分に基づいて値を符号化するための手段をさらに含む。
[0007]本開示の別の態様による、スパイキングニューラルネットワークにおいて差分符号化を実行するためのコンピュータプログラム製品は、プログラムコードを符号化した非一時的コンピュータ可読媒体を含む。本プログラムコードは、ニューロンの少なくとも1つの以前の活性化値に基づいて、ニューラルネットワークにおけるニューロンの活性化値を予測するためのプログラムコードを含む。本プログラムコードはまた、予測された活性化値と、ニューラルネットワークにおけるニューロンの活性化値との間の差分に基づいて値を符号化するためのプログラムコードを含む。
[0008]これは、以下の詳細な説明がより良く理解され得るように、本開示の特徴および技術的利点をかなり広く概説したものである。本開示の追加の特徴および利点は、以下で説明される。この開示は、本開示と同じ目的を実行するための他の構造を修正または設計するための基礎として容易に変更され得ることが、当業者によって理解されるべきである。また、添付の特許請求の範囲に記載されるように、そのような等価な構成は本開示の教示から逸脱しないことが、当業者によって理解されるべきである。本開示の特徴と考えられる新規な特徴は、その構成と動作の方法との両方に関して、さらなる目的および利点とともに、添付の図面と関連して考慮されるとき以下の説明からより良く理解されるであろう。しかしながら、図面の各々は単に例示および説明の目的のために提供されているにすぎず、本開示の制限の定義として意図されていないことが、明確には理解されるべきである。
[0009]本開示の特徴、性質、および利点は、同様の参照文字が全体を通して相応して識別する図面を考慮した場合、以下に示される詳細な説明から、より明らかになるだろう。
[0010]本開示のいくつかの態様によるニューロンの例示的なネットワークを示す図。 [0011]本開示のいくつかの態様による、計算ネットワーク(ニューラルシステムまたはニューラルネットワーク)の処理ユニット(ニューロン)の一例を示す図。 [0012]本開示のいくつかの態様によるスパイクタイミング依存可塑性(STDP)曲線の一例を示す図。 [0013]本開示のいくつかの態様による、ニューロンモデルの挙動を定義するための正レジームおよび負レジームの一例を示す図。 [0014]本開示のある態様による、汎用プロセッサを使用してニューラルネットワークを設計することの例示的な実装形態を示す図。 [0015]本開示のいくつかの態様による、メモリが個々の分散処理ユニットとインターフェースされ得るニューラルネットワークを設計する例示的な実装形態を示す図。 [0016]本開示のいくつかの態様による、分散メモリおよび分散処理ユニットに基づいてニューラルネットワークを設計する例示的な実装形態を示す図。 [0017]本開示のいくつかの態様による、ニューラルネットワークの例示的な実装形態を示す図。 [0018]本開示の態様による、差分符号化を実行するための方法を示す図。
[0019]添付の図面に関連して以下に示される詳細な説明は、様々な構成の説明として意図されたものであり、本明細書において説明される概念が実現され得る唯一の構成を表すことを意図されるものではない。詳細な説明は、様々な概念の完全な理解を提供する目的で、具体的な詳細を含む。しかしながら、これらの概念がこれらの具体的な詳細なしで実施され得ることは、当業者にとっては明らかであろう。いくつかの事例では、よく知られている構造および構成要素が、そのような概念を曖昧にするのを避けるために、ブロック図形式で示される。
[0020]本教示に基づいて、本開示の範囲は、本開示の任意の他の態様とは無関係に実装されるにせよ、本開示の任意の他の態様と組み合わされるにせよ、本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、記載される態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、記載される本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。開示する本開示のいずれの態様も、請求項の1つまたは複数の要素によって実施され得ることを理解されたい。
[0021]「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきであるとは限らない。
[0022]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
例示的なニューラルシステム、トレーニングおよび動作
[0023]図1は、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的な人工ニューラルシステム100を示す。ニューラルシステム100は、シナプス結合のネットワーク104(すなわち、フィードフォワード結合)を介してニューロンの別のレベル106に結合されたニューロンのあるレベル102を有し得る。簡単のために、図1には2つのレベルのニューロンのみが示されているが、ニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。ニューロンのいくつかは、ラテラル結合を介して同じ層の他のニューロンに結合し得ることに留意されたい。さらに、ニューロンのいくつかは、フィードバック結合を介して前の層のニューロンに戻る形で結合し得る。
[0024]図1に示すように、レベル102における各ニューロンは、前のレベル(図1に図示せず)のニューロンによって生成され得る入力信号108を受信し得る。信号108は、レベル102のニューロンの入力電流を表し得る。この電流は、膜電位を充電するためにニューロン膜上に蓄積され得る。膜電位がそれのしきい値に達すると、ニューロンは、発火し、ニューロンの次のレベル(たとえば、レベル106)に転送されるべき出力スパイクを生成し得る。いくつかのモデリング手法では、ニューロンは、信号をニューロンの次のレベルに継続的に転送し得る。この信号は、典型的には膜電位の関数である。そのような挙動は、以下で説明するものなどのアナログおよびデジタル実装形態を含むハードウェアおよび/またはソフトウェアでエミュレートまたはシミュレートされ得る。
[0025]生物学的ニューロンでは、ニューロンが発火するときに生成される出力スパイクは、活動電位と呼ばれる。電気信号は、約100mVの振幅と約1msの持続時間とを有する比較的急速で、一時的な神経インパルスである。一連の結合されたニューロンを有するニューラルシステムの特定の実施形態(たとえば、図1におけるあるレベルのニューロンから別のレベルのニューロンへのスパイクの転送)では、あらゆる活動電位が基本的に同じ振幅と持続時間とを有するので、信号における情報は、振幅によってではなく、スパイクの周波数および数、またはスパイクの時間によってのみ表され得る。活動電位によって搬送される情報は、スパイク、スパイクしたニューロン、および他の1つまたは複数のスパイクに対するスパイクの時間によって決定され得る。以下で説明するように、スパイクの重要性は、ニューロン間の接続に適用される重みによって決定され得る。
[0026]図1に示されるように、ニューロンのあるレベルから別のレベルへのスパイクの移動は、シナプス結合(または、単純に「シナプス」)104のネットワークを介して達成され得る。シナプス104に関して、レベル102のニューロンはシナプス前ニューロンと考えられ得、レベル106のニューロンはシナプス後ニューロンと考えられ得る。シナプス104は、レベル102のニューロンから出力信号(すなわち、スパイク)を受信して、調整可能なシナプスの重み
Figure 2017516192
に応じてそれらの信号をスケーリングすることができ、上式で、Pはレベル102のニューロンとレベル106のニューロンとの間のシナプス結合の総数であり、iはニューロンレベルの指標である。図1の例では、iはニューロンレベル102を表し、i+1は、ニューロンレベル106を表す。さらに、スケーリングされた信号は、レベル106における各ニューロンの入力信号として合成され得る。レベル106におけるあらゆるニューロンは、対応する合成された入力信号に基づいて、出力スパイク110を生成し得る。出力スパイク110は、シナプス結合の別のネットワーク(図1には図示せず)を使用して、別のレベルのニューロンに転送され得る。
[0027]生物学的シナプスは、シナプス後ニューロンにおける興奮性活動または抑制性(過分極化)活動のいずれかを調停することができ、ニューロン信号を増幅する役目を果たすことができる。興奮性信号は、膜電位を脱分極する(すなわち、静止電位に対して膜電位を増加させる)。しきい値を超えて膜電位を脱分極するために十分な興奮性信号が一定の時間期間内に受信された場合、シナプス後ニューロンに活動電位が生じる。対照的に、抑制性信号は一般に、膜電位を過分極する(すなわち、低下させる)。抑制性信号は、十分に強い場合、興奮性信号のすべてを相殺し、膜電位がしきい値に達するのを防止することができる。シナプス興奮を相殺することに加えて、シナプス抑制は、自然に活発なニューロンに対して強力な制御を行うことができる。自然に活発なニューロンは、たとえば、それのダイナミクスまたはフィードバックに起因するさらなる入力なしにスパイクするニューロンを指す。これらのニューロンにおける活動電位の自然な生成を抑圧することによって、シナプス抑制は、一般にスカルプチャリングと呼ばれる、ニューロンの発火のパターンを形成することができる。様々なシナプス104は、望まれる挙動に応じて、興奮性シナプスまたは抑制性シナプスの任意の組合せとして働き得る。
[0028]ニューラルシステム100は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス(PLD)、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、プロセッサによって実行されるソフトウェアモジュール、またはそれらの任意の組合せによってエミュレートされ得る。ニューラルシステム100は、たとえば画像およびパターン認識、機械学習、モータ制御、および似ているなど、かなりの適用範囲において利用され得る。ニューラルシステム100における各ニューロンは、ニューロン回路として実装され得る。出力スパイクを開始するしきい値まで充電されるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。
[0029]一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除去され得、その代わりにより小さいメモリスタ(memristor)要素が使用され得る。この手法は、ニューロン回路において、ならびにかさばるキャパシタが電流積分器として利用される様々な他の適用例において適用され得る。さらに、シナプス104の各々は、メモリスタ要素に基づいて実装され得、シナプス重みの変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され得、それによって、大規模なニューラルシステムハードウェア実装形態の実装がより実用的になり得る。
[0030]ニューラルシステム100をエミュレートするニューラルプロセッサの機能は、ニューロン間の結合の強さを制御し得る、シナプス結合の重みに依存し得る。シナプス重みは、パワーダウン後にプロセッサの機能を維持するために、不揮発性メモリに記憶され得る。一態様では、シナプス重みメモリは、主たるニューラルプロセッサチップとは別個の外部チップ上に実装され得る。シナプス重みメモリは、交換可能メモリカードとしてニューラルプロセッサチップとは別個にパッケージ化され得る。これは、ニューラルプロセッサに多様な機能を提供することができ、特定の機能は、ニューラルプロセッサに現在取り付けられているメモリカードに記憶されたシナプス重みに基づき得る。
[0031]図2は、本開示のいくつかの態様による、計算ネットワーク(たとえば、ニューラルシステムまたはニューラルネットワーク)の処理ユニット(たとえば、ニューロンまたはニューロン回路)202の例示的な図200を示す。たとえば、ニューロン202は、図1のレベル102のニューロンおよび106のニューロンのうちのいずれかに対応し得る。ニューロン202は、ニューラルシステムの外部にある信号、または同じニューラルシステムの他のニューロンによって生成された信号、またはその両方であり得る、複数の入力信号2041〜204Nを受信し得る。入力信号は、電流、コンダクタンス、電圧、実数値および/または複素数値であり得る。入力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。これらの入力信号は、調整可能なシナプス重み2061〜206N(w1〜wN)に従って信号をスケーリングするシナプス結合を通してニューロン202に伝えられ得、Nはニューロン202の入力接続の総数であり得る。
[0032]ニューロン202は、スケーリングされた入力信号を合成し、合成された、スケーリングされた入力を使用して、出力信号208(すなわち、信号y)を生成し得る。出力信号208は、電流、コンダクタンス、電圧、実数値および/または複素数値であり得る。出力信号は、固定小数点表現または浮動小数点表現をもつ数値であり得る。出力信号208は、次いで、同じニューラルシステムの他のニューロンへの入力信号として、または同じニューロン202への入力信号として、またはニューラルシステムの出力として伝達され得る。
[0033]処理ユニット(ニューロン)202は電気回路によってエミュレートされ得、それの入力接続および出力接続は、シナプス回路をもつ電気接続によってエミュレートされ得る。処理ユニット202ならびにそれの入力接続および出力接続はまた、ソフトウェアコードによってエミュレートされ得る。処理ユニット202はまた、電気回路によってエミュレートされ得るが、それの入力接続および出力接続はソフトウェアコードによってエミュレートされ得る。一態様では、計算ネットワーク中の処理ユニット202はアナログ電気回路であり得る。別の態様では、処理ユニット202はデジタル電気回路であり得る。さらに別の態様では、処理ユニット202は、アナログ構成要素とデジタル構成要素の両方をもつ混合信号電気回路であり得る。計算ネットワークは、上述の形態のいずれかにおける処理ユニットを含み得る。そのような処理ユニットを使用した計算ネットワーク(ニューラルシステムまたはニューラルネットワーク)は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。
[0034]ニューラルネットワークをトレーニングする過程で、シナプス重み(たとえば、図1の重み
Figure 2017516192
および/または図2の重み2061〜206N)がランダム値により初期化され得、学習ルールに従って増加または減少し得る。学習ルールの例は、これに限定されないが、スパイクタイミング依存可塑性(STDP)学習ルール、Hebb則、Oja則、Bienenstock−Copper−Munro(BCM)則等を含むことを当業者は理解するだろう。いくつかの態様では、重みは、2つの値のうちの1つに安定または収束し得る(すなわち、重みの双峰分布)。この効果が利用されて、シナプス重みごとのビット数を低減し、シナプス重みを記憶するメモリとの間の読取りおよび書込みの速度を上げ、シナプスメモリの電力および/またはプロセッサ消費量を低減し得る。
シナプスタイプ
[0035]ニューラルネットワークのハードウェアおよびソフトウェアモデルでは、シナプス関係機能の処理がシナプスタイプに基づき得る。シナプスタイプは、非塑性シナプス(non-plastic synapse)(重みおよび遅延の変化がない)、可塑性シナプス(重みが変化し得る)、構造遅延可塑性シナプス(重みおよび遅延が変化し得る)、完全可塑性シナプス(重み、遅延および結合性が変化し得る)、およびそれの変形(たとえば、遅延は変化し得るが、重みまたは結合性の変化はない)であり得る。複数のタイプの利点は、処理が再分割され得ることである。たとえば、非塑性シナプスは、可塑性機能を使用しないで実行される場合がある(またはそのような機能が完了するのを待つ)。同様に、遅延および重み可塑性は、一緒にまたは別々に、順にまたは並列に動作し得る動作に再分割され得る。異なるタイプのシナプスは、適用される異なる可塑性タイプの各々の異なるルックアップテーブルまたは式およびパラメータを有し得る。したがって、本方法は、シナプスのタイプについての関連する表、式、またはパラメータにアクセスする。
[0036]スパイクタイミング依存構造可塑性がシナプス可塑性とは無関係に実行され得るという事実のさらなる含意がある。構造可塑性は、重みの大きさに変化がない場合(たとえば、重みが最小値または最大値に達したか、あるいはそれが何らかの他の理由により変更されない場合)s構造可塑性(すなわち、遅延量の変化)は前後スパイク時間差(pre-post spike time difference)の直接関数であり得ても実行され得る。代替的に、構造可塑性は、重み変化量に応じて、または重みもしくは重み変化の限界に関係する条件に基づいて設定され得る。たとえば、重み変化が生じたとき、または重みが最大値になるのではなく、重みがゼロに達した場合のみ、シナプス遅延が変化し得る。しかしながら、これらのプロセスが並列化され、メモリアクセスの数および重複を低減し得るように、独立した機能を有することが有利であり得る。
シナプス可塑性の決定
[0037]神経可塑性(または単に「可塑性」)は、脳内のニューロンおよびニューラルネットワークがそれらのシナプス結合と挙動とを新しい情報、感覚上の刺激、発展、損傷または機能不全に応答して変える能力である。可塑性は、生物学における学習および記憶にとって、また計算論的神経科学およびニューラルネットワークにとって重要である。(たとえば、Hebb則理論による)シナプス可塑性、スパイクタイミング依存可塑性(STDP)、非シナプス可塑性、活性依存可塑性、構造可塑性および恒常的可塑性など、様々な形の可塑性が研究されている。
[0038]STDPは、ニューロン間のシナプス結合の強さを調整する学習プロセスである。結合強度は、特定のニューロンの出力スパイクおよび受信入力スパイク(すなわち、活動電位)の相対的タイミングに基づいて調整される。STDPプロセスの下で、あるニューロンに対する入力スパイクが、平均して、そのニューロンの出力スパイクの直前に生じる傾向がある場合、長期増強(LTP)が生じ得る。その場合、その特定の入力はいくらか強くなる。一方、入力スパイクが、平均して、出力スパイクの直後に生じる傾向がある場合、長期抑圧(LTD)が生じ得る。その場合、その特定の入力はいくらか弱くなるので、「スパイクタイミング依存可塑性」と呼ばれる。したがって、シナプス後ニューロンの興奮の原因であり得る入力は、将来的に寄与する可能性がさらに高くなる一方、シナプス後スパイクの原因ではない入力は、将来的に寄与する可能性が低くなる。結合の初期セットのサブセットが残る一方で、その他の部分の影響がわずかなレベルまで低減されるまで、このプロセスは続く。
[0039]ニューロンは一般に出力スパイクを、それの入力の多くが短い期間内に生じる(すなわち、出力をもたらすのに十分な累積がある)ときに生成するので、通常残っている入力のサブセットは、時間的に相関する傾向のあった入力を含む。さらに、出力スパイクの前に生じる入力は強化されるので、最も早い十分に累積的な相関指示を提供する入力は結局、ニューロンへの最終入力となる。
[0040]STDP学習ルールは、シナプス前ニューロンのスパイク時間tpreとシナプス後ニューロンのスパイク時間tpostとの間の時間差(すなわち、t=tpost−tpre)に応じて、シナプス前ニューロンをシナプス後ニューロンに結合するシナプスのシナプス重みを効果的に適合させ得る。STDPの通常の公式化は、時間差が正である(シナプス前ニューロンがシナプス後ニューロンの前に発火する)場合にシナプス重みを増加させ(すなわち、シナプスを増強し)、時間差が負である(シナプス後ニューロンがシナプス前ニューロンの前に発火する)場合にシナプス重みを減少させる(すなわち、シナプスを抑制する)ことである。
[0041]STDPプロセスでは、経時的なシナプス重みの変化は通常、以下の式によって与えられるように、指数関数的減衰を使用して達成され得る。
Figure 2017516192
ここで、k+およびk-τsign(Δt)はそれぞれ、正の時間差および負の時間差の時間定数であり、a+およびa-は対応するスケーリングの大きさであり、μは正の時間差および/または負の時間差に適用され得るオフセットである。
[0042]図3は、STDPによる、シナプス前スパイクおよびシナプス後スパイクの相対的タイミングに応じたシナプス重み変化の例示的な図300を示す。シナプス前ニューロンがシナプス後ニューロンの前に発火する場合、グラフ300の部分302に示すように、対応するシナプス重みは増加し得る。この重み増加は、シナプスのLTPと呼ばれ得る。グラフ部分302から、シナプス前スパイク時間とシナプス後スパイク時間との間の時間差に応じて、LTPの量がほぼ指数関数的に減少し得ることが観測され得る。グラフ300の部分304に示すように、発火の逆の順序は、シナプス重みを減少させ、シナプスのLTDをもたらし得る。
[0043]図3のグラフ300に示すように、STDPグラフのLTP(原因)部分302に負のオフセットμが適用され得る。x軸の交差306のポイント(y=0)は、層i−1からの原因入力の相関を考慮して、最大タイムラグと一致するように構成され得る。フレームベースの入力(すなわち、スパイクまたはパルスを備える特定の持続時間のフレームの形態である入力)の場合、オフセット値μは、フレーム境界を反映するように計算され得る。直接的にシナプス後電位によってモデル化されるように、またはニューラル状態に対する影響の点で、フレームにおける第1の入力スパイク(パルス)が経時的に減衰することが考慮され得る。フレームにおける第2の入力スパイク(パルス)が特定の時間フレームの相関したまたは関連したものと考えられる場合、フレームの前および後の関連する時間は、その時間フレーム境界で分離され、関連する時間の値が異なり得る(たとえば、1つのフレームよりも大きい場合は負、1つのフレームよりも小さい場合は正)ように、STDP曲線の1つまたは複数の部分をオフセットすることによって、可塑性の点で別様に扱われ得る。たとえば、曲線が、フレーム時間よりも大きい前後の時間で実際にゼロよりも下になり、結果的にLTPの代わりにLTDの一部であるようにLTPをオフセットするために負のオフセットμが設定され得る。
ニューロンモデルおよび演算
[0044]有用なスパイキングニューロンモデルを設計するための一般的原理がいくつかある。良いニューロンモデルは、2つの計算レジーム、すなわち、一致検出および関数計算の点で豊かな潜在的挙動を有し得る。その上、良いニューロンモデルは、時間コーディングを可能にするための2つの要素を有する必要がある:入力の到着時間は出力時間に影響を与え、一致検出は狭い時間ウィンドウを有し得る。最終的に、計算上魅力的であるために、良いニューロンモデルは、連続時間に閉形式解と、ニアアトラクター(near attractor)と鞍点とを含む安定した挙動とを有し得る。言い換えれば、有用なニューロンモデルは、実用的なニューロンモデルであり、豊かで、現実的で、生物学的に一貫した挙動をモデル化するために使用され得、神経回路のエンジニアリングとリバースエンジニアリングの両方を行うために使用され得るニューロンモデルである。
[0045]ニューロンモデルは事象、たとえば入力の到着、出力スパイク、または内部的であるか外部的であるかを問わず他の事象に依存し得る。豊かな挙動レパートリーを実現するために、複雑な挙動を示すことができる状態機械が望まれ得る。入力寄与(ある場合)とは別個の事象の発生自体が状態機械に影響を与え、事象の後のダイナミクスを制限し得る場合、システムの将来の状態は、単なる状態および入力の関数ではなく、むしろ状態、事象および入力の関数である。
[0046]一態様では、ニューロンnは、下記のダイナミクスによって決定される膜電圧vn(t)によるスパイキングリーキー積分発火ニューロンとしてモデル化され得る。
Figure 2017516192
ここでαおよびβは、パラメータであり、wm,nは、シナプス前ニューロンmをシナプス後ニューロンnに結合するシナプスのシナプス重みであり、ym(t)は、ニューロンnの細胞体に到着するまでΔtm,nに従って樹状遅延または軸索遅延によって遅延し得るニューロンmのスパイキング出力である。
[0047]シナプス後ニューロンへの十分な入力が達成された時間からシナプス後ニューロンが実際に発火する時間までの遅延があることに留意されたい。イジケヴィッチの単純モデルなど、動的スパイキングニューロンモデルでは、脱分極しきい値vtとピークスパイク電圧vpeakとの間に差がある場合、時間遅延が生じ得る。たとえば、単純モデルでは、電圧および復元のための1対の微分方程式、すなわち、
Figure 2017516192
Figure 2017516192
によってニューロン細胞体ダイナミクス(neuron soma dynamics)が決定され得る。ここでvは膜電位であり、uは、膜復元変数であり、kは、膜電位vの時間スケールを記述するパラメータであり、aは、復元変数uの時間スケールを記述するパラメータであり、bは、膜電位vのしきい値下変動に対する復元変数uの感度を記述するパラメータであり、vrは、膜静止電位であり、Iは、シナプス電流であり、Cは、膜のキャパシタンスである。このモデルによれば、ニューロンはv>vpeakのときにスパイクすると定義される。
Hunzinger Coldモデル
[0048]Hunzinger Coldニューロンモデルは、豊かな様々な神経挙動を再生し得る最小二重レジームスパイキング線形動的モデルである。モデルの1次元または2次元の線形ダイナミクスは2つのレジームを有することができ、時間定数(および結合)はレジームに依存し得る。しきい値下レジームでは、時間定数は、慣例により負であり、一般に生物学的に一貫した線形方式で静止状態に細胞を戻す役目を果たすリーキーチャネルダイナミクスを表す。しきい値上レジームにおける時間定数は、慣例により正であり、一般にスパイク生成のレイテンシを生じさせる一方でスパイク状態に細胞を駆り立てる反リーキーチャネルダイナミクスを反映する。
[0049]図4に示すように、モデル400のダイナミクスは2つの(またはそれよりも多くの)レジームに分割され得る。これらのレジームは、負のレジーム(negative regime)402(leaky−integrate−and−fire(LIF)ニューロンモデルと混同されないように、交換可能にLIFレジームとも呼ばれる)、および正のレジーム(positive regime)404(anti−leaky−integrate−and−fire(ALIF)ニューロンモデルと混同されないように、交換可能にALIFレジームとも呼ばれる)と呼ばれ得る。負レジーム402では、状態は将来の事象の時点における静止(v-)の傾向がある。この負レジームでは、モデルは一般に、時間的入力検出特性と他のしきい値下挙動とを示す。正レジーム404では、状態はスパイキング事象(vs)の傾向がある。この正レジームでは、モデルは、後続の入力事象に応じてスパイクにレイテンシを生じさせるなどの計算特性を示す。事象の点からのダイナミクスの公式化およびこれら2つのレジームへのダイナミクスの分離は、モデルの基本的特性である。
[0050]線形二重レジーム2次元ダイナミクス(状態vおよびuの場合)は、慣例により次のように定義され得る。
Figure 2017516192
Figure 2017516192
ここでqρおよびrは、結合のための線形変換変数である。
[0051]シンボルρは、ダイナミクスレジームを示すためにここで使用され、特定のレジームの関係を論述または表現するときに、それぞれ負レジームおよび正レジームについて符号「−」または「+」にシンボルρを置き換える慣例がある。
[0052]モデル状態は、膜電位(電圧)vおよび復元電流uによって定義される。基本形態では、レジームは基本的にモデル状態によって決定される。正確で一般的な定義の微妙だが重要な側面があるが、差し当たり、モデルが、電圧vがしきい値(v+)を上回る場合に正レジーム404にあり、そうでない場合に負レジーム402にあると考える。
[0053]レジーム依存時間定数は、負レジーム時間定数であるτ-と正レジーム時間定数であるτ+とを含む。復元電流時間定数τuは通常、レジームから独立している。便宜上、τuと同様に、指数およびτ+が一般に正となる正レジームの場合に、電圧発展(voltage evolution)に関する同じ表現が使用され得るように、減衰を反映するために負の量として負レジーム時間定数τ-が一般に指定される。
[0054]2つの状態要素のダイナミクスは、事象において、ヌルクラインから状態をオフセットする変換によって結合され得、ここで変換変数は、
Figure 2017516192
Figure 2017516192
であり、δ、ε、βおよびv-、v+はパラメータである。vρのための2つの値は、2つのレジームのための参照電圧のベースである。パラメータv-は、負レジームのためのベース電圧であり、膜電位は一般に、負レジームにおいてv-に減衰する。パラメータv+は、正レジームのためのベース電圧であり、膜電位は一般に、正レジームにおいてv+から離れる傾向となる。
[0055]vおよびuのためのヌルクラインは、それぞれ変換変数qρおよびrの負によって与えられる。パラメータδは,uヌルクラインの傾きを制御するスケール係数である。パラメータεは通常、−v-に等しく設定される。パラメータβは、両方のレジームにおいてvヌルクラインの傾きを制御する抵抗値である。τρ時間定数パラメータは、指数関数的減衰だけでなく、各レジームにおいて別個にヌルクラインの傾きを制御する。
[0056]モデルは、電圧vが値vsに達したときにスパイクするように定義され得る。続いて、状態は(スパイク事象と同じ1つのものであり得る)リセット事象でリセットされ得る。
Figure 2017516192
Figure 2017516192
ここで、
Figure 2017516192
およびΔuはパラメータである。リセット電圧
Figure 2017516192
は通常、v-にセットされる。
[0057]瞬時結合の原理によって、状態について(また、単一の指数項による)だけではなく、特定の状態に到達するための時間についても、閉形式解が可能である。近い形式状態解は、次のとおりである。
Figure 2017516192
Figure 2017516192
[0058]したがって、モデル状態は、入力(シナプス前スパイク)または出力(シナプス後スパイク)などの事象に伴ってのみ更新され得る。また、演算が(入力があるか、出力があるかを問わず)任意の特定の時間に実行され得る。
[0059]その上、瞬時結合原理によって、反復的技法または数値解法(たとえば、オイラー数値解法)なしに、特定の状態に到達する時間が事前に決定され得るように、シナプス後スパイクの時間が予想され得る。前の電圧状態v0を踏まえ、電圧状態vfに到達するまでの時間遅延は、次の式によって与えられる。
Figure 2017516192
[0060]スパイクが、電圧状態vがvsに到達する時間に生じると定義される場合、電圧が所与の状態vにある時間から測定されたスパイクが生じるまでの時間量、または相対的遅延に関する閉形式解は、次のとおりである。
Figure 2017516192
ここで、
Figure 2017516192
は通常、パラメータv+にセットされるが、他の変形も可能であり得る。
[0061]モデルダイナミクスの上記の定義は、モデルが正レジームにあるか、それとも負レジームにあるかに依存する。上述のように、結合およびレジームρは、事象に伴って計算され得る。状態の伝搬のために、レジームおよび結合(変換)変数は、最後の(前の)事象の時間における状態に基づいて定義され得る。続いてスパイク出力時間を予想するために、レジームおよび結合変数は、次の(最新の)事象の時間における状態に基づいて定義され得る。
[0062]Coldモデルの、適時にシミュレーション、エミュレーションまたはモデルを実行するいくつかの可能な実装形態がある。これは、たとえば、事象更新モード、ステップ事象更新モード、およびステップ更新モードを含む。事象更新は、(特定の瞬間における)事象または「事象更新」に基づいて状態が更新される更新である。ステップ更新は、間隔(たとえば、1ms)をおいてモデルが更新される更新である。これは必ずしも、反復的技法または数値解法を利用するとは限らない。また、事象がステップもしくはステップ間で生じる場合または「ステップ事象」更新によってモデルを更新するのみによって、ステップベースのシミュレータにおいて限られた時間分解能で事象ベースの実装形態が可能である。
ニューラルネットワークにおける差分符号化
[0063]本開示の態様は、ニューラルネットワークにおける差分符号化を対象とする。
[0064]いくつかの態様では、ニューラルネットワークは、オブジェクト分類、音声認識、および手書き認識を含む多くの推論タスクを学習または解決する。多くのアプリケーションでは、ニューラルネットワークは、感覚情報の連続ストリームから「意味」を作成する。たとえば、限定としてではないが、ロボット(または、スマートフォン)は、一連の画像上に高レベルの機能またはカテゴリラベルを抽出するためにニューラルネットワークを使用し得る(すなわち、画像分類)。そのような場合、ニューラルネットワークは、入力データストリームの時間的な構造を利用し得る。データストリームは、インスタンスからインスタンスへとあまり変化しないので、または、たとえば運動予測などの予測可能な方法で変化するので、本開示は、むしろ、各インスタンスにおけるすべてのデータ値を送信するよりも、差分または差分結果を送信し得る。本開示はまた、機械学習ネットワークの差分符号化に適用され得る。たとえば、画像上のスケール不変特徴量変換(Scale-Invariant Feature Transform)(SIFT)特徴を計算することは、以前の画像への差分に基づいて、SIFT値および位置の差分符号化を使用してもよく、運動ベースの前方推定値に基づいてもよい。
[0065]ニューラルネットワークはニューロンの層を有し、底部層は生データを表し、上位層は特徴を表す。底部層はネットワークにおける下部層であり得、底部層から出力を受信する層はネットワークにおける上位層であり得る。たとえば、「底部」層は何らかの事前処理または初期特徴抽出を有した中間隠れレベルであり得、「上部」層は「底部」層から入力を受信する層であり得る。時間的な構造を有する感覚ストリームを推論すると、各ニューロンは、そのニューロンの活性化の履歴に基づいて活性化を予測し得る。そのような場合、他のニューロンに活性化値を伝搬することは、実際の活性化値と履歴に基づいて予測された値との間の差分(または、エラー)を送信することよりも効率が悪い。
[0066]予測がどのくらい良好かに応じて、ニューラルネットワークのレベル間の通信が低下する。ニューロン間の通信がバイナリ(すなわち、スパイクまたは非スパイク)である場合、本開示による差分/エラー手法は、差分符号化を通じてより少ないスパイクを伝播する。予測された値は、ニューロンの層で100%の精度に近づくので、上位層のニューロンでは計算の必要性が少ない。ニューロンが非バイナリである場合、差分符号化は、活性化値の完全なセットを送信することと比較して同じレベルの精度を達成するためにより少数のビットを使用する。
[0067]本開示は符号化値を送信し得、符号化値は、ニューラルネットワークにおける層間の、予測された活性化値と活性化値との間の差分であり得る。さらに、本開示の態様では、ニューラルネットワークにおける層間で送信されている情報を変更する機会があり得る。活性化値は差分値であってもよく、活性化値自体であってもよく、他のデータであってもよい。どの活性化値、活性化値における差分、または一般的な値の決定は、多くの要因に基づき得る。これらの要因は、活性化値のビット数または活性化値における差分、ニューラルネットワークの層間で任意のデータが送信されたかどうかを決定するために使用されるしきい値、活性化値を決定するために使用される活性化関数、入力ニューロンへの入力の受信、活性化値のビット幅、または他の要因を含む。たとえば、しきい値は、ビット数に基づいて設定され得る。すなわち、差分が特定のニューロンのための通信のために利用可能なビット数に依存する特定の値を超えた場合、差分が送信される。
[0068]活性化値、ならびに予測された活性化値は、1つまたは複数の活性化関数を使用して決定され得る。活性化関数のうちの1つまたは複数は、非線形関数であり得る。活性化関数はフィルタを使用して実装され得、また活性化値および/または差分符号化された活性化値の符号化を決定し得る。
[0069]ニューラルネットワークにおけるデータの送信または他の分布は、継続的、定期的、または断続的であり得る。すなわち、状態情報はネットワークを介して定期的に(断続的に)同期され得る。さらに、活性化値および/または差分符号化された活性化値の符号化は、入力データの受信から遅延され得る。
[0070]差分符号化は、ニューラルネットワーク内で送信されるデータの量を減少し得るが、本開示はまた、設計オプションは、符号化のための計算を減少させるか、送信されるデータを決定しながら、ネットワーク内でより多くのデータを送信することを含み得ることを想定している。たとえば、活性化値の予測は送信されない場合があり、データが受信されるとシステムを通じて実際のデータが単に転送され得る。この手法は、大規模なデータスループットとわずかな計算をもたらす。設計上のトレードオフは、様々なニューラルネットワーク設計を満たすために、ニューラルネットワークにおけるデータ送信とデータ計算との間に行われ得る。
[0071]ニューラルネットワーク内で、いくつかのニューロンの活性化関数のいくつかは、ニューラルネットワークの動作中に「モード」を変更し得る。さらに、いくつかのニューロンは常に1つのモードで動作し得、他のニューロンは別のモードで動作する。たとえば、いくつかのニューロンは差分符号化データのみを送信し得、他のニューロンは活性化値全体を送信し得る。いくつかのニューロンはモードを切り替えることができ、たとえば、動作中、ある時点まで活性化値全体を送信して、次いで、その時点の後は差分符号化された活性化値を送信する。ニューラルネットワーク内で送信されているデータの変化は、ニューラルネットワークにおけるデータの分類、あるいは利用可能な計算能力、送信の信頼性、ニューラルネットワークの大きさ、または他の制約を含む他の要因に基づき得る。
[0072]図5は、本開示のいくつかの態様による、汎用プロセッサ502を使用する上述の差分符号化の例示的な実装形態500を示す。計算ネットワーク(ニューラルネットワーク)、遅延、周波数ビン情報ノード状態情報、バイアス重み情報、接続重み情報、および/または発火率情報に関連付けられる、変数(ニューラル信号)、シナプス重み、システムパラメータは、メモリブロック504に記憶され得、汎用プロセッサ502で実行される命令はプログラムメモリ506からロードされ得る。本開示のある態様では、汎用プロセッサ502にロードされた命令は、確率論的ポイントプロセスによる出力イベントを生成するために、ノードで入力イベントを受信するための、中間値を取得するためにバイアス重みと接続重みとを入力イベントに適用するための、中間値に基づいてノード状態を決定するための、およびノード状態に基づいて事後確率を表す出力イベント率を計算するためのコードを備え得る。
[0073]図6は、本開示のいくつかの態様による、メモリ602が相互接続ネットワーク604を介して計算ネットワーク(ニューラルネットワーク)の個々の(分散型)処理ユニット(ニューラルプロセッサ)606とインターフェースされ得る、上述の差分符号化の例示的な実装形態600を示す。計算ネットワーク(ニューラルネットワーク)遅延、周波数ビン情報、ノード状態情報、バイアス重み情報、接続重み情報、および/または発火率情報に関連付けられる、変数(ニューラル信号)、シナプス重み、システムパラメータは、メモリ602に記憶され得、またメモリ602から相互接続ネットワーク604の接続を介して各処理ユニット(ニューラルプロセッサ)606にロードされ得る。本開示のある態様では、処理ユニット606は、確率論的ポイントプロセスによる出力イベントを生成するために、ノードで入力イベントを受信して、中間値を取得するためにバイアス重みと接続重みとを入力イベントに適用して、中間値に少なくとも部分的に基づいてノード状態を決定して、ノード状態に基づいて事後確率を表す出力イベント率を計算するように構成され得る。
[0074]図7は、上述の差分符号化の例示的な実装形態700を示している。図7に示されるように、1つのメモリバンク702は、計算ネットワーク(ニューラルネットワーク)の1つの処理ユニット704に直接インターフェースされ得る。各メモリバンク702は、対応する処理ユニット(ニューラルプロセッサ)704遅延、周波数ビン情報、ノード状態情報、バイアス重み情報、接続重み情報、および/または発火率情報に関連付けられる、変数(ニューラル信号)、シナプス重み、および/またはシステムパラメータを記憶し得る。本開示のある態様では、処理ユニット704は、確率論的ポイントプロセスによる出力イベントを生成するために、ノードで入力イベントを受信して、中間値を取得するためにバイアス重みと接続重みとを入力イベントに適用して、中間値に少なくとも部分的に基づいてノード状態を決定して、ノード状態に基づいて事後確率を表す出力イベント率を計算するように構成され得る。
[0075]図8は、本開示のいくつかの態様による、ニューラルネットワーク800の例示的な実装形態を示す。図8に示すように、ニューラルネットワーク800は、本明細書で説明する方法の様々な動作を実行し得る複数のローカル処理ユニット802を有することができる。各ローカル処理ユニット802は、ニューラルネットワークのパラメータを記憶する、ローカルステートメモリ804およびローカルパラメータメモリ806を備え得る。また、ローカル処理ユニット802は、ローカルモデルプログラムを記憶するためのローカル(ニューロン)モデルプログラム(LMP)メモリ808、ローカル学習プログラムを記憶するためのローカル学習プログラム(LLP)メモリ810、およびローカル接続メモリ812を有し得る。さらに、図8に示されるように、各ローカル処理ユニット802は、ローカル処理ユニットのローカルメモリの構成を提供するための設定プロセッサユニット814と、またローカル処理ユニット802間のルーティングを提供するルーティング接続処理ユニット816とインターフェースされ得る。
[0076]本開示のいくつかの態様によれば、各ローカル処理ユニット802は、ニューラルネットワークの所望の1つまたは複数の機能的特徴に基づいて、ニューラルネットワークのパラメータを決定して、決定されたパラメータがさらに適応され、同調され、更新されるにつれて、所望の機能的特徴に向けて1つまたは複数の機能的特徴を開発するように構成され得る。
[0077]本開示のある態様では、ニューラルネットワークにおける予測差分符号化の一般的なフレームワークは以下のとおりである。人工ニューロンは、入力x(t)を受信して出力y(t)を放出し、tは時間を表す。出力y(t)は、シグモイド関数などのx(t)の非線形関数
Figure 2017516192
でもよく、整流非線形関数(rectifier nonlinearity function)
Figure 2017516192
でもよい。
[0078]ニューロンは、出力y(t)が1である確率として、シグモイド式、または他の式を使用することによって、バイナリ出力y(t)を確率論的に放出し得る。
[0079]入力x(t)は、他のニューロンの出力の重み付き線形結合であり得る。
Figure 2017516192
[0080]上式で、wijはi番目およびj番目のニューロンの重みを表し、jはi番目のニューロンに接続されたすべてのニューロンのインデックスである。
[0081]本開示のある態様は、予測差分符号化フレームワークが任意の人工ニューロンモデルと協働することを可能にする。人工ニューロンに状態変数を追加することによって、ニューロンが履歴ログを維持することが可能になる。関数s(t)は、状態変数または複数の状態変数を表す。各ニューロンは、状態変数を通じて履歴を追跡して、それが受信しようとしている入力x^(t)と、放出しようとしている出力
Figure 2017516192
とを予測する。予測は、ニューロン間の通信量を減少させる(すなわち、各ニューロンは現在、予測
Figure 2017516192
におけるエラーのみを放出し、実際の出力y(t)は放出しない)。状態変数は、決定論的モデルの入力履歴、また、確率論的モデルの場合の出力履歴を記憶する。
[0082]ニューロンは予測におけるエラーを放出するので、ニューロンは現在、式(16)のように、x(t)の代わりに予測z(t)におけるエラーの重み付けされた組合せを受信する。
Figure 2017516192
[0083]z(t)が入力x(t)の予測におけるエラーにちょうど等しい場合、以下の式によってx(t)が正確に再構築される。
Figure 2017516192
[0084]δx(t)=x(t)−x^(t)の場合を満たすための条件は、
Figure 2017516192
である。
[0085]式(16)において、z(t)はニューロンが受信するものであり、δx(t)は、ニューロンが受信することを我々が望むものである。式(19)が満足たされる場合、予測差分符号化方法は正確であるが、実際の出力値を放出する標準的な方法と比較して代替実装形態である。たとえ式(19)が満たされなくても、予測差分符号化方法は、近似の実装形態を与える。
[0086]x(t)とy(t)とを予測するために同じ線形関数が使用される場合、式(19)が満たされる。本開示の予測差分符号化方法は、代替であるが、正確な実装方法になる。予測が線形である場合、近似が正確でなければならない。予測が非線形である場合、近似は正確ではない場合がある。
[0087]ニューロンは、履歴全体、または部分的な履歴のみを記憶し得る。Lはニューロンが記憶する履歴の量を表すものとする(すなわち、ニューロンは最後のL個の時間ステップを介して入力と出力とを追跡する)。これは、状態変数関数
Figure 2017516192
を作成する。
[0088]ニューロンの入力−出力関係が決定論的である場合(すなわち、y(t)がx(t)の決定論的関数である場合)、それは入力履歴のみを記憶するために十分である。決定論的アルゴリズムは、任意の所与の入力の一意の出力値で数学関数を計算して、アルゴリズムはこの特定の値を出力として生成する。
[0089]入力−出力関係が、制限ボルツマンマシン(RBM)または深層信念ネット(DBN)のように確率論的である場合、出力履歴も記憶される。確率過程は、確定過程とは異なり、いくつかの不確実性がある。たとえ初期状態(または、開始点)が知られていても、過程が進化し得るいくつかの(多くの場合、無限に多くの)方向がある。
[0090]本開示はまた、局所レベルおよび/またはグローバルレベルで差分符号化フレームワークを使用することを企図する。たとえば、画像の動きベクトル推定は、画像全体または画像の局所部分についてのいずれかの平均ベクトルの変化を決定するために使用され得る。グローバル情報またはローカル情報がニューロンのすべてに提供され得、次いで、シナプス前ニューロンとシナプス後ニューロンとの両方が、より良い予測を行うために、これらの局所差分/グローバル差分を使用し得る。さらに、シナプス後ニューロンは、差分フィードバックを提供し得る。そのような態様では、シナプス前ニューロンは、状態推定のためにシナプス後ニューロン差分出力を使用し得る。これは、ニューラルネットワークにおける層間の通信量を減少させ得る。
[0091]履歴s(t)があると、各ニューロンは、線形フィルタを使用して、時間tで入力と出力とを予測する。
Figure 2017516192
Figure 2017516192
[0092]この予測フレームワーク内で、式(19)が満たされる。フィルタ係数α1、α2、・・・、αLは継時的に学習されるか、先験的に選択され得る。たとえば、限定としてではないが、Lが1であり、α1=1である(すなわち、各ニューロンが、以前の時間期間の入力および出力を最良の予測として使用する)場合、
Figure 2017516192
Figure 2017516192
である。別の例として、L=2、α1=2、α2=−1である(すなわち、各ニューロンが、入力は直線的に変化していると仮定する)場合、
Figure 2017516192
Figure 2017516192
である。
[0093]異なるニューロンが異なる予測フィルタを使用する場合、式(19)は満たされない。本開示の差分符号化方法で正確な予測に到達するために、ニューラルネットワーク全体で同じフィルタを使用することが望ましい場合がある。
[0094]各ニューロンは、x^(t)とy^(t)とを予測するために、それぞれ異なるx−フィルタおよびy−フィルタを使用し得る。これらの予測フィルタは異なるニューロンにとって同じでもよく、異なっていてもよい。「実際の入力」のニューロンの再構築が正確であるために、x−フィルタは、すべてのファンインニューロンのすべてのy−フィルタと一致する必要がある。一致を確実にする1つの方法は、ネットワーク全体で同じ予測フィルタを使用することである。階層型ニューラルネットワークでは、一致を達成するための別の方法は、1つの層内のすべてのニューロンに同じx−フィルタを使用して、前の層内のすべてのニューロンにy−フィルタと同じを使用することである。
[0095]これらの予測フィルタは固定でも適応でもよく、また線形でも非線形でもよい。非線形フィルタの場合、入力シナプスごとの予測が所望される。線形フィルタの場合、結合予測が提供され得る。一構成では、ベースラインソリューションは、すべてのニューロンの単一の固定されたフィルタを含む。別のソリューションは、オンラインでフィルタ係数値を推定する。別の態様では、フィルタは、屋内対屋外、または静的対移動などのフィルタのセットなどの異なる環境のために構成されてもよく、最適化さえされてもよい。これらのフィルタは、あらかじめ定義されたフィルタのコードブック、環境を決定する方法を有すること、および環境に基づいて特定のフィルタを選択することによって決定され得る。別の態様では、フィルタは、分類器(すなわち、ニューラルネットワーク)の出力に基づいて選択される。
[0096]一構成では、あらかじめ定義されたフィルタの形状は指数関数的である。指数関数的な形状は減衰係数を有し、それによってより多くのデルタ更新を強制する。一例では、0.9の係数が供給される。指数関数的な形状は、不安定性および長期エラー伝播を減少または排除さえし得る。指数関数的な形状はまた、非ゼロ入力が受信されたときのみ更新が発生するように、将来の値へのワンステップ更新を可能にする。減衰係数とビットレートとの間にトレードオフがある点に留意されたい。つまり、より高い減衰係数はより多くの通信をもたらすことになり、より低い減衰係数はより少ない送信をもたらす。一態様では、異なるニューロンは指数分布に異なる減衰係数を使用し得る。別の態様では、フィルタはオンラインで学習される。たとえば、ロボットは、高速移動している場合は高い減衰係数を使用して、静止しているか、ゆっくり移動している場合は低い減衰係数を使用し得る。
[0097]差分符号化は、ニューロン間の通信のためにリソースを節約する。しかしながら、差分符号化はまた、オーバーヘッドを追加する。追加のメモリは、状態変数または入力値/出力値の履歴を記憶する。追加の計算は、予測および予測におけるエラーを計算する。増加量は、指数フィルタ形状を使用することによって多少減少され得る。したがって、差分符号化のメリットと追加のオーバーヘッドとの間にトレードオフがある。
[0098]差分符号化は、ニューロンのサブセットのみに使用され得る。たとえば、ニューラルネットワークが複数のコア(または、マシン)を使用してシミュレートされて、異なるコアが異なるニューロンをシミュレートする場合を考慮する。通信のコストは、コアまたは複数のマシン間で通信するそれらのニューロンの方がより高い(すなわち、これらのニューロンは、他のコア内のニューロンを接続する入力シナプスまたは出力シナプスを有する)。この場合、差分符号化はコアまたはマシン間で通信しているニューロンのためのみに使用され得る。さらに、頻繁に変更するニューロンは、差分符号化に適した候補ではない場合がある。異なるニューロンはまた、通信、あるいは異なるフィルタのためにさえも、異なるビット幅を使用し得る。別の態様では、ニューロンはモードを変更し得、あるモードではニューロンは差分更新を送信して、別のモードではニューロンは実際の結果を送信する。モード変更はトリガに基づき得、たとえば、分類結果(すなわち、ニューラルネットワークからの出力)が納得のいくものであるかどうかに基づき得る。
[0099]各ニューロンが入力と出力とを予測する代わりに、ニューロンの集合が共同でそれらの集合的な入力と出力とを予測し得る。具体的には、階層型ニューラルネットワークでは、ニューロンの各層は、それらのベクトル入力と出力との共同履歴に基づいて、ベクトル入力とベクトル出力とを共同で予測し得る。線形予測フレームワークは、スカラフィルタ係数を行列と置き換えることによって、ベクトル入力/出力シナリオに自然に拡張され、すなわちα1、α2、・・・、αLは現在行列である。
[00100]共同予測が個々の予測を超える利点を有する例示的なアプリケーションは、ビデオを介する推論のビジョンアプリケーションである。人またはオブジェクトが動いている、あるいは静止している環境の場合を考慮する。深層畳み込みネットワーク(DCN)などの階層型ニューラルネットワークが使用され得、層内のニューロンの集合は空間応答マップを表す。この場合、フィルタ行列は、画像から画像への動きベクトルに基づいて選択される。これらの動きベクトルは、ビデオ圧縮文献(video compression literature)から入手可能な標準的な動き推定技法から、ボトムアップで取得され得る。あるいは、動きベクトルはDCNの出力からトップダウンで取得され得る。DCNは、画像内のオブジェクトおよびそれらの位置を予測するためにトレーニングされ得る点に留意されたい。ニューロンは、動きベクトル、ならびにニューロンが情報を送信しているニューロンからのフィードバックなどの追加のグローバル入力に基づいて予測し得る。
[00101]図9は、本開示の態様による、ニューラルネットワークにおいて差分符号化を実行するための方法900を示す。ブロック902で、ニューロンの少なくとも1つの以前の活性化値に基づいて、ニューラルネットワークにおけるニューロンの活性化値が予測される。ブロック904で、予測活性化値とニューラルネットワークにおけるニューロンの活性化値との間の差分に基づいて値が符号化される。
[00102]一構成では、差分符号化のための方法は、ニューロンの活性化値を予測するための手段と、エラーを符号化するための手段とを含む。一態様では、予測手段および/または符号化手段は、記載された機能を実行するように構成された汎用プロセッサ502、プログラムメモリ506、メモリブロック504、メモリ602、相互接続ネットワーク604、処理ユニット606、処理ユニット704、ローカル処理ユニット802、およびまたはルーティング接続処理要素816であり得る。別の構成では、上述の手段は、上記の手段によって記載された機能を実行するように構成された任意のモジュールまたは任意の装置であり得る。
[00103]本開示で説明したニューラルネットワークは、多層パーセプトロンネットワーク、深層畳み込みネットワーク、深層信念ネットワーク、およびリカレントニューラルネットワーク等を含む、任意のタイプのニューラルネットワークであり得る。さらに、履歴に基づいて自身の入力と出力とを予測して、そのニューロンの出力内のエラーのみを伝播するニューロンに関して説明したが、ニューロンは、それ自体の入力と出力とを予測するために、他のニューロンのエラーと予測とを使用し得る。
[00104]上述した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路(ASIC)、またはプロセッサを含む、様々なハードウェアおよび/またはソフトウェア構成要素および/またはモジュールを含み得る。概して、図に示されている動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。
[00105]本明細書で使用する「決定」という用語は、多種多様なアクションを包含する。たとえば、「決定」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること(たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること)、確認することなどを含み得る。さらに、「決定」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリ中のデータにアクセスすること)などを含み得る。さらに、「決定」は、解決すること、選択すること、選定すること、確立することなどを含み得る。
[00106]本明細書で使用する、項目のリスト「のうちの少なくとも1つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a−b、a−c、b−c、およびa−b−cを包含するものとする。
[00107]本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ信号(FPGA)または他のプログラマブル論理デバイス(PLD)、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラまたは状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ(たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成)として実装され得る。
[00108]本開示に関連して説明した方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその2つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体で存在し得る。使用され得る記憶媒体のいくつかの例は、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、フラッシュメモリ、消去可能プログラマブル読出し専用メモリ(EPROM)、電気的消去可能プログラマブル読出し専用メモリ(EEPROM(登録商標))、レジスタ、ハードディスク、リムーバブルディスク、CD−ROMなどを含む。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサと一体化され得る。
[00109]本明細書で開示する方法は、説明した方法を達成するための1つまたは複数のステップまたはアクションを備える。本方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく変更され得る。
[00110]本明細書ならびに付属書類Aおよび付属書類Bで説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスとブリッジとを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプタを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース(たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど)もバスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路などの様々な他の回路にリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上は説明されない。
[00111]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、1つまたは複数の汎用および/または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、DSPプロセッサ、およびソフトウェアを実行し得る他の回路を含む。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、一例として、ランダムアクセスメモリ(RAM)、フラッシュメモリ、読出し専用メモリ(ROM)、プログラマブル読出し専用メモリ(PROM)、消去可能プログラマブル読出し専用メモリ(EPROM)、電気的消去可能プログラム可能読出し専用メモリ(EEPROM)、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または他の任意の適切な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。
[00112]ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および/またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加で、機械可読媒体またはその任意の部分は、キャッシュおよび/または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。論じた様々な構成要素は、ローカル構成要素などの特定の位置を有するものとして説明され得るが、それらはまた、分散コンピューティングシステムの一部として構成されているいくつかの構成要素などの様々な方法で構成され得る。
[00113]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する1つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部分を提供する外部メモリとをもつ汎用処理システムとして構成され得る。あるいは、処理システムは、本明細書に記載のニューロンモデルとニューラルシステムのモデルとを実装するための1つまたは複数のニューロモルフィックプロセッサを備え得る。別の代替として、処理システムは、プロセッサを有する特定用途向け集積回路(ASIC)と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部とを用いて、あるいは1つまたは複数のフィールドプログラマブルゲートアレイ(FPGA)、プログラマブル論理デバイス(PLD)、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、または他の任意の適切な回路、あるいは本開示全体を通じて説明した様々な機能を実行し得る回路の任意の組合せを用いて実装され得る。当業者なら、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明した機能を最も良く実装し得るかを理解されよう。
[00114]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからRAMにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、1つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。
[00115]ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体を適切に名づけられる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線(IR)、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびBlu−ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体(たとえば、有形媒体)を備え得る。さらに、他の態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体(たとえば、信号)を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[00116]したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために1つまたは複数のプロセッサによって実行可能である命令を記憶した(および/または符号化した)コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
[00117]さらに、本明細書で説明した方法および技法を実行するためのモジュールおよび/または他の適切な手段は、適用可能な場合にユーザ端末および/または基地局によってダウンロードされ、および/または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実施するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明した様々な方法は、ユーザ端末および/または基地局が記憶手段をデバイスに結合または提供すると様々な方法を得ることができるように、記憶手段(たとえば、RAM、ROM、コンパクトディスク(CD)またはフロッピーディスクなどの物理記憶媒体など)によって提供され得る。その上、本明細書で説明した方法および技法をデバイスに与えるための任意の他の好適な技法が利用され得る。
[00118]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
[00118]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1]
ニューラルネットワークにおいて差分符号化を実行する方法であって、
ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測することと、
前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化することと
を備える、方法。
[C2]
前記ニューラルネットワークの層間で前記符号化値を送信することをさらに備える、C1に記載の方法。
[C3]
前記送信された符号化値が、前記予測された活性化値と前記活性化値との間の前記差分、および前記予測された活性化値と前記活性化値との間のしきい値差分のうちの少なくとも1つである、C2に記載の方法。
[C4]
前記送信された符号化値が、前記符号化値のビット数に少なくとも部分的に基づいて選択される、C3に記載の方法。
[C5]
前記活性化値が非線形関数に少なくとも部分的に基づく、C1に記載の方法。
[C6]
前記活性化値を予測することが、入力の受信に少なくとも部分的に基づいて実行される、C1に記載の方法。
[C7]
前記値のビット幅に少なくとも部分的に基づいて前記値を符号化することをさらに備える、C1に記載の方法。
[C8]
前記符号化することが、ニューラルネットワーク出力ベースのトリガに少なくとも部分的に基づいて実行される、C1に記載の方法。
[C9]
前記符号化することが断続的に実行される、C1に記載の方法。
[C10]
前記符号化することが、前記ニューラルネットワークへの入力に対して遅延される、C1に記載の方法。
[C11]
前記符号化することが、前記ニューラルネットワークの出力にさらに少なくとも部分的に基づく、C1に記載の方法。
[C12]
入力−出力関係が決定論的である場合、前記少なくとも1つの以前の活性化値が入力履歴を備える、C1に記載の方法。
[C13]
入力−出力関係が確率論的である場合、前記少なくとも1つの以前の活性化値が入力履歴と出力履歴とを備える、C1に記載の方法。
[C14]
予測された入力値に少なくとも部分的に基づいて、前記予測された活性化値を計算することをさらに備える、C1に記載の方法。
[C15]
前記符号化値と前記予測された入力値とを組み合わせることによって、実際の入力値を計算することをさらに備える、C14に記載の方法。
[C16]
前記予測された入力値と前記予測された活性化値とを計算することが、前記ニューロンの複数の以前の入力値と複数の以前の活性化値との線形結合を使用することを備える、C14に記載の方法。
[C17]
前記ニューロンの前記予測された活性化値が、前記ニューロンの状態と前記ニューロンへの入力とに少なくとも部分的に基づく、C1に記載の方法。
[C18]
前記ニューロンの前記状態が、以前の状態、入力値、出力値、予測された活性化値、および対象となる活性化値のうちの少なくとも1つに基づいて更新される、C17に記載の方法。
[C19]
前記ニューロンの前記状態が、入力履歴、出力履歴、予測された活性化値履歴、および対象となる活性化値履歴のうちの少なくとも1つを備える、C17に記載の方法。
[C20]
前記予測することが、別のニューロンの状態に少なくとも部分的に基づく、C19に記載の方法。
[C21]
前記予測された活性化値が、複数の以前の実際の活性化値の線形結合、または以前の入力値の線形結合に少なくとも部分的に基づく、C1に記載の方法。
[C22]
前記活性化値を予測することが、前記ニューロンに提供された追加の値を使用することを備える、C1に記載の方法。
[C23]
画像動き推定に少なくとも部分的に基づいて、前記追加の値を計算することをさらに備える、C22に記載の方法。
[C24]
前記追加の値が別のニューロンからのフィードバック信号を備える、C22に記載の方法。
[C25]
ニューラルネットワークにおいて差分符号化を実行するための装置であって、
メモリと、
前記メモリに結合された少なくとも1つのプロセッサとを備え、前記少なくとも1つのプロセッサが、
ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測し、
前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化する
ように構成される、装置。
[C26]
スパイキングニューラルネットワークにおいて差分符号化を実行するための装置であって、
ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測するための手段と、
前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化するための手段と
を備える、装置。
[C27]
スパイキングニューラルネットワークにおいて差分符号化を実行するためのコンピュータプログラム製品であって、
プログラムコードを符号化した非一時的コンピュータ可読媒体を備え、前記プログラムコードが、
ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測するためのプログラムコードと、
前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化するためのプログラムコードと
を備える、コンピュータプログラム製品。

Claims (27)

  1. ニューラルネットワークにおいて差分符号化を実行する方法であって、
    ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測することと、
    前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化することと
    を備える、方法。
  2. 前記ニューラルネットワークの層間で前記符号化値を送信することをさらに備える、請求項1に記載の方法。
  3. 前記送信された符号化値が、前記予測された活性化値と前記活性化値との間の前記差分、および前記予測された活性化値と前記活性化値との間のしきい値差分のうちの少なくとも1つである、請求項2に記載の方法。
  4. 前記送信された符号化値が、前記符号化値のビット数に少なくとも部分的に基づいて選択される、請求項3に記載の方法。
  5. 前記活性化値が非線形関数に少なくとも部分的に基づく、請求項1に記載の方法。
  6. 前記活性化値を予測することが、入力の受信に少なくとも部分的に基づいて実行される、請求項1に記載の方法。
  7. 前記値のビット幅に少なくとも部分的に基づいて前記値を符号化することをさらに備える、請求項1に記載の方法。
  8. 前記符号化することが、ニューラルネットワーク出力ベースのトリガに少なくとも部分的に基づいて実行される、請求項1に記載の方法。
  9. 前記符号化することが断続的に実行される、請求項1に記載の方法。
  10. 前記符号化することが、前記ニューラルネットワークへの入力に対して遅延される、請求項1に記載の方法。
  11. 前記符号化することが、前記ニューラルネットワークの出力にさらに少なくとも部分的に基づく、請求項1に記載の方法。
  12. 入力−出力関係が決定論的である場合、前記少なくとも1つの以前の活性化値が入力履歴を備える、請求項1に記載の方法。
  13. 入力−出力関係が確率論的である場合、前記少なくとも1つの以前の活性化値が入力履歴と出力履歴とを備える、請求項1に記載の方法。
  14. 予測された入力値に少なくとも部分的に基づいて、前記予測された活性化値を計算することをさらに備える、請求項1に記載の方法。
  15. 前記符号化値と前記予測された入力値とを組み合わせることによって、実際の入力値を計算することをさらに備える、請求項14に記載の方法。
  16. 前記予測された入力値と前記予測された活性化値とを計算することが、前記ニューロンの複数の以前の入力値と複数の以前の活性化値との線形結合を使用することを備える、請求項14に記載の方法。
  17. 前記ニューロンの前記予測された活性化値が、前記ニューロンの状態と前記ニューロンへの入力とに少なくとも部分的に基づく、請求項1に記載の方法。
  18. 前記ニューロンの前記状態が、以前の状態、入力値、出力値、予測された活性化値、および対象となる活性化値のうちの少なくとも1つに基づいて更新される、請求項17に記載の方法。
  19. 前記ニューロンの前記状態が、入力履歴、出力履歴、予測された活性化値履歴、および対象となる活性化値履歴のうちの少なくとも1つを備える、請求項17に記載の方法。
  20. 前記予測することが、別のニューロンの状態に少なくとも部分的に基づく、請求項19に記載の方法。
  21. 前記予測された活性化値が、複数の以前の実際の活性化値の線形結合、または以前の入力値の線形結合に少なくとも部分的に基づく、請求項1に記載の方法。
  22. 前記活性化値を予測することが、前記ニューロンに提供された追加の値を使用することを備える、請求項1に記載の方法。
  23. 画像動き推定に少なくとも部分的に基づいて、前記追加の値を計算することをさらに備える、請求項22に記載の方法。
  24. 前記追加の値が別のニューロンからのフィードバック信号を備える、請求項22に記載の方法。
  25. ニューラルネットワークにおいて差分符号化を実行するための装置であって、
    メモリと、
    前記メモリに結合された少なくとも1つのプロセッサとを備え、前記少なくとも1つのプロセッサが、
    ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測し、
    前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化する
    ように構成される、装置。
  26. スパイキングニューラルネットワークにおいて差分符号化を実行するための装置であって、
    ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測するための手段と、
    前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化するための手段と
    を備える、装置。
  27. スパイキングニューラルネットワークにおいて差分符号化を実行するためのコンピュータプログラム製品であって、
    プログラムコードを符号化した非一時的コンピュータ可読媒体を備え、前記プログラムコードが、
    ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測するためのプログラムコードと、
    前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化するためのプログラムコードと
    を備える、コンピュータプログラム製品。
JP2016558315A 2014-03-24 2015-03-17 ニューラルネットワークにおける差分符号化 Pending JP2017516192A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461969747P 2014-03-24 2014-03-24
US61/969,747 2014-03-24
US14/513,155 2014-10-13
US14/513,155 US20150269481A1 (en) 2014-03-24 2014-10-13 Differential encoding in neural networks
PCT/US2015/021077 WO2015148189A2 (en) 2014-03-24 2015-03-17 Differential encoding in neural networks

Publications (2)

Publication Number Publication Date
JP2017516192A true JP2017516192A (ja) 2017-06-15
JP2017516192A5 JP2017516192A5 (ja) 2018-04-05

Family

ID=54142454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016558315A Pending JP2017516192A (ja) 2014-03-24 2015-03-17 ニューラルネットワークにおける差分符号化

Country Status (7)

Country Link
US (1) US20150269481A1 (ja)
EP (1) EP3123404A2 (ja)
JP (1) JP2017516192A (ja)
KR (1) KR20160136381A (ja)
CN (1) CN107077637B (ja)
BR (1) BR112016022195A2 (ja)
WO (1) WO2015148189A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020095848A1 (ja) * 2018-11-06 2020-05-14 株式会社 東芝 製品状態推定装置
JP2021515283A (ja) * 2017-12-19 2021-06-17 インテル コーポレイション スパイキングニューラルネットワークの位相差でシナプス荷重を変化させる装置、システム及び方法
JP2022502727A (ja) * 2018-09-06 2022-01-11 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 因子グラフ上での確率伝搬

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150379397A1 (en) * 2014-06-28 2015-12-31 Brainchip, Inc. Secure voice signature communications system
US10262259B2 (en) * 2015-05-08 2019-04-16 Qualcomm Incorporated Bit width selection for fixed point neural networks
US11126913B2 (en) * 2015-07-23 2021-09-21 Applied Brain Research Inc Methods and systems for implementing deep spiking neural networks
US20170118479A1 (en) * 2015-10-23 2017-04-27 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device
EP3380992B1 (en) * 2016-01-25 2022-04-27 Deepmind Technologies Limited Generating images using neural networks
US10528863B2 (en) * 2016-04-01 2020-01-07 Numenta, Inc. Feedback mechanisms in sequence learning systems with temporal processing capability
KR102399548B1 (ko) * 2016-07-13 2022-05-19 삼성전자주식회사 뉴럴 네트워크를 위한 방법 및 그 방법을 수행하는 장치
US10949737B2 (en) * 2016-07-13 2021-03-16 Samsung Electronics Co., Ltd. Method for neural network and apparatus performing same method
US11238337B2 (en) * 2016-08-22 2022-02-01 Applied Brain Research Inc. Methods and systems for implementing dynamic neural networks
US20180121791A1 (en) * 2016-11-03 2018-05-03 Qualcomm Incorporated Temporal difference estimation in an artificial neural network
US20190347541A1 (en) * 2016-12-30 2019-11-14 Nokia Technologies Oy Apparatus, method and computer program product for deep learning
CN113537480B (zh) * 2016-12-30 2024-04-02 上海寒武纪信息科技有限公司 用于执行lstm神经网络运算的装置和运算方法
CN108345939B (zh) * 2017-01-25 2022-05-24 微软技术许可有限责任公司 基于定点运算的神经网络
US10311339B2 (en) * 2017-02-14 2019-06-04 Google Llc Unsupervised learning techniques for temporal difference models
JP7019138B2 (ja) * 2017-02-28 2022-02-15 国立大学法人電気通信大学 符号化装置、符号化方法およびプログラム
JP6898778B2 (ja) * 2017-06-02 2021-07-07 株式会社日立製作所 機械学習システム及び機械学習方法
KR102410820B1 (ko) * 2017-08-14 2022-06-20 삼성전자주식회사 뉴럴 네트워크를 이용한 인식 방법 및 장치 및 상기 뉴럴 네트워크를 트레이닝하는 방법 및 장치
US20190065962A1 (en) * 2017-08-22 2019-02-28 Syntiant Systems And Methods For Determining Circuit-Level Effects On Classifier Accuracy
US11651199B2 (en) * 2017-10-09 2023-05-16 Intel Corporation Method, apparatus and system to perform action recognition with a spiking neural network
CN109961133B (zh) * 2017-12-14 2020-04-24 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
EP3724825A4 (en) * 2017-12-15 2022-03-09 Intel Corporation CONTEXT-BASED SEARCH USING SPIKE WAVES IN NEURAL SPIKING NETWORKS
US10825201B2 (en) * 2018-02-20 2020-11-03 Lyft, Inc. Deep direct localization from ground imagery and location readings
KR102091498B1 (ko) * 2018-06-11 2020-03-24 고려대학교 산학협력단 비지도 학습장치 및 그 학습방법
US11030518B2 (en) * 2018-06-13 2021-06-08 United States Of America As Represented By The Secretary Of The Navy Asynchronous artificial neural network architecture
KR20230025430A (ko) 2020-06-16 2023-02-21 인투이셀 에이비 컴퓨터로 구현되거나 하드웨어로 구현되는 엔티티 식별 방법, 컴퓨터 프로그램 제품 및 엔티티 식별을 위한 장치
CN113762487B (zh) * 2021-08-17 2023-11-10 西北大学 基于神经架构搜索及dbn网络的脑功能网络生成方法及系统
WO2023167623A1 (en) * 2022-03-02 2023-09-07 IntuiCell AB A method of providing a representation of temporal dynamics of a first system, middleware systems, a controller system, computer program products and non-transitory computer-readable storage media
KR102593930B1 (ko) 2023-04-18 2023-10-25 주식회사 한국스크랩 친환경 폐 알루미늄 박리 자동화 시스템

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1272417B (it) * 1993-04-29 1997-06-23 Alcatel Italia Metodo per la codifica e decodifica differenziale e relativi circuiti
US6185548B1 (en) * 1998-06-19 2001-02-06 Albert Einstein College Of Medicine Of Yeshiva University Neural network methods to predict enzyme inhibitor or receptor ligand potency
US20010025232A1 (en) * 1998-10-02 2001-09-27 Klimasauskas Casimir C. Hybrid linear-neural network process control
US7430546B1 (en) * 2003-06-07 2008-09-30 Roland Erwin Suri Applications of an algorithm that mimics cortical processing
CN1622129A (zh) * 2004-12-13 2005-06-01 中国科学院长春光学精密机械与物理研究所 人工神经网络的优化方法
CA2629069C (en) * 2005-11-15 2016-07-19 Bernadette Garner Method for training neural networks
JP4840494B2 (ja) * 2009-09-16 2011-12-21 沖電気工業株式会社 時系列データ予測ニューラルネットワーク装置
CN101824807A (zh) * 2010-04-16 2010-09-08 同济大学 一种潮汐河流地区取水口咸潮短期预测方法
CN104346801B (zh) * 2013-08-02 2018-07-20 佳能株式会社 图像构图评估装置、信息处理装置及其方法
CN103559538A (zh) * 2013-11-12 2014-02-05 上海电机学院 Bp神经网络结构优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
横山裕樹、渡部修: "多階層予測符号化モデルに基づくパターンの表現", 電子情報通信学会論文誌, vol. 第J94-D巻, 第1号, JPN6019000391, 1 January 2011 (2011-01-01), JP, pages 384 - 394 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021515283A (ja) * 2017-12-19 2021-06-17 インテル コーポレイション スパイキングニューラルネットワークの位相差でシナプス荷重を変化させる装置、システム及び方法
JP7167151B2 (ja) 2017-12-19 2022-11-08 インテル コーポレイション スパイキングニューラルネットワークの位相差でシナプス荷重を変化させる装置、システム及び方法
US11568241B2 (en) 2017-12-19 2023-01-31 Intel Corporation Device, system and method for varying a synaptic weight with a phase differential of a spiking neural network
JP2022502727A (ja) * 2018-09-06 2022-01-11 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 因子グラフ上での確率伝搬
JP7332193B2 (ja) 2018-09-06 2023-08-23 インターナショナル・ビジネス・マシーンズ・コーポレーション 因子グラフ上での確率伝搬
WO2020095848A1 (ja) * 2018-11-06 2020-05-14 株式会社 東芝 製品状態推定装置
JP2020075385A (ja) * 2018-11-06 2020-05-21 株式会社東芝 製品状態推定装置
JP7021052B2 (ja) 2018-11-06 2022-02-16 株式会社東芝 製品状態推定装置
US11644825B2 (en) 2018-11-06 2023-05-09 Kabushiki Kaisha Toshiba Product state estimation device

Also Published As

Publication number Publication date
WO2015148189A3 (en) 2015-12-17
CN107077637B (zh) 2021-07-20
CN107077637A (zh) 2017-08-18
EP3123404A2 (en) 2017-02-01
WO2015148189A2 (en) 2015-10-01
BR112016022195A2 (pt) 2017-08-15
KR20160136381A (ko) 2016-11-29
US20150269481A1 (en) 2015-09-24

Similar Documents

Publication Publication Date Title
JP2017516192A (ja) ニューラルネットワークにおける差分符号化
US10339447B2 (en) Configuring sparse neuronal networks
US9558442B2 (en) Monitoring neural networks with shadow networks
JP2017525038A (ja) ニューラルネットワークにおける畳込み演算の分解
JP2017515205A (ja) Coldニューロンスパイクタイミングバックプロバゲーション
JP2017513127A (ja) スパイキング深層信念ネットワーク(dbn)におけるトレーニング、認識、および生成
JP2017509982A (ja) 原位置ニューラルネットワークコプロセッシング
JP2017515189A (ja) 写真管理
JP6092477B2 (ja) ニューラルダイナミクスを修正するための自動化された方法
JP2017509978A (ja) 確率論的スパイキングベイジアンネットワークに関する事象に基づく推論および学習
JP2017519268A (ja) スパイキングニューラルネットワークにおけるグローバルスカラ値によって可塑性を調節すること
JP2017514215A (ja) スパイキングニューラルネットワークを使用する画像の不変オブジェクト表現
US10552734B2 (en) Dynamic spatial target selection
JP2016538633A (ja) 多次元範囲にわたって分離可能なサブシステムを含むシステムの評価
JP6193509B2 (ja) 可塑性シナプス管理
JP6219509B2 (ja) シナプス遅延を動的に割り当てることおおよび検査すること
JP2016537711A (ja) スパイキングニューロンのネットワークにおける輻輳回避
JP6096388B2 (ja) ニューラルネットワークモデルにおけるドップラー効果処理
JP6133517B2 (ja) 座標変換のための位相コーディング
JP2017513110A (ja) ニューロモーフィックモデル開発のためのコンテキストリアルタイムフィードバック
JP2017509956A (ja) 値をスパイクに変換するための方法
JP2017509979A (ja) 空間ターゲット選択のためのアンバランスな交差抑制メカニズム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190806