JP2022530738A - 非対称ｒｐｕデバイスによるｄｎｎの訓練 - Google Patents

非対称ｒｐｕデバイスによるｄｎｎの訓練 Download PDF

Info

Publication number
JP2022530738A
JP2022530738A JP2021557551A JP2021557551A JP2022530738A JP 2022530738 A JP2022530738 A JP 2022530738A JP 2021557551 A JP2021557551 A JP 2021557551A JP 2021557551 A JP2021557551 A JP 2021557551A JP 2022530738 A JP2022530738 A JP 2022530738A
Authority
JP
Japan
Prior art keywords
crosspoint array
array
matrix
rpu
crosspoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021557551A
Other languages
English (en)
Other versions
JP7422782B2 (ja
Inventor
ゴクメン、タイフン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2022530738A publication Critical patent/JP2022530738A/ja
Application granted granted Critical
Publication of JP7422782B2 publication Critical patent/JP7422782B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Abstract

一態様では、ＤＮＮを訓練する方法は、行列／アレイＡおよびＣの線形結合としての重み行列（Ｗ）を提供するステップと、順方向サイクルにおいて、入力ベクトルｘをアレイＡおよびＣを通して伝送し、出力ベクトルｙを読み出すステップと、逆方向サイクルにおいて、誤差信号δをアレイＡおよびＣを通して伝送し、出力ベクトルｚを読み出すステップと、入力ベクトルｘおよび誤差信号δをアレイＡを通して伝送することによってアレイＡを更新するステップと、順方向サイクルにおいて、入力ベクトルｅｉをアレイＡを通して伝送し、出力ベクトルｙ’を読み出すステップと、入力ベクトルｅｉおよびｆ（ｙ’）をアレイＣを通して伝送することによってアレイＣを更新するステップとを含む。ＤＮＮも提供される。

Description

本発明は、ディープ・ニューラル・ネットワーク（ＤＮＮ： ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）の訓練に関し、特に、非対称の抵抗処理ユニット（ＲＰＵ：ｒｅｓｉｓｔｉｖｅ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）デバイスを有するＤＮＮを訓練するための技術に関する。
ディープ・ニューラル・ネットワーク（ＤＮＮ）は、“Ｒｅｓｉｓｔｉｖｅ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”と題するＧｏｋｍｅｎらによる米国特許出願公開第２０１７／０１０９６２８号（以下、「米国特許出願公開第２０１７／０１０９６２８号」）に記載される抵抗処理ユニット（ＲＰＵ）などの抵抗デバイスのアナログ・クロスポイント・アレイに具体化されうる。米国特許出願公開第２０１７／０１０９６２８号に記載されるように、各ＲＰＵは、第一端子、第二端子、および活性領域を含む。活性領域の伝導率状態がＲＰＵの重み値を識別し、ＲＰＵの重み値は第一／第二端子への信号の印加によって更新／調節されうる。
ＤＮＮベースのモデルは、物体および音声認識ならびに自然言語処理などの多様な認知ベースのタスクに使用されている。例えば、Ｇｏｋｍｅｎら、“Ｔｒａｉｎｉｎｇ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｗｉｔｈ Ｒｅｓｉｓｔｉｖｅ Ｃｒｏｓｓ－ｐｏｉｎｔ Ｄｅｖｉｃｅｓ”、Ｆｒｏｎｔｉｅｒｓ ｉｎ Ｎｅｕｒｏｓｃｉｅｎｃｅ、ｖｏｌ．１１、ａｒｔｉｃｌｅ ５３８（２０１７年１０月）（１３ページ）を参照されたい。このようなタスクを行う際に高レベルの精度を提供するためにＤＮＮ訓練が必要とされる。大規模なＤＮＮの訓練は、非常に計算量の大きいタスクである。
対称性は、ＤＮＮ訓練の精度を達成するために重要なファクターである。対称であるためには、アナログ抵抗デバイスは、正および負の電圧パルスにさらされたときに伝導率を対称的に変化させなければならない。この対称性により、ＤＮＮ訓練の間に誤差逆伝播法および確率的勾配降下法（ＳＧＤ：ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｃｅｎｔ）が完全に実施されることが可能になる。しかし実際には、ＲＰＵデバイスは、理想的でない非線形および非対称のスイッチング特性を呈しうる。例えば、重みを上下に調節するために電圧パルスが段階的に印加されるときに、上下の調節の間に不均衡が存在することが多い。
したがって、この非線形／非対称ハードウェア・バイアスを許容する新規なＤＮＮ訓練技術が必要である。
本発明は、請求項１に記載の方法、および請求項１５に記載の対応するシステムを提供する。
以下の詳細な説明および図面を参照することにより、本発明ならびに本発明のさらなる特徴および利点のより完全な理解が得られるであろう。
本発明の一実施形態による抵抗処理ユニット（ＲＰＵ）デバイスのアナログ・クロスポイント・アレイに具体化されたディープ・ニューラル・ネットワーク（ＤＮＮ）を示す図である。 本発明の一実施形態による、線形および対称ＲＰＵデバイスの理想的なスイッチング特性を示す図である。 本発明の一実施形態による、非線形および非対称ＲＰＵデバイスの理想的でないスイッチング特性を示す図である。 本発明の一実施形態によるＤＮＮを訓練するための例示的な方法論を示す図である。 本発明の一実施形態による、行列Ａと行列Ａのゼロの重みの伝導率値が投入された参照行列とに対応する二つの相互接続されたアレイ（すなわちアレイＡおよび参照アレイ）を示す図である。 本発明の一実施形態による、ｙをアレイＡおよびアレイＣからの出力の線形結合としてアレイＡおよびアレイＣで別々に行われる順方向サイクルｙ＝Ｗｘを示す図である。 本発明の一実施形態による、ｚを行列Ａおよび行列Ｃからの出力の線形結合として行列Ａおよび行列Ｃで別々に行われる逆方向サイクルｚ＝ＷＴδを示す図である。 本発明の一実施形態による、順方向サイクルで伝播されるｘおよび逆方向サイクルで伝播されるδにより更新されるアレイＡ
Figure 2022530738000002
を示す図である。
本発明の一実施形態による、行列Ａで行われる順方向サイクルｙ’＝Ａｅｉを示す図である。 本発明の一実施形態による、ｅｉおよびｆ（ｙ’）で更新される行列Ｃを示す図である。 本発明の一実施形態による例示的なワン・ホット・エンコードされたベクトルを示す図である。 本発明の一実施形態による、例示的な２次のアダマール行列を示す図である。 本発明の一実施形態による、例示的な４次のアダマール行列を示す図である。 本発明の実施形態による、本技術の一つ以上を実行する際に用いられうる例示的な装置を示す図である。
本明細書に提供されるのは、非対称の抵抗処理ユニット（ＲＰＵ）デバイスによるディープ・ニューラル・ネットワーク（ＤＮＮ）の訓練技術である。上で強調したように、ＤＮＮはＲＰＵのアナログ・クロスポイント・アレイに具体化されうる。例えば、図１に示される概略図を参照されたい。
図１に示されるように、アルゴリズム的（抽象）重み行列１０２の各パラメータ（重みｗｉｊ）が、ハードウェア、すなわちＲＰＵデバイスの物理的クロスポイント・アレイ１０４の一つのＲＰＵデバイス（ＲＰＵｉｊ）にマッピングされる。クロスポイント・アレイ１０４は、一連の伝導性行ワイヤ１０６と、伝導性行ワイヤ１０６に対して直交して向けられて交差する一連の伝導性列ワイヤ１０８とを含む。行および列ワイヤ１０６および１０８の間の交差部は、ＲＰＵデバイスのクロスポイント・アレイ１０４を形成するＲＰＵ１１０によって分離される。米国特許出願公開第２０１７／０１０９６２８号に記載されるように、各ＲＰＵは、第一端末、第二端末、および活性領域を含みうる。活性領域の伝導状態がＲＰＵの重み値を識別し、ＲＰＵの重み値は第一／第二端子への信号の印加によって更新／調節されうる。さらに、三端子（またはそれ以上の端子）のデバイスが、余分の端子を制御することにより、二端子抵抗メモリ・デバイスとして有効に働きうる。三端子ＲＰＵデバイスの説明については、例えばＫｉｍら、“Ａｎａｌｏｇ ＣＭＯＳ－ｂａｓｅｄ Ｒｅｓｉｓｔｉｖｅ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ ｆｏｒ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｔｒａｉｎｉｎｇ”、２０１７ ＩＥＥＥ ６０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｉｄｗｅｓｔ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＭＷＡＣＡＳ）、（２０１７年８月）（４ページ）を参照されたい。
各ＲＰＵ（ＲＰＵｉｊ）は、クロスポイント・アレイ１０４内のその位置（すなわちｉ行およびｊ列）に基づいて一意に識別される。例えばクロスポイント・アレイ１０４の上から下へ、および左から右へ進んでいくと、第一行ワイヤ１０６と第一列ワイヤ１０８との交差部のＲＰＵはＲＰＵ１１と指定され、第一行ワイヤ１０６と第二列ワイヤ１０８との交差部のＲＰＵはＲＰＵ１２と指定され、以下同様となる。さらに、重み行列１０２のパラメータのクロスポイント・アレイ１０４のＲＰＵへのマッピングは、同じ規則にしたがう。例えば、重み行列１０２の重みｗｉ１はクロスポイント・アレイ１０４のＲＰＵｉ1にマッピングされ、重み行列１０２の重みｗｉ２はクロスポイント・アレイ１０４のＲＰＵｉ２にマッピングされ、以下同様となる。
クロスポイント・アレイ１０４のＲＰＵ１１０は、事実上、ＤＮＮのニューロン間の重み付き接続部として機能する。ＲＰＵ１１０の伝導状態（例えば抵抗）は、行および列ワイヤ１０６および１０８の個々のワイヤ間に印加される電圧をそれぞれ制御することによって変更されうる。高伝導状態または低伝導状態を達成するＲＰＵの伝導状態の交番（オルタネーション）によってデータが記憶される。ＲＰＵ１１０の伝導状態は、電圧を印加し、ターゲットＲＰＵ１１０を通過する電流を測定することによって読み出される。重みを含む全ての演算は、ＲＰＵ１１０によって完全に並行に行われる。
機械学習および認知科学において、ＤＮＮに基づくモデルは、動物の特に脳の生体神経ネットワークに触発された統計的学習モデルのファミリーである。これらのモデルを使用して、一般に未知である多数の入力および接続部の重みに依存するシステムおよび認知機能を推定または近似しうる。ＤＮＮは、電子信号の形で互いの間で「メッセージ」を交換する模擬「ニューロン」として働く相互接続されたプロセッサ要素のいわゆる「ニューロモルフィック」システムとして具体化されることが多い。模擬ニューロンの間で電子メッセージを運ぶＤＮＮの接続部には、所与の接続部の強さまたは弱さに対応する数値的重みが提供される。これらの数値的重みは、経験に基づいて調節および調整されて、ＤＮＮが入力に適応し、学習できるようにしうる。例えば、手書き認識のためのＤＮＮは、入力画像のピクセルによって活性化されうる入力ニューロンのセットによって定義される。ネットワークの設計者によって決定された関数によって重み付けおよび変換された後、これらの入力ニューロンの活性化はその後、他の下流のニューロンに渡される。このプロセスは、出力ニューロンが活性化されるまで繰り返される。活性化された出力ニューロンは、どの文字が読み取られたかを判断する。
ＲＰＵ１１０は、特に訓練目的には理想的でない非線形および非対称のスイッチング特性を呈しうる。例えば、図２Ａおよび図２Ｂを参照されたい。最初に図２Ａを参照すると、理想的なＲＰＵデバイスのスイッチング特性が示される。図２Ａに示すように、この理想的な場合には、重みを上下に調節するために外部電圧刺激が印加されたときに応答が線形および対称である。訓練の目的上、そのような理想的なデバイスは、誤差逆伝播法および確率的勾配降下法（ＳＧＤ）を完全に実施する。
すなわち、以下でさらに詳細に説明するように、各パラメータ（重みｗｉｊ）の誤差勾配が誤差逆伝播法を使用して算出される、インクリメンタルまたは確率的勾配降下法（ＳＧＤ）プロセスによりＤＮＮが訓練されうる。例えば、Ｒｕｍｅｌｈａｒｔら、“Ｌｅａｒｎｉｎｇ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｂｙ ｂａｃｋ－ｐｒｏｐａｇａｔｉｎｇ ｅｒｒｏｒｓ”、Ｎａｔｕｒｅ ３２３、ｐｐ．５３３－５３６（１９８６年１０月）を参照されたい。誤差逆伝播法は、収束基準が満たされるまで複数回繰り返される順方向サイクル、逆方向サイクル、および重み更新サイクルの三つのサイクルにおいて行われる。
ＤＮＮに基づくモデルは、複数の抽象化レベルでデータの表現を学習する複数の処理層で構成される。例えば、ＬｅＣｕｎら、“Ｄｅｅｐ Ｌｅａｒｎｉｎｇ”、Ｎａｔｕｒｅ ５２１、ｐｐ．４３６－４４４（２０１５年５月）を参照されたい。Ｎ個の入力ニューロンがＭ個の出力ニューロンに接続される単一の処理層の場合、順方向サイクルはベクトル－行列乗算（ｙ＝Ｗｘ）を計算することを含み、ここで長さＮのベクトルｘは入力ニューロンの活性を表し、サイズＭ×Ｎの行列Ｗが入力および出力ニューロンの各対間の重み値を記憶する。結果として生じる長さＭのベクトルｙは、各抵抗メモリ要素で非線形活性化を行うことによってさらに処理され、それから次の層に渡される。
情報が最終出力層に到達すると、逆方向サイクルは、誤差信号を算出し、誤差信号をＤＮＮを通して逆伝播することを含む。単一の層の逆方向サイクルは、重み行列の転置（各行および対応する列の入れ替え）に対するベクトル－行列乗算（ｚ＝ＷＴδ）も含み、ここで長さＭのベクトルδは出力ニューロンによって算出された誤差を表し、長さＮのベクトルｚはニューロンの非線形性の導関数を使用してさらに処理され、それから前の層に渡される。
最後に、重み更新サイクルでは、順方向および逆方向サイクルにおいて使用される二つのベクトルの外積を行うことによって重み行列Ｗが更新される。この二つのベクトルの外積は、Ｗ←Ｗ＋η（δｘＴ）として表されることが多く、ここでηはグローバルな学習率である。
この誤差逆伝播法プロセス中に重み行列Ｗに対して行われる全ての演算は、対応する数のＭ行およびＮ列を有するＲＰＵ１１０のクロスポイント・アレイ１０４により実施され得、ここでクロスポイント・アレイ１０４の記憶された伝導率値が行列Ｗを形成する。順方向サイクルでは、入力ベクトルｘが各列ワイヤ１０８を通して電圧パルスとして伝送され、結果として生じるベクトルｙが、行ワイヤ１０６から出力される電流として読み出される。同様に、逆方向サイクルへの入力として行ワイヤ１０６から電圧パルスが供給されると、重み行列ＷＴの転置に対してベクトル－行列積が計算される。最後に、更新サイクルにおいて、ベクトルｘおよびδを表す電圧パルスが、列ワイヤ１０８および行ワイヤ１０６から同時に供給される。この構成では、各ＲＰＵ１１０は、対応する列ワイヤ１０８および行ワイヤ１０６から来る電圧パルスを処理することによって局所乗算および加算演算を行い、このようにしてインクリメンタルな重み更新を達成する。
上で強調したように、対称ＲＰＵ（図２Ａを参照）は誤差逆伝播法およびＳＧＤを完全に実施する。すなわち、そのような理想的なＲＰＵでは、ｗｉｊ←ｗｉｊ＋ηΔｗｉｊとなり、ここでｗｉｊはクロスポイント・アレイ１０４のｉ行およびｊ列の重み値である。
対照的に、理想的でないＲＰＵデバイスのスイッチング特性は図２Ｂに示される。図２Ｂに示すように、この理想的でない場合には、外部電圧刺激が印加されたときに応答が非線形および非対称である。すなわち、重みを上下に調節するために電圧パルス（本明細書ではそれぞれ「アップ」および「ダウン」パルスと呼ばれる）が段階的に印加されたときに重み更新の量（すなわち段階の大きさ）が現在の重み値に線形に依存する。したがって、上下の調節の強さが等しい重み値が一つだけある（以下で詳述するゼロ・シフト技術からのゼロの重み値に対応する）が、残りの重み範囲は不均衡である。ＲＰＵデバイスにアップおよびダウン・パルス・シーケンスのセットが与えられると想定した場合、この不均衡は、デバイスがアップおよびダウン・パルスの強さが等しい対称点に向かって上下する傾向をもつことを意味する。このデバイス挙動は、ＲＰＵデバイスの伝導率の変化を左右するＲＰＵデバイスの物理的性質に由来する追加のエネルギー項（内部エネルギー）に変換されうる。したがって、誤差逆伝播法に使用されるときには、これらの理想的でないスイッチング特性を備えたＲＰＵは、理想的な場合とは非常に異なるものを実施する、すなわちｗｉｊ←ｗｉｊ＋ηΔｗｉｊ＋Ｇ（ｗｉｊ）｜Δｗｉｊ｜となり、ここでＧ（ｗｉｊ）｜Δｗｉｊ｜はＲＰＵデバイスの非対称のスイッチング特性に起因して現れる追加のエネルギー項（内部エネルギー）を表す。
ＲＰＵ１１０などの抵抗メモリ・デバイスでは、各デバイスでアップおよびダウン・パルスの傾きが全く同じであるただ一つの対称点が常に存在することが分かっている。例えば、Ｋｉｍらによる“Ａｌｉｇｎｍｅｎｔ Ｔｅｃｈｎｉｑｕｅｓ ｔｏ Ｍａｔｃｈ Ｓｙｍｍｅｔｒｙ Ｐｏｉｎｔ ａｓ Ｚｅｒｏ－Ｗｅｉｇｈｔ Ｐｏｉｎｔ ｉｎ Ａｎａｌｏｇ Ｃｒｏｓｓｐｏｉｎｔ Ａｒｒａｙｓ”と題した米国特許出願第１６／１５８，０５６号（以下、「米国特許出願第１６／１５８，０５６号」）を参照されたい。この対称点（異なりうる）には、ゼロの重み値が割り当てられうる。
クロスポイント・アレイ１０４の各ＲＰＵ１１０の対称点（デバイスごとに変動し得る）は、重みアレイの全てのＲＰＵ１１０が自身の対称点に収束するまで重みアレイ（例えば行列Ａ、以下参照）のＲＰＵ１１０に繰り返し（第一、第二、第三などの）アップおよびダウン電圧パルスを印加することによって決定される。例えば、伝導率範囲がＧｍｉｎ～Ｇｍａｘであり、一つの更新インシデントでの平均デルタＧがｄＧａｖｇである場合、伝導率範囲内の有効状態数は（Ｇｍａｘ－Ｇｍｉｎ）／ｄＧａｖｇである。デバイスが極値点にあり、交互のアップ／ダウン・パルスが与えられると、中央点に到達するまでに更新＃＝（Ｇｍａｘ－Ｇｍｉｎ）／ｄＧａｖｇがかかる。収束を保証するために、余分のサイクルの交互のアップ／ダウン・パルス、例えばｎ×（Ｇｍａｘ－Ｇｍｉｎ）／ｄＧａｖｇを与えることができ、ここでｎ＝１以上である。アップおよびダウン電圧パルスは、ＲＰＵ１１０にランダムに（すなわち各パルスがランダムにアップまたはダウン・パルスのいずれかである）、交互に（すなわち前のパルスがアップ・パルスである場合には次のパルスはダウン・パルスであり、その逆も同様）などで印加されうる。米国特許出願第１６／１５８，０５６号を参照されたい。
重みアレイの全てのＲＰＵ１１０がいずれも自身の対称点に収束すると、（対称点での）重みアレイからの各ＲＰＵ１１０の伝導率値が、重みアレイと相互接続された別個の参照アレイにコピーされる。重みアレイのデバイスと参照アレイとの間には一対一の相関があるため、重みアレイの一つの対応するデバイスに対して参照アレイの各デバイスで一意のゼロの重み値が確立されうる。したがって、演算中には、重みアレイのＲＰＵ１１０の出力は、参照アレイに記憶された対応するデバイスからのゼロの重み値によってシフトされる。例えば、重みアレイおよび参照アレイの両方に同じ信号が提供されうる。その後、重みアレイのＲＰＵ１１０からの出力（例えばＩ１、Ｉ２、Ｉ３など）が、それらの値を（ゼロの重み値に設定された）参照アレイの対応するデバイスの出力から減算することによってゼロシフトされて、ゼロシフトされた結果が達成されうる。米国特許出願第１６／１５８，０５６号を参照されたい。
ゼロシフトされた結果を達成するためのこの初期設定の後、本技術を使用してＤＮＮが訓練される。例えば、図３の方法論３００を参照されたい。その最も一般的な形態では、本技術にしたがって使用される重み行列（Ｗ）は、二つの行列ＡおよびＣの線形結合である、すなわちＷ＝γＡ＋Ｃであり、ここでγはスカラー係数である。初期化中には、ゼロの重み値の参照アレイ（上記を参照）を使用して、行列Ａの各ＲＰＵがゼロに対応する重み値でその平衡点にあることが保証される。訓練中には、重み更新がゼロ点の周りで対称挙動を有する行列Ａに蓄積され、その後行列Ｃに移動される。この連結システム（行列Ａおよび行列Ｃに具体化される）は、理想的でないＲＰＵに関連するハードウェア・バイアスを許容するようにニューラル・ネットワークの目的関数およびＲＰＵの内部エネルギーを自己無撞着に最小化し、故に非対称デバイスを使用して単純に行われる標準のＳＧＤ技術と比較して優れた結果を与えるのが有利である。
特に、図３を参照すると、ステップ３０２で、行列Ａの各ＲＰＵの対称点が決定され、対応するゼロの重みの伝導率値が参照アレイにコピーされる。上記のように、各ＲＰＵデバイスの対称点は、行列Ａの全てのＲＰＵが自身の対称点に収束するまで行列ＡのＲＰＵに繰り返しアップおよびダウン電圧パルスを（例えばランダムに、交互になど）印加することによって決定されうる。行列Ａおよび参照行列は、二つの相互接続されたアレイに具体化されうる。例えば、図４を参照されたい。
すなわち、図４を簡単に参照すると、（重み行列Ａの重み値（ｗｉｊ）が投入された）ＲＰＵ４０４のクロスポイント・アレイ４０２および（参照行列の対応するゼロの重みの伝導率値（ｗ０’）が投入された）ＲＰＵ４０８のクロスポイント・アレイ４０６が示される。図４に示されるように、クロスポイント・アレイ４０２（行列Ａ）のＲＰＵ４０４とクロスポイント・アレイ４０６（参照行列）のＲＰＵ４０８との間には一対一の相関があるため、重み行列Ａの一つの対応するＲＰＵに対して参照行列の各ＲＰＵで一意のゼロの重み値（ｗ０’）が確立されうる。以下で詳述するように、（例えば順方向および逆方向演算において）行列Ａが読み出されるときには、差分モードのアレイ４０２（すなわちアレイＡ）およびアレイ４０６（すなわち参照アレイ）。対照的に、行列Ａを更新するときには、アレイ４０２（すなわちアレイＡ）だけを更新するための演算が行われる。
図３の方法論３００を再び参照すると、ゼロの重みの伝導率値が参照アレイに記憶されると、修正されたＳＧＤプロセスを使用してＤＮＮの訓練が行われる。全体として、訓練プロセスの目標は、ＤＮＮの精度を最大化するための最良のパラメータ（重みｗｉｊ）のセットを決定することである。「修正された」とは、現在のＳＧＤ訓練プロセスが上述のように順方向サイクル、逆方向サイクル、および重み更新サイクルの三つのサイクルで行われる誤差逆伝播法を使用して誤差勾配を算出するのに対し、ここでは一つの重み行列の代わりに行列ＡおよびＣの連結システムで演算が行われることを意味する。行列Ａ（ゼロ点の周りで対称挙動を有する、上記のステップ３０２を参照）に重み更新が蓄積される。その後、この蓄積された情報が行列Ｃに移動される。
図３に示すように、プロセスは、重み行列（Ｗ）すなわちＷ＝γＡ＋Ｃを使用して順方向サイクルが行われることから始まり、ここでγはスカラー係数である。したがって、上で強調したように、重み行列（Ｗ）は二つの別々の行列ＡおよびＣの線形結合である。行列Ａおよび行列Ｃのパラメータは、（例えば本明細書においてアレイＡおよびアレイＣともそれぞれ呼称される）別々のクロスポイント・アレイのＲＰＵデバイスにマッピングされる。一般に、順方向サイクルはベクトル－行列乗算（ｙ＝Ｗｘ）を計算することを含み、ここで入力ベクトルｘは入力ニューロンの活性を表し、行列Ｗ（Ｗ＝γＡ＋Ｃ）は入力および出力ニューロンの各対間の重み値を記憶する。重み値ＷはＷ＝γＡ＋ＣであるようにＡおよびＣの線形結合として設定されるため、γ＝０またはγ＝１に設定するだけでこれらの極端な場合に到達できることが注目される。γ＝１のとき、これによりＷ＝Ａ＋Ｃとなり、γ＝０のとき、これによりＷ＝Ｃとなり、後者は行列Ａが「隠れている」場合を表す。
例示的な実施形態によれば、この順方向サイクルは、ステップ３０４において行列ＡおよびＣで別々に行われ、その後ステップ３０６で、例えば（アナログ－デジタル変換の後に）デジタル回路を使用して線形結合が算出される。例えば、図５を簡単に参照すると、クロスポイント・アレイ４０２および５０８の記憶された伝導率値がそれぞれ行列ＡおよびＣを形成するＲＰＵデバイスのクロスポイント・アレイ４０２および５０８で（ステップ３０４により）順方向サイクルのベクトル－行列乗算演算が実施されるのが示される。
図５に示されるように、順方向サイクルでは、方法論３００のステップ３０４により、入力ベクトルｘが伝導性列ワイヤ５０６および５１２のそれぞれを通して電圧パルスとして伝送され、結果として生じる出力ベクトルｙが、クロスポイント・アレイ４０２（行列Ａ）および５０８（行列Ｃ）の伝導性行ワイヤ５０４および５１０からそれぞれ出力される電流として読み出される。図５に同様に示されるように、クロスポイント・アレイ４０２（行列Ａ）および５０８（行列Ｃ）からの（アナログ）出力ベクトルｙＡ＝ＡｘおよびｙＣ＝Ｃｘをそれぞれデジタル信号に変換するために、アナログ－デジタル変換器（ＡＤＣ：ａｎａｌｏｇ－ｔｏ－ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）５０７およびＡＤＣ５１３が用いられる。したがって、方法論３００のステップ３０６により、これらのデジタル化された信号の線形結合ｙ＝γｙＡ＋ｙＣが容易に決定されうる、すなわち、
ｙＡ＝Ａｘ
ｙＣ＝Ｃｘ
ｙ＝γｙＡ＋ｙＣ
である。
図５に示されるように、順方向サイクルで異なるアレイによって生成されるが同じ列に対応する信号は、標準の乗算および加算演算が実施されるデジタル領域でスケーリングおよび加算される。
上記のステップ３０２に記載されるように、クロスポイント・アレイ４０２（行列Ａ）のＲＰＵデバイスのゼロの重みの伝導率値は、参照アレイにコピーされた。例えば、図４のクロスポイント・アレイ４０６（参照行列）を参照されたい。訓練中には、ステップ３０４で、ＲＰＵデバイスのスイッチング挙動のバイアスを補償するためにクロスポイント・アレイ４０２（行列Ａ）のＲＰＵデバイスの出力値をそれらの対称点に調節するために、これらのゼロの重みの伝導率値が使用される（上記を参照）。そのために、ステップ３０４でクロスポイント・アレイ４０２（行列Ａ）に印加されるのと同じ電圧パルスが、参照アレイにも印加される。その後、クロスポイント・アレイ４０２（行列Ａ）の出力ベクトルｙが、参照アレイの出力ベクトルから減算される。このゼロシフト技術は、米国特許出願第１６／１５８，０５６号に詳細に記載され、その内容は、本明細書に全体が記載されているかのように参照により組み込まれる。
図３の方法論３００を再び参照すると、ステップ３０８で、行列ＡおよびＣで逆方向サイクルが行われる。一般に、逆方向サイクルは、誤差信号δを算出し、行列ＡおよびＣの転置（各行および対応する列の入れ替え）に対するベクトル－行列乗算を介してその誤差信号δを行列ＡおよびＣに逆伝播すること（ｚ＝ＷＴδ）を含み、ここでベクトルδは出力ニューロンによって算出された誤差を表し、ベクトルｚはニューロン非線形性の導関数を使用してさらに処理され、それから前の層に渡される。
順方向パスと同様に、逆方向サイクルも、ステップ３０８で行列ＡおよびＣで別々に行われてから、ステップ３１０で線形結合が算出される。例えば、図６を簡単に参照すると、クロスポイント・アレイ４０２（行列Ａ）および５０８（行列Ｃ）で（ステップ３０８により）逆方向サイクルのベクトル－行列乗算演算が実施されることが示される。
図６に示されるように、逆方向サイクルでは、方法論３００のステップ３０８により、誤差信号δが伝導性行ワイヤ５０４および５１０のそれぞれを通して電圧パルスとして伝送され、結果として生じる出力ベクトルｚが、クロスポイント・アレイ４０２（行列Ａ）および５０８（行列Ｃ）の伝導性列ワイヤ５０６および５１２からそれぞれ出力される電流として読み出される。逆方向サイクルへの入力として行ワイヤ５０４および５１０から電圧パルスが供給されると、行列ＡおよびＣの転置に対してベクトル－行列積が計算される。
図６に同様に示されるように、クロスポイント・アレイ４０２（行列Ａ）および５０８（行列Ｃ）からの（アナログ）出力ベクトルｚＡ＝ＡδおよびｚＣ＝Ｃδをそれぞれデジタル信号に変換するために、ＡＤＣ５０７およびＡＤＣ５１３が用いられる。したがって、方法論３００のステップ３１０により、これらのデジタル化された信号の線形結合ｚ＝（γｚＡ＋ｚＣ）が容易に決定されうる、すなわち、
ｚＡ＝Ａδ
ｚＣ＝Ｃδ
ｚ＝γｚＡ＋ｚＣ
である。
図６に示されるように、逆方向サイクルで異なるアレイによって生成されるが同じ行に対応する信号は、デジタル領域でスケーリングおよび合計される。
上記のように、クロスポイント・アレイ４０２（行列Ａ）のＲＰＵデバイスのゼロの重みの伝導率値は、参照アレイにコピーされた。例えば、図４のクロスポイント・アレイ４０６（参照行列）を参照されたい。訓練中には、ステップ３０８で、ＲＰＵデバイスのスイッチング挙動のバイアスを補償するためにクロスポイント・アレイ４０２（行列Ａ）のＲＰＵデバイスの出力値をそれらの対称点に調節するために、これらのゼロの重みの伝導率値が使用される（上記を参照）。そのために、ステップ３０８でクロスポイント・アレイ４０２（行列Ａ）に印加されるのと同じ電圧パルスが、参照アレイにも印加される。その後、クロスポイント・アレイ４０２（行列Ａ）の出力ベクトルｚが、参照アレイの出力ベクトルから減算される。
図３の方法論３００を再び参照すると、ステップ３１２で、順方向サイクルで伝播された入力ベクトルｘおよび逆方向サイクルで伝播された誤差信号δを使用して行列Ａが更新される、すなわち以下の式となる。
Figure 2022530738000003
上記のように、ηはグローバルな学習率である。図７を簡単に参照すると、これらの行列Ａの更新は、伝導性列ワイヤ５０６および伝導性行ワイヤ５０４からそれぞれ同時に供給される（順方向サイクルからの）ベクトルｘおよび（逆方向サイクルからの）ベクトルδを表す電圧パルスを伝送することによって、クロスポイント・アレイ４０２（行列Ａ）において実施されることが示される。順方向および逆方向サイクルに用いられる電圧パルスとは対照的に、更新サイクルは確率的パルスＰを使用する（図７を参照）。この構成では、クロスポイント・アレイ４０２の各ＲＰＵは、対応する伝導性列ワイヤ５０６および伝導性行ワイヤ５０４から来る電圧パルスを処理することによって局所乗算および加算演算を行い、このようにしてインクリメンタルな重み更新を達成する。
任意に、以下に説明するように、行列Ａ（ステップ３１４）で順方向サイクルを行い、行列Ｃ（ステップ３１６）を更新する前に、ステップ３０４～３１２が複数回繰り返されうる。図３を参照されたい。例示的な実施形態によれば、ステップ３０４～３１２はｎ回繰り返され、ここでｎは２～１００およびその間の範囲である。
次に、方法論３００のステップ３１４で、入力ベクトルｅｉを使用して行列Ａで順方向サイクルすなわちｙ’＝Ａｅｉが行われる。各時間ステップで新たな入力ベクトルｅｉが使用され、サブ・インデックスｉはその時間インデックスを示す。
以下で詳述するように、例示的な実施形態によれば、入力ベクトルｅｉは、ワン・ホット・エンコードされたベクトルである。例えば、当技術分野で知られるように、ワン・ホット・エンコードされたベクトルは、単一の高（１）ビットを有し、他の全てのビットが低（０）である組み合わせのみを有するビットの群である。説明のために単純な非限定的な例を用いると、サイズ４×４の行列を想定し、ワン・ホット・エンコードされたベクトルは、以下のベクトル［１ ０ ０ ０］、［０ １ ０ ０］、［０ ０ １ ０］および［０ ０ ０ １］のうちの一つとなる。各時間ステップで新たなワン・ホット・エンコードされたベクトルが使用され、サブ・インデックスｉはその時間インデックスを示す。しかし、入力ベクトルｅｉを選択するための他の方法も本明細書において企図されることが注目される。例えば、入力ベクトルｅｉは、代わりにアダマール行列、ランダム行列などの列から選択されることができる。以下を参照されたい。
図８を簡単に参照すると、行列Ａで行われるこの順方向サイクルでは、入力ベクトルｅｉが伝導性列ワイヤ５０６のそれぞれを通して電圧パルスとして伝送され、結果として生じる出力ベクトルｙ’が、クロスポイント・アレイ４０２（行列Ａ）の伝導性行ワイヤ５０４から出力される電流として読み出されることが示される。行列Ａで行われるこの順方向サイクルへの入力として列ワイヤ５０６から電圧パルスが供給されると、ベクトル－行列積が計算される。
上記のように、クロスポイント・アレイ４０２（行列Ａ）のＲＰＵデバイスのゼロの重みの伝導率値は、参照アレイにコピーされた。例えば、図４のクロスポイント・アレイ４０６（参照行列）を参照されたい。ステップ３１４で、ＲＰＵデバイスのスイッチング挙動のバイアスを補償するためにクロスポイント・アレイ４０２（行列Ａ）のＲＰＵデバイスの出力値をそれらの対称点に調節するために、これらのゼロの重みの伝導率値が使用される（上記を参照）。そのために、ステップ３１４でクロスポイント・アレイ４０２（行列Ａ）に印加されるのと同じ電圧パルスが、参照アレイにも印加される。その後、クロスポイント・アレイ４０２（行列Ａ）の出力ベクトルｚが、参照アレイの出力ベクトルから減算される。
図３の方法論３００を再び参照すると、ステップ３１５で、例えば標準のデジタル回路を使用して、ステップ３１４からのｙ’を使用して関数ｆ（ｙ’）が計算される。関数ｆ（ｙ’）は、いくつかの異なるやり方で定義されうる。例えば、ほんの一例として、一つの非限定的な例によれば、｜ｙ’｜＞閾値Ｔの場合に限りｆ（ｙ’）＝ｙ’であり、それ以外の場合には｜ｙ’｜＜閾値Ｔでｆ（ｙ’）＝０である。この閾値は、ハードウェアに由来する読み出しノイズのオーダーでありうる。例えば、計算のアナログ性により、ｙ’はノイズを含む様式でのみ計算されうる、すなわちｙ’＝Ａｅｉは、ｙ’＝Ａｅｉ＋ノイズとしてのみ実現されうる。順方向読み出し演算のこのノイズ項は、手元のハードウェアにつき既知である。Ｃ行列のノイズを含む更新を排除するために（ステップ３１６を参照、後述）、順方向サイクルからの信号がノイズレベルを上回るときに行列Ｃに適用されるようにＴ≒ノイズを選択しうる。この閾値関数は、ノイズを排除する一例であるが、他にも同じ目的で使用できる関数がある。あるいは、単純にステップ３１４からの入力ベクトルｅｉおよびｙ’を使用してステップ３１６で行列Ｃを更新する（以下を参照）こともできる。
図３の方法論３００を再び参照すると、ステップ３１６で、ステップ３１４からの入力ベクトルｅｉおよびステップ３１５からのｆ（ｙ’）を使用して行列Ｃが更新される、すなわち、
Figure 2022530738000004
となり、ここでλはＣ行列に対する更新の強さを制御するスカラー値である。これは、Ｃ行列を更新する間に使用されるグローバルな学習率である。図９を簡単に参照すると、これらの行列Ｃの更新は、伝導性列ワイヤ５１２および伝導性行ワイヤ５１０からそれぞれ同時に供給されるステップ３１４からのベクトルｅｉおよびベクトルｙ’（｜ｙ’｜＞閾値Ｔの場合、他の場合は０）を表す電圧パルスを伝送することによって、クロスポイント・アレイ５０８（行列Ｃ）において実施されることが示される。順方向および逆方向サイクルに用いられる電圧パルスとは対照的に、更新サイクルは確率的パルスＰを使用する（図９を参照）。この構成では、クロスポイント・アレイ５０８の各ＲＰＵは、対応する伝導性列ワイヤ５１２および伝導性行ワイヤ５１０から来る電圧パルスを処理することによって局所乗算および加算演算を行い、このようにしてインクリメンタルな重み更新を達成する。
その後、図３に示すように、ＤＮＮ訓練が完了するまでステップ３０４～３１６が繰り返される。例えば、例示的な実施形態によれば、ステップ３０４～３１６は、ある収束基準が満たされるまで複数回繰り返される。例えば、ほんの一例として、誤差信号のそれ以上の改善が見られないときに訓練が完了したと見なされうる。
上で強調したように、例示的な実施形態によれば、入力ベクトルｅｉは、単一の高（１）ビットを有し、他の全てのビットが低（０）である組み合わせのみを有するビットの群であるワン・ホット・エンコードされたベクトルである。例えば、図１０を参照されたい。図１０に示されるように、サイズ４×４の行列を所与とすると、ワン・ホット・エンコードされたベクトルは、以下のベクトル［１ ０ ０ ０］、［０ １ ０ ０］、［０ ０ １ ０］、［０ ０ ０ １］のうちの一つとなる。各時間ステップで、その時間インデックスのサブ・インデックスｉで示される新たなワン・ホット・エンコードされたベクトルが使用される。
別の例示的な実施形態によれば、入力ベクトルｅｉは、アダマール行列の列から選択される。当技術分野で知られるように、アダマール行列は、エントリが±１の正方行列である。例えば、図１１（２次のアダマール行列）および図１２（４次のアダマール行列）を参照されたい。
本発明は、システム、方法、もしくはコンピュータ・プログラム製品またはそのすべてでありうる。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実施させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（単数または複数）を含みうる。
コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持および記憶しうる有形のデバイスでありうる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁気記憶デバイス、半導体記憶デバイス、またはこれらの任意の適切な組み合わせでありうるがこれらに限定されない。コンピュータ可読記憶媒体のさらなる具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、リードオンリ・メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラム可能リードオンリ・メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙすなわちフラッシュメモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ：ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ポータブル・コンパクト・ディスク・リードオンリ・メモリ（ＣＤ－ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）、メモリ・スティック、フレキシブル・ディスク、パンチカードまたは命令が記録された溝内の隆起構造などの機械的にエンコードされたデバイス、および以上の任意の適切な組み合わせを含む。本明細書で使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を通じて伝播する電磁波（例えば光ファイバ・ケーブルを通過する光パルス）、またはワイヤを通じて伝送される電気信号などの一時的信号そのものと解釈されてはならない。
本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング／処理デバイスに、または、ネットワーク、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークもしくは無線ネットワークまたはその組み合わせを介して外部コンピュータもしくは外部ストレージ・デバイスにダウンロードされうる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、もしくはエッジ・サーバまたはその組み合わせを含みうる。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体への記憶のためにコンピュータ可読プログラム命令を転送する。
本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、インストラクション・セット・アーキテクチャ（ＩＳＡ：ｉｎｓｔｒｕｃｔｉｏｎ－ｓｅｔ－ａｒｃｈｉｔｅｃｔｕｒｅ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの従来手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソース・コードもしくはオブジェクト・コードでありうる。コンピュータ可読プログラム命令は、全体的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンド・アロンのソフトウェア・パッケージとして、部分的にユーザのコンピュータ上で、および部分的にリモート・コンピュータ上で、または全体的にリモート・コンピュータもしくはサーバ上で、実行しうる。後者のシナリオにおいて、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）またはワイド・エリア・ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続されることができ、または（例えばインターネット・サービス・プロバイダを使用してインターネットを通じて）外部コンピュータに接続がなされうる。いくつかの実施形態において、例えばプログラム可能論理回路、フィールドプログラム可能ゲート・アレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、またはプログラム可能ロジック・アレイ（ＰＬＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙ）を含む電子回路は、本発明の態様を行うためにコンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによってコンピュータ可読プログラム命令を実行しうる。
本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図もしくはブロック図またはその両方を参照して本明細書に説明される。フローチャート図もしくはブロック図またはその両方の各ブロック、およびフローチャート図またはブロック図またはその両方のブロックの組み合わせは、コンピュータ可読プログラム命令によって実施されうることが理解されよう。
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行する命令がフローチャートもしくはブロック図またはその両方の一つまたは複数のブロックに指定された機能／作用を実施するための手段を生み出すように、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供されてマシンを生成しうる。これらのコンピュータ可読プログラム命令は、命令が記憶されたコンピュータ可読記憶媒体がフローチャートもしくはブロック図またはその両方の一つまたは複数のブロックに指定された機能／作用の態様を実施する命令を含む製品を含むように、コンピュータ、プログラム可能データ処理装置もしくは他のデバイスまたはその組み合わせに特定の様式で機能するように指示しうるコンピュータ可読記憶媒体に記憶されてもよい。
コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能装置、または他のデバイス上で実行する命令がフローチャートもしくはブロック図またはその両方の一つまたは複数のブロックに指定された機能／作用を実施するように、コンピュータにより実施されるプロセスを生成するために、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードされてコンピュータ、他のプログラム可能装置、または他のデバイス上で一連の動作ステップを行わせることもできる。
図面のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実施態様のアーキテクチャ、機能、および動作を示す。この点に関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能（単数または複数）を実施するための一つ以上の実行可能命令を含むモジュール、セグメント、または命令の部分を表しうる。いくつかの代替的実施態様では、ブロックに記された機能は、図面に記された順序とは異なる順序で生じうる。例えば、連続して示される二つのブロックは、実際には、関連する機能に応じて実質的に同時に実行されてもよく、またはブロックは逆の順序で実行されうる場合もある。ブロック図もしくはフローチャートまたはその両方の各ブロック、およびブロック図もしくはフローチャートまたはその両方のブロックの組み合わせは、指定された機能または作用を行うかまたは専用ハードウェアおよびコンピュータ命令の組み合わせを遂行する専用ハードウェア・ベースのシステムによって実施されうることにも留意されたい。
ここで図１３を参照すると、本明細書に提示される方法論のうちの一つ以上を実施するための装置１３００のブロック図が示される。ほんの一例として、装置１３００は、アレイに印加される入力電圧パルスを制御するように、もしくはアレイからの出力信号を処理するように、またはその両方を行うように構成されうる。
装置１３００は、コンピュータ・システム１３１０および除去可能媒体１３５０を含む。コンピュータ・システム１３１０は、プロセッサ・デバイス１３２０、ネットワーク・インターフェース１３２５、メモリ１３３０、媒体インターフェース１３３５、および任意のディスプレイ１３４０を含む。ネットワーク・インターフェース１３２５は、コンピュータ・システム１３１０がネットワークに接続することを可能にし、媒体インターフェース１３３５は、コンピュータ・システム１３１０がハード・ドライブまたは除去可能媒体１３５０などの媒体と相互作用することを可能にする。
プロセッサ・デバイス１３２０は、本明細書に開示される方法、ステップ、および機能を実施するように構成されうる。メモリ１３３０は分散メモリまたはローカル・メモリであり得、プロセッサ・デバイス１３２０は分散プロセッサ・デバイスまたは単一のプロセッサ・デバイスでありうる。メモリ１３３０は、電気、磁気もしくは光メモリ、もしくはこれらの任意の組み合わせまたは他のタイプの記憶デバイスとして実施されうる。さらに、「メモリ」という用語は、プロセッサ・デバイス１３２０によってアクセスされるアドレス可能空間内のアドレスから読み出されるかまたはアドレスに書き込まれることができるあらゆる情報を包含するのに十分に広く解釈されねばならない。この定義により、ネットワーク・インターフェース１３２５を通じてアクセス可能なネットワーク上の情報は、プロセッサ・デバイス１３２０がネットワークからその情報を取得しうることから、なおメモリ１３３０内にある。プロセッサ・デバイス１３２０を構成する各分散プロセッサは一般に、それ自体のアドレス可能メモリ空間を含むことに留意されたい。コンピュータ・システム１３１０の一部または全部が、特定用途向けまたは汎用集積回路に組み込まれうることにも留意されたい。
任意のディスプレイ１３４０は、装置１３００の人間のユーザと相互作用するのに適した任意のタイプのディスプレイである。一般に、ディスプレイ１３４０は、コンピュータ・モニタまたは他の同様のディスプレイである。

Claims (15)

  1. ディープ・ニューラル・ネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を訓練する方法であって、
    行列Ａおよび行列Ｃの線形結合としての重み行列（Ｗ）を提供するステップであって、前記行列Ａおよび前記行列Ｃは、伝導性列ワイヤに直交する伝導性行ワイヤをそれぞれ有する抵抗処理ユニット（ＲＰＵ：ｒｅｓｉｓｔｉｖｅ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）デバイスの別々のクロスポイント・アレイＡおよびＣの記憶された伝導性値によって形成され、前記ＲＰＵデバイスは、前記伝導性行ワイヤと前記伝導性列ワイヤとの間の交差部を分離し、これにより前記ＲＰＵデバイスは前記ＤＮＮのニューロン間の重み付き接続部として機能する、ステップと、
    順方向サイクルにおいて、入力ベクトルｘを電圧パルスとして前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣの前記伝導性列ワイヤを通して伝送し、結果として生じる出力ベクトルｙを、前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣの前記伝導性行ワイヤから出力される電流として読み出すステップと、
    逆方向サイクルにおいて、前記出力ベクトルｙから算出された誤差信号δを電圧パルスとして前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣの前記伝導性行ワイヤを通して伝送し、結果として生じる出力ベクトルｚを、前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣの前記伝導性列ワイヤから出力される電流として読み出すステップと、
    前記クロスポイント・アレイＡの更新において、前記入力ベクトルｘを電圧パルスとして前記クロスポイント・アレイＡの前記伝導性列ワイヤを通して伝送すると同時に、前記誤差信号δを電圧パルスとして前記クロスポイント・アレイＡの前記伝導性行ワイヤを通して伝送するステップと、
    順方向サイクルにおいて、入力ベクトルｅｉを電圧パルスとして前記クロスポイント・アレイＡの前記伝導性列ワイヤを通して伝送し、結果として生じる出力ベクトルｙ’を前記クロスポイント・アレイＡの前記伝導性行ワイヤから出力される電流として読み出すステップと、
    ｙ’を使用してｆ（ｙ’）を算出するステップと、
    前記クロスポイント・アレイＣの更新において、前記入力ベクトルｅｉを電圧パルスとして前記クロスポイント・アレイＣの前記伝導性列ワイヤを通して伝送すると同時に、ｆ（ｙ’）を電圧パルスとして前記クロスポイント・アレイＣの前記伝導性行ワイヤを通して伝送するステップと
    を含む方法。
  2. ｜ｙ’｜＞閾値Ｔの場合に限りｆ（ｙ’）＝ｙ’であり、それ以外の場合にはｆ（ｙ’）＝０である、請求項１に記載の方法。
  3. 収束基準が満たされるまで前記方法の前記ステップを繰り返すステップ
    をさらに含む、請求項１に記載の方法。
  4. 前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣからの前記出力ベクトルｙをデジタル信号に変換するステップ
    をさらに含む、請求項１に記載の方法。
  5. 前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣからの前記出力ベクトルｙの線形結合を算出するステップ
    をさらに含む、請求項４に記載の方法。
  6. 前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣからの前記出力ベクトルｚをデジタル信号に変換するステップ
    をさらに含む、請求項１に記載の方法。
  7. 前記クロスポイント・アレイＡおよび前記クロスポイント・アレイＣからの前記出力ベクトルｚの線形結合を算出するステップ
    をさらに含む、請求項６に記載の方法。
  8. 前記クロスポイント・アレイＡの全ての前記ＲＰＵデバイスが自身の対称点に収束するまで、前記クロスポイント・アレイＡの前記ＲＰＵデバイスに繰り返し電圧パルスを印加するステップと、
    前記クロスポイント・アレイＡの前記ＲＰＵデバイスのゼロの重みの伝導性値を参照アレイにコピーするステップと
    をさらに含む、請求項１に記載の方法。
  9. 前記参照アレイからの前記ゼロの重みの伝導性値によって前記クロスポイント・アレイＡの出力をゼロシフトするステップ
    をさらに含む、請求項８に記載の方法。
  10. クロスポイント・アレイＡの前記ＲＰＵデバイスに印加される前記繰り返し電圧パルスは、アップおよびダウン電圧パルスを含む、請求項８に記載の方法。
  11. 前記アップおよびダウン電圧パルスは、クロスポイント・アレイＡの前記ＲＰＵデバイスにランダムに印加される、請求項１０に記載の方法。
  12. 前記アップおよびダウン電圧パルスは、クロスポイント・アレイＡの前記ＲＰＵデバイスに交互に印加される、請求項１０に記載の方法。
  13. 前記入力ベクトルｅｉは、ワン・ホット・エンコードされたベクトルを含む、請求項１に記載の方法。
  14. 前記入力ベクトルｅｉは、アダマール行列から選択される、請求項１に記載の方法。
  15. 請求項１～１４のいずれかに記載の方法の全てのステップを実行するために適合された手段を含むシステム。
JP2021557551A 2019-05-01 2020-04-15 非対称ｒｐｕデバイスによるｄｎｎの訓練 Active JP7422782B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/400,674 2019-05-01
US16/400,674 US11562249B2 (en) 2019-05-01 2019-05-01 DNN training with asymmetric RPU devices
PCT/IB2020/053538 WO2020222064A1 (en) 2019-05-01 2020-04-15 Dnn training with asymmetric rpu devices

Publications (2)

Publication Number Publication Date
JP2022530738A true JP2022530738A (ja) 2022-07-01
JP7422782B2 JP7422782B2 (ja) 2024-01-26

Family

ID=73016099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021557551A Active JP7422782B2 (ja) 2019-05-01 2020-04-15 非対称ｒｐｕデバイスによるｄｎｎの訓練

Country Status (6)

Country Link
US (1) US11562249B2 (ja)
JP (1) JP7422782B2 (ja)
CN (1) CN113728338B (ja)
DE (1) DE112020002186T5 (ja)
GB (1) GB2598856B (ja)
WO (1) WO2020222064A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11334731B2 (en) * 2018-04-24 2022-05-17 University of Pittsburgh—of the Commonwealth System of Higher Education System and method of decoding a barcode using machine learning
US11922314B1 (en) * 2018-11-30 2024-03-05 Ansys, Inc. Systems and methods for building dynamic reduced order physical models
US11562249B2 (en) * 2019-05-01 2023-01-24 International Business Machines Corporation DNN training with asymmetric RPU devices
US11507642B2 (en) * 2019-05-02 2022-11-22 Silicon Storage Technology, Inc. Configurable input blocks and output blocks and physical layout for analog neural memory in deep learning artificial neural network
US20220207344A1 (en) * 2020-12-26 2022-06-30 International Business Machines Corporation Filtering hidden matrix training dnn
KR20220148558A (ko) * 2021-04-29 2022-11-07 삼성전자주식회사 뉴로모픽 컴퓨팅 장치 및 그 설계 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594382B1 (en) 1999-11-04 2003-07-15 The United States Of America As Represented By The Secretary Of The Navy Neural sensors
CN103150596B (zh) 2013-02-22 2015-12-23 百度在线网络技术（北京）有限公司 一种反向传播神经网络dnn的训练系统
US9715655B2 (en) * 2013-12-18 2017-07-25 The United States Of America As Represented By The Secretary Of The Air Force Method and apparatus for performing close-loop programming of resistive memory devices in crossbar array based hardware circuits and systems
US10185803B2 (en) 2015-06-15 2019-01-22 Deep Genomics Incorporated Systems and methods for classifying, prioritizing and interpreting genetic variants and therapies using a deep neural network
US10748064B2 (en) 2015-08-27 2020-08-18 International Business Machines Corporation Deep neural network training with native devices
US10325006B2 (en) 2015-09-29 2019-06-18 International Business Machines Corporation Scalable architecture for analog matrix operations with resistive devices
US10387778B2 (en) * 2015-09-29 2019-08-20 International Business Machines Corporation Scalable architecture for implementing maximization algorithms with resistive devices
US10248907B2 (en) 2015-10-20 2019-04-02 International Business Machines Corporation Resistive processing unit
US11263521B2 (en) 2016-08-30 2022-03-01 International Business Machines Corporation Voltage control of learning rate for RPU devices for deep neural network training
US9715656B1 (en) 2016-09-12 2017-07-25 International Business Machines Corporation Killing asymmetric resistive processing units for neural network training
US9646243B1 (en) 2016-09-12 2017-05-09 International Business Machines Corporation Convolutional neural networks using resistive processing unit array
US10608017B2 (en) 2017-01-31 2020-03-31 Semiconductor Energy Laboratory Co., Ltd. Display device, display module, and electronic device
US10755170B2 (en) 2017-03-01 2020-08-25 International Business Machines Corporation Resistive processing unit with hysteretic updates for neural network training
US10783432B2 (en) 2017-04-14 2020-09-22 International Business Machines Corporation Update management for RPU array
US10134472B1 (en) 2017-06-30 2018-11-20 International Business Machines Corporation Floating gate architecture for deep neural network application
US10922610B2 (en) 2017-09-14 2021-02-16 Intel Corporation Synchronization scheduler of distributed neural network training
CN108596780B (zh) 2018-04-28 2019-05-21 中国石油大学(华东) 一种基于多元信息的储层类型划分方法及系统
US10831860B2 (en) * 2018-10-11 2020-11-10 International Business Machines Corporation Alignment techniques to match symmetry point as zero-weight point in analog crosspoint arrays
US11562249B2 (en) * 2019-05-01 2023-01-24 International Business Machines Corporation DNN training with asymmetric RPU devices

Also Published As

Publication number Publication date
JP7422782B2 (ja) 2024-01-26
CN113728338A (zh) 2021-11-30
CN113728338B (zh) 2022-11-25
US20200349440A1 (en) 2020-11-05
WO2020222064A1 (en) 2020-11-05
GB202117040D0 (en) 2022-01-12
GB2598856A (en) 2022-03-16
GB2598856B (en) 2022-12-07
US11562249B2 (en) 2023-01-24
DE112020002186T5 (de) 2022-04-07

Similar Documents

Publication Publication Date Title
JP7422782B2 (ja) 非対称ｒｐｕデバイスによるｄｎｎの訓練
JP7288047B2 (ja) アナログ・クロスポイント・アレイにおいて対称点をゼロ重み点として一致させるためのアライメント方法、そのベクトル行列
US11188825B2 (en) Mixed-precision deep-learning with multi-memristive devices
JP2021507349A (ja) 抵抗処理ユニット・アレイのクロスポイント・デバイスに重みを記憶するための方法、そのクロスポイント・デバイス、ニューラル・ネットワークを実施するためのクロスポイント・アレイ、そのシステム、およびニューラル・ネットワークを実施するための方法
KR20170041724A (ko) 비동기 펄스 변조를 이용한 인공 뉴런들 및 스파이킹 뉴런들
CN110428042A (zh) 往复地缩放神经元的连接权重和输入值来挫败硬件限制
JP2019046072A (ja) ニューロモルフィック素子を含むアレイの制御装置、離散化ステップサイズの演算方法およびプログラム
US20200293855A1 (en) Training of artificial neural networks
Kim et al. Zero-shifting technique for deep neural network training on resistive cross-point arrays
US10832773B1 (en) Architecture for enabling zero value shifting
JP7357080B2 (ja) Ｒｐｕアレイのためのノイズおよび信号管理
KR20230029759A (ko) 아날로그 크로스바 어레이들을 업데이트하기 위한 희소 수정가능 비트 길이 결정 펄스 생성
US20200380349A1 (en) Auto Weight Scaling for RPUs
JP2024502785A (ja) 隠れ行列訓練ｄｎｎのフィルタリング
US20220327375A1 (en) Training dnn by updating an array using a chopper
KR20230005309A (ko) 아날로그 인공지능 네트워크 추론을 위한 행별 컨볼루션 신경망 매핑을 위한 효율적 타일 매핑
US20240135166A1 (en) Dnn training algorithm with dynamically computed zero-reference
US20220138579A1 (en) Weight repetition on rpu crossbar arrays
Pavlíček Škálovatelná reprezentace neuronových sítí
Pavlíček Scalable Representations of Neural Networks
Probst A neural implementation of probabilistic inference in binary probability spaces
Kuruvada Memory storage in a variable threshold artificial neural network

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240116

R150 Certificate of patent or registration of utility model

Ref document number: 7422782

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150