JP2022536567A - ニューラルネットワークのトレーニング中のデータスパース性の監視 - Google Patents
ニューラルネットワークのトレーニング中のデータスパース性の監視 Download PDFInfo
- Publication number
- JP2022536567A JP2022536567A JP2021536382A JP2021536382A JP2022536567A JP 2022536567 A JP2022536567 A JP 2022536567A JP 2021536382 A JP2021536382 A JP 2021536382A JP 2021536382 A JP2021536382 A JP 2021536382A JP 2022536567 A JP2022536567 A JP 2022536567A
- Authority
- JP
- Japan
- Prior art keywords
- sparsity
- monitoring
- monitor
- intermediate data
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 245
- 238000012549 training Methods 0.000 title claims abstract description 178
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000008569 process Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000012806 monitoring device Methods 0.000 claims abstract 6
- 230000006266 hibernation Effects 0.000 claims description 75
- 230000007704 transition Effects 0.000 claims description 21
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000000368 destabilizing effect Effects 0.000 claims 3
- 238000012935 Averaging Methods 0.000 claims 2
- 230000000087 stabilizing effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 230000004913 activation Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3495—Performance evaluation by tracing or monitoring for systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
- G06N3/105—Shells for specifying net layout
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
- Image Analysis (AREA)
Abstract
Description
以下の説明では、様々な用語が、実施形態を説明するために使用される。以下に、これらの用語のいくつかを簡単且つ一般的に説明する。用語は、明確さ及び簡潔さのために、本明細書に記載されていない重要な追加的態様を有してもよい。したがって、説明は、用語を限定することを意図しないことに留意されたい。
上述したように、ニューラルネットワークは、特定のタスクを実施するようにトレーニングされた内部要素(すなわち、ノード及び有向エッジ)を含む計算構造である。図1は、いくつかの実施形態による、入力ノード102と、層110,112内の中間ノード104と、出力ノード106と、有向エッジ108と、を含むニューラルネットワーク100を示すブロック図である(分かりやすくするために、2つの有向エッジ及び層のみにラベル付けされている)。
説明する実施形態では、電子デバイス内のスパース性監視装置は、ニューラルネットワークのトレーニングプロセスのトレーニング反復中に、ニューラルネットワーク内の中間ノードによって出力された中間データ内のスパース性を監視する。監視のために、スパース性監視装置は、ニューラルネットワーク内の中間ノードの少なくとも一部から出力された中間データを取得する。次に、スパース性監視装置は、取得された中間データを分析して、スパース性、すなわち、ゼロ(又は、別の特定の値)に等しい中間データを決定する。分析の一部として、スパース性監視装置は、中間データのスパース性特性を表す値を生成する。例えば、スパース性監視装置は、スパース性特性を表す値として、特定の数のトレーニング反復等に対して1つ以上の中間ノードからの中間データの現在のスパース性、平均又は中央のスパース性を表す値を生成し得る。次に、スパース性監視装置は、スパース性特性を表す値を電子デバイス内のプロセッサに送信する。プロセッサは、スパース性特性を表す値に少なくとも部分的に基づいて、後続のトレーニング反復を実行する1つ以上の態様を制御する。例えば、プロセッサは、スパース性特性に基づいて、後続のトレーニング反復に対して実施される計算のタイプ、後続のトレーニング反復に対して中間データを圧縮してメモリに記憶するために使用される圧縮のタイプ等を決定し、構成し得る。
説明する実施形態では、電子デバイスは、特に、ニューラルネットワークのためのトレーニングプロセスのトレーニング反復中に中間データ内のスパース性を決定するための動作を実施する。図2は、いくつかの実施形態による、電子デバイス200を示すブロック図である。図2から分かるように、電子デバイス200は、プロセッサ202と、メモリ204と、スパース性監視装置206と、を含む。一般に、プロセッサ202、メモリ204及びスパース性監視装置206は、ハードウェアにおいて、すなわち、様々な回路要素及びデバイスを使用して実装される。例えば、プロセッサ202、メモリ204及びスパース性監視装置206は、例えば、1つ以上の個別の半導体チップ等のように、1つ以上の半導体チップ上に全体的に製造することができ、ディスクリート回路要素と組み合わせて半導体チップから製造することができ、ディスクリート回路要素のみから製造することができる等である。本明細書で説明するように、プロセッサ202、メモリ204及びスパース性監視装置206のうち一部又は全ては、中間データのスパース性を決定することに関連する動作を実施する。
説明する実施形態では、スパース性監視装置(例えば、スパース性監視装置206)は、「監視期間」及び「監視間隔」を使用して、ニューラルネットワークのためのトレーニング反復に対して中間データ内のスパース性を監視する。図4は、いくつかの実施形態による、監視期間400及び監視間隔402を示すタイムライン図である。スケジューラ306は、アクティブモード中に、個々の中間ノード又はそのグループについて図4に示す監視期間及び監視間隔に類似する監視期間及び監視間隔を使用し得る。その場合、監視期間は、中間データのスパース性の安定性に基づいて動的に調整される。対照的に、ハイバネーションモード中、監視期間は、全ての中間ノードについて全て同じ長さである。
説明する実施形態では、スパース性監視装置(例えば、スパース性監視装置206)は、中間データ内のスパース性を監視するための様々なデータ及び情報を受信し、生成する。図5は、いくつかの実施形態による、スパース性監視装置との間のデータ及び情報の流れを示すブロック図である。図5は、いくつかの実施形態の一例として示されており、他の実施形態では、異なる機能ブロックが、データ及び情報の一部又は全てを受信及び生成することに留意されたい。加えて、ニューラルネットワーク502は、ニューラルネットワーク100の表現に類似する簡略的な表現を使用して図5に示されているが、ニューラルネットワーク502は、対応するタイプ及び接続性のノードを備えた、畳み込みニューラルネットワーク、ラジアルベースのネットワーク、リカレントニューラルネットワーク等の異なる構成及び/又はタイプのノードを含み得る。
いくつかの実施形態では、スパース性監視装置(例えば、スパース性監視装置206)は、ニューラルネットワークのトレーニングプロセスのトレーニング反復中に中間データのスパース性を監視する場合に、アクティブモード及びハイバネーションモードのうち一方で動作する。図6は、いくつかの実施形態による、様々な動作モード間の遷移を示す状態図である。図6から分かるように、スパース性監視装置が動作することができる状態には、オフ600、アクティブモード602及びハイバネーションモード604が含まれる。オフ600では、スパース性監視装置は、電子デバイス200がトレーニングデータのインスタンスを処理しない場合、シャットダウンされている場合、及び/又は、スパース性監視装置が低電力モード(ただし、スパース性監視装置は、少なくともいくつかの機能を保持し得る)にある場合等に、中間データ内のスパース性を監視しない。スパース性監視装置は、スパース性監視装置に電力が印加される場合等に「オン」信号を受信した場合に、スパース性の監視を始動/再始動するためにプロセッサ(例えば、プロセッサ202)から要求を受信した場合、プロセッサによってトレーニングデータのインスタンス/トレーニング反復の処理を検出した場合等に、オフ600からアクティブモード602に(又は、代替的に、いくつかの実施形態ではハイバネーションモード604に)遷移する。スパース性監視装置は、スパース性監視装置への電力がシャットオフされた場合等に「オフ」信号を受信した場合、スパース性の監視を停止させるためにプロセッサ(例えば、プロセッサ202)から要求を受信した場合、プロセッサによってトレーニングデータのインスタンス/トレーニング反復の処理を検出しなかった場合等に、アクティブモード602又はハイバネーションモード604からオフ600に遷移する。
図9は、いくつかの実施形態による、ニューラルネットワークのためのトレーニングプロセスのトレーニング反復中に中間データ内のスパース性を監視するためのプロセスを示すフローチャートである。図9に示す動作は、いくつかの実施形態によって実施される動作の一般的な例として示されていることに留意されたい。他の実施形態によって実施される動作には、異なる動作、異なる順序で実施される動作、及び/又は、異なるエンティティ若しくは機能ブロックによって実施される動作が含まれる。
図10A~図10Bは、いくつかの実施形態による、スパース性監視装置(例えば、スパース性監視装置206)においてアクティブモード及びハイバネーションモードを使用するためのプロセスを示すフローチャートである。図10A~図10Bに示す動作は、いくつかの実施形態によって実施される動作の一般的な例として示されることに留意されたい。他の実施形態によって実施される動作には、異なる動作、異なる順序で実施される動作、及び/又は、異なるエンティティ若しくは機能ブロックによって実施される動作が含まれる。
図11は、いくつかの実施形態による、スパース性監視装置による監視間隔の高速終了のためのプロセスを示すフローチャートである。図11に示す動作は、いくつかの実施形態によって実施される動作の一般的な例として示されていることに留意されたい。他の実施形態によって実施される動作には、異なる動作、異なる順序で実施される動作、及び/又は、異なるエンティティ若しくは機能ブロックによって実施される動作が含まれる。
Claims (23)
- ニューラルネットワークのトレーニングプロセス中にトレーニング反復を実行するように構成されたプロセッサであって、各トレーニング反復は、前記ニューラルネットワークを介してトレーニングデータの個別のインスタンスを処理することを含む、プロセッサと、
スパース性監視装置と、を備え、
前記スパース性監視装置は、
1つ以上の監視期間の各々における監視間隔中に、各監視間隔中に発生するトレーニング反復中に前記ニューラルネットワークの少なくともいくつかの中間ノードによって出力された中間データを取得することと、
前記中間データに少なくとも部分的に基づいて、前記中間データについてのスパース性特性を表す1つ以上の値を生成することと、
前記スパース性特性を表す1つ以上の値を、前記スパース性特性を表す1つ以上の値に少なくとも部分的に基づいて後続のトレーニング反復を実行する1つ以上の態様を制御するように構成された前記プロセッサに送信することと、
を行うように構成されている、
電子デバイス。 - 前記スパース性監視装置は、アクティブモードで動作するように構成されており、
前記スパース性監視装置は、前記アクティブモード中に、
前記中間ノードのうち少なくともいくつかの中間ノード毎に、2つ以上の監視間隔からの前記スパース性特性を表す1つ以上の値に基づいて、前記スパース性特性が前記2つ以上の監視間隔の間でアクティブモード閾値量を上回って変化したかどうかを判別することと、
前記スパース性特性が前記閾値量を上回って変化しておらず、これにより前記スパース性が安定である場合に、その中間ノードについての後続の監視期間についての監視期間の長さを増加させることであって、前記監視期間の長さは、ハイバネーションモード監視期間の最大の長さまで増加される、ことと、
を行うように構成されている、
請求項1の電子デバイス。 - 前記スパース性監視装置は、
前記スパース性特性が、中間ノードについて前記閾値量を上回って変化しており、これにより前記スパース性が不安定である場合に、前記監視期間の現在の長さを保持すること、又は、その中間ノードについての後続の監視期間についての監視期間の長さを減少させることであって、前記監視期間の長さは、最小のアクティブモード初期値まで減少される、ことを行うように構成されている、
請求項2の電子デバイス。 - 前記後続の監視期間についての監視期間の長さを増加させることは、異なる中間ノードが前記アクティブモードにおいて異なる監視期間を有することができるように、前記ニューラルネットワーク内の個々の中間ノードについての監視期間の長さを個別に増加させることを含む、
請求項2の電子デバイス。 - 前記スパース性監視装置は、前記アクティブモードで動作している間に、
前記監視期間の長さが、前記中間ノードのうち少なくともいくつかの全てについて前記ハイバネーションモード監視期間の長さに増加されており、前記中間ノードのうち少なくともいくつかの各々によって出力された中間データが中間データスパース性閾値未満である場合に、前記スパース性監視装置をハイバネーションモードに遷移させることを行うように構成されており、
前記スパース性監視装置は、前記ハイバネーションモードにおいて、全ての中間ノードについての監視期間の長さを、前記ハイバネーションモード監視期間の長さに留める、
請求項2の電子デバイス。 - 前記スパース性監視装置は、前記ハイバネーションモードで動作している間に、
前記中間ノードのうち少なくともいくつかの中間ノード毎に、2つ以上の監視間隔からの前記スパース性特性を表す1つ以上の値に基づいて、前記スパース性特性が前記2つ以上の監視間隔の間で前記アクティブモード閾値量を上回って変化したかどうかを判別することと、
前記スパース性特性が、特定数の中間ノードについて前記閾値量を上回って変化しており、これにより前記スパース性が不安定である場合に、前記スパース性監視装置を前記アクティブモードに遷移させることであって、前記遷移させることは、前記監視期間の長さを、前記ハイバネーションモード監視期間よりも短いアクティブモード初期値に減少させることを含む、ことと、
を行うように構成されている、
請求項5の電子デバイス。 - 前記スパース性監視装置は、
前記中間ノードのうち少なくともいくつかの中間ノードについて、前記スパース性特性を表す値のうち1つ以上がスパース性閾値未満であり、これにより前記データがスパースではない場合に、その中間ノードについての現在の監視間隔を早期に終了させることによって、前記現在の監視間隔中に発生する前記トレーニング反復のうち少なくともいくつかの間にその中間ノードによって出力された前記中間データを取得しないように構成されている、
請求項1の電子デバイス。 - 前記中間データについてのスパース性特性を表す1つ以上の値を生成することは、1つ以上の監視間隔中に発生する2つ以上のトレーニング反復から取得された中間データを平均化することを含む、
請求項1の電子デバイス。 - 前記後続のトレーニング反復を実行する1つ以上の態様を制御することは、
前記スパース性特性を表す1つ以上の値がより高いスパース性を示す場合に、中間データを含む動作のために簡略化された計算を使用するように前記後続のトレーニング反復を構成することを含む、
請求項1の電子デバイス。 - 前記後続のトレーニング反復を実行する1つ以上の態様を制御することは、
前記スパース性特性を表す1つ以上の値がより高いスパース性を示す場合に、トレーニング反復中に前記中間データをメモリに記憶するために縮小又は圧縮データフォーマットを使用するように前記プロセッサを構成することを含む、
請求項1の電子デバイス。 - 前記中間データのスパース性特性を表す1つ以上の値は、複数のステージから選択された1つ以上のステージを含み、
前記複数のステージの各ステージは、前記中間データについての可能なスパース性値の範囲の対応する異なる部分を示す、
請求項1の電子デバイス。 - 前記スパース性特性を表す1つ以上の値は、2つ以上のトレーニングインスタンスについての前記中間データのスパース性の傾向又はパターンを含む、
請求項1の電子デバイス。 - 前記スパース性特性を表す1つ以上の値は、1つ以上のトレーニングインスタンスについての前記中間データのゼロブロック比を含む、
請求項1の電子デバイス。 - ニューラルネットワークのトレーニングプロセス中にトレーニング反復を実行するように構成されたプロセッサであって、各トレーニング反復は、前記ニューラルネットワークを介してトレーニングデータの個別のインスタンスを処理することを含む、プロセッサと、スパース性監視装置と、を備える電子デバイスにおいて、中間データ内のスパース性を監視するための方法であって、
前記スパース性監視装置によって、1つ以上の監視期間の各々における監視間隔中に、各監視間隔中に発生するトレーニング反復中に前記ニューラルネットワークの少なくともいくつかの中間ノードによって出力された中間データを取得することと、
前記スパース性監視装置によって、前記中間データに少なくとも部分的に基づいて、前記中間データについてのスパース性特性を表す1つ以上の値を生成することと、
前記スパース性監視装置によって、前記スパース性特性を表す1つ以上の値を、前記スパース性特性を表す1つ以上の値に少なくとも部分的に基づいて後続のトレーニング反復を実行する1つ以上の態様を制御するように構成された前記プロセッサに送信することと、を含む、
方法。 - 前記スパース性監視装置によって、アクティブモードで動作することであって、
前記スパース性監視装置は、前記アクティブモード中に、
前記中間ノードのうち少なくともいくつかの中間ノード毎に、2つ以上の監視間隔からの前記スパース性特性を表す1つ以上の値に基づいて、前記スパース性特性が前記2つ以上の監視間隔の間でアクティブモード閾値量を上回って変化したかどうかを判別することと、
前記スパース性特性が前記閾値量を上回って変化しておらず、これにより前記スパース性が安定である場合に、その中間ノードについての後続の監視期間についての監視期間の長さを増加させることであって、前記監視期間の長さは、ハイバネーションモード監視期間の最大の長さまで増加される、ことと、を行う、ことをさらに含む、
請求項14の方法。 - 前記後続の監視期間についての監視期間の長さを増加させることは、異なる中間ノードが前記アクティブモードにおいて異なる監視期間を有することができるように、前記ニューラルネットワーク内の個々の中間ノードについての監視期間の長さを個別に増加させることを含む、
請求項15の方法。 - 前記スパース性監視装置が、前記アクティブモードで動作している間に、
前記監視期間の長さが、前記中間ノードのうち少なくともいくつかの全てについて前記ハイバネーションモード監視期間の長さに増加されており、前記中間ノードのうち前記少なくともいくつかの各々によって出力された中間データが中間データスパース性閾値未満である場合に、前記スパース性監視装置をハイバネートモードに遷移させることをさらに含み、
前記スパース性監視装置は、全ての中間ノードについての監視期間の長さを、前記ハイバネーションモード監視期間の長さに留める、
請求項15の方法。 - 前記スパース性監視装置が、前記ハイバネーションモードで動作している間に、
前記中間ノードのうち少なくともいくつかの中間ノード毎に、2つ以上の監視間隔からの前記スパース性特性を表す1つ以上の値に基づいて、前記スパース性特性が前記2つ以上の監視間隔の間で前記アクティブモード閾値量を上回って変化したかどうかを判別することと、
前記スパース性特性が、特定数の中間ノードについて前記閾値量を上回って変化しており、これにより前記スパース性が不安定である場合に、前記スパース性監視装置を前記アクティブモードに遷移させることであって、前記遷移させることは、前記監視期間の長さを、前記ハイバネーションモード監視期間よりも短いアクティブモード初期値に減少させることを含む、ことと、をさらに含む、
請求項17の方法。 - 前記スパース性監視装置が、
前記中間ノードのうち少なくともいくつかの中間ノードについて、前記スパース性特性を表す値のうち1つ以上がスパース性閾値未満であり、これにより前記データがスパースではない場合に、その中間ノードについての現在の監視間隔を早期に終了させることによって、前記現在の監視間隔中に発生する前記トレーニング反復のうち少なくともいくつかの間にその中間ノードによって出力された前記中間データを取得しないことをさらに含む、
請求項14の方法。 - 前記中間データについてのスパース性特性を表す1つ以上の値を生成することは、1つ以上の監視間隔中に発生する2つ以上のトレーニング反復から取得された中間データを平均化することを含む、
請求項14の方法。 - 前記後続のトレーニング反復を実行する1つ以上の態様を制御することは、
前記スパース性特性を表す1つ以上の値がより高いスパース性を示す場合に、中間データを含む動作のために簡略化された計算を使用するように前記後続のトレーニング反復を構成することを含む、
請求項14の方法。 - 前記後続のトレーニング反復を実行する1つ以上の態様を制御することは、
前記スパース性特性を表す1つ以上の値がより高いスパース性を示す場合に、トレーニング反復中に前記中間データをメモリに記憶するために縮小又は圧縮データフォーマットを使用するように前記プロセッサを構成することを含む、
請求項14の方法。 - 前記中間データのスパース性特性を表す1つ以上の値は、複数のステージから選択された1つ以上のステージを含み、
前記複数のステージの各ステージは、前記中間データについての可能なスパース性値の範囲の対応する異なる部分を示す、
請求項14の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023139625A JP2023162348A (ja) | 2019-04-29 | 2023-08-30 | ニューラルネットワークのトレーニング中のデータスパース性の監視 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/397,283 US11562248B2 (en) | 2019-04-29 | 2019-04-29 | Data sparsity monitoring during neural network training |
US16/397,283 | 2019-04-29 | ||
PCT/US2020/030359 WO2020223278A1 (en) | 2019-04-29 | 2020-04-29 | Data sparsity monitoring during neural network training |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023139625A Division JP2023162348A (ja) | 2019-04-29 | 2023-08-30 | ニューラルネットワークのトレーニング中のデータスパース性の監視 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022536567A true JP2022536567A (ja) | 2022-08-18 |
JP7342128B2 JP7342128B2 (ja) | 2023-09-11 |
Family
ID=72917098
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021536382A Active JP7342128B2 (ja) | 2019-04-29 | 2020-04-29 | ニューラルネットワークのトレーニング中のデータスパース性の監視 |
JP2023139625A Pending JP2023162348A (ja) | 2019-04-29 | 2023-08-30 | ニューラルネットワークのトレーニング中のデータスパース性の監視 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023139625A Pending JP2023162348A (ja) | 2019-04-29 | 2023-08-30 | ニューラルネットワークのトレーニング中のデータスパース性の監視 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11562248B2 (ja) |
EP (1) | EP3963515A4 (ja) |
JP (2) | JP7342128B2 (ja) |
KR (1) | KR20210148072A (ja) |
CN (1) | CN113228060A (ja) |
WO (1) | WO2020223278A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11955167B2 (en) * | 2021-01-14 | 2024-04-09 | Northwestern University | Computing-in-memory accelerator design with dynamic analog RAM cell and associated low power techniques with sparsity management |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014199545A (ja) * | 2013-03-29 | 2014-10-23 | 富士通株式会社 | プログラム、並列演算方法および情報処理装置 |
JP2017520824A (ja) * | 2014-05-12 | 2017-07-27 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 共通特徴にわたる分類子の更新 |
US20180181864A1 (en) * | 2016-12-27 | 2018-06-28 | Texas Instruments Incorporated | Sparsified Training of Convolutional Neural Networks |
WO2019008661A1 (en) * | 2017-07-04 | 2019-01-10 | Nec Corporation | INFORMATION PROCESSING APPARATUS, CONTROL METHOD, AND PROGRAM |
US20190108436A1 (en) * | 2017-10-06 | 2019-04-11 | Deepcube Ltd | System and method for compact and efficient sparse neural networks |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8700552B2 (en) * | 2011-11-28 | 2014-04-15 | Microsoft Corporation | Exploiting sparseness in training deep neural networks |
US9507833B2 (en) * | 2012-05-29 | 2016-11-29 | Sas Institute Inc. | Systems and methods for quantile determination in a distributed data system |
US9728184B2 (en) * | 2013-06-18 | 2017-08-08 | Microsoft Technology Licensing, Llc | Restructuring deep neural network acoustic models |
JP6327926B2 (ja) * | 2014-04-30 | 2018-05-23 | 国立研究開発法人情報通信研究機構 | 階層型ニューラルネットワークの学習システム及び方法 |
US10614798B2 (en) * | 2016-07-29 | 2020-04-07 | Arizona Board Of Regents On Behalf Of Arizona State University | Memory compression in a deep neural network |
US10871964B2 (en) * | 2016-12-29 | 2020-12-22 | Qualcomm Incorporated | Architecture for sparse neural network acceleration |
CN107688850B (zh) * | 2017-08-08 | 2021-04-13 | 赛灵思公司 | 一种深度神经网络压缩方法 |
US20190081637A1 (en) * | 2017-09-08 | 2019-03-14 | Nvidia Corporation | Data inspection for compression/decompression configuration and data type determination |
US10482156B2 (en) * | 2017-12-29 | 2019-11-19 | Facebook, Inc. | Sparsity-aware hardware accelerators |
US11645529B2 (en) * | 2018-05-01 | 2023-05-09 | Hewlett Packard Enterprise Development Lp | Sparsifying neural network models |
US11403528B2 (en) * | 2018-05-31 | 2022-08-02 | Kneron (Taiwan) Co., Ltd. | Self-tuning incremental model compression solution in deep neural network with guaranteed accuracy performance |
US20200226473A1 (en) * | 2019-01-15 | 2020-07-16 | BigStream Solutions, Inc. | Systems, apparatus, methods, and architectures for heterogeneous precision acceleration of quantized neural networks |
-
2019
- 2019-04-29 US US16/397,283 patent/US11562248B2/en active Active
-
2020
- 2020-04-29 WO PCT/US2020/030359 patent/WO2020223278A1/en unknown
- 2020-04-29 KR KR1020217019514A patent/KR20210148072A/ko unknown
- 2020-04-29 EP EP20799262.9A patent/EP3963515A4/en active Pending
- 2020-04-29 CN CN202080007387.7A patent/CN113228060A/zh active Pending
- 2020-04-29 JP JP2021536382A patent/JP7342128B2/ja active Active
-
2023
- 2023-08-30 JP JP2023139625A patent/JP2023162348A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014199545A (ja) * | 2013-03-29 | 2014-10-23 | 富士通株式会社 | プログラム、並列演算方法および情報処理装置 |
JP2017520824A (ja) * | 2014-05-12 | 2017-07-27 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 共通特徴にわたる分類子の更新 |
US20180181864A1 (en) * | 2016-12-27 | 2018-06-28 | Texas Instruments Incorporated | Sparsified Training of Convolutional Neural Networks |
WO2019008661A1 (en) * | 2017-07-04 | 2019-01-10 | Nec Corporation | INFORMATION PROCESSING APPARATUS, CONTROL METHOD, AND PROGRAM |
US20190108436A1 (en) * | 2017-10-06 | 2019-04-11 | Deepcube Ltd | System and method for compact and efficient sparse neural networks |
Also Published As
Publication number | Publication date |
---|---|
US20200342327A1 (en) | 2020-10-29 |
JP2023162348A (ja) | 2023-11-08 |
JP7342128B2 (ja) | 2023-09-11 |
EP3963515A1 (en) | 2022-03-09 |
WO2020223278A1 (en) | 2020-11-05 |
KR20210148072A (ko) | 2021-12-07 |
EP3963515A4 (en) | 2023-01-25 |
US11562248B2 (en) | 2023-01-24 |
CN113228060A (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11481637B2 (en) | Configuring computational elements for performing a training operation for a generative adversarial network | |
Domke | Learning graphical model parameters with approximate marginal inference | |
US11226741B2 (en) | I/O behavior prediction based on long-term pattern recognition | |
CN111492381A (zh) | 神经网络的功能子网络的同时训练 | |
JP2023162348A (ja) | ニューラルネットワークのトレーニング中のデータスパース性の監視 | |
US11853594B2 (en) | Neural network computing chip and computing method | |
US11275558B2 (en) | Sorting instances of input data for processing through a neural network | |
US11880769B2 (en) | Using multiple functional blocks for training neural networks | |
US20200302283A1 (en) | Mixed precision training of an artificial neural network | |
CN113553150A (zh) | 一种云服务器集群负载预测方法、系统、终端以及存储介质 | |
US7925873B2 (en) | Method and apparatus for controlling operating parameters in a computer system | |
WO2024109593A1 (zh) | 基于量子生成对抗网络的图像生成方法及装置 | |
US20240047966A1 (en) | Systems, devices and methods for power management and power estimation | |
JP7207530B2 (ja) | 情報処理装置、作成方法および作成プログラム | |
US20230108177A1 (en) | Hardware-Aware Progressive Training Of Machine Learning Models | |
US20190354852A1 (en) | Stress indicators associated with instances of input data for training neural networks | |
US20220309290A1 (en) | Amplification of initial training data | |
CN116185568A (zh) | 一种容器扩容方法、装置、电子设备及存储介质 | |
Javed et al. | ApproxCT: Approximate clustering techniques for energy efficient computer vision in cyber-physical systems | |
US20230342216A1 (en) | System and method for inference model generalization for a distributed environment | |
CN107735800B (zh) | 一种图像处理方法以及相关装置 | |
Yik et al. | Input feature pruning for accelerating GNN inference on heterogeneous platforms | |
US11991240B2 (en) | System and method for reduction of data transmission by inference model optimization | |
US20230342641A1 (en) | System and method for reduction of data transmission by data reconstruction | |
US20230205658A1 (en) | Provided Inputs and Provided Output Actions for Use in Platform Management Policies for Platform Management Drivers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230830 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7342128 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |