JP2019040414A - 学習装置及び学習方法 - Google Patents
学習装置及び学習方法 Download PDFInfo
- Publication number
- JP2019040414A JP2019040414A JP2017162185A JP2017162185A JP2019040414A JP 2019040414 A JP2019040414 A JP 2019040414A JP 2017162185 A JP2017162185 A JP 2017162185A JP 2017162185 A JP2017162185 A JP 2017162185A JP 2019040414 A JP2019040414 A JP 2019040414A
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- learning
- range
- unit
- propagation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
【課題】効率的な学習を実現することができる。【解決手段】学習装置10は、深層学習のパラメータを量子化する学習装置であって、パラメータの値域を制約した状態で信号を伝播させる順伝播部11と、値域を制約されたパラメータによる誤差を伝播させる逆伝播部12と、パラメータを二値に収束させる正則化項を有する演算式を用いて、逆伝播部が伝播させた誤差を基にパラメータを更新するパラメータ更新部13と、を有し、効率的な学習を実現する。【選択図】図1
Description
本発明は、学習装置及び学習方法に関する。
深層学習は、識別や回帰などのタスクにおいて、観測データを用いることによって目標となる値が出力されるようにモデルのパラメータを最適化する。これが学習であり、この学習を経て未知データに対しても予測が行えるようになる。
このような深層学習は、高度な予測を行うために、モデルに膨大な量のパラメータを持たせている。そこで、従来、パラメータの数を減らさずにビット幅を落とすことで省メモリ化するアルゴリズムが提案されてきた。
例えば、近年、パラメータの値を1ビットに落とす二値化手法であるBinaryConnectが提案されている(例えば、非特許文献1参照)。このBinaryConnectでは、パラメータを最適化する際に、階段状の関数を用いることで強制的に±1の値に丸め込んでいる。しかしながら、この処理を行うことによって、BinaryConnectでは、微分不可能な状態となってしまう。本来、深層学習の最適化には確率的勾配降下法をベースとした誤差逆伝播法が用いられており、勾配の導出には一次微分する必要がある。
このため、BinaryConnectでは、Straight-Through Estimatorのように階段状の関数を一次直線とみなすことで強制的に誤差逆伝播法を用いている。また、Expectation Backpropagation(EBP)のようにベイズ的アプローチを応用することで誤差逆伝播法を用いない手法(例えば、非特許文献2参照)も提案されている。他にも、パラメータだけでなく出力値も二値化するBinaryNet(例えば、非特許文献3参照)や、行列の近似分解で二値化するXnorNet(例えば、非特許文献4参照)、0の値も許容して三値化するTWN(例えば、非特許文献5参照)など、近年様々な手法が提案されているが、いずれも誤差逆伝播法が正しく用いられていない。
M. Courbariaux, Y. Bengio, and J. P. David, "BinaryConnect: Training Deep Neural Networks with binary weights during propagations", Advances in Neural Information Processing Systems, pp.3105-3113, 2015.
D. Soudry, I. Hubara, and R. Meir, "Expectation Backpropagation: Parameter-Free Training of Multilayer Neural Networks with Continuous or Discrete Weights", Advances in Neural Information Processing Systems, pp.963-971, 2014.
M. Courbariaux, I. Hubara, D. Soudry, R. El-Yaniv, and Y. Bengio, "Binarized Neural Networks:Training Neural Networks with Weights and Activations Constrained to +1 or -1", Advances in Neural Information Processing Systems, pp.4107-4115, 2016.
M. Rastegari, V. Ordonez, J. Redmon, and A. Farhadi, "XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks", Proceedings of the 14th European Conference on Computer Vision, pp.525-542, 2016.
F. Li, B. Zhang, and B. Liu, "Ternary Weight networks", arXiv preprint arXiv:1605.04711, 2016.
このように、BinaryConnectをはじめ様々な二値化手法では厳密な勾配が求まらないため、予測精度の低下が生じる。また、これらの手法では、通常とは異なった学習率や最適化スケジューリングのテクニックが求められる。以上のことから、従来の手法では、量子化するにあたり効率的な学習が行えないという問題がある。
本発明は、上記に鑑みてなされたものであって、効率的な学習を実現することができる学習装置及び学習方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る学習装置は、深層学習のパラメータを量子化する学習装置であって、パラメータの値域を制約した状態で信号を伝播させる順伝播部と、値域を制約されたパラメータによる誤差を伝播させる逆伝播部と、パラメータを二値に収束させる正則化項を有する演算式を用いて、逆伝播部が伝播させた誤差を基にパラメータを更新するパラメータ更新部と、を有することを特徴とする。
また、本発明に係る学習方法は、深層学習のパラメータを量子化する学習装置が実行する学習方法であって、パラメータの値域を制約した状態で信号を伝播させる順伝播工程と、値域を制約されたパラメータによる誤差を伝播させる逆伝播工程と、パラメータを二値に収束させる正則化項を有する演算式を用いて、誤差を基にパラメータを更新するパラメータ更新工程と、を含んだことを特徴とする。
本発明によれば、効率的な学習を実現することができる。
以下、図面を参照して、本発明の一実施の形態を詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
[主な記号の定義]
実施の形態で用いる主な記号を下表に示す。以下の各説明において、同一の記号を用いる。
実施の形態で用いる主な記号を下表に示す。以下の各説明において、同一の記号を用いる。
[従来の数理的背景]
まず、以降の説明において必要となる背景知識を説明する。深層学習は、基本的に、多層に積み重なったパーセプトロンで構成されている。各層のパーセプトロンの内部では、前の層から入力された信号に対して重み値と積和し、それを活性化関数に与えて得られた信号を次の層に出力することが行われている。この計算を入力層から出力層に掛けて順に信号を伝播させることで予測値を得ることができる。この深層学習において高い予測性能を得るためには、最適な重み値を用意する必要がある。
まず、以降の説明において必要となる背景知識を説明する。深層学習は、基本的に、多層に積み重なったパーセプトロンで構成されている。各層のパーセプトロンの内部では、前の層から入力された信号に対して重み値と積和し、それを活性化関数に与えて得られた信号を次の層に出力することが行われている。この計算を入力層から出力層に掛けて順に信号を伝播させることで予測値を得ることができる。この深層学習において高い予測性能を得るためには、最適な重み値を用意する必要がある。
ここで、深層学習では、重みをパラメータとした最適化問題として解くことができる。具体的には、深層学習では、解きたい問題の誤差関数を最小化するようにモデルを観測データから学習する。しかしながら、深層学習のパラメータ数は膨大であるという問題がある。そこで、近年、パラメータのとれる値を±1の二値に限定的にすることでパラメータの数を変えずにメモリ消費量を下げる研究が進んでいる。この際、パラメータwは、以下の(1)式のように丸め込まれる。
この(1)式では、sign関数によって強制的に離散化されるため、数学的に最適化不可能になる。そこで、既存手法は、特殊な操作をすることによってパラメータの最適化を行っている。
[本実施の形態]
そこで、本実施の形態に係る学習装置では、微分可能な関数である連続関数を用いることによって、従来必要であった特殊な操作を行わずとも、パラメータの最適化を可能とする。その際、本実施の形態では、正則化処理により徐々に二値に収束させる。したがって、本実施の形態では、深層学習のモデルを量子化する際、丸め込みを行わずにパラメータを二値に収束させることができる。
そこで、本実施の形態に係る学習装置では、微分可能な関数である連続関数を用いることによって、従来必要であった特殊な操作を行わずとも、パラメータの最適化を可能とする。その際、本実施の形態では、正則化処理により徐々に二値に収束させる。したがって、本実施の形態では、深層学習のモデルを量子化する際、丸め込みを行わずにパラメータを二値に収束させることができる。
図1は、本実施の形態に係る学習装置の構成の一例を示すブロック図である。図1に示すように、本実施の形態に係る学習装置10は、順伝播部11、逆伝播部12及びパラメータ更新部13を有する。本実施の形態に係る学習装置10は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、CPU(Central Processing Unit)等を含むコンピュータ等に所定のプログラムが読み込まれて、CPUが所定のプログラムを実行することで実現される。この学習装置10は、深層学習のパラメータを量子化する学習装置であって、内部でパラメータの最適化を行う。学習装置10は、観測データ、正解ベクトル、ハイパーパラメータ、更新前のパラメータ及び層の数を入力として受け取り、更新後のパラメータを出力する。
順伝播部11は、更新前のパラメータの値域を制約した状態で信号を伝播させる。順伝播部11は、更新前のパラメータの値域を、微分可能な関数を用いて制約した状態で信号を伝播させる。順伝播部11は、tanh関数を用いてパラメータの値域を[−1,+1]間に制約する。さらに、順伝播部11は、活性化関数にもtanh関数を用いて出力値を同様に制約している。このように、順伝播部11は、パラメータをハイボリックタンジェントと設定することで微分可能な関数で射影する。
逆伝播部12は、値域を制約されたパラメータによる誤差を伝播させる。tanh関数は、微分可能な関数であるため、逆伝播部12は、微分の連鎖率による確率的勾配降下法を用いて、パラメータによる誤差を導出している。
パラメータ更新部13は、パラメータを二値に収束させる正則化項を持ち、逆伝播部12が伝播させた誤差を用いてパラメータを更新する。この際、パラメータ更新部13は、sin関数項を正則化項として用いている。これにより、パラメータが{−1,+1}の二値の時を除き、罰則が働く。このため、パラメータ更新部13の処理では、必要なパラメータのみが{−1,+1}の二値に収束し、それ以外のパラメータは0に収束し、スパース化される。このように、パラメータ更新部13は、正則化項をsin関数とすることでパラメータを二値に収束させる。
このパラメータ更新部13、逆伝播部12及びパラメータ更新部13による処理は、パラメータの更新が無くなるまで繰り返される。
[学習アルゴリズム]
次に、学習装置10が使用する学習アルゴリズムについて説明する。図2は、図1に示す学習装置10が使用する学習アルゴリズムを示す図である。
次に、学習装置10が使用する学習アルゴリズムについて説明する。図2は、図1に示す学習装置10が使用する学習アルゴリズムを示す図である。
図2に示すように、学習アルゴリズムでは、まず、観測データX、正解ベクトルD、ハイパーパラメータα,β,ε,λ、更新前のパラメータWt及び層の数lを入力として受け取る。そして、学習アルゴリズムは、以下の処理を行うことによって、更新後のパラメータWt+1を出力する。
まず、順伝播部11による順伝播処理(図2の1参照)について説明する。順伝播部11は、図2の1に示すように、順伝播処理として、tanh関数を用いてパラメータWt (i)の値域を[−1,+1]間に制約する処理を行う。さらに、順伝播部11は、活性化関数にもtanh関数を用いて、出力値を同様に[−1,+1]間に制約する処理を行う(図2の2〜5行目)。
続いて、逆伝播部12による逆伝播処理(図2の2参照)について説明する。前段の順伝播処理において、パラメータWt (i)が微分可能な関数であるtanh関数を用いて制約される。そこで、逆伝播部12は、図2の2に示すように、値域を制約されたパラメータWt (i)を基に、微分の連鎖率による確率的勾配降下法を用いてパラメータによる誤差∇Wt (i)を導出する(図2の7〜12行目)。
そして、パラメータ更新部13によるパラメータ更新処理(図2の3参照)について説明する。パラメータ更新部13は、逆伝播部12が導出した誤差∇Wt (i)を用いてパラメータWt (i)を更新する。その際、パラメータ更新部13は、sin関数項を正則化項として用いている(図2の14行目)。これによって、パラメータWt (i)が{−1,+1}の二値の時を除き罰則が働く。このため、必要なパラメータのみが{−1,+1}の二値に収束し、それ以外のパラメータは0に収束し、スパース化される。学習装置10は、このアルゴリズムを、パラメータの更新が無くなるまで繰り返す。
[学習処理の処理手順]
次に、実施の形態に係る学習処理の処理手順について説明する。図3は、実施の形態に係る学習処理の処理手順を示すフローチャートである。
次に、実施の形態に係る学習処理の処理手順について説明する。図3は、実施の形態に係る学習処理の処理手順を示すフローチャートである。
図3に示すように、学習装置10は、まず、観測データX、正解ベクトルD、ハイパーパラメータα,β,ε,λ、更新前のパラメータWt及び層の数lを入力として受け取り(ステップS1)、順伝播部11が、パラメータの値域を制約した状態で信号を伝播させる順伝播処理を行う(ステップS2)。この際、順伝播部11は、更新前のパラメータの値域を、微分可能な関数、具体的には、tanh関数を用いて制約した状態で信号を伝播させる。
続いて、逆伝播部12は、値域を制約されたパラメータによる誤差を伝播させる逆伝播処理を行う(ステップS3)。この際、逆伝播部12は、微分の連鎖率による確率的勾配降下法を用いてパラメータによる誤差を導出する。
そして、パラメータ更新部13は、sin関数項を正則化項として用いてパラメータを{−1,+1}二値に収束させることで、逆伝播部12が伝播させた誤差を基にパラメータを更新するパラメータ更新処理を行い(ステップS4)、更新後のパラメータWt+1を出力して、処理を終了する。
[実施の形態の効果]
本実施の形態では、深層学習のモデルを量子化する際に、パラメータの値域を制約した状態で信号を伝播させ、値域を制約されたパラメータによる誤差を導出し、パラメータを二値に収束させる正則化項を有する演算式を用いて、誤差を基にパラメータを更新する。この場合、本実施の形態では、正則化項を有する演算式を用いた処理によりパラメータを徐々に二値に収束させる。
本実施の形態では、深層学習のモデルを量子化する際に、パラメータの値域を制約した状態で信号を伝播させ、値域を制約されたパラメータによる誤差を導出し、パラメータを二値に収束させる正則化項を有する演算式を用いて、誤差を基にパラメータを更新する。この場合、本実施の形態では、正則化項を有する演算式を用いた処理によりパラメータを徐々に二値に収束させる。
このため、本実施の形態では、従来必要であった特殊な操作を行わずとも、正則化項を有する演算式を用いた処理を行うのみでパラメータを最適化でき、効率的な学習を実現することができる。また、本実施の形態では、必要十分なパラメータのみを二値にし、それ以外を0に収束させるため、スパース化による汎化性能の向上が期待できる。さらに、本実施の形態は、既存の深層学習の手法に、本実施の形態に係る学習処理として説明した計算部分を新たに付け足すだけでよいため、タスクを選ばずに実行が可能である。
そして、本実施の形態では、パラメータの値域を、微分可能な関数であるtanh関数を用いて制約することで、パラメータによる誤差の導出において微分の連鎖率による確率的勾配降下法の適用が可能となる。したがって、本実施の形態によれば、正確に勾配を求めることができるため、効率的にパラメータを最適化でき、効率的な学習を実現することができる。また、本実施の形態では、微分可能な関数である連続関数を用いることによって、従来必要であった特殊な操作を行わずとも、パラメータの最適化を適切に実行することができる。また、本実施の形態では、正則化項をsin関数とすることで、パラメータを{−1,+1}の二値に収束させることができる。したがって、本実施の形態によれば、パラメータを1bitにすることで、メモリ消費量を削減することができる。
[実施形態のシステム構成について]
図1に示した学習装置10の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、学習装置10の機能の分散および統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。
図1に示した学習装置10の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、学習装置10の機能の分散および統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。
また、学習装置10においておこなわれる各処理は、全部または任意の一部が、CPUおよびCPUにより解析実行されるプログラムにて実現されてもよい。また、学習装置10においておこなわれる各処理は、ワイヤードロジックによるハードウェアとして実現されてもよい。
また、実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的に行うこともできる。もしくは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上述および図示の処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて適宜変更することができる。
[プログラム]
図4は、プログラムが実行されることにより、学習装置10が実現されるコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
図4は、プログラムが実行されることにより、学習装置10が実現されるコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
メモリ1010は、ROM1011及びRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、例えばディスプレイ1130に接続される。
ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、学習装置10の各処理を規定するプログラムは、コンピュータ1000により実行可能なコードが記述されたプログラムモジュール1093として実装される。プログラムモジュール1093は、例えばハードディスクドライブ1090に記憶される。例えば、学習装置10における機能構成と同様の処理を実行するためのプログラムモジュール1093が、ハードディスクドライブ1090に記憶される。なお、ハードディスクドライブ1090は、SSD(Solid State Drive)により代替されてもよい。
また、上述した実施の形態の処理で用いられる設定データは、プログラムデータ1094として、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020が、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して実行する。
なお、プログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。あるいは、プログラムモジュール1093及びプログラムデータ1094は、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール1093及びプログラムデータ1094は、他のコンピュータから、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
以上、本発明者によってなされた発明を適用した実施の形態について説明したが、本実施の形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
10 学習装置
11 順伝播部
12 逆伝播部
13 パラメータ更新部
11 順伝播部
12 逆伝播部
13 パラメータ更新部
Claims (4)
- 深層学習のパラメータを量子化する学習装置であって、
前記パラメータの値域を制約した状態で信号を伝播させる順伝播部と、
値域を制約された前記パラメータによる誤差を伝播させる逆伝播部と、
前記パラメータを二値に収束させる正則化項を有する演算式を用いて、前記逆伝播部が伝播させた誤差を基に前記パラメータを更新するパラメータ更新部と、
を有することを特徴とする学習装置。 - 前記順伝播部は、前記パラメータの値域を、微分可能な関数を用いて制約した状態で信号を伝播させ、
前記逆伝播部は、微分の連鎖率による確率的勾配降下法を用いて、前記パラメータによる誤差を導出することを特徴とする請求項1に記載の学習装置。 - 前記順伝播部は、tanh関数を用いて、前記パラメータの値域を[−1,+1]間に制約した状態で信号を伝播させ、
前記パラメータ更新部は、sin関数項を正則化項として有する演算式を用いて、前記パラメータを{−1,+1}の二値に収束させることを特徴とする請求項1または2に記載の学習装置。 - 深層学習のパラメータを量子化する学習装置が実行する学習方法であって、
前記パラメータの値域を制約した状態で信号を伝播させる順伝播工程と、
値域を制約された前記パラメータによる誤差を伝播させる逆伝播工程と、
前記パラメータを二値に収束させる正則化項を有する演算式を用いて、前記誤差を基に前記パラメータを更新するパラメータ更新工程と、
を含んだことを特徴とする学習方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017162185A JP2019040414A (ja) | 2017-08-25 | 2017-08-25 | 学習装置及び学習方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017162185A JP2019040414A (ja) | 2017-08-25 | 2017-08-25 | 学習装置及び学習方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019040414A true JP2019040414A (ja) | 2019-03-14 |
Family
ID=65727376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017162185A Pending JP2019040414A (ja) | 2017-08-25 | 2017-08-25 | 学習装置及び学習方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019040414A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110223553A (zh) * | 2019-05-20 | 2019-09-10 | 北京师范大学 | 一种答题信息的预测方法及系统 |
CN110837886A (zh) * | 2019-10-28 | 2020-02-25 | 北京工业大学 | 一种基于elm-sl0神经网络的出水nh4-n软测量方法 |
CN111626434A (zh) * | 2020-05-15 | 2020-09-04 | 浪潮电子信息产业股份有限公司 | 一种分布式训练参数更新方法、装置、设备及存储介质 |
WO2023228901A1 (ja) * | 2022-05-26 | 2023-11-30 | 三菱重工業株式会社 | 状態量予測装置、状態量予測方法、状態量予測システム、及び状態量予測システムの制御方法 |
-
2017
- 2017-08-25 JP JP2017162185A patent/JP2019040414A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110223553A (zh) * | 2019-05-20 | 2019-09-10 | 北京师范大学 | 一种答题信息的预测方法及系统 |
CN110837886A (zh) * | 2019-10-28 | 2020-02-25 | 北京工业大学 | 一种基于elm-sl0神经网络的出水nh4-n软测量方法 |
CN111626434A (zh) * | 2020-05-15 | 2020-09-04 | 浪潮电子信息产业股份有限公司 | 一种分布式训练参数更新方法、装置、设备及存储介质 |
CN111626434B (zh) * | 2020-05-15 | 2022-06-07 | 浪潮电子信息产业股份有限公司 | 一种分布式训练参数更新方法、装置、设备及存储介质 |
WO2023228901A1 (ja) * | 2022-05-26 | 2023-11-30 | 三菱重工業株式会社 | 状態量予測装置、状態量予測方法、状態量予測システム、及び状態量予測システムの制御方法 |
TWI848719B (zh) * | 2022-05-26 | 2024-07-11 | 日商三菱重工業股份有限公司 | 狀態量預測裝置、狀態量預測方法、狀態量預測系統、以及狀態量預測系統的控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chaudhari et al. | Deep relaxation: partial differential equations for optimizing deep neural networks | |
CN110598838B (zh) | 统计感知权重量化 | |
CN109657805B (zh) | 超参数确定方法、装置、电子设备及计算机可读介质 | |
US10963783B2 (en) | Technologies for optimized machine learning training | |
JP2019040414A (ja) | 学習装置及び学習方法 | |
CN113361680B (zh) | 一种神经网络架构搜索方法、装置、设备及介质 | |
US20130204819A1 (en) | Methods and apparatus for spiking neural computation | |
US20200293876A1 (en) | Compression of deep neural networks | |
US20130204814A1 (en) | Methods and apparatus for spiking neural computation | |
US20130204820A1 (en) | Methods and apparatus for spiking neural computation | |
US10902311B2 (en) | Regularization of neural networks | |
US11449731B2 (en) | Update of attenuation coefficient for a model corresponding to time-series input data | |
Gao et al. | Post: Device placement with cross-entropy minimization and proximal policy optimization | |
US20200311541A1 (en) | Metric value calculation for continuous learning system | |
EP4055512A1 (en) | Methods and systems for the estimation of the computational cost of simulation | |
Imani et al. | Multiple model adaptive controller for partially-observed Boolean dynamical systems | |
KR20210039921A (ko) | 신경망 모델을 최적화하도록 구성된 심층 신경망 시스템의 동작 방법 | |
Hegazy et al. | A mapreduce fuzzy techniques of big data classification | |
Cristian et al. | End-to-end learning for optimization via constraint-enforcing approximators | |
US11429858B2 (en) | Deep learning experiment content generation based on single design | |
Zheng | Boosting based conditional quantile estimation for regression and binary classification | |
Petschenig et al. | Quantized rewiring: hardware-aware training of sparse deep neural networks | |
US20210192341A1 (en) | Learning device, learning method, and learning program | |
Maile et al. | Neural growth and pruning in dynamic learning environments | |
EP4198831A1 (en) | Automated feature engineering for predictive modeling using deep reinforcement learning |