JP2022545038A - リソース制約付きニューラルネットワークアーキテクチャ検索 - Google Patents
リソース制約付きニューラルネットワークアーキテクチャ検索 Download PDFInfo
- Publication number
- JP2022545038A JP2022545038A JP2022512432A JP2022512432A JP2022545038A JP 2022545038 A JP2022545038 A JP 2022545038A JP 2022512432 A JP2022512432 A JP 2022512432A JP 2022512432 A JP2022512432 A JP 2022512432A JP 2022545038 A JP2022545038 A JP 2022545038A
- Authority
- JP
- Japan
- Prior art keywords
- computational cell
- computational
- hyperparameters
- values
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 158
- 238000000034 method Methods 0.000 claims abstract description 81
- 230000006870 function Effects 0.000 claims abstract description 66
- 238000010801 machine learning Methods 0.000 claims abstract description 32
- 239000000203 mixture Substances 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 48
- 238000010200 validation analysis Methods 0.000 claims description 43
- 238000005457 optimization Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 5
- 238000007667 floating Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 22
- 230000001537 neural effect Effects 0.000 description 17
- 238000004590 computer program Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000012634 fragment Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 235000000332 black box Nutrition 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 244000068988 Glycine max Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Neurology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Feedback Control In General (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本明細書は、ニューラルネットワークのためのアーキテクチャを決定することに関する。
ニューラルネットワークは、受取った入力に関する出力を予測するために非線形ユニットの1つ以上の層を採用する機械学習モデルである。いくつかのニューラルネットワークは、出力層に加えて1つ以上の隠れ層を含む。各々の隠れ層の出力は、ネットワーク内の次の層、すなわち、次の隠れ層または出力層への入力としてを用いられる。ネットワークの各層は、パラメータのそれぞれのセットの現在値に従って、受取った入力から出力を生成する。
本明細書は、リソース制約下でのワンショット・ニューラルアーキテクチャ検索のためのエンド・ツー・エンドニューラルアーキテクチャ検索フレームワークを記載する。この場合、カスタマイズされたネットワークアーキテクチャは任意の機械学習タスクデータセットに関して学習可能で或る。
画像認識、音声認識、言語モデリングなどの機械学習タスクを実行するためのニューラルネットワークアーキテクチャの設計および実現は時間およびコストがかかるプロセスになる可能性があり、当該分野における専門的な知識および経験を必要とする。
図1は、例示的なニューラルアーキテクチャ検索システム100を示す。ニューラルアーキテクチャ検索システム100は、以下において説明されるシステム、構成要素および技術が実現され得る1つ以上の位置において1つ以上のコンピュータ上でコンピュータプログラムとして実現されるシステムの例である。
図2は、機械学習タスクを実行するためのニューラルネットワーク152を生成するための例示的な方法200のフロー図である。便宜上、方法200は、1つ以上の位置に配置された1つ以上のコンピュータのシステムによって実行されるものとして説明される。たとえば、ニューラルアーキテクチャ検索システム(たとえば、本明細書に従って適切にプログラムされた図1のニューラルアーキテクチャ検索システム100)は方法200を実行することができる。
定義された計算セルに含まれるノードの数およびエッジの数は、最終的な生成されたニューラルネットワークによって実行されるべき機械学習タスクと、ニューラルネットワークのアーキテクチャを検索するために利用可能な計算リソースとに依存し得る。たとえば、大規模データセット上においてニューラルネットワーク全体またはニューラルネットワークの大規模サブネットワークのアーキテクチャを検索することは計算上費用が高くなる可能性があるので、定義された計算セルのサイズは、ニューラルネットワークの最終精度を維持しながらも計算コストを低減するように選択され得る。
アーキテクチャ検索空間
式(4)は、θから導出される離散アーキテクチャの実際のコストへの近似として、或るセルにおけるリソースコストの予測値を用いる。式(4)において関数形式を用いることには複数の利点がある。たとえば、式(4)は微分可能なw.r.t.θであるので、勾配降下を用いることで検証損失関数を最適化することが可能となる。別の例として、式(4)は簡単に実現することができる。なぜなら、エッジ(i,j)に関する各候補演算のリソースコストがθ(i,j)の値とは無関係であるからである。したがって、
段階(a)は、例示的な方法200のステップ202に対応する。段階(a)において、初期計算セル400が定義される。初期計算セル400は、4つの中間ノード、たとえば、ノード402を、含む。初期計算セル400はさらに、1つ以上の入力ノードおよび1つの出力ノードを含み得るが、明確にするために、これら入力ノードおよび出力ノードは図4では省略している。初期計算セル400はさらに、中間ノード間の6つの有向エッジ、たとえばエッジ404、を含む。
Claims (20)
- コンピュータによって実現される方法(200)であって、
ニューラルネットワークの計算セル(122)を定義するステップを含み、前記計算セル(122)は、ノード(402)およびエッジ(404)の有向グラフを含み、各ノード(402)は、それぞれのニューラルネットワーク潜在表現を表わし、各エッジ(404)は、それぞれのニューラルネットワーク潜在表現を変換するそれぞれの演算を表わしており、前記方法(200)はさらに、
それぞれのニューラルネットワーク潜在表現を変換する各々の演算を、候補演算の予め定義されたセットからの候補演算のそれぞれの線形結合と置換えるステップを含み、それぞれの線形結合における各々の候補演算は、1つ以上の計算セルハイパーパラメータ(132a)によってパラメータ化されたそれぞれの混合重みを有しており、前記方法(200)はさらに、
1つ以上の計算リソース制約(106)を受ける検証損失関数を最適化するために、i)前記計算セルハイパーパラメータ(132a)の値、およびii)計算セル重み(132b)の値を反復的に調整するステップを含み、各反復ごとに、
前記検証損失関数の制約なし最適化を実行して、前回の反復についての前記計算セルハイパーパラメータ(132a)の値を更新し、前記計算セル重み(132b)の調整済み値を得るステップと、
前記計算セルハイパーパラメータ(132a)の更新済み値を、前記1つ以上のリソース制約(106)によって定義される実現可能なセット内の最近点に投影して、前記計算セルハイパーパラメータ(132a)の調整済み値を得るステップとを含み、前記方法はさらに、
前記定義された計算セル(122)と前記計算セルハイパーパラメータ(132a)の前記調整済み値および前記計算セル重み(132b)の前記調整済み値とを用いて機械学習タスクを実行するためのニューラルネットワーク(152)を生成するステップを含む、方法(200)。 - 前記定義された計算セル(122)と前記計算セルハイパーパラメータ(132a)の前記調整済み値および前記計算セル重み(132b)の前記調整済み値とを用いて機械学習タスクを実行するためのニューラルネットワーク(152)を生成するステップは、
候補演算の各線形結合を、1つ以上の調整済み計算セルハイパーパラメータ(132a)によってパラメータ化された最大混合重みを有する単一の演算と置換えることによって、離散(152)計算セルアーキテクチャを定義するステップと、
前記定義された離散計算セルアーキテクチャおよび前記計算セル重み(132b)の前記調整済み値を用いて機械学習タスクを実行するためのニューラルネットワークを生成するステップとを含む、請求項1に記載の方法(200)。 - 前記定義された計算セル(122)と前記計算セルハイパーパラメータ(132a)の前記調整済み値および前記計算セル重み(132b)の前記調整済み値とを用いて機械学習タスクを実行するためのニューラルネットワーク(152)を生成するステップは、前記定義された計算セル(122)の複数のコピーを積層するステップを含み、各コピーは、前記計算セルハイパーパラメータ(132a)の前記調整済み値によって定義される同じセルアーキテクチャを有する、請求項1または2に記載の方法(200)。
- 前記定義された計算セル(122)の複数のコピーを生成するステップと、
前記定義された計算セル(122)の生成されたコピーの各々をそれぞれのトレーニングデータ(102)上でトレーニングするステップとをさらに含む、請求項3に記載の方法(200)。 - 前記定義された計算セル(122)の複数のコピーを積層するステップは、前記定義された計算セル(122)の前記複数のコピー同士の間に1つ以上の追加のニューラルネットワーク層をインターリーブするステップを含む、請求項3または4に記載の方法(200)。
- 前記1つ以上の追加のニューラルネットワーク層は、1つの入力ノード(402)および1つの中間ノード(402)を含む接続計算セル(122)を備え、前記方法(200)はさらに、1つ以上の計算リソース制約(106)を受ける前記検証損失関数を最適化するために、i)前記接続計算セルハイパーパラメータ(132a)の値、およびii)接続計算セル重み(132b)の値を反復的に調整することによって、前記接続セルを学習するステップを含む、請求項5に記載の方法(200)。
- 前記検証損失関数は、定義された計算セットを通じて検証データセットを実行した後に得られる誤差の尺度を表わす、請求項1から6のいずれか1項に記載の方法(200)。
- 検証損失関数を最適化するために、i)前記計算セルハイパーパラメータ(132a)の値、およびii)計算セル重み(132b)の値を反復的に調整するステップは、前記検証損失関数と、トレーニングデータ(102)上で得られる誤差の尺度を表わすトレーニング損失関数との2レベル最適化を実行するステップを含み、前記計算セルハイパーパラメータ(132a)は上位レベルパラメータを含み、前記計算セル重み(132b)は下位レベルパラメータを含む、請求項1から7のいずれか1項に記載の方法(200)。
- 前記1つ以上の計算リソース制約(106)は、メモリ、浮動小数点演算の数、または推論速度のうちの1つ以上に対するユーザ定義制約を含む、請求項1から8のいずれか1項に記載の方法(200)。
- 1つ以上の計算リソース制約(106)を受ける検証損失関数を最適化するために、i)前記計算セルハイパーパラメータ(132a)の値、および、ii)計算セル重み(132b)の値を反復的に調整するステップは、各々の計算リソース制約に関するそれぞれのコスト関数を定義するステップを含み、各々の定義されたコスト関数は、前記計算セルハイパーパラメータ(132a)をそれぞれのリソースコストにマッピングする、請求項1から9のいずれか1項に記載の方法(200)。
- 前記計算セル(122)におけるエッジ(404)のそれぞれのリソースコストは、演算の候補セットにおける演算のコストに対するソフトマックス(softmax)として計算される、請求項10に記載の方法(200)。
- 各々の定義されたコスト関数ごとに下限制約および上限制約を設定するステップをさらに含む、請求項10または11に記載の方法(200)。
- 前記検証損失関数の制約なし最適化を実行して、前回の反復についての前記計算セルハイパーパラメータ(132a)の値を更新し、前記計算セル重み(132b)の調整済み値を得るステップは、前記検証損失関数の前記制約なし最適化を反復的に実行するステップを含み、各反復ごとに、
前記反復に関する前記計算セルハイパーパラメータ(132a)の値および前記計算セル重み(132b)の値を得るステップを含み、前記得るステップは、第1の反復のために、前記計算セルハイパーパラメータ(132a)のランダムに初期化された値と、前記計算セル重み(132b)のランダムに初期化された値とを得るステップ、または、前回の反復から前記計算セルハイパーパラメータ(132a)の値と前記計算セル重み(132b)の値とを得るステップを含み、各反復ごとに、さらに、
予め定められた反復回数だけ、または、予め定義された収束基準が満たされるまで、反復的に、
反復のために前記計算セルハイパーパラメータ(132a)の前記得られた値を固定し、前記計算セル重み(132b)に対するトレーニング損失関数の勾配に基づいて、更新された計算セル重み(132b)を得るステップと、
前記更新された計算セル重み(132b)を固定し、前記計算セルハイパーパラメータ(132a)に対する前記検証損失関数の勾配に基づいて前記計算セルハイパーパラメータ(132a)の更新済み値を得るステップとを含む、請求項1から12のいずれか1項に記載の方法(200)。 - 前記更新された計算セル重み(132b)を固定し、前記計算セルハイパーパラメータ(132a)に対する前記検証損失関数の勾配に基づいて更新済みの計算セルハイパーパラメータ(132a)を得るステップは、前記計算セルハイパーパラメータ(132a)と前記計算セル重み(132b)とが無関係であると仮定するステップを含む、請求項13に記載の方法(200)。
- 前記計算セルハイパーパラメータ(132a)の更新済み値を、前記1つ以上のリソース制約(106)によって定義される実現可能なセット内の最近点に投影するステップは、前記実現可能なセット内の要素を識別するステップを含み、前記実現可能なセット内の前記要素は、i)前記計算セルハイパーパラメータ(132a)の前記更新済み値とii)前記要素との間の差の2ノルムを最小化するものである、請求項1から14のいずれか1項に記載の方法(200)。
- 前記候補演算の予め定義されたセットは、プーリング演算、畳み込み演算または接続演算を含む、請求項1から15のいずれか1項に記載の方法(200)。
- 前記ニューラルネットワークの複数の計算セル(122)を定義するステップを含み、各々の定義された計算セル(122)は、ノード(402)およびエッジ(404)のそれぞれの有向グラフによって表わすことができ、さらに、
前記複数の定義された計算セル(122)の各々の定義された計算セル(122)ごとに、
それぞれのニューラルネットワーク潜在表現を変換する各々の演算を、候補演算の予め定義されたセットからの候補演算のそれぞれの線形結合と置換えるステップを含み、それぞれの線形結合における各々の候補演算は、1つ以上の計算セルハイパーパラメータ(132a)によってパラメータ化されたそれぞれの混合重みを有し、さらに、
1つ以上の計算リソース制約(106)を受ける検証損失関数を最適化するために、i)前記計算セルハイパーパラメータ(132a)の値、およびii)前記計算セル重み(132b)の値を反復的に調整するステップを含み、各反復ごとに、
前記検証損失関数の制約なし最適化を実行して、前回の反復についての前記計算セルハイパーパラメータ(132a)の値を更新し、前記計算セル重み(132b)の調整済み値を得るステップと、
前記計算セルハイパーパラメータ(132a)の更新済み値を、前記1つ以上のリソース制約(106)によって定義される実現可能なセット内の最近点に投影して、前記計算セルハイパーパラメータ(132a)の調整済み値を得るステップとを含み、さらに、
前記定義された複数の計算セル(122)と前記計算セルハイパーパラメータ(132a)の前記調整済み値および前記計算セル重み(132b)の前記調整済み値とを用いて機械学習タスクを実行するためのニューラルネットワークを生成するステップを含む、請求項1から16のいずれか1項に記載の方法(200)。 - トレーニングされたニューラルネットワーク(152)を得るために、トレーニングデータ(102)上で前記生成されたニューラルネットワーク(152)をトレーニングするステップと、
前記トレーニングされたニューラルネットワーク(152)を用いて前記機械学習タスクを実行するステップとをさらに含む、請求項1から17のいずれか1項に記載の方法(200)。 - 1つ以上のコンピュータと、命令を格納した1つ以上のストレージデバイスとを備えるシステム(100)であって、前記命令は、前記1つ以上のコンピュータによって実行されると、前記1つ以上のコンピュータに以下の動作を実行させ、前記以下の動作は、
ニューラルネットワークの計算セル(122)を定義する動作を含み、前記計算セル(122)は、ノード(402)およびエッジ(404)の有向グラフを含み、各ノード(402)は、それぞれのニューラルネットワーク潜在表現を表わし、各エッジ(404)は、それぞれのニューラルネットワーク潜在表現を変換するそれぞれの演算を表わしており、前記以下の動作はさらに、
それぞれのニューラルネットワーク潜在表現を変換する各々の演算を、候補演算の予め定義されたセットからの候補演算のそれぞれの線形結合と置換える動作を含み、それぞれの線形結合における各々の候補演算は、1つ以上の計算セルハイパーパラメータ(132a)によってパラメータ化されたそれぞれの混合重みを有しており、前記以下の動作はさらに、
1つ以上の計算リソース制約(106)を受ける検証損失関数を最適化するために、i)前記計算セルハイパーパラメータ(132a)の値、およびii)計算セル重み(132b)の値を反復的に調整する動作を含み、各反復ごとに、
前記検証損失関数の制約なし最適化を実行して、前回の反復についての前記計算セルハイパーパラメータ(132a)の値を更新し、前記計算セル重み(132b)の調整済み値を得る動作と、
前記計算セルハイパーパラメータ(132a)の更新済み値を、前記1つ以上のリソース制約(106)によって定義される実現可能なセット内の最近点に投影して、前記計算セルハイパーパラメータ(132a)の調整済み値を得る動作とを含み、前記以下の動作はさらに、
前記定義された計算セル(122)と前記計算セルハイパーパラメータ(132a)の前記調整済み値および前記計算セル重み(132b)の前記調整済み値とを用いて機械学習タスクを実行するためのニューラルネットワーク(152)を生成する動作を含む、システム(100)。 - 処理デバイスによって実行可能な命令が格納されたコンピュータ可読記憶媒体であって、前記命令は、実行されると前記処理デバイスに以下の動作を実行させ、前記以下の動作は、
ニューラルネットワークの計算セル(122)を定義する動作を含み、前記計算セル(122)は、ノード(402)およびエッジ(404)の有向グラフを含み、各ノード(402)は、それぞれのニューラルネットワーク潜在表現を表わし、各エッジ(404)は、それぞれのニューラルネットワーク潜在表現を変換するそれぞれの演算を表わしており、前記以下の動作はさらに、
それぞれのニューラルネットワーク潜在表現を変換する各々の演算を、候補演算の予め定義されたセットからの候補演算のそれぞれの線形結合と置換える動作を含み、それぞれの線形結合における各々の候補演算は、1つ以上の計算セルハイパーパラメータ(132a)によってパラメータ化されたそれぞれの混合重みを有しており、前記以下の動作はさらに、
1つ以上の計算リソース制約(106)を受ける検証損失関数を最適化するために、i)前記計算セルハイパーパラメータ(132a)の値、およびii)計算セル重み(132b)の値を反復的に調整する動作を含み、各反復ごとに、
前記検証損失関数の制約なし最適化を実行して、前回の反復についての前記計算セルハイパーパラメータ(132a)の値を更新し、前記計算セル重み(132b)の調整済み値を得る動作と、
前記計算セルハイパーパラメータ(132a)の更新済み値を、前記1つ以上のリソース制約(106)によって定義される実現可能なセット内の最近点に投影して、前記計算セルハイパーパラメータ(132a)の調整済み値を得る動作とを含み、前記以下の動作はさらに、
前記定義された計算セル(122)と前記計算セルハイパーパラメータ(132a)の前記調整済み値および前記計算セル重み(132b)の前記調整済み値とを用いて機械学習タスクを実行するためのニューラルネットワーク(152)を生成する動作を含む、コンピュータ可読記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023112994A JP2023139057A (ja) | 2019-08-23 | 2023-07-10 | リソース制約付きニューラルネットワークアーキテクチャ検索 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/549,715 | 2019-08-23 | ||
US16/549,715 US11443162B2 (en) | 2019-08-23 | 2019-08-23 | Resource constrained neural network architecture search |
PCT/US2020/047073 WO2021041133A1 (en) | 2019-08-23 | 2020-08-19 | Resource constrained neural network architecture search |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023112994A Division JP2023139057A (ja) | 2019-08-23 | 2023-07-10 | リソース制約付きニューラルネットワークアーキテクチャ検索 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022545038A true JP2022545038A (ja) | 2022-10-24 |
JP7312906B2 JP7312906B2 (ja) | 2023-07-21 |
Family
ID=72473956
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022512432A Active JP7312906B2 (ja) | 2019-08-23 | 2020-08-19 | リソース制約付きニューラルネットワークアーキテクチャ検索 |
JP2023112994A Pending JP2023139057A (ja) | 2019-08-23 | 2023-07-10 | リソース制約付きニューラルネットワークアーキテクチャ検索 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023112994A Pending JP2023139057A (ja) | 2019-08-23 | 2023-07-10 | リソース制約付きニューラルネットワークアーキテクチャ検索 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11443162B2 (ja) |
EP (1) | EP4018390A1 (ja) |
JP (2) | JP7312906B2 (ja) |
KR (1) | KR20220047850A (ja) |
CN (1) | CN114503121A (ja) |
WO (1) | WO2021041133A1 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11443162B2 (en) * | 2019-08-23 | 2022-09-13 | Google Llc | Resource constrained neural network architecture search |
US11544558B2 (en) * | 2019-08-30 | 2023-01-03 | Nec Corporation | Continual learning of artificial intelligence systems based on bi-level optimization |
JP7111671B2 (ja) * | 2019-09-05 | 2022-08-02 | 株式会社東芝 | 学習装置、学習システム、および学習方法 |
US11593627B2 (en) | 2019-12-31 | 2023-02-28 | X Development Llc | Artificial neural network architectures based on synaptic connectivity graphs |
US11631000B2 (en) | 2019-12-31 | 2023-04-18 | X Development Llc | Training artificial neural networks based on synaptic connectivity graphs |
US11593617B2 (en) | 2019-12-31 | 2023-02-28 | X Development Llc | Reservoir computing neural networks based on synaptic connectivity graphs |
US11620487B2 (en) * | 2019-12-31 | 2023-04-04 | X Development Llc | Neural architecture search based on synaptic connectivity graphs |
US11625611B2 (en) | 2019-12-31 | 2023-04-11 | X Development Llc | Training artificial neural networks based on synaptic connectivity graphs |
US11568201B2 (en) | 2019-12-31 | 2023-01-31 | X Development Llc | Predicting neuron types based on synaptic connectivity graphs |
US11556826B2 (en) * | 2020-03-20 | 2023-01-17 | Adobe Inc. | Generating hyper-parameters for machine learning models using modified Bayesian optimization based on accuracy and training efficiency |
US11568249B2 (en) * | 2020-04-07 | 2023-01-31 | International Business Machines Corporation | Automated decision making for neural architecture search |
KR102535636B1 (ko) * | 2020-05-06 | 2023-05-23 | 한국전자통신연구원 | 뉴럴 네트워크 구조 탐색 장치 및 방법 |
US11394799B2 (en) | 2020-05-07 | 2022-07-19 | Freeman Augustus Jackson | Methods, systems, apparatuses, and devices for facilitating for generation of an interactive story based on non-interactive data |
US11496610B2 (en) * | 2020-06-26 | 2022-11-08 | Verizon Patent And Licensing Inc. | Network management data translation, querying, and discrepancy detection |
KR20220032861A (ko) * | 2020-09-08 | 2022-03-15 | 삼성전자주식회사 | 하드웨어에서의 성능을 고려한 뉴럴 아키텍처 서치 방법 빛 장치 |
US20220147680A1 (en) * | 2020-11-12 | 2022-05-12 | Samsung Electronics Co., Ltd. | Method for co-design of hardware and neural network architectures using coarse-to-fine search, two-phased block distillation and neural hardware predictor |
US11915131B2 (en) * | 2020-11-23 | 2024-02-27 | International Business Machines Corporation | Initializing optimization solvers |
CN113034472B (zh) * | 2021-03-25 | 2023-02-07 | 中山大学 | 一种基于梯度网络架构搜索的空域隐写分析方法及系统 |
CN113111668A (zh) * | 2021-04-18 | 2021-07-13 | 沈阳雅译网络技术有限公司 | 一种用于翻译任务的语言建模系统结构搜索方法 |
CN113516163B (zh) * | 2021-04-26 | 2024-03-12 | 合肥市正茂科技有限公司 | 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质 |
US20220398450A1 (en) * | 2021-06-15 | 2022-12-15 | Lemon Inc. | Automatically and efficiently generating search spaces for neural network |
CN113343390B (zh) * | 2021-06-30 | 2024-02-20 | 中国科学院工程热物理研究所 | 基于神经网络非线性模型的发动机线性化建模方法 |
CN113902094A (zh) * | 2021-09-16 | 2022-01-07 | 昆明理工大学 | 面向语言模型的双单元搜索空间的结构搜索方法 |
US20220035878A1 (en) * | 2021-10-19 | 2022-02-03 | Intel Corporation | Framework for optimization of machine learning architectures |
US20220035877A1 (en) * | 2021-10-19 | 2022-02-03 | Intel Corporation | Hardware-aware machine learning model search mechanisms |
CN115620147B (zh) * | 2022-11-29 | 2023-04-07 | 国网山东省电力公司济南供电公司 | 深度卷积神经网络的可微架构搜索方法及装置 |
WO2024128387A1 (ko) * | 2022-12-12 | 2024-06-20 | 주식회사 모빌린트 | 요청형 인스트럭션에 부합하는 엣지 디바이스를 위한 뉴럴 네트워크 최적화 장치 및 이를 이용한 방법 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6963627B2 (ja) * | 2017-07-21 | 2021-11-10 | グーグル エルエルシーGoogle LLC | 畳み込みニューラルネットワークのためのニューラルアーキテクチャ検索 |
US11741342B2 (en) * | 2018-05-18 | 2023-08-29 | Baidu Usa Llc | Resource-efficient neural architects |
EP3629246B1 (en) * | 2018-09-27 | 2022-05-18 | Swisscom AG | Systems and methods for neural architecture search |
US11443162B2 (en) * | 2019-08-23 | 2022-09-13 | Google Llc | Resource constrained neural network architecture search |
-
2019
- 2019-08-23 US US16/549,715 patent/US11443162B2/en active Active
-
2020
- 2020-08-19 EP EP20771666.3A patent/EP4018390A1/en active Pending
- 2020-08-19 CN CN202080059817.XA patent/CN114503121A/zh active Pending
- 2020-08-19 KR KR1020227009135A patent/KR20220047850A/ko unknown
- 2020-08-19 JP JP2022512432A patent/JP7312906B2/ja active Active
- 2020-08-19 WO PCT/US2020/047073 patent/WO2021041133A1/en unknown
-
2022
- 2022-08-19 US US17/821,076 patent/US20220414425A1/en active Pending
-
2023
- 2023-07-10 JP JP2023112994A patent/JP2023139057A/ja active Pending
Non-Patent Citations (2)
Title |
---|
LIU, HANXIAO ET AL.: "DARTS: Differentiable Architecture Search", ARXIV[ONLINE], JPN6023024076, 2019, ISSN: 0005083156 * |
ラクシュマナン バリアッパ, スケーラブルデータサイエンス 初版, vol. 第1版, JPN6023024075, 5 June 2019 (2019-06-05), pages 312 - 321, ISSN: 0005083155 * |
Also Published As
Publication number | Publication date |
---|---|
EP4018390A1 (en) | 2022-06-29 |
JP7312906B2 (ja) | 2023-07-21 |
CN114503121A (zh) | 2022-05-13 |
US20220414425A1 (en) | 2022-12-29 |
WO2021041133A1 (en) | 2021-03-04 |
JP2023139057A (ja) | 2023-10-03 |
KR20220047850A (ko) | 2022-04-19 |
US11443162B2 (en) | 2022-09-13 |
US20210056378A1 (en) | 2021-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7312906B2 (ja) | リソース制約付きニューラルネットワークアーキテクチャ検索 | |
JP7157154B2 (ja) | 性能予測ニューラルネットワークを使用したニューラルアーキテクチャ探索 | |
EP3711000B1 (en) | Regularized neural network architecture search | |
JP6889270B2 (ja) | ニューラルネットワークアーキテクチャの最適化 | |
JP2020512639A (ja) | 強化学習を用いたデバイス配置最適化 | |
US11488067B2 (en) | Training machine learning models using teacher annealing | |
US11893491B2 (en) | Compound model scaling for neural networks | |
US11544105B2 (en) | Recommendations for scheduling jobs on distributed computing devices | |
US20230223112A1 (en) | Retrosynthesis using neural networks | |
CN117121016A (zh) | 在低级基元上的粒度神经网络架构搜索 | |
US20210334655A1 (en) | Predicting properties of materials from physical material structures | |
CN115989489A (zh) | 在对话系统中自动创建新意图并分配示例的概念预测 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220421 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230710 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7312906 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |