CN112771545A - 一种循环神经网络精度和分解秩的自动搜索方法和装置 - Google Patents
一种循环神经网络精度和分解秩的自动搜索方法和装置 Download PDFInfo
- Publication number
- CN112771545A CN112771545A CN202080003956.0A CN202080003956A CN112771545A CN 112771545 A CN112771545 A CN 112771545A CN 202080003956 A CN202080003956 A CN 202080003956A CN 112771545 A CN112771545 A CN 112771545A
- Authority
- CN
- China
- Prior art keywords
- network
- hyper
- super
- parameter combination
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 22
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 22
- 238000013139 quantization Methods 0.000 claims abstract description 59
- 238000011156 evaluation Methods 0.000 claims abstract description 53
- 230000006835 compression Effects 0.000 claims abstract description 40
- 238000007906 compression Methods 0.000 claims abstract description 40
- 238000005070 sampling Methods 0.000 claims abstract description 18
- 230000004913 activation Effects 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013209 evaluation strategy Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例公开了一种循环神经网络精度和分解秩的自动搜索方法和装置，其中方法包括：初始化超网络，并循环执行如下操作：从超网络中采样出子网络，并对采样出子网络进行性能评估；根据性能评估结果，自动搜索目标超参数组合，根据目标超参数组合更新超网络的超参数；针对调整超参数后的超网络，返回执行采样子网络，并对采样出子网络进行性能评估的操作；响应于性能评估结果满足预设条件，将超网络当前的分解秩和每层网络的量化值输出。本申请实施例中，根据性能评估结果，不搜索并更新整超网络的分解秩和每层网络各自对应的量化值，以实现快速搜索模型压缩需要的最优分解秩和每层网络的最优量化值的目的。
Description
技术领域
本申请涉及人工智能技术领域，例如涉及一种循环神经网络精度和分解秩的自动搜索方法和装置。
背景技术
深度学习可以自动学习出有用的特征，脱离了对特征工程的依赖，在图像识别、视频理解、自然语言处理等任务上取得了超越其他算法的结果，这种成功很大程度上得益于卷积神经网络(Convolution neural network，CNN)和循环神经网络(Recurrent neuralnetwork，RNN)的提出。RNN是一类以序列数据为输入，在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络，经常被使用在分析时序信息(表情，动作，声音等)的模型中。但是随着人工智能的发展，RNN需要分析的内容逐渐变为高维度大规模的信息流，这导致RNN的全连接层包含极其稠密的参数和计算，对计算资源和内存提出了巨大的要求。
现有的模型压缩方法有很多，针对RNN的主要是采用张量分解和模型量化进行模型压缩。具体的，通常采用固定的分解秩对模型的权重张量进行张量分解，或者采用固定的精度对模型进行量化，即每层网络的量化值相同，以实现模型压缩。
然而，由于网络层的冗余及对硬件的需求不一样，不同网络层所需要的量化值也是不一样的，采用固定精度进行模型量化，很难达到最优效果。此外，模型张量进行分解时，不同的分解秩对模型性能影响也不一样。如果采用手动设置的分解秩对模型张量进行分解，需要耗费大量人力物力得到最优分解秩。
发明内容
本申请实施例提供一种循环神经网络精度和分解秩的自动搜索方法和装置，以达到快速搜索模型压缩需要的最优分解秩和每层网络的最优量化值的目的。
第一方面，本申请实施例提供了一种循环神经网络精度和分解秩的自动搜索方法，该方法包括：
初始化超网络，并循环执行如下操作：
从所述超网络中采样出子网络，并对采样出子网络进行性能评估；
根据性能评估结果，自动搜索目标超参数组合，并根据所述目标超参数组合更新所述超网络的超参数，其中，所述目标超参数组合包括分解秩和每层网络各自的量化值；
针对更新超参数后的超网络，返回执行采样子网络，并对采样出子网络进行性能评估的操作；
响应于所述性能评估结果满足预设条件，将所述超网络当前的分解秩和每层网络的量化值输出。
第二方面，本申请实施例提供了一种循环神经网络精度和分解秩的自动搜索装置，装置包括：
初始化模块，用于初始化超网络；
循环模块，用于执行：
从所述超网络中采样出子网络，并对采样出子网络进行性能评估；
根据性能评估结果，自动搜索目标超参数组合，并根据所述目标超参数组合更新所述超网络的超参数，其中，所述目标超参数组合包括分解秩和每层网络各自的量化值；
针对更新超参数后的超网络，返回执行采样子网络，并对采样出子网络进行性能评估的操作；
压缩确认模块，用于响应于所述性能评估结果满足预设条件，将所述超网络当前的分解秩和每层网络的量化值输出。
本申请实施例中，在初始化超网络后，根据从超网络中采样出的子网络的性能评估结果，不断搜索并更新超网络的分解秩和每层网络各自对应的量化值，以保证采样出性能满足条件的子网络，最终达到快速搜索模型压缩需要的最优分解秩和每层网络的最优量化值的目的。
附图说明
图1a是根据本申请第一实施例中的循环神经网络精度和分解秩的自动搜索方法的流程示意图；
图1b是根据本申请第一实施例中循环调整超参数的过程的示意图；
图2是根据本申请第二实施例中的循环神经网络精度和分解秩的自动搜索方法的流程示意图；
图3是根据本申请第三实施例中的循环神经网络精度和分解秩的自动搜索装置的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
图1a是根据本申请第一实施例的循环神经网络精度和分解秩的自动搜索方法的流程示意图，本实施例可适用于通过服务器等设备快速确定超网络最优分解秩和各层网络最优量化值的情况，该方法可以由循环神经网络精度和分解秩的自动搜索装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在电子设备上，例如集成在服务器或计算机设备上。
如图1a所示，循环神经网络精度和分解秩的自动搜索方法包括如下流程：
S101、初始化超网络，并循环执行S102-S104。
本申请实施例中，超网络是由超参数构成的网络，而超网络可选的是基于循环神经网络模型的结构构建的，而初始化超网络是指确定超网络的超参数的初始值，主要是确定超网络的分解秩和超网络中每层网络各自的量化值，其中，量化值可以表征神经网络的精度。在此需要说明的是，初始化时可根据用户设定的超参数取值进行设置，也可以根据超参数的默认值设定，初始化后，每层网络的量化值可以不同，后续可按照S102-S104的步骤再调整。
在初始化超网络后，可循环执行S102-S104的步骤更新超网络的超参数，以便保证从更新超参数的超网络中可以采样出高性能的子网络。
S102、从超网络中采样出子网络，并对采样出子网络进行性能评估。
本申请实施例中，基于超网络的超参数，可使用gumbel-softmax采样子网络的配置，进而根据子网络的配置得到相应的子网络，其中子网络的配置信息包括子网络的超参数，例如子网络的分解秩和子网络的每层网络的量化值。
在得到子网络后，对该子网络进行性能评估，即是确定该子网络的准确性以及压缩率。可选的，基于预设的性能评估策略对采样出的子网络进行性能评估。示例性的，要判断子网络的准确性，需要利用样本数据对子网络进行训练，并根据训练结果来确定。示例性的，样本数据可以包括训练集样本和验证集样本，可通过训练集样本进行训练，并在训练完成后，通过验证集样本进行验证，以确定子网络的准确性。进一步的，针对训练完成的子网络，可根据子网络的分解秩和子网络中每层网络的量化值进行张量分解(例如TT分解，即将权重张量用若干二阶和三阶的张量来表示)和模型量化，以实现对训练完的子网络进行压缩，并根据压缩结果确定压缩比。
在此需要说明的是，本申请实施例中，每层网络的量化值用于限定该层网络权重的数据位宽和该层网络激活函数的数据位宽，由于为每层网络设置各自对应的量化值，相比于每层网络采用相同的量化值，可以保证模型压缩的效果；分解秩是指权重张量在做奇异值分解时每一个中间的对角矩阵中非0奇异值的个数。本申请利用TT分解可以将高阶的权重张量转换为多个低阶张量，可极大的减少模型参数的数量。而且本申请由于将模型量化和张量分解两种模型压缩技术相结合，相比于只采用一种压缩方法，可以实现更高的模型压缩率。
通过上述过程，即可确定子网络的预测的准确性以及压缩率。在此需要说明的是，相比于参考单一的压缩率或者准确率作为评估指标，本申请同时考虑了准确性和压缩率，可更好的权衡模型准确率和压缩率。
S103、根据性能评估结果，自动搜索目标超参数组合，并根据所述目标超参数组合更新超网络的超参数，其中，目标超参数组合包括分解秩和每层网络各自的量化值。
本申请实施例中，超网络的分解秩和量化值均有一个取值范围，在一种可选的实施方式中，自动搜索目标超参数组合，即是在分解秩和量化值取值范围内，随机抽取分解秩和量化值进行随机组合，得到目标超参数组合；在另一种可选的实施方式中，可预先确定分解秩和量化值所有可能的组合并保存，自动搜索目标超参数组合时，可直接从预先保存的所有组合中选取一个组合作为目标超参数组合。
进一步的，本申请实施例中，性能评估结果包括子网络的准确率和压缩率；因此可根据子网络的准确率和压缩率，自动搜索目标超参数组合，其中，目标超参数组合包括分解秩和每层网络各自的量化值。
在一种可选的实施方式中，可根据子网络的准确率和压缩率，采用交替更新分解秩和不同网络层的量化值方式，搜索目标超参数组合；例如保持超网络的分解秩和不同网络层的量化值这两种超参数中任一个不变，搜索另一个超参数；下次再搜索时，固定和搜索的超参数与上次相反。
示例性的，若根据性能评估结果确定压缩率比较小，也即模型的参数还是比较多，此时可以固定分解秩不变，调小各层网络的量化值(即位宽比特值)，也即搜索量化值时，需要搜索一个比当前量化值小的量化值，例如，超网络包括三层网络，超参数包括三层网络的量化值分别为2bit、6bit、8bit，分解秩为3，此时可保持分解秩3不变，搜索到的量化值可以为2bit、4bit、6bit。在得到目标超参数组合后，可根据目标超参数组合更新超网络的超参数，进而可执行S104。
S104、针对更新超参数后的超网络，返回执行采样子网络，并对采样出子网络进行性能评估的操作。
在得到更新超参数后的超网络后，返回执行S102，也即是从更新超参数后的超网络中采样出子网络，并对采样出子网络进行性能评估；进而根据评估结果执行S103再次搜索目标超参数组合并更新超网络的超参数，如此循环，直到子网络的性能满足预设条件为止，其中，预设条件可选的包括子网络准确性和压缩率的阈值，只有子网络准确性和压缩率预设阈值时，触发执行S105的步骤。
为了详细说明循环过程，可参见图1b，其示出了循环调整超参数的过程的示意图。在初始化超网络后，从超网络中采样出子网络结构，基于性能评估策略对采样出的子网络结构进行评估，并将评估结果(即子网络结构的准确率和压缩率)进行反馈，以便根据评估结果搜索目标超参数组合并更新超网络的超参数。如此按照采样-评估-反馈评估结果-搜索并更新超参数的过程循环执行，直到评估出的子网络结构的准确率和压缩率满足预设条件为止。
S105、响应于性能评估结果满足预设条件，将超网络当前的分解秩和每层网络的量化值输出。
在子网络的性能评估结果满足条件时，此时超网络的分解秩和各层网络的量化值已为最优，可直接将其输出即可，后续可直接按照输出的分解秩和各层网络量化值进行设置，即可保证后续模型压缩效果最优。
本申请实施例中，在初始化超网络后，根据从超网络中采样出的子网络的性能评估结果，不断搜索并更新超网络的分解秩和每层网络各自对应的量化值，以保证采样出性能满足条件的子网络，最终达到速搜索模型压缩需要的最优分解秩和每层网络的最优量化值的目的，由此可以保证基于最优分解秩和每层网络的最优量化值压缩循环神经网络后，可以使压缩后的循环神经网络可以部署到资源受限的硬件平台，使得只需利用很少的计算资源和内存便可以在实际任务中达到较高的准确率。
图2是根据本申请第二实施例的循环神经网络精度和分解秩的自动搜索方法的流程示意图，本实施例是在上述实施例的基础上进行优化，参见图2，该方法包括：
S201、确定搜索空间。
其中，搜索空间是指对神经网络的分解秩和各网络层量化值的选择，一些实施例中，搜索空间包括预设的多种超参数组合，每种超参数组合包括超网络的分解秩和超网络中每层网络各自对应的量化值。
示例性的，量化值可选的为位宽，例如2，4，6，8等，单位为bit；分解秩有2，3，4，5，6，7，8等多个可能。将量化值和分解秩随机组合构成搜索空间。两层网络作为例子，搜索空间可示例性的包括量化值2bit、4bit，分解秩2；量化值4bit、8bit，分解秩3；量化值4bit、8bit，分解秩6；由于超参数组合众多，在此不再一一列举。
S202、将搜索空间中的任一超参数组合更新到超网络，并循环执行S203-S206。
本申请实施例中，将搜索空间中的任一超参数组合更新到超网络，也即是按照任一超参数组合，设置超网络的超参数。示例性的，超网络为两层网络，初始化后，两层网络的超参数包括：量化值4bit、8bit，分解秩3。
S203、从超网络中采样出子网络，并对采样出子网络进行性能评估。
具体的描述参见上述实施例，在此不再赘述。
S204、根据性能评估结果，结合预设的可微分的搜索策略，自动从搜索空间中确定目标超参数组合。
本申请实施例中，由于搜索空间是离散的，因此可通过softmax函数将搜索空间变成连续的，进而采用梯度下降的方法寻找到最佳超参数组合，这种搜索方式称为可微分的搜索策。
示例性的，若根据性能评估结果确定压缩率比较小，也即意味着模型的参数还是比较多，在利用可微分的搜索策搜索目标超参数组合时，可先固定当前分解秩不变，可从搜索空间中搜索分解秩与当前分解秩相同的多个超参数组合，从多个超参数组合中选择一个目标超参数组合，其中，在目标超参数组合的各层网络的量化值中，至少某一层网络的量化值小于该层网络当前的量化值。
示例性的，超网络当前的超参数为量化值4bit、8bit，分解秩3；保持分解秩3不变，与当前分解秩3相同的多个超参数组合可以为：4bit、6bit，分解秩3；4bit、4bit，分解秩3；2bit、8bit，分解秩3；2bit、4bit，分解秩3；也可以包括其它组合，在此不一一列举。进而可从中筛选出一个超参数组合作为目标超参数组合。
S205、利用目标超参数组合更新超网络的超参数。
本申请实施例中，确定目标超参数组合后，将目标超参数组合中的分解秩和每层网络的量化值，替换超网络的原来的分解秩和量化值。
S206、针对调整超参数后的超网络，返回执行采样子网络，并对采样出子网络进行性能评估的操作。
本申请实施例中，通过循环执行S203-S206，即可从搜索空间中得到最优的超参数组合，其中最优的超参数组合是指基于该超参数组合提取到的子网络的准确性和压缩率满足预设条件。
S207、响应于所述性能评估结果满足预设条件，将超网络当前的分解秩和每层网络的量化值输出。
本申请实施例中，相比于传统的通过人工设计量化策略和分解秩策略，本申请通过可微分的搜索策略，从搜索空间中不断的目标超参数组合，直到搜索到最优的分解秩和各层网络最优的量化值为止，提升了获取最优超参数组合的效率，进而保证了模型压缩的效率。
图3是根据本申请第三实施例中的循环神经网络精度和分解秩的自动搜索装置的结构示意图，该装置用于通过服务器等设备快速确定超网络最优分解秩和各层网络最优量化值的情况，参见图3，装置包括：
初始化模块301，用于初始化超网络；
循环模块302，用于执行：
从所述超网络中采样出子网络，并对采样出子网络进行性能评估；
根据性能评估结果，自动搜索目标超参数组合，并根据所述目标超参数组合更新所述超网络的超参数，其中，所述目标超参数组合包括分解秩和每层网络各自的量化值；
针对更新超参数后的超网络，返回执行采样子网络，并对采样出子网络进行性能评估的操作；
压缩确认模块303，用于响应于所述性能评估结果满足预设条件，将所述超网络当前的分解秩和每层网络的量化值输出。
本申请实施例中，在初始化超网络后，根据从超网络中采样出的子网络的性能评估结果，不断调整超网络的分解秩和每层网络各自对应的量化值，以保证采样出性能满足条件的子网络，最终实现快速搜索模型压缩需要的最优分解秩和每层网络的最优量化值的目的。
在上述实施例的基础上，可选的，性能评估结果包括所述子网络的准确率和压缩率；
相应的，自动搜索目标超参数组合，并根据所述目标超参数组合更新所述超网络的超参数，包括：
根据所述子网络的准确率和压缩率，自动搜索目标超参数组合，并根据所述目标超参数组合更新所述超网络的超参数。
在上述实施例的基础上，可选的，该装置还包括：
搜索空间确定模块，用于在初始化超网络之前，确定搜索空间，其中，搜索空间包括预设的多种超参数组合，每种超参数组合包括超网络的分解秩和超网络中每层网络各自对应的量化值。
在上述实施例的基础上，可选的，初始化模块是用于：
将所述搜索空间中的任一超参数组合更新到所述超网络。
在上述实施例的基础上，可选的，根据性能评估结果，自动搜索目标超参数组合，包括：
根据性能评估结果，结合预设的可微分的搜索策略，自动从所述搜索空间中确定目标超参数组合。
在上述实施例的基础上，可选的，每层网络的量化值用于限定该层网络权重的数据位宽和该层网络激活函数的数据位宽。
本申请实施例所提供的循环神经网络精度和分解秩的自动搜索装置可执行本申请任意实施例所提供的循环神经网络精度和分解秩的自动搜索方法，具备执行方法相应的功能模块和有益效果。
注意，上述仅为本申请的可选实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (10)
1.一种循环神经网络精度和分解秩的自动搜索方法，包括：
初始化超网络，并循环执行如下操作：
从所述超网络中采样出子网络，并对采样出子网络进行性能评估；
根据性能评估结果，自动搜索目标超参数组合，并根据所述目标超参数组合更新所述超网络的超参数，其中，所述目标超参数组合包括分解秩和每层网络各自的量化值；
针对更新超参数后的超网络，返回执行采样子网络，并对采样出子网络进行性能评估的操作；
响应于所述性能评估结果满足预设条件，将所述超网络当前的分解秩和每层网络的量化值输出。
2.根据权利要求1所述的方法，其中，所述性能评估结果包括所述子网络的准确率和压缩率；
相应的，根据性能评估结果，自动搜索目标超参数组合，并根据所述目标超参数组合更新所述超网络的超参数，包括：
根据所述子网络的准确率和压缩率，自动搜索目标超参数组合，并根据所述目标超参数组合更新所述超网络的超参数。
3.根据权利要求1所述的方法，其中，在初始化超网络之前，所述方法还包括：
确定搜索空间，其中，所述搜索空间包括预设的多种超参数组合，每种超参数组合包括超网络的分解秩和超网络中每层网络各自对应的量化值。
4.根据权利要求3所述的方法，其中，初始化超网络，包括：
将所述搜索空间中的任一超参数组合更新到所述超网络。
5.根据权利要求4所述的方法，其中，根据性能评估结果，自动搜索目标超参数组合，包括：
根据性能评估结果，结合预设的可微分的搜索策略，自动从所述搜索空间中确定目标超参数组合。
6.根据权利要求1所述的方法，其中，每层网络的量化值用于限定该层网络权重的数据位宽和该层网络激活函数的数据位宽。
7.一种循环神经网络精度和分解秩的自动搜索装置，包括：
初始化模块，用于初始化超网络；
循环模块，用于执行：
从所述超网络中采样出子网络，并对采样出子网络进行性能评估；
根据性能评估结果，自动搜索目标超参数组合，并根据所述目标超参数组合更新所述超网络的超参数，其中，所述目标超参数组合包括分解秩和每层网络各自的量化值；
针对更新超参数后的超网络，返回执行采样子网络，并对采样出子网络进行性能评估的操作；
压缩确认模块，用于响应于所述性能评估结果满足预设条件，将所述超网络当前的分解秩和每层网络的量化值输出。
8.根据权利要求7所述的装置，其中，所述性能评估结果包括所述子网络的准确率和压缩率；
相应的，根据性能评估结果，自动搜索目标超参数组合，并根据所述目标超参数组合更新所述超网络的超参数，包括：
根据所述子网络的准确率和压缩率，自动搜索目标超参数组合，并根据所述目标超参数组合更新所述超网络的超参数。
9.根据权利要求7所述的装置，其中，所述装置还包括：
搜索空间确定模块，用于在初始化超网络之前，确定搜索空间，其中，搜索空间包括预设的多种超参数组合，每种超参数组合包括超网络的分解秩和超网络中每层网络各自对应的量化值。
10.根据权利要求9所述的装置，其中，初始化模块是用于：
将所述搜索空间中的任一超参数组合更新到所述超网络。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/141379 WO2022141189A1 (zh) | 2020-12-30 | 2020-12-30 | 一种循环神经网络精度和分解秩的自动搜索方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112771545A true CN112771545A (zh) | 2021-05-07 |
Family
ID=75699464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080003956.0A Pending CN112771545A (zh) | 2020-12-30 | 2020-12-30 | 一种循环神经网络精度和分解秩的自动搜索方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112771545A (zh) |
| WO (1) | WO2022141189A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113312855A (zh) * | 2021-07-28 | 2021-08-27 | 北京大学 | 基于搜索空间分解的机器学习优化方法、电子设备及介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020028890A1 (en) * | 2018-08-03 | 2020-02-06 | Edifecs, Inc. | Prediction of healthcare outcomes and recommendation of interventions using deep learning |
| CN110263913A (zh) * | 2019-05-23 | 2019-09-20 | 深圳先进技术研究院 | 一种深度神经网络压缩方法及相关设备 |
| CN110956262A (zh) * | 2019-11-12 | 2020-04-03 | 北京小米智能科技有限公司 | 超网络训练方法及装置、电子设备、存储介质 |
| CN111582453B (zh) * | 2020-05-09 | 2023-10-27 | 北京百度网讯科技有限公司 | 生成神经网络模型的方法和装置 |
| CN111582454B (zh) * | 2020-05-09 | 2023-08-25 | 北京百度网讯科技有限公司 | 生成神经网络模型的方法和装置 |
| CN111652354B (zh) * | 2020-05-29 | 2023-10-24 | 北京百度网讯科技有限公司 | 用于训练超网络的方法、装置、设备以及存储介质 |
| CN111738418A (zh) * | 2020-06-19 | 2020-10-02 | 北京百度网讯科技有限公司 | 超网络的训练方法和装置 |
| CN112116090B (zh) * | 2020-09-28 | 2022-08-30 | 腾讯科技（深圳）有限公司 | 神经网络结构搜索方法、装置、计算机设备及存储介质 |
-
2020
- 2020-12-30 WO PCT/CN2020/141379 patent/WO2022141189A1/zh active Application Filing
- 2020-12-30 CN CN202080003956.0A patent/CN112771545A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113312855A (zh) * | 2021-07-28 | 2021-08-27 | 北京大学 | 基于搜索空间分解的机器学习优化方法、电子设备及介质 |
| CN113312855B (zh) * | 2021-07-28 | 2021-12-10 | 北京大学 | 基于搜索空间分解的机器学习优化方法、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022141189A1 (zh) | 2022-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Eichner et al. | Semi-cyclic stochastic gradient descent | |
| Bender et al. | Understanding and simplifying one-shot architecture search | |
| Zhou et al. | Multi-population parallel self-adaptive differential artificial bee colony algorithm with application in large-scale service composition for cloud manufacturing | |
| Paliwal et al. | Reinforced genetic algorithm learning for optimizing computation graphs | |
| US20200167659A1 (en) | Device and method for training neural network | |
| CN113064879A (zh) | 数据库参数调整方法、装置及计算机可读存储介质 | |
| CN112364975A (zh) | 基于图神经网络的终端运行状态预测方法及系统 | |
| CN111406264A (zh) | 神经架构搜索 | |
| CN113361680A (zh) | 一种神经网络架构搜索方法、装置、设备及介质 | |
| CN111612134A (zh) | 神经网络结构搜索方法、装置、电子设备及存储介质 | |
| US20220383126A1 (en) | Low-Rank Adaptation of Neural Network Models | |
| CN111598238A (zh) | 深度学习模型的压缩方法及装置 | |
| CN109388779A (zh) | 一种神经网络权重量化方法和神经网络权重量化装置 | |
| CN116523079A (zh) | 一种基于强化学习联邦学习优化方法及系统 | |
| Napoli et al. | A mathematical model for file fragment diffusion and a neural predictor to manage priority queues over BitTorrent | |
| CN116362325A (zh) | 一种基于模型压缩的电力图像识别模型轻量化应用方法 | |
| CN111178641B (zh) | 基于特征提取和多核rsvr组合模型的短期电力负荷预测方法 | |
| CN110263917B (zh) | 一种神经网络压缩方法及装置 | |
| Ho et al. | Robust inference of memory structure for efficient quantum modeling of stochastic processes | |
| CN112771545A (zh) | 一种循环神经网络精度和分解秩的自动搜索方法和装置 | |
| CN111368995A (zh) | 一种基于序列推荐系统的通用网络压缩框架和压缩方法 | |
| Kousias et al. | HINDSIGHT: an R-based framework towards long short term memory (LSTM) optimization | |
| Peter et al. | Resource-efficient dnns for keyword spotting using neural architecture search and quantization | |
| CN114372539B (zh) | 基于机器学习框架的分类方法及相关设备 | |
| WO2021226709A1 (en) | Neural architecture search with imitation learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210507 |
|
| RJ01 | Rejection of invention patent application after publication |