CN110428046A - 神经网络结构的获取方法及装置、存储介质 - Google Patents
神经网络结构的获取方法及装置、存储介质 Download PDFInfo
- Publication number
- CN110428046A CN110428046A CN201910804498.XA CN201910804498A CN110428046A CN 110428046 A CN110428046 A CN 110428046A CN 201910804498 A CN201910804498 A CN 201910804498A CN 110428046 A CN110428046 A CN 110428046A
- Authority
- CN
- China
- Prior art keywords
- network structure
- parameter
- neural network
- group
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 82
- 210000005036 nerve Anatomy 0.000 claims abstract description 88
- 238000012360 testing method Methods 0.000 claims abstract description 66
- 238000003062 neural network model Methods 0.000 claims description 55
- 238000012549 training Methods 0.000 claims description 52
- 238000004590 computer program Methods 0.000 claims description 10
- 210000004218 nerve net Anatomy 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 125000002015 acyclic group Chemical group 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种神经网络结构的获取方法及装置、存储介质。其中，该方法包括：通过获取第一神经网络结构的第一参数，其中，第一参数至少包括：第一神经网络结构中各个模块的第一拓扑关系，以及与第一拓扑关系中的各条边对应的第一权重；使用与一组测试任务对应的测试任务数据对第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数，其中，第二参数至少包括：第二神经网络结构中各个模块的第二拓扑关系，以及与第二拓扑关系中的各条边对应的第二权重，第二参数用于为不同的任务生成对应的神经网络结构。解决了现有技术中，将搜索到的神经网络结构应用到不同任务中，不同任务多次搜索所耗费的时间较长的技术问题。
Description
技术领域
本发明涉及神经网络领域，具体而言，涉及一种神经网络结构的获取方法及装置、存储介质。
背景技术
近些年，深度神经网络在人工智能领域例如计算机视觉、自然语言处理、语音识别等任务上都取得了巨大的成功。在这些成功背后，神经网络结构起着不容忽视的作用。例如，最近的ResNet和DenseNet为多个计算机视觉任务提供了强力的基准。然而，目前的神经网络结构大部分都是通过人类的先验知识手工设计出来的，难以自动化部署。最近流行的神经网络搜索(NAS)能够为具体任务自动地搜索网络结构，属于自动机器学习的范畴，并且已经在多个数据集上获得世界领先水平的效果。
目前，主流的神经网络结构搜索方法有三种：基于强化学习的搜索方法，基于进化算法的方法和基于梯度优化的方法。最先研究的NAS技术是使用一个控制器(Controller)来生成神经网络的结构。并且使得控制器生成的神经网络结构在具体的任务中取得很好的性能。目前两个典型的NAS方法具体为：
ENAS模型：在NAS模型中，每次生成一个网络结构之后，都需要重新重头训练一个基于该网络结构的神经网络，才能得到关于该网络结构的性能指标，作为控制器优化的信号。由于每次从0训练一个神经网络需要消耗巨大的资源，这样使得NAS的训练过程需要消耗大量资源。ENAS(Efficient NAS)模型是在NAS模型的基础上通过权重共享技术提高网络结构搜索效率的方法。具体来说，ENAS假设控制器每次生成的网络结构都是一个大的有向无环图(Directed Acyclic Graph)的子图，子图中每一条边都有一个对应的权重，并且这些权重是被所有子图共享的。
例如，图1根据现有技术的一种神经网络结构的示意图，其中，图1表示一个拥有5个节点的有向无环图，每个节点表示计算节点，其可以对传递来的信息进行加工；而节点之间的连线表示信息的传递方法。节点之间的连接以及节点对于输入的操作是通过控制器采样得到的。图1中a、b、c、d表示信息流的传递方向，节点1表示输入，节点4、5表示输出，节点2、3表示中间节点。这些节点上的具体操作(例如卷积操作，池化操作等)是通过采样得到，而这些操作需要的权重是对于任何一个子网络都是共享的。也就是说，只要某一个网络使用了i到j之间的连接，那么对于传递到节点j的信息的任何操作(例如卷积核为3*3的卷积操作)，那么使用的权重都是相同的。这些权重是模型参数的一部分，是在训练过程中被优化的。
DARTS模型：在之前的NAS模型中，无法使用梯度优化的原因是神经网络的结构是离散的。在DARTS中，神经网络结构的每条之路都被放缩成多个可能的备选操作，例如图2根据现有技术的又一种神经网络结构的示意图。在图2中，每个节点表示信息的输入或输出，每条虚线表示的之路表示两个几点之间的操作(例如节点0经过卷积或池化操作得到节点1)，问号每两个节点之间的连接操作是不定的。在DARTS中，有8种可能的操作分别是：3*3，5*5可分离卷积，3*3,5*5空洞卷积，3*3平均池化，3*3最大池化，跳层连接和空连接。因此，为了使网络搜索的过程可微，每条支路的操作都被松弛成8种可能的操作，然后对这8种可能的操作使用softmax函数来归一化。经过这样的变换，对所有的支路微分就变成了对一个8维归一化向量的微分。所以整个搜索网络对网络权重和网络结构参数进行联合优化。当网络收敛时，获取这个归一化向量的最大值即是这条支路所选择的操作。对松弛网络进行解码之后的网络就是搜索得到的网络。
现有技术中，无论是基于强化学习的ENAS还是基于梯度的DARTS模型都能在现有数据集上都可以搜索得到相关的神经网路结构。然而，在这些方法中，人们需要为不同的任务来搜索不同的网络，这有时是重复性工作并且十分耗时。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种神经网络结构的获取方法及装置、存储介质，以至少解决现有技术中，将搜索到的神经网络结构应用到不同任务中，不同任务多次搜索所耗费的时间较长的技术问题。
根据本发明实施例的一个方面，提供了一种神经网络结构的获取方法，包括：获取第一神经网络结构的第一参数，其中，所述第一参数至少包括：所述第一神经网络结构中各个模块的第一拓扑关系，以及与所述第一拓扑关系中的各条边对应的第一权重；使用与一组测试任务对应的测试任务数据对所述第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数，其中，所述第二参数至少包括：所述第二神经网络结构中各个模块的第二拓扑关系，以及与所述第二拓扑关系中的各条边对应的第二权重，所述第二参数用于为不同的任务生成对应的神经网络结构。
进一步地，在所述使用与一组测试任务对应的测试任务数据对所述第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数之后，所述方法还包括：获取待执行的目标任务对应的目标任务数据；使用所述目标任务数据对所述第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数，其中，所述目标参数至少包括：所述目标神经网络结构中各个模块的目标拓扑关系，以及与所述目标拓扑关系中的各条边对应的目标权重。
进一步地，在所述使用所述目标任务数据对所述第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数之后，所述方法还包括：使用所述目标任务下的训练数据对所述目标拓扑关系中一组拓扑组合表示的一组神经网络模型进行分别训练，得到一组训练结果，其中，所述目标权重在对所述一组神经网络模型进行分别训练过程中被共享使用；将对所述一组神经网络模型中的初始神经网络模型进行训练得到的目标神经网络模型确定为用于执行所述目标任务的神经网络模型，其中，所述初始神经网络模型是所述一组神经网络模型中对应的训练结果最好的神经网络模型。
进一步地，在所述使用与一组测试任务对应的测试任务数据对所述第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数包括：通过如下公式得到所述一组测试任务对应的所述测试任务数据的网络权重和网络结构：
其中，分别为所述一组测试任务中的第i个任务的神经网络拓扑关系中的各条边对应的权重和所述神经网络结构中各个模块的拓扑关系，m代表往前走了m步，ηinner＝[αinner；βinner]分别表示所述神经网络拓扑关系中的各条边对应的权重和网络结构的学习率，表示对于所述第i个任务所产生的损失；从所述一组测试任务对应的所述测试任务数据的网络权重和网络结构中，得到第二神经网络结构的第二参数。
进一步地，所述使用所述目标任务数据对所述第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数之前，所述方法还包括：通过梯度下降法对所述第二神经网络结构的参数进行初始化，得到所述目标神经网络结构的目标参数。
根据本发明实施例的另一方面，还提供了一种神经网络结构的获取装置，包括：第一获取单元，用于获取第一神经网络结构的第一参数，其中，所述第一参数至少包括：所述第一神经网络结构中各个模块的第一拓扑关系，以及与所述第一拓扑关系中的各条边对应的第一权重；第一得到单元，用于使用与一组测试任务对应的测试任务数据对所述第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数，其中，所述第二参数至少包括：所述第二神经网络结构中各个模块的第二拓扑关系，以及与所述第二拓扑关系中的各条边对应的第二权重，所述第二参数用于为不同的任务生成对应的神经网络结构。
进一步地，所述装置还包括：第二获取单元，用于在所述使用与一组测试任务对应的测试任务数据对所述第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数之后，获取待执行的目标任务对应的目标任务数据；第二得到单元，用于使用所述目标任务数据对所述第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数，其中，所述目标参数至少包括：所述目标神经网络结构中各个模块的目标拓扑关系，以及与所述目标拓扑关系中的各条边对应的目标权重。
进一步地，所述装置还包括：第三得到单元，用于在所述使用所述目标任务数据对所述第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数之后，使用所述目标任务下的训练数据对所述目标拓扑关系中一组拓扑组合表示的一组神经网络模型进行分别训练，得到一组训练结果，其中，所述目标权重在对所述一组神经网络模型进行分别训练过程中被共享使用；第四得到单元，用于将对所述一组神经网络模型中的初始神经网络模型进行训练得到的目标神经网络模型确定为用于执行所述目标任务的神经网络模型，其中，所述初始神经网络模型是所述一组神经网络模型中对应的训练结果最好的神经网络模型。
在本发明实施例中，通过获取第一神经网络结构的第一参数，其中，第一参数至少包括：第一神经网络结构中各个模块的第一拓扑关系，以及与第一拓扑关系中的各条边对应的第一权重；使用与一组测试任务对应的测试任务数据对第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数，其中，第二参数至少包括：第二神经网络结构中各个模块的第二拓扑关系，以及与第二拓扑关系中的各条边对应的第二权重，第二参数用于为不同的任务生成对应的神经网络结构，达到了通过一组测试任务对应的任务数据对第一神经网络结构的参数进行训练得到第二神经网络结构的参数，在对第二神经网络结构的参数进行少量的训练可以得到目标任务下的神经网络结构的目的，进而解决了现有技术中，将搜索到的神经网络结构应用到不同任务中，不同任务多次搜索所耗费的时间较长的技术问题。从而使得对搜索到的神经网络结构经过少量的数据训练便得到目标任务对应的神经网络结构，使搜索到的神经网络结构更加快速的训练为目标的神经网络结构，节省了从搜索到的神经网络结构到目标神经网络结构的训练时间。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据现有技术的一种神经网络结构的示意图；
图2是根据现有技术的又一种神经网络结构的示意图
图3是根据本发明实施例的一种神经网络结构获取方法的流程图；
图4是根据本发明优选实施例的方法与现有技术中方法对比的示意图；
图5是根据本发明优选实施例的在AutoML产品的流程示意图；
图6是根据本发明实施例的一种神经网络结构获取装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种神经网络结构的获取方法，图3是根据本发明实施例的一种神经网络结构的获取的流程图。如图3所示，神经网络结构的获取方法包括如下步骤：
步骤S301，获取第一神经网络结构的第一参数，其中，第一参数至少包括：第一神经网络结构中各个模块的第一拓扑关系，以及与第一拓扑关系中的各条边对应的第一权重。
其中，第一神经网络结构可是包括3个节点的拓扑结构，也可以是宝库4个节点的拓扑结构。其在4个节点的拓扑结构的情况下，包括不同4条边也可以包括6条边。
需要说明的是，与第一拓扑关系中的各条边对应的第一权重标识每条边上对应的算子的权重。例如，每条边中有8个可选的算子，在8个算子中选择最大概率的算子，即确定了神经网络的拓扑关系以及与连接关系对应的模型参数。
其中，与第一拓扑关系中的各条边对应的第一权重可以表示为在拓扑关系中的每个节点选择模型的权重。例如，每个节点有8个可选的算子，在8个算子中选择最大概率的算子，即确定了神经网络的拓扑关系以及与连接关系对应的模型参数。
还需要说明的是，上述第一神经网络结构的参数可以采用NAS模型中神经结构的确定方式。
步骤S303，使用与一组测试任务对应的测试任务数据对第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数，其中，第二参数至少包括：第二神经网络结构中各个模块的第二拓扑关系，以及与第二拓扑关系中的各条边对应的第二权重，第二参数用于为不同的任务生成对应的神经网络结构。
通过上述步骤，获取第一神经网络结构的第一参数，其中，第一参数至少包括：第一神经网络结构中各个模块的第一拓扑关系，以及与第一拓扑关系中的各条边对应的第一权重；使用与一组测试任务对应的测试任务数据对第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数，其中，第二参数至少包括：第二神经网络结构中各个模块的第二拓扑关系，以及与第二拓扑关系中的各条边对应的第二权重，第二参数用于为不同的任务生成对应的神经网络结构，达到了通过一组测试任务对应的任务数据对第一神经网络结构的参数进行训练得到第二神经网络结构的参数，在对第二神经网络结构的参数进行少量的训练可以得到目标任务下的神经网络结构的目的，解决了现有技术中，将搜索到的神经网络结构应用到不同任务中，不同任务多次搜索所耗费的时间较长的技术问题。从而使得对搜索到的神经网络结构经过少量的数据训练便得到目标任务对应的神经网络结构，使搜索到的神经网络结构更加快速的训练为目标的神经网络结构，节省了从搜索到的神经网络结构到目标神经网络结构的训练时间。
上述神经网络结构的获取方法在实际应该中可以为：服务器获取第一神经网络结构的参数，包括，第一神经网络的结构包括3个节点，分别是节点A、节点B以及节点C，存在的拓扑关系是三角形的拓扑关系，即节点A、B、C相连有3个边。通过测试任务对应的测试数据对第一神经网络结构进行训练，可以得到第二神经网络结构，其中，第二神经网络结构具有节点M、节点N、节点O以及节点P，即存在多种拓扑关系，可以是节点M-节点N-节点O-节点P，也可以是组成四边形的关系，即四边形的顶点为M、N、O、P，包括4个边，也可以是四边形的顶点为M、N、O、P，包括6个边，其中对角线相连。换句话说，第二神经网络结构是一个可变的动态的结构，分别训练出不同任务对象的神经网络结构。
作为一种可选的实施方式，在使用与一组测试任务对应的测试任务数据对第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数之后，上述方法还可以包括：获取待执行的目标任务对应的目标任务数据；使用目标任务数据对第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数，其中，目标参数至少包括：目标神经网络结构中各个模块的目标拓扑关系，以及与目标拓扑关系中的各条边对应的目标权重。
作为一种可选的实施方式，在使用目标任务数据对第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数之后，上述方法还可以包括：使用目标任务下的训练数据对目标拓扑关系中一组拓扑组合表示的一组神经网络模型进行分别训练，得到一组训练结果，其中，目标权重在对一组神经网络模型进行分别训练过程中被共享使用；将对一组神经网络模型中的初始神经网络模型进行训练得到的目标神经网络模型确定为用于执行目标任务的神经网络模型，其中，初始神经网络模型是一组神经网络模型中对应的训练结果最好的神经网络模型。
作为一种可选的实施方式，在使用与一组测试任务对应的测试任务数据对第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数包括：通过如下公式得到一组测试任务对应的测试任务数据的网络权重和网络结构：
其中，分别为一组测试任务中的第i个任务的神经网络拓扑关系中的各条边对应的权重和神经网络结构中各个模块的拓扑关系，m代表往前走了m步，ηinner＝[αinner；βinner]分别表示神经网络拓扑关系中的各条边对应的权重和网络结构的学习率，表示对于第i个任务所产生的损失；从一组测试任务对应的测试任务数据的网络权重和网络结构中，得到第二神经网络结构的第二参数。
其中，可以通m＝5，5步的迭代方式得到神经网络结构的拓扑关系和网络结构的权重。
作为一种可选的实施方式，使用目标任务数据对第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数之前，上述方法还可以包括：通过梯度下降法对第二神经网络结构的参数进行初始化，得到目标神经网络结构的目标参数。
其中，此处的还可以利用其它的方法对第二神经网络结构的参数进行初始化。
以下结合优选实施例对上述技术方案进行解释说明，但不用于限定本发明实施例的技术方案。
该优选实施例提供一种可迁移的神经网络结构搜索方法(相当于一种神经网络结构的获取方法)。
如图4所示，图4是该优选实施例的方法与现有技术中方法对比的示意图。其中，包括现有方法1、现有方法2和优选实施例中的方法3。
在图4中可以直观的看出：方法1中是对每个任务都需要进行一次神经网络框架的搜索，在现有的方法2中，搜索的一个网络框架可以共享与任务1、任务2和任务3。而该优选实施例中的方法3可以将搜索到的可迁移的框架进行不同的训练适应于任务1、任务2或者任务3。
该优选实施例的关键点在于利用元学习的方法搜索到一个可迁移的网络框架(meta-architecture)(相当于网络结构)，这个可迁移的网络框架对不同的任务是敏感的，以至于对不同的任务在可迁移的框架基础上经过几次的梯度迭代更新就能达到对这个任务很好的性能，与现有的基于梯度的网络结构搜索方法一样，meta-architecture的训练也需要元权重(meta-weights)的帮助。
具体来说，该优选实施例的可迁移的网络框架搜索过程如下：
1)随机产生可迁移的网络框架参数；
2)针对生成的可迁移的网络框架，使用元权重进行初始化；
3)在训练集上，通过几步梯度下降法来优化这些经过元权重初始化后的可迁移的网络结构。
其中，元权重的特性就是用其初始化的模型经过几步梯度下降就可以得到很好的模型性能，所以我们将元权重和可迁移的框架经过几步的交替更新，就认为模型对不同的任务模型性能经过几次更新就能达到最优(或者接近最优)。在通常的应用中，一般通过5步梯下降就可以得到很好的模型性能。
4)在验证集上评估每一个候选网络的性能，调出最优的作为适合该数据集合的网络框架，完成网络框架搜索。
可以看出，该优选实施例与DARTS的关键性区别在于meta-architecture的引入。下面会介绍如何得到可迁移的网络框架。
训练可迁移的网络框架的具体过程：
1)随机初始化可迁移的网络框架参数和对应的网络元权重；
2)在元训练集中随机采样多个任务，初始化学习率；
3)优化基础搜索器base-searcher：给定任意的任务，在训练集上通过几步梯度下降法优化网络以得到是适应于这个任务的网络框架和网络权重：
其中，分别为第i个任务的网络权重和网络框架，m代表往前走了m步，ηinner＝[αinner；βinner]分别表示网络权重和网络框架的学习率，表示对于第i个任务所产生的损失。
4)在元测试集中获取用于元搜索器更新的数据；
5)优化元搜索器meta-searcher：更新可迁移的框架(meta-architecture)和元权重(meta-weights)：
其中，分别为元权重和可迁移的框架，分别表示网络元权重和可迁移的网络框架的学习率。
6)重复步骤2)到步骤5)，直到模型收敛结束。
经过上述步骤，就会学习到一个可迁移的网络框架，使得对于任意新给定的任务，经过对权重和网络框架参数的少量更新，就能达到适应于这个任务的网络框架，完成可迁移的网络框架搜索的任务。
需要说明的是，可迁移的网络框架搜索可以应用到少量样本的场景中，也可以应用到普通的监督学习中。该方法不局限于所采用的网络框架搜索方法，可以是基于DARTS这种基于梯度的搜索方法，也可以是ENAS这种基于强化学习的搜索方法。此外，该方法不依赖于特定的硬件设备，既可以在CPU上，也可以在GPU上，亦可以通过分布式编程在集群上面进行模型的优化和训练。
该优选实施例中的方法可以在“自动化机器学习”(AutoML)产品中负责根据用户的数据自动生成适合该数据的神经网络的结构，达到更好的模型性能的和更加“自动化”的用户体验的功能。具体过程为首先通过已有的数据训练一个可迁移的网络结构，然后根据不同用户上传的不同数据和任务使用已有的可迁移的网络结构进行迁移，得到具体适应于这些数据和任务的网络结构。
图5是该优选实施例在AutoML产品的流程示意图。在具体应用场景中，用户只需要准备好需要AutoML平台处理的数据即可，不需要用户具备相关的机器学习和神经网络的专业知识，AutoML平台的网络结构搜索模块就会根据用户的数据生成适合用户数据的网络结构，并且将模型训练好直接给用户使用，即AutoML的网络结构搜索模块会大大降低用户使用机器学习方法的门槛，而该优选实施例不需要对网络结构进行重新搜索就会使用网络结构搜索模块用更短的时间更好地找到适合用户提供数据的网络结构。
图5所示，通过已有的数据搜索得到一个可迁移的网络结构，再通过上述的数据基于可迁移的网络结构得到网络结构1，进而确定网络结构中的模型1。还可以通过上述的数据基于可迁移的网络结构得到网络结构2，进而确定网络结构中的模型2。
具体流程：1)用户将数据上传到AutoML平台，无需指定需要的网络结构；2)该优选实施例中会支持网络结构搜索模块更好的找到适合该数据的网络结构；3)平台会根据用户数据和网络结构搜索得到的合适网络训练模型；4)输出模型供用户使用。
该优选实施例具有如下优点：1)它可以有效地对新的数据和任务进行迁移和适应，用更短的时间就能找到适合于这些数据的网络而不需要对网络进行重新搜索。2)使用更少的时间所迁移的网络结构就能和对一个新的任务重新搜索网络结构的性能接近，极大地缩短了对不同的任务进行频繁搜索的时间。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例，还提供了一种用于实施上述一种神经网络结构获取方法的装置。图6是根据本发明一种神经网络结构获取装置的示意图，如图6所示，该装置包括：第一获取单元61，第一得到单元63。
第一获取单元61，用于获取第一神经网络结构的第一参数，其中，第一参数至少包括：第一神经网络结构中各个模块的第一拓扑关系，以及与第一拓扑关系中的各条边对应的第一权重。
第一得到单元63，用于使用与一组测试任务对应的测试任务数据对第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数，其中，第二参数至少包括：第二神经网络结构中各个模块的第二拓扑关系，以及与第二拓扑关系中的各条边对应的第二权重，第二参数用于为不同的任务生成对应的神经网络结构。
作为一种可选的实施例，上述装置还可以包括：第二获取单元，用于在使用与一组测试任务对应的测试任务数据对第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数之后，获取待执行的目标任务对应的目标任务数据；第二得到单元，用于使用目标任务数据对第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数，其中，目标参数至少包括：目标神经网络结构中各个模块的目标拓扑关系，以及与目标拓扑关系中的各条边对应的目标权重。
作为一种可选的实施例，上述装置还可以包括：第三得到单元，用于在使用目标任务数据对第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数之后，使用目标任务下的训练数据对目标拓扑关系中一组拓扑组合表示的一组神经网络模型进行分别训练，得到一组训练结果，其中，目标权重在对一组神经网络模型进行分别训练过程中被共享使用；第四得到单元，用于将对一组神经网络模型中的初始神经网络模型进行训练得到的目标神经网络模型确定为用于执行目标任务的神经网络模型，其中，初始神经网络模型是一组神经网络模型中对应的训练结果最好的神经网络模型。
通过上述装置，第一获取单元61获取第一神经网络结构的第一参数，其中，第一参数至少包括：第一神经网络结构中各个模块的第一拓扑关系，以及与第一拓扑关系中的各条边对应的第一权重；第一得到单元63使用与一组测试任务对应的测试任务数据对第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数，其中，第二参数至少包括：第二神经网络结构中各个模块的第二拓扑关系，以及与第二拓扑关系中的各条边对应的第二权重，第二参数用于为不同的任务生成对应的神经网络结构。解决了现有技术中，将搜索到的神经网络结构应用到不同任务中，不同任务多次搜索所耗费的时间较长的技术问题。从而使得对搜索到的神经网络结构经过少量的数据训练便得到目标任务对应的神经网络结构，使搜索到的神经网络结构更加快速的训练为目标的神经网络结构，节省了从搜索到的神经网络结构到目标神经网络结构的训练时间。
根据本发明实施例的又一个方面，还提供了一种用于实施上述一种神经网络结构获取方法的电子装置，该电子装置包括，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取第一神经网络结构的第一参数，其中，第一参数至少包括：第一神经网络结构中各个模块的第一拓扑关系，以及与第一拓扑关系中的各条边对应的第一权重；
S2，使用与一组测试任务对应的测试任务数据对第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数，其中，第二参数至少包括：第二神经网络结构中各个模块的第二拓扑关系，以及与第二拓扑关系中的各条边对应的第二权重，第二参数用于为不同的任务生成对应的神经网络结构。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取第一神经网络结构的第一参数，其中，第一参数至少包括：第一神经网络结构中各个模块的第一拓扑关系，以及与第一拓扑关系中的各条边对应的第一权重；
S2，使用与一组测试任务对应的测试任务数据对第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数，其中，第二参数至少包括：第二神经网络结构中各个模块的第二拓扑关系，以及与第二拓扑关系中的各条边对应的第二权重，第二参数用于为不同的任务生成对应的神经网络结构。
可选地，，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
在使用与一组测试任务对应的测试任务数据对第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数之后，上述方法还可以包括：获取待执行的目标任务对应的目标任务数据；使用目标任务数据对第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数，其中，目标参数至少包括：目标神经网络结构中各个模块的目标拓扑关系，以及与目标拓扑关系中的各条边对应的目标权重。
在使用目标任务数据对第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数之后，上述方法还可以包括：使用目标任务下的训练数据对目标拓扑关系中一组拓扑组合表示的一组神经网络模型进行分别训练，得到一组训练结果，其中，目标权重在对一组神经网络模型进行分别训练过程中被共享使用；将对一组神经网络模型中的初始神经网络模型进行训练得到的目标神经网络模型确定为用于执行目标任务的神经网络模型，其中，初始神经网络模型是一组神经网络模型中对应的训练结果最好的神经网络模型。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：
在使用与一组测试任务对应的测试任务数据对第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数之后，上述方法还可以包括：获取待执行的目标任务对应的目标任务数据；使用目标任务数据对第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数，其中，目标参数至少包括：目标神经网络结构中各个模块的目标拓扑关系，以及与目标拓扑关系中的各条边对应的目标权重。
在使用目标任务数据对第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数之后，上述方法还可以包括：使用目标任务下的训练数据对目标拓扑关系中一组拓扑组合表示的一组神经网络模型进行分别训练，得到一组训练结果，其中，目标权重在对一组神经网络模型进行分别训练过程中被共享使用；将对一组神经网络模型中的初始神经网络模型进行训练得到的目标神经网络模型确定为用于执行目标任务的神经网络模型，其中，初始神经网络模型是一组神经网络模型中对应的训练结果最好的神经网络模型。
可选地，存储介质还被设置为存储用于执行上述实施例中的方法中所包括的步骤的计算机程序，本实施例中对此不再赘述。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种神经网络结构的获取方法，其特征在于，包括：
获取第一神经网络结构的第一参数，其中，所述第一参数至少包括：所述第一神经网络结构中各个模块的第一拓扑关系，以及与所述第一拓扑关系中的各条边对应的第一权重；
使用与一组测试任务对应的测试任务数据对所述第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数，其中，所述第二参数至少包括：所述第二神经网络结构中各个模块的第二拓扑关系，以及与所述第二拓扑关系中的各条边对应的第二权重，所述第二参数用于为不同的任务生成对应的神经网络结构。
2.根据权利要求1所述的方法，其特征在于，在所述使用与一组测试任务对应的测试任务数据对所述第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数之后，所述方法还包括：
获取待执行的目标任务对应的目标任务数据；
使用所述目标任务数据对所述第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数，其中，所述目标参数至少包括：所述目标神经网络结构中各个模块的目标拓扑关系，以及与所述目标拓扑关系中的各条边对应的目标权重。
3.根据权利要求2所述的方法，其特征在于，在所述使用所述目标任务数据对所述第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数之后，所述方法还包括：
使用所述目标任务下的训练数据对所述目标拓扑关系中一组拓扑组合表示的一组神经网络模型进行分别训练，得到一组训练结果，其中，所述目标权重在对所述一组神经网络模型进行分别训练过程中被共享使用；
将对所述一组神经网络模型中的初始神经网络模型进行训练得到的目标神经网络模型确定为用于执行所述目标任务的神经网络模型，其中，所述初始神经网络模型是所述一组神经网络模型中对应的训练结果最好的神经网络模型。
4.根据权利要求1所述的方法，其特征在于，在所述使用与一组测试任务对应的测试任务数据对所述第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数包括：
通过如下公式得到所述一组测试任务对应的所述测试任务数据的网络权重和网络结构：
其中，分别为所述一组测试任务中的第i个任务的神经网络拓扑关系中的各条边对应的权重和所述神经网络结构中各个模块的拓扑关系，m代表往前走了m步，ηinner＝[αinner；βinner]分别表示所述神经网络拓扑关系中的各条边对应的权重和网络结构的学习率，表示对于所述第i个任务所产生的损失；
从所述一组测试任务对应的所述测试任务数据的网络权重和网络结构中，得到第二神经网络结构的第二参数。
5.根据权利要求2所述的方法，其特征在于，所述使用所述目标任务数据对所述第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数之前，所述方法还包括：
通过梯度下降法对所述第二神经网络结构的参数进行初始化，得到所述目标神经网络结构的目标参数。
6.一种神经网络结构的获取装置，其特征在于，包括：
第一获取单元，用于获取第一神经网络结构的第一参数，其中，所述第一参数至少包括：所述第一神经网络结构中各个模块的第一拓扑关系，以及与所述第一拓扑关系中的各条边对应的第一权重；
第一得到单元，用于使用与一组测试任务对应的测试任务数据对所述第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数，其中，所述第二参数至少包括：所述第二神经网络结构中各个模块的第二拓扑关系，以及与所述第二拓扑关系中的各条边对应的第二权重，所述第二参数用于为不同的任务生成对应的神经网络结构。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二获取单元，用于在所述使用与一组测试任务对应的测试任务数据对所述第一神经网络结构的第一参数进行训练，得到第二神经网络结构的第二参数之后，获取待执行的目标任务对应的目标任务数据；
第二得到单元，用于使用所述目标任务数据对所述第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数，其中，所述目标参数至少包括：所述目标神经网络结构中各个模块的目标拓扑关系，以及与所述目标拓扑关系中的各条边对应的目标权重。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第三得到单元，用于在所述使用所述目标任务数据对所述第二神经网络结构的第二参数进行更新，得到目标神经网络结构的目标参数之后，使用所述目标任务下的训练数据对所述目标拓扑关系中一组拓扑组合表示的一组神经网络模型进行分别训练，得到一组训练结果，其中，所述目标权重在对所述一组神经网络模型进行分别训练过程中被共享使用；
第四得到单元，用于将对所述一组神经网络模型中的初始神经网络模型进行训练得到的目标神经网络模型确定为用于执行所述目标任务的神经网络模型，其中，所述初始神经网络模型是所述一组神经网络模型中对应的训练结果最好的神经网络模型。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至5任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910804498.XA CN110428046B (zh) | 2019-08-28 | 2019-08-28 | 神经网络结构的获取方法及装置、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910804498.XA CN110428046B (zh) | 2019-08-28 | 2019-08-28 | 神经网络结构的获取方法及装置、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110428046A true CN110428046A (zh) | 2019-11-08 |
| CN110428046B CN110428046B (zh) | 2023-12-15 |
Family
ID=68416398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910804498.XA Active CN110428046B (zh) | 2019-08-28 | 2019-08-28 | 神经网络结构的获取方法及装置、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110428046B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080528A (zh) * | 2019-12-20 | 2020-04-28 | 北京金山云网络技术有限公司 | 图像超分辨率和模型训练方法、装置、电子设备及介质 |
| CN111612134A (zh) * | 2020-05-20 | 2020-09-01 | 鼎富智能科技有限公司 | 神经网络结构搜索方法、装置、电子设备及存储介质 |
| CN111783985A (zh) * | 2020-06-30 | 2020-10-16 | Oppo广东移动通信有限公司 | 信息处理、模型处理方法及装置、设备、介质 |
| CN112860558A (zh) * | 2021-02-20 | 2021-05-28 | 汇链通供应链科技(上海)有限公司 | 基于拓扑发现的多接口自动化测试方法及装置 |
| WO2021146977A1 (zh) * | 2020-01-22 | 2021-07-29 | 深圳市大疆创新科技有限公司 | 网络结构搜索方法和装置 |
| WO2021218517A1 (zh) * | 2020-04-29 | 2021-11-04 | 华为技术有限公司 | 获取神经网络模型的方法、图像处理方法及装置 |
| CN113760380A (zh) * | 2020-05-27 | 2021-12-07 | 杭州海康威视数字技术股份有限公司 | 网络模型的运行代码的确定方法、装置、设备及存储介质 |
| CN116431421A (zh) * | 2023-06-13 | 2023-07-14 | 成都登临科技有限公司 | 神经网络生成方法及生成器、验证方法及系统、存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104751228A (zh) * | 2013-12-31 | 2015-07-01 | 安徽科大讯飞信息科技股份有限公司 | 深度神经网络的构建方法及系统 |
| US20180032863A1 (en) * | 2016-07-27 | 2018-02-01 | Google Inc. | Training a policy neural network and a value neural network |
| CN109284820A (zh) * | 2018-10-26 | 2019-01-29 | 北京图森未来科技有限公司 | 一种深度神经网络的结构搜索方法及装置 |
| US20190080240A1 (en) * | 2017-09-08 | 2019-03-14 | SparkCognition, Inc. | Execution of a genetic algorithm with variable evolutionary weights of topological parameters for neural network generation and training |
| CN109615073A (zh) * | 2018-12-03 | 2019-04-12 | 郑州云海信息技术有限公司 | 一种神经网络模型的构建方法、设备以及存储介质 |
| CN109961132A (zh) * | 2017-12-22 | 2019-07-02 | 英特尔公司 | 用于学习深度卷积神经网络的结构的系统和方法 |
| CN110046706A (zh) * | 2019-04-18 | 2019-07-23 | 腾讯科技（深圳）有限公司 | 模型生成方法、装置及服务器 |
| US20190251439A1 (en) * | 2016-10-28 | 2019-08-15 | Google Llc | Neural architecture search |
| CN110175671A (zh) * | 2019-04-28 | 2019-08-27 | 华为技术有限公司 | 神经网络的构建方法、图像处理方法及装置 |
-
2019
- 2019-08-28 CN CN201910804498.XA patent/CN110428046B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104751228A (zh) * | 2013-12-31 | 2015-07-01 | 安徽科大讯飞信息科技股份有限公司 | 深度神经网络的构建方法及系统 |
| US20180032863A1 (en) * | 2016-07-27 | 2018-02-01 | Google Inc. | Training a policy neural network and a value neural network |
| US20190251439A1 (en) * | 2016-10-28 | 2019-08-15 | Google Llc | Neural architecture search |
| US20190080240A1 (en) * | 2017-09-08 | 2019-03-14 | SparkCognition, Inc. | Execution of a genetic algorithm with variable evolutionary weights of topological parameters for neural network generation and training |
| CN109961132A (zh) * | 2017-12-22 | 2019-07-02 | 英特尔公司 | 用于学习深度卷积神经网络的结构的系统和方法 |
| CN109284820A (zh) * | 2018-10-26 | 2019-01-29 | 北京图森未来科技有限公司 | 一种深度神经网络的结构搜索方法及装置 |
| CN109615073A (zh) * | 2018-12-03 | 2019-04-12 | 郑州云海信息技术有限公司 | 一种神经网络模型的构建方法、设备以及存储介质 |
| CN110046706A (zh) * | 2019-04-18 | 2019-07-23 | 腾讯科技（深圳）有限公司 | 模型生成方法、装置及服务器 |
| CN110175671A (zh) * | 2019-04-28 | 2019-08-27 | 华为技术有限公司 | 神经网络的构建方法、图像处理方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 王艳春;何东健;: "神经网络在蛋白质二级结构预测中的应用", 安徽农业科学, no. 16 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080528A (zh) * | 2019-12-20 | 2020-04-28 | 北京金山云网络技术有限公司 | 图像超分辨率和模型训练方法、装置、电子设备及介质 |
| CN111080528B (zh) * | 2019-12-20 | 2023-11-07 | 北京金山云网络技术有限公司 | 图像超分辨率和模型训练方法、装置、电子设备及介质 |
| WO2021146977A1 (zh) * | 2020-01-22 | 2021-07-29 | 深圳市大疆创新科技有限公司 | 网络结构搜索方法和装置 |
| WO2021218517A1 (zh) * | 2020-04-29 | 2021-11-04 | 华为技术有限公司 | 获取神经网络模型的方法、图像处理方法及装置 |
| CN111612134A (zh) * | 2020-05-20 | 2020-09-01 | 鼎富智能科技有限公司 | 神经网络结构搜索方法、装置、电子设备及存储介质 |
| CN111612134B (zh) * | 2020-05-20 | 2024-04-12 | 鼎富智能科技有限公司 | 神经网络结构搜索方法、装置、电子设备及存储介质 |
| CN113760380A (zh) * | 2020-05-27 | 2021-12-07 | 杭州海康威视数字技术股份有限公司 | 网络模型的运行代码的确定方法、装置、设备及存储介质 |
| CN111783985A (zh) * | 2020-06-30 | 2020-10-16 | Oppo广东移动通信有限公司 | 信息处理、模型处理方法及装置、设备、介质 |
| CN112860558A (zh) * | 2021-02-20 | 2021-05-28 | 汇链通供应链科技(上海)有限公司 | 基于拓扑发现的多接口自动化测试方法及装置 |
| CN116431421A (zh) * | 2023-06-13 | 2023-07-14 | 成都登临科技有限公司 | 神经网络生成方法及生成器、验证方法及系统、存储介质 |
| CN116431421B (zh) * | 2023-06-13 | 2023-08-29 | 成都登临科技有限公司 | 神经网络生成方法及生成器、验证方法及系统、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110428046B (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110428046A (zh) | 神经网络结构的获取方法及装置、存储介质 | |
| Chen et al. | DNNOff: offloading DNN-based intelligent IoT applications in mobile edge computing | |
| CN105224959B (zh) | 排序模型的训练方法和装置 | |
| CN104036324B (zh) | 一种基于遗传算法的通信网络容量可靠性最优设计方法 | |
| CN109740755A (zh) | 一种基于梯度下降法的数据处理方法及相关装置 | |
| CN111371616B (zh) | 一种面向numa架构服务器的虚拟网络功能链部署方法和系统 | |
| CN108363478B (zh) | 针对可穿戴设备深度学习应用模型分载系统及方法 | |
| CN113098714A (zh) | 一种基于深度强化学习的低时延网络切片的方法 | |
| CN113988464A (zh) | 基于图神经网络的网络链路属性关系预测方法及设备 | |
| CN107169566A (zh) | 动态神经网络模型训练方法和装置 | |
| CN108365969B (zh) | 一种基于无线传感网的自适应服务组合方法 | |
| CN113660676A (zh) | 基站流量预测方法、系统、存储介质及设备 | |
| Xu et al. | Living with artificial intelligence: A paradigm shift toward future network traffic control | |
| CN111461284A (zh) | 数据离散化方法、装置、设备及介质 | |
| CN103944748B (zh) | 基于遗传算法的网络关键节点的自相似流量生成简化方法 | |
| CN109242294A (zh) | 改进模糊神经网络的电力通信性能预警方法及装置 | |
| CN109670600A (zh) | 基于云平台的决策方法和系统 | |
| CN109977998A (zh) | 信息处理方法及装置、存储介质和电子装置 | |
| CN112199154A (zh) | 一种基于分布式协同采样中心式优化的强化学习训练系统及方法 | |
| CN111275562A (zh) | 基于递归卷积神经网络和自编码器的动态社区发现方法 | |
| Ohkura et al. | MBEANN: Mutation-based evolving artificial neural networks | |
| CN109697511B (zh) | 数据推理方法、装置及计算机设备 | |
| CN110493825A (zh) | 一种边缘计算架构下多任务的负载均衡方法 | |
| CN110276283A (zh) | 图片识别方法、目标识别模型训练方法及装置 | |
| Prasad et al. | Learning organizational roles for negotiated search in a multiagent system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |