CN111684472A - 网络结构搜索的方法及装置、计算机存储介质和计算机程序产品 - Google Patents

网络结构搜索的方法及装置、计算机存储介质和计算机程序产品 Download PDF

Info

Publication number
CN111684472A
CN111684472A CN201980009276.7A CN201980009276A CN111684472A CN 111684472 A CN111684472 A CN 111684472A CN 201980009276 A CN201980009276 A CN 201980009276A CN 111684472 A CN111684472 A CN 111684472A
Authority
CN
China
Prior art keywords
network structure
training
graph
parameters
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980009276.7A
Other languages
English (en)
Inventor
蒋阳
庞磊
胡湛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111684472A publication Critical patent/CN111684472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

一种网络结构搜索的方法包括：定义搜索空间步骤：(步骤S12)确定待进行网络结构搜索的神经网络模型的搜索空间，搜索空间定义了神经网络模型中每两个节点之间的操作层上的多种操作；预训练步骤：(步骤S14)根据第一网络结构以第一网络结构的预设参数训练搜索空间的总图以得到具有预训练参数的总图，总图由操作构成；训练步骤：(步骤S16)根据第一网络结构训练具有预训练参数的总图和根据第一网络结构的反馈量更新第一网络结构。本申请还公开了一种网络结构搜索的装置、计算机存储介质和计算机程序产品。

Description

网络结构搜索的方法及装置、计算机存储介质和计算机程序 产品
技术领域
本申请涉及机器学习领域，特别涉及一种网络结构搜索的方法及装置、计算机存储介质和计算机程序产品。
背景技术
相关技术中，机器学习算法尤其深度学习算法近年来得到快速发展与广泛应用。随着应用场景和模型结构变得越来越复杂，在应用场景中得到最优模型的难度越来越大，其中，可以使用基于权值分享的高效网络结构搜索(Efficient Neural ArchitectureSearch via Parameter Sharing，ENAS)来提高网络结构搜索(Neural ArchitectureSearch，NAS)的效率。然而，通过ENAS搜索到的网络结构经常出现较大的偏见(bias)，即，通过ENAS搜索到的网络结构总会倾向于卷积核尺寸(kernel size)较大的操作。这导致搜索到的模型参数较大，不易调试训练。另外，控制器带有偏见就意味着控制器收敛到的局部最优解，无法充分探索(explore)搜索空间。这样的控制器不具有较高的可信度，不能保证搜索到的模型就是全局最优。
发明内容
本申请的实施方式提供一种网络结构搜索的方法及装置、计算机存储介质和计算机程序产品。
本申请实施方式的网络结构搜索的方法包括：
定义搜索空间步骤：确定待进行网络结构搜索的神经网络模型的搜索空间，所述搜索空间定义了所述卷积神经网络中每两个节点之间的操作层上的多种操作；
预训练步骤：根据第一网络结构以所述第一网络结构的预设参数训练所述搜索空间的总图以得到具有预训练参数的所述总图，所述总图由所述操作构成；
训练步骤：根据所述第一网络结构训练具有所述预训练参数的所述总图和根据所述第一网络结构的反馈量更新所述第一网络结构。
本申请实施方式的网络结构搜索的装置包括处理器和存储器，所述存储器存储有一个或多个程序，所述处理器用于定义搜索空间：确定待进行网络结构搜索的神经网络模型的搜索空间，所述搜索空间定义了所述卷积神经网络中每两个节点之间的操作层上的多种操作；及用于预训练：根据第一网络结构以所述第一网络结构的预设参数训练所述搜索空间的总图以得到具有预训练参数的所述总图，所述总图由所述操作构成；以及用于训练：根据所述第一网络结构训练具有所述预训练参数的所述总图和根据所述第一网络结构的反馈量更新所述第一网络结构。
本申请实施方式的计算机存储介质，其上存储有计算机程序，所述计算机程序被计算机执行时使得，所述计算机执行上述的方法。
本申请实施方式的包含指令的计算机程序产品，所述指令被计算机执行时使得计算机执行上述的方法。
本申请实施方式的网络结构搜索的方法及装置、计算机存储介质和计算机程序产品，在对总图和第一网络结构进行优化前，先以固定的第一网络结构的预设参数对总图进行预训练，使得具有预训练参数的总图得到充分的训练。预训练完成后，放开第一网络结构的参数对总图和第一网络结构进行训练，从而对网络结构和第一网络结构进行优化，避免从头开始训练时优化第一网络结构导致的偏见，提高第一网络结构的可信度，保证搜索到的模型是全局最优。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请实施方式的网络结构搜索的方法的流程示意图；
图2是本申请实施方式的网络结构搜索的装置的模块示意图；
图3是相关技术的网络结构搜索的方法的原理示意图；
图4是本申请实施方式的网络结构搜索的方法的总图示意图；
图5是本申请另一实施方式的网络结构搜索的方法的流程示意图；
图6是本申请另一实施方式的网络结构搜索的方法的流程示意图；
图7是本申请又一实施方式的网络结构搜索的方法的流程示意图；
图8是本申请又一实施方式的网络结构搜索的方法的原理示意图；
图9是本申请再一实施方式的网络结构搜索的方法的流程示意图；
图10是本申请再一实施方式的网络结构搜索的方法的流程示意图；
图11是本申请再一实施方式的网络结构搜索的方法的流程示意图；
图12是本申请实施方式的网络结构搜索的方法的惩罚效果的示意图。
主要元件符号说明：
网络结构搜索的装置10、存储器102、处理器104、通信接口106。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
请参阅图1和图2，本申请实施方式提供一种网络结构搜索的方法及装置10。
本申请实施方式的网络结构搜索的方法包括：
定义搜索空间步骤S12：确定待进行网络结构搜索的神经网络模型的搜索空间，搜索空间定义了神经网络模型中每两个节点之间的操作层上的多种操作；
预训练步骤S14：根据第一网络结构以第一网络结构的预设参数训练搜索空间的总图(whole graph)以得到预训练参数的总图，总图由操作构成；
训练步骤S16：根据第一网络结构训练具有预训练参数的总图和根据第一网络结构的反馈量(ACC)更新第一网络结构。
本申请实施方式的网络结构搜索的装置10包括处理器104和存储器102，存储器102存储有一个或多个程序，在程序被处理器执行的情况下，使得处理器104用于执行定义搜索空间步骤：确定待进行网络结构搜索的神经网络模型的搜索空间，搜索空间定义了神经网络模型中每两个节点之间的操作层上的多种操作；及用于执行预训练步骤：根据第一网络结构以第一网络结构的预设参数训练搜索空间的总图以得到预训练参数的总图，总图由操作构成；以及用于执行训练步骤：根据第一网络结构训练具有预训练参数的总图和根据第一网络结构的反馈量更新第一网络结构。
也就是说，本申请实施方式的网络结构搜索的方法可由本申请实施方式的网络结构搜索的装置10实现。具体地，步骤S12、步骤S14和步骤S16可以由处理器104实现。
本申请实施方式的网络结构搜索的方法及装置10，在对网络结构和第一网络结构进行优化前，先以固定的第一网络结构的预设参数对总图进行预训练，使得具有预训练参数的总图得到充分的训练。预训练完成后，放开第一网络结构的参数对总图和第一网络结构进行训练，从而对网络结构和第一网络结构进行优化，避免从头开始训练时优化第一网络结构导致的偏见，提高第一网络结构的可信度，保证搜索到的模型是全局最优。
需要说明的是，处理器104的数量可以是一个。处理器104的数量也可以是多个，例如2个、3个、5个或其他数量。在处理器104的数量为多个的情况下，本申请网络结构搜索的方法的步骤流程可以由不同的处理器104分别执行，例如可以由不同的处理器104分别执行步骤S14和步骤S16。
可选地，网络结构搜索的装置10还可以包括通信接口106，用于将网络结构搜索的装置10处理完成的数据输出，和/或，从外部设备输入网络结构搜索的装置10将要处理的数据。例如，处理器104用于控制通信接口106输入和/输出数据。
近年来，机器学习算法，尤其是深度学习算法，得到了快速发展与广泛应用。随着模型性能不断地提高，模型结构也越来越复杂。在非自动化机器学习算法中，这些结构需要机器学习专家手工设计和调试，过程非常繁复。而且，随着应用场景和模型结构变得越来越复杂，在应用场景中得到最优模型的难度也越来越大。在这种情况下，自动化机器学习算法(Auto Machine Learning，AutoML)受到学术界与工业界的广泛关注，尤其是网络结构搜索(Neural Architecture Search，NAS)。
具体地，网络结构搜索是一种利用算法自动化设计神经网络模型的技术。网络结构搜索就是要搜索出神经网络模型的结构。在本申请实施方式中，待进行网络结构搜索的神经网络模型为卷积神经网络(Convolutional Neural Networks，CNN)。
网络结构搜索要解决的问题就是确定神经网络模型中的节点之间的操作。节点之间的操作的不同组合对应不同的网络结构。进一步地，神经网络模型中的节点可以理解为神经网络模型中的特征层。两个节点之间的操作指的是，其中一个节点上的特征数据变换为另一个节点上的特征数据所需的操作。本申请提及的操作可以为卷积操作、池化操作、或全连接操作等其他神经网络操作。可以认为两个节点之间的操作构成这两个节点之间的操作层。通常，两个节点之间的操作层上具有多个可供搜索的操作，即具有多个候选操作。网络结构搜索的目的就是在每个操作层上确定一个操作。
例如，将conv3*3，conv5*5，depthwise3*3，depthwise5*5，maxpool3*3，averagepool3*3等定义为搜索空间。也即是说，网络结构的每一层操作是在这六个选择中采样。
请参阅图3，NAS在建立搜索空间后，通常利用第一网络结构在搜索空间中采样到第二网络结构，然后将第二网络结构训练到收敛，以确定反馈量，最后利用反馈量更新第一网络结构。
具体地，NAS的思想是，通过一个第一网络结构在搜索空间中得到一个网络结构，然后根据该网络结构得到准确率R，将准确率R作为反馈以更新第一网络结构，第一网络结构继续优化得到另一个网络结构，如此反复进行直到得到最佳的结果。在图3的示例中，第一网络结构通过循环神经网络(Recurrent Neural Network，RNN)构建，当然，第一网络结构也可以通过卷积神经网络(Convolutional Neural Networks，CNN)或长短期记忆人工神经网络(Long-Short Term Memory，LSTM)构建。在此不对第一网络结构构建的具体方式进行限定。
然而，将第二网络结构训练到收敛比较耗时。对此，相关技术出现了多种解决NAS高效性的方法，例如，基于网络变换的高效网络结构搜索(Efficient ArchitectureSearch by Network Transformation)，以及基于权值分享的高效网络结构搜索(Efficient Neural Architecture Search via Parameter Sharing，ENAS)。其中，基于权值分享的高效网络结构搜索应用较为广泛。
具体地，请参阅图4，基于权值分享的高效网络结构搜索在使用过程中，将操作连接成总图，搜索到的最终最优结构是总图中的其中一个子图。在图4的示例中，总图由节点间的操作连接而成。图4中加粗的带边最优结构的连接方式是总图的一个子图。
ENAS采用权值分享策略，在每次采样到一个网络结构后，不再将其直接训练至收敛，而是训练一个批(batch)，迭代多次后，总图最终可以收敛。请注意，图的收敛并不相当于网络结构的收敛。
在训练完所述总图后，可以将总图的参数固定(fix)住，然后训练第一网络结构。具体地，可以对总图进行采样以得到第二网络结构，根据第二网络结构进行预测(prediction)以训练第一网络结构的参数并得到第一网络结构的反馈量，从而更新第一网络结构。
可以理解，基于权值分享的高效网络结构搜索，由于在每次搜索网络结构时，分享了可以分享的参数，可以节约时间，从而提高网络结构搜索的效率。例如，在图4的示例中，如果在搜索到节点1、节点3和节点6并对搜索到的网络结构进行训练之后，本次搜索到节点1、节点2、节点3和节点6，那么，搜索到节点1、节点3和节点6时训练的网络结构的相关参数可以应用到对本次搜索到的网络结构的训练中。这样，就可以实现通过权值分享提高效率。
ENAS可以将NAS的效率提升1000倍以上，但是，在实际使用的过程中，会出现如下问题：搜索的网络经常出现较大的偏见(bias)，即，通过ENAS搜索到的网络结构总会倾向于卷积核尺寸(kernel size)较大的操作。
以上述搜索空间为例，将conv3*3，conv5*5，depthwise3*3，depthwise5*5，maxpool3*3，average pool3*3等定义为搜索空间，那么第一网络结构总会搜索到conv5*5。这将导致两个较为严重的问题：第一，搜索到的模型参数较大。这样即使计算力足够，对模型参数没有限制，参数较多的模型也易于过拟合，泛化能力下降，不易调试训练。第二，第一网络结构带有偏见就意味着第一网络结构收敛到的是局部最优解，无法充分探索(explore)搜索空间。这样的第一网络结构不具有较高的可信度，不能保证我们搜索到的模型就是全局最优。
上述问题较为严重，需要十分精细的调节第一网络结构使其不会收敛至局部最优解。否则，该问题将使ENAS框架失效。但是精细调节第一网络结构将使ENAS变得十分繁琐，失去的AutoML的初衷，变得不易使用。而且精细调节也不能保证得到较好的第一网络结构。
基于此，本申请实施方式的网络结构搜索的方法及装置10，在对总图和第一网络结构进行优化前，先以固定的第一网络结构的预设参数对总图进行预训练，使得具有预训练参数的总图得到充分的训练。预训练完成后，放开第一网络结构的参数对总图和第一网络结构进行训练，从而对网络结构和第一网络结构进行优化，避免从头开始训练时优化第一网络结构导致的偏见，提高第一网络结构的可信度，保证搜索到的模型是全局最优。
可以理解，传统的CNN中，由网络结构搜索得到的神经网络结构一般可以通过样本数据进行训练和验证。其中，样本数据包括验证样本和训练样本，验证样本可以用于验证网络结构好不好，训练样本可以用于训练网络结构搜索方法搜索到的网络结构。
在本实施方式中，训练样本还可以包括训练集(train)和测试集(valid)。
也即是说，在本实施方式中，训练样本可以划分为训练集和测试集。具体地，训练集和测试集可以由用户进行划分，或者由网络结构搜索的装置10进行划分。其中，训练集由网络结构搜索的装置10进行划分时，处理器104可以用于将训练样本分为训练集和测试集。
在本实施方式中，第一网络结构通过LSTM构建。在搜索网络结构时，训练集用于训练搜索结构的参数，如通过conv3*3，sep5*5计算出的结构的参数。而Cell用于搜索网络结构，为看搜索到的网络结构的泛化能力，会把LSTM的参数在测试集上训练。也即是说，训练集用于训练搜索结构的参数，测试集用于训练LSTM的参数。而验证样本用于验证训练后搜索到的网络结构好不好。
在一个例子中，训练样本的数量为10个，将训练样本划分为数量为8个的训练集和数量为2个的测试集，数量为8个的训练集用于训练搜到的网络结构，数量为2个的测试集用于训练LSTM。
需要说明的是，与传统的CNN一样，本实施方式可以由验证样本用于验证网络结构好不好，也即是说，本实施方式的验证样本可以保持不变。训练样本中训练集可以用于预训练步骤S14和训练步骤S16，也即是说，预训练步骤S14和训练步骤S16可以在同一个训练集上进行训练。
可选地，请参阅图5，步骤S14包括：
步骤S142：将第一网络结构的参数设置为第一网络结构的预设参数。
具体地，步骤S142可以由处理器104实现，也即是说，处理器104可以用于将第一网络结构的参数设置为第一网络结构的预设参数。
如此，实现预训练过程中的第一网络结构的参数设置，此时，预训练过程中的第一网络结构的参数是固定的。
可选地，步骤S14还包括：
步骤S144：根据第一网络结构以第一网络结构的预设参数在搜索空间的每个操作层采样一个操作以得到总图的一个子图；和
步骤S146：利用训练集的一批训练数据训练总图的子图以得到具有预训练参数的总图。
具体地，步骤S144和步骤S146可以由处理器104实现，也即是说，处理器104可以用于根据第一网络结构以第一网络结构的预设参数在搜索空间的每个操作层采样一个操作以得到总图的一个子图，以及用于利用训练集的一批训练数据训练总图的子图以得到具有预训练参数的总图。
如此，实现对总图的预训练。在本实施方式中，预训练时，第一网络结构以固定的预设参数采样操作，可以使得采样到每种操作的概率呈均匀分布。也即是说，在预训练过程中，第一网络结构以固定的预设参数采样相应的操作时，采样到每种操作的概率是相等的，卷积核尺寸不会影响第一网络结构的采样到各个操作的概率。
可选地，步骤S144和步骤S146迭代进行至完成第一迭代总次数。
可以理解，步骤S144和步骤S146每次可对一个子图进行预训练，即每次预训练后具有预训练参数的总图中总有一个子图的参数发生变化，因此，步骤S144和步骤S146迭代进行可以使得多个子图可以得到预训练，通过控制预训练的第一迭代总次数，可以使得总图中每个子图都能够被采样到，从而总图可以得到充分的预训练，也即得到具有预训练参数的总图。
在一个例子中，搜索空间为5层，每层有4个可选用的操作，相当于4X5的图。网络结构搜索需要在每层选一个操作，相当于在图上进行路径优化。初始时，步骤S144在搜索空间的每个操作层随机采样一个操作，然后把采样到的操作连起来，得到一个网络结构，这个网络结构为搜索空间的总图中的一个子图，步骤S146在训练集的一批测试数据上训练这个网络结构；接着，重复步骤S144再在每层随机采样一个操作得到另一个网络结构，步骤S146再在训练集的另一批测试数据上训练这个网络结构。
其中，训练集可以划分为多批训练数据，不断重复步骤S144和步骤S146，直到训练集的多批训练数据使用完毕，也即是一个迭代(epoch)。在一个epoch后，随机采样到了总图中的部分子图，也对相应的子图进行了预训练，接着，以相同的方式训练总图完成第二个epoch……如此，进行多次迭代，即可实现对总图充分的预训练。
可以理解，通过设置合适的第一迭代总次数，可以使得对总图进行预训练后，总图中每个子图都已经受到过训练，得到具有预训练参数的总图。
在本实施方式中，第一迭代总次数可以是310次。可以理解，在其他的实施方式中，第二迭代总次数的数值可为100次、200次或其他数值。
可选地，请参阅图6，步骤S16包括：
训练总图步骤S162，根据第一网络结构训练具有预训练参数的总图；和
训练第一网络结构步骤S164，确定第一网络结构的反馈量并根据第一网络结构的反馈量更新第一网络结构。
具体地，步骤S162和步骤S164可以由处理器104实现，也即是说，处理器104可以用于根据第一网络结构训练具有预训练参数的总图，以及用于确定反馈量并根据反馈量更新第一网络结构。
如此，在预训练的基础上实现对网络结构的优化。
可选地，步骤S162和步骤S164迭代进行至完成第二迭代总次数。
如此，实现将总图和第一网络结构交替进行优化。具体地，第二迭代总次数可以使得总图和第一网络结构得到充分训练。
可选地，请参阅图7，步骤S162包括：
步骤S1622：根据第一网络结构在搜索空间的每个操作层采样一个操作以得到具有预训练参数的总图的一个子图；和
步骤S1624,：利用训练集的一批训练数据训练采样到的子图。
具体地，步骤S1622和步骤S1624可以由处理器104实现，也即是说，处理器104可以用于根据第一网络结构在搜索空间的每个操作层采样一个操作以得到具有预训练参数的总图的一个子图，以及用于利用训练集的一批训练数据训练采样到的子图。
如此，实现对总图的训练。在本实施方式中，ENAS采用权值分享策略，在每次采样到一个网络结构后，不再将其直接训练至收敛，而是训练一个批，然后进行第一网络结构的训练。请注意，图的收敛并不相当于网络结构的收敛。
由于总图已经在预训练过程中受到过训练，此时，可以放开第一网络结构的参数，即步骤S1622中可以不以第一网络结构的预设参数进行采样，相应地，在具有预训练参数的总图的操作层中，采样到各个操作的概率可以不相同。
相应地，步骤S1622和步骤S1624可以循环进行，在一个例子中，初始时，每层采样一个操作，然后把采样到的操作连起来，得到一个子图，在训练集的一批数据上训练这个子图；接着，再每层采样一个操作得到另一个子图，再在训练集的另一批数据上训练这个子图；接着，继续每层采样到又一个子图并在训练集的又一批数据上训练这个子图……直到训练集中的数据使用完毕，也即是完成一个epoch。
当训练总图步骤S162完成一个epoch后，固定总图的参数，进入训练第一网络结构步骤S164从而实现总图和第一网络结构交替进行优化。
接着，以相同的方式训练总图完成第二个epoch，固定总图的参数，然后训练第一网络结构。
接着，以相同的方式训练总图完成第三个epoch，固定总图的参数，然后训练第一网络结构……如此迭代，直至完成第二迭代总次数，以将总图和第一网络结构交替进行优化。
需要说明的是，在执行训练总图步骤S162中，总图的参数随着训练的进行而变化，也就是说，每次迭代中具有预训练参数的总图在训练的过程中总图参数持续地更新直至完成一个epoch。
在上述讨论的实施方式中，训练总图步骤S162每完成一个epoch，再固定总图的参数，然后进入训练第一网络结构步骤S164，当然，在其他实施方式中，训练总图步骤S162可以是每完成10个epoch，再固定总图的参数，然后进入训练第一网络结构步骤S164。上述列出步骤S162每次完成epoch的数量仅作为示例，不能解释为对本申请的限制，可以理解，步骤S162每次完成epoch的数量可以根据实际情况进行设置，在此不做具体限定。
在本实施方式中，第二迭代总次数为310次。可以理解，在其他的实施方式中，第二迭代总次数的数值可为100次、200次或其他数值。
需要说明的是，在本实施方式中，第一迭代总次数和第二迭代总次数是相同的，而在其他实施方式中，第一迭代总次数和第二迭代总次数可以是不相同的，在此不做具体限定。
请参阅图8，搜索空间的每个操作层对应于长短期记忆人工神经网络(LSTM)的一个时间步(timestep)，对于每个时间步，长短期记忆人工神经网络的细胞(Cell)输出一个隐状态(hidden state)，步骤S1622包括：
将隐状态映射为特征向量，特征向量的维度与每个操作层上的操作数量相同；
根据特征向量在每个操作层采样一个操作以得到总图的子图。
具体地，处理器104可以用于将隐状态映射为特征向量，以及用于根据特征向量在每个操作层采样一个操作以得到总图的子图。其中，特征向量的维度与每个操作层上的操作数量相同。
如此，实现在搜索空间的每个操作层采样一个操作以得到总图的子图。例如，一共要搜索一个20层的网络，不考虑跳线，需要20个时间步。
在图8的示例中，实线箭头表示时间步(timestep)，时间1表示LSTM的第一个Cell，时间2表示LSTM的第二个Cell……以此类推。方块conv3*3表示在模型中该层的操作，圆形表示操作层与操作层之间的连接关系。
可以理解，由于网络结构的计算有先后顺序，将计算先后的关系的逻辑关系映射到LSTM上，就是图8中一个小方块从左往右，对应的每一个时间的LSTM的cell的状态。
具体地，在时间1下，cell输出的隐状态经过计算得到卷积conv3×3，conv3×3作为时间2下cell的输入层，时间1下cell输出的隐状态也作为时间2下cell的输入，计算得到圆圈1。
同理，圆圈1作为时间3下cell的输入，时间2下cell输出的隐状态也作为时间3的输入，计算得到卷积sep5×5……以此类推。
进一步地，根据特征向量在每个操作层采样一个操作以得到网络结构的步骤包括：
将特征向量进行归一化(softmax)以得到每个操作层的每个操作的概率；
根据概率在每个操作层采样一个操作以得到网络结构。
如此，实现根据特征向量在每个操作层采样一个操作以得到网络结构。具体地，在图8所示的例子中，对LSTM的cell输出的隐状态进行编码(encoding)操作，将其映射维度为6的向量(vector)，该向量经过归一化指数函数(softmax)，变为概率分布，依据此概率分布进行采样，得到当前层的操作。以此类推最终得到一个网络结构。可以理解，在此例子中，只有一个输入，一共包含六种操作(3×3卷积，5×5卷积，3×3depthwise-separable卷积，5×5depthwise-separable卷积，max pooling，3×3average pooling)，向量的维度与搜索空间对应，6是指搜索空间有6个操作可选择。
请参阅图9，步骤S164中，确定反馈量的步骤包括：
步骤S1642：根据第一网络结构在搜索空间的每个操作层采样一个操作以得到第二网络结构；
步骤S1644：利用测试集的一批测试数据预测第二网络结构以确定第一网络结构的反馈量。
对应地，步骤S1642和步骤S1644可以由处理器104实现，也即是说，处理器104可以用于根据第一网络结构在搜索空间的每个操作层采样一个操作以得到第二网络结构，以及用于利用测试集的一批测试数据预测第二网络结构以确定第一网络结构的反馈量。
如此，可以根据搜索到的第二网络结构在测试集上进行预测从而得到第一网络结构的反馈量。
在本实施方式中，在搜索到第二网络结构后，可将搜索到的第二网络结构在测试集上预测，以得到反馈量来根据前述公式更新第一网络结构。请注意，并非直接用测试集训练LSTM。
可选地，训练第一网络结构步骤S164循环预设次数，步骤S164包括：
步骤S1646，利用每次循环确定的第一网络结构的反馈量更新第一网络结构，每次循环确定第一网络结构的反馈量的数量为预设数量。
对应地，处理器104用于将第一网络结构循环训练预设次数，以及用于利用每次循环确定的反馈量更新第一网络结构。其中，每次循环确定的反馈量的数量为预设数量。
如此，实现训练第一网络结构。具体地，在本实施方式中，步骤S16循环50次，也即是说，训练总图步骤S162和训练第一网络结构步骤S164迭代进行训练过程中，每次训练第一网络结构步骤164执行时，第一网络结构更新50次从而实现第一网络结构的优化。训练第一网络结构步骤164完成后，下迭代中训练总图步骤162以最后更新的第一网络结构训练总图。
可以理解，在其他的例子中，预设次数可为10、20、30或其他数值，在此不对预设次数的具体数值进行限定。
可选地，步骤S1642和步骤S1644循环进行以获得第一网络结构预设数量的反馈量。
可以理解，每次循环时，都可以采样到一个第二网络结构，这个网络结构在测试集的一批训练数据上进行测试后，可以得到一个关于第一网络结构的反馈量，循环进行足够次数后可以获得第一网络结构预设数量的反馈量。
在一个例子中，预设数量为20，即第一网络结构的反馈量为20个。可以理解，在其他的例子中，预设数量可为10、15、25或其他数值。在此不对预设数量的具体数值进行限定。
可选地，第一网络结构是根据长短期记忆网络模型来构建，步骤S164通过以下条件式实现：
Figure BDA0002592047820000111
其中，Rk为第k个反馈量，θc为长短期记忆网络模型的参数，at为在第t个操作层采样到的所述操作，P(at|a(t-1):1；θc)为采样到操作的概率，m为反馈量的总数，T为第一网络结构预测的超参数的数量。
如此，实现根据多个反馈量的平均值更新第一网络结构。在本实施方式中，T包括操作层和跳线。在其他的实施方式中，还可能包含其他想要优化的超参数。在此不对T的具体内容进行限定。
在本实施方式中，对总图的训练和对第一网络结构的更新是多次迭代进行的，总图与第一网络结构交替训练的第二迭代总次数为310次。也即是说，步骤S14和步骤S16迭代310次。如此，可以最终获得效果较好的第二网络结构。
在每次交替训练时，循环步骤S16的预设次数为50次。也即是说，在步骤S14和步骤S16的每次迭代中，第一网络结构更新50次，根据上述条件式执行50次。可以理解，将步骤S16的循环次数选取为50，可以减少采样带来的随机性优化。
每次循环步骤S16时，采样的第二网络结构的数量为20个，以得到20个反馈量，将20个反馈量作为Rk代入上述条件式，以实现第一网络结构的更新。也即是说，上述条件式中，m的值为20。
请注意，训练样本遍历一遍，即为迭代一次。例如，训练样本的数量为10个，每次划分出2个样本作为训练集的一批来训练子图，5批后，训练样本使用完毕，则完成一次迭代。
可选的，请参阅图10，步骤S164中，确定反馈量的步骤包括：
步骤S1646：根据预设的惩罚模型调整第一网络结构的反馈量。
对应地，步骤S1646可以由处理器104实现，也即是说，处理器104可以用于根据预设的惩罚模型调整第一网络结构的反馈量。
可以理解，预训练过程可以不将总图训练到充分收敛，此时，在预训练过程中未能使得总图充分收敛的情况下，根据预设的惩罚模型调整反馈量，可以避免在总图未充分收敛时优化第一网络结构导致的偏见，从而进一步提高第一网络结构的可信度，保证搜索到的模型是全局最优。
可选地，请参阅图11，步骤S1646包括：
步骤S1648：根据预设信息、第二网络结构、当前的迭代次数和第二迭代总次数确定惩罚项；
步骤S1649：根据惩罚项调整反馈量。
对应地，步骤S1648和步骤S1649可以由处理器104实现，也即是说，处理器104用于根据预设信息、第二网络结构、当前的迭代次数和迭代总次数确定惩罚项；以及用于根据惩罚项调整反馈量。
如此，实现根据惩罚模型调整反馈量。可以理解，为避免在搜索过程中，总图未充分收敛的情况下，优化第一网络结构引入偏见。我们给较大的卷积核加入惩罚项，对预测时的反馈量进行处理。
具体地，步骤S1648中的预设信息，可以是用户预先输入的信息，也可以是其他计算模型将计算的结果输入。在此不对预设信息的来源进行限定。
请注意，在本实施方式中，步骤S162和步骤S164迭代进行。第二迭代总次数指步骤S12和步骤S164迭代的总次数。当前的迭代次数是指在步骤S162和步骤S164迭代过程中，当前的迭代是第几次迭代。例如，第二迭代总次数为310，在第一次迭代时，当前的迭代次数为1；在第二次迭代时，当前的迭代次数为2；在第三次迭代时，当前的迭代次数为3……以此类推，步骤S162和步骤S164迭代完310次即停止迭代。
因此，第二迭代总次数和每次迭代中当前的迭代次数也是可以确定的。其中，第二迭代总次数可以由用户进行设定。当前的迭代次数随着迭代的进行是可以累计得到的。
请一并参阅图12，由于随着迭代的进行，总图逐渐收敛。可以理解，惩罚项的值随着总图的收敛过程而增大，其中，总图在训练的后期收敛了，应该予以正常的反馈量，不再对反馈量进行惩罚，因此，在总图收敛时，惩罚项的值为1。请注意，随着步骤S162和步骤S164的迭代的进行，总图逐渐收敛，在迭代完第二迭代总次数时，总图呈收敛状态。
从图12中可以看出，惩罚项的数值可以是从0.76逐步过渡到1。对应地，调整后的反馈量，逐步从ACC*0.76到ACC。
在一些实施例中，惩罚项的大小选取可以与预训练时总图的收敛程度相关，此时，预设信息可以包括预训练的第一迭代总次数，也即是说，步骤S1648可以根据预训练的第一迭代总次数、第二网络结构、当前的迭代次数和第二迭代总次数确定惩罚项。
本申请实施方式还提供一种计算机存储介质，其上存储有计算机程序，计算机程序被计算机执行时使得，计算机执行上述任一实施方式的方法。
本申请实施方式还提供一种包含指令的计算机程序产品，指令被计算机执行时使得计算机执行上述任一实施方式的方法。
本申请实施方式的计算机存储介质和计算机程序产品，将网络结构和第一网络结构交替进行优化，并根据预设的惩罚模型调整反馈量，可以避免在总图充分收敛时优化第一网络结构导致的偏见，从而提高第一网络结构的可信度，保证搜索到的模型是全局最优。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种网络结构搜索的方法，其特征在于，包括：
定义搜索空间步骤：确定待进行网络结构搜索的神经网络模型的搜索空间，所述搜索空间定义了所述神经网络模型中每两个节点之间的操作层上的多种操作；
预训练步骤：根据第一网络结构以所述第一网络结构的预设参数训练所述搜索空间的总图以得到具有预训练参数的所述总图，所述总图由所述操作构成；
训练步骤：根据所述第一网络结构训练具有所述预训练参数的所述总图和根据所述第一网络结构的反馈量更新所述第一网络结构。
2.根据权利要求1所述的网络结构搜索的方法，其特征在于，所述预训练步骤，包括：
根据所述第一网络结构以所述第一网络结构的预设参数在所述搜索空间的每个所述操作层采样一个所述操作以得到所述总图的一个子图；
利用训练集的一批训练数据训练所述总图的子图以得到具有所述预训练参数的所述总图。
3.根据权利要求1所述的网络结构搜索的方法，其特征在于，所述训练步骤包括：
训练总图步骤：根据所述第一网络结构训练具有所述预训练参数的所述总图；
训练第一网络结构步骤：确定所述反馈量并根据所述反馈量更新所述第一网络结构。
4.根据权利要求3所述的网络结构搜索的方法，其特征在于，所述训练总图步骤和所述训练第一网络结构步骤迭代进行。
5.根据权利要求3所述的网络结构搜索的方法，其特征在于，所述训练总图步骤包括：
根据所述第一网络结构在所述搜索空间的每个所述操作层采样一个所述操作以得到具有所述预训练参数的所述总图的一个子图；
利用训练集的一批训练数据训练所述子图。
6.根据权利要求3所述的网络结构搜索的方法，其特征在于，所述训练第一网络结构步骤循环预设次数，根据所述反馈量更新所述第一网络结构，包括：
利用每次循环确定的所述反馈量更新所述第一网络结构，每次循环确定的所述反馈量的数量为预设数量。
7.根据权利要求6所述的网络结构搜索的方法，其特征在于，确定所述反馈量，包括：
根据所述第一网络结构在所述搜索空间的每个所述操作层采样一个所述操作以得到第二网络结构；
利用测试集的一批测试数据预测所述第二网络结构以确定所述反馈量。
8.根据权利要求6所述的网络结构搜索方法，其特征在于，所述第一网络结构是根据长短期记忆网络模型来构建，根据所述反馈量更新所述第一网络结构，通过以下条件式实现：
Figure FDA0002592047810000021
其中，Rk为第k个所述反馈量，θc为所述长短期记忆网络模型的参数，at为在第t个所述操作层采样到的所述操作，P(at|a(t-1):1；θc)为采样到所述操作的概率，m为所述反馈量的总数，T为所述第一网络结构预测的超参数的数量。
9.一种网络结构搜索的装置，其特征在于，包括处理器和存储器，所述存储器存储有一个或多个程序，在所述程序被处理器执行的情况下，使得所述处理器用于执行：
定义搜索空间步骤：确定待进行网络结构搜索的神经网络模型的搜索空间，所述搜索空间定义了所述神经网络模型中每两个节点之间的操作层上的多种操作；
预训练步骤：根据第一网络结构以所述第一网络结构的预设参数训练所述搜索空间的总图以得到具有预训练参数的所述总图，所述总图由所述操作构成；
训练步骤：根据所述第一网络结构训练具有所述预训练参数的所述总图和根据所述第一网络结构的反馈量更新所述第一网络结构。
10.根据权利要求9所述的网络结构搜索的装置，其特征在于，所述处理器用于根据所述第一网络结构以所述第一网络结构的预设参数在所述搜索空间的每个所述操作层采样一个所述操作以得到所述总图的一个子图；以及用于利用训练集的一批训练数据训练所述总图的子图以得到具有所述预训练参数的所述总图。
11.根据权利要求9所述的网络结构搜索的装置，其特征在于，所述处理器用于训练总图：根据所述第一网络结构训练具有所述预训练参数的所述总图；以及用于训练第一网络结构：确定所述反馈量并根据所述反馈量更新所述第一网络结构。
12.根据权利要求11所述的网络结构搜索的装置，其特征在于，所述处理器用于迭代进行所述训练总图和所述训练第一网络结构。
13.根据权利要求11所述的网络结构搜索的装置，其特征在于，所述处理器用于根据所述第一网络结构在所述搜索空间的每个所述操作层采样一个所述操作以得到具有所述预训练参数的所述总图的一个子图，以及用于利用训练集的一批训练数据训练所述子图。
14.根据权利要求11所述的网络结构搜索的装置，其特征在于，所述处理器用于将所述训练第一网络结构步骤循环预设次数，以及用于利用每次循环确定的所述反馈量更新所述第一网络结构，每次循环确定的所述反馈量的数量为预设数量。
15.根据权利要求14所述的网络结构搜索的装置，其特征在于，所述处理器用于根据第一网络结构在所述搜索空间的每个所述操作层采样一个所述操作以得到第二网络结构；以及用于利用测试集的一批测试数据预测所述第二网络结构以确定所述反馈量。
16.根据权利要求14所述的网络结构搜索的装置，其特征在于，所述第一网络结构是根据长短期记忆网络模型来构建，所述处理器用于利用所述反馈量更新所述第一网络结构，通过以下条件式实现：
Figure FDA0002592047810000031
其中，Rk为第k个所述反馈量，θc为所述长短期记忆网络模型的参数，at为在第t个所述操作层采样到的所述操作，P(at|a(t-1):1；θc)为采样到所述操作的概率，m为所述反馈量的总数，T为所述第一网络结构预测的超参数的数量。
17.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机执行时使得，所述计算机执行权利要求1至8中任一项所述的方法。
18.一种包含指令的计算机程序产品，其特征在于，所述指令被计算机执行时使得所述计算机执行权利要求1至8中任一项所述的方法。
CN201980009276.7A 2019-05-31 2019-05-31 网络结构搜索的方法及装置、计算机存储介质和计算机程序产品 Pending CN111684472A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/089697 WO2020237688A1 (zh) 2019-05-31 2019-05-31 网络结构搜索的方法及装置、计算机存储介质和计算机程序产品

Publications (1)

Publication Number Publication Date
CN111684472A true CN111684472A (zh) 2020-09-18

Family

ID=72433307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980009276.7A Pending CN111684472A (zh) 2019-05-31 2019-05-31 网络结构搜索的方法及装置、计算机存储介质和计算机程序产品

Country Status (2)

Country Link
CN (1) CN111684472A (zh)
WO (1) WO2020237688A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229657A (zh) * 2017-12-25 2018-06-29 杭州健培科技有限公司 一种基于演化算法的深度神经网络训练与优化算法
CN108496188A (zh) * 2017-05-31 2018-09-04 深圳市大疆创新科技有限公司 神经网络训练的方法、装置、计算机系统和可移动设备
CN109284820A (zh) * 2018-10-26 2019-01-29 北京图森未来科技有限公司 一种深度神经网络的结构搜索方法及装置
CN109344959A (zh) * 2018-08-27 2019-02-15 联想(北京)有限公司 神经网络训练方法、神经网络系统和计算机系统
CN109685204A (zh) * 2018-12-24 2019-04-26 北京旷视科技有限公司 模型搜索方法及装置、图像处理方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017230184B2 (en) * 2016-03-11 2021-10-07 Magic Leap, Inc. Structure learning in convolutional neural networks
EP3583553A1 (en) * 2017-07-21 2019-12-25 Google LLC Neural architecture search for convolutional neural networks
CN108229647A (zh) * 2017-08-18 2018-06-29 北京市商汤科技开发有限公司 神经网络结构的生成方法和装置、电子设备、存储介质
CN108921287A (zh) * 2018-07-12 2018-11-30 开放智能机器（上海）有限公司 一种神经网络模型的优化方法及系统
CN109299142B (zh) * 2018-11-14 2020-10-27 中山大学 一种基于进化算法的卷积神经网络结构搜索方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108496188A (zh) * 2017-05-31 2018-09-04 深圳市大疆创新科技有限公司 神经网络训练的方法、装置、计算机系统和可移动设备
CN108229657A (zh) * 2017-12-25 2018-06-29 杭州健培科技有限公司 一种基于演化算法的深度神经网络训练与优化算法
CN109344959A (zh) * 2018-08-27 2019-02-15 联想(北京)有限公司 神经网络训练方法、神经网络系统和计算机系统
CN109284820A (zh) * 2018-10-26 2019-01-29 北京图森未来科技有限公司 一种深度神经网络的结构搜索方法及装置
CN109685204A (zh) * 2018-12-24 2019-04-26 北京旷视科技有限公司 模型搜索方法及装置、图像处理方法及装置

Also Published As

Publication number Publication date
WO2020237688A1 (zh) 2020-12-03

Similar Documents

Publication Publication Date Title
US11610131B2 (en) Ensembling of neural network models
US20210390416A1 (en) Variable parameter probability for machine-learning model generation and training
US9785886B1 (en) Cooperative execution of a genetic algorithm with an efficient training algorithm for data-driven model creation
US11853893B2 (en) Execution of a genetic algorithm having variable epoch size with selective execution of a training algorithm
Moerland et al. A0c: Alpha zero in continuous action space
US20210390466A1 (en) Fast, predictive, and iteration-free automated machine learning pipeline
US20210081763A1 (en) Electronic device and method for controlling the electronic device thereof
US20220147877A1 (en) System and method for automatic building of learning machines using learning machines
CN111406264A (zh) 神经架构搜索
CN113361680A (zh) 一种神经网络架构搜索方法、装置、设备及介质
CN110770764A (zh) 超参数的优化方法及装置
CN111656365A (zh) 网络结构搜索的方法及装置、计算机存储介质和计算机程序产品
CN116432570A (zh) 一种芯片的测试用例生成方法、装置及存储介质
WO2020169182A1 (en) Method and apparatus for allocating tasks
Stanescu et al. Learning parsimonious ensembles for unbalanced computational genomics problems
CN111684471A (zh) 网络结构搜索的方法及装置、计算机存储介质和计算机程序产品
CN111684472A (zh) 网络结构搜索的方法及装置、计算机存储介质和计算机程序产品
KR102559605B1 (ko) 함수 최적화 방법 및 장치
US20220391687A1 (en) Reinforcement learning algorithm search
WO2021155466A1 (en) Active learning for attribute graphs
CN112106077A (zh) 网络结构搜索的方法、装置、存储介质和计算机程序产品
CN112513837A (zh) 网络结构搜索方法和装置
Pellatt et al. Speeding up deep neural architecture search for wearable activity recognition with early prediction of converged performance
US20220405599A1 (en) Automated design of architectures of artificial neural networks
JP7127686B2 (ja) 仮説推論装置、仮説推論方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200918