CN110399974A - 一种超参数的自动确定方法及装置 - Google Patents

一种超参数的自动确定方法及装置 Download PDF

Info

Publication number
CN110399974A
CN110399974A CN201910694036.7A CN201910694036A CN110399974A CN 110399974 A CN110399974 A CN 110399974A CN 201910694036 A CN201910694036 A CN 201910694036A CN 110399974 A CN110399974 A CN 110399974A
Authority
CN
China
Prior art keywords
hyper parameter
parameter
candidate
hyper
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910694036.7A
Other languages
English (en)
Inventor
罗杰文
高天宁
张宏韬
徐祎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN201910694036.7A priority Critical patent/CN110399974A/zh
Publication of CN110399974A publication Critical patent/CN110399974A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种超参数的自动确定方法及装置，所述方法包括：获取预设数量组候选超参数；从所述预设数量组候选超参数中获得初始组候选超参数，并根据所述初始组候选超参数以及状态参数获取规则获得所述初始组候选超参数对应的状态参数；根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数、所述预设数量组候选超参数以及预设神经网络模型，获得目标超参数。所述装置用于执行上述方法。本发明实施例提供的超参数的自动确定方法及装置，提高了提高了超参数的获取效率。

Description

一种超参数的自动确定方法及装置
技术领域
本发明涉及人工智能技术领域，具体涉及一种超参数的自动确定方法及装置。
背景技术
随着人工智能(Artificial Intelligence，简称AI)技术的发展，人工智能技术得到越来越广泛的应用。
机器学习是实现人工智能的重要方法，在通过机器学习训练模型之前，通常都需要从候选超参数中选取适当的超参数对模型进行设置。现有技术中，超参数的调节依赖于人的经验，有大量实践经验的人才能在有限的时间内调整出满足需要的超参数。网格搜索是常用的自动调节参数的方法，通过穷举搜索，获得所有的超参数的情况，对每种情况进行训练，找到最优的超参数，由于需要对每种超参数的情况都进行训练，资源和时间的消耗较多，尤其是在候选超参数较多的情况下。
因此，如何提出一种超参数的自动确定方法，能够从多个候选的超参数中筛选出合适的超参数，以提高超参数的获取效率成为本领域需要解决的重要课题。
发明内容
针对现有技术中的问题，本发明实施例提供一种超参数的自动确定方法及装置。
一方面，本发明提出一种超参数的自动确定方法，包括：
获取预设数量组候选超参数；
从所述预设数量组候选超参数中获得初始组候选超参数，并根据所述初始组候选超参数以及状态参数获取规则获得所述初始组候选超参数对应的状态参数；
根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数、所述预设数量组候选超参数以及预设神经网络模型，获得目标超参数。
另一方面，本发明提供一种超参数的自动确定装置，包括：
获取单元，用于获取预设数量组候选超参数；
获得单元，用于从所述预设数量组候选超参数中获得初始组候选超参数，并根据所述初始组候选超参数以及状态参数获取规则获得所述初始组候选超参数对应的状态参数；
确定单元，用于根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数、所述预设数量组候选超参数以及预设神经网络模型，获得目标超参数。
再一方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述超参数的自动确定方法的步骤。
又一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述超参数的自动确定方法的步骤。
本发明实施例提供的超参数的自动确定方法及装置，获取预设数量组候选超参数，并从预设数量组候选超参数中获得初始组候选超参数，然后根据初始组候选超参数以及状态参数获取规则获得初始组候选超参数对应的状态参数，再根据初始组候选超参数、初始组候选超参数对应的状态参数、预设数量组候选超参数以及预设神经网络模型，获得目标超参数，能够快速从预设数量组候选超参数获得目标超参数，节约了大量的时间，提高了超参数的获取效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明一实施例提供的超参数的自动确定方法的流程示意图。
图2是本发明另一实施例提供的超参数的自动确定方法的流程示意图。
图3是本发明又一实施例提供的超参数的自动确定方法的流程示意图。
图4是本发明一实施例提供的超参数的自动确定装置的结构示意图。
图5是本发明另一实施例提供的超参数的自动确定装置的结构示意图。
图6为本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在机器学习中，需要设置网络模型的超参数，并且有的网络模型的超参数的数量很多，组合起来就会有很多种，如果采用现有技术中人的经验去设置或者针对每种情况都进行训练，获得合适的超参数的效率非常低。而且，机器学习发展有逐渐门槛降低的趋势，许多对算法理解不是很深的人员也有直接利用网络模型进行建模的需求。为了提高超参数的获得效率以及降低机器学习中建模的难度，本发明实施例提供一种超参数的自动确定方法。本发明实施例提供的超参数的自动确定方法的执行主体包括但不限于计算机。
图1是本发明一实施例提供的超参数的自动确定方法的流程示意图，如图1所示，本发明实施例提供的超参数的自动确定方法，包括：
S101、获取预设数量组候选超参数；
具体地，对于用于机器学习的一个网络模型，如果存在大量可能的超参数，可以从中选择出预设数量组候选超参数，每组候选超参数包括至少一个超参数。其中，所述预设数量根据实际需要进行设置，本发明实施例不做限定。
例如，网络模型A的超参数有a、b和c三个，a的候选值有a1、a2、a3…a100，b的候选值有b1、b2、b3…b200，c的候选值有c1、c2、c3…c300，那么从a、b和c的候选值中各选出一个候选值就组成了一组候选超参数，例如为a1、b2和c3。
S102、从所述预设数量组候选超参数中获得初始组候选超参数，并根据所述初始组候选超参数以及状态参数获取规则获得所述初始组候选超参数对应的状态参数；
具体地，在获得所述预设数量组候选超参数之后，可以随机地从所述预设数量组候选候选超参数中获得一组候选超参数作为初始组候选超参数，也可以根据经验从所述预设数量组候选候选超参数中挑选一组候选超参数，获得挑选的一组候选超参数作为所述初始组候选超参数。然后根据所述初始组候选超参数以及状态参数获取规则，获得所述初始组候选超参数对应的状态参数，所述状态参数用于评估对应的候选超参数用于网络模型之后的性能。其中，所述状态参数获取规则是预设的。
例如，在获得所述初始组候选超参数之后，首先根据所述初始组候选超参数设置所述预设数量组候选超参数对应的模型的超参数，获得训练模型，然后基于交叉验证法、训练样本数据以及所述训练模型，获得初始组候选超参数的准确率，将所述初始组候选超参数的准确率作为所述初始组候选超参数对应的状态参数。
S103、根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数、所述预设数量组候选超参数以及预设神经网络模型，获得目标超参数。
具体地，在获得所述初始组候选超参数和所述所述初始组候选超参数对应的状态参数之后，将所述初始组候选超参数和所述所述初始组候选超参数对应的状态参数之后作为预设神经网络模型的输入，随机设置所述预设神经网络模型的训练参数，对所述预设神经网络模型进行迭代训练，直到获得的输出值满足结束条件，满足所述结束条件的输出值对应的一组候选超参数即为目标超参数。在训练过程中，更新所述预设神经网络模型的训练参数，从所述预设数量组候选超参数中获得下一组候选超参数，并根据所述下一组候选超参数以及状态参数获取规则获得所述下一组候选超参数对应的状态参数，将所述下一组候选超参数及其对应的状态参数作为更新训练参数的预设神经网络模型的输入。其中，所述结束条件是预设的。所述预设神经网络模型可以为循环神经网络(Recurrent NeuralNetwork简称RNN)模型或者卷积神经网络(Convolutional Neural Network，简称CNN)模型。
本发明实施例提供的超参数的自动确定方法，获取预设数量组候选超参数，并从预设数量组候选超参数中获得初始组候选超参数，然后根据初始组候选超参数以及状态参数获取规则获得初始组候选超参数对应的状态参数，再根据初始组候选超参数、初始组候选超参数对应的状态参数、预设数量组候选超参数以及预设神经网络模型，获得目标超参数，能够快速从预设数量组候选超参数获得目标超参数，节约了大量的时间，提高了超参数的获取效率。
图2是本发明另一实施例提供的超参数的自动确定方法的流程示意图，如图2所示，在上述各实施例的基础上，进一步地，所述根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数、所述预设数量组候选超参数以及预设神经网络模型，获得目标超参数包括：
S1031、根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数和所述预设神经网络模型，获得第一个输出值；
具体地，可以随机设置所述预设神经网络模型的训练参数，然后将所述初始组候选超参数和所述初始组候选超参数对应的状态参数作为所述预设神经网络模型的输入，可以输出第一个输出值，所述第一个输出值与所述初始组候选超参数及其对应的状态参数对应。其中，所述训练参数即在训练过程中需要发生变化的参数。
S1032、根据贪心算法从所述预设数量组候选超参数中获得下一组候选超参数，并根据所述下一组候选超参数以及所述状态参数获取规则获得所述下一组候选超参数对应的状态参数；
具体地，在获得所述第一个输出值之后，可以根据贪心算法从所述预设数量组候选超参数中选出一组候选超参数作为下一组候选超参数，然后根据所述下一组候选超参数以及所述状态参数获取规则，获得所述下一组候选超参数对应的状态参数。其中，根据贪心算法从所述预设数量组候选超参数中选出一组候选超参数的具体过程为现有技术，此处不进行赘述。
S1033、根据所述第一个输出值和所述初始组候选超参数对应的状态参数变成所述下一组候选超参数对应的状态参数的最大似然估计，更新所述预设神经网络模型；
具体地，可以获得所述初始组候选超参数对应的状态参数，在所述下一组候选超参数的动作下，变成所述下一组候选超参数对应的状态参数的最大似然估计Q1。所述第一个输出值表示为Q2，那么可以获得r(Q1-Q2)，r(Q1-Q2)用于更新所述预设神经网络模型，即更新所述预设神经网络模型的训练参数。其中，r为学习率，根据实际经验进行设置，本发明实施例不做限定。
S1034、根据所述下一组候选超参数、所述下一组候选超参数对应的状态参数和更新后的所述预设神经网络模型，获得下一个输出值，直到所述下一个输出值满足结束条件；其中，所述结束条件是预设的；
具体地，在更新完所述预设神经网络模型的训练参数之后，将所述下一组候选超参数和所述下一组候选超参数对应的状态参数作为更新后的所述预设神经网络模型的输入，可以输出下一个输出值，所述下一个输出值与所述下一组候选超参数及其对应的状态参数对应。然后判断所述下一个输出值是否满足结束条件，如果所述下一个输出值满足所述结束条件，那么所述预设神经网络模型的训练过程结束。如果所述下一个输出值不满足所述结束条件，那么根据贪心算法从所述预设数量组候选超参数中重新获得下一组候选超参数，并根据重新获得所述下一组候选超参数以及所述状态参数获取规则重新获得所述下一组候选超参数对应的状态参数，然后根据所述下一个输出值和所述下一组候选超参数对应的状态参数变成重新获得的下一组候选超参数对应的状态参数的最大似然估计，重新更新所述预设神经网络模型，再根据重新获得的下一组候选超参数及其对应的状态参数和更新后的所述预设神经网络模型，重新获得下一个输出值，对所述重新获得的下一个输出值重复上述是否满足结束条件判断过程，直到获得的下一个输出值满足所述结束条件。其中，所述结束条件是预设的，根据实际经验进行设置，本发明实施例不做限定。
例如，所述结束条件为所述下一个输出值与上一个输出值的差值的绝对值在预设范围内。其中，所述预设范围根据实际经验进行设置，本发明实施例不做限定。
S1035、将满足所述结束条件的下一个输出值对应的下一组候选超参数，作为所述目标超参数。
具体地，在所述下一个输出值满足所述结束条件之后，可以获得满足所述结束条件的下一个输出值对应的下一组候选参数，即用于获得所述满足所述结束条件的下一个输出值的那一组候选参数，将满足所述结束条件的下一个输出值对应的下一组候选参数作为所述目标超参数。
图3是本发明又一实施例提供的超参数的自动确定方法的流程示意图，如图3所示，在上述各实施例的基础上，进一步地，所述状态参数获取规则包括:
S301、设置所述预设数量组候选超参数对应的模型的超参数，获得训练模型；
具体地，所述预设数量组候选超参数中的每组候选超参数都可以作为同一个网络模型的超参数，上述同一个网络模型即为所述预设数量组候选超参数对应的模型，在获取所述状态参数时，将与所述状态参数对应的那一组候选超参数作为所述预设数量组候选超参数对应的模型的超参数，对所述预设数量组候选超参数对应的模型设置超参数之后，可以获得训练模型。
例如，当要获得所述初始组候选超参数对应的状态参数时，就用所述初始组候选超参数设置所述预设数量组候选超参数对应的模型的超参数。当要获得所述下一组候选超参数对应的状态参数时，就用所述下一组候选超参数设置所述预设数量组候选超参数对应的模型的超参数。
S302、基于交叉验证法、训练样本数据以及所述训练模型，获得所述训练模型的超参数的准确率，并将所述准确率作为所述所述训练模型的超参数对应的状态参数。
具体地，设置用于交叉验证的训练集与测试集的比例折数L，将训练集用于模型训练，测试集用于模型检验，对所述训练模型循环训练L次数，可以得到L次交叉验证的结果，将L次交叉验证结果的平均值作为所述训练模型的超参数的准确率，将所述训练模型的超参数的作为所述训练模型的超参数对应的状态参数。其中，比例折数L根据实际需要进行设置，本发明实施例不做限定。
例如，比例折数L设置为10，即将所述训练样本数据平均分为10份，轮流将其中的9份作为训练集，对所述训练模型进行训练，剩余的1份作为验证集，对所述训练模型进行验证，可以得到10次交叉验证的结果，将10次交叉验证的结果的平均值作为所述训练模型的超参数的准确率。
在上述各实施例的基础上，进一步地，所述预设神经网络模型可以采用卷积神经网络模型或者循环神经网络模型。
图4是本发明一实施例提供的超参数的自动确定装置的结构示意图，如图4所示，在上述各实施例的基础上，进一步地，本发明实施例提供的超参数的自动确定装置，包括获取单元401、获得单元402和确定单元403，其中：
获取单元401用于获取预设数量组候选超参数；获得单元402用于从所述预设数量组候选超参数中获得初始组候选超参数，并根据所述初始组候选超参数以及状态参数获取规则获得所述初始组候选超参数对应的状态参数；确定单元403用于根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数、所述预设数量组候选超参数以及预设神经网络模型，获得目标超参数。
具体地，对于用于机器学习的一个网络模型，如果存在大量可能的超参数，可以从中选择出预设数量组候选超参数，每组候选超参数包括至少一个超参数，获取单元401可以获取所述预设数量组候选超参数。其中，所述预设数量根据实际需要进行设置，本发明实施例不做限定。
在获得所述预设数量组候选超参数之后，获得单元402可以随机地从所述预设数量组候选候选超参数中获得一组候选超参数作为初始组候选超参数，也可以根据经验从所述预设数量组候选候选超参数中挑选一组候选超参数，获得单元402获得挑选的一组候选超参数作为所述初始组候选超参数。然后获得单元402根据所述初始组候选超参数以及状态参数获取规则，获得所述初始组候选超参数对应的状态参数，所述状态参数用于评估对应的候选超参数用于网络模型之后的性能。其中，所述状态参数获取规则是预设的。
在获得所述初始组候选超参数和所述所述初始组候选超参数对应的状态参数之后，确定单元403将所述初始组候选超参数和所述所述初始组候选超参数对应的状态参数之后作为预设神经网络模型的输入，随机设置所述预设神经网络模型的训练参数，对所述预设神经网络模型进行迭代训练，直到获得的输出值满足结束条件，满足所述结束条件的输出值对应的一组候选超参数即为目标超参数。在训练过程中，确定单元403更新所述预设神经网络模型的训练参数，从所述预设数量组候选超参数中获得下一组候选超参数，并根据所述下一组候选超参数以及状态参数获取规则获得所述下一组候选超参数对应的状态参数，将所述下一组候选超参数及其对应的状态参数作为更新训练参数的预设神经网络模型的输入。其中，所述结束条件是预设的。所述预设神经网络模型可以为RNN模型或者CNN模型。
本发明实施例提供的超参数的自动确定装置，获取预设数量组候选超参数，并从预设数量组候选超参数中获得初始组候选超参数，然后根据初始组候选超参数以及状态参数获取规则获得初始组候选超参数对应的状态参数，再根据初始组候选超参数、初始组候选超参数对应的状态参数、预设数量组候选超参数以及预设神经网络模型，获得目标超参数，能够快速从预设数量组候选超参数获得目标超参数，节约了大量的时间，提高了超参数的获取效率。
图5是本发明另一实施例提供的超参数的自动确定装置的结构示意图，如图5所示，在上述各实施例的基础上，进一步地，确定单元403包括第一获得子单元4031、第二获得子单元4032、更新子单元4033、第三获得子单元4034和确定子单元4035，其中：
第一获得子单元4031用于根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数和所述预设神经网络模型，获得第一个输出值；第二获得子单元4032用于根据贪心算法从所述预设数量组候选超参数中获得下一组候选超参数，并根据所述下一组候选超参数以及所述状态参数获取规则获得所述下一组候选超参数对应的状态参数；更新子单元4033用于根据所述第一个输出值和所述初始组候选超参数对应的状态参数变成所述下一组候选超参数对应的状态参数的最大似然估计，更新所述预设神经网络模型；第三获得子单元4034用于根据所述下一组候选超参数、所述下一组候选超参数对应的状态参数和更新后的所述预设神经网络模型，获得下一个输出值，直到所述下一个输出值满足结束条件；其中，所述结束条件是预设的；确定子单元4035用于将满足所述结束条件的下一个输出值对应的下一组候选超参数，作为所述目标超参数。
具体地，第一获得子单元4031可以随机设置所述预设神经网络模型的训练参数，然后将所述初始组候选超参数和所述初始组候选超参数对应的状态参数作为所述预设神经网络模型的输入，可以输出第一个输出值，所述第一个输出值与所述初始组候选超参数及其对应的状态参数对应。其中，所述训练参数即在训练过程中需要发生变化的参数。
在获得所述第一个输出值之后，第二获得子单元4032可以根据贪心算法从所述预设数量组候选超参数中选出一组候选超参数作为下一组候选超参数，然后根据所述下一组候选超参数以及所述状态参数获取规则，获得所述下一组候选超参数对应的状态参数。其中，根据贪心算法从所述预设数量组候选超参数中选出一组候选超参数的具体过程为现有技术，此处不进行赘述。
更新子单元4033可以获得所述初始组候选超参数对应的状态参数，在所述下一组候选超参数的动作下，变成所述下一组候选超参数对应的状态参数的最大似然估计Q1。所述第一个输出值表示为Q2，那么可以获得r(Q1-Q2)，r(Q1-Q2)用于更新所述预设神经网络模型，即更新所述预设神经网络模型的训练参数。其中，r为学习率，根据实际经验进行设置，本发明实施例不做限定。
在更新完所述预设神经网络模型的训练参数之后，第三获得子单元4034将所述下一组候选超参数和所述下一组候选超参数对应的状态参数作为更新后的所述预设神经网络模型的输入，可以输出下一个输出值，所述下一个输出值与所述下一组候选超参数及其对应的状态参数对应。然后判断所述下一个输出值是否满足结束条件，如果所述下一个输出值满足所述结束条件，那么所述预设神经网络模型的训练过程结束。如果所述下一个输出值不满足所述结束条件，那么第三获得子单元4034根据贪心算法从所述预设数量组候选超参数中重新获得下一组候选超参数，并根据重新获得所述下一组候选超参数以及所述状态参数获取规则重新获得所述下一组候选超参数对应的状态参数，然后根据所述下一个输出值和所述下一组候选超参数对应的状态参数变成重新获得的下一组候选超参数对应的状态参数的最大似然估计，重新更新所述预设神经网络模型，再根据重新获得的下一组候选超参数及其对应的状态参数和更新后的所述预设神经网络模型，重新获得下一个输出值，对所述重新获得的下一个输出值重复上述是否满足结束条件判断过程，直到获得的下一个输出值满足所述结束条件。其中，所述结束条件是预设的，根据实际经验进行设置，本发明实施例不做限定。
在所述下一个输出值满足所述结束条件之后，确定子单元4035可以获得满足所述结束条件的下一个输出值对应的下一组候选参数，即用于获得所述满足所述结束条件的下一个输出值的那一组候选参数，将满足所述结束条件的下一个输出值对应的下一组候选参数作为所述目标超参数。
在上述各实施例的基础上，进一步地，所述状态参数获取规则包括:
设置所述预设数量组候选超参数对应的模型的超参数，获得训练模型；
基于交叉验证法、训练样本数据以及所述训练模型，获得所述训练模型的超参数的准确率，并将所述准确率作为所述所述训练模型的超参数对应的状态参数。
具体地，所述预设数量组候选超参数中的每组候选超参数都可以作为同一个网络模型的超参数，上述同一个网络模型即为所述预设数量组候选超参数对应的模型，在获取所述状态参数时，将与所述状态参数对应的那一组候选超参数作为所述预设数量组候选超参数对应的模型的超参数，对所述预设数量组候选超参数对应的模型设置超参数之后，可以获得训练模型。
设置用于交叉验证的训练集与测试集的比例折数L，将训练集用于模型训练，测试集用于模型检验，对所述训练模型循环训练L次数，可以得到L次交叉验证的结果，将L次交叉验证结果的平均值作为所述训练模型的超参数的准确率，将所述训练模型的超参数的作为所述训练模型的超参数对应的状态参数。其中，比例折数L根据实际需要进行设置，本发明实施例不做限定。
在上述各实施例的基础上，进一步地，所述预设神经网络模型为卷积神经网络模型或者循环神经网络模型。
图6为本发明一实施例提供的电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(Communications Interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行如下方法：获取预设数量组候选超参数；从所述预设数量组候选超参数中获得初始组候选超参数，并根据所述初始组候选超参数以及状态参数获取规则获得所述初始组候选超参数对应的状态参数；根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数、所述预设数量组候选超参数以及预设神经网络模型，获得目标超参数。
此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取预设数量组候选超参数；从所述预设数量组候选超参数中获得初始组候选超参数，并根据所述初始组候选超参数以及状态参数获取规则获得所述初始组候选超参数对应的状态参数；根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数、所述预设数量组候选超参数以及预设神经网络模型，获得目标超参数。
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取预设数量组候选超参数；从所述预设数量组候选超参数中获得初始组候选超参数，并根据所述初始组候选超参数以及状态参数获取规则获得所述初始组候选超参数对应的状态参数；根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数、所述预设数量组候选超参数以及预设神经网络模型，获得目标超参数。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种超参数的自动确定方法，其特征在于，包括：
获取预设数量组候选超参数；
从所述预设数量组候选超参数中获得初始组候选超参数，并根据所述初始组候选超参数以及状态参数获取规则获得所述初始组候选超参数对应的状态参数；
根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数、所述预设数量组候选超参数以及预设神经网络模型，获得目标超参数。
2.根据权利要求1所述的方法，其特征在于，所述根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数、所述预设数量组候选超参数以及预设神经网络模型，获得目标超参数包括：
根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数和所述预设神经网络模型，获得第一个输出值；
根据贪心算法从所述预设数量组候选超参数中获得下一组候选超参数，并根据所述下一组候选超参数以及所述状态参数获取规则获得所述下一组候选超参数对应的状态参数；
根据所述第一个输出值和所述初始组候选超参数对应的状态参数变成所述下一组候选超参数对应的状态参数的最大似然估计，更新所述预设神经网络模型；
根据所述下一组候选超参数、所述下一组候选超参数对应的状态参数和更新后的所述预设神经网络模型，获得下一个输出值，直到所述下一个输出值满足结束条件；其中，所述结束条件是预设的；
将满足所述结束条件的下一个输出值对应的下一组候选超参数，作为所述目标超参数。
3.根据权利要求1所述的方法，其特征在于，所述状态参数获取规则包括:
设置所述预设数量组候选超参数对应的模型的超参数，获得训练模型；
基于交叉验证法、训练样本数据以及所述训练模型，获得所述训练模型的超参数的准确率，并将所述准确率作为所述所述训练模型的超参数对应的状态参数。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述预设神经网络模型采用卷积神经网络模型或者循环神经网络模型。
5.一种超参数的自动确定装置，其特征在于，包括：
获取单元，用于获取预设数量组候选超参数；
获得单元，用于从所述预设数量组候选超参数中获得初始组候选超参数，并根据所述初始组候选超参数以及状态参数获取规则获得所述初始组候选超参数对应的状态参数；
确定单元，用于根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数、所述预设数量组候选超参数以及预设神经网络模型，获得目标超参数。
6.根据权利要求5所述的装置，其特征在于，所述确定单元包括：
第一获得子单元，用于根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数和所述预设神经网络模型，获得第一个输出值；
第二获得子单元，用于根据贪心算法从所述预设数量组候选超参数中获得下一组候选超参数，并根据所述下一组候选超参数以及所述状态参数获取规则获得所述下一组候选超参数对应的状态参数；
更新子单元，用于根据所述第一个输出值和所述初始组候选超参数对应的状态参数变成所述下一组候选超参数对应的状态参数的最大似然估计，更新所述预设神经网络模型；
第三获得子单元，用于根据所述下一组候选超参数、所述下一组候选超参数对应的状态参数和更新后的所述预设神经网络模型，获得下一个输出值，直到所述下一个输出值满足结束条件；其中，所述结束条件是预设的；
确定子单元，用于将满足所述结束条件的下一个输出值对应的下一组候选超参数，作为所述目标超参数。
7.根据权利要求5所述的装置，其特征在于，所述状态参数获取规则包括:
设置所述预设数量组候选超参数对应的模型的超参数，获得训练模型；
基于交叉验证法、训练样本数据以及所述训练模型，获得所述训练模型的超参数的准确率，并将所述准确率作为所述所述训练模型的超参数对应的状态参数。
8.根据权利要求5至7任一项所述的装置，其特征在于，所述预设神经网络模型采用卷积神经网络模型或者循环神经网络模型。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。
CN201910694036.7A 2019-07-30 2019-07-30 一种超参数的自动确定方法及装置 Pending CN110399974A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910694036.7A CN110399974A (zh) 2019-07-30 2019-07-30 一种超参数的自动确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910694036.7A CN110399974A (zh) 2019-07-30 2019-07-30 一种超参数的自动确定方法及装置

Publications (1)

Publication Number Publication Date
CN110399974A true CN110399974A (zh) 2019-11-01

Family

ID=68326671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910694036.7A Pending CN110399974A (zh) 2019-07-30 2019-07-30 一种超参数的自动确定方法及装置

Country Status (1)

Country Link
CN (1) CN110399974A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889450A (zh) * 2019-11-27 2020-03-17 腾讯科技（深圳）有限公司 超参数调优、模型构建方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889450A (zh) * 2019-11-27 2020-03-17 腾讯科技（深圳）有限公司 超参数调优、模型构建方法和装置
CN110889450B (zh) * 2019-11-27 2023-08-11 腾讯科技（深圳）有限公司 超参数调优、模型构建方法和装置

Similar Documents

Publication Publication Date Title
JP7325703B2 (ja) ニューラルネットワークモデルの生成方法及び装置、コンピュータプログラム
CN109768940B (zh) 多业务sdn网络的流量分配方法及装置
JP2021064390A (ja) ニューラルアーキテクチャ検索
EP3583553A1 (en) Neural architecture search for convolutional neural networks
CN110326004A (zh) 使用路径一致性学习训练策略神经网络
US11514368B2 (en) Methods, apparatuses, and computing devices for trainings of learning models
JP2021501417A (ja) ニューラルアーキテクチャ検索
CN106709565A (zh) 一种神经网络的优化方法及装置
CN105260171B (zh) 一种虚拟道具的生成方法及装置
CN108733508A (zh) 用于控制数据备份的方法和系统
CN108021982A (zh) 数据传输方法和系统、电子设备
CN109189762A (zh) 一种工业物联网数据分析方法、系统及相关设备
CN108416187A (zh) 一种确定剪枝阈值的方法及装置、模型剪枝方法及装置
CN113726545B (zh) 基于知识增强生成对抗网络的网络流量生成方法及装置
US20240193520A1 (en) Decision flowchart-based environmental modeling method and apparatus, and electronic device
CN110650208A (zh) 分布式集群存储方法、系统、装置及计算机可读存储介质
CN116450312A (zh) 面向流水线并行训练的调度策略确定方法及系统
CN110308658A (zh) 一种pid参数整定方法、装置、系统及可读存储介质
CN116166405A (zh) 异构场景下的神经网络任务调度策略确定方法及装置
CN114675975B (zh) 一种基于强化学习的作业调度方法、装置及设备
CN110399974A (zh) 一种超参数的自动确定方法及装置
CN109731338A (zh) 游戏中的人工智能训练方法及装置、存储介质及电子装置
CN105468503B (zh) 一种软件测试方法及其设备
CN110874635A (zh) 一种深度神经网络模型压缩方法及装置
CN112541570A (zh) 一种多模型训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191101

RJ01 Rejection of invention patent application after publication