CN111260077A - 一种确定业务处理模型超参数的方法和装置 - Google Patents

一种确定业务处理模型超参数的方法和装置 Download PDF

Info

Publication number
CN111260077A
CN111260077A CN202010036642.2A CN202010036642A CN111260077A CN 111260077 A CN111260077 A CN 111260077A CN 202010036642 A CN202010036642 A CN 202010036642A CN 111260077 A CN111260077 A CN 111260077A
Authority
CN
China
Prior art keywords
hyper
discrete
parent
parameter
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010036642.2A
Other languages
English (en)
Inventor
李盟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010036642.2A priority Critical patent/CN111260077A/zh
Publication of CN111260077A publication Critical patent/CN111260077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供了一种确定业务处理模型超参数的方法和装置，所述模型包括n个离散型超参数，所述方法包括：获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合；对父代第一离散型超参数组合进行遗传算法中的交叉操作，以获取交叉后第一离散型超参数组合；对交叉后第一离散型超参数组合进行遗传算法中的变异操作，以获取子代第一离散型超参数组合；获取与子代第一离散型超参数组合对应的业务处理模型的性能值；确定新的父代第一离散型超参数组合。

Description

一种确定业务处理模型超参数的方法和装置
技术领域
本说明书实施例涉及机器学习技术领域，更具体地，涉及一种确定业务处理模型超参数的方法和装置。
背景技术
在互联网的应用场景中，每天会有大量的业务数据需要分析，而机器学习作为一种技术手段，正在越来越多的场景中发挥着作用。对于给定的任务，建立并部署有效的模型通常包括两个主要的部分，其一是选择合适的模型，其二则是针对该模型选择合适的超参数，从而为模型的性能提供保障，其中，超参数为在模型训练前预先设定的参数。
在当前的方案中，最基本且使用最为广泛的是两种搜索的方法，即网格搜索(GridSearch)和随机搜索(Random Search)，在这两种方法中，在给定搜索范围内搜索较优的超参数。对上述搜索方案的改进方案包括遗传算法(Genetic Algorithm)方案或差分进化(Differential Evolution)算法方案，其中，遗传算法方案适用于离散型参数，差分进化方案适用于连续型参数。其中，连续型参数的取值是连续的，相邻两值之间可无限分割，例如，学习率、正则化参数等都是连续型参数。离散型参数的取值是间断且有限的，如神经网络的层数、批量数据的大小、学习的回合数等。上述两种方案只是针对一种特定类型的超参数，在另外一种类型的超参数上的效果较差
因此，需要一种更有效的确定业务处理模型的超参数的方案。
发明内容
本说明书实施例旨在提供一种更有效的确定业务处理模型的超参数的方案，以解决现有技术中的不足。
为实现上述目的，本说明书一个方面提供一种确定业务处理模型超参数的方法，所述模型包括n个离散型超参数，所述n个离散型超参数分别具有其各自的可选值集合，所述方法包括：
获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；
基于从所述p个父代离散型超参数组合中除父代第一离散型超参数组合之外的其它组合中随机确定的父代第二离散型超参数组合，对父代第一离散型超参数组合进行遗传算法中的交叉操作，以获取交叉后第一离散型超参数组合；
对交叉后第一离散型超参数组合进行遗传算法中的变异操作，以获取子代第一离散型超参数组合；
基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；
基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。
本说明书另一方面提供一种确定业务处理模型超参数的方法，所述模型包括n个离散型超参数，所述n个离散型超参数具有其各自的可选值集合，所述方法包括：
获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；
对每个所述父代离散型超参数组合进行遗传算法中的变异操作，以获取p个变异后离散型超参数组合，其中包括与父代第一离散型超参数组合对应的变异后第一离散型超参数组合；
基于从所述p个变异后离散型超参数组合中的除变异后第一离散型超参数组合之外的其它组合中随机确定的变异后第二离散型超参数组合，对变异后第一离散型超参数组合进行遗传算法中的交叉操作，以获取子代第一离散型超参数组合；
基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；
基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。
在一个实施例中，所述模型还包括m个连续型超参数，所述m个连续型超参数分别具有其各自的取值范围，所述方法还包括：
在获取p个父代离散型超参数组合之后，获取p个父代连续型超参数组合，其中包括与所述父代第一离散型超参数组合对应的父代第一连续型超参数组合，所述父代第一离散型超参数组合和所述父代第一连续型超参数组合共同组成父代第一超参数组合；
基于差分进化算法，获取与父代第一连续型超参数组合对应的子代第一连续型超参数组合，所述子代第一离散型超参数组合和所述子代第一连续型超参数组合共同组成子代第一超参数组合。
在一个实施例中，基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值包括，基于预先获取的训练样本集和测试样本集，获取与子代第一超参数组合对应的业务处理模型的性能值；
基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合包括，基于子代第一超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一超参数组合对应的业务处理模型的性能值，确定新的父代第一超参数组合。
在一个实施例中，对父代第一离散型超参数组合进行遗传算法中的交叉操作包括：
对于父代第一离散型超参数组合中的第一超参数的值，随机确定是否将其更改为所述父代第二离散型超参数组合中的第一超参数的值。
在一个实施例中，对交叉后第一离散型超参数组合进行遗传算法中的变异操作包括：
对于交叉后第一离散型超参数组合中的第一超参数的当前值，随机确定是否对其更改；在确定对其更改的情况中，在第一超参数的除所述当前值之外的可选值集合中随机确定第一超参数的值。
在一个实施例中，所述训练样本和测试样本与网络平台中的以下任一对象相关：用户、商户、商品、交易。
本说明书另一方面提供一种确定业务处理模型超参数的装置，所述模型包括n个离散型超参数，所述n个离散型超参数分别具有其各自的可选值集合，所述装置包括：
第一获取单元，配置为，获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；
交叉单元，配置为，基于从所述p个父代离散型超参数组合中除父代第一离散型超参数组合之外的其它组合中随机确定的父代第二离散型超参数组合，对父代第一离散型超参数组合进行遗传算法中的交叉操作，以获取交叉后第一离散型超参数组合；
变异单元，配置为，对交叉后第一离散型超参数组合进行遗传算法中的变异操作，以获取子代第一离散型超参数组合；
第二获取单元，配置为，基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；
确定单元，配置为，基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。
本说明书另一方面提供一种确定业务处理模型超参数的装置，所述模型包括n个离散型超参数，所述n个离散型超参数具有其各自的可选值集合，所述装置包括：
第一获取单元，配置为，获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；
变异单元，配置为，对每个所述父代离散型超参数组合进行遗传算法中的变异操作，以获取p个变异后离散型超参数组合，其中包括与父代第一离散型超参数组合对应的变异后第一离散型超参数组合；
交叉单元，配置为，基于从所述p个变异后离散型超参数组合中的除变异后第一离散型超参数组合之外的其它组合中随机确定的变异后第二离散型超参数组合，对变异后第一离散型超参数组合进行遗传算法中的交叉操作，以获取子代第一离散型超参数组合；
第二获取单元，配置为，基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；
确定单元，配置为，基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。
在一个实施例中，所述模型还包括m个连续型超参数，所述m个连续型超参数分别具有其各自的取值范围，所述装置还包括：
第三获取单元，配置为，在获取p个父代离散型超参数组合之后，获取p个父代连续型超参数组合，其中包括与所述父代第一离散型超参数组合对应的父代第一连续型超参数组合，所述父代第一离散型超参数组合和所述父代第一连续型超参数组合共同组成父代第一超参数组合；
差分进化单元，配置为，基于差分进化算法，获取与父代第一连续型超参数组合对应的子代第一连续型超参数组合，所述子代第一离散型超参数组合和所述子代第一连续型超参数组合共同组成子代第一超参数组合。
在一个实施例中，所述第二获取单元还配置为，基于预先获取的训练样本集和测试样本集，获取与子代第一超参数组合对应的业务处理模型的性能值；
所述确定单元还配置为，基于子代第一超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一超参数组合对应的业务处理模型的性能值，确定新的父代第一超参数组合。
在一个实施例中，所述交叉单元还配置为：
对于父代第一离散型超参数组合中的第一超参数的值，随机确定是否将其更改为所述父代第二离散型超参数组合中的第一超参数的值。
在一个实施例中，所述变异单元还配置为：
对于交叉后第一离散型超参数组合中的第一超参数的当前值，随机确定是否对其更改；在确定对其更改的情况中，在第一超参数的除所述当前值之外的可选值集合中随机确定第一超参数的值。
本说明书另一方面提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项方法。
本说明书另一方面提供一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述任一项方法。
在根据本说明书实施例的超参数搜索方案中，对遗传算法的父代到子代的演化方式进行优化，使得可通过差分进化算法和遗传算法在参数维度上分开演化并将参数合并到子代，从参数维度上对不同类型的超参数采取不同的优化方法，既保证原类型参数的信息完整性，同时又可以利用不同超参数搜索算法的优良性能，尤其在混合超参数搜索问题上，相对于传统的通过参数转化的方案，能够通过更少次数的超参数搜索达到更高的精度。
附图说明
通过结合附图描述本说明书实施例，可以使得本说明书实施例更加清楚：
图1示出根据本说明书实施例的混合搜索算法的流程示意图；
图2示出根据本说明书一个实施例的确定业务处理模型超参数的方法流程图；
图3示出执行图2所示方法的过程示意图；
图4示出根据本说明书另一个实施例的确定业务处理模型超参数的方法流程图；
图5示出图4所示方法的过程示意图；
图6示出根据本说明书另一个实施例的确定业务处理模型超参数的方法流程图；
图7示出根据本说明书实施例的一种确定业务处理模型超参数的装置700；
图8示出根据本说明书另一实施例的一种确定业务处理模型超参数的装置800。
具体实施方式
下面将结合附图描述本说明书实施例。
根据本说明书实施例的确定模型超参数的方案可应用于各种业务处理模型中。所述业务处理模型例如为XGBoost模型，该模型例如基于与网络平台中多个用户分别对应的多个样本进行训练，从而可用于对用户进行分类，以便于进行业务处理，或者该模型例如基于网络平台中多个交易分别对应的多个样本进行训练，从而可用于对交易进行分类，以便于进行业务处理，等等。可以理解，所述业务处理模型不限于为XGBoost模型，而可以为各种分类模型、回归模型、神经网络模型、树模型等等，在此不作限定。所述模型针对的预测对象也不限于为用户、交易等，而可以为网络平台中的各类对象，如商户、商品、影视作品等等。下文中将以XGBoost模型为例进行描述。
在训练上述XGBoost模型之前，通常需要确定多个超参数，如eta(学习率)、max_depth(树最大深度)、subsample(每棵树随机采样的样本的比例)、colsample_bytree(用来控制每棵随机采样的列数的占比)、num_round(迭代次数)、max_leaf_nodes(树最大叶子节点数)等等，为了便于描述，在下文中，将分别使用参数a、b、c、d、e、f与其顺序对应。其中，例如，参数a～c为连续参数，其例如分别具有各自的取值范围，a:[0.1,0.3],b:[0.6,1],c:[0.6,1]，参数d～f为离散参数，其可选值例如分别为，d:{4,5,6,7},e:{100,200,300}，f：{10,15,20}。在本说明书实施例中，通过混合搜索算法，对超参数进行多代演化，从而实现混合型超参数搜索的高准确率和高效率。
图1示出根据本说明书实施例的混合搜索算法的流程示意图。假设通过该算法搜索XGBoost模型的超参数，并且XGBoost模型具有如上所述六个超参数，如图1中所示，在开始该流程之后，首先，随机初始化预定数目(图中示出四个)第一代父代超参数组合，每个超参数组合具有上述六个超参数各自的值，例如[0.1,0.6,0.6,4,100,10]。图1中以顶部的四组包括六个格的矩形表示四个父代超参数组合1～4，其中，在一个父代超参数组合中，每个格表示一个超参数的值，其中三个灰色格表示连续型超参数a、b、c，三个白色格表示离散型超参数d、e、f。在本说明书的其它示意附图中，仍然以灰色格表示连续型超参数，以白色格表示离散型超参数。在初始化第一代的父代超参数组合之后，可获取XGBoost模型的训练样本集和测试样本集，通过训练样本集训练具有各个父代超参数组合的XGBoost模型，并使用测试样本集对训练的XGBoost模型进行测试，从而可获取各个父代超参数组合对应的模型性能值。
之后，如图1中所示，将四个父代超参数组合分为四个父代连续型超参数(如图中左侧所示)和四个父代离散型超参数组合(如图中右侧所示)。对于父代连续型超参数，可通过现有的差分进化算法，通过对各个父代连续型超参数进行差分变异和交叉，获取四个子代连续型超参数1～4。对于父代离散型超参数，首先使用遗传算法中的交叉操作对各个父代离散型超参数进行交叉，然后使用遗传算法中的变异操作对各个交叉后离散型超参数进行变异，从而获取四个子代离散型超参数组合1～4。通过以这样的方式分别对父代连续型超参数和父代离散型超参数进行演化，在下一步，可以结合各个对应的子代连续型超参数组合和子代离散型超参数组合，从而可获取四个子代超参数组合1～4。通过上述训练样本集和测试样本集获取各个子代超参数组合对应的XGBoost模型的性能值，从而，可通过将各个子代超参数组合的模型性能值与对应的父代超参数组合的模型性能值进行比较，从而将其中模型性能值较优超参数组合选择为新的父代超参数组合，基于该新的父代超参数组合可重新执行上述方法步骤，从而进行新一代的演化。
可以理解，图1所示过程仅是示意性的，而不用于限制本说明书实施例的范围。例如，在本说明书实施例中，可对仅包括离散型超参数的模型实施如图1中右侧针对离散型超参数的算法，从而可高效搜索该模型的超参数。
下面以实施例的方式具体描述根据本说明书实施例的超参数搜索方案。
图2示出根据本说明书一个实施例的确定业务处理模型超参数的方法流程图，图3示出执行图2所示方法的过程示意图。与图1中类似地，图3中以顶部的四组包括三个格的矩形表示四个父代离散型超参数组合，父代组合1～父代组合4。其中，在该实施例中，由于该方法不涉及连续型超参数组合，因此以简写的“组合”表示离散型超参数组合，以方便阅读。所述业务处理模型为监督学习模型，例如分类模型、回归模型、神经网络模型、树模型等等。假设所述模型包括3个离散型超参数d、e、f，其可选值集合分别为：d:{4,5,6,7},e:{100,200,300}，f：{10,15,20}，即，图3中的一个组合中的每个格与一个离散型超参数相对应，所述3个离散型超参数分别具有其各自的可选值。
下面将结合图2和图3对该方法进行说明。图2所示方法包括以下步骤。
首先，在步骤S202，获取4个父代离散型超参数组合，父代组合1～父代组合4，每个离散型超参数组合中包括所述3个离散型超参数各自的值。
可以理解，这里，获取4个父代组合、以及每个父代组合包括3个离散型超参数的值，仅仅是示意性的，以用于描述该方法，在实际中，可获取更多的父代组合，每个父代组合可包括更多的离散型超参数各自的值，在此不作限定。
在第一次执行图2所示方法时，在步骤S202也即获取4个第一代的父代组合，在该情况中，可随机获取组合1～组合4中的每一组合中的每个超参数的值。例如，对于父代组合1，可从{4,5,6,7}中随机选取一个值作为组合1中的参数d的值，从{100,200,300}中随机选取一个值作为组合1中的参数e的值，并从{10,15,20}中随机选取一个值作为组合1中的参数f的值，例如，可确定父代组合1为[4,100,10]，类似地，可分别确定父代组合2～父代组合4例如为[5,200,20]、[6,300,15]、[7,200,10]。
在获取4个第一代的父代组合之后，可获取所述业务处理模型的训练样本集和测试样本集。所述训练样本集和测试样本集中的样本例如与网络平台中的用户相对应，包括用户的各个特征的特征值和该用户的标签值。从而可基于所述训练样本集和所述测试样本集，获取与每个父代组合对应的业务处理模型的性能值。具体是，通过以训练样本集训练与各个父代组合对应的业务处理模型，并通过测试样本集对各个业务处理模型进行测试，从而可获得与各个父代组合分别对应的模型性能值。所述性能值可以为多种参数的值，如准确率、精确率、召回率、AUC、各种参数的组合，等等，在此不作限定。
在步骤S204，对各个父代组合进行遗传算法中的交叉操作。具体是，对于父代组合1～父代组合4中的每个组合，基于从所述4个父代组合中除该父代组合之外的其它父代组合中随机确定的另一个父代组合，对该父代组合进行遗传算法中的交叉操作，以获取交叉后组合。
该步骤借用传统遗传算法中的交叉操作，与传统遗传算法所不同的是，本实施例中对每个父代组合进行与另外的父代组合的交叉，而不是传统遗传算法中仅对随机选择的两个父代组合进行交叉。例如，如图3中所示，对于父代组合1，在父代组合2～4中随机选择一个组合以对父代组合1进行交叉操作，例如，选择出父代组合2对父代组合1进行交叉操作。
遗传算法中的交叉操作有多种实施方式，如单点交叉、多点交叉等，这些实施方式都可以应用于本说明书实施例中。本说明书实施例在此例举一种具体的交叉操作作为示例。
在本说明书实施例中，通过如下的公式(1)进行对第g代的第i个父代组合中的第j个参数值xj，i(g)的交叉，从而获得第g+1代的第i个交叉后组合中的第j个参数值vj，i(g+1)：
Figure BDA0002366256430000111
其中，R1为随机选取的0到1之间的随机数。例如，在图3中，在选择出父代组合2对父代组合1进行交叉操作之后，根据公式(1)，对于父代组合1的第1个参数d的值，4，在0到1之间随机选取一个数作为R1，假设该R1≤0.5，则不改变该参数d的值，即d＝4；对于父代组合1的第2个参数e的值，100，再次在0到1之间随机选取一个数作为R1，假设该R1＞0.5，则将参数e的值更改为父代组合2的参数e的值，即200；对于父代组合1的第3个参数f的值，10，再次在0到1之间随机选取一个数作为R1，假设该R1＞0.5，则同样地，将参数f的值更改为父代组合2的参数f的值，即20。从而可获取与父代组合1对应的交叉后组合1，[4，200,20]。
类似地，可获取与父代组合2～4分别对应的交叉后组合2～4。例如，如图3所示，对于父代组合2，可随机确定基于父代组合4对其进行交叉，从而，通过与上述针对父代组合1的相同的交叉操作，可获取与父代组合2对应的交叉后组合2例如为[7,200,20]。类似地，基于父代组合1，可获取与父代组合3对应的交叉后组合3例如为[4,300,15]，基于父代组合3，可获取与父代组合4对应的交叉后组合4例如为[6,200,15]。
在步骤S206，对各个交叉后组合进行遗传算法中的变异操作，以获取与各个交叉后组合分别对应的子代组合。
该步骤借用传统遗传算法中的变异操作。所述变异操作可以有多种可能的实施方式，这些实施方式都可以应用于本说明书实施例中。在本说明书实施例中，一种可能的变异操作例如通过如下的公式(2)将对第g+1代的第i个交叉后组合中的第j个参数值vj，i(g+1)变异，从而获得第g+1代的第i个子代组合中的第j个参数值uj，i(g+1)：
Figure BDA0002366256430000121
其中，R2为随机选取的0到1之间的随机数，MR为预定的变异概率，通常将MR设定为较小，例如0.1,以表示变异的概率较小。公式(2)中的m通过随机确定。
例如，对于在上一个步骤中获取的交叉后组合1，[4，200,20]，对于其中的参数d的值，4，首先在0到1之间随机选取一个数作为R2，假设R2≤MR，则在交叉后组合2～4的各自的参数d的值中随机选取一个值作为交叉后组合1变异后的参数d的值，例如，选取6作为交叉后组合1变异后的参数d的值。对于其中的参数e的值，200，同样地，首先在0到1之间随机选取一个数作为R2，假设R2＞MR，则交叉后组合1变异后的参数e的值仍保持为200。对于其中的参数f的值，20，同样地，在0到1之间随机选取一个数作为R2，假设R2＞MR，则交叉后组合1变异后的参数f的值仍保持为20。从而可获得与交叉后组合1对应的子代组合1,[6,200,20]。类似地，可通过上述变异操作，分别获取交叉后组合2～4的子代组合2～4。
在步骤S208，基于预先获取的训练样本集和测试样本集，获取与各个子代组合对应的业务处理模型的性能值。
所述训练样本集和测试样本集即为在上述步骤S202中获取的训练样本集和测试样本集。类似地，通过以训练样本集训练与各个子代组合对应的业务处理模型，并通过测试样本集对各个业务处理模型进行测试，从而可获得与各个子代组合分别对应的模型性能值。
步骤S210，通过将各个子代组合的模型性能值与对应的父代组合的模型性能值进行比较，选择4个新父代组合。
具体是，如图3所示，将子代组合1([6,200,20])对应的模型性能值与父代组合1([4,100,10])对应的模型性能值进行比较，将其中性能值更高的组合作为新父代组合1，即第二代的父代组合1。类似地，可分别选择出新父代组合2～4。在获取该新父代组合1～4之后，可再次回到步骤S202并重新循环该方法，从而可进行多代循环。其中，在对该方法的第二次循环中，在步骤S202中，父代组合1～4的性能值已经在第一次循环中获取，因此不再需要基于上述训练样本集和测试样本集获取各个父代组合对应的模型性能值。当循环次数到达预设次数，或者超参数组合的模型性能值达到预设阈值时，则可结束循环。在循环参数到达预设次数的情况中，可将最后一次循环获取的4个超参数组合中性能值最优的组合作为所述业务处理模型的超参数值。在获取的超参数组合的模型性能值达到预设阈值时，可将该超参数组合作为业务处理模型的超参数值。
图4示出根据本说明书另一个实施例的确定业务处理模型超参数的方法流程图。图5示出图4所示方法的过程示意图。图4所示方法包括以下步骤：
在步骤S402，获取4个父代离散型超参数组合，父代组合1～父代组合4，每个离散型超参数组合中包括所述3个离散型超参数各自的值。
在步骤S404，对各个父代组合进行遗传算法中的变异操作，以获取与各个父代组合分别对应的变异后组合。
在步骤S406，对各个变异后组合进行遗传算法中的交叉操作。具体是，对于变异后组合1～变异后组合4中的每个组合，基于从所述4个变异后组合中除该组合之外的其它变异后组合中随机确定的另一个变异后组合，对该变异后组合进行遗传算法中的交叉操作，以获取子代组合。
在步骤S408，基于预先获取的训练样本集和测试样本集，获取与各个子代组合对应的业务处理模型的性能值。
步骤S410，通过将各个子代组合的模型性能值与对应的父代组合的模型性能值进行比较，选择4个新父代组合。
对比图3和图5可直观地看出，图4所示方法与图2所示方法不同在于，在图2所示方法中，在获取父代组合之后，对其先进行交叉操作，然后再进行变异操作，而在图4所示方法中，在获取父代组合之后，对其先进行变异操作，然后再进行交叉操作，该两种方法具有近似的搜索效率。图4所示方法中各个步骤的具体实施与图2所示方法中相应的步骤基本相同，在此不再赘述。
图6示出根据本说明书另一个实施例的确定业务处理模型超参数的方法流程图，该流程图的过程与图1所示的过程示意图相对应。如上述参考图1所述，该业务处理模型包括连续型超参数和离散型超参数，例如，包括参数a、b、c、d、e、f。其中，参数a～c为连续参数，其例如分别具有各自的取值范围，a:[0.1,0.3],b:[0.6,1],c:[0.6,1]，参数d～f为离散参数，其可选值例如分别为，d:{4,5,6,7},e:{100,200,300}，f：{10,15,20}。图6所示方法包括以下步骤。
在步骤S602，获取4个父代超参数组合，父代超参数组合1～4。如图1中所示，每个父代超参数组合包括上述6个超参数各自的值。
与步骤S302类似地，在第一次执行图6所示方法时，获取4个第一代的父代超参数组合，在该情况中，可随机获取父代超参数组合1～4中每一组合中的每个超参数的值。例如，对于父代超参数组合1，可从参数a的取值范围[0.1,0.3]中随机获取一个值作为该组合的参数a的值，类似地，可分别获取该组合的参数b和c的值。该组合的参数d～f的值的获取可参考步骤S202中的描述，在此不再赘述。从而例如可分别获取父代超参数组合1～4：[0.21,0.72,0.68,4,100,10]、[0.24,0.80,0.6,5,200,20]、[0.18,0.76,0.92,6,300,15]、[0.26,0.88,0.82,7,200,10]。
在获取4个第一代的父代超参数组合之后，与步骤S202中类似地，可获取所述业务处理模型的训练样本集和测试样本集。通过以训练样本集训练与各个父代组合对应的业务处理模型，并通过测试样本集对各个业务处理模型进行测试，从而可获得与各个父代超参数组合分别对应的模型性能值。
在步骤S604，将各个父代超参数组合分别拆分为相应的父代连续型超参数组合和父代离散型超参数组合。
例如，对于父代超参数组合1，将其拆分为父代连续型超参数组合1([0.21,0.72,0.68])和父代离散型超参数组合1([4,100,10])，类似地，从父代超参数组合2拆分为父代连续型超参数组合2([0.24,0.80,0.6])和父代离散型超参数组合2([5,200,20])，从父代超参数组合3拆分为父代连续型超参数组合3([0.18,0.76,0.92])和父代离散型超参数组合3([6,300,15])，从父代超参数组合4拆分为父代连续型超参数组合4([0.26,0.88,0.82])和父代离散型超参数组合4([7,200,10])。
在步骤S606,对各个父代离散型超参数组合进行遗传算法中的交叉操作。具体是，对于父代离散型超参数组合1～4中的每个组合，基于从所述4个父代离散型超参数组合中除该组合之外的其它组合中随机确定的另一个父代离散型超参数组合，对该父代离散型超参数组合进行遗传算法中的交叉操作，以获取交叉后离散型超参数组合。
在步骤S608，对各个交叉后离散型超参数组合进行遗传算法中的变异操作，以获取与各个交叉后组合分别对应的子代离散型超参数组合。
其中，步骤S606和步骤S608可参考上文对步骤S204和步骤S206的描述，在此不再赘述。例如，与上文类似地，通过步骤S606和步骤S608，可获取与父代离散型超参数组合1对应的子代离散型超参数组合1，[6,200,20]。
在步骤S610，在进行步骤S606的同时，对各个父代连续型超参数组合进行差分进化算法中的差分变异操作。具体是，对于父代连续型超参数组合1～4中的每个组合，进行差分进化算法中的差分变异操作，以获取父代连续型超参数组合1～4分别对应的变异后连续型超参数组合1～4。
在本说明书实施例中，对于第g代的第i个父代连续型超参数组合xi(g)，从第g代的其它父代连续型超参数组合中随机选取3个组合，xr1(g)、xr2(g)、xr3(g)，其中，i≠r1≠r2≠r3，然后可通过如下的公式(3)对第g代的第i个父代连续型超参数组合进行差分变异，以获取第g+1代的第i个变异后连续型超参数组合vi(g+1)：
vi(g+1)＝xr1(g)+F·(xr2(g)-xr3(g)) (3)
其中，F为缩放因子。例如，可设定F＝0.5。例如，对于上述4个父代连续型超参数组合中的父代连续型超参数组合1，假设选取xr1(g)为父代连续型超参数组合3([0.18,0.76,0.92])，xr2(g)为父代连续型超参数组合1([0.21,0.72,0.68])，xr3(g)为父代连续型超参数组合4([0.26,0.88,0.82])，从而根据公式(3)可得变异后连续型超参数组合1为：[0.18,0.76,0.92]+0.5·([0.21,0.72,0.68]-[0.26,0.88,0.82])＝[0.155,0.68,0.85]。
在步骤S612，对各个变异后连续型超参数组合进行差分进化算法中的交叉操作。具体是，对于变异后连续型超参数组合1～4中的每个，对其基于相应的父代连续型超参数组合进行交叉操作，以获取子代连续型超参数组合1～4。
在本说明书实施例中，基于第g代的第i个父代连续型超参数组合的第j个参数值xj，i(g)，例如通过如下的公式(4)对通过步骤S610获取的第g+1代的第i个变异后连续型超参数组合的第j个参数值vj，i(g+1)进行交叉操作，以获取获取第g+1代的第i个子代连续型超参数组合的第j个参数值μj，i(g+1)：
Figure BDA0002366256430000171
其中，CR为预设的交叉概率，R为在0到1之间随机选取的数，jr为[1,n]的随机整数，n为种群大小，在该实施例中，n＝4。
例如，对于上述变异后连续型超参数组合1，[0.155,0.68,0.85]，对于该组合中的每个参数值，随机选取R和jr，从而基于公式(4)，确定是否更改为父代连续型超参数组合1([0.21,0.72,0.68])中的相应参数的值。假设经过该交叉操作之后，可获得与变异后连续型超参数组合1对应的子代连续型超参数组合1，[0.155,0.72,0.85]。
在步骤S614，将子代连续型超参数组合1～4分别与相应的子代离散型超参数组合1～4合并，从而获得子代超参数组合1～4。
例如，如图1中所示，通过将子代连续型超参数组合1([0.155,0.72,0.85])与子代离散型超参数组合1([6,200,20])合并，从而获取子代超参数组合1，[0.155,0.72,0.85,6,200,20]。可类似地获取子代超参数组合2～4。
在步骤S616，基于预先获取的训练样本集和测试样本集，获取与各个子代超参数组合对应的业务处理模型的性能值。
步骤S618，通过将各个子代超参数组合的模型性能值与对应的父代超参数组合的模型性能值进行比较，选择4个新父代组合。
具体是，例如，如图1所示，将子代超参数组合1([0.155,0.72,0.85,6,200,20])对应的模型性能值与父代超参数组合1[0.21,0.72,0.68,4,100,10]对应的模型性能值进行比较，将其中性能值更高的组合作为新父代超参数组合1，即第二代的父代超参数组合1。类似地，可分别选择出新父代超参数组合2～4。在获取该新父代超参数组合1～4之后，可再次回到步骤S602并重新循环该方法，从而可进行多代循环。
在图6所示方法中，对于所述模型的离散型超参数组合使用如图2所示的方法进行超参数演化，可以理解，对于所述模型的离散型超参数组合也可以使用如图4所示的方法进行超参数演化，在此不再详细描述。
另外，在图6所示的方法中，为了使得可在步骤S618同时选择连续型超参数和离散型超参数，与传统异常算法不同的是，在本说明书实施例的对离散型超参数的搜索算法中，先对父代离散型超参数进行交叉和变异，之后再进行超参数组合的选择，从而可与针对连续型超参数的差分进化算法共享选择步骤。同时，为了沿用差分进化算法的思路，提升超参数在局部搜索的能力，根据本说明书实施例的混合搜索方案在对离散型超参数的交叉操作中基于另外的父代对每个父代进行交叉操作，而不是传统异常算法中的随机选择两个父代交叉。
图7示出根据本说明书实施例的一种确定业务处理模型超参数的装置700，所述模型包括n个离散型超参数，所述n个离散型超参数分别具有其各自的可选值集合，所述装置包括：
第一获取单元71，配置为，获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；
交叉单元72，配置为，基于从所述p个父代离散型超参数组合中除父代第一离散型超参数组合之外的其它组合中随机确定的父代第二离散型超参数组合，对父代第一离散型超参数组合进行遗传算法中的交叉操作，以获取交叉后第一离散型超参数组合；
变异单元73，配置为，对交叉后第一离散型超参数组合进行遗传算法中的变异操作，以获取子代第一离散型超参数组合；
第二获取单元74，配置为，基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；
确定单元75，配置为，基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。
在一个实施例中，所述模型还包括m个连续型超参数，所述m个连续型超参数分别具有其各自的取值范围，所述装置还包括：
第三获取单元76，配置为，在获取p个父代离散型超参数组合之后，获取p个父代连续型超参数组合，其中包括与所述父代第一离散型超参数组合对应的父代第一连续型超参数组合，所述父代第一离散型超参数组合和所述父代第一连续型超参数组合共同组成父代第一超参数组合；
差分进化单元77，配置为，基于差分进化算法，获取与父代第一连续型超参数组合对应的子代第一连续型超参数组合，所述子代第一离散型超参数组合和所述子代第一连续型超参数组合共同组成子代第一超参数组合。
在一个实施例中，所述第二获取单元74还配置为，基于预先获取的训练样本集和测试样本集，获取与子代第一超参数组合对应的业务处理模型的性能值；
所述确定单元75还配置为，基于子代第一超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一超参数组合对应的业务处理模型的性能值，确定新的父代第一超参数组合。
在一个实施例中，所述交叉单元72还配置为：
对于父代第一离散型超参数组合中的第一超参数的值，随机确定是否将其更改为所述父代第二离散型超参数组合中的第一超参数的值。
在一个实施例中，所述变异单元73还配置为：
对于交叉后第一离散型超参数组合中的第一超参数的当前值，随机确定是否对其更改；在确定对其更改的情况中，在第一超参数的除所述当前值之外的可选值集合中随机确定第一超参数的值。
图8示出根据本说明书另一实施例的一种确定业务处理模型超参数的装置800，所述模型包括n个离散型超参数，所述n个离散型超参数具有其各自的可选值集合，所述装置包括：
第一获取单元81，配置为，获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；
变异单元82，配置为，对每个所述父代离散型超参数组合进行遗传算法中的变异操作，以获取p个变异后离散型超参数组合，其中包括与父代第一离散型超参数组合对应的变异后第一离散型超参数组合；
交叉单元83，配置为，基于从所述p个变异后离散型超参数组合中的除变异后第一离散型超参数组合之外的其它组合中随机确定的变异后第二离散型超参数组合，对变异后第一离散型超参数组合进行遗传算法中的交叉操作，以获取子代第一离散型超参数组合；
第二获取单元84，配置为，基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；
确定单元85，配置为，基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。
在一个实施例中，所述模型还包括m个连续型超参数，所述m个连续型超参数分别具有其各自的取值范围，所述装置还包括：
第三获取单元86，配置为，在获取p个父代离散型超参数组合之后，获取p个父代连续型超参数组合，其中包括与所述父代第一离散型超参数组合对应的父代第一连续型超参数组合，所述父代第一离散型超参数组合和所述父代第一连续型超参数组合共同组成父代第一超参数组合；
差分进化单元87，配置为，基于差分进化算法，获取与父代第一连续型超参数组合对应的子代第一连续型超参数组合，所述子代第一离散型超参数组合和所述子代第一连续型超参数组合共同组成子代第一超参数组合。
在一个实施例中，所述第二获取单元84还配置为，基于预先获取的训练样本集和测试样本集，获取与子代第一超参数组合对应的业务处理模型的性能值；
所述确定单元85还配置为，基于子代第一超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一超参数组合对应的业务处理模型的性能值，确定新的父代第一超参数组合。
本说明书另一方面提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项方法。
本说明书另一方面提供一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述任一项方法。
在根据本说明书实施例的超参数搜索方案中，对遗传算法的父代到子代的演化方式进行优化，使得可通过差分进化算法和遗传算法在参数维度上分开演化并将参数合并到子代，从参数维度上对不同类型的超参数采取不同的优化方法，既保证原类型参数的信息完整性，同时又可以利用不同超参数搜索算法的优良性能，尤其在混合超参数搜索问题上，相对于传统的通过参数转化的方案，能够通过更少次数的超参数搜索达到更高的精度。
需要理解，本文中的“第一”，“第二”等描述，仅仅为了描述的简单而对相似概念进行区分，并不具有其他限定作用。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。其中，软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种确定业务处理模型超参数的方法，所述模型包括n个离散型超参数，所述n个离散型超参数分别具有其各自的可选值集合，所述方法包括：
获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；
基于从所述p个父代离散型超参数组合中除父代第一离散型超参数组合之外的其它组合中随机确定的父代第二离散型超参数组合，对父代第一离散型超参数组合进行遗传算法中的交叉操作，以获取交叉后第一离散型超参数组合；
对交叉后第一离散型超参数组合进行遗传算法中的变异操作，以获取子代第一离散型超参数组合；
基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；
基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。
2.一种确定业务处理模型超参数的方法，所述模型包括n个离散型超参数，所述n个离散型超参数具有其各自的可选值集合，所述方法包括：
获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；
对每个所述父代离散型超参数组合进行遗传算法中的变异操作，以获取p个变异后离散型超参数组合，其中包括与父代第一离散型超参数组合对应的变异后第一离散型超参数组合；
基于从所述p个变异后离散型超参数组合中的除变异后第一离散型超参数组合之外的其它组合中随机确定的变异后第二离散型超参数组合，对变异后第一离散型超参数组合进行遗传算法中的交叉操作，以获取子代第一离散型超参数组合；
基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；
基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。
3.根据权利要求1或2所述的方法，其中，所述模型还包括m个连续型超参数，所述m个连续型超参数分别具有其各自的取值范围，所述方法还包括：
在获取p个父代离散型超参数组合之后，获取p个父代连续型超参数组合，其中包括与所述父代第一离散型超参数组合对应的父代第一连续型超参数组合，所述父代第一离散型超参数组合和所述父代第一连续型超参数组合共同组成父代第一超参数组合；
基于差分进化算法，获取与父代第一连续型超参数组合对应的子代第一连续型超参数组合，所述子代第一离散型超参数组合和所述子代第一连续型超参数组合共同组成子代第一超参数组合。
4.根据权利要求3所述的方法，其中，基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值包括，基于预先获取的训练样本集和测试样本集，获取与子代第一超参数组合对应的业务处理模型的性能值；
基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合包括，基于子代第一超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一超参数组合对应的业务处理模型的性能值，确定新的父代第一超参数组合。
5.根据权利要求1所述的方法，其中，对父代第一离散型超参数组合进行遗传算法中的交叉操作包括：
对于父代第一离散型超参数组合中的第一超参数的值，随机确定是否将其更改为所述父代第二离散型超参数组合中的第一超参数的值。
6.根据权利要求1所述的方法，其中，对交叉后第一离散型超参数组合进行遗传算法中的变异操作包括：
对于交叉后第一离散型超参数组合中的第一超参数的当前值，随机确定是否对其更改；在确定对其更改的情况中，在第一超参数的除所述当前值之外的可选值集合中随机确定第一超参数的值。
7.根据权利要求1或2所述的方法，其中，所述训练样本和测试样本与网络平台中的以下任一对象相关：用户、商户、商品、交易。
8.一种确定业务处理模型超参数的装置，所述模型包括n个离散型超参数，所述n个离散型超参数分别具有其各自的可选值集合，所述装置包括：
第一获取单元，配置为，获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；
交叉单元，配置为，基于从所述p个父代离散型超参数组合中除父代第一离散型超参数组合之外的其它组合中随机确定的父代第二离散型超参数组合，对父代第一离散型超参数组合进行遗传算法中的交叉操作，以获取交叉后第一离散型超参数组合；
变异单元，配置为，对交叉后第一离散型超参数组合进行遗传算法中的变异操作，以获取子代第一离散型超参数组合；
第二获取单元，配置为，基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；
确定单元，配置为，基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。
9.一种确定业务处理模型超参数的装置，所述模型包括n个离散型超参数，所述n个离散型超参数具有其各自的可选值集合，所述装置包括：
第一获取单元，配置为，获取p个父代离散型超参数组合，其中包括父代第一离散型超参数组合，每个离散型超参数组合中包括所述n个离散型超参数各自的值；
变异单元，配置为，对每个所述父代离散型超参数组合进行遗传算法中的变异操作，以获取p个变异后离散型超参数组合，其中包括与父代第一离散型超参数组合对应的变异后第一离散型超参数组合；
交叉单元，配置为，基于从所述p个变异后离散型超参数组合中的除变异后第一离散型超参数组合之外的其它组合中随机确定的变异后第二离散型超参数组合，对变异后第一离散型超参数组合进行遗传算法中的交叉操作，以获取子代第一离散型超参数组合；
第二获取单元，配置为，基于预先获取的训练样本集和测试样本集，获取与子代第一离散型超参数组合对应的业务处理模型的性能值；
确定单元，配置为，基于子代第一离散型超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一离散型超参数组合对应的业务处理模型的性能值，确定新的父代第一离散型超参数组合。
10.根据权利要求8或9所述的装置，其中，所述模型还包括m个连续型超参数，所述m个连续型超参数分别具有其各自的取值范围，所述装置还包括：
第三获取单元，配置为，在获取p个父代离散型超参数组合之后，获取p个父代连续型超参数组合，其中包括与所述父代第一离散型超参数组合对应的父代第一连续型超参数组合，所述父代第一离散型超参数组合和所述父代第一连续型超参数组合共同组成父代第一超参数组合；
差分进化单元，配置为，基于差分进化算法，获取与父代第一连续型超参数组合对应的子代第一连续型超参数组合，所述子代第一离散型超参数组合和所述子代第一连续型超参数组合共同组成子代第一超参数组合。
11.根据权利要求10所述的装置，其中，所述第二获取单元还配置为，基于预先获取的训练样本集和测试样本集，获取与子代第一超参数组合对应的业务处理模型的性能值；
所述确定单元还配置为，基于子代第一超参数组合对应的业务处理模型的性能值、以及预先获取的父代第一超参数组合对应的业务处理模型的性能值，确定新的父代第一超参数组合。
12.根据权利要求8所述的装置，其中，所述交叉单元还配置为：
对于父代第一离散型超参数组合中的第一超参数的值，随机确定是否将其更改为所述父代第二离散型超参数组合中的第一超参数的值。
13.根据权利要求8所述的装置，其中，所述变异单元还配置为：
对于交叉后第一离散型超参数组合中的第一超参数的当前值，随机确定是否对其更改；在确定对其更改的情况中，在第一超参数的除所述当前值之外的可选值集合中随机确定第一超参数的值。
14.根据权利要求8或9所述的装置，其中，所述训练样本和测试样本与网络平台中的以下任一对象相关：用户、商户、商品、交易。
15.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项的所述的方法。
16.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。
CN202010036642.2A 2020-01-14 2020-01-14 一种确定业务处理模型超参数的方法和装置 Pending CN111260077A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010036642.2A CN111260077A (zh) 2020-01-14 2020-01-14 一种确定业务处理模型超参数的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010036642.2A CN111260077A (zh) 2020-01-14 2020-01-14 一种确定业务处理模型超参数的方法和装置

Publications (1)

Publication Number Publication Date
CN111260077A true CN111260077A (zh) 2020-06-09

Family

ID=70952418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010036642.2A Pending CN111260077A (zh) 2020-01-14 2020-01-14 一种确定业务处理模型超参数的方法和装置

Country Status (1)

Country Link
CN (1) CN111260077A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539536A (zh) * 2020-06-19 2020-08-14 支付宝(杭州)信息技术有限公司 一种评估业务模型超参数的方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015052491A (ja) * 2013-09-06 2015-03-19 沖電気工業株式会社 信号処理装置、信号処理方法及びコンピュータプログラム
CN106408031A (zh) * 2016-09-29 2017-02-15 南京航空航天大学 一种最小二乘支持向量机的超参优化方法
CN107729671A (zh) * 2017-10-25 2018-02-23 西安科技大学 一种基于支持向量机的矿井巷道摩擦阻力系数预测方法
CN108334949A (zh) * 2018-02-11 2018-07-27 浙江工业大学 一种优化深度卷积神经网络结构的快速进化方法
CN108446534A (zh) * 2018-03-13 2018-08-24 腾讯科技（深圳）有限公司 选择神经网络超参数的方法、装置和计算机可读存储介质
US10067642B1 (en) * 2015-03-05 2018-09-04 Xilinx, Inc. Dynamic discovery and presentation of core parameters
CN108846472A (zh) * 2018-06-05 2018-11-20 北京航空航天大学 一种自适应遗传粒子群混合算法的优化方法
CN109932903A (zh) * 2019-02-25 2019-06-25 北京妙微科技有限公司 多父代优化网络和遗传算法的风机控制多目标优化方法
CN110362911A (zh) * 2019-07-05 2019-10-22 北京理工大学 一种面向设计过程的代理模型选择方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015052491A (ja) * 2013-09-06 2015-03-19 沖電気工業株式会社 信号処理装置、信号処理方法及びコンピュータプログラム
US10067642B1 (en) * 2015-03-05 2018-09-04 Xilinx, Inc. Dynamic discovery and presentation of core parameters
CN106408031A (zh) * 2016-09-29 2017-02-15 南京航空航天大学 一种最小二乘支持向量机的超参优化方法
CN107729671A (zh) * 2017-10-25 2018-02-23 西安科技大学 一种基于支持向量机的矿井巷道摩擦阻力系数预测方法
CN108334949A (zh) * 2018-02-11 2018-07-27 浙江工业大学 一种优化深度卷积神经网络结构的快速进化方法
CN108446534A (zh) * 2018-03-13 2018-08-24 腾讯科技（深圳）有限公司 选择神经网络超参数的方法、装置和计算机可读存储介质
CN108846472A (zh) * 2018-06-05 2018-11-20 北京航空航天大学 一种自适应遗传粒子群混合算法的优化方法
CN109932903A (zh) * 2019-02-25 2019-06-25 北京妙微科技有限公司 多父代优化网络和遗传算法的风机控制多目标优化方法
CN110362911A (zh) * 2019-07-05 2019-10-22 北京理工大学 一种面向设计过程的代理模型选择方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ADMIR BAROLLI等: "Evaluation of WMA-GA for different mutation and crossover rates considering giant component parameter", 《JOURNAL OF INTERCONNECTION NETWORKS》 *
陆高: "基于智能计算的超参数优化及其应用研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539536A (zh) * 2020-06-19 2020-08-14 支付宝(杭州)信息技术有限公司 一种评估业务模型超参数的方法和装置

Similar Documents

Publication Publication Date Title
Li et al. Multi-objective feature selection using hybridization of a genetic algorithm and direct multisearch for key quality characteristic selection
Raghu et al. Evaluation of causal structure learning methods on mixed data types
Zhou et al. A correlation guided genetic algorithm and its application to feature selection
von Lücken et al. An overview on evolutionary algorithms for many‐objective optimization problems
CN112561039A (zh) 一种改进的基于超网络的进化神经网络架构搜索方法
İni̇k et al. MODE-CNN: A fast converging multi-objective optimization algorithm for CNN-based models
Da Silva et al. A hybrid memetic approach for fully automated multi-objective web service composition
Liu et al. A region division based decomposition approach for evolutionary many-objective optimization
Elzeki et al. A new hybrid genetic and information gain algorithm for imputing missing values in cancer genes datasets
CN115185732A (zh) 一种融合遗传算法和深度神经网络的软件缺陷预测方法
CN110796268A (zh) 确定业务处理模型超参数的方法和装置
Ganepola et al. Automating generative adversarial networks using neural architecture search: A review
CN111260077A (zh) 一种确定业务处理模型超参数的方法和装置
CN113920514A (zh) 一种面向目标检测的高效进化神经网络架构搜索方法
Reynolds et al. Feature selection for multi-purpose predictive models: a many-objective task
Ali et al. Designing convolutional neural networks using surrogate assisted genetic algorithm for medical image classification
Abed Al Raoof et al. Maximizing CNN Accuracy: A Bayesian Optimization Approach with Gaussian Processes
CN115394381B (zh) 一种基于机器学习和两步法数据扩充的高熵合金硬度预测方法及装置
Ortelli et al. Faster estimation of discrete choice models via dataset reduction
Zafar et al. An Optimization Approach for Convolutional Neural Network Using Non-Dominated Sorted Genetic Algorithm-II.
Hasana et al. Speeding Up EfficientNet: Selecting Update Blocks of Convolutional Neural Networks using Genetic Algorithm in Transfer Learning
Chakraborti et al. FGP approach for solving fractional multiobjective decision making problems using GA with tournament selection and arithmetic crossover
Fernandes et al. A multi-agent transgenetic algorithm for the bi-objective spanning tree problem
CN111797988A (zh) 一种基于排序多变异的多目标差分进化的高光谱端元提取方法及装置
Hu et al. Internet credit risk scoring based on simulated annealing and genetic algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200609

RJ01 Rejection of invention patent application after publication