CN108229572A - 一种参数寻优方法及计算设备 - Google Patents

Abstract

本发明公开了一种参数寻优方法，在计算设备中执行，包括：从所有参数组中选取第一数量个参数组作为候选参数组，其他未被选中的参数组记为剩余参数组；分别确定各候选参数组的评估值；在未达到预设的终止条件时，循环执行以下步骤：对于每一个剩余参数组：分别计算该剩余参数组与每一个候选参数组之间的相似度；根据该剩余参数组与每一个候选参数组的相似度以及各候选参数组的评估值来确定该剩余参数组的预测评估值；将预测评估值最大的第二数量个剩余参数组作为候选参数组，加入候选参数组空间；分别确定新加入的第二数量个候选参数组的评估值。最后，将候选参数组空间中评估值最大的候选参数组作为目标参数组。本发明一并公开了相应的计算设备。

Description

一种参数寻优方法及计算设备

技术领域

本发明涉及数据挖掘技术领域，尤其涉及一种参数寻优方法及计算设备。

背景技术

随着移动互联网技术的发展，移动终端已成为人们获取信息的重要媒介，用户对移动终端的操作可以展示出用户的行为偏好。根据用户的行为偏好对用户群体进行划分，对同一个群体中的用户推送相似的信息，或利用相似用户来向目标用户推送信息(协同过滤)，可以准确地向用户推送个性化内容、提供个性化服务。

现有的方案多是提取出用户特征，并标示用户所属的类别标签，将已知的用户特征-类别标签的对应关系作为训练样本，采用机器学习算法来训练分类器，将待测用户的用户特征输入训练好的分类器，即可输出该待测用户的类别标签。但是，现有的机器学习算法种类繁多，各个算法又存在多个需要手动设置的超参数(超参数即需要在训练分类器之前预先设置其值的参数，例如，对于随机森林算法，需要手动设置树的棵数、最大深度、每棵树的最大特征数等超参数；对于GBDT算法，需要手动设置弱学习器的数量、最大深度、内部节点再划分所需要的最小样本数、弱学习器的权重缩减系数等超参数；……)。超参数的取值会影响分类器的分类效果，进而影响用户分类的准确性。但是，目前超参数的设置往往依赖于工程师的经验，主观性较强，使得用户分类的准确性难以保证。此外，若抛弃工程师的主观经验因素，从客观的角度来设置合适的超参数，则需要采用各种超参数组合来训练分类器，将用户分类效果最好的分类器所对应的超参数组作为最优超参数组(或称网格搜索法，Grid Search)。这种方法需要消耗大量的时间，尤其是在机器学习算法的分类器的训练本身就很慢的情况下，尝试多种参数组合来不断训练分类器的时间消耗会令人难以忍受，在用户数据不断累积、变化的大数据背景下，这种方法也难以保证用户分类的准确性和时效性。

发明内容

为此，本发明提供一种参数寻优方法及计算设备，以解决或至少缓解上面存在的问题。

根据本发明的一个方面，提供一种参数寻优方法，在计算设备中执行，包括：从所有参数组中选取第一数量个参数组作为候选参数组，其他未被选中的参数组记为剩余参数组，每一个所述参数组中均包括相同数量个超参数，所述第一数量个候选参数组组成候选参数组空间；分别确定每一个候选参数组的评估值；在未达到预设的终止条件时，循环执行以下步骤：对于每一个剩余参数组：分别计算该剩余参数组与每一个候选参数组之间的相似度；根据该剩余参数组与每一个候选参数组的相似度以及各候选参数组的评估值来确定该剩余参数组的预测评估值；将预测评估值最大的第二数量个剩余参数组作为候选参数组，加入候选参数组空间；分别确定新加入的第二数量个候选参数组的评估值；以及，将候选参数组空间中评估值最大的候选参数组作为目标参数组。

可选地，在根据本发明的参数寻优方法中，从所有参数组中选取第一数量个参数组作为候选参数组的步骤包括：从所有参数组中随机选取第一数量个参数组作为候选参数组。

可选地，在根据本发明的参数寻优方法中，候选参数组的评估值按照以下步骤确定：在该候选参数组下，采用多个训练样本基于预设的机器学习算法来训练分类器；将多个测试样本输入训练好的分类器，根据分类器的输出来确定该候选参数组的评估值。

可选地，在根据本发明的参数寻优方法中，相似度按照以下公式计算：

其中，表示剩余参数组与候选参数组的相似度，||||₂表示求二范数，γ为常数。

可选地，在根据本发明的参数寻优方法中，剩余参数组的预测评估值按照以下步骤确定：根据剩余参数组与每一个候选参数组的相似度以及各候选参数组的评估值来确定该剩余参数组的预测平均值；根据剩余参数组与每一个候选参数组的相似度来确定该剩余参数组的预测标准差；根据所述预测平均值和预测标准差来确定该剩余参数组的预测评估值。

可选地，在根据本发明的参数寻优方法中，预测平均值按照以下公式确定：

其中，mean为预测平均值，表示参数组和参数组的相似度.为剩余参数组，为候选参数组，y_i为候选参数组的评估值，m为当前候选参数组空间中所包括的候选参数组的数量，1≤i≤m，β为常数。

可选地，在根据本发明的参数寻优方法中，预测标准差按照以下公式确定：

其中，var为预测标准差，表示参数组和参数组的相似度，为剩余参数组，为候选参数组，m为当前候选参数组空间中所包括的候选参数组的数量，1≤i≤m，β为常数。

可选地，在根据本发明的参数寻优方法中，预测评估值按照以下公式确定：

result＝mean+λvar

其中，result为预测评估值，mean为预测平均值，var为预测标准差，λ为常数。

可选地，在根据本发明的参数寻优方法中，参数组的总数量、第一数量、第二数量满足：参数组的总数量＞＞第一数量＞第二数量。

可选地，在根据本发明的参数寻优方法中，终止条件为循环次数达到预设的阈值。

可选地，在根据本发明的参数寻优方法中，在从所有参数组中选取第一数量个参数组作为候选参数组的步骤之前，还包括：分别设置每一个超参数的边界区间；将每一个超参数在其边界区间内离散化，得到多个离散值；分别选取每一个超参数的一个离散值，组成一个参数组。

根据本发明的另一个方面，提供一种计算设备，包括：至少一个处理器；和存储有程序指令的存储器，其中，程序指令被配置为适于由上述至少一个处理器执行，程序指令包括用于执行如上所述的参数寻优方法的指令。

根据本发明的又一个方面，提供一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如上所述的参数寻优方法。

根据本发明的参数寻优方案，先从所有参数组中选取第一数量个候选参数组来训练分类器，分别得出各分类器的评估值，也即各候选参数组的评估值。对于每一个剩余参数组，根据该剩余参数组与候选参数组的相似度以及各候选参数组的评估值来确定该剩余参数组的预测评估值；将预测评估值最大的第二数量个剩余参数组作为候选参数组，加入候选参数组空间。按照上述方法重复扩展候选参数组空间，当达到预设的终止条件时，将候选参数组空间中评估值最大的候选参数组作为目标参数组。这样，本发明的参数寻优方案仅需采用有限个候选参数组来训练分类器，即仅需训练(第一数量+第二数量*循环次数)个分类器，即可得出分类效果较优的目标参数组；而无需像传统的网格搜索法一样，采用所有可能的参数组来训练分类器并从中择优。本发明需要的分类器训练次数远远小于传统的网格搜索法的训练次数，节省了大量时间，可以在短时间内寻找出使分类器的分类效果较好的目标参数组，从而保证了用户分类的实时性和准确性。

上述参数寻优方案可以并行地在多个计算设备上执行，每个计算设备对应于一种机器学习算法。每一个计算设备分别确定其所对应的机器学习算法的目标参数组，并得出在目标参数组下的评估值；随后，将各机器学习算法的评估值进行比较，从而从中选出分类效果最优的机器学习算法。这样，本发明的技术方案可以快速选择出用户分类效果最好的机器学习算法及其目标参数组，从而达到了时间消耗以及分类效果的平衡，在节省计算时间的同时可以保证用户分类的准确性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的参数寻优系统100的示意图；

图2示出了根据本发明一个实施例的计算设备200的示意图；

图3示出了根据本发明一个实施例的参数寻优方法300的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

应当指出，为了简化描述并不模糊本方案的本意，在本说明书中，用“超参数”来表示一个超参数，用“参数组”来表示多个超参数的组合。

图1示出了根据本发明一个实施例的参数寻优系统100的示意图。如图1所示，参数寻优系统100包括计算设备200和数据存储装置110。应当指出，图1所示的参数寻优系统100仅是示例性的，虽然其中示出了四个计算设备200和一个数据存储装置110，但是，在具体的实践情况中，参数寻优系统中可以有不同数量的计算设备和数据存储装置，本发明对参数寻优系统中所包括的计算设备和数据存储装置的数量不做限制。

计算设备200是具有通信和计算能力的设备，其可以实现为服务器、工作站等，也可以实现为桌面计算机、笔记本计算机等配置的个人计算机，在一些情况中，计算设备200还可以实现为手机、平板电脑、智能可穿戴设备等设备。数据存储装置110可以是关系型数据库例如MySQL、ACCESS等，也可以是非关系型数据库例如NoSQL等；可以是驻留于计算设备200中的本地数据库，也可以作为分布式数据库例如HBase等设置于多个地理位置处，总之，数据存储装置110用于存储数据，本发明对数据存储装置110的具体部署、配置情况不做限制。计算设备200可以与数据存储装置110通信连接，获取数据存储装置110中所存储的数据，也可以向数据存储装置110中写入数据。例如，计算设备200可以直接读写数据存储装置110中的数据(在数据存储装置110为计算设备200的本地数据库时)，也可以通过有线或无线的方式接入互联网，并通过数据接口来读写数据存储装置110中的数据。

在本发明的参数寻优系统100中，数据存储装置110中存储有用户特征，用户特征包括属性特征和行为特征。属性特征指的是用户的比较稳定的固有特征，例如用户的性别、年龄、星座、教育水平、居住城市等；行为特征指的是用户对于移动终端本身或某个或某些APP的操作行为所体现的特征，例如用户的浏览记录、收藏记录、购买历史等等。

计算设备200可以读取数据存储装置110中所存储的用户特征，采用用户特征中的全部项或某些项来构成用户特征向量，根据用户特征向量来将用户划分为多个类别。例如，数据存储装置110中存储有性别、年龄、星座、浏览记录、收藏记录、购买历史的用户特征，计算设备200从中选取性别、星座、收藏记录、购买历史四个特征来构成用户特征向量。基于用户特征向量，可以把用户划分为多个类别，对同一个类别中的用户推送相似的信息，或利用相似用户来向目标用户推送信息(协同过滤)，可以准确地向用户推送个性化内容、提供个性化服务。应当指出，基于不同的服务目的，用户的分类标准以及分类结果不同。例如，对于音乐平台，其可以以用户感兴趣的音乐种类为标准来将用户划分为多个音乐类别，例如古典、流行、摇滚等，从而向用户推送个性化音乐；又例如，对于信贷平台，其可以以用户的守约还款情况为标准来将用户划分为多个信用类别，例如信用极高、信用中等、信用极差等，从而个性化地确定用户的贷款额度；等等。

计算设备200可以采用分类的机器学习算法来对用户进行分类，分类算法例如逻辑回归(Logistic Regression)、随机森林、支持向量机(SVM)、神经网络等，需要预先确定某些用户所属的类别，将这些已确定了类别的用户的[用户特征向量-类别标签]的对应关系作为训练样本，采用机器学习算法来训练分类器，待分类器训练完成后，将待测用户的用户特征向量输入分类器，分类器即可输出待测用户的类别标签。但是，现有的分类算法有多种，各个算法又存在多个需要手动设置的超参数，超参数的取值会影响算法的分类效果，进而影响用户分类的准确性。由于采用机器学习算法训练分类器的耗时较长，传统的基于网格搜索来确定最优超参数组的方法的时间消耗令人难以忍受。为了节省计算时间，在短时间内寻找出使分类器的用户分类效果较好的目标参数组，本发明提出了一种参数优化方法300，使得计算设备200可以快速寻找出使分类器的分类效果较好的目标参数组，从而保证了用户分类的实时性和准确性。同时，参数优化方法300可以并行地在多个计算设备200上实施，每个计算设备对应于一种机器学习算法，从而可以对比找出分类效果最好的机器学习算法及其所对应的目标参数组。例如，在图1所示的4个计算设备200中，第一个计算设备200执行参数优化方法300，得出逻辑回归算法的目标参数组，并得出在目标参数组下的分类器及其分类效果(分类效果即下文所述的“评估值”)；第二个计算设备200执行参数优化方法300，得出随机森林算法的目标参数组，并得出在目标参数组下的分类器及其分类效果；第三个计算设备200执行参数优化方法300，得出支持向量机算法的目标参数组，并得出在目标参数组下的分类器及其分类效果；第四个计算设备200执行参数优化方法300，得出神经网络算法的目标参数组，并得出在目标参数组下的分类器及其分类效果。随后，比较上述4个分类器的分类效果，得出最优的机器学习算法以及该算法的目标参数组，从而达到了时间消耗以及分类效果的平衡，在节省计算时间的同时可以得到较好的用户分类效果。

图2示出了根据本发明一个实施例的计算设备200的示意图。在基本的配置202中，计算设备200典型地包括系统存储器206和一个或者多个处理器204。存储器总线208可以用于在处理器204和系统存储器206之间的通信。

取决于期望的配置，处理器204可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用，或者在一些实现中，存储器控制器218可以是处理器204的一个内部部分。

取决于期望的配置，系统存储器206可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统220、一个或者多个应用222以及程序数据224。应用222实际上是多条程序指令，其用于指示处理器204执行相应的操作。在一些实施方式中，应用222可以布置为在操作系统上使得处理器204利用程序数据224进行操作。

计算设备200还可以包括有助于从各种接口设备(例如，输出设备242、外设接口244和通信设备246)到基本配置202经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图形处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A/V端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256，它们可以被配置为有助于经由一个或者多个I/O端口258和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260，其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

在根据本发明的计算设备200中，应用222包括参数寻优装置228，参数寻优装置228包括多条程序指令，而程序数据224可以包括由数据存储装置110中获取到的各用户的用户特征。参数寻优装置228可以指示处理器204执行参数寻优方法300，得出使分类器的分类效果较好的目标参数组，在节省计算时间的同时保证用户分类的准确性。

图3示出了根据本发明一个实施例的参数寻优方法300的流程图。方法300适于在计算设备(例如前述计算设备200)中执行。如图3所示，方法300始于步骤S310。

在步骤S310中，从所有参数组中选取第一数量个参数组作为候选参数组，其他未被选中的参数组记为剩余参数组，每一个所述参数组中均包括相同数量个超参数，所述第一数量个候选参数组组成候选参数组空间。

根据一种实施例，从所有参数组中随机选取第一数量个参数组作为候选参数组。当然，随机选取仅是一种选取方式，除随机选取之外，本领域技术人员还可以采用其他算法来选取第一数量个参数组，例如，将所有参数组进行编号，每隔一定数量个编号选取一个参数组，等等。本发明对从所有参数组中选取第一数量个参数组的具体方式不做限制。

此外，应当指出，第一数量的取值应当远小于(<<)参数组的总数量。第一数量的取值可以由本领域技术人员自行设置，本发明对第一数量的具体取值不做限制。

应当指出，机器学习算法中的各超参数的取值通常是无限的，例如，对于随机森林算法，其中一个超参数是树的棵树，理论上，树的棵树可以设置为大于等于1的任意整数，其取值有无限种可能。由于超参数的取值可能有无限多种，相应地，由多个超参数所组成的参数组也有无限多个，在这种情况下，穷举所有可能的参数组是不现实的。因此，根据一种实施例，在步骤S310之前，还包括步骤S302(步骤S302在图3中未示出)，步骤S302用于将无限多个参数组进行抽样、简化，生成有限个参数组，将这有限个参数组作为步骤S310中所述的“所有参数组”。

具体地，在步骤S302中，分别设置每一个超参数的边界区间，将每一个超参数在其边界区间内离散化，得到多个离散值；分别选取每一个超参数的一个离散值，组成一个参数组。例如，对于随机森林算法的三个超参数：树的棵树(n_estimators)、最大深度(max_depth)、每棵树的最大特征数(max_features)(当然，随机森林算法中还包括其他超参数，此处仅列举部分超参数以说明步骤S302的实施方法)。首先，分别设置每一个超参数的边界区间，例如，将树的棵树的边界区间设置为[5，100]，将最大深度的边界区间设置为[10，100]，将每棵树的最大特征数的边界区间设置为[10，20]。随后，将每个超参数在其边界区间内离散化，得到多个离散值，例如，将树的棵树以步长1在边界区间[5，100]内离散化，则树的棵树可以取5，6，7，…，100等96个离散值；将最大深度以步长5在边界区间[10，100]内离散化，则最大深度可以取10，15，20，…，100等19个离散值；将最大特征数以步长2在边界区间[10，20]内离散化，则最大特征数可以取10，12，14，…，20等6个离散值。最后，分别选取每一个超参数的一个离散值，组成一个参数组，例如，取树的棵树5、最大深度10、最大特征数10组成参数组[5，10，10]，取树的棵树5、最大深度15、最大特征数10组成参数组[5，15，10]，等等。这样，最终可以得到96*19*6个参数组，将这96*19*6个参数组作为步骤S310中的“所有参数组”。

随后，在步骤S320中，分别确定每一个候选参数组的评估值。

根据一种实施例，候选参数组的评估值按照以下步骤确定：在该候选参数组下，采用多个训练样本基于预设的机器学习算法来训练分类器；将多个测试样本输入训练好的分类器，根据分类器的输出来确定该候选参数组的评估值。例如，在用户分类问题中，我们想要确定随机森林算法的一个候选参数组的评估值，则，在该候选参数组下，采用多个[用户特征向量，类别标签]的训练样本基于随机森林算法来训练分类器。随后，将未参与训练的[用户特征向量，类别标签]样本作为测试样本，将其用户特征向量输入分类器，分类器会输出该用户所属的类别，若分类器输出的类别与测试样本的类别标签相同，则表示分类正确；若分类器输出的类别与测试样本的类别标签不同，则表示分类错误。这样，根据分类器针对多个测试样本的输出情况即可确定该候选参数组的评估值，评估值用于评价分类器的分类效果，评估值越高，分类器的分类越准确，效果越好。应当指出，本发明中的评估值泛指用于评价机器学习的分类器的分类效果的评价指标，而并不特指某一种评价指标，也即是说，在具体实践中，可以评价分类器分类效果的评价指标都可以作为评估值。例如，评估值可以是准确率(Accuracy，分类器正确分类的测试样本占所有测试样本的比例)、精确率(Precision，分类器输出的正样本中，真实的正样本的比例)、AUC(Area Under Curve，ROC曲线下的面积，ROC曲线为根据测试样本的真实类别和分类器的输出类别绘制而出，其横坐标为伪阳性率，纵坐标为真阳性率)等，但不限于此。本领域技术人员可以根据实际需要设置合适的评估值，应当指出，针对不同的机器学习算法，其评估值不尽相同。

随后，在步骤S330中，判断是否达到预设的终止条件，若未达到预设的终止条件，则执行步骤S340～S360；若达到预设的终止条件，则执行步骤S370。应当指出，终止条件由本领域技术人员自行设置，本发明对终止条件具体如何设置不做限制。根据一种实施例，可以将终止条件设置为循环次数达到预定的阈值，即，步骤S340～S360的执行次数达到预定阈值。例如，设置阈值为10，则在步骤S340～S360循环执行10次后，视为已达到预设的终止条件。

在步骤S340中，对于每一个剩余参数组：分别计算该剩余参数组与每一个候选参数组之间的相似度；根据该剩余参数组与每一个候选参数组的相似度以及各候选参数组的评估值来确定该剩余参数组的预测评估值。

根据一种实施例，剩余参数组与候选参数组之间的相似度按照以下公式计算：

其中，表示剩余参数组与候选参数组的相似度，||||₂表示求二范数，γ为常数，γ的取值可以由本领域技术人员自行设置，本发明对此不做限制，例如，可以设置γ＝1。此外，应当指出，上述公式(1)只是相似度的一种可能的计算方式，本领域技术人员还可以设计其他公式来计算剩余参数组与候选参数组之间的相似度，本发明对相似度的具体计算方式不做限制。

根据一种实施例，剩余参数组的预测评估值按照以下步骤确定：根据剩余参数组与每一个候选参数组的相似度以及各候选参数组的评估值来确定该剩余参数组的预测平均值；根据剩余参数组与每一个候选参数组的相似度来确定该剩余参数组的预测标准差；根据预测平均值和预测标准差来确定该剩余参数组的预测评估值。根据一种实施例，剩余参数组的预测平均值按照以下公式计算：

其中，mean为预测平均值，表示参数组和参数组的相似度，为剩余参数组，为候选参数组，yi为候选参数组的评估值，m为当前候选参数组空间中所包括的候选参数组的数量，1≤i≤m，β为常数，β的取值可以由本领域技术人员自行设置，本发明对此不做限制，例如，可以设置β＝1。

根据一种实施例，剩余参数组的预测标准差按照以下公式计算：

其中，var为预测标准差，表示参数组和参数组的相似度，为剩余参数组，为候选参数组，m为当前候选参数组空间中所包括的候选参数组的数量，1≤i≤m，β为常数，β的取值可以由本领域技术人员自行设置，本发明对此不做限制，例如，可以设置β＝1。

根据一种实施例，剩余参数组的预测评估值按照以下公式确定：

result＝mean+λvar (4)

其中，result为预测评估值，mean为预测平均值，var为预测标准差，λ为常数，λ的取值可以由本领域技术人员自行设置，本发明对此不做限制，优选地，将λ的取值范围为[0，3]，例如，可以设置λ＝1.5。

步骤S340确定剩余参数组的预测评估值的过程相当于，根据已有的多个候选参数组-评估值的对应关系来进行高斯过程回归，得出一个候选参数组→评估值的映射函数，然后用这个函数来预测剩余参数组的预测评估值。

随后，在步骤S350中，将预测评估值最大的第二数量个剩余参数组作为候选参数组，加入候选参数组空间。根据一种实施例，第二数量小于前述第一数量。应当指出，本发明对第二数量的取值不做限制，本领域技术人员可以根据实际情况将第二数量设置为小于第一数量的任意数值，例如，将第二数量设置为第一数量的五分之一。

随后，在步骤S360中，分别确定新加入的第二数量个候选参数组的评估值。

在步骤S360执行完毕后，再次执行步骤S330，判断是否达到预设的终止条件。若未达到终止条件，则继续执行步骤S340～S360；若达到终止条件，则执行步骤S370。

在步骤S370中，将候选参数组空间中评估值最大的参数组作为目标参数组。

本发明的参数寻优方法300中，仅需采用有限个候选参数组来训练分类器，即仅需训练(第一数量+第二数量*循环次数)个分类器，即可得出分类效果较优的目标参数组；而无需像传统的网格搜索法一样，采用所有可能的参数组来训练分类器并从中择优。本发明需要的分类器训练次数远远小于传统的网格搜索法的训练次数，节省了大量时间，可以在短时间内寻找出使分类器的分类效果较好的目标参数组，从而保证了用户分类的实时性和准确性。例如，参数组的总数量为96*19*6＝10944，将第一数量设置为50，第二数量设置为10，循环次数设置为5，则本发明仅需训练50+10*5＝100个分类器即可得出分类效果较优的目标参数组；而传统的网格搜索法则需训练10944个分类器并从中择优。显然，本发明的参数寻优方法大大缩短了计算时间，可以在短时间内寻找出使分类器的分类效果较好的目标参数组。

另外，参考图1，参数寻优方法300可以并行地在多个计算设备上执行，每个计算设备对应于一种机器学习算法。每一个计算设备分别执行参数寻优方法300，确定其所对应的机器学习算法的目标参数组，并得出在目标参数组下的评估值；随后，将各计算设备上的评估值进行比较，从而从中选出分类效果最优的机器学习算法。这样，本发明的技术方案可以快速选择出用户分类效果最好的机器学习算法及其目标参数组，从而达到了时间消耗以及分类效果的平衡，在节省计算时间的同时可以保证用户分类的准确性。

A9:A1所述的方法，其中，所述参数组的总数量、所述第一数量、所述第二数量满足：参数组的总数量>>第一数量>第二数量。

A10:A1所述的方法，其中，所述终止条件为循环次数达到预设的阈值。

A11:A1所述的方法，其中，在所述从所有参数组中选取第一数量个参数组作为候选参数组的步骤之前，还包括：

分别设置每一个超参数的边界区间；

将每一个超参数在其边界区间内离散化，得到多个离散值；

分别选取每一个超参数的一个离散值，组成一个参数组。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的参数寻优方法。

以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。

在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种参数寻优方法，在计算设备中执行，包括：

从所有参数组中选取第一数量个参数组作为候选参数组，其他未被选中的参数组记为剩余参数组，每一个所述参数组中均包括相同数量个超参数，所述第一数量个候选参数组组成候选参数组空间；

分别确定每一个候选参数组的评估值；

在未达到预设的终止条件时，循环执行以下步骤：

对于每一个剩余参数组：分别计算该剩余参数组与每一个候选参数组之间的相似度；根据该剩余参数组与每一个候选参数组的相似度以及各候选参数组的评估值来确定该剩余参数组的预测评估值；

将预测评估值最大的第二数量个剩余参数组作为候选参数组，加入候选参数组空间；

分别确定新加入的第二数量个候选参数组的评估值；

以及

将候选参数组空间中评估值最大的候选参数组作为目标参数组。

2.如权利要求1所述的方法，其中，所述从所有参数组中选取第一数量个参数组作为候选参数组的步骤包括：从所有参数组中随机选取第一数量个参数组作为候选参数组。

3.如权利要求1或2所述的方法，其中，候选参数组的评估值按照以下步骤确定：

在该候选参数组下，采用多个训练样本基于预设的机器学习算法来训练分类器；将多个测试样本输入训练好的分类器，根据分类器的输出来确定该候选参数组的评估值。

4.如权利要求1-3中任一项所述的方法，其中，所述相似度按照以下公式计算：

其中，表示剩余参数组与候选参数组的相似度，|| ||₂表示求二范数，γ为常数。

5.如权利要求1-4中任一项所述的方法，其中，剩余参数组的预测评估值按照以下步骤确定：

根据剩余参数组与每一个候选参数组的相似度以及各候选参数组的评估值来确定该剩余参数组的预测平均值；

根据剩余参数组与每一个候选参数组的相似度来确定该剩余参数组的预测标准差；

根据所述预测平均值和预测标准差来确定该剩余参数组的预测评估值。

6.如权利要求5所述的方法，其中，所述预测平均值按照以下公式确定：

其中，mean为预测平均值，表示参数组和参数组的相似度，为剩余参数组，为候选参数组，y_i为候选参数组的评估值，m为当前候选参数组空间中所包括的候选参数组的数量，1≤i≤m，β为常数。

7.如权利要求6所述的方法，其中，所述预测标准差按照以下公式确定：

其中，var为预测标准差，表示参数组和参数组的相似度，为剩余参数组，为候选参数组，m为当前候选参数组空间中所包括的候选参数组的数量，1≤i≤m，β为常数。

8.如权利要求5-7中任一项所述的方法，其中，所述预测评估值按照以下公式确定：

result＝mean+λvar

其中，result为预测评估值，mean为预测平均值，var为预测标准差，λ为常数。

9.一种计算设备，包括：

至少一个处理器；和

存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-8中任一项所述的参数寻优方法的指令。

10.一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如权利要求1-8中任一项所述的参数寻优方法。