CN109740113A - 超参数阈值范围确定方法、装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种超参数阈值范围确定方法、装置、存储介质及电子设备。方法包括：在基于第一训练数据集对模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第一目标超参数值，以及获取每次训练后所得模型的评估指标值作为第一评估指标值；根据所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围。由于目标超参数的阈值范围的确定参考了相应的评估指标，因此可以根据用户的不同需求选取合适的目标超参数阈值范围。这样，后续可以依据该目标超参数阈值范围进行超参数调优，缩小了反复调优尝试的范围，从而提升了超参数调优的效率、降低了人工成本，进而提升了人工智能模型训练的效率。

Description

超参数阈值范围确定方法、装置、存储介质及电子设备

技术领域

本公开涉及人工智能领域，具体地，涉及一种超参数阈值范围确定方法、装置、存储介质及电子设备。

背景技术

人工智能近三十年来获得了迅速的发展，在很多学科领域都获得了广泛应用，并取得了丰硕成果。但是，现阶段人工智能模型训练仍然还是耗时耗力的工作内容，往往需要专家根据自身经验进行反复迭代调优，其中有大部分工作内容是针对人工智能模型训练算法的超参数进行反复调优尝试。为了提高人工智能模型训练的效率、降低人工成本，研究者提出了诸如网格搜索(GridSearch)、贝叶斯优化等方法来实现超参数的自动调优。

但是目前提出的大部分方法仍然依赖于用户输入的初始值，例如，GridSearch方法需要用户手动输入一系列超参数的数组，贝叶斯优化方法也需要随机生成一系列的采样点，即初始超参数的阈值范围仍依赖于个人经验进行设置。另外，上述Grid Search方法只能验证已输入范围内的超参数值的效果，而贝叶斯优化方法也往往集中在初始采样点的周边范围内进行参数调优，它们无法根据用户的不同需求(例如，模型准确率、训练效率)设定合适的阈值搜索方法。

发明内容

为了克服相关技术中存在的问题，本公开提供一种超参数阈值范围确定方法、装置、存储介质及电子设备。

为了实现上述目的，根据本公开实施例的第一方面，提供一种超参数阈值范围确定方法，包括：

在基于第一训练数据集对模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第一目标超参数值，以及获取每次训练后所得模型的评估指标值作为第一评估指标值；

根据所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围。

可选地，所述根据所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围，包括：

获取多个第一目标超参数估计值，其中，所述第一目标超参数估计值大于获取到的所述第一目标超参数值中的最小值、且小于获取到的所述第一目标超参数值中的最大值；

根据所述第一目标超参数值和所述第一评估指标值，利用高斯过程回归模型分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的最大值，该最大值作为所述第一目标超参数估计值对应的第二评估指标值；

以每个所述第一目标超参数估计值为横坐标点、每个所述第一目标超参数估计值对应的所述第二评估指标值为纵坐标点，通过非线性拟合法确定相应拟合曲线的波峰；

将各波峰按照对应的纵坐标值从大到小进行排序，获取排名靠前的m个波峰，其中，m为大于或等于2的整数；

将所述排名靠前的m个波峰对应的横坐标值中的最小值、最大值分别确定为所述目标超参数的阈值范围的下限值、上限值。

可选地，所述获取多个第一目标超参数估计值，包括：

将多个所述第一目标超参数值按照数值大小进行排序；

将排序后的、每相邻的两个第一目标超参数值的平均值确定为所述第一目标超参数估计值。

可选地，所述根据所述第一目标超参数值和所述第一评估指标值，利用高斯过程回归模型分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的最大值，包括：

根据所述第一目标超参数值和所述第一评估指标值，利用高斯过程回归模型分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的高斯分布的均值和方差；

分别根据在每个所述第一目标超参数估计值下的所述均值和所述方差，通过以下公式，确定在每个所述第一目标超参数估计值下所述模型的评估指标的最大值：

z_{1_h}＝μ_{1_h}+C·δ_{1_h}

其中，z_{1_h}为在第h个第一目标超参数估计值下所述模型的评估指标的最大值；μ_{1_h}为在第h个第一目标超参数估计值下所述模型的评估指标的高斯分布的均值；δ_{1_h}为在第h个第一目标超参数估计值下所述模型的评估指标的高斯分布的方差；C为预设的置信度。

可选地，在所述以每个所述第一目标超参数估计值为横坐标点、每个所述第一目标超参数估计值对应的所述第二评估指标值为纵坐标点，通过非线性拟合法确定相应拟合曲线的波峰的步骤之前，所述方法还包括：

在基于第二训练数据集对所述模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第二目标超参数值，以及获取每次训练后所得模型的评估指标值作为第三评估指标值；

获取多个第二目标超参数估计值，其中，所述第二目标超参数估计值大于获取到的所述第二目标超参数值中的最小值、且小于获取到的所述第二目标超参数值中的最大值，获取到的所述第二目标超参数估计值的数量与获取到的所述第一目标超参数估计值的数量相同；

根据所述第二目标超参数值和所述第三评估指标值，利用所述高斯过程回归模型分别预测在每个所述第二目标超参数估计值下所述模型的评估指标的最大值，该最大值作为所述第二目标超参数估计值对应的第四评估指标值；

根据多个所述第二评估指标值和多个所述第四评估指标值，确定所述第一训练数据集和所述第二训练数据集的相似度指标；

根据所述相似度指标，更新所述高斯过程回归模型的高斯核函数，得到新的高斯过程回归模型；

根据所述第一目标超参数值和所述第一评估指标值，利用所述新的高斯过程回归模型，再次分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的最大值，该最大值作为所述第一目标超参数估计值对应的新的第二评估指标值。

可选地，所述根据多个所述第二评估指标值和多个所述第四评估指标值，确定所述第一训练数据集和所述第二训练数据集的相似度指标，包括：

根据多个所述第二评估指标值和多个所述第四评估指标值，通过以下公式，确定所述第一训练数据集和所述第二训练数据集的相似度指标：

其中，SIM为所述相似度指标；z_{1_h}为第h个第一目标超参数估计值对应的第二评估指标值；z_{2_h}为第h个第二目标超参数估计值对应的第四评估指标值；T为所述获取到的所述第一目标超参数估计值的数量。

可选地，在所述根据所述相似度指标，更新所述高斯过程回归模型的高斯核函数的步骤之前，所述方法还包括：

根据所述相似度指标，确定所述第一训练数据集和所述第二训练数据集相似。

可选地，所述根据所述相似度指标，更新所述高斯过程回归模型的高斯核函数，包括：

根据所述相似度指标，通过以下公式，更新所述高斯过程回归模型的高斯核函数：

其中，k_ij为所述高斯过程回归模型的高斯核函数；x_i为获取到的第i个第一目标超参数值或第一目标超参数估计值；x_j为获取到的第j个第一目标超参数值或第一目标超参数估计值；SIM为所述相似度指标。

根据本公开实施例的第二方面，提供一种超参数阈值范围确定装置，包括：

获取模块，用于在基于第一训练数据集对模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第一目标超参数值，以及获取每次训练后所得模型的评估指标值作为第一评估指标值；

确定模块，用于根据所述获取模块获取到的所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面提供的所述超参数阈值范围确定方法的步骤。

根据本公开实施例的第四方面，提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面提供的所述超参数阈值范围确定方法的步骤。

在上述技术方案中，在基于第一训练数据集进行多次训练后，能够获得多个第一目标超参数值和多个相应的第一评估指标值，之后，根据它们来共同确定目标超参数的阈值范围。由于目标超参数的阈值范围的确定参考了相应的评估指标，因此可以根据用户的不同需求选取合适的目标超参数阈值范围。这样，后续可以依据该目标超参数阈值范围进行超参数调优，缩小了反复调优尝试的范围，从而提升了超参数调优的效率、降低了人工成本，进而提升了人工智能模型训练的效率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种超参数阈值范围确定方法的流程图。

图2是根据一示例性实施例示出的一种根据第一目标超参数值和第一评估指标值确定超参数阈值范围的方法的流程图。

图3是根据一示例性实施例示出的一种获取第一目标超参数估计值的方法的流程图。

图4是根据一示例性实施例示出的一种预测在每个第一目标超参数估计值下模型的评估指标的最大值的方法的流程图。

图5是根据另一示例性实施例示出的一种根据第一目标超参数值和第一评估指标值确定超参数阈值范围的方法的流程图。

图6是根据另一示例性实施例示出的一种根据第一目标超参数值和第一评估指标值确定超参数阈值范围的方法的流程图。

图7是根据一示例性实施例示出的一种超参数阈值范围确定装置的框图。

图8是根据另一示例性实施例示出的一种超参数阈值范围确定装置的框图。

图9是根据另一示例性实施例示出的一种超参数阈值范围确定装置的框图。

图10是根据另一示例性实施例示出的一种超参数阈值范围确定装置的框图。

图11是根据一示例性实施例示出的一种电子设备的框图。

图12是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

图1是根据一示例性实施例示出的一种超参数阈值范围确定方法的流程图。如图1所示，该方法可以包括以下步骤。

在步骤101中，在基于第一训练数据集对模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第一目标超参数值，以及获取每次训练后所得模型的评估指标值作为第一评估指标值。

示例地，在基于第一训练数据集对模型进行的多次训练过程中，多次训练过程所使用的目标超参数值分别为x₁₁、x₁₂、…、x_1n(其中，n为大于或等于2的整数)，相应地，多次训练后所得模型的评估指标值分别为y₁₁、y₁₂、…、y_1n，则通过上述步骤101获取到的第一目标超参数值分别为x₁₁、x₁₂、…、x_1n、第一评估指标值分别为y₁₁、y₁₂、…、y_1n。

另外，上述模型可以例如是线性回归模型、逻辑回归模型、神经网络模型等，并且，上述第一评估指标可以例如是准确率、均方误差、R²、F值等，在本公开中均不作具体限定。

在步骤102中，根据第一目标超参数值和第一评估指标值，确定目标超参数的阈值范围。

在通过上述步骤101获取到多个第一目标超参数值和多个第一评估指标值后，可以根据它们共同确定目标超参数的阈值范围。

在上述技术方案中，在基于第一训练数据集进行多次训练后，能够获得多个第一目标超参数值和多个相应的第一评估指标值，之后，根据它们来共同确定目标超参数的阈值范围。由于目标超参数的阈值范围的确定参考了相应的评估指标，因此可以根据用户的不同需求选取合适的目标超参数阈值范围。这样，后续可以依据该目标超参数阈值范围进行超参数调优，缩小了反复调优尝试的范围，从而提升了超参数调优的效率、降低了人工成本，进而提升了人工智能模型训练的效率。

为了使本领域技术人员更加理解本发明实施例提供的技术方案，下面针对上述步骤102中的根据第一目标超参数值和第一评估指标值，确定目标超参数的阈值范围进行详细说明。

在一种实施方式中，在通过上述步骤101确定出多个第一目标超参数值和多个第一评估指标值后，可以通过以下等式(1)和等式(2)来确定目标超参数的阈值范围：

其中，Min为所述目标超参数的阈值范围的下限值；Max为所述目标超参数的阈值范围的上限值；x_max为所述多个第一评估指标中的最大值对应的第一目标超参数值；n为获取到的第一目标超参数值的数量；max为所述多个第一评估指标中的最大值对应的第一目标超参数值在目标序列中的编号，其中，该目标序列为对多个第一目标超参数值按照从小到大依次排序所得的序列、且排序后的各第一目标超参数值依次编号为1～n；x_max+1为所述目标序列中编号为max+1的第一目标超参数值，即所述目标序列中的第max+1个第一目标超参数值；x_max-1为所述目标序列中编号为max-1的第一目标超参数值，即所述目标序列中的第max-1个第一目标超参数值。

示例地，n＝5，通过上述步骤101获取到的第一目标超参数值分别为x₁₁、x₁₂、x₁₃、x₁₄、x₁₅、对应的第一评估指标值分别为y₁₁、y₁₂、y₁₃、y₁₄、y₁₅，其中，第一评估指标值y₁₁、y₁₂、y₁₃、y₁₄、y₁₅中y₁₃最大、且第一目标超参数值x₁₁、x₁₂、x₁₃、x₁₄、x₁₅按照从小到大依次排序后为x₁₄、x₁₂、x₁₁、x₁₅、x₁₃，即第一目标超参数值x₁₄、x₁₂、x₁₁、x₁₅、x₁₃在目标序列中的编号分别为1、2、3、4、5，目标序列{x₁、x₂、x₃、x₄、x₅}＝{x₁₄、x₁₂、x₁₁、x₁₅、x₁₃}，其中，第一评估指标值y₁₁、y₁₂、y₁₃、y₁₄、y₁₅中的最大值y₁₃对应的第一目标超参数值x₁₃在目标序列中的编号为5，则max＝5，Min＝x_max-1＝x₄＝x₁₅，Max＝2x_max-x_max-1＝2x₅-x₄＝2x₁₃-x₁₅，因此，目标超参数的阈值范围为[x₁₅,2x₁₃-x₁₅]。

又示例地，n＝5，通过上述步骤101获取到的第一目标超参数值分别为x₁₁、x₁₂、x₁₃、x₁₄、x₁₅、对应的第一评估指标值分别为y₁₁、y₁₂、y₁₃、y₁₄、y₁₅，其中，第一评估指标值y₁₁、y₁₂、y₁₃、y₁₄、y₁₅中y₁₁最大、且第一目标超参数值x₁₁、x₁₂、x₁₃、x₁₄、x₁₅按照从小到大依次排序后为x₁₄、x₁₂、x₁₁、x₁₅、x₁₃，即第一目标超参数值x₁₄、x₁₂、x₁₁、x₁₅、x₁₃在目标序列中的编号分别为1、2、3、4、5，目标序列{x₁、x₂、x₃、x₄、x₅}＝{x₁₄、x₁₂、x₁₁、x₁₅、x₁₃}，其中，第一评估指标值y₁₁、y₁₂、y₁₃、y₁₄、y₁₅中的最大值y₁₁对应的第一目标超参数值x₁₁在目标序列中的编号为3，则max＝3，Min＝x_max-1＝x₂＝x₁₂，Max＝x_max+1＝x₄＝x₁₅，因此，目标超参数的阈值范围为[x₁₂,x₁₅]。

但上述实施方式容易受限于获取到的多个第一评估指标值所属的范围，很可能陷入局部最优解，同时由于已经获取到的第一目标超参数值中的最优超参数值并不一定是最优解，基于该最优超参数值确定出的目标超参数的阈值范围可能存在较大的偏差。因此，为了提高目标超参数的阈值范围的精度，以避免陷入局部最优解，在另一种实施方式中，可以基于上述已经获取到的第一目标超参数值的范围，再次获取多个第一目标超参数值估计值，并预测每个第一目标超参数值估计值对应的第二评估指标值，之后，可以基于多个第二评估指标值，通过非线性拟合法确定目标超参数的阈值范围，从而能够获得相应拟合函数的全局最优解，保证确定出的目标超参数的阈值范围中包含最终超参数的最优值，由此，能够避免传统贝叶斯优化过程中确定出的目标超参数陷入局部最优解的问题。具体来说，可以通过图2中所示的步骤1021～步骤1025来确定目标超参数的阈值范围。

在步骤1021中，获取多个第一目标超参数估计值。

在本公开中，该第一目标超参数估计值大于上述步骤101中获取到的多个第一目标超参数值中的最小值、且小于该多个第一目标超参数值中的最大值。

在步骤1022中，根据第一目标超参数值和第一评估指标值，利用高斯过程回归模型分别预测在每个第一目标超参数估计值下模型的评估指标的最大值，该最大值作为第一目标超参数估计值对应的第二评估指标值。

在步骤1023中，以每个第一目标超参数估计值为横坐标点、每个第一目标超参数估计值对应的第二评估指标值为纵坐标点，通过非线性拟合法确定相应拟合曲线的波峰。

在本公开中，可以通过多项式拟合法、正弦拟合法、余弦拟合法等非线性拟合法来进行曲线拟合。示例地，可以以每个第一目标超参数估计值为横坐标点、每个第一目标超参数估计值对应的第二评估指标值为纵坐标点，采用多项式拟合法进行曲线拟合，得到拟合函数，之后，通过对该拟合函数进行微分求极值，得到多个极值点，最后，根据该多个极值点，确定相应拟合曲线的波峰(即极大值点)。

在步骤1024中，将各波峰按照对应的纵坐标值从大到小进行排序，获取排名靠前的m个波峰。

其中，m为大于或等于2的整数。

在步骤1025中，将排名靠前的m个波峰对应的横坐标值中的最小值、最大值分别确定为目标超参数的阈值范围的下限值、上限值。

示例地，m＝4，通过上述步骤1023获取到8个波峰，其中，各波峰的坐标分别为(1,6)、(4.5,1.6)、(2,7)、(0.2,4)、(3.2,1.9)、(2.9,2.7)、(9,4.4)、(4.9,7.6)，经该8个波峰按照对应的纵坐标值从大到小进行排序后为(4.9,7.6)、(2,7)、(1,6)(9,4.4)、(0.2,4)、(2.9,2.7)、(3.2,1.9)、(4.5,1.6)，其中，排名靠前的4个波峰分别为(4.9,7.6)、(2,7)、(1,6)(9,4.4)，可见，该排名靠前的4个波峰对应的横坐标中的最小值、最大值分别为1、9，因此，目标超参数的阈值范围的下限值、上限值分别为1、9，即目标超参数的阈值范围为[1,9]。

采用非线性拟合结合高斯过程回归模型的方法来确定目标超参数的阈值范围时，由于通过非线性拟合后的拟合函数进行微分求极值，能够获得拟合函数的全局最优解，可以保证确定出的目标超参数的阈值范围中包含最终超参数的最优值，由此，能够避免传统贝叶斯优化过程中确定出的目标超参数陷入局部最优解的问题。

下面针对上述步骤1021中的获取多个第一目标超参数估计值进行详细说明。

在本公开中，可以通过多种方式来获取多个第一目标超参数估计值。在一种实施方式中，可以在上述步骤101中获取到的多个第一目标超参数值中的最小值到该多个第一目标超参数值中的最大值的范围内(其中，该范围不包括多个第一目标超参数值中的最小值和最大值)，随机生成多个数值，并将该多个数值确定为第一目标超参数估计值。

在另一种实施方式中，可以通过图3中所示的步骤301和步骤302来获取多个第一目标超参数估计值。

在步骤301中，将多个第一目标超参数值按照数值大小进行排序。

在本公开中，可以将上述步骤101中获取到的多个第一目标超参数值按照数值从大到小的顺序进行排列，也可以将上述步骤101中获取到的多个第一目标超参数值按照数值从小到大的顺序进行排列，在本公开中不作具体限定。

在步骤302中，将排序后的、每相邻的两个第一目标超参数值的平均值确定为第一目标超参数估计值。

示例地，通过上述步骤101获取到的第一目标超参数值分别为x₁₁、x₁₂、x₁₃、x₁₄、x₁₅，它们按照数值从小到大的顺序进行排列后为x₁₄、x₁₂、x₁₁、x₁₅、x₁₃，则第一目标超参数估计值

将排序后的、每相邻的两个第一目标超参数值的平均值作为第一目标超参数估计值，可以保证各第一目标超参数估计值的方差较大，从而具有更大的不确定性，进而可以保证后续确定出的目标超参数的阈值范围尽量包括可能包含最好评估结果的区域。

下面针对上述步骤1022中的根据第一目标超参数值和第一评估指标值，利用高斯过程回归模型分别预测在每个第一目标超参数估计值下模型的评估指标的最大值进行详细说明。

在本公开中，可以通过图4中所示的步骤10221和步骤10222来分别预测在每个第一目标超参数估计值下模型的评估指标的最大值。

在步骤10221中，根据第一目标超参数值和第一评估指标值，利用高斯过程回归模型分别预测在每个第一目标超参数估计值下模型的评估指标的高斯分布的均值和方差。

在本公开中，第一目标超参数估计值下模型的评估指标与多个第一评估指标值同属于一个高维联合正态分布(即高斯过程回归模型)，如等式(3)中所示：

其中，列向量y₁₁,y₁₂,…,y_1n为多个所述第一评估指标值，n为获取到的第一目标超参数值的数量；y_{1_h}为在所述多个第一目标超参数估计值中的第h个第一目标超参数估计值下模型的评估指标；为高斯过程回归模型的均值；K为协方差矩阵，且列向量K_{1_h}＝[k_{1_h1} k_{1_h2} … k_{1_hn}]^T；k_ij为高斯过程回归模型的高斯核函数，且x_i为获取到的第i个第一目标超参数值或第一目标超参数估计值；x_j为获取到的第j个第一目标超参数值或第一目标超参数估计值。

通过联合概率分布，可得第一目标超参数估计值下模型的评估指标y_{1_h}的概率分布为：

由等式(4)可知，第h个第一目标超参数估计值下模型的评估指标y_{1_h}的高斯分布的均值方差

另外，需要说明的是，虽然以上等式(3)中高斯过程回归模型的均值以各元素均为零的列向量为例进行说明，但其还可以是非零列向量，对于上述高斯过程回归模型的均值的取值，在本公开中不作具体限定。

在步骤10222中，分别根据在每个第一目标超参数估计值下的均值和方差，确定在每个第一目标超参数估计值下模型的评估指标的最大值。

在通过上述步骤10221确定出第一目标超参数估计值下的均值和方差后，可以根据该均值和方差来确定在每个第一目标超参数估计值下模型的评估指标的最大值。

示例地，可以通过以下等式(5)来确定在每个第一目标超参数估计值下模型的评估指标的最大值：

z_{1_h}＝μ_{1_h}+C·δ_{1_h} (5)

其中，z_{1_h}为在第h个第一目标超参数估计值下所述模型的评估指标的最大值；C为预设的置信度，它可以是用户设定的值(例如，95％)，也可以是默认的经验值，在本公开中不作具体限定。

在确定出在每个第一目标超参数估计值下模型的评估指标的最大值后，可以将该最大值作为该第一目标超参数估计值对应的第二评估指标值。

另外，由于上述确定目标超参数的阈值范围时所采用的第一目标超参数值是针对第一训练数据集对模型进行多次训练过程中所使用的目标超参数值，所获取到的第一目标超参数的数量可能比较有限，即存在欠采样的情况，这样可能导致高斯过程回归模型的概率分布方差较大，使得最终确定出的目标超参数的阈值范围的精度受到影响。因此，为了避免在欠采样数据下高斯高斯过程回归模型的概率分布方差较大的问题，在进行非线性拟合法确定相应拟合曲线的波峰前(即在上述步骤1023之前)，可以引入多元训练数据集，并通过相似度指标计算的方法来有效平衡数据质量和数据数量之间的关系，从而能够获得更精确的高斯过程回归模型的概率分布，降低方差较大的不确定性，以提升最终确定出的目标超参数的阈值范围的精度。具体来说，可以通过图5中所示的步骤1026～步骤10211来实现。

在步骤1026中，在基于第二训练数据集对模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第二目标超参数值，以及获取每次训练后所得模型的评估指标值作为第三评估指标值。

示例地，在基于第二训练数据集对模型进行的多次训练过程中，多次训练过程所使用的目标超参数值分别为x₂₁、x₂₂、…、x_2q(其中，q为大于或等于2的整数)，相应地，多次训练后所得模型的评估指标值分别为y₂₁、y₂₂、…、y_2q，则通过上述步骤1026获取到的第二目标超参数值分别为x₂₁、x₂₂、…、x_2q、第三评估指标值分别为y₂₁、y₂₂、…、y_2q。

另外，需要说明的是，在步骤1026中获取到的第二目标超参数值的数量可以与上述步骤101中获取到的第一目标超参数值的数量相同，也可以不同，在本公开中不作具体限定。

在步骤1027中，获取多个第二目标超参数估计值。

在本公开中，上述第二目标超参数估计值大于上述步骤1026中获取到的第二目标超参数值中的最小值、且小于该多个第二目标超参数值中的最大值。并且，步骤1027中获取到的第二目标超参数估计值的数量与上述步骤1021中获取到的第一目标超参数估计值的数量相同。

另外，可以采用上述步骤1021中获取多个第一目标超参数估计值同样的方式来获取多个第二目标超参数估计值，这里不再赘述。

在步骤1028中，根据第二目标超参数值和第三评估指标值，利用高斯过程回归模型分别预测在每个第二目标超参数估计值下模型的评估指标的最大值，该最大值作为第二目标超参数估计值对应的第四评估指标值。

在本公开中，可以采用上述步骤1022中分别预测在每个第一目标超参数估计值下模型的评估指标的最大值同样的方式来预测在每个第二目标超参数估计值下模型的评估指标的最大值，这里也不再赘述。

在步骤1029中，根据多个第二评估指标值和多个第四评估指标值，确定第一训练数据集和第二训练数据集的相似度指标。

在本公开中，在通过上述步骤1022确定出多个第二评估指标值、以及通过上述步骤1028确定出多个第四评估指标值后，可以根据它们确定第一训练数据集和第二训练数据集的相似度指标。

示例地，可以通过余弦相似度来确定第一训练数据集和第二训练数据集的相似度指标，即可以通过以下等式(6)来确定第一训练数据集和第二训练数据集的相似度指标：

其中，SIM为所述相似度指标；z_{1_h}为第h个第一目标超参数估计值对应的第二评估指标值；z_{2_h}为第h个第二目标超参数估计值对应的第四评估指标值；T为所述获取到的所述第一目标超参数估计值的数量。

另外，除了采用余弦相似度指标来确定第一训练数据集和第二训练数据集的相似度指标外，还可以采用欧式距离相似度、杰卡德相似度等方式来确定第一训练数据集和第二训练数据集的相似度指标，在本公开中不作具体下定。

在步骤10210中，根据第一训练数据集和第二训练数据集的相似度指标，更新高斯过程回归模型的高斯核函数，得到新的高斯过程回归模型。

在本公开中，在通过上述步骤10209确定出第一训练数据集和第二训练数据集的相似度指标后，可以根据该相似度指标更新上述高斯过程回归模型的高斯函数，以得到新的高斯过程回归模型。

示例地，可以通过以下等式(7)来更新上述高斯过程回归模型的高斯核函数：

其中，k_ij为高斯过程回归模型的高斯核函数；x_i为获取到的第i个第一目标超参数值或第一目标超参数估计值；x_j为获取到的第j个第一目标超参数值或第一目标超参数估计值；SIM为所述相似度指标。

在步骤10211中，根据第一目标超参数值和第一评估指标值，利用新的高斯过程回归模型，再次分别预测在每个第一目标超参数估计值下模型的评估指标的最大值，该最大值作为第一目标超参数估计值对应的新的第二评估指标值。

在本公开中，在通过上述步骤10210更新上述高斯过程回归模型的高斯函数，得到新的高斯过程回归模型后，可以利用该新的高新过程回归模型，重新分别预测在每个第一目标超参数估计值下模型的评估指标的最大值，并将该最大值作为第一目标超参数估计值对应的新的第二评估指标值。之后，可以以每个第一目标超参数估计值为横坐标点、每个第一目标超参数估计值对应的新的第二评估指标值为纵坐标点，通过非线性拟合法确定相应拟合曲线的波峰，以根据该波峰确定出目标超参数的阈值范围的下限值、上限值(即执行以上步骤1023～步骤1025)。

另外，需要说明的是，上述步骤1026可以在上述步骤1021之前执行，也可以在上述步骤1021之后执行，还可以与上述步骤1021同时执行，在本公开中不作具体限定。

为了进一步提升目标超参数的阈值范围的精度，可以在第一训练集和第二训练集相似时，才根据该相似度指标更新上述高斯过程回归模型的高斯函数。具体来说，如图6所示，上述方法还可以包括以下步骤10212。

在步骤10212中，根据第一训练数据集和第二训练数据集的相似度指标，确定第一训练数据集和第二训练数据集相似。

在本公开中，当第一训练数据集和第二训练数据集的相似度指标大于预设阈值时，可以确定第一训练数据集和第二训练数据集相似，此时，可以根据该相似度指标更新上述高斯过程回归模型的高斯函数；而当第一训练数据集和第二训练数据集的相似度指标小于或等于上述预设阈值时，可以确定第一训练数据集和第二训练数据集不相似，此时，不执行高斯过程回归模型的高斯函数的更新操作。

另外，需要说明的是，上述预设阈值可以是用户设定的值(例如，0.8)，也可以是默认的经验值，在本公开中不作具体限定。

图7是根据一示例性实施例示出的一种超参数阈值范围确定装置的框图。参照图7，该装置700可以包括：获取模块701，用于在基于第一训练数据集对模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第一目标超参数值，以及获取每次训练后所得模型的评估指标值作为第一评估指标值；确定模块702，用于根据所述获取模块701获取到的所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围。

图8是根据另一示例性实施例示出的一种超参数阈值范围确定装置的框图。参照图8，上述确定模块702可以包括：第一获取子模块7021，获取多个第一目标超参数估计值，其中，所述第一目标超参数估计值大于获取到的所述第一目标超参数值中的最小值、且小于获取到的所述第一目标超参数值中的最大值；预测子模块7022，用于根据所述获取模块701获取到的所述第一目标超参数值和所述第一评估指标值，利用高斯过程回归模型分别预测在所述第一获取子模块7021获取到的每个所述第一目标超参数估计值下所述模型的评估指标的最大值，该最大值作为所述第一目标超参数估计值对应的第二评估指标值；第一确定子模块7023，用于以所述第一获取子模块7021获取到的每个所述第一目标超参数估计值为横坐标点、所述预测子模块7022预测出的每个所述第一目标超参数估计值对应的所述第二评估指标值为纵坐标点，通过非线性拟合法确定相应拟合曲线的波峰；第二获取子模块7024，用于将所述第一确定子模块7023确定出的各波峰按照对应的纵坐标值从大到小进行排序，获取排名靠前的m个波峰，其中，m为大于或等于2的整数；第二确定子模块7025，用于将所述第二获取子模块7024获取到的所述排名靠前的m个波峰对应的横坐标值中的最小值、最大值分别确定为所述目标超参数的阈值范围的下限值、上限值。

可选地，所述第一获取子模块7021可以包括：排序子模块，用于将所述获取模块701获取到的多个所述第一目标超参数值按照数值大小进行排序；估计值确定子模块，用于将所述排序子模块得到的排序后的、每相邻的两个第一目标超参数值的平均值确定为所述第一目标超参数估计值。

可选地，所述预测子模块7022可以包括：均值方差确定子模块，用于根据所述获取模块701获取到的所述第一目标超参数值和所述第一评估指标值，利用高斯过程回归模型分别预测在所述第一获取子模块7021获取到的每个所述第一目标超参数估计值下所述模型的评估指标的高斯分布的均值和方差；评估指标的最大值确定子模块，用于分别根据所述均值方差确定子模块确定出的在每个所述第一目标超参数估计值下的所述均值和所述方差，通过以上等式(5)，确定在每个所述第一目标超参数估计值下所述模型的评估指标的最大值。

图9是根据另一示例性实施例示出的一种超参数阈值范围确定装置的框图。参照图9，上述确定模块702还可以包括：第三获取子模块7026，用于在所述第一确定子模块7023以每个所述第一目标超参数估计值为横坐标点、每个所述第一目标超参数估计值对应的所述第二评估指标值为纵坐标点，通过非线性拟合法确定相应拟合曲线的波峰之前，在基于第二训练数据集对所述模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第二目标超参数值，以及获取每次训练后所得模型的评估指标值作为第三评估指标值；所述第一获取子模块7021，还用于获取多个第二目标超参数估计值，其中，所述第二目标超参数估计值大于获取到的所述第二目标超参数值中的最小值、且小于获取到的所述第二目标超参数值中的最大值，获取到的所述第二目标超参数估计值的数量与获取到的所述第一目标超参数估计值的数量相同；所述预测子模块7022，还用于根据第三获取子模块7026获取到的所述第二目标超参数值和所述第三评估指标值，利用所述高斯过程回归模型分别预测在所述第一获取子模块7021获取到的每个所述第二目标超参数估计值下所述模型的评估指标的最大值，该最大值作为所述第二目标超参数估计值对应的第四评估指标值；第三确定子模块7027，用于根据所述预测子模块7022预测出的多个所述第二评估指标值和多个所述第四评估指标值，确定所述第一训练数据集和所述第二训练数据集的相似度指标；更新子模块7028，用于根据所述第三确定子模块7027确定出的所述相似度指标，更新所述高斯过程回归模型的高斯核函数，得到新的高斯过程回归模型；所述预测子模块7022，还用于根据所述获取模块701获取到的所述第一目标超参数值和所述第一评估指标值，利用所述更新子模块7028得到的新的高斯过程回归模型，再次分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的最大值，该最大值作为所述第一目标超参数估计值对应的新的第二评估指标值。

可选地，所述第三确定子模块7027，用于根据所述预测子模块7022预测出的多个所述第二评估指标值和多个所述第四评估指标值，通过以上等式(6)，确定所述第一训练数据集和所述第二训练数据集的相似度指标。

图10是根据另一示例性实施例示出的一种超参数阈值范围确定装置的框图。参照图10，上述确定模块702还可以包括：第四确定子模块7029，用于在所述更新子模块7028根据所述相似度指标，更新所述高斯过程回归模型的高斯核函数之前，根据所述第三确定子模块7027确定出的所述相似度指标，确定所述第一训练数据集和所述第二训练数据集相似。

可选的，所述更新子模块7028，用于根据所述第三确定子模块7027确定出的所述相似度指标，通过以上等式(7)，更新所述高斯过程回归模型的高斯核函数。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开提供的上述超参数阈值范围确定方法的步骤。

图11是根据一示例性实施例示出的一种电子设备1100的框图。如图11所示，该电子设备1100可以包括：处理器1101，存储器1102。该电子设备1100还可以包括多媒体组件1103，输入/输出(I/O)接口1104，以及通信组件1105中的一者或多者。

其中，处理器1101用于控制该电子设备1100的整体操作，以完成上述的超参数阈值范围确定方法中的全部或部分步骤。存储器1102用于存储各种类型的数据以支持在该电子设备1100的操作，这些数据例如可以包括用于在该电子设备1100上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器1102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件1103可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1102或通过通信组件1105发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口1104为处理器1101和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件1105用于该电子设备1100与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearField Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件1105可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，电子设备1100可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的超参数阈值范围确定方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的超参数阈值范围确定方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1102，上述程序指令可由电子设备1100的处理器1101执行以完成上述的超参数阈值范围确定方法。

图12是根据一示例性实施例示出的一种电子设备1200的框图。例如，电子设备1200可以被提供为一服务器。参照图12，电子设备1200包括处理器1222，其数量可以为一个或多个，以及存储器1232，用于存储可由处理器1222执行的计算机程序。存储器1232中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器1222可以被配置为执行该计算机程序，以执行上述的超参数阈值范围确定方法。

另外，电子设备1200还可以包括电源组件1226和通信组件1250，该电源组件1226可以被配置为执行电子设备1200的电源管理，该通信组件1250可以被配置为实现电子设备1200的通信，例如，有线或无线通信。此外，该电子设备1200还可以包括输入/输出(I/O)接口1258。电子设备1200可以操作基于存储在存储器1232的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM等等。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的超参数阈值范围确定方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1232，上述程序指令可由电子设备1200的处理器1222执行以完成上述的超参数阈值范围确定方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种超参数阈值范围确定方法，其特征在于，包括：

在基于第一训练数据集对模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第一目标超参数值，以及获取每次训练后所得模型的评估指标值作为第一评估指标值；

根据所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围，包括：

获取多个第一目标超参数估计值，其中，所述第一目标超参数估计值大于获取到的所述第一目标超参数值中的最小值、且小于获取到的所述第一目标超参数值中的最大值；

根据所述第一目标超参数值和所述第一评估指标值，利用高斯过程回归模型分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的最大值，该最大值作为所述第一目标超参数估计值对应的第二评估指标值；

以每个所述第一目标超参数估计值为横坐标点、每个所述第一目标超参数估计值对应的所述第二评估指标值为纵坐标点，通过非线性拟合法确定相应拟合曲线的波峰；

将各波峰按照对应的纵坐标值从大到小进行排序，获取排名靠前的m个波峰，其中，m为大于或等于2的整数；

将所述排名靠前的m个波峰对应的横坐标值中的最小值、最大值分别确定为所述目标超参数的阈值范围的下限值、上限值。

3.根据权利要求2所述的方法，其特征在于，所述获取多个第一目标超参数估计值，包括：

将多个所述第一目标超参数值按照数值大小进行排序；

将排序后的、每相邻的两个第一目标超参数值的平均值确定为所述第一目标超参数估计值。

4.根据权利要求2所述的方法，其特征在于，所述根据所述第一目标超参数值和所述第一评估指标值，利用高斯过程回归模型分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的最大值，包括：

根据所述第一目标超参数值和所述第一评估指标值，利用高斯过程回归模型分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的高斯分布的均值和方差；

分别根据在每个所述第一目标超参数估计值下的所述均值和所述方差，通过以下公式，确定在每个所述第一目标超参数估计值下所述模型的评估指标的最大值：

z_{1_h}＝μ_{1_h}+C·δ_{1_h}

其中，z_{1_h}为在第h个第一目标超参数估计值下所述模型的评估指标的最大值；μ_{1_h}为在第h个第一目标超参数估计值下所述模型的评估指标的高斯分布的均值；δ_{1_h}为在第h个第一目标超参数估计值下所述模型的评估指标的高斯分布的方差；C为预设的置信度。

5.根据权利要求2-4中任一项所述的方法，其特征在于，在所述以每个所述第一目标超参数估计值为横坐标点、每个所述第一目标超参数估计值对应的所述第二评估指标值为纵坐标点，通过非线性拟合法确定相应拟合曲线的波峰的步骤之前，所述方法还包括：

在基于第二训练数据集对所述模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第二目标超参数值，以及获取每次训练后所得模型的评估指标值作为第三评估指标值；

获取多个第二目标超参数估计值，其中，所述第二目标超参数估计值大于获取到的所述第二目标超参数值中的最小值、且小于获取到的所述第二目标超参数值中的最大值，获取到的所述第二目标超参数估计值的数量与获取到的所述第一目标超参数估计值的数量相同；

根据所述第二目标超参数值和所述第三评估指标值，利用所述高斯过程回归模型分别预测在每个所述第二目标超参数估计值下所述模型的评估指标的最大值，该最大值作为所述第二目标超参数估计值对应的第四评估指标值；

根据多个所述第二评估指标值和多个所述第四评估指标值，确定所述第一训练数据集和所述第二训练数据集的相似度指标；

根据所述相似度指标，更新所述高斯过程回归模型的高斯核函数，得到新的高斯过程回归模型；

根据所述第一目标超参数值和所述第一评估指标值，利用所述新的高斯过程回归模型，再次分别预测在每个所述第一目标超参数估计值下所述模型的评估指标的最大值，该最大值作为所述第一目标超参数估计值对应的新的第二评估指标值。

6.根据权利要求5所述的方法，其特征在于，所述根据多个所述第二评估指标值和多个所述第四评估指标值，确定所述第一训练数据集和所述第二训练数据集的相似度指标，包括：

根据多个所述第二评估指标值和多个所述第四评估指标值，通过以下公式，确定所述第一训练数据集和所述第二训练数据集的相似度指标：

其中，SIM为所述相似度指标；z_{1_h}为第h个第一目标超参数估计值对应的第二评估指标值；z_{2_h}为第h个第二目标超参数估计值对应的第四评估指标值；T为所述获取到的所述第一目标超参数估计值的数量。

7.根据权利要求5所述的方法，其特征在于，所述根据所述相似度指标，更新所述高斯过程回归模型的高斯核函数，包括：

根据所述相似度指标，通过以下公式，更新所述高斯过程回归模型的高斯核函数：

其中，k_ij为所述高斯过程回归模型的高斯核函数；x_i为获取到的第i个第一目标超参数值或第一目标超参数估计值；x_j为获取到的第j个第一目标超参数值或第一目标超参数估计值；SIM为所述相似度指标。

8.一种超参数阈值范围确定装置，其特征在于，包括：

获取模块，用于在基于第一训练数据集对模型进行的多次训练过程中，获取每次训练过程所使用的目标超参数值作为第一目标超参数值，以及获取每次训练后所得模型的评估指标值作为第一评估指标值；

确定模块，用于根据所述获取模块获取到的所述第一目标超参数值和所述第一评估指标值，确定目标超参数的阈值范围。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。