CN109800884B - 模型参数的处理方法、装置、设备和计算机存储介质 - Google Patents

Abstract

本发明提供了一种模型参数的处理方法、装置、设备和计算机存储介质，其中方法包括：获取用户建立的学习模型以及训练数据；确定所述学习模型的目标函数，迭代计算出基准参数候选集合；以所述候选集合中的基准参数取值以及所述训练数据，对所述学习模型进行训练，确定模型对应的训练结果；将训练结果满足预设条件的模型对应的基准参数作为所述学习模型的参数。本发明能够实现诸如逻辑回归模型等学习模型的参数自动调整。

Description

模型参数的处理方法、装置、设备和计算机存储介质

【技术领域】

本发明涉及计算机应用技术领域，特别涉及一种模型参数的处理方法、装置、设备和计算机存储介质。

【背景技术】

在机器学习平台等应用场景下，用户在进行模型建立中，一般需要用户来进行模型参数的设定。例如，逻辑回归模型是一种常用的二分类模型，常常被用于诸如判别一笔交易是否存在欺诈行为，电子邮件是否为垃圾邮件，用户性别是男是女等。在逻辑回归模型的训练过程中，参数调整的好坏会严重影响到模型的预测效果；目前的参数调整主要由人工完成，例如在模型训练的界面提供各种参数的输入框以便人工填写，因此对于调参人员需要有很好的要求，例如对模型原理熟悉，知道各参数的意义，具有一定的经验，等等，这样才能够给出靠谱的参数初始值。

【发明内容】

有鉴于此，本发明提供了一种模型参数的处理方法、装置、设备和计算机存储介质，从而实现参数的自动调整。

具体技术方案如下：

本发明提供了一种机器学习平台中模型参数的处理方法，该方法包括：

获取用户建立的学习模型以及训练数据；

确定所述学习模型的目标函数，迭代计算出基准参数候选集合；

以所述候选集合中的基准参数取值以及所述训练数据，对所述学习模型进行训练，确定模型对应的训练结果；

将训练结果满足预设条件的模型对应的基准参数作为所述学习模型的参数。

根据本发明一具体实施方式，该方法还包括：

将所述学习模型的参数展示给用户，以便用户进行编辑处理。

根据本发明一具体实施方式，所述学习模型包括逻辑回归模型；

所述基准参数候选集合包括基准超参数。

根据本发明一具体实施方式，所述确定所述学习模型的目标函数，迭代计算出基准参数候选集合包括：

以所述学习模型的损失函数作为目标函数，迭代计算所述学习模型的参数的第一取值；

利用所述学习模型的参数的第一取值确定基准参数；

利用所述基准参数构造基准参数候选集合。

本发明提供了一种逻辑回归模型的参数调整方法，该方法包括：

以逻辑回归模型的损失函数作为目标函数，确定模型参数的第一取值；

将利用所述模型参数的第一取值确定出的超参数作为基准超参数；

利用基准超参数构造超参数候选集合；

分别针对所述超参数候选集合中的各超参数取值执行以下处理：以该超参数取值构造结构风险函数；以该结构风险函数作为目标函数，确定模型参数的第二取值；以模型参数的第二取值预测验证样本集；

从得到的各模型参数的第二取值中，选择对验证样本集的预测结果最优的模型参数的第二取值作为模型参数，确定对应的超参数取值。

根据本发明一优选实施方式，所述以逻辑回归模型的损失函数作为目标函数，确定模型参数的第一取值包括：

初始化模型参数的取值和迭代次数；

增加迭代次数的取值；

计算依据当前模型参数取值得到的损失函数倒数的取值，确定模型参数的增量；

利用模型参数的增量更新模型参数的取值；

判断是否满足迭代终止条件，如果是，则迭代结束，确定当前模型参数的取值作为模型参数的第一取值；否则，转至执行所述增加迭代次数的取值。

根据本发明一优选实施方式，利用所述模型参数的第一取值确定超参数的方式包括：

利用模型参数的第一取值确定各训练样本的损失函数和正则项；

利用确定出的损失函数的均值以及所述正则项，确定超参数。

根据本发明一优选实施方式，所述超参数候选集合中包含0.1至10倍基准超参数取值范围内的N个超参数取值。

根据本发明一优选实施方式，所述超参数候选集合包含：基准超参数N等分的各取值。

根据本发明一优选实施方式，以该超参数取值构造结构风险函数包括：

将正则函数与超参数的积与损失函数之和作为结构风险函数。

根据本发明一优选实施方式，所述以该结构风险函数作为目标函数，确定模型参数的第二取值包括：

初始化模型参数的取值和迭代次数；

增加迭代次数的取值；

计算依据当前模型参数取值得到的结构风险函数倒数的取值，确定模型参数的增量；

利用模型参数的增量更新模型参数的取值；

判断是否满足迭代终止条件，如果是，则迭代结束，确定当前模型参数的取值作为模型参数的第二取值；否则，转至执行所述增加迭代次数的取值。

根据本发明一优选实施方式，所述迭代终止条件包括以下至少一种：

迭代次数大于或等于预设的最大迭代次数；

相邻两次迭代确定出的目标函数变化量小于或等于预设的第一阈值；

相邻两次迭代确定出的目标函数变化率小于或等于预设的第二阈值；

相邻两次迭代确定出的模型参数的变化率小于或等于预设的第三阈值。

根据本发明一优选实施方式，所述对验证样本集的预测结果由接收者操作特征ROC或接收者操作特征曲线下面积AUC体现。

本发明还提供了一种机器学习平台中模型参数的处理装置，该装置包括：

数据获取单元，用于获取用户建立的学习模型以及训练数据；

候选集合确定单元，用于确定所述学习模型的目标函数，迭代计算出基准参数候选集合；

模型训练单元，用于以所述候选集合中的基准参数取值以及所述训练数据，对所述学习模型进行训练，确定模型对应的训练结果；

参数确定单元，将训练结果满足预设条件的模型对应的基准参数作为所述学习模型的参数。

根据本发明一具体实施方式，该装置还包括：

参数展示单元，用于将所述学习模型的参数展示给用户，以便用户进行编辑处理。

根据本发明一具体实施方式，所述学习模型包括逻辑回归模型；

所述基准参数候选集合包括基准超参数。

根据本发明一具体实施方式，所述候选集合确定单元，具体执行：

以所述学习模型的损失函数作为目标函数，迭代计算所述学习模型的参数的第一取值；

利用所述学习模型的参数的第一取值确定基准参数；

利用所述基准参数构造基准参数候选集合。

本发明还提供了一种逻辑回归模型的参数调整装置，该装置包括：

参数预确定单元，用于以逻辑回归模型的损失函数作为目标函数，确定模型参数的第一取值；

基准超参数确定单元，用于利用所述模型参数的第一取值确定超参数，将确定出的超参数作为基准超参数；

候选集合构造单元，用于利用所述基准超参数构造超参数候选集合；

超参数处理单元，用于分别针对所述超参数候选集合中的各超参数取值执行以下处理：以该超参数取值构造结构风险函数；以该结构风险函数作为目标函数，确定模型参数的第二取值；以模型参数的第二取值预测验证样本集；

参数确定单元，用于从所述超参数处理单元得到的各模型参数的第二取值中，选择对验证样本集的预测结果最优的模型参数的第二取值作为模型参数，确定对应的超参数取值。

根据本发明一优选实施方式，所述参数预确定单元，具体执行：

初始化模型参数的取值和迭代次数；

增加迭代次数的取值；

计算依据当前模型参数取值得到的损失函数倒数的取值，确定模型参数的增量；

利用模型参数的增量更新模型参数的取值；

判断是否满足迭代终止条件，如果是，则迭代结束，确定当前模型参数的取值作为模型参数的第一取值；否则，转至执行所述增加迭代次数的取值。

根据本发明一优选实施方式，所述基准超参数确定单元在利用所述模型参数的第一取值确定超参数的方式时，具体执行：

利用模型参数的第一取值确定各训练样本的损失函数和正则项；

利用确定出的损失函数的均值以及所述正则项，确定超参数。

根据本发明一优选实施方式，所述超参数候选集合中包含0.1至10倍基准超参数取值范围内的N个超参数取值。

根据本发明一优选实施方式，所述超参数候选集合包含：基准超参数N等分的各取值。

根据本发明一优选实施方式，所述超参数确定单元在以该超参数取值构造结构风险函数时，具体采用以下方式：

将正则函数与超参数的积与损失函数之和作为结构风险函数。

根据本发明一优选实施方式，所述超参数确定单元在以该结构风险函数作为目标函数，确定模型参数的第二取值时，具体执行：

初始化模型参数的取值和迭代次数；

增加迭代次数的取值；

计算依据当前模型参数取值得到的结构风险函数倒数的取值，确定模型参数的增量；

利用模型参数的增量更新模型参数的取值；

判断是否满足迭代终止条件，如果是，则迭代结束，确定当前模型参数的取值作为模型参数的第二取值；否则，转至执行所述增加迭代次数的取值。

根据本发明一优选实施方式，所述迭代终止条件包括：

迭代次数大于或等于预设的最大迭代次数；

相邻两次迭代确定出的目标函数变化量小于或等于预设的第一阈值；

相邻两次迭代确定出的目标函数变化率小于或等于预设的第二阈值；

相邻两次迭代确定出的模型参数的变化率小于或等于预设的第三阈值。

根据本发明一优选实施方式，所述对验证样本集的预测结果由接收者操作特征ROC或接收者操作特征曲线下面积AUC体现。

本发明还提供了一种设备，包括

存储器，包括一个或者多个程序；

一个或者多个处理器，耦合到所述存储器，执行所述一个或者多个程序，以实现上述方法中执行的操作。

本发明还提供了一种计算机存储介质，所述计算机存储介质被编码有计算机程序，所述程序在被一个或多个计算机执行时，使得所述一个或多个计算机执行上述方法中执行的操作。

由以上技术方案可以看出，本申请技术方案，可以根据用户建立的模型，确定出模型最优的参数，可以不需要用户进行设定，从而提高模型训练的效率以及准确性。

【附图说明】

图1为本发明实施例提供的机器学习平台中模型参数的处理方法流程图；

图2为本发明实施例提供的逻辑回归模型的参数调整方法流程图；

图3为本发明实施例提供的已知目标参数时迭代确定模型参数的流程图；

图4为本发明实施例提供的机器学习平台中模型参数的处理装置；

图5为本发明实施例提供的参数调整装置结构图；

图6为本发明实施例提供的设备结构图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

本申请技术方案，对于机器学习平台等需要进行模型训练的场景，可以为进行模型训练的用户进行模型参数的优化调整，可以直接为用户推荐或调整出最优的模型参数，当然，也可以为用户进行模型训练时提供的最优参数的参考，用户仍可以对参数进行调整。当然本申请技术方案并不局限于一定是机器学习平台中模型的训练，也可以是各种学习模型训练中进行模型参数优化或调整的实现。

图1为本发明实施例提供的机器学习平台中模型参数的处理方法流程图，如图1中所示，该方法可以包括以下步骤：

在101中，获取用户建立的学习模型以及训练数据。

在本步骤中，用户可以指定学习模型的类型以及所使用的训练数据。其中训练数据可以包括训练样本和验证样本集。各样本的作用和利用方式将在后续实施例中详述。

在102中，确定学习模型的目标函数，迭代计算出基准参数候选集合。

在本步骤中，可以以学习模型的损失函数作为目标函数，迭代计算学习模型的参数的取值；然后利用确定出的学习模型的参数的取值，确定基准参数；再利用基准参数构造基准参数集合。

在103中，以候选集合中的基准参数取值以及训练数据，对学习模型进行训练，确定模型对应的训练结果。

在104中，将训练结果满足预设条件的模型对应的基准参数作为学习模型的参数。

本步骤中训练结果对预设条件的满足可以体现于目标函数的变化，例如目标函数变化量小于或等于预设的第一阈值，或者目标函数变化率小于或等于预设的第二阈值。也可以体现为模型参数的变化，例如模型参数的变化率小于或等于预设的第三阈值，等等。

在105中，将学习模型的参数展示给用户。

上述过程中，只需要用户指定学习模型和训练数据，整个参数处理过程无需用户参与，即可自动实现模型参数的确定，并展示给用户。用户可以在模型参数的展示界面上对学习模型的参数进行进一步的编辑处理。

上述方法中涉及的学习模型可以是各种类型的学习模型，在本发明后续实施例中，以逻辑回归模型为例，对参数的自动调整过程进行详述。

为了方便对本发明实施例的理解，首先对逻辑回归模型的相关基本概念进行介绍。

逻辑回归模型是一种二分类模型，假设训练样本集有m个特征，那么每个训练样本的特征X均可以表示为{X₁,X₂,...,X_m}，分类结果变量Y可以表示为{0,1}，逻辑回归模型的参数w为{w₀,w₁,w₂,...,w_m}。

假设线性函数η(w,x)＝w₀+w₁x₁+...+w_mx_m，那么对于逻辑回归模型而言，分类结果为1的概率为：

损失函数L(w)为：

其中，(i)表示第i个训练样本，X⁽ⁱ⁾为第i个训练样本的X，Y⁽ⁱ⁾为第i个训练样本的Y，n为训练样本的个数。损失函数是用来评价模型的预测值

与真实值Y的不一致程度，是一个非负值函数。损失函数越小，模型性能越好。

一般来说，对于逻辑回归模型进行评估时，需要使得模型在训练数据上的损失函数值最小，但如果只考虑损失函数，容易过拟合，因此还需要考虑模型的泛化能力，一般常用的方法就是在目标函数中加上正则项，即由损失函数加上正则项构成结构风险函数J(w)，即：

J(w)＝L(w)+λΩ(w) (3)

其中λ为超参数，Ω(w)为正则函数，常用的正则方法包括L1正则和L2正则。

若采用L1正则，则：

Ω(w)＝||w||₁＝|w₀|+|w₁|+...+|w_m| (4)

若采用L2正则，则：

超参数λ用于平衡损失函数L(w)和正则项Ω(w)对于目标函数的影响。其中λ≥0，λ值越大，正则项Ω(w)的重要程度越高，反之正则项Ω(w)的重要程度越低。当λ为0时，可以忽略正则项Ω(w)对目标函数的影响。

下面结合实施例对本发明提供的方法进行描述。图2为本发明实施例提供的逻辑回归模型的参数调整方法流程图，如图2所示，该方法可以包括以下步骤：

在201中，以逻辑回归模型的损失函数作为目标函数，确定模型参数的第一取值。

一旦确定出的目标函数，模型参数的取值可以通过迭代的方式得到，在本发明实施例中，将以逻辑回归模型的损失函数作为目标函数，迭代得到的参数模型取值称为第一取值。模型参数的迭代方式将在图3所示实施例中详述。

在202中，将利用模型参数的第一取值确定出的超参数作为基准超参数。

前面已经提及，超参数用于平衡损失函数和正则项对于目标函数的影响，为了有效调整损失函数和正则项对于目标函数的影响，需要尽量保证损失函数和正则项在同一数量级。

作为一种优选的方式，可以利用模型参数的第一取值确定各训练样本的损失参数和正则项，利用确定出的损失参数的均值以及正则项，确定超参数。假设201中确定出的模型参数的第一取值为

则基准超参数/>

可以为：

当然，除了公式(6)所示方式之外，也可以采用其他方式确定基准超参数

例如利用模型参数的第一取值/>

以及其中一个训练样本的采样计算得到损失参数，利用模型参数的第一取值/>

计算正则项，然后利用损失参数与正则项的比值得到基准超参数/>

在203中，利用基准超参数构造超参数候选集合。

计算出基准超参数后，该基准超参数可能并非最优的超参数，超参数的取值可能在该基准超参数附近波动，因此，可以在该基准超参数附近采样出多个基准超参数取值，从中选出最优的基准超参数。在本步骤中，利用采样出的超参数取值构成超参数候选集合。在进行采样时，可以在0.1至10倍基准超参数取值范围内。作为一种优选的实施方式，可以取

其中N为预设的正整数，例如N取10。

在204中，分别针对超参数候选集合中的各超参数取值执行步骤2041～2043：

在2041中，以该超参数取值构造结构风险函数。

在构造风险函数时，将各超参数取值，依据公式(3)中所示方式构造结构风险函数。

在2042中，以该结构风险函数作为目标函数，确定模型参数的第二取值。

本步骤中，以结构风险函数作为目标函数，同样可以采用如图3中所示实施例的方式迭代出模型参数，为了与步骤201中迭代出的模型参数取值相区别，将本步骤迭代出的模型参数取值称为模型参数的第二取值。

在2043中，以模型参数的第二取值预测验证样本集。

可以预先选取一些已知分类结果的样本作为预测验证样本，采用模型参数的第二取值作为逻辑回归模型的模型参数，然后利用该逻辑回归模型预测验证样本集中的各验证样本，获得针对各验证样本的预测结果。对于各预测结果而言，为了体现模型参数的第二取值对验证样本的预测准确程度，可以采用诸如ROC(receiver operating characteristiccurve，受试者操作特征)或AUC(Area Under ROC Curve，受试者操作特征曲线下面积)来体现。当然还可以采用其他能够体现预测准确程度的参数来体现。

在205中，从得到的N组模型参数的第二取值中，选择对验证样本集的预测结果最优的模型参数的第二取值作为模型参数，确定对应的超参数取值作为模型的超参数。

举个例子，假设在步骤203中，构造的超参数候选集合为{λ₁，λ₂，...，λ₉，λ₁₀}。其中，

然后在步骤204中，分别针对超参数候选集合中各取值分别执行操作：以λ₁为例，首先构造结构风险函数J(w)＝L(w)+λ₁Ω(w)，然后以J(w)＝L(w)+λ₁Ω(w)为目标函数迭代出模型参数的第二取值，记为w₁，以w₁为模型参数预测验证样本集，获得预测结果后，计算出对应的ROC，将该λ₁对应的ROC标记为ROC₁。

采用相同的方式，可以分别得到λ₂对应的w₂和ROC₂，λ₃对应的w₃和ROC₃，…，λ₁₀对应的w₁₀和ROC₁₀。然后从ROC₁，ROC₂，…，ROC₁₀中选择出值最大的项，假设为ROC_k，那么其对应的λ_k就作为逻辑回归模型的超参数取值，其对应的模型参数w_k作为逻辑回归模型的模型参数。

下面结合图3对已知目标参数，通过迭代方式确定模型参数的流程进行描述。如图3所示，该流程主要包括以下步骤：

在301中，初始化模型参数的取值和迭代次数。

在初始化模型参数的取值时，可以将模型参数初始化为0，或者，初始化为(0,1)区间内的随机值均可。迭代次数t初始化为0。

在302中，增加迭代次数的取值。

例如可以将迭代次数进行加1处理，即更新t为t+1的值。

在303中，利用依据当前模型参数取值得到的目标函数倒数的取值，计算模型参数的增量。

模型参数的增量Δw_t为：

其中，

为w_t-1时目标函数F(w_t-1)的倒数。α为步长，可以取预设值或经验值。也可以在迭代过程中采用诸如L-BFGS算法不断进行优化。

在304中，利用模型参数的增量更新模型参数的取值。

利用当前模型参数的取值叠加增量后的值，更新模型参数的取值，即w_t＝w_t-1+Δw_t。

在305中，判断是否满足迭代终止条件，如果是，则执行306；否则，转至执行302。

其中迭代终止条件可以是迭代次数大于或等于预设的最大迭代次数，例如200次。也可以是目标函数变化量小于或等于预设的第一阈值，或者相邻两次迭代确定出的目标函数变化率小于或等于预设的第二阈值，以结构风险函数作为目标函数为例，该第二阈值可以取10^-6。也可以是相邻两次迭代确定出的模型参数的变化率小于或等于预设的第三阈值，例如第三阈值可以取10^-6。

需要说明的是，上述几个迭代终止条件可以择一使用，或者也可以是其中两个或更多条件的结合，例如迭代终止条件为相邻两次迭代确定出的目标函数变化率小于或等于预设的第二阈值且相邻两次迭代确定出的模型参数的变化率小于或等于预设的第三阈值。另外，对于不同的二分类实际问题，目标函数值的数量级也不同，数量级变化很大，可以根据实际情况和经验确定适当的阈值。

在306中，确定当前模型参数的取值，迭代结束。

在图2所示实施例的步骤201中，以逻辑回归模型的损失函数作为目标函数，执行图3所示流程，此时公式(7)中涉及的目标函数为损失函数，在306确定出的模型参数的取值作为模型参数的第一取值。在图2所示实施例的步骤2042中，以结构风险函数作为目标函数，执行图3所示流程，此时公式(7)中涉及的目标函数为结构风险函数，在306确定出的模型参数的取值作为模型参数的第二取值。

由上述实施例中的描述可以看出，本发明首先利用逻辑回归模型的损失函数作为目标函数，得到模型参数并以此得到基准超参数。再以基准超参数为依据构造出一系列超参数可能的波动取值构成超参数候选集合，针对各取值构造结构风险函数作为目标函数后，确定模型参数的取值并对验证样本集进行验证，依据验证结果取最优的模型参数取值以及对应的超参数取值。这种方式实现了逻辑回归模型的参数自动调整。

需要说明的是，上述方法的执行主体可以为参数调整装置，该装置可以位于本地终端的应用，或者还可以为位于本地终端的应用中的插件或软件开发工具包(SoftwareDevelopment Kit，SDK)等功能单元，或者，还可以位于服务器端，本发明实施例对此不进行特别限定。下面对本发明实施例提供的参数调整装置进行详述。

图4为本发明实施例提供的机器学习平台中模型参数的处理装置，如图4所示，该装置可以包括：数据获取单元11、候选集合确定单元12、模型训练单元13和参数确定单元14，还可以进一步包括参数展示单元15。其中各组成单元的主要功能如下：

数据获取单元11负责获取用户建立的学习模型以及训练数据。

用户可以指定学习模型的类型以及所使用的训练数据。其中训练数据可以包括训练样本和验证样本集。各样本的作用和利用方式将在后续实施例中详述。

候选集合确定单元12负责确定学习模型的目标函数，迭代计算出基准参数候选集合。

其中，候选集合确定单元12可以具体执行：

以学习模型的损失函数作为目标函数，迭代计算学习模型的参数的取值；

利用学习模型的参数的取值确定基准参数；

利用基准参数构造基准参数候选集合。

模型训练单元13负责以候选集合中的基准参数取值以及训练数据，对学习模型进行训练，确定模型对应的训练结果。

参数确定单元14负责将训练结果满足预设条件的模型对应的基准参数作为学习模型的参数。

其中，训练结果对预设条件的满足可以体现于目标函数的变化，例如目标函数变化量小于或等于预设的第一阈值，或者目标函数变化率小于或等于预设的第二阈值。也可以体现为模型参数的变化，例如模型参数的变化率小于或等于预设的第三阈值，等等。

参数展示单元15负责将学习模型的参数展示给用户，以便用户进行编辑处理。

图5为本发明实施例提供的参数调整装置结构图，如图5所示，该装置可以包括：参数预确定单元01、基准超参数确定单元02、候选集合构造单元03、超参数处理单元04以及参数确定单元05。其中各组成单元的主要功能如下：

参数预确定单元01负责以逻辑回归模型的损失函数作为目标函数，确定模型参数的第一取值。

具体地，参数预确定单元01可以执行：

初始化模型参数的取值和迭代次数；

增加迭代次数的取值；

计算依据当前模型参数取值得到的损失函数倒数的取值，确定模型参数的增量；

利用模型参数的增量更新模型参数的取值；

判断是否满足迭代终止条件，如果是，则迭代结束，确定当前模型参数的取值作为模型参数的第一取值；否则，转至执行所述增加迭代次数的取值。

其中，迭代终止条件可以包括以下至少一种：

迭代次数大于或等于预设的最大迭代次数；

相邻两次迭代确定出的目标函数变化量小于或等于预设的第一阈值；

相邻两次迭代确定出的目标函数变化率小于或等于预设的第二阈值；

相邻两次迭代确定出的模型参数的变化率小于或等于预设的第三阈值。

基准超参数确定单元02负责利用模型参数的第一取值确定超参数，将确定出的超参数作为基准超参数。

作为一种优选的实施方式，基准超参数确定单元02可以利用模型参数的第一取值确定各训练样本的损失函数和正则项；利用确定出的损失函数的均值以及正则项，确定超参数。例如采用方法实施例中公式(6)所示的方式。

候选集合构造单元03负责利用基准超参数构造超参数候选集合。

计算出基准超参数后，该基准超参数可能并非最优的超参数，超参数的取值可能在该基准超参数附近波动，因此，可以在该基准超参数附近采样出多个超参数取值，从中选出最优的超参数。候选集合构造单元03可以将采样出的超参数取值构成超参数候选集合。在进行采样时，可以在0.1至10倍基准超参数取值范围内。作为一种优选的实施方式，可以取

其中N为预设的正整数，例如N取10。

超参数处理单元04负责分别针对超参数候选集合中的各超参数取值执行以下处理：以该超参数取值构造结构风险函数；以该结构风险函数作为目标函数，确定模型参数的第二取值；以模型参数的第二取值预测验证样本集。

其中在构造风险函数时，将超参数取值，依据公式(3)中所示方式构造结构风险函数。

超参数处理单元04在以该结构风险函数作为目标函数，确定模型参数的第二取值时，可以具体执行：

初始化模型参数的取值和迭代次数；

增加迭代次数的取值；

计算依据当前模型参数取值得到的结构风险函数倒数的取值，确定模型参数的增量；

利用模型参数的增量更新模型参数的取值；

判断是否满足迭代终止条件，如果是，则迭代结束，确定当前模型参数的取值作为模型参数的第二取值；否则，转至执行所述增加迭代次数的取值。

在预测验证样本集时，可以预先选取一些已知分类结果的样本作为预测验证样本，采用模型参数的第二取值作为逻辑回归模型的模型参数，然后利用该逻辑回归模型预测验证样本集中的各验证样本，获得针对各验证样本的预测结果。对于各预测结果而言，为了体现模型参数的第二取值对验证样本的预测准确程度，可以采用诸如ROC或AUC来体现。当然还可以采用其他能够体现预测准确程度的参数来体现。

参数确定单元05负责从超参数处理单元得到的模型参数的第二取值中，选择对验证样本集的预测结果最优的模型参数的第二取值作为模型参数，确定对应的超参数取值作为模型的超参数。

本发明实施例提供的上述方法和装置可以以设置并运行于设备中的计算机程序体现。该设备可以包括一个或多个处理器，还包括存储器和一个或多个程序，如图6中所示。其中该一个或多个程序存储于存储器中，被上述一个或多个处理器执行以实现本发明上述实施例中所示的方法流程和/或装置操作。例如，被上述一个或多个处理器执行的方法流程，可以包括：

以逻辑回归模型的损失函数作为目标函数，确定模型参数的第一取值；

将利用模型参数的第一取值确定出的超参数作为基准超参数；

利用基准超参数构造超参数候选集合；

分别针对超参数候选集合中的各超参数取值执行以下处理：以该超参数取值构造结构风险函数；以该结构风险函数作为目标函数，确定模型参数的第二取值；以模型参数的第二取值预测验证样本集；

从得到的N组模型参数的第二取值中，选择对验证样本集的预测结果最优的模型参数的第二取值作为模型参数，确定对应的超参数取值作为模型的超参数。

上述的计算机程序可以设置于计算机存储介质中，即该计算机存储介质被编码有计算机程序，该程序在被一个或多个计算机执行时，使得一个或多个计算机执行本发明上述实施例中所示的方法流程和/或装置操作。

上述的计算机存储介质可以采用一个或多个计算机可读的介质的任意组合，包括但不限于：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

由以上描述可以看出，本发明实施例提供的方法、装置、设备和计算机存储介质可以具备以下优点：

1)针对诸如逻辑回归等学习模型，实现了参数的自动调整。相比较现有技术中需要人工调整模型参数的方式，更加节约人力资源，且降低对模型使用者的要求。

2)目前现有技术中，存在一种自动调参的方式是Grid Search(网格式搜索)，但这种方式需要预先定义出模型参数的可选取值组合，而对于逻辑回归模型这种取值范围变化很大的参数则很难适用。本发明提供的这种自动调参方式，首先利用逻辑回归模型的损失函数作为目标函数，得到模型参数并以此得到基准超参数。再以基准超参数为依据构造出一系列超参数可能的波动取值构成超参数候选集合，针对各取值构造结构风险函数作为目标函数后，确定模型参数的取值并对验证样本集进行验证，依据验证结果取最优的模型参数取值以及对应的超参数取值。完全实现了参数的自动调整，无需预先定义出模型参数的可选取值组合，更加方便且更加适用于逻辑回归模型的参数调整。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (18)

1.一种机器学习平台中模型参数的处理方法，其特征在于，该方法包括：

获取用户建立的学习模型以及训练数据；所述学习模型包括用于判别一笔交易是否存在欺诈行为的逻辑回归模型时，所述训练数据包括交易数据；所述学习模型包括用于判别电子邮件是否为垃圾邮件的逻辑回归模型时，所述训练数据包括电子邮件；或者，所述学习模型包括用于判别用户性别是男是女的逻辑回归模型时，所述训练数据包括用户性别；

确定所述学习模型的目标函数，迭代计算出基准参数候选集合；

以所述候选集合中的基准参数取值以及所述训练数据，对所述学习模型进行训练，确定模型对应的训练结果；

将训练结果满足预设条件的模型对应的基准参数作为所述学习模型的参数；

在模型参数的展示界面上，将所述学习模型的参数展示给用户，以便用户进行编辑处理。

2.根据权利要求1所述的方法，其特征在于，所述学习模型包括逻辑回归模型；

所述基准参数候选集合包括基准超参数。

3.根据权利要求1所述的方法，其特征在于，所述确定所述学习模型的目标函数，迭代计算出基准参数候选集合包括：

以所述学习模型的损失函数作为目标函数，迭代计算所述学习模型的参数的取值；

利用所述学习模型的参数的取值确定基准参数；

利用所述基准参数构造基准参数候选集合。

4.一种逻辑回归模型的参数调整方法，其特征在于，该方法包括：

以逻辑回归模型在训练数据上的损失函数作为目标函数，确定模型参数的第一取值；

将利用所述模型参数的第一取值确定出的超参数作为基准超参数；

利用基准超参数构造超参数候选集合；

分别针对所述超参数候选集合中的各超参数取值执行以下处理：以该超参数取值构造结构风险函数；以该结构风险函数作为目标函数，确定模型参数的第二取值；以模型参数的第二取值预测验证样本集；

从得到的各模型参数的第二取值中，选择对验证样本集的预测结果最优的模型参数的第二取值作为模型参数，确定对应的超参数取值；

在模型参数的展示界面上，将所述模型参数展示给用户，以便用户进行编辑处理；

其中，所述逻辑回归模型包括用于判别一笔交易是否存在欺诈行为的逻辑回归模型时，所述训练数据包括交易数据；所述逻辑回归模型包括用于判别电子邮件是否为垃圾邮件的逻辑回归模型时，所述训练数据包括电子邮件；或者，学习模型包括用于判别用户性别是男是女的逻辑回归模型时，所述训练数据包括用户性别。

5.根据权利要求4所述的方法，其特征在于，所述以逻辑回归模型在训练数据上的损失函数作为目标函数，确定模型参数的第一取值包括：

初始化模型参数的取值和迭代次数；

增加迭代次数的取值；

计算依据当前模型参数取值得到的损失函数倒数的取值，确定模型参数的增量；

利用模型参数的增量更新模型参数的取值；

判断是否满足迭代终止条件，如果是，则迭代结束，确定当前模型参数的取值作为模型参数的第一取值；否则，转至执行所述增加迭代次数的取值。

6.根据权利要求4所述的方法，其特征在于，所述训练数据包括训练样本集，所述训练样本集包括多个训练样本；利用所述模型参数的第一取值确定超参数的方式包括：

利用模型参数的第一取值确定各训练样本的损失函数和正则项；

利用确定出的损失函数的均值以及所述正则项，确定超参数。

7.根据权利要求4所述的方法，其特征在于，所述超参数候选集合中包含0.1至10倍基准超参数取值范围内的N个超参数取值。

8.根据权利要求7所述的方法，其特征在于，所述超参数候选集合包含：基准超参数N等分的各取值。

9.根据权利要求4所述的方法，其特征在于，以该超参数取值构造结构风险函数包括：

将正则函数与超参数的积与损失函数之和作为结构风险函数。

10.根据权利要求4所述的方法，其特征在于，所述以该结构风险函数作为目标函数，确定模型参数的第二取值包括：

初始化模型参数的取值和迭代次数；

增加迭代次数的取值；

计算依据当前模型参数取值得到的结构风险函数倒数的取值，确定模型参数的增量；

利用模型参数的增量更新模型参数的取值；

判断是否满足迭代终止条件，如果是，则迭代结束，确定当前模型参数的取值作为模型参数的第二取值；否则，转至执行所述增加迭代次数的取值。

11.根据权利要求5或10所述的方法，其特征在于，所述迭代终止条件包括以下至少一种：

迭代次数大于或等于预设的最大迭代次数；

相邻两次迭代确定出的目标函数变化量小于或等于预设的第一阈值；

相邻两次迭代确定出的目标函数变化率小于或等于预设的第二阈值；

相邻两次迭代确定出的模型参数的变化率小于或等于预设的第三阈值。

12.根据权利要求4所述的方法，其特征在于，所述对验证样本集的预测结果由接收者操作特征ROC或接收者操作特征曲线下面积AUC体现。

13.一种机器学习平台中模型参数的处理装置，其特征在于，该装置包括：

数据获取单元，用于获取用户建立的学习模型以及训练数据；所述学习模型包括用于判别一笔交易是否存在欺诈行为的逻辑回归模型时，所述训练数据包括交易数据；所述学习模型包括用于判别电子邮件是否为垃圾邮件的逻辑回归模型时，所述训练数据包括电子邮件；或者，所述学习模型包括用于判别用户性别是男是女的逻辑回归模型时，所述训练数据包括用户性别；

候选集合确定单元，用于确定所述学习模型的目标函数，迭代计算出基准参数候选集合；

模型训练单元，用于以所述候选集合中的基准参数取值以及所述训练数据，对所述学习模型进行训练，确定模型对应的训练结果；

参数确定单元，用于将训练结果满足预设条件的模型对应的基准参数作为所述学习模型的参数；

参数展示单元，用于在模型参数的展示界面上，将所述学习模型的参数展示给用户，以便用户进行编辑处理。

14.一种逻辑回归模型的参数调整装置，其特征在于，该装置包括：

参数预确定单元，用于以逻辑回归模型在训练数据上的损失函数作为目标函数，确定模型参数的第一取值；

基准超参数确定单元，用于利用所述模型参数的第一取值确定超参数，将确定出的超参数作为基准超参数；

候选集合构造单元，用于利用所述基准超参数构造超参数候选集合；

超参数处理单元，用于分别针对所述超参数候选集合中的各超参数取值执行以下处理：以该超参数取值构造结构风险函数；以该结构风险函数作为目标函数，确定模型参数的第二取值；以模型参数的第二取值预测验证样本集；

参数确定单元，用于从所述超参数处理单元得到的各模型参数的第二取值中，选择对验证样本集的预测结果最优的模型参数的第二取值作为模型参数，确定对应的超参数取值；

参数展示单元，用于在模型参数的展示界面上，将所述模型参数展示给用户，以便用户进行编辑处理；

其中，所述逻辑回归模型包括用于判别一笔交易是否存在欺诈行为的逻辑回归模型时，所述训练数据包括交易数据；学习模型包括用于判别电子邮件是否为垃圾邮件的逻辑回归模型时，所述训练数据包括电子邮件；或者，学习模型包括用于判别用户性别是男是女的逻辑回归模型时，所述训练数据包括用户性别。

15.一种设备，包括

存储器，包括一个或者多个程序；

一个或者多个处理器，耦合到所述存储器，执行所述一个或者多个程序，以实现如下操作：

获取用户建立的学习模型以及训练数据；所述学习模型包括用于判别一笔交易是否存在欺诈行为的逻辑回归模型时，所述训练数据包括交易数据；所述学习模型包括用于判别电子邮件是否为垃圾邮件的逻辑回归模型时，所述训练数据包括电子邮件；或者，所述学习模型包括用于判别用户性别是男是女的逻辑回归模型时，所述训练数据包括用户性别；

确定所述学习模型的目标函数，迭代计算出基准参数候选集合；

以所述候选集合中的基准参数取值以及所述训练数据，对所述学习模型进行训练，确定模型对应的训练结果；

将训练结果满足预设条件的模型对应的基准参数作为所述学习模型的参数；

在模型参数的展示界面上，将所述学习模型的参数展示给用户，以便用户进行编辑处理。

16.一种设备，包括

存储器，包括一个或者多个程序；

一个或者多个处理器，耦合到所述存储器，执行所述一个或者多个程序，以实现如下操作：

以逻辑回归模型在训练数据上的损失函数作为目标函数，确定模型参数的第一取值；

将利用所述模型参数的第一取值确定出的超参数作为基准超参数；

利用基准超参数构造超参数候选集合；

分别针对所述超参数候选集合中的各超参数取值执行以下处理：以该超参数取值构造结构风险函数；以该结构风险函数作为目标函数，确定模型参数的第二取值；以模型参数的第二取值预测验证样本集；

从得到的各模型参数的第二取值中，选择对验证样本集的预测结果最优的模型参数的第二取值作为模型参数，确定对应的超参数取值；

在模型参数的展示界面上，将所述模型参数展示给用户，以便用户进行编辑处理；

其中，所述逻辑回归模型包括用于判别一笔交易是否存在欺诈行为的逻辑回归模型时，所述训练数据包括交易数据；所述逻辑回归模型包括用于判别电子邮件是否为垃圾邮件的逻辑回归模型时，所述训练数据包括电子邮件；或者，学习模型包括用于判别用户性别是男是女的逻辑回归模型时，所述训练数据包括用户性别。

17.一种计算机存储介质，所述计算机存储介质被编码有计算机程序，所述程序在被一个或多个计算机执行时，使得所述一个或多个计算机执行如下操作：

获取用户建立的学习模型以及训练数据；所述学习模型包括用于判别一笔交易是否存在欺诈行为的逻辑回归模型时，所述训练数据包括交易数据；所述学习模型包括用于判别电子邮件是否为垃圾邮件的逻辑回归模型时，所述训练数据包括电子邮件；或者，所述学习模型包括用于判别用户性别是男是女的逻辑回归模型时，所述训练数据包括用户性别；

确定所述学习模型的目标函数，迭代计算出基准参数候选集合；

以所述候选集合中的基准参数取值以及所述训练数据，对所述学习模型进行训练，确定模型对应的训练结果；

将训练结果满足预设条件的模型对应的基准参数作为所述学习模型的参数；

在模型参数的展示界面上，将所述学习模型的参数展示给用户，以便用户进行编辑处理。

18.一种计算机存储介质，所述计算机存储介质被编码有计算机程序，所述程序在被一个或多个计算机执行时，使得所述一个或多个计算机执行如下操作：

以逻辑回归模型在训练数据上的损失函数作为目标函数，确定模型参数的第一取值；

将利用所述模型参数的第一取值确定出的超参数作为基准超参数；

利用基准超参数构造超参数候选集合；

分别针对所述超参数候选集合中的各超参数取值执行以下处理：以该超参数取值构造结构风险函数；以该结构风险函数作为目标函数，确定模型参数的第二取值；以模型参数的第二取值预测验证样本集；

从得到的各模型参数的第二取值中，选择对验证样本集的预测结果最优的模型参数的第二取值作为模型参数，确定对应的超参数取值；

在模型参数的展示界面上，将所述模型参数展示给用户，以便用户进行编辑处理；

其中，所述逻辑回归模型包括用于判别一笔交易是否存在欺诈行为的逻辑回归模型时，所述训练数据包括交易数据；所述逻辑回归模型包括用于判别电子邮件是否为垃圾邮件的逻辑回归模型时，所述训练数据包括电子邮件；或者，学习模型包括用于判别用户性别是男是女的逻辑回归模型时，所述训练数据包括用户性别。

Images