CN109447273A - 模型训练方法、广告推荐方法、相关装置、设备及介质 - Google Patents

Abstract

本申请公开了一种模型训练方法，包括：固定第一GBDT模型的第一参数，逐步增大第一GBDT模型的第二参数，在逐步增大第二参数的过程中，当第一GBDT模型输出的准确率的变化率小于第一阈值时，确定目标第二参数；固定目标第二参数，逐步增大第一参数，在逐步增大第一参数的过程中，当第一GBDT模型输出的准确率的变化率小于第二阈值时，确定目标第一参数；通过输入的原始数据，以目标第一参数和目标第二参数来训练第一GBDT模型，得到第二GBDT模型。本申请还公开了一种广告推荐方法、相关装置、设备及计算机可读存储介质，解决了模型的复杂度较高，参数过多，耗费大量时间和精力且推送结果的准确率不高的技术问题。

Description

模型训练方法、广告推荐方法、相关装置、设备及介质

技术领域

本申请涉及机器学习技术领域，尤其涉及一种模型训练方法、广告推荐方法、相关装置、设备及介质。

背景技术

随着网络技术的飞速发展，互联网广告称为互联网企业最重要的盈利手段之一，越来越多的企业和机构开始研究互联网广告平台，与此同时，很多企业也慢慢地开始从传统媒体广告投放转向互联网广告投放。然而互联网广告的投放得不到预期效果，而且网站点击率也逐渐随之下降。针对这种情况，互联网广告的精准投放给互联网广告市场带来了无限生机，精准广告投放即针对用户的个性化向其投放感兴趣的广告，同时真正满足用户对产品需求的信息。

目前互联网广告系统中，要做到精准投放主要有三种方式：常见的定向型，主要是针对地理位置、投放时间段等单个属性或者组合属性进行投放；另一种是基于内容的投放方式，这种广告投放系统主要包括提取网页主题词、提取广告文本主题词，计算它们之间的相关性，然后进行广告的投放；而基于用户行为特征的精准广告投放系统主要是在提取到用户的行为特征数据之后，深入挖掘用户的特征数据，然后采用合适的分类算法对用户分类，进而针对用户的特征投放广告。

在汽车广告精准推荐系统中，通过分类模型进行精准推送的方法很多，采用随机森林、SVM、神经网络等模型都能够对广告进行精准推荐，但这些模型的复杂度较高，参数过多在调试过程中不仅会耗费大量时间和精力，同时会出现很大程度的过拟合现象，导致推送结果的准确率不高。

发明内容

本申请提供一种模型训练方法、广告推荐方法、相关装置、设备以及介质，用于解决模型的复杂度较高，参数过多，耗费大量时间和精力且推送结果的准确率不高的技术问题。

为了解决上述技术问题，本申请实施例第一方面公开了一种模型训练方法，包括：

固定第一梯度提升决策树(Gradient Boosting Decision Tree，GBDT)模型的第一参数，逐步增大所述第一GBDT模型的第二参数；

在所述逐步增大所述第一GBDT模型的第二参数的过程中，当所述第一GBDT模型输出的准确率的变化率小于第一阈值时，确定目标第二参数；

固定所述目标第二参数，逐步增大所述第一GBDT模型的第一参数；

在所述逐步增大所述第一GBDT模型的第一参数的过程中，当所述第一GBDT模型输出的准确率的变化率小于第二阈值时，确定目标第一参数；

通过输入的原始数据，以所述目标第一参数和所述目标第二参数来训练所述第一GBDT模型，得到第二GBDT模型，所述第二GBDT模型用于构造组合特征向量。

具体地，基于该第一方面，在其中一种实现方式中，所述确定目标第二参数，包括：

从所述第一GBDT模型输出的准确率的变化率小于第一阈值时对应的第二参数开始，按照第一间隔逐步减少所述第二参数；

当所述第一GBDT模型输出的准确率的变化率大于所述第一阈值时，从所述第一GBDT模型输出的准确率的变化率大于第一阈值时对应的第二参数开始，按照第二间隔逐步增大所述第二参数；

将所述第一GBDT模型输出的准确率的变化率小于第一阈值时所对应的第二参数确定为目标第二参数；其中所述第二间隔小于所述第一间隔。

具体地，基于该第一方面，在其中一种实现方式中，所述确定目标第一参数，包括：

从所述第一GBDT模型输出的准确率的变化率小于第一阈值时对应的第一参数开始，按照第三间隔逐步减少所述第一参数；

当所述第一GBDT模型输出的准确率的变化率大于所述第二阈值时，从所述第一GBDT模型输出的准确率的变化率大于第二阈值时对应的第一参数开始，按照第四间隔逐步增大所述第一参数；

将所述第一GBDT模型输出的准确率的变化率小于第一阈值时所对应的第一参数确定为目标第一参数；其中所述第四间隔小于所述第三间隔。

第一方面所描述的实现方式通过输入的原始数据，以目标第一参数和目标第二参数来训练第一GBDT模型，得到第二GBDT模型，这种先固定一个参数，找到另一个参数最优解，再固定最优解，寻找第一个参数最优解的设置参数的方式，在保证了准确率的前提下，也减少了时间开销。

本申请实施例第二方面公开了一种广告推荐方法，包括：

将输入的训练样本输入到第二GBDT模型，获取第一组合特征向量，其中，所述第二GBDT模型为执行上述第一方面中任一种实现方式的方法中得到的模型；

将所述第一组合特征向量与原始特征向量合并得到新数据样本，所述原始特征向量为通过原始数据训练第一GBDT模型获得的第一特征向量；

根据所述新数据样本训练第一Logistic模型得到第二Logistic模型；

将接收的预测样本输入到所述第二GBDT模型中，获取第二组合特征向量；

将所述第二组合特征向量与所述原始特征向量合并得到的第二特征向量，将所述第二特征向量输入到所述第二Logistic模型中，得到所述第二特征向量中各个类别的概率；

将所述概率中最大概率对应的类别作为推送类别后，将所述推送类别对应的广告推送给客户端。

第二方面所描述的实现方式通过这种在原始特征的基础上通过GBDT模型产生新的特征来补充漏掉的重要信息，完善特征字段的方式，使Logistic模型达到较高的模型预测率，提高了广告推送的准确率，完成了精准广告的投放。

本申请实施例第三方面公开了一种模型训练装置，包括用于执行上述第一方面中任一种实现方式的方法的单元。

需要说明的是，第三方面的实现方式及相应的有益效果可以参照第一方面以及相应实现方式中的描述，此处不再赘述。

本申请实施例第四方面公开了一种广告推荐装置，包括用于执行上述第二方面中任一种实现方式的方法的单元。

需要说明的是，第四方面的实现方式及相应的有益效果可以参照第二方面以及相应实现方式中的描述，此处不再赘述。

本申请实施例第五方面公开了一种模型训练设备，包括处理器、输入设备、输出设备、存储器和通信设备，所述处理器、输入设备、输出设备、存储器和通信设备相互连接，其中，所述存储器用于存储应用程序代码，所述通信设备用于与外部设备进行信息交互；所述处理器被配置用于调用所述程序代码，执行如上述第一方面所述的方法。

需要说明的是，第五方面的实现方式及相应的有益效果可以参照第一方面以及相应实现方式中的描述，此处不再赘述。

本申请实施例第六方面公开了一种广告推荐设备，包括处理器、输入设备、输出设备、存储器和通信设备，所述处理器、输入设备、输出设备、存储器和通信设备相互连接，其中，所述存储器用于存储应用程序代码，所述通信设备用于与外部设备进行信息交互；所述处理器被配置用于调用所述程序代码，执行如上述第二方面所述的方法。

需要说明的是，第六方面的实现方式及相应的有益效果可以参照第二方面以及相应实现方式中的描述，此处不再赘述。

本申请实施例第七方面公开了一种计算机可读存储介质，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行第一方面所述的方法。

需要说明的是，第七方面的实现方式及相应的有益效果可以参照第一方面以及相应实现方式中的描述，此处不再赘述。

本申请实施例第八方面公开了一种计算机可读存储介质，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行第二方面所述的方法。

需要说明的是，第八方面的实现方式及相应的有益效果可以参照第二方面以及相应实现方式中的描述，此处不再赘述。

附图说明

为了说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种模型训练方法和广告推荐方法的系统架构图；

图2为本申请实施例提供的一种模型训练方法的流程示意图；

图3为本申请实施例提供的一种模型训练方法的数据取值图；

图4为本申请实施例提供的一种广告推荐方法的流程示意图；

图5是本申请实施例提供的一种模型训练装置的结构示意图；

图6是本申请实施例提供的一种广告推荐装置的结构示意图；

图7是本申请实施例提供的一种模型训练设备的结构示意图。

图8是本申请实施例提供的一种广告推荐设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请说明书中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

为了更好的理解本申请实施例提供的模型训练方法、广告推荐方法、相关装置、设备和计算机可读存储介质，下面先对本申请实施例模型训练方法和广告推荐方法的系统架构进行描述，如图1所示，模型训练设备可以先进行模型训练，该模型训练设备可以为网络设备或终端设备，通过本申请实施例的模型训练方法，模型训练设备接收到数据发送端发送的原始数据，根据原始数据完成对于GBDT模型的训练，得到训练好的GBDT模型后，模型训练设备将该训练好的GBDT模型发送给广告推荐设备，该广告推荐设备可以为网络设备或终端设备，数据发送端将预测样本发送到广告推荐设备，广告推荐设备接收到预测样本后，通过计算将概率最大的广告推送类别相应的广告推送给客户端，完成精准广告的投放。

可以理解的，模型训练设备和广告推荐设备所实现的方法可以在同一个设备或多个设备中完成，本申请实施例中的数据发送端可以为服务器等网络设备，也可以为台式计算机、膝上型计算机、平板计算机、智能终端等终端设备。该服务器可以为独立服务器，也可以为集群服务器。本申请实施例不做限制。

下面先结合图2示出的本申请实施例提供的模型训练方法的流程示意图，具体说明本申请实施例的如何进行模型训练，可以包括以下步骤：

步骤S201：固定第一梯度提升决策树(Gradient Boosting Decision Tree，GBDT)模型的第一参数，逐步增大第一GBDT模型的第二参数；

具体地，设GBDT模型中决策树集合为T(T＝{T₁,T₂,…,T_n}，其中T_i(1≤i≤n)表示第i棵决策树，设l_i＝{l_i1,l_i2,…,l_ik}表示样本S在第i棵决策树上各叶子节点的取值，其中l_ij∈{0,1}，若样本S输入到决策树T并且落到叶子节点j中，则l_ij＝1否则l_ij＝0，将样本S输入到GBDT中，得到该样本对应的新的组合特征数据l＝{l₁,l₂,…,l_m}，m为GBDT所有决策树叶子节点数目之和，设置GBDT的参数α和β，通过原始数据训练GBDT模型，用于构造组合特征；其中，α为每颗决策树的最大叶子节点数目，β为决策树的数目；

本申请实施例中，当第一参数为每颗决策树的最大叶子节点数目时，第二参数为决策树的数目，或者当第一参数为决策树的数目时，第二参数为每颗决策树的最大叶子节点数目；固定第一GBDT模型的第一参数，逐步增大第一GBDT模型的第二参数，其中，逐步增大的方式可以是以相同的间隔逐步增大对第二参数的取值，例如以100为间隔，第二参数的取值可以依次为100、200、300……，或者是101、201、301……等等；逐步增大的方式还可以是以相同的倍数逐步增大对第二参数的取值，例如以10为倍数，第二参数的取值可以依次为10、100、1000……，或者是20、200、2000……等等，可以理解的，逐步增大的方式包括但不限于上述两种方式。

步骤S202：在逐步增大第一GBDT模型的第二参数的过程中，当第一GBDT模型输出的准确率的变化率小于第一阈值时，确定目标第二参数；

具体地，在逐步增大第一GBDT模型的第二参数的过程中，每次改变第二参数，第一GBDT模型都会输出一个准确率，计算准确率的变化率y＝(第n个准确率-第n-1个准确率)/(第n个准确率对应的第二参数-第n-1个准确率对应的第二参数)，其中n为大于1的整数，当y小于第一阈值时，则可以直接将第n个准确率对应的第二参数确定为第一GBDT模型的目标第二参数。

步骤S203：固定目标第二参数，逐步增大第一GBDT模型的第一参数；

具体地，固定步骤S202所确定的第一GBDT模型的第二参数的数值，逐步增大第一GBDT模型的第一参数，其中，逐步增大的方式可以是以相同的间隔逐步增大对第一参数的取值，例如以100为间隔，第一参数的取值可以依次为100、200、300……，或者是101、102、103……等等；逐步增大的方式还可以是以相同的倍数逐步增大对第一参数的取值，例如以10为倍数，第一参数的取值可以依次为10、100、1000……，或者是20、200、2000……等等，可以理解的，逐步增大的方式包括但不限于上述两种方式。

步骤S204：在逐步增大第一GBDT模型的第一参数的过程中，当第一GBDT模型输出的准确率的变化率小于第二阈值时，确定目标第一参数；

具体地，在逐步增大第一GBDT模型的第一参数的过程中，每次改变第一参数，第一GBDT模型都会输出一个准确率，计算准确率的变化率y＝(第n个准确率-第n-1个准确率)/(第n个准确率对应的第一参数-第n-1个准确率对应的第一参数)，其中n为大于1的整数，当y小于第二阈值时，则可以直接将第n个准确率对应的第一参数确定为第一GBDT模型的目标第一参数；

本申请实施例中的第一阈值或第二阈值可以为1％、1.5％等等，可以根据实际情况或技术人员的经验来设置，本申请实施例不做限制。

步骤S205：通过输入的原始数据，以目标第一参数和目标第二参数来训练第一GBDT模型，得到第二GBDT模型。

具体地，确定好第一GBDT模型的目标第一参数和目标第二参数的数值后，设置第一GBDT模型中的第一参数和第二参数，并输入原始数据训练第一GBDT模型，得到第二GBDT模型，第二GBDT模型用于构造组合特征向量。

本申请实施例中，首先固定第一GBDT模型的第一参数，逐步增大第一GBDT模型的第二参数，在逐步增大第二参数的过程中，当第一GBDT模型输出的准确率的变化率小于第一阈值时，确定目标第二参数；然后固定目标第二参数，逐步增大第一参数，在逐步增大第一参数的过程中，当第一GBDT模型输出的准确率的变化率小于第二阈值时，确定目标第一参数；通过输入的原始数据，以目标第一参数和目标第二参数来训练第一GBDT模型，得到第二GBDT模型。这种通过先固定一个参数，找到另一个参数最优解，再固定最优解，寻找第一个参数最优解的设置参数的方式，在保证了准确率的前提下，也大大减少了时间开销。

在其中一种实施方式中，在确定目标第二参数的过程中，除了可以在上述图2实施例的步骤S202中举例的直接将第n个准确率对应的第二参数确定为第一GBDT模型的目标第二参数以外，还可以采取先粗调后细调的方法来确认目标第二参数，具体可以包括：

在步骤S201逐步增大第一GBDT模型的第二参数的过程中，当第一GBDT模型输出的准确率的变化率小于第一阈值时，从第一GBDT模型输出的准确率的变化率小于第一阈值时对应的第二参数开始，按照第一间隔逐步减少该第二参数；例如，计算准确率的变化率可以为y＝(第n个准确率-第n-1个准确率)/(第n个准确率对应的第二参数-第n-1个准确率对应的第二参数)，其中n为大于1的整数，当y小于第一阈值时，从第n个准确率对应的第二参数开始，按照第一间隔逐步减少第二参数，其中第一间隔小于上述第n个准确率对应的第二参数和第n-1个准确率对应的第二参数的差值。当第一GBDT模型输出的准确率的变化率大于第一阈值时，从第一GBDT模型输出的准确率的变化率大于第一阈值时对应的第二参数开始，按照第二间隔逐步增大该第二参数；将第一GBDT模型输出的准确率的变化率小于第一阈值时所对应的第二参数确定为目标第二参数；其中第二间隔小于第一间隔，也就是说，是逐步越来越细地调整第二参数，以确定目标第二参数。

本申请实施例中的第二间隔为符合预设条件的间隔，该预设条件可以以调整数量或者以间隔数值来衡量，比如设置的预设条件为进行n次逐步增大第二参数，那么该第二间隔即为第n次逐步增大该第二参数时的间隔(即最后一次)，又比如设置的预设条件为当逐步增大第二参数的间隔小于或等于某一阈值时即为最后一次逐步增大该第二参数，那么该第二间隔即为小于或等于某一阈值的间隔。

下面以进行2次逐步增大第二参数为举例进行说明：对GBDT模型的两个重要参数进行取值调整，一个参数为决策树的数目，另一个参数为最大叶子节点数目；调整过程以图3为例，如图3中的a图所示，若固定决策树的数目，以500为间隔逐步增大(即第1次逐步增大，可以相当于图2实施例中的步骤S201)最大叶子节点数目，依次以0、500、1000、1500……对最大叶子节点数目进行取值，计算出相应的准确率，那么其中每次对最大叶子节点数目取值，GBDT模型都会输出一个准确率，计算准确率的变化率，在图3的a图中，当GBDT模型在最大叶子节点数目为1000时，GBDT模型输出的准确率的变化率小于第一阈值，则如图3中的b图所示，从1000开始，以100为间隔(相当于本申请实施例中的第一间隔)逐步减小最大叶子节点数目，依次以1000、900、800、700……对最大叶子节点数目进行取值，其中每次对最大叶子节点数目取值，GBDT模型都会输出一个准确率，计算准确率的变化率，在图3的b图中，当GBDT模型在最大叶子节点数目为700时，GBDT模型输出的准确率的变化率大于第一阈值，则如图3中的c图所示，从700开始，以20为间隔(相当于本申请实施例中的第二间隔)逐步增大(即第2次逐步增大)最大叶子节点数目，依次以700、720、740、760……对最大叶子节点数目进行取值，其中每次对最大叶子节点数目取值，GBDT模型都会输出一个准确率，计算准确率的变化率，在图3的c图中，当GBDT模型在最大叶子节点数目为720时，GBDT模型输出的准确率的变化率小于第一阈值，则将720(即确定目标第二参数)确定为该GBDT模型的最大叶子节点数目。可以看出，上述对最大叶子节点数目取值的方法即为将GBDT模型的准确率的变化率不断接近第一阈值的方法。

可理解的是，若进行n次逐步增大第二参数，n为大于2的自然数，那么图2实施例中的步骤S201逐步增大第一GBDT模型的第二参数相当于第n-1次逐步增大，也就是说在步骤S201之前还可以进行n-2次逐步增大的调整，以及n-2次逐步减少的调整，且每次调整的间隔都是越来越小。将720确定为该GBDT模型的最大叶子节点数目后，固定最大叶子节点数目为720，用相同的方法对决策树的数目进行取值，即通过计算GBDT模型的准确率的变化率不断接近第二阈值的方法来确定决策树的数目；也就是说，本申请实施例在确定目标第一参数的过程中，即在上述图2实施例的步骤S203固定目标第二参数，逐步增大第一GBDT模型的第一参数的过程中，当第一GBDT模型输出的准确率的变化率小于第二阈值时，确定目标第一参数，可以参考上述确定目标第二参数的实施方式：在逐步增大第一GBDT模型的第一参数的过程中，每次改变第一参数，第一GBDT模型都会输出一个准确率，计算准确率的变化率y＝(第n个准确率-第n-1个准确率)/(第n个准确率对应的第一参数-第n-1个准确率对应的第一参数)，其中n为大于1的整数，当y小于第二阈值时，从第n个准确率对应的第一参数开始，按照第三间隔逐步减少第一参数,其中第三间隔小于上述第n个准确率对应的第一参数和第n-1个准确率对应的第一参数的差值，每次减少第一参数，第一GBDT模型都会输出一个准确率，计算准确率的变化率y，当y大于第二阈值时，从当y大于第二阈值时对应的第一参数开始，按照第四间隔逐步增大第一参数，其中第四间隔小于第三间隔，每次增大第一参数，第一GBDT模型都会输出一个准确率，计算准确率的变化率y，当y小于第二阈值时，将当y小于第二阈值时所对应的第一参数确定为目标第一参数。

本申请实施例中的第四间隔类比于第二间隔，也可以为符合预设条件的间隔，该预设条件可以以调整数量或者以间隔数值来衡量，比如设置的预设条件为进行n次逐步增大第一参数，那么该第四间隔即为第n次逐步增大该第一参数时的间隔(即最后一次)，又比如设置的预设条件为当逐步增大第一参数的间隔小于或等于某一阈值时即为最后一次逐步增大该第一参数，那么该第四间隔即为小于或等于某一阈值的间隔。这里不再赘述。

确定好GBDT模型的目标第一参数和目标第二参数后，设置GBDT模型中的第一参数和第二参数，并输入原始数据训练该GBDT模型，得到训练后的GBDT模型，该训练后的GBDT模型用于构造组合特征向量。

在本申请实施例中，通过这种粗调再细调，逐步越来越细地调整参数的参数选取方式，大大减少了计算量，不仅准确率高，而且在时间上也大大节省了开销。

在其中一种实施方式中，在确定目标第二参数的过程中，除了可以在上述图3实施例中举例的进行n次逐步增大第二参数的方法来确定目标第二参数，还可以采取进行n次逐步减小第二参数的方法来确定目标第二参数，具体可以包括：

在步骤S201逐步增大第一GBDT模型的第二参数的过程中，当第一GBDT模型输出的准确率的变化率小于第一阈值时，从第一GBDT模型输出的准确率的变化率小于第一阈值时对应的第二参数开始，按照第五间隔逐步增大该第二参数；例如，计算准确率的变化率可以为y＝(第n个准确率-第n-1个准确率)/(第n个准确率对应的第二参数-第n-1个准确率对应的第二参数)，其中n为大于1的整数，当y小于第一阈值时，从第n个准确率对应的第二参数开始，按照第五间隔逐步减少第二参数，其中第五间隔小于上述第n个准确率对应的第二参数和第n-1个准确率对应的第二参数的差值。当第一GBDT模型输出的准确率的变化率大于第一阈值时，那么第一GBDT模型输出的准确率的变化率大于第一阈值时所对应的第二参数，将该第二参数的前一个取值的数值确定为目标第二参数。本申请实施例中的第五间隔为符合预设条件的间隔，该预设条件可以以调整数量或者以间隔数值来衡量，比如设置的预设条件为进行n次逐步减小第二参数，那么该第五间隔即为第n次逐步减小该第二参数时的间隔(即最后一次)，又比如设置的预设条件为当逐步减小第二参数的间隔小于或等于某一阈值时即为最后一次逐步减小该第二参数，那么该第五间隔即为小于或等于某一阈值的间隔。

以图3中的a图和b图进行举例说明，如图3中的a图所示，若固定决策树的数目，以500为间隔逐步增大(可以相当于图2实施例中的步骤S201)最大叶子节点数目，依次以0、500、1000、1500……对最大叶子节点数目进行取值，计算出相应的准确率，那么其中每次对最大叶子节点数目取值，GBDT模型都会输出一个准确率，计算准确率的变化率，在图3的a图中，当GBDT模型在最大叶子节点数目为1000时，GBDT模型输出的准确率的变化率小于第一阈值，则如图3中的b图所示，从1000开始，以100为间隔(相当于本申请实施例中的第五间隔)逐步减小最大叶子节点数目，依次以1000、900、800、700……对最大叶子节点数目进行取值，其中每次对最大叶子节点数目取值，GBDT模型都会输出一个准确率，计算准确率的变化率，在图3的b图中，当GBDT模型在最大叶子节点数目为700时，GBDT模型输出的准确率的变化率大于第一阈值，则将800(即GBDT模型输出的准确率的变化率大于第一阈值时对应的第二参数的前一个取值的数值)确定为该GBDT模型的最大叶子节点数目。

可理解的是，若进行n次逐步减小第二参数，n为大于2的自然数，那么本申请实施例中在步骤S201之前还可以进行n-1次逐步减小的调整，以及n-1次逐步增大的调整，且每次调整的间隔都是越来越小。

将800确定为该GBDT模型的最大叶子节点数目后，固定最大叶子节点数目为800，用相同的方法对决策树的数目进行取值，即通过计算GBDT模型的准确率的变化率不断接近第二阈值的方法来确定决策树的数目；也就是说，本申请实施例在确定目标第一参数的过程中，即在上述图2实施例的步骤S204固定目标第二参数，逐步增大第一GBDT模型的第一参数的过程中，当第一GBDT模型输出的准确率的变化率小于第二阈值时，确定目标第一参数，可以参考上述确定目标第二参数的实施方式：在逐步增大第一GBDT模型的第一参数的过程中，每次改变第一参数，第一GBDT模型都会输出一个准确率，计算准确率的变化率y＝(第n个准确率-第n-1个准确率)/(第n个准确率对应的第一参数-第n-1个准确率对应的第一参数)，其中n为大于1的整数，当y小于第二阈值时，从第n个准确率对应的第一参数开始，按照第六间隔逐步减少第一参数,其中第六间隔小于上述第n个准确率对应的第一参数和第n-1个准确率对应的第一参数的差值，每次减少第一参数，第一GBDT模型都会输出一个准确率，计算准确率的变化率y，当y大于第二阈值时，那么第一GBDT模型输出的准确率的变化率大于第一阈值时所对应的第一参数，将该第一参数的前一个取值的数值确定为目标第一参数。

本申请实施例中的第六间隔类比于第五间隔，也可以为符合预设条件的间隔，该预设条件可以以调整数量或者以间隔数值来衡量，比如设置的预设条件为进行n次逐步减小第一参数，那么该第六间隔即为第n次逐步减小该第一参数时的间隔(即最后一次)，又比如设置的预设条件为当逐步减小第一参数的间隔小于或等于某一阈值时即为最后一次逐步减小该第一参数，那么该第六间隔即为小于或等于某一阈值的间隔。这里不再赘述。

确定好GBDT模型的目标第一参数和目标第二参数后，设置GBDT模型中的第一参数和第二参数，并输入原始数据训练该GBDT模型，得到训练后的GBDT模型，该训练后的GBDT模型用于构造组合特征向量。

在本申请实施例中，通过这种粗调再细调，逐步越来越细地调整参数的参数选取方式，大大减少了计算量，不仅准确率高，而且在时间上也大大节省了开销。

本申请图2实施例的模型训练方法可以应用于多个技术场景中，例如广告推荐的技术场景，参见图4，是本申请实施例提供的一种广告推荐方法的流程示意图，其中的第二GBDT模型为图2所述的方法中得到的模型，该广告推荐方法包括以下步骤：

步骤S401：将输入的训练样本输入到第二GBDT模型，获取第一组合特征向量；

具体地，对于每一个训练样本，输入到第二GBDT模型，第二GBDT模型中每一个叶子节点的输出组成第一组合特征向量。

步骤S402：将第一组合特征向量与原始特征向量合并得到新数据样本；

具体地，获取第一组合特征向量后，将第一组合特征向量与原始特征向量合并得到新数据样本，原始特征向量为通过原始数据训练第一GBDT模型获得的第一特征向量，新数据样本用于训练第一Logistic模型。

步骤S403：根据新数据样本训练第一Logistic模型得到第二Logistic模型；

具体地，Logistic模型为线性模型，其是在线性回归的基础上通过sigmoid函数将输入函数值映射到0-1区间表示，输出的在0-1区间的数值作为各类别的概率，通过softmax可以处理类别之间互斥的多分类问题或者通过构造多个二分类器组合成多分类，得到的结果属于各个类别的概率，其中最高概率对应的类别作为最终推送信息的类别。

得到新数据样本后，根据新数据样本训练第一Logistic模型得到第二Logistic模型，第二Logistic模型为最终的预测模型。

步骤S404：将接收的预测样本输入到第二GBDT模型中，获取第二组合特征向量；

具体地，将接收的预测样本输入到第二GBDT模型，第二GBDT模型中每一个叶子节点的输出组成第二组合特征向量，其中预测样本可以包括搜索关键字、网页关键词和汽车广告数据等等。

步骤S405：将第二组合特征向量与原始特征向量合并得到第二特征向量，将第二特征向量输入到第二Logistic模型中，得到第二特征向量中各个类别的概率；

具体地，获取第二组合特征向量后，将第二组合特征向量与原始特征向量合并得到第二特征向量，将第二特征向量输入到第二Logistic模型中，在第二Logistic模型中利用softmax得到的输出为属于第二特征向量中各个类别的概率。

步骤S406：将所述概率中最大概率对应的类别作为推送类别后，将所述推送类别对应的广告推送给用户。

具体地，得到第二特征向量中各个类别的概率后，将所述概率中最大概率对应的类别作为推送类别，将推送类别对应的广告推送给用户完成广告的投放。

本申请实施例中，将输入的训练样本输入到第二GBDT模型，获取第一组合特征向量，将第一组合特征向量与原始特征向量合并得到新数据样本后，根据新数据样本训练第一Logistic模型得到第二Logistic模型；第二Logistic模型为最终的预测模型，先将接收的预测样本输入到第二GBDT模型中，获取第二组合特征向量；然后将第二组合特征向量与原始特征向量合并得到的第二特征向量输入到第二Logistic模型中，得到第二特征向量中各个类别的概率；将所述概率中最大概率对应的类别作为推送类别后，将推送类别对应的广告推送给用户。通过这种在原始特征向量的基础上通过GBDT模型产生新的特征来补充漏掉的重要信息，完善特征字段的方式，使Logistic模型达到较高的模型预测率，提高了广告推送的准确率，完成了精准广告的投放。例如具体应用在汽车广告的投放中，需要将汽车相关的信息模型训练方法进行训练，而当前汽车相关的特征很少，对于解释数据规律来说远远不够，而通过本申请实施例的模型训练方法，采用构造特征的方式不仅能提高特征数量、方便数据学习规律，同时构造出的特征是经过模型筛选的，有较大的重要性。

如图5示出的本申请实施例提供的模型训练装置的结构示意图，模型训练装置50可以包括：第一取值单元501、第一确定单元502、第二取值单元503、第二确定单元504、第一训练单元505，其中，

第一取值单元501用于固定第一GBDT模型的第一参数，逐步增大第一GBDT模型的第二参数；

第一确定单元502用于在逐步增大第一GBDT模型的第二参数的过程中，当第一GBDT模型输出的准确率的变化率小于第一阈值时，确定目标第二参数；

第二取值单元503用于固定目标第二参数，逐步增大第一GBDT模型的第一参数；

第二确定单元504用于在逐步增大第一GBDT模型的第一参数的过程中，当第一GBDT模型输出的准确率的变化率小于第二阈值时，确定目标第一参数；

第一训练单元505用于通过输入的原始数据，以目标第一参数和目标第二参数来训练第一GBDT模型，得到第二GBDT模型，第二GBDT模型用于构造组合特征向量。

需要说明的是，本申请实施例中图5所描述的装置中各功能单元的功能可参见上述图2中所述的方法实施例中步骤S201-步骤S205的相关描述，此处不再赘述。

如图6示出的本申请实施例提供的广告推荐装置的结构示意图，广告推荐装置60可以包括：第一获取单元601、合并单元602、第二训练单元603、第二获取单元604、合并输入单元605、推送单元606，其中：

第一获取单元601用于将输入的训练样本输入到第二GBDT模型，获取第一组合特征向量；

合并单元602用于将所述第一组合特征向量与原始特征向量合并得到新数据样本；

第二训练单元603用于所述新数据样本训练第一Logistic模型得到第二Logistic模型；

第二获取单元604用于将接收的预测样本输入到所述第二GBDT模型中，获取第二组合特征向量；

合并输入单元605用于将所述第二组合特征向量与所述原始特征向量合并得到第二特征向量，将所述第二特征向量输入到所述第二Logistic模型中，得到所述第二特征向量中各个类别的概率；

推送单元606用于将所述概率中最大概率对应的类别作为推送类别后，将所述推送类别对应的广告推送给用户。

需要说明的是，本申请实施例中图6所描述的装置中各功能单元的功能可参见上述图4中所述的方法实施例中步骤S401-步骤S406的相关描述，此处不再赘述。

根据以上模型训练装置图，请参考图7，图7是本申请实施例提供的一种简化的模型训练设备结构示意图。便于理解和图示方便，图7的模型训练设备70中，可以包括以下一个或多个组件：存储器701、处理器702、通信设备703和输入/输出设备704。

存储器701可以包括一个或多个存储单元，每个单元可以包括一个或多个存储器，存储器可用于存储程序和各种数据，并能在装置70运行过程中高速、自动地完成程序或数据的存取。当图7所示的设备70，执行图2所述方法时，存储器可以用来存储模型参数、组合特征向量以及其他相关数据等。

通信设备703，也可以称为收发机，或收发器等，其中可以包括用来进行无线、有线或其他通信方式的单元。可选的，可以将703部分中用于实现接收功能的器件视为接收单元，将用于实现发送功能的器件视为发送单元，即703部分包括接收单元和发送单元。

处理器702，处理器也可以称为处理单元，处理单板，处理模块，处理装置等。处理器可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或者CPU和NP的组合。当图7所示的模型训练设备70，执行图2所述方法时，所述处理器702调用所述存储器701的模型训练程序，执行以下步骤：

固定第一GBDT模型的第一参数，逐步增大第一GBDT模型的第二参数；

在逐步增大第一GBDT模型的第二参数的过程中，当第一GBDT模型输出的准确率的变化率小于第一阈值时，确定目标第二参数；

固定目标第二参数，逐步增大第一GBDT模型的第一参数；

在逐步增大第一GBDT模型的第一参数的过程中，当第一GBDT模型输出的准确率的变化率小于第二阈值时，确定目标第一参数；

通过输入的原始数据，以目标第一参数和目标第二参数来训练第一GBDT模型，得到第二GBDT模型。

在其中一个实施方式中，处理器702还可以执行：

从第一GBDT模型输出的准确率的变化率小于第一阈值时对应的第二参数开始，按照第一间隔逐步减少所述第二参数；

当第一GBDT模型输出的准确率的变化率大于第一阈值时，从第一GBDT模型输出的准确率的变化率大于第一阈值时对应的第二参数开始，按照第二间隔逐步增大第二参数；

将第一GBDT模型输出的准确率的变化率小于第一阈值时所对应的第二参数确定为目标第二参数。

在其中一个实施方式中，处理器702还可以执行：

从第一GBDT模型输出的准确率的变化率小于第一阈值时对应的第一参数开始，按照第三间隔逐步减少第一参数；

当第一GBDT模型输出的准确率的变化率大于第二阈值时，从第一GBDT模型输出的准确率的变化率大于第二阈值时对应的第一参数开始，按照第四间隔逐步增大第一参数；

将第一GBDT模型输出的准确率的变化率小于第一阈值时所对应的第一参数确定为目标第一参数。

需要说明的是，本申请实施例中的模型训练设备70中处理器702的执行步骤可参考上述各方法实施例中图1至图3实施例中的具体实现方式，这里不再赘述。

输入/输出设备704，可以为设备70外围部件接口之间提供接口，上述外围部件可以为键盘，鼠标，显示器，按钮，相似装置等。这些按钮可包括但不限于：启动/关闭按钮，锁定按钮和重置按钮等。

根据以上广告推荐装置图，请参考图8，图8是本申请实施例提供的一种简化的广告推荐设备结构示意图。便于理解和图示方便，图8广告推荐设备80中，可以包括以下一个或多个组件：存储器801、处理器802、通信设备803和输入/输出设备804。

存储器801可以包括一个或多个存储单元，每个单元可以包括一个或多个存储器，存储器可用于存储程序和各种数据，并能在设备80运行过程中高速、自动地完成程序或数据的存取。当图8所示的设备80，执行图4所述方法时，存储器可以用来存储数据样本、组合特征向量以及其他相关数据等；

通信设备803，也可以称为收发机，或收发器等，其中可以包括用来进行无线、有线或其他通信方式的单元。可选的，可以将803部分中用于实现接收功能的器件视为接收单元，将用于实现发送功能的器件视为发送单元，即803部分包括接收单元和发送单元。

处理器802，处理器也可以称为处理单元，处理单板，处理模块，处理装置等。处理器可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或者CPU和NP的组合。当图8所示的广告推荐设备80，执行图4所述方法时，所述处理器802调用所述存储器801的广告推荐程序，执行以下步骤：

通过通信设备803接收输入的训练样本，将训练样本输入到第二GBDT模型，获取第一组合特征向量；

将第一组合特征向量与原始特征向量合并得到新数据样本；

根据新数据样本训练第一Logistic模型得到第二Logistic模型；

将通信设备803接收的预测样本输入到第二GBDT模型中，获取第二组合特征向量；

将第二组合特征向量与原始特征向量合并得到第二特征向量，将第二特征向量输入到第二Logistic模型中，得到第二特征向量中各个类别的概率；

将所述概率中最大概率对应的类别作为推送类别，将推送类别对应的广告通过通信设备803推送给客户端。

需要说明的是，本申请实施例中的广告推荐设备80中处理器802的执行步骤可参考上述各方法实施例中图4实施例中的具体实现方式，这里不再赘述。

输入/输出设备804，可以为设备80外围部件接口之间提供接口，上述外围部件可以为键盘，鼠标，显示器，按钮，相似装置等。这些按钮可包括但不限于：启动/关闭按钮，锁定按钮和重置按钮等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。尽管在此结合各实施例对本申请进行了描述，然而，在实施例所要求保护的本申请过程中，本领域技术人员可理解并实现公开实施例的其他变化。

Claims (10)

1.一种模型训练方法，其特征在于，包括：

固定第一梯度提升决策树GBDT模型的第一参数，逐步增大第一GBDT模型的第二参数；

在所述逐步增大所述第一GBDT模型的第二参数的过程中，当所述第一GBDT模型输出的准确率的变化率小于第一阈值时，确定目标第二参数；

固定所述目标第二参数，逐步增大所述第一GBDT模型的第一参数；

在所述逐步增大所述第一GBDT模型的第一参数的过程中，当所述第一GBDT模型输出的准确率的变化率小于第二阈值时，确定目标第一参数；

通过输入的原始数据，以所述目标第一参数和所述目标第二参数来训练所述第一GBDT模型，得到第二GBDT模型，所述第二GBDT模型用于构造组合特征向量。

2.根据权利要求1所述的方法，其特征在于，所述确定目标第二参数，包括：

从所述第一GBDT模型输出的准确率的变化率小于第一阈值时对应的第二参数开始，按照第一间隔逐步减少所述第二参数；

当所述第一GBDT模型输出的准确率的变化率大于所述第一阈值时，从所述第一GBDT模型输出的准确率的变化率大于第一阈值时对应的第二参数开始，按照第二间隔逐步增大所述第二参数；

将所述第一GBDT模型输出的准确率的变化率小于第一阈值时所对应的第二参数确定为目标第二参数；其中所述第二间隔小于所述第一间隔。

3.根据权利要求1所述的方法，其特征在于，所述确定目标第一参数，包括：

从所述第一GBDT模型输出的准确率的变化率小于第一阈值时对应的第一参数开始，按照第三间隔逐步减少所述第一参数；

当所述第一GBDT模型输出的准确率的变化率大于所述第二阈值时，从所述第一GBDT模型输出的准确率的变化率大于第二阈值时对应的第一参数开始，按照第四间隔逐步增大所述第一参数；

将所述第一GBDT模型输出的准确率的变化率小于第一阈值时所对应的第一参数确定为目标第一参数；其中所述第四间隔小于所述第三间隔。

4.一种广告推荐方法，其特征在于，包括：

将输入的训练样本输入到第二GBDT模型，获取第一组合特征向量，其中，所述第二GBDT模型为如权利要求1-3任一项所述的方法中得到的模型；

将所述第一组合特征向量与原始特征向量合并得到新数据样本，所述原始特征向量为通过原始数据训练第一GBDT模型获得的第一特征向量；

根据所述新数据样本训练第一Logistic模型得到第二Logistic模型；

将接收的预测样本输入到所述第二GBDT模型中，获取第二组合特征向量；

将所述第二组合特征向量与所述原始特征向量合并得到的第二特征向量，将所述第二特征向量输入到所述第二Logistic模型中，得到所述第二特征向量中各个类别的概率；

将所述概率中最大概率对应的类别作为推送类别后，将所述推送类别对应的广告推送给客户端。

5.一种模型训练装置，其特征在于，包括用于执行如权利要求1-3任一项所述的方法的单元。

6.一种广告推荐装置，其特征在于，包括用于执行如权利要求4所述的方法的单元。

7.一种模型训练设备，其特征在于，包括处理器、输入设备、输出设备、存储器和通信设备，所述处理器、输入设备、输出设备、存储器和通信设备相互连接，其中，所述存储器用于存储应用程序代码，所述通信设备用于与外部设备进行信息交互；所述处理器被配置用于调用所述程序代码，执行如权利要求1-3任一项所述的方法。

8.一种广告推荐设备，其特征在于，包括处理器、输入设备、输出设备、存储器和通信设备，所述处理器、输入设备、输出设备、存储器和通信设备相互连接，其中，所述存储器用于存储应用程序代码，所述通信设备用于与外部设备进行信息交互；所述处理器被配置用于调用所述程序代码，执行如权利要求4所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-3任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求4所述的方法。