CN109816412A - 一种训练模型生成方法、装置、设备和计算机存储介质 - Google Patents

Abstract

本发明实施例公开了一种训练模型生成方法，所述方法包括：对获取的第一待训练数据进行模型训练，得到第一训练模型参数；其中，所述第一待训练数据为第一训练样本的属性数据和所述第一训练样本在预设时间段内所产生的待处理信息的历史使用数据；获取第二待训练数据；其中，所述第二待训练数据为所述预估对象第二训练样本的属性数据和所述第二训练样本所产生的实时数据；所述第一训练样本的类型与所述第二训练样本的类型相同；对所述第二待训练数据进行模型训练，得到第二模型参数；基于所述第一模型参数和所述第二模型参数，生成目标训练模型。本发明的实施例同时还公开了一种训练模型生成装置、设备和计算机存储介质。

Description

一种训练模型生成方法、装置、设备和计算机存储介质

技术领域

本发明涉及计算机领域中的训练模型生成技术，尤其涉及一种训练模型生成方法、装置、设备和计算机存储介质。

背景技术

效果广告提高收益的一个手段是通过提每一千次展示可以获得的广告收入(effective Cost Per Mille，eCPM)，由于广告主对于每个点击的出价是固定的，所以提高点击率有助于提高收益。因此，生成预估广告点击率等的模型已经成为一种趋势。目前，智汇推效果广告的点击率预估模型训练中，包括离线训练和实时训练两个部分。实时训练的部分的一个重要方法是在线学习算法，现在常用的在线学习算法是谷歌提出的FTRL(Follow The regularized Leader)算法，此算法对数据复杂度要求是线性的，因此很适合大规模的在线学习，但该算法的学习率是递减的，也就是说算法运行一段时间后，会出现学习率过低从而导致模型无法很好地拟合数据的情况。

为解决上述问题，现有技术提出了两种方案：一种是调整样本权重，每训练一条样本，降低样本所对应的属性取值的其他样本权重，即降低了历史数据的权重。另一种是模型的参数会在多个分片上被保存，防止数据丢失。但是，上述两种方案仍然存在大数据环境中，数据权重衰减会造成历史数据权重很低，甚至会丢弃大量历史数据，进而得到的训练模型效果较差，并且存在小流量的广告数据得不到充分训练的问题。

发明内容

为解决上述技术问题，本发明实施例期望提供一种训练模型生成方法、装置、设备和计算机存储介质，解决了现有生成训练模型的方法中得到的训练结果不准确的问题，实现了小流量的数据也可以得到充分的训练，保证了得到的训练模型的效果。

本发明实施例的技术方案是这样实现的：

第一方面，提供一种训练模型生成方法，所述方法包括：

对获取的第一待训练数据进行模型训练，得到第一模型参数；其中，所述第一待训练数据为第一训练样本的属性数据和所述第一训练样本在预设时间段内所产生的历史数据；

获取第二待训练数据；其中，所述第二待训练数据为第二训练样本的属性数据和所述第二训练样本所产生的实时数据；所述第一训练样本的类型与所述第二训练样本的类型相同；

对所述第二待训练数据进行模型训练，得到第二模型参数；

基于所述第一模型参数和所述第二模型参数，生成目标训练模型。

第二方面，提供一种训练模型生成装置，所述装置包括：第一训练单元、获取单元、第二训练单元和生成单元，其中：

所述第一训练单元，用于对获取的第一待训练数据进行模型训练，得到第一模型参数；其中，所述第一待训练数据是预估对象在预设时间段内所产生的历史数据；

所述获取单元，用于获取第二待训练数据；其中，所述第二待训练数据为所述预估对象所产生的实时数据；

所述第二训练单元，用于对所述第二待训练数据进行模型训练，得到第二模型参数；

所述生成单元，用于基于所述第一模型参数和所述第二模型参数，生成目标训练模型。

第三方面，提供一种训练模型生成设备，所述设备包括：存储器和处理器，其中：

所述处理器，用于对获取的所述存储器中的第一待训练数据进行模型训练，得到第一模型参数；其中，所述第一待训练数据是预估对象在预设时间段内所产生的历史数据；获取第二待训练数据；其中，所述第二待训练数据为所述预估对象所产生的实时数据；对所述第二待训练数据进行模型训练，得到第二模型参数；基于所述第一模型参数和所述第二模型参数，生成目标训练模型。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或多个计算机程序，该计算机程序被处理器执行时实现上述训练模型生成方法的步骤。

本发明的实施例所提供的训练模型生成方法、装置、设备和计算机存储介质，对获取的第一待训练数据进行模型训练得到第一模型参数，第一待训练数据为第一训练样本的属性数据和第一训练样本在预设时间段内所产生的历史数据，获取第二待训练数据，第二待训练数据为第二训练样本的属性数据和第二训练样本所产生的实时数据，第一训练样本的类型与第二训练样本的类型相同，并对第二待训练数据进行模型训练得到第二模型参数，之后基于第一模型参数和第二模型参数生成目标训练模型，这样，可以在对历史数据进行模型训练后，根据获取的模型参数与实时数据一起进行模型训练得到最终需要的训练模型，避免了数据权重的衰减，并且不会控制使用的数据量，解决了现有生成训练模型的方法中得到的训练结果不准确的问题，实现了小流量的数据也可以得到充分的训练，保证了得到的训练模型的效果。

附图说明

图1为本发明的实施例提供的一种训练模型生成方法的流程示意图；

图2为本发明的实施例提供的一种在线训练模型的流程示意图；

图3为本发明的实施例提供的另一种训练模型的流程示意图；

图4为本发明的实施例提供的一种系统架构图；

图5为本发明的实施例提供的一种训练模型生成装置的结构示意图；

图6为本发明的实施例提供的一种训练模型生成设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明的实施例提供一种训练模型生成方法，参照图1所示，该方法包括以下步骤：

步骤101、对获取的第一待训练数据进行模型训练，得到第一模型参数。

其中，第一待训练数据为第一训练样本的属性数据和第一训练样本在预设时间段内所产生的历史数据。

在本发明的其它实施例中，步骤101对获取的第一待训练数据进行模型训练得到第一模型参数可以由训练模型生成装置来实现；训练模型生成装置可以是用于训练数据生成训练模型的一种服务器。第一待训练数据为第一训练样本历史运行过程中在预设时间段内产生的可以用于进行模型训练的数据，预设时间段可以是根据实际的需求设置的一个时间段，例如可以是距离当前时间五天内的时间。第一训练样本可以是任何需要进行模型训练的样本，例如可以是广告、视频、金融产品等；第一待训练数据可以包括用户数据、预估对象数据、用户与第一训练样本交互产生的数据等。如果第一训练样本是广告，第一待训练数据可以包括：用户性别、用户年龄、用户所在区域、广告主、广告的类型、广告中包括的图片、用户点击广告的次数、广告数等；其中，属性数据可以包括：用户性别、用户年龄、用户所在区域、广告主、广告的类型、广告中包括的图片、广告数等；在预设时间段内所产生的历史数据可以包括：用户点击广告的次数等。

第一模型参数是在对第一待训练数据进行模型训练过程中，生成的与对应的训练模型相关的模型参数；在一种可行的实现方式中，第一模型参数可以是对第一待训练数据进行离线的模型训练后生成的。

步骤102、获取第二待训练数据。

其中，第二待训练数据为第二训练样本的属性数据和第二训练样本所产生的实时数据。

在本发明的其它实施例中，步骤102获取第二待训练数据可以由训练模型生成装置来实现；第二待训练数据与第一待训练数据不同，第二待训练数据可以是第二训练样本在实时运行过程中产生的数据，可以是一种实时数据。第一待训练数据和第二待训练数据是同一种类型的第二训练样本对应的数据。第二待训练数据也可以包括用户数据、第二训练样本数据、用户与第二训练样本交互产生的数据等。

步骤103、对第二待训练数据进行模型训练，得到第二模型参数。

其中，步骤103对第二待训练数据进行模型训练得到第二模型参数可以由训练模型生成装置来实现；第二模型参数是在对第二待训练数据进行模型训练过程中，生成的与对应的训练模型相关的模型参数；在一种可行的实现方式中，第二模型参数可以是对第二待训练数据进行在线学习的模型训练后生成的。

步骤104、基于第一模型参数和第二模型参数，生成目标训练模型。

其中，步骤104基于第一模型参数和第二模型参数生成目标训练模型可以由训练模型生成装置来实现；在获取到第一模型参数和第二模型参数之后，可以使用第二模型参数更新第一模型参数，并基于更新后的模型参数生成训练模型，最后对生成的训练模型进行检测后确定最终需要的目标训练模型。

本发明的实施例所提供的训练模型生成方法，对获取的第一待训练数据进行模型训练得到第一模型参数，第一待训练数据为第一训练样本的属性数据和第一训练样本在预设时间段内被交互时所产生的历史数据，获取第二待训练数据，第二待训练数据为第二训练样本的属性数据和第二训练样本被实时交互时所产生的实时数据，第一训练样本的类型与第二训练样本的类型相同，并对第二待训练数据进行模型训练得到第二模型参数，之后基于第一模型参数和第二模型参数生成目标训练模型，这样，可以在对历史数据进行模型训练后，根据获取的模型参数与实时数据一起进行模型训练得到最终需要的训练模型，避免了数据权重的衰减，并且不会控制使用的数据量，解决了现有生成训练模型的方法中得到的训练结果不准确的问题，实现了小流量的数据也可以得到充分的训练，保证了得到的训练模型的效果。

基于前述实施例，本发明的实施例提供一种训练模型生成方法，该方法包括以下步骤：

步骤201、训练模型生成装置对获取的第一待训练数据进行模型训练，得到第一训练模型。

步骤202、训练模型生成装置获取第一训练模型的第一模型指标。

其中，第一模型指标用于描述第一训练模型的准确性。

在本发明的其它实施例中，第一模型指标可以包括：第一训练模型的曲线面积(Area under curve，AUC)、第一训练模型的损失函数(loss function)等指标；其中，在本发明实施例中，loss function指标具体可以包括logloss指标。

步骤203、训练模型生成装置对第一模型指标进行校验。

其中，对第一模型指标进行校验具体可以是按照校验模型指标的方法来进行的；例如，若第一模型指标包括：第一训练模型的AUC和logloss，那么在本发明实施例中就可以按照校验AUC和loglos指标的方法进行模型指标校验。

步骤204、若第一模型指标校验成功，训练模型生成装置获取第一训练模型的第一模型参数。

步骤205、训练模型生成装置获取第二待训练数据的统计参数的值。

其中，统计参数可以是能够标识第二待训练数据的一些统计信息的参数；在一种可行的实现方式中，统计参数可以包括：点击率、特征分布等参数；第二待训练数据的统计参数的值可以是第二待训练数据的点击率、特征分析等参数的值。

步骤206、训练模型生成装置对统计参数的值进行校验。

其中，对统计参数的值进行校验可以是判断统计参数的值是否正确。并且，对统计参数的值进行校验，目的是为了校验第二待训练数据是否正常；如果统计参数的值校验成功，那么第二待训练数据正常。

步骤207、若统计参数的值校验成功，训练模型生成装置对第二待训练数据进行模型训练得到第二模型参数。

若判断得到统计参数的值正确，那说明统计参数的值校验成功，进而，说明第二待训练数据是正常的。

步骤208、训练模型生成装置基于第一模型参数和第二模型参数，生成目标训练模型。

基于前述实施例，在本发明的其他实施例中，该训练模型生成方法还包括以下步骤：

步骤209、训练模型生成装置获取属于预估对象的属性数据。

其中，预估对象的类型与第一训练样本的类型相同。

步骤210、训练模型生成装置根据目标训练模型和预估对象的属性数据对预估对象进行评估。

其中，预估对象可以是与第一训练样本和第二训练样本的类型相同的对象，预估对象也可以包括：广告、视频、金融产品等。如果第一训练样本和第二训练样本为广告，那么预估对象也可以是广告；只是预估对象对应的广告的具体内容与第一训练样本和第二训练样本不同。当然，预估对象的属性数据也可以与第一训练样本和第二训练样本包括的属性数据的类型相同，但是，包括的具体内容不同，也就是说，若预估对象为广告，预估对象的属性数据也可以包括：用户性别、用户年龄、用户所在区域、广告主、广告的类型、广告中包括的图片、广告数等。

根据目标训练模型和预估对象的属性数据对预估对象进行评估，可以是将预估对象的属性数据输入目标训练模型中，经过目标训练模型的处理后得到的结果就是对预估对象的属性数据的评估结果；例如，预估对象是某一个公司需要投放的广告，预估对象的属性数据包括：用户性别、用户年龄、用户所在区域、广告主、广告的类型、广告中包括的图片、广告数等，目标训练模型用于对该需要投放的广告的点击率进行评估，具体实现过程可以是：将用户性别、用户年龄、用户所在区域、广告主、广告的类型、广告中包括的图片、广告数等输入目标训练模型，目标训练模型对这些输入的数据进行处理之后，可以得到该需要投放的广告的点击率。

在一种可行的实现方式中，使用得到的目标训练模型对预估对象进行评估可以是对预估对象的点击率进行评估。

需要说明的是，本实施例中与其他实施例中相同步骤或相关概念的解释可以参照其他实施例中的描述，此处不再赘述。

本发明的实施例所提供的训练模型生成方法，对获取的第一待训练数据进行模型训练得到第一模型参数，第一待训练数据为第一训练样本的属性数据和第一训练样本在预设时间段内所产生的历史数据，获取第二待训练数据，第二待训练数据为第二训练样本的属性数据和第二训练样本所产生的实时数据，第一训练样本的类型与第二训练样本的类型相同，并对第二待训练数据进行模型训练得到第二模型参数，之后基于第一模型参数和第二模型参数生成目标训练模型，这样，可以在对历史数据进行模型训练后，根据获取的模型参数与实时数据一起进行模型训练得到最终需要的训练模型，避免了数据权重的衰减，并且不会控制使用的数据量，解决了现有生成训练模型的方法中得到的训练结果不准确的问题，实现了小流量的数据也可以得到充分的训练，保证了得到的训练模型的效果。

基于前述实施例，本发明的实施例提供一种训练模型生成方法，该方法包括以下步骤：

步骤301、训练模型生成装置对获取的第一待训练数据进行模型训练，得到第一训练模型。

步骤302、训练模型生成装置获取第一训练模型的第一模型指标。

其中，第一模型指标用于描述第一训练模型的准确性。

步骤303、训练模型生成装置将第一预设数据输入第一训练模型，得到第一模型指标。

步骤304、若第一模型指标的值大于第一预设数值，确定第一模型指标校验成功。

其中，第一预设数据可以是预先设置的能够用于对训练模型的模型指标进行校验的数据，第一预设数据可以是与第一待训练数据属于同一种类型的数据，但是第一预设数据可以与第一待训练数据不同。

在一种可行的实现方式中，将第一预设数据输入第一训练模型，得到第一模型指标，可以是将第一预设数据输入至第一训练模型中得到AUC和logloss，判断AUC和logloss的值与预先设置的第一预设数值的大小关系；如果AUC和logloss的值大于第一预设数值，说明AUC和logloss校验成功。例如，第一预设数值可以是一个大于0.76的值。

步骤304、若第一模型指标校验成功，训练模型生成装置获取第一训练模型的第一模型参数。

其中，第一训练模型的AUC和logloss校验成功，说明得到的第一训练模型是正常的，此时第一训练模型的第一模型参数当然也是可用的。

步骤305、训练模型生成装置获取第二待训练数据的统计参数的值。

步骤306、训练模型生成装置确定统计参数的值与预设指标值之间的关系。

其中，预设指标值是预先设置的用于对待训练数据进行校验的指标值；在一种可行的实现方式中，预设指标值可以是根据第二待训练数据的类型，并根据该类型数据的历史使用结果来设置的。例如，如果第二待训练数据对应的统计参数的值包括特征分布值，第二待训练数据包括广告主、广告的类型等广告对应的数据，那么预设指标值可以是广告类型的特征分布值的整体趋势是平稳的；实际获取到的广告的类型的特征分布值的整体趋势不平稳，那么可以确定第二待训练数据的特征分布值未校验通过。

步骤307、若统计参数的值与预设指标值匹配，训练模型生成装置确定统计参数的值校验成功。

步骤308、若统计参数的值校验成功，训练模型生成装置对第二待训练数据进行模型训练得到第二模型参数。

步骤309、训练模型生成装置基于第一模型参数和第二模型参数，生成目标训练模型。

基于前述实施例，在本发明的其他实施例中，该训练模型生成方法还包括以下步骤：

步骤310、若统计参数的值校验失败，训练模型生成装置从预设模型参数中获取与第二待训练数据匹配的第三模型参数。

其中，第三模型参数是与产生第二待训练数据的时间距离最近的待训练数据生成的。

在一种可行的实现方式中，预设模型参数可以是预先存储的一种模型参数；该模型参数中可以存储有模型参数。

第三模型参数与第二模型参数可以不同，第三模型可以是预设模型参数中与第二待训练数据对应的训练样本属于同一类型，且生成该模型参数的时间距离当前时刻最近的模型参数。例如，预估对象是广告，第二待训练数据是广告相关数据，那么第三模型参数可以是当前时刻的前一时刻的广告相关数据对应的模型参数；需要说明的是，该前一时刻的广告相关数据的统计参数的值必须是校验通过的。

步骤311、训练模型生成装置基于第三模型参数和第一模型参数，生成目标训练模型。

需要说明的是，本实施例中与其他实施例中相同步骤或相关概念的解释可以参照其他实施例中的描述，此处不再赘述。

本发明的实施例所提供的训练模型生成方法，对获取的第一待训练数据进行模型训练得到第一模型参数，第一待训练数据为第一训练样本的属性数据和第一训练样本在预设时间段内所产生的历史数据，获取第二待训练数据，第二待训练数据为第二训练样本的属性数据和第二训练样本所产生的实时数据，第一训练样本的类型与第二训练样本的类型相同，并对第二待训练数据进行模型训练得到第二模型参数，之后基于第一模型参数和第二模型参数生成目标训练模型，这样，可以在对历史数据进行模型训练后，根据获取的模型参数与实时数据一起进行模型训练得到最终需要的训练模型，避免了数据权重的衰减，并且不会控制使用的数据量，解决了现有生成训练模型的方法中得到的训练结果不准确的问题，实现了小流量的数据也可以得到充分的训练，保证了得到的训练模型的效果。

基于前述实施例，本发明的实施例提供一种训练模型生成方法，该方法包括以下步骤：

步骤401、训练模型生成装置对获取的第一待训练数据进行模型训练，得到第一训练模型。

步骤402、训练模型生成装置获取第一训练模型的第一模型指标。

其中，第一模型用于描述第一训练模型的准确性。

步骤403、训练模型生成装置采用第一预设数据，通过第一预设训练模型对第一模型指标进行校验。

步骤404、若第一模型指标校验成功，训练模型生成装置获取第一训练模型的第一模型参数。

步骤405、训练模型生成装置获取第二待训练数据对应的统计参数的值。

步骤406、训练模型生成装置确定统计参数的值与预设指标值之间的关系。

步骤407、若统计参数的值与预设指标值匹配，训练模型生成装置确定统计参数的值校验成功。

步骤408、若统计参数的值校验成功，训练模型生成装置对第二待训练数据进行模型训练得到第二模型参数。

其中，对第一待训练数据进行模型训练和对第二待训练数据进行模型训练，可以是使用将L1范数正则化和L2范数正则化相加并与L2范数正则化结合的逻辑回归(logisticregression，LR)模型，并采用FTRL算法进行数据优化实现的。

步骤409、训练模型生成装置基于第二模型参数更新第一模型参数，得到更新模型参数。

其中，基于第二模型参数更新第一模型参数可以是将第二模型参数与第一模型参数进行比较，使用第二模型参数替换第一模型参数。

步骤410、训练模型生成装置基于更新模型参数，生成第二训练模型。

其中，基于更新模型参数生成第二训练模型可以是采用能够使用参数得到模型的方法来实现的。

步骤411、训练模型生成装置对第二训练模型的第二模型指标进行校验。

其中，第二模型指标用于描述第二训练模型的准确性。

在本发明的其它实施例中，第二模型指标可以包括：第二训练模型的曲线面积(Area under curve，AUC)、第二训练模型的损失函数(loss function)等指标；其中，lossfunction指标具体可以包括logloss指标。

步骤411对第二训练模型的第二模型指标进行校验可以通过以下方式来实现：

将第二预设数据输入第二训练模型，得到第二模型指标；

若第二模型指标的值大于第二预设数值，确定第二模型指标校验成功。

其中，第二预设数据可以是预先设置的能够用于对训练模型的模型指标进行校验的数据，第二预设数据可以是与第二待训练数据属于同一种类型的数据，但是第二设数据可以与第二待训练数据不同。第二预设数据可以与第一预设数据相同也可以不同。

在一种可行的实现方式中，将第二预设数据输入第二训练模型得到第二模型指标，可以是将第二预设数据输入至第二训练模型中得到AUC和logloss，判断AUC和logloss的值与预先设置的第二预设数值的大小关系；如果AUC和logloss的值大于第二预设数值，说明AUC和logloss校验成功。例如，第二预设数值可以是一个大于0.76的值。第二预设数值可以与第一预设数值不同。

步骤412、若第二模型指标校验成功，训练模型生成装置确定第二训练模型为目标训练模型。

其中，第二训练模型的AUC和logloss校验成功，说明得到的第二训练模型是正常的，此时就可以将第二训练模型确定为最终需要得到的目标训练模型。

步骤413、若统计参数的值校验失败，训练模型生成装置从预设模型参数中获取与第二待训练数据匹配的第三模型参数。

步骤414、训练模型生成装置基于第三模型参数和第一模型参数，生成目标训练模型。

基于前述实施例，在本发明的其他实施例中，该训练模型生成方法还包括以下步骤：

步骤415、训练模型生成装置将第三预设数据输入第二模型参数对应的训练模型中，得到第三模型指标。

步骤416、若第三模型指标的值大于第三预设数值，用第二模型参数更新预设模型参数中与第二模型参数对应的模型参数并存储。

在本发明的其它实施例中，第三预设数值也可以是一个大于0.76的值，第三预设数值可以与第一预设数值不同；预设模型参数中的模型参数存储在分布式服务系统的参数服务分片中。

本发明实施例中在进行模型训练过程中，只需要对生成的模型参数进行多备份，而不是每次进行模型训练过程中都需要更新最终生成的模型参数，大大降低了训练过程中的频繁数据传输。

在一种可行的实现方式中，预设模型参数在实际应用中可以是一种模型参数；模型参数的保存可以基于分布式文件系统(Hadoop Distributed File System，HDFS)来进行。目前分为30个参数服务分片存储模型参数，加载的时候可以由30个参数服务分片分别加载。这样，可以提高模型参数加载的效率。并且，保存的时候也可以是由30个参数服务分片分别保存，可以提高模型参数保存的效率。

更新模型参数可以是通过更新参数服务分片的参数来实现。其中，参数更新是由工作者(worker)线程发起，根据不同的分区策略，发送到多个参数服务分片，参数服务分片通过接受队列进行更新处理。需要说明的是，只有当所有参数服务分片执行完参数更新请求后，worker线程才能继续执行计算任务。参数服务分片在执行快照的保存时通过内存参数拷贝，异步写入HDFS，这样可以同时接受参数更新服务，提高参数服务分片的服务效率，避免不可用情况发生。如此，本发明实施例中采用参数服务分片可以解决参数过大导致单机内存不足的问题，同时可以提高参数更新的并行度。

每个worker在每次更新时，可根据更新的参数同时与server group中的一个或多个服务器节点(server node)进行通信，当所有更新请求完成后，worker可进行一下轮更新。由于server和worker之间的通信是异步的，因此在server node进行更新时worker节点可以进行下一轮计算。

在发出请求后，worker可以进行与服务器(server)的交互的计算，即下一次更新的参数集合。并且，Worker只需要与更新有关的参数信息，而不是所有参数。

进一步地，在进行第一模型指标校验过程中，若第一模型指标校验失败，就生成告警信息，以便告知相应的用户；

在进行第二模型指标校验过程中，若第二模型指标校验失败，生成告警信息；

在进行统计参数的值校验过程中，若统计参数的值校验失败的次数持续大于预设数值，生成告警信息。

其中，预设数值可以是以能够保证统计参数的值的校验失败是数据本身存在问题为标准设置的；实际应用中，不同指标出现异常的告警等级是不同的，点击率和数据分布等统计参数的值出现异常往往是由数据的延迟引起的，一般很快能够自行恢复，并不是数据本身存在问题。因此，当统计参数的值开始出现校验失败时不会发出告警信息。

需要说明的是，本实施例中与其他实施例中相同步骤或相关概念的解释可以参照其他实施例中的描述，此处不再赘述。

本发明的实施例所提供的训练模型生成方法，对获取的第一待训练数据进行模型训练得到第一模型参数，第一待训练数据为第一训练样本的属性数据和第一训练样本在预设时间段内所产生的历史数据，获取第二待训练数据，第二待训练数据为第二训练样本的属性数据和第二训练样本所产生的实时数据，第一训练样本的类型与第二训练样本的类型相同，并对第二待训练数据进行模型训练得到第二模型参数，之后基于第一模型参数和第二模型参数生成目标训练模型，这样，可以在对历史数据进行模型训练后，根据获取的模型参数与实时数据一起进行模型训练得到最终需要的训练模型，避免了数据权重的衰减，并且不会控制使用的数据量，解决了现有生成训练模型的方法中得到的训练结果不准确的问题，实现了小流量的数据也可以得到充分的训练，保证了得到的训练模型的效果。同时，可以丢弃异常的数据，避免了数据异常带来的不利影响。

如图2所示为现有的在线训练的过程，如图2先读入实时数据得到样本b1，如果已经是进行了很长时间的模型训练，之后需要对得到的样本的权重进行调整b2，调整后采用调整后的样本进行模型的训练b3，得到需要的训练模型并输出。其中，在对样本的权重进行调整之后可以将训练得到的模型参数存储到服务组中。存储的时候可以是多备份存储，例如可以备份至少三份，以保证模型参数的可用性。

本发明实施例提供的训练模型生成方法可以应用于智汇推效果广告的点击率预估模型训练中，模型训练过程包括离线训练部分和在线训练(也就是实时在线学习)两个部分。实时在线学习可以及时捕捉数据的变化，提高点击率预估模型的实时性和有效性，提高同等流量下的收益，增强用户体验等。

1)FTRL算法运行一段时间后，会出现学习率过低从而导致模型无法很好地拟合数据的情况。出于较老的数据时效性差的考虑，我们通过离线训练最近5天数据产生的模型参数，再传输给在线学习模块，从而正常地捕获数据变化。

2)在线学习需要多条数据流进行实时参与，一旦某些数据出现延迟或者异常，将直接影响模型的正确性，影响在线服务。通过对一段较小时间的数据指标进行检测，及时发现数据流的问题；通过对生成模型的检测避免错误模型的分发。

3)通过模型参数方式对模型进行保存，模型已训练过的数据已反映在模型中。这样，通过保存生成模型所需的模型参数即等价于保存了训练过的数据。通过模型参数方式可以快速进行模型的检查。当离线数据训练完成后，通过加载离线训产生的模型参数进行学习率调整；当在线学习中出现异常情况时，可以通过模型参数进行异常数据的丢弃。

基于前述实施例，图3为本发明实施例训练模型的生成方法的一种流程示意图；如图3所示，在使用第一训练样本的第一待训练数据(即包括属性数据和历史数据)进行离线训练a1后，生成第一模型参数；同时使用第二训练样本的第二待训练数据(即包括属性数据和实时数据)进行在线训练a2，生成第二模型参数，之后根据第一模型参数和第一模型参数生成训练模型a3，并对该训练模型的模型指标进行检测正常a4后，将该训练模型输出a5。其中，在进行在线的模型训练过程中，需要对第二训练样本的属性数据和实时数据进行数据异常检测a6，如果数据检测正常，继续进行模型训练生成第二模型参数；如果数据检测异常，从预设模型参数a7中获取模型参数与第一模型参数一起生成训练模型；数据异常检测可以是通过检测数据的统计参数来实现的，若统计参数检测正常那么数据就正常。需要说明的是，在每次进行在线模型训练中生成的第二模型参数，在检测该第二模型参数正常后可以写入预设模型参数a7中；在进行第二模型参数检测之前，可以先将第二模型参数存储在服务组中，之后从服务组中获取该第二模型参数并进行检测a8。同时，在进行整个模型训练过程中，可以通过检测程序每隔一小段时间对在线训练任务进行监测(在线训练监测)a9，如果发现任务失败，会重新拉取任务，任务在启动时加载合理的模型参数进行训练。其中，任务失败的主要原因是模型指标出现异常，程序自行终止。

本发明中通过上述所示的训练模型的方法进行模型训练后，使得历史数据能够得到充分训练，不会丢弃任何正常的历史数据，点击率模型的效果具有较好保证。加入了时间维度(即只获取预设时间段内的历史数据)，使得训练模型对点击率的预测考虑了时间因素。当数据出现延迟时，模型会通过历史同时间段的数据给出较为合理的点击率。同时，可以精确控制需要训练的历史数据，可以丢弃不正常的数据。

下面介绍一下本发明实施例所涉及的信息交互的各硬件实体，图4为本发明实施例中进行信息交互的各方硬件实体的示意图，以预估对象为广告为例进行说明，图4中包括：服务器(可以为生成有训练模型的设备组成的系统)A1……An、终端设备B1……Bn，可以为广告主所在的终端或称为提供广告素材和内容推广的对象，一个示例中，服务器A1……An可以通过网络与B1……Bn进行交互，终端设备将想要投放的广告通过网络提交后，被存储在服务器集群中。服务器经过一系列处理后可以生成需要的目标训练模型，并采用该目标训练模型对广告进行评估；当然，在一种可行的实现方式中，生成目标训练模型过程中，需要的第二待训练数据也可以是终端设备通过网络给服务器的。上述图4的例子只是实现本发明实施例的一个系统架构实例，本发明实施例并不限于上述图4所述的系统结构。

基于前述实施例，本发明的实施例提供一种训练模型生成装置，参照图5所示，该装置5包括：第一训练单元51、获取单元52、第二训练单元53和生成单元54，其中：

第一训练单元51，用于对获取的第一待训练数据进行模型训练，得到第一模型参数；

其中，第一待训练数据是为第一训练样本的属性数据和第一训练样本在预设时间段内所产生的历史数据；

获取单元52，用于获取第二待训练数据；

其中，第二待训练数据为第二训练样本的属性数据和第二训练样本所产生的实时数据；

第二训练单元53，用于对第二待训练数据进行模型训练，得到第二模型参数；

生成单元54，用于基于第一模型参数和第二模型参数，生成目标训练模型。

在本发明的其他实施例中，该装置还包括评估单元，其中：

获取单元，还用于获取属于预估对象的属性数据；其中，预估对象的类型与第一训练样本的类型相同；

评估单元，用于根据目标训练模型和预估对象的属性数据对预估对象进行评估。

在本发明的其他实施例中，第一训练单元包括：第一训练模块、第一获取模块、第一校验模块和第二获取模块，其中：

第一训练模块，用于对第一待训练数据进行模型训练，得到第一训练模型；

第一获取模块，用于获取第一训练模型的第一模型指标；其中，第一模型指标用于描述第一训练模型的准确性；

第一校验模块，用于对第一模型指标进行校验；

第二获取模块，用于若第一模型指标校验成功，获取第一训练模型的第一模型参数。

在本发明的其他实施例中，第一校验模块，还用于执行以下步骤：

将第一预设数据输入第一训练模型，得到第一模型指标；

若第一模型指标的值大于第一预设数值，确定第一模型指标校验成功。

在本发明的其他实施例中，第二训练单元包括：第三获取模块、第二校验模块和第二训练模块，其中：

第三获取模块，用于获取第二待训练数据的统计参数的值；

第二校验模块，用于对统计参数的值进行校验；

第二训练模块，用于若统计参数的值校验成功，对第二待训练数据进行模型训练得到第二模型参数。

在本发明的其他实施例中，第二训练单元还包括：第一生成模块，其中：

第三获取模块，还用于若统计参数的值校验失败，从预设模型参数中获取与第二待训练数据匹配的第三模型参数；

其中，第三模型参数是与产生第二待训练数据的时间距离最近的待训练数据生成的；

第一生成模块，用于基于第三模型参数和第一模型参数，生成目标训练模型。

在本发明的其他实施例中，第二校验模块还用于执行以下步骤：

确定统计参数的值与预设指标值之间的关系；

若统计参数的值与预设指标值匹配，确定统计参数的值校验成功。

在本发明的其他实施例中，生成单元包括：更新模块、第二生成模块、第三校验模块和处理模块，其中：

更新模块，用于基于第二模型参数更新第一模型参数，得到更新模型参数；

第二生成模块，用于基于更新模型参数，生成第二训练模型；

第三校验模块，用于对第二训练模型的第二模型指标进行校验；

其中，第二模型指标用于描述第二训练模型的准确性；

处理模块，用于若第二模型指标校验成功，确定第二训练模型为目标训练模型。

在本发明的其他实施例中，第三校验模块还可以用于执行以下步骤：

将第二预设数据输入第二训练模型，得到第二模型指标；

若第二模型指标的值大于第二预设数值，确定第二模型指标校验成功。

在本发明的其他实施例中，训练模型生成装置还包括：更新单元，其中：

更新单元，用于将第三预设数据输入第二模型参数对应的训练模型中，得到第三模型指标；

更新单元，还用于若第三模型指标的值大于第三预设数值，用第二模型参数更新预设模型参数中与第二模型参数对应的模型参数并存储；

其中，预设模型参数中的模型参数存储在分布式服务系统的参数服务分片中。

在实际应用中，所述第一训练单元51、获取单元52、第二训练单元53、生成单元54、第一训练模块、第一获取模块、第一校验模块、第二获取模块、第三获取模块、第二校验模块、第二训练模块、第一生成模块、更新模块、第二生成模块、第三校验模块、处理模块和更新单元均可由位于无线数据发送设备中的中央处理器(Central Processing Unit，CPU)、微处理器(Micro Processor Unit，MPU)、数字信号处理器(Digital Signal Processor，DSP)或现场可编程门阵列(Field Programmable Gate Array，FPGA)等实现。

本发明的实施例中，可以在对历史数据进行模型训练后，根据获取的模型参数与实时数据一起进行模型训练得到最终需要的训练模型，避免了数据权重的衰减，并且不会控制使用的数据量，解决了现有生成训练模型的方法中得到的训练结果不准确的问题，实现了小流量的数据也可以得到充分的训练，保证了得到的训练模型的效果。

基于前述实施例，本发明的实施例提供一种训练模型生成设备，该设备可以应用于上述实施例提供的一种训练模型生成方法中，参照图6所示，该训练模型生成设备6包括：处理器61、存储器62和通信接口63，处理器62存在于处理组件64中，其中：

通信接口63，用于实现处理器61与存储器62之间的通信连接；

处理器61，用于对获取的存储器中的第一待训练数据进行模型训练，得到第一模型参数；其中，第一待训练数据为第一训练样本的属性数据和第一训练样本在预设时间段内所产生的历史数据；获取第二待训练数据；其中，第二待训练数据为第二训练样本的属性数据和第二训练样本所产生的实时数据；对第二待训练数据进行模型训练，得到第二模型参数；基于第一模型参数和第二模型参数，生成目标训练模型。

基于前述实施例，本发明的实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有一个或多个计算机程序，该计算机程序被处理器执行时实现以下步骤：

对获取的第一待训练数据进行模型训练，得到第一模型参数；其中，第一待训练数据为第一训练样本的属性数据和第一训练样本在预设时间段内所产生的历史数据；获取第二待训练数据；其中，第二待训练数据为第一训练样本的属性数据和第一训练样本所产生的实时数据；对第二待训练数据进行模型训练，得到第二模型参数；基于第一模型参数和第二模型参数，生成目标训练模型。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (12)

1.一种训练模型生成方法，其特征在于，所述方法包括：

对获取的第一待训练数据进行模型训练，得到第一模型参数；其中，所述第一待训练数据为第一训练样本的属性数据和所述第一训练样本在预设时间段内所产生的历史数据；

获取第二待训练数据；其中，所述第二待训练数据为第二训练样本的属性数据和所述第二训练样本所产生的实时数据；所述第一训练样本的类型与所述第二训练样本的类型相同；

对所述第二待训练数据进行模型训练，得到第二模型参数；

基于所述第一模型参数和所述第二模型参数，生成目标训练模型。

2.根据权利要求1所述的方法，其特征在于，所述对获取的第一待训练数据进行模型训练，得到第一模型参数，包括：

对所述第一待训练数据进行模型训练，得到第一训练模型；

获取所述第一训练模型的第一模型指标；其中，所述第一模型指标用于描述所述第一训练模型的准确性；

对所述第一模型指标进行校验，若所述第一模型指标校验成功，获取所述第一训练模型的所述第一模型参数。

3.根据权利要求2所述的方法，其特征在于，所述对第一模型指标进行校验，包括：

将第一预设数据输入所述第一训练模型，得到所述第一模型指标；其中，所述第一预设数据是用于校验所述第一模型指标的数据；

若所述第一模型指标的值大于第一预设数值，确定所述第一模型指标校验成功。

4.根据权利要求1所述的方法，其特征在于，所述对所述第二待训练数据进行模型训练，得到第二模型参数，包括：

获取所述第二待训练数据的统计参数的值；

对所述统计参数的值进行校验，若所述统计参数的值校验成功，对所述第二待训练数据进行模型训练得到所述第二模型参数。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若所述统计参数的值校验失败，从预设模型参数中获取与所述第二待训练数据匹配的第三模型参数；其中，所述第三模型参数是与产生所述第二待训练数据的时间距离最近的待训练数据生成的；

基于所述第三模型参数和所述第一模型参数，生成所述目标训练模型。

6.根据权利要求4所述的方法，其特征在于，所述对统计参数的值进行校验，包括：

确定所述统计参数的值与预设指标值之间的关系；

若所述统计参数的值与所述预设指标值匹配，确定所述统计参数的值校验成功。

7.根据权利要求1所述的方法，其特征在于，所述基于所述第一模型参数和所述第二模型参数，生成目标训练模型，包括：

基于所述第二模型参数更新所述第一模型参数，得到更新模型参数；

基于所述更新模型参数，生成第二训练模型；

对所述第二训练模型的第二模型指标进行校验；其中，所述第二模型指标用于描述所述第二训练模型的准确性；

若所述第二模型指标校验成功，确定所述第二训练模型为所述目标训练模型。

8.根据权利要求7所述的方法，其特征在于，所述对所述第二训练模型的第二模型指标进行校验，包括：

将第二预设数据输入所述第二训练模型，得到所述第二模型指标；其中，所述第二预设数据是用于校验所述第二模型指标的数据；

若所述第二模型指标的值大于第二预设数值，确定所述第二模型指标校验成功。

9.根据权利要求4所述的方法，其特征在于，所述方法还包括：

将第三预设数据输入所述第二模型参数对应的训练模型中，得到第三模型指标；

若所述第三模型指标的值大于第三预设数值，用所述第二模型参数更新预设模型参数中与所述第二模型参数对应的模型参数并存储；其中，所述预设模型参数中的模型参数存储在分布式服务系统的参数服务分片中。

10.一种训练模型生成装置，其特征在于，所述装置包括：第一训练单元、获取单元、第二训练单元和生成单元，其中：

所述第一训练单元，用于对获取的第一待训练数据进行模型训练，得到第一模型参数；其中，所述第一待训练数据为第一训练样本的属性数据和所述第一训练样本在预设时间段内所产生的历史数据；

所述获取单元，用于获取第二待训练数据；其中，所述第二待训练数据为第二训练样本的属性数据和所述第二训练样本所产生的实时数据；

所述第二训练单元，用于对所述第二待训练数据进行模型训练，得到第二模型参数；

所述生成单元，用于基于所述第一模型参数和所述第二模型参数，生成目标训练模型。

11.一种训练模型生成设备，其特征在于，所述设备包括：存储器和处理器，其中：

所述处理器，用于对获取的所述存储器中的第一待训练数据进行模型训练，得到第一模型参数；其中，所述第一待训练数据第一训练样本的属性数据和所述第一训练样本在预设时间段内所产生的历史数据；获取第二待训练数据；其中，所述第二待训练数据为第二训练样本的属性数据和所述第二训练样本所产生的实时数据；对所述第二待训练数据进行模型训练，得到第二模型参数；基于所述第一模型参数和所述第二模型参数，生成目标训练模型。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有一个或多个计算机程序，该计算机程序被处理器执行时实现权利要求1至9所述方法的步骤。