CN112508638A - 数据处理的方法、装置及计算机设备 - Google Patents

Abstract

本申请公开了一种数据处理的方法、装置及计算机设备，该方法包括：获取用户数据集和推荐数据集，分别提取出对应的用户画像集和推荐数据特征集；将所述用户画像集中每一类别的兴趣标签分别与推荐数据特征集中的每一个推荐数据特征进行特征交叉得到交叉特征集；从所述交叉特征集中选择出目标交叉特征，并判断所述目标交叉特征是否为有效交叉特征；当所述目标交叉特征为有效交叉特征时，将所述目标交叉特征添加到交叉特征集；根据所述交叉特征集和所述用户画像集确定的点击率预估模型。本申请还提供一种计算机可读存储介质。本申请能够有效提升点击率预估模型的预估准确度。

Description

数据处理的方法、装置及计算机设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理的方法、装置及计算机设备。

背景技术

随着互联网技术的发展，越来越多的用户选择在网上浏览、挑选或者购买自己需要的商品。随着商品数目和种类的增多，用户往往需要花费大量的时间才能找到自己需要的商品。为了解决这个问题，各个电商平台都不同程度地采用各种形式的推荐技术向用户进行商品推荐。其中，为了达到向用户及时推荐各种有用信息又尽量避免推荐无用信息的目的，通常会先根据用户信息构建出用户的用户画像，用户画像包括至少一项兴趣标签；然后再将用户的用户画像输入到点击率预估模型模板，从而训练出能够预估出不同用户画像的用户对于推荐数据的点击概率的点击率预估模型。

然而，推荐数据一般包括不同类型的产品数据或服务数据，不同类型的产品数据或服务数据要求匹配的用户画像具有较大差异，即使相似的产品数据或服务数据，其要求匹配的用户画像也稍有差别，因此，通过以上方式训练得到的点击率预估模型对于包括多种类型的产品数据或服务数据的推荐数据而言，其预估出的点击率并不准确。

发明内容

本申请提出一种数据处理的方法、装置及计算机设备，能够解决上述的点击率预估模型的准确度不高的问题。

首先，为实现上述目的，本申请提供一种数据处理的方法，所述方法包括：

获取采样数据，所述采样数据包括用户数据集和推荐数据集；根据所述用户数据集提取出对应的用户画像集，从所述推荐数据集中提取出推荐数据特征集；将所述用户画像集中每一类别的兴趣标签分别与推荐数据特征集中的每一个推荐数据特征进行特征交叉得到对应的交叉特征，所有交叉特征形成交叉特征集；从所述交叉特征集中选择出目标交叉特征，其中所述目标交叉特征为所述交叉特征集中的任一交叉特征，通过预设方式判断所述目标交叉特征是否为有效交叉特征；当所述目标交叉特征为有效交叉特征时，将所述目标交叉特征添加到交叉特征集；根据所述交叉特征集和所述用户画像集确定的点击率预估模型。

在一个例子中，所述根据所述用户数据集提取出对应的用户画像集包括：根据预设的时间区段对所述用户数据集中的目标用户数据进行划分，得到所述目标用户数据对应的用户长期数据和用户短期数据，所述目标用户数据为所述用户数据集中的任一用户数据；根据预设的用户画像模型对所述用户数据集中的每一个用户数据对应的用户长期数据和用户短期数据进行画像，从而获得每一个用户数据对应的长期兴趣标签和短期兴趣标签；将所有用户数据对应的长期兴趣标签和短期兴趣标签作为所述用户画像集。

在一个例子中，所述根据预设的用户画像模型对所述用户数据集中的每一个用户数据对应的用户长期数据和用户短期数据进行画像，从而获得每一个用户数据对应的长期兴趣标签和短期兴趣标签包括：获取每一个用户数据经由所述用户画像模型画像出来的所有长期兴趣标签和短期兴趣标签对应的权重值；根据所述权重值对所述用户数据对应的所有长期兴趣标签和短期兴趣标签进行排序，将排序在末尾的预设数量的长期兴趣标签和/或短期兴趣标签剔除。

在一个例子中，所述根据所述交叉特征集和所述用户画像集确定的点击率预估模型包括：将所述交叉特征集和所述用户画像集作为训练数据对预设的点击率预估基础模型进行训练，得到点击率预估模型。

在一个例子中，所述通过预设方式判断所述目标交叉特征是否为有效交叉特征包括：将所述用户画像集作为训练数据对所述点击率预估基础模型进行训练，得到点击率预估初始模型；将所述交叉特征输入到所述点击率预估初始模型进行训练得到点击率预估修正模型；获取所述点击率预估修正模型的评测参数，判断所述评测参数是否大于预设的参考阈值；当所述评测参数大于所述参考阈值时，则判定所述交叉特征为有效交叉特征。

在一个例子中，当所述评测参数为所述点击率预估修正模型的AUC时，所述判断所述评测参数是否大于预设的参考阈值包括：获取所述点击率预估初始模型的AUC并作为参考阈值；判断所述点击率预估修正模型的AUC是否大于所述点击率预估初始模型的AUC。

在一个例子中，当所述评测参数为所述点击率预估修正模型能够识别的所述交叉特征的预估特征空间时，所述判断所述评测参数是否大于预设的参考阈值包括：获取所述交叉特征的原始特征空间；判断所述预估特征空间与所述原始特征空间的比值是否大于预设的阈值，其中，所述预估特征空间为所述点击率预估修正模型能够筛选出的所述交叉特征的特征空间。

在一个例子中，所述点击率预估模型为FM模型，所述方法还包括：根据所述点击率预估模型对所述用户画像数据进行点击率预估，得到对应的用户点击率数据，所述用户点击率数据包括每一用户的预估点击率；从所述用户点击率数据中筛选出预估点击率高于预设的点击率阈值的第一用户集，并将目标推荐数据集推荐到所述第一用户集；监测出所述第一用户集中对所述目标推荐数据集进行点击操作的目标用户集；将所述目标用户集和所述目标推荐数据集作为新采样数据用于对所述点击率预估模型执行进一步训练。

此外，为实现上述目的，本申请还提供一种数据处理的装置，所述装置包括：

获取模块，用于获取采样数据，所述采样数据包括用户数据集和推荐数据集；提取模块，用于根据所述用户数据集提取出对应的用户画像集，从所述推荐数据集中提取出推荐数据特征集；交叉模块，用于将所述用户画像集中每一类别的兴趣标签分别与推荐数据特征集中的每一个推荐数据特征进行特征交叉得到对应的交叉特征，所有交叉特征形成交叉特征集；判断模块，用于从所述交叉特征集中选择出目标交叉特征，其中所述目标交叉特征为所述交叉特征集中的任一交叉特征，通过预设方式判断所述目标交叉特征是否为有效交叉特征；训练模块，用于当所述目标交叉特征为有效交叉特征时，将所述目标交叉特征添加到交叉特征集；以及根据所述交叉特征集和所述用户画像集确定的点击率预估模型。

进一步地，本申请还提出一种计算机设备，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述的数据处理的方法的步骤。

进一步地，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的数据处理的方法的步骤。

相较于现有技术，本申请所提出的数据处理的方法、装置、计算机设备及计算机可读存储介质，能够获取用户数据集和推荐数据集，分别提取出对应的用户画像集和推荐数据特征集；将所述用户画像集中每一类别的兴趣标签分别与推荐数据特征集中的每一个推荐数据特征进行特征交叉得到对应的交叉特征，所有交叉特征形成交叉特征集；从所述交叉特征集中选择出目标交叉特征，并判断所述目标交叉特征是否为有效交叉特征；当所述目标交叉特征为有效交叉特征时，将所述目标交叉特征添加到交叉特征集；根据所述交叉特征集和所述用户画像集确定的点击率预估模型。通过将用户兴趣标签与推荐数据特征的交叉特征以及用户画像数据作为训练数据训练处一个点击率预估模型，能够有效提升点击率预估模型的预估准确度。

附图说明

图1是本申请一实施例的应用环境示意图；

图2是本申请数据处理的方法一具体实施例的流程示意图；

图3是本申请一示例性例子对于点击率预估模型执行训练的流程效果图；

图4是本申请数据处理的装置一实施例的程序模块示意图；

图5是本申请计算机设备一可选的硬件架构的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

图1是本申请一实施例的应用环境示意图。参阅图1所示，所述计算机设备1与数据服务器20连接，所述数据服务器20与用户端10连接。任一用户端10均可以访问所述数据服务器20上的数据，比如通过访问App页面或者网页的方式访问所述数据服务器20上的数据，然后所述数据服务器20可以将推荐数据通过所述App页面或者网页推荐给用户端10，并且，所述数据服务器20可以通过得到用户端10的授权后获取用户端10上的用户数据。

因此，所述计算机设备1与所述数据服务器20连接后，能够通过所述数据服务器20获取到用户数据集和推荐数据集，分别提取出对应的用户画像集和推荐数据特征集；将所述用户画像集中每一类别的兴趣标签分别与推荐数据特征集中的每一个推荐数据特征进行特征交叉得到对应的交叉特征，所有交叉特征形成交叉特征集；从所述交叉特征集中选择出目标交叉特征，并判断所述目标交叉特征是否为有效交叉特征；当所述目标交叉特征为有效交叉特征时，将所述目标交叉特征添加到交叉特征集；将所述交叉特征集和所述用户画像集作为训练数据对预设的点击率预估基础模型进行训练，得到点击率预估模型；最后，所述计算机设备1将所述点击率预估模型发送至所述数据服务器20以用于预估用户端10对于推荐数据的点击率。

在本实施例中，所述数据服务器20可作为手机、平板、便携设备、PC机或者其他数据服务平台，比如视频服务平台，网购平台等；所述用户端10可作为手机、平板、便携设备、PC机等；所述计算机设备1可作为手机、平板、便携设备、PC机或者服务器等。当然，在其他实施例中，所述计算机设备1可以与所述数据服务器20合并为同一个电子设备，或者所述计算机设备1也可以作为独立的功能模块附加到所述数据服务器20上以实现点击率预估模型训练的功能。

实施例一

图2是本申请数据处理的方法一实施例的流程示意图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备1为执行主体进行示例性描述。

如图2所示，所述数据处理的方法可以包括步骤S200～S210。

步骤S200，获取采样数据，所述采样数据包括用户数据集和推荐数据集。

步骤S202，根据所述用户数据集提取出对应的用户画像集，从所述推荐数据集中提取出推荐数据特征集。

具体的，所述计算机设备1与数据服务器连接，而所述数据服务器专为用户提供数据服务，每个用户端都可以访问所述数据服务器上的数据，比如通过访问App页面或者网页的方式访问所述数据服务器上的数据，然后所述数据服务器则可以将推荐数据通过所述App页面或者网页推荐给用户端，并且在得到用户端授权后所述数据服务器还可以获取用户端上的用户数据。因此，所述计算机设备1通过所述数据服务器可以获取到包括用户数据集合推荐数据集的采样数据。在本实施例中，所述采样数据为推荐数据的曝光数据，也就是说推荐数据集为展示在用户端的所有推荐数据，包括商品广告数据或者宣传数据，而用户数据集为对展示的推荐数据进行点击或浏览等操作的用户端对应的用户数据，包括用户行为数据和用户信息。

所述计算机设备1在获取到所述用户数据集和推荐数据集之后，则会从所述用户数据集和推荐数据集中分别提取出对应的用户画像集和推荐数据特征集，其中，用户画像是通过预设的用户画像模型对用户数据进行识别得到的，用户画像集中包括所有用户的用户画像。例如，当前大多数用户画像模型主要是通过构建一个深度学习模型对用户行为记录信息以及用户信息进行学习，从而识别出用户的兴趣标签，比如，用户画像模型可以通过对用户的点击、浏览某一类型内容的网页的行为识别出用户对于该类型内容的兴趣标签；或者通过用户对于检索、浏览、问答、购买某一类型的商品或商品信息的行为识别出用户对于该类型商品的兴趣标签。因此，所述计算机设备1可以通过预设的用户画像模型对所述用户数据集的用户数据进行识别，从而得到对应的用户画像集。而对于推荐特征集，则是从推荐数据集中对每一个推荐数据进行推荐特征提取，从而汇总为一个推荐数据特征集，推荐数据特征包括推荐数据的名称、类型、用途、适用人群、适用年龄、适用性别或者价格范围，以及其他用于描述推荐数据的标签属性。所述计算机设备1在获取到推荐数据集之后，则可以进一步获取推荐数据集中每一个推荐数据中标记的标签属性，从而形成所述推荐数据特征集。

在本实施例中，所述计算机设备1根据所述用户数据集提取出对应的用户画像集包括：根据预设的时间区段对所述用户数据集中的目标用户数据进行划分，得到所述目标用户数据对应的用户长期数据和用户短期数据，所述目标用户数据为所述用户数据集中的任一用户数据；根据预设的用户画像模型对所述用户数据集中的每一个用户数据对应的用户长期数据和用户短期数据进行画像，从而获得每一个用户数据对应的长期兴趣标签和短期兴趣标签；将所有用户数据对应的长期兴趣标签和短期兴趣标签作为所述用户画像集。

其中，由于用户的偏好度会随着时间的改变而改变，而长期兴趣标签由于时间跨度足够大，能够精准且高置信地刻画用户稳定、持久的兴趣偏好，却也因此很难在用户的兴趣发生变化时及时地做出反应。而短期兴趣标签虽然可能存在较多的噪声，例如将用户的误点击行为视作用户的偏好行为，但在动态刻画兴趣变化的时效性上表现优异。因此，所述计算机设备1通过将长期兴趣标签和短期兴趣标签分别作为用户的兴趣标签，组成用户画像，从而可以更加精确地描述用户的特征，然后训练点击率预估模型过程中，通过用户的长期兴趣标签同时兼顾用户的短期兴趣标签，可以提升点击率预估模型的泛化能力，更好地提供个性化的数据推荐。

当然，在一具体实施例中，所述计算机设备1根据预设的用户画像模型对所述用户数据集中的每一个用户数据对应的用户长期数据和用户短期数据进行画像，从而获得每一个用户数据对应的长期兴趣标签和短期兴趣标签，包括：获取每一个用户数据经由所述用户画像模型画像出来的所有长期兴趣标签和短期兴趣标签对应的权重值；根据所述权重值对所述用户数据对应的所有长期兴趣标签和短期兴趣标签进行排序，将排序在末尾的预设数量的长期兴趣标签和/或短期兴趣标签剔除。其中，过多的特征数据用于训练点击率预估模型虽然可以提升点击率预估模型的预估效果，但是训练出的点击率预估模型的复杂度也会上升导致性能下降，因此，所述计算机设备1预先设置参与训练的特征的数量，然后判断出最终的特征数量过多的情况下，剔除出现概率小的那部分特征，从而在保证不影响点击率预估模型的预估效果的前提下，提升点击率预估模型的性能。

步骤S204，将所述用户画像集中每一类别的兴趣标签分别与推荐数据特征集中的每一个推荐数据特征进行特征交叉得到对应的交叉特征，所有交叉特征形成交叉特征集。

所述计算机设备1在获取到所述用户画像集和所述推荐数据特征集之后，则会进一步通过特征工程将所述用户画像集中每一类别的兴趣标签分别与推荐数据特征集中的每一个推荐数据特征进行特征交叉。具体的，所述计算机设备1通过特征工程将所述用户画像集中的兴趣标签与所述推荐数据集中的推荐数据特征进行交叉以学习特征间的交互作用。特征交叉也叫特征组合，是将两个特征组合成一个特征，特征交叉是一种广泛应用在线性模型上来学习非线性关系的做法。在点击率预估模型中，如果只使用用户的兴趣标签作为特征学习，那么可能会学习到不同兴趣标签对应的人群的对于推荐数据的点击比例，但是不能学习到对于不同类型的推荐数据的点击比例；而通过将用户的长期兴趣特征、短期兴趣特征与不同推荐数据的推荐数据特征，比如推荐数据类型进行特征交叉，则可以使得训练出的点击率预估模型能够学习到不同兴趣标签的人群对于不同类型的推荐数据的兴趣差异。

步骤S206，从所述交叉特征集中选择出目标交叉特征，其中所述目标交叉特征为所述交叉特征集中的任一交叉特征，通过预设方式判断所述目标交叉特征是否为有效交叉特征。

在本实施例中，所述计算机设备1对用户画像集对应的兴趣标签与推荐数据集对应的推荐数据特征进行特征交叉，得到交叉特征集之后，还会判断所述交叉特征集中任一交叉特征是否为有效交叉特征。其中，有效交叉特征说明该交叉特征能够提升点击率预估模型的预估准确度。

在一具体实施例中，所述计算机设备1通过预设方式判断所述目标交叉特征是否为有效交叉特征，包括：将所述用户画像集作为训练数据对所述点击率预估基础模型进行训练，得到点击率预估初始模型；将所述交叉特征输入到所述点击率预估初始模型进行训练得到点击率预估修正模型；获取所述点击率预估修正模型的评测参数，判断所述评测参数是否大于预设的参考阈值；当所述评测参数大于所述参考阈值时，则判定所述交叉特征为有效交叉特征。其中，点击率预估初始模型是所述计算机设备1预先将所述用户画像集作为训练数据对预设的点击率预估基础模型进行训练得到的。所述点击率预估基础模型是预先根据所述用户数据集和所述推荐数据集对一个点击率预估模型模板训练得到的。而所述点击率预估模型模板可以理解为是一个只有少数预设特征值，且每个特征值的权重值都相等的一个点击率预估模型；所述点击率预估模型模板只有通过学习到训练数据集中的特征以及对应的权重值之后，才能作为一个点击率预估模型，用于对用户画像进行点击率预估。

当所述评测参数为所述点击率预估修正模型的AUC时，所述计算机设备1判断所述评测参数是否大于预设的参考阈值包括：获取所述点击率预估初始模型的AUC并作为参考阈值；判断所述点击率预估修正模型的AUC是否大于所述点击率预估初始模型的AUC。其中，AUC(Area Under Curve)被定义为ROC曲线下的面积，AUC值作为模型的评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。其中，ROC曲线全称为受试者工作特征曲线(receiver operatingcharacteristic curve)，它是根据一系列不同的二分类方式(分界值或决定阈)，以真阳性率(敏感性)为纵坐标，假阳性率(1-特异性)为横坐标绘制的曲线。AUC就是衡量学习模型优劣的一种性能指标，因此，所述计算机设备1通过将加入交叉特征进行训练的修正点击率模型的AUC与未加入交叉特征的所述点击率预估初始模型的AUC进行比对，当所述修正点击率模型的AUC大于所述点击率预估初始模型的AUC时，则说明所述交叉特征为有效交叉特征。

当所述评测参数为所述点击率预估修正模型能够识别的所述交叉特征的预估特征空间时，所述计算机设备1判断所述评测参数是否大于预设的参考阈值包括：获取所述交叉特征的原始特征空间；判断所述预估特征空间与所述原始特征空间的比值是否大于预设的阈值，其中，所述预估特征空间为所述点击率预估修正模型能够筛选出的所述交叉特征的特征空间。在本实施例中，所述计算机设备1预先记录所述交叉特征的特征空间，例如，当交叉特征是年龄值&动漫视频(即用户标签：年龄，与推荐数据特征：动漫视频)，其交叉特征空间为{1～100岁，动漫视频}，其中动漫视频不变，1～100岁是年龄范围。然后，所述计算机设备1计算出所述点击率预估修正模型能够筛选出的所述交叉特征的特征空间与所述交叉特征的特征空间比值，比如所述点击率预估修正模型能够预估出的交叉特征：年龄值&动漫视频的特征空间为{20～30岁，动漫视频}，那么所述比值为(20～70)/(1～100)＝0.5，并判断该比值是否大于预设的阈值，比如阈值为0.4，大于的话则判定所述交叉特征为有效交叉特征。

步骤S208，当所述目标交叉特征为有效交叉特征时，将所述目标交叉特征添加到交叉特征集。

步骤S210，根据所述交叉特征集和所述用户画像集确定的点击率预估模型。

具体的，所述计算机设备1在判断出交叉特征为有效交叉特征之后，则会将有效交叉特征添加到交叉特征集，然后根据所述交叉特征集和所述用户画像集确定的点击率预估模型，包括：将所述交叉特征集与所述用户画像集作为训练数据对预设的点击率预估基础模型进行训练，得到点击率预估模型。在本实施例中，所述点击率预估模型为FM(FactorMachine，因子分解机)模型，所述计算机设备1在训练出所述点击率预估模型之后，还会根据所述点击率预估模型对所述用户画像数据进行点击率预估，得到对应的用户点击率数据，所述用户点击率数据包括每一用户的预估点击率；从所述用户点击率数据中筛选出预估点击率高于预设的点击率阈值的第一用户集，并将目标推荐数据集推荐到所述第一用户集；监测出所述第一用户集中对所述目标推荐数据集进行点击操作的目标用户集；将所述目标用户集和所述目标推荐数据集作为新采样数据用于对所述点击率预估模型执行进一步训练。

例如，所述计算机设备1在训练处点击率预估模型之后，能够将所述用户数据集对应的用户画像数据输入到所述点击率预估模型，然后预估出所述用户数据集对应的每一个用户的预估点击率，然后选择出预估点击率高于点击率阈值，比如90％的用户作为第一用户集，将目标推荐数据推荐给第一用户集中的每一个用户。当然，在其他实施例中，也可以仅选择出预估点击率最高的用户进行推荐。也就是说，所述计算机设备1设置FM模型的点击率预估模型，能够实现周期性地采集用户画像数据和推荐数据集数据作为训练数据以用于对所述点击率预估模型进行增量训练，从而有效提高所述点击率预估模型的预估准确度。

如图3所示，图3是本申请一示例性例子对于点击率预估模型执行训练的流程效果图。

在本实施例中，所述计算机设备1可以直接获取用户画像数据，然后根据所述用户画像数据中的用户长/短期兴趣标签与推荐数据的推荐数据特征通过特征工程进行特征交叉，然后将交叉特征以及用户长/短期兴趣标签作为训练数据训练出点击率预估模型，最后将点击率预估模型发送至数据服务器以执行线上服务，并根据预估服务得到的新的采样数据，用于对所述点击率预估模型进行增量训练。

综上所述，本实施例所提出的数据处理的方法能够获取用户数据集和推荐数据集，分别提取出对应的用户画像集和推荐数据特征集；将所述用户画像集中每一类别的兴趣标签分别与推荐数据特征集中的每一个推荐数据特征进行特征交叉得到对应的交叉特征，所有交叉特征形成交叉特征集；从所述交叉特征集中选择出目标交叉特征，并判断所述目标交叉特征是否为有效交叉特征；当所述目标交叉特征为有效交叉特征时，将所述目标交叉特征添加到交叉特征集；将所述交叉特征集和所述用户画像集作为训练数据对预设的点击率预估基础模型进行训练，得到点击率预估模型。通过将用户兴趣标签与推荐数据特征的交叉特征以及用户画像数据作为训练数据训练处一个点击率预估模型，能够有效提升点击率预估模型的预估准确度。

实施例二

图4示意性示出了根据本申请实施例二的数据处理的装置的框图，该数据处理的装置可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。

如图4所示，该数据处理的装置400可以包括获取模块410、提取模块420、交叉模块430、判断模块440和确定模块450，其中：

获取模块410，用于获取采样数据，所述采样数据包括用户数据集和推荐数据集。

提取模块420，用于根据所述用户数据集提取出对应的用户画像集，从所述推荐数据集中提取出推荐数据特征集。

交叉模块430，用于将所述用户画像集中每一类别的兴趣标签分别与推荐数据特征集中的每一个推荐数据特征进行特征交叉得到对应的交叉特征，所有交叉特征形成交叉特征集。

判断模块440，用于从所述交叉特征集中选择出目标交叉特征，其中所述目标交叉特征为所述交叉特征集中的任一交叉特征，通过预设方式判断所述目标交叉特征是否为有效交叉特征。

确定模块450，用于当所述目标交叉特征为有效交叉特征时，将所述目标交叉特征添加到交叉特征集；以及根据所述交叉特征集和所述用户画像集确定的点击率预估模型。

在示例性的实施例中，提取模块420，还用于：根据预设的时间区段对所述用户数据集中的目标用户数据进行划分，得到所述目标用户数据对应的用户长期数据和用户短期数据，所述目标用户数据为所述用户数据集中的任一用户数据；根据预设的用户画像模型对所述用户数据集中的每一个用户数据对应的用户长期数据和用户短期数据进行画像，从而获得每一个用户数据对应的长期兴趣标签和短期兴趣标签；将所有用户数据对应的长期兴趣标签和短期兴趣标签作为所述用户画像集。其中，所述根据预设的用户画像模型对所述用户数据集中的每一个用户数据对应的用户长期数据和用户短期数据进行画像，从而获得每一个用户数据对应的长期兴趣标签和短期兴趣标签包括：获取每一个用户数据经由所述用户画像模型画像出来的所有长期兴趣标签和短期兴趣标签对应的权重值；根据所述权重值对所述用户数据对应的所有长期兴趣标签和短期兴趣标签进行排序，将排序在末尾的预设数量的长期兴趣标签和/或短期兴趣标签剔除。

在示例性的实施例中，所述判断模块440，还用于：将所述用户画像集作为训练数据对所述点击率预估基础模型进行训练，得到点击率预估初始模型；将所述交叉特征输入到所述点击率预估初始模型进行训练得到点击率预估修正模型；获取所述点击率预估修正模型的评测参数，判断所述评测参数是否大于预设的参考阈值；当所述评测参数大于所述参考阈值时，则判定所述交叉特征为有效交叉特征。其中：所述评测参数为所述点击率预估修正模型的AUC时，所述判断所述评测参数是否大于预设的参考阈值包括：获取所述点击率预估初始模型的AUC并作为参考阈值；判断所述点击率预估修正模型的AUC是否大于所述点击率预估初始模型的AUC。当所述评测参数为所述点击率预估修正模型能够识别的所述交叉特征的预估特征空间时，所述判断所述评测参数是否大于预设的参考阈值包括：获取所述交叉特征的原始特征空间；判断所述预估特征空间与所述原始特征空间的比值是否大于预设的阈值，其中，所述预估特征空间为所述点击率预估修正模型能够筛选出的所述交叉特征的特征空间。

在示例性的实施例中，所述点击率预估模型为FM模型，确定模块450，还用于：将所述交叉特征集和所述用户画像集作为训练数据对预设的点击率预估基础模型进行训练，得到点击率预估模型。以及：根据所述点击率预估模型对所述用户画像数据进行点击率预估，得到对应的用户点击率数据，所述用户点击率数据包括每一用户的预估点击率；从所述用户点击率数据中筛选出预估点击率高于预设的点击率阈值的第一用户集，并将目标推荐数据集推荐到所述第一用户集；监测出所述第一用户集中对所述目标推荐数据集进行点击操作的目标用户集；将所述目标用户集和所述目标推荐数据集作为新采样数据用于对所述点击率预估模型执行进一步训练。

实施例三

图5示意性示出了根据本申请实施例三的适于实现数据处理的方法的计算机设备1的硬件架构示意图。本实施例中，计算机设备1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是具有网关功能的机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图5所示，计算机设备1至少包括但不限于：可通过系统总线相互通信链接存储器510、处理器520、网络接口530。其中：

存储器510至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器510可以是计算机设备1的内部存储模块，例如该计算机设备1的硬盘或内存。在另一些实施例中，存储器510也可以是计算机设备1的外部存储设备，例如该计算机设备1上配备的插接式硬盘，智能存储卡(SmartMedia Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，存储器510还可以既包括计算机设备1的内部存储模块也包括其外部存储设备。本实施例中，存储器510通常用于存储安装于计算机设备1的操作系统和各类应用软件，例如数据处理的方法的程序代码等。此外，存储器510还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器520在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器520通常用于控制计算机设备1的总体操作，例如执行与计算机设备1进行数据交互或者通信相关的控制和处理等。本实施例中，处理器520用于运行存储器510中存储的程序代码或者处理数据。

网络接口530可包括无线网络接口或有线网络接口，该网络接口530通常用于在计算机设备1与其他计算机设备之间建立通信链接。例如，网络接口530用于通过网络将计算机设备1与外部终端相连，在计算机设备1与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(GlobalSystem of Mobile communication，简称为GSM)、宽带码分多址(Wideband Code DivisionMultiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。

需要指出的是，图5仅示出了具有部件510-530的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。

在本实施例中，存储于存储器510中的数据处理的方法的程序代码还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器520)所执行，以完成本申请实施例。

实施例四

本实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取采样数据，所述采样数据包括用户数据集和推荐数据集；根据所述用户数据集提取出对应的用户画像集，从所述推荐数据集中提取出推荐数据特征集；将所述用户画像集中每一类别的兴趣标签分别与推荐数据特征集中的每一个推荐数据特征进行特征交叉得到对应的交叉特征，所有交叉特征形成交叉特征集；从所述交叉特征集中选择出目标交叉特征，其中所述目标交叉特征为所述交叉特征集中的任一交叉特征，通过预设方式判断所述目标交叉特征是否为有效交叉特征；当所述目标交叉特征为有效交叉特征时，将所述目标交叉特征添加到交叉特征集；将所述交叉特征集和所述用户画像集作为训练数据对预设的点击率预估基础模型进行训练，得到点击率预估模型。

本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中数据处理的方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。

显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。

以上仅为本申请实施例的优选实施例，并非因此限制本申请实施例的专利范围，凡是利用本申请实施例说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请实施例的专利保护范围内。

Claims (11)

1.一种数据处理的方法，其特征在于，所述方法包括：

获取采样数据，所述采样数据包括用户数据集和推荐数据集；

根据所述用户数据集提取出对应的用户画像集，从所述推荐数据集中提取出推荐数据特征集；

将所述用户画像集中每一类别的兴趣标签分别与推荐数据特征集中的每一个推荐数据特征进行特征交叉得到对应的交叉特征，所有交叉特征形成交叉特征集；

从所述交叉特征集中选择出目标交叉特征，其中所述目标交叉特征为所述交叉特征集中的任一交叉特征，通过预设方式判断所述目标交叉特征是否为有效交叉特征；

当所述目标交叉特征为有效交叉特征时，将所述目标交叉特征添加到交叉特征集；

根据所述交叉特征集和所述用户画像集确定的点击率预估模型。

2.如权利要求1所述的数据处理的方法，其特征在于，所述根据所述用户数据集提取出对应的用户画像集包括：

根据预设的时间区段对所述用户数据集中的目标用户数据进行划分，得到所述目标用户数据对应的用户长期数据和用户短期数据，所述目标用户数据为所述用户数据集中的任一用户数据；

根据预设的用户画像模型对所述用户数据集中的每一个用户数据对应的用户长期数据和用户短期数据进行画像，从而获得每一个用户数据对应的长期兴趣标签和短期兴趣标签；

将所有用户数据对应的长期兴趣标签和短期兴趣标签作为所述用户画像集。

3.如权利要求2所述的数据处理的方法，其特征在于，所述根据预设的用户画像模型对所述用户数据集中的每一个用户数据对应的用户长期数据和用户短期数据进行画像，从而获得每一个用户数据对应的长期兴趣标签和短期兴趣标签包括：

获取每一个用户数据经由所述用户画像模型画像出来的所有长期兴趣标签和短期兴趣标签对应的权重值；

根据所述权重值对所述用户数据对应的所有长期兴趣标签和短期兴趣标签进行排序，将排序在末尾的预设数量的长期兴趣标签和/或短期兴趣标签剔除。

4.如权利要求1所述的数据处理的方法，其特征在于，所述根据所述交叉特征集和所述用户画像集确定的点击率预估模型包括：

将所述交叉特征集和所述用户画像集作为训练数据对预设的点击率预估基础模型进行训练，得到点击率预估模型。

5.如权利要求4所述的数据处理的方法，其特征在于，所述通过预设方式判断所述目标交叉特征是否为有效交叉特征包括：

将所述用户画像集作为训练数据对所述点击率预估基础模型进行训练，得到点击率预估初始模型；

将所述交叉特征输入到所述点击率预估初始模型进行训练得到点击率预估修正模型；

获取所述点击率预估修正模型的评测参数，判断所述评测参数是否大于预设的参考阈值；

当所述评测参数大于所述参考阈值时，则判定所述交叉特征为有效交叉特征。

6.如权利要求5所述的数据处理的方法，其特征在于，当所述评测参数为所述点击率预估修正模型的AUC时，所述判断所述评测参数是否大于预设的参考阈值包括：

获取所述点击率预估初始模型的AUC并作为参考阈值；

判断所述点击率预估修正模型的AUC是否大于所述点击率预估初始模型的AUC。

7.如权利要求5所述的数据处理的方法，其特征在于，当所述评测参数为所述点击率预估修正模型能够识别的所述交叉特征的预估特征空间时，所述判断所述评测参数是否大于预设的参考阈值包括：

获取所述交叉特征的原始特征空间；

判断所述预估特征空间与所述原始特征空间的比值是否大于预设的阈值，其中，所述预估特征空间为所述点击率预估修正模型能够筛选出的所述交叉特征的特征空间。

8.如权利要求4～7中任一项所述的数据处理的方法，其特征在于，所述点击率预估模型为FM模型，所述方法还包括：

根据所述点击率预估模型对所述用户画像数据进行点击率预估，得到对应的用户点击率数据，所述用户点击率数据包括每一用户的预估点击率；

从所述用户点击率数据中筛选出预估点击率高于预设的点击率阈值的第一用户集，并将目标推荐数据集推荐到所述第一用户集；

监测出所述第一用户集中对所述目标推荐数据集进行点击操作的目标用户集；

将所述目标用户集和所述目标推荐数据集作为新采样数据用于对所述点击率预估模型执行进一步训练。

9.一种数据处理的装置，其特征在于，所述装置包括：

获取模块，用于获取采样数据，所述采样数据包括用户数据集和推荐数据集；

提取模块，用于根据所述用户数据集提取出对应的用户画像集，从所述推荐数据集中提取出推荐数据特征集；

交叉模块，用于将所述用户画像集中每一类别的兴趣标签分别与推荐数据特征集中的每一个推荐数据特征进行特征交叉得到对应的交叉特征，所有交叉特征形成交叉特征集；

判断模块，用于从所述交叉特征集中选择出目标交叉特征，其中所述目标交叉特征为所述交叉特征集中的任一交叉特征，通过预设方式判断所述目标交叉特征是否为有效交叉特征；

确定模块，用于当所述目标交叉特征为有效交叉特征时，将所述目标交叉特征添加到交叉特征集；以及根据所述交叉特征集和所述用户画像集确定的点击率预估模型。

10.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1～8中任一项所述的数据处理的方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1～8中任一项所述的数据处理的方法的步骤。

Images