CN113297517A - 点击率预估及模型训练方法、系统和装置 - Google Patents

Abstract

本发明公开了一种点击率预估及模型训练方法、系统和装置。所述方法包括：响应于受众的商品展示请求，获得候选展示商品和搜索参数；基于搜索参数，从所述受众的历史行为数据中查询与所述搜索参数匹配的第一历史行为数据；从所述受众的历史行为数据中，获取指定时间范围内所述受众产生的第二历史行为数据；将所述第一历史行为数据、所述第二历史行为数据、所述受众的静态特征数据和候选展示商品的特征数据输入经过训练的点击率预估模型，预测所述受众对所述候选展示商品的点击率。通过对引入的受众的历史行为数据进行筛选，减少数据量，降低信息噪声，获得更准确的预估结果。

Description

点击率预估及模型训练方法、系统和装置

技术领域

本发明涉及计算机技术领域，特别涉及一种点击率预估及模型训练方法、系统和装置。

背景技术

随着电商行业的成熟，电商平台中有海量的商品信息，受众(比如消费者)期待能够从电商客户端展示的海量商品快速找到或者发现适合自己的商品，同时，商家也期望电商平台能够将自家的商品推送/推荐给青睐这些商品的受众，促进交易。

为满足受众和商家的需求，现有技术通常会基于受众在电商平台产生的历史行为(如浏览商品、点击商品等)数据，预测受众对商品的偏好和点击率，并基于受众对商品的偏好和点击率进行商品的推送/推荐/排序。本申请发明人发现，现有技术一般以受众短期的历史行为数据作为预测的依据。该方案的问题是，受众短期的历史行为数据存在时间和数据量的限制，再加上受众行为本身具有不确定性和易变性，同一受众可能会因为场景不同，在相同的时间产生不同的行为选择。由于短期历史行为数据能够表达的受众兴趣偏好是有限的，现有技术也有考虑引入蕴含更多受众偏好信息的长期历史行为数据，但由于长期历史行为数据的数据量过大，对长期历史行为数据不做任何处理直接引入点击率预估存在困难，而如果在引入时将长期历史行为数据进行处理，比如，压缩，则必然会导致信息损失，影响预测结果的准确性。因此，提升商品点击率预估的效率和准确率是相关领域技术人员需要不断寻找技术性解决方案的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种点击率预估及模型训练方法、系统和装置。

本发明实施例提供一种点击率预估方法，包括：

响应于受众的商品展示请求，获得候选展示商品和搜索参数；

基于搜索参数，从所述受众的历史行为数据中查询与所述搜索参数匹配的第一历史行为数据；

从所述受众的历史行为数据中，获取指定时间范围内所述受众产生的第二历史行为数据；

将所述第一历史行为数据、所述第二历史行为数据、所述受众的静态特征数据和候选展示商品的特征数据输入经过训练的点击率预估模型，预测所述受众对所述候选展示商品的点击率。

在一些可选的实施例中，响应于受众的商品展示请求，获得候选展示商品和搜索参数，包括：

响应于受众的商品展示请求，获得待推送给所述受众的候选展示商品；

至少基于所述候选展示商品的类目信息，构造搜索参数。

在一些可选的实施例中，基于搜索参数，从所述受众的历史行为数据中查询与所述搜索参数匹配的第一历史行为数据，包括：

根据候选展示商品的类目，从所述受众的历史行为数据查找所述受众针对与所述类目相同或相近的展示商品产生的历史行为数据，得到所述受众的与所述搜索参数匹配的第一历史行为数据。

在一些可选的实施例中，将所述第一历史行为数据、第二历史行为数据、所述受众的静态特征数据和候选展示商品的特征数据输入经过训练的点击率预估模型，包括：

将所述第一历史行为数据、所述第二历史行为数据、所述受众的静态特征数据和候选展示商品的特征数据分别进行向量化处理；

将向量化处理后的所述第一历史行为数据、所述第二历史行为数据、所述受众的静态特征数据和候选展示商品的特征数据中包括的各维度的数据进行组合，得到一个组合后的表征向量，输入点击率预估模型。

在一些可选的实施例中，所述将所述第一历史行为数据、所述第二历史行为数据、所述受众的静态特征数据和候选展示商品的特征数据分别进行向量化处理，包括：

根据历史行为数据标识，将所述第一历史行为数据包括的历史行为数据分别进行向量化处理，得到包括多个表征向量的第一历史行为特征序列，将所述第一历史行为特征序列包括的多个表征向量在每个向量维度上进行合并处理，得到第一历史行为数据的表征向量；

根据历史行为数据标识，分别将所述第二历史行为数据包括的历史行为数据分别进行向量化处理，得到包括多个表征向量的第二历史行为特征序列，将所述第二历史行为特征序列包括的多个表征向量在每个向量维度上进行合并处理，得到第二历史行为数据的表征向量；

将所述受众的静态特征数据进行向量化处理，得到所述受众的静态特征数据的表征向量；

将所述候选展示商品的特征数据进行向量化处理，得到所述候选展示商品的特征数据的表征向量。

在一些可选的实施例中，上述方法还包括：

获取候选展示商品的下列至少一项特征数据：展示商品ID、展示商品类目、展示商品的发布者、展示商品所在位置和展示商品的描述信息；

和/或

获取所述受众的静态特征数据，所述静态特征数据是用于反映受众个体特征的的数据。

本发明实施例提供一种点击率预估模型训练方法，包括：

根据样本展示商品信息，确定搜索参数；

基于搜索参数，从样本受众的历史行为数据中查询与所述搜索参数匹配的第一历史行为数据；

从所述样本受众的历史行为数据中获取指定时间范围内所述样本受众产生的第二历史行为数据；

将所述第一历史行为数据、所述第二历史行为数据、样本受众的静态特征数据和样本展示商品的特征数据输入待训练的点击率预估模型，预测样本受众对样本展示商品的点击率；

当根据多条样本数据的所述点击率，确定所述点击率预估模型的预估准确率符合预设条件时，得到训练好的点击率预估模型。

在一些可选的实施例中，当根据多条样本数据的所述点击率，确定所述点击率预估模型的预估准确率符合预设条件时，得到训练好的点击率预估模型，包括：

将样本数据的所述点击率与该样本数据中包括的样本受众对样本展示商品的真实操作行为信息进行比较，确定所述样本数据的所述点击率预估是否准确；

根据多条样本数据的比较结果确定所述点击率的预估准确率；

当所述预估准确率符合预设条件时，得到训练好的点击率预估模型。

本发明实施例提供一种点击率预估装置，包括：

第一数据获取模块，用于响应于受众的商品展示请求，获得候选展示商品和搜索参数；基于搜索参数，从所述受众的历史行为数据中查询与所述搜索参数匹配的第一历史行为数据；

第二数据获取模块，用于从所述受众的历史行为数据中，获取指定时间范围内所述受众产生的第二历史行为数据；

预估模块，用于将所述第一历史行为数据、所述第二历史行为数据、所述受众的静态特征数据和候选展示商品的特征数据输入经过训练的点击率预估模型，预测所述受众对所述候选展示商品的点击率。

本发明实施例提供一种点击率预估模型训练装置，包括：

长期数据获取模块，用于根据样本展示商品信息，确定搜索参数；基于搜索参数，从样本受众的历史行为数据中查询与所述搜索参数匹配的第一历史行为数据；

短期数据获取模块，用于从所述样本受众的历史行为数据中获取指定时间范围内所述样本受众产生的第二历史行为数据；

预估模块，用于将所述第一历史行为数据、所述第二历史行为数据、样本受众的静态特征数据和样本展示商品的特征数据输入待训练的点击率预估模型，预测样本受众对样本展示商品的点击率；

确定模块，用于当根据多条样本数据的所述点击率，确定所述点击率预估模型的预估准确率符合预设条件时，得到训练好的点击率预估模型。

本发明实施例提供一种一种点击率预估系统，包括：在线服务平台和应用程序；

所述在线服务平台，部署有上述的点击率预估装置，用于接收应用程序发送的受众的商品展示请求，通过所述点击率预估装置预测所述受众对候选展示商品的点击率，根据所述点击率确定向受众推荐的候选展示商品提供给应用程序；

所述应用程序，用于将受众的商品展示请求发送给所述在线服务平台，以及根据在线服务平台提供的向受众推荐的候选展示商品，确定展示给受众的展示商品。

本发明实施例提供一种计算机程序服务，包括，所述服务运行时执行上述的点击率预估方法。

本发明实施例提供一种模型训练服务，包括，所述服务运行时执行上述的点击率预估模型训练方法。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明实施例提供的上述技术方案，在点击率预估建模时，基于商品展示请求获得搜索参数，基于搜索参数对受众的历史行为数据进行筛选，筛选出与搜索参数匹配的历史行为数据和时间符合要求的(比如近期的)行为数据，结合受众的静态特征数据和展示商品的特征数据进行建模，预测受众对展示商品的点击率，在预测建模过程中既考虑受众的近期的历史行为数据、也考虑蕴含更多受众偏好信息的较长时间的历史行为数据，且通过搜索参数对较长时间的历史行为数据进行筛选，针对候选的展示商品获取更准确的受众偏好数据，从而优化用于点击率预估的历史行为数据，大大减少较长时间的历史行为数据中存在的不相关的兴趣点，降低信息噪声，从而可以获得更准确的点击率预估结果，也避免数据量过大带来的建模困难问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例一中点击率预估方法的流程图；

图2为本发明实施例二中点击率预估方法的流程图；

图3为本发明实施例二中在线算法流程的示意图；

图4为本发明实施例二中离线算法流程的示意图；

图5为本发明实施例三中点击率预估模型训练方法的流程图；

图6为本发明实施例中点击率预估系统的结构示意图；

图7为本发明实施例中点击率预估装置的结构示意图；

图8为本发明实施例中点击率预估模型训练装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

由于受众在电商平台上的行为非常丰富，这些行为能部分的反映受众兴趣，因此，基于受众行为偏好预估受众对电商平台上的展示商品或广告的点击概率，能够更好地为受众推荐符合其兴趣偏好的展示商品。通常在受众近期行为中能挖掘和捕捉到受众最新的偏好和需求，但一般而言受众的近期的行为是比较有限的，不能完整的隐含受众兴趣的细粒度的偏好。更长一段时间的受众行为中可能才蕴含了受众更本质的偏好，甚至是周期性的行为信息，但是更长一段时间的受众行为数量通常比较多，产生的受众历史行为数据的数量又过于庞大，所蕴含的受众兴趣点会较为发散。

基于此，本申请实施例提供一种点击率预估方法和点击率预估模型训练方法，能够利用受众自己的行为数据，同时考虑受众的近期行为和较长时间范围内与展示商品相关度比较高的受众行为，在引入较长时间范围的历史行为数据的同时，尽量减少使用的历史行为数据的数量，排除蕴含的不相关的兴趣点，更精准的挖掘出受众兴趣偏好，更准确的预估受众对展示商品的行为概率，从而能够更好的为受众推荐符合其兴趣偏好的展示商品。

本发明实施例中，预估受众对展示商品的行为概率是以预估受众针对展示商品的点击率(或说点击行为概率)为例进行描述的，即点击预估为例进行说明。下面通过具体实施例进行详细描述。

实施例一

本发明实施例一提供一种点击率预估方法，其流程如图1所示，包括如下步骤：

步骤S101：响应于受众的商品展示请求，获得候选展示商品和搜索参数。

受众通常是指信息传播的接收者，比如电商平台所展示商品的浏览或购买者、广告的浏览者等等。受众可以使用用户端向电商平台发送商品展示请求，向电商平台请求展示商品，电商平台响应于受众的商品展示请求，获取候选展示商品，向受众推送。

在该步骤中构建搜索参数的过程，具体包括响应于受众的商品展示请求，获得待推送给受众的候选展示商品后，至少基于候选展示商品的类目信息，构造搜索参数。

电商平台获取受众的商品展示请求，获得候选展示商品和搜索参数的方式可以包括但不限于下列方式：

1)受众通过用户端输入搜索关键词，电商平台接收到带有搜索关键词的搜索请求时，搜索待推送的受众的候选展示商品并根据候选展示商品的类目信息构造搜索参数。。

2)电商平台检测到受众进入商品展示页面，比如受众进入电商平台首页，电商平台监控到受众进入商品展示页面，会获取待推送的受众的候选展示商品并根据候选展示商品的类目信息构造搜索参数。商品展示页面包括首页或受众通过用户端选择电商平台商品展示页面上的选项后链接到的某一下级页面。

本发明实施例中，电商平台获取到候选展示商品后，会对候选展示商品进行点击率预估，根据预估结果确定向受众推送的候选展示商品。在进行点击率预估时，引入蕴含较多受众兴趣的较长一段时间的历史行为数据，并通过展示商品的信息，获取用于历史行为数据筛选的搜索参数。

步骤S102：基于搜索参数，从受众的历史行为数据中查询与搜索参数匹配的第一历史行为数据。

本发明实施例在预测受众对展示商品发生受众行为的可能性时，比如，预测受众对展示商品的点击率(或说点击通过率，Click-Through-Rate，CTR)，既考虑受众的较长一段时间的行为也考虑受众的近期行为。

由于较长一段时间的历史行为数据的丰富多样性，导致其数据非常庞大，且其中可能包含大量和展示商品不相关的行为数据，为此，本发明实施例在使用受众的较长一段时间的历史行为行为数据时，对受众的历史行为数据进行筛选，筛选出和展示商品比较相关，更适合预测受众对展示商品的受众行为的数据，用于受众行为预测。

具体的，可以根据候选展示商品的类目，从受众的历史行为数据查找受众针对与类目相同或相近的展示商品产生的历史行为数据，得到受众的与搜索参数匹配的第一历史行为数据。

可以根据确定的搜索参数，比如候选展示商品类目信息，对受众的历史行为数据进行筛选，筛选出与搜索参数匹配的历史行为数据，比如受众针对与候选展示商品的类目相同或相近的展示商品产生的历史行为数据。即类目相同或相近的历史行为数据是指历史行为数据中涉及到的展示商品与候选展示商品的类目相同或相近。

受众的第一历史行为数据可以从受众的所有历史行为数据中筛选，也可以从指定的时间范围内的历史行为数据中筛选，比如，指定的时间范围可以是在最近几个月、最近半年、最近一年、最近两年、……。

步骤S103：从受众的历史行为数据中，获取指定时间范围内述受众产生的第二历史行为数据。

本发明实施例中，受众的第二历史行为数据选择的是历史行为数据中较新的部分历史行为数据，该步骤中可以从受众在指定时间范围内产生的历史行为数据，该步骤中指定的时间范围相比步骤S101中指定的时间范围而言，可以相对比较短且更接近于当前时间。例如，最近几天、最近一周、最近一个月、……。

步骤S104：将受众的第一历史行为数据、受众的第二历史行为数据、受众的静态特征数据和候选展示商品的特征数据输入经过训练的点击率预估模型，预测受众对候选展示商品的点击率。

获取到受众的第一历史行为数据、受众的第二历史行为数据后，将这些数据和受众的静态特征数据、候选展示商品的特征数据作为点击率预估模型输入数据。在将这些数据输入模型前，可以对数据进行向量化处理，即将受众的第一历史行为数据、受众的第二历史行为数据、受众的静态特征数据和候选展示商品的特征数据分别进行向量化处理；将向量化处理后的受众的第一历史行为数据、受众的第二历史行为数据、受众的静态特征数据和候选展示商品的特征数据中包括的各维度的数据进行组合，得到一个表征向量，输入点击率预估模型。也就是，将受众的第一历史行为数据、受众的第二历史行为数据、受众的静态特征数据和候选展示商品的特征数据的向量表达组合成一个综合的向量表达，输入点击率预估模型，通过点击率预估模型对这些数据进行处理，输出受众对候选展示商品的点击率预估结果。点击率预估模型可以是神经网络模型，且可以使用样本数据预先训练好。

预测出各候选展示商品的点击率后，根据点击率确定受众推荐的展示商品，比如几百个候选展示商品中的点击率最高的几个。

本实施例的上述方法中，在点击率预估建模时，对受众的历史行为数据进行筛选，筛选出与搜索参数匹配的历史行为数据和时间符合要求的(比如近期的)行为数据，结合受众的静态特征数据和展示商品的特征数据进行建模，预测受众对展示商品的点击率，在预测建模过程中既考虑受众的近期的历史行为数据、也考虑蕴含更多受众偏好信息的较长时间的历史行为数据，且通过搜索参数对较长时间的历史行为数据进行筛选，针对候选展示商品获取更准确的受众偏好数据，从而优化用于点击率预估的历史行为数据，大大减少较长时间的历史行为数据中存在的不相关的兴趣点，降低信息噪声，从而可以获得更准确的点击率预估结果，也避免数据量过大带来的建模困难问题。

实施例二

本发明实施例二提供点击率预估方法的一种具体实现过程，其流程如图2所示，包括如下步骤：

步骤S201：响应于受众的商品展示请求，获得待推送给受众的候选展示商品，至少基于候选展示商品的类目信息，构造搜索参数。

受众使用用户端访问电商网站的时候，会触发商品展示请求(Request)，向服务器请求所需要的展示商品，例如，可以进入电商平台首页或进入电商平台的某一下级商品展示页面的；也可以由受众输入搜索关键词，搜索所需要的展示商品。商品展示请求到达服务器后，服务器会获取若干的候选展示商品，在展示商品(ad feature))信息中找到指定的信息作为搜索参数(query)，例如，指定的信息可以是展示商品的类目信息。

参见图3所示的在线算法流程的搜索模型部分，受众通过客户端触发Request，Request中可以包括nick+ad，nick是指受众信息，比如受众ID，ad是指展示商品信息，比如展示商品ID、类目等，得到query组合。

步骤S202：根据候选展示商品的类目，从受众的历史行为数据查找受众针对与候选展示商品类目相同或相近的展示商品产生的历史行为数据，得到受众的与搜索参数匹配的第一历史行为数据。

根据构建的搜索参数查询受众的历史行为数据(或说受众行为特征，userfeature)中相关的历史行为数据。以搜索参数是商品的类目为例，在历史行为数据中针对和候选展示商品类目相同或相近的历史行为数据抽取出来，作为受众的第一历史行为数据。

参见图3所示的，控制器(controller)基于query和历史行为数据(userfeature)，得到新的特征数据(new feature)，new feature可以包括受众的第一历史行为数据。

步骤S201至步骤S202实现了根据候选展示商品的类目，从受众的历史行为数据中筛选受众针对展示商品所在类目及其相近类目的商品发生受众行为时产生的历史行为数据。该过程可以是在线实现的，即通过部署在真实商品展示系统中的用于展示商品点击预估的装置中的相关功能模块来实现，为真实商品展示系统提供受众行为预估服务。并通过用户端和服务器的交互，实现历史行为数据的收集、筛选等。

步骤S203：从受众的历史行为数据中，获取指定时间范围内受众产生的第二历史行为数据。

参照图3所示的，控制器(controller)基于query和历史行为数据(userfeature)，得到新的特征数据(new feature)，new feature还可以包括受众的第二历史行为数据。

步骤S204：获取受众的静态特征数据。

受众的静态特征数据是是用于反映受众个体特征的的数据，这些数据通常是不因受众对展示商品进行操作而发生变化的特征对应的数据。

参照图3所示的，new feature还可以包括受众的静态特征数据。受众的静态特征数据也称为受众画像特征，可以是受众的性别、年龄、所在地等。

步骤S205：获取候选展示商品的特征数据。

获取候选展示商品的下列至少一项特征数据：展示商品ID、展示商品类目、展示商品的发布者、展示商品所在位置和展示商品的描述信息。

参照图3所示的展示商品的特征数据(ad feature)，得到展示商品的特征数据(adfeature)和新的特征数据(new feature)后，进行特征操作(feature operation)，比如特征向量化和组合，然后将向量化后的各种特征数据组合后输入的点击率预估模型中进行计算预测(Model calculate)。

步骤S206：将受众的第一历史行为数据、受众的第二历史行为数据、受众的静态特征数据和候选展示商品的特征数据分别进行向量化处理。

参见图4所示的，获取到受众的第一历史行为数据、受众的第二历史行为数据、受众的静态特征数据和候选展示商品的特征数据后，针对这些特征数据进行向量化和特征组合，转化为各种特征组合后的一个表征向量，放入点击率预估模型中进行受众对展示商品的点击率预估。其中表征向量(Representation)是指将原始特征信息进行线性或非线性映射后，在新的特征空间以向量形式表示。

对于第一历史行为数据，根据历史行为数据标识，将所述第一历史行为数据包括的历史行为数据分别进行向量化处理，得到包括多个表征向量的第一历史行为特征序列，将第一历史行为特征序列包括的多个表征向量在每个向量维度上进行合并处理，得到第一历史行为数据的表征向量。

将第一历史行为特征序列包括的多个表征向量在每个向量维度上进行合并处理，可以是对多个表征向量在每个向量维度上求和或求平均。

对于第一历史行为数据向量化处理参见如图4所示的离线算法流程图中左边方框所示，左边方框为长期受众兴趣模型部分，其中将受众的历史行为数据以时间关系进行组织，例如按时间先后顺序排列，得到特征信息序列，即受众的历史行为数据序列b(1)、……b(L-1)、……b(L)。针对受众历史行为数据序列b(1)、……b(L-1)、……b(L)进行筛选(feature search)，得到筛选后的受众的第一历史行为数据序列b(1)、……b(l-1)、……b(l)，通过嵌入层(embedding layer)进行特征抽取，得到抽取后的第一历史行为特征序列e(1)、……e(l-1)、……e(l)。通过DIEN层对抽取后的第一历史行为特征序列进行合并处理，得到第一历史行为数据的表征向量h′(l)。

对于第二历史行为数据，根据历史行为数据标识，分别将所述第二历史行为数据包括的历史行为数据分别进行向量化处理，得到包括多个表征向量的第二历史行为特征序列，将第二历史行为特征序列包括的多个表征向量在每个向量维度上进行合并处理，得到第二历史行为数据的表征向量。

将第二历史行为特征序列包括的多个表征向量在每个向量维度上进行合并处理，可以是对多个表征向量在每个向量维度上求和或求平均。

对于第二历史行为数据向量化处理参见图4中间方框所示，左边方框为短期受众兴趣模型部分，将指定时间范围内的受众的第二历史行为数据以时间关系进行组织，例如按时间先后顺序排列，得到特征信息序列，即受众的第二历史行为数据序列b(1)、……b(T-1)、……b(T)，针对第二历史行为数据序列b(1)、……b(T-1)、……b(T)通过嵌入层(embedding layer)进行特征抽取，得到抽取后的第二历史行为特征序列e(1)、……e(T-1)、……e(T)。通过DIEN层对抽取后的第二历史行为特征序列进行合并处理，得到第二历史行为数据的表征向量h′(T)。

对于受众的静态特征数据，将受众的静态特征数据进行向量化处理，得到受众的静态特征数据的表征向量。如图4右边方框中所示的受众静态特征(UserProfile Fea)部分，对受众的静态特征进行特征抽取和向量化处理。

对于候选展示商品的特征数据，将候选展示商品的特征数据进行向量化处理，得到所述候选展示商品的特征数据的表征向量。如图4左边方框和中间方框之间的部分所示的展示商品的特征(Target Ad)，对展示商品的特征数据进行特征抽取和向量化处理。

可选的，输入点击率预估模型的特征数据，还可以包括上下文特征，如图4右边方框中所示的上下文特征(Context Fea)部分，对包括的特征在内的上下文特征进行特征抽取和向量化处理。

步骤S207：将向量化处理后的受众的第一历史行为数据、受众的第二历史行为数据、受众的静态特征数据和候选展示商品的特征数据中包括的各维度的数据进行组合，得到一个组合后的表征向量，输入点击率预估模型。

参见图4中上边方框所示，将第一历史行为数据的表征向量h′(l)、第二历史行为数据的表征向量h′(T)、受众的静态特征数据的表征向量和候选展示商品的特征数据的表征向量进行组合。例如每个表征向量维度为3，组合后得到维度为12的一个表征向量，将组合后的表征向量输入点击率预估模型，通过点击率预估模型进行特征的学习。

步骤S208：输出受众对候选展示商品的点击率。

输出受众对候选展示商品的行为概率预估结果，比如点击率，参见图4中的Output。

上述方法中，针对受众的较长一段时间的历史行为数据，利用候选展示商品的信息来对其进行过滤筛选，截取出和当前预估紧密相关的历史行为手机开，通过这样的方式，能捕捉到更全面的受众对某类展示商品的偏好信息。由于利用候选展示商品的相关信息进行了受众以往的历史行为数据过滤，从而使得受众较长时间的行为数据量大大减少，且能引入更多有价值的特征信息进入预估模型，降低模型训练的难度。同时利用这样的方式可以捕捉到受众周期性的购买或浏览偏好。

本发明实施例中，从海量的受众行为数据中通过候选展示商品提取出相关的受众行为数据后，构建了attention网络结构来建模受众行为，捕捉受众兴趣。本发明实施例的点击预估系统是点预估想，也就是对于受众在某个特定展示商品上面进行预估。在实际实验的时候，将受众行为数据中涉及候选展示商品相同及其相近类目的行为数据抽取出来作为新的特征。

对于上述方法中提到的针对历史行为数据的处理，下面再举例介绍一下。

受众在较长一段时间上(例如半年时间)有很多点击行为，在做商品点击预估的时候，在这些点击行为中只把和当前预估广告相同类目的历史行为抽取出来，成为一个新的受众历史行为序列。

举一个例子，例如当前对于某个书包类型的广告进行预估。将受众半年在书包这个类目上的所有点击行为都提取出来，按照时间顺序组织成为一个历史行为数据序列输入到模型。

如图4中左边方框所示的，第一个长条框表示历史行为数据的筛选，筛选后输出的是一些受众历史行为数据id对应的第一历史行为数据。第二个长条框代表将筛选出的历史行为数据id对应的各第一历史行为数据投影到embedding向量中，提供给模型作为表达，输出的是第一历史行为特征序列，其中包括多个历史行为数据id对应的的表征向量。第三个长条框代表的是一个模型结构(DIEN)，经DIEN处理后输出的是模型计算出来的抽象的第一历史行为数据的表征向量，第一历史行为数据的表征向量是多个历史行为数据id对应的的表征向量合并得到的。

对于受众近期的第二历史行为数据也采用DIEN这样的网络结构进行建模，如中间方框中第一个长条框代表将历史行为数据id对应的各第二历史行为数据投影到embedding向量中，提供给模型作为表达，输出的是第二历史行为特征序列，其中包括多个历史行为数据id对应的的表征向量。第二个长条框代表的是一个模型结构(DIEN)，经DIEN处理后输出的是模型计算出来的抽象的第二历史行为数据的表征向量，第二历史行为数据的表征向量是多个历史行为数据id对应的的表征向量合并得到的。

其中，DIEN网络结构主要包含attention网络结构和GRU&attention结构。Attention网络主要是利用展示商品特征来捕捉在受众行为中和展示商品相关的行为，过滤掉和展示商品预估不相关的噪声行为。GRU&attention结构主要是用来捕捉到受众行为兴趣的演化关系。输入是受众的行为特征序列，输出的是抽象的受众兴趣表达。

然后将捕捉到的受众长期兴趣偏好和短期兴趣偏好的特征表达以及其他特征表达合并起来输入到后续的神经网络中，进行最终的受众点击预估。如图4中上边方框所示，利用底层模型结构进行计算，得到受众和展示商品的各种特征的抽象表达，输入到多层全连接网络(图中所示的是3层)进行计算，最后通过softmax网络来进行点击分类，输出预估CTR。

可选的，对于受众的历史行为数据，还可以使用复杂的记忆网络读写结构中记忆单元来实现记忆和读取。

本发明实施例的上述方法可以基于搜索模式建模受众的长期兴趣，即在建模时用到的受众的较长一端时间的历史行为数据，可以基于受众请求的展示商品信息，确定用于对受众的历史行为数据进行筛选的搜索参数，减少历史行为数据的数据量，保留最适合预估的、与候选展示商品最相关的行为数据，解决较长时间范围的历史行为数据难以引入预测建模的问题，使预测结果更准确。

上述点击率预估方法，可以用于展示商品的推荐，例如向受众推荐商品或者广告等，基于预估得到的点击率预估结果，可以实现展示商品的精准定向推荐。

实施例三

本发明实施例三提供点击率预估模型训练方法，其流程如图5所示，包括如下步骤：

步骤S301：根据样本展示商品信息，确定搜索参数。

参见步骤S101的描述，所不同的是步骤S101用于确定搜索参数的是受众当前请求的展示商品的信息，本步骤中是样本数据中的样本展示商品的信息。

步骤S302：基于搜索参数，从样本受众的历史行为数据中查询与所述搜索参数匹配的第一历史行为数据。

历史行为数据的样本数据可以由用户端在受众行为发生时进行收集，并提供给服务器，也可以由服务器进行收集。

受众行为数据的样本数据包括样本受众对样本展示商品的操作行为数据，比如样本受众点击的样本展示商品等等。从样本受众的历史行为数据中筛选样本受众针对与样本展示商品相同及相近类目商品进行操作，产生的历史行为数据的过程，参照实施例一中步骤S102的相关描述，此处不再赘述。

步骤S303：从样本受众的历史行为数据中获取指定时间范围内所述样本受众产生的第二历史行为数据。

参照步骤S203的相关描述，此处不再赘述。

步骤S304：将样本受众的第一历史行为数据、样本受众的第二历史行为数据、样本受众的静态特征数据和样本展示商品的特征数据输入待训练的点击率预估模型，预测样本受众对样本展示商品的点击率。

参照步骤S104的的相关描述，此处不再赘述。

步骤S305：当根据多条样本数据预估得到的点击率，确定点击率预估模型的预估准确率符合预设条件时，得到训练好的点击率预估模型。

该步骤中，将样本数据的预估点击率与该样本数据中包括的样本受众对样本展示商品的真实操作行为信息进行比较，确定样本数据的点击率预估是否准确；根据多条样本数据的比较结果确定预估点击率的预估准确率；当预估准确率符合预设条件时，得到训练好的点击率预估模型。

点击率预估模型的训练与点击率预估所不同之处在于，训练过程中使用的样本数据中包括有样本受众对样本展示商品的真实操作行为信息，例如：样本受众是不是点击了样本展示商品等。这样在点击率预估模型基于样本数据输出样本受众的点击率预估结果时，可以将其与真实操作行为信息进行比较，确定预估结果的准确性。

在训练过程中通过对大量样本数据的学习预测，统计得到的点击率预估结果，确定得到准确预测结果的比例，调整点击率预估模型的参数，直至得到点击率预估结果的预估准确率符合条件的点击率预估模型。

基于同一发明构思，本发明实施例还提供一种受众行为预估系统，该系统的结构如图6所示，包括：在线服务平台61和应用程序62(比如应用客户端)；

在线服务平台61，部署有点击率预估装置，用于接收应用程序62发送的受众的商品展示请求，通过点击率预估装置预测受众对候选展示商品的点击率，根据预测的点击率确定向受众推荐的展示商品提供给应用程序62；

应用程序62，用于将受众的商品展示请求发送给在线服务平台61，以及根据在线服务平台61提供的向受众推荐的展示商品，确定展示给受众的展示商品。

基于同一发明构思，本发明实施例还提供一种点击率预估装置，该装置的结构如图7所示，包括：

第一数据获取模块71，用于响应于受众的商品展示请求，获得搜索参数；基于搜索参数，从受众的历史行为数据中查询与搜索参数匹配的第一历史行为数据；

第二数据获取模块72，用于从受众的历史行为数据中，获取指定时间范围内受众产生的第二历史行为数据；

预估模块73，用于将受众的第一历史行为数据、受众的第二历史行为数据、受众的静态特征数据和候选展示商品的特征数据输入经过训练的点击率预估模型，预测受众对所述展示商品的点击率。

上述装置还包括：

展示商品特征获取模块74，用于获取候选展示商品的下列至少一项特征数据：展示商品ID、展示商品类目、展示商品的发布者、展示商品所在位置和展示商品的描述信息。

受众特征获取模块75，用于获取受众的静态特征数据，其中，静态特征数据是用于反映受众个体特征的的数据。

基于同一发明构思，本发明实施例还提供一种受众行为预估模型训练装置，该装置的结构如图8所示，包括：

第一数据获取模块81，用于根据样本展示商品信息，确定搜索参数；基于搜索参数，从样本受众的历史行为数据中查询与搜索参数匹配的第一历史行为数据；

第二数据获取模块82，用于从样本受众的历史行为数据中获取指定时间范围内样本受众产生的第二历史行为数据；

预估模块83，用于将样本受众的第一历史行为数据、样本受众的第二历史行为数据、样本受众的静态特征数据和样本展示商品的特征数据输入待训练的点击率预估模型，预测样本受众对样本展示商品的点击率；

确定模块84，用于当根据多条样本数据预测得到的点击率，确定点击率预估模型的预估准确率符合预设条件时，得到训练好的点击率预估模型。

上述装置还包括：

展示商品特征获取模块85，用于获取样本展示商品的下列至少一项特征数据：展示商品ID、展示商品类目、展示商品的发布者、展示商品所在位置和展示商品的描述信息。

受众特征获取模块86，用于获取样本受众的静态特征数据，其中，静态特征数据是用于反映受众个体特征的的数据。

一种计算机程序服务，包括，服务运行时执行上述的点击率预估方法。

一种模型训练服务，包括，服务运行时执行上述的点击率预估模型训练方法。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述的受众行为预估方法和/或上述的受众行为预估模型训练方法。

本发明实施例还提供一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的受众行为预估方法和/或上述的受众行为预估模型训练方法。

关于上述实施例中的系统和装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本发明实施例的上述方法和装置，利用用户端的请求展示商品信息对历史行为数据进行过滤筛选，使得模型能覆盖超长的受众历史行为信息和在平台上的周期性的兴趣，实现有效的捕捉到和当前预估相关的受众长时间的行为信息，避免了引入其他不相关的受众其他行为。同时还能引入周期性的受众行为，捕捉到受众周期兴趣的发生。经试验该模型在电商网站真实数据中预估准度提升8个千分点，带来线上点击提升5％，展示商品消耗提升5％。

除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和/或过程，所述动作和/或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (13)

1.一种点击率预估方法，包括：

响应于受众的商品展示请求，获得候选展示商品和搜索参数；

基于搜索参数，从所述受众的历史行为数据中查询与所述搜索参数匹配的第一历史行为数据；

从所述受众的历史行为数据中，获取指定时间范围内所述受众产生的第二历史行为数据；

将所述第一历史行为数据、所述第二历史行为数据、所述受众的静态特征数据和候选展示商品的特征数据输入经过训练的点击率预估模型，预测所述受众对所述候选展示商品的点击率。

2.如权利要求1所述的方法，其中，响应于受众的商品展示请求，获得候选展示商品和搜索参数，包括：

响应于受众的商品展示请求，获得待推送给所述受众的候选展示商品；

至少基于所述候选展示商品的类目信息，构造搜索参数。

3.如权利要求2所述方法，基于搜索参数，从所述受众的历史行为数据中查询与所述搜索参数匹配的第一历史行为数据，包括：

根据候选展示商品的类目，从所述受众的历史行为数据查找所述受众针对与所述类目相同或相近的展示商品产生的历史行为数据，得到所述受众的与所述搜索参数匹配的第一历史行为数据。

4.如权利要求1所述的方法，其中，将所述第一历史行为数据、第二历史行为数据、所述受众的静态特征数据和候选展示商品的特征数据输入经过训练的点击率预估模型，包括：

将所述第一历史行为数据、所述第二历史行为数据、所述受众的静态特征数据和候选展示商品的特征数据分别进行向量化处理；

将向量化处理后的所述第一历史行为数据、所述第二历史行为数据、所述受众的静态特征数据和候选展示商品的特征数据中包括的各维度的数据进行组合，得到一个组合后的表征向量，输入点击率预估模型。

5.如权利要求4所述的方法，其中，所述将所述第一历史行为数据、所述第二历史行为数据、所述受众的静态特征数据和候选展示商品的特征数据分别进行向量化处理，包括：

根据历史行为数据标识，将所述第一历史行为数据包括的历史行为数据分别进行向量化处理，得到包括多个表征向量的第一历史行为特征序列，将所述第一历史行为特征序列包括的多个表征向量在每个向量维度上进行合并处理，得到第一历史行为数据的表征向量；

根据历史行为数据标识，分别将所述第二历史行为数据包括的历史行为数据分别进行向量化处理，得到包括多个表征向量的第二历史行为特征序列，将所述第二历史行为特征序列包括的多个表征向量在每个向量维度上进行合并处理，得到第二历史行为数据的表征向量；

将所述受众的静态特征数据进行向量化处理，得到所述受众的静态特征数据的表征向量；

将所述候选展示商品的特征数据进行向量化处理，得到所述候选展示商品的特征数据的表征向量。

6.如权利要求1-5任一所述的方法，还包括：

获取候选展示商品的下列至少一项特征数据：展示商品ID、展示商品类目、展示商品的发布者、展示商品所在位置和展示商品的描述信息；

和/或

获取所述受众的静态特征数据，所述静态特征数据是用于反映受众个体特征的的数据。

7.一种点击率预估模型训练方法，包括：

根据样本展示商品信息，确定搜索参数；

基于搜索参数，从样本受众的历史行为数据中查询与所述搜索参数匹配的第一历史行为数据；

从所述样本受众的历史行为数据中获取指定时间范围内所述样本受众产生的第二历史行为数据；

将所述第一历史行为数据、所述第二历史行为数据、样本受众的静态特征数据和样本展示商品的特征数据输入待训练的点击率预估模型，预测样本受众对样本展示商品的点击率；

当根据多条样本数据的所述点击率，确定所述点击率预估模型的预估准确率符合预设条件时，得到训练好的点击率预估模型。

8.如权利要求7所述的方法，其中，当根据多条样本数据的所述点击率，确定所述点击率预估模型的预估准确率符合预设条件时，得到训练好的点击率预估模型，包括：

将样本数据的所述点击率与该样本数据中包括的样本受众对样本展示商品的真实操作行为信息进行比较，确定所述样本数据的所述点击率预估是否准确；

根据多条样本数据的比较结果确定所述点击率的预估准确率；

当所述预估准确率符合预设条件时，得到训练好的点击率预估模型。

9.一种点击率预估装置，包括：

第一数据获取模块，用于响应于受众的商品展示请求，获得候选展示商品和搜索参数；基于搜索参数，从所述受众的历史行为数据中查询与所述搜索参数匹配的第一历史行为数据；

第二数据获取模块，用于从所述受众的历史行为数据中，获取指定时间范围内所述受众产生的第二历史行为数据；

预估模块，用于将所述第一历史行为数据、所述第二历史行为数据、所述受众的静态特征数据和候选展示商品的特征数据输入经过训练的点击率预估模型，预测所述受众对所述候选展示商品的点击率。

10.一种点击率预估模型训练装置，包括：

长期数据获取模块，用于根据样本展示商品信息，确定搜索参数；基于搜索参数，从样本受众的历史行为数据中查询与所述搜索参数匹配的第一历史行为数据；

短期数据获取模块，用于从所述样本受众的历史行为数据中获取指定时间范围内所述样本受众产生的第二历史行为数据；

预估模块，用于将所述第一历史行为数据、所述第二历史行为数据、样本受众的静态特征数据和样本展示商品的特征数据输入待训练的点击率预估模型，预测样本受众对样本展示商品的点击率；

确定模块，用于当根据多条样本数据的所述点击率，确定所述点击率预估模型的预估准确率符合预设条件时，得到训练好的点击率预估模型。

11.一种点击率预估系统，其特征在于，包括：在线服务平台和应用程序；

所述在线服务平台，部署有如权利要求9所述的点击率预估装置，用于接收应用程序发送的受众的商品展示请求，通过所述点击率预估装置预测所述受众对候选展示商品的点击率，根据所述点击率确定向受众推荐的候选展示商品提供给应用程序；

所述应用程序，用于将受众的商品展示请求发送给所述在线服务平台，以及根据在线服务平台提供的向受众推荐的候选展示商品，确定展示给受众的展示商品。

12.一种计算机程序服务，包括，所述服务运行时执行如权利要求1-6中任一项所述的点击率预估方法。

13.一种模型训练服务，包括，所述服务运行时执行如权利要求7-8任一项所述的点击率预估模型训练方法。

Images