CN111488517A - 用于训练点击率预估模型的方法和装置 - Google Patents

用于训练点击率预估模型的方法和装置 Download PDF

Info

Publication number
CN111488517A
CN111488517A CN201910083845.4A CN201910083845A CN111488517A CN 111488517 A CN111488517 A CN 111488517A CN 201910083845 A CN201910083845 A CN 201910083845A CN 111488517 A CN111488517 A CN 111488517A
Authority
CN
China
Prior art keywords
sample
training
information
click rate
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910083845.4A
Other languages
English (en)
Inventor
李思雯
严严
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Wodong Tianjun Information Technology Co Ltd
Priority to CN201910083845.4A priority Critical patent/CN111488517A/zh
Publication of CN111488517A publication Critical patent/CN111488517A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例公开了用于训练点击率预估模型的方法和装置。该方法的一具体实施方式包括获取训练样本，其中，训练样本包括训练样本信息和训练样本标签，训练样本标签用于标识训练样本信息的点击情况；获取训练样本的样本权重；利用训练样本和样本权重对初始点击率预估模型进行训练，得到点击率预估模型。该实施方式提高了点击率预估模型的预估准确度。

Description

用于训练点击率预估模型的方法和装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及用于训练点击率预估模型的方法和装置。
背景技术
信息推送，就是“网络广播”，是通过一定的技术标准或协议，在互联网上通过主动传送用户需要的信息来减少信息过载的一项新技术。推送技术通过自动传送信息给用户，来减少用于网络上搜索的时间。它根据用户的兴趣来搜索、过滤信息，并将其主动推给用户，帮助用户高效率地发掘有价值的信息。
目前，通常是通过分析海量的历史浏览信息来确定用户的兴趣点，并基于确定出的兴趣点为用户推送信息。然而，随着时间的推移，用户的兴趣点会不断的变化。比如，用户近期准备去度假，如果当前给用户推送的信息是其历史购买过的品类(如图书、洗发露、收音机等)的信息，用户点击推送信息的概率较小；如果当前给用户推送的信息是其最近经常浏览的品类(如墨镜、连衣裙、遮阳伞、防晒霜等)的信息，用户点击推送信息的概率较大。随着时间的推移，全部历史浏览信息中目标变量的统计特性会以不可预见的方式发生变化，从而导致确定出的兴趣点随着时间的变化准确度逐渐变低。
发明内容
本申请实施例提出了用于训练点击率预估模型的方法和装置。
第一方面，本申请实施例提供了一种用于训练点击率预估模型的方法，包括：获取训练样本，其中，训练样本包括训练样本信息和训练样本标签，训练样本标签用于标识训练样本信息的点击情况；获取训练样本的样本权重；利用训练样本和样本权重对初始点击率预估模型进行训练，得到点击率预估模型。
在一些实施例中，获取训练样本的样本权重，包括：获取训练样本信息的历史浏览时间，其中，样本信息是历史浏览信息；基于历史浏览时间，确定样本权重。
在一些实施例中，基于历史浏览时间，确定样本权重，包括：基于历史浏览时间，计算样本半衰期；基于牛顿冷却定律和样本半衰期，计算样本权重。
在一些实施例中，基于历史浏览时间，计算样本半衰期，包括：获取候选样本半衰期和预测样本，其中，预测样本包括预测样本信息和预测样本标签，预测样本标签用于标识预测样本信息的点击情况；基于牛顿冷却定律和候选样本半衰期，计算候选样本权重；利用训练样本和候选样本权重对初始点击率预估模型进行训练，得到候选点击率预估模型；将预测样本信息输入至候选点击率预估模型，得到预测样本信息的预估点击率；基于预估点击率和预测样本标签，计算候选半衰期对应的正样本排在负样本前面的概率；基于正样本排在负样本前面的概率，从候选样本半衰期中确定样本半衰期。
在一些实施例中，利用训练样本和样本权重对初始点击率预估模型进行训练，得到点击率预估模型，包括：基于训练样本和样本权重对初始点击率预估模型的交叉熵损失函数进行改进，得到代价函数；将代价函数引入初始点击率预估模型，得到改进初始点击率预估模型；将训练样本信息和样本权重作为输入，将训练样本标签作为输出，对改进初始点击率预估模型进行训练，得到点击率预估模型。
在一些实施例中，该方法还包括：获取候选推送信息；将候选推送信息输入至点击率预估模型，得到候选推送信息的预估点击率；基于预估点击率，从候选推送信息中确定推送信息，以及推送推送信息。
第二方面，本申请实施例提供了一种用于训练点击率预估模型的装置，包括：样本获取单元，被配置成获取训练样本，其中，训练样本包括训练样本信息和训练样本标签，训练样本标签用于标识训练样本信息的点击情况；权重获取单元，被配置成获取训练样本的样本权重；模型训练单元，被配置成利用训练样本和样本权重对初始点击率预估模型进行训练，得到点击率预估模型。
在一些实施例中，样本获取单元包括：时间获取子单元，被配置成获取训练样本信息的历史浏览时间，其中，样本信息是历史浏览信息；权重确定子单元，被配置成基于历史浏览时间，确定样本权重。
在一些实施例中，权重确定子单元包括：半衰期计算模块，被配置成基于历史浏览时间，计算样本半衰期；权重计算模块，被配置成基于牛顿冷却定律和样本半衰期，计算样本权重。
在一些实施例中，半衰期计算模块包括：样本获取子模块，被配置成获取候选样本半衰期和预测样本，其中，预测样本包括预测样本信息和预测样本标签，预测样本标签用于标识预测样本信息的点击情况；权重计算子模块，被配置成基于牛顿冷却定律和候选样本半衰期，计算候选样本权重；模型训练子模块，被配置成利用训练样本和候选样本权重对初始点击率预估模型进行训练，得到候选点击率预估模型；点击率预估子模块，被配置成将预测样本信息输入至候选点击率预估模型，得到预测样本信息的预估点击率；概率计算子模块，被配置成基于预估点击率和预测样本标签，计算候选半衰期对应的正样本排在负样本前面的概率；半衰期确定子模块，被配置成基于正样本排在负样本前面的概率，从候选样本半衰期中确定样本半衰期。
在一些实施例中，模型训练单元包括：函数改进子单元，被配置成基于训练样本和样本权重对初始点击率预估模型的交叉熵损失函数进行改进，得到代价函数；模型改进子单元，被配置成将代价函数引入初始点击率预估模型，得到改进初始点击率预估模型；模型训练子单元，被配置成将训练样本信息和样本权重作为输入，将训练样本标签作为输出，对改进初始点击率预估模型进行训练，得到点击率预估模型。
在一些实施例中，该装置还包括：信息获取单元，被配置成获取候选推送信息；点击率预估单元，被配置成将候选推送信息输入至点击率预估模型，得到候选推送信息的预估点击率；信息推送单元，被配置成基于预估点击率，从候选推送信息中确定推送信息，以及推送推送信息。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的用于训练点击率预估模型的方法和装置，首先获取训练样本；然后获取训练样本的样本权重；最后利用训练样本和样本权重对初始点击率预估模型进行训练，以得到点击率预估模型。为不同的训练样本赋予不同的样本权重，利用带样本权重的训练样本训练出点击率预估模型，提高了点击率预估模型的预估准确度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构；
图2是根据本申请的用于训练点击率预估模型的方法的一个实施例的流程图；
图3是根据本申请的用于训练点击率预估模型的方法的又一个实施例的流程图；
图4是根据本申请的用于计算样本半衰期的方法的一个实施例的流程图；
图5是根据本申请的用于训练点击率预估模型的装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于训练点击率预估模型的方法或用于训练点击率预估模型的装置的实施例的示例性系统架构100。
如图1所示，系统架构100中可以包括数据库服务器101、网络102和服务器103。网络102用以在数据库服务器101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
数据库服务器101可以存储训练样本。
需要说明的是，数据库服务器101可以是硬件，也可以是软件。当数据库服务器101为硬件时，可以实现成多个数据库服务器组成的分布式数据库服务器集群，也可以实现成单个数据库服务器。当数据库服务器101为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器103可以提供各种服务，例如服务器103可以对从数据库服务器101获取到的训练样本等数据进行分析等处理，生成处理结果(例如点击率预估模型)。
需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的用于训练点击率预估模型的方法一般由服务器103执行，相应地，用于训练点击率预估模型的装置一般设置于服务器103中。
应该理解，图1中的数据库服务器、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的数据库服务器、网络和服务器。需要说明的是，在服务器中存储有训练样本的情况下，系统架构100可以不设置数据库服务器101。
继续参考图2，其示出了根据本申请的用于训练点击率预估模型的方法的一个实施例的流程200。该用于训练点击率预估模型的方法，包括以下步骤：
步骤201，获取训练样本。
在本实施例中，用于训练点击率预估模型的方法的执行主体(例如图1所示的服务器103)可以从本地或者与其通信连接的数据库服务器(例如图1所示的数据库服务器101)获取大量训练样本。其中，每个训练样本可以包括训练样本信息和训练样本标签。训练样本标签可以用于标识训练样本信息的点击情况。通常，若用户点击过训练样本信息，那么其对应的训练样本标签的值为1，若用户没有点击过训练样本信息，那么其对应的训练样本标签的值为0。这里，上述执行主体可以获取用户在历史时间段内(例如近半年内)的历史浏览信息，作为训练样本信息。同时，由于历史浏览信息全部是用户历史点击过的信息，因此训练样本信息的训练样本标签的值可以全部为1。
在本实施例的一些可选的实现方式中，上述执行主体还可以获取在历史时间段内推送给用户的信息，作为训练样本信息。这里，训练样本信息中既包括用户历史点击过的信息，又包括用户历史未点击过的信息。其中，用户历史点击过的信息的训练样本标签的值是1，用户历史未点击过的信息的训练样本标签的值是0。通常，值为1的训练样本标签对应的训练样本是正样本，值为0的训练样本标签对应的训练样本是负样本。
步骤202，获取训练样本的样本权重。
在本实施例中，上述执行主体可以获取训练样本的样本权重。通常，不同的训练样本对应的不同的样本权重。这里，上述执行主体可以对训练样本进行分析，并为不同的训练样本赋予不同的样本权重。通常，用户对训练样本中的训练样本信息的兴趣度越高，其对应的样本权重越大；反之，其对应的样本权重越小。
在本实施例的一些可选的实现方式中，上述执行主体可以首先获取训练样本信息的历史浏览时间；然后基于历史浏览时间，确定训练样本信息的样本权重。其中，样本信息可以是用户的历史浏览信息，当用户浏览信息时可以记录用户浏览信息的时间，因此，上述执行主体可以在获取训练样本的同时，获取训练样本信息的历史浏览时间。随着时间的推移，用户对早期浏览过的信息的兴趣度会逐渐降低，因此，训练样本的历史浏览时间越早，其对应的样本权重越小；反之，其对应的样本权重越大。
步骤203，利用训练样本和样本权重对初始点击率预估模型进行训练，得到点击率预估模型。
在本实施例中，上述执行主体可以利用训练样本和对应的样本权重对初始点击率预估模型进行训练，以得到点击率预估模型。其中，点击率预估模型可以用于预估用户对推送信息的点击概率，表征推送信息与点击概率之间的对应关系。初始点击率预估模型可以是现有的机器学习模型(例如各种神经网络)，其参数可以是预先设定的随机数。上述执行主体可以利用训练样本和样本权重对初始点击率预估模型进行有监督或无监督训练，训练过程中可以不断地调整初始点击率预估模型的参数，直至满足预先设定的约束条件时，就得到了点击率预估模型。
在本实施例的一些可选的实现方式中，上述执行主体可以通过改变初始点击率预估模型的网络结构，来引入样本权重。具体地，上述执行主体可以在初始点击率预估模型中引入注意力(Attention)机制的模型结构。例如DIN(Deep Interest Network，深度兴趣网络)就应用了注意力机制。DIN可以将训练样本信息基于注意力机制进行加权，从而确定用户对不同推送信息的兴趣度。具体地，DIN主要是加入了注意力单元(Attention Unit)，用户的兴趣度可以用如下公式表示：
Figure BDA0001961130730000071
其中，i为整数，且0≤i≤N，N为全部训练样本的总数，Vu是全部训练样本信息的加权和，表示用户的兴趣度，Va是候选推送信息的嵌入向量，Vi是第i个训练样本信息的嵌入向量，Wi是候选推送信息影响着第i个训练样本信息的权重。Wi可以通过注意力单元计算得出，表示为g(Vi,Va)，其表示了用户对候选推送信息的兴趣度。
在本实施例的一些可选的实现方式中，上述执行主体可以首先基于训练样本和样本权重对初始点击率预估模型的交叉熵损失函数进行改进，得到代价函数；然后将代价函数引入初始点击率预估模型，得到改进初始点击率预估模型；最后将训练样本信息和样本权重作为输入，将训练样本标签作为输出，对改进初始点击率预估模型进行训练，得到点击率预估模型。具体地，上述执行主体可以将训练样本信息和样本权重从改进初始点击率预估模型的输入侧输入，经过改进初始点击率预估模型的处理，从输出侧输出训练样本信息的预估点击率。随后，上述执行主体可以基于训练样本信息的预估点击率和训练样本标签计算改进初始点击率预估模型的预估准确度，若预估准确度不满足预先设定的约束条件，则调整改进初始点击率预估模型的参数，并输入训练样本信息继续进行模型训练，若预估准确度满足预先设定的约束条件，则模型训练完成。这里，为了在训练中使用带样本权重的训练样本，可以对交叉熵损失函数进行改进，在原有损失函数的基础上乘以训练样本的样本权重，得到代价函数。具体地，假设有N(N为正整数)个训练样本：{(x(1),y(1)),(x(2),y(2)),...(x(N),y(N))}。其中，第i(i为整数，且0≤i≤N)个训练样本为(x(i),y(i))，x(i)是第i个训练样本中的训练样本信息，y(i)是第i个训练样本中的训练样本标签，其取值是0或1。代价函数Jθ(x)可以通过如下公式得到：
Figure BDA0001961130730000081
其中，tw(i)是第i个训练样本对应的时间衰减权重，hθ(x(i))是第i个训练样本对应的候选推送信息的预估点击率，其值介于0到1之间。
上述改变初始点击率预估模型的网络结构的实现方式的网络结构设计难度较大，网络参数调节需要较大工作量，而且数据用户历史行为序列在预估时会占用较多带宽，耗时较多。与上述改变初始点击率预估模型的网络结构的实现方式相比，改进交叉熵损失函数的实现方式不存在上述技术问题，从而降低了训练点击率预估模型的工作量。
本申请实施例提供的用于训练点击率预估模型的方法，首先获取训练样本；然后获取训练样本的样本权重；最后利用训练样本和样本权重对初始点击率预估模型进行训练，以得到点击率预估模型。为不同的训练样本赋予不同的样本权重，利用带样本权重的训练样本训练出点击率预估模型，提高了点击率预估模型的预估准确度。
进一步参考图3，其示出了根据本申请的用于训练点击率预估模型的方法的又一个实施例的流程300。该用于训练点击率预估模型的方法，包括以下步骤：
步骤301，获取训练样本。
在本实施例中，步骤301的具体操作与图2所示的实施例中步骤201的操作基本相同，在此不再赘述。
步骤302，获取训练样本信息的历史浏览时间。
在本实施例中，用于训练点击率预估模型的方法的执行主体(例如图1所示的服务器103)可以从本地或者与其通信连接的数据库服务器(例如图1所示的数据库服务器101)获取训练样本信息的历史浏览时间。其中，样本信息可以是用户的历史浏览信息，当用户浏览信息时可以记录用户浏览信息的时间，因此，上述执行主体可以在获取训练样本的同时，获取训练样本信息的历史浏览时间。
步骤303，基于历史浏览时间，计算样本半衰期。
在本实施例中，上述执行主体可以对历史浏览时间进行分析，以计算出样本半衰期。其中，样本半衰期可以是用户对训练样本信息的兴趣度从初始兴趣度下降到初始兴趣度的一半所间隔的时间。假设当用户在历史浏览时间浏览训练样本信息时，其对训练样本信息的初始兴趣度是1，若用户在某个时间对训练样本信息的兴趣度下降为1/2，那么样本半衰期可以是这个时间与历史浏览时间的差值。
步骤304，基于牛顿冷却定律和样本半衰期，计算样本权重。
在本实施例中，上述执行主体可以基于牛顿冷却定律和样本半衰期，计算样本权重。
其中，牛顿冷却定律是牛顿提出的传热学的基本定律之一。它主要描述了温度高于周围环境的物体向周围媒质传递热量逐渐冷却时所遵循的规律。简而言之，就是物体的冷却速度，与其当前温度与室温之间的温差成正比。该定律建立“温度”与“时间”之间的一种指数型函数关系。牛顿冷却定律公式定义如下：
T'(t)＝-k(T(t)-H)；
其中，t是时间，T是物体的温度，T(t)是物体在t时刻的温度，T'(t)是物体在t时刻的温度的冷却速度。H是室温，T(t)-H是物体在t时刻的温度与室温之间的温差，由于物体在t时刻的温度高于室温，所以T(t)-H是一个正值。k(k＞0)是冷却系数，是一个常数，表示温差与冷却速度之间的比例关系，k前面的负号表示降温，不同的物体有不同的k值。
进一步地，牛顿冷却定律公式可以进行简化。假定在t0时刻，物体的温度是T(t0)，简写为T0，牛顿冷却定律公式可以变形为：
Figure BDA0001961130730000101
其中，T是T(t)的简写，e是自然常数，是数学中一个常数，是一个无限不循环小数，且为超越数，其值约为2.71828。
上述简化公式可以解释为，本期温度等于上一期温度乘以e的负的冷却系数与间隔时间的乘积的次方。
这里，我们可以将用户对某一个训练样本信息的兴趣度衰减过程变化和这里的自然冷却过程进行类比，即将用户对训练样本信息的兴趣度类比为上述公式中的物体的温度，将用户对训练样本信息的兴趣度的衰减速度类比为上述公式中的温度的冷却速度。我们认为用户对所有训练样本信息都有一个兴趣度，若前用户点击了该训练样本信息，用户对该训练样本信息的兴趣度就会提升。随着时间流逝，用户对所有训练样本信息的兴趣度都逐渐降低。
为了利用牛顿冷却定律模拟用户的兴趣度衰减的过程，我们先以样本半衰期是30天(即t-t0＝30)为例，推导一下用户对训练样本信息的兴趣度的衰减速度k。首先，我们将用户对训练样本信息的初始兴趣度T0设置为1。具体如下：
e-0k＝1；
e-30k＝0.5；
推导出k＝0.0231049060187。
其中，用户对训练样本信息的兴趣度的衰减速度就是训练样本信息对应的样本权重，即当样本半衰期是30天，且用户对训练样本信息的初始兴趣度T0为1时，训练样本信息对应的样本权重为k＝0.0231049060187。
同理，当样本半衰期是20天时，k＝0.034657359028；当样本半衰期是25天时，k＝0.0277258872224；当样本半衰期是35天时，k＝0.0198042051589。
步骤305，利用训练样本和样本权重对初始点击率预估模型进行训练，得到点击率预估模型。
在本实施例中，步骤305的具体操作与图2所示的实施例中步骤203的操作基本相同，在此不再赘述。
步骤306，获取候选推送信息。
在本实施例中，上述执行主体可以从本地或者与其通信连接的数据库服务器获取大量候选推送信息。其中，推送给用户的推送信息可以从候选推送信息中选取。候选推送信息可以包括但不限于各种品类的物品的信息、各种类型的新闻等等。
步骤307，将候选推送信息输入至点击率预估模型，得到候选推送信息的预估点击率。
在本实施例中，由于点击率预估模型可以用于预估用户对推送信息的点击概率，上述执行主体可以将大量候选推送信息逐个输入至点击率预估模型，以得到每个候选推送信息的预估点击率。通常，预估点击率越高，用户点击该候选推送信息的可能性越大；反之，用户点击该候选推送信息的可能性越小。
步骤308，基于预估点击率，从候选推送信息中确定推送信息，以及推送推送信息。
在本实施例中，上述执行主体可以基于每个候选推送信息的预估点击率，从大量候选推送信息中确定推送信息，并将其推送给用户。例如，当用户点击购物类应用上的购物车按钮时，可以将用户购物车中的物品的信息与推送信息合并成一个网页，并将该网页推送给用户。
在本实施例的一些可选的实现方式中，上述执行主体可以将大量候选推送信息的预估点击率逐个与预设点击率阈值进行比较，将全部或部分预估点击率大于预设点击率阈值的候选推送信息作为推送信息推送给用户。
在本实施例的一些可选的实现方式中，上述执行主体可以按照预估点击率从大到小的顺序对大量候选推送信息进行排序，并从预估点击率大的一侧开始选取出预设数目个候选推送信息作为推送信息推送给用户。
从图3中可以看出，与图2对应的实施例相比，本实施例中的用于训练点击率预估模型的流程300突出了获取样本权重的步骤，同时增加了信息推送的步骤。由此，本实施例描述的方案基于牛顿冷却定律计算样本权重，提高了样本权重的计算准确度。同时，利用点击率预估模型预估点击率筛选推送信息，实现了富于针对性地信息推送，有助于提高用户对推送信息的点击概率。
进一步参考图4，其示出了根据本申请的用于计算样本半衰期的方法的一个实施例的流程400。该用于计算样本半衰期的方法，包括以下步骤：
步骤401，获取候选样本半衰期和预测样本。
在本实施例中，用于计算样本半衰期的方法的执行主体(例如图1所示的服务器103)可以获取候选样本半衰期和预测样本。
在本实施例中，上述执行主体可以获取大量候选样本半衰期。例如，若用户对训练样本信息的兴趣度的样本半衰期通常是一个月左右，则可以将20天、25天、30天、35天作为候选样本半衰期。
在本实施例中，上述执行主体可以获取大量预测样本。例如，上述执行主体可以首先获取用户在历史时间段内的历史浏览信息，生成训练样本，以训练出每个候选样本半衰期对应的候选点击率预估模型；之后利用每个候选点击率预估模型筛选出推送信息推送给用户；最后，采集未来时间段内用户对推送信息的点击情况，生成预测样本。其中，预测样本可以包括预测样本信息和预测样本标签，预测样本标签可以用于标识预测样本信息的点击情况。通常，若用户点击过预测样本信息，那么其对应的预测样本标签的值为1，若用户没有点击过预测样本信息，那么其对应的预测样本标签的值为0。例如，预测样本信息可以是推送给用户的推送信息。此时，预测样本标签可以标识用户对推送信息的真实点击情况。
步骤402，基于牛顿冷却定律和候选样本半衰期，计算候选样本权重。
在本实施例中，对于每个候选样本半衰期，上述执行主体可以基于牛顿冷却定律和该候选样本半衰期，计算该候选样本半衰期对应的候选样本权重。即一个候选样本半衰期对应一个候选样本权重。其中，候选样本权重的计算方法可参考图3所示的实施例中的样本权重的计算方法，在此不再赘述。
步骤403，利用训练样本和候选样本权重对初始点击率预估模型进行训练，得到候选点击率预估模型。
在本实施例中，对于每个候选样本权重，上述执行主体可以利用训练样本和该候选样本权重对初始点击率预估模型进行训练，以得到该候选样本权重对应的候选点击率预估模型。即一个候选样本权重对应一个候选点击率预估模型。其中，候选点击率预估模型的方法可参考图3所示的实施例中的点击率预估模型的训练方法，在此不再赘述。
步骤404，将预测样本信息输入至候选点击率预估模型，得到预测样本信息的预估点击率。
在本实施例中，对于每个候选点击率预估模型，上述执行主体可以将预测样本信息输入至该候选点击率预估模型，以得到该候选点击率预估模型预估出的预测样本信息的预估点击率。其中，候选点击率预估模型预估点击率的方法可参考图3所示的实施例中的点击率预估模型预估点击率的方法，在此不再赘述。
步骤405，基于预估点击率和预测样本标签，计算候选半衰期对应的正样本排在负样本前面的概率。
在本实施例中，对于每个候选点击率预估模型预估出的预估点击率，上述执行主体可以基于该预估点击率和预测样本标签，计算该候选半衰期对应的正样本排在负样本前面的概率。其中，正样本排在负样本前面的概率就是AUC(Area Under Curve)，其被定义为ROC曲线下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y＝x这条直线的上方，所以AUC的取值范围在0.5和1之间。
AUC代表的是随机的从预测样本中去的一个正样本和一个负样本，正样本的分数大于负样本的分数的概率。其中，用户真实点击的预测样本信息对应的预测样本是正样本，用户真实未点击的预测样本信息对应的预测样本是负样本。这里，可以通过如下公式计算AUC：
Figure BDA0001961130730000141
其中，M表示预测样本中的正样本的数目，N表示预测样本中的负样本的数目，Ppos表示预测样本中的某一个正样本的概率，Pneg表示预测样本中的某一个负样本的概率，当Ppos＞Pneg时，I(Ppos,Pneg)＝1，当Ppos＝Pneg时，I(Ppos,Pneg)＝0.5，当Ppos＜Pneg时，I(Ppos,Pneg)＝0。
需要说明的是，候选样本半衰期、候选样本权重、候选点击率预估模型、预估点击率和AUC存在一一对应的关系，经过计算可知，当样本半衰期是20天时，k＝0.034657359028，AUC＝0.708781；当样本半衰期是25天时，k＝0.0277258872224，AUC＝0.708931；当样本半衰期是30天时，k＝0.0231049060187，AUC＝0.708547；当样本半衰期是35天时，k＝0.0198042051589，AUC＝0.708511。
步骤406，基于正样本排在负样本前面的概率，从候选样本半衰期中确定样本半衰期。
在本实施例中，由上述步骤可知，候选样本半衰期、候选样本权重、候选点击率预估模型、预估点击率和AUC存在一一对应的关系，上述执行逐一可以对每个AUC进行分析，选取出合适的AUC，并从大量候选样本半衰期中确定出与选取出的AUC对应的候选样本半衰期，作为样本半衰期。通常，上述执行主体可以选取出最大的AUC，并将其对应的候选样本半衰期，作为样本半衰期。
为了更好的刻画样本权重，在选取AUC之前，上述执行主体还可以将AUC按照最大最小归一化的方式映射到0到1之间。同时，画出每个候选样本权重对应的AUC归一化值随时间的衰减趋势。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于训练点击率预估模型的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于训练点击率预估模型的装置500可以包括：样本获取单元501、权重获取单元502和模型训练单元503。其中，样本获取单元501，被配置成获取训练样本，其中，训练样本包括训练样本信息和训练样本标签，训练样本标签用于标识训练样本信息的点击情况；权重获取单元502，被配置成获取训练样本的样本权重；模型训练单元503，被配置成利用训练样本和样本权重对初始点击率预估模型进行训练，得到点击率预估模型。
在本实施例中，用于训练点击率预估模型的装置500中：样本获取单元501、权重获取单元502和模型训练单元503的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201、步骤202和步骤203的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，样本获取单元501包括：时间获取子单元(图中未示出)，被配置成获取训练样本信息的历史浏览时间，其中，样本信息是历史浏览信息；权重确定子单元(图中未示出)，被配置成基于历史浏览时间，确定样本权重。
在本实施例的一些可选的实现方式中，权重确定子单元包括：半衰期计算模块(图中未示出)，被配置成基于历史浏览时间，计算样本半衰期；权重计算模块(图中未示出)，被配置成基于牛顿冷却定律和样本半衰期，计算样本权重。
在本实施例的一些可选的实现方式中，半衰期计算模块包括：样本获取子模块(图中未示出)，被配置成获取候选样本半衰期和预测样本，其中，预测样本包括预测样本信息和预测样本标签，预测样本标签用于标识预测样本信息的点击情况；权重计算子模块(图中未示出)，被配置成基于牛顿冷却定律和候选样本半衰期，计算候选样本权重；模型训练子模块(图中未示出)，被配置成利用训练样本和候选样本权重对初始点击率预估模型进行训练，得到候选点击率预估模型；点击率预估子模块(图中未示出)，被配置成将预测样本信息输入至候选点击率预估模型，得到预测样本信息的预估点击率；概率计算子模块(图中未示出)，被配置成基于预估点击率和预测样本标签，计算候选半衰期对应的正样本排在负样本前面的概率；半衰期确定子模块(图中未示出)，被配置成基于正样本排在负样本前面的概率，从候选样本半衰期中确定样本半衰期。
在本实施例的一些可选的实现方式中，模型训练单元503包括：函数改进子单元(图中未示出)，被配置成基于训练样本和样本权重对初始点击率预估模型的交叉熵损失函数进行改进，得到代价函数；模型改进子单元(图中未示出)，被配置成将代价函数引入初始点击率预估模型，得到改进初始点击率预估模型；模型训练子单元(图中未示出)，被配置成将训练样本信息和样本权重作为输入，将训练样本标签作为输出，对改进初始点击率预估模型进行训练，得到点击率预估模型。
在本实施例的一些可选的实现方式中，用于训练点击率预估模型的装置500还包括：信息获取单元(图中未示出)，被配置成获取候选推送信息；点击率预估单元(图中未示出)，被配置成将候选推送信息输入至点击率预估模型，得到候选推送信息的预估点击率；信息推送单元(图中未示出)，被配置成基于预估点击率，从候选推送信息中确定推送信息，以及推送推送信息。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器103)的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向目标的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括样本获取单元、权重获取单元和模型训练单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，样本获取单元还可以被描述为“获取训练样本的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取训练样本，其中，训练样本包括训练样本信息和训练样本标签，训练样本标签用于标识训练样本信息的点击情况；获取训练样本的样本权重；利用训练样本和样本权重对初始点击率预估模型进行训练，得到点击率预估模型。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种用于训练点击率预估模型的方法，包括：
获取训练样本，其中，所述训练样本包括训练样本信息和训练样本标签，所述训练样本标签用于标识所述训练样本信息的点击情况；
获取所述训练样本的样本权重；
利用所述训练样本和所述样本权重对初始点击率预估模型进行训练，得到所述点击率预估模型。
2.根据权利要求1所述的方法，其中，所述获取所述训练样本的样本权重，包括：
获取所述训练样本信息的历史浏览时间，其中，所述样本信息是历史浏览信息；
基于所述历史浏览时间，确定所述样本权重。
3.根据权利要求2所述的方法，其中，所述基于所述历史浏览时间，确定所述样本权重，包括：
基于所述历史浏览时间，计算样本半衰期；
基于牛顿冷却定律和样本半衰期，计算所述样本权重。
4.根据权利要求3所述的方法，其中，所述基于所述历史浏览时间，计算样本半衰期，包括：
获取候选样本半衰期和预测样本，其中，所述预测样本包括预测样本信息和预测样本标签，所述预测样本标签用于标识所述预测样本信息的点击情况；
基于牛顿冷却定律和所述候选样本半衰期，计算候选样本权重；
利用所述训练样本和所述候选样本权重对所述初始点击率预估模型进行训练，得到候选点击率预估模型；
将所述预测样本信息输入至所述候选点击率预估模型，得到所述预测样本信息的预估点击率；
基于所述预估点击率和所述预测样本标签，计算所述候选半衰期对应的正样本排在负样本前面的概率；
基于所述正样本排在负样本前面的概率，从所述候选样本半衰期中确定所述样本半衰期。
5.根据权利要求1所述的方法，其中，所述利用所述训练样本和所述样本权重对初始点击率预估模型进行训练，得到所述点击率预估模型，包括：
基于所述训练样本和所述样本权重对所述初始点击率预估模型的交叉熵损失函数进行改进，得到代价函数；
将所述代价函数引入所述初始点击率预估模型，得到改进初始点击率预估模型；
将所述训练样本信息和所述样本权重作为输入，将所述训练样本标签作为输出，对所述改进初始点击率预估模型进行训练，得到所述点击率预估模型。
6.根据权利要求1-5之一所述的方法，其中，所述方法还包括：
获取候选推送信息；
将所述候选推送信息输入至所述点击率预估模型，得到所述候选推送信息的预估点击率；
基于所述预估点击率，从所述候选推送信息中确定推送信息，以及推送所述推送信息。
7.一种用于训练点击率预估模型的装置，包括：
样本获取单元，被配置成获取训练样本，其中，所述训练样本包括训练样本信息和训练样本标签，所述训练样本标签用于标识所述训练样本信息的点击情况；
权重获取单元，被配置成获取所述训练样本的样本权重；
模型训练单元，被配置成利用所述训练样本和所述样本权重对初始点击率预估模型进行训练，得到所述点击率预估模型。
8.根据权利要求7所述的装置，其中，所述样本获取单元包括：
时间获取子单元，被配置成获取所述训练样本信息的历史浏览时间，其中，所述样本信息是历史浏览信息；
权重确定子单元，被配置成基于所述历史浏览时间，确定所述样本权重。
9.根据权利要求8所述的装置，其中，所述权重确定子单元包括：
半衰期计算模块，被配置成基于所述历史浏览时间，计算样本半衰期；
权重计算模块，被配置成基于牛顿冷却定律和样本半衰期，计算所述样本权重。
10.根据权利要求9所述的装置，其中，所述半衰期计算模块包括：
样本获取子模块，被配置成获取候选样本半衰期和预测样本，其中，所述预测样本包括预测样本信息和预测样本标签，所述预测样本标签用于标识所述预测样本信息的点击情况；
权重计算子模块，被配置成基于牛顿冷却定律和所述候选样本半衰期，计算候选样本权重；
模型训练子模块，被配置成利用所述训练样本和所述候选样本权重对所述初始点击率预估模型进行训练，得到候选点击率预估模型；
点击率预估子模块，被配置成将所述预测样本信息输入至所述候选点击率预估模型，得到所述预测样本信息的预估点击率；
概率计算子模块，被配置成基于所述预估点击率和所述预测样本标签，计算所述候选半衰期对应的正样本排在负样本前面的概率；
半衰期确定子模块，被配置成基于所述正样本排在负样本前面的概率，从所述候选样本半衰期中确定所述样本半衰期。
11.根据权利要求7所述的装置，其中，所述模型训练单元包括：
函数改进子单元，被配置成基于所述训练样本和所述样本权重对所述初始点击率预估模型的交叉熵损失函数进行改进，得到代价函数；
模型改进子单元，被配置成将所述代价函数引入所述初始点击率预估模型，得到改进初始点击率预估模型；
模型训练子单元，被配置成将所述训练样本信息和所述样本权重作为输入，将所述训练样本标签作为输出，对所述改进初始点击率预估模型进行训练，得到所述点击率预估模型。
12.根据权利要求7-11之一所述的装置，其中，所述装置还包括：
信息获取单元，被配置成获取候选推送信息；
点击率预估单元，被配置成将所述候选推送信息输入至所述点击率预估模型，得到所述候选推送信息的预估点击率；
信息推送单元，被配置成基于所述预估点击率，从所述候选推送信息中确定推送信息，以及推送所述推送信息。
13.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201910083845.4A 2019-01-29 2019-01-29 用于训练点击率预估模型的方法和装置 Pending CN111488517A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910083845.4A CN111488517A (zh) 2019-01-29 2019-01-29 用于训练点击率预估模型的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910083845.4A CN111488517A (zh) 2019-01-29 2019-01-29 用于训练点击率预估模型的方法和装置

Publications (1)

Publication Number Publication Date
CN111488517A true CN111488517A (zh) 2020-08-04

Family

ID=71794326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910083845.4A Pending CN111488517A (zh) 2019-01-29 2019-01-29 用于训练点击率预估模型的方法和装置

Country Status (1)

Country Link
CN (1) CN111488517A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328779A (zh) * 2020-11-04 2021-02-05 中国平安人寿保险股份有限公司 训练样本构建方法、装置、终端设备及存储介质
CN112949864A (zh) * 2021-02-01 2021-06-11 北京三快在线科技有限公司 预估模型的训练方法及装置
CN113051472A (zh) * 2021-03-23 2021-06-29 北京百度网讯科技有限公司 点击通过率预估模型的建模方法、装置、设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100241597A1 (en) * 2009-03-19 2010-09-23 Bee-Chung Chen Dynamic estimation of the popularity of web content
CN104572734A (zh) * 2013-10-23 2015-04-29 腾讯科技（深圳）有限公司 问题推荐方法、装置及系统
CN106228386A (zh) * 2016-07-12 2016-12-14 腾讯科技（深圳）有限公司 一种信息推送方法及装置
CN106886915A (zh) * 2017-01-17 2017-06-23 华南理工大学 一种基于时间衰减采样的广告点击预估方法
WO2017121076A1 (zh) * 2016-01-15 2017-07-20 百度在线网络技术（北京）有限公司 信息推送方法和装置
CN107844785A (zh) * 2017-12-08 2018-03-27 浙江捷尚视觉科技股份有限公司 一种基于尺度估计的人脸检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100241597A1 (en) * 2009-03-19 2010-09-23 Bee-Chung Chen Dynamic estimation of the popularity of web content
CN104572734A (zh) * 2013-10-23 2015-04-29 腾讯科技（深圳）有限公司 问题推荐方法、装置及系统
WO2017121076A1 (zh) * 2016-01-15 2017-07-20 百度在线网络技术（北京）有限公司 信息推送方法和装置
CN106228386A (zh) * 2016-07-12 2016-12-14 腾讯科技（深圳）有限公司 一种信息推送方法及装置
CN106886915A (zh) * 2017-01-17 2017-06-23 华南理工大学 一种基于时间衰减采样的广告点击预估方法
CN107844785A (zh) * 2017-12-08 2018-03-27 浙江捷尚视觉科技股份有限公司 一种基于尺度估计的人脸检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨诚;: "基于用户实时反馈的点击率预估算法", 计算机应用, no. 10 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328779A (zh) * 2020-11-04 2021-02-05 中国平安人寿保险股份有限公司 训练样本构建方法、装置、终端设备及存储介质
CN112328779B (zh) * 2020-11-04 2024-02-13 中国平安人寿保险股份有限公司 训练样本构建方法、装置、终端设备及存储介质
CN112949864A (zh) * 2021-02-01 2021-06-11 北京三快在线科技有限公司 预估模型的训练方法及装置
CN112949864B (zh) * 2021-02-01 2022-04-22 海南两心科技有限公司 预估模型的训练方法及装置
CN113051472A (zh) * 2021-03-23 2021-06-29 北京百度网讯科技有限公司 点击通过率预估模型的建模方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
JP7127120B2 (ja) ビデオ分類の方法、情報処理の方法及びサーバー、並びにコンピュータ可読記憶媒体及びコンピュータプログラム
CN109460514A (zh) 用于推送信息的方法和装置
CN111125574B (zh) 用于生成信息的方法和装置
CN107679217B (zh) 基于数据挖掘的关联内容提取方法和装置
CN111401974A (zh) 信息发送方法、装置、电子设备和计算机可读介质
CN107908616B (zh) 预测趋势词的方法和装置
CN111488517A (zh) 用于训练点击率预估模型的方法和装置
CN110866199A (zh) 位置确定方法、装置、电子设备和计算机可读介质
CN111459992B (zh) 信息推送方法、电子设备和计算机可读介质
CN111783810A (zh) 用于确定用户的属性信息的方法和装置
CN111754278A (zh) 物品推荐方法、装置、计算机存储介质和电子设备
CN111738010A (zh) 用于生成语义匹配模型的方法和装置
CN110889725A (zh) 在线广告ctr预估方法、装置、设备及存储介质
CN113743971A (zh) 一种数据处理方法和装置
CN112182370A (zh) 物品类目信息推送方法、装置、电子设备和介质
CN110059172B (zh) 基于自然语言理解的推荐答案的方法和装置
CN111695041A (zh) 用于推荐信息的方法和装置
CN110197317B (zh) 目标用户确定方法及装置、电子设备及存储介质
CN109978594B (zh) 订单处理方法、装置及介质
CN111125502B (zh) 用于生成信息的方法和装置
CN111026849A (zh) 数据处理方法和装置
CN113792952A (zh) 用于生成模型的方法和装置
US20220171985A1 (en) Item recommendation with application to automated artificial intelligence
CN113947431A (zh) 一种用户行为质量评估方法、装置、设备和存储介质
CN113360773A (zh) 推荐方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination