CN110245987A - 一种广告点击率预测方法、装置、服务器及存储介质 - Google Patents
一种广告点击率预测方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN110245987A CN110245987A CN201910522208.2A CN201910522208A CN110245987A CN 110245987 A CN110245987 A CN 110245987A CN 201910522208 A CN201910522208 A CN 201910522208A CN 110245987 A CN110245987 A CN 110245987A
- Authority
- CN
- China
- Prior art keywords
- input
- information
- internal element
- model
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0277—Online advertisement
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种广告点击率预测方法、装置、服务器及存储介质，获取用户的基础特征和广告的基础特征，基于预训练的梯度提升树模型对各个基础特征进行特征组合，得到组合特征，将组合特征输入至预训练的广告点击率预测模型，得到用户对广告的点击率的预测结果。其中，广告点击率预测模型是以利用递归神经网络得到用户样本对广告样本的点击率的预测结果趋近于用户样本对广告样本的点击率的标定结果为目标，训练递归神经网络得到的。本发明提供的技术方案，不仅能够有效挖掘深层的基础特征，还能够得到更加准确的广告的点击率的预测结果。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种广告点击率预测方法、装置、服务器及存储介质。
背景技术
随着互联网技术的发展，互联网广告市场正在以惊人的速度增长。广告点击率预测技术在互联网广告市场占据举足轻重的作用，为广告投放提供了有力可靠的参考依据。
现有的广告点击率预测技术虽然可以基于线性模型(比如，支持向量机、逻辑回归等方法)实现对广告点击率的预测；但是，因真实应用场景中对广告点击率的预测并不是简单的线性模型便能体现的，因此，现有的广告点击率预测方法通常存在预测结果不准确的问题。
有鉴于此，如何提供一种广告点击率预测方法、装置、服务器及存储介质，以提高广告点击率预测结果的准确性，是亟待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种广告点击率预测方法、装置、服务器以存储介质，以提高广告点击率预测结果的准确性。
为实现上述目的，本发明提供如下技术方案：
本发明第一方面公开一种广告点击率预测方法，包括：
获取用户的基础特征和广告的基础特征；
基于预训练的梯度提升树模型对各个所述基础特征进行特征组合，得到组合特征；
将所述组合特征输入至预训练的广告点击率预测模型，得到所述用户对所述广告的点击率的预测结果；
其中，所述广告点击率预测模型是以利用递归神经网络得到用户样本对广告样本的点击率的预测结果趋近于所述用户样本对所述广告样本的点击率的标定结果为目标，训练所述递归神经网络得到的。
可选的，所述递归神经网络为目标递归神经网络，所述目标递归神经网络是递归神经网络隐藏层中每个节点均被长短期记忆网络替换后得到的；所述目标递归神经网络包括输入层、隐藏层和输出层，所述目标递归神经网络隐藏层中的长短期记忆网络包括输入门、遗忘门、输出门和内部单元；
所述输入门的输入信息包括：同一时刻输入层的输出向量、上一时刻内部单元的输出向量以及上一时刻内部单元的保留信息；
所述长短期记忆网络中遗忘门的输入信息与输入门的输入信息相同；
所述内部单元的输入信息包括：同一时刻输入层的输入向量以及上一时刻输出门的输出向量；
所述输出门的输入信息包括：上一时刻内部单元的输出向量、同一时刻内部单元的保留信息，以及当前时刻输入层的输出向量；
所述长短期记忆网络中遗忘门，用于基于所述长短期记忆网络中内部单元的输入信息、遗忘门的输出信息和输入门的输出信息，确定是否将内部单元的输出信息作为下一时刻的长短期记忆网络中内部单元的保留信息；
所述内部单元的输出信息作为同一时刻输出层的输入信息。
可选的，所述梯度提升树模型的生成过程包括：
获取至少一组基础特征样本，每组所述基础特征样本携带目标组合特征；
针对每组所述基础特征样本，将该组基础特征样本输入至待训练梯度提升树模型，得到所述待训练梯度提升树模型对该组基础特征样本的预测结果，并以预测结果趋近于该组基础特征样本的目标组合特征为训练目标，更新所述待训练梯度提升树模型中的参数，直至待训练梯度提升树模型达到收敛，得到梯度提升树模型。
可选的，所述广告点击率预测模型的生成过程包括：
获取携带目标点击率的样本信息，所述样本信息包括用户样本的基础特征和广告样本的基础特征；
基于预训练的梯度提升树模型对各个所述基础特征进行特征组合，得到组合特征；
将组合特征输入至待训练的广告点击率预测模型，得到所述用户样本对所述广告样本的点击率的预测结果；
根据所述预测结果和目标点击率，利用按照时间的反向传播算法更新所述待训练的广告点击率预测模型中的参数，以使得待训练的广告点击率预测模型达到收敛，得到广告点击率预测模型。
可选的，所述用户的基础特征包括用户的当前位置、用户的基本信息和用户的历史行为信息中的任意一种或多种。
可选的，所述广告的基础特征包括广告对应的产品的位置、广告对应的产品的基本信息、广告对应的产品的消费人群和广告对应的产品的历史评价信息中的任意一种或多种。
本发明第二方面公开一种广告点击率预测装置，包括：
获取单元，用于获取用户的基础特征和广告的基础特征；
组合单元，用于基于预训练的梯度提升树模型对各个所述基础特征进行特征组合，得到组合特征；
预测单元，用于将所述组合特征输入至预训练的广告点击率预测模型，得到所述用户对所述广告的点击率的预测结果；
其中，所述广告点击率预测模型是以利用递归神经网络得到用户样本对广告样本的点击率的预测结果趋近于所述用户样本对所述广告样本的点击率的标定结果为目标，训练所述递归神经网络得到的。
可选的，所述递归神经网络为目标递归神经网络，所述目标递归神经网络是递归神经网络隐藏层中每个节点均被长短期记忆网络替换后得到的；所述目标递归神经网络包括输入层、隐藏层和输出层，所述目标递归神经网络隐藏层中的长短期记忆网络包括输入门、遗忘门、输出门和内部单元；
所述输入门的输入信息包括：同一时刻输入层的输出向量、上一时刻内部单元的输出向量以及上一时刻内部单元的保留信息；
所述长短期记忆网络中遗忘门的输入信息与输入门的输入信息相同；
所述内部单元的输入信息包括：同一时刻输入层的输入向量以及上一时刻输出门的输出向量；
所述输出门的输入信息包括：上一时刻内部单元的输出向量、同一时刻内部单元的保留信息，以及当前时刻输入层节点的输出向量；
所述长短期记忆网络中遗忘门，用于基于所述长短期记忆网络中内部单元的输入信息、遗忘门的输出信息和输入门的输出信息，确定是否将内部单元的输出信息作为下一时刻的长短记忆网络中内部单元的保留信息；
所述内部单元的输出信息作为同一时刻输出层节点的输入信息。
本发明第三方面公开一种服务器，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现如上述本发明第一方面任意一项公开的广告点击率预测方法。
本发明第四方面公开一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如上述本发明第一方面任意一项公开的广告点击率预测方法。
本发明提供了一种广告点击率预测方法、装置、服务器及存储介质，通过获取用户的基础特征和广告的基础特征，并基于预训练的梯度提升树模型对各个所述基础特征进行特征组合，得到组合特征，然后将所述组合特征输入至预训练的广告点击率预测模型，得到所述用户对所述广告的点击率的预测结果。其中，所述广告点击率预测模型是以利用递归神经网络得到用户样本对广告样本的点击率的预测结果趋近于所述用户样本对所述广告样本的点击率的标定结果为目标，训练所述递归神经网络得到的。本发明提供的技术方案，通过梯度提升树模型对各个基础特征进行特征组合，得到组合特征，能够有效挖掘深层的基础特征，由于广告点击率模型是基于递归神经网络训练得到的，而递归神经网络为非线性模型，因此，将挖掘到的深层的基础特作为预训练的广告点击率模型的输入进行点击率预测，能够得到更加准确的广告的点击率的预测结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种广告点击率预测方法的流程示意图；
图2为本发明实施例提供的生成梯度提升树模型的流程示意图；
图3为本发明实施例提供的递归神经网络的结构示意图；
图4为本发明实施例提供的长短期记忆网络的结构示意图；
图5为本发明实施例提供的目标递归神经网络的结构示意图；
图6为本发明实施例提供的生成广告点击率预测模型的流程示意图；
图7为本发明实施例提供的一种广告点击率预测装置的结构示意图；
图8为本发明实施例提供的一种广告点击率预测装置的结构示意图；
图9为本发明实施例提供的一种广告点击率预测装置的结构示意图；
图10为本发明实施例提供的服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
参考图1，本发明实施例提供了一种广告点击率预测方法的流程示意图。该广告点击率预测方法包括以下步骤：
S101：获取用户的基础特征和广告的基础特征。
其中，用户的基础特征包括用户的当前位置、用户的基本信息和用户的历史行为信息中的任意一种或多种。例如，用户当前所处的位置可为海南，用户的基本信息可为姓名陈女士、联系电话139xxxxxxxx，历史行为信息可为在美团中经常购买炸鸡、汉堡以及奶茶等商品。可根据实际应用进行设定，本发明实施例不加以限定。
广告的基础特征包括广告对应的产品的位置、广告对应的产品的基本信息、广告对应的产品消费人群和广告对应的产品的历史评价信息中的任意一种或者多种。例如，广告对应的产品的位置可为海南，广告对应的产品的基本信息可为产品名称、分类等，广告对应的消费人群可为青年消费群体，相应的年龄范围在15--30岁左右，广告对应的产品的历史评价信息可为：味道好，服务好，送货快，非常满意。可根据实际应用进行设定，本发明实施例不加以限定。
需要说明的是，用户的当前位置与广告对应的产品的位置存在一定的关联。比如用户在美团上搜索火锅，且该用户当前所处的位置是海南海口，那么搜索到的火锅对应的火锅店的位置也应处于海南海口。
S102：基于预训练的梯度提升树模型对各个基础特征进行特征组合，得到组合特征。
需要说明的是，将基础特征通过预训练的梯度提升树模型进行特征组合得到的组合特征为一组特征向量。
S103：将组合特征输入至预训练的广告点击率预测模型，得到用户对广告的点击率的预测结果。
其中，广告点击率预测模型是以利用递归神经网络得到用户样本对广告样本的点击率的预测结果趋近于用户样本对广告样本的点击率的标定结果为目标，训练递归神经网络得到的。
为了更好的对上述内容进行理解，下面进行举例说明：
例如，当前处于海口的用户在应用平台上搜索火锅，得到位于海口的3家火锅店，本方案可以获取该用户基础特征和3家火锅店的基础特征，该3家火锅店的基础特征分别为第一火锅店的基础特征、第二火锅店的基础特征以及第三火锅店的基础特征，基于预训练的梯度提升树模型对用户的基础特征与第一火锅店的基础特征进行特征组合，得到组合特征1，基于预训练的梯度提升树模型对用户的基础特征和第二火锅店的基础特征进行特征组合，得到基础特征2，基于预训练的梯度提升树模型对用户的基础特征和第三火锅店的基础特征进行特征组合，得到组合特征3，将组合特征1、组合特征2和组合特征3同时输入预训练的广告点击率预测模型，可以得到用户对第一火锅店的预估点击率1、用户对第二火锅店的预估点击率2以及用户对第三火锅店的预估点击率3。
进一步的，本方案还可以将预估点击率1、预估点击率2以及预估点击率3按从大到小的顺序进行排序，比如，预估点击率2为0.5、预估点击率1为0.3以及预估点击率3为0.2，得到的排序结果为(0.5,0.3,0.2)，根据排序结果生成用户在应用平台上搜索火锅的搜索结果，该搜索结果中0.5对应的第二火锅店排在第一位，0.3对应的第一火锅店排在第二位，0.2对应的第三火锅店排在第三位。
本发明提供了一种广告点击率预测方法，通过获取用户的基础特征和广告的基础特征，并基于预训练的梯度提升树模型对各个基础特征进行特征组合，得到组合特征，然后将组合特征输入至预训练的广告点击率预测模型，得到用户对广告的点击率的预测结果。其中，广告点击率预测模型是以利用递归神经网络得到用户样本对广告样本的点击率的预测结果趋近于用户样本对广告样本的点击率的标定结果为目标，训练所述递归神经网络得到的。本发明提供的技术方案，通过梯度提升树模型对各个基础特征进行特征组合，得到组合特征，能够有效挖掘深层的基础特征，由于广告点击率模型是基于递归神经网络训练得到的，而递归神经网络为非线性模型，因此，将挖掘到的深层的基础特作为预训练的广告点击率模型的输入进行点击率预测，能够得到更加准确的广告的点击率的预测结果。
上述本发明实施例图1公开的步骤S102中涉及到的基于基础特征样本训练梯度提升树模型的过程，参考图2，示出了本发明实施例提供的生成梯度提升树模型的流程示意图，包括以下步骤：
S201：获取至少一组基础特征样本，每组基础特征样本携带目标组合特征。
S202：针对每组基础特征样本，将该组基础特征样本输入至待训练梯度提升树模型，得到待训练梯度提升树模型对该组基础特征样本的预测结果。
需要说明的是，将每组基础特征样本转为向量后输入至待训练的梯度提升树模型，且每组基础特征携带的目标组合特征以及该组基础特征样本的预测结果都是以向量形式存在的。
S203：将预测结果趋近于该组基础特征样本的目标组合特征为目标，更新待训练梯度提升树模型中的参数，直至待训练梯度提升树模型达到收敛，得到梯度提升树模型。
为了更好的对上述内容进行理解，下面进行举例说明。
获取的一组基础特征样本，该组基础特征样本携带的一个目标组合特征，将该组基础特征样本内的各个基础特征均转化为向量后输入至待训练梯度提升树模型中，得到待训练梯度提升树模型对该组基础特征样本的预测结果，以预测结果趋近于该组基础特征样本携带的目标组合特征为目标，更新待训练梯度提升树模型中的参数，对梯度提升树进行训练，通过多组基础特征样本对梯度提升树进行训练，直至待训练梯度提升树模型达到收敛，得到梯度提升树模型。
本发明实施例可以利用梯度提升树模型对各个基础特征进行特征组合，得到组合特征，能够有效挖掘深层的基础特征，由于广告点击率模型是基于递归神经网络训练得到的，而递归神经网络为非线性模型，因此，将挖掘到的深层的基础特作为预训练的广告点击率模型的输入进行点击率预测，能够得到更加准确的广告的点击率的预测结果。
基于上述本发明实施例中涉及到的递归神经网络，如图3所示，示出了本发明实施例提供的递归神经网络的结构示意图，该递归神经网络具体包括输入层、隐藏层和输出层。
本申请中，递归神经网络可以为目标递归神经网络，该目标递归神经网络是递归神经网络隐藏层中的每个节点均被长短期记忆网络替换得到的。该目标递归神经网络的具体结构如图4所示。
其中，该目标递归神经网络隐藏层中的长短期记忆网络包括输入门、遗忘门、输出门和内部单元。具体结构如图5所示。
其中，输入门的输入信息包括：同一时刻输入层的输出向量、上一时刻内部单元的输出向量以及上一时刻内部单元的保留信息。
比如：在t时刻，输入门的输入信息包括：t时刻输入层的输出向量，t-1时刻内部单元的输出向量以及t-1时刻内部单元的保留信息。也就是说，可将t时刻输入层的输出向量，t-1时刻内部单元的输出向量以及t-1时刻内部单元的保留信息作为输入门的输入向量。
进一步的，在t时刻将输入门的激活函数对输入门的输入向量进行计算，可得到t时刻输入门的输出向量。具体的计算公式如下所示：
其中，为输入门的输入向量，f为输入门的激活函数，为输入门的输出向量。
需要说明的是，长短期记忆网络中的遗忘门的输入信息与输入门的输入信息是相同的。也就是说，遗忘门的输入向量与输入门的输入向量是相同的。
进一步的，在t时刻将遗忘门的激活函数对遗忘门的输入向量进行计算，可得到t时刻遗忘门的输出向量。具体的计算公式如下所示：
其中，为遗忘门的输入向量，f为输入门的激活函数，为输入门的输出向量。
内部单元的输入信息包括：同一时刻输入层的输入向量以及上一时刻输出门的输出向量。
需要说明的是，输入层的输入向量为基于预训练的梯度提升树模型对各个基础特征进行特征组合，得到的组合特征。
比如：在t时刻，内部单元的输入信息包括t时刻输入层的输入向量以及t-1时刻输出门的输出向量。也就是说，可将t时刻输入层的输入向量以及t-1时刻输出门的输出向量作为内部单元的输入向量。
输出门的输入信息包括：上一时刻内部单元的输出向量、同一时刻内部单元的保留信息，以及当前时刻输入层的输出向量。
比如：在t时刻，输出门的输入信息包括t-1时刻内部单元的输出向量、t时刻内部单元的保留信息，以及t时刻输入层的输出向量。也就是说，可将t-1时刻内部单元的输出向量、t时刻内部单元的保留信息，以及t时刻输入层的输出向量作为输出门的输入向量。
进一步的，在时刻t将输出门的激活函数对输出门的输入向量进行计算，可得到t时刻输出门的输出向量。具体的计算公式如下所示：
其中，为输出门的输出向量，f为输出门的激活函数，为输出门的输入向量。
需要说明的是，长短期记忆网络中遗忘门，用于基于长短期记忆网络中内部单元的输入信息、遗忘门的输出信息和输入门的输出信息，确定是否将内部单元的输出信息作为下一时刻的长短期记忆网络中内部单元的保留信息。
进一步的，判断是否将内部单元的输出向量作为t+1时刻的长短期记忆网络中内部单元的保留信息的信息值的计算公式如下所示：
其中，为判断是否将内部单元的输出向量作为t+1时刻的长短期记忆网络中内部单元的保留信息的信息值，为输入门的输出向量，为t-1时刻的信息值，为输入门的输出向量，为内部单元的输入向量，g为激活函数。
也就是说，长短期记忆网络中遗忘门，用于基于将长短期记忆网络中内部单元的输入向量、遗忘门的输出向量和输入门的输出向量，确定的值；当的值为1时，确定将内部单元的输出向量作为t+1时刻的长短期记忆中内部单元的保留信息；当的值为0时，确定不将内部单元的输出向量作为t+1时刻的长短期记忆中内部单元的保留信息。
基于本发明实施例，进一步由上述公式(3)和公式(4)可得出内部单元的输出向量，该内部单元的输出向量的计算公式为：
其中，为内部单元的输出向量，为输出门的输出向量，h为内部单元的激活函数，为判断是否将内部单元的输出向量作为t+1时刻的长短期记忆网络中内部单元的保留信息的信息值。
将内部单元的输出信息作为同一时刻输出层的输入信息。
需要说明的是，内部单元的输出信息为内部单元的输出向量。
具体的，在t时刻将内部单元的输出向量作为t时刻输出层的输入信息，进一步对t时刻输出层的输入向量进行计算，计算公式如下所示：
其中，为输出层的输入向量，为内部单元的输出向量，wck为待训练的广告点击率预测模型中的权值，H为目标递归神经网络的层数。
进一步的，在t时刻将输出层的激活函数对输出层的输入向量进行计算，可得到t时刻输出层的输出向量。具体的计算公式如下所示：
其中，为输出层的输出向量，为输出层的输入向量，f为输出层的激活函数。
进一步的，通过softmax激活函数对输出层的输出向量进行计算，得到的一组新的输出向量。且该组新的输出向量中的每个元素均为一个概率值，概率值越大的元素对应的广告点击率越高，每个概率值均在[0,1]区间内，且所有元素的概率值之和为1。
进一步的，本发明还可以对概率值的大小进行排序，概率值越大对应的广告的位置越靠前。
上述本发明实施例图1公开的步骤S103中涉及到的基于组合特征训练广告点击率模型的过程，参考图6，示出了本发明实施例提供的生成广告点击率模型的流程图，包括以下步骤：
S601：获取携带目标点击率的样本信息，样本信息包括用户样本的基础特征和广告样本的基础特征。
S602：基于预训练的梯度提升树模型对各个基础特征进行特征组合，得到组合特征。
S603：将组合特征输入至待训练的广告点击率预测模型，得到用户样本对广告样本的点击率的预测结果。
S604：根据预测结果和目标点击率，利用按照时间的反向传播算法更新待训练的广告点击率预测模型中的参数，以使得待训练的广告点击率预测模型达到收敛，得到广告点击率预测模型。
比如：利用按照时间的反向传播算法更新t时刻i节点到j节点的待训练的广告点击率预测模型中的权值。具体的更新公式如下所示：
其中，wij为t时刻i点到j点的待训练的广告点击率预测模型中的权值，η为t时刻i点到j点的待训练的广告点击率预测模型中的权值的修正系数，为t时刻j节点的残差值，为t时刻j节点的输出结果。
在本发明实施例中，通过将获取的各个基础特征作为预训练的梯度提升树模型的输入进行特征组合，得到组合特征，再将组合特征作为待训练的广告点击率预测模型的输入进行点击率预测，得到预测结果，最后根据预测结果和目标点击率，利用按照时间的反向传播算法更新待训练的广告点击率预测模型中的参数，以使得待训练的广告点击率预测模型达到收敛，得到广告点击率预测模型。由于广告点击率模型是基于递归神经网络训练得到的，而递归神经网络为非线性模型，因此，利用广告点击率预测模型对广告点击率进行预测，能够得到更加准确的广告的点击率的预测结果。
基于本发明实施例公开的广告点击率预测方法，本发明实施例还对应公开了一种广告点击率预测装置，参考图7，该广告点击率预测装置700包括：
获取单元701，用于获取用户的基础特征和广告的基础特征。
其中，用户的基础特征包括用户当前位置、用户的基本信息和用户的历史行为信息中的任意一种或多种；广告的基础特征包括广告对应的产品的位置、广告对应的产品的基本信息、广告对应的产品的消费人群和广告对应的产品的历史评价信息中的任意一种或多种。
组合单元702，用于基于预训练的梯度提升树模型对各个基础特征进行特征组合，得到组合特征。
预测单元703，用于将组合特征输入至预训练的广告点击率预测模型，得到用户对广告的点击率的预测结果。
其中，广告的点击率预测模型是以利用递归神经网络得到用户样本对广告样本的点击率预测结果趋近于用户样本对广告样本的点击率的标定结果为目标，训练递归神经网络。
上述本发明实施例公开的广告点击率预测装置中各个单元具体的原理和执行过程，与上述本发明实施例公开的广告点击率预测方法相同，可参见上述本发明实施例公开的广告点击率预测方法中相应的部分，这里不再进行赘述。
本发明实施例提供的广告点击率预测装置，首先通过获取单元获取用户的基础特征和广告的基础特征，其次通过基于预训练的梯度提升树模型对各个基础特征进行特征组合，得到组合特征，最后通过预测单元将组合特征输入至预训练的广告点击率预测模型，得到用户对广告的点击率的预测结果。其中，广告的点击率预测模型是以递归神经网络对用户样本以及广告样本的点击率预测结果趋近于用户样本对广告样本的点击率的标定结果为目标，训练递归神经网络。本发明提供的技术方案，通过梯度提升树模型对各个基础特征进行特征组合，得到组合特征，能够有效挖掘深层的基础特征，由于广告点击率模型是基于递归神经网络训练得到的，而递归神经网络为非线性模型，因此，将挖掘到的深层的基础特作为预训练的广告点击率模型的输入进行点击率预测，能够得到更加准确的广告的点击率的预测结果。
优选的，结合图7，参考图8，示出了本发明实施例提供的一种广告点击率预测装置的结构示意图，组合单元702包括：第一获取子单元7021、第一输入单元7022和第一收敛单元7023。
第一获取子单元7021，用于获取至少一组基础特征样本，每组基础特征样本携带目标组合特征。
第一输入单元7022，用于针对每组基础特征样本，将该组基础特征样本输入至待训练梯度提升树模型，得到待训练梯度提升树模型对该组基础特征样本的预测结果。
第一收敛单元7023，用于将预测结果趋近于该组基础特征样本的目标组合特征为目标，更新待训练梯度提升树模型中的参数，直至待训练梯度提升树模型达到收敛，得到梯度提升树模型。
具体的训练梯度提升树模型的过程参见本发明实施例图2公开的步骤S201至步骤S203相应中相应的部分，这里不再进行赘述。
本发明实施例可以利用梯度提升树模型对各个基础特征进行特征组合，得到组合特征，能够有效挖掘深层的基础特征，由于广告点击率模型是基于递归神经网络训练得到的，而递归神经网络为非线性模型，因此，将挖掘到的深层的基础特征作为预训练的广告点击率模型的输入进行点击率预测，能够得到更加准确的广告的点击率的预测结果。
可选的，递归神经网络为目标递归神经网络，目标递归神经网络是递归神经网络隐藏层中每个节点均被长短期记忆网络替换后得到的；目标递归神经网络包括输入层、隐藏层和输出层，目标递归神经网络隐藏层中的长短期记忆网络包括输入门、遗忘门、输出门和内部单元。
输入门的输入信息包括：同一时刻输入层的输出向量、上一时刻内部单元的输出向量以及上一时刻内部单元的保留信息。
长短期记忆网络中遗忘门的输入信息与输入门的输入信息相同。
内部单元的输入信息包括：同一时刻输入层的输入向量以及上一时刻输出门的输出向量。
输出门的输入信息包括：上一时刻内部单元的输出向量、同一时刻内部单元的保留信息，以及当前时刻输入层节点的输出向量。
长短期记忆网络中遗忘门，用于基于长短期记忆网络中内部单元的输入信息、遗忘门的输出信息和输入门的输出信息，确定是否将内部单元的输出信息作为下一时刻的长短记忆网络中内部单元的保留信息。
内部单元的输出信息作为同一时刻输出层节点的输入信息。
优选的，结合图7，参考9，示出了本发明实施例提供的一种广告点击率预测装置的结构示意图，预测单元703包括：第二获取子单元7031、组合子单元7032、第二输入单元7033和第二收敛单元7034。
第二获取子单元7031，用于获取携带目标点击率的样本信息，样本信息包括用户样本的基础特征和广告样本的基础特征。
组合子单元7032，用于基于预训练的梯度提升树模型对各个基础特征进行特征组合，得到组合特征。
第二输入单元7033，用于将组合特征输入至待训练的广告点击率预测模型，得到用户样本以及广告样本的点击率的预测结果。
第二收敛单元7034，用于根据预测结果和目标点击率，利用按照时间的反向传播算法更新待训练的广告点击率预测模型中的参数，以使得待训练的广告点击率预测模型达到收敛，得到广告点击率预测模型。
在本发明实施例中，通过将获取的各个基础特征作为预训练的梯度提升树模型的输入进行特征组合，得到组合特征，再将组合特征作为待训练的广告点击率预测模型的输入进行点击率预测，得到预测结果，最后根据预测结果和目标点击率，利用按照时间的反向传播算法更新待训练的广告点击率预测模型中的参数，以使得待训练的广告点击率预测模型达到收敛，得到广告点击率预测模型。由于广告点击率模型是基于递归神经网络训练得到的，而递归神经网络为非线性模型，因此，利用广告点击率预测模型对广告点击率进行预测，能够得到更加准确的广告的点击率的预测结果。
本发明实施例提供了一种服务器，参考图10，包括存储器1001和处理器1002，其中：
存储器1001存储有程序；处理器1002用于执行存储器存储的程序，具体执行如本发明任一实施例提供的广告点击率预测方法。
本发明实施例提供了一种存储介质，该存储简直存储有计算机可执行指令，用于实现如本发明任一实施例提供的广告点击率预测方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种广告点击率预测方法，其特征在于，包括：
获取用户的基础特征和广告的基础特征；
基于预训练的梯度提升树模型对各个所述基础特征进行特征组合，得到组合特征；
将所述组合特征输入至预训练的广告点击率预测模型，得到所述用户对所述广告的点击率的预测结果；
其中，所述广告点击率预测模型是以利用递归神经网络得到用户样本对广告样本的点击率的预测结果趋近于所述用户样本对所述广告样本的点击率的标定结果为目标，训练所述递归神经网络得到的。
2.根据权利要求1所述的方法，其特征在于，所述递归神经网络为目标递归神经网络，所述目标递归神经网络是递归神经网络隐藏层中每个节点均被长短期记忆网络替换后得到的；所述目标递归神经网络包括输入层、隐藏层和输出层，所述目标递归神经网络隐藏层中的长短期记忆网络包括输入门、遗忘门、输出门和内部单元；
所述输入门的输入信息包括：同一时刻输入层的输出向量、上一时刻内部单元的输出向量以及上一时刻内部单元的保留信息；
所述长短期记忆网络中遗忘门的输入信息与输入门的输入信息相同；
所述内部单元的输入信息包括：同一时刻输入层的输入向量以及上一时刻输出门的输出向量；
所述输出门的输入信息包括：上一时刻内部单元的输出向量、同一时刻内部单元的保留信息，以及当前时刻输入层的输出向量；
所述长短期记忆网络中遗忘门，用于基于所述长短期记忆网络中内部单元的输入信息、遗忘门的输出信息和输入门的输出信息，确定是否将内部单元的输出信息作为下一时刻的长短期记忆网络中内部单元的保留信息；
所述内部单元的输出信息作为同一时刻输出层的输入信息。
3.根据权利要求1所述的方法，其特征在于，所述梯度提升树模型的生成过程包括：
获取至少一组基础特征样本，每组所述基础特征样本携带目标组合特征；
针对每组所述基础特征样本，将该组基础特征样本输入至待训练梯度提升树模型，得到所述待训练梯度提升树模型对该组基础特征样本的预测结果，并以预测结果趋近于该组基础特征样本的目标组合特征为训练目标，更新所述待训练梯度提升树模型中的参数，直至待训练梯度提升树模型达到收敛，得到梯度提升树模型。
4.根据权利要求1所述的方法，其特征在于，所述广告点击率预测模型的生成过程包括：
获取携带目标点击率的样本信息，所述样本信息包括用户样本的基础特征和广告样本的基础特征；
基于预训练的梯度提升树模型对各个所述基础特征进行特征组合，得到组合特征；
将组合特征输入至待训练的广告点击率预测模型，得到所述用户样本对所述广告样本的点击率的预测结果；
根据所述预测结果和目标点击率，利用按照时间的反向传播算法更新所述待训练的广告点击率预测模型中的参数，以使得待训练的广告点击率预测模型达到收敛，得到广告点击率预测模型。
5.根据权利要求1所述的方法，其特征在于，所述用户的基础特征包括用户的当前位置、用户的基本信息和用户的历史行为信息中的任意一种或多种。
6.根据权利要求1所述的方法，其特征在于，所述广告的基础特征包括广告对应的产品的位置、广告对应的产品的基本信息、广告对应的产品的消费人群和广告对应的产品的历史评价信息中的任意一种或多种。
7.一种广告点击率预测装置，其特征在于，包括：
获取单元，用于获取用户的基础特征和广告的基础特征；
组合单元，用于基于预训练的梯度提升树模型对各个所述基础特征进行特征组合，得到组合特征；
预测单元，用于将所述组合特征输入至预训练的广告点击率预测模型，得到所述用户对所述广告的点击率的预测结果；
其中，所述广告点击率预测模型是以利用递归神经网络得到用户样本对广告样本的点击率的预测结果趋近于所述用户样本对所述广告样本的点击率的标定结果为目标，训练所述递归神经网络得到的。
8.根据权利要求7所述的装置，其特征在于，所述递归神经网络为目标递归神经网络，所述目标递归神经网络是递归神经网络隐藏层中每个节点均被长短期记忆网络替换后得到的；所述目标递归神经网络包括输入层、隐藏层和输出层，所述目标递归神经网络隐藏层中的长短期记忆网络包括输入门、遗忘门、输出门和内部单元；
所述输入门的输入信息包括：同一时刻输入层的输出向量、上一时刻内部单元的输出向量以及上一时刻内部单元的保留信息；
所述长短期记忆网络中遗忘门的输入信息与输入门的输入信息相同；
所述内部单元的输入信息包括：同一时刻输入层的输入向量以及上一时刻输出门的输出向量；
所述输出门的输入信息包括：上一时刻内部单元的输出向量、同一时刻内部单元的保留信息，以及当前时刻输入层节点的输出向量；
所述长短期记忆网络中遗忘门，用于基于所述长短期记忆网络中内部单元的输入信息、遗忘门的输出信息和输入门的输出信息，确定是否将内部单元的输出信息作为下一时刻的长短记忆网络中内部单元的保留信息；
所述内部单元的输出信息作为同一时刻输出层节点的输入信息。
9.一种服务器，其特征在于，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现如权利要求1-6任意一项所述的广告点击率预测方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-6任意一项所述的广告点击率预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910522208.2A CN110245987A (zh) | 2019-06-17 | 2019-06-17 | 一种广告点击率预测方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910522208.2A CN110245987A (zh) | 2019-06-17 | 2019-06-17 | 一种广告点击率预测方法、装置、服务器及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110245987A true CN110245987A (zh) | 2019-09-17 |
Family
ID=67887567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910522208.2A Pending CN110245987A (zh) | 2019-06-17 | 2019-06-17 | 一种广告点击率预测方法、装置、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110245987A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689376A (zh) * | 2019-09-27 | 2020-01-14 | 支付宝(杭州)信息技术有限公司 | 一种点击率的预测方法、装置及电子设备 |
| CN111860986A (zh) * | 2020-07-07 | 2020-10-30 | 北京明略昭辉科技有限公司 | 一种预测模型的训练方法、广告点击预测方法及装置 |
| CN112258223A (zh) * | 2020-10-13 | 2021-01-22 | 上海数鸣人工智能科技有限公司 | 一种基于决策树的营销广告点击的预测方法 |
| CN112348564A (zh) * | 2020-09-27 | 2021-02-09 | 北京淇瑀信息科技有限公司 | 自动管理广告投放的方法、装置和电子设备 |
| WO2021147568A1 (zh) * | 2020-08-27 | 2021-07-29 | 平安科技（深圳）有限公司 | 基于gbdt高阶特征组合的推荐方法、装置及存储介质 |
| CN113283948A (zh) * | 2021-07-14 | 2021-08-20 | 腾讯科技（深圳）有限公司 | 预测模型的生成方法、装置、设备和可读介质 |
| US11710148B2 (en) | 2021-01-31 | 2023-07-25 | Walmart Apollo, Llc | Deep learning-based revenue-per-click prediction model framework |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118014A (zh) * | 2018-08-30 | 2019-01-01 | 浙江工业大学 | 一种基于时间递归神经网络的交通流速度预测方法 |
-
2019
- 2019-06-17 CN CN201910522208.2A patent/CN110245987A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118014A (zh) * | 2018-08-30 | 2019-01-01 | 浙江工业大学 | 一种基于时间递归神经网络的交通流速度预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| KUSHAL DAVE: "Predicting the click-through rate for rare/new ads", 《CENTRE FOR SEARCH AND INFORMATION EXTRACTION LAB INTERNATIONAL INSTITUTE OF INFORMATION TECHNOLOGY》 * |
| 陈巧红: "基于递归神经网络的广告点击率预估研究", 《浙江理工大学学报》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110689376A (zh) * | 2019-09-27 | 2020-01-14 | 支付宝(杭州)信息技术有限公司 | 一种点击率的预测方法、装置及电子设备 |
| CN111860986A (zh) * | 2020-07-07 | 2020-10-30 | 北京明略昭辉科技有限公司 | 一种预测模型的训练方法、广告点击预测方法及装置 |
| WO2021147568A1 (zh) * | 2020-08-27 | 2021-07-29 | 平安科技（深圳）有限公司 | 基于gbdt高阶特征组合的推荐方法、装置及存储介质 |
| CN112348564A (zh) * | 2020-09-27 | 2021-02-09 | 北京淇瑀信息科技有限公司 | 自动管理广告投放的方法、装置和电子设备 |
| CN112258223A (zh) * | 2020-10-13 | 2021-01-22 | 上海数鸣人工智能科技有限公司 | 一种基于决策树的营销广告点击的预测方法 |
| CN112258223B (zh) * | 2020-10-13 | 2021-05-18 | 上海数鸣人工智能科技有限公司 | 一种基于决策树的营销广告点击的预测方法 |
| US11710148B2 (en) | 2021-01-31 | 2023-07-25 | Walmart Apollo, Llc | Deep learning-based revenue-per-click prediction model framework |
| CN113283948A (zh) * | 2021-07-14 | 2021-08-20 | 腾讯科技（深圳）有限公司 | 预测模型的生成方法、装置、设备和可读介质 |
| CN113283948B (zh) * | 2021-07-14 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 预测模型的生成方法、装置、设备和可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110245987A (zh) | 一种广告点击率预测方法、装置、服务器及存储介质 | |
| CN107688606A (zh) | 一种推荐信息的获取方法及装置，电子设备 | |
| CN104992347B (zh) | 一种视频匹配广告的方法及装置 | |
| Graepel et al. | Web-scale bayesian click-through rate prediction for sponsored search advertising in microsoft's bing search engine | |
| AU2012100801A4 (en) | System and Method for Providing an Athlete with a Performance Profile | |
| CN109815980A (zh) | 用户类型的预测方法、装置、电子设备及可读存储介质 | |
| CN107038213A (zh) | 一种视频推荐的方法及装置 | |
| CN108875007A (zh) | 兴趣点的确定方法和装置、存储介质、电子装置 | |
| CN108205766A (zh) | 信息推送方法、装置及系统 | |
| CN108230010A (zh) | 一种预估广告转化率的方法及服务器 | |
| CN110287419A (zh) | 一种商品推荐方法、装置、服务器及存储介质 | |
| CN108109016A (zh) | 广告转化率预估方法和装置、计算机设备和存储介质 | |
| CN105808762B (zh) | 资源排序方法和装置 | |
| CN108460082A (zh) | 一种推荐方法及装置，电子设备 | |
| CN109784959A (zh) | 一种目标用户预测方法、装置、后台服务器及存储介质 | |
| CN107463580A (zh) | 训练点击率预估模型方法和装置、点击率预估方法和装置 | |
| CN109345317A (zh) | 用户口味偏好信息的确定方法及装置 | |
| CN110766510A (zh) | 推荐方法、装置、电子设备及可读存储介质 | |
| CN111476622A (zh) | 一种物品推送方法及装置、计算机可读存储介质 | |
| CN107103028A (zh) | 一种信息处理方法及装置 | |
| CN110148039A (zh) | 一种众智网络智能数体需求匹配策略优化方法及系统 | |
| CN110472146A (zh) | 线下服务推荐方法与装置、存储介质及计算机设备 | |
| CN104484365B (zh) | 一种多源异构在线社会网络中网络主体之间社会关系的预测方法与系统 | |
| CN106503267A (zh) | 一种适用于用户偏好动态演变的个性化推荐算法 | |
| WO2020104806A1 (en) | Real-time bidding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190917 |
|
| RJ01 | Rejection of invention patent application after publication |