CN110838022A - 广告调价方法、装置、电子设备和计算机可读介质 - Google Patents

Abstract

本申请实施例公开了广告调价方法、装置、电子设备和计算机可读介质。该方法的实施例包括：从历史页面数据中提取的各历史广告的历史特征信息；利用交叉熵算法，执行调参步骤，得到调价模型的最终参数；提取目标页面中的各广告的特征信息，将各广告的特征信息分别输入至调价模型，得到各广告的调价系数；基于各广告的调价系数，对各广告的原始出价进行调整，生成各广告的建议价格。该实施方式降低了寻找最优参数的耗时且提高了调价结果的合理性。

Description

广告调价方法、装置、电子设备和计算机可读介质

技术领域

本申请实施例涉及计算机技术领域，具体涉及广告调价方法、装置、电子设备和计算机可读介质。

背景技术

随着互联网的普及，在基于搜索请求得到的自然结果中投放网络广告，是一种越来越常见的网络广告投放方式。在广告投放之前，通常需要由广告主出价，系统综合多方面因素对广告主的出价进行调价后，选取合适的广告进行展示。

现有的广告调价方式，通常是通过人工设定调价公式，并手动调节调价公式中的参数，来平衡收益。然而，这种人工调参的方式不仅限制了调价公式的复杂度，导致无法扩展更多的特征，调价结果不够合理。同时，人工调参方式不易寻找出最优参数组合，导致调参效率较低。

发明内容

本申请实施例提出了广告调价方法、装置、电子设备和计算机可读介质，以提高对调价模型的调参效率以及调价结果的合理性。

第一方面，本申请实施例提供了一种广告调价方法，该方法包括：

从历史页面数据中提取的各历史广告的历史特征信息；

利用交叉熵算法，执行如下调参步骤：对调价模型的参数进行采样，得到多组参数；将各历史特征信息作为状态信息输入至采用各组参数的调价模型，得到各调价模型输出的动作值；基于所得到的动作值确定各组参数对应的各历史广告的平均千人成本增量和平均成交总额增量；将平均千人成本增量与平均成交总额增量之差的绝对值作为正则项，基于所得到的平均千人成本增量、平均成交总额增量和正则项，确定各组参数对应的广告收益；将各组参数对应的广告收益作为奖励值，按照奖励值从大到小的顺序，从多组参数中选取预设组数的目标参数；确定是否满足结束调参条件；若满足，将奖励值最大的一组目标参数作为调价模型的最终参数；

提取目标页面中的各广告的特征信息，将各广告的特征信息分别输入至调价模型，得到各广告的调价系数；

基于各广告的调价系数，对各广告的原始出价进行调整，生成各广告的建议价格。

第二方面，本申请实施例提供了一种广告调价装置，该装置包括：

第一提取单元，被配置成从历史页面数据中提取的各历史广告的历史特征信息；

调参单元，被配置成利用交叉熵算法，执行如下调参步骤：对调价模型的参数进行采样，得到多组参数；将各历史特征信息作为状态信息输入至采用各组参数的调价模型，得到各调价模型输出的动作值；基于所得到的动作值确定各组参数对应的各历史广告的平均千人成本增量和平均成交总额增量；将平均千人成本增量与平均成交总额增量之差的绝对值作为正则项，基于所得到的平均千人成本增量、平均成交总额增量和正则项，确定各组参数对应的广告收益；将各组参数对应的广告收益作为奖励值，按照奖励值从大到小的顺序，从多组参数中选取预设组数的目标参数；确定是否满足结束调参条件；若满足，将采用奖励值最大的一组目标参数作为调价模型的最终参数；

第二提取单元，被配置成提取目标页面中的各广告的特征信息，将各广告的特征信息分别输入至调价模型，得到各广告的调价系数；

生成单元，被配置成基于各广告的调价系数，对各广告的原始出价进行调整，生成各广告的建议价格

第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述第一方面中所描述的方法。

第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面中所描述的方法。

本申请实施例提供的广告调价方法、装置、电子设备和计算机可读介质，通过从历史页面数据中提取的各历史广告的历史特征信息；而后利用交叉熵算法，执行调参步骤，得到调价模型的最终参数；之后提取目标页面中的各广告的特征信息，将各广告的特征信息分别输入至调价模型，得到各广告的调价系数；最后基于各广告的调价系数，对各广告的原始出价进行调整，从而生成各广告的建议价格。一方面，使用交叉熵算法自动确定调价模型的参数，易于寻找出最优参数组合，降低了调参步骤的耗时，提高了调参效率。另一方面，将平均千人成本增量与平均成交总额增量之差的绝对值作为正则项，结合正则项所确定出的广告收益，平衡了平台的收益和广告主的收益。在调参过程中，将由此方式计算得到的广告收益作为奖励值指导下一次的参数采样，可实现多目标优化。由此所确定出的最终参数，可使调价模型输出的调价结果更为合理。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请的广告调价方法的一个实施例的流程图；

图2是根据本申请的调参步骤的分解流程图；

图3是根据本申请的广告调价方法的又一个实施例的流程图；

图4是根据本申请的广告调价装置的一个实施例的结构示意图；

图5是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，其示出了根据本申请的广告调价方法的一个实施例的流程100。该广告调价方法，包括以下步骤：

步骤101，从历史页面数据中提取的各历史广告的历史特征信息。

在本实施例中，广告调价方法的执行主体(如服务器等电子设备)可以首先获取历史页面数据。其中，历史页面数据可以包括历史页面中的各个历史广告的相关信息，如各历史广告的出价、成交额、点击率、通过率、销量等。

在获取历史页面数据后，可以从历史页面数据中提取的各历史广告的历史特征信息。其中，历史特征信息可以用于表征历史广告的特征。实践中，可以从各历史广告的相关信息中提取部分信息作为部分历史特征信息，也可以将各历史广告的相关信息进行统计等数值处理，将处理结果作为部分历史特征信息。本申请实施例对历史特征信息的提取方式以及提取项目不作限定。

在本实施例的一些可选的实现方式中，各历史广告的历史特征信息可以包括广告特征信息。广告特征信息可以是用于表征各历史广告的自身特征的信息。实践中，广告特征信息包括但不限于以下至少一项：原始出价、成交总额、点击通过率(Click-Through-Rate，CTR)、转化率(Conversion Rate，CVR)、销量指数、活动指数、评论指数。

其中，销量指数可以用于表征历史广告所推广的产品的销量情况(例如7天出售的产品的数量、近7天的销售额等)。活动指数可以用于表征历史广告所推广的产品的优惠情况(例如近7天有无优惠活动，优惠活动的折扣比例等)。评论指数用于表征历史广告所推广的产品的评论情况(例如平均评分、好评比例等)。实践中，销量指数、活动指数和评论指数均可通过数值来表征。

在本实施例的一些可选的实现方式中，各历史广告的历史特征信息还可以包括队列特征信息。队列特征信息可以是用于表征历史广告在历史页面中的影响程度的信息。

实践中，队列特征信息可以包括但不限于以下至少一项：历史页面中的各历史广告的平均出价、历史广告的出价与上述平均出价的比值、上述历史页面中的各历史广告的平均成交总额、历史广告的成交总额与上述平均成交总额的比值、历史广告的点击通过率与上述历史页面中的各历史广告的平均点击通过率的比值、历史广告的转化率与上述历史页面中的各历史广告的平均转化率的比值、上述历史页面中的各历史广告的平均销量指数、历史广告的销量指数与上述平均销量指数的比值、上述历史页面中的各历史广告的平均活动指数、历史广告的活动指数与上述平均活动指数的比值、上述历史页面中的各历史广告的平均评论指数、历史广告的评论指数与上述平均评论指数的比值。

其中，平均销量指数即为历史页面中的各历史广告的销量指数的平均值。平均活动指数即为历史页面中的各历史广告的活动指数的平均值。平均评论指数即为历史页面中的各历史广告的评论指数的平均值。

通过提取队列特征信息，可以刻画出各历史广告在历史页面中的影响程度，使历史特征信息更全面、更准确，从而可使基于历史特征信息所训练出的调价模型的输出效果。

在本实施例的一些可选的实现方式中，各历史广告的历史特征信息还可以包括用户特征信息。用户特征信息为用于表征用户特征的信息。实践中，用户特征信息包括但不限于以下至少一项：点击指数、下单指数、用户词向量、用户画像特征。其中，点击指数可以用于表征用户对历史页面的点击情况(如点击次数等)，上述下单指数用于表征用户对历史页面的下单情况(如用于刻画用户近期点击的10个商家的特征的向量)。

通过提取用户特征信息，可以进一步丰富历史特征信息的全面性。从而有助于进一步优化基于历史特征信息所训练出的调价模型的输出效果。

步骤102，利用交叉熵算法，执行调参步骤。

在本实施例中，上述执行主体可以利用交叉熵算法(Cross Entropy Method，CEM)，执行调参步骤。实践中，交叉熵算法是一种求解参数优化问题的方法。交叉熵算法将问题定义为寻求函数(即调价模型)的实数多维矢量(即调价模型的参数向量)，使得奖励值(Reward)最优。在调参过程中，基于由状态信息(state)得到的动作值(action)，计算当前各组参数的奖励值(Reward)，并基于奖励值重新进行参数采样，经多次迭代得到最终参数。

在本实施例中，利用交叉熵算法所执行的调参步骤可进一步参考图2，图2是对上述调参步骤的分解流程图。在图2中，将步骤102分解成如下的7个子步骤，即：步骤1021-步骤1027。

步骤1021，对调价模型的参数进行采样，得到多组参数。

在本实施例中，上述执行主体可以对调价模型的参数进行采样，得到多组参数。其中，调价模型可以是预先建立的用于预测广告的调价系数的模型。该模型可采用神经网络等结构。

实践中，可以将调价模型的参数的分布视为高斯分布，使用随机采样方式进行参数的采样。实践中，采样到的每一组参数均可以以一个参数向量来表示。

步骤1022，将各历史特征信息作为状态信息输入至采用各组参数的调价模型，得到各调价模型输出的动作值。

在本实施例中，上述执行主体可以将各历史特征信息作为状态信息(state)，输入至采用各组参数的调价模型，得到各调价模型输出的动作值(action)。此处，调价模型输出的动作值即为调价模型所预测出的历史广告的调价系数。

具体地，对于采样得到的每一组参数，可以将各历史广告的历史特征信息分别输入至采用该组参数的调价模型，得到该组参数对应的各个历史广告的调价系数，并将各调价系数作为动作值。由此，每一组参数均对应有一组动作值，且该组动作值包含各个历史广告在该组参数下的调价系数。

步骤1023，基于所得到的动作值确定各组参数对应的平均千人成本增量和平均成交总额增量。

在本实施例中，由于每一组参数均对应有一组动作值，且各组动作值均包含各个历史广告在相应参数组下的调价系数。因而，上述执行主体可以针对每一组参数，基于该组参数对应的调价系数，计算出各个历史广告的调价结果。而后，可以基于该组参数对应的各调价结果，计算出该组参数对应的平均千人成本增量和平均成交总额增量。

需要说明的是，千人成本(Cost Per Thousand Impression，CPM)是一种广告送达1000人的成本计算单位，是对不同广告进行衡量而制定的相对指标，是一个衡量广告价值的数字，可用于表征广告平台的收益情况。实践中，千人成本＝(广告费用/到达人数)×1000。此处，历史页面中的各历史广告的千人成本的平均值即为平均千人成本。上述平均千人成本增量可以是上述平均千人成本为与预设的基准千人成本的差值。

还需要说明的是，成交总额(Gross Merchandise Volume，GMV)通常指广告在一定时间段内的总成交额。该成交总额可用于表征广告主的收益情况。某广告的成交总额越大，广告主的收益越大。此处，历史页面中的各历史广告的成交总额的平均值即为平均成交总额。上述平均成交总额增量即为上述平均成交总额与预设的基准成交总额的差值。

需要指出的是，上述基准千人成本以及上述基准成交总额可以根据大量数据统计和试验而预先设定，也可以直接使用历史页面中实际平均前任成本和实际平均成交总额，此处对此两项的具体数值不作限定。

在本实施例的一些可选的实现方式中，对于每一组参数，可以按照如下步骤执行：

首先，基于使用该组参数的初始模型输出的动作值，对各历史广告的原始出价进行调整，得到各历史广告的调价结果。实践中，调价结果可以是原始价格与调价系数的乘积。

而后，基于各历史广告的调价结果，确定历史页面中的历史广告的平均千人成本和平均成交总额。

最后，将上述平均千人成本与预设的基准千人成本之差确定为该组参数对应的平均千人成本增量，并将上述平均成交总额与预设的基准成交总额之差确定为该组参数对应的平均成交总额增量。

由此，可以得到各组参数对应的平均千人成本增量和平均成交总额增量。

步骤1024，将平均千人成本增量与平均成交总额增量之差的绝对值作为正则项，基于所得到的平均千人成本增量、平均成交总额增量和正则项，确定各组参数对应的广告收益。

在本实施例中，对于每一组参数，可以将该组参数对应的平均千人成本增量与平均成交总额增量之差的绝对值作为该组参数对应的正则项。而后，分别基于各组参数对应的平均千人成本增量、平均成交总额增量和正则项，确定各组参数对应的广告收益。

在本实施例的一些可选的实现方式中，对于每一组参数，在得到该组参数对应的正则项后，可以确定该组参数对应的平均千人成本增量(可表示为Δcpm)与平均成交总额增量(可表示为Δgmv)的总和。而后，可以将上述总和与该组参数对应的正则项(即|Δcpm-Δgmv|)的差值确定为对该组参数的奖励值(reward)。具体可参见如下公式：

reward＝Δcpm+Δgmv-|Δcpm-Δgmv|

需要说明的是，基于所得到的平均千人成本增量、平均成交总额增量和正则项，还可以利用其它方式计算各组参数的广告收益。作为示例，对于每一组参数，可以首先对该组参数对应的平均千人成本增量与平均成交总额增量进行加权，得到加权结果。而后，可以将该加权结果与正则项的差作为该组参数对应的广告收益。作为又一示例，正则项也可以具有权重系数，此时，可以计算该权重系数与正则项的乘积，将上述加权结果与该成绩之差作为该组参数对应的广告收益。

步骤1025，将各组参数对应的广告收益作为奖励值，按照奖励值从大到小的顺序，从多组参数中选取预设组数的目标参数。

在本实施例中，上述执行主体可以将各组参数对应的广告收益作为奖励值(Reward)，按照奖励值从大到小的顺序，从多组参数中选取预设组数(例如10组)的参数作为目标参数。

通过将平均千人成本增量与平均成交总额增量之差的绝对值作为正则项，基于平均千人成本增量、平均成交总额增量和正则项，确定各组参数对应的广告收益，由此，各组参数对应的奖励值平衡了平台的收益和广告主的收益，可实现多目标优化，由此所确定出的最终参数，可使调价模型输出的调价结果更为合理。

步骤1026，确定是否满足结束调参条件。

在本实施例中，可以预先设定结束调参条件。在选取目标参数后，可以确定是否满足结束调参条件。

实践中，可以依据调参步骤的迭代执行次数设定结束调参条件。例如，若调参步骤的迭代执行次数达到预设次数，则可视为满足结束调参条件。

此外，还可以依据所选取的目标参数的分布情况确定设定结束调参条件。作为示例，可以将目标参数的分布的方差小于或等于一个指定阈值作为结束调参条件，或者，将目标参数的分布情况收敛作为结束调参条件等。

步骤1027，若满足，将奖励值最大的一组目标参数作为调价模型的最终参数。

在本实施例中，若满足结束调参条件，可以将奖励值最大的一组目标参数作为调价模型的最终参数。

需要说明的是，若此时不满足结束条件，则上述执行主体可以确定所选取的目标参数的分布。具体地，由于每一组参数可以表示为一个参数向量。因而在选取目标参数后，即可得到多个参数向量。此时，可以对上述多个参数向量求平均和方差，得到平均值向量、方差向量。然后根据平均值向量和方差向量，即可刻画出一组分布。从而，可以基于上述分布，重新执行上述调参步骤，即重新执行步骤1021及步骤1021之后的步骤，直至满足结束调参条件。

在本实施例的一些可选的实现方式中，在调参完毕并得到最终参数之后，上述执行主体还可以利用上述调价模型对线下页面数据进行仿真，得到线下页面中的各广告的仿真调价系数；或者利用上述调价模型对线上页面数据进行预测，得到线上页面中的各广告的预测调价系数。

步骤103，提取目标页面中的各广告的特征信息，将各广告的特征信息分别输入至调价模型，得到各广告的调价系数。

在本实施例中，在调参完毕并得到调价模型的最终参数后，即可利用调价模型进行广告的调价系数的预测。此时的条件模型的参数为上述最终参数。具体地，上述执行主体可以提取目标页面中的各广告的特征信息，将各广告的特征信息分别输入至调价模型，得到各广告的调价系数。

需要说明的是，目标页面中的各广告的特征信息的提取操作与步骤101中提取历史特征信息的操作基本相同，此处不再赘述。

步骤104，基于各广告的调价系数，对各广告的原始出价进行调整，生成各广告的建议价格。

在本实施例中，上述执行主体可以基于各广告的调价系数，对各广告的原始出价进行调整，生成各广告的建议价格。例如，可以将调价系数与原始出价的乘积作为建议价格。由此，得到目标页面中的各广告的最终价格。

本申请的上述实施例提供的方法，通过从历史页面数据中提取的各历史广告的历史特征信息；而后利用交叉熵算法，执行调参步骤，得到调价模型的最终参数；之后提取目标页面中的各广告的特征信息，将上述各广告的特征信息分别输入至上述调价模型，得到上述各广告的调价系数；最后基于上述各广告的调价系数，对上述各广告的原始出价进行调整，生成上述各广告的建议价格。一方面，使用交叉熵算法自动确定调价模型的参数，易于寻找出最优参数组合，降低了调参步骤的耗时，提高了调参效率。另一方面，将平均千人成本增量与平均成交总额增量之差的绝对值作为正则项，结合正则项所确定出的广告收益，平衡了平台的收益和广告主的收益。在调参过程中，将由此方式计算得到的广告收益作为奖励值指导下一次的参数采样，可实现多目标优化。由此所确定出的最终参数，可使调价模型输出的调价结果更为合理。

进一步参考图3，其示出了广告调价方法的又一个实施例的流程300。该广告调价方法的流程300，包括以下步骤：

步骤301，从历史页面数据中提取的各历史广告的历史特征信息。

步骤302，利用交叉熵算法，执行调参步骤。

步骤303，提取目标页面中的各广告的特征信息，将各广告的特征信息分别输入至调价模型，得到各广告的调价系数。

步骤304，基于各广告的调价系数，对各广告的原始出价进行调整，生成各广告的建议价格。

本实施例中的步骤301-步骤304可参见图1实施例中的步骤101-步骤104，此处不再赘述。

步骤305，基于各广告的建议价格，对各广告进行排序。

在本实施例中，上述执行主体可以基于上述各广告的建议价格，对上述各广告进行排序。

实践中，可以将各广告的建议价格作为一个因素，结合各广告的预估点击通过率、预估转化率等因素，计算各广告的评分。而后，按照评分由高到低的顺序对各广告进行排序。

需要说明的是，上述预估点击通过率、上述预估转化率可以分别通过预先训练的点击通过率预测模型、转化率预测模型预测得到。实践中，点击通过率预测模型、转化率预测模型可以是利用机器学习方法预先训练得到的。

需要指出的是，上述广告的评分可以采用预先设置的评分函数、公式或者模型计算得到。作为示例，可以预先设定广告建议价格、预估点击通过率和预估转化率权重，通过对广告建议价格、预估点击通过率和预估转化率权重进行加权，从而将加权结果作为得分。

步骤306，基于排序结果和得到上述各广告的建议价格，对上述各广告进行计费。

在本实施例中，目标页面可以是线上的任一页面。上述执行主体可以按照步骤205得到的各广告的排序结果，对广告进行相应位置的投放。从而对上述各广告进行实时计费。

实践中，可以采用多种计费方式和计费模式，进行广告的计费。例如，计费方式可以采用GSP(Generalized Second Price，广义第二价格)计费方式、GFP(GeneralizedFirst Price，广义第一价格)计费方式等。计费模式可以采用OCPC(Optimized Cost perClick，优化点击付费)、OCPM(Optimized Cost per Mille，优化千次展现出价)、OCPA(Optimized Cost per Action，优化行为出价)等。

从图3中可以看出，与图1对应的实施例相比，本实施例中的广告调价方法的流程300涉及了基于各广告的建议价格，对各广告进行排序并计费的步骤。由此，本实施例描述的方案可以应用于线上的实时的广告计费场景，可进行线上实时计费，提高了广告调价的实时性。

进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种广告调价装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例所述的广告调价装置400包括：第一提取单元401，被配置成从历史页面数据中提取的各历史广告的历史特征信息；调参单元402，被配置成利用交叉熵算法，执行如下调参步骤：对调价模型的参数进行采样，得到多组参数；将各历史特征信息作为状态信息输入至采用各组参数的调价模型，得到各调价模型输出的动作值；基于所得到的动作值确定各组参数对应的各历史广告的平均千人成本增量和平均成交总额增量；将平均千人成本增量与平均成交总额增量之差的绝对值作为正则项，基于所得到的平均千人成本增量、平均成交总额增量和正则项，确定各组参数对应的广告收益；将各组参数对应的广告收益作为奖励值，按照奖励值从大到小的顺序，从上述多组参数中选取预设组数的目标参数；确定是否满足结束调参条件；若满足，将采用奖励值最大的一组目标参数作为调价模型的最终参数；第二提取单元403，被配置成提取目标页面中的各广告的特征信息，将上述各广告的特征信息分别输入至上述调价模型，得到上述各广告的调价系数；生成单元404，被配置成基于上述各广告的调价系数，对上述各广告的原始出价进行调整，生成上述各广告的建议价格。

在本实施例的一些可选的实现方式中，上述调参单元402，进一步被配置成：对于每一组参数，执行如下步骤：基于使用该组参数的初始模型输出的动作值，对各历史广告的原始出价进行调整，得到各历史广告的调价结果；基于各历史广告的调价结果，确定历史页面中的各历史广告的平均千人成本和平均成交总额；将上述平均千人成本与预设的基准千人成本之差确定为该组参数对应的平均千人成本增量，并将上述平均成交总额与预设的基准成交总额之差确定为该组参数对应的平均成交总额增量。

在本实施例的一些可选的实现方式中，上述调参单元402，进一步被配置成：对于每一组参数，执行如下步骤：将该组参数对应的平均千人成本增量与平均成交总额增量之差的绝对值确定为该组参数对应的正则项；确定该组参数对应的平均千人成本增量与平均成交总额增量的总和；将上述总和与该组参数对应的正则项的差值确定为该组参数的奖励值。

在本实施例的一些可选的实现方式中，上述装置还包括：执行步骤，被配置成响应于未满足上述结束调参条件，确定所选取的目标参数的分布，并基于上述分布，重新执行上述调参步骤。

在本实施例的一些可选的实现方式中，上述装置还包括：仿真单元，被配置成利用上述调价模型对线下页面数据进行仿真，得到线下页面中的各广告的仿真调价系数；或者预测单元，被配置成利用上述调价模型对线上页面数据进行预测，得到线上页面中的各广告的预测调价系数。

在本实施例的一些可选的实现方式中，上述历史广告的历史特征信息包括广告特征信息，上述广告特征信息包括以下至少一项：原始出价、成交总额、点击通过率、转化率、销量指数、活动指数、评论指数，其中，上述销量指数用于表征历史广告所推广的产品的销量情况，上述活动指数用于表征历史广告所推广的产品的优惠情况，上述评论指数用于表征历史广告所推广的产品的评论情况。

在本实施例的一些可选的实现方式中，上述历史特征信息包括队列特征信息，上述队列特征信息包括以下至少一项：历史页面中的各历史广告的平均出价、历史广告的出价与上述平均出价的比值、上述历史页面中的各历史广告的平均成交总额、历史广告的成交总额与上述平均成交总额的比值、历史广告的点击通过率与上述历史页面中的各历史广告的平均点击通过率的比值、历史广告的转化率与上述历史页面中的各历史广告的平均转化率的比值、上述历史页面中的各历史广告的平均销量指数、历史广告的销量指数与上述平均销量指数的比值、上述历史页面中的各历史广告的平均活动指数、历史广告的活动指数与上述平均活动指数的比值、上述历史页面中的各历史广告的平均评论指数、历史广告的评论指数与上述平均评论指数的比值。

在本实施例的一些可选的实现方式中，上述历史特征信息包括用户特征信息，上述用户特征信息包括以下至少一项：点击指数、下单指数、用户词向量、用户画像特征，其中，上述点击指数用于表征用户对上述历史页面的点击情况，上述下单指数用于表征用户对历史页面的下单情况。

在本实施例的一些可选的实现方式中，上述装置还包括：排序单元，被配置成基于上述各广告的建议价格，对上述各广告进行排序；计费单元，被配置成基于排序结果和得到上述各广告的建议价格，对上述各广告进行计费。

本申请的上述实施例提供的装置，通过从历史页面数据中提取的各历史广告的历史特征信息；而后利用交叉熵算法，执行调参步骤，得到调价模型的最终参数；之后提取目标页面中的各广告的特征信息，将上述各广告的特征信息分别输入至上述调价模型，得到上述各广告的调价系数；最后基于上述各广告的调价系数，对上述各广告的原始出价进行调整，生成上述各广告的建议价格。一方面，使用交叉熵算法自动确定调价模型的参数，易于寻找出最优参数组合，降低了调参步骤的耗时，提高了调参效率。另一方面，将平均千人成本增量与平均成交总额增量之差的绝对值作为正则项，结合正则项所确定出的广告收益，平衡了平台的收益和广告主的收益。在调参过程中，将由此方式计算得到的广告收益作为奖励值指导下一次的参数采样，可实现多目标优化。由此所确定出的最终参数，可使调价模型输出的调价结果更为合理。

下面参考图5，其示出了适于用来实现本申请实施例的电子设备的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：从历史页面数据中提取的各历史广告的历史特征信息；利用交叉熵算法，执行调参步骤，得到调价模型的最终参数；提取目标页面中的各广告的特征信息，将上述各广告的特征信息分别输入至上述调价模型，得到上述各广告的调价系数；基于上述各广告的调价系数，对上述各广告的原始出价进行调整，生成上述各广告的建议价格。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种广告调价方法，其特征在于，所述方法包括：

从历史页面数据中提取的各历史广告的历史特征信息；

利用交叉熵算法，执行如下调参步骤：对调价模型的参数进行采样，得到多组参数；将各历史特征信息作为状态信息输入至采用各组参数的调价模型，得到各调价模型输出的动作值；基于所得到的动作值确定各组参数对应的各历史广告的平均千人成本增量和平均成交总额增量；将平均千人成本增量与平均成交总额增量之差的绝对值作为正则项，基于所得到的平均千人成本增量、平均成交总额增量和正则项，确定各组参数对应的广告收益；将各组参数对应的广告收益作为奖励值，按照奖励值从大到小的顺序，从所述多组参数中选取预设组数的目标参数；确定是否满足结束调参条件；若满足，将奖励值最大的一组目标参数作为调价模型的最终参数；

提取目标页面中的各广告的特征信息，将所述各广告的特征信息分别输入至所述调价模型，得到所述各广告的调价系数；

基于所述各广告的调价系数，对所述各广告的原始出价进行调整，生成所述各广告的建议价格。

2.根据权利要求1所述的方法，其特征在于，所述基于所得到的动作值确定各组参数对应的各历史广告的平均千人成本增量和平均成交总额增量，包括：

对于每一组参数，执行如下步骤：

基于使用该组参数的初始模型输出的动作值，对各历史广告的原始出价进行调整，得到各历史广告的调价结果；

基于各历史广告的调价结果，确定历史页面中的各历史广告的平均千人成本和平均成交总额；

将所述平均千人成本与预设的基准千人成本之差确定为该组参数对应的平均千人成本增量，并将所述平均成交总额与预设的基准成交总额之差确定为该组参数对应的平均成交总额增量。

3.根据权利要求1所述的方法，其特征在于，所述将平均千人成本增量与平均成交总额增量之差的绝对值作为正则项，基于所得到的平均千人成本增量、平均成交总额增量和正则项，确定各组参数对应的广告收益，包括：

对于每一组参数，执行如下步骤：

将该组参数对应的平均千人成本增量与平均成交总额增量之差的绝对值确定为该组参数对应的正则项；

确定该组参数对应的平均千人成本增量与平均成交总额增量的总和；

将所述总和与该组参数对应的正则项的差值确定为该组参数的奖励值。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于未满足所述结束调参条件，确定所选取的目标参数的分布，并基于所述分布，重新执行所述调参步骤。

5.根据权利要求1所述的方法，其特征在于，在所述将采用奖励值最大的一组目标参数作为调价模型的最终参数之后，所述方法还包括：

利用所述调价模型对线下页面数据进行仿真，得到线下页面中的各广告的仿真调价系数；或者

利用所述调价模型对线上页面数据进行预测，得到线上页面中的各广告的预测调价系数。

6.根据权利要求1所述的方法，其特征在于，所述历史广告的历史特征信息包括广告特征信息，所述广告特征信息包括以下至少一项：原始出价、成交总额、点击通过率、转化率、销量指数、活动指数、评论指数，其中，所述销量指数用于表征历史广告所推广的产品的销量情况，所述活动指数用于表征历史广告所推广的产品的优惠情况，所述评论指数用于表征历史广告所推广的产品的评论情况。

7.根据权利要求1所述的方法，其特征在于，所述历史特征信息包括队列特征信息，所述队列特征信息包括以下至少一项：历史页面中的各历史广告的平均出价、历史广告的出价与所述平均出价的比值、所述历史页面中的各历史广告的平均成交总额、历史广告的成交总额与所述平均成交总额的比值、历史广告的点击通过率与所述历史页面中的各历史广告的平均点击通过率的比值、历史广告的转化率与所述历史页面中的各历史广告的平均转化率的比值、所述历史页面中的各历史广告的平均销量指数、历史广告的销量指数与所述平均销量指数的比值、所述历史页面中的各历史广告的平均活动指数、历史广告的活动指数与所述平均活动指数的比值、所述历史页面中的各历史广告的平均评论指数、历史广告的评论指数与所述平均评论指数的比值。

8.根据权利要求1所述的方法，其特征在于，所述历史特征信息包括用户特征信息，所述用户特征信息包括以下至少一项：点击指数、下单指数、用户词向量、用户画像特征，其中，所述点击指数用于表征用户对所述历史页面的点击情况，所述下单指数用于表征用户对历史页面的下单情况。

9.根据权利要求1所述的方法，其特征在于，在所述生成所述各广告的建议价格之后，所述方法还包括：

基于所述各广告的建议价格，对所述各广告进行排序；

基于排序结果和得到所述各广告的建议价格，对所述各广告进行计费。

10.一种广告调价装置，其特征在于，所述装置包括：

第一提取单元，被配置成从历史页面数据中提取的各历史广告的历史特征信息；

调参单元，被配置成利用交叉熵算法，执行如下调参步骤：对调价模型的参数进行采样，得到多组参数；将各历史特征信息作为状态信息输入至采用各组参数的调价模型，得到各调价模型输出的动作值；基于所得到的动作值确定各组参数对应的各历史广告的平均千人成本增量和平均成交总额增量；将平均千人成本增量与平均成交总额增量之差的绝对值作为正则项，基于所得到的平均千人成本增量、平均成交总额增量和正则项，确定各组参数对应的广告收益；将各组参数对应的广告收益作为奖励值，按照奖励值从大到小的顺序，从所述多组参数中选取预设组数的目标参数；确定是否满足结束调参条件；若满足，将采用奖励值最大的一组目标参数作为调价模型的最终参数；

第二提取单元，被配置成提取目标页面中的各广告的特征信息，将所述各广告的特征信息分别输入至所述调价模型，得到所述各广告的调价系数；

生成单元，被配置成基于所述各广告的调价系数，对所述各广告的原始出价进行调整，生成所述各广告的建议价格。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的方法。

Images