CN111340535A - 展示信息的数据处理方法、装置、介质及电子设备 - Google Patents

展示信息的数据处理方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN111340535A
CN111340535A CN202010106461.2A CN202010106461A CN111340535A CN 111340535 A CN111340535 A CN 111340535A CN 202010106461 A CN202010106461 A CN 202010106461A CN 111340535 A CN111340535 A CN 111340535A
Authority
CN
China
Prior art keywords
price
display information
data
network
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010106461.2A
Other languages
English (en)
Inventor
吴强
谢乾龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202010106461.2A priority Critical patent/CN111340535A/zh
Publication of CN111340535A publication Critical patent/CN111340535A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0206—Price or cost determination based on market factors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0273—Determination of fees for advertising

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开涉及一种展示信息的数据处理方法、装置、介质及电子设备。该方法包括：通过价格调整网络对展示信息的当前价格数据进行特征映射以得到展示信息的下一价格调整系数；获取展示信息的当前价格调整系数，通过价格评价网络对当前价格数据和当前价格调整系数进行特征映射以得到当前反馈预估参数；获取展示信息的下一价格数据，并通过价格评价网络对下一价格数据和下一价格调整系数进行特征映射以得到下一反馈预估参数；获取与下一价格调整系数相对应的状态反馈参数，根据当前反馈预估参数、下一反馈预估参数和状态反馈参数确定价格调整误差；根据价格调整误差更新价格调整网络和价格评价网络的网络参数。该方法可以提高价格调整的灵活性和准确性。

Description

展示信息的数据处理方法、装置、介质及电子设备
技术领域
本公开涉及计算机技术领域，具体涉及一种展示信息的数据处理方法、展示信息的数据处理装置、计算机可读介质及电子设备。
背景技术
网络广告是广告主利用网络广告平台上提供的广告横幅、文本链接、多媒体等方法，在互联网刊登或发布广告，通过网络将广告内容传递到互联网用户的一种高科技广告运作方式。点击扣费广告业务(Cost Per Click，CPC)是一种常用的广告业务费用结算模式，在这种模式下广告主仅为用户点击广告的行为付费，而不再为广告的显示次数付费。对广告主来说可以避免只浏览不点击的收益损失问题。
然而，在CPC模式下，广告主一般会在指定的场景和定向类型下为每个广告设置一个固定出价。这就意味着不同价值和不同收益的广告在同一平台上可能具有相同的出价，而且同一个广告无法在一段时期内频繁地调整出价，这将导致广告平台和广告主在广告收益方面存在极大的不平衡。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种展示信息的数据处理方法、展示信息的数据处理装置、计算机可读介质及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的出价机制灵活性差、收益不平衡等技术问题。
根据本公开的一个方面，提供一种展示信息的数据处理方法，包括：
通过价格调整网络对展示信息的当前价格数据进行特征映射以得到所述展示信息的下一价格调整系数；
获取所述展示信息的当前价格调整系数，并通过价格评价网络对所述当前价格数据和所述当前价格调整系数进行特征映射以得到当前反馈预估参数；
获取所述展示信息的下一价格数据，并通过所述价格评价网络对所述下一价格数据和所述下一价格调整系数进行特征映射以得到下一反馈预估参数；
获取与所述下一价格调整系数相对应的状态反馈参数，并根据所述当前反馈预估参数、所述下一反馈预估参数和所述状态反馈参数确定价格调整误差；
根据所述价格调整误差更新所述价格调整网络和所述价格评价网络的网络参数。
在本公开的一些示例性实施方式中，所述通过价格调整网络对展示信息的当前价格数据进行特征映射以得到所述展示信息的下一价格调整系数，包括：
通过价格调整网络的第一卷积层对展示信息的当前价格数据进行卷积处理以得到特征图；
通过所述价格调整网络的第二卷积层对所述特征图进行卷积处理以得到所述展示信息的下一价格调整系数。
在本公开的一些示例性实施方式中，所述通过所述价格评价网络对所述下一价格数据和所述下一价格调整系数进行特征映射以得到下一反馈预估参数，包括：
根据所述下一价格调整系数和所述当前价格数据确定与所述下一价格调整系数相对应的调整参数向量；
通过所述价格评价网络对所述下一价格数据和所述调整参数向量进行特征映射以得到下一反馈预估参数。
在本公开的一些示例性实施方式中，所述通过所述价格评价网络对所述下一价格数据和所述调整参数向量进行特征映射以得到下一反馈预估参数，包括：
通过所述价格评价网络的全连接层对所述下一价格数据和所述调整参数向量进行全连接处理以得到下一反馈预估参数。
在本公开的一些示例性实施方式中，所述获取与所述下一价格调整系数相对应的状态反馈参数，包括：
获取所述展示信息的基础收益数据；
根据所述下一价格调整系数确定所述展示信息的下一价格数据；
根据所述基础收益数据和所述下一价格数据确定所述展示信息的收益浮动数据；
根据所述收益浮动数据确定与所述下一价格调整系数相对应的状态反馈参数。
在本公开的一些示例性实施方式中，在通过价格调整网络对展示信息的当前价格数据进行特征映射以得到所述展示信息的下一价格调整系数之前，所述方法还包括：
确定包括多个展示信息的展示信息集合；
分别对所述展示信息集合中的各个所述展示信息进行特征提取以得到各个所述展示信息的特征向量；
将各个所述展示信息的特征向量拼接得到所述展示信息集合的特征向量，并将所述展示信息集合的特征向量作为所述展示信息的当前价格数据。
在本公开的一些示例性实施方式中，所述方法还包括：
根据所述下一价格调整系数和所述当前价格数据确定各个所述展示信息的排序信息；
根据所述排序信息调整所述展示信息集合中的各个所述展示信息的排列顺序。
根据本公开的一个方面，提供一种展示信息的数据处理装置，该装置包括：
价格调整模块，被配置为通过价格调整网络对展示信息的当前价格数据进行特征映射以得到所述展示信息的下一价格调整系数；
第一状态评价模块，被配置为获取所述展示信息的当前价格调整系数，并通过价格评价网络对所述当前价格数据和所述当前价格调整系数进行特征映射以得到当前反馈预估参数；
第二状态评价模块，被配置为获取所述展示信息的下一价格数据，并通过所述价格评价网络对所述下一价格数据和所述下一价格调整系数进行特征映射以得到下一反馈预估参数；
误差确定模块，被配置为获取与所述下一价格调整系数相对应的状态反馈参数，并根据所述当前反馈预估参数、所述下一反馈预估参数和所述状态反馈参数确定价格调整误差；
参数更新模块，被配置为根据所述价格调整误差更新所述价格调整网络和所述价格评价网络的网络参数。
根据本公开的一个方面，提供一种计算机可读介质，其上存储有计算机程序，其特殊之处在于，所述计算机程序被处理器执行时实现以上任一所述的方法。
根据本公开的一个方面，提供一种电子设备，其特殊之处在于，包括处理器和存储器；其中，存储器用于存储所述处理器的可执行指令，所述处理器被配置为经由执行所述可执行指令来执行以上任一所述的方法。
在本公开的示例性实施方式提供的展示信息的数据处理方法中，通过强化学习对价格调整网络和价格评价网络进行持续优化，可以提高对展示信息进行状态调整的灵活性和准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性地示出了本公开一些示例性实施方式中展示信息的数据处理方法的步骤流程图。
图2示意性地示出了本发明一些示例性实施方式中获得价格调整系数的步骤流程图。
图3示意性地示出了本发明一些示例性实施方式中获得反馈预估参数的步骤流程图。
图4示意性地示出了本公开一些示例性实施方式中获得状态反馈参数的步骤流程图。
图5示意性地示出了本公开一些示例性实施方式中基于展示信息集合获取当前价格数据的步骤流程图。
图6示意性地示出了本公开一些示例性实施方式中对展示信息进行排序的步骤流程图。
图7示意性地示出了本公开在一应用场景中使用的网络结构图。
图8示意性地示出了本公开在另一应用场景中使用的网络结构图。
图9示意性地示出了本公开在又一应用场景中使用的网络结构图。
图10示意性地示出了本公开一些示例性实施方式中展示信息的数据处理装置的结构框图。
图11示意性示出本公开示例性实施方式中一种程序产品的示意图。
图12示意性示出本公开示例性实施方式中一种电子设备的模块示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本公开将更加全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示意性地示出了本公开一些示例性实施方式中展示信息的数据处理方法的步骤流程图。如图1所示，该方法主要可以包括以下步骤：
步骤S110.通过价格调整网络对展示信息的当前价格数据进行特征映射以得到展示信息的下一价格调整系数。
展示信息可以是广告、音乐、视频等各种基于付费模式在网络平台上进行展示的内容信息。展示信息的当前价格数据是与展示信息的展示价值相关的数据，展示信息的当前价格数据可以在一定程度上影响展示信息的收益情况。价格调整网络是预先训练的网络模型，由价格调整网络输出的下一价格调整系数会作用在当前价格数据上而影响展示信息的收益情况。例如，当展示信息为广告时，当前价格数据可以包括该广告的广告主出价信息，而下一价格调整系数则可以是作用于广告主出价信息的调价系数。
步骤S120.获取展示信息的当前价格调整系数，并通过价格评价网络对当前价格数据和当前价格调整系数进行特征映射以得到当前反馈预估参数。
当前价格调整系数可以是在初始状态下预先设定的指定系数，也可以是通过价格调整网络对展示信息的上一价格数据进行特征映射而得到的。价格评价网络是与价格调整网络相对应的预先训练的网络模型，用于对价格调整网络的状态调整效果做出评价。将展示信息的当前价格数据和当前价格调整系数输入至价格评价网络中可以进行特征映射以得到当前反馈预估参数，当前反馈预估参数用于评价当前价格调整系数对应的价格调整效果。
步骤S130.获取展示信息的下一价格数据，并通过价格评价网络对下一价格数据和下一价格调整系数进行特征映射以得到下一反馈预估参数。
与当前反馈预估参数相类似的，通过将展示信息的下一价格数据和下一价格调整系数输入至价格评价网络中可以进行特征映射以得到下一反馈预估参数，下一反馈预估参数用于评价下一价格调整系数对应的价格调整效果。
步骤S140.获取与下一价格调整系数相对应的状态反馈参数，并根据当前反馈预估参数、下一反馈预估参数和状态反馈参数确定价格调整误差。
当前反馈预估参数以及下一反馈预估参数是利用价格评价网络预估得到的状态反馈参数的累积参数。在理想情况下，当前反馈预估参数与对应于下一价格调整系数的状态反馈参数之间的差值即为下一反馈预估参数。在考虑诸多因素影响的情况下，本步骤根据当前反馈预估参数、下一反馈预估参数和状态反馈参数确定价格调整误差，价格调整误差用于衡量价格调整和反馈预估的准确性。
步骤S150.根据价格调整误差更新价格调整网络和价格评价网络的网络参数。
利用步骤S140得到的价格调整误差在相互连接的价格调整网络和价格评价网络内进行反向传播，可以逐步更新价格调整网络和价格评价网络内的网络参数。通过循环执行步骤S110至步骤S150，可以在不断优化价格调整参数的同时，对价格调整网络和价格评价网络进行持续优化。
在本公开的示例性实施方式提供的展示信息的数据处理方法中，通过强化学习对价格调整网络和价格评价网络进行持续优化，可以提高对展示信息进行价格调整的灵活性和准确性。
图2示意性地示出了本发明一些示例性实施方式中获得价格调整系数的步骤流程图。如图2所示，在以上实施方式的基础上，步骤S110.通过价格调整网络对展示信息的当前价格数据进行特征映射以得到展示信息的下一价格调整系数，可以包括以下步骤：
步骤S210.通过价格调整网络的第一卷积层对展示信息的当前价格数据进行卷积处理以得到特征图。
步骤S220.通过价格调整网络的第二卷积层对特征图进行卷积处理以得到展示信息的下一价格调整系数。
在本示例性实施方式中，价格调整网络可以是包括第一卷积层和第二卷积层的神经网络，在将展示信息的当前价格数据输入至第一卷积层后，可以通过卷积处理输出特征图(feature map)，然后再将特征图输入第二卷积层，继续进行卷积处理后得到展示信息的下一价格调整系数。
在本公开的另一些可选的实施方式中，也可以将价格调整网络中的全部或者部分的卷积层替换为全连接层，本公开对此不做特殊限定。
图3示意性地示出了本发明一些示例性实施方式中获得反馈预估参数的步骤流程图。如图3所示，步骤S130.通过价格评价网络对下一价格数据和下一价格调整系数进行特征映射以得到下一反馈预估参数，可以包括以下步骤：
步骤S310.根据下一价格调整系数和当前价格数据确定与下一价格调整系数相对应的调整参数向量。
步骤S320.通过价格评价网络对下一价格数据和调整参数向量进行特征映射以得到下一反馈预估参数。
由价格调整网络输出得到的下一价格调整系数可以是与当前价格数据长度相同的一个向量，本示例性实施方式可以对下一价格调整系数和当前价格数据计算内积得到与下一价格调整系数相对应的调整参数向量。然后再利用价格评价网络对下一价格数据和调整参数向量进行特征映射得到下一反馈预估参数。其中，确定调整参数向量的步骤可以在价格调整网络中执行，也可以在价格评价网络中执行，本公开对此不做特殊限定。价格评价网络可以是由全连接层构成的神经网络，本示例性实施方式可以通过价格评价网络的全连接层对下一价格数据和调整参数向量进行全连接处理以得到下一反馈预估参数。
图4示意性地示出了本公开一些示例性实施方式中获得状态反馈参数的步骤流程图。如图4所示，在以上实施方式的基础上，步骤S140.获取与下一价格调整系数相对应的状态反馈参数，可以包括以下步骤：
步骤S410.获取展示信息的基础收益数据。
展示信息的基础收益数据可以是由仿真系统提供的基线数据，例如可以是基于基线策略的千次曝光所获得的成交额GMV、千次曝光人均成交额RPM等等。
步骤S420.根据下一价格调整系数确定展示信息的下一价格数据。
一般而言，通过对展示信息进行价格调整，可以在一定程度上改变展示信息的收益数据，例如可以增加千次曝光的成交额。本步骤将根据下一价格调整系数计算得到展示信息的下一价格数据。
步骤S430.根据基础收益数据和下一价格数据确定展示信息的收益浮动数据。
收益浮动数据是下一价格数据相对于基础收益数据的变化量，对于多种不同类型的基础收益数据可以获得相应的多种收益浮动数据，例如可以是千次曝光成交额的变化量ΔGMV和千次曝光人均成交额的变化量ΔCPM。
步骤S440.根据收益浮动数据确定与下一价格调整系数相对应的状态反馈参数。
当收益浮动数据包括多种类型时，可以利用预设权重对各个收益浮动数据进行加权处理，以得到相应的状态反馈参数。
在本公开的一些可选的实施方式中，可以将多个具有关联关系的展示信息组成展示信息集合，然后对展示信息集合内的展示信息进行批量化处理。图5示意性地示出了本公开一些示例性实施方式中基于展示信息集合获取当前价格数据的步骤流程图，如图5所示，在步骤S110.通过价格调整网络对展示信息的当前价格数据进行特征映射以得到展示信息的下一价格调整系数之前，还可以包括以下步骤：
步骤S510.确定包括多个展示信息的展示信息集合。
展示信息集合例如可以是一个展示有多个广告的网络页面，该网络页面内的各个广告即为展示信息。
步骤S520.分别对展示信息集合中的各个展示信息进行特征提取以得到各个展示信息的特征向量。
针对展示信息集合内的每一个展示信息均可以进行相同的特征提取处理，得到每个展示信息的特征向量。例如，该特征向量可以是由点击率、转化率、广告主出价、广告产品价格等多个元素组成的向量。
步骤S530.将各个展示信息的特征向量拼接得到展示信息集合的特征向量，并将展示信息集合的特征向量作为展示信息的当前价格数据。
将各个展示信息的特征向量按照一定顺序进行拼接后可以形成展示信息集合的特征向量，例如，展示信息集合中包括10个展示信息，每个展示信息可以提取得到一个4维向量，那么经过拼接后可以得到展示信息集合的一个40维向量，而该40维向量即作为展示信息的当前价格数据。
利用当前价格数据和计算得到的下一价格调整系数可以对展示信息集合中的各个展示信息进行排序处理，以形成具有指定顺序的信息序列。图6示意性地示出了本公开一些示例性实施方式中对展示信息进行排序的步骤流程图。如图6所示，在以上各实施方式的基础上，展示信息的数据处理方法还可以包括以下步骤：
步骤S610.根据下一价格调整系数和当前价格数据确定各个展示信息的排序信息；
步骤S620.根据排序信息调整展示信息集合中的各个展示信息的排列顺序。
在本示例性实施方式中，可以利用预设公式对下一价格调整系数和当前价格数据进行计算得到每个展示信息的排序分数，然后按照排序分数的大小对各个展示信息进行排序。以网络广告为例，通过排序处理，可以调整各个网络广告在网络页面内的分布位置、曝光次数等信息。
需要说明的是，虽然以上示例性实施方式以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或者必须执行全部的步骤才能实现期望的结果。附加地或者备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
下面结合具体应用场景对以上各实施方式中的方法做出详细说明。
在按点击扣费广告业务中，利用本公开提供的技术方案动态调整广告主出价的系数，可以使广告主根据每一条流量的价值进行单独出价，具体可以在高价值(如高点击、高成交)流量上提高出价，而在普通流量上降低出价，从而获得较好的投资回报率ROI。另外，通过调整广告主出价bid的调价系数ratio，可以在保证ROI不跌的情况下，提升广告业务平台整体的广告收益，例如可以提高千次曝光成交额GMV和千次曝光人均成交额RPM等等。
图7示意性地示出了本公开在一应用场景中使用的网络结构图。如图7所示，该网络结构主要采用Actor-Critic框架，Actor为价格调整网络，Critic为价格评价网络。Actor网络输出动作action(比如调价系数ratio)，Critic网络用来评价Actor输出action的好坏，然后根据评价结果更新Actor网络和Critic网络的网络参数。
将广告粒度的信息输入到网络中得到该广告的调价系数ratio，通过每个广告打分公式rankScore＝ctr*bid*ratio影响整体排序。其中，rankScore为广告排序分数、ctr为点击率(click through rate)、bid为广告主出价、ratio为调价系数。
该网络结构中涉及的状态、动作、奖赏等对象的定义如下：
1.当前时刻状态cur_state：用户特征和该广告特征组成的特征向量，<用户信息,ctr,cvr,bid,price>。其中，ctr为点击率，cvr为转化率(conservation rate)，bid为广告主出价，price为广告对应的产品价格。
2.当前时刻动作action：该广告的调价系数ratio。
3.当前时刻执行该动作获得的奖赏reward：执行该动作后获得的GMV+K*RPM。其中，GMV为千次曝光成交额，RPM为千次曝光人均成交额，K为预设系数，K的取值范围可以是0.5～7.5。例如，在一些可选的实施方式中，可以将K取值为5。
4.下一时刻状态next_state：下一时刻点击的广告对应的特征向量。
下面对该网络结构的使用原理作出说明。
将广告粒度的当前时刻状态cur_state输入至Actor网络中，其中输入层(State)的每个方框表示一个广告的一维特征。
经过Actor网络全连接层(包括第一全连接层FC1和第二全连接层FC2)后，输出该广告的调价系数ratio。
Actor网络输出的action即下一时刻的调价系数ratio，将下一时刻的调价系数ratio和下一时刻状态next_state共同输入Critic网络中，经过全连接层(即DNN网络结构)后得到下一时刻预估的累计奖赏next_Q。
另外，将样本中的当前时刻的调价系数ratio和当前时刻状态cur_state共同输入Critic网络，经过全连接层后得到当前时刻预估的累计奖赏cur_Q。
网络误差函数为loss＝(γ*next_Q+reward-cur_Q)2，然后利用反向传播算法根据loss更新Critic和Actor的网络参数。
图8示意性地示出了本公开在另一应用场景中使用的网络结构图。如图8所示，该网络结构利用CNN网络平移不变性及共享参数特性构建Actor网络，输出调价系数参数向量θ。从而通过公式rankScore＝K＇*ctr*cvr*price+ctr*bid*(θ·feature_ad)影响广告的整体排序。其中，K＇为一预设系数，feature_ad为各个广告的特征向量。
该网络结构中涉及的状态、动作、奖赏等对象的定义如下：
1.当前时刻状态cur_state：第i个广告的特征向量feature_ad为<ctr_i,cvr_i,bid_i,price_i>，则cur_state表示为当次流量(page view，PV)下所有广告特征组成的特征向量<ctr_1,cvr_1,bid_1,price_1,ctr_2,cvr_2,bid_2,price_2…ctr_n,cvr_n,bid_n,price_n>。
2.当前时刻动作action：此次PV广告的调价系数向量θ，即<θ_1,θ_2,θ_3,θ_4>，向量θ的长度和每个广告的特征向量相同。
3.当前时刻执行该动作获得的奖赏reward：执行该动作后，此次PV相对基线获取的千次曝光成交额GMV和千次曝光收益CPM的增长幅度，即K1*ΔGMV+K2*ΔCPM，其中K1和K2是预设权重，K1和K2的取值范围例如可以是0～1。GMV＝ctr*cvr*price，CPM＝ctr*bid*ratio，输入状态中直接包含ctr、bid等相关信息能更好的拟合误差函数。
4.下一时刻状态next_state：下一次PV所有广告特征拼接成的特征向量，形式与cur_state相同。
下面对该网络结构的使用原理作出说明。
在Actor网络中，输入层(State)中的每个方框表示一个广告特征向量feature_ad。
第一卷积层ConV1：第一个卷积隐层，卷积核个数可调。卷积核的长宽和feature_ad长宽相同，滑动步长等于feature_ad长度。即每次卷积时，每个卷积核kernel只与一个feature_ad进行卷积，不融入其他广告信息，进而保证广告顺序不影响最终输出的action，每一个feature_map融合了所有广告信息。输出的feature_map大小为1*ad_num*kernel_num，其中ad_num表示广告个数，kernel_num表示卷积核的个数。
第二卷积层ConV2：第二个卷积隐层，卷积核个数等于feature_ad长度，输出的feature_map大小为1*1*length(feature_ad)，即通过该层输出调价系数向量θ。另外，由于ConV1层已经确保广告顺序不影响action，因此ConV2层可替换为全连接层。
在Critic网络中，Actor输出的action同State求內积，得到每个广告的调价系数ratio，每个广告调价系数ratio构建成调价系数向量，同State一起作为Critic隐层的输入。通过全连接层网络拟合cur_Q和next_Q，即当前和下一时刻预估的累计ΔGMV和ΔCPM，并获取误差。利用反向传播算法通过误差迭代更新Actor和Critic的网络参数。
相比于图7中的网络结构，图8所示的网络结构具有如下优点：
1.基于广告粒度可以充分利用一次请求下(PV)其他广告对于调价系数的影响，对于该广告最优的调价系数是此次PV整体的最优系数。
2.在PV粒度下，使用CNN网络结构实现Actor网络，在召回的广告集合相同的情况下，不同广告列表排序下给出的调价系数是相同的，计算结果不受列表顺序影响。
3.利用CNN网络构建Actor网络，可以减少网络训练参数，易于训练。
4.在输出调价系数ratio时直接融入cur_state信息，可以更准确地表示调价系数ratio。
图9示意性地示出了本公开在又一应用场景中使用的网络结构图。与图8中网络结构所不同的是，图9中所示的网络结构将Action和State求內积部分，前置在Actor网络中。此时由Actor网络输出的action不是调价参数向量θ，而是调价系数ratio，即Actor网络直接输出每个广告的调价系数。
将action和state內积部分前置相对于后置存在如下效果方面的区别：
1)前置时输入的state必须是此次召回的全部广告，而后置只需截取部分召回广告，由于前置不能截断召回列表，因此会增加系统性能上的压力。
2)前置时为了满足输入维度一致性，要求输入的广告个数是最大召回个数，因此大部分请求输入的state必须填充0，这样会带来更多的额外噪音，影响效果。后置方式虽然也需填充0，但填充0的个数少于前置方式(有截断)，并且填充0的个数可控。
本公开提供的技术方案可以应用于各种使用OCPC(Optimization Cost PerClick)或者OCPM(Optimization Cost Per Mille)策略的业务场景中。
在本公开的示例性实施方式中，还提供一种展示信息的数据处理装置，图10示意性地示出了本公开一些示例性实施方式中展示信息的数据处理装置的结构框图。如图10所示，数据处理装置1000主要可以包括：
价格调整模块1010，被配置为通过价格调整网络对展示信息的当前价格数据进行特征映射以得到展示信息的下一价格调整系数；
第一价格评价模块1020，被配置为获取展示信息的当前价格调整系数，并通过价格评价网络对当前价格数据和当前价格调整系数进行特征映射以得到当前反馈预估参数；
第二价格评价模块1030，被配置为获取展示信息的下一价格数据，并通过价格评价网络对下一价格数据和下一价格调整系数进行特征映射以得到下一反馈预估参数；
误差确定模块1040，被配置为获取与下一价格调整系数相对应的状态反馈参数，并根据当前反馈预估参数、下一反馈预估参数和状态反馈参数确定价格调整误差；
参数更新模块1050，被配置为根据价格调整误差更新价格调整网络和价格评价网络的网络参数。
在本公开的一些示例性实施方式中，价格调整模块1010可以进一步包括：
第一卷积单元，被配置为通过价格调整网络的第一卷积层对展示信息的当前价格数据进行卷积处理以得到特征图；
第二卷积单元，被配置为通过价格调整网络的第二卷积层对特征图进行卷积处理以得到展示信息的下一价格调整系数。
在本公开的一些示例性实施方式中，第二价格评价模块1030可以进一步包括：
向量确定单元，被配置为根据下一价格调整系数和当前价格数据确定与下一价格调整系数相对应的调整参数向量；
反馈预估单元，被配置为通过价格评价网络对下一价格数据和调整参数向量进行特征映射以得到下一反馈预估参数。
在本公开的一些示例性实施方式中，反馈预估单元可以进一步包括：
全连接单元，被配置为通过价格评价网络的全连接层对下一价格数据和调整参数向量进行全连接处理以得到下一反馈预估参数。
在本公开的一些示例性实施方式中，误差确定模块1040可以包括：
基础收益数据获取单元，被配置为获取展示信息的基础收益数据；
下一价格数据确定单元，被配置为根据下一价格调整系数确定展示信息的下一价格数据；
浮动数据确定单元，被配置为根据基础收益数据和下一价格数据确定展示信息的收益浮动数据；
状态反馈参数确定单元，被配置为根据收益浮动数据确定与下一价格调整系数相对应的状态反馈参数。
在本公开的一些示例性实施方式中，数据处理装置1000还包括：
集合确定单元，被配置为确定包括多个展示信息的展示信息集合；
特征向量提取单元，被配置为分别对展示信息集合中的各个展示信息进行特征提取以得到各个展示信息的特征向量；
特征向量拼接单元，被配置为将各个展示信息的特征向量拼接得到展示信息集合的特征向量，并将展示信息集合的特征向量作为展示信息的当前价格数据。
在本公开的一些示例性实施方式中，数据处理装置1000还包括：
排序信息确定单元，被配置为根据下一价格调整系数和当前价格数据确定各个展示信息的排序信息；
排列顺序确定单元，被配置为根据排序信息调整展示信息集合中的各个展示信息的排列顺序。
上述数据处理装置的具体细节已经在对应的数据处理方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施方式中，还提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时可实现本公开的上述的方法。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码；该程序产品可以存储在一个非易失性存储介质(可以是CD-ROM、U盘或者移动硬盘等)中或网络上；当所述程序产品在一台计算设备(可以是个人计算机、服务器、终端装置或者网络设备等)上运行时，所述程序代码用于使所述计算设备执行本公开中上述各示例性实施例中的方法步骤。
参见图11所示，根据本公开的实施方式的用于实现上述方法的程序产品1100，其可以采用便携式紧凑磁盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备(例如个人计算机、服务器、终端装置或者网络设备等)上运行。然而，本公开的程序产品不限于此。在本示例性实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或者多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。
可读存储介质例如可以为但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件、或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任意可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户计算设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN)等)连接到用户计算设备；或者，可以连接到外部计算设备，例如利用因特网服务提供商来通过因特网连接。
在本公开的示例性实施方式中，还提供一种电子设备，所述电子设备包括至少一个处理器以及至少一个用于存储所述处理器的可执行指令的存储器；其中，所述处理器被配置为经由执行所述可执行指令来执行本公开中上述各示例性实施例中的方法步骤。
下面结合图12对本示例性实施方式中的电子设备1200进行描述。电子设备1200仅仅为一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
参见图12所示，电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于：至少一个处理单元1210、至少一个存储单元1220、连接不同系统组件(包括处理单元1210和存储单元1220)的总线1230、显示单元1240。
其中，存储单元1220存储有程序代码，所述程序代码可以被处理单元1210执行，使得处理单元1210执行本公开中上述各示例性实施例中的方法步骤。
存储单元1220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元1221(RAM)和/或高速缓存存储单元1222，还可以进一步包括只读存储单元1223(ROM)。
存储单元1220还可以包括具有一组(至少一个)程序模块1225的程序/实用工具1224，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用各种总线结构中的任意总线结构的局域总线。
电子设备1200也可以与一个或多个外部设备1300(例如键盘、指向设备、蓝牙设备等)通信，还可以与一个或者多个使得用户可以与该电子设备1200交互的设备通信，和/或与使得该电子设备1200能与一个或多个其他计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(I/O)接口1250进行。并且，电子设备1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(LAN)、广域网(WAN)和/或公共网络，例如因特网)通信。如图12所示，网络适配器1260可以通过总线1230与电子设备1200的其他模块通信。应当明白，尽管图中未示出，可以结合电子设备1200使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
本领域技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
上述所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中，如有可能，各实施例中所讨论的特征是可互换的。在上面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组件、材料等。在其它情况下，不详细示出或描述公知结构、材料或者操作以避免模糊本公开的各方面。

Claims (10)

1.一种展示信息的数据处理方法，其特征在于，包括：
通过价格调整网络对展示信息的当前价格数据进行特征映射以得到所述展示信息的下一价格调整系数；
获取所述展示信息的当前价格调整系数，并通过价格评价网络对所述当前价格数据和所述当前价格调整系数进行特征映射以得到当前反馈预估参数；
获取所述展示信息的下一价格数据，并通过所述价格评价网络对所述下一价格数据和所述下一价格调整系数进行特征映射以得到下一反馈预估参数；
获取与所述下一价格调整系数相对应的状态反馈参数，并根据所述当前反馈预估参数、所述下一反馈预估参数和所述状态反馈参数确定价格调整误差；
根据所述价格调整误差更新所述价格调整网络和所述价格评价网络的网络参数。
2.根据权利要求1所述的展示信息的数据处理方法，其特征在于，所述通过价格调整网络对展示信息的当前价格数据进行特征映射以得到所述展示信息的下一价格调整系数，包括：
通过价格调整网络的第一卷积层对展示信息的当前价格数据进行卷积处理以得到特征图；
通过所述价格调整网络的第二卷积层对所述特征图进行卷积处理以得到所述展示信息的下一价格调整系数。
3.根据权利要求1所述的展示信息的数据处理方法，其特征在于，所述通过所述价格评价网络对所述下一价格数据和所述下一价格调整系数进行特征映射以得到下一反馈预估参数，包括：
根据所述下一价格调整系数和所述当前价格数据确定与所述下一价格调整系数相对应的调整参数向量；
通过所述价格评价网络对所述下一价格数据和所述调整参数向量进行特征映射以得到下一反馈预估参数。
4.根据权利要求3所述的展示信息的数据处理方法，其特征在于，所述通过所述价格评价网络对所述下一价格数据和所述调整参数向量进行特征映射以得到下一反馈预估参数，包括：
通过所述价格评价网络的全连接层对所述下一价格数据和所述调整参数向量进行全连接处理以得到下一反馈预估参数。
5.根据权利要求1所述的展示信息的数据处理方法，其特征在于，所述获取与所述下一价格调整系数相对应的状态反馈参数，包括：
获取所述展示信息的基础收益数据；
根据所述下一价格调整系数确定所述展示信息的下一价格数据；
根据所述基础收益数据和所述下一价格数据确定所述展示信息的收益浮动数据；
根据所述收益浮动数据确定与所述下一价格调整系数相对应的状态反馈参数。
6.根据权利要求1所述的展示信息的数据处理方法，其特征在于，在通过价格调整网络对展示信息的当前价格数据进行特征映射以得到所述展示信息的下一价格调整系数之前，所述方法还包括：
确定包括多个展示信息的展示信息集合；
分别对所述展示信息集合中的各个所述展示信息进行特征提取以得到各个所述展示信息的特征向量；
将各个所述展示信息的特征向量拼接得到所述展示信息集合的特征向量，并将所述展示信息集合的特征向量作为所述展示信息的当前价格数据。
7.根据权利要求6所述的展示信息的数据处理方法，其特征在于，所述方法还包括：
根据所述下一价格调整系数和所述当前价格数据确定各个所述展示信息的排序信息；
根据所述排序信息调整所述展示信息集合中的各个所述展示信息的排列顺序。
8.一种展示信息的数据处理装置，其特征在于，包括：
价格调整模块，被配置为通过价格调整网络对展示信息的当前价格数据进行特征映射以得到所述展示信息的下一价格调整系数；
第一价格评价模块，被配置为获取所述展示信息的当前价格调整系数，并通过价格评价网络对所述当前价格数据和所述当前价格调整系数进行特征映射以得到当前反馈预估参数；
第二价格评价模块，被配置为获取所述展示信息的下一价格数据，并通过所述价格评价网络对所述下一价格数据和所述下一价格调整系数进行特征映射以得到下一反馈预估参数；
误差确定模块，被配置为获取与所述下一价格调整系数相对应的状态反馈参数，并根据所述当前反馈预估参数、所述下一反馈预估参数和所述状态反馈参数确定价格调整误差；
参数更新模块，被配置为根据所述价格调整误差更新所述价格调整网络和所述价格评价网络的网络参数。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任意一项所述的方法。
10.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器被配置为经由执行所述可执行指令来执行权利要求1-7中任意一项所述的方法。
CN202010106461.2A 2020-02-21 2020-02-21 展示信息的数据处理方法、装置、介质及电子设备 Pending CN111340535A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010106461.2A CN111340535A (zh) 2020-02-21 2020-02-21 展示信息的数据处理方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010106461.2A CN111340535A (zh) 2020-02-21 2020-02-21 展示信息的数据处理方法、装置、介质及电子设备

Publications (1)

Publication Number Publication Date
CN111340535A true CN111340535A (zh) 2020-06-26

Family

ID=71184134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010106461.2A Pending CN111340535A (zh) 2020-02-21 2020-02-21 展示信息的数据处理方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN111340535A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681355A (zh) * 2023-07-21 2023-09-01 苏州今创互联网科技有限公司 一种信息科技多媒体展示台管理系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681355A (zh) * 2023-07-21 2023-09-01 苏州今创互联网科技有限公司 一种信息科技多媒体展示台管理系统
CN116681355B (zh) * 2023-07-21 2023-12-05 苏州今创互联网科技有限公司 一种信息科技多媒体展示台管理系统

Similar Documents

Publication Publication Date Title
US8666809B2 (en) Advertisement campaign simulator
US20120253927A1 (en) Machine learning approach for determining quality scores
US8473339B1 (en) Automatically switching between pricing models for services
JP6427417B2 (ja) 多次元広告入札
US8650084B2 (en) Tool for analysis of advertising auctions
US8566207B2 (en) Systems and methods for determining bids for placing advertisements
US20060122879A1 (en) Method and system for pricing electronic advertisements
US20120158456A1 (en) Forecasting Ad Traffic Based on Business Metrics in Performance-based Display Advertising
US20090138362A1 (en) System and method for context-adaptive shaping of relevance scores for position auctions
CN111192108A (zh) 一种用于产品推荐的排序方法、装置和电子设备
US20160104207A1 (en) Advertising campaign conversion systems and methods
CN111143738B (zh) 资源展示方法、装置、电子设备及存储介质
US20100223546A1 (en) Optimized search result columns on search results pages
US20160132935A1 (en) Systems, methods, and apparatus for flexible extension of an audience segment
US10643237B2 (en) Landing page selection for linked advertising
US20190080363A1 (en) Methods and systems for intelligent adaptive bidding in an automated online exchange network
CN101689273A (zh) 用于在线广告的量度转换
CN111784400A (zh) 广告竞价方法、装置、电子装置及计算机可读介质
CN111798280B (zh) 多媒体信息推荐方法、装置和设备及存储介质
US8719096B2 (en) System and method for generating a maximum utility slate of advertisements for online advertisement auctions
US20180204250A1 (en) Predictive attribution-adjusted bidding for electronic advertisements
US20140372202A1 (en) Predicting performance of content items using loss functions
US20210374809A1 (en) Artificial intelligence techniques for bid optimization used for generating dynamic online content
US20120253899A1 (en) Table approach for determining quality scores
JP2012048719A (ja) トラフィックの品質に基づいた広告システムおよび方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200626

WD01 Invention patent application deemed withdrawn after publication