CN111047009A - 事件触发概率预估模型训练方法及事件触发概率预估方法 - Google Patents

事件触发概率预估模型训练方法及事件触发概率预估方法 Download PDF

Info

Publication number
CN111047009A
CN111047009A CN201911150339.9A CN201911150339A CN111047009A CN 111047009 A CN111047009 A CN 111047009A CN 201911150339 A CN201911150339 A CN 201911150339A CN 111047009 A CN111047009 A CN 111047009A
Authority
CN
China
Prior art keywords
probability
data
event trigger
event
trigger probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911150339.9A
Other languages
English (en)
Other versions
CN111047009B (zh
Inventor
谭斌
黄东波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911150339.9A priority Critical patent/CN111047009B/zh
Publication of CN111047009A publication Critical patent/CN111047009A/zh
Application granted granted Critical
Publication of CN111047009B publication Critical patent/CN111047009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供了一种事件触发概率预估模型的训练方法及装置、事件触发概率预估方法及装置及电子设备，涉及人工智能和云技术领域。该方法包括：获取原始数据，所述原始数据包括二部图数据和特征数据；根据预设维度对所述原始数据进行分片处理，以获取多个分片；根据基于分布式应用集群的触发概率算法对各所述分片中的二部图数据进行处理，以获取事件触发概率；基于所述特征数据和所述事件触发概率对待训练事件触发概率预估模型进行训练，以获取事件触发概率预估模型。本公开能够利用基于知识蒸馏的方式对海量数据进行处理，降低了计算难度，并且可以对数据进行合理分配并进行分布式处理，提高了数据处理效率和预估精准度。

Description

事件触发概率预估模型训练方法及事件触发概率预估方法
技术领域
本公开涉及人工智能技术领域和云技术领域，具体而言，涉及一种事件触发概率预估模型的训练方法、事件触发概率预估模型的训练装置、事件触发概率预估方法、事件触发概率预估装置、计算机存储介质及电子设备。
背景技术
随着互联网技术的迅速发展，人们的生活工作方式发生了巨大变化，许多传统产业逐渐转变为网络产业，例如，传统的广告宣传单、广告牌等实体逐渐变成了网络广告，实体店中的商品逐渐被线上商品取代，纸质书籍、文档逐渐被电子书籍、文档代替，等等。
但是，当网络产业逐渐普及之后，需求方(如广告主、杂志社、开发商等)就需要考虑如何吸引供应方(用户)来点击广告购买商品、阅读等等，以广告为例，为了提高产品的影响力和销量，广告主会从网络平台开发商处购买多种用户定向下的曝光，例如广告主A购买上海男性和北京男性100个cpm(每千次展示付费)，广告主B购买上海男性100个cpm，因此同一个用户定向可能会对应不同的广告订单，那么如何有效地将这些曝光合理的分配给对应的广告订单，使得所有的广告订单缺量率最低、播放率最高就是一个重要的问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的实施例提供了一种事件触发概率预估模型的训练方法、事件触发概率预估模型的训练装置、事件触发概率预估方法、事件触发概率预估装置及电子设备，进而至少在一定程度上可以对大量数据进行合理分配，提高数据处理效率，实时获取事件触发概率，并根据事件触发概率确定目标需求对象。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开实施例的一个方面，提供了一种事件触发概率预估模型的训练方法，包括：获取原始数据，所述原始数据包括二部图数据和特征数据；根据预设维度对所述原始数据进行分片处理，以获取多个分片；根据基于分布式应用集群的触发概率算法对各所述分片中的二部图数据进行处理，以获取事件触发概率；基于所述特征数据和所述事件触发概率对待训练事件触发概率预估模型进行训练，以获取事件触发概率预估模型。
根据本公开实施例的一个方面，提供了一种事件触发概率预估模型的训练装置，包括：获取模块，用于获取原始数据，所述原始数据包括二部图数据和特征数据；分片模块，用于根据预设维度对所述原始数据进行分片，以获取多组分片数据；计算模块，用于通过基于分布式应用系统的触发概率算法对各组所述分片数据中的二部图数据进行计算，以获取事件触发概率；训练模块，用于基于所述特征数据和所述事件触发概率对待训练事件触发概率预估模型进行训练，以获取事件触发概率预估模型。
在本公开的一些实施例中，基于前述方案，所述二部图数据为根据供给对象信息和需求对象信息所形成的图结构，所述特征数据包括供给对象特征和需求对象特征。
在本公开的一些实施例中，基于前述方案，所述分片模块配置为：根据供给对象维度对所述原始数据进行分片处理，以获取多个所述分片。
在本公开的一些实施例中，基于前述方案，所述计算模块包括：第一处理单元，用于根据所述分布式应用集群中所包含的数据处理模块的数量和所述分片的数量确定与各所述数据处理模块对应的目标分片；第二处理单元，用于使各所述数据处理模块根据所述触发概率算法对所述目标分片进行处理，以获取与需求对象对应的事件触发概率。
在本公开的一些实施例中，基于前述方案，所述第二处理单元包括：第一获取单元，用于确定所述触发概率算法对应的第一目标函数，并获取与所述第一目标函数相关的约束条件，其中所述约束条件包括需求约束、供给约束和频次约束；第二获取单元，用于获取与所述需求约束对应的第一对偶变量、与所述供给约束对应的第二对偶变量、与所述频次约束对应的第三对偶变量、与需求量和供给量之间的差量对应的第四对偶变量和与所述事件触发概率对应的第五对偶变量；第三获取单元，用于基于所述第一对偶变量、所述第二对偶变量、所述第三对偶变量、所述第四对偶变量、所述第五对偶变量和预设条件获得与所述事件触发概率对应的第二目标函数；计算单元，用于对所述第二目标函数进行求解，以获取所述事件触发概率。
在本公开的一些实施例中，基于前述方案，所述计算单元包括：求解单元，用于采用坐标下降法和二分法对所述第二目标函数进行求解，以获取所述事件触发概率。
在本公开的一些实施例中，基于前述方案，所述求解单元配置为：在所述目标分片上，采用坐标下降法展开所述第二目标函数中的第一对偶变量、第二对偶变量和第三对偶变量，并采用二分法求解所述第二对偶变量和所述第三对偶变量；聚合所有的所述目标分片，采用二分法求解所述第一对偶变量，并将所述第一对偶变量广播到所有的所述目标分片；将上述步骤重复执行预设次数，并根据最终获得的第一对偶变量、第二对偶变量和第三对偶变量确定所述事件触发概率。
在本公开的一些实施例中，基于前述方案，所述训练模块包括：流式训练单元，用于基于最新生成的事件触发概率和与所述最新生成的事件触发概率对应的目标特征数据对所述待训练事件触发概率预估模型进行流式训练，以获取所述事件触发概率预估模型。
在本公开的一些实施例中，基于前述方案，所述流式训练单元配置为：将所述最新生成的事件触发概率和所述目标特征数据发送至流式训练框架的输入目录；对所述目标特征数据进行哈希编码，并对哈希编码后的所述目标特征数据进行分桶处理，以获取多个分桶特征数据；将所述分桶特征数据输入至所述待训练事件触发概率预估模型，通过所述待训练事件触发概率预估模型对所述分桶特征数据进行特征提取，以获取与所述分桶特征数据对应的待对比事件触发概率；根据所述待对比事件触发概率和所述最新生成的事件触发概率确定模型损失函数，通过调节所述待训练事件触发概率预估模型的参数，以使所述模型损失函数最小，并获取所述事件触发概率预估模型。
在本公开的一些实施例中，基于前述方案，所述流式训练框架为分布式训练框架，所述分布式训练框架中包含第一处理单元和第二处理单元，其中所述第一处理单元用于对训练数据进行处理，所述第二处理器用于存储模型训练时所产生的参数。
根据本公开实施例的一个方面，提供了一种事件触发概率预估方法，包括：获取实时数据，所述实时数据包括当前供给对象的第一特征信息和与所述当前供给对象对应的多个需求对象的第二特征信息；将所述第一特征信息与各所述第二特征信息组成的输入特征输入至事件触发概率预估模型，以获取与各所述需求对象对应的事件触发概率，其中所述事件触发概率预估模型为根据上述实施例所述的事件触发概率预估模型的训练方法训练得到的模型。
根据本公开实施例的一个方面，提供了一种事件触发概率预估装置，包括：数据获取模块，用于获取实时数据，所述实时数据包括当前供给对象的第一特征信息和与所述当前供给对象对应的多个需求对象的第二特征信息；概率预估模块，用于将所述第一特征信息与各所述第二特征信息组成的输入特征输入至事件触发概率预估模型，以获取与各所述需求对象对应的事件触发概率，其中所述事件触发概率预估模型为根据上述实施例所述的事件触发概率预估模型的训练方法训练得到的模型
在本公开的一些实施例中，基于前述方案，所述事件触发概率预估装置配置为：获取与各所述需求对象对应的事件触发概率之后，将与各所述需求对象对应的事件触发概率进行对比，以获取最大事件触发概率；将与所述最大事件触发概率对应的需求对象作为目标需求对象。
根据本公开实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例所述的事件触发概率预估模型的训练方法和事件触发概率预估方法。
根据本公开实施例的一个方面，提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上述实施例所述的事件触发概率预估模型的训练方法和事件触发概率预估方法。
在本公开的实施例所提供的技术方案中，首先对原始数据根据预设维度进行分片处理；然后基于分布式应用集群的触发概率算法对分片中的二部图数据进行计算，以获取事件触发概率；接着基于特征数据和获取的事件触发概率进行模型训练以获取事件触发概率预估模型；最后通过事件触发概率预估模型对实时数据进行处理以确定目标需求对象。本公开的技术方案能够利用基于知识蒸馏的方式对海量数据进行处理，降低了计算难度，并且可以对数据进行合理分配并进行分布式处理，提高了数据处理效率和预估精准度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的技术方案的示例性系统架构的示意图；
图2示意性示出了根据本公开的一个实施例的shale算法预估广告播放概率的架构示意图；
图3示意性示出了根据本公开的一个实施例的事件触发概率预估模型的训练方法的流程示意图；
图4示意性示出了根据本公开的一个实施例的pv级二部图的结构示意图；
图5示意性示出了根据本公开的一个实施例的Spark集群的架构示意图；
图6示意性示出了根据本公开的一个实施例的根据触发概率算法获取播放概率的流程示意图；
图7示意性示出了根据本公开的一个实施例的求解事件触发概率的流程示意图；
图8示意性示出了根据本公开的一个实施例的求解对偶变量的框架示意图；
图9示意性示出了根据本公开的一个实施例的训练待训练事件触发概率预估模型的流程示意图；
图10示意性示出了根据本公开的一个实施例的事件触发概率预估的框架图；
图11示意性示出了根据本公开的一个实施例的事件触发概率预估方法的流程示意图；
图12示意性示出了根据本公开的一个实施例的前贴片广告位中广告播放概率的变化趋势；
图13示意性示出了根据本公开的一个实施例的商品推荐的流程示意图；
图14示意性示出了根据本公开的一个实施例的事件触发概率预估模型的训练装置的框图；
图15示意性示出了根据本公开的一个实施例的事件触发概率预估装置的框图；
图16示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本公开实施例的技术方案的示例性系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线通信链路、无线通信链路等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实际需要，可以具有任意数目的终端设备、网络和服务器。比如服务器103可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端101可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在本公开的一个实施例中，终端设备101可以响应开发人员的触发操作，通过网络102将存储在终端设备101中的原始数据发送至服务器103，该原始数据包括与供给对象相关的数据和与需求对象相关的数据，以广告投放为例，供给对象可以是用户、曝光，需求对象可以是广告订单，根据供给对象信息和需求对象信息可以形成二部图，同时根据供给对象特征和需求对象特征可以构成特征数据；服务器103接收到原始数据后，可以根据预设维度对原始数据进行分片处理以形成多个分片，然后将多个分片输入至分布式应用集群，该集群包括多个应用，每个应用可以根据触发概率算法对与其对应的目标分片中的二部图数据进行处理，最终获取与需求对象对应的事件触发概率；接着可以根据特征数据和事件触发概率对待训练事件触发概率预估模型进行训练，其中特征数据为输入特征，事件触发概率为标签，通过对模型进行训练获得事件触发概率预估模型；最后，服务器103可以将该事件触发概率预估模型推送至线上，在接收到终端设备101发送的实时特征数据后，可以将实时特征数据输入至事件触发概率预估模型，以获得对应的事件触发概率，并根据事件触发概率确定目标需求对象。本公开实施例的技术方案能够通过基于分布式应用集群的触发概率算法对大量的数据进行处理，并根据算法处理得到的结果进行事件触发概率预估模型的训练，进而通过训练好的事件触发概率预估模型对实时特征数据进行事件触发概率的预估，这种基于知识蒸馏的数据处理方式提高了数据处理效率，降低了计算复杂度，并且提高了数据处理的精准度。
需要说明的是，本公开实施例所提供的事件触发概率预估模型的训练方法、事件触发概率预估方法一般由服务器执行，相应地，事件触发概率预估模型的训练装置、事件触发概率预估方法一般设置于服务器中。但是，在本公开的其它实施例中，也可以由终端设备执行本公开实施例所提供的事件触发概率预估模型的训练方法、事件触发概率预估方法。
在本领域的相关技术中，以广告播放概率预估为例，播放广告即为事件的触发，广告主会购买多个用户定向下的播放量，每一个用户可能对应多个广告订单，所以在每个用户终端中曝光哪个广告订单就比较重要。在确定广告播放策略时，用户即为供应对象，广告订单即为需求对象，供应对象有uv、pv、kv等级别，其中uv级指通过互联网访问、浏览网页的自然人；pv级即页面浏览量，也就是曝光量，用户每次刷新即被计算一次；kv级指访问某个站点或点击某条新闻的不同IP地址的人数。网络广告主要分为效果广告和品牌广告，效果广告追求精准投放和短期直接收益，通常按照cpc(每次点击付费)方式计费，品牌广告追求公司产品形象和提高品牌的市场占有率，通常按照cpm(每千次展示付费)方式计费，作为广告展示平台，合理、有效地将曝光分配给对应的广告订单，使所有的广告订单缺量率最低、播放率最高是很重要的。
目前，随着业务发展和用户的增加，广告订单和曝光数据量非常巨大，广告播放概率预估对应的数据量由广告订单和用户(曝光)的二部图决定，kv级别的播放概率算法数据量并不大，但不够精准，为了进一步提高效果，可以基于pv级别的播放概率算法数据量，而二部图本质上是订单数据集和用户(曝光)数据集的笛卡尔积，pv级的数据量相比于kv级有爆炸性增长，然而播放概率需要实时计算，因此对海量数据计算的速度提出了很高的要求。
在相关技术中，通常采用shale算法进行广告播放概率预估，图2示出了shale算法预估广告播放概率的架构示意图，如图2所示，库存预估模块201根据广告订单和用户信息生成二部图，并将二部图数据输入至算法模块202；算法模块202接收到二部图数据后，根据shale算法对二部图数据进行处理，通过求解线性规划问题求出供给约束的对偶变量，然后将该对偶变量传到线上预估模块203，通过线上预估模块203根据供给约束的对偶变量确定需求约束的对偶变量，进而根据供给约束的对偶变量、需求约束的对偶变量和播放概率计算公式对线上获得的实时数据进行处理，获取广告订单的播放概率。
相应地，该预估方法存在如下缺点：(1)支持的数据量较低。二部图数据是通过对需求对象和供给对象进行匹配得到的，实质上是一个笛卡尔积，数据规模是供给对象和需求对象的数量乘积，当供给对象为pv级时，数据量爆炸性增长，shale算法无法承受如此大规模的数据；(2)总体计算时间过长，效果变差。shale算法是线性规划问题，只能通过不断迭代求解，数据量规模的增加带来计算时间的增长，然而，播放概率具有很大的时效性，求解速度直接决定准确率；(3)鲁棒性较低。传统的shale算法是单机的，算法稳定性依赖于本机的稳定性，没有数据冗余和容灾机制，发生问题需要及时的人工处理，易造成长时间的服务宕机。
鉴于相关技术中存在的问题，本公开实施例提供了一种事件触发概率预估模型的训练方法和事件触发概率预估方法，该方法是基于人工智能和云技术实现的。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
按照逻辑功能划分,在IaaS(Infrastructure as a Service，基础设施即服务)层上可以部署PaaS(Platform as a Service,平台即服务)层，PaaS层之上再部署SaaS(Software as a Service,软件即服务)层，也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台，如数据库、web容器等。SaaS为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，SaaS和PaaS相对于IaaS是上层。
本公开实施例提供的方案涉及人工智能的机器学习技术以及云技术中的云计算，具体以pv级广告播放概率预估为例，通过如下实施例进行说明：
本公开实施例首先提供了一种事件触发概率预估模型的训练方法，图3示意性示出了根据本公开的一个实施例的事件触发概率预估模型的训练方法的流程图，该事件触发概率预估模型的训练方法可以由服务器来执行，该服务器可以是图1中所示的服务器103。参照图3所示，该事件触发概率预估模型的训练方法至少包括步骤S310至步骤S340，详细介绍如下：
在步骤S310中，获取原始数据，所述原始数据包括二部图数据和特征数据。
在本公开的一个实施例中，以视频的前贴片广告为例，一般在视频播放前，会插入15-90s时间长度的广告，有的静态广告可能只占用几秒，有的动态广告占用十几秒时间，所以获取用户信息，并根据用户信息和广告订单确定可播放的目标广告订单是需要在短时间内完成的。在本公开的实施例中，可以先根据历史广告订单和对应的用户(曝光)信息训练一事件触发概率预估模型，再通过该事件触发概率预估模型根据实时获取的用户(曝光)信息和广告订单预估每个广告订单对应该用户(曝光)的播放概率，进一步可从中确定目标广告订单。
在本公开的一个实施例中，首先可以获取原始数据，原始数据可以是历史广告订单和与其对应的用户定向数据，为了保证模型的稳定性，可以获取pv级大规模的历史广告订单和与其对应的用户定向数据作为原始数据。进一步地，原始数据包括通过库存预估模块根据历史广告订单和与其对应的用户定向数据所形成二部图数据，以及用户特征数据和广告订单特征数据。
二部图是图论中的一种特殊模型，设G＝(V,E)是一个无向图，如果顶点V可分割为两个互不相交的子集(A,B)，并且图中的每条边(i,j)所关联的两个顶点i和j分别属于两个不同的顶点集(i in A,j in B)，则称图G为二部图。图4示出了一种pv级二部图的结构示意图，如图4所示，供给对象为用户，供给节点为与各用户对应的曝光，需求对象为广告订单，需求节点为各广告订单的用户定向，具体地，需求节点包括三个：80万的男性定向需求、80万的北京定向需求和40万的电影定向需求；供给节点中包括用户A和用户B，用户A对应曝光1、曝光2、曝光3和曝光4，用户B对应曝光1、曝光2和曝光3，其中80万的男性定向需求与用户A的四个曝光存在关联关系，80万的北京定向需求和用户B的三个曝光存在关联关系，40万的电影定向需求与用户A的曝光1、曝光4和用户B的曝光2存在关联关系。
在本公开的一个实施例中，根据获取的历史广告订单和对应的用户(曝光)信息，可以形成如图4所示的二部图。pv级广告播放概率预估时将用户细化为了曝光，也就是说供给对象信息为用户终端曝光的信息，如用户、曝光号、曝光时间等，需求对象信息为广告订单。在本公开的实施例中，还可以将供给对象特征和需求对象特征组成的特征数据输入到算法流程中，无需对特征数据进行额外处理，其中供给对象特征包括用户的年龄、性别、地域等特征信息，需求对象特征包括广告订单号、对应的槽位、购买的播放时间段等特征信息。
在步骤S320中，根据预设维度对所述原始数据进行分片处理，以获取多个分片。
在本公开的一个实施例中，由于pv级原始数据的数据量很大，如果直接采用算法对原始数据进行处理会存在耗时长、计算效率低的缺点，因此可以根据预设维度对原始数据进行分片处理，以将原始数据切分为多个分片，再通过基于分布式应用集群的触发概率算法对多个分片进行处理。具体地，可以根据用户维度对原始数据进行分片处理，这样可以保证同一个用户和对应的曝光分布在同一个分片中，进而可以在同一个分片中对与用户相关的参数进行迭代求解，而不需要对多个分片进行聚合求解，提高了数据的处理效率和精准度。
进一步地，在对原始数据进行分片处理之前，还可以对原始数据进行采样，以进一步减少数据量，本公开实施例对采样的具体方法不做具体限定，只要保证原始数据中数据的完整性即可，比如用户在每个时间点对广告的点击播放情况。
进一步地，分片的数量可以根据采样率确定，例如当采样率为5‰时，可以将采样后的数据分为200个分片；当采样率为1％时，可以将采样后的数据分为600个分片，本公开实施例对分片的具体数量不做具体限定。
在步骤S330中，根据基于分布式应用集群的触发概率算法对各所述分片中的二部图数据进行处理，以获取事件触发概率。
在本公开的一个实施例中，在对原始数据或采样后的数据进行分片处理后，可以将多个分片一起输入至分布式应用集群，并通过基于分布式应用集群的触发概率算法对分片中的二部图数据进行处理。本公开实施例中分布式应用集群具体可以是Spark集群，Spark的核心是建立在统一的抽象弹性分布式数据集(Resiliennt DistributedDatasets，RDD)之上的，这使得Spark的各个组件可以无缝地进行集成，能够在同一个应用程序中完成大数据处理。图5示出了Spark集群的架构示意图，如图5所示，在Spark集群中设置有弹性分布式数据集RDD、驱动模块Driver和数据处理模块Executor，其中弹性分布式数据集RDD可以包括一个或多个分区，各分区用于存储分片中的数据，同时数据处理模块Executor的数量也可以是多个，驱动模块Driver向每个数据处理模块Executor分配任务，以使每个数据处理模块Executor根据触发概率算法对与其对应的目标分片进行处理，在得到各数据处理模块Executor进行数据处理所得到的结果后，可以对其进行再处理，以获取事件触发概率，即广告播放概率。在本公开的实施例中，分片中包含二部图数据和特征数据，在将分片中的数据存入RDD的时候，可以将特征数据单独放置，只把二部图数据(广告订单、用户、曝光号、曝光时间)作为算法的输入，即每个数据处理模块Executor只根据广告订单、用户、曝光号、曝光时间进行处理以获取广告播放概率，这样可以避免对特征数据进行额外的存储操作，简化了数据处理流程，提高了数据处理效率。
在本公开的一个实施例中，在通过驱动模块Driver向数据处理模块Executor分配任务时，可以根据数据处理模块Executor的数量和分片的数量确定与各数据处理模块Executor对应的目标分片，然后各数据处理模块Executor可以对与其对应的目标分片根据触发概率算法进行处理，以获取与广告订单对应的播放概率。
在本公开的一个实施例中，图6示出了根据触发概率算法获取播放概率的流程示意图，如图6所示，该流程至少包括步骤S601-S604，具体地：
在步骤S601中，确定触发概率算法对应的第一目标函数，并获取与第一目标函数相关的约束条件，其中约束条件包括需求约束、供给约束和频次约束。
在本公开的一个实施例中，触发概率算法对应的第一目标函数如式(1)所示，具体为：
Figure BDA0002283353520000141
相应地，与第一目标函数相关的约束条件包括需求约束、供给约束、频次约束和非负约束，具体表达式分别如式(2)-(4)所示：
Figure BDA0002283353520000151
Figure BDA0002283353520000152
Figure BDA0002283353520000153
Figure BDA0002283353520000154
其中，xij为所求的播放概率，pj为广告订单的缺量系数，kj为广告订单的缺量，θij为广告订单曝光的紧缺程度，fjk为广告订单的播放频次，dj是广告订单的预定量，i为曝光，j为广告订单，k为用户。进一步地，
Figure BDA0002283353520000155
其中sj为广告订单对应的用户定向下的库存量。
从式(1)分析可知，触发概率算法的目标是为了让各个广告订单播放的更均匀，避免部分广告订单的缺量率很低，而部分广告订单的缺量率很高。其中，频次约束是在预设时间段内曝光的次数，设置频次约束主要是为了保证广告产品对用户的新鲜度。
在步骤S602中，获取与需求约束对应的第一对偶变量、与供给约束对应的第二对偶变量、与频次约束对应的第三对偶变量、与需求量和供给量之间的差量对应的第四对偶变量和与事件触发概率对应的第五对偶变量。
在本公开的一个实施例中，由于第一目标函数是一个多元函数，其受到多个不等式约束条件的约束，为了方便计算，可以采用拉格朗日乘子法和KKT条件进行极值计算，以获得播放概率xij。在本公开的实施例中，可以获取与需求约束对应的第一对偶变量αj、与供给约束对应的第二对偶变量βi和与频次约束对应的第三对偶变量λjk，同时还可以获取与广告订单的缺量对应的第四对偶变量
Figure BDA0002283353520000156
和与广告播放概率对应的第五对偶变量γij，由KKT条件可知，最优解一定满足以下条件，如式(6)-(12)所示：
对所有的i，j，
Figure BDA0002283353520000157
对所有的i，
Figure BDA0002283353520000158
对所有的j，αj＝0或∑i∈Γ(j)xij+kj＝dj 式(8)
对所有的i，βi＝0或∑j∈Γ(i)xij＝1 式(9)
对所有的j，k，λjk＝0或∑i∈Γ(jk)xij＝fjk 式(10)
对所有的i，j，γij＝0或xij＝0 式(11)
对所有的j，
Figure BDA0002283353520000161
其中，式(6)-(7)为KKT条件中的平稳性(stationarity)条件，式(8)-(12)为KKT条件中的互补松弛(complementary slackness)条件。
在步骤S603中，基于第一对偶变量、第二对偶变量、第三对偶变量、第四对偶变量、第五对偶变量和预设条件获得与事件触发概率对应的第二目标函数。
在本公开的一个实施例中，根据式(6)-(12)能够得出播放概率xij的表达式，如式(13)所示：
xij＝θij(1+αj-βi-λjk+γij) 式(13)
由于γij＝0或xij＝0，因此可以确定xij≥0，进而可得：
xij＝max{0,θij(1+αj-βi-λjk)} 式(14)
为了方便计算，可以将式(14)转换为式(15)，并将式(15)标记为第二目标函数，式(15)如下所示：
xij＝gij(1+αj-βi-λjk+γij) 式(15)
在步骤S604中，对第二目标函数进行求解，以获取事件触发概率。
在本公开的一个实施例中，在获取第二目标函数后，可以采用坐标下降法和二分法对式(15)进行求解，以获取事件触发概率，即播放概率xij。图7示出了求解事件触发概率的流程示意图，如图7所示，在步骤S701中，在目标分片上，采用坐标下降法展开第二目标函数中的第一对偶变量αj、第二对偶变量βi和第三对偶变量λjk，并采用二分法求解第二对偶变量βi和第三对偶变量λjk；在步骤S702中，聚合所有的目标分片，采用二分法求解第一对偶变量αj，并将第一对偶变量αj广播到所有的目标分片；在步骤S703中，将步骤S701-S702重复执行预设次数，并根据最终获得的第一对偶变量αj、第二对偶变量βi和第三对偶变量λjk确定事件触发概率。
在采样坐标下降法进行计算时，可以将第一对偶变量αj、第二对偶变量βi和第三对偶变量λjk中的任意两个作为常量，迭代求取另一个的最优解，例如可以先对第一对偶变量αj、第三对偶变量λjk进行初始化，令αj＝0，λjk＝0，求取第二对偶变量βi；接着可以将求取的第二对偶变量βi和初始化的第一对偶变量αj视为常量，求取第三对偶变量λjk；然后将求取的第二对偶变量βi和第三对偶变量λjk视为常量，求取第一对偶变量αj，并将第一对偶变量αj广播到所有分片；再重复上述步骤，直至获取最终的第一对偶变量αj、第二对偶变量βi和第三对偶变量λjk。其中，第二对偶变量βi、第三对偶变量λjk和第一对偶变量αj分别满足等式约束条件，如式(16)-(18)所示：
∑j∈Γ(i)gij(1+αj-βi-λjk+γij)＝1 式(16)
∑i∈Γ(jk)gij(1+αj-βi-λjk+γij)＝fjk 式(17)
∑i∈Γ(j)gij(1+αj-βi-λjk+γij)＝dj 式(18)
在求取第一对偶变量αj、第二对偶变量βi和第三对偶变量λjk的过程中，可以通过二分法在(0,pj]范围内分别对式(16)-(18)进行多次重复迭代求解，以获取最终的第一对偶变量αj、第二对偶变量βi和第三对偶变量λjk，通过上述方法获得的对偶变量的解的误差在sj/2n范围内，准确率高。
进一步地，根据最终获得的第一对偶变量αj、第二对偶变量βi、第三对偶变量λjk及式(14)可以确定广告的播放概率xij。为了提高事件触发概率预估模型的产出效率，可以根据实际需要设定循环执行步骤S701-S702的预设次数，以获取播放概率xij，进而根据该播放概率xij和特征数据对待训练的事件触发概率预估模型进行训练，并采用训练好的事件触发概率预估模型进行线上实时数据的处理。
值得说明的是，对于广告播放概率的预估，其时效性较强，因而在通过基于分布式应用集群的触发概率算法对目标分片进行处理之前，还需要根据二部图数据中的曝光时间对目标分片中的数据进行过滤，例如需要通过事件触发概率预估模型预估12点之后的广告播放概率，那么根据12点之前的二部图数据确定播放概率，并根据该播放概率及特征数据训练得到的事件触发概率预估模型是不能准确预估12点之后的广告播放概率的，因此需要将12点之前的二部图数据及特征数据剔除掉，只保留12点之后的数据即可，通过对该时间段的二部图数据进行处理获得相应的播放概率，进而根据该播放概率和对应的特征数据训练模型，以获得可准确预估所需时间的广告播放概率的事件触发概率预估模型。
在本公开的一个实施例中，第一对偶变量αj为需求约束的对偶变量，对应的维度是广告订单j，第二对偶变量βi为供给约束的对偶变量，对应的维度是曝光i，第三对偶变量λjk为频次约束的对偶变量，对应的维度是广告订单和用户的联合量jk，同时基于Spark集群的事件触发概率预估算法与单机算法相比最大的不同在于数据在集群的不同数据处理模块Executor上分布式处理，不同模块之间的运算需要做shuffle和reduce，耗时较高，而本公开实施例中在对原始数据进行分片时是根据用户维度进行分片的，因此在计算与用户相关的对偶变量时，如第二对偶变量βi和第三对偶变量λjk，只需在每一个分片中进行运算即可，不需要做shuffle和reduce，极大地提高了数据处理效率。
在本公开的一个实施例中，由于二部图数据非常稀疏，稠密度只有1％，直接作为矩阵处理会非常浪费内存资源，因此为了避免浪费内存资源，本公开实施例中在计算对偶变量时采用了reduce-sum计算方法，将数据向量化，相比于for循环快了一个数量级。图8示出了求解对偶变量的框架示意图，如图8所示，分别对与需求约束、供给约束和频次约束对应的对偶变量进行reduce-sum计算，接着对第二对偶变量βi和第三对偶变量λjk进行局部更新，同时对第一对偶变量αj进行全局更新。
在步骤S340中，基于所述特征数据和所述事件触发概率对待训练事件触发概率预估模型进行训练，以获取事件触发概率预估模型。
在本公开的一个实施例中，二部图数据中包含多个广告订单及与各广告订单对应地用户(曝光)信息，通过步骤S330可以获取对应每个用户(曝光)，各广告订单的播放概率，在获取各广告订单的播放概率后，可以将与各广告订单对应的广告订单特征(需求对象特征)和与用户(曝光)对应的用户(曝光)特征(供给对象特征)作为输入样本，同时将与各广告订单对应的播放概率作为标签，即输出样本，根据该输入样本和输出样本对待训练的事件触发概率预估模型进行训练，以获取事件触发概率预估模型。
在本公开的一个实施例中，由于需要实时计算广告的播放概率，因此事件触发概率预估模型的生成必须具有时效性，例如根据12:00-24:00的数据生成的事件触发概率预估模型就不能准确预估15:00及15:00之后的广告播放概率，而需要根据15:00-24:00的数据生成事件触发概率预估模型，以对15:00及15:00之后的广告播放概率进行预估。在本公开的实施例中，可以对分布式应用集群进行实时监听，当产生最新的事件触发概率时，将最新的事件触发概率和与最新的事件触发概率对应的目标特征数据移动到流式训练框架的输入目录，并根据最新的事件触发概率和相应的目标特征数据进行模型训练，因而对待训练的事件触发概率预估模型进行的训练实质上是流式训练，也就是说，只要得到最新的事件触发概率，就可以根据其和特征数据进行模型训练，以得到最新的事件触发概率预估模型，并将其推到线上进行事件触发概率的预估操作。
在本公开的一个实施例中，待训练的事件触发概率预估模型和事件触发概率预估模型具体可以是深度神经网络模型，即DNN回归模型，通过将最新的事件触发概率对应的目标特征数据输入至待训练的事件触发概率预估模型中，进行特征提取，以获取相应的事件触发概率；接着通过将待训练的事件触发概率预估模型输出的事件触发概率与最新的事件触发概率进行对比，并通过调节模型参数以获得稳定的事件触发概率预估模型。DNN回归模型也称多层感知器，其结构包括输入层、多个隐藏层和输出层，其中多个隐藏层可以是全连接的，并且隐藏层的数量、各个隐藏层中神经元的数量可以根据实际需要进行设定，例如存在3个隐藏层，可以将3个隐藏层中的神经元数量依次设定为100、75、25，当然还可以设定为其它值，本公开实施例对此不作具体限定。
图9示出了训练待训练事件触发概率预估模型的流程示意图，如图9所示：在步骤S901中，获取最新生成的事件触发概率，将最新生成的事件触发概率和与最新生成的事件触发概率对应的目标特征数据发送至流式训练框架的输入目录；在步骤S902中，对目标特征数据进行哈希编码，并对哈希编码后的目标特征数据进行分桶处理，以获取多个分桶特征数据；在步骤S903中，将分桶特征数据输入至待训练事件触发概率预估模型，通过待训练事件触发概率预估模型对分桶特征数据进行特征提取，以获取与分桶特征数据对应的待对比事件触发概率；在步骤S904中，根据待对比事件触发概率和最新生成的事件触发概率确定模型损失函数，通过调节待训练事件触发概率预估模型的参数，以使模型损失函数最小，并获取事件触发概率预估模型。
其中，在步骤S902中，对哈希编码后的目标特征数据进行分桶处理时，可以根据特征信息的类别数量进行分桶，由于广告特征和用户(曝光)特征维度很大，因此每个分桶的维度可以设置在9-30001之间，当然还可以设置为其它的维度值，本公开实施例对此不做具体限定。
在本公开的一个实施例中，分布式流式训练框架具体可以是TensorFlow onspark的ps架构，其中数据处理模块Executor包含第一处理单元和第二处理单元，具体地：第一处理单元为worker，用于对训练数据进行处理；第二处理单元为ps，用于存储模型训练时所产生的参数。通过将计算和存储分开进行，可以支持更复杂更大的模型训练，并且可以提高模型训练的效率。
根据上述实施例获得的事件触发概率预估模型可以被直接推送到线上，对实时获取的数据进行处理，以对当前供应对象所对应的需求对象的触发概率进行预估。图10示出了事件触发概率预估的框架图，如图10所示，通过库存预估模块1001形成二部图，将二部图数据和与供应对象及需求对象对应的特征数据作为输入数据，输入数据经过采样、分片处理后，输入至分布式应用集群1002；接着根据基于分布式应用集群的事件触发概率算法对处理后的输入数据进行计算，以获取用于训练模型的事件触发概率；然后基于事件触发概率和对应的特征信息对待训练事件触发概率预估模型1003进行训练，以获取事件触发概率预估模型1004；最后将事件触发概率预估模型1004推送到线上，通过线上预估模块1005进行线上预估服务。
本公开实施例还提供了一种事件触发概率预估方法，该事件触发概率预估方法可以通过上述实施例描述的事件触发概率预估模型实现，图11示意性示出了根据本公开的一个实施例的事件触发概率预估方法的流程图，该事件触发概率预估方法可以由服务器来执行，该服务器可以是图1中所示的服务器103。参照图11所示，该事件触发概率预估方法至少包括步骤S1110至步骤S1120，详细介绍如下：
在步骤S1110中，获取实时数据，所述实时数据包括当前供给对象的第一特征信息和与所述当前供给对象对应的多个需求对象的第二特征信息。
在本公开的一个实施例中，获取经过流式训练生成的事件触发概率预估模型之后，可以将该模型推送到线上，以对线上的实时数据进行处理。具体地，首先可以获取实时数据，该实时数据包括当前供给对象的第一特征信息和与当前供给对象对应的多个需求对象的第二特征信息，例如当前供给对象的第一特征为<北京，女，35岁，电影>，同时存在10个广告订单的用户定向与第一特征部分或全部相同，也就是说这10个广告订单都可以在当前供给对象的终端中播放，但是10个广告订单不能同时播放，那么播放哪个才能保证每个广告订单的缺量最低、播放概率最大，还需要进一步确定。
在步骤S1120中，将所述第一特征信息与各所述第二特征信息组成的输入特征输入至事件触发概率预估模型，以获取与各所述需求对象对应的事件触发概率。
在本公开的一个实施例中，获取存在关联特征的第一特征和多个第二特征后，可以将第一特征和各个第二特征分别组合，形成多个输入特征；接着可以将各输入特征输入至根据上述实施例训练得到的事件触发概率预估模型中，以使该事件触发概率预估模型根据输入特征得到与各个需求对象对应的事件触发概率。
在本公开的一个实施例中，在获取与各个需求对象对应的事件触发概率后，可以根据事件触发概率的大小确定目标需求对象，具体地，可以将最大事件触发概率对应的需求对象作为目标需求对象，例如预估的与当前供给对象所对应的10个广告订单的播放概率分别为：0.2、0.1、0.5、0.8、0.3、0.7、0.5、0.6、0.45、0.3，那么可以将播放概率为0.8的广告订单作为目标广告订单，并在当前供给对象使用的终端的显示界面中进行播放。
本公开实施例中的事件触发概率预估方法在对广告播放概率进行预估时，能够针对不同时间产生相应地事件触发概率预估模型，并预估该时间广告订单的播放概率，本公开实施例的事件触发概率预估模型的训练方法和事件触发概率预估方法具有很快的求解速度，因此广告订单播放概率的预估时效性和精准度都较高，图12示出了前贴片广告位中广告播放概率的变化趋势，如图12所示，深色的条状标识为播放概率比较基线，浅色的条状标识为采用本公开实施例的事件触发概率预估方法预估的播放概率，曲线标识预估的播放概率相对于播放概率比较基线相对提升的趋势。
在本公开的一个实施例中，事件触发概率预估方法不仅可以应用于广告播放概率的预估，还可以应用于其它方面，如进行新闻推荐时的新闻点击率预估、购物平台根据用户对商品链接的点击率进行商品推荐，等等。
以购物平台的商品推荐为例，图13示出了商品推荐的流程示意图，如图13所示，在步骤S1301中，获取数据源，该数据源包括二部图数据和特征数据；其中二部图数据包括用户信息和商品信息，用户信息例如可以是用户号、商品浏览号等等，商品信息例如可以是商品推广订单；在步骤S1302中，对数据源中的数据进行采样；在步骤S1303中，对采样后的数据进行分片处理，以形成多个分片；在步骤S1304中，将多个分片输入至分布式应用集群，根据事件触发概率算法对各分片中的二部图数据进行处理，以获取各商品链接的点击概率；在步骤S1305中，将各商品链接的点击概率和特征数据作为训练数据，对待训练事件触发概率预估模型进行训练，以获取事件触发概率预估模型；在步骤S1306中，获取实时特征数据，通过事件触发概率预估模型根据实时特征数据确定与当前用户特征对应的各个商品链接的点击概率；在步骤S1307中，根据与当前用户特征对应的各个商品链接的点击概率确定目标商品链接，并向当前用户推送该目标商品链接。
本公开实施例通过对原始数据进行分片处理获取多个分片；接着采用基于分布式应用集群的事件触发概率算法对多个分片中的二部图数据进行处理以获取与需求对象对应的事件触发概率；然后根据与需求对象对应的事件触发概率和特征信息对待训练事件触发概率预估模型进行训练，以获取事件触发概率预估模型；最后将事件触发概率预估模型推送到线上，以对线上获取的实时数据进行处理，得到对应的事件触发概率。本公开实施例中先基于分布式应用集群的事件触发概率算法对大量原始数据进行处理得到事件触发概率，再根据事件触发概率和特征数据训练事件触发概率预估模型，相比于分布式应用集群，事件触发概率预估模型是一个小网络模型，因此本公开实施例的技术方案实现了知识迁移，也就是说，本公开实施例是基于知识蒸馏对事件触发概率进行预估的，提高了数据处理效率，降低了计算的复杂程度，保证了事件触发概率预估的时效性，并且具有较高的鲁棒性，进一步提高了事件触发概率预估结果的精准度。
以下介绍本公开的装置实施例，可以用于执行本公开上述实施例中的事件触发概率预估模型的训练方法和事件触发概率预估方法。对于本公开装置实施例中未披露的细节，请参照本公开上述的事件触发概率预估模型的训练方法和事件触发概率预估方法的实施例。
图14示意性示出了根据本公开的一个实施例的事件触发概率预估模型的训练装置的框图。
参照图14所示，根据本公开的一个实施例的事件触发概率预估模型的训练装置1400，包括：获取模块1401、分片模块1402、计算模块1403和训练模块1404。
其中，获取模块1401，用于获取原始数据，所述原始数据包括二部图数据和特征数据；分片模块1402，用于根据预设维度对所述原始数据进行分片，以获取多组分片数据；计算模块1403，用于通过基于分布式应用系统的触发概率算法对各组所述分片数据中的二部图数据进行计算，以获取事件触发概率；训练模块1404，用于基于所述特征数据和所述事件触发概率对待训练事件触发概率预估模型进行训练，以获取事件触发概率预估模型。
在本公开的一个实施例中，所述二部图数据为根据供给对象信息和需求对象信息所形成的图结构，所述特征数据包括供给对象特征和需求对象特征。
在本公开的一个实施例中，所述分片模块1402配置为：根据供给对象维度对所述原始数据进行分片处理，以获取多个所述分片。
在本公开的一个实施例中，基于前述方案，所述计算模块1403包括：第一处理单元，用于根据所述分布式应用集群中所包含的数据处理模块的数量和所述分片的数量确定与各所述数据处理模块对应的目标分片；第二处理单元，用于使各所述数据处理模块根据所述触发概率算法对所述目标分片进行处理，以获取与需求对象对应的事件触发概率。
在本公开的一个实施例中，所述第二处理单元包括：第一获取单元，用于确定所述触发概率算法对应的第一目标函数，并获取与所述第一目标函数相关的约束条件，其中所述约束条件包括需求约束、供给约束和频次约束；第二获取单元，用于获取与所述需求约束对应的第一对偶变量、与所述供给约束对应的第二对偶变量、与所述频次约束对应的第三对偶变量、与需求量和供给量之间的差量对应的第四对偶变量和与所述事件触发概率对应的第五对偶变量；第三获取单元，用于基于所述第一对偶变量、所述第二对偶变量、所述第三对偶变量、所述第四对偶变量、所述第五对偶变量和预设条件获得与所述事件触发概率对应的第二目标函数；计算单元，用于对所述第二目标函数进行求解，以获取所述事件触发概率。
在本公开的一个实施例中，所述计算单元包括：求解单元，用于采用坐标下降法和二分法对所述第二目标函数进行求解，以获取所述事件触发概率。
在本公开的一个实施例中，所述求解单元配置为：在所述目标分片上，采用坐标下降法展开所述第二目标函数中的第一对偶变量、第二对偶变量和第三对偶变量，并采用二分法求解所述第二对偶变量和所述第三对偶变量；聚合所有的所述目标分片，采用二分法求解所述第一对偶变量，并将所述第一对偶变量广播到所有的所述目标分片；将上述步骤重复执行预设次数，并根据最终获得的第一对偶变量、第二对偶变量和第三对偶变量确定所述事件触发概率。
在本公开的一个实施例中，所述训练模块1404包括：流式训练单元，用于基于最新生成的事件触发概率和与所述最新生成的事件触发概率对应的目标特征数据对所述待训练事件触发概率预估模型进行流式训练，以获取所述事件触发概率预估模型。
在本公开的一个实施例中，所述流式训练单元配置为：将所述最新生成的事件触发概率和所述目标特征数据发送至流式训练框架的输入目录；对所述目标特征数据进行哈希编码，并对哈希编码后的所述目标特征数据进行分桶处理，以获取多个分桶特征数据；将所述分桶特征数据输入至所述待训练事件触发概率预估模型，通过所述待训练事件触发概率预估模型对所述分桶特征数据进行特征提取，以获取与所述分桶特征数据对应的待对比事件触发概率；根据所述待对比事件触发概率和所述最新生成的事件触发概率确定模型损失函数，通过调节所述待训练事件触发概率预估模型的参数，以使所述模型损失函数最小，并获取所述事件触发概率预估模型。
在本公开的一个实施例中，所述流式训练框架为分布式训练框架，所述分布式训练框架中包含第一处理单元和第二处理单元，其中所述第一处理单元用于对训练数据进行处理，所述第二处理器用于存储模型训练时所产生的参数。
图15示意性示出了根据本公开的一个实施例的事件触发概率预估装置的框图。
参照图15所示，根据本公开的一个实施例的事件触发概率预估装置1500，包括：数据获取模块1501和概率预估模块1502。
其中，数据获取模块1501，用于获取实时数据，所述实时数据包括当前供给对象的第一特征信息和与所述当前供给对象对应的多个需求对象的第二特征信息；概率预估模块1502，用于将所述第一特征信息与各所述第二特征信息组成的输入特征输入至事件触发概率预估模型，以获取与各所述需求对象对应的事件触发概率，其中所述事件触发概率预估模型为根据上述实施例所述的事件触发概率预估模型的训练方法训练得到的模型。
在本公开的一个实施例中，所述事件触发概率预估装置1500配置为：获取与各所述需求对象对应的事件触发概率之后，将与各所述需求对象对应的事件触发概率进行对比，以获取最大事件触发概率；将与所述最大事件触发概率对应的需求对象作为目标需求对象。
图16示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图16示出的电子设备的计算机系统1600仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图16所示，计算机系统1600包括中央处理单元(Central Processing Unit，CPU)1601，其可以根据存储在只读存储器(Read-Only Memory，ROM)1602中的程序或者从存储部分1608加载到随机访问存储器(Random Access Memory，RAM)1603中的程序而执行各种适当的动作和处理，实现上述实施例中所述的图像标注方法。在RAM 1603中，还存储有系统操作所需的各种程序和数据。CPU 1601、ROM 1602以及RAM1603通过总线1604彼此相连。输入/输出(Input/Output，I/O)接口1605也连接至总线1604。
以下部件连接至I/O接口1605：包括键盘、鼠标等的输入部分1606；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1607；包括硬盘等的存储部分1608；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1609。通信部分1609经由诸如因特网的网络执行通信处理。驱动器1610也根据需要连接至I/O接口1605。可拆卸介质1611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1610上，以便于从其上读出的计算机程序根据需要被安装入存储部分1608。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1609从网络上被下载和安装，和/或从可拆卸介质1611被安装。在该计算机程序被中央处理单元(CPU)1601执行时，执行本公开的系统中限定的各种功能。
需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的图像处理装置中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种事件触发概率预估模型的训练方法，其特征在于，包括：
获取原始数据，所述原始数据包括二部图数据和特征数据；
根据预设维度对所述原始数据进行分片处理，以获取多个分片；
根据基于分布式应用集群的触发概率算法对各所述分片中的二部图数据进行处理，以获取事件触发概率；
基于所述特征数据和所述事件触发概率对待训练事件触发概率预估模型进行训练，以获取事件触发概率预估模型。
2.根据权利要求1所述的训练方法，其特征在于，所述二部图数据为根据供给对象信息和需求对象信息所形成的图结构，所述特征数据包括供给对象特征和需求对象特征。
3.根据权利要求1或2所述的训练方法，其特征在于，所述根据预设维度对所述原始数据进行分片处理，以获取多个分片，包括：
根据供给对象维度对所述原始数据进行分片处理，以获取多个所述分片。
4.根据权利要求3所述的训练方法，其特征在于，所述根据基于分布式应用集群的触发概率算法对各组所述分片中的二部图数据进行处理，以获取事件触发概率，包括：
根据所述分布式应用集群中所包含的数据处理模块的数量和所述分片的数量确定与各所述数据处理模块对应的目标分片；
各所述数据处理模块根据所述触发概率算法对所述目标分片进行处理，以获取与需求对象对应的事件触发概率。
5.根据权利要求4所述的训练方法，其特征在于，所述各所述数据处理模块根据所述触发概率算法对所述目标分片进行处理，以获取与需求对象对应的事件触发概率，包括：
确定所述触发概率算法对应的第一目标函数，并获取与所述第一目标函数相关的约束条件，其中所述约束条件包括需求约束、供给约束和频次约束；
获取与所述需求约束对应的第一对偶变量、与所述供给约束对应的第二对偶变量、与所述频次约束对应的第三对偶变量、与需求量和供给量之间的差量对应的第四对偶变量和与所述事件触发概率对应的第五对偶变量；
基于所述第一对偶变量、所述第二对偶变量、所述第三对偶变量、所述第四对偶变量、所述第五对偶变量和预设条件获得与所述事件触发概率对应的第二目标函数；
对所述第二目标函数进行求解，以获取所述事件触发概率。
6.根据权利要求5所述的训练方法，其特征在于，所述对所述第二目标函数进行求解，以获取所述事件触发概率，包括：
采用坐标下降法和二分法对所述第二目标函数进行求解，以获取所述事件触发概率。
7.根据权利要求6所述的训练方法，其特征在于，所述采用坐标下降法和二分法对所述第二目标函数进行求解，以获取所述事件触发概率，包括：
在所述目标分片上，采用坐标下降法展开所述第二目标函数中的第一对偶变量、第二对偶变量和第三对偶变量，并采用二分法求解所述第二对偶变量和所述第三对偶变量；
聚合所有的所述目标分片，采用二分法求解所述第一对偶变量，并将所述第一对偶变量广播到所有的所述目标分片；
将上述步骤重复执行预设次数，并根据最终获得的第一对偶变量、第二对偶变量和第三对偶变量确定所述事件触发概率。
8.根据权利要求1或7所述的训练方法，其特征在于，所述基于所述特征数据和所述事件触发概率对待训练事件触发概率预估模型进行训练，以获取事件触发概率预估模型，包括：
基于最新生成的事件触发概率和与所述最新生成的事件触发概率对应的目标特征数据对所述待训练事件触发概率预估模型进行流式训练，以获取所述事件触发概率预估模型。
9.根据权利要求8所述的方法，其特征在于，所述基于最新生成的事件触发概率和与所述最新生成的事件触发概率对应的目标特征数据对所述待训练事件触发概率预估模型进行流式训练，以获取所述事件触发概率预估模型，包括：
将所述最新生成的事件触发概率和所述目标特征数据发送至流式训练框架的输入目录；
对所述目标特征数据进行哈希编码，并对哈希编码后的所述目标特征数据进行分桶处理，以获取多个分桶特征数据；
将所述分桶特征数据输入至所述待训练事件触发概率预估模型，通过所述待训练事件触发概率预估模型对所述分桶特征数据进行特征提取，以获取与所述分桶特征数据对应的待对比事件触发概率；
根据所述待对比事件触发概率和所述最新生成的事件触发概率确定模型损失函数，通过调节所述待训练事件触发概率预估模型的参数，以使所述模型损失函数最小，并获取所述事件触发概率预估模型。
10.根据权利要求9所述的方法，其特征在于，所述流式训练框架为分布式训练框架，所述分布式训练框架中包含第一处理单元和第二处理单元，其中所述第一处理单元用于对训练数据进行处理，所述第二处理器用于存储模型训练时所产生的参数。
11.一种事件触发概率预估方法，其特征在于，包括：
获取实时数据，所述实时数据包括当前供给对象的第一特征信息和与所述当前供给对象对应的多个需求对象的第二特征信息；
将所述第一特征信息与各所述第二特征信息组成的输入特征输入至事件触发概率预估模型，以获取与各所述需求对象对应的事件触发概率，其中所述事件触发概率预估模型为根据权利要求1-10中任意一项所述的事件触发概率预估模型的训练方法训练得到的模型。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
获取与各所述需求对象对应的事件触发概率之后，将与各所述需求对象对应的事件触发概率进行对比，以获取最大事件触发概率；
将与所述最大事件触发概率对应的需求对象作为目标需求对象。
13.一种事件触发概率预估模型的训练装置，其特征在于，包括：
获取模块，用于获取原始数据，所述原始数据包括二部图数据和特征数据；
分片模块，用于根据预设维度对所述原始数据进行分片，以获取多组分片数据；
计算模块，用于通过基于分布式应用系统的触发概率算法对各组所述分片数据中的二部图数据进行计算，以获取事件触发概率；
训练模块，用于基于所述特征数据和所述事件触发概率对待训练事件触发概率预估模型进行训练，以获取事件触发概率预估模型。
14.一种事件触发概率预估装置，其特征在于，包括：
数据获取模块，用于获取实时数据，所述实时数据包括当前供给对象的第一特征信息和与所述当前供给对象对应的多个需求对象的第二特征信息；
概率预估模块，用于将所述第一特征信息与各所述第二特征信息组成的输入特征输入至事件触发概率预估模型，以获取与各所述需求对象对应的事件触发概率，其中所述事件触发概率预估模型为根据权利要求1-10中任意一项所述的事件触发概率预估模型的训练方法训练得到的模型。
15.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至10中任一项所述的事件触发概率预估模型的训练方法和权利要求11或12所述的事件触发概率预估方法。
CN201911150339.9A 2019-11-21 2019-11-21 事件触发概率预估模型训练方法及事件触发概率预估方法 Active CN111047009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911150339.9A CN111047009B (zh) 2019-11-21 2019-11-21 事件触发概率预估模型训练方法及事件触发概率预估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911150339.9A CN111047009B (zh) 2019-11-21 2019-11-21 事件触发概率预估模型训练方法及事件触发概率预估方法

Publications (2)

Publication Number Publication Date
CN111047009A true CN111047009A (zh) 2020-04-21
CN111047009B CN111047009B (zh) 2023-05-23

Family

ID=70232069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911150339.9A Active CN111047009B (zh) 2019-11-21 2019-11-21 事件触发概率预估模型训练方法及事件触发概率预估方法

Country Status (1)

Country Link
CN (1) CN111047009B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699174A (zh) * 2021-03-23 2021-04-23 中建电子商务有限责任公司 一种大数据建筑用品驱动链图生成方法
CN113759719A (zh) * 2021-08-24 2021-12-07 南京邮电大学 基于事件触发的多智能体系统指定时间二分一致控制方法
CN113837517A (zh) * 2020-12-01 2021-12-24 北京沃东天骏信息技术有限公司 事件的触发方法及装置、介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886047A (zh) * 2014-03-12 2014-06-25 浙江大学 面向流式数据的分布式在线推荐方法
US20160155141A1 (en) * 2014-12-01 2016-06-02 Turn Inc. Systems, methods, and devices for pipelined processing of online advertising performance data
WO2016107455A1 (zh) * 2014-12-29 2016-07-07 阿里巴巴集团控股有限公司 一种信息匹配处理方法和装置
CN106168963A (zh) * 2016-06-30 2016-11-30 北京金山安全软件有限公司 实时流数据的处理方法、装置及服务器
CN108428144A (zh) * 2017-02-15 2018-08-21 腾讯科技（北京）有限公司 推送信息订单的流量分配方法、服务分配方法及装置
CN108574706A (zh) * 2017-03-09 2018-09-25 腾讯科技（北京）有限公司 媒体文件的推送方法及装置
CN109389424A (zh) * 2018-09-20 2019-02-26 北京达佳互联信息技术有限公司 流量分配方法、装置、电子设备及存储介质
CN110321422A (zh) * 2018-03-28 2019-10-11 腾讯科技（深圳）有限公司 在线训练模型的方法、推送方法、装置以及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886047A (zh) * 2014-03-12 2014-06-25 浙江大学 面向流式数据的分布式在线推荐方法
US20160155141A1 (en) * 2014-12-01 2016-06-02 Turn Inc. Systems, methods, and devices for pipelined processing of online advertising performance data
WO2016107455A1 (zh) * 2014-12-29 2016-07-07 阿里巴巴集团控股有限公司 一种信息匹配处理方法和装置
CN106168963A (zh) * 2016-06-30 2016-11-30 北京金山安全软件有限公司 实时流数据的处理方法、装置及服务器
CN108428144A (zh) * 2017-02-15 2018-08-21 腾讯科技（北京）有限公司 推送信息订单的流量分配方法、服务分配方法及装置
CN108574706A (zh) * 2017-03-09 2018-09-25 腾讯科技（北京）有限公司 媒体文件的推送方法及装置
CN110321422A (zh) * 2018-03-28 2019-10-11 腾讯科技（深圳）有限公司 在线训练模型的方法、推送方法、装置以及设备
CN109389424A (zh) * 2018-09-20 2019-02-26 北京达佳互联信息技术有限公司 流量分配方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BHARADWAJ V等: "SHALE: An Efficient Algorithm for Allocation of Guaranteed Display Advertising", 《KDD \"12: PROCEEDINGS OF THE 18TH ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MININGAUGUST 2012 》 *
ZHUO TANG等: "An intermediate data placement algorithm for load balancing in Spark computing environment", 《FUTURE GENERATION COMPUTER SYSTEMS》 *
陆忠华等: "基于Hadoop YARN的TensorFlow GPU集群的调度扩展", 《科研信息化技术与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837517A (zh) * 2020-12-01 2021-12-24 北京沃东天骏信息技术有限公司 事件的触发方法及装置、介质及电子设备
CN112699174A (zh) * 2021-03-23 2021-04-23 中建电子商务有限责任公司 一种大数据建筑用品驱动链图生成方法
CN112699174B (zh) * 2021-03-23 2021-08-17 中建电子商务有限责任公司 一种大数据建筑用品驱动链图生成方法
CN113759719A (zh) * 2021-08-24 2021-12-07 南京邮电大学 基于事件触发的多智能体系统指定时间二分一致控制方法
CN113759719B (zh) * 2021-08-24 2023-11-17 南京邮电大学 基于事件触发的多智能体系统指定时间二分一致控制方法

Also Published As

Publication number Publication date
CN111047009B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN111368210B (zh) 基于人工智能的信息推荐方法、装置以及电子设备
US11816272B2 (en) Identifying touchpoint contribution utilizing a touchpoint attribution attention neural network
US10873782B2 (en) Generating user embedding representations that capture a history of changes to user trait data
US10719521B2 (en) Evaluating models that rely on aggregate historical data
US11109083B2 (en) Utilizing a deep generative model with task embedding for personalized targeting of digital content through multiple channels across client devices
WO2022057658A1 (zh) 推荐模型训练方法、装置、计算机设备及存储介质
EP4181026A1 (en) Recommendation model training method and apparatus, recommendation method and apparatus, and computer-readable medium
CN110162693A (zh) 一种信息推荐的方法以及服务器
CA2941700A1 (en) Clickstream purchase prediction using hidden markov models
CN111047009B (zh) 事件触发概率预估模型训练方法及事件触发概率预估方法
CN111798280B (zh) 多媒体信息推荐方法、装置和设备及存储介质
WO2019072128A1 (zh) 对象识别方法及其系统
CN109034853B (zh) 基于种子用户寻找相似用户方法、装置、介质和电子设备
CN112287238B (zh) 用户特征的确定方法和装置、存储介质及电子设备
CN112508256B (zh) 一种基于众包的用户需求主动预测方法及系统
CN107463580A (zh) 训练点击率预估模型方法和装置、点击率预估方法和装置
CN108960293B (zh) 基于fm算法的ctr预估方法及系统
CN112348592A (zh) 广告推荐方法、装置、电子设备及介质
CN113763019A (zh) 一种用户信息管理方法和装置
CN111340522A (zh) 资源推荐方法、装置、服务器及存储介质
US10956930B2 (en) Dynamic Hierarchical Empirical Bayes and digital content control
US20210350202A1 (en) Methods and systems of automatic creation of user personas
CN112150184A (zh) 点击率预估方法及其系统、计算机系统及计算机可读介质
US20230316106A1 (en) Method and apparatus for training content recommendation model, device, and storage medium
US20190087852A1 (en) Re-messaging with alternative content items in an online remarketing campaign

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022216

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant