CN112053176A - 一种信息投放数据的分析方法、装置、设备及存储介质 - Google Patents

一种信息投放数据的分析方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112053176A
CN112053176A CN201910485676.7A CN201910485676A CN112053176A CN 112053176 A CN112053176 A CN 112053176A CN 201910485676 A CN201910485676 A CN 201910485676A CN 112053176 A CN112053176 A CN 112053176A
Authority
CN
China
Prior art keywords
information
exposure
candidate
user
exposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910485676.7A
Other languages
English (en)
Other versions
CN112053176B (zh
Inventor
朱志华
陈宏佳
李池洋
蔡政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910485676.7A priority Critical patent/CN112053176B/zh
Publication of CN112053176A publication Critical patent/CN112053176A/zh
Application granted granted Critical
Publication of CN112053176B publication Critical patent/CN112053176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0242Determining effectiveness of advertisements
    • G06Q30/0245Surveys
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0242Determining effectiveness of advertisements
    • G06Q30/0244Optimization

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种信息投放数据的分析方法、装置、设备及存储介质,所述方法包括:响应于信息曝光请求,对用户进行流量划分,确定用户所属的组别;其中,所述信息曝光请求包括所述用户的用户属性;获取候选信息列表,从中确定候选曝光信息,将所述候选曝光信息的标识写入请求日志中;获取预设目标信息列表,确定待曝光信息,曝光所述待曝光信息,将向当前用户曝光成功信息的标识写入曝光日志中;获取信息投放转化数据,分析目标信息的投放转化提升率。本发明能够通过对线上用户进行随机分组,通过不同分组的转化率来衡量目标信息的投放效果,减少了分析过程中无效的非曝光干扰。

Description

一种信息投放数据的分析方法、装置、设备及存储介质
技术领域
本发明涉及互联网技术领域,尤其涉及一种信息投放数据的分析方法、装置、设备及存储介质。
背景技术
现有技术中对于信息投放效果的衡量主要包括以下两种方式:
第一种是曝光归因:将曝光人群的转化行为都归功于曝光,比如广告得到100万次曝光,并且获得1万次转化,就认为广告带来了1%的转化率,即认为这1万次转化,都归功于这100万次曝光。
第二种是比较曝光与非曝光的转化率:将曝光人群与非曝光人群的转化率进行对比,作为广告曝光的提升效果。假设有100万人得到了曝光,并且获得了1万次转化,再找100万未曝光目标广告的人群,发现他们只有5000次转化,则认为多出来的10000-5000=5000次转化是广告曝光带来的效果(或认为转化率从0.5%上提升至1%,提升了100%)。
第一种曝光归因法的问题在于,很难确定用户发生转化行为的原因是什么,有可能是多种原因综合的结果,所以单方面的认为转化行为全部都是由广告曝光所导致的,会夸大广告曝光的效果。
第二种比较曝光人群与非曝光人群转化率的问题在于,曝光人群与非曝光人群可能本身就有人群属性上的差异。所以最后,转化率的差异来自两方面:一方面确实是广告曝光所带来的影响,另一方面是曝光人群与非曝光人群本身人群属性上的差异,带来的转化率差异;而该方法显然无法排除第二部分带来的影响,从而引起误差。
发明内容
本发明所要解决的技术问题在于,提供一种信息投放数据的分析方法、装置、设备及存储介质,能够通过对线上用户进行随机分组,通过不同分组的转化率来衡量目标信息的投放效果,减少了分析过程中无效的非曝光干扰,解决了现有技术中无法有效衡量信息投放效果的问题。
为了解决上述技术问题,第一方面,本发明提供了一种信息投放数据的分析方法,所述方法包括:
响应于信息曝光请求,对发送所述信息曝光请求的用户进行流量划分,确定用户所属的组别;其中,所述信息曝光请求包括所述用户的用户属性;
根据所述用户属性获取候选信息列表,从所述候选信息列表中确定候选曝光信息,将所述候选曝光信息的标识写入请求日志中;
获取预设目标信息列表,根据当前用户所属的组别、所述候选曝光信息以及所述预设目标信息列表确定待曝光信息,曝光所述待曝光信息,将向当前用户曝光成功的所述待曝光信息的标识写入曝光日志中;
获取信息投放转化数据,根据所述请求日志、所述曝光日志以及所述信息投放转化数据,分析目标信息的投放转化提升率。
第二方面,本发明提供了一种信息投放数据的分析装置,所述装置包括:
请求响应模块,用于响应于信息曝光请求,对发送所述信息曝光请求的用户进行流量划分,确定用户所属的组别;其中,所述信息曝光请求包括所述用户的用户属性;
请求日志记录模块,用于根据所述用户属性获取候选信息列表,从所述候选信息列表中确定候选曝光信息,将所述候选曝光信息的标识写入请求日志中;
曝光日志记录模块,用于获取预设目标信息列表,根据当前用户所属的组别、所述候选曝光信息以及所述预设目标信息列表确定待曝光信息,曝光所述待曝光信息,将向当前用户曝光成功的所述待曝光信息的标识写入曝光日志中;
转化分析模块,用于获取信息投放转化数据,根据所述请求日志、所述曝光日志以及所述信息投放转化数据,分析目标信息的投放转化提升率。
第三方面,本发明提供了一种设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的信息投放数据的分析方法。
第四方面,本发明提供了一种计算机存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如第一方面所述的信息投放数据的分析方法。
实施本发明实施例,具有如下有益效果:
本发明通过响应用户的信息曝光请求,对发送信息曝光请求的用户进行流量划分,从而对用户进行分组;根据用户的属性获取候选信息列表,并从中确定出候选曝光信息,将候选曝光信息写入请求日志中;根据用户所属的组别、候选曝光信息以及预设的目标信息列表确定待曝光给当前用户的待曝光信息,将曝光成功的信息标识写入曝光日志中;根据获取的投放转化数据、请求日志和曝光日志,分析目标信息的投放转化提升率。本发明通过控制不同的分组分别曝光相应的待曝光信息,有利于不同分组之间形成对照,通过不同分组的转化率来衡量目标信息的投放效果;同时采用在线分流的方式对用户进行分组,去除了没有参与请求的用户对整体衡量的干扰,提升衡量的准确性。
附图说明
图1是本发明实施例提供的一种应用环境示意图;
图2是本发明实施例提供的一种信息投放转化数据的分析方法示意图;
图3是本发明实施例提供的一种候选曝光信息确定方法示意图;
图4是本发明实施例提供的一种待曝光信息确定方法示意图;
图5是本发明实施例提供的一种请求日志生成方法示意图;
图6是本发明实施例提供的一种曝光日志生成方法示意图;
图7是本发明实施例提供的一种数据分析方法示意图;
图8是本发明实施例提供的污染曝光人群的确定方法示意图;
图9是本发明实施例提供的uplift原理结构图;
图10是本发明实施例提供的一种处理污染数据的uplift模型示意图;
图11是本发明实施例提供的基于uplift的广告投放系统框架图;
图12是本发明实施例提供的第一实例示意图;
图13是本发明实施例提供的第二实例示意图;
图14是本发明实施例提供的一种信息投放数据的分析装置示意图;
图15是本发明实施例提供的候选信息列表获取模块示意图;
图16是本发明实施例提供的待曝光信息确定模块示意图;
图17是本发明实施例提供的请求日志记录模块示意图;
图18是本发明实施例提供的曝光日志记录模块示意图;
图19是本发明实施例提供的转化分析模块示意图;
图20是本发明实施例提供的污染曝光统计模块示意图;
图21是本发明实施例提供的一种设备结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先对本发明实施例中涉及的名词做以下解释:
A/B测试:线上测试策略效果的一种实验方法。通过将实验样本(这里的样本是广告目标人群)通过随机抽样分成实验组和对照组两个互斥的人群组,使得对照组人群保持原有策略不变,而实验组使用新策略,最后比较两组人群的差异,从而获得策略作用的一种方法。
广告曝光:即广告被投放给用户后触达用户,被用户看到。
曝光率:指特定的一群人中,被广告曝光影响的人的比例。
转化:广告主投放广告后,期望对用户产生的影响,如下载app,激活app,下单,购买,出行等等,不同场景下指代不同的行为。
转化率:指特定的一群人中,发生转化行为的人的比例。
请参见图1,其示出了本发明实施例提供的一种应用环境示意图,该应用环境可以包括信息投放平台110、需求方平台120以及投放媒体130。
具体地,所述信息投放平台110可以用于为线上用户召回相关的信息列表,并根据预设规则,将符合条件的信息曝光给对应的用户。所述信息投放平台110可以包括一个或多个独立运行的服务器,或者分布式服务器,或者由多个服务器组成的服务器集群。服务器可以包括有网络通信单元、处理器和存储器等等。分布式存储器可以包括多个处理器和多个网络通信单元和多个存储器等。多存储器可以为多个独立的物理存储器,也可以为分布式存储系统。
具体地,所述需求方平台120可以为信息投放的需求方,例如广告信息投放的需求方广告主,也可以为广告主的广告信息投放的委托代理方。具体的,所述需求方平台120可以包括一个或多个独立运行的服务器,或者分布式服务器,或者由多个服务器组成的服务器集群。服务器可以包括有网络通信单元、处理器和存储器等等。分布式存储器可以包括多个处理器和多个网络通信单元和多个存储器等。多存储器可以为多个独立的物理存储器,也可以为分布式存储系统。
具体地,投放媒体130用于进行信息投放展示,具体的,所述投放媒体130可以包括台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备等。其中,智能可穿戴设备可以包括智能手环、智能手表、智能眼镜、智能头盔等。当然,客户端并不限于上述具有一定实体的电子设备,其还可以为运行于上述电子设备中的软体。具体的,例如,客户端可以为腾讯视频、优酷等服务商提供给用户的网页页面,也可以为这些服务商提供给用户的应用。
本实施例中,所述信息投放平台110可以与需求方平台120进行通信,以便于信息投放平台110根据需求方平台120的投放需求和相关规则,进行信息投放处理。所述信息投放平台110可以与投放媒体130进行通信,以便于信息投放平台110将需要投放的数据发送给投放媒体130进行投放;另外投放媒体130将投放信息的曝光情况上传至信息投放平台110,以便于信息投放平台110将各用户的信息曝光情况传送给需求方平台120,需求方平台120根据各用户的曝光情况回传相应的曝光转化数据,以使得信息投放平台110对信息投放转化效果进行分析。
请参见图2,其示出了一种信息投放转化数据的分析方法,该方法可以应用于上述的信息投放平台侧,具体地,所述方法包括:
S210.响应于信息曝光请求,对发送所述信息曝光请求的用户进行流量划分,确定用户所属的组别;其中,所述信息曝光请求包括所述用户的用户属性。
这里的信息曝光请求是指用户端发送的获取信息的请求,具体地,当流量方用户刷到某个信息展示位时,触发请求端发起信息曝光请求,向信息投放平台请求曝光信息;信息投放平台接收到信息曝光请求时,通过线上哈希分流的方式对用户进行分组,将发起请求的用户分到不同组中。信息曝光请求中包括用户的用户属性和用户标识,对于不同分组中的用户,本实施例中分为第一分组和第二分组,通过哈希分流对用户进行随机分组,使得第一分组和第二分组用户在人群属性上没有任何差异。
S220.根据所述用户属性获取候选信息列表,从所述候选信息列表中确定候选曝光信息,将所述候选曝光信息的标识写入请求日志中。
对于每个发起信息曝光请求的用户,信息投放平台均会根据该用户的属性为其生成特定的信息列表,具体可参见图3,其示出了一种候选曝光信息确定方法示意图,所述方法可以包括:
S310.根据所述用户属性获取与用户相关联的信息列表,按照所述信息列表中的各项信息与所述用户的关联度递减的顺序对所述信息列表进行排序之后,得到所述候选信息列表。
具体的关联度的计算可以采用现有技术中对于用户与相关信息关联度的计算方法,比如:通过用户的用户属性,来确定用户的爱好、用户的浏览习惯、用户的历史行为等用户特征信息,通过这些特征信息,在信息投放系统里匹配关联度高的投放信息生成与该用户相对应的信息列表。
需要说明的是,对于本实施例中的两个分组的用户,第一分组中与第二分组中属性相同的用户会得到相同的候选信息列表。
S320.确定所述候选信息列表中排序第一的信息为所述候选曝光信息。
在本实施例中可以认为,排序第一的信息为与当前用户关联度最高的信息,可能是用户最愿意看到的信息,因此,将排序第一的信息确定为候选曝光信息。
S230.获取预设目标信息列表,根据当前用户所属的组别、所述候选曝光信息以及所述预设目标信息列表确定待曝光信息,曝光所述待曝光信息,将向当前用户曝光成功的所述待曝光信息的标识写入曝光日志中。
这里的预设目标信息列表中可以包括一项或者多项目标信息,本实施例中的目标信息是指通过投放来进行投放效果测试衡量的信息,目标信息一般是之前没有投放过新的信息或者是以新的投放形式进行投放的信息等。
对于不同分组中的用户,上述步骤中确定的候选曝光信息不一定都能够被曝光,即当前确定的候选曝光信息并不一定是最终实际曝光的信息,由于本实施例中是针对目标信息投放效果进行的测试,因此,当待曝光信息为目标信息时,可能存在需要重新确定待曝光信息的情况。
请参见图4,其示出了一种待曝光信息确定方法,其主要用于对处于第一分组中的用户进行待曝光信息的确定,所述方法包括:
S410.当所述当前用户所属的组别为第一分组时,在所述预设目标信息列表中查找所述候选曝光信息。
S420.判断在所述预设目标信息列表中是否查找到所述候选曝光信息。
S430.当所述候选曝光信息存在于所述预设目标信息列表中时,从所述候选信息列表中删除所述候选曝光信息,确定当前排序第一的信息为当前候选曝光信息,对当前候选曝光信息进行上述查找判断。
S440.重复上述查找判断操作,直至查找到所述候选信息列表中有不存在于所述预设目标信息列表中的候选信息,或,所述候选信息列表中剩下一项候选信息。
S450.确定不存在于所述预设目标信息列表中的候选信息为所述待曝光信息,或,确定所述候选信息列表中最后一项候选信息为所述待曝光信息。
S460.当所述候选曝光信息不存在于所述预设目标信息列表中时,确定所述候选曝光信息为所述待曝光信息。
对于第一分组中的用户,需要控制存在于预设目标信息列表中的目标信息不向第一分组中的用户曝光,而用候选信息列表中的其他候选信息进行替代曝光。
对于处于第二分组中的用户,不需要对其信息的曝光做任何控制,根据候选信息列表确定的候选曝光信息即为最终的待曝光信息,即当所述当前用户所属的组别为第二分组时,直接确定所述候选曝光信息为待曝光信息,曝光所述待曝光信息。
根据以上描述,本实施例中通过控制目标信息不向第一分组中的用户曝光,而向第二分组中的用户曝光,理论上认为,第一分组的用户都没有被曝光目标信息,而第二分组中的用户被只要拉取到目标信息的,都进行目标信息的曝光,这样便于两个分组之间进行转化率数据的对照,以及转化率提升的计算。
本发明实施例中对于信息的请求以及信息的曝光均会记录到相应的日志中进行存储,以便于后续根据日志中的记录,进行相关数据的分析。
首先,对于每个用户,可以将为其确定的候选曝光信息的标识写入请求日志中,具体地,请参见图5,其示出了一种请求日志生成方法示意图,所述方法包括:
S510.当所述候选曝光信息不存在于所述预设目标信息列表中时,根据当前用户的用户标识以及所述候选信息的标识形成一项记录,写入所述请求日志中。
S520.当所述候选曝光信息存在于所述预设目标信息列表中时,根据当前用户的用户标识以及所述候选信息的标识形成一项记录,写入所述请求日志中,并将所述候选曝光信息的标识写入所述请求日志中预设的目标字段中。
不管候选曝光信息是不是目标信息,都可以直接将当前用户的用户标识以及候选信息的标识写入请求日志中,将用户标识与候选信息的标识对应起来,便于后续对请求日志进行数据分析。
另外,对于当所述候选曝光信息存在于所述预设目标信息列表中时,还需要将候选曝光信息的标识写入请求日志中的预设目标字段,这样可以请求日志中标记该候选曝光信息为目标信息。
对于本实施例中的各种信息,只有向用户曝光成功之后,才会被写入曝光日志中,请参见图6,其示出了一种曝光日志生成方法,所述方法包括:
S610.当所述待曝光信息向当前用户成功曝光时,确定成功曝光的所述待曝光信息为实际曝光信息。
在为当前用户确定了待曝光信息之后,对待曝光信息进行曝光,但是由于时延或者流量方的信息过滤策略,会导致曝光失败的情况,因此被确定为待曝光信息的信息并不能全部曝光,通过投放媒体侧返回的曝光情况,可以统计出成功曝光的信息,将成功曝光的信息确定为实际曝光信息。
S620.根据当前用户的用户标识以及所述实际曝光信息的标识形成一项记录,写入所述曝光日志中。
本实施例中,在用户请求以及信息曝光的各个过程中,通过请求日志和曝光日志的形式,将整个过程中的各个环节的实施进行记录,记录下这些过程数据,为最终的数据分析提供了可靠的数据和依据。
S240.获取信息投放转化数据,根据所述请求日志、所述曝光日志以及所述信息投放转化数据,分析目标信息的投放转化提升率。
本实施例中的信息投放转化数据可以从需求方平台直接获取到,结合请求日志以及曝光日志,可进行信息投放效果的衡量和分析。
请参见图7,其示出了一种数据分析方法,所述方法包括:
S710.获取所述请求日志以及所述曝光日志中的用户标识,从所述请求日志和所述曝光日志中分别确定所述第一分组的用户请求记录和曝光记录,以及第二分组的用户请求记录和曝光记录。
在对用户进行线上分组之后,就可以确定哪些用户标识是属于哪一个分组的,因此可以通过用户标识对请求日志和曝光日志中的用户记录进行划分,得到第一分组的用户请求记录和曝光记录,以及第二分组的用户记录和曝光记录。
S720.根据所述信息投放转化数据以及所述第一分组的用户的请求记录和曝光记录,统计所述第一分组中的污染曝光用户的转化率,将所述污染曝光用户的转化率镜像给所述第二分组。
在本实施例中,对于第一分组中的用户是不向其曝光目标信息的,但是在上述步骤S440~S450中,有可能出现对候选信息列表中的候选信息进行删除,只剩最后一项候选信息且该项信息存在于目标信息列表中,原则上讲,对于第一分组用户,是不应该向其曝光该项信息的,但在实际情况中,会有一部分的请求会出现这种情况,出于对信息投放系统曝光率以及收入成本的考虑,本实施例中对于只剩一项候选信息并且该候选信息存在与目标信息列表中的情况,会向第一分组用户曝光该候选信息,而被曝光的这部分用户即为污染曝光用户,可简单理解为原本不应该曝光而实际曝光的用户。
对于污染曝光人群,可通过信息投放转化数据获取到该部分用户的转化率,并将第一分组的污染曝光人群转化率镜像给第二分组。
具体地对于污染曝光人群的确定方法可参见图8,所述方法包括:
S810.在所述第一分组的用户的请求记录中,查找带有所述预设的目标字段的信息标识。
通过预设的目标字段,可以在请求记录中快速找到第一分组的用户拉取到目标信息,并将目标信息作为候选曝光信息的记录。
S820.当所述带有所述预设的目标字段的信息标识存在于所述第一分组的用户的曝光记录中时,确定与所述曝光记录对应的用户为污染曝光用户。
对于第一分组中的用户,目标信息是被控制不向其进行曝光的,因此,当在曝光记录中找到相关曝光信息时,则说明其向第一分组的用户进行了曝光,所以这部分用户被确定为污染曝光人群。
S730.根据所述信息投放转化数据以及所述第二分组的用户的请求记录和曝光记录,统计所述第二分组中的非曝光用户的转化率,将所述非曝光用户的转化率镜像给所述第一分组。
理论上来说,对于第二分组,不受信息曝光的控制,对于要进行测试的目标信息,应该可以正常曝光,对于没有正常曝光,存在两种情况:
第一种情况是第二分组中的用户没有拉取到目标信息,具体是在该用户发送曝光请求时,根据该用户的用户属性获取的候选信息列表中并没有包含目标信息,从而目标信息不回向该用户曝光。
第二种情况是第二分组中的用户拉取到目标信息,并且被确定为待曝光信息,但在最后曝光的环节,由于时延或者流量方的信息过滤策略,可能会导致目标信息不能向该用户正常曝光。
将第二分组中的所有用户去掉曝光目标信息的用户,就会得到第二分组中对于目标信息的非曝光用户。
在信息投放转化数据中找到该部分非曝光用户,并根据其转化情况,计算其转化率,并将非曝光人群转化率镜像给第一分组。
S740.根据所述信息投放转化数据、所述污染曝光用户的转化率以及所述非曝光用户的转化率,分别计算第一分组曝光用户的转化率和所述第二分组曝光用户的转化率。
S750.根据所述第一分组曝光用户的转化率和所述第二分组曝光用户的转化率,计算目标信息的投放转化提升率。
本实施例中对于投放转化提升率可基于uplift结构进行实现,请参见图9,采用A/B测试的方法,具体可以将用户分为对照组和实验组,对应于本实施例上述的第一分组和第二分组。
如图9所示,现有技术中,通过线下手工地对号码包进行拆分实验组和对照组,并将整个实验组和对照组的所有用户都设置为参与到广告曝光的用户,对于非曝光人群,存在一部分用户没有参与到信息投放流程中,这部分人群会对整个衡量过程存在较大的干扰。
而本发明实施例中通过对线上流量进行用户划分,从而确保两个分组中的用户均是参与到信息投放流程中的用户,去除了手工分组时非曝光人群中没有参与信息投放流程的用户的干扰,极大地提高实验的准确率。
根据本实施例上述步骤S720,对于污染曝光人群的数据会使得对照组的数据受到影响,因此为了解决该问题,本发明实施例提出了一种处理污染数据的uplift模型,具体可参见图10,其中:
(1)q为非曝光拉取比(非曝光总人数/总拉取人数);
(2)p为对照组中依旧拉取到目标信息并且曝光的比例;
(3)根据需求方平台回传转化数据可以计算不同人群的转化率;
(4)在完全随机的人群划分中,有以下几种关系:
a)对照组与实验组q相同
b)对照组与实验组非曝光人群转换率相同
c)实验组污染曝光镜像与对照组污染曝光比例相同,都为p
d)实验组污染曝光镜像的转换率与对照组污染曝光人群相同
根据式(1)
CY+(1-p-q)Y+qγTN=γT (1)
可以计算出实验组的曝光人群转化率。
根据式(2)
CY+(1-p-q)X+qγTN=γC (2)
可以计算出对照组的曝光人群转化率。
综上,可以计算出对照组的曝光人群转化率X与实验组的曝光人群转化率Y,最终,根据式(3)
Figure BDA0002085302160000121
计算目标信息的转化提升率,从而确定目标信息的曝光价值。
本发明具体可以应用于广告投放领域,基于uplift的广告投放系统框架图可参见图11,该广告投放系统主要可以包括:uplift分析系统、日志系统、广告排序系统、数据管理平台DMP、广告投放侧、流量侧和实验系统等。
具体实现流程如下:
1、当用户从流量侧向广告系统发起广告请求时,具体可以为:当流量方某个用户A刷到某个广告位的时候,触发请求端发起请求,向广告系统请求广告;
2、实验系统判断是否开启实验,当确认开启实验时,实验系统配置需要进行实验测试的目标广告,即ghost ad列表,记为ghost_ad_list;设置相对应的ghost ad层,该层占有100%流量区间,当用户请求经过该实验层的时候,对用户进行线上的hash分流,分数到实验组或者对照组,通过参数is_test来标识。
3、广告排序系统根据用户的用户属性等相关信息,从检索系统中召回与用户相关的广告列表,注意,这里并不是返回一个广告到请求端,而是返回一个排序好的广告topN列表,记为:select_ad_list;
reranking是负责最后精排的部分,此时广告候选列表(select_ad_list)在经过一系列的策略排序之后,基本不会有发生调序,也就是说,对于每个用户来说排名第一的广告已经确定,将排序第一的广告的标识写入请求日志中;此时还需要根据设置的ghost ad列表,判断排序第一的广告是否命中ghost ad列表中的目标广告:假设select_ad_list中排名第一的广告是Ad1,从ghost_ad_list中查找Ad1是否在该列表中,如果是,则将当前广告Ad1的标识写入请求日志的一个事先定义好的日志字段ghost_ad中;
根据对用户进行流量划分的结果,进行广告曝光的最终确定,如果该用户处于对照组中(is_test=0),检查该广告Ad1是否在ghost_ad_list中,如果否,则对Ad1进行正常曝光;如果是,则删除该广告并继续判断排名第二的广告,如果删除完该广告之后没有广告剩余,不做任何删除,直接曝光;如果该用户处于实验组中,不做任何处理,正常曝光该广告。
在经过广告系统排序处理之后,select_ad_list中的广告候选列表会被发送到请求方(也就是流量端)并进行曝光,此时由于时延或者流量方广告过滤策略,可能发生曝光失败的情况,也就是曝光/请求并不是100%。请求数据会被落地到请求日志中,并带有记录的ghost_ad,与此同时,曝光成功数据会被落地到曝光日志中;通过对请求日志与曝光日志关联,以及转化数据关联,就可以计算该次投放实验组与对照组的转化率,最后计算uplift,具体的计算过程可参见图11所示的uplift模型进行实现。
由于广告系统是非常复杂的,为了确定本次的改造是否符合预期,可以通过相关的结果数据来验证本发明实施例改进的正确性,可以从以下两个方面来验证:
1、发送请求的用户是否是随机分布的;
(1)对于该验证,对数据进行如下处理:
提取日志中排名第一广告位字段,与进行实验的广告标识进行关联,得到该广告在整个投放过程中排名第一的日志记录,并解析出以下字段:是否曝光、曝光请求标识以及排名第一的广告标识;
通过曝光请求标识,关联曝光日志,得到每一个请求用户标识,再通过用户标识关联用户属性表,得到该用户的基础属性,这里可以提取了性别,年龄,学历3个维度的信息,分别统计实验组与对照组的分布。
(2)数据需要验证在经过系统处理之后,是否还是比较随机的,会不会因为这个处理过程,导致实验组与对照组数据出现偏差。
本实施例中通过以上3个维度的比较,实验组与对照组在这三个基础属性上分布基本一致,因此可以确定本发明实施例中的ghost ad改造没有引入其他的变量导致数据分布不随机。
2、对于对照组,由于删除了最匹配的广告(排名第一的广告),势必会增加曝光失败的比例,因此需要验证对照组的曝光成功率是否小于实验组的曝光成功率;分别对请求用户uv(Unique Visitor,独立访客)与pv(Page View,访问量)维度进行曝光/请求相关数据整理,得到以下两个表格:
表1 uv维度统计
Figure BDA0002085302160000141
Figure BDA0002085302160000151
表2 pv维度统计
Figure BDA0002085302160000152
通过以上两个表格可以发现:由于删除了最匹配的广告(排名第一的广告),确实增加曝光失败的比例,对照组的曝光成功率小于实验组的曝光成功率,符合预期;同时可以看到,在pv纬度的统计中,对照组拉取到该广告的次数(6481)明显高于实验组拉取到该广告的次数(5249),这是由于广告系统新鲜度控制导致的,该广告一直得不到曝光,因此,新鲜度一直较高,多次被排名到第一,这也符合预期。
以某广告主投放广告为例,投放时间窗为12.14-12.18共5天,实验后考核时间窗分为两段,分别为自12.14起的30天和45天,通过uplift工程实现得到以下实验数据:
表3 1214-0113考核周期实验情况
Figure BDA0002085302160000153
表4 1214-0127考核周期实验情况
Figure BDA0002085302160000154
uplift流程实现后,实验组和对照组分别被分为三类人群:第一类是对照组中受到曝光污染的人,和实验组中对应的镜像人群,称为污染镜像;第二类是实验组中未受到曝光的人,和对照组中对应的镜像人群,称为非曝光镜像;第三类是实验组中受到真实曝光的人,和对照组中对应的镜像人群,称为曝光镜像。仅在第三类人群上,广告对实验组的人产生了曝光影响而对对照组的人没有曝光影响,因此最后广告曝光的影响为曝光人群转化率与曝光镜像人群转化率的差异。
从表3、表4中可以看到,以12.14-01.13为考核周期,在该时间窗内,广告曝光带来了7.439%的提升率和308人的额外激活人数。以12.14-01.27为考核周期,在该时间窗内,广告曝光带来了13.647%的提升率和723人的额外激活人数,且在90%置信水平下显著为正。
在具体的uplift流程实现中,不可以通过实验组的曝光比例来镜像出对照组的曝光人群,因为在请求到曝光这一步,曝光/请求在实验组与对照组的比例是不一致的,可参见表1,uv维度统计实验组曝光比例86.74%,对照组曝光比例85.30%。
在实验过程中,可以将所有需要做实验的广告放在同一个流量层(ghost ad层),即同一层可以放多个广告,而不会对广告的uplift衡量产生影响,可以通过一个具体的例子来进行说明,请参见图12,图12左侧的实验参数是需要进行做实验的广告,包括手机广告1和手机广告2;图12右侧是用户请求,用户请求中带有待曝光的广告信息,从衡量方法的角度来考虑:
(1)对于广告1来说,这次请求会被记录为广告1排名第一的一次请求,后续会作为广告1的uplift计算的基数人群,对广告1来说,广告2对其没有任何影响;对于广告2来说,即使没有广告1,本次请求也不会被记录为广告2排名第一的一次请求,故对广告2也没有影响。
(2)从实际中可能存在的相互影响来考虑:假设实验参数中不存在广告2,那么用户在曝光的过程中,他是可能看到广告2的广告的,此时如果用户购买了广告2的手机,那么他很有可能就不会购买广告1的手机,导致对照组中广告1实际的转化率会变低,但由于对广告2进行了控制,会导致广告1对照组中实际的转化率可能偏高,但是,如果衡量的是用户看到广告1与看到非手机行业广告的角度思考,这种做法却是更合理的。
对于有污染的数据,本实施例中并不是通过标记实验组与对照组中命中ghostad并且只有一个广告的用户,在后期日志处理的时候直接删除来实现的,请参见图13,可以看到,会存在这样的情况:
(1)第一次请求的时候,实验组与对照组请求队列相同,此时由于AD1命中了ghostad,在对照组,对其进行曝光控制,曝光AD2,在实验组,不对AD1进行任何控制,正常曝光;
(2)第二次请求的时候,由于新鲜度控制策略,实验组获取得到的队列为AD2,因为第一次请求中,AD1已经发生曝光,对于对照组,由于第一次请求曝光AD2,而AD1没有得到曝光,因此对照组队列为AD1;
(3)此时广告队列长度都为1,对于对照组,AD1为ghost ad,该用户会被记录下来并在后期日志处理被删除,而对于实验组,AD2不属于ghostad,该用户却不会被记录,因此,命中ghost ad并且排名第一的用户,在实验组与对照组是不对等的人群。因此本发明实施例中是通过记录对照组中,命中ghost ad广告并进行了曝光的用户,来作为后续数据分析过程中的污染曝光用户的,并将对照组中的污染曝光用户的相关数据镜像给实验组。
本发明能应用到换机分析、到店转化、booking投放转化等大部分的衡量分析广告中,同时,可产品化到投放端,由广告主自行进行实验的投放,本发明能减少投放过程中干扰因素,提高衡量的准确率,帮助其真实科学地衡量广告投放对自身产品的提升,避免与广告平台大部分的沟通,节约投放时间,提高用户体验。
本发明实施例实现uplift流程的自动化,减少人工对广告绑定号码包的介入,同时减少了分析过程中大部分无效的非曝光干扰,提高了uplift分析准确率以及效率;提出一种新的衡量广告增效的方法,适用于大部分的广告投放中,需要衡量投放所带来的提升效果,解决了实际广告衡量中,对于对照组人群,难以观测衡量的问题,解决手工做实验时,无法对未参与广告投放的用户进行剔除的问题,利用对有参与广告的用户进行记录,有效地减少了无效因素的干扰,从而提高了实验的准确率。
请参见图14,其示出了一种信息投放数据的分析装置,所述装置包括:
请求响应模块1410,用于响应于信息曝光请求,对发送所述信息曝光请求的用户进行流量划分,确定用户所属的组别;其中,所述信息曝光请求包括所述用户的用户属性。
请求日志记录模块1420,用于根据所述用户属性获取候选信息列表,从所述候选信息列表中确定候选曝光信息,将所述候选曝光信息的标识写入请求日志中。
曝光日志记录模块1430,用于获取预设目标信息列表,根据当前用户所属的组别、所述候选曝光信息以及所述预设目标信息列表确定待曝光信息,曝光所述待曝光信息,将向当前用户曝光成功的所述待曝光信息的标识写入曝光日志中。
转化分析模块1440,用于获取信息投放转化数据,根据所述请求日志、所述曝光日志以及所述信息投放转化数据,分析目标信息的投放转化提升率。
请参见图15,所述请求日志记录模块1420包括候选信息列表获取模块,所述候选信息列表获取模块包括:
排序模块1510,用于根据所述用户属性获取与用户相关联的信息列表,按照所述信息列表中的各项信息与所述用户的关联度递减的顺序对所述信息列表进行排序之后,得到所述候选信息列表。
候选曝光信息确定模块1520,用于确定所述候选信息列表中排序第一的信息为所述候选曝光信息。
请参见图16,所述曝光日志记录模块1430包括待曝光信息确定模块,所述待曝光信息确定模块包括:
第一查找模块1610,用于当所述当前用户所属的组别为第一分组时,在所述预设目标信息列表中查找所述候选曝光信息。
删除模块1620,用于当所述候选曝光信息存在于所述预设目标信息列表中时,从所述候选信息列表中删除所述候选曝光信息,确定当前排序第一的信息为当前候选曝光信息,对当前候选曝光信息进行上述查找判断。
重复执行模块1630,用于重复上述查找判断操作,直至查找到所述候选信息列表中有不存在于所述预设目标信息列表中的候选信息,或,所述候选信息列表中剩下一项候选信息。
第一确定模块1640,用于确定不存在于所述预设目标信息列表中的候选信息为所述待曝光信息,或,确定所述候选信息列表中最后一项候选信息为所述待曝光信息。
第二确定模块1650,用于当所述候选曝光信息不存在于所述预设目标信息列表中时,确定所述候选曝光信息为所述待曝光信息。
第三确定模块1660,用于当所述当前用户所属的组别为第二分组时,直接确定所述候选曝光信息为待曝光信息。
请参见图17,所述请求日志记录模块1420包括:
第一写入模块1710,用于当所述候选曝光信息不存在于所述预设目标信息列表中时,根据当前用户的用户标识以及所述候选信息的标识形成一项记录,写入所述请求日志中。
第二写入模块1720,用于当所述候选曝光信息存在于所述预设目标信息列表中时,根据当前用户的用户标识以及所述候选信息的标识形成一项记录,写入所述请求日志中,并将所述候选曝光信息的标识写入所述请求日志中预设的目标字段中。
请参见图18,所述曝光日志记录模块1430包括:
实际曝光确定模块1810,用于当所述待曝光信息向当前用户成功曝光时,确定成功曝光的所述待曝光信息为实际曝光信息。
曝光记录写入模块1820,用于根据当前用户的用户标识以及所述实际曝光信息的标识形成一项记录,写入所述曝光日志中。
请参见图19,所述转化分析模块1440包括:
日志解析模块1910,用于获取所述请求日志以及所述曝光日志中的用户标识,从所述请求日志和所述曝光日志中分别确定所述第一分组的用户请求记录和曝光记录,以及第二分组的用户请求记录和曝光记录。
污染曝光统计模块1920,用于根据所述信息投放转化数据以及所述第一分组的用户的请求记录和曝光记录,统计所述第一分组中的污染曝光用户的转化率,将所述污染曝光用户的转化率镜像给所述第二分组。
非曝光用户统计模块1930,用于根据所述信息投放转化数据以及所述第二分组的用户的请求记录和曝光记录,统计所述第二分组中的非曝光用户的转化率,将所述非曝光用户的转化率镜像给所述第一分组。
转化率计算模块1940,用于根据所述信息投放转化数据、所述污染曝光用户的转化率以及所述非曝光用户的转化率,分别计算第一分组曝光用户的转化率和所述第二分组曝光用户的转化率。
提升率计算模块1950,用于根据所述第一分组曝光用户的转化率和所述第二分组曝光用户的转化率,计算目标信息的投放转化提升率。
请参见图20,所述污染曝光统计模块1920包括:
第二查找模块2010,用于在所述第一分组的用户的请求记录中,查找带有所述预设的目标字段的信息标识。
污染曝光用户确定模块2020,用于当所述带有所述预设的目标字段的信息标识存在于所述第一分组的用户的曝光记录中时,确定与所述曝光记录对应的用户为污染曝光用户。
上述实施例中提供的装置可执行本发明任意实施例所提供方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的方法。
本实施例还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如本实施例中上述的任一方法。
本实施例还提供了一种设备,其结构图请参见图21,该设备2100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processingunits,CPU)2122(例如,一个或一个以上处理器)和存储器2132,一个或一个以上存储应用程序2142或数据2144的存储介质2130(例如一个或一个以上海量存储设备)。其中,存储器2132和存储介质2130可以是短暂存储或持久存储。存储在存储介质2130的程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对设备中的一系列指令操作。更进一步地,中央处理器2122可以设置为与存储介质2130通信,在设备2100上执行存储介质2130中的一系列指令操作。设备2100还可以包括一个或一个以上电源2126,一个或一个以上有线或无线网络接口2150,一个或一个以上输入输出接口2158,和/或,一个或一个以上操作系统2141,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。本实施例上述的任一方法均可基于图21所示的设备进行实施。
本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤和顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或中断产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本领域技术人员还可以进一步意识到,结合本说明书所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但这种实现不应认为超出本发明的范围。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种信息投放数据的分析方法,其特征在于,包括:
响应于信息曝光请求,对发送所述信息曝光请求的用户进行流量划分,确定用户所属的组别;其中,所述信息曝光请求包括所述用户的用户属性;
根据所述用户属性获取候选信息列表,从所述候选信息列表中确定候选曝光信息,将所述候选曝光信息的标识写入请求日志中;
获取预设目标信息列表,根据当前用户所属的组别、所述候选曝光信息以及所述预设目标信息列表确定待曝光信息,曝光所述待曝光信息,将向当前用户曝光成功的所述待曝光信息的标识写入曝光日志中;
获取信息投放转化数据,根据所述请求日志、所述曝光日志以及所述信息投放转化数据,分析目标信息的投放转化提升率。
2.根据权利要求1所述的一种信息投放数据的分析方法,其特征在于,所述根据所述用户属性获取候选信息列表,从所述候选信息列表中确定候选曝光信息包括:
根据所述用户属性获取与用户相关联的信息列表,按照所述信息列表中的各项信息与所述用户的关联度递减的顺序对所述信息列表进行排序之后,得到所述候选信息列表;
确定所述候选信息列表中排序第一的信息为所述候选曝光信息。
3.根据权利要求1所述的一种信息投放数据的分析方法,其特征在于,所述获取预设目标信息列表,根据当前用户所属的组别、所述候选曝光信息以及所述预设目标信息列表确定待曝光信息包括:
当所述当前用户所属的组别为第一分组时,在所述预设目标信息列表中查找所述候选曝光信息;
当所述候选曝光信息存在于所述预设目标信息列表中时,从所述候选信息列表中删除所述候选曝光信息,确定当前排序第一的信息为当前候选曝光信息,对当前候选曝光信息进行上述查找判断;
重复上述查找判断操作,直至查找到所述候选信息列表中有不存在于所述预设目标信息列表中的候选信息,或,所述候选信息列表中剩下一项候选信息;
确定不存在于所述预设目标信息列表中的候选信息为所述待曝光信息,或,确定所述候选信息列表中最后一项候选信息为所述待曝光信息;
当所述候选曝光信息不存在于所述预设目标信息列表中时,确定所述候选曝光信息为所述待曝光信息。
4.根据权利要求3所述的一种信息投放数据的分析方法,其特征在于,所述获取预设目标信息列表,根据当前用户所属的组别、所述候选曝光信息以及所述预设目标信息列表确定待曝光信息包括:
当所述当前用户所属的组别为第二分组时,直接确定所述候选曝光信息为待曝光信息。
5.根据权利要求4所述的一种信息投放数据的分析方法,其特征在于,所述将所述候选曝光信息的标识写入请求日志中包括:
当所述候选曝光信息不存在于所述预设目标信息列表中时,根据当前用户的用户标识以及所述候选信息的标识形成一项记录,写入所述请求日志中;
当所述候选曝光信息存在于所述预设目标信息列表中时,根据当前用户的用户标识以及所述候选信息的标识形成一项记录,写入所述请求日志中,并将所述候选曝光信息的标识写入所述请求日志中预设的目标字段中;
所述将向当前用户曝光成功的所述待曝光信息的标识写入曝光日志中包括:
当所述待曝光信息向当前用户成功曝光时,确定成功曝光的所述待曝光信息为实际曝光信息;
根据当前用户的用户标识以及所述实际曝光信息的标识形成一项记录,写入所述曝光日志中。
6.根据权利要求5所述的一种信息投放数据的分析方法,其特征在于,所述获取信息投放转化数据,根据所述请求日志、所述曝光日志以及所述信息投放转化数据,分析目标信息的投放转化提升率包括:
获取所述请求日志以及所述曝光日志中的用户标识,从所述请求日志和所述曝光日志中分别确定所述第一分组的用户请求记录和曝光记录,以及第二分组的用户请求记录和曝光记录;
根据所述信息投放转化数据以及所述第一分组的用户的请求记录和曝光记录,统计所述第一分组中的污染曝光用户的转化率,将所述污染曝光用户的转化率镜像给所述第二分组;
根据所述信息投放转化数据以及所述第二分组的用户的请求记录和曝光记录,统计所述第二分组中的非曝光用户的转化率,将所述非曝光用户的转化率镜像给所述第一分组;
根据所述信息投放转化数据、所述污染曝光用户的转化率以及所述非曝光用户的转化率,分别计算第一分组曝光用户的转化率和所述第二分组曝光用户的转化率;
根据所述第一分组曝光用户的转化率和所述第二分组曝光用户的转化率,计算目标信息的投放转化提升率。
7.根据权利要求6所述的一种信息投放数据的分析方法,其特征在于,所述根据所述信息投放转化数据以及所述第一分组的用户的请求记录和曝光记录,统计所述第一分组中的污染曝光用户的转化率包括:
在所述第一分组的用户的请求记录中,查找带有所述预设的目标字段的信息标识;
当所述带有所述预设的目标字段的信息标识存在于所述第一分组的用户的曝光记录中时,确定与所述曝光记录对应的用户为污染曝光用户。
8.一种信息投放数据的分析装置,其特征在于,包括:
请求响应模块,用于响应于信息曝光请求,对发送所述信息曝光请求的用户进行流量划分,确定用户所属的组别;其中,所述信息曝光请求包括所述用户的用户属性;
请求日志记录模块,用于根据所述用户属性获取候选信息列表,从所述候选信息列表中确定候选曝光信息,将所述候选曝光信息的标识写入请求日志中;
曝光日志记录模块,用于获取预设目标信息列表,根据当前用户所属的组别、所述候选曝光信息以及所述预设目标信息列表确定待曝光信息,曝光所述待曝光信息,将向当前用户曝光成功的所述待曝光信息的标识写入曝光日志中;
转化分析模块,用于获取信息投放转化数据,根据所述请求日志、所述曝光日志以及所述信息投放转化数据,分析目标信息的投放转化提升率。
9.一种设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一项所述的信息投放数据的分析方法。
10.一种计算机存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如权利要求1至7任一项所述信息投放数据的分析方法。
CN201910485676.7A 2019-06-05 2019-06-05 一种信息投放数据的分析方法、装置、设备及存储介质 Active CN112053176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910485676.7A CN112053176B (zh) 2019-06-05 2019-06-05 一种信息投放数据的分析方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910485676.7A CN112053176B (zh) 2019-06-05 2019-06-05 一种信息投放数据的分析方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112053176A true CN112053176A (zh) 2020-12-08
CN112053176B CN112053176B (zh) 2024-04-12

Family

ID=73609193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910485676.7A Active CN112053176B (zh) 2019-06-05 2019-06-05 一种信息投放数据的分析方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112053176B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129067A (zh) * 2021-04-27 2021-07-16 北京百度网讯科技有限公司 信息筛选方法、装置、设备、存储介质及计算机程序产品
CN113570409A (zh) * 2021-07-19 2021-10-29 上海明略人工智能(集团)有限公司 转换事件权重值的确定方法、装置、存储介质和电子装置
CN114501105A (zh) * 2022-01-29 2022-05-13 腾讯科技(深圳)有限公司 视频内容的生成方法、装置、设备、存储介质及程序产品
US11562400B1 (en) 2021-09-23 2023-01-24 International Business Machines Corporation Uplift modeling

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100017729A1 (en) * 2006-03-21 2010-01-21 Panasonic Corporation Method for accessing a parent page while browsing web pages
CN104636940A (zh) * 2013-11-07 2015-05-20 深圳市腾讯计算机系统有限公司 广告投放方法及系统、广告筛选方法及装置、服务器
CN106530015A (zh) * 2016-12-08 2017-03-22 腾讯科技(深圳)有限公司 信息投放控制方法及装置
US20180239830A1 (en) * 2017-02-17 2018-08-23 Microsoft Technology Licensing, Llc Using log data to train for automated sourcing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100017729A1 (en) * 2006-03-21 2010-01-21 Panasonic Corporation Method for accessing a parent page while browsing web pages
CN104636940A (zh) * 2013-11-07 2015-05-20 深圳市腾讯计算机系统有限公司 广告投放方法及系统、广告筛选方法及装置、服务器
CN106530015A (zh) * 2016-12-08 2017-03-22 腾讯科技(深圳)有限公司 信息投放控制方法及装置
US20180239830A1 (en) * 2017-02-17 2018-08-23 Microsoft Technology Licensing, Llc Using log data to train for automated sourcing

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129067A (zh) * 2021-04-27 2021-07-16 北京百度网讯科技有限公司 信息筛选方法、装置、设备、存储介质及计算机程序产品
CN113570409A (zh) * 2021-07-19 2021-10-29 上海明略人工智能(集团)有限公司 转换事件权重值的确定方法、装置、存储介质和电子装置
CN113570409B (zh) * 2021-07-19 2024-03-26 上海明略人工智能(集团)有限公司 转换事件权重值的确定方法、装置、存储介质和电子装置
US11562400B1 (en) 2021-09-23 2023-01-24 International Business Machines Corporation Uplift modeling
CN114501105A (zh) * 2022-01-29 2022-05-13 腾讯科技(深圳)有限公司 视频内容的生成方法、装置、设备、存储介质及程序产品
CN114501105B (zh) * 2022-01-29 2023-06-23 腾讯科技(深圳)有限公司 视频内容的生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112053176B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN112053176B (zh) 一种信息投放数据的分析方法、装置、设备及存储介质
US10325289B2 (en) User similarity groups for on-line marketing
CN110781321B (zh) 一种多媒体内容推荐方法及装置
US10134058B2 (en) Methods and apparatus for identifying unique users for on-line advertising
US9462313B1 (en) Prediction of media selection consumption using analysis of user behavior
US9972028B2 (en) Identifying a social leader
CN109840782B (zh) 点击率预测方法、装置、服务器以及存储介质
CN105824834B (zh) 搜索流量作弊行为识别方法及装置
US20080086558A1 (en) Session based web usage reporter
US8504558B2 (en) Framework to evaluate content display policies
US20200201897A1 (en) Generating estimated trait-intersection counts utilizing semantic-trait embeddings and machine learning
JP2014006898A (ja) 行動パターンをマイニングするシステム及び方法
CN108491714A (zh) 验证码的人机识别方法
US11257019B2 (en) Method and system for search provider selection based on performance scores with respect to each search query
CN110287173B (zh) 自动生成有意义的用户段
CN110798467B (zh) 目标对象识别方法、装置、计算机设备及存储介质
US20190273789A1 (en) Establishing and utilizing behavioral data thresholds for deep learning and other models to identify users across digital space
CN113076416A (zh) 信息热度评估方法、装置和电子设备
US10884909B1 (en) Code release with automatic callback
CN112784168B (zh) 信息推送模型训练方法以及装置、信息推送方法以及装置
CN110427545B (zh) 一种信息推送方法及系统
US11093957B2 (en) Techniques to quantify effectiveness of site-wide actions
US10891638B2 (en) Survey data processing
US10313262B1 (en) System for management of content changes and detection of novelty effects
CN111768219A (zh) 广告人群实验方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant