CN111768219A - 广告人群实验方法、装置及存储介质 - Google Patents

广告人群实验方法、装置及存储介质 Download PDF

Info

Publication number
CN111768219A
CN111768219A CN201910463500.1A CN201910463500A CN111768219A CN 111768219 A CN111768219 A CN 111768219A CN 201910463500 A CN201910463500 A CN 201910463500A CN 111768219 A CN111768219 A CN 111768219A
Authority
CN
China
Prior art keywords
sub
crowd
population
advertisement
experimental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910463500.1A
Other languages
English (en)
Other versions
CN111768219B (zh
Inventor
郝君
耿通
林喜良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Wodong Tianjun Information Technology Co Ltd
Priority to CN201910463500.1A priority Critical patent/CN111768219B/zh
Publication of CN111768219A publication Critical patent/CN111768219A/zh
Application granted granted Critical
Publication of CN111768219B publication Critical patent/CN111768219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0254—Targeted advertisements based on statistics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供一种广告人群实验方法、装置及存储介质，其中，该方法包括：获取实验广告的行为日志，该行为日志中的每条记录携带人群标识，该行为日志包括：第一行为日志和第二行为日志，根据该第一行为日志中的每条记录，确定出该实验广告的N个子人群，该N个子人群中的任意两个没有交集用户，最后根据N个子人群的效果概率分布和第二行为日志中的每条记录，从该实验广告的测试人群中确定出目标人群，其无需破坏现有广告系统，且不会改变广告单元的使用流量，解决了现有技术中存在的广告系统损坏和广告人群评估结果不准确的问题。

Description

广告人群实验方法、装置及存储介质
技术领域
本申请涉及通信技术领域，尤其涉及一种广告人群实验方法、装置及存储介质。
背景技术
随着网络技术的发展，广告主通过向目标人群定向投放广告，以促进转化，提升收益。现阶段，通常通过广告人群实验的方法从众多人群中选定目标人群，提升广告发布的定向性，进而提高广告投放效果。
在现有技术的广告人群实验方法中，广告主建立用于广告人群实验的广告单元，并根据待测试人群的数量，将广告单元拆分成多个子广告单元，每个子广告单元定向到一个待测试人群，随后通过随机分配相同比例流量的方式向每个子广告单元投放广告，最后统计出每个子广告单元的曝光数、点击数和点击率等效果指标作为广告人群的评估结果展示给广告主，从而基于所有广告人群的评估结果确定出目标人群。
然而，上述将广告单元拆分成多个子广告单元进行实验的方式，不仅破坏了现有广告系统，而且每个子广告单元可使用的流量变小，存在广告系统损坏和广告人群评估结果不准确的问题。
发明内容
本申请提供一种广告人群实验方法、装置及存储介质，以克服现有广告人群实验方法中存在的广告系统损坏和广告人群评估结果不准确的问题。
本申请第一方面提供的一种广告人群实验方法，包括：
获取实验广告的行为日志，所述行为日志中的每条记录携带人群标识，所述行为日志包括：第一行为日志和第二行为日志；
根据所述第一行为日志中的每条记录，确定出所述实验广告的N个子人群，所述N个子人群中的任意两个没有交集用户，所述N为大于或等于2的整数；
根据所述N个子人群的效果概率分布和所述第二行为日志中的每条记录，从所述实验广告的测试人群中确定出目标人群；
其中，所述测试人群为所述N个子人群；或者
所述测试人群为具有交集用户的K个主人群，所述K个主人群与所述N个子人群的总用户一致，所述K为小于所述N的正整数。
在第一方面的一种可能设计中，所述根据所述N个子人群的效果概率分布和所述第二行为日志中的每条记录，从所述实验广告的测试人群中确定出目标人群，包括：
对于所述N个子人群中的每个子人群，建立所述子人群的效果概率分布，所述效果概率分布用于表征所述子人群中的用户执行第二行为的概率；
根据所述第二行为日志中的每条记录，更新每个子人群的效果概率分布，得到更新后的N个效果概率分布；
根据更新后的N个效果概率分布，确定出所述实验广告的每个测试人群的胜出概率，并将胜出概率最大的测试人群作为所述目标人群。
示例性的，若所述测试人群为所述N个子人群，则所述根据更新后的N个效果概率分布，确定出所述实验广告的每个测试人群的胜出概率，包括：
根据预设的抽样算法，对更新后的每个效果概率分布分别抽取M次，得到每个效果概率分布的M个效果概率值，其中，M为大于或等于2的整数；
基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵；
基于所述M×N矩阵，在所述M行的每行中分别确定出概率值最大的子人群，并确定出每个子人群的胜出概率。
示例性的，若所述测试人群为具有交集用户的K个主人群，则所述方法还包括：
将所述K个主人群拆分成任意两个均没有交集用户的所述N个子人群；
对于第k个主人群的第n个子人群，根据所述第n个子人群的用户数和所述第k个主人群的总用户数，确定所述第n个子人群在所述第k个主人群中的占比值，其中，k为大于或等于1且小于或等于K的整数，n为大于或等于1且小于或等于N的整数；
根据所述第n个子人群在所述第k个主人群中的占比值和更新后的第n个效果概率分布，确定所述第k个主人群的效果概率分布以及所述K个主人群中每个主人群的效果概率分布。
可选的，所述根据更新后的N个效果概率分布，确定出所述实验广告的每个测试人群的胜出概率，包括：
根据预设的抽样算法，对更新后的每个效果概率分别抽取M次，得到每个效果概率分布的M个效果概率值；
基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵，其中，M为大于或等于2的整数；
基于主人群与子人群之间的效果概率分布转换关系，将所述M×N矩阵聚合成M行、K列的M×K矩阵；
基于所述M×K矩阵，在所述M行的每行中分别确定出概率值最大的主人群，并确定出每个主人群的胜出概率。
在第一方面的另一种可能设计中，所述方法还包括：
检测所述目标人群的胜出概率是否高于预设阈值；若是，则停止发布所述实验广告，若否，持续发布所述实验广告。
本申请第二方面提供一种广告人群实验装置，包括：获取模块和处理模块；
所述获取模块，用于获取实验广告的行为日志，所述行为日志中的每条记录携带人群标识，所述行为日志包括：第一行为日志和第二行为日志；
所述处理模块，用于根据所述第一行为日志中的每条记录，确定出所述实验广告的N个子人群，所述N个子人群中的任意两个没有交集用户，所述N为大于或等于2的整数，根据所述N个子人群的效果概率分布和所述第二行为日志中的每条记录，从所述实验广告的测试人群中确定出目标人群；
其中，所述测试人群为所述N个子人群；或者
所述测试人群为具有交集用户的K个主人群，所述K个主人群与所述N个子人群的总用户一致，所述K为小于所述N的正整数。
在第二方面的一种可能设计中，所述处理模块，具体用于对于所述N个子人群中的每个子人群，建立所述子人群的效果概率分布，所述效果概率分布用于表征所述子人群中的用户执行第二行为的概率，根据所述第二行为日志中的每条记录，更新每个子人群的效果概率分布，得到更新后的N个效果概率分布，根据更新后的N个效果概率分布，确定出所述实验广告的每个测试人群的胜出概率，并将胜出概率最大的测试人群作为所述目标人群。
示例性的，若所述测试人群为所述N个子人群，则所述处理模块，还具体用于根据预设的抽样算法，对更新后的每个效果概率分布分别抽取M次，得到每个效果概率分布的M个效果概率值，其中，M为大于或等于2的整数，基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵，以及基于所述M×N矩阵，在所述M行的每行中分别确定出概率值最大的子人群，并确定出每个子人群的胜出概率。
示例性的，若所述测试人群为具有交集用户的K个主人群，则所述处理模块，还具体用于将所述K个主人群拆分成任意两个均没有交集用户的所述N个子人群，对于第k个主人群的第n个子人群，根据所述第n个子人群的用户数和所述第k个主人群的总用户数，确定所述第n个子人群在所述第k个主人群中的占比值，其中，k为大于或等于1且小于或等于K的整数，n为大于或等于1且小于或等于N的整数，以及根据所述第n个子人群在所述第k个主人群中的占比值和更新后的第n个效果概率分布，确定所述第k个主人群的效果概率分布以及所述K个主人群中每个主人群的效果概率分布。
可选的，所述处理模块，还具体用于根据预设的抽样算法，对更新后的每个效果概率分别抽取M次，得到每个效果概率分布的M个效果概率值，基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵，其中，M为大于或等于2的整数，基于主人群与子人群之间的效果概率分布转换关系，将所述M×N矩阵聚合成M行、K列的M×K矩阵，以及基于所述M×K矩阵，在所述M行的每行中分别确定出概率值最大的主人群，并确定出每个主人群的胜出概率。
在第二方面的另一种可能设计中，所述处理模块，还用于检测所述目标人群的胜出概率是否高于预设阈值；若是，则停止发布所述实验广告，若否，持续发布所述实验广告。
本申请第三方面提供一种广告人群实验装置，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面以及第一方面各可能设计中所述的方法。
本申请第四方面提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如第一方面以及第一方面各可能设计中所述的方法。
本申请实施例提供的广告人群实验方法、装置及存储介质，通过获取实验广告的行为日志，该行为日志中的每条记录携带人群标识，该行为日志包括：第一行为日志和第二行为日志，根据该第一行为日志中的每条记录，确定出该实验广告的N个子人群，该N个子人群中的任意两个没有交集用户，最后根据N个子人群的效果概率分布和第二行为日志中的每条记录，从该实验广告的测试人群中确定出目标人群。该技术方案，无需破坏现有广告系统，并且不会改变广告单元的使用流量，避免了现有技术中存在的广告系统损坏和广告人群评估结果不准确的问题。
附图说明
图1为本申请实施例提供的广告人群实验方法的应用场景示意图；
图2为本申请实施例提供的广告人群实验方法实施例一的流程示意图；
图3为本申请实施例提供的广告人群实验方法实施例二的流程示意图；
图4为本申请实施例提供的广告人群实验方法实施例三的流程示意图；
图5为本申请实施例提供的广告人群实验方法实施例四的流程示意图；
图6为本申请实施例提供的广告人群实验方法实施例五的流程示意图；
图7为本申请实施例提供的广告人群实验装置实施例一的结构示意图；
图8为本申请实施例提供的广告人群实验装置实施例二的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
示例性的，图1为本申请实施例提供的广告人群实验方法的应用场景示意图。如图1所示，该应用场景可以包括：相互通信的服务器11和客户端12。其中，该服务器11包括：实验控制模块111、存储模块112、效果分析模块113和效果评估模块114。
其中，广告主在服务器11上建立广告单元并确定出广告单元可触发的人群属性之后，该服务器11的实验控制模块111负责把广告单元可以触发的所有人群属性发送到客户端12，这样用户在客户端12上执行第一行为或者第一行为和第二行为时，可以调用对应的服务产生对应的行为日志流，并且使得行为日志流可以携带用户所属的人群属性信息。
示例性的，在本实施例中，该第一行为可以指广告曝光，第二行为可以指广告点击。本申请实施例并不限定用户行为的具体表现形式，其还可以包括收藏行为、加购行为等，其可以根据对应的应用场景进行确定，此处不再赘述。
示例性的，存储模块112可以用于存储产生的上述行为日志流，为后续效果分析模块113提供信息来源。值得说明的是，本申请实施例并不限定该存储模块112具体存储的内容，例如，其还可以用于存储其他调用服务的程序代码等内容，其可以根据实际情况确定，此处不再赘述。
示例性的，该效果分析模块113可以负责周期性或实时的从存储模块112采集上述行为日志流，并通过对该行为日志流进行分析处理，得到广告系统线上可以反映广告效果的广告效果数据，并按照不同人群进行统计后发给效果评估模块114，以更新该效果评估前一次获取到的广告效果参数。
可选的，在本申请的实施例中，效果评估模块114可以接收效果分析模块113的广告效果数据，并定期计算每个人群的实验效果，以及根据所有人群的实验效果变量值，确定出每个人群的胜出概率，并基于胜出概率的大小确定是否可以停止实验广告的发布。
示例性的，该效果评估模块114确定出某个人群的获胜概率超过预设的阈值(如90％)时，可以向实验控制模块111发送停止信号，以使得实验控制模块111基于该停止信号，停止实验广告的发布。
在本实施例中，客户端12也可以称为用户端，其与服务器11相对应，是为客户提供本地服务的程序。通常情况下，常用的客户端包括：如万维网使用的网页浏览器，收寄电子邮件时的电子邮件客户端，以及即时通讯的客户端软件等。每一个客户端软件的实例都可以向一个服务器或应用程序服务器发出请求。
在本实施例中，服务器11也即服务器端，其是为客户端服务的，其可以处理客户端12发送的请求，并在处理完毕后反馈给客户端12。
在图1所示的广告线上系统中，广告主在线上发布实验广告，以确定出不同实验人群的效果，进而为后续广告的定位投放奠定基础。
本申请实施例针对现有广告人群实验方法中存在的广告系统损坏和广告人群评估结果不准确的问题，提出了一种广告人群实验方法，通过获取实验广告的行为日志，该行为日志中的每条记录携带人群标识，该行为日志包括：第一行为日志和第二行为日志，根据该第一行为日志中的每条记录，确定出该实验广告的N个子人群，该N个子人群中的任意两个没有交集用户，最后根据N个子人群的效果概率分布和第二行为日志中的每条记录，从该实验广告的测试人群中确定出目标人群。该技术方案，无需破坏现有广告系统，并且不会改变广告单元的使用流量，避免了现有技术中存在的广告系统损坏和广告人群评估结果不准确的问题。
下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为本申请实施例提供的广告人群实验方法实施例一的流程示意图。该方法可以适用于图1所示的应用场景中的服务器。可选的，如图2所示，该方法可以包括如下步骤：
步骤21：获取实验广告的行为日志，该行为日志中的每条记录携带人群标识，所述行为日志包括：第一行为日志和第二行为日志。
可选的，在本实施例中，用户在客户端执行设定的行为时，服务器可以调用对应的服务产生行为日志，并存储在服务器的存储模块中。
示例性的，用户在客户端执行第一行为时，服务器可以调用第一行为对应的服务产生第一行为日志，在本实施例中，第二行为是第一行为的后续行为，用户只有执行了第一行为，才有可能执行第二行为。因而，若用户执行第一行为后，还执行了第二行为，则服务器可以调用第二行为对应的服务产生第二行为日志。
值得说明的是，实验广告的行为日志可以携带用户所属的人群属性信息，即行为日志中的每条记录均携带有人群标识。可选的，该行为日志的每条记录还可能携带时间戳等信息，本申请实施例并不对其进行限定，其可以根据实际情况确定。
步骤22：根据该第一行为日志中的每条记录，确定出实验广告的N个子人群，该N个子人群中的任意两个没有交集用户，该N为大于或等于2的整数。
在本实施例中，由于实验广告的行为日志中每条记录均携带有人群标识，所以，通过对第一行为日志的每条记录进行分析，按照一定的人群划分规则，可以确定出实验广告的多个子人群。例如，实验广告的子人群数量为N个，且N为大于或等于2的整数。
作为一种示例，为了后续对每个人群中的用户进行行为分析，该N个子人群中的任意两个可以均没有交集用户。
示例性的，本实施例以子人群的数量为3进行解释说明。例如，3个子人群分别为第一省份女性人群、第一省份男性人群、非第一省份男性人群等，由此可知，这3个子人群中的任意两个均没有交集用户。值得说明的是，此处仅给出了子人群的一种划分规则，本申请实施例并不对其进行限定。
步骤23：根据N个子人群的效果概率分布和第二行为日志中的每条记录，从该实验广告的测试人群中确定出目标人群。
其中，该测试人群为N个子人群；或者
该测试人群为具有交集用户的K个主人群，该K个主人群与该N个子人群的总用户一致，K为小于N的正整数。
可选的，在本实施例中，为了确定出实验广告在测试人群中的效果，可以基于上述N个子人群建立效果概率分布，根据上述获取到的第二行为日志中的每条记录从执行第一行为的N个人群中确定出每个人群中执行第二行为的用户概率，最后从实验广告的总测试人群中确定出目标人群。
示例性的，作为一种示例，实验广告的测试人群可以是上述根据第一行为日志确定出的N个子人群，这样本实施例中确定的目标人群可以是上述N个子人群中的一个。
作为另一种示例，实验广告的测试人群也可以是具有交集用户的K个主人群，为了准确的确定出实验广告的效果，可以按照用户互不相交的原则，将该K个主人群中的总用户重新划分，得到N个任意两个没有交集用户的子人群，其中，该K个主人群与该N个子人群的总用户一致。由于K个主人群中的某两个可以具有交集用户，因而，主人群的数量小于子人群的数量，也即，K为小于N的正整数。
示例性的，对于子人群分别为第一省份女性人群、第一省份男性人群、非第一省份男性人群的3个子人群，其对应的主人群为2个，可以为第一省份人群和男性人群，这时，第一省份人群和男性人群具有交集用户。
本申请实施例提供的广告人群实验方法，通过获取实验广告的行为日志，该行为日志中的每条记录携带人群标识，该行为日志包括：第一行为日志和第二行为日志，根据该第一行为日志中的每条记录，确定出该实验广告的任意两个没有交集用户的N个子人群，最后根据N个子人群的效果概率分布和第二行为日志中的每条记录，从该实验广告的测试人群中确定出目标人群。该技术方案，通过实验广告行为日志确定出实验广告的多个子人群的效果，其无需破坏现有广告系统，并且不会改变广告单元的使用流量，避免了现有技术中存在的广告系统损坏和广告人群评估结果不准确的问题。
示例性的，在上述实施例的基础上，图3为本申请实施例提供的广告人群实验方法实施例二的流程示意图。如图3所示，在本实施例中，上述步骤23可以通过如下步骤实现：
步骤31：对于N个子人群中的每个子人群，建立该子人群的效果概率分布，该效果概率分布用于表征该子人群中的用户执行第二行为的概率。
示例性的，本申请实施例针对根据第一行为日志确定的N个子人群，分别建立每个子人群的效果概率分布，以利用该效果概率分布表征每个子人群中的用户执行第二行为的概率。
例如，对于上述N个子人群，建立N个效果概率分布。具体的，对于N个子人群中的第n个子人群，其效果概率分布为
Figure BDA0002078759100000091
其中，该θn代表第n个子人群的效果概率，P(.)是概率分布，
Figure BDA0002078759100000092
是第n个子人群的参数向量，例如，第n个子人群中执行第二行为的用户组成的向量。
值得说明的是，在本实施例中，在实验广告开始投放之前，第n个子人群的初始参数向量可以表示为
Figure BDA0002078759100000093
其对应的效果概率分布
Figure BDA0002078759100000094
被称为先验分布。
通常情况下，先验分布
Figure BDA0002078759100000101
一般设置为均匀分布，第二行为的执行被认为平均分布在一个区间，例如，第二行为为点击行为，则θn表示点击率，先验分布
Figure BDA0002078759100000102
可以假设为(0,1)的均匀分布。
步骤32：根据该第二行为日志中的每条记录，更新每个子人群的效果概率分布，得到更新后的N个效果概率分布。
可选的，在本实施例中，第二行为日志是用户执行第一行为后执行第二行为的记录，对于第二行为日志中的每条记录，首先根据该记录确定出执行第二行为的用户所属的人群，再确定出执行第一行为的用户再执行第二行为的概率，相应的，更新该用户所属子人群的效果概率分布。类似的，根据第二行为日志中的所有记录更新上述N个子人群的效果概率分布，最后得到更新后的N个效果概率分布。
示例性的，在本实施例中，对于第一行为是广告曝光，第二行为是广告点击，这时服务器可以收集用户看到实验广告后的行为数据
Figure BDA0002078759100000103
(比如点击)，并且根据贝叶斯定理更新该用户所属第n个子人群所对应的效果随机变量θn的分布(也称为后验分布)：
Figure BDA0002078759100000104
其中，
Figure BDA0002078759100000105
表示第n个子人群中的用户在第t个时间窗内执行第二行为的效果概率(例如，点击率)，
Figure BDA0002078759100000106
表示第n个子人群的用户在第t个时间窗内执行第二行为(例如，点击)的概率，
Figure BDA0002078759100000107
表示在第t个时间窗内执行第二行为的用户属于第n个子人群的效果概率，
Figure BDA0002078759100000108
表示在第t个时间窗内执行第二行为的用户属于第n个子人群的概率。
因而，根据上述分析可知，执行第二行为的用户越多的子人群，更新后的效果概率分布的概率也会相对增大。
值得说明的是，本申请实施例对行为日志的处理可以以时间窗为单位进行分析，服务器每次可以获取一个时间窗内的记录，对该时间窗内的记录处理完毕后再处理下一个时间窗内的记录，直到确定出实验广告的目标人群或者确定出实验广告可以终止。
步骤33：根据更新后的N个效果概率分布，确定出该实验广告的每个测试人群的胜出概率，并将胜出概率最大的测试人群作为目标人群。
在本实施例中，当服务器对获取到的行为日志处理完成后，基于更新后的N个效果概率分布，可以计算每个子人群中执行第一行为后再执行第二行为的概率，进而基于确定的概率，确定出每个测试人群中执行第二行为的胜出概率，从而将胜出概率最大的测试人群作为目标人群。
关于本步骤的具体实现可以参见下述图4所示实施例和图5所示实施例中的记载，此处不再赘述。
本申请实施例提供的广告人群实验方法，对于N个子人群中的每个子人群，建立用于表征该子人群中的用户执行第二行为的概率的效果概率分布，根据该第二行为日志中的每条记录，更新每个子人群的效果概率分布，得到更新后的N个效果概率分布，最后根据更新后的N个效果概率分布，确定出该实验广告的每个测试人群的胜出概率，并将胜出概率最大的测试人群作为目标人群。该技术方案中，利用效果概率分布来评估每个测试人群的胜出概率，可以直观对比所有的测试人群的胜出概率，可以确定出效果最佳的测试人群，提高了实验评估结果的准确度。
可选的，在本申请实施例的一种可能实现方式中，图4为本申请实施例提供的广告人群实验方法实施例三的流程示意图。如图4所示，在本实施例中，若上述测试人群为N个子人群，则上述步骤33中的根据更新后的N个效果概率分布，确定出所述实验广告的每个测试人群的胜出概率可以通过如下步骤实现：
步骤41：根据预设的抽样算法，对更新后的每个效果概率分布分别抽取M次，得到每个效果概率分布的M个效果概率值，其中，M为大于或等于2的整数。
在本实施例中，若广告主确定出实验广告的测试人群为上述基于第一行为日志确定的N个子人群，这时对于上述更新后的N个效果概率分布，可以利用预设的抽样算法，对每个效果概率分布分别抽取M次，从而得到每个效果概率分布的M个效果概率值。
类似的，服务器可以利用预设的抽样算法，确定出N个效果概率分布分别对应的M个效果概率值。可选的，该M为大于或等于2的整数，M越大后续确定的胜出概率越准确，但是M越大，计算越复杂，方案实现越困难，实际应用中可以根据实际情况确定，此处不再赘述。
可选的，在本实施例中，预设的抽样算法例如可以是Thompson抽样算法，关于如何利用该Thompson抽样算法对每个效果概率分布进行抽样得到M个效果概率值的具体实现与现有技术类似，此处不再赘述。
步骤42：基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵。
在本实施例中，由于每个效果概率分布对应M个效果概率值，一共有N个效果概率分布，这样以每个效果概率分布抽取出的M个效果概率值为行，以N个效果概率分布为列，可以得到M行、N列的M×N矩阵，例如，该M×N矩阵可以表示为如下形式：
Figure BDA0002078759100000121
步骤43：基于该M×N矩阵，在M行的每行中分别确定出概率值最大的子人群，并确定出每个子人群的胜出概率。
示例性的，在本实施例中，对于该M×N矩阵，对于M行中的所有概率值，从每行中确定出最大概率值所在的列，再确定出该最大概率值所对应的子人群，将该子人群确定为该行的胜出人群。
以此类推，对于上述M行，可以在每行中确定出最大概率值所在的列，进而确定出每行的胜出人群，最后统计每个子人群的胜出次数，分别除以总次数M，就可以确定出每个子人群的胜出概率。
本申请实施例提供的广告人群实验方法，首先根据预设的抽样算法，对更新后的每个效果概率分布分别抽取M次，得到每个效果概率分布的M个效果概率值，再基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵，最后基于该M×N矩阵，在M行的每行中分别确定出概率值最大的子人群，并确定出每个子人群的胜出概率。该技术方案中，通过形成矩阵的方式可以确定出每个子人群的胜出概率，实现方案简单，胜出概率计算结果准确，使得最后确定的目标人群定向性强。
可选的，在本申请实施例的另一种可能实现方式中，图5为本申请实施例提供的广告人群实验方法实施例四的流程示意图。如图5所示，在本实施例中，若上述测试人群为具有交集用户的K个主人群，则该方法还可以包括如下步骤：
步骤51：将K个主人群拆分成任意两个均没有交集用户的N个子人群。
可选的，在本实施例中，在本实施例中，若广告主确定出实验广告的测试人群为具有交集用户的K个主人群，为了得到准确的人群实验效果，需要对K个主人群进行拆分。由于本实施例中的K个主人群与上述N个子人群的总用户一致，所以，可以将该K个主人群拆分成任意两个均没有交集用户的子人群，相应的，得到的子人群为上述N个子人群。
步骤52：对于第k个主人群的第n个子人群，根据第n个子人群的用户数和第k个主人群的总用户数，确定该第n个子人群在第k个主人群中的占比值。
其中，k为大于或等于1且小于或等于K的整数，n为大于或等于1且小于或等于N的整数。
示例性的，在本实施例中，假设每个主人群中的用户被拆分到得到的N个子人群中，这时可以首先根据每个子人群的用户数和每个主人群的总用户数，可以确定出每个子人群的用户数在每个主人群中的占比值。
例如，对于第k个主人群的第n个子人群，根据第n个子人群的用户数和第k个主人群的总用户数，确定该第n个子人群在第k个主人群中的占比值，具体的，可以通过如下公式得到：
Figure BDA0002078759100000131
其中，nn是第n个子人群中执行第一行为的用户数，O(k)指第k个主人群中所有子人群的用户数的集合。
步骤53：根据第n个子人群在第k个主人群中的占比值和更新后的第n个效果概率分布，确定第k个主人群的效果概率分布以及K个主人群中每个主人群的效果概率分布。
示例性的，在本实施例中，将第k个主人群中的所有子人群的效果概率分布聚合到该第k个主人群上，可以得到第k个主人群的效果概率分布λk。具体实现通过如下公式得到：
Figure BDA0002078759100000132
在本实施例中，对于主人群中重合的子人群，其会被多次用于聚合到主人群上，提升了行为日志中的数据利用率，其与现有技术中将广告单元拆分的方式相比，节省了实验广告流量，保证广告系统完整的情况下，节省了节省广告主发布实验广告的成本。
可选的，在本实施例中，对于K个主人群中的其他主人群，类似的，可以采用步骤52和步骤53的方法计算得到每个主人群的效果概率分布，此处不再赘述。
本申请实施例提供的广告人群实验方法，若测试人群为具有交集用户的K个主人群，则将K个主人群拆分成任意两个均没有交集用户的N个子人群，对于第k个主人群的第n个子人群，根据第n个子人群的用户数和第k个主人群的总用户数，确定第n个子人群在第k个主人群中的占比值，根据第n个子人群在第k个主人群中的占比值和更新后的第n个效果概率分布，确定第k个主人群的效果概率分布，最后确定出K个主人群中每个主人群的效果概率分布。该技术方案中，在测试人群为具有交集用户的主人群时，通过对其进行拆分再对主人群的效果进行聚合，提升了数据的利用率，降低了实验成本。
示例性的，在图5所示实施例的基础上，图6为本申请实施例提供的广告人群实验方法实施例五的流程示意图。如图6所示，在本实施例中，上述步骤33中的根据更新后的N个效果概率分布，确定出所述实验广告的每个测试人群的胜出概率可以通过如下步骤实现：
步骤61：根据预设的抽样算法，对更新后的每个效果概率分别抽取M次，得到每个效果概率分布的M个效果概率值。
在本实施例中，该步骤61与上述图4所示实施例中的步骤41的实现原理类似，此处不再赘述。
步骤62：基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵。
其中，M为大于或等于2的整数。
在本实施例中，该步骤62与上述图4所示实施例中的步骤42的实现原理类似，此处不再赘述。
步骤63：基于主人群与子人群之间的效果概率分布转换关系，将M×N矩阵聚合成M行、K列的M×K矩阵。
可选的，在本实施例中，将K个主人群拆分成N个子人群，且确定出每个子人群的效果概率分布时，可以基于上述步骤53中主人群与子人群之间的效果概率分布转换关系λk＝∑n∈O(k)P(n|k)*θn，将M×N矩阵聚合成M行、K列的M×K矩阵。
关于M行、K列的M×K矩阵的表现形式与M行、N列的M×N矩阵的表现形式类似，此处不再赘述。
步骤64：基于M×K矩阵，在M行的每行中分别确定出概率值最大的主人群，并确定出每个主人群的胜出概率。
示例性的，在本实施例中，对于该M×K矩阵，对于M行中的所有概率值，从每行中确定出最大概率值所在的列，再确定出该最大概率值所对应的主人群，将该主人群确定为该行的胜出人群。
以此类推，对于上述M行，可以在每行中确定出最大概率值所在的列，进而确定出每行的胜出人群，最后统计每个主人群的胜出次数，分别除以总次数M，就可以确定出每个主人群的胜出概率。
本申请实施例提供的广告人群实验方法，当得到K个主人群中每个主人群的效果概率分布后，首先根据预设的抽样算法，对更新后的每个效果概率分别抽取M次，得到每个效果概率分布的M个效果概率值，其次基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵，基于主人群与子人群之间的效果概率分布转换关系，将M×N矩阵聚合成M行、K列的M×K矩阵，最后基于M×K矩阵，在M行的每行中分别确定出概率值最大的主人群，并确定出每个主人群的胜出概率。该技术方案中，利用子人群和主人群的关系确定出每个主人群的胜出概率，提高了广告人群评估结果准确性。
进一步的，在本申请的实施例中，该广告人群实验方法还可以包括如下步骤：
检测该目标人群的胜出概率是否高于预设阈值；若是，则停止发布上述实验广告，若否，持续发布实验广告。
示例性的，在本实施例中，服务器可以实时检测每个主人群或子人群的胜出概率，例如，上述目标人群，当检测到某一个主人群的胜出概率大于预设阈值(比如90％)，则可以停止发布实验广告，否则，持续发布实验广告。
可选的，服务器确定可以停止实验时，可以通过实验控制模块停止实验。本实施例在保证对各个主人群进行科学比较的前提下，能够智能停止实验广告的发布，有效的避免了广告费用被浪费到效果不佳的人群上，节省了广告主的预算费用。
进一步的，在本实施例中，当实验广告停止发布后，该服务器还可以根据实验数据给出分析评估报告，例如，确定出每个测试人群的胜出概率，给出每个测试人群的估算效果和估算置信区间等。
例如，对于具有K个主人群的测试人群，对于第k个主人群，可以利用M行、K列的M×K矩阵，使用第k列的M行数据，将M行中所有概率值的平均值作为平均效果，将M个概率值中位于第10个百分位数到第90个百分位数的区间作为此主人群效果的80％置信区间，也即，假设M个概率值对应的区间为[0,1]，则将该区间[0,1]中的位于[0.1,0.9]区间范围内的概率值作为此主人群效果的80％置信区间。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图7为本申请实施例提供的广告人群实验装置实施例一的结构示意图。该装置可以集成在上述图1所示的服务器中，也可以通过服务器实现。如图7所示，该装置可以包括：获取模块71和处理模块72。
其中，该获取模块71，用于获取实验广告的行为日志，所述行为日志中的每条记录携带人群标识，所述行为日志包括：第一行为日志和第二行为日志；
该处理模块72，用于根据所述第一行为日志中的每条记录，确定出所述实验广告的N个子人群，所述N个子人群中的任意两个没有交集用户，所述N为大于或等于2的整数，根据所述N个子人群的效果概率分布和所述第二行为日志中的每条记录，从所述实验广告的测试人群中确定出目标人群；
其中，所述测试人群为所述N个子人群；或者
所述测试人群为具有交集用户的K个主人群，所述K个主人群与所述N个子人群的总用户一致，所述K为小于所述N的正整数。
示例性的，在本实施例的一种可能设计中，该处理模块72，具体用于对于所述N个子人群中的每个子人群，建立所述子人群的效果概率分布，所述效果概率分布用于表征所述子人群中的用户执行第二行为的概率，根据所述第二行为日志中的每条记录，更新每个子人群的效果概率分布，得到更新后的N个效果概率分布，根据更新后的N个效果概率分布，确定出所述实验广告的每个测试人群的胜出概率，并将胜出概率最大的测试人群作为所述目标人群。
可选的，作为一种示例，若所述测试人群为所述N个子人群，则该处理模块72，还具体用于根据预设的抽样算法，对更新后的每个效果概率分布分别抽取M次，得到每个效果概率分布的M个效果概率值，其中，M为大于或等于2的整数，基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵，以及基于所述M×N矩阵，在所述M行的每行中分别确定出概率值最大的子人群，并确定出每个子人群的胜出概率。
可选的，作为另一种示例，若所述测试人群为具有交集用户的K个主人群，则该处理模块72，还具体用于将所述K个主人群拆分成任意两个均没有交集用户的所述N个子人群，对于第k个主人群的第n个子人群，根据所述第n个子人群的用户数和所述第k个主人群的总用户数，确定所述第n个子人群在所述第k个主人群中的占比值，其中，k为大于或等于1且小于或等于K的整数，n为大于或等于1且小于或等于N的整数，以及根据所述第n个子人群在所述第k个主人群中的占比值和更新后的第n个效果概率分布，确定所述第k个主人群的效果概率分布以及所述K个主人群中每个主人群的效果概率分布。
示例性的，在本实施例中，该处理模块72，还具体用于根据预设的抽样算法，对更新后的每个效果概率分别抽取M次，得到每个效果概率分布的M个效果概率值，基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵，其中，M为大于或等于2的整数，基于主人群与子人群之间的效果概率分布转换关系，将所述M×N矩阵聚合成M行、K列的M×K矩阵，以及基于所述M×K矩阵，在所述M行的每行中分别确定出概率值最大的主人群，并确定出每个主人群的胜出概率。
示例性的，在本实施例的另一种可能设计中，该处理模块72，还用于检测所述目标人群的胜出概率是否高于预设阈值；若是，则停止发布所述实验广告，若否，持续发布所述实验广告。
本申请实施例提供的装置，可用于执行图2至图6所示实施例中的方法，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，确定模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。
图8为本申请实施例提供的广告人群实验装置实施例二的结构示意图。如图8所示，该装置可以包括：处理器81、存储器82、通信接口83和系统总线84，所述存储器82和所述通信接口83通过所述系统总线84与所述处理器81连接并完成相互间的通信，所述存储器82用于存储计算机指令，所述通信接口83用于和其他设备进行通信，所述处理器81执行所述计算机指令时实现如上述图2至图6所示实施例的方案。
该图8中提到的系统总线可以是外设部件互连标准(peripheral componentinterconnect，PCI)总线或扩展工业标准结构(extended industry standardarchitecture，EISA)总线等。所述系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(networkprocessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的，本申请实施例还提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如上述图2至图6所示实施例的方法。
可选的，本申请实施例还提供一种运行指令的芯片，所述芯片用于执行上述图2至图6所示实施例的方法。
本申请实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在存储介质中，至少一个处理器可以从所述存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序时可实现上述图2至图6所示实施例的方法。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中，a，b，c可以是单个，也可以是多个。
可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。
可以理解的是，在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种广告人群实验方法，其特征在于，包括：
获取实验广告的行为日志，所述行为日志中的每条记录携带人群标识，所述行为日志包括：第一行为日志和第二行为日志；
根据所述第一行为日志中的每条记录，确定出所述实验广告的N个子人群，所述N个子人群中的任意两个没有交集用户，所述N为大于或等于2的整数；
根据所述N个子人群的效果概率分布和所述第二行为日志中的每条记录，从所述实验广告的测试人群中确定出目标人群；
其中，所述测试人群为所述N个子人群；或者
所述测试人群为具有交集用户的K个主人群，所述K个主人群与所述N个子人群的总用户一致，所述K为小于所述N的正整数。
2.根据权利要求1所述的方法，其特征在于，所述根据所述N个子人群的效果概率分布和所述第二行为日志中的每条记录，从所述实验广告的测试人群中确定出目标人群，包括：
对于所述N个子人群中的每个子人群，建立所述子人群的效果概率分布，所述效果概率分布用于表征所述子人群中的用户执行第二行为的概率；
根据所述第二行为日志中的每条记录，更新每个子人群的效果概率分布，得到更新后的N个效果概率分布；
根据更新后的N个效果概率分布，确定出所述实验广告的每个测试人群的胜出概率，并将胜出概率最大的测试人群作为所述目标人群。
3.根据权利要求2所述的方法，其特征在于，若所述测试人群为所述N个子人群，则所述根据更新后的N个效果概率分布，确定出所述实验广告的每个测试人群的胜出概率，包括：
根据预设的抽样算法，对更新后的每个效果概率分布分别抽取M次，得到每个效果概率分布的M个效果概率值，其中，M为大于或等于2的整数；
基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵；
基于所述M×N矩阵，在所述M行的每行中分别确定出概率值最大的子人群，并确定出每个子人群的胜出概率。
4.根据权利要求2所述的方法，其特征在于，若所述测试人群为具有交集用户的K个主人群，则所述方法还包括：
将所述K个主人群拆分成任意两个均没有交集用户的所述N个子人群；
对于第k个主人群的第n个子人群，根据所述第n个子人群的用户数和所述第k个主人群的总用户数，确定所述第n个子人群在所述第k个主人群中的占比值，其中，k为大于或等于1且小于或等于K的整数，n为大于或等于1且小于或等于N的整数；
根据所述第n个子人群在所述第k个主人群中的占比值和更新后的第n个效果概率分布，确定所述第k个主人群的效果概率分布以及所述K个主人群中每个主人群的效果概率分布。
5.根据权利要求4所述的方法，其特征在于，所述根据更新后的N个效果概率分布，确定出所述实验广告的每个测试人群的胜出概率，包括：
根据预设的抽样算法，对更新后的每个效果概率分别抽取M次，得到每个效果概率分布的M个效果概率值；
基于N个效果概率分布分别对应的M个效果概率值，形成M行、N列的M×N矩阵，其中，M为大于或等于2的整数；
基于主人群与子人群之间的效果概率分布转换关系，将所述M×N矩阵聚合成M行、K列的M×K矩阵；
基于所述M×K矩阵，在所述M行的每行中分别确定出概率值最大的主人群，并确定出每个主人群的胜出概率。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
检测所述目标人群的胜出概率是否高于预设阈值；若是，则停止发布所述实验广告，若否，持续发布所述实验广告。
7.一种广告人群实验装置，其特征在于，包括：获取模块和处理模块；
所述获取模块，用于获取实验广告的行为日志，所述行为日志中的每条记录携带人群标识，所述行为日志包括：第一行为日志和第二行为日志；
所述处理模块，用于根据所述第一行为日志中的每条记录，确定出所述实验广告的N个子人群，所述N个子人群中的任意两个没有交集用户，所述N为大于或等于2的整数，根据所述N个子人群的效果概率分布和所述第二行为日志中的每条记录，从所述实验广告的测试人群中确定出目标人群；
其中，所述测试人群为所述N个子人群；或者
所述测试人群为具有交集用户的K个主人群，所述K个主人群与所述N个子人群的总用户一致，所述K为小于所述N的正整数。
8.根据权利要求7所述的装置，其特征在于，所述处理模块，具体用于对于所述N个子人群中的每个子人群，建立所述子人群的效果概率分布，所述效果概率分布用于表征所述子人群中的用户执行第二行为的概率，根据所述第二行为日志中的每条记录，更新每个子人群的效果概率分布，得到更新后的N个效果概率分布，根据更新后的N个效果概率分布，确定出所述实验广告的每个测试人群的胜出概率，并将胜出概率最大的测试人群作为所述目标人群。
9.一种广告人群实验装置，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述权利要求1-6任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-6任一项所述的方法。
CN201910463500.1A 2019-05-30 2019-05-30 广告人群实验方法、装置及存储介质 Active CN111768219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910463500.1A CN111768219B (zh) 2019-05-30 2019-05-30 广告人群实验方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910463500.1A CN111768219B (zh) 2019-05-30 2019-05-30 广告人群实验方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111768219A true CN111768219A (zh) 2020-10-13
CN111768219B CN111768219B (zh) 2024-06-18

Family

ID=72718290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910463500.1A Active CN111768219B (zh) 2019-05-30 2019-05-30 广告人群实验方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111768219B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734486A (zh) * 2021-01-13 2021-04-30 北京明略昭辉科技有限公司 一种确定目标人群的方法、装置、电子设备和存储介质
CN113822690A (zh) * 2020-10-19 2021-12-21 北京沃东天骏信息技术有限公司 广告转化量确定方法、装置及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709739A (zh) * 2015-07-13 2017-05-24 银橙(上海)信息技术有限公司 一种定向广告投放方法及系统
CN106886918A (zh) * 2017-02-06 2017-06-23 中国联合网络通信集团有限公司 一种目标用户的确定方法、装置及系统
US20170249663A1 (en) * 2014-09-01 2017-08-31 Realeyes Oü Method of targeting web-based advertisements
CN107679920A (zh) * 2017-10-20 2018-02-09 北京奇艺世纪科技有限公司 一种广告的投放方法和装置
CN108053237A (zh) * 2017-12-11 2018-05-18 加和（北京）信息科技有限公司 一种人群画像报告生成方法、广告投放方法及平台
CN108241989A (zh) * 2016-12-26 2018-07-03 北京国双科技有限公司 差异性数据获取方法及装置
CN109767267A (zh) * 2018-12-29 2019-05-17 微梦创科网络科技（中国）有限公司 一种用于广告投放的目标用户推荐方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170249663A1 (en) * 2014-09-01 2017-08-31 Realeyes Oü Method of targeting web-based advertisements
CN106709739A (zh) * 2015-07-13 2017-05-24 银橙(上海)信息技术有限公司 一种定向广告投放方法及系统
CN108241989A (zh) * 2016-12-26 2018-07-03 北京国双科技有限公司 差异性数据获取方法及装置
CN106886918A (zh) * 2017-02-06 2017-06-23 中国联合网络通信集团有限公司 一种目标用户的确定方法、装置及系统
CN107679920A (zh) * 2017-10-20 2018-02-09 北京奇艺世纪科技有限公司 一种广告的投放方法和装置
CN108053237A (zh) * 2017-12-11 2018-05-18 加和（北京）信息科技有限公司 一种人群画像报告生成方法、广告投放方法及平台
CN109767267A (zh) * 2018-12-29 2019-05-17 微梦创科网络科技（中国）有限公司 一种用于广告投放的目标用户推荐方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822690A (zh) * 2020-10-19 2021-12-21 北京沃东天骏信息技术有限公司 广告转化量确定方法、装置及相关设备
CN112734486A (zh) * 2021-01-13 2021-04-30 北京明略昭辉科技有限公司 一种确定目标人群的方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111768219B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
CN109615129B (zh) 房地产客户成交概率预测方法、服务器及计算机存储介质
CN110046929B (zh) 一种欺诈团伙识别方法、装置、可读存储介质及终端设备
CN109685536B (zh) 用于输出信息的方法和装置
CN111371767B (zh) 恶意账号识别方法、恶意账号识别装置、介质及电子设备
CN109558397B (zh) 一种数据处理方法、装置、服务器及计算机存储介质
CN111666492A (zh) 基于用户行为的信息推送方法、装置、设备及存储介质
US20160055320A1 (en) Method and system for measuring effectiveness of user treatment
US20170091811A1 (en) Systems, methods, and devices for customized data event attribution and bid determination
CN111768219B (zh) 广告人群实验方法、装置及存储介质
CN109543940B (zh) 活动评估方法、装置、电子设备及存储介质
CN112053176A (zh) 一种信息投放数据的分析方法、装置、设备及存储介质
CN111461776A (zh) 资源发放的方法、装置、设备及存储介质
CN110675069B (zh) 地产行业客户签约风险预警方法、服务器及存储介质
CN108932241B (zh) 日志数据统计方法、装置及节点
CN110751354A (zh) 一种异常用户的检测方法和装置
CN116469039B (zh) 热点视频事件确定方法和系统、存储介质及电子设备
CN117611272A (zh) 商品推荐方法、装置及电子设备
CN112561636A (zh) 一种推荐方法、装置、终端设备及介质
CN109450963B (zh) 消息推送方法及终端设备
CN110717653A (zh) 风险识别方法及装置和电子设备
Arrigo et al. Sparse matrix computations for dynamic network centrality
CN112016945A (zh) 广告变量评估方法、装置及存储介质
CN105653645B (zh) 网络信息关注度评估方法及装置
CN114237798A (zh) 数据处理方法、装置、服务器及存储介质
CN114285896A (zh) 信息推送方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant