CN112053192B - 用户质量的确定方法、装置、服务器、终端、介质及产品 - Google Patents

用户质量的确定方法、装置、服务器、终端、介质及产品 Download PDF

Info

Publication number
CN112053192B
CN112053192B CN202010912156.2A CN202010912156A CN112053192B CN 112053192 B CN112053192 B CN 112053192B CN 202010912156 A CN202010912156 A CN 202010912156A CN 112053192 B CN112053192 B CN 112053192B
Authority
CN
China
Prior art keywords
user
target
package
content item
user package
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010912156.2A
Other languages
English (en)
Other versions
CN112053192A (zh
Inventor
唐伟旗
陆子龙
袁准
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010912156.2A priority Critical patent/CN112053192B/zh
Publication of CN112053192A publication Critical patent/CN112053192A/zh
Application granted granted Critical
Publication of CN112053192B publication Critical patent/CN112053192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0245—Surveys
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0257—User requested

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开关于一种用户质量的确定方法、装置、服务器、终端、介质及产品，属于数据处理技术领域。本公开提供的方案，通过根据被选中的用户包的用户数量和用户类型，来确定要将哪个或哪些目标内容项投放给哪些目标用户，由于目标内容项是服务器已存储的内容项，因而在确定出目标内容项后，即可直接进行内容项投放，来确定目标用户的质量等级，也即是，被选中的用户包的质量等级，无需对待投放的实际内容项进行测试，也就不用为测试来进行创建镜像内容项等繁琐操作，才能完成用户质量的评估，而是直接基于服务器已存储的内容项中与用户类型匹配的目标内容项，即可随时实现对用户包质量的评估，提高用户质量的评估效率。

Description

用户质量的确定方法、装置、服务器、终端、介质及产品
技术领域
本公开涉及数据处理技术领域，尤其涉及一种用户质量的确定方法、装置、服务器、终端、介质及产品。
背景技术
在定向投放内容项时，定向效果的好坏直接决定了投放效果的好坏，如果定向时选择的用户质量较差，那么经过投放过程中的层级过滤，最后的投放效果只会更差。因此，选择高质量的用户进行定向投放，可以有效提高内容项的投放效果。然而，针对不同行业、不同渠道会有不同的高质量用户，如何自动评估用户的质量，是当前存在的一个重要问题。
目前在评估用户质量时，主要是在广告主有一个未上线的内容项要投放时，通过广告主根据要进行投放的用户包的数量，对待投放的内容项进行复制，得到对应数量的测试内容项，作为多个投放单元，对不同投放单元应用不同的用户包进行内容项的定向投放，根据各个投放单元最后的效果来评估用户包的质量。
在上述实现过程中，创建投放单元虽然可以模拟真实的投放情况，但需要测试人员通过繁琐的操作，才能实现针对某个未上线的内容项对应的投放单元的创建，从而导致测试周期较长，评估效率较低。
发明内容
本公开提供一种用户质量的确定方法、装置、服务器、终端、介质及产品，以提高用户质量的评估效率。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种用户质量的确定方法，该方法包括：
响应于终端对至少一个第一目标用户包的选中指令，根据该至少一个第一目标用户包所包括的用户数量和该至少一个第一目标用户包的来源应用类型，确定至少一个目标内容项和该至少一个第一目标用户包中待投放的目标用户，该至少一个目标内容项的类型与该至少一个第一目标用户包的来源应用类型匹配；
将该至少一个目标内容项投放给该目标用户；
根据该至少一个目标内容项的互动操作信息，向该终端发送该至少一个第一目标用户包的质量等级，该质量等级基于该目标用户对该至少一个目标内容项的互动操作信息确定。
本公开实施例提供的方案，通过根据被选中的用户包的用户数量和用户类型，来确定要将哪个或哪些目标内容项投放给哪些目标用户，由于目标内容项是服务器已存储的内容项，因而在确定出目标内容项后，即可直接进行内容项投放，来确定目标用户的质量等级，也即是，被选中的用户包的质量等级，无需对待投放的实际内容项进行测试，也就不用为测试来进行创建镜像内容项等繁琐操作，才能完成用户质量的评估，而是直接基于服务器已存储的内容项中与用户类型匹配的目标内容项，即可随时实现对用户包质量的评估，提高用户质量的评估效率。
在一种可能的实现方式中，该根据该至少一个第一目标用户包所包括的用户数量和该至少一个第一目标用户包的来源应用类型，确定至少一个目标内容项和该至少一个第一目标用户包中待投放的目标用户包括：
若该至少一个第一目标用户包所包括的用户数量大于或等于目标阈值，则将与该至少一个第一目标用户包的来源应用类型匹配的一个内容项确定为该目标内容项，将该至少一个第一目标用户包中的多个用户确定为该待投放的目标用户；
若该至少一个第一目标用户包所包括的用户数量小于目标阈值，则将与该至少一个第一目标用户包的来源应用类型匹配的至少两个内容项确定为该目标内容项，将该至少一个第一目标用户包中的多个用户确定为该待投放的目标用户。
通过根据第一目标用户包所包括的用户数量和来源应用类型，来确定待投放的目标内容项数量和目标用户数量，在保证实验数据足够的情况下，避免数据过多造成服务器处理压力过大，提高用户质量的确定速度和用户质量的确定效率。
在一种可能的实现方式中，该将该至少一个目标内容项投放给该目标用户之前，该方法还包括：
接收用户等级获取请求，该用户等级获取请求携带选中操作对应的用户的用户标识，该用户等级获取请求用于获取该选中操作对应的用户的质量等级；
响应于该用户等级获取请求，生成第二目标用户包，将该第二目标用户包中的用户作为该目标用户。
通过根据用户等级获取请求所携带的用户标识，基于测试人员选中的用户，来生成用户包，可以实现用户包的定制，实现实验的可定制化。
在一种可能的实现方式中，该向该终端发送该至少一个第一目标用户包的质量等级之前，该方法还包括：
将该至少一个目标内容项的互动操作信息划分为对照组和实验组，该对照组包括该至少一个目标内容项的原有定向用户的互动操作信息，该实验组包括该至少一个第一目标用户包中的用户的互动操作信息；
将该实验组中至少一个目标内容项的互动操作信息与该对照组中至少一个目标内容项的互动操作信息进行对比，得到该至少一个第一目标用户包的质量等级。
通过划分实验组和对照组，可以在AB实验的实验环境下，同时对多个用户包的质量等级进行确定，提高用户质量的确定效率。
在一种可能的实现方式中，该向该终端发送该至少一个第一目标用户包的质量等级之前，该方法还包括：
根据该实验组中该至少一个目标内容项的曝光次数以及该至少一个目标内容项发生互动操作的次数，确定目标概率，该目标概率用于表示该至少一个目标内容项发生互动操作的概率；
根据该目标概率，确定该至少一个第一目标用户包的质量等级。
通过上述过程即可根据目标内容项的曝光次数和发生互动操作的次数，实现目标概率的确定，进而确定出质量等级，实现对用户质量的确定。
在一种可能的实现方式中，该互动操作包括点击操作、应用程序下载操作、表单提交操作和用户注册操作中至少一项。
通过获取多种互动操作对应的次数，可以从多个方面确定用户包的质量等级，提高确定出的质量等级的准确性。
根据本公开实施例的第二方面，提供一种用户质量的确定方法，该方法包括：
显示用户包展示界面，该用户包展示界面包括多个用户包以及该多个用户包的用户包信息；
响应于对该多个用户包中至少一个第一目标用户包的选中操作，获取该至少一个第一目标用户包的质量等级，该至少一个第一目标用户包的质量等级基于与该至少一个目标用户包的来源应用类型匹配的至少一个目标内容项测试得到；
在该用户包展示界面，对该至少一个第一目标用户包的质量等级进行显示。
本公开实施例提供的方案，通过提供一种可视化界面来对用户包信息进行展示，以便测试人员直接基于所展示的用户包信息，选择要测试的用户包，终端获取到被选中的用户包的质量等级，即可通过可视化界面将该质量等级展示给测试人员，由于获取到的质量等级是根据已上线的、与要测试的用户包的来源应用类型相同的内容项测试得到的，无需对待投放的实际内容项进行测试，也就不用为测试来进行创建镜像内容项等繁琐操作，才能完成用户质量的评估，而是直接基于服务器已存储的内容项中与用户类型匹配的目标内容项，即可随时实现对用户包质量的评估，提高用户质量的评估效率。
在一种可能的实现方式中，该响应于对该多个用户包中至少一个第一目标用户包的选中操作，获取该至少一个第一目标用户包的质量等级包括：
响应于对该至少一个第一目标用户包的选中操作，向服务器发送用户包等级获取请求，该用户包等级获取请求携带该至少一个第一目标用户包的用户包标识，该用户包等级获取请求用于获取该至少一个第一目标用户包的质量等级；
接收服务器基于该用户包等级获取请求返回的该至少一个第一目标用户包的质量等级。
通过发送用户包等级获取请求，以便服务器根据用户包等级获取请求确定待投放的用户包，进而对该待投放的用户包的质量等级进行确定。
在一种可能的实现方式中，该用户包展示界面还包括用户包定制选项；
该显示用户包展示界面之后，该方法还包括：
响应于对该用户包定制选项的选中操作，显示用户展示界面，该用户展示界面包括多个用户以及该多个用户的用户信息；
响应于对该多个用户中至少一个用户的选中操作，基于该选中操作对应的用户生成第二目标用户包。
通过提供用户包定制选项，测试人员可以根据实际的测试需求，通过选中某些用户，来实现用户包的定制，实现实验的定制化。
在一种可能的实现方式中，该显示用户包展示界面之后，该方法还包括：
响应于对该多个用户包中至少一个第一目标用户包的选中操作，显示实验类型选择界面，该实验类型选择界面包括用于确定用户包质量等级的多种实验类型；
响应于对该多种实验类型中任一种实验类型的触发操作，向服务器发送该任一种实验类型，该任一种实验类型用于指示该服务器基于该至少一个目标内容项的原有定向用户和该至少一个第一目标用户包，确定该至少一个第一目标用户包的质量等级。
通过提供实验类型选择界面，测试人员可以根据实际测试需求，来选择对应的实验类型，实现实验的可定制化。
在一种可能的实现方式中，该显示用户包展示界面之后，该方法还包括：
响应于对该多个用户包中至少一个第一目标用户包的选中操作，显示指标选择界面，该指标选择界面包括用于确定用户包质量等级的多个第一指标，该第一指标用于指示确定用户包质量等级所采用的互动操作；
响应于对该多个指标中至少一个第一指标的选中操作，获取该至少一个第一目标用户包基于该至少一个第一指标确定出的质量等级。
通过指标选择界面，测试人员可以根据实际的测试需求，选择对应的指标，以便服务器根据测试人员的选择来进行质量等级的确定。
在一种可能的实现方式中，该指标选择界面还包括指标定制选项；
该方法还包括：
响应于对该指标定制选项的选中操作，显示指标定制界面，该指标定制界面包括指标命名控件和指标定义控件，该指标命名控件用于编辑所定制的指标的名称，该指标定义界面用于定义所定制的指标的计算方式；
基于该指标命名控件和该指标定义控件中所编辑的内容，生成第二指标，该第二指标用于确定该目标用户包的质量等级，该第二指标用于指示确定用户包质量等级所采用的互动操作。
通过提供指标定制选项，测试人员可以根据实际的测试需求，通过对控件进行编辑，来实现指标的定制，实现实验的定制化。
根据本公开实施例的第三方面，提供一种用户质量的确定装置，该装置包括：
第一确定单元，被配置为执行响应于终端对至少一个第一目标用户包的选中指令，根据该至少一个第一目标用户包所包括的用户数量和该至少一个第一目标用户包的来源应用类型，确定至少一个目标内容项和该至少一个第一目标用户包中待投放的目标用户，该至少一个目标内容项的类型与该至少一个第一目标用户包的来源应用类型匹配；
投放单元，被配置为执行将该至少一个目标内容项投放给该目标用户；
发送单元，被配置为执行根据该至少一个目标内容项的互动操作信息，向该终端发送该至少一个第一目标用户包的质量等级，该质量等级基于该目标用户对该至少一个目标内容项的互动操作信息确定。
在一种可能的实现方式中，该第一确定单元，还被配置为执行若该至少一个第一目标用户包所包括的用户数量大于或等于目标阈值，则将与该至少一个第一目标用户包的来源应用类型匹配的一个内容项确定为该目标内容项，将该至少一个第一目标用户包中的多个用户确定为该待投放的目标用户，若该至少一个第一目标用户包所包括的用户数量小于目标阈值，则将与该至少一个第一目标用户包的来源应用类型匹配的至少两个内容项确定为该目标内容项，将该至少一个第一目标用户包中的多个用户确定为该待投放的目标用户。
在一种可能的实现方式中，该装置还包括：
接收单元，被配置为执行接收用户等级获取请求，该用户等级获取请求携带选中操作对应的用户的用户标识；
生成单元，被配置为执行响应于该用户等级获取请求，生成第二目标用户包，将该第二目标用户包中的用户作为该目标用户。
在一种可能的实现方式中，该装置还包括：
划分单元，被配置为执行将该至少一个目标内容项的互动操作信息划分为对照组和实验组，该对照组包括该至少一个目标内容项的原有定向用户的互动操作信息，该实验组包括该至少一个第一目标用户包中的用户的互动操作信息；
对比单元，被配置为执行将该实验组中至少一个目标内容项的互动操作信息与该对照组中至少一个目标内容项的互动操作信息进行对比，得到该至少一个第一目标用户包的质量等级。
在一种可能的实现方式中，该装置还包括：
第二确定单元，被配置为执行根据该实验组中该至少一个目标内容项的曝光次数以及该至少一个目标内容项发生互动操作的次数，确定目标概率，该目标概率用于表示该至少一个目标内容项发生互动操作的概率，根据该目标概率，确定该至少一个第一目标用户包的质量等级。
在一种可能的实现方式中，该互动操作包括点击操作、应用程序下载操作、表单提交操作和用户注册操作中至少一项。
根据本公开实施例的第四方面，提供一种用户质量的确定装置，该装置包括：
界面显示单元，被配置为执行显示用户包展示界面，该用户包展示界面包括多个用户包以及该多个用户包的用户包信息；
获取单元，被配置为执行响应于对该多个用户包中至少一个第一目标用户包的选中操作，获取该至少一个第一目标用户包的质量等级，该至少一个第一目标用户包的质量等级基于与该至少一个目标用户包的来源应用类型匹配的至少一个目标内容项测试得到；
等级显示单元，被配置为执行在该用户包展示界面，对该至少一个第一目标用户包的质量等级进行显示。
在一种可能的实现方式中，该获取单元，被配置为执行响应于对该至少一个第一目标用户包的选中操作，向服务器发送用户包等级获取请求，该用户包等级获取请求携带该至少一个第一目标用户包的用户包标识，该用户包等级获取请求用于获取该至少一个第一目标用户包的质量等级，接收服务器基于该用户包等级获取请求返回的该至少一个第一目标用户包的质量等级。
在一种可能的实现方式中，该用户包展示界面还包括用户包定制选项；
该界面显示单元，还被配置为执行响应于对该多个用户包中至少一个第一目标用户包的选中操作，显示指标选择界面，该指标选择界面包括用于确定用户包质量等级的多个第一指标，该第一指标用于指示确定用户包质量等级所采用的互动操作；
该获取单元，还被配置为执行响应于对该多个指标中至少一个第一指标的选中操作，获取该至少一个第一目标用户包基于该至少一个第一指标确定出的质量等级。
在一种可能的实现方式中，该界面显示单元，还被配置为执行响应于对该多个用户包中至少一个第一目标用户包的选中操作，显示实验类型选择界面，该实验类型选择界面包括用于确定用户包质量等级的多种实验类型；
该装置还包括：
发送单元，被配置为执行响应于对该多种实验类型中任一种实验类型的触发操作，向服务器发送该任一种实验类型，该任一种实验类型用于指示该服务器基于该至少一个目标内容项的原有定向用户和该至少一个第一目标用户包，确定该至少一个第一目标用户包的质量等级。
在一种可能的实现方式中，该指标选择界面还包括指标定制选项；
该界面显示单元，还被配置为执行响应于对该指标定制选项的选中操作，显示指标定制界面，该指标定制界面包括指标命名控件和指标定义控件，该指标命名控件用于编辑所定制的指标的名称，该指标定义界面用于定义所定制的指标的计算方式；
该装置还包括：
生成单元，被配置为执行基于该指标命名控件和该指标定义控件中所编辑的内容，生成第二指标，该第二指标用于确定该目标用户包的质量等级，该第二指标用于指示确定用户包质量等级所采用的互动操作。
根据本公开实施例的第五方面，提供一种服务器，该服务器包括：
一个或多个处理器；
用于存储该处理器可执行指令的存储器；
其中，该处理器被配置为执行该指令，以实现上述用户质量的确定方法。
根据本公开实施例的第六方面，提供一种终端，该终端包括：
一个或多个处理器；
用于存储该处理器可执行指令的存储器；
其中，该处理器被配置为执行该指令，以实现上述用户质量的确定方法。
根据本公开实施例的第七方面，提供一种存储介质，当该存储介质中的指令由服务器/终端的处理器执行时，使得电子设备能够执行上述用户质量的确定方法。
根据本公开实施例的第八方面，提供一种应用程序产品，该应用程序产品存储有一条或多条指令，该一条或多条指令可以由服务器/终端的处理器执行，以完成上述用户质量的确定方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种用户质量的确定方法的实施环境示意图；
图2是根据一示例性实施例示出的一种用户质量的确定方法的流程图；
图3是根据一示例性实施例示出的一种用户质量的确定方法的流程图；
图4是根据一示例性实施例示出的一种用户质量的确定方法的流程图；
图5是根据一示例性实施例示出的一种用户质量的确定系统的结构示意图；
图6是根据一示例性实施例示出的一种用户质量的确定装置的框图；
图7是根据一示例性实施例示出的一种用户质量的确定装置的框图；
图8是根据一示例性实施例示出的一种终端800的框图；
图9是根据一示例性实施例示出的一种服务器900的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。
图1是根据一示例性实施例示出的一种用户质量的确定方法的实施环境示意图，参见图1，该实施环境具体包括：终端101和服务器102。
终端101可以为智能手机、智能手表、手提电脑、MP3播放器(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器和膝上型便携计算机等设备中的至少一种。终端101上可以安装有多种类型的应用程序，如游戏类应用程序、购物类应用程序、视频观看类应用程序等，用户可以通过终端101在不同的应用程序中，注册不同的用户账号，以便用户可以通过运行多种类型的应用程序，来实现游戏、购买商品、观看视频等多种功能。可选地，终端101可以通过有线网络或无线网络与服务器102进行通信，本公开对具体采用哪种方式不加以限定。终端101可以获取用户的用户信息和互动操作信息，并将获取到的用户信息和互动操作信息发送给服务器102。
终端101可以泛指多个终端中的一个，本实施例仅以终端101来举例说明。本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为几个，或者上述终端为几十个或几百个，或者更多数量，本公开实施例对终端的数量和设备类型均不加以限定。
服务器102可以为一台服务器、多台服务器、云服务器、云计算平台和虚拟化中心中的至少一种。可选地，服务器102可以通过有线网络或无线网络与终端101进行通信，本公开对具体采用哪种方式不加以限定。服务器102可以接收终端101发送的用户信息和互动操作信息，并基于接收到的用户信息，将多个用户划分为多个用户包，进而在测试人员需要对待投放的内容项进行定向时，获取已有的多个用户包，从而确定该待投放的内容项在这多个用户包中的投放效果，实现对内容项投放用户的确定。可选地，上述服务器的数量可以更多或更少，本公开实施例对此不加以限定。当然，服务器102还可以包括其他功能服务器，以便提供更全面且多样化的服务。
图2是根据一示例性实施例示出的一种用户质量的确定方法的流程图，参见图2，具体步骤包括：
在步骤S201中，服务器响应于终端对至少一个第一目标用户包的选中指令，根据该至少一个第一目标用户包所包括的用户数量和该至少一个第一目标用户包的来源应用类型，确定至少一个目标内容项和该至少一个第一目标用户包中待投放的目标用户，该至少一个目标内容项的类型与该至少一个第一目标用户包的来源应用类型匹配。
在步骤S202中，服务器将该至少一个目标内容项投放给该目标用户。
在步骤S203中，服务器根据该至少一个目标内容项的互动操作信息，向该终端发送该至少一个第一目标用户包的质量等级，该质量等级基于该目标用户对该至少一个目标内容项的互动操作信息确定。
本公开实施例提供的方案，通过根据被选中的用户包的用户数量和用户类型，来确定要将哪个或哪些目标内容项投放给哪些目标用户，由于目标内容项是服务器已存储的内容项，因而在确定出目标内容项后，即可直接进行内容项投放，来确定目标用户的质量等级，也即是，被选中的用户包的质量等级，无需对待投放的实际内容项进行测试，也就不用为测试来进行创建镜像内容项等繁琐操作，才能完成用户质量的评估，而是直接基于服务器已存储的内容项中与用户类型匹配的目标内容项，即可随时实现对用户包质量的评估，提高用户质量的评估效率。
在一种可能的实现方式中，该根据该至少一个第一目标用户包所包括的用户数量和该至少一个第一目标用户包的来源应用类型，确定至少一个目标内容项和该至少一个第一目标用户包中待投放的目标用户包括：
若该至少一个第一目标用户包所包括的用户数量大于或等于目标阈值，则将与该至少一个第一目标用户包的来源应用类型匹配的一个内容项确定为该目标内容项，将该至少一个第一目标用户包中的多个用户确定为该待投放的目标用户；
若该至少一个第一目标用户包所包括的用户数量小于目标阈值，则将与该至少一个第一目标用户包的来源应用类型匹配的至少两个内容项确定为该目标内容项，将该至少一个第一目标用户包中的多个用户确定为该待投放的目标用户。
在一种可能的实现方式中，该将该至少一个目标内容项投放给该目标用户之前，该方法还包括：
接收用户等级获取请求，该用户等级获取请求携带选中操作对应的用户的用户标识；
响应于该用户等级获取请求，生成第二目标用户包，将该第二目标用户包中的用户作为该目标用户。
在一种可能的实现方式中，该向该终端发送该至少一个第一目标用户包的质量等级之前，该方法还包括：
将该至少一个目标内容项的互动操作信息划分为对照组和实验组，该对照组包括该至少一个目标内容项的原有定向用户的互动操作信息，该实验组包括该至少一个第一目标用户包中的用户的互动操作信息；
将该实验组中至少一个目标内容项的互动操作信息与该对照组中至少一个目标内容项的互动操作信息进行对比，得到该至少一个第一目标用户包的质量等级。
在一种可能的实现方式中，该向该终端发送该至少一个第一目标用户包的质量等级之前，该方法还包括：
根据该实验组中该至少一个目标内容项的曝光次数以及该至少一个目标内容项发生互动操作的次数，确定目标概率，该目标概率用于表示该至少一个目标内容项发生互动操作的概率；
根据该目标概率，确定该至少一个第一目标用户包的质量等级。
在一种可能的实现方式中，该互动操作包括点击操作、应用程序下载操作、表单提交操作和用户注册操作中至少一项。
图3是根据一示例性实施例示出的一种用户质量的确定方法的流程图，参见图3，具体步骤包括：
在步骤S301中，终端显示用户包展示界面，该用户包展示界面包括多个用户包以及该多个用户包的用户包信息。
在步骤S302中，终端响应于对该多个用户包中至少一个第一目标用户包的选中操作，获取该至少一个第一目标用户包的质量等级，该至少一个第一目标用户包的质量等级基于与该至少一个目标用户包的来源应用类型匹配的至少一个目标内容项测试得到。
在步骤S303中，终端在该用户包展示界面，对该至少一个第一目标用户包的质量等级进行显示。
本公开实施例提供的方案，通过提供一种可视化界面来对用户包信息进行展示，以便测试人员直接基于所展示的用户包信息，选择要测试的用户包，终端获取到被选中的用户包的质量等级，即可通过可视化界面将该质量等级展示给测试人员，由于获取到的质量等级是根据已上线的、与要测试的用户包的来源应用类型相同的内容项测试得到的，无需对待投放的实际内容项进行测试，也就不用为测试来进行创建镜像内容项等繁琐操作，才能完成用户质量的评估，而是直接基于服务器已存储的内容项中与用户类型匹配的目标内容项，即可随时实现对用户包质量的评估，提高用户质量的评估效率。
在一种可能的实现方式中，该响应于对该多个用户包中至少一个第一目标用户包的选中操作，获取该至少一个第一目标用户包的质量等级包括：
响应于对该至少一个第一目标用户包的选中操作，向服务器发送用户包等级获取请求，该用户包等级获取请求携带该至少一个第一目标用户包的用户包标识，该用户包等级获取请求用于获取该至少一个第一目标用户包的质量等级；
接收服务器基于该用户包等级获取请求返回的该至少一个第一目标用户包的质量等级。
在一种可能的实现方式中，该用户包展示界面还包括用户包定制选项；
该显示用户包展示界面之后，该方法还包括：
响应于对该用户包定制选项的选中操作，显示用户展示界面，该用户展示界面包括多个用户以及该多个用户的用户信息；
响应于对该多个用户中至少一个用户的选中操作，基于该选中操作对应的用户生成第二目标用户包。
在一种可能的实现方式中，该显示用户包展示界面之后，该方法还包括：
响应于对该多个用户包中至少一个第一目标用户包的选中操作，显示实验类型选择界面，该实验类型选择界面包括用于确定用户包质量等级的多种实验类型；
响应于对该多种实验类型中任一种实验类型的触发操作，向服务器发送该任一种实验类型，该任一种实验类型用于指示该服务器基于该至少一个目标内容项的原有定向用户和该至少一个第一目标用户包，确定该至少一个第一目标用户包的质量等级。
在一种可能的实现方式中，该显示用户包展示界面之后，该方法还包括：
响应于对该多个用户包中至少一个第一目标用户包的选中操作，显示指标选择界面，该指标选择界面包括用于确定用户包质量等级的多个第一指标，该第一指标用于指示确定用户包质量等级所采用的互动操作；
响应于对该多个指标中至少一个第一指标的选中操作，获取该至少一个第一目标用户包基于该至少一个第一指标确定出的质量等级。
在一种可能的实现方式中，该指标选择界面还包括指标定制选项；
该方法还包括：
响应于对该指标定制选项的选中操作，显示指标定制界面，该指标定制界面包括指标命名控件和指标定义控件，该指标命名控件用于编辑所定制的指标的名称，该指标定义界面用于定义所定制的指标的计算方式；
基于该指标命名控件和该指标定义控件中所编辑的内容，生成第二指标，该第二指标用于确定该目标用户包的质量等级，该第二指标用于指示确定用户包质量等级所采用的互动操作。
图4是根据一示例性实施例示出的一种用户质量的确定方法的流程图，参见图4，具体步骤：
在步骤S401中，终端获取多个用户包以及该多个用户包的用户包信息。
需要说明的是，服务器可以关联有一个数据管理平台，该数据管理平台(DataManagement Platform，DMP)包括至少一个重申(Redis)数据库，用于存储多个用户包和这多个用户包的用户包信息。该用户包信息包括用户包标识(Identity，ID)、用户包名称、用户包描述、用户包来源应用类型、用户包所包括的用户数量(用户包覆盖度)，可选地，该用户包信息还可以包括其他内容，本公开实施例对此不加以限定。
其中，该数据管理平台中存储的用户包信息，也即是，各个Redis数据库中存储的用户包信息，可以每隔预设时长进行更新，以保证信息的实时性和有效性。该预设时长可以为任意取值，本公开实施例对此不加以限定。
在一种可能的实现方式中，终端向服务器发送用户包获取请求，该用户包获取请求用于获取多个用户包以及该多个用户包的用户包信息，服务器响应于接收到的用户包获取请求，从数据管理平台的多个Redis数据库中获取已存储的多个用户包和这多个用户包的用户包信息，进而将获取到的多个用户包和多个用户包的用户包信息发送给终端，以便终端获取到该多个用户包和多个用户包的用户包信息。
在步骤S402中，终端显示用户包展示界面，该用户包展示界面包括多个用户包以及该多个用户包的用户包信息。
在一种可能的实现方式中，终端显示用户包展示界面，并在用户包展示界面中对用户包的用户包名称进行显示，并在用户包名称对应的位置处，对该用户包的用户包描述、用户包来源应用类型、用户包所包括的用户数量等信息进行对应显示，以便测试人员可以根据用户包描述、用户包来源应用类型、用户包所包括的用户数量等信息，确定某个用户包是不是自己想要测试的用户包。
通过在用户包展示界面上对数据管理平台中已存储的多个用户包以及该多个用户包的用户包信息进行显示，测试人员可以直接在用户包展示界面上确定要进行测试的用户包，提高数据处理效率。
在步骤S403中，终端响应于对该多个用户包中至少一个第一目标用户包的选中操作，向服务器发送用户包等级获取请求，该用户包等级获取请求携带该至少一个第一目标用户包的用户包标识，该用户包等级获取请求用于获取该至少一个第一目标用户包的质量等级。
在一种可能的实现方式中，该用户包展示界面包括多个勾选框，一个勾选框对应于一个用户包，测试人员可以选中自己想要测试的用户包对应的勾选框，终端响应于测试人员的选中操作，将被选中的用户包确定为至少一个目标用户包，获取该至少一个目标用户包的用户包标识，基于用户包标识生成用户包等级获取请求，进而向服务器发送该用户包等级获取请求，来提交测试，以便获取该至少一个目标用户包的质量等级。
需要说明的是，测试人员还可以通过终端来定制用户包，以便基对针对某个客户的定制用户包，也即是第二目标用户包的质量等级进行确定。在另一种可能的实现方式中，该用户包展示界面还包括用户包定制选项，以便测试人员为广告主定制该广告主的私有用户包，实现实验的定制化。测试人员可以选中该用户包定制选项，来对用户包进行定制，终端响应于对该用户包定制选项的选中操作，显示用户展示界面，该用户展示界面包括多个用户以及该多个用户的用户信息，该用户展示界面包括多个勾选框，一个勾选框对应于一个用户，测试人员可以选中需要测试的用户对应的勾选框，终端响应于对该多个用户中至少一个用户的选中操作，终端响应于对该多个用户中至少一个用户的选中操作，向服务器发送用户等级获取请求，该用户等级获取请求携带选中操作对应的用户的用户标识，以便服务器响应于该用户等级获取请求，生成包括该选中操作对应的用户的第二目标用户包，并确定该第二目标用户包的质量等级。
需要说明的是，上述步骤S401至步骤S403的过程，可以参见图5，图5是根据一示例性实施例示出的一种用户质量的确定系统的结构示意图，该用户质量的确定系统中DMP的Redis数据库存储有用户包信息，该用户质量的确定系统通过可视化界面对已存储的用户包信息进行展示，测试人员可以在可视化界面中选择测试的用户包进行提交。
在步骤S404中，服务器响应于接收到的用户包等级获取请求，根据该至少一个第一目标用户包所包括的用户数量和该至少一个第一目标用户包的来源应用类型，确定至少一个目标内容项和该至少一个第一目标用户包中待投放的目标用户，该至少一个目标内容项的类型与该至少一个第一目标用户包的来源应用类型匹配。
需要说明的是，该数据管理平台还关联有用于存储多个内容项的数据库，该数据库可以为Redis数据库，可选地，该数据库还可以为其他类型，本公开实施例对此不加以限定。各个内容项具有各自对应的应用程序类型，即可以代表该内容项的类型，满足某个内容项对应的用户类型的用户对该内容项进行互动操作的可能性较高，也即是，各个内容项具有对应的原有定向用户。
在一种可能的实现方式中，若测试人员直接从用户包展示界面所展示的至少一个用户包中选中至少一个第一目标用户包，作为待投放的用户包，则服务器在接收到用户包等级获取请求后，可以基于该用户包等级获取请求所携带的至少一个第一目标用户包的用户包标识，从数据管理平台获取该至少一个第一目标用户包的用户包信息，进而基于获取到的用户包信息中该至少一个第一目标用户包所包括的用户数量，确定该至少一个第一目标用户包中待投放的目标用户，基于获取到的用户包信息中该至少一个第一目标用户包的来源应用类型，确定类型与该来源应用类型匹配且用户互动操作信息满足目标条件的至少一个目标内容项，该至少一个目标内容项为该数据管理平台中已存储的内容项。
其中，在对目标内容项和目标用户进行确定时，若该至少一个第一目标用户包所包括的用户数量大于或等于目标阈值，则服务器将与该至少一个第一目标用户包的来源应用类型匹配的一个内容项确定为该目标内容项，将该至少一个第一目标用户包中的多个用户确定为该待投放的目标用户；若该至少一个第一目标用户包所包括的用户数量小于目标阈值，则服务器将与该至少一个第一目标用户包的来源应用类型匹配的至少两个内容项确定为该目标内容项，将该至少一个第一目标用户包中的多个用户确定为该待投放的目标用户，该目标阈值可以为任意取值，本公开实施例对此不加以限定。例如，若该至少一个第一目标用户包所包括的用户数量大于或等于目标阈值，则服务器将类型与该至少一个第一目标用户包的来源应用类型匹配且用户的互动操作次数最多的一个内容项，确定为该目标内容项，将该至少一个第一目标用户包包括的所有用户，确定为该目标用户，也即是，将确定该至少一个第一目标用户包的实验维度确定为单元维度(内容项维度)；若该至少一个第一目标用户包所包括的用户数量大于或等于目标阈值，则服务器将类型与该至少一个第一目标用户包的来源应用类型匹配且用户的互动操作次数最多的一个内容项，确定为该目标内容项，将该至少一个第一目标用户包包括的部分用户，确定为该目标用户，也即是，将确定该至少一个第一目标用户包的实验维度确定为账户维度；若该至少一个第一目标用户包所包括的用户数量小于目标阈值，则服务器将类型与该至少一个第一目标用户包的来源应用类型匹配且用户的互动操作次数最多的至少两个内容项，确定为该目标内容项，将该至少一个第一目标用户包包括的所有用户，确定为该目标用户，也即是，将确定该至少一个第一目标用户包的实验维度确定为行业级别。可选地，在该至少一个第一目标用户包所包括的用户数量大于或等于目标阈值，服务器也可以将该至少一个第一目标用户包的实验维度确定为行业级别，以增加用于用户质量确定的互动操作信息，提高用户质量确定的准确性。通过根据用户包所包括的用户数量和来源应用类型，确定待投放的目标用户和目标内容项，保证用户包的消耗，保证有足够的数据可以用于用户包质量等级的确定，从而保证确定出的质量等级的准确性和可靠性。
需要说明的是，若确定出的目标内容项对应的用户类型中不包括该至少一个第一目标用户包的来源应用类型，则服务器可以修改该目标内容项对应的用户类型，例如，将该至少一个第一目标用户包的来源应用类型添加至该目标内容项对应的用户类型，保证该目标内容项可以投放给该至少一个第一目标用户包。
在另一种可能的实现方式中，若测试人员直接从用户展示界面所展示的多个用户中选中至少一个用户，作为待投放的用户，则服务器在接收到用户等级获取请求后，可以响应于该用户等级获取请求，基于该用户等级获取请求所携带的至少一个用户的用户标识，生成包括该选中操作对应的用户的第二目标用户包，并将该第二目标用户包中的用户作为该目标用户，将类型与该至少一个第二目标用户包的来源应用类型匹配且用户的互动操作次数最多的至少一个内容项，确定为该目标内容项。
需要说明的是，服务器可以根据第二目标用户包所包括的用户数量，确定待投放的目标内容项的数量，具体过程与上述确定投放给第一目标用户包的目标内容项时的过程同理，此处不再赘述。
可选地，测试人员还可以通过设置用户包测试时所采用的实验类型，来对目标用户的范围进行进一步确定，终端将测试人员设置好的实验类型发送给服务器，以便服务器根据接收到的实验类型来进一步确定目标用户，以适应不同的实验需求。该实验类型包括用户包扩展实验、用户包收缩实验、用户包替换实验，可选地，该实验类型还可以包括其他类型，本公开实施例对此不加以限定。
在一种可能的实现方式中，终端响应于对该多个用户包中至少一个第一目标用户包的选中操作，从用户包展示界面跳转至实验类型选择界面，显示实验类型选择界面，该实验类型选择界面包括用于确定用户包质量等级的多种实验类型，测试人员从该多种实验类型中，选择与本次测试对应的实验类型，并对该实验类型进行触发操作，终端响应于对该多种实验类型中任一种实验类型的触发操作，向服务器发送该任一种实验类型，该任一种实验类型用于指示该服务器基于该至少一个目标内容项的原有定向用户和该至少一个第一目标用户包，确定该至少一个第一目标用户包的质量等级。
可选地，该用户包展示界面包括实验类型选项，该实验类型选项用于设置对用户包进行测试时所采用的实验类型。测试人员触发该实验类型选项，终端响应于测试人员的触发操作，在用户包展示界面中显示类型显示区域，在类型显示区域中显示可选择的实验类型，如用户包扩展实验、用户包收缩实验和用户包替换实验，该类型显示区域部分覆盖用户包展示界面，一个可选择的实验类型对应于一个勾选框，测试人员可以选中自己想要进行的实验类型对应的勾选框，终端响应于测试人员的选中操作，将被选中的实验类型发送给服务器，由服务器在确定出目标用户后，基于接收到的实验类型，对最终要进行内容项投放的目标用户进行进一步确定。
其中，服务器在接收到终端发送的实验类型后，基于接收到的实验类型，以及至少一个目标内容项的原有定向用户和至少一个第一目标用户包，对最终要进行内容项投放的目标用户进行进一步确定。例如，终端可以响应于测试人员对用户包扩展实验的选中操作，将各个目标内容项的原有定向用户和目标用户取并集，也即是，将各个目标内容项的原有定向用户添加至目标用户中，将添加原有定向用户后的目标用户作为最终要进行内容项投放的目标用户，以扩大目标用户的范围；终端可以响应于测试人员对用户包收缩实验的选中操作，将各个目标内容项的原有定向用户和目标用户取交集，也即是，将各个目标内容项的目标用户与原有定向用户相同的用户，确定为最终要进行内容项投放的目标用户，缩窄目标用户的范围；终端可以响应于测试人员对用户包替换实验的选中操作，将各个目标内容项的原有定向用户替换为目标用户，也即是，直接将各个目标内容项的目标用户，确定为最终要进行内容项投放的目标用户。
需要说明的是，该步骤S404的过程可以参见图5，图5是根据一示例性实施例示出的一种用户质量的确定系统的结构示意图，在测试人员提交测试后，服务器确认测试人员所提交的用户包的用户包标识(Identity，ID)、实验组等对应关系，并根据用户包ID查询对应二级行业(某个行业中更细化的分类结果，如游戏行业为第一行业，则第二行业包括角色扮演游戏、动作游戏、策略游戏等)中消耗较高的内容项，也即是，用户数量、用户活跃度等较高的内容项，并将二级行业消耗较高的内容项标识存储至Redis数据库，通过配置工具(Kconf)来设置实验参数(如实验类型、内容项标识、实验开始时间等)，以便对实验进行配置，并将配置好的实验参数存储至Redis数据库，以便后续通过配置好的内容项开始AB实验。
在步骤S405中，服务器将该至少一个目标内容项投放给该目标用户。
在一种可能的实现方式中，服务器可以将该至少一个目标内容项发送给该目标用户，以便该目标用户可以通过登录有该目标用户的用户账号的终端，来对该至少一个目标内容项进行互动操作，该互动操作包括点击操作、应用程序下载操作、表单提交操作和用户注册操作中至少一项。可选地，该互动操作还可以包括其他类型，本公开实施例对此不加以限定。
在步骤S406中，服务器获取该至少一个目标内容项的互动操作信息。
需要说明的是，服务器获取的互动操作信息的类型可以由测试人员所选择的指标确定，在上述步骤S403中，测试人员在选中需要测试的用户包或需要测试的用户后，还可以对进行用户质量等级确定时所采用的指标，也即是，该互动操作信息对应的指标进行选择。终端响应于对该多个用户包中至少一个第一目标用户包的选中操作，显示指标选择界面，或，终端响应于对该多个用户中至少一个用户的选中操作，显示指标选择界面，该指标选择界面包括用于确定用户包质量等级的多个第一指标，该第一指标用于指示确定用户包质量等级所采用的互动操作，一个第一指标对应于一个勾选框，测试人员可以选中自己需要的第一指标对应的勾选框，终端响应于对该多个指标中至少一个第一指标的选中操作，向服务器发送携带第一指标的用户包等级获取请求或用户等级获取请求，以便服务器根据该至少一个第一指标确定该至少一个第一目标用户包或第二目标用户包的质量等级。例如，该第一指标可以为点击率、激活率、表单提交率、转化率，可选地，该第一指标还可以为其他类型，本公开实施例对此不加以限定。
其中，若该第一指标为点击率，则该互动操作信息为目标内容项被点击的次数；若该第一指标为表单提交率，则该互动操作信息为目标内容项对应的表单发生提交操作的次数；若该第一指标为激活率，则该互动操作信息为目标内容项对应的应用程序发生下载操作的次数；若该第一指标为转化率，则该互动操作信息还可以为目标内容项对应的应用程序中发生用户注册操作的次数。对于目标内容项被点击的次数，几乎所有内容项对应的广告主都会关注，内容项被点击的次数越多，该目标内容项对应的应用程序发生下载操作的次数也会越多，而目标内容项对应的表单发生提交操作的次数、目标内容项对应的应用程序中发生用户注册操作的次数设计投放链路深层次的行为，大部分内容项对应的广告主都会关注，尤其对于部分广告主来说，在投放平台投放内容项的目标就是让更多的用户在内容项对应的应用程序中进行注册。
需要说明的是，由于不同类型的内容项的关注指标不同，因此还可以对各个类型的内容项定制对应的深度测评指标，实现实验的定制化。该指标选择界面还包括指标定制选项，测试人员可以通过选中该指标定制选项，来定制自己需要的指标，终端响应于对该指标定制选项的选中操作，显示指标定制界面，该指标定制界面包括指标命名控件和指标定义控件，该指标命名控件用于编辑所定制的指标的名称，该指标定义界面用于定义所定制的指标的计算方式，测试人员可以在指标命名控件中输入自己要定制的指标的名称，在指标定义控件中输入自己要定制的指标的计算方式，终端获取该指标命名控件和该指标定义控件中所编辑的内容，将获取到的内容发送给服务器，以便服务器根据接收到的内容生成第二指标，该第二指标用于确定该目标用户包的质量等级，该第二指标用于指示确定用户包质量等级所采用的互动操作。例如，游戏类内容项关注游戏的付费数及付费金额，因此第二指标可以为付费率或首日投资回报率(Return On Investment，ROI)，其中，首日ROI为内容项投放当天的付费金额与内容项投放当天的消耗金额的比值；资讯类内容项关注用户的次日留存，因此第二指标可以为次日留存率；金融类内容项关注用户的完件授信数量，因此第二指标可以为完件率或授信率。可选地，该第一指标还可以为其他类型，本公开实施例对此不加以限定。
其中，若该第二指标为付费率，则该互动操作信息为目标内容项对应的应用程序中发生付费操作的次数；若该第二指标为首日ROI，则该互动操作信息为目标内容项对应的应用程序投放当天中用户的付费金额；若该第二指标为完件率，则该互动操作信息为目标内容项对应的应用程序处理用户的资源转移请求的次数；若该第二指标为授信率，则该互动操作信息为目标内容项对应的应用程序向用户提供资源支持的次数。
可选地，服务器还可以根据用户包的来源应用类型，自动选择对应的第一指标和第二指标。此外，除了从投放效率角度评估用户包的质量，测试人员或服务器还可以根据不同类型的内容项需求，定制化加入成本类指标进行评估，以提高评估结果的准确性。
需要说明的是，服务器在获取到该至少一个目标内容项的互动操作信息后，可以将该至少一个目标内容项的互动操作信息划分为对照组和实验组，该对照组包括该至少一个目标内容项的原有定向用户的互动操作信息，该实验组包括该至少一个第一目标用户包中的用户的互动操作信息，进而根据该实验组中至少一个目标内容项的互动操作信息，确定该至少一个第一目标用户包的质量等级。在进行用户包扩展实验、用户包收缩实验时，通过预留对照组，由于该对照组中包括的互动操作信息全部为目标内容项的原有定向用户的互动操作信息，而实验组中包括的可以仅是目标用户的互动操作信息，还可以是目标用户和目标内容项的原有定向用户的部分互动操作信息，以便基于对照组与实验组的结果，将该实验组中至少一个目标内容项的互动操作信息与该对照组中至少一个目标内容项的互动操作信息进行对比，得到该至少一个第一目标用户包的质量等级。此外，由于不同类型的内容项之间互斥，因此服务器支持同时对多个不同类型的内容项进行实验，每个内容项独占一个实验组，其中对照组预留一部分互动操作信息，剩余的互动操作信息可按比例切分为多个实验组，同时进行多组实验。服务器可支持同时进行上百个用户包评测实验，若有更多内容项有测试需求，只需扩展多个实验组即可。
服务器切分互动操作信息来对用户包的质量等级进行确定，也即是，进行流量侧AB实验，流量切分可按照用户维度或者互动操作维度进行切分，也即是，将部分用户的互动操作信息划分为对照组，将剩余用户的互动操作信息划分为实验组，或者，将目标内容项的部分互动操作信息划分为对照组，将剩余的互动操作信息划分为实验组。相比创建投放单元进行实验，流量侧AB实验的划分更加均衡，避免了投放单元不同造成的实验效果偏差，同时，由于实验切分方式更加均衡，因此AB实验的实验结果波动更小，效果更置信，提高用户质量确定的准确性。
在步骤S407中，服务器根据该至少一个目标内容项的互动操作信息，确定目标概率，该目标概率用于表示该至少一个目标内容项发生互动操作的概率。
在一种可能的实现方式中，服务器根据该至少一个目标内容项的曝光次数以及该至少一个目标内容项发生互动操作的次数，确定目标概率。例如，服务器将该至少一个目标内容项发生互动操作的次数，与该至少一个目标内容项的曝光次数的比值，确定为目标概率。以上述步骤S406中服务器获取到的几种互动操作信息为例继续进行说明，服务器将该至少一个目标内容项发生点击操作的次数，与该至少一个目标内容项的曝光次数的比值，确定为该目标概率；或，服务器将该至少一个目标内容项对应的应用程序发生下载操作的次数，与该至少一个目标内容项的曝光次数的比值，确定为该目标概率；或，服务器将该至少一个目标内容项对应的表单发生提交操作的次数，与该至少一个目标内容项的曝光次数的比值，确定为该目标概率；或，服务器将该至少一个目标内容项对应的应用程序中发生用户注册操作的次数，与该至少一个目标内容项的曝光次数的比值，确定为该目标概率。可选地，该目标概率还可以为其他多种确定方式，本公开实施例对此不加以限定。
需要说明的是，服务器还可以分别确定出至少两种互动操作发生的次数，得到对应的至少两个概率，再根据该至少两个概率，确定目标概率。例如，将该至少两个概率的平均值，确定为目标概率。可选地，该至少两个概率还可以具有对应的权重，将该至少两个概率的加权平均值，确定为目标概率，本公开实施例对具体采用哪种方式来确定目标概率不加以限定。
在步骤S408中，服务器根据该目标概率，确定该至少一个第一目标用户包的质量等级。
在一种可能的实现方式中，若该目标概率大于或等于第一预设阈值，则服务器将该至少一个第一目标用户包的质量等级确定为第一质量等级(高质量等级)；若该目标概率大于或等于第二预设阈值，则服务器将该至少一个第一目标用户包的质量等级确定为第二质量等级(中质量等级)；若该目标概率小于第二预设阈值，则服务器将该至少一个第一目标用户包的质量等级确定为第三质量等级(低质量等级)。该第一预设阈值和该第二预设阈值均可以为任意取值，该第一预设阈值大于该第二预设阈值，但本公开实施例对第一预设阈值和第二预设阈值的具体取值不加以限定。
其中，对于设置有实验组和对照组的测试过程，若实验组的目标概率大于对照组的目标概率且实验组的目标概率与对照组的目标概率的差值大于第三预设阈值，则服务器将该至少一个第一目标用户包的质量等级确定为第一质量等级(高质量等级)；若实验组的目标概率与对照组的目标概率的差值小于或等于第三预设阈值，则服务器将该至少一个第一目标用户包的质量等级确定为第二质量等级(中质量等级)；若实验组的目标概率小于对照组的目标概率且实验组的目标概率与对照组的目标概率的差值大于第三预设阈值，则服务器将该至少一个第一目标用户包的质量等级确定为第三质量等级(低质量等级)，该第三预设阈值均可以为任意取值，本公开实施例对此不加以限定。
需要说明的是，服务器可以每隔预设时长，获取正在进行测试的用户包的互动操作信息，并根据获取到的互动操作信息，来确定该用户包的质量等级，实现对用户包质量等级的实时更新，保证结果的实时性和有效性。其中，该预设时长可以为任意时长，例如，该预设时长可以为一天，可选地，该预设时长还可以为其他取值，本公开实施例对此不加以限定。
其中，服务器在确定出用户包的质量等级后，可以对确定出的结果信息存储，质量等级更新后，也无需删除之前的质量等级，而是对更新前和更新后的质量等级均进行存储，将评估结果持久化，以便测试人员可以根据需要，获取到任意时刻的质量等级，方便后续查询需要。可选地，服务器还可以删除更新之前的质量等级，减少不必要的存储，提高服务器的处理速度，本公开实施例对此不加以限定。
需要说明的是，上述步骤S405至步骤S408的所有过程，可以参见图5，图5是根据一示例性实施例示出的一种用户质量的确定系统的结构示意图，服务器每天定时统计实验结果，将获取到实验结果存储至Redis数据库。其中，在每天对实验结果进行统计时，该用户质量的确定系统可以请求Redis数据库获取符合实验时长的用户包，获取符合实验时长的用户包的用户包信息以及实验参数等，根据二级行业构建结构化查询语言(StructuredQuery Language，SQL)，进而执行SQL获取实验结果，并将获取到的实验结果存储至Redis数据库。
在步骤S409中，服务器向该终端发送该至少一个第一目标用户包的质量等级。
需要说明的是，服务器可以将确定出的该至少一个第一目标用户包的质量等级发送给终端，由终端对该质量等级进行显示。
在步骤S410中，终端接收服务器基于该用户包等级获取请求返回的该至少一个第一目标用户包的质量等级。
在步骤S411中，终端在该用户包展示界面，对该至少一个第一目标用户包的质量等级进行显示。
在一种可能的实现方式中，终端可以在该用户包展示界面中，该至少一个第一目标用户包对应的用户包名称处，对该至少一个第一目标用户包的质量等级进行显示。可选地，还可以采用其他方式来对该至少一个第一目标用户包的质量等级进行显示，本公开实施例对此不加以限定。
需要说明的是，服务器每隔预设时长对用户包质量等级进行更新后，可以将更新后的质量等级发送给终端，由终端对更新后的质量等级进行显示，以便测试人员及时获知该用户包更新后的质量等级，保证结果的实时性和有效性。例如，该用户包展示界面包括等级显示按钮，测试人员触发该等级显示按钮，终端响应于该触发操作，显示该至少一个第一目标用户包在各个时刻的质量等级，以便测试人员根据该多个质量等级，综合评估该至少一个第一目标用户包的质量，提高确定出的用户质量的准确性。
需要说明的是，上述步骤S409至步骤S411的所有过程，可以参见图5，图5是根据一示例性实施例示出的一种用户质量的确定系统的结构示意图，服务器通过将实验结果发送给终端，由终端将获取到的实验结果显示到可视化界面上，来对实验结果进行展示，以便测试人员根据实验结果选择效果较好的用户包推荐给广告主，实现对确定出的用户包质量等级的显示。
本公开实施例提供的方案，通过根据被选中的用户包的用户数量和用户类型，来确定要将哪个或哪些目标内容项投放给哪些目标用户，由于目标内容项是服务器已存储的内容项，因而在确定出目标内容项后，即可直接进行内容项投放，来确定目标用户的质量等级，也即是，被选中的用户包的质量等级，无需对待投放的实际内容项进行测试，也就不用为测试来进行创建镜像内容项等繁琐操作，才能完成用户质量的评估，而是直接基于服务器已存储的内容项中与用户类型匹配的目标内容项，即可随时实现对用户包质量的评估，提高用户质量的评估效率。测试人员还可以灵活配置实验维度、实验类型以及所采用的指标，实现实验可定制化，并满足不同类型的内容项以及不同广告主的测试需求。流量侧AB实验支持不同类型的大量用户包同时进行实验，而且，流量侧AB实验的划分更加均衡，避免了投放单元不同造成的实验效果偏差，同时实验结果波动更小，效果更置信，提高用户质量的评估准确性。通过对用户包的质量等级进行确定，后续广告主投放时可针对高质量用户包增加出价，对低质量用户包进行排除等策略，提高内容项的投放效果，提高用户体验。
图6是根据一示例性实施例示出的一种用户质量的确定装置的框图，参见图6，该装置包括：
第一确定单元601，被配置为执行响应于终端对至少一个第一目标用户包的选中指令，根据该至少一个第一目标用户包所包括的用户数量和该至少一个第一目标用户包的来源应用类型，确定至少一个目标内容项和该至少一个第一目标用户包中待投放的目标用户，该至少一个目标内容项的类型与该至少一个第一目标用户包的来源应用类型匹配；
投放单元602，被配置为执行将该至少一个目标内容项投放给该目标用户；
发送单元603，被配置为执行根据该至少一个目标内容项的互动操作信息，向该终端发送该至少一个第一目标用户包的质量等级，该质量等级基于该目标用户对该至少一个目标内容项的互动操作信息确定。
本公开实施例提供的装置，通过根据被选中的用户包的用户数量和用户类型，来确定要将哪个或哪些目标内容项投放给哪些目标用户，由于目标内容项是服务器已存储的内容项，因而在确定出目标内容项后，即可直接进行内容项投放，来确定目标用户的质量等级，也即是，被选中的用户包的质量等级，无需对待投放的实际内容项进行测试，也就不用为测试来进行创建镜像内容项等繁琐操作，才能完成用户质量的评估，而是直接基于服务器已存储的内容项中与用户类型匹配的目标内容项，即可随时实现对用户包质量的评估，提高用户质量的评估效率。
在一种可能的实现方式中，该第一确定单元601，还被配置为执行若该至少一个第一目标用户包所包括的用户数量大于或等于目标阈值，则将与该至少一个第一目标用户包的来源应用类型匹配的一个内容项确定为该目标内容项，将该至少一个第一目标用户包中的多个用户确定为该待投放的目标用户，若该至少一个第一目标用户包所包括的用户数量小于目标阈值，则将与该至少一个第一目标用户包的来源应用类型匹配的至少两个内容项确定为该目标内容项，将该至少一个第一目标用户包中的多个用户确定为该待投放的目标用户。
在一种可能的实现方式中，该装置还包括：
接收单元，被配置为执行接收用户等级获取请求，该用户等级获取请求携带选中操作对应的用户的用户标识；
生成单元，被配置为执行响应于该用户等级获取请求，生成第二目标用户包，将该第二目标用户包中的用户作为该目标用户。
在一种可能的实现方式中，该装置还包括：
划分单元，被配置为执行将该至少一个目标内容项的互动操作信息划分为对照组和实验组，该对照组包括该至少一个目标内容项的原有定向用户的互动操作信息，该实验组包括该至少一个第一目标用户包中的用户的互动操作信息；
对比单元，被配置为执行将该实验组中至少一个目标内容项的互动操作信息与该对照组中至少一个目标内容项的互动操作信息进行对比，得到该至少一个第一目标用户包的质量等级。
在一种可能的实现方式中，该装置还包括：
第二确定单元，被配置为执行根据该实验组中该至少一个目标内容项的曝光次数以及该至少一个目标内容项发生互动操作的次数，确定目标概率，该目标概率用于表示该至少一个目标内容项发生互动操作的概率，根据该目标概率，确定该至少一个第一目标用户包的质量等级。
在一种可能的实现方式中，该互动操作包括点击操作、应用程序下载操作、表单提交操作和用户注册操作中至少一项。
图7是根据一示例性实施例示出的一种用户质量的确定装置的框图，参见图6，该装置包括：
界面显示单元701，被配置为执行显示用户包展示界面，该用户包展示界面包括多个用户包以及该多个用户包的用户包信息；
获取单元702，被配置为执行响应于对该多个用户包中至少一个第一目标用户包的选中操作，获取该至少一个第一目标用户包的质量等级，该至少一个第一目标用户包的质量等级基于与该至少一个目标用户包的来源应用类型匹配的至少一个目标内容项测试得到；
等级显示单元703，被配置为执行在该用户包展示界面，对该至少一个第一目标用户包的质量等级进行显示。
本公开实施例提供的装置，通过提供一种可视化界面来对用户包信息进行展示，以便测试人员直接基于所展示的用户包信息，选择要测试的用户包，终端获取到被选中的用户包的质量等级，即可通过可视化界面将该质量等级展示给测试人员，由于获取到的质量等级是根据已上线的、与要测试的用户包的来源应用类型相同的内容项测试得到的，无需对待投放的实际内容项进行测试，也就不用为测试来进行创建镜像内容项等繁琐操作，才能完成用户质量的评估，而是直接基于服务器已存储的内容项中与用户类型匹配的目标内容项，即可随时实现对用户包质量的评估，提高用户质量的评估效率。
在一种可能的实现方式中，该获取单元702，被配置为执行响应于对该至少一个第一目标用户包的选中操作，向服务器发送用户包等级获取请求，该用户包等级获取请求携带该至少一个第一目标用户包的用户包标识，该用户包等级获取请求用于获取该至少一个第一目标用户包的质量等级，接收服务器基于该用户包等级获取请求返回的该至少一个第一目标用户包的质量等级。
在一种可能的实现方式中，该用户包展示界面还包括用户包定制选项；
该界面显示单元701，还被配置为执行响应于对该多个用户包中至少一个第一目标用户包的选中操作，显示指标选择界面，该指标选择界面包括用于确定用户包质量等级的多个第一指标，该第一指标用于指示确定用户包质量等级所采用的互动操作；
该获取单元702，还被配置为执行响应于对该多个指标中至少一个第一指标的选中操作，获取该至少一个第一目标用户包基于该至少一个第一指标确定出的质量等级。
在一种可能的实现方式中，该界面显示单元701，还被配置为执行响应于对该多个用户包中至少一个第一目标用户包的选中操作，显示实验类型选择界面，该实验类型选择界面包括用于确定用户包质量等级的多种实验类型；
该装置还包括：
发送单元，被配置为执行响应于对该多种实验类型中任一种实验类型的触发操作，向服务器发送该任一种实验类型，该任一种实验类型用于指示该服务器基于该至少一个目标内容项的原有定向用户和该至少一个第一目标用户包，确定该至少一个第一目标用户包的质量等级。
在一种可能的实现方式中，该指标选择界面还包括指标定制选项；
该界面显示单元701，还被配置为执行响应于对该指标定制选项的选中操作，显示指标定制界面，该指标定制界面包括指标命名控件和指标定义控件，该指标命名控件用于编辑所定制的指标的名称，该指标定义界面用于定义所定制的指标的计算方式；
该装置还包括：
生成单元，被配置为执行基于该指标命名控件和该指标定义控件中所编辑的内容，生成第二指标，该第二指标用于确定该目标用户包的质量等级，该第二指标用于指示确定用户包质量等级所采用的互动操作。
图8是根据一示例性实施例示出的一种终端800的框图。该终端800可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式电子设备、膝上型电子设备、台式电子设备等其他名称。
通常，终端800包括有：一个或多个处理器801和一个或多个存储器802。
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本公开中方法实施例提供的用户质量的确定方法。
在一些实施例中，终端800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置终端800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端800的不同表面或呈折叠设计；在再一些实施例中，显示屏805可以是柔性显示屏，设置在终端800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
定位组件808用于定位终端800的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在终端800的侧边框和/或显示屏805的下层。当压力传感器813设置在终端800的侧边框时，可以检测用户对终端800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据用户对显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时，指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。
接近传感器816，也称距离传感器，通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图8中示出的结构并不构成对终端800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图9是根据一示例性实施例示出的一种服务器900的框图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central ProcessingUnits，CPU)901和一个或多个的存储器902，其中，该一个或多个存储器902中存储有至少一条指令，该至少一条指令由该一个或多个处理器901加载并执行以实现上述各个方法实施例提供的用户质量的确定方法。当然，该服务器900还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器900还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器802和存储器902，上述指令可由终端800的处理器801或服务器900的处理器901执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种应用程序产品，该应用程序产品包括一条或多条指令，该一条或多条指令可以由终端800的处理器801或服务器900的处理器901执行，以完成上述实施例中提供的用户质量的确定方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (23)

1.一种用户质量的确定方法，其特征在于，所述方法包括：
响应于终端对至少一个第一目标用户包的选中指令，
若所述至少一个第一目标用户包所包括的用户数量大于或等于目标阈值，则将与所述至少一个第一目标用户包的来源应用类型匹配的一个内容项确定为目标内容项，将所述至少一个第一目标用户包中的多个用户确定为待投放的目标用户；
若所述至少一个第一目标用户包所包括的用户数量小于目标阈值，则将与所述至少一个第一目标用户包的来源应用类型匹配的至少两个内容项确定为所述目标内容项，将所述至少一个第一目标用户包中的多个用户确定为所述待投放的目标用户，至少一个目标内容项的类型与所述至少一个第一目标用户包的来源应用类型匹配；
将所述至少一个目标内容项投放给所述目标用户；
根据所述至少一个目标内容项的互动操作信息，向所述终端发送所述至少一个第一目标用户包的质量等级，所述质量等级基于所述目标用户对所述至少一个目标内容项的互动操作信息确定。
2.根据权利要求1所述的用户质量的确定方法，其特征在于，所述将所述至少一个目标内容项投放给所述目标用户之前，所述方法还包括：
接收用户等级获取请求，所述用户等级获取请求携带选中操作对应的用户的用户标识，所述用户等级获取请求用于获取所述选中操作对应的用户的质量等级；
响应于所述用户等级获取请求，生成第二目标用户包，将所述第二目标用户包中的用户作为所述目标用户。
3.根据权利要求1所述的用户质量的确定方法，其特征在于，所述向所述终端发送所述至少一个第一目标用户包的质量等级之前，所述方法还包括：
将所述至少一个目标内容项的互动操作信息划分为对照组和实验组，所述对照组包括所述至少一个目标内容项的原有定向用户的互动操作信息，所述实验组包括所述至少一个第一目标用户包中的用户的互动操作信息；
将所述实验组中至少一个目标内容项的互动操作信息与所述对照组中至少一个目标内容项的互动操作信息进行对比，得到所述至少一个第一目标用户包的质量等级。
4.根据权利要求1所述的用户质量的确定方法，其特征在于，所述向所述终端发送所述至少一个第一目标用户包的质量等级之前，所述方法还包括：
根据所述至少一个目标内容项的曝光次数以及所述至少一个目标内容项发生互动操作的次数，确定目标概率，所述目标概率用于表示所述至少一个目标内容项发生互动操作的概率；
根据所述目标概率，确定所述至少一个第一目标用户包的质量等级。
5.根据权利要求4所述的用户质量的确定方法，其特征在于，所述互动操作包括点击操作、应用程序下载操作、表单提交操作和用户注册操作中至少一项。
6.一种用户质量的确定方法，其特征在于，所述方法包括：
显示用户包展示界面，所述用户包展示界面包括多个用户包以及所述多个用户包的用户包信息；
响应于对所述多个用户包中至少一个第一目标用户包的选中操作，向服务器发送用户包等级获取请求，所述用户包等级获取请求携带所述至少一个第一目标用户包的用户包标识，所述用户包等级获取请求用于获取所述至少一个第一目标用户包的质量等级；
接收服务器基于所述用户包等级获取请求返回的所述至少一个第一目标用户包的质量等级，所述至少一个第一目标用户包的质量等级基于与所述至少一个第一目标用户包的来源应用类型匹配的至少一个目标内容项测试得到；
在所述用户包展示界面，对所述至少一个第一目标用户包的质量等级进行显示。
7.根据权利要求6所述的用户质量的确定方法，其特征在于，所述用户包展示界面还包括用户包定制选项；
所述显示用户包展示界面之后，所述方法还包括：
响应于对所述用户包定制选项的选中操作，显示用户展示界面，所述用户展示界面包括多个用户以及所述多个用户的用户信息；
响应于对所述多个用户中至少一个用户的选中操作，基于所述选中操作对应的用户生成第二目标用户包。
8.根据权利要求6所述的用户质量的确定方法，其特征在于，所述显示用户包展示界面之后，所述方法还包括：
响应于对所述多个用户包中至少一个第一目标用户包的选中操作，显示实验类型选择界面，所述实验类型选择界面包括用于确定用户包质量等级的多种实验类型；
响应于对所述多种实验类型中任一种实验类型的触发操作，向服务器发送所述任一种实验类型，所述任一种实验类型用于指示所述服务器基于所述至少一个目标内容项的原有定向用户和所述至少一个第一目标用户包，确定所述至少一个第一目标用户包的质量等级。
9.根据权利要求6所述的用户质量的确定方法，其特征在于，所述显示用户包展示界面之后，所述方法还包括：
响应于对所述多个用户包中至少一个第一目标用户包的选中操作，显示指标选择界面，所述指标选择界面包括用于确定用户包质量等级的多个第一指标，所述第一指标用于指示确定用户包质量等级所采用的互动操作；
响应于对所述多个第一指标中至少一个第一指标的选中操作，获取所述至少一个第一目标用户包基于所述至少一个第一指标确定出的质量等级。
10.根据权利要求9所述的用户质量的确定方法，其特征在于，所述指标选择界面还包括指标定制选项；
所述方法还包括：
响应于对所述指标定制选项的选中操作，显示指标定制界面，所述指标定制界面包括指标命名控件和指标定义控件，所述指标命名控件用于编辑所定制的指标的名称，所述指标定义界面用于定义所定制的指标的计算方式；
基于所述指标命名控件和所述指标定义控件中所编辑的内容，生成第二指标，所述第二指标用于确定所述目标用户包的质量等级，所述第二指标用于指示确定用户包质量等级所采用的互动操作。
11.一种用户质量的确定装置，其特征在于，所述装置包括：
第一确定单元，被配置为执行响应于终端对至少一个第一目标用户包的选中指令，若所述至少一个第一目标用户包所包括的用户数量大于或等于目标阈值，则将与所述至少一个第一目标用户包的来源应用类型匹配的一个内容项确定为目标内容项，将所述至少一个第一目标用户包中的多个用户确定为待投放的目标用户；若所述至少一个第一目标用户包所包括的用户数量小于目标阈值，则将与所述至少一个第一目标用户包的来源应用类型匹配的至少两个内容项确定为所述目标内容项，将所述至少一个第一目标用户包中的多个用户确定为所述待投放的目标用户，至少一个目标内容项的类型与所述至少一个第一目标用户包的来源应用类型匹配；
投放单元，被配置为执行将所述至少一个目标内容项投放给所述目标用户；
发送单元，被配置为执行根据所述至少一个目标内容项的互动操作信息，向所述终端发送所述至少一个第一目标用户包的质量等级，所述质量等级基于所述目标用户对所述至少一个目标内容项的互动操作信息确定。
12.根据权利要求11所述的用户质量的确定装置，其特征在于，所述装置还包括：
接收单元，被配置为执行接收用户等级获取请求，所述用户等级获取请求携带选中操作对应的用户的用户标识，所述用户等级获取请求用于获取所述选中操作对应的用户的质量等级；
生成单元，被配置为执行响应于所述用户等级获取请求，生成第二目标用户包，将所述第二目标用户包中的用户作为所述目标用户。
13.根据权利要求11所述的用户质量的确定装置，其特征在于，所述装置还包括：
划分单元，被配置为执行将所述至少一个目标内容项的互动操作信息划分为对照组和实验组，所述对照组包括所述至少一个目标内容项的原有定向用户的互动操作信息，所述实验组包括所述至少一个第一目标用户包中的用户的互动操作信息；
对比单元，被配置为执行将所述实验组中至少一个目标内容项的互动操作信息与所述对照组中至少一个目标内容项的互动操作信息进行对比，得到所述至少一个第一目标用户包的质量等级。
14.根据权利要求13所述的用户质量的确定装置，其特征在于，所述装置还包括：
第二确定单元，被配置为执行根据所述实验组中所述至少一个目标内容项的曝光次数以及所述至少一个目标内容项发生互动操作的次数，确定目标概率，所述目标概率用于表示所述至少一个目标内容项发生互动操作的概率，根据所述目标概率，确定所述至少一个第一目标用户包的质量等级。
15.根据权利要求14所述的用户质量的确定装置，其特征在于，所述互动操作包括点击操作、应用程序下载操作、表单提交操作和用户注册操作中至少一项。
16.一种用户质量的确定装置，其特征在于，所述装置包括：
界面显示单元，被配置为执行显示用户包展示界面，所述用户包展示界面包括多个用户包以及所述多个用户包的用户包信息；
获取单元，被配置为执行响应于对所述多个用户包中至少一个第一目标用户包的选中操作，向服务器发送用户包等级获取请求，所述用户包等级获取请求携带所述至少一个第一目标用户包的用户包标识，所述用户包等级获取请求用于获取所述至少一个第一目标用户包的质量等级，接收服务器基于所述用户包等级获取请求返回的所述至少一个第一目标用户包的质量等级，所述至少一个第一目标用户包的质量等级基于与所述至少一个第一目标用户包的来源应用类型匹配的至少一个目标内容项测试得到；
等级显示单元，被配置为执行在所述用户包展示界面，对所述至少一个第一目标用户包的质量等级进行显示。
17.根据权利要求16所述的用户质量的确定装置，其特征在于，所述界面显示单元，还被配置为执行响应于对所述多个用户包中至少一个第一目标用户包的选中操作，显示指标选择界面，所述指标选择界面包括用于确定用户包质量等级的多个第一指标，所述第一指标用于指示确定用户包质量等级所采用的互动操作；
所述获取单元，还被配置为执行响应于对所述多个第一指标中至少一个第一指标的选中操作，获取所述至少一个第一目标用户包基于所述至少一个第一指标确定出的质量等级。
18.根据权利要求16所述的用户质量的确定装置，其特征在于，所述界面显示单元，还被配置为执行响应于对所述多个用户包中至少一个第一目标用户包的选中操作，显示实验类型选择界面，所述实验类型选择界面包括用于确定用户包质量等级的多种实验类型；
所述装置还包括：
发送单元，被配置为执行响应于对所述多种实验类型中任一种实验类型的触发操作，向服务器发送所述任一种实验类型，所述任一种实验类型用于指示所述服务器基于所述至少一个目标内容项的原有定向用户和所述至少一个第一目标用户包，确定所述至少一个第一目标用户包的质量等级。
19.根据权利要求17所述的用户质量的确定装置，其特征在于，所述指标选择界面还包括指标定制选项；
所述界面显示单元，还被配置为执行响应于对所述指标定制选项的选中操作，显示指标定制界面，所述指标定制界面包括指标命名控件和指标定义控件，所述指标命名控件用于编辑所定制的指标的名称，所述指标定义界面用于定义所定制的指标的计算方式；
所述装置还包括：
生成单元，被配置为执行基于所述指标命名控件和所述指标定义控件中所编辑的内容，生成第二指标，所述第二指标用于确定所述目标用户包的质量等级，所述第二指标用于指示确定用户包质量等级所采用的互动操作。
20.一种服务器，其特征在于，所述服务器包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的用户质量的确定方法。
21.一种终端，其特征在于，所述终端包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求6至10中任一项所述的用户质量的确定方法。
22.一种存储介质，其特征在于，当所述存储介质中的指令由服务器/终端的处理器执行时，使得服务器/终端能够执行如权利要求1至5或如权利要求6至10中任一项所述的用户质量的确定方法。
23.一种应用程序产品，包括指令，其特征在于，所述指令由处理器执行时实现如权利要求1至5或如权利要求6至10中任一项所述的用户质量的确定方法。
CN202010912156.2A 2020-09-02 2020-09-02 用户质量的确定方法、装置、服务器、终端、介质及产品 Active CN112053192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010912156.2A CN112053192B (zh) 2020-09-02 2020-09-02 用户质量的确定方法、装置、服务器、终端、介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010912156.2A CN112053192B (zh) 2020-09-02 2020-09-02 用户质量的确定方法、装置、服务器、终端、介质及产品

Publications (2)

Publication Number Publication Date
CN112053192A CN112053192A (zh) 2020-12-08
CN112053192B true CN112053192B (zh) 2024-05-14

Family

ID=73608239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010912156.2A Active CN112053192B (zh) 2020-09-02 2020-09-02 用户质量的确定方法、装置、服务器、终端、介质及产品

Country Status (1)

Country Link
CN (1) CN112053192B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789619A (zh) * 2012-06-29 2012-11-21 华为软件技术有限公司 广告定向投放的方法和广告平台设备
CN103605746A (zh) * 2013-11-20 2014-02-26 北京国双科技有限公司 获取访客质量的方法、装置及系统
CN106294500A (zh) * 2015-06-09 2017-01-04 深圳市腾讯计算机系统有限公司 内容项目的推送方法、装置及系统
CN106600311A (zh) * 2016-11-10 2017-04-26 北京乐动卓越科技有限公司 一种基于大数据的游戏广告精准投放方法和系统
CN106897897A (zh) * 2017-01-20 2017-06-27 北京小米移动软件有限公司 内容项目推送方法及装置
CN108241984A (zh) * 2016-12-23 2018-07-03 北京国双科技有限公司 一种访客分类方法及装置
CN108510303A (zh) * 2017-04-19 2018-09-07 腾讯科技（深圳）有限公司 广告投放方法及装置
CN109118258A (zh) * 2017-06-23 2019-01-01 北星传媒（北京）有限公司 投放内容监控方法和客户端设备
CN109417644A (zh) * 2016-01-14 2019-03-01 安普视频有限公司 跨屏广告投放的收益优化
CN109522146A (zh) * 2018-11-15 2019-03-26 腾讯音乐娱乐科技（深圳）有限公司 对客户端进行异常测试的方法、装置及存储介质
CN110246110A (zh) * 2018-03-01 2019-09-17 腾讯科技（深圳）有限公司 图像评估方法、装置及存储介质
CN110276034A (zh) * 2019-06-28 2019-09-24 广州酷狗计算机科技有限公司 内容项展示方法、装置、计算机设备及存储介质
CN110415054A (zh) * 2019-09-05 2019-11-05 上海博泰悦臻网络技术服务有限公司 基于用户行为数据的广告投放方法、系统、介质及服务端
CN110706029A (zh) * 2019-09-26 2020-01-17 恩亿科(北京)数据科技有限公司 广告定向投放方法和装置、电子设备及存储介质
CN110782291A (zh) * 2019-10-29 2020-02-11 加和（北京）信息科技有限公司 广告投放用户确定方法及装置、存储介质及电子装置
CN110991875A (zh) * 2019-11-29 2020-04-10 广州市百果园信息技术有限公司 一种平台用户质量评估系统
CN111210280A (zh) * 2020-01-14 2020-05-29 北京达佳互联信息技术有限公司 内容项的转化情况追踪方法、装置、终端、服务器及介质
CN111275473A (zh) * 2018-12-04 2020-06-12 北京达佳互联信息技术有限公司 内容项投放方法、装置、服务器及存储介质
CN111539757A (zh) * 2019-12-30 2020-08-14 支付宝实验室(新加坡)有限公司 信息投放方法、装置、服务器及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9585054B2 (en) * 2012-07-19 2017-02-28 Interdigital Patent Holdings, Inc. Method and apparatus for detecting and managing user plane congestion
WO2017009525A1 (en) * 2015-07-16 2017-01-19 Nokia Technologies Oy User-plane enhancements supporting in-bearer sub-flow qos differentiation

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789619A (zh) * 2012-06-29 2012-11-21 华为软件技术有限公司 广告定向投放的方法和广告平台设备
CN103605746A (zh) * 2013-11-20 2014-02-26 北京国双科技有限公司 获取访客质量的方法、装置及系统
CN106294500A (zh) * 2015-06-09 2017-01-04 深圳市腾讯计算机系统有限公司 内容项目的推送方法、装置及系统
CN109417644A (zh) * 2016-01-14 2019-03-01 安普视频有限公司 跨屏广告投放的收益优化
CN106600311A (zh) * 2016-11-10 2017-04-26 北京乐动卓越科技有限公司 一种基于大数据的游戏广告精准投放方法和系统
CN108241984A (zh) * 2016-12-23 2018-07-03 北京国双科技有限公司 一种访客分类方法及装置
CN106897897A (zh) * 2017-01-20 2017-06-27 北京小米移动软件有限公司 内容项目推送方法及装置
CN108510303A (zh) * 2017-04-19 2018-09-07 腾讯科技（深圳）有限公司 广告投放方法及装置
CN109118258A (zh) * 2017-06-23 2019-01-01 北星传媒（北京）有限公司 投放内容监控方法和客户端设备
CN110246110A (zh) * 2018-03-01 2019-09-17 腾讯科技（深圳）有限公司 图像评估方法、装置及存储介质
CN109522146A (zh) * 2018-11-15 2019-03-26 腾讯音乐娱乐科技（深圳）有限公司 对客户端进行异常测试的方法、装置及存储介质
CN111275473A (zh) * 2018-12-04 2020-06-12 北京达佳互联信息技术有限公司 内容项投放方法、装置、服务器及存储介质
CN110276034A (zh) * 2019-06-28 2019-09-24 广州酷狗计算机科技有限公司 内容项展示方法、装置、计算机设备及存储介质
CN110415054A (zh) * 2019-09-05 2019-11-05 上海博泰悦臻网络技术服务有限公司 基于用户行为数据的广告投放方法、系统、介质及服务端
CN110706029A (zh) * 2019-09-26 2020-01-17 恩亿科(北京)数据科技有限公司 广告定向投放方法和装置、电子设备及存储介质
CN110782291A (zh) * 2019-10-29 2020-02-11 加和（北京）信息科技有限公司 广告投放用户确定方法及装置、存储介质及电子装置
CN110991875A (zh) * 2019-11-29 2020-04-10 广州市百果园信息技术有限公司 一种平台用户质量评估系统
CN111539757A (zh) * 2019-12-30 2020-08-14 支付宝实验室(新加坡)有限公司 信息投放方法、装置、服务器及存储介质
CN111210280A (zh) * 2020-01-14 2020-05-29 北京达佳互联信息技术有限公司 内容项的转化情况追踪方法、装置、终端、服务器及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"滴滴星云营销组件库系统设计与实践";郭冬梅;《中国优秀硕士学位论文全文数据库 信息科技辑》(第07期);第I138-183页 *

Also Published As

Publication number Publication date
CN112053192A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN112616091B (zh) 虚拟物品的发送方法、装置、计算机设备及存储介质
CN111192005A (zh) 政务业务处理方法、装置、计算机设备及可读存储介质
CN111064655A (zh) 模板消息的推送方法、装置、设备及存储介质
CN111028071B (zh) 账单处理方法、装置、电子设备及存储介质
CN111078521A (zh) 异常事件的分析方法、装置、设备、系统及存储介质
CN111311155A (zh) 修改配送位置的方法、装置、系统、设备以及存储介质
CN112052354A (zh) 视频推荐方法、视频展示方法、装置及计算机设备
CN110704455B (zh) 生成数据资产目录的方法、装置、终端及存储介质
CN113987326B (zh) 资源推荐方法、装置、计算机设备及介质
CN113506086B (zh) 任务发布方法、装置、计算机设备及介质
CN112990964B (zh) 推荐内容资源的获取方法、装置、设备及介质
CN111294253B (zh) 测试数据处理方法、装置、计算机设备及存储介质
CN111563201A (zh) 内容推送方法、装置、服务器及存储介质
CN112053192B (zh) 用户质量的确定方法、装置、服务器、终端、介质及产品
CN110891086B (zh) 资源转移方法、装置、终端、服务器及存储介质
CN114329292A (zh) 资源信息的配置方法、装置、电子设备以及存储介质
CN111898048B (zh) 展示信息的数据调整方法、装置、电子设备及存储介质
CN113869900A (zh) 资源管理方法、装置、服务器及介质
CN113204724A (zh) 创建互动信息的方法、装置、电子设备及存储介质
CN111539794A (zh) 凭证信息的获取方法、装置、电子设备及存储介质
CN114173163B (zh) 数据处理方法、装置、计算机设备及介质
CN110134303B (zh) 操作控件显示方法、装置、终端及存储介质
CN114189703B (zh) 资源信息处理方法、装置、电子设备及存储介质
CN114071119B (zh) 资源的测试方法、装置、电子设备及存储介质
CN114443869A (zh) 数据处理方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant