CN113742577A - 基于SaaS的AB测试方案处理方法、装置、设备及存储介质 - Google Patents
基于SaaS的AB测试方案处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113742577A CN113742577A CN202110915848.7A CN202110915848A CN113742577A CN 113742577 A CN113742577 A CN 113742577A CN 202110915848 A CN202110915848 A CN 202110915848A CN 113742577 A CN113742577 A CN 113742577A
- Authority
- CN
- China
- Prior art keywords
- test
- data
- user
- saas
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 416
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000007619 statistical method Methods 0.000 claims abstract description 14
- 238000009826 distribution Methods 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 230000006399 behavior Effects 0.000 claims description 20
- 238000012216 screening Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000013100 final test Methods 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 239000012085 test solution Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0269—Targeted advertisements based on user profile or attribute
- G06Q30/0271—Personalized advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及测试管理技术领域，本发明公开了一种基于SaaS的AB测试方案处理方法、装置、设备及存储介质，所述方法包括：通过接收AB测试请求，获取与AB测试请求对应的测试策略、测试集和用户群清单，并向用户标识发送接入请求；基于SaaS的服务接口，接收用户标识返回授权接入，并生成关联清单；基于SaaS的推送平台，根据测试周期和分流规则，向与用户标识对应的终端推送测试方案数据；通过推送平台实时接收测试终端返回的触发数据，并基于测试策略，通过统计分析得到指标数据；调整测试策略，得到调整后的指标数据，并确定出测试结果。因此，本发明实现了自动调整测试策略，准确地确定出最终的测试结果，提高了AB测试的准确率和回报率。
Description
技术领域
本发明涉及测试管理技术领域，尤其涉及一种基于SaaS的AB测试方案处理方法、装置、设备及存储介质。
背景技术
目前，随着互联网技术的飞速发展，互联网媒体以其受众面广、传播效率高等优点已经成为企业投放广告的一个重要渠道，广告的重要性得到了大大的提升。在现有的技术方案中，互联网媒体行业的广告投放主要采用竞价方式或者时间段分配方式进行。对于竞价投放广告的方式由于其面向大部分互联网用户，为企业创造了面向潜在群体进行推广的机会，但是，该方式只能设置固定的广告内容，对于时间段分配方式往往是根据时间段分配广告位，即在第一时间段将广告位分配给某一群体，在第二时间段将该广告位分配给其他群体，该方式虽能分阶段地向各类群体进行推广以试探潜在群体，但是，该方式是盲目推送，针对性不强，因此，两种方案不能迎合多种用户群的需求，从而导致广告投资回报率低的问题。
发明内容
本发明提供一种基于SaaS的AB测试方案处理方法、装置、计算机设备及存储介质，实现了通过基于SaaS的服务接口和推送平台，自动根据不同的初始用户标签推送相应的AB测试的测试方案数据，得到指标数据，及时基于指标数据调整测试策略，准确地确定出AB测试的测试结果，提高了AB测试的准确率和AB测试的回报率。
一种基于SaaS的AB测试方案处理方法，包括：
接收AB测试请求，获取与所述AB测试请求对应的测试策略、测试集和用户群清单，并向所述用户群清单中的用户标识发送接入请求；所述测试策略包括分流规则、指标阈值和测试周期；所述测试集包括测试版本和与所述测试版本关联的初始用户标签以及测试方案数据；所述用户群清单包括与所述初始用户标签关联的所述用户标识；
基于SaaS的服务接口，接收所述用户标识返回与接收到的所述接入请求对应的授权接入，将授权接入的所述用户标识和与其对应的所述初始用户标签关联的所述测试版本进行关联，生成关联清单，并将所述关联清单插入所述测试策略中；
基于SaaS的推送平台，根据所述测试周期和所述分流规则，向与所述用户标识对应的终端推送与所述用户标识关联的所述测试版本关联的所述测试方案数据，以令测试终端根据接收的测试方案数据设置数据埋点；所述测试终端为接收到测试方案数据的终端；
通过所述推送平台实时接收所述测试终端基于设置的数据埋点返回的触发数据，并基于所述测试策略，对所有所述触发数据进行统计分析，得到指标数据；
根据所述指标数据和预设的指标阈值，调整所述测试策略，得到调整后的指标数据，以及基于调整后的指标数据确定出与所述AB测试请求对应的测试结果。
一种基于SaaS的AB测试方案处理装置，包括：
接收模块，用于接收AB测试请求，获取与所述AB测试请求对应的测试策略、测试集和用户群清单，并向所述用户群清单中的用户标识发送接入请求；所述测试策略包括分流规则、指标阈值和测试周期；所述测试集包括测试版本和与所述测试版本关联的初始用户标签以及测试方案数据；所述用户群清单包括与所述初始用户标签关联的所述用户标识；
生成模块，用于基于SaaS的服务接口，接收所述用户标识返回与接收到的所述接入请求对应的授权接入，将授权接入的所述用户标识和与其对应的所述初始用户标签关联的所述测试版本进行关联，生成关联清单，并将所述关联清单插入所述测试策略中；
推送模块，用于基于SaaS的推送平台，根据所述测试周期和所述分流规则，向与所述用户标识对应的终端推送与所述用户标识关联的所述测试版本关联的所述测试方案数据，以令测试终端根据接收的测试方案数据设置数据埋点；所述测试终端为接收到测试方案数据的终端；
分析模块，用于通过所述推送平台实时接收所述测试终端基于设置的数据埋点返回的触发数据，并基于所述测试策略，对所有所述触发数据进行统计分析，得到指标数据；
调整模块，用于根据所述指标数据和预设的指标阈值，调整所述测试策略，得到调整后的指标数据，以及基于调整后的指标数据确定出与所述AB测试请求对应的测试结果。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于SaaS的AB测试方案处理方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于SaaS的AB测试方案处理方法的步骤。
本发明提供的基于SaaS的AB测试方案处理方法、装置、计算机设备及存储介质，通过接收AB测试请求，获取与所述AB测试请求对应的测试策略、测试集和用户群清单，并向所述用户群清单中的用户标识发送接入请求；基于SaaS的服务接口，接收所述用户标识返回与接收到的所述接入请求对应的授权接入，将授权接入的所述用户标识和与其对应的所述初始用户标签关联的所述测试版本进行关联，生成关联清单，并将所述关联清单插入所述测试策略中；基于SaaS的推送平台，根据所述测试周期和所述分流规则，向与所述用户标识对应的终端推送与所述用户标识关联的所述测试版本关联的所述测试方案数据，以令测试终端根据接收的测试方案数据设置数据埋点；通过所述推送平台实时接收所述测试终端基于设置的数据埋点返回的触发数据，并基于所述测试策略，对所有所述触发数据进行统计分析，得到指标数据；根据所述指标数据和预设的指标阈值，调整所述测试策略，得到调整后的指标数据，以及基于调整后的指标数据确定出与所述AB测试请求对应的测试结果，如此，能够通过基于SaaS的服务接口接收授权的用户的接入，做到统一接口的接入，并通过基于SaaS的推送平台针对不同的初始用户标签的用户推送相应的测试方案数据，以及实时接收触发数据，基于测试策略定时统计分析出指标数据，根据指标数据和指标阈值及时调整测试策略，以根据所有指标数据，准确地确定出AB测试的测试结果，达到自动根据不同的初始用户标签推送相应的AB测试的测试方案数据，及时调整测试策略，准确地确定出最终的AB测试的测试结果，提高了AB测试的准确率和AB测试的回报率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于SaaS的AB测试方案处理方法的应用环境示意图；
图2是本发明一实施例中基于SaaS的AB测试方案处理方法的流程图；
图3是本发明一实施例中基于SaaS的AB测试方案处理装置的原理框图；
图4是本发明一实施例中基于SaaS的AB测试方案处理装置的推送模块的原理框图；
图5是本发明一实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的基于SaaS的AB测试方案处理方法，可应用在如图1的应用环境中，其中，客户端(计算机设备或终端)通过网络与服务器进行通信。其中，客户端(计算机设备或终端)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种基于SaaS的AB测试方案处理方法，其技术方案主要包括以下步骤S10-S50：
S10，接收AB测试请求，获取与所述AB测试请求对应的测试策略、测试集和用户群清单，并向所述用户群清单中的用户标识发送接入请求；所述测试策略包括分流规则、指标阈值和测试周期；所述测试集包括测试版本和与所述测试版本关联的初始用户标签以及测试方案数据；所述用户群清单包括与所述初始用户标签关联的所述用户标识。
可理解地，所述AB测试请求为需要进行AB测试的请求，通过所述AB测试请求可以获取与该AB测试请求对应的所述测试策略、测试集和所述用户群清单，例如：AB测试请求包含有测试策略的标识编号、测试集的存储路径和用户群清单的表单路径等等，可以获取与该测试策略的标识编号对应的测试策略，和与该测试集的存储路径对应的测试集，以及与该用户群清单的表单路径对应的用户群清单，获取所述用户群清单之后，向所述用户群清单中的各所述用户标识发送所述接入请求，所述接入请求为邀请用户进入AB测试的请求，所述测试策略包括分流规则、指标阈值和测试周期，所述测试策略为进行AB测试的测试方法，所述分流规则为当需要同时进行多个测试版本进行AB测试时，需要通过分域的形式把一些会互相干扰的测试区隔开，用户只能命中某个测试版本所对应的测试方案数据，将不同测试版本在整个流量传输的占比中进行配置，可以是均匀分流，也可以是通过基于MAB(Multi-armed bandit problem，多臂老虎机)方法，自动结合不同测试版本所对应的测试方案数据的容量大小，自动调整流量分配的规则，所述指标阈值为预设的各个指标的阈值，所述测试周期为进行AB测试的时长，所述测试集包括测试版本和与所述测试版本关联的初始用户标签以及测试方案数据，所述初始用户标签为需要进行AB测试的用户所对应的群体类别，所述测试方案数据为开发出与其相应的测试版本的代码数据，一个测试版本关联一个所述初始用户标签和一个所述测试方案数据，所述用户群清单为所述测试集中涉及的所有初始用户标签所对应的用户标识的集合，所述用户群清单包括与所述初始用户标签关联的所述用户标识，所述用户标识为用户的唯一标识码。
在一实施例中，所述步骤S10之前，即所述获取与所述AB测试请求对应的测试策略、测试集和用户群清单之前，包括：
获取所述测试策略中的用户筛选配置。
可理解地，所述测试策略包括所述用户筛选配置，所述用户筛选配置为设置符合AB测试的用户的筛选条件，比如用户筛选配置为在过去两个月内访问过的用户，或者在过去两周访问过以及访问次数超过预设次数的用户等等。
根据所述用户筛选配置，对所有历史用户所关联的行为轨迹数据进行筛选，得到所述用户标识；所述用户标识为符合所述用户筛选配置的所述历史用户。
可理解地，所述历史用户为历史访问过的用户，一个所述历史用户关联一个所述行为轨迹数据，所述行为轨迹数据体现了与其对应的历史用户的访问轨迹，所述筛选的过程为从历史用户中获取所述行为轨迹数据中的属性符合所述用户筛选配置中的属性要求的历史用户，筛选后获得符合要求的历史用户的用户标识，所述用户标识为符合所述用户筛选配置的所述历史用户。
对各所述用户标识所关联的所述行为轨迹数据进行客户画像，得到与该用户标识对应的所述初始用户标签。
可理解地，根据获得的各个所述用户标识，获取与其关联的所述行为轨迹数据，对获取的各所述行为轨迹数据进行所述客户画像，所述客户画像的过程为通过用户画像模型对输入行为轨迹数据中的用户轨迹特征，所述用户轨迹特征为用户的属性、行为轨迹与画像类别的数据转化联结起来的特征，根据提取的用户轨迹特征进行分类，得到该行为轨迹数据对应的初始用户标签的过程，从而能够得到与所述行为轨迹数据所对应的所述用户标识对应的所述初始用户标签。
本实施例实现了通过获取所述测试策略中的用户筛选配置；根据所述用户筛选配置，对所有历史用户所关联的行为轨迹数据进行筛选，得到所述用户标识；所述用户标识为符合所述用户筛选配置的所述历史用户；对各所述用户标识所关联的所述行为轨迹数据进行客户画像，得到与该用户标识对应的所述初始用户标签，如此，能够基于用户筛选配置对历史用户进行筛选，获得用户标识，通过客户画像技术对所有用户标识进行画像，自动准确地识别出各筛选后的用户标识的初始用户标签，为后续的AB测试提供了推送的基础。
S20，基于SaaS的服务接口，接收所述用户标识返回与接收到的所述接入请求对应的授权接入，将授权接入的所述用户标识和与其对应的所述初始用户标签关联的所述测试版本进行关联，生成关联清单，并将所述关联清单插入所述测试策略中。
可理解地，所述SaaS的服务接口为统一接收各所述用户标识返回的所述授权接入，所述SaaS的服务接口为基于SaaS平台(运营SaaS软件的平台)开发的接口，在与所述用户标识对应的用户接收到所述接入请求后，同意接收AB测试的情况下触发所述授权接入，在所述用户群清单中查找与授权接入的所述用户标识对应的所述初始用户标签，然后在所述测试集中获取与查找到的所述初始用户标签关联的所述测试版本，将该用户标识与该测试版本进行关联，关联完所有授权接入的用户标识之后，生成所述关联清单，所述关联清单包含了授权接入的用户标识和与其关联的所述测试版本，将生成的所述关联清单插入所述测试策略中。
S30，基于SaaS的推送平台，根据所述测试周期和所述分流规则，向与所述用户标识对应的终端推送与所述用户标识关联的所述测试版本关联的所述测试方案数据，以令测试终端根据接收的测试方案数据设置数据埋点；所述测试终端为接收到测试方案数据的终端。
可理解地，所述基于SaaS的推送平台为统一向需要进行AB测试的用户标识推送的平台，所述基于SaaS的推送平台为基于SaaS平台(运营SaaS软件的平台)开发的推送工具，通过所述基于SaaS的推送平台，获取与所述测试周期对应起始时间，根据起始时间和所述分流规则，生成相应的分流配置，在当前时间抵达所述起始时间时，启用所述分流配置，并通过所述推送平台向各所述终端推送与所述终端关联的所述测试方案数据，以及通过测试方案数据设置接收后的测试终端的数据埋点，所述数据埋点为测试方案数据中需要采集的数据而设置的时间触发点或/和事件触发点，所述测试终端为接收到测试方案数据的终端。
在一实施例中，所述步骤S30中，即所述基于SaaS的推送平台，根据所述测试周期和所述分流规则，向与所述用户标识对应的终端推送与所述用户标识关联的所述测试版本关联的所述测试方案数据，包括：
根据所述分流规则和与所述测试周期对应的起始时间，生成分流配置。
可理解地，所述测试周期包含所述起始时间，所述起始时间为推送测试方案数据给相应的用户标识的终端的时间点，所述分流配置为在所述起始时间按照所述分流规则进行流量传输占比分配的配置文件，优先地，在所述推送平台生成该分流配置。
在检测到当前时间为所述起始时间时，启动所述分流配置。
可理解地，启动所述分流配置为生效所述分流配置，将向用户传输的流量占比按照所述分流配置进行划分。
运用分流哈希算法，通过所述推送平台向各所述终端推送与所述终端关联的所述测试方案数据。
可理解地，所述分流哈希算法为运用哈希算法，根据分流配置，划分所有所述用户标识，即按照哈希算法对所有用户标识进行每次传输的数量进行划分，划分出每次传输的不同初始用户标签的用户标识，再根据划分后的所述用户标识从所述关联清单中查询到与其关联的所述测试版本，再将与该测试版本关联的所述测试方案数据向该用户标识推送。
本实施例实现了通过根据所述分流规则和与所述测试周期对应的起始时间，生成分流配置；在检测到当前时间为所述起始时间时，启动所述分流配置；运用分流哈希算法，通过所述推送平台向各所述终端推送与所述终端关联的所述测试方案数据，如此，能够统一相同的时间点向用户投放测试方案数据，做到起点一致，为后续的指标数据的准确性和客观性提供了基础，通过推送平台的分流配置，以及分流哈希算法，能够快速地将测试方案数据推送至终端进行测试。
S40，通过所述推送平台实时接收所述测试终端基于设置的数据埋点返回的触发数据，并基于所述测试策略，对所有所述触发数据进行统计分析，得到指标数据。
可理解地，通过所述推送平台实时接收各个所述测试终端返回的所述触发数据，所述触发数据为所述测试终端在设置完后的数据埋点被触发后返回的相关数据，在当前时间抵达到所述测试策略中需要统计分析的时间节点时，对所述触发数据进行统计分析，所述统计分析的过程为从各个指标的维度衡量出各个测试方案数据所对应的测试效果，从而可以获得所述指标数据，所述指标数据为各个指标的维度衡量出各个测试方案数据的测试效果的衡量值，比如点击率、转化率和留存率等等。
S50，根据所述指标数据和预设的指标阈值，调整所述测试策略，得到调整后的指标数据，以及基于调整后的指标数据确定出与所述AB测试请求对应的测试结果。
可理解地，将所述指标数据中的各个实际转化率与相应的所述指标阈值进行对比，判断是否小于所述指标阈值，如果存在小于所述指标阈值的实际转化率，对所述测试策略进行拉长，因为初次的指标数据中出现小于指标阈值的实际转化率并不能很好的体现体验效果，需要二次确定，就需要相应拉长测试策略的时长，根据调整后的所述测试策略，重新获取调整后的所述指标数据，即在当前时间抵达调整后的所述测试策略中需要统计分析的时间节点时，统计分析出调整后的指标数据，根据调整后的指标数据，确定出所述测试结果，所述测试结果体现了此次AB测试请求中哪一个测试版本为最终需要推广的版本，如果不存在小于所述指标阈值的实际转化率，对所述测试策略进行分流配置的调整，以及相应增加固定的时长，根据各个测试版本的实际转化率对相应的测试版本的流量传输占比进行变化，例如将实际转化率进行降序排列，按照升序的方式依次赋予降序中的各个实际转化率所对应的测试版本的流量传输占比，从而增大流量传输占比以扩大低实际转化率的用户标识的体验效果，以真实体现各个测试版本的体验情况，如此，能够准确地确定出最大回报率的测试版本。
其中，所述指标数据包括与各初始用户标签一一对应的实际转化率，所述实际转化率体现了用户体验的好坏的衡量指标，也体现了回报率。
本实施例实现了通过接收AB测试请求，获取与所述AB测试请求对应的测试策略、测试集和用户群清单，并向所述用户群清单中的用户标识发送接入请求；基于SaaS的服务接口，接收所述用户标识返回与接收到的所述接入请求对应的授权接入，将授权接入的所述用户标识和与其对应的所述初始用户标签关联的所述测试版本进行关联，生成关联清单，并将所述关联清单插入所述测试策略中；基于SaaS的推送平台，根据所述测试周期和所述分流规则，向与所述用户标识对应的终端推送与所述用户标识关联的所述测试版本关联的所述测试方案数据，以令测试终端根据接收的测试方案数据设置数据埋点；通过所述推送平台实时接收所述测试终端基于设置的数据埋点返回的触发数据，并基于所述测试策略，对所有所述触发数据进行统计分析，得到指标数据；根据所述指标数据和预设的指标阈值，调整所述测试策略，得到调整后的指标数据，以及基于调整后的指标数据确定出与所述AB测试请求对应的测试结果，如此，能够通过基于SaaS的服务接口接收授权的用户的接入，做到统一接口的接入，并通过基于SaaS的推送平台针对不同的初始用户标签的用户推送相应的测试方案数据，以及实时接收触发数据，基于测试策略定时统计分析出指标数据，根据指标数据和指标阈值及时调整测试策略，以根据所有指标数据，准确地确定出AB测试的测试结果，达到自动根据不同的初始用户标签推送相应的AB测试的测试方案数据，及时调整测试策略，准确地确定出最终的AB测试的测试结果，提高了AB测试的准确率和AB测试的回报率。
在一实施例中，所述步骤S50中，即所述根据所述指标数据和所述指标阈值对所述测试策略进行调整，得到调整后的指标数据，包括：
若存在小于所述指标阈值的实际转化率，将所述测试周期延长预设时长；所述指标数据包括与各初始用户标签一一对应的实际转化率。
可理解地，如果存在小于所述指标阈值的实际转化率，对所述测试策略进行拉长，因为初次的指标数据中出现小于指标阈值的实际转化率并不能很好的体现体验效果，需要二次确定，就需要相应拉长测试策略的时长，其中，相应拉长测试策略的时长即为所述预设时长，可以根据与所述指标阈值的差距映射出与其相应的时长，从而将该时长增加入所述测试策略中的时长中，其中，所述指标数据包括与各初始用户标签一一对应的实际转化率，所述实际转化率体现了用户体验的好坏的衡量指标，也体现了回报率。
将所有与小于所述指标阈值的实际转化率对应的所述用户标识记录为待调整用户。
对所有待调整用户在观察时段的行为轨迹数据进行二次画像，识别出各所述待调整用户的二次用户标签；所述观察时段为当前距离所述起始时间的时间段。
可理解地，所述二次画像为对所述观察时段内的所述待调整用户所产生的行为轨迹数据进行二次分类，二次分类为提取待调整用户的二次轨迹特征，所述二次轨迹特征为与所述测试集中涉及的所有所述初始用户标签相应的特征，从而根据提取的二次轨迹特征确定出待调整用户属于所述测试集中涉及的所有所述初始用户标签中的哪一个用户标签，将其确定为所述待调整用户的二次用户标签，所述二次用户标签体现了在所述观察时段待调整用户所属的群体类别，因为用户会在观察时段受测试方案数据的影响而出现群体类别变化的情况，仍按照原来的初始用户标签就会出现不符合实际体验的情况，所以需要随之相应的重新定义新的初始用户标签。
其中，所述观察时段为当前距离所述起始时间的时间段。
根据所有所述待调整用户的二次用户标签，对所述分流规则进行调整。
可理解地，对所述分流规则进行调整的过程为重新汇总初始用户标签和与该初始用户标签相同的二次用户标签，根据汇总的数量占总体的占比调整所述分流规则的过程。
基于调整后的所述测试策略重新获取调整后的指标数据。
可理解地，在当前时间抵达调整后的所述测试策略中需要统计分析的时间节点时，统计分析出调整后的指标数据。
本实施例实现了若存在小于所述指标阈值的实际转化率，将所述测试周期延长预设时长；将所有与小于所述指标阈值的实际转化率对应的所述用户标识记录为待调整用户；对所有待调整用户在观察时段的行为轨迹数据进行二次画像，识别出各所述待调整用户的二次用户标签；根据所有所述待调整用户的二次用户标签，对所述分流规则进行调整；基于调整后的所述测试策略重新获取调整后的指标数据，如此，能够在测试过程中及时发现低于指标阈值的用实际转化率，作出相应调整，进行二次画像以调整分流规则，能够更加准确地获得测试结果，提高了AB测试的准确性。
在一实施例中，所述步骤S50中，即所述基于调整后的指标数据确定出与所述AB测试请求对应的测试结果，包括：
检测调整后的所述指标数据是否满足停止调整条件。
可理解地，所述停止调整条件可根据需求设定，比如停止调整条件为调整后的所述指标数据中最大的实际转化率大于预设最大阈值等。
在检测到调整后的所述指标数据满足停止调整条件满足停止调整条件时，对所有所述指标数据进行趋势分析，确定所述测试结果。
可理解地，对调整前的所述指标数据和调整后的所述指标数据进行趋势分析，所述趋势分析为识别出各测试版本的实际转化率的均值中最大所对应的测试版本，将该测试版本确定为所述测试结果。
本实施例实现了通过检测调整后的所述指标数据是否满足停止调整条件；在检测到调整后的所述指标数据满足停止调整条件满足停止调整条件时，对所有所述指标数据进行趋势分析，确定所述测试结果，如此，能够依据停止调整条件，判断是否需要停止调整测试策略，停止调整后能够自动趋势分析出测试结果，提高了AB测试的准确率和AB测试的回报率。
在一实施例中，在检测到调整后的所述指标数据不满足停止调整条件时，调整所述测试策略中的分流规则，直至满足停止调整条件，对所有所述指标数据进行趋势分析，确定所述测试结果。
在一实施例中，所述步骤S50之后，即所述根据接收到的所有指标数据，确定出与AB测试请求对应的测试结果之后，包括：
获取与所述测试结果中的测试版本对应的测试方案数据。
通过所述推送平台，向所有用户分时推送获取的所述测试方案数据。
如此，通过推送平台，将测试结果中的测试方案数据进行全量投放，快速地投放至各个用户的终端，达到产品下放的及时性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于SaaS的AB测试方案处理装置，该基于SaaS的AB测试方案处理装置与上述实施例中基于SaaS的AB测试方案处理方法一一对应。如图3所示，该基于SaaS的AB测试方案处理装置包括接收模块11、生成模块12、推送模块13、分析模块14和调整模块15。各功能模块详细说明如下：
接收模块11，用于接收AB测试请求，获取与所述AB测试请求对应的测试策略、测试集和用户群清单，并向所述用户群清单中的用户标识发送接入请求；所述测试策略包括分流规则、指标阈值和测试周期；所述测试集包括测试版本和与所述测试版本关联的初始用户标签以及测试方案数据；所述用户群清单包括与所述初始用户标签关联的所述用户标识；
生成模块12，用于基于SaaS的服务接口，接收所述用户标识返回与接收到的所述接入请求对应的授权接入，将授权接入的所述用户标识和与其对应的所述初始用户标签关联的所述测试版本进行关联，生成关联清单，并将所述关联清单插入所述测试策略中；
推送模块13，用于基于SaaS的推送平台，根据所述测试周期和所述分流规则，向与所述用户标识对应的终端推送与所述用户标识关联的所述测试版本关联的所述测试方案数据，以令测试终端根据接收的测试方案数据设置数据埋点；所述测试终端为接收到测试方案数据的终端；
分析模块14，用于通过所述推送平台实时接收所述测试终端基于设置的数据埋点返回的触发数据，并基于所述测试策略，对所有所述触发数据进行统计分析，得到指标数据；
调整模块15，用于根据所述指标数据和预设的指标阈值，调整所述测试策略，得到调整后的指标数据，以及基于调整后的指标数据确定出与所述AB测试请求对应的测试结果。
在一实施例中，如图4所示，所述推送模块13包括：
生成子模块31，用于根据所述分流规则和与所述测试周期对应的起始时间，生成分流配置；
启动子模块32，用于在检测到当前时间为所述起始时间时，启动所述分流配置；
推送子模块33，用于运用分流哈希算法，通过所述推送平台向各所述终端推送与所述终端关联的所述测试方案数据。
关于基于SaaS的AB测试方案处理装置的具体限定可以参见上文中对于基于SaaS的AB测试方案处理方法的限定，在此不再赘述。上述基于SaaS的AB测试方案处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是客户端或者服务端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该可读存储介质存储有操作系统、计算机程序和数据库。该内存储器为可读存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于SaaS的AB测试方案处理方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于SaaS的AB测试方案处理方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中基于SaaS的AB测试方案处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于SaaS的AB测试方案处理方法，其特征在于，包括：
接收AB测试请求，获取与所述AB测试请求对应的测试策略、测试集和用户群清单，并向所述用户群清单中的用户标识发送接入请求；所述测试策略包括分流规则、指标阈值和测试周期；所述测试集包括测试版本和与所述测试版本关联的初始用户标签以及测试方案数据；所述用户群清单包括与所述初始用户标签关联的所述用户标识；
基于SaaS的服务接口，接收所述用户标识返回与接收到的所述接入请求对应的授权接入，将授权接入的所述用户标识和与其对应的所述初始用户标签关联的所述测试版本进行关联，生成关联清单，并将所述关联清单插入所述测试策略中；
基于SaaS的推送平台，根据所述测试周期和所述分流规则，向与所述用户标识对应的终端推送与所述用户标识关联的所述测试版本关联的所述测试方案数据，以令测试终端根据接收的测试方案数据设置数据埋点；所述测试终端为接收到测试方案数据的终端；
通过所述推送平台实时接收所述测试终端基于设置的数据埋点返回的触发数据，并基于所述测试策略，对所有所述触发数据进行统计分析，得到指标数据；
根据所述指标数据和预设的指标阈值，调整所述测试策略，得到调整后的指标数据，以及基于调整后的指标数据确定出与所述AB测试请求对应的测试结果。
2.如权利要求1所述的基于SaaS的AB测试方案处理方法，其特征在于，所述获取与所述AB测试请求对应的测试策略、测试集和用户群清单之前，包括：
获取所述测试策略中的用户筛选配置；
根据所述用户筛选配置，对所有历史用户所关联的行为轨迹数据进行筛选，得到所述用户标识；所述用户标识为符合所述用户筛选配置的所述历史用户；
对各所述用户标识所关联的所述行为轨迹数据进行客户画像，得到与该用户标识对应的所述初始用户标签。
3.如权利要求1所述的基于SaaS的AB测试方案处理方法，其特征在于，所述基于SaaS的推送平台，根据所述测试周期和所述分流规则，向与所述用户标识对应的终端推送与所述用户标识关联的所述测试版本关联的所述测试方案数据，包括：
根据所述分流规则和与所述测试周期对应的起始时间，生成分流配置；
在检测到当前时间为所述起始时间时，启动所述分流配置；
运用分流哈希算法，通过所述推送平台向各所述终端推送与所述终端关联的所述测试方案数据。
4.如权利要求3所述的基于SaaS的AB测试方案处理方法，其特征在于，所述根据所述指标数据和所述指标阈值对所述测试策略进行调整，得到调整后的指标数据，包括：
若存在小于所述指标阈值的实际转化率，将所述测试周期延长预设时长；所述指标数据包括与各初始用户标签一一对应的实际转化率；
将所有与小于所述指标阈值的实际转化率对应的所述用户标识记录为待调整用户；
对所有待调整用户在观察时段的行为轨迹数据进行二次画像，识别出各所述待调整用户的二次用户标签；所述观察时段为当前距离所述起始时间的时间段；
根据所有所述待调整用户的二次用户标签，对所述分流规则进行调整；
基于调整后的所述测试策略重新获取调整后的指标数据。
5.如权利要求1所述的基于SaaS的AB测试方案处理方法，其特征在于，所述基于调整后的指标数据确定出与所述AB测试请求对应的测试结果，包括：
检测调整后的所述指标数据是否满足停止调整条件；
在检测到调整后的所述指标数据满足停止调整条件满足停止调整条件时，对所有所述指标数据进行趋势分析，确定所述测试结果。
6.如权利要求1所述的基于SaaS的AB测试方案处理方法，其特征在于，所述根据接收到的所有指标数据，确定出与AB测试请求对应的测试结果之后，包括：
获取与所述测试结果中的测试版本对应的测试方案数据；
通过所述推送平台，向所有用户分时推送获取的所述测试方案数据。
7.一种基于SaaS的AB测试方案处理装置，其特征在于，包括：
接收模块，用于接收AB测试请求，获取与所述AB测试请求对应的测试策略、测试集和用户群清单，并向所述用户群清单中的用户标识发送接入请求；所述测试策略包括分流规则、指标阈值和测试周期；所述测试集包括测试版本和与所述测试版本关联的初始用户标签以及测试方案数据；所述用户群清单包括与所述初始用户标签关联的所述用户标识；
生成模块，用于基于SaaS的服务接口，接收所述用户标识返回与接收到的所述接入请求对应的授权接入，将授权接入的所述用户标识和与其对应的所述初始用户标签关联的所述测试版本进行关联，生成关联清单，并将所述关联清单插入所述测试策略中；
推送模块，用于基于SaaS的推送平台，根据所述测试周期和所述分流规则，向与所述用户标识对应的终端推送与所述用户标识关联的所述测试版本关联的所述测试方案数据，以令测试终端根据接收的测试方案数据设置数据埋点；所述测试终端为接收到测试方案数据的终端；
分析模块，用于通过所述推送平台实时接收所述测试终端基于设置的数据埋点返回的触发数据，并基于所述测试策略，对所有所述触发数据进行统计分析，得到指标数据；
调整模块，用于根据所述指标数据和预设的指标阈值，调整所述测试策略，得到调整后的指标数据，以及基于调整后的指标数据确定出与所述AB测试请求对应的测试结果。
8.如权利要求7所述的基于SaaS的AB测试方案处理装置，其特征在于，所述推送模块包括：
生成子模块，用于根据所述分流规则和与所述测试周期对应的起始时间，生成分流配置；
启动子模块，用于在检测到当前时间为所述起始时间时，启动所述分流配置；
推送子模块，用于运用分流哈希算法，通过所述推送平台向各所述终端推送与所述终端关联的所述测试方案数据。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于SaaS的AB测试方案处理方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于SaaS的AB测试方案处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110915848.7A CN113742577A (zh) | 2021-08-10 | 2021-08-10 | 基于SaaS的AB测试方案处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110915848.7A CN113742577A (zh) | 2021-08-10 | 2021-08-10 | 基于SaaS的AB测试方案处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113742577A true CN113742577A (zh) | 2021-12-03 |
Family
ID=78730661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110915848.7A Pending CN113742577A (zh) | 2021-08-10 | 2021-08-10 | 基于SaaS的AB测试方案处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113742577A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114390105A (zh) * | 2022-03-01 | 2022-04-22 | 阿里巴巴（中国）有限公司 | 基于测试的企业用户分流方法及设备 |
| CN115658530A (zh) * | 2022-11-03 | 2023-01-31 | 荣耀终端有限公司 | 软件版本并行测试方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106856439A (zh) * | 2016-12-07 | 2017-06-16 | 武汉斗鱼网络科技有限公司 | 一种方案测试的方法及服务器 |
| CN107909395A (zh) * | 2017-11-09 | 2018-04-13 | 深圳云麦科技有限公司 | 基于点击效果的广告测试方法、装置及系统 |
| CN109739757A (zh) * | 2018-12-28 | 2019-05-10 | 微梦创科网络科技（中国）有限公司 | 一种ab测试方法及装置 |
| CN110570232A (zh) * | 2019-08-05 | 2019-12-13 | 科大讯飞股份有限公司 | 互联网广告投放方法、装置、服务器及存储介质 |
| CN110708210A (zh) * | 2019-08-30 | 2020-01-17 | 深圳壹账通智能科技有限公司 | 云测试配置方法、装置、计算机设备及存储介质 |
| CN111080374A (zh) * | 2019-12-27 | 2020-04-28 | 北京悠易网际科技发展有限公司 | 广告投放策略的测试方法、竞价服务器及广告投放系统 |
| CN112367684A (zh) * | 2020-10-13 | 2021-02-12 | 北京健康之家科技有限公司 | 流量控制方法、装置、存储介质及计算机设备 |
| CN112579422A (zh) * | 2019-09-27 | 2021-03-30 | 腾讯科技（深圳）有限公司 | 一种方案测试方法、装置、服务器及存储介质 |
| CN112839063A (zh) * | 2019-11-04 | 2021-05-25 | 腾讯科技（深圳）有限公司 | 消息推送方法、消息显示方法、存储介质和计算机设备 |
-
2021
- 2021-08-10 CN CN202110915848.7A patent/CN113742577A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106856439A (zh) * | 2016-12-07 | 2017-06-16 | 武汉斗鱼网络科技有限公司 | 一种方案测试的方法及服务器 |
| CN107909395A (zh) * | 2017-11-09 | 2018-04-13 | 深圳云麦科技有限公司 | 基于点击效果的广告测试方法、装置及系统 |
| CN109739757A (zh) * | 2018-12-28 | 2019-05-10 | 微梦创科网络科技（中国）有限公司 | 一种ab测试方法及装置 |
| CN110570232A (zh) * | 2019-08-05 | 2019-12-13 | 科大讯飞股份有限公司 | 互联网广告投放方法、装置、服务器及存储介质 |
| CN110708210A (zh) * | 2019-08-30 | 2020-01-17 | 深圳壹账通智能科技有限公司 | 云测试配置方法、装置、计算机设备及存储介质 |
| CN112579422A (zh) * | 2019-09-27 | 2021-03-30 | 腾讯科技（深圳）有限公司 | 一种方案测试方法、装置、服务器及存储介质 |
| CN112839063A (zh) * | 2019-11-04 | 2021-05-25 | 腾讯科技（深圳）有限公司 | 消息推送方法、消息显示方法、存储介质和计算机设备 |
| CN111080374A (zh) * | 2019-12-27 | 2020-04-28 | 北京悠易网际科技发展有限公司 | 广告投放策略的测试方法、竞价服务器及广告投放系统 |
| CN112367684A (zh) * | 2020-10-13 | 2021-02-12 | 北京健康之家科技有限公司 | 流量控制方法、装置、存储介质及计算机设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114390105A (zh) * | 2022-03-01 | 2022-04-22 | 阿里巴巴（中国）有限公司 | 基于测试的企业用户分流方法及设备 |
| CN115658530A (zh) * | 2022-11-03 | 2023-01-31 | 荣耀终端有限公司 | 软件版本并行测试方法及装置 |
| CN115658530B (zh) * | 2022-11-03 | 2024-04-09 | 荣耀终端有限公司 | 软件版本并行测试方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109271420B (zh) | 信息推送方法、装置、计算机设备和存储介质 | |
| CN109729131B (zh) | 一种应用请求的处理方法、装置和路由器 | |
| US20210360322A1 (en) | Methods and apparatus to categorize media impressions by age | |
| US10248674B2 (en) | Method and apparatus for data quality management and control | |
| CN110781379A (zh) | 信息推荐方法、装置、计算机设备和存储介质 | |
| CN113742577A (zh) | 基于SaaS的AB测试方案处理方法、装置、设备及存储介质 | |
| CN109474578A (zh) | 报文消息校验方法、装置、计算机设备和存储介质 | |
| CN111090788A (zh) | json文件的比对方法、装置、存储介质及计算机设备 | |
| CN111177081A (zh) | 游戏日志内容查询方法、装置、计算机设备和存储介质 | |
| CN110688168A (zh) | 提高应用程序启动速度方法、装置、设备及存储介质 | |
| CN110930254A (zh) | 基于区块链的数据处理方法、装置、终端及介质 | |
| CN110084476B (zh) | 案件调整方法、装置、计算机设备和存储介质 | |
| CN114265974A (zh) | 一种客户画像标签推荐系统及方法 | |
| CN114065090A (zh) | 分类数据库的更新方法、系统、存储介质及计算机设备 | |
| CN110929204A (zh) | 坑位数据归属确定方法、装置、计算机设备和存储介质 | |
| CN109213924B (zh) | 推广任务分配方法、装置和计算机设备 | |
| CN114463044A (zh) | 广告计划调整方法、装置、计算机设备及存储介质 | |
| CN111582832B (zh) | 基于区块链的公平竞争审查方法及系统 | |
| CN114861074A (zh) | 一种用户数据分析方法和系统 | |
| CN113434765A (zh) | 客户回访方法、系统、设备及存储介质 | |
| CN108881591B (zh) | 一种多平台信息推荐方法、装置及存储介质 | |
| CN113515691B (zh) | 资源分发方法、装置、电子设备及存储介质 | |
| CN113254349A (zh) | 基于云函数的ab测试处理方法、装置、设备及存储介质 | |
| CN112685653B (zh) | 一种人才就业模型的题库推送配置方法及系统 | |
| CN113038283A (zh) | 视频推荐方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |