CN117785708A - 一种针对ab测试的数据处理方法和相关装置 - Google Patents

一种针对ab测试的数据处理方法和相关装置 Download PDF

Info

Publication number
CN117785708A
CN117785708A CN202311864701.5A CN202311864701A CN117785708A CN 117785708 A CN117785708 A CN 117785708A CN 202311864701 A CN202311864701 A CN 202311864701A CN 117785708 A CN117785708 A CN 117785708A
Authority
CN
China
Prior art keywords
test
data
query
strategy
query statement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311864701.5A
Other languages
English (en)
Inventor
闫布福
孙连鹏
于鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing SoundAI Technology Co Ltd
Original Assignee
Beijing SoundAI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing SoundAI Technology Co Ltd filed Critical Beijing SoundAI Technology Co Ltd
Priority to CN202311864701.5A priority Critical patent/CN117785708A/zh
Publication of CN117785708A publication Critical patent/CN117785708A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种针对AB测试的数据处理方法和相关装置,获取测试数据、聚合数据和查询语句,其中,测试数据为对目标应用进行AB测试得到的数据,聚合数据为用于描述与AB测试包括的策略相关的数据,查询语句用于查询AB测试包括的多个策略分别对目标应用的影响。根据测试数据、聚合数据和查询语句,通过AB测试大模型进行数据处理,得到针对查询语句的查询结果,该查询结果包括用于描述策略对目标应用的影响程度,以及用于描述策略对应的影响理由。其中,AB测试大模型具有能够学习聚合数据的能力,然后从测试数据中确定查询语句对应的查询结果。从而可以根据测试数据确定AB测试中哪个策略更好以及更好的理由,进而提高后续确定最优版本的准确性。

Description

一种针对AB测试的数据处理方法和相关装置
技术领域
本发明涉及数据处理技术领域,尤其是涉及一种针对AB测试的数据处理方法和相关装置。
背景技术
AB测试是指针对同一待测试内容的不同版本,如针对同一页面具有A版本和B版本,然后比较两个版本之间关注的数据,如转换率、性能、跳出率等,最后选择从两个版本中选择一个最优版本。
相关技术中,一般通过人工查询的方式从多个版本中确定出最优版本。例如,基于通过AB测试得到的测试数据比较两个版本时,若两个版本对应的测试数据相差较大,则选取效果较好的版本;若两个版本对应的测试数据相差不大,则无法确定哪个版本较好,但是随机选取一个版本作为最优版本可能会导致效果时好时坏,从而导致确定最优版本的准确性较低。
发明内容
针对上述问题,本申请提供一种针对AB测试的数据处理方法和相关装置,用于提高确定最优版本的准确性。
基于此,本申请实施例公开了如下技术方案:
一方面,本申请实施例提供一种针对AB测试的数据处理方法,所述方法包括:
获取测试数据、聚合数据和查询语句,所述测试数据为对目标应用进行AB测试得到的数据,所述聚合数据为用于描述与所述AB测试包括的策略相关的数据,所述查询语句用于查询所述AB测试包括的多个策略分别对所述目标应用的影响;
根据所述测试数据、所述聚合数据和所述查询语句,通过AB测试大模型进行数据处理,得到针对所述查询语句的查询结果,所述查询结果包括用于描述所述策略对所述目标应用的影响程度,以及用于描述所述策略对应的影响理由,所述AB测试大模型为用于通过学习所述聚合数据,从所述测试数据中确定所述查询语句对应的查询结果的模型。
可选的,所述根据所述测试数据、所述聚合数据和所述查询语句,通过AB测试大模型进行数据处理,得到针对所述查询语句的查询结果,包括:
将所述测试数据、所述聚合数据和所述查询语句输入至所述AB测试大模型,通过所述AB测试大模型将所述查询语句进行拆分,得到多个关键词;根据所述测试数据和所述聚合数据,确定所述多个关键词分别对应的查询子结果;根据多个所述查询子结果,确定所述查询结果,其中,不同关键词对应不同的查询维度。
可选的,所述根据所述测试数据、所述聚合数据和所述查询语句,通过AB测试大模型进行数据处理,得到针对所述查询语句的查询结果,包括:
根据所述测试数据、所述聚合数据和所述查询语句,通过AB测试大模型进行数据处理,得到针对所述查询语句的查询结果和特殊结果,所述特殊结果用于描述第一目标策略在目标时间段对所述目标应用的影响程度,在所述目标时间段,所述第一目标策略对应的影响程度与其他策略对应的影响程度的差值大于预设阈值。
可选的,所述方法还包括:
基于账号进行划分,得到多个策略组,不同策略组对应的账号不同,不同策略组在所述AB测试中使用的策略不同;
响应于所述目标应用启动,根据登录所述目标应用的账号对应的第二目标策略,显示所述目标应用对应的目标界面;
响应于获取针对所述目标界面的操作,得到针对所述第二目标策略的测试数据。
可选的,所述查询语句为基于语音输入的语句。
另一方面,本申请提供了一种针对AB测试的数据处理装置,所述装置包括:获取单元和确定单元;
所述获取单元,用于获取测试数据、聚合数据和查询语句,所述测试数据为对目标应用进行AB测试得到的数据,所述聚合数据为用于描述与所述AB测试包括的策略相关的数据,所述查询语句用于查询所述AB测试包括的多个策略分别对所述目标应用的影响;
所述确定单元,用于根据所述测试数据、所述聚合数据和所述查询语句,通过AB测试大模型进行数据处理,得到针对所述查询语句的查询结果,所述查询结果包括用于描述所述策略对所述目标应用的影响程度,以及用于描述所述策略对应的影响理由,所述AB测试大模型为用于通过学习所述聚合数据,从所述测试数据中确定所述查询语句对应的查询结果的模型。
可选的,所述确定单元,具体用于:
将所述测试数据、所述聚合数据和所述查询语句输入至所述AB测试大模型,通过所述AB测试大模型将所述查询语句进行拆分,得到多个关键词;根据所述测试数据和所述聚合数据,确定所述多个关键词分别对应的查询子结果;根据多个所述查询子结果,确定所述查询结果,其中,不同关键词对应不同的查询维度。
可选的,所述确定单元,具体用于:
根据所述测试数据、所述聚合数据和所述查询语句,通过AB测试大模型进行数据处理,得到针对所述查询语句的查询结果和特殊结果,所述特殊结果用于描述第一目标策略在目标时间段对所述目标应用的影响程度,在所述目标时间段,所述第一目标策略对应的影响程度与其他策略对应的影响程度的差值大于预设阈值。
可选的,所述查询语句为基于语音输入的语句。
另一方面,本申请提供了一种计算机设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行上述方面所述的方法。
另一方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述方面所述的方法。
另一方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方面所述的方法。
本申请上述技术方案的优点在于:
获取测试数据、聚合数据和查询语句,其中,测试数据为对目标应用进行AB测试得到的数据,聚合数据为用于描述与AB测试包括的策略相关的数据,查询语句用于查询AB测试包括的多个策略分别对目标应用的影响。根据测试数据、聚合数据和查询语句,通过AB测试大模型进行数据处理,得到针对查询语句的查询结果,该查询结果包括用于描述策略对目标应用的影响程度,以及用于描述策略对应的影响理由。其中,AB测试大模型具有能够学习聚合数据的能力,然后从测试数据中确定查询语句对应的查询结果,使得AB测试大模型不仅可以根据查询语句的查询指示,从测试数据中得到用于描述策略对目标应用的影响程度,还能够结合聚合数据得到用于描述策略对应的影响理由,从而可以根据测试数据确定AB测试中哪个策略更好以及更好的理由,进而提高后续确定最优版本的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本申请提供的一种针对AB测试的数据处理方法的流程图;
图2为本申请提供的一种针对AB测试的数据处理装置的示意图;
图3为本申请实施例提供的一种计算机设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供的针对AB测试的数据处理方法可以应用于具有针对AB测试的数据处理能力的计算机设备,如终端设备、服务器。其中,终端设备具体可以为台式计算机、笔记本电脑、手机和平板电脑等;服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统等。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
下面结合图1,对本申请实施例提供的一种针对AB测试的数据处理方法进行介绍。参见图1,该图为本申请实施例提供的一种针对AB测试的数据处理方法的流程图,该方法可以包括S101-S102。
一方面,本申请实施例提供一种针对AB测试的数据处理方法,所述方法包括:
S101:获取测试数据、聚合数据和查询语句。
下面分别进行说明。
(1)测试数据为对目标应用进行AB测试得到的数据,目标应用是通过AB测试进行测试的应用,如手机应用等。通过对目标应用进行AB测试,得到的数据即为测试数据。
AB测试包括多个策略,不同策略可以是针对目标应用包括的不同方面进行的测试。例如,目标应用包括的首页展示了多个功能模块,可以针对每个功能模块设计一个策略,通过策略测试用户怎么能增大点击该功能模块的概率等。
(2)聚合数据为用于描述与AB测试包括的策略相关的数据,如与策略有关的知识(生活常识、历史人文等)、使用目标应用的用户的用户数据等。
(3)查询语句用于查询AB测试包括的多个策略分别对目标应用的影响,如针对目标应用使用了10个策略,通过查询语句查询哪个策略对目标应用的效果最好,如使用哪个策略后的功能模块用户的点击率最高。可选的,查询语句为基于语音输入的语句,从而提高分析的便捷性。
S102:根据测试数据、聚合数据和查询语句,通过AB测试大模型进行数据处理,得到针对查询语句的查询结果。
其中,查询结果包括用于描述策略对目标应用的影响程度,以及用于描述策略对应的影响理由。例如,查询结果可以是使用A策略后B功能模块的点击率最高,原因是相比于其他策略,使用A策略后B功能模块在目标应用的位置更易于用户点击。
AB测试大模型为用于通过学习聚合数据,从测试数据中确定查询语句对应的查询结果的模型。也就是说,通过学习聚合数据,AB测试大模型不仅具有查询功能,还具有分析功能。本申请实施例不具体限定AB测试大模型,可以在语言问答模型的基础上将其训练为适用于AB测试等,本领域技术人员可以根据实际需要进行设置。
由上述技术方案可知,获取测试数据、聚合数据和查询语句,其中,测试数据为对目标应用进行AB测试得到的数据,聚合数据为用于描述与AB测试包括的策略相关的数据,查询语句用于查询AB测试包括的多个策略分别对目标应用的影响。根据测试数据、聚合数据和查询语句,通过AB测试大模型进行数据处理,得到针对查询语句的查询结果,该查询结果包括用于描述策略对目标应用的影响程度,以及用于描述策略对应的影响理由。其中,AB测试大模型具有能够学习聚合数据的能力,然后从测试数据中确定查询语句对应的查询结果,使得AB测试大模型不仅可以根据查询语句的查询指示,从测试数据中得到用于描述策略对目标应用的影响程度,还能够结合聚合数据得到用于描述策略对应的影响理由,从而可以根据测试数据确定AB测试中哪个策略更好以及更好的理由,进而提高后续确定最优版本的准确性。
作为一种可能的实现方式,本申请实施例还提供一种S102的具体实现方式,即根据测试数据、聚合数据和查询语句,通过AB测试大模型进行数据处理,得到针对查询语句的查询结果的具体实现方式。
具体地,将测试数据、聚合数据和查询语句输入至AB测试大模型,通过AB测试大模型将查询语句进行拆分,得到多个关键词;根据测试数据和聚合数据,确定多个关键词分别对应的查询子结果;根据多个查询子结果,确定查询结果,其中,不同关键词对应不同的查询维度。
由于针对AB测试的查询一般具有较为明确的指向性,如查询语句为“这一个月内哪个策略对目标应用的点击率最高”,该查询语句具有时间要求、策略要求、指标要求,每个要求对应一个关键词,分别是一个月、策略、点击率最高。从而可以将查询语句进行拆分,得到多个关键词,使得不同关键词对应不同的查询维度,以便基于关键词分别进行查询。
其次,AB测试大模型可以通过学习聚合数据,能够从测试数据中确定多个关键词分别对应的查询子结果,如一个月内的策略都是什么,点击率最高的策略都是什么等。最后根据多个查询子结果,确定查询结果。例如,将多个查询子结果的交集作为查询结果。又或者,可以确定多个关键词的顺序,基于关键词的顺序多次筛选得到最终的查询结果。例如,先基于关键词“点击率最高”确定多个策略,然后再从多个点击率最高的策略中筛选得到一个月内点击率最高的策略。
由此,通过AB测试大模型,不仅可以得到用于描述策略对目标应用的影响程度,以及用于描述策略对应的影响理由,还可以通过拆分查询语句得到用于指示查询的关键词,去掉查询语句中冗余词汇对查询方向的干扰,提高查询的准确性。
作为一种可能的实现方式,本申请实施例还提供一种S102的具体实现方式,即根据测试数据、聚合数据和查询语句,通过AB测试大模型进行数据处理,得到针对查询语句的查询结果的具体实现方式。
具体地,根据测试数据、聚合数据和查询语句,通过AB测试大模型进行数据处理,不仅可以得到查询结果和特殊结果。
其中,特殊结果用于描述第一目标策略在目标时间段对目标应用的影响程度,在目标时间段,第一目标策略对应的影响程度与其他策略对应的影响程度的差值大于预设阈值,其他策略是指多个策略中除第一目标策略以外的策略。由此,可以训练AB测试大模型得到查询结果后,针对异常突出的策略进行总结,例如,特殊结果可以是,A策略在年轻朋友晚八点以后更受欢迎。从而无需人工有针对性地设置查询语句,还能够发现具有特点的策略。
作为一种可能的实现方案,可以基于账号进行划分,得到多个策略组,使得不同的策略组对应的账号不同,其中,不同的策略组在AB测试中使用的策略不同。当用户启动目标应用后,响应于目标应用启动,根据登录目标应用的账号对应的第二目标策略,显示目标应用对应的目标界面。第二目标策略是登录目标应用的账号所在策略组使用的策略,目标界面是使用了第二目标策略的界面。当用户针对目标界面执行点击、分享等操作后,响应于获取针对目标界面的操作,得到针对第二目标策略的测试数据。由此,通过基于账号划分策略组,随机性更强,不会在后续AB测试中引入主观因素,避免主观因素降低AB测试的准确性。从而采集不同策略对应的测试数据,以便后续进行分析。
本申请实施例除了提供的针对AB测试的数据处理方法外,还提供了针对AB测试的数据处理装置,如图2所示,包括:获取单元201和确定单元202;
所述获取单元201,用于获取测试数据、聚合数据和查询语句,所述测试数据为对目标应用进行AB测试得到的数据,所述聚合数据为用于描述与所述AB测试包括的策略相关的数据,所述查询语句用于查询所述AB测试包括的多个策略分别对所述目标应用的影响;
所述确定单元202,用于根据所述测试数据、所述聚合数据和所述查询语句,通过AB测试大模型进行数据处理,得到针对所述查询语句的查询结果,所述查询结果包括用于描述所述策略对所述目标应用的影响程度,以及用于描述所述策略对应的影响理由。
由上述技术方案可知,获取测试数据、聚合数据和查询语句,其中,测试数据为对目标应用进行AB测试得到的数据,聚合数据为用于描述与AB测试包括的策略相关的数据,查询语句用于查询AB测试包括的多个策略分别对目标应用的影响。根据测试数据、聚合数据和查询语句,通过AB测试大模型进行数据处理,得到针对查询语句的查询结果,该查询结果包括用于描述策略对目标应用的影响程度,以及用于描述策略对应的影响理由。其中,AB测试大模型具有能够学习聚合数据的能力,然后从测试数据中确定查询语句对应的查询结果,使得AB测试大模型不仅可以根据查询语句的查询指示,从测试数据中得到用于描述策略对目标应用的影响程度,还能够结合聚合数据得到用于描述策略对应的影响理由,从而可以根据测试数据确定AB测试中哪个策略更好以及更好的理由,进而提高后续确定最优版本的准确性。
可选的,所述确定单元202,具体用于:
将所述测试数据、所述聚合数据和所述查询语句输入至所述AB测试大模型,通过所述AB测试大模型将所述查询语句进行拆分,得到多个关键词;根据所述测试数据和所述聚合数据,确定所述多个关键词分别对应的查询子结果;根据多个所述查询子结果,确定所述查询结果,其中,不同关键词对应不同的查询维度。
可选的,所述确定单元202,具体用于:
根据所述测试数据、所述聚合数据和所述查询语句,通过AB测试大模型进行数据处理,得到针对所述查询语句的查询结果和特殊结果,所述特殊结果用于描述第一目标策略在目标时间段对所述目标应用的影响程度,在所述目标时间段,所述第一目标策略对应的影响程度与其他策略对应的影响程度的差值大于预设阈值。
可选的,所述查询语句为基于语音输入的语句。
本申请实施例还提供了一种计算机设备,参见图3,该图示出了本申请实施例提供的一种计算机设备的结构图,如图3所示,所述设备包括存储器310以及处理器320:
所述存储器310用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器320用于根据所述程序代码中的指令执行上述实施例提供的任一种针对AB测试的数据处理方法。
本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序于执行上述实施例提供的任一种针对AB测试的数据处理方法。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方面的各种可选实现方式中提供的针对AB测试的数据处理方法。
需要说明的是,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种针对AB测试的数据处理方法,其特征在于,所述方法包括:
获取测试数据、聚合数据和查询语句,所述测试数据为对目标应用进行AB测试得到的数据,所述聚合数据为用于描述与所述AB测试包括的策略相关的数据,所述查询语句用于查询所述AB测试包括的多个策略分别对所述目标应用的影响;
根据所述测试数据、所述聚合数据和所述查询语句,通过AB测试大模型进行数据处理,得到针对所述查询语句的查询结果,所述查询结果包括用于描述所述策略对所述目标应用的影响程度,以及用于描述所述策略对应的影响理由,所述AB测试大模型为用于通过学习所述聚合数据,从所述测试数据中确定所述查询语句对应的查询结果的模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述测试数据、所述聚合数据和所述查询语句,通过AB测试大模型进行数据处理,得到针对所述查询语句的查询结果,包括:
将所述测试数据、所述聚合数据和所述查询语句输入至所述AB测试大模型,通过所述AB测试大模型将所述查询语句进行拆分,得到多个关键词;根据所述测试数据和所述聚合数据,确定所述多个关键词分别对应的查询子结果;根据多个所述查询子结果,确定所述查询结果,其中,不同关键词对应不同的查询维度。
3.根据权利要求1所述的方法,其特征在于,所述根据所述测试数据、所述聚合数据和所述查询语句,通过AB测试大模型进行数据处理,得到针对所述查询语句的查询结果,包括:
根据所述测试数据、所述聚合数据和所述查询语句,通过AB测试大模型进行数据处理,得到针对所述查询语句的查询结果和特殊结果,所述特殊结果用于描述第一目标策略在目标时间段对所述目标应用的影响程度,在所述目标时间段,所述第一目标策略对应的影响程度与其他策略对应的影响程度的差值大于预设阈值。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于账号进行划分,得到多个策略组,不同策略组对应的账号不同,不同策略组在所述AB测试中使用的策略不同;
响应于所述目标应用启动,根据登录所述目标应用的账号对应的第二目标策略,显示所述目标应用对应的目标界面;
响应于获取针对所述目标界面的操作,得到针对所述第二目标策略的测试数据。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述查询语句为基于语音输入的语句。
6.一种针对AB测试的数据处理装置,其特征在于,所述装置包括:获取单元和确定单元;
所述获取单元,用于获取测试数据、聚合数据和查询语句,所述测试数据为对目标应用进行AB测试得到的数据,所述聚合数据为用于描述与所述AB测试包括的策略相关的数据,所述查询语句用于查询所述AB测试包括的多个策略分别对所述目标应用的影响;
所述确定单元,用于根据所述测试数据、所述聚合数据和所述查询语句,通过AB测试大模型进行数据处理,得到针对所述查询语句的查询结果,所述查询结果包括用于描述所述策略对所述目标应用的影响程度,以及用于描述所述策略对应的影响理由,所述AB测试大模型为用于通过学习所述聚合数据,从所述测试数据中确定所述查询语句对应的查询结果的模型。
7.根据权利要求6所述的装置,其特征在于,所述确定单元,具体用于:
将所述测试数据、所述聚合数据和所述查询语句输入至所述AB测试大模型,通过所述AB测试大模型将所述查询语句进行拆分,得到多个关键词;根据所述测试数据和所述聚合数据,确定所述多个关键词分别对应的查询子结果;根据多个所述查询子结果,确定所述查询结果,其中,不同关键词对应不同的查询维度。
8.根据权利要求6所述的装置,其特征在于,所述确定单元,具体用于:
根据所述测试数据、所述聚合数据和所述查询语句,通过AB测试大模型进行数据处理,得到针对所述查询语句的查询结果和特殊结果,所述特殊结果用于描述第一目标策略在目标时间段对所述目标应用的影响程度,在所述目标时间段,所述第一目标策略对应的影响程度与其他策略对应的影响程度的差值大于预设阈值。
9.一种计算机设备,其特征在于,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1-5任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1-5任意一项所述的方法。
CN202311864701.5A 2023-12-29 2023-12-29 一种针对ab测试的数据处理方法和相关装置 Pending CN117785708A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311864701.5A CN117785708A (zh) 2023-12-29 2023-12-29 一种针对ab测试的数据处理方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311864701.5A CN117785708A (zh) 2023-12-29 2023-12-29 一种针对ab测试的数据处理方法和相关装置

Publications (1)

Publication Number Publication Date
CN117785708A true CN117785708A (zh) 2024-03-29

Family

ID=90394552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311864701.5A Pending CN117785708A (zh) 2023-12-29 2023-12-29 一种针对ab测试的数据处理方法和相关装置

Country Status (1)

Country Link
CN (1) CN117785708A (zh)

Similar Documents

Publication Publication Date Title
US11222285B2 (en) Feature selection method, device and apparatus for constructing machine learning model
CN108446210B (zh) 系统性能的度量方法、存储介质和服务器
US8880548B2 (en) Dynamic search interaction
US20150095267A1 (en) Techniques to dynamically generate real time frequently asked questions from forum data
CN107861981B (zh) 一种数据处理方法及装置
US20200356462A1 (en) Systems and methods for determining performance metrics of remote relational databases
CN102446171B (zh) 基于加权平均点进率评测推广关键词质量度的方法与设备
TWI643076B (zh) 金融非結構化文本分析系統及其方法
CN109858528B (zh) 推荐系统训练方法、装置、计算机设备及存储介质
US20200380051A1 (en) Unsupervised clustering of browser history using web navigational activities
CN110059939A (zh) 一种风险检测方法及装置
CN111105265A (zh) 基于客户信息的预测方法、装置、计算机设备及存储介质
AU2019200084A1 (en) Automatically generating meaningful user segments
US10861587B2 (en) Cross-network genomic data user interface
CN109634986A (zh) 系统监测方法、装置、计算机及计算机可读存储介质
CN111046156B (zh) 奖励数据的确定方法、装置和服务器
US20140214826A1 (en) Ranking method and system
CN114706841B (zh) 查询内容库构建方法、装置、电子设备及可读存储介质
CN117785708A (zh) 一种针对ab测试的数据处理方法和相关装置
CN112650940A (zh) 应用程序的推荐方法、装置、计算机设备及存储介质
CN108170664B (zh) 基于重点关键词的关键词拓展方法和装置
US20220284060A1 (en) Question Answering Method and Apparatus Based on Knowledge Graph
CN104572820A (zh) 模型的生成方法及装置、重要度获取方法及装置
CN110059272B (zh) 一种页面特征识别方法和装置
CN110785752A (zh) 资源搜索方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination