CN110046296A - 实验数据的处理方法、装置、设备及存储介质 - Google Patents

实验数据的处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110046296A
CN110046296A CN201910188269.XA CN201910188269A CN110046296A CN 110046296 A CN110046296 A CN 110046296A CN 201910188269 A CN201910188269 A CN 201910188269A CN 110046296 A CN110046296 A CN 110046296A
Authority
CN
China
Prior art keywords
layer
experiment
user
information
exclusive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910188269.XA
Other languages
English (en)
Inventor
张珣
邹永卫
马皓
孙文宇
朱桦
李山亭
高月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Urban Construction Technology Shenzhen Co Ltd
Original Assignee
Ping An Urban Construction Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Urban Construction Technology Shenzhen Co Ltd filed Critical Ping An Urban Construction Technology Shenzhen Co Ltd
Priority to CN201910188269.XA priority Critical patent/CN110046296A/zh
Publication of CN110046296A publication Critical patent/CN110046296A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于大数据的实验数据的处理方法、装置、设备及存储介质,所述方法包括:根据用户的访问请求将用户分配至实验层,所述实验层包括独占实验层和分层实验层;获取所述独占实验层和分层实验层的类型信息,根据所述类型信息在所述独占实验层和分层实验层中选中对应的目标父实验层;根据所述目标父实验层查找对应的子实验层,根据子实验层的属性信息对用户进行再次分配;根据获取的用户使用信息对当前实验进行统计分析。本发明将实验层分为由独占实验层和分层实验层组成,并对实验策略分为父实验层和子实验层,将实验层根据功能分为若干分层,在进行实验系统的移植时,只需将各个分层进行重新组合,从而提高试验系统的可移植性。

Description

实验数据的处理方法、装置、设备及存储介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种实验数据的处理方法、装置、设备及存储介质。
背景技术
随着科技的发展,计算机系统也面临着快速迭代,目前迭代内容是否真的符合用户需求,在设计师眼中的改进是否符合大众需求是现在设计者急需考虑的问题,分离式组间实验系统,例如实验系统ABTest开始逐渐进入服务供应商的视野。但是传统的实验系统由于设计年代久远,已然不符合当下快速发展的计算机系统,虽然可对分流信息进行设定,但是实验系统越来越复杂,个性化业务越来越多,通常的实验系统均为公司内部使用,因此可移植性较差。
发明内容
本发明的主要目的在于提出一种实验数据的处理方法、装置、设备及存储介质,旨在提高实验系统的可移植性。
为实现上述目的,本发明提供一种实验数据的处理方法,所述实验数据的处理方法包括以下步骤:
获取用户的访问请求,根据所述访问请求将用户分配至实验层,其中,所述实验层包括独占实验层和分层实验层;
获取所述独占实验层和分层实验层的类型信息,根据所述类型信息在所述独占实验层和分层实验层中选中对应的目标父实验层;
根据所述目标父实验层查找对应的子实验层,获取目标子实验层的属性信息,根据所述属性信息对用户进行再次分配;
获取分配后的用户使用信息,根据所述用户使用信息对当前实验进行统计分析,得到当前实验的实验结果。
优选的,所述获取用户的访问请求,根据所述访问请求将用户分配至实验层,包括:
获取用户的访问请求,判断所述访问请求中的访问页面是否为实验页面,在所述访问请求中的访问页面为实验页面时,获取所述实验页面的标签信息,根据所述标签信息将用户分配至对应的实验层。
优选的,所述获取所述独占实验层和分层实验层的类型信息,根据所述类型信息在所述独占实验层和分层实验层中选中对应的目标父实验层,包括:
获取所述独占实验层和分层实验层的类型信息,根据所述类型信息查找对应的分配规则;
根据查找到的分配规则在所述独占实验层和分层实验层中选中对应的目标父实验层进行实验。
优选的,所述类型信息包括基于用户的分流策略、基于访问资源的分流策略以及基于随机的分流策略;
所述根据查找到的分配规则在所述独占实验层和分层实验层中选中对应的目标父实验层进行实验,包括:
在所述类型信息为基于用户的分流策略时,获取用户流量配置信息,根据所述流量配置信息进行取余数计算,根据运算结果选中对应的目标父实验层进行实验;
在所述类型信息为基于访问资源的分流策略时,获取访问资源配置信息,根据所述访问资源配置信息进行取余数计算,根据运算结果选中对应的目标父实验层进行实验;
在所述类型信息为基于随机的分流策略时,获取随机样本配置信息,根据所述随机样本配置信息进行取余数计算,根据运算结果选中对应的目标父实验层进行实验。
优选的,根据查找到的分配规则在所述独占实验层和分层实验层中选中对应的目标父实验层进行实验之前,所述方法还包括:
判断当前实验层是否为同级实验层,在当前实验层为同级实验层时,分配预设参数区分所述同级实验层,根据区分后的同级实验层执行以下步骤:根据查找到的分配规则在所述独占实验层和分层实验层中选中对应的目标父实验层进行实验。
优选的,所述获取分配后的用户使用信息,根据所述用户使用信息对当前实验进行统计分析,得到当前实验的实验结果之前,所述方法还包括:
调用用户数据采集程序,采集用户使用信息,并将所述用户使用信息发送至服务器;
所述用户数据采集程序集成在软件开发工具包;
所述调用用户数据采集程序,采集用户使用信息,并将所述用户使用信息发送至服务器之前,所述方法还包括:
获取写入指令,提取所述写入指令中的软件开发工具包以及写入地址信息,根据所述写入地址信息将所述软件开发工具包进行写入。
优选的,所述获取分配后的用户使用信息,根据所述用户使用信息对当前实验进行统计分析,得到当前实验的实验结果,包括:
获取分配后的用户使用信息,将所述用户使用信息作为日志信息通过历史标签信息保存至预设数据库;
获取目标标签信息,通过所述目标标签信息在所述预设数据库中查找对应的用户使用信息,根据查找到的用户使用信息对当前实验进行统计分析,得到当前实验的实验结果。
此外,为实现上述目的,本发明还提出一种实验数据的处理装置,所述实验数据的处理装置包括:
获取模块,用于获取用户的访问请求,根据所述访问请求将用户分配至实验层,其中,所述实验层包括独占实验层和分层实验层;
选择模块,用于获取所述独占实验层和分层实验层的类型信息,根据所述类型信息在所述独占实验层和分层实验层中选中对应的目标父实验层;
分配模块,用于根据所述目标父实验层查找对应的子实验层,获取目标子实验层的属性信息,根据所述属性信息对用户进行再次分配;
统计模块,用于获取分配后的用户使用信息,根据所述用户使用信息对当前实验进行统计分析,得到当前实验的实验结果。
此外,为实现上述目的,本发明还提出一种设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的实验数据的处理程序,所述实验数据的处理程序配置为实现如上所述的实验数据的处理方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有实验数据的处理程序,所述实验数据的处理程序被处理器执行时实现如上文所述的实验数据的处理方法的步骤。
本发明提出的实验数据的处理方法,通过获取用户的访问请求,根据所述访问请求将用户分配至实验层,其中,所述实验层包括独占实验层和分层实验层;获取所述独占实验层和分层实验层的类型信息,根据所述类型信息在所述独占实验层和分层实验层中选中对应的目标父实验层;根据所述目标父实验层查找对应的子实验层,获取目标子实验层的属性信息,根据所述属性信息对用户进行再次分配;获取分配后的用户使用信息,根据所述用户使用信息对当前实验进行统计分析,得到当前实验的实验结果,从而将实验层分为由独占实验层和分层实验层组成,并对实验策略分为父实验层和子实验层,将实验层根据功能分为若干分层,在进行实验系统的移植时,只需将各个分层进行重新组合,从而提高试验系统的可移植性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本发明实验数据的处理方法第一实施例的流程示意图;
图3为本发明实验数据的处理方法一实施例的实验层的结构示意图;
图4为本发明实验数据的处理方法一实施例的整体流程示意图;
图5为本发明实验数据的处理方法第二实施例的流程示意图;
图6为本发明实验数据的处理方法第三实施例的流程示意图;
图7为本发明实验数据的处理装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图1所示,该设备可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如按键,可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的设备结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及实验数据的处理程序。
在图1所示的设备中,网络接口1004主要用于连接外网,与其他网络设备进行数据通信;用户接口1003主要用于连接用户设备,与设备进行数据通信;本发明设备通过处理器1001调用存储器1005中存储的实验数据的处理程序,并执行本发明实施例提供的实验数据的处理的实施方法。
基于上述硬件结构,提出本发明实验数据的处理方法实施例。
参照图2,图2为本发明实验数据的处理方法第一实施例的流程示意图。
在第一实施例中,所述实验数据的处理方法包括以下步骤:
步骤S10,获取用户的访问请求,根据所述访问请求将用户分配至实验层,其中,所述实验层包括独占实验层和分层实验层。
需要说明的是,本实施例将流入实验层的流量进行分层,将所述实验层分为独占实验层和分层实验层,其中,所述分层实验层包括自定义分层和未占用层,所述独占实验层,即流量独占,与未占用层相同,允许实验者配置特定实验作为样本统计通过独占实验层,以提供一种保障基准数据准确性以及丰富样本的手段,所述特定实验为可根据实验者自定义样本信息,从而实现更多样本信息的实验以及比对,提高实验处理效率。
可以理解的是,所述分层实验层中包括自分层实验层和未占用层,所述分层实验层中层与层之间相互独立,流量复用,即每个分层都拥有100%流量,同一层流量互斥,同一层内的多个实验共用这层的100%流量。
如图3所示,将实验层分为独占实验层和分层实验层,独占实验层采用流量独占,拥有进入独占实验层的全部流量,此部分流量不会被分层实验使用,分层实验层为层与层之间互相独立,流量复用,即每个分层都拥有100%流量,同一层流量互斥,同一层内的多个实验共用这层的100%流量,从而保证通过相同实验目的。
在本实施例中,主要通过A/B测试(桶测试或分流测试)进行随机实验,A/B测试的本质是分离式组间试验,也叫对照试验。简单来说,A/B测试为在产品正式迭代发版之前,为同个目标制定两个或两个以上的方案,将用户流量对应分成几组,在保证每组用户特征相同的前提下,让用户分别看到不同的方案设计,根据几组用户的真实数据反馈得到最终的数据结果,如图4所示的A/B测试,通过A、B以及C三个不同的方案对用户进行验证,得到用户的执行结果,其中A方案有34%的用户完成,B方案有8%的用户完成,C方案有13%的用户完成,可见,方案A更容易被用户接受,从而实现对最优版本的确定,并且是基于用户的数据,从而得到的最优方案更符合用户的实际需求。
步骤S20,获取所述独占实验层和分层实验层的类型信息,根据所述类型信息在所述独占实验层和分层实验层中选中对应的目标父实验层。
需要说明的是,所述类型信息可为所述独占实验层和分层实验层选中下一逻辑实验层的规则,例如基于用户的分流策略、基于访问资源的分流策略以及基于随机的分流策略,在进入独占实验层时,按照所述类型信息进行逐个判断,并选中对应的目标父实验层。
在具体实现中,还可对分层实验层进行逐层按照所述类型信息进行判断,并选中对应的目标父实验层进行试验,例如图4所示,在接收实验请求时,进行取模分层,根据各个实验层的配置信息,进入所述独占实验层和所述分层实验层,需要说明的是,由于在一般情况下,在实验层无法保证流量按照实验需求进行设置,但是在本实施例中,由于将实验层按照预设需求进行分层设计,并对其中的独占层设定预设定流量信息,例如在独占层中的设定提取样本为5个用户,则实验在进入独占层时,则配置独占层进入用户的数量为5,从而实现实验层的流量控制的灵活性。
步骤S30,根据所述目标父实验层查找对应的子实验层,获取目标子实验层的属性信息,根据所述属性信息对用户进行再次分配。
需要说明的是,在本实施例中,针对设计大型交互系统时,页面逻辑以及用户操作并不为顺序执行,本实施例设计了针对性的、可选强制性的系统实验机制,例如实验层设有多个策略链,A→B→C→D、A→E→C→D、A→F→C→D,对于用户而言,输入输出均相同,仅中间过程产生差别,即视B、E、F为子实验,A为父实验;当实验设计者需要参考步骤间的相互作用时,可以通过特定配置,将用户分流、引导入子实验中,以观察某些细小更变对用户偏好以及操作行为的影响,其中,所述父实验层为用户通用的进去界面,例如通过登录界面进行登录时,所述子实验层为强制设置的具有针对性的用户使用逻辑层,例如在一般情况下,用户通过查看水果的图片时,可设置查看水果图片的下一逻辑图片为饮料的图片,或者用户在查看水果的图片时,可设置查看水果图片的下一个逻辑图片为零食的图片,从而根据用户自身属性,例如年龄、性别等,或前置的实验顺序,进入对应的逻辑链获知当前实验的效果。
在具体实现中,通过在一般的实验层设置父实验层和子实验层,通过父实验层和子实验层组成各种策略链,通过设定的用户流量时用户在进入父实验层时,可针对用户进入不同的子实验层,从而实现在实验中不同实验变量的灵活控制。
步骤S40,获取分配后的用户使用信息,根据所述用户使用信息对当前实验进行统计分析,得到当前实验的实验结果。
在本实施例中,所述用户使用信息包括用户的访问信息,通过所述用户的访问信息可获取用户对当前设置的实验层的偏好,例如用户通过查看水果的图片时,可设置查看水果图片的下一逻辑图片为饮料的图片,或者用户在查看水果的图片时,可设置查看水果图片的下一个逻辑图片为零食的图片,从而可根据用户的执行情况得到用户的偏好,便于对实验层的实验效果进行统计分析,还可通过其他判定规则进行多维度打分,实现对实验结果的更精确的分析。
本实施例通过上述方案,通过将实验层分为由独占实验层和分层实验层组成,并对实验策略分为父实验层和子实验层,将实验层根据功能分为若干分层,在进行实验系统的移植时,只需将各个分层进行重新组合,从而提高试验系统的可移植性。
进一步地,如图5所示,基于第一实施例提出本发明实验数据的处理方法第二实施例,在本实施例中,所述用户数据采集程序为软件开发工具包;
所述步骤S10,包括:
步骤S101,获取用户的访问请求,判断所述访问请求中的访问页面是否为实验页面,在所述访问请求中的访问页面为实验页面时,获取所述实验页面的标签信息,根据所述标签信息将用户分配至对应的实验层。
需要说明的是,在用户访问网页时,并不是所有的用户都会进行实验层,而根据实验层的配置信息,将符合特定数量用户分配至实验层进行试验,例如在独占实验层的配置信息为配置数量为9时,则将分配9个用户至所述独占实验层。
在具体实现中,可对每个分配进实验层设有标签信息,用户的访问请求,判断所述访问请求中的访问页面是否为实验页面,在所述访问请求中的访问页面为实验页面时,获取所述实验页面的标签信息,根据所述标签信息将用户分配对应的实验层,可在以页面应用为例,在访问需要做试验的页面时调用实验应用程序编程接口(ApplicationProgramming Interface,API)接入实验层,还包括通过标签设置的实验层中其他参数的实验设置,例如字体以及控件等信息。
进一步地,所述步骤S20前,所述方法还包括:
步骤S201,获取所述独占实验层和分层实验层的类型信息,根据所述类型信息查找对应的分配规则。
需要说明的是,所述分配规则可为根据当前流量信息确定进入的实验层的判断方式,例如通过生成模余数的方式进行判断。
步骤S202,根据查找到的分配规则在所述独占实验层和分层实验层中选中对应的目标父实验层进行实验。
进一步地,所述类型信息包括基于用户的分流策略、基于访问资源的分流策略以及基于随机的分流策略;
所述步骤S202,包括:
在所述类型信息为基于用户的分流策略时,获取用户流量配置信息,根据所述流量配置信息进行取余数计算,根据运算结果选中对应的目标父实验层进行实验。
在本实施例中,继续如图4所示,获取实验层的类型信息,在所述类型信息为基于用户的分流策略时,即COOKIE模式时,取模数,即取余数运算,系统计算分流配比的时候时根据设置除法余数来进行分流的。举例:如果100流量取50%,当前用户是第N个进入实验框架,那么用N/100,如果余数小于50,则进入实验,如果余数大于50,则不进行实验。
在所述类型信息为基于访问资源的分流策略时,获取访问资源配置信息,根据所述访问资源配置信息进行取余数计算,根据运算结果选中对应的目标父实验层进行实验。
在所述类型信息为基于访问资源的分流策略时,即URL模式时,取模数,即取余数运算,系统计算分流配比的时候时根据设置除法余数来进行分流的。举例:如果100流量取50%,当前用户是第N个进入实验框架,那么用N/100,如果余数小于50,则进入实验,如果余数大于50,则不进行实验。
在所述类型信息为基于随机的分流策略时,获取随机样本配置信息,根据所述随机样本配置信息进行取余数计算,根据运算结果选中对应的目标父实验层进行实验,执行上述相同的方式进行处理。
进一步地,根据查找到的分配规则在所述独占实验层和分层实验层中选中对应的目标父实验层进行实验之前,所述方法还包括:
判断当前实验层是否为同级实验层,在当前实验层为同级实验层时,分配预设参数区分所述同级实验层,根据区分后的同级实验层执行以下步骤:根据查找到的分配规则在所述独占实验层和分层实验层中选中对应的目标父实验层进行实验。
需要说明的是,如果仅仅使用取模运算,那么如果同级有多个相同实验层流量配比相同时,无法判断进入哪个层,因此需要系统随机分配一个大质数来区别两个相同实验MODE,取模数,即为FGPRINT。举例:如果100流量,有两个实验层各取10%,当前用户是第N个进入实验框架,那么用N*FGPRINT/100,再按取余数的计算方法来决定进入哪一层。
本实施例提供的方案,通过不同的运算方式以及类型信息进行逐个判断,根据判断结果决定进行的实验层,从而保证用户按照实验制定的配置信息进行实验,保证实验结果的有效性。
进一步地,如图6所示,基于第一实施例或第二实施例提出本发明实验数据的处理方法第三实施例,在本实施例中,基于第一实施例进行说明,所述步骤S40之前,所述方法还包括:
调用用户数据采集程序,采集用户使用信息,并将所述用户使用信息发送至服务器;
所述用户数据采集程序集成在软件开发工具包;
需要说明的是,所述用户数据采集程序可为软件开发工具包(SoftwareDevelopment Kit,SDK),还可为其他可实现相同或相似功能的采集工具,本实施例对此不作限制,在本实施例中,以设在客户端的SDK工具为例进行说明。
所述调用用户数据采集程序,采集用户使用信息,并将所述用户使用信息发送至服务器之前,所述方法还包括:
获取写入指令,提取所述写入指令中的软件开发工具包以及写入地址信息,根据所述写入地址信息将所述软件开发工具包进行写入。
进一步地,所述步骤S40,包括:
步骤S401,获取分配后的用户使用信息,将所述用户使用信息作为日志信息通过历史标签信息保存至预设数据库。
需要说明的是,所述预设数据库可为MongoDB数据库,还可为其他形式的数据库,本实施例对此不作限制,在本实施例中,以MongoDB数据库作为数据量备份为例进行说明。
步骤S402,获取目标标签信息,通过所述目标标签信息在所述预设数据库中查找对应的用户使用信息,根据查找到的用户使用信息对当前实验进行统计分析,得到当前实验的实验结果。
可以理解的是,所述实验系统还包括数据库服务器,用于存储配置中所需要的数据,在本实施例中,以MongoDB数据库服务器为了进行说明,所述对外服务接口包括实验触发接口、指标上报接口、配置下载接口以及提供相应的协议包,所述log4j2日志模块将采集的待分析日志输入到海量日志采集、聚合和传输的系统,例如flume agent进行日志收集,并通过分布式文件系统(Hadoop Distributed File System,HDFS)进行管理,从而实现有效的基于用户行为的日志管理。
需要说明的是,在本实施例中,通过Java+MongoDB作为后台开发,Java为知名跨平台语言,适用于市场主流电子设备,MongoDB作为文本式数据库,为实验数据的可延展性作为保障。同时与服务端交互的SDK也由Java开发,含有本地模式与C/S模式,应用研发者不需要与实验系统服务交互,也能够快速接入使用。
进一步地,所述类型信息包括外部接口信息;
所述步骤S20之后,所述方法还包括:
接收调整指令,根据所述调整指令通过所述外部接口信息对所述类型信息进行调整,并将调整后的类型信息同步至本地的应用程序。
需要说明的是,所述实验系统还包括各类对外接口,通过所述对外接口可将实验配置同步到APP本地的接口等,从而方便实验者进行实验配置的调整以及查看。
本实施例提供的方案,通过获取分配后的用户使用信息,将所述用户使用信息作为日志信息通过历史标签信息保存至预设数据库,并通过Java+MongoDB作为后台开发,同时与服务端交互的SDK也由Java开发,含有本地模式与C/S模式,不需要与实验系统服务交互,也能够快速接入使用,从而有效的提高实验系统的可移植性。
本发明进一步提供一种实验数据的处理装置。
参照图7,图7为本发明实验数据的处理装置第一实施例的功能模块示意图。
本发明实验数据的处理装置第一实施例中,该实验数据的处理装置包括:
获取模块10,用于获取用户的访问请求,根据所述访问请求将用户分配至实验层,其中,所述实验层包括独占实验层和分层实验层。
需要说明的是,本实施例将流入实验层的流量进行分层,将所述实验层分为独占实验层和分层实验层,其中,所述分层实验层包括自定义分层和未占用层,所述独占实验层,即流量独占,与未占用层相同,允许实验者配置特定实验作为样本统计通过独占实验层,以提供一种保障基准数据准确性以及丰富样本的手段,所述特定实验为可根据实验者自定义样本信息,从而实现更多样本信息的实验以及比对,提高实验处理效率。
可以理解的是,所述分层实验层中包括自分层实验层和未占用层,所述分层实验层中层与层之间相互独立,流量复用,即每个分层都拥有100%流量,同一层流量互斥,同一层内的多个实验共用这层的100%流量。
如图3所示,将实验层分为独占实验层和分层实验层,独占实验层采用流量独占,拥有进入独占实验层的全部流量,此部分流量不会被分层实验使用,分层实验层为层与层之间互相独立,流量复用,即每个分层都拥有100%流量,同一层流量互斥,同一层内的多个实验共用这层的100%流量,从而保证通过相同实验目的。
在本实施例中,主要通过A/B测试(桶测试或分流测试)进行随机实验,A/B测试的本质是分离式组间试验,也叫对照试验。简单来说,A/B测试为在产品正式迭代发版之前,为同个目标制定两个或两个以上的方案,将用户流量对应分成几组,在保证每组用户特征相同的前提下,让用户分别看到不同的方案设计,根据几组用户的真实数据反馈得到最终的数据结果,如图4所示的A/B测试,通过A、B以及C三个不同的方案对用户进行验证,得到用户的执行结果,其中A方案有34%的用户完成,B方案有8%的用户完成,C方案有13%的用户完成,可见,方案A更容易被用户接受,从而实现对最优版本的确定,并且是基于用户的数据,从而得到的最优方案更符合用户的实际需求。
选择模块20,用于获取所述独占实验层和分层实验层的类型信息,根据所述类型信息在所述独占实验层和分层实验层中选中对应的目标父实验层。
需要说明的是,所述类型信息可为所述独占实验层和分层实验层选中下一逻辑实验层的规则,例如基于用户的分流策略、基于访问资源的分流策略以及基于随机的分流策略,在进入独占实验层时,按照所述类型信息进行逐个判断,并选中对应的目标父实验层。
在具体实现中,还可对分层实验层进行逐层按照所述类型信息进行判断,并选中对应的目标父实验层进行试验,例如图4所示,在接收实验请求时,进行取模分层,根据各个实验层的配置信息,进入所述独占实验层和所述分层实验层,需要说明的是,由于在一般情况下,在实验层无法保证流量按照实验需求进行设置,但是在本实施例中,由于将实验层按照预设需求进行分层设计,并对其中的独占层设定预设定流量信息,例如在独占层中的设定提取样本为5个用户,则实验在进入独占层时,则配置独占层进入用户的数量为5,从而实现实验层的流量控制的灵活性。
分配模块30,用于根据所述目标父实验层查找对应的子实验层,获取目标子实验层的属性信息,根据所述属性信息对用户进行再次分配。
需要说明的是,在本实施例中,针对设计大型交互系统时,页面逻辑以及用户操作并不为顺序执行,本实施例设计了针对性的、可选强制性的系统实验机制,例如实验层设有多个策略链,A→B→C→D、A→E→C→D、A→F→C→D,对于用户而言,输入输出均相同,仅中间过程产生差别,即视B、E、F为子实验,A为父实验;当实验设计者需要参考步骤间的相互作用时,可以通过特定配置,将用户分流、引导入子实验中,以观察某些细小更变对用户偏好以及操作行为的影响,其中,所述父实验层为用户通用的进去界面,例如通过登录界面进行登录时,所述子实验层为强制设置的具有针对性的用户使用逻辑层,例如在一般情况下,用户通过查看水果的图片时,可设置查看水果图片的下一逻辑图片为饮料的图片,或者用户在查看水果的图片时,可设置查看水果图片的下一个逻辑图片为零食的图片,从而根据用户自身属性,例如年龄、性别等,或前置的实验顺序,进入对应的逻辑链获知当前实验的效果。
在具体实现中,通过在一般的实验层设置父实验层和子实验层,通过父实验层和子实验层组成各种策略链,通过设定的用户流量时用户在进入父实验层时,可针对用户进入不同的子实验层,从而实现在实验中不同实验变量的灵活控制。
统计模块40,用于获取分配后的用户使用信息,根据所述用户使用信息对当前实验进行统计分析,得到当前实验的实验结果。
在本实施例中,所述用户使用信息包括用户的访问信息,通过所述用户的访问信息可获取用户对当前设置的实验层的偏好,例如用户通过查看水果的图片时,可设置查看水果图片的下一逻辑图片为饮料的图片,或者用户在查看水果的图片时,可设置查看水果图片的下一个逻辑图片为零食的图片,从而可根据用户的执行情况得到用户的偏好,便于对实验层的实验效果进行统计分析,还可通过其他判定规则进行多维度打分,实现对实验结果的更精确的分析。
本实施例通过上述方案,通过将实验层分为由独占实验层和分层实验层组成,并对实验策略分为父实验层和子实验层,将实验层根据功能分为若干分层,在进行实验系统的移植时,只需将各个分层进行重新组合,从而提高试验系统的可移植性。
此外,为实现上述目的,本发明还提出一种设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的实验数据的处理程序,所述实验数据的处理程序配置为实现如上文所述的实验数据的处理方法的步骤。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有实验数据的处理程序,所述实验数据的处理程序被处理器执行如上文所述的实验数据的处理方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台智能终端设备(可以是手机,计算机,终端设备,空调器,或者网络终端设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种实验数据的处理方法,其特征在于,所述实验数据的处理方法包括:
获取用户的访问请求,根据所述访问请求将用户分配至实验层,其中,所述实验层包括独占实验层和分层实验层;
获取所述独占实验层和分层实验层的类型信息,根据所述类型信息在所述独占实验层和分层实验层中选中对应的目标父实验层;
根据所述目标父实验层查找对应的子实验层,获取目标子实验层的属性信息,根据所述属性信息对用户进行再次分配;
获取分配后的用户使用信息,根据所述用户使用信息对当前实验进行统计分析,得到当前实验的实验结果。
2.如权利要求1所述的实验数据的处理方法,其特征在于,所述获取用户的访问请求,根据所述访问请求将用户分配至实验层,包括:
获取用户的访问请求,判断所述访问请求中的访问页面是否为实验页面,在所述访问请求中的访问页面为实验页面时,获取所述实验页面的标签信息,根据所述标签信息将用户分配至对应的实验层。
3.如权利要求1所述的实验数据的处理方法,其特征在于,所述获取所述独占实验层和分层实验层的类型信息,根据所述类型信息在所述独占实验层和分层实验层中选中对应的目标父实验层,包括:
获取所述独占实验层和分层实验层的类型信息,根据所述类型信息查找对应的分配规则;
根据查找到的分配规则在所述独占实验层和分层实验层中选中对应的目标父实验层进行实验。
4.如权利要求3所述的实验数据的处理方法,其特征在于,所述类型信息包括基于用户的分流策略、基于访问资源的分流策略以及基于随机的分流策略;
所述根据查找到的分配规则在所述独占实验层和分层实验层中选中对应的目标父实验层进行实验,包括:
在所述类型信息为基于用户的分流策略时,获取用户流量配置信息,根据所述流量配置信息进行取余数计算,根据运算结果选中对应的目标父实验层进行实验;
在所述类型信息为基于访问资源的分流策略时,获取访问资源配置信息,根据所述访问资源配置信息进行取余数计算,根据运算结果选中对应的目标父实验层进行实验;
在所述类型信息为基于随机的分流策略时,获取随机样本配置信息,根据所述随机样本配置信息进行取余数计算,根据运算结果选中对应的目标父实验层进行实验。
5.如权利要求3所述的实验数据的处理方法,其特征在于,根据查找到的分配规则在所述独占实验层和分层实验层中选中对应的目标父实验层进行实验之前,所述方法还包括:
判断当前实验层是否为同级实验层,在当前实验层为同级实验层时,分配预设参数区分所述同级实验层,根据区分后的同级实验层执行以下步骤:根据查找到的分配规则在所述独占实验层和分层实验层中选中对应的目标父实验层进行实验。
6.如权利要求1至5中任一项所述的实验数据的处理方法,其特征在于,所述获取分配后的用户使用信息,根据所述用户使用信息对当前实验进行统计分析,得到当前实验的实验结果之前,所述方法还包括:
调用用户数据采集程序,采集用户使用信息,并将所述用户使用信息发送至服务器;
所述用户数据采集程序集成在软件开发工具包;
所述调用用户数据采集程序,采集用户使用信息,并将所述用户使用信息发送至服务器之前,所述方法还包括:
获取写入指令,提取所述写入指令中的软件开发工具包以及写入地址信息,根据所述写入地址信息将所述软件开发工具包进行写入。
7.如权利要求1至5中任一项所述的实验数据的处理方法,其特征在于,所述获取分配后的用户使用信息,根据所述用户使用信息对当前实验进行统计分析,得到当前实验的实验结果,包括:
获取分配后的用户使用信息,将所述用户使用信息作为日志信息通过历史标签信息保存至预设数据库;
获取目标标签信息,通过所述目标标签信息在所述预设数据库中查找对应的用户使用信息,根据查找到的用户使用信息对当前实验进行统计分析,得到当前实验的实验结果。
8.一种实验数据的处理装置,其特征在于,所述实验数据的处理装置包括:
获取模块,用于获取用户的访问请求,根据所述访问请求将用户分配至实验层,其中,所述实验层包括独占实验层和分层实验层;
选择模块,用于获取所述独占实验层和分层实验层的类型信息,根据所述类型信息在所述独占实验层和分层实验层中选中对应的目标父实验层;
分配模块,用于根据所述目标父实验层查找对应的子实验层,获取目标子实验层的属性信息,根据所述属性信息对用户进行再次分配;
统计模块,用于获取分配后的用户使用信息,根据所述用户使用信息对当前实验进行统计分析,得到当前实验的实验结果。
9.一种设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的实验数据的处理程序,所述实验数据的处理程序配置为实现如权利要求1至7中任一项所述的实验数据的处理方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有实验数据的处理程序,所述实验数据的处理程序被处理器执行时实现如权利要求1至7中任一项所述的实验数据的处理方法的步骤。
CN201910188269.XA 2019-03-12 2019-03-12 实验数据的处理方法、装置、设备及存储介质 Pending CN110046296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910188269.XA CN110046296A (zh) 2019-03-12 2019-03-12 实验数据的处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910188269.XA CN110046296A (zh) 2019-03-12 2019-03-12 实验数据的处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110046296A true CN110046296A (zh) 2019-07-23

Family

ID=67274855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910188269.XA Pending CN110046296A (zh) 2019-03-12 2019-03-12 实验数据的处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110046296A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110808872A (zh) * 2019-10-21 2020-02-18 微梦创科网络科技(中国)有限公司 一种流量实验的实现方法、装置及电子设备
CN112181829A (zh) * 2020-09-28 2021-01-05 厦门美柚股份有限公司 Ab实验的用户分流方法、装置、终端及介质
CN112532406A (zh) * 2019-09-17 2021-03-19 上海哔哩哔哩科技有限公司 对照实验的数据处理方法、装置、计算机设备及存储介质
CN112966180A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 请求处理方法、装置、设备、介质和程序产品
CN113076195A (zh) * 2021-03-31 2021-07-06 北京字节跳动网络技术有限公司 对象的分流方法、装置、可读介质和电子设备
CN113852571A (zh) * 2021-08-20 2021-12-28 阿里巴巴(中国)有限公司 分配流量的方法以及装置
CN114064445A (zh) * 2020-08-04 2022-02-18 腾讯科技(深圳)有限公司 一种测试方法、装置、设备及计算机可读存储介质
CN114553787A (zh) * 2022-01-26 2022-05-27 北京百度网讯科技有限公司 流量分配方法、装置、电子设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8090703B1 (en) * 2008-04-08 2012-01-03 Google Inc. Overlapping experiments
US20120004979A1 (en) * 2010-07-02 2012-01-05 Yahoo! Inc. Intrastructure for bucket testing in guaranteed delivery of online advertising
CN105373480A (zh) * 2015-12-15 2016-03-02 广州唯品会信息科技有限公司 优化ABTest系统分流的方法及系统
CN105610654A (zh) * 2016-03-02 2016-05-25 合一网络技术(北京)有限公司 一种服务器、策略在线测试的方法及系统
CN106341290A (zh) * 2016-08-31 2017-01-18 北京城市网邻信息技术有限公司 流量分配服务器
CN108845936A (zh) * 2018-05-31 2018-11-20 阿里巴巴集团控股有限公司 一种基于海量用户的ab测试方法及系统
US20190057353A1 (en) * 2017-08-15 2019-02-21 Yahoo Holdings, Inc. Method and system for detecting gaps in data buckets for a/b experimentation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8090703B1 (en) * 2008-04-08 2012-01-03 Google Inc. Overlapping experiments
US20120004979A1 (en) * 2010-07-02 2012-01-05 Yahoo! Inc. Intrastructure for bucket testing in guaranteed delivery of online advertising
CN105373480A (zh) * 2015-12-15 2016-03-02 广州唯品会信息科技有限公司 优化ABTest系统分流的方法及系统
CN105610654A (zh) * 2016-03-02 2016-05-25 合一网络技术(北京)有限公司 一种服务器、策略在线测试的方法及系统
CN106341290A (zh) * 2016-08-31 2017-01-18 北京城市网邻信息技术有限公司 流量分配服务器
US20190057353A1 (en) * 2017-08-15 2019-02-21 Yahoo Holdings, Inc. Method and system for detecting gaps in data buckets for a/b experimentation
CN108845936A (zh) * 2018-05-31 2018-11-20 阿里巴巴集团控股有限公司 一种基于海量用户的ab测试方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112532406A (zh) * 2019-09-17 2021-03-19 上海哔哩哔哩科技有限公司 对照实验的数据处理方法、装置、计算机设备及存储介质
CN112532406B (zh) * 2019-09-17 2023-03-10 上海哔哩哔哩科技有限公司 对照实验的数据处理方法、装置、计算机设备及存储介质
CN110808872A (zh) * 2019-10-21 2020-02-18 微梦创科网络科技(中国)有限公司 一种流量实验的实现方法、装置及电子设备
CN114064445A (zh) * 2020-08-04 2022-02-18 腾讯科技(深圳)有限公司 一种测试方法、装置、设备及计算机可读存储介质
CN112181829A (zh) * 2020-09-28 2021-01-05 厦门美柚股份有限公司 Ab实验的用户分流方法、装置、终端及介质
CN112966180A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 请求处理方法、装置、设备、介质和程序产品
CN112966180B (zh) * 2021-03-05 2024-05-17 北京百度网讯科技有限公司 请求处理方法、装置、设备、介质和程序产品
CN113076195A (zh) * 2021-03-31 2021-07-06 北京字节跳动网络技术有限公司 对象的分流方法、装置、可读介质和电子设备
CN113076195B (zh) * 2021-03-31 2023-04-07 抖音视界有限公司 对象的分流方法、装置、可读介质和电子设备
CN113852571A (zh) * 2021-08-20 2021-12-28 阿里巴巴(中国)有限公司 分配流量的方法以及装置
CN113852571B (zh) * 2021-08-20 2023-11-28 阿里巴巴(中国)有限公司 分配流量的方法以及装置
CN114553787A (zh) * 2022-01-26 2022-05-27 北京百度网讯科技有限公司 流量分配方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
CN110046296A (zh) 实验数据的处理方法、装置、设备及存储介质
CN105450461B (zh) 一种分流方法及网络设备
CN104281611B (zh) 网站测试系统中的用户流量分配方法及装置
CN106484622B (zh) 测试方法、装置及系统
CN105103506B (zh) 用于为云计算网络中的非均匀带宽请求分配带宽的方法和系统
EP3074863B1 (en) System and method for testing data representation for different mobile devices
CN103544623B (zh) 一种基于用户偏好特征建模的Web 服务推荐方法
CN103150696A (zh) 选择目标增值业务潜在客户的方法及装置
CN110795305B (zh) 用于处理和管理web流量数据的系统、装置和方法
CN106648556A (zh) 前后端集成开发测试的方法及装置
CN110083526A (zh) 应用程序测试方法、装置、计算机装置及存储介质
CN110034953A (zh) 组间实验中策略链的分析方法、装置、设备及存储介质
CN106878108A (zh) 网络流量回放测试方法及装置
CN110147495A (zh) 基于在线配置的页面响应方法、装置、设备及介质
CN110069764A (zh) 表单配置方法、装置、计算机设备和存储介质
CN114610372A (zh) 评审文件的处理方法及装置、存储介质、处理器、终端
CN109241435A (zh) 一种用于数字货币交易的数据推送方法、装置及系统
CN109711997A (zh) 保险业务推送方法、装置、设备及可读存储介质
CN107465717A (zh) 一种密码按需服务的方法、装置与设备
CN104462116A (zh) 数据选择的方法及装置
CN109389274A (zh) 评分卡配置方法、装置、设备及可读存储介质
CN114253746A (zh) 一种基于SaaS的产品应用服务管理方法、装置、设备和介质
CN113869982A (zh) 产品推荐系统
Khalid On the link between mobile app quality and user reviews
CN110019937A (zh) 视频热度的预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190723