CN116975041A - Ab实验分流及分析系统 - Google Patents
Ab实验分流及分析系统 Download PDFInfo
- Publication number
- CN116975041A CN116975041A CN202311096116.5A CN202311096116A CN116975041A CN 116975041 A CN116975041 A CN 116975041A CN 202311096116 A CN202311096116 A CN 202311096116A CN 116975041 A CN116975041 A CN 116975041A
- Authority
- CN
- China
- Prior art keywords
- data
- experiment
- experimental
- indexes
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002474 experimental method Methods 0.000 title claims abstract description 102
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000009826 distribution Methods 0.000 claims abstract description 20
- 238000012795 verification Methods 0.000 claims abstract description 12
- 238000007405 data analysis Methods 0.000 claims abstract description 10
- 238000013079 data visualisation Methods 0.000 claims abstract description 7
- 238000007726 management method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000013523 data management Methods 0.000 claims description 4
- 230000007717 exclusion Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims 1
- 230000001364 causal effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 25
- 230000008859 change Effects 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000007418 data mining Methods 0.000 abstract description 2
- 238000007619 statistical method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
- G06F16/287—Visualization; Browsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于数据分析挖掘技术领域，且公开了AB实验分流及分析系统，包括有实验配置系统、实验分流系统、实验数据系统、实验指标系统、双样本验证方案和数据可视化。通过AB实验对一小部分用户随机采用策略A和策略B，再利用统计学方法评估和衡量各策略结果，依靠双差分计算方式，可以聚焦于业务的变化量，并依托双样本T值和正态拟合的P值计算，得到了从统计学上的存在的客观显著性观察，再通过多重校验的计算方式，可以在不同的指标空间和数据空间下，使指标的置信度都足够的置信，因为计算都是基于差分，方差等指标来计算的，计算的主要目标是变化量，显著降低了传统计算模式上对数据观测量的依赖。
Description
技术领域
本发明属于数据分析挖掘技术领域，具体为AB实验分流及分析系统。
背景技术
随着数据驱动理念在互联网企业的兴起与认可，AB实验逐渐广泛应用于各种场景，传统的AB实验当中，最常用的算法和办法是基于业务上的数据回收，分析师和科学家们通过概率论的手段，在统计学上以正态分布的假设下，用当前的实验在当前的样本量下某个指标回收的数据，计算出在置信度为90％时该实验数据的分布上下限[a,b]，最后根据指标实验上下限的a,b和的总样本量下的观测到的指标avg的差值，所处的正负区间可以判断出实验下某个指标是否有正向影响，或者负向影响，或者影响整体波动不足以得出有显著性的结论。
在实验流量较低的配置下，观测量不足，会放大幸存者效应，如果是在产品的刚上线的早期，可能产品力不足或者其他的客观条件下，需要通过拉长实验时间的方式积累足够的数据量，如果是有条件的话也可以放大实验流量等手段解决，但是这个方法本身也需要再引入一次置信度校验，需要验证当前的实验流量推到的结论是具有代表性的，而且这些手段可能会在某些特殊情况失效，如实验本身受限于功能性或者时效性因素影响，并不具备拉长时间周期的条件，或者流量本身也不是十分充裕，我们无法通过常规的拉长实验周期和放大实验流量的方式积累足够的数据量的情况下，我们就难以得到一个具有较高置信度的结论，因此提出一种新的AB实验分流及分析系统。
发明内容
本发明的目的在于提供AB实验分流及分析系统，以解决上述背景技术中提出的问题。
为了实现上述目的，本发明提供如下技术方案：AB实验分流及分析系统，包括有实验配置系统、实验分流系统、实验数据系统、实验指标系统、双样本验证方案和数据可视化；
实验配置系统，提供集中的管理入口，为其他子系统提供数据来源，实现实验管理和分发的统一；
实验分流系统，基于实验配置系统，评估不同条件在用户群中的表现并据此做出决策；
实验数据系统，为数据分析和决策制定过程提供可靠、完整的数据支持；
实验指标系统，对事件、指标和属性进行统一管理，为各个实验、产品和用户提供一致的指标、分组和统计标准，指标作为具体分析的业务对象，分为检验指标和业务指标两类；
双样本验证方案，划分完整实验包括至少两个组和至少两个阶段，通过分别计算不同时期的两个组的某个指标的均值的单差分，计算这两个差分的差分得到双差分；
数据可视化，分别为Delta(宏观发现)，DID(下钻)，指标树(核心路径)三种样式。
优选地，所述实验配置系统分为自决策实验(使用方自行实现分流)和编程实验(由实验分流系统托管分流)；
优选地，所述实验分流系统具备随机性、一致性和灵活性三大特点；随机性，确保实验结果具有广泛适用性和有效性；一致性，用户始终保持在同一实验组，避免数据混淆；灵活性，支持增删改多种操作，并且实验之间具有互斥概念，确保流量不会重复。
优选地，所述实验数据系统由数据集成、数据清洗、数据转换和数据存储四个部分组成；从多个数据源收集数据并整合至统一系统，采用修正数据收集过程中出现的错误、缺失、重复和不一致问题，而后应用各种数据分析工具和技术将原始数据转换为适合分析和查询的格式，最后数据仓库采用特定的大数据管理体系进行数据存储。
优选地，所述实验指标系统为具体分析的业务对象，分为检验指标和业务指标两类，对事件、指标和属性的统一管理，以便为各个实验、产品和用户提供一致的指标、分组和统计标准。
优选地，分治推理手法，从宏观上的大幅度的指标波动，到下钻指标，寻找波动的特性和原因，再到归纳总结波动规律，进行逻辑验证。
优选地，结合DID可视化，将核心路径进行可视化，并且使用具体的业务指标进行数据辅助，构建一个因果关系思维导图；
在这样的可视化和科学计算的并行支撑下，可以得到一个固化的分析手段和流程，以及对整个流程当中的思路部分，提供可固化的分析思维方式。
优选地，前置工作和流程分为三个步骤，步骤一：使用有效数据系统所提供的数据源；步骤二：设计两个实验，存在两种不同的情况；步骤三:根据实验配置分流和用户分组，事实数据将会通过打点系统，向数据平台回报。
在系统的用户的实际生产工作当中，对业务的表现和实际情况产生了怀疑，从而设计了一个实验，实验本身，存在两种不同的情况，一种是使用分流系统(编程实验)，一种是不使用分流系统由用户自主做分流(自决策实验)。
优选地，报告系统主要流程分为整合整理和二次加工两个部分，1、系统对上述流程中产出的数据做整合整理，用以产生对应的取数SQL；2、对SQL的数据结果进行二次加工，再对结果进行对应的可视化整理和科学计数法格式化，最后进行前端渲染。
本发明的有益效果如下：
通过AB实验对一小部分用户随机采用策略A和策略B，再利用统计学方法评估和衡量各策略结果，依靠双差分计算方式，可以聚焦于业务的变化量，并依托双样本T值和正态拟合的P值计算，得到了从统计学上的存在的客观显著性观察，再通过多重校验的计算方式，可以在不同的指标空间和数据空间下，使指标的置信度都足够的置信。计算流程并不会很依赖观察量的大小，因为计算都是基于差分，方差等指标来计算的，计算的主要目标是变化量，显著降低了传统计算模式上对数据观测量的依赖；在DID和指标树可视化中都提供了双差分样本检测的科学计算方法，并且对与整体的分析思路，进行了框定，但是对于不同的核心路径的分析，可以借助指标树的模板功能进行实现。
附图说明
图1为本发明实验配置系统图；
图2为本发明实验分流系统流程图；
图3为本发明实验分流系统数据时序图；
图4为本发明实验数据系统图；
图5为本发明事件指标、属性、与系统的关系图；
图6为本发明指标管理系统图；
图7为本发明实验对指标的影响示意图；
图8为本发明实验分流及分析系统流程简图；
图9为本发明实验分流及分析系统流程详图；
图10为本发明后端计算的流程图；
图11为本发明单双差计算流程图及显著性检测流程图；
图12为本发明可视化流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1至图12所示，本发明实施例提供了AB实验分流及分析系统，包括有实验配置系统、实验分流系统、实验数据系统、实验指标系统、双样本验证方案和数据可视化；
实验配置系统，提供集中的管理入口，为其他子系统提供数据来源，实现实验管理和分发的统一；
实验分流系统，基于实验配置系统，评估不同条件在用户群中的表现并据此做出决策；
实验数据系统，为数据分析和决策制定过程提供可靠、完整的数据支持；
实验指标系统，对事件、指标和属性进行统一管理，为各个实验、产品和用户提供一致的指标、分组和统计标准，指标作为具体分析的业务对象，分为检验指标和业务指标两类；
双样本验证方案，划分完整实验包括至少两个组和至少两个阶段，通过分别计算不同时期的两个组的某个指标的均值的单差分，计算这两个差分的差分得到双差分；
数据可视化，分别为Delta(宏观发现)，DID(下钻)，指标树(核心路径)三种样式。
A1:实验期的实验组,A2:实验期的观察组
B1:观察期的实验组,B2:观察期的观察组
ΔY1(实验期单差分):
ΔY2(观察期单差分):
ΔY(实验双差分):ΔY1-ΔY2
双差分是可以解决绝大部分问题，对于小样本实验我们使用标准误差和双样本t值计算的方式，推断出t值从而求出p值，此处的方差，标准差，样本量的计算口径依赖指标中的αβ所存储的具体定义。
s2:方差
s:标准差
N:样本量
sem(标准误差):
t(双样本t值检测):
再根据BH-FDR多重校验方法，使在不同的指标的观测域下，全都具备统计学意义的置信结果。计算方式为，对所有指标的p值排序，从小到大排列后，找到最大的k值，且满足以下不等式。
k代表第k个p值
N为假设检验的次数
Q为预设的FDR阈值
满足条件后，拒绝比第k位小的p值即可。
同时，如何描述实验效果的影响，可以通过双差分的比率确认。
这样的比率可以使我们只关注于变化的比率，从而更客观的考量实验效果，并忽略规模上的影响。
如图7所示，可知实验对指标的影响，其中可以通过颜色对正向和负向影响进行分类，颜色深浅代表影响幅度；
通过双差分的比值可以客观的观察该组的数据变化量，统一使用双差分的形式描述数据变化规模，不会受到不同游戏类型或者不同实验规模产生的数据影响。
其中，所述实验配置系统分为自决策实验(使用方自行实现分流)和编程实验(由实验分流系统托管分流)；
如图1所示，在编程实验中，用户可灵活调整实验组与观察组的比例、设定实验间的互斥关系，并配置实验组与组之间的流量分配等功能。
其中，所述实验分流系统具备随机性、一致性和灵活性三大特点；随机性，确保实验结果具有广泛适用性和有效性；一致性，用户始终保持在同一实验组，避免数据混淆；灵活性，支持增删改多种操作，并且实验之间具有互斥概念，确保流量不会重复。
如图2和图3所示，这种方法有助于在产品开发和优化过程中实现数据驱动的决策，从而提高产品质量、用户体验和业务成果。
其中，所述实验数据系统由数据集成、数据清洗、数据转换和数据存储四个部分组成；从多个数据源收集数据并整合至统一系统，采用修正数据收集过程中出现的错误、缺失、重复和不一致问题，而后应用各种数据分析工具和技术将原始数据转换为适合分析和查询的格式，最后数据仓库采用特定的大数据管理体系进行数据存储。
如图4所示，数据集成的主要目的是确保数据全面且准确，通过数据清洗，确保数据仓库提供高质量数据，减少数据分析过程中的错误，避免误导性结论，提高决策可靠性，数据转换确保数据仓库中的数据能直接应用于各种数据分析工具和技术，依托大数据管理体系和OLAP分析系统，确保用户能在短时间内检索到所需信息。
其中，所述实验指标系统为具体分析的业务对象，分为检验指标和业务指标两类，对事件、指标和属性的统一管理，以便为各个实验、产品和用户提供一致的指标、分组和统计标准。
如图5和图6所示，系统依赖于数据系统的基础支持，在指标管理中，创建检验指标时，用户可通过定义属性α和观测量β来控制实验数据生产的标准差和观测量数据计算逻辑，进而影响单差和双差结果。在创建业务指标时，用户需要直接定义指标计算SQL来控制计算逻辑。创建指标过程中，需要将指标绑定到事件上，从而使相应事件能够使用该指标。
其中，分治推理手法，从宏观上的大幅度的指标波动，到下钻指标，寻找波动的特性和原因，再到归纳总结波动规律，进行逻辑验证。
其中，结合DID可视化，将核心路径进行可视化，并且使用具体的业务指标进行数据辅助，构建一个因果关系思维导图；
在这样的可视化和科学计算的并行支撑下，可以得到一个固化的分析手段和流程，以及对整个流程当中的思路部分，提供可固化的分析思维方式。
其中，前置工作和流程分为三个步骤，步骤一：使用有效数据系统所提供的数据源；步骤二：设计两个实验，存在两种不同的情况；步骤三:根据实验配置分流和用户分组，事实数据将会通过打点系统，向数据平台回报。
在这一部分我们需要保证的是业务当中的使用的数据系统所提供的数据源，都被有效的注册在了指标系统当中，以及对应需要做计算的指标也都被有效的注册了，同时这里需要处理，在不同的指标定义当中，可能观测量的标准是不一致的，所以需要有SQL编辑的能力。并且保证业务当中需要用到的全部指标都在此处被定义出来。
在系统的用户的实际生产工作当中，对业务的表现和实际情况产生了怀疑，从而设计了一个实验，实验本身，存在两种不同的情况，一种是使用分流系统(编程实验)，一种是不使用分流系统由用户自主做分流(自决策实验)。
实验被发布后，分流系统将会根据配置系统中的实验配置，进行分流操作，会对实验命中的用户根据实际配置的流量和规则进行用户的分组，客户端中的业务事实数据将会通过打点系统，向数据平台回报。在用户自主分流的场景当中，没有上述的流程，但是数据回收部分是客观上报，并不受实验系统影响，只是一种数据回收的手段，在整个实验执行的期间，实验的发布者，可以根据实验的具体情况，继续做出调整。
其中，报告系统主要流程分为整合整理和二次加工两个部分，1、系统对上述流程中产出的数据做整合整理，用以产生对应的取数SQL；2、对SQL的数据结果进行二次加工，再对结果进行对应的可视化整理和科学计数法格式化，最后进行前端渲染。
在获取了实验配置之后，根据实验的配置和当前页面上的筛选项优先判断当前页面中是否存在页缓存，如果有缓存则直接进行渲染即可，没有缓存则在获取到以上数据后，根据配置，包括实验ID，实验的起止日期，分组信息，观测期的起止日期，多实验期的起止日期等，根据这些信息，可以定位一个基本的SQL参数:Grouping Sets的组合和过滤条件等。从指标系统中，获取注册的指标的SQL以及绑定的事件的表SQL，再根据页面上的筛选器等选项组织过滤条件和分组条件进行拼装生成最终SQL，为了解决业务当中的一些实际情况，为此我们将日期分组作为case when单独的列来处理，这样可以保障一天的数据可以被多次统计；
在SQL生成后，我们会基于SQL的md5值进行数据缓存，并对于仍在实验中的报告设置较短的缓存过期，对于已经停止或者结束的实验，则是较长的缓存周期。渲染出来SQL以后，进行异步的SQL执行，前端进行轮询确认任务状态。
在后端计算的流程当中，我们从异步任务当中将SQL结果抽出，按照不同的实验期，观察期，实验组，观察组，进行数据拆解，将这些数据作为不可切分的原子数据，以备后续的业务进行二次处理。后续则是按照计算流程和前端的数据需要对计算流程进行组合。这样的解耦设计比较大的好处是模块化计算流程，复用的程度很高，不同的可视化可以拆解为不同的图表组合，而单个图表的数据组合可以根据不同的计算模块进行拼合组装而来。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.AB实验分流及分析系统，其特征在于：包括有实验配置系统、实验分流系统、实验数据系统、实验指标系统、双样本验证方案和数据可视化；
实验配置系统，提供集中的管理入口，为其他子系统提供数据来源，实现实验管理和分发的统一；
实验分流系统，基于实验配置系统，评估不同条件在用户群中的表现并据此做出决策；
实验数据系统，为数据分析和决策制定过程提供可靠、完整的数据支持；
实验指标系统，对事件、指标和属性进行统一管理，为各个实验、产品和用户提供一致的指标、分组和统计标准，指标作为具体分析的业务对象，分为检验指标和业务指标两类；
双样本验证方案，划分完整实验包括至少两个组和至少两个阶段，通过分别计算不同时期的两个组的某个指标的均值的单差分，计算这两个差分的差分得到双差分；
数据可视化，分别为Delta(宏观发现)，DID(下钻)，指标树(核心路径)三种样式。
2.根据权利要求1所述的AB实验分流及分析系统，其特征在于：所述实验配置系统分为自决策实验和编程实验。
3.根据权利要求1所述的AB实验分流及分析系统，其特征在于：所述实验分流系统具备随机性、一致性和灵活性三大特点；随机性，确保实验结果具有广泛适用性和有效性；一致性，用户始终保持在同一实验组，避免数据混淆；灵活性，支持增删改多种操作，并且实验之间具有互斥概念，确保流量不会重复。
4.根据权利要求1所述的AB实验分流及分析系统，其特征在于：所述实验数据系统由数据集成、数据清洗、数据转换和数据存储四个部分组成；从多个数据源收集数据并整合至统一系统，采用修正数据收集过程中出现的错误、缺失、重复和不一致问题，而后应用各种数据分析工具和技术将原始数据转换为适合分析和查询的格式，最后数据仓库采用特定的大数据管理体系进行数据存储。
5.根据权利要求1所述的AB实验分流及分析系统，其特征在于：所述实验指标系统为具体分析的业务对象，分为检验指标和业务指标两类，对事件、指标和属性的统一管理，以便为各个实验、产品和用户提供一致的指标、分组和统计标准。
6.根据权利要求1所述的AB实验分流及分析系统，其特征在于：分治推理手法，从宏观上的大幅度的指标波动，到下钻指标，寻找波动的特性和原因，再到归纳总结波动规律，进行逻辑验证。
7.根据权利要求1所述的AB实验分流及分析系统，其特征在于：结合DID可视化，将核心路径进行可视化，并且使用具体的业务指标进行数据辅助，构建一个因果关系思维导图。
8.根据权利要求1所述的AB实验分流及分析系统，其特征在于：前置工作和流程分为三个步骤，步骤一：使用有效数据系统所提供的数据源；步骤二：设计两个实验，存在两种不同的情况；步骤三:根据实验配置分流和用户分组，事实数据将会通过打点系统，向数据平台回报。
9.根据权利要求1所述的AB实验分流及分析系统，其特征在于：报告系统主要流程分为整合整理和二次加工两个部分，1、系统对上述流程中产出的数据做整合整理，用以产生对应的取数SQL；2、对SQL的数据结果进行二次加工，再对结果进行对应的可视化整理和科学计数法格式化，最后进行前端渲染。
10.根据权利要求1所述的AB实验分流及分析系统，其特征在于：所述Delta模块是将分析实验结果时难以直观地了解各组之间的差异、趋势、模式、异常值、数据波动进行可视化操作；
所述DID模块由两部分组成，1、实验组与对照组的单差分对比数据及折线图；2、以表格形式展示出分组项、实验分组和实验期维度下的双差分、显著性、p值、t值、观测量、实验前单差分、实验后单差分信息；
所述指标树模块承载所有节点的定义，大小，包含的指标，标题，和位置信息和父子关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311096116.5A CN116975041B (zh) | 2023-08-29 | 2023-08-29 | Ab实验分流及分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311096116.5A CN116975041B (zh) | 2023-08-29 | 2023-08-29 | Ab实验分流及分析系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116975041A true CN116975041A (zh) | 2023-10-31 |
| CN116975041B CN116975041B (zh) | 2024-05-14 |
Family
ID=88485133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311096116.5A Active CN116975041B (zh) | 2023-08-29 | 2023-08-29 | Ab实验分流及分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116975041B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112817856A (zh) * | 2021-02-04 | 2021-05-18 | 上海哔哩哔哩科技有限公司 | Ab实验集成方法及系统 |
| CN113836024A (zh) * | 2021-09-27 | 2021-12-24 | 中南大学 | 基于配置驱动的流量复用ab测试方法及系统 |
| CN115496309A (zh) * | 2021-06-17 | 2022-12-20 | 京东科技控股股份有限公司 | 实验指标的构建方法、构建装置和可读存储介质 |
| WO2023093397A1 (zh) * | 2021-11-24 | 2023-06-01 | 中国运载火箭技术研究院 | 一种基于海量对抗仿真推演数据建模与分析的效能评估方法 |
| CN116244165A (zh) * | 2021-12-08 | 2023-06-09 | 北京达佳互联信息技术有限公司 | 测试处理方法、装置、电子设备及存储介质 |
-
2023
- 2023-08-29 CN CN202311096116.5A patent/CN116975041B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112817856A (zh) * | 2021-02-04 | 2021-05-18 | 上海哔哩哔哩科技有限公司 | Ab实验集成方法及系统 |
| CN115496309A (zh) * | 2021-06-17 | 2022-12-20 | 京东科技控股股份有限公司 | 实验指标的构建方法、构建装置和可读存储介质 |
| CN113836024A (zh) * | 2021-09-27 | 2021-12-24 | 中南大学 | 基于配置驱动的流量复用ab测试方法及系统 |
| WO2023093397A1 (zh) * | 2021-11-24 | 2023-06-01 | 中国运载火箭技术研究院 | 一种基于海量对抗仿真推演数据建模与分析的效能评估方法 |
| CN116244165A (zh) * | 2021-12-08 | 2023-06-09 | 北京达佳互联信息技术有限公司 | 测试处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李彦群;李艾艾;白宇峰;: "电能实验室能力验证的分析与研究", 陕西电力, no. 10, 20 October 2008 (2008-10-20) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116975041B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107577588B (zh) | 一种海量日志数据智能运维系统 | |
| US10452625B2 (en) | Data lineage analysis | |
| CN110851499A (zh) | 基于知识的装配工艺设计方法、系统及介质 | |
| CN104778540A (zh) | 一种建材装备制造bom管理方法及管理系统 | |
| CN112256782A (zh) | 基于Hadoop的电力大数据处理系统 | |
| CN101888309A (zh) | 在线日志分析方法 | |
| CN110389950B (zh) | 一种快速运行的大数据清洗方法 | |
| WO2019019573A1 (zh) | 一种新型的olap预计算模型及生成预计算结果的方法 | |
| CN102323942B (zh) | 一种统计查询方法 | |
| CN114398442B (zh) | 一种基于数据驱动的情报处理系统 | |
| CN111178688A (zh) | 电力技术监督数据的自助化分析方法、系统、存储介质及计算机设备 | |
| CN108595627A (zh) | 一种自助式数据分析建模平台 | |
| CN111241129A (zh) | 一种工业生产企业指标数据采集与计算的系统 | |
| CN111125199B (zh) | 一种数据库访问方法、装置及电子设备 | |
| CN114238360A (zh) | 一种用户行为分析系统 | |
| CN116975041B (zh) | Ab实验分流及分析系统 | |
| CN113506098A (zh) | 基于多源数据的电厂元数据管理系统及方法 | |
| KR102345410B1 (ko) | 빅데이터 지능형 수집 방법 및 장치 | |
| CN111125045B (zh) | 一种轻量级etl处理平台 | |
| CN107291749B (zh) | 一种数据指标关联关系的确定方法及装置 | |
| Jing et al. | A microservice fault identification method based on LightGBM | |
| CN113177040A (zh) | 铝/铜板带材生产全流程大数据清洗与分析方法 | |
| Ericsson et al. | TDMentions: a dataset of technical debt mentions in online posts | |
| KR102453425B1 (ko) | 이종 데이터 통합 관리 방법 및 장치 | |
| CN116703321B (zh) | 一种基于绿色生产的药厂管理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |