CN114168452A - 一种ab测试试验程序可视化操作平台 - Google Patents
一种ab测试试验程序可视化操作平台 Download PDFInfo
- Publication number
- CN114168452A CN114168452A CN202111342922.7A CN202111342922A CN114168452A CN 114168452 A CN114168452 A CN 114168452A CN 202111342922 A CN202111342922 A CN 202111342922A CN 114168452 A CN114168452 A CN 114168452A
- Authority
- CN
- China
- Prior art keywords
- test
- function
- user
- matrix
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 120
- 230000006870 function Effects 0.000 claims abstract description 74
- 238000005457 optimization Methods 0.000 claims abstract description 38
- 238000006243 chemical reaction Methods 0.000 claims abstract description 37
- 239000002245 particle Substances 0.000 claims abstract description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 238000007726 management method Methods 0.000 claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 10
- 230000004382 visual function Effects 0.000 claims abstract 3
- 239000011159 matrix material Substances 0.000 claims description 45
- 238000000034 method Methods 0.000 claims description 30
- 230000000739 chaotic effect Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000009792 diffusion process Methods 0.000 claims description 9
- 238000012800 visualization Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000007619 statistical method Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013142 basic testing Methods 0.000 claims description 2
- 238000010998 test method Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 10
- 238000002474 experimental method Methods 0.000 abstract description 5
- 238000013480 data collection Methods 0.000 abstract description 4
- 238000013523 data management Methods 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 abstract description 3
- 230000006872 improvement Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000000551 statistical hypothesis test Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3696—Methods or tools to render software testable
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种AB测试试验程序可视化操作平台,该平台利用粒子群优化算法帮助用户确定最优方案，功能包括可视化功能、灰度发布功能、云眼A/B测试功能、A/B测试结果分析功能、系统管理功能、云眼A/B测试移动端功能，支持“产品数据管理管理平台”实现数据准确性，实时性，支持实验的创建，数据收集和效果评定，能将APP的日活提升2％，转化率提升1％，有效提升了用户配置AB测试系统的概率。
Description
技术领域
发明涉及测试技术领域,尤其涉及一种AB测试试验程序可视化操作平 台。
背景技术
现有的AB测试系统分为:AB测试配置后台和数据查询服务 SCF(ServiceControlFunction,服务控制层)。PM(Product Manager,产 品经理)通过AB测配置平台录入实验控件,配置实验数据,实现方案流量分 配。App(Application,应用程序)通过调用AB测试数据查询服务加载所有 实验数据,App端做缓存,缓存时间AB测试系统下发,通过用户重启App、切换城市和缓存过期时重新请求AB测系统获取所有使用数据。
随着公司级app产品形态的不断丰富，产品用户数量级的显著增加和 产品复杂度的不断提高。对于产品管理带来两方面主要挑战：
1)产品决策优化缺乏数据支持。以前多依靠个人经验完善优化产 品，一些重大产品功能缺乏决策支持，不易确定哪个方案效果最优。用户 希望可以有专业的A/B测试工具进行相关实验创建和数据采集分析。
2)对用户个性化需求支持不足。以前对于用户线上体验和服务的个 性化重视不足，用户希望可以结合标签体系，对用户进行个性化的服务改 进，更精细化的提升用户体验。
发明内容
为了克服现有技术存在的缺点与不足,本发明提供一种AB测试试验程 序可视化操作平台。
本发明所采用的技术方案是，该平台利用粒子群优化算法帮助用户确 定最优方案，包括可视化功能、灰度发布功能、云眼A/B测试功能、A/B 测试结果分析功能、系统管理功能、云眼A/B测试移动端功能。
进一步地，所述粒子群优化算法在A/B测试结果分析功能对用户数据 进行分析帮助用户确定方案，用户的数据用粒子i表示，粒子i借助D维 向量表示，粒子的位置、速度，粒子的位置、速度的更新如下表示：
Xi＝(xi1，xi2，…，xiD)T，Vi＝(Vi1，Vi2，…，ViD)T
式中，Vid k为粒子i在第k次迭代中d维的速度；c1、c2为学习因 子，分别调节向全局最优粒子和个体最优粒子方向飞行的最大步长，确保 用户最终得出的结论，其在目标数值周边，将c1＝c2＝2，而rand1,2在 区间[0,1]之间随机选取，Xid k为粒子i在第k次迭代的第d维的位置， 该算法在运行时进行粒子群状态的初始化，依照用户的实际条件进行相关 约束的设定，从而寻找最优的方案。
进一步地，所述可视化功能，该功能包括A创建优化方案：创建优化 方案名称、版本名称和流量分配、转换事件名称；B通过编辑器对各版本 修改界面，修改优化的项目包括：总体布局，文字内容，字体类型、大 小、颜色，按钮大小、位置，更换图片，图片大小、位置；C设置目标： 页面名称、鼠标点击、自定义事件；D设置流量：支持动态分配流量。
进一步地，所述灰度发布功能利用云眼全栈API灰度发布系统来实 现，用户分流功能。
进一步地，所述云眼A/B测试功能包括测试基本功能、测试高级功 能；
所述测试基本功能包括可视化编辑器、目标定义、预览模式、单变量 A/B测试、实时数据统计与分析、数据导出、多用户权限管理、多页面 A/B测试、多变量A/B测试、热图对比、会话录制。
所述测试高级功能包括用户流量分配、智能分流。
进一步地，所述可视化功能，利用Hopfield混沌神经网络和压缩感 知对图片进行加密，加密过程由预加密过程和嵌入过程这两部分组成，在 预加密过程中，首先利用三维Cat映射产生的测量矩阵对经过索引置乱 后的稀疏矩阵进行压缩，然后在量化的中间密文图片中加入随机数并进行 Hilbert混沌神经网络置乱和扩散操作以生成最终的类噪声密文图片。在 嵌入过程中，通过LSB替换将密文图片嵌入到载体图片的Alpha通道 中，从而生成最终具有视觉意义的隐写图片，步骤为：
步骤1：选择小波基构造出稀疏变换矩阵
并根据下式对大小 为M×N的明文图片P1进行稀疏化，
P2＝Psi×P1×PsiT；
步骤2：设定一个阈值TS并将矩阵P2中绝对值小于等于该阈值的 所有元素全部赋值为0提高解密图片的质量，将经过阈值处理后的矩阵 称为P3；
步骤3：通过四阶龙格库塔法求得Hopfield混沌神经网络的三条长 度为M×N/2的混沌轨迹[XP,YP,ZP]T，其中系统的初始值设置为 B：[x’1，x’2，x’3]，对其中两条混沌轨迹进行拼接获得新的混沌轨迹SP，并对该 混沌轨迹排序即可得到置乱序列Tsp，计算式描述如下：
SP＝[XP，YP]
[～，Tsp]＝sort(SP)；
步骤4：利用序列Tsp对经过阈值处理所得到的矩阵P3进行索引置 乱，如下式所示：
其中：j＝floor(i/M)+1，floor(·)表示对括号中的元素朝负无穷方向取 整，mod表示取余操作；
步骤5：使用密钥A：[x0，y0，z0]控制三维Cat映射产生一个测量矩阵 
其中CN＝CR×N,CR为预设的压缩率，再用测量矩阵Φ对置 乱后的矩阵P4进行测量，测量式如下式所示：
P5＝Φ×P4；
步骤6：对矩阵P5进行量化，然后再在矩阵P6中填充随机数得到 
其中，max和min分别表示矩阵P5中的最大值和最小值；
步骤7：通过产生的扩散矩阵对经过Hilbert混沌神经网络置乱后得 到的矩阵P7进行扩散操作，该过程的公式描述如下所示，其中符号
表 示异或操作，
P7＝Hilbert(P6)
DT＝floor([XP，ZP]×1010)mod 256
步骤8：将全255矩阵
等分成四个子矩阵D1i(i＝1，2，3，4)，然 后再将加密得到的类噪声图片P8中所有的元素分解成四个两位二进制 数，再通过LSB分别替换掉四个子矩阵中所有元素的最后两位，以得到 含有密文信息的四个子矩阵D2i。
进一步地，所述A/B测试结果分析功能包括统计学分析和业务分析两 个部分。
所述统计学分析，确定A/B测试结果在统计学角度的可信度，分析 时关注A、B版；
所述业务分析，在统计学上的可信度确定后，对A/B测试结果做业 务分析，业务分析确定优化版本比原始版本好或差的真正原因。
进一步地，所述系统管理功能包括超级管理员：应用管理、用户管 理、角色管理；编辑用户：创建新的A/B测试和灰度发布；普通用户： 查看特定A/B测试和灰度发布数据。
进一步地，所述云眼A/B测试移动端功能支持App (iOS/Android)、微信小程序，用于移动端A/B测试场景和灰度发布场 景。
本发明所提出的AB测试试验程序可视化操作平台，支持“产品数据 管理管理平台”实现数据准确性，实时性。支持实验的创建，数据收集和 效果评定，能将APP的日活提升2％，转化率提升1％，有效提升了用户配 置AB测试系统的概率。
附图说明
图1为本发明测试平台的功能框图；
图2为本发明云眼A/B测试移动端方案流程图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特 征可以相互结合,下面结合附图和有具体实施例对本申请作进一步详细说 明。
如图1所示,一种AB测试试验程序可视化操作平台，该平台利用粒子 群优化算法帮助用户确定最优方案，包括可视化功能、灰度发布功能、云 眼A/B测试功能、A/B测试结果分析功能、系统管理功能、云眼A/B测试 移动端功能。
进一步地，所述粒子群优化算法在A/B测试结果分析功能对用户数据 进行分析帮助用户确定方案，用户的数据用粒子i表示，粒子i借助D维 向量表示，粒子的位置、速度，粒子的位置、速度的更新如下表示：
Xi＝(xi1，xi2，…，xiD)T，Vi＝(Vi1，Vi2，…，ViD)T
式中，Vid k为粒子i在第k次迭代中d维的速度；c1、c2为学习因 子，分别调节向全局最优粒子和个体最优粒子方向飞行的最大步长，确保 用户最终得出的结论，其在目标数值周边，将c1＝c2＝2，而rand1,2在 区间[0,1]之间随机选取，Xid k为粒子i在第k次迭代的第d维的位置， 该算法在运行时进行粒子群状态的初始化，依照用户的实际条件进行相关 约束的设定，从而寻找最优的方案。
可视化功能，通过A/B测试服务中可视化的功能，不断优化页面设计 细节，通过改变文案、按钮位置和元素颜色来验证最优的设计方案，从而 提升用户体验。
可以设计出大量试验，需要做好规划，这类试验同时运行的数量可能 较多，有计划、有步骤的持续不断的实施，避免试验之间互相干扰，有时 需要设置分层和互斥关系。
可视化编辑方式具体功能包括：
A创建优化方案：创建优化方案名称、版本名称和流量分配、转换事 件名称；
B通过编辑器对各版本修改界面。修改优化的项目包括：总体布局， 文字内容，字体类型、大小、颜色，按钮大小、位置，更换图片，图片大 小、位置等；
C设置目标：页面名称、鼠标点击、自定义事件；
D设置流量：支持动态分配流量等。
可视化编辑方式基本架构和原理：
云眼SDK通过Java的反射机制获得Android View和View中元素的 属性名称和值，通过服务器以JSON形式传给云眼Web控制台，云眼Web 控制台将JSON数据转换为HTML元素显示出来。
Android App启动时，云眼SDK从CDN将灰度发布系统配置文件获取 到本地。
用户访问App或触发目标后，消息会由SDK发回云眼服务器。
灰度发布功能，日常需求和产品落地时，对产品设计方案有争议或者 有发布风险时，采用灰度发布方式发布，通过逐步扩大范围，在初始灰度 的时候就可以发现、调整问题，以保证其影响度，降低发布风险。
灰度发布可以通过客户端(App和微信小程序)或服务器端单独实 现，有时需要客户端和服务器端共同来实现。云眼A/B测试可以完全支持 这些场景。
云眼全栈API灰度发布系统既可以支持服务器端也支持客户端(即 移动端API方式)，并且支持各种语言比如：Java，NodeJs，Ruby， Javascript，Android，Objective-C，swift，PHP，Python等。
可视化功能，利用Hopfield混沌神经网络和压缩感知对图片进行加 密，加密过程由预加密过程和嵌入过程这两部分组成，在预加密过程中， 首先利用三维Cat映射产生的测量矩阵对经过索引置乱后的稀疏矩阵进 行压缩，然后在量化的中间密文图片中加入随机数并进行Hilbert混沌 神经网络置乱和扩散操作以生成最终的类噪声密文图片。在嵌入过程中， 通过LSB替换将密文图片嵌入到载体图片的Alpha通道中，从而生成最 终具有视觉意义的隐写图片，步骤为：
步骤1：选择小波基构造出稀疏变换矩阵
并根据下式对大小 为M×N的明文图片P1进行稀疏化，
P2＝Psi×P1×PsiT；
步骤2：设定一个阈值TS并将矩阵P2中绝对值小于等于该阈值的 所有元素全部赋值为0提高解密图片的质量，将经过阈值处理后的矩阵 称为P3；
步骤3：通过四阶龙格库塔法求得Hopfield混沌神经网络的三条长 度为M×N/2的混沌轨迹[XP,YP,ZP]T，其中系统的初始值设置为 B：[x’1，x’2，x’3]，对其中两条混沌轨迹进行拼接获得新的混沌轨迹SP，并对该 混沌轨迹排序即可得到置乱序列Tsp，计算式描述如下：
SP＝[XP，YP]
[～，Tsp]＝sort(SP)；
步骤4：利用序列Tsp对经过阈值处理所得到的矩阵P3进行索引置 乱，如下式所示：
其中：j＝floor(i/M)+1，floor(·)表示对括号中的元素朝负无穷方向取 整，mod表示取余操作；
步骤5：使用密钥A：[x0，y0，z0]控制三维Cat映射产生一个测量矩阵 
其中CN＝CR×N,CR为预设的压缩率，再用测量矩阵Φ对置 乱后的矩阵P4进行测量，测量式如下式所示：
P5＝Φ×P4；
步骤6：对矩阵P5进行量化，然后再在矩阵P6中填充随机数得到 
其中，max和min分别表示矩阵P5中的最大值和最小值；
步骤7：通过产生的扩散矩阵对经过Hilbert混沌神经网络置乱后得 到的矩阵P7进行扩散操作，该过程的公式描述如下所示，其中符号
表 示异或操作，
P7＝Hilbert(P6)
DT＝floor([XP，ZP]×1010)mod 256
步骤8：将全255矩阵
等分成四个子矩阵D1i(i＝1，2，3，4)，然 后再将加密得到的类噪声图片P8中所有的元素分解成四个两位二进制 数，再通过LSB分别替换掉四个子矩阵中所有元素的最后两位，以得到 含有密文信息的四个子矩阵D2i。
云眼全栈API基本功能与移动端API方式类似，包括：
创建优化方案：创建优化方案名称、版本名称和流量分配、转换事件 名称。
创建受众和属性：根据特定的用户和设定条件，有条件的激活优化方 案。
创建事件：通过API跟踪关键的用户行为。
A)用户分流功能：即如何有选择的有控制的选择部分用户使用新功 能，验证无误后，再按照规则，逐步扩大使用新功能用户比例，直至全量 发布，或遇到问题全体用户回滚。
B)灰度指标：确定新功能是否逐步扩大使用比例或是回滚，主要根 据监控的指标表现。包含技术性指标和业务性指标。技术性指标，如 Bug，App崩溃，App启动速度，页面响应速度等；业务性指标，如App用 户活跃率、留存率，功能使用度，流程转化率等。这些指标均应该可以通 过可配置的形式进行采集，并可在界面查看统计数据，提供决策数据依 据。
云眼A/B测试功能包括测试基本功能、测试高级功能；
所述测试基本功能包括可视化编辑器：改变Web或App无需编码。
支持多链接合并模式(适用于Web/H5)，链接合并试验指的的是多 个URL的页面，合并成为一个URL进行A/B测试。
目标定义：页面地址、鼠标点击、自定义事件
预览模式：在启动测试之前预览优化方案
单变量A/B测试：比较两个或多个版本的页面的单个元素变化，用数 据和统计结果决定哪个版本表现最好。
实时数据统计与分析：实时统计转化数据(可达到分钟级监控测试效 果，及时发现测试版本的异常情况)。
数据导出：数据可以直接导出。
多用户权限管理:配置和管理用户角色的权限。
多页面A/B测试：当需要对网站中的一系列页面进行A/B测试时，可 以采用云眼多页面A/B测试。在多页面A/B测试中，整个系列页面会分为 A版本和B版本，系列的A版本由每个页面的A版本组成，系列的B版本 由每个页面的B版本组成。
多变量A/B测试：比较两个或多个版本的页面的多个元素组合变化， 用数据和统计结果决定哪个版本表现更好。
热图对比：热力图的数据中包含了用户在页面中的点击、移动以及滚 动。点击记录了访客在页面中点击的位置，移动记录了访客在页面中鼠标 的移动轨迹，滚动记录了访客查看网页内容的多少。还可以看到不同设备 (桌面、平板、手机)记录的样本多少。
会话录制：当有用户访问目标页面，云眼便会采集到会话录制的数 据。
项目级JavaScript：加入整个项目都使用的JavaScript代码。
项目级CSS：加入整个项目都使用的CSS代码。
优化建议：根据应用类型和页面类型给出优化建议。
所述测试高级功能包括用户流量分配、智能分流。
用户流量分配：云眼产品采用智能分流的模式，支持分层分流，定向 分流，支持流量实时动态流量调整。通过云眼产品有选择的有控制的选择 部分用户使用新功能，验证无误后，再按照规则，逐步扩大使用新功能用 户比例，直至全量发布，或遇到问题全体用户回滚。
智能分流：根据转化情况，进行AI智能流量分配，支持实时动态流 量调整，实时可以调整每个版本分配的流量。
A/B测试结果分析功能包括统计学分析和业务分析两个部分。
所述统计学分析，统计学分析是为了确定A/B测试结果在统计学角 度是否可信。分析时我们首先关注A、B版
本对用户行为的影响是否有差别，这通过统计显著性来反映。确定有 差别后，我们再看差别有多大，改进效果表示转化率提高(或降低)的幅 度，差异区间表示转化率改进的最可能范围。下面我们分别解释各项指标 的含义。
统计显著性：优化版本和原始版本之间转化率存在差异的可能性或可 信度，数值上等于1减去统计学假设检验中的P值(p-value)，P值 表示样本间的差异由随机因素所导致的概率。
对于目标“homepage注册”，原始版本的转化率为16.8％，优化版 本的为18.2％，统计显著性为83.99％，即两个版本之间转化率的差异有 83.99％的可能性是由于优化版本的改动造成。
统计显著性数值所代表的含义：
a.≥95％：优化版本和原始版本之间有显著的统计差异，转化率的 “改进”是可信的；
b.90％～95％：优化版本和原始版本之间的统计差异存有疑问，转化率 的“改进”是存有疑问的；
c.<90％：优化版本和原始版本之间没有显著的统计差异，转化率的 “改进”是不可信的；一般来说，统计显著性要大于95％才认为A/B测 试结束，但是，统计显著性达到95％有时需要很长的测试周期，考虑到机 会成本，比如为了尽快推出新特性抢占市场先机，统计显著性达到90％也 是可以接受的，但需要知道这是有一定风险的。
一种情况，在测试过程中，有时统计显著性可能达到了95％，但继续 测试，发现统计显著性又会降到95％以下，因此在统计显著性达到95％ 后，仍需要继续测试一段时间，发现显著性能够持续保持在95％以上， 才可以结束测试。
还有一种情况，在测试过程中统计显著性始终不能达到90％，也就是 两个版本对用户影响的差异不明显，我们观察一段时间后，只能结束测 试。
改进效果：(优化版本转化率–原始版本转化率)/原始版本转化 率，表示优化版本与原始版本相比，转化率提高的幅度。
差异区间：优化版本与原始版本之间转化率差异的置信区间，或者说 是最可能分布的区间范围。
注意，差异区间用转化率差异的绝对值表示，而不是相对比率。例 如，原始版本的转化率为10％，优化版本的转化率为11％，则转化率的绝 对差异为1％，而转化率的相对差异为10％(也就是优化版本相对原始改 进了10％)。
准确来说，原始版本与优化版本#1之间转化率的差异在-1.64％和 +3.50％之间，也就是说优化版本#1的转化率最可能在(18.7％– 1.64％)＝17.06％和(18.7％+3.50％)＝22.2％之间。通过差异区间来了 解优化版本转化率的可能范围，以便做进一步优化。
业务分析，在统计学上的可信度确定以后，我们还要对A/B测试结 果做业务分析。业务分析是为了找到优化版本比原始版本好或差的真正原 因，是A/B测试结果分析的重要部分。我们要基于自己所从事行业的业 务领域知识，结合客户心理、使用习惯、直觉本能、喜好倾向等角度来分 析，把数字后面的道理挖掘出来，用来更好指导我们未来的行动。
其他指标说明
云眼A/B测试结果面板，还包含独立访客数、访问数、转化数、转 化率等指标。
独立访客数：某段时间内访问Web应用、APP的用户数或设备数。
Web应用：未登录用户可以通过用户的浏览器Cookie、IP地址、设 备分辨率、浏
览器型号、操作系统等信息判断用户是否为独立访客。比如用户在某 段时间内使用
不同的浏览器或不同的设备访问应用，将记为多个独立访客。已登录 用户，可以通
过用户ID识别独立访客数。
APP：未登录可以通过用户移动设备的型号、操作系统、品牌、分辨 率、IP地址等
信息来判断用户是否为独立访客。已登录用户，可以通过用户ID识 别独立访客数。
访问数：用户使用应用的次数，如果用户连续两次请求界面的时间间 隔不超过30分钟，则
按1次访问计算；否则，就是2次访问。
转化数：用户触发某个目标的次数，在1次访问中，如果这个目标 被触发多次，该目标的
转化数只按1次计算。
转化率：转化数/访问数，云眼转化率的计算是以访问数为基数， 而不是访客数。
系统管理功能包括系统应用管理、各应用权限管理、用户管理、试验 权限管理
权限可精细到实验级别，针对某一个试验为特定用户分配权限，权限 分为：
配置试验：创建、编辑版本、设置目标、设置受众、预览、试验类型 设置、API编写。
查看结果；查看结果、查看试验各项设置但不能修改。
管理试验：修改流量、启动试验、暂停试验、结束试验。
超级管理员：应用管理、用户管理、角色管理；编辑用户：创建新的 A/B测试和灰度发布；普通用户：查看特定A/B测试和灰度发布数据。
云眼A/B测试移动端功能支持App(iOS/Android)、微信小程序， 用于移动端A/B测试场景和灰度发布场景，如图2所示。
设计优化方案，下面以一个简单的小程序为例，现在提出假设：轮播 图的播放速度会影响用户的点击率。所以确定需要进行A/B测试的就是轮 播图的播放速度，衡量结果的指标就是轮播图的点击率。
创建优化方案：前往“业务优化”>“创建优化方案”。输入优化方 案名称，平台选择“全栈API”，然后点击“确定”完成优化方案的创 建。创建完成后页面会自动跳转到编辑器页面。
添加版本并分配流量，优化方案后，进入编辑界面，点击“添加新 版本”按钮可添加新版本，并且可以自行选择参加该试验的流量比例以及 为各个版本分配流量。
设置目标，根据优化方案的设计情况，将需要用到的衡量指标创建为 一个目标。输入目标的名称然后点击“创建目标”，目标创建完成后，点 击目标后的“+”号将其添加到优化方案中。
设置受众，可以将优化方案定位到在云眼控制台预先定义的特定受众 群体中，云眼将会在激活优化方案时通过属性值评估用户是否满足受众条 件，从而决定是否激活优化方案。在云眼控制台中点击“业务优化”，业 务优化界面打开后再点击“自定义属性(全栈)”。点击创建自定义属性， 输入自定义属性的名称和描述，点击确定按钮。
然后在编辑器中点击“创建受众”，输入受众的名称和描述，将右侧 已创建好的自定义属性拖拽至受众条件下，然后输入一个属性的值，例 如：male，然后点击“保存受众”按钮。(注意：创建的自定义属性的名 称和输入的值最终形成键值对的形式：”Gender”:”male”)。
启动优化方案，配置完成后点击“启动优化方案”。
SDK下载与安装，打开云眼控制台，然后点击“业务优化”，业务优 化界面打开后点击“SDK下载与安装”。
在新打开的页面中，选择”全栈APISDK安装“，再从下方选择“微 信小程序”，点击下载链接开始下载小程序SDK文件，下载完成后将 SDK文件eyeofcloud.min.js和包装文件eoc_manager.js加载到项目当 中，其中包装文件eoc_manager.js的作用主要是引入SDK并获取配置文 件的信息，然后在需要进行A/B测试的页面当中直接引入 eoc_manager.js，并实例化eyeofcloud。
编码实现，如果您正在使用私有部署的云眼系统，则需要修改事件发 送URL,调用云眼SDK的setServerHost方法，将私有部署的URL作为参 数传入即可(URL不需要添加https头)。
调用云眼SDK的activate方法会激活试验并得到对应的版本名称， 根据版本名称对界面做出不同的修改从而形成不同的版本。activate接 受两个参数，试验名称和userID。
在目标事件触发时，调用track接口，需要提供2个参数，分别为目 标名称(在云眼控制台创建的目标名称)和用户ID。
简单API中使用参数化API，使用简单API方式可以和参数化API进 行配合使用,先调用简单API的activate方法激活一个试验得到版本名称, 然后调用参数化APIgetVariA/Ble/getVariA/BleBoolean来获取在云眼 控制台定义的变量值，需要提供3个参数，分别是变量名称、用户ID、 布尔值true/false，其中最后一个参数的布尔值代表是否激活试验，我 们只需要获取变量的值便于使用而并不需要激活试验，所以我们最后一个 参数传递false。在这种情况下，我们使用activateAPI激活试验得到 的是哪个版本，则使用参数化API获取到的变量就是我们在云眼控制台定 义的该版本的值。例如：我们用activate激活试验返回的是优化版本， 则我们使用参数化API获取到的变量值也是优化版本中的变量值。
查看试验结果，当试验运行一段时间后，就可以到云眼控制台查看试 验的运行结果。
本发明所提出的AB测试试验程序可视化操作平台，支持“产品数据 管理管理平台”实现数据准确性，实时性。支持实验的创建，数据收集和 效果评定，能将APP的日活提升2％，转化率提升1％，有效提升了用户配 置AB测试系统的概率。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员 而言,可以理解的是,在不脱离本发明的原理和精神的情况下可以对这些实 施例进行多种等效的变化、修改、替换和变型,本发明的范围由所附权利 要求及其等同范围限定。
Claims (9)
1.一种AB测试试验程序可视化操作平台，其特征在于,该平台利用粒子群优化算法帮助用户确定方案，功能包括可视化功能、灰度发布功能、云眼A/B测试功能、A/B测试结果分析功能、系统管理功能、云眼A/B测试移动端功能。
2.一种AB测试试验程序可视化操作平台，其特征在于,所述粒子群优化算法在A/B测试结果分析功能对用户数据进行分析帮助用户确定方案，用户的数据用粒子i表示，粒子i借助D维向量表示，粒子的位置、速度，粒子的位置、速度的更新如下表示：
Xi＝(xi1，xi2，…，xiD)T，Vi＝(Vi1，Vi2，…，ViD)T
式中，pbest表示所有个体极值，T表示时间，p表示单个个体极值Vid k为粒子i在第k次迭代中d维的速度；c1、c2为学习因子，分别调节向全局最优粒子和个体最优粒子方向飞行的最大步长，确保用户最终得出的结论，其在目标数值周边，将c1＝c2＝2，而rand1,2在区间[0,1]之间随机选取，Xid k为粒子i在第k次迭代的第d维的位置，该算法在运行时进行粒子群状态的初始化，依照用户的实际条件进行相关约束的设定。
3.如权利要求2所述的一种AB测试试验程序可视化操作平台，其特征在于，所述可视化功能，该功能包括A创建优化方案：创建优化方案名称、版本名称和流量分配、转换事件名称；B通过编辑器对各版本修改界面，修改优化的项目包括：总体布局，文字内容，字体类型、大小、颜色，按钮大小、位置，更换图片，图片大小、位置；C设置目标：页面名称、鼠标点击、自定义事件；D设置流量：支持动态分配流量。
4.如权利要求3所述的一种AB测试试验程序可视化操作平台，其特征在于，所述可视化功能，利用Hopfield混沌神经网络和压缩感知对图片进行加密，加密过程由预加密过程和嵌入过程这两部分组成，在预加密过程中，首先利用三维Cat映射产生的测量矩阵对经过索引置乱后的稀疏矩阵进行压缩，然后在量化的中间密文图片中加入随机数并进行Hilbert混沌神经网络置乱和扩散操作以生成最终的类噪声密文图片，在嵌入过程中，通过LSB替换将密文图片嵌入到载体图片的Alpha通道中，从而生成最终具有视觉意义的隐写图片，步骤为：
步骤1：选择小波基构造出稀疏变换矩阵
并根据下式对大小为M×N的明文图片P1进行稀疏化，
P2＝Psi×P1×PsiT；
步骤2：设定一个阈值TS并将矩阵P2中绝对值小于等于该阈值的所有元素全部赋值为0提高解密图片的质量，将经过阈值处理后的矩阵称为P3；
步骤3：通过四阶龙格库塔法求得Hopfield混沌神经网络的三条长度为M×N/2的混沌轨迹[XP,YP,ZP]T，其中系统的初始值设置为B：[x’1，x’2，x’3]，对其中两条混沌轨迹进行拼接获得新的混沌轨迹SP，并对该混沌轨迹排序即得到置乱序列Tsp，计算式描述如下：
SP＝[XP，YP]
[～，Tsp]＝sort(SP)；
步骤4：利用序列Tsp对经过阈值处理所得到的矩阵P3进行索引置乱，如下式所示：
其中：j＝floor(i/M)+1，floor(·)表示对括号中的元素朝负无穷方向取整，mod表示取余操作；
步骤5：使用密钥A：[x0，y0，z0]控制三维Cat映射产生一个测量矩阵
其中CN＝CR×N,CR为预设的压缩率，再用测量矩阵Φ对置乱后的矩阵P4进行测量，测量式如下式所示：
P5＝Φ×P4；
步骤6：对矩阵P5进行量化，然后再在矩阵P6中填充随机数得到
其中，max和min分别表示矩阵P5中的最大值和最小值；
步骤7：通过产生的扩散矩阵对经过Hilbert混沌神经网络置乱后得到的矩阵P7进行扩散操作，该过程的公式描述如下所示，其中符号
表示异或操作，
P7＝Hilbert(P6)
DT＝floor([XP，ZP]×1010)mod 256
步骤8：将全255矩阵
等分成四个子矩阵D1i(i＝1，2，3，4)，然后再将加密得到的类噪声图片P8中所有的元素分解成四个两位二进制数，再通过LSB分别替换掉四个子矩阵中所有元素的最后两位，以得到含有密文信息的四个子矩阵D2i。
5.如权利要求4所述的一种AB测试试验程序可视化操作平台，其特征在于，所述灰度发布功能利用云眼全栈API灰度发布系统来实现用户分流功能。
6.如权利要求5所述的一种AB测试试验程序可视化操作平台，其特征在于，所述云眼A/B测试功能包括测试基本功能、测试高级功能；
所述测试基本功能包括可视化编辑器、目标定义、预览模式、单变量A/B测试、实时数据统计与分析、数据导出、多用户权限管理、多页面A/B测试、多变量A/B测试、热图对比、会话录制；
所述测试高级功能包括用户流量分配、智能分流。
7.如权利要求6所述的一种AB测试试验程序可视化操作平台，其特征在于，所述A/B测试结果分析功能包括统计学分析和业务分析两个部分；
所述统计学分析，确定A/B测试结果在统计学角度的可信度，分析时关注A、B版；
所述业务分析，在统计学上的可信度确定后，对A/B测试结果做业务分析，业务分析确定优化版本比原始版本好或差的真正原因。
8.如权利要求7所述的一种AB测试试验程序可视化操作平台，其特征在于，所述系统管理功能包括超级管理员：应用管理、用户管理、角色管理；编辑用户：创建新的A/B测试和灰度发布；普通用户：查看特定A/B测试和灰度发布数据。
9.如权利要求8所述的一种AB测试试验程序可视化操作平台，其特征在于，所述云眼A/B测试移动端功能支持App(iOS/Android)、微信小程序，用于移动端A/B测试场景和灰度发布场景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111342922.7A CN114168452A (zh) | 2021-11-12 | 2021-11-12 | 一种ab测试试验程序可视化操作平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111342922.7A CN114168452A (zh) | 2021-11-12 | 2021-11-12 | 一种ab测试试验程序可视化操作平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114168452A true CN114168452A (zh) | 2022-03-11 |
Family
ID=80478751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111342922.7A Pending CN114168452A (zh) | 2021-11-12 | 2021-11-12 | 一种ab测试试验程序可视化操作平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114168452A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114462890A (zh) * | 2022-04-07 | 2022-05-10 | 第四范式（北京）技术有限公司 | 一种评估辅助方法及装置、电子设备、存储介质 |
| CN116305222A (zh) * | 2023-05-22 | 2023-06-23 | 武汉惠强新能源材料科技有限公司 | 一种锂电池隔膜生产数据安全权限智能调控方法 |
-
2021
- 2021-11-12 CN CN202111342922.7A patent/CN114168452A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114462890A (zh) * | 2022-04-07 | 2022-05-10 | 第四范式（北京）技术有限公司 | 一种评估辅助方法及装置、电子设备、存储介质 |
| CN116305222A (zh) * | 2023-05-22 | 2023-06-23 | 武汉惠强新能源材料科技有限公司 | 一种锂电池隔膜生产数据安全权限智能调控方法 |
| CN116305222B (zh) * | 2023-05-22 | 2023-09-05 | 武汉惠强新能源材料科技有限公司 | 一种锂电池隔膜生产数据安全权限智能调控方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11526653B1 (en) | System and method for optimizing electronic document layouts | |
| Wiebe et al. | Two‐year follow‐up outcomes in emotionally focused couple therapy: An investigation of relationship satisfaction and attachment trajectories | |
| CN107766940B (zh) | 用于生成模型的方法和装置 | |
| CN110781321B (zh) | 一种多媒体内容推荐方法及装置 | |
| US9854064B2 (en) | Method of website optimisation | |
| CN109670267B (zh) | 一种数据处理方法和装置 | |
| US20220156257A1 (en) | Automatically expanding segments of user embeddings using multiple user embedding representation types | |
| KR20220066924A (ko) | 머신 러닝 모델에서 동적 이상치 바이어스 감소를 구현하도록 구성된 컴퓨터 기반 시스템, 컴퓨팅 구성요소 및 컴퓨팅 객체 | |
| DE102018006962A1 (de) | Regelfestlegung für Black-Box-Maschinenlernmodelle | |
| CN114168452A (zh) | 一种ab测试试验程序可视化操作平台 | |
| CN109844781A (zh) | 用于从日志文件识别处理流并使流可视化的系统和方法 | |
| CN108027830A (zh) | 用于自动内容验证的系统和方法 | |
| US20210232706A1 (en) | Generating behavioral profiles | |
| WO2016013972A1 (en) | Computer-implemented method of and system for running a marketing campaign | |
| US11501107B2 (en) | Key-value memory network for predicting time-series metrics of target entities | |
| CN103608807A (zh) | 路径长度选择器 | |
| US20200068045A1 (en) | Internet of things designer for an authoring tool in virtual and augmented reality environments | |
| US20220070150A1 (en) | Privacy-enhanced data stream collection | |
| CN111767982A (zh) | 用户转换预测模型的训练方法、装置、存储介质以及电子设备 | |
| CN113297486B (zh) | 一种点击率预测方法及相关装置 | |
| CN113516251A (zh) | 一种机器学习系统及模型训练方法 | |
| WO2019133164A1 (en) | System and method for recommending features for content presentations | |
| CN107979779B (zh) | 社交媒体服务上的媒体内容分组的组合交互监测 | |
| US20130347023A1 (en) | Method for requesting digital content, for providing digital content, and for producing a personal profile of a user | |
| US11799864B2 (en) | Computer systems for regulating access to electronic content using usage telemetry data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220311 |
|
| WD01 | Invention patent application deemed withdrawn after publication |