CN112817699A - 一种批量部署的自动化性能测试方法及终端装置 - Google Patents

Abstract

本发明公开了一种批量部署的自动化性能测试方法，包括配置多个虚拟机经虚拟代理服务器连接网络适配器访问网络的终端，其中，虚拟代理服务器为多个，虚拟机与虚拟代理服务器之间由智能录制模块中继；终端配置有虚拟机‑虚拟代理服务器映射表；终端配置有智能录制模块，用于中继虚拟机与虚拟代理服务器之间传递信息，根据映射表中继传输相应的虚拟机与虚拟代理服务器之间的信息。本发明具有收敛性好、错误率低、负载效率高、智能化的优点。

Description

一种批量部署的自动化性能测试方法及终端装置

技术领域

本发明涉及一种计算机自动化测试技术，尤其涉及批量部署的自动化性能测试方法及终端装置。

背景技术

随着互联网的蓬勃发展，传统关系数据库存储系统无法满足海量数据场景，各大互联网公司，从自己的业务需求出发，开发出了各种分布式系统。分布式系统通常由成百上千台机器组成，每天可能都会有一台甚至多台机器的硬盘、网络等发生故障，同时进程本身也可能会由于异常导致崩溃(crash)，因此，需要对分布式系统进行压力测试。当前对分布式系统进行测试的现状是，各个团队维护自己的测试代码、测试集群和测试用例(case)，存在测试代码、测试集群、测试用例无法共享的问题，导致消耗大量的人力和机器资源。通常，在设计了测试用例并通过评审之后，由测试人员根据测试用例中描述的规程一步步执行测试，得到实际结果与期望结果的比较。在此过程中，为了节省人力、时间或硬件资源，提高测试效率，便引入了自动化测试的概念。目前常见的做法是用户接口(UI，User Interface)驱动方式，即自动去WEB页面上找到指定的元素，并设置元素的属性，然后触发相关的事件，以指导页面自动地执行预定的操作。UI驱动方式也是自动化模拟手工操作页面的基本要求。现有技术CN111400162A公开了一种测试方法及测试系统，测试方法包括：控制单元向测试代理单元发送用于进行压力测试的指令序列，指令序列包括多条数据操作指令；测试代理单元将接收到的数据操作指令转换为所述分布式系统的接口请求，将转换得到的接口请求发送到所述分布式系统执行，并接收所述分布式系统的响应结果，将响应结果发送到所述控制单元；验证单元根据控制单元记录的数据操作指令和响应结果，验证响应结果是否符合预期。又如公告号为CN103309800B的中国发明专利，记载类一种网页自动化测试方法和系统，方法包括：加载被测页面中的代理脚本，该代理脚本枚举被测页面瓜哇脚本(JS)环境中的JS对象；将由该代理脚本所枚举出的JS对象映射到测试用例JS环境中；测试用例根据该测试用例JS环境触发被测页面的页面动作以执行测试逻辑。应用该发明实施方式之后，能够避开元素匹配的工作量，极大地提高前台测试的效率，并由此降低测试成本。

发明内容

本发明的目的在于针对现有技术提供一种收敛性好、错误率低、负载效率高、智能化的批量部署的自动化性能测试方法。

本发明解决上述技术问题所采用的技术方案为：一种批量部署的自动化性能测试方法，包括配置多个虚拟机经虚拟代理服务器连接网络适配器访问网络的终端，其中，虚拟代理服务器为多个，虚拟机与虚拟代理服务器之间由智能录制模块中继；终端配置有虚拟机-虚拟代理服务器映射表；终端配置有智能录制模块，用于中继虚拟机与虚拟代理服务器之间传递信息，根据映射表中继传输相应的虚拟机与虚拟代理服务器之间的信息。

为优化上述技术方案，采取的措施还包括：虚拟机经网络适配器连接有网络，虚拟机配置有录制程序和浏览器，录制程序含有设置模块、智能模块和录制模块；虚拟机配置有多个虚拟代理服务器；虚拟代理服务器根据浏览器配置访问相应的网络的页面；子录制器在虚拟机的app之间进行中继，子录制器将中继的信息复制发送到智能模块；智能模块识别中继的信息，并根据预设的txt或数据库将中继的信息识别后，向设置模块发送控制信息，设置模块根据控制信息向浏览器发送虚拟代理服务器能识别的代理脚本。

终端配置有V个虚拟机和W个虚拟代理服务器在虚拟机-虚拟代理服务器映射表上形成一个矩阵M₀，M为其实际访问过程中低效率映射的矩阵，令

M中低效率映射所占比例为ρ_s。当且仅当映射恢复得到的结果

满足

时，认为这个映射矩阵恢成功。其中γ的取值可以根据终端的算力预设为0.01至0.1。F为由多组效率为中或高的映射组成的矩阵，映射的效率高低参照f_weiht进行评定。测试访问具有以下过程，app将访问信号发送给浏览器，此过程中，子录制器中继并复制信息给虚拟机的智能模块。

智能录制模块以平均访问频率评价虚拟代理服务器在上述测试失效周期内页面更新时的负载强度，根据预设α和β取值，剔除低强度虚拟代理服务器的任务并对空闲虚拟代理服务器新建任务；页面强度值/映射效率值定义目标测试页面的虚拟服务器负载强度f_weiht表示如下：

其中，AAF为平均访问频率评价虚拟代理服务器在上述测试失效周期内页面更新时的负载强度，α、β是加权因子参数，

为页面第n轮测试失效周期的更新频率

是页面第n+1轮测试失效周期的更新频率；

本发明还提供一种实现上述方法的终端装置，其含有：

内置或外置的存储器，用于存储如权利要求1所述方法的计算机程序；

CPU，用于执行计算机程序。

根据权利要求5虚拟机装置，其特征是：计算机程序含有虚拟机程序；虚拟机配置有，

待测试的app；

录制程序，含有测试模块、子录制器和设置模块；

浏览器，用于接收app经子录制器中继的信息；

一个或多个虚拟代理服务器；

网络适配器。

由于本发明采用了虚拟代理服务器为多个，虚拟机与虚拟代理服务器之间由智能录制模块中继；终端配置有虚拟机-虚拟代理服务器映射表；终端配置有智能录制模块，用于中继虚拟机与虚拟代理服务器之间传递信息，根据映射表中继传输相应的虚拟机与虚拟代理服务器之间的信息。因而本发明具有收敛性好、错误率低、负载效率高、智能化的优点。

附图说明

图1为本发明实施例整体架构原理示意图；

图2为本发明实施例虚拟机模块架构示意图；

图3为本发明实施例加权因子-归一化寿命实验结果对比示意图；

图4为本发明实施例TRT-周期实验结果对比示意图。

具体实施方式

以下结合附实施例对本发明作进一步详细描述。

实施例1：

参照图1，本实施例的实现方案如下：

终端配置有V个虚拟机和W个虚拟代理服务器，终端配置有虚拟机-虚拟代理服务器映射表。当V、W为1时，系统测试的效率体现在归一化寿命是否接近理想状态。V、W不为1时，不但要考虑归一化寿命，还要考虑其收敛性。

终端配置有智能录制模块，用于中继虚拟机与虚拟代理服务器之间传递信息，根据映射表中继传输相应的虚拟机与虚拟代理服务器之间的信息；智能录制模块将虚拟机与虚拟代理服务器进行映射，并将映射关系更新到虚拟机-虚拟代理服务器映射表；智能录制模块根据中继流量判断虚拟代理服务器的负载及映射效率，并根据预设增减映射表上的映射关系。智能录制模块当判定虚拟机的访问负载为低效后，向该虚拟机的子录制器发送新的测试任务指令。

1)在安装有测试环境的虚拟机部署录制程序，录制程序具有：

子录制器，用于中继app与浏览器之间的信息传输，并将信息复制并传递给智能模块；

智能模块，含有平台中不同的端口的一个txt或数据库，用于接收子录制器传递来的信息，并根据txt或数据库，将控制信号信息转换后传输给设置模块；

设置模块，用于将控制信号信息翻译为浏览器可识别的代理服务器的代理脚本；

2)虚拟机的浏览器将信号经智能录制模块中继发送给配置在终端的一个或多个虚拟代理服务器，虚拟代理服务器处理浏览器的访问信号传输信息传输给网络适配器进而访问外部网络。

3)虚拟机的子录制模块将测试结果反馈给智能录制模块。

测试参考现有技术类似的，即浏览器加载被测页面中的代理脚本，代理脚本枚举该被测页面脚本环境中的对象；将由该代理脚本所枚举出的对象映射到测试用例环境中；测试用例根据所述测试用例环境触发该被测页面的页面动作以执行测试逻辑。终端配置有V个虚拟机和W个虚拟代理服务器在虚拟机-虚拟代理服务器映射表上形成一个矩阵M₀，M为其实际访问过程中低效率映射的矩阵，令

M中低效率映射所占比例为ρ_s。当且仅当映射恢复得到的结果

满足

时，认为这个映射矩阵恢成功。其中γ的取值可以根据终端的算力预设为0.01至0.1。F为由多组效率为中或高的映射组成的矩阵，映射的效率高低参照f_weiht进行评定，负载强度低的即为低效率映射。测试访问具有以下过程，app将访问信号发送给浏览器，此过程中，子录制器中继并复制信息给虚拟机的智能模块；智能模块识别中继的信息，并根据预设的txt或数据库将中继的信息识别后，向设置模块发送控制信息，设置模块根据控制信息向浏览器发送虚拟代理服务器能识别的代理脚本。虚拟服务器经网络适配器进行网络网页的数据访问。智能模块通过限制本虚拟机浏览器的访问行为间接控制虚拟代理服务器的网页访问行为；智能录制模块通过映射表限制虚拟机对页面的访问行为；当虚拟机-虚拟代理服务器之间的映射被判定为低效，则断开该虚拟机与虚拟代理服务器之间的映射，即断开相应的连接，智能化录制模块不再中继该组虚拟机-虚拟代理服务器之间的映射。进一步的，相应的虚拟机接收不到被断开映射后的网络页面反馈，该虚拟机的智能模块判定所有测试连接为低效，进而将清空本虚拟机的所有页面测试请求，并更新开始新一轮的页面测试请求或根据智能录制模块发来的新的测试任务指令新增测试。

智能模块，子录制器传递来的信息的负载平衡进行调控，并调整设置模块对浏览器的发出的代理脚本。为了提高自动化程度和批量测试的性能，在测试的虚拟代理服务器上进行批量请求的发送，智能模块通过监视子录制器中继的信息根据虚拟代理服务器的访问负载、app的虚拟用户数、HPS、TPS、事物响应时间、每分钟处理的页面数进行优化。

虚拟用户数AVU(amount of virtual user)，主要用来测试服务器对并发用户的处理能力。

HPS(Hit per Second)，该目标是点击数/秒。设置HPS目标，同时设置最小虚拟用户数和最大虚拟用户数：当场景执行时，会优先使用最小的虚拟用户数(AVU_min)来达到定义的目标；如果最小的用户达不到目标，则自动增加虚拟用户数，知道定义的最大虚拟用户数(AVU_max)。

TPS(Transaciton per Second)，该目标是每秒处理的事务数。指定脚本中的目标事务，设置TPS目标，同时设置最小虚拟用户数和最大虚拟用户数。

事务响应时间TRT(Transaction Response Time)。指定脚本中的目标事务，设置该事务响应时间目标，同时设置最小虚拟用户数和最大虚拟用户数。根据需要，用户数可以在app中体现，也可以通过虚拟代理服务器数量、浏览器线程数量进行模拟。

每分钟处理的页面数PPM(Pages per Minute)。设置目标，同时设置最小虚拟用户数和最大虚拟用户数。

虚拟机经网络适配器连接有网络，虚拟机配置有录制程序和浏览器，录制程序含有设置模块、智能模块和录制模块；虚拟机配置有多个虚拟代理服务器；虚拟代理服务器根据浏览器配置访问相应的网络的页面；子录制器在虚拟机的app之间进行中继，子录制器将中继的信息复制发送到智能模块；智能模块识别中继的信息，并根据预设的txt或数据库将中继的信息识别后，向设置模块发送控制信息，设置模块根据控制信息向浏览器发送虚拟代理服务器能识别的代理脚本。txt或数据库预设了测试环境所需的参数，然而，由于其不可能穷举测试方案，会存在测试参数不匹配、效率低等错误，通过对虚拟代理服务器负载的调整，在人为不干预的情形下，逐步淘汰低效率的测试样例，优化系统负载，在有限测试周期中尽可能多的执行测试。通过对子录制器中继的信息监控调整页面的测试强度，从而使得整个测试体系的负载处于更高强度，提高测试效率。

虚拟代理服务器经网络适配器访问网络中的页面。页面为多个，智能模块对虚拟代理服务器进行排序以均衡虚拟代理服务器的负载。

智能模块监控子录制器过程中，需要通过txt或数据库中信息条目的调整进而对访问相应页面的虚拟代理服务器的访问行为进行负载调控，从而达到提高虚拟机机器的测试效率的效果。智能模块的页面策略如下：

y(ps)表示网络的所有目标测试页面ps在一个测试失效周期内的访问次数，f_fqc为页面在测试失效周期内的更新频率。y(p)为某单个页面p在测试失效周期内的访问次数。

在浏览器对所有目标测试页面第n轮访问操作结束后，相应的页面更新频率计算方法表示为：

其中，yⁿ(p)为页面p在第n轮测试失效周期的访问次数和更新频率。

经过展开变形，在得到页面第n+1轮测试失效周期的更新频率

可以表示为：

其中，α为加权因子参数，上式的展开基于以量化的方式近似计算页面在当前测试失效周期内的更新频率：

最后以页面强度值定义目标测试页面的虚拟服务器负载强度：

通过AAF判定f_weiht，进而间接调整网络页面中的访问强度，对测试顺利的样例加强负载，尽快完成相应测试，提高系统效率。以AAF(average access frequency)平均访问频率评价虚拟代理服务器在上述测试失效周期内页面更新时的负载强度属性，根据预设剔除低强度虚拟代理服务器的任务并对空闲虚拟代理服务器新建任务，页面或虚拟代理服务器的排序参照相邻元素冒泡排序。β是加权因子参数，取值范围在(0，1)之间。本实施例的α和β均取0.6。AAF的计算方法如下，m表示新近更新周期内执行过更新操作的页面数量。

实施例2：

虚拟机配置有录制程序和浏览器，录制程序含有设置模块、智能模块和录制模块；虚拟机配置有多个虚拟代理服务器；虚拟代理服务器根据浏览器配置访问相应的网络的页面；子录制器在虚拟机的app之间进行中继，子录制器将中继的信息复制发送到智能模块；智能模块识别中继的信息，并根据预设的txt或数据库将中继的信息识别后，向设置模块发送控制信息，设置模块根据控制信息向浏览器发送虚拟代理服务器能识别的代理脚本。为了提高自动化程度和批量测试的性能，在测试的虚拟代理服务器上进行批量请求的发送，智能模块通过监视子录制器中继的信息根据虚拟代理服务器的访问负载、app的虚拟用户数、HPS、TPS、事物响应时间、每分钟处理的页面数进行优化；浏览器加载被测页面中的代理脚本，代理脚本枚举该被测页面脚本环境中的对象；将由该代理脚本所枚举出的对象映射到测试用例环境中；测试用例根据所述测试用例环境触发该被测页面的页面动作以执行测试逻辑。

事务响应时间如导航计时(Navigation Timing)是一个可以精确测量Web页面加载性能的JavaScript API，可以用作响应时间的测试指标。为了解释本技术方案，以下为现有技术的部分概括：该规范定义了一个统一的接口，用于存储和获取与页面导航、页面加载相关的具有高解析度的性能度量数据。目前新版本的IE、Chrome、Firefox、Safari等一些主流浏览器都支持此API。通过Navigation Timing，可以精确实时地获取真实用户在实际网络环境中请求页面加载速度，而不是仅仅在开发环境或者模拟请求中测试页面加载速度。

Navigation Timing拥有一个接口是PerformanceTiming，包含了各种与Web页面加载性能有关的时间数据，提供浏览器处理Web页面各个阶段的耗时，例如域名查询开始和结束时间、浏览器从服务器接收响应的开始和结束时间等等。

资源计时(Resource Timing)是W3C的Web性能工作组最近几年新制定的标准工作草案(2014年12月刚刚修订新版本)。该标准工作草案为Web应用定义了一个接口，用于存储和获取与页面资源相关的具有高解析度的性能度量数据。目前新版本的IE、Chrome、Firefox等一些主流浏览器都支持此API。通过Resource Timing，可以精确实时地提取和分析真实用户在实际网络环境中请求，获取与Web页面中每一个资源所相关的网络时间数据。Resource Timing拥有一个接口是PerformanceResourceTiming，它通过window对象的performance属性暴露出来，可以向其中的getEntriesByType()方法传递一个叫做resource的字符串来获取页面中每一个资源的时间信息，例如域名查询开始和结束时间、TCP连接建立开始和完成的时间、浏览器从服务器接收响应的开始和结束时间等，同样的，也可以单独或与导航计时组合作为事务响应时间的综合指标，以多项加权方式评价。responseStart/responseEnd浏览器从服务器收到响应开始/结束时间。

根据上面这些接口的属性，可以计算出网页相关资源加载各个阶段的耗时，比如域名解析的耗时、TCP连接的耗时、请求开始到完成响应的耗时等等。理解这个API可以帮助追踪和分析页面资源的加载性能，以及帮助决定和判断页面中的哪一个资源需要进。由于篇幅所限，对现有技术的具体引用不再进一步展开，根据中心保护原则，本申请以侧重记载本技术方案的改进特征和技术效果。

本实施例进一步优化的是β的取值，上一实施例中β的取值为静态方式，本实施例中，

即本实施例采用β动态变化的方式进行资源的分配。本实施例比较了α取值0.15、0.3、0.45、0.6、0.75、0.9的取值下β为0.2、0.6、0.8和本实施例动态取值情况下的归一化寿命(％)，图中纵坐标为归一化寿命，横坐标为α(alpha)的不同取值，其中实线为V、W均不等于1的结果，相应颜色虚线为对应α、β取值时V＝1、W＝1(单机状态，即单一映射)的归一化寿命，从图3中虚线实现比较来看，单机的归一化稍好一些，然而，更多的虚拟机在测试环境上兼容性优势明显。图3例中的5条趋势折线为β的不同取之得到的归一化寿命，可以看出动态取值的归一化寿命普遍处于较高的值，更接近理论理想状态，经过动态取值的优化本实施例较固定取值的访问效率有进一步的提高。进一步结合图4表明，虽然牺牲了一定的归一化寿命，然而，多虚拟机-多虚拟代理服务器形成的多映射方式在处理效率、稳定性、收敛性方面远远超过单机(单映射)方式，单机方式毫无收敛性可言，而TRT也较高。

尽管已结合优选的实施例描述了本发明，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围的情况下，能够对在这里列出的主题实施各种改变、同等物的置换和修改，因此本发明的保护范围当视所提出的权利要求限定的范围为准。

Claims (6)

1.一种批量部署的自动化性能测试方法，包括配置多个虚拟机经虚拟代理服务器连接网络适配器访问网络的终端，其特征是：所述的虚拟代理服务器为多个，所述的虚拟机与虚拟代理服务器之间由智能录制模块中继；所述的终端配置有虚拟机-虚拟代理服务器映射表；所述的终端配置有智能录制模块，用于中继虚拟机与虚拟代理服务器之间传递信息，根据所述的映射表中继传输相应的虚拟机与虚拟代理服务器之间的信息。

2.根据权利要求1所述的方法，其特征是：所述的虚拟机经网络适配器连接有网络，所述的虚拟机配置有录制程序和浏览器，所述的录制程序含有设置模块、智能模块和录制模块；所述的虚拟机配置有多个虚拟代理服务器；所述的虚拟代理服务器根据所述的浏览器配置访问相应的网络的页面；所述的子录制器在虚拟机的app之间进行中继，所述的子录制器将中继的信息复制发送到所述的智能模块；所述的智能模块识别所述的中继的信息，并根据预设的txt或数据库将所述的中继的信息识别后，向所述的设置模块发送控制信息，所述的设置模块根据所述的控制信息向所述的浏览器发送虚拟代理服务器能识别的代理脚本。

3.根据权利要求1所述的方法，其特征是：所述的终端配置有V个虚拟机和W个虚拟代理服务器在所述的虚拟机-虚拟代理服务器映射表上形成一个矩阵M₀，M为其实际访问过程中低效率映射的矩阵，令

M中低效率映射所占比例为ρ_s。当且仅当映射恢复得到的结果

满足

时，认为这个映射矩阵恢复成功；其中γ的取值可以根据终端的算力预设为0.01至0.1。

4.根据权利要求3所述的一种自动化性能测试方法，其特征是：所述的智能模块以平均访问频率评价虚拟代理服务器在上述测试失效周期内页面更新时的负载强度，根据预设α和β取值，剔除低强度虚拟代理服务器的任务并对空闲虚拟代理服务器新建任务；页面强度值定义目标测试页面的虚拟服务器负载强度f_weiht表示如下：

其中，AAF为平均访问频率评价虚拟代理服务器在上述测试失效周期内页面更新时的负载强度，α、β是加权因子参数，

为页面第n轮测试失效周期的更新频率

是页面第n+1轮测试失效周期的更新频率；

5.用于实现如权利要求1所述的一种自动化性能测试方法的终端装置，其特征是：含有：

内置或外置的存储器，用于存储如权利要求1所述方法的计算机程序；

CPU，用于执行所述的计算机程序。

6.根据权利要求5所述的虚拟机装置，其特征是：所述的计算机程序含有虚拟机程序；所述的虚拟机配置有，

待测试的app；

录制程序，含有测试模块、子录制器和设置模块；

浏览器，用于接收app经子录制器中继的信息；

一个或多个虚拟代理服务器；

网络适配器。

Images