CN113392029B - 针对容器云平台不同层次的综合性能测试装置及方法 - Google Patents

Abstract

本发明公开一种针对容器云平台不同层次的综合性能测试装置及方法。本发明的可视化模块进行测试任务的参数配置与启动；环境配置模块构建测试环境；数据采集模块在负载发送前及发送中采集容器测试集群三个层次的二级指标数据；环境清理模块进行环境清理；性能评估模块计算容器云平台综合性能并生成测试报告；可视化模块展示报告。本发明装置中的可视化模块使本发明更具易用性，环境清理模块使本发明测试更加轻量化。本发明的方法中采用三层次的指标处理使得对容器云平台的综合性能测试结果更加客观。

Description

针对容器云平台不同层次的综合性能测试装置及方法

技术领域

本发明属于计算机技术领域，更进一步涉及云计算服务技术领域中的一种针对容器云平台不同层次的综合性能测试装置及方法。本发明可用于测试容器云服务平台的性能。

背景技术

随着容器技术的成熟和容器云平台技术的不断发展和广泛应用，市面上已经出现了众多的容器云平台；容器云平台各个核心模块的不断完善成熟和新型功能模块的添加使得容器云平台的性能也在不断地发生着改变；在针对容器云平台的传统选型过程中，容器云平台服务购买者往往需要耗费大量时间和人力资源，根据自身实际需求和业务特征构建测试原型，以此来横向对比各个容器云平台服务提供商的容器云平台的综合性能，从而选择出最合适的容器云平台，但是这个选型过程效率过低、周期过长、投入过大。

浙江大学在其申请的专利文献“一种容器云平台性能评估方法及装置”(专利申请号201811146853.0申请公开号：CN 110968495A)中公开了一种对容器云平台性能评估的自动化测试方法和装置。该专利文献公开的装置包括容器云平台管理模块、测试引擎模块、监控模块、性能评估模块、监控数据存储模块。云平台管理模块用于云平台的创建、管理和销毁；测试引擎模块用于在云平台上执行具体的应用测试用例；监控模块用于对容器云平台进行具体指标项的数据采集；监控数据存储模块用于持久化保存采集到的指标数据；性能评估模块用于将指标数据输入性能评估模型，得到容器云平台的性能测试结果，并产生性能评估报告。该装置存在的不足之处是，缺乏可视化的模块设计，专业测试人员需要借助命令行对测试任务进行手动配置和启动，没有实现装置完全的自动化设计，减低了此装置使用的友好性，增高了使用门槛；缺乏环境清理模块的设计，被测容器云平台的用例测试之间会相互影响而致使得到的测试指标数据失真且多次重复的测试会导致被测容器云平台的资源过度消耗占用的问题。该专利文献公开的方法对容器云平台性能的测试步骤是：启动用于测试容器云平台性能装置的应用程序，运行真实负载应用程序的基准测试用例；采集运行基准测试用例时的平台基础数据和应用性能数据，将平台基础数据和应用性能数据进行汇聚，生成该容器云平台的性能指标集；以此性能指标集作为输入，利用基于基准数据的性能评估模型，获得此容器云平台的性能评估结果。该方法存在的不足之处在于，测试指标维度较为单一，对于容器云平台的性能测试只是测试了底层的基准性能指标，没有考虑到容器云平台由于虚拟化技术而产生的多层次的特点，缺乏针对容器云平台本身关于平台特性的测试以及运行真实软件应用负载关于容器云平台服务提供能力的测试，所以应用该方法测试得到的测试结果无法客观反映容器云平台的真实性能。

上海交通大学在其申请的专利文献“基于性能模型的云平台性能测评方法”(专利申请号201510497717.6申请公开号：CN 105187269 A)中公开了一种基于性能模型的云平台性能测评方法。该方法对云平台性能的测试步骤是：对各类云系统的接口进行抽象和总结，并对云资源操作逻辑进行封装，使得在测试时可以自动化分配和管理被测云平台的云资源；基于全新建模方式得到的性能评测模块对实验数据进行分析解读，对被测云平台的各个方面的性能进行扩展性分析，归纳被测云平台规模变化时的性能模型，得到相应应用场景下被测云平台性能的变化趋势、峰值。该方法存在的不足之处是，该方法只是针对被测云平台的计算能力、网络能力、存储能力、性能这四个方面来对被测云平台的性能展开分析，致使指标层次单一，忽略了云平台由于虚拟化技术而产生的多层次的特点，缺乏针对在真实软件负载下关于云平台服务提供能力测试的考虑，且方法中的分析评估模型只是基于实验数据建立，缺乏真实生产级别的负载致使方法中的分析评估模型不具有普适性。

发明内容

本发明的目的是针对上述容器云平台测试技术存在的不足，提供了一种针对容器云平台不同层次的综合性能测试装置及方法，本发明的装置用于解决没有实现自动化设计，减低了装置使用的友好性，增加测试人员使用门槛的问题，以及用于解决现有装置得到的测试指标数据失真且多次重复的测试会导致被测容器云平台资源被过度消耗占用的问题。本发明的方法用于解决现有技术主要集中于对容器云平台的基础性能指标数据的评价，缺乏指标的综合评估模型和针对容器云平台多层次特点的容器云平台综合性能测试方法，难以在云平台服务提供商与容器云平台服务购买者实际生产使用过程中对容器云平台综合性能测试提供较为客观的技术支持的问题。

实现本发明目的的思路是，从容器云平台服务提供商和容器云平台服务购买者在实际生产环境中对容器云平台综合性能的关注角度出发，结合容器云平台的特性以及现有容器云平台综合性能测试装置和方法的优点，本发明提出了针对容器云平台不同层次的容器云平台的综合性能测试装置，其中的可视化模块可以使专业测试人员直接在前端界面对测试任务进行配置和启动，实现了装置测试的完全的自动化设计，提升了装置的易用性。本发明装置中的环境清理模块在每个测试用例执行结束后对测试环境进行了清理，避免了测试用例之间相互影响以及过度消耗占用容器云平台资源的问题。本发明提出了针对容器云平台不同层次的综合性能测试方法，构建了容器云平台综合性能测试指标的综合评估模型，将容器云平台综合性能划分为底层层次、平台层次以及应用层次三个层次进行测试，形成了针对容器云平台多层次特点的容器云平台综合性能测试方法，使得容器云平台服务提供商和云平台服务购买者可以根据各自需求得到容器云平台不同层次和整体的性能评价。

为了实现上述发明目的，本发明的测试装置包括环境配置模块、负载发送模块、数据采集模块、数据存储模块、性能评估模块、环境清理模块和可视化模块，其中：

所述环境配置模块，用于调用容器云平台的认证服务接口获取容器云平台管理权限，再通过该权限与容器云平台进行交互；环境配置模块读取配置文件中测试用例指定的DockerFile信息构建测试用例所有需要的容器镜像；环境配置模块读取配置文件中测试集群容器镜像、测试集群容器数量、测试集群容器资源限额信息，调用容器云平台提供的接口，创建所读取的指定测试集群容器数量的容器作为测试集群，并返回该容器测试集群所有容器的IP以及端口信息；

所述负载发送模块，用于通过环境配置模块返回的容器测试集群信息与负载发生容器节点建立连接，负载发送模块根据配置文件测试用例的负载配置参数构建负载执行命令并发送执行，使得负载发送容器向负载接收容器发送测试用例的测试负载；

所述数据采集模块，用于通过对容器测试集群进行用例测试，以固定频率轮询的方式通过监控软件和自定义脚本监控容器测试集群，将采集的容器测试集群中测试用例的二级指标数据作为用例测试的基准二级指标数据或二级指标数据；

所述数据存储模块，用于将容器测试集群测得的底层、平台、应用三个层次的基准二级指标数据或二级指标数据以及从配置文件中读取的用例指标所属层次存入数据库中持久化存储；

所述性能评估模块，用于通过调用数据存储模块从数据库中读出各测试用例的基准二级指标数据、二级指标数据以及指标所属层次，对每个数据进行预处理，性能评估模块利用Y_jc＝∑_{j∈{1,2,3},k∈{T}}x_jk*w_jk公式，计算每个层次一级指标的性能量化值，按照Score＝∑_j∈{1,2,3}(∑_c∈{Pj}Y_jc*w_jc)*W_j公式，计算容器云平台的综合性能值；

所述环境清理模块，用于删除在构建测试环境阶段在容器云平台中创建的用于容器云平台性能测试的容器测试集群；

所述可视化模块，用于根据测试人员在前端界面上对容器云平台性能测试的所有测试项的参数配置生成测试配置文件，测试人员通过可视化模块的前端界面启动测试任务，可视化模块根据性能评估模块生成的测试报告在前端界面上对测试报告进行可视化展示。

本发明方法的具体测试步骤包括如下：

步骤1，测试任务的配置与启动：

可视化模块根据测试人员在前端界面上对容器云平台性能测试的所有测试项的参数配置以及负载选择生成测试配置文件，测试人员通过可视化模块的前端界面启动测试任务；

步骤2，构建测试环境：

(2a)环境配置模块调用容器云平台的认证服务接口获取容器云平台管理权限，再通过该权限与容器云平台进行交互；

(2b)判断容器云平台是否已经存在测试用例需要的容器镜像，若是，则执行步骤(2d),否则，执行步骤(2c)；

(2c)环境配置模块读取配置文件中测试用例指定的DockerFile信息构建测试用例所有需要的容器镜像；

(2d)环境配置模块读取配置文件中测试集群容器镜像、测试集群容器数量、测试集群容器资源限额信息，调用容器云平台提供的接口，创建所读取的指定测试集群容器数量的容器作为测试集群，并返回该容器测试集群所有容器的IP以及端口信息；

步骤3，采集容器云平台的底层、平台、应用三个层次的基准二级指标数据：

在还未发送负载执行命令时，数据采集模块对容器测试集群进行用例测试，以固定频率轮询的方式通过监控软件和自定义脚本监控容器测试集群，将采集的容器测试集群中测试用例的二级指标作为用例测试的基准二级指标数据，数据存储模块将容器测试集群测得的底层、平台、应用三个层次的基准二级指标数据以及从配置文件中读取的用例指标所属层次存入数据库中持久化存储；

步骤4，向负载发生容器发送负载命令请求：

环境配置模块根据步骤(2d)返回的信息与负载发生容器节点建立连接，负载发送模块根据配置文件测试用例的负载配置参数构建负载执行命令并发送执行，使得负载发送容器向负载接收容器发送测试用例的测试负载；

步骤5，采集二级指标数据：

在负载执行命令发送后，数据采集模块对容器测试集群进行用例测试，将步骤3采集的容器测试集群中测试用例的二级指标作为用例测试的二级指标数据，数据存储模块将容器测试集群测得的底层、平台、应用三个层次的二级指标数据以及从配置文件中读取的用例指标所属层次存入数据库中持久化存储；

步骤6，环境清理：

环境清理模块删除步骤(2d)在容器云平台中创建的用于容器云平台性能测试的容器测试集群；

步骤7，环境配置模块判断当前已经读取的测试用例是否属于配置文件中的最后一个测试用例，若是，则执行步骤8，否则，环境配置模块读取下一项测试用例的配置参数后执行步骤2；

步骤8，利用二级性能指标权值生成针对每个层次的一级指标：

(8a)性能评估模块调用数据存储模块从数据库中读出各测试用例的基准二级指标数据、二级指标数据以及指标所属层次，对每个数据进行预处理；

(8b)按照下式，性能评估模块计算每个层次一级指标的性能量化值：

Y_jc＝∑_{j∈{1,2,3},k∈{T}}x_jk*w_jk

其中，Y_jc表示第j个层次的第c个一级指标数值，Y_jc的值越趋于100，一级指标Y_jc的评价越好，c表示第j个层次下的一级指标的序号，j的取值为1、2、3，分别对应容器云平台的底层、平台层、应用层，c值取1，T表示第j个层次第c个一级指标下的二级指标集合，k表示二级指标集合T中二级指标的序号，j的取值为1、2、3时，对应的k的最大值分别为10、9、5，Σ表示求和操作，x_jk表示第j个层次下的第k个二级指标归一化后的数值，*表示相乘操作，w_jk表示x_jk的权重，w_jk由熵值法确定；

步骤9，按照下述式子计算容器云平台的综合性能值：

Score＝∑_j∈{1,2,3}(∑_c∈{Pj}Y_jc*w_jc)*W_j

其中，Score表示对容器云平台的综合性能值，Score值越趋于100，表示被测容器云平台的综合性能越高，P_j表示第j个层次下的一级指标的集合，w_jc表示第j个层次下第c个一级指标数值Y_jc的权值，w_jc取值1，W_j表示第j层性能指标值的权重，W_j由配置文件参数确定；

步骤10，测试报告展示

可视化模块根据性能评估模块生成的测试报告在前端界面上对测试报告进行可视化展示。

本发明与现有的技术相比具有以下优点：

第一，由于本发明的装置中的可视化模块可以使测试人员直接的前端界面上直接对测试任务进行配置和启动，克服了现有技术中专业测试人员需要借助命令行对测试任务进行手动配置和启动，没有实现装置完全的自动化设计，减低了此装置使用的友好性，增高了测试人员使用门槛的问题，使得本发明的装置具有更加易用性的优点。

第二，由于本发明的装置中的环境清理模块会在测试用例执行结束后对测试环境进行清理，删除在构建测试环境阶段阶段在容器云平台中用于用例测试创建的容器集群，克服了现有技术中测试用例之间相互影响以及过度消耗占用容器云平台资源的问题，使得本发明的装置使测试具有了更加轻量化的优点。

第三，由于本发明的方法采集了底层、平台层、应用层三个层次下的容器云平台综合性能的二级指标，对所有二级指标进行了数据归一化处理并通过由各层次下二级指标聚合的一级指标计算每个层次的性能量化值，综合每个层次的性能量化值计算容器云平台的综合性能，克服了现有技术测试容器云平台综合性能的测试指标层次单一、难以量化的问题，使得本发明的方法具有对容器云平台综合性能进行客观定量综合评价的优点。

附图说明

图1是本发明装置的方框图；

图2是本发明方法的流程图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

参照图1，对本发明的装置做进一步的详细描述。

本发明的装置包括环境配置模块、负载发送模块、数据采集模块、数据存储模块、性能评估模块、环境清理模块和可视化模块。其中：

所述环境配置模块用于调用容器云平台的认证服务接口获取容器云平台管理权限，再通过该权限与容器云平台进行交互；环境配置模块读取配置文件中测试用例指定的DockerFile信息构建测试用例所有需要的容器镜像；环境配置模块读取配置文件中测试集群容器镜像、测试集群容器数量、测试集群容器资源限额信息，调用容器云平台提供的接口，创建所读取的指定测试集群容器数量的容器作为测试集群，并返回该容器测试集群所有容器的IP以及端口信息。

所述负载发送模块用于通过环境配置模块返回的容器测试集群信息与负载发生容器节点建立连接，负载发送模块根据配置文件测试用例的负载配置参数构建负载执行命令并发送执行，使得负载发送容器向负载接收容器发送测试用例的测试负载；

所述数据采集模块，用于通过对容器测试集群进行用例测试，以固定频率轮询的方式通过监控软件和自定义脚本监控容器测试集群，将采集的容器测试集群中测试用例的二级指标数据作为用例测试的基准二级指标数据或二级指标数据；

所述数据存储模块用于将容器测试集群测得的底层、平台、应用三个层次的基准二级指标数据或二级指标数据以及从配置文件中读取的用例指标所属层次存入数据库中持久化存储。

所述性能评估模块用于通过调用数据存储模块从数据库中读出各测试用例的基准二级指标数据、二级指标数据以及指标所属层次，对每个数据进行预处理，性能评估模块利用Y_jc＝∑_{j∈{1,2,3},k∈{T}}x_jk*w_jk公式，计算每个层次一级指标的性能量化值，按照Score＝∑_j∈{1,2,3}(∑_c∈{Pj}Y_jc*w_jc)*W_j公式，计算容器云平台的综合性能值。

所述环境清理模块用于删除在构建测试环境阶段在容器云平台中创建的用于容器云平台性能测试的容器测试集群。

所述可视化模块用于根据测试人员在前端界面上对容器云平台性能测试的所有测试项的参数配置生成测试配置文件，测试人员通过可视化模块的前端界面启动测试任务，可视化模块根据性能评估模块生成的测试报告在前端界面上对测试报告进行可视化展示。

参照图2，对本发明的方法做进一步的详细描述。

步骤1，测试任务的参数配置与启动。

可视化模块根据测试人员在前端界面上对容器云平台性能测试的所有测试项的参数配置生成测试配置文件，测试人员通过可视化模块的前端界面启动测试任务；

步骤2，构建测试环境。

第一步，环境配置模块调用容器云平台的认证服务接口获取容器云平台管理权限，再通过该权限与容器云平台进行交互。

第二步，判断容器云平台是否已经存在测试用例需要的容器镜像，若是，则执行本步骤的第四步，否则，执行本步骤的第三步。

第三步，环境配置模块读取配置文件中测试用例指定的DockerFile信息构建测试用例所有需要的容器镜像。

第四步，环境配置模块读取配置文件中测试集群容器镜像、测试集群容器数量、测试集群容器资源限额信息，调用容器云平台提供的接口，创建所读取的指定测试集群容器数量的容器作为测试集群，并返回该容器测试集群所有容器的IP以及端口信息。

所述测试集群容器资源限额信息包括内存、CPU、Block IO。

步骤3，采集基准二级指标数据。

在还未发送负载执行命令时，数据采集模块对容器测试集群进行用例测试，以固定频率轮询的方式通过监控软件和自定义脚本监控容器测试集群，将采集的容器测试集群中测试用例的二级指标数据作为用例测试的基准二级指标数据，数据存储模块将容器测试集群测得的底层、平台、应用三个层次的基准二级指标数据以及从配置文件中读取的用例指标所属层次存入数据库中持久化存储。

所述底层、平台、应用三个层次的基准二级指标数据如下：底层层次的二级指标包括CPU工作频率、CPU超标量、内存带宽、内存tCK时钟周期、磁盘利用率、磁盘读写延迟、磁盘吞吐量、网络吞吐量、网络时延、网络丢包率；平台层次的二级指标包括针对服务发现能力的服务注册耗时、服务注册成功率，针对负载均衡能力的服务响应时间、服务请求错误率，针对弹性伸缩能力的水平扩缩容平均耗时、服务运行性能，针对API接口能力的API接口平均响应时间，正对平台通信能力的网络时延、网络吞吐量；应用层次的二级指标包括针对服务基础性能的服务启动时间、服务的平均响应时间、服务的请求错误率、服务吞吐量，针对服务稳定性的服务响应时间。

步骤4，向负载发生容器发送负载命令请求。

环境配置模块根据步骤2的第二步返回的信息与负载发生容器节点建立连接，负载发送模块根据配置文件测试用例的负载配置参数构建负载执行命令并发送执行，使得负载发送容器向负载接收容器发送测试用例的测试负载。

步骤5，采集二级指标数据。

在负载执行命令发送后，数据采集模块对容器测试集群进行用例测试，将步骤3采集的容器测试集群中测试用例的二级指标作为用例测试的二级指标数据，数据存储模块将容器测试集群测得的底层、平台、应用三个层次的二级指标数据以及从配置文件中读取的用例指标所属层次存入数据库中持久化存储；

步骤6，环境清理。

环境清理模块删除步骤2的第四步在容器云平台中创建的用于容器云平台性能测试的容器测试集群。

步骤7，环境配置模块判断当前已经读取的测试用例是否属于配置文件中的最后一个测试用例，若是，则执行步骤8，否则，环境配置模块读取下一项测试用例的配置参数后执行步骤2。

步骤8，利用二级性能指标权值生成针对每个层次的一级指标。

第一步，性能评估模块调用数据存储模块从数据库中读出各测试用例的基准二级指标数据、二级指标数据以及指标所属层次，对每个数据进行预处理。

所述预处理指的是：

如果待处理的指标数据属于评价为越小越好的成本型指标，则按照下式进行预处理：

如果待处理的指标数据属于评价为越大越好的收益型指标，则按照下式进行预处理：

其中，x_jk表示处理成本型指标时第j个层次下第k个二级指标归一化后的数值，x_jk的值越趋于100，二级指标x_jk的评价越好，min表示求最小值操作，x_std表示在还未发送负载执行命令时执行测试用例所采集的第j个层次下第k个二级指标的基准二级指标值，将基准二级指标值作为理想状态下的性能最优值，xl_oad表示在负载接收容器在接收负载时执行测试用例所采集的第j个层次下第k个二级指标的二级指标值，x'_jk表示处理收益型指标时第j个层次下第k个二级指标归一化后的数值，max表示求最大值操作。

第二步，按照下式，性能评估模块计算每个层次一级指标的性能量化值：

Y_jc＝∑_{j∈{1,2,3},k∈{T}}x_jk*w_jk

其中，Y_jc表示第j个层次的第c个一级指标数值，Y_jc的值越趋于100，一级指标Y_jc的评价越好，c表示第j个层次下的一级指标的序号，j的取值为1、2、3，分别对应容器云平台的底层、平台层、应用层，c值取1，T表示第j个层次第c个一级指标下的二级指标集合，k表示二级指标集合T中二级指标的序号，j的取值为1、2、3时，对应的k的最大值分别为10、9、5，Σ表示求和操作，x_jk表示第j个层次下的第k个二级指标归一化后的数值，*表示相乘操作，w_jk表示x_jk的权重，w_jk由熵值法确定。

所述熵值法是一种依据各指标值所包含的信息量的多少确定指标权重的客观赋权法，指标的熵越小，说明该指标值的变异程度越大，提供的信息量也就越多，在综合评价中起的作用越大，则该指标的权重也应越大。

所述每个层次一级指标如下：底层层次的一级指标为底层容器性能损失程度，平台层次的一级指标为中层平台支撑能力，应用层的一级指标为顶层服务能力。

步骤9，按照下式，计算容器云平台的综合性能值：

Score＝∑_j∈{1,2,3}(∑_c∈{Pj}Y_jc*w_jc)*W_j

其中，Score表示对容器云平台的综合性能值，Score值越趋于100，表示被测容器云平台的综合性能越高，P_j表示第j个层次下的一级指标的集合，w_jc表示第j个层次下第c个一级指标数值Y_jc的权值，w_jc取值1，W_j表示第j层性能指标值的权重，W_j由配置文件参数确定。

步骤10，测试报告展示。

可视化模块根据性能评估模块生成的测试报告在前端界面上对测试报告进行可视化展示。

Claims (7)

1.一种针对容器云平台不同层次的综合性能测试装置，包括环境配置模块、负载发送模块、数据采集模块、数据存储模块、性能评估模块，其特征在于，还包括环境清理模块和可视化模块，其中：

所述环境配置模块，用于调用容器云平台的认证服务接口获取容器云平台管理权限，再通过该权限与容器云平台进行交互；环境配置模块读取配置文件中测试用例指定的DockerFile信息构建测试用例所有需要的容器镜像；环境配置模块读取配置文件中测试集群容器镜像、测试集群容器数量、测试集群容器资源限额信息，调用容器云平台提供的接口，创建所读取的指定测试集群容器数量的容器作为测试集群，并返回该容器测试集群所有容器的IP以及端口信息；

所述负载发送模块，用于通过环境配置模块返回的容器测试集群信息与负载发生容器节点建立连接，负载发送模块根据配置文件测试用例的负载配置参数构建负载执行命令并发送执行，使得负载发送容器向负载接收容器发送测试用例的测试负载；

所述数据采集模块，用于通过对容器测试集群进行用例测试，以固定频率轮询的方式通过监控软件和自定义脚本监控容器测试集群，将采集的容器测试集群中测试用例的二级指标数据作为用例测试的基准二级指标数据或二级指标数据；

所述数据存储模块，用于将容器测试集群测得的底层、平台、应用三个层次的基准二级指标数据或二级指标数据以及从配置文件中读取的用例指标所属层次存入数据库中持久化存储；

所述性能评估模块，用于通过调用数据存储模块从数据库中读出各测试用例的基准二级指标数据、二级指标数据以及指标所属层次，对每个数据进行预处理，性能评估模块利用Y_jc＝∑_{j∈{1,2,3},k∈{T}}x_jk*w_jk公式，计算每个层次一级指标的性能量化值，按照Score＝∑_j∈{1,2,3}(∑_c∈{Pj}Y_jc*w_jc)*W_j公式，计算容器云平台的综合性能值；

所述环境清理模块，用于删除在构建测试环境阶段在容器云平台中创建的用于容器云平台性能测试的容器测试集群；

所述可视化模块，用于根据测试人员在前端界面上对容器云平台性能测试的所有测试项的参数配置生成测试配置文件，测试人员通过可视化模块的前端界面启动测试任务，可视化模块根据性能评估模块生成的测试报告在前端界面上对测试报告进行可视化展示。

2.根据权利要求1所述装置的一种针对容器云平台不同层次的综合性能测试方法，其特征在于，采集对容器云平台的底层、平台层、应用层三个层次的二级指标，通过由各层次下二级指标聚合的一级指标计算每个层次的性能量化值，综合每个层次的性能量化值计算容器云平台的综合性能；该评估方法的具体测试步骤包括如下：

步骤1，测试任务的参数配置与启动：

可视化模块根据测试人员在前端界面上对容器云平台性能测试的所有测试项的参数配置生成测试配置文件，测试人员通过可视化模块的前端界面启动测试任务；

步骤2，构建测试环境：

(2a)环境配置模块调用容器云平台的认证服务接口获取容器云平台管理权限，再通过该权限与容器云平台进行交互；

(2b)判断容器云平台是否已经存在测试用例需要的容器镜像，若是，则执行步骤(2d),否则，执行步骤(2c)；

(2c)环境配置模块读取配置文件中测试用例指定的DockerFile信息构建测试用例所有需要的容器镜像；

(2d)环境配置模块读取配置文件中测试集群容器镜像、测试集群容器数量、测试集群容器资源限额信息，调用容器云平台提供的接口，创建所读取的指定测试集群容器数量的容器作为测试集群，并返回该容器测试集群所有容器的IP以及端口信息；

步骤3，采集基准二级指标数据：

在还未发送负载执行命令时，数据采集模块对容器测试集群进行用例测试，以固定频率轮询的方式通过监控软件和自定义脚本监控容器测试集群，将采集的容器测试集群中测试用例的二级指标作为用例测试的基准二级指标数据，数据存储模块将容器测试集群测得的底层、平台、应用三个层次的基准二级指标数据以及从配置文件中读取的用例指标所属层次存入数据库中持久化存储；

步骤4，向负载发生容器发送负载命令请求：

环境配置模块根据步骤(2d)返回的信息与负载发生容器节点建立连接，负载发送模块根据配置文件测试用例的负载配置参数构建负载执行命令并发送执行，使得负载发送容器向负载接收容器发送测试用例的测试负载；

步骤5，采集二级指标数据：

在负载执行命令发送后，数据采集模块对容器测试集群进行用例测试，将步骤3采集的容器测试集群中测试用例的二级指标作为用例测试的二级指标数据，数据存储模块将容器测试集群测得的底层、平台、应用三个层次的二级指标数据以及从配置文件中读取的用例指标所属层次存入数据库中持久化存储；

步骤6，环境清理：

环境清理模块删除步骤(2d)在容器云平台中创建的用于容器云平台性能测试的容器测试集群；

步骤7，环境配置模块判断当前已经读取的测试用例是否属于配置文件中的最后一个测试用例，若是，则执行步骤8，否则，环境配置模块读取下一项测试用例的配置参数后执行步骤2；

步骤8，利用二级性能指标权值生成针对每个层次的一级指标：

(8a)性能评估模块调用数据存储模块从数据库中读出各测试用例的基准二级指标数据、二级指标数据以及指标所属层次，对每个数据进行预处理；

(8b)按照下式，性能评估模块计算每个层次一级指标的性能量化值：

Y_jc＝∑_{j∈{1,2,3},k∈{T}}x_jk*w_jk

其中，Y_jc表示第j个层次的第c个一级指标数值，Y_jc的值越趋于100，一级指标Y_jc的评价越好，c表示第j个层次下的一级指标的序号，j的取值为1、2、3，分别对应容器云平台的底层、平台层、应用层，c值取1，T表示第j个层次第c个一级指标下的二级指标集合，k表示二级指标集合T中二级指标的序号，j的取值为1、2、3时，对应的k的最大值分别为10、9、5，Σ表示求和操作，x_jk表示第j个层次下的第k个二级指标归一化后的数值，*表示相乘操作，w_jk表示x_jk的权重，w_jk由熵值法确定；

步骤9，按照下述式子计算容器云平台的综合性能值：

Score＝∑_j∈{1,2,3}(∑_c∈{Pj}Y_jc*w_jc)*W_j

其中，Score表示对容器云平台的综合性能值，Score值越趋于100，表示被测容器云平台的综合性能越高，P_j表示第j个层次下的一级指标的集合，w_jc表示第j个层次下第c个一级指标数值Y_jc的权值，w_jc取值1，W_j表示第j层性能指标值的权重，W_j由配置文件参数确定；

步骤10，测试报告展示

可视化模块根据性能评估模块生成的测试报告在前端界面上对测试报告进行可视化展示。

3.根据权利要求2所述的针对容器云平台不同层次的综合性能测试方法，其特征在于，步骤(2d)中所述测试集群容器资源限额信息包括内存、CPU、Block IO。

4.根据权利要求2所述的针对容器云平台不同层次的综合性能测试方法，其特征在于，步骤3中所述底层、平台、应用三个层次的基准二级指标如下：底层层次的二级指标包括CPU工作频率、CPU超标量、内存带宽、内存tCK时钟周期、磁盘利用率、磁盘读写延迟、磁盘吞吐量、网络吞吐量、网络时延、网络丢包率；平台层次的二级指标包括针对服务发现能力的服务注册耗时、服务注册成功率，针对负载均衡能力的服务响应时间、服务请求错误率，针对弹性伸缩能力的水平扩缩容平均耗时、服务运行性能，针对API接口能力的API接口平均响应时间，正对平台通信能力的网络时延、网络吞吐量；应用层次的二级指标包括针对服务基础性能的服务启动时间、服务的平均响应时间、服务的请求错误率、服务吞吐量，针对服务稳定性的服务响应时间。

5.根据权利要求2所述的针对容器云平台不同层次的综合性能测试方法，其特征在于，步骤(8a)中所述预处理指的是：

如果待处理的指标数据属于评价为越小越好的成本型指标，则按照下式进行预处理：

如果待处理的指标数据属于评价为越大越好的收益型指标，则按照下式进行预处理：

其中，x_jk表示处理成本型指标时第j个层次下第k个二级指标归一化后的数值，x_jk的值越趋于100，二级指标x_jk的评价越好，min表示求最小值操作，x_std表示在还未发送负载执行命令时执行测试用例所采集的第j个层次下第k个二级指标的基准二级指标值，将基准二级指标值作为理想状态下的性能最优值，x_load表示在负载接收容器在接收负载时执行测试用例所采集的第j个层次下第k个二级指标的二级指标值，x'_jk表示处理收益型指标时第j个层次下第k个二级指标归一化后的数值，max表示求最大值操作。

6.根据权利要求2所述的针对容器云平台不同层次的综合性能测试方法，其特征在于，步骤(8b)中所述每个层次一级指标如下：底层层次的一级指标为底层容器性能损失程度，平台层次的一级指标为中层平台支撑能力，应用层的一级指标为顶层服务能力。

7.根据权利要求2所述的针对容器云平台不同层次的综合性能测试方法，其特征在于，步骤(8b)中所述熵值法是一种依据各指标值所包含的信息量的多少确定指标权重的客观赋权法，指标的熵越小，说明该指标值的变异程度越大，提供的信息量也就越多，在综合评价中起的作用越大，则该指标的权重也应越大。

Images