CN110716875A

CN110716875A - 一种国产办公环境下基于反馈机制的并发测试方法

Info

Publication number: CN110716875A
Application number: CN201910917182.1A
Authority: CN
Inventors: 柯文俊; 陈静; 陈旭; 杨雨婷; 王坤龙
Original assignee: Beijing Institute of Computer Technology and Applications
Current assignee: Beijing Institute of Computer Technology and Applications
Priority date: 2019-09-26
Filing date: 2019-09-26
Publication date: 2020-01-21

Abstract

本发明公开了一种国产办公环境下基于反馈机制的并发测试方法，首先建立评测环境，然后构建不同的评测场景，运行被测办公系统和评测工具，采用评测工具收集被测办公系统产生的办公日志，并对收集到的评测日志统计分析，提取热点信息模型；最后在构建出的不同的评测场景中，评测工具开始对办公系统具体测试。本发明考虑了虚拟化分配机制的相关操作，实现了动态压力调整，服务器在将测试用例分发给底层硬件时，根据反馈机制实现多目标优化模型，考虑了测试用例与各类硬件的关联性以及硬件组件之间的负载均衡。这种基于反馈机制的测试方案，流程简单，精准度高，覆盖面全，可以满足未来计算机高速发展的要求。

Description

一种国产办公环境下基于反馈机制的并发测试方法

技术领域

本发明属于测试领域，具体涉及一种国产办公环境下基于反馈机制的并发测试方法，尤其是一种国产办公环境下基于反馈机制的动态压力调整模型的并发测试方法。

背景技术

随着复杂系统开发技术的不断革新，计算机系统的复杂化程度越来越高，计算机系统的综合性能成为一个值得商榷的话题，代表计算机综合性能的并发测试显得尤为重要。传统的并发测试方案，着眼于测试多用户并发访问同一个应用、模块、数据时是否产生隐藏的并发问题。这种测试方案首先为并发测试创建计划，然后分析创建好的并发测试计划并定义测试范围，再为并发测试分别制定高级别和低级别方案并创建好并发测试环境，最后测试人员通过在相同的时间执行相同的任务进行测试。

传统的并发测试方案采用LoadRunner工具模拟大量测试用例，用于测试待测软硬件系统。为了保证可移植性，测试用例在设计时更多地关注平台无关性，没有专注于国产化操作平台，且更多地关注于软件并发测试，而不是计算机系统软硬件综合并发测试。在云端服务器对测试用例进行接收和分发时，一方面，传统的评测方案没有考虑到虚拟化分配机制的相关操作，也没有实现动态压力调整策略；另一方面，服务器在将测试用例分发给底层硬件时，未采用相关的硬件虚拟化技术或根据反馈机制实现多目标优化模型，侧重于采用随机分派的方式，很少考虑到测试用例与各类硬件的关联性以及硬件组件之间的负载均衡。这种缺乏反馈机制的测试方案，流程冗余，精准度差，覆盖面不足，已经无法满足未来计算机高速发展的要求。

发明内容

本发明的目的是提供一种国产办公环境下基于反馈机制的并发测试方法，解决现有技术的缺陷。

本发明的技术方案为：一种国产办公环境下基于反馈机制的并发测试方法，其特征在于，具体包括以下步骤：

步骤一，构建国产云平台评测架构，即将办公系统和测试工具部署到国产云平台上；

步骤二、构建不同的评测场景：运行被测办公系统和评测工具，采用评测工具收集被测办公系统产生的评测日志，并对收集到的评测日志统计分析，提取热点信息模型，完成不同评测场景的构建；

步骤三、在构建出的不同的评测场景中，评测工具开始对办公系统具体测试，通过每个评测场景不断加压，找到各个评测场景下云平台的临界点，并找出该临界点下可行的分配机制；

步骤四、不断收集评测结果，并扫描原测试基准，比对收集评测结果和原测试基准，若评测结果满足测试基准要求，则继续加压；若评测结果无法达到测试基准要求，则发出反馈信号，请求国产云平台进行动态压力调整，使当前结果达到测试基准要求；下一步继续加压，寻找临界点和可突破临界点的虚拟化分配机制，直至达到无任何分配机制可满足该并发强度，输出最高临界值和最大可满足该临界值的分配机制。

有益效果：本发明测试的对象是搭建在国产软硬件平台上的国产云虚拟化分配机制，即一种带反馈的动态压力调整机制。具体测试方案是将评测工具和办公系统部署到国产云平台上，基于不同评测场景下测试办公系统的实时压力表现，间接实现对国产平台上国产云虚拟化分配机制的评测。本发明考虑了虚拟化分配机制的相关操作，实现了动态压力调整，服务器在将测试用例分发给底层硬件时，根据反馈机制实现多目标优化模型，考虑了测试用例与各类硬件的关联性以及硬件组件之间的负载均衡。这种基于反馈机制的测试方案，流程简单，精准度高，覆盖面全，可以满足未来计算机高速发展的要求。

附图说明

图1为国产云平台评测架构；

图2为评测流程图。

具体实施方式

为使本发明的目的、内容和优点更加清楚，对本发明的具体实施方式作进一步详细描述。

本发明提供一种国产办公环境下基于反馈机制的并发测试方法，其特征在于，具体包括以下步骤：

步骤一、构建国产云平台评测架构

国产云平台评测架构主要使用了基于虚拟化分配机制的国产天熠云和基于硬件虚拟化的KVM技术。如图1所示，国产云平台评测架构分为四层，包括最底层的国产硬件系统，第三层的KVM硬件虚拟化，第二层的国产天熠云平台和最上层的办公系统集、评测工具集。

步骤二构建评测场景

针对步骤一提出的国产云平台评测架构，构建出所需的评测软硬件平台，将被测办公软件集和评测工具集在国产云平台上运行，评测工具集提取并扫描办公日志，对其进行统计分析，提取热点信息模型，从而完成不同评测场景的构建；

评测场景主要包括四个：动态扩展、节点失效、负载均衡、故障迁移。

1)动态扩展

国产云平台的扩展能力是随着节点数量以及在云平台中运行的软件数量的变化，通过向云平台中虚拟资源池申请和回收资源，维持云平台服务水平的能力。云平台能够通过虚拟化以及相关管理技术，实现按照用户需求(负载量的变化)提供虚拟化资源(计算资源、网络资源和存储资源)。

首先，对于国产云平台的基础扩展方式有两类：

第一种：垂直扩展，国产云平台能够随着负载需求的增加，通过对节点自身进行扩容以增加虚拟资源；

第二种：水平扩展，国产云平台能够随着负载的增加，通过增加节点数量的方式以增加虚拟资源。

目前来说，国产云平台形式的应用日益增加。所以从云平台的角度出发，将水平扩展进一步细分，分为云平台内部扩展(计算节点)和云平台间扩展。其中，云平台内部扩展，是为了应对负载不算增加，保证云平台服务质量，增加云平台内部的计算节点数量，用来增大云平台规模。云平台间扩展，是增加合适的云平台数量，主要目的是增加云平台的负载，模拟并发访问，给云平台施加压力。

评价云平台动态扩展能力，目前提出三个可控因素：

A)云平台负载数量(在云平台中运行数据库读写，运行)，在云平台中运行Web访问；

B)云平台资源，包括节点数量、节点配置(CPU、内存、磁盘等)；

C)云平台服务水平(性能指标)；

军事系统应用多以云平台化方式部署，从资源占用率角度出发进行分类，主要分为CPU密集型、IO密集型和综合型负载(注：负载是在云平台中运行的任务，存在的目的是为了测量出云平台服务水平的性能指标)。

指标选择与计算

通过控制云平台工作在不同数量的应用规模下，衡量云平台的服务水平的变化。首先，选择出标识云平台整体服务水平的指标，然后计算出标识云平台在增长过程中服务水平变化的情况。测试中使用可扩展性作为衡量云平台在增长过程中服务水平变化的指标。可扩展性作为一级指标，涉及四个二级指标，分别是应用实例的生成时间、吞吐量，99％的插入延迟和99％的读延迟。将扩展阶段的二级指标和基础节点的二级指标作为比值，用来衡量云平台在增长过程中服务水平的变化。通过加权的方式将二级指标的比值融合在一起作为可扩展性。

2)节点失效

节点失效是指由于节点的性能出现异常或由其它原因导致节点宕机，无法正常为节点提供服务。节点失效处理能力是云平台的一项重要的性能指标。通过从生产环境中用户的实际需求出发，构建云平台中节点失效的检测和处理机制的测试环境和测试基准框架和评估模型，优化测试指标、测试负载和测试流程。

云平台作为一个分布式的节点管控的逻辑统一体，在任何时刻都可能发生节点失效，如何保证节点局部失效的情况下，仍能正常为用户提供稳定、可靠的服务是分布式系统必须要解决的问题。云平台提供远超于单节点提供的资源范围能力，如虚拟服务器和虚拟存储，要确保单节点的失效要么完全不被用户察觉，要么至少能够快速恢复。

云平台失效处理机制主要为如下流程：

A)首先检测到节点失效；

B)尝试恢复该失效节点；

C)若无法再规定时间内恢复失效节点，就执行宕机迁移；

D)宕机迁移只针对使用共享存储的云平台服务；使用给本地存储的节点无法进行宕机迁移，或迁移后会数据丢失；

E)宕机迁移期间云平台服务会暂停，然后重启，用户想要最小化节点失效可能带来的影响，需要设置服务的开机启动和一些服务的自动重连功能；这样节点宕机迁移成功后，服务也会自动启动。

指标选择与计算：

主要包括四个测试指标，用于评估节点的失效处理能力：

A)节点失效检测时间。从节点失效出发程序执行结束开始，到云平台检测到节点失效的时间间隔；

B)服务恢复时间。云平台发生节点失效后，服务中断的时间；

C)是否有数据丢失。服务恢复后，检测用户在云平台上部署的应用是否会出现数据丢失；

D)失效前后服务吞吐量比值，节点失效前后，服务吞吐量比值接近于1，标识节点失效性能越好。

3)负载均衡

负载均衡主要是在现有的网络结构上，通过均衡所有的服务器和应用间的通信负载，根据实时负载情况将任务分配给负载最轻的节点，完成对多个节点的流量分发，扩展应用系统对外的服务能力，从而实现网络设备和服务带宽的扩展、吞吐量的增加、网络数据处理能力的加强、网络灵活性和可用性的提高。

负载均衡可以归纳为两层含义：第一，把大量并发的用户访问或任务分担到多个处理节点处理，减少用户等待响应的时间；第二，单个负载重的节点上的任务分担到多个节点处理，提高资源利用率，降低能耗。负载均衡主要考虑某个节点中的负载过重，将该节点的负载迁移到其他虚拟机上。考虑到真实场景下运行负载的复杂性，往往对计算、存储和网络资源都有要求。一般会涉及并发的事物访问和高吞吐量的业务，需要定义典型的军事应用场景来支撑负载均衡的验证。

指标选择与计算：

负载均衡需要保证多个应用实例可以独立的处理请求信息，并保证不同应用实例间的请求分布是均匀的。另外在负载失衡的情况发生时，还需要恢复到负载平衡的状态。基于这些因素考虑，负载在平衡的时间和负载应用实例间的分布是可以描述负载均衡能力的两个核心指标。

A)服务响应时间

应用实例从负载均衡状态进入负载失衡状态开始，到再次实现负载均衡状态，中间的时间为服务器响应时间。负载失衡包括配置不足和过度配置两种情况，服务响应时间表示从失衡到云平台水平扩展或减少节点的数量达到负载均衡所需要的时间；

B)服务吞吐量

负载均衡状态下，单位响应时间内，服务器处理的请求数目。吞吐量反映了负载均衡状态下，系统的性能指标。如果达到了负载均衡，则不同应用实例之间分布的请求数量应该基本一致。

C)CPU利用率

负载均衡状态下，应用实例在一段时间内，CPU利用率的均值。CPU利用率是应用实例最直观的性能指标。达到负载均衡的情况下，不同节点之间的CPU利用率应该接近。

4)故障迁移

故障迁移是指当某个节点或多个节点因为某种原因或是某种故障，导致节点出现宕机，从而发生一系列的迁移活动的过程。迁移的整个过程对用户以及上层应用来说是完全透明的，迁移技术在负载均衡、能耗控制、服务器在线维护等场景有重要的应用、利用节点迁移技术，可以将一些负载较低的节点集中到一个节点上来，关闭空闲的节点，提高资源利用率，当节点负载很高时，可以适当的迁移出一部分节点，使服务器恢复正常。迁移能力是云平台的核心技术之一，解决用户在使用资源的过程中出现某种类型错误或故障时由云平台提供给用户无差别的资源服务，包括计算资源、网络资源和存储资源。

云平台运行过程中，出现故障属于小概率事件。一般只能通过故障注入技术使云平台节点出现故障。点发生硬件故障，如磁盘损坏、CPU温度过高导致宕机、物理网络故障，使节点关闭。可以将故障注入类型分为五类：

第一种：CPU温度过高导致宕机：此故障只需要运行CPU密集运算操作，比如高密度的大量计算；

第二种：内存溢出或者泄露：此故障可以通过运行应用程序导致内存溢出或者泄露，比如执行多个内存密集型线程，这些线程周期申请内存但不释放内存，从而导致内存泄露；

第三种：磁盘损坏：此故障可以通过运行磁盘耗尽程序来模拟实现，如执行多个I/O密集型线程，这些线程不断地往本地磁盘写入大量的数据；

第四种：网络故障：此故障可以通过外部工具箱被监控的节点发送大量的HTTP请求；

第五种：停掉服务或断电：通过直接关闭服务或者拔掉电源的方式来实现宕机。

指标选择与计算：

针对故障迁移模块，选择以下三个指标评估云平台的故障迁移容错能力：

A)总迁移时间：总迁移时间是指从在源宿主机上发起迁移命令到目的节点上恢复运行所耗费的总时间；

B)节点停机时间：节点不回应远程主机的ICMP回应请求的时间。总停机时间通过将所有丢失的数据包乘以请求的时间间隔来计算。停机时间主要是指，节点在热迁移过程中，对外提供服务中断的时间；

C)传输的数据总量：是指在热迁移过程中，在源宿主机和目的宿主机之间需要传输的数据总量。传输的数据主要包括迁移协议控制信息、内存数据、CPU状态数据、外设状态数据等；

国产云平台用于采集对应的节点性能监控信息，分析平台主动获取收集到的监控信息，对相关信息进行过滤、分析，并在可视化平台上展示各种性能指标和云平台的实时监控信息。测试引擎针对云平台的关键特性和关键特征，执行测试脚本并控制相关的测试流程。国产云平台实时获取当前被测平台的CPU、网络、负载信息，并对采集的相关数据信息反馈给测试引擎，测试引擎可以依据当前反馈的信息结合历史负载信息，调整当前测试的负载信息。应用测试管理平台为整个测试过程提供基本的监控管理功能，对云平台的测试用例、测试指标、测试脚本、评测场景、测试数据、测试模型、可视化、测试报告等进行管理，确保整个测试过程按照预期进行。

步骤三在不同评测场景下进行评测

根据构建出的不同评测场景，包括动态扩展、节点失效、负载均衡、故障迁移，评测工具开始对各个评测场景中办公软件集具体测试。通过每个评测场景不断加压，找到各个评测场景下云平台的临界点，并找出该临界点下可行的分配机制。评测流程如图2所示。

步骤四、在此过程中，不断收集评测结果，并扫描原测试基准，将收集评测结果和原测试基准比对，若评测结果满足测试基准要求，则继续加压，若评测结果无法达到测试基准要求，则发出反馈信号，要求国产云平台进行动态压力调整，直至可以达到测试基准要求，继续加压，继续寻找临界点和可突破临界点的虚拟化分配机制，直至达到无任何分配机制可满足该并发强度，输出最高临界值和最大可满足该临界值的分配机制。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims

1.一种国产办公环境下基于反馈机制的并发测试方法，其特征在于，具体包括以下步骤：

2.根据权利要求1所述的一种国产办公环境下基于反馈机制的并发测试方法，其特征在于，国产云平台评测架构分为四层，包括最底层的国产硬件系统，第三层的KVM硬件虚拟化，第二层的国产云平台和最上层的办公系统集、评测工具集。

3.根据权利要求1所述的一种国产办公环境下基于反馈机制的并发测试方法，其特征在于，评测场景包括动态扩展、节点失效、负载均衡、故障迁移。

4.根据权利要求3所述的一种国产办公环境下基于反馈机制的并发测试方法，其特征在于，动态扩展分为垂直扩展和水平扩展，水平扩展分为云平台内部扩展和云平台间扩展，其中，云平台内部扩展用于增加云平台内部的计算节点数量，云平台间扩展用于增加合适的云平台数量。

5.根据权利要求4所述的一种国产办公环境下基于反馈机制的并发测试方法，其特征在于，云平台动态扩展的指标选择方法为：首先，选择出标识云平台整体服务水平的指标，然后计算出标识云平台在增长过程中服务水平变化的情况，测试中使用可扩展性作为衡量云平台在增长过程中服务水平变化的指标。

6.根据权利要求5所述的一种国产办公环境下基于反馈机制的并发测试方法，其特征在于，将所述可扩展性作为一级指标，其涉及四个二级指标，分别是应用实例的生成时间、吞吐量，99％的插入延迟和99％的读延迟，将扩展阶段的二级指标和基础节点的二级指标作为比值，用来衡量云平台在增长过程中服务水平的变化，通过加权的方式将二级指标的比值融合在一起作为可扩展性。

7.根据权利要求5所述的一种国产办公环境下基于反馈机制的并发测试方法，其特征在于，云平台处理节点失效的方法如下：

A)首先检测到节点失效；

B)尝试恢复该失效节点；

C)若无法再规定时间内恢复失效节点，就执行宕机迁移；

8.根据权利要求5所述的一种国产办公环境下基于反馈机制的并发测试方法，其特征在于，通过以下四个测试指标评估节点失效的处理能力：

A)节点失效检测时间：从节点失效出发程序执行结束开始，到云平台检测到节点失效的时间间隔；

B)服务恢复时间：云平台发生节点失效后，服务中断的时间；

C)是否有数据丢失：服务恢复后，检测用户在云平台上部署的应用是否会出现数据丢失；

9.根据权利要求1-8任一项所述的一种国产办公环境下基于反馈机制的并发测试方法，其特征在于，通过故障注入使云平台节点出现故障，将故障注入类型分为五类：

10.根据权利要求9所述的一种国产办公环境下基于反馈机制的并发测试方法，其特征在于，通过以下三个指标评估云平台的故障迁移容错能力：

B)节点停机时间：主要是指节点在热迁移过程中，对外提供服务中断的时间；

C)传输的数据总量：是指在热迁移过程中，在源宿主机和目的宿主机之间需要传输的数据总量。