CN104378252A - 一种云测试服务平台 - Google Patents

Abstract

本发明公开了一种云测试服务平台，该平台涉及云测试项目的管理和TaaS，其包括IaaS和PaaS两个主要组成部分。IaaS提供计算和存储资源，管理虚拟云测试服务器；PaaS面向云测试用户，构建于IaaS上，使用IaaS提供的基础资源。本发明设计的平台将分布式的测试资源进行有效调用，以统一平台或服务的形式呈现给用户。本文首先介绍了云测试的研究进展和应用现状，然后提出了云测试服务平台的整体架构，利用测试系统、服务器、存储、网络和各种平台等基础设施进行虚拟化，并基于基础架构完成服务平台的设计和实现，为企业组织提供一个共享可用的自动化测试平台。

Description

一种云测试服务平台

技术领域

本发明涉及一种云测试服务平台。更特别地说，是指一种基于Selenium测试框架的云测试服务平台，该平台能够将分布式的测试资源进行有效调用。

背景技术

云测试是基于云计算的一种新型测试方案。云测试平提供多种平台、多种浏览器的平台，软件开发企业在其平台上进行相关自动化测试，环境适应性验证测试等，企业不再在本地计算机上安装和使用这些工具。一般的用户在本地用测试软件把自动化测试脚本(如JMeter、Selenium等)编写好，上传至云测试平台网站，然后就可以在平台上运行自动化测试脚本，进行相关测试。这样无须本地安装和配置测试环境，在远程测试平台上进行适应性、性能、功能自动化等测试的方式就叫云测试。

随着软件开发技术的不断成熟，软件的测试变得日益重要。但测试是一项具有风险的工作，主要体现在以下方面：首先，测试需要大量的资源，如果放在开发者的机器上进行测试，导致开发者在测试的过程中机器性能降低，从而降低了开发者的开发效率；其次，由于测试失败的可能性较高，因此后果无法预计，轻则输出的结果和预想有偏差，重则导致整个系统崩溃；再次，对于部分测试，需要依赖于不同的硬件，如果团队没有足够的资金去购买相应的硬件，这会使测试变得更加困难。

目前，云测试还处于起步阶段，相比廉价硬件加虚拟化的本地测试环境还没有明显的优势。但是随着云计算服务的发展，云测试也会快速发展。例如，Google Chrome OS操作系统提供Web API(网络应用程序编程接口)将绝大多数应用置于云端，那么将一部分测试用例部署在云上也是自然的选择。在软件测试领域已经有了很多典型的测试应用，Cloud Testing、keynote、SOASTA等公司；在硬件测试领域引入云测试更加具有迫切性和必要性，如英特尔、思博伦等公司都在做着有益的尝试，见表1所示的云测试公司现状。

表1

作为云测试领先公司SOASTA，其云测试服务主要为Web服务和手机应用软件提供可扩展性、功能性以及性能的实时测试分析。客户能够快速定制所需测试服务，这些服务克服了硬件和软件局限造成的旧有限制。其云测试平台主要由SOASTA全球测试云，云测试管理，实时分析与核心测试服务这几个模块组成。其部署的全球测试云，主要包括公有云，私有云，混合云等。云测试管理和实时分析位于云端之上，云测试管理主要为测试部署和配置云中资源实时分析为了在测试过程中实现瞬时端到端的信息传递建立了内存分析处理引擎。核心测试服务位于最上层，为功能测试和性能测试提供服务，包括环境搭建，运行，查看，问题发现等。

还有Skytap公司的云自动化解决方案，是为企业和软件供应商提供在云中开发、测试、迁移、评估、演示的功能的应用程序。对于不同的用户角色，其提供不同的服务。一般的终端用户，有权创建基于云的虚拟环境、运行不需要修改代码的应用程序，使用统一的交互界面实现全球范围内的协作。IT专业管理人员具有获得云的控制权，可以查看和控制云的部署，可以定制为维护安全以及使用所需的策略。对于企业来说，可以使用Skytap的产品安全地连接到其数据中心，无论其使用的是私有云、公有云还是混合云。

此外，IBM还提出了的智能商务开发与测试云(IBM SmartBusiness Development and Test on the IBM Cloud)，是一个部署在IBM数据中心的云服务，为开发者使用Java、.Net以及开源环境提供了所需的工具和设计好的接口。这些工具和服务的主要目的是达到应用程序开发和测试的三个关键要素：1.敏捷开发服务，旨在通过一系列更好方法实践协作开发和测试。2.一套为测试规划管理以及测试所需硬件的管理而建立的综合服务。3.工具，如IBM合理资产管理(IBM Rational Asset Manager)，这是有针对性的提高分布式应用程序开发团队的效率。

同时，云测试的安全性、可靠性仍是一个需要非常关注的特性，特别像一些对数据安全性要求很高的行业，如金融行业，保证用户在云上测试的安全可靠，也是用户为什么会选择云测试的关键，如果安全性问题得不到解决，云测试的应用也将会有很大的局限性。

另外，云测试人员还会关注，如果云出现了故障如何处理，这就要求云测试服务提供商要有完整的故障恢复策略、备份策略、修复策略和从测试数据丢失中恢复的机制。

发明内容

鉴于以上问题，本发明设计了一套更加良好的测试方案，使得开发者达到以下的目的：首先，提高开发者的测试效率，测试不占用开发者的计算资源，并且尽量能够自动进行；其次，提高测试的安全性，即使测试失败，也不会导致整个系统崩溃；再次，测试能够弹性地改变测试环境，即改变测试的资源配置；最后，测试的过程中系统能够尽量自动收集更多的测试数据，比如CPU占有率、内存占用、IO的情况等，能够在测试结束后返回给用户。

基于这些需求，通过比较，认为云计算是一个很好的解决方案。首先，云计算能够把计算资源放在云端，几乎不占用客户端的任何计算资源；其次，利用云端虚拟化的天然隔离性，可以保证在一台虚拟机崩溃后不影响整个云系统，从而使得测试的健壮性得到加强；再次，云计算的虚拟化可以通过改变虚拟机的配置，使动态改变资源配置成为了可能。这些特点，使得这个新测试系统能成为一个典型的云计算系统。

本发明的一种云测试服务平台，该云测试服务平台包括有五个层次模型：

物理设备层，通过服务器、数据库等设备提供实际的物理计算、存储和安全管理等功能。

虚拟化层，通过VMWare(虚拟机)、KVM(多计算机切换器)等虚拟化软件构造虚拟测试服务器。

资源管理层，通过EC2系统、Eucalyptus软件、OpenStack软件以及Blue Cloud(蓝云)等系统动态分配和管理公共云或私有云的各种虚拟资源。

测试项目管理层，通过云计算软件测试项目管理工具计划和管理云测试项目、定义测试需求和控制测试流程，同时管理测试源代码、测试用例、测试文档等测试数据。

用户操作层，能够完成测试系统环境配置、资源分配、测试控制、任务调度、测试过程记录和测试结果分析等测试用户的基础测试操作。

利用云测试平台进行测试与传统的本地测试相比，不需购买昂贵的测试工具，只需支付低廉的租赁费用；提供超大规模的测试资源，动态分配、降低成本；提供各种便捷的系统平台环境；测试资源即申请即使用，不需要繁杂的准备过程；加强测试管理、提高测试质量，享受专家服务。

附图说明

图1是云测试平台层次结构图；

图2是资源分配流程图；

图3是CAS基本协议结构图。

具体实施方式

下面将结合附图和实施例对本发明做进一步的详细说明。

云测试是基于云计算的一种新型测试方案。云测试平提供多种平台、多种浏览器的平台，软件开发企业在其平台上进行相关自动化测试，环境适应性验证测试等，企业不再在本地计算机上安装和使用这些工具。一般的用户在本地用测试软件把自动化测试脚本(如JMeter、Selenium等)编写好，上传至云测试平台网站，然后就可以在平台上运行自动化测试脚本，进行相关测试。这样无须本地安装和配置测试环境，在远程测试平台上进行适应性、性能、功能自动化等测试的方式就叫云测试。

一般认为测试即服务(TaaS，Testing as a Service)是属于云计算环境下软件测试服务外包的一种业务模式。TaaS是指测试服务提供商利用云计算平台和基础设施给测试用户提供的第三方软件测试服务，包括功能测试、非功能测试(压力测试、性能测试、兼容性测试等)、测试维护和测试支持等测试服务。

测试中需要使用的软件工具和测试环境都可以进行云测试，测试软件在可针对不同应用场景下对硬件环境与软件环境有不同的测试指标云测试平台可适用于软件系统的自动化功能测试与回归测试、性能测试、测试用例设计、问题报告分析以及测试管理等工作。

云测试平台是一个复杂的结构，包含了软件、硬件和服务。平台主要关注云测试项目的管理和TaaS，因此提出了一种新的测试平台层次模型，包括IaaS(Infrastructure as a Service，基础设施即服务)和PaaS(Platform-as-a-Service的缩写，平台即服务)两个主要组成部分。IaaS提供计算和存储资源，管理虚拟云测试服务器；PaaS面向云测试用户，构建于IaaS上，使用IaaS提供的基础资源。测试平台层次模型共分为5个层次，如图1所示。

(1)物理设备层，通过服务器、数据库等设备提供实际的物理计算、存储和安全管理等功能。

(2)虚拟化层，通过VMWare、KVM等虚拟化软件构造虚拟测试服务器。

(3)资源管理层，通过EC2、Eucalyptus、OpenStack以及BlueCloud等系统动态分配和管理公共云或私有云的各种虚拟资源。

(4)测试项目管理层，通过云计算软件测试项目管理工具计划和管理云测试项目、定义测试需求和控制测试流程，同时管理测试源代码、测试用例、测试文档等测试数据。

(5)用户操作层，能够完成测试系统环境配置、资源分配、测试控制、任务调度、测试过程记录和测试结果分析等测试用户的基础测试操作。

利用云测试平台进行测试与传统的本地测试相比，不需购买昂贵的测试工具，只需支付低廉的租赁费用；提供超大规模的测试资源，动态分配、降低成本；提供各种便捷的系统平台环境；测试资源即申请即使用，不需要繁杂的准备过程；加强测试管理、提高测试质量，享受专家服务。

云测试服务平台实现了功能测试和性能测试的跨操作系统、跨浏览器操作，以及自动化测试的Web分布部署。

随着虚拟化的发展，系统虚拟化领域出现了VMware、Xen(虚拟机监视器)、KVM、Hyper-V(桌面虚拟化)等多种虚拟化产品。而近年来，很多大中企业都在虚拟化平台软件的基础上推出了自己的私有云产品，如Amazon的AWS(Amazon Web Service，亚马逊网络服务)、VMware的私有云平台、Novell的NCM(Novell CloudManager，Novell云服务管理)、Citrix的Citrix Lab Manager云管理产品和SSP(Self-Service Portal，自助服务门户)、Cloud.com的CloudStack云计算平台、Eucalyptus公司的Eucalyptus云计算平台。虚拟化技术和私有云产品种类繁多，因此，通过使用系统的方法对虚拟化、私有云平台进行测试分析，得到真实的数据，并根据数据中心的建设需要进行选型，显得尤为重要。并且，对测试方法进行研究，建立一套满足实际需求的测试体系，也有助于为数据中心的维护、扩展提供更加有效的参考。

利用虚拟技术，在一台服务器上启动多个虚拟机，在每个虚拟机上经过各测试端进行远程桌面或者虚拟专用网(VPN)等方式分别接入自己的虚拟机进行客户数据升级，环境、压力、性能、适应性软件等项目进行测试。

虚拟机节点控制器用来管理和提供虚拟测试服务器实例，集群控制器用来管理集群中的虚拟机节点控制器，每一个集群需要一个集群控制器；云控制器用来管理所有的集群，执行云测试项目管理工具对云资源的规划和云用户的管理，云存储服务器对外界提供云存储服务，支持分布式存储技术；云控制器和云存储服务器可以使用多个集群的资源，云测试项目管理工具用来配置和管理测试项目，分配和动态调整各种测试资源，测试用户通过客户端访问各种虚拟测试服务资源，完成基础测试工作。

云测试平台可以自动搭建测试环境，首要工作是分配虚拟测试节点，首先根据测试需求申请虚机的数量、配置等；然后根据环境配置模板自动分发部署操作系统、软件系统以及测试系统等完成测试环境的搭建；此外在测试过程中云测试平台可根据虚拟测试节点的状态以及资源的消耗情况，动态调度虚机运行、停止以及重新分配等，从而达到测试需要。资源分配图如图2所示。

测试实施前，首先需要先制定测试具体方案，主要集中在部署调度策略，即哪个虚拟测试节点执行哪些脚本、收集哪些信息、各个测试节点的执行顺序以及同一测试节点上测试用例执行的先后顺序等，这些都需要明确；然后根据部署调度策略进行测试脚本部署、调度；最后执行测试，收集需要的结果信息进行分析。当然这与虚拟测试节点的部署调度是不同的，但也存在一定关联，例如当虚拟测试节点出现故障或资源不足时，云测试平台会动态部署、调度虚拟测试节点，可能涉及某些测试节点的停止、重新分配，这时测试用例的部署、调度以及结果的收集也需要动态进行相应变化。

任务调度时针对存在多个测试任务的调度，对于各个不同的任务，首先满足优先级高的测试任务运行条件，使得优先级高的任务尽早执行。另外，如果优先级相同，则按先来先服务原则，满足最早进入测试任务队列的任务，以达到提高自动化测试效率或者提高测试资源的利用率。

功能测试采用基于Selenium测试框架进行开发扩展。Selenium是由ThoughtWorks公司发起，针对Web应用程序的开源自动化功能测试工具集。它的脚本可直接在浏览器中运行，模仿用户真实操作。并且跨越多种浏览器(Firefox、IE、Safari、Opera)和多种操作系统(Windows、Linux、OSX、Solaris等)。另外，它还支持多种脚本编程语言(C#、Java、Perl、PHP、Phthon、Ruby等)和测试框架(Bromine、JUnit、NUnit等)。Selenium测试应用程序与浏览器的兼容性，判断应用程序是否能够很好得工作在不同浏览器和操作系统之上。

功能测试模块主要包括三个核心组件：Selenium IDE、SeleniumRC、Selenium Grid。其中Selenium IDE主要是模拟用户操作，在Firefox下录制、编辑、调试脚本(test case，测试用例)，支持多种开发语言，一组test case可保存为test suite(测试套件)，也就是可批量运行的测试。Selenium RC即远程测试，它可控制浏览器进程执行测试，提供了多种编程语言的测试驱动函数库，运行测试控制逻辑，向远程的RCS(Remote Control Server，远程控制服务器)发送指令，RCS调用远程浏览器程序执行测试并返回结果。SeleniumGrid是分布式测试，在多台机器和异构环境下并行运行多个Selenium RC，它具有自适应性，其测试环境可按需分配。另外，Selenium还有一些其他工具，如Selenium Core，是基于JavaScript的测试系统；Cubic Test，是图形化的Eclipse插件；Bromine，是基于Web的指令保证工具，类似QC。

利用Selenium实现云测试的工作模式如下：1)使用IDE(Integrated Develope Environment，集成开发环境)在Firefox中录制脚本或使用多种语言来开发脚本。2)测试脚本由一系列的Selenium Command(Selenium指令)构建而成。3)提交SeleniumCommand set(Selenium指令集合)到RC(remote control，远程控制)中，RC开启一种特定浏览器执行测试命令集。4)提交SeleniumCommand set到Grid(网格)，Grid调用不同地域RC同时执行测试命令集。

性能测试首先建立一套性能指标来帮助实施系统测试过程。如果一个系统正确执行一个服务，其性能可通过三方面进行测试：(1)响应时间，(2)吞吐量，(3)占用率。并针对这三点分别提出一个测试过程。服务请求结果有三类：(1)该服务被正确执行，(2)该服务被非正确执行，(3)该服务被拒绝执行。

性能测试采用基于Apache JMeter测试框架进行开发扩展。Apache JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试，它最初被设计用于Web应用测试但后来扩展到其他测试领域。它可以用于测试静态和动态资源例如静态文件、Java小服务程序、CGI脚本、Java对象、数据库，FTP服务器，等等。JMeter可以用于对服务器、网络或对象模拟巨大的负载，来在不同压力类别下测试它们的强度和分析整体性能。JMeter能够对应用程序做功能/回归测试，通过创建带有断言的脚本来验证程序返回期望的结果。

整个云测试平台要使用统一的CAS(Central AuthenticationService，中心认证服务)单点登录机制，各个部分设有权限管理以及统一的页面风格。CAS的登录界面处理所谓的“主体认证”。它要求用户输入用户名和密码，就像普通的登录界面一样。主体认证时，CAS获取用户名和密码，然后通过某种认证机制进行认证。

从结构上看，CAS包含两个部分：CAS Server(CAS服务器)和CAS Client(CAS客户端)。CAS Server需要独立部署，主要负责对用户的认证工作；CAS Client负责处理对客户端受保护资源的访问请求，需要登录时，重定向到CAS Server。CAS的基本协议如图3所示。

CAS Client与受保护的客户端应用部署在一起，以Filter(滤波器)方式保护受保护的资源。对于访问受保护资源的每个Web请求，CAS Client会分析该请求的Http请求中是否包含Service Ticket(服务票据)，如果没有，则说明当前用户尚未登录，于是将请求重定向到指定好的CAS Server登录地址，并传递Service(也就是要访问的目的资源地址)，以便登录成功过后转回该地址。用户在第3步中输入认证信息，如果登录成功，CAS Server随机产生一个相当长度、唯一、不可伪造的Service Ticket，并缓存以待将来验证，之后系统自动重定向到Service所在地址，并为客户端浏览器设置一个Ticket Granted Cookie(TGC，票据授权Cookie)，CAS Client在拿到Service和新产生的Ticket过后，在第5，6步中与CAS Server进行身份核实，以确保Service Ticket的合法性。

Claims (4)

1.一种云测试服务平台，其特征在于：该云测试服务平台包括有五个层次模型：

物理设备层，通过服务器、数据库等设备提供实际的物理计算、存储和安全管理等功能；

虚拟化层，通过VMWare、KVM等虚拟化软件构造虚拟测试服务器；

资源管理层，通过EC2、Eucalyptus、OpenStack以及蓝云等系统动态分配和管理公共云或私有云的各种虚拟资源；

测试项目管理层，通过云计算软件测试项目管理工具计划和管理云测试项目、定义测试需求和控制测试流程，同时管理测试源代码、测试用例、测试文档等测试数据；

用户操作层，能够完成测试系统环境配置、资源分配、测试控制、任务调度、测试过程记录和测试结果分析等测试用户的基础测试操作。

2.根据权利要求1所述的云测试服务平台，其特征在于：该云测试服务平台的功能测试采用基于Selenium测试框架进行开发扩展。

3.根据权利要求1所述的云测试服务平台，其特征在于：该云测试服务平台可以自动搭建测试环境，首要工作是分配虚拟测试节点，首先根据测试需求申请虚机的数量、配置等；然后根据环境配置模板自动分发部署操作系统、软件系统以及测试系统等完成测试环境的搭建；此外在测试过程中云测试平台可根据虚拟测试节点的状态以及资源的消耗情况，动态调度虚机运行、停止以及重新分配等，从而达到测试需要。

4.根据权利要求1所述的云测试服务平台，其特征在于：该云测试服务平台能够实现：首先，提高开发者的测试效率，测试不占用开发者的计算资源，并且尽量能够自动进行；其次，提高测试的安全性，即使测试失败，也不会导致整个系统崩溃；再次，测试能够弹性地改变测试环境，即改变测试的资源配置；最后，测试的过程中系统能够尽量自动收集更多的测试数据，能够在测试结束后返回给用户。