CN105718369A - 计算机软件测试异常处理系统及测试方法 - Google Patents

计算机软件测试异常处理系统及测试方法 Download PDF

Info

Publication number
CN105718369A
CN105718369A CN201610033549.XA CN201610033549A CN105718369A CN 105718369 A CN105718369 A CN 105718369A CN 201610033549 A CN201610033549 A CN 201610033549A CN 105718369 A CN105718369 A CN 105718369A
Authority
CN
China
Prior art keywords
test
server
abnormality processing
file
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610033549.XA
Other languages
English (en)
Inventor
蒋破荒
眭建新
胡其辉
刘星
赵丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUNAN ELECTRIC POWER DISPATCH HIGH-TECH DEVELOPMENT Co Ltd
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Hunan Electric Power Co Ltd
Original Assignee
HUNAN ELECTRIC POWER DISPATCH HIGH-TECH DEVELOPMENT Co Ltd
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Hunan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUNAN ELECTRIC POWER DISPATCH HIGH-TECH DEVELOPMENT Co Ltd, State Grid Corp of China SGCC, State Grid Hunan Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Hunan Electric Power Co Ltd filed Critical HUNAN ELECTRIC POWER DISPATCH HIGH-TECH DEVELOPMENT Co Ltd
Priority to CN201610033549.XA priority Critical patent/CN105718369A/zh
Publication of CN105718369A publication Critical patent/CN105718369A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种计算机软件测试异常处理系统,包括通过网络连接的控制与调度服务器、通信计算机组服务器、文件缓存服务器、测试用例数据库服务器和测试对象服务器;控制与调度服务器控制测试流程;通信计算机组服务器监听并接收测试任务信息、执行测试操作和反馈测试过程及结果;文件缓存服务器保存文件和脚本;测试用例数据库服务器收集和存储实验结果。本发明还公开了所述计算机软件测试异常处理系统的测试方法,包括将测试对象接入网络;下载配置文件和脚本;将配置文件和脚本分发各服务器;检查测试对象运行状态;施加负载,并对测试对象进行异常处理;收集和存储实验结果。本发明能实时处理、记录多台测试对象的异常状态,实现测试自动化。

Description

计算机软件测试异常处理系统及测试方法
技术领域
本发明具体涉及一种计算机软件测试异常处理系统及测试方法。
背景技术
电力领域中应用的计算机系统在软件测试过程中不可避免会受到各种测试用例错误和测试环境异常的干扰。如果测试软件发生异常,会造成软件测试结果错误和生产服务失效的风险。为了提高生产系统软件质量,满足软件测试中功能测试自动化的要求,通常需要包含自动化测试实时异常处理功能,这对测试软件平台本身的可靠性又提出了较高要求,使测试目标系统在发生异常时,自动化测试平台仍然能可靠的运行,捕获异常发生的上下文并记录异常处理的情况、提供有效的异常处理手段、满足异常处理实时性要求,为提升软件质量提供技术手段。
由此可见,系统中所采用的异常处理技术必须进行测试和分析,从而保证所设计的异常处理系统真正实现能够对预定异常正确处理的目标,然而在实验中开发的自动化测试平台面临着如何在测试执行前进行测试的问题,如果在系统出现问题时再对其进行测试和分析,就会造成重大损失,因此必须系统投入使用之前,进行异常模拟和异常分析,进而评价系统稳定性能力。
异常处理技术是用于验证异常处理系统设计正确性和评价容错性能的重要方法。现有的异常处理技术大部分采用异常处理工具实现,但是,可识别并捕获的异常种类比较单一,并且同时只能够向一台测试对象服务器进行异常处理,不适用于对分布式集群计算机的异常处理测试需求。
发明内容
本发明的目的之一在于提供一种能够实时处理测试系统的各类异常状态、并且能够同时对多台测试对象进行异常处理的计算机软件测试异常处理系统。
本发明的目的之二在于提供一种所述的计算机软件测试异常处理系统所应用的异常处理方法。
本发明提供的这种计算机软件测试异常处理系统,包括控制与调度服务器、通信计算机组服务器、文件缓存服务器、测试用例数据库服务器和测试对象服务器;控制与调度服务器、测试用例数据库服务器、通信计算机组服务器和测试对象服务器通过计算机网络连接在一起,文件缓存服务器与控制与调度服务器连接,通信计算机组服务器与测试对象服务器连接;控制与调度服务器用于管理、控制整个自动化测试流程;通信计算机组服务器用于监听并接收控制与调度服务器发送来的测试任务信息,并执行相应的测试操作,同时反馈测试过程和测试结果给控制与调度服务器;文件缓存服务器用于保存与异常处理自动化测试相关的所有文件和脚本,通过文件系统服务下载到指定的服务器;测试用例数据库服务器用于收集和存储异常处理实验生成的所有结果。
所述的计算机软件测试异常处理系统,还包括服务状态监控计算机;服务状态监控计算机与控制与调度服务器连接,用于将控制与调度服务器发送的任务执行进展相关数据显示输出,还用于实时显示测试对象服务器的系统关键性能参数。
所述的计算机软件测试异常处理系统,还包括异常处理管理服务器;异常处理管理服务器通过计算机网络与测试异常处理系统连接,用于计算机软件测试异常处理系统的管理人员和运行维护人员对计算机软件测试异常处理系统的运行参数进行编辑和设置。
所述的通信计算机组服务器包括两台通信计算机;一台通信计算机作为测试代理服务器作为测试数据发生器,实现根据控制与调度服务器的命令产生负载信息;另一台通信计算机作为测试代理服务器,用于执行向对应的测试对象服务器执行异常处理、观察系统对异常的反应、并结合负载变化分析系统相关性能,并将分析结果上传控制与调度服务器。
所述的文件和脚本,包括关键字驱动脚本、数据驱动脚本及混合驱动测试用例脚本、异常处理服务引擎和测试监控日志服务。
所述的计算机软件测试异常处理系统采用基于开源的自动化测试框架STAF构建,具体包括应用层、代理层和实现层;应用层为运行在控制与调度服务器的应用程序,利用关系型数据库和文件系统来管理自动化测试过程中的数据和信息,并提供人机界面;代理层为运行在应用层和实现层中间,实现任务代理和负责执行用户从界面中提交的自动化测试任务;实现层运行在自动化测试控制服务器最底层的STAF进程及其提供的包括STAX、文件系统、时钟同步、日志的服务。
所述的应用层包括视图层、控制器和模型;视图层用于提供人机界面和信息交互;控制器负责分析用户请求并调用模型处理、用于实现模型与视图层之间的数据交互、提供人机交互界面需要显示的事件并响应给视图层,还负责数据的组织,然后交由模型中的STAF文件服务传输或者交由测试用例数据库存储;模型封装了各类业务逻辑,用于在控制器的调用下实现相应的逻辑动作和处理。
所述的模型包括测试策略生成管理模块、用户管理模块、测试代理资源管理模块、动态部署与发布模块、测试任务调度管理模块、测试日志管理模块、结果回收模块、结果分析模块和结果显示模块;测试策略生成管理模块用于接收测试参数或测试参数文件,并根据所述测试参数或测试参数文件生成命令控制字;用户管理模块用于管理系统用户信息,并控制系统访问权限;测试代理资源管理模块用于管理整个测试系统中的测试机资源,对这些资源进行合理分配利用;动态部署与发布模块用于根据人工测试流程采用消息触动机制,应用文件系统服务将文件缓存服务器上保存的相应程序及脚本分发到测试环境中;测试任务调度管理模块负责自动化测试任务的操作;测试日志管理模块用于管理包括自动化测试任务的实时运行日志、测试报告、历史记录信息;结果回收模块用于实时收集目标系统面对异常的不同反应,并根据所述反映生成异常处理结果;结果分析模块用于分析从测试对象服务器传来的异常处理结果,并计算指标和生成结果报表;结果显示模块用于将结果分析模块发送的结果报表显示在用户界面上,同时保存于数据库中。
本发明还公开了所述计算机软件测试异常处理系统的测试方法,包括如下步骤:
S1.确定测试对象,将所有测试对象与所述计算机软件测试异常处理系统连接在同一网络中;
S2.控制与调度服务器从文件缓存服务器上下载配置文件和运行脚本;
S3.根据配置文件,控制与调度服务器将下载的配置文件和运行脚本分发到各个通信计算机组服务器;
S4.控制与调度服务器检查测试对象服务器的运行状态;
S5.控制与调度服务器通过通信计算机组服务器向测试对象服务器施加负载,并对测试对象服务器进行异常处理;
S6.异常处理完成后,测试用例数据库服务器和通信计算机组服务器将收集和存储的异常处理实验结果上传给控制欲调度服务器。
本发明采用基于开源的自动化测试框架STAF构建自动化测试平台,利用控制与调度服务器对多台测试对象服务器进行同时测试,并利用开源的自动化测试工具构建各类型测试模型和运行脚本,因此本发明能够实时处理测试系统的各类异常状态、并且能够同时对多台测试对象进行异常处理,并且能够实时记录异常处理结果,实现异常处理的自动化和实时化。
附图说明
图1为本发明的计算机软件测试异常处理系统的功能模块图。
图2为本发明的方法流程图。
图3为本发明的方法流程示意图。
具体实施方式
如图1所示为本发明的计算机软件测试异常处理系统的功能模块图:本发明提供的这种计算机软件测试异常处理系统,包括控制与调度服务器、通信计算机组服务器、文件缓存服务器、测试用例数据库服务器、测试对象服务器、服务状态监控计算机和异常处理管理服务器;控制与调度服务器、测试用例数据库服务器、通信计算机组服务器和测试对象服务器通过计算机网络连接在一起,文件缓存服务器与控制与调度服务器连接,通信计算机组服务器与被测计算机连接;控制与调度服务器用于管理、控制整个自动化测试流程;通信计算机组服务器用于监听并接收控制与调度服务器发送来的测试任务信息,并执行相应的测试操作,同时反馈测试过程和测试结果给控制与调度服务器;文件缓存服务器用于保存与异常处理自动化测试相关的所有文件和脚本,通过文件系统服务下载到指定的服务器;测试用例数据库服务器用于收集和存储异常处理实验生成的所有结果;服务状态监控计算机与控制与调度服务器连接,用于将控制与调度服务器发送的任务执行进展相关数据显示输出,还用于实时显示测试对象服务器的系统关键性能参数;异常处理管理服务器通过计算机网络与测试异常处理系统连接,用于计算机软件测试异常处理系统的管理人员和运行维护人员对计算机软件测试异常处理系统的运行参数进行编辑和设置。
所述的通信计算机组服务器包括两台通信计算机;一台通信计算机作为测试代理服务器作为测试数据发生器,实现根据控制与调度服务器的命令产生负载信息;另一台通信计算机作为测试代理服务器,用于执行向对应的测试对象服务器执行异常处理、观察系统对异常的反应、并结合负载变化分析系统相关性能,并将分析结果上传控制与调度服务器。
控制与调度服务器是整个测试环境中的控制端,用于管理、控制整个自动化测试流程;它通过底层的STAF服务,向测试环境中的各个STAF节点服务器提交自动化测试任务,同时监视STAF节点服务器的任务执行情况,并将任务执行进展相关数据发送给服务状态监控计算机;
服务状态监控计算机,用于将控制与调度服务器发送的任务执行进展相关数据显示输出,还用于实时显示测试对象服务器的系统关键性能信息,所述系统关键性能信息包括测试对象服务器的处理器性能指标、内存利用率、磁盘IO速率、网络速率等,还用于在监控结束后导出监控日志和日志分析文件;
文件缓存服务器用于保存与异常处理自动化测试相关的所有文件和脚本,通过文件系统服务下载到指定的计算机,所述指定的计算机包括测试对象服务器,测试代理服务器;
测试用例数据库服务器用于收集和存储异常处理实验生成的所有结果;
本实施方式中,采用测试用例数据库MYSQL文件作为存储数据的形式,此处统一收集各个测试发生器的测试实验结果,方便评测人员管理、分析。
测试对象服务器也是待测分布式集群计算机,是基于异常处理方法进行可用性评测的目标对象;根据异常处理平台的工作原理,目标机需要下载安装异常处理服务引擎程序;
通讯计算机组服务器用于监听并接收控制与调度服务器发送来的测试任务信息,并执行相应的测试操作,同时反馈测试过程和结果给控制器;为了模拟真实环境下的目标系统,该测试平台在运行负载的条件下进行异常处理,因此该通讯计算机组服务器由两台通讯计算机组成,其中,一台测试代理服务器用于测试发生器,实现根据控制与调度服务器的命令产生负载信息;另一台测试代理服务器用于执行向对应的测试对象服务器执行异常处理,观察系统对异常的反应,结合负载变化,分析系统相关性能。实现向特定服务器模拟运行测试用例,实时记录异常信息,评测相关性能的任务。
所述的计算机软件测试异常处理系统采用基于开源的自动化测试工具STAF构建,具体包括应用层、代理层和实现层;应用层为运行在控制与调度服务器的应用程序,利用关系型数据库和文件系统来管理自动化测试过程中的数据和信息,并提供人机界面;代理层为运行在应用层和实现层中间,实现任务代理和负责执行用户从界面中提交的自动化测试任务;实现层运行在自动化测试控制服务器最底层的STAF进程及其提供的包括STAX、文件系统、时钟同步、日志的服务。
所述的应用层包括视图层、控制器和模型;视图层用于提供人机界面和信息交互;控制器负责分析用户请求并调用模型处理、用于实现模型与视图层之间的数据交互,例如将模型处理结果数据进行组织并发送给视图层显示,将视图层输入的数据进行组织之后建立模型,控制器还提供人机交互界面需要显示的事件及响应给视图层,还负责数据的组织,然后交由模型中的STAF文件服务传输或者交由测试用例数据库存储;模型封装了各类业务逻辑,用于在控制器的调用下实现相应的逻辑动作和处理。
所述的模型包括测试策略生成管理模块、用户管理模块、测试代理资源管理模块、动态部署与发布模块、测试任务调度管理模块、测试日志管理模块、结果回收模块、结果分析模块和结果显示模块;测试策略生成管理模块用于接收测试参数或测试参数文件,并根据所述测试参数或测试参数文件生成命令控制字;用户管理模块用于管理系统用户信息,并控制系统访问权限;测试代理资源管理模块用于管理整个测试系统中的测试机资源,对这些资源进行合理分配利用;动态部署与发布模块用于根据人工测试流程采用消息触动机制,应用文件系统服务将文件缓存服务器上保存的相应程序及脚本分发到测试环境中;测试任务调度管理模块负责自动化测试任务的操作;测试日志管理模块用于管理包括自动化测试任务的实时运行日志、测试报告、历史记录信息;结果回收模块用于实时收集目标系统面对异常的不同反应,并根据所述反映生成异常处理结果;结果分析模块用于分析从测试对象服务器传来的异常处理结果,并计算指标和生成结果报表;结果显示模块用于将结果分析模块发送的结果报表显示在用户界面上,同时保存于数据库中。
所述应用层实现任务代理的流程为:首先向底层的STAF注册一个标志此代理(Agent)进程唯一身份的句柄,记为ATMSHandle;接着以一定的时间间隔不断地监测数据库中的数据变化,获取所有处于“等待执行”状态的任务列表,然后调用类AutoJobExeC_XJM来逐个执行这些任务;在任务控制代理的过程中,监听STAF消息队列,一旦接收到用户发送的停止消息(ATMS_STOP),任务控制代理在退出自身进程前,并通知底层STAF停止正在运行的所有任务,并更新这些任务在数据库中的状态为“已中止”。该种方法相比于直接终止任务控制代理进程的方式更为安全,确保了数据的完整性。
所述的任务控制代理使用多线程的方法来支持多任务并发执行,每一个线程都独立处理一个自动化测试任务的执行过程。为了防止并发的多个任务使用同一台测试代理,在执行任务之前,利用STAF的信号量服务来申请对目标机器的使用权限,在任务结束时再释放该资源,从而确保在执行任务的过程中,目标测试代理不会被其他的任务使用,进而保证一台测试代理在任意时刻最多只为一个自动化测试任务所占用。
所述类AutoJobExeC_XJM封装了执行某个自动化测试任务的所有细节,执行自动化测试任务的具体过程为:
1)根据测试任务编号(jobId)从数据库读取任务信息,所述任务信息包括目标机器、任务XML文件、入口函数、所有参数值,所述参数值是指测试数据;
2)注册一个STAF句柄,若失败,则执行步骤12);
3)申请对目标机器的ATMS_MUTEX访问资源,若失败,则执行步骤11);
4)记录任务开始时刻为tl。
5)向底层STAF的STAXService提交任务,若提交失败,则更改数据库中该任务状态为“执行失败”,然后执行步骤10);
6)更新数据库,更改该任务状态为“正在执行”;
7)向STAF提出等待,直到STAX返回任务结果RC或超过最长等待时间tmax,如果超时,则更新数据状态为“等待超时”,然后执行步骤10);
8)记当前时刻为t2,统计任务执行时间为t=t2-tl;
9)若RC为0,则更改该任务状态为“成功”,否则更改该任务状态为“失败”;
10)释放ATMS_MUTEX资源;
11)注销STAF句柄。
所述异常处理管理服务模块中包括多个异常处理工具和多个构件,每个构件在实现层发送的命令的控制下负责控制一个异常处理工具实现异常处理,每个异常处理工具在实现异常处理之后,将异常处理结果反馈给实现层。
所述多个异常处理模块包括:XJMtrace异常处理工具、基于内核模拟的寄存器异常处理工具、软件实现的内存异常处理工具、基于PAL实现的MCA错误异常处理工具、存储驱动层异常处理工具和文件系统异常处理工具。
异常处理模块是该测试平台的一个核心模块,在整个测试流程中发挥重要的作用,本文采用基于构件的方式开发该模块。异常处理模块由多个构件组成,其中每个构件对应一种异常处理方法,它们以并联的方式与异常处理管理服务连接。当需要增加或删除异常处理方法时,只需增删其中的构件即可。这种方式实现了异常处理平台的灵活组态,同时也减小了各异常处理工具间的耦合度。上述构件均由三部分组成,其开发遵循统一的标准。构件行为描述了构件所能实现的功能,即对应异常处理工具的功能。构件属性代表构件的状态,具体通过ID与描述信息唯一标识各异常处理工具。构件接口是供外部模块使用的方法,具体通过动态链接库的方式提供四个接口函数:初始化、获取工具信息、接收消息及退出运行。异常处理模块由多个构件组成,其中每个构件对应一种异常处理方法,它们以并联的方式与主控模块连接。当需要增加或删除异常处理方法时,只需增删其中的构件即可。这种方式实现了异常处理平台的灵活组态,同时也减小了各模块间的耦合度。
XJMtrace异常处理工具用于通过访问和修改进程内存映像中的寄存器值,实现异常处理;是基于Linux通用的ptrace0系统调用开发而成的。
该异常处理工具运行在用户态,针对应用进程层注入寄存器异常。XJMtrace提供了一种使父进程得以监视和控制子进程的方式,能够访问和修改子进程中的寄存器和内存映像,因而可以实现对进程的断点调试和跟踪等。
如图2所示为异常处理自动化测试的的处理流程示意图:图左侧部分为异常处理实验手动业务流程,首先需要手动构建测试环境:从统一存放异常处理程序及负载发生器程序的服务器上下载最新的安装文件;在测试机上安装测试发生器,向测试服务器施加一定压力的负载;根据异常处理平台的实现原理,分别在待测机及测试机上安装运行异常处理服务引擎及测试监控服务。当环境构建成功后,测试人员通过异常处理平台提供的配置接口,设置异常处理实验测试参数,生成测试用例。异常处理平台执行测试用例,进行异常处理实验。为了获取有意义的测试指标,实验需要重复进行多次。
为了实现异常处理自动化测试,我们对手动流程进行分析,提取出其中一致性的工作。例如,在某测试节点上安装测试程序,这个动作涉及两个变量,一个是文件路径及文件名,一个是测试节点的IP地址,但执行方式是相同的(项目开发中,所有程序默认生成可执行文件,通过安装脚本执行安装工作)。因此,我们可以统一使用程序调用服务,执行时传入不同的数据即可。在这种思想的指导下,我们将手动测试流程中的8个步骤划分为2个集合,应用相关服务,将2个集合对应生成自动化测试系统中的2个模块:动态部署、测试任务控制。此外,增加测试监控模块实时监视异常处理任务的执行情况。
如图3所示为本发明的方法流程图:本发明提供的这种测试方法,包括如下步骤:
S1.确定测试对象,将所有测试对象与所述计算机软件测试异常处理系统连接在同一网络中;
S2.控制与调度服务器从文件缓存服务器上下载配置文件和运行脚本;
S3.根据配置文件,控制与调度服务器将下载的配置文件和运行脚本分发到各个通信计算机组服务器;
S4.控制与调度服务器检查测试对象服务器的运行状态;
S5.控制与调度服务器通过通信计算机组服务器向测试对象服务器施加负载,并对测试对象服务器进行异常处理;
S6.异常处理完成后,测试用例数据库服务器和通信计算机组服务器将收集和存储的异常处理实验结果上传给控制欲调度服务器。

Claims (9)

1.一种计算机软件测试异常处理系统,其特征在于包括控制与调度服务器、通信计算机组服务器、文件缓存服务器、测试用例数据库服务器和测试对象服务器;控制与调度服务器、测试用例数据库服务器、通信计算机组服务器和测试对象服务器通过计算机网络连接在一起,文件缓存服务器与控制与调度服务器连接,通信计算机组服务器与测试对象服务器连接;控制与调度服务器用于管理、控制整个自动化测试流程;通信计算机组服务器用于监听并接收控制与调度服务器发送来的测试任务信息,并执行相应的测试操作,同时反馈测试过程和测试结果给控制与调度服务器;文件缓存服务器用于保存与异常处理自动化测试相关的所有文件和脚本,通过文件系统服务下载到指定的服务器;测试用例数据库服务器用于收集和存储异常处理实验生成的所有结果。
2.根据权利要求1所述的计算机软件测试异常处理系统,其特征在于还包括服务状态监控计算机;服务状态监控计算机与控制与调度服务器连接,用于将控制与调度服务器发送的任务执行进展相关数据显示输出,还用于实时显示测试对象服务器的系统关键性能参数。
3.根据权利要求1所述的计算机软件测试异常处理系统,其特征在于还包括异常处理管理服务器;异常处理管理服务器通过计算机网络与测试异常处理系统连接,用于计算机软件测试异常处理系统的管理人员和运行维护人员对计算机软件测试异常处理系统的运行参数进行编辑和设置。
4.根据权利要求1~3之一所述的计算机软件测试异常处理系统,其特征在于所述的通信计算机组服务器包括两台通信计算机;一台通信计算机作为测试代理服务器作为测试数据发生器,实现根据控制与调度服务器的命令产生负载信息;另一台通信计算机作为测试代理服务器,用于执行向对应的测试对象服务器执行异常处理、观察系统对异常的反应、并结合负载变化分析系统相关性能,并将分析结果上传控制与调度服务器。
5.根据权利要求1~3之一所述的计算机软件测试异常处理系统,其特征在于所述的文件和脚本,包括关键字驱动脚本、数据驱动脚本及混合驱动测试用例脚本、异常处理服务引擎和测试监控日志服务。
6.根据权利要求1~3之一所述的计算机软件测试异常处理系统,其特征在于所述的计算机软件测试异常处理系统采用基于开源的自动化测试框架STAF构建,具体包括应用层、代理层和实现层;应用层为运行在控制与调度服务器的应用程序,利用关系型数据库和文件系统来管理自动化测试过程中的数据和信息,并提供人机界面;代理层为运行在应用层和实现层中间,实现任务代理和负责执行用户从界面中提交的自动化测试任务;实现层运行在自动化测试控制服务器最底层的STAF进程及其提供的包括STAX、文件系统、时钟同步、日志的服务。
7.根据权利要求6所述的计算机软件测试异常处理系统,其特征在于所述的应用层包括视图层、控制器和模型;视图层用于提供人机界面和信息交互;控制器负责分析用户请求并调用模型处理、用于实现模型与视图层之间的数据交互、提供人机交互界面需要显示的事件并响应给视图层,还负责数据的组织,然后交由模型中的STAF文件服务传输或者交由测试用例数据库存储;模型封装了各类业务逻辑,用于在控制器的调用下实现相应的逻辑动作和处理。
8.根据权利要求7所述的计算机软件测试异常处理系统,其特征在于所述的模型包括测试策略生成管理模块、用户管理模块、测试代理资源管理模块、动态部署与发布模块、测试任务调度管理模块、测试日志管理模块、结果回收模块、结果分析模块和结果显示模块;测试策略生成管理模块用于接收测试参数或测试参数文件,并根据所述测试参数或测试参数文件生成命令控制字;用户管理模块用于管理系统用户信息,并控制系统访问权限;测试代理资源管理模块用于管理整个测试系统中的测试机资源,对这些资源进行合理分配利用;动态部署与发布模块用于根据人工测试流程采用消息触动机制,应用文件系统服务将文件缓存服务器上保存的相应程序及脚本分发到测试环境中;测试任务调度管理模块负责自动化测试任务的操作;测试日志管理模块用于管理包括自动化测试任务的实时运行日志、测试报告、历史记录信息;结果回收模块用于实时收集目标系统面对异常的不同反应,并根据所述反映生成异常处理结果;结果分析模块用于分析从测试对象服务器传来的异常处理结果,并计算指标和生成结果报表;结果显示模块用于将结果分析模块发送的结果报表显示在用户界面上,同时保存于数据库中。
9.一种权利要求1~8之一所述的计算机软件测试异常处理系统的测试方法,包括如下步骤:
S1.确定测试对象,将所有测试对象与所述计算机软件测试异常处理系统连接在同一网络中;
S2.控制与调度服务器从文件缓存服务器上下载配置文件和运行脚本;
S3.根据配置文件,控制与调度服务器将下载的配置文件和运行脚本分发到各个通信计算机组服务器;
S4.控制与调度服务器检查测试对象服务器的运行状态;
S5.控制与调度服务器通过通信计算机组服务器向测试对象服务器施加负载,并对测试对象服务器进行异常处理;
S6.异常处理完成后,测试用例数据库服务器和通信计算机组服务器将收集和存储的异常处理实验结果上传给控制与调度服务器。
CN201610033549.XA 2016-01-19 2016-01-19 计算机软件测试异常处理系统及测试方法 Pending CN105718369A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610033549.XA CN105718369A (zh) 2016-01-19 2016-01-19 计算机软件测试异常处理系统及测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610033549.XA CN105718369A (zh) 2016-01-19 2016-01-19 计算机软件测试异常处理系统及测试方法

Publications (1)

Publication Number Publication Date
CN105718369A true CN105718369A (zh) 2016-06-29

Family

ID=56147910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610033549.XA Pending CN105718369A (zh) 2016-01-19 2016-01-19 计算机软件测试异常处理系统及测试方法

Country Status (1)

Country Link
CN (1) CN105718369A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106443242A (zh) * 2016-08-30 2017-02-22 江苏浩峰汽车附件有限公司 一种用于汽车电子产品的自动测试系统架构及测试方法
CN107368419A (zh) * 2017-07-27 2017-11-21 千寻位置网络有限公司 分布式环境下的自动测试方法及系统、服务终端、存储器
CN108268365A (zh) * 2016-12-30 2018-07-10 腾讯科技(深圳)有限公司 异常任务注入方法、装置和系统
CN109254905A (zh) * 2017-07-13 2019-01-22 北京航空航天大学 基于工作流的分布式并行自动化测试系统
CN109359025A (zh) * 2018-08-14 2019-02-19 中国电子科技集团公司第二十九研究所 一种电子信息装备自动测试系统及测试方法
CN109597760A (zh) * 2018-11-29 2019-04-09 中国银行股份有限公司 一种用于测试的异常场景的部署方法及装置
CN109669867A (zh) * 2018-12-11 2019-04-23 平安科技(深圳)有限公司 测试装置、自动化测试方法和计算机可读存储介质
CN110083443A (zh) * 2019-03-18 2019-08-02 平安普惠企业管理有限公司 一种系统测试异常通知方法及系统
CN110213117A (zh) * 2018-02-28 2019-09-06 贵州白山云科技股份有限公司 一种业务测试方法及装置
CN110262967A (zh) * 2019-06-05 2019-09-20 微梦创科网络科技(中国)有限公司 一种应用于自动化测试的日志输出方法与装置
CN110474822A (zh) * 2019-08-08 2019-11-19 腾讯科技(深圳)有限公司 一种区块链节点检测方法、装置、设备及介质
CN112506729A (zh) * 2019-09-16 2021-03-16 腾讯科技(深圳)有限公司 一种故障模拟方法及装置
CN112597000A (zh) * 2020-12-09 2021-04-02 山东浪潮通软信息科技有限公司 一种基于WebScoket协议的即时通讯软件自动化测试方法
CN112650681A (zh) * 2020-12-28 2021-04-13 广州品唯软件有限公司 自动化测试方法、装置、电子设备及可读存储介质
CN112925721A (zh) * 2021-03-29 2021-06-08 建信金融科技有限责任公司 一种分布式系统的测试方法及装置
CN113094266A (zh) * 2021-04-06 2021-07-09 中国工商银行股份有限公司 一种容器数据库的故障测试方法、平台及设备
CN113254339A (zh) * 2021-05-27 2021-08-13 山东华芯半导体有限公司 一种nand驱动程序测试系统及方法
CN113760720A (zh) * 2021-01-07 2021-12-07 北京沃东天骏信息技术有限公司 一种代码的异常信息展示方法和装置
CN114338486A (zh) * 2020-09-30 2022-04-12 中国移动通信有限公司研究院 网络服务的测试部署方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010012986A1 (en) * 2000-02-04 2001-08-09 Conan Chan Ming Yam Terence Automated testing of computer system components
CN101252471A (zh) * 2008-03-20 2008-08-27 中兴通讯股份有限公司 一种分布式自动化测试系统及其方法
CN102354298A (zh) * 2011-07-27 2012-02-15 哈尔滨工业大学 基于staf的高端容错机故障注入自动化测试平台及方法
CN105183644A (zh) * 2015-08-20 2015-12-23 上海斐讯数据通信技术有限公司 一种多任务集成自动化测试系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010012986A1 (en) * 2000-02-04 2001-08-09 Conan Chan Ming Yam Terence Automated testing of computer system components
CN101252471A (zh) * 2008-03-20 2008-08-27 中兴通讯股份有限公司 一种分布式自动化测试系统及其方法
CN102354298A (zh) * 2011-07-27 2012-02-15 哈尔滨工业大学 基于staf的高端容错机故障注入自动化测试平台及方法
CN105183644A (zh) * 2015-08-20 2015-12-23 上海斐讯数据通信技术有限公司 一种多任务集成自动化测试系统及方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106443242A (zh) * 2016-08-30 2017-02-22 江苏浩峰汽车附件有限公司 一种用于汽车电子产品的自动测试系统架构及测试方法
CN108268365A (zh) * 2016-12-30 2018-07-10 腾讯科技(深圳)有限公司 异常任务注入方法、装置和系统
CN109254905A (zh) * 2017-07-13 2019-01-22 北京航空航天大学 基于工作流的分布式并行自动化测试系统
CN109254905B (zh) * 2017-07-13 2022-01-28 北京航空航天大学 基于工作流的分布式并行自动化测试系统
CN107368419A (zh) * 2017-07-27 2017-11-21 千寻位置网络有限公司 分布式环境下的自动测试方法及系统、服务终端、存储器
CN110213117A (zh) * 2018-02-28 2019-09-06 贵州白山云科技股份有限公司 一种业务测试方法及装置
CN109359025A (zh) * 2018-08-14 2019-02-19 中国电子科技集团公司第二十九研究所 一种电子信息装备自动测试系统及测试方法
CN109597760A (zh) * 2018-11-29 2019-04-09 中国银行股份有限公司 一种用于测试的异常场景的部署方法及装置
CN109669867A (zh) * 2018-12-11 2019-04-23 平安科技(深圳)有限公司 测试装置、自动化测试方法和计算机可读存储介质
CN109669867B (zh) * 2018-12-11 2024-03-12 平安科技(深圳)有限公司 测试装置、自动化测试方法和计算机可读存储介质
CN110083443A (zh) * 2019-03-18 2019-08-02 平安普惠企业管理有限公司 一种系统测试异常通知方法及系统
CN110262967A (zh) * 2019-06-05 2019-09-20 微梦创科网络科技(中国)有限公司 一种应用于自动化测试的日志输出方法与装置
CN110474822A (zh) * 2019-08-08 2019-11-19 腾讯科技(深圳)有限公司 一种区块链节点检测方法、装置、设备及介质
CN112506729A (zh) * 2019-09-16 2021-03-16 腾讯科技(深圳)有限公司 一种故障模拟方法及装置
CN112506729B (zh) * 2019-09-16 2024-05-10 腾讯科技(深圳)有限公司 一种故障模拟方法及装置
CN114338486A (zh) * 2020-09-30 2022-04-12 中国移动通信有限公司研究院 网络服务的测试部署方法、装置、设备及可读存储介质
CN112597000A (zh) * 2020-12-09 2021-04-02 山东浪潮通软信息科技有限公司 一种基于WebScoket协议的即时通讯软件自动化测试方法
CN112597000B (zh) * 2020-12-09 2023-10-03 浪潮通用软件有限公司 一种基于WebScoket协议的即时通讯软件自动化测试方法
CN112650681A (zh) * 2020-12-28 2021-04-13 广州品唯软件有限公司 自动化测试方法、装置、电子设备及可读存储介质
CN113760720A (zh) * 2021-01-07 2021-12-07 北京沃东天骏信息技术有限公司 一种代码的异常信息展示方法和装置
CN112925721A (zh) * 2021-03-29 2021-06-08 建信金融科技有限责任公司 一种分布式系统的测试方法及装置
CN113094266A (zh) * 2021-04-06 2021-07-09 中国工商银行股份有限公司 一种容器数据库的故障测试方法、平台及设备
CN113254339A (zh) * 2021-05-27 2021-08-13 山东华芯半导体有限公司 一种nand驱动程序测试系统及方法
CN113254339B (zh) * 2021-05-27 2024-02-02 山东华芯半导体有限公司 一种nand驱动程序测试系统及方法

Similar Documents

Publication Publication Date Title
CN105718369A (zh) 计算机软件测试异常处理系统及测试方法
US10430319B1 (en) Systems and methods for automatic software testing
Xu et al. POD-Diagnosis: Error diagnosis of sporadic operations on cloud applications
CN102354298A (zh) 基于staf的高端容错机故障注入自动化测试平台及方法
CN108334447A (zh) 一种测试处理计算机软件异常的系统及方法
Sebastio et al. An availability analysis approach for deployment configurations of containers
US7512933B1 (en) Method and system for associating logs and traces to test cases
US10422828B2 (en) Method and system for utilizing stand-alone controller in multiplexed handler test cell for indexless tandem semiconductor test
CN109634843A (zh) 一种面向ai芯片平台的分布式自动化软件测试方法及平台
US20060129892A1 (en) Scenario based stress testing
US20090248390A1 (en) Trace debugging in a hardware emulation environment
CN103235756A (zh) 一种面向嵌入式系统分区应用程序软件的仿真测试方法
Vierhauser et al. Developing a dsl-based approach for event-based monitoring of systems of systems: Experiences and lessons learned (e)
US20170123873A1 (en) Computing hardware health check
CN109753430A (zh) 一种地面数据处理系统的接口测试方法
US7873498B2 (en) Remote hardware inspection system and method
El Yamany et al. A multi-agent framework for testing distributed systems
Yim Norming to performing: Failure analysis and deployment automation of big data software developed by highly iterative models
US9354962B1 (en) Memory dump file collection and analysis using analysis server and cloud knowledge base
Malik et al. CHESS: A Framework for Evaluation of Self-adaptive Systems based on Chaos Engineering
Soldani et al. What went wrong? Explaining cascading failures in microservice-based applications
Silva et al. The Effects of Computational Resources on Flaky Tests
CN113535560A (zh) 测试执行方法、装置、存储介质和计算设备
Daniel et al. Workflow engine performance evaluation by a black-box approach
Admanski et al. Autotest-testing the untestable

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160629

WD01 Invention patent application deemed withdrawn after publication