CN103019921B - 一种基于故障注入的操作系统容错性测试系统及其方法 - Google Patents

Abstract

本发明提出一种基于故障注入的操作系统容错性测试系统及其方法。该测试系统及方法主要包括数据处理机，集成故障注入平台，基准测试运行控制器、拦截器、监视器以及安装有被测操作系统和数据库的目标机。该测试系统及方法在有故障的情况下，能够提供分类的、可重用的、全面的方式综合检查和度量操作系统的行为，测试目的明确，测试流程清晰、全面，设计的故障类型覆盖模拟硬件故障、操作系统故障和系统组件故障三个类别，能够在有故障存在的情况下找到系统的弱点，指出系统需要调整和改善以加强容错性的方面，甚至用于调整系统的结构以达到合适的容错水平。

Description

一种基于故障注入的操作系统容错性测试系统及其方法

技术领域

本发明涉及计算机工程和测试系统，具体讲涉及一种基于故障注入的操作系统容错性测试系统及其方法。

背景技术

故障注入(Fault Injection)技术为一种非传统的软件测试技术，是指按照特定的故障模型，用人为的、有意识的方式产生故障，并施加特定故障于待测系统中，以加速该系统故障和失效的发生。故障注入技术最早应用于20世纪70年代的硬件测试，后来基于诸如硬件技术、软件技术、模拟技术和离子辐射技术得到了进一步发展。软件故障注入测试(SoftwareFault Injection Testing，简称SFIT)是指采用软件的方法对软件系统进行测试的技术，最早始于1978年DeMillo提出的程序变异测试。SFIT可以提高软件质量，评估软件等级。在一些高可靠性软件及安全关键软件等领域也广泛应用，如航空、航天软件的测试等。

现有的软件故障注入方法主要有：

(1)程序变异程序变异是一种基于源代码的SFIT测试常用方法。主要有代码变异和数据状态变异两类，其中代码变异是直接修改源代码，从而改变程序执行状态；数据变异是指程序运行时修改程序的内部状态，如内存、全局变量及时间等。

(2)软件陷阱故障注入指令可以放置在目标程序的任何地方，当程序运行到设置的trace bit时，程序被切换到故障注入进程，这时由故障注入进程执行系统调用完成故障注入。典型的实现工具是FERRARI。

(3)封装测试法增加适当的故障注入机制于被测试对象并封装成一个封装对象，然后对该封装对象进行故障注入.主要用在COTS软件的测试上.例如，FST(Fault SimulationTool)工具，把DLL组件封装并用伪DLL进行替换实施故障注入。用来评估Windows NT系统的鲁棒性。

(4)增加扰动函数法。通过扰动函数强制修改变量的内部状态实施故障注入.扰动函数通常用于源代码中，为了不被侵扰通常被编译成字节码或独立的程序体。如flipBit函数，倒置二进制位，即使指定位从0到1或从1到0，也可用于数据变异测试。

(5)接口变异测试。修改组件接口层语法单元实施故障注入，如修改函数调用、调用顺序、返回值、参数及共享变量等。

基准测试主要是模拟一个真实的场景制定测试程序的标准规范，对计算机系统进行综合性能评估，目前以1988年创建的TPC组织制定的一系列性能基准测试规范应用最为广泛。

现有的主要性能测试基准有：

(1)基准程序TPC-C，用于测试联机事务处理(OLTP)的性能，最新的规范版本是5.10。测试过程模拟一个真实的货物管理环境，批发公司有N个仓库，每个仓库供应M个地区，在每个地区为上千名客户提供服务。在测试启动后，N×M个终端操作员向数据库发出新订单(New-Order)、付款(Payment)、订单状态(Order-Status)、库存级别(Stock-Level)、发货(Delivery)等类事物请求，而性能指标tpmC则代表事务在满足响应时间要求的前提下，每分钟系统处理新订单(New-Order)的数目。

(2)TPC-W是TPC委员会2000年发布的一个电子商务应用基准。该基准通过构造一个网上定购书籍系统的网络交互事务数，对不同的数据库系统在电子商务应用方面进行客观的评价。TPC-W模拟一个网上书店，通过执行一系列具有代表性的WEB事务来模拟典型的电子商务环境。其功能包括书籍的浏览、查询、定购等。TPC-W基准是测试DBMS在多种事务并发时所产生的WEB交互次数。

(3)TPC-H主要目的是评价特定查询的决策支持能力，强调服务器在数据挖掘、分析处理方面的能力。TPC-H测试模型为数据库服务器连续7×24小时工作，只有1次/月的维护；执行多用户并发执行复杂的动态查询，同时有并发执行表修改操作。测试中，测量的基础数据都与执行时间有关，这些时间又可分为：装载数据的每一步操作时间、每个查询执行时间和每个更新操作执行时间。

目前操作系统容错性测试，主要是依靠测试人员的经验寻找可能出错的功能项，自主设计故障进行容错性测试，现有的测试方法随意性大，对测试人员的素质依赖性高，发现的问题不全面。

现有的操作系统容错测试技术主要侧重于对操作系统某些故障的检查，国际上通用的测试基准如TPC基准主要针对计算机系统也是在某个场景下的综合性能进行度量，并未考虑计算机系统出现故障的情况下系统行为的稳定性。

现有的健壮性工具基本都是实现某一个方面的测试，其体系结构不兼容，不能构造集成测试环境。

发明内容

为了克服现有技术的上述缺陷，本发明提出了一种基于故障注入的操作系统容错性测试系统，该系统建立操作系统容错基准，规定操作系统容错度量元、度量规则、工作负载、故障负载等，根据容错基准中包含的故障类型研究相应的软件故障注入方法，建立操作系统基准测试程序运行、控制和数据处理的测试框架，为用户提供一个可扩展、可重用的操作系统容错性测试环境。

为了实现上述目的，本发明是通过如下技术方案实现的：

一种基于故障注入的操作系统容错性测试系统，该测试系统包括：

数据处理机，用于处理目标机上工作负载的客户请求并将该请求发送至集成故障注入平台；

集成故障注入平台，用于根据客户请求向目标机的被测操作系统中注入故障，并检查被激活的系统调用是否属于破坏参数的系统调用；

基准测试运行控制器，用于当客户请求不能完成时，对被测操作系统进行诊断和收集数据；

拦截器，用于记录工作负载的开始时刻，对激活的系统调用和它们在测试中的反应结果进行追踪，并记录下所追踪的反应结果在下一次测试开始时发送给基准测试运行控制器；

监视器，用于监控工作负载的执行；和

目标机，其中安装有被测操作系统和数据库，通过该目标机来记录每次测试的开始、结束时刻，并通过外网告知基准测试运行控制器开始、结束本次测试；

该测试系统位于C/S环境中，所述数据处理机、集成故障注入平台、基准测试运行控制器、拦截器和监视器均位于客户端，所述目标机位于服务器端。

其中，使用TPC-C或TPC-E作为目标机上的工作负载，所述数据处理机上安装有数据库管理系统来处理TPC-C或TPC-E的客户请求。

其中，所述集成故障注入平台包括：

主控模块，用于根据客户请求从故障集中选取待注入的故障，生成相应的故障注入方案，并通过网络将故障传至目标机；

故障注入工具集，包括各故障注入工具，用于根据主控模块发送的故障注入方案选择相应的故障注入模块完成故障注入；和

结果回收模块，用于收集故障注入结果，并通过网络返回给主控模块，并转存至目标机的数据库中。

其中，所述故障注入工具集包括基于CPU调试功能故障注入工具、利用异常参数故障注入工具、利用HOOK系统函数故障注入工具以及利用操作系统调试接口故障注入工具。

本发明的另一目的在于提出一种基于故障注入的操作系统容错性测试方法，包括：

A)测试开始时，通过目标机记录测试开始时刻tExpStart，并将该开始时刻值发送至基准测试运行控制器通知测试开始；

B)根据客户请求来执行目标机上的工作负载，拦截器记录工作负载的开始时刻tWStart，系统调用被激活；

C)通过集成故障注入平台对系统调用进行拦截并检查是否属于破坏参数的系统调用，如果不是，则恢复执行系统调用并将故障注入被测操作系统；否则，系统调用被拦截并中断，待参数值被替换后再恢复执行并将故障注入被测操作系统；当完成工作负载时，执行步骤D，当无法完成工作负载时，执行步骤E；

D)通过目标机发送信号通知基准测试运行控制器测试结束，并将该结束时刻tExpEnd发送至基准测试运行控制器；

E)设定本测试系统的最大延迟时间，如果到最大延迟时间结束时，基准测试运行控制器还没有接到来自目标机的结束信号，则最大延迟时间结束时刻即为该测试的结束时刻tExpEnd，通过目标机发送信号通知基准测试运行控制器测试结束，并将该结束时刻tExpEnd发送至基准测试运行控制器；

F)重启目标机后，进行下一次测试。

其中，所述步骤B中，当系统调用被激活时，对系统调用及其在测试中的反应结果进行全程追踪，并记录下追踪的结果在下一次测试开始时发送给基准测试运行控制器。

其中，每一次工作负载运行时，均需计算被测操作系统的反应时间，具体步骤为：所述步骤C中，当恢复执行系统调用时，通过拦截器在对系统调用进行追踪并记录系统调用的恢复时刻tResume和反应时刻tResponse，两者的差值即为被测操作系统的反应时间。

其中，所述步骤C中，将故障注入被测操作系统的具体步骤为：

C-1)主控模块根据客户请求从故障集中选取待注入的故障，生成相应的故障注入方案，并通过网络将故障传至目标机；

C-2)根据主控模块发送的故障注入方案，选择故障注入工具集中相应的故障注入工具完成向被测操作系统的故障注入；

C-3)通过结果回收模块收集故障注入结果，将该结果通过网络返回给主控模块，并转存至目标机的数据库中。

其中，当测试开始后，通过基准测试运行控制器实时收集目标机的挂起状态SHg以及工作负载的挂起状态WHg和中断状态Wab，一旦发现目标机和工作负载出现上述状态之一，则控制目标机重启后开始下一次测试。

与现有技术相比，本发明的有益效果在于：

1.在有故障的情况下，能够提供分类的、可重用的、全面的方式综合检查和度量操作系统的行为。该测试框架按照基准定义制定测试流程，在计算机厂商和用户均认可的技术协议中规定了基准要检查的系统、度量元、获取度量结果的方式和条件以及它们的有效域等，测试目的明确，测试流程清晰、全面，设计的故障类型覆盖模拟硬件故障、操作系统故障和系统组件故障三个类别，能够在有故障存在的情况下找到系统的弱点，指出系统需要调整和改善以加强容错性的方面，甚至用于调整系统的结构以达到合适的容错水平。

2.多层次的故障注入要求需要在一个集成故障注入平台上综合运用多种故障注入手段针对不同故障类别加以实现。所以我们在对国外各种经典软件故障注入工具和健壮性测试工具的研究基础上，设计了集成故障注入平台，可以实现多层次的软件故障注入环境，故障注入环境采用松耦合的集成方式，可定制、可扩充、灵活性好。

附图说明

图1是本发明的操作系统容错性测试系统的结构原理示意图；

图2a和图2b是工作负载完成和工作负载没有完成时的执行步骤图；

图3是集成故障注入平台的结构原理示意图；

图4是故障注入的流程示意图。

具体实施方式

下面结合附图对本发明的基于故障注入的操作系统容错性测试系统及其方法作进一步详细的说明。

在本发明的操作系统容错基准开展的测试框架中，我们建立了如下环境：1)安装被测操作系统和运行工作负载的目标机(Target Machine，简称TM)；2)基准测试运行控制器(Benchmark Controller，简称BC)，主要负责在系统挂起或异常中断时诊断和收集数据；3)数据处理机，因为使用TPC-C/TPC-E作为TM上的工作负载，所以需要数据库管理系统(DBMS)来处理TPC-C/TPC-E客户的请求，数据处理机即安装了Oracle DBMS来实现这个功能，TM和BC通过外网连接。

图1描述了本发明的测试系统中包含的不同部件，主要包括：

数据处理机，用于处理目标机上工作负载的客户请求并将该请求发送至集成故障注入平台；

集成故障注入平台，用于根据客户请求向目标机的被测操作系统中注入故障，并检查被激活的系统调用是否属于破坏参数的系统调用；

基准测试运行控制器，用于当客户请求不能完成时，对被测操作系统进行诊断和收集数据；

拦截器，用于记录工作负载的开始时刻，对激活的系统调用和它们在测试中的反应结果进行追踪，并记录下所追踪的反应结果在下一次测试开始时发送给基准测试运行控制器；

监视器，用于监控工作负载的执行；和

目标机，其中安装有被测操作系统和数据库，通过该目标机来记录每次测试的开始、结束时刻，并通过外网告知基准测试运行控制器开始、结束本次测试；

该测试系统位于C/S环境中，所述数据处理机、集成故障注入平台、基准测试运行控制器、拦截器和监视器均位于客户端，所述目标机位于服务器端。

本例中以操作系统测试中注入API接口故障为例，在容错基准测试实验的开始，目标机记录实验开始时刻tExpStart，并将该时刻值发送给BC同时通知实验开始。然后工作负载开始执行，拦截器记录工作负载的开始时刻tWStart，对激活的系统调用和它们在实验中的反应结果进行追踪，追踪过程中收集SEr、SXp、SNS状态的相关数据，被记录下的追踪结果在下一次实验开始时发送给BC。集成故障注入平台负责检查当前系统调用是否是要破坏参数的系统调用，如果不是，就简单地恢复执行；否则，执行被中断，参数值被替换后恢复执行系统调用。在TPC-C客户程序执行结束的时候，目标机发送信号通知BC实验结束，同时将结束时刻tExpEnd发送给BC。当工作负载不能完成时(例如挂起)，tExpEnd就由监视器的最大时间值替换，监视器监控工作负载的执行。图2的2a和2b分别显示了工作负载完成和工作负载中断/挂起时执行步骤。

以API接口故障为例，每一个实验都会进行下列步骤：

系统调用被拦截并中断；

参数值被替换；

被拦截的系统调用恢复执行，恢复时刻tResume在实验追踪中被保存；

操作系统的状态被监控并诊断出可能的输出【可能输出的状态包括：Ser(操作系统生成错误代码并发送给应用程序)、SXp(操作系统发送一个异常)、SNS(即在没有信号的状态下，操作系统不能探测到错误参数的存在，执行错误的系统调用并可能导致异常终止、挂起或应用程序做出非预期的反应)】，对应的操作系统反应时间tResponse在实验追踪中被保存；

系统重启。

对于每一次工作负载运行，操作系统反应时间(即tResume和tResponse之间的差值)都会被计算。

BC也注重收集目标机的SHg(即挂起状态，操作系统需要硬启动)状态以及工作负载的WHg(工作负载的挂起状态)和WAb(工作负载的中断状态)状态，一旦发现目标机和工作负载出现上述状态，就会控制重启目标机。当前我们要求的最大延迟为5分钟(从BC收到工作负载执行开始的信号到工作负载预期执行结束之间的时间)。如果到延迟时间结束，BC还没有接到来自操作系统的结束信号，那么BC就会尝试连接操作系统。如果连接成功，工作负载中断/挂起的状态就会被诊断到，否则就可假定系统处于SHg状态。这样，tExpEnd被指定为工作负载完成时刻，或者是监视器设置的定时触发时刻。而在工作负载完成的情况下，工作负载计算时间在图2a中定义，重启时间也在图2中有相应的定义。

多层次的故障注入需要在一个故障注入集成平台上综合运用多种故障注入手段针对不同故障类别加以实现。在不同层次进行故障注入以及结果监控收集需要不同的故障注入器和结果监控器，故障集、故障触发、注入策略都不尽相同，需要设计集成故障注入平台，用以实现集成的软件故障注入环境。如图3所示，集成故障注入平台包括主控端、故障注入工具集以及结果回收工具。

所述主控端通过图形化界面从故障集中选取待注入故障及相关参数，生成故障注入方案，并能够通过网络模块将故障信息传递到目标系统端；目标系统运行状态和故障注入结果可以在主控端得到实时显示。

所述故障注入工具集包含多种故障注入工具，流程控制模块根据主控端发送的故障注入方案选择合适的故障注入工具完成故障注入；所述故障注入工具主要包括：

(1)基于CPU调试功能故障注入工具负责注入模拟硬件故障，采用DBench项目划分故障等价类，通过CPU调试功能和操作系统调试接口(ptrace)向系统注入等价故障；

(2)利用异常参数故障注入工具注入操作系统故障，采用基于异常参数的全自动化方法，向接口注入合法/边界/非法参数组合；

(3)利用HOOK系统函数故障注入工具注入系统组件故障，对Hook目标系统中组件关键函数，注入相应故障；

(4)利用Ptrace故障注入工具注入进程类故障，通过操作系统调试接口(ptrace)跟踪进程并向进程关键数据结构注入故障。

所述结果回收工具收集故障注入结果以及其他必要的系统信息，通过网络模块返回主控端，并转存至数据库中。

实施例

模式一：如图4所示，针对Windows XP操作系统的应用API接口参数，采用参数替换技术注入故障，当注入参数替换故障时，如果参数类型是非指针，将生成的异常参数直接写入相应寄存器；如果参数类型是指针型，则将该指针地址写入相应寄存器，并将指针指向的数据区拷贝至应用程序进程：

主要数据类型可替换参数如下表所示：

模式二：当注入位翻转故障时，使用ptrace系统调用读取系统调用参数值，对该参数值进行指定方式指定位数的位翻转，再将翻转后的值写回相应的寄存器，如001100，可以位翻转位110011。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1. 一种基于故障注入的操作系统容错性测试系统，其特征在于，该测试系统包括：

数据处理机，用于处理目标机上工作负载的客户请求并将该请求发送至集成故障注入平台；

集成故障注入平台，用于根据客户请求向目标机的被测操作系统中注入故障，并检查被激活的系统调用是否属于破坏参数的系统调用；

基准测试运行控制器，用于当客户请求不能完成时，对被测操作系统进行诊断和收集数据；

拦截器，用于记录工作负载的开始时刻，对激活的系统调用和它们在测试中的反应结果进行追踪，并记录下所追踪的反应结果在下一次测试开始时发送给基准测试运行控制器；

监视器，用于监控工作负载的执行；和

目标机，其中安装有被测操作系统和数据库，通过该目标机来记录每次测试的开始、结束时刻，并通过外网告知基准测试运行控制器开始、结束本次测试；

该测试系统位于C/S环境中，所述数据处理机、集成故障注入平台、基准测试运行控制器、拦截器和监视器均位于客户端，所述目标机位于服务器端；

所述集成故障注入平台包括：

主控模块，用于根据客户请求从故障集中选取待注入的故障，生成相应的故障注入方案，并通过网络将故障传至目标机；

故障注入工具集，包括各故障注入工具，用于根据主控模块发送的故障注入方案选择相应的故障注入模块完成故障注入；和

结果回收模块，用于收集故障注入结果，并通过网络返回给主控模块，并转存至目标机的数据库中。

2. 如权利要求1所述的测试系统，其特征在于：使用TPC-C或TPC-E作为目标机上的工作负载，所述数据处理机上安装有数据库管理系统来处理TPC-C或TPC-E的客户请求。

3. 如权利要求1所述的测试系统，其特征在于：所述故障注入工具集包括基于CPU调试功能故障注入工具、利用异常参数故障注入工具、利用HOOK系统函数故障注入工具以及利用操作系统调试接口故障注入工具。

4. 一种基于故障注入的操作系统容错性测试方法，其特征在于包括：

A）测试开始时，通过目标机记录测试开始时刻tExpStart，并将该开始时刻值发送至基准测试运行控制器通知测试开始；

B）根据客户请求来执行目标机上的工作负载，拦截器记录工作负载的开始时刻tWStart，系统调用被激活；

C）通过集成故障注入平台对系统调用进行拦截并检查是否属于破坏参数的系统调用，如果不是，则恢复执行系统调用并将故障注入被测操作系统；否则，系统调用被拦截并中断，待参数值被替换后再恢复执行并将故障注入被测操作系统；当完成工作负载时，执行步骤D，当无法完成工作负载时，执行步骤E；

D）通过目标机发送信号通知基准测试运行控制器测试结束，并将该结束时刻tExpEnd发送至基准测试运行控制器；

E）设定本测试系统的最大延迟时间，如果到最大延迟时间结束时，基准测试运行控制器还没有接到来自目标机的结束信号，则最大延迟时间结束时刻即为该测试的结束时刻tExpEnd，通过目标机发送信号通知基准测试运行控制器测试结束，并将该结束时刻tExpEnd发送至基准测试运行控制器；

F）重启目标机后，进行下一次测试；

所述步骤C中，将故障注入被测操作系统的具体步骤为：

C-1）主控模块根据客户请求从故障集中选取待注入的故障，生成相应的故障注入方案，并通过网络将故障传至目标机；

C-2）根据主控模块发送的故障注入方案，选择故障注入工具集中相应的故障注入工具完成向被测操作系统的故障注入；

C-3）通过结果回收模块收集故障注入结果，将该结果通过网络返回给主控模块，并转存至目标机的数据库中。

5. 如权利要求4所述的测试方法，其特征在于：所述步骤B中，当系统调用被激活时，对系统调用及其在测试中的反应结果进行全程追踪，并记录下追踪的结果在下一次测试开始时发送给基准测试运行控制器。

6. 如权利要求4所述的测试方法，其特征在于：每一次工作负载运行时，均需计算被测操作系统的反应时间，具体步骤为：所述步骤C中，当恢复执行系统调用时，通过拦截器在对系统调用进行追踪并记录系统调用的恢复时刻tResume和反应时刻tResponse，两者的差值即为被测操作系统的反应时间。

7. 如权利要求4所述的测试方法，其特征在于：当测试开始后，通过基准测试运行控制器实时收集目标机的挂起状态SHg以及工作负载的挂起状态WHg和中断状态Wab，一旦发现目标机和工作负载出现上述状态之一，则控制目标机重启后开始下一次测试。