CN101571829B - 一种实时嵌入式软件自动化闭环测试方法 - Google Patents

Abstract

本发明涉及一种实时嵌入式软件自动化闭环测试的方法。该方法是利用基于通用编程语言实时扩展的实时嵌入式软件测试描述语言的灵活特性，及其执行引擎的可嵌入性、移植性和实时运行特性，可完成实时测试运行过程中测试人员与被测系统的实时反馈处理，实现实时嵌入式软件的自动化闭环测试。该方法需要将测试执行引擎嵌入到测试平台中，并将系统的测试驱动模块与测试执行引擎本身相整合，使得测试描述的执行能够驱动测试的自动化实时运行。

Description

一种实时嵌入式软件自动化闭环测试方法

技术领域

本方法属于实时嵌入式软件自动化测试领域、测试描述语言领域。

背景技术

随着科学技术的发展，实时嵌入式软件在航空航天、兵器、船舶、汽车、医疗设备、电力、通讯等重要领域中得到越来越多的应用，实现越来越重要的功能。而软件作为人类的逻辑产物，必然存在设计开发缺陷。据统计，在实时嵌入式设备中，由于软件引发的故障占整个故障的70-80％，而随之引发的事故更造成了巨大的损失，如：欧空局阿里亚娜4火箭的失事，北美大停电，以及美国火星探测器“勇气号”发生的软件故障等。因此，如何提高实时嵌入式软件的可靠性成为了迫切需要解决的问题。

实时嵌入式软件与硬件关系的非常密切，通常有着很高的实时性要求，这就使常规的测试手段无法满足嵌入式软件测试的要求，自动化测试能够保证实时嵌入式软件测试的高效、时序稳定、可靠，已经成为实时嵌入式软件测试领域研究的热点。虽然软件测试自动化技术已经有多年发展且取得了众多研究成果，但针对实时嵌入式软件的自动化闭环测试方法并不多见。

目前，国内外众多实时嵌入式测试主要的测试手段是手工测试或基于测试脚本驱动的测试方式，测试平台的硬件体系结构有集中式和分布式两种。要实现实时嵌入式软件自动化闭环测试需要测试描述语言具备完备的描述能力(能够支持测试过程中与被测系统的实时反馈处理机制)，另外在硬件和软件的实时性方面也必须满足被测系统的实时性要求。因此为了达到上述目的，必须从解决如下几个方面的问题：

1)自动化测试是基于编程的测试，因此通用的、完备的、具有良好操作性和可扩展性的测试描述语言是必须要解决的问题之一。

2)实时嵌入式软件的测试必然要求测试平台在硬件和软件方面满足实时性要求，因此在测试测试执行系统硬件(如CPU和实时操作系统的选择等)和软件(如测试描述语言执行系统的涉及和任务调度算法的选择等)构建方面考虑实时性电是必须要解决的问题之一。

发明内容

本发明提供了一种一种实时嵌入式软件自动化闭环测试方法，该方法包括以下步骤：

1)在测试开始前，由测试开发系统的上位机加载已根据被测系统文档生成的测试要求；

2)根据所述测试要求，生成针对被测系统的测试配置；

3)生成测试用例，其中包括每次测试的时间特性、输入、输出、测试过程中的反馈及测试通过条件，然后采用测试描述语言将所述测试用例进行转换，生成测试程序；对生成的所述测试程序进行语法检查，并将通过语法检查的测试程序从测试开发系统的上位机下载到下位机；

4)在测试程序下载到下位机后，在下位机上启动任务调度过程完成测试任务并在测试任务执行完毕及测试结束后回收资源；

5)在下位机上启动测试执行引擎，所述引擎在测试启动前，完成测试程序的预处理功能，形成各测试任务的指令序列，在测试启动后，对已形成的测试指令序列进行实时处理，为驱动测试运行提供保障；

6)将执行引擎实时处理的输入数据通过真实的I/O接口由下位机发送到被测实时嵌入式系统，并实时接收被测系统的输出数据，驱动测试运行；

7)所述被测实时嵌入式系统接收下位机产生的测试激励，实时运行并通过与下位机的I/O接口进行实时通讯。

所述测试要求包括功能要求、性能要求、安全性要求以及接口要求。

所述测试配置包括任务调度时钟周期的配置，测试执行系统中上位机与下位机I/O通讯接口和IP地址的配置，最大测试任务数及测试所需下位机缓存区大小的配置，测试信息实时监控与显式的配置，以及被测系统与下位机之间的I/O通讯接口地址配置。

所述测试描述语言支持常用结构化编程语言的一般特性，支持实时嵌入式软件测试中对被测嵌入式设备的描述，支持嵌入式设备之间的通讯机制，支持实时性要求，支持测试平台设备无关性以及支持一般标准信号发生器的功能。

所述测试程序包括离线测试程序和在线测试程序，其中离线测试程序是指测试启动前预先生成的测试程序，在线测试程序是在测试过程中实时生成并加载的测试程序。

所述任务调度过程包括以下步骤：

1)测试启动后，接收下位机硬件定时中断，每个周期均获取系统全局时钟信息，以保证各任务之间的时序；

2)在测试过程中动态维护由预处理程序形成的测试任务链表，每个时钟周期均遍历该任务列表，并根据各任务的状态和属性，判断哪些任务可以被激活，如果无效则进行资源回收并中止调度，如果有效则进一步任务是否可以被激活：

当判断任务可被激活后，则激活该任务，交由测试执行引擎实时处理，任务执行完毕后，完成资源回收，同时进入下一个任务查找过程；当任务不可被激活时，判断任务是否可删除，如果可删除，则直接从链表删除并回收资源，如果该任务不可删除，则继续等待下一次调度时钟周期的到来。

所述测试执行引擎还包括反馈处理过程，其中具体包括：

1)测试启动后，按照任务调度程序，当某个任务被激活并交由执行引擎处理后，首先判断是否存在外部反馈处理，若不存在则继续执行其它操作，若存在则进入查询需反馈处理的变量；

2)当该变量不存在，则给出错误信息，若该变量存在，则获取下位机中变量缓存区中参与反馈处理变量的地址，并获取该变量地址的数据，然后调用反馈处理程序；

3)判断是否满足反馈条件，如果不满足则跳出该反馈处理，如果满足反馈条件，则执行相应的反馈处理执行动作。

对所述在线测试程序的处理流程包括以下步骤：

1)在线测试程序生成过程中上位机选择性的限定该在线测试程序的执行时间；

2)测试执行引擎为在线测试程序处理单独启动了一个测试任务，并在每个时钟周期进入该任务，若不存在在线测试程序，则该任务始终处于挂起等待状态；

3)当存在在线测试程序时，则进入测试执行引擎的在线测试程序处理过程，完成对在线测试程序的实时解析，驱动测试过程。

4)当在线测试程序存在结束时间限制时，在实时处理过程中判断是否达到结束时间，当结束时间到而处理未完成时，执行引擎将强行结束该处理过程，并进入等待调度过程；当没有结束时间限制时，则在正常完成该处理过程后回收资源。

附图说明

图1是本发明所提出的实时嵌入式软件自动化闭环测试平台的结构图

图2是自动化闭环测试的实施步骤

图3是测试执行系统中任务调度程序流程

图4是闭环测试中的反馈处理流程

图5是在线测试程序处理流程

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步详细、深入地描述，应当理解，此处所描述的实施仅用于说明和解释本发明，并不用于限定本发明。

基于常用的、易于快速掌握的通用编程语言C语言的实时扩展，即实时嵌入式软件测试描述语言RT-ESTDL的设计，以满足实时嵌入式软件测试的需要，主要扩展方法如下所述：

基于实时系统软件编程中常用的“任务”的观点，RT-ESTDL采用基于“测试任务”封装的方式，且允许定制测试任务描述属性，如测试任务标识，测试任务优先级，测试任务的周期，测试任务的开始、结束时间等；

测试任务对于测试过程中的动作描述部分，引入对象思想，将实时嵌入式软件的交联设备(含被测系统自身)看作“测试对象”，以便于测试过程中对各嵌入式设备的实时操作和实时反馈处理。

表1中给出了嵌入式软件测试描述语言RT-ESTDL的特性和对嵌入式软件测试的支持机制。

序号	针对嵌入式软件仿真测试的特性及支持机制
		1	支持常用结构化编程语言(如C语言)的一般特性，如支持流程控制语句，支持算术运算和逻辑运算，支持位运算，支持标准函数等
2	支持实时嵌入式软件测试中对被测嵌入式设备的描述

3	增加了嵌入式设备之间的通讯机制(如数据和消息传输)
		4	支持实时性要求，如并发、同步处理机制
5	支持测试平台设备无关性
		6	支持一般标准信号发生器的功能

表1 RT-ESTDL的特性及对实时嵌入式软件测试支持机制

测试平台的测试开发系统基于通用操作系统Windows，提供了方便的测试配置和测试程序生成功能，便于组织测试过程，测试平台的测试执行系统采用当前主流的实时操作系统vxWorks，其中任务调度程序负责测试过程中各测试任务的实时调度，而测试执行引擎与任务调度程序等底层程序相融合，负责测试驱动过程。此外，测试执行过程采用预处理->实时处理的方式进行，具体测试处理过程如下：

测试开始前，将测试执行执行引擎预先嵌入到测试平台中，并将测试程序(基于测试用例设计)预先加载到测试平台测试执行系统中；

在测试启动前，由测试执行引擎首先完成对测试程序的预处理，即预先生成测试指令集，以提高后续测试过程的实时处理速度；

测试启动后，由任务调度程序和测试执行引擎负责实时处理上述测试指令集，驱动测试执行；

在测试过程中，允许根据测试需要在线生成测试程序并下载到测试测试执行系统中，经过执行引擎的实时处理可完成灵活的在线测试。

图1中展示了本发明提出的实时嵌入式软件自动化闭环测试平台的结构，该结构采用HOST(上位机)+Target(下位机)的点对点分布式硬件体系结构，上位机与下位机以千兆以太网相连接，具体说明如下：

1)测试开发系统C01。该系统位于上位机，运行环境为Windows，其主要功能是加载根据被测系统文档生成的测试要求，完成测试前的配置，生成符合要求的基于RT-ESTDL或者其他符合表1所述特性的常用测试描述语言的测试程序，并将测试程序下载到下位机上。允许测试人员启动测试过程，通过上位机与下位机的数据通讯接口，完成数据的实时收集和显示。

2)测试执行系统C02。该系统位于下位机，运行环境为vxWroks，其主要功能是接收上位机下载的测试程序和测试命令，通过任务调度程序，实时处理离线/在线测试程序和测试过程中的反馈，完成自动化闭环测试。此外，通过I/O支持程序能够识别当前实时嵌入式领域常用的I/O接口，如红外、蓝牙、RS232、RS422、MIL-STD1553等，以提高测试平台的通用性。

3)被测系统C03。该系统是真实的被测嵌入式系统，如手机、航空电子系统、电力控制系统等，用于接收下位机产生的测试激励，实时运行，并通过与下位机的I/O接口(如红外、蓝牙、RS232、RS422、MIL-STD1553等)进行实时通讯。

图2给出了本发明提出的自动化闭环测试的实施步骤。

1)加载测试要求F01。在测试开始前，由上位机的测试开发系统完成加载已根据被测系统文档生成的关于功能、性能、安全性、接口等方面的测试要求。

2)测试配置F02。基于已加载的测试要求，完成针对特定被测系统的测试配置，配置内容包括任务调度时钟周期的配置，上位机与下位机(测试执行系统)通讯接口IP地址的配置，最大测试任务数及测试所需下位机缓存区大小的配置，测试信息实时监控与显式的配置，以及被测系统与下位机之间的I/O通讯接口地址配置等信息。

3)测试程序(离线/在线)生成F03。依据已生成的测试用例，明确每次测试的时间特性、输入、输出、测试过程中的反馈及测试通过条件等信息，将测试用例用RT-ESTDL或者其他符合表1所述特性的常用测试描述语言进行描述，生成测试程序。离线测试程序是指测试启动前预先生成的测试程序，在线测试程序是在测试过程中实时生成并加载的测试程序。此外，本步骤还将对已生成的测试程序进行语法检查，以发现测试程序存在的错误，只有通过语法检查的测试程序才能下载到下位机。

4)任务调度F04。任务调度程序程序，运行于下位机，在测试配置和测试程序下载并启动测试后，完成测试任务的实时调度任务，在测试任务执行完毕及测试结束后回收资源，具体处理流程参见图3。

5)执行引擎F05。执行引擎，运行于下位机，包括测试程序预处理模块、在线测试程序处理模块(见图5中所示的流程步骤)、测试反馈处理模块(见图4中所示的流程步骤)及I/O支持程序，执行引擎的主要功能是：在测试启动前，完成测试程序(离线/在线)的预处理功能，形成各测试任务的指令序列；测试启动后，对已形成的测试指令序列进行实时处理，为驱动测试运行提供保障。

6)测试驱动F06。运行于下位机，将执行引擎实时处理的输入数据通过真实的I/O接口发送到被测系统，并实时接收被测系统的输出数据，驱动测试运行。

7)被测系统F07，为真实的被测实时嵌入式系统，接收下位机产生的测试激励，实时运行，并通过与下位机的I/O接口进行实时通讯。

图3是测试执行系统中任务调度程序流程。

任务调度程序流程描述如下：

1)测试启动后，接收下位机硬件定时中断，每个周期均获取系统全局时钟信息，以保证各任务之间按规定的时序运行。

2)在测试过程中动态维护由预处理程序形成的测试任务链表，每个时钟周期均遍历该任务列表，并根据各任务的状态和属性，判断哪些任务可以被激活，如果无效则进行资源回收并中止调度，如果有效则进一步任务是否可以被激活：

当判断任务可被激活后，则激活该任务，交由执行引擎实时处理，任务执行完毕后，完成资源回收，同时进入下一个任务查找过程。

当任务不可被激活时，判断任务是否可删除，如果可删除，则直接从链表删除并回收资源；如果该任务不可删除，则继续等待下一次调度时钟周期的到来。

图4是闭环测试中的反馈处理流程。

闭环测试中的反馈处理流程描述如下：

1)测试启动后，按照任务调度程序，当某个任务被激活并交由执行引擎处理后，首先判断是否存在外部反馈处理，若不存在则继续执行其它操作，若存在则进入查询需反馈处理的变量信息，当该变量不存在，则给出错误信息；若该变量存在，则：

2)获取下位机中变量缓存区中参与反馈处理变量的地址，并获取该变量地址的数据，然后调用反馈处理程序，然后判断是否满足反馈条件，如果不满足则跳出该反馈处理；如果满足反馈条件，则：

3)执行相应的或者预定的反馈处理的执行动作。

图5给出了在线测试程序处理流程。

给出了在线测试程序处理流程描述如下：

1)为了更好地完成实时嵌入式软件的自动化闭环测试，提高测试的灵活性和可控性，同时为便于控制在线测试程序的执行过程，在上位机在线测试程序生成过程中允许对在线测试程序的执行时间添加必要的限定，如限制其定时结束。

2)执行引擎为在线测试程序处理单独启动了一个测试任务，并在每个时钟周期进入该任务，若不存在在线测试程序，则该任务始终处于挂起等待状态。

3)当存在在线测试程序时，则进入执行引擎的在线测试程序处理过程，完成对在线测试程序的实时解析，驱动测试过程。

3)当在线测试程序存在结束时间限制时，在实时处理过程中，还需判断是否达到结束时间，当结束时间到而处理未完成时，执行引擎将强行结束该处理过程，并进入等待调度过程。当没有结束时间限制时，则正常完成该处理过程后回收资源。

本发明可以带来如下有益效果：

1)提高实时嵌入式软件测试的自动化水平，提高测试程序的通用性、可移植性和可维护性。采用本发明可以有效克服专用的实时嵌入式软件测试平台通用性差的缺点，使得测试人员基于RT-ESTDL等支持相关特性的描述语言所编写的测试程序代码可以在所有支持RT-ESTDL特性的执行引擎的测试平台上执行，从而使测试程序不受限于特定的测试平台，从而提高了测试的自动化水平，并使得测试程序的通用性、可移植性和可维护性也得到有效提高。

2)测试灵活性得到表现。采用本发明，除了支持已编写的、基于RT-ESTDL等支持相关特性的描述语言的离线测试程序的自动运行外，还支持测试人员根据测试的实际需要，实时在线测试加载测试程序，以便更好的控制测试过程，从而大大提高了测试的灵活性。

3)减少测试人员工作量。由于本发明是一种针对通用编程语言的实时扩展，因此既保证了原有的语言特性都可以充分支持，也使得实时扩展后的测试描述语言更适合实时嵌入式软件测试描述，使测试人员使用起来更简单、更具有可操作性，从而减少测试人员的工作量。

4)减少测试成本，提高开发效率。采用所述扩展方式的测试描述语言，充分体现了对测试要求不断更新的适应能力，对于一个增量型、迭代式开发的软件或系统，给测试人员提供了一种通用的测试方法支持，可以通过测试程序的复用，最大限度的减少测试成本，提高开发效率。

Claims (7)

1.一种实时嵌入式软件自动化闭环测试方法，该方法包括以下步骤：

1)在测试开始前，由测试开发系统的上位机加载已根据被测系统文档生成的测试要求；

2)根据所述测试要求，生成针对被测系统的测试配置；

3)生成测试用例，其中包括每次测试的时间特性、输入、输出、测试过程中的反馈及测试通过条件，然后采用测试描述语言将所述测试用例进行转换，生成测试程序；对生成的所述测试程序进行语法检查，并将通过语法检查的测试程序从测试开发系统的上位机下载到下位机；

4)在测试程序下载到下位机后，在下位机上启动任务调度过程完成测试任务并在测试任务执行完毕及测试结束后回收资源；

5)在下位机上启动测试执行引擎，所述引擎在测试启动前，完成测试程序的预处理功能，形成各测试任务的指令序列，在测试启动后，对已形成的测试指令序列进行实时处理，为驱动测试运行提供保障；

6)将执行引擎实时处理的输入数据通过真实的I/O接口由下位机发送到被测实时嵌入式系统，并实时接收被测系统的输出数据，驱动测试运行；

7)所述被测实时嵌入式系统接收下位机产生的测试激励，实时运行并通过与下位机的I/O接口进行实时通讯；

所述任务调度过程进一步包括以下步骤：

1)测试启动后，接收下位机硬件定时中断，每个周期均获取系统全局时钟信息，以保证各任务之间的时序；

2)在测试过程中动态维护由预处理程序形成的测试任务链表，每个时钟周期均遍历该测试任务列表，并根据各任务的状态和属性，判断哪些测试任务可以被激活，如果测试任务无效则进行资源回收并中止调度，如果测试任务有效则进一步判断测试任务是否可以被激活：

当判断测试任务可被激活后，则激活该测试任务，交由测试执行引擎实时处理，任务执行完毕后，完成资源回收，同时进入下一个任务查找过程；当测试任务不可被激活时，判断测试任务是否可删除，如果可删除，则直接从链表删除并回收资源，如果该测试任务不可删除，则继续等待下一次调度时钟周期的到来。

2.根据权利要求1中所述的方法，所述测试要求包括功能要求、性能要求、安全性要求以及接口要求。

3.根据权利要求1中所述的方法，所述测试配置包括任务调度时钟周期的配置，测试执行系统中上位机与下位机I/O通讯接口和IP地址的配置，最大测试任务数及测试所需下位机缓存区大小的配置，测试信息实时监控与显式的配置，以及被测系统与下位机之间的I/O通讯接口地址配置。

4.根据权利要求1-3中任意一个所述的方法，所述测试描述语言支持定制测试任务描述属性，支持常用结构化编程语言的一般特性，支持实时嵌入式软件测试中对被测嵌入式设备的描述，支持嵌入式设备之间的通讯机制，支持实时性要求，支持测试平台设备无关性以及支持一般标准信号发生器的功能。

5.根据权利要求1-3中任意一个所述的方法，所述测试程序包括离线测试程序和在线测试程序，其中离线测试程序是指测试启动前预先生成的测试程序，在线测试程序是在测试过程中实时生成并加载的测试程序。

6.根据权利要求1-3中任意一个所述的方法，所述测试执行引擎还包括反馈处理过程，其中具体包括：

1)测试启动后，按照任务调度程序，当某个任务被激活并交由执行引擎处理后，首先判断是否存在外部反馈处理，若不存在则继续执行其它操作，若存在则进入查询需反馈处理的变量；

2)当该变量不存在，则给出错误信息，若该变量存在，则获取下位机中变量缓存区中参与反馈处理变量的地址，并获取该变量地址的数据，然后调用反馈处理程序；

3)判断是否满足反馈条件，如果不满足则跳出该反馈处理，如果满足反馈条件，则执行相应的反馈处理执行动作。

7.根据权利要求5中所述的方法，对所述在线测试程序的处理流程包括以下步骤：

1)在线测试程序生成过程中上位机选择性的限定该在线测试程序的执行时间；

2)测试执行引擎为在线测试程序处理单独启动了一个测试任务，并在每个时钟周期进入该任务，若不存在在线测试程序，则该任务始终处于挂起等待状态；

3)当存在在线测试程序时，则进入测试执行引擎的在线测试程序处理过程，完成对在线测试程序的实时解析，驱动测试过程；

4)当在线测试程序存在结束时间限制时，在实时处理过程中判断是否达到结束时间，当结束时间至而处理未完成时，执行引擎将强行结束该处理过程，并进入等待调度过程；当没有结束时间限制时，则在正常完成该处理过程后回收资源。

Images