CN100407162C - 一种具有测试柔性的集成软件测试方法 - Google Patents

Abstract

本发明的一种具有测试柔性的集成软件测试方法，其用于一被测对象前台单板与一后台计算机组成的系统中，所述方法包括以下步骤：所述系统进行测试用例的静态编辑，生成测试用例，其采用自动扫描方法和脚本描述方法，利用自动扫描消息结构从而使用例中消息/结构体自动生成，进行脚本编辑测试用例及文件保存用例信息从而使测试用例可随时改变；所述系统实现测试用例的动态运行，形成具体的测试执行过程，其采用信息转化方法及动态运行方法。本发明方法提高了测试柔性，达到了较好的测试效果，按照测试的通用性、灵活性、高效性、易用性方面来分析，都具有非常强的有益效果。

Description

一种具有测试柔性的集成软件测试方法

技术领域

本发明涉及一种针对基于消息激励的应用软件进行黑盒测试的集成的测试执行方法，尤其涉及通信领域的嵌入式应用系统中信令控制流的集成的黑盒测试执行方法。

背景技术

通信产品是应用嵌入式软件最为广泛的一个领域，设备制造商在商用的实时操作系统RTOS基础上开发出了多种多样实现其业务功能的应用软件，如何有效地对集成在硬件设备上的嵌入式应用软件进行测试，成为产品开发者以及专业软件测试工具公司所共同关注的对象。由专业工具公司开发的针对嵌入式软件测试的商用工具层出不穷，但是在实际应用中却有着一些先天的缺陷，在很多方面并不能达到有效的利用，主要问题是存在测试针对性不强，操作复杂，成本高等问题，尤其是对通信产品所特有的业务功能测试，很难有方便通用的商用工具使用。因此根据自身产品的构建特点形成有效的测试方法并开发出相应自制软件测试工具是必不可少的。

按照一定测试方法形成的自制软件测试工具大多具有较强的针对性，基本上是根据实际被测对象的测试特点来专门设计的，但是同样有着不断发展优化的过程。从所形成的测试模式的角度来看是希望有较强的通用性，即能够适用于尽量多的软件对象；从测试应用的角度来看则希望有较强的灵活性，具有较高测试效率；同时也希望实现测试方法的工具本身具有方便易用的特点。为了进一步衡量测试工具的适用状况，这里将测试过程的通用性、灵活性、高效性及易用性等综合定义为测试的柔性。

在对应用软件进行业务功能测试时，大多数采用的手段就是以常规编程的方法来构建所需的测试用例，比如嵌入式系统应用软件大都是用C/C++语言实现的，测试者就根据所测试对象的特点来直接编写相对应的.c用例文件。它的针对性是最强的，通过直接用C语言来描述，需要测试什么内容就编写相应的用例代码，在表达上不会有任何问题，在测试的最初阶段只用来验证基本处理流程是否通过时显得最为直接；但是随着测试逐渐深入，我们会发现它的灵活性会越来越弱，流程的任何一个变动都需要测试人员修改用例源程序，然后再编译，下载，重新测试，如此循环。为了防止无休止的编译调测的循环，一些此类型的工具将需要经常变化的数据部分留出控制的接口，由用户终端来进行设置而运行(比如用于数据库函数调用接口的专用测试工具)，但是对于要经常变化的流程测试则不易控制。而且这种模式最大的问题还不在于此，而是通用性。专用.c模式的测试方式基本上都针对被测对象的内容来定制生成的，它的实现就具有专用性，处理过程与被测对象是直接关联的，测试环境的构成也各不相同，没有一个统一的标准，这种情况下的测试就是各自为政，随着一个新的软件模块的开发完成就须再重建一个新的程序来进行测试。

为了改变常规模式的缺陷，出现了采用TTCN(树表结合表述法)来描述测试用例的方法，如申请号为02145002.1的《码分多址系统中基站控制器/基站收发信机模拟器》就是按照国际标准规范的定义来形成TTCN模式的测试方法进行的系统级测试应用，与前面相比较，在用例描述上具有了一定的通用性，因为TTCN语言是与具体执行平台无关的表述，测试者在编写用例时就只用把精力全部放在如何按照规范编制合理的TTCN测试用例，而不用关心付诸实现的平台过程。从编写用例的一致性与测试环境的统一性来看使用此方法具有一定的好处，使用者利用相同的工具，采用相同的模式来进行用例编写与运行实现，规范了大多数的测试过程，在一定程度上有所裨益；但是在进一步使用过程中却发现用例的编写与维护并不是一个轻松的过程，它大大限制了此方法的推广应用。要生成一个完整的测试用例，用户需要将所有大大小小的数据信息进行申明，然后层层镶嵌得到最终要收发的消息结构，这个过程是十分繁琐的，同时也不应是测试人员需要重点关注的，无端耗费了大量的精力，降低了测试的效率。另外此方法仍然是采用的静态编译过程，即用户以TTCN语言描述好测试用例，还是需要翻译成.c文件，再加上适配模块一同编译生成可执行文件再运行，它与前面的专用.c模式相比只相当于在用例描述上增加了一层，在测试过程中仍然存在灵活性的问题。

综合说，现有技术的上述的软件黑盒测试执行方法在测试柔性方面具有较低的水平。

发明内容

本发明的目的在于提供一种具有测试柔性的集成软件测试方法，要解决的技术问题是克服现有技术中的测试柔性水平较低的缺点，提出一种新的测试用例生成及执行的方法，可以用于基于消息激励的应用软件进行模块单调、集成、系统黑盒测试的各个方面，并由此形成了一套完整的集成软件测试工具。

本发明的技术方案如下：

一种具有测试柔性的集成软件测试方法，其用于一前台单板与一后台计算机组成的系统中，在该前台单板中包含被测应用软件，所述方法包括以下步骤：

A)所述系统进行测试用例的静态编辑，生成测试用例，其采用自动扫描方法和脚本描述方法，利用自动扫描消息结构从而使用例中消息/结构体自动生成，使用脚本描述方法编写脚本，并将脚本保存，从而使测试用例可随时改变；

B)所述系统实现测试用例的动态运行，形成具体的测试执行过程，其采用信息转化方法及动态运行方法，所述信息转化方法提供多种测试执行的过程信息，实现同具体测试业务无关的运行方式；所述动态运行方法动态生成测试流程以实现用例执行过程的自动化。

所述的方法，其中，所述步骤A)又包括下列各步骤：

A1)构建一消息库，输入为被测应用软件源程序，采用自动扫描的方法提取其中定义的消息及结构信息；所述自动扫描方法按照标准语法将被测应用软件源程序中所定义的消息宏及所定义的数据结构信息提取出来保存到数据库中相应的定制数据表中，并提供可用户定义的匹配规则来关联消息及其对应的结构体；

A2)从所述消息库中挑选测试流程中用到的消息，将消息及其关联的结构体信息取出形成测试用例的静态区部分；

A3)对取出的消息结构体部分进行取值设定，对需要发生变化的字段按支持的变化取值方式进行设置；

A4)将测试用例中对消息的动态处理过程进行脚本描述，通过对黑盒测试中各种操作的抽象，脚本由一组定义好的操作集合组成，用于描述测试过程中的动态运行信息；该编辑好的脚本形成测试用例的动态区部分；

A5)上述静态区部分与动态区部分保存在同一个文件中，以保存此用例的所有信息，形成本地测试用例文件。

所述的方法，其中，在进行软件模块级测试时，还可将被测模块之外的公有变量、桩函数返回值等环境变量进行提取，构成静态区的一部分。

所述的方法，其中，所述步骤A)在当被测应用软件版本升级而导致数据结构发生变化时，还包括以下步骤：

A6)进行消息同步以使本地测试用例文件静态区的数据内容得以更新。

所述的方法，其中，所述步骤B)又包括下列各步骤：

B1)构建测试后台计算机与所述前台单板之间的通信链路，实现基于TCP/IP的以太网通讯；

B2)以本地测试用例文件为输入，结合静态区、动态区两部分的信息转化成动态内存中的二进制信息，供执行实体使用，提取所要进行的操作，并根据操作提取所需的变量，调用相应函数，实现测试用例所定义的功能。

所述的方法，其中，测试用例的动态运行可设置为在后台运行以及在前台运行两种模式。

所述的方法，其中，所述步骤B)还包括进行一致性测试下有序消息流程的测试，以及稳健性测试下随机消息流程的测试的不同过程。

所述的方法，其中，所述步骤B)还包括：

B3)所述系统进行多个测试用例串行的自动执行，以及每个测试用例设定循环次数的数量为多次；对于同一用例，动态运行的运行模块转化好动态内存中的二进制信息后就按循环次数多次执行，当某次运行结束，自动发起下一次的重新运行；当一个用例运行次数结束，所述运行模块将此测试用例占用的内存释放，再载入下一个测试用例进行相同的处理。

所述的方法，其中，所述步骤B)还包括以下步骤：

B4)在测试运行过程中，同步提供运行信息的日志记录以及信令跟踪功能，所述日志记录设定权级，即不同权级对应记录不同详细程度的日志内容；所述信令跟踪则是反映仿真侧与被测应用软件之间交互消息的即时跟踪。

所述的方法，其中，所述本地测试用例文件的文件形式为文本形式。

本发明所提供的一种具有测试柔性的集成软件测试方法，采用黑盒测试执行方法，与现有技术相比，提高了测试柔性，达到了较好的测试效果，按照测试的通用性、灵活性、高效性、易用性方面来分析，都具有非常强的有益效果。

附图说明

图1是本发明测试方法的流程示意图；

图2是本发明测试方法的测试系统构架图；

图3a是本发明的模块级测试的测试模型，其中用例运行在后台；

图3b是本发明的系统级测试的测试模型，其中用例运行在前台。

具体实施方式

下面结合附图，对技术方案的实施作进一步的描述：

本发明的一种具有测试柔性的集成软件测试方法，从测试应用的角度看，为了对应用软件更有效地进行黑盒测试，本发明方法按照测试设计方便快捷地生成测试用例，对于基于消息激励的的软件对象来说就是要快捷地生成测试所用到的消息序列及消息体数据信息，另外在测试执行时进行了简单的运行实现及明了的运行跟踪；从实现的角度看本发明方法尽量提高了通用性与易用性，使测试的运行与具体被测业务无关。

为此，本发明方法把整个测试执行的步骤分为用例静态编辑与动态运行两大部分，如图1所示，本发明方法首先以被测对象的源程序为输入通过自动扫描技术形成消息库，然后按照测试设计将所需要的测试消息及结构信息从库中提取出来，以一定形式表达为用例的静态区内容，此处还可以在软件版本升级时通过消息同步过程来更新已有用例文件的静态区内容，用户再根据数据设计模型来进行结构体的取值设置，然后以脚本来表述用例运行的动态操作信息，形成用例的动态区，两者结合可形成测试用例的文本文件；动态运行时，以测试用例文件为输入进行信息转化，生成内存二进制数据信息，如果是后台运行模式则开始后台运行用例，如果是前台运行模式则通过数据信息下载至前台单板，再开始前台运行用例，此外测试还提供了一种中间模式，即将文本用例转化成内存二进制信息后保存为二进制形式的数据文件，在前台运行模式下可以将此二进制文件做为输入直接进行数据信息下载，提高运行的速度。

以下为本发明的方法的具体步骤：

第一步，进行测试用例的静态编辑，生成测试用例。本步骤的主要是为尽量降低测试者的非本质工作，提高测试用例生成的效率，其实现的主要思想是自动扫描消息结构从而使用例中消息/结构体自动生成，脚本编辑测试用例及文件保存用例信息，用例信息可采用文本形式，从而使测试用例可随时改变，不需要重新编译，多种数据取值方式从而支持用例数据信息的灵活变化。其关键技术是自动扫描方法及脚本描述方法。

第二步，实现测试用例的动态运行，形成具体的测试执行过程。本步骤的主要是为实现同具体测试业务无关的运行方式，提供多种测试执行的过程信息，其实现的主要思想是动态生成测试流程以实现用例执行过程的自动化，附加地可分级设定用例运行信息的记录以及提供信令跟踪功能，方便测试过程的信息分析与问题定位。其关键技术是信息转化方法及动态运行方法。

上述第一步又包括下列各步骤：

1、构建一消息库，输入为被测应用软件源程序，采用自动扫描的方法提取其中定义的消息及结构信息；自动扫描过程按照标准语法将源文件中所定义的消息宏及所定义的数据结构信息提取出来保存到数据库中相应的定制数据表中，并提供了可用户定义的匹配规则来关联消息及其对应的结构体；

2、从所述消息库中挑选测试流程中用到的消息，将这些消息及其关联的结构体信息取出形成测试用例的静态区部分；做软件模块级测试时，还可将被测模块之外的公有变量、桩函数返回值等环境变量进行提取，以便控制，它们也可构成静态区的一部分；

3、对取出的消息结构体部分进行取值设定，对需要发生变化的字段按支持的变化取值方式进行设置；

4、将用例中对消息的动态处理过程进行脚本描述，通过对黑盒测试中各种操作的抽象，脚本由一组定义好的操作集合组成，用于描述测试过程中的动态运行信息；编辑好的脚本形成测试用例的动态区部分；

5、上述静态区部分与动态区部分保存在同一个文件中，以保存此用例的所有信息，形成本地测试用例文件，此测试用例文件可采用文本形式保存；

6、当被测软件对象版本升级而导致数据结构发生变化时，本发明方法则提供了消息同步的方法可以使本地测试用例文件静态区的数据内容得以更新。

上述第二步又包括下列各步骤：

1、构建测试后台的PC机与被测对象前台的嵌入式单板之间的通信链路，实现基于TCP/IP的以太网通讯；

2、以本地测试用例文件为输入，结合静态区、动态区两部分的信息转化成动态内存中的二进制信息，供执行实体使用，提取所要进行的操作，并根据操作提取所需的变量，调用相应的函数，实现测试用例所定义的功能；可以进行一致性测试下有序消息流程的测试，以及稳健性测试下随机消息流程的测试；支持测试用例在后台运行以及在前台运行两种模式；

3、由于每个测试用例在执行时流程是动态生成的，所以很方便地支持测试自动化的实现。可以进行多个测试用例串行的自动执行，每个测试用例还可以设定多次的循环次数。对于同一用例，运行模块转化分配好二进制内存后就可按循环次数多次执行，当某次运行结束，本发明方法会自动发起下一次的重新运行。当一个用例运行次数结束，运行模块将此用例占用的内存释放，再载入下一个用例进行相同的处理；

4、在测试运行过程中，还可以同步提供运行信息的日志记录以及信令跟踪功能，日志记录可以设定权级，即不同权级对应记录不同详细程度的日志内容；信令跟踪则反应了仿真侧与被测对象之间交互消息的即时跟踪。

如图2所示是本发明方法的整个测试系统构架图，前台为嵌入式单板，包括前台模式的用例运行模块、辅助环境模块、前后台通信的前台模块，以及被测对象；后台为PC机，包括有消息库模块、用例生成模块、后台模式的用例运行模块，另外还包括转化模块和前后台通信的后台模块；所述前台/后台用例运行模块负责生成具体的运行实体，完成用例内容的实际操作；所述辅助环境模块除用于接受后台向前台发送的初始配置信息外主要用来控制被测对象所需要调用的环境变量如公有变量、桩函数返回值等；前后台通信模块以TCP/IP为标准，后台模块作为客户端，前台模块作为服务器端使用；后台的消息库模块负责生成消息库及扫描录入消息、结构体信息，并提供访问接口；用例生成模块负责形成本地测试用例文件；转化模块实现用例从文本信息向二进制数据的转化。所述前台的辅助环境模块还包括控制接口区、公有数据区、桩模块区，控制接口区实现了统一的前后台控制交互功能，以固定的模式进行控制数据的上传与下载，公有数据区用来定义全局变量的存在，桩模块区用来将自定义的打桩函数所需控制的返回值等数据进行定义，这些数据都可由控制接口进行访问；前台模式下的用例运行模块还包括二进制信息模块、运行统计模块以及控制运行模块等，分别实现运行信息的二进制数据控制、运行日志记录、运行实体的操作控制功能。所述后台PC机的消息库模块还包括消息库构建模块和消息库接口模块；所述用例生成模块还包括消息构建模块、消息取值模块、序列组合模块以及存储编辑模块，分别完成用例静态区生成、用例数据模型付值、动态区生成及文件存储功能；后台模式下的用例运行模块还包括二进制信息模块、运行统计模块以及控制运行模块等，其功能与前台模式下的对应模块相似。

如图3a所示为本发明方法的用例后台运行模式下进行软件模块级测试的测试模型图，后台为PC机，前台为单板，该前台单板上运行嵌入式系统，以及基于该嵌入式系统上的通讯模块、被测试对象和辅助环境，通讯模块用于与PC机进行端口通信，所述被测试对象为被测软件模块；这属于宿主机-目标机环境测试Host-Target Testing的测试模式，除被测对象外，其它部分都属于仿真测试环境，被测软件模块载入前台环境的嵌入式系统之上被驱动而运行，与后台PC机上运行的用例形成端到端的交互，完成流程的测试。对于软件模块级的测试，内部接口多而且需要构造被测对象外围的仿真辅助环境如控制公有变量、桩函数返回等，所以辅助环境模块要起到很大作用。

如图3b所示，为本发明方法的用例前台运行模式下进行软件系统级测试的测试模型图，本发明方法的系统结构依然包括前台单板和后台的PC机，但被测对象自己独立运行，自成体系，环境就只仿真另一个网元与之交互即可，这时两者之间为外部接口，也不用构建被测对象的仿真辅助环境。但是由于系统对象在功能上都是分层处理的，一般包括最上层的信令处理层以及下面若干层的底层处理，集成软件测试工具所仿真的用例都是对最上层信令流程的模拟，所以在系统级测试模型中就必须包括仿真信令层之外的其它底层处理部分，因此在所述前台单板的嵌入式系统上除通讯模块和辅助环境之外还加入了一专用处理模块，一般都可以从真实系统中方便的移植而来，而且与业务内容无关，规则固定，简单移植后就不用改变。

本发明方法通过上述技术方案，具有以下优点：

在体现通用性方面，首先表现在扫描消息库的过程，它是以C语言的定义格式来记录消息定义及结构定义的，所以只要被测软件是用C编写的，就可以提取出这些信息；其次表现在用例的生成过程，用例的静态数据的构成信息是从库里直接提取的，数据的字段组成与取值信息都以相同的格式文本保存的，要在用例编辑的窗口上显示时按照一套固定的规则就可一一列出，对于动态流程信息则以脚本进行编辑，所有操作类型都已严格定义；另外在用例运行前进行文本信息->二进制信息的转化时也有通用的转化规则，不依赖于要实现的业务内容；

测试的灵活性：为了有效支持测试时用例信息的灵活变更，将数据与流程分开控制，数据取值赋于了多种变化模式，如缺省值、设定值、随机取值、离散取值、固定步长的线性变化取值，由用户根据需要灵活设置，当选择的消息结构每调用一次就会按要求变化取值；对于动态流程信息则以脚本表达，不需要编译成可执行文件，随改随用，方便快捷；当被测对象需要调用公有变量以及桩函数时，提供了从后台进行取值控制的接口，使得被测对象的辅助环境灵活可控，进而更多角度地测试代码；并且这种控制方法也是非常通用的；另外不仅支持用例在后台运行的模式，还提供了用例运行于前台的模式，使测试者可以根据测试过程的复杂程度灵活选用；测试的高效性：用例运行是动态生成的，根据用户设定来装载测试文件，进行文本->二进制信息转化后开始运行，执行退出后清空内存；所以自然而然地可以支持自动化测试流程，用户选择多个测试用例排成列表，工具串行的装载执行，并可设置不同的记录权级来保存运行及结果信息；另外在测试过程中可以充分收集运行信息，一方面在运行信息窗口可以显示所有操作流程及消息内容(二进制数)，另一方面也提供了一个信令跟踪的功能，将仿真侧与被测对象之间的所有消息交互都记录下来(数据信息)，当需要查看消息结构内容时还可以关联到对应数据取值的消息树结构，这个操作也具有通用性；这样就可进一步加快用户对测试结果的分析以及问题的探查；另外当被测软件版本升级数据结构发生变化时提供了消息同步方法，可以使本地测试用例文件静态区的数据内容随之更新；

测试的易用性：测试后台可以充分利用PC机的GUI人机界面，用户使用一目了然；另外在扫描消息库的方式上以较高的自动化程度来自行处理，用户只需选择好要扫描的源文件/目录即可；对于扫描出现的问题都记录到日志文件及信息窗口中，用户可进一步操作以增补的形式人工修正；在用例生成时也提供了方便的消息选择功能，用户可以从库中提取消息及结构信息存到本地用例文件中；在设置数据取值信息及编辑动态流程脚本时，可提供快捷的操作方式，不仅便于设置还减少了出错。

Claims (9)

1.一种具有测试柔性的集成软件测试方法，其用于一前台单板与一后台计算机组成的系统中，在该前台单板中包含被测应用软件，所述方法包括以下步骤：

A)所述系统进行测试用例的静态编辑，生成测试用例，其采用自动扫描方法和脚本描述方法，利用自动扫描被测应用软件源程序消息结构从而使用例中消息/结构体自动生成以形成用例的静态区，使用脚本描述方法编写脚本，以脚本来描述用例运行的动态操作信息，形成用例的动态区，并将脚本保存，从而使测试用例可随时改变；

B)所述系统实现测试用例的动态运行，形成具体的测试执行过程，其采用信息转化方法及动态运行方法，所述信息转化方法提供多种测试执行的过程信息，实现同具体测试业务无关的运行方式；所述动态运行方法动态生成测试流程以实现用例执行过程的自动化；该步骤B)包括如下步骤：

B1)构建测试后台计算机与所述前台单板之间的通信链路，实现基于TCP/IP的以太网通讯；

B2)以本地测试用例文件为输入，使用用例中的静态区、动态区两部分的信息转化成动态内存中的二进制信息，供执行实体使用，提取所要进行的操作，并根据操作提取所需的变量，调用相应函数，实现测试用例所定义的功能。

2.根据权利要求1所述的方法，其特征在于，所述步骤A)又包括下列各步骤：

A1)构建一消息库，输入为被测应用软件源程序，采用自动扫描的方法提取其中定义的消息及结构信息；所述自动扫描方法按照标准语法将被测应用软件源程序中所定义的消息宏及所定义的数据结构信息提取出来保存到数据库中相应的定制数据表中，并提供可用户定义的匹配规则来关联消息及其对应的结构体；

A2)从所述消息库中挑选测试流程中用到的消息，将消息及其关联的结构体信息取出形成测试用例的静态区部分；

A3)对取出的消息结构体部分进行取值设定，对需要发生变化的字段按支持的变化取值方式进行设置；

A4)将测试用例中对消息的动态处理过程进行脚本描述，通过对黑盒测试中各种操作的抽象，脚本由一组定义好的操作集合组成，用于描述测试过程中的动态运行信息；该编辑好的脚本形成测试用例的动态区部分；

A5)上述静态区部分与动态区部分保存在同一个文件中，以保存此用例的所有信息，形成本地测试用例文件。

3.根据权利要求2所述的方法，其特征在于，在进行软件模块级测试时，还将被测模块之外的公有变量、桩函数返回值环境变量进行提取，构成静态区的一部分。

4.根据权利要求3所述的方法，其特征在于，所述步骤A)在当被测应用软件版本升级而导致数据结构发生变化时，还包括以下步骤：

A6)进行消息同步以使本地测试用例文件静态区的数据内容得以更新。

5.根据权利要求1～4任一权项所述的方法，其特征在于，测试用例的动态运行设置为在后台运行以及在前台运行两种模式。

6.根据权利要求5所述的方法，其特征在于，所述步骤B)还包括进行一致性测试下有序消息流程的测试，以及稳健性测试下随机消息流程的测试的不同过程。

7.根据权利要求6所述的方法，其特征在于，所述步骤B)还包括：

B3)所述系统进行多个测试用例串行的自动执行，以及每个测试用例设定循环次数的数量为多次；对于同一用例，动态运行的运行模块转化好动态内存中的二进制信息后就按循环次数多次执行，当某次运行结束，自动发起下一次的重新运行；当一个用例运行次数结束，所述运行模块将此测试用例占用的内存释放，再载入下一个测试用例进行相同的处理。

8.根据权利要求7所述的方法，其特征在于，所述步骤B)还包括以下步骤：

B4)在测试运行过程中，同步提供运行信息的日志记录以及信令跟踪功能，所述日志记录设定权级，即不同权级对应记录不同详细程度的日志内容；所述信令跟踪则是反映仿真侧与被测应用软件之间交互消息的即时跟踪。

9.根据权利要求8所述的方法，其特征在于，所述本地测试用例文件的文件形式为文本形式。

Images