CN106598848A - 一种关键字驱动的机载软件自动化测试方法及系统 - Google Patents

Abstract

本发明提供了一种关键字驱动的机载软件自动化测试方法及系统，属于航空机载软件测试领域，所述方法包括根据航电系统的各子系统的设计方案提取功能关键字，并根据所述功能关键字构建各子系统的逻辑输入输出，同时，根据航电系统的接口控制文件构建各接口关键字的逻辑功能；构建用例脚本，包括根据用例需求引用相应的所述子系统的逻辑输入输出及相应的接口关键字的逻辑功能的步骤，执行用例的步骤以及判断用例结果的步骤；根据用例结果判断所述机载软件是否符合设计需求。通过该测试方法，提高了测试脚本的复用性，有利于形成测试资产；降低了回归测试成本，缩短了全过程测试周期，保证了测试过程一致性，提高测试自动化水平。

Description

一种关键字驱动的机载软件自动化测试方法及系统

技术领域

本发明属于航空机载软件测试领域，具体涉及一种关键字驱动的机载软件自动化测试方法及系统。

背景技术

直升机机载软件已经成为飞行器研制的关键要素，在安全飞行、信息感知和任务执行方面发挥着日益重要的作用。随着软件规模和复杂性的不断增加，如何保证机载软件质量及满足需求已成为飞行器研制中的重要课题。

软件测试是目前保证软件研制质量最重要的手段，通过对测试软件进行工程设计、实施和维护，来度量和提高被测软件质量；强调尽早测试、独立测试、贯穿软件生命周期和覆盖全部用户需求等。最初的软件测试都是通过手工完成，耗费了大量的人力和时间，也不能保证测试效率和测试过程一致性。特别是在迭代开发的情况下，频繁的回归测试使得测试活动更加单调枯燥，进一步削弱了手工测试效果。

自动化测试是指通过采用自动化工具辅助测试人员完成大部分重复性测试工作，以降低测试周期和提高测试效率，是软件测试领域非常前沿的技术热点。采用自动化测试，使得测试人员分工更加明确，提高了测试工作技术含量和测试工作效率；测试工程师侧重于被测软件分析和测试脚本编写，更专注于软件缺陷的发现和分析；测试开发工程师侧重于被测软件运行环境搭建、自动化测试工具开发和维护。常见的自动化测试方法主要有以下几种：

录制回放，工具录制测试人员的操作，并在回归测试时回放，此种测试方法测试脚本比较简单、不要求编程能力；但可复用性差，在需求变更时，要重新录制脚本，维护成本较高；

数据驱动，将测试数据从测试脚本中剥离开来，测试脚本只存放测试逻辑信息，同一脚本通过读取不同的数据，即可执行不同的测试，提高了可复用性，但仍不适应需求变更，且脚本数量较大，维护成本较高。

关键字驱动，通过提取关键字和提供支撑脚本，实现了测试脚本、业务逻辑和测试数据的分离，该种测试方法在需求变更时，只需要修正业务支撑脚本，降低了脚本规模和维护成本；测试脚本和测试平台无关，进一步提高了脚本的复用性，但关键字驱动必须依赖于一个自动化测试框架和关键字库，前期投入较大；且关键字库和支撑脚本的建立、维护等工作，对测试开发人员的编程能力有一定的要求。

机载软件绝大多数为嵌入式软件，对于可靠性和稳定性有极高的要求，与外部系统/软件之间的通信都基于接口控制文件，并且通信协议众多。飞行器内部软件相当于一个嵌入式计算机网络，交联关系复杂，对逻辑和时序有严格的要求。

现有的机载软件测试，主要关注测试方法、安全性以及仿真验证等，对自动化测试关注较少。

发明内容

为了解决上述问题，本发明提供了一种关键字驱动的机载软件自动化测试方法及系统，在对机载软件测试技术进行梳理的基础上，结合关键字驱动测试框架理念，提出了基于关键字驱动的机载软件自动化测试方法，能够提高测试脚本的开发效率和复用率，缩短测试回归时间，更好的适应迭代增量开发模型，更进一步提高机载软件质量。

本发明首先提供了一种关键字驱动的机载软件自动化测试方法，主要包括以下步骤：

S1、根据航电系统的各子系统的设计方案提取功能关键字，并根据所述功能关键字构建各子系统的逻辑输入输出，同时，根据航电系统的接口控制文件构建各接口关键字的逻辑功能；

S2、构建用例脚本，包括根据用例需求引用相应的所述子系统的逻辑输入输出及相应的接口关键字的逻辑功能的步骤，执行用例的步骤以及判断用例结果的步骤；

S3、根据用例结果判断所述机载软件是否符合设计需求。

优选的是，在步骤S2之前，还包括构建系统定义脚本，所述系统定义脚本包括根据航电系统不同研发阶段将所述各子系统的逻辑输入输出以及所述各接口关键字进行逻辑功能整合。

在上述方案中优选的是，所述构建各子系统的逻辑输入输出包括使所述各子系统执行周期性的输出。

在上述方案中优选的是，所述构建各子系统的逻辑输入输出包括响应其它子系统的输入。

在上述方案中优选的是，所述构建各接口关键字的逻辑功能包括描述接口控制协议以及接口连接关系。

本发明另一方面提供了一种关键字驱动的机载软件自动化测试系统，主要包括以下组成单元：

由航电各子系统的逻辑输入输出构成的功能关键字库；

由各接口关键字的逻辑功能构成的接口关键字库；

由执行所述机载软件自动化测试的执行用例脚本；以及，

判断所述机载软件是否符合设计需求的判断模块。

优选的是，还包括航电系统脚本库，包含航电系统各研制阶段的系统定义脚本。

在上述方案中优选的是，所述功能关键字库包括周期性数据。

在上述方案中优选的是，所述功能关键字库包括响应数据。

在上述方案中优选的是，所述接口关键字库包括接口控制协议以及接口连接关系。

本发明具有如下优点：

提高了测试脚本的复用性，有利于形成测试资产；

降低了回归测试成本，缩短了全过程测试周期；

规范和固化了测试方法，保证了测试过程一致性；

便于其他测试工具集成，提高测试自动化水平。

附图说明

图1为本发明关键字驱动的机载软件自动化测试系统的一优选实施例的关键字驱动的机载软件自动化测试框架示意图。

图2为本发明图1所示实施例的机载软件系统拓扑示意图。

图3为本发明图1所示实施例的机载软件关键字示意图。

图4为本发明图1所示实施例的测试脚本解析示意图。

图5为本发明图1所示实施例的硬件连接示意图。

具体实施方式

为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

下面通过实施例对本发明做进一步详细说明。

本发明提出了一种关键字驱动的机载软件自动化测试方法。对自动化测试框架，机载软件关键字库生成，硬件及其驱动设计等进行了详细的描述。

本发明针对的机载软件为嵌入式软件，运行在专用的机箱、板卡或者以配置项的形式运行在通用处理软件；通过模拟/数字或其他形式信号获取传感器信息，并向相关执行器发送指令；通过机载总线，如AFDX、MIL-STL-1553B、ARINC-429等，与综合航空电子等系统或其他机载软件进行交联。绝大多数机载软件都可在上述定义上裁剪，所以本发明在机载软件测试领域具备通用性。

自动化测试框架如图1所示。共分为3个层次，自上向下依次为应用层，解析执行层和硬件驱动层。

应用层主要面向测试工程师和系统设计师。根据测试需求分解结果，并基于关键字库中已定义好的系统关键字和逻辑关键字，编写测试用例脚本以刻画被测软件行为。

一个简化的测试用例脚本示例如下，

import system#引入系统关键字库，包含被测软件soft；

system.init()#系统初始化；

do soft.key something#执行测试步骤；

assert system done#校验系统测试结果。

上述过程可以简化为以下步骤：

S1、根据航电系统的各子系统的设计方案提取功能关键字，并根据所述功能关键字构建各子系统的逻辑输入输出，同时，根据航电系统的接口控制文件构建各接口关键字的逻辑功能；

S2、构建用例脚本，包括根据用例需求引用相应的所述子系统的逻辑输入输出及相应的接口关键字的逻辑功能的步骤，执行用例的步骤以及判断用例结果的步骤；

S3、根据用例结果判断所述机载软件是否符合设计需求。

上述用例脚本中，system和soft代表了系统关键字库，定义了机载软件的网络拓扑结构和功能特性，如图2所示；system.init()中执行了特定的系统或者软件功能，由支撑脚本实现；something等表示对关键字的操作，可以是赋值、支撑脚本定义的系统/软件功能、或者其他测试脚本。在用例脚本的最后一行，对测试结果进行校验。

实际中用例脚本会使用到更复杂的逻辑结构，本发明的系统关键字库、控制关键字库、支撑脚本库等将予以支持。当然测试用例脚本的开发不是一蹴而就的过程，在新产品的早期测试中，还是以人工测试为主，需要逐步将人工测试用例转换为关键字库、支撑脚本库和测试用例脚本，以便应用于回归测试及后续改型产品测试。

下面以一个简化的航电系统功能实例来演示基于关键字驱动的机载软件自动化测试方法。简化的航电系统包含了座舱显示控制系统(其运行软件为显示控制软件，以下简称DCP)、导航系统(其运行软件为导航系统软件，以下简称NAV)。座舱显示控制系统负责显示各子系统的相关数据，并将驾驶员的交互操作命令下发给各子系统；导航系统负责整理传输各传感器的数据信息，并和显示控制系统进行数据和命令的交互。

需要完成的测试是DCP和NAV之间的接口通信功能。依据的文件是DCP需求规格说明书、NAV需求规格说明书、DCP和NAV的接口控制文件。

首先，对上述两系统进行系统关键字和接口关键字建模，其中，系统关键字建模包括前述步骤S1中的根据航电系统的各子系统的设计方案提取功能关键字，并根据所述功能关键字构建各子系统的逻辑输入输出，同时，根据航电系统的接口控制文件构建各接口关键字的逻辑功能，接口关键字建模包括前述步骤S2中的根据用例需求引用相应的所述子系统的逻辑输入输出及相应的接口关键字的逻辑功能的步骤。

根据DCP需求规格书，DCP软件的功能，实时显示经度和纬度、显示NAV故障字、启动NAV维护子检测、变更NAV数据源等。故可以建立DCP系统关键字：

defDCP：#定义系统关键字DCP；

var longitude#变量：NAV发送的经度；

var latitude#变量：NAV发送的纬度；

varfaultNAV#变量：NAV故障字；

funcstartNAVMBit#功能：启动NAV维护自检测；

funcchangeNAVSrc#功能：更改NAV数据源。

同样，根据NAV需求规格书，NAV软件的功能，周期发送经度和纬度、启动维护子检测并发送故障字、变更数据源等。故可以建立NAV系统关键字：

defNAV：#定义系统关键字NAV；

var longitude#变量：周期发送的经度；

var latitude#变量：周期发送的纬度；

varfault#变量：故障字；

varsrc#变量：数据源；

funcstartMBit#功能：启动维护自检测；

funcchangeSrc#功能：更改数据源。

根据DCP和NAV的接口控制文件，DCP和NAV之间通过RS422连接，通信协议为3帧，分别为状态字、经度、纬度。故可以建立接口关键字：

defInterface_DCP_NAV：#定义接口关键字；

funcInit#功能：初始化接口，包括端口、波特率等；

funcDataTrans#功能：数据交换；

funcDataDCPPack#功能：根据接口文件，将DCP数据打包，放入RS422的缓冲区；

funcDataDCPUnPack#功能：根据接口文件，对RS422缓冲区的数据进行解包，并赋值给DCP对象；

funcDataNAVPack#功能：根据接口文件，将NAV数据打包，放入RS422的缓冲区；

funcDataNAVUnPack#功能：根据接口文件，对RS422缓冲区的数据进行解包，并赋值给NAV对象。

可以理解的是，构建各接口关键字的逻辑功能包括描述接口控制协议以及接口连接关系，例如本实施例中的机载软件soft关键字如图3所示，其包括接口数量、协议、模拟量接口等若干关键字。

本发明中，在前述步骤S2之前，还包括构建系统定义脚本，所述系统定义脚本包括根据航电系统不同研发阶段将所述各子系统的逻辑输入输出以及所述各接口关键字进行逻辑功能整合，承接上述实施例，下面描述系统定义脚本。即该实施例为上述简化的航电系统建立系统定义脚本。

简化的航电系统只包含座舱显示控制系统和导航系统，两者通过422接口连接，根据上述定义的系统关键字和接口关键字，可以定义一个系统定义脚本：

defsubAvionics#定义航电子系统定义脚本；

import DCP,NAV,Interface_DCP_NAV#引入系统和接口关键字；

DCP theDCP(0,0,…)#定义并初始化DCP；

NAV theNAV(0,0,…)#定义并初始化NAV；

Interface_DCP_NAVinterDCPNAV(theDCP,theNAV)#定义接口，关联DCP和NAV；

interDCPNAV.init(port0,9600,….)#接口初始化。

需要说明的是，除上述实施例外，本发明构建各子系统的逻辑输入输出包括使所述各子系统执行周期性的输出或者响应其它子系统的输入，例如每隔一定时间向DCP输入数据，同样，DCP接收到该数据，并进行相应，例如周期性显示NAV数据。

前述步骤S2中，执行用例的步骤以及判断用例结果的步骤的前一步要构建测试用例脚本，根据测试需求，编写测试用例脚本，此处以数据显示和数据源切换为例。

case 1，DCP周期显示NAV数据；

import subAvionics#引入系统定义脚本；

theNAV.latitude＝10°15’12#定义NAV数据；

theNAV.latitude＝-179°15’12；

interDCPNAV.DataNAVPack()#对NAV数据进行打包；

interDCPNAV.DataTrans()#进行数据发送；

assert theNAV,theDCP#判断DCP显示数据和NAV是否一致。

case 2，NAV更改数据源；

import subAvionics#引入系统定义脚本；

theDCP.changeNAVSrc()#DCP更改数据源；

interDCPNAV.DataDCPPack()#对DCP数据进行打包；

interDCPNAV.DataTrans()#进行数据发送；

assert theNAV.src#判断NAV数据源是否更改。

测试用例脚本的执行依赖于解析执行层，参考图1，解析执行层主要由测试开发工程师构建和维护，负责对测试用例脚本进行解析，生成和执行可执行脚本，并保存测试结果。主要分为两大部分，“执行脚本生成器”和“关键字库及支撑脚本”。其中，“关键字库及支撑脚本”由系统关键字库和支撑脚本库组成。

1)系统关键字库

机载系统设计中，通常强调综合化和余度设计，各个系统之间通过机载总线进行通信，构成了一个特殊的计算机网络。本发明构建了拓扑结构的机载软件系统关键字库，从而能够全面的描述机载软件及其所处的网络结构关系。这种拓扑结构是任务导向，与硬件实现无关，可以适应于现有及未来的机载系统。

从完成飞行任务的角度，机载软件主要承担了飞行安全任务、人机交互任务、导航任务和特种飞行任务，可以大致得到如图2所示的机载软件系统，

飞行安全任务：负责维持飞行器安全飞行，如飞行控制软件、发动机控制软件等；

人机交互任务：负责与飞行员进行交互，如综合显示控制软件、通信系统软件等；

导航任务：负责飞行器定位和飞行计划，如组合导航软件，飞行管理软件；

特种飞行任务：负责执行特定飞行任务，例如火力控制软件、外挂管理软件等。

需要注意的是，执行特定任务的软件也可能会构成一个任务软件网络，因而实际的飞行器软件拓扑结构非常复杂。但是在实践中，系统关键字库的设计要参照系统设计说明书，对上述部分进行裁剪和更改，只会针对有限个软件进行测试，关注的范围较小，构建的系统关键字库规模与测试范围相适应。

机载软件的关键字主要包括两部分，一部分是接口关键字，包括接口软件数量、接口协议、模拟量/数字量通道等，这部分具有较高的标准性，主要参照接口控制文件；另一部分是功能关键字，由软件本身所承担的功能决定，主要参照软件需求规格说明，数量从十几到数百不等，如组合导航软件，其功能关键字有组合模式、时间、经度、维度、高度、地速、加速度、风速、风向、磁航角、偏航角等等数十个。

在机载软件的设计中，其接口和功能都是严格定义的，其关键字和数据类型、数据范围密不可分，因此机载软件的关键字采用键值对的形式。

2)支撑脚本库

支撑脚本库包括接口支撑脚本、系统支撑脚本和软件支撑脚本。

接口支撑脚本，通过模拟机载总线协议和传感器\执行器信号特性，按照接口控制文件定义，实现了虚拟的机载总线连接和传感器\执行器信号连接。

系统支撑脚本，主要定义系统中各软件的接口交联关系，并提供初始化、启动、暂停、终止、log记录等功能。

软件支撑脚本，实现了软件的逻辑功能，以及通用的测试功能。如下面的示意脚本所示，在系统关键字库的基础上，提供了功能接口，简化了测试用例脚本的设计。

import system#引入系统关键字库

definit():#软件初始化

setsoft.key something

def receive():#软件逻辑功能

if soft.key1:

do something

deftraverse_test():#软件通用测试功能

for value in soft.key

do something

3)脚本解析

脚本解析器实质上是一个脚本文件，按照预先定义好的解析规则，负责检查测试用例脚本是否正确，并基于系统关键字库的相关定义生成可执行脚本。

4)脚本执行

脚本执行负责运行可执行脚本，并记录测试结果。如图4所示，脚本执行器通过接口支撑脚本和硬件接口驱动进行通信和控制，并依照可执行脚本和相应的支撑脚本，完成预定的测试任务。鉴于测试脚本执行和硬件具有较强的相关性，建议选用支撑相关硬件的商用工具或开源测试库。

最后还需要硬件驱动层，以运行前述程序，或执行程序命令，或通讯等。

硬件部分主要包括“机载总线”和“传感器/驱动器”，建议采用开放式PC架构，如图5所示，机载总线协议和模拟外部软件的模拟量/数字量信号都以板卡的形式，通过计算机总线交联。也可采用专用的仿真测试设备，但要求其驱动能够匹配脚本执行。

相关板卡或设备都拥有专用的驱动程序和支持二次开发的软件开发包，能够支持或者通过自主开发来适配脚本执行功能。

本实施例还提供了一种关键字驱动的机载软件自动化测试系统，其特征在于，包括：

由航电各子系统的逻辑输入输出构成的功能关键字库；

由各接口关键字的逻辑功能构成的接口关键字库；

由执行所述机载软件自动化测试的执行用例脚本；以及，

判断所述机载软件是否符合设计需求的判断模块。

本实施例中，关键字驱动的机载软件自动化测试系统还包括航电系统脚本库，包含航电系统各研制阶段的系统定义脚本。

其中，所述功能关键字库包括周期性数据，所述功能关键字库包括响应数据，所述接口关键字库包括接口控制协议以及接口连接关系。

现有的机载软件测试依然以手工测试为主，不能适应日渐繁复和紧迫的软件开发与需求验证，迫切需要采用自动化测试技术。本发明提出了一种关键字驱动的机载软件自动化测试方法系统，能够带来如下优势，

提高了测试脚本的复用性，有利于形成测试资产；

降低了回归测试成本，缩短了全过程测试周期；

规范和固化了测试方法，保证了测试过程一致性；

便于其他测试工具集成，提高测试自动化水平。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种关键字驱动的机载软件自动化测试方法，其特征在于，包括：

S1、根据航电系统的各子系统的设计方案提取功能关键字，并根据所述功能关键字构建各子系统的逻辑输入输出，同时，根据航电系统的接口控制文件构建各接口关键字的逻辑功能；

S2、构建用例脚本，包括根据用例需求引用相应的所述子系统的逻辑输入输出及相应的接口关键字的逻辑功能的步骤，执行用例的步骤以及判断用例结果的步骤；

S3、根据用例结果判断所述机载软件是否符合设计需求。

2.如权利要求1所述的关键字驱动的机载软件自动化测试方法，其特征在于，在步骤S2之前，还包括构建系统定义脚本，所述系统定义脚本包括根据航电系统不同研发阶段将所述各子系统的逻辑输入输出以及所述各接口关键字进行逻辑功能整合。

3.如权利要求1所述的关键字驱动的机载软件自动化测试方法，其特征在于，所述构建各子系统的逻辑输入输出包括使所述各子系统执行周期性的输出。

4.如权利要求1所述的关键字驱动的机载软件自动化测试方法，其特征在于，所述构建各子系统的逻辑输入输出包括响应其它子系统的输入。

5.如权利要求1所述的关键字驱动的机载软件自动化测试方法，其特征在于，所述构建各接口关键字的逻辑功能包括描述接口控制协议以及接口连接关系。

6.一种关键字驱动的机载软件自动化测试系统，其特征在于，包括：

由航电各子系统的逻辑输入输出构成的功能关键字库；

由各接口关键字的逻辑功能构成的接口关键字库；

由执行所述机载软件自动化测试的执行用例脚本；以及，

判断所述机载软件是否符合设计需求的判断模块。

7.如权利要求6所述的关键字驱动的机载软件自动化测试系统，其特征在于，还包括航电系统脚本库，包含航电系统各研制阶段的系统定义脚本。

8.如权利要求6所述的关键字驱动的机载软件自动化测试系统，其特征在于，所述功能关键字库包括周期性数据。

9.如权利要求6所述的关键字驱动的机载软件自动化测试系统，其特征在于，所述功能关键字库包括响应数据。

10.如权利要求6所述的关键字驱动的机载软件自动化测试系统，其特征在于，所述接口关键字库包括接口控制协议以及接口连接关系。