CN109522215A - 铁路信号系统安全苛求软件的自动化测试平台 - Google Patents

Abstract

本发明公开了一种铁路信号系统安全苛求软件的自动化测试平台，其采用规则和数据模型驱动，能实现对C和C++语言编写的软件代码进行自动静态分析和动态测试，从而完成软件的编码规则检查、软件质量度量和动态测试，及覆盖率统计和执行信息等，并能在静态分析和动态测试结果基础上基于源代码实现用例模板的自动生成；该方案以自动执行代替繁琐的人工操作，避免了人为的输入错误，能够保证整个测试过程和执行过程的正确性以及测试结果的准确性，保证了软件测试的质量；且自动执行方式在最大程度上提高了测试执行的效率，节省了大量人力和物力，实现了测试资源的共享和有效利用，为批量测试较大规模的软件和回归以及遍历某些安全相关的软件提供了便利。

Description

铁路信号系统安全苛求软件的自动化测试平台

技术领域

本发明涉及软件测试技术领域，尤其涉及一种铁路信号系统安全苛求软件的自动化测试平台。

背景技术

随着我国铁路特别是客运专线和高速铁路的快速发展，使得软件在铁路系统中的应用无处不在，在铁路安全相关系统中的应用范围也越来越广，而且软件的规模越来越庞大，软件承担的安全功能也越来越多。如车站联锁系统从最初的机械联锁、电气集中联锁到目前广泛应用的计算机联锁，软件从无到有，软件的规模急剧增长，系统的核心逻辑处理功能大多数由软件来完成。因此，软件的质量也直接影响到系统的安全性，加强软件质量管理，特别是系统赋予软件的安全性，提高和保障软件质量已成为行业当前的迫切需要。

铁路信号安全苛求软件的测试是保障软件质量的重要环节。对于安全相关的软件开发，行业的相关标准和规范都提出了明确的要求，要求在软件开发全生命周期开展测试验证活动。EN50128标准是国际上较通用的铁路应用控制和防护系统的软件标准，该标准对铁路控制和防护设备中使用的可编程电子系统的软件开发和安全保障进行了总体规范，并为开发不同安全完整性等级的系统软件提供了相应的各种技术和措施。软件的测试与验证要求实现软件源代码的验证，确保软件实现与设计的一致，具体软件测试内容分为软件模块测试、软件集成测试以及软件总体测试。

软件模块测试主要是验证每个模块是否正确、合理地实现了软件模块设计规范所预定的功能，并尽可能早地找出软件在设计与实现过程中可能存在的缺陷和不足。为此，在测试过程中需要严格按照测试计划进行测试，对每个模块依据设计的软件模块测试用例进行测试，以证实各模块都完成了其特定的功能并符合软件编码规则要求。在软件模块测试阶段主要采用了静态分析和动态分析相结合的方法。

静态分析是在软件模块不执行的情况下进行的测试活动，动态分析是在测试输入的驱动下执行软件模块的测试方法。在EN50128中按照不同的软件安全完整性等级提供了许多静态分析和动态分析所采取的技术方法和措施，该应用中根据SIL4推荐的要求，选取数据流分析、控制流分析和代码走读的技术，以边界值分析、等价类划分和错误猜测的方法设计测试用例，并对软件模块及整体的质量进行度量。在执行软件模块测试时，除了检查每个模块是否满足软件模块规范的需求之外，还要满足相应软件级别的覆盖率要求，以保证所有源代码以及条件的组合都至少有效执行一次，其测试工作量巨大。

软件测试作为软件开发质量保障流程中重要的一个环节，作为控制软件质量和保障软件安全的重要手段和有效措施，得到了各行各业的一致认可，但由于软件产品本身的特殊性和测试的复杂程度，软件测试的投入和测试的效率一直是制约安全产品开发和最终发布的重要环节。软件的测试按照不同阶段规定了不同的测试目标和发现问题的类型，对于软件属性层面的测试，不仅工作量大，而且回归次数多，如何在保证测试质量的前提下降低测试的复杂程度，简化测试流程，提高测试效率，有效利用测试资源和环境，尽可能早的发现软件的缺陷，一直是行业里亟待解决的问题。

自动化测试技术是解决软件开发过程中测试活动过于复杂和繁琐的有效手段，也是软件测试发展的重要方向之一。自动化测试是把以人为驱动的测试行为转化为机器执行的一种过程。根据铁路信号系统安全相关软件的测试要求，所有软件必须要经过源代码的验证和基于结构的覆盖率测试。源代码的验证需要实现软件的编码规则、质量度量、以及代码走查和评审等，基于结构的测试按照软件的不同等级需要完成语句、分支以及路径的覆盖。行业里也有多种类型的测试工具支持相应的测试，但由于这些工具自身以及工具之间缺乏集成接口，测试的资源有限，测试时需要人工边输入边执行，占用大量的人力物力，如何集成测试环境，对于有明确定义的特定要求的测试实施自动化，将是大大提高测试效率和保证测试质量两全其美的解决方案。

发明内容

本发明的目的是提供一种铁路信号系统安全苛求软件的自动化测试平台，能够最大程度上提高测试执行的效率和质量，为实现较大规模项目的批量软件测试提供便利。

本发明的目的是通过以下技术方案实现的：

一种铁路信号系统安全苛求软件的自动化测试平台，包括：环境设置模块、静态分析模块及动态测试模块；其中：

所述环境设置模块，用于实现用户交互接口与自动化测试平台、测试套件以及各种服务器接入之间的配置，其包括：接口设置、注册环境和测试配置；

所述静态分析模块，用于实现成代码评审和软件质量度量统计工作，其内容包含测试对象的获取、静态执行和导出分析结果；

所述动态测试模块，用于根据用户定义的测试数据的要求，执行测试对象，以分析预期结果和实际结果之间的差异；还用于完成用户测试数据的自动录入和测试对象的自动执行，其内容包含获取测试对象、动态执行和导出测试结果。

由上述本发明提供的技术方案可以看出，以自动执行代替繁琐的人工操作，避免了人为的输入错误，能够保证整个测试过程和执行过程的正确性以及测试结果的准确性，保证了软件测试的质量；并且自动执行方式在最大程度上提高了测试执行的效率，节省了大量人力和物力，实现了测试资源的共享和有效利用，为批量测试较大规模的软件和回归以及遍历某些安全相关的软件提供了极大的便利。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的铁路信号系统安全苛求软件的自动化测试平台的应用场景示意图；

图2为本发明实施例提供的一种铁路信号系统安全苛求软件的自动化测试平台的示意图；

图3为本发明实施例提供的自动化测试平台与外部的边界示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种铁路信号系统安全苛求软件的自动化测试平台，该自动化测试平台基于模型驱动和客户端/服务器架构实现，其主要用于软件开发阶段通过规则和数据模型实现安全编码规则检查和质量度量，以及功能和结构性的自动化测试，自动完成软件静态分析和动态测试、以及测试结果的统计与分析，发现软件中不符合安全编码规则、结构化设计原则、以及软件功能要求的各种缺陷，在提高软件的安全性和可靠性的同时大大提高测试的效率和质量。

本发明实施例提供的铁路信号系统安全苛求软件的自动化测试平台该测试平台的应用场景如图1所示，该自动化测试平台是以多种脚本形式实现对测试对象的自动静态分析和动态测试，能自动地实现对C和C++语言编写的软件代码的编码规则检查、质量度量和动态测试功能，并能在静态分析和动态预测试的结果基础之上，实现测试用例模板的自动生成，整个过程保证分析和执行过程以及结果的准确性，并在最大程度上提高测试执行的效率和质量，为实现较大规模项目的批量软件测试提供便利。

自动化测试服务器(也即自动化测试平台)根据客户端测试要求负责从配置管理服务器获取测试对象，根据测试策略和测试设计要求为测试套件服务器提供所有的测试输入，驱动自动执行测试，根据项目配置信息自动将测试结果和分析报告等软件基本信息纳入到缺陷管理服务器的数据库，最后根据测试要求输出测试报告并反馈给客户端。自动化测试平台实现对被测对象的编码规则检查、质量度量和动态测试功能，并能在静态分析和动态预测试的结果基础之上实现测试用例模板的自动生成，整个过程保证分析和执行过程以及结果的准确性，并在最大程度上提高测试执行的效率和质量，为实现较大规模项目的批量软件测试提供便利。

如图2所示，为铁路信号系统安全苛求软件的自动化测试平台的示意图；其主要包括：环境设置模块、静态分析模块及动态测试模块；其中：

环境设置模块，用于实现用户交互接口与自动化测试平台、测试套件以及各种服务器接入之间的配置，其包括：接口设置、注册环境和测试配置；

静态分析模块，用于实现成代码评审和软件质量度量统计工作，其内容包含测试对象的获取、静态执行和导出分析结果；

动态测试模块，用于根据用户定义的测试数据(包含基本输入条件和预期输出结果)的要求，执行测试对象，以分析预期结果和实际结果之间的差异；还用于完成用户测试数据的自动录入和测试对象的自动执行，其内容包含获取测试对象、动态执行和导出测试结果。

此外，该自动化测试平台，还能够实现用例模板文件的自动生成，用例模板功能主要是为测试用例数据提供基本框架，统一用户定义数据和测试工具识别数据的格式，具体的生成过程：通过静态分析模块获取生成用例模板的对象、执行分析和提取数据；通过动态测试模块根据静态分析模块提取出的数据执行序列文件，产生模板数据并生成最终的用例模板文件。

如图3所示，所述自动化测试平台与外部的边界共有四个：与测试输入的边界、与测试输出的边界、与静态分析工具的边界以及与动态测试工具的边界；其中：

1)与测试输入的边界包括：与静态分析相关的测试输入及与动态测试相关的测试输入；所述与静态分析相关的测试输入包括：测试配置和测试对象；所述与动态测试相关的测试输入包括测试配置、测试对象和测试用例；所述测试配置完成自动化测试平台的界面和测试过程中环境参数的设置(如编码规则、包含文件搜索路径、覆盖要求、测试方法等)；测试对象是指用户需要测试的源文件；测试用例是指用户按照规定格式编写的用于测试被测对象的案例文档，其中包括基本的输入条件、预期输出结果和通过与否的判断准则。

2)与测试输出的边界包括：由静态分析模块产生的分析结果及由动态测试模块产生的测试结果；所述分析结果包括管理报告、规则检查报告和质量度量报告，所述规则检查报告是记录测试对象违反相应规则的信息文档，质量度量报告是度量软件质量特性的报告；所述测试结果包括：管理报告和回归测试报告，所述回归测试报告是记录用例输入、输出和执行结果信息的报告；所述分析结果中的管理报告统计了规则检查与质量度量的覆盖信息(覆盖率分析结果)，所述测试结果的管理报告统计了回归测试的覆盖信息。还包括：过在静态分析模块和动态测试模块上形成的用例模板文件。

3)与静态分析工具的边界包括：自动化测试平台通过调用通用的静态分析工具来完成测试对象的静态分析过程和动态测试前的静态分析结果，所有调用在后台进行；

4)与动态测试工具的边界包括：自动化测试平台通过调用通用的动态测试工具完成测试对象的动态测试，其调用也在后台进行。

本发明实施例提供的上述自动化测试平台是一种采用规则和数据模型驱动的自动化测试框架平台，能够实现对C和C++语言编写的软件代码进行自动静态分析和动态测试，从而完成软件的编码规则检查、软件质量度量和动态测试，以及相关的覆盖率统计和执行信息等，并能在静态分析和动态预测试的结果基础之上基于源代码实现测试用例模板的自动生成。其目的是以自动执行代替繁琐的人工操作，避免了人为的输入错误，能够保证整个测试过程和执行过程的正确性以及测试结果的准确性，保证了软件测试的质量；并且自动执行方式在最大程度上提高了测试执行的效率，节省了大量人力和物力，实现了测试资源的共享和有效利用，为批量测试较大规模的软件和回归以及遍历某些安全相关的软件提供了极大的便利。

为了便于理解，下面针对该自动化测试平台做进一步的介绍。

还参见图2，该自动化测试平台根据用户的测试需要完成测试对象的静态分析、模板生成或/和动态测试，用户只需选择测试对象和测试方法即可自动完成其相应的分析与测试，主要包括如下五个部分：环境设置部分、静态分析部分、动态测试部分、生成用例模板部分以及用例封装部分，各部分的详细描述和要求如下：

第一部分：环境设置。

环境设置功能主要实现用户交互接口和自动化测试整合平台包与测试环境之间的配置，主要内容包括界面设置、服务器配置、注册环境和测试配置。

界面设置主要完成自动化测试整合平台的窗体颜色、大小、位置和名称等信息的设置，适用于静态分析、用例模板和动态测试三个部分的窗体描述，对于有不同要求的在功能描述中详述。

注册环境主要完成自动化测试整合平台的注册和注销功能，为方便获取测试对象和执行测试操作提供便利。

测试配置中包含对静态分析和动态测试的各种设置操作，静态分析中主要提供编码标准模型、软件质量度量模型和报告生成格式的设置，动态测试中主要提供用例模板宏文件的设置、黑白灰三种测试方法的设置和动态覆盖率搜集结果要求的选择。

第二部分：静态分析。

静态分析功能主要实现自动化测试平台驱动静态分析单元，完成代码评审和软件质量度量统计等工作，主要内容包含测试对象的获取、静态执行和导出分析结果三个方面。

获取测试对象环节主要是在快捷选择测试对象时自动添加获取测试文件的名称、路径等信息，并根据测试文件信息创建项目的测试环境。

静态执行主要是按照静态测试配置模式调用TESTBED并进行执行情况分析。

导出分析结果操作主要是在测试执行完成后整理测试结果并保存，在整个静态分析完成后清理工作区域。

第三部分：生成用例模板文件。

生成用例模板功能主要是为测试用例数据提供基本框架，统一用户定义数据和测试工具识别数据的格式，其生成包含静态分析和动态测试两个过程，静态分析过程主要包括获取生成用例模板的对象、执行分析和提取数据部分。动态测试过程根据静态分析提取的数据执行序列文件，产生模板数据并生成最终的用例模板文件。

生成用例模板中获取测试对象的操作与静态分析阶段的要求基本类似。

生成用例模板中执行分析的操作与静态分析阶段的要求基本类似。

提取数据部分主要是将分析的结果进行整理归类，为生成模板做准备。

执行序列部分主要是结合提取的数据和引导序列文件执行相应序列，并从中搜集测试文件对应的用例模板数据信息，模板数据至少应包含变量信息、数据类型、主要用途以及函数调用关系等。

生成模板主要是将搜集的用例模板数据文件按照用户的实际需求，整理成易于编写、阅读和存档的指定类型的文档，并可根据特定的测试文件进行其测试数据的编写。

第四部分：动态测试。

动态测试功能主要实现根据用户定义的测试数据(包含基本输入条件和预期输出结果)的要求，执行测试对象，以分析预期结果和实际结果之间的差异。自动化测试平台的动态测试部分需要完成用户测试数据的自动录入和测试对象的自动执行，主要内容包含获取测试对象、动态执行和导出结果。

获取测试对象操作包含测试文件和测试用例的获取，并创建项目信息。在快捷选择测试对象时自动或手动添加获取测试文件的名称、路径等信息，并根据测试文件信息转换测试用例和创建项目的测试环境。

动态执行主要是按照动态测试配置模式调用TBrun并进行执行情况分析；

导出测试结果操作主要是在测试执行完成后整理测试结果并保存，在整个动态测试完成后清理工作区域。

第五部分：用例封装功能

用例封装功能主要是对测试用例的框架和结构模型进行封装，并根据测试环境的具体要求进行转换，以隔离测试数据和测试平台，降低用例数据和测试环境的依赖性，并提高测试用例的通用性。

用例宏文件主要是在用例编写和转换过程中提高其效率，并保证前后的统一性，主要包含转换测试用例和复制测试用例。

本发明实施例提供的上述自动化测试平台所获得的有益效果主要包括：系统具有分析过程完整、结果准确、信息全面、支持平台多、自动化程度高、回归方便、运行效率高、节省测试资源等特点，具体的：

第一、可定制化的规则和度量模型更符合安全苛求软件的静态分析

在铁路安全苛求软件的测试中，有许多与开发环境、操作系统和硬件资源相关的软件代码，与单纯软件构成的应用系统相比，其规则和度量要求有所不同。因此，可定制化的规则更方便进行有针对性的测试。编码规则的定制使得测试的目标更有侧重点，有助于发现违反安全编码原则的编码缺陷；度量模型的定制可根据系统的复杂程度和软件规模的大小不断地优化度量模型，更有利于软件结构化设计的实施。

第二、采用数据驱动的动态测试方式更符合安全软件测试的根本目标。

基于数据的测试是一种判定软件产品是否满足用户需求的重要依据，通过对软件需求的分析，根据输入域和输出域的划分，提取关键的特征数据，该自动化测试平台以此数据驱动后续测试活动，完成功能和结构的自动化测试执行。测试数据作为影响动态测试活动质量的主要因素，以数据驱动的动态测试更有利于发现软件需求方面的缺陷。

第三、能够基于源代码自动生成测试用例的规格化模板

在软件测试的全生命周期中，基于源代码结构的测试工作量占了很大的比例，而对于测试用例的设计和数据成员的提取影响着整个软件测试的效率和质量。该系统通过对软件源代码进行静态分析，获取软件的格式化信息，如源文件的组成、过程名称、数据对象名称、以及类型和相互之间的关系；再通过获取的基本信息对源代码进行动态预测试，完成初步的编译和分析，最终在其结果基础上自动生成对应代码的测试用例模板。该方法大大简化了测试用例设计的工作量，并避免了测试用例设计中由于人为错误造成的测试用例执行失败的问题。

第四、采用C/S架构自动完成静态分析、动态测试和模板生成

由于安全苛求软件测试的周期长，工作量大，需要更多的资源来支撑软件测试活动，特别是对于多个软件项目同时进行或软件规模比较大的情况下，往往造成资源紧缺的问题。该自动化测试平台利用C/S架构，将主要资源集中在服务器上，客户端通过队列或多线程并行方式发起测试任务，自动化测试服务器接收到客户端发来的测试任务，对进行进行规格化检查后形成测试包，驱动执行单自动完成静态分析、动态测试和模板生成。该方式不但节省了测试资源，还为批量的测试提供了便利，大大提高了测试的效率和质量。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种铁路信号系统安全苛求软件的自动化测试平台，其特征在于，包括：环境设置模块、静态分析模块及动态测试模块；其中：

所述环境设置模块，用于实现用户交互接口与自动化测试平台、测试套件以及各种服务器接入之间的配置，其包括：接口设置、注册环境和测试配置；

所述静态分析模块，用于实现成代码评审和软件质量度量统计工作，其内容包含测试对象的获取、静态执行和导出分析结果；

所述动态测试模块，用于根据用户定义的测试数据的要求，执行测试对象，以分析预期结果和实际结果之间的差异；还用于完成用户测试数据的自动录入和测试对象的自动执行，其内容包含获取测试对象、动态执行和导出测试结果。

2.根据权利要求1所述的一种铁路信号系统安全苛求软件的自动化测试平台，其特征在于，所述自动化测试平台与外部的边界共有四个：与测试输入的边界、与测试输出的边界、与静态分析工具的边界以及与动态测试工具的边界；其中：

所述与测试输入的边界包括：与静态分析相关的测试输入及与动态测试相关的测试输入；所述与静态分析相关的测试输入包括：测试配置和测试对象；所述与动态测试相关的测试输入包括测试配置、测试对象和测试用例；所述测试配置完成自动化测试平台的界面和测试过程中环境参数的设置；测试对象是指用户需要测试的源文件；测试用例是指用户按照规定格式编写的用于测试被测对象的案例文档，其中包括基本的输入条件、预期输出结果和通过与否的判断准则；

所述与测试输出的边界包括：由静态分析模块产生的分析结果及由动态测试模块产生的测试结果；所述分析结果包括管理报告、规则检查报告和质量度量报告，所述规则检查报告是记录测试对象违反相应规则的信息文档，质量度量报告是度量软件质量特性的报告；所述测试结果包括：管理报告和回归测试报告，所述回归测试报告是记录用例输入、输出和执行结果信息的报告；所述分析结果中的管理报告统计了规则检查与质量度量的覆盖信息，所述测试结果的管理报告统计了回归测试的覆盖信息；

所述与静态分析工具的边界包括：自动化测试平台通过调用通用的静态分析工具来完成测试对象的静态分析过程和动态测试前的静态分析结果，所有调用在后台进行；

所述与动态测试工具的边界包括：自动化测试平台通过调用通用的动态测试工具完成测试对象的动态测试，其调用也在后台进行。

3.根据权利要求2所述的一种铁路信号系统安全苛求软件的自动化测试平台，其特征在于，

所述静态分析模块，还用于获取生成用例模板的对象、执行分析和提取数据；

所述动态测试模块，还用于根据静态分析模块提取出的数据执行序列文件，产生模板数据并生成最终的用例模板文件。

4.根据权利要求3所述的一种铁路信号系统安全苛求软件的自动化测试平台，其特征在于，所述与测试输出的边界还包括：通过在静态分析模块和动态测试模块上形成的用例模板文件。