CN104407971B - 自动化测试嵌入式软件的方法 - Google Patents

Abstract

本发明提出一种自动化测试嵌入式软件的方法，旨在提供一种设计与执行不再分离,能有效提高嵌入式软件测试效率和质量的方法。本发明通过下述技术方案予以实现:运用软件工程化将接口设计、测试策划、测试设计、测试执行、缺陷管理和回归测试集成到一个统一平台进行管理。根据项目不同，配置数据元和数据块之间的级数，设计接口控制文件；建立测试交联环境图，制定测试类型，设计测试项或测试子项，测试用例名称以及测试用例描述；设计独立测试用例，并将独立测试用例通过流程图联系在一起组成场景/业务流测试用例，测试设计的数据存入到数据库里；测试执行结合测试环境图、测试用例和接口路由，共同组成测试平台；测试结果由系统自动记录。

Description

自动化测试嵌入式软件的方法

技术领域

本发明涉及嵌入式软件测试技术，尤其是涉及一种嵌入式软件的自动化测试及管理方法。

背景技术

随着嵌入式技术的普及和发展,嵌入式应用日益走向纵深,嵌入式软件的开发规模也日益扩大,与之对应的嵌入式软件复杂程度也越来越高。由于嵌入式软件往往直接或间接控制一些硬件，与硬件设备组成一个系统，在实际环境下如果嵌入式软件出现错误，可能使其控制的硬件设备处于异常状态，如果软件控制的是安全关键设备，其软件故障将对整个系统造成无法弥补的损失，甚至危及人生和财产安全。嵌入式系统的特殊性决定了运行在其上的系统和应用软件必须精简高效，稳定可靠，使得软件的开发在整个嵌入式系统开发中的比重越来越高，软件的质量对整个产品的质量起到了决定性的作用。

软件测试是根据软件开发阶段的规格说明和程序的内部结构而精心设计一批测试用例(Test Case,即输入数据和预期的输出结果)，并利用这些测试用例去运行程序，以发现错误的过程。软件测试是软件质量保证的关键步骤，是软件生命周期的重要环节，是软件工程研究领域的重要内容。软件测试的有效开展对于提高软件质量至关重要。随着嵌入式系统复杂程度越来越高，嵌入式软件的测试正面临前所未有的挑战。大多数软件测试方法和工具都可以直接或间接地用于嵌入式软件的测试，但是由于嵌入式系统的自身特点，如实时性、内存不丰富、I/O通道少、开发工具昂贵、与硬件紧密相关、CPU种类繁多等等，嵌入式软件的开发和测试策略也就与一般商用软件的开发和测试策略有了很大的不同。嵌入式软件与其他软件相比，它具有专用性，它只能在需求所指定的硬件平台上运行。并且嵌入式软件的开发环境和运行环境是不一致的，因此即使宿主机环境下测试再充分，也不能说明在目标机环境下运行该软件就不出问题。因而，嵌入式软件还面临着目标环境的测试。这不仅增加了测试的代价，而且还带来了嵌入式软件的测试策略问题。

对于嵌入式软件的配置项测试和系统测试，其被测软件运行在真实的目标环境下，交联的配测设备是实物或仿真环境，通过输入真实或模拟的激励，测试软件在目标环境下的响应，对于了解软件的真实运行，对于提高软件的质量至关重要。目前，嵌入式软件配置项测试和系统测试，测试手段大多是手工编写测试用例，手动执行测试用例，再人工记录测试结果。被测软件的测试输入，往往依赖于开发设计的配测模拟器，而在项目时间紧张没有配测模拟器时，只能使用串口调试助手等调试工具模拟输入报文，如此需要对照ICD设计二进制或十六进制的测试输入数据，很不直观，接收到的输出数据也是二进制或十六进制的报文，还需对照ICD去逐个手动解析，不便于观察。对于交联环境复杂的软件测试，还需要针对不同模块不同接口，在不同的主机之间来回切换，不便于操作。当软件中所含缺陷被发现时，如果缺陷跟踪与管理系统不够完善，就可能会遗漏对这些缺陷的修改；而开发者对缺陷的理解不够透彻，也可能导致所做的修改只修正了缺陷的外在表现，而没有修复缺陷本身，从而造成修改失败。修改还有可能产生副作用,从而导致软件未被修改的部分产生新的问题，使本来工作正常的功能产生错误。同样，在有新代码加入软件的时候，除了新加入的代码中有可能含有缺陷外，新代码还有可能对原有的代码带来影响。因此，每当软件发生变化时，就必须重新测试现有的功能，以便确定修改是否达到了预期的目的，检查修改是否损害了原有的正常功能。同时，还需要补充新的测试用例来测试新的或被修改了的功能。这就是软件的回归测试Regression Test。回归测试作为软件生命周期的一个组成部分，在整个软件测试过程中占有很大的工作量比重。对于接口较为复杂的软件，构造测试输入数据在执行测试过程中需要花费很多时间，而这些测试数据在手动测试中难以保存，在进行回归测试时，需要重新编辑、输入、执行，费时费力。随着嵌入式系统的规模和复杂度急剧增加，开发周期和成本也越来越高。在软件的开发过程中，依靠人力进行分析测试效率太低，而且不能保证软件质量。对于测试成果，也难以继承和积累下来。自动化测试是使用一种自动化测试工具来验证各种软件测试的需求，它包括测试活动的管理与实施。自动化测试作为一种重要的软件测试技术,如果将其引入嵌入式软件的配置项测试和系统测试流程中,将会对软件的质量、成本和周期带来显著的效果。

作为嵌入式软件开发关键环节的测试自动化技术，在研究与发展同嵌入式软件开发的其他环节相比尤为滞后，“手工作坊式”的嵌入式软件测试的现象还没有彻底改变，不仅无法保障嵌入式软件的质量，而且严重制约了嵌入式软件产业的整体发展。嵌入式软件系统的复杂性也给嵌入式软件的测试带来了很多的困难。目前的自动化测试解决方案几乎都是采用“录制.回放＂的技术，侧重对界面的测试。所谓“录制.回放”技术，就是先由手工完成一遍需要测试的流程，同时计算机记录下这个流程，并形成特定的脚本程序。脚本是一组测试工具执行的指令集合，也是计算机程序的一种形式。脚本可以通过录制测试的操作产生，然后再做修改，但这种简单的录制/回放，由工具录制并记录操作的过程和数据形成脚本，通过回放来重复人工操作的过程。在这种模式下数据和脚本混在一起，几乎一个测试用例对应一个脚本，维护成本很高。而且即使界面的简单变化也需要重新录制，脚本可重复使用的效率低。而嵌入式的软件界面较为简单，甚至很多嵌入式软件根本没有界面。对于嵌入式软件测试，关注更多的是不同模块之间的数据交互、控制，以及响应。同时，随着嵌入式软件应用得越来越广泛，嵌入式软件之间的交互变得越来越复杂，即交联关系更为复杂。当前测试工具基本都是针对单机执行设计的，很难建立多个模块之间交互过程的业务流用例测试，而这方面的测试，却往往是一个软件的核心功能测试。

同时，对于嵌入式软件测试，不管是进行二方还是三方的测试，都需要生成格式严谨的测试计划、测试说明、测试记录和测试报告。目前通常的做法都是编写好测试计划、测试说明后，手动执行测试用例，记录测试结果，再编写测试报告。现有的测试管理工具如KTFLOW、QC可以辅助测试过程管理，但与测试执行是分离的，即测试记录需要手动记入，测试的效率和结果的真实性都有待提高。

另外，目前的测试工具都没有考虑软件工程化的问题，在测试过程中，软件需求和接口文档变更后，测试人员不能在第一时间获取到变更信息，导致测试工作的变更滞后，响应较差，影响整个项目的进度。

对于嵌入式软件，自动化测试一直没有找到一种行之有效的方法，从而严重影响了软件质量和开发效率。整个测试过程就是耗费大量时间的重复体力操作。而且测试过程中，每次测试用例的结果都是人为作判断的，测试用例数量往往非常多，整个测试过程下来，测试结果也会有很大的偏差，效率很低。

发明内容

为了解决上述技术问题，本发明的目的是提供一种能够快速执行、更好地利用资源、高效地执行测试脚本、提高测试准确度并提供规范化的测试重用性的嵌入式软件自动化测试和测试管理的方法，该方法设计与执行不再分离,能有效提高嵌入式软件测试的效率和质量。

本发明的上述目的可以通过以下措施来达到,一种自动化测试嵌入式软件的方法，具有如下技术特征:运用软件工程化将接口设计、测试策划、测试设计、测试执行、测试结果记录、缺陷管理和回归测试集成到一个统一平台进行管理，具体包括以下步骤：

步骤1，接口设计，把接口设计的元素分为数据元、数据块、数据组、逻辑块、接口消息模块几部分，根据项目不同，配置数据元和数据块之间的级数，将设计好的接口控制文件ICD存储在数据库里，后台生成标准的XML格式文件，以供测试数据自动生成、测试数据解析和接口文档自动生成使用；

步骤2，测试策划，建立测试交联环境图，制定测试类型，设计测试项或测试子项，测试用例名称以及测试用例描述，每个测试用例为一个测试点，并设定自动化测试系统支持根据不同格式的模板生成测试计划，即测试需求分析的内容；

步骤3，测试设计，测试设计分为三步，第一步根据ICD元素，结合逻辑关系自动生成测试数据；第二步设计独立测试用例，将本用例涉及到的ICD拖入到设计界面建立本用例的交联框图，并为每条ICD选取/设计对应的测试数据和数据属性；第三步设计关联测试用例，测试人员可以使用场景分析法，基于场景/业务流，模仿用户在实际使用过程中的操作，将不同的测试用例通过流程图的方式联系在一起，设计场景或业务流测试用例，或对不同的状态转换进行测试。在界面设计好测试数据及数据属性后，自动化测试系统自动生成测试脚本和测试步骤，步骤的描述围绕数据的发送、接收展开，以数据为中心，格式统一，测试设计的数据存入到数据库里，同时支持根据不同格式的模板生成测试说明，测试用例的描述在测试策划时由测试人员设计，测试步骤由自动化测试系统自动生成；

步骤4，测试执行，测试执行结合测试环境图、测试用例、接口路由，共同组成测试平台，测试执行分为三步，第一步为数据分发，由接口路由总控端根据界面设计的测试交联环境图和测试用例，将测试激励/输入数据分发给对应的代理端；第二步为代理端驱动接口通信模块，将对应的测试数据发送给被测软件；第三步为代理端监控被测软件的响应，将与被测软件交互的模块之间的通信报文转发给总控端进行统一处理；

步骤5，测试结果记录，总控端收到代理端传回的数据后，进行显示并解析，同时与测试用例的预期结果报文进行比较，如果相同则判用例通过，显示用例执行成功Pass，如果不相同则判该用例不通过，显示用例执行失败Fail，测试结果由自动化测试系统自动记录，自动化测试系统支持根据不同格式的模板生成测试记录；

步骤6，缺陷管理和回归测试，对于执行失败Fail的测试用例，确认是被测软件缺陷的，在对应的测试用例后提交缺陷跟踪单，开发人员进行缺陷修复后进行回归测试，关闭已修改的缺陷；在回归测试中，如果ICD没有变更，回归时可以复用前期设计的测试用例，并自动进行回归测试执行；如果ICD的数据元素发生了变化，自动化测试系统自动标识出受影响的测试用例，提示测试人员对用例进行修改后再执行回归测试；测试用例在不同测试阶段所做的修改，自动化测试系统会将其标识为不同的版本存入数据库，以追溯数据修改过程和版本管理；自动化测试系统支持根据不同格式的模板生成缺陷报告单；

步骤7，知识库建立，测试结束后对测试过程进行总结，将设计精巧的测试用例纳入典型测试用例库里，将发现的有价值的缺陷纳入典型缺陷库里，以便于后期在做类似项目的测试工作时，进行借鉴，以持续提高。

本发明的优点和积极效果在于：

提高了工作效率。本发明利用工程化的思想，将软件接口设计、软件测试和缺陷管理集成在一起，资源共享，当接口变更时，测试人员可以在第一时间了解到这些变化，从而进行测试设计修改；同时，测试人员提交缺陷跟踪单后，开发人员也能在第一时间获取到软件缺陷信息，并进行修复工作，提高了工作效率。

提高了测试效率。本发明将接口设计、测试策划、测试设计、测试执行、测试结果记录、缺陷管理和回归测试集成到一个统一平台进行管理，提高软件测试的效率和质量。在开发人员设计好接口后，可自动生成部分测试数据；测试人员在界面设计好测试用例的测试数据及属性后，自动化测试系统自动生成测试脚本和测试步骤；测试执行时支持批量测试用例的执行，可以实现人休息而设备不休息，白天进行测试设计晚上自动执行测试等；对于回归测试，只要接口数据没有变更，就可以重用前期设计好的用例，直接自动执行即可，解决了当前嵌入式软件测试的难题，使得测试人员从回归测试的繁重工作中解脱出来。本发明将自动化技术应用于嵌入式软件测试中，自动生成测试数据和测试脚本，自动收集和监控测试过程数据，并自动记录测试结果数据，实现了一个具备过程管理、信息发布、缺陷跟踪等功能的高效的一体化测试，减轻了手工测试的工作量，使得测试人员可以将精力集中到测试设计上，节约了资源(包括人力、物力等)，保证了软件质量，缩短了测试周期。

设计与执行不再分离。本发明将测试用例的设计与测试执行结合起来，设计与执行不再分离，自动化测试系统根据界面设计的用例自动生成测试脚本，可消除手写脚本的错误，保持代码质量的一致性，通过一键点击重生成代码，更加可信与高效。

简化了测试人员的工作。本发明集成业界主流的测试管理,执行及分析软件,对测试过程中的各个方面加以管理,通过技术手段将他们整合起来。调用平台各个集成组成部分的外部接口,自动驱动各个组成,共同来完成自动测试需求以及通过代理端转发软件交互模块之间的通信报文给总控端进行统一处理，不需要测试人员在不同的主机上进行测试操作，简化了测试人员的工作，减少了人力物力和时间的投入。

提高了测试质量。本发明将测试设计分为三步，不但支持独立测试用例的设计，还支持关联测试用例的设计，如利用场景分析技术，通过流程图的方式复用独立测试用例，设计场景测试用例，使得设计的用例更加全面、充分。在回归测试中，如果ICD的数据元素发生了变化，自动化测试系统自动标识出受影响的测试用例，提示测试人员对用例进行修改后再执行回归测试，即对ICD数据的变更进行了自动化的影响域分析，保证了回归测试的质量。本发明支持文档自动生成，包括接口文档、测试计划、测试说明、测试记录和缺陷报告单，并提供测试报告所需的统计数据。测试过程中，测试意图和测试数据由测试人员设计，测试用例的步骤由自动化测试系统自动生成，测试记录由自动化测试系统自动记录，最终的文档由自动化测试系统自动生成，这样的设计减少了测试文档编辑的工作量，降低了测试工作的复杂性，解放了测试人员，节约了大量的人力。与以往的测试过程相比较，整个测试过程得到了有效的管理，分析测试结果方便、快捷，查找问题高效。并且，测试的每一个环节都具有可追溯性，在这些过程中，不易出现人为的一些失误，提高了测试质量。知识库的建立可以将测试的成果积累起来，以持续改进，提高软件测试质量。

本发明采用集成化技术，通过大量的功能模块程序，将单个独立的三方软件结合起来，形成了一条无缝的测试流水线，通过测试脚本自动生成测试程序、自动测试、自动生成测试文档；突出特点：自动生成测试脚本，极大地提高了测试的效率。将单个功能点模块化组件化，使测试过程设计更加简便快捷，提高了平台的重用性和复用性。

附图说明

图1是本发明自动化测试嵌入式软件的流程示意图。

图2是图1的接口设计示意图。

图3是图1的测试策划创建测试交联环境的原理示意图。

图4是图1的测试设计技术方案示意图。

图5是图1的测试执行流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，同时也为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步详细、深入的描述。应当理解，此处所描述的实施仅用作说明和解释本发明，并不用于限定本发明。

本发明的核心思想是：运用软件工程化的思想将接口设计、测试策划、测试设计、测试执行、测试结果记录、缺陷管理和回归测试集成到一个统一平台进行管理，提高软件测试的效率和质量。

参阅图1。在以下描述的实施例中，自动化测试嵌入式软件的方法实施例包括：

步骤101、接口设计，开发人员使用接口设计模块进行ICD设计，基于模块化和复用方面的考虑，接口设计的元素分为数据元、数据块、数据组、逻辑块和接口消息模块几部分，数据元为最小的数据单元，数据块由多个数据元组成，代表一个有意义的字段，数据组由多个数据块或数据元组成，代表一个更大的含义，一条接口消息模块就是一条完整的ICD，由多个数据组、数据块或数据元组成；逻辑块用来进行特殊逻辑设计，限定不同元素之间的特殊关系，如变长设计、有效性设计等；根据项目不同，数据元和数据块之间的级数可以配置，以方便开发人员根据项目情况进行扩展设计。设计好的ICD存储在数据库里，后台生成标准的XML格式文件，以供测试数据自动生成、测试数据解析和接口文档自动生成使用。自动化测试系统支持多个开发人员同时进行接口设计工作，也支持从三方的接口设计软件导入已经设计好的ICD数据。

在图2中，具体的接口设计包括数据元1和数据元2相连组成数据块1，数据元2和数据元3相连组成数据块2，数据块1和数据块2并联数据元3组成数据组1，数据元4和数据元5相连组成数据块3，数据块3中包含一个逻辑块1，逻辑块1限定数据块中的逻辑关系为变长，即数据块中数据元5重复的个数由数据元4的内容决定，若数据元4里的内容为3，则数据块3中包含1个数据元4和3个数据元5。接口消息模块1由数据组1并联数据块3和数据元6组成。接口消息模块1则是一条完整的ICD。

在接口设计时，使用界面式设计，数据元设计好后，在新建数据块时，可以直接将需要的数据元拖拽到数据块界面；数据块设计好后，在新建数据组的界面可以看到所有的数据块和数据元，只需将需要的数据元素拖拽过来即可，以此类推。根据项目不同，数据元和数据块之间的级数可以配置，以方便开发人员进行设计。每条ICD都要包括数据的源ID和目的ID。设计好的ICD存储在数据库里，后台生成标准的XML格式文件，以供测试解析、测试数据自动生成和测试用例设计使用。设计好的ICD可以通过自动化测试系统导出，自动生成标准格式的接口文档。对于文档导出功能的实现，同现有系统方法，故在此不再赘述。

接口设计模块分为服务器和客户端两部分，多个客户端分布在不同的电脑上，与服务器通过以太网连接，支持多个开发人员同时进行接口设计工作，提高工作效率。

步骤102、测试策划，测试人员根据开发设计的ICD、软件研制任务书、软件需求规格说明书、用户手册等相关资料，进行测试策划。测试策划包括建立测试交联环境图，制定测试类型，设计测试项或测试子项，测试用例名称以及测试用例描述。测试子项的描述为其包含的多个测试用例的描述合并在一起，每个测试用例就是一个测试点。自动化测试系统支持根据不同格式的模板生成测试计划中测试需求分析的内容。

参阅图3。在本发明中，测试人员的主要工作集中在测试策划和测试设计上。在测试策划中，首先建立测试交联环境图，设置被测软件模块之间的接口类型，并为每一个软件模块设置一个与ICD对应的ID号。如图3所示，被测软件模块为B，与之交联的配测软件模块有两个，分别是配测软件模块A和配测软件模块C。配测软件模块A、被测软件模块B之间的接口类型为以太网，被测软件模块B、配测软件模块C之间的接口类型为串口。

建立环境图后，测试人员根据需求规格说明等被测软件的依据文档，进行功能分解和测试分析，提取测试需求，设计测试项和测试子项。测试类型包括功能测试、性能测试、接口测试、强度测试等，测试类型下面是不同的测试项，测试项下面是各测试子项，一个测试子项包含多个测试用例，上述内容在界面用树状形式表示。测试项和测试子项之间的级数是可配置的，测试人员根据被测项目情况可自由设计。测试用例在测试策划时要填写测试用例名称和测试意图，即测试用例描述。如此，测试子项的测试描述就为其下多个测试用例的描述合在一起，每个测试用例就是一个测试点。在编制测试计划时，测试分析的内容就可以从自动化测试系统中直接导出。具体导出方法同现有系统方法，故在此不再赘述。

步骤103、测试设计，测试人员对测试策划中的测试用例进行具体的测试输入输出的设计。对于嵌入式软件来说，大部分的测试输入和输出都是一系列的测试数据。因此测试设计的主要内容就是给每个用例设计不同的输入输出数据。在本发明中，进行用例设计之前，需先设置用例的属性，用例属性包括独立用例和关联用例。新建的测试用例默认为独立用例，如果设计的测试用例是进行场景或业务流测试，则需将其属性设置为关联用例。

测试设计分为三步，第一步为测试数据自动生成，自动化测试系统根据ICD中的数据元素，如枚举值、范围值、分段枚举等，结合特殊的逻辑关系自动生成测试数据，测试数据生成策略包括等价类划分法、边界值分析法、正交法等，生成的测试数据包括枚举值的所有值，范围值的上下边界值、中间值和边界外的异常值，以及所有的特殊关系，对于没有特殊关系的多个数据元素可使用正交法生成测试数据。

第二步为独立测试用例设计，测试人员将本用例涉及到的ICD拖入到测试设计界面，界面根据ICD的源和目的ID，建立本用例的交联运行图，双击图上的连线即可设计测试数据，也可以选取自动化测试系统自动生成的测试数据，同时可以设置每条测试数据的属性和延时，数据属性包括事件触发、周期触发、消息触发、数据监听等，数据属性可以添加和配置。自动生成的测试数据主要针对枚举值、边界范围值等，其他异常值或故障注入的数据需要测试人员单独进行设计。测试数据设计时，双击连线后界面显示ICD里所有的数据元素，并含有默认值或上一次设计的元素值，测试人员只需根据本用例的设计意图修改对应的数据元素即可，直观方便。

第三步为关联测试用例设计，测试人员可以使用场景分析法，基于场景或业务流，将不同的测试用例通过流程图的方式联系在一起，设计场景或业务流测试用例，也可以对不同的状态转换进行测试。独立测试用例主要针对单个的功能点进行测试，关联测试用例将不同功能点的用例连在一起，可以模仿用户在实际使用过程中的场景，进行场景或业务流的测试。在关联测试用例设计界面上，可以看到所有的独立测试用例，测试人员设计好流程框图后，将需要的独立测试用例拖入到对应的框图中即可，直观方便。

参阅图4。在具体的测试设计中，根据接口消息模块1生成了测试数据1，接口消息模块2生成了测试数据2和测试数据4，接口消息模块3生成了测试数据3，接口消息模块4生成了测试数据5。测试数据1、测试数据2对应测试用例1，测试用例1为参数控制测试，模拟配测软件模块A发送测试数据1给被测软件模块B，被测软件模块B收到测试数据1后反馈测试数据2给配测软件模块A。测试数据3、测试数据4和测试数据5对应测试用例2。测试用例2为数据发送测试，模拟配测软件模块A发送测试数据3给被测软件模块B，被测软件模块B反馈测试数据4给配测软件模块A，同时将测试数据5发送给配测软件模块C。测试用例1和测试用例2为独立测试数据。测试用例1和测试用例2对应关联测试数据的场景用例1。场景用例1为发送参数控制后，进行数据内容发送，即测试用例1执行后接着执行测试用例2。

在界面设计好测试数据及属性后，自动化测试系统自动生成测试脚本和测试步骤，步骤的描述围绕数据的发送、接收展开，以数据为中心，格式统一。测试设计支持多个测试人员同时开展工作，测试设计的数据存入到数据库里，自动化测试系统支持根据不同格式的模板生成不同形式的测试说明文档，具体方法同现有系统方法，故在此不再赘述。

步骤104、测试执行，测试执行分为三步，第一步为数据分发，测试人员设置执行某个测试用例后，由接口路由总控端根据设计的交联环境图和测试用例，包括测试用例涉及到的模块和接口总线类型，初始化涉及到的代理端，同时将输入的激励/输入测试数据分发给对应的代理端；第二步为代理端驱动接口通信模块，代理端根据交联环境图，将从总控端收到的输入测试数据发给数据接口驱动模块，由接口驱动模块将输入测试数据发送给被测软件；第三步为代理端监控被测软件的响应，并将响应的报文，即输出的测试数据回传给总控端。如果与被测软件交联的模块数有多个，则代理端也需要多个。测试执行支持单个测试用例的执行和多个测试用例的顺序执行。

一个总控端可以控制多个代理端，代理端的个数与交联环境图中交互的模块数有关，一个代理端监控一个点对点的数据传输，如图3中与被测软件交联的模块为2，则代理端就需要2个，分别监控模块A、B，以及模块B、C之间的数据交互。

参阅图5。在具体的测试执行中，设定配测软件模块A、被测软件模块B之间是代理端1，被测软件模块B、配测软件模块C之间是代理端2。在执行测试用例2时，总控端将测试数据3发送给代理端1，再由代理端1将输入数据发送给数据接口驱动模块1，通过数据接口驱动模块1将输入数据发送给被测软件模块B，而后数据接口驱动模块1接收到被测软件模块B返回的测试数据4，数据接口驱动模块2接收到被测软件模块B发送给配测软件模块C的测试数据5，即代理端1和代理端2分别接收到测试数据4和测试数据5，再由2个代理端上报给总控端，进行测试结果判断。

测试用例的执行支持单个测试用例的执行和多个测试用例的顺序执行。对于较为耗时的测试用例执行工作，可以设置在下班时间自动运行，由测试人员上班后再进行测试结果的确认，进而节约时间，提高工作效率。测试管理环境管理被测对象，测试驱动，测试用例，测试集，测试记录及测试缺陷跟踪。用户可以在环境中规划测试用例和由其组成的测试集，然后，通过脚本自动的执行测试用例或测试集。脚本自动按规划选择测试对象，生成测试驱动，并且自动执行测试，最后将测试记录存储到数据库中。具体的技术方法是脚本调用平台各个集成组成部分的外部接口，自动地驱动各个组成来完成相应的工作。测试脚本可以是类C或Python脚本编写的。在测试集执行时，包含在其中的测试用例脚本被调度执行。

步骤105、测试结果记录，总控端收到代理端传回的数据后，进行显示，并根据ICD进行自动解析，同时与测试用例中预期的测试数据报文进行比较，如果相同则显示用例步骤通过Pass，如果不相同则显示该步骤失败Fail。任意步骤Fail则判该用例Fail。自动化测试系统支持根据不同格式的模板生成测试记录。

测试结果界面显示所有的交互数据，双击选中的数据后，可以看到数据的解析，直观地让测试人员了解测试的执行情况，同时支持对显示的数据进行过滤，以便于观察。对于所有的测试结果数据，自动化测试系统自动记录到数据库里，一是测试确认用，另一方面就是生成测试记录所需的数据。自动化测试系统支持根据不同格式的模板生成不同形式的测试记录文档，具体生成方法同现有系统方法，故在此不再赘述。

步骤106、缺陷管理与回归测试，测试人员对测试结果要进行确认，特别是批量执行的测试用例，对每个Fail的测试用例，需要对Fail的步骤进行确认，以便排除非被测软件的故障。确认是被测软件缺陷的，在对应的测试用例后提交缺陷跟踪单。提交缺陷跟踪单后，软件项目经理查看到缺陷信息，进行缺陷分配，对应的开发人员可以参考关联的测试用例进行问题复现，并修改缺陷，修改后的缺陷状态标识为已修改，测试人员对已修改的缺陷进行回归验证。缺陷管理模块支持与三方的工具如BugFree或Bugzilla等集成。

在回归测试中，如果ICD没有变更，回归时可以复用前期设计的测试用例，并自动进行回归测试执行；如果ICD的数据元素发生了变化，自动化测试系统自动标识出受影响的测试用例，提示测试人员对用例进行修改后再执行回归测试。测试用例在不同测试阶段所做的修改，自动化测试系统会将其标识为不同的版本存入数据库，以追溯数据修改过程和版本管理。回归测试通过后关闭已修改的缺陷。对于回归中仍未修改到位的缺陷，rebound给开发，开发进行再次修改，后测试人员再次进行回归。整个项目回归完成后，缺陷标识的状态有三类：已修改、撤回和遗留，撤回和遗留的问题是需要软件项目经理确认的。自动化测试系统支持根据不同格式的模板导出缺陷报告单，以放到测试报告里。具体的缺陷管理流程同现有流程，文档生成方法同现有系统方法，故在此不再赘述。

步骤107、知识库建立，测试结束后对测试过程进行总结，将设计精巧的测试用例纳入典型测试用例库里，将发现的有价值的缺陷纳入典型缺陷库里。纳入的方式可以是选中用例或缺陷后，右键点击标识为典型，这样在知识库里就能看到所有的典型用例和典型缺陷，如此对测试成果进行沉淀和积累，以便于后期在做类似项目的测试工作时，进行借鉴，以持续提高。

如此，整个软件测试过程都包含在本发明里，软件测试人员的主要工作集中在测试策划和测试设计上，测试用例设计好后，自动化测试系统自动进行测试执行和测试结果记录，并可以根据模板导出相应的测试文档，提高测试工作的效率和质量。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和原则下，所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。

Claims (10)

1.一种自动化测试嵌入式软件的方法，具有如下技术特征:运用软件工程化将接口设计、测试策划、测试设计、测试执行、测试结果记录、缺陷管理和回归测试集成到一个统一平台进行管理，具体包括以下步骤：

步骤1，接口设计，把接口设计的元素分为数据元、数据块、数据组、逻辑块、接口消息模块，根据项目不同，配置数据元和数据块之间的级数，将设计好的接口控制文件ICD存储在数据库里，后台生成标准的XML格式文件，以供测试数据自动生成、测试数据解析和接口文档自动生成使用；

步骤2，测试策划，建立测试交联环境图，制定测试类型，设计测试项或测试子项，测试用例名称以及测试用例描述，每个测试用例为一个测试点，并设定自动化测试系统支持根据不同格式的模板生成测试计划，即测试需求分析的内容；

步骤3，测试设计，测试设计分为三步，第一步根据ICD元素，结合逻辑关系自动生成测试数据；第二步设计独立测试用例，将本用例涉及到的ICD拖入到设计界面建立本用例的交联框图，并为每条ICD选取/设计对应的测试数据和数据属性；第三步设计关联测试用例，基于场景/业务流，模仿用户在实际使用过程中的操作，将不同的测试用例通过流程图的方式联系在一起，设计场景或业务流测试用例，或对不同的状态转换进行测试；在界面设计好测试数据及属性后，自动化测试系统自动生成测试脚本和测试步骤，步骤的描述围绕数据的发送、接收展开，以数据为中心，格式统一，测试设计的数据存入到数据库里，同时支持根据不同格式的模板生成测试说明，测试用例的描述在测试策划时由测试人员设计，测试步骤由自动化测试系统自动生成；

步骤4，测试执行，测试执行结合测试环境图、测试用例、接口路由，共同组成测试平台，测试执行分为三步，第一步为数据分发，由接口路由总控端根据界面设计的测试交联环境图和测试用例，将测试激励/输入数据分发给对应的代理端；第二步为代理端驱动接口通信模块，将对应的测试数据发送给被测软件；第三步为代理端监控被测软件的响应，将与被测软件交互的模块之间的通信报文转发给总控端进行统一处理；

步骤5，测试结果显示，总控端收到代理端传回的数据后，进行显示并解析，同时与测试用例的预期结果报文进行比较，如果相同则判用例通过，显示用例执行成功Pass，如果不相同则判该用例不通过，显示用例执行失败Fail，测试结果由自动化测试系统自动记录，自动化测试系统支持根据不同格式的模板生成测试记录。

2.如权利要求1所述的自动化测试嵌入式软件的方法，其特征在于：在缺陷管理中，对于执行失败Fail的测试用例，确认是被测软件缺陷的，在对应的测试用例后提交缺陷跟踪单，开发人员进行缺陷修复后进行回归测试，关闭已修改的缺陷；自动化测试系统支持根据不同格式的模板生成缺陷报告单。

3.如权利要求1所述的自动化测试嵌入式软件的方法，其特征在于：在回归测试中，如果ICD没有变更，回归时复用前期设计的测试用例，并自动进行回归测试执行；如果ICD的数据元素发生了变化，自动化测试系统自动标识出受影响的测试用例，提示对用例进行修改后再执行回归测试；测试用例在不同测试阶段所做的修改，自动化测试系统会将其标识为不同的版本存入数据库，以追溯数据修改过程和版本管理。

4.如权利要求1所述的自动化测试嵌入式软件的方法，其特征在于：接口设计的元素分为数据元、数据块、数据组、逻辑块和接口消息模块，其中，数据元为最小的数据单元，数据块由多个数据元组成，代表一个有意义的字段，数据组由多个数据块或数据元组成，代表一个更大的含义，接口消息模块由多个数据组、数据块或数据元组成，是一条完整的ICD。

5.如权利要求1所述的自动化测试嵌入式软件的方法，其特征在于：测试策划包括建立测试交联环境图，制定测试类型，设计测试项或测试子项，测试用例名称以及测试用例描述；测试子项的描述包含多个测试用例的描述合并在一起，每个测试用例就是一个测试点。

6.如权利要求1所述的自动化测试嵌入式软件的方法，其特征在于：在测试策划中，首先建立测试交联环境图，设置被测软件模块之间的接口类型，并为每一个软件模块设置一个与ICD对应的ID号。

7.如权利要求1所述的自动化测试嵌入式软件的方法，其特征在于：新建的测试用例默认为独立用例，如果设计的测试用例是进行场景或业务流测试，则将其属性设置为关联用例。

8.如权利要求1所述的自动化测试嵌入式软件的方法，其特征在于：自动化测试系统根据ICD中的数据元素和逻辑关系自动生成测试数据，测试数据生成策略:等价类划分法、边界值分析法、正交法，生成的测试数据包括枚举值的所有值，范围值的上下边界值、中间值和边界外的异常值，以及所有的特殊关系，对于没有特殊关系的多个数据元素使用正交法生成测试数据。

9.如权利要求1所述的自动化测试嵌入式软件的方法，其特征在于：在具体的测试设计中，根据接口消息模块1生成测试数据1，接口消息模块2生成测试数据2和测试数据4，接口消息模块3生成测试数据3，接口消息模块4生成测试数据5；测试用例1为参数控制测试，配测软件模块A发送测试数据1给被测软件模块B，被测软件模块B收到测试数据1后反馈测试数据2给配测软件模块A；测试用例2为数据发送测试，配测软件模块A发送测试数据3给被测软件模块B，被测软件模块B反馈测试数据4给模块A，同时将测试数据5发送给配测软件模块C。

10.如权利要求1所述的自动化测试嵌入式软件的方法，其特征在于：在具体的测试执行中，设定配测软件模块A、被测软件模块B之间是代理端1，被测软件模块B、配测软件模块C之间是代理端2，在执行测试用例2时，总控端将测试数据3发送给代理端1，再由代理端1将输入数据发送给数据接口驱动模块1，通过数据接口驱动模块1将输入数据发送给被测软件模块B，而后数据接口驱动模块1接收到被测软件模块B返回的测试数据4，数据接口驱动模块2接收到被测软件模块B发送给配测软件模块C的测试数据5，即代理端1和代理端2分别接收到测试数据4和测试数据5，再由2个代理端上报给总控端，进行测试结果判断。