CN116107893A - 一种异构平台嵌入式软件测试验证系统及方法 - Google Patents

Abstract

本发明提供了一种异构平台嵌入式软件测试验证系统及方法，包括板卡集成模块、界面管理模块、协议解析模块、设备管理模块、用例驱动模块、接口驱动模块、接收显控模块；具体过程为：通过板卡集成模块连接至被测设备，启动系统完成系统资源自检，添加链路信息，完成测试节点互联，获取描述文本文件，并匹配链路信息，生成脚本文件，获取字典文件，结合脚本文件确定测试用例格式，按照测试用例格式添加载荷数据，形成测试用例，设置交互策略，发送测试用例至被测设备，接收并显示被测设备上报数据，完成测试。本发明简化了测试环境，具备高效、低成本、一对多、集成化、平台化的接口测试能力，满足了不同平台电子设备嵌入式软件的接口测试需求。

Description

一种异构平台嵌入式软件测试验证系统及方法

技术领域

本发明涉及嵌入式软件测试领域，特别涉及一种构平台嵌入式软件测试验证系统及方法。

背景技术

嵌入式软件作为机载、星载、车载、舰载等各大平台产品的重要组成部分，其测试验证工作尤为重要，目前，鉴于各大平台嵌入式软件的数量巨大、种类繁多、交联复杂导致的调试工作量巨大，尤其是接口联试工作，涉及异构平台多总线多协议转换以及多路并行通信等的应用场景，系统测试不完备，缺乏边界及性能测试、测试效率低等问题，不仅耗费人力，还会导致后期设备应用时问题频出。

针对以上问题，目前在各个平台嵌入式软件测试阶段，接口测试作为一项重要的测试类型，已经采取很多手段进行接口相关测试，保证测试的完备性、高效性与健壮性，如基于串口/网络调试助手、基于总线接口的测试监控平台以及根据不同总线协议定制的各类接口测试工具等。但现有的综合了各类型总线通信的半实物仿真系统还很缺乏，且不能够方便提供模拟真实场景信息交互的能力以及针对各个平台测试的适配能力，只能依靠二次开发，广泛采用的还是“一测一换”的测试方法，如图1所示，由于这类测试方法具有明确的针对性，测试软件与被测设备之间紧密耦合，虽然代码逻辑清晰、操作简单，但缺乏对系统实际使用场景的考虑，单设备多外部总线同时通信/或多个设备同步总线通信的情况无法顾及，很难检测和定位到全系统真实工作场景下存在的问题。

同时，目前多数嵌入式软件测试工具接口边界及性能等测试不完备、可扩展性较差、测试场景单一、测试效率较低等问题的主要原因为以下几个方面：

1)总线类型多样。各类平台设备中嵌入式软件需要处理的总线通信类型繁多(如：网络、CAN总线、RS232/422/485总线、MIL-STD-1553B总线、1394总线、光纤等)，不同总线的通信协议各异，且现有的很多测试软件或半实物仿真测试工具具备的总线数据模拟类型单一，无法满足全系统内多设备多总线数据交互或单个设备多总线数据通信的场景测试；

2)协议标准多样。嵌入式软件通过各类总线通信接口传输数据，设计师根据具体业务需求设计出相应的通信接口协议。虽然这些协议基于标准通信协议进行设计，但业务数据的组织方式均是自定义，且不同设备之间的通信接口协议定义方式也可能截然不同，这导致了接口测试需要定制化处理。

3)设备通信场景多样性。由于不同的设备嵌入式软件之间的数据交互场景、方式、时序等均不相同，现有的测试软件无法模拟真实的数据交互场景设计测试用例，即模拟外围设备按照系统实际工作场景进行各个接口的测试验证工作，故总线通信接口测试不完备，且无法进行全系统相应功能下的边界及性能测试。

4)测试工具通用性差。嵌入式软件接口测试工具不仅仅是为了帮助开发及测试人员实现代码接口测试验证，更是为了模拟真实的外围设备，实现数据交互过程的监视与检测，帮助系统排查及定位问题。然而目前很多测试软件可复用性差，扩展性差，无法真实模拟外围设备，操作单一复杂，只能支持部分脱离业务的接口测试，还需测试人员熟悉具体的项目业务，这样不仅严重影响测试效率，还浪费了很多人力资源。

嵌入式软件广泛分布在不同平台设备之上，借助各类总线、网络相互连接，通过接口提供对外的数据通信和交互，呈现出多源异构的特征。目前在各个平台设备的研制过程中，为适应多变的外界环境，嵌入式软件需要处理的总线类型繁多、数量日益增加、报文内容变化多样且测试性能要求不一致，呈现出“多对多”的通信拓扑形态，使得通信接口测试工作呈现出多类别、多形态和高复杂度等技术特征，加上接口测试不仅要检测外部系统与系统之间或内部各子系统之间的通信接口，还要对数据传输协议/内容/交互逻辑等过程进行检查，综上，嵌入式软件接口测试作为发现软件及系统缺陷的有效手段之一，构建能够模拟真实环境的、高效的、便携的、完备的测试验证环境尤为重要。

发明内容

针对现有技术中存在的问题，提供了一种异构平台嵌入式软件测试验证系统及方法，可用于机载、星载、车载、舰载等各大平台产品嵌入式软件的通信接口测试，具备可适配多种测试场景、总线可扩展、协议可配置的异构平台多设备同步并行接口测试能力。

本发明采用的技术方案如下：一种异构平台嵌入式软件测试验证系统，包括：

板卡集成模块，用于插入一个或多个子板卡并与被测设备连接；

界面管理模块，用于系统资源自检与配置链路接口参数；

接口驱动模块，用于根据配置的链路接口参数完成与板卡集成模块中子板卡的适配，实现与子板卡之间的数据发送与数据接收；

协议解析模块，用于根据预先定义接口协议的描述文本文件，匹配链路信息并生成脚本文件，再根据预先定义的字典文件与脚本文件，确定对应链路的测试用例格式；以及完成上报数据的解析发送给接收显控模块；

载荷管理模块，用于根据获取的测试用例格式，添加载荷数据，生成对应格式的测试用例；

用例驱动模块，用于设置交互策略并通过接口驱动模块完成测试用例的发送以及上报数据的接收；

接收显控模块，用于显示协议解析模块解析后的上报数据。

进一步的，所述系统资源自检包括检测加载数据库中存储的描述文本文件、字典文件以及动态链接库是否完备；以及板卡驱动文件与子板卡资源是否匹配；其中，描述文本文件以XML语言形式定义了多种协议接口；字典文件以txt格式定义了多种待测试接口的描述信息，并设定了符合协议要求的测试用例格式。

进一步的，所述接口驱动模块根据配置的链路接口参数，调用动态链接库中的板卡驱动文件，完成与板卡集成模块相应纸卡的适配工作。

进一步的，所述载荷管理模块中，采用用户定义或直接导入的方式添加载荷数据。

进一步的，所述载荷数据支持二进制、八进制、十六进制三种数据格式，支持奇偶校验、累加和校验、CRC校验三种校验方式。

进一步的，所述用例驱动模块中交互策略包括发送数量、发送间隔以及是否循环发送。

进一步的，所述描述文本文件能根据需求扩展新的协议内容。

进一步的，所述字典文件能够根据需求添加新的协议内容。

进一步的，所述接口驱动模块，通过调用加载数据库中的驱动软件控制板卡接口端的数据采集。

本发明还提出了一种基于上述异构平台嵌入式软件测试验证系统的测试验证方法，包括：

步骤1、根据被测设备的总线接口类型，在板卡集成模块中插入相应的单个或多个子卡并采用对应向量将其连接至被测设备；

步骤2、启动系统完成系统资源自检；

步骤3、添加链路信息，完成测试节点互联；

步骤4、获取描述文本文件，并匹配链路信息，生成脚本文件；

步骤5、获取字典文件，结合脚本文件确定测试用例格式；

步骤6、按照测试用例格式添加载荷数据，形成测试用例；

步骤7、设置交互策略，发送测试用例至被测设备；

步骤8、接收并显示被测设备上报数据，完成测试。

与现有技术相比，采用上述技术方案的有益效果为：本发明支持多种总线类型、多种协议、多个设备模拟真实总线环境同步测试的功能，摆脱了传统的测试方法“一测一换”的工作束缚，简化了测试环境，具备了有高效、低成本、一对多、集成化、平台化的接口测试能力，满足了不同平台电子设备嵌入式软件的的接口测试需求，提高了通信接口的测试覆盖率以及自动化水平，降低了测试工作的研发成本和研发周期。

附图说明

图1为现有技术中一测一环的测试方法示意图。

图2为本发明提出的异构平台嵌入式软件测试验证系统示意图。

图3为本发明一实施例中系统启动自检示意图。

图4为本发明一实施例中测试实例示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

本实施例提出了一种异构平台嵌入式软件测试验证系统，它具备通信协议的描述能力，能够建立通信协议的描述模型，并实现基于该模型的数据编码和解码功能，能够模拟实际系统总线通讯场景，多路总线数据并行测试，使其保证系统针对接口逻辑、功能、边界及压力测试的同时，满足稳定性、可靠性及可扩展性，为后续测试人员灵活构建不同平台设备的嵌入式软件的接口/系统测试环境奠定基础。具体方案如下：

如图2所示，一种异构平台嵌入式软件测试验证系统，包括：

板卡集成模块，用于插入一个或多个子板卡并与被测设备连接；

界面管理模块，用于系统资源自检与配置链路接口参数；

接口驱动模块，用于根据配置的链路接口参数完成与板卡集成模块中子板卡的适配，实现与子板卡之间的数据发送与数据接收；

协议解析模块，用于根据预先定义接口协议的描述文本文件，匹配链路信息并生成脚本文件，再根据预先定义的字典文件与脚本文件，确定对应链路的测试用例格式；以及完成上报数据的解析发送给接收显控模块；

载荷管理模块，用于根据获取的测试用例格式，添加载荷数据，生成对应格式的测试用例；

用例驱动模块，用于设置交互策略并通过接口驱动模块完成测试用例的发送以及上报数据的接收；

接收显控模块，用于显示协议解析模块解析后的上报数据。

在本实施例中，该系统主要分为软件部分和硬件部分两部分，其中，硬件部分包括板卡集成模块，基于可扩展性原则，设计可插拔多类型总线板卡的机架，通过接收上位机软件下发的配置信息，完成相应的总线通信配置。而软件部分包括界面管理模块、接口驱动模块、协议解析模块、载荷管理模块、用例驱动模块以及接收显控模块，基于通用性、可适配性、人机交互性、测试完备性等原则，设计在架构上分为人机交互层、数据链路层以及功能驱动层。

在系统架构层次设计上，本实施例将该系统划分为人机交互层、数据链路层、功能驱动层三层，具体的：

人机交互层：通过可视化界面与用户交互，实现测试链路添加、总线配置初始化、测试用例配置、测试过程数据以及测试结果显示等功能。人机交互层主要由基本功能(启动、自检)、核心功能(链路配置、格式设置、设备管理)、辅助功能(用户管理、数据管理、日志)组成。

数据链路层：链接加载数据库，获取描述文本文件、字典文件以及动态链接库等资源。同时，与功能驱动层交互，下发通信板卡指令，并接收上报的板卡采集和响应数据；接收人机交互层输出的测试用例，并将板卡上报数据传递给人机交互层。

功能驱动层：调用动态链接库中的板卡驱动函数，适配通信板卡。接收数据链路层下发的具体硬件操作指令并执行，再将执行结果返回给数据链路层，同时，完成板卡采集数据上报工作。

在本实施例中，如图3所示，系统资源自检包括检测加载数据库中存储的描述文本文件、字典文件以及动态链接库是否完备；以及板卡驱动文件与子板卡资源是否匹配；其中，描述文本文件以XML语言形式定义了多种协议接口；字典文件以txt格式定义了多种待测试接口的描述信息，并设定了符合协议要求的测试用例格式。

优选的，所述描述文本文件能根据需求扩展新的协议内容；所述字典文件能够根据需求添加新的协议内容。

本实施例中，界面管理模块主要包括添加当前测试链路名称，并配置接口类型、消息类型、消息周期、消息ID、应答标志、端口号、通信速率、IP地址等接口参数信息。而后接口驱动模块根据配置的接口类型，调用动态链接库中的板卡驱动文件，完成与板卡集成模块相应纸卡的适配工作。

协议解析模块，根据配置的接口参数，从调用的描述文本文件中遍历匹配出待测试接口对应的协议内容；再将这部分XML形式的匹配内容转换为脚本文件。再根据生成的脚本文件，从调用的字典文件中解析出符合待测试接口的测试用例格式。

在本实施例中，在载荷管理模块通过用户定义或直接导入的方式添加载荷数据，生成具有设定格式的测试用例。其中，载荷数据支持二进制、八进制、十六进制三种数据格式，支持奇偶校验、累加和校验、CRC校验三种校验方式。

在用例驱动模块，设置的交互策略包括发送数量、发送间隔、是否循环发送等，并交互接口驱动模块完成测试用例的发送以及上报数据的接收。而接口驱动模块，通过调用加载数据库中的驱动软件控制接口端的数据采集。

在本实施例提出的嵌入式软件测试验证系统中，上报数据的解析过程为定义测试消息的逆过程，在解析过程中，同时提供存储日志的功能，便与分析测试问题。

如图4所示，本实施例以以上游设备1和下游设备2分别通过网线、RS422线缆连接至测试系统为例，验证本测试验证系统的实施效果。具体的：

(1)测试系统硬件设计

测试设备硬件部分包括：便携式计算机，板卡集成模块(安装以太网卡、RS422/RS485接口通讯板卡、1553总线板卡、ARNIC429卡等)、网线、1553b、RS422线缆等。

(2)测试系统软件设计

测试设备软件部分包括：测试软件、数据库(含描述文本文件、字典文件、动态链接库)，其中，动态链接库含以太网板卡驱动、RS422板卡驱动等各类总线板卡驱动。

(3)测试系统实施效果

1)“上游设备1”通信接口测试

①通过网线连接“上游设备1”与“测试主机”；

②添加链路信息，配置链路名、IP地址、端口号等；

③根据描述文本文件和链路信息，生成“脚本文件”；

④根据脚本文件和字典文件，确定测试用例格式；

⑤添加载荷数据，并发送，同时开启数据接收监控及存储；

2)“下游设备2”通信接口测试

①通过RS422线缆连接“测试主机”与“下游设备2”；

②添加链路信息，配置链路名、串口端口号、每秒位数、数据位、停止位等；

③根据描述文本文件和链路信息，生成“脚本文件”；

④根据脚本文件和字典文件，确定测试用例格式；

⑤添加载荷数据，并发送，同时开启数据接收监控及存储；

3)“上、下游设备”通信交互

①依据设备实际使用场景，设置上游设备发送数据1的时间间隔、发送次数、数据长度及内容格式等；

②设置下游设备接收数据1后回复的数据2的时间间隔、发送次数、数据长度及内容格式等；

③在上下游设备上监控数据1和2的接收时间及内容是否正确；

④分别针对实际使用场景，给上下游设备配置多种数据同步发送和接收，实时显示及存储，并进行边界及压力测试，是否满足设备实际使用需求。

通过本发明的接口测试验证系统，能够实现半实物仿真系统模拟真实系统各总线数据交互场景的测试，包括功能、性能及边界测试，均100％覆盖，测试时间较以往提升60％，人力成本减少50％，并已经在多个电子设备系统测试阶段使用，实现了搭建测试环境便捷、测试效率高、测试完备等效果，大大减少了人力成本，缩短了系统测试时间。

实施例2

本实施例还提出了一种基于实施例1所述异构平台嵌入式软件测试验证系统的测试验证方法，包括：

步骤1、根据被测设备的总线接口类型，在板卡集成模块中插入相应的单个或多个子卡并采用对应向量将其连接至被测设备；

步骤2、启动系统完成系统资源自检；

步骤3、添加链路信息，完成测试节点互联；

步骤4、获取描述文本文件，并匹配链路信息，生成脚本文件；

步骤5、获取字典文件，结合脚本文件确定测试用例格式；

步骤6、按照测试用例格式添加载荷数据，形成测试用例；

步骤7、设置交互策略，发送测试用例至被测设备；

步骤8、接收并显示被测设备上报数据，完成测试。

具体的，步骤2中，首先检测加载数据库中存储的描述文本文件(XML形式)、字典文件(txt形式)、动态链接库等软件资源是否完备；然后检测软件资源与板卡集成模块中相应板卡是否匹配，该过程主要检测板卡驱动文件与硬件板卡资源，是否匹配。

步骤3中，在界面管理模块，添加当前测试链路名称，并配置接口类型、消息类型、消息周期、消息ID、应答标志、端口号、通信速率、IP地址等接口参数信息。同时，根据所设定接口类型，接口驱动模块调用动态链接库中相应的板卡驱动文件，完成与板卡模块相应子卡的适配工作。

步骤4中，协议解析模块根据步骤3的接口参数，从调用的描述文本文件中遍历匹配出待测试接口对应的协议内容；再将这部分XML形式的匹配内容转换为脚本文件。本测试系统具有将描述性语言转换为程序语言的能力，即将描述文本文件转换为脚本文件。

步骤5中，协议解析模块根据步骤4生成的脚本文件，从调用的字典文件中解析出符合待测试接口的测试用例格式。

步骤6中，根据测试用例格式，以及字典文件中待测试接口的描述信息，在载荷管理模块通过用户定义或直接导入的方式添加载荷数据，生成具有设定格式的测试用例。载荷数据支持三种数据格式：二进制、八进制、十六进制；支持三种校验方式：奇偶校验、累加和校验、CRC校验。

步骤7中，在用例驱动模块中，设置的交互策略包括发送数量、发送间隔、是否循环发送等，并交互接口驱动模块完成测试用例的发送以及上报数据的接收。而接口驱动模块，通过调用加载数据库中的驱动软件控制接口端的数据采集。

在各平台电子设备的嵌入式软件通信接口测试过程中，对本发明接口测试方法进行了检验，与现有技术相比结果如下表1所示：

表1 传统接口测试系统与本发明效果对比表

	传统接口测试系统	本发明
			扩展性高低	低	高
复用性高低	低	高
			支持协议种类	1种	多种
支持被测设备	仅支持当前被测设备	支持多种被测设备同时测试
			支持协议数量	一对一协议处理	支持多种协议配置
是否支持并行测试	不支持	支持
			如何解析报文内容	半自动/人工解析	自动解析

可以看到，与传统测试方法相比，该方法支持多种总线类型、多种协议、多个设备模拟真实总线环境同步测试的功能，摆脱了传统的测试方法“一测一换”的工作束缚，简化了测试环境，具备了有高效、低成本、一对多、集成化、平台化的接口测试能力，满足了不同平台电子设备嵌入式软件的的接口测试需求，提高了通信接口的测试覆盖率以及自动化水平，降低了测试工作的研发成本和研发周期。

需要说明的是，在本发明实施例的描述中，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接连接，也可以通过中间媒介间接连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义；实施例中的附图用以对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种异构平台嵌入式软件测试验证系统，其特征在于，包括：

板卡集成模块，用于插入一个或多个子板卡并与被测设备连接；

界面管理模块，用于系统资源自检与配置链路接口参数；

接口驱动模块，用于根据配置的链路接口参数完成与板卡集成模块中子板卡的适配，实现与子板卡之间的数据发送与数据接收；

协议解析模块，用于根据预先定义接口协议的描述文本文件，匹配链路信息并生成脚本文件，再根据预先定义的字典文件与脚本文件，确定对应链路的测试用例格式；以及完成上报数据的解析发送给接收显控模块；

载荷管理模块，用于根据获取的测试用例格式，添加载荷数据，生成对应格式的测试用例；

用例驱动模块，用于设置交互策略并通过接口驱动模块完成测试用例的发送以及上报数据的接收；

接收显控模块，用于显示协议解析模块解析后的上报数据。

2.根据权利要求1所述的异构平台嵌入式软件测试验证系统，其特征在于，所述系统资源自检包括检测加载数据库中存储的描述文本文件、字典文件以及动态链接库是否完备；以及板卡驱动文件与子板卡资源是否匹配；其中，描述文本文件以XML语言形式定义了多种协议接口；字典文件以txt格式定义了多种待测试接口的描述信息，并设定了符合协议要求的测试用例格式。

3.根据权利要求1或2所述的异构平台嵌入式软件测试验证系统，其特征在于，所述接口驱动模块根据配置的链路接口参数，调用动态链接库中的板卡驱动文件，完成与板卡集成模块相应纸卡的适配工作。

4.根据权利要求1所述的异构平台嵌入式软件测试验证系统，其特征在于，所述载荷管理模块中，采用用户定义或直接导入的方式添加载荷数据。

5.根据权利要求4所述的异构平台嵌入式软件测试验证系统，其特征在于，所述载荷数据支持二进制、八进制、十六进制三种数据格式，支持奇偶校验、累加和校验、CRC校验三种校验方式。

6.根据权利要求1所述的异构平台嵌入式软件测试验证系统，其特征在于，所述用例驱动模块中交互策略包括发送数量、发送间隔以及是否循环发送。

7.根据权利要求2所述的异构平台嵌入式软件测试验证系统，其特征在于，所述描述文本文件能根据需求扩展新的协议内容。

8.根据权利要求2所述的异构平台嵌入式软件测试验证系统，其特征在于，所述字典文件能够根据需求添加新的协议内容。

9.根据权利要求2所述的异构平台嵌入式软件测试验证系统，其特征在于，所述接口驱动模块，通过调用加载数据库中的驱动软件控制板卡接口端的数据采集。

10.一种基于权利要求1-9任一项所述的异构平台嵌入式软件测试验证系统的测试验证方法，其特征在于，包括：

步骤1、根据被测设备的总线接口类型，在板卡集成模块中插入相应的单个或多个子卡并采用对应向量将其连接至被测设备；

步骤2、启动系统完成系统资源自检；

步骤3、添加链路信息，完成测试节点互联；

步骤4、获取描述文本文件，并匹配链路信息，生成脚本文件；

步骤5、获取字典文件，结合脚本文件确定测试用例格式；

步骤6、按照测试用例格式添加载荷数据，形成测试用例；

步骤7、设置交互策略，发送测试用例至被测设备；

步骤8、接收并显示被测设备上报数据，完成测试。

Images