CN105024873A - 基于设备和场景模拟的协议一致性测试系统与方法 - Google Patents

Abstract

本发明涉及一种基于设备和场景模拟的协议一致性测试系统与方法。本发明设计的测试系统包括测试主机、测试收发设备、被测设备以及手持设备，具体的架构包括用户交互模块，测试集内部解释执行模块，测试前端交互模块以及测试集支持模块。本发明的测试方法按照不同的拓扑结构将被测网络分为四种场景，并基于设备生命周期的一致性测试集，采用正向测试、反向测试和可选功能测试全遍历的方法，模拟多类被测设备。本发明方法为工业无线网络设备、系统和工程应用于WIA-PA等工业无线通信协议规范的符合程度提供了标准的测试工具，为工业无线产品认证和多个厂家不同协议实现之间的设备互联提供了技术保证，此外，还可以为被测产品改正协议实现中的错误提供合理建议。

Description

基于设备和场景模拟的协议一致性测试系统与方法

技术领域

本发明涉及面向工业应用的无线传感器网络技术，具体地说是一种基于设备和场景模拟的协议一致性测试系统与方法。

背景技术

用于工业现场环境具备高可靠、硬实时、高安全特征的无线网络被称为工业无线网络。无线技术低成本、易使用、易维护等优点，使得以较低投资和使用成本实现“泛在感知”和“全流程优化控制”的工业测控系统成为可能，具有广阔的应用前景，已成为工业测控和无线领域新的研究热点。美国能源部(DOE)在2004年发布的“未来工业计划”(IOF)中指出：这种基于工业无线网络的低成本测控系统是实现到2020年美国工业整体能耗降低5％目标的主要手段，代表着工业自动化系统技术的发展方向，将在提高产品质量、降低工业生产过程中的跑冒滴漏、提高能源效率等方面发挥重要作用，在石油天然气开采、石化、冶金、污水处理等高耗能、高污染行业有广泛的应用前景。

WIA-PA(Wireless networks for Industrial Automation-Process Automation)是基于IEEE802.15.4标准的用于工业过程测量、监视与控制的无线网络系统。通过采用WIA-PA技术，用户可以以较低的投资和使用成本实现对工业全流程的“泛在感知”，获取传统由于成本原因无法在线监测的重要工业过程参数，并以此为基础实施优化控制，达到提高产品质量和节能降耗的目标。目前，具有我国自主知识产权的WIA-PA标准，成为与WirelessHART标准并列的IEC国际标准。

目前针对WIA-PA协议的一致性测试方法鲜有报道。重庆邮电大学的王泉等人申请的专利CN101808355B“工业无线网络协议一致性测试系统及测试方法”，采用多个独立的无线数据采集模块实时监听网络信道中所有信道，每个无线数据采集模块分别监听一个独立信道，获取网络中所有信道的数据，并送入一致性测试模块，根据被测试设备的协议实现一致性说明文件和协议实现附加说明文件确定协议的实现声明对其进行测试，生成测试报告。

然而，上述方法存在以下问题：1)未针对WIA-PA的各类设备类型设计具体相关的一致性测试方法；2)未给出具体建议的测试集及测试集的生成方法，不能实现对WIA-PA的所有功能测试，且不同测试顺序会导致重复操作和重复测试增多，影响测试效率；3)采用多个无线数据采集模块分别监听每个信道，测试的成本较高，集成度较低，无法模拟不同拓扑结构，多设备之间的灵活切换与交互过程。

发明内容

针对WIA-PA协议一致性测试方法研究刚刚起步，且现有方法存在测试不完备、测试成本较高且集成度较低的问题，本发明提出了一种基于设备和场景模拟的协议一致性测试系统与方法，为检验工业无线网络设备、系统和工程应用提供了有效测试系统和方法，为工业无线网络设备产品认证和多个不同厂家不同协议实现之间的设备互联提供了保证。

本发明为实现上述目的所采用的技术方案是：一种基于设备和场景模拟的协议一致性测试系统，包括测试设备、被测设备和手持设备；其中测试设备包括测试主机和测试收发设备；

所述测试主机，用于按照用户需求生成相应的测试集，并按照所生成测试集中的测试用例生成并发出相应的数据包或命令包；然后根据串口传回的被测设备的数据包或命令包判断被测设备行为是否正确；最后自动生成一致性测试结果报告；

所述测试收发设备，与所述测试主机通过串口连接，用于测试主机与被测设备之间通信的无线收发设备；

所述被测设备，为WIA-PA设备，用于在测试过程中接收所述测试主机发出的数据包或命令包并作出相应的响应，或者按照协议规定向所述测试设备主动发出数据包或命令包；

所述手持设备，用于为所述被测设备配置网络标识符ID、加入密钥。

所述测试收发设备由四部分组成：串口收发部分、串口射频桥接模块、系统支持层和RF收发物理层：

所述串口收发部分：用于根据串口收发协议，负责测试主机与测试收发设备的数据传输；

所述串口射频桥接模块：用于解析并处理所述串口收发部分与RF收发物理层之间的数据交换；

所述系统支持层：用于驱动硬件设备；

所述RF收发物理层：用于将所述串口收发部分读取的数据发射给被测设备和收取被测设备发来报文后传输给串口。

所述测试用例是为某个目标而编制的一组测试输入、执行条件以及预期结果，以便测试某个程序路径或合适是否满足该目标。

所述测试结果报告包括：1)测试系统接收和发送的全部报文以及报文的具体时间；2)每一次报文交互是否通过，如果未通过，则给出未通过的具体原因；3)测试系统接收报文与标准报文的比对结果。

所述被测设备为现场设备、路由设备和网关设备中的一种；

所述被测设备为现场设备时，测试设备模拟网关设备和路由设备；

所述被测设备为网关设备时，测试设备模拟路由设备和现场设备；

所述被测设备为路由设备时，测试设备模拟网关设备和现场设备。

所述测试设备包括用户交互模块，测试集内部解释执行模块，测试前端交互模块以及测试集支持模块：

所述用户交互模块：用于测试人员定义测试相关的人机交互功能；

所述测试集内部解释执行模块：用于执行测试集，并根据被测设备的表现，进行一致性分析；

所述测试前端交互模块：用于和被测设备进行RF信息交互，并实现测试主机与被测设备之间的信息传递；

测试集支持模块：包括规则库和一致性测试集，提供WIA-PA标准支持。

所述测试集具体包括：

所述被测设备为现场设备时：

非安全测试部分：加入过程测试集、运行过程测试集、离开过程测试集；

安全测试部分：安全加入、安全传输、密钥管理过程测试、安全告警；

所述被测设备为路由设备时：

非安全测试部分：加入过程测试集、运行过程测试集、离开过程测试集；

安全测试部分：安全加入、安全传输、密钥管理过程测试、安全告警；

所述被测设备为网关设备时：

非安全测试部分：加入网络、运行过程测试集、离开过程测试集；

安全测试部分：安全加入、密钥管理过程测试。

一种基于设备和场景模拟的协议一致性测试方法，包括以下步骤：

启动测试设备，用户选择被测设备类型、测试拓扑结构、安全性测试或非安全性测试，从而由测试主机确定具体的测试集；

启动被测设备，被测设备初始化为符合测试要求的状态；

被测设备或测试设备根据测试类型加入网络；

测试设备和被测设备执行测试集中的测试用例；

显示测试结果，将测试结果输出到屏幕并进行一致性分析；

分析测试结果，生成测试报告，并给出具体修改意见。

所述测试拓扑结构包括网关设备-现场设备、网关设备-路由设备、网关设备-路由设备-现场设备、网关设备-路由设备-路由设备。

所述测试类型包括路由设备通过网关设备加入网络，现场设备通过路由设备加入网络，路由设备通过路由加入网络。

所述测试设备和被测设备执行测试集中的测试用例使用的测试方法包括：

当网络行为无异常时，测试设备执行正向测试；所述正向测试是指，输入一个有效的输入，并且期望被测设备能够完成说明书规定的部分行为；

当测试设备检测异常的测试用例时执行反向测试；所述反向测试是指，测试被测设备在收到错误报文后所完成的操作；

如果被测设备实现了可选功能，则测试设备执行可选功能测试；否则，测试设备将不进行所述可选测试。

本发明具有以下优点及有益效果：

1.本发明系统和方法设计了一种基于设备生命周期的协议的一致性测试平台和对应的一致性测试方法，用于判定WIA-PA产品是否符合WIA-PA标准的协议一致性，解决了WIA-PA产品与系统的WIA-PA协议一致性问题，一方面，为基于WIA-PA协议的设备、系统和工程应用于WIA-PA协议规范的符合程度提供了标准的测试工具，为WIA-PA产品认证和多个厂家不同协议实现之间的设备互联提供了技术保证；另一方面，还可以为被测WIA-PA产品改正协议实现中的错误提供建议。

2.本发明系统和方法可以根据被测对象的不同，分别模拟现场设备、路由设备和网关设备中的一种或两种，达到了一个平台模拟多个设备的目的，有利于测试的连续性和兼容性，且节省测试成本，提高了测试系统的通用性。

3.本发明系统和方法设计了完备的一致性测试集，明确了测试目的和流程，方便了测试人员的测试工作，并在实践中得到了可行性的验证。

附图说明

图1为本发明中WIA-PA网络拓扑示意图；

图2为本发明中WIA-PA一致性测试系统示意图；

图3为本发明中测试前端的架构设计示意图；

图4为本发明中WIA-PA的测试平台架构设计图；

图5为本发明中WIA-PA一致性测试拓扑结构图；

图6为本发明中WIA-PA一致性测试集结构图；

图7为本发明中WIA-PA一致性测试方法流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示为本发明测试用例中的WIA-PA网络星型-网状混合结构拓扑图，包括路由设备和现场设备组成的星型网络以及路由设备与网关设备组成的网状网络。

本发明设计的基于设备和场景模拟的协议一致性测试系统由以下四类设备组成，如图2所示：

●测试主机；

●测试收发设备；

●被测WIA-PA设备；

●手持设备。

所述测试主机，负责按照用户需求生成相应测试集，并按照所生成的测试用例生成并发出相应的数据包或命令包；然后根据有串口传回的被测设备的数据包或命令包判断被测设备行为是否正确；最后自动生成一致性测试结果报告。

所述测试收发设备(本实施例采用通信前端)，负责与测试主机通过串口连接，作为测试主机与被测设备通信的无线收发设备。如图3所示，通信前端由四部分组成，串口收发、串口射频桥接模块、系统支持层和物理层的射频收发程序。

串口收发部分：制定串口收发协议，负责测试主机与测试前端的数据传输；

串口射频桥接模块：解析并处理所述串口收发部分与RF收发物理层之间的数据交换；

系统支持层：包括硬件设备驱动程序等；

RF收发程序：负责将串口读取的数据发射给被测设备和收取被测设备发来报文后传输给串口。

所述被测设备，按照WIA-PA标准生产制作的负责，WIA-PA设备，包括现场、路由或者网关设备。在测试过程中能接收测试主机发出的数据包或命令包并作出相应的响应，或者按照协议规定向测试系统主动发出数据包或命令包。当被测设备是网关时，被测方应提供配套的测试主机软件。

根据被测设备的不同，本发明设计的基于设备和场景模拟的协议一致性测试系统模拟不同的设备角色：

(1)被测设备为现场设备，测试设备模拟网关设备和路由设备；

(2)被测设备为网关设备，测试设备模拟路由设备和现场设备；

(3)被测设备为路由设备，测试设备模拟网关设备和现场设备。

所述手持设备，由被测设备的制造商提供，负责为被测设备配置网络标识符(ID，IDentifier)、加入密钥等。

测试系统的具体测试构架如图4所示，包括用户交互模块，测试集内部解释执行模块，测试前端交互模块以及测试集支持模块四个功能模块，分别为：

用户交互模块：用于测试人员定义测试相关的人机交互功能；

测试集内部解释执行模块：用于执行测试集，并根据被测设备的表现，进行一致性分析；

测试前端交互模块：用于和被测设备进行RF信息交互，并实现测试主机与被测设备之间的信息传递；

测试集支持模块：包括规则库和一致性测试集，提供WIA-PA标准支持。

根据WIA-PA协议定义的星型和网状混合的拓扑结构，将测试过程划分为四类子拓扑予以考虑，如图5所示，分别为：网关设备-现场设备、网关设备-路由设备、网关设备-路由设备-现场设备、网关设备-路由设备-路由设备；

全部与被测设备构成的拓扑结构皆由测试平台进行软实现。

本发明根据测试要求，设计了如图6所示的基于设备运行的活动周期的一致性测试集。根据安全性的要求，根据设备类型(现场设备、路由设备和网关设备)划分不同的测试集，每种设备测试集又分为非安全测试部分和安全测试部分。例如，现场设备的非安全测试集包括加入过程测试集、运行过程测试集以及离开过程测试集。本发明设计的基于设备活动周期的一致性测试集包括以下部分。

■现场设备

非安全测试部分：加入过程测试集、运行过程测试集、离开过程测试集；

安全测试部分：安全加入、安全传输、密钥管理过程测试、安全告警；

■路由设备

非安全测试部分：加入过程测试集、运行过程测试集、离开过程测试集；

安全测试部分：安全加入、安全传输、密钥管理过程测试、安全告警；

■网关设备

非安全测试部分：加入网络、运行过程测试集、离开过程测试集；、

安全测试部分：安全加入、密钥管理过程测试。

在测试系统的实际运行过程中，采用正向测试、反向测试以及可选测试的方法。

所述正向测试(Positive Testing)是指，输入一个有效的输入，并且期望被测系统能够完成一些说明书规定的行为；网络行为无异常时，测试系统执行正向测试。

所述反向测试(Negative Testing)是指，测试被测系统在收到错误报文后所完成的操作；反向测试用于测试系统检测异常的测试用例。

所述可选功能测试(Optional Function Testing)是指，如果被测设备实现了可选功能，则测试系统执行可选功能测试用例；否则，测试系统将不进行本部分功能测试。

本发明所述的基于设备和场景模拟的协议一致性测试方法，具体包括以下步骤，如图7所示：

(1)启动测试系统，用户选择被测设备类型、选择测试拓扑结构、选择是否为安全性测试等，从而由测试主机确定具体测试集。

(2)启动被测设备，初始化被测设备，要求被测设备初始化为符合测试要求的状态，例如设备地址和具体的测试阶段需要与测试要求相符；

(3)被测设备或测试系统加入网络，被测设备或者测试系统加入网络过程取决于测试具体类型。具体分为路由设备通过网关设备加入网络，现场设备通过路由设备加入网络，路由设备通过路由加入网络；

(4)测试系统和被测设备执行测试用例；测试用例(Test Case)是为某个特殊目标而编制的一组测试输入、执行条件以及预期结果，以便测试某个程序路径或合适是否满足某个特定需求。

(5)显示测试结果，将测试结果输出到屏幕并进行一致性分析。测试结果包括：1)测试系统接收和发送的全部报文以及报文的具体时间；2)每一次报文交互是否通过，如果未通过，则给出未通过的具体原因；3)测试系统接收报文与标准报文的比对结果。

(6)分析测试结果，生成测试报告，并给出具体修改意见。

本发明中涉及的全部报文格式和测试用例遵循IEC62601标准(WIA-PA标准)。

Claims (11)

1.一种基于设备和场景模拟的协议一致性测试系统，其特征在于，包括测试设备、被测设备和手持设备；其中测试设备包括测试主机和测试收发设备；

所述测试主机，用于按照用户需求生成相应的测试集，并按照所生成测试集中的测试用例生成并发出相应的数据包或命令包；然后根据串口传回的被测设备的数据包或命令包判断被测设备行为是否正确；最后自动生成一致性测试结果报告；

所述测试收发设备，与所述测试主机通过串口连接，用于测试主机与被测设备之间通信的无线收发设备；

所述被测设备，为WIA-PA设备，用于在测试过程中接收所述测试主机发出的数据包或命令包并作出相应的响应，或者按照协议规定向所述测试设备主动发出数据包或命令包；

所述手持设备，用于为所述被测设备配置网络标识符ID、加入密钥。

2.根据权利要求1所述的基于设备和场景模拟的协议一致性测试系统，其特征在于，所述测试收发设备由四部分组成：串口收发部分、串口射频桥接模块、系统支持层和RF收发物理层：

所述串口收发部分：用于根据串口收发协议，负责测试主机与测试收发设备的数据传输；

所述串口射频桥接模块：用于解析并处理所述串口收发部分与RF收发物理层之间的数据交换；

所述系统支持层：用于驱动硬件设备；

所述RF收发物理层：用于将所述串口收发部分读取的数据发射给被测设备和收取被测设备发来报文后传输给串口。

3.根据权利要求1所述的基于设备和场景模拟的协议一致性测试系统，其特征在于，所述测试用例是为某个目标而编制的一组测试输入、执行条件以及预期结果，以便测试某个程序路径或合适是否满足该目标。

4.根据权利要求1所述的基于设备和场景模拟的协议一致性测试系统，其特征在于，所述测试结果报告包括：1)测试系统接收和发送的全部报文以及报文的具体时间；2)每一次报文交互是否通过，如果未通过，则给出未通过的具体原因；3)测试系统接收报文与标准报文的比对结果。

5.根据权利要求1所述的基于设备和场景模拟的协议一致性测试系统，其特征在于，所述被测设备为现场设备、路由设备和网关设备中的一种；

所述被测设备为现场设备时，测试设备模拟网关设备和路由设备；

所述被测设备为网关设备时，测试设备模拟路由设备和现场设备；

所述被测设备为路由设备时，测试设备模拟网关设备和现场设备。

6.根据权利要求1所述的基于设备和场景模拟的协议一致性测试系统，其特征在于，所述测试设备包括用户交互模块，测试集内部解释执行模块，测试前端交互模块以及测试集支持模块：

所述用户交互模块：用于测试人员定义测试相关的人机交互功能；

所述测试集内部解释执行模块：用于执行测试集，并根据被测设备的表现，进行一致性分析；

所述测试前端交互模块：用于和被测设备进行RF信息交互，并实现测试主机与被测设备之间的信息传递；

测试集支持模块：包括规则库和一致性测试集，提供WIA-PA标准支持。

7.根据权利要求1所述的基于设备和场景模拟的协议一致性测试系统，其特征在于，所述测试集具体包括：

所述被测设备为现场设备时：

非安全测试部分：加入过程测试集、运行过程测试集、离开过程测试集；

安全测试部分：安全加入、安全传输、密钥管理过程测试、安全告警；

所述被测设备为路由设备时：

非安全测试部分：加入过程测试集、运行过程测试集、离开过程测试集；

安全测试部分：安全加入、安全传输、密钥管理过程测试、安全告警；

所述被测设备为网关设备时：

非安全测试部分：加入网络、运行过程测试集、离开过程测试集；

安全测试部分：安全加入、密钥管理过程测试。

8.一种基于设备和场景模拟的协议一致性测试方法，其特征在于，包括以下步骤：

启动测试设备，用户选择被测设备类型、测试拓扑结构、安全性测试或非安全性测试，从而由测试主机确定具体的测试集；

启动被测设备，被测设备初始化为符合测试要求的状态；

被测设备或测试设备根据测试类型加入网络；

测试设备和被测设备执行测试集中的测试用例；

显示测试结果，将测试结果输出到屏幕并进行一致性分析；

分析测试结果，生成测试报告，并给出具体修改意见。

9.根据权利要求8所述的基于设备和场景模拟的协议一致性测试方法，其特征在于，所述测试拓扑结构包括网关设备-现场设备、网关设备-路由设备、网关设备-路由设备-现场设备、网关设备-路由设备-路由设备。

10.根据权利要求8所述的基于设备和场景模拟的协议一致性测试方法，其特征在于，所述测试类型包括路由设备通过网关设备加入网络，现场设备通过路由设备加入网络，路由设备通过路由加入网络。

11.根据权利要求8所述的基于设备和场景模拟的协议一致性测试方法，其特征在于，所述测试设备和被测设备执行测试集中的测试用例使用的测试方法包括：

当网络行为无异常时，测试设备执行正向测试；所述正向测试是指，输入一个有效的输入，并且期望被测设备能够完成说明书规定的部分行为；

当测试设备检测异常的测试用例时执行反向测试；所述反向测试是指，测试被测设备在收到错误报文后所完成的操作；

如果被测设备实现了可选功能，则测试设备执行可选功能测试；否则，测试设备将不进行所述可选测试。