CN106452942B

CN106452942B - 轨道交通行业车载以太网交换软件性能测试系统及方法

Info

Publication number: CN106452942B
Application number: CN201610747488.3A
Authority: CN
Inventors: 陈超群; 陈勃; 向芝青; 李文波; 焦玮琦; 贺昀轩
Original assignee: CRRC Zhuzhou Institute Co Ltd
Current assignee: CRRC Zhuzhou Institute Co Ltd
Priority date: 2016-08-29
Filing date: 2016-08-29
Publication date: 2019-08-27
Anticipated expiration: 2036-08-29
Also published as: CN106452942A

Abstract

本发明公开了一种轨道交通行业车载以太网交换软件性能测试系统及测试方法，系统包括：测试客户端、测试设备、被测设备；测试客户端与被测设备网络连接，用于根据测试需求编写测试用例，配置被测设备的测试环境，驱动被测设备；测试客户端还与测试设备网络连接，用于对测试进行管理，驱动测试设备；测试设备与被测设备网络连接，测试设备用于接收测试客户端的测试用例，对被测设备执行测试；被测设备用于加载被测车载以太网交换软件。本发明具有可以构建多种拓扑形态的测试环境，支持各种性能指标测试，有效提升性能测试深度、广度与条理，具备自动与手动测试功能，可有效保证测试全面性与准确性，提高测试效率等优点。

Description

轨道交通行业车载以太网交换软件性能测试系统及方法

技术领域

本发明涉及轨道交通行业的网络交换测试领域，尤其涉及一种轨道交通行业车载以太网交换软件性能测试系统及方法。

背景技术

轨道交通行业车载通信以太网交换类设备主要用于实现网络二层（数据链路层）和三层（网络层）数据转发，包括系统内各单板间，骨干网内部各设备、骨干网之间基于以太网的高速，大容量数据交互，为上层应用程序提供一个高效的应用平台。轨道交通行业车载通信以太网交换板通常为面向机箱式的单板，包含面向机箱内部的以太网通信通道，面向外来设备的以太网通道，电源接口，调试接口等，软件负责完成对硬件平台的驱动，并在其上运行相应的协议栈和管理应用，完成各种以太网数据流的通信交互，实现各种终端设备的互联。

目前，车载通信以太网交换软件的测试主要是测试人员根据交换软件的各项功能需求设置测试用例，搭建测试环境，验证各项功能是否满足需求，性能测试极为缺乏。现有技术车载以太网交换软件功能测试方法如图1所示，车载以太网交换类模块需要完成以太网各种数据流的通信交互，各种终端及交换设备间互联，包括交换芯片的驱动、VLAN、QOS、速率管理、地址表显示、端口统计、端口镜像、线缆诊断等二层交换功能，也包括网关功能、数据流转发控制、三层交换优先级控制，路由控制等三层数据转发功能。通常测试人员对其功能需求进行分析，通过交换机的web界面对交换机各项功能进行设置，再利用Ostinato软件构造相应的报文数据流发送给交换机，客户端则通过抓包工具对转发端口的数据进行分析、串口输入命令查看各个端口的信息，或者通过查看web界面信息与预期结果进行比对，检验交换类设备各项功能是否完整，运行是否正常。以上测试均为功能测试，试图发现被测对象各项功能是否正确或遗漏等，但仍存在以下缺点：1、验证模块功能是否正常，是保障列车正常运行的前提，但并不能在各种功能具备的情况下有效保障网络稳定可靠的运行；2、在国内轨道交通行业，交换机、路由器功能日趋稳定，但是不同的技术、不同的设备、不同的网络拓扑等不同应用场景下很少进行性能测试，这都会直接影响到列车网络高层的功能和性能；3、对产品模块各项功能进项逐项测试，检查产品是否达到需求的功能，并未在在长时间、超大负荷等特殊场景下测试模块的表现及业务处理的特征如时延，无法完全测试出列车网络现场复杂的运行场景及突发故障时交换软件的表现；4、目前在功能测试的过程中，测试人员缺乏性能测试这方面的知识积累往往是想到了就随机测一部分性能，凌乱分散，测试结果有异议，不可靠。

并且，随着列车通信网络架构越来越庞大，产品也随之越来越复杂，现场需求多变，网络产品的各项功能趋于完善，为了保障网络的可靠稳定运行，需要对网络产品及整个网络系统进行性能测试，有必要提出一套完整的以太网性能测试系统及测试构建方法。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种可以构建多种拓扑形态的测试环境，支持各种性能指标测试，有效提升性能测试深度、广度与条理，具备自动与手动测试功能，可有效保证测试全面性与准确性，提高测试效率的轨道交通行业车载以太网交换软件性能测试系统及方法。

为解决上述技术问题，本发明提出的技术方案为：一种轨道交通行业车载以太网交换软件性能测试系统，包括：测试客户端、测试设备、被测设备；所述测试客户端与所述被测设备网络连接，用于根据测试需求编写测试用例，配置被测设备的测试环境，驱动被测设备；所述测试客户端还与所述测试设备网络连接，用于对测试进行管理，驱动测试设备；所述测试设备与被测设备网络连接，测试设备用于接收测试客户端的测试用例，对所述被测设备执行测试；所述被测设备用于加载被测车载以太网交换软件。

作为本系统的进一步改进，所述测试设备包括二层交换设备、三层交换设备。

作为本系统的进一步改进，所述被测设备包括至少一台以太网交换设备。

作为本系统的进一步改进，所述被测设备的端口拓扑形态包括一对一、全网状和部分网状拓扑形态。

作为本系统的进一步改进，所述测试设备与被测设备之间的网络拓扑包括单模块网络拓扑、环网拓扑、骨干网拓扑。

作为本系统的进一步改进，所述测试客户端与所述被测设备之间通过以太网串口网络连接。

作为本系统的进一步改进，还包括无线网络设备，所述测试客户端通过所述无线网络设备与所述测试设备连接。

作为本系统的进一步改进，还包括独立程控电源，所述独立程控电源用于为所述测试客户端、测试设备、被测设备供电。

一种基于上述系统的轨道交通行业车载以太网交换软件性能测试方法，包括如下步骤：

S1. 根据测试需求，配置被测设备的配置信息，配置被测设备的端口拓扑形态；

S2. 根据测试需求，设计、编写测试用例，创建测试数据；

S3. 根据所述测试用例，通过测试设备将所述测试数据发送至所述被测设备；

S4. 测试客户端通过监听获取所述被测设备所转发的数据，通过分析所述被测设备接收到的数据与所转发的数据，生成测试结果。

作为本方法的进一步改进，所述步骤S1中配置被测设备的配置信息包括，配置被测设备的端口速率、端口工作模式。

作为本方法的进一步改进，所述步骤S1中所述被测设备的端口拓扑形态包括一对一、全网状和部分网状拓扑形态。

作为本方法的进一步改进，所述步骤S2中测试数据包括：测试条件、数据报文内容、数据速率、数据流调度方式、数据流发送方式及数据流类型。

作为本方法的进一步改进，所述步骤S2中的测试条件包括测试时间、试验次数、数据帧类型、数据帧大小。

作为本方法的进一步改进，所述步骤S2中数据帧类型包括正常帧、超小帧、超大帧、CRC错误帧、Fragment错误帧、Alignment错误帧和Dribble错误帧。

作为本方法的进一步改进，所述步骤S2中的数据报文内容包括在数据报文中插入的签名字段，签名字段信息包含数据发送端口信息、数据流ID、时间戳、发送序列。

作为本方法的进一步改进，所述步骤S4的具体步骤包括：

S4.1. 测试客户端通过监听获取所述被测设备所转发的数据，所述转发的数据按照OSI模型标准包括数据包和数据帧；

S4.2. 对所述被测设备所接收的数据和所转发的数据进行对比分析，所述对比分析方法包括：

A. 根据数据报文中的签名字段，通过对比被测设备转发的数据和接收的数据，查看丢包率，根据签名字段中的时间戳，对比被测设备转发的数据和接收的数据之间时间差，统计平均时延、最小时延、最大时延及抖动；

B. 通过二分法查找不丢包情况下被测设备数据转发的最大速率，确定被测设备的吞吐量；

C. 通过设置过滤器抓取所述转发的数据中特定数据，确定被测设备是否具有错误帧过滤能力，所述特定数据包括数据帧类型错误的数据，包括CRC错误帧、Fragment错误帧、Alignment错误帧和Dribble错误帧；

D. 在以超线速将所述测试数据发送至所述被测设备时，分析所述接收的数据与转发的数据的变化趋势，当端口出现拥塞时，检测被测设备是否具有产生PAUSE帧能力，以及当被测设备接收到PAUSE帧时，是否会导致转发的数据减慢；

S4.3. 当以上分析的结果与预设的预期结果不一致时，通过抓包软件生成PCAP文件，对PCAP文件进行分析确认原因；

S4.4. 保存、输出所述对比分析的结果。

与现有技术相比，本发明的优点在于：

1、发明面向车载交换软件，采用RFC标准为基础的测试用例，构建了全网状、部分网状、一对一三种拓扑形态测试环境，能够支持吞吐量、丢包率、时延、拥塞控制、地址表容量、地址学习速率、错误帧过滤性能指标测试，有效提升性能测试深度、广度与条理。

2、本发明具有自动化测试能力，通过编写测试脚本调用测试设备提供的API接口进行自动化控制，且自动化运行过程客户端软件将同步显示，客户端软件可直接驱动各测试标准下的基准测试套件。

3、本发明通过测试客户端主机控制，集成了手动测试与自动化测试，从测试设计到测试执行及数据分析整个测试流程，提供手动测试，直观易于操作，同时能够实现便捷、高效的车载交换软件自动化测试，执行手动测试不能完成的测试任务，更好地发现软件设计阶段的任何改变及缺陷，有效缩短测试时间，提高测试效率，提升产品质量。

附图说明

图1为现有技术中测试环境结构示意图。

图2为本发明具有实施例测试环境结构示意图。

图3为本发明具体实施例被测设备拓扑示意图。

图4为本发明具体实施例被测设备端口拓扑形态示意图。

图5为本发明具体实施例流程示意图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

如图2所示，本实施例轨道交通行业车载以太网交换软件性能测试系统，包括：测试客户端、测试设备、被测设备；测试客户端与被测设备网络连接，用于根据测试需求编写测试用例，配置被测设备的测试环境，驱动被测设备；测试客户端还与测试设备网络连接，用于对测试进行管理，驱动测试设备；测试设备与被测设备网络连接，测试设备用于接收测试客户端的测试用例，对被测设备执行测试；被测设备用于加载被测车载以太网交换软件。在本实施例中，还包括无线网络设备，测试客户端通过无线网络设备与测试设备连接。通过无线网络设备实现测试客户端与测试设备之间的网络连接，可便于测试客户端远程控制测试设备，实现人机分离，提高测试的灵活性。还包括独立程控电源，独立程控电源用于为测试客户端、测试设备、被测设备供电。测试客户端与被测设备之间通过以太网串口网络连接。

在本实施例中，测试客户端一方面连接被测设备，根据被测软件需求编写测试用例，配置测试环境，驱动被测设备完成相应的功能，另一方面连接测试设备，对测试进行管理，驱动测试设备完成各项工作，同时可以根据需要调用测试设备提供的API接口进行自动化控制，且自动化运行过程在测试客户端中同步显示。

在本实施例中，测试设备包括二层交换设备、三层交换设备。即OSI（Open SystemInterconnect，开放系统互联）模块的第二层和第三层的交换设备。测试设备接收客户端主机的控制指令，进行测试执行，实现软件吞吐量、丢帧率、时延、地址表容量、地址学习速率、地址老化时间、错误帧过滤、端口最长传输距离等测试，有效支持软件性能测试业务。测试设备可满足RFC2544、RFC2889、RFC3918标准，进行ARP、IP处理，流量发送与接收，IGMP组播处理，流量分析，路由协议处理等性能测试。

在本实施例中，被测设备包括至少一台以太网交换设备。以太网交换设备包括以太网交换类设备和以太网路由类设备。被测设备的端口拓扑形态包括一对一、全网状和部分网状拓扑形态。如图4所示，针对单个被测设备，通常优先选用一对一的拓扑形态，针对多个被测设备组成的系统级的测试，通常优先选用全网状的拓扑形态。测试设备与被测设备之间的网络拓扑包括单模块网络拓扑、环网拓扑、骨干网拓扑。针对被测设备的数量，以及被测设备具体的应用场景，可以根据现场环境模拟搭建多种网络拓扑结构，有效的对被测设备进行性能测试，获取性能指标。如图3所示的一种网络拓扑，包括6个被测设备，其中2个为路由设备，4个为交换设备，被测设备之间的网络拓扑可根据测试需求灵活搭建。

如图5所示，本实施例基于上述系统的轨道交通行业车载以太网交换软件性能测试方法，包括如下步骤：S1. 根据测试需求，配置被测设备的配置信息，配置被测设备的端口拓扑形态；S2. 根据测试需求，设计、编写测试用例，创建测试数据；S3. 根据测试用例，通过测试设备将测试数据发送至被测设备；S4. 测试客户端通过监听获取被测设备所转发的数据，通过分析被测设备接收到的数据与所转发的数据，生成测试结果。

在进行测试前，首先需要搭建测试的环境，包括硬件环境和软件环境。硬件环境即上述测试系统，被测的车载以太网交换软件加载在被测设备上，软件环境则是对各硬件设备进行配置。在本实施例中，步骤S1中配置被测设备的配置信息包括，配置被测设备的端口速率、端口工作模式。在对被测设备进行性能测试时，优选不开启流量控制，不限制速率，不开启广播风暴抑制。配置被测设备的端口拓扑形态，包括一对一、全网状和部分网状拓扑形态。如图4所示，在针对单个被测设备进行性能测试时，优先选择一对一的网络拓扑形态，在针对由多个被测设备构成的系统级的性能测试时，优先选择全网状拓扑形态。

根据测试需求，设计、编写测试用例，创建测试数据。在本实施例中，步骤S2中测试数据包括：测试条件、数据报文内容、数据速率、数据流调度方式、数据流发送方式及数据流类型。测试条件包括测试时间、试验次数、数据帧类型、数据帧大小。数据帧类型包括正常帧、超小帧、超大帧、CRC错误帧、Fragment错误帧、Alignment错误帧和Dribble错误帧。数据报文内容包括在数据报文中插入的签名字段，签名字段信息包含数据发送端口信息、数据流ID、时间戳、发送序列。通过创建适当的测试数据，可实现对车载交换设备的以太网交换软件进行（包括一对一、部分网状、全网状三种拓扑形态）吞吐量、（包括一对一、部分网状、全网状三种拓扑形态）丢包率、（包括一对一、部分网状、全网状三种拓扑形态）时延、错误帧过滤、拥塞控制、地址表容量、地址学习速率7个性能指标的性能测试。

在本实施例步骤S3中，将所创建的测试数据通过测试设备发送至被测设备，可以手动发送测试数据，也可以根据所编写的测试用例，自动发送测试数据，自动进行测试。

在本实施例中，步骤S4的具体步骤包括：S4.1. 测试客户端通过监听获取被测设备所转发的数据，转发的数据按照OSI模型标准包括数据包和数据帧；S4.2. 对被测设备所接收的数据和所转发的数据进行对比分析，对比分析方法包括：A. 根据数据报文中的签名字段，通过对比被测设备转发的数据和接收的数据，查看丢包率，根据签名字段中的时间戳，对比被测设备转发的数据和接收的数据之间时间差，统计平均时延、最小时延、最大时延及抖动；B. 通过二分法查找不丢包情况下被测设备数据转发的最大速率，确定被测设备的吞吐量；C. 通过设置过滤器抓取转发的数据中特定数据，确定被测设备是否具有错误帧过滤能力，特定数据包括数据帧类型错误的数据，包括CRC错误帧、Fragment错误帧、Alignment错误帧和Dribble错误帧；D. 在以超线速将测试数据发送至被测设备时，分析接收的数据与转发的数据的变化趋势，当端口出现拥塞时，检测被测设备是否具有产生PAUSE帧能力，以及当被测设备接收到PAUSE帧时，是否会导致转发的数据减慢；S4.3. 当以上分析的结果与预设的预期结果不一致时，通过抓包软件生成PCAP文件，对PCAP文件进行分析确认原因；S4.4. 保存、输出对比分析的结果。在本实施例中，测试设备发送至被测设备的数据即被测设备的接收的数据，被测设备对所接收的数据进行转发，即为转发的数据。通过设置过滤器可任意跟踪、分类、统计数据流量，对过滤器进行逻辑与、或、非运算，通过组合条件抓取特定的数据包进行分析，通过设置错误帧类型进行过滤查看交换设备是否具备错误帧过滤的能力。在完成测试后，可以对测试结果按照性能指标进行统计，以图形、图表、或表格的形式保存，生成测试报告。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims

1.一种轨道交通行业车载以太网交换软件性能测试系统，其特征在于，包括：测试客户端、测试设备、被测设备；所述测试客户端与所述被测设备网络连接，用于根据测试需求编写测试用例，配置被测设备的测试环境，驱动被测设备；所述测试客户端还与所述测试设备网络连接，用于对测试进行管理，驱动测试设备；所述测试设备与被测设备网络连接，测试设备用于接收测试客户端的测试用例，对所述被测设备执行测试；所述被测设备用于加载被测车载以太网交换软件；

测试客户端用于监听获取所述被测设备所转发的数据，所述转发的数据按照OSI模型标准包括数据包和数据帧；对所述被测设备所接收的数据和所转发的数据进行对比分析，所述对比分析方法包括：

当以上分析的结果与预设的预期结果不一致时，通过抓包软件生成PCAP文件，对PCAP文件进行分析确认原因；

保存、输出所述对比分析的结果。

2.根据权利要求1所述的轨道交通行业车载以太网交换软件性能测试系统，其特征在于：所述测试设备包括二层交换设备、和/或三层交换设备。

3.根据权利要求2所述的轨道交通行业车载以太网交换软件性能测试系统，其特征在于：所述被测设备包括至少一台以太网交换设备。

4.根据权利要求3所述的轨道交通行业车载以太网交换软件性能测试系统，其特征在于：所述被测设备的端口拓扑形态包括一对一、全网状和部分网状拓扑形态。

5.根据权利要求4所述的轨道交通行业车载以太网交换软件性能测试系统，其特征在于：所述测试设备与被测设备之间的网络拓扑包括单模块网络拓扑、或环网拓扑、或骨干网拓扑。

6.根据权利要求5所述的轨道交通行业车载以太网交换软件性能测试系统，其特征在于：所述测试客户端与所述被测设备之间通过以太网串口网络连接。

7.根据权利要求1至6任一项所述的轨道交通行业车载以太网交换软件性能测试系统，其特征在于：还包括无线网络设备，所述测试客户端通过所述无线网络设备与所述测试设备连接。

8.根据权利要求1至6任一项所述的轨道交通行业车载以太网交换软件性能测试系统，其特征在于：还包括独立程控电源，所述独立程控电源用于为所述测试客户端、和/或测试设备、和/或被测设备供电。

9.一种基于权利要求1至8任一项所述系统的轨道交通行业车载以太网交换软件性能测试方法，其特征在于，包括如下步骤：

S2. 根据测试需求，设计、编写测试用例，创建测试数据；

S4. 测试客户端通过监听获取所述被测设备所转发的数据，通过分析所述被测设备接收到的数据与所转发的数据，生成测试结果；

所述步骤S4的具体步骤包括：

S4.4. 保存、输出所述对比分析的结果。

10.根据权利要求9所述的轨道交通行业车载以太网交换软件性能测试方法，其特征在于：所述步骤S1中配置被测设备的配置信息包括，配置被测设备的端口速率、端口工作模式。

11.根据权利要求10所述的轨道交通行业车载以太网交换软件性能测试方法，其特征在于：所述步骤S1中所述被测设备的端口拓扑形态包括一对一、全网状和部分网状拓扑形态。

12.根据权利要求11所述的轨道交通行业车载以太网交换软件性能测试方法，其特征在于：所述步骤S2中测试数据包括：测试条件、数据报文内容、数据速率、数据流调度方式、数据流发送方式及数据流类型。

13.根据权利要求12所述的轨道交通行业车载以太网交换软件性能测试方法，其特征在于：所述步骤S2中的测试条件包括测试时间、和试验次数、和数据帧类型、和数据帧大小。

14.根据权利要求13所述的轨道交通行业车载以太网交换软件性能测试方法，其特征在于：所述步骤S2中数据帧类型包括正常帧、超小帧、超大帧、CRC错误帧、Fragment错误帧、Alignment错误帧和Dribble错误帧。

15.根据权利要求14所述的轨道交通行业车载以太网交换软件性能测试方法，其特征在于：所述步骤S2中的数据报文内容包括在数据报文中插入的签名字段，签名字段信息包含数据发送端口信息、和数据流ID、和时间戳、和发送序列。