CN114238000B

CN114238000B - 一种PCIe Switch的端口测试管理方法和装置

Info

Publication number: CN114238000B
Application number: CN202111568935.6A
Authority: CN
Inventors: 陈楚冠; 李正杰; 苏海亮; 徐燚; 吴寅; 付雷鸣
Original assignee: Wuxi Zhongxing Microsystem Technology Co ltd
Current assignee: Wuxi Zhongxing Microsystem Technology Co ltd
Priority date: 2021-12-21
Filing date: 2021-12-21
Publication date: 2022-11-22
Anticipated expiration: 2041-12-21
Also published as: CN114238000A

Abstract

本发明提供了一种PCIe Switch的端口测试管理方法和装置，该方法包括：将多个PCIe Switch进行级联连接；将与级联连接的PCIe Switch相关联的多个虚拟EP设备进行统一编号，并将所有C代码进行整合；从多个虚拟EP设备中确定触发设备，通过触发设备对目标设备执行输入输出业务，以发起对目标端口的测试。本发明将PCIe Switch的多个虚拟EP进行统一管理，便于各个方向数据流的全覆盖验证，适用于PCIe Switch的多端口功能遍历和压力测试。

Description

一种PCIe Switch的端口测试管理方法和装置

技术领域

本发明属于总线设计领域，特别涉及一种PCIe Switch的端口测试管理方法和装置。

背景技术

PCIe Switch是PCIe拓扑结构中的一个扩展器件，可以用来扩展PCIe的通道(lane)的数量，以此增强主CPU的PCIe设备的扩展能力。PCIe Switch广泛应用于大型存储系统或服务器平台的板卡设备中。传统的标准PCIe Switch具有一个上行端口(UP)和多个下行端口(DP)，在PCIe Switch芯片设计验证阶段，需要对UP和每个DP端口进行功能遍历和压力测试。

常见的测试平台包括FPGA平台和EMU平台。在FPGA平台上，PCIe Switch芯片的UP端口连接服务器，DP端口连接真实的EP(Endpoint，端点)设备，对PCIe Switch端口进行功能验证。在FPGA测试环境中存在端口无法全部覆盖的问题。由于FPGA的资源限制，需要对芯片逻辑进行裁剪，单个版本只能测试有限的几个端口，无法将全部端口都进行覆盖测试。在EMU平台上，有两种常见的测试场景，一种是DP端口通过转接卡连接真实的EP设备，另一种是使用虚拟EP的方案。参见图1，在DP端口连接虚拟EP设备，每一个虚拟EP都有一份C代码进行业务管理。其中，当在EMU平台使用真实的EP设备时，存在成本高的问题，因为EMU平台需要先连接供应商提供的昂贵的转接卡，再连接EP设备。PCIe Switch需要测试的DP端口众多，而在使用虚拟EP的方案的情况下，每增加一个虚拟EP，就需要增加一份C代码，缺乏对C代码的统一管理，因此会导致维护的代码数量过多，并且测试激励构造繁琐。另外，以上三种方案中，UP端口直接连接服务器，服务器CPU输入无法对UP端口产生较大的压力，因此对PCIe Switch的UP端口输入压力测试不充分，并且测试无法完全覆盖所有端口。

发明内容

本发明的目的在于提供一种PCIe Switch的端口测试管理方法和装置，在EMU平台上使用虚拟EP的基础上，提出了一种新的测试场景，旨在解决测试激励构造繁琐，以及被测端口的输入压力不充分的问题。

根据本发明的第一方面，提供了一种PCIe Switch的端口测试管理方法，包括：

步骤101：将多个PCIe Switch进行级联连接；

步骤102：将与级联连接的PCIe Switch相关联的多个虚拟EP设备进行统一编号，并将所有C代码进行整合；

步骤103：从所述多个虚拟EP设备中确定触发设备，通过所述触发设备对目标设备执行输入输出业务，以发起对目标端口的测试。

优选地，所述与级联连接的PCIe Switch相关联的多个虚拟EP设备，包括与级联连接的每个PCIe Switch的DP端口相连接的多个虚拟EP设备。

优选地，所述将所有C代码进行整合，进一步包括：

将所述多个虚拟EP设备相关的多份C代码合并为一份。

优选地，所述目标设备是第一虚拟EP设备，其中第一虚拟EP设备和所述触发设备均连接到同一PCIe Switch设备，所述通过触发设备对目标设备执行输入输出业务，以发起对目标端口的测试，进一步包括：

通过所述触发设备发起对连接到所述同一PCIe Switch设备的其他DP端口的输入输出压力测试。

优选地，所述目标设备是所述PCIe Switch设备上级的RC或者服务器，所述通过触发设备发起对目标端口的测试，进一步包括：

通过所述触发设备发起对所述PCIe Switch设备的UP端口的输出压力测试。

优选地，所述目标设备是所述触发设备所连接的PCIe Switch的下级PCIeSwitch，所述通过触发设备发起对目标端口的测试，进一步包括：

通过所述触发设备发起对下级PCIe Switch的UP端口的输入压力测试。

根据本发明的第二方面，提供了一种PCIe Switch的端口测试管理装置，包括：

连接建立模块，被配置为将多个PCIe Switch进行级联连接；

端口管理模块，被配置为将与级联连接的PCIe Switch相关联的多个虚拟EP设备进行统一编号，并将所有C代码进行整合；

业务触发模块，被配置为从所述多个虚拟EP设备中确定触发设备，通过所述触发设备对目标设备执行输入输出业务，以发起对目标端口的测试。

优选地，所述端口管理模块进一步被配置为：

将所述多个虚拟EP设备相关的多份C代码合并为一份。

优选地，所述目标设备是第一虚拟EP设备，其中第一虚拟EP设备和所述触发设备均连接到同一PCIe Switch设备，所述业务触发模块进一步被配置为：

优选地，所述目标设备是所述PCIe Switch设备上级的RC或者服务器，所述业务触发模块进一步被配置为：

优选地，所述目标设备是所述触发设备所连接的PCIe Switch的下级PCIeSwitch，所述业务触发模块进一步被配置为：

相比于现有技术，本发明的方案将PCIe Switch的多个DP端口连接的虚拟EP进行统一管理，简化了系统的复杂度，方便构造各种方向的数据流，支持对Switch端口的各种数据流向进行全覆盖验证。

本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获取。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图是本发明的某些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。

图1是根据现有技术的PCIe Switch在EMU平台使用虚拟EP设备进行测试的结构示意图。

图2是根据本发明的PCIe Switch的端口测试管理方法的流程图。

图3是根据本发明的级联PCIe Switch连接多个虚拟EP设备的结构示意图。

图4是根据本发明的基于图3的级联拓扑结构的数据流向图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种PCIe Switch的端口测试管理方法和装置，基于EMU平台和虚拟EP设备的应用场景，将PCIe Switch的多个DP端口连接的虚拟EP进行统一管理，并改进UP端口的测试场景。

本发明首先在第一方面提出一种PCIe Switch的端口测试管理方法，参见图2的流程图，所述PCIe Switch的端口测试管理方法包括：

步骤101：将多个PCIe Switch进行级联连接。

图3是根据本发明的级联PCIe Switch连接多个虚拟EP设备的结构示意图。在已有的单个PCIe Switch的基础上，可以叠加其他的PCIe Switch，形成级联结构。利用PCIeSwitch的P2P功能，增加UP端口数据输入的流量。如图3所示，上级PCIe Switch A的DP端口可以连接下级PCIe Switch B的UP端口。当每个PCIe Switch具有两个DP端口时，这种级联拓扑至少能够产生三个DP端口，例如分别连接EP0、EP1和EP2。

步骤102：将与级联连接的PCIe Switch相关联的多个虚拟EP设备进行统一编号，并将所有C代码进行整合。

所述将所有C代码进行整合可以包括，将单个PCIe Switch相关联的多个虚拟EP设备的C Code合并为一份，以便进行统一管理。特别地，如果多个C代码文件存在重复，则可以通过去冗余算法对重复文件进行去重，使相同代码只保留一份，可以减少存储空间。多个EP设备通过DPI接口访问整合后的C代码。如上所述，虚拟EP设备可以与上级PCIe Switch直接连接，也可以与下级PCIe Switch直接连接。即虚拟EP设备可以连接到上级PCIe Switch的DP端口，或者连接到下级PCIe Switch的DP端口。同时对所有的虚拟EP设备进行编号，如0，1，2，…，n。也就是说，对于多个PCIe Switch叠加的场景，同样可以支持一份C Code对不同PCIe Switch的多个虚拟EP的统一管理。

参见图4，示出了基于图3的级联拓扑结构的数据流图。根据所确定的触发设备的不同，图4的虚线编号所举例说明的是多种类型的数据流。被测对象可以是PCIe Switch B，以支持一个UP端口和两个DP端口为例，根据上述实施例中的端口管理方法覆盖以下类型的数据流：

类型1：被测试的PCIe Switch的DP端口之间的P2P数据流，用于验证Switch内的DP端口输入输出压力，如数据流标识1。

类型2：被测试的PCIe Switch的DP端口到UP端口的数据流，用于验证UP端口的输出压力，如数据流标识2。

类型3：被测试的PCIe Switch的UP端口连接的PCIe Switch的P2P数据流，用于验证被测试的PCIe Switch的UP端口的输入压力，如数据流标识3。

对于数据流类型1，即当所述触发设备是同一个PCIe Switch内部的虚拟EP设备时，所述步骤103具体可以包括：

步骤1031、通过直接连接到目标PCIe Switch的虚拟EP设备发起对同一PCIeSwitch的其他DP端口的输入输出压力测试。

例如，服务器可以控制触发PCIe Switch B的EP1，发起访问EP2的DP to DP的P2P业务，EP2的BAR(基址寄存器Base Address Register)地址和BDF(Bus number，devicenumber，function number即总线号、设备号和功能号)可以预先固化在C代码中；同理，EP2也可以发起P2P业务，访问EP1。

对于数据流类型2，即当所述触发设备是下级PCIe Switch的虚拟EP设备并且目标设备是上级设备时，所述步骤103具体可以包括：

步骤1032、通过直接连接到下级PCIe Switch的虚拟EP设备发起对下级PCIeSwitch的UP端口的输出压力测试。

例如，服务器可以控制触发PCIe Switch B的EP1或EP2，发起DP to UP的访问RC(Root Complex)或者服务器CPU RAM的业务，RC的BDF和服务器的RAM物理地址可以预先配置在C代码中。

对于数据流类型3，即当所述触发设备是上级PCIe Switch的虚拟EP设备时，所述步骤103具体可以包括：

步骤1033、通过直接连接到上级PCIe Switch的虚拟EP设备发起对下级PCIeSwitch的UP端口的输入压力测试。

参见图3，服务器可以控制触发PCIe Switch A的EP0发起访问PCIe Switch B的EP1或者EP2的P2P业务，对UP端口进行输入压力测试，EP1和EP2的BAR地址和BDF预先被固化在C代码中。如图3和4所示，第二级PCIe Switch即PCIe Switch B可以是被测试的对象；上级PCIe Switch A用于辅助测试PCIe Switch B。使用PCIe Switch的P2P功能，可以由EP0发起对PCIe Switch B的UP端口测试。

为实现以上各个类型的数据流，统一平台服务器可以控制任意一个虚拟EP设备发送出不同的报文，包括控制报文的目标地址，例如可以发送到主机，也可以发送到其他的EP。此外，统一平台服务器还需要指定任意一个EP发送报文的带宽，并控制各级PCIeSwitch所连接的EP的数量，该数量可以根据实际需要来扩展。

可见，在整合后的C代码中，便于构造P2P业务，简化某个EP访问其他EP的PCIeSwitch，避免了现有技术中构造测试激励的复杂过程；利用PCIe Switch的P2P功能进行输入压力测试，从而向被测试的PCIe Switch的UP端口提供足够的输入压力。整合之后的C代码也实现了在服务器一次控制触发时，使得虚拟EP自动完成访问业务，进行自动化的端口遍历和压力测试。

在优选的实施例中，所述步骤102中与PCIe Switch相关联的多个虚拟EP设备进行统一编号，进一步包括将多个虚拟EP设备进行统一格式进行命名。例如，可以对被测试的PCIe Switch的DP端口连接的虚拟EP，按照端口编号+ep_num(EP编号)进行命名，如group0port0 ep0，group0 port1 ep1。下文简称为g0p0ep0，g0p1ep1。

在C代码中，可以采用线性管理方式，如数组方式，并建立命名与数组索引下标的映射表。举例如下：

表1

上述表格使用数组方式，构造一个数组ep[n]，其中，可以使用ep[0]指向命名为g0p0 ep0的虚拟EP，使用ep[1]指向命名为g0p1 ep1的虚拟EP。在C代码中，可以将虚拟EP转换成一个数组+索引下标的方式进行管理。

优选地，对多个PCIe Switch叠加的场景，每个PCIe Switch都可以连接需要虚拟EP设备，因此为了区分虚拟EP设备所连接的PCIe Switch，则在虚拟EP设备命名上，再增加PCIe Switch的编号，如u0，u1等，用来识别不同的PCIe Switch。

每个PCIe Switch的虚拟EP可以采用上述线性管理的方式单独管理，即采用多个独立的数组，例如可以构造数组ep[0][n]、ep[1][n]、…、ep[m][n]；也可以采用统一线性管理方式，即采用同一个数组，根据索引下标管理多个PCIe Switch的虚拟EP设备。例如，可以对被测试的PCIe Switch的DP端口连接的虚拟EP，按照switch编号+端口编号+ep_num(EP编号)进行命名，如switch0 group0 port0 ep0，switch1 group2 port1 ep3。表2举例说明了采用统一线性管理即同一个数组的映射方式：

表2

其中，u0、u1用于区分不同的PCIe Switch；g0、g1用于区分PCIe Switch不同的group编号即组编号；p0、p1用于区分PCIe Switch的group下不同的port编号即端口号。通过对虚拟EP设备的统一线性管理方式，解决了EMU平台下端口无法全部覆盖的问题。

本领域技术人员可以理解，上述实施例中描述的元件拓扑结构和功能模块的数量仅为举例。本领域技术人员可以根据需要而将本发明的方法应用于两个以上PCIe Switch设备的互联，或者应用于两级以上的PCIe Switch设备的叠加。

可见，采用本发明的上述技术方案，方便构造各种方向的数据流，支持对PCIeSwitch端口的各种数据流向进行全覆盖验证。例如，PCIe Switch端口的数据流不仅覆盖了UP端口的输入压力测试，可以对PCIe Switch的UP到所有DP间的数据传输进行测试，而且还可以测试到PCIe Switch的所有DP间的数据传输以及PCIe Switch各端口满带宽压力数据流。通过在EMU平台下将PCIe Switch的多个DP端口连接的虚拟EP进行统一管理，简化了系统的复杂度。

相应地，本发明在第二方面提供了一种PCIe Switch的端口测试管理装置，包括：

连接建立模块201，被配置为将多个PCIe Switch进行级联连接；

端口管理模块202，被配置为将与级联连接的PCIe Switch相关联的多个虚拟EP设备进行统一编号，并将所有C代码进行整合；

业务触发模块203，被配置为从所述多个虚拟EP设备中确定触发设备，通过所述触发设备对目标设备执行输入输出业务，以发起对目标端口的测试。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种PCIe Switch设备的端口测试管理方法，其特征在于，包括：

步骤101：将多个PCIe Switch进行级联连接；

所述将与级联连接的PCIe Switch相关联的多个虚拟EP设备进行统一编号，进一步包括：

将每个PCIe Switch的虚拟EP设备采用数组方式进行单独线性管理或者统一线性管理；所述单独线性管理包括将每个PCIe Switch的虚拟EP设备转换成端口编号与EP编号的序列；所述统一线性管理包括将多个PCIe Switch的虚拟EP设备统一转换成switch编号、端口编号与EP编号的序列；

所述将所有C代码进行整合，进一步包括：将所述多个虚拟EP设备相关的多份C代码合并为一份；所述C代码在整合后使得在服务器一次控制触发时，虚拟EP自动完成访问业务，进行自动化的端口遍历和压力测试；

步骤103：从所述多个虚拟EP设备中确定触发设备，通过所述触发设备对目标设备执行输入输出业务，以发起对目标端口的测试；

所述与级联连接的PCIe Switch相关联的多个虚拟EP设备，包括与级联连接的每个PCIe Switch的DP端口相连接的多个虚拟EP设备；

当所述目标设备是第一虚拟EP设备时，其中第一虚拟EP设备和所述触发设备均连接到同一PCIe Switch设备，所述通过触发设备对目标设备执行输入输出业务，以发起对目标端口的测试，进一步包括：通过所述触发设备发起对连接到所述同一PCIe Switch设备的其他DP端口的输入输出压力测试；

当所述目标设备是所述PCIe Switch设备上级的RC或者服务器时，所述通过触发设备对目标设备执行输入输出业务，以发起对目标端口的测试，进一步包括：通过所述触发设备发起对所述PCIe Switch设备的UP端口的输出压力测试；

当所述目标设备是所述触发设备所连接的PCIe Switch的下级PCIe Switch时，所述通过触发设备对目标设备执行输入输出业务，以发起对目标端口的测试，进一步包括：通过所述触发设备发起对下级PCIe Switch的UP端口的输入压力测试。

2.一种PCIe Switch设备的端口测试管理装置，其特征在于，包括：

连接建立模块，被配置为将多个PCIe Switch进行级联连接；

所述端口管理模块进一步被配置为：将每个PCIe Switch的虚拟EP设备采用数组方式进行单独线性管理或者统一线性管理；所述单独线性管理包括将每个PCIe Switch的虚拟EP设备转换成端口编号与EP编号的序列；所述统一线性管理包括将多个PCIe Switch的虚拟EP设备统一转换成switch编号、端口编号与EP编号的序列；将所述多个虚拟EP设备相关的多份C代码合并为一份；所述C代码在整合后使得在服务器一次控制触发时，虚拟EP自动完成访问业务，进行自动化的端口遍历和压力测试；

业务触发模块，被配置为从所述多个虚拟EP设备中确定触发设备，通过所述触发设备对目标设备执行输入输出业务，以发起对目标端口的测试；

当所述目标设备是第一虚拟EP设备时，其中第一虚拟EP设备和所述触发设备均连接到同一PCIe Switch设备，所述业务触发模块进一步被配置为：通过所述触发设备发起对连接到所述同一PCIe Switch设备的其他DP端口的输入输出压力测试；

当所述目标设备是所述PCIe Switch设备上级的RC或者服务器时，所述业务触发模块进一步被配置为：通过所述触发设备发起对所述PCIe Switch设备的UP端口的输出压力测试；

当所述目标设备是所述触发设备所连接的PCIe Switch的下级PCIe Switch时，所述业务触发模块进一步被配置为：通过所述触发设备发起对下级PCIe Switch的UP端口的输入压力测试。