CN110413461B - 测量加速卡与主机之间传输延时的系统、方法及加速卡 - Google Patents

Abstract

本申请公开了一种测量加速卡与主机之间传输延时的系统、方法及一种加速卡，包括解析模块，用于根据寄存器组的配置信息生成TLP请求，将TLP请求发送至主机，同时生成计时开始请求；还用于当接收到完成TLP请求，生成计时停止请求；计时模块，用于当接收到计时开始请求，开始计时，当接收到计时停止请求，停止计时，并获取计时时间，将计时时间发送至寄存器组中的时间寄存器；主机，用于配置寄存器组的配置信息；还用于发送完成TLP请求；还用于获取时间寄存器中的计时时间，根据计时时间确定传输延时。本申请可完成对各种加速卡与主机数据传输延时的测量，成本低，灵活性和可扩展性较强。

Description

测量加速卡与主机之间传输延时的系统、方法及加速卡

技术领域

本申请涉及服务器领域，特别是涉及一种测量加速卡与主机之间传输延时的系统、方法及加速卡。

背景技术

随着异构加速日益广泛的应用，基于FPGA(Field－Programmable Gate Array，现场可编程门阵列)的加速卡也发展迅速。加速卡通过PCIE(Peripheral ComponentInterconnect Express，高速串行计算机扩展总线标准)插槽与服务器主机连接，服务器主机通过PCIE插槽将需要加速的数据发送给加速卡内部的FPGA，FPGA处理完成后通过PCIE插槽返回相关的数据给主机。对于某些特定的应用，加速卡和主机之间的数据传输延时必须在某一阈值以下，如果延时过大，会导致加速功能失去意义。

现有技术中，一般是通过金手指逻辑分析仪来测量加速卡和主机之间的数据传输延时。该仪器可以通过PCIE对应的硬件接口，采样数据，然后解析PCIE的TLP(TransactionLayer Package，PCIE事物层数据包)数据包，从数据包中分析出相关信息，最后计算得出从FPGA发起请求到主机返回数据的传输延时。金手指逻辑分析仪昂贵，携带不方便，同时需要专门的技术人员操作，导致测量一次需要很大的沟通成本，而且浪费时间。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

本申请的目的是提供一种测量加速卡与主机之间传输延时的系统、方法及一种加速卡，通过主机和FPGA即可完成对各种加速卡与主机数据传输延时的测量，成本低，灵活性和可扩展性较强。

为解决上述技术问题，本申请提供了一种测量加速卡与主机之间传输延时的系统，包括主机，设有解析模块、计时模块及寄存器组的FPGA，其中：

所述解析模块，用于根据所述寄存器组的配置信息生成TLP请求，将所述TLP请求发送至所述主机，同时生成计时开始请求；还用于当接收到完成TLP请求，生成计时停止请求；

计时模块，用于当接收到所述计时开始请求，开始计时，当接收到所述计时停止请求，停止计时，并获取计时时间，将所述计时时间发送至所述寄存器组中的时间寄存器；

所述主机，用于配置所述寄存器组的配置信息；还用于发送所述完成TLP请求；还用于获取所述时间寄存器中的计时时间，根据所述计时时间确定传输延时。

优选的，所述配置信息包括主机memory有效地址、待读取数据长度以及发送所述TLP请求的次数。

优选的，所述将所述TLP请求发送至所述主机，同时生成计时开始请求的过程具体为：

按发送周期向所述主机发送所述TLP请求，同时生成计时开始请求；

相应的，所述获取计时时间，将所述计时时间发送至所述寄存器组中的时间寄存器的过程具体为：

获取每一所述发送周期对应的计时时间；

将所有所述计时时间发送至所述寄存器组中的时间寄存器。

优选的，所述获取所述时间寄存器中的计时时间，根据所述计时时间确定传输延时的过程具体为：

获取所述时间寄存器中的所有所述计时时间，对所有所述计时时间求平均，得到平均计时时间；

根据所述平均计时时间和预设时钟频率的乘积确定传输延时。

为解决上述技术问题，本申请还提供了一种加速卡，包括如上文任意一项所述的FPGA。

为解决上述技术问题，本申请还提供了一种测量加速卡与主机之间传输延时的方法，应用于如上文任意一项所述的FPGA，包括：

接收主机发送的配置信息，根据所述配置信息生成TLP请求；

向所述主机发送所述TLP请求，并开始计时；

当接收到所述主机返回的完成TLP请求，停止计时；

获取计时时间，将所述计时时间发送至主机，以便所述主机根据所述计时时间确定传输延时。

优选的，所述配置信息包括主机memory有效地址、待读取数据长度以及发送所述TLP请求的次数。

优选的，所述向所述主机发送所述TLP请求，并开始计时的过程具体为：

按发送周期，向所述主机发送所述TLP请求，并开始计时；

相应的，所述获取计时时间，将所述计时时间发送至主机，以便所述主机根据所述计时时间确定传输延时的过程具体为：

获取每一所述发送周期对应的计时时间；

将所有所述计时时间发送至主机，以便所述主机根据所有所述计时时间确定传输延时。

优选的，所述主机根据所有所述计时时间确定传输延时的过程具体为：

所述主机对所有所述计时时间求平均，得到平均计时时间；

根据所述平均计时时间和预设时钟频率的乘积确定传输延时。

本申请所提供的一种测量加速卡与主机之间传输延时的系统，包括主机，设有解析模块、计时模块及寄存器组的FPGA，其中：解析模块，用于根据寄存器组的配置信息生成TLP请求，将TLP请求发送至主机，同时生成计时开始请求；还用于当接收到完成TLP请求，生成计时停止请求；计时模块，用于当接收到计时开始请求，开始计时，当接收到计时停止请求，停止计时，并获取计时时间，将计时时间发送至寄存器组中的时间寄存器；主机，用于配置寄存器组的配置信息；还用于发送完成TLP请求；还用于获取时间寄存器中的计时时间，根据计时时间确定传输延时。在实际应用中，采用本申请的方案，不需要额外的测量工具，通过主机对FPGA的内部寄存器组进行相应配置，然后通过解析模块和计时模块即可自动完成对各种加速卡与主机数据传输延时的测量，成本低，具有较强的灵活性和可扩展性。本申请还提供了一种测量加速卡与主机之间传输延时的方法及一种加速卡，具有和上述测量加速卡与主机之间传输延时的系统相同的有益效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的一种测量加速卡与主机之间传输延时的系统的结构示意图；

图2为本申请所提供的一种测量加速卡与主机之间传输延时的方法的步骤流程图。

具体实施方式

本申请的核心是提供一种测量加速卡与主机之间传输延时的系统、方法及一种加速卡，通过主机和FPGA即可完成对各种加速卡与主机数据传输延时的测量，成本低，灵活性和可扩展性较强。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参照图1，图1为本申请所提供的一种测量加速卡与主机1之间传输延时的系统的结构示意图，包括主机1，设有解析模块21、计时模块22及寄存器组23的FPGA2，其中：

解析模块21，用于根据寄存器组23的配置信息生成TLP请求，将TLP请求发送至主机1，同时生成计时开始请求；还用于当接收到完成TLP请求，生成计时停止请求；

计时模块22，用于当接收到计时开始请求，开始计时，当接收到计时停止请求，停止计时，并获取计时时间，将计时时间发送至寄存器组23中的时间寄存器；

主机1，用于配置寄存器组23的配置信息；还用于发送完成TLP请求；还用于获取时间寄存器中的计时时间，根据计时时间确定传输延时。

具体的，设于加速卡上的FPGA2和主机1之间通过PCIE插槽连接，FPGA2内部设有用于实现延时测试逻辑的解析模块21、计时模块22和寄存器组23，寄存器组23中包括多个功能寄存器，主机1通过PCIE插槽中的Avalon-MM接口去配置寄存器组23中对应的寄存器的配置信息，考虑到主机memory不是任何一块地址都可以访问，如果是非法地址访问容易死机，所以配置信息具体包括但不限于主机memory有效地址，待读取数据长度以及发送TLP请求的次数。

可以理解的是，寄存器组23中存在一寄存器与配置完成相关，当主机1对寄存器组23的配置完成后，该寄存器会触发解析模块21，解析模块21在接收到触发后，根据寄存器组23的配置信息，生成read memory的TLP请求，并根据主机memory有效地址，通过PCIE插槽的Avalon-ST接口发送到主机1，在发出TLP header的同时，生成计时开始请求，计时模块22在接收到计时开始请求后开始计时，直到解析模块21接收到主机1返回的完成TLP的header，生成计时停止请求，计时模块22在接收到计时停止请求后，获取计时时间，该计时时间即为该次读请求延时，将计时时间存储到寄存器组23内对应的寄存器(即时间寄存器)，主机1通过PCIE插槽的Avalon-MM接口获取该寄存器内的计时时间，以确定该次传输延时。

具体的，本申请所提供的加速卡包括但不限于Intel的加速卡，inspur的加速卡、Xilinx的加速卡等，主机1包括但不限于inspur的主机、联想的主机、IBM的主机等。

本申请所提供的一种测量加速卡与主机之间传输延时的系统，包括主机，设有解析模块、计时模块及寄存器组的FPGA，其中：解析模块，用于根据寄存器组的配置信息生成TLP请求，将TLP请求发送至主机，同时生成计时开始请求；还用于当接收到完成TLP请求，生成计时停止请求；计时模块，用于当接收到计时开始请求，开始计时，当接收到计时停止请求，停止计时，并获取计时时间，将计时时间发送至寄存器组中的时间寄存器；主机，用于配置寄存器组的配置信息；还用于发送完成TLP请求；还用于获取时间寄存器中的计时时间，根据计时时间确定传输延时。在实际应用中，采用本申请的方案，不需要额外的测量工具，通过主机对FPGA的内部寄存器组进行相应配置，然后通过解析模块和计时模块即可自动完成对各种加速卡与主机数据传输延时的测量，成本低，具有较强的灵活性和可扩展性。

在上述实施例的基础上：

作为一种优选的实施例，配置信息包括主机memory有效地址、待读取数据长度以及发送TLP请求的次数。

作为一种优选的实施例，将TLP请求发送至主机1，同时生成计时开始请求的过程具体为：

按发送周期向主机1发送TLP请求，同时生成计时开始请求；

相应的，获取计时时间，将计时时间发送至寄存器组23中的时间寄存器的过程具体为：

获取每一发送周期对应的计时时间；

将所有计时时间发送至寄存器组23中的时间寄存器。

作为一种优选的实施例，获取时间寄存器中的计时时间，根据计时时间确定传输延时的过程具体为：

获取时间寄存器中的所有计时时间，对所有计时时间求平均，得到平均计时时间；

根据平均计时时间和预设时钟频率的乘积确定传输延时。

具体的，为提高测量结果的准确性，需要进行多次测试，因此，本申请为解析模块21预先设置了发送周期，每隔发送周期，解析模块21均会根据主机memory有效地址，向主机1发送TLP请求，相应的，在每个发送周期，均可以获取到一次计时时间，计时模块22将每次的计时时间存储到时间寄存器，主机1通过PCIE插槽的Avalon-MM接口读取存放在时间寄存器内的所有计时时间，计算出平均值，然后再乘以时钟频率就能计算出具体的时间长度。

进一步的，本申请所提供的延时测试逻辑可以封装成IP独立使用，增强了本申请的灵活性、可移植性及可拓展性。

相应的，本申请还提供了一种加速卡，包括如上文任意一项的FPGA。

本申请所提供的一种加速卡，具有和上述测量加速卡与主机之间传输延时的系统相同的有益效果。

对于本申请所提供的一种加速卡的介绍，请参照上述实施例，本申请在此不再赘述。

请参照图2，图2为本申请所提供的一种测量加速卡与主机之间传输延时的方法的步骤流程图，应用于如上文任意一项的FPGA，包括：

步骤1：接收主机发送的配置信息，根据配置信息生成TLP请求；

步骤2：向主机发送TLP请求，并开始计时；

步骤3：当接收到主机返回的完成TLP请求，停止计时；

步骤4：获取计时时间，将计时时间发送至主机，以便主机根据计时时间确定传输延时。

作为一种优选的实施例，配置信息包括主机memory有效地址、待读取数据长度以及发送TLP请求的次数。

作为一种优选的实施例，向主机发送TLP请求，并开始计时的过程具体为：

按发送周期，向主机发送TLP请求，并开始计时；

相应的，获取计时时间，将计时时间发送至主机，以便主机根据计时时间确定传输延时的过程具体为：

获取每一发送周期对应的计时时间；

将所有计时时间发送至主机，以便主机根据所有计时时间确定传输延时。

作为一种优选的实施例，主机根据所有计时时间确定传输延时的过程具体为：

主机对所有计时时间求平均，得到平均计时时间；

根据平均计时时间和预设时钟频率的乘积确定传输延时。

本申请所提供的一种测量加速卡与主机之间传输延时的方法，具有和上述测量加速卡与主机之间传输延时的系统相同的有益效果。

对于本申请所提供的一种测量加速卡与主机之间传输延时的方法的介绍，请参照上述实施例，本申请在此不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法而言，由于其与实施例公开的系统相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其他实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种测量加速卡与主机之间传输延时的系统，其特征在于，包括主机，设有解析模块、计时模块及寄存器组的FPGA，其中：

所述解析模块，用于根据所述寄存器组的配置信息生成TLP请求，将所述TLP请求发送至所述主机，同时生成计时开始请求；还用于当接收到完成TLP请求，生成计时停止请求；

所述计时模块，用于当接收到所述计时开始请求，开始计时，当接收到所述计时停止请求，停止计时，并获取计时时间，将所述计时时间发送至所述寄存器组中的时间寄存器；

所述主机，用于配置所述寄存器组的配置信息；还用于发送所述完成TLP请求；还用于获取所述时间寄存器中的计时时间，根据所述计时时间确定传输延时。

2.根据权利要求1所述的测量加速卡与主机之间传输延时的系统，其特征在于，所述配置信息包括主机memory有效地址、待读取数据长度以及发送所述TLP请求的次数。

3.根据权利要求2所述的测量加速卡与主机之间传输延时的系统，其特征在于，所述将所述TLP请求发送至所述主机，同时生成计时开始请求的过程具体为：

按发送周期向所述主机发送所述TLP请求，同时生成计时开始请求；

相应的，所述获取计时时间，将所述计时时间发送至所述寄存器组中的时间寄存器的过程具体为：

获取每一所述发送周期对应的计时时间；

将所有所述计时时间发送至所述寄存器组中的时间寄存器。

4.根据权利要求3所述的测量加速卡与主机之间传输延时的系统，其特征在于，所述获取所述时间寄存器中的计时时间，根据所述计时时间确定传输延时的过程具体为：

获取所述时间寄存器中的所有所述计时时间，对所有所述计时时间求平均，得到平均计时时间；

根据所述平均计时时间和预设时钟频率的乘积确定传输延时。

5.一种加速卡，其特征在于，包括如权利要求1-4任意一项所述测量加速卡与主机之间传输延时的系统的FPGA。

6.一种测量加速卡与主机之间传输延时的方法，其特征在于，应用于如权利要求1-4任意一项所述测量加速卡与主机之间传输延时的系统的FPGA，包括：

接收主机发送的配置信息，根据所述配置信息生成TLP请求；

向所述主机发送所述TLP请求，并开始计时；

当接收到所述主机返回的完成TLP请求，停止计时；

获取计时时间，将所述计时时间发送至主机，以便所述主机根据所述计时时间确定传输延时。

7.根据权利要求6所述的测量加速卡与主机之间传输延时的方法，其特征在于，所述配置信息包括主机memory有效地址、待读取数据长度以及发送所述TLP请求的次数。

8.根据权利要求7所述的测量加速卡与主机之间传输延时的方法，其特征在于，所述向所述主机发送所述TLP请求，并开始计时的过程具体为：

按发送周期，向所述主机发送所述TLP请求，并开始计时；

相应的，所述获取计时时间，将所述计时时间发送至主机，以便所述主机根据所述计时时间确定传输延时的过程具体为：

获取每一所述发送周期对应的计时时间；

将所有所述计时时间发送至主机，以便所述主机根据所有所述计时时间确定传输延时。

9.根据权利要求8所述的测量加速卡与主机之间传输延时的方法，其特征在于，所述主机根据所有所述计时时间确定传输延时的过程具体为：

所述主机对所有所述计时时间求平均，得到平均计时时间；

根据所述平均计时时间和预设时钟频率的乘积确定传输延时。

Images