CN114138476A - 一种池化资源的处理方法、装置、电子设备及介质 - Google Patents

Abstract

本申请公开了一种池化资源的处理方法、装置、电子设备及介质，该方法应用于FPGA云平台，该FPGA云平台包括FPGA加速卡，交换机，底板和主机；底板包括卡槽，用于插入FPGA加速卡，为FPGA加速卡供电；交换机与FPGA加速卡的光纤网口连接，用于实现FPGA加速卡之间的数据交互；主机与交换机连接，用于通过交换机向FPGA加速卡发送UDP报文；FPGA加速卡，用于接收交换机发送的UDP报文，然后解析该UDP报文得到QP字段信息，再将数据输入到与QP字段信息对应的Kernel端进行处理。由此可见，本申请提出的方法实现了在同一个FPGA加速卡上进行多个Kernel加速运算，能够高效利用池化资源。

Description

一种池化资源的处理方法、装置、电子设备及介质

技术领域

本申请涉及数据处理领域，特别是涉及一种池化资源的处理方法、装置、电子设备及介质。

背景技术

随着云计算技术的蓬勃发展，越来越多的业务需要依靠云端处理。由于数据的分析、处理等业务都会占用大量的服务器资源，与此同时，随着摩尔定律的失效，CPU计算能力的增长已经无法满足这些业务的诉求，此时异构加速系统成为了主要选择方向。现场可编程逻辑门阵列(FPGA)器件作为一种高性能、低功耗的可编程芯片，在处理海量数据时，其计算效率更高、优势更加突出，尤其在大量服务器部署时，隐形的运营成本会得到显著降低，因此基于FPGA的异构平台为实现异构加速平台的应用提供了一条新途径。目前，基于FPGA的云平台被广泛应用在数据中心，当某个应用的数据流到达数据中心后，需要将该数据流部署到FPGA资源池中对应的FPGA中做加速处理。

图1为传统的基于高速串行计算机扩展总线标准(PCI-E)卡槽服务器机柜的云平台的结构图，如图1所示，1为PCI-E卡槽服务器机柜，2为光纤网口，3为FPGA加速卡，4为主机，其中，每组机柜对应一台主机，通过PCI-E接口与主机进行数据传输，FPGA加速卡都插在机柜的PCI-E卡槽中，FPGA加速卡之间通过光纤网口互联。在具体实施时主机通过PCI-E接口将待加速的数据传输至本地FPGA加速卡的内存单元(Memory)，然后从Memory中读取数据传输给核心模块(Kernel)进行加速，在完成当前加速后写入Memory，再从Memory中读取数据通过光纤网口将数据流发送至远端FPGA加速卡做进一步的加速处理，其中，相同的远端FPGA加速卡做相同的加速处理，在完成整体数据流的加速后再通过PCI-E接口将数据发送给主机。当前方法中，每个FPGA加速卡只能实现一个Kernel的加速运算，在小数据量加速应用中无法充分利用资源池中的FPGA资源，会造成资源使用的浪费。

由此可见，如何高效使用池化资源是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种池化资源的处理方法、装置、电子设备及介质，用于实现在同一个FPGA加速卡上进行多个Kernel加速运算，能够高效利用池化资源。

为解决上述技术问题，本申请提供一种FPGA云平台，包括：FPGA加速卡3，交换机6，底板5和主机4；

底板5包括卡槽，用于插入FPGA加速卡3，为FPGA加速卡3供电；

交换机6与FPGA加速卡3的光纤网口2连接，用于实现FPGA加速卡3之间的数据交互；

主机4与交换机6连接，用于通过交换机6向FPGA加速卡3发送UDP报文；

FPGA加速卡3，用于接收交换机6发送的UDP报文，该UDP报文包括数据和QP字段信息，再解析UDP报文得到QP字段信息，将数据输入到与QP字段信息对应的Kernel端进行处理，其中，QP字段信息与Kernel端对应。

优选地，底板5为多个。

为解决上述技术问题，本申请还提供一种池化资源的处理方法，应用于FPGA云平台，该方法包括：

接收交换机发送的UDP报文，UDP报文包括数据和QP字段信息，其中，QP字段信息与Kernel端对应；

解析UDP报文得到QP字段信息；

将数据输入到与QP字段信息对应的Kernel端进行处理。

优选地，在Kernel端处理完成后，还包括：

采用轮询调度。

优选地，在采用轮询调度之后，还包括：

组包发送Kernel端的数据。

优选地，UDP报文以流的方式进行传输。

为解决上述技术问题，本申请还提供一种池化资源的处理装置，包括：

接收模块10，用于接收交换机6发送的UDP报文；

解析模块11，用于解析UDP报文以得到QP字段信息；

输入模块12，用于将UDP报文中的数据输入到与QP字段信息对应的Kernel端进行处理。

为解决上述技术问题，本申请还提供一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现上述池化资源的处理方法的步骤。

为解决上述技术问题，本申请还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述池化资源的处理方法的步骤。

本申请提出一种池化资源的处理方法，应用于FPGA云平台，由于该FPGA云平台包括FPGA加速卡3，交换机6，底板5和主机4；底板5包括卡槽，用于插入FPGA加速卡3，为FPGA加速卡3供电；交换机6与FPGA加速卡3的光纤网口2连接，用于实现FPGA加速卡3之间的数据交互；主机4与交换机6连接，用于通过交换机6向FPGA加速卡3发送UDP报文；FPGA加速卡3，用于接收交换机6发送的UDP报文，该UDP报文包括数据和QP字段信息，然后解析该UDP报文得到QP字段信息，再将数据输入到与QP字段信息对应的Kernel端进行处理，其中，QP字段信息与Kernel端对应。该方法由主机4通过交换机6向FPGA加速卡3发送UDP报文，在FPGA加速卡3接收到UDP报文后进行解析，得到每个数据的QP字段信息，再将数据发送到与其QP字段信息对应的Kernel端进行处理，实现了在同一个FPGA加速卡3上进行多个Kernel加速运算，有效避免了每个Kernel加速运算只能在一块FPGA加速卡3上进行处理的资源浪费，能够高效利用池化资源。

此外，本申请所提供的一种池化资源的处理装置、电子设备及介质与池化资源的处理方法相对应，效果如上。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为传统的基于PCI-E卡槽服务器机柜的云平台的结构图；

图2为本申请提供的一种FPGA云平台的结构图；

图3为本申请提供的一种池化资源的处理方法的流程图；

图4为本申请提供的一种池化资源的处理装置的结构图；

图5为本申请提供的一种电子设备的结构图。

其中，1为PCI-E卡槽服务器机柜、2为光纤网口、3为FPGA加速卡、4为主机、5为底板、6为交换机、10为接收模块、11为解析模块、12为输入模块、20为存储器、21为处理器、22为显示屏、23为输入输出接口、24为通信接口、25为通信总线、201为计算机程序、202为操作系统、203为数据。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。

本申请的核心是提供一种池化资源的处理方法、装置、电子设备及介质，用于实现在同一个FPGA加速卡3上进行多个Kernel加速运算，能够高效利用池化资源。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。

图2为本申请提供的一种FPGA云平台的结构图，下面对图2所示的结构进行说明。

FPGA云平台，包括FPGA加速卡3，交换机6，底板5和主机4。底板5包括卡槽，用于插入FPGA加速卡3，为FPGA加速卡3供电；交换机6与FPGA加速卡3的光纤网口2连接，用于实现FPGA加速卡3之间的数据交互；主机4与交换机6连接，用于通过交换机6向FPGA加速卡3发送用户数据报协议(UDP)报文；FPGA加速卡3，用于接收交换机6发送的UDP报文，该UDP报文包括数据和队列(QP)字段信息，再解析UDP报文得到QP字段信息，将数据输入到与QP字段信息对应的Kernel端进行处理，其中，QP字段信息与Kernel端对应。

在本实施例中，将FPGA加速卡3插入底板5的卡槽，同时将主机4连接到交换机6上，使用交换机6把所有FPGA加速卡3通过光纤网口2进行互联，整体形成FPGA云平台，如图2所示。需要说明的是，整个FPGA云平台处于同一个网络中，在FPGA云平台中的所有连接的FPGA加速卡3为资源池，用于进行数据的加速处理。如图2所示，交换机6可以连接多个主机4，所有主机4均处于一个网络中，可以通过交换机6与FPGA加速卡3传输数据，便于实现多主机4与同一FPGA加速卡3进行数据交互。在具体实施中，底板5可以为多个，根据业务需求可以灵活增减底板5的数量，进而达到增减资源池中的FPGA加速卡3数量的目的，不再受图1所示的PCI-E卡槽服务器机柜1的卡槽个数限制。此外，在FPGA云平台工作时，需要将FPGA加速卡3的PCI-E接口金手指插入到底板5的卡槽中，用于为FPGA加速卡3供电。

在FPGA云平台工作时，FPGA云平台在UDP报文中添加QP字段信息，通过交换机6发送至FPGA加速卡3。FPGA加速卡3接收到UDP报文后对其进行预处理，解析该UDP报文得到报文中的数据和QP字段信息，由于QP字段信息与Kernel端对应，因此，在完成解析后，根据解析到的QP字段信息将报文中的数据输入到对应的Kernel端处理。当Kernel端处理完加速后再将加速后的数据打包，通过以太网先发送至交换机6，再发送给主机4。需要说明的是，在通过以太网传输UDP报文时，直接将UDP报文以流的方式进行输入和输出，传输过程中不再需要进行FPGA加速卡3的本地缓存。

本实施例提出一种FPGA云平台，包括FPGA加速卡3，交换机6，底板5和主机4；底板5包括卡槽，用于插入FPGA加速卡3，为FPGA加速卡3供电；交换机6与FPGA加速卡3的光纤网口2连接，用于实现FPGA加速卡3之间的数据交互；主机4与交换机6连接，用于通过交换机6向FPGA加速卡3发送UDP报文；FPGA加速卡3，用于接收交换机6发送的UDP报文，该UDP报文包括数据和QP字段信息，然后解析该UDP报文得到QP字段信息，再将数据输入到与QP字段信息对应的Kernel端进行处理，其中，QP字段信息与Kernel端对应。在本实施例中，由主机4通过交换机6向FPGA加速卡3发送UDP报文，在FPGA加速卡3接收到UDP报文后进行解析，得到每个数据的QP字段信息，再将数据发送到与其QP字段信息对应的Kernel端进行处理，实现了在同一个FPGA加速卡3上进行多个Kernel加速运算，有效避免了每个Kernel加速运算只能在一块FPGA加速卡3上进行处理的资源浪费，能够高效利用池化资源。

在上述实施例中提到，底板5可以为多个，根据实际需求可以灵活增减底板5数量。在本实施例中，设置底板5数量为多个，每个底板5包括多个卡槽，用于在插入FPGA加速卡3时为FPGA加速卡3供电。

本实施例设置底板5数量为多个，根据实际需求可以灵活增减底板5数量，突破了PCI-E卡槽服务器机柜1的卡槽个数限制。

图3为本申请提供的一种池化资源的处理方法的流程图，该方法应用于FPGA云平台，包括：

S1：接收交换机发送的UDP报文，UDP报文包括数据和QP字段信息，其中，QP字段信息与Kernel端对应；

S2：解析UDP报文得到QP字段信息；

S3：将数据输入到与QP字段信息对应的Kernel端进行处理。

在本实施例中，FPGA加速卡3接收交换机6发送的UDP报文并对其进行解析，得到QP字段信息，由于QP字段信息与Kernel端对应，可根据QP字段信息将UDP报文中的数据输入到对应的Kernel端进行加速处理，实现了在同一个FPGA加速卡3上处理多个Kernel加速运算，高效利用了池化资源。

在上述实施例各Kernel端完成数据处理之后，还需要将FPGA加速卡3中各Kernel端的数据发送出去。在本实施例中采用等效轮询调度的方式发送数据，使每个Kernel端口均有等效的带宽输出数据。下面对本实施例中的轮询调度方式进行举例说明。

将各Kernel端依次命名为Kernel_0、Kernel_1……Kernel_n，FPGA加速卡3中的轮询调度模块默认首次响应轮询的Kernel端口是Kernel_0，每一轮仲裁响应均以轮询的方式进行调度，依次从Kernel_1至Kernel_n，在Kernel_n响应轮询后再重新回到Kernel_0。需要说明的是，在本实施例中，新的Kernel端口响应是离前一次响应Kernel端口最近的Kernel端口。

本实施例通过等效轮询调度的方式发送各Kernel端的数据，有效利用了接口带宽等效，能够避免部分Kernel端在发送数据时长时间处于等待状态的情况。

在上述实施例完成轮询调度之后，为保障传输过程中数据的安全性，可以将各Kernel端的数据进行打包发送。在本实施例中，将各Kernel端加速处理后的数据打包为网络包，再通过交换机6发送给主机4。需要说明的是，可以将各Kernel端的数据单独打包发送，也可以根据数据格式将具有相同格式的数据打包为一个网络包进行发送，本实施例对此不做限制。

本实施例对经过Kernel端加速处理后的数据进行组包发送，保障了传输过程中数据的安全性，有效避免了传输过程中发生数据流失或被更改的情况。

在上述实施例中对UDP报文的传输方式未进行说明，本实施例设置UDP报文以流的方式进行传输，由于UDP报文包括数据和QP字段信息，因此，数据与QP字段信息以流的方式传输。

在本实施例中设置UDP报文以流的方式进行传输，在FPGA加速卡3接收到UDP报文进行预处理以及Kernel加速完成后发送数据时，不再需要将数据缓存到本地内存单元中，而是直接将数据以流的方式进行输入与输出，缩短了整体的传输时间，提高了数据处理速度。

在上述实施例中，对于池化资源的处理方法进行了详细描述，本申请还提供池化资源的处理装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。

图4为本申请提供的一种池化资源的处理装置的结构图。如图4所示，该装置包括：

接收模块10，用于接收交换机6发送的UDP报文；

解析模块11，用于解析UDP报文以得到QP字段信息；

输入模块12，用于将UDP报文中的数据输入到与QP字段信息对应的Kernel端进行处理。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图5为本申请提供的一种电子设备的结构图，如图5所示，该电子设备包括：存储器20，用于存储计算机程序；

处理器21，用于执行计算机程序时实现如上述实施例中所提到的池化资源的处理方法的步骤。

本实施例提供的电子设备可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。

其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的池化资源的处理方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于UDP报文等。

在一些实施例中，电子设备还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。

本领域技术人员可以理解，图5中示出的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的组件。

最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的池化资源的处理方法的步骤。

可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本申请所提供的池化资源的处理方法、装置、电子设备及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种FPGA云平台，其特征在于，包括：FPGA加速卡(3)，交换机(6)，底板(5)和主机(4)；

所述底板(5)包括卡槽，用于插入所述FPGA加速卡(3)，为所述FPGA加速卡(3)供电；

所述交换机(6)与所述FPGA加速卡(3)的光纤网口(2)连接，用于实现所述FPGA加速卡(3)之间的数据交互；

所述主机(4)与所述交换机(6)连接，用于通过所述交换机(6)向所述FPGA加速卡(3)发送UDP报文；

所述FPGA加速卡(3)，用于接收所述交换机(6)发送的所述UDP报文，所述UDP报文包括数据和QP字段信息，再解析所述UDP报文得到所述QP字段信息，将所述数据输入到与所述QP字段信息对应的Kernel端进行处理，其中，所述QP字段信息与所述Kernel端对应。

2.根据权利要求1所述的FPGA云平台，其特征在于，所述底板(5)为多个。

3.一种池化资源的处理方法，其特征在于，应用于权利要求1所述的FPGA云平台，所述方法包括：

接收交换机发送的UDP报文，所述UDP报文包括数据和QP字段信息，其中，所述QP字段信息与Kernel端对应；

解析所述UDP报文得到所述QP字段信息；

将所述数据输入到与所述QP字段信息对应的所述Kernel端进行处理。

4.根据权利要求3所述的池化资源的处理方法，其特征在于，在所述Kernel端处理完成后，还包括：

采用轮询调度。

5.根据权利要求4所述的池化资源的处理方法，其特征在于，在所述采用轮询调度之后，还包括：

组包发送所述Kernel端的所述数据。

6.根据权利要求3所述的池化资源的处理方法，其特征在于，所述UDP报文以流的方式进行传输。

7.一种池化资源的处理装置，其特征在于，包括：

接收模块(10)，用于接收交换机(6)发送的UDP报文；

解析模块(11)，用于解析所述UDP报文以得到QP字段信息；

输入模块(12)，用于将所述UDP报文中的数据输入到与所述QP字段信息对应的Kernel端进行处理。

8.一种电子设备，其特征在于，包括存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求3至6任一项所述的池化资源的处理方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求3至6任一项所述的池化资源的处理方法的步骤。

Images