CN115686836A - 一种安装有加速器的卸载卡 - Google Patents

Abstract

本说明书实施例提供一种安装有加速器的卸载卡，其中所述卸载卡，被配置为接收数据处理请求，其中，所述数据处理请求中携带有待处理数据；在确定所述待处理数据的数据类型满足卸载卡处理条件的情况下，对所述待处理数据进行处理，并反馈获得的数据处理结果；或者在确定所述待处理数据的数据类型满足加速器处理条件的情况下，将所述待处理数据发送至加速器，并反馈所述加速器获得的数据处理结果。从而避免了由于CPU会安装不同类型的加速器或者不安装加速器，所导致的CPU性能的参差不齐，难以对CPU资源进行调控的问题；并且达到提高CPU的性能，降低CPU压力的目的。

Description

一种安装有加速器的卸载卡

技术领域

本说明书实施例涉及数据处理技术领域，特别涉及一种安装有加速器的卸载卡。

背景技术

随着计算机技术的不断发展，为了进一步提高CPU(中央处理器)的性能，降低CPU压力，部分CPU厂商会选择在CPU上安装各种类型的加速器，达到提高CPU性能、降低CPU压力的目的。

但是，在云计算场景下，由于采用了各种厂商所生产的CPU，而各种厂商所生产的CPU会安装不同类型的加速器或者不安装加速器，因此导致CPU性能的参差不齐，从而难以对CPU资源进行调控。

发明内容

有鉴于此，本说明书实施例提供了一种安装有加速器的卸载卡。本说明书一个或者多个实施例同时涉及一种数据处理方法，一种数据处理装置，一种数据处理系统，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种安装有加速器的卸载卡，其中，

所述卸载卡，被配置为接收数据处理请求，其中，所述数据处理请求中携带有待处理数据；

在确定所述待处理数据的数据类型满足卸载卡处理条件的情况下，对所述待处理数据进行处理，并反馈获得的数据处理结果；或者

在确定所述待处理数据的数据类型满足加速器处理条件的情况下，将所述待处理数据发送至加速器，并反馈所述加速器获得的数据处理结果。

根据本说明书实施例的第二方面，提供了一种数据处理方法，应用于安装有加速器的卸载卡，所述方法包括：

接收数据处理请求，其中，所述数据处理请求中携带有待处理数据；

在确定所述待处理数据的数据类型满足卸载卡处理条件的情况下，对所述待处理数据进行处理，并反馈获得的数据处理结果；或者

在确定所述待处理数据的数据类型满足加速器处理条件的情况下，将所述待处理数据发送至加速器，并反馈所述加速器获得的数据处理结果。

根据本说明书实施例的第三方面，提供了一种数据处理系统，所述系统包括CPU，内存、以及安装有加速器的卸载卡，其中，

所述卸载卡，被配置为接收数据处理请求，其中，所述数据处理请求中携带有待处理数据，在确定所述待处理数据的数据类型满足卸载卡处理条件的情况下，对所述待处理数据进行处理，并将获得的数据处理结果反馈至所述内存；或者

在确定所述待处理数据的数据类型满足加速器处理条件的情况下，将所述待处理数据发送至加速器，将所述加速器获得的数据处理结果反馈至所述内存；

所述CPU，被配置为从所述内存中获取所述数据处理结果。

根据本说明书实施例的第四方面，提供了一种数据处理装置，应用于安装有加速器的卸载卡，所述装置包括：

接收模块，被配置为接收数据处理请求，其中，所述数据处理请求中携带有待处理数据；

第一处理模块，被配置为在确定所述待处理数据的数据类型满足卸载卡处理条件的情况下，对所述待处理数据进行处理，并反馈获得的数据处理结果；或者

第二处理模块，被配置为在确定所述待处理数据的数据类型满足加速器处理条件的情况下，将所述待处理数据发送至加速器，并反馈所述加速器获得的数据处理结果。

根据本说明书实施例的第五方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述应用于上述卸载卡的数据处理方法的步骤。

根据本说明书实施例的第六方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述应用于上述卸载卡的数据处理方法的步骤。

本说明书一实施例提供的一种安装有加速器的卸载卡，其中所述卸载卡，被配置为接收数据处理请求，其中，所述数据处理请求中携带有待处理数据；在确定所述待处理数据的数据类型满足卸载卡处理条件的情况下，对所述待处理数据进行处理，并反馈获得的数据处理结果；或者在确定所述待处理数据的数据类型满足加速器处理条件的情况下，将所述待处理数据发送至加速器，并反馈所述加速器获得的数据处理结果。

本说明书提供的安装有加速器的卸载卡，通过将加速器安装在卸载卡上，从而避免了由于CPU会安装不同类型的加速器或者不安装加速器，所导致的CPU性能的参差不齐，难以对CPU资源进行调控的问题；并且，卸载卡在确定数据处理请求中携带有待处理数据的数据类型，满足加速器处理条件的情况下，将待处理数据发送至加速器，并反馈加速器获得的数据处理结果，从而达到提高CPU的性能，降低CPU压力的目的。

附图说明

图1是本说明书一个实施例提供的带有加速器的CPU方案的结构图；

图2是本说明书一个实施例提供的带有加速器的CPU方案的应用图；

图3是本说明书一个实施例提供的卸载卡+CPU方案的结构图；

图4是本说明书一个实施例提供的卸载卡+CPU方案的应用图；

图5是本说明书一个实施例提供的一种安装有加速器的卸载卡的应用示意图；

图6是本说明书一个实施例提供的一种卸载卡的应用示意图；

图7是本说明书一个实施例提供的一种安装有加速器的卸载卡与CPU的交互示意图；

图8是本说明书一个实施例提供的一种安装有加速器的卸载卡的应用示意图；

图9是本说明书一个实施例提供的一种数据处理方法的流程图；

图10是本说明书一个实施例提供的一种数据处理装置的结构示意图；

图11是本说明书一个实施例提供的一种数据处理系统的结构示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本说明书一个或多个实施例涉及的名词术语进行解释。

卸载卡：是一种芯片。该芯片是一种为云数据中心设计的专用处理器，专门用于连接服务器内硬件和云上虚拟化资源；可以替代CPU成为云计算的管控和加速中心，也即是说，该卸载卡可以为一种芯片，例如云原生芯片，也可以为一种处理器。

云原生芯片：从计算芯片的角度而言，云计算带来了全新的应用场景，从而对CPU提出了新的需求，云原生芯片是一种用于云计算场景中、代替CPU的专用芯片。该云原生芯片包括卸载卡。

加速器：各种特定应用的硬件加速器，用来替代软件在CPU上的低效运行，使得特定应用性能得到大幅度提升的同时释放CPU算力给其他通用负载。该加速器包括但不限于AMX、AI加速器、ML引擎、HPC加速器、安全协处理器、GPU等加速器。

AI加速器：是一类专门的硬件加速器或计算机系统旨在加速人工智能的应用，尤其是人工神经网络、机器视觉和机器学习。

ML引擎：机器学习(Machine Learning，简称ML)引擎。

AI:指人工智能(Artificial Intelligence,英文缩写为AI)。

AMX:全称为Advanced Matrix Extension，是一种矩阵运算编程框架，目的是加速机器学习工作负载。

HPC加速器：全称为High Performance Computing加速器。一般指高能计算加速器，用于高速处理数据并执行复杂计算的能力。

安全协处理器：在CPU核心之外额外增加的一个独立的硬件模块，用来处理安全秘钥管理、秘钥生成、加密解密等事务。

GPU：指图形处理器(graphics processing unit，缩写为：GPU)。

CPU die：是指CPU的核心，是CPU最重要的组成部分。

卸载卡：在云场景中，为了提高输入/输出(Input/Output，I/O)服务的处理速度，运营商可以将服务器中的一些I/O服务卸载至低成本的异构硬件中执行，如此可以释放服务器的中央处理器(Central Processing Unit，简称为CPU)资源，提高CPU的运行效率。这些用于卸载I/O数据的异构硬件通常被称为卸载卡；卸载卡可以为单独一张外设部件互连标准(PeripheralComponent Interconnect Express，PCIe)卡，其与服务器之间建立PCIe通道，服务器在处理卸载至卸载卡的I/O服务时，将数据通过PCIe通道传输给卸载卡处理，所述PCIe通道主要用于I/O服务的通信。

IDC一般指互联网数据中心。互联网数据中心(Internet Data Center，简称IDC)是指一种拥有完善的设备(包括高速互联网接入带宽、高性能局域网络、安全可靠的机房环境等)、专业化的管理、完善的应用服务平台。

CPU socket：处理器插槽。

RAM(Random Access Memory，缩写：RAM)：指随机存取存储器，又称为内存，主存。

DMA(Direct Memory Access，直接存储器访问)：是所有现代电脑的重要特色，它允许不同速度的硬件装置来沟通，而不需要依赖于CPU的大量中断负载。否则，CPU需要从来源把每一片段的资料复制到暂存器，然后把它们再次写回到新的地方。在这个时间中，CPU对于其他的工作来说就无法使用。

IAAS(Infrastructure as a Service)，即基础设施即服务。指把IT基础设施作为一种服务通过网络对外提供，并根据用户对资源的实际使用量或占用量进行计费的一种服务模式。

RoCE：全称为RDMA over Converged Ethernet，是一种网络协议，允许应用通过以太网实现远程内存访问。目前RoCE有两个协议版本，v1和v2。其中RoCEv1是一种链路层协议，允许在同一个广播域下的任意两台主机直接访问。而RoCE v2是一种Internet层协议，即可以实现路由功能。

InfiniBand：直译为“无限带宽”技术，缩写为IB)是一个用于高性能计算的计算机网络通信标准，它具有极高的吞吐量和极低的延迟，用于计算机与计算机之间的数据互连。InfiniBand也用作服务器与存储系统之间的直接或交换互连，以及存储系统之间的互连。

随着计算机技术的不断发展，CPU(中央处理器)也在不断的进步，但是受限于摩尔定律，当前的CPU发展有2条路线：一个是CPU die内部集成硬件加速器持续提升单核性能；另一个是提升核密度，而单核性能提升较慢。在此情况下，由于云厂商会同时使用多种厂商的CPU，而这些CPU的加速能力不相同，例如AI引擎只在特定厂商的CPU上有，其他CPU平台没有。因此，基于加速能力不同的CPU构建CPU资源池之后，这种异构的CPU资源池对云原生服务不是很友好，导致难以对CPU资源进行调控。

此外，在云原生场景中，当前的卸载卡(该卸载卡可以为一种芯片，或者一种处理器)上仅支持通用的网络流量、存储流量卸载以及通用的加解密等能力，对于像AI(人工智能(Artificial Intelligence)，英文缩写为AI)、HPC(高性能计算(High PerformanceComputing)简称)、ML(机器学习(Machine Learning，简称为ML))等加速能力有限，仍然需要依赖CPU算力，以及CPU上的加速器完成。

针对上述问题，本说明书提供了四种方案以寻求解决上述问题，其中，第一种方案为：带有加速器的CPU方案。

由于当前的CPU实际上是线下IDC发展的产物，线下IDC一般是单一客户，没有多样化的CPU需求，因此可以只选择一款CPU来支撑数据处理工作，那么像AI，ML，HPC等垂直类服务使用带有硬件加速器的CPU就是较为优选的方案。

参见图1，图1是本说明书一个实施例提供的带有加速器的CPU方案的结构示意图，其中，该CPU上安装有加速器1和加速器2。并且该CPU与卸载卡之间通过PCIe连通。该卸载卡包括卸载卡控制面板，用于对卸载卡的各种操作进行控制，同时该卸载卡还包括硬件转发模块，用于将数据转发至CPU。需要说明的是，该CPU中还包括core(处理器核)、L3 cache(三级缓存)、IMC(CPU的集成存储器控制器)。该CPU与RAM连通。

参见图2，图2是本说明书一个实施例提供的带有加速器的CPU方案的应用示意图，其中，该CPU Die安装在CPU socket(处理器插槽)中，并且，该CPU上安装有ML引擎(一种加速器)。该ML引擎与内存连通，该卸载卡与内存连通；基于此，服务器A中ML引擎所获得的数据会存储在与之连通的内存中，并通过卸载卡将内存中的数据传输至服务器B的卸载卡中。该服务器B的卸载卡在接收到数据之后，会将该数据存储在内存中，以便服务器B中的ML引擎能够从该内存中获取服务器A发送的数据。

基于上述图1、图2可知，该支持硬件加速器的CPU方案中，流量数据通过网卡进行收发，然后直接DMA数据到系统内存，之后CPU中的硬件加速器(ML引擎)就可以直接处理数据，释放了CPU算力。

但是，由于云原生时代多样化的客户对多样化的CPU有着非常强烈的诉求，包括x86架构，ARM架构，RISC-V架构等。而这些CPU各有特点，架构差异很大，支持的能力也不完全相同，特别是硬件加速器，可能出现的情况是，厂商A生产的CPU所安装的加速器比较丰富，但厂商B和厂商C所生产的CPU几乎没有加速器。特别在于RISC-V目前处于起步阶段，因此各CPU平台加速能力差异较大。因此，这类垂直类性能在不同CPU平台的性能表现差异巨大，无法为客户提供统一的云原生服务能力。

第二种方案为：CPU+异构芯片方案。该方案的优点在于性能表现优秀，适合复杂的重载垂直场景类服务；但是，缺点是实现该方案的成本居高不下，对于轻载的垂直类服务很不友好。

第三种方案为：卸载卡+CPU方案。

基于此，由于卸载卡上只有普通的I/O流量卸载能力和通用的加密解密，加解压缩功能，并不具备垂直场景所需的硬件加速器，因此该类型数据只能在CPU里进行软件处理，效率和性能极其低下。

第4种方案为：不支持硬件加速器的CPU方案。

该方案需要使用GPU等外置PCIe加速卡实现，网卡收发包后，直接DMA数据到系统内存，然后CPU把数据通过PCIe从系统内存搬运至GPU内存进行处理。

参见图3，图3是本说明书一个实施例提供的卸载卡+CPU方案的结构示意图，其中，该CPU中并未安装加速器，该CPU与卸载卡之间通过PCIe连通。针对该CPU和卸载卡的解释可参见图1对应的解释。在此不再赘述。

参见图4，图4是本说明书一个实施例提供的卸载卡+CPU方案的应用示意图。该服务器A中的GPU在处理数据的过程中，会将数据存储在GPU内存中；该CPU会通过PCIe从GPU内存中搬运该数据至系统内存中，并通过网卡(即卸载卡)将数据发送至服务器B；该服务器B的网卡(卸载卡)在收到数据包之后，直接DMA数据到系统内存，然后CPU把数据通过PCIe从系统内存搬运至GPU内存进行处理。

基于上述四种方案的缺陷可知，该四种方案并不能完全解决上述技术问题，因此。为了避免异构CPU资源池对云原生服务不是很友好，难以对CPU资源进行调控的问题，亟需提供一种通用的云原生基础架构解决方案，来解决垂直类服务的加速问题。

在本说明书中，提供了一种安装有加速器的卸载卡，本说明书同时涉及一种数据处理方法，一种数据处理装置，一种数据处理系统，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。

参见图5，图5示出了根据本说明书一个实施例提供的一种安装有加速器的卸载卡的应用示意图，其中，所述卸载卡，被配置为接收数据处理请求，其中，所述数据处理请求中携带有待处理数据；在确定所述待处理数据的数据类型满足卸载卡处理条件的情况下，对所述待处理数据进行处理，并反馈获得的数据处理结果；或者在确定所述待处理数据的数据类型满足加速器处理条件的情况下，将所述待处理数据发送至加速器，并反馈所述加速器获得的数据处理结果。

需要说明的是，本说明书提供的一种安装有加速器的卸载卡，可以应用在云计算领域IAAS类的所有计算类产品中，包括但不限于：ECS(云服务器，全称为Elastic ComputeService)、容器、serverless(无服务器运算架构，全称为Serverless computing)、微服务等。

其中，该数据处理请求可以理解为需要卸载卡进行处理的请求，例如，该数据处理请求可以为AI推算请求、图片渲染请求、机器学习请求、I/O流量卸载请求或者通用的加密解密请求等等，本说明书对此不作具体限制。需要说明的是，本说明书提供的卸载卡可以为一张网卡，用于进行收发包操作，基于此，该卸载卡能够接收到数据处理请求。

待处理数据可以理解为需要进行处理数据，例如，在数据处理请求为图片渲染请求的情况下，该待处理数据可以为待渲染图片；在例如，在数据处理请求为I/O流量卸载请求的情况下，该待处理数据可以为需要进行卸载的I/O流量数据。

数据处理结果可以理解为加速器或者卸载卡对该待处理数据进行处理后，获得的处理结果，例如，该数据处理结果可以为渲染后的图片，也即是图像渲染结果。

数据类型可以理解为唯一标识一种待处理数据类型的数据，例如，在待处理数据为待渲染图片的情况下，该数据类型为图片类型。

加速器可以理解为降低CPU的计算量、实现针对CPU进行计算加速的硬件设备，包括但不限于人工智能加速器、机器学习加速器、图形处理加速器、数据安全加速器、计算加速器等加速器中的任意两种类型的加速器。其中，该人工智能加速器是指一种专门的硬件加速器或计算机系统旨在加速人工智能的应用，例如，AI加速器。机器学习加速器是指用于加速机器学习工作负载或处理效率的加速器。例如ML引擎、AMX。图形处理加速器是指一种专门进行图像和图形相关运算工作的微处理器，例如，该图形处理加速器可以为图形处理器(GPU)。数据安全加速器是指处理安全秘钥管理、秘钥生成、加密解密等任务的装置，例如，安全协处理器。计算加速器是指进行高速处理数据并执行复杂计算的加速器，例如，HPC加速器。

需要说明的是，在本说明书提供的一实施例中，所述加速器处理的数据类型包括人工智能类型、机器学习类型、图形类型、数据安全类型、数据计算类型。其中，人工智能类型可以理解为支持人工智能实现的人工智能数据所对应的数据类型；图形类型可以理解为各种图形和图像的类型，例如，jpg、png等。该机器学习类型可以理解为该机器学习领域中训练数据集类型、机器学习模型类型等。该数据计算类型可以理解为数据计算领域中需要进行大量数据计算的数据集类型。该数据安全类型可以理解为需要解密数据类型、加密数据类型。

该数据类型满足卸载卡处理条件可以理解为该待处理数据的数据类型与卸载卡所能够处理的数据类型相匹配。

此外，在本说明书提供的实施例中，该卸载卡上可以配置有针对待处理数据的数据类型确定策略，当接收到数据处理请求的情况下，能够基于该数据类型确定策略，为该数据处理请求中携带的待处理数据确定对应的数据类型。具体的，该卸载卡能够接收到各种类型的数据处理请求；例如，图像处理请求、机器学习请求。而上述请求中均可以携带图像数据；在此情况下，如何对该待处理数据进行处理成为需要解决的问题。基于此，该卸载卡上可以预先配置有数据处理请求与数据类型之间的关联关系，该关联关系可以通过表的方式进行存储。例如图像渲染请求与图形类型之间具有关联关系。基于此，当卸载卡接收到图像渲染请求之后，能够基于该关联关系，确定该图像渲染请求中携带的待渲染图像的数据类型为图形类型。后续基于该图形类型将该待渲染数据发送至图形处理器，而不是将该待渲染图像发送至其他加速器进行处理。也即是说，可以根据数据处理请求为该数据处理请求中携带的待处理数据确定对应的数据类型；也可以理解为根据数据处理请求的请求类型，为该数据处理请求中携带的待处理数据确定对应的数据类型。

具体的，本说明书提供的安装有加速器的卸载卡，可以被配置在服务器上，并且能够接收到数据处理请求，该数据处理请求可以是其他服务器发送的，并且，该数据处理请求中携带有待处理数据；在卸载卡接收到该数据处理请求之后，会确定是由自身对该待处理数据进行处理，还是通过安装在卸载卡上的加速器对该待处理数据进行处理。基于此，当该卸载卡确定该待处理数据的数据类型满足卸载卡处理条件的情况下，会通过自身配置的处理器、存储介质的硬件模块，对该待处理数据进行处理，并反馈获得的数据处理结果。也即是说，该卸载卡上虽然安装有加速器，但是该卸载卡本身依然能够实现I/O流量卸载能力、通用的加密解密，加解压缩功能等能力，基于此，卸载卡在接收到携带待处理数据的数据处理请求之后，会确定该待处理数据的数据类型；在确定该数据类型与自身所处理的数据类型相匹配的情况下，确定该待处理数据为自身需要处理的数据，因此对该待处理数据进行处理，并将获得的数据处理结果反馈至CPU，从而降低CPU的处理压力，提高CPU的性能。

但是，当确定该待处理数据的数据类型满足加速器处理条件的情况下，会将该待处理数据发送至该加速器，由该加速器对其进行处理，并获得该加速器的数据处理结果，并反馈该数据处理结果。其中，数据类型满足加速器处理条件可以理解为该待处理数据的数据类型与加速器所处理的数据类型为一致。

例如，该卸载卡本身具有IO流量卸载能力和通用的加密解密，加解压缩功能，该功能是通过卸载卡本身的处理器和存储介质等硬件模块实现的。而本说明书提供的安装有加速器的卸载卡，能够将加速器安装在卸载卡上，使得该卸载卡不仅仅具有IO流量卸载能力和通用的加密解密，加解压缩功能等基础能力，还能够通过加速器实现其他能力，比如，该加速器是人工智能加速器，那么该卸载卡基于该人工智能加速器可以实现人工智能加速功能；该加速器为图形处理器(GPU)的情况下，那么安装该图形处理器的卸载卡基于该图形处理器能够实现图形和图像处理。

基于此，当卸载卡接收到携带有待渲染图像的图像渲染请求的情况下，该卸载卡会基于该待渲染图像的数据类型(即图像类型)，确定该待渲染图像需要安装在卸载卡上的图形处理器进行处理，因此，卸载卡将该待渲染图像发送至图形处理器，并获取该图形处理器对该待渲染图像进行渲染处理后获得的图像渲染结果，并反馈该图像渲染结果。

或者，当卸载卡接收到携带有IO流量数据的IO处理请求的情况下，该卸载卡会基于该IO流量数据的数据类型(即IO流量类型)，确定该IO流量数据自己进行处理，并由自身对该IO流量数据进行处理，并不会发送至加速器。之后卸载卡将IO流量数据的数据处理结果进行反馈。

在实际应用中，针对该卸载卡在云计算场景下的架构图可以参见图6，图6是本说明书一个实施例提供的一种卸载卡的应用示意图，基于图6可知，该卸载卡能够与网卡、存储介质、异构芯片、CPU以及GPU相连接。该卸载卡通过与网卡相连接，能够针对网卡进行网络加速，其中，该网卡可以为RDAM网卡；该卸载卡通过与存储介质相连接，能够针对存储介质进行存储加速，其中，该存储介质可以为SSD硬盘。同时，该卸载卡通过与异构芯片、CPU以及GPU等计算设备的相连接，能够对该计算设备进行计算加速。也即是说，通过采用卸载卡取代以CPU为核心的架构，能够更好的利用服务器硬件、获取更多虚拟化资源，而且，在软件层面上，该卸载卡所接入的操作系统，更高效地完成虚拟化资源编排调度的工作；在硬件层面上，通过卸载卡能快速管理数据中心物理设备，并对网络和存储硬件进行加速，避免CPU算力的浪费，并且增强网络和存储性能。

需要说明的是，本说明书提供的卸载卡可以为一种芯片，例如云原生芯片；也可以为一种处理器，该处理器专为云数据中心设计。

基于此，通过将AMX加速器、AI加速器、ML引擎、HPC加速器、安全协处理器或GPU等加速器安装到卸载卡，在卸载卡接收到数据包之后，从卸载卡上安装的加速器中选择处理该数据包的目标加速器，并将该过程中的数据仅通过网卡(卸载卡)上安装目标加速器进行处理即可，并把最终的处理结果返回给系统内存供CPU做最后的处理。

需要说明的是，该卸载卡上按照有处理器以及存储器，该处理器以及存储器用于实现I/O流量卸载能力、通用的加密解密，加解压缩功能等卸载卡自身所具有的能力。需要说明的是，该处理器还可以在待处理数据是需要加速器或CPU处理的数据时，将该待处理数据发送至加速器或CPU；该处理器还能够在获得加速器的数据处理结果。或者，在本说明书提供的一实施例中，该卸载卡中可以安装有控制单元，该控制单元能够确定数据处理请求中携带的待处理数据，需要卸载卡、加速器或者CPU进行处理，并将该待处理数据发送至卸载卡的处理器、加速器或者CPU进行处理。

在本说明书提供的一实施例中，所述加速器为至少两个，至少两个加速器处理的数据类型相同。

也即是说，本说明书提供的卸载卡上可以安装至少两个加速器，并且，该加速器所处理的数据类型是相同的。例如在卸载卡上安装至少两个图形处理器，该图形处理器能够对图像和图形数据进行处理，从而通过加速器对待处理数据进行处理，降低CPU的处理压力，提高CPU的性能。

在本说明书提供的一实施例中，所述加速器为至少两个，至少两个加速器处理的数据类型不同；

相应地，所述卸载卡，还被配置为将所述待处理数据发送至目标加速器，并反馈所述目标加速器获得的数据处理结果，其中，所述目标加速器为所述至少两个加速器之一，且所述目标加速器处理的数据类型与所述待处理数据的数据类型相同。

其中，至少两种类型加速器包括但不限于人工智能加速器、机器学习加速器、图形处理加速器、数据安全加速器、计算加速器等加速器中的任意两种类型的加速器。

具体的，本说明书提供的卸载卡上可以安装至少两个加速器，但是该加速器所处理的数据类型可以是不相同的，例如，该卸载卡上安装有图像处理器、以及人工智能加速器。基于此，该卸载卡在需要加速器对待处理数据进行处理的过程中，需要基于该待处理数据的数据类型，为其确定对应的目标加速器。其中，该目标加速器为至少两个加速器之一，并且，该目标加速器所处理的数据类型，与待处理数据的数据类型为一致，从而通过加速器对待处理数据进行处理，降低CPU的处理压力，提高CPU的性能。

在本说明书一实施例中，所述安装有加速器的卸载卡，还被配置为确定所述目标加速器对应的数据存储单元，其中，所述数据存储单元中存储所述目标加速器获得的数据处理结果，且所述数据处理结果为所述目标加速器对所述待处理数据进行处理获得；以及

从所述数据存储单元中获取所述数据处理结果，并反馈所述数据处理结果。

其中，该数据存储单元可以理解为目标加速器对应的、用于存储该目标加速器进行数据处理过程中所需要的数据，以及该目标加速器的数据处理结果。例如，该目标加速器为GPU，该数据存储单元可以理解为GPU内存。

例如，该卸载卡在将图片渲染请求中携带的待渲染图片发送至GPU之后，能够从GPU对应的GPU内存中获得该GPU渲染后的图片，并将该渲染后的图片反馈给CPU进行后续处理。从而通过安装在卸载卡上的目标加速器分担CPU的计算压力，并避免了CPU由于加速能力参差不齐导致调度困难的问题。

在实际应用中，该卸载卡可以将待渲染数据存储至GPU内存中，并指示该GPU从该GPU内存中获取该待渲染数据进行渲染。

在本说明书一实施例中，所述安装有加速器的卸载卡与CPU相互通信；

所述卸载卡，还被配置为将所述数据处理结果反馈至所述CPU。

例如，卸载卡将该数据处理过程中的数据仅通过卸载卡或加速器进行处理，并把最终的处理结果返回给CPU做最后的处理，降低了CPU的计算压力。

需要说明的是，当将加速器安装至卸载卡之后，则不采用原有CPU上安装的加速器，该原有CPU上安装的加速器处于关闭状态，从而保证云计算场景下CPU的性能统一，避免CPU加速能力参差不齐导致的调度困难问题。

在本说明书一实施例中，所述安装有加速器的卸载卡，还被配置为确定所述CPU对应的内存，并将所述数据处理结果存储至所述内存，以使所述CPU从所述内存中获得所述数据处理结果。

具体的，卸载卡将该数据处理过程中的数据仅通过卸载卡或加速器进行处理，并把最终的处理结果返回给系统内存，该CPU可以从该系统内存中获取卸载卡或者加速器处理后的数据，并对其做最后的处理，降低了CPU的计算压力。

在本说明书一实施例中，所述安装有加速器的卸载卡，其中，

所述卸载卡，还被配置为确定所述CPU对应的内存，并将所述数据处理结果存储至所述内存，且将所述数据处理结果在所述内存中的存储信息发送至所述CPU，以使所述CPU基于所述存储信息，从所述内存中获得所述数据处理结果；或者

所述卸载卡，还被配置为确定所述CPU对应的内存，并将所述数据处理结果存储至所述内存中的预设存储区域，以使所述CPU从所述内存中的预设存储区域中获得所述数据处理结果。

其中，存储信息可以理解为数据处理结果在内存中的存储位置；该预设存储区域可以理解为内存中的一块预先设定的区域，专用于存储卸载卡提供该CPU的数据处理结果；后缀该CPU能够定时查看该区域，并从该区域中获取新写入的数据处理结果。

具体的，卸载卡在将数据处理结果反馈该CPU的过程中，需要确定CPU对应的内存，并将数据处理结果存储至内存，且将数据处理结果在内存中的存储信息发送至CPU；该CPU在接收到该存储信息之后，能够基于该存储信息从内存中获得数据处理结果，并进行后续的处理。

或者，卸载卡在将数据处理结果反馈该CPU的过程中，需要确定CPU对应的内存，以及内存中与CPU进行数据传输的预设存储区域，并将数据处理结果存储至内存中的预设存储区域；CPU能够从内存中的预设存储区域中获得数据处理结果，并进行后续的处理。

基于此，该卸载卡通过将数据处理结果提供给CPU，从而降低了CPU的处理压力。

在本说明书一实施中，所述安装有加速器的卸载卡与CPU相互通信；

所述卸载卡，还被配置为在确定所述待处理数据的数据类型满足CPU处理条件的情况下，将所述待处理数据发送至所述CPU。

在实际应用中，该数据类型满足CPU处理条件可以理解为，该数据类型与该CPU处理的数据类型为一致。或者，该数据类型与该卸载卡处理的数据类型、加速器所处理的数据类型不同。

具体的，该卸载卡以及安装在卸载卡上的加速器，均是用于分担CPU的处理压力；将原有CPU的图像处理、I/O流量卸载、数据加解密等功能，通过卸载卡以及安装在卸载卡上的加速器实现；以便于该CPU能处理更重要的请求，例如，用户请求、web(World Wide Web，简称为web，即全球广域网，也称为万维网)请求等。

基于此，当卸载卡在接收数据包的过程中，确定该待处理数据需要CPU进行处理，则将该待处理数据发送至CPU，从而保证CPU工作的顺利进行。

在本说明书一实施例中，所述安装有加速器的卸载卡，还被配置为确定所述待处理数据的数据类型，以及所述至少两个加速器处理的数据类型；

在所述至少两个加速器处理的数据类型，与所述待处理数据的数据类型相匹配的情况下，确定所述待处理数据的数据类型满足加速器处理条件；

将所述至少两个加速器中处理所述待处理数据的数据类型的加速器，确定为目标加速器。

具体的，该卸载卡在接收到携带有待处理数据的数据处理请求之后，会确定该待处理数据的数据类型，以及至少两个加速器中每个加速器所处理的数据类型，并将两者进行匹配，在至少两个加速器处理的数据类型，与待处理数据的数据类型相匹配的情况下，确定待处理数据的数据类型满足加速器处理条件，需要将该待处理数据发送至加速器进行处理。基于此，从至少两个加速器中确定处理待处理数据的数据类型的加速器，并将其确定为目标加速器。从而实现准确的将待处理数据分配至对应的加速器中进行处理，提高了数据处理效率。

本说明书提供的安装有加速器的卸载卡，通过将至少两个加速器安装在卸载卡上，从而避免了由于CPU会安装不同类型的加速器或者不安装加速器，所导致的CPU性能的参差不齐，难以对CPU资源进行调控的问题；并且，卸载卡在确定数据处理请求中携带有待处理数据的数据类型，满足加速器处理条件的情况下，将待处理数据发送至目标加速器，反馈目标加速器获得的数据处理结果，从而达到提高CPU的性能，降低CPU压力的目的。

参见图7，图8，图7示出了根据本说明书一个实施例提供的一种安装有加速器的卸载卡与CPU的交互示意图，图8示出了根据本说明书一个实施例提供的一种安装有加速器的卸载卡的应用示意图，其中，图7中的CPU与卸载卡的解释可以参见上述针对图1的解释中对应或相应的内容，基于图7可知，本说明书提供的安装有加速器的卸载卡，能够将AMX、AI加速器、ML引擎、HPC加速器、安全协处理器、GPU等加速器下沉到卸载卡。参见图7可知，服务器A与服务器B通过卸载卡进行通信，其中，服务器A的卸载卡与服务器B的卸载卡之间可以通过RoCE、InfiniBand进行通信。基于此，当卸载卡收发包过程中，会通过卸载卡上安装的至少两个的加速器对数据进行处理，从而实现仅在网卡(即卸载卡)上就可以完成数据处理，并最终把数据处理结果返回给系统内存中，以供CPU做最后的处理，从而具有数据链路短的优点，且支持不同的CPU平台。

基于上述内容可知，本方案是一种实现通用的云原生芯片加速的方法，通过把各种架构CPU上部分硬件加速器下沉到以卸载卡为代表的卸载卡上，例如：AMX加速器，AI加速器，ML引擎，HPC加速器，安全协处理器，GPU(CPU厂商未来会考虑在CPU中嵌入微型GPU)等。而云原生CPU芯片去掉这些硬件加速器，从而对HOST(宿主机)的CPU做减法，专注提供高算力，真正做到以数据为中心的计算架构，数据在哪里就在哪里处理，将会带来一系列的收益，包括：统一不同CPU平台的加速能力；消除以CPU为中心的流量绕行和资源消耗。

参见图9，图9示出了根据本说明书一个实施例提供的一种数据处理方法的流程图，具体包括如下步骤。

步骤902：接收数据处理请求，其中，所述数据处理请求中携带有待处理数据。

步骤904：在确定所述待处理数据的数据类型满足卸载卡处理条件的情况下，对所述待处理数据进行处理，并反馈获得的数据处理结果。

步骤906：在确定所述待处理数据的数据类型满足加速器处理条件的情况下，将所述待处理数据发送至加速器，并反馈所述加速器获得的数据处理结果。

针对该数据处理方法的解释，可以参见上述针对一种安装有加速器的卸载卡的解释中对应或相应的内容，在此不过多赘述。

本说明书提供的应用于安装有加速器的卸载卡的数据处理方法，通过将加速器安装在卸载卡上，从而避免了由于CPU会安装不同类型的加速器或者不安装加速器，所导致的CPU性能的参差不齐，难以对CPU资源进行调控的问题；并且，卸载卡在确定数据处理请求中携带有待处理数据的数据类型，满足加速器处理条件的情况下，将待处理数据发送至加速器，反馈加速器获得的数据处理结果，从而达到提高CPU的性能，降低CPU压力的目的。

上述为本实施例的一种数据处理方法的示意性方案。需要说明的是，该数据处理方法的技术方案与上述的安装有加速器的卸载卡的技术方案属于同一构思，数据处理方法的技术方案未详细描述的细节内容，均可以参见上述安装有加速器的卸载卡的技术方案的描述。

与上述方法实施例相对应，本说明书还提供了数据处理装置实施例，图10示出了本说明书一个实施例提供的一种数据处理装置的结构示意图。如图10所示，该装置应用于安装有加速器的卸载卡，所述装置包括：

接收模块1002，被配置为接收数据处理请求，其中，所述数据处理请求中携带有待处理数据；

第一处理模块1004，被配置为在确定所述待处理数据的数据类型满足卸载卡处理条件的情况下，对所述待处理数据进行处理，并反馈获得的数据处理结果；或者

第二处理模块1006，被配置为在确定所述待处理数据的数据类型满足加速器处理条件的情况下，将所述待处理数据发送至加速器，并反馈所述加速器获得的数据处理结果。

针对该数据处理装置的解释，可以参见上述针对一种安装有加速器的卸载卡的解释中对应或相应的内容，在此不过多赘述。

本说明书提供的应用于安装有加速器的卸载卡的数据处理装置，通过将至少两种类型加速器安装在卸载卡上，从而避免了由于CPU会安装不同类型的加速器或者不安装加速器，所导致的CPU性能的参差不齐，难以对CPU资源进行调控的问题；并且，卸载卡在确定数据处理请求中携带有待处理数据的数据类型，满足加速器处理条件的情况下，将待处理数据发送至加速器，反馈加速器获得的数据处理结果，从而达到提高CPU的性能，降低CPU压力的目的。

上述为本实施例的一种数据处理装置的示意性方案。需要说明的是，该数据处理装置的技术方案与上述的安装有加速器的卸载卡的技术方案属于同一构思，数据处理装置的技术方案未详细描述的细节内容，均可以参见上述安装有加速器的卸载卡的技术方案的描述。

与上述方法实施例相对应，本说明书还提供了数据处理系统实施例，图11示出了本说明书一个实施例提供的一种数据处理系统的结构示意图。如图11所示，所述系统包括CPU 1102，内存1104、以及安装有加速器1106的卸载卡1108，其中，

所述卸载卡1108，被配置为接收数据处理请求，其中，所述数据处理请求中携带有待处理数据，在确定所述待处理数据的数据类型满足卸载卡处理条件的情况下，对所述待处理数据进行处理，并将获得的数据处理结果反馈至所述内存1104；或者

在确定所述待处理数据的数据类型满足加速器处理条件的情况下，将所述待处理数据发送至加速器1106，将所述加速器1106获得的数据处理结果反馈至所述内存1104；

所述CPU 1102，被配置为从所述内存1104中获取所述数据处理结果。

针对该数据处理系统的解释，可以参见上述针对一种安装有加速器的卸载卡的解释中对应或相应的内容，在此不过多赘述。

本说明书提供的数据处理系统，通过将加速器安装在卸载卡上，从而避免了由于CPU会安装不同类型的加速器或者不安装加速器，所导致的CPU性能的参差不齐，难以对CPU资源进行调控的问题；并且，卸载卡在确定数据处理请求中携带有待处理数据的数据类型，满足加速器处理条件的情况下，将待处理数据发送至加速器，反馈加速器获得的数据处理结果至内存，使得该CPU能够从内存中获得数据处理结果，从而达到提高CPU的性能，降低CPU压力的目的。

上述为本实施例的一种数据处理系统的示意性方案。需要说明的是，该数据处理系统的技术方案与上述的安装有加速器的卸载卡的技术方案属于同一构思，数据处理系统的技术方案未详细描述的细节内容，均可以参见上述安装有加速器的卸载卡的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现应用于卸载卡的数据处理方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述应用于卸载卡的数据处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述应用于卸载卡的数据处理方法的技术方案的描述。

本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述应用于卸载卡的数据处理方法的步骤。

上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述应用于卸载卡的数据处理方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述应用于卸载卡的数据处理方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (12)

1.一种安装有加速器的卸载卡，其中，

所述卸载卡，被配置为接收数据处理请求，其中，所述数据处理请求中携带有待处理数据；

在确定所述待处理数据的数据类型满足卸载卡处理条件的情况下，对所述待处理数据进行处理，并反馈获得的数据处理结果；或者

在确定所述待处理数据的数据类型满足加速器处理条件的情况下，将所述待处理数据发送至加速器，并反馈所述加速器获得的数据处理结果。

2.根据权利要求1所述的安装有加速器的卸载卡，其中，所述加速器为至少两个，至少两个加速器处理的数据类型相同。

3.根据权利要求1所述的安装有加速器的卸载卡，其中，所述加速器为至少两个，至少两个加速器处理的数据类型不同；

相应地，所述卸载卡，还被配置为将所述待处理数据发送至目标加速器，并反馈所述目标加速器获得的数据处理结果，其中，所述目标加速器为所述至少两个加速器之一，且所述目标加速器处理的数据类型与所述待处理数据的数据类型相同。

4.根据权利要求3所述的安装有加速器的卸载卡，其中，

所述卸载卡，还被配置为确定所述目标加速器对应的数据存储单元，其中，所述数据存储单元中存储所述目标加速器获得的数据处理结果，且所述数据处理结果为所述目标加速器对所述待处理数据进行处理获得；以及

从所述数据存储单元中获取所述数据处理结果，并反馈所述数据处理结果。

5.根据权利要求1所述的安装有加速器的卸载卡，其中，所述卸载卡与CPU相互通信；

所述卸载卡，还被配置为将所述数据处理结果反馈至所述CPU。

6.根据权利要求5所述的安装有加速器的卸载卡，其中，

所述卸载卡，还被配置为确定所述CPU对应的内存，并将所述数据处理结果存储至所述内存，以使所述CPU从所述内存中获得所述数据处理结果。

7.根据权利要求6所述的安装有加速器的卸载卡，其中，

所述卸载卡，还被配置为确定所述CPU对应的内存，并将所述数据处理结果存储至所述内存，且将所述数据处理结果在所述内存中的存储信息发送至所述CPU，以使所述CPU基于所述存储信息，从所述内存中获得所述数据处理结果；或者

所述卸载卡，还被配置为确定所述CPU对应的内存，并将所述数据处理结果存储至所述内存中的预设存储区域，以使所述CPU从所述内存中的预设存储区域中获得所述数据处理结果。

8.根据权利要求1所述的安装有加速器的卸载卡，其中，所述卸载卡与CPU相互通信；

所述卸载卡，还被配置为在确定所述待处理数据的数据类型满足CPU处理条件的情况下，将所述待处理数据发送至所述CPU。

9.根据权利要求3所述的安装有加速器的卸载卡，其中，

所述卸载卡，还被配置为确定所述待处理数据的数据类型，以及所述至少两个加速器处理的数据类型；

在所述至少两个加速器处理的数据类型，与所述待处理数据的数据类型相匹配的情况下，确定所述待处理数据的数据类型满足加速器处理条件；

将所述至少两个加速器中处理所述待处理数据的数据类型的加速器，确定为目标加速器。

10.根据权利要求2或3任意一项所述的安装有加速器的卸载卡，所述加速器处理的数据类型包括人工智能类型、机器学习类型、图形类型、数据安全类型、数据计算类型。

11.一种数据处理方法，应用于安装有加速器的卸载卡，所述方法包括：

接收数据处理请求，其中，所述数据处理请求中携带有待处理数据；

在确定所述待处理数据的数据类型满足卸载卡处理条件的情况下，对所述待处理数据进行处理，并反馈获得的数据处理结果；或者

在确定所述待处理数据的数据类型满足加速器处理条件的情况下，将所述待处理数据发送至加速器，并反馈所述加速器获得的数据处理结果。

12.一种数据处理系统，所述系统包括CPU，内存、以及安装有加速器的卸载卡，其中，

所述卸载卡，被配置为接收数据处理请求，其中，所述数据处理请求中携带有待处理数据，在确定所述待处理数据的数据类型满足卸载卡处理条件的情况下，对所述待处理数据进行处理，并将获得的数据处理结果反馈至所述内存；或者

在确定所述待处理数据的数据类型满足加速器处理条件的情况下，将所述待处理数据发送至加速器，将所述加速器获得的数据处理结果反馈至所述内存；

所述CPU，被配置为从所述内存中获取所述数据处理结果。

Images