CN111966496A - 数据处理方法、装置、系统及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种数据处理方法、装置、系统及计算机可读存储介质。其中，方法包括按照预设编码规则对各计算任务进行编码，生成用于记录当前计算任务类型、在所属类型任务中的编号和所属用户的编码信息。基于各计算任务的编码信息进行任务划分处理，得到符合预设编码规则的每类计算任务的用户任务集合，基于各用户任务集合、FPGA集群各FPGA加速器的实际功耗值、具有计算能力的FPGA加速器允许数量，按照能耗最小原则调用路径寻优算法将各计算任务分配至云端服务器集群和FPGA集群。根据预设编码规则解析各计算任务所属用户，并将相应的计算结果发送至用户端，从而在确保减轻云端数据中心计算压力的同时实现了充分发挥FPGA加速器的低能耗和并行计算优势。

Description

数据处理方法、装置、系统及计算机可读存储介质

技术领域

本申请涉及数据处理领域，特别是涉及一种数据处理方法、装置、系统及计算机可读存储介质。

背景技术

随着5G时代的到来，智能设备飞速发展，数据计算需求日益增长。而摩尔定律逐渐达到瓶颈，以CPU(Central Processing Unit，中央处理器)为代表的x86架构及数据中心在计算性能和能效方面逐渐无法适应满足日益庞大和多样化的数据处理需求。相较于传统的x86架构，FPGA(现场可编程门阵列，Field-Programmable Gate Array)具有高性能和低功耗等优点。与CPU相比，FPGA可以提高许多计算密集型任务的性能，如矩阵计算、加密和信号处理等。与GPU相比，FPGA的计算成本和能耗比更低。

为降低云数据中心的计算压力，相关技术以安插FPGA加速器的服务器开始提供边缘服务能力，通过FPGA加速器与服务器绑定的方式来实现对现有数据中心的异构加速，此类方法往往采用一机双卡或一机四卡等服务器与FPGA加速器紧耦合的方式来实现相应的服务。此类方法虽然可以实现发挥FPGA对数据中心的计算迁移能力，然而这种FPGA加速器与服务器耦合服务方式受限于服务器x86架构的计算力，导致FPGA加速器的算力无法得到充分发挥，服务器对FPGA的管理能力也并未得到充分体现。相关技术还通过网络连接的方式将服务器和单独供电的盘柜中的众多FPGA加速器相连接，充分利用了FPGA加速器的网络通信能力，通过服务器来实现对加速器的管理。此类方法尽管实现了服务器与FPGA加速器的解耦，充分利用了FPGA加速器和服务器的计算能力。然而对于FPGA加速器的负载运行情况等却存在无法有效衡量的问题，导致FPGA加速器的运算情况无法得到有效感知，对于每个FPGA加速器的资源调用和负载情况存在无法有效衡量的问题，导致存在部分FPGA加速器空载，而部分FPGA加速器一直处于忙碌状态的情况。因此在分配加速器的使用时，主要通过租用的方式将集群中数量有限的几个FPGA加速器分配给用户作为二次开发使用，导致FPGA加速器的集群计算优势无法得以体现。

综上可知，对于FPGA加速器安插在服务器上提供异构计算的方式，虽然可以发挥部分FPGA加速器的异构计算能力，但是受限于FPGA可以安插的加速器数目，导致相应的计算量实际上无法承担过多。另外一方面，由于FPGA加速器与服务器采用紧耦合的方式来提供服务，因此当服务器存在故障时，FPGA加速器存在无法继续进行计算的风险；而另外一种方法是利用FPGA加速卡的网络通信能力，服务器充当FPGA加速器集群管理角色，实现对FPGA加速器集群的管理。然而，现有的技术方案都是将FPGA加速器集群中的加速器租借给部分开发商使用，此类方法导致FPGA加速器集群的异构计算能力无法得以体现。并且现有的技术方案尚未形成对加速器中运行状况的感知，导致集群中的FPGA加速器存在无法有效使用的问题。

鉴于此，如何克服现有技术弊端，在确保减轻云端数据中心计算压力的同时可充分发挥FPGA加速器的低能耗和并行计算优势，是所属领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种数据处理方法、装置、系统及计算机可读存储介质，在确保减轻云端数据中心计算压力的同时实现了充分发挥FPGA加速器的低能耗和并行计算优势。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种数据处理方法，包括：

按照预设编码规则对各计算任务进行编码，生成用于记录当前计算任务的类型、在所属计算任务类型中的编号和所属用户的编码信息；

基于各计算任务的编码信息进行任务划分处理，得到符合所述预设编码规则的每类计算任务的用户任务集合；

基于各用户任务集合、FPGA集群各FPGA加速器的实际功耗值、具有计算能力的FPGA加速器允许数量，按照能耗最小原则调用路径寻优算法将各计算任务分配至云端服务器集群和所述FPGA集群；

根据所述预设编码规则解析得到各计算任务所属用户，并将相应的计算结果发送至用户端；

其中，所述FPGA集群作为边缘智能设备处理由所述云端服务器集群迁移的计算任务，所述FPGA加速器允许数量为根据所述FPGA集群中各FPGA加速器上传的计算任务进度信息确定。

可选的，所述基于各用户任务集合、FPGA集群各FPGA加速器的实际功耗值、具有计算能力的FPGA加速器允许数量，按照能耗最小原则调用路径寻优算法将各计算任务分配至云端服务器集群和所述FPGA集群包括：

对每类计算任务，计算当前类计算任务中每个用户任务与执行任务端之间的能耗开销值，并生成所述当前类计算任务的能耗开销矩阵；所述执行任务端为所述FPGA集群中具有计算能力的FPGA加速器或所述云端服务器集群中的服务器；

调用匈牙利算法按照能耗最小原则计算各能耗开销矩阵以得到最优计算任务分配结果；

按照所述最优计算任务分配结果将各计算任务发送给相应的执行任务端。

可选的，所述按照预设编码规则对各计算任务进行编码，生成用于记录当前计算任务的类型、在所属计算任务类型中的编号和所属用户的编码信息包括：

每个计算任务均携带任务类型、用户端信息和原始编号；

对每个计算任务，分别将当前计算任务的任务类型和用户端信息利用预设字符组合替代，生成第一字符格式的任务类型和第二字符格式的用户端信息；利用所述当前计算任务在所属任务类型中的编号替代所述原始编号，将所述第一字符格式的任务类型、所述第二字符格式的用户端信息和所述当前计算任务在所属任务类型中的编号组合生成所述当前计算任务的编码信息。

可选的，所述基于各计算任务的编码信息进行任务划分处理，得到符合所述预设编码规则的每类计算任务的用户任务集合包括：

调用MapReduce算法对各计算任务的编码信息进行处理，得到符合所述预设编码规则的每类计算任务的用户任务集合；

其中，所述用户任务集合包括隶属于同一类任务类型的多个用户任务子集，每个用户任务子集包括所述第一字符格式的任务类型、所述第二字符格式的用户端信息、当前计算任务在所属任务类型中的编号和所需完成计算任务的数量值。

可选的，所述FPGA加速器允许数量为根据所述FPGA集群中各FPGA加速器上传的计算任务进度信息确定包括：

所述FPGA集群包括多个FPGA加速器和控制节点，每个FPGA加速器在处理当前计算任务过程中，每计算完成一个步骤设置相应寄存器的状态位，并基于寄存器的状态位将相应的进度信息上传至所述控制节点。

本发明实施例另一方面提供了一种数据处理装置，包括：

任务编码模块，用于按照预设编码规则对各计算任务进行编码，生成用于记录当前计算任务的类型、在所属计算任务类型中的编号和所属用户的编码信息；

任务划分模块，用于基于各计算任务的编码信息进行任务划分处理，得到符合所述预设编码规则的每类计算任务的用户任务集合；

任务分配处理模块，用于基于各用户任务集合、FPGA集群中各FPGA加速器的实际功耗值、具有计算能力的FPGA加速器允许数量，按照能耗最小原则调用路径寻优算法将各计算任务分配至云端服务器集群和所述FPGA集群；所述FPGA集群作为边缘智能设备处理由所述云端服务器集群迁移的计算任务，所述FPGA加速器允许数量为根据所述FPGA集群中各FPGA加速器上传的计算任务进度信息确定；

计算结果反馈模块，用于根据所述预设编码规则解析得到各计算任务所属用户，并将相应的计算结果发送至用户端。

本发明实施例还提供了一种数据处理装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述数据处理方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如前任一项所述数据处理方法的步骤。

本发明实施例最后还提供了数据处理系统，包括云端服务器集群、FPGA集群和如上所述数据处理装置；

所述云端服务器集群包括多个服务器节点和主节点；

所述FPGA集群作为边缘智能设备处理由所述云端服务器集群迁移的计算任务，包括多个FPGA加速器和控制节点；所述控制节点通过路由器与各FPGA加速器进行数据通信，用于控制及分发所述FPGA集群的计算任务；

所述云端服务器集群和所述FPGA集群之间通过所述主节点和所述控制节点进行数据通信；所述数据处理装置部署在所述主节点或所述控制节点上。

可选的，所述FPGA集群包括多个FPGA盘柜和所述控制节点；

所述控制节点为由部署在边缘端的预设个数的服务器组成；每个FPGA盘柜包括多个FPGA加速器，各FPGA加速器提供相同的应用服务。

本申请提供的技术方案的优点在于，对计算任务编码处理并进行任务划分，得到每类计算任务及其相应的用户信息。在FPGA加速器中添加计算任务进度轮询感知上传机制，FPGA集群的控制节点可感知FPGA计算任务处理进度从而得到空闲可分担计算任务的FPGA加速器列表及其能耗等信息；FPGA集群不再采用租赁方式来为不同的租户服务，而是通过作为边缘智能设备使用以为云端数据中心的服务器进行计算任务迁移来分担相应的计算压力。在分担数据中心服务器计算压力的同时，基于能耗最低原则利用路径寻优算法确定最佳任务分配方式，实现能耗最低情况下的计算迁移，进一步发挥了FPGA低能耗的特点。在完成计算任务的同时，解决了云端数据中心服务器的计算负载过高和FPGA能耗过高的问题，从而实现了在边缘端的FPGA集群侧分担来自于云端数据中心的计算任务，并确保了相应过程中FPGA加速器的能耗是最低的。

此外，本发明实施例还针对数据处理方法提供了相应的实现装置、系统及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、系统及计算机可读存储介质具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的流程示意图；

图2为本发明实施例提供的另一种数据处理方法的流程示意图；

图3为本发明实施例提供的数据处理装置的一种具体实施方式结构图；

图4为本发明实施例提供的数据处理装置的另一种具体实施方式结构图；

图5为本发明实施例提供的数据处理系统的一种具体实施方式结构图；

图6为本发明实施例提供的数据处理系统的另一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种数据处理方法的流程示意图，本发明实施例可包括以下内容：

S101：按照预设编码规则对各计算任务进行编码，生成用于记录当前计算任务的类型、在所属计算任务类型中的编号和所属用户的编码信息。

本实施例中，计算任务为用户端通过网络如蜂窝网发送给云端处理的，是用户需要处理的计算任务，每个计算任务携带该任务所属计算任务类型和对应的用户信息，用户信息也即该计算任务是哪个用户端下发的，可以将用户端的硬件识别号作为用户信息以唯一标识该用户，当然也可采用其他方式标识用户信息，这均不影响本申请的实现。计算任务类型例如为人工神经网络计算任务，图像识别任务，数据压缩任务等等，多个用户可能会做同一类型的计算任务，相应的，每个计算任务类型下可能有多个用户所需求的计算任务，可根据接收到用户计算任务的时间顺序对同一类型的计算任务进行编号，例如在第一次接收到属于人工神经网络计算任务类型的计算任务时，给这个计算任务设置编号为01，在第二次接收到属于人工神经网络计算任务类型的另外一个计算任务时，给该计算任务设置编号为02。采用同一套预设编码规则将所有计算任务转化为具有相同表现格式的编码信息，便于系统识别每个计算任务，相应的，基于预设编码规则解析编码信息会得到相应的任务类型和用户信息。所谓的预设编码规则即是将当前计算任务的类型和所属用户采用数字和/或文字转换后与在所属计算任务类型中的编号进行组合，所属领域技术人员可根据实际应用场景设置预设编码规则，这均不影响本申请的实现。

S102：基于各计算任务的编码信息进行任务划分处理，得到符合预设编码规则的每类计算任务的用户任务集合。

经过S101步骤后，每个计算任务的编码信息中含有计算任务类型和用户信息，对每个计算任务进行任务划分，将隶属于同一类型的计算任务划分为一组并按组输出，每类计算任务对应一个用户任务集合，用户任务集合中包含多个用户的计算任务及每个计算任务所需求的计算量，用户任务集合中与S101步骤中相同的元素的表示形式要满足S101的预设编码规则的要求。

S103：基于各用户任务集合、FPGA集群各FPGA加速器的实际功耗值、具有计算能力的FPGA加速器允许数量，按照能耗最小原则调用路径寻优算法将各计算任务分配至云端服务器集群和FPGA集群。

在本步骤中，FPGA集群作为边缘智能设备处理由云端服务器集群迁移的计算任务来减轻云端计算压力，而非采用现有技术的租赁方式为不同租户服务的方式。本申请会在FPGA集群中的每个FPGA加速器上均预先添加计算任务进度轮询感知机制，计算任务进度轮询感知机制用于FPGA加速器在处理计算任务过程中，每个计算任务会分为多个计算步骤来执行，每完成一个计算步骤就会将完成该计算步骤的信息进行上报，以使控制集群的服务器节点感知计算任务的进度，作为控制节点的服务器对FPGA计算任务处理进度的感知，从而便能够有效衡量可以分担云端服务器集群的计算任务量，也即可得到FPGA加速器允许数量。可以采用任何一种路径寻优算法为各计算任务找到能耗最小的分配方式，算法的实现过程可参阅现有技术中记载的实现过程，此处，便不再赘述。

S104：根据预设编码规则解析得到各计算任务所属用户，并将相应的计算结果发送至用户端。

在S103确定最优的计算任务分配方式后，按照计算任务分配方式将各计算任务分发至云端服务器集群和FPGA集群中，云端服务器集群和FPGA集群处理完相应的计算任务后，反馈最终的计算结果。系统反向解析用户任务集合中的信息得到计算任务所属用户，然后将其计算结果发送至该用户预先绑定的用户端，如手机端或PC端，从而完成整个计算任务的数据处理过程。

在本发明实施例提供的技术方案中，对计算任务编码处理并进行任务划分，得到每类计算任务及其相应的用户信息。在FPGA加速器中添加计算任务进度轮询感知上传机制，FPGA集群的控制节点可感知FPGA计算任务处理进度从而得到空闲可分担计算任务的FPGA加速器列表及其能耗等信息；FPGA集群不再采用租赁方式来为不同的租户服务，而是通过作为边缘智能设备使用以为云端数据中心的服务器进行计算任务迁移来分担相应的计算压力。在分担数据中心服务器计算压力的同时，基于能耗最低原则利用路径寻优算法确定最佳任务分配方式，实现能耗最低情况下的计算迁移，进一步发挥了FPGA低能耗的特点。在完成计算任务的同时，解决了云端数据中心服务器的计算负载过高和FPGA能耗过高的问题，从而实现了在边缘端的FPGA集群侧分担来自于云端数据中心的计算任务，并确保了相应过程中FPGA加速器的能耗是最低的。

在上述实施例中，对于如何执行步骤S103并不做限定，本实施例中给出一组最优计算任务分配方式的计算方法，如图2所示，可包括如下步骤：

对每类计算任务，计算当前类计算任务中每个用户任务与执行任务端之间的能耗开销值，并生成当前类计算任务的能耗开销矩阵；执行任务端为FPGA集群中具有计算能力的FPGA加速器或云端服务器集群中的服务器。一个计算任务分配给FPGA集群的FPGA加速器对应一个能耗开销值，同样一个计算任务分配给云端服务器集群中的服务器对应一个能耗开销值，将每个计算任务对应的能耗开销值组合为一个能耗开销矩阵。

调用匈牙利算法按照能耗最小原则计算各能耗开销矩阵以得到最优计算任务分配结果，按照最优计算任务分配结果将各计算任务发送给相应的执行任务端。

本发明实施例结合FPGA集群所上报的可提供的计算任务类型、FPGA加速器的数量以及实际的功耗值，在匈牙利算法的基础上，得到一个能耗最低的计算任务分配方案，根据预设编码规则解析相应的计算任务编号，并将相应的计算结果返回给对应的用户设备，从而在确保边缘云中能耗最优的情况下的计算迁移工作顺利完成，进一步的降低了云端数据中心的服务器计算负载压力。

在上述实施例中，对于如何对计算任务进行编码没有进行限定，本申请还提供了一种计算任务的编码方式，如图2所示，可包括下述内容：

每个计算任务均携带任务类型、用户端信息和原始编号；对每个计算任务，分别将当前计算任务的任务类型和用户端信息利用预设字符组合替代，生成第一字符格式的任务类型和第二字符格式的用户端信息，利用当前任务在所属任务类型中的编号代替原始编号，将第一字符格式的任务类型、第二字符格式的用户端信息和在所属任务类型中的编号组合生成当前计算任务的编码信息。

在本实施例的另外一些实施方式中，对于S102还可采用MapReduce算法实现划分任务的归属，使得所有的计算任务均符合MapReduce的计算规则，也即可调用MapReduce算法对各计算任务的编码信息进行处理，得到符合预设编码规则的每类计算任务的用户任务集合，计算结果输出的是符合初始编号规则的各类计算应用的实际用户编号。相应的，用户任务集合可包括隶属于同一类任务类型的多个用户任务子集，每个用户任务子集包括第一字符格式的任务类型、第二字符格式的用户端信息、当前计算任务在所属任务类型中的编号和所需完成计算任务的数量值。

举例来说，以AlexNet、ResNet及LeNet三种CNN神经计算模型为例，结合任务类型、数量及原始编号构建出符合MapReduce计算规则的相应模型，第一个计算任务为LeNet，01，USER_01，第二个计算任务为AlexNet，02，USER_01，第三个计算任务为LeNet，03，USER_02，第四个计算任务为ResNet，04，USER_01，采用上述预设编码规则编码处理后，第一个计算任务的编码信息为(Le01_u01)，第二个计算任务的编码信息为(Al01_u01)，第三个计算任务的编码信息为(Le02_u02)，第四个计算任务的编码信息为(Re01_u02)，使用MapReduce算法得到各类计算任务及相应的用户，以LeNet计算任务的MapReduce结果为例，若采用传统的MapReduce算法，返回的结果应该是(LeNet，2)。而基于本申请的预设编码规则，得到的结果是详细的采用了LeNet计算的用户任务集合((Le01_u01，1)和(Le02_u02，1))，其描述了计算任务的类型、编号及用户编号。与传统MapReduce算法不同之处在于，相应的结果不是简单的涵盖了各类计算任务的总数，而是得到具体的用户及其需要完成的计算任务的数量

本发明实施例结合MapReduce算法及匈牙利算法确定计算任务分配方式，在确保减轻云端数据中心计算压力的同时，充分发挥了FPGA加速器的低能耗和并行计算优势，确保了本发明所提出的基于FPGA集群的边缘云计算迁移模型及算法能实现能耗最低。

需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1-图2只是一种示意方式，并不代表只能是这样的执行顺序。

本发明实施例还针对数据处理方法提供了相应的装置，进一步使得所述方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的数据处理装置进行介绍，下文描述的数据处理装置与上文描述的数据处理方法可相互对应参照。

基于功能模块的角度，参见图3，图3为本发明实施例提供的数据处理装置在一种具体实施方式下的结构图，该装置可包括：

任务编码模块301，用于按照预设编码规则对各计算任务进行编码，生成用于记录当前计算任务的类型、在所属计算任务类型中的编号和所属用户的编码信息。

任务划分模块302，用于基于各计算任务的编码信息进行任务划分处理，得到符合预设编码规则的每类计算任务的用户任务集合。

任务分配处理模块303，用于基于各用户任务集合、FPGA集群中各FPGA加速器的实际功耗值、具有计算能力的FPGA加速器允许数量，按照能耗最小原则调用路径寻优算法将各计算任务分配至云端服务器集群和FPGA集群；FPGA集群作为边缘智能设备处理由云端服务器集群迁移的计算任务，FPGA加速器允许数量为根据FPGA集群中各FPGA加速器上传的计算任务进度信息确定。

计算结果反馈模块304，用于根据预设编码规则解析得到各计算任务所属用户，并将相应的计算结果发送至用户端。

可选的，在本实施例的一些实施方式中，所述任务分配处理模块303可以包括：

矩阵计算子模块，用于对每类计算任务，计算当前类计算任务中每个用户任务与执行任务端之间的能耗开销值，并生成当前类计算任务的能耗开销矩阵；执行任务端为FPGA集群中具有计算能力的FPGA加速器或云端服务器集群中的服务器。

分配方式寻优子模块，用于调用匈牙利算法按照能耗最小原则计算各能耗开销矩阵以得到最优计算任务分配结果。

任务分配子模块，用于按照最优计算任务分配结果将各计算任务发送给相应的执行任务端。

作为一种可选的实施方式，所述任务编码模块301可用于：

每个计算任务均携带任务类型、用户端信息和在所属任务类型中的编号；对每个计算任务，分别将当前计算任务的任务类型和用户端信息利用预设字符组合替代，生成第一字符格式的任务类型和第二字符格式的用户端信息；利用当前计算任务在所属任务类型中的编号替代原始编号，将第一字符格式的任务类型、第二字符格式的用户端信息和当前计算任务在所属任务类型中的编号组合生成当前计算任务的编码信息。

在本发明实施例的其他一些实施方式中，任务划分模块302为调用MapReduce算法对各计算任务的编码信息进行处理，得到符合预设编码规则的每类计算任务的用户任务集合的模块；用户任务集合包括隶属于同一类任务类型的多个用户任务子集，每个用户任务子集包括第一字符格式的任务类型、第二字符格式的用户端信息、当前计算任务在所属任务类型中的编号和所需完成计算任务的数量值。

可选的，在本实施例的另一些实施方式中，FPGA集群包括多个FPGA加速器和控制节点，每个FPGA加速器在处理当前计算任务过程中，每计算完成一个步骤设置相应寄存器的状态位，并基于寄存器的状态位将相应的进度信息上传至控制节点。

本发明实施例所述数据处理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例在确保减轻云端数据中心计算压力的同时实现了充分发挥FPGA加速器的低能耗和并行计算优势。

上文中提到的数据处理装置是从功能模块的角度描述，进一步的，本申请还提供一种数据处理装置，是从硬件角度描述。图4为本申请实施例提供的另一种数据处理装置的结构图。如图4所示，该装置包括存储器40，用于存储计算机程序；处理器41，用于执行计算机程序时实现如上述任一实施例提到的数据处理方法的步骤。

其中，处理器41可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器41可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器41也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器41可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器41还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器40可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器40还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器40至少用于存储以下计算机程序401，其中，该计算机程序被处理器41加载并执行之后，能够实现前述任一实施例公开的数据处理方法的相关步骤。另外，存储器40所存储的资源还可以包括操作系统402和数据403等，存储方式可以是短暂存储或者永久存储。其中，操作系统402可以包括Windows、Unix、Linux等。数据403可以包括但不限于测试结果对应的数据等。

在一些实施例中，数据处理装置还可包括有显示屏42、输入输出接口43、通信接口44、电源45以及通信总线46。

本领域技术人员可以理解，图4中示出的结构并不构成对数据处理装置的限定，可以包括比图示更多或更少的组件，例如还可包括传感器47。

本发明实施例所述数据处理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例在确保减轻云端数据中心计算压力的同时实现了充分发挥FPGA加速器的低能耗和并行计算优势。

可以理解的是，如果上述实施例中的数据处理方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。

基于此，本发明实施例还提供了一种计算机可读存储介质，存储有数据处理程序，所述数据处理程序被处理器执行时如上任意一实施例所述数据处理方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例在确保减轻云端数据中心计算压力的同时实现了充分发挥FPGA加速器的低能耗和并行计算优势。

本发明实施例还提供了一种数据处理系统，请参见图5，可包括云端服务器集群51、FPGA集群52和如上实施例记载的数据处理装置，数据处理装置可部署在FPGA集群52或云端服务器集群51中。

其中，云端服务器集群51可包括多个服务器节点和主节点510，主节点510为云端服务器集群中预先指定作为控制其他服务器节点和与外界进行数据通信的服务器节点。FPGA集群52作为边缘智能设备处理由云端服务器集群51迁移的计算任务，FPGA集群52中可包括多个FPGA加速器520和控制节点521，控制节点521通过路由器522与各FPGA加速器520进行数据通信，用于控制及分发FPGA集群52的计算任务。云端服务器集群51和FPGA集群52之间通过主节点510和控制节点521进行数据通信。

在本实施例中，数据处理装置可部署在主节点或控制节点中，也就是说实现如上述任一实施例提到的数据处理方法的步骤的计算机程序作为一段独立程序可嵌入主节点510的计算机程序中，也可嵌入控制节点521的计算机程序中。作为一种可选的实施方式，考虑到计算任务迁移过程中涉及到FPGA集群52中可以承担计算任务的FPGA加速器的数量以及各FPGA加速器的实际功耗值，且主要是为了将云端要处理的计算任务迁移一部分计算任务到FPGA集群52中进行处理，为了降低数据传输量，方便计算任务迁移，可将数据处理装置部署在控制节点中，也就是由FPGA集群52的控制节点521执行如上述任一实施例提到的数据处理方法的步骤。

在实际应用实施过程中，在实现扩建FPGA集群52的基础上，为了便于管理和维护FPGA加速器，可将多个FPGA加速器先放入到多个FPGA盘柜中，以盘柜的方式组合为集群，也就是说，FPGA集群可包括多个FPGA盘柜和控制节点，每个FPGA盘柜包括多个FPGA加速器，各FPGA加速器提供相同的应用服务，每个盘柜中的FPGA加速器个数和集群内盘柜总个数可由实际应用场景确定，本申请对此不作任何限定。控制节点可为一个服务器，也可为多个服务器共同组成，也即控制节点可为由部署在边缘端的预设个数的服务器组成，服务器个数可由实际应用场景确定，本申请对此不作任何限定。

为了使本领域技术人员根据清楚本申请技术方案，本申请还结合图6给出一个示意性例子，包括下述内容：

云端服务器集群在处理通过蜂窝网传输的用户移动设备的计算任务时，由于用户的计算任务过高，会将部分计算任务迁移到离用户更近的边缘FPGA集群中进行计算。由于边缘FPGA集群的每个FPGA加速器上均集成了计算任务进度查询机制，因此边缘FPGA集群中作为控制节点的服务器能够有效衡量可以分担云端服务器集群的计算任务量，并将相关信息发送给云端服务器集群处衡量。因此，在计算任务过多情况下，云端服务器根据设备端传送的各类计算任务量，结合边缘FPGA集群处控制节点上传的可提供计算的FPGA加速器数量和实际功耗，结合本申请在MapReduce算法和匈牙利算法基础上提出的数据处理方法，将各计算任务合理分配到云端的服务器集群和各边缘端的FPGA集群处，确保在最小功耗的基础上实现计算任务从云端迁移到边缘端FPGA集群处。

此外，本申请还提供了一种计算任务进度感知上传方式，对于包括多个FPGA加速器和控制节点的FPGA集群，每个FPGA加速器在处理当前计算任务过程中，每计算完成一个步骤设置相应寄存器的状态位，并基于寄存器的状态位将相应的进度信息上传至控制节点。结合图6示出的基于FPGA加速器的边缘云计算迁移网络模型，在边缘端部署数量一定的服务器作为控制节点实现对FPGA集群的计算任务控制及分发。而盘柜中的FPGA集群中的FPGA加速器则负责提供特定的应用计算服务，并集成了任务进度感知机制。当FPGA在提供应用服务时，当完成相应步骤的计算后，相应的寄存器会改变为相应的状态位。FPGA加速器会将相应的进度信息解析并上传到作为控制节点的服务器中，以供后续云端数据中心及时准确的将相应的计算任务分配给FPGA集群侧。

本发明实施例所述数据处理系统的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例在确保减轻云端数据中心计算压力的同时实现了充分发挥FPGA加速器的低能耗和并行计算优势。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本申请所提供的一种数据处理方法、装置、系统及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

按照预设编码规则对各计算任务进行编码，生成用于记录当前计算任务的类型、在所属计算任务类型中的编号和所属用户的编码信息；

基于各计算任务的编码信息进行任务划分处理，得到符合所述预设编码规则的每类计算任务的用户任务集合；

基于各用户任务集合、FPGA集群各FPGA加速器的实际功耗值、具有计算能力的FPGA加速器允许数量，按照能耗最小原则调用路径寻优算法将各计算任务分配至云端服务器集群和所述FPGA集群；

根据所述预设编码规则解析得到各计算任务所属用户，并将相应的计算结果发送至用户端；

其中，所述FPGA集群作为边缘智能设备处理由所述云端服务器集群迁移的计算任务，所述FPGA加速器允许数量为根据所述FPGA集群中各FPGA加速器上传的计算任务进度信息确定。

2.根据权利要求1所述的数据处理方法，其特征在于，所述基于各用户任务集合、FPGA集群各FPGA加速器的实际功耗值、具有计算能力的FPGA加速器允许数量，按照能耗最小原则调用路径寻优算法将各计算任务分配至云端服务器集群和所述FPGA集群包括：

对每类计算任务，计算当前类计算任务中每个用户任务与执行任务端之间的能耗开销值，并生成所述当前类计算任务的能耗开销矩阵；所述执行任务端为所述FPGA集群中具有计算能力的FPGA加速器或所述云端服务器集群中的服务器；

调用匈牙利算法按照能耗最小原则计算各能耗开销矩阵以得到最优计算任务分配结果；

按照所述最优计算任务分配结果将各计算任务发送给相应的执行任务端。

3.根据权利要求1所述的数据处理方法，其特征在于，所述按照预设编码规则对各计算任务进行编码，生成用于记录当前计算任务的类型、在所属计算任务类型中的编号和所属用户的编码信息包括：

每个计算任务均携带任务类型、用户端信息和原始编号；

对每个计算任务，分别将当前计算任务的任务类型和用户端信息利用预设字符组合替代，生成第一字符格式的任务类型和第二字符格式的用户端信息；利用所述当前计算任务在所属任务类型中的编号替代所述原始编号，将所述第一字符格式的任务类型、所述第二字符格式的用户端信息和所述当前计算任务在所属任务类型中的编号组合生成所述当前计算任务的编码信息。

4.根据权利要求3所述的数据处理方法，其特征在于，所述基于各计算任务的编码信息进行任务划分处理，得到符合所述预设编码规则的每类计算任务的用户任务集合包括：

调用MapReduce算法对各计算任务的编码信息进行处理，得到符合所述预设编码规则的每类计算任务的用户任务集合；

其中，所述用户任务集合包括隶属于同一类任务类型的多个用户任务子集，每个用户任务子集包括所述第一字符格式的任务类型、所述第二字符格式的用户端信息、当前计算任务在所属任务类型中的编号和所需完成计算任务的数量值。

5.根据权利要求1至4任意一项所述的数据处理方法，其特征在于，所述FPGA加速器允许数量为根据所述FPGA集群中各FPGA加速器上传的计算任务进度信息确定包括：

所述FPGA集群包括多个FPGA加速器和控制节点，每个FPGA加速器在处理当前计算任务过程中，每计算完成一个步骤设置相应寄存器的状态位，并基于寄存器的状态位将相应的进度信息上传至所述控制节点。

6.一种数据处理装置，其特征在于，包括：

任务编码模块，用于按照预设编码规则对各计算任务进行编码，生成用于记录当前计算任务的类型、在所属计算任务类型中的编号和所属用户的编码信息；

任务划分模块，用于基于各计算任务的编码信息进行任务划分处理，得到符合所述预设编码规则的每类计算任务的用户任务集合；

任务分配处理模块，用于基于各用户任务集合、FPGA集群中各FPGA加速器的实际功耗值、具有计算能力的FPGA加速器允许数量，按照能耗最小原则调用路径寻优算法将各计算任务分配至云端服务器集群和所述FPGA集群；所述FPGA集群作为边缘智能设备处理由所述云端服务器集群迁移的计算任务，所述FPGA加速器允许数量为根据所述FPGA集群中各FPGA加速器上传的计算任务进度信息确定；

计算结果反馈模块，用于根据所述预设编码规则解析得到各计算任务所属用户，并将相应的计算结果发送至用户端。

7.一种数据处理装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5任一项所述数据处理方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1至5任一项所述数据处理方法的步骤。

9.一种数据处理系统，其特征在于，包括云端服务器集群、FPGA集群和如权利要求7所述数据处理装置；

所述云端服务器集群包括多个服务器节点和主节点；

所述FPGA集群作为边缘智能设备处理由所述云端服务器集群迁移的计算任务，包括多个FPGA加速器和控制节点；所述控制节点通过路由器与各FPGA加速器进行数据通信，用于控制及分发所述FPGA集群的计算任务；

所述云端服务器集群和所述FPGA集群之间通过所述主节点和所述控制节点进行数据通信；所述数据处理装置部署在所述主节点或所述控制节点上。

10.根据权利要求9所述的数据处理系统，其特征在于，所述FPGA集群包括多个FPGA盘柜和所述控制节点；

所述控制节点为由部署在边缘端的预设个数的服务器组成；每个FPGA盘柜包括多个FPGA加速器，各FPGA加速器提供相同的应用服务。

Images