CN108319510A - 一种异构处理方法及装置 - Google Patents

Abstract

本发明实施例提供了一种异构处理方法及装置。通过本发明实施例的方法，利用共享内存可以将业务应用的数据与对数据计算的过程解耦，且能够通过共享内存减少与异构处理设备之间的传输时延，也即能够通过共享内存提高业务应用与异构处理设备之间速度传输速率和带宽，从而提高数据处理效率。降低业务应用的开发技术难度和以及提高业务应用的开发效率；且业务应用可以更灵活地适应不同类型、不同数量的异构处理环境。

Description

一种异构处理方法及装置

技术领域

本发明涉及计算机技术领域，特别是涉及一种异构处理方法及装置。

背景技术

随着大数据越来越普及，对海量数据的分析和计算的需求越来越多，传统的CPU(Central Processing Unit，中央处理器)的性能远远不能满足对海量数据的分析和计算等需求。

为此，人们开始寻求通过GPU、FPGA(Field Programmable Gate Array，现场可编程门阵列)和ASIC(Application Specific Integrated Circuit，为专门目的而设计的集成电路)等异构计算设备对海量数据分析和计算，例如，业务应用通过RPC(RemoteProcedure Call，远程过程调用)通信协议把需要计算的数据发送给异构计算设备，以使异构计算设备对需要计算的数据进行计算，得到计算结果，同时还实现了将业务应用的数据与异构计算设备解耦。

业务应用如果采用本地调用异构计算设备，虽然计算效率高，但软硬件耦合度都会比较高，编程技术难度大，开发效率低。业务应用通过RPC通信协议把需要计算的数据发送给异构计算设备时的数据传输效率较低，从而导致对数据的计算效率较低。尤其是在需要计算的数据非常多的情况下，计算效率低的现象更加明显。

发明内容

为了解决上述结束问题，本发明实施例示出了一种异构处理方法及装置。

第一方面，本发明实施例示出了一种异构处理方法，所述方法包括：

将业务应用的待处理数据存储在已创建的共享内存空间中；

为所述待处理数据选择异构处理设备；

将所述待处理数据从所述共享内存空间复制到所述异构处理设备中；

控制所述异构处理设备对所述待处理数据处理得到处理结果，并将所述处理结果存储在所述共享内存空间中；

从所述共享内存空间中获取所述处理结果。

在一个可选的实现方式中，所述将业务应用的待处理数据存储在已创建的共享内存空间中，包括：

生成所述待处理数据的处理任务；

将所述处理任务存储在所述共享内存空间中预先设置的任务队列中；

生成至少包含所述处理任务的任务标识的事件信息；

将所述事件信息存储在所述共享内存空间中预先设置的事件队列中。

在一个可选的实现方式中，所述将所述待处理数据从所述共享内存空间复制到所述异构处理设备中，包括：

在所述异构处理设备中分配输入内存空间和输出内存空间；

从所述共享内存空间中获取所述待处理数据，并将所述待处理数据复制到所述以后处理设备的所述输入内存空间中。

在一个可选的实现方式中，所述控制所述异构处理设备对所述待处理数据处理得到处理结果，包括：

获取所述异构处理设备中预先存储的用于处理所述待处理数据的处理函数；

使用所述处理函数对所述待处理数据进行处理，得到处理结果；

将所述处理结果存储在所述输出内存空间中；

生成包含所完成的处理任务的任务标识的任务结果事件；

将所述任务结果事件存储在所述事件队列中。

在一个可选的实现方式中，所述方法还包括：

获取预设数据处理逻辑服务包括的进程的总数量；

获取预设数据处理逻辑服务包括的进程的任务缓冲区大小；

根据所述总数量和所述任务缓冲区大小确定待生成的共享内存空间的空间大小；

生成所述空间大小的共享内存空间。

第二方面，本发明实施例示出了一种异构处理装置，所述装置包括：

第一存储模块，用于将业务应用的待处理数据存储在已创建的共享内存空间中；

选择模块，用于为所述待处理数据选择异构处理设备；

复制模块，用于将所述待处理数据从所述共享内存空间复制到所述异构处理设备中；

处理模块，用于控制所述异构处理设备对所述待处理数据处理得到处理结果；

第二存储模块，用于控制所述异构处理设备将所述处理结果存储在所述共享内存空间中；

第一获取模块，用于从所述共享内存空间中获取所述处理结果。

在一个可选的实现方式中，所述第一存储模块包括：

第一生成单元，用于生成所述待处理数据的处理任务；

第一存储单元，用于将所述处理任务存储在所述共享内存空间中预先设置的任务队列中；

第二生成单元，用于生成至少包含所述处理任务的任务标识的事件信息；

第二存储单元，用于将所述事件信息存储在所述共享内存空间中预先设置的事件队列中。

在一个可选的实现方式中，所述复制模块包括：

分配单元，用于在所述异构处理设备中分配输入内存空间和输出内存空间；

第一获取单元，用于从所述共享内存空间中获取所述待处理数据；

复制单元，用于将所述待处理数据复制到所述以后处理设备的所述输入内存空间中。

在一个可选的实现方式中，所述处理模块包括：

第二获取单元，用于获取所述异构处理设备中预先存储的用于处理所述待处理数据的处理函数；

处理单元，用于使用所述处理函数对所述待处理数据进行处理，得到处理结果；

第三存储单元，用于将所述处理结果存储在所述输出内存空间中；

第三生成单元，用于生成包含所完成的处理任务的任务标识的任务结果事件；

第四存储单元，用于将所述任务结果事件存储在所述事件队列中。

在一个可选的实现方式中，所述装置还包括：

第二获取模块，用于获取预设数据处理逻辑服务包括的进程的总数量；

第三获取模块，用于获取预设数据处理逻辑服务包括的进程的任务缓冲区大小；

确定模块，用于根据所述总数量和所述任务缓冲区大小确定待生成的共享内存空间的空间大小；

生成模块，用于生成所述空间大小的共享内存空间。

与现有技术相比，本发明实施例包括以下优点：

通过本发明实施例的方法，利用共享内存可以将业务应用的数据与对数据计算的过程解耦，且能够通过共享内存减少与异构处理设备之间的传输时延，也即能够通过共享内存提高业务应用与异构处理设备之间速度传输速率和带宽，从而提高数据处理效率。降低业务应用的开发技术难度和以及提高业务应用的开发效率；且业务应用可以更灵活地适应不同类型、不同数量的异构处理环境。

附图说明

图1是本发明的一种异构处理方法实施例的步骤流程图；

图2是本发明的一种异构处理装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种异构处理方法实施例的步骤流程图，具体可以包括如下步骤：

在步骤S101中，将业务应用的待处理数据存储在已创建的共享内存空间中；

在本发明实施例中，事先需要创建共享内存空间，具体地，可以获取预设业务服务进程的总数量，然后获取预设数据处理逻辑服务计算批次所需的任务缓冲区大小，再根据总数量和任务缓冲区大小确定待生成的共享内存空间的空间大小；例如，将总数量与任务缓冲区大小相乘的结果作为待生成的共享内存空间的空间大小，然后生成空间大小的共享内存空间。其中，在生成空间大小的共享内存空间时，可以创调用操作系统的API创建共享内存空间，API可以为Linux操作系统中的shmCreate等等。

当生成业务应用的待处理数据时，为了提高对待处理数据的处理效率，本发明实施例需要将业务应用的待处理数据存储在已创建的共享内存空间中。具体地，可以生成待处理数据的处理任务；然后将处理任务存储在共享内存空间中预先设置的任务队列中；再生成至少包含处理任务的任务标识的事件信息；之后将事件信息存储在共享内存空间中预先设置的事件队列中。

其中，生成的待处理数据的处理任务还可以包括该处理任务的任务时间戳、任务类型、任务优先级、任务发起线程的标识、任务处理线程的标识、指示该处理任务适合的异构处理设备的设备类型、待处理数据所需的输入缓冲区及输入缓冲区的长度以及待处理数据所需的输出缓冲区及输出缓冲区的长度等等，当然，还可以根据实际需求包括一些其他参数，本发明实施例对此不加以限定。

其中。生成的事件信息还可以包括事件类型、事件标识以及事件时间戳等等，事件发起线程的标识和事件处理线程的标识。当然，还可以根据实际需求包括一些其他参数，本发明实施例对此不加以限定。

在步骤S102中，获取用于处理待处理数据的异构处理设备；

在本发明实施例中，如果只存在一个异构处理设备，则将该异构处理设备确定为用于处理待处理数据的异构处理设备；

如果存在多个异构处理设备，则可以从多个异构处理设备中选择一个异构处理设备，作为用于处理待处理数据的异构处理设备。

例如，在选择异构处理设备时，为了实现负载均衡，可以将负载最低的异构处理设备确定为用于处理待处理数据的异构处理设备。

当然，也可以根据其他选择的方式从多个异构处理设备中选择异构处理设备，并作为用于处理待处理数据的异构处理设备，本发明实施例对选择的方式不做限定。

在步骤S103中，将待处理数据从共享内存空间复制到异构处理设备中；

可以在异构处理设备中分配输入内存空间和输出内存空间，从共享内存空间中获取待处理数据，并将待处理数据复制到以后处理设备的输入内存空间中。

在步骤S104中，控制异构处理设备对待处理数据处理得到处理结果，并将处理结果存储在共享内存空间中；

控制异构处理设备从输入内存空间中获取待处理数据，然后获取异构处理设备中预先存储的用于处理待处理数据的处理函数；使用处理函数对待处理数据进行处理，得到处理结果；将处理结果存储在输出内存空间中，生成包含所完成的处理任务的任务标识的任务结果事件；将所述任务结果事件存储在所述事件队列中。之后将处理结果存储在共享内存空间中；例如，从将处理结果从输出内存空间中复制到共享内存中。

在步骤S105中，从共享内存空间中获取处理结果。

在本发明实施例中，将业务应用的待处理数据存储在已创建的共享内存空间中；获取用于处理待处理数据的异构处理设备；将待处理数据从共享内存空间复制到异构处理设备中；控制异构处理设备对待处理数据处理得到处理结果，并将处理结果存储在共享内存空间中；从共享内存空间中获取处理结果。

通过本发明实施例的方法，利用共享内存可以将业务应用的数据与对数据计算的过程解耦，且能够通过共享内存减少与异构处理设备之间的传输时延，也即能够通过共享内存提高业务应用与异构处理设备之间速度传输速率和带宽，从而提高数据处理效率。降低业务应用的开发技术难度和以及提高业务应用的开发效率；且业务应用可以更灵活地适应不同类型、不同数量的异构处理环境。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图2，示出了本发明一种异构处理装置实施例的结构框图，具体可以包括如下模块：

第一存储模块11，用于将业务应用的待处理数据存储在已创建的共享内存空间中；

选择模块12，用于为所述待处理数据选择异构处理设备；

复制模块13，用于将所述待处理数据从所述共享内存空间复制到所述异构处理设备中；

处理模块14，用于控制所述异构处理设备对所述待处理数据处理得到处理结果；

第二存储模块15，用于控制所述异构处理设备将所述处理结果存储在所述共享内存空间中；

第一获取模块16，用于从所述共享内存空间中获取所述处理结果。

在一个可选的实现方式中，所述第一存储模块11包括：

第一生成单元，用于生成所述待处理数据的处理任务；

第一存储单元，用于将所述处理任务存储在所述共享内存空间中预先设置的任务队列中；

第二生成单元，用于生成至少包含所述处理任务的任务标识的事件信息；

第二存储单元，用于将所述事件信息存储在所述共享内存空间中预先设置的事件队列中。

在一个可选的实现方式中，所述复制模块13包括：

分配单元，用于在所述异构处理设备中分配输入内存空间和输出内存空间；

第一获取单元，用于从所述共享内存空间中获取所述待处理数据；

复制单元，用于将所述待处理数据复制到所述以后处理设备的所述输入内存空间中。

在一个可选的实现方式中，所述处理模块14包括：

第二获取单元，用于获取所述异构处理设备中预先存储的用于处理所述待处理数据的处理函数；

处理单元，用于使用所述处理函数对所述待处理数据进行处理，得到处理结果；

第三存储单元，用于将所述处理结果存储在所述输出内存空间中；

第三生成单元，用于生成包含所完成的处理任务的任务标识的任务结果事件；

第四存储单元，用于将所述任务结果事件存储在所述事件队列中。

在一个可选的实现方式中，所述装置还包括：

第二获取模块，用于获取预设数据处理逻辑服务包括的进程的总数量；

第三获取模块，用于获取预设数据处理逻辑服务包括的进程的任务缓冲区大小；

确定模块，用于根据所述总数量和所述任务缓冲区大小确定待生成的共享内存空间的空间大小；

生成模块，用于生成所述空间大小的共享内存空间。

通过本发明实施例的方法，利用共享内存可以将业务应用的数据与对数据计算的过程解耦，且能够通过共享内存减少与异构处理设备之间的传输时延，也即能够通过共享内存提高业务应用与异构处理设备之间速度传输速率和带宽，从而提高数据处理效率。降低业务应用的开发技术难度和以及提高业务应用的开发效率；且业务应用可以更灵活地适应不同类型、不同数量的异构处理环境。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种异构处理方法及装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种异构处理方法，其特征在于，所述方法包括：

将业务应用的待处理数据存储在已创建的共享内存空间中；

为所述待处理数据选择异构处理设备；

将所述待处理数据从所述共享内存空间复制到所述异构处理设备中；

控制所述异构处理设备对所述待处理数据处理得到处理结果，并将所述处理结果存储在所述共享内存空间中；

从所述共享内存空间中获取所述处理结果。

2.根据权利要求1所述的方法，其特征在于，所述将业务应用的待处理数据存储在已创建的共享内存空间中，包括：

生成所述待处理数据的处理任务；

将所述处理任务存储在所述共享内存空间中预先设置的任务队列中；

生成至少包含所述处理任务的任务标识的事件信息；

将所述事件信息存储在所述共享内存空间中预先设置的事件队列中。

3.根据权利要求2所述的方法，其特征在于，所述将所述待处理数据从所述共享内存空间复制到所述异构处理设备中，包括：

在所述异构处理设备中分配输入内存空间和输出内存空间；

从所述共享内存空间中获取所述待处理数据，并将所述待处理数据复制到所述以后处理设备的所述输入内存空间中。

4.根据权利要求3所述的方法，其特征在于，所述控制所述异构处理设备对所述待处理数据处理得到处理结果，包括：

获取所述异构处理设备中预先存储的用于处理所述待处理数据的处理函数；

使用所述处理函数对所述待处理数据进行处理，得到处理结果；

将所述处理结果存储在所述输出内存空间中；

生成包含所完成的处理任务的任务标识的任务结果事件；

将所述任务结果事件存储在所述事件队列中。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取预设数据处理逻辑服务包括的进程的总数量；

获取预设数据处理逻辑服务包括的进程的任务缓冲区大小；

根据所述总数量和所述任务缓冲区大小确定待生成的共享内存空间的空间大小；

生成所述空间大小的共享内存空间。

6.一种异构处理装置，其特征在于，所述装置包括：

第一存储模块，用于将业务应用的待处理数据存储在已创建的共享内存空间中；

选择模块，用于为所述待处理数据选择异构处理设备；

复制模块，用于将所述待处理数据从所述共享内存空间复制到所述异构处理设备中；

处理模块，用于控制所述异构处理设备对所述待处理数据处理得到处理结果；

第二存储模块，用于控制所述异构处理设备将所述处理结果存储在所述共享内存空间中；

第一获取模块，用于从所述共享内存空间中获取所述处理结果。

7.根据权利要求6所述的装置，其特征在于，所述第一存储模块包括：

第一生成单元，用于生成所述待处理数据的处理任务；

第一存储单元，用于将所述处理任务存储在所述共享内存空间中预先设置的任务队列中；

第二生成单元，用于生成至少包含所述处理任务的任务标识的事件信息；

第二存储单元，用于将所述事件信息存储在所述共享内存空间中预先设置的事件队列中。

8.根据权利要求7所述的装置，其特征在于，所述复制模块包括：

分配单元，用于在所述异构处理设备中分配输入内存空间和输出内存空间；

第一获取单元，用于从所述共享内存空间中获取所述待处理数据；

复制单元，用于将所述待处理数据复制到所述以后处理设备的所述输入内存空间中。

9.根据权利要求8所述的装置，其特征在于，所述处理模块包括：

第二获取单元，用于获取所述异构处理设备中预先存储的用于处理所述待处理数据的处理函数；

处理单元，用于使用所述处理函数对所述待处理数据进行处理，得到处理结果；

第三存储单元，用于将所述处理结果存储在所述输出内存空间中；

第三生成单元，用于生成包含所完成的处理任务的任务标识的任务结果事件；

第四存储单元，用于将所述任务结果事件存储在所述事件队列中。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于获取预设数据处理逻辑服务包括的进程的总数量；

第三获取模块，用于获取预设数据处理逻辑服务包括的进程的任务缓冲区大小；

确定模块，用于根据所述总数量和所述任务缓冲区大小确定待生成的共享内存空间的空间大小；

生成模块，用于生成所述空间大小的共享内存空间。