CN113467905A

CN113467905A - 一种任务处理方法及系统

Info

Publication number: CN113467905A
Application number: CN202110650065.0A
Authority: CN
Inventors: 张闯; 任智新; 刘科; 谢志勇
Original assignee: Inspur Beijing Electronic Information Industry Co Ltd
Current assignee: Inspur Beijing Electronic Information Industry Co Ltd
Priority date: 2021-06-10
Filing date: 2021-06-10
Publication date: 2021-10-01

Abstract

本申请公开了一种任务处理方法及系统。本申请使服务器接收数据库任务，解析数据库任务得到包括处理数据库任务需要调用的目标IP池的标识信息，以及各个目标IP池之间的调用顺序的任务链表，并将任务链表发送至加速处理平台，然后加速处理平台根据标识信息和调用顺序调用各个目标IP池处理数据库任务，从而获得任务处理结果。其中，加速处理平台设有不同计算功能的IP池，能够根据实际需要处理的数据库任务重组各个IP池，使得加速处理平台具有能够灵活重组的功能和结构，打破了异构加速平台的局限性，提升了加速处理平台的通用性。相应地，本申请提供的一种任务处理系统，也同样具有上述技术效果。

Description

一种任务处理方法及系统

技术领域

本申请涉及计算机技术领域，特别涉及一种任务处理方法及系统。

背景技术

进入智能时代，数据成为新的生产资料，智能成为新的生产力，异构、智能和融合的数据库将成为金融、政府、电信等各行业数据基础设施的关键支柱。数据库作为软件工业中的重工业，和操作系统、中间件并列为三大基础软件，是大数据、人工智能、云计算等关键工作负载，是整个系统性能高低的关键，同时海量数据处理性能也是影响用户体验的重要因素。

随着数据容量和用户访问量的急剧上升，亟需提升数据库的处理速度。目前，一般使用具有固定功能和固定结构的异构加速平台对数据库任务进行加速处理。但由于异构加速平台中的加速功能单元固定不变，因此一个异构加速平台只能针对某一种特定数据库的特定应用或任务进行处理，不利于推广以及功能移植，具有一定的局限性。

因此，如何打破异构加速平台的局限性，是本领域技术人员需要解决的问题。

发明内容

有鉴于此，本申请的目的在于提供一种任务处理方法及系统，以打破异构加速平台的局限性。其具体方案如下：

第一方面，本申请提供了一种任务处理方法，包括：

服务器接收数据库任务，将所述数据库任务的SQL语句解析为各个计算步骤，基于各个计算步骤的计算信息和不同计算步骤之间的执行顺序确定任务链表，并将所述任务链表发送至加速处理平台；

其中，任一个计算步骤的计算信息包括：实现当前计算步骤的目标IP池的标识信息、参数信息、参数个数、参数来源、参数类型、参数位宽以及需要在所述目标IP池中调用的硬件单元个数；所述任务链表包括：处理所述数据库任务需要调用的各个目标IP池的标识信息，以及各个目标IP池之间的调用顺序；所述加速处理平台设有不同计算功能的IP池；

所述加速处理平台根据所述标识信息和所述调用顺序调用各个目标IP池处理所述数据库任务，获得任务处理结果。

优选地，所述服务器基于各个计算步骤的计算信息和不同计算步骤之间的执行顺序确定任务链表，包括：

所述服务器以串行方式确定各个计算步骤的计算信息，按照不同计算步骤之间的执行顺序以及各个计算信息包括的标识信息，确定各个目标IP池之间的调用顺序，得到所述任务链表。

优选地，所述加速处理平台中的每个IP池包括完全相同的多个硬件单元，所述加速处理平台根据所述标识信息和所述调用顺序调用各个目标IP池处理所述数据库任务，包括：

所述加速处理平台在调用任一个目标IP池处理所述数据库任务之前，判断当前该目标IP池中的空闲硬件单元的数量是否大于所述数据库任务所需的目标数量；若是，则调用该目标IP池处理所述数据库任务；若否，则等待预设时长后，执行所述判断当前该目标IP池中的空闲硬件单元的数量是否大于所述数据库任务所需的目标数量的步骤。

优选地，所述加速处理平台调用该目标IP池处理所述数据库任务，包括：

所述加速处理平台在该目标IP池中选择并调用所述目标数量个空闲硬件单元处理所述数据库任务。

优选地，所述服务器将所述数据库任务的SQL语句解析为各个计算步骤，包括：

所述服务器解析所述SQL语句的词法和语法，以得到各个计算步骤，并将各个计算步骤以二叉树+链表的方式进行存储。

优选地，还包括：

所述加速处理平台以中断方式通知所述服务器读取所述任务处理结果，并释放各个目标IP池中处理所述数据库任务所调用的硬件单元。

第二方面，本申请提供了一种任务处理系统，包括：服务器和加速处理平台，所述加速处理平台设有不同计算功能的IP池，其中：

所述服务器，用于接收数据库任务，将所述数据库任务的SQL语句解析为各个计算步骤，基于各个计算步骤的计算信息和不同计算步骤之间的执行顺序确定任务链表，并将所述任务链表发送至加速处理平台；

所述加速处理平台，用于根据所述标识信息和所述调用顺序调用各个目标IP池处理所述数据库任务，获得任务处理结果。

优选地，所述加速处理平台中的各个IP池基于路由模块以预设拓扑结构进行连接。

优选地，所述预设拓扑结构为2D-Mesh拓扑结构。

优选地，所述加速处理平台中的各个IP池基于片上网络进行通信。

优选地，所述加速处理平台为PCIe板卡。

通过以上方案可知，本申请提供了一种任务处理方法，包括：服务器接收数据库任务，将所述数据库任务的SQL语句解析为各个计算步骤，基于各个计算步骤的计算信息和不同计算步骤之间的执行顺序确定任务链表，并将所述任务链表发送至加速处理平台；其中，任一个计算步骤的计算信息包括：实现当前计算步骤的目标IP池的标识信息、参数信息、参数个数、参数来源、参数类型、参数位宽以及需要在所述目标IP池中调用的硬件单元个数；所述任务链表包括：处理所述数据库任务需要调用的各个目标IP池的标识信息，以及各个目标IP池之间的调用顺序；所述加速处理平台设有不同计算功能的IP池；所述加速处理平台根据所述标识信息和所述调用顺序调用各个目标IP池处理所述数据库任务，获得任务处理结果。

可见，本申请使服务器接收数据库任务，解析数据库任务的SQL语句得到数据库任务中的各个计算步骤，并基于各个计算步骤的计算信息和不同计算步骤之间的执行顺序确定包括处理数据库任务需要调用的目标IP池的标识信息，以及各个目标IP池之间的调用顺序的任务链表，将任务链表发送至加速处理平台，然后加速处理平台根据标识信息和调用顺序调用各个目标IP池处理数据库任务，从而获得任务处理结果。其中，由于加速处理平台设有不同计算功能的IP池，因此针对任意一个需要处理的数据库任务，都可以在加速处理平台中找到能够处理该任务的相应IP池。也就是：根据实际需要处理的数据库任务重组各个IP池，使得加速处理平台具有能够灵活重组的功能和结构，打破了异构加速平台的局限性，提升了加速处理平台的通用性，使其具有较好的扩展性和灵活性。

相应地，本申请提供的一种任务处理系统，也同样具有上述技术效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请公开的一种任务处理方法流程图；

图2为本申请公开的一种任务处理系统示意图；

图3为本申请公开的一种任务链表示意图；

图4为本申请公开的一种IP池示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，一般使用具有固定功能和固定结构的异构加速平台对数据库任务进行加速处理。但由于异构加速平台中的加速功能单元固定不变，因此一个异构加速平台只能针对某一种特定数据库的特定应用或任务进行处理，不利于推广以及功能移植，具有一定的局限性。为此，本申请提供了一种任务处理方案，能够打破异构加速平台的局限性。

参见图1所示，本申请实施例公开了一种任务处理方法，包括：

S101、服务器接收数据库任务，将数据库任务的SQL语句解析为各个计算步骤，基于各个计算步骤的计算信息和不同计算步骤之间的执行顺序确定包括标识信息和调用顺序的任务链表，并将任务链表发送至加速处理平台。

其中，任一个计算步骤的计算信息包括：实现当前计算步骤的目标IP池的标识信息、参数信息、参数个数、参数来源、参数类型、参数位宽以及需要在目标IP池中调用的硬件单元个数。

其中，任务链表包括：处理数据库任务需要调用的各个目标IP池的标识信息，以及各个目标IP池之间的调用顺序。可以认为各个目标IP池用于处理整个数据库任务中的各个子任务(即某一计算步骤)，且按照调用顺序处理各个子任务。若任一个子任务处理停滞，则等待后重试。若数据库任务为加密任务，那么子任务可以是：加密操作包括的加法运算、与逻辑运算等。相应的，加速处理平台设有加法IP池(其中包括多个完全相同的加法硬件单元，如加法器)、与逻辑运算IP池(其中包括多个完全相同的与运算硬件单元，如与运算模块)等。

在一种具体实施方式中，所述服务器将所述数据库任务的SQL语句解析为各个计算步骤，包括：所述服务器解析所述SQL语句的词法和语法，以得到各个计算步骤，并将各个计算步骤以二叉树+链表的方式进行存储。

具体的，数据库任务可以包括在用户输入的数据库操作请求中，服务器接收数据库任务后，数据库软件进程对数据库任务的SQL语句进行解析，具体包括词法分析、语法分析等，以将SQL语句转为最小运算单元(即能够分解的最小计算步骤)，并以二叉树+链表的方式进行存储。服务器以串行的方式逐个生成各个最小运算单元的操作码(即计算信息)，以实现表达式运算。操作码中具体包括函数的id号(对应任一IP池中的硬件单元所执行的函数，也就是任一IP池的标识信息)、参数信息、参数个数、参数来源、参数类型、参数位宽以及需要调用的IP池的个数。将操作码按照调用顺序以固定的关系生成数据码流，作为一个任务链表发给加速处理平台。可见，服务器能够将一个数据库任务解析为各个计算步骤，按照调用加速处理平台中与各个计算步骤对应的IP池完成该数据库任务，实现了IP资源的灵活调用与释放。

加速处理平台设有不同计算功能的IP池，各个IP池的计算功能可以为：扫描、过滤、逻辑运算等。加速处理平台为异构加速平台，具体可以为：PCIe(Peripheral ComponentInterconnect express)板卡。PCIe板卡可以包括：FPGA(Field Programmable GateArray，现场可编程逻辑门阵列)等。

其中，加速处理平台中的各个IP池可以基于路由模块以预设拓扑结构(如2D-Mesh、星状拓扑结构等)进行连接。一个IP池可以设有多个路由模块。加速处理平台中的不同IP池可以基于片上网络(network-on-chip)进行通信。

在一种具体实施方式中，服务器基于各个计算步骤的计算信息和不同计算步骤之间的执行顺序确定任务链表，包括：服务器以串行方式确定各个计算步骤的计算信息，按照不同计算步骤之间的执行顺序以及各个计算信息包括的标识信息，确定各个目标IP池之间的调用顺序，得到任务链表。

S102、加速处理平台根据标识信息和调用顺序调用各个目标IP池处理数据库任务，获得任务处理结果。

在一种具体实施方式中，加速处理平台中的每个IP池包括完全相同的多个硬件单元，加速处理平台根据标识信息和调用顺序调用各个目标IP池处理数据库任务，包括：加速处理平台在调用任一个目标IP池处理数据库任务之前，判断当前该目标IP池中的空闲硬件单元的数量是否大于数据库任务所需的目标数量；若是，则调用该目标IP池处理数据库任务；若否，则等待预设时长后，执行判断当前该目标IP池中的空闲硬件单元的数量是否大于数据库任务所需的目标数量的步骤。其中，目标数量可基于计算步骤的计算信息确定。

在一种具体实施方式中，加速处理平台调用该目标IP池处理数据库任务，包括：加速处理平台在该目标IP池中选择并调用目标数量个空闲硬件单元处理数据库任务。

其中，每个IP池包括完全相同的多个硬件单元。一个IP池的计算功能是什么，其所包括的各个硬件单元的计算功能就是什么。

需要说明的是，任务链表还包括：各个目标IP池在处理数据库任务时需要使用的硬件单元的个数，因此在调用任一个目标IP池处理数据库任务之前，可以先判断当前目标IP池中的空闲硬件单元是否能够支持当前数据库任务中的相关计算任务。若能够支持，则直接调用计算；否则，等待一会儿后重试。

在一种具体实施方式中，还包括：加速处理平台以中断方式通知服务器读取任务处理结果，并释放各个目标IP池中处理数据库任务所调用的硬件单元，以便加速处理平台处理其他新的数据库任务。

其中，如果各个IP池中的空闲硬件单元足够多，那么加速处理平台可以并行处理多个数据库任务。

可见，在本实施例中，服务器接收数据库任务，解析数据库任务得到包括处理数据库任务需要调用的目标IP池的标识信息，以及各个目标IP池之间的调用顺序的任务链表，并将任务链表发送至加速处理平台，然后加速处理平台根据标识信息和调用顺序调用各个目标IP池处理数据库任务，从而获得任务处理结果。其中，由于加速处理平台设有不同计算功能的IP池，因此针对任意一个需要处理的数据库任务，都可以在加速处理平台中找到能够处理该任务的相应IP池。也就是：根据实际需要处理的数据库任务重组各个IP池，使得加速处理平台具有能够灵活重组的功能和结构，打破了异构加速平台的局限性，提升了加速处理平台的通用性，使其具有较好的扩展性和灵活性。

下面对本申请实施例提供的一种任务处理系统进行介绍，下文描述的一种任务处理系统与上文描述的一种任务处理方法可以相互参照。

本申请实施例公开了一种任务处理系统，包括：服务器和加速处理平台，加速处理平台设有不同计算功能的IP池，其中：

服务器，用于接收数据库任务，将数据库任务的SQL语句解析为各个计算步骤，基于各个计算步骤的计算信息和不同计算步骤之间的执行顺序确定任务链表，并将任务链表发送至加速处理平台；

其中，任一个计算步骤的计算信息包括：实现当前计算步骤的目标IP池的标识信息、参数信息、参数个数、参数来源、参数类型、参数位宽以及需要在目标IP池中调用的硬件单元个数；

其中，任务链表包括：处理数据库任务需要调用的目标IP池的标识信息，以及各个目标IP池之间的调用顺序；

加速处理平台，用于根据标识信息和调用顺序调用各个目标IP池处理数据库任务，获得任务处理结果。

在一种具体实施方式中，加速处理平台中的各个IP池基于路由模块以预设拓扑结构进行连接。

在一种具体实施方式中，预设拓扑结构为2D-Mesh拓扑结构。

在一种具体实施方式中，加速处理平台中的各个IP池基于片上网络进行通信。

在一种具体实施方式中，加速处理平台为PCIe板卡。

在一种具体实施方式中，所述服务器具体用于：

所述服务器基于各个计算步骤的计算信息和不同计算步骤之间的执行顺序确定任务链表，包括：

在一种具体实施方式中，所述加速处理平台中的每个IP池包括完全相同的多个硬件单元，所述加速处理平台具体用于：

在调用任一个目标IP池处理所述数据库任务之前，判断当前该目标IP池中的空闲硬件单元的数量是否大于所述数据库任务所需的目标数量；若是，则调用该目标IP池处理所述数据库任务；若否，则等待预设时长后，执行所述判断当前该目标IP池中的空闲硬件单元的数量是否大于所述数据库任务所需的目标数量的步骤。

在一种具体实施方式中，所述加速处理平台具体用于：

在该目标IP池中选择并调用所述目标数量个空闲硬件单元处理所述数据库任务。

在一种具体实施方式中，所述加速处理平台还用于：

以中断方式通知所述服务器读取所述任务处理结果，并释放各个目标IP池中处理所述数据库任务所调用的硬件单元。

其中，关于本实施例中各个设备、模块、单元更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

可见，本实施例提供了一种任务处理系统，该系统能够根据实际需要处理的数据库任务重组各个IP池，使得加速处理平台具有能够灵活重组的功能和结构，打破了异构加速平台的局限性，提升了加速处理平台的通用性，使其具有较好的扩展性和灵活性。

参见图2所示，本申请实施例公开了一种数据库任务处理系统，包括服务器和异构加速平台，异构加速平台中设有多个IP(Intellectual Property)池(具体可参照图4)。

在本实施例中，运行有数据库系统的服务器与异构加速平台通过高速接口互联，该接口可根据异构加速平台的存在形态进行相应修改。若异构加速平台为PCIe板卡设备则，那么二者之间通过PCIe接口互联。

在服务器端，当用户发起数据库操作任务时，服务器中的CPU对当前任务进行解析，并通知异构加速平台启动任务。其中，服务器将任务所需的源数据(存储在硬盘中)以及任务执行逻辑以二者之间协商的协议发给异构加速平台，异构加速平台接收到通知后，基于源数据以及任务执行逻辑调用IP池中的相应硬件单元完成任务。计算完成后，将结果放入指定的地址，并以中断方式或查询方式通知服务器读取计算结果。一次计算任务完成后，释放所使用的相应硬件单元，等待下一次计算任务。

其中，服务器具体用于：对应用程序的任务进行解析，创建任务链表。异构加速平台具体用于，基于任务对IP池进行逻辑重构。

本实施例为了满足更多的应用场景以及多种类型的数据库，在异构加速平台内部并没有设定固定结构和固定计算功能，而是将最小IP硬件单元放入IP池中，组成多个计算功能的IP池，以供后续执行任务时进行选择。

服务端创建的任务链表用于标识此次任务需要调用的IP池、各IP池中硬件单元的调用数量以及各IP池的调用顺序。例如：对于TPC-H测试集中Q6的运算，任务链表可以参照图3。基于图3，各IP池的调用顺序以及各IP池中硬件单元的调用数量可参照图4。

在图4中，每个IP池作为一个通信节点，图4示意性列举了9个IP池，有常见的过滤、扫描、计算等资源，具体设计时可以更多或更少。每个IP池中的硬件单元(IP功能核)的个数可以相等，也可以不等。每个IP池还设有路由器模块，用于实现路由功能，具体根据任务链表中指定的任务，将所在节点计算完成的数据，传递到下一个节点，直到完成所有节点的遍历，将最终结果输出。

以图3所示的任务链表为例，当服务器发起数据库操作任务，异构加速平台接收到任务后，首先根据任务链表的内容，将任务送入IP池1，启动计算任务；IP池1计算完成后，需要将计算结果送入IP池2，接着到IP池3—>IP池6->IP池9，最后输出计算结果。调用顺序如图4中箭头路径所示。图4中每个IP池内灰色的框代表本次计算使用的硬件单元，其他硬件单元则处于空闲状态。若此时有其他的计算任务，那么只要资源充足，即可多个任务并行进行。

其中，任务链表可以以寄存器的方式写入异构加速平台中，与其他配置信息(如启动计算任务的消息等)一同发给异构加速平台，以便异构加速平台根据任务链表的内容，对IP池进行调度。

参照图4所示，异构加速平台中没有形成一种固定的计算功能单元，而是以最小功能单元组成IP池。每种最小功能单元的数量以及连接方式不固定，根据实际应用情况进行组合。为了完成完整的功能，IP池之间通过片上网络(NOC)进行通信。IP池的拓扑结构可以是图4所示的3×3的2D-Mesh拓扑结构，也可以是其他拓扑结构。

可见，本实施例基于IP池设计得到异构加速平台作为加速处理器，该加速处理器针对数据库的加速需求，将消耗服务器CPU的计算密集型任务卸载到硬件中实现，且不针对特定的数据库或者固定应用设计硬件功能，而是能重组计算逻辑，满足大多数数据库的计算任务，具有非常大的灵活性和易扩展性。加速处理器内的IP池的种类及数量，IP池中硬件单元的数量，都可以根据实际需求、产品周期、成本等因素进行设计，具有较高的灵活性。

本申请涉及的“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法或设备固有的其它步骤或单元。

需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的可读存储介质中。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种任务处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述服务器基于各个计算步骤的计算信息和不同计算步骤之间的执行顺序确定任务链表，包括：

3.根据权利要求1所述的方法，其特征在于，所述加速处理平台中的每个IP池包括完全相同的多个硬件单元，所述加速处理平台根据所述标识信息和所述调用顺序调用各个目标IP池处理所述数据库任务，包括：

4.根据权利要求3所述的方法，其特征在于，所述加速处理平台调用该目标IP池处理所述数据库任务，包括：

5.根据权利要求1所述的方法，其特征在于，所述服务器将所述数据库任务的SQL语句解析为各个计算步骤，包括：

6.根据权利要求1-5任一项所述的方法，其特征在于，还包括：

7.一种任务处理系统，其特征在于，包括：服务器和加速处理平台，所述加速处理平台设有不同计算功能的IP池，其中：

8.根据权利要求7所述的系统，其特征在于，所述加速处理平台中的各个IP池基于路由模块以预设拓扑结构进行连接。

9.根据权利要求8所述的系统，其特征在于，所述预设拓扑结构为2D-Mesh拓扑结构。

10.根据权利要求7所述的系统，其特征在于，所述加速处理平台中的各个IP池基于片上网络进行通信。