CN110347504A - 众核计算资源调度方法及装置 - Google Patents

Abstract

本发明公开了众核计算资源调度方法及装置，涉及遥感数据处理领域。该方法包括：根据第一预设算法和任务队列所需的计算资源对基本核进行逻辑核划分，将任务队列分配给逻辑核进行计算；当任一任务队列的计算完成时，通过第二预设算法从其余任务队列挑选待计算任务，建立新任务队列；根据第一预设算法和新任务队列所需的计算资源对释放的逻辑核进行解耦与聚合，得到新逻辑核，将新任务队列分配给新逻辑核进行计算。本发明通过双向推理调度，正向推理进行逻辑核基本划分，反向推理进行动态回填建立任务队列，能够提高高并发数据处理流程的调度效率，有效解决了在处理高并发数据时动态众核资源逻辑核动态调整调度问题。

Description

众核计算资源调度方法及装置

技术领域

本发明涉及遥感数据处理领域，尤其涉及动态众核计算资源调度方法及装置。

背景技术

目前，在高性能计算领域，基于动态众核架构的资源调度方法包括：众核资源多层次化自监测管理、逻辑核动态自适应重组调度等，其中自适应众核资源调度方法是近年来的研究重点。

然而，现有的自适应众核资源调度方法都是对计算前的计算资源进行调度，如引入泛环境、计算形态、众核任务模型等概念构建任务簇，或者通过任务簇的拆分与合并，动态构建弹性可伸缩的核逻辑分组。现有的调度方法在面对高并发数据时，处理效率低下。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种众核计算资源调度方法、存储介质及一种众核计算资源调度装置。

本发明解决上述技术问题的技术方案如下：

一种众核计算资源调度方法，包括：

根据获取的待计算任务构建多个任务队列；

根据第一预设算法和所述任务队列所需的计算资源对基本核进行逻辑核划分，将所述任务队列分配给所述逻辑核进行计算；

当任一任务队列的计算完成时，通过第二预设算法从其余任务队列挑选待计算任务，建立新任务队列；

根据所述第一预设算法和所述新任务队列所需的计算资源对释放的逻辑核进行解耦与聚合，得到新逻辑核，将所述新任务队列分配给新逻辑核进行计算。

本发明的有益效果是：本发明提供的众核计算资源调度方法，通过双向推理调度，正向推理进行逻辑核基本划分，反向推理进行动态回填建立任务队列，能够提高高并发数据处理流程的调度效率，有效解决了在处理高并发数据时动态众核资源逻辑核动态调整调度问题。

本发明解决上述技术问题的另一种技术方案如下：

一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述技术方案所述的众核计算资源调度方法。

本发明解决上述技术问题的另一种技术方案如下：

一种众核计算资源调度装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，实现如上述技术方案所述的众核计算资源调度方法。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明众核计算资源调度方法的实施例提供的流程示意图；

图2为本发明众核计算资源调度方法的实施例提供的调度过程示意图；

图3为本发明众核计算资源调度装置的实施例提供的结构框架图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。

本发明基于动态众核架构实现，适用于高并发数据的计算资源调度，例如，可以适用于空间遥感数据，将遥感数据处理任务划分为粒度更加精细的子任务，并以分层级方法管理遥感数据处理任务，通过系统级逻辑核调度、任务级遥感数据流程调度相结合的双向调度算法，利用动态众核的逻辑核分解与合并方法动态更新任务簇的划分，通过上层任务级调度与底层核级调度的双向调度方法，实现高并发、不同粒度遥感数据处理任务的精细化调度，最大化动态众核计算资源的利用效率，能够适应具有串行、并行相结合的混合型遥感数据处理任务调度，下面具体说明。

如图1所示，为本发明众核计算资源调度方法的实施例提供的流程示意图，该调度方法包括：

S1，根据获取的待计算任务构建多个任务队列。

需要说明的是，在获取待计算任务后，可以根据任务的优先级、工作模式、预期执行时间等因素构建任务队列，其中，工作模式指的是串行、并行以及串并混合等，预期执行时间可以由计算系统根据预设算法计算得到。

应理解，具体构建任务队列的方法，可以根据实际需求进行设置，例如，对于待计算的数据而言，其实时性要求较高，那么可以对预期执行时间赋予较高的权重，从而以预期执行时间为主，构建符合要求的任务队列。

S2，根据第一预设算法和任务队列所需的计算资源对基本核进行逻辑核划分，将任务队列分配给逻辑核进行计算。

应理解，动态众核的聚合与解耦模式有多种，由于CoreFusion是对多核处理器结构的扩展，设计思路就是根据具体的应用需求将多个简单的处理器核心融合成一个粗粒度的逻辑核，用于解决众核架构不能改变处理器核粒度和应用并行性的不匹配问题，因此，可以采用CoreFusion工作模式进行基本核的聚合与解耦。第一预设算法指的是对CoreFusion进行逻辑核划分的算法，本领域技术人员可以根据实际需求选择。

例如，假设共有2个任务队列，队列A需要2个基本核，队列B需要4个基本核，那么最为简单的算法是可以将2个基本核进行聚合，得到1个逻辑核，然后将队列A分配到该逻辑核上进行计算；再将4个基本核进行聚合，得到1个逻辑核，然后将队列B分配到该逻辑核进行计算。

S3，当任一任务队列的计算完成时，通过第二预设算法从其余任务队列挑选待计算任务，建立新任务队列。

应理解，第二预设算法是从队列中挑选计算任务填入空闲CPU资源的算法，本领域技术人员可以根据实际需求选择。例如，可以通过与步骤S1中相同的方法构建任务队列。

S4，根据第一预设算法和新任务队列所需的计算资源对释放的逻辑核进行解耦与聚合，得到新逻辑核，将新任务队列分配给新逻辑核进行计算。

应理解，可以通过与步骤S2相同的方法实现对基本核进行逻辑核的解耦与聚合。

具体地，可以调用Split实现解耦，然后根据任务队列最前方的计算任务所需的计算资源，通过Fuse操作，实现基本核的耦合。

如图2所示，给出了一种示例性的调度过程示意图，共有12个基本核，前10个基本核通过Fuse操作每2个聚合成1个逻辑核，当第2、第3个逻辑核计算完成后，通过Split操作解耦合，然后从另外2个逻辑核的任务队列中挑选待计算任务，构成新的任务队列，假设该任务队列需要4个基本核，那么通过Fuse操作将释放的4个基本核进行聚合，得到1个逻辑核，然后将新的任务队列提交到该逻辑核上，进行计算。

本实施例提供的众核计算资源调度方法，通过双向推理调度，正向推理进行逻辑核基本划分，反向推理进行动态回填建立任务队列，能够提高高并发数据处理流程的调度效率，有效解决了在处理高并发数据时动态众核资源逻辑核动态调整调度问题。

可选地，在一些实施例中，根据获取的待计算任务构建多个任务队列，具体可以包括：

根据获取的待计算任务的优先级、工作模式和预期执行时间构建多个任务队列。

例如，工作模式可以包括：s(Sequence，串行)、p(Parallel，并行)以及m(Mixed，混合)三种，s或者p模式的数据处理任务在初始计算资源分配后通常不需要反馈解耦与聚合操作，而m模式的动态要求较高。

具体地，可以以Q＝(priority，mode，t(Ji)，H(J_i))对初始任务集中的所有计算任务进行统计建模，priority表示计算任务J_i的优先级，mode为数据处理任务的工作模式，t(J_i)为计算任务J_i的预期执行时间。

H(J_i)表示当前任务J_i在任务树中的高度，应理解，该参数用于步骤S3的动态回填过程，在步骤S1中，构建任务队列时，则可以不使用该参数。

通过待计算任务的优先级、工作模式和预期执行时间构建多个任务队列，使任务队列的构建不依赖于优先级，考虑了计算形态、众核任务模型等因素，对于计算任务关键度优先原则未知或所有计算任务优先原则一致的情况下，也能够有效利用自适应动态众核资源调度方法高效分配计算资源。

可选地，在一些实施例中，可以根据以下公式计算待计算任务的预期执行时间：

t(J_i)＝t×d(J_i)/s(n×d(J_i))

其中，J_i为第i个待计算任务，t(J_i)为任务J_i的预期执行时间，t为当前并行计算环境下单位数据量串行处理的工作时间，d(J_i)为任务J_i处理时所需的实际数据量，s为并行计算环境下的加速比，n为计算节点的数量，i＝1，2，…，k，k为待计算任务的数量。

通过上述公式计算待计算任务的预期执行时间，能够得到更为准确的预期执行时间，从而更加合理的建立任务队列，提高计算资源的利用效率。

可选地，在一些实施例中，通过第二预设算法从其余任务队列挑选待计算任务，建立新任务队列，具体可以包括：

通过第二预设算法从其余任务队列挑选待计算任务；

将被挑选的待计算任务划分为至少两个算法模块；

根据每个算法模块的优先级、工作模式、预期执行时间和在任务队列中的高度建立新任务队列。

需要说明的是，假设共有3个任务队列，假设队列A已计算完成，此时，可以从队列B和队列C的队列末端提取待计算任务，然后将挑选的待计算任务划分为粒度更小的算法模块。

例如，假设新的任务队列分别由待计算任务b₁₇、c₁₅、b₂₀、b₂₂构成，其中，b表示该待计算任务来源于队列B，c表示该待计算任务来源于队列C，下角标表示待计算任务编号，那么以待计算任务b₁₇为例，可以划分为10个算法模块，由于这10个算法模块源于同一个待计算任务，因此，具有相同的优先级，在构建任务队列时，可以不用考虑优先级。其他待计算任务同理，不再赘述。

以遥感数据为例，针对遥感数据处理任务的串、并行混合特征，为了便于动态控制逻辑核资源聚合与解耦，可以对任务J_i在更小的粒度上划分，划分为多个算法模块。如果任务中所有算法模块都是串行，或者完全并行的，则可以用(Par-Seq)*来表示；如果一个任务的前一部分是完全并行模块，而后一部分变为串行模块，则可以用Par-Seq来表示。

如果在n个Par-Seq类型任务中，包含e个并行模块和1个串行模块，则这n个任务的整体调度与执行时间复杂度为(1+e)n，最优情况下为1+en，并且可以证明：

EQUIοEQUI(S)≤Makespan(J_i)1≤i≤n (1)

Makespan(J_i)＝Max(t(J_i))1≤i≤n (2)

Makespan(J_i)是任务J_i执行的完整时间，包括该任务所需的数据传输、数据读写、数据计算等过程所消耗的时间总和。

通过将待计算任务划分为粒度更小的算法模块，实现了不同粒度遥感数据处理任务的精细化调度，能够最大化动态众核计算资源的利用效率。

可选地，在一些实施例中，可以根据以下公式计算每个算法模块的预期执行时间：

t_e(M_j)＝∑d(J_i)×(C+t_tran)

其中，J_i为第i个待计算任务，M_j为第i个待计算任务的第j个算法模块，d(J_i)为任务J_i处理时所需的实际数据量，C为串行处理模式下单位数据的处理时间，t_tran为单位数据从存储系统到计算节点的传输时间。

可选地，在一些实施例中，可以根据以下公式计算每个算法模块在任务队列中的高度：

其中，J_i为第i个待计算任务，H(J_i)为任务J_i的算法模块在任务队列中的高度，t(J_i)为任务J_i的预期执行时间，pre(J_i)为任务J_i的前置算法模块。

可选地，在一些实施例中，第一预设算法可以为EQUIοEQUI算法，第二预设算法可以为Backfill动态回填算法。

需要说明的是，EQUIοEQUI算法由Julien Rovert提出，该算法将处理器资源的调度管理分为两层，分别使用EQUIοEQUI算法实现资源的动态分组和任务调度，在动态分组时首先将众核计算资源的基本核按照个数基本一致的原则划分为若干个逻辑核。

通过采用EQUIοEQUI算法，能够使任务集合的整体执行时间最短。

Backfill算法是在FCFS(First Come First Served，先到先服务)算法的基础上，为了提高计算资源的CPU利用率而设计的，可从任务队列后端挑选计算任务填入空闲的CPU资源。但当空闲CPU不足以满足队列中最小的计算任务时，仍然会造成CPU资源闲置，本发明利用Backfill算法的动态回填特性，结合EQUIοEQUI算法的动态众核的聚合与解耦，解决了基于动态众核资源的混合型工作流调度过程中，系统级逻辑核调度、任务级遥感数据流程调度的两级调度算法不能有效匹配的问题，从而实现了动态众核资源逻辑核的高效动态调整。

可选地，在一些实施例中，可以根据以下公式计算任务队列所需的计算资源：

其中，表示通过EQUIοEQUI算法为第i个待计算任务分配个基本核，p为基本核数量，N(t)为t时刻未完成的待计算任务的集合S_i，N_i(t)为t时刻集合S_i中每一个未完成的待计算任务，i＝1，2，…，h，h为任务队列中待计算任务的数量。

应理解，当时，即当众核系统仅有1个基本核时，无操作；当＞1时，即当众核系统的基本核数量大于1个时，执行Fuse操作，通过未完成任务集合与任务集合中未完成任务之间的关系计算出所需的基本核数量，Fuse操作所需的参数为processor_id，fuse_num。

可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。

在本发明的其他实施例中，还提供一种存储介质，该存储介质中存储有指令，当计算机读取该指令时，使计算机执行如上述任意实施例所述的众核计算资源调度方法。

如图3所示，为本发明众核计算资源调度装置的实施例提供的结构框架图，该调度装置，包括：

存储器1，用于存储计算机程序；

处理器2，用于执行该计算机程序，实现如上述任意实施例所述的众核计算资源调度方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。

上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种众核计算资源调度方法，其特征在于，包括：

根据获取的待计算任务构建多个任务队列；

根据第一预设算法和所述任务队列所需的计算资源对基本核进行逻辑核划分，将所述任务队列分配给所述逻辑核进行计算；

当任一任务队列的计算完成时，通过第二预设算法从其余任务队列挑选待计算任务，建立新任务队列；

根据所述第一预设算法和所述新任务队列所需的计算资源对释放的众核逻辑核进行解耦与聚合，得到新逻辑核，将所述新任务队列分配给新逻辑核进行计算。

2.根据权利要求1所述的众核计算资源调度方法，其特征在于，根据获取的待计算任务构建多个任务队列，具体包括：

根据获取的待计算任务的优先级、工作模式和预期执行时间构建多个任务队列。

3.根据权利要求2所述的众核计算资源调度方法，其特征在于，根据以下公式计算所述待计算任务的预期执行时间：

t(J_i)＝t×d(J_i)/s(n×d(J_i))

其中，J_i为第i个待计算任务，t(J_i)为任务J_i的预期执行时间，t为当前并行计算环境下单位数据量串行处理的工作时间，d(J_i)为任务J_i处理时所需的实际数据量，s(n)为并行计算环境下的加速比函数，i＝1，2，…，k，k为待计算任务的数量。

4.根据权利要求1所述的众核计算资源调度方法，其特征在于，通过第二预设算法从其余任务队列挑选待计算任务，建立新任务队列，具体包括：

通过第二预设算法从其余任务队列挑选待计算任务；

将被挑选的待计算任务划分为至少两个算法模块；

根据每个所述算法模块的优先级、工作模式、预期执行时间和在任务队列中的高度建立新任务队列。

5.根据权利要求4所述的众核计算资源调度方法，其特征在于，根据以下公式计算每个所述算法模块的预期执行时间：

t_e(M_j)＝∑d(J_i)×(C+t_tran)

其中，J_i为第i个待计算任务，M_j为第i个待计算任务的第j个算法模块，d(J_i)为任务J_i处理时所需的实际数据量，C为串行处理模式下单位数据的处理时间，t_tran为单位数据从存储系统到计算节点的传输时间。

6.根据权利要求4或5所述的众核计算资源调度方法，其特征在于，根据以下公式计算每个所述算法模块在任务队列中的高度：

其中，J_i为第i个待计算任务，H(J_i)为任务J_i的算法模块在任务队列中的高度，t(J_i)为任务J_i的预期执行时间，pre(J_i)为任务J_i的前置算法模块。

7.根据权利要求1所述的众核计算资源调度方法，其特征在于，所述第一预设算法为EQUIοEQUI算法，所述第二预设算法为Backfill动态回填算法。

8.根据权利要求7所述的众核计算资源调度方法，其特征在于，根据以下公式计算所述任务队列所需的计算资源：

其中，表示通过EQUIοEQUI算法为第i个待计算任务分配个基本核，p为基本核数量，N(t)为t时刻未完成的待计算任务的集合S_i，N_i(t)为t时刻所述集合S_i中每一个未完成的待计算任务，i＝1，2，…，h，h为所述任务队列中待计算任务的数量。

9.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至8中任一项所述的众核计算资源调度方法。

10.一种众核计算资源调度装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，实现如权利要求1至8中任一项所述的众核计算资源调度方法。