CN113672356A - 计算资源调度方法和装置、存储介质和电子设备 - Google Patents

计算资源调度方法和装置、存储介质和电子设备 Download PDF

Info

Publication number
CN113672356A
CN113672356A CN202010403503.9A CN202010403503A CN113672356A CN 113672356 A CN113672356 A CN 113672356A CN 202010403503 A CN202010403503 A CN 202010403503A CN 113672356 A CN113672356 A CN 113672356A
Authority
CN
China
Prior art keywords
computing
node
data set
data
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010403503.9A
Other languages
English (en)
Inventor
金圣哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202010403503.9A priority Critical patent/CN113672356A/zh
Publication of CN113672356A publication Critical patent/CN113672356A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Abstract

本公开涉及一种计算资源调度方法和装置、存储介质和电子设备，所述方法包括：确定待计算的至少一个数据集；确定至少一个计算节点的剩余计算容量；针对每个所述数据集，根据所述数据集的数据量，将所述剩余计算容量与所述数据量匹配的所述计算节点作为与所述数据集匹配的计算节点；将每个所述数据集分配至与所述数据集匹配的计算节点，以使分配到数据集的所述计算节点对所述数据集进行计算。本公开可以为计算网络中的各个计算节点分配适合该计算节点的计算工作，从总体上可以提高计算网络的计算效率。

Description

计算资源调度方法和装置、存储介质和电子设备
技术领域
本公开涉及计算机技术领域，具体地，涉及一种计算资源调度方法和装置、存储介质和电子设备。
背景技术
随着计算机技术的发展和普及，生活中使用计算机进行计算和规划的场景越来越多，巨大的数据量为计算机计算带来了挑战，若使用少量的节点计算大量的数据，则单个节点的计算负荷较重，导致节点的计算能力、计算速度下降；若使用大量的节点计算少量的数据，则会造成计算资源的浪费；即使计算节点的数量与数据的总量相适应，由于在一些场景下的数据包是不可分割的，数据包内容有大有小，随机的数据分配可能使一些节点负荷过重，而另一些节点计算资源闲置，造成了计算节点的计算效率低下的问题。
应该将哪些数据分别分配给哪些计算节点进行计算，才可以使每个节点既不过负载计算，又不会过于空闲，如何使各个计算节点的计算效率最高化，一直是本领域的技术难题。
发明内容
本公开的目的是提供一种计算资源调度方法和装置、存储介质和电子设备，已解决上述的技术问题。
为了实现上述目的，本公开的第一方面，提供一种计算资源调度方法，包括：确定待计算的至少一个数据集；确定至少一个计算节点的剩余计算容量；针对每个所述数据集，根据所述数据集的数据量，将所述剩余计算容量与所述数据量匹配的所述计算节点作为与所述数据集匹配的计算节点；将每个所述数据集分配至与所述数据集匹配的计算节点，以使分配到数据集的所述计算节点对所述数据集进行计算。
可选地，所述针对每个所述数据集，根据所述数据集的数据量，将所述剩余计算容量与所述数据量匹配的所述计算节点作为与所述数据集匹配的计算节点，包括：将所述数据集按数据量大小进行排序，得到第一序列；将所述计算节点按所述剩余计算容量大小进行排序，得到第二序列，其中，所述第二序列与所述第一序列的大小排序方式相同；将所述第一序列中的数据集与所述第二序列中对应序列位置的计算节点匹配。
可选地，所述方法还包括：在每个所述计算节点均匹配有数据集后，重新确定所述计算节点的剩余计算容量；将所述计算节点按重新确定的所述剩余计算容量大小进行排序，得到第三序列，所述第三序列与所述第一序列的大小排序方式相同；将所述第一序列中尚未匹配计算节点的数据集，与所述第三序列中对应序列位置的计算节点匹配。
可选地，所述方法还包括：在与所述数据集匹配的所述计算节点的剩余计算容量小于所述数据集的所述数据量的情况下，跳过所述计算节点的序列位置，为所述数据集匹配下一序列位置的计算节点，并将剩余计算容量小于所述数据量的所述计算节点加入待扩容节点列表。
可选地，在所有序列位置的所述计算节点均加入待扩容节点列表时，对所述待扩容节点列表中的计算节点进行扩容；将扩容后的计算节点按剩余计算容量大小进行排序，得到第四序列，所述第四序列与所述第一序列的大小排序方式相同；将所述第一序列中尚未匹配计算节点的数据集，与所述第四序列中对应序列位置的计算节点匹配。
可选地，在所述确定至少一个计算节点的剩余计算容量之前，所述方法还包括：获取上一次将所有数据集分配至匹配的计算节点后，各个计算节点的计算速度；所述计算节点的所述剩余计算容量与所述计算速度成正相关关系。
可选地，所述在确定待计算的至少一个数据集之前，所述方法还包括：获取上一次将所有数据集分配至匹配的计算节点后，各个计算节点的计算速度和/或计算时间；将满足预设计算效率条件的计算节点确定为故障节点，并在本次分配中禁用所述故障节点；所述计算效率条件包括：所述计算速度小于第一速度阈值，和/或所述计算时间大于第一时间阈值；所述确定至少一个计算节点的剩余计算容量，包括：确定非故障节点的至少一个计算节点的剩余计算容量。
可选地，所述方法还包括：在数据集分配后，获取各个所述计算节点的计算速度和/或计算时间；根据各个所述计算节点的所述计算速度和/或所述计算时间，计算平均计算速度和/或者平均计算时间；在满足预设扩容条件下，对各个所述计算节点进行扩容；所述预设扩容条件包括以下任意一种情况或几种情况的组合：所述平均计算速度小于第二速度阈值；所述平均计算时间大于第二时间阈值；当前时刻处于业务洪峰时期；当前时刻处于压力测试时期。
本公开的第二方面，提供一种计算资源调度装置，所述装置包括：第一确定模块，用于确定待计算的至少一个数据集；第二确定模块，用于确定至少一个计算节点的剩余计算容量；匹配模块，用于针对每个所述数据集，根据所述数据集的数据量，将所述剩余计算容量与所述数据量匹配的所述计算节点作为与所述数据集匹配的计算节点；分配模块，用于将每个所述数据集分配至与所述数据集匹配的计算节点，以使分配到数据集的所述计算节点对所述数据集进行计算。
可选地，所述匹配模块，还包括：第一排序子模块，用于将所述数据集按数据量大小进行排序，得到第一序列，并将所述计算节点按所述剩余计算容量大小进行排序，得到第二序列，其中，所述第二序列与所述第一序列的大小排序方式相同；第一匹配子模块，用于将所述第一序列中的数据集与所述第二序列中对应序列位置的计算节点匹配。
可选地，所述匹配模块，还包括：第二排序子模块，用于在每个所述计算节点均匹配有数据集后，重新确定所述计算节点的剩余计算容量，并将所述计算节点按重新确定的所述剩余计算容量大小进行排序，得到第三序列，所述第三序列与所述第一序列的大小排序方式相同；第二匹配子模块，用于将所述第一序列中尚未匹配计算节点的数据集，与所述第三序列中对应序列位置的计算节点匹配。
可选地，所述匹配模块，还用于在与所述数据集匹配的所述计算节点的剩余计算容量小于所述数据集的所述数据量的情况下，跳过所述计算节点的序列位置，为所述数据集匹配下一序列位置的计算节点，并将剩余计算容量小于所述数据量的所述计算节点加入待扩容节点列表。
可选地，所述匹配模块，还用于在所有序列位置的所述计算节点均加入待扩容节点列表时，对所述待扩容节点列表中的计算节点进行扩容；所述匹配模块，还包括，第三排序子模块，用于将扩容后的计算节点按剩余计算容量大小进行排序，得到第四序列，所述第四序列与所述第一序列的大小排序方式相同；所述匹配模块，还包括，第三匹配子模块，用于将所述第一序列中尚未匹配计算节点的数据集，与所述第四序列中对应序列位置的计算节点匹配。
可选地，所述装置还包括，速度确定模块，用于获取上一次将所有数据集分配至匹配的计算节点后，各个计算节点的计算速度，其中，所述计算节点的所述剩余计算容量与所述计算速度成正相关关系。
可选地，所述装置还包括，节点禁用模块，用于获取上一次将所有数据集分配至匹配的计算节点后，各个计算节点的计算速度和/或计算时间，并将满足预设计算效率条件的计算节点确定为故障节点，并在本次分配中禁用所述故障节点；所述计算效率条件包括：所述计算速度小于第一速度阈值，和/或所述计算时间大于第一时间阈值；所述确定至少一个计算节点的剩余计算容量，包括：确定非故障节点的至少一个计算节点的剩余计算容量。
可选地，所述装置还包括，扩容模块，用于在数据集分配后，获取各个所述计算节点的计算速度和/或计算时间，并根据各个所述计算节点的所述计算速度和/或所述计算时间，计算平均计算速度和/或者平均计算时间，并在满足预设扩容条件下，对各个所述计算节点进行扩容；所述预设扩容条件包括以下任意一种情况或几种情况的组合：所述平均计算速度小于第二速度阈值；所述平均计算时间大于第二时间阈值；当前时刻处于业务洪峰时期；当前时刻处于压力测试时期。
本公开的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开的第一方面中任一项所述方法的步骤。
本公开的第四方面，提供了一种电子设备，包括存储器和处理器，存储器上存储有计算机程序，处理器用于执行所述存储器中的所述计算机程序，以实现本公开的第一方面中任一项所述方法的步骤。
基于上述的技术方案，至少可以达到以下的技术效果：可以根据待计算的数据集的数据量大小，为其分配剩余计算容量与之匹配的计算节点，而非随机为数据集分配计算节点。这样，计算节点可以分配到与之计算能力相符合的计算节点，不至于让单个计算节点的计算负荷较重，也不至于使单个节点的计算资源空置，可以为计算网络中的各个计算节点分配适合该计算节点的计算工作，从总体上可以提高计算网络的计算效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性公开实施例示出的一种计算资源调度方法的流程图。
图2是根据一示例性公开实施例示出的一种计算资源调度方法的流程图。
图3是根据一示例性公开实施例示出的一种为计算节点匹配数据集的过程示意图。
图4是根据一示例性公开实施例示出的一种计算资源调度装置的框图。
图5是根据一示例性公开实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
下面对本公开的应用场景进行说明。本公开可以应用于包括但不限于订单分配、路线规划、配送时间预估等多种需要对数据进行实时运算处理的场景，其中，数据集中可以包括与运算结果相关的原始数据，例如用户订单数据、区域特征数据等。由于实时运算中，数据会随时间变化，每一时刻的数据集内的内容都可能与上一时刻的数据集内的内容有较大差异，每一时刻的数据分配不均匀则会影响各个节点的计算效率，进而影响下一时刻的数据分配及计算。因此，针对每一时刻获取到的数据集，可以重复使用本公开的方案进行分配，以提升每次分配的均匀程度，从而提升各个节点的计算效率。
图1是根据一示例性公开实施例示出的一种计算资源调度方法的流程图，如图1所示，所述方法包括以下步骤：
S11、确定待计算的至少一个数据集。
数据集是待计算的数据内容的集合，其中一个数据集的内容是不可分割的，若将一个数据集分割开，则可能造成数据不连贯，无法进行准确的计算。
当本公开应用于配送场景(例如订单分配、路线规划、配送时间预估等)下时，由于配送场景通常与区域特性息息相关，在这些场景下，可以预先将业务地点划分为多个区域，每一时刻下，将每个区域的数据作为一个数据集，参与到数据的分配及计算中。
也就是说，该数据集的划分可以是根据地理特征划分的，例如，预先将所有产生待计算数据的地区划分为多个片区，每个片区内获取到的所有待计算数据可以作为一个数据集。值得说明的是，该数据集的划分还可以是根据数据特点划分的，例如，一个数据集内的数据类型相同，都分属于交通数据或都分属于用户订单数据等。
每个数据集都有各自的数据量大小，且数据量大小由根据数据集的内容决定，本公开不限制数据集的数据量大小的上下限。例如，数据集A内的数据内容较少且都是文字内容，则其数据量可能很小，例如可以为100KB，而数据集B的数据内容较多且涉及图片内容，则其数据量可能较大，例如可以为300MB。在获取数据集的同时，该数据集的数据量大小已经固定，数据内容也不发生变化。
考虑到在一些场景下，数据集的内容可能会出现更新，例如，当数据集的内容为每分钟的订单信息时，数据集的内容每分钟都会变化。在本公开中，可以将变化后的数据集作为新的数据集，在下一次进行数据分配及计算的时，重新收集新的数据集，并将新的数据集作为下一轮分配中的待计算的数据集，与本轮分配中的数据集相区别，其分配和计算互不干扰，这样可以防止实时的数据更新导致数据量大小变化为后续的数据分配带来的影响。
S12、确定至少一个计算节点的剩余计算容量。
计算节点是指用于计算上述数据集的计算节点。计算机网络中可能存在许多节点，但是有部分节点不具备计算权限，或者，有部分节点不需要在本次计算中启用，则这些不用于计算的节点不作为本公开中的计算节点。
计算节点的剩余计算容量与节点的计算能力以及节点正在处理的计算量有关，其中，节点的计算能力体现于节点的计算容量，以及节点的计算速度。节点的计算速度越快，则节点的计算能力越高，则节点的剩余计算容量也越高。
在确定计算节点的剩余计算容量之前，可以确定计算节点的计算速度。其中，该计算速度可以由计算节点上报，也可以是分配服务器通过分配至该节点的数据量及节点的响应时间计算得到。该计算速度可以是一定时间段内的计算速度，也可以是上一次分配到数据集后计算该数据集所用的计算速度。
在一种可能的实施方式中，可以获取上一次将所有数据集分配至匹配的计算节点后，各个计算节点的计算速度，所述计算节点的所述剩余计算容量与所述计算速度成正相关关系。
正在处理的计算量，可以是已经分配至该计算节点，该计算节点正在处理的计算任务的总量，也可以是分配服务器为该计算节点匹配了数据集，但尚未将该数据集分配至该计算节点的数据集的总数据量。
例如，假设一个计算节点的计算容量为100，计算速度对应的计算速度参数为0.9，正在处理的计算任务为10，已匹配的数据集为20，则该计算节点的剩余计算容量为100×0.9-10-20＝60(单位省略)。
在本公开中，计算节点的数量可以是预设的，也可以是根据数据集的数据量总和确定的。
在一种可能的实施方式中，在确定至少一个计算节点的剩余计算容量之前，可以根据数据集的数据量的总和，在所有的计算节点中确定至少一个目标计算节点，所述目标计算节点的剩余计算容量的总和与所述数据集的数据量总和相匹配。
值得说明的是，剩余计算容量与数据量的总和相匹配并不意味着两者相同。由于数据集是不可拆分的，在实际分配的过程中，剩余计算容量可能需要大于数据集的数据总量，才可以在不拆分数据集的前提下将数据集分配完成。因此，与数据集相匹配的计算节点的剩余计算容量的总和可以比数据集的数据量总和稍高，例如，当确定所有待计算的数据集的数据量总和为3000时，则可以在所有计算节点中确定30个剩余计算容量为100～120的计算节点为目标计算节点。
在一种可能的实施方式中，在确定待计算的至少一个数据集之前，还可以获取上一次将所有数据集分配至匹配的计算节点后，各个计算节点的计算速度和/或计算时间，并将满足预设计算效率条件的计算节点确定为故障节点，并在本次分配中禁用所述故障节点。在确定计算节点的剩余计算容量时，可以只确定非故障节点的计算节点的剩余计算容量。其中，所述计算效率条件包括：所述计算速度小于第一速度阈值，和/或，所述计算时间大于第一时间阈值。
S13、针对每个所述数据集，根据所述数据集的数据量，将所述剩余计算容量与所述数据量匹配的所述计算节点作为与所述数据集匹配的计算节点。
例如，当有10个大小为10的数据集，20个大小为15的数据集，4个大小为75的数据集等待分配，且有7个剩余计算容量均为100的计算节点，则可以为每个计算节点匹配与之剩余计算容量相适应的数据集。例如，可以为前四个计算节点匹配大小分别为“75、15、10”的三个数据集，为第五个和第六个计算节点匹配大小分别为“15、15、15、15、15、15、10”的7个数据集，为第七个计算节点匹配大小分别为“15、15、15、15、10、10、10、10”的8个数据集。这样，每个计算节点都可以得到与自身剩余计算容量相匹配的数据集。
在一种可能的实施方式中，可以将所述数据集按数据量大小进行排序，得到第一序列，并将所述计算节点按所述剩余计算容量大小进行排序，得到第二序列(所述第二序列与所述第一序列的大小排序方式相同)，将所述第一序列中的数据集与所述第二序列中对应序列位置的计算节点匹配。
例如，有大小分别为99(数据集A’)、87(数据集B’)、76(数据集C’)、55(数据集D’)、44(数据集E’)的5个数据集待分配至计算节点(已按照大小顺序排序得到第一序列)，且有大小分别为100(节点A)、98(节点B)、90(节点C)、88(节点D)、80(节点E)的五个计算节点(已按照大小顺序排序得到第二序列)，则可以将数据集A’匹配至节点A，将数据集B’匹配至节点B，……，将数据集E’匹配至节点E。
考虑到数据集与计算节点之间的数量可能不对等，则在一种可能的实施方式中，在每个所述计算节点均匹配有数据集后，重新确定所述计算节点的剩余计算容量，并将所述计算节点按重新确定的所述剩余计算容量大小进行排序，得到第三序列(所述第三序列与所述第一序列的大小排序方式相同)，并将所述第一序列中尚未匹配计算节点的数据集，与所述第三序列中对应序列位置的计算节点匹配。
例如，有大小分别为99(数据集A)、87(数据集B)、76(数据集C)、55(数据集D)、44(数据集E)、34(数据集F)、32(数据集G)、24(数据集H)、10(数据集I)的9个数据集待分配至计算节点(已按照大小顺序排序得到第一序列)，且有大小分别为100(节点A)、98(节点B)、90(节点C)、88(节点D)、80(节点E)的五个计算节点(已按照大小顺序排序得到第二序列)，则可以将数据集A匹配至节点A，将数据集B匹配至节点B，……，将数据集E匹配至节点E。并在五个计算节点均分配有数据集后，重新确定五个计算节点的剩余容量，分别为36(节点E)、33(节点D)、24(节点C)、11(节点B)、1(节点A)，则将数据集F分配至节点E，将数据集G分配至节点D，将数据集H分配至节点C，将数据集I分配至节点B。至此所有的数据集分配完毕，且计算节点A～E的剩余计算容量分别为1、2、1、0、1，即，所有的计算节点的工作均饱和且不过载，计算效率较高且资源浪费情况较少。
在一种可能的实施方式中，在与所述数据集匹配的所述计算节点的剩余计算容量小于所述数据集的所述数据量的情况下，跳过所述计算节点的序列位置，为所述数据集匹配下一序列位置的计算节点，并将剩余计算容量小于所述数据量的所述计算节点加入待扩容节点列表。
例如，有大小分别为99(数据集A”)、87(数据集B”)、76(数据集C”)、55(数据集D”)、44(数据集E”)、34(数据集F”)、32(数据集G”)、24(数据集H”)、10(数据集I”)、2(数据集J”)的10个数据集待分配至计算节点(已按照大小顺序排序得到第一序列)，且有大小分别为100(节点A)、98(节点B)、90(节点C)、88(节点D)、80(节点E)的五个计算节点(已按照大小顺序排序得到第二序列)，则可以将数据集A”匹配至节点A，将数据集B”匹配至节点B，……，将数据集E”匹配至节点E。并在五个计算节点均分配有数据集后，重新确定五个计算节点的剩余容量，分别为36(节点E)、33(节点D)、24(节点C)、11(节点B)、1(节点A)，则将数据集F”分配至节点E，将数据集G”分配至节点D，将数据集H”分配至节点C，将数据集I”分配至节点B，在本应将数据集J”分配至节点A时，节点A的剩余计算容量不足，则跳过计算节点A的序列位置，为其匹配下一序列位置的计算节点，并将节点A加入待扩容节点列表。而节点A后没有下一节点，则可以将五个节点重新排序，得到剩余容量大小分别为2(节点B)、1(节点A)、1(节点C)、1(节点E)和0(节点D)，并为数据集J”匹配节点B。
在所有序列位置的所述计算节点均加入待扩容节点列表时，对所述待扩容节点列表中的计算节点进行扩容；将扩容后的计算节点按剩余计算容量大小进行排序，得到第四序列，所述第四序列与所述第一序列的大小排序方式相同；将所述第一序列中尚未匹配计算节点的数据集，与所述第四序列中对应序列位置的计算节点匹配。
例如，在数据集J”之后还存在数据集K”(大小为2)、L”(大小为2)、M”(大小为1)，则在为数据集K”匹配节点时，由于所有的节点的剩余计算容量均不足，则可以将所有计算节点均加入待扩容列表，并为其扩容，将扩容后的计算节点重新排列，并为数据集K”至M”匹配计算节点。
S14、将每个所述数据集分配至与所述数据集匹配的计算节点，以使分配到数据集的所述计算节点对所述数据集进行计算。
在上一步骤中，仅确定了应当分配至计算节点的数据集，尚未进行分配。在本步骤中，可以确定与计算节点匹配的所有数据集，并一次性将所有与计算节点匹配的数据集发送至该计算节点。例如，若计算节点A在上一步骤中匹配了数据集A，计算节点B在上一步骤中匹配了数据集B和数据集I，计算节点C在上一步骤中匹配了数据集C和数据集H，计算节点D在上一步骤中匹配了数据集D和数据集G，计算节点E在上一步骤中匹配了数据集E合数据集F，则可以一次性将这些与计算节点匹配的数据集分发至各个计算节点，以使分配到数据集的所述计算节点对所述数据集进行计算。
在一种可能的实施方式中，在数据集分配后，可以获取各个所述计算节点的计算速度和/或计算时间，并根据各个所述计算节点的所述计算速度和/或所述计算时间，计算平均计算速度和/或者平均计算时间。在满足预设扩容条件下，对各个所述计算节点进行扩容，所述预设扩容条件包括以下任意一种情况或几种情况的组合：所述平均计算速度小于第二速度阈值；所述平均计算时间大于第二时间阈值；当前时刻处于业务洪峰时期；当前时刻处于压力测试时期。
基于上述的技术方案，至少可以达到以下的技术效果：可以根据待计算的数据集的数据量大小，为其分配剩余计算容量与之匹配的计算节点，而非随机为数据集分配计算节点。这样，计算节点可以分配到与之计算能力相符合的计算节点，不至于让单个计算节点的计算负荷较重，也不至于使单个节点的计算资源空置，可以为计算网络中的各个计算节点分配适合该计算节点的计算工作，从总体上可以提高计算网络的计算效率。
图2是根据一示例性公开实施例示出的一种计算资源调度方法的流程图，如图2所示，所述方法包括以下步骤：
S21、确定待计算的至少一个数据集。
数据集是待计算的数据内容的集合，其中一个数据集的内容是不可分割的，若将一个数据集分割开，则可能造成数据不连贯，无法进行准确的计算。
当本公开应用于配送场景(例如订单分配、路线规划、配送时间预估等)下时，由于配送场景通常与区域特性息息相关，在这些场景下，可以预先将业务地点划分为多个区域，每一时刻下，将每个区域的数据作为一个数据集，参与到数据的分配及计算中。
也就是说，该数据集的划分可以是根据地理特征划分的，例如，预先将所有产生待计算数据的地区划分为多个片区，每个片区内获取到的所有待计算数据可以作为一个数据集。值得说明的是，该数据集的划分还可以是根据数据特点划分的，例如，一个数据集内的数据类型相同，都分属于交通数据或都分属于用户订单数据等。
每个数据集都有各自的数据量大小，且数据量大小由根据数据集的内容决定，本公开不限制数据集的数据量大小的上下限。例如，数据集A内的数据内容较少且都是文字内容，则其数据量可能很小，例如可以为100KB，而数据集B的数据内容较多且涉及图片内容，则其数据量可能较大，例如可以为300MB。在获取数据集的同时，该数据集的数据量大小已经固定，数据内容也不发生变化。
考虑到在一些场景下，数据集的内容可能会出现更新，例如，当数据集的内容为每分钟的订单信息时，数据集的内容每分钟都会变化。在本公开中，可以将变化后的数据集作为新的数据集，在下一次进行数据分配及计算的时，重新收集新的数据集，并将新的数据集作为下一轮分配中的待计算的数据集，与本轮分配中的数据集相区别，其分配和计算互不干扰，这样可以防止实时的数据更新导致数据量大小变化为后续的数据分配带来的影响。
S22、确定至少一个计算节点的剩余计算容量。
计算节点是指用于计算上述数据集的计算节点。计算机网络中可能存在许多节点，但是有部分节点不具备计算权限，或者，有部分节点不需要在本次计算中启用，则这些不用于计算的节点不作为本公开中的计算节点。
计算节点的剩余计算容量与节点的计算能力以及节点正在处理的计算量有关，其中，节点的计算能力体现于节点的计算容量，以及节点的计算速度。节点的计算速度越快，则节点的计算能力越高，则节点的剩余计算容量也越高。
在确定计算节点的剩余计算容量之前，可以确定计算节点的计算速度。其中，该计算速度可以由计算节点上报，也可以是分配服务器通过分配至该节点的数据量及节点的响应时间计算得到。该计算速度可以是一定时间段内的计算速度，也可以是上一次分配到数据集后计算该数据集所用的计算速度。
在一种可能的实施方式中，可以获取上一次将所有数据集分配至匹配的计算节点后，各个计算节点的计算速度，所述计算节点的所述剩余计算容量与所述计算速度成正相关关系。
正在处理的计算量，可以是已经分配至该计算节点，该计算节点正在处理的计算任务的总量，也可以是分配服务器为该计算节点匹配了数据集，但尚未将该数据集分配至该计算节点的数据集的总数据量。
例如，假设一个计算节点的计算容量为100，计算速度对应的计算速度参数为0.9，正在处理的计算任务为10，已匹配的数据集为20，则该计算节点的剩余计算容量为100×0.9-10-20＝60(单位省略)。
在本公开中，计算节点的数量可以是预设的，也可以是根据数据集的数据量总和确定的。
在一种可能的实施方式中，在确定至少一个计算节点的剩余计算容量之前，可以根据数据集的数据量的总和，在所有的计算节点中确定至少一个目标计算节点，所述目标计算节点的剩余计算容量的总和与所述数据集的数据量总和相匹配。
值得说明的是，剩余计算容量与数据量的总和相匹配并不意味着两者相同。由于数据集是不可拆分的，在实际分配的过程中，剩余计算容量可能需要大于数据集的数据总量，才可以在不拆分数据集的前提下将数据集分配完成。因此，与数据集相匹配的计算节点的剩余计算容量的总和可以比数据集的数据量总和稍高，例如，当确定所有待计算的数据集的数据量总和为3000时，则可以在所有计算节点中确定30个剩余计算容量为100～120的计算节点为目标计算节点。
在一种可能的实施方式中，在确定待计算的至少一个数据集之前，还可以获取上一次将所有数据集分配至匹配的计算节点后，各个计算节点的计算速度和/或计算时间，并将满足预设计算效率条件的计算节点确定为故障节点，并在本次分配中禁用所述故障节点。在确定计算节点的剩余计算容量时，可以只确定非故障节点的计算节点的剩余计算容量。其中，所述计算效率条件包括：所述计算速度小于第一速度阈值，和/或，所述计算时间大于第一时间阈值。
S23、将所述数据集按数据量大小进行排序，得到第一序列。
该第一序列可以为大小升序，也可以为大小降序，本公开对此不做限制。例如，有大小分别为99(数据集A)、87(数据集B)、76(数据集C)、55(数据集D)、44(数据集E)的5个数据集，则该第一序列可以为“A、B、C、D、E”，也可以为“E、D、C、B、A”。
S24、将所述计算节点按所述剩余计算容量大小进行排序，得到第二序列。
该第二序列视第一序列的排序方式而定，可以为与第一序列相同排序方式的升序序列，可以为与第一序列相同排序方式的降序序列。
S25、将所述第一序列中的数据集与所述第二序列中对应序列位置的计算节点匹配。
例如，有大小分别为99(数据集A’)、87(数据集B’)、76(数据集C’)、55(数据集D’)、44(数据集E’)的5个数据集待分配至计算节点(已按照大小顺序排序得到第一序列)，且有大小分别为100(节点A)、98(节点B)、90(节点C)、88(节点D)、80(节点E)的五个计算节点(已按照大小顺序排序得到第二序列)，则可以将数据集A’匹配至节点A，将数据集B’匹配至节点B，……，将数据集E’匹配至节点E。
考虑到数据集与计算节点之间的数量可能不对等，则在本步骤之后，判断是否所有数据集都有匹配的计算节点，若是，则执行步骤S28，若不是，则执行步骤S26。
S26、重新确定所述计算节点的剩余计算容量，将所述计算节点按重新确定的所述剩余计算容量大小进行排序，得到第三序列。
该第三序列与所述第一序列的大小排序方式相同。
S27、将所述第一序列中尚未匹配计算节点的数据集，与所述第三序列中对应序列位置的计算节点匹配。
例如，有大小分别为99(数据集A)、87(数据集B)、76(数据集C)、55(数据集D)、44(数据集E)、34(数据集F)、32(数据集G)、24(数据集H)、10(数据集I)的9个数据集待分配至计算节点(已按照大小顺序排序得到第一序列)，且有大小分别为100(节点A)、98(节点B)、90(节点C)、88(节点D)、80(节点E)的五个计算节点(已按照大小顺序排序得到第二序列)，则可以将数据集A匹配至节点A，将数据集B匹配至节点B，……，将数据集E匹配至节点E。并在五个计算节点均分配有数据集后，重新确定五个计算节点的剩余容量，分别为36(节点E)、33(节点D)、24(节点C)、11(节点B)、1(节点A)，则将数据集F分配至节点E，将数据集G分配至节点D，将数据集H分配至节点C，将数据集I分配至节点B。至此所有的数据集分配完毕，且计算节点A～E的剩余计算容量分别为1、2、1、0、1，即，所有的计算节点的工作均饱和且不过载，计算效率较高且资源浪费情况较少。
在一种可能的实施方式中，在步骤S25和步骤S27中，可以在与所述数据集匹配的所述计算节点的剩余计算容量小于所述数据集的所述数据量的情况下，跳过所述计算节点的序列位置，为所述数据集匹配下一序列位置的计算节点，并将剩余计算容量小于所述数据量的所述计算节点加入待扩容节点列表。
例如，有大小分别为99(数据集A”)、87(数据集B”)、76(数据集C”)、55(数据集D”)、44(数据集E”)、34(数据集F”)、32(数据集G”)、24(数据集H”)、10(数据集I”)、2(数据集J”)的10个数据集待分配至计算节点(已按照大小顺序排序得到第一序列)，且有大小分别为100(节点A)、98(节点B)、90(节点C)、88(节点D)、80(节点E)的五个计算节点(已按照大小顺序排序得到第二序列)，则可以将数据集A”匹配至节点A，将数据集B”匹配至节点B，……，将数据集E”匹配至节点E。并在五个计算节点均分配有数据集后，重新确定五个计算节点的剩余容量，分别为36(节点E)、33(节点D)、24(节点C)、11(节点B)、1(节点A)，则将数据集F”分配至节点E，将数据集G”分配至节点D，将数据集H”分配至节点C，将数据集I”分配至节点B，在本应将数据集J”分配至节点A时，节点A的剩余计算容量不足，则跳过计算节点A的序列位置，为其匹配下一序列位置的计算节点，并将节点A加入待扩容节点列表。而节点A后没有下一节点，则可以将五个节点重新排序，得到剩余容量大小分别为2(节点B)、1(节点A)、1(节点C)、1(节点E)和0(节点D)，并为数据集J”匹配节点B。
在所有序列位置的所述计算节点均加入待扩容节点列表时，对所述待扩容节点列表中的计算节点进行扩容；将扩容后的计算节点按剩余计算容量大小进行排序，得到第四序列，所述第四序列与所述第一序列的大小排序方式相同；将所述第一序列中尚未匹配计算节点的数据集，与所述第四序列中对应序列位置的计算节点匹配。
例如，在数据集J”之后还存在数据集K”(大小为2)、L”(大小为2)、M”(大小为1)，则在为数据集K”匹配节点时，由于所有的节点的剩余计算容量均不足，则可以将所有计算节点均加入待扩容列表，并为其扩容，将扩容后的计算节点重新排列，并为数据集K”至M”匹配计算节点。
在本步骤完成后，判断是否所有数据集都有匹配的计算节点，若是，则执行步骤S28，若不是，则返回步骤S26。
S28、将每个所述数据集分配至与所述数据集匹配的计算节点，以使分配到数据集的所述计算节点对所述数据集进行计算。
在上一步骤中，仅确定了应当分配至计算节点的数据集，尚未进行分配。在本步骤中，可以确定与计算节点匹配的所有数据集，并一次性将所有与计算节点匹配的数据集发送至该计算节点。例如，若计算节点A在上一步骤中匹配了数据集A，计算节点B在上一步骤中匹配了数据集B和数据集I，计算节点C在上一步骤中匹配了数据集C和数据集H，计算节点D在上一步骤中匹配了数据集D和数据集G，计算节点E在上一步骤中匹配了数据集E合数据集F，则可以一次性将这些与计算节点匹配的数据集分发至各个计算节点，以使分配到数据集的所述计算节点对所述数据集进行计算。
如图3所示的是一种为计算节点匹配数据集的过程示意图，计算节点及待计算的数据集均以降序排列，在第一次排序的分发时，为各个计算节点分别分发与之序列位置匹配的数据集，在第一次排序的分发完成后，为个个计算节点重新排序，并再次为各个计算节点分别分发与之序列位置匹配的数据集，重复上述的过程，直至所有的数据集分配完毕。
在一种可能的实施方式中，在数据集分配后，可以获取各个所述计算节点的计算速度和/或计算时间，并根据各个所述计算节点的所述计算速度和/或所述计算时间，计算平均计算速度和/或者平均计算时间。在满足预设扩容条件下，对各个所述计算节点进行扩容，所述预设扩容条件包括以下任意一种情况或几种情况的组合：所述平均计算速度小于第二速度阈值；所述平均计算时间大于第二时间阈值；当前时刻处于业务洪峰时期；当前时刻处于压力测试时期。
基于上述的技术方案，至少可以达到以下的技术效果：可以根据待计算的数据集的数据量大小，为其分配剩余计算容量与之匹配的计算节点，而非随机为数据集分配计算节点。并且，分别为数据集合计算节点按照数据量大小或者剩余计算容量大小进行排序，根据排序更精准的进行匹配，这样，计算节点可以精准地分配到与之计算能力相符合的计算节点，不至于让单个计算节点的计算负荷较重，也不至于使单个节点的计算资源空置，可以为计算网络中的各个计算节点分配适合该计算节点的计算工作，从总体上可以提高计算网络的计算效率。
图4是根据一示例性公开实施例示出的一种计算资源调度装置的框图，如图4所示，该装置400包括：
第一确定模块410，用于确定待计算的至少一个数据集。
第二确定模块420，用于确定至少一个计算节点的剩余计算容量。
匹配模块430，用于针对每个所述数据集，根据所述数据集的数据量，将所述剩余计算容量与所述数据量匹配的所述计算节点作为与所述数据集匹配的计算节点。
分配模块440，用于将每个所述数据集分配至与所述数据集匹配的计算节点，以使分配到数据集的所述计算节点对所述数据集进行计算。
通过上述的技术方案，可以根据待计算的数据集的数据量大小，为其分配剩余计算容量与之匹配的计算节点，而非随机为数据集分配计算节点。这样，计算节点可以分配到与之计算能力相符合的计算节点，不至于让单个计算节点的计算负荷较重，也不至于使单个节点的计算资源空置，可以为计算网络中的各个计算节点分配适合该计算节点的计算工作，从总体上可以提高计算网络的计算效率。
可选地，所述匹配模块，还包括：第一排序子模块，用于将所述数据集按数据量大小进行排序，得到第一序列，并将所述计算节点按所述剩余计算容量大小进行排序，得到第二序列，其中，所述第二序列与所述第一序列的大小排序方式相同；第一匹配子模块，用于将所述第一序列中的数据集与所述第二序列中对应序列位置的计算节点匹配。
通过排序的方式，将各计算节点的剩余计算容量和各个数据集的数据量大小进行依次匹配，可以更精确地为各计算节点分配到与其计算能力相匹配的数据集。
可选地，所述匹配模块，还包括：第二排序子模块，用于在每个所述计算节点均匹配有数据集后，重新确定所述计算节点的剩余计算容量，并将所述计算节点按重新确定的所述剩余计算容量大小进行排序，得到第三序列，所述第三序列与所述第一序列的大小排序方式相同；第二匹配子模块，用于将所述第一序列中尚未匹配计算节点的数据集，与所述第三序列中对应序列位置的计算节点匹配。
值得说明的是，在所有数据集都被分配至计算节点以前，可以由匹配模块中的第二排序子模块和第二匹配子模块重复执行上述步骤，直至每个数据集都分配至计算节点。这样，可以在每一次排序后都按照计算节点的剩余计算容量以及数据集的数据量进行匹配，可以最大化地利用计算节点的剩余计算容量来处理其能力范围内的数据集，使各个计算节点的计算能力接近饱和，从总体上提高计算效率。
可选地，所述匹配模块，还用于在与所述数据集匹配的所述计算节点的剩余计算容量小于所述数据集的所述数据量的情况下，跳过所述计算节点的序列位置，为所述数据集匹配下一序列位置的计算节点，并将剩余计算容量小于所述数据量的所述计算节点加入待扩容节点列表。
这样，可以及时筛选出剩余计算容量不足的计算节点以便后续扩容，并且为尚不需要扩容的计算节点匹配与之剩余计算容量相符合的数据集，以最大化地利用各个计算节点的计算容量，提升整体的计算效率。
可选地，所述匹配模块，还用于在所有序列位置的所述计算节点均加入待扩容节点列表时，对所述待扩容节点列表中的计算节点进行扩容；所述匹配模块，还包括，第三排序子模块，用于将扩容后的计算节点按剩余计算容量大小进行排序，得到第四序列，所述第四序列与所述第一序列的大小排序方式相同；所述匹配模块，还包括，第三匹配子模块，用于将所述第一序列中尚未匹配计算节点的数据集，与所述第四序列中对应序列位置的计算节点匹配。
当所有的计算节点都不能满足当前的计算任务时，可以对计算节点进行扩容，相较于现有技术中单个计算节点饱和即对其进行扩容的方案相比，可以在各个节点都饱和后进行扩容，减少扩容带来的不便，减少扩容带来的成本。在所有的计算节点都扩容后，可以重新对计算节点进行排列并为其匹配数据集，以使各个计算节点可以分配到与自身计算能力相符的数据集，提升各个计算节点的任务饱和程度，从整体上提升计算效率。
可选地，所述装置还包括，速度确定模块，用于获取上一次将所有数据集分配至匹配的计算节点后，各个计算节点的计算速度，其中，所述计算节点的所述剩余计算容量与所述计算速度成正相关关系。
可选地，所述装置还包括，节点禁用模块，用于获取上一次将所有数据集分配至匹配的计算节点后，各个计算节点的计算速度和/或计算时间，并将满足预设计算效率条件的计算节点确定为故障节点，并在本次分配中禁用所述故障节点；所述计算效率条件包括：所述计算速度小于第一速度阈值，和/或所述计算时间大于第一时间阈值；所述确定至少一个计算节点的剩余计算容量，包括：确定非故障节点的至少一个计算节点的剩余计算容量。
这样，可以保证各个待分配计算集的计算节点的计算能力满足计算需求，减少将计算任务分配至故障节点后由于计算效率过低造成的损失。
可选地，所述装置还包括，扩容模块，用于在数据集分配后，获取各个所述计算节点的计算速度和/或计算时间，并根据各个所述计算节点的所述计算速度和/或所述计算时间，计算平均计算速度和/或者平均计算时间，并在满足预设扩容条件下，对各个所述计算节点进行扩容；所述预设扩容条件包括以下任意一种情况或几种情况的组合：所述平均计算速度小于第二速度阈值；所述平均计算时间大于第二时间阈值；当前时刻处于业务洪峰时期；当前时刻处于压力测试时期。
这样，可以在各个计算节点总体的计算效率偏低的情况下对各个计算节点进行扩容，可以在特殊情况下大幅提升总体计算效率，满足计算需求。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于上述的技术方案，至少可以达到以下的技术效果：可以根据待计算的数据集的数据量大小，为其分配剩余计算容量与之匹配的计算节点，而非随机为数据集分配计算节点。这样，计算节点可以分配到与之计算能力相符合的计算节点，不至于让单个计算节点的计算负荷较重，也不至于使单个节点的计算资源空置，可以为计算网络中的各个计算节点分配适合该计算节点的计算工作，从总体上可以提高计算网络的计算效率。
图5是根据一示例性实施例示出的一种电子设备500的框图。如图5所示，该电子设备500可以包括：处理器501，存储器502。该电子设备500还可以包括多媒体组件503，输入/输出(I/O)接口504，以及通信组件505中的一者或多者。
其中，处理器501用于控制该电子设备500的整体操作，以完成上述的计算资源调度方法中的全部或部分步骤。存储器502用于存储各种类型的数据以支持在该电子设备500的操作，这些数据例如可以包括用于在该电子设备500上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器502可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件503可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器502或通过通信组件505发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口504为处理器501和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件505用于该电子设备500与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件505可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的计算资源调度方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的计算资源调度方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器502，上述程序指令可由电子设备500的处理器501执行以完成上述的计算资源调度方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (11)

1.一种计算资源调度方法，其特征在于，所述方法包括：
确定待计算的至少一个数据集；
确定至少一个计算节点的剩余计算容量；
针对每个所述数据集，根据所述数据集的数据量，将所述剩余计算容量与所述数据量匹配的所述计算节点作为与所述数据集匹配的计算节点；
将每个所述数据集分配至与所述数据集匹配的计算节点，以使分配到数据集的所述计算节点对所述数据集进行计算。
2.根据权利要求1所述的方法，其特征在于，所述针对每个所述数据集，根据所述数据集的数据量，将所述剩余计算容量与所述数据量匹配的所述计算节点作为与所述数据集匹配的计算节点，包括：
将所述数据集按数据量大小进行排序，得到第一序列；
将所述计算节点按所述剩余计算容量大小进行排序，得到第二序列，其中，所述第二序列与所述第一序列的大小排序方式相同；
将所述第一序列中的数据集与所述第二序列中对应序列位置的计算节点匹配。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在每个所述计算节点均匹配有数据集后，重新确定所述计算节点的剩余计算容量；
将所述计算节点按重新确定的所述剩余计算容量大小进行排序，得到第三序列，所述第三序列与所述第一序列的大小排序方式相同；
将所述第一序列中尚未匹配计算节点的数据集，与所述第三序列中对应序列位置的计算节点匹配。
4.根据权利要求2或3任一项所述的方法，其特征在于，所述方法还包括：
在与所述数据集匹配的所述计算节点的剩余计算容量小于所述数据集的所述数据量的情况下，跳过所述计算节点的序列位置，为所述数据集匹配下一序列位置的计算节点，并将剩余计算容量小于所述数据量的所述计算节点加入待扩容节点列表。
5.根据权利要求4所述的方法，其特征在于，在所有序列位置的所述计算节点均加入待扩容节点列表时，对所述待扩容节点列表中的计算节点进行扩容；
将扩容后的计算节点按剩余计算容量大小进行排序，得到第四序列，所述第四序列与所述第一序列的大小排序方式相同；
将所述第一序列中尚未匹配计算节点的数据集，与所述第四序列中对应序列位置的计算节点匹配。
6.根据权利要求1或2任一项所述的方法，其特征在于，在所述确定至少一个计算节点的剩余计算容量之前，所述方法还包括：
获取上一次将所有数据集分配至匹配的计算节点后，各个计算节点的计算速度；
所述计算节点的所述剩余计算容量与所述计算速度成正相关关系。
7.根据权利要求1或2任一项所述的方法，其特征在于，所述在确定待计算的至少一个数据集之前，所述方法还包括：
获取上一次将所有数据集分配至匹配的计算节点后，各个计算节点的计算速度和/或计算时间；
将满足预设计算效率条件的计算节点确定为故障节点，并在本次分配中禁用所述故障节点；
所述计算效率条件包括：
所述计算速度小于第一速度阈值，和/或
所述计算时间大于第一时间阈值；
所述确定至少一个计算节点的剩余计算容量，包括：
确定非故障节点的至少一个计算节点的剩余计算容量。
8.根据权利要求1或2任一项所述的方法，其特征在于，所述方法还包括：
在数据集分配后，获取各个所述计算节点的计算速度和/或计算时间；
根据各个所述计算节点的所述计算速度和/或所述计算时间，计算平均计算速度和/或者平均计算时间；
在满足预设扩容条件下，对各个所述计算节点进行扩容；
所述预设扩容条件包括以下任意一种情况或几种情况的组合：
所述平均计算速度小于第二速度阈值；
所述平均计算时间大于第二时间阈值；
当前时刻处于业务洪峰时期；
当前时刻处于压力测试时期。
9.一种计算资源调度装置，其特征在于，所述装置包括：
第一确定模块，用于确定待计算的至少一个数据集；
第二确定模块，用于确定至少一个计算节点的剩余计算容量；
匹配模块，用于针对每个所述数据集，根据所述数据集的数据量，将所述剩余计算容量与所述数据量匹配的所述计算节点作为与所述数据集匹配的计算节点；
分配模块，用于将每个所述数据集分配至与所述数据集匹配的计算节点，以使分配到数据集的所述计算节点对所述数据集进行计算。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。
11.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-8中任一项所述方法的步骤。
CN202010403503.9A 2020-05-13 2020-05-13 计算资源调度方法和装置、存储介质和电子设备 Pending CN113672356A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010403503.9A CN113672356A (zh) 2020-05-13 2020-05-13 计算资源调度方法和装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010403503.9A CN113672356A (zh) 2020-05-13 2020-05-13 计算资源调度方法和装置、存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN113672356A true CN113672356A (zh) 2021-11-19

Family

ID=78537010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010403503.9A Pending CN113672356A (zh) 2020-05-13 2020-05-13 计算资源调度方法和装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN113672356A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580306A (zh) * 2013-10-21 2015-04-29 北京计算机技术及应用研究所 一种多终端备份服务系统及其任务调度方法
CN104793990A (zh) * 2015-04-21 2015-07-22 中国海洋大学 一种多时序任务调度方法和系统
US20180232257A1 (en) * 2015-08-05 2018-08-16 Hangzhou Hikvision Digital Technology Co., Ltd. Task allocation method and task allocation apparatus for distributed data calculation
CN108628674A (zh) * 2018-05-11 2018-10-09 深圳市零度智控科技有限公司 基于云平台的任务调度方法、云平台及计算机存储介质
CN109298940A (zh) * 2018-09-28 2019-02-01 考拉征信服务有限公司 计算任务分配方法、装置、电子设备及计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580306A (zh) * 2013-10-21 2015-04-29 北京计算机技术及应用研究所 一种多终端备份服务系统及其任务调度方法
CN104793990A (zh) * 2015-04-21 2015-07-22 中国海洋大学 一种多时序任务调度方法和系统
US20180232257A1 (en) * 2015-08-05 2018-08-16 Hangzhou Hikvision Digital Technology Co., Ltd. Task allocation method and task allocation apparatus for distributed data calculation
CN108628674A (zh) * 2018-05-11 2018-10-09 深圳市零度智控科技有限公司 基于云平台的任务调度方法、云平台及计算机存储介质
CN109298940A (zh) * 2018-09-28 2019-02-01 考拉征信服务有限公司 计算任务分配方法、装置、电子设备及计算机存储介质

Similar Documents

Publication Publication Date Title
WO2022062795A1 (zh) 业务请求分配方法、装置、计算机设备和存储介质
CN109005125B (zh) 动态限流方法、装置及系统
CN108681484B (zh) 一种任务的分配方法、装置及设备
CN110795244B (zh) 一种任务分配方法、装置、设备及介质
CN109525410B (zh) 分布式存储系统升级管理的方法、装置及分布式存储系统
EP3293969A1 (en) Method of terminal-based conference load-balancing, and device and system utilizing same
WO2017166643A1 (zh) 一种任务资源的量化方法和装置
CN110708377A (zh) 一种数据传输方法、装置和存储介质
CN105791254B (zh) 网络请求处理方法、装置及终端
CN109802986B (zh) 设备管理方法、系统、装置及服务器
CN114302429B (zh) Nwdaf网元的确定方法、装置、设备及存储介质
US20160269297A1 (en) Scaling the LTE Control Plane for Future Mobile Access
CN111538572A (zh) 任务处理方法、装置、调度服务器及介质
CN112905338B (zh) 计算资源自动分配方法及装置
CN112261125B (zh) 集中单元的云化部署方法、装置及系统
CN107634978B (zh) 一种资源调度方法及装置
CN113535381A (zh) 基于改进遗传算法的服务功能链映射方法、装置及设备
CN111182043B (zh) 哈希值的分配方法及装置
CN113672356A (zh) 计算资源调度方法和装置、存储介质和电子设备
CN112181829B (zh) Ab实验的用户分流方法、装置、终端及介质
CN110609707A (zh) 在线数据处理系统生成方法、装置及设备
CN115878309A (zh) 资源分配方法、装置、处理核、设备和计算机可读介质
CN112711587B (zh) 数据处理方法、装置、电子设备及存储介质
CN113672347A (zh) 一种容器组调度方法及装置
CN108520025B (zh) 一种服务节点确定方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211119

RJ01 Rejection of invention patent application after publication