CN112328399A - 一种集群资源调度方法、装置、计算机设备及存储介质 - Google Patents

一种集群资源调度方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112328399A
CN112328399A CN202011288870.5A CN202011288870A CN112328399A CN 112328399 A CN112328399 A CN 112328399A CN 202011288870 A CN202011288870 A CN 202011288870A CN 112328399 A CN112328399 A CN 112328399A
Authority
CN
China
Prior art keywords
task
calculation
computing
resource
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011288870.5A
Other languages
English (en)
Inventor
曾伟
张旭
郑越
旷雄
方聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202011288870.5A priority Critical patent/CN112328399A/zh
Publication of CN112328399A publication Critical patent/CN112328399A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及人工智能技术，揭露了一种集群资源调度方法、装置、计算机设备及存储介质，包括接收任务及优先级设定指令；将任务进行语句解析并基于知识图谱进行任务资源需求的计算；基于任务和任务资源需求，利用预测模型预测任务执行时长以及预设时间段内的计算资源占用比例；根据任务执行时长、预设时间段内的计算资源占用比例和优先级设定指令，对任务进行判断；当判断结果为紧急任务和小任务时，将紧急任务和小任务输入计算资源配置队列；当判断结果为大任务时，利用运筹学算法确定大任务的计算资源配置方案，利用配置方案进行计算资源的配置，并输入计算资源配置队列；根据计算资源配置队列对集群资源进行调度。本申请能提高集群资源的利用率。

Description

一种集群资源调度方法、装置、计算机设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种集群资源调度方法、装置、计算机设备及存储介质。
背景技术
目前集群大数据平台被各公司广泛使用，随着各公司规模的持续扩大，其产生的数据不断增多；传统的数据平台依赖于有经验的数据管理员管理和干预，但随着数据平台的扩大，数据管理员难以知晓整体数据平台的信息，难以有效干预，以实现资源利用的最大化。在现有技术中，数据平台直接通过将输入的开发任务依次排队进行处理，即先进先出或公平分配资源；并不会对任务进行其他方面处理。上述的数据平台的实现，其缺乏对每个任务的算力要求的评估，以及对集群硬件设备与计算任务的不匹配，会造成部分计算任务的长时间延后，影响集群资源的综合利用率。
发明内容
本申请提供了一种集群资源调度方法、装置、计算机设备及存储介质，以解决现有技术中对集群资源利用率不高的问题。
为解决上述问题，本申请提供了一种集群资源调度方法，包括：
接收计算任务及其优先级设定指令；
将所述计算任务进行语句解析，并基于预设的知识图谱进行任务资源需求的计算；
基于所述计算任务和所述任务资源需求，利用预先训练的预测模型预测任务执行时长以及预设时间段内的计算资源占用比例，所述预测模型由历史计算任务数据训练得到；
根据所述任务执行时长、所述预设时间段内的计算资源占用比例和所述优先级设定指令，对所述计算任务进行策略判断；
当策略判断结果为紧急任务和小任务时，将所述紧急任务和小任务输入计算资源配置队列；
当策略判断结果为大任务时，利用运筹学算法确定所述大任务的计算资源配置方案，利用所述配置方案进行计算资源的配置，并输入所述计算资源配置队列；
根据所述计算资源配置队列对集群资源进行调度。
进一步的，在所述将所述计算任务进行语句解析之前，还包括：
获取历史计算任务的数据，解析所述历史计算任务的执行语句；
基于解析结果和所述历史计算任务的数据建立预设的知识图谱。
进一步的，所述将所述计算任务进行语句解析，并基于预设的知识图谱进行任务资源需求的计算包括：
解析所述计算任务，得到所述计算任务中Map任务与Reduce任务的数量；
根据所述Map任务与Reduce任务的数量，查询所述知识图谱中历史计算任务的计算资源的消耗情况；
根据所述历史计算任务的计算资源的消耗情况，确定所述任务资源需求。
进一步的，在所述将所述计算任务进行语句解析之后，还包括：
获取所述计算任务中Map任务的数量；
若所述Map任务的数量超过预设数值，则退回所述计算任务并输出报错原因。
进一步的，所述基于所述计算任务和所述任务资源需求，利用预先训练的预测模型预测任务执行时长包括：
根据所述计算任务资源需求和计算任务，利用时长预测模型预测所述计算任务的任务执行时长，所述时长预测模型基于Xgboost模型。
进一步的，所述预设时间段内的计算资源占用比例的预测包括：
获取并序列化处理所述计算任务前至少两个时段的计算任务数量、计算任务的任务执行时长和有效计算资源数量；
将序列化处理后的所述计算任务数量、计算任务执行时长和有效计算资源数量输入至LSTM模型，预测所述计算任务下一时段的序列特征；
统计当前资源信息和当前任务信息；
将所述下一时段的序列特征、当前资源信息和当前任务信息输入至LR模型，得到所述预设时段的计算资源占用比例。
进一步的，所述利用运筹学算法确定所述大任务的计算资源配置方案包括：
通过建立运筹学时间资源代价矩阵来计算大任务最优的任务等待时长；
根据所述最优的任务等待时长，得到最优的所述计算资源配置方案。
为了解决上述问题，本申请还提供一种集群资源调度装置，所述装置包括：
接收模块，用于接收计算任务及其优先级设定指令；
解析计算模块，用于将所述计算任务进行语句解析，并基于预设的知识图谱进行任务资源需求的计算；
预测模块，用于基于所述计算任务和所述任务资源需求，利用预先训练的模型预测任务执行时长以及预设时间段内的计算资源占用比例，所述模型由历史计算任务数据训练得到；
判断模块，用于根据所述任务执行时长、所述预设时间段内的计算资源占用比例和所述优先级设定指令，对所述计算任务进行策略判断；
队列排队模块，用于当策略判断结果为紧急任务和小任务时，将所述紧急任务和小任务输入计算资源配置队列；当策略判断结果为大任务时，利用运筹学算法确定所述大任务的计算资源配置方案，利用所述配置方案进行计算资源的配置，并输入所述计算资源配置队列；
调度模块，用于根据所述计算资源配置队列对集群资源进行调度。
为了解决上述问题，本申请还提供一种计算机设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述所述的集群资源调度方法。
为了解决上述问题，本申请还提供一种非易失性的计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述的集群资源调度方法。
根据本申请实施例提供的一种集群资源调度方法、装置、计算机设备及存储介质，与现有技术相比至少具有以下有益效果：
通过将计算任务进行语句解析，来判断计算任务的合理性，实现对计算任务的预处理；基于预设的知识图谱进行任务资源需求的计算，来进一步得出计算任务的信息；基于所述计算任务和所述任务资源需求，利用预先训练的预测模型预测任务执行时长以及预设时间段内的计算资源占用比例，根据所述任务执行时长、所述预设时间段内的计算资源占用比例和所述优先级设定指令，对所述计算任务进行策略判断，通过策略判断来得出对于计算任务在集群资源中的分配方式；当策略判断结果为紧急任务和小任务时，将所述紧急任务和小任务输入计算资源配置队列；当策略判断结果为大任务时，利用运筹学算法确定所述大任务的计算资源配置方案，利用所述配置方案进行计算资源的配置，并输入所述计算资源配置队列；根据所述计算资源配置队列对集群资源进行调度，通过策略判断对紧急任务、小任务、大任务分别配置，能够有效的将计算任务匹配到集群资源中其适合的硬件设备，提高了集群资源的综合利用率。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图做一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的集群资源调度方法的流程示意图；
图2为本申请一实施例提供的集群资源调度装置的模块示意图；
图3为本申请一实施例的计算机设备的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是是相同的实施例，也不是与其它实施例相互排斥的独立的或备选的实施例。本领域技术人员显式地或隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请提供一种集群资源调度方法。参照图1所示，为本申请一实施例提供的集群资源调度方法的流程示意图。
在本实施例中，集群资源调度方法包括：
S1、接收计算任务及其优先级设定指令；
具体的，接收由用户提交的数据计算任务并且接收用户对该计算任务的优先级设定，所述优先级设定主要分为紧急任务和非紧急任务。
在本实施例中，由开发人员依照需求进行任务开发，得到计算任务；接收由开发人员发送的所述计算任务以及该计算任务的优先级设定，从而对计算任务做进一步的处理。
S2、将所述计算任务进行语句解析，并基于预设的知识图谱进行任务资源需求的计算；
具体的，通过对计算任务进行解析，进而对计算任务进行预处理，并基于预设的知识图谱进行任务资源需求的计算，即利用计算任务搜索知识图谱，确定计算任务对应的任务资源需求。
进一步的，在所述将所述计算任务进行语句解析之前，还包括：
获取历史计算任务的数据，解析所述历史计算任务的执行语句；
基于解析结果和所述历史计算任务的数据建立预设的知识图谱。
具体的，解析历史计算任务的执行语句，得到入参字段、出参字段、计算关键字、数据范围等，并获取数据库中历史计算任务的数据表，将数据表作为节点、数据表中的字段作为节点属性，计算任务作为连接关系，获取计算资源配置组合，使用计算资源配置组合、入参字段、出参字段、计算关键字、数据范围、执行时长等作为连接关系属性，以此建立计算任务的知识图谱。并周期性更新图谱的统计数据，即在有计算任务不断被执行时，该知识图谱将不断的补充丰富。
利用数据库的表以及执行任务建立的知识图谱，还可用于计算任务路径优化、高频任务结果缓存优化等等方面。
通过建立知识图谱，能全面展示历史计算任务情况，并且能为后续的计算任务提供参考。
再进一步的，所述将所述计算任务进行语句解析，并基于预设的知识图谱进行任务资源需求的计算包括：
解析所述计算任务，得到所述计算任务中Map任务与Reduce任务的数量；
根据所述Map任务与Reduce任务的数量，查询所述知识图谱中历史计算任务的计算资源的消耗情况；
根据所述历史计算任务的计算资源的消耗情况，确定所述任务资源需求。
具体的，通过解析计算任务，得到计算任务中的Map任务和Reduce任务的数量，并基于所述Map任务和Reduce任务的数量，来查询所述知识图谱，得到对应的历史计算任务的计算资源消耗情况，从而确定所述计算任务的任务资源需求。
Map任务数量指的是计算任务的总块数，可以通过人员来手动设置；
Reduce任务数量通常为机器节点数的小倍数，同样的也可以由可以通过人员来手动设置。
通过上述得到计算任务的任务资源需求，从而完善计算任务的信息，便于后续步骤的开展。
又进一步的，在所述将所述计算任务进行语句解析之后，还包括：
获取所述计算任务中Map任务的数量；
若所述Map任务的数量超过预设数值，则退回所述计算任务并输出报错原因。
具体的，所述预设数值的设定可根据集群的整体资源配置和计算任务的密度来进行设定，一般不超过集群整体资源的30％.通过对语句进行合理性检测，直接剔除检测不符合要求的计算任务，保证进入计算资源配置队列的任务不会出现问题，来卡住整个任务队列。
通过给Map任务数量与设定的标准进行比较，来进行计算任务的合理性检测，避免不合理的计算任务进入计算资源配置队列中，从而避免卡住计算资源配置队列。
进一步的，在所述将所述计算任务进行语句解析之后，还包括：
利用语法检测工具对所述计算任务进行语法检测；
若检测出语法有问题，将直接退回计算任务并输出报错原因。
具体的，对计算任务语法进行检测，若检测出语法有问题，则直接将报错原因以及计算任务返回给用户重新检查，并跳出任务执行。
所述语法检测工具为SQL Intellisense Prompt工具。
本申请通过语法检测，提前检测出有问题的计算任务，以便于计算资源配置队列中的任务能顺利进行。
S3、基于所述计算任务和所述任务资源需求，利用预先训练的预测模型预测任务执行时长以及预设时间段内的计算资源占用比例，所述预测模型由历史计算任务数据训练得到；
进一步的，所述基于所述计算任务和所述任务资源需求，利用预先训练的预测模型预测任务执行时长包括：
根据所述计算任务资源需求和计算任务，利用时长预测模型预测所述计算任务的任务执行时长，所述时长预测模型基于Xgboost模型。
具体的，所述执行时长为集群的各种计算资源配置组合需求的执行时长，即针对集群中不同的硬件设备，其执行计算任务的时间将会不同。基于计算任务资源需求和计算任务利用时长预测模型来预测计算任务的执行时长。
Xgboost模型为梯度提升模型的一种，Xgboost将损失函数作二阶泰勒展开，利用损失函数的二阶导数信息优化损失函数，根据损失函数是否减小来贪心的选择是否分裂节点。同时，Xgboost在防止过拟合方面加入了正则化、学习率、列采样、近似最优分割点等手段。在处理缺失值方面也做了一定的优化。
本申请通过长预测模型实现对计算任务的执行时长的预测。
进一步的，所述预设时间段内的计算资源占用比例的预测包括：
获取并序列化处理所述计算任务前至少两个时段的计算任务数量、计算任务的任务执行时长和有效计算资源数量；
将序列化处理后的所述计算任务数量、计算任务执行时长和有效计算资源数量输入至LSTM模型，预测所述计算任务下一时段的序列特征；
统计当前资源信息和当前任务信息；
将所述下一时段的序列特征、当前资源信息和当前任务信息输入至LR模型，得到所述预设时段的计算资源占用比例。
具体的，将输入计算任务前各时段的任务数量、任务有效执行时长、有效资源数量等数据序列化，得到序列化特征，采用LSTM+LR模型训练数据。其中，LSTM模型输入为不少于2个时段的序列特征，预测下一时段的序列特征；结合当前资源信息和当前任务信息特征，将下一时段的序列特征、当前资源信息和当前任务信息特征作为模型输入，输入到LR模型中，预测下一时段的计算资源占用比例。所述时段的长度可自由设定，在本案中，一个时段为半小时。所述预设时段即为输入计算任务后设定的多个时段中的计算资源占用比例情况。预设时段可由用户进行自由设定，在本案中，预设时段为输入计算任务后的一时段，即输入计算任务后的半小时。
其中，小任务预测，每隔1小时预测；大任务预测，每隔10分钟更新数据。各任务被执行，占用资源情况，实时同步到特征缓存数据中。
所述时段为根据需求预先设定的，在本案中以半小时为一时段。对于输入所述计算任务前不少于2个时段的计算任务数量、计算任务的执行时长和有效计算资源数量直接从数据库中保存的历史计算任务数据中获取。
所述大小任务的判断，通过预测的执行时长与预设时长进行比较判断得出的，若执行时长小于预设时长则为小任务，反之，则为大任务；预设时长的设定将根据集群配置来设定，例如一般配置的集群，可以设定预设时长为10分钟；对大小任务的判断还可以加入计算任务的计算资源需求来判定，一般的计算资源需求就等于Map+Reduce的数量，例如可设定标准任务的任务时长和计算资源需求的80％～90％为的分界值，所述标准任务为利用历史小任务的数据统计得来的。
通过利用LSTM和LR模型，实现对计算资源占用比例的预测，并便于后续步骤的展开。
S4、根据所述任务执行时长、所述预设时间段内的计算资源占用比例和所述优先级设定指令，对所述计算任务进行策略判断；
具体的，所述策略判断包括进行优先级判断、当前时段能否完成等判断。
进一步的，解析所述优先级设定指令，判断所述计算任务是否为紧急任务；
若不是，则根据所述执行时长、所述预设时间段的计算资源占用比例，判断当前时段是否能完成计算任务；
若是紧急任务，立即进入计算资源配置过程，优先安排计算资源；如果非紧急，继续后续规则处理；
所述判断当前时段是否可以完成计算任务的步骤包括：
获取当前任务预测执行时长、任务资源需求和预测的当前后续各半小时内的计算资源占用情况，判断当前时段是否可以完成计算；之后再判断计算任务的大小，若是小任务，直接进入计算资源配置过程；如若是大任务，则进入后续资源配置运筹学求优过程；避免直接将大任务输入计算资源配置队列来卡住队列。
若当前时段不能完成计算，则判断是否在预设时段(如上班时段)可以完成计算，以及保证任务执行的交付时间的最晚执行时间点。
若可以完成计算，则进入资源配置运筹学求优过程。
通过进行策略判断，分别对紧急任务、小任务和大任务进行分别对应处理，提高对集群资源的利用率。
S5、当策略判断结果为紧急任务和小任务时，将所述紧急任务和小任务输入计算资源配置队列；当策略判断结果为大任务时，利用运筹学算法确定所述大任务的计算资源配置方案，利用所述配置方案进行计算资源的配置，并输入所述计算资源配置队列；
具体的，在经过策略判断后，得到策略判断结果，即当策略判断结果为大任务时，将利用运筹学算法确定所述大任务的计算资源配置方案，利用所述配置方案进行计算资源的配置；当策略判断结果为紧急任务和小任务时，直接将所述紧急任务和小任务输入计算资源配置队列。通过将大小任务单独配置，小任务在配置时，将配置足额的计算资源并带有一定的缓冲，即足量的计算资源。
进一步的，所述利用运筹学算法确定所述大任务的计算资源配置方案包括：
通过建立运筹学时间资源代价矩阵来计算大任务最优的任务等待时长；
根据所述最优的任务等待时长，得到最优的所述计算资源配置方案；
具体的，将进入排队的大任务建立运筹学时间资源代价矩阵，目标为任务等待时长最短和计算资源消耗最少。其中，主要约束条件为:
1)任务执行结束时间小于交付需求时间；
2)各时段的时间资源代价不溢出；
3)各计算资源组合同一时间执行任务唯一性等。
运筹学时间资源代价矩阵，其单位pcs.s,即cpu核数.时间s，时间可以以秒，也可以以分为单位；业务含义：计算cpu占用时间，将cpu可利用的资源量化，每个cpu的每一秒就是一个资源单元。
所述运筹学时间资源代价矩阵，Ci*j，其中I是指第i个任务，j是指第j个cpu.min资源单元，
Cij，是指第j个资源单元执行该任务等待的时间
目标函数为：mininize(∑Cij)，即计算等待时长加总，寻找最短的等待时长。
通过利用运筹学时间资源代价矩阵确定大任务的最佳配置方案，从而来对集群资源进行调配。
再进一步的，所述根据述最优的任务等待时长，得到最优的所述计算资源配置方案还包括：
输出预计完成时间至客户端；
若当前时间超过上述预计完成时间的，通过发送邮件告知开发人员。
根据计算结果，将任务放置到任务时间段队列中，到时间自动触发资源获取。并同时，返回任务预计完成时间给到用户；在本案中预设时长为1小时，计算延迟一小时以上的，并通过邮件告知给到用户。
在小任务已排入计算资源配置队列，将大任务按照已计算好的计算资源配置方案进行配置，并设置任务时间队列，到执行之间时，将自动触发执行。
通过上述发送邮件，来提醒用户该计算任务超过预计完成时间，以便用户进一步处理。
S6、根据所述计算资源配置队列对集群资源进行调度；
通过上述计算资源配置队列对集群资源进行调度分配。
需要强调的是，为了进一步保证数据的私密性和安全性，所述计算任务的所有数据还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
通过将计算任务进行语句解析，来判断计算任务的合理性，实现对计算任务的预处理；基于预设的知识图谱进行任务资源需求的计算，来进一步得出计算任务的信息；基于所述计算任务和所述任务资源需求，利用预先训练的预测模型预测任务执行时长以及预设时间段内的计算资源占用比例，根据所述任务执行时长、所述预设时间段内的计算资源占用比例和所述优先级设定指令，对所述计算任务进行策略判断，通过策略判断来得出对于计算任务在集群资源中的分配方式；当策略判断结果为紧急任务和小任务时，将所述紧急任务和小任务输入计算资源配置队列；当策略判断结果为大任务时，利用运筹学算法确定所述大任务的计算资源配置方案，利用所述配置方案进行计算资源的配置，并输入所述计算资源配置队列；根据所述计算资源配置队列对集群资源进行调度，通过策略判断对紧急任务、小任务、大任务分别配置，能够有效的将计算任务匹配到集群资源中其适合的硬件设备，提高了集群资源的综合利用率。
如图2所示，是本申请集群资源调度装置的功能模块图。
本申请所述集群资源调度装置100可以安装于电子设备中。根据实现的功能，所述集群资源调度装置100可以包括接收模块101、解析计算模块102、预测模块103、判断模块104、队列排队模块105和调度模块106。本申请中所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
接收模块101，用于接收计算任务及其优先级设定指令；
具体的，具体的，接收由用户提交的数据计算任务并且接收用户对该计算任务的优先级设定，所述优先级设定主要分为紧急任务和非紧急任务。
解析计算模块102，用于将所述计算任务进行语句解析，并基于预设的知识图谱进行任务资源需求的计算；
具体的，通过对计算任务进行解析，进而对计算任务进行预处理，并基于预设的知识图谱进行任务资源需求的计算，即利用计算任务搜索知识图谱的步骤，确定计算任务对应的任务资源需求。
所述集群资源调度装置还包括解析任务模块和知识图谱建立模块；
所述解析任务模块用于获取历史计算任务的数据，解析所述历史计算任务的执行语句；
所述知识图谱建立模块用于基于解析结果和所述历史计算任务的数据建立预设的知识图谱。
具体的，解析任务模块通过解析历史计算任务的执行语句，得到入参字段、出参字段、计算关键字、数据范围等，知识图谱建立模块通过获取数据库中历史计算任务的数据表，将数据表作为节点、数据表中的字段作为节点属性，计算任务作为连接关系，获取计算资源配置组合，使用计算资源配置组合、入参字段、出参字段、计算关键字、数据范围、执行时长等作为连接关系属性，以此建立计算任务的知识图谱。并周期性更新图谱的统计数据，即在有计算任务不断被执行时，该知识图谱将不断的补充丰富。
通过建立知识图谱，能全面展示历史计算任务情况，并且能为后续的计算任务提供参考。
所述解析计算模块102包括解析任务数量子模块、查询子模块和任务资源需求子模块；
所述解析任务数量子模块用于解析所述计算任务，得到所述计算任务中Map任务与Reduce任务的数量；
所述查询子模块用于根据所述Map任务与Reduce任务数量，查询所述知识图谱中历史计算任务的计算资源的消耗情况；
所述任务资源需求子模块用于根据所述历史计算任务的计算资源的消耗情况，确定所述任务资源需求；
具体的，解析任务数量子模块通过解析计算任务，得到计算任务中的Map任务和Reduce任务的数量，查询子模块基于所述Map任务和Reduce任务的数量，来查询所述知识图谱，任务资源需求子模块得到对应的历史计算任务的计算资源消耗情况，从而确定所述计算任务的任务资源需求。
通过解析任务数量子模块、查询子模块和任务资源需求子模块的配合得到计算任务的任务资源需求，从而完善计算任务的信息，便于后续步骤的开展。
所述集群资源调度装置还包括获取数量模块和数值判断模块；
所述获取数量模块用于获取所述计算任务中Map任务的数量；
所述数值判断模块用于判断若所述Map任务的数量超过预设数值，则退回所述计算任务并输出报错原因；
通过上述模块，进行计算任务的合理性检测，避免不合理的计算任务进入计算资源配置队列中，从而避免卡住计算资源配置队列。
所述解析计算模块102还包括：语法检测子模块；
语法检测子模块对所述计算任务进行语法检测；若检测出语法有问题，将直接退回计算任务并输出报错原因。
具体的，语法检测子模块对计算任务语法进行检测，若检测出语法有问题，则直接将报错原因以及计算任务返回给用户重新检查，并跳出任务执行。
通过上述模块，进行语法检测，提前检测出有问题的计算任务，以便于计算资源配置队列中的任务能顺利进行。
预测模块103，用于基于所述计算任务和所述任务资源需求，利用预先训练的预测模型预测任务执行时长以及预设时间段内的计算资源占用比例，所述预测模型由历史计算任务数据训练得到；
所述预测模块103包括时长预测子模块；
所述时长预测子模块根据所述计算任务资源需求和计算任务，利用时长预测模型预测所述计算任务的任务执行时长，所述时长预测模型基于Xgboost模型。
通过上述模块，实现对计算任务的执行时长的预测。
所述预测模块103包括处理子模块、序列特征预测子模块、统计子模块和计算资源占用比例预测子模块；
所述处理子模块用于获取并序列化处理所述计算任务前至少两个时段的计算任务数量、计算任务的任务执行时长和有效计算资源数量；
所述序列特征预测子模块用于将序列化处理后的所述计算任务数量、计算任务执行时长和有效计算资源数量输入至LSTM模型，预测所述计算任务下一时段的序列特征；
所述统计子模块用于统计当前资源信息和当前任务信息；
所述计算资源占用比例预测子模块用于将所述下一时段的序列特征、当前资源信息和当前任务信息输入至LR模型，得到所述预设时段的计算资源占用比例。
具体的，所述处理子模块将输入计算任务前各时段的任务数量、任务有效执行时长、有效资源数量等数据序列化，得到序列化特征，采用LSTM+LR模型训练数据。其中，所述序列特征预测子模块利用LSTM模型输入为不少于2个时段的序列特征，预测下一时段的序列特征；结合统计子模块统计的当前资源信息和当前任务信息特征，计算资源占用比例预测子模块将下一时段的序列特征、当前资源信息和当前任务信息特征作为模型输入，输入到LR模型中，预测下一时段的计算资源占用比例。
通过处理子模块、序列特征预测子模块、统计子模块和计算资源占用比例预测子模块的配合，实现对计算资源占用比例的预测，并便于后续步骤的展开。
判断模块104用于根据所述任务执行时长、所述预设时间段内的计算资源占用比例和所述优先级设定指令，对所述计算任务进行策略判断；
队列排队模块105用于当策略判断结果为紧急任务和小任务时，将所述紧急任务和小任务输入计算资源配置队列；当策略判断结果为大任务时，利用运筹学算法确定所述大任务的计算资源配置方案，利用所述配置方案进行计算资源的配置，并输入所述计算资源配置队列。
具体的，队列排队模块105用于当策略判断结果为大任务时，将利用运筹学算法确定所述大任务的计算资源配置方案，利用所述配置方案进行计算资源的配置；当策略判断结果为紧急任务和小任务时，直接将所述紧急任务和小任务输入计算资源配置队列。通过将大小任务单独配置，小任务在配置时，将配置足额的计算资源并带有一定的缓冲，即过量的计算资源。
所述队列排队模块包括时长计算子模块和资源配置方案子模块；
所述时长计算子模块通过建立运筹学时间资源代价矩阵来计算大任务最优的任务等待时长；
所述资源配置方案子模块根据所述最优的任务等待时长，得到最优的所述计算资源配置方案；
通过时长计算子模块和资源配置方案子模块的配合确定大任务的最佳配置方案从而来对集群资源进行调配。
所述资源配置方案子模块还包括：输出单元和邮件发送单元；
所述输出单元用于输出预计完成时间至客户端；
邮件发送单元用于若当前时间超过上述预计完成时间的，通过发送邮件告知开发人员；
通过输出单元和邮件发送单元的配合，来提醒用户该计算任务超过预计完成时间，以便用户进一步处理。
调度模块106，用于根据所述计算资源配置队列对集群资源进行调度；
需要强调的是，为了进一步保证数据的私密性和安全性，所述计算任务的所有数据还可以存储于一区块链的节点中。
通过采用上述装置，所述集群资源调度装置100通过接收模块101、解析计算模块102、预测模块103、判断模块104、队列排队模块105和调度模块106的配合使用，能够有效的将计算任务匹配到集群资源中其适合的硬件设备，提高了集群资源的综合利用率。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图3，图3为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如集群资源调度方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述集群资源调度方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本实施例通过处理器执行存储在存储器的计算机可读指令时实现如上述实施例集群资源调度方法的步骤，通过将计算任务进行语句解析，来判断计算任务的合理性，实现对计算任务的预处理；基于预设的知识图谱进行任务资源需求的计算，来进一步得出计算任务的信息；基于所述计算任务和所述任务资源需求，利用预先训练的预测模型预测任务执行时长以及预设时间段内的计算资源占用比例，根据所述任务执行时长、所述预设时间段内的计算资源占用比例和所述优先级设定指令，对所述计算任务进行策略判断，通过策略判断来得出对于计算任务在集群资源中的分配方式；当策略判断结果为紧急任务和小任务时，将所述紧急任务和小任务输入计算资源配置队列；当策略判断结果为大任务时，利用运筹学算法确定所述大任务的计算资源配置方案，利用所述配置方案进行计算资源的配置，并输入所述计算资源配置队列；根据所述计算资源配置队列对集群资源进行调度，通过策略判断对紧急任务、小任务、大任务分别配置，能够有效的将计算任务匹配到集群资源中其适合的硬件设备，提高了集群资源的综合利用率。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的集群资源调度方法的步骤，通过将计算任务进行语句解析，来判断计算任务的合理性，实现对计算任务的预处理；基于预设的知识图谱进行任务资源需求的计算，来进一步得出计算任务的信息；基于所述计算任务和所述任务资源需求，利用预先训练的预测模型预测任务执行时长以及预设时间段内的计算资源占用比例，根据所述任务执行时长、所述预设时间段内的计算资源占用比例和所述优先级设定指令，对所述计算任务进行策略判断，通过策略判断来得出对于计算任务在集群资源中的分配方式；当策略判断结果为紧急任务和小任务时，将所述紧急任务和小任务输入计算资源配置队列；当策略判断结果为大任务时，利用运筹学算法确定所述大任务的计算资源配置方案，利用所述配置方案进行计算资源的配置，并输入所述计算资源配置队列；根据所述计算资源配置队列对集群资源进行调度，通过策略判断对紧急任务、小任务、大任务分别配置，能够有效的将计算任务匹配到集群资源中其适合的硬件设备，提高了集群资源的综合利用率。所述计算机可读存储介质可以是非易失性，也可以是易失性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种集群资源调度方法，其特征在于，所述方法包括：
接收计算任务及其优先级设定指令；
将所述计算任务进行语句解析，并基于预设的知识图谱进行任务资源需求的计算；
基于所述计算任务和所述任务资源需求，利用预先训练的预测模型预测任务执行时长以及预设时间段内的计算资源占用比例，所述预测模型由历史计算任务数据训练得到；
根据所述任务执行时长、所述预设时间段内的计算资源占用比例和所述优先级设定指令，对所述计算任务进行策略判断；
当策略判断结果为紧急任务和小任务时，将所述紧急任务和小任务输入计算资源配置队列；
当策略判断结果为大任务时，利用运筹学算法确定所述大任务的计算资源配置方案，利用所述配置方案进行计算资源的配置，并输入所述计算资源配置队列；
根据所述计算资源配置队列对集群资源进行调度。
2.根据权利要求1所述的集群资源调度方法，其特征在于，在所述将所述计算任务进行语句解析之前，还包括：
获取历史计算任务的数据，解析所述历史计算任务的执行语句；
基于解析结果和所述历史计算任务的数据建立预设的知识图谱。
3.根据权利要求2所述的集群资源调度方法，其特征在于，所述将所述计算任务进行语句解析，并基于预设的知识图谱进行任务资源需求的计算包括：
解析所述计算任务，得到所述计算任务中Map任务与Reduce任务的数量；
根据所述Map任务与Reduce任务的数量，查询所述知识图谱中历史计算任务的计算资源的消耗情况；
根据所述历史计算任务的计算资源的消耗情况，确定所述任务资源需求。
4.根据权利要求3所述的集群资源调度方法，其特征在于，在所述将所述计算任务进行语句解析之后，还包括：
获取所述计算任务中Map任务的数量；
若所述Map任务的数量超过预设数值，则退回所述计算任务并输出报错原因。
5.根据权利要求1所述的集群资源调度方法，其特征在于，所述基于所述计算任务和所述任务资源需求，利用预先训练的预测模型预测任务执行时长包括：
根据所述计算任务资源需求和计算任务，利用时长预测模型预测所述计算任务的任务执行时长，所述时长预测模型基于Xgboost模型。
6.根据权利要求1所述的集群资源调度方法，其特征在于，所述预设时间段内的计算资源占用比例的预测包括：
获取并序列化处理所述计算任务前至少两个时段的计算任务数量、计算任务的任务执行时长和有效计算资源数量；
将序列化处理后的所述计算任务数量、计算任务执行时长和有效计算资源数量输入至LSTM模型，预测所述计算任务下一时段的序列特征；
统计当前资源信息和当前任务信息；
将所述下一时段的序列特征、当前资源信息和当前任务信息输入至LR模型，得到所述预设时段的计算资源占用比例。
7.根据权利要求1至6中任一项所述的集群资源调度方法，其特征在于，所述利用运筹学算法确定所述大任务的计算资源配置方案包括：
通过建立运筹学时间资源代价矩阵来计算大任务最优的任务等待时长；
根据所述最优的任务等待时长，得到最优的所述计算资源配置方案。
8.一种集群资源调度装置，其特征在于，所述装置包括：
接收模块，用于接收计算任务及其优先级设定指令；
解析计算模块，用于将所述计算任务进行语句解析，并基于预设的知识图谱进行任务资源需求的计算；
预测模块，用于基于所述计算任务和所述任务资源需求，利用预先训练的模型预测任务执行时长以及预设时间段内的计算资源占用比例，所述模型由历史计算任务数据训练得到；
判断模块，用于根据所述任务执行时长、所述预设时间段内的计算资源占用比例和所述优先级设定指令，对所述计算任务进行策略判断；
队列排队模块，用于当策略判断结果为紧急任务和小任务时，将所述紧急任务和小任务输入计算资源配置队列；当策略判断结果为大任务时，利用运筹学算法确定所述大任务的计算资源配置方案，利用所述配置方案进行计算资源的配置，并输入所述计算资源配置队列；
调度模块，用于根据所述计算资源配置队列对集群资源进行调度。
9.一种计算机设备，其特征在于，所述计算机设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一所述的集群资源调度方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一所述的集群资源调度方法。
CN202011288870.5A 2020-11-17 2020-11-17 一种集群资源调度方法、装置、计算机设备及存储介质 Pending CN112328399A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011288870.5A CN112328399A (zh) 2020-11-17 2020-11-17 一种集群资源调度方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011288870.5A CN112328399A (zh) 2020-11-17 2020-11-17 一种集群资源调度方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112328399A true CN112328399A (zh) 2021-02-05

Family

ID=74322502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011288870.5A Pending CN112328399A (zh) 2020-11-17 2020-11-17 一种集群资源调度方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112328399A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010290A (zh) * 2021-03-18 2021-06-22 山东英信计算机技术有限公司 一种任务管理方法、装置、设备及存储介质
CN113778646A (zh) * 2021-08-22 2021-12-10 物产中大公用环境投资有限公司 一种基于执行时间预测的任务层级调度方法及装置
CN114205160A (zh) * 2021-12-13 2022-03-18 深圳前海微众银行股份有限公司 基于区块链的数据处理方法、装置及电子设备
CN114461053A (zh) * 2021-08-24 2022-05-10 荣耀终端有限公司 资源调度方法及相关装置
CN115495321A (zh) * 2022-11-18 2022-12-20 天河超级计算淮海分中心 一种超算节点使用状态自动识别方法
CN115495224B (zh) * 2022-11-18 2023-03-24 天河超级计算淮海分中心 基于优先级的超算节点使用方法、电子设备和存储介质
CN116048773A (zh) * 2022-10-25 2023-05-02 北京京航计算通讯研究所 一种基于波函数坍缩的分布式协作任务指派方法和系统
CN116302481A (zh) * 2023-01-06 2023-06-23 上海交通大学 基于稀疏知识图谱链接预测的资源分配方法及系统
CN116360990A (zh) * 2023-03-27 2023-06-30 合芯科技有限公司 分布式计算任务合理性预判方法、系统、设备和存储介质
CN116382925A (zh) * 2023-06-05 2023-07-04 北京纷扬科技有限责任公司 一种任务队列的动态调整方法、装置及存储介质
CN117032937A (zh) * 2023-09-28 2023-11-10 之江实验室 基于gpu的任务调度方法、电子装置和存储介质
CN117591382A (zh) * 2024-01-19 2024-02-23 融科联创(天津)信息技术有限公司 服务器故障智能监测方法、装置、设备及介质

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010290A (zh) * 2021-03-18 2021-06-22 山东英信计算机技术有限公司 一种任务管理方法、装置、设备及存储介质
CN113778646B (zh) * 2021-08-22 2024-04-05 物产中大公用环境投资有限公司 一种基于执行时间预测的任务层级调度方法及装置
CN113778646A (zh) * 2021-08-22 2021-12-10 物产中大公用环境投资有限公司 一种基于执行时间预测的任务层级调度方法及装置
CN114461053A (zh) * 2021-08-24 2022-05-10 荣耀终端有限公司 资源调度方法及相关装置
CN114205160A (zh) * 2021-12-13 2022-03-18 深圳前海微众银行股份有限公司 基于区块链的数据处理方法、装置及电子设备
CN114205160B (zh) * 2021-12-13 2024-05-28 深圳前海微众银行股份有限公司 基于区块链的数据处理方法、装置及电子设备
CN116048773A (zh) * 2022-10-25 2023-05-02 北京京航计算通讯研究所 一种基于波函数坍缩的分布式协作任务指派方法和系统
CN116048773B (zh) * 2022-10-25 2024-05-28 北京京航计算通讯研究所 一种基于波函数坍缩的分布式协作任务指派方法和系统
CN115495224B (zh) * 2022-11-18 2023-03-24 天河超级计算淮海分中心 基于优先级的超算节点使用方法、电子设备和存储介质
CN115495321A (zh) * 2022-11-18 2022-12-20 天河超级计算淮海分中心 一种超算节点使用状态自动识别方法
CN116302481B (zh) * 2023-01-06 2024-05-14 上海交通大学 基于稀疏知识图谱链接预测的资源分配方法及系统
CN116302481A (zh) * 2023-01-06 2023-06-23 上海交通大学 基于稀疏知识图谱链接预测的资源分配方法及系统
CN116360990B (zh) * 2023-03-27 2024-01-09 合芯科技有限公司 分布式计算任务合理性预判方法、系统、设备和存储介质
CN116360990A (zh) * 2023-03-27 2023-06-30 合芯科技有限公司 分布式计算任务合理性预判方法、系统、设备和存储介质
CN116382925A (zh) * 2023-06-05 2023-07-04 北京纷扬科技有限责任公司 一种任务队列的动态调整方法、装置及存储介质
CN116382925B (zh) * 2023-06-05 2023-08-15 北京纷扬科技有限责任公司 一种任务队列的动态调整方法、装置及存储介质
CN117032937A (zh) * 2023-09-28 2023-11-10 之江实验室 基于gpu的任务调度方法、电子装置和存储介质
CN117032937B (zh) * 2023-09-28 2024-01-09 之江实验室 基于gpu的任务调度方法、电子装置和存储介质
CN117591382A (zh) * 2024-01-19 2024-02-23 融科联创(天津)信息技术有限公司 服务器故障智能监测方法、装置、设备及介质
CN117591382B (zh) * 2024-01-19 2024-04-30 融科联创(天津)信息技术有限公司 服务器故障智能监测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN112328399A (zh) 一种集群资源调度方法、装置、计算机设备及存储介质
CN110163474A (zh) 一种任务分配的方法及设备
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
US8756209B2 (en) Computing resource allocation based on query response analysis in a networked computing environment
CN106020933B (zh) 基于超轻量虚拟机的云计算动态资源调度系统及方法
CN112541745B (zh) 用户行为数据分析方法、装置、电子设备及可读存储介质
CN111338791A (zh) 集群队列资源的调度方法、装置、设备及存储介质
CN114039918B (zh) 一种信息年龄优化方法、装置、计算机设备及存储介质
WO2022126961A1 (zh) 针对数据偏移的目标对象行为预测方法及其相关设备
CN112017042A (zh) 基于tweedie分布的资源配额确定方法、装置和电子设备
CN115292016A (zh) 基于人工智能的任务调度方法及相关设备
CN115794341A (zh) 基于人工智能的任务调度方法、装置、设备及存储介质
CN111581258A (zh) 一种安全数据分析方法、装置、系统、设备及存储介质
CN110751376B (zh) 工单的分配调度方法、装置、计算机设备和存储介质
CN115202847A (zh) 任务的调度方法和装置
CN109614236B (zh) 集群资源动态调整方法、装置、设备及可读存储介质
CN110648045A (zh) 风险评估方法、电子装置及计算机可读存储介质
CN114221908A (zh) 动态限流熔断处理方法、装置、计算机设备及存储介质
CN113191533A (zh) 仓库用工预测方法、装置、设备及存储介质
CN113506023A (zh) 工作行为数据分析方法、装置、设备及存储介质
CN117649928A (zh) 一种面向医院病患服务的任务调度方法和装置
CN116843395A (zh) 一种业务系统的告警分级方法、装置、设备及存储介质
Konovalov et al. Improving routing decisions in parallel non-observable queues
CN116386813A (zh) 手术间负荷均衡方法、装置、设备及存储介质
CN114239325B (zh) 机场值机托运柜台配置规划方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination