CN111078404A - 一种计算资源确定方法、装置、电子设备及介质 - Google Patents

一种计算资源确定方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN111078404A
CN111078404A CN201911253662.9A CN201911253662A CN111078404A CN 111078404 A CN111078404 A CN 111078404A CN 201911253662 A CN201911253662 A CN 201911253662A CN 111078404 A CN111078404 A CN 111078404A
Authority
CN
China
Prior art keywords
task
resource usage
resource
utilization rate
current batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911253662.9A
Other languages
English (en)
Other versions
CN111078404B (zh
Inventor
王一光
和利冰
文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911253662.9A priority Critical patent/CN111078404B/zh
Publication of CN111078404A publication Critical patent/CN111078404A/zh
Application granted granted Critical
Publication of CN111078404B publication Critical patent/CN111078404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种计算资源确定方法、装置、电子设备及介质。方法包括：基于对应同一目标资源使用量的至少一个任务构建当前批次任务集；获取当前批次任务集中任务的预期资源使用量；基于当前批次任务集中任务的预期资源使用量为当前批次任务集中任务分配对应的节点；向对应的节点发送第一任务执行指令；获取对应的节点执行任务的实际资源使用量，以及根据当前批次任务集中任务的预期资源使用量和对应的节点执行任务的实际资源使用量得到任务的资源使用率；基于任务的资源使用率得到当前批次任务集的资源使用率；基于当前批次任务集的资源使用率与资源使用率阈值的比较结果确定下一批次任务集中任务的预期资源使用量。

Description

一种计算资源确定方法、装置、电子设备及介质
技术领域
本发明涉及互联网通信技术领域，尤其涉及一种计算资源确定方法、装置、电子设备及介质。
背景技术
随着互联网通信技术的发展，需要利用计算资源的业务场景越来越多，以及在相关业务场景中对计算资源的有效利用也很重要。这些业务场景可以对应数据清洗业务、样本生成业务、离线预测业务、用户画像业务等等，尤其是涉及海量数据的业务场景。
现有技术中，相关业务场景对应的任务执行往往仅基于用户的预先配置来确定计算资源，也就是说，计算资源的确定完全依赖用户的预先配置。这样会忽略任务执行过程中面临的诸多实际问题，并不能确保任务执行成功。因此，需要提供对计算资源更准确有效的确定方案。
发明内容
为了解决现有技术应用在对计算资源进行确定时，准确性差、不能保证任务有效执行等问题，本发明提供了一种计算资源确定方法、装置、电子设备及介质：
一方面，本发明提供了一种计算资源确定方法，所述方法包括：
基于至少一个任务构建当前批次任务集，所述至少一个任务对应同一目标资源使用量；
获取所述当前批次任务集中任务的预期资源使用量；
基于所述当前批次任务集中任务的预期资源使用量为所述当前批次任务集中任务分配对应的节点；
向所述对应的节点发送第一任务执行指令，以使所述对应的节点执行所述任务，所述对应的节点执行所述任务时所分配的资源使用量小于等于所述当前批次任务集中任务的预期资源使用量；
获取所述对应的节点执行所述任务的实际资源使用量，以及根据所述当前批次任务集中任务的预期资源使用量和所述对应的节点执行所述任务的实际资源使用量得到所述任务的资源使用率；
基于所述任务的资源使用率得到所述当前批次任务集的资源使用率；
基于所述当前批次任务集的资源使用率与资源使用率阈值的比较结果确定下一批次任务集中任务的预期资源使用量。
另一方面提供了一种计算资源确定装置，所述装置包括：
任务集构建模块：用于基于至少一个任务构建当前批次任务集，所述至少一个任务对应同一目标资源使用量；
预期资源使用量获取模块：用于获取所述当前批次任务集中任务的预期资源使用量；
节点分配模块：用于基于所述当前批次任务集中任务的预期资源使用量为所述当前批次任务集中任务分配对应的节点；
任务执行模块：用于向所述对应的节点发送第一任务执行指令，以使所述对应的节点执行所述任务，所述对应的节点执行所述任务时所分配的资源使用量小于等于所述当前批次任务集中任务的预期资源使用量；
第一参数确定模块：用于获取所述对应的节点执行所述任务的实际资源使用量，以及根据所述当前批次任务集中任务的预期资源使用量和所述对应的节点执行所述任务的实际资源使用量得到所述任务的资源使用率；
第二参数确定模块：用于基于所述任务的资源使用率得到所述当前批次任务集的资源使用率；
预期资源使用量更新模块：用于基于所述当前批次任务集的资源使用率与资源使用率阈值的比较结果确定下一批次任务集中任务的预期资源使用量。
另一方面提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的计算资源确定方法。
另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的计算资源确定方法。
本发明提供的一种计算资源确定方法、装置、电子设备及介质，具有如下技术效果：
本发明结合任务执行过程中面临的诸多实际问题，以批次任务集的维度得到当前批次任务集的资源使用率，可以更细粒度确定下一批次任务集中任务的预期资源使用量。对于计算资源的确定不局限于用户的预先配置，能够提高确定计算资源的准确性及适应性，能够保证任务有效执行，避免了因用户配置过少导致任务执行失败的情况，也避免了因用户配置过多造成计算资源浪费的情形。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例提供的一种应用环境的示意图；
图2是本发明实施例提供的一种计算资源确定方法的流程示意图；
图3是本发明实施例提供的得到任务的第一资源使用率的一种流程示意图；
图4是本发明实施例提供的得到当前批次任务集的资源使用率的一种流程示意图；
图5也是本发明实施例提供的一种计算资源确定方法的流程示意图；
图6是本发明实施例提供的对应的节点执行任务的示意图；
图7也是本发明实施例提供的执行第一批次任务集至执行第二批次任务集的示意图；
图8是本发明实施例提供的一种计算资源确定装置的组成框图；
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，图1是本发明实施例提供的一种应用环境的示意图，可以包括客户端01和服务器02，客户端与服务器通过网络连接。用户通过客户端对任务进行计算资源配置，服务器基于配置的计算资源执行任务输出任务执行结果。需要说明的是，图1仅仅是一种示例。
具体的，客户端01可以包括智能手机、台式电脑、平板电脑、笔记本电脑、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、数字助理、智能可穿戴设备等类型的实体设备，也可以包括运行于实体设备中的软体，比如计算机程序。客户端01上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
具体的，所述服务器02可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器02可以包括有网络通信单元、处理器和存储器等等。所述服务器02可以为上述客户端提供后台服务。
在实际应用中，可以构建计算平台以基于集群为任务分配节点(计算节点、计算服务器)，该计算平台可以提供分布式环境。该计算平台的构建可以基于Hadoop(一个由Apache(阿帕奇)基金会所开发的分布式系统基础架构，可以提供分布式的计算、存储、调度功能)，进一步的，该计算平台的构建可以基于MapReduce(一种分布式计算框架，包含Map(映射)和Reduce(归约)两个阶段，Map阶段将输入拆分成多个任务分发到对应的节点，Reduce阶段汇总处理Map阶段任务的输出)。
该计算平台可以包括客户端、管理服务器以及至少一个集群(每个集群由多个节点组成)，用户可以利用客户端提交任务并对任务进行计算资源配置，管理服务器基于集群为任务分配节点，再由节点执行任务、输出任务执行结果。
该计算平台可以为大数据计算平台，利用该计算平台可以执行涉及海量数据的业务场景下的分布式计算任务，比如数据清洗、样本生成(比如推荐算法样本生成)、离线计算(比如离线预测)等业务。该计算平台也适用于私有云与公有云业务场景。当然，该计算平台可以只包括客户端和管理服务器，用户可以利用客户端提交任务并对任务进行计算资源配置，管理服务器基于对应的集群为任务分配节点。
以下介绍本发明一种计算资源确定方法的具体实施例，图2是本发明实施例提供的一种计算资源确定方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述方法可以包括：
S201：基于至少一个任务构建当前批次任务集，所述至少一个任务对应同一目标资源使用量；
在本发明实施例中，当前批次任务集和下一批次任务集指向同一作业。一个作业可以包括多个任务集。当前批次任务集中任务(Task)的业务属性(比如业务场景、类型)和下一批次任务集中任务的业务属性是相同的。当前批次任务集可以包括多个任务，这些任务对应同一目标资源使用量。下一批次任务集可以包括多个任务，这些任务也对应所述目标资源使用量。每一批次任务集中任务的数量可以不同。
所述目标资源使用量可以是基于用户对计算资源的预先配置得到的，所述计算资源包括从处理资源、存储资源组成的群组中选择的至少一个。比如，目标资源使用量可以包括以CPU(central processing unit，中央处理器)核数(比如2核)表征的处理资源使用量以及以内存大小数值(比如1GB)表征的存储资源使用量。具体的，用户可以利用客户端(一次)提交作业并对作业进行计算资源配置，比如用户可以在作业提交阶段以CPU核数指定处理资源的参数配置、以内存大小数值指定存储资源的参数配置。对于提交的作业，可以由管理服务器确定需要执行该作业的集群(比如是集群A而不是集群D)，以及其中确定具体的节点(比如集群A中的节点2-88)，进而由这些节点执行该作业。
在实际应用中，计算平台可以响应于作业处理请求创建作业处理进程，所述作业处理请求携带针对作业的计算资源配置信息。具体的，客户端基于用户提交的作业以及对作业进行的计算资源配置生成所述作业处理请求。该计算平台的管理服务器可以包括管理调度模块(YARN，负责管理集群的计算资源以及调度作业)，具体的，可以由所述管理调度模块响应于作业处理请求创建作业处理进程(AM，ApplicationMaster)。作业处理进程可以作为所述作业处理请求携带的作业的的主控制进程，可以由作业处理进程向RM(ResourceManager，管理调度模块的主节点；它可以维护集群的计算资源和作业的执行状态，以及管理所有集群的计算资源的分配与回收)申请计算资源，以及启动任务、管理任务的执行状态。
进一步的，作业处理进程可以基于上述计算资源配置信息将作业切分为多个任务，这些任务的目标资源使用量相同，在执行过程中需要的CPU核数和内存大小数值都都完全相同。这样可以利用作业处理进程从这些任务中进行抽取来构建当前批次任务集。
其中，作业处理请求携带的作业可以为一个MapReduce作业，该MapReduce作业可以被拆分成若干任务(可以分为Map Task和Reduce Task两种类型，Map Task对应对原始输入的数据分片的处理，Reduce Task对应基于Map Task的输出数据作进一步汇总处理)，每个任务被分派至集群的某一节点上执行。
S202：获取所述当前批次任务集中任务的预期资源使用量；
在本发明实施例中，所述当前批次任务集中任务的预期资源使用量(当前批次预期资源使用量)是按照步骤S203-S207处理上一批次任务集中任务得到的。当前批次任务集和上一批次任务集指向同一作业，那么获取到的当前批次预期资源使用量考虑到了同一作业(比如MapReduce作业)的任务资源消耗与业务场景(比如作业本身的计算逻辑)间的关系，并不完全依赖用户的预先配置。这样便于达到更理想的运行效果，可以在保证任务运行稳定性的前提下，尽可能提高资源利用率。
在实际应用中，可以利用作业处理进程(AM，ApplicationMaster)来获取当前批次预期资源使用量。
S203：基于所述当前批次任务集中任务的预期资源使用量为所述当前批次任务集中任务分配对应的节点；
在本发明实施例中，基于当前批次预期资源使用量为所述当前批次任务集中任务分配对应的节点，需要保证所述对应的节点能够提供满足当前批次预期资源使用量的计算资源。所述对应的节点可以来自同一集群，也可以来自不同集群。对于所述对应的节点，需要在某个节点上执行的任务可以是一个，也可以是至少两个。
其中，可以对至少一个集群中的各个节点进行统计，得到各个节点的历史资源使用率信息等，为这些节点设置不同维度的优先级，进而从中确定出所述对应的节点，这样能够提高执行效率。
在实际应用中，可以利用作业处理进程向管理调度模块发送当前批次任务集执行请求，所述任务执行请求携带有计算资源申请信息。由作业处理进程为所述当前批次任务集中每个任务向RM申请当前批次预期资源使用量的计算资源。RM(或者YARN)基于当前批次预期资源使用量为所述当前批次任务集中任务分配对应的节点。
其中，可以为集群中的每个节点部署一个服务进程(NM，NodeManager)。该服务进程可以用于管理节点对应的计算资源，以及运行在节点上的计算服务。
S204：向所述对应的节点发送第一任务执行指令，以使所述对应的节点执行所述任务，所述对应的节点执行所述任务时所分配的资源使用量小于等于所述当前批次任务集中任务的预期资源使用量；
在本发明实施例中，相应的，所述对应的节点响应于接收到的第一任务执行指令执行所述当前批次任务集中任务。所述对应的节点执行所述任务时所分配的资源使用量小于等于所述当前批次任务集中任务的预期资源使用量。比如，节点1执行任务1，节点1能够提供满足1*当前批次预期资源使用量的计算资源。节点2执行任务2和任务3，节点1能够提供满足2*当前批次预期资源使用量的计算资源。对于节点2可以利用源自控制组群机制(Cgroup，Linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源的机制)来对每个任务能使用的计算资源进行限制，比如限制CPU核数、内存大小数值，这样可以保证在同一节点上运行的至少两个任务之间互不影响，可以维护一个良好的任务执行环境。
在实际应用中，可以利用作业处理进程启动任务，由执行任务的节点的服务进程(NM)基于Cgroup进行资源隔离和限制。当然，也可以为每个任务设置一个监控进程(Executor，管控进程)，由监控进程通过Cgroup限制对应任务运行时的可用资源不会超过所分配的值(当前批次预期资源使用量)。
S205：获取所述对应的节点执行所述任务的实际资源使用量，以及根据所述当前批次任务集中任务的预期资源使用量和所述对应的节点执行所述任务的实际资源使用量得到所述任务的资源使用率；
在本发明实施例中，执行一作业时，监控过程中各批次任务集执行时的资源使用情况，并根据资源使用率制定资源调整策略，可以有效更新后续批次任务集中任务的计算资源使用量，在保证任务运行稳定性的同时，提升资源使用率。
具体的，可以读取Cgroup相关的接口文件来获取所述对应的节点执行所述任务的实际资源使用量。比如，所述当前批次任务集中任务的预期资源使用量为p1，节点1执行任务1，获取节点1执行任务1的实际资源使用量为p2，那么任务1的资源使用率为p2/p1。
在实际应用中，可以由执行任务的节点的服务进程(NM)来获取对应的实际资源使用量，也可以由任务对应的监控进程(Executor)来获取该实际资源使用量。
当由任务对应的监控进程(Executor)来获取该实际资源使用量时，如图3所示，所述获取所述对应的节点执行所述任务的实际资源使用量，以及根据所述当前批次任务集中任务的预期资源使用量和所述对应的节点执行所述任务的实际资源使用量得到所述任务的资源使用率，还包括：
S301：利用所述任务对应的监控进程获取所述任务的当前资源使用量；
监控进程可以收集对应任务运行过程中的处理资源使用量、存储资源使用量等，可以由任务对应的监控进程读取Cgroup相关的接口文件来获取当前资源使用量。当然，也可以为执行任务的节点的服务进程扩展资源使用监控和统计功能，由执行任务的节点的服务进程读取Cgroup相关的接口文件来获取当前资源使用量。
S302：由所述监控进程根据所述当前批次任务集中任务的预期资源使用量和所述当前资源使用量得到所述任务的当前资源使用率；
比如，所述当前批次任务集中任务的预期处理资源使用量为c1、预期存储资源使用量为m1，节点1执行任务1，获取节点1执行任务1的当前处理资源使用量为c21、当前存储资源使用量为m21，那么任务1的处理资源使用率为c21/c1、存储资源使用率为m21/m1。
S303：由所述监控进程基于预设时间段对应的所述任务的当前资源使用率得到所述任务的第一资源使用率；
资源使用量的收集节点、间隔等可以根据需要灵活设置，当然预设时间段也可以根据需要灵活设置。比如预设时间段内对应有5个资源使用量的收集节点，预设时间段对应的所述任务的当前处理资源使用率可以包括c21/c1(对应第一个收集节点)、c22/c1(对应第二个收集节点)、c23/c1(对应第三个收集节点)、c24/c1(对应第四个收集节点)和c25/c1(对应第五个收集节点)，第一处理资源使用率可以是它们的平均值，也就是(c21/c1+c22/c1+c23/c1+c24/c1+c25/c1)/5。对于第一存储资源使用率的得到也可以参见第一处理资源使用率的得到过程，不再赘述。
在一个具体的实施例中，可以扩展NodeManager的资源监控和统计功能，这样当由执行任务的节点的服务进程(NM)来获取对应的实际资源使用量时，所述获取所述对应的节点执行所述任务的实际资源使用量，以及根据所述当前批次任务集中任务的预期资源使用量和所述对应的节点执行所述任务的实际资源使用量得到所述任务的资源使用率，还包括：首先，利用所述对应的节点的服务进程获取所述任务的当前资源使用量；然后，由所述对应的节点的服务进程根据所述当前批次任务集中任务的预期资源使用量和所述当前资源使用量得到所述任务的当前资源使用率；再由所述对应的节点的服务进程基于预设时间段对应的所述任务的当前资源使用率得到所述任务的第一资源使用率。
S206：基于所述任务的资源使用率得到所述当前批次任务集的资源使用率；
在本发明实施例中，所述当前批次任务集中的任务可以包括任务1、任务2、任务3、任务4、任务5等等。可以根据这些任务的资源使用率得到所述当前批次任务集的资源使用率。
在一个具体的实施例中，当所述当前批次任务集包括多个所述任务时，可以计算各个所述任务的资源使用率的平均值，以及将计算得到的平均值作为所述当前批次任务集的资源使用率；或者，计算各个所述任务的资源使用率的中位值，以及将计算得到的中位值作为所述当前批次任务集的资源使用率；或者，
从各个所述任务的资源使用率中确定出最大资源使用率，以及将所述最大资源使用率作为所述当前批次任务集的资源使用率。
在另一个具体的实施例中，可以根据任务执行情况从所述当前批次任务集中确定出执行成功的参考任务；基于所述参考任务的资源使用率得到所述当前批次任务集的资源使用率。比如任务1-4执行成功，任务5执行失败，那么可以根据任务1-4的资源使用率来得到所述当前批次任务集的资源使用率。具体的，可以取任务1-4的资源使用率的平均值、中位值或最大值作为所述当前批次任务集的资源使用率。
以执行成功的任务的资源使用率作为样本，能够建立更紧密的资源消耗与业务场景(比如作业本身的计算逻辑)间的关系，得到的所述当前批次任务集的资源使用率对于后续确定下一批次任务集中任务的预期资源使用量的效果更好。
在另一个具体的实施例中，如图4所示，所述基于所述任务的资源使用率得到所述当前批次任务集的资源使用率，还包括：
S401：由所述监控进程向作业处理进程发送监控信息，所述监控信息包括所述任务的第一资源使用率，所述作业处理进程由计算平台响应于作业处理请求创建，所述作业处理请求携带的作业包括所述至少一个任务；
可参见图6，监控进程可以定时通过心跳将任务的第一资源使用率汇报给作业处理进程，第一资源使用率的得到可以参见上述步骤S301-S303，这里不再赘述。当然，也可以为执行任务的节点的服务进程扩展资源使用监控和统计功能，由执行任务的节点的服务进程向作业处理进程发送监控信息。
S402：由所述作业处理进程根据任务执行情况从所述当前批次任务集中确定出执行成功的参考任务；
比如，所述当前批次任务集中的任务包括任务1、任务2、任务3、任务4、任务5，任务1-4执行成功，任务5执行失败。任务1-3执行过程中对应4个定时汇报节点，任务4执行过程中对应5个定时汇报节点。那么，在前述步骤S401中，任务1对应的监控进程向作业处理进程做了4次汇报，相应的，作业处理进程得到任务1的第一资源使用率可以包括T11(对应第一个定时汇报节点)、T12(对应第二个定时汇报节点)、T13(对应第三个定时汇报节点)和T14(对应第四个定时汇报节点)。作业处理进程得到任务2的第一资源使用率可以包括T21、T22、T23和T24，作业处理进程得到任务3的第一资源使用率可以包括T31、T32、T33和T34，作业处理进程得到任务4的第一资源使用率可以包括T41、T42、T43、T44和T45。
S403：由所述作业处理进程基于所述参考任务的第一资源使用率得到所述当前批次任务集的资源使用率。
结合上述，可以取T11、T12、T13和T14的平均值作为任务1的第二资源使用率，可以取T21、T22、T23和T24的平均值作为任务2的第二资源使用率，可以取T31、T32、T33和T34的平均值作为任务3的第二资源使用率，可以取T41、T42、T43、T44和T45的平均值作为任务4的第二资源使用率。可以取任务1-4的第二资源使用率的平均值、中位值或最大值作为所述当前批次任务集的资源使用率。
每当一批次任务集运行结束，作业处理进程可以根据从各监控进程上报的资源统计用量数据，计算得到当前批次任务集的处理资源和内存资源的平均使用率，并根据该平均使用率来调整后续任务的资源限制。
在另一个具体的实施例中，所述基于所述任务的资源使用率得到所述当前批次任务集的资源使用率，还包括：由所述对应的节点的服务进程向作业处理进程发送监控信息，所述监控信息包括所述任务的第一资源使用率，所述作业处理进程由计算平台响应于作业处理请求创建，所述作业处理请求携带的作业包括所述至少一个任务；由所述作业处理进程根据任务执行情况从所述当前批次任务集中确定出执行成功的参考任务；由所述作业处理进程基于所述参考任务的第一资源使用率得到所述当前批次任务集的资源使用率。
S207：基于所述当前批次任务集的资源使用率与资源使用率阈值的比较结果确定下一批次任务集中任务的预期资源使用量(下一批次预期资源使用量)。
在本发明实施例中，设置的资源使用量过少可能导致作业整体执行缓慢或者内存超限而导致任务执行失败。设置的资源使用量过多则可能导致作业申请了大量计算资源但实际使用率过低，集群算力不能充分发挥，造成集群计算资源浪费。这里基于所述当前批次任务集的资源使用率与资源使用率阈值的比较结果确定下一批次任务集中任务的预期资源使用量，在作业中批次任务集的维度进行资源使用率的统计得到相关参数，由相关参数确定的预期资源使用量用于批次任务集中任务的粒度进行资源限制。
在一个具体的实施例中，可以获取所述资源使用率阈值；当所述当前批次任务集的资源使用率大于等于所述资源使用率阈值时，增大所述当前批次任务集中任务的预期资源使用量得到所述下一批次任务集中任务的预期资源使用量；当所述待比较资源使用率小于所述资源使用率阈值时，减小所述当前批次任务集中任务的预期资源使用量得到所述下一批次任务集中任务的预期资源使用量。
进一步的，还可以获取第一调整参数和第二调整参数，所述第一调整参数大于1，所述第二调整参数小于1且大于0。当所述当前批次任务集的资源使用率大于等于所述资源使用率阈值时，基于所述第一调整参数调整所述预期资源使用量得到所述下一批次任务集对应的预期资源使用量。当所述待比较资源使用率小于所述资源使用率阈值时，基于所述第二调整参数调整所述预期资源使用量得到所述下一批次任务集对应的预期资源使用量。
比如，当前批次任务集中任务的预期处理资源使用量为c1、预期存储资源使用量为m1。第一处理资源调整参数为α1(>1)，第二处理资源调整参数为α2(>0且<1)。第一存储资源调整参数为β1(>1)，第二处理存储调整参数为β2(>0且<1)。当前批次任务集的处理资源使用率为Cavg、存储资源使用率为Mavg。处理资源使用率阈值包括Cmin和Cmax，存储资源使用率阈值包括Mmin和Mmax。
当Cavg小于Cmin时，将c1*α2作为下一批次任务集中任务的预期处理资源使用量。当Cavg大于Cmax时，将c1*α1作为下一批次任务集中任务的预期处理资源使用量。当Mavg小于Mmin时，将m1*β2作为下一批次任务集中任务的预期处理资源使用量。当Mavg大于Mmax时，将m1*β1作为下一批次任务集中任务的预期处理资源使用量。
如图7所示，用户可以在作业提交阶段以CPU核数(2核)指定处理资源的参数配置、以内存大小数值(1GB)指定存储资源的参数配置(对应简写为2C1G)，设置初始处理资源资源使用量c0＝2、初始存储资源使用量m0＝1，以及设置Cmin＝0.4、Mmin＝0.6、α2＝0.5、β2＝0.8。可以由作业处理进程根据用户配置的CPU、内存相关参数，初始化的任务资源使用配置。
第一批次任务集中任务的数量为100，可记为Task000～Task099。任务运行时基于Cgroup限制计算资源为2C1G。每个任务对应的监控进程统计资源使用率汇报给作业处理进程。当发现CPU资源使用率低于Cmin时，降低CPU资源限制而调整为2C*0.5＝1核。当发现内存资源使用率低于Mmin时，降低内存资源限制而调整为1GB*0.8＝819MB。
第二批次任务集中任务的数量为100，可记为Task100～Task199。任务运行时基于Cgroup限制计算资源为1C819MB。如果存在任务运行失败(图中为Task101)，则恢复初始的2C1G资源限制，重新运行Task101。直到第二批次任务集中所有任务执行成功。参照执行第一批次任务集至执行第一批次任务集涉及的资源调整策略，进行后续批次任务集的资源配置以及任务集执行，直至作业执行完成。通过上述调整，执行第二批次任务集相比执行第一批次任务集可以节省50％的CPU资源和20％的内存资源。
在实际应用中，由作业处理进程为所述下一批次任务集中每个任务向RM申请下一批次预期资源使用量的计算资源。RM(或者YARN)基于下一批次预期资源使用量为所述下一批次任务集中任务分配对应的节点。对应的节点可以利用源自控制组群机制来对每个任务能使用的计算资源进行限制。
这样可以减少使用率过低的资源，增加使用率过高的资源，从而整体上提升资源使用率。能够以较高的精度自动找到最合理的资源配置，在保证作业运行稳定的前提下提高作业的CPU资源使用量和内存资源使用率，从而能够节省出资源运行更多的任务，显著提升集群整体的计算能力。此外，本发明实施例提供的计算资源确定方法中针对CPU资源和内存资源的自适应调整策略支持定制化，具有良好的扩展性。
如图5所示，所述方法还包括：
S208：根据任务执行情况从所述当前批次任务集中确定出执行失败的待调整任务；
S209：根据所述目标资源使用量设置所述待调整任务的预期资源使用量；
S210：向所述待调整任务对应的节点发送第二任务执行指令，以使所述待调整任务对应的节点执行所述待调整任务，所述待调整任务对应的节点执行所述待调整任务时所分配的资源使用量小于等于所述目标资源使用量。
在本发明实施例中，对于执行失败的任务，可以恢复初始的资源限制，重新申请资源以运行，这样可以避免作业因资源调整过度导致运行失败，兼顾资源使用率与运行稳定性。具体的，可参见前述步骤S207中“重新运行Task101”。
由以上本说明书实施例提供的技术方案可见，本说明书实施例中构建不同批次任务集并分批次执行不同批次任务集中任务，对应的节点基于当前批次任务集中任务的预期资源使用量执行每一批次任务集中任务。根据上一批次任务集的资源使用率和资源率阈值之间的差异，确定下一批次任务集中任务的预期资源使用量。结合任务执行过程中面临的诸多实际问题，以批次任务集的维度得到当前批次任务集的资源使用率，可以更细粒度确定下一批次任务集中任务的预期资源使用量。对于计算资源的确定不局限于用户的预先配置，能够提高确定计算资源的准确性及适应性，能够保证任务有效执行，能够解决用户预先配置的资源不合理而导致作业执行失败以及资源使用率过低的问题。
本发明实施例还提供了一种计算资源确定装置，如图8所示，所述装置包括：
任务集构建模块810：用于基于至少一个任务构建当前批次任务集，所述至少一个任务对应同一目标资源使用量；
预期资源使用量获取模块820：用于获取所述当前批次任务集中任务的预期资源使用量；
节点分配模块830：用于基于所述当前批次任务集中任务的预期资源使用量为所述当前批次任务集中任务分配对应的节点；
任务执行模块840：用于向所述对应的节点发送第一任务执行指令，以使所述对应的节点执行所述任务，所述对应的节点执行所述任务时所分配的资源使用量小于等于所述当前批次任务集中任务的预期资源使用量；
第一参数确定模块850：用于获取所述对应的节点执行所述任务的实际资源使用量，以及根据所述当前批次任务集中任务的预期资源使用量和所述对应的节点执行所述任务的实际资源使用量得到所述任务的资源使用率；
第二参数确定模块860：用于基于所述任务的资源使用率得到所述当前批次任务集的资源使用率；
预期资源使用量更新模块870：用于基于所述当前批次任务集的资源使用率与资源使用率阈值的比较结果确定下一批次任务集中任务的预期资源使用量。
在本发明实施例中，所述预期资源使用量更新模块可以包括：资源使用率阈值获取单元：用于获取所述资源使用率阈值；第一调整单元：用于当所述当前批次任务集的资源使用率大于等于所述资源使用率阈值，增大所述当前批次任务集中任务的预期资源使用量得到所述下一批次任务集中任务的预期资源使用量；第二调整单元：用于当所述待比较资源使用率小于所述资源使用率阈值，减小所述当前批次任务集中任务的预期资源使用量得到所述下一批次任务集中任务的预期资源使用量。
需要说明的，所述装置实施例中的装置与方法实施例基于同样的发明构思。
本发明实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的计算资源确定方法。
进一步地，图9示出了一种用于实现本发明实施例所提供的计算资源确定方法的电子设备的硬件结构示意图，所述电子设备可以参与构成或包含本发明实施例所提供的计算资源确定装置。如图9所示，电子设备90可以包括一个或多个(图中采用902a、902b，……，902n来示出)处理器902(处理器902可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器904、以及用于通信功能的传输装置906。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备90还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。
应当注意到的是上述一个或多个处理器902和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到电子设备90(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器904可用于存储应用软件的软件程序以及模块，如本发明实施例中所述的方法对应的程序指令/数据存储装置，处理器902通过运行存储在存储器94内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种计算资源确定方法。存储器904可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器904可进一步包括相对于处理器902远程设置的存储器，这些远程存储器可以通过网络连接至电子设备90。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备90的通信供应商提供的无线网络。在一个实例中，传输装置906包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实施例中，传输装置906可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与电子设备90(或移动设备)的用户界面进行交互。
本发明的实施例还提供了一种存储介质，所述存储介质可设置于电子设备之中以保存用于实现方法实施例中一种计算资源确定方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的计算资源确定方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种计算资源确定方法，其特征在于，所述方法包括：
基于至少一个任务构建当前批次任务集，所述至少一个任务对应同一目标资源使用量；
获取所述当前批次任务集中任务的预期资源使用量；
基于所述当前批次任务集中任务的预期资源使用量为所述当前批次任务集中任务分配对应的节点；
向所述对应的节点发送第一任务执行指令，以使所述对应的节点执行所述任务，所述对应的节点执行所述任务时所分配的资源使用量小于等于所述当前批次任务集中任务的预期资源使用量；
获取所述对应的节点执行所述任务的实际资源使用量，以及根据所述当前批次任务集中任务的预期资源使用量和所述对应的节点执行所述任务的实际资源使用量得到所述任务的资源使用率；
基于所述任务的资源使用率得到所述当前批次任务集的资源使用率；
基于所述当前批次任务集的资源使用率与资源使用率阈值的比较结果确定下一批次任务集中任务的预期资源使用量。
2.根据权利要求1所述的方法，其特征在于，所述基于所述当前批次任务集的资源使用率与资源使用率阈值的比较结果确定下一批次任务集中任务的预期资源使用量，包括：
获取所述资源使用率阈值；
当所述当前批次任务集的资源使用率大于等于所述资源使用率阈值时，增大所述当前批次任务集中任务的预期资源使用量得到所述下一批次任务集中任务的预期资源使用量；
当所述待比较资源使用率小于所述资源使用率阈值时，减小所述当前批次任务集中任务的预期资源使用量得到所述下一批次任务集中任务的预期资源使用量。
3.根据权利要求1或2任一所述的方法，其特征在于，所述基于所述任务的资源使用率得到所述当前批次任务集的资源使用率，还包括：
根据任务执行情况从所述当前批次任务集中确定出执行成功的参考任务；
基于所述参考任务的资源使用率得到所述当前批次任务集的资源使用率。
4.根据权利要求1或2任一所述的方法，其特征在于，所述方法还包括：
根据任务执行情况从所述当前批次任务集中确定出执行失败的待调整任务；
根据所述目标资源使用量设置所述待调整任务的预期资源使用量；
向所述待调整任务对应的节点发送第二任务执行指令，以使所述待调整任务对应的节点执行所述待调整任务，所述待调整任务对应的节点执行所述待调整任务时所分配的资源使用量小于等于所述目标资源使用量。
5.根据权利要求1或2任一所述的方法，其特征在于：
所述获取所述对应的节点执行所述任务的实际资源使用量，以及根据所述当前批次任务集中任务的预期资源使用量和所述对应的节点执行所述任务的实际资源使用量得到所述任务的资源使用率，还包括：
利用所述任务对应的监控进程获取所述任务的当前资源使用量；
由所述监控进程根据所述当前批次任务集中任务的预期资源使用量和所述当前资源使用量得到所述任务的当前资源使用率；
由所述监控进程基于预设时间段对应的所述任务的当前资源使用率得到所述任务的第一资源使用率；
所述基于所述任务的资源使用率得到所述当前批次任务集的资源使用率，还包括：
由所述监控进程向作业处理进程发送监控信息，所述监控信息包括所述任务的第一资源使用率，所述作业处理进程由计算平台响应于作业处理请求创建，所述作业处理请求携带的作业包括所述至少一个任务；
由所述作业处理进程根据任务执行情况从所述当前批次任务集中确定出执行成功的参考任务；
由所述作业处理进程基于所述参考任务的第一资源使用率得到所述当前批次任务集的资源使用率。
6.根据权利要求1或2任一所述的方法，其特征在于：
所述获取所述对应的节点执行所述任务的实际资源使用量，以及根据所述当前批次任务集中任务的预期资源使用量和所述对应的节点执行所述任务的实际资源使用量得到所述任务的资源使用率，还包括：
利用所述对应的节点的服务进程获取所述任务的当前资源使用量；
由所述对应的节点的服务进程根据所述当前批次任务集中任务的预期资源使用量和所述当前资源使用量得到所述任务的当前资源使用率；
由所述对应的节点的服务进程基于预设时间段对应的所述任务的当前资源使用率得到所述任务的第一资源使用率；
所述基于所述任务的资源使用率得到所述当前批次任务集的资源使用率，还包括：
由所述对应的节点的服务进程向作业处理进程发送监控信息，所述监控信息包括所述任务的第一资源使用率，所述作业处理进程由计算平台响应于作业处理请求创建，所述作业处理请求携带的作业包括所述至少一个任务；
由所述作业处理进程根据任务执行情况从所述当前批次任务集中确定出执行成功的参考任务；
由所述作业处理进程基于所述参考任务的第一资源使用率得到所述当前批次任务集的资源使用率。
7.根据权利要求1所述的方法，其特征在于，当所述当前批次任务集包括多个所述任务时，所述基于所述任务的资源使用率得到所述当前批次任务集的资源使用率，包括：
计算各个所述任务的资源使用率的平均值，以及将计算得到的平均值作为所述当前批次任务集的资源使用率；
或者，
计算各个所述任务的资源使用率的中位值，以及将计算得到的中位值作为所述当前批次任务集的资源使用率；
或者，
从各个所述任务的资源使用率中确定出最大资源使用率，以及将所述最大资源使用率作为所述当前批次任务集的资源使用率。
8.一种计算资源确定装置，其特征在于，所述装置包括：
任务集构建模块：用于基于至少一个任务构建当前批次任务集，所述至少一个任务对应同一目标资源使用量；
预期资源使用量获取模块：用于获取所述当前批次任务集中任务的预期资源使用量；
节点分配模块：用于基于所述当前批次任务集中任务的预期资源使用量为所述当前批次任务集中任务分配对应的节点；
任务执行模块：用于向所述对应的节点发送第一任务执行指令，以使所述对应的节点执行所述任务，所述对应的节点执行所述任务时所分配的资源使用量小于等于所述当前批次任务集中任务的预期资源使用量；
第一参数确定模块：用于获取所述对应的节点执行所述任务的实际资源使用量，以及根据所述当前批次任务集中任务的预期资源使用量和所述对应的节点执行所述任务的实际资源使用量得到所述任务的资源使用率；
第二参数确定模块：用于基于所述任务的资源使用率得到所述当前批次任务集的资源使用率；
预期资源使用量更新模块：用于基于所述当前批次任务集的资源使用率与资源使用率阈值的比较结果确定下一批次任务集中任务的预期资源使用量。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一所述的计算资源确定方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7任一所述的计算资源确定方法。
CN201911253662.9A 2019-12-09 2019-12-09 一种计算资源确定方法、装置、电子设备及介质 Active CN111078404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911253662.9A CN111078404B (zh) 2019-12-09 2019-12-09 一种计算资源确定方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911253662.9A CN111078404B (zh) 2019-12-09 2019-12-09 一种计算资源确定方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN111078404A true CN111078404A (zh) 2020-04-28
CN111078404B CN111078404B (zh) 2023-07-11

Family

ID=70313531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911253662.9A Active CN111078404B (zh) 2019-12-09 2019-12-09 一种计算资源确定方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN111078404B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522843A (zh) * 2020-06-01 2020-08-11 北京创鑫旅程网络技术有限公司 数据平台的控制方法、系统、设备及存储介质
CN113037856A (zh) * 2021-03-23 2021-06-25 苏州云霄电子科技有限公司 基于公有云的计算系统、方法、计算机设备以及存储介质
CN113051458A (zh) * 2021-02-04 2021-06-29 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质
CN113300982A (zh) * 2020-06-08 2021-08-24 阿里巴巴集团控股有限公司 资源分配方法、设备、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150256476A1 (en) * 2014-03-10 2015-09-10 Microsoft Corporation Resource management based on device-specific or user-specific resource usage profiles
US20170017521A1 (en) * 2015-07-13 2017-01-19 Palo Alto Research Center Incorporated Dynamically adaptive, resource aware system and method for scheduling
CN106708622A (zh) * 2016-07-18 2017-05-24 腾讯科技（深圳）有限公司 集群资源处理方法和系统、资源处理集群
CN108173905A (zh) * 2017-12-07 2018-06-15 北京奇艺世纪科技有限公司 一种资源配置方法、装置及电子设备
CN108881495A (zh) * 2018-08-13 2018-11-23 中国平安财产保险股份有限公司 资源分配方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150256476A1 (en) * 2014-03-10 2015-09-10 Microsoft Corporation Resource management based on device-specific or user-specific resource usage profiles
US20170017521A1 (en) * 2015-07-13 2017-01-19 Palo Alto Research Center Incorporated Dynamically adaptive, resource aware system and method for scheduling
CN106708622A (zh) * 2016-07-18 2017-05-24 腾讯科技（深圳）有限公司 集群资源处理方法和系统、资源处理集群
CN108173905A (zh) * 2017-12-07 2018-06-15 北京奇艺世纪科技有限公司 一种资源配置方法、装置及电子设备
CN108881495A (zh) * 2018-08-13 2018-11-23 中国平安财产保险股份有限公司 资源分配方法、装置、计算机设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522843A (zh) * 2020-06-01 2020-08-11 北京创鑫旅程网络技术有限公司 数据平台的控制方法、系统、设备及存储介质
CN113300982A (zh) * 2020-06-08 2021-08-24 阿里巴巴集团控股有限公司 资源分配方法、设备、系统及存储介质
CN113300982B (zh) * 2020-06-08 2022-08-23 阿里巴巴集团控股有限公司 资源分配方法、设备、系统及存储介质
CN113051458A (zh) * 2021-02-04 2021-06-29 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质
CN113037856A (zh) * 2021-03-23 2021-06-25 苏州云霄电子科技有限公司 基于公有云的计算系统、方法、计算机设备以及存储介质
CN113037856B (zh) * 2021-03-23 2022-07-08 苏州云霄电子科技有限公司 基于公有云的计算系统、方法、计算机设备以及存储介质

Also Published As

Publication number Publication date
CN111078404B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN111078404B (zh) 一种计算资源确定方法、装置、电子设备及介质
US11704144B2 (en) Creating virtual machine groups based on request
US9921866B2 (en) CPU overprovisioning and cloud compute workload scheduling mechanism
US11106560B2 (en) Adaptive thresholds for containers
US10887167B2 (en) Adaptive software-defined storage for cloud storage workloads
CN109845303B (zh) 网络切片的管理方法及管理单元
Wang et al. Dominant resource fairness in cloud computing systems with heterogeneous servers
US20140282520A1 (en) Provisioning virtual machines on a physical infrastructure
EP3101870A1 (en) Storage resource scheduling method and storage calculation system
CN109343942B (zh) 基于边缘计算网络的任务调度方法
CN110221920B (zh) 部署方法、装置、存储介质及系统
CN112380020A (zh) 一种算力资源分配方法、装置、设备及存储介质
CN109428926B (zh) 一种调度任务节点的方法和装置
CN111399977A (zh) 一种虚拟机的迁移方法、装置、设备及介质
Alyouzbaki et al. Novel load balancing approach based on ant colony optimization technique in cloud computing
CN115080341A (zh) 计算集群及其数据采集方法、设备及存储介质
US11636503B2 (en) System and method for offering network slice as a service
CN112527509A (zh) 一种资源分配方法、装置、电子设备及存储介质
WO2023066035A1 (zh) 资源分配方法以及资源分配装置
CN114327918B (zh) 调整资源量的方法、装置、电子设备和存储介质
CN115952054A (zh) 一种仿真任务资源管理方法、装置、设备及介质
CN114090201A (zh) 资源调度方法、装置、设备及存储介质
CN114564249A (zh) 推荐调度引擎、推荐调度方法及计算机可读存储介质
CN114489978A (zh) 资源调度方法、装置、设备及存储介质
CN114422565A (zh) 一种基于连接池的网络连接管理方法以及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022201

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant