CN112506652A - 一种动态资源分区方法 - Google Patents

一种动态资源分区方法 Download PDF

Info

Publication number
CN112506652A
CN112506652A CN202011384022.4A CN202011384022A CN112506652A CN 112506652 A CN112506652 A CN 112506652A CN 202011384022 A CN202011384022 A CN 202011384022A CN 112506652 A CN112506652 A CN 112506652A
Authority
CN
China
Prior art keywords
partition
partitioning
clustering
resource
resources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011384022.4A
Other languages
English (en)
Other versions
CN112506652B (zh
Inventor
吴嘉澍
王洋
李敏
张锦霞
须成忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202011384022.4A priority Critical patent/CN112506652B/zh
Publication of CN112506652A publication Critical patent/CN112506652A/zh
Application granted granted Critical
Publication of CN112506652B publication Critical patent/CN112506652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种动态资源分区方法。该方法包括:利用样本数据集预训练分区数决策模型,该样本数据集表征多种场景数据特征与对应的并发性能最优进程分区数之间的关联关系;在满足设定触发条件的情况下,使用所述预训练的分区数决策模型预测当前场景的最优分区数;对于在线形式到达的进程,根据获得的当前场景的最优分区数和每个进程的资源使用特征通过无监督聚类算法对其进行聚类分区,获得进程聚类分区策略,该进程聚类分区策略用于指示进程所述的分区;根据获得的进程聚类分区策略对资源按需进行分区。本发明可以动态接收在线到来的进程,并对系统资源进行动态的分区,具有实时性且可以最大化系统的并发性能。

Description

一种动态资源分区方法
技术领域
本发明涉及计算机技术领域,更具体地,涉及一种动态资源分区方法。
背景技术
随着云计算技术的快速发展及其在众多领域的广泛应用,对云计算系统中的各种资源的合理分区(Partitioning)利用,以达到最优的系统性能,变得愈发重要。在运行众多进程的云计算系统中,如果无法对资源进行合理的分区利用,则会因为资源抢占而造成进程的阻塞,甚至是死锁,这将严重影响到系统的性能与可靠性。而为了避免死锁出现,部分进程需要被停止执行并阻塞。所以,如何在避免死锁的前提下通过对系统中运行的进程进行分区,以达成对各项资源的合理分区,从而减少进程的阻塞并最优化系统的并发性(Concurrency)成为了需要解决的关键问题。
现有技术对于资源的合理分区已进行了一些探索。例如,根据进程对单种资源需求的起止时间对进程进行分组并对资源进行分区。这种方法仅考虑对单种资源进行分区及分配,而无法处理对多种资源的分区与分配,这种局限性对于现今快速发展的云计算系统来说显然是不可接受的。
又如,通过人为设定资源需求阈值,对应用进行分组,并将资源分区以满足不同资源需求的应用。这种人为设置的资源分区阈值缺少灵活性,限制了云计算系统对资源进行动态分区调整的能力。
再如,首先通过训练人工神经网络这一机器学习模型来判断具有不同特征的进程的资源需求量,然后,训练随机登山算法,根据所得到的资源需求量预测值来寻找最优资源分区方式,并将进程分配到各个资源分区中。这种方法虽然可以对多种资源进行同时分区分配,但是所使用的人工神经网络算法模型较为复杂,参数众多,对训练数据需求量大,训练比较低效。此外,这种方法无法应对以在线形式(Online fashion)到来的进程,这些缺点给云计算系统带来局限性,限制了云计算系统的高效运行。
发明内容
本发明的目的是克服上述现有技术的缺陷,提供一种动态资源分区方法,能够以在线方式接收新到来的进程,在避免死锁的前提下,动态地将进程进行合理分区,并根据进程的分区进行合理的资源分配,具有最优的并发性能。
本发明提供一种动态资源分区方法,该方法包括以下步骤:
利用样本数据集预训练分区数决策模型,该样本数据集表征多种场景数据特征与对应的并发性能最优进程分区数之间的关联关系;
在满足设定触发条件的情况下,使用所述预训练的分区数决策模型预测当前场景的最优分区数;
对于在线形式到达的进程,根据获得的当前场景的最优分区数和每个进程的资源使用特征通过无监督聚类算法对其进行聚类分区,获得进程聚类分区策略,该进程聚类分区策略用于指示进程所述的分区;
根据获得的进程聚类分区策略对资源按需进行分区。
与现有技术相比,本发明的优点在于,不受资源种类的限制,可以对多种资源进行动态分区,而不是仅仅对单一种类资源进行分区,具有一般性;不需要依赖于人为设定的阈值,而是通过机器学习的手段动态地根据当前资源使用情况及各个进程的资源使用情况进行资源分区调整,灵活性好。此外,本发明训练更加高效,且通过多种方法的巧妙配合,所做决策可以最大化系统的并发性能;可以动态接收在线到来的进程,并对系统资源进行动态的分区,具有实时性。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的动态资源分区方法的流程图;
图2是根据本发明一个实施例的在线进程和资源分区的示意图;
图3是根据本发明一个实施例的动态资源分区方法的过程示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本发明提供的动态资源分区方法包括预训练分区数决策模型(下文将以多元多项式回归模型为例)、在线进程聚类分区(以BIRCH聚类算法为例)和按需对资源进行分区三个阶段。
首先,通过使用包含在各个场景与其对应的并发性能最优进程分区数的样本数据集对多元多项式回归模型进行预训练,使得所训练的回归模型具有根据当前场景特征判断并行性能最优的进程分区数的能力,从而保障最优性。
当触发在线进程聚类分区时(例如当固定的时间间隔完成或是有新进程到来时),首先使用预训练好的多元多项式回归模型预测当前场景的最优分区数,如果预测的分区数较上次触发时的预测发生改变,则BIRCH算法会重新初始化之后进行聚类分区,而若预测出的最优分区数未改变,则无需重新初始化BIRCH算法。
预测分区数预测完后,具有处理在线数据能力的聚类机器学习算法BIRCH会对系统中的进程根据进程的资源需求特征进行聚类分区。然后,算法将根据BIRCH算法所给出的进程分区策略对资源按照所需比例进行分区。
具体地,结合图1和图3所示,本发明所提供的动态资源分区方法包括以下步骤:
步骤S110,利用样本数据集预训练分区数决策模型,并使用该分区数决策模型预测当前场景的最优分区数。
分区数决策模型可采用多元多项式回归模型、强化学习模型或神经网络模型等。下文将以优选的多元多项式回归模型为例进行说明。
为了使所提模型在对进程与资源进行分区时能够做出可以使系统并发性能最优化的决策,首先利用具有相关知识的样本数据集预训练多元多项式回归模型用来判断给定场景的最优分区数,如下文算法1的数据输入及第1行所示。
多元多项式回归模型相较于其他种类的回归模型而言,该模型的多元性使得其可以接受多维度的输入,在一个实施例中,对回归模型进行预训练时所使用的多维数据特征及其含义参见下表1,即样本数据集包含已知的多种场景数据特征与最优进程分区数的对应关系,其中各场景数据特征例如包括正在运行的进程数、各个资源的占用量和各个资源的可用量等。
此外,多项式回归模型使得回归模型更具有一般性,多项式回归模型既可以拟合呈线性关系的数据,也可以拟合呈非线性关系的复杂数据。
通过使用包含各个场景与其对应的性能最优进程分区数的样本数据集对多元多项式回归模型进行预训练,使得所训练的多元多项式回归模型具有根据当前场景数据特征判断并行性能最优的进程分区数的能力,从而保障了本发明的最优性。
表1:多元多项式回归模型预训练数据集特征及其描述
Figure BDA0002810523310000041
Figure BDA0002810523310000051
在预训练多元多项式回归模型之后,即可利用该模型预测当前场景的最优进程分区数,预测过程与预训练过程类似,将当前场景的数据特征(如当前正在运行的进程数、当前各个资源的占用量和当前各个资源的可用量)输入到训练好的模型,获得预测的并行性能最优的进程分区数。
在步骤S110中,采用了目标最优化机制,通过在预训练时使用包含特定的系统资源数据特征及该场景下所对应的最优化并发性能的分区数决策信息的样本数据集对多元多项式回归模型进行预训练,使得模型具备给定系统进程及资源使用情况时,判断能最大化系统并发性能的分区数的能力。
步骤S120,对于在线形式到来的进程,根据每个进程的资源使用特征通过无监督聚类对其进行聚类分区,获得进程聚类分区策略。
图2是以在线形式到来的进程(从左至右)及资源的分区示意,其中长方形代表进程,圆球代表线程,线程之间的依赖关系以箭头示出,圆边方块代表资源。图2中,经过本发明在线聚类分区之后,进程1被分为一区,进程2与进程n被分为同一区。在进程被分区之后,资源也将依照各区所需比例进行分区,如虚线框所示。
在对系统中运行的进程进行聚类分区时,在一个实施例中,使用了在线聚类算法BIRCH,如算法1第7行至第22行所示。在多元多项式回归模型根据场景资源使用情况给出最佳分区数之后,BIRCH算法可以根据每一个进程自身的资源使用特征对其进行聚类。
相较于其他的聚类算法而言,在此场景下优选的BIRCH聚类算法具有以下几点优势:
1)时间复杂度低:BIRCH算法的时间复杂度为O(n),运行效率很高,适用于在线场景。
2)可以应对在线数据:BIRCH算法是一种在线聚类算法,可以应对以在线形式到来的数据。所以,BIRCH算法适用于本发明所面对的进程以在线形式到来的场景。在回归模型判断的分区数没有发生变化时,BIRCH算法的在线处理能力使得本发明所提算法无需重复初始化BIRCH模型。只有当回归算法判断的分区数发生改变时,才需重新初始化BIRCH算法,如算法1第10行至第12行所示。
在本发明一个实施例中,每个进程在表2中的特征会作为输入特征输入到BIRCH算法中,由BIRCH算法根据回归模型所判断的最优分区数进行聚类分区,如算法1第9行所示。BIRCH算法会输出每个进程所属的分区号。
表2.在线无监督聚类模型所需训练数据特征及其描述
Figure BDA0002810523310000061
步骤S130,根据获得的聚类分区策略对资源按需进行分区。
在此步骤中,计算各个系统资源在每个分区中所有属于该分区的进程的该资源的需求总量,并将该系统资源按照比例分区,如算法1第14行至第21行所示。对资源进行合理分区可以在避免死锁的前提下减少被阻塞的进程数量,且在最坏情况下至少保证一个进程在运行。
在步骤S120和S130中,采用资源分区机制,利用动态聚类分区对进程进行聚类分区,可以处理以在线形式到来的进程,且不局限于单种资源。并且,根据进程分区情况按照资源需求比例对系统资源进行分区,实现了在避免死锁的前提下动态地对以在线形式到达的进程进行合理分区,并以此对资源进行分区,从而最大化系统的并发性能。
Figure BDA0002810523310000071
算法1.面向死锁避免的高并发动态资源分区算法
综上所述,本发明所提出的面向死锁避免的高并发动态资源分区方法可以在避免死锁出现的前提下通过机器学习的方式对进程进行合理分区,进而对资源进行分区,以最大化系统的并发性能。经验证,相对于现有技术,应用本发明能够有效地对资源进行合理分区及分配,提高了系统的性能。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (9)

1.一种动态资源分区方法,包括以下步骤:
利用样本数据集预训练分区数决策模型,该样本数据集表征多种场景数据特征与对应的并发性能最优进程分区数之间的关联关系;
在满足设定触发条件的情况下,使用所述预训练的分区数决策模型预测当前场景的最优分区数;
对于在线形式到达的进程,根据获得的当前场景的最优分区数和每个进程的资源使用特征通过无监督聚类算法对其进行聚类分区,获得进程聚类分区策略,该进程聚类分区策略用于指示进程所述的分区;
根据获得的进程聚类分区策略对资源按需进行分区。
2.根据权利要求1所述的动态资源分区方法,其中,在满足设定触发条件的情况下,使用所述预训练的分区数决策模型预测当前场景的最优分区数包括:
当固定的时间间隔完成或是有新进程到达时,触发预测当前场景的最优分区数;
如果本次预测的最优分区数较上次的预测发生改变,则聚类算法重新初始化。
3.根据权利要求1所述的动态资源分区方法,其中,所述聚类算法是BIRCH并输出每个进程所属的分区号。
4.根据权利要求1所述的动态资源分区方法,其中,所述分区数决策模型是多元多项式回归模型。
5.根据权利要求1所述的动态资源分区方法,其中,所述多种场景数据特征包括正在运行的进程数、各资源的占用量和各资源的可用量中的一项或多项。
6.根据权利要求1所述的动态资源分区方法,其中,所述根据获得的进程聚类分区策略对资源按需进行分区包括:计算各个系统资源在每个分区中所有属于该分区的进程的该资源的需求总量,并将该系统资源按照比例分区。
7.根据权利要求1所述的动态资源分区方法,其中,对于某一进程j的资源使用特征包括:当前进程j所持有的资源i的数量、当前进程j所申请的资源i的数量、当前进程j中正在运行的线程数、当前进程j中正在等待资源分配并将开始运行的线程数、当前进程j中正在等待的线程数、当前进程j中正在等待的线程对资源i的需求总量中的一项或多项。
8.一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现根据权利要求1至7中任一项所述方法的步骤。
9.一种计算机设备,包括存储器和处理器,在所述存储器上存储有能够在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7中任一项所述的方法的步骤。
CN202011384022.4A 2020-12-01 2020-12-01 一种动态资源分区方法 Active CN112506652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011384022.4A CN112506652B (zh) 2020-12-01 2020-12-01 一种动态资源分区方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011384022.4A CN112506652B (zh) 2020-12-01 2020-12-01 一种动态资源分区方法

Publications (2)

Publication Number Publication Date
CN112506652A true CN112506652A (zh) 2021-03-16
CN112506652B CN112506652B (zh) 2023-10-20

Family

ID=74968973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011384022.4A Active CN112506652B (zh) 2020-12-01 2020-12-01 一种动态资源分区方法

Country Status (1)

Country Link
CN (1) CN112506652B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015054240A1 (en) * 2013-10-07 2015-04-16 President And Fellows Of Harvard College Computer implemented method, computer system and software for reducing errors associated with a situated interaction
CN106790706A (zh) * 2017-02-27 2017-05-31 深圳先进技术研究院 一种数据资源优化的方法、平台及系统
CN107291843A (zh) * 2017-06-01 2017-10-24 南京邮电大学 基于分布式计算平台的层次聚类改进方法
CN108694090A (zh) * 2018-04-16 2018-10-23 江苏润和软件股份有限公司 一种面向分布式机器学习的云计算资源调度方法
CN109144716A (zh) * 2017-06-28 2019-01-04 中兴通讯股份有限公司 基于机器学习的操作系统调度方法及装置、设备
CN110519386A (zh) * 2019-08-30 2019-11-29 中国人民解放军国防科技大学 云环境下基于数据聚类的弹性资源供应方法和装置
CN111258767A (zh) * 2020-01-22 2020-06-09 中国人民解放军国防科技大学 复杂系统仿真应用的云计算资源智能分配方法与装置
CN111338779A (zh) * 2020-02-27 2020-06-26 深圳华锐金融技术股份有限公司 资源分配方法、装置、计算机设备和存储介质
CN111985831A (zh) * 2020-08-27 2020-11-24 北京华胜天成科技股份有限公司 云计算资源的调度方法、装置、计算机设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015054240A1 (en) * 2013-10-07 2015-04-16 President And Fellows Of Harvard College Computer implemented method, computer system and software for reducing errors associated with a situated interaction
CN106790706A (zh) * 2017-02-27 2017-05-31 深圳先进技术研究院 一种数据资源优化的方法、平台及系统
CN107291843A (zh) * 2017-06-01 2017-10-24 南京邮电大学 基于分布式计算平台的层次聚类改进方法
CN109144716A (zh) * 2017-06-28 2019-01-04 中兴通讯股份有限公司 基于机器学习的操作系统调度方法及装置、设备
CN108694090A (zh) * 2018-04-16 2018-10-23 江苏润和软件股份有限公司 一种面向分布式机器学习的云计算资源调度方法
CN110519386A (zh) * 2019-08-30 2019-11-29 中国人民解放军国防科技大学 云环境下基于数据聚类的弹性资源供应方法和装置
CN111258767A (zh) * 2020-01-22 2020-06-09 中国人民解放军国防科技大学 复杂系统仿真应用的云计算资源智能分配方法与装置
CN111338779A (zh) * 2020-02-27 2020-06-26 深圳华锐金融技术股份有限公司 资源分配方法、装置、计算机设备和存储介质
CN111985831A (zh) * 2020-08-27 2020-11-24 北京华胜天成科技股份有限公司 云计算资源的调度方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112506652B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN110413210B (zh) 用于处理数据的方法、设备和计算机程序产品
CN111355814B (zh) 一种负载均衡方法、装置及存储介质
WO2024051270A1 (zh) 任务执行的方法、装置、存储介质及电子设备
CN112508768B (zh) 单算子多模型流水线推理方法、系统、电子设备及介质
US10572463B2 (en) Efficient handling of sort payload in a column organized relational database
CN109376015A (zh) 用于任务调度系统的日志阻塞解决方法及系统
CN109597810B (zh) 一种任务切分方法、装置、介质及电子设备
CN111813517B (zh) 任务队列的分配方法、装置、计算机设备及介质
Xu et al. Dynamic backup workers for parallel machine learning
CN109412865B (zh) 一种虚拟网络资源分配方法、系统及电子设备
CN113377998A (zh) 数据加载的方法、装置、电子设备及存储介质
CN112817428A (zh) 任务运行方法、装置、移动终端和存储介质
CN112506652B (zh) 一种动态资源分区方法
CN116563669A (zh) 模型的训练方法、视频分类方法、装置及设备
CN114936187A (zh) 数据文件的处理方法、装置、设备及存储介质
CN110610450A (zh) 数据处理方法、电子设备和计算机可读存储介质
CN114398178A (zh) 一种任务执行方法、装置及电子设备
CN114565105A (zh) 处理数据的方法和深度学习模型的训练方法、装置
CN113204426A (zh) 资源池的任务处理方法及相关设备
CN118567870B (zh) 批量数据处理方法、装置、设备及存储介质
US11481130B2 (en) Method, electronic device and computer program product for processing operation commands
US11599789B2 (en) Hierarchical highly heterogeneous distributed system based deep learning application optimization framework
US20210135683A1 (en) Method, electronic device and computer program product for processing data
CN117873731A (zh) 计算任务的执行方法、装置、芯片、设备和存储介质
CN118567870A (zh) 批量数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant