CN107515784B - 一种在分布式系统中计算资源的方法与设备 - Google Patents

一种在分布式系统中计算资源的方法与设备 Download PDF

Info

Publication number
CN107515784B
CN107515784B CN201610428229.4A CN201610428229A CN107515784B CN 107515784 B CN107515784 B CN 107515784B CN 201610428229 A CN201610428229 A CN 201610428229A CN 107515784 B CN107515784 B CN 107515784B
Authority
CN
China
Prior art keywords
task
resource
target
information
data node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610428229.4A
Other languages
English (en)
Other versions
CN107515784A (zh
Inventor
王杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610428229.4A priority Critical patent/CN107515784B/zh
Publication of CN107515784A publication Critical patent/CN107515784A/zh
Application granted granted Critical
Publication of CN107515784B publication Critical patent/CN107515784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • G06F9/5088Techniques for rebalancing the load in a distributed system involving task migration

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请的目的是提供一种在分布式系统中计算资源的方法与设备;获取分布式系统中目标任务及其对应的一个或多个目标资源信息,其中,所述目标资源信息包括资源规格信息;将所述目标任务调度至相对应的目标数据节点;利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务。与现有技术相比,本申请中所述各个目标资源信息基于其对应的资源规格信息,可以快速地匹配实际业务对应的资源计算需求,当获取到系统发出的目标任务时,按照与所述资源规格信息对应的资源规格维度并行处理所述目标任务,提高了系统对资源计算的响应速度,同时,每一种资源规格信息都能够体现各自的业务价值,增强了其业务的延展性。

Description

一种在分布式系统中计算资源的方法与设备
技术领域
本申请涉及计算机领域,尤其涉及一种在分布式系统中计算资源的技术。
背景技术
在计算机领域,特别是云计算领域,随着实际业务的复杂性日益增加,对于云资源的需求也逐步扩大,进而对于云资源的库存管理的要求也越来越高。与传统的固定资源对应的库存管理不同,云计算中的资源之间相互关联并相互影响,一种资源的变化会影响到其他关联资源的状态,所以需要系统能够快速地响应需求变化,并能够准确地对需求资源进行计算。而现有的资源管理系统主要是基于采集到的资源数据,直接进行上层业务逻辑计算,一般需要基于用户的请求,再根据延迟的数据信息进行库存存量的数据判断,使得查询结果严重延时,无法快速实时地反映当前资源的准确信息,并且用于资源计算的数据是非规格化的、非面向业务的,不利于资源组合的扩展,不能够很好的体现云资源基于业务维度的延展性。
发明内容
本申请的目的是提供一种在分布式系统中计算资源的方法与设备,以解决对云资源无法快速、实时、准确地进行计算的问题。
根据本申请的一个方面,提供了一种在分布式系统中计算资源的方法,包括:
获取分布式系统中目标任务及其对应的一个或多个目标资源信息,其中,所述目标资源信息包括资源规格信息;
将所述目标任务调度至相对应的目标数据节点;
利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务。
根据本申请的另一方面,还提供了一种在分布式系统中计算资源的设备,包括:
获取装置,用于获取分布式系统中目标任务及其对应的一个或多个目标资源信息,其中,所述目标资源信息包括资源规格信息;
调度装置,用于将所述目标任务调度至相对应的目标数据节点;
处理装置,用于利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务。
与现有技术相比,本申请通过获取分布式系统中的目标任务及包含有资源规格信息的目标资源信息,并将所述目标任务调度至对应的目标数据节点,进而,在所述目标数据节点中,按照与所述资源规格信息对应的资源规格维度对所述目标任务进行并行处理。在此,本申请在分布式系统中,利用规格化的目标资源信息、即直接面向云计算库存业务的数据结构来提供资源计算的基础数据,所述各个目标资源信息基于其对应的资源规格信息,可以灵活、快速地匹配实际业务对应的资源计算需求,当获取到系统发出的目标任务时,可以按照与所述资源规格信息对应的资源规格维度并行处理所述目标任务,提高了系统对资源计算的响应速度,同时,每一种资源规格信息都能够体现各自的业务价值,增强了其业务的延展性。
进一步,本申请在分布式系统中获取物理节点的节点资源信息,再对其进行规格化处理,并结合系统中的定实时目标任务,实现了对系统资源的实时计算及更新,打破了传统基于用户请求、对应系统回应计算的模式带来的资源库存计算延迟问题。
进一步,本申请在处理所述目标任务时,基于所述一个或多个资源规格维度并行多个线程执行多个任务队列,并且,利用已执行完成的任务队列的执行线程执行所述多个任务队列中其他未完成任务队列中的待执行任务,例如,采取双端任务队列并发加速处理方法执行任务。从而,进一步提高了任务处理的速度,减少了资源计算的延迟,提高了资源管理的实时性。
进一步,本申请实现了将所述目标任务对应的执行结果缓存于与资源区域信息相对应的缓存模块,在整体上降低响应延迟、减少输入输出的系统损耗。同时,可以实现对上层业务直接调用资源库存信息的支持,能够快速、准确地响应实际应用中用户、或系统的资源查询请求。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个方面的一种在分布式系统中计算资源的方法流程图;
图2示出根据本申请一个优选实施例的一种在分布式系统中计算资源的方法流程图;
图3示出根据本申请又一个方面的一种在分布式系统中计算资源的设备的设备示意图;
图4示出根据本申请一个优选实施例的一种在分布式系统中计算资源的设备的设备示意图;
图5示出根据本申请另一个优选实施例的一种在分布式系统中计算资源的实例示意图;
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
图1示出根据本申请一个方面的一种在分布式系统中计算资源的方法流程图。其中,所述方法包括步骤S11、步骤S12、步骤S13。其中,在所述步骤S11中,在分布式系统中计算资源的设备1(下文称设备1)获取分布式系统中目标任务及其对应的一个或多个目标资源信息,其中,所述目标资源信息包括资源规格信息;在所述步骤S12中,所述设备1将所述目标任务调度至相对应的目标数据节点;在所述步骤S13中,所述设备1利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务。
具体地,所述设备1包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。在此,优选地,所述设备1中包括动态选举出一个或多个控制节点,以及与各个控制节点相对应的若干个数据节点。在所述步骤S11中,所述设备1获取分布式系统中目标任务及其对应的一个或多个目标资源信息。在此,所述目标任务是由系统发布的与资源计算相关的任务信息。优选地,可以由所述设备1实时、或是定时地抓取一个或多个目标任务,例如,通过监听系统消息队列通知并获取消息队列中的任务列表。所述目标资源信息,其本质上是基于对系统底层物理节点上的节点资源数据进行规格化处理后得到的规格化资源信息,在此基础上,确定与所述目标任务相匹配的规格化资源信息即为所述目标资源信息。在此,所述目标资源信息包括资源规格信息,优选地,所述资源规格信息可以是体现了资源在实际应用中对应的业务属性的信息。例如,所述资源规格信息可以包括但不限于SKU(库存量单位STOCK KEEP UNIT)信息,如资源种类、资源剩余量、资源保有量、资源库存状态等信息。此外,所述目标资源信息还可以包括但不限于资源数量信息、资源节点信息等。获取的所述目标资源信息与所述目标任务存在一定的对应关系,在此,优选地,所述目标资源信息对应的资源规格信息,与所述目标任务中包含的资源规格维度相对应的。例如,若所述目标任务是计算A资源的剩余量,则此时目标任务对应的资源规格维度即为资源的剩余量,进而为所述目标任务确定的一个或多个目标资源信息其资源规格信息也对应剩余量这一规格。在此,优选地,可以由所述设备1中选举出的控制节点具体执行所述目标任务,及所述目标资源信息的获取操作。
接着,在所述步骤S12中,所述设备1将所述目标任务调度至相对应的目标数据节点。优选地,所述设备1中包含多个可用于处理所述目标任务的数据节点,在此,本申请会基于当前各个目标数据节点的实际任务处理能力合理的分调度所述目标任务。优选地,当设备1从消息队列上抓取到一个或多个所述目标任务后,将基于FIFO(First Input FirstOutput,先入先出队列)算法对所述目标任务进行排序并记录,并选取最新任务进行分发调度,进一步,优选地,所述设备1会抓取各个数据节点当前的任务状态信息,如,当前任务快照信息,结合各个数据节点的当前的任务处理能力,基于预置的分发规则,将所述目标任务的调度至相匹配的目标数据节点。此外,优选地,可以由所述设备1中选举出的控制节点具体执行所述目标任务的调度操作。
接着,在所述步骤S13中,所述设备1利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务。对于分配到所述目标数据节点的所述目标任务,其具体任务内容对应于与所述资源规格信息对应的一个或多个资源规格维度,例如,若是所述目标任务是计算B资源的保有量,则其对应的一个资源规格维度即是保有量;又如,若是所述目标任务是计算C资源的库存信息,则其可能多个资源规格维度,如资源剩余量、资源保有量、资源库存状态等。此时,所述目标数据节点将按照上述不同的资源规格维度并行处理所述目标任务。
在此,本申请通过获取分布式系统中的目标任务及包含有资源规格信息的目标资源信息,并将所述目标任务调度至对应的目标数据节点,进而,在所述目标数据节点中,按照与所述资源规格信息对应的资源规格维度对所述目标任务进行并行处理。在此,本申请在分布式系统中,利用规格化的目标资源信息、即直接面向云计算库存业务的数据结构来提供资源计算的基础数据,所述各个目标资源信息基于其对应的资源规格信息,可以灵活、快速地匹配实际业务对应的资源计算需求,当获取到系统发出的目标任务时,可以按照与所述资源规格信息对应的资源规格维度并行处理所述目标任务,提高了系统对资源计算的响应速度,同时,每一种资源规格信息都能够体现各自的业务价值,增强了其业务的延展性。
优选地,所述方法还包括步骤S14(未示出)和步骤S15(未示出)。在所述步骤S14中,所述设备1获取分布式系统中物理节点的节点资源信息;接着,所述步骤S15中,所述设备1对所述节点资源信息进行规格化处理以获得对应的规格化资源信息。其中,所述步骤S11包括步骤S111(未示出)和步骤S112(未示出),在所述步骤S111中,所述设备1获取所述分布式系统中目标任务;在所述步骤S112中,所述设备1从所述规格化资源信息中确定所述目标任务对应的一个或多个目标资源信息,其中,所述目标资源信息包括资源规格信息。
具体地,在所述步骤S14中,所述设备1将采用多个线程定时从系统的各个物理节点中拉取底层的物理资源,如,所述设备1按照预置时间间隔并发请求获取所有或特定部分的物理节点的节点资源信息,例如,所述节点资源信息可以具体到是多少cpu核、多少内存的资源等。接着,在所述步骤S15中,所述设备1对所述节点资源信息进行规格化处理以获得对应的规格化资源信息。在此,所述规格化处理使得处理后得到的规格化资源信息能够为云计算资源计算业务提供直接可用的、具有业务属性的数据基础。所述规格化资源信息可以包括但不限于资源规格信息、资源数量信息和资源节点信息等。在此,所述资源规格信息可以是体现了资源在实际应用中对应的业务属性的信息。例如,所述资源规格信息可以包括但不限于SKU(库存量单位STOCK KEEP UNIT)信息,如资源种类、资源剩余量、资源保有量、资源库存状态等信息;所述资源数量信息,是具体的资源存储数值信息;所述资源节点信息对应为资源的区域信息,从所述资源在什么地理行政区域、甚至还可以下探到资源来源对应的具体计算中心,机房,交换机,机架,物理计算机等。在此,优选地,可以将所述规格化资源信息存储在对应的数据库中,或是存入相应的缓存模块,在后续进行目标任务计算时,可以直接从所述缓存模块读取数据,能够优化数据访问效率和速度。
接着,在所述步骤S111中,所述设备1获取所述分布式系统中目标任务;在所述步骤S112中,所述设备1从所述规格化资源信息中确定所述目标任务对应的一个或多个目标资源信息,其中,所述目标资源信息包括资源规格信息。在此,所述设备1将基于所述目标任务中与所述规格化资源信息,如所述资源规格信息、资源数量信息或资源节点信息中一个或多个相匹配的任务内容,从多个所述规格化资源信息中找到与所述目标任务对应的所述目标任资源信息。例如,所述目标任务是计算D区域E资源的剩余量信息,则筛选出资源节点信息与D区域匹配,资源规格信息对应为剩余量的一个或多个所述规格化资源信息,即确定为所述目标资源信息。
在此,本申请在分布式系统中获取物理节点的节点资源信息,再对其进行规格化处理,并结合系统中的定实时目标任务,实现了对系统资源的实时计算及更新,打破了传统基于用户请求、对应系统回应计算的模式带来的资源库存计算延迟问题。
在一个优选实施例中,所述目标资源信息还包括资源节点信息;其中,所述步骤S12用于将所述目标任务调度至与所述资源节点信息相匹配的目标数据节点。
具体地,所述资源节点信息对应为资源的区域维度,例如,从所述资源在什么地理行政区域、甚至还可以下探到资源来源对应的具体计算中心,机房,交换机,机架,物理计算机等。在此,所述目标数据节点中正在处理、或是等待处理的各个任务,如所述目标任务,可以是与该目标数据节点中当前所参与计算的所述规格化资源信息、包括所述目标任务对应的目标资源信息的所述资源节点信息相匹配的。例如,所述目标任务的任务内容中的区域信息与所述资源节点信息中的区域维度相对应。此时,基于实际业务计算的需要,可以将不同区域维度对应的目标任务调度到不同的目标数据节点中进行处理,还可以将多个不同区域维度对应的目标任务调度到同一个目标数据节点中进行处理,还可以将同一个区域维度对应的目标任务调度到不同的目标数据节点中进行处理。
进一步,优选地,在所述步骤S13中,所述设备1利用所述目标数据节点按所述资源节点信息中的区域维度及所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务。
具体地,对于分配到所述目标数据节点的所述目标任务,其具体任务内容对应于与所述资源规格信息对应的一个或多个资源规格维度,此外,还可能对应于所述资源节点信息中的区域维度,即所述目标任务的任务内容中包含区域信息。例如,若是所述目标任务是G地区计算F资源的保有量。此时,在所述目标数据节点中,可以基于所述一个或多个资源规格维度分配不同的任务队列进行任务处理,在此基础上,进一步,对于不同区域维度的目标任务,即可以在不同的任务队列中处理,也可以在相同的任务队列中处理。
在一个优选实施例中,所述步骤S12包括步骤S121(未示出)和步骤S122(未示出)。其中,在步骤S121中,所述设备1获取一个或多个数据节点的当前任务快照信息;在步骤S122中,所述设备1根据所述当前任务快照信息将所述目标任务调度至对应的目标数据节点。
具体地,在此,当设备1从消息队列上抓取到一个或多个所述目标任务后,将基于FIFO(First Input First Output,先入先出队列)算法对所述目标任务进行排序并记录,并选取最新任务进行分发调度,进一步,优选地,所述设备1会抓取各个数据节点的当前任务快照信息,通过对所述当前任务快照信息进行分析,得到各个数据节点的当前的任务处理能力信息,再基于预置的分发规则,将所述目标任务的调度至相匹配的目标数据节点。在此,优选地,通过所述当前任务快照信息,可以先确定所述一个或多个数据节点的当前节点状态信息,例如,所述数据节点是正在执行任务、完成执行任务、执行任务失败、或是出现执行故障等状态,在此,可以排除部分当前不可用的数据节点,确定出当前可用的活跃的数据节点。接着,在各个当前可用的数据节点中,为所述目标任务调度对应的目标数据节点。
优选地,在步骤S122中,所述设备1根据所述当前任务快照信息确定所述数据节点当前对应的成功处理任务数;根据所述分布式系统中每个数据节点的平均任务负荷数与所述数据节点当前对应的成功处理任务数,将所述目标任务调度至对应的目标数据节点。
具体地,基于所述各个数据节点的当前任务快照信息,可以确定出所述每一个数据节点的当前正在处理任务数、该数据节点单位时间成功处理任务数、该数据节点单位时间处理任务数,则通过运算:单位时间成功处理任务数/单位时间处理任务数*当前正在处理任务数,即可以得到该数据节点当前对应的成功处理任务数,其中所述/、*分别对应于除、乘法运算。以一个数据节点i为例,其对应的当前正在处理任务数为t,单位时间成功处理任务数s、该数据节点单位时间处理任务数为Ts,则通过运算:s/Ts*t,即可以得到所述数据节点当前对应的成功处理任务数。接着,基于所述设备1当前抓取的总任务数,以及所述设备1中当前可用的数据节点个数,可以确定出所述每个数据节点的平均任务负荷数,以上述数据节点i对应的场景为例,其对应的所述设备1当前抓取的总任务数是n,此时所述设备1中当前可用的数据节点个数是h,则n/h即为所述每个数据节点的平均任务负荷数。进而,计算所述每个数据节点的平均任务负荷数与所述数据节点当前对应的成功处理任务数的差值,以一个数据节点i为例,即计算:Node(i)=(n/h-s/Ts*t),以此类推,计算所有当前可用的数据节点对应的Node值,并比较其各自大小;取最小的Node值对应的数据节点为最终确定的与所述目标任务匹配的目标数据节点。在此,基于上述算法,所述目标数据节点对应的Node值最小,则该数据节点当前成功处理的任务数最多,其对应的任务处理性能就相对较好。
图2示出根据本申请一个优选实施例的一种在分布式系统中计算资源的方法流程图。其中,所述步骤S23包括步骤S231和步骤S232。其中,在步骤S231中,所述设备1利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度将所述目标任务分解为多个任务队列,其中,每个任务队列对应一个资源规格维度;在步骤S232中,所述设备1并行执行所述多个任务队列。其中,所述步骤S23与图1示出的所述步骤S13内容相似。
在此,所述设备1利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务,具体地,在步骤S231中,所述设备1将按照所述一个或多个资源规格维度划分出多个任务队列,其中,每个任务队列对应一个资源规格维度,进一步,所述多个任务队列所对应的资源规格维度也可能相同,基于此,所述一个或多个目标任务即被分解在所述不同任务队列中,例如,所述目标数据节点基于资源剩余量、资源保有量、资源库存状态等不同资源规格维度分解出多个任务队列。接着,在步骤S232中,所述设备1并行执行所述多个任务队列。在此,所述各个任务队列基于各自的执行线程并发进行相应的资源计算任务。
优选地,所述步骤S23还包括步骤S233,在所述步骤S233中,所述设备1在所述多个任务队列的执行过程中,利用已执行完成的任务队列的执行线程执行所述多个任务队列中其他未完成任务队列中的待执行任务。
具体地,在此,所述各个任务队列中的执行线程并行执行包括所述目标任务在内的多个任务,各个执行线程处理完各自任务队列中所有任务的耗时不同,当其中部分任务队列已执行完毕后,为了提高并行处理的效率,减少执行资源的浪费,可以利用已执行完成的任务队列的执行线程执行所述多个任务队列中其他未完成任务队列中的待执行任务。例如所述执行线程1原本执行任务队列a的任务,所述执行线程2原本执行任务队列b的任务,所述执行线程3原本执行任务队列c的任务,在任务处理过程中,所述执行线程1率先执行完任务队列a中的全部任务,而所述任务队列b、和任务队列c中的任务依然没有全部处理完,此时可以调用所述执行线程1去处理所述任务队列b、和任务队列c,在此,优选地,所述被并发处理的任务队列的选取,可以是随机的;或是兼顾到系统整体的处理效率均衡,例如,若是任务队列b中线程2处理效率比任务队列c中线程3的处理效率低,或是任务队列b中待执行任务比任务队列c中待执行任务要多,则调用所述线程1和线程2一起并发处理任务队列b。
在此,本申请在处理所述目标任务时,基于所述一个或多个资源规格维度并行多个线程执行多个任务队列,并且,利用已执行完成的任务队列的执行线程执行所述多个任务队列中其他未完成任务队列中的待执行任务,例如,采取双端任务队列并发加速处理方法执行任务。从而,进一步提高了任务处理的速度,减少了资源计算的延迟,提高了资源管理的实时性。
更优选地,在所述步骤S233中,所述设备1在所述多个任务队列的执行过程中,利用已执行完成的任务队列的执行线程从所述多个任务队列中其他未完成任务队列中反向获取待执行任务;利用所述执行线程执行所获取的所述待执行任务。
具体地,所述执行线程在处理其对应的任务队列时,通常是从队列顶部开始正向顺序处理所述任务队列中的各个任务,则在利用已执行完成的任务队列的执行线程执行所述多个任务队列中其他未完成任务队列中的待执行任务场景下,可以优选地,利用已执行完成的任务队列的执行线程从所述多个任务队列中其他未完成任务队列中反向获取待执行任务,例如,从底端向上,依次执行该未完成任务队列中所述待执行任务。在此,利用双端任务队列并发加速处理方法执行任务可以进一步提高任务处理的速度,减少了资源计算的延迟,提高了资源管理的实时性。
优选地,所述方法还包括步骤S16(未示出),在所述步骤S16中,所述设备1将所述目标任务对应的执行结果缓存于与资源区域信息相对应的缓存模块。
具体地,当基于所述目标任务确定出所述执行结果后,可以将所述执行结果存储在持久化的业务数据库中,或是还可以进一步将所述执行结果存储到相应的缓存模块,由此可以提高数据读取和处理的效率、减少输入输出耗损。在此,优选地,可以基于哈希算法,将所述资源的资源区域信息与所述资源信息进行数据映射,所述资源区域信息与所述资源节点信息中的区域维度相对应;所述缓存模块中存储的所述资源信息可以包含所述资源的资源规格信息、资源数量信息或资源节点信息等。在此,基于哈希映射进行执行结果的缓存,可以实现对上层业务直接调用资源库存信息的支持。
在此,本申请实现了将所述目标任务对应的执行结果缓存于与资源区域信息相对应的缓存模块,在整体上降低响应延迟、减少输入输出的系统损耗。同时,可以实现对上层业务直接调用资源库存信息的支持,能够快速、准确地响应实际应用中用户、或系统的资源查询请求。
图3示出根据本申请又一个方面的一种在分布式系统中计算资源的设备1的设备示意图。其中,所述设备1包括获取装置31、调度装置32和处理装置33。其中,获取装置31获取分布式系统中目标任务及其对应的一个或多个目标资源信息,其中,所述目标资源信息包括资源规格信息;调度装置32将所述目标任务调度至相对应的目标数据节点;处理装置33利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务。
具体地,所述设备1包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。在此,优选地,所述设备1中包括动态选举出一个或多个控制节点,以及与各个控制节点相对应的若干个数据节点。
获取装置31获取分布式系统中目标任务及其对应的一个或多个目标资源信息。在此,所述目标任务是由系统发布的与资源计算相关的任务信息。优选地,可以由所述设备1实时、或是定时地抓取一个或多个目标任务,例如,通过监听系统消息队列通知并获取消息队列中的任务列表。所述目标资源信息,其本质上是基于对系统底层物理节点上的节点资源数据进行规格化处理后得到的规格化资源信息,在此基础上,确定与所述目标任务相匹配的规格化资源信息即为所述目标资源信息。在此,所述目标资源信息包括资源规格信息,优选地,所述资源规格信息可以是体现了资源在实际应用中对应的业务属性的信息。例如,所述资源规格信息可以包括但不限于SKU(库存量单位STOCK KEEP UNIT)信息,如资源种类、资源剩余量、资源保有量、资源库存状态等信息。此外,所述目标资源信息还可以包括但不限于资源数量信息、资源节点信息等。获取的所述目标资源信息与所述目标任务存在一定的对应关系,在此,优选地,所述目标资源信息对应的资源规格信息,与所述目标任务中包含的资源规格维度相对应的。例如,若所述目标任务是计算A资源的剩余量,则此时目标任务对应的资源规格维度即为资源的剩余量,进而为所述目标任务确定的一个或多个目标资源信息其资源规格信息也对应剩余量这一规格。在此,优选地,可以由所述设备1中选举出的控制节点具体执行所述目标任务,及所述目标资源信息的获取操作。
接着,调度装置32将所述目标任务调度至相对应的目标数据节点。优选地,所述设备1中包含多个可用于处理所述目标任务的数据节点,在此,本申请会基于当前各个目标数据节点的实际任务处理能力合理的分调度所述目标任务。优选地,当设备1从消息队列上抓取到一个或多个所述目标任务后,将基于FIFO(First Input First Output,先入先出队列)算法对所述目标任务进行排序并记录,并选取最新任务进行分发调度,进一步,优选地,所述设备1会抓取各个数据节点当前的任务状态信息,如,当前任务快照信息,结合各个数据节点的当前的任务处理能力,基于预置的分发规则,将所述目标任务的调度至相匹配的目标数据节点。此外,优选地,可以由所述设备1中选举出的控制节点具体执行所述目标任务的调度操作。
接着,处理装置33利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务。对于分配到所述目标数据节点的所述目标任务,其具体任务内容对应于与所述资源规格信息对应的一个或多个资源规格维度,例如,若是所述目标任务是计算B资源的保有量,则其对应的一个资源规格维度即是保有量;又如,若是所述目标任务是计算C资源的库存信息,则其可能多个资源规格维度,如资源剩余量、资源保有量、资源库存状态等。此时,所述目标数据节点将按照上述不同的资源规格维度并行处理所述目标任务。
在此,本申请通过获取分布式系统中的目标任务及包含有资源规格信息的目标资源信息,并将所述目标任务调度至对应的目标数据节点,进而,在所述目标数据节点中,按照与所述资源规格信息对应的资源规格维度对所述目标任务进行并行处理。在此,本申请在分布式系统中,利用规格化的目标资源信息、即直接面向云计算库存业务的数据结构来提供资源计算的基础数据,所述各个目标资源信息基于其对应的资源规格信息,可以灵活、快速地匹配实际业务对应的资源计算需求,当获取到系统发出的目标任务时,可以按照与所述资源规格信息对应的资源规格维度并行处理所述目标任务,提高了系统对资源计算的响应速度,同时,每一种资源规格信息都能够体现各自的业务价值,增强了其业务的延展性。
优选地,所述设备1还包括节点资源信息获取装置(未示出)和规格化资源信息获取装置(未示出)。其中,所述节点资源信息获取装置获取分布式系统中物理节点的节点资源信息;接着,所述规格化资源信息获取装置对所述节点资源信息进行规格化处理以获得对应的规格化资源信息。其中,所述获取装置31包括目标任务获取单元(未示出)和目标资源信息确定单元(未示出),其中,所述目标任务获取单元获取所述分布式系统中目标任务;所述目标资源信息确定单元从所述规格化资源信息中确定所述目标任务对应的一个或多个目标资源信息,其中,所述目标资源信息包括资源规格信息。
具体地,节点资源信息获取装置将采用多个线程定时从系统的各个物理节点中拉取底层的物理资源,如,所述设备1按照预置时间间隔并发请求获取所有或特定部分的物理节点的节点资源信息,例如,所述节点资源信息可以具体到是多少cpu核、多少内存的资源等。接着,规格化资源信息获取装置对所述节点资源信息进行规格化处理以获得对应的规格化资源信息。在此,所述规格化处理使得处理后得到的规格化资源信息能够为云计算资源计算业务提供直接可用的、具有业务属性的数据基础。所述规格化资源信息可以包括但不限于资源规格信息、资源数量信息和资源节点信息等。在此,所述资源规格信息可以是体现了资源在实际应用中对应的业务属性的信息。例如,所述资源规格信息可以包括但不限于SKU(库存量单位STOCK KEEP UNIT)信息,如资源种类、资源剩余量、资源保有量、资源库存状态等信息;所述资源数量信息,是具体的资源存储数值信息;所述资源节点信息对应为资源的区域信息,从所述资源在什么地理行政区域、甚至还可以下探到资源来源对应的具体计算中心,机房,交换机,机架,物理计算机等。在此,优选地,可以将所述规格化资源信息存储在对应的数据库中,或是存入相应的缓存模块,在后续进行目标任务计算时,可以直接从所述缓存模块读取数据,能够优化数据访问效率和速度。
接着,目标任务获取单元获取所述分布式系统中目标任务;目标资源信息确定单元从所述规格化资源信息中确定所述目标任务对应的一个或多个目标资源信息,其中,所述目标资源信息包括资源规格信息。在此,所述设备1将基于所述目标任务中与所述规格化资源信息,如所述资源规格信息、资源数量信息或资源节点信息中一个或多个相匹配的任务内容,从多个所述规格化资源信息中找到与所述目标任务对应的所述目标任资源信息。例如,所述目标任务是计算D区域E资源的剩余量信息,则筛选出资源节点信息与D区域匹配,资源规格信息对应为剩余量的一个或多个所述规格化资源信息,即确定为所述目标资源信息。
在此,本申请在分布式系统中获取物理节点的节点资源信息,再对其进行规格化处理,并结合系统中的定实时目标任务,实现了对系统资源的实时计算及更新,打破了传统基于用户请求、对应系统回应计算的模式带来的资源库存计算延迟问题。
在一个优选实施例中,所述目标资源信息还包括资源节点信息;其中,所述调度装置32将所述目标任务调度至与所述资源节点信息相匹配的目标数据节点。
具体地,所述资源节点信息对应为资源的区域维度,例如,从所述资源在什么地理行政区域、甚至还可以下探到资源来源对应的具体计算中心,机房,交换机,机架,物理计算机等。在此,所述目标数据节点中正在处理、或是等待处理的各个任务,如所述目标任务,可以是与该目标数据节点中当前所参与计算的所述规格化资源信息、包括所述目标任务对应的目标资源信息的所述资源节点信息相匹配的。例如,所述目标任务的任务内容中的区域信息与所述资源节点信息中的区域维度相对应。此时,基于实际业务计算的需要,可以将不同区域维度对应的目标任务调度到不同的目标数据节点中进行处理,还可以将多个不同区域维度对应的目标任务调度到同一个目标数据节点中进行处理,还可以将同一个区域维度对应的目标任务调度到不同的目标数据节点中进行处理。
进一步,优选地,所述处理装置33利用所述目标数据节点按所述资源节点信息中的区域维度及所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务。
具体地,对于分配到所述目标数据节点的所述目标任务,其具体任务内容对应于与所述资源规格信息对应的一个或多个资源规格维度,此外,还可能对应于所述资源节点信息中的区域维度,即所述目标任务的任务内容中包含区域信息。例如,若是所述目标任务是G地区计算F资源的保有量。此时,在所述目标数据节点中,可以基于所述一个或多个资源规格维度分配不同的任务队列进行任务处理,在此基础上,进一步,对于不同区域维度的目标任务,即可以在不同的任务队列中处理,也可以在相同的任务队列中处理。
在一个优选实施例中,所述调度装置32包括当前任务快照信息获取单元(未示出)和目标数据节点调度单元(未示出)。其中,所述当前任务快照信息获取单元获取一个或多个数据节点的当前任务快照信息;所述目标数据节点调度单元根据所述当前任务快照信息将所述目标任务调度至对应的目标数据节点。
具体地,在此,当设备1从消息队列上抓取到一个或多个所述目标任务后,将基于FIFO(First Input First Output,先入先出队列)算法对所述目标任务进行排序并记录,并选取最新任务进行分发调度,进一步,优选地,所述设备1会抓取各个数据节点的当前任务快照信息,通过对所述当前任务快照信息进行分析,得到各个数据节点的当前的任务处理能力信息,再基于预置的分发规则,将所述目标任务的调度至相匹配的目标数据节点。在此,优选地,通过所述当前任务快照信息,可以先确定所述一个或多个数据节点的当前节点状态信息,例如,所述数据节点是正在执行任务、完成执行任务、执行任务失败、或是出现执行故障等状态,在此,可以排除部分当前不可用的数据节点,确定出当前可用的活跃的数据节点。接着,在各个当前可用的数据节点中,为所述目标任务调度对应的目标数据节点。
优选地,所述目标数据节点调度单元根据所述当前任务快照信息确定所述数据节点当前对应的成功处理任务数;根据所述分布式系统中每个数据节点的平均任务负荷数与所述数据节点当前对应的成功处理任务数,将所述目标任务调度至对应的目标数据节点。
具体地,基于所述各个数据节点的当前任务快照信息,可以确定出所述每一个数据节点的当前正在处理任务数、该数据节点单位时间成功处理任务数、该数据节点单位时间处理任务数,则通过运算:单位时间成功处理任务数/单位时间处理任务数*当前正在处理任务数,即可以得到该数据节点当前对应的成功处理任务数,其中所述/、*分别对应于除、乘法运算。以一个数据节点i为例,其对应的当前正在处理任务数为t,单位时间成功处理任务数s、该数据节点单位时间处理任务数为Ts,则通过运算:s/Ts*t,即可以得到所述数据节点当前对应的成功处理任务数。接着,基于所述设备1当前抓取的总任务数,以及所述设备1中当前可用的数据节点个数,可以确定出所述每个数据节点的平均任务负荷数,以上述数据节点i对应的场景为例,其对应的所述设备1当前抓取的总任务数是n,此时所述设备1中当前可用的数据节点个数是h,则n/h即为所述每个数据节点的平均任务负荷数。进而,计算所述每个数据节点的平均任务负荷数与所述数据节点当前对应的成功处理任务数的差值,以一个数据节点i为例,即计算:Node(i)=(n/h-s/Ts*t),以此类推,计算所有当前可用的数据节点对应的Node值,并比较其各自大小;取最小的Node值对应的数据节点为最终确定的与所述目标任务匹配的目标数据节点。在此,基于上述算法,所述目标数据节点对应的Node值最小,则该数据节点当前成功处理的任务数最多,其对应的任务处理性能就相对较好。
图4示出根据本申请一个优选实施例的一种在分布式系统中计算资源的设备1的设备示意图。其中,所述设备1包括所述获取装置41、调度装置42、处理装置43,其中所述处理装置43包括多个任务队列确定单元431、多队列并行执行单元432,优选地,还包括多任务并发执行单元433。
其中,所述获取装置41获取分布式系统中目标任务及其对应的一个或多个目标资源信息,其中,所述目标资源信息包括资源规格信息;所述调度装置42将所述目标任务调度至相对应的目标数据节点;所述多个任务队列确定单元431利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度将所述目标任务分解为多个任务队列,其中,每个任务队列对应一个资源规格维度;所述多队列并行执行单元432并行执行所述多个任务队列。其中,所述获取装置41、所述调度装置42与图3示出的所述获取装置31、所述调度装置32内容相同或基本相同,在此不在赘述,并以引用的方式包含于此。
在此,所述设备1利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务,具体地,所述多个任务队列确定单元431将按照所述一个或多个资源规格维度划分出多个任务队列,其中,每个任务队列对应一个资源规格维度,进一步,所述多个任务队列所对应的资源规格维度也可能相同,基于此,所述一个或多个目标任务即被分解在所述不同任务队列中,例如,所述目标数据节点基于资源剩余量、资源保有量、资源库存状态等不同资源规格维度分解出多个任务队列。所述多队列并行执行单元432并行执行所述多个任务队列。在此,所述各个任务队列基于各自的执行线程并发进行相应的资源计算任务。
优选地,所述处理装置43还包括多任务并发执行单元433,所述多任务并发执行单元433在所述多个任务队列的执行过程中,利用已执行完成的任务队列的执行线程执行所述多个任务队列中其他未完成任务队列中的待执行任务。
具体地,在此,所述各个任务队列中的执行线程并行执行包括所述目标任务在内的多个任务,各个执行线程处理完各自任务队列中所有任务的耗时不同,当其中部分任务队列已执行完毕后,为了提高并行处理的效率,减少执行资源的浪费,可以利用已执行完成的任务队列的执行线程执行所述多个任务队列中其他未完成任务队列中的待执行任务。例如所述执行线程1原本执行任务队列a的任务,所述执行线程2原本执行任务队列b的任务,所述执行线程3原本执行任务队列c的任务,在任务处理过程中,所述执行线程1率先执行完任务队列a中的全部任务,而所述任务队列b、和任务队列c中的任务依然没有全部处理完,此时可以调用所述执行线程1去处理所述任务队列b、和任务队列c,在此,优选地,所述被并发处理的任务队列的选取,可以是随机的;或是兼顾到系统整体的处理效率均衡,例如,若是任务队列b中线程2处理效率比任务队列c中线程3的处理效率低,或是任务队列b中待执行任务比任务队列c中待执行任务要多,则调用所述线程1和线程2一起并发处理任务队列b。
在此,本申请在处理所述目标任务时,基于所述一个或多个资源规格维度并行多个线程执行多个任务队列,并且,利用已执行完成的任务队列的执行线程执行所述多个任务队列中其他未完成任务队列中的待执行任务,例如,采取双端任务队列并发加速处理方法执行任务。从而,进一步提高了任务处理的速度,减少了资源计算的延迟,提高了资源管理的实时性。
更优选地,多任务并发执行单元433在所述多个任务队列的执行过程中,利用已执行完成的任务队列的执行线程从所述多个任务队列中其他未完成任务队列中反向获取待执行任务;利用所述执行线程执行所获取的所述待执行任务。
具体地,所述执行线程在处理其对应的任务队列时,通常是从队列顶部开始正向顺序处理所述任务队列中的各个任务,则在利用已执行完成的任务队列的执行线程执行所述多个任务队列中其他未完成任务队列中的待执行任务场景下,可以优选地,利用已执行完成的任务队列的执行线程从所述多个任务队列中其他未完成任务队列中反向获取待执行任务,例如,从底端向上,依次执行该未完成任务队列中所述待执行任务。在此,利用双端任务队列并发加速处理方法执行任务可以进一步提高任务处理的速度,减少了资源计算的延迟,提高了资源管理的实时性。
优选地,所述设备1还包括缓存装置(未示出),所述缓存装置将所述目标任务对应的执行结果缓存于与资源区域信息相对应的缓存模块。
具体地,当基于所述目标任务确定出所述执行结果后,可以将所述执行结果存储在持久化的业务数据库中,或是还可以进一步将所述执行结果存储到相应的缓存模块,由此可以提高数据读取和处理的效率、减少输入输出耗损。在此,优选地,可以基于哈希算法,将所述资源的资源区域信息与所述资源信息进行数据映射,所述资源区域信息与所述资源节点信息中的区域维度相对应;所述缓存模块中存储的所述资源信息可以包含所述资源的资源规格信息、资源数量信息或资源节点信息等。在此,基于哈希映射进行执行结果的缓存,可以实现对上层业务直接调用资源库存信息的支持。
在此,本申请实现了将所述目标任务对应的执行结果缓存于与资源区域信息相对应的缓存模块,在整体上降低响应延迟、减少输入输出的系统损耗。同时,可以实现对上层业务直接调用资源库存信息的支持,能够快速、准确地响应实际应用中用户、或系统的资源查询请求。
图5示出根据本申请另一个优选实施例的一种在分布式系统中计算资源的实例示意图。
具体地,在此,优选地,在所述设备1中基于Zoo Keeper组件的原理动态选举出一个或多个控制节点,以及与各个控制节点相对应的若干个数据节点。由所述控制节点采取定时任务多线程并发拉取底层物理资源,即采集所述元数据信息。进而对所述元数据信息进行规格化处理获得对应的规格化资源信息,并存储在所述库存数据库中。在此,优选地,还可以同时将所述规格化资源信息进行缓存,以提高后续处理任务时读取对应目标资源信息的效率。同时,所述控制节点实时监听消息队列,即图中所述高速库存队列中的任务列表。进而,当所述控制节点从所述高速库存队列中拉取到所述目标任务后,即将所述目标任务调度至对应的各个目标数据节点d1,在此,优选地,所述控制节点可以基于当前各个数据节点的任务状态信息,确定所述数据节点当前是否可用,进而在各个可用的数据节点中确定出所述目标数据节点d1。接着,在所述数据节点d1中,基于所述一个或多个资源规格维度将所述目标任务分解为多个任务队列,其中,每个任务队列对应一个资源规格维度;接着并行执行所述多个任务队列。进一步,优选地,在所述多个任务队列的执行过程中,利用已执行完成的任务队列的执行线程执行所述多个任务队列中其他未完成任务队列中的待执行任务,例如,通过多任务双端队列并发的执行相应任务队列。最后,当基于所述目标任务确定出所述执行结果后,可以将所述执行结果存储在持久化的业务数据库中,或是还可以进一步将所述执行结果存储到相应的缓存模块,即图中所示库存业务属性数据缓存模块中。由此可以提高数据读取和处理的效率、减少输入输出耗损;在此,通过哈希算法对所述资源的资源区域信息与所述资源信息进行数据映射,将与业务属性相关的资源信息进行缓存,可以实现对上层业务直接调用资源库存信息的支持,能够快速、准确地响应实际应用中用户、或系统的资源查询请求。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (18)

1.一种在分布式系统中计算资源的方法,其中,所述方法包括:
获取分布式系统中目标任务及其对应的一个或多个目标资源信息,其中,所述目标资源信息包括资源规格信息;所述资源规格信息包括:通过规格化处理获得的、体现资源在实际应用中对应的业务属性的信息;所述目标任务包括:系统发布的与资源计算相关的任务信息;
将所述目标任务调度至相对应的目标数据节点;
利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度将所述目标任务分解为多个任务队列,其中,每个任务队列对应一个资源规格维度;
并行执行所述多个任务队列。
2.根据权利要求1所述的方法,其中,所述方法还包括:
获取分布式系统中物理节点的节点资源信息;
对所述节点资源信息进行规格化处理以获得对应的规格化资源信息;
其中,所述获取分布式系统中目标任务及其对应的一个或多个目标资源信息,其中,所述目标资源信息包括资源规格信息包括:
获取所述分布式系统中目标任务;
从所述规格化资源信息中确定所述目标任务对应的一个或多个目标资源信息,其中,所述目标资源信息包括资源规格信息。
3.根据权利要求1所述的方法,其中,所述目标资源信息还包括资源节点信息;
其中,所述将所述目标任务调度至相对应的目标数据节点包括:
将所述目标任务调度至与所述资源节点信息相匹配的目标数据节点。
4.根据权利要求3所述的方法,其中,所述利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务包括:
利用所述目标数据节点按所述资源节点信息中的区域维度及所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务。
5.根据权利要求1所述的方法,其中,所述将所述目标任务调度至相对应的目标数据节点包括:
获取一个或多个数据节点的当前任务快照信息;
根据所述当前任务快照信息将所述目标任务调度至对应的目标数据节点。
6.根据权利要求5所述的方法,其中,所述根据所述当前任务快照信息将所述目标任务调度至对应的目标数据节点包括:
根据所述当前任务快照信息确定所述数据节点当前对应的成功处理任务数;
根据所述分布式系统中每个数据节点的平均任务负荷数与所述数据节点当前对应的成功处理任务数,将所述目标任务调度至对应的目标数据节点。
7.根据权利要求1所述的方法,其中,所述利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务还包括:
在所述多个任务队列的执行过程中,利用已执行完成的任务队列的执行线程执行所述多个任务队列中其他未完成任务队列中的待执行任务。
8.根据权利要求7所述的方法,其中,所述在所述多个任务队列的执行过程中,利用已执行完成的任务队列的执行线程执行所述多个任务队列中其他未完成任务队列中的待执行任务包括:
在所述多个任务队列的执行过程中,利用已执行完成的任务队列的执行线程从所述多个任务队列中其他未完成任务队列中反向获取待执行任务;
利用所述执行线程执行所获取的所述待执行任务。
9.根据权利要求1至8中任一项所述的方法,其中,所述方法还包括:
将所述目标任务对应的执行结果缓存于与资源区域信息相对应的缓存模块。
10.一种在分布式系统中计算资源的设备,其中,所述设备包括:
获取装置,用于获取分布式系统中目标任务及其对应的一个或多个目标资源信息,其中,所述目标资源信息包括资源规格信息;所述资源规格信息包括:通过规格化处理获得的、体现资源在实际应用中对应的业务属性的信息;所述目标任务包括:系统发布的与资源计算相关的任务信息;
调度装置,用于将所述目标任务调度至相对应的目标数据节点;
处理装置,用于利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务;
其中,所述处理装置包括:
多个任务队列确定单元,用于利用所述目标数据节点按所述资源规格信息对应的一个或多个资源规格维度将所述目标任务分解为多个任务队列,其中,每个任务队列对应一个资源规格维度;
多个任务队列并行执行单元,用于并行执行所述多个任务队列。
11.根据权利要求10所述的设备,其中,所述设备还包括:
节点资源信息获取装置,用于获取分布式系统中物理节点的节点资源信息;
规格化资源信息获取装置,用于对所述节点资源信息进行规格化处理以获得对应的规格化资源信息;
其中,所述获取装置包括:
目标任务获取单元,用于获取所述分布式系统中目标任务;
目标资源信息确定单元,用于从所述规格化资源信息中确定所述目标任务对应的一个或多个目标资源信息,其中,所述目标资源信息包括资源规格信息。
12.根据权利要求10所述的设备,其中,所述目标资源信息还包括资源节点信息;
其中,所述调度装置用于:
将所述目标任务调度至与所述资源节点信息相匹配的目标数据节点。
13.根据权利要求12所述的设备,其中,所述处理装置用于:
利用所述目标数据节点按所述资源节点信息中的区域维度及所述资源规格信息对应的一个或多个资源规格维度并行处理所述目标任务。
14.根据权利要求10所述的设备,其中,所述调度装置包括:
当前任务快照信息获取单元,用于获取一个或多个数据节点的当前任务快照信息;
目标数据节点调度单元,用于根据所述当前任务快照信息将所述目标任务调度至对应的目标数据节点。
15.根据权利要求14所述的设备,其中,所述目标数据节点调度单元用于:
根据所述当前任务快照信息确定所述数据节点当前对应的成功处理任务数;
根据所述分布式系统中每个数据节点的平均任务负荷数与所述数据节点当前对应的成功处理任务数,将所述目标任务调度至对应的目标数据节点。
16.根据权利要求10所述的设备,其中,所述处理装置还包括:
多任务并发执行单元,在所述多个任务队列的执行过程中,利用已执行完成的任务队列的执行线程执行所述多个任务队列中其他未完成任务队列中的待执行任务。
17.根据权利要求16所述的设备,其中,所述多任务并发执行单元用于:
在所述多个任务队列的执行过程中,利用已执行完成的任务队列的执行线程从所述多个任务队列中其他未完成任务队列中反向获取待执行任务;
利用所述执行线程执行所获取的所述待执行任务。
18.根据权利要求10至17中任一项所述的设备,其中,所述设备还包括:
缓存装置,用于将所述目标任务对应的执行结果缓存于与资源区域信息相对应的缓存模块。
CN201610428229.4A 2016-06-16 2016-06-16 一种在分布式系统中计算资源的方法与设备 Active CN107515784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610428229.4A CN107515784B (zh) 2016-06-16 2016-06-16 一种在分布式系统中计算资源的方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610428229.4A CN107515784B (zh) 2016-06-16 2016-06-16 一种在分布式系统中计算资源的方法与设备

Publications (2)

Publication Number Publication Date
CN107515784A CN107515784A (zh) 2017-12-26
CN107515784B true CN107515784B (zh) 2021-07-06

Family

ID=60721182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610428229.4A Active CN107515784B (zh) 2016-06-16 2016-06-16 一种在分布式系统中计算资源的方法与设备

Country Status (1)

Country Link
CN (1) CN107515784B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109375992A (zh) * 2018-08-17 2019-02-22 华为技术有限公司 一种资源调度方法及装置
CN109947565B (zh) * 2019-03-08 2021-10-15 北京百度网讯科技有限公司 用于分配计算任务的方法和装置
CN110109799A (zh) * 2019-03-29 2019-08-09 北京奇安信科技有限公司 一种计算资源运行状况的实时监控处理方法及装置
CN110213353A (zh) * 2019-05-19 2019-09-06 复旦大学 一种分布式数据节点的相互协作方法
CN110196868A (zh) * 2019-06-06 2019-09-03 四川新网银行股份有限公司 基于分布式的工单流程监控方法
CN110673931A (zh) * 2019-09-06 2020-01-10 平安普惠企业管理有限公司 单证合成的分布式计算方法、单证合成系统及其控制装置
CN110865877B (zh) * 2019-10-14 2024-04-19 平安银行股份有限公司 一种任务请求的响应方法及设备
CN112965796B (zh) * 2021-03-01 2024-04-09 亿企赢网络科技有限公司 一种任务调度系统、方法和装置
WO2023207851A1 (zh) * 2022-04-28 2023-11-02 华为技术有限公司 资源规格的确定方法和相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149692A (zh) * 2006-09-20 2008-03-26 国际商业机器公司 在分区间重新分配资源的方法和装置
CN101169742A (zh) * 2006-10-27 2008-04-30 国际商业机器公司 用于大规模并行处理系统的资源保留
CN103268261A (zh) * 2012-02-24 2013-08-28 苏州蓝海彤翔系统科技有限公司 一种适用于大规模高效能计算机的层次式计算资源管理方法
CN104243617A (zh) * 2014-10-14 2014-12-24 中国科学院信息工程研究所 一种异构集群中面向混合负载的任务调度方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100405795C (zh) * 2005-02-24 2008-07-23 广东省电信有限公司研究院 分布式对等流媒体的服务系统及其点播节目的实现方法
CN101202761B (zh) * 2007-12-04 2010-11-03 赵晓宇 一种分布式资源调度系统及其方法
US7870044B2 (en) * 2008-10-02 2011-01-11 Verizon Patent And Licensing Inc. Methods, systems and computer program products for a cloud computing spot market platform
CN101753608B (zh) * 2008-12-09 2013-06-05 中国移动通信集团公司 分布式系统的调度方法及系统
CN102096599A (zh) * 2009-12-14 2011-06-15 中国移动通信集团公司 一种多队列任务调度方法及相关系统和设备
US9268664B2 (en) * 2010-04-06 2016-02-23 Paypal, Inc. Method and system for synchronous and asynchronous monitoring
CN102567086B (zh) * 2010-12-30 2014-05-07 中国移动通信集团公司 一种任务调度的方法、设备和系统
CN102360310B (zh) * 2011-09-28 2014-03-26 中国电子科技集团公司第二十八研究所 一种分布式系统环境下的多任务进程监视方法
CN103927225B (zh) * 2014-04-22 2018-04-10 浪潮电子信息产业股份有限公司 一种多核心架构的互联网信息处理优化方法
CN105260244B (zh) * 2015-10-30 2019-11-22 北京奇艺世纪科技有限公司 一种分布式系统任务调度的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149692A (zh) * 2006-09-20 2008-03-26 国际商业机器公司 在分区间重新分配资源的方法和装置
CN101169742A (zh) * 2006-10-27 2008-04-30 国际商业机器公司 用于大规模并行处理系统的资源保留
CN103268261A (zh) * 2012-02-24 2013-08-28 苏州蓝海彤翔系统科技有限公司 一种适用于大规模高效能计算机的层次式计算资源管理方法
CN104243617A (zh) * 2014-10-14 2014-12-24 中国科学院信息工程研究所 一种异构集群中面向混合负载的任务调度方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Distributed computing feasibility in a non-dedicated homogeneous distributed system;Leutenegger S T等;《Supercomputing "93:Proceedings of the 1993 ACM/IEEE Conference on Supercomputing》;20041231;第1-22页 *
分布式系统中的调度算法研究;兰舟;《中国博士学位论文全文数据库》;20091115(第11期);第I138-26页 *

Also Published As

Publication number Publication date
CN107515784A (zh) 2017-12-26

Similar Documents

Publication Publication Date Title
CN107515784B (zh) 一种在分布式系统中计算资源的方法与设备
US9547521B2 (en) System and method for supporting dynamic thread pool sizing in a distributed data grid
CN109075988B (zh) 任务调度和资源发放系统和方法
US8438282B2 (en) Information processing system and load sharing method
US7631034B1 (en) Optimizing node selection when handling client requests for a distributed file system (DFS) based on a dynamically determined performance index
US8763012B2 (en) Scalable, parallel processing of messages while enforcing custom sequencing criteria
US20140379722A1 (en) System and method to maximize server resource utilization and performance of metadata operations
US9870269B1 (en) Job allocation in a clustered environment
US20130060834A1 (en) Distributed messaging system connectivity and resource management
US20170344546A1 (en) Code dispersion hash table-based map-reduce system and method
CN106569892B (zh) 资源调度方法与设备
Liu et al. A survey of scheduling frameworks in big data systems
Ahmed et al. A hybrid and optimized resource scheduling technique using map reduce for larger instruction sets
CN107515781A (zh) 一种多处理器系统确定性调度和负载均衡方法
Aarthee et al. Energy-aware heuristic scheduling using bin packing mapreduce scheduler for heterogeneous workloads performance in big data
US20210286647A1 (en) Embedded persistent queue
Shu et al. Dynamic load balancing and channel strategy for apache flume collecting real-time data stream
US10564854B2 (en) Tracking internal latencies for load balancing of file server
CN106997304B (zh) 输入输出事件的处理方法及设备
Oonhawat et al. Hotspot management strategy for real-time log data in MongoDB
CN113297245A (zh) 获取执行信息的方法及装置
US10542085B2 (en) Harvesting spare storage in a data center
CN116069739A (zh) 数据处理方法、装置、设备和系统
CN116755858A (zh) Kafka数据管理方法、装置、计算机设备及存储介质
Sheoran et al. MapReduce scheduler: a bird eye view

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230530

Address after: Room 1-2-A06, Yungu Park, No. 1008 Dengcai Street, Sandun Town, Xihu District, Hangzhou City, Zhejiang Province

Patentee after: Aliyun Computing Co.,Ltd.

Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK

Patentee before: ALIBABA GROUP HOLDING Ltd.