CN104461740B - 一种跨域集群计算资源聚合和分配的方法 - Google Patents
一种跨域集群计算资源聚合和分配的方法 Download PDFInfo
- Publication number
- CN104461740B CN104461740B CN201410770923.5A CN201410770923A CN104461740B CN 104461740 B CN104461740 B CN 104461740B CN 201410770923 A CN201410770923 A CN 201410770923A CN 104461740 B CN104461740 B CN 104461740B
- Authority
- CN
- China
- Prior art keywords
- cluster
- resource
- task
- node
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000006116 polymerization reaction Methods 0.000 title claims abstract description 25
- 238000007726 management method Methods 0.000 claims abstract description 16
- 230000000712 assembly Effects 0.000 claims abstract description 12
- 238000000429 assembly Methods 0.000 claims abstract description 12
- 238000011084 recovery Methods 0.000 claims abstract description 5
- 238000013468 resource allocation Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 239000010410 layer Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000012792 core layer Substances 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
Abstract
本发明涉及一种跨域集群计算资源聚合和分配的方法,包括以下步骤：建立并行计算管理平台；搭建跨域分布式多级集群资源池环境；集群资源登记和更新；集群任务资源分配；集群任务提交和结果回收。所述方法是指一种全局式集群资源管控及共享技术的体现。在实际运行中，一个分布式集群往往计算节点数量有限，当任务量较大时需要排队计算，因此会出现本地集群繁忙而别的集群空闲的情形，如果能将多个分布式集群联合起来，实现资源共享，让忙碌的集群可以把任务调节到闲置的集群上，可以大大提高批量任务的处理速度。
Description
技术领域：
本发明涉及一种计算资源聚合和分配的方法，更具体涉及一种跨域集群计算资源聚合和分配的方法。
背景技术：
分布式计算一直是计算机领域的研究热点。随着网络技术及应用的不断发展,能否为用户提供高质量的服务技术已经成为衡量一个分布式应用是否成功的关键因素。虚拟计算环境是以互联网为基础,实现资源按需聚合与自主协同的服务平台。互联网上存在着极为丰富的资源,但由于资源节点所固有的高度的动态性与自治性,导致系统服务质量较难得到保证。
分布式系统是由多个分散的计算机经互连网络构成的统一计算机系统。其中各个物理的和逻辑的资源既相互配合又高度自治，能在全系统范围内实现资源管理和数据共享，动态的实现任务分配和功能分配，且能并行的运行分布式程序，它强调资源、任务、功能、数据和控制的全面分布，它们分布于各个物理上分散的计算机节点中，各个节点经过互连网络相互通信，构成统一的处理系统。
分布式系统具有高度的内聚性和透明性，内聚性是指分布式中的每一个节点都高度自治，有本地的数据库管理系统和应用软件，透明性是指每一个分布式节点对用户或者整个系统来讲都是透明的，涉及具体的数据处理、分布式计算时，看不出来是在本地还是远程，用户也不必关心自己的需求究竟是在哪个节点被执行的。
分布式集群由前述包括网关、调度、数据、计算节点，用户提交任务时向集群调度节点发起，调度节点收到该计算请求后向资源池申请资源，资源申请成功后，向目的集群发起计算命令消息。
在实际运行中，一个分布式集群往往计算节点数量有限，当任务量较大时需要排队计算，因此会出现本地集群繁忙而别的集群空闲的情形，如果能将多个分布式集群联合起来，实现资源共享，让忙碌的集群可以把任务调节到闲置的集群上，可以大大提高批量任务的处理速度。
发明内容：
本发明的目的是提供一种跨域集群计算资源聚合和分配的方法，所述方法通过多级调度大规模分层分布式并行计算平台实现了数据和程序的预分配，减少了网络通信量，大大的提高了通信效率。
为实现上述目的，本发明采用以下技术方案：一种跨域集群计算资源聚合和分配的方法，包括以下步骤：
(1)建立并行计算管理平台；
(2)搭建跨域分布式多级集群资源池环境；
(3)集群资源登记和更新；
(4)集群任务资源分配；
(5)集群任务提交和结果回收。
本发明提供的一种跨域集群计算资源聚合和分配的方法，所述步骤(1)中的平台包括若干个计算节点、调度节点、数据节点和网关服务器；所述计算节点负责数据并行计算；所述调度节点负责用户任务调度、控制以及结果回收；所述数据节点用于存放历史数据以及结果入库功能；所述网关服务器负责平台的统一对外接口，包括与其他系统的对接以及数据同步功能。
本发明提供的一种跨域集群计算资源聚合和分配的方法，所述步骤(2)中的搭建过程为：每个分级分布式集群通过网关将自己集群中的资源信息交给虚拟的集群资源池统一管理和分配，资源池自动将不同级别的集群按文件系统的方式将各个集群按树状结构进行存储和管理，级别和树状层次结构相对应，区域名是全网唯一：下级单位只能分配使用直属上级调度机构资源。
本发明提供的另一优选的一种跨域集群计算资源聚合和分配的方法，多级调度分层分布式所述并行计算平台通过采集资源信息流程和采用单节点管理，周期定时上报与任务调度主动下发资源信息采集控制指令相结合的方式，定时刷新和实时刷新实体机和机群资源信息；所述分布式集群的本地机群资源汇总信息通过调度服务器实时更新至跨域分布式并行计算平台统一计算资源池；通过节点管理按照机群任务调度下发的指令，在单节点内分配计算资源。
本发明提供的再一优选的一种跨域集群计算资源聚合和分配的方法，所述资源信息包括本集群计算节点个数、集群总核数、集群可用核数、集群级别、集群区域名、本集群上级区域名、调度节点IP信息和资源共享标识信息；所述信息均不借助第三方软件采集。
本发明提供的又一优选的一种跨域集群计算资源聚合和分配的方法，所述步骤(3)中的登记和更新过程为：每个分布式集群上线时在资源池中建立自己的资源信息树节点，建立成功后再次上报资源更改自己在资源池中的资源信息；所述网关服务器应用收到本地集群资源上报消息后，调用资源池服务中心接口，查找树路径中对应的节点；如果找到了树路径中对应的节点，就更新数据；否则根据上级区域名查找上级区域在树中的路径，如果找到相应路径则新建节点和更新数据。
本发明提供的又一优选的一种跨域集群计算资源聚合和分配的方法，所述步骤(4)中的任务资源分配过程包括：
所述本地集群的调度服务器应用收到本地计算请求后，分析任务配置文件得到该任务模板所需的总核数；
调用资源池信息查询结构找到本地集群资源信息，判断本地资源是否够用，如果够用就直接向本地集群调度节点下达计算命令消息；
如果本地资源不够用，重新查找资源池本地集群的上级集群是否有可用的集群资源，如果找到可用的资源，则根据对方网关IP地址信息将本地计算数据同步过去，再通过消息发送共享请求计算消息；
如果资源池中找不到可用集群，则将该任务按优先级顺序加入任务等待队列。
本发明提供的又一优选的一种跨域集群计算资源聚合和分配的方法，所述调度服务器应用包括用于监视资源池可用资源信息变化事件的监视事件线程；如果所述线程被触发，则检查任务队列是否有任务，如果有任务，再按所述步骤(4)为队列里的任务分配资源。
本发明提供的又一优选的一种跨域集群计算资源聚合和分配的方法，所述步骤(5)中的任务提交和结果回收过程包括：
用户向本地集群调度节点提交计算任务；
本地集群的调度服务器应用收到计算请求后，进行任务分析，根据申请资源情况确定是否任务需要拆分；如果不拆分，则只向申请到的本地或者异地的集群发送计算指令消息；如果需要拆分，则重新生成计算任务配置文件，然后向两个或多个集群发送计算指令消息；如果需要向异地集群发送计算请求，则进行计算指令发送之前还要有计算数据同步到异地调度服务器；
本地集群或者是异地集群收到本方调度服务器计算指令后，由集群内部计算机制调用相应计算程序参与计算，当计算完成后，根据需要将结果返回到本方调度应用服务器；
调度服务器接收到异地共享集群调度节点返回的计算结果后，根据任务属性判断结果属于本集群计算还是远程异地集群计算，然后再调用入库程序进行入库操作。
本发明提供的又一优选的一种跨域集群计算资源聚合和分配的方法，当用户向本地集群调度节点提交计算任务时，调度节点向本集群网关节点和所有计算节点组播计算数据。
和最接近的现有技术比，本发明提供技术方案具有以下优异效果
1、本发明的方法采用Paxos算法原理在多级调度环境中构建大规模分布式并行计算平台统一计算资源池，资源池信息运维分布式存储在各调度机构机群网关服务器；
2、本发明的方法通过Paxos算法实现了资源池中机群信息的动态变化协调一致性，任何一个机群信息都能被全网内各级调度机构机群网关服务器查询访问；
3、本发明的方法提出了多级调度资源统一分配和管理机制，为机群资源共享提供了技术支持；
4、本发明的方法通过多级调度大规模分层分布式并行计算平台实现了数据和程序的预分配，减少了网络通信量，大大的提高了通信效率；
5、本发明的方法通过分布式一体化调度方案下的多级调度大规模分层分布式并行计算平台解决了单点故障问题，实现了网络负载均衡，规避了资源利用不充分现象，提高了资源利用率。
附图说明
图1为本发明的多级调度任务共享机制示意图；
图2为本发明的分布式系统总体结构示意图；
图3为本发明的多集群资源池构成示意图；
图4为本发明的集群资源登记和更新流程图；
图5为本发明的集群任务资源分配流程图；
图6为本发明的集群任务提交和结果回收流程图；
图7为本发明的并行计算管理平台结构示意图。
具体实施方式
下面结合实施例对发明作进一步的详细说明。
实施例1：
如图1-6所示，本例的发明提供的一种跨域集群计算资源聚合和分配的方法，包括以下步骤：
并行计算管理平台的建立，如图7所示：
并行计算平台由一组相关联的负责不同业务处理的服务器构成，它们构成了一个分布式集群，平台包括若干个计算节点，负责数据并行计算，调度节点是平台的核心，负责用户任务调度和控制以及结果回收，数据节点用于存放历史数据以及结果入库功能，网关服务器负责平台的统一对外接口，包括与其他系统的对接以及数据同步功能等。
跨域分布式多级集群资源池环境搭建，如图3所示，
平台统一计算资源池是为维护全局多级共享集群的计算资源而建立的，每个分布式集群都能看到一致的动态管理的资源池，也就是本地集群可以看到全局所有分布式集群的计算资源信息，并且这些信息会随着计算资源信息的改变而动态更新。当本地集群资源不满足计算要求时，可以随时向全局资源池服务中心申请共享集群资源参与计算。
广域网中每个分级分布式集群通过网关将自己集群中的资源信息交给虚拟的集群资源池统一管理和分配，资源池自动将不同级别的集群按类似文件系统的方式将各个集群按树状结构进行存储和管理，级别和树状层次结构相对应，区域名是全网唯一，比如国调、华北分调、河北省调，这些属性规定了平台统一计算资源池按照特定的策略，进行分配调度和分配：下级单位只能分配使用直属上级调度机构资源。
多级调度分层分布式并行计算平台通过采集资源信息流程，采用单节点管理，周期定时上报与任务调度主动下发资源信息采集控制指令相结合的方法，定时刷新及实时刷新实体机以及机群资源信息。本地机群资源汇总信息通过调度服务器实时更新至跨域分布式并行计算平台统一计算资源池。通过节点管理按照机群任务调度下发的指令，在单节点内分配计算资源。资源信息包括：本集群计算节点个数、集群总核数、集群可用核数、集群级别、集群区域名、本集群上级区域名、调度节点IP信息、资源共享标识等信息，均不借助第三方软件采集。
集群资源登记和更新，如图4所示：
每个分布式集群刚上线时会首先在资源池中建立自己的资源信息树节点，建立成功后以后再次上报资源会更改自己在资源池中的资源信息，网关服务器应用收到本地集群资源上报消息后，首先是调用资源池服务中心接口，查找树路径中对应的节点，如果找到了，就更新数据，否则根据上级区域名查找上级区域在树中的路径，如果找到则新建节点和更新数据。下图说明了该流程情况：
集群任务资源分配；如图5所示：
1、本地集群的调度服务器应用收到本地计算请求后，首先分析任务配置文件得到该任务模板所需的总核数。
2、调用资源池信息查询结构找到本地集群资源信息，判断本地资源是否够用，如果够用就直接向本地集群调度节点下达计算命令消息。
3、如果本地资源不够用，重新查找资源池本地集群的上级集群是否有可用的集群资源，如果找到可用的资源，则根据对方网关IP地址信息首先将本地计算数据同步过去，然后再通过消息发送共享请求计算消息。
4、如果资源池中找不到可用集群，则将该任务按优先级顺序加入任务等待队列。
5、调度应用有一个监视事件线程，用于监视资源池可用资源信息变化事件，如果被触发，会检查任务队列是否有任务，如果有任务，再按上述流程为队列里的任务分配资源。
集群任务提交和结果回收；如图4所示：
1、用户向本地集群调度节点提交计算任务，调度节点向本集群网关节点和所有计算节点组播计算数据，这实现了计算数据预分配，而且由于计算节点部署时已安装了计算应用，因此程序也实现了预分配。
2、本地集群调度应用收到计算请求后，先进行任务分析，根据申请资源情况确定是否任务需要拆分，如果不拆分，则只向申请到的集群(本地或者异地)发送计算指令消息，如果需要拆分，则重新生成计算任务配置文件，然后向两个或多个集群发送计算指令消息，如果需要向异地集群发送计算请求，则进行计算指令发送之前还要有计算数据同步到异地调度服务器的过程。
3、本地集群或者是异地集群收到本方调度服务器计算指令后，由集群内部计算流程机制调用相应计算程序参与计算，当计算完成后，根据需要将结果返回到本方调度应用服务器。
4、调度服务器接收到异地共享集群调度节点返回的计算结果后，根据任务属性判断结果属于本集群计算还是远程异地集群计算，然后再调用入库程序进行入库操作。
多个集群可以共享计算资源，实现联合调度，构成集群组。客户端连接到本地集群，将批量任务提交给调度，调度负责将任务在各集群间分配，并将结果汇总后返回给客户端。客户端可以不必关心任务在实际在哪里执行，如果需要也可以把相关信息返给客户。多级调度大规模分层分布式并行计算平台支持各个集群查询及控制、集群之间任务联合调度或集群资源共享，本地提交的任务既可以在本地计算，也可以在本地集群资源不足的情况下交给共享的机群计算。
多级调度大规模分层分布式并行计算平台包括应用层、平台核心层、基础层，其中应用层包括浏览器、离线提交端等上层应用；平台核心层包括DistComp并行计算管理程序、计算程序、调度程序等；基础层包括通信中间件、操作系统。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员尽管参照上述实施例应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。
Claims (8)
1.一种跨域集群计算资源聚合和分配的方法，其特征在于：包括以下步骤：
(1)建立并行计算管理平台；
(2)搭建跨域分布式多级集群资源池环境；
(3)集群资源登记和更新；
(4)集群任务资源分配；
(5)集群任务提交和结果回收；
所述步骤(1)中的平台包括若干个计算节点、调度节点、数据节点和网关服务器；所述计算节点负责数据并行计算；所述调度节点负责用户任务调度、控制以及结果回收；所述数据节点用于存放历史数据以及结果入库功能；所述网关服务器负责平台的统一对外接口，包括与其他系统的对接以及数据同步功能；
所述步骤(2)中的搭建过程为：每个分级分布式集群通过网关将自己集群中的资源信息交给虚拟的集群资源池统一管理和分配，资源池自动将不同级别的集群按文件系统的方式将各个集群按树状结构进行存储和管理，级别和树状层次结构相对应，区域名是全网唯一：下级单位只能分配使用直属上级调度机构资源。
2.如权利要求1所述的一种跨域集群计算资源聚合和分配的方法，其特征在于：多级调度分层分布式所述并行计算平台通过采集资源信息流程和采用单节点管理，周期定时上报与任务调度主动下发资源信息采集控制指令相结合的方式，定时刷新和实时刷新实体机和机群资源信息；所述分布式集群的本地机群资源汇总信息通过调度服务器实时更新至跨域分布式并行计算平台统一计算资源池；通过节点管理按照机群任务调度下发的指令，在单节点内分配计算资源。
3.如权利要求2所述的一种跨域集群计算资源聚合和分配的方法，其特征在于：所述资源信息包括本集群计算节点个数、集群总核数、集群可用核数、集群级别、集群区域名、本集群上级区域名、调度节点IP信息和资源共享标识信息；所述信息均不借助第三方软件采集。
4.如权利要求3所述的一种跨域集群计算资源聚合和分配的方法，其特征在于：所述步骤(3)中的登记和更新过程为：每个分布式集群上线时在资源池中建立自己的资源信息树节点，建立成功后再次上报资源更改自己在资源池中的资源信息；所述网关服务器应用收到本地集群资源上报消息后，调用资源池服务中心接口，查找树路径中对应的节点；如果找到了树路径中对应的节点，就更新数据；否则根据上级区域名查找上级区域在树中的路径，如果找到相应路径则新建节点和更新数据。
5.如权利要求3所述的一种跨域集群计算资源聚合和分配的方法，其特征在于：所述步骤(4)中的任务资源分配过程包括：
本地集群的调度服务器应用收到本地计算请求后，分析任务配置文件得到任务模板所需的总核数；
调用资源池信息查询结构找到本地集群资源信息，判断本地资源是否够用，如果够用就直接向本地集群调度节点下达计算命令消息；
如果本地资源不够用，重新查找资源池本地集群的上级集群是否有可用的集群资源，如果找到可用的资源，则根据对方网关IP地址信息将本地计算数据同步过去，再通过消息发送共享请求计算消息；
如果资源池中找不到可用集群，则将该任务按优先级顺序加入任务等待队列。
6.如权利要求5所述的一种跨域集群计算资源聚合和分配的方法，其特征在于：所述调度服务器应用包括用于监视资源池可用资源信息变化事件的监视事件线程；如果所述线程被触发，则检查任务队列是否有任务，如果有任务，再按所述步骤(4)为队列里的任务分配资源。
7.如权利要求3所述的一种跨域集群计算资源聚合和分配的方法，其特征在于：所述步骤(5)中的任务提交和结果回收过程包括：
用户向本地集群调度节点提交计算任务；
本地集群的调度服务器应用收到计算请求后，进行任务分析，根据申请资源情况确定是否任务需要拆分；如果不拆分，则只向申请到的本地或者异地的集群发送计算指令消息；如果需要拆分，则重新生成计算任务配置文件，然后向两个或多个集群发送计算指令消息；如果需要向异地集群发送计算请求，则进行计算指令发送之前还要有计算数据同步到异地调度服务器；
本地集群或者是异地集群收到本方调度服务器计算指令后，由集群内部计算机制调用相应计算程序参与计算，当计算完成后，根据需要将结果返回到本方调度应用服务器；
调度服务器接收到异地共享集群调度节点返回的计算结果后，据任务属性判断结果属于本集群计算还是远程异地集群计算，然后再调用入库程序进行入库操作。
8.如权利要求7所述的一种跨域集群计算资源聚合和分配的方法，其特征在于：当用户向本地集群调度节点提交计算任务时，调度节点向本集群网关节点和所有计算节点组播计算数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410770923.5A CN104461740B (zh) | 2014-12-12 | 2014-12-12 | 一种跨域集群计算资源聚合和分配的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410770923.5A CN104461740B (zh) | 2014-12-12 | 2014-12-12 | 一种跨域集群计算资源聚合和分配的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104461740A CN104461740A (zh) | 2015-03-25 |
| CN104461740B true CN104461740B (zh) | 2018-03-20 |
Family
ID=52907838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410770923.5A Active CN104461740B (zh) | 2014-12-12 | 2014-12-12 | 一种跨域集群计算资源聚合和分配的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104461740B (zh) |
Families Citing this family (65)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160381120A1 (en) * | 2015-06-24 | 2016-12-29 | Intel Corporation | System for event dissemination |
| CN105072211B (zh) * | 2015-08-12 | 2018-11-02 | 网宿科技股份有限公司 | 基于dns的域名部署系统及方法 |
| CN105468460B (zh) * | 2015-12-02 | 2018-11-09 | 上海电机学院 | 一种混合云环境下虚拟资源监控与分配方法 |
| CN105703940B (zh) * | 2015-12-10 | 2021-08-20 | 中国电力科学研究院有限公司 | 一种面向多级调度分布式并行计算的监控系统及监控方法 |
| CN106302628B (zh) * | 2015-12-29 | 2019-12-27 | 北京典赞科技有限公司 | Arm架构网络集群中计算资源的统一管理调度方法 |
| CN105721545B (zh) * | 2016-01-20 | 2019-01-22 | 浪潮(北京)电子信息产业有限公司 | 一种多层次集群管理实现方法 |
| CN107155215B (zh) * | 2016-03-02 | 2020-07-21 | 阿里巴巴集团控股有限公司 | 一种应用归属服务集群的分配方法和装置 |
| CN107360202A (zh) * | 2016-05-09 | 2017-11-17 | 腾讯科技（深圳）有限公司 | 一种终端的接入调度方法和装置 |
| CN107402810B (zh) * | 2016-05-20 | 2020-07-14 | 阿里巴巴集团控股有限公司 | 线程分配方法及装置 |
| CN105915650B (zh) * | 2016-06-21 | 2019-05-24 | 腾讯科技（深圳）有限公司 | 负载均衡方法和装置 |
| CN106131141B (zh) * | 2016-06-27 | 2017-07-18 | 徐州医科大学 | 一种分布式集群负载均衡并行调度系统及方法 |
| CN107621973B (zh) * | 2016-07-13 | 2021-10-26 | 阿里巴巴集团控股有限公司 | 一种跨集群的任务调度方法及装置 |
| CN108076112A (zh) * | 2016-11-15 | 2018-05-25 | 北京金山云网络技术有限公司 | 一种宿主机调度方法及装置 |
| CN106681793A (zh) * | 2016-11-25 | 2017-05-17 | 同济大学 | 一种基于kvm的加速器虚拟化数据处理系统及方法 |
| CN108255820B (zh) * | 2016-12-28 | 2022-03-04 | 阿里巴巴集团控股有限公司 | 分布式系统中数据入库的方法、装置以及电子设备 |
| CN107066332B (zh) * | 2017-01-25 | 2020-03-13 | 广东神马搜索科技有限公司 | 分布式系统及其调度方法和调度装置 |
| CN106911783B (zh) * | 2017-03-01 | 2020-04-24 | 华南理工大学 | 一种面向超融合一体机的资源监控系统 |
| CN106936911B (zh) * | 2017-03-13 | 2020-06-23 | 广州五舟科技股份有限公司 | 轻量级分布式计算平台及其计算资源管控方法 |
| CN108632067B (zh) | 2017-03-21 | 2020-12-08 | 华为技术有限公司 | 容灾部署方法、装置及系统 |
| CN107402812A (zh) * | 2017-05-24 | 2017-11-28 | 阿里巴巴集团控股有限公司 | 集群资源调度方法、装置、设备及存储介质 |
| CN107436837A (zh) * | 2017-06-30 | 2017-12-05 | 山东师范大学 | 一种基于负载聚合的程序特征指标体系建立方法 |
| CN107515786B (zh) * | 2017-08-04 | 2021-02-19 | 北京奇虎科技有限公司 | 资源分配方法、主装置、从装置和分布式计算系统 |
| CN109408220A (zh) * | 2017-08-17 | 2019-03-01 | 北京国双科技有限公司 | 一种任务处理方法及装置 |
| CN107562528B (zh) * | 2017-09-11 | 2021-06-29 | 金蝶软件（中国）有限公司 | 支持多种计算框架的单元化按需计算方法及相关装置 |
| CN109726004B (zh) * | 2017-10-27 | 2021-12-03 | 中移(苏州)软件技术有限公司 | 一种数据处理方法及装置 |
| CN109936471B (zh) * | 2017-12-18 | 2022-05-24 | 北京图森智途科技有限公司 | 一种多集群的资源分配方法和装置 |
| CN108509268A (zh) * | 2018-02-24 | 2018-09-07 | 宁波诺信睿聚投资有限责任公司 | 集群资源分配方法、装置、设备及计算机可读存储介质 |
| CN108512692A (zh) * | 2018-02-24 | 2018-09-07 | 国家计算机网络与信息安全管理中心 | 一种资源整合方法和装置 |
| CN108536537B (zh) * | 2018-03-29 | 2019-05-28 | 北京白山耘科技有限公司 | 一种进程资源回收方法及装置 |
| CN108595264A (zh) * | 2018-04-10 | 2018-09-28 | 平安科技（深圳）有限公司 | 刷新任务分配方法、电子设备及计算机可读存储介质 |
| CN108694082B (zh) * | 2018-05-14 | 2021-06-22 | 有时数联科技（北京）有限公司 | 一种跨域作业流调度方法及系统 |
| CN109068285B (zh) * | 2018-07-26 | 2021-08-27 | 成都鼎桥通信技术有限公司 | 一种集群池的实现方法 |
| CN108920111B (zh) * | 2018-07-27 | 2021-05-28 | 中国联合网络通信集团有限公司 | 数据共享方法及分布式数据共享系统 |
| CN109376005B (zh) * | 2018-09-03 | 2021-10-29 | 福建星瑞格软件有限公司 | 大数据框架处理任务的资源管理方法 |
| CN109408242B (zh) * | 2018-11-13 | 2020-08-04 | 郑州云海信息技术有限公司 | 一种服务器资源上下线方法与装置 |
| CN109582451A (zh) * | 2018-11-21 | 2019-04-05 | 金色熊猫有限公司 | 任务调度方法、系统、设备以及可读介质 |
| CN110191143B (zh) * | 2018-12-13 | 2022-09-30 | 浙江宇视科技有限公司 | 一种资源发布方法、装置及系统 |
| CN110120979B (zh) * | 2019-05-20 | 2023-03-10 | 华为云计算技术有限公司 | 一种调度方法、装置及相关设备 |
| CN112448982A (zh) * | 2019-08-31 | 2021-03-05 | 深圳致星科技有限公司 | 一种多任务训练集群任务间共享网络资源的方法及系统 |
| CN110716802B (zh) * | 2019-10-11 | 2022-05-17 | 恩亿科(北京)数据科技有限公司 | 一种跨集群的任务调度系统及方法 |
| CN111078792B (zh) * | 2019-12-12 | 2020-12-18 | 重庆特斯联智慧科技股份有限公司 | 一种分布式架构的城市超脑并行计算方法和系统 |
| CN110933107A (zh) * | 2019-12-16 | 2020-03-27 | 许昌学院 | 分布式统计分析系统的配置方法及分布式统计分析系统 |
| CN111291893B (zh) * | 2020-01-22 | 2023-06-02 | 合肥本源量子计算科技有限责任公司 | 调度方法、调度系统、存储介质和电子装置 |
| CN113364892B (zh) * | 2020-03-04 | 2023-03-24 | 阿里巴巴集团控股有限公司 | 跨多集群服务的域名解析方法、相关方法、装置和系统 |
| CN111431741B (zh) * | 2020-03-17 | 2023-04-21 | 北京奇艺世纪科技有限公司 | 服务上线方法、系统、计算机设备及存储介质 |
| CN111416861B (zh) * | 2020-03-20 | 2022-07-26 | 中国建设银行股份有限公司 | 一种通信管理系统和方法 |
| CN111309491B (zh) * | 2020-05-14 | 2020-11-06 | 北京并行科技股份有限公司 | 一种作业协同处理方法及系统 |
| CN111597024B (zh) * | 2020-05-14 | 2022-02-18 | 科东(广州)软件科技有限公司 | 跨域集群处理方法、装置、电子设备及存储介质 |
| CN111638941B (zh) * | 2020-05-21 | 2022-08-02 | 同济大学 | 基于数据资源分布的跨域方舱计算系统及方法 |
| CN113746763B (zh) * | 2020-05-29 | 2022-11-11 | 华为技术有限公司 | 一种数据处理的方法、装置和设备 |
| CN111787063B (zh) * | 2020-06-02 | 2023-05-16 | 深圳前海移联科技有限公司 | 一种业务服务的通道路由管理方法 |
| CN111858054B (zh) * | 2020-07-22 | 2023-03-10 | 北京秒如科技有限公司 | 一种异构环境下基于边缘计算的资源调度系统及方法 |
| CN112272201B (zh) * | 2020-09-15 | 2022-05-27 | 网宿科技股份有限公司 | 一种设备纳管方法、系统及纳管集群 |
| CN114258142A (zh) * | 2020-09-23 | 2022-03-29 | 北京紫光展锐通信技术有限公司 | 资源管理方法及装置 |
| CN112445590A (zh) * | 2020-10-15 | 2021-03-05 | 北京仿真中心 | 一种计算资源接入及调度系统和方法 |
| CN112532751B (zh) * | 2021-02-09 | 2021-05-07 | 中关村科学城城市大脑股份有限公司 | 城市大脑ai计算中心分布式异构算力的调度方法及系统 |
| CN112965817B (zh) * | 2021-02-22 | 2023-08-11 | 网易（杭州）网络有限公司 | 资源管理方法、装置和电子设备 |
| CN113239522B (zh) * | 2021-04-20 | 2022-06-28 | 四川大学 | 一种基于计算机集群的大气污染物扩散模拟方法 |
| CN113612732B (zh) * | 2021-07-06 | 2023-12-26 | 华控清交信息科技(北京)有限公司 | 一种资源调用方法、装置和多方安全计算系统 |
| CN113742030A (zh) * | 2021-07-29 | 2021-12-03 | 南方电网深圳数字电网研究院有限公司 | 跨区服务配置方法、装置和存储介质 |
| CN114745385B (zh) * | 2022-04-12 | 2023-05-30 | 吉林大学 | 一种构建slurm调度并行计算集群的方法 |
| CN114785790B (zh) * | 2022-04-29 | 2024-03-08 | 杭州海康威视系统技术有限公司 | 跨域分析系统、跨域资源调度方法、装置及存储介质 |
| CN115174695B (zh) * | 2022-07-18 | 2024-01-26 | 中软航科数据科技(珠海横琴)有限公司 | 一种用于分布式网络资源的调度系统及方法 |
| CN116089079A (zh) * | 2023-01-03 | 2023-05-09 | 哈尔滨暖一杯茶科技有限公司 | 一种基于大数据的计算机资源分配管理系统及方法 |
| CN117149445B (zh) * | 2023-10-31 | 2024-01-12 | 北京比格大数据有限公司 | 一种跨集群负载均衡方法及装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102170474A (zh) * | 2011-04-22 | 2011-08-31 | 广州杰赛科技股份有限公司 | 一种云计算网络中虚拟资源动态调度方法及系统 |
| CN103207814A (zh) * | 2012-12-27 | 2013-07-17 | 北京仿真中心 | 一种去中心化的跨集群资源管理与任务调度系统与调度方法 |
| CN104123182A (zh) * | 2014-07-18 | 2014-10-29 | 西安交通大学 | 基于主从架构的MapReduce任务跨数据中心调度系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1738258A4 (en) * | 2004-03-13 | 2009-10-28 | Cluster Resources Inc | SYSTEM AND METHOD IMPLEMENTING OBJECT TRIGGERS |
| KR20130088512A (ko) * | 2012-01-31 | 2013-08-08 | 한국전자통신연구원 | 클러스터 컴퓨팅 환경에서의 자원 관리 장치 및 방법 |
-
2014
- 2014-12-12 CN CN201410770923.5A patent/CN104461740B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102170474A (zh) * | 2011-04-22 | 2011-08-31 | 广州杰赛科技股份有限公司 | 一种云计算网络中虚拟资源动态调度方法及系统 |
| CN103207814A (zh) * | 2012-12-27 | 2013-07-17 | 北京仿真中心 | 一种去中心化的跨集群资源管理与任务调度系统与调度方法 |
| CN104123182A (zh) * | 2014-07-18 | 2014-10-29 | 西安交通大学 | 基于主从架构的MapReduce任务跨数据中心调度系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104461740A (zh) | 2015-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104461740B (zh) | 一种跨域集群计算资源聚合和分配的方法 | |
| Ningning et al. | Fog computing dynamic load balancing mechanism based on graph repartitioning | |
| CN109240821B (zh) | 一种基于边缘计算的分布式跨域协同计算与服务系统及方法 | |
| CN102882973B (zh) | 基于p2p技术的分布式负载均衡系统和方法 | |
| CN102929718B (zh) | 一种基于任务调度的分布式gpu计算机系统 | |
| CN104050042B (zh) | Etl作业的资源分配方法及装置 | |
| CN105809356A (zh) | 一种基于应用集成云平台的信息系统资源管理方法 | |
| CN102137128A (zh) | 一种集群服务的负载均衡方法和装置 | |
| CN107450977A (zh) | 基于yarn的面向gpgpu集群的资源管理调度方法 | |
| CN104123182A (zh) | 基于主从架构的MapReduce任务跨数据中心调度系统及方法 | |
| Baranwal et al. | FONS: a fog orchestrator node selection model to improve application placement in fog computing | |
| CN101753405A (zh) | 集群服务器内存管理方法及其系统 | |
| CN106101196A (zh) | 一种基于概率模型的云渲染平台任务调度系统及方法 | |
| CN103763174A (zh) | 一种基于功能块的虚拟网络映射方法 | |
| CN104112049A (zh) | 基于P2P构架的MapReduce任务跨数据中心调度系统及方法 | |
| CN110321198A (zh) | 一种容器云平台计算资源与网络资源协同调度方法及系统 | |
| CN103281211A (zh) | 大规模网络节点分组管理系统及管理方法 | |
| CN108574729A (zh) | 一种智能变电站云系统 | |
| El-Zoghdy | A hierarchical load balancing policy for grid computing environment | |
| Bendjoudi et al. | An adaptive hierarchical master–worker (AHMW) framework for grids—Application to B&B algorithms | |
| CN106161520A (zh) | 大数据应用平台及基于其的交互方法 | |
| Fiore et al. | A cluster-based data-centric model for network-aware task scheduling in distributed systems | |
| CN106161640A (zh) | 一种基于云计算的虚拟机两级优化调度管理平台 | |
| CN103647712B (zh) | 分布式路由处理业务的方法及系统 | |
| CN103268261A (zh) | 一种适用于大规模高效能计算机的层次式计算资源管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: CHINA ELECTRIC POWER RESEARCH INSTITUTE JIANGSU EL Free format text: FORMER OWNER: CHINA ELECTRIC POWER RESEARCH INSTITUTE Effective date: 20150615 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20150615 Address after: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing Applicant after: State Grid Corporation of China Applicant after: China Electric Power Research Institute Applicant after: Jiangsu Electric Power Company Address before: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing Applicant before: State Grid Corporation of China Applicant before: China Electric Power Research Institute |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |