CN111445101A - 一种云计算资源调度的方法、系统及介质 - Google Patents
一种云计算资源调度的方法、系统及介质 Download PDFInfo
- Publication number
- CN111445101A CN111445101A CN202010095645.3A CN202010095645A CN111445101A CN 111445101 A CN111445101 A CN 111445101A CN 202010095645 A CN202010095645 A CN 202010095645A CN 111445101 A CN111445101 A CN 111445101A
- Authority
- CN
- China
- Prior art keywords
- resource
- product
- nodes
- resource pool
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000013468 resource allocation Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 19
- 230000001502 supplementing effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 229910000831 Steel Inorganic materials 0.000 description 9
- 239000010959 steel Substances 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06315—Needs-based resource requirements planning or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Marketing (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数字云计算资源调度的方法，包括资源池划分，将所有资源划分为产品资源池及其它资源池；资源分配，获取所述任务的产品类型，匹配资源池中对应该产品类型的产品资源池内的资源节点，如果上述对应该产品类型的产品资源池内的资源节点数量不满足任务需要，则匹配其它资源池中的资源节点；任务计算，采用匹配的资源节点进行任务计算。为云计算的实施和部署带来了方便，同时能够使产品快速入云、高效入云。
Description
技术领域
本发明属云计算技术领域，尤其涉及建筑工程的云端分布式资源 调度系统及其方法。
背景技术
资源调度是云计算框架的一个核心问题，它为云计算框架提供了 资源分配的能力。资源调度策略关系到云计算框架的资源利用率、服 务的可靠性以及质量、框架的运作成本等。因此，这部分是云计算框 架中资源管理中核心的功能。由于云计算本身的复杂性，使得其对资 源的需求有以下几个特征：资源的分散性和多样性、资源动态性、资 源调度的高可用性、资源调度业务的复杂性和不确定性等。因此，资 源调度的高拓展性、高效率性、低成本性等，是资源调度首要解决的 核心问题。
现有通用资源调度框架，一般流程比较固定、缺乏计算资源的产 品属性，如产品的版本信息、使用频度等，或者是预先绑定镜像，产 品属性过于僵化，镜像庞大，加载耗时长，导致计算在部署环境上消 耗时间过长，效率偏低；在资源利用上，长时间运行而任务较少，导 致资源利用率偏低、成本较高；任务编排与资源绑定的松耦合性，导 致同一作业的子任务执行时间没有保障，从而效率偏低。这些为云计 算的实施和部署带来了不便。
因此本领域迫切需要一种能够克服上述问题的建筑工程行业的 云计算资源调度框架。
发明内容
本发明针对以上问题，提供一种云计算资源调度系统，能够使产 品快速入云、高效入云提供价值，从而帮助产品为造价员更高效的获 取工程算量的报表数据，主动发现建筑工程过程中的算量问题、模型 问题和实施预定措施，满足在设计、招标、汇报等过程的数据需求， 快速获取工程报表数据，帮助产品提高应用价值和用户价值，提升品 牌价值。
一种数字云计算资源调度的方法，其特征在于所述方法包括：
步骤一、资源池划分，将所有资源划分为产品资源池及其它资源 池,其中，产品资源池为包括仅供某一产品类型使用的资源节点的资 源池，其它资源池为包括除产品资源池内包含的资源节点以外的资源 节点的资源池；
步骤二、资源分配，为任务分配资源，包括：获取所述任务的产 品类型，匹配资源池中对应该产品类型的产品资源池内的资源节点， 如果上述对应该产品类型的产品资源池内的资源节点数量不满足任 务需要，则匹配其它资源池中的资源节点；
步骤三、任务计算，采用匹配的资源节点进行任务计算。
进一步，所述步骤二还包括根据任务需要拉取对应产品版本应用， 其中对应产品版本应用的状态包括包含在产品资源池中及不包含在 产品资源池中，对应产品版本应用的状态不包括包含在其它资源池中。
进一步，在所述步骤三任务计算过程中还包括：动态再申请资源 节点或释放资源节点。
进一步，其它资源池包括动态资源池和常驻资源池，常驻资源池 内包括常驻的资源节点，动态资源池内包括动态申请的资源节点，所 述步骤二中所述匹配其它资源池中的资源节点进一步包括，如果上述 对应该产品类型的产品资源池内的资源节点数量不满足任务要，匹配 动态资源池中动态申请的未释放的动态资源节点；
如果上述节点数量仍不满足任务需求，匹配常驻资源池中常驻资 源节点；并从动态资源池中获取资源节点补充入常驻资源池；
如果上述节点数量仍不满足需求，则从动态资源池中动态申请新 的资源；
如果上述节点数量仍不满足需求，则结束任务或修改任务需求或 暂停任务等待节点数量满足需求时重启任务。
进一步，包括在整个数字云计算资源调度过程中，同步进行资源 预分配及版本预拉取步骤，周期性的统计各时间段的产品资源需求数 据，所述产品资源需求数据包括各类型产品需要的资源节点数量，各 类型产品版本使用频率，从而在相应时段预先在资源池中保留所述各 类型产品需要的资源节点数量，以及预拉取各类型产品版本。
一种数字云计算资源调度的系统，其特征在于，所述系统包括：
资源池划分模块，将所有资源划分为产品资源池及其它资源池, 其中，产品资源池为包括仅供某一产品类型使用的资源节点的资源池， 其它资源池为包括除产品资源池内包含的资源节点以外的资源节点 的资源池；
资源分配模块，为任务分配资源，包括：获取所述任务的产品类 型，匹配资源池中对应该产品类型的产品资源池内的资源节点，如果 上述对应该产品类型的产品资源池内的资源节点数量不满足任务需 要，则匹配其它资源池中的资源节点；
任务计算模块，采用匹配的资源节点进行任务计算。
进一步，所述资源分配模块还用于根据任务需要拉取对应产品版 本应用，其中对应产品版本应用的状态包括包含在产品资源池中及不 包含在产品资源池中，对应产品版本应用的状态不包括包含在其它资 源池中。
进一步，在所述任务计算模块还用于：动态再申请资源节点或释 放资源节点。
进一步，其它资源池包括动态资源池和常驻资源池，常驻资源池 内包括常驻的资源节点，动态资源池内包括动态申请的资源节点，所 述资源分配模块还用于，在所述匹配其它资源池中的资源节点时进一 步包括，如果上述对应该产品类型的产品资源池内的资源节点数量不 满足任务需要，匹配动态资源池中动态申请的未释放的动态资源节点；
如果上述节点数量仍不满足任务需求，匹配常驻资源池中常驻资 源节点；并从动态资源池中获取资源节点补充入常驻资源池；
如果上述节点数量仍不满足需求，则从动态资源池中动态申请新 的资源；
如果上述节点数量仍不满足需求，则结束任务或修改任务需求或 暂停任务等待节点数量满足需求时重启任务。
进一步，包括资源预分配及资源预拉取模块，用于在整个数字云 计算资源调度过程中，同步进行资源预分配及版本预拉取，周期性的 统计各时间段的产品资源需求数据，所述产品资源需求数据包括各类 型产品需要的资源节点数量，各类型产品版本使用频率，从而在相应 时段预先在资源池中保留所述各类型产品需要的资源节点数量，以及 预拉取各类型产品版本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实 施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来 讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的 附图。
图1示出了本发明数字云计算资源调度的方法示意图；
图2示出了本发明数字云计算资源调度的系统示意图；
图3示出了本发明分层资源管理调度的示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了 使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实 施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域 技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情 况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来 提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅 仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定 要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺 序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非 排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设 备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是 还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多 限制的情况下，由语句“包括……”限定的要素，并不排除在包括所 述要素的过程、方法、物品或者设备中还存在另外的相同要素。
如图1所示，本实施例提供一种数字云计算资源调度的系统方法， 包括：
步骤一、资源池划分，将所有资源划分为产品资源池及其它资源 池。
其中，产品资源池为包括仅供某一产品使用的资源节点的资源池， 产品指的是在调度系统里注册的产品，譬如钢筋、土建等，则产品资 源池包括符合钢筋、土建特性等特性的资源池；例如在资源池中总资 源节点100个，钢筋产品资源池内包括资源节点20个，土建产品资 源池内包括资源节点20个，其它资源池内包括节点60个。
可选的，其它资源池包括常驻资源池，动态资源池。
常驻资源池内包括常驻的资源节点，通常常驻资源节点的数量需 要满足一定要求，例如常驻资源节点不得少于20个，当常驻资源池 中10个常驻资源节点被占用，需要从动态资源池中申请10个资源节 点补充到常驻资源池中；动态资源池内包括可以动态申请及释放的资 源节点。
其中，资源节点可以为云计算服务的计算机节点。资源池内各种 资源池的数量的划分可以根据实际需要来划分。例如可以添加或删除 产品资源池/常驻资源池中的资源节点到动态资源池中。
本实施方式中，在注册产品时为产品申请产品专属资源池，例如 注册土建产品，则为土建产品申请土建产品专属资源池，申请的土建 产品专属资源池数量可以在申请资源上限以内根据产品应用属性选 择。
步骤二、资源分配，为任务分配资源。
可选的，首先进行任务合法性判断，如果任务不合法，则结束任 务。
可选的，任务不合法包括产品密钥不合法、版本不存在、申请资 源超限、未按指定要求传入参数等；
如果任务合法，则为任务分配资源；
满足资源申请的任务，获取上述任务的产品类型，匹配资源池中 对应该产品类型的产品资源池内的资源节点，如果上述对应该产品类 型的产品资源池内的资源节点数量不满足，则匹配其它资源池中的资 源节点；
例如，当前任务需要50个资源节点，任务产品类型为土建，则 从土建类产品资源池中申请20个土建产品资源节点，从其它资源内 申请资源节点30个。
在本实施例中，各个产品类型的任务需要采用其对应的产品应用 版本实现任务，通常产品应用版本包括多个版本，示例性的，土建 1.0版本，土建2.0版本，土建3.0版本，钢筋1.0版本，钢筋2.0 版本等，需要说明的是仅是示例性的给出可选版本，具体的应用版本或应用版本的命名方式不做限定。
可选的，本实施例中，通过轻量级镜像加载，内网拉取产品版本 的方式，内网拉取版本，千兆网秒级拉取文件，比起将个版本放在镜 像里加载(大量版本，需要几分钟)，要快很多。现有技术中将版本 压缩在镜像内部，这样加载镜像的文件就比较大，加载起来需要时间 长，而且每更换一个版本，都需要重新加载镜像，而采用轻量级镜像 启动操作系统，后续拉取版本，只需要启动一次机器，后续拉取版本 局域网内部几秒钟就可以实现版本的部署。
在本实施例中，根据任务需要拉取相应产品版本；其中，根据任 务需要启动对应产品的应用版本时，首先识别资源池中的资源节点是 否已经包含该应用版本，如果已经包含该应用版本，则从对应的资源 节点中获取该应用版本，从而减少资源准备时间，提升资源利用率。 通常，应用版本通常存储在产品资源池中的资源节点内，而非存储在 其它资源池的资源节点内，例如在土建产品资源池中的第一资源节点 包含土建1.0版本，第二资源节点包含土建2.0版本，则当需要启动 土建1.0版本时，从土建产品资源池中的第一资源节点拉取土建1.0 版本，需要启动土建2.0版本时，从土建产品资源池中的第二资源节 点拉取土建2.0版本，需要启动土建3.0版本时，而土建产品资源池 中并未包含土建3.0版本，则重新下载该该版本应用。
在本实施例中，可以基于产品版本使用频率，预先拉取使用频率 高的应用版本；
可选的，预先拉取使用频率最高的N个版本，例如预先拉取使用 频率前三的应用版本，依次为土建2.0版本，土建1.0版本，钢筋 1.0版本；或另一实施方式，预先拉取各产品类型对应的使用频率高 的版本，例如在钢筋类型产品中钢筋2.0版本使用频率高、土建类型产品中土建版本1.0使用频率高，那么就在空闲时间，拉取这些版 本，从而在当启动任务时，如果启动的是土建任务，需要土建1.0版 本，则由于预先拉取了土建1.0版本应用，从而提升任务启动速度。
本实施方式中，其它资源池包括，动态资源池，常驻资源池
其中，如果上述对应该产品类型的产品资源池内的资源节点数量 不满足任务需要，则匹配资源池中其它资源池中的资源节点，可选的 实施方式为：
如果上述对应该产品类型的产品资源池内的资源节点数量不满 足任务需要，匹配动态资源池中动态申请的未释放的动态资源节点；
如果上述节点数量仍不满足任务需求，匹配常驻资源池中常驻资 源节点；并从动态资源池中获取资源节点补充入常驻资源池；
如果上述节点数量仍不满足需求，则从动态资源池中动态申请新 的资源；
如果上述节点数量仍不满足需求，则结束任务或修改任务需求或 暂停任务等待节点数量满足需求时重启任务；
步骤三、任务计算，采用匹配的资源节点进行任务计算。
在本实施例中，包括，调度中心统一管理各个任务，每一任务下 的资源节点为一个资源组，为当前任务下的所有资源节点指定一个主 节点；
可选的，主节点用于管理任务，以及管理其它节点，可实现再次 申请资源节点或者归还资源节点；
主节点的分配可以为随机分配、或分配第一个资源节点为主节点、 或分配给运行速率最快或存储空间最大的节点。从而使得任务所需资 源形成二级资源池，这样全部资源池和分组资源池形成二级资源调度， 优化资源管理和调度管理。
图3显示调度中心将每个计算任务所需机器资源组成一个group， 每个group内部指定一个leader，负责调度管理group内部的机器， 子任务的分配，子任务的计算有具体的worker来执行，其中worker 表示各个产品版本，例如钢筋1.0版本。
在本实施例中，可选的在进行任务计算过程中，资源节点可以再 次申请或者归还资源节点到总资源，例如启动任务时需要50个资源 节点，但是在计算过程中资源节点的数量不足以满足计算需要，则可 以从资源池中再次申请资源，以及在计算过程中满足计算需要的资源 节点数量有富余，则可以将资源节点归还到总资源中；再例如，在任 务启动时申请了50个资源节点，在运行过程中释放掉10个节点，剩 下40个资源节点后，发现不满足需要，则此时需要动态申请资源节 点。其中，再次申请资源节点或归还资源节点到总资源的工作可以由 主节点来完成。判断当前任务资源节点使用情况包括，存量节点定时 向资源调度中心发心跳，调度中心资源调度服务器监测心跳数据，其 中存量节点指的是申请的节点，计算完之后，没有归还的机器的资源 节点；存量节点定时上报节点状态和负载信息以及该节点运行的产品 属性。
步骤四、任务计算结束后归还资源节点。
本实施例还包括，资源预分配及版本预拉取步骤。在整个数字云 计算资源调度过程中，同步进行资源预分配及版本预拉取。
将资源调度使用信息存入大数据系统，后台进行数据挖掘，进行 资源使用的智能预测，例如什么时间段，需要多少计算资源，动态申 请需要的资源，从而提升资源的部署效率和利用率，降低资源使用的 成本。
统计每天各时间段的资源使用数据，产品资源需求数据等，更新 资源池，预先保留预定数量的资源节点，可选的，资源使用数据包括 各类型资源节点数量，产品资源需求数据包括各类型产品需要的资源 节点数量，各类型产品版本使用频率，例如通过大数据统计分析出每 天上午9-11点，下午3-5点，土建业务计算需求最大，需要资源节 点50个，最大需求资源节点100个，土建应用1.0版本使用频率最 高，则预先在资源池中自动保留至少50个资源节点，及预先拉取土 建应用1.0版本。实现资源获取，版本准备零耗时。超过最繁忙的阶 段，将预先保留的资源节点逐步释放，节约资源。
其中，更新资源池，预先在资源池中预先保留预定数量的资源节 点包括：动态申请资源节点和释放资源节点，例如可选的，当前阶段 资源节点数量不够时，则预先申请资源节点，当前阶段资源节点数量 有富余时，则可以释放资源节点到总资源池中。
需要说明的是，时间段长度和统计方法不做限定，可以是任意统 计方法，例如时间段长度选取一个小时，统计每天各个小时时间段内 需要的资源节点数量均值及最大最小值等，以及各个类型产品需要资 源节点数量均值及最大最小值等，各个类型版本使用频率/次数均值。
本实施例中，统计各时间段的资源使用数据，包括：
存量节点定时向资源调度中心发心跳，调度中心资源调度服务器 监测心跳数据。存量节点指的是申请的节点，计算完之后，没有归还 的机器的资源节点；
存量节点定时上报节点状态和负载信息以及该节点运行的产品 属性；
定期清理无心跳节点和空闲节点，根据机器学习结果释放使用频 度低的产品资源节点。例如土建产品资源池中通常使用10个资源节 点，而为土建产品资源池分配20个资源节点，此时需要将10个使用 频率低的资源节点释放掉；
汇集节点状态负载信息以及该节点运行的产品属性和定时更新 机器学习结果到系统，根据汇聚信息弹性伸缩资源，预分配资源节点 和部署相应产品版本。
如图2所示，本实施例提供一种数字云计算资源调度的系统，所 述系统包括：
资源池划分模块，将所有资源划分为产品资源池及其它资源池, 其中，产品资源池为包括仅供某一产品类型使用的资源节点的资源池， 其它资源池为包括除产品资源池内包含的资源节点以外的资源节点 的资源池；
资源分配模块，为任务分配资源，包括：获取所述任务的产品类 型，匹配资源池中对应该产品类型的产品资源池内的资源节点，如果 上述对应该产品类型的产品资源池内的资源节点数量不满足任务需 要，则匹配其它资源池中的资源节点；
任务计算模块，采用匹配的资源节点进行任务计算。
进一步，所述资源分配模块还用于根据任务需要拉取对应产品版 本应用，其中对应产品版本应用的状态包括包含在产品资源池中及不 包含在产品资源池中，对应产品版本应用的状态不包括包含在其它资 源池中。
进一步，在所述任务计算模块还用于：动态再申请资源节点或释 放资源节点。
进一步，其它资源池包括动态资源池和常驻资源池，常驻资源池 内包括常驻的资源节点，动态资源池内包括动态申请的资源节点，所 述资源分配模块还用于，在所述匹配其它资源池中的资源节点时进一 步包括，如果上述对应该产品类型的产品资源池内的资源节点数量不 满足任务需要，匹配动态资源池中动态申请的未释放的动态资源节点；
如果上述节点数量仍不满足任务需求，匹配常驻资源池中常驻资 源节点；并从动态资源池中获取资源节点补充入常驻资源池；
如果上述节点数量仍不满足需求，则从动态资源池中动态申请新 的资源；
如果上述节点数量仍不满足需求，则结束任务或修改任务需求或 暂停任务等待节点数量满足需求时重启任务。
进一步，包括资源预分配及资源预拉取模块，用于在整个数字云 计算资源调度过程中，同步进行资源预分配及版本预拉取，周期性的 统计各时间段的产品资源需求数据，所述产品资源需求数据包括各类 型产品需要的资源节点数量，各类型产品版本使用频率，从而在相应 时段预先在资源池中保留所述各类型产品需要的资源节点数量，以及 预拉取各类型产品版本。
与现有技术相比，本发明实现节点资源高效分配、节点资源产品 定制化、大数据后台分析资源、镜像轻量化与内置内网下载器结合的 资源生成、分层调度，总资源池二级组资源池。本发明重点突出云计 算服务端的资源的高效低成本调度和大数据应用在实际资源调度预 测中的作用，智能预测和预先准备，同时支持各种以计算(土建算量、 云报表转换、云对比、智能算量)为主要业务的产品应用，提供高效、 低成本、灵活的资源调度。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。 当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/ 或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系 统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全 软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明 可采用在一个或多个其中包含有计算机可用程序代码的计算机可用 存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实 施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算 机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序 指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图 和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指 令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理 设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处 理设备的处理器执行的指令产生用于实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能的装置。
本申请可以在由计算机执行的计算机可执行指令的一般上下文 中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现 特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可 以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通 过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境 中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介 质中。
这些计算机程序指令也可存储在能引导计算机或其他可编程数 据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计 算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实 现在流程图一个流程或多个流程和/或方框图一个方框或多个方框 中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理 设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产 生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令 提供用于实现在流程图一个流程或多个流程和/或方框图一个方框 或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、 输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存 储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存 (flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体 可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、 数据结构、程序的模块或其他数据。计算机的存储介质的例子包括， 但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存 取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内 存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其 他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任 何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本 文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体 意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、 商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要 素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。 在没有更多限制的情况下，由语句“包括一个……”限定的要素，并 不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的 相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之 间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他 实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于 方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分 说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于 本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的 精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本 申请的权利要求范围之内。
Claims (10)
1.一种数字云计算资源调度的方法，其特征在于所述方法包括：
步骤一、资源池划分，将所有资源划分为产品资源池及其它资源池,其中，产品资源池为包括仅供某一产品类型使用的资源节点的资源池，其它资源池为包括除产品资源池内包含的资源节点以外的资源节点的资源池；
步骤二、资源分配，为任务分配资源，包括：获取所述任务的产品类型，匹配资源池中对应该产品类型的产品资源池内的资源节点，如果上述对应该产品类型的产品资源池内的资源节点数量不满足任务需要，则匹配其它资源池中的资源节点；
步骤三、任务计算，采用匹配的资源节点进行任务计算。
2.根据权利要求1所述的数字云计算资源调度的方法，其特征在于，所述步骤二还包括根据任务需要拉取对应产品版本应用，其中对应产品版本应用的状态包括包含在产品资源池中及不包含在产品资源池中，对应产品版本应用的状态不包括包含在其它资源池中。
3.根据权利要求1所述的数字云计算资源调度的方法，其特征在于，在所述步骤三任务计算过程中还包括：动态再申请资源节点或释放资源节点。
4.根据权利要求1所述的数字云计算资源调度的方法，其它资源池包括动态资源池和常驻资源池，常驻资源池内包括常驻的资源节点，动态资源池内包括动态申请的资源节点，所述步骤二中所述匹配其它资源池中的资源节点进一步包括，如果上述对应该产品类型的产品资源池内的资源节点数量不满足任务要，匹配动态资源池中动态申请的未释放的动态资源节点；
如果上述节点数量仍不满足任务需求，匹配常驻资源池中常驻资源节点；并从动态资源池中获取资源节点补充入常驻资源池；
如果上述节点数量仍不满足需求，则从动态资源池中动态申请新的资源；
如果上述节点数量仍不满足需求，则结束任务或修改任务需求或暂停任务等待节点数量满足需求时重启任务。
5.根据权利要求1所述的数字云计算资源调度的方法，进一步包括在整个数字云计算资源调度过程中，同步进行资源预分配及版本预拉取步骤，周期性的统计各时间段的产品资源需求数据，所述产品资源需求数据包括各类型产品需要的资源节点数量，各类型产品版本使用频率，从而在相应时段预先在资源池中保留所述各类型产品需要的资源节点数量，以及预拉取各类型产品版本。
6.一种数字云计算资源调度的系统，其特征在于，所述系统包括：
资源池划分模块，将所有资源划分为产品资源池及其它资源池,其中，产品资源池为包括仅供某一产品类型使用的资源节点的资源池，其它资源池为包括除产品资源池内包含的资源节点以外的资源节点的资源池；
资源分配模块，为任务分配资源，包括：获取所述任务的产品类型，匹配资源池中对应该产品类型的产品资源池内的资源节点，如果上述对应该产品类型的产品资源池内的资源节点数量不满足任务需要，则匹配其它资源池中的资源节点；
任务计算模块，采用匹配的资源节点进行任务计算。
7.根据权利要求6所述的数字云计算资源调度的系统，其特征在于，所述资源分配模块还用于根据任务需要拉取对应产品版本应用，其中对应产品版本应用的状态包括包含在产品资源池中及不包含在产品资源池中，对应产品版本应用的状态不包括包含在其它资源池中。
8.根据权利要求6所述的数字云计算资源调度的系统，其特征在于，在所述任务计算模块还用于：动态再申请资源节点或释放资源节点。
9.根据权利要求6所述的数字云计算资源调度的系统，其它资源池包括动态资源池和常驻资源池，常驻资源池内包括常驻的资源节点，动态资源池内包括动态申请的资源节点，所述资源分配模块还用于，在所述匹配其它资源池中的资源节点时进一步包括，如果上述对应该产品类型的产品资源池内的资源节点数量不满足任务需要，匹配动态资源池中动态申请的未释放的动态资源节点；
如果上述节点数量仍不满足任务需求，匹配常驻资源池中常驻资源节点；并从动态资源池中获取资源节点补充入常驻资源池；
如果上述节点数量仍不满足需求，则从动态资源池中动态申请新的资源；
如果上述节点数量仍不满足需求，则结束任务或修改任务需求或暂停任务等待节点数量满足需求时重启任务。
10.根据权利要求6所述的数字云计算资源调度的系统，进一步包括资源预分配及资源预拉取模块，用于在整个数字云计算资源调度过程中，同步进行资源预分配及版本预拉取，周期性的统计各时间段的产品资源需求数据，所述产品资源需求数据包括各类型产品需要的资源节点数量，各类型产品版本使用频率，从而在相应时段预先在资源池中保留所述各类型产品需要的资源节点数量，以及预拉取各类型产品版本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010095645.3A CN111445101A (zh) | 2020-05-15 | 2020-05-15 | 一种云计算资源调度的方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010095645.3A CN111445101A (zh) | 2020-05-15 | 2020-05-15 | 一种云计算资源调度的方法、系统及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111445101A true CN111445101A (zh) | 2020-07-24 |
Family
ID=71655615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010095645.3A Pending CN111445101A (zh) | 2020-05-15 | 2020-05-15 | 一种云计算资源调度的方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111445101A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113535405A (zh) * | 2021-07-30 | 2021-10-22 | 上海壁仞智能科技有限公司 | 云端服务系统及其操作方法 |
| CN115796387A (zh) * | 2023-01-29 | 2023-03-14 | 深圳市普拉托科技有限公司 | 托盘调度寻优方法、装置、设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050038834A1 (en) * | 2003-08-14 | 2005-02-17 | Oracle International Corporation | Hierarchical management of the dynamic allocation of resources in a multi-node system |
| US20120054363A1 (en) * | 2010-09-01 | 2012-03-01 | Sonus Networks, Inc. | Dynamic Classification and Grouping of Network Traffic for Service Application Across Multiple Nodes |
| US20120317578A1 (en) * | 2011-06-09 | 2012-12-13 | Microsoft Corporation | Scheduling Execution of Complementary Jobs Based on Resource Usage |
| US20130138806A1 (en) * | 2011-11-29 | 2013-05-30 | International Business Machines Corporation | Predictive and dynamic resource provisioning with tenancy matching of health metrics in cloud systems |
| CN104461744A (zh) * | 2014-12-18 | 2015-03-25 | 曙光云计算技术有限公司 | 一种资源分配方法及装置 |
| US20150143367A1 (en) * | 2013-11-20 | 2015-05-21 | International Business Machines Corporation | Resource allocation in cloud environment |
| WO2017113074A1 (zh) * | 2015-12-28 | 2017-07-06 | 华为技术有限公司 | 一种资源的分配方法、装置和系统 |
| CN107025139A (zh) * | 2017-03-21 | 2017-08-08 | 北京天云融创软件技术有限公司 | 一种基于云计算的高性能计算调度框架 |
| CN107567032A (zh) * | 2017-09-11 | 2018-01-09 | 海能达通信股份有限公司 | 无线Mesh网络中无线传输资源配置方法、装置及通信设备 |
| US20180198855A1 (en) * | 2014-11-24 | 2018-07-12 | Alibaba Group Holding Limited | Method and apparatus for scheduling calculation tasks among clusters |
| CN109471727A (zh) * | 2018-10-29 | 2019-03-15 | 北京金山云网络技术有限公司 | 一种任务处理方法、装置及系统 |
| CN110097226A (zh) * | 2019-05-06 | 2019-08-06 | 航天科工网络信息发展有限公司 | 一种资源调度方法、系统、电子设备及可读存储介质 |
| US20190319895A1 (en) * | 2016-12-30 | 2019-10-17 | Huawei Technologies Co., Ltd. | Resource Scheduling Method And Apparatus |
-
2020
- 2020-05-15 CN CN202010095645.3A patent/CN111445101A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050038834A1 (en) * | 2003-08-14 | 2005-02-17 | Oracle International Corporation | Hierarchical management of the dynamic allocation of resources in a multi-node system |
| US20120054363A1 (en) * | 2010-09-01 | 2012-03-01 | Sonus Networks, Inc. | Dynamic Classification and Grouping of Network Traffic for Service Application Across Multiple Nodes |
| US20120317578A1 (en) * | 2011-06-09 | 2012-12-13 | Microsoft Corporation | Scheduling Execution of Complementary Jobs Based on Resource Usage |
| US20130138806A1 (en) * | 2011-11-29 | 2013-05-30 | International Business Machines Corporation | Predictive and dynamic resource provisioning with tenancy matching of health metrics in cloud systems |
| US20150143367A1 (en) * | 2013-11-20 | 2015-05-21 | International Business Machines Corporation | Resource allocation in cloud environment |
| US20180198855A1 (en) * | 2014-11-24 | 2018-07-12 | Alibaba Group Holding Limited | Method and apparatus for scheduling calculation tasks among clusters |
| CN104461744A (zh) * | 2014-12-18 | 2015-03-25 | 曙光云计算技术有限公司 | 一种资源分配方法及装置 |
| WO2017113074A1 (zh) * | 2015-12-28 | 2017-07-06 | 华为技术有限公司 | 一种资源的分配方法、装置和系统 |
| US20190319895A1 (en) * | 2016-12-30 | 2019-10-17 | Huawei Technologies Co., Ltd. | Resource Scheduling Method And Apparatus |
| CN107025139A (zh) * | 2017-03-21 | 2017-08-08 | 北京天云融创软件技术有限公司 | 一种基于云计算的高性能计算调度框架 |
| CN107567032A (zh) * | 2017-09-11 | 2018-01-09 | 海能达通信股份有限公司 | 无线Mesh网络中无线传输资源配置方法、装置及通信设备 |
| CN109471727A (zh) * | 2018-10-29 | 2019-03-15 | 北京金山云网络技术有限公司 | 一种任务处理方法、装置及系统 |
| CN110097226A (zh) * | 2019-05-06 | 2019-08-06 | 航天科工网络信息发展有限公司 | 一种资源调度方法、系统、电子设备及可读存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113535405A (zh) * | 2021-07-30 | 2021-10-22 | 上海壁仞智能科技有限公司 | 云端服务系统及其操作方法 |
| CN115796387A (zh) * | 2023-01-29 | 2023-03-14 | 深圳市普拉托科技有限公司 | 托盘调度寻优方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8392572B2 (en) | Method for scheduling cloud-computing resource and system applying the same | |
| WO2017166803A1 (zh) | 一种资源调度方法及装置 | |
| US20180198855A1 (en) | Method and apparatus for scheduling calculation tasks among clusters | |
| CN108282514B (zh) | 一种分布式业务建立方法及装置 | |
| CN109995669B (zh) | 分布式限流方法、装置、设备及可读存储介质 | |
| US20140165061A1 (en) | Statistical packing of resource requirements in data centers | |
| CN112134802A (zh) | 一种基于终端触发式的边缘算力资源调度方法及系统 | |
| CN111459641B (zh) | 一种跨机房的任务调度和任务处理的方法及装置 | |
| CN111861412B (zh) | 面向完成时间优化的科学工作流调度方法及系统 | |
| CN109257399B (zh) | 云平台应用程序管理方法及管理平台、存储介质 | |
| CN111445101A (zh) | 一种云计算资源调度的方法、系统及介质 | |
| US8739173B2 (en) | System and method of providing a fixed time offset based dedicated co-allocation of a common resource set | |
| CN112463375A (zh) | 一种数据处理的方法和装置 | |
| CN111722928A (zh) | 一种资源调度方法、装置、电子设备及存储介质 | |
| CN110636388A (zh) | 一种业务请求分配方法、系统、电子设备及存储介质 | |
| CN107025134B (zh) | 数据库服务系统及兼容多种数据库的方法 | |
| CN112905339A (zh) | 任务调度执行方法、装置及系统 | |
| CN114489985A (zh) | 数据处理方法、设备及存储介质 | |
| CN117435324B (zh) | 基于容器化的任务调度方法 | |
| Kuzmanovska et al. | Koala-f: A resource manager for scheduling frameworks in clusters | |
| CN116069496A (zh) | 一种gpu资源调度的方法及装置 | |
| CN114579298A (zh) | 资源管理方法、资源管理器和计算机可读存储介质 | |
| CN115269193A (zh) | 自动化测试中实现分布式负载均衡的方法及装置 | |
| CN114860536A (zh) | 一种gpu卡的监控方法、监控系统及相关装置 | |
| US20220114188A1 (en) | Efficient Database Loading |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |