CN110502580A - 一种集群数据库系统资源管控调度的方法 - Google Patents
一种集群数据库系统资源管控调度的方法 Download PDFInfo
- Publication number
- CN110502580A CN110502580A CN201910789867.2A CN201910789867A CN110502580A CN 110502580 A CN110502580 A CN 110502580A CN 201910789867 A CN201910789867 A CN 201910789867A CN 110502580 A CN110502580 A CN 110502580A
- Authority
- CN
- China
- Prior art keywords
- task
- resource
- database system
- user
- system resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000002955 isolation Methods 0.000 claims abstract description 6
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 2
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000000977 initiatory effect Effects 0.000 claims 1
- 230000010485 coping Effects 0.000 abstract 1
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24534—Query rewriting; Transformation
- G06F16/24549—Run-time optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种集群数据库系统资源管控调度的方法，方法包含以下步骤：对资源管理的相关信息内容进行配置管理，激活和停止不同的资源管理策略；根据集群数据库任务发起用户的不同，来甄别该任务所归属的用户组；根据任务所属用户组的优先级以及资源池之间的隔离配置，来计算出任务所能使用的系统资源量以及当前任务是否可以立即执行；如果任务由于执行过长，造成执行超时，则中止任务或交由优先级较低的用户组继续执行。本方法实现集群资源管理策略的定时切换功能，可以根据用户需要，使集群数据库系统在不同时间段内所采取的资源分配方式和管理策略各不相同，以应对不同时间段对于集群资源负载的不同要求。
Description
技术领域
本发明属于数据库系统资源管控调度技术领域，尤其涉及一种集群数据库系统资源管控调度的方法。
背景技术
随着信息技术的不断发展和数据量的不断激增，数据库被越来越广泛地得到应用。特别是大规模集群数据库，以其处理能力强，扩展性好等特点，更加得到了使用者的青睐。
在大规模集群数据库产品使用过程中，如果系统资源的管理功能存在欠缺，则会造成系统资源的分配不合理，使用效率低下，并且高级用户不能得到应有的资源使用优先权等一系列问题。这将对数据库产品的用户体验造成很大负面影响。这恰恰是本发明所适用的应用场景。
发明内容
本发明要解决的问题是提供了一种集群数据库系统资源管控调度的方法。
为实现上述目的，本发明提供如下技术方案：一种集群数据库系统资源管控调度的方法包括以下步骤：步骤一、对资源管理的相关信息内容进行配置管理，包括资源池信息，用户组信息，资源计划信息，关联关系信息等；
步骤二、激活和停止不同的资源管理策略；
步骤三、根据集群数据库任务发起用户的不同，来甄别该任务所归属的用户组，以及所对应的资源池；
步骤四、根据任务所属用户组的优先级以及资源池之间的隔离配置，来计算出任务所能使用的系统资源量以及当前任务是否可以立即执行；
步骤五、如果当前任务满足不满足立即执行的条件，则进行等待，当满足条件后可继续执行；当等待超时，则中止任务或交由优先级较低的用户组继续执行；
步骤六、如果当前任务满足执行条件，则会在其系统资源使用量的限定范围内进行执行；
步骤七、如果任务由于执行过长，造成执行超时，则中止任务或交由优先级较低的用户组继续执行。
作为优选，所述的步骤一中配置管理过程中配置修改都立即生效，不需要重新启动集群相关服务程序。
作为优选，所述的步骤二激活和停止不同的资源管理策略中操作立即生效，不需要重新启动集群相关服务程序，且可以根据用户需要分为手动和自动两种模式，自动模式下，无需人工干预，定时进行指定资源管理策略的激活。
作为优选，所述的步骤三中计算任务使用资源量的方法中操作无需人工干预。
作为优选，所述的步骤四、步骤五和步骤六中任务执行策略中系统根据系统资源实时使用情况来判定任务是执行还是等待，以及等待超时之后的异常处理方式。
与现有技术相比，本发明的有益效果是：
1)本方法实现集群节点的资源隔离功能，隔离后的资源之间相互独立；
2)本方法实现数据库系统用户归类的功能，可以将资源使用习惯相同或相近的用户划归为不同的组，便于对其进行统一的管理；
3)本方法实现不同用户组之间的资源隔离功能，可以使不同用户组无法随意使用其它用户组的系统资源，用户组之间的资源使用互不干扰；
4)本方法实现不同优先级用户组之间的资源共享，不同的用户组可以共享同一资源，而对于该资源的使用策略则根据用户组优先级的不同而不同，以此来保证优先级高的用户组发起的任务可以更快的完成；
5)本方法实现集群资源管理策略的定时切换功能，可以根据用户需要，使集群数据库系统在不同时间段内所采取的资源分配方式和管理策略各不相同，以应对不同时间段对于集群资源负载的不同要求。
附图说明
图1是本发明实施例中用户组，资源池，资源调度计划的逻辑结构图；
图2为本发明实施例中静态资源池和动态资源池之间的逻辑关系图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本实施例一种集群数据库系统资源管控调度的方法中用户组，资源池，资源调度计划的逻辑结构图如图1所示，静态资源池和动态资源池之间的逻辑关系如图2所示。
如果需要对用户发起的一个任务进行资源调度管控，则按照如下步骤进行：
步骤1：数据库用户发起任务；
步骤2：查询当前数据库用户所在的用户组，其中用户组包含用户组A、用户组B合用户组C的信息；
步骤3：查询当前被激活的“资源调度计划”信息；
步骤4：根据“资源调度计划”信息和用户组信息，查询当前适用于该任务的资源池1和资源池2的信息；
步骤5：检查当前资源池1和资源池2是否满足任务执行条件，如果满足，则执行步骤6；如果不满足，则终止任务；
步骤6：将任务下发到各个集群节点；
步骤7：在各个集群节点中根据当前资源池的规定来控制任务的执行过程；
步骤8：收集各个集群节点的任务执行结果。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种集群数据库系统资源管控调度的方法，其特征在于：所述的方法包含以下步骤：步骤一、对资源管理的相关信息内容进行配置管理，包括资源池信息，用户组信息，资源计划信息，关联关系信息等；
步骤二、激活和停止不同的资源管理策略；
步骤三、根据集群数据库任务发起用户的不同，来甄别该任务所归属的用户组，以及所对应的资源池；
步骤四、根据任务所属用户组的优先级以及资源池之间的隔离配置，来计算出任务所能使用的系统资源量以及当前任务是否可以立即执行；
步骤五、如果当前任务满足不满足立即执行的条件，则进行等待，当满足条件后可继续执行；当等待超时，则中止任务或交由优先级较低的用户组继续执行；
步骤六、如果当前任务满足执行条件，则会在其系统资源使用量的限定范围内进行执行；
步骤七、如果任务由于执行过长，造成执行超时，则中止任务或交由优先级较低的用户组继续执行。
2.根据权利要求1所述的一种集群数据库系统资源管控调度的方法，其特征在于：所述的步骤一中配置管理过程中配置修改都立即生效，不需要重新启动集群相关服务程序。
3.根据权利要求1所述的一种集群数据库系统资源管控调度的方法，其特征在于：所述的步骤二激活和停止不同的资源管理策略中操作立即生效，不需要重新启动集群相关服务程序，且可以根据用户需要分为手动和自动两种模式，自动模式下，无需人工干预，定时进行指定资源管理策略的激活。
4.根据权利要求1所述的一种集群数据库系统资源管控调度的方法，其特征在于：所述的步骤三中计算任务使用资源量的方法中操作无需人工干预。
5.根据权利要求1所述的一种集群数据库系统资源管控调度的方法，其特征在于：所述的步骤四、步骤五和步骤六中任务执行策略中系统根据系统资源实时使用情况来判定任务是执行还是等待，以及等待超时之后的异常处理方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910789867.2A CN110502580A (zh) | 2019-08-26 | 2019-08-26 | 一种集群数据库系统资源管控调度的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910789867.2A CN110502580A (zh) | 2019-08-26 | 2019-08-26 | 一种集群数据库系统资源管控调度的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110502580A true CN110502580A (zh) | 2019-11-26 |
Family
ID=68589523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910789867.2A Pending CN110502580A (zh) | 2019-08-26 | 2019-08-26 | 一种集群数据库系统资源管控调度的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110502580A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111010454A (zh) * | 2019-12-31 | 2020-04-14 | 杭州天宽科技有限公司 | 以动态路由架构实现的负载均衡方法 |
-
2019
- 2019-08-26 CN CN201910789867.2A patent/CN110502580A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111010454A (zh) * | 2019-12-31 | 2020-04-14 | 杭州天宽科技有限公司 | 以动态路由架构实现的负载均衡方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111200528B (zh) | 边云协同的智慧城市智能联动方法 | |
| CN107526645B (zh) | 一种通信优化方法及系统 | |
| CN102043675B (zh) | 一种基于任务处理请求任务量大小的线程池管理方法 | |
| CN108632365A (zh) | 服务资源调整方法、相关装置和设备 | |
| CN114741207B (zh) | 一种基于多维度组合并行的gpu资源调度方法和系统 | |
| CN114153580A (zh) | 一种跨多集群的工作调度方法及装置 | |
| CN103761146A (zh) | 一种MapReduce动态设定slots数量的方法 | |
| CN113946431B (zh) | 一种资源调度方法、系统、介质及计算设备 | |
| CN110187960A (zh) | 一种分布式资源调度方法及装置 | |
| CN111158888A (zh) | 多任务调度方法和装置 | |
| CN108021449A (zh) | 一种协程实现方法、终端设备及存储介质 | |
| Petrov et al. | Adaptive performance model for dynamic scaling Apache Spark Streaming | |
| CN112540841A (zh) | 任务调度的方法、装置、处理器与电子设备 | |
| CN109960591A (zh) | 一种面向租户资源侵占的云应用资源动态调度的方法 | |
| CN110134533B (zh) | 一种可批量调度数据的系统及方法 | |
| CN111459622A (zh) | 调度虚拟cpu的方法、装置、计算机设备和存储介质 | |
| CN110502580A (zh) | 一种集群数据库系统资源管控调度的方法 | |
| CN111459648B (zh) | 面向应用程序的异构多核平台资源优化方法和装置 | |
| CN107402807A (zh) | 在计算机系统中有效提升多任务执行效率的方法、系统和处理器 | |
| CN103959276A (zh) | 基于用户意图和进程独立性的知识的资源分配优先化 | |
| CN110851245A (zh) | 一种分布式异步任务调度方法及电子设备 | |
| CN106293670A (zh) | 一种事件处理方法、设备及一种服务器 | |
| CN106599116B (zh) | 云平台数据集成管理系统和方法 | |
| CN107665145B (zh) | 一种基于容器的浏览器单机资源管理方法 | |
| CN110795248B (zh) | 一种处理搜索系统Java实例垃圾回收的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191126 |