CN113031870A - 一种集群系统动态管理方法、装置、存储介质及设备 - Google Patents
一种集群系统动态管理方法、装置、存储介质及设备 Download PDFInfo
- Publication number
- CN113031870A CN113031870A CN202110326388.4A CN202110326388A CN113031870A CN 113031870 A CN113031870 A CN 113031870A CN 202110326388 A CN202110326388 A CN 202110326388A CN 113031870 A CN113031870 A CN 113031870A
- Authority
- CN
- China
- Prior art keywords
- task
- executed
- scheduling
- cluster
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0658—Controller construction arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种集群系统动态管理方法、装置、存储介质及设备，方法包括将集群资源与预设阈值进行比较并执行以下步骤：响应于集群资源超过预设阈值，将包含有多个待执行任务的信息的任务请求信息下发至任务调度控制器；通过任务调度控制器基于任务请求信息开启调度执行器服务，将各待执行任务依次放入调度请求队列；通过调度执行器服务基于调度请求队列创建多个任务线程池，将各调度请求队列的待执行任务分别放入对应任务线程池且进行并行执行；响应于集群资源未超过阈值，将单个待执行任务的信息下发至任务调度控制器，以基于该信息调度单个待执行任务以进行执行。本发明实现了集群系统动态管理与灵活配置，保证了系统的稳定和可靠运行。
Description
技术领域
本发明涉及集群技术领域，尤其涉及一种集群系统动态管理方法、装置、存储介质及设备。
背景技术
在分布式存储管理软件系统(一集群系统)中，一般都是保证业务优先使用集群资源，因此需要尽量减少管理软件的占用，但是一些必要的管理软件功能又不能停掉，因此对分布式存储管理系统基于集群资源进行动态管理，显得尤为重要。允许用户对该分布式存储管理系统的使用进行灵活的配置，可以保证系统的稳定和可靠运行。
发明内容
有鉴于此，本发明的目的在于提出一种集群系统动态管理方法、装置、存储介质及设备，用以对集群系统基于集群资源进行动态管理和灵活配置。
基于上述目的，本发明提供了一种集群系统动态管理方法，包括将集群资源与预设阈值进行比较并执行如下步骤：
响应于集群资源超过预设阈值，将包含有多个待执行任务的信息的任务请求信息下发至任务调度控制器；
通过任务调度控制器基于任务请求信息开启调度执行器服务，将各待执行任务依次放入调度请求队列；
通过调度执行器服务基于调度请求队列创建多个任务线程池，将各调度请求队列的待执行任务分别放入对应任务线程池且进行并行执行；
响应于集群资源未超过阈值，将单个待执行任务的信息下发至任务调度控制器，并使得任务调度控制器基于单个待执行任务的信息调度单个待执行任务以进行执行。
在一些实施例中，任务请求信息包括各待执行任务的任务名称和任务优先级，以及多个待执行任务的任务数量。
在一些实施例中，方法还包括：接收通过系统界面输入的待执行任务的任务优先级以及任务数量的最大值。
在一些实施例中，方法还包括：将各待执行任务或单个待执行任务的执行进度以及执行日志信息展示在系统界面。
在一些实施例中，方法还包括：基于集群资源将需要监控的系统性能指标从系统界面放入其性能监控区，以触发系统性能指标的数据查询接口，并将系统性能指标查询到的基于时间维度的信息展示在系统界面。
在一些实施例中，方法还包括：基于集群资源在系统界面按照告警级别设置相应数量的告警项。
在一些实施例中，方法还包括：基于集群资源在系统界面对设置的告警项进行告警指标的阈值设置。
本发明的另一方面，还提供了一种集群系统动态管理装置，包括：
任务请求信息下发模块，配置用于响应于集群资源超过预设阈值，将包含有多个待执行任务的信息的任务请求信息下发至任务调度控制器；
调度执行器服务开启模块，配置用于通过任务调度控制器基于任务请求信息开启调度执行器服务，将各待执行任务依次放入调度请求队列；
任务并行执行模块，配置用于通过调度执行器服务基于调度请求队列创建多个任务线程池，将各调度请求队列的待执行任务分别放入对应任务线程池且进行并行执行；以及
单任务执行模块，配置用于响应于集群资源未超过阈值，将单个待执行任务的信息下发至任务调度控制器，并使得任务调度控制器基于单个待执行任务的信息调度单个待执行任务以进行执行。
本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项方法。
本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任意一项方法。
本发明至少具有以下有益技术效果：
1.本发明通过在集群资源充足且超过预设阈值的条件下，设置任务调度控制器进行任务的下发，并通过任务线程池创建的任务线程进行多任务并行执行，可以提高系统的工作效率；
2.通过基于集群资源的充足与稀缺程度，进行多任务同时执行或单任务执行的选择，实现了动态管理与灵活配置，从而保证集群系统的稳定和可靠运行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为根据本发明提供的集群系统动态管理方法的实施例的示意图；
图2为根据本发明实施例提供的集群系统的任务管理模块的示意图；
图3为根据本发明实施例提供的集群系统的节点性能采集时序示意图；
图4为根据本发明实施例提供的告警管理模块的告警上报流程示意图；
图5为根据本发明实施例提供的集群系统的整体架构示意图；
图6为根据本发明实施例提供的集群系统的消息通信流程示意图；
图7为根据本发明提供的集群系统动态管理装置的实施例的示意图；
图8为本发明提供的执行集群系统动态管理方法的计算机设备的一个实施例的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
基于上述目的，本发明实施例的第一个方面，提出了一种集群系统动态管理方法的实施例。图1示出的是本发明提供的集群系统动态管理方法的实施例的示意图。如图1所示，本发明实施例包括周期性将集群资源与预设阈值进行比较并执行如下步骤：
步骤S10、响应于集群资源超过预设阈值，将包含有多个待执行任务的信息的任务请求信息下发至任务调度控制器；
步骤S20、通过任务调度控制器基于任务请求信息开启调度执行器服务，将各待执行任务依次放入调度请求队列；
步骤S30、通过调度执行器服务基于调度请求队列创建多个任务线程池，将各调度请求队列的待执行任务分别放入对应任务线程池且进行并行执行；
步骤S40、响应于集群资源未超过阈值，将单个待执行任务的信息下发至任务调度控制器，并使得任务调度控制器基于单个待执行任务的信息调度单个待执行任务以进行执行。
本实施例通过基于集群资源的充足与稀缺程度，进行多任务同时执行或单任务执行的选择，实现了动态管理与灵活配置，从而保证集群系统的稳定和可靠运行。
在一些实施例中，任务请求信息包括各待执行任务的任务名称和任务优先级，以及多个待执行任务的任务数量。在一些实施例中，方法还包括：接收通过系统界面输入的待执行任务的任务优先级以及任务数量的最大值。在一些实施例中，方法还包括：将各待执行任务或单个待执行任务的执行进度以及执行日志信息展示在系统界面。
上述实施例中，集群系统包括任务管理模块。图2示出了集群系统的任务管理模块的示意图。如图2所示，任务管理模块通过任务调度控制器进行任务的下发，并通过任务线程池创建的任务线程进行多任务并行执行。当集群资源充足且超过预设阈值时，可以通过设置多任务同时执行来提高系统工作效率。任务的实时进度和执行日志信息可以在系统界面显示。系统界面也可以设置任务的最大数和任务的优先级。
在一些实施例中，方法还包括：基于集群资源将需要监控的系统性能指标从系统界面放入其性能监控区，以触发系统性能指标的数据查询接口，并将系统性能指标查询到的基于时间维度的信息展示在系统界面。本实施例中，集群系统还包括性能监控模块。性能监控模块进行监控的性能指标主要包括集群(IOPS、带宽、CPU、内存)，硬盘(硬盘队列长度、读写IO响应时间、平均IO大小等)，网口(带宽、流速和网口利用率等)，存储池(重构、时延等)，逻辑卷(IOPS、带宽和时延等)，可以按照性能指标的实时性及易出问题程度，设置检测周期，进行数据的缓存，从而灵活配置。IOPS是一个用于计算机存储设备(如硬盘、固态硬盘或存储区域网络)性能测试的量测方式，可以视为是每秒的读写次数。IO表示数据输入(Input)输出(Output)。在集群系统的系统界面上，可以以拖拽的形式，将需要展示的系统性能指标，拖进系统界面的性能监控区，随即触发该性能指标数据的查询接口，进行不同时间维度的性能指标信息展示。图3示出了集群系统的节点性能采集时序示意图。如图3所示，perf-agentd调用系统命令获取性能数据，进行数据持久化，同时将数据推送给perf-masterd。
在一些实施例中，方法还包括：基于集群资源在系统界面按照告警级别设置相应数量的告警项。在一些实施例中，方法还包括：基于集群资源在系统界面对设置的告警项进行告警指标的阈值设置。本实施例中，集群系统还包括告警管理模块。告警管理模块主要是对节点内存利用率、CPU(中央处理器)温度、硬盘温度、网络丢包率、网络时延、慢盘检测、网络带宽、硬盘利用率等性能指标超出正常的范围值后进行快速告警推送。集群系统的系统界面可以对告警的ID、类型、告警级别、告警的方式(如SNMP、邮件或短信)以及告警的阈值进行灵活的配置，并可动态的根据集群资源可用度进行某些告警信息的推送。在集群资源充足时，为了掌握整体的集群运行状况，可设置多项告警，在集群资源稀缺时，将一些告警级别低的不重要告警项给取消，以根据集群资源灵活配置告警项。通过对告警项进行告警指标的阈值设置也可达到灵活使用集群资源的目的，例如，集群资源充足时，将节点内存利用率设置到90％，即超过90％才会产生告警；若集群资源稀缺，则设置节点内存利用率到70％会产生告警，便可以节省节点内存，即节省了集群资源。图4示出了告警管理模块的告警上报流程示意图。如图4所示，集群中某个节点根据主节点配置的阈值检测性能参数，生成告警，并检测告警是否上报，然后将信息缓存，再上报到主节点，进而由主节点进行逻辑处理和持久化，以及告警前传。
图5示出了集群系统的整体架构示意图。如图5所示，在集群系统中，主要包括用户管理模块、告警模块、监控模块、任务管理模块和业务管理模块。其中用户管理模块为常用的用户信息、角色等的管理。监控模块包括IOPS、带宽、存储池的重构，时延等指标的收集，可在系统界面(WEB UI)根据监控指标的实时性、易出问题程度、重要性等进行动态设置，例如硬件(包括硬盘、网口等)、容量占用、管理系统中的一些服务状态等不易出现问题的监控项可以设置定时监控或周期性监控。告警模块可以根据配置的告警信息进行实时告警，从而及时获取集群的异常信息，快速处理，保证集群的可靠运行。业务管理模块包括如创建存储池，逻辑卷，快照，卷映射和卷远程复制等功能。一些耗时较长的任务需要放入任务管理模块去运行，使用任务调度系统可以并行执行多个任务，提高了系统的效率。
如图5所示，系统界面(WEB UI)与各模块通过消息中间件RabbitMQ进行消息通信。图6示出了集群系统的消息通信流程示意图。如图6所示，通过将各模块规定特有的模块标识来进行系统界面动态配置的请求与处理，从而提高系统的执行效率。当RabbitMQ接收到信息后，首先检查消息的类型，分为通知、请求和回应三种情况。当为通知类型时，根据模块的标识码找到相应的处理模块，然后将标识码和消息体传递给相关的模块处理；当为请求类型时，根据模块的标识码找到相应的处理模块，然后将标识码和消息体传递给相关的模块处理，然后将模块返回的结果封装消息发送到reply_to消息队列；当为回应类型时，将此消息交给rpc_manager处理，rpc_manager根据消息ID匹配发送的请求。
本发明实施例的第二个方面，还提供了一种集群系统动态管理装置。图7示出的是本发明提供的集群系统动态管理装置的实施例的示意图。一种集群系统动态管理装置包括：任务请求信息下发模块10，配置用于响应于集群资源超过预设阈值，将包含有多个待执行任务的信息的任务请求信息下发至任务调度控制器；调度执行器服务开启模块20，配置用于通过任务调度控制器基于任务请求信息开启调度执行器服务，将各待执行任务依次放入调度请求队列；任务并行执行模块30，配置用于通过调度执行器服务基于调度请求队列创建多个任务线程池，将各调度请求队列的待执行任务分别放入对应任务线程池且进行并行执行；以及单任务执行模块40，配置用于响应于集群资源未超过阈值，将单个待执行任务的信息下发至任务调度控制器，并使得任务调度控制器基于单个待执行任务的信息调度单个待执行任务以进行执行。
本发明实施例的集群系统动态管理装置，通过在集群资源充足且超过预设阈值的条件下，设置任务调度控制器进行任务的下发，并通过任务线程池创建的任务线程进行多任务并行执行，可以提高系统的工作效率；通过基于集群资源的充足与稀缺程度，进行多任务同时执行或单任务执行的选择，实现了动态管理与灵活配置，从而保证集群系统的稳定和可靠运行。
本发明实施例的第三个方面，还提供了一种计算机存储介质，存储介质存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项实施例方法。
应当理解，在相互不冲突的情况下，以上针对根据本发明的集群系统动态管理方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的集群系统动态管理装置和存储介质。也就是说，上面所述的应用于集群系统动态管理方法的所有实施例及其变化都可以直接移转应用于根据本发明的集群系统动态管理装置和存储介质，并直接结合于此。为了本公开的简洁起见，在此不再重复阐述。
本发明实施例的第四个方面，还提供了一种计算机设备，包括存储器302和处理器301，该存储器中存储有计算机程序，该计算机程序被该处理器执行时实现上述任意一项实施例方法。
如图8所示，为本发明提供的执行集群系统动态管理方法的计算机设备的一个实施例的硬件结构示意图。以如图8所示的计算机设备为例，在该计算机设备中包括一个处理器301以及一个存储器302，并还可以包括：输入装置303和输出装置304。处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图8中以通过总线连接为例。输入装置303可接收输入的数字或字符信息，以及产生与集群系统动态管理装置的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的集群系统动态管理方法。
最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种集群系统动态管理方法，其特征在于，包括将集群资源与预设阈值进行比较并执行以下步骤：
响应于集群资源超过预设阈值，将包含有多个待执行任务的信息的任务请求信息下发至任务调度控制器；
通过所述任务调度控制器基于所述任务请求信息开启调度执行器服务，将各待执行任务依次放入调度请求队列；
通过所述调度执行器服务基于所述调度请求队列创建多个任务线程池，将各调度请求队列的待执行任务分别放入对应任务线程池且进行并行执行；
响应于集群资源未超过所述阈值，将单个待执行任务的信息下发至所述任务调度控制器，并使得所述任务调度控制器基于所述单个待执行任务的信息调度所述单个待执行任务以进行执行。
2.根据权利要求1所述的方法，其特征在于，所述任务请求信息包括各待执行任务的任务名称和任务优先级，以及所述多个待执行任务的任务数量。
3.根据权利要求2所述的方法，其特征在于，还包括：
接收通过系统界面输入的待执行任务的任务优先级以及所述任务数量的最大值。
4.根据权利要求1所述的方法，其特征在于，还包括：
将各待执行任务或所述单个待执行任务的执行进度以及执行日志信息展示在系统界面。
5.根据权利要求1所述的方法，其特征在于，还包括：
基于集群资源将需要监控的系统性能指标从系统界面放入其性能监控区，以触发所述系统性能指标的数据查询接口，并将所述系统性能指标查询到的基于时间维度的信息展示在所述系统界面。
6.根据权利要求1所述的方法，其特征在于，还包括：
基于集群资源在系统界面按照告警级别设置相应数量的告警项。
7.根据权利要求6所述的方法，其特征在于，还包括：
基于集群资源在所述系统界面对设置的告警项进行告警指标的阈值设置。
8.一种集群系统动态管理装置，其特征在于，包括：
任务请求信息下发模块，配置用于响应于集群资源超过预设阈值，将包含有多个待执行任务的信息的任务请求信息下发至任务调度控制器；
调度执行器服务开启模块，配置用于通过所述任务调度控制器基于所述任务请求信息开启调度执行器服务，将各待执行任务依次放入调度请求队列；
任务并行执行模块，配置用于通过所述调度执行器服务基于所述调度请求队列创建多个任务线程池，将各调度请求队列的待执行任务分别放入对应任务线程池且进行并行执行；以及
单任务执行模块，配置用于响应于集群资源未超过所述阈值，将单个待执行任务的信息下发至所述任务调度控制器，并使得所述任务调度控制器基于所述单个待执行任务的信息调度所述单个待执行任务以进行执行。
9.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令被执行时实现如权利要求1-7任意一项所述的方法。
10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时执行如权利要求1-7任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110326388.4A CN113031870A (zh) | 2021-03-26 | 2021-03-26 | 一种集群系统动态管理方法、装置、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110326388.4A CN113031870A (zh) | 2021-03-26 | 2021-03-26 | 一种集群系统动态管理方法、装置、存储介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113031870A true CN113031870A (zh) | 2021-06-25 |
Family
ID=76474198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110326388.4A Pending CN113031870A (zh) | 2021-03-26 | 2021-03-26 | 一种集群系统动态管理方法、装置、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113031870A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113448712A (zh) * | 2021-07-12 | 2021-09-28 | 中国银行股份有限公司 | 任务调度执行方法及装置 |
| CN113553189A (zh) * | 2021-08-16 | 2021-10-26 | 北京字节跳动网络技术有限公司 | Yarn集群资源调度方法、装置、介质和计算机设备 |
| CN113704060A (zh) * | 2021-08-21 | 2021-11-26 | 济南浪潮数据技术有限公司 | 一种资源监控方法、系统、存储介质及设备 |
| CN114757595A (zh) * | 2022-06-15 | 2022-07-15 | 中邮消费金融有限公司 | 一种基于自定义调度策略的电话销售任务调度方法及系统 |
| CN116578380A (zh) * | 2023-04-13 | 2023-08-11 | 浪潮智慧科技有限公司 | 一种数据采集工具的集群任务调度方法、设备及介质 |
| CN117806778A (zh) * | 2024-02-29 | 2024-04-02 | 济南浪潮数据技术有限公司 | 资源管理方法、系统、设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101534526A (zh) * | 2008-03-14 | 2009-09-16 | 中兴通讯股份有限公司 | 一种基站系统分级告警同步方法 |
| US20170228257A1 (en) * | 2014-07-31 | 2017-08-10 | Hewlett Packard Enterprise Development Lp | Dynamic adjustment of thresholds |
| CN107171888A (zh) * | 2017-05-26 | 2017-09-15 | 安徽四创电子股份有限公司 | 一种基于cAdvisor的集群性能监测方法 |
| CN107491346A (zh) * | 2016-06-12 | 2017-12-19 | 阿里巴巴集团控股有限公司 | 一种应用的任务处理方法、装置及系统 |
| US20180349246A1 (en) * | 2017-05-30 | 2018-12-06 | International Business Machines Corporation | Parallel task management |
| CN109144699A (zh) * | 2018-08-31 | 2019-01-04 | 阿里巴巴集团控股有限公司 | 分布式任务调度方法、装置及系统 |
| CN109901926A (zh) * | 2019-01-25 | 2019-06-18 | 平安科技（深圳）有限公司 | 基于大数据行为调度应用任务的方法、服务器及存储介质 |
| CN110413390A (zh) * | 2019-07-24 | 2019-11-05 | 深圳市盟天科技有限公司 | 线程任务处理方法、装置、服务器及存储介质 |
| US20200104392A1 (en) * | 2018-10-02 | 2020-04-02 | Servicenow, Inc. | Dynamic threshold adjustment based on performance trend data |
-
2021
- 2021-03-26 CN CN202110326388.4A patent/CN113031870A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101534526A (zh) * | 2008-03-14 | 2009-09-16 | 中兴通讯股份有限公司 | 一种基站系统分级告警同步方法 |
| US20170228257A1 (en) * | 2014-07-31 | 2017-08-10 | Hewlett Packard Enterprise Development Lp | Dynamic adjustment of thresholds |
| CN107491346A (zh) * | 2016-06-12 | 2017-12-19 | 阿里巴巴集团控股有限公司 | 一种应用的任务处理方法、装置及系统 |
| CN107171888A (zh) * | 2017-05-26 | 2017-09-15 | 安徽四创电子股份有限公司 | 一种基于cAdvisor的集群性能监测方法 |
| US20180349246A1 (en) * | 2017-05-30 | 2018-12-06 | International Business Machines Corporation | Parallel task management |
| CN109144699A (zh) * | 2018-08-31 | 2019-01-04 | 阿里巴巴集团控股有限公司 | 分布式任务调度方法、装置及系统 |
| US20200104392A1 (en) * | 2018-10-02 | 2020-04-02 | Servicenow, Inc. | Dynamic threshold adjustment based on performance trend data |
| CN109901926A (zh) * | 2019-01-25 | 2019-06-18 | 平安科技（深圳）有限公司 | 基于大数据行为调度应用任务的方法、服务器及存储介质 |
| CN110413390A (zh) * | 2019-07-24 | 2019-11-05 | 深圳市盟天科技有限公司 | 线程任务处理方法、装置、服务器及存储介质 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113448712A (zh) * | 2021-07-12 | 2021-09-28 | 中国银行股份有限公司 | 任务调度执行方法及装置 |
| CN113553189A (zh) * | 2021-08-16 | 2021-10-26 | 北京字节跳动网络技术有限公司 | Yarn集群资源调度方法、装置、介质和计算机设备 |
| CN113704060A (zh) * | 2021-08-21 | 2021-11-26 | 济南浪潮数据技术有限公司 | 一种资源监控方法、系统、存储介质及设备 |
| CN113704060B (zh) * | 2021-08-21 | 2024-06-07 | 郑州浪潮数据技术有限公司 | 一种资源监控方法、系统、存储介质及设备 |
| CN114757595A (zh) * | 2022-06-15 | 2022-07-15 | 中邮消费金融有限公司 | 一种基于自定义调度策略的电话销售任务调度方法及系统 |
| CN116578380A (zh) * | 2023-04-13 | 2023-08-11 | 浪潮智慧科技有限公司 | 一种数据采集工具的集群任务调度方法、设备及介质 |
| CN116578380B (zh) * | 2023-04-13 | 2024-01-23 | 浪潮智慧科技有限公司 | 一种数据采集工具的集群任务调度方法、设备及介质 |
| CN117806778A (zh) * | 2024-02-29 | 2024-04-02 | 济南浪潮数据技术有限公司 | 资源管理方法、系统、设备及介质 |
| CN117806778B (zh) * | 2024-02-29 | 2024-06-07 | 济南浪潮数据技术有限公司 | 资源管理方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113031870A (zh) | 一种集群系统动态管理方法、装置、存储介质及设备 | |
| CN110232010A (zh) | 一种告警方法、告警服务器及监控服务器 | |
| US20080313502A1 (en) | Systems, methods and computer products for trace capability per work unit | |
| CN110995497A (zh) | 一种云计算环境下统一运维的方法、终端设备及存储介质 | |
| US9652307B1 (en) | Event system for a distributed fabric | |
| CN111338802B (zh) | 一种优化大数据集群性能的方法、系统、设备及介质 | |
| US10498817B1 (en) | Performance tuning in distributed computing systems | |
| CN111026606A (zh) | 基于hystrix熔断器监控的报警方法、装置及计算机设备 | |
| US11481394B2 (en) | Elimination of measurement lag for operations across a large number of customer nodes | |
| CN113535344A (zh) | 网络数据处理方法和装置、服务器及存储介质 | |
| CN113626869B (zh) | 数据处理方法、系统、电子设备以及存储介质 | |
| US11469959B2 (en) | Decentralized auto-scaling of network architectures | |
| CN103475690A (zh) | Memcached节点配置方法及装置 | |
| US20210255868A1 (en) | Scaling Performance Across a Large Number of Customer Nodes | |
| Dulman et al. | Operating system fundamentals for the EYES distributed sensor network | |
| CN117194165A (zh) | 服务器性能监测方法、装置、计算机设备和存储介质 | |
| CN117149382A (zh) | 虚拟机调度方法、装置、计算机设备和存储介质 | |
| CN114327259B (zh) | 一种闪存通道控制器运行方法、装置、设备及存储介质 | |
| CN109815081A (zh) | 数据库性能的远程收集方法及收集装置 | |
| CN111885159B (zh) | 数据采集方法、装置、电子设备及存储介质 | |
| CN111669294B (zh) | 监控系统配置方法、装置、监控系统和存储介质 | |
| CN114285647A (zh) | 一种分布式对象存储系统中桶异常访问检测方法及装置 | |
| CN113704355A (zh) | 数据同步方法、电子设备及存储介质 | |
| CN113741957A (zh) | 一种基于物联网的智能设备管理方法和管理系统 | |
| CN106850283B (zh) | 一种基于事件驱动的云ac告警处理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210625 |