CN103631650A - 用于it运维系统的采集调度方法 - Google Patents
用于it运维系统的采集调度方法 Download PDFInfo
- Publication number
- CN103631650A CN103631650A CN201210306176.0A CN201210306176A CN103631650A CN 103631650 A CN103631650 A CN 103631650A CN 201210306176 A CN201210306176 A CN 201210306176A CN 103631650 A CN103631650 A CN 103631650A
- Authority
- CN
- China
- Prior art keywords
- acquisition tasks
- task
- collection
- priority
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种用于IT运维系统的高效采集调度方法，包括如下步骤：a）采集任务队列接收采集任务；b）优先级运算器计算各采集任务的调度优先级；c）各采集机向任务调度器报告状态；d）任务调度器根据调度策略选取采集任务，并分发；e）采集机饱和时，通知备用调度器进行采集调度；f）当所有采集机均处于饱和采集状态，则将紧急采集任务放入未调度任务缓存；g）根据预设的未调度缓存处理规则进行处理，本发明可以对任务进行分析、专项调度，具有提高了采集工作的灵活性和智能化等诸多优点。
Description
技术领域
本发明涉及IT运维领域，尤其涉及一种用于IT运维系统的高效采集调度方法。
背景技术
在IT运维领域，为保障整个系统的正常运行，需要实时了解系统中各个设备的运行情况，由此产生了大量的设备运行情况采集任务，运行数据采集的及时有效对于IT运维系统的准确运作至关重要，在现有技术中，缺乏对采集任务本身的分析，采用简单队列方式排次处理，不仅会导致重要采集任务的延迟，而且无法对采集任务进行处理操作，尤其当采集任务超负荷的时候，不能灵活的调度任务队列，致使运维系统失效；缺乏独立的任务调度机制设计，不仅调度水平低下，而且调度机制的修改困难；同时，由于没有对采集系统采用模块化设计，导致系统扩容和升级困难。
发明内容
本发明的目的在于提供了一种用于IT运维系统的高效采集调度方法，引入了对采集任务本身的评级法分析步骤，可以对任务进行分类、评级、排序，并基于任务分析进行专门的调度作业，从而提高了采集工作的灵活性和智能化，不仅提高了采集效率，而且提高了采集任务的质量和对运维目标的适应性，还将任务调度与作业活动从任务队列和评级活动中分离开来，提高了采集系统容量配置的灵活性。
本发明的目的通过如下方案实现，用于IT运维系统的采集调度方法，包括如下步骤：
a）、采集任务队列接收并存储采集任务，包括新提交的采集任务；
b）、优先级运算器根据预设的任务优先级运算规则、采集任务指标计算每个采集任务的调度优先级，并对采集任务队列中的采集任务排序；
c）、各采集机接收到新的采集任务、以及某个采集任务结束后，实时向任务调度器报告采集机状态；
d）、当采集任务队列中还有未被调度的采集任务时，任务调度器则根据预设的调度策略从采集任务队列中根据调度优先级取出采集任务，并根据采集机上报的各自状态，将该采集任务分发给空闲资源最多的采集机；
e）、当采集机处于饱和状态时，若任务调度器发现采集任务队列中还有需要及时处理的未调度的采集任务时，任务调度器通知备用调度器进行采集调度；
f）、当任务调度器所管理的采集机、备用调度器所管理的备用采集机均处于饱和采集状态，则由备用调度器将该时刻必须调度的采集任务放入到未调度任务缓存中；
g）、备用调度器根据预设的未调度缓存处理规则对未调度任务缓存中的采集任务进行处理。
该用于IT运维系统的采集调度方法进一步的方案是：所述优先级运算器根据任务优先级运算规则，可以进一步根据当前采集任务队列中待调度的采集任务的状态，动态计算各个采集任务的调度优先级，并且能够实时更新采集任务队列中各个采集任务的调度优先级。
进一步的，所述优先级运算器所依据的任务优先级运算规则可以是多套的，并在运行过程中实时选用。
进一步的，所述备用调度器对未调度任务缓存中的任务所进行的处理包括将该采集任务重新放回到采集任务队列中。
进一步的，由备用调度器提交到采集任务队列的采集任务的指标中，包含有该任务已经过备用调度器处理的信息，供优先级运算器重新计算该任务的调度优先级。
该用于IT运维系统的采集调度方法进一步的方案是：所述采集任务队列为一系列子队列集合，每个子队列都有自己的优先级，通过这些队列存放采集任务。
该用于IT运维系统的采集调度方法进一步的方案是：所述预设的任务优先级运算规则中包含有检查采集任务是否已经达到最迟采集时间的规则，并可根据任务时限实时更新任务的调度优先级，这样将任务的紧急程度判断放在了优先级运算规则中，提高了模块的内敛性，提高了优先级运算器的处理能力。
采用这种方案的用于IT运维系统的采集调度方法，对采集任务的调度进行了模块化设计，将优先级运算规则、采集策略分别在独立的优先级运算器、调度器、备用调度器中实现，不仅增强了对采集任务本身的分析，且增强了模块的内敛性，为实现强大和丰富的规则集合提供了可能，尤其是优先级运算器的独立，可以使得调度优先级运算是多套、实时得以应用，与调度策略和未调度缓存处理规则的配合协调，显著增强了任务调度的效率和质量，同时，该方法还增设了未调度缓存处理规则，且独立存在于备用调度器中，较现有技术实现了在采集饱和状态下的自动应对处理，可以是重新放入到采集队列中，重新计算调度优先级并进入任务调度器处理，也可以是重新由备用采集机选择，并且将其分配给备用采集机，还可以是直接丢弃，由此使得运维系统具有了应对采集任务饱和状态的能力。
与本发明所提供的采集调度方法相适应的采集系统中，包括了采集任务队列、优先级运算器、任务调度器、备用调度器、采集机、备用采集机、未调度任务缓存等模块、装置或设备。
采集任务队列：负责接受并存储提交的采集任务，并且可将这些采集任务按照一定的规则分配到各个子队列中，等待任务调度器或者备用调度器的调度。
优先级运算器：当外部提交的采集任务提交到采集队列中时，采集队列会通知优先级运算器，优先级运算器届时会根据预设的优先级运算规则，以及采集任务的属性、指标，如：采集任务提交时间、预计完成时间、已等待时间等，运算出该任务的优先级，并且将其移动到采集队列的相应位置。
任务调度器：当采集队列中的任务不为空的时候，也可以是采集队列通知任务调度器，询问是否有空闲的采集机资源，任务调度器通过其管理的采集机上报的采集状态，判断是否有可用的采集机资源，如果有，任务调度器从采集队列中优先级最高的位置获取一个采集任务，并且将这个采集任务分配给空闲中得采集机。
备用调度器：当采集队列中的采集任务不为空，任务调度器所管理的采集机处于满负荷调度状态时，任务调度器通知备用调度器，备用调度器则启动，检查采集队列中是否具有已到达最迟采集时间的采集任务，这样可进一步提高紧急任务处理的及时性，如果具有这样的采集任务，备用调度器从采集队列中获取所有的这样的采集任务，并且将这些任务分配给备用采集机，如果获取的采集任务不能分配完毕，则将未分配的任务放入到未调度任务缓存中。
未调度任务缓存：根据预设的规则、策略的需要，未调度任务缓存中的任务可以重新放入到采集队列中，或者重新由备用采集机选择，并且将其分配给备用采集机，或者直接丢弃。
采用这种结构的采集系统，采用了独立设计的采集任务队列、优先级运算器、任务调度器、备用调度器、采集机、备用采集机、未调度任务缓存，优先级运算器包含有内敛管理的优先级运算规则，负责对采集任务队列中的任务的优先级进行灵活调整，任务调度器包含有内敛管理的采集策略，负责协调采集机及备用调度器，而备用调度器则专门针对饱和状态下的处理，通过预设的规则实现对饱和状态的智能化处理，而且，采用这种架构的系统，还可以简化、方便采集系统的调整、扩容。
附图说明
图1是本发明的原理示意图；
图2是本发明的流程示意图。
具体实施方式
下面将结合附图对本发明的具体实施方式进行例解，根据本发明在具体方案中的具体特征增减、调整均不应视为脱离本方案的范围。
如图1和图2所示，首先需要为优先级运算器定义优先级运算规则，对任务调度器设定调度策略、初始化任务队列大小以及分类，对备用调度器定义未调度任务缓存策略。
采集任务队列接收外部传入的采集任务，对任务进行分类，比如采集设备的内存使用情况、设备的CPU占用率等，将不同的采集类型分别放入到不同的子队列中。
当采集任务放置到任务队列的子队列中后，任务队列通知优先级运算器，根据任务提交的时间、最迟必须调度时间、预计执行周期等信息，依照前述事先定义好的优先级运算规则，计算出采集任务的调度优先级，并且根据该优先级别，将采集任务放置到该类子队列的特定位置。
任务调度器根据自身保存的，其所管理的采集机使用情况，当采集任务队列中任务数不为空的时候，任务调度器从优先级最高的位置获取一个采集任务，并且将该采集任务分发给采集机，更改采集机的工作状态。
当采集机完成一个采集任务后，发回采集数据，并且向任务调度器发送通知，告知采集机当前的工作状态，任务调度器保存该状态。
当提交的采集任务数量较大的时候，任务调度器不能及时调度必须执行的采集任务时，则通知备用调度器，备用调度器则从采集队列将所有的已经到达最迟采集时间的采集任务取出，并且将这些任务分配给备用采集机，如果备用采集机资源依然不满足当前的采集任务，备用采集机将剩下的并且已到达最迟采集时间的采集任务放入到未采集任务缓存中。
未采集任务缓存中的任务，则根据事先定义好的未调度缓存处理规则，执行相应的处理操作，比如当备用采集机有空闲资源的时候，将任务分发给备用采集机，或者是重新将该采集任务添附处理信心后放入到采集队列中，进入下一个周期的采集，或者直接丢弃，放弃本次采集。
Claims (7)
1.用于IT运维系统的采集调度方法，其特征在于该方法包括以下步骤：
a）、采集任务队列接收并存储采集任务，包括新提交的采集任务；
b）、优先级运算器根据预设的任务优先级运算规则、采集任务指标计算每个采集任务的调度优先级，并对采集任务队列中的采集任务排序；
c）、各采集机接收到新的采集任务、以及某个采集任务结束后，实时向任务调度器报告采集机状态；
d）、当采集任务队列中还有未被调度的采集任务时，任务调度器则根据预设的调度策略从采集任务队列中根据调度优先级取出采集任务，并根据采集机上报的各自状态，将该采集任务分发给空闲资源最多的采集机；
e）、当采集机处于饱和状态时，如任务调度器发现采集任务队列中还有需要及时处理的未调度的采集任务时，任务调度器通知备用调度器进行采集调度；
f）、当任务调度器所管理的采集机、备用调度器所管理的备用采集机均处于饱和采集状态，则由备用调度器将该时刻必须调度的采集任务放入到未调度任务缓存中；
g）、备用调度器根据预设的未调度缓存处理规则对未调度任务缓存中的采集任务进行处理。
2.根据权利要求1所述的用于IT运维系统的采集调度方法，其特征在于：所述优先级运算器根据任务优先级运算规则，可以进一步根据当前采集任务队列中待调度的采集任务的状态，动态计算各个采集任务的调度优先级，并且能够实时更新采集任务队列中各个采集任务的调度优先级。
3.根据权利要求2所述的用于IT运维系统的采集调度方法，其特征在于：所述优先级运算器所依据的任务优先级运算规则可以是多套的，并在运行过程中实时选用。
4.根据权利要求3所述的用于IT运维系统的采集调度方法，其特征在于：所述备用调度器对未调度任务缓存中的任务所进行的处理包括将该采集任务重新放回到采集任务队列中。
5.根据权利要求4所述的用于IT运维系统的采集调度方法，其特征在于：由备用调度器提交到采集任务队列的采集任务的指标中，包含有该任务已经过备用调度器处理的信息，供优先级运算器重新计算该任务的调度优先级。
6.根据权利要求1所述的用于IT运维系统的采集调度方法，其特征在于：所述采集任务队列为一系列子队列集合，每个子队列都有自己的优先级，通过这些队列存放采集任务。
7.根据权利要求1所述的用于IT运维系统的采集调度方法，其特征在于：所述预设的任务优先级运算规则中包含有检查采集任务是否已经达到最迟采集时间的规则，并可根据任务时限实时更新任务的调度优先级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210306176.0A CN103631650A (zh) | 2012-08-25 | 2012-08-25 | 用于it运维系统的采集调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210306176.0A CN103631650A (zh) | 2012-08-25 | 2012-08-25 | 用于it运维系统的采集调度方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103631650A true CN103631650A (zh) | 2014-03-12 |
Family
ID=50212742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210306176.0A Pending CN103631650A (zh) | 2012-08-25 | 2012-08-25 | 用于it运维系统的采集调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103631650A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105281962A (zh) * | 2015-12-03 | 2016-01-27 | 成都广达新网科技股份有限公司 | 一种基于并行管道实现网管性能采集系统及其工作方法 |
| CN106201715A (zh) * | 2016-06-30 | 2016-12-07 | 北京奇艺世纪科技有限公司 | 一种任务调度方法和装置 |
| CN106406821A (zh) * | 2016-08-15 | 2017-02-15 | 平安科技（深圳）有限公司 | 数据处理请求的排序方法及装置 |
| CN110233776A (zh) * | 2019-05-31 | 2019-09-13 | 湃方科技(北京)有限责任公司 | 一种旋转型机械设备状态监测方法及设备 |
| CN110879707A (zh) * | 2018-09-06 | 2020-03-13 | 迈普通信技术股份有限公司 | 编译任务执行方法及装置 |
| CN113190335A (zh) * | 2021-05-07 | 2021-07-30 | 安徽南瑞中天电力电子有限公司 | 一种电力采集终端的多任务调度和采集方法及电力采集系统 |
| CN113515526A (zh) * | 2021-07-30 | 2021-10-19 | 云羽钢琴制造(武汉)有限公司 | 一种数据采集系统及方法 |
| CN114049754A (zh) * | 2021-12-06 | 2022-02-15 | 青岛鼎信通讯股份有限公司 | 一种基于变电站电能量采集终端的临时采集任务机制 |
| CN116016117A (zh) * | 2022-12-27 | 2023-04-25 | 山西合力创新科技股份有限公司 | 网络设备运维数据采集方法、系统、电子设备及存储介质 |
-
2012
- 2012-08-25 CN CN201210306176.0A patent/CN103631650A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105281962A (zh) * | 2015-12-03 | 2016-01-27 | 成都广达新网科技股份有限公司 | 一种基于并行管道实现网管性能采集系统及其工作方法 |
| CN105281962B (zh) * | 2015-12-03 | 2018-08-28 | 成都广达新网科技股份有限公司 | 一种基于并行管道实现网管性能采集系统及其工作方法 |
| CN106201715A (zh) * | 2016-06-30 | 2016-12-07 | 北京奇艺世纪科技有限公司 | 一种任务调度方法和装置 |
| CN106406821A (zh) * | 2016-08-15 | 2017-02-15 | 平安科技（深圳）有限公司 | 数据处理请求的排序方法及装置 |
| WO2018032737A1 (zh) * | 2016-08-15 | 2018-02-22 | 平安科技（深圳）有限公司 | 数据处理请求的排序方法、装置、终端及存储介质 |
| CN110879707A (zh) * | 2018-09-06 | 2020-03-13 | 迈普通信技术股份有限公司 | 编译任务执行方法及装置 |
| CN110233776A (zh) * | 2019-05-31 | 2019-09-13 | 湃方科技(北京)有限责任公司 | 一种旋转型机械设备状态监测方法及设备 |
| CN113190335A (zh) * | 2021-05-07 | 2021-07-30 | 安徽南瑞中天电力电子有限公司 | 一种电力采集终端的多任务调度和采集方法及电力采集系统 |
| CN113515526A (zh) * | 2021-07-30 | 2021-10-19 | 云羽钢琴制造(武汉)有限公司 | 一种数据采集系统及方法 |
| CN114049754A (zh) * | 2021-12-06 | 2022-02-15 | 青岛鼎信通讯股份有限公司 | 一种基于变电站电能量采集终端的临时采集任务机制 |
| CN116016117A (zh) * | 2022-12-27 | 2023-04-25 | 山西合力创新科技股份有限公司 | 网络设备运维数据采集方法、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103631650A (zh) | 用于it运维系统的采集调度方法 | |
| CN103634132A (zh) | 用于it运维平台的高效采集系统 | |
| CN101957780B (zh) | 一种基于资源状态信息的网格任务调度处理器及方法 | |
| CN101084680B (zh) | 在电信服务和/或网络管理平台中管理资源的方法、相应平台及其计算机程序产品 | |
| CN105912401B (zh) | 一种分布式数据批处理系统和方法 | |
| CN106156115B (zh) | 一种资源调度方法及装置 | |
| CN106790706B (zh) | 一种数据资源优化的方法、平台及系统 | |
| CN102831012A (zh) | 多节点分布式系统中的任务调度装置和任务调度方法 | |
| CN106027328A (zh) | 一种基于应用容器部署的集群监控的方法及系统 | |
| CN104199736A (zh) | 云环境下的数据中心节能方法 | |
| CN102223419A (zh) | 面向网络化操作系统的虚拟资源动态反馈均衡分配机制 | |
| CN101103336A (zh) | 数据处理系统和任务调度的方法 | |
| CN105373432B (zh) | 一种基于虚拟资源状态预测的云计算资源调度方法 | |
| US11321115B2 (en) | Scalable and dynamic data collection and processing | |
| CN111813502B (zh) | 面向工业边缘节点的计算资源管理调度方法 | |
| CN102707995A (zh) | 基于云计算环境的业务调度的方法及装置 | |
| EP3932025B1 (en) | Computing resource scheduling method, scheduler, internet of things system, and computer readable medium | |
| US10606650B2 (en) | Methods and nodes for scheduling data processing | |
| CN106789270A (zh) | 一种信息系统集中运维管理的实现方法及系统 | |
| CN110022229A (zh) | 一种电网跨区传输通信系统及方法 | |
| CN104680302A (zh) | 一种体检导检方法及装置 | |
| CN108509280A (zh) | 一种基于推送模型的分布式计算集群本地性调度方法 | |
| CN102012891A (zh) | 计算机集群管理方法、装置和系统 | |
| CN108563494B (zh) | 一种自适应动态调整的线程调度系统及方法 | |
| CN104156505A (zh) | 一种基于用户行为分析的Hadoop集群作业调度方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140312 |