CN104104536B - 一种基于策略的自调节并发轮询监测方法和装置 - Google Patents

一种基于策略的自调节并发轮询监测方法和装置 Download PDF

Info

Publication number
CN104104536B
CN104104536B CN201310129435.1A CN201310129435A CN104104536B CN 104104536 B CN104104536 B CN 104104536B CN 201310129435 A CN201310129435 A CN 201310129435A CN 104104536 B CN104104536 B CN 104104536B
Authority
CN
China
Prior art keywords
monitoring
strategy
unit
parameter
conditional search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310129435.1A
Other languages
English (en)
Other versions
CN104104536A (zh
Inventor
沙永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIMESCHINA BEIJING TECHNOLOGY CO LTD
Original Assignee
TIMESCHINA BEIJING TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIMESCHINA BEIJING TECHNOLOGY CO LTD filed Critical TIMESCHINA BEIJING TECHNOLOGY CO LTD
Priority to CN201310129435.1A priority Critical patent/CN104104536B/zh
Publication of CN104104536A publication Critical patent/CN104104536A/zh
Application granted granted Critical
Publication of CN104104536B publication Critical patent/CN104104536B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Computer And Data Communications (AREA)

Abstract

一种基于策略的自调节并发轮询监测方法和装置,包括:策略载入单元,从配置引擎检查载入监测策略信息,包括监测策略的详细技术参数;状态检索单元,执行策略,向受测对象发送和接收各类协议数据包,完成执行协议的交互。状态分析单元,对状态检索单元的数据包进行分析处理,给出结果,反馈给处置引擎。调度控制单元,检查系统负载综合状态,为状态检索单元提供并调整运行参数,实现设计目的。生命控制单元,对状态检索单元发出的所有协议进行生命控制,及时切断超时等不正常的协议会话,动态释放资源,保持系统正常运行状态。本发明有效提高了信息服务系统监测工作的实用性,功能性和稳定性。

Description

一种基于策略的自调节并发轮询监测方法和装置
技术领域
本发明涉及监控用轮询技术,尤其涉及进行监测用的自我调节轮询方法及装置。
背景技术
随着信息化建设的不断深入,信息服务系统已经遍及各个行业。他们不间断地运行,由于系统受损、不能及时维护以及维护不当导致的系统停机造成的影响十分严重。因此信息系统的监控运维技术不断发展。信息系统监测的主要工作原理是:采用各类协议与受测方进行协议会话。监测工作一般需要达到的效果是:受测端无需安装应用程序,由监控系统工作引擎实施协议交互,并将工作结果进行识别,将结果按照需求发送给有关人员。
监测需求通常要求结果越精确越好,实时性越高越好,同时还需要支持较多的监测点和较大的监测范围,同时还要考虑不影响信息系统上正常业务、流量和应用。还要保证系统大范围波动时监测系统的性能及可靠性,达到最好的用户体验效果。但目前的监测技术仍然存在性能较差、实用性差、功能不全以及操作麻烦的问题。
发明内容
有鉴于此,本发明提供一种基于策略的自调节并发轮询监测装置,监测工作所有环节只需要一次部署,实现便捷维护,智能自动运行。监测引擎作为该装置的核心组件,该装置包括:
策略配置单元,用于配置测策略的详细技术参数;
策略载入单元,用于从配置引擎检查载入监测策略信息,该信息包括监测策略的详细技术参数;
状态检索单元,执行策略,向受测对象发送和接收各类协议数据包,完成执行协议的交互;
状态分析单元,对状态检索单元的数据包进行分析处理,给出结果,反馈给处置引擎;
处置与通告单元,用于对状态单元结果进行综合处置,并按通告策略进行通告;
生命控制单元,用于对状态检索单元发出的所有协议进行生命控制,及时切断僵死、超时等不正常的协议会话,动态释放资源,使系统工作始终处于正常运行状态;
调度控制单元,用于检查系统负载综合状态,以便为状态检索单元提供运行参数,调整状态检索单元的工作参数,从而实现设计目的。
优选地,调度控制单元工作参数包括通信协议各项统计数据,CPU 占用综合统计数据、内存占用率、网络IO 占用率以及磁盘处理统计数据;所述调度参数是由上述各个数据乘以对应的预设权重后相加得到的。
优选地,其中所述内存占用率的权重最高。
优选地,其中所CPU 占用综合统计指数、内存占用综合统计指数的权重之和不小于40% 且不大于80%。
本发明还提供基于策略的自调节并发轮询监测方法,监测工作所有环节只需要一次部署,实现便捷维护,智能自动运行。
可以配置测策略的详细技术参数;
可以从配置引擎检查载入监测策略信息,该信息包括受测端的详细技术参数;
可以执行策略,向受测对象发送和接收各类协议数据包,完成执行协议的交互;
可以对状态检索单元的数据包进行分析处理,给出结果,反馈给处置引擎;
可以用于检查系统负载综合状态,以便为状态检索单元提供运行参数,调整状态检索单元的工作参数,从而实现设计目的;
可以用于对状态检索单元发出的所有协议进行生命控制,及时切断僵死、超时等不正常的协议会话,动态释放资源,使系统工作始终处于正常运行状态。
优选地,调度控制单元工作参数包括通信协议各项统计数据,CPU 占用综合统计数据、内存占用率、网络IO 占用率以及磁盘处理统计数据;所述调度参数是由上述各个数据乘以对应的预设权重后相加得到的。
优选地,其中所述内存占用率的权重最高。
优选地,其中所CPU 占用综合统计数据、内存占用综合统计指数的权重之和不小于40% 且不小于80%。
本发明基于策略的配置技术,是监测工作实现了面向对象策略化,部署、维护工作大大简化,策略对象建立后,二次部署时间减少90%以上。同时部署、维护的灵活性大大增强,可以根据业务本身特点设计监测策略。通过通信协议综合数据,结合内存负载等加权参数计算监测综合负载,更准确的反应了监测引擎的综合负载情况。在测试4000节点极端震荡性故障模式时,依然取得了稳定的运行效果。
附图说明:
图1 是本发明一种实施方式的应用环境。
图2 是本发明基于策略的自调节并发轮询监测装置的逻辑结构图。
图3 是本发明管理配置的通告环节策略配置用户界面图。
具体实施方式:
请参考图1,在信息系统运行监测场景中,通常会采用一台安装监测引擎的服务器或主机来实施监测,提供监测服务。本发明基于策略的自调节并发轮询监测技术的监测装置即应用在监测引擎中,该装置可以通过软件实现,也可以通过软硬结合的方式实现。该装置主要包括11策略载入单元,12状态检索单元,13状态分析单元,14生命控制单元,15调度控制单元,16处置与通告单元,17策略配置单元。以下以软件实现为例来描述该装置运行时所执行的处理流程。
步骤1,配置监控策略的详细技术参数;本步骤由策略载入单元17 执行。
步骤2,接收并载入配置引擎发送的策略信息,所述策略信息包括监控策略的详细技术参数;本步骤由策略载入单元11 执行。
首先需要在策略配置端输入监测策略的所有参数。通过加密协议通道向策略载入单元输入监测参数,协议载入单元根据处理逻辑对策略进行检查、过滤,排队,然后将参数注入到状态检索单元。
步骤3,状态检索单元,将策略载入单元注入的监测参数写入并发队列,发起监测会话;本步骤由状态检索单元12 执行。
监测引擎负责根据参数执行监测任务。策略参数带有监测引擎工作所需的所有参数。
基于策略的工作引擎可以实现监测工作脱离运维人员的干预和管理,自动实时灵活的监测,包括监测规则是否自动进入睡眠期。请参考图3。
步骤4,状态分析单元,将状态检索单元并发工作线程的结果分别进行收集处理,再发给后续通告引擎;本步骤由状态分析单元13 执行。
有于监测工作的多协议性,状态分析单元需要处置大量的并发异种协议,来实现统一监测功能的强大和完整。
步骤5,处置与通告单元,用于对状态单元结果进行综合处置,并按通告策略进行通告。本步骤由状态分析单元16 执行。
步骤6,生命控制单元定期对状态检索单元的工作健康状态进行检查。生命状态单元根据监测线程的索引对每一线程进行状态检查,对于僵死和其他非正常状态进行按照算法的忽略、杀死或者强制置于特殊状态。本步骤由状态分析单元14 执行。
进一步来说,由于生命控制单元的工作,本发明适应不同系统复杂工况的能力得到进一步提高,也实现了高压力状态下资源的高度回收和利用。它与调度控制单元一起有效实现高强度工作状态下的监测引擎自身的较低负载,也实现了对受测目标及其工作环境的低负载压力。
步骤7,检查系统负载综合状态,以便为状态检索单元提供运行参数,调整状态检索单元的工作参数,从而实现系统稳定运行设计目的。本步骤由状态分析单元15 执行。
本步骤根据采集的工作参数按照算法对状态检索单元的工作参数接口进行控制,以实现对状态检索单元工作节奏和强度压力进行动态实时调整。
进一步来说,运行于监测系统内部处置协议的高并发和复杂性,导致监测引擎始终处于高度的工作压力下。准确判断系统压力和成因,需要包括系统进程状态、协议综合状态,CPU 占用率、内存占用率、网络IO、磁盘IO等对资源信息进行加权计算,这些计算结果作为调度控制单元的工作参数。
当前的主流监测软件所采取的降低各类负载的方法就是人工调节监测模块的输入参数,以使其适具体系统的工作环境。其主要缺点是,也没有实施监控自身运行压力的自我调节机制,同时不当的参数还有可能对运行系统造成意外的影响。它们或者选择使用多接点技术分担压力,这就造成增加了系统的建设成本、维护工作量,并增大管理难度。而采用本发明的多单元引擎工作机制实现的装置具有很小的维护、管理工作量,实现了监测工作各类目标,达到理想的效果。即不仅实现了对监测对象微小变化的及时监测,而且将使用策略这些变化加工,以清晰、详细的通告分级送达关注者,同时形成了有价值的历史数据。
对系统自身进行自动负载监控调度的做法在运维、监测系统中极为少见。没有自动调度能力,这样要么会使管理工作复杂,要么难以实现好的监测工作,形成大型系统。本发明实时跟踪监测系统综合负载,具体来说服务器负载是由综合占用率乘以对应的预设权重后相加得到的。一个示例性的计算方法如下:
整合部署的服务器负载 = 引擎并发度*20%+CPU 占用指数*20%+内存占用指数*30%+磁盘IO 占用率*25%+网络IO 占用率*5%。
典型地,对于较经济的整合部署模式,一般来说在监测引擎工况的计算过程中,由于内存和硬盘直接影响使用体验,所有本发明保持内存和磁盘权重始终高于其他资源的权重,但同时保持内存和磁盘IO 权重与的总和不小于50% 且不大于70%。这样的设置能够合理保持系统满足实际使用需求,保证整体的运行稳定性和用户体验。
本发明通过采用基于策略的引擎自动调节机制,通过策略部署的对象化,在实现全面监测功能、高度灵活的基础上,还提供系统良好的体验,实现二次部署和维护时间减少90%以上。而在现有技术中,普遍存在手工+人工的参数调整,监测部署繁杂,通告配置复杂,适应能力差的缺点。本发明消除了监测系统的以上缺点,配合应用本专利产品的其他特点,使用户的监测工作基本匹配了需求,已经实现的采用本发明的装置可以部署到几乎任何使用TCP/IP系统运行监测环境。在有多个案例中,实现监测系统无人干预,报出顺畅,连续运行时间达到2年以上,监测数据近亿条。
以上所描述的仅仅是本发明较佳的实现方式,并不用以限定本发明的保护范围,任何等同的变化和修改皆应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于策略的自调节并发轮询监测装置,监测工作所有环节只需要一次部署,实现便捷维护,智能自动运行;基于策略的自调节并发轮询监测装置应用在监测引擎中,该装置包括:
配置引擎,配置监测策略的详细技术参数;
策略载入单元,接收并载入配置引擎发送的监测策略信息,所述监测策略信息包括监测策略的详细技术参数;具体的,首先需要在策略配置端输入监测策略的所有参数,通过加密协议通道向策略载入单元输入监测参数,策略载入单元根据处理逻辑对策略进行检查、过滤、排队,然后将参数注入到状态检索单元;
状态检索单元,执行策略,向受测对象发送和接收各类协议数据包,完成执行协议的交互;具体的,将策略载入单元注入的监测参数写入并发队列,发起监测会话;
监测引擎负责根据参数执行监测任务,策略参数带有监测引擎工作所需的所有参数;基于策略的监测引擎实现监测工作脱离运维人员的干预和管理,自动实时灵活的监测,包括监测规则是否自动进入睡眠期;
状态分析单元,将状态检索单元并发工作线程的结果分别进行收集处理,再发给后续处置与通告单元;
处置与通告单元,用于对状态分析单元的状态分析结果进行综合处置,并按通告策略进行通告;
生命控制单元,用于定期对状态检索单元的工作健康状态进行检查,生命控制单元根据监测线程的索引对每一线程进行状态检查,对于僵死和其他非正常状态进行按照算法的忽略、杀死或者强制置于特殊状态,动态释放资源,使系统工作始终处于正常运行状态;
调度控制单元,用于检查系统负载综合状态,以便为状态检索单元提供运行参数,调整状态检索单元的工作参数,从而实现设计目的;具体的,
根据采集的工作参数按照算法对状态检索单元的工作参数接口进行控制,以实现对状态检索单元工作节奏和强度压力进行动态实时调整;
实时跟踪监测系统综合负载,具体来说,服务器负载是由综合占用率乘以对应的预设权重后相加得到的;计算方法如下:
整合部署的服务器负载=引擎并发度*20%+CPU占用指数*20%+内存占用指数*30%+磁盘IO占用率*25%+网络IO占用率*5%;
保持内存和磁盘IO权重始终高于其他资源的权重,但同时保持内存和磁盘IO权重的总和不小于50%且不大于70%,这样的设置能够合理保持系统满足实际使用需求,保证整体的运行稳定性和用户体验。
2.根据权利要求1所述的装置,调度控制单元工作参数包括通信协议各项统计数据;通信协议各项统计数据包括:CPU占用指数、内存占用指数、网络IO占用率以及磁盘IO占用率。
3.一种基于策略的自调节并发轮询监测方法,监测工作所有环节只需要一次部署,实现便捷维护,智能自动运行;方法包括:
步骤1,配置引擎配置监测策略的详细技术参数;
步骤2,接收并载入配置引擎发送的监测策略信息,所述监测策略信息包括监控策略的详细技术参数;本步骤由策略载入单元执行;
首先需要在策略配置端输入监测策略的所有参数,通过加密协议通道向策略载入单元输入监测参数,策略载入单元根据处理逻辑对策略进行检查、过滤、排队,然后将参数注入到状态检索单元;
步骤3,状态检索单元,将策略载入单元注入的监测参数写入并发队列,发起监测会话;本步骤由状态检索单元执行;
监测引擎负责根据参数执行监测任务,策略参数带有监测引擎工作所需的所有参数;
基于策略的监测引擎实现监测工作脱离运维人员的干预和管理,自动实时灵活的监测,包括监测规则是否自动进入睡眠期;
步骤4,状态分析单元,将状态检索单元并发工作线程的结果分别进行收集处理,再发给后续处置与通告单元;本步骤由状态分析单元执行;
步骤5,处置与通告单元,用于对状态分析单元的状态分析结果进行综合处置,并按通告策略进行通告,本步骤由处置与通告单元执行;
步骤6,生命控制单元定期对状态检索单元的工作健康状态进行检查,生命控制单元根据监测线程的索引对每一线程进行状态检查,对于僵死和其他非正常状态进行按照算法的忽略、杀死或者强制置于特殊状态,本步骤由生命控制单元执行;
步骤7,检查系统的负载综合状态,以便为状态检索单元提供运行参数,调整状态检索单元的工作参数,从而实现系统稳定运行设计目的;本步骤由调度控制单元执行;
本步骤根据采集的工作参数按照算法对状态检索单元的工作参数接口进行控制,以实现对状态检索单元工作节奏和强度压力进行动态实时调整;
实时跟踪监测系统综合负载,具体来说,服务器负载是由综合占用率乘以对应的预设权重后相加得到的;计算方法如下:
整合部署的服务器负载=引擎并发度*20%+CPU占用指数*20%+内存占用指数*30%+磁盘IO占用率*25%+网络IO占用率*5%;
保持内存和磁盘权重始终高于其他资源的权重,但同时保持内存和磁盘IO权重的总和不小于50%且不大于70%,这样的设置能够合理保持系统满足实际使用需求,保证整体的运行稳定性和用户体验。
4.根据权利要求3所述的方法,调度控制单元工作参数包括通信协议各项统计数据;通信协议各项统计数据包括:CPU占用指数、内存占用指数、网络IO占用率以及磁盘IO占用率。
CN201310129435.1A 2013-04-15 2013-04-15 一种基于策略的自调节并发轮询监测方法和装置 Expired - Fee Related CN104104536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310129435.1A CN104104536B (zh) 2013-04-15 2013-04-15 一种基于策略的自调节并发轮询监测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310129435.1A CN104104536B (zh) 2013-04-15 2013-04-15 一种基于策略的自调节并发轮询监测方法和装置

Publications (2)

Publication Number Publication Date
CN104104536A CN104104536A (zh) 2014-10-15
CN104104536B true CN104104536B (zh) 2018-08-17

Family

ID=51672360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310129435.1A Expired - Fee Related CN104104536B (zh) 2013-04-15 2013-04-15 一种基于策略的自调节并发轮询监测方法和装置

Country Status (1)

Country Link
CN (1) CN104104536B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980968A (zh) * 2015-06-19 2015-10-14 饶品魁 一种基于LTE-A网络的CoMP监测方法
CN104936216A (zh) * 2015-06-19 2015-09-23 饶品魁 一种基于LTE-A网络的CoMP监测系统
CN106897192B (zh) * 2017-02-27 2020-08-25 苏州浪潮智能科技有限公司 一种基于延时分类的监控插件控制方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521604A (zh) * 2009-04-03 2009-09-02 南京邮电大学 基于策略的分布式性能监测方法
CN101695034A (zh) * 2009-10-09 2010-04-14 清华大学 一种web服务监控参数的调整装置和方法
CN102238195A (zh) * 2011-08-11 2011-11-09 成都勤智数码科技有限公司 一种应用系统运行监控方法
CN102497292A (zh) * 2011-11-30 2012-06-13 中国科学院微电子研究所 计算机集群监控的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521604A (zh) * 2009-04-03 2009-09-02 南京邮电大学 基于策略的分布式性能监测方法
CN101695034A (zh) * 2009-10-09 2010-04-14 清华大学 一种web服务监控参数的调整装置和方法
CN102238195A (zh) * 2011-08-11 2011-11-09 成都勤智数码科技有限公司 一种应用系统运行监控方法
CN102497292A (zh) * 2011-11-30 2012-06-13 中国科学院微电子研究所 计算机集群监控的方法及系统

Also Published As

Publication number Publication date
CN104104536A (zh) 2014-10-15

Similar Documents

Publication Publication Date Title
CN103166933B (zh) 一种数据安全交换系统及方法
Kolenc et al. Performance evaluation of a virtual power plant communication system providing ancillary services
CN102882745B (zh) 一种用于监控业务服务器的方法和装置
US20050283788A1 (en) Autonomic monitoring in a grid environment
CN102122374A (zh) 电力自动化系统流量异常智能分析系统
CN102196373B (zh) 一种短信告警系统及短信告警方法
CN104104536B (zh) 一种基于策略的自调节并发轮询监测方法和装置
CN105159816A (zh) 一种降低设备功耗的方法、移动终端及系统
CN106202444A (zh) 一种数据库运维监控的实现方法
CN103391425B (zh) 基于时分复用视频分析的监控智能化改造方法
CN108732413A (zh) 用电设备的告警方法及装置
CN101877618A (zh) 基于无代理方式进行监控的方法、服务器及系统
CN108989463B (zh) 一种数据处理方法和装置
CN106790706A (zh) 一种数据资源优化的方法、平台及系统
CN105224435A (zh) 数据运维监控方法及装置
CN104503894A (zh) 分布式服务器状态实时监测系统及方法
CN106357469A (zh) 一种资源监控模式的动态调整方法和装置
CN103150241A (zh) 多服务器状态监控管理系统和方法
CN109710381A (zh) 高性能计算、大数据、虚拟化特殊容器管理系统及方法
CN115016923A (zh) 基于边缘网关的物联网数据智能处理方法
CN113672934A (zh) 一种安全漏洞扫描系统及方法、终端、存储介质
CN114745606A (zh) 基于规则调度的弹性伸缩工业数据采集系统及方法
Colombo et al. Towards self-adaptive peer-to-peer monitoring for fog environments
CN106341474B (zh) 一种基于icn与sdn网络的资料管控中心及其内容管理方法
CN114007149B (zh) 电力系统的监测方法、装置、系统、存储介质及处理器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180817