CN106502856B - 一种信息处理方法及装置 - Google Patents
一种信息处理方法及装置 Download PDFInfo
- Publication number
- CN106502856B CN106502856B CN201510564811.9A CN201510564811A CN106502856B CN 106502856 B CN106502856 B CN 106502856B CN 201510564811 A CN201510564811 A CN 201510564811A CN 106502856 B CN106502856 B CN 106502856B
- Authority
- CN
- China
- Prior art keywords
- acquisition
- monitoring
- data
- mode
- acquisition mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种信息处理方法,包括:利用存储的配置信息中的监控模型,将监控目标拆分成至少一个监控元素;所述存储的配置信息为根据监控模型及历史采集数据的方式实时更新的配置信息;根据配置信息中的历史数据的采集方式,为所述至少一个监控元素匹配对应的采集方式;利用匹配的采集方式,采集所述至少一个监控元素对应的监控数据;利用采集的监控元素对应的监控数据,并结合所述监控模型,获得所述监控目标对应的数据。本发明同时还公开了一种信息处理装置。
Description
技术领域
本发明涉及监控技术,尤其涉及一种信息处理方法及装置。
背景技术
传统数据中心的监控方案多是面向数据中心的运维人员,预先设定监控数据范围,需要在系统开发阶段或运行后期对所有监控对象,采集方式做好配置后进行采集和使用。
而在云数据中心和云监控服务提供的场景下,监控服务的对象不仅仅是云平台本身的管理维护人员,更多的还将面向在云上承载的各类应用的用户。由于应用种类繁多,监控运维的关注点差异较大等原因,对监控对象的广泛度和自定义要求也更高。但是现有提供云监控的平台和产品只能按照某种预设的固定方式对监控数据进行采集,因此,这种采集方式需要人工参与且灵活性较差。
发明内容
为解决现有存在的技术问题,本发明实施例提供一种信息处理方法及装置。
为达到上述目的,本发明实施例的技术方案是这样实现的:
本发明实施例提供了一种信息处理方法,包括:
利用存储的配置信息中的监控模型,将监控目标拆分成至少一个监控元素;所述存储的配置信息为根据监控模型及历史采集数据的方式实时更新的配置信息;
根据配置信息中的历史数据的采集方式,为所述至少一个监控元素匹配对应的采集方式;
利用匹配的采集方式,采集所述至少一个监控元素对应的监控数据;
利用采集的监控元素对应的监控数据,并结合所述监控模型,获得所述监控目标对应的数据。
上述方案中,所述匹配的采集方式为至少两个,所述利用匹配的采集方式,采集所述至少一个监控元素对应的监控数据之前,所述方法还包括:
根据配置信息中的历史数据的采集方式的失败和成功反馈信息,获得所述至少两个采集方式中各采集方式的采集成功率;
利用获得的各采集方式的采集成功率,确定监控元素的采集方式;
相应地,利用确定的采集方式,采集对应监控元素的监控数据。
上述方案中,当利用确定的采集方式,采集监控数据失败时,所述方法还包括:
将采集对应监控数据失败的采集方式的失败反馈信息保存至所述配置信息中;或者,
将采集对应监控数据成功的采集方式的成功反馈信息保存至所述配置信息中。
上述方案中,当利用确定的采集方式,采集监控数据失败时,所述方法还包括:
根据获得的各采集方式的采集成功率,重新确定监控元素的采集方式;
相应地,利用重新确定的采集方式采集对应监控元素的监控数据。
上述方案中,为所述至少一个监控元素匹配对应的采集方式时,所述方法还包括:
确定所述至少一个监控元素对应的采集范围;
相应地,所述利用匹配的采集方式,采集所述至少一个监控元素对应的监控数据,包括:
向所述至少一个监控元素的采集范围对应的软件或设备推送安装采集数据的采集插件,通过安装的采集插件采集,采集对应的监控数据;所述推送安装的采集插件为与匹配的采集方式对应的采集插件。
上述方案中,所述方法还包括:
接收用户的操作;所述操作用于设置所述监控目标;
根据所述操作,确定所述监控目标。
本发明实施例又提供了一种信息处理装置,包括:采集信息自动适配模块及插件库管理模块;其中,
所述采集信息自动适配模块,用于利用存储的配置信息中的监控模型,将监控目标拆分成至少一个监控元素;并根据配置信息中的历史数据的采集方式,为所述至少一个监控元素匹配对应的采集方式;所述存储的配置信息为根据监控模型及历史采集数据的方式实时更新的配置信息;以及利用采集的监控元素对应的监控数据,并结合所述监控模型,获得所述监控目标对应的数据;
所述插件库管理模块,用于利用匹配的采集方式,采集所述至少一个监控元素对应的监控数据;并将采集的监控元素对应的监控数据发送给所述采集信息自动适配模块。
上述方案中,所述匹配的采集方式为至少两个,所述插件库管理模块,还用于根据配置信息中的历史数据的采集方式的失败和成功反馈信息,获得所述至少两个采集方式中各采集方式的采集成功率;并利用获得的各采集方式的采集成功率,确定监控元素的采集方式。
相应地,所述插件库管理模块用于利用确定的采集方式,采集对应监控元素的监控数据。
上述方案中,所述装置还包括:采集信息分析模块;其中,
所述插件库管理模块,用于当利用确定的采集方式,采集监控数据失败时,通知所述采集信息分析模块;或者,当利用确定的采集方式,采集监控数据成功时,通知所述采集信息分析模块;
所述采集信息分析模块,用于将采集对应监控数据失败的采集方式的失败反馈信息保存至所述配置信息中;或者,将采集对应监控数据失败的采集方式的成功反馈信息保存至所述配置信息中。
上述方案中,所述插件库管理模块,还用于当利用确定的采集方式,采集监控数据失败时,根据获得的各采集方式的采集成功率,重新确定监控元素的采集方式;
相应地,所述插件库管理模块利用重新确定的采集方式采集对应监控元素的监控数据。
上述方案中,所述采集信息自动适配模块,还用于为所述至少一个监控元素匹配对应的采集方式时,确定所述至少一个监控元素对应的采集范围;
相应地,所述插件库管理模块,用于向所述至少一个监控元素的采集范围对应的软件或设备推送安装采集数据的采集插件,通过安装的采集插件采集,采集对应的监控数据;所述推送安装的采集插件为与匹配的采集方式对应的采集插件。
上述方案中,所述采集信息自动适配模块,还用于接收用户的操作;所述操作用于设置所述监控目标;根据所述操作,确定所述监控目标。
本发明实施例提供的信息处理方法及装置,利用存储的配置信息中的监控模型,将监控目标拆分成至少一个监控元素;所述存储的配置信息为根据监控模型及历史采集数据的方式实时更新的配置信息;根据配置信息中的历史数据的采集方式,为所述至少一个监控元素匹配对应的采集方式;利用匹配的采集方式,采集所述至少一个监控元素对应的监控数据;利用采集的监控元素对应的监控数据,并结合所述监控模型,获得所述监控目标对应的数据。由于根据配置信息中的历史数据的采集方式,为所述至少一个监控元素匹配对应的采集方式,存储的配置信息为根据监控模型及历史采集数据的方式实时更新的配置信息,不需要人为参与,如此,提升了监控信息的自动化扩展能力和灵活性。
附图说明
在附图(其不一定是按比例绘制的)中,相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
图1为相关技术的监控系统架构示意图;
图2为本发明实施例一信息处理的方法流程示意图;
图3为本发明实施例关联关系生成示意图;
图4为本发明实施例二信息处理装置结构示意图;
图5为本发明实施例三监控系统架构示意图;
图6为本发明实施例三监控系统处理流程示意图;
图7为图1所示的监控系统处理流程示意图。
具体实施方式
下面结合附图及实施例对本发明再作进一步详细的描述。
在描述本发明实施例之前,先详细了解一下现有现网中实现监控数据采集的相关技术。
图1示出了现有的监控系统架构。如图1所示,现有的监控系统主要包括:客户端(client)、服务端(server)以及监控代理(agent)。其中,客户端主要面向用户或管理员,是监控对象、监控点、监控规则和监控方式配置的自定义监控信息收集端。服务端的功能主要是根据客户端层传递的监控配置信息进行代理分发的判断,所有监控配置信息存储在配置管理数据库(CMDB,Configuration Management Database)中。监控代理部署在监控对象端,例如运行应用软件的操作系统上,存储设备、网络设备(比如服务器等)等,用于按照监控规则采集监控对象数据。这里,对数据的采集方式可以通过标准的简单网络管理协议(SNMP,Simple Network Management Protocol)、安全外壳协议(SSH,Secure Shell)、智能平台管理接口(IPMI,Intelligent Platform Management Interface)、jboss-rule脚本框架等多种方式获取。
基于上述监控系统架构可以在一定程度上解决自定义监控信息采集的问题,但是仍然存在一些缺陷。具体表现在以下几个方面:
(1)对监控配置信息的配置人员提出了较高的要求;具体地,配置人员必须知道各种不同监控对象分别通过何种监控方式采集,或者在客户端自行配置监控收集脚本运行在监控代理中。
(2)服务端只是对定义好的监测项读取需要监控的设备资源信息后,按照预先定义的方式和规则生产相关的配置监控数据,便于代理层读取,缺乏对新加入设备或用户定义的新监控项进行自适应性监控配置信息的智能性产生和学习。
(3)监控代理需要预装在监控对象中,对新加入的设备或应用软件需要用户手动安装代理方可使用,对监控采集的扩展易用性有一定影响。
从上面的描述中可以看出,传统的监控系统架构所提供的采集方式需要人工参与且灵活性较差。同样,在云数据中心和云监控服务提供的场景下,现有提供云监控的平台和产品大都只局限于对用户提供在现有监控对象范围内的云监控服务少量提供自定义云监控的服务(例如阿里的云监控),也需要用户在自定义配置时明确监控的采集方式或自行按照平台服务方式自行编写监控数据采集脚本。
从上面的描述中可以看出,目前提供云监控的平台和产品只能按照某种预设的固定方式对监控数据进行采集,这种采集方式需要人工参与且灵活性较差。
基于此,在本发明的各种实施例中:利用存储的配置信息中的监控模型,将监控目标拆分成至少一个监控元素;所述存储的配置信息为根据监控模型及历史采集数据的方式实时更新的配置信息;根据配置信息中的历史数据的采集方式,为所述至少一个监控元素匹配对应的采集方式;利用匹配的采集方式,采集所述至少一个监控元素对应的监控数据;利用采集的监控元素对应的监控数据,并结合所述监控模型,获得所述监控目标对应的数据。
实施例一
本实施例信息处理的方法,如图2所示,包括以下步骤:
步骤201:利用存储的配置信息中的监控模型,将监控目标拆分成至少一个监控元素;
这里,所述存储的配置信息为根据监控模型及历史采集数据的方式实时更新的配置信息。
在执行本步骤之前,该方法还可以包括:
接收用户的操作;所述操作用于设置所述监控目标;
根据所述操作,确定所述监控目标。
其中,用户通过门户设置需要监控的监控目标信息。设置的监控目标可以是一个单监控元素,也可以是由至少两个监控元素组成,此时的监控目标可以称为组合监控目标。
这里,所述一个监控元素是指能够通过对于单一云服务提供的IaaS基础设施资源的采集获取到的基础数据。举个例子来说,某个或某几个云主机的中央处理器(CPU,Central Processing Unit)利用率、内存利用率、或某进程的利用率等可以称为一个监控元素。一个监控元素具有采集的独立性、单一性,不需要复杂运算即可获得对应的监控数据。实际应用时,用户不需要设置监控元素所对应的采集方式。
组合监控目标是指需要对多个监控元素进行组合计算而获得的监控目标。举个例子来说,用户关心的某网站的页面浏览量(PV,Page View)/用户浏览量(UV,User View)、或数据中心管理员关心的功率使用效率(PUE,Power Usage Effectiveness)等可以称为组合监控目标。其中,PUE=机房整体能耗/IT设备整体能耗。为计算PUE,实际需要收集的监控元素包括很多,比如数据中心的制冷设备、加湿设备、UPS损失等机房基础设施的功耗,以及所有服务器、存储设备等IT设备的整体实际功耗。对于组合监控目标,不需要用户自行定义监控模型(也可以称为计算模型)和采集方式,换句话说,不需要用户手动去配置组合监控目标对应的监控模型和采集方式等配置信息,只需输入需要监控的目标即可。
由于设置监控目标时,不需要用户手动去配置监控目标对应的监控模型和采集方式等配置信息,设置的复杂度大大降低,同时也不需要用户或管理员去深入了解监控目标的底层采集方式,降低了对用户或管理员的使用要求,提升了用户体验。
步骤202:根据配置信息中的历史数据的采集方式,为所述至少一个监控元素匹配对应的采集方式;
这里,实际应用时,将监控目标拆分成至少一个监控元素时,该方法还可以包括:
确定所述至少一个监控元素对应的采集范围。
实际应用时,如图3所示,利用存储的配置信息中的监控模型,将监控目标拆分成至少一个监控元素后,通过对采集信息分析知识库的配置信息的分析,将监控元素映射到采集点,确定所述至少一个监控元素对应的采集范围,并根据历史数据的采集方式为每个监控元素进行采集方式的匹配,最终生成监控目标的一个或一组采集三元组{采集点,采集范围,采集方式}。
这里,采集点是指:需要获取的具体监控值,即监控元素信息,如CPU利用率;采集范围是指获取该采集点的监控规模,如某服务器集群或某网站;采集方式(也可以称为采集通道)是指获取对应监控数据的可能的采集方式,如SSH方式、IPMI或监控cookie日志等。其中,采集方式涉及对监控代理插件库的管理。
举个例子来说,假设监控目标为PV值,其是一个组合监控目标,通过配置信息中的监控模型,可以将监控目标拆分成如表1所示的两个监控元素,分别是:独立访问的IP数量、以及被打开的页面数量。
表1
通过对采集信息分析知识库的配置信息的分析,将监控元素映射到采集点,确定拆分的两个监控元素对应的采集范围,并根据历史数据的采集方式为每个监控元素进行采集方式的匹配,最终生成如表2所示的监控目标的两个采集三元组{采集点,采集范围,采集方式},最终生成的采集三元组组成采集关联关系。
表2
步骤203:利用匹配的采集方式,采集所述至少一个监控元素对应的监控数据。
这里,在一实施例中,所述匹配的采集方式为至少两个,所述利用匹配的采集方式,采集所述至少一个监控元素对应的监控数据之前,该方法还可以包括:
根据配置信息中的历史数据的采集方式的失败反馈信息和成功反馈信息,获得所述至少两个采集方式中各采集方式的采集成功率;
利用获得的各采集方式的采集成功率,确定监控元素的采集方式;
相应地,利用确定的采集方式,采集对应监控元素的监控数据。
所述利用匹配的采集方式,采集所述至少一个监控元素对应的监控数据,具体包括:
向所述至少一个监控元素的采集范围对应的软件或设备推送安装采集数据的采集插件,通过安装的采集插件采集,采集对应的监控数据;所述推送安装的采集插件为与匹配的采集方式对应的采集插件。
这里,实际应用时,采集关联关系产生后,当监控元素匹配出的采集方式有至少两个时,会从匹配出的至少两个采集方式中优选一个采集方式,并自动向监控元素的采集范围对应的软件或设备推送采集监控数据的必备的采集插件,并进行采集插件(即采集目标监控代理)的自动化安装。
相应地,当所有设备或软件接入云监控系统时,其后台均会启动一个监听进程,该监听进程负责时刻接收和安装新增采集插件指令,打开相应采集插件所需的端口和通道信息,以便进行监控数据的采集。
这里,每台设备或软件的不同采集插件(采集目标监控代理)是可以叠加安装的,已安装过的相同采集插件(采集目标监控代理)不需要重复安装。
其中,监控插件管理会记录所有采集插件已在哪些设备或软件启动,安装的版本信息等,据此确定哪些设备或软件需要推送相应的采集插件。
实际应用时,当利用确定的采集方式采集监控数据成功后,会在配置信息中保存该采集方式采集对应监控数据的成功反馈信息,以实时更新配置信息,从而在后续处理过程中提高监控数据采集的准确性。
如果推送的采集插件安装失败,导致无法采集到目标采集点的监控数据,则会在配置信息中保存该采集方式采集对应监控数据的失败反馈信息,以实时更新配置信息,从而在后续处理过程中提高监控数据采集的准确性。
基于此,当利用确定的采集方式,采集监控数据失败时,该方法还可以包括:
将采集对应监控数据失败的采集方式的失败反馈信息保存至所述配置信息中;或者,
将采集对应监控数据成功的采集方式的成功反馈信息保存至所述配置信息中。
当利用确定的采集方式,采集监控数据失败时,根据获得的各采集方式的采集成功率,重新确定监控元素的采集方式;
相应地,利用重新确定的采集方式采集对应监控元素的监控数据。
对于上述例子,对于打开的页面数据量这个采集点,当根据配置信息中通道1和通道2历史采集打开的页面数据量的失败反馈信息和成功反馈信息,获得通道1和通道2对应的采集成功率后,假设通道1的采集成功率高于通道1的采集成功率,因此,优先选择通道1作为打开的页面数量这个监控元素的采集方式,并自动向打开的页面数量这个监控元素的采集范围对应的或设备推送安装通道1对应的采集插件,如果推送的采集插件安装失败,导致无法采集到目标采集点的监控数据,则会选择通道2作为打开的页面数量这个监控元素的采集方式,并自动向打开的页面数量这个监控元素的采集范围对应的或设备推送安装通道2对应的采集插件。
步骤204:利用采集的监控元素对应的监控数据,并结合所述监控模型,获得所述监控目标对应的数据。
这里,根据所述监控模型,将采集的监控元素对应的监控数据进行逻辑计算,从而获得监控目标对应的数据。
本实施例提供的信息处理方法,利用存储的配置信息中的监控模型,将监控目标拆分成至少一个监控元素;所述存储的配置信息为根据监控模型及历史采集数据的方式实时更新的配置信息;根据配置信息中的历史数据的采集方式,为所述至少一个监控元素匹配对应的采集方式;利用匹配的采集方式,采集所述至少一个监控元素对应的监控数据;利用采集的监控元素对应的监控数据,并结合所述监控模型,获得所述监控目标对应的数据。由于根据配置信息中的历史数据的采集方式,为所述至少一个监控元素匹配对应的采集方式,存储的配置信息为根据监控模型及历史采集数据的方式实时更新的配置信息,不需要人为参与,如此,提升了监控信息的自动化扩展能力和灵活性。
另外,接收用户的操作;所述操作用于设置所述监控目标;根据所述操作,确定所述监控目标,用户只需要设置监控目标即可,不需要用户手动去配置监控目标对应的监控模型和采集方式等配置信息,如此,设置的复杂度大大降低,简化了用户配置,提升了用户体验。同时也不需要用户或管理员去深入了解监控目标的底层采集方式,降低了对用户或管理员的使用要求。
向所述至少一个监控元素的采集范围对应的软件或设备推送安装采集数据的采集插件,通过安装的采集插件采集,采集对应的监控数据;所述推送安装的采集插件为与匹配的采集方式对应的采集插件,通过智能化地自动推送,提升了监控信息按需完善能力,灵活性强。
实施例二
为实现本发明实施例的方法,本实施例提供了一种信息处理装置,如图4所示,该装置包括:采集信息自动适配模块41及插件库管理模块42;其中,
所述采集信息自动适配模块41,用于利用存储的配置信息中的监控模型,将监控目标拆分成至少一个监控元素;并根据配置信息中的历史数据的采集方式,为所述至少一个监控元素匹配对应的采集方式;所述存储的配置信息为根据监控模型及历史采集数据的方式实时更新的配置信息;以及利用采集的监控元素对应的监控数据,并结合所述监控模型,获得所述监控目标对应的数据;
所述插件库管理模块42,用于利用匹配的采集方式,采集所述至少一个监控元素对应的监控数据;并将采集的监控元素对应的监控数据发送给所述采集信息自动适配模块。
其中,所述采集信息自动适配模块41,还用于接收用户的操作;所述操作用于设置所述监控目标;根据所述操作,确定所述监控目标。
这里,用户通过门户设置需要监控的监控目标信息。设置的监控目标可以是一个单监控元素,也可以是由至少两个监控元素组成,此时的监控目标可以称为组合监控目标。
这里,所述一个监控元素是指能够通过对于单一云服务提供的IaaS基础设施资源的采集获取到的基础数据。举个例子来说,某个或某几个云主机的CPU利用率、内存利用率、或某进程的利用率等可以称为一个监控元素。一个监控元素具有采集的独立性、单一性,不需要复杂运算即可获得对应的监控数据。实际应用时,用户不需要设置监控元素所对应的采集方式。
组合监控目标是指需要对多个监控元素进行组合计算而获得的监控目标。举个例子来说,用户关心的某网站的PV/UV、或数据中心管理员关心的PUE等可以称为组合监控目标。其中,PUE=机房整体能耗/IT设备整体能耗。为计算PUE,实际需要收集的监控元素包括很多,比如数据中心的制冷设备、加湿设备、UPS损失等机房基础设施的功耗,以及所有服务器、存储设备等IT设备的整体实际功耗。对于组合监控目标,不需要用户自行定义监控模型(也可以称为计算模型)和采集方式,换句话说,不需要用户手动去配置组合监控目标对应的监控模型和采集方式等配置信息,只需输入需要监控的目标即可。
由于设置监控目标时,不需要用户手动去配置监控目标对应的监控模型和采集方式等配置信息,设置的复杂度大大降低,同时也不需要用户或管理员去深入了解监控目标的底层采集方式,降低了对用户或管理员的使用要求,提升了用户体验。
所述采集信息自动适配模块41,还用于为所述至少一个监控元素匹配对应的采集方式时,确定所述至少一个监控元素对应的采集范围;
相应地,所述插件库管理模块42,用于向所述至少一个监控元素的采集范围对应的软件或设备推送安装采集数据的采集插件,通过安装的采集插件采集,采集对应的监控数据;所述推送安装的采集插件为与匹配的采集方式对应的采集插件。
在一实施例中,所述匹配的采集方式为至少两个,所述插件库管理模块42,还用于根据配置信息中的历史数据的采集方式的失败反馈信息和成功反馈信息,获得所述至少两个采集方式中各采集方式的采集成功率;并利用获得的各采集方式的采集成功率,确定监控元素的采集方式。
相应地,所述插件库管理模块42利用确定的采集方式,采集对应监控元素的监控数据。
实际应用时,如图3所示,所述采集信息自动适配模块41利用存储的配置信息中的监控模型,将监控目标拆分成至少一个监控元素后,通过对采集信息分析知识库的配置信息的分析,将监控元素映射到采集点,确定所述至少一个监控元素对应的采集范围,并根据历史数据的采集方式为每个监控元素进行采集方式的匹配,最终生成监控目标的一个或一组采集三元组{采集点,采集范围,采集方式}。
这里,采集点是指:需要获取的具体监控值,即监控元素信息,如CPU利用率;采集范围是指获取该采集点的监控规模,如某服务器集群或某网站;采集方式(也可以称为采集通道)是指获取对应监控数据的可能的采集方式,如SSH方式、IPMI或监控cookie日志等。其中,采集方式涉及对监控代理插件库的管理。
举个例子来说,假设监控目标为PV值,其是一个组合监控目标,所述采集信息自动适配模块41通过配置信息中的监控模型,可以将监控目标拆分成如表1所示的两个监控元素,分别是:独立访问的IP数量、以及被打开的页面数量。
通过对采集信息分析知识库的配置信息的分析,所述采集信息自动适配模块41将监控元素映射到采集点,确定拆分的两个监控元素对应的采集范围,并根据历史数据的采集方式为每个监控元素进行采集方式的匹配,最终生成如表2所示的监控目标的两个采集三元组{采集点,采集范围,采集方式},最终生成的采集三元组组成采集关联关系。
这里,实际应用时,采集关联关系产生后,当监控元素匹配出的采集方式有至少两个时,所述插件库管理模块42会从匹配出的至少两个采集方式中优选一个采集方式,并自动向监控元素的采集范围对应的软件或设备推送采集监控数据的必备的采集插件,并进行采集插件(即采集目标监控代理)的自动化安装。
相应地,当所有设备或软件接入云监控系统时,其后台均会启动一个监听进程,该监听进程负责时刻接收和安装新增采集插件指令,打开相应采集插件所需的端口和通道信息,以便进行监控数据的采集。
这里,每台设备或软件的不同采集插件(采集目标监控代理)是可以叠加安装的,已安装过的相同采集插件(采集目标监控代理)不需要重复安装。
其中,所述插件库管理模块42会记录所有采集插件已在哪些设备或软件启动,安装的版本信息等,据此确定哪些设备或软件需要推送相应的采集插件。
实际应用时,当利用确定的采集方式采集监控数据成功后,会在配置信息中保存该采集方式采集对应监控数据的成功反馈信息,以实时更新配置信息,从而在后续处理过程中提高监控数据采集的准确性。
如果推送的采集插件安装失败,导致无法采集到目标采集点的监控数据,则会在配置信息中保存该采集方式采集对应监控数据的失败反馈信息,以实时更新配置信息,从而在后续处理过程中提高监控数据采集的准确性。
基于此,该装置还可以包括:采集信息模块;其中,
所述插件库管理模块42,用于当利用确定的采集方式,采集监控数据失败时,通知所述采集信息分析模块;或者,当利用确定的采集方式,采集监控数据成功时,通知所述采集信息模块;
所述采集信息模块,用于将采集对应监控数据失败的采集方式的失败反馈信息保存至所述配置信息中;或者,将采集对应监控数据失败的采集方式的成功反馈信息保存至所述配置信息中。
所述插件库管理模块42,还用于当利用确定的采集方式,采集监控数据失败时,根据获得的各采集方式的采集成功率,重新确定监控元素的采集方式;
相应地,所述插件库管理模块42利用重新确定的采集方式采集对应监控元素的监控数据。
对于上述例子,对于打开的页面数据量这个采集点,当所述插件库管理模块42根据配置信息中通道1和通道2历史采集打开的页面数据量的失败反馈信息和成功反馈信息,获得通道1和通道2对应的采集成功率后,假设通道1的采集成功率高于通道1的采集成功率,因此,所述插件库管理模块42优先选择通道1作为打开的页面数量这个监控元素的采集方式,并自动向打开的页面数量这个监控元素的采集范围对应的或设备推送安装通道1对应的采集插件,如果推送的采集插件安装失败,导致无法采集到目标采集点的监控数据,则所述插件库管理模块42会选择通道2作为打开的页面数量这个监控元素的采集方式,并自动向打开的页面数量这个监控元素的采集范围对应的或设备推送安装通道2对应的采集插件。
所述采集信息自动适配模块41根据所述监控模型,将采集的监控元素对应的监控数据进行逻辑计算,从而获得监控目标对应的数据。
实际应用时,所述采集信息自动适配模块41可由信息处理装置中的CPU、微处理器(MCU,Micro Control Unit)、数字信号处理器(DSP,Digital Signal Processor)或可编程逻辑阵列(FPGA,Field-Programmable Gate Array)实现;所述插件库管理模块42可由信息处理装置中的CPU、MCU、DSP或FPGA结合通信芯片实现;所述采集信息模块可由信息处理装置中的CPU、MCU、DSP或FPGA实现。
本实施例提供的信息处理装置,所述采集信息自动适配模块41利用存储的配置信息中的监控模型,将监控目标拆分成至少一个监控元素;所述存储的配置信息为根据监控模型及历史采集数据的方式实时更新的配置信息;根据配置信息中的历史数据的采集方式,为所述至少一个监控元素匹配对应的采集方式;所述插件库管理模块42利用匹配的采集方式,采集所述至少一个监控元素对应的监控数据;所述采集信息自动适配模块41利用采集的监控元素对应的监控数据,并结合所述监控模型,获得所述监控目标对应的数据。由于根据配置信息中的历史数据的采集方式,为所述至少一个监控元素匹配对应的采集方式,存储的配置信息为根据监控模型及历史采集数据的方式实时更新的配置信息,不需要人为参与,如此,提升了监控信息的自动化扩展能力和灵活性。
另外,所述采集信息自动适配模块41接收用户的操作;所述操作用于设置所述监控目标;根据所述操作,确定所述监控目标,用户只需要设置监控目标即可,不需要用户手动去配置监控目标对应的监控模型和采集方式等配置信息,如此,设置的复杂度大大降低,简化了用户配置,提升了用户体验。同时也不需要用户或管理员去深入了解监控目标的底层采集方式,降低了对用户或管理员的使用要求。
所述插件库管理模块42向所述至少一个监控元素的采集范围对应的软件或设备推送安装采集数据的采集插件,通过安装的采集插件采集,采集对应的监控数据;所述推送安装的采集插件为与匹配的采集方式对应的采集插件,通过智能化地自动推送,提升了监控信息按需完善能力,灵活性强。
实施例三
本实施例在实施例一、二的基础上,详细描述实际应用时实现本发明实施例方案的监控系统架构及监控系统中各单元的处理过程。
图5为本实施例的监控系统架构示意图。如图5所示,该监控系统主要包括:客户端(client)、服务端(server)以及监控代理(agent)。其中,
用户和管理员均可通过客户端(在门户)设置需要监控的目标信息。设置的方式包括单监控元素和组合监控对象。
服务端包括采集信息自动适配模块和插件库管理模块,服务端提供智能化的监控数据采集过程。具体地,采集信息自动适配模块收到用户设置的监控目标后,利用采集信息分析知识库中的配置信息,对监控目标进行配置信息的关联关系计算,然后由插件库管理模块优选一个采集方式,并自动向监控元素的采集范围对应的软件或设备推送采集监控数据的必备的采集插件,并进行采集插件(即监控代理)的自动化安装,通过安装的采集插件(监控代理)来采集对应的监控数据。
这里,生成监控目标的一个或一组采集三元组{采集点,采集范围,采集方式}(即采集三元组组成的关联关系)所需的配置信息保存在采集信息分析知识库中;而其他配置管理数据仍然保存在CMDB中。换句话说,本实施例中CMDB中保存的数据与现有CMDB保存的数据完全相同。
其中,采集信息分析知识库中的监控模型库可以随着后台配置和用户的自定义需求不断丰富;采集信息分析知识库中的数据也可以根据插件库管理模块反馈的成功和失败反馈信息不断完善,从而提高数据的精准性。
结合图5,本实施例智能采集云监控的处理流程,如图6所示,包括以下步骤:
步骤601:用户通过客户端选择监控目标,客户端将选择的监控目标发送给服务端;
这里,选择的监控目标可以是已有的监控目标,也可以是新的监控目标;其中,所述已有的监控目标是指:之前已经选择过的监控目标;相应地,所述新的监控目标是指:之前未选择过的监控目标。
步骤602:服务端收到用户选择的监控目标后,服务端的采集信息自动适配模块根据采集信息分析知识库中存储的配置信息对监控目标进行配置信息的关联关系计算,从而产生采集关联关系;
具体地,采集信息自动适配模块通过采集信息分析知识库中存储的配置信息中的监控模型,将监控目标拆分成至少一个监控元素,并通过对配置信息的分析,将监控元素映射到采集点,确定所述至少一个监控元素对应的采集范围,并根据历史数据的采集方式为每个监控元素进行采集方式的匹配,最终生成监控目标的一个或一组采集三元组{采集点,采集范围,采集方式}。
步骤603:服务端的插件库管理模块根据采集关联关系中的采集方式,向监控元素的采集范围对应的软件或设备推送采集监控数据的必备的采集插件,并进行采集插件(即监控代理)的自动化安装;
这里,如果推送的采集插件安装失败时,会推送新的采集插件。
当监控元素匹配出的采集方式有至少两个时,所述插件库管理模块会从匹配出的至少两个采集方式中优选一个采集方式,并自动向监控元素的采集范围对应的软件或设备推送采集监控数据的必备的采集插件,并进行采集插件(即采集目标监控代理)的自动化安装。
相应地,当所有设备或软件接入云监控系统时,其后台均会启动一个监听进程,该监听进程负责时刻接收和安装新增采集插件指令,打开相应采集插件所需的端口和通道信息,以便进行监控数据的采集。
这里,每台设备或软件的不同采集插件(采集目标监控代理)是可以叠加安装的,已安装过的相同采集插件(采集目标监控代理)不需要重复安装。
其中,所述插件库管理模块42会记录所有采集插件(采集目标监控代理)已在哪些设备或软件启动,安装的版本信息等,据此确定哪些设备或软件需要推送相应的采集插件。
步骤604:服务端向监控代理发送订阅监控数据的通知;
步骤605:监控代理收到通知后,采集相应的监控数据,并向服务端反馈采集成功结果;
步骤606:服务端向客户端反馈监控目标对应的查询结果,并将配置信息相关的信息保存至采集信息分析知识库中,并将获得的监控数据(对应的配置管理数据)保存至CMDB中。
这里,服务端收到监控代理反馈的采集成功结果后,利用获得的监控数据,并结合监控模型,进行逻辑计算,从而获得监控目标对应的查询结果。
而对于图1所示的监控系统,各单元的处理流程,如图7所示,包括以下步骤:
步骤701:用户通过客户端选择监控目标,客户端将选择的监控目标发送给服务端;
步骤702:服务端根据预先存储在CMDB中与所述监控目标对应的监控数据的采集方式,获得采集方式;
这里,用户可以通过客户端先配置所述监控目标对应监控数据的采集方式,并存储至DMDB中。
步骤703:服务端向采集方式对应的监控代理发送订阅监控数据的通知;
这里,需要预先配置好所述监控目标对应的所有监控代理,可以通过手动或预先安装好所述监控目标对应的所有监控代理。
步骤704:监控代理收到通知后,采集相应的监控数据,并向服务端反馈采集成功结果;
步骤705:服务端向客户端反馈监控目标对应的查询结果,并将获得监控数据(对应的配置管理数据)保存至CMDB中。
从上面的描述中可以看出,本发明实施例提供的方案是一种智能监控方案,在云环境和大数据分析的场景下,用户的监控目标和范围日渐复杂,在满足用户自定义监控目标的前提下,本发明实施例的方案不再需要在客户端配置和发送监控代理和监控目标之间的关联关系,而是由服务端通过设备接入、历史相关性数据采集方式和采集信息分析知识库里数据的积累,自行推算和学习到监控目标对应的监控数据的采集方式,通过简化了用户配置;同时,通过服务端的智能化自动推送监控代理的方式提升了监控信息的自动化扩展能力和按需完善能力。
其中,对于新接入的设备,通过历史性数据的采集方式和采集信息分析知识库里数据的积累进行采集方式的自适应学习。自适应学习具体可以是:对采集信息分析知识库中记录的同类型设备、同品牌设备、相似采集对象等信息进行最大相似度匹配等。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (12)
1.一种信息处理方法,其特征在于,所述方法包括:
利用存储的配置信息中的监控模型,将监控目标拆分成至少一个监控元素;所述存储的配置信息为根据监控模型及历史采集数据的方式实时更新的配置信息;
将每个监控元素映射到采集点;根据配置信息中的历史数据的采集方式,为所述每个监控元素匹配对应的至少一种采集方式;每种采集方式对应一个通道;所述采集点为待获取的监控值;
利用匹配的至少一个通道,采集所述每个监控元素对应的采集点的监控数据;
利用采集的监控元素对应的采集点的监控数据,并结合所述监控模型,获得所述监控目标对应的数据。
2.根据权利要求1所述的方法,其特征在于,所述匹配的采集方式为至少两个,所述利用匹配的至少一个通道,采集所述每个监控元素对应的采集点的监控数据之前,所述方法还包括:
根据配置信息中的历史数据的采集方式的失败和成功反馈信息,获得所述至少两个采集方式中各采集方式的采集成功率;
利用获得的各采集方式的采集成功率,确定监控元素的采集方式;
相应地,利用确定的采集方式,采集对应监控元素的监控数据。
3.根据权利要求2所述的方法,其特征在于,当利用确定的采集方式,采集监控数据失败时,所述方法还包括:
将采集对应监控数据失败的采集方式的失败反馈信息保存至所述配置信息中;或者,
将采集对应监控数据成功的采集方式的成功反馈信息保存至所述配置信息中。
4.根据权利要求3所述的方法,其特征在于,当利用确定的采集方式,采集监控数据失败时,所述方法还包括:
根据获得的各采集方式的采集成功率,重新确定监控元素的采集方式;
相应地,利用重新确定的采集方式采集对应监控元素的监控数据。
5.根据权利要求1至4任一项所述的方法,其特征在于,为所述至少一个监控元素匹配对应的采集方式时,所述方法还包括:
确定所述至少一个监控元素对应的采集范围;
相应地,所述利用匹配的至少一个通道,采集所述每个监控元素对应的采集点的监控数据,包括:
向所述至少一个监控元素的采集范围对应的软件或设备推送安装采集数据的采集插件,通过安装的采集插件采集,采集对应的监控数据;所述推送安装的采集插件为与匹配的采集方式对应的采集插件。
6.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:
接收用户的操作;所述操作用于设置所述监控目标;
根据所述操作,确定所述监控目标。
7.一种信息处理装置,其特征在于,所述装置包括:采集信息自动适配模块及插件库管理模块;其中,
所述采集信息自动适配模块,用于利用存储的配置信息中的监控模型,将监控目标拆分成至少一个监控元素;并将每个监控元素映射到采集点;根据配置信息中的历史数据的采集方式,为所述每个监控元素匹配对应的至少一种采集方式;每种采集方式对应一个通道;所述存储的配置信息为根据监控模型及历史采集数据的方式实时更新的配置信息;以及利用采集的监控元素对应的采集点的监控数据,并结合所述监控模型,获得所述监控目标对应的数据;所述采集点为待获取的监控值;
所述插件库管理模块,用于利用匹配的至少一个通道,采集所述每个监控元素对应的采集点的监控数据;并将采集的监控元素对应的采集点的监控数据发送给所述采集信息自动适配模块。
8.根据权利要求7所述的装置,其特征在于,所述匹配的采集方式为至少两个,所述插件库管理模块,还用于根据配置信息中的历史数据的采集方式的失败和成功反馈信息,获得所述至少两个采集方式中各采集方式的采集成功率;并利用获得的各采集方式的采集成功率,确定监控元素的采集方式;
相应地,所述插件库管理模块用于利用确定的采集方式,采集对应监控元素的监控数据。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:采集信息分析模块;其中,
所述插件库管理模块,用于当利用确定的采集方式,采集监控数据失败时,通知所述采集信息分析模块;或者,当利用确定的采集方式,采集监控数据成功时,通知所述采集信息分析模块;
所述采集信息分析模块,用于将采集对应监控数据失败的采集方式的失败反馈信息保存至所述配置信息中;或者,将采集对应监控数据失败的采集方式的成功反馈信息保存至所述配置信息中。
10.根据权利要求9所述的装置,其特征在于,所述插件库管理模块,还用于当利用确定的采集方式,采集监控数据失败时,根据获得的各采集方式的采集成功率,重新确定监控元素的采集方式;
相应地,所述插件库管理模块利用重新确定的采集方式采集对应监控元素的监控数据。
11.根据权利要求7至10任一项所述的装置,其特征在于,所述采集信息自动适配模块,还用于为所述至少一个监控元素匹配对应的采集方式时,确定所述至少一个监控元素对应的采集范围;
相应地,所述插件库管理模块,用于向所述至少一个监控元素的采集范围对应的软件或设备推送安装采集数据的采集插件,通过安装的采集插件采集,采集对应的监控数据;所述推送安装的采集插件为与匹配的采集方式对应的采集插件。
12.根据权利要求7至10任一项所述的装置,其特征在于,所述采集信息自动适配模块,还用于接收用户的操作;所述操作用于设置所述监控目标;根据所述操作,确定所述监控目标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510564811.9A CN106502856B (zh) | 2015-09-07 | 2015-09-07 | 一种信息处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510564811.9A CN106502856B (zh) | 2015-09-07 | 2015-09-07 | 一种信息处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106502856A CN106502856A (zh) | 2017-03-15 |
CN106502856B true CN106502856B (zh) | 2019-10-22 |
Family
ID=58287289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510564811.9A Active CN106502856B (zh) | 2015-09-07 | 2015-09-07 | 一种信息处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106502856B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108874623A (zh) * | 2018-05-31 | 2018-11-23 | 郑州云海信息技术有限公司 | 分布式集群性能监控方法、装置、设备、系统及存储介质 |
CN111158768A (zh) * | 2019-12-25 | 2020-05-15 | 浪潮商用机器有限公司 | 一种服务器开关机控制方法、装置、设备及存储介质 |
CN116136801B (zh) * | 2021-11-12 | 2024-02-23 | 中国联合网络通信集团有限公司 | 云平台的数据处理方法、装置、电子设备及存储介质 |
CN114785683A (zh) * | 2022-04-22 | 2022-07-22 | 中国电信股份有限公司 | 一种数据处理方法、采集系统及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101634991A (zh) * | 2009-04-21 | 2010-01-27 | 上海申瑞电力科技股份有限公司 | 数据采集与监视控制系统的遥测数据清洗方法 |
CN102298601A (zh) * | 2011-05-23 | 2011-12-28 | 北京捷成世纪科技股份有限公司 | 面向广电行业的存储设备的监控数据转换方法及转换器 |
CN102761454A (zh) * | 2011-04-28 | 2012-10-31 | 中兴通讯股份有限公司 | 一种物联网监控方法及系统 |
CN103118051A (zh) * | 2011-11-17 | 2013-05-22 | 阿里巴巴集团控股有限公司 | 一种对信息发布过程进行监控的方法和设备 |
CN104486445B (zh) * | 2014-12-30 | 2017-03-22 | 北京天云融创软件技术有限公司 | 一种基于云平台的分布式可扩展资源监控系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2112806B1 (en) * | 2008-04-14 | 2013-03-20 | Axis AB | Information collecting system |
-
2015
- 2015-09-07 CN CN201510564811.9A patent/CN106502856B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101634991A (zh) * | 2009-04-21 | 2010-01-27 | 上海申瑞电力科技股份有限公司 | 数据采集与监视控制系统的遥测数据清洗方法 |
CN102761454A (zh) * | 2011-04-28 | 2012-10-31 | 中兴通讯股份有限公司 | 一种物联网监控方法及系统 |
CN102298601A (zh) * | 2011-05-23 | 2011-12-28 | 北京捷成世纪科技股份有限公司 | 面向广电行业的存储设备的监控数据转换方法及转换器 |
CN103118051A (zh) * | 2011-11-17 | 2013-05-22 | 阿里巴巴集团控股有限公司 | 一种对信息发布过程进行监控的方法和设备 |
CN104486445B (zh) * | 2014-12-30 | 2017-03-22 | 北京天云融创软件技术有限公司 | 一种基于云平台的分布式可扩展资源监控系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106502856A (zh) | 2017-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105338061B (zh) | 一种轻量级消息中间件的实现方法与系统 | |
CN109739929A (zh) | 数据同步方法、装置及系统 | |
CN106502856B (zh) | 一种信息处理方法及装置 | |
CN105005521B (zh) | 测试方法及装置 | |
CN107508722B (zh) | 一种业务监控方法和装置 | |
CN104580284B (zh) | 业务分配装置和业务分配方法 | |
CN111082997B (zh) | 移动边缘计算平台中基于业务识别的网络功能编排方法 | |
JP2019513246A (ja) | ランダムフォレストモデルの訓練方法、電子装置及び記憶媒体 | |
CN106844220A (zh) | 一种模拟计算机网络应用程序真实运行环境的测试方法和系统 | |
CN105872068A (zh) | 一种云平台以及基于该云平台的自动化运检方法 | |
CN106383764B (zh) | 一种数据采集方法和设备 | |
CN106655502B (zh) | 获取配电网设备运行状态数据的方法和装置 | |
CN113176948B (zh) | 边缘网关、边缘计算系统及其配置方法 | |
CN102546793B (zh) | 一种基于云计算的移动终端自适应方法及其系统 | |
CN109951320A (zh) | 一种面向云平台的可扩展多层次监控框架及其监控方法 | |
CN107168853A (zh) | 一种服务器性能信息获取方法、系统和基板控制管理器 | |
CN109407984A (zh) | 一种存储系统性能监测方法、装置和设备 | |
CN110620699A (zh) | 消息到达率确定方法、装置、设备和计算机可读存储介质 | |
CN106990913B (zh) | 一种大规模流式集合数据的分布式处理方法 | |
Zhang et al. | Efficient online surveillance video processing based on spark framework | |
CN114064377A (zh) | 负载均衡器的监控方法、装置、设备及存储介质 | |
CN108829562A (zh) | 数据中心的云资源管理方法 | |
CN106790354A (zh) | 一种防数据拥堵的通信方法及其装置 | |
CN110290206A (zh) | 一种用于网吧环境的分布式计算系统及方法 | |
CN110022323A (zh) | 一种基于WebSocket与Redux的跨终端实时交互的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |