CN107070692A - 一种基于大数据分析的云平台监控服务系统及方法 - Google Patents

Abstract

本发明公开了一种基于大数据分析的云平台监控服务系统及方法，其中，所述系统包括数据采集层、大数据处理层以及web应用层，所述数据采集层包括用于采集主机、存储器、网络资源的采集工具以及用于采集所述web应用层数据的专项采集程序；所述大数据处理层用于对所述数据采集层采集的各项数据进行分析，以生成运维指标，并将生成的运维指标写入数据库中；所述web应用层从所述数据库中读取数据，并在前端进行展示或者管理。本发明提供的一种基于大数据分析的云平台监控服务系统及方法，通过大数据智能分析结果，可以给管理者带来食品安全电子溯源云服务平台的健康指标和智能建议，为管理者提供决策辅助。

Description

一种基于大数据分析的云平台监控服务系统及方法

技术领域

本发明涉及网络通信技术领域，特别涉及一种基于大数据分析的云平台监控服务系统及方法。

背景技术

现如今云计算技术已经用于各个行业中，通过云计算技术，为食品安全电子溯源云平台搭建稳定的运行环境、流畅的网络服务及可靠的安全保障。由于食品安全电子溯源云平台资源是分布式计算、网格计算和虚拟化技术发展的产物，是一种将物理资源进行虚拟化的技术，虚拟化后的服务器无法通过直观的方式表现出平台的运行状态，从而也无法得知溯源系统的运行状态，所以，食品安全电子溯源云服务平台需要进行性能上的监控，保障溯源系统云运营管理平台自动化。食品安全电子溯源云服务平台的监控不仅要实现高效和对云平台干扰程度低的指标，同时要具有灵活和扩展性，方便用户自定义监控插件和指标，实现对特定任务的监控需求。

而传统系统监控的数据预警值、基本处理逻辑都是基于开发者的个人经验设定阈值，阈值没有针对性也不具备准确性，当监控的指标达到或超过阈值后产生报警，但是依此产生的报警值无法准确的表示出该资源的真实情况，也无法达到预警功能。

目前的传统监控平台存在主要以下几个问题：

一是阈值的科学性，即经验阈值的科学性难以保证，且配置自动化程度低，经验阈值，不适应环境变化。且呈现功能单一，无分析、无预警的问题。

二是如何减少虚假报警，即对所产生的报警，以及各报警之间的依赖关系缺乏分析，从而无法甄别出真实的，根源性的报警，数据规模较小，通常为百或千台主机，不适应云规模，监控周期较短：存最近一周或月数据，无法进行历史分析。

三是不能处理大数据，即无法对云平台之类的大规模数据的采集和加工处理，以保证实时呈现告警，数据分散处理，且功能各一的独立程序处理不同的数据源，开发、部署、运维困难，且采集分层部署，分层网状采集，不易管理和运维，容易出现数据采集不及时，或漏采。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种基于大数据分析的云平台监控服务系统及方法。所述技术方案如下：

一方面，一种基于大数据分析的云平台监控服务系统，包括数据采集层、大数据处理层以及web应用层，其中：所述数据采集层包括用于采集主机、存储器、网络资源的采集工具以及用于采集所述web应用层数据的专项采集程序；所述大数据处理层用于对所述数据采集层采集的各项数据进行分析，以生成运维指标，并将生成的运维指标写入数据库中；所述web应用层从所述数据库中读取数据，并在前端进行展示或者管理。

进一步地，所述大数据处理层还包括性能预测单元和动态阈值生成单元，其中：所述性能预测单元，用于对采集的历史数据的周期变化和运行趋势进行分析，预测得到设备的性能消耗曲线；所述动态阈值生成单元，用于根据所述性能消耗曲线生成与当前时刻相适配的阈值，并基于所述阈值对当前时刻的运行数据进行报警分析。

进一步地，所述web应用层中还包括：预警定位单元，用于在当前页面中标记出产生报警信号的设备位置。

进一步地，所述数据采集层中包括Zabbix采集工具，所述大数据处理层中包括Spark数据框架。

进一步地，所述数据采集层采用以下至少一种方式进行数据采集：简单网络管理协议SNMP的轮询Polling方式；简单网络管理协议SNMP的陷阱Trap方式；系统日志Syslog的方式；或者命令行界面CLI的方式。

进一步地，所述数据采集层采集的数据类型包括以下至少一种：网络设备类型；主机系统类型；系统软件类型以及业务应用软件类型。

进一步地，所述大数据处理层分析得到的运维指标包括：即时数据；实时数据；日数据以及月数据。

进一步地，所述web应用层还用于对各个设备的性能指标进行排序，并将排序的结果向用户展示。

另一方面，本申请实施方式还提供一种基于大数据分析的云平台监控服务方法，所述方法包括：数据采集层通过预设采集工具采集主机、存储器、网络的资源并通过专项采集程序采集web应用层的数据；大数据处理层用于对所述数据采集层采集的各项数据进行分析，以生成运维指标，并将生成的运维指标写入数据库中；所述web应用层从所述数据库中读取数据，并在前端进行展示或者管理。

进一步地，所述方法还包括：所述大数据处理层对采集的历史数据的周期变化和运行趋势进行分析，预测得到设备的性能消耗曲线；所述大数据处理层根据所述性能消耗曲线生成与当前时刻相适配的阈值，并基于所述阈值对当前时刻的运行数据进行报警分析。

本发明实施例提供的技术方案带来的有益效果是：本发明可以为使用者建立完善的云平台管理体制，通过数据智能分析手段，达到云计算平台的故障智能预警，故障快速定位，不仅使使用方不断提高运维质量，保障了运维的高效性，通过提前预警分析，可以通过减少故障发生的方式，使管理者提升经济效益，协助溯源系统的稳定运行。通过大数据智能分析结果，给管理者带来食品安全电子溯源云服务平台的健康指标和智能建议，为管理者提供决策辅助。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施方式提供的基于大数据分析的云平台监控服务系统的总体框架示意图；

图2是本发明实施方式中数据采集的架构示意图；

图3是本发明实施方式提供的基于大数据分析的云平台监控服务方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

请参阅图1，本申请实施方式提供一种基于大数据分析的云平台监控服务系统，所述系统包括数据采集层、大数据处理层以及web应用层。

所述数据采集层包括用于采集主机、存储器、网络资源的采集工具以及用于采集所述web应用层数据的专项采集程序；

所述大数据处理层用于对所述数据采集层采集的各项数据进行分析，以生成运维指标，并将生成的运维指标写入数据库中；

所述web应用层从所述数据库中读取数据，并在前端进行展示或者管理。

如图1所示，数据采集层可以通过各种方式(包括SNMP、平台管理接口、应用软件接口规范、第三方产品接口以及其它接口)对应用软件、主机、数据库、网络、中间件、存储以及资源池等进行数据采集。

大数据处理层则可以包括算法模型、Spark计算架构以及YARN(Yet AnotherResource Negotiator，另一种资源协调者)分布式存储结构，数据采集层采集得到的数据可以通过各个代理Agent上传至大数据处理层。

所述web应用层可以包括监控视图、资源管理、通知公告、用户管理、规则配置、报表配置、采集工具集等模块，从而可以通过网页、终端设备等方式向用户展示数据。

在本实施方式中，所述大数据处理层还包括性能预测单元和动态阈值生成单元，其中：

所述性能预测单元，用于对采集的历史数据的周期变化和运行趋势进行分析，预测得到设备的性能消耗曲线；

所述动态阈值生成单元，用于根据所述性能消耗曲线生成与当前时刻相适配的阈值，并基于所述阈值对当前时刻的运行数据进行报警分析。

在本实施方式中，所述web应用层中还包括：

预警定位单元，用于在当前页面中标记出产生报警信号的设备位置。

在本实施方式中，所述数据采集层中包括Zabbix采集工具，所述大数据处理层中包括Spark数据框架。

在本实施方式中，所述数据采集层采用以下至少一种方式进行数据采集：

简单网络管理协议SNMP(Simple Network Management Protocol)的轮询Polling方式；

简单网络管理协议SNMP的陷阱Trap方式；

系统日志Syslog的方式；或者

命令行界面CLI(Command-Line Interface)的方式。

在本实施方式中，所述数据采集层采集的数据类型包括以下至少一种：

网络设备类型；主机系统类型；系统软件类型以及业务应用软件类型。

在本实施方式中，所述大数据处理层分析得到的运维指标包括：

即时数据；实时数据；日数据以及月数据。

在本实施方式中，所述web应用层还用于对各个设备的性能指标进行排序，并将排序的结果向用户展示。

具体地，本发明按松散耦合方式，分为数据采集层、大数据处理层、web应用层来实现。其中数据采集层以开源采集工具Zabbix为主采集主机、存储、网络资源，另开发部分专项采集的程序，以采集web应用层的数据；大数据处理以Spark为主进行实时数据分析和挖掘形成指标入到数据库，应用层从数据库读取数据前端呈现或管理。

本发明利用开源软件或中间件可实时提取物理设备、基于云平台的虚拟环境的有关设备和应用的运维数据，利用大数析平台进行建模分析形成运维指标，web应用层提供可自主定义的运维管理和监控界面，方便用户管理资源，并结合大数据推荐的参数，自定义规则，动态监控运维，及时发出告警和预警，同时精准定位告警和预警，方便用户一键管理，及时处理运维问题。

本发明的数据采集层可以通过各类探针(Probe)获得各类被管对象的数据。采集方式支持多种网络协议和采集方式，对于不符合标准网络协议的设备，系统提供二次开发的数据采集接口。

本发明的采集协议与方式主要包括：SNMP Polling、SNMP Trap、Syslog、CLI(Telnet、SSH)等协议或者UniAgent代理，对整个网络运行参数进行全面、系统、深入的采集。系统不仅能够对网络中的服务器、网络设备进行监测，同时还具有强大的应用监测功能。组合使用它们可以对WEB、Email、DNS、FTP、ERP、CRM、MIS、中间件、财务、电子商务等应用系统从应用可用性、系统资源占用和性能指标三个层面进行全面深入的监测管理。

本发明的采集的数据类型主要包括：网络设备、主机系统、系统软件(中间件和数据库)、业务应用软件等。

本发明的采集部署方式是建设一个快速适配、多源分类归并、无主从的分布式统一采集平台。

本发明是通过建立一些挖掘算法和模型，将采集得的数据经大数据平台处理后汇成四种指标：

1、即时数据：需要紧急处理的数据，如断网，宕机需先生成告警后，再进行数据处理入库。

2、实时数据：用以存放当天采集的运维数据，大数据平台，以分钟(如五分钟)为单位，每次对当前的数据和今天0点开始的历史数据进行汇报，生成实时指标。

3、日数据：大数据平台在T日0点处理T-1日的全部数据，汇总成日指标。

4、月数据：大数据平台在T月1日汇总T-1月的全部数据，汇总成月指标

web应用层不进行数据处理，只展现数据，以实现快速查询和访问。

本系统通过对业务系统下的服务器的CPU、内存、I/O率、网络等重要性能指标的资源耗比进行排序，可以帮助用户确认所需重点关注的设备和基础架构的性能瓶颈。

本系统对性能(容量)预测，通过分析历史数据的周期变化和运行趋势，预测设备未来的性能(容量)消耗曲线，预期寿命，为整个业务系统的优化、升级、扩容等提供预警的功能。

本系统实现智能推荐阈值，通过分析历史数据的周期变化和运维人员对告警的处理，动态生成推荐阈值，以实现精准阈值，从而精准报警。

本系统实现异常挖掘，通过将历史数据的周期变化和现行数据作对比，以发现异常变动，从而精准进行异常报警。

请参阅图2，本申请在进行数据采集时，可以包括数据消费模块、统一采集模块以及采集对象模块，其中，采集对象模块中可以包括物理资源和虚拟资源，物理资源可以包括x86主机、小型机、交换机、存储块、对象以及本地磁盘；虚拟资源可以包括计算资源、网络资源、存储济源以及群集资源。通过SNMP、Syslog、资源池接口以及第三方API(ApplicationProgramming Interface，应用程序编程接口)，可以从采集对象模块中读取各项数据。读取的数据可以包括主机数据、存储数据、网络数据、虚拟资源以及应用数据，这些数据可以通过消息通道、大数据通道以及缓存通道存储于数据消费模块中。数据消费模块中可以包括kafka系统、YARN结构以及DB(Data Base，数据库)等。

请参阅图3，本申请实施方式提供一种基于大数据分析的云平台监控服务方法，所述方法包括：

S1：数据采集层通过预设采集工具采集主机、存储器、网络的资源并通过专项采集程序采集web应用层的数据；

S2：大数据处理层用于对所述数据采集层采集的各项数据进行分析，以生成运维指标，并将生成的运维指标写入数据库中；

S3：所述web应用层从所述数据库中读取数据，并在前端进行展示或者管理。

在本实施方式中，所述方法还包括：

所述大数据处理层对采集的历史数据的周期变化和运行趋势进行分析，预测得到设备的性能消耗曲线；

所述大数据处理层根据所述性能消耗曲线生成与当前时刻相适配的阈值，并基于所述阈值对当前时刻的运行数据进行报警分析。

本发明实施例提供的技术方案带来的有益效果是：本发明可以为使用者建立完善的云平台管理体制，通过数据智能分析手段，达到云计算平台的故障智能预警，故障快速定位，不仅使使用方不断提高运维质量，保障了运维的高效性，通过提前预警分析，可以通过减少故障发生的方式，使管理者提升经济效益，协助溯源系统的稳定运行。通过大数据智能分析结果，给管理者带来食品安全电子溯源云服务平台的健康指标和智能建议，为管理者提供决策辅助。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于大数据分析的云平台监控服务系统，其特征在于，所述系统包括数据采集层、大数据处理层以及web应用层，其中：

所述数据采集层包括用于采集主机、存储器、网络资源的采集工具以及用于采集所述web应用层数据的专项采集程序；

所述大数据处理层用于对所述数据采集层采集的各项数据进行分析，以生成运维指标，并将生成的运维指标写入数据库中；

所述web应用层从所述数据库中读取数据，并在前端进行展示或者管理。

2.根据权利要求1所述的基于大数据分析的云平台监控服务系统，其特征在于，所述大数据处理层还包括性能预测单元和动态阈值生成单元，其中：

所述性能预测单元，用于对采集的历史数据的周期变化和运行趋势进行分析，预测得到设备的性能消耗曲线；

所述动态阈值生成单元，用于根据所述性能消耗曲线生成与当前时刻相适配的阈值，并基于所述阈值对当前时刻的运行数据进行报警分析。

3.根据权利要求2所述的基于大数据分析的云平台监控服务系统，其特征在于，所述web应用层中还包括：

预警定位单元，用于在当前页面中标记出产生报警信号的设备位置。

4.根据权利要求1所述的基于大数据分析的云平台监控服务系统，其特征在于，所述数据采集层中包括Zabbix采集工具，所述大数据处理层中包括Spark数据框架。

5.根据权利要求1所述的基于大数据分析的云平台监控服务系统，其特征在于，所述数据采集层采用以下至少一种方式进行数据采集：

简单网络管理协议SNMP的轮询Polling方式；

简单网络管理协议SNMP的陷阱Trap方式；

系统日志Syslog的方式；或者

命令行界面CLI的方式。

6.根据权利要求1所述的基于大数据分析的云平台监控服务系统，其特征在于，所述数据采集层采集的数据类型包括以下至少一种：

网络设备类型；主机系统类型；系统软件类型以及业务应用软件类型。

7.根据权利要求1所述的基于大数据分析的云平台监控服务系统，其特征在于，所述大数据处理层分析得到的运维指标包括：

即时数据；实时数据；日数据以及月数据。

8.根据权利要求1所述的基于大数据分析的云平台监控服务系统，其特征在于，所述web应用层还用于对各个设备的性能指标进行排序，并将排序的结果向用户展示。

9.一种基于大数据分析的云平台监控服务方法，其特征在于，所述方法包括：

数据采集层通过预设采集工具采集主机、存储器、网络的资源并通过专项采集程序采集web应用层的数据；

大数据处理层用于对所述数据采集层采集的各项数据进行分析，以生成运维指标，并将生成的运维指标写入数据库中；

所述web应用层从所述数据库中读取数据，并在前端进行展示或者管理。

10.根据权利要求9所述的基于大数据分析的云平台监控服务方法，其特征在于，所述方法还包括：

所述大数据处理层对采集的历史数据的周期变化和运行趋势进行分析，预测得到设备的性能消耗曲线；

所述大数据处理层根据所述性能消耗曲线生成与当前时刻相适配的阈值，并基于所述阈值对当前时刻的运行数据进行报警分析。