CN109977173B - 基于云数据中心的分布式、插件式数据监控系统及方法 - Google Patents

Abstract

本发明公开了一种基于云数据中心的分布式、插件式数据监控系统及方法，属于数据监控技术领域，要解决的技术问题为如何提高监控系统的可扩展性和兼容性，同时降低监控服务器的压力。其结构包括数据采集平台，包括多个采集模块，每个采集模块启用一个进程采集对应监控对象的监控数据，得到原始数据文件；调度平台，用于统一调度数据采集平台中的采集模块；数据处理平台，为插件式可扩展的框架，用于对原始数据文件进行处理并从不同格式的原始数据文件中提取数据指标，得到统一格式的标准数据文件；数据持久化平台，用于以分库的方式存储标准数据文件中的数据指标。其方法为通过基于云数据中心的分布式、插件式数据监控系统进行数据采集。

Description

基于云数据中心的分布式、插件式数据监控系统及方法

技术领域

本发明涉及以数据监控技术领域，具体地说是一种基于云数据中心的分布式、插件式数据监控系统及方法。

背景技术

当今时代，云计算飞速发展，云数据中心也在不断扩大。在物理层面上，云数据中心可以通过网络形成物理上分散、逻辑上紧密联系的整体。在虚拟层面上，云数据中心的虚拟对象的规模也在迅速增长。面对云中心多种类的物理和虚拟资源，如何实时监控其资源、性能情况是一个艰巨的任务。

云数据中心的规模的增长具有不可预估性，因此云数据中心的监控系统必须具有较强的可扩展性。也正是随着云数据中心规模的增长，监控系统的数据采集、分析等对监控服务器的负载产生了不小压力。

对云数据中心监控数据的提取和分析都集中于一个系统中，耦合性较大，对于监控服务器的压力也较大，而且采用单一编程语言，对于多种物理设备和虚拟对象的数据监控的接入比较困难。

现有的针对云数据中心的数据监控系统往往在出现其他用于监控数据的协议或者接口时，需要较大幅度的修改原有监控系统，比较费时费力，而且现有的监控系统部署比较集中，云数据中心的海量数据也对监控服务器造成了不小的压力。

基于上述分析，如何提高监控系统的可扩展性和兼容性，同时降低监控服务器的压力，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供一种基于云数据中心的分布式、插件式数据监控系统及方法，来解决如何提高监控系统的可扩展性和兼容性，同时降低监控服务器的压力的问题。

第一方面，本发明提供一种基于云数据中心的分布式、插件式数据监控系统，包括：

数据采集平台，包括多个采集模块，每个采集模块启用一个进程采集对应监控对象的监控数据，得到原始数据文件；

调度平台，用于统一调度数据采集平台中的采集模块；

数据处理平台，为插件式可扩展的框架，用于对原始数据文件进行处理并从不同格式的原始数据文件中提取数据指标，得到统一格式的标准数据文件；

数据持久化平台，用于以分库的方式存储标准数据文件中的数据指标。

作为优选，采集模块包括但不限于服务器采集模块、交换机采集模块、存储设备采集模块、Vmware采集模块和Openstack采集模块。

上述监控系统，采用插件式可扩展的框架，集合调度平台、数据采集平台、数据处理平台和数据持久化平台，可以使用不同的编程语言对监控数据进行采集，如java、shell、pyhon，每种数据采集启动一个进程，由调度平台触发数据采集进程，调度平台可以单独部署，实现了系统解耦；采集数据以文件的形式生成，各种监控数据的采集之间相互独立；并且可以通过插件式的方式接入多种类的云中心资源的数据监控。该监控系统可以采用分布式部署，以减轻单个监控服务器节点的压力。

作为优选，调度平台上配置有：

监控服务器节点，用于与对应的采集模块连接；

数据采集任务，与监控服务器节点一一对应，每个数据采集任务的配置项均包括其所在的监控服务器节点、启动脚本全路径以及采集周期。

该优选实施方式中，每一个采集模块启用一个进程分别进行数据采集，由调度平台统一调度。该调度平台由quartz框架实现，可以单独部署。

作为优选，数据处理平台配置有：

数据处理配置项，其与原始数据文件一一对应，包括BLOCKNAME、数据处理子模块名称、过滤的指标名称；

数据处理子模块，用于从不同格式的原始数据文件中提取出数据指标，并根据过滤的指标名称对数据指标进行过滤，以及将处理后的原始数据文件转换为统一格式的标准数据文件。

该优选实施方式中，数据处理平台负责对原始数据文件进行数据的提取、过滤、分析。每一种原始数据文件对应一个数据处理子模块和一个数据处理配置项，除此以外，每种数据处理还可以配置个性化的配置项。

作为优选，原始数据文件的文件名遵循如下规则：

采集对象设备编码-#-BLOCKNAME-#-采集开始时间-#-采集结束时间-#-采集周期.raw

标准数据文件的文件名遵循如下规则：

采集对象设备编码-#-BLOCKNAME-#-采集开始时间-#-采集结束时间-#-采集周期-#-I-#-P.lif。

作为优选，数据持久化平台采用分库的方式进行数据持久化，包括：

管理库，其配置有数据存储配置项，用于管理资源以及数据存储配置；

监控数据库，用于存储标准数据文件中的指标数据。

监控数据的入库规则不是在程序中以编码的方式实现而是配置在数据库中，因此当未来如果有其他新的BLOCKNAME标识的标准数据文件，可以在管理库中以插件的方式增加配置即可，而不需要修改数据持久化系统。数据持久化平台只需要在每个监控服务器上安装一套即可。

作为优选，数据存储配置项存储于：

入库规则表，用于配置BLOCKNAME对应的数据中的每个指标存储到哪个表的哪个字段中；

查询规则表，用于配置关联查询；

配置文件，用于配置管理库以及监控数据库的连接信息，所述连接信息用于实现管理库以及监控数据库的对外连接。

第二方面，本发明提供一种基于云数据中心的分布式、插件式数据监控方法，其特征在于通过如第一方面任一项所述的基于云数据中心的分布式、插件式数据监控系统进行数据采集，包括：

对于不同的监控对象，按照数据采集方式进行分类；

调度平台根据配置的数据采集任务统一调度各个采集模块，每个采集模块启用一个进程采集对应监控对象的监控数据，得到原始数据文件；

通过数据处理平台对原始数据文件进行处理并从不同格式的原始数据文件中提取数据指标，得到统一格式的标准数据文件；

通过数据持久化平台存储标准数据文件中的数据指标。

作为优选，通过数据处理平台对原始数据文件进行处理并从不同格式的原始数据文件中提取数据指标，包括：

读取全部的数据处理配置项；

不断询问是否存在原始数据文件；

如果存在原始数据文件，根据BLOCKNAME找到对应的数据处理子模块、过滤的指标名称，通过数据处理子模块从原始数据文件中提取处数据指标，并通过过滤的指标名称进行过滤。

作为优选，通过数据持久化平台存储标准数据文件中的数据指标，包括：

通过一个线程定时读取管理库中的数据存储配置项；

通过多个线程读取标准数据文件；

通过批量入库的方式将标准数据文件中的指标数据存储入监控数据库中。

本发明的基于云数据中心的分布式、插件式数据监控系统及方法具有以下优点：采用独立的采集模块对云数据中心进行数据收集，同时采用可配置的数据处理平台和数据持久化平台，未来如果增加其他监控对象、或者有用于获取监控数据的协议、或者第三方的接口，都可以开发一个独立的采集模块，开发一个数据处理子模块和数据处理配置项，以及增加一个数据存储规则，以插件式的方式集成到该监控系统中，而不必对现有的监控架构做出大的调整，提高了云数据中心的兼容性，同时可以分布式部署采集模块以及分库管理数据，减少了对监控服务器的压力。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明。

附图1为实施例1基于云数据中心的分布式、插件式数据监控系统的结构框图；

附图2为实施例2基于云数据中心的分布式、插件式数据监控方法的流程框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

本发明实施例提供基于云数据中心的分布式、插件式数据监控系统及方法，用于解决如何提高监控系统的可扩展性和兼容性，同时降低监控服务器的压力的技术问题。

实施例1：

如附图1所示，本发明的基于云数据中心的分布式、插件式数据监控系统，包括数据采集平台、调度平台、数据处理平台和数据持久化平台，数据采集平台包括多个采集模块，每个采集模块启用一个进程采集对应监控对象的监控数据，得到原始数据文件；调度平台，用于统一调度数据采集平台中的采集模块；数据处理平台，为插件式可扩展的框架，用于对原始数据文件进行处理并从不同格式的原始数据文件中提取数据指标，得到统一格式的标准数据文件；数据持久化平台，用于以分库的方式存储标准数据文件中的数据指标。

其中，采集模块包括但不限于服务器采集模块、交换机采集模块、存储设备采集模块、Vmware采集模块和Openstack采集模块。

调度平台由quartz框架实现，可以单独部署。其配置有多个监控服务器节点和多个数据采集任务，监控服务器节点用于与对应的采集模块连接；数据采集任务与监控服务器节点一一对应，每个数据采集任务的配置项主要包括其所在的监控服务器节点、启动脚本全路径以及采集周期。

数据处理系统负责对原始数据文件进行数据的提取、过滤、分析。数据处理系统也采用插件式可扩展的框架。每一种原始数据文件对应一个数据处理子模块和一个数据处理配置项。数据处理配置项主要包括BLOCKNAME、数据处理子模块名称、过滤的指标名称。除此以外，每种数据处理还可以配置个性化的配置项。数据处理子模块，用于从不同格式的原始数据文件中提取出数据指标，并根据过滤的指标名称对数据指标进行过滤，以及将处理后的原始数据文件转换为统一格式的标准数据文件。

数据处理系统工作流程为：首先读取全部的数据处理配置项，然后系统不断询问是否有原始数据文件，如果有原始数据文件存在，则从数据处理配置项里根据BLOCKNAME找到对应的数据处理子模块、过滤的指标名称，然后通过数据处理子模块从不同格式的原始数据中提取出数据指标，并根据过滤的指标名称，则进行过滤；最后，将原始数据文件经过数据处理系统最终转换成统一格式的标准数据文件，文件名上有规则要求，其文件名构成如下：

设备编码-#-BLOCKNAME-#-采集开始时间-#-采集结束时间-#-采集周期-#-I-#-P.lif

如：

SD-HOST-0000000001-#-HOSTPM-#-201808171640-#-201808171645-#-5-#-I-#-P.lif

如果有其他格式的原始数据文件，只需要增加一个数据处理配置项和一个数据处理子模块进行插件式集成。

数据处理平台只需要在每个监控服务器上安装一套即可。

数据持久化平台采用分库的方存储标准数据文件中的数据指标。数据持久化平台包括管理库和监控数据库，管理库中配置有数据存储配置项，用于管理资源以及数据存储配置，监控数据库负责存储监控数据。

管理库的数据配置项存储于入库规则表、查询规则表和配置文件中，入库规则表负责配置BLOCKNAME对应的数据中的每个指标存储到哪个表的哪个字段中，查询规则表负责配置关联查询关系，配置文件中主要配置了后端数据库的连接信息，所述连接信息用于实现管理库以及监控数据库的对外连接。

数据持久化系统的执行过程为：通过一个线程定时读取管理库中的数据存储配置项；通过多个线程读取标准数据文件，如果存在标准数据文件，通过批量入库的方式将标准数据文件中的指标数据存储入监控数据库中。

由于监控数据的入库规则不是在程序中以编码的方式实现而是配置在数据库中，因此当未来如果有其他新的BLOCKNAME标识的标准数据文件，可以在管理库中以插件的方式增加配置即可，而不需要修改数据持久化系统。

数据持久化系统只需要在每个监控服务器上安装一套即可。

实施例2：

如附图2所示，本发明的一种基于云数据中心的分布式、插件式数据监控方法，其特征在于通过如第一方面任一项所述的基于云数据中心的分布式、插件式数据监控系统进行数据采集，包括：

S100、对于不同的监控对象，按照数据采集方式进行分类；

S200、调度平台根据配置的数据采集任务统一调度各个采集模块，每个采集模块启用一个进程采集对应监控对象的监控数据，得到原始数据文件；

S300、通过数据处理平台对原始数据文件进行处理并从不同格式的原始数据文件中提取数据指标，得到统一格式的标准数据文件；

S400、通过数据持久化平台存储标准数据文件中的数据指标。

步骤S100中，对对不同的监控对象进行分类，按照数据采集实现方式大致可以分为四类：采用SDK采集、通过协议采集、按照规范采集、通过代理采集。

对于采用SDK采集，监控对象如vmware等。

对于通过协议采集，如SNMP适用于交换机、IPMI适用于服务器等。

对于按照规范采集，如SMI-S适用于集中存储等。

对于通过代理采集，通过安装代理到被采集对象。

确认了采集方式后，对每一种监控对象采用一个独立的采集模块，该采集模块可以由任何语言实现，如shell、java、python等，但采集到的数据必须按照规则生成原始数据文件，该原始数据文件只是在文件名上有规则要求，其文件名构成如下：

设备编码-#-BLOCKNAME-#-采集开始时间-#-采集结束时间-#-采集周期.raw

如：

SD-HOST-0000000001-#-HOSTPM-#-201808171640-#-201808171645-#-5.ra w。

其中的BLOCKNAME为每一种原始数据文件的标识，数据处理系统将根据BLOCKNAME对每种格式的原始数据文件进行数据提取和分析。

由于采用独立的采集模块进行数据采集，并且只负责生成数据文件，因此实现了数据采集的插件式框架。未来如果有其他用于获取监控数据的协议，或者第三方的接口，都可以开发一个独立的数据采集模块，以插件式的方式集成到系统中。

本发明允许将不同的采集模块部署在多个监控服务器节点上，也允许将同一个采集模块部署到多个监控服务器节点上，但要保证不同的监控服务器节点上的监控对象不同，由此可以达到分布式部署。

每个采集模块可以采用多线程或者协程的方式，本实施例中对于vmware平台下虚拟资源的监控数据采集采用了协程的方式。

步骤S300中通过数据处理平台对原始数据文件进行提取、过滤和分析，工作流程为：

S310、读取全部的数据处理配置项；

S320、不断询问是否有原始数据文件；

S330、如果有原始数据文件存在，则从数据处理配置项里根据BLOCKNAME找到对应的数据处理子模块、过滤的指标名称，然后通过数据处理子模块从不同格式的原始数据中提取出数据指标，并根据过滤的指标名称，则进行过滤；

S340、将原始数据文件经过数据处理系统最终转换成统一格式的标准数据文件，文件名上有规则要求，其文件名构成如下：

设备编码-#-BLOCKNAME-#-采集开始时间-#-采集结束时间-#-采集周期-#-I-#-P.lif。

步骤S400中，通过数据持久化平台存储标准数据文件中的数据指标，包括：

S410、通过一个线程定时读取管理库中的数据存储配置项；

S420、通过多个线程读取标准数据文件；

S430、如果存在标准数据文件，通过批量入库的方式将标准数据文件中的指标数据存储入监控数据库中。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (6)

1.基于云数据中心的分布式、插件式数据监控系统，其特征在于包括：

数据采集平台，包括多个采集模块，每个采集模块启用一个进程采集对应监控对象的监控数据，得到原始数据文件；

调度平台，用于统一调度数据采集平台中的采集模块；

数据处理平台，为插件式可扩展的框架，用于对原始数据文件进行处理并从不同格式的原始数据文件中提取数据指标，得到统一格式的标准数据文件；

数据持久化平台，用于以分库的方式存储标准数据文件中的数据指标；

调度平台由quartz框架实现，可以单独部署，其配置有多个监控服务器节点和多个数据采集任务，监控服务器节点用于与对应的采集模块连接；数据采集任务与监控服务器节点一一对应，每个数据采集任务的配置项主要包括其所在的监控服务器节点、启动脚本全路径以及采集周期；

数据持久化平台采用分库的方存储标准数据文件中的数据指标；数据持久化平台包括管理库和监控数据库，管理库中配置有数据存储配置项，用于管理资源以及数据存储配置，监控数据库负责存储监控数据；

通过数据处理平台用于对原始数据文件进行处理并从不同格式的原始数据文件中提取数据指标，包括：

读取全部的数据处理配置项；

不断询问是否存在原始数据文件；

如果存在原始数据文件，根据BLOCKNAME找到对应的数据处理子模块、过滤的指标名称，通过数据处理子模块从原始数据文件中提取处数据指标，并通过过滤的指标名称进行过滤；

数据持久化平台的执行过程为：通过一个线程定时读取管理库中的数据存储配置项；通过多个线程读取标准数据文件，如果存在标准数据文件，通过批量入库的方式将标准数据文件中的指标数据存储入监控数据库中；由于监控数据的入库规则不是在程序中以编码的方式实现而是配置在数据库中，因此当未来如果有其他新的BLOCKNAME标识的标准数据文件，可以在管理库中以插件的方式增加配置即可，而不需要修改数据持久化平台。

2.根据权利要求1所述的基于云数据中心的分布式、插件式数据监控系统，其特征在于采集模块包括但不限于服务器采集模块、交换机采集模块、存储设备采集模块、Vmware采集模块和Openstack采集模块。

3.根据权利要求1所述的基于云数据中心的分布式、插件式数据监控系统，其特征在于数据处理平台配置有：

数据处理配置项，其与原始数据文件一一对应，包括BLOCKNAME、数据处理子模块名称、过滤的指标名称；

数据处理子模块，用于从不同格式的原始数据文件中提取出数据指标，并根据过滤的指标名称对数据指标进行过滤，以及将处理后的原始数据文件转换为统一格式的标准数据文件。

4.根据权利要求1-3任一项所述的基于云数据中心的分布式、插件式数据监控系统，其特征在于原始数据文件的文件名遵循如下规则：

采集对象设备编码-#-BLOCKNAME-#-采集开始时间-#-采集结束时间-#-采集周期.raw

标准数据文件的文件名遵循如下规则：

采集对象设备编码-#-BLOCKNAME-#-采集开始时间-#-采集结束时间-#-采集周期-#-I-#-P.lif。

5.根据权利要求1所述的基于云数据中心的分布式、插件式数据监控系统，其特征在于数据存储配置项存储于：

入库规则表，用于配置BLOCKNAME对应的数据中的每个指标存储到哪个表的哪个字段中；

查询规则表，用于配置关联查询；

配置文件，用于配置管理库以及监控数据库的连接信息，所述连接信息用于实现管理库以及监控数据库的对外连接。

6.基于云数据中心的分布式、插件式数据监控方法，其特征在于通过如权利要求1-5任一项所述的基于云数据中心的分布式、插件式数据监控系统进行数据采集，包括：

对于不同的监控对象，按照数据采集方式进行分类；

调度平台根据配置的数据采集任务统一调度各个采集模块，每个采集模块启用一个进程采集对应监控对象的监控数据，得到原始数据文件；

通过数据处理平台对原始数据文件进行处理并从不同格式的原始数据文件中提取数据指标，得到统一格式的标准数据文件；

通过数据持久化平台存储标准数据文件中的数据指标；

通过数据处理平台对原始数据文件进行处理并从不同格式的原始数据文件中提取数据指标，包括：

读取全部的数据处理配置项；

不断询问是否存在原始数据文件；

如果存在原始数据文件，根据BLOCKNAME找到对应的数据处理子模块、过滤的指标名称，通过数据处理子模块从原始数据文件中提取处数据指标，并通过过滤的指标名称进行过滤；

通过数据持久化平台存储标准数据文件中的数据指标，包括：

通过一个线程定时读取管理库中的数据存储配置项；

通过多个线程读取标准数据文件；

通过批量入库的方式将标准数据文件中的指标数据存储入监控数据库中。

Images