CN105681100B - 一种综合网管多协议采集调度方法 - Google Patents

Abstract

一种综合网管多协议采集调度方法，采集调度服务是连接数据呈现层和采集适配器的桥梁，是运行任务并且反馈结果。采集调度服务的采集器是根据不同的接口协议，开发出来的程序，他实现了该接口协议描述的所有数据的采集。需要运行的任务来自于呈现层，使用者在接口配置界可以查看接口支持的各种操作，在任务管理界面，可以根据实际的需求创建各种采集任务。采集调度服务定时运行已经配置的任务，根据任务描述的信息，来适配采集服务，然后通过标准入口，调用采集服务，监控采集服务的运行，并将运行结果反馈到呈现层霍直接写入数据存储层。本发明实现了多协议多语言的进程的统一调用，将种类繁多的接口协议同呈现层彻底隔离，大大降低了施工和维护人员的任职需求。

Description

一种综合网管多协议采集调度方法

技术领域

本发明涉及一种综合网管系统。特别是涉及一种综合网管多协议采集调度方法。

背景技术

综合网管系统需要面对多种类的厂家接口，这些接口协议种类和开发工具都可能不同，直接将这些接口暴露给工程人员或者用户，会给日常的管理和维护工作带来大量的困难。因此，需要一个同一个方法将他们封装起来，只留下统一的简单的对外使用接口。

发明内容

本发明所要解决的技术问题是，提供一种能够大大降低施工和维护人员工作量的综合网管多协议采集调度方法。

本发明所采用的技术方案是：一种综合网管多协议采集调度方法，包括有如下步骤：

1)进行基础配置，包括有：

采集器层的设定、策略组定义、采集服务和采集参数；

2)新增采集目标；

3)任务创建和任务运行。

步骤1)中所述的采集器层是用于实现对不同的接口协议所描述的所有数据的采集，所述采集器层包括有若干个具有相同结构的采集器，所述采集器层的设定是指编写若干个具有如下输入参数的程序：

配置文件名：通过配置文件，来确定这次调用是为了从哪个采集目标的接口中采集数据；

服务关键字：这个字段用来确定这次调用需要实现的是哪种数据的采集或者说这次调用实现的哪种功能；

对象列表：用于确定采集范围，当列表为空时代表采集全网数据；

任务id：任务创建时生成的一个UUID；

每一个具有如上输入参数的程序构成采集器层中的一个采集器。

步骤1)中所述的策略组定义是根据专业的一个厂家提供的接口开发的一组与该厂家所对应的服务，实现该厂家所提供接口的所有功能，则将这组服务定义为一个策略组，所有的策略组信息都存储在策略组数据表中，所述的策略组信息包括有：策略组ID、策略组名称、所属厂家和所属专业，建表脚本名称，所述建表脚本名称对应有策略组用到的所有数据表的创建SQL。

步骤1)中所述的采集服务，是设定在策略组下面的若干服务，所述的若干服务是对采集器层实现的采集功能的映射包含有：实时告警，告警同步，性能采集，资源同步，用户或者工程人员根据服务名选择自己需要的服务，根据服务创建任务，从而实现相应的采集功能。

步骤1)中所述的采集参数，是不同的采集器在采集数据需要用到的参数，不同的服务需要用的参数不一样，设置参数配置表，将每个服务需要的参数名称配置进去，以供创建采集目标实例的时候检索到，然后由用户将相应的数值填写进去。

所述的不同采集器在采集数据需要用到的参数包括：ip、端口、用户名、密码的文件路径。

采集器层中的各采集器运行完毕，将采集的结果通过文件或者消息流的方式将采集到的数据输出到数据库，输出去的数据格式为XML。

步骤2)中所述的新增采集目标包括：

根据采集目标表的结构，在采集目标表中新增一条采集目标数据，所述的采集目标表包括的字段有：目标名、目标ip地址、目标缩写、目标厂家、目标专业、策略组名和配置文件名；

所述的在采集目标表中新增一条采集目标数据，是指在采集目标表中填写：目标名、目标ip地址、目标缩写、目标厂家、目标专业；

根据采集目标数据的厂家和专业，从策略组数据表中过滤出一组数据，由用户在该组数据中选择一个策略组，将这个策略组名称更新到采集目标表中新增的这一条采集目标相应的字段中；

根据策略组包含的所有服务，从参数配置表中查找到需要填写的参数名称，给这些参数名称填写正确的数值，将这些参数名称和数值保存并发送给配置生成服务；

配置生成服务根据收到消息中的参数名称和数值生成配置文件，并且根据策略组配置的脚本创建相应的数据表；

将生成的配置文件名称更新到采集目标表中，创建目标完成。

步骤3)中所述的任务创建是，包括有

(1)选取一个采集目标；

(2)根据所述采集目标对应的策略组，检索出所述采集目标支持的采集服务；

(3)选取一个采集服务，根据策略组的服务配置，判定服务是否需要守护；

(4)如果需要守护，创建守护类任务后进入第(5)步；如果不需要守护，创建周期运行任务后进入第(5)步，或者创建一次性任务后进入第(6)步；

(5)填写任务周期，起止时间；

(6)根据策略组和服务，关联出需要调用的采集器和关键字，并且从采集目标表中关联出配置文件名，随机生成一个任务ID，形成一条任务数据，将任务数据写入任务表，所述的任务表包括有：任务ID、任务周期、起止时间、采集器和关键字以及配置文件名；

(7)最后，启动任务。

步骤3)中所述的任务运行是由任务调度服务来完成，包括：

(1)检索任务列表，获取当前需要执行的任务；

(2)针对守护类任务，检查守护的服务是否存在，如果存在，结束，不存在，则启动服务；

(3)针对一次性任务，调用任务相关服务，更新任务运行结果，更新任务执行状态为终止；针对周期性任务，调用任务相关服务，更新任务运行结果，更新最后运行时间。

本发明的一种综合网管多协议采集调度方法，数据采集子系统使用了服务映射逻辑和动态调用技术，实现了多协议多语言的进程的统一调用，将种类繁多的接口协议同呈现层彻底隔离，大大降低了施工和维护人员的工作量。本发明使用策略组的概念，将每一种厂家接口包装成一个策略组，将该接口提供的功能映射成标准功能。施工人员在部署的时候只需要给厂家接口实例配置正确的策略组，就可以使用关联出来的各种服务采集数据。

关联数组是用hash算法建立了一个数据结构。通过一些自有的公共函数，关联数组可以跟xml文件进行相关转化。在整个数据子系统中，各个功能单元的对外的输入输出和自己内部的数据流动都是通过关联数组来实现的。关联数组的应用统一了子系统内部的数据流转方式，大大节约了开发成本。采集适配器的调用采用进程调用的方式来实现，定义了进程入口的参数。C语言开发的适配器和上层服务，直接使用关联数组来完成数据的输入输出存储；对于非C语言开发的适配器，使用xml格式的文件或文本消息完成跟子系统其他功能服务的对接，使其顺利融入子系统中。

附图说明

图1是本发明中基础配置映射关系第1实例图；

图2是本发明中基础配置映射关系第2实例图；

图3是本发明中基础配置映射关系第3实例图；

图4是本发明中新增采集目标的流程图；

图5是本发明中创建任务的流程图；

图6是本发明中运行任务的流程图。

具体实施方式

下面结合实施例和附图对本发明的一种综合网管多协议采集调度方法做出详细说明。

本发明的一种综合网管多协议采集调度方法，采集调度服务是连接数据呈现层和采集适配器的桥梁，其职责是运行任务并且反馈结果。需要运行的任务来自于呈现层，使用者在接口配置界可以查看接口支持的各种操作，在任务管理界面，可以根据实际的需求创建各种采集任务，整个过程不需要这些任务调用的具体是哪个采集适配器，到底是什么协议实现的。采集调度服务定时运行已经配置的任务，根据任务描述的信息，来适配采集服务，然后通过标准入口，调用采集服务，监控采集服务的运行，并将运行结果反馈到呈现层霍直接写入数据存储层。

本发明的一种综合网管多协议采集调度方法，其特征在于，包括有如下步骤：

1)进行基础配置，包括有：采集器层的设定、策略组定义、采集服务和采集参数；其中：

(1)所述的采集器层是用于实现对不同的接口协议所描述的所有数据的采集，所述采集器层包括有若干个具有相同结构的采集器，随着接入的专业和接口越来越多，采集器也会越来越多。所述采集器层的设定是指编写若干个具有如下统一的4个输入参数的程序：

配置文件名：通过配置文件，来确定这次调用是为了从哪个采集目标的接口中采集数据；

服务关键字：这个字段用来确定这次调用需要实现的是哪种数据的采集或者说这次调用实现的哪种功能；

对象列表：用于确定采集范围，例如采集某些网元的性能数据，可以为空，当列表为空时代表采集全网数据；

任务id：任务创建时生成的一个UUID；

每一个具有如上输入参数的程序构成采集器层中的一个采集器。

(2)所述的策略组定义是根据专业的一个厂家提供的接口开发的一组与该厂家所对应的服务，实现该厂家所提供接口的所有功能，则将这组服务定义为一个策略组，所有的策略组信息都存储在策略组数据表中，所述的策略组信息包括有：策略组ID、策略组名称、所属厂家和所属专业，建表脚本名称，所述建表脚本名称对应有策略组用到的所有数据表的创建SQL。

(3)所述的采集服务，是设定在策略组下面的若干服务，所述的若干服务是对采集器层实现的采集功能的映射包含有：实时告警，告警同步，性能采集，资源同步等功能，用户或者工程人员根据服务名选择自己需要的服务，根据服务创建任务，从而实现相应的采集功能。

如图1、图2、图3所示，一个采集器可以提供多个采集服务，通过服务关键字参数来识别提供的具体服务。如图1所示是一个采集器提供1个采集服务；图2所示是一个采集器提供2个采集服务；图3所示是一个采集器提供3个采集服务。

(4)所述的采集参数，是不同的采集器在采集数据需要用到的参数，不同的服务需要用的参数不一样，设置参数配置表，将每个服务需要的参数名称配置进去，以供创建采集目标实例的时候检索到，然后由用户将相应的数值填写进去。所述的不同采集器在采集数据需要用到的参数包括：ip、端口、用户名、密码的文件路径等。

采集器层中的各采集器运行完毕，将采集的结果通过文件或者消息流的方式将采集到的数据输出到数据库，输出去的数据格式为XML。

2)新增采集目标；如图4所示，所述的新增采集目标包括：

(1)根据采集目标表的结构，在采集目标表中新增一条采集目标数据，所述的采集目标表包括的字段有：目标名、目标ip地址、目标缩写、目标厂家、目标专业、策略组名和配置文件名；

所述的在采集目标表中新增一条采集目标数据，是指在采集目标表中填写：目标名、目标ip地址、目标缩写、目标厂家、目标专业；

(2)根据采集目标数据的厂家和专业，从策略组数据表中过滤出一组数据，由用户在该组数据中选择一个策略组，将这个策略组名称更新到采集目标表中新增的这一条采集目标相应的字段中；

(3)根据策略组包含的所有服务，从参数配置表中查找到需要填写的参数名称，给这些参数名称填写正确的数值，将这些参数名称和数值保存并发送给配置生成服务；

(4)配置生成服务根据收到消息中的参数名称和数值生成配置文件，并且根据策略组配置的脚本创建相应的数据表；

(5)将生成的配置文件名称更新到采集目标表中，创建目标完成。

3)任务创建和任务运行。其中：

所述的任务创建是，如图5所示，包括有

(1)选取一个采集目标；

(2)根据所述采集目标对应的策略组，检索出所述采集目标支持的采集服务；

(3)选取一个采集服务，根据策略组的服务配置，判定服务是否需要守护；

(4)如果需要守护，创建守护类任务后进入第(5)步；如果不需要守护，创建周期运行任务后进入第(5)步，或者创建一次性任务后进入第(6)步；

(5)填写任务周期，起止时间；

(6)根据策略组和服务，关联出需要调用的采集器和关键字，并且从采集目标表中关联出配置文件名，随机生成一个任务ID，形成一条任务数据，将任务数据写入任务表，所述的任务表包括有：任务ID、任务周期、起止时间、采集器和关键字以及配置文件名；

(7)最后，启动任务。

所述的任务运行是由任务调度服务来完成，如图6所示，包括：

检索任务列表，获取当前需要执行的任务；其中：

(1)针对守护类任务，检查守护的服务是否存在，如果存在，结束，不存在，则启动服务；

(2)针对一次性任务，调用任务相关服务，更新任务运行结果，更新任务执行状态为终止；针对周期性任务，调用任务相关服务，更新任务运行结果，更新最后运行时间。

Claims (2)

1.一种综合网管多协议采集调度方法，其特征在于，包括有如下步骤：

1)进行基础配置，包括有：采集器层的设定、策略组定义；其中：

所述的采集器层是用于实现对不同的接口协议所描述的所有数据的采集，所述采集器层包括有若干个具有相同结构的采集器，所述采集器层的设定是指编写若干个具有如下输入参数的程序：

配置文件名：通过配置文件，来确定这次调用是为了从哪个采集目标的接口中采集数据；

服务关键字：用来确定采集器这次实现哪种采集功能，每个采集器提供一个或多个采集服务，通过服务关键字识别提供的采集服务；

对象列表：用于确定采集范围，当列表为空时代表采集全网数据；

任务id：任务创建时生成的一个UUID；

每一个具有如上输入参数的程序构成采集器层中的一个采集器；

根据专业的一个厂家提供的接口开发的一组与该厂家所对应的采集服务，实现该厂家所提供接口的所有采集功能，则将这组采集服务定义为一个策略组；所有的策略组信息都存储在策略组数据表中，所述的策略组信息包括有：策略组ID、策略组名、所属厂家、所属专业和建表脚本名，所述建表脚本对应有策略组用到的所有数据表的创建SQL；

设定在策略组下面的若干采集服务是对采集器层实现的采集功能的映射，包含有：实时告警，告警同步，性能采集，资源同步；用户根据采集服务名选择自己需要的采集服务，根据采集服务创建采集任务，从而实现相应的采集功能；

采集器在采集数据时需要用到的参数称为采集参数，不同的采集服务需要用的采集参数不一样，设置参数配置表，将每个采集服务需要的采集参数名配置进去，以供创建采集目标时检索，然后由用户将相应的数值填写进去，不同采集器采集数据需要用到的参数包括：ip、端口、用户名、密码的文件路径；

2)新增采集目标；所述的新增采集目标包括：

根据采集目标表的结构，在采集目标表中新增一条采集目标数据，所述的采集目标表包括的字段有：目标名、目标ip地址、目标缩写、目标厂家、目标专业、策略组名和配置文件名；

所述的在采集目标表中新增一条采集目标数据，是指在采集目标表中填写：目标名、目标ip地址、目标缩写、目标厂家、目标专业；

根据采集目标数据的厂家和专业，从策略组数据表中过滤得到一个策略组，将这个策略组名更新到采集目标表中新增的这一条采集目标相应的字段中；

根据策略组包含的所有采集服务，从参数配置表中查找到需要填写的采集参数名，给这些采集参数名填写正确的数值，将这些采集参数名和数值保存并发送给配置生成服务；

配置生成服务根据收到消息中的采集参数名和数值生成配置文件，并且根据策略组信息中的建表脚本创建相应的数据表；

将生成的配置文件名更新到采集目标表相应的字段中，创建采集目标完成；

3)任务创建和任务运行；所述的任务创建为：

(1)选取一个采集目标；

(2)根据所述采集目标对应的策略组，检索出所述采集目标支持的采集服务；

(3)选取一个采集服务，根据策略组的采集服务配置，判定采集服务是否需要守护；

(4)如果需要守护，创建守护类任务后进入第(5)步；如果不需要守护，创建周期运行任务后进入第(5)步，或者创建一次性任务后进入第(6)步；

(5)填写任务周期，起止时间；

(6)根据所述策略组和采集服务，关联出需要调用的采集器和服务关键字，并且从采集目标表中关联出配置文件名，随机生成一个任务ID，形成一条任务数据，将任务数据写入任务表，所述任务表的字段包括有：任务ID、任务周期、起止时间、采集器和服务关键字以及配置文件名；

(7)最后，启动任务；

所述的任务运行是由任务调度服务来完成，包括：

(1)检索任务列表，获取当前需要执行的任务；

(2)针对守护类任务，检查守护的采集服务是否存在，如果存在，结束，不存在，则启动守护的采集服务；

(3)针对一次性任务，调用任务相关采集服务，更新任务运行结果，更新任务执行状态为终止；针对周期性任务，调用任务相关采集服务，更新任务运行结果，更新最后运行时间。

2.根据权利要求1所述的一种综合网管多协议采集调度方法，其特征在于，采集器层中的各采集器运行完毕，通过文件或者消息流的方式将采集到的数据输出到数据库，输出去的数据格式为XML。