CN103188101A

CN103188101A - 一种分布式采集调度方法及装置

Info

Publication number: CN103188101A
Application number: CN 201110457735
Authority: CN
Inventors: 代银玉
Original assignee: Chengdu Qinzhi Digital Technology Co Ltd
Current assignee: Chengdu Qinzhi Digital Technology Co Ltd
Priority date: 2011-12-31
Filing date: 2011-12-31
Publication date: 2013-07-03

Abstract

本发明为一种分布式采集调度方法及装置，方法：1）中心服务器录入监控设备及监控指标；2）中心服务器上配置、认证代理服务器的信息；3）采集机上配置、认证代理服务器的信息；4）中心服务器从代理服务器上获取采集机列表，并配置；5）采集机进行采集任务调度并进行采集；6）采集机上将采集值发送给代理服务器，并释放该次采集任务所占有的资源；7）代理服务器将采集值发送给中心服务器，中心服务器对采集值进行处理；8）中心服务器上对设备、监控指标作变更时，会将变更信息通过代理服务器发送给采集机进行变更。如此可以降低单个采集调度系统的资源利用，显著提高CPU均衡占用问题，统一管理采集数据的处理及展现。

Description

一种分布式采集调度方法及装置

技术领域

本发明涉及IT运维领域，尤其涉及一种网管系统分布式采集调度的方法及装置。

背景技术

随着网络规模日益扩大，结构日渐复杂，对各类设备或应用服务的管理和维护难度越来越大，对智能化管理需求也越来越明显。

当网管设备数量太多或有VLAN划分时，一般的采集调度方法只有单一的采集系统，往往很难满足采集及时、CPU时间均衡占用等问题，这样不仅难以对设备性能数据进行准确采集，而且容易导致CPU占用忽高忽低致使系统响应不了的问题。

SNMP，Simple Network Management Protocol，简单网络管理协议。

JDBC，Java Data Base Connectivity，java数据库连接，用于执行SQL语句的Java API接口。

RMI，Remote Method Invocation，远程方法调用。

VLAN，Virtual Local Area Network，虚拟局域网。

发明内容

本发明的目的在于提供一种分布式采集调度方法及装置，该装置中包括一台中心服务器、一台代理服务器、多台采集机。用户可以配置多台采集机，只需要在中心服务器将需要采集的各种网络设备信息分配给不同的采集机，那么每个采集机就可以单独的调度自己的采集任务，从而更高效的实现采集任务调度，能够让每个采集机的CPU占用降到更低，降低系统负载不了的风险。

本发明特别适合网络设备繁多以及有VLAN划分的网络，可以将中心服务器、采集机分别放在不同的子网中，而中心服务器和采集机所在子网不需要能够通信，只需要它们分别可以与代理服务器通讯即可。相对于传统的采集方法，该方法进行采集是在各个子网中进行，那么所采集的性能数据就会更真实、更准确，从而提供更全方面、实时的监控。

本发明的目的通过如下方案实现：一种分布式采集调度方法，包括以下步骤：1）中心服务器录入监控设备及监控指标；2）中心服务器上配置与代理服务器的信息并进行认证；3）采集机上配置与代理服务器的信息并进行认证；4）在中心服务器上从代理服务器上获取采集机列表，并给每个采集机进行配置；5）采集机进行采集任务调度并进行采集；6）采集机上将采集值发送给代理服务器，并释放该次采集任务所占有的资源；7）代理服务器将采集值发送给中心服务器，中心服务器对采集值进行处理；8）中心服务器上对设备、监控指标作变更时，会将变更信息通过代理服务器发送给采集机进行变更。

应用上述方法，可以降低单个采集调度系统的资源利用，显著提高CPU均衡占用问题，并且采集数据处理及展现可以在中心服务器进行统一管理，这样不仅节约人工维护成本，而且也降低了维护管理的风险。

本发明中，所述步骤1）通过从EXCEL、XML、TXT自动导入或者人工编辑的方法录入网管设备信息及其监控指标、采集方式等相关信息。以每个设备的每个监控指标作为采集任务单位，可以保证每个监控指标不互相影响，从而达到各个监控指标的采集更真实。

本发明中，所述步骤2）、3）是分别配置中心服务器和采集机与代理服务器的信息并进行认证。其中涉及到中心服务器和采集机与代理服务器的通信方式，主要可以分为RMI (Remote Method Invocation，远程方法调用)、Socket方式。中心服务器和采集机之间不直接进行通信，都是将信息交给代理服务器来进行交互。配置代理服务器信息后会进行认证，认证方式使用认证码的方式，中心服务器、每个采集机所标识的认证码不同，从而确定在交互过程中消息的来源和目标。

本发明中，所述步骤4）是由中心服务器来配置采集机的信息，主要配置每个采集机所采集的设备及监控指标的范围，将采集信息按要求分配给不同的采集机，从而实现分布式采集。

本发明中，所述步骤5）是每个采集机如何进行采集调度的过程。采集机以监控指标为最小采集任务单位，将每个采集任务首先放入到任务调度队列中，任务调度队列调度采集任务方式可采用但不限于以下两种定时轮询模式：指定周期间隔轮询模式、指定时间点轮询模式。

本发明中，所述步骤6）是在步骤5）采集成功之后，采集机会将采集值发送到代理服务器上。当代理服务器收到采集机发送的值信息后，会给采集机返回发送成功的信息，到此则表示已经完成该周期的监控指标的采集，后续采集机上将进行线程、内存、连接等资源的释放。

本发明中，所述步骤7）中心服务器获取到代理服务器传过来的采集值后，会对采集值进行入库、阀值过滤、告警等处理，从而实现对网络设备及时、准确的监控。

本发明中，所述步骤8）是中心服务器上网络设备、监控指标有变更时，需要将信息同步到采集机上，使得采集机能够及时的更新采集任务。

本发明中，步骤1）、2）、3）是配置步骤，可以任意互换。

本发明中，步骤4）是在步骤2）、3）配置成功后才能进行，故需要以2）、3）步骤为前提。

本发明中，步骤5）、6）、7）是采集任务的调度过程，不可互换，需要以1）、2）、3）、4）步骤后为前提。

本发明中，步骤8）需要已1）、2）、3）、4）步骤后为前提，但与5）、6）、7）的顺序不冲突。

一种分布式采集调度装置，所述的装置包括中心服务器、代理服务器、采集机及网络设备，中心服务器与代理服务器相连接，代理服务器与采集机相连接，采集机连接到网络设备，代理服务器上设置有监管装置，代理服务器上设置有采集机控制装置，采集机可对网络设备进行指标采集。

综上所述，采用上述技术方案：可以自动的对各类网络设备性能数据进行采集，能够更高效的利用系统资源，提高更高效的采集调度，既节约了人工管理的成本，又能更及时、准确的了解各类设备的运行状况，从而进行管理和维护，有效地保证了各类设备的正常运行，降低维护成本。

附图说明

图1：是分布式采集调度的总流程图。

图2：是分布式采集调度的原理图。

图3：是分布式采集调度的消息交互图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，不可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1所示，分布式采集调度的整体步骤为：1）用户录入网络设备及监控指标信息；网络设备信息包括：设备IP、设备类型、系统版本等；监控指标信息包括：指标名称、指标采集方式、指标采集周期等。2）用户在中心服务器、采集机上配置代理服务器信息，信息包括：代理服务器IP、代理服务器端口、连接方式等。3）中心服务器及采集机对代理服务器进行认证，认证信息通过步骤2）中获取；只有认证成功后才能互相进行通信。4）在中心服务器上配置采集机的信息。此步骤会利用步骤2）、步骤3）中配置的代理服务器及其认证信息，中心服务器从代理服务器上取得已经认证的采集机列表，然后将步骤1）中录入的监控信息分配给不同的采集机，并将分配信息通过代理服务器发送给各个采集机，让采集机按照分配的信息进行采集。5）采集机上获取到分配的采集信息后，就会将监控指标作为采集任务，放入到采集队列当中，等待采集周期到达执行采集。6）在执行采集时，会利用步骤1）中配置的采集方式等信息对监控指标执行采集。7）采集机上执行采集后，需要将采集值发给代理服务器，代理服务器会给采集机返回接受成功与否的标识，同时代理服务器再将采集值发给中心服务器，让中心服务器对采集值进行处理，以达到中心服务器对采集数据进行集中管理和展现的目的。8）当采集设备及采集指标有变更时，可以在中心服务器上进行更改，然后通过代理服务器将变更信息发给采集机。

关于本发明中，分布式采集调度原理图如图2所示，本发明中对网络设备的采集都来自各采集机，中心服务器自身不进行具体设备数据采集操作，只对采集后的值进行集中处理。中心服务器首先从代理服务器上获取已经认证的采集机信息，并给每个采集机分配采集任务，可根据采集机的实际情况来确定每个采集机需要分配的采集设备数的多少；其次中心服务器对每个采集机采集的性能数据进行集中管理，能够更完整的展示整个系统的性能情况。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims

1.一种分布式采集调度方法，其特征在于该方法包括以下步骤：1）中心服务器录入监控设备及监控指标；2）中心服务器上配置与代理服务器的信息并进行认证；3）采集机上配置与代理服务器的信息并进行认证；4）在中心服务器上从代理服务器上获取采集机列表，并给每个采集机进行配置；5）采集机进行采集任务调度并进行采集；6）采集机上将采集值发送给代理服务器，并释放该次采集任务所占有的资源；7）代理服务器将采集值发送给中心服务器，中心服务器对采集值进行处理；8）中心服务器上对设备、监控指标作变更时，会将变更信息通过代理服务器发送给采集机进行变更。

2.根据权利要求1所述的一种分布式采集调度方法，其特征在于：步骤4）是需要以步骤2）、3）为前提,只有在中心服务器、采集机与代理服务器正常通信时才可以设置采集机信息。

3.根据权利要求1所述的一种分布式采集调度方法，其特征在于：步骤5）、6）、7）是采集任务的调度过程，顺序不可互换。

4.根据权利要求1所述的一种分布式采集调度方法，其特征在于：步骤5）中将采用步骤1）中录入的监控设备的采集方式、采集周期等信息来执行任务调度。

5.根据权利要求1所述的一种分布式采集调度方法，其特征在于：本发明中，步骤7）、8）需要以1）、2）、3）、4）步骤后为前提，必须在中心服务器及采集机都能够与代理服务器进行通信。

6.根据权利要求1所述的一种分布式采集调度方法，其特征在于：步骤8）与步骤5）、6）、7）的顺序可互换。

7.一种分布式采集调度装置，其特征在于：所述的装置包括中心服务器、代理服务器、采集机及网络设备，中心服务器与代理服务器相连接，代理服务器与采集机相连接，采集机连接到网络设备，代理服务器上设置有监管装置，代理服务器上设置有采集机控制装置，采集机可对网络设备进行指标采集。