CN102035664B - 简单网络管理协议设备的数据并行采集归并方法及系统 - Google Patents

Abstract

本发明公开了简单网络管理协议设备的数据并行采集归并方法及系统，此系统包括并行控制实体和一个或多个并行采集实体，所述并行控制实体与各并行采集实体均相连；所述并行控制实体，用于为各并行采集实体分配简单网络管理协议设备上的采集点，还用于对各并行采集实体返回的性能数据进行统一归并处理；所述并行采集实体，用于以并行的方式从并行控制实体配置的简单网络管理协议设备的采集点上采集性能数据，并将采集到的性能数据发送至所述并行控制实体。本发明可提升了采集效率以及系统的可用性。

Description

简单网络管理协议设备的数据并行采集归并方法及系统

技术领域

本发明涉及通信领域中设备管理系统的性能采集领域，尤其涉及简单网络管理协议(Simple Network Management Protocol，简称Snmp)设备的数据采集归并方法及系统。

背景技术

性能采集系统是指从设备上获取运行数据，进行相应计算，根据获取的数据评判设备的运行状态和性能指标。

在管理Snmp设备的通信领域中，构建性能采集系统时，需要对设备采集点上支持的性能量通过Snmp的方式进行采集，通过观察采集性能量来了解设备的运行情况。采集点指的是设备上可以提供性能数据采集和统计的物理实体，设备上指定的获取性能数据的来源。采集时，一般都是循环对所有的采集点进行性能量的采集，采集会由于不同的设备类型而有着不同的实现方式，将采集到的性能数据经过一定的后处理，例如单位的归一，数据去毛刺处理，最终存储到数据库。

目前的系统在做采集处理时，往往都是采用全部逻辑串行处理的方法，也就是直接对采集点采集，采集时往往要根据不同的设备，板卡情况选择不同的采集逻辑处理，对每个采集点返回的结果进行后处理，再存入数据库。这种方法由于全部采用串行逻辑，使得即便是发往不同设备可以并行的获取性能量的操作也被串行起来，大大降低了采集效率；另外将性能数据的回收逻辑以及数据的后处理和存储逻辑耦合在一起，导致较多的逻辑重复，后期根据实际需要进行调优时，由于很难对逻辑进行隔离，不能独立地修改需要调优的逻辑，往往达不到好的效果，且使系统的可扩展性较弱。

发明内容

本发明要解决的技术问题是提供简单网络管理协议设备的数据并行采集归并方法及系统，提高数据采集效率和处理效率。

为了解决上述问题，本发明提供了简单网络管理协议设备的数据采集归并系统，包括并行控制实体和一个或多个并行采集实体，所述并行控制实体与各并行采集实体均相连；所述并行控制实体，用于为各并行采集实体分配简单网络管理协议设备上的采集点，还用于对各并行采集实体返回的性能数据进行统一归并处理；所述并行采集实体，用于以并行的方式从并行控制实体配置的简单网络管理协议设备的采集点上采集性能数据，并将采集到的性能数据发送至所述并行控制实体。

进一步地，上述系统还具有以下特点：

所述并行控制实体，还用于确定一采集标识符用于区分不同的采集任务，向并行采集实体发送配置消息通知为所述并行采集实体分配的采集点，此配置消息中还携带采集标识符用于指示分配的采集点是此次采集任务中的采集点；所述并行采集实体，还用于对所述并行控制实体分配的采集点进行性能数据采集完毕后，向所述并行控制实体发送携带采集的性能数据的上报消息，并且在此上报消息中携带所述采集标识符。

进一步地，上述系统还具有以下特点：

所述并行控制实体，还用于对各采集点进行归类，归类后采集点类别个数为M，所述采集标识符对应的采集任务中并行采集实体个数为N，将M与N的最小值作为第一次分配的采集点归类数S，将S个采集点类别分别分配给S个并行采集实体；M，N，S均为大于零的整数。

进一步地，上述系统还具有以下特点：

所述并行控制实体，还用于在M大于N时，在一并行采集实体对此次采集任务中分配的采集点的性能数据采集完毕后，将一剩余采集归类的采集点分配到此并行采集实体上，依此类推，直至此次采集任务中所有剩余采集归类均分配完毕。

进一步地，上述系统还具有以下特点：

所述并行控制实体，还用于在采集标识符指示的采集任务中，各并行采集实体均完成采集并将采集的性能数据发送至并行控制实体后，对收到的此次采集任务的性能数据进行统一归并处理。

为了解决上述问题，本发明提供了简单网络管理协议设备的数据采集归并方法，包括：各并行采集实体以并行的方式从并行控制实体配置的简单网络管理协议设备的采集点上采集性能数据，并将采集到的性能数据发送至所述并行控制实体，所述并行控制实体对各并行采集实体返回的性能数据进行统一归并处理。

进一步地，上述方法还具有以下特点：

所述并行控制实体确定一采集标识符用于区分不同的采集任务，所述并行控制实体向并行采集实体发送配置消息通知为所述并行采集实体分配的采集点，此配置消息中还携带采集标识符用于指示分配的采集点是此次采集任务中的采集点；所述并行采集实体采集完毕后，向所述并行控制实体发送携带采集的性能数据的上报消息，并且在此上报消息中携带所述采集标识符。

进一步地，上述方法还具有以下特点：

所述采集标识符对应的采集任务中并行采集实体个数为N，并行控制实体对各采集点进行归类后采集点类别个数为M，将M与N的最小值作为第一次分配的采集点归类数S，将S个采集点类别分别分配给S个并行采集实体，此S个并行采集实体分别对所分配的采集点类别对应的采集点进行性能数据采集，M，N，S均为大于零的整数。

进一步地，上述方法还具有以下特点：

M大于N时，一并行采集实体对此次采集任务中分配的采集点的性能数据采集完毕后，并行控制实体将一剩余采集归类的采集点分配到此并行采集实体上，依此类推，直至此次采集任务中所有剩余采集归类均分配完毕。

进一步地，上述方法还具有以下特点：

在采集标识符指示的采集任务中，各并行采集实体均完成采集并将采集的性能数据发送至并行控制实体后，并行控制实体对收到的此次采集任务的性能数据进行统一归并处理。

以上方案与传统的所有处理逻辑串行方案相比，由于将不同设备的采集都分配到不同的采集实体去执行，减小了他们之间的相互影响，充分利用了机器的硬件设施，同时也提升了采集效率以及系统的可用性，且本发明的归并算法逻辑清晰并且易于扩展。

本发明提供的方案中，将采集点的分配逻辑放到各并行控制实体中，使得采集点的分配和性能数据的采集做了很好的逻辑隔离，在实际的应用中，因为Snmp设备的特性，对并发或者频繁的Snmp操作往往支持得不是很好，所以分配时可以方便地选择归类策略，可以按照负载均衡的原则分配或者按照IP地址归类后再进行分配，而又不影响采集逻辑。

本发明提供的方案中，将性能数据的后处理放到并行控制实体中，每个并行采集实体对性能数据采集完毕后，都将性能数据发送到并行控制实体，并行控制实体对数据进行归并后，再批量地进行后处理以及存储数据库。处理逻辑相对集中，同时也方便一些全局数据逻辑的处理，在以往系统的处理逻辑中，还需要通过缓存的技术才能解决。也能方便以后对存储逻辑的优化，不会影响采集逻辑。

使用本发明提供的方案，每种处理逻辑隔离得比较清晰，使得每种逻辑都能够根据实际需求独立变化，系统具有极强的扩展性。如果加上采集点合理的地域划分，能够构建出分布式的性能采集系统。

附图说明

图1是简单网络管理协议设备的数据采集归并系统的组成结构图；

图2是简单网络管理协议设备的数据采集归并方法的流程图。

具体实施方式

在系统配置阶段，建立并行控制实体和并行采集实体，实施例中，如图1所示，简单网络管理协议设备的数据采集归并系统包括并行控制实体和一个或多个并行采集实体(图中n为大于0的整数)，并行控制实体与各并行采集实体均相连；各并行采集实体相互独立，不需要交互信息。并行采集实体可与同一Snmp设备或不同Snmp设备的一个或多个采集点相连。

所述并行控制实体，用于为各并行采集实体分配简单网络管理协议设备上的采集点，还用于对各并行采集实体返回的性能数据进行统一归并处理；还用于确定一采集标识符用于区分不同的采集任务，向并行采集实体发送配置消息通知为所述并行采集实体分配的采集点，此配置消息中还携带采集标识符用于指示分配的采集点是此次采集任务中的采集点；还用于对各采集点进行归类，归类后采集点类别个数为M，所述采集标识符对应的采集任务中并行采集实体个数为N，将M与N的最小值作为第一次分配的采集点归类数S，将S个采集点类别分别分配给S个并行采集实体；M，N，S均为大于零的整数；还用于在M大于N时，在一并行采集实体对此次采集任务中分配的采集点的性能数据采集完毕后，将一剩余采集归类的采集点分配到此并行采集实体上，依此类推，直至此次采集任务中所有剩余采集归类均分配完毕；还用于在采集标识符指示的采集任务中，各并行采集实体均完成采集并将采集的性能数据发送至并行控制实体后，对收到的此次采集任务的性能数据进行统一归并处理。

所述并行采集实体，用于以并行的方式从并行控制实体配置的简单网络管理协议设备的采集点上采集性能数据，并将采集到的性能数据发送至所述并行控制实体；还用于对所述并行控制实体分配的采集点进行性能数据采集完毕后，向所述并行控制实体发送携带采集的性能数据的上报消息，并且在此上报消息中携带所述采集标识符；

实施例中，各并行采集实体以并行的方式从并行控制实体配置的简单网络管理协议设备的采集点上采集性能数据，并将采集到的性能数据发送至所述并行控制实体，所述并行控制实体对各并行采集实体返回的性能数据进行统一归并处理。具体的，如图2所示，对Snmp设备的测量过程中，对Snmp设备的数据采集归并方法具体包括以下步骤：

步骤201，根据各采集点确定并行采集实体，并行控制实体为各并行采集实体分配采集点并通知至各并行采集实体。

系统初始创建时建立的并行采集实体用于此次采集过程时使用哪些并行采集实体，可以由系统默认或指定，也可以由并行控制实体选择并确定。由并行控制实体确定时，并行控制实体中保存此次采集过程中确定的并行采集实体的列表。

并行控制实体为其控制的每次采集定义一个唯一的采集标识符I，并行控制实体中记录此采集标识符I用于区分不同的采集任务，I可以取一个长整型的数值，初始取值为1，并行采集实体完成此次采集后，将此采集实体的采集标识符加一。并行控制实体确定为各并行采集实体分配的采集点后，向各并行采集实体发送配置消息，此配置消息中携带为此并行采集实体分配的各采集点的标识，以及为其分配的采集点的相关信息，包括设备类型、采集点的类型等。此配置消息中还携带本次采集任务的采集标识符I，用于指示分配的采集点是为此并行采集实体在此次采集任务的需采集的采集点。

并行控制实体为并行采集实体分配采集点时，可采用多种分配方法，例如，根据采集点的数量为各并行采集实体平均分配相同数量的采集点，也可以根据采集点的IP地址，将属于同一采集点IP地址的采集点分配到同一并行采集实体上，还可以根据采集点的类型将相同类型的采集点分配到同一并行采集实体上。下面详细说明归类策略的方式：

并行控制实体对根据采集点类型对此次采集任务中的采集点进行归类，例如将采集点的业务类型作为采集点类型(用户端口采集点、上联端口采集点)，归类后采集点类别个数为M，并行控制实体确定的并行采集实体的个数为N，取M、N的最小值作为第一次分配的采集点归类数S，剩余采集归类数为C，C＝M-S。并行控制实体按照一个采集点归类分配一个采集实体的原则，将同一类的采集点分配到同一并行采集实体上。

并行控制实体还保存各采集标识符I对应的剩余采集归类数C的值。M大于S时，C大于0，当一个并行采集实体将此次采集任务中对应采集点的性能数据采集完毕后，并行控制实体将一剩余采集归类的采集点分配到此并行采集实体上，并行采集实体对此剩余采集归类的采集点进行性能数据采集，C的值减一，依此类推，直至此次采集任务中所有剩余采集归类均分配完毕，使此次采集任务中所有采集点的性能数据得以采集。M，N，S均为大于等于0的整数，C为整数。

为了方便更换采集点的分配策略，并行控制实体需对采集点归类策略进行控制，例如在初始化时，根据实际情况选择采集点归类策略，并在并行控制实体中保存该策略的实例。

步骤202，各个并行采集实体对分配的采集点进行性能数据的采集，将采集的性能数据发送到并行控制实体；

各个采集实体根据收到的采集点信息(例如设备类型)，选择合适的采集逻辑对性能量进行采集。采集逻辑指的是从设备上获取相应的性能数据的方式，例如通过SNMP协议获取。为了方便根据设备类型选择不同的采集逻辑，每个并发体均保存一个哈希表，对应设备类型和其相应的采集实例，并行采集实体可以根据采集点信息中带的设备类型选择对应的采集实例进行采集。采集完毕，通过发送上报消息的方式将获取的性能数据发送给并行控制实体，并在上报消息中携带本次采集的唯一标识符I。

步骤203，在采集标识符指示的采集任务中，各并行采集实体均完成采集并将采集的性能数据发送至并行控制实体后，并行控制实体对收到的此次采集任务的性能数据进行统一归并处理，(指需要该采集中所有采集数据进行统一处理的动作，例如，最大值，最小值，平均值或者前N个最大值的计算等)，且批量地进行后续处理(包括去毛刺，去抖动等处理)并存储至数据库。

并行控制实体接收从并行采集实体发送的消息，从中解析出性能数据，并且按照信息中带的采集标识符I对性能数据进行汇总，带有同样采集标识符I的数据将被汇总到一起；

并行控制实体还记录此次并行采集实体的采集标识符I对应的回收采集归类数R(R为大于等于0的整数)，采集标识符I对此的此次采集过程开始时，R的值初始为0，收到一并行采集实体返回的携带采集标识符I和性能数据后，将R的值增加1。

并行控制实体收到M个并行采集实体返回的携带采集标识符为I的消息后，即并行控制实体收到的标识符为I的性能数据对应的回收采集点归类数R等于M时，确定此采集标识符I对应的此次采集任务完成，对此次采集任务中采集到的数据进行统一处理和存储。

本发明中，根据采集系统的采集对像设备的实际运行情况创建出多个可以用于采集的采集实体，一个并行控制实体，用于采集点的分配和数据的后处理，这样使得数据后处理等相同的逻辑不重复，集中在一处，便于调优；又使得可以灵活地加入采集点归类分配策略；并行控制实体和采集实体之间通过消息传递来进行联系。

上述方法中，各采集实体可以对Snmp设备进行并行采集，大大提高了采集效率，并行控制实体在一次采集任务完成后，对各并行采集实体采集到的性能数据进行统一分析和处理，提高处理效率。

以上说明了一种应用于Snmp设备性能采集的映射归并算法，推而广之，如果和设备之间获取性能数据的协议不仅仅局限于Snmp，那么这种性能采集中的算法可以被应用到更多的领域中去。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.简单网络管理协议设备的数据采集归并系统，其特征在于，

包括并行控制实体和一个或多个并行采集实体，所述并行控制实体与各并行采集实体均相连；

所述并行控制实体，用于为各并行采集实体分配简单网络管理协议设备上的采集点，还用于对各并行采集实体返回的性能数据进行统一归并处理；

所述并行采集实体，与同一简单网络管理协议设备或不同简单网络管理协议设备的一个或多个采集点相连，用于以并行的方式从并行控制实体配置的简单网络管理协议设备的采集点上采集性能数据，并将采集到的性能数据发送至所述并行控制实体。

2.如权利要求1所述的系统，其特征在于，

所述并行控制实体，还用于确定一采集标识符用于区分不同的采集任务，向并行采集实体发送配置消息通知为所述并行采集实体分配的采集点，此配置消息中还携带采集标识符用于指示分配的采集点是此次采集任务中的采集点；

所述并行采集实体，还用于对所述并行控制实体分配的采集点进行性能数据采集完毕后，向所述并行控制实体发送携带采集的性能数据的上报消息，并且在此上报消息中携带所述采集标识符。

3.如权利要求2所述的系统，其特征在于，

所述并行控制实体，还用于对各采集点进行归类，归类后采集点类别个数为M，所述采集标识符对应的采集任务中并行采集实体个数为N，将M与N的最小值作为第一次分配的采集点归类数S，将S个采集点类别分别分配给S个并行采集实体；M，N，S均为大于零的整数。

4.如权利要求3所述的系统，其特征在于，

所述并行控制实体，还用于在M大于N时，在一并行采集实体对此次采集任务中分配的采集点的性能数据采集完毕后，将一剩余采集归类的采集点分配到此并行采集实体上，依此类推，直至此次采集任务中所有剩余采集归类均分配完毕。

5.如权利要求4所述的系统，其特征在于，

所述并行控制实体，还用于在采集标识符指示的采集任务中，各并行采集实体均完成采集并将采集的性能数据发送至并行控制实体后，对收到的此次采集任务的性能数据进行统一归并处理。

6.简单网络管理协议设备的数据采集归并方法，包括：

为各并行采集实体分配简单网络管理协议设备上的采集点，所述并行采集实体与同一简单网络管理协议设备或不同简单网络管理协议设备的一个或多个采集点相连，各并行采集实体以并行的方式从并行控制实体配置的简单网络管理协议设备的采集点上采集性能数据，并将采集到的性能数据发送至所述并行控制实体，所述并行控制实体对各并行采集实体返回的性能数据进行统一归并处理。

7.如权利要求6所述的方法，其特征在于，

所述并行控制实体确定一采集标识符用于区分不同的采集任务，所述并行控制实体向并行采集实体发送配置消息通知为所述并行采集实体分配的采集点，此配置消息中还携带采集标识符用于指示分配的采集点是此次采集任务中的采集点；所述并行采集实体采集完毕后，向所述并行控制实体发送携带采集的性能数据的上报消息，并且在此上报消息中携带所述采集标识符。

8.如权利要求7所述的方法，其特征在于，

所述采集标识符对应的采集任务中并行采集实体个数为N，并行控制实体对各采集点进行归类后采集点类别个数为M，将M与N的最小值作为第一次分配的采集点归类数S，将S个采集点类别分别分配给S个并行采集实体，此S个并行采集实体分别对所分配的采集点类别对应的采集点进行性能数据采集，M，N，S均为大于零的整数。

9.如权利要求8所述的方法，其特征在于，

M大于N时，一并行采集实体对此次采集任务中分配的采集点的性能数据采集完毕后，并行控制实体将一剩余采集归类的采集点分配到此并行采集实体上，依此类推，直至此次采集任务中所有剩余采集归类均分配完毕。

10.如权利要求9所述的方法，其特征在于，

在采集标识符指示的采集任务中，各并行采集实体均完成采集并将采集的性能数据发送至并行控制实体后，并行控制实体对收到的此次采集任务的性能数据进行统一归并处理。

Images