CN1540929A

CN1540929A - 一种分布式网络主动测试结果存储方法

Info

Publication number: CN1540929A
Application number: CNA2003101047187A
Authority: CN
Inventors: 谢高岗; 王俊峰; 黎文伟; 杨建华; 李忠诚
Original assignee: Institute of Computing Technology of CAS
Current assignee: Beijing Netinorder Technology Co.,Ltd.
Priority date: 2003-10-31
Filing date: 2003-10-31
Publication date: 2004-10-27
Anticipated expiration: 2023-10-31
Also published as: CN100479391C

Abstract

本发明涉及计算机网络测试与监控技术领域的分布式网络主动测试结果存储方法。分布于网络各处的测试探针运行时，动态建立树状结构存储测试结果。该结构的每一个叶子节点对应一种性能指标，分别定义实现了性能指标结果存储的统一的属性和方法，具体测试结果保存在叶子节点的子节点中并动态刷新，出现新的性能指标可通过增加新的叶子节点来扩展该树状存储结构，对测试结果的读取和设置使用SNMP网络管理协议完成。与基于文件存储方法比较，测试结果的分布式树状结构存储降低了测试系统的复杂性和成本，提高了测试探针的可靠性，并与已有网络管理系统相兼容。方法可应用于大规模高速网络的测试监控系统，并可无缝集成到基于SNMP的网络管理系统中。

Description

一种分布式网络主动测试结果存储方法

技术领域

本发明涉及计算机网络测试与监控技术领域。特别是一种分布式网络主动测试结果存储方法，是一种网络测试数据存储方法。

背景技术

Internet上承载着越来越多的重要应用，网络结构也日益复杂。网络测试与监控是对整个网络行为特性进行深入了解、分析，发现网络性能瓶颈、优化网络资源配置、加强网络管理、提升网络性能的重要途径。主动测试是网络测试的一个主要手段，测试探针仿真用户业务(协议)，主动向路由器或者服务器等网络节点发送探测包，通过捕获探测包的响应情况分析网络性能。在大规模高速网络测试监控中，需要在网络中部署大量的测试探针，协同完成网络测试，并将测试结果传送到网络管理中心进行集中分析。测试探针与网络管理中心工作站之间测试结果与测试配置信息的传送往往需要专门的通信协议，这就造成测试系统之间互操作性的困难，必须开发专门的协议转换网关，才能将不同探针的测试指标传递到网络管理工作站进行集中管理。因此，测试结果的存储方法是分布式主动测试系统设计的一个关键点，对测试系统可扩展性、互操作性、分布式测试集中式分析架构实现等都有重要影响。

目前分布式网络测试系统主要使用基于文件的存储方式将测试结果分布式存放在探针中，并通过专用自定义的协议将测试结果发送到网络管理中心或者网络管理中心将配置信息发送到测试探针。对不同的性能指标和目的机器，测试探针创建不同的结果文件。在测试运行过程中，测试探针将得到的测试结果写入文件进行本地存储；通过网络管理中心轮询或测试探针主动发送的方式将测试结果文件传递到网管中心；传送完毕后，测试探针删除并重建结果文件，开始新一轮的结果存储。这种方法需要定义专门的文件结构和设计专门数据交换通信协议，与目前大多数基于简单网络管理协议(Simple Network Management Protocol，SNMP)的网络管理系统无法交换测试数据，从而加大网络管理系统部署与运维的难度和复杂性；并且采用文件存储的方式要求测试探针本地存储，测试结果写入和读取增加额外的系统开销，影响主动测试性能与探针可靠性；此外，结果文件的集中传送短时间内要耗费大量网络带宽使得网络性能出现短时间降级。

本发明的基本思想是：测试探针运行时，在内存空间建立一个可扩展的树状数据结构，对不同性能指标动态生成一个叶子节点与之对应，统一定义其优先级、存储权限等属性和初始化、读取、设置等方法；对于不同的测试，在对应指标的叶子节点下生成一个子节点来存储其测试结果。网络管理中心直接使用标准的SNMP网络管理协议来查找、读取测试结果，设置测试配置。一个测试结果节点可存储一次或数次采样的测试结果，后续的测试结果会不断刷新覆盖该节点已存结果。由网络管理中心设定轮询周期，决定是否读取每次节点刷新后的测试结果。本发明克服了文件存储方式在开放性、互操作性、性能等方面的缺点，叶子节点属性和方法的统一定义，使得对测试结果的查找和读取使用标准的SNMP网络管理协议即可完成，降低系统设计复杂性，并实现与已有的网络管理系统相兼容。数据结构存在于内存空间无需硬盘，降低了系统成本，并提高了系统的可靠性；测试结果读写的系统开销也大大降低，不致影响正常的测试运行。每次采样后，网络管理中心即可读取叶子节点下存储的测试结果，完全满足性能测试的实时性要求。

发明内容

发明的技术方案：

一种分布式网络主动测试结果存储方法，其特征在于，通过动态建立的树状结构来存储测试结果。

网络性能指标的树状存储结构定义，定义了一根节点，它标识主动测试，其下叶子节点定义对应各种性能指标，每种指标的测试结果存储与对应节点之下。

对于每种性能指标，统一定义了其存取权限、标识号等属性，统一实现了设置、读取、初始化、触发处理等方法。

对于新增的性能指标，其树状存储结构的扩展方法为定义该指标的存取权限、标识号等属性，实现该指标设置、读取、初始化、触发处理等方法；将该指标对应信息加入数组AMRStruct完成扩展。

网管中心对测试结果的读取通过SNMP网络管理协议完成。

分布式网络主动测试结果存储方法，包括：树状存储结构创建过程、创建的树状存储结构。

本发明是一种开放高效的分布式网络主动测试结果存储方法，主要包括：测试结果树状存储结构，性能指标在树状存储结构中属性和方法的定义，结构的扩展方法设计以及SNMP协议的访问。具体内容叙述如下：

(1)树状存储结构相关的数据类型定义

为建立测试结果的树状存储结构，定义了一些数据类型，主要结构定义用c语言描述如下：

　　//叶子节点下用于保存测试结果的节点结构定义；

　　typedef struct_NODEVALUE

　　{

　　  int               taskid；//测试全局唯一的任务号

　　  int               refcnt；//引用该节点次数

　　  struct timeval    lastaccess；//最后一次访问时间

　　  void*             value；//测试结果的存储位置

　　  struct_NODEVALUE*next；//下一个同类测试结果

　　}TNodeValue；
        <!-- SIPO <DP n="3"> -->
        <dp n="d3"/>
　　//树状结构的叶子节点结构定义；

　　typedef struct_TREENODE

　　{

　　  OID            subid；//测试指标的标识号

　　  ENodeProperty  property；//节点性质(中间节点或叶子节点)

　　  ENodePriority  priority；//存取权限

　　  char           identity[MAXOID_LEN]；//节点的标识号

　　  char           label[MAXLABEL_LEN]；//节点的标识名

　　  char           description[MAXDESC_LEN]；//节点的描述

　　  struct_TREENODE  *firstchild；//节点的第一个孩子节点

　　  struct_TREENODE  *neighbor；//节点的邻居节点

　　  struct_TREENODE  *parent；//节点的父亲节点

　　  struct_TREENODE  *link；//
　
　　　int           (*get)(void*，void*)；//读取节点的函数

　　  char          *(*response)(void)；//节点对读取的响应函数

　　  void          (*trap)(void)；//节点的条件触发处理函数

　　  void          (*release)(void)；//节点的资源释放函数

　　  int           (*set)(void*，void*，void*，unsigned int)；//节点的设置

　　函数

　　  int           (*init)(void*)；//节点的初始化函数

　　  int           (*config)(void*，FILE*)；//节点的配置函数

　　  sem_t         sem；//锁定节点的信号量

　　  TNodeValue*   listhdr；//节点的具体测试的结果链表头

　　  TNodeValue*   listtail；//节点的具体测试的结果链表尾

　　}TreeNode；

　　//存储创建树状结构所需属性和方法的结构定义

　　typedef struct_AMRSTRUCT

　　{
        <!-- SIPO <DP n="4"> -->
        <dp n="d4"/>
    int              infotype；//信息类型

    int              command；//具体命令

    int              minicode；//子命令

    char             label[MAXLABEL_LEN]；//节点标识

    char             description[MAXDESC_LEN]；//节点描述

    ENodeProperty    property；//节点性质(中间节点或叶子节点)

    ENodePriority    priority；//存取权限  

    getMethod        *getmethod；//读取的节点函数

    resMethod        *resmethod；//节点对读取的响应函数

    trapMethod       *trapmethod；//节点的条件触发处理函数

    relMethod        *relmethod；//节点的资源释放函数

    setMethod        *setmethod；//节点的设置函数

    initMethod       *initmethod；//节点的初始化函数
    configMethod     *configmethod；//节点的配置函数
    char             oid[MAXSUB_LEN]；//节点标识号

  }TAMRStruct；

(2)树状存储结构的创建

测试机器开始运行时，调用load_root_amr()函数和load_prob_amr()函数创建用于存储测试结果的树状结构。load_root_amr()函数创建树状结构的根节点，load_prob_amr()函数在根节点下创建一主动测试子节点，该节点下创建与各种性能指标对应的叶子节点。具体测试运行时将在与其所测指标对应的叶子节点下生成子节点用于存储测试结果。

对应于性能指标的叶子节点创建时要用到一上述TAMRStruct类型的静态数组AMRStruc[]，该数组与系统的所能测试的指标对应，一个数组元素包含着创建一个性能指标叶子节点所需的属性和方法信息。如：{DOWNCNTL，DOWNLOADTASK，TRACEROUTE，＂traceroute＂，＂Thisnode contains the trace route measurement\n＂，LEAF，RW，getTraceRT，NULL，NULL，NULL，setTraceRT，NULL，NULL，＂0.2＂}就规定了建立路由这个指标叶子节点的名称，存取函数，位置等信息。每一个性能指标都定义了一个数组元素，该数组最后以元素{-1，-1，-1，＂＂，＂＂，MODULE，NOACCESS，NULL，NULL，NULL，NULL，NULL，NULL，NULL，＂＂}结尾，表示定义结束。这里只定义了各功能函数的名称和一个共同的接口，还需另外实现各功能函数。

(3)树状存储结构的扩展

当有新的性能指标出现时，需要扩展树状存储结构。在树状存储结构中增加新的节点通过在静态数组AMRStruct增加相应项目完成，新增一个对象节点所必须提供的信息包括：

节点任务属性代码包括信息类型infotype，命令command和次命令代码minicode。这三项用于任务调度与执行模块与存储管理模块之间交互时的映射。

节点属性property属性有2种：中间节点(MODULE)与叶节点(LEAF)。不论是定义中间节点或叶节点均必须保证其父节点已经在该节点的定义之前已经定义，否则可能出错。这种定义次序可参见已定义的节点。

节点操作权限priority不同的操作权限将影响控制中心对测试机器中树状存储结构进行对象值的初始化、更改设置、检索的操作。

与节点操作相关的函数有getmethod(发送检索请求时的执行函数)、resmethod(响应函数)、trapmethod(当节点出现预定义的异常时，所采取的动作)、relmethod(系统退出时，该节点所应执行的动作，)、setmethod(更改节点配置值时执行操作即对任务执行结果进行存储所进行的操作)、initmethod(设置系统初次建立时节点的默认设置)、configmethod(系统在读配置文件进行初始化时所需进行的操作，主要是对配置文件进行分析)。

节点标识符Oid是对象在结构中的唯一标识符。

AMRStruct数组中的最后一行是结束标志，不能修改，任务有效的节点定义必需在该结束标志之前进行。

(4)基于SNMP协议的访问

在启动后，探针将监听本身161号端口，以捕获网管中心发来的读取结果请求getRequest。

a)测试结果的存储

测试机器所执行的测试结果是存储在与其指标对应的节点中。对任务执行结果的存储要首先建立存储函数setXXX(XXX为指标名)。将AMRStruct静态数组相应树状结构对象的setmethod赋setXXX值。以便在存储执行结果时进行自动调用。

在测试执行完成后，调用loadResults进行数据存储过程setXXX函数的调用。loadResults的前3个参数对应于TAMRStruct结构的infotype，command，minicode值，用于将执行的测试与所要存储对象节点相关联。

由于一个指标节点下要存储多个不同的测试，因此这个节点的存储执行结果是利用TNodeValue的next字段以链表的形式进行组织的，最后用TreeNode的listhdr和listtail二字段分别指向链表的头与尾。各个不同的存储值是以测试号进行索引的，因此当有新的测试号的执行结果需要存储时，将其挂在结果队列的尾部，如果测试号任务执行结果已经存储，则只要进行覆盖即可。用于存储不同类型测试执行结果的结构是不同的，TNodeValue中的value字段是void^*类型的。当要进行结果的检索时，要对不同类型的结果进行分别组包处理。

b)测试结果的读取

对测试结果的读取是通过SNMP网络管理协议来完成的，存储结构提供了供SNMP协议访问的接口。测试执行均将测试结果存储在相应的树状结构TreeNode的TNodeValue中value字段中。即使测试可能出现执行错误，也将错误出现的可能原因作为任务执行的结果进行存储，以便控制中心可以检索到测试执行错误。

网管中心在对测试执行的结果进行读取时，必须要指明对哪个测试的执行结果进行读取，这可以通过唯一的测试号来进行。使用getRequest来请求结果，请求是在UDP协议上用SNMP协议封装发送到探针的161号端口，这样保证了系统的兼容性。测试探针中结果存储管理模块在接收到结果请求信息后，首先对消息进行安全性验证，非安全的消息将直接丢弃。而有效的消息，从中取出控制中心欲读取结果对象的OID，以该OID为索引查找树状结构。

被检索的对象在结构中存在时，则调用该对象节点的get方法(方法由定义的getXXX函数实现，而其映射关系是在结构创建过程中由静态数组AMRStruct确定的)，getXXX方法主要用于将不同类型的结果组成统一字符串格式，最后调用genResponse过程进行getRequest的请求响应。

附图说明

附图1为树状存储结构创建程序流程图。

附图2为创建的树状存储结构示意图。

附图3为测试结果的存储流程图。

附图4为使用SNMP协议读取测试结果的流程图。

树状存储结构创建程序流程图(附图1)的具体步骤说明如下：

S1探针启动，预备创建树状存储结构；

S2判断根节点是否已存在；为否执行S3，为是执行S10；

S3创建一个存储节点；

S4给节点的属性赋值，设置为根节点；

S5读入一个AMRStruct数组元素；

S6判断该元素是否为数组的最后一个元素；为否执行S7，为是执行S10；

S7创建一个存储节点；

S8依据读入的数组元素给该节点属性赋值；

S9新节点添加为根节点下的叶子节点；跳转到S5；

S10树状存储结构创建完成。

树状存储结构示意图(附图2)的说明：

附图2所示为探针创建的测试结果树状存储结构，AMRroot为根节点，拥有数个叶子节点；一个叶子节点对应着一种性能指标，如连通性、时延、丢包率等；某指标的具体测试任务的测试结果，按照其测试号保存在对应叶子节点的结果存储队列中。

测试结果存储流程图(附图3)的具体步骤说明如下：

S11某性能指标的测试任务产生测试结果，锁定树状存储结构，准备存储；

S12根据指标序号查找树状存储结构；

S13判断是否找到了该指标序号的叶子节点；为是执行S14，为否执行S19；

S14根据测试任务号在该叶子节点下查找任务队列；

S15判断是否存在与任务号对应的测试结果节点；为否执行S16，为是执行S18；

S16依据任务号和指标创建新结果存储节点；

S17将新建节点加入该叶子节点下的结果存储队列；

S18将测试结果保存在该结果存储节点；跳转到S20；

S19返回结果存储错误信息；

S20树状存储结构解锁，结束结果存储。

测试结果读取流程图(附图4)的具体步骤说明如下：

S21探针监听通信端口；

S22收到对测试结果的SNMP GET Request请求，锁定树状存储结构；

S23对请求报文做有效性认证；若为是执行S24，若为否执行S28；

S24根据请求报文所指的性能指标和任务号查找树状存储结构；

S25判断是否找到对应的结果存储节点，为是执行S26，否则执行S28；

S26从该节点中读取到测试结果；

S27将测试结果打包在SNMP GET Response报文中并返回到网管中心；

S28树状存储结构解锁，返回结果读取错误信息，结束结果读取；跳转到S21。

具体实施方式

本发明作为一种通用的分布式主动测试结果存储方式，可应用于大规模高速网络的测试监控系统，并可无缝集成到基于SNMP的网络管理系统中。具体实施时，在测试探针的内存中建立起结果存储的树状结构的根节点和对应各性能指标的叶子节点。网管中心向测试探针部署某个主动测试后，测试开始执行时，探针根据所测指标将在树状存储结构中对应的叶子下增添一个测试结果存储子节点。主动测试的一个测试周期的测试结果保存在该节点中，每个测试周期的结果会覆盖节点中存储的前一次测试周期的测试结果。而在测试结束时，测试探针将在树状存储结构中删除该结果存储子节点，释放所占用的资源。网管中心通过设置测试结果轮询周期可决定是否读取每个测试周期的测试结果。网管中心读取结果时，以分配给主动测试的全局唯一的测试任务号为索引，以SNMPgetRequest方式向测试探针发出轮询请求；测试探针收到轮询请求后，从中分解出测试任务号，以之在树状存储结构中取出对应测试的结果，以SNMP getResponse方式对轮询请求作出响应。树状存储结构的扩展只需定义实现性能指标的属性和方法，测试探针可自动在树状存储结构中生成对应新的性能指标的叶子节点。

Claims

1.一种分布式网络主动测试结果存储方法，其特征在于，通过动态建立的树状结构来存储测试结果。

2.根据权利要求1所述的分布式网络主动测试结果存储方法，其特征在于，网络性能指标的树状存储结构定义，定义了一根节点，它标识主动测试，其下叶子节点定义对应各种性能指标，每种指标的测试结果存储于对应节点之下。

3.根据权利要求2所述的分布式网络主动测试结果存储方法，其特征在于，对于每种性能指标，统一定义了其存取权限、标识号等属性，统一实现了设置、读取、初始化、触发处理等方法。

4.根据权利要求3所述的分布式网络主动测试结果存储方法，其特征在于，对于新增的性能指标，其树状存储结构的扩展方法为定义该指标的存取权限、标识号等属性，实现该指标设置、读取、初始化、触发处理等方法；将该指标对应信息加入数组AMRStruct完成扩展。

5.根据权利要求2、3所述的分布式网络主动测试结果存储方法，其特征在于，网管中心对测试结果的读取通过SNMP网络管理协议完成。

6、一种分布式网络主动测试结果存储方法，包括：树状存储结构创建过程、创建的树状存储结构。

7、根据权利要求6的分布式网络主动测试结果存储方法，其特征在于，树状存储结构创建过程，其步骤如下；