CN100488116C - 基于规则的电信领域网络数据采集处理系统及实现方法 - Google Patents

Abstract

本发明的基于规则的电信领域网络数据采集处理系统及实现方法属于电信网络管理领域。所说的网络数据采集处理系统，包括规则定制部件和规则验证部件和规则应用部件三部分。实现方法的步骤包括：建立采集规则；正确划分数据的结构；建立数据处理规则；建立数据转发规则；确定采集特定参数和过程模板定义一个具体的采集过程，系统开始对网络数据采集和处理的过程。基于规则的网络数据采集处理系统使用规则来封装网络数据的采集和处理逻辑，容易表达网络多种多样的数据采集方式和处理要求。同时系统也具有更大的灵活性和更高的效率，实现了业务逻辑和过程的分离，用户可以针对具体网络情况定制具有良好可读性的规则。

Description

基于规则的电信领域网络数据采集处理系统及实现方法

技术领域

本发明属于电信网络管理领域，特别涉及一种对网络数据进行采集、结构划分、分析处理和转发的程序构建的系统、方法及程序。

背景技术

网络建设飞速发展，网络的规模日益庞大、实现技术日益多样和复杂，而不同厂商的网络设备其具体管理方式和连接方式也不尽相同，对网络的有效管理，保证网络的运行质量，越来越成为一个巨大的挑战。如何有效的管理网络，保证网络的运行质量呢？这就需要对网络数据进行详尽准确地采集，并根据网络具体情况进行数据的预处理，这样才能根据采集到的网络数据进行进一步的整理分析，从而全面准确地了解网络的资源、性能和故障等情况，了解网络所承载的业务和客户的服务质量，为网络管理提供有力的数据支持。目前，网络数据的采集处理主要都集成在网络管理软件中。国外的网络管理软件厂商起步较早，软件、技术相对成熟，如：HP(惠普)的OpenView、IBM的Tovili数据网络资源软件、Ericsson(爱立信)公司开发的PEM、Siemens(西门子)公司开发的Netmanager、Macromuse的Netcool数据网故障管理软件。由于网络管理的重要性和巨大的商业价值，近年来国内的一些网络设备厂商和商业组织也进行了许多研究开发工作，如：华为公司开发的iManager和亚信公司开发的NetXpert。传统方法将网络数据的采集和处理固定在应用程序中，采用EJB或者Spring方式组织业务逻辑，这样做虽然可以使业务逻辑代码具有很好的结构以及重用性，但是网络数据采集处理过程中充满了大量的逻辑决策，而现有的业务逻辑框架并不能消除这些缠绕在一起的业务决策语句，采用这种方法组织的业务逻辑不具有良好的结构和可读性，特别是网络的具体情况千差万别，因此对业务逻辑的维护和修改也非常困难。

基于规则的方法是来自现实世界深层的运动，它并不是随任何新类型的软件工具一起出现的，而是来自于根据很多年业务软件的磨练和挑战的经历，一种对于专门职业方向的构想。基于规则的系统应该是结构、过程和规则的集成，这三种组件都具有专门化的特殊角色和责任，每种组件都适合完成自己特定的任务。结构是能够了解的最基本的、有组织的知识提供，建立在术语和事实基础上。过程是依靠术语和事实操作的，过程是系统最可视的部分。规则为系统最重要的部分，提供对另外两种组件的控制。基于规则的系统这三种组件必须以一种集成方式相互关联，这种关联方式代表了基于规则方法的核心观点。

当前网络虽然飞速发展，但网络管理建设却相对滞后，由于网络结构的复杂性和网络设备的多样性，以及各种网络新技术的使用，都导致使用传统方法开发的网络数据采集处理系统不能适应灵活多变的需求，尤其对于重要的用户业务不能提供有力的支持，面对复杂多变的业务逻辑，系统必须能够提供定制和维护的工具，使业务逻辑以一种有机的方式组织起来，并具有可读性和易操作性。

发明内容

本发明要解决的技术问题是将基于规则的方法引入电信领域，即采用基于规则的方法进行网络数据采集处理，使用规则来封装网络数据的采集和处理逻辑。电信领域的网络数据采集处理涉及到电信领域知识，通过对电信网络管理技术的研究，建立概念模型，即对网络中的实体和协议进行抽象，并建立网络数据采集处理的概念模型。通过规则定制模块，使用概念模型中的术语和概念建立控制规则和采集任务。这种方法使数据采集处理具有更大的灵活性和更高的效率，实现了业务逻辑和过程的分离。用户可以针对具体网络情况定制具有良好可读性的规则，而不必由于业务变化频繁而修改那些复杂的业务决策方法。

本发明的网络数据采集处理系统提供了规则可视化定制、规则存储、多用户协同、一致性维护、约束的强制检查等功能。系统主要具有如下三个功能：规则定制、规则验证和规则应用。通过对电信领域的概念进行抽象，提取领域的基本知识，为规则定制提供基本的知识表示，用户将以这些概念为单位，对网络数据采集和处理的规则进行定制，系统中这些概念都对应着相应的程序模块。

下面首先介绍电信领域的这些概念，然后对系统的结构进行详细的说明。

根据规则方法的原理对电信领域进行概念的提取，这些概念作为电信领域的基本知识。概念包括数据采集模块、数据转发模块、元数据、基本数据和标准数据。这些概念具有如下关系：数据采集模块采集到元数据；元数据经过结构划分产生基本数据；基本数据经过逻辑处理产生标准数据；数据转发模块转发标准数据。

数据采集模块定义了网络数据的采集方式，我们所提供的数据采集模块主要包括以下几种类型：FTP协议采集模块、SNMP协议采集模块、Telnet协议采集模块、Com协议采集模块和私有协议采集模块。网络中存在的设备千差万别，网络结构也是多种多样，因此对于网络数据的采集方法也是各不相同的，针对这样的情况我们也提供了多种采集方式。为了便于管理，网络中绝大多数的设备都提供标准的管理方式，即支持SNMP协议或者TELNET协议等标准协议，对于这样一类数据的采集就十分方便，按照标准协议的采集方式和数据格式进行数据的采集和解析就可以了。但是，还有一部分数据由于某种原因并不提供标准管理方式，而是使用自定义的管理方式，对于这类数据我们也提供了私有协议采集模块，通过定制工具按照私有管理接口标准，定制具体的数据的采集方式和数据格式，同样可以顺利的完成网络数据的采集。

数据转发模块主要作用是按照具体需要，将采集并经过处理的网络数据转发出去，为需要这些数据的应用提供数据上的支持。由于网络数据是网络管理及其它一切网络应用的基础，因此网络数据需要以多种协议、多种格式和多个目的的方式进行转发，因此我们对转发的方式进行了定义，并提供了缺省的转发模块。数据转发模块包括以下几种类型：数据库转发模块、文件转发模块、TCP/IP协议转发模块、中间件转发模块、Snmp协议转发模块和自定义转发模块。

●数据库转发模块对目前主流数据库提供转发支持，将经过处理的网络数据保存到指定数据库中，目前支持的数据库包括Oracle系列数据库、SQLServer系列数据库、Infomix系列数据库、MySQL系列数据库；

●文件转发模块将数据以文件方式进行转发，将经过处理的网络数据保存为文本或XML格式的文件，文件的保存位置、保存路径以及数据保存的格式都可以进行定制

●TCP/IP协议转发模块通过网络转发数据，将经过处理的网络数据用TCP或者UDP方式发送给指定的目的

●中间件转发模块通过已经部署的中间件转发数据，通过调用已部署中间件并按照接口文件定义就可以实现这种转发。目前支持的应用服务器包括Weblogic系列服务器和JBoss开源系列服务器；

●Snmp协议转发模块则通过Snmp Trap方式进行，将经过处理的网络数据通过格式定制，封装成SNMP Trap发送给相关应用接收者，因为当前许多网络应用都使用SNMP Trap格式的数据，因此我们也提供了这种数据转发方式，可以统一不同网络应用的数据差异性。

●自定义转发模块为数据转发提供了灵活的自定义方式，这种方式主要针对不能使用标准方式进行转发的一类数据，这类数据由于特殊需求或者私有管理方式的原因不大容易转发，因此我们提供了自定义转发模块，这样就可以根据具体的要求对数据转发的协议，转发的格式进行定制。

通过以上定义的电信领域概念，可以清楚的了解电信领域网络数据处理的原理和基本知识，使用这些概念就可以对网络数据处理进行灵活的定制。

基于前述，本发明的一种通过规则控制采集过程、数据结构划分、数据操作和数据转发的网络数据采集处理系统，包括规则定制部件和规则验证部件和规则应用部件三部分：

所说的规则定制部件包含划分规则定制模块、处理规则定制模块、转发规则定制模块和模板规则定制模块；

所说的规则验证部件包含规则验证中心模块，采集调度模块，约束性检查模块和一致性检查模块；

所说的规则应用部件包含规则应用中心模块、指令解析模块、任务操作模块、规则操作模块、数据采集模块、数据处理模块、数据转发模块。

规则定制部件—为用户提供可视化的规则定制并且生成规则文件；

规则验证部件—对规则文件进行验证并根据验证结果调度规则文件；

规则应用部件—执行规则文件，进行数据的采集、处理和转发。

系统的结构如图1所示。

下面对本发明的网络数据采集处理系统按三部分分别作进一步说明。

一、规则定制部件

最上层的规则定制部件为用户提供了一个规则定制的可视化环境，完成网络数据采集处理逻辑的定制。规则定制部分包括：划分规则定制模块、处理规则定制模块、转发规则定制模块和模板规则定制模块。用户进行逻辑规则的定制后，系统将会产生相应的规则文件，规则文件使用XML格式表示。使用XML格式的规则文件如下：

<rule name＝＂ForwerdRule-socket-5ess-tcmd1＂salience＝＂10＂>

  <parameter identifier＝＂task＂>

    <class>RuleTask</class>

  </parameter>

  <java:condition>task.inForwardSet(＂forsocket1＂)</java:condition>

  <java:consequence>

    System.out.println(＂Enter into ForwardRules socket 5ess_cmd1＂)；

    String hostaddr＝task.getTaskPara(＂forhost＂)；

    int port＝Integer.parseInt(task.getTaskPara(＂forport＂))；

    String record＝＂DcsRuleSuccess!!!＂；

    Hashtable ht＝task.getProData()；

    record+＝＂|RecordName＝＂+((RuleData)ht.get(＂logicrule1_1＂)).getDataField(＂RecordName＂).getVal

    record+＝＂|rf1＝＂+((RuleData)ht·get(＂logicrule1_1＂)).getDataField(＂rf1＂).getValue()；

    DatagramSocket ds＝new DatagramSocket()；

    byte[] buf＝record.getBytes()；

    DatagramPacket dp＝new DatagramPacket(buf，buf.length，InetAddress.getByName(hostaddr)，port)

    ds.send(dp)；

    if(!task.isCircle())

      drools.retractObject(task)；

  </java:consequence>

</rule>

本层是系统的主要部分，因此下面分别对本层的四部分进行详细说明：

1.划分规则定制模块

通过划分规则定制模块，用户可以定制如何解析网络数据，即指定网络数据的结构，这样就可将数据格式化并进行语义解释，定制完毕后会生成规则文件来保存用户的定制。以图2为例，图2中定义了一种网络数据的解析方式，即数据的结构。以图2为例进行介绍，图2即为划分规则定制模块运行时的界面，此图针对的是SNMP协议的数据报进行定制，图2的左侧为采集数据的字段名称；右侧为字段在数据报中的识别方式。用户对此数据进行如下的定制，数据报共有五个字段，这五个字段名称为icmpInMsgs(流入icmp信息数)，icmpInErrors(流入icmp信息错误总数)，icmpInDestUnreachs(流入icmp信息目的不可达的错误数)，icmpInTimeExcds(流入icmp信息超时的错误数)，icmpInParmProbs。这五个字段在数据报中则用1.3.6.1.2.1.5.1，1.3.6.1.2.1.5.2，1.3.6.1.2.1.5.3，1.3.6.1.2.1.5.4，1.3.6.1.2.1.5.5来进行标识。定制完成后会生成后缀为.drl的规则文件，文件中记录了用户对此种数据解析方式的定义，系统会按照用户的定制对数据进行分解，并且按照每个字段的标识符(如：1.3.6.1.2.1.5.1)取出字段的值，从而完成网络数据的解析。

此模块的目的就是为用户提供一种界面的支持，使用户可以方便和快捷的定义网络数据格式，可以准确的定义数据的结构和提取信息的具体方式。上图以一种网络数据为例进行介绍，其它网络数据的定制方式也基本相同，只是在数据格式和具体定义方式上略有不同，因此不一一进行详细的介绍。

2.处理规则定制模块

通过处理规则定制模块，网络管理者可以针对已经完成解析的网络数据，按网络统计分析的要求定义数据的处理方式，对数据进行求和，求百分比等数字运算或者各种逻辑运算，定制完毕后会生成规则文件来保存用户的定制。以图3为例，图3中定义了对一种网络数据的处理方式，即根据条件来对数据进行运算。图3上部分为条件定义区，下部分为对数据处理的定义区。由图3中可见此种网络数据含有四个字段，分别为c1p1_field1，c1p1_field2，c1p1_field3和c2p1_field1，用户进行了如下的定制，当c1p1_field1字段的值大于c2p1_field1字段的值的时候，进行三种运算：将c1p1_field2和c1p1_field3两个字段的值合成，并将其赋值给新定义字段cip5；将c1p1_field3字段的值不做变化，直接显示；将c2p1_field1字段的值减去c1p1_field1字段的值，并将其赋值给新定义的字段iopt。定制过程中，用户只需要点击下拉菜单选择操作的字段和使用的操作符即可完成操作定制，同样这个定制完成后会生成也会生成后缀为.drl的规则文件保存用户的定制。

此模块的目的是为用户提供一种界面的支持，使用户可以方便和快捷的定义网络数据的处理方式，进行各种常用的数字和逻辑运算。上图定义了部分数据处理方式，其它处理方式定制也基本相同，只是在运算符和运算格式上略有不同，因此不一一进行详细的介绍。

3.转发规则定制模块

通过转发规则定制模块，网络管理者可以针对网络数据的具体需求和应用，把已采集并经过整理的数据以指定的方式发送给特定的数据需求者，定制完毕后会生成规则文件来保存用户的定制。以图4为例，图4中定义了对网络数据的一种转发方式，即将数据保存到Oracle9i数据库中。图4上部分用于指定具体数据库，完成数据库参数的定制；下部分则用于指定数据保存的具体位置，即数据库表。由图中可见，用户希望将数据保存到Oracle9i数据库中，数据库所在主机的IP地址为10.80.167.64，数据库连接服务名称orcl，使用system用户和＊＊＊＊口令。并且，用户希望将这一类数据保存到表AQ＄_QUEUES中，当然还可以进一步制定将网络数据记录中的某个字段保存到表中的哪一列，实现更加精确的定制。整个定制完成后同样会生成后缀为.drl的规则文件保存这种数据转发方式。

此模块的目的是为用户提供一种界面的支持，使用户可以方便和快捷的定义网络数据的转发方式，把经过处理的网络数据以特定方式保存到特定的位置。上图定义了将数据保存到Oracle数据库的转发方式，其它转发方式定制也基本相同，只是由于具体转发方式和数据保存格式的不同而略有不同，因此不一一进行详细的介绍。

4.模板规则定制模块

通过模板规则定制模块，网络管理者可以对一类设备指定统一的采集转发方式，即前三种模块所定义的方式。由于网络中存在大量具有相同性质的设备，即这些设备可以使用相同的采集方式，使用相同的处理过程，并且转发到相同的目的地，因此可以通过定制建立任务的模板，对于一类设备进行统一的采集处理方式，这样无疑极大提高了用户的工作效率，减少工作量。定制完毕后会生成规则文件来保存用户的定制。以图5为例，图5中定义了对这种网络设备的数据采集处理方式的模板，即如何解析采集数据的格式，如何对数据进行处理，如何对数据进行转发等等。图5左半部分用于指定采集处理方式；右半部分则用于指定采集参数，并显示用户所选择的数据处理方式。由图中可见用户选择了operate1.drl这样一个采集处理文件，这就是在1和2中所定义的规则文件。用户还选择了转发方式为xml_f1.drl规则文件，这就是在3中所定义的转发方式。用户还指定对这种设备只进行一次采集，用户当然还可以选择进行周期采集，并在后面的空格中输入采集间隔时间。整个定制完成后同样会生成后缀为.drl的规则文件保存这种采集处理模板。

此模块的目的是为用户提供一种界面的支持，使用户可以方便和快捷的定义一类网络设备的数据采集处理方式。上图定义了针对一种设备的模板，其它种类设备的模板定制也基本相同，只是在参数选择上略有不同，因此不一一进行详细的介绍。

二、规则验证部件

中间层负责对上层规则定制所产生的规则文件进行语法检查，并对规则的约束和一致性问题进行验证，而且还要根据检查结果进行规则的调度处理。本层包括规则验证中心模块，采集调度模块，约束性检查模块和一致性检查模块。

规则验证中心模块负责与上下层之间的联系，并根据接收到的数据调用本层其它模块，例如：当需要进行规则文件检查时，会调用一致性和约束性检查模块。

一致性检查模块要对规则文件执行包括：对命名空间、访问控制、结构关系等一系列检查。例如：规则文件中有对变量A和B进行操作的语句，则应该检查变量A和B是否存在，对A和B的操作是否为它们数据类型所支持等等一系列类似的检查。

约束性检查模块则需要验证定制的规则是否遵循指定规则语言的约束。例如：系统中使用Java语句作为规则语句，则应检查规则文件中的操作语句是否Java的语法要求。

采集调度模块需要对采集任务进行指挥和根据检查结果对规则文件进行调度，例如：若检查不合格则将此规则文件发回给上层重新定制。

三、规则应用部件

底层包括规则应用中心模块、指令解析模块、任务操作模块、规则操作模块、数据采集模块、数据处理模块、数据转发模块。底层是网络数据采集和定制规则真正执行的部分，下面分三部分对本层模块进行介绍：

1.规则应用中心模块

本层的中心程序，负责与上层进行通信，并根据上层发送的指令进行操作操作，调用本层的其它模块，例如：当需要操作规则文件时，会调用规则操作模块。同时，此模块也维护了规则执行空间，所有的规则会在此空间执行并调用乡管模块进行数据采集。

2.指令解析模块、任务操作模块、规则操作模块

指令解析模块负责与上层通信的命令的封装和解析，规则管理部分与上层通过网络进行通信，所有用户发出的指令和本层所采集的网络数据都需要以指定格式发送才能正确解析。任务操作模块根据任务模板和具体任务参数来建立和维护数据采集任务，此模块根据用户的命令在本层按照采集模板和参数建立采集任务，采集用户需要的网络数据，采集模板也是XML格式的规则文件。规则操作模块则负责对所有规则文件的操作，包括读取和修改，此模块会对XML格式的规则文件进行操作，文件的具体格式可参见图2。

3.数据采集模块、数据处理模块、数据转发模块

这三个模块都是在规则文件的指导之下对具体采集到的网络数据进行操作。数据采集模块负责对网络数据的采集，这里将会使用电信领域所抽象的概念—采集模块，它根据用户定制的采集规则进行具体的采集，例如：使用SNMP采集模块采集某个IP地址的路由器上的数据。数据处理模块负责对网络数据进行处理，，这里使用电信领域抽象概念—元数据和基本数据，它同样根据用户定制的处理规则进行实际的数据运算。数据转发模块则负责网络数据的转发，这里会使用电信领域抽象概念—转发模块，它同样要根据用户定制的转发规则进行实际的数据转发。

本发明的通过规则来控制网络数据采集处理的网络数据采集处理系统的实现方法，其步骤包括：

(1)分析网络需要采集的信息，确定采集方式，建立采集规则；

(2)分析网络数据的格式，建立数据解析规则，正确划分数据的结构；

(3)确定对经过上述处理的数据需要何种整理和分析，建立数据处理规则；

(4)确定对完成处理的数据如何进行转发，建立数据转发规则；

(5)确定采集特定参数和过程模板定义一个具体的采集过程，系统开始对网络数据采集和处理的过程。

本发明的一种存储基于规则的电信领域网络数据采集处理系统的可读取记录介质，介质是光盘、软盘、硬盘和移动硬盘，该程序通过规则控制采集过程、数据结构划分、数据操作和数据转发来进行网络数据采集处理，所述程序使计算机执行如下过程：

为用户提供可视化的规则定制并且根据用户定制生成规则文件；

然后，对规则文件进行验证并根据验证结果调度规则文件；

最后，执行规则文件，进行数据的采集、处理和转发。

所说的计算机执行的程序是使计算机按照通过规则来控制网络数据采集处理的网络数据采集处理的步骤执行。

本发明通过对网络数据采集处理过程的研究，以及对于规则技术进行研究，采用基于规则的方法构建网络数据采集处理系统，把业务逻辑封装在规则之中，与现有网络数据采集处理系统比较本方法主要有如下优点：用户可以很容易的阅读和校验已有的业务逻辑；已有规则具有很好的结构和可重用性，并且这种方式具有很好的可扩展性和可升级性；根据现有技术，系统可以很容易的与前端和后端的其它应用技术共同使用。

附图说明

图1是本发明的网络数据采集处理系统的结构框图。

图2是本发明的一种划分规则定制模块运行时的界面图。

图3是本发明的一种对网络数据的处理方式的界面图。

图4是本发明的一种对网络数据的转发方式的界面图。

图5是本发明的对网络设备的数据采集处理方式的模板图。

图6是TELNET采集特定参数指定界面图。

具体实施方式

下面将对本发明的优选实施例进行描述，通过有关本发明的详细描述及本发明的优选实施例附图可以更充分的地理解本发明，但是，这些优选例只是为了解释及理解本发明，并不意味着本发明局限于某一特定的实施例。

实施例1：本实施例中系统使用Java语言实现，规则描述语言也是Java。

以本地实验网络为例，描述本方法的具体实施步骤，用户可以在任何电信领域网络上实施本系统。由于规则定制的过程和方式已经在规则定制工具一节中进行了详细的介绍，因此本节只对定制规则的功能和含义进行描述。本地实验网络配置了一台Cisco路由器，一台服务器(安装Linux操作系统)，若干台主机。本网络管理的重点是网络设备和服务器。通过本方法对网络进行分析，然后通过规则定制工具建立网络数据采集处理的一系列规则，包括定制数据采集规则，数据划分规则，数据处理规则，数据转发规则和模板规则等等，下面将按照步骤进行介绍。

1、分析目前网络需要采集数据的网络设备和主机的信息，确定使用何种协议来采集信息，对于Csico路由器使用SNMP协议来进行数据采集，对于服务器则采用TELNET协议采集数据，则可以建立如下两条采集规则：

CR1：InputParam<Cisco路由器，路由器地址，SNMP采集参数>，

     Condition<采集方式＝SNMP>，

     Consequence<使用SNMP采集器对设备进行数据采集，采集具体信息包括：

                 参数名称：设备描述参数标识：1.3.6.1.2.1.1.1

                 参数名称：设备启动时间参数标识：1.3.6.1.2.1.1.3

                 参数名称：端口接收数据字节数参数标识：1.3.6.1.2.1.2.2.1.10

                 参数名称：端口接收数据错误数参数标识：1.3.6.1.2.1.2.2.1.14

                 SNMP数据采集结束，保存数据>

CR2：InputParam<Linux服务器>，

     Condition<采集方式＝TELNET>，

     Consequence<使用TELNET采集器对设备进行数据采集，采集具体信息包括：

                 采集命令：ifconfig

                 采集信息：服务器的端口信息

                 TELNET数据采集结束，保存数据>

2、分析目前网络设备使用SNMP和TELNET协议采集到的数据的格式，由于支持不同协议的设备所发送数据的格式通常不同，因此对应CR1和CR2规则所采集的原始数据又可以建立如下的数据解析规则：

DR1：InputParam<SNMP协议原始数据>，

     Condition<采集方式＝SNMPAND设备厂商＝Cisco>，

     Consequence<对原始数据按Cisco设备的SNMP协议格式进行解析：

                 参数名称：设备描述参数类型：字符串

                 参数名称：设备启动时间参数类型：长整数

                 参数名称：端口接收数据字节数参数类型：整数

                 参数名称：端口接收数据错误数参数类型：整数

                 数据解析完毕，保存数据>

DR2：InputParam<TELNET协议原始数据>，

     Condition<采集方式＝TELNET AND系统类型＝Linux AND命令＝ifconfig>，

     Consequence<对数据按Linux系统TELNET协议格式进行解析：

                 使用TELNET协议的标准解析程序可完成解析

                 数据解析完毕，保存数据>

3、对于已经采集和正确解析后的数据还需要进行统一的整理和分析。对于SNMP协议产生的数据进行整理，前两个数据直接赋值给新字段即可，后两个数据通过运算产生端口数据错误率这样一个新数据。对于TELNET协议产生的数据进行整理，从设备发送的大量数据中提取出所需的信息，即设备的地址信息。因此，可以建立如下数据处理规则：

PR1：InputParam<SNMP协议基本数据>，

     Condition<采集方式＝SNMPAND设备厂商＝Cisco>，

     Consequence<将数据整理成SNMP统一数据格式：

                 新参数1：设备描述(设备描述)

                 新参数2：设备启动时间(设备启动时间)

                 新参数3：端口数据错误率(端口接收数据字节数/错误子节数)

                 数据整理完毕，保存数据>

PR2：InputParam<TELNET协议基本数据>，

     Condition<采集方式＝TELNET AND系统类型＝Linux AND命令＝ifconfig>，

     Consequence<将数据整理成TELNET统一数据格式，设备返回如下格式数据：

                 eth0      Link encap：Ethernet HWaddr 00：C0：26：8E：7E：7E

                 inet addr:10.80.167.65  Bcast:10.80.167.255  Mask：255.255.255.0

                 inet6 addr:fe80::2c0:26ff:fe8e:7e7e/64 Scope:Link

                 inet6      addr:       2001:da8:b000:5200:2c0:26ff:fe8e:7e7e/64

                 Scope:Global

                 UP BROADCAST RUNNING MULTICAST MTU:1500

                 Metric:1

                 RX packets:378 errors:0 dropped:0 overruns:0 frame:0

                 TX packets:52 errors:0 dropped:0 overruns:0 carrier:0

                 collisions:0 txqueuelen:100

                 RX bytes:47450(46.3Kb)TX bytes:3454(3.3Kb)

                 Interrupt:11 Base address:0xc000

                 从中提取出设备的地址信息即蓝色部分，保存数据>

4、对于已经完成处理的数据需要按照需求进行转发，这样就可以由网管系统或者其它网络应用使用。这里需要将SNMP协议产生的数据转发到数据中，需要指定数据库的具体参数和保存的表格。将TELNET协议产生的数据保存到本地的文件中即可。因此，可以建立如下数据转发规则：

FR1：InputParam<SNMP协议统计数据>，

      Condition<转发方式＝数据库>，

      Consequence<将数据转发到数据库中，转发参数如下：

                  数据库类型：Oracle9i

                  数据库地址：10.80.168.161(测试数据库地址)

                  数据库服务名称：OraDCS

                  数据库服务端口：1521

                  数据转发表名称：CiscoRouterInfo

                  数据转发完毕>

FR1：InputParam<TELNET协议统计数据>，

     Condition<转发方式＝XML文件>，

     Consequence<将数据转发到本地文件中，转发参数如下：

                 文件类型：XML文件

                 文件路径：/home/dcs/router/cisco/snmp

                 文件名称：router_cisco_snmp_20050607_23125.xml

                 文件格式：直接映射保存

                 数据转发完毕>

5、通过指定采集特定参数和过程模板定义一个具体的采集过程，系统就可以真正的开始对网络数据采集和处理的过程了。本例中，需要指定SNMP采集的特定参数和TELNET采集的特定参数，参数的指定可以通过系统提供的定制工具完成。

(1)TELNET采集特定参数的指定包括如下信息：

采集设备的IP地址：10.80.167.65(测试服务器地址)

采集协议类型：TELNET

采集端口：23

采集用户名：user(测试使用用户)

采集用户密码：user(测试使用用户)

(2)SNMP采集特定参数的指定包括如下信息，参见图6：

采集设备的IP地址：192.168.0.100(测试Cisco路由器地址)

采集协议类型：SNMP

采集端口：161

协议版本：SNMPV1(测试使用版本)

采集Community：public(测试使用Community)

超时时间：1000毫秒

重试次数：10次

实施例2使用Basic，C，C++或Delphi的程序设计语言替代实施例1中的Java语言；使用Perl、Python或Groovy的规则描述语言替代实施例1中的Java语言，也可以实现本发明的网络数据采集处理系统。

本发明的系统同样可以使用Basic，C，C++或Delphi等其它程序设计语言来实现，程序的结构和功能与此完全相同，仅由于程序设计语言的不同而导致具体形式和具体编程方式略有不同，因此不进行一一的列举。与此类似的是规则描述语言，除了使用Java语言外，还可以使用Perl，Python或Groovy等其它语言来描述，但规则的结构和执行方式则完全相同，只是才描述语言的形式上略有不同，因此同样不进行一一的列举。

Claims (2)

1.一种基于规则的电信领域网络数据采集处理系统，其特征是，通过规则控制采集过程、数据结构划分、数据操作和数据转发，系统包括规则定制部件、规则验证部件和规则应用部件三部分，规则定制部件处于系统最上层，中间层为规则验证部件，最低层为规则应用部件，规则定制部件与规则验证部件之间有接口连接，规则验证部件与规则应用部件之间有接口连接；

所说的规则定制部件包含划分规则定制模块、处理规则定制模块、转发规则定制模块和模板规则定制模块；划分规则定制模块与处理规则定制模块间存在接口，处理规则定制模块与转发规则定制模块间存在接口，转发规则定制模块与模板规则定制模块间存在接口；

所说的规则验证部件包含规则验证中心模块，采集调度模块，约束性检查模块和一致性检查模块；规则验证中心模块分别与采集调度模块、约束性检查模块和一致性检查模块之间存在接口；

所说的规则应用部件包含规则应用中心模块、指令解析模块、任务操作模块、规则操作模块、数据采集模块、数据处理模块和数据转发模块；规则应用中心模块分别与指令解析模块、任务操作模块、规则操作模块、数据采集模块、数据处理模块和数据转发模块之间存在接口。

2.一种用于实现权利要求1的基于规则的电信领域网络数据采集处理系统的方法，其特征是，通过规则来控制网络数据的采集和处理，其步骤包括：

(1)分析网络需要采集的信息，确定采集方式，建立采集规则；即，分析目前网络需要采集数据的网络设备和主机的信息，确定对于Csico路由器使用SNMP协议来进行数据采集，对于服务器则采用TELNET协议采集数据，建立相应的采集规则；

(2)分析网络数据的格式，建立数据解析规则，正确划分数据的结构；即，分析目前网络设备使用SNMP和TELNET协议采集到的数据的格式，对应相应的采集规则所采集的原始数据建立数据解析规则，正确划分数据的结构；

(3)确定对经过上述处理的数据需要何种整理和分析，建立数据处理规则；

(4)确定对完成处理的数据如何进行转发，建立数据转发规则；

(5)确定采集特定参数和过程模板定义一个具体的采集过程，系统开始对网络数据采集和处理的过程。

Images