CN101174993B - 网络数据监测处理方法和设备 - Google Patents

Abstract

本发明公开了一种网络数据监测处理方法，包括步骤：A、监测处理设备采集网络中的原始数据；B、监测处理设备对所述原始数据进行分布式处理。本发明还公开了一种网络数据监测处理设备，包括数据采集单元和数据处理单元。本发明在增加了处理高速率大流量网络数据的前提下，保持了原有监测处理设备的接入方式和采集接口，有效降低了用户的投资；同时采用分布式处理方式提高了数据处理的灵活性。本发明提供的监测处理方法和设备，利用先进的分布式处理架构、SNMP协议访问接口、和IPv6网络协议处理功能，提供了高性能、易管理、可对基于IPv6的下一代网络进行监测处理的方法和设备。

Description

网络数据监测处理方法和设备

技术领域

本发明涉及网络通信技术领域，具体的说涉及一种网络数据监测处理方法和设备。

背景技术

随着网络建设的升级，网络数据监测处理的重要性日益突出，监测处理是网络建设中的重要环节。网络监测处理不但能够为电信运营商的被测网络提供客观的技术参数，帮助电信运营商进行网络评估验收；而且，网络监测处理还能够为电信运营商提供未来网络规划和业务开展的依据。

在现有的网络数据监测处理方法中，监测处理设备首先获取基于IPv4协议的网络层中的监测数据；监测处理设备完成数据采集后，该设备对获得的数据进行分析和处理后，得到最终的统计数据，由于在监测处理设备中只有一个处理模块，因此该单一处理模块的处理能力非常有限，仅能处理传输流量最高为800Mbps的数据；监测处理设备可以通过自有协议将最终统计得到的数据传输到客户访问端，现有访问监测处理设备示意图如图1所示，客户访问端101与监测处理设备102之间通过自有协议相连并进行数据传输，自有协议是指该协议不是任何现有行业标准、国家标准、或国际标准规定的协议，该协议是根据自身监测处理设备的特点构造出的一种协议，这种协议构造的内容包括协议格式和该协议的使用方法，主要完成在客户访问端和监测处理设备间准确完整地传输数据。在图1中，客户访问端上安装并运行了依据自有协议的客户端软件，该客户端通过自有协议访问远程监测处理设备，并实现将远程监测处理设备上的数据传输到客户端，然后客户端可以对获取的数据进行相应的图、表等方式的处理和展现。

由上述可知，现有的监测处理方法只支持基于IPv4协议的网络层和传输层的数据监测和统计，基于IPv4协议的网络层和传输层协议如图2所示，这些协议包括ICMP 201(网际控制信息协议)、TCP 202(传输控制协议)、UDP 203(用户数据报协议)、IGMP 204(互联网组管理协议)。

通过对现有监测处理方法的分析，可知现有技术具有如下不足：

随着数据网络的发展，传送数据的链路越来越宽，尤其当前骨干网和核心网的数据传输流量已经达到2.5Gbps，有的甚至高达10Gbps。但是现有技术中仅能处理传输流量在几百兆的数据，而对于应用于骨干网和核心网的大速率数据采集和监测还没有相应的解决办法，这种对数据传输流量的限制无法满足未来网络的发展；

在现有技术中，客户端访问监测处理设备时使用自有协议，由于现有的网络管理系统使用的标准协议为SNMP(简单网络管理协议)，这种自有协议与通用的SNMP协议的不一致性，导致了采用自有协议的现有监测处理设备无法被网络管理系统使用，而只能通过其它方式管理，不仅增加了设备维护的成本，而且不便于整个网络监测处理设备的管理；

现有技术中的监测处理方法仅能支持IPv4协议及其相关协议，却不能支持IPv6及其相关协议的采集、处理、分析和统计等，由于IPv6协议是国际上公认的IPv4协议的唯一代替者，因此IPv6协议在全球的发展和应用将是下一代互联网发展的必然趋势，但现有的监测处理方法由于不支持IPv6协议，因此无法满足未来网络的发展趋势，限制了监测处理的网络数据的范围。

发明内容

本发明的目的是提供一种网络数据监测处理方法，以解决现有技术中由于监测处理设备中单一模块的处理能力有限，无法实现对大流量数据的采集和监测的问题，同时解决了由于现有设备不支持IPv6协议而限制了监测处理数据范围的问题。

本发明的另一目的是提供一种网络数据监测处理设备，以解决现有技术中监测处理设备无法实现大流量数据的采集和监测，以及无法被网络管理系统使用的问题。

为解决上述技术问题，本发明提供如下技术方案：

一种网络数据监测处理方法，包括步骤：

A、监测处理设备采集网络中的原始数据；

B、监测处理设备根据网络中数据传输流量的大小对所述原始数据进行分布式处理。

所述步骤A包括：

监测处理设备通过分光方式或镜像方式接入网络中；

所述监测处理设备接入网络后在被监测的网络链路上通过抓包技术获取网络中的原始数据。

所述步骤A中采集网络中的原始数据包括：

采集网络中基于IPv4协议的原始数据，和/或采集网络中基于IPv6协议的原始数据。

所述步骤B包括：

监测处理设备对采集到的原始数据进行分流；

监测处理设备分别对所述分流后的原始数据进行解码、计算、处理或统计。

监测处理设备将所述解码、计算、处理或统计后的原始数据进行汇总得到汇总数据。

所述方法进一步包括：

客户访问端通过简单网络管理协议获得所述汇总数据并对监测处理设备进行管理，和/或网络管理系统通过简单管理协议获得所述汇总数据并对监测处理设备进行管理。

一种网络数据监测处理设备，包括：

数据采集单元，用于采集网络中的原始数据；

数据处理单元，用于根据网络中数据传输流量的大小对数据采集单元采集到的原始数据进行分布式处理。

所述数据采集单元包括：

分光数据采集单元，用于通过分光方式将监测处理设备接入网络中，并获取网络中基于IPv4协议和/或IPv6协议的原始数据；

镜像数据采集单元，用于通过镜像方式将监测处理设备接入网络中，并获取网络中基于IPv4协议和/或IPv6协议的原始数据。

所述数据处理单元包括：

数据分流单元，用于根据网络中数据传输流量的大小将采集到的网络中的原始数据分成至少一个数据块；

数据块分布式处理单元，用于对所述至少一个数据块进行解码、计算、处理或统计；

数据汇总单元，用于将所述解码、计算、处理或统计后的数据进行汇总得到汇总数据。

所述设备还包括：

数据传输单元，用于通过简单网络管理协议向客户访问端和/或网络管理系统传输所述汇总数据。

由以上本发明提供的技术方案可见，本发明具有如下特点和优点：

本发明在增加了处理高速率大流量网络数据的前提下，保持了原有监测处理设备的接入方式和采集接口，使得用户在需要增加监测处理设备处理能力时，只需要对监测处理设备进行改动而不用对网络作任何其它改动，有效降低了用户的投资；同时，由于监测处理设备在处理采集数据时采用分布式处理方式，这种处理方式可以根据用户的要求或网络数据流量做到模块化扩展，提高了数据处理的灵活性；

本发明解决了原有监测处理设备采用自有协议传输数据，无法被网络管理系统访问的问题，通过修改监测处理设备自有协议为SNMP协议，使得监测处理设备接入监测链路后，用户可以方便的使用通用网络管理系统管理和访问监测处理设备，给用户带来了极大的方便；

本发明提供的监测处理方法和设备，利用先进的分布式处理架构、SNMP协议访问接口、和IPv6网络协议处理功能，提供了高性能、易管理、可对基于IPv6的下一代网络进行监测处理的方法和设备。

附图说明

图1为现有访问监测处理设备的示意图；

图2为基于IPv4协议的网络层和传输层协议；

图3为本发明方法的流程图；

图4为本发明方法的优选实施例流程图；

图5为基于IPv6协议的扩展后的网络层和传输层协议；

图6为本发明访问监测处理设备的示意图；

图7为本发明分布式架构示意图；

图8为本发明设备的优选实施例框图。

具体实施方式

本发明的核心是提供一种网络数据监测处理方法，该方法通过抓包技术获取网络中基于IPv4协议或者基于IPv6协议的原始数据，并对采集到的原始数据进行分流，最终对分流后的至少一个数据块进行解码、计算、处理或统计后得到汇总数据，实现对网络数据的监测处理。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本发明作进一步的详细说明。

本发明方法的流程如图3所示：

步骤301：监测处理设备采集网络中的原始数据。

监测处理设备首先通过分光方式或镜像方式接入网络中，该设备接入网络后在被监测的网络链路上通过抓包技术获取网络中的原始数据，这些网络中的原始数据可以是基于IPv4协议的原始数据，也可以是基于IPv6协议的原始数据。

步骤302：监测处理设备对采集到的原始数据进行分布式处理。

监测处理设备首先对采集到的原始数据进行分流，这种分流是根据网络中数据传输流量的大小将采集到的原始数据分成至少一个数据块，监测处理设备对分流后的至少一个数据块进行解码、计算、处理或统计后得到最终汇总的数据结果。

步骤303：监测处理设备将处理后的汇总数据传输到客户访问端或网络管理系统。

客户访问端或网络管理系统通过简单网络管理协议与监测处理设备进行通信并对监测处理设备进行管理，监测处理设备可以通过简单网络管理协议将分布式处理后的汇总数据传输到客户访问端，客户访问端可以对接收到的数据进行最终的表格和图形显示；网络管理系统也可以通过简单网络管理协议对监测处理设备进行访问得到分布式处理后的汇总数据，最终实现网络设备的统一协调管理。

本发明方法的优选实施例流程如图4所示：

步骤401：监测处理设备接入到待监测的网络中。

监测处理设备首先通过分光方式或镜像方式接入待监测网络中。其中，分光接入方式通过在采集链路上分流出部分光源信号，这些分流出的光源信号的内容和原采集链路上的信号内容完全相同，将这部分分流出的光源信号接入到监测处理设备中，实现监测数据的采集；

镜像接入方式通过在监测处理设备上利用设备提供的镜像功能将监测数据镜像出两份完全相同的数据，并将其中一份镜像出的数据传送到监测处理设备中，实现监测数据的采集。

步骤402：监测处理设备从被监测的链路上获取原始数据。

监测处理设备接入网络后，在被监测的网络链路上通过抓包技术获取网络中的原始数据，这些网络中的原始数据可以是基于IPv4协议的原始数据，也可以是基于IPv6协议的原始数据。

其中，基于IPv6协议的扩展后的网络层和传输层协议如图5所示，扩展后的协议不仅包含原来的基于IPv4的网络层和传输层协议，还包括基于IPv6协议的ICMPv6 501(基于IPv6的网际控制信息协议)和IGMPv6 502(基于IPv6的互联网组管理协议)。

步骤403：监测处理设备对采集到的原始数据进行分流。

监测处理设备对从被监控链路上采集到的原始数据进行分流，这种分流是根据网络中数据传输流量的大小，将采集到的原始数据分成至少一个数据块。例如，当被监测的网络数据传输流量高达到2.5Gbps时，由于监测处理设备中的一个处理模块的数据处理能力有限，最多只可以处理传输流量为800Mbps的数据，因此可以将网络中原始的2.5Gbps的数据分成3个大小为800Mbps左右的数据块。

步骤404：监测处理设备对分流后的数据块分别进行处理。

监测处理设备对分流后的3个大小为800Mbps左右的数据块分别进行解码、计算、处理和统计，得到最终需要的数据结果；根据被监测链路数据传输流量的大小，还可以通过灵活的增加或减少分流的数据块大小的方式来调整监测处理设备的处理性能；

由于监测处理设备在处理采集到的原始数据时采用分布式处理方式，这种处理方式可以根据用户的要求或者网络数据流量做到模块化扩展，提高了数据处理的灵活性。

步骤405：监测处理设备将处理后的数据结果进行汇总。

监测处理设备将3个大小为800Mbps左右的数据块分别进行解码、计算、处理和统计，得到最终需要的数据结果，然后将这三个数据块的结果进行汇总得到总的监测数据。

步骤406：将汇总后的数据通过简单网络管理协议传输到客户访问端或网络管理系统。

监测处理设备通过简单网络管理协议将汇总数据传输到客户访问端，客户访问端可以对汇总数据进行最终的表格和图形显示，并对监测处理设备进行管理；监测处理设备通过简单网络管理协议将汇总数据传输到网络管理系统，网络管理系统根据汇总数据对监测处理设备进行管理。

本发明访问监测处理设备的示意图如图6所示。其中，客户访问端601和网络管理系统602分别通过简单网络管理协议与监测处理设备603相连；

监测处理设备可以通过简单网络管理协议将分布式处理后的汇总数据传输到使用该协议的客户访问端，客户访问端接收到数据后，在终端界面对数据进行最终的表格和图形显示，并对监测处理设备进行管理；

网络管理系统是通过简单网络管理协议获得分布式处理后的汇总数据，并对网络设备进行管理的，因此网络管理系统可以对使用该协议的监测处理设备进行访问，从而实现了全网中设备的统一协调管理。

本发明方法优选实施例中对采集到的原始数据进行分布式处理的架构如图7所示，该分布式架构采用了PICMG(外部设备互连总线计算机工业制造组织)2.16标准。

该分布式架构最上端的被控网络链路是数据采集链路710，数据采集链路与分流汇总模块720相连，分流汇总模块与处理模块730相连。

其中，数据采集链路710上承载了监测处理设备需要监控的数据，分流汇总模块720根据网络的传输流量将从采集链路上获取的数据分成相应的数据块，然后将这些数据块发送到处理模块730中，分别对它们进行解码、计算、处理或统计。

在图7所示的分布式架构中，处理模块730中包括三个处理模块，即第一处理模块731，第二处理模块732和第三处理模块733。分流汇总模块720将获取的数据分成三个数据块，并将这三个数据块分别发送到第一处理模块731、第二处理模块732和第三处理模块733中，三个处理模块接收到数据块后对数据进行相应的解码、计算、处理或统计；分流汇总模块将分别处理后的数据块进行汇总得到总的监测数据。

根据被监测采集链路的数据流量的大小，该分布式架构还可以通过增加或减少处理模块的数量来达到调整监测设备处理性能的目的。其中，分流汇总模块的采集接口可以通过分光接入方式或者镜像接入方式连接到采集链路，从而达到对网络中的数据进行采集和监测的目的。

本发明监测处理设备的优选实施例如图8所示：

该监测处理设备包括：数据采集单元810，数据处理单元820和数据传输单元830。

其中数据采集单元810用于通过抓包技术获取网络中的原始数据，这些网络中的原始数据可以是基于IPv4协议的原始数据，也可以是基于IPv6协议的原始数据；

数据处理单元820用于对采集到的原始数据进行分布式处理，数据处理单元对采集到的原始数据进行分流，然后对分流后的数据块进行相应的解码、计算、处理或统计，然后将所得结果进行汇总得到总的监测数据；

数据传输单元830用于通过简单网络管理协议向客户访问端和/或网络管理系统传输汇总后的数据。具体的，数据传输单元可以通过简单网络管理协议将分布式处理后的汇总数据传输到使用该协议的客户访问端，客户访问端接收到数据后，在终端界面对数据进行最终的表格和图形显示；数据传输单元也可以通过简单网络管理协议将汇总数据传输到网络管理系统，以此实现网络管理系统对网络设备的访问和管理，从而实现了全网中设备的统一协调管理。

数据采集单元810包括：分光数据采集单元811，用于通过分光方式将监测处理设备接入网络中获取原始数据，具体的分光数据采集单元通过在采集链路上分流出部分光源信号，分流出的光源信号内容和原链路的信号内容完全相同，将这部分分流出的光源信号接入到监测处理设备中，然后监测设备通过抓包技术获取网络中的原始数据；镜像数据采集单元812，用于通过镜像方式将监测处理设备接入网络中获取原始数据，具体的，镜像数据采集单元通过在监测处理设备上利用设备提供的镜像功能将监测数据镜像出两份完全相同的数据，并将其中一份数据传送到监测处理设备中，然后监测设备通过抓包技术获取网络中的原始数据。

数据处理单元820包括：数据分流单元821，用于根据网络中数据传输流量的大小将采集到的网络中的原始数据分成至少一个数据块，具体的，数据分流单元对从被监控链路上采集到的原始数据进行分流，这种分流是根据网络中数据传输流量的大小将采集到的原始数据分成至少一个数据块，根据被监测链路数据传输流量的大小，数据分流单元还可以通过灵活的增加或减少分流的数据块大小来调整监测处理设备的处理性能；数据块分布式处理单元822，用于对分流后的数据块分别进行解码、计算、处理或统计；数据汇总单元823，用于将解码、计算、处理或统计后的数据进行汇总得到总的监测数据。

虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。

Claims (7)

1.一种网络数据监测处理方法，其特征在于，包括步骤：

A、监测处理设备采集网络中的原始数据；

B、监测处理设备根据网络中数据传输流量的大小将采集到的原始数据分成至少一个数据块，并对所述数据块进行解码、计算和统计后得到最终汇总的数据结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤A包括：

监测处理设备通过分光方式或镜像方式接入网络中；

所述监测处理设备接入网络后在被监测的网络链路上通过抓包技术获取网络中的原始数据。

3.根据权利要求1所述的方法，其特征在于，所述步骤A中采集网络中的原始数据包括：

采集网络中基于IPv4协议的原始数据，和/或采集网络中基于IPv6协议的原始数据。

4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

客户访问端通过简单网络管理协议获得所述汇总数据并对监测处理设备进行管理，和/或网络管理系统通过简单管理协议获得所述汇总数据并对监测处理设备进行管理。

5.一种网络数据监测处理设备，其特征在于，包括：

数据采集单元，用于采集网络中的原始数据；

数据处理单元，用于根据网络中数据传输流量的大小将采集到的原始数据分成至少一个数据块，并对所述数据块进行解码、计算和统计后得到最终汇总的数据结果。

6.根据权利要求5所述的设备，其特征在于，所述数据采集单元包括：

分光数据采集单元，用于通过分光方式将监测处理设备接入网络中，并获取网络中基于IPv4协议和/或IPv6协议的原始数据；

镜像数据采集单元，用于通过镜像方式将监测处理设备接入网络中，并获取网络中基于IPv4协议和/或IPv6协议的原始数据。

7.根据权利要求5所述的设备，其特征在于，所述设备还包括：

数据传输单元，用于通过简单网络管理协议向客户访问端和/或网络管理系统传输所述汇总数据。

Images