CN101800777A

CN101800777A - 开放式网络数据采集方法、装置及基于该装置的监测系统

Info

Publication number: CN101800777A
Application number: CN201010118407A
Authority: CN
Inventors: 胡钢
Original assignee: Individual
Current assignee: Individual
Priority date: 2010-03-05
Filing date: 2010-03-05
Publication date: 2010-08-11

Abstract

本发明涉及一种开放式网络数据采集方法、装置及基于该装置的监测系统。所述方法包括从接收到的网络信号中提取ATM信元的步骤，从ATM信元中解析和提取报文的步骤，基于协议和特定消息字段对报文进行过滤的步骤，将过滤后的报文数据按照标准的格式进行封装的步骤，和将封装好的数据送出的步骤。所述装置包括自信元提取单元依次连接的网络处理单元和输出单元，所述网络处理单元包括报文提取单元、过滤单元和封装单元。所述监测系统中，开放式网络数据采集装置的输出端通过以太网经API接口接入业务分析服务器。本发明在系统开放程度上取得突破，提供平台级的开放接口，充分发挥不同厂家业务分析软件的优势，而且结构简单，方便管理和维护。

Description

开放式网络数据采集方法、装置及基于该装置的监测系统

技术领域

本发明涉及一种开放式网络数据采集方法、装置及基于该装置的监测系统。

背景技术

随着移动数据业务的不断深入和3G移动网络的逐渐部署，数据业务的宽带瓶颈将会被彻底打破，数据业务高速发展，更加丰富和多样的业务应用将被开展，用户量剧增。3G移动网络不仅能提供传统的语音业务，还能提供高速的宽带视频业务，支持高质量的语音、分组数据业务以及实时视频传输和多媒体应用的需求，导致数据内容越来越多样，复杂度越来越高。3G移动基础网络提供了卓越的业务体验环境，3G时代所带给用户的新体验将为运营商在移动数据领域提供差异化服务提供更多的机会，因此对数据业务体验质量保障要求越来越高，网络监测系统也就必不可少。

网络监测系统由于受传统的移动网络(2G/2.5G)用采集前端机作为监测系统思维的影响，通常由采集前端机和运行于采集前端机中的业务分析软件构成，传统的监测系统如图1中所示，各公司分别拥有各自的采集前端机，并利用各自的采集单元采集网络数据，例如，A公司监测系统，利用采集前端机AF中的采集单元进行采集，并在采集前端机中的业务分析软件进行业务分析；同样，B公司监测系统利用采集前端机BF中的采集单元进行采集，并在采集前端机中进行业务分析；由于采集前端机输出的数据格式不开放，缺乏统一的标准，因此，用户在建设自己的采集监测系统时，往往只能被动适配各设备厂商的产品而不能从整体解决方案角度去优化融合，导致每个公司要开展业务分析必须重复建设采集平台，而且多个采集系统不能进行统一管理，导致比较难维护。另一方面，由于采集前端机缺乏电信级可靠性和高采集性能，导致采集的数据不准确，不可靠，影响了监测系统的实用价值。

发明内容

本发明克服了上述缺点，提供了一种开放式网络数据采集方法、装置及基于该装置的监测系统。

本发明解决其技术问题所采取的技术方案是：一种开放式网络数据采集方法，包括从接收到的网络信号中提取ATM信元的步骤，还包括，

从ATM信元中解析和提取报文的步骤；

基于协议和特定消息字段对报文进行过滤的步骤；

将过滤后的报文数据按照标准格式进行封装的步骤；

将封装好的数据经过网络进行交换的步骤。

所述将封装好的数据经过网络进行交换的步骤可进一步包括，

对封装好的数据进行复制的步骤；

对复制的数据进行流量整形的步骤；

通过千兆以太网接口输出的步骤。

所述从接收到的网络信号中提取ATM信元的步骤前，还可包括将光纤传输的光信号转化为电信号的步骤。

一种开放式网络数据采集装置，包括用于从接收到的网络信号中提取ATM信元的信元提取单元，还包括自信元提取单元依次连接的网络处理单元和用于将封装好的数据送出的输出单元，所述网络处理单元进一步包括

用于从ATM信元中解析和提取报文的报文提取单元；

用于基于协议和特定消息字段对报文进行过滤的过滤单元；

用于将过滤后的报文数据按照标准格式进行封装的封装单元。

所述网络处理单元可采用FPGA网络处理器实现。

所述信元提取单元可采用SDH/ATM物理层模块。

所述网络处理单元和输出单元之间还可依次连接有用于对封装好的数据进行复制的数据复制单元、用于对复制的数据进行流量整形的流量整形单元和千兆以太网输出单元。

还可包括一个SFP光收发模块，用于将光纤传输的光信号转化为电信号，并发送到所述信元提取单元。

一种基于开放式网络数据采集装置的监测系统，包括多个业务分析服务器，开放式网络数据采集装置的输出端通过以太网经API接口分别接入所述多个业务分析服务器。

本发明在系统开放程度上取得突破，提供平台级的开放接口，并完成采集数据开放，可以充分发挥不同厂家的业务分析软件的优势，而且结构简单，而且所有的采集平台系统可以进行统一管理，简单快捷，方便管理和维护，使得综合成本大大降低。

附图说明

图1为传统监测系统的结构图；

图2为本发明中开放式网络数据采集方法的流程图；

图3为本发明中开放式网络数据采集装置的原理图；

图4为本发明中基于开放式网络数据采集装置的监测系统的原理图。

具体实施方式

本发明中开放式网络数据采集方法如图2中所示，包括以下步骤：

步骤21：将光纤传输的光信号转化为电信号的步骤；

步骤22：从接收到的网络信号中提取ATM信元的步骤；

步骤23：从ATM信元中解析和提取报文的步骤；

步骤24：基于协议和特定消息字段对报文进行过滤的步骤；

步骤25：将过滤后的报文数据按照标准格式进行封装的步骤；

步骤26：对封装好的数据进行复制的步骤，将数据进行缓存；

步骤27：对经复制的等待输出的数据进行流量整形的步骤，整形成所需的输出带宽范围；

步骤28：对整形后的数据通过千兆以太网接口将数据送出的步骤。

本发明中开放式网络数据采集装置的一种优选实施例如图3中所示，是一种集数据采集、过滤、协议处理功能于一体的数据采集设备，主要由依次连接的SFP光收发模块、SDH/ATM物理层模块(Synchronous Digital Hierarchy，同步数字体系/Asychronous TransferMode，异步转移模式)、FPGA网络处理器、数据复制单元、流量整形单元、千兆以太网接口输出单元构成。基于这种结构下，TD-SCDMA网络中通过光纤传输的光信号接入SFP光收发模块，然后通过光电转化器转化为电信号，然后通过SDH/ATM物理层模块把STM-1帧结构里边封装的ATM信元提取出来，送给网络处理器FPGA，在所述的网络处理器中，实现AAL2/AAL5的重组功能(ATM适配层)，并提取出协议报文，经过协议过滤，和特定消息字段的过滤，过滤后的报文，按照标准的格式封装成以太网数据帧，通过千兆交换网络交换后，输出给数据复制单元实现数据缓存，在经过流量整形后，整形成千兆流量传输的数据，通过千兆以太网接口送往业务分析服务器做进一步分析。

一般来说，数据采集的目的是对线路上承载的信令及其数据进行收集、分析、处理，而对上层协议并不关心。特别对于网络数据采集装置来说，对接近物理层一端数据往往希望硬件进行初步的分类和处理，以使得送入业务分析服务器中由软件分析的数据处理相对简化，节省运算量。换句话说，网络数据采集装置的硬件部分处理偏底层的数据，业务分析服务器中软件部分处理偏上层的数据。进而根据TD-SCDMA规范和无线接入网接口协议结构，AAL以上层次由软件处理，在AAL及其以下层次由硬件处理是比较理想的划分。对于STM-1数据采集前端设备来说，应该完成物理层、ATM层、AAL层的处理任务，然后再送给业务分析服务器中的软件作进一步处理。

其中，所述FPGA网络处理器是网络数据采集装置的核心部分，它完成整个装置的控制、计算和报文过滤功能。相对于目前的GSM/CDMA网络而言，3G网络的信息量更多、更复杂，常规的单片机控制技术在速度上不能满足实时测试的需要。另外，还必须要求网络数据采集装置内部采用高带宽的千兆网络进行连接，以保证数据不丢失。

FPGA网络处理器包括报文提取单元、过滤单元和封装单元，所述报文提取单元首先进行分析操作，完成报文解析和提取，提供底层软件进行一些告警指示和信息统计处理，所述过滤单元根据软件配置，可以实现基于协议和特定消息字段的报文过滤，所述封装单元将处理后的数据包按照标准格式进行封装，打上时间戳，并进行小包重组，减少业务分析服务器的负担。

本发明的基于开放式网络数据采集装置的监测系统如图4中所示，开放式网络数据采集装置F1负责采集网络中STM-1帧结构中承载的数据，其输出通过以太网经API接口接入多个所述业务分析服务器AS、BS、CS，由于开放式网络数据采集装置都按照C++类的概念进行设计，通过标准格式进行封装，封装的指令级别为最小完整功能级，能够提供外部标准的统一接口供使用者调用，达到可随意接入多种业务软件进行分析的目的。所述开放式网络数据采集装置与业务分析服务器的接口可以采用抓包用的通用winpcap(windows packetcapture，windows平台下一个免费、公共的网络访问系统)接口，不管哪个厂家的业务分析软件只要按照这些通用的接口就可以开展业务分析了，因此，基于开放式网络数据采集装置的监测系统可以做到数据采集和业务分析软件分离，提供平台级的开放接口，可以适配不同的业务分析软件，充分发挥各自分析软件的优势，大大降低了成本。

此外，由于本发明中将开放式网络数据采集装置模块化，并将采集到的数据标准化，使送出的数据满足多种应用，例如，开放式网络数据采集装置也可以基于SNMP(简单网络管理协议)协议的通用的网络API接口，与网管服务器相连，实现开放式的网络管理。

通过上述描述可知，本发明能够提供平台级的开放接口，从而达到采集数据开放，支持二次开发，可以适配不同的业务分析软件，可以充分发挥业务分析软件的优势，而且结构简单，方便管理和维护，使得综合成本大大降低。

以上对本发明所提供的开放式网络数据采集方法、装置及基于该装置的监测系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种开放式网络数据采集方法，包括从接收到的网络信号中提取ATM信元的步骤，其特征在于：还包括以下步骤，

从ATM信元中解析和提取报文的步骤；

基于协议和特定消息字段对报文进行过滤的步骤；

将过滤后的报文数据按照标准格式进行封装的步骤；

将封装好的数据经过网络进行交换的步骤。

2.根据权利要求1所述的开放式网络数据采集方法，其特征在于：所述将封装好的数据经过网络进行交换的步骤进一步包括，

对封装好的数据进行复制的步骤；

对复制的数据进行流量整形的步骤；

通过千兆以太网接口输出的步骤。

3.根据权利要求1或2所述的开放式网络数据采集方法，其特征在于：所述从接收到的网络信号中提取ATM信元的步骤前，还包括将光纤传输的光信号转化为电信号的步骤。

4.一种开放式网络数据采集装置，包括用于从接收到的网络信号中提取ATM信元的信元提取单元，其特征在于：还包括自信元提取单元依次连接的网络处理单元和用于将封装好的数据送出的输出单元，所述网络处理单元进一步包括，

用于从ATM信元中解析和提取报文的报文提取单元；

用于基于协议和特定消息字段对报文进行过滤的过滤单元；

5.根据权利要求4所述的开放式网络数据采集装置，其特征在于：所述网络处理单元和输出单元之间还依次连接有用于对封装好的数据进行复制的数据复制单元、用于对复制的数据进行流量整形的流量整形单元和千兆以太网输出单元。

6.根据权利要求4或5所述的开放式网络数据采集装置，其特征在于：所述网络处理单元采用FPGA网络处理器实现。

7.根据权利要求4或5所述的开放式网络数据采集装置，其特征在于：所述信元提取单元采用SDH/ATM物理层模块。

8.根据权利要求4或5所述的开放式网络数据采集装置，其特征在于：还包括一个SFP光收发模块，用于将光纤传输的光信号转化为电信号，并发送到所述信元提取单元。

9.一种基于权利要求4所述的开放式网络数据采集装置的监测系统，其特征在于：包括多个业务分析服务器，开放式网络数据采集装置的输出端通过以太网经API接口分别接入所述多个业务分析服务器。