CN101800777A - 开放式网络数据采集方法、装置及基于该装置的监测系统 - Google Patents
开放式网络数据采集方法、装置及基于该装置的监测系统 Download PDFInfo
- Publication number
- CN101800777A CN101800777A CN201010118407A CN201010118407A CN101800777A CN 101800777 A CN101800777 A CN 101800777A CN 201010118407 A CN201010118407 A CN 201010118407A CN 201010118407 A CN201010118407 A CN 201010118407A CN 101800777 A CN101800777 A CN 101800777A
- Authority
- CN
- China
- Prior art keywords
- data
- message
- network
- unit
- open network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种开放式网络数据采集方法、装置及基于该装置的监测系统。所述方法包括从接收到的网络信号中提取ATM信元的步骤,从ATM信元中解析和提取报文的步骤,基于协议和特定消息字段对报文进行过滤的步骤,将过滤后的报文数据按照标准的格式进行封装的步骤,和将封装好的数据送出的步骤。所述装置包括自信元提取单元依次连接的网络处理单元和输出单元,所述网络处理单元包括报文提取单元、过滤单元和封装单元。所述监测系统中,开放式网络数据采集装置的输出端通过以太网经API接口接入业务分析服务器。本发明在系统开放程度上取得突破,提供平台级的开放接口,充分发挥不同厂家业务分析软件的优势,而且结构简单,方便管理和维护。
Description
技术领域
本发明涉及一种开放式网络数据采集方法、装置及基于该装置的监测系统。
背景技术
随着移动数据业务的不断深入和3G移动网络的逐渐部署,数据业务的宽带瓶颈将会被彻底打破,数据业务高速发展,更加丰富和多样的业务应用将被开展,用户量剧增。3G移动网络不仅能提供传统的语音业务,还能提供高速的宽带视频业务,支持高质量的语音、分组数据业务以及实时视频传输和多媒体应用的需求,导致数据内容越来越多样,复杂度越来越高。3G移动基础网络提供了卓越的业务体验环境,3G时代所带给用户的新体验将为运营商在移动数据领域提供差异化服务提供更多的机会,因此对数据业务体验质量保障要求越来越高,网络监测系统也就必不可少。
网络监测系统由于受传统的移动网络(2G/2.5G)用采集前端机作为监测系统思维的影响,通常由采集前端机和运行于采集前端机中的业务分析软件构成,传统的监测系统如图1中所示,各公司分别拥有各自的采集前端机,并利用各自的采集单元采集网络数据,例如,A公司监测系统,利用采集前端机AF中的采集单元进行采集,并在采集前端机中的业务分析软件进行业务分析;同样,B公司监测系统利用采集前端机BF中的采集单元进行采集,并在采集前端机中进行业务分析;由于采集前端机输出的数据格式不开放,缺乏统一的标准,因此,用户在建设自己的采集监测系统时,往往只能被动适配各设备厂商的产品而不能从整体解决方案角度去优化融合,导致每个公司要开展业务分析必须重复建设采集平台,而且多个采集系统不能进行统一管理,导致比较难维护。另一方面,由于采集前端机缺乏电信级可靠性和高采集性能,导致采集的数据不准确,不可靠,影响了监测系统的实用价值。
发明内容
本发明克服了上述缺点,提供了一种开放式网络数据采集方法、装置及基于该装置的监测系统。
本发明解决其技术问题所采取的技术方案是:一种开放式网络数据采集方法,包括从接收到的网络信号中提取ATM信元的步骤,还包括,
从ATM信元中解析和提取报文的步骤;
基于协议和特定消息字段对报文进行过滤的步骤;
将过滤后的报文数据按照标准格式进行封装的步骤;
将封装好的数据经过网络进行交换的步骤。
所述将封装好的数据经过网络进行交换的步骤可进一步包括,
对封装好的数据进行复制的步骤;
对复制的数据进行流量整形的步骤;
通过千兆以太网接口输出的步骤。
所述从接收到的网络信号中提取ATM信元的步骤前,还可包括将光纤传输的光信号转化为电信号的步骤。
一种开放式网络数据采集装置,包括用于从接收到的网络信号中提取ATM信元的信元提取单元,还包括自信元提取单元依次连接的网络处理单元和用于将封装好的数据送出的输出单元,所述网络处理单元进一步包括
用于从ATM信元中解析和提取报文的报文提取单元;
用于基于协议和特定消息字段对报文进行过滤的过滤单元;
用于将过滤后的报文数据按照标准格式进行封装的封装单元。
所述网络处理单元可采用FPGA网络处理器实现。
所述信元提取单元可采用SDH/ATM物理层模块。
所述网络处理单元和输出单元之间还可依次连接有用于对封装好的数据进行复制的数据复制单元、用于对复制的数据进行流量整形的流量整形单元和千兆以太网输出单元。
还可包括一个SFP光收发模块,用于将光纤传输的光信号转化为电信号,并发送到所述信元提取单元。
一种基于开放式网络数据采集装置的监测系统,包括多个业务分析服务器,开放式网络数据采集装置的输出端通过以太网经API接口分别接入所述多个业务分析服务器。
本发明在系统开放程度上取得突破,提供平台级的开放接口,并完成采集数据开放,可以充分发挥不同厂家的业务分析软件的优势,而且结构简单,而且所有的采集平台系统可以进行统一管理,简单快捷,方便管理和维护,使得综合成本大大降低。
附图说明
图1为传统监测系统的结构图;
图2为本发明中开放式网络数据采集方法的流程图;
图3为本发明中开放式网络数据采集装置的原理图;
图4为本发明中基于开放式网络数据采集装置的监测系统的原理图。
具体实施方式
本发明中开放式网络数据采集方法如图2中所示,包括以下步骤:
步骤21:将光纤传输的光信号转化为电信号的步骤;
步骤22:从接收到的网络信号中提取ATM信元的步骤;
步骤23:从ATM信元中解析和提取报文的步骤;
步骤24:基于协议和特定消息字段对报文进行过滤的步骤;
步骤25:将过滤后的报文数据按照标准格式进行封装的步骤;
步骤26:对封装好的数据进行复制的步骤,将数据进行缓存;
步骤27:对经复制的等待输出的数据进行流量整形的步骤,整形成所需的输出带宽范围;
步骤28:对整形后的数据通过千兆以太网接口将数据送出的步骤。
本发明中开放式网络数据采集装置的一种优选实施例如图3中所示,是一种集数据采集、过滤、协议处理功能于一体的数据采集设备,主要由依次连接的SFP光收发模块、SDH/ATM物理层模块(Synchronous Digital Hierarchy,同步数字体系/Asychronous TransferMode,异步转移模式)、FPGA网络处理器、数据复制单元、流量整形单元、千兆以太网接口输出单元构成。基于这种结构下,TD-SCDMA网络中通过光纤传输的光信号接入SFP光收发模块,然后通过光电转化器转化为电信号,然后通过SDH/ATM物理层模块把STM-1帧结构里边封装的ATM信元提取出来,送给网络处理器FPGA,在所述的网络处理器中,实现AAL2/AAL5的重组功能(ATM适配层),并提取出协议报文,经过协议过滤,和特定消息字段的过滤,过滤后的报文,按照标准的格式封装成以太网数据帧,通过千兆交换网络交换后,输出给数据复制单元实现数据缓存,在经过流量整形后,整形成千兆流量传输的数据,通过千兆以太网接口送往业务分析服务器做进一步分析。
一般来说,数据采集的目的是对线路上承载的信令及其数据进行收集、分析、处理,而对上层协议并不关心。特别对于网络数据采集装置来说,对接近物理层一端数据往往希望硬件进行初步的分类和处理,以使得送入业务分析服务器中由软件分析的数据处理相对简化,节省运算量。换句话说,网络数据采集装置的硬件部分处理偏底层的数据,业务分析服务器中软件部分处理偏上层的数据。进而根据TD-SCDMA规范和无线接入网接口协议结构,AAL以上层次由软件处理,在AAL及其以下层次由硬件处理是比较理想的划分。对于STM-1数据采集前端设备来说,应该完成物理层、ATM层、AAL层的处理任务,然后再送给业务分析服务器中的软件作进一步处理。
其中,所述FPGA网络处理器是网络数据采集装置的核心部分,它完成整个装置的控制、计算和报文过滤功能。相对于目前的GSM/CDMA网络而言,3G网络的信息量更多、更复杂,常规的单片机控制技术在速度上不能满足实时测试的需要。另外,还必须要求网络数据采集装置内部采用高带宽的千兆网络进行连接,以保证数据不丢失。
FPGA网络处理器包括报文提取单元、过滤单元和封装单元,所述报文提取单元首先进行分析操作,完成报文解析和提取,提供底层软件进行一些告警指示和信息统计处理,所述过滤单元根据软件配置,可以实现基于协议和特定消息字段的报文过滤,所述封装单元将处理后的数据包按照标准格式进行封装,打上时间戳,并进行小包重组,减少业务分析服务器的负担。
本发明的基于开放式网络数据采集装置的监测系统如图4中所示,开放式网络数据采集装置F1负责采集网络中STM-1帧结构中承载的数据,其输出通过以太网经API接口接入多个所述业务分析服务器AS、BS、CS,由于开放式网络数据采集装置都按照C++类的概念进行设计,通过标准格式进行封装,封装的指令级别为最小完整功能级,能够提供外部标准的统一接口供使用者调用,达到可随意接入多种业务软件进行分析的目的。所述开放式网络数据采集装置与业务分析服务器的接口可以采用抓包用的通用winpcap(windows packetcapture,windows平台下一个免费、公共的网络访问系统)接口,不管哪个厂家的业务分析软件只要按照这些通用的接口就可以开展业务分析了,因此,基于开放式网络数据采集装置的监测系统可以做到数据采集和业务分析软件分离,提供平台级的开放接口,可以适配不同的业务分析软件,充分发挥各自分析软件的优势,大大降低了成本。
此外,由于本发明中将开放式网络数据采集装置模块化,并将采集到的数据标准化,使送出的数据满足多种应用,例如,开放式网络数据采集装置也可以基于SNMP(简单网络管理协议)协议的通用的网络API接口,与网管服务器相连,实现开放式的网络管理。
通过上述描述可知,本发明能够提供平台级的开放接口,从而达到采集数据开放,支持二次开发,可以适配不同的业务分析软件,可以充分发挥业务分析软件的优势,而且结构简单,方便管理和维护,使得综合成本大大降低。
以上对本发明所提供的开放式网络数据采集方法、装置及基于该装置的监测系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种开放式网络数据采集方法,包括从接收到的网络信号中提取ATM信元的步骤,其特征在于:还包括以下步骤,
从ATM信元中解析和提取报文的步骤;
基于协议和特定消息字段对报文进行过滤的步骤;
将过滤后的报文数据按照标准格式进行封装的步骤;
将封装好的数据经过网络进行交换的步骤。
2.根据权利要求1所述的开放式网络数据采集方法,其特征在于:所述将封装好的数据经过网络进行交换的步骤进一步包括,
对封装好的数据进行复制的步骤;
对复制的数据进行流量整形的步骤;
通过千兆以太网接口输出的步骤。
3.根据权利要求1或2所述的开放式网络数据采集方法,其特征在于:所述从接收到的网络信号中提取ATM信元的步骤前,还包括将光纤传输的光信号转化为电信号的步骤。
4.一种开放式网络数据采集装置,包括用于从接收到的网络信号中提取ATM信元的信元提取单元,其特征在于:还包括自信元提取单元依次连接的网络处理单元和用于将封装好的数据送出的输出单元,所述网络处理单元进一步包括,
用于从ATM信元中解析和提取报文的报文提取单元;
用于基于协议和特定消息字段对报文进行过滤的过滤单元;
用于将过滤后的报文数据按照标准格式进行封装的封装单元。
5.根据权利要求4所述的开放式网络数据采集装置,其特征在于:所述网络处理单元和输出单元之间还依次连接有用于对封装好的数据进行复制的数据复制单元、用于对复制的数据进行流量整形的流量整形单元和千兆以太网输出单元。
6.根据权利要求4或5所述的开放式网络数据采集装置,其特征在于:所述网络处理单元采用FPGA网络处理器实现。
7.根据权利要求4或5所述的开放式网络数据采集装置,其特征在于:所述信元提取单元采用SDH/ATM物理层模块。
8.根据权利要求4或5所述的开放式网络数据采集装置,其特征在于:还包括一个SFP光收发模块,用于将光纤传输的光信号转化为电信号,并发送到所述信元提取单元。
9.一种基于权利要求4所述的开放式网络数据采集装置的监测系统,其特征在于:包括多个业务分析服务器,开放式网络数据采集装置的输出端通过以太网经API接口分别接入所述多个业务分析服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010118407A CN101800777A (zh) | 2010-03-05 | 2010-03-05 | 开放式网络数据采集方法、装置及基于该装置的监测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010118407A CN101800777A (zh) | 2010-03-05 | 2010-03-05 | 开放式网络数据采集方法、装置及基于该装置的监测系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101800777A true CN101800777A (zh) | 2010-08-11 |
Family
ID=42596268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010118407A Pending CN101800777A (zh) | 2010-03-05 | 2010-03-05 | 开放式网络数据采集方法、装置及基于该装置的监测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101800777A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102571577A (zh) * | 2011-12-29 | 2012-07-11 | 北京中创信测科技股份有限公司 | 一种利用fpga实现sbi接口时隙按配置分流的方法和装置 |
CN102684964A (zh) * | 2012-05-10 | 2012-09-19 | 南京英飞诺网络科技有限公司 | 一种万兆以太网接口卡及以太网组网方法 |
CN104125227A (zh) * | 2014-07-30 | 2014-10-29 | 刘鹏 | 物理隔离跨网单向光传输装置及传输方法 |
CN104539477A (zh) * | 2014-12-15 | 2015-04-22 | 国家计算机网络与信息安全管理中心 | 一种对多条以太线路报文信息采集的方法 |
CN108243180A (zh) * | 2017-09-30 | 2018-07-03 | 平安科技(深圳)有限公司 | 银行保单数据对接方法及保单数据服务器 |
CN108965864A (zh) * | 2018-07-03 | 2018-12-07 | 上海欣诺通信技术股份有限公司 | Iptv协议分析设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020131405A1 (en) * | 2001-02-14 | 2002-09-19 | Ching-Fang Lin | Java based information exchange process and system thereof |
CN1571395A (zh) * | 2003-07-17 | 2005-01-26 | 华为技术有限公司 | 一种宽带接入设备支持atm网络承载ip报文协议的方法 |
CN101136795A (zh) * | 2006-12-26 | 2008-03-05 | 中兴通讯股份有限公司 | 一种基于网络处理器的通讯协议监测系统及方法 |
CN101345652A (zh) * | 2008-08-15 | 2009-01-14 | 北京立通无限科技有限公司 | 数据采集方法及数据采集设备 |
-
2010
- 2010-03-05 CN CN201010118407A patent/CN101800777A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020131405A1 (en) * | 2001-02-14 | 2002-09-19 | Ching-Fang Lin | Java based information exchange process and system thereof |
CN1571395A (zh) * | 2003-07-17 | 2005-01-26 | 华为技术有限公司 | 一种宽带接入设备支持atm网络承载ip报文协议的方法 |
CN101136795A (zh) * | 2006-12-26 | 2008-03-05 | 中兴通讯股份有限公司 | 一种基于网络处理器的通讯协议监测系统及方法 |
CN101345652A (zh) * | 2008-08-15 | 2009-01-14 | 北京立通无限科技有限公司 | 数据采集方法及数据采集设备 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102571577A (zh) * | 2011-12-29 | 2012-07-11 | 北京中创信测科技股份有限公司 | 一种利用fpga实现sbi接口时隙按配置分流的方法和装置 |
CN102571577B (zh) * | 2011-12-29 | 2015-02-18 | 北京中创信测科技股份有限公司 | 一种利用fpga实现sbi接口时隙按配置分流的方法和装置 |
CN102684964A (zh) * | 2012-05-10 | 2012-09-19 | 南京英飞诺网络科技有限公司 | 一种万兆以太网接口卡及以太网组网方法 |
CN104125227A (zh) * | 2014-07-30 | 2014-10-29 | 刘鹏 | 物理隔离跨网单向光传输装置及传输方法 |
CN104539477A (zh) * | 2014-12-15 | 2015-04-22 | 国家计算机网络与信息安全管理中心 | 一种对多条以太线路报文信息采集的方法 |
CN104539477B (zh) * | 2014-12-15 | 2017-10-27 | 国家计算机网络与信息安全管理中心 | 一种对多条以太线路报文信息采集的方法 |
CN108243180A (zh) * | 2017-09-30 | 2018-07-03 | 平安科技(深圳)有限公司 | 银行保单数据对接方法及保单数据服务器 |
CN108243180B (zh) * | 2017-09-30 | 2020-06-30 | 平安科技(深圳)有限公司 | 银行保单数据对接方法及保单数据服务器 |
CN108965864A (zh) * | 2018-07-03 | 2018-12-07 | 上海欣诺通信技术股份有限公司 | Iptv协议分析设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109089029B (zh) | 一种基于FPGA的Gige Vision接口图像传输系统与方法 | |
CN101800777A (zh) | 开放式网络数据采集方法、装置及基于该装置的监测系统 | |
CN104580031B (zh) | 基于多协议链路封装技术的pos解帧成帧装置及方法 | |
CN104717150B (zh) | 交换装置及丢包方法 | |
CN102468899B (zh) | 通道化stm-1接入分发方法与系统 | |
CN102932198B (zh) | 一种实现ps域分布式架构的信令监测装置 | |
CN105426329B (zh) | 基于嵌入式万兆网硬协议栈的信号高速采集转发实现方法 | |
CN104038383A (zh) | 基于交换机的过程层网络报文分析方法 | |
CN100417088C (zh) | 一种前后台告警同步的方法 | |
CN110212983A (zh) | 一种fc信号和以太网信号的转换方法及装置 | |
CN112332920A (zh) | 基于x86板卡的100gotn信号处理平台及处理方法 | |
CN1881845B (zh) | 实现多路多种数据业务汇聚传送的装置及其方法 | |
CN101692303A (zh) | 大用户用电管理终端用电数据的采集方法 | |
CN109067624A (zh) | 一种信道化光口stm-4hdlc数据采集方法及装置 | |
CN101009582A (zh) | 基于2m数据电路传输质量实时在线监测的方法与装置 | |
CN103701847A (zh) | 机载网络数据的采集及同步传输系统 | |
CN106021172A (zh) | 一种数据通信的方法及装置 | |
CN101141347B (zh) | 多路以太网信号汇聚装置和方法 | |
EP2041943B1 (en) | Gateway for use in an electronic communications recording system | |
CN110213168A (zh) | 一种fc转以太网的数据转换流量控制方法及装置 | |
CN108540313B (zh) | 一种基于类型标识符的北向接口采集电路结构的方法 | |
CN101557285A (zh) | 一种千兆以太网同频时钟传输方法及系统 | |
CN201550292U (zh) | 一种在第三代移动通信系统中iub接口采集数据的设备 | |
CN100407660C (zh) | 一种多业务传送平台协议分析方法及装置 | |
CN101977186B (zh) | 一种实现STM-1接口汇聚多路Ethernet over E1协议转换的装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20100811 |