CN112332920A - 基于x86板卡的100gotn信号处理平台及处理方法 - Google Patents

Abstract

本发明涉及一种基于X86板卡的100GOTN信号处理平台及处理方法，能对100GOTN信号做帧分析、解映射及负载识别，并能根据承载的不同封装流量切换输出到X86板卡进行不同颗粒度的流量采集和分析处理，针对10GSDH采取高速采集原始数据，对原始数据进行SDH的帧结构分析，以及解封装处理，挖掘剥离出以太网数据，得到包数据文件，针对100GE和10GE均采取包采集模式得到采集数据，对包数据文件进行深度包检测，对数据进行以太网协议分析得出IP五元组及负载信息，根据数据清洗模块得出网络数据行为走向的统计信息。实现对100GOTN信号的旁路接入采集、解封装映射、深度分析、数据清洗统计等功能。

Description

基于X86板卡的100GOTN信号处理平台及处理方法

技术领域

本发明涉及一种100GOTN信号采集分析处理平台，特别涉及一种基于X86板卡的100GOTN信号处理平台及处理方法。

背景技术

当前个人IP业务和企业IP业务等新兴业务发展迅速，促使带宽高速增长，IP流量激增，全球年增速32%，而国际化电信标准先行，100G标准制定组织IEEE、ITU-T及OIF已经发行100G标准，在骨干网和城域网中目前已经大量存在100GOTN信号，而100GOTN技术标准中关于OTU4的封装映射技术可以将多种低速颗粒度的信号封装映射进去，充分利用带宽，100GOTN系统支持100M到100G所有客户侧的业务接入，做到全网业务all in one，兼容IP数据网络的10GE_LAN，GE接口，兼容原有MSTP网络的STM-N业务，兼容100GE核心路由器接口。当前针对100G带宽的OTN信号多为传输系统，对于100GOTN信号的流量旁路进行技术侦察的需求也逐渐显现，目前对100GOTN信号的接收并对100GOTN的信号进行封装解复用，对承载的10GSDH、10GE以及100GE等所有底速颗粒度的有效数据流量进行轮询分析的设备尚属少见，本平台能够拆解分析出100GOTN所有复用支路信号，并且兼容对STM-N信号的解封装帧结构分析，剥离数据业务的最底层信息，并对IP数据进行分析统计输出100GOTN线路底数详情，得出IP走向、端口分布、地域走向等态势信息。

发明内容

为满足对当前100GOTN信号的旁路分析需求，本发明提供了基于X86板卡的100GOTN信号处理平台及处理方法，可根据分析输出的100GOTN映射复用结构，轮询采集不同颗粒度如10GE、10GSDH、100GE的流量进行深度分析，并展现出100GOTN总带宽中的数据业务分布情况，得出占比及地域走向分布数据等,具体技术方案是，基于X86板卡的100GOTN信号处理平台，其硬件形态为ATCA机箱架构，包括主控板卡、线路板卡、交换板卡，X86计算刀片，其特征在于：主控板卡通过背板与ATCA机箱中所有板卡网口连通，进行指令控制以及对外与设备控制网管进行通信，线路板卡配备线路侧100G光模块外接光纤、具备对100G光模块的输出接口和多个10G输出光口，100G输出光模块对接交换板卡的100G光模块输入端口，两个10G光模块对接x86板卡前面板的两个10G光模块输入光口进行数据采集,交换板背板的四个10G网口对接x86板卡背板的四个10G网口进行数据采集，x86板卡根据轮询策略分别对数据进行采集以及分析处理，背板走线将机箱中所有槽位的板卡进行互联，实现网口互通。

处理方法，包括100GOTN信号帧结构的解映射结构分析、自动轮询通道颗粒度流量采集分析，其中自动轮询通道颗粒度流量采集分析又根据100GOTN的解映射承载信号类型，分为对100GE、10GSDH、10GE/10GGFP的流量的分析，

一、100GOTN信号帧结构解映射分析，由用户控制下发MSA底数分析功能按键，主控板接收到该功能指示，控制线路板卡对输入的线路侧光信号进行采集和分析，得出100GOTN的分层映射关系，该映射关系将所有的细颗粒的分层封装都反映出来，映射信息直接入到数据库中进行维护存储；

二、自动轮询通道颗粒度流量采集分析，根据100GOTN的解映射相关信息得出当前100GOTN中包含的是整体100GE还是10GSDH、10GE、10GGFP组合而成的。不同颗粒度的流量采取不同的控制处理，

I）100GOTN信号为整体100GE处理，若100GOTN的帧结构解映射得出其承载的是100GE的流量，则100GOTN从线卡流入交换卡后，交换卡利用规则对100GE的流量进行规则命中的降速处理，输出40GE的带宽从ATCA的背板输出到x86板卡的背板4*10G进行流量处理，X86板卡采取DPDK框架高速采集数据落成pcap包，针对采集的pcap包应用深度包检测功能模块，对100GE采集数据进行包分析，得出IP五元组信息，通信协议信息以及相关payload负载信息，解析处理输出信息都入到数据库进行存储，根据数据库IP五元组信息，经过数据清洗和转换处理得到国家地域的走向统计数据、IP占比统计数据、端口占比统计数据、协议占比统计数据，反映当前100GE的流量中所具备的初步数据统计形态信息，

其中x86板卡中部署高性能DPDK的数据平面开发套件框架，并在该高速采集框架下进行二次开发，配置系统大页内存，配置网卡的绑定，设置数据采集工作线程，根据采集时长和采集大小控制采集pcap文件的生成，

其中x86板卡的深度包检测分析则采用DPI技术框架，实现自定义开发的针对包的深度分析，可将采集的pcap文件进行轮询分析，根据以太网结构，解析出IP五元组信息，对proto进行分类标注当前协议范畴，如SIP为VOIP话音协议、POP为EMAIL邮件协议，同时对数据包的负载payload部分能根据协议进行初步分析，得出如client 和server的名称，http协议中的url内容，邮件的域名等等信息，对一对流的字节数和流量进行了统计，

其中对深度包检测数据进行数据清洗及统计分析，是在深度包检测输出的相关信息入库状态下，将数据进行整体清洗统计，开发数据库清洗逻辑功能，实现如IP信息的占比统计、端口信息的占比统计、协议信息的占比统计、国家地域走向的占比统计，并具备数据呈现界面，展示给用户查看，

II）100GOTN信号为包含10GSDH处理，针对100GOTN中解映射分析的10GSDH信号，可根据其在100GOTN中的时隙位置，切换输出该10GSDH的流量输出给到X86板卡的输入端口，通过高速采集模块将10GSDH的数据采集输出原始数据字节流，针对采集输出文件，进入到SDH的帧结构分析模块，得出SDH的帧结构的映射封装结构明细，同时直接对其中包含以太网信息的封装进行解封装输出pcap包，SDH的帧结构信息入到数据库存储，对解封装输出的pcap包，再进入到深度包检测模块进行IP五元组以及协议和负载等信息的分析输出，相关信息入到数据库，最后经过数据清洗及统计模块对数据进行数据清洗和转换处理得到国家地域的走向统计数据、IP占比统计数据、端口占比统计数据、协议占比统计数据，

其中SDH帧分析模块，针对SDH的采集信息，根据ITU对SDH的标准协议定义，对SDH的帧数据进行详细的封装分析和解映射，能识别出当前高阶时隙封装，低阶时隙封装，能标注出如pos、hdlc、gfp、E1封装信息，同时能把相应的封装进行解封装处理，剥离输出内部承载的以太网数据，得到相应的pcap包，若为gfp封装的颗粒度，可以解析出数据LCAS的链路调整信息，得到多个gfp的分组结果，可对分组的gfp数据做数据重组和解封装，

其中对10GSDH的原始数据的高速采集同样适用开发的采集模块框架进行处理，对10GSDH分析输出的pcap包采用深度包检测模块进行以太网包的分析和处理输出相关信息入库，

III）100GOTN信号为包含10GE/10GGFP处理，针对100GOTN信号中解映射分析得到的10GE流量，线路卡通过该10GE在100GOTN中的时隙位置，采集路由切换的方式，实现10GE流量输出到x86板卡，x86板卡利用高速采集功能模块实现对10GE流量的采集和落盘，得到pcap包，由于10GE直接是包的协议，因此直接进入深度包检测模块对数据进行IP五元组以及协议和负载等信息的分析输出，相关信息入到数据库，最后经过数据清洗及统计模块对数据进行数据清洗和转换处理得到国家地域的走向统计数据、IP占比统计数据、端口占比统计数据、协议占比统计数据，

其中若100GOTN中承载的颗粒度为10GGFP,则会通过线路卡将10GGFP解封装输出10GE的包结构，直接将流量通过光纤导入到x86板卡。

本发明的技术效果是，具备直接部署到机房的机架上作为服务器设备部署，可直接插入100GOTN的光纤接入设备平台，能对100GOTN信号做原始数据采集分析帧结构，得出复用颗粒度和映射封装类型，能对分析出的细颗粒度进行采集和深度分析，针对识别的100GE颗粒度的流量可以通过规则降速进行采集包数据，通过深度包检测得到数据ip五元组等网络用户行为信息，得出IP、端口、协议、走向的统计分布信息，完成了对100GOTN信号中承载的网络数据的分析探查的功能，能够将流量旁路输出做网络行为的统计分析，是作为流量旁路探查分析的高速采集和分析平台。对于目前100GOTN的大容量处理的日益增长的需求给出了很好的解决方案和平台，能让用户快速得到100GOTN中承载有效信息和数据分布有很直观的认识和数据呈现。

附图说明

图1是本发明的硬件ATCA机箱架构架图；

图2是本发明的自动轮询通道颗粒度流量采集分析流程图；

图3是本发明的100GOTN信号为整体100GE处理流程图；

图4是本发明的100GOTN信号为包含10GSDH处理流程图；

图5是本发明的100GOTN信号为包含10GE/10GGFP处理流程图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，基于X86板卡的100GOTN信号处理平台，其硬件形态为ATCA机箱架构，包括主控板卡、线路板卡、交换板卡，X86计算刀片，主控板卡通过背板与ATCA机箱中所有板卡网口连通，进行指令控制以及对外与设备控制网管进行通信，线路板卡配备线路侧100G光模块外接光纤、具备对100G光模块的输出接口和多个10G输出光口，100G输出光模块对接交换板卡的100G光模块输入端口，两个10G光模块对接x86板卡前面板的两个10G光模块输入光口进行数据采集,交换板背板的四个10G网口对接x86板卡背板的四个10G网口进行数据采集,x86板卡根据轮询策略分别对数据进行采集以及分析处理，背板走线将机箱中所有槽位的板卡进行互联，实现网口互通。

如图2～图5所示，处理方法，包括100GOTN信号帧结构的解映射结构分析、自动轮询通道颗粒度流量采集分析，其中自动轮询通道颗粒度流量采集分析又根据100GOTN的解映射承载信号类型，分为对100GE、10GSDH、10GE/10GGFP的流量分析，

一、100GOTN信号帧结构解映射分析，由用户控制下发MSA底数分析功能按键，主控板接收到该功能指示，控制线路板卡对输入的线路侧光信号进行采集和分析，得出100GOTN的分层映射关系，该映射关系将所有的细颗粒的分层封装都反映出来，映射信息直接入到数据库中进行维护存储；

二、自动轮询通道颗粒度流量采集分析，根据100GOTN的解映射相关信息得出当前100GOTN中包含的是整体100GE还是10GSDH、10GE、10GGFP组合而成的。不同颗粒度的流量采取不同的控制处理，

I）100GOTN信号为整体100GE处理，若100GOTN的帧结构解映射得出其承载的是100GE的流量，则100GOTN从线卡流入交换卡后，交换卡利用规则对100GE的流量进行规则命中的降速处理，输出40GE的带宽从ATCA的背板输出到x86板卡的背板4*10G进行流量处理，X86板卡采取DPDK框架高速采集数据落成pcap包，针对采集的pcap包应用深度包检测功能模块，对100GE采集数据进行包分析，得出IP五元组信息，通信协议信息以及相关payload负载信息，解析处理输出信息都入到数据库进行存储，根据数据库IP五元组信息，经过数据清洗和转换处理得到国家地域的走向统计数据、IP占比统计数据、端口占比统计数据、协议占比统计数据，反映当前100GE的流量中所具备的初步数据统计形态信息，

其中x86板卡中部署高性能DPDK的数据平面开发套件框架，并在该高速采集框架下进行二次开发，配置系统大页内存，配置网卡的绑定，设置数据采集工作线程，根据采集时长和采集大小控制采集pcap文件的生成，

其中x86板卡的深度包检测分析则采用DPI技术框架，实现自定义开发的针对包的深度分析，可将采集的pcap文件进行轮询分析，根据以太网结构，解析出IP五元组信息，对proto进行分类标注当前协议范畴，如SIP为VOIP话音协议、POP为EMAIL邮件协议，同时对数据包的负载payload部分能根据协议进行初步分析，得出如client 和server的名称，http协议中的url内容，邮件的域名等等信息，对一对流的字节数和流量进行了统计，

其中对深度包检测数据进行数据清洗及统计分析，是在深度包检测输出的相关信息入库状态下，将数据进行整体清洗统计，开发数据库清洗逻辑功能，实现如IP信息的占比统计、端口信息的占比统计、协议信息的占比统计、国家地域走向的占比统计，并具备数据呈现界面，展示给用户查看，

II）100GOTN信号为包含10GSDH处理，针对100GOTN中解映射分析的10GSDH信号，可根据其在100GOTN中的时隙位置，切换输出该10GSDH的流量输出给到X86板卡的输入端口，通过高速采集模块将10GSDH的数据采集输出原始数据字节流，针对采集输出文件，进入到SDH的帧结构分析模块，得出SDH的帧结构的映射封装结构明细，同时直接对其中包含以太网信息的封装进行解封装输出pcap包，SDH的帧结构信息入到数据库存储，对解封装输出的pcap包，再进入到深度包检测模块进行IP五元组以及协议和负载等信息的分析输出，相关信息入到数据库，最后经过数据清洗及统计模块对数据进行数据清洗和转换处理得到国家地域的走向统计数据、IP占比统计数据、端口占比统计数据、协议占比统计数据，

其中SDH帧分析模块，针对SDH的采集信息，根据ITU对SDH的标准协议定义，对SDH的帧数据进行详细的封装分析和解映射，能识别出当前高阶时隙封装，低阶时隙封装，能标注出如pos、hdlc、gfp、E1封装信息，同时能把相应的封装进行解封装处理，剥离输出内部承载的以太网数据，得到相应的pcap包，若为gfp封装的颗粒度，可以解析出数据LCAS的链路调整信息，得到多个gfp的分组结果，可对分组的gfp数据做数据重组和解封装，

其中对10GSDH的原始数据的高速采集同样适用开发的采集模块框架进行处理，对10GSDH分析输出的pcap包采用深度包检测模块进行以太网包的分析和处理输出相关信息入库，

III）100GOTN信号为包含10GE/10GGFP处理，针对100GOTN信号中解映射分析得到的10GE流量，线路卡通过该10GE在100GOTN中的时隙位置，采集路由切换的方式，实现10GE流量输出到x86板卡，x86板卡利用高速采集功能模块实现对10GE流量的采集和落盘，得到pcap包，由于10GE直接是包的协议，因此直接进入深度包检测模块对数据进行IP五元组以及协议和负载等信息的分析输出，相关信息入到数据库，最后经过数据清洗及统计模块对数据进行数据清洗和转换处理得到国家地域的走向统计数据、IP占比统计数据、端口占比统计数据、协议占比统计数据，

其中若100GOTN中承载的颗粒度为10GGFP,则会通过线路卡将10GGFP解封装输出10GE的包结构，直接将流量通过光纤导入到x86板卡。

Claims (2)

1.一种基于X86板卡的100GOTN信号处理平台，其硬件形态为ATCA机箱架构，包括主控板卡、线路板卡、交换板卡，X86计算刀片，其特征在于：主控板卡通过背板与ATCA机箱中所有板卡网口连通，进行指令控制以及对外与设备控制网管进行通信，线路板卡配备线路侧100G光模块外接光纤、具备对100G光模块的输出接口和多个10G输出光口，100G输出光模块对接交换板卡的100G光模块输入端口，两个10G光模块对接x86板卡前面板的两个10G光模块输入光口进行数据采集,交换板背板的四个10G网口对接x86板卡背板的四个10G网口进行数据采集,x86板卡根据轮询策略分别对数据进行采集以及分析处理，背板走线将机箱中所有槽位的板卡进行互联，实现网口互通。

2.采用权利要求1所述的基于X86板卡的100GOTN信号处理平台的处理方法，其特征在于：处理模块包括100GOTN信号帧结构的解映射结构分析、自动轮询通道颗粒度流量采集分析,其中自动轮询通道颗粒度流量采集分析又根据100GOTN的解映射承载信号类型，分为对100GE、10GSDH、10GE/10GGFP的流量的分析，

一、100GOTN信号帧结构解映射分析，由用户控制下发MSA底数分析功能按键，主控板接收到该功能指示，控制线路板卡对输入的线路侧光信号进行采集和分析，得出100GOTN的分层映射关系，该映射关系将所有的细颗粒的分层封装都反映出来，映射信息直接入到数据库中进行维护存储；

二、自动轮询通道颗粒度流量采集分析，根据100GOTN的解映射相关信息得出当前100GOTN中包含的是整体100GE还是10GSDH、10GE、10GGFP组合而成的，不同颗粒度的流量采取不同的控制处理流程，

I）100GOTN信号为整体100GE处理，若100GOTN的帧结构解映射得出其承载的是100GE的流量，则100GOTN从线卡流入交换卡后，交换卡利用规则对100GE的流量进行规则命中的降速处理，输出40GE的带宽从ATCA的背板输出到x86板卡的背板4*10G进行流量处理，X86板卡采取DPDK框架高速采集数据落成pcap包，针对采集的pcap包应用深度包检测功能模块，对100GE采集数据进行包分析，得出IP五元组信息，通信协议信息以及相关payload负载信息，解析处理输出信息都入到数据库进行存储，根据数据库IP五元组信息，经过数据清洗和转换处理得到国家地域的走向统计数据、IP占比统计数据、端口占比统计数据、协议占比统计数据，反映当前100GE的流量中所具备的初步数据统计形态信息，其中x86板卡中部署高性能DPDK的数据平面开发套件框架，并在该高速采集框架下进行二次开发，配置系统大页内存，配置网卡的绑定，设置数据采集工作线程，根据采集时长和采集大小控制采集pcap文件的生成，其中x86板卡的深度包检测分析则采用DPI技术框架，实现自定义开发的针对包的深度分析，可将采集的pcap文件进行轮询分析，根据以太网结构，解析出IP五元组信息，对proto进行分类标注当前协议范畴，如SIP为VOIP话音协议、POP为EMAIL邮件协议，同时对数据包的负载payload部分能根据协议进行初步分析，得出如client 和server的名称，http协议中的url内容，邮件的域名等等信息，对一对流的字节数和流量进行了统计，其中对深度包检测数据进行数据清洗及统计分析，是在深度包检测输出的相关信息入库状态下，将数据进行整体清洗统计，开发数据库清洗逻辑功能，实现如IP信息的占比统计、端口信息的占比统计、协议信息的占比统计、国家地域走向的占比统计，并具备数据呈现界面，展示给用户查看；

II）100GOTN信号为包含10GSDH处理，针对100GOTN中解映射分析的10GSDH信号，可根据其在100GOTN中的时隙位置，切换输出该10GSDH的流量输出给到X86板卡的输入端口，通过高速采集模块将10GSDH的数据采集输出原始数据字节流，针对采集输出文件，进入到SDH的帧结构分析模块，得出SDH的帧结构的映射封装结构明细，同时直接对其中包含以太网信息的封装进行解封装输出pcap包，SDH的帧结构信息入到数据库存储，对解封装输出的pcap包，再进入到深度包检测模块进行IP五元组以及协议和负载等信息的分析输出，相关信息入到数据库，最后经过数据清洗及统计模块对数据进行数据清洗和转换处理得到国家地域的走向统计数据、IP占比统计数据、端口占比统计数据、协议占比统计数据，其中SDH帧分析模块，针对SDH的采集信息，根据ITU对SDH的标准协议定义，对SDH的帧数据进行详细的封装分析和解映射，能识别出当前高阶时隙封装，低阶时隙封装，能标注出如pos、hdlc、gfp、E1封装信息，同时能把相应的封装进行解封装处理，剥离输出内部承载的以太网数据，得到相应的pcap包，若为gfp封装的颗粒度，可以解析出数据LCAS的链路调整信息，得到多个gfp的分组结果，可对分组的gfp数据做数据重组和解封装，其中对10GSDH的原始数据的高速采集同样适用开发的采集模块框架进行处理，对10GSDH分析输出的pcap包采用深度包检测模块进行以太网包的分析和处理输出相关信息入库；III）100GOTN信号为包含10GE/10GGFP处理，针对100GOTN信号中解映射分析得到的10GE流量，线路卡通过该10GE在100GOTN中的时隙位置，采集路由切换的方式，实现10GE流量输出到x86板卡，x86板卡利用高速采集功能模块实现对10GE流量的采集和落盘，得到pcap包，由于10GE直接是包的协议，因此直接进入深度包检测模块对数据进行IP五元组以及协议和负载等信息的分析输出，相关信息入到数据库，最后经过数据清洗及统计模块对数据进行数据清洗和转换处理得到国家地域的走向统计数据、IP占比统计数据、端口占比统计数据、协议占比统计数据，其中若100GOTN中承载的颗粒度为10GGFP,则会通过线路卡将10GGFP解封装输出10GE的包结构，直接将流量通过光纤导入到x86板卡。

Images