CN105578488B

CN105578488B - 网络数据采集系统及方法

Info

Publication number: CN105578488B
Application number: CN201410529542.8A
Authority: CN
Inventors: 张勋牛
Original assignee: Nanjing ZTE New Software Co Ltd
Current assignee: Nanjing ZTE New Software Co Ltd
Priority date: 2014-10-10
Filing date: 2014-10-10
Publication date: 2020-10-16
Anticipated expiration: 2034-10-10
Also published as: CN105578488A; WO2016054992A1

Abstract

本发明公开了一种网络数据采集系统及方法。该系统包括：接口适配模块、流量分拣和负载均衡模块、协议解码和事件消息合成模块、多接口事件数据关联模块、以及控制器模块，借助于本发明的技术方案，解决了现有技术中数据采集系统的数据采集方法僵化和不灵活问题，能够实现数据采集的可配置和可定制，同时还能够实现数据采集系统组网的灵活部署。

Description

网络数据采集系统及方法

技术领域

本发明涉及移动通讯领域，特别是涉及一种网络数据采集系统及方法。

背景技术

当前，随着移动第三代(The 3rd Generation，简称为3G)和第四代(The4rdGeneration，简称为4G)技术的投入使用，移动宽带网络正以前所未有的速度在快速发展，各种基于移动宽带的应用层出不穷，移动宽带网络数据流量呈爆炸式增长。

电信运营商为了摆脱沦为简单的数据管道提供商的角色，希望通过对网络中的各种流量数据进行汇总、归类和特征分析，实现对网络运行的全方位监控，并进一步发掘出网络数据中潜在的价值点，为网络的运营和维护提供有价值的参考数据。

图1是现有技术中通信网络基本数据采集和分析系统的示意图，图2是现有技术中数据采集系统的示意图，如图1和图2所示，通信网络中的数据采集和分析系统一般主要分为3个组成部分：

1、网络报文采集及信息元数据生成系统：主要功能有，网络接口适配，原始采集数据流量分拣及负载均衡分发，协议数据报文解码及协议事务消息合成，多接口事务数据关联合成，最后生成采集信息元数据供上层应用系统分析。

2、数据存储及分析系统：主要功能有，对采集系统提供的信息元数据进行预处理并存储，根据业务要求，对存储的数据进行挖掘分析，生成各类业务信息数据。

3、数据分析结果应用及呈现系统：将挖掘出的有价值的信息数据呈现给用户或提供给其它应用系统。

在数据采集和分析系统的3个组成部分中，网络报文采集及信息元数据生成系统(即数据采集系统)的功能相当重要，采集系统生成的信息元数据是上层应用分析系统的数据分析来源，信息元数据的灵活性、完整性和准确性决定了上层数据分析系统的业务分析范围和结果的正确性，并最终影响采集分析系统的整体效用。

目前，在移动通信网络中已有部分数据采集和分析系统，其中的数据采集部分，在采集什么样的网络、采集哪些接口，以及采集哪些协议的哪些业务流程中的哪些数据上，整体上来说是以硬编码的方式来实现的，一个采集系统只能对外提供某几种固定内容格式的采集信息元数据，然而上层数据分析系统的数据分析需求是灵活多变的，对应的要求数据采集系统能够提供可定制化的信息元数据，当前的数据采集系统无法满足该要求。

发明内容

鉴于现有技术中数据采集系统的数据采集方法僵化和不灵活问题，提出了本发明以便提供一种网络数据采集系统及方法。

本发明提供一种网络数据采集系统，包括：

接口适配模块，用于适配接入各种不同制式的数据通信网络，并接收网络数据；

控制器模块，用于定义网络数据识别规则、解码规则、采集事件合成规则、以及多接口采集事件数据关联规则，并下发给相应的模块；

流量分拣和负载均衡模块，用于接收来自控制器模块下发的网络数据识别规则，根据网络数据识别规则对接口适配模块采集到的网络数据进行规则匹配，获取符合网络数据识别规则的网路数据，并识别网络数据的类型，根据识别出的网络数据的类型，将网路数据负载均衡分发到相应的下一跳模块进行处理；

协议解码和事件消息合成模块，接收来自控制器模块下发的协议解码和事件合成规则，根据解码规则对来自流量分拣和负载均衡模块的网络数据进行协议解码，根据采集事件合成规则创建事件合成状态机，对解码后的多条协议消息进行消息合成，生成协议事件数据；

多接口事件数据关联模块，接收来自控制器模块下发的多接口采集事件数据关联规则，根据多接口采集事件数据关联规则创建多接口采集事件消息合成状态机，接收来自协议解码和事件消息合成模块的协议事件数据，将协议事件数据合成采集信息元数据，并发送到上层应用分析系统。

优选地，控制器模块进一步用于：监控网络数据采集系统中各个处理模块的负载状况，根据负载状况对网络数据采集系统的整体负荷进行均衡调整。

优选地，协议解码和事件消息合成模块设置于一个或多个服务器上；

协议解码和事件消息合成模块具体包括：

协议解码子模块，针对控制面协议的网络数据，根据控制器模块下发的解码规则进行解码；针对用户面的网络数据，先由DPI深度报文识别系统识别出应用层协议类型，再依据解码规则进行相关字段信息的解码；

协议事件合成子模块，用于接收来自控制器模块下发的采集事件合成规则，根据采集事件合成规则创建事件合成状态机，并设置状态数据触发机制，生产协议采集事件数据。

优选地，网络数据识别规则具体包括：匹配条件、识别内容、处理动作、和下一跳模块配置，其中，匹配条件包括：网络数据采集入口标识符、媒体访问控制MAC层匹配地址、虚拟局域网VLAN层匹配标识符、网络地址IP层匹配地址、以及应用层匹配端口号等；识别内容包括：识别出的网络类型、识别出的逻辑接口类型、以及识别出的报文方向；处理动作包括：根据识别结果对网络数据进行一系列的处理，如将报文转发到协议解码和事件消息合成模块进行处理、转发给抓包服务器处理等，这些处理动作构成1条单向处理链表，其中，在需要进行负载均衡分发时，负载均衡配置包括：负载均衡类型，如：轮询方式，加权优先级，哈希取模等，分发关键字，如：源IP地址，源端口号等；下一跳模块配置包括：每个下1跳处理服务器的索引号、流量分拣和负载均衡模块的出口索引号、下一跳处理服务器的地址和端口、下一跳处理服务器上的业务处理模块的索引号、下一跳处理服务器上的业务处理模块的负荷百分比、以及下一跳处理服务器上的业务处理模块的在线状态等；

解码规则包括：网络类型、网络中的逻辑接口以及该接口上的协议栈协议、每层协议的消息类型、消息中的字段、字段中的参数、以及指明该字段是否必须的标识，其中对网络类型、逻辑接口、协议类型、消息类型、消息字段、字段中的参数赋予ID标记，确保每个解码的字段参数有唯一的编码标识符标识，编码基本格式为：网络ID.逻辑接口ID.上下行方向ID.协议类型ID.消息类型ID.消息字段ID.参数ID；此外，解码规则中还包括解码后的消息应该进入的事件合成状态机的标识符，以及消息中的字段和状态机关键字之间的一一映射关系，以指明消息的下一步处理。

采集事件合成规则包括：采集事件合成状态机的ID标识符、类型标识符、采集事件合成状态机的关键字、采集事件合成状态机的输入消息编码(在解码规则中定义)、采集事件合成状态机的中间数据生成规则、采集事件合成状态机的数据输出规则、以及采集事件合成状态机输出数据的下一跳处理，其中，状态机的中间数据由输入消息的解码字段的编码组合而成，若还存在需要进行复杂计算才能获得结果的字段，为该字段分配系统内唯一标识符，在系统中以硬编码的方式实现；对状态机的中间数据的每个字段需要赋予ID标识符进行标识，确保每个字段在本状态机内部有唯一的编码，编码格式：状态机ID.中间数据ID.字段ID；状态机的输出数据由中间数据字段编码组合而成，若还存在需要进行复杂计算才能获得结果的字段，为该字段分配系统内唯一标识符，在系统中以硬编码的方式实现，对状态机的输出数据的每个字段需要赋予ID标识符进行标识，确保每个字段有唯一的编码，编码格式：状态机类型ID.状态机标识ID.输出数据ID.字段ID，此外，规则中还包括输出数据应该进入的多接口事件合成状态机的标识符，以及输出数据中的字段和多接口事件合成状态机关键字之间的一一映射关系，以指明消息的下一步处理。

多接口采集事件数据关联规则包括：多接口采集事件消息合成状态机的类型标识、多接口采集事件消息合成状态机的关键字、多接口采集事件消息合成状态机的输入事件消息编码(在协议事件合成规则中定义)、多接口采集事件消息合成状态机的数据生成规则、多接口采集事件消息合成状态机的数据输出规则、以及多接口采集事件消息合成状态机输出数据的下一跳处理，其中，状态机的中间数据由输入事件消息的字段编码组合而成，若还存在需要进行复杂计算才能获得结果的字段，为该字段分配系统内唯一标识符，在系统中以硬编码的方式实现；对状态机的中间数据的每个字段需要赋予ID标识符进行标识，确保每个字段有唯一的编码，编码格式：状态机类型ID.状态机标识ID.输出数据ID.字段ID；状态机的输出数据由中间数据字段编码组合而成，若还存在需要进行复杂计算才能获得结果的字段，为该字段分配系统内唯一标识符，在系统中以硬编码的方式实现。

优选地，网络数据采集系统中的各个模块根据被采集的网络数据的流量大小，合一部署在一台硬件设备上、或者分离部署在多台硬件设备上，其中，在合一部署在一台硬件设备上时，各个模块采用内部数据格式进行网络数据的封装传输；在分离部署在多台硬件设备上时，各个模块采用传输控制协议TCP/用户数据包协议UDP通道进行网络数据的封装传输。

优选地，流量分拣和负载均衡模块具体用于：根据网络数据识别规则中的负载均衡配置将网路数据负载均衡分发到相应的下一跳模块所在的一个或多个服务器上进行处理。

本发明还提供了一种网络数据采集方法，包括：

接口适配模块适配接入各种不同制式的数据通信网络，并接收网络数据；

控制器模块定义网络数据识别规则、解码规则、采集事件合成规则、以及多接口采集事件数据关联规则，并下发给相应的模块；

流量分拣和负载均衡模块接收来自控制器模块下发的网络数据识别规则，根据网络数据识别规则对接口适配模块采集到的网络数据进行规则匹配，获取符合网络数据识别规则的网路数据，并识别网络数据的类型，根据识别出的网络数据的类型，将网路数据负载均衡分发到相应的下一跳模块进行处理；

协议解码和事件消息合成模块接收来自控制器模块下发的协议解码和事件合成规则，根据解码规则对来自流量分拣和负载均衡模块的网络数据进行协议解码，根据采集事件合成规则创建事件合成状态机，对解码后的多条协议消息进行消息合成，生成协议事件数据；

多接口事件数据关联模块接收来自控制器模块的多接口采集事件数据关联规则，根据多接口采集事件数据关联规则创建多接口采集事件消息合成状态机，并设置状态数据触发机制，接收来自协议解码和事件消息合成模块的协议事件数据，将协议事件数据合成采集信息元数据，并发送到上层应用分析系统。

优选地，上述方法进一步包括：

控制器模块监控网络数据采集系统中各个处理模块的负载状况，根据负载状况对网络数据采集系统的整体负荷进行均衡调整。

协议解码和事件消息合成模块接收来自流量分拣和负载均衡模块下发的网络数据，根据解码规则对网络数据进行深度分析和解码，并根据控制器模块下发的采集事件合成规则进行协议级别的事件流程消息的合成，生成协议事件数据具体包括：

协议解码子模块针对控制面协议的网络数据，根据控制器模块下发的解码规则进行解码；针对用户面的网络数据，由DPI深度报文识别系统识别出应用层协议类型，再依据解码规则进行相关字段信息的解码；

协议事件合成子模块接收来自控制器模块下发的采集事件合成规则，根据采集事件合成规则创建采集事件合成状态机，并设置状态数据触发机制，生产协议采集事件数据。

优选地，网络数据识别规则具体包括：匹配条件、识别内容、处理动作、和下一跳模块配置，其中，匹配条件包括：网络数据采集入口标识符、媒体访问控制MAC层匹配地址、虚拟局域网VLAN层匹配标识符、网络地址IP层匹配地址、以及应用层匹配端口号等；识别内容包括：识别出的网络类型、识别出的逻辑接口类型、以及识别出的报文方向；处理动作包括：根据识别结果对网络数据进行一系列处理，如将报文转发到协议解码和事件消息合成模块进行处理、转发给抓包服务器处理等，这些处理动作构成1条单向处理链表，其中，在需要进行负载均衡分发时，负载均衡配置包括：负载均衡类型，如：轮询方式，加权优先级，哈希取模等，分发关键字，如：源IP地址，源端口号等；下一跳模块配置包括：每个下1跳处理服务器的索引号、流量分拣和负载均衡模块的出口索引号、下一跳处理服务器的地址和端口、下一跳处理服务器上的业务处理模块的索引号、下一跳处理服务器上的业务处理模块的负荷百分比、以及下一跳处理服务器上的业务处理模块的在线状态等；

优选地，上述方法进一步包括：

根据被采集的网络数据的流量大小，将各个模块合一部署在一台硬件设备上、或者分离部署在多台硬件设备上，其中，在将各个模块合一部署在一台硬件设备上时，各个模块采用内部数据格式进行网络数据的封装传输；在将各个模块分离部署在多台硬件设备上时，各个模块采用传输控制协议TCP/用户数据包协议UDP通道进行网络数据的封装传输。

优选地，将网路数据负载均衡分发到相应的下一跳模块进行处理具体包括：根据网络数据识别规则中的负载均衡配置将网路数据负载均衡分发到相应的下一跳模块所在的一个或多个服务器上进行处理。

本发明有益效果如下：

借助于本发明实施例的网络数据采集系统和方法，解决了现有技术中数据采集系统的数据采集方法僵化和不灵活问题，能够实现数据采集的可配置和可定制，同时还能够实现数据采集系统组网的灵活部署。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是现有技术中通信网络基本数据采集和分析系统的示意图；

图2是现有技术中数据采集系统的示意图；

图3是本发明实施例的网络数据采集系统的结构示意图；

图4是本发明实施例的匹配条件的示意图；

图5是本发明实施例的识别类型的示意图；

图6是本发明实施例的决定报文的后续一系列处理的单向链表的示意图；

图7是本发明实施例的下一跳配置的示意图；

图8是本发明实施例的流量分拣和负载均衡模块转发数据格式的示意图；

图9是本发明实施例的解码规则配置的示意图；

图10是本发明实施例的解码输出的示意图；

图11是本发明实施例的协议事件合成状态机的示意图；

图12是本发明实施例的多接口事件合成状态机的示意图；

图13是本发明实施例的信息元数据格式的示意图；

图14是本发明实施例额数据采集系统原理图；

图15是本发明实施例的数据采集系统IP组网图；

图16是本发明实施例的数据采集网络逻辑接口图；

图17是本发明实施例的流量分拣器基本工作流程图；

图18是本发明实施例的协议解码器基本工作流程图；

图19是本发明实施的多接口事件合成器基本工作流程图；

图20是本发明实施例的网络数据采集方法的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决现有技术中数据采集系统的数据采集方法僵化和不灵活的问题，本发明提供了一种网络数据采集系统和方法，上述系统包括：接口适配模块、流量分拣和负载均衡模块、协议解码和事件消息合成模块、多接口事件数据关联模块、以及控制器模块，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

系统实施例

根据本发明的实施例，提供了一种网络数据采集系统，图3是本发明实施例的网络数据采集系统的结构示意图，如图3所示，根据本发明实施例的网络数据采集系统包括：接口适配模块30、流量分拣和负载均衡模块32、协议解码和事件消息合成模块34、多接口事件数据关联模块36、以及控制器模块38，以下对本发明实施例的各个模块进行详细的说明。

接口适配模块30，用于适配接入各种不同制式的数据通信网络，并接收网络数据；

控制器模块38，用于定义网络数据识别规则、解码规则、采集事件合成规则、以及多接口采集事件数据关联规则，并下发给相应的模块；其中，控制器模块38进一步用于：监控网络数据采集系统中各个处理模块的负载状况，根据负载状况对网络数据采集系统的整体负荷进行均衡调整。

在本发明实施例中，网络数据识别规则具体包括：匹配条件、识别内容、处理动作、和下一跳模块配置，其中，匹配条件包括：网络数据采集入口标识符、媒体访问控制MAC层匹配地址、虚拟局域网VLAN层匹配标识符、网络地址IP层匹配地址、以及应用层匹配端口号等；识别内容包括：识别出的网络类型、识别出的逻辑接口类型、以及识别出的报文方向；处理动作包括：根据识别结果将报文转发到协议解码和事件消息合成模块进行处理，其中，在需要进行负载均衡分发时，负载均衡配置包括：负载均衡类型，如：轮询方式，加权优先级，哈希取模等，分发关键字，如：源IP地址，源端口号等；下一跳模块配置包括：每个下1跳处理服务器的索引号、流量分拣和负载均衡模块的出口索引号、下一跳处理服务器的地址和端口、下一跳处理服务器上的业务处理模块的索引号、下一跳处理服务器上的业务处理模块的负荷百分比、以及下一跳模块上的业务处理模块的在线状态等；

解码规则包括：网络类型、网络中的逻辑接口以及该接口上的协议栈协议、每层协议的消息类型、消息中的字段、字段中的参数、以及指明该字段是否必须的标识，其中对网络类型、逻辑接口、协议类型、消息类型、消息字段、字段中的参数赋予ID标记，确保每个解码的字段参数有唯一的编码标识符标识，编码基本格式为：网络ID.逻辑接口ID.上下行方向ID.协议类型ID.消息类型ID.消息字段ID.参数ID；此外，解码规则中还包括解码后的消息应该进入的事件合成状态机的标识符，以及消息中的字段和状态机关键字之间的一一映射关系，以指明消息的下一步处理；

流量分拣和负载均衡模块32，用于接收来自控制器模块38下发的网络数据识别规则，根据网络数据识别规则对接口适配模块30采集到的网络数据进行规则匹配，获取符合网络数据识别规则的网路数据，并识别网络数据的类型，根据识别出的网络数据的类型，将网路数据负载均衡分发到相应的下一跳模块进行处理；流量分拣和负载均衡模块32具体用于：根据网络数据识别规则中的负载均衡配置将网路数据负载均衡分发到相应的下一跳模块所在的一个或多个服务器上进行处理。

协议解码和事件消息合成模块34，用于接收来自控制器模块下发的协议解码和事件合成规则，根据解码规则对来自流量分拣和负载均衡模块的网络数据进行协议解码，根据采集事件合成规则创建事件合成状态机，对解码后的多条协议消息进行消息合成，生成协议事件数据；

协议解码和事件消息合成模块34具体包括：

协议解码子模块，用于针对控制面协议的网络数据，根据控制器模块下发的解码规则进行解码；针对用户面的网络数据，由DPI深度报文识别系统识别出应用层协议类型，再依据解码规则进行相关字段信息的解码；

协议事件合成子模块，用于接收来自控制器模块38下发的采集事件合成规则，根据采集事件合成规则创建采集事件合成状态机，并设置状态数据触发机制，生产协议采集事件数据。

多接口事件数据关联模块36，用于接收来自控制器模块38的多接口采集事件数据关联规则，根据多接口采集事件数据关联规则创建多接口采集事件消息合成状态机，并设置状态数据触发机制，接收来自协议解码和事件消息合成模块34的协议事件数据，将协议事件数据合成采集信息元数据，并发送到上层应用分析系统。

在本发明实施例中，网络数据采集系统中的各个模块根据被采集的网络数据的流量大小，合一部署在一台硬件设备上、或者分离部署在多台硬件设备上，其中，在合一部署在一台硬件设备上时，各个模块采用内部数据格式进行网络数据的封装传输；在分离部署在多台硬件设备上时，各个模块采用传输控制协议TCP/用户数据包协议UDP通道进行网络数据的封装传输。

以下对本发明实施例的控制器模块38定义网络数据识别规则、解码规则、采集事件合成规则、以及多接口采集事件数据关联规则进行详细说明。

第一步：控制器模块38配置网络数据识别规则：

在数据采集过程中，首先需要对采集到的网络原始报文进行一个基本的识别过程，然后根据识别结果对杂乱的网络数据包进行分类处理。基本识别过程主要是基于数据报文的承载信息来进行的，基本原理如下：

1、匹配条件：如图4所示，其中，匹配条件不需要每层协议都进行配置，只需要配置识别所需要的最小条件即可。

2、识别类型：如图5所示：其中，网络类型指2G/3G/4G网络等；逻辑接口类型指Gn/S1-MME/SGI口等；报文方向指采集到的数据是上行还是下行。

3、动作：当报文基本信息识别出后，根据动作行为决定报文的后续一系列处理，处理过程为单向链表，如图6所示。

4、下一跳(nexthop配置)：如图7所示，每个下一跳处理单元可以包含有多台处理设备，其中：1、2、3表示每台处理设备的索引号。

匹配识别规则可以在控制器上通过Web页面进行配置，以XML数据格式下发到流量分拣器。

流量分拣和负载均衡模块32转发数据格式如图8所示。

第二步：配置解码规则和采集事件合成规则：

不同的上层应用数据分析系统，所需的信息元数据是不同的，对应的，进行数据采集时，协议数据解码应该是可以定制的，可以根据需要采集不同的协议数据信息。

解码规则配置原理：通信网络中，每种逻辑接口(两个逻辑网元之间的数据链路)上的数据报文，所包含的协议栈层次是确定的，对协议栈中的每层协议，可以指明需要解码的协议，协议中的消息类型，消息中的哪些字段，字段中的哪些参数，如图9所示，除字段名称标识外，对每个应该解码的字段参数进行ID唯一编码，用来唯一定位该字段信息。

采集解码规则可以在控制器上通过Web页面进行配置，并以XML格式下发给协议解码模块。

其中，解码输出的结果如图10所示，协议解码结果作为协议事务合成过程的输入，配置上指明解码消息应该输入的状态机类型。

采集事件合成规则配置原理：

数据采集过程，一般不只是协议中的单条消息中的某些字段信息，更多的是采集和协议事务流程相关的多条消息中所包含的信息数据，如：哪个位置上的哪个用户是否注册成功，哪个用户的哪次会话是否建立成功，用户的数据业务TCP建连是否成功，注册、会话及建链的消息延时又是多少等等，这些需要采集的信息数据都是和多条协议消息相关联的，采集时，只有收集到了相关事务流程的所有消息时，才能生成所需要的信息数据。

协议的多条事务消息的采集过程可以设计为一状态机，原理如下：

状态机类型标识：标记状态机的类型，对应某种格式的数据采集内容。

状态机关键字：采集事件流程的多条消息之间是具有一定关系的，总是可以通过某(几)个共同字段的内容关联到一起的，该字段的内容就是该采集状态机的关键字，用来关联该采集状态机的所有消息。

状态机输入：根据采集需求，为状态机指定的接收消息序列及条件。

状态机数据生成：根据采集需求，设置状态机的数据生成触发动作，触发数据生成的输入条件可以是某个消息，某几条消息，或循环定时器，或超时定时器等。根据输入消息的解码数据的字段编码，定义状态机中间数据的组成，若中间数据某字段内容并不存在于输入消息中，如：响应相对请求的延时时长字段等，这些字段的生成需要提前预编码在系统中，可以定义为特殊关键字段，并以标记符标识。状态机中间数据的每字段都进行编码。

状态机数据输出：输入条件可能触发状态机输出合成数据，状态机的输出数据从状态机中间数据中提取，具体字段组成通过中间数据字段的编码来确定。

状态机输出数据的下一跳处理：状态机的输出数据，既可能是最终采集数据，也可能是其它状态机的输入，输出的结果数据由配置指定下一步处理。

状态机如图11所示，状态机的数据包括中间临时数据和最终输出数据，中间临时数据中的每个字段由状态机输入消息中的字段组合而成，若数据中还存在某个字段需要涉及到复杂的逻辑运算，该字段将在系统内唯一被唯一标识，并在系统内部以标准硬编码方式实现该逻辑。

采集事件合成规则在控制器上通过Web页面进行配置，并以XML格式下发给协议解码模块。

第三步：配置多接口采集事件数据关联规则：

在进行网络数据采集时，很多场景情况下，所需采集的数据同时分布在网络中的多个逻辑接口上。

当采集信息元数据的信息出现在多个逻辑接口上时，需要对多个逻辑接口上的事件数据进行关联，关联的过程是通过事件合成状态机完成。

多接口事件合成状态机的设计思路和协议事务消息合成状态机的设计思路完全一样，也分为自由组合状态机和硬编码状态机，状态机的输出结果是可以配置的。如图12所示，多个接口事件通过关键字Key关联到某个多事件合成状态机，状态机的输出是可以定制的。状态机运行过程通过XML文件来进行描述。

下面结合3G(UMTS)网络中Gn逻辑接口数据的采集，进一步详细阐述本发明实施例方案的技术实现细节，UMTS网络中的Gn接口数据同时包含控制面和用户数据数据，控制面需要采集用户的PDP上下文相关信息，包含IMSI号码、MSISDN号码、APN接入点名称、用户IP地址等，用户面需要采集用户HTTP访问的URL、TCP建链握手延时、web页面首页访问延时等，同时用户面和控制面还需要关联起来，信息元数据格式如图13所示，图14是本发明实施例额数据采集系统原理图；图15是本发明实施例的数据采集系统IP组网图；图16是本发明实施例的数据采集网络逻辑接口图，具体实施步骤如下：

一、图17是本发明实施例的流量分拣器基本工作流程图，如图17所示，流量分拣器(上述流量分拣和负载均衡模块32)实施步骤具体包括如下处理：

步骤1：在控制器上配置数据匹配识别规则，如下：

控制面数据匹配规则配置：

设定物理采集口为1号网口：

配置MAC协议层匹配条件：

配置IP层协议匹配条件：

配置UDP协议层匹配条件：

<proto level＝2 name＝udp id＝30001>/*第2层:udp协议*/

<port>2053</port>/*源或目的端口为2053*/

</proto>

配置识别结果：

<network>UMTS</network>/*UMTS网络*/

<interface>Gn-C</interface>/*Gn口控制面*/

配置转发处理动作：

用户面数据匹配规则配置：

设定物理采集口为1号网口：

配置IP层协议匹配条件：

配置UDP层协议匹配条件：

<proto level＝2 name＝udp id＝50001>/*第2层UDP*/

<port>2052</port>/*用户面端口号*/

</proto>

配置识别结果：

<network>UMTS</network>/*UMTS网络*/

<interface>Gn-U</interface>/*Gn口用户面*/

配置数据分发动作：

配置下一跳处理单元信息：

配置下一跳处理单元编号，包含1号和2号处理服务器

<nexthop id＝1>/*1号下一跳配置*/

配置1号处理服务器信息：

配置2号处理服务器信息：

步骤2：控制器下发配置规则到流量分拣器；

步骤3：流量分拣器解析XML格式规则，生成匹配业务逻辑。

步骤4：流量分拣器采集到原始数据报，逐层解析报文承载消息头，并匹配相应匹配规则，若匹配所有条件，则识别出报文的基本接口类型。

步骤5：流量分拣器重新封装原始报文，并添加识别消息头，基于负载均衡原理分发报文到协议解码单元。

二、图18是本发明实施例的协议解码器基本工作流程图，如图18所示，协议解码器(对应于协议解码和事件消息合成模块34)实施步骤如下：

步骤1:在控制器上配置协议栈解码规则，如下：

配置控制面GTP-C协议解码规则：

配置逻辑接口：

<network name＝UMTS id＝1>/*UMTS网络*/

<inteface name＝Gn-C id＝0>/*Gn-C接口协议栈*/

配置协议栈第1层IP协议解码：

配置协议栈第2层UDP协议解码：

配置协议栈第3层GTP-V1协议解码

配置消息对应哪种类型的状态机

配置用户面数据协议解码规则：

配置逻辑接口：

<network name＝UMTS id＝1/>/*UMTS网络*/

<interface name＝Gn-U id＝1/>/*Gn-U接口协议栈*/

配置协议栈第1层IP协议解码：

配置协议栈第2层UDP协议解码：

配置协议栈第3层GTPv1协议解码：

配置协议栈第4层IP协议解码：

配置协议栈第5层TCP协议解码：

配置协议栈第6层Http协议解码：

配置解码消息下一跳状态机。

在控制器上配置采集事件合成规则，如下：

配置控制面事务消息合成状态机：

配置状态机接口类型：

<interface name＝Gn-C id＝11/>/*Gn-C接口*/

配置状态机关键字：

配置状态机输入：

输入参数-1：

输入消息为create pdp请求，方向sgsn--->ggsn

1.0.0.3.0

</msg>

输入触发动作，从消息中提取数据保存到data-1的segment-1的字段

</data>

输入参数-2：

输入消息为create pdp响应，方向sgsn<---ggsn

1.0.1.3.1

</msg>

输入触发动作，从消息中提取数据保存到data-1的segment-2的字段

</data>

并触发输出操作output-1

输入超时触发动作：

配置状态机中间数据：

配置状态机输出数据(从中间数据中提取)：

配置用户面事务消息合成状态机：

配置状态机接口类型：

<interface name＝Gn-U id＝11/>/*Gn-U接口*/

配置状态机关键字：

配置状态机输入：

配置输入条件消息

配置输入条件触发动作

输入-5

配置输入条件消息

<msg name＝"post"type＝"response"direction＝"tosgsn"></msg>/*响应*/

<msg name＝"get"type＝"response"direction＝"tosgsn"></msg>/*响应*/

配置输入条件触发动作

配置状态机中间数据：

配置状态机输出：

配置状态机输出下1跳：

步骤2：控制器单元下发协议解码规则到协议解码器；

步骤3：协议解码器解析XML解码规则，生成解码业务逻辑。

步骤4：控制器单元下发协议事务合成规则到协议解码器，协议解码器解析XML合成规则，生成协议事务合成状态机逻辑；协议解码器接收流量分拣器识别出的逻辑接口数据报文，根据解码规则，逐层对报文中的各层协议进行解码，对用户面应用层未知的报文类型，可以先提交DPI深度报文识别模块识别出协议类型，再进行解码，原始数据报文解码后，各解码字段由解码规则中的id标识符标记。

步骤5：协议解码完毕后，根据协议解码规则中描述的事务合成状态机，提取相应的关键字段查询状态机，若查找失败，则创建新的状态机，如查找成功，则进入状态处理流程，若需要进一步进行多接口事务数据关联，则根据输出数据到下1跳多接口事件数据合成状态机。

步骤6：根据负载均衡原理，分发事件数据到下一跳处理单元。

三、图19是本发明实施的多接口事件合成器基本工作流程图，如图19所示，多接口事件合成气实施步骤具体包括：

步骤1：在控制器上配置多接口事件合成规则，如下：

配置控制面Gn-C接口和用户面Gn-U接口事件数据合成状态机：

配置网络类型为UMTS：

配置状态机关键字：Gn接口标识、SGSN IP地址、SGSN用户面隧道ID。

</key>

配置状态机输入-1：

接口为Gn-C接口，事件数据为create PDP事件：

触发动作：

从createPDP事件数据中提取相关数据，填充到data-1的segment-1中的字段。

配置状态机输入-2：

配置状态机中间数据：

配置输出：

步骤2：控制器下发多接口事件数据合成规则到多接口事件关联处理器；

步骤3：多接口关联处理解析XML格式合成规则，生成多接口事件数据合成状态机业务逻辑。

步骤4：多接口事件数据合成器接收到来自协议解码器处理单元的协议事务事件数据，根据数据中指定的状态机关键字查询多事件合成状态机，若查询失败，则创建新的状态机，若成功，则进行合成状态机业务处理逻辑，合成状态机根据配置规则最终生成采集信息元数据。

步骤5：将采集信息元数据上报给应用层分析系统(数据分析处理单元)进行数据分析和挖掘。

综上所述，本发明实施例的系统部署灵活多变，流量分拣和负载均衡模块32、协议解码和事件消息合成模块34数量可以根据需求自由组合，这些单元可以动态离开和加入系统，以满足不同规模的数据采集需求。此外，通过配置网络数据识别规则、解码规则、采集事件合成规则、以及多接口采集事件数据关联规则，实现数据采集内容的灵活定制，可以根据需要为上层数据分析系统提供多种类型的可定制的信息元数据。并且，本发明实施例的技术方案还可能实现对数据采集过程的规范化处理，极大简化数据采集系统研发过程。

方法实施例

根据本发明的实施例，提供了一种网络数据采集方法，图20是本发明实施例的网络数据采集方法的流程图，如图20所示，根据本发明实施例的网络数据采集方法包括如下处理：

步骤2001，接口适配模块30适配接入各种不同制式的数据通信网络，并接收网络数据；

步骤2002，控制器模块38定义网络数据识别规则、解码规则、采集事件合成规则、以及多接口采集事件数据关联规则，并下发给相应的模块；

具体地，网络数据识别规则具体包括：匹配条件、识别内容、处理动作、和下一跳模块配置，其中，匹配条件包括：网络数据采集入口标识符、媒体访问控制MAC层匹配地址、虚拟局域网VLAN层匹配标识符、网络地址IP层匹配地址、以及应用层匹配端口号等；识别内容包括：识别出的网络类型、识别出的逻辑接口类型、以及识别出的报文方向；处理动作包括：根据识别内容对网络数据进行丢弃报文处理、将报文转发到协议解码和事件消息合成模块进行处理、或者转发给抓包服务器处理，其中，在需要进行负载均衡分发时，负载均衡配置包括：负载均衡类型，如：轮询方式，加权优先级，哈希取模等，分发关键字，如：源IP地址，源端口号等；下一跳模块配置包括：每个下一跳处理服务器的索引号、流量分拣和负载均衡模块的出口索引号、下一跳处理服务器的地址和端口、下一跳处理服务器上的业务处理模块的索引号、下一跳处理服务器上的业务处理模块的负荷百分比、以及下一跳处理服务器上的业务处理模块的在线状态等；

解码规则包括：网络类型、网络中的逻辑接口以及该接口上的协议栈协议、每层协议的消息种类、消息中的字段、字段中的参数、以及指明该字段是否必须的标识，其中对网络类型、逻辑接口、协议类型、消息类型、消息字段、字段中的参数赋予ID标记，确保每个解码的字段参数有唯一的编码标识符标识，编码基本格式为：网络ID.逻辑接口ID.上下行方向ID.协议类型ID.消息类型ID.消息字段ID.参数ID；此外，解码规则中还包括解码后的消息应该进入的事件合成状态机的标识符，以及消息中的字段和状态机关键字之间的一一映射关系，以指明消息的下一步处理。

步骤2003，流量分拣和负载均衡模块32接收来自所述控制器模块38下发的所述网络数据识别规则，根据所述网络数据识别规则对所述接口适配模块30采集到的所述网络数据进行规则匹配，获取符合所述网络数据识别规则的网路数据，并识别所述网络数据的类型，根据识别出的所述网络数据的类型，将所述网路数据负载均衡分发到相应的下一跳模块进行处理；其中，将所述网路数据负载均衡分发到相应的下一跳模块进行处理具体包括：根据所述网络数据识别规则中的所述负载均衡配置将所述网路数据负载均衡分发到相应的下一跳模块所在的一个或多个服务器上进行处理。

步骤2004，协议解码和事件消息合成模块接收来自控制器模块下发的协议解码和事件合成规则，根据解码规则对来自流量分拣和负载均衡模块的网络数据进行协议解码，并根据采集事件合成规则对解码后的多条协议消息进行消息合成，生成协议事件数据；

其中，所述协议解码和事件消息合成模块34设置于一个或多个服务器上；

步骤2004具体包括如下处理：

协议解码子模块针对控制面协议的网络数据，根据控制器模块下发的解码规则进行解码；针对用户面的网络数据，根据深度报文识别DPI识别出的应用层协议类型，依据解码规则进行相关字段信息的解码；

协议事件合成子模块接收来自所述控制器模块38下发的采集事件合成规则，根据所述采集事件合成规则创建采集事件合成状态机，生产协议采集事件数据。

步骤2005，多接口事件数据关联模块36接收来自所述控制器模块38的所述多接口采集事件数据关联规则，根据所述多接口采集事件数据关联规则创建多接口采集事件消息合成状态机，并设置状态数据触发机制，接收来自所述协议解码和事件消息合成模块34的所述协议事件数据，将所述协议事件数据合成采集信息元数据，并发送到上层应用分析系统。

优选地，上述方法进一步包括：所述控制器模块38监控所述网络数据采集系统中各个处理模块的负载状况，根据所述负载状况对所述网络数据采集系统的整体负荷进行均衡调整；根据被采集的网络数据的流量大小，将各个模块合一部署在一台硬件设备上、或者分离部署在多台硬件设备上，其中，在将各个模块合一部署在一台硬件设备上时，各个模块采用内部数据格式进行网络数据的封装传输；在将各个模块分离部署在多台硬件设备上时，各个模块采用传输控制协议TCP/用户数据包协议UDP通道进行网络数据的封装传输。

根据本发明实施例的网络数据采集方法可以参照系统实施例中的相关细节进行理解，在此不再赘述。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的客户端中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个客户端中。可以把实施例中的模块组合成一个模块，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者客户端的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的加载有排序网址的客户端中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims

1.一种网络数据采集系统，其特征在于，包括：

接口适配模块，用于适配接入各种不同制式的数据通信网络，并接收网络数据以及将所述网络数据发送给流量分拣和负载均衡模块；

所述流量分拣和负载均衡模块，用于接收来自所述控制器模块下发的所述网络数据识别规则，根据所述网络数据识别规则对所述接口适配模块采集到的所述网络数据进行规则匹配，获取符合所述网络数据识别规则的网络数据，并识别所述网络数据的类型，根据识别出的所述网络数据的类型，将所述网络数据负载均衡分发到相应的协议解码和事件消息合成模块进行处理；

所述协议解码和事件消息合成模块，用于接收来自控制器模块下发的解码规则和采集事件合成规则，根据解码规则对来自流量分拣和负载均衡模块的网络数据进行协议解码，并根据采集事件合成规则创建事件合成状态机，对解码后的多条协议消息进行消息合成，生成协议事件数据；

多接口事件数据关联模块，用于接收来自所述控制器模块的所述多接口采集事件数据关联规则，根据所述多接口采集事件数据关联规则创建多接口采集事件消息合成状态机，接收来自所述协议解码和事件消息合成模块的所述协议事件数据，将所述协议事件数据合成采集信息元数据，并发送到上层应用分析系统。

2.如权利要求1所述的网络数据采集系统，其特征在于，所述控制器模块进一步用于：监控所述网络数据采集系统中所述流量分拣和负载均衡模块、所述协议解码和事件消息合成模块和所述多接口事件数据关联模块的负载状况，根据所述负载状况对所述网络数据采集系统的整体负荷进行均衡调整。

3.如权利要求1所述的网络数据采集系统，其特征在于，所述协议解码和事件消息合成模块设置于一个或多个服务器上；

所述协议解码和事件消息合成模块具体包括：

协议解码子模块，用于针对控制面协议的网络数据，根据控制器模块下发的解码规则进行解码；针对用户面的网络数据，根据深度报文识别系统DPI识别出的应用层协议类型，依据解码规则进行相关字段信息的解码；

协议事件合成子模块，用于接收来自所述控制器模块下发的采集事件合成规则，根据所述采集事件合成规则创建事件合成状态机，并设置状态数据触发机制，生产协议采集事件数据。

4.如权利要求1所述的网络数据采集系统，其特征在于，

所述网络数据识别规则具体包括：匹配条件、识别内容、处理动作、和协议解码和事件消息合成模块配置，其中，匹配条件包括：网络数据采集入口标识符、媒体访问控制MAC层匹配地址、虚拟局域网VLAN层匹配标识符、网络地址IP层匹配地址、以及应用层匹配端口号；所述识别内容包括：识别出的网络类型、识别出的逻辑接口类型、以及识别出的报文方向；所述处理动作包括：根据识别结果对所述网络数据进行处理，将报文转发到协议解码和事件消息合成模块进行处理、或转发给抓包服务器处理，其中，在需要进行负载均衡分发时，负载均衡配置包括：负载均衡类型和分发关键字；所述协议解码和事件消息合成模块配置包括：每个协议解码和事件消息合成处理服务器的索引号、流量分拣和负载均衡模块的出口索引号、协议解码和事件消息合成处理服务器的地址和端口、协议解码和事件消息合成处理服务器上的业务处理模块的索引号、协议解码和事件消息合成处理服务器上的业务处理模块的负荷百分比、以及协议解码和事件消息合成处理服务器上的业务处理模块的在线状态；

所述解码规则包括：网络类型、网络中的逻辑接口以及该接口上的协议栈协议、每层协议的消息种类、消息中的字段、字段中的参数、以及指明该字段是否必须的标识，其中，对网络类型、逻辑接口、协议类型、消息类型、消息字段、以及字段中的参数赋予身份标识ID标记，确保每个解码的字段参数有唯一的编码标识符标识，编码基本格式为：网络ID.逻辑接口ID.上下行方向ID.协议类型ID.消息类型ID.消息字段ID.参数ID；所述解码规则中还包括解码后的消息是否进入的事件合成状态机的标识符、以及消息中的字段和状态机关键字之间的一一映射关系，以指明消息的下一步处理；

所述采集事件合成规则包括：采集事件合成状态机的ID标识符、类型标识符、采集事件合成状态机的关键字、采集事件合成状态机的输入消息编码、采集事件合成状态机的中间数据生成规则、采集事件合成状态机的数据输出规则、以及采集事件合成状态机输出数据的下一跳处理，其中，状态机的中间数据由输入消息的解码字段的编码组合而成，若还存在需要进行复杂计算才能获得结果的字段，为该字段分配系统内唯一标识符，在系统中以硬编码的方式实现；对状态机的中间数据的每个字段需要赋予ID标识符进行标识，确保每个字段在本状态机内部有唯一的编码，其编码格式为：状态机ID.中间数据ID.字段ID；状态机的输出数据由中间数据字段编码组合而成，若还存在需要进行复杂计算才能获得结果的字段，为该字段分配系统内唯一标识符，在系统中以硬编码的方式实现，对状态机的输出数据的每个字段需要赋予ID标识符进行标识，确保每个字段有唯一的编码，其编码格式为：状态机类型ID.状态机标识ID.输出数据ID.字段ID，此外，所述采集事件合成规则中还包括输出数据是否进入的多接口事件合成状态机的标识符，以及输出数据中的字段和多接口事件合成状态机关键字之间的一一映射关系，以指明消息的下一步处理；

所述多接口采集事件数据关联规则包括：多接口采集事件消息合成状态机的类型标识、多接口采集事件消息合成状态机的关键字、多接口采集事件消息合成状态机的输入事件消息编码、多接口采集事件消息合成状态机的数据生成规则、多接口采集事件消息合成状态机的数据输出规则、以及多接口采集事件消息合成状态机输出数据的下一跳处理，其中，状态机的中间数据由输入事件消息的字段编码组合而成，若还存在需要进行复杂计算才能获得结果的字段，为该字段分配系统内唯一标识符，在系统中以硬编码的方式实现；对状态机的中间数据的每个字段需要赋予ID标识符进行标识，确保每个字段有唯一的编码，其编码格式：状态机类型ID.状态机标识ID.输出数据ID.字段ID；状态机的输出数据由中间数据字段编码组合而成，若还存在需要进行复杂计算才能获得结果的字段，为该字段分配系统内唯一标识符，在系统中以硬编码的方式实现。

5.如权利要求1所述的网络数据采集系统，其特征在于，所述网络数据采集系统中的各个模块根据被采集的网络数据的流量大小，合一部署在一台硬件设备上、或者分离部署在多台硬件设备上，其中，在合一部署在一台硬件设备上时，各个模块采用内部数据格式进行网络数据的封装传输；在分离部署在多台硬件设备上时，各个模块采用传输控制协议TCP/用户数据包协议UDP通道进行网络数据的封装传输。

6.如权利要求4所述的网络数据采集系统，其特征在于，流量分拣和负载均衡模块具体用于：根据所述网络数据识别规则中的所述负载均衡配置将所述网络数据负载均衡分发到相应的协议解码和事件消息合成模块所在的一个或多个服务器上进行处理。

7.一种网络数据采集方法，其特征在于，包括：

接口适配模块适配接入各种不同制式的数据通信网络，并接收网络数据以及将所述网络数据发送给流量分拣和负载均衡模块；

所述流量分拣和负载均衡模块接收来自所述控制器模块下发的所述网络数据识别规则，根据所述网络数据识别规则对所述接口适配模块采集到的所述网络数据进行规则匹配，获取符合所述网络数据识别规则的网络数据，并识别所述网络数据的类型，根据识别出的所述网络数据的类型，将所述网络数据负载均衡分发到相应的协议解码和事件消息合成模块进行处理；

所述协议解码和事件消息合成模块接收来自控制器模块下发的解码规则和采集事件合成规则，根据解码规则对来自流量分拣和负载均衡模块的网络数据进行协议解码，并根据采集事件合成规则创建事件合成状态机，对解码后的多条协议消息进行消息合成，生成协议事件数据；

多接口事件数据关联模块接收来自所述控制器模块的所述多接口采集事件数据关联规则，根据所述多接口采集事件数据关联规则创建多接口采集事件消息合成状态机，接收来自所述协议解码和事件消息合成模块的所述协议事件数据，将所述协议事件数据合成采集信息元数据，并发送到上层应用分析系统。

8.如权利要求7所述的网络数据采集方法，其特征在于，所述方法进一步包括：

所述控制器模块监控所述网络数据采集系统中所述流量分拣和负载均衡模块、所述协议解码和事件消息合成模块和所述多接口事件数据关联模块的负载状况，根据所述负载状况对所述网络数据采集系统的整体负荷进行均衡调整。

9.如权利要求7所述的网络数据采集方法，其特征在于，所述协议解码和事件消息合成模块设置于一个或多个服务器上；

协议解码和事件消息合成模块接收来自所述流量分拣和负载均衡模块下发的网络数据，根据所述解码规则对所述网络数据进行深度分析和解码，并根据所述控制器模块下发的所述采集事件合成规则进行协议级别的事件流程消息的合成，生成协议事件数据具体包括：

协议解码子模块针对控制面协议的网络数据，根据控制器模块下发的解码规则进行解码；针对用户面的网络数据，根据深度报文识别系统DPI识别出的应用层协议类型，依据解码规则进行相关字段信息的解码；

协议事件合成子模块接收来自所述控制器模块下发的采集事件合成规则，根据所述采集事件合成规则创建事件合成状态机，并设置状态数据触发机制，生产协议采集事件数据。

10.如权利要求7所述的网络数据采集方法，其特征在于，

11.如权利要求7所述的网络数据采集方法，其特征在于，所述方法进一步包括：

12.如权利要求10所述的网络数据采集方法，其特征在于，将所述网络数据负载均衡分发到相应的协议解码和事件消息合成模块进行处理具体包括：根据所述网络数据识别规则中的所述负载均衡配置将所述网络数据负载均衡分发到相应的协议解码和事件消息合成模块所在的一个或多个服务器上进行处理。