CN101183994B - 一种网络通信数据流信息统计系统及方法 - Google Patents

Abstract

本发明公开了一种网络通信数据流信息统计系统，包括：主控系统、通信接口系统及业务功能系统；本发明还提供了一种网络通信数据流信息统计方法，包括：通信接口系统将接收或转发的网络通信数据流镜像至业务功能系统；业务功能系统对接收的网络通信数据流进行采样、过滤、统计后，将网络通信数据流信息的统计结果发送至通信接口系统；通信接口系统将接收的统计结果发送至远端服务器。本发明避免了现有技术中被监控设备将采样数据流发送至监测服务器的过程中，可能会受到被监测设备的网络接口以及网络运营商提供的带宽的限制；并且在对网络通信数据信息进行统计的过程中，也能够保证通信接口系统原有通信性能不受影响。

Description

一种网络通信数据流信息统计系统及方法

技术领域

本发明涉及计算机网络通信领域，尤其涉及一种网络通信数据流信息统计系统及方法。

背景技术

对网络通信数据流信息进行统计，是对网络应用进行分析与监控的基础，广泛应用于流量监控、网络计费、网络安全监控与防范、网络资源优化建设等各个方面。

网络通信数据流信息的统计大致可以分为两类：第一类信息是数据流本身所携带的信息，例如对于IP报文，本身携带的信息有：发送此IP报文的设备接口IP地址，即报文的源IP地址，以及报文要送达目的设备接口的IP地址，即报文的目的IP地址、IP报文的长度等；第二类信息是网络设备对数据流的操作信息，如：数据流从哪个接口接收进来的，将从哪个接口发送出去，发送出去后要交由下一个网络设备的地址，即数据流的下一跳地址等。

对网络通信数据流信息的统计基本流程如图1所示，包括以下步骤：

采样(Sampling)：完成对监控对象数据流的收集。采样可以全部采样，也可以按比例采样，也可以按时间间隔采样，等等。采样率越高(最高1∶1采样即全部采样)，统计信息越精确，但对系统资源要求也越高。

过滤(Filtering)：通过过滤，可以实现只对感兴趣的数据流进行采样、监控统计。也可以全部过滤通过，即不做过滤。

统计(Metering)：对经采样、过滤后的数据流进行解析处理，以获取所需要的统计信息。

输出(Exporting)：将统计信息输出给统计信息收集器，也可以称为服务器，以进行“分析、诊断与对策”。

收集器(Collector)，对统计信息进行分析、诊断，并提出对策。

其中采样与过滤的顺序可以依据具体的实现方案前后互换，并可以实现多次采样和过滤。

现有的网络通信数据流信息统计的实现代表性的方案有以下几种：

方案一：如图2所示，利用被监控设备的端口镜像功能，将被监控设备网络接口的通信数据流镜像到监控口，由监控口连接到监控管理中心的服务器(监控设备)，服务器对接收的通信数据流进行统计与分析。典型的应用如公安部门对网吧的运营监控。

方案一中，被监控网络设备通过网络接口具有通信数据流镜像功能，将需要监控的网络接口的数据流全部镜像发送到监控设备，完成采样动作。图1所示的其余的后续流程，都在监控设备中完成。

方案一具有如下缺点：

1)可获取的信息不够全面：只能获取数据流本身携带的信息，即第一类信息；无法获取第二类信息。

2)对于监控对象的数据流超过接口带宽的情况，无能为力。如果被监控设备的接口3是百兆以太口，而接口1和2同样也是百兆以太口，甚至是千兆以太口的情况，当接口1和2的双向通信流量超过100Mbps时，接口3就无法将所有的通信数据都发送给处于远端的监控设备。

3)即使接口1和2的双向通信数据流量未超过接口3的带宽，由于监控设备处于远端，中间要经过网络运营商的线路中转，带宽还有可能受网络运营商所提供的带宽服务的限制。

方案二：

方案二为嵌入式分布系统实现方案，在一个网络设备中实现网络通信数据流的采样、过滤、统计与输出，而由远端服务器完成对统计数据的分析、诊断和制定策略。所谓嵌入式分布方案，就是从网络设备形态上看，是一个产品，但内部实现逻辑，可以看作是两个或多个独立运行的系统。如图3所示的嵌入式分布系统，主控系统拥有全局控制与管理信息，可以有一个主控系统，或外加1个至多个备份主控系统组成。

通信接口系统承担网络通信数据的接收、转发等功能，并对收发的网络数据流进行采样、过滤；以及将过滤后的网络通信数据流以及数据流的收发接口等信息发送至业务功能系统；

业务功能系统完成对网络通信数据流信息统计与输出，也可以涵盖其他业务如数据通信的加、解密与认证等。

业务功能系统输出的统计信息，可以由业务功能系统自带的通信接口发送给远端服务器，也可以将统计信息输出给通信接口系统，再由通信接口系统的接口发送给远端服务器。

上述方案二具有如下缺点：

由于需要由通信接口系统进行采样、过滤，以及将过滤后的网络通信数据流以及数据流的收发接口等信息发送至业务功能系统，增加了通信接口系统处理器的负担，占用了较多的设备资源，影响了通信接口系统正常数据通信的性能。

发明内容

本发明提供一种网络通信数据流信息统计系统及方法，在保持通信接口系统原有的正常通信功能不受影响的前提下，实现对网络通信数据流信息的全面、可靠的统计。

一种网络通信数据流信息统计系统，包括：主控系统、通信接口系统和业务功能系统；

所述主控系统，用于对所述通信接口系统和所述业务功能系统进行控制及管理；

所述通信接口系统，用于网络通信数据流的收发，并将收发的所述网络通信数据流镜像至所述业务功能系统；

所述业务功能系统，用于根据主控系统设置的数据流采样、过滤规则，对接收的所述网络通信数据流进行采样、过滤，对过滤后的网络通信数据流进行解析，获取当前所述网络通信数据流自身携带的信息，根据已获取的当前网络通信数据流自身携带的信息，从主控系统预先发送的路由信息和收发接口信息中查找并记录当前网络通信数据流对应的路由信息和收发接口信息，将所述当前网络通信数据流自身携带的信息、对应的路由信息和收发接口信息生成网络通信数据流信息统计结果报文，并将该网络通信数据流信息统计结果报文发送至远端服务器。

一种网络通信数据流信息统计方法，包括：

由通信接口系统将接收或转发的网络通信数据流镜像至业务功能系统；

所述业务功能系统根据主控系统设置的数据流采样、过滤规则，对接收的所述网络通信数据流进行采样、过滤；

所述业务功能系统对过滤后的网络通信数据流进行解析，获取当前所述网络通信数据流自身携带的信息；

所述业务功能系统根据已获取的当前网络通信数据流自身携带的信息，从主控系统预先发送的路由信息和收发接口信息中查找并记录当前网络通信数据流对应的路由信息和收发接口信息；

所述业务功能系统将所述当前网络通信数据流自身携带的信息、对应的路由信息和收发接口信息生成网络通信数据流信息统计结果报文，并将该网络通信数据流信息统计结果报文发送至远端服务器。

本发明提供的网络通信数据流信息统计系统及方法，通过通信接口系统将网络通信数据流镜像至业务功能系统，由业务功能系统完成网络通信数据流的采样、过滤、统计和统计结果的输出，不需要通信接口系统参与网络通信数据流信息统计的过程，既避免了现有技术中被监测设备将采样的网络通信数据流送达服务器的过程中，可能会受到被检测设备的网络接口以及网络运营商所提供的带宽的限制，又避免了现有技术中对网络通信数据流的采样、过滤步骤可能会较大地影响到通信接口系统的正常数据通信性能；同时实现了对网络通信数据流信息全面、可靠的统计。

附图说明

图1为现有技术中网络通信数据流信息统计流程图；

图2为现有技术中网络通信数据流信息的统计方案一示意图；

图3为现有技术中网络通信数据流信息的统计方案二示意图；

图4A为本发明实施例提供的网络通信数据流信息统计系统示意图之一；

图4B为本发明实施例提供的网络通信数据流信息统计系统示意图之二；

图5为本发明实施例提供的业务功能系统结构示意图；

图6为本发明实施例提供的网络通信数据流信息统计嵌入式分布系统硬件连接示意图；

图7为本发明实施例提供的网络通信数据流信息统计嵌入式分布系统软件及数据流示意图；

图8A为本发明实施例提供的网络通信数据流信息统计方法流程图之一；

图8B为本发明实施例提供的网络通信数据流信息统计方法流程图之二。

具体实施方式

下面结合附图，以具体实施例对本发明提供的一种网络通信数据流信息统计系统及方法进行详细的说明。

实施例一

本发明实施例提供了一种网络通信数据流信息统计系统，如图4A所示，包括：主控系统401、通信接口系统402、业务功能系统403。

主控系统401，用于将全局控制信息和管理信息发送给通信接口系统和业务功能系统；

通信接口系统402，负责网络通信数据流的接收和转发，并将收发的网络通信数据流镜像至业务功能系统；

业务功能系统403，根据主控系统发送的控制信息和管理信息，对接收的网络通信数据流进行采样、过滤、统计，并将统计结果发送至远端服务器。

上述网络通信数据流信息统计系统还可以包括：数据交换背板404以及若干备份主控系统405。

数据交换背板404，承载主控系统与通信接口系统、业务功能系统之间控制信息和管理信息，以及通信接口系统与业务功能系统之间镜像网络通信数据流的交换通道。

备份主控系统405，可以是若干个，每一个备份主控系统和主控系统的功能与结构完全相同，在主控系统出现故障时，备份主控系统能够接替主控系统继续维护整个网络通信数据流信息统计系统的工作，并且多个备份主控系统按照预先设定的优先级进行备份工作。

本发明实施例提供的网络通信数据流信息统计系统中，业务功能系统403可以通过统计的结果自身的通信接口发送至远端服务器，也可以通过业务功能系统403将统计结果输出至通信接口系统，通信接口系统按照正常数据流的处理方式，路由转发至远端服务器。在实际应用中，可以根据具体的情况采用不同的具体实施方式，本发明对此不做限定。

为了说明的简便，以下以其中一种具体实施方式即以业务功能系统403将统计结果输出至通信接口系统，通信接口系统将其转发至远端服务器，进行进一步的说明。

如图4B所示的网络通信数据流信息统计系统，其中的数据交换背板404除了是主控系统与通信接口系统、业务功能系统之间控制信息和管理信息，以及通信接口系统与业务功能系统之间镜像网络通信数据流的交换通道之外，还是通信接口系统与业务功能系统之间网络通信数据流信息统计结果的交换通道。

图4B所示的网络通信数据流信息统计系统，其中业务功能系统的内部结构，如图5所示，具体包括：数据流接收模块501、统计功能模块502、统计结果输出模块503；

数据流接收模块501，用于接收通信接口系统镜像的网络通信数据流；

统计功能模块502，用于对接收的网络通信数据流进行采样、过滤和统计；

统计结果输出模块503，将网络通信数据流信息的统计结果发送至通信接口系统。

数据流接收模块和统计结果输出模块可以集成于一个多端口多层交换芯片中。

上述业务功能系统还包括：控制管理信息接口模块504、处理器模块505；

控制管理信息接口模块504，提供主控系统向业务功能系统发送控制信息和管理信息的接口；

处理器模块505：接收主控系统发送的控制信息和管理信息，并根据接收的控制信息和管理信息对数据流接收模块、统计功能模块和统计结果输出模块进行设置。

上述网络通信数据流信息统计系统可以采用嵌入式分布系统方式来实现，下面用一个具体的嵌入式分布系统的实例来说明。

如图6所示的嵌入式分布系统，包括：主控板、通信接口卡、业务功能卡、备份主控板(可以有多个)，分别对应上述主控系统、通信接口系统、业务功能系统和备份主控系统。下面对该系统的结构及工作原理进行详细的说明。

图6中，主控板中的控制管理信息接口芯片603、业务功能卡中的控制管理信息接口芯片612和通信接口卡中的控制管理信息接口芯片606，共同构成主控板与业务功能卡及通信接口卡之间控制管理信息交换通道；主控板中的第一数据交换芯片602、通信接口卡中的第二数据交换芯片605和业务功能卡中的第三数据交换芯片609构成通信接口卡和业务功能卡之间网络通信数据流和网络通信数据流信息统计结果的交换通道。

主控板的处理器601通过控制管理信息接口芯片603分别向通信功能卡和业务功能卡发送相关的控制信息和管理信息，其中，以太口控制器604实现了处理器601与控制管理信息接口芯片603之间的通信连接。

这些数据交换芯片可以有多个通信端口，可以实现多层的交换，在此以以太口为例。

通信接口卡中，处理器608通过控制管理信息接口芯片606接收主控板发送的控制信息和管理信息，实现对第二数据交换芯片605的控制与管理，例如包括：启用哪一个或哪一些通信接口收发数据流以及对应的路由信息。与主控板中以太口控制器功能类似，通信接口卡中以太口控制器607实现了处理器608与控制管理信息接口芯片606之间的通信连接。

通信接口卡中的处理器608根据这些控制和管理信息，开启第二数据交换芯片605上对应通信接口网络通信数据流镜像功能，以及根据路由信息对第二数据交换芯片605进行设置，使得第二数据交换芯片605在开启网络通信数据流镜像功能之后，能够按照设置的路由，将对应的镜像的网络通信数据流发送至主控板上的第一数据交换芯片602。

业务功能卡中的处理器614通过控制管理信息接口芯片612接收主控板发送的控制信息和管理信息，实现对第三数据交换芯片609的控制和管理，例如包括：处理器614根据主控板发送的路由信息对第三数据交换芯片609进行设置。业务功能卡中另一处理器611接收主控板发送的路由信息、接口信息和数据流采样、过滤规则发送至统计功能芯片610。处理器611还用于接收主控板发送的网络通信数据流信息统计结果输出的目的IP地址，也就是远端服务器的IP地址，以便将当前网络通信数据数据流信息的统计结果生成对应的网络通信数据流信息统计结果报文。与主控板中以太口控制器功能类似，业务功能卡中以太口控制器613实现了处理器614与控制管理信息接口芯片612的通信连接。

当主控板中的第一数据交换芯片602将镜像的网络通信数据流发送至业务功能卡中的第三数据交换芯片609，第三数据交换芯片609将接收到镜像的网络通信数据流转发至统计功能芯片610。

统计功能芯片610根据数据流采样、过滤规则对接收的网络通信数据流进行采样、过滤，以及对过滤后的网络通信数据数据流进行解析，获取网络通信数据流本身携带的一些信息，例如对于IP报文来说，报文自身携带的信息包括：发送此报文的源IP地址、目的IP地址，以及报文的长度等；统计功能芯片610根据已获取的网络通信数据流信息，在处理器611设置的路由信息和接口信息中查找该网络通信数据流对应的路由信息、收发接口信息。

处理器611从统计功能芯片610中读取当前网络通信数据数据流信息的统计结果，根据目的IP地址，生成网络通信数据流信息统计结果报文，经由统计功能芯片610转发至第三数据交换芯片609。

在本实施例中，业务功能卡中有两个处理器611和处理器611，分别实现对第三数据交换芯片609和统计功能芯片610的控制和管理，当然，也可以将两者集成到一个处理器中。如果业务功能卡中包含这样一个处理器，该处理器生成网络通信数据流信息统计结果报文后，就可直接经由第三数据交换芯片609将网络通信数据流信息统计结果报文发送至通信接口系统，而不需要再通过统计功能芯片610进行转发。

第三数据交换芯片609根据设置的路由，将接收的网络通信数据流信息统计结果报文发送至第一数据交换芯片602，第一数据交换芯片602将网络通信数据流信息统计结果报文转发至第二数据交换芯片605，由通信接口卡的第二数据交换芯片605发送至远端服务器。在本实施例中，第二数据交换芯片605的功能包括镜像网络通信数据流的接收，以及网络通信数据流信息统计结果的转发。

备份主控板与主控板结构和功能一致，对于其结构和实现原理，在此不再赘述。

上述嵌入式分布系统只是一个较佳的实现方案，实际应用中，可以有多种具体实施方案，例如可以将通信接口卡和业务功能卡进一步合成，设计成一个同时具备两者功能的混合系统；可以是全分布式系统，也可以是部分分布式系统。本发明实施例对此并不做限定。

图7是上述嵌入式分布系统各部分软件实现原理及网络通信数据流的示意图。

实施例二

本发明实施例提供了一种网络通信数据流统计方法，如图8A所示，包括以下步骤：

步骤801A、通信接口系统将接收或转发的网络通信数据流镜像至业务功能系统；

具体地，通信接口系统开启网络通信数据流镜像功能，根据设置的路由，将镜像的网络通信数据流发送至业务功能系统。

步骤802A、业务功能系统对接收的网络通信数据流进行采样、过滤、统计后，并输出网络通信数据流信息的统计结果；

具体地，业务功能系统根据主控系统设置的数据流采样、过滤规则，对接收的网络通信数据流进行采样、过滤；

业务功能系统对过滤后的网络通信数据流进行解析，获取当前网络通信数据流自身携带的信息；并根据通过获取的当前网络通信数据流自身携带的信息，从主控系统预先发送的路由信息和接口信息中查找并记录当前网络通信数据流对应的路由信息和收发接口信息；

业务功能系统将网络通信数据流自身携带的信息、对应的路由信息和收发接口信息生成网络通信数据流信息统计结果报文并发送至远端服务器。

当然，业务功能系统可以根据上述流程通过自身的通信接口将网络通信数据流信息统计结果报文发送至远端服务器，也可以通过业务功能系统将网络通信数据流信息统计结果报文发送至通信接口系统，经由通信接口系统将网络通信数据流信息统计结果报文路由转发至远端服务器，如图8B的流程图所示，包括以下几个步骤：

步骤801B、通信接口系统将接收或转发的网络通信数据流镜像至业务功能系统；

步骤802B、业务功能系统对接收的网络通信数据流进行采样、过滤、统计后，将网络通信数据流信息的统计结果发送至通信接口系统；

步骤803B、通信接口系统将接收的统计结果发送至远端服务器。

本发明实施例提供的一种网络通信数据流信息统计系统及方法，通过通信接口系统将网络通信数据流镜像至业务功能系统，由业务功能系统完成网络通信数据流的采样、过滤、统计和统计结果的输出，不需要通信接口系统参与网络通信数据流信息统计的过程，避免了现有技术中被监测设备将采样的网络通信数据流送达服务器的过程中，可能会受到被检测设备的网络接口以及网络运营商所提供的带宽的限制；又避免了现有技术中对网络通信数据流的采样、过滤步骤可能会较大地影响到通信接口系统的正常数据通信性能；并且在对网络通信数据信息进行统计的过程中，也能够保证通信接口系统原有通信性能不受影响。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种网络通信数据流信息统计系统，其特征在于，包括：主控系统、通信接口系统和业务功能系统；

所述主控系统，用于对所述通信接口系统和所述业务功能系统进行控制及管理；

所述通信接口系统，用于网络通信数据流的收发，并将收发的所述网络通信数据流镜像至所述业务功能系统；

所述业务功能系统，用于根据主控系统设置的数据流采样、过滤规则，对接收的所述网络通信数据流进行采样、过滤，对过滤后的网络通信数据流进行解析，获取当前所述网络通信数据流自身携带的信息，根据已获取的当前网络通信数据流自身携带的信息，从主控系统预先发送的路由信息和收发接口信息中查找并记录当前网络通信数据流对应的路由信息和收发接口信息，将所述当前网络通信数据流自身携带的信息、对应的路由信息和收发接口信息生成网络通信数据流信息统计结果报文，并将该网络通信数据流信息统计结果报文发送至远端服务器。

2.如权利要求1所述的网络通信数据流信息统计系统，其特征在于，还包括：数据交换背板；

所述数据交换背板，用于提供所述主控系统与所述通信接口系统以及所述主控系统与所述业务功能系统之间传送控制信息和管理信息的交换通道，以及提供所述通信接口系统与所述业务功能系统之间传送所述镜像的网络通信数据流的交换通道。

3.如权利要求2所述的网络通信数据流信息统计系统，其特征在于，所述业务功能系统，还用于将所述网络通信数据流信息统计结果报文转发至所述通信接口系统；

所述通信接口系统，还用于将接收的所述网络通信数据流信息统计结果报文发送至远端服务器；

所述数据交换背板，还用于提供所述通信接口系统与所述业务功能系统之间传送所述网络通信数据流信息统计结果报文的交换通道。

4.如权利要求3所述的网络通信数据流信息统计系统，其特征在于，所述业务功能系统，包括：数据流接收模块、统计功能模块和统计结果输出模块；

所述数据流接收模块，用于接收所述通信接口系统镜像的所述网络通信数据流；

所述统计功能模块，用于实现对接收的所述网络通信数据流进行采样、过滤和统计的功能；

所述统计结果输出模块，用于将所述网络通信数据流信息统计结果报文发送至所述通信接口系统。

5.如权利要求4所述的网络通信数据流信息统计系统，其中，所述业务功能系统还包括：控制管理信息接口模块和处理器模块；

所述控制管理信息接口模块，用于提供主控系统下发控制信息和管理信息的接口；

所述处理器模块，用于通过所述控制管理信息接口模块接收所述主控系统下发的控制信息和管理信息，并根据所述控制信息和管理信息对所述数据流接收模块、所述统计功能模块和所述统计结果输出模块进行设置；以及将统计结果生成对应的网络通信数据流信息统计结果报文并输出。

6.如权利要求4所述的网络通信数据流信息统计系统，其特征在于，所述数据流接收模块和所述统计结果输出模块集成于一个多端口多层交换芯片中。

7.如权利要求1所述的网络通信数据流信息统计系统，其特征在于，还包括一个或多个备份主控系统；

所述备份主控系统，用于在所述主控系统出现故障时，接替所述主控系统进行控制和管理工作。

8.如权利要求1至7任一项所述的任一网络通信数据流信息统计系统，其特征在于，所述网络通信数据流信息统计系统采用嵌入式分布系统方式实现。

9.一种网络通信数据流信息统计方法，其特征在于，包括：

由通信接口系统将接收或转发的网络通信数据流镜像至业务功能系统；

所述业务功能系统根据主控系统设置的数据流采样、过滤规则，对接收的所述网络通信数据流进行采样、过滤；

所述业务功能系统对过滤后的网络通信数据流进行解析，获取当前所述网络通信数据流自身携带的信息；

所述业务功能系统根据已获取的当前网络通信数据流自身携带的信息，从主控系统预先发送的路由信息和收发接口信息中查找并记录当前网络通信数据流对应的路由信息和收发接口信息；

所述业务功能系统将所述当前网络通信数据流自身携带的信息、对应的路由信息和收发接口信息生成网络通信数据流信息统计结果报文，并将该网络通信数据流信息统计结果报文发送至远端服务器。

10.如权利要求9所述的网络通信数据流信息统计方法，其特征在于，所述业务功能系统将该网络通信数据流信息统计结果报文发送至远端服务器具体包括：所述业务功能系统将所述网络通信数据流信息统计结果报文发送至所述通信接口系统，经由所述通信接口系统转发至所述远端服务器。

Images