CN103997439A - 一种流量监测方法、装置和系统 - Google Patents
一种流量监测方法、装置和系统 Download PDFInfo
- Publication number
- CN103997439A CN103997439A CN201410244278.3A CN201410244278A CN103997439A CN 103997439 A CN103997439 A CN 103997439A CN 201410244278 A CN201410244278 A CN 201410244278A CN 103997439 A CN103997439 A CN 103997439A
- Authority
- CN
- China
- Prior art keywords
- data flow
- mirror image
- flow
- address
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种流量监测方法、装置和系统；本发明实施例采用获取出入服务器的数据流，并对该数据流进行镜像映射，得到镜像数据流，然后，对该镜像数据流区分，得到镜像出数据流和镜像入数据流，再然后，根据TCP协议对该镜像出数据流和镜像入数据流进行重组，得到重组后数据流，对该重组后数据流进行应用层流量监控，从而实现对应用层流量进行监控的目的，大大提高了监控效果。
Description
技术领域
本发明涉及通信技术领域，具体涉及一种流量监测方法、装置和系统。
背景技术
目前业界针对异常流量的监控，一般采用流量整体镜像分析的方法进行监测，其可以根据目的网际协议(IP，Internet Protocol)的流量聚合情况，来判断是否存在异常流量行为，例如，具体可以在数据流进入核心交换机前，将该数据流镜像一份到流量分析系统，由流量分析系统对入数据流(即入流量)进行逐包分析，并根据协议类型对入数据流进行聚合统计，对于波动超过阈值的流量，则输出告警。
在对现有技术的研究和实践过程中，本发明的发明人发现，由于对于四层协议模型而言，每个数据包所携带的应用层信息并不是完整的，因此，无法监控到应用层流量的异常行为。
发明内容
本发明实施例提供一种流量监测方法、装置和系统，可以对应用层流量进行监控，提高监控效果
一种流量监测方法，包括：
获取出入服务器的数据流，并对所述数据流进行镜像映射，得到镜像数据流；
对所述镜像数据流区分，得到镜像出数据流和镜像入数据流
根据传输控制协议(TCP，Transmission Control Protocol)对所述镜像出数据流和镜像入数据流进行重组，得到重组后数据流；
对所述重组后数据流进行应用层流量监控。
一种流量监测装置，包括：
获取单元，用于获取出入服务器的数据流，并对所述数据流进行镜像映射，得到镜像数据流；
区分单元，用于对所述镜像数据流区分，得到镜像出数据流和镜像入数据流；
重组单元，用于根据传输控制协议对所述镜像出数据流和镜像入数据流进行重组，得到重组后数据流；
监控单元，用于对所述重组后数据流进行应用层流量监控。
一种通信系统，包括本发明实施例提供的任一种流量监测装置。
本发明实施例采用获取出入服务器的数据流，并对该数据流进行镜像映射，得到镜像数据流，然后，对该镜像数据流区分，得到镜像出数据流和镜像入数据流，再然后，根据TCP协议对该镜像出数据流和镜像入数据流进行重组，得到重组后数据流，对该重组后数据流进行应用层流量监控，从而实现对应用层流量进行监控的目的，大大提高了监控效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的流量监测方法的流程图；
图2a是本发明实施例所提供的流量监测的场景示意图；
图2b是本发明实施例所提供的流量监测的场景示意图；
图2c是本发明实施例所提供的流量监测方法的另一流程图；
图3a是本发明实施例提供的流量监测装置的结构示意图；
图3b是本发明实施例提供的流量监测装置的另一结构示意图；
图4是本发明实施例提供的服务器的结构示意图；
图5是本发明实施例提供的流量监测系统的示意图；
图6是本发明实施例所提供的流量监测方法的又一流程图；
图7是本发明实施例所提供的流量监测方法中分析模块的执行流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种流量监测方法、装置和系统。以下分别进行详细说明。
实施例一、
本发明实施例将从流量监测装置的角度进行描述，该流量监测装置可以集成在监控服务器中。
一种流量监测方法，包括：获取出入服务器的数据流，并对该数据流进行镜像映射，得到镜像数据流，对该镜像数据流区分，得到镜像出数据流和镜像入数据流，根据TCP协议对该镜像出数据流和镜像入数据流进行重组，得到重组后数据流，对该重组后数据流进行应用层流量监控。
如图1所示，该流量监测方法的具体流程可以如下：
101、获取出入服务器的数据流，并对该数据流进行镜像映射，得到镜像数据流。
其中，该数据流可以携带媒体接入层(MAC，Media Access Control)地址等信息。
102、对该镜像数据流区分，得到镜像出数据流和镜像入数据流。
例如，如果步骤101中获取到的数据流中携带有MAC地址，则此时可以根据该MAC地址对该镜像数据流进行出数据流和入数据流的区分，得到镜像出数据流和镜像入数据流。
103、根据TCP协议对该镜像出数据流和镜像入数据流进行重组，得到重组后数据流。
104、对该重组后数据流进行应用层流量监控，例如，具体可以如下：
从该重组后数据流中提取出网络访问请求的公共网关接口(CGI，CommonGateway Interface)，根据该CGI获取该网络访问请求的返回码，并对该网络访问请求的返回码的数量进行统计，在确定该网络访问请求的返回码的数量超过预置第一阈值时，输出告警消息，而如果该网络访问请求的返回码的数量超过预置第一阈值，则表明应用层的流量使用情况正常，可以不动作。
其中，网络访问请求具体可以是超文本传输协议(HTTP，Hypertext transferprotocol)请求或文件传输协议(FTP，File Transfer Protocol)请求等。
其中，第一阈值可以根据实际应用的需求进行设置，在此不再赘述。
此外，为了进一步提高监控效果，还可以对数据流的流量进行双向监控，即对出数据流的流量和入数据流的流量进行监控，即，在步骤102(即对该镜像数据流区分，得到镜像出数据流和镜像入数据流)之后，还可以执行步骤105和106，如下：
105、基于网际协议(IP，Internet Protocol)地址和端口分别对该镜像入数据流的流量和镜像出数据流的流量进行统计。
106、确定该镜像入数据流的流量超过预置第二阈值，且该镜像入数据流对应的镜像出数据流的流量超出预置第三阈值时，输出告警消息，例如，具体可以如下：
确定该镜像入数据流的流量超过预置第二阈值时，根据该镜像入数据流的目的IP地址确定对应的源IP地址，获取该源IP地址对应的镜像出数据流的流量，确定该源IP地址对应的镜像出数据流的流量超出预置第三阈值时，输出告警消息。
其中，第二阈值和第三阈值可以根据实际应用的需求进行设置，在此不再赘述。
需说明的是，步骤105和步骤103的执行可以不分先后。
由上可知，本实施例采用获取出入服务器的数据流，并对该数据流进行镜像映射，得到镜像数据流，然后，对该镜像数据流区分，得到镜像出数据流和镜像入数据流，再然后，根据TCP协议对该镜像出数据流和镜像入数据流进行重组，得到重组后数据流，对该重组后数据流进行应用层流量监控，从而实现对应用层流量进行监控的目的，大大提高了监控效果。
实施例二、
根据实施例一所描述的方法，以下将举例作进一步详细说明。
参见图2a和图2b，该图为流量监测的场景应用图，基于该场景可知，运营商网络可以通过核心交换机与服务器进行数据交换，其中，服务器和核心交换机之间还可以包括中间层，在此不作细述，而当数据流出入核心交换机之前，会通过分光交换机镜像复制一份传送给流量监测装置，以进行流量分析和监控。
如图2a所示，该流量监测装置可以包括接收模块、四层处理模块、七层处理模块、分析模块和告警输出模块，如下：
(1)接收模块；
接收模块，用于从分光交换机获取镜像数据流，根据该镜像数据流中数据包所携带的MAC地址区分为镜像出数据流和镜像入数据流，然后将镜像出数据流和镜像入数据流并行交给四层处理模块和七层处理模块处理，参见图2a。
需说明的是，为了提高处理效率，减低网络成本，也可以先将得到的镜像出数据流和镜像入数据流交由四层处理模块处理，然后，由四层处理模块对该镜像数据流进行过滤，以确定需要由七层处理模块处理的镜像数据流后，将需要由七层处理模块处理的镜像数据流传送给七层处理模块，参见图2b。
(2)四层处理模块；
四层处理模块，用于接收模块传送的镜像出数据流和镜像入数据流，然后分别对该镜像出数据流和镜像入数据流进行四元组维度汇聚，以分别统计该镜像出数据流的流量和镜像入数据流的流量，并将统计结果传送给分析模块。
需说明的是，四层处理模块还可以用于对该镜像数据流进行过滤，以确定需要由七层处理模块处理的镜像数据流后，将需要由七层处理模块处理的镜像数据流传送给七层处理模块，参见图2b。
(3)七层处理模块；
七层处理模块，用于从接收模块或四层处理模块传送的镜像出数据流和镜像入数据流，然后根据TCP协议对该镜像出数据流和镜像入数据流进行重组，得到重组后数据流，对重组后数据流的应用层数据进行汇聚，得到应用层的流量，比如可以从该重组后数据流中提取出网络访问请求的CGI，根据该CGI获取该网络访问请求的返回码，并对该网络访问请求的返回码的数量进行统计，将统计结果传送给分析模块。
(4)分析模块；
分析模块，用于对四层处理模块和七层处理模块所输出的统计结果进行分析，确定是否输出告警。
(5)告警输出模块；
告警输出模块，用于在分析模块确定需要输出告警时，输出告警。
需说明的是，分光交换机主要用于对数据流进行镜像映射，得到镜像数据流，该分光交换机既可以作为流量监测装置的一部分，也可以独立于流量监测装置，而为了描述方便，在本实施例中，均以该分光交换机独立于流量监测装置为例进行说明。
基于上述场景，以下将对该流量监测流程进行详细说明。
如图2c所示，一种流量监测方法，具体流程可以如下：
201、分光交换机获取出入服务器的数据流，并对该数据流进行镜像映射，得到镜像数据流，并将镜像数据流分别传送给接收模块。
其中，该数据流携带MAC地址等信息。
202、接收模块接收到该镜像数据流后，根据该镜像数据流中数据包所携带的MAC地址区分为镜像出数据流和镜像入数据流，然后将镜像出数据流和镜像入数据流并行发送给四层处理模块和七层处理模块，参见图2a。
或者，接收模块也可以只将镜像出数据流和镜像入数据流发送给四层处理模块，参见图2b。
203、四层处理模块接收接收模块传送的镜像出数据流和镜像入数据流，基于网际协议(IP，Internet Protocol)地址和端口分别对该镜像入数据流的流量和镜像出数据流的流量进行统计，其中，统计维度可以包括TCP、用户数据报协议(UDP，User Datagram Protocol)、英特网控制报文协议(ICMP，InternetControl Message Protocol)等协议信息，然后将统计结果发送给分析模块。
需说明的是，如果采用的是如图2b的结构，则四层处理模块还需要对该镜像数据流进行过滤，以确定需要由七层处理模块处理的镜像数据流后，将需要由七层处理模块处理的镜像数据流传送给七层处理模块。
204、七层处理模块接收接收模块传送的镜像出数据流和镜像入数据流后，根据TCP协议对该镜像出数据流和镜像入数据流进行重组，得到重组后数据流。
205、七层处理模块从该重组后数据流中提取出网络访问请求的CGI，根据该CGI获取该网络访问请求的返回码，并对该网络访问请求的返回码的数量进行统计，将统计结果传送给分析模块。
其中，网络访问请求具体可以是HTTP请求或FTP请求等。
206、分析模块接收到四层处理模块传送的统计结果和七层处理模块传送的统计结果后，根据这些统计结果确定是否需要发出告警，若需要，则执行步骤207，若不需要，则表明流量使用情况正常，可以不动作，返回执行根据新的统计结果确定是否需要发出告警的判断。
其中，根据这些统计结果确定是否需要发出告警的方法可以如下：
(1)对于四层输出模块输出的统计结果；
确定该镜像入数据流的流量超过预置第二阈值时，根据该镜像入数据流的目的IP地址确定对应的源IP地址，获取该源IP地址对应的镜像出数据流的流量，确定该源IP地址对应的镜像出数据流的流量是否超出预置第三阈值，若该对应的镜像出数据流的流量已超出预置第三阈值，则表明需要输出告警消息，于是执行步骤207，否则，可以不动作。
(2)对于七层输出模块输出的统计结果；
在确定该网络访问请求的返回码的数量超过预置第一阈值时，则表明需要输出告警消息，于是执行步骤207，而如果该网络访问请求的返回码的数量超过预置第一阈值，则表明应用层的流量使用情况正常，可以不动作。
207、告警输出模块被触发，输出告警消息。
由上可知，本实施例采用获取出入服务器的数据流，并对该数据流进行镜像映射，得到镜像数据流，然后，对该镜像数据流区分，得到镜像出数据流和镜像入数据流，再然后，根据TCP协议对该镜像出数据流和镜像入数据流进行重组，得到重组后数据流，对该重组后数据流进行应用层流量监控，从而实现对应用层流量进行监控的目的，大大提高了监控效果。
进一步的，由于本实施例不仅考虑入数据流的流量，还考虑也出数据流的流量，因此，相对于现有技术只进行单向流量(即入数据流的流量)进行分析的方案而言，可以提高了监控的精确度，并降低警告误报率。
实施例三、
为了更好地实施以上方法，本发明实施还提供一种流量监测装置，如图3a所示，该流量监测装置包括获取单元301、区分单元302、重组单元303和第一监控单元，如下：
获取单元301，用于获取出入服务器的数据流，并对所述数据流进行镜像映射，得到镜像数据流。
其中，该数据流可以携带MAC地址等信息。
区分单元302，用于对该镜像数据流区分，得到镜像出数据流和镜像入数据流；
例如，该区分单元302，具体可以用于根据该MAC地址对该镜像数据流进行区分，得到服务器的出数据流和入数据流。
重组单元303，用于根据TCP协议对该镜像出数据流和镜像入数据流进行重组，得到重组后数据流；
第一监控单元304，用于对该重组后数据流进行应用层流量监控，例如，具体可以如下：
第一监控单元304，具体可以用于从所述重组后数据流中提取出网络访问请求的公共网关接口；根据所述公共网关接口获取所述网络访问请求的返回码；对所述网络访问请求的返回码的数量进行统计；在确定所述网络访问请求的返回码的数量超过预置第一阈值时，输出告警消息。
而如果该网络访问请求的返回码的数量超过预置第一阈值，则表明应用层的流量使用情况正常，可以不动作。
其中，第一阈值可以根据实际应用的需求进行设置，在此不再赘述。
此外，为了进一步提高监控效果，还可以对数据流的流量进行双向监控，即对出数据流的流量和入数据流的流量进行监控，即如图3b所示，该流量监测装置还可以包括第二监控单元305；
第二监控单元305，可以用于基于IP地址和端口分别对该镜像入数据流的流量和镜像出数据流的流量进行统计，确定该镜像入数据流的流量超过预置第二阈值，且该镜像入数据流对应的镜像出数据流的流量超出预置第三阈值时，输出告警消息，例如，具体可以如下：
第二监控单元305，具体可以用于确定该镜像入数据流的流量超过预置第二阈值时，根据该镜像入数据流的目的IP地址确定对应的源IP地址，获取该源IP地址对应的镜像出数据流的流量，确定该源IP地址对应的镜像出数据流的流量超出预置第三阈值时，输出告警消息。
其中，第二阈值和第三阈值可以根据实际应用的需求进行设置，在此不再赘述。
该流量监测装置可以集成在监控服务器中。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，比如，参见实施例二中流量监测装置的结构，以上各个单元的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本实施例的获取单元301可以获取出入服务器的数据流，并对该数据流进行镜像映射，得到镜像数据流，然后，由区分单元302对该镜像数据流区分，得到镜像出数据流和镜像入数据流，再然后，由重组单元303根据TCP协议对该镜像出数据流和镜像入数据流进行重组，得到重组后数据流，最后，由第一监控单元304对该重组后数据流进行应用层流量监控，从而实现对应用层流量进行监控的目的，大大提高了监控效果。
进一步的，还可以由第二监控单元305对出数据流的流量和入数据流的流量进行监控，由于本实施例不仅考虑入数据流的流量，还考虑也出数据流的流量，因此，相对于现有技术只进行单向流量(即入数据流的流量)进行分析的方案而言，可以提高了监控的精确度，并降低警告误报率。
实施例四、
相应的，本发明实施例还提供一种通信系统，包括本发明实施例提供的任一种流量监测装置，例如，可以如下：
流量监测装置，用于获取出入服务器的数据流，并对该数据流进行镜像映射，得到镜像数据流，对该镜像数据流区分，得到镜像出数据流和镜像入数据流，根据TCP协议对该镜像出数据流和镜像入数据流进行重组，得到重组后数据流，对该重组后数据流进行应用层流量监控。
例如，其中，可以采用以下方式对该重组后数据流进行应用层流量监控，如下：
从该重组后数据流中提取出网络访问请求的CGI，根据该CGI获取该网络访问请求的返回码，并对该网络访问请求的返回码的数量进行统计，在确定该网络访问请求的返回码的数量超过预置第一阈值时，输出告警消息，而如果该网络访问请求的返回码的数量超过预置第一阈值，则表明应用层的流量使用情况正常，可以不动作。
其中，网络访问请求具体可以是HTTP请求或FTP请求等。
其中，第一阈值可以根据实际应用的需求进行设置，在此不再赘述。
此外，为了进一步提高监控效果，还可以对数据流的流量进行双向监控，即对出数据流的流量和入数据流的流量进行监控，即，在对该镜像数据流区分，得到镜像出数据流和镜像入数据流之后，该流量监测装置还可以执行如下操作：
该流量监测装置，还用于基于IP地址和端口分别对该镜像入数据流的流量和镜像出数据流的流量进行统计，确定该镜像入数据流的流量超过预置第二阈值，且该镜像入数据流对应的镜像出数据流的流量超出预置第三阈值时，输出告警消息，例如，具体可以如下：
确定该镜像入数据流的流量超过预置第二阈值时，根据该镜像入数据流的目的IP地址确定对应的源IP地址，获取该源IP地址对应的镜像出数据流的流量，确定该源IP地址对应的镜像出数据流的流量超出预置第三阈值时，输出告警消息。
其中，第二阈值和第三阈值可以根据实际应用的需求进行设置，在此不再赘述。
以上操作的具体实施可参见前面的实施例，在此不再赘述。
由于该通信系统包括本发明实施例提供的任一种流量监测装置，因此，可以实现本发明实施例提供的任一种流量监测装置同样的有益效果。
实施例五、
在一个实施例中，还提供了一种可运行前述流量监测方法的服务器，如图4所示，该服务器结构可应用于互联网应用的服务器上。该服务器可因配置或性能不同而产生比较大的差异，例如，可以包括一个或一个以上中央处理器(CPU，Central Processing Units)401(例如，一个或一个以上处理器)和存储器403，一个或一个以上存储操作系统4021、数据4022或应用程序4023的存储介质402(例如一个或一个以上海量存储设备)。其中，存储器403和存储介质402可以是短暂存储或持久存储。存储在存储介质402的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器401可以设置为与存储介质402通信，在服务器上执行存储介质402中的一系列指令操作。服务器还可以包括一个或一个以上电源406，一个或一个以上有线或无线网络接口404，一个或一个以上输入输出接口405，和/或，一个或一个以上操作系统4021，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中所述的由服务器所执行的步骤可以基于该图4所示的服务器结构。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM，Read-Only Memory)或随机存储记忆体(RAM，Random Access Memory)等。
尽管未示出，服务器还可以包括其他的模块，在此不再赘述。具体在本实施例中，可以由中央处理器401来运行存储在存储介质402中的应用程序，从而实现各种功能，如下：
获取出入服务器的数据流，并对该数据流进行镜像映射，得到镜像数据流，对该镜像数据流区分，得到镜像出数据流和镜像入数据流，根据TCP协议对该镜像出数据流和镜像入数据流进行重组，得到重组后数据流，对该重组后数据流进行应用层流量监控。
例如，其中，可以采用以下方式对该重组后数据流进行应用层流量监控，如下：
从该重组后数据流中提取出网络访问请求的CGI，根据该CGI获取该网络访问请求的返回码，并对该网络访问请求的返回码的数量进行统计，在确定该网络访问请求的返回码的数量超过预置第一阈值时，输出告警消息，而如果该网络访问请求的返回码的数量超过预置第一阈值，则表明应用层的流量使用情况正常，可以不动作。
其中，网络访问请求具体可以是HTTP请求或FTP请求等。
其中，第一阈值可以根据实际应用的需求进行设置，在此不再赘述。
此外，为了进一步提高监控效果，还可以对数据流的流量进行双向监控，即对出数据流的流量和入数据流的流量进行监控，即，在对该镜像数据流区分，得到镜像出数据流和镜像入数据流之后，该服务器还可以执行如下操作：
基于IP地址和端口分别对该镜像入数据流的流量和镜像出数据流的流量进行统计，确定该镜像入数据流的流量超过预置第二阈值，且该镜像入数据流对应的镜像出数据流的流量超出预置第三阈值时，输出告警消息，例如，具体可以如下：
确定该镜像入数据流的流量超过预置第二阈值时，根据该镜像入数据流的目的IP地址确定对应的源IP地址，获取该源IP地址对应的镜像出数据流的流量，确定该源IP地址对应的镜像出数据流的流量超出预置第三阈值时，输出告警消息。
其中，第二阈值和第三阈值可以根据实际应用的需求进行设置，在此不再赘述。
以上操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本实施例的服务器可以获取出入服务器的数据流，并对该数据流进行镜像映射，得到镜像数据流，然后，对该镜像数据流区分，得到镜像出数据流和镜像入数据流，再然后，根据TCP协议对该镜像出数据流和镜像入数据流进行重组，得到重组后数据流，对该重组后数据流进行应用层流量监控，从而实现对应用层流量进行监控的目的，大大提高了监控效果。
进一步的，还可以对出数据流的流量和入数据流的流量进行监控，由于本实施例不仅考虑入数据流的流量，还考虑也出数据流的流量，因此，相对于现有技术只进行单向流量(即入数据流的流量)进行分析的方案而言，可以提高了监控的精确度，并降低警告误报率。
实施例六、
此外，如图本发明实施例还提供一种流量监测系统，如图5所示，可以包括分光交换机、核心交换机、分析单元、汇总模块、告警模块和服务器，其中，分析可以包括多个四层处理模块(比如四个)和多个七层处理模块(比如四个)，如下：
1、分光交换机，将出入流量(即出数据流和入数据流，以下均称为出入流量)同时镜像到分析单元，通过源MAC地址区分出入流量，将流量按照五元组分发到分析单元。
2、分析单元，用于对应用层数据进行TCP流重组，对重组后的数据进行应用层流量分析；结合四层、七层出入流量，对出入流量异常行为进行有效判断，例如，可以如下：
(1)四层处理模块：从分光交换机收取出入流量数据包，对四层出入流量按源(出流量)、目的(入流量)进行四元组维度汇聚，定时将汇聚数据发送到汇总模块，同时将处理后的流量转发给七层处理模块。
(2)七层处理模块：对收到的数据包进行TCP流重组，对出入流量重组后的应用层数据进行汇聚，定时将汇聚数据发送到汇总模块。
3、汇总模块：对四层处理模块输出的数据、七层处理模块输出的数据进行4、汇总分析，结合出入流量，确定是否输出告警。
5、告警模块：对触发阈值的异常流量输出告警。
基于上面的流量监测系统的结构，如图6和图7所示，其流量监测流程具体可以如下：
S1、分光交换机模块根据源MAC地址，区分出流量和入流量，并在每个包做上标记，之后将其转发给四层处理模块；
S2、四层处理模块对收到的出流量和入流量分别按照IP、PORT进行聚集统计，统计维度包括TCP、UDP、ICMP等四层协议信息，该四层处理模块会定期将统计数据发送到汇总模块进行统一分析，该模块还会将处理后的出、入流量数据包转发给七层处理模块；
S3、七层处理模块对收到的出流量和入流量数据包进行TCP流重组，从重组后的数据中提取出HTTP请求CGI，随后在其对应的出(入)流量重组缓存中找到相应HTTP返回码，将两数据关联后的统计数据定期发送到汇总模块进行统一分析；
S4、汇总模块对收到的出流量和入流量统计数据进行汇总，同时进行出入流量关联分析，例如，可参见图7，如下：
以四层入流量为例，当发现目的IP的TCP SYN包流量异常时，会在出流量统计信息中反查对应源IP的TCP RST包流量是否有徒增，将上述包量、流量信息进行关联分析后，就可确定入流量存在异常，有效消除了误报。采用类似方法，也可对四层出流量的异常行为进行准确判断。针对七层异常流量行为，也可采用类似方法提升异常流量识别的准确性。以七层入流量GETFLOOD攻击为例，当发现某个通用网关界面(CGI，Common Gateway Interface)的访问量出现异常后，会关联其相应HTTP返回码的统计信息进行分析，若发现HTTP返回码数据也出现异常增长，则可以判定此CGI存在异常访问行为。
S5、在收到汇总模块的异常统计后，告警模块对超过阈值的服务器IP及CGI请求输出告警。
本实施例同样可以实现如前面实施例同样的有益效果，详见前面实施例，在此不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种流量监测方法、装置和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (11)
1.一种流量监测方法，其特征在于，包括：
获取数据流，并对所述数据流进行镜像映射，得到镜像数据流；
对所述镜像数据流区分，得到镜像出数据流和镜像入数据流；
根据传输控制协议对所述镜像出数据流和镜像入数据流进行重组，得到重组后数据流；
对所述重组后数据流的进行应用层流量监控。
2.根据权利要求1所述的方法，其特征在于，所述对所述重组后数据流进行应用层流量监控，包括：
从所述重组后数据流中提取出网络访问请求的公共网关接口；
根据所述公共网关接口获取所述网络访问请求的返回码；
对所述网络访问请求的返回码的数量进行统计；
在确定所述网络访问请求的返回码的数量超过预置第一阈值时，输出告警消息。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述镜像数据流进行区分，得到镜像出数据流和镜像入数据流之后，还包括：
基于网际协议IP地址和端口分别对所述镜像入数据流的流量和所述镜像出数据流的流量进行统计；
确定所述镜像入数据流的流量超过预置第二阈值，且所述镜像入数据流对应的镜像出数据流的流量超出预置第三阈值时，输出告警消息。
4.根据权利要求3所述的方法，其特征在于，所述确定所述镜像入数据流的流量超过预置第二阈值，且所述镜像出数据流的流量超出预置第三阈值时，输出告警消息，包括：
确定所述镜像入数据流的流量超过预置第二阈值时，根据所述镜像入数据流的目的IP地址确定对应的源IP地址；
获取所述源IP地址对应的镜像出数据流的流量；
确定所述源IP地址对应的镜像出数据流的流量超出预置第三阈值时，输出告警消息。
5.根据权利要求1或2所述的方法，其特征在于，所述数据流携带媒体接入层MAC地址，则所述对所述镜像数据流进行区分，得到镜像出数据流和镜像入数据流，包括：
根据所述MAC地址对所述镜像数据流进行区分，得到服务器的出数据流和入数据流。
6.一种流量监测装置，其特征在于，包括：
获取单元，用于获取出入服务器的数据流，并对所述数据流进行镜像映射，得到镜像数据流；
区分单元，用于对所述镜像数据流区分，得到镜像出数据流和镜像入数据流；
重组单元，用于根据传输控制协议对所述镜像出数据流和镜像入数据流进行重组，得到重组后数据流；
第一监控单元，用于对所述重组后数据流进行应用层流量监控。
7.根据权利要求6所述的流量监测装置，其特征在于，
所述第一监控单元，具体用于从所述重组后数据流中提取出网络访问请求的公共网关接口；根据所述公共网关接口获取所述网络访问请求的返回码；对所述网络访问请求的返回码的数量进行统计；在确定所述网络访问请求的返回码的数量超过预置第一阈值时，输出告警消息。
8.根据权利要求6或7所述的流量监测装置，其特征在于，还包括第二监控单元；
所述第二监控单元，用于基于网际协议IP地址和端口分别对所述镜像入数据流的流量和所述镜像出数据流的流量进行统计，确定所述镜像入数据流的流量超过预置第二阈值，且所述镜像入数据流对应的镜像出数据流的流量超出预置第三阈值时，输出告警消息。
9.根据权利要求8所述的流量监测装置，其特征在于，
所述第二监控单元，具体用于基于IP地址和端口分别对所述镜像入数据流的流量和所述镜像出数据流的流量进行统计，确定所述镜像入数据流的流量超过预置第二阈值时，根据所述镜像入数据流的目的IP地址确定对应的源IP地址，获取所述源IP地址对应的镜像出数据流的流量，确定所述源IP地址对应的镜像出数据流的流量超出预置第三阈值时，输出告警消息。
10.根据权利要求6或7所述的流量监测装置，其特征在于，所述数据流携带媒体接入层MAC地址，则：
所述区分单元，具体用于根据所述MAC地址对所述镜像数据流进行区分，得到服务器的出数据流和入数据流。
11.一种通信系统，其特征在于，包括权利要求6至10任一项所述的流量监测装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410244278.3A CN103997439B (zh) | 2014-06-04 | 2014-06-04 | 一种流量监测方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410244278.3A CN103997439B (zh) | 2014-06-04 | 2014-06-04 | 一种流量监测方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103997439A true CN103997439A (zh) | 2014-08-20 |
| CN103997439B CN103997439B (zh) | 2016-02-17 |
Family
ID=51311448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410244278.3A Active CN103997439B (zh) | 2014-06-04 | 2014-06-04 | 一种流量监测方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103997439B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104333485A (zh) * | 2014-10-31 | 2015-02-04 | 北京思特奇信息技术股份有限公司 | 一种基于交换机全量的业务数据采集分析方法及系统 |
| CN106027559A (zh) * | 2016-07-05 | 2016-10-12 | 国家计算机网络与信息安全管理中心 | 基于网络会话统计特征的大规模网络扫描检测方法 |
| CN106789443A (zh) * | 2017-01-13 | 2017-05-31 | 百度在线网络技术（北京）有限公司 | 呈现网络访问请求分析结果的方法与装置 |
| CN110505115A (zh) * | 2019-07-30 | 2019-11-26 | 网宿科技股份有限公司 | 一种监控交换机跑高风险的方法和装置 |
| CN111917835A (zh) * | 2020-07-13 | 2020-11-10 | 北京天空卫士网络安全技术有限公司 | 一种监控网络数据的系统、方法和装置 |
| CN113784236A (zh) * | 2021-11-11 | 2021-12-10 | 深圳华锐金融技术股份有限公司 | 分布式数据采集监控方法、装置、设备及介质 |
| CN113794774A (zh) * | 2021-09-15 | 2021-12-14 | 厦门畅合赢文化传媒有限公司 | 一种基于网络视听新媒体的流量监测系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102104611A (zh) * | 2011-03-31 | 2011-06-22 | 中国人民解放军信息工程大学 | 一种基于混杂模式的DDoS攻击检测方法及装置 |
| CN102223261A (zh) * | 2011-05-17 | 2011-10-19 | 中兴通讯股份有限公司 | 一种针对报文进行采样的方法及装置 |
| US8102783B1 (en) * | 2009-02-04 | 2012-01-24 | Juniper Networks, Inc. | Dynamic monitoring of network traffic |
| CN103067192A (zh) * | 2011-10-20 | 2013-04-24 | 北京天行网安信息技术有限责任公司 | 一种网络流量的分析系统及方法 |
| CN103595577A (zh) * | 2013-10-31 | 2014-02-19 | 赛尔网络有限公司 | Isp间互联口超过阈值流量监控系统及方法 |
-
2014
- 2014-06-04 CN CN201410244278.3A patent/CN103997439B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8102783B1 (en) * | 2009-02-04 | 2012-01-24 | Juniper Networks, Inc. | Dynamic monitoring of network traffic |
| CN102104611A (zh) * | 2011-03-31 | 2011-06-22 | 中国人民解放军信息工程大学 | 一种基于混杂模式的DDoS攻击检测方法及装置 |
| CN102223261A (zh) * | 2011-05-17 | 2011-10-19 | 中兴通讯股份有限公司 | 一种针对报文进行采样的方法及装置 |
| CN103067192A (zh) * | 2011-10-20 | 2013-04-24 | 北京天行网安信息技术有限责任公司 | 一种网络流量的分析系统及方法 |
| CN103595577A (zh) * | 2013-10-31 | 2014-02-19 | 赛尔网络有限公司 | Isp间互联口超过阈值流量监控系统及方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104333485A (zh) * | 2014-10-31 | 2015-02-04 | 北京思特奇信息技术股份有限公司 | 一种基于交换机全量的业务数据采集分析方法及系统 |
| CN106027559A (zh) * | 2016-07-05 | 2016-10-12 | 国家计算机网络与信息安全管理中心 | 基于网络会话统计特征的大规模网络扫描检测方法 |
| CN106027559B (zh) * | 2016-07-05 | 2019-07-05 | 国家计算机网络与信息安全管理中心 | 基于网络会话统计特征的大规模网络扫描检测方法 |
| CN106789443A (zh) * | 2017-01-13 | 2017-05-31 | 百度在线网络技术（北京）有限公司 | 呈现网络访问请求分析结果的方法与装置 |
| CN110505115A (zh) * | 2019-07-30 | 2019-11-26 | 网宿科技股份有限公司 | 一种监控交换机跑高风险的方法和装置 |
| CN110505115B (zh) * | 2019-07-30 | 2021-07-13 | 网宿科技股份有限公司 | 一种监控交换机跑高风险的方法和装置 |
| CN111917835A (zh) * | 2020-07-13 | 2020-11-10 | 北京天空卫士网络安全技术有限公司 | 一种监控网络数据的系统、方法和装置 |
| CN113794774A (zh) * | 2021-09-15 | 2021-12-14 | 厦门畅合赢文化传媒有限公司 | 一种基于网络视听新媒体的流量监测系统 |
| CN113784236A (zh) * | 2021-11-11 | 2021-12-10 | 深圳华锐金融技术股份有限公司 | 分布式数据采集监控方法、装置、设备及介质 |
| CN113784236B (zh) * | 2021-11-11 | 2022-02-18 | 深圳华锐金融技术股份有限公司 | 分布式数据采集监控方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103997439B (zh) | 2016-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103997439B (zh) | 一种流量监测方法、装置和系统 | |
| Yan et al. | A multi-level DDoS mitigation framework for the industrial Internet of Things | |
| CN106464577B (zh) | 网络系统、控制装置、通信装置以及通信控制方法 | |
| US9130983B2 (en) | Apparatus and method for detecting abnormality sign in control system | |
| EP3243299B1 (en) | Distributed and adaptive computer network analytics | |
| Cui et al. | SD-Anti-DDoS: Fast and efficient DDoS defense in software-defined networks | |
| CN109309605B (zh) | 带内网络遥测系统及方法 | |
| CN104506507B (zh) | 一种sdn网络的蜜网安全防护系统及方法 | |
| Graveto et al. | Security of Building Automation and Control Systems: Survey and future research directions | |
| KR100424724B1 (ko) | 네트워크 흐름 분석에 의한 침입 탐지 장치 | |
| EP3378208B1 (en) | Handling network threats | |
| KR20150105436A (ko) | 향상된 스트리밍 방법과 네트워크 메타데이터를 처리하기 위한 시스템 | |
| JP2017152852A (ja) | 通信システム、通信装置、および通信システムの通信制御方法 | |
| CN111683020A (zh) | 多种链路层协议混合流量的控制方法及装置 | |
| CN109743314A (zh) | 网络异常的监控方法、装置、计算机设备及其存储介质 | |
| CN110719286A (zh) | 一种基于大数据的网络优化方案共享系统及其方法 | |
| CN113364624A (zh) | 基于边缘计算的混合云流量采集方法和系统 | |
| KR20160093791A (ko) | 내부망에서 효율적인 침입탐지 방법 및 장치 | |
| KR20220029142A (ko) | Sdn 컨트롤러 서버 및 이의 sdn 기반 네트워크 트래픽 사용량 분석 방법 | |
| US9225650B2 (en) | Network system, gateway, and packet delivery method | |
| CN107147585B (zh) | 一种流量控制方法及装置 | |
| KR102706304B1 (ko) | 융합 특징 벡터 기반 네트워크 공격 탐지 방법 및 장치 | |
| Niedermaier et al. | Efficient intrusion detection on low-performance industrial iot edge node devices | |
| CN113660281B (zh) | 一种基于历史场景自适应配置防火墙规则的方法和装置 | |
| KR102295348B1 (ko) | 운영 기술 데이터의 보안 위협 분석 및 탐지 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190731 Address after: Shenzhen Futian District City, Guangdong province 518044 Zhenxing Road, SEG Science Park 2 East Room 403 Co-patentee after: Tencent cloud computing (Beijing) limited liability company Patentee after: Tencent Technology (Shenzhen) Co., Ltd. Address before: Shenzhen Futian District City, Guangdong province 518000 Zhenxing Road, SEG Science Park 2 East Room 403 Patentee before: Tencent Technology (Shenzhen) Co., Ltd. |