CN110162969B - 一种流量的分析方法和装置 - Google Patents

Abstract

本发明实施例公开了一种流量的分析方法和装置以及存储介质，用于实现对恶意的流量数据的有效打击。本发明实施例提供一种流量的分析方法，包括：获取客户端发送的流量数据；按照预设的统计维度对所述流量数据进行实时的流量统计分析，得到所述流量数据在所述统计维度下的实时流量聚集特征；根据预设的流量突增条件对处于同一个所述统计维度下的历史流量聚集特征和所述实时流量聚集特征进行对比分析，以识别所述流量数据在所述统计维度下的突增流量；对识别出的所述突增流量进行打击处理。

Description

一种流量的分析方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种流量的分析方法和装置以及存储介质。

背景技术

在分布式拒绝服务(Distributed Denial of Service，DDoS)攻击发展前期，绝大部分都能被业界知名的“黑洞”(Collapsar)抗拒绝服务攻击系统所防护，于是黑客们研究出一种新型的针对超文本传输协议(HyperText Transfer Protocol，HTTP)的DDOS攻击后，即命名为Challenge Collapsar，声称黑洞设备无法防御，后来CC这个名称延用至今。CC攻击是DDOS攻击的一种，发生在第七层应用层，不同于网络层DDOS的是传输控制协议(Transmission Control Protocol，TCP)连接已经建立，攻击互联网协议(InternetProtocol，IP)是真实IP地址，主要对一些消耗资源的页面进行不断请求，导致消耗源站资源，和正常业务请求界定模糊，目前已有的业界防护产品中一直达不到很好的效果。

现有技术提供一种基于历史IP地址过滤的DDOS防御方法，该方法主要是通过收集历史正常访问的正常IP地址，形成一个IP白名单。在受到DDOS攻击时，将不在白名单的IP地址发送的流量数据全部过滤掉。

但是上述现有技术存在过滤流量数据不准确的问题，并且攻击流量过滤不完整。因为现有的DDOS攻击会发布蠕虫到白名单机器中，攻击仍然可以渗透到业务机器上。另外，黑客可以修改数据包的源IP地址，所以仅仅简单根据源IP地址进行过滤数据，现有技术基于IP地址的打击方式就会失效。

发明内容

本发明实施例提供了一种流量的分析方法和装置以及存储介质，用于实现对恶意的流量数据的有效打击。

本发明实施例提供以下技术方案：

一方面，本发明实施例提供一种流量的分析方法，包括：

获取客户端发送的流量数据；

按照预设的统计维度对所述流量数据进行实时的流量统计分析，得到所述流量数据在所述统计维度下的实时流量聚集特征；

根据预设的流量突增条件对处于同一个所述统计维度下的历史流量聚集特征和所述实时流量聚集特征进行对比分析，以识别所述流量数据在所述统计维度下的突增流量；

对识别出的所述突增流量进行打击处理。

另一方面，本发明实施例还提供一种流量的分析装置，包括：

流量获取模块，用于获取客户端发送的流量数据；

流量统计模块，用于按照预设的统计维度对所述流量数据进行实时的流量统计分析，得到所述流量数据在所述统计维度下的实时流量聚集特征；

对比分析模块，用于根据预设的流量突增条件对处于同一个所述统计维度下的历史流量聚集特征和所述实时流量聚集特征进行对比分析，以识别所述流量数据在所述统计维度下的突增流量；

打击处理模块，用于对识别出的所述突增流量进行打击处理。

在前述方面中，流量的分析装置的组成模块还可以执行前述一方面以及各种可能的实现方式中所描述的步骤，详见前述对前述一方面以及各种可能的实现方式中的说明。

另一方面，本发明实施例提供一种流量的分析装置，该流量的分析装置包括：处理器、存储器；存储器用于存储指令；处理器用于执行存储器中的指令，使得流量的分析装置执行如前述一方面中任一项的方法。

另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

在本发明实施例中，首先获取客户端发送的流量数据，然后按照预设的统计维度对流量数据进行实时的流量统计分析，得到流量数据在统计维度下的实时流量聚集特征，接下来根据预设的流量突增条件对处于同一个统计维度下的历史流量聚集特征和实时流量聚集特征进行对比分析，以识别流量数据在统计维度下的突增流量，最后对识别出的突增流量进行打击处理。由于本发明实施例需要按照预设的统计维度对流量数据进行实时的统计分析，从而生成实时流量聚集特征，使用流量突增条件可以对实时流量聚集特征和历史流量聚集特征进行对比分析，因此可以识别出流量数据在统计维度下的突增流量，该突增流量可以作为非正常访问的流量数据进行后续的打击处理。本发明实施例中通过流量统计分析以及附带流量突增条件的对比分析，就可以对恶意的流量数据的有效打击，对于攻击者修改IP地址的攻击方式能够实现有效防御。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的流量的分析方法所应用的系统架构示意图；

图2为本发明实施例提供的流量的分析方法的流程方框示意图；

图3为本发明实施例提供的流量的分析方法在DDOS应用场景下的示意图；

图4为本发明实施例提供的流量统计分析图；

图5-a为本发明实施例提供的一种流量的分析装置的组成结构示意图；

图5-b为本发明实施例提供的一种流量统计模块的组成结构示意图；

图5-c为本发明实施例提供的一种对比分析模块的组成结构示意图；

图5-d为本发明实施例提供的一种流量突增确定单元的组成结构示意图；

图5-e为本发明实施例提供的一种特征生成单元的组成结构示意图；

图6为本发明实施例提供的流量的分析方法应用于服务器的组成结构示意图。

具体实施方式

本发明实施例提供了一种流量的分析方法和装置以及存储介质，用于实现对恶意的流量数据的有效打击。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

请参考图1，其示出了本发明实施例提供的流量的分析方法所应用的系统的结构示意图。该处理请求的方法所应用的系统包括服务器110和终端120。

服务器110是一台服务器，或者由若干台服务器，或者是一个虚拟化平台，或者是一个云计算服务中心，该服务器110可以用于对终端发送的访问请求进行识别，从而确定受到了CC攻击。

可选的，服务器110包括提供网络(web)应用防火墙的后台服务器；可选的，服务器110包括提供流量突增识别的后台服务器。

服务器110，用于接收终端120发送的访问请求，通过该访问请求获取到流量数据，然后按照预设的统计维度对流量数据进行实时的统计分析，从而生成实时流量聚集特征，使用流量突增条件可以对实时流量聚集特征和历史流量聚集特征进行对比分析，因此可以识别出流量数据在统计维度下的突增流量，该突增流量可以作为非正常访问的流量数据进行后续的打击处理。

服务器110与终端120之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。

终端120可以是手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

可选的，终端120中也运行有浏览器客户端，该浏览器客户端用于通过服务器110向网络发起访问，以及从网络下载到网络资源。

以下分别进行详细说明。

本发明流量的分析方法的一个实施例，具体可以应用于服务器一侧对客户端发送的访问请求的识别场景中，请参阅图2所示，本发明一个实施例提供的流量的分析方法，可以包括如下步骤：

201、获取客户端发送的流量数据。

在本发明实施例中，流量的分析装置可以和客户端进行通信，例如该流量的分析装置具体可以是网络服务器，客户端可以发送访问请求，以请求网络服务器返回网络资源。但是客户端有可能发送的访问请求是恶意的，比如客户端向网络服务器发起DDOS攻击，因此网络服务器需要能够识别客户端产生的流量数据是正常访问流量，还是恶意攻击流量，并在确认出是恶意攻击流量的情况下进行打击。

在本发明实施例中，客户端发送的流量数据是一段连续的数据流，因此流量的分析装置从该客户端接收到的流量数据是实时流量数据，针对该实时流量数据可以按照本发明实施例后续内容描述的流量分析方法来识别出恶意流量。

在本发明的一些实施例中，步骤201获取客户端发送的流量数据之前，本发明实施例提供的流量的清洗方法还包括：

获取客户端在历史时间段产生的历史流量数据；

按照统计维度对历史流量数据进行流量统计分析，得到历史流量数据在统计维度下的历史流量聚集特征。

其中，历史时间段的时间长度可以设置为一周的时间，或者更长的时间。客户端在历史时间段产生有历史流量数据，首先获取到该历史流量数据，流量的分析装置可以采用至少一种统计维度对该历史流量数据进行流量统计分析，其中流量统计分析指的是按照预设的时间统计周期进行流量统计分析，流量统计分析的方式可以根据该流量的分析装置中预设的统计维度来确定，例如预设的时间统计周期可以是1秒，则流量的分析装置可以获取在历史时间段内的每个1秒时间内产生的流量数据，然后进行流量统计分析。其中，本发明实施例中可以采用多种统计维度对历史时间段内的每个单位时间产生的历史流量数据进行流量统计分析，以得到多个统计维度下的历史流量聚集特征。其中，历史流量聚集特征是指通过在历史时间段内的流量统计分析所得到的流量统计分析结果，根据预设的统计维度的不同，所能够统计得到的历史流量聚集特征也是不相同的。通过该历史流量聚集特征可以真实反映出客户端的访问行为。

举例说明如下，流量的分析装置可以获取到在过去的1周时间内产生的历史流量数据，分析每个业务机器的不同统计纬度下的流量数据，例如可以按照包长聚集维度，TTL聚集维度，目的端口聚集维度，源端口聚集维度分别统计出相应维度下的历史流量聚集特征。

202、按照预设的统计维度对流量数据进行实时的流量统计分析，得到流量数据在统计维度下的实时流量聚集特征。

在本发明实施例中，流量的分析装置从客户端获取到流量数据之后，流量的分析装置可以采用至少一种统计维度对该流量数据进行实时的流量统计分析，其中实时的流量统计分析指的是按照预设的时间统计周期进行流量统计分析，流量统计分析的方式可以根据该流量的分析装置中预设的统计维度来确定，例如预设的时间统计周期可以是1秒，则流量的分析装置可以获取1秒时间内产生的流量数据，然后进行实时的流量统计分析。

流量的分析装置可以设置有统计策略，该统计策略中设置有多种不同的统计维度和每种统计维度对应的打击规则，其中，统计维度用于指示需要统计的业务类型，根据访问请求的请求类型可以设置多种统计维度，例如客户端的端口号可以作为一种统计维度，或者访问请求中携带的用户的设备标识可以作为一种统计维度。通过不同的统计维度可以指示需要统计的不同业务类型，只要这些业务类型能够反映出客户端的访问行为，都可以设置为统计维度。

在本发明实施例中，通过实时的流量统计分析，可以得到流量数据在统计维度下的实时流量聚集特征。其中，实时流量聚集特征是指通过当前的流量统计分析所得到的流量统计分析结果，根据预设的统计维度的不同，所能够统计得到的实时流量聚集特征也是不相同的。通过该实时流量聚集特征可以反映出客户端的访问行为。

在本发明的一些实施例中，预设的统计维度至少包括如下至少一种维度：包长聚集维度、生存时间(Time To Live，TTL)聚集维度、目的端口聚集维度、源端口聚集维度。其中，包长聚集维度是指将数据包的长度作为流量聚集特征的统计维度，数据包的长度具体可以通过数据包数量和数据包字节总数来描述。TTL聚集维度是指客户端为数据包设置的TTL取值作为流量聚集特征的统计维度，其中，TTL的取值大小可以由客户端根据所传输的数据类型来确定。源端口聚集维度是指客户端发送数据包采用的源端口号作为流量聚集特征的统计维度，目的端口聚集维度是指客户端发送的数据包的接收端采用的端口号(即目的端口号)作为流量聚集特征的统计维度。本发明实施例中可以从上述四种统计维度中选择至少一种统计维度进行实时的流量统计分析，具体所选择的统计维度可以根据实时应用场景来灵活选择。

203、根据预设的流量突增条件对处于同一个统计维度下的历史流量聚集特征和实时流量聚集特征进行对比分析，以识别流量数据在统计维度下的突增流量。

在本发明实施例中，在统计出实时流量聚集特征之后，按照与实时流量聚集特征具有相同的统计维度来获取相应的历史流量聚集特征，历史流量聚集特征是指通过历史流量统计分析所得到的流量统计分析结果，根据预设的统计维度的不同，所能够统计得到的历史流量聚集特征也是不相同的。通过该历史流量聚集特征可以真实反映出客户端的历史访问行为。接下来根据预设的流量突增条件对处于同一个统计维度下的历史流量聚集特征和实时流量聚集特征进行对比分析，该流量突增条件可以有流量过滤策略来决定，根据预设的流量过滤策略可以设置相应的流量突增条件，并使用流量突增条件对历史流量聚集特征和实时流量聚集特征进行对比分析，从而可以确定出该实时流量聚集特征是否符合流量突增条件，在该实时流量聚集特征符合流量突增条件的情况下，进一步的从流量数据中识别出在统计维度下的突增流量。其中突增流量指的是从客户端发送的流量数据中识别出的属于突增部分的流量。

举例说明如下，如果是正常的用户访问，那么流量数据在各个统计纬度下的实时流量聚集特征相比于历史流量聚集特征不符合预设的流量突增条件，因此该流量数据可以作为正常流量数据进行后续的业务处理。但是，如果客户端发送的流量数据是DDOS攻击，那么攻击者往往针对提供网络服务的服务器不断的发送请求，造成服务器在某些统计维度上的流量暴增，流量的增长量符合流量突增条件，因此可以确认此时的流量数据中携带有恶意流量。不限定的是，本发明实施例中除了可以抵御DDOS攻击，还可以针对攻击者采用的其它流量攻击方式进行突增流量的识别，无论攻击者修改数据包的哪些信息，但是攻击者所发送的流量总是突增的，因此本发明实施例中可以解决各种流量的攻击手段，保护正常业务流量的访问。

204、对识别出的突增流量进行打击处理。

在本发明的一些实施例中，从客户端发送的流量数据中识别出在统计维度下的突增流量之后，可以确认这些突增流量属于恶意流量，此时可以采用预设的打击规则对突增流量进行打击处理，其中，打击规则可以有多种，例如禁止发送恶意流量的客户端访问网络资源，或者对突增流量进行清洗等。

在本发明的一些实施例中，步骤203按照预设的统计维度对流量数据进行实时的流量统计分析，得到流量数据在统计维度下的实时流量聚集特征，包括：

获取统计维度对应的最大流量值；

根据最大流量值确定出N个流量分布区间，N为正整数；

按照统计维度统计流量数据在当前单位时间内对应的实时数据量；

从N个流量分布区间中确定出实时数据量在当前单位时间落入的第一流量分布区间，并生成实时数据量的实时流量聚集特征，实时流量聚集特征包括：实时数据量在当前单位时间落入第一流量分布区间，第一流量分布区间属于N个流量分布区间中的一个流量分布区间。

其中，每种统计维度都设置有最大的流量值。举例说明，统计维度为目的端口聚集维度，端口号为从0到65535，65535即为目的端口聚集维度对应的最大流量值。又如，统计维度为TTL聚集维度，TTL值为从0到255，255即为TTL聚集维度对应的最大流量值。若直接以单个的统计维度进行实时数据量的统计，那么可能存在体量太大的问题，对于统计流量在每个端口的聚集分布情况，性能消耗大，因此本发明实施例中可以根据最大流量值确定出N个流量分布区间，N表示的是流量分布区间的个数。以目的端口聚集维度或者源端口聚集维度为例，可以将端口号从0到65535，平均分成256个区间，其中，0到255为区间1，256到511为区间2，……,65280到65535为区间256。

在将整个流量分布按照最大流量值分割出N个流量分布区间之后，从客户端发送的流量数据中统计出在当前单位时间内对应的实时数据量，例如该实时数据量是指在1秒内产生的数据量，然后从N个流量分布区间中确定出实时数据量在当前单位时间落入的第一流量分布区间，并生成实时数据量的实时流量聚集特征，即可以通过实时数据量在当前单位时间落入第一流量分布区间来表征实时流量聚集特征。举例说明如下，统计实时数据量在这些流量分布区间的聚集分布，得到256维的分布向量，举例说明如下，统计得到的256维的分布向量为[12,32,……778]。

在本发明的一些实施例中，实时流量聚集特征包括：实时数据量在当前单位时间落入第一流量分布区间。在这种实现场景下，根据预设的流量突增条件对处于同一个统计维度下的历史流量聚集特征和实时流量聚集特征进行对比分析，以识别流量数据在统计维度下的突增流量，包括：

根据当前单位时间获取历史数据量的历史流量聚集特征，历史流量聚集特征包括：历史数据量在历史单位时间落入的流量分布区间；

确定处于第一流量分布区间内的实时数据量和历史数据量是否符合流量突增条件；

当处于第一流量分布区间内的实时数据量和历史数据量符合流量突增条件时，确定落入第一流量分布区间的实时数据量为突增流量。

其中，以当前单位时间为基准时间获取历史数据量，例如当前单位时间为7月15日15:00:00,以该时间作为基准时间，则可以获取在7月15日之前的7月8日、7月9日、7月10日、7月11日、7月12日、7月13日、7月14日在15:00:00产生的历史数据量，通过前述的流量统计分析可以得到历史流量聚集特征，该历史流量聚集特征可以通过历史数据量在历史单位时间落入的流量分布区间来表征。以实时数据量落入第一流量分布区间为例，从该历史流量聚集特征中提取出落入第一流量分布区间的历史数据量，接下来判断处于第一流量分布区间内的实时数据量和历史数据量是否符合流量突增条件，当处于第一流量分布区间内的实时数据量和历史数据量符合流量突增条件时，说明该实时数据量属于恶意流量，此时可以采用预设的打击规则对突增流量进行打击处理。基于预先划分的流量分布区间来选择实时数据量和历史数据量，从而可以识别出实时数据量和历史数据量符合流量突增条件。

以目的端口聚集维度或者源端口聚集维度为例，可以将端口号从0到65535，平均分成256个区间，其中，0到255为区间1，256到511为区间2，……,65280到65535为区间256。然后统计流量在这些区间的聚集分布，得到256维的分布向量，举例：[12,32,……778]。如果发现实时数据量在端口号0到255的区间上，发现DDOS流量主要聚集在这个区间，那么防御的时候，就把端口号为0到255的流量分布区间上的突增流量清除。

在本发明的一些实施例中，确定处于第一流量分布区间内的实时数据量和历史数据量是否符合流量突增条件，包括：

根据在历史单位时间内产生的历史数据量预测在当前单位时间内产生的数据量，得到预测数据量；

根据处于相同的流量分布区间内的实时数据量和预测数据量获取流量增幅比例；

根据流量增幅比例确定处于第一流量分布区间内的实时数据量和预测数据量是否符合流量突增条件。

其中，首先基于历史单位时间内产生的历史数据量预测在当前单位时间内产生的数据量，得到预测数据量。例如可以采用均值预测方式。举例如下，预测某台业务机器今天22:00:00这一秒的数据量，预测数据量记为v，根据历史单位时间提取出前7天的历史数据量，这台机器在22:00:00这一时刻的历史数据量为v1，v2……v7,那么v＝avg(v1，v2……v7)，即预测数据量等于多个历史单位时间内产生的历史数据量的平均值。

针对处于相同的流量分布区间内的实时数据量和预测数据量进行相除计算，可以得到流量增幅比例。例如，以包长聚集特征的流量速度聚集纬度异常检测为例，预测数据量B＝[b1,b2,……bn],实时数据量A＝[a1,a2,……an],其中，n＝256，流量增幅比例c＝avg(a1/b1,a2/b2,a3/b3,……an/bn)。接下来根据该流量增幅比例确定处于第一流量分布区间内的实时数据量和预测数据量是否符合流量突增条件，流量增幅比例可以表示实时数据量相对于预测数据量的增幅比例，通过判断处于第一流量分布区间内的实时数据量和预测数据量是否符合流量突增条件，可以确定实时数据量在第一流量分布区间内是否出现突增，当处于第一流量分布区间内的实时数据量和历史数据量符合流量突增条件时，说明该实时数据量属于恶意流量，此时可以采用预设的打击规则对突增流量进行打击处理。例如，针对所有的流量分布区间i，找出所有i中，符合如下的流量突增条件：ai>2*bi,且ai/bi>5*c。则可以说明，流量在数据包长度第i个流量突增区间内的实时数据量突增比较厉害，成为流量突增聚集区间，属于恶意攻击的情况，需要进行实时打击。

在本发明的一些实施例中，从N个流量分布区间中确定出实时数据量在当前单位时间落入的第一流量分布区间，并生成实时数据量的实时流量聚集特征，包括：

根据流量数据在当前单位时间内对应的实时数据量统计出在当前单位时间内的数据包数量和数据包字节总数；

从N个流量分布区间中确定出数据包数量在当前单位时间落入的第一流量分布区间，并生成数据包数量的流量速度聚集分布特征；

从N个流量分布区间中确定出数据包字节总数在当前单位时间落入的第一流量分布区间，并生成数据包字节总数的包量速度聚集分布特征；

确定实时流量聚集特征包括如下至少一种特征：流量速度聚集分布特征、包量速度聚集分布特征。

其中，根据预算的统计维度从实时数据量中统计出在当前单位时间内的数据包数量和数据包字节总数，其中，数据包数量是指单位时间内对数据包的个数进行计数，数据包字节总数是指单位时间内对数据包的包量大小进行计数，根据数据包数量可以生成流量速度聚集分布特征，同样的根据数据包字节总数可以生成包量速度聚集分布特征，则流量速度聚集分布特征、包量速度聚集分布特征中的至少一种都可以作为实时的流量聚集特征。举例说明如下，以包长聚集特征为例，数据包最长65535字节，将0-65535划分为256个区间，0：255，256：511，……,65280:65535,统计这一秒中，落在不同区间的数据包数量和数据包字节总数。得到2个256维的分布向量，例如可以得到流量速度聚集分布特征：[12,32,……778]，单位比特率(bits per second，bps)，还可以得到包量速度聚集分布特征：[122,232,……78]，单位为数据包每秒(packets per Second，pps)。

通过以上实施例对本发明实施例的描述可知，首先获取客户端发送的流量数据，然后按照预设的统计维度对流量数据进行实时的流量统计分析，得到流量数据在统计维度下的实时流量聚集特征，接下来根据预设的流量突增条件对处于同一个统计维度下的历史流量聚集特征和实时流量聚集特征进行对比分析，以识别流量数据在统计维度下的突增流量，最后对识别出的突增流量进行打击处理。由于本发明实施例需要按照预设的统计维度对流量数据进行实时的统计分析，从而生成实时流量聚集特征，使用流量突增条件可以对实时流量聚集特征和历史流量聚集特征进行对比分析，因此可以识别出流量数据在统计维度下的突增流量，该突增流量可以作为非正常访问的流量数据进行后续的打击处理。本发明实施例中通过流量统计分析以及附带流量突增条件的对比分析，就可以对恶意的流量数据的有效打击，对于攻击者修改IP地址的攻击方式能够实现有效防御。

为便于更好的理解和实施本发明实施例的上述方案，下面举例相应的应用场景来进行具体说明。

本发明实施例中要解决的关键问题是：传统的DDOS防御方法，无法准确过滤DDOS攻击流量，导致透传或者误封情况。本发明实施例可以准确过滤DDOS攻击流量的同时，保证用户流量的正常访问，不影响用户体验。

如图3所示，为本发明实施例提供的流量的分析方法在DDOS应用场景下的示意图。整个系统包括如下三个模块：

流量聚集分析模块：实时分析每秒钟，每个业务机器的不同统计纬度的数据，例如可以按照包长，TTL，目的端口，源端口数据上的实时流量聚集特征。

正常流量聚集统计分析模块：通过将过去的1周，分析每个业务机器的不同纬度数据：包长，TTL，目的端口，源端口数据上的历史流量聚集特征。

DDOS流量过滤模块：对比历史流量聚集特征和实时流量聚集特征，找出哪些统计纬度上，差距比较大的流量特征和流量分布区间，再把流量聚集特征上的流量分布空间的流量，过滤掉。

接下来对流量的分析方法的具体过程进行举例说明：

所有网络流量都会先经过流量聚集分析模块，同时，流量聚集分析模块会实时计算出每秒中的流量聚集特征。

当没有检测到DDOS攻击时，从流量聚集分析模块出来的流量，会直接进入正常流量聚集统计分析模块；当检测到有部分机器被DDOS攻击时，这部分机器的入流量会进入DDOS流量过滤模块，清洗DDOS攻击的流量。对于每个业务机器都有它接收到的流量，同时，也有它发出的流量，一般来说，防御DDOS攻击时只需考虑入流量，就是访问这台机器接收到的流量。最后，从DDOS防御系统出来的流量，就是“干净”的流量，正常进行访问业务服务。

接下来对流量聚集分析模块的功能进行详细说明。

该模块统计每秒钟，每台业务机器的入流量在包长，TTL，目的端口，源端口等纬度上的流量聚集情况。

包长聚集特征：数据包最长65535字节，将0-65535划分为256个区间，0：255，256：511，……,65280:65535,统计这一秒中，落在不同区间的数据包数量和数据包字节总数。得到2个256维的分布向量：[12,32,……778](流量速度聚集分布特征，单位bps),[122,232,……78](包量速度聚集分布特征，单位pps)。

TTL聚集特征：TTL最大0到255，统计这一秒中，不同TTL值的数据包数量和数据包字节总数。得到2个256维的分布向量：[12,32,……778](流量速度聚集分布特征，单位bps),[122,232,……78](包量速度聚集分布特征，单位pps)。

目的端口聚集特征：目的端口最大65535字节，将0-65535划分为256个区间，0：255，256：511，……,65280:65535,统计这一秒中，落在不同区间的数据包数量和数据包字节总数。得到2个256维的分布向量：[12,32,……778](流量速度聚集分布特征，单位bps),[122,232,……78](包量速度聚集分布特征，单位pps)。

源端口聚集特征：源端口最长65535字节，将0-65535划分为256个区间，0：255，256：511，……,65280:65535,统计这一秒中，落在不同区间的数据包数量和数据包字节总数。得到2个256维的分布向量：[12,32,……778](流量速度聚集分布特征，单位bps),[122,232,……78](包量速度聚集分布特征，单位pps)。

本发明实施例涉及的特征列表如下表1所示：

接下来正常流量聚集统计分析模块进行举例说明：

该模块会统计过去7天的历史流量聚集特征，对前7天，同一秒的数据求平均得到预测值，预计当天每秒钟的聚集特征情况,本发明实施例中简称为预测特征。具体如下：

每天都是从00:00:00到23:59:59，一共86400秒。正常流量聚集统计分析模块会预测今天从00:00:00到23:59:59的聚集特征。举例，预测某台业务机器今天22:00:00这一秒的包量速度聚集分布特征，预测特征v，那么正常流量聚集统计分析模块，会提取出前7天，这台机器在22:00:00这一时刻的包量速度聚集分布特征v1，v2……v7,那么v＝avg(v1，v2……v7)。v就是当前时刻的预测特征。

如图4所示，为本发明实施例提供的流量统计分析图。举例说明，每天都是从00:00:00到23:59:59，一共86400秒。假如，以预测22:00:00这一秒的流量在目的端口0到255这个区间的流量大小为例。过去7天，在22:00:00时刻，流量在目的端口0到255这个区间的流量大小分别为：45，32，47，65，54，32，43，预测值就是：(45+32+47+65+54+32+43)/7＝54。同理，22:00:00这一秒，在目的端口(256到511的区间，……,65280到65535的区间)不同区间的流量值，也是同样方法得到预测值。因此得到流量在目的端口256个区间上的预测特征向量，如[12,23,…..,45]。如上所述，流量和包量分别在TTL，源端口，包长，目的端口的预测特征可以通过上述举例方式得到。

接下来对DDOS流量过滤模块进行举例说明。

当发现某部分机器DDOS攻击时，系统会自动把这部分机器的入流，导入到DDOS流量过滤模块，进行清洗。具体方法如下：

首先，判断每个聚集特征的异常情况。以包长聚集特征的流量速度聚集纬度异常检测为例：预测特征B＝[b1,b2,……bn],实时采集当前这一秒的特征为A＝[a1,a2,……an],其中，n＝256。

流量突增条件可以设置为：ai>2*bi,且ai/bi>5*c。首先计算平均增长比例：c＝avg(a1/b1,a2/b2,a3/b3,……an/bn)。然后找出所有i，符合：ai>2*bi,且ai/bi>5*c。

因此，流量在数据包长度第i个区间流量突增比较厉害，成为流量突增聚集区间，是DDOS攻击流量造成的。

如果是正常的用户访问，那么流量和包量在各个纬度的特征向量应该跟预测的特征向量是一致的。例如，当发现商家高促销等活动，导致流量突增，那么流量在各个纬度的区间中，增长的比例应该是一致的。例如：流量在目的端口各个区间的流量为：[a1,a2,……a256]，预测特征向量为：[b1,b2,……b256]，那么a1/b1≈a2/b2≈a3/b3…….≈a256/b256。但是，如果是DDOS攻击，那么攻击者往往针对服务的某些端口，不断发送请求，造成某些端口上的流量暴增，这时，其他的端口区间上的流量没有怎么变化，但是，收到攻击的端口所在的区间，流量就会突增几百倍。所以，针对突增的流量，如果发现在某些区间的流量或者包量突增比例失衡，某些区间突增很厉害，就可以把这些区间上的流量过滤掉。

在上述举例中，当发现某个区间的流量或者包量，是预测值的两倍，并且增长比例是超过5倍的平均增长比例，就判断这个区间上的流量为DDOS攻击流量，其中，ai>2*bi表示某个区间的流量或者包量，是平时正常值的两倍，2是经验所得，ai/bi>5*c表示这个区间的流量增长突出，比其他区间还要大很多。5是经验所得。然后，把流量进行清洗过滤。过滤规则可以是将落在各个流量突增聚集区间的数据包，过滤清洗掉，例如，数据包的包长为100，那么它落在包长聚集特征的第一个区间。这样，流量就清洗完毕。

通过前述的举例说明可知，本发明实施例提供基于流量分布统计分析的DDOS实时检测方法，DDOS流量的包长、TTL、目的端口、源端口等统计纬度上的聚集特征，清洗DDOS攻击数据，从而可以实现基于流量聚集特征分析的DDOS实时防御。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。

请参阅图5-a所示，本发明实施例提供的一种流量的分析装置500，可以包括：流量获取模块501、流量统计模块502、对比分析模块503、打击处理模块504，其中，

流量获取模块501，用于获取客户端发送的流量数据；

流量统计模块502，用于按照预设的统计维度对所述流量数据进行实时的流量统计分析，得到所述流量数据在所述统计维度下的实时流量聚集特征；

对比分析模块503，用于根据预设的流量突增条件对处于同一个所述统计维度下的历史流量聚集特征和所述实时流量聚集特征进行对比分析，以识别所述流量数据在所述统计维度下的突增流量；

打击处理模块504，用于对识别出的所述突增流量进行打击处理。

在本发明的一些实施例中，所述流量获取模块501，还用于获取客户端发送的流量数据之前，获取所述客户端在历史时间段产生的历史流量数据；

所述流量统计模块502，还用于按照所述统计维度对所述历史流量数据进行流量统计分析，得到所述历史流量数据在所述统计维度下的历史流量聚集特征。

在本发明的一些实施例中，所述统计维度至少包括如下至少一种维度：包长聚集维度、生存时间TTL聚集维度、目的端口聚集维度、源端口聚集维度。

在本发明的一些实施例中，如图5-b所示，所述流量统计模块502，包括：

流量值获取单元5021，用于获取所述统计维度对应的最大流量值；

区间划分单元5022，用于根据所述最大流量值确定出N个流量分布区间，所述N为正整数；

数据量统计单元5023，用于按照所述统计维度统计所述流量数据在当前单位时间内对应的实时数据量；

特征生成单元5024，用于从所述N个流量分布区间中确定出所述实时数据量在所述当前单位时间落入的第一流量分布区间，并生成所述实时数据量的实时流量聚集特征，所述实时流量聚集特征包括：所述实时数据量在所述当前单位时间落入所述第一流量分布区间，所述第一流量分布区间属于所述N个流量分布区间中的一个流量分布区间。

进一步的，在本发明的一些实施例中，如图5-c所示，所述对比分析模块503，包括：

历史特征获取单元5031，用于根据所述当前单位时间获取历史数据量的历史流量聚集特征，所述历史流量聚集特征包括：所述历史数据量在历史单位时间落入的流量分布区间；

流量突增确定单元5032，用于确定处于所述第一流量分布区间内的所述实时数据量和所述历史数据量是否符合所述流量突增条件；

突增流量识别单元5033，用于当处于所述第一流量分布区间内的所述实时数据量和所述历史数据量符合所述流量突增条件时，确定落入所述第一流量分布区间的所述实时数据量为所述突增流量。

进一步的，在本发明的一些实施例中，如图5-d所示，所述流量突增确定单元5032，包括：

预测子单元50321，用于根据在所述历史单位时间内产生的所述历史数据量预测在所述当前单位时间内产生的数据量，得到预测数据量；

增幅获取子单元50322，用于根据处于相同的流量分布区间内的所述实时数据量和所述预测数据量获取流量增幅比例；

数据量分析子单元50323，用于根据所述流量增幅比例确定处于所述第一流量分布区间内的所述实时数据量和所述预测数据量是否符合所述流量突增条件。

进一步的，在本发明的一些实施例中，如图5-e所示，所述特征生成单元5024，包括：

数据包统计子单元50241，用于根据所述流量数据在当前单位时间内对应的实时数据量统计出在所述当前单位时间内的数据包数量和数据包字节总数；

流量特征生成子单元50242，用于从所述N个流量分布区间中确定出所述数据包数量在所述当前单位时间落入的第一流量分布区间，并生成所述数据包数量的流量速度聚集分布特征；

包量特征生成子单元50243，用于从所述N个流量分布区间中确定出所述数据包字节总数在所述当前单位时间落入的第一流量分布区间，并生成所述数据包字节总数的包量速度聚集分布特征；

特征确定子单元50244，用于确定所述实时流量聚集特征包括如下至少一种特征：所述流量速度聚集分布特征、所述包量速度聚集分布特征。

通过以上对本发明实施例的描述可知，首先获取客户端发送的流量数据，然后按照预设的统计维度对流量数据进行实时的流量统计分析，得到流量数据在统计维度下的实时流量聚集特征，接下来根据预设的流量突增条件对处于同一个统计维度下的历史流量聚集特征和实时流量聚集特征进行对比分析，以识别流量数据在统计维度下的突增流量，最后对识别出的突增流量进行打击处理。由于本发明实施例需要按照预设的统计维度对流量数据进行实时的统计分析，从而生成实时流量聚集特征，使用流量突增条件可以对实时流量聚集特征和历史流量聚集特征进行对比分析，因此可以识别出流量数据在统计维度下的突增流量，该突增流量可以作为非正常访问的流量数据进行后续的打击处理。本发明实施例中通过流量统计分析以及附带流量突增条件的对比分析，就可以对恶意的流量数据的有效打击，对于攻击者修改IP地址的攻击方式能够实现有效防御。

图6是本发明实施例提供的一种服务器结构示意图，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)1122(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在服务器1100上执行存储介质1130中的一系列指令操作。

服务器1100还可以包括一个或一个以上电源1126，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统1141，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的流量的分析方法步骤可以基于该图6所示的服务器结构。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种流量的分析方法，其特征在于，包括：

获取客户端发送的流量数据；

获取统计维度对应的最大流量值，所述最大流量值为目的端口聚集维度对应的最大流量值；

根据所述最大流量值确定出N个流量分布区间，所述N为正整数；

按照所述统计维度统计所述流量数据在当前单位时间内对应的实时数据量；

从所述N个流量分布区间中确定出所述实时数据量在所述当前单位时间落入的第一流量分布区间，并生成所述实时数据量的实时流量聚集特征，所述实时流量聚集特征包括：所述实时数据量在所述当前单位时间落入所述第一流量分布区间，所述第一流量分布区间属于所述N个流量分布区间中的一个流量分布区间；

根据预设的流量突增条件对处于同一个所述统计维度下的历史流量聚集特征和所述实时流量聚集特征进行对比分析，以识别所述流量数据在所述统计维度下的突增流量；

对识别出的所述突增流量进行打击处理。

2.根据权利要求1所述的方法，其特征在于，所述获取客户端发送的流量数据之前，所述方法还包括：

获取所述客户端在历史时间段产生的历史流量数据；

按照所述统计维度对所述历史流量数据进行流量统计分析，得到所述历史流量数据在所述统计维度下的历史流量聚集特征。

3.根据权利要求1所述的方法，其特征在于，所述统计维度至少包括如下至少一种维度：包长聚集维度、生存时间TTL聚集维度、目的端口聚集维度、源端口聚集维度。

4.根据权利要求1所述的方法，其特征在于，所述根据预设的流量突增条件对处于同一个所述统计维度下的历史流量聚集特征和所述实时流量聚集特征进行对比分析，以识别所述流量数据在所述统计维度下的突增流量，包括：

根据所述当前单位时间获取历史数据量的历史流量聚集特征，所述历史流量聚集特征包括：所述历史数据量在历史单位时间落入的流量分布区间；

确定处于所述第一流量分布区间内的所述实时数据量和所述历史数据量是否符合所述流量突增条件；

当处于所述第一流量分布区间内的所述实时数据量和所述历史数据量符合所述流量突增条件时，确定落入所述第一流量分布区间的所述实时数据量为所述突增流量。

5.根据权利要求4所述的方法，其特征在于，所述确定处于所述第一流量分布区间内的所述实时数据量和所述历史数据量是否符合所述流量突增条件，包括：

根据在所述历史单位时间内产生的所述历史数据量预测在所述当前单位时间内产生的数据量，得到预测数据量；

根据处于相同的流量分布区间内的所述实时数据量和所述预测数据量获取流量增幅比例；

根据所述流量增幅比例确定处于所述第一流量分布区间内的所述实时数据量和所述预测数据量是否符合所述流量突增条件。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述从所述N个流量分布区间中确定出所述实时数据量在所述当前单位时间落入的第一流量分布区间，并生成所述实时数据量的实时流量聚集特征，包括：

根据所述流量数据在当前单位时间内对应的实时数据量统计出在所述当前单位时间内的数据包数量和数据包字节总数；

从所述N个流量分布区间中确定出所述数据包数量在所述当前单位时间落入的第一流量分布区间，并生成所述数据包数量的流量速度聚集分布特征；

从所述N个流量分布区间中确定出所述数据包字节总数在所述当前单位时间落入的第一流量分布区间，并生成所述数据包字节总数的包量速度聚集分布特征；

确定所述实时流量聚集特征包括如下至少一种特征：所述流量速度聚集分布特征、所述包量速度聚集分布特征。

7.一种流量的分析装置，其特征在于，包括：

流量获取模块，用于获取客户端发送的流量数据；

流量统计模块，用于获取统计维度对应的最大流量值，所述最大流量值为目的端口聚集维度对应的最大流量值；根据所述最大流量值确定出N个流量分布区间，所述N为正整数；按照所述统计维度统计所述流量数据在当前单位时间内对应的实时数据量；从所述N个流量分布区间中确定出所述实时数据量在所述当前单位时间落入的第一流量分布区间，并生成所述实时数据量的实时流量聚集特征，所述实时流量聚集特征包括：所述实时数据量在所述当前单位时间落入所述第一流量分布区间，所述第一流量分布区间属于所述N个流量分布区间中的一个流量分布区间；

对比分析模块，用于根据预设的流量突增条件对处于同一个所述统计维度下的历史流量聚集特征和所述实时流量聚集特征进行对比分析，以识别所述流量数据在所述统计维度下的突增流量；

打击处理模块，用于对识别出的所述突增流量进行打击处理。

8.根据权利要求7所述的装置，其特征在于，

所述流量获取模块，还用于获取客户端发送的流量数据之前，获取所述客户端在历史时间段产生的历史流量数据；

所述流量统计模块，还用于按照所述统计维度对所述历史流量数据进行流量统计分析，得到所述历史流量数据在所述统计维度下的历史流量聚集特征。

9.根据权利要求7所述的装置，其特征在于，所述统计维度至少包括如下至少一种维度：包长聚集维度、生存时间TTL聚集维度、目的端口聚集维度、源端口聚集维度。

10.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器存储有存储介质，所述存储介质被处理器执行实现如权利要求1至6任意一项所述的方法。

11.一种计算机可读存储介质，包括指令，所述指令被处理器执行实现如权利要求1至6任意一项所述的方法。

Images