CN108494791A - 一种基于Netflow日志数据的DDOS攻击检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于Netflow日志数据的DDOS攻击检测方法和装置，该方法包括以下步骤：通过LDA分析模型对新采集到的Netflow数据进行分值评估；当评估分值高于预定分值时，丢弃新采集的Netflow数据，当当评估分值低于预定分值时，确定新采集的Netflow数据为可疑Netflow数据；判断该可疑Netflow数据的源IP地址在某个时间段内对服务器的访问次数；如果访问次数大于设定阈值，判断该可疑Netflow数据为DDOS攻击，并在地图显示。通过本发明的技术方案，提高数据分析的效率，便于用户定位问题所在。

Description

一种基于Netflow日志数据的DDOS攻击检测方法及装置

技术领域

本发明涉及数据安全领域，具体涉及一种基于Netflow日志的网络安全威胁分析方法及系统。

背景技术

NetFlow是Ciso公司发布的一款用于分析网络数据包信息的工具包，广泛的用于路由器和交换机中。它基于流的方式采集网络数据，输出的流数据能很好的表征会话级的特征。利用Netflow技术可以检测网络上的IP流信息。采集到的Netflow流量信息可以帮助进行网络规划，网络管理，流量计费和病毒检测等等。

机器学习，利用监督和无监督机器学习技术，进行异常事件侦测，以辨识网路弱点。是一种让计算机在没有事先明确的编程的情况下做出正确反应的科学。在过去的十年中，机器学习已经给我们在自动驾驶汽车，实用语音识别，有效的网络搜索，以及提高人类基因组的认识方面带来大量帮助。机器学习LDA模型，

网络安全，指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或者恶意的原因而遭受到破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断。

随着科技的发展，计算机技术、信息技术、网络技术的应用对人们日常生活、工作与学习提供了极大的便利，也促进了企业的发展。但是，网络技术发展的同时，企业信息管理系统和商业机密数据都收到了外界非法入侵者的严重威胁，企业信息安全发展形势日益严峻。目前，大部分企业的内部网络中都存储了大量数据信息，随着自动化办公系统的普遍应用，越来越多的业务工作依赖于网络完成，一旦网络收到了黑客的恶意攻击，会给企业带来无法估计的重大损失，尤其是商业机密数据如果受到非法入侵者的篡改和窃取，甚至会给社会带来极大的负面影响。

随着各种网络应用迅速增加，由此带来了网络流量的激增。在这些流量中，网络用户的上网行为如何管理？各种类型的流量如何分布？根据目前的网络安全态势，建立一个能快速、高效识别网络异常流量分析的检测模型迫在眉睫，从而保护网络环境，为人们放心安全使用网络应用打好基石。

基于Netflow的单一攻击检测技术，该技术完全依赖于网络流量异常数据，无对流量本身数据的分析和统计，从而导致在系统用户高峰期访问的时候，这种情况下，服务器自身的流量数据会大幅度的提升，如果仅仅依赖流量数据的分析，检测系统会在业务高峰期的时候进行错误告警，影响正常的业务逻辑。

如图1，现有技术中心基于Netflow的单一攻击检测技术主要分为三个阶段：

1.流量数据收集：利用流量收集工具进行Netflow数据的收集和解析，将流量数据转化为可读的数据。

2.统计分类：将流量数据进行统计归类，发现异常数据。

3.告警阶段：抓取告警数据，告警。

现有技术存在以下问题：

1.没有对Netflow数据进行分析，仅简单的归类处理

2.误报警频率高

3.报警数据可信度底

4.可视化效果差

发明内容

本发明需要解决的问题包括：Netflow流量数据的采集和归一化处理；基于spark的机器学习LDA分析模型的建立和应用，对NetFlow数据本身的异常概率进行分析和处理；异常流量分析结果的攻击链地图显示。

为解决上述技术问题，本发明提供了一种基于Netflow日志数据的DDOS攻击检测方法，该方法包括以下步骤：

1)通过LDA分析模型对新采集到的Netflow数据进行分值评估；

2)当评估分值高于预定分值时，丢弃新采集的Netflow数据，当当评估分值低于预定分值时，确定新采集的Netflow数据为可疑Netflow数据；

3)判断该可疑Netflow数据的源IP地址在某个时间段内对服务器的访问次数；

4)如果访问次数大于设定阈值，判断该可疑Netflow数据为DDOS攻击，并在地图显示。

根据本发明的方法，优选的，所述LDA分析模型中，Netflow数据是由以下词语：源IP地址，目的IP地址，端口和时间戳来标识，基于这些词语据建立LDA分析模型输入所需的文档、主题，然后根据LDA算法，计算出每条Netflow数据出现的概率，也就是IP地址在某个时间段访问服务器地址的概率，并将该概率作为该条Netflow数据的分值。

根据本发明的方法，优选的，所述Netflow数据中每个词语在文档集合中出现的概率标识为：

根据该概率确定新采集到的Netflow数据的分值。

根据本发明的方法，优选的，统计各个IP地址在某个时间段对各个服务器端口的访问次数，统计服务器的某个端口在一段时间内被访问的次数，确定服务器某个端口的设定阈值。

根据本发明的方法，优选的，针对判断为DDOS攻击的Netflow数据，确定该Netflow数据对应的源IP地址和目的IP地址，并与对应的位置信息关联，展示在地图上。

为解决上述技术问题，本发明提供了一种基于Netflow日志数据的DDOS攻击检测装置，该装置包括：

分值评估模块，通过LDA分析模型对新采集到的Netflow数据进行分值评估；

分值判断模块，当评估分值高于预定分值时，丢弃新采集的Netflow数据，当当评估分值低于预定分值时，确定新采集的Netflow数据为可疑Netflow数据；

访问次数确定模块，判断该可疑Netflow数据的源IP地址在某个时间段内对服务器的访问次数；

DDOS攻击判断模块，如果访问次数大于设定阈值，判断该可疑Netflow数据为DDOS攻击，并在地图显示。

根据本发明的装置，优选的，所述LDA分析模型中，Netflow数据是由以下词语：源IP地址，目的IP地址，端口和时间戳来标识，基于这些词语据建立LDA分析模型输入所需的文档、主题，然后根据LDA算法，计算出每条Netflow数据出现的概率，也就是IP地址在某个时间段访问服务器地址的概率，该概率由以下公式确定；

根据该概率确定新采集到的Netflow数据的分值。

根据本发明的装置，优选的，还包括：访问次数阈值确定模块，统计各个IP地址在某个时间段对各个服务器端口的访问次数，统计服务器的某个端口在一段时间内被访问的次数，确定服务器某个端口的设定阈值。

根据本发明的装置，优选的，还包括：地图展示模块，针对判断为DDOS攻击的Netflow数据，确定该Netflow数据对应的源IP地址和目的IP地址，并与对应的位置信息关联，展示在地图上。

为解决上述技术问题，本发明提供了一种计算机可读存储介质，该介质存储有计算机程序指令，当执行所述计算机程序指令时，实现如上述之一的方法。

采用本发明的技术方案，取得了以下技术效果：

1.功能扩展：基于Netflow日志数据的机器学习威胁检测方法可以快速发现网络中的异常Netflow请求，及时向用户报警，提高处理威胁发现处理效率。

2.实时性：基于LDA分析模型使得数据的分析以近乎实时的速度完成，强化了系统审计功能和警报功能的时效性。

3.人机界面友好性：以直观的方式将整个攻击按IP地址的位置信息展示在地图上，以便使用者快速定位到问题的所在。

附图说明

图1为现有技术数据分析流程图；

图2为本发明的DDOS告警数据流程图；

图3为本发明的LDA分析模型概率计算矩阵图；

图4是本发明的DDOS攻击发现流程图。

具体实施方式

分布式拒绝服务(DDoS:Distributed Denial of Service)攻击指借助于客户/服务器技术，将多个计算机联合起来作为攻击平台，对一个或多个目标发动DDoS攻击，从而成倍地提高拒绝服务攻击的威力。通常，攻击者使用一个偷窃帐号将DDoS主控程序安装在一个计算机上，在一个设定的时间主控程序将与大量代理程序通讯，代理程序已经被安装在网络上的许多计算机上。代理程序收到指令时就发动攻击。利用客户/服务器技术，主控程序能在几秒钟内激活成百上千次代理程序的运行。

LDA(Latent Dirichlet Allocation)是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。

LDA是一种非监督机器学习技术，可以用来识别大规模文档集(documentcollection)或语料库(corpus)中潜藏的主题信息。它采用了词袋(bag of words)的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。但是词袋方法没有考虑词与词之间的顺序，这简化了问题的复杂性，同时也为模型的改进提供了契机。每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。

LDA生成过程

对于语料库中的每篇文档，LDA定义了如下生成过程

(generativeprocess)：

1.对每一篇文档，从主题分布中抽取一个主题；

2.从上述被抽到的主题所对应的单词分布中抽取一个单词；

3.重复上述过程直至遍历文档中的每一个单词。

语料库中的每一篇文档与T(通过反复试验等方法事先给定)个主题的一个多项分布(multinomialdistribution)相对应，将该多项分布记为θ。每个主题又与词汇表(vocabulary)中的V个单词的一个多项分布相对应，将这个多项分布记为φ。

LDA整体流程

先定义一些字母的含义：文档集合D，主题(topic)集合T

D中每个文档d看作一个单词序列<w1,w2,...,wn>，wi表示第i个单词，设d有n个单词。(LDA里面称之为wordbag，实际上每个单词的出现位置对LDA算法无影响)

D中涉及的所有不同单词组成一个大集合VOCABULARY(简称VOC)，LDA以文档集合D作为输入，希望训练出的两个结果向量(设聚成k个topic，VOC中共包含m个词)：

对每个D中的文档d，对应到不同Topic的概率θd<pt1,...,ptk>，其中，pti表示d对应T中第i个topic的概率。计算方法是直观的，pti＝nti/n，其中nti表示d中对应第i个topic的词的数目，n是d中所有词的总数。

对每个T中的topict，生成不同单词的概率φt<pw1,...,pwm>，其中，pwi表示t生成VOC中第i个单词的概率。计算方法同样很直观，pwi＝Nwi/N，其中Nwi表示对应到topict的VOC中第i个单词的数目，N表示所有对应到topict的单词总数。

LDA的核心公式如下：

p(w|d)＝p(w|t)*p(t|d)

直观的看这个公式，就是以Topic作为中间层，可以通过当前的θd和φt给出了文档d中出现单词w的概率。其中p(t|d)利用θd计算得到，p(w|t)利用φt计算得到。

实际上，利用当前的θd和φt，我们可以为一个文档中的一个单词计算它对应任意一个Topic时的p(w|d)，然后根据这些结果来更新这个词应该对应的topic。然后，如果这个更新改变了这个单词所对应的Topic，就会反过来影响θd和φt。[2]

LDA学习过程

LDA算法开始时，先随机地给θd和φt赋值(对所有的d和t)。然后上述过程不断重复，最终收敛到的结果就是LDA的输出。再详细说一下这个迭代的学习过程：

1.针对一个特定的文档ds中的第i单词wi，如果令该单词对应的topic为tj，可以把上述公式改写为：

pj(wi|ds)＝p(wi|tj)*p(tj|ds)

2.现在我们可以枚举T中的topic，得到所有的pj(wi|ds)，其中j取值1～k。然后可以根据这些概率值结果为ds中的第i个单词wi选择一个topic。最简单的想法是取令pj(wi|ds)最大的tj(注意，这个式子里只有j是变量)，即

argmax[j]pj(wi|ds)

3.然后，如果ds中的第i个单词wi在这里选择了一个与原先不同的topic，就会对θd和φt有影响了(根据前面提到过的这两个向量的计算公式可以很容易知道)。它们的影响又会反过来影响对上面提到的p(w|d)的计算。对D中所有的d中的所有w进行一次p(w|d)的计算并重新选择topic看作一次迭代。这样进行n次循环迭代之后，就会收敛到LDA所需要的结果了。

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

<DDOS攻击检测方法>

结合图2，NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成NetFlow缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，NetFlow缓存同时包含了随后数据流的统计信息。NetFlow有两个核心的组件：NetFlow缓存，存储IP流信息；NetFlow的数据导出或传输机制，NetFlow利用此机制将数据发送到网络管理采集器。

(1)通过Netflow数据采集模块对导入的镜像网络流量数据进行采集。并对采集的数据进行归一化处理。处理后的消息字段如下：

接收到Netflow数据的时间

接收到Netflow数据的年

接收到Netflow数据的月

接收到Netflow数据的天

接收到Netflow数据的小时

接收到Netflow数据的分钟

接收到Netflow数据的秒

接收到Netflow数据的时间段

Netflow数据的源IP地址

Netflow数据的目的IP

Netflow数据的源端口

Netflow数据的目的端口

Netflow数据的协议

Netflow数据的输入包数

Netflow数据的输入包字节数

Netflow数据的输出包数

Netflow数据的输出包字节数

(2)基于spark的机器学习LDA(文档主题模型)分析模型建立，以输入的netflow数据作为输入文档，通过大量文档数据对模型进行训练，得到收敛的结果。将训练好的模型保存下来，对新采集到的netflow数据进行分析打分，所得到的分值均在0到1之间，分值越小，则该条流量数据为非法访问的概率越高。

(3)异常流量分析结果的攻击链地图展示，对第二步中发现的可疑数据进行分析，找到该可疑sip、dip地址的ip地址链，并将ip地址与对应的位置信息关联上，并将该攻击链展示在地图上。

Netflow流量分析模型功能实现：

(1)LDA(LATENT DIRICHLET ALLOCATION)文档主题模型

LDA是一种非监督机器学习技术，它描述的是一篇文章是如何产生的。一个主题是由一些词语的分布定义的，比如主题是由2％几率的data，2％的number……构成的。一篇文章则是由一些主题构成的。一片文档具体产生过程是，从主题集合中按概率分布选取一些主题，从该主题中按概率分布选取一些词语，这些词语构成了最终的文档(LDA模型中，词语的无序集合构成文档，也就是说词语的顺序没有关系)

如果我们能将上述两个概率分布计算清楚，那么我们就得到了一个模型，该模型可以用来识别大规模文档集(document collection)或语料库(corpus)中潜藏的主题信息。它采用了词袋(bag of words)的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。如果我们要生成一篇文档，它里面的每个词语出现的概率为：

这个概率公式可以用矩阵表示，如图3所示。

(2)基于LDA算法的异常流量数据的发现

LDA算法的本质是获得一个单词在文档中的概率分布函数，然后根据这个概率分布函数每次生成一个单词。因此，为了使基于netflow数据的LDA模型训练得到有意义的结果，必须对收集到的netflow数据进行分词处理，因为归一化处理以后的数据的netflow数据是由network source IP(源IP地址),destination ip(目的IP地址),port(端口)和timestamps(时间戳)来标识的，基于这些数据建立LDA的输入所需的文档、主题，然后根据LDA算法，计算出每条流量数据出现的概率，也就是说某个IP在某个时间段访问某个服务器地址的概率，并将该值作为该条流量数据的分值，对正常的流量数据而言，它们出现的时间段和频率基本都在一个特定的范围内，它们计算的概率值都会很大，也就表示该访问为正常访问，如果得到了概率值非常小的数据，则表示该条流量很可能是一条不正常的访问，我们必须对其进行关注和判断处理，具体处理过程参见图4。

(3)DDOS攻击数据的发现

Netflow数据经过LDA算法的计算后，我们能够得到某个时间段服务器上发生了哪些数据交换，而DDOS攻击的主要现象为一段时间内服务器上的某个端口遭遇到了大量的请求，导致服务器资源耗尽，从而导致不能够对各个请求及时的做出反应，包括一些正常的请求也一直处于等待状态。对服务器的各个端口在一定时间内被访问的次数进行统计，便可以挖掘出服务器的端口是否正在遭受DDOS攻击，如图4。

图4是DDOS攻击发现流程图，经过LDA运算后的Netflow数据会包含一个概率值(score)，首先根据这个score的值筛掉正常访问的数据，如我们定义score的值在0.5以上的数据为正常访问的数据，那么所有score大于0.5的数据在这个阶段被筛掉，然后将小于0.5的数据进行按目的IP和目的端口进行分类并统计次数，统计后，我们将得到类似如下所述的数据：

假如，经统计，数据中在start到end这段时间内，IP地址为117.78.40.3的主机80端口被访问了532次(times)，而我们设定的阀值为100次(threshold)，至此，可以判断在start到end这段时间内，IP地址为117.78.40.3这台主机的80端口遭遇了DDOS攻击，接下来便根据这条日志进行告警流程。

本发明公开了一种基于Netflow日志数据的DDOS攻击检测装置，该装置包括：

分值评估模块，通过LDA分析模型对新采集到的Netflow数据进行分值评估；

分值判断模块，当评估分值高于预定分值时，丢弃新采集的Netflow数据，当当评估分值低于预定分值时，确定新采集的Netflow数据为可疑Netflow数据；

访问次数确定模块，判断该可疑Netflow数据的IP地址在某个时间段内对服务器的访问次数；

DDOS攻击判断模块，如果访问次数大于设定阈值，判断该可疑Netflow数据为DDOS攻击，并在地图显示。

所述LDA分析模型中，Netflow数据是由以下词语：源IP地址，目的IP地址，端口和时间戳来标识，基于这些词语据建立LDA分析模型输入所需的文档、主题，然后根据LDA算法，计算出每条Netflow数据出现的概率，也就是IP地址在某个时间段访问服务器地址的概率，该概率由以下公式确定；

根据该概率确定新采集到的Netflow数据的分值。

该装置还包括：访问次数阈值确定模块，统计各个IP地址在某个时间段对各个服务器端口的访问次数，统计服务器的某个端口在一段时间内被访问的次数，确定服务器某个端口的设定阈值。

该装置还包括：地图展示模块，针对判断为DDOS攻击的Netflow数据，确定该Netflow数据对应的源IP地址和目的IP地址，并与对应的位置信息关联，展示在地图上。

某企业部署了该攻击检测系统，当遭到DDOS攻击后，攻击链会在地图上显示，能够很容易的看出当前攻击的来源和攻击程度等信息。

以上实施例仅作为本发明保护方案的示例，不对本发明的具体实施方式进行限定。

Claims (10)

1.一种基于Netflow日志数据的DDOS攻击检测方法，其特征在于，该方法包括以下步骤：

1)通过LDA分析模型对新采集到的Netflow数据进行分值评估；

2)当评估分值高于预定分值时，丢弃新采集的Netflow数据，当评估分值低于预定分值时，确定新采集的Netflow数据为可疑Netflow数据；

3)判断该可疑Netflow数据的源IP地址在某个时间段内对服务器的访问次数；

4)如果访问次数大于设定阈值，判断该可疑Netflow数据为DDOS攻击，并在地图显示。

2.根据权利要求1所述的方法，所述LDA分析模型中，Netflow数据是由以下词语：源IP地址，目的IP地址，端口和时间戳来标识，基于这些词语据建立LDA分析模型输入所需的文档、主题，然后根据LDA算法，计算出每条Netflow数据出现的概率，也就是IP地址在某个时间段访问服务器地址的概率，并将该概率作为该条Netflow数据的分值。

3.根据权利要求2所述的方法，所述Netflow数据中每个词语在文档集合中出现的概率标识为：根据该概率确定新采集到的Netflow数据的分值。

4.根据权利要求1所述的方法，统计各个IP地址在某个时间段对各个服务器端口的访问次数，统计服务器的某个端口在一段时间内被访问的次数，确定服务器某个端口的设定阈值。

5.根据权利要求1所述的方法，针对判断为DDOS攻击的Netflow数据，确定该Netflow数据对应的源IP地址和目的IP地址，并与对应的位置信息关联，展示在地图上。

6.一种基于Netflow日志数据的DDOS攻击检测装置，其特征在于，该装置包括：

分值评估模块，通过LDA分析模型对新采集到的Netflow数据进行分值评估；

分值判断模块，当评估分值高于预定分值时，丢弃新采集的Netflow数据，当评估分值低于预定分值时，确定新采集的Netflow数据为可疑Netflow数据；

访问次数确定模块，判断该可疑Netflow数据的源IP地址在某个时间段内对服务器的访问次数；

DDOS攻击判断模块，如果访问次数大于设定阈值，判断该可疑Netflow数据为DDOS攻击，并在地图显示。

7.根据权利要求6所述的装置，所述LDA分析模型中，Netflow数据是由以下词语：源IP地址，目的IP地址，端口和时间戳来标识，基于这些词语据建立LDA分析模型输入所需的文档、主题，然后根据LDA算法，计算出每条Netflow数据出现的概率，也就是IP地址在某个时间段访问服务器地址的概率，该概率由以下公式确定；

根据该概率确定新采集到的Netflow数据的分值。

8.根据权利要求6所述的装置，还包括：访问次数阈值确定模块，统计各个IP地址在某个时间段对各个服务器端口的访问次数，统计服务器的某个端口在一段时间内被访问的次数，确定服务器某个端口的设定阈值。

9.根据权利要求6所述的装置，还包括：地图展示模块，针对判断为DDOS攻击的Netflow数据，确定该Netflow数据对应的源IP地址和目的IP地址，并与对应的位置信息关联，展示在地图上。

10.一种计算机可读存储介质，该介质存储有计算机程序指令，其特征在于，当执行所述计算机程序指令时，实现如权利要求1-5之一所述的方法。