CN103001825B - Dns流量异常的检测方法和系统 - Google Patents

Abstract

本发明提供一种DNS流量异常的检测方法和系统，对待处理的DNS流量数据提取相应的特征值，并对每个特征赋予不同的权重，通过W-Kmeans算法和增设的欧氏距离阈值D_threshold检测在训练集中标记过的异常类簇，并可以发现新的未知特征的异常。本发明的算法收敛速度快，运算量小，新的待检测样本只需与处理好的训练聚类中心进行比较，无需与大量的原始训练数据进行计算部署成本低，并具有较强的泛化能力，特别适合部署在大型DNS服务器上，能够快速有效地发现DNS流量的异常。

Description

DNS流量异常的检测方法和系统

技术领域

本发明属于计算机网络领域，涉及DNS流量检测系统，具体涉及一种DNS流量异常的检测方法和系统。

背景技术

域名系统（DomainNameSystem，DNS）是连接整个互联网应用层和网络层的纽带，是当今互联网系统的神经中枢，其主要功能是实现了IP地址到域名之间的转换，用来精确定位和标识互联网上的浩瀚资源，是很多重要网络应用（网页浏览、电子邮件等）正常运转的基石。

尽管DNS为广大互联网用户提供了各种基础服务，但很遗憾的是，DNS仍经常遭受到破坏者的恶意攻击，比较常见的有DNS缓存中毒、DNS重定向、DNS信息劫持、DNS放大攻击、DNS的DDOS攻击等。DNS的安全形势越来越严峻，保护DNS的安全稳定不容懈怠，特别是能够主动地检测出DNS流量的异常，对于巩固DNS安全防线意义重大。

在检测DNS流量时，通常需要扫描DNS查询日志。DNS查询日志蕴含着丰富的有用信息，记录了用户查询行为的绝大部分信息，是DNS系统中最宝贵的资源之一。算法检测的数据来源，是CN国家顶级域名权威服务器上记录的DNS查询日志，其产生的日志记录每一行代表一次查询行为，形如：

19-May-200919:52:48.103queries:info:client189.25.96.41#1044:query:ns.xinnet.cnINA+

其中，“19-May-200919:52:48.103”为查询请求的到达时间；“189.25.96.41”为用户的源IP地址；“1044”为用户的源端口；“ns.xinnet.cn”为用户请求查询的域名；“IN”为资源类别(class)，表示Internet，是最常见的一种；“A”为资源记录类型(type)，表示请求查询该域名的IPV4地址；“+”表示递归查询。

可以看出，每条日志中有用的信息是：时间、源IP地址、源端口、查询域名、资源类别、资源记录类型、递归标识。在数据的预处理过程中，我们就把这些信息提取出来。

在一些常见的DNS流量攻击中，经常出现很多伪造的查询域名，即：随机字符串+固定域名后缀，而且在域名系统中，形如“ns.xinnet.cn”和“ns2.xinnet.cn”的域名是属于同一个子域“xinnet.cn”的，也是位于同一个区数据文件中的。所以，我们有必要对查询域名进行归约处理，根据CN域名的命名规则，将日志记录中出现的所有CN域名都归约为CN域下的二级域名，或者CN域下的43种按机构性质、行政区域申请的三级域名。比如www.sina.com.cn、news.sina.com.cn、sports.sina.com.cn等，都将被归约为sina.com.cn的查询。

现有技术一般是基于Kmeans算法原理对DNS流量进行异常检测。

Kmeans算法是一种基于划分的聚类分析方法，被广泛应用于各种流量检测中，其核心思想是：将n个向量（对象）的集合划分为k个类簇，使得同一类簇内的向量相似度高，不同类簇之间的向量相似度低。

设待分类的向量集合为{x₁,x₂,x₃，…,x_n}，dis(x,c)表示向量x与向量c的欧氏距离，向量x表示待分类的向量，向量c表示聚类中心向量，m表示向量的特征个数。

该算法的基本流程如下：

①选定y个向量作为初始聚类中心{c¹,c²,…,c^y}。其中，y=1,2,…,k,k为类簇值。

②将待分类的向量逐个计算与每个聚类中心的距离，按最小距离原则把每个向量划分到某一类中，这里是计算向量间的欧氏距离：

$\mathrm{dis}(x,c^y)=\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{(x_i-c_i^y)}^2}---\left(1\right)$

式中，表示的是某个聚类中心c^y的第i个特征取值。

③重新计算分好类之后的每个类中心，即计算每个类中所有向量的均值：

$c^y=(\frac{1}{v}\underset{j=1}{\overset{v}{\mathrm{\Σ}}}{c}_{j1},\frac{1}{v}\underset{j=1}{\overset{v}{\mathrm{\Σ}}}{c}_{j2},\frac{1}{v}\underset{j=1}{\overset{v}{\mathrm{\Σ}}}{c}_{j3},\frac{1}{v}\underset{j=1}{\overset{v}{\mathrm{\Σ}}}{c}_{\mathrm{jm}})---\left(2\right)$

式中，v表示的是第k类内向量的个数。

④如果重新计算的类中心有变化，则转至②重新迭代，直到每个类中心不再发生变化。

这种检测方法存在以下的缺点：

（1）检测特征单一，误报率较高。如：针对特定域名的DDOS攻击检测，只考虑到域名的攻击特征，而忽略了攻击过程中查询IP的变化特征等，而且现在的攻击手段也越来越高明，模拟的域名攻击特征越来越接近正常查询的特征。

（2）检测方法的运算量大，算法的收敛速度慢，耗费系统资源过多。如：现有的一些神经网络检测方法，在特征提取和检测分类的过程中，计算量过大、过于复杂。

（3）缺乏对未知特征攻击的检测能力，检测算法的泛化推广能力低。如：一些现有的检测方案是对DNS流量进行相似性分析，只能检测出相似特征的攻击流量。

（4）检测算法的灵敏度低，实习性不好，具有较大的滞后性。如：一些基于流量累计的攻击检测，当攻击流量累计到一定程度时，已经错过了异常处理的最好时机。

发明内容

为克服上述提到的缺点，本发明提供一种DNS流量异常的检测方法和系统，部署成本低，特别适合部署在大型DNS服务器上，能够快速有效地发现DNS流量的异常。

表示的是某个聚类中心由于在不同的应用场景中，不同的向量特征对聚类结果的影响也不同，本发明从已经部署了本检测系统的DNS服务器上提取实时的或者要检测的DNS查询流量，通过数据预处理模块利用检测算法对具体事件中真实的DNS数据进行实验分析，对原始的DNS流量数据进行预处理，其中时效的延迟取决于时间粒度的选取；然后由数据提取模块结合DNS流量的一般特征，依照单位时间粒度对预处理过的特征数据源提取了查询速率、源IP地址的分布空间、源IP地址的熵值、查询域名的分布空间、域名查询的最大次数、查询域名的熵值、递归查询的比例等7个相关特征（即m=7）作为向量特征，并将上述特征向量保存为文本文件；接着检测分析模块对这些待分类的向量进行聚类检测分析，输出可视化检测结果。由于提取出来的每个特征值之间的数量级差异很大，如果直接用式子（1）来计算欧氏距离，数量级大的特征值在检测算法中占用的权重就特别大，甚至可能抹掉数量级很小的特征值对检测结果的影响，为了得到更好的检测效果，有必要对不同的向量特征赋予不同的权重，我们将这种基于权重的Kmeans算法称为W-Kmeans算法。与Kmeans算法不同，W-Kmeans算法采用式子（3）替代式子（1）来计算欧氏距离：

$\mathrm{dis}(x,c^y)=\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{w}_i{(x_i-c_i^y)}^2}---\left(3\right)$

式中，w_i表示向量第i特征的权重。

本发明在实验提取7个向量特征之后，通过对特征数据集的具体分析，要对各个特征赋予不同的初始权重，比如：查询速率取权重(1/10000)²，源IP地址的熵值取权重10²等，使得同一特征值的大部分数据两两相减的差值范围落在0至1之间，不同特征值相减后的差值数量级也尽量控制在10倍以内。同时，为了分类效果更佳，还需要根据实验结果对各特征值的权重值进行微调，根据先验知识，可以在检测DNS异常流量的具体情景中适当调高递归查询比例的权重值。

W-Kmeans算法是机器学习领域中的一种无监督学习，除了可以检测出在训练集中标记过的异常类簇，还能发现新的未知特征的异常。为了更好地检测出未知特征的DNS异常，提高检测算法的泛化能力和准确率，我们设定一个欧氏距离阈值Dt_hreshold。当某个向量开始被划分到正常类簇中，但是该向量与正常类中心向量的距离大于阈值D_threshold时，要重新将该向量划分为异常类。阈值D_threshold取值的大小可根据具体应用环境进行设置，需要对事件的真实数据和实验的分类结果进行分析后再确定。

Kmeans算法中类簇k值是需要事先给定的，类簇k值的大小直接影响分类的效果，很多时候，由于待检测样本的未知性，类簇k值的选定很难预测和评估。但在应用W-Kmeans算法的过程中，我们分类的目的很明确，就是要区分出正常流量和异常流量这两类流量，因此，类簇取定值k＝2。

此外，初始聚类中心的选择，对聚类结果也有较大的影响。而且，特征集的孤立噪声点比较敏感，不能选为初始聚类中心。

通过对分析结果进行分类，判定待分类向量是否属于正常流量。这里，为了实验结果的可复现性，对于某一具体的应用场景，我们根据先验知识选取或从知识库的数据文件中调用两个向量点作为初始聚类中心，并可将此次事件聚类分析完之后的2个聚类中心纳入知识库，用于以后的DNS流量异常快速检测。知识库的建立，需要对多次攻击事件的DNS数据进行聚类计算完之后得出。

通过实验数据的分析，对比于现有的其他检测方法，本发明的有益效果在于：

1）结合多特征检测，具有更准确的检测率，降低单一特征的误报率；

2）运算量小，新的待检测样本只需与处理好的训练聚类中心进行比较，无需与大量的原始训练数据进行计算；所谓的训练是指多次不同的攻击事件的聚类检测分析，每次训练可将2个聚类中心保存到知识库的数据文件中。

3）具有较好的实时性，以10s为单位时间来统计数据样本，既包含了足够多的检测信息，又保证了检测算法的灵敏度，能在短时间内迅速判断出异常流量；

4）具有较强的泛化能力，通过增设欧氏距离阈值D_threshold，既能检测出已知特征的流量异常，也能检测出未知特征的流量异常；

5）算法收敛速度快，通过各种初始条件的合理设置，加快了算法的收敛速度。

附图说明

图1为DNS流量异常检测流程；

图2为DNS流量分类结果图。

具体实施方式

根据工信部的权威通报，2009年5月19日21时左右，我国境内发生大面积的网络故障现象。事件起因，是由于域名托管商DNSPOD的服务器在18日19时开始遭受大规模恶意流量攻击，其托管在江苏常州电信机房内的服务器被迫离线，包括暴风影音baofeng.com、360.cn等大型网站在内的约10万个域名无法被正常解析，导致全国各地的ISP域名递归服务器收到海量的DNS异常查询请求，各地ISP的服务器不堪重负而瘫痪，进一步演变为全国性网络故障问题。来自基础运营商事后的统计，此次5.19事件的波及范围多达23个省，其中影响较为严重的省份有5至10个，影响的网民数量上千万。

由于DNS的缓存作用，DNSPOD托管的域名有24小时左右的缓存期，所以当DNSPOD的服务器18日晚被关闭后，并没有立刻出现大面积的网络异常现象。而是在19日下午以后，各地的DNS递归服务器对DNSPOD托管域名的缓存相继失效，大量解析失效的域名不断地发出重复的查询请求，同时大批相关的CN域名的异常查询被引向CN顶级域的权威服务器。因此，CN权威服务器上的DNS日志有效地记录了5.19事件的异常情况。

利用本发明的设计方案来检测DNS流量异常的基本流程如图1所示。

当需要对DNS流量进行检测分析时，首先由检测系统的数据预处理模块对原始的DNS查询日志进行预处理，调用相应的DNSlog（即DNS查询流量）作为原始数据；数据预处理好之后，将数据保存为文本文件。

然后由特征提取模块读取这些预处理过的数据文件并进行二次加工，进行向量特征的提取，每个向量有7维，即包含有7个特征值，同样保存为文本文件。

接着，将提取出来的向量数据作为变量参数，通过检测分析模块应用W-Kmeans算法对其进行聚类检测计算，获得2个聚类中心值，判断是否属于正常流量，最后输出可视化检测结果。

在输出结果后，由模型应用模块保存最后运算完的两个聚类中心的值，另存为数据文本文件，并将聚类结果纳入知识库中，用于以后的异常检测应用中。

其中，特征提取是将原始数据源转化为算法参数（即待分类向量）的关键一环，将在下文作详细阐述。向量特征的相关程度，直接影响算法分类效果的好坏。DNS流量特征按不同的攻击类型区分，不同类型的攻击，选取的流量特征应不尽相同，本实施例中的特征选取主要是针对DOS/DDOS攻击这一类型的，这些特征也符合大部分其他类型的攻击检测。但本发明着重于W-Kmeans算法的应用，故流量特征的选取应按实际的应用环境为准，而并不以此实施例为限。同时，结果分析是根据著名的“5.19事件”的公开性、可调查性来调整检测算法参数的选择，优化分类结果，并为算法的检测效果提供权威的让人信服的依据。

下面通过具体步骤为本发明进行说明。

在仔细分析了DNS流量异常的一般特征后，从经过预处理的DNS查询日志数据集合中提取了7个向量特征值作为检测算法的输入参数。

CN顶级域在全球分散部署了19个节点机房，我们从主节点机房的权威服务器上采集了2009年5月19日16:00--24:00之间的查询日志来做检测分析，提取了如下的向量特征值：

①查询速率（RATE）——单位时间内DNS查询请求的总次数，这是最直接反映DNS流量变化情况的一个特征值。当查询速率发生突变时，DNS流量必定有异常，反之则不一定成立。

②源IP地址的分布空间（IPDIS）——单位时间内访问的不同源IP地址的数目。恶意流量攻击发生时，源IP地址的分布空间一般会服从先增大后减小的规律。很多时候，攻击者通过伪造源IP地址，或者通过控制大量的被感染“肉机”来发起恶意流量攻击，在攻击的初始阶段，源IP地址的分布一般会先增大，当恶意流量占满被攻击目标的服务信道，其他正常IP的请求被湮没，甚至无法进入服务信道后，源IP地址的分布会逐渐减小。

③源IP地址的熵值（IPENTROPY）——在信息论中，熵表示整个系统的平均信息量，可以用熵值来表示一个系统的稳定性。当DNS发生流量异常时，必定会引起查询源IP地址熵值的突变。计算熵值的公式（4）如下：

$H\left(X\right)=-\underset{i=1}{\overset{s}{\mathrm{\Σ}}}{p}_i\lg p_i---\left(4\right)$

其中，X表示单位时间内的事件集合{x₁,x₂,x₃,…,x_n}，p_i表示事件x_i出现的概率，s表示单位时间内出现的不同源IP地址的数目。

④查询域名的分布空间（QNAMEDIS）——单位时间内请求查询的不同域名的数目。当发生恶意流量攻击时，查询域名的分布空间一般也会服从先增大后减小的规律，分析情况与源IP地址的分布空间类似。

⑤域名查询的最大次数（QNAMEMAX）——单位时间内单个域名被重复查询的次数，取最大值。次数越大，说明同一个域名被访问的平均时间间隔就越小。此特征能有效检测针对特定域名的恶意攻击异常。

⑥查询域名的熵值（QNAMEENTROPY）——当DNS流量发生异常时，也必定会引起查询域名熵值的明显变化。同样利用公式（4）来计算熵值，分析情况与源IP地址的熵值类似。

⑦递归查询的比例（RECURSEP）——单位时间内递归查询的次数与查询速率的比例。这是DNS特有的流量特征。在很多的DNS攻击事件中，攻击者经常将大量的递归服务器当作受控“肉机”，利用递归服务器向攻击目标不断地发出DNS请求，以达到耗尽攻击目标资源的目的。

经过实验对比分析，发现如果单位时间粒度取值太小（1s），特征值就没能包含足够多的信息来更好地判断流量异常，而且时间粒度过小会造成检测算法误报率过高，容易产生虚警。如果单位时间粒度取值太大，可能会造成漏警，系统灵敏性降低，攻击检测的反应速度滞后。因此，在以上的特征值提取中，我们统一将单位时间取值为10s。当然，根据实际的流量情况和选取的特征值，也可以另行设定单位时间，本发明并不以此为限。

如图2所示，我们采集了CN顶级域主机房节点19日16:00--24:00之间的查询日志做DNS异常检测分析。通过W-Kmeans算法的聚类分析，对上述7个特征值赋予不同的权重；使上述7个特征值相减后的差值数量级控制在10倍以内。图2中得到了正常流量类和异常流量类这两类的分类结果。图2中，每隔90s显示一个采样的向量点，类1表示正常流量类，类2表示异常流量类。

由图2中容易看出，从16:00左右开始，就出现零星的异常流量点，这是由于DNSPOD托管的部分域名在各地ISP域名递归服务器上的缓存已经开始失效，异常查询请求开始出现，直到21:00左右，大规模的递归服务器缓存失效，大量的DNS异常查询请求涌入到正常网络流量中，CN权威服务器上记录到的异常流量也频繁出现，达到一个峰值。同时，随着DNS异常流量的持续增多，各地的ISP递归服务器达到负荷极限而崩溃，造成更多相关的CN域名访问无法到达CN顶级域的权威服务器，因此，在22:00以后的很长一段时间内，CN顶级域检测到的都是异常流量，直到20日凌晨左右才慢慢恢复正常。这些检测结果都与工信部公布的权威通报高度吻合，说明W-Kmeans算法在DNS异常流量检测中具有较好的检测效果。

Claims (6)

1.一种DNS流量异常的检测方法，其步骤包括：

(1)对原始的DNS流量数据进行预处理，依照单位时间粒度为10s提取特征数据源作为待分类的向量，所述特征包括查询速率、源IP地址的分布空间、源IP地址的熵值、查询域名的分布空间、域名查询的最大次数、查询域名的熵值和递归查询的比例；

(2)结合DNS流量的相关特征，对上述向量的每个特征赋予不同的权重；

(3)利用W-Kmeans算法对赋予权重后的向量进行检测分析；

所述W-Kmeans算法，是采用下式计算欧氏距离dis(x,c^y)：

$dis(x,c^y)=\sqrt{\underset{i=1}{\overset{m}{\Σ}}{w}_i{(x_i-c_i^y)}^2},y=1,2,...,k$

其中，向量x表示待分类的向量，c^y表示聚类中心向量，m表示向量的特征个数，w_i表示向量第i特征的权重，x_i表示的是向量x的第i特征值，表示的是c^y的第i个特征取值,k为类簇值，所述聚类中心向量分为正常类中心向量和异常类中心向量两种，k＝2；

(4)根据检测分析结果，与欧氏距离阈值D_threshold比对，当所述待分类的向量与正常类中心向量的距离大于阈值D_threshold时，判定该DNS流量异常。

2.如权利要求1所述的方法，其特征在于，所述步骤(2)使不同特征值相减后的差值数量级控制在10倍以内。

3.如权利要求1所述的方法，其特征在于，其步骤还包括：

(5)将分类结果存入知识库中。

4.一种DNS流量异常的检测系统，其特征在于，包括

一数据预处理模块，对原始的DNS流量数据进行预处理；

一数据提取模块，从数据预处理模块中提取预处理过的DNS流量数据的特征向量，所述特征包括查询速率、源IP地址的分布空间、源IP地址的熵值、查询域名的分布空间、域名查询的最大次数、查询域名的熵值和递归查询的比例；

一检测分析模块，将上述特征向量作为待分类向量，对每个特征赋予权重，利用W-Kmeans算法进行检测分析，所述W-Kmeans算法，是采用下式计算欧氏距离dis(x,c^y)：

$dis(x,c^y)=\sqrt{\underset{i=1}{\overset{m}{\Σ}}{w}_i{(x_i-c_i^y)}^2},y=1,2,...,k$

其中，向量x表示待分类的向量，c^y表示聚类中心向量，m表示向量的特征个数，w_i表示向量第i特征的权重，x_i表示的是向量x的第i特征值，表示的是c^y的第i个特征取值,k为类簇值，所述聚类中心向量分为正常类中心向量和异常类中心向量两种，k＝2；根据聚类中心值分析聚类结果，包括：根据检测分析结果，与欧氏距离阈值D_threshold比对，当所述待分类向量与正常类中心向量的距离大于阈值D_threshold时，判定该DNS流量异常。

5.如权利要求4所述的检测系统，其特征在于，所述数据提取模块依照单位时间粒度提取预处理过的DNS流量数据的特征向量。

6.如权利要求4所述的检测系统，其特征在于，还包括一模型应用模块和一知识库，所述模型应用模块将所述聚类中心值保存为数据文本文件，并将聚类结果纳入知识库中。