CN110557382A - 一种利用域名共现关系的恶意域名检测方法及系统 - Google Patents

Abstract

本发明提供了一种利用域名共现关系的恶意域名检测方法及系统。本发明利用域名请求之间的时间间隔，将DNS请求序列切割成域名共现序列，从而能够有效地将不属于同一网络活动触发的域名请求划分到不同的序列中；同时利用滑动窗口从域名共现序列中提取域名共现对：一方面，滑动窗口的引入成功地消除了由于共现序列长度过长而带来的计算复杂度增加的问题；另一方面，滑动窗口只保留个域名和其窗口内域名的共现关系，而忽略与更远位置的域名关系，能够有效地减少噪声共现关系。本发明能够通过分析域名团簇行为发现可疑的恶意域名团伙，感知恶意域名背后的关联关系，为更深层次研究恶意域名生态系统提供支撑。

Description

一种利用域名共现关系的恶意域名检测方法及系统

技术领域

本发明涉及计算机网络安全领域的恶意域名检测领域，尤其是涉及一种利用域名共现关系的恶意域名检测方法及系统。

背景技术

域名系统(domain name system,DNS)是当今互联网中重要的基础核心服务之一，负责提供统一的域名地址空间映射服务，主要将易于人类记忆的域名翻译为易于机器识别的IP地址。然而，近年来DNS遭受各种非法网络活动的滥用。例如，僵尸网络利用域名生成算法(domain generate algorithm,DGA)批量生成大量域名，构建更健壮的命令与控制(command&control,C&C)信道，逃避安全机构的封杀和屏蔽。网络诈骗犯注册与流行域名(如alipay.com)相似的域名(如al1pay.com)，搭建钓鱼网站欺骗用户，从而窃取账户敏感信息、信用卡密码等。思科2016年度安全报告中指出高达91.3％的恶意软件均会从一定程度上滥用域名系统。在诸如网络钓鱼、恶意软件、垃圾邮件、勒索诈骗、僵尸网络等攻击手段背后，域名发挥着重要作用。这些网络攻击中使用的域名称为恶意域名。及时有效地检测恶意域名在异常检测、态势感知、追踪溯源中具有极其重要的研究意义和现实价值。

现有的恶意域名检测技术可以分为以下两类：

(1)基于手工特征和机器学习的技术。这类技术的主要思路是首先根据专家经验从域名相关数据中提取域名的特征(如域名的IP地址特征、域名的访问行为、域名的词法特征等)，然后利用机器学习分类算法和域名黑白名单数据构建恶意域名分类器，最后用分类器识别更多的未知恶意域名。主要代表工作有Antonakakis等人在2010年USENIX会议273-290页提出的Notos系统、Bilge等人在2014年TISSEC期刊16(4)卷1-14页提出了Exposure系统等；

(2)基于关联关系和图推断的技术。这类技术的主要思路是首先从域名相关数据中挖掘关联关系，其次构建域名彼此之间的关联关系图，然后利用图论或其他算法从全局上计算未知域名和图上恶意节点之间的关联程度，最后判断未知域名的属性。主要代表工作有Khalil等人在2016年AsiaCCS会议663-674页提出来的方法、Peng等人在2017年TrustCom会议225-232页上提出的基于DNS CNAME记录的方法等。

在与检测技术博弈的过程中，攻击者不断地升级攻击手段，导致现有的检测技术存在以下不足：

(1)手工设计的特征存在脆弱性，敌手在了解现有检测技术提取的特征后，不断地调整域名的使用习惯和词法特征，导致之前的特征无法有效地区分正常域名与恶意域名；

(2)图推断算法计算复杂度高，无法一次性处理大规模域名数据；

(3)缺乏域名团簇层面分析，在恶意域名团体发现上表现差。

所述的域名团伙是指由同一个攻击组织或团队控制的域名集合。

发明内容

针对现有恶意域名检测技术存在的问题，本发明基于域名之间的共现关系，即在DNS流量中不同的域名请求往往会同时出现，提供了一种利用域名共现关系的恶意域名检测方法及系统。本发明利用域名请求之间的时间间隔，将DNS请求序列切割成域名共现序列，这一步骤能够有效地将不属于同一网络活动触发的域名请求划分到不同的序列中；同时利用滑动窗口从域名共现序列中提取域名共现对：一方面，滑动窗口的引入成功地消除了由于共现序列长度过长而带来的计算复杂度增加的问题；另一方面，滑动窗口只保留个域名和其窗口内域名的共现关系，而忽略与更远位置的域名关系，能够有效地减少噪声共现关系。

本发明是基于以下技术方案实现的：

一种利用域名共现关系的恶意域名检测方法，包括以下步骤：

(1)解析主机层面的DNS流量，获取请求信息，所述请求信息包括请求用户、请求域名和请求时间三元组信息；

(2)基于(1)中的三元组数据，利用时间间隔切割算法将请求用户的DNS请求序列划分为域名共现序列，所述时间间隔切割算法是指按照序列切割时间阈值τ将整个DNS请求序列切割成短小的子序列，即域名共现序列；

(3)基于(2)中的域名共现序列，利用滑动窗口方式生成域名共现对；

(4)基于(3)中的域名共现对，设计域名映射函数在保留域名共现关系的前提下，将每一个域名映射为特征向量；

(5)基于(4)中的特征向量，利用部分已知属性的正常域名和恶意域名，结合机器学习分类算法，训练恶意域名分类器，用于检测恶意域名。

(6)基于(4)中的域名特征向量和(5)中识别的恶意域名，使用机器学习聚类算法分析恶意域名团伙。

进一步地，步骤(1)所述主机层面DNS流量是指在没有经过NAT(Network AddressTranslation)网络地址转换之前的DNS流量。

进一步地，步骤(2)所述序列切割时间阈值τ是根据域名请求的时间间隔将DNS请求序列进行切割划分的重要参数。如果τ设定过大会导致无法有效地将属于不同网络活动触发的DNS请求序列切开。反之，如果τ设定过小会导致将属于同一个网络活动触发的DNS请求序列分被划分到不同的子序列。因此合适的序列切割时间阈值τ能够有效地增强本发明对恶意域名的检测效果。在实际使用中，本发明推荐设定τ为2秒、3秒、5秒等数值，同时也可以根据实际域名数据进行适当调整。

进一步地，步骤(3)中滑动窗口过大会导致距离较远的域名之间产生共现关系，从而可能引入噪声共现关系，因此在实际使用中推荐设定w为一个较小的整数，如1、2、3等。

进一步地，步骤(5)中所述机器学习分类算法包括随机森林(Random Forest)、XGBoost、深度学习等。

进一步地，上述方法的另一应用为：基于步骤(4)中的域名特征向量和步骤(5)中识别的恶意域名，使用诸如K-Means、X-Means、谱聚类等机器学习聚类算法分析恶意域名团伙。

本发明同时公开一种利用域名共现关系的恶意域名检测系统。本系统由域名数据预处理模块、域名共现序列提取模块、域名共现对提取模块、特征学习模块、恶意域名检测模块和团伙分析发现模块六部分构成，具体描述如下：

(1)域名数据预处理模块。本模块负责对DNS流量进行数据解析、噪音过滤，并按照时间顺序写入数据库。

(2)域名共现序列提取模块。本模块负责将解析的域名请求数据按照时间间隔切割算法划分成域名共现对。

(3)域名共现对提取模块。本模块负责将域名共现序列按照滑动窗口的方法生成域名共现对。

(4)特征学习模块。本模块基于域名共现对，利用嵌入学习，获取每一个域名的向量化表示，即为域名的特征向量。

(5)恶意域名检测模块。本模块可分为训练子模块和检测子模块。其中，训练子模块利用部分已知属性的正常域名和恶意域名，结合机器学习分类算法，训练恶意域名分类器；检测子模块利用训练好的分类器对未知属性的域名进行判定，检测恶意域名。

(6)团伙分析发现模块。本模块负责对模块(5)中识别的恶意域名进行更深层次的团伙分析，利用聚类算法发现域名团伙。

与公开的相关技术相比，本发明具有如下优点：

(1)能够通过无监督学习自动化地生成更加鲁棒的域名特征，使敌手更难绕过。

(2)能够处理大规模海量域名数据，无须复杂的图理论计算操作。

(3)能够通过分析域名团簇行为发现可疑的恶意域名团伙，感知恶意域名背后的关联关系，为更深层次研究恶意域名生态系统提供支撑。

附图说明

图1：本发明所述一种利用域名共现关系的恶意域名检测方法流程图；

图2：本发明域名共现序列生成示意图；

图3：本发明滑动窗口生成域名共现对示意图；

图4：本发明所述一种利用域名共现关系的恶意域名检测系统架构图。

具体实施方式

本发明的基本认知是主机层面的域名请求在时间上存在成团聚簇、伴随共现的现象，其基本依据是共现的域名之间存在紧密的关联，具有相似的域名属性。所述的域名属性是指域名是正常的还是恶意的。如发明内容相关部分所述，本发明将所公开的恶意域名检测方法分为六个步骤，流程图如图1所示。接下来将具体阐述每一个步骤。

(1)域名数据解析与预处理，具体实施方式如下：

a)针对每一条DNS请求数据包，提取请求记录(u,d,t)三元组，其中u代表请求数据包中源地址(以下简称用户)，d为请求域名，t为请求时间。

b)按照用户和请求时间对三元组集合进行排序，形成域名请求数据集其中为用户u_i请求域名的集合，代表用户u_i在时间请求域名

(2)提取域名共现序列，具体实施方式如下：

c)针对用户u_i的请求序列集合采用时间间隔的切割算法，即如果相邻的两个域名请求之间，的时间间隔大于切割阈值τ(如5秒)，便将这两个域名请求切割开来，划分到不同的域名共现序列中，反之则划分到同一个域名共现序列中。图2展示了利用时间间隔切割域名数据的示例图。

d)整合所有用户的域名共现序列，形成域名共现序列集合其中是由个n_i域名构成的序列。

(3)提取域名共现对，具体实施方式如下：

a)设定滑动窗口大小，假设为w。w为正整数。

b)针对每一个域名共现序列中的每一个域名d_j，确定其窗口范围为C(d_j)＝(d_j-w,d_j-w+1,…,d_j-1,d_j+1,d_j+2,…,d_j+w)，为d_j前w个域名和后w个域名。

c)基于域名d_j窗口范围C(d_j)，进一步提取域名共现对{(d_j,d_j-w),…,(d_j,d_j-1),(d_j,d_j+1),…,(d_j,d_j+w)}，具体流程参见图3

d)整合所有序列中提取的域名共现对，形成集合

(4)特征学习。假设映射函数f:X→Rⁿ，将每一个域名d_i∈X投影成实数空间中的一个向量v_i，具体实施方式如下：

a)设计打分函数来衡量两个域名之间共现的概率。本发明采用sigmoid函数来衡量两个域名d_i和d_j的共现概率，即

b)应用负采样技术生成不具有共现关系的负样本集合每一个负样本为一个域名对(d_i,d_j)，但是d_i和d_j不具有共现关系。

c)构建映射目标函数，使得具有共现关系的域名对之间的共现概率尽可能大，而不具有共现关系的域名对之间的共现概率尽可能小，具体如公式(1)所示，

d)采用优化算法不断迭代优化，最后得到每一个域名对应的特征向量。

(5)恶意域名检测，具体实施过程如下：

a)结合域名黑白名单，匹配数据集中出现的域名以及这部分域名对应的特征向量，形成训练集合。利用有监督的机器学习分类算法(如随机森林，XGBoost等)训练恶意域名分类器；

b)利用训练好的分类器，检测剩下未知属性的域名，识别其中的恶意域名。

(6)恶意域名团伙发现，具体实施过程如下：

a)结合步骤(4)中获得的每个域名对应的特征向量，采用聚类算法进行聚类。

b)整理聚类之后的域名团簇，形成恶意域名团伙。

本发明公开的利用域名共现关系的恶意域名检测系统主要根据本方法的上述六个步骤部署实施，使用C/C++、Python语言开发后台程序，使用Java、javascript语言开发前台界面，使用MySQL数据库管理系统搭建相关数据库。

本系统主要由域名数据采集模块、时空伴随域名序列提取模块、时空伴随域名对提取模块、特征学习模块、恶意域名检测模块和团伙分析发现模块六部分构成，系统架构图如图4所示，具体描述如下：

(1)域名预处理模块。本模块可分为数据解析子模块和数据预处理子模块。其中，数据解析子模块主要负责对原始DNS流量数据进行解析，提取(请求用户、请求域名、请求时间)三元组信息。数据预处理子模块主要负责三元组数据进行噪声过滤、数据排序，最后存入数据库。

(2)域名共现序列提取模块。本模块负责将三元组数据按照时间间隔的切割算法划分到不同的序列中，每一个序列在本发明中称之为域名共现序列。

(3)域名共现对提取模块。本模块负责将域名共现序列按照滑动窗口的方法生成域名共现对。

(4)特征学习模块。本模块负责基于域名共现对，利用嵌入学习，获取每一个域名的特征向量。

(5)恶意域名检测模块。本模块可分为训练子模块和检测子模块。其中，训练子模块利用部分已知属性的正常域名和恶意域名，结合机器学习分类算法，训练恶意域名分类器；检测子模块利用训练好的分类器对未知属性的域名进行判定，检测恶意域名。

(6)团伙分析发现模块。本模块负责对检测出的恶意域名进行更深层次的团伙分析，利用聚类算法发现域名团伙。

实施例

本实施例利用一个企业网下近2个月的DNS流量数据进行实验。本发明提出的方法主要涉及到3个参数：1)序列切割时间间隔τ；2)滑动窗口大小w；3)每个域名特征向量的维度d。本实施例实验中选取τ∈{2,3,5}，w∈{1,2,3}和d∈{100,200,300}，共27种参数组合。针对每一组参数(τ,w,d)，实验中采用标准的10-Fold交叉验证的方式来评估实验效果。实验中首先将训练数据集随机平均地分为10份，其中9份作为训练集，剩下1份作为测试集，获取在测试集上的检测效果。然后如此重复10次，让每一份数据均能作为测试集。最后，将10次的平均结果作为这组参数的最终实验结果。

本实施例选用3个主流的有监督的机器学习算法作为恶意域名检测的分类器。

1)随机森林(Random Forest):一种通过集成学习的思想将多棵决策树集成起来形成决策森林的算法。

2)XGBoost:XGBoost是一种面向基础的GradientBoosting算法的优化版本，具有的高效的运行效率、灵活性和可移植性。

3)深度神经网络(deep neural network，DNN):实验中构建了一个四层的神经网络，层与层之间采用全连接网络。第2、3、4层的神经元个数依次设定为128、32、2，非线性激活函数采用Relu函数，最后采用softmax函数归一化输出结果。训练过程采用交叉熵函数构建模型的损失函数，通过随机梯度下降算法来最小化损失函数。

详细实验结果如表1所示。RandomForest平均能够达到93.97％的F-Measure，91.80％的精度和96.30％的召回率。XGboost平均能够达到94.06％的F-Measure，91.41％的精度和96.90％的召回率。DNN平均能够达到93.85％的F-Measure，91.76％的精度和96.05％的召回率。综上可知，在3种不同的分类算法下本发明均能够有效地检测恶意域名。

表1检测效果

Claims (10)

1.一种利用域名共现关系的恶意域名检测方法，包括以下步骤：

(1)解析主机层面的DNS流量，获取请求信息，所述请求信息包括请求用户、请求域名和请求时间三元组信息；

(2)基于(1)中的三元组数据，按照序列切割时间阈值τ将请求用户的DNS请求序列进行切割，划分为域名共现序列；

(3)基于(2)中的域名共现序列，生成域名共现对；

(4)基于(3)中的域名共现对，在保留域名共现关系的前提下，将每一个域名映射为特征向量；

(5)将(4)中的特征向量输入恶意域名分类器以检测恶意域名；

其中所述恶意域名分类器通过下述步骤得到：

按照上述步骤(1)-(4)得到特征向量，利用已知属性的正常域名和恶意域名，结合机器学习分类算法进行训练，得到恶意域名分类器。

2.如权利要求1所述一种利用域名共现关系的恶意域名检测方法，其特征在于，步骤(1)中主机层面DNS流量未经NAT网络地址转换。

3.如权利要求1所述一种利用域名共现关系的恶意域名检测方法，其特征在于，步骤(1)还包括：按照请求用户和请求时间对三元组集合进行排序，形成域名请求数据集其中为用户u_i请求域名的集合，代表用户u_i在时间请求域名

4.如权利要求3所述一种利用域名共现关系的恶意域名检测方法，其特征在于，步骤(2)具体为：针对用户u_i的请求序列集合D_i，将相邻的两个域名请求之间的时间间隔大于切割阈值τ的两个域名请求切割开来，划分到不同的域名共现序列中，反之则划分到同一个域名共现序列中。

5.如权利要求3所述一种利用域名共现关系的恶意域名检测方法，其特征在于，步骤(3)具体为：

(3-1)设定滑动窗口w大小；

(3-2)针对每一个域名共现序列中的每一个域名d_j，确定其窗口范围为C(d_j)＝(d_j-w,d_j-w+1,…,d_j-1,d_j+1,d_j+2,…,d_j+w)，为d_j前w个域名和后w个域名；

(3-3)基于域名d_j窗口范围C(d_j)，进一步提取域名共现对{(d_j,d_j-w),…,(d_j,d_j-1),(d_j,d_j+1),…,(d_j,d_j+w)}；

(3-4)整合所有序列中提取的域名共现对，形成集合

6.如权利要求3所述一种利用域名共现关系的恶意域名检测方法，其特征在于，步骤(4)具体为：

(4-1)采用sigmoid函数衡量两个域名d_i和d_j的共现概率，即：

(4-2)应用负采样技术生成不具有共现关系的负样本集合每一个负样本为一个域名对(d_i,d_j)，但是d_i和d_j不具有共现关系；

(4-3)构建如下映射目标函数：

(4-4)采用优化算法不断迭代优化，最后得到每一个域名对应的特征向量。

7.如权利要求3所述一种利用域名共现关系的恶意域名检测方法，其特征在于，步骤(5)机器学习分类算法包括随机森林、随机森林、深度神经网络。

8.基于权利要求1-7任一所述方法检测恶意域名团伙的方法，包括如下步骤：

(1)结合每个域名所对应的特征向量，采用机器学习聚类算法进行聚类；

(2)整理聚类之后的域名团簇，形成恶意域名团伙。

9.一种利用域名共现关系的恶意域名检测系统，包括：

(1)域名数据预处理模块：负责对DNS流量进行数据解析、噪音过滤，并按照时间顺序写入数据库；

(2)域名共现序列提取模块：负责将解析的域名请求数据按照时间间隔切割算法划分成域名共现对；

(3)域名共现对提取模块：负责将域名共现序列按照滑动窗口的方法生成域名共现对；

(4)特征学习模块：基于域名共现对，利用嵌入学习，获取每一个域名的向量化表示，即为域名的特征向量；

(5)恶意域名检测模块：本模块可分为训练子模块和检测子模块；其中，训练子模块利用部分已知属性的正常域名和恶意域名，结合机器学习分类算法，训练恶意域名分类器；检测子模块利用训练好的分类器对未知属性的域名进行判定，检测恶意域名。

10.如权利要求9所述的检测系统，还包括：团伙分析发现模块，该模块负责对恶意域名检测模块中识别的恶意域名进行团伙分析，利用机器学习聚类算法发现域名团伙。