CN106375345B - 一种基于周期性检测的恶意软件域名检测方法及系统 - Google Patents

Abstract

本发明提出一种基于周期性检测的恶意软件域名检测方法，包含以下步骤：1)对输入数据进行过滤，得到一个稀少域名集合；2)从稀少域名集合中提取出<请求主机，稀少域名>的请求时间序列，对其进行周期性检测，得到周期性域名集合；3)获取周期性域名集合中每一个周期性域名的特征向量；4)将周期性域名集合中周期性域名进行人工标记，根据特征向量，使用标注好的合法域名和恶意域名对分类器进行训练；5)将新的未标注域名作为步骤4)训练后的分类器的输入进行检测，输出结果为恶意软件域名。能够在隐蔽通信中发现具有周期性的恶意软件域名。同时提出基于上述方法的系统。

Description

一种基于周期性检测的恶意软件域名检测方法及系统

技术领域

本发明涉及一种基于周期性检测的恶意软件域名检测方法及系统，属于网络安全领域。

背景技术

DNS(Domain Name System，域名系统)是互联网上的关键基础设施，其主要的作用是将域名和IP地址进行映射。然而，许多恶意软件利用DNS来定位远程命令和控制(C&C)服务器，从而进行一系列的恶意活动。近年来网络安全研究迅猛发展，但是许多攻击者通过研制特殊的恶意软件来逃避现有的安全策略，恶意软件和C&C服务器的通信非常隐蔽，难以被发现。少量的恶意域名请求混在大量的DNS数据中，使得发现恶意域名的工作难以进行。

现有的研究和实践已经表明，许多不同的恶意软件所遵循的生命周期基本一致：当恶意软件在受害主机运行后，首先会确保自己不被发现，然后不断回联C&C服务器通信来接受指令或进行更新。

现有的恶意软件域名的研究目标主要集中在Fast-Flux域名、钓鱼域名和算法生成域名(DGA)等，如中国发明专利申请“一种基于DNS解析数据的恶意域名检测方法及系统”(申请号：201510477268.9)中公开了一种基于DNS解析数据的恶意域名解析方法，该方法通过对DNS解析数据、公开的黑名单和白名单、域名字符串特征和解析日志数据属性来鉴别域名是否为恶意域名，在另一件中国发明专利申请“基于随机森林的DGA域名检测方法”(申请号：201510971299.X)中公开了一种基于随机森林的DGA域名检测方法，该方法利用黑名单和白名单中的域名进行训练，使用得到的随机森林算法分类器对新的域名进行预测。现有的研究对隐蔽性很高的恶意软件域名作用较小，这些域名在许多特征上与正常域名非常相似，无法通过现有的检测方法发现这类软件恶意域名。

发明内容

不同于现有的研究，本发明的目的是在隐蔽通信中发现具有周期性的恶意软件域名。由于许多不同的恶意软件所遵循的生命周期基本一致，本发明从恶意软件与C&C服务器通信的行为入手。实践表明，有一些C&C通信行为具有周期性，这种周期性不仅是指单周期性，还包含多周期，此处的多周期是指这些不同的周期都是一个固定数目的倍数或有限集合中的元素。本发明所要解决的技术问题是：提供一种基于周期性检测的恶意软件域名检测方法及系统，首先提取出具有周期性的域名，然后采用机器学习的算法鉴别域名，最后得到恶意软件域名。能够检测隐蔽性很高的恶意软件域名。

为实现上述目的，本发明提出了一种基于周期性检测的恶意软件域名分类器构造方法，包含以下步骤：

1)对输入数据进行过滤，得到一个稀少域名集合；

2)从稀少域名集合中提取出一请求时间序列，对其进行周期性检测，得到周期性域名集合；

3)获取周期性域名集合中每一个周期性域名的特征向量；

4)将周期性域名集合中周期性域名进行人工标记，根据特征向量，使用标注好的合法域名和恶意域名对分类器进行训练；

更进一步，步骤1)中所述输入数据为DNS数据或HTTP数据；所述DNS数据包含的字段为域名请求时间、域名、源IP、域名解析应答、目的IP；所述HTTP数据包含的字段为域名请求时间、域名、源IP、域名解析应答。

更进一步，步骤1)中所述对输入数据进行过滤包括：

1-1)重复性过滤，过滤已经分析过的域名；

1-2)白名单过滤，过滤一白名单列表中的域名；

1-3)常用域名过滤，过滤超过10次不同主机请求的域名。

更进一步，步骤2)中通过时间序列提取方法从稀少域名集合中提取出<请求主机，稀少域名>的请求时间序列。

更进一步，所述时间序列提取方法包括：

2-1-1)给定稀少域名和源IP，提取出<请求主机，稀少域名>的请求时间集合；

2-1-2)将上述请求时间集合元素从小到大排序，并将其连接，获得<请求主机，稀少域名>的请求时间序列。

更进一步，步骤2)中所述周期性检测包括：

2-2-1)求出请求时间序列中的每两个相邻时间的间隔，统计每个时间间隔出现的次数，形成时间间隔集合；

2-2-2)将时间间隔集合转化为直方图；该直方图的横坐标对应于时间间隔，纵坐标对应于次数；

2-2-3)对上述直方图进行均匀判断阶段和/或非均匀连续倍数判断阶段，输出周期性域名。

更进一步，所述均匀判断阶段包括比较当前直方图和一构造直方图的相似性，该构造直方图由高度大于当前直方图中最大值的一半的直条构成；如果相似性小于一阈值，则输出此域名为周期性域名；否则，进行非均匀连续倍数判断阶段；

所述非均匀连续倍数判断阶段包括将2-2-2)中获得的直方图的横坐标视为新的序列，将此序列从小到大排序，计算出本序列的间隔集合，并将该集合转化为新的直方图，比较此新的直方图和构造直方图的相似性，如果相似性小于前述阈值，则输出此域名为周期性域名；否则，输出此域名为非周期性域名。

更进一步，所述当前直方图或新的直方图与构造直方图的相似性，定义如下：

当前直方图或新的直方图H＝[(b_i，h_i)]，构造直方图K＝[(b_i，k_i)]，另定义那么，H和K的相似性为：

更进一步，步骤3)中所述每一个周期性域名的特征向量中的特征值包括下列中的一项或多项：

3-1)每个请求主机上请求该域名的平均请求次数；

3-2)该域名的所有<请求主机，稀少域名>请求序列中，周期性的<请求主机，稀少域名>请求序列所占比例；

3-3)请求该域名的不同的主机数目；

3-4)该域名的解析IP地址是否包含静默IP地址；

3-5)该域名的不同解析IP地址的数目；

3-6)该域名的解析IP地址所在不同国家的数目；

3-7)该域名是否出现在搜索结果的前三条结果中；

3-8)该域名注册商的类别；

3-9)该域名从注册日期到被最新请求时间的天数；

3-10)该域名从被最新请求时间到过期日期的天数；

3-11)输入数据为DNS数据时，该域名所使用的不同的不常见递归解析服务器的数目；

3-12)输入数据为DNS数据时，该域名所使用的不常见递归解析服务器所在不同子网的数目。

本发明还提出一种基于周期性检测的恶意软件域名检测方法，包括：将待测域名作为前述训练后的分类器的输入进行检测，以检测恶意软件域名。

本发明还提出了一种基于周期性检测的恶意软件域名检测系统，包括：过滤模块、周期性检测模块、特征获取模块、分类器和检测模块；其中：

所述过滤模块，用于对输入数据进行过滤，得到稀少域名集合；

所述周期性检测模块，用于从稀少域名集合中提取出在<请求主机，稀少域名>请求时间序列，对其进行周期性检测，得到周期性域名集合；

所述特征获取模块，用于获取周期性域名集合中每一个周期性域名的特征向量；

在训练阶段将周期性域名集合中周期性域名进行人工标记，根据特征向量，使用标注好的合法域名和恶意域名对所述分类器进行训练；

所述检测模块，用以在检测阶段将待测域名作为训练后的分类器的输入进行检测，输出结果为恶意软件域名。

本发明的有益效果

本发明基于恶意软件与C&C服务器通信行为的周期性，提出周期性检测算法发现恶意域名。采用本发明的方法能够发现现有技术难以发现的隐蔽性强的恶意域名。传统的周期性是指单周期性，容易被现有的检测手段发现，而隐蔽性强的恶意域名采用多周期性，此处的多周期是指这些不同的周期都是一个固定数目的倍数或有限集合中的元素。周期性域名中混有大量的正常域名，因此需要进一步的域名分类，本发明提出了基于域名请求行为、域名解析应答、主动探测和基于递归解析DNS服务器等新特征，以此来鉴别恶意域名。

附图说明

图1为本发明基于周期性检测的恶意软件域名检测方法及系统一实施例中系统整体架构中的训练阶段示意图。

图2为本发明基于周期性检测的恶意软件域名检测方法及系统一实施例中系统整体架构中的检测阶段示意图。

图3为本发明基于周期性检测的恶意软件域名检测方法及系统一实施例中周期性检测算法中的判断流程图。

图4为本发明基于周期性检测的恶意软件域名检测方法及系统一实施例中周期性检测算法中的直方图比较示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。

实施例1，输入数据为DNS日志数据，其日志记录如下，

1469728799.867867 CcR4Mx1S79oPL1RDdk 192.168.89.1 43755114.114.114.114 53 udp 30407 a.b.c.com 1 C_INTERNET 1 A 0 NOERROR F F T T 010.10.99.230 57.000000 F

提取以下字段：

如图1所示，此图表示本发明方案中的训练阶段，本阶段结束后，生成一个分类器，在检测阶段用该分类器来鉴别域名；如图2所示，此图表示本发明方案中的检测阶段，本阶段需要用到训练阶段得到的分类器，此阶段结束后，产生恶意域名集合。

检测阶段和训练阶段的过滤模块、周期性检测模块、特征获取模块处理流程基本相同，不同点在检测阶段的特征获取模块之前不再进行人工验证环节。在检测模块，通过利用训练阶段产生的分类器和新域名的特征向量，预测新域名是否为恶意，输出结果为恶意软件域名集合。

根据图1和图2，详细介绍各个模块：

1)输入DNS日志数据，输出为稀少域名集合。采取的过滤策略如下：

a)重复性过滤。将已经分析过的域名保存，过滤掉这些域名。

b)白名单过滤。维持一个包含Alexa排名前100万的域名和特定网络环境下域名集合的白名单，过滤白名单域名。

c)常用域名过滤。将被超过10个不同主机请求过的域名进行过滤。其中，10为过滤阀值，若请求过域名的不同主机数量超过该过滤阈值，则将该域名过滤。此处的过滤阈值设置为10，如果超过10个主机访问此域名，说明该域名为正常域名的概率很高，另外此过滤阈值可以根据具体的环境来动态调整，本领域技术人员在获悉本发明说明书公开内容基础上，应可了解如何调整该过滤阀值。

2)输入为稀少域名的DNS日志数据，输出为周期性域名。

a)给定一个待检测目标元组<源IP，稀少域名>，提取出请求时间序列L＝<T1-T2-T3……>，如<159.226.89.1，a.b.c.com>，对应的时间序列为(1461686450-1461687127-1461687353-1461689834-1461693445…-1462108528-1462112136)

b)将请求时间序列的时间间隔提取出来，统计每个时间间隔出现的次数。在本实施例中，得到集合S＝{(677,7),(226,2),(2481,8),…(3721,1)}，集合中的每一个元素格式为<时间间隔，出现次数>。

c)对集合S中的元素按照每个元素的第二个值出现次数进行排序，得到排序好的集合T＝{(3611,12),(2708,11)(3383,9),…(2943,1)}，将这个集合中的每个元素的第一个值作为横坐标，第二个值作为纵坐标，画出直方图并进行逻辑判断，其中直方图对应于元组对<时间间隔，次数>集合。直方图转化过程为：顺序遍历时间间隔集合，元组对集合初始化为空，如果当前时间间隔和当前元组对集合中某个元素的时间间隔相距小于组距，则将这个元组对的次数加一；否则，新建一个元组对<时间间隔，1>；迭代进行上述过程直到遍历完时间间隔集合；然后将直方图按照直条的高低进行由大到小排序；逻辑判断过程如图3。

d)均匀判断阶段，两个直方图的比较策略如图4所示，通过均匀判断检测出的攻击模型为：攻击者可选的时间间隔集合为一个固定数目的倍数或有限集合中的元素，均匀地选择集合中的元素；具体的判断方法为：比较当前直方图和构造直方图的相似性，此处构造直方图是由高度大于当前直方图中最大值的一半的直条构成的；如果相似性小于阈值，则输出此域名为周期性域名；否则，进行非均匀连续倍数判断阶段；此处的阈值是根据具体的环境来设置并调整，在了解说明书公开技术内容的前提下，本领域技术人员当可了解如何设定合适的阀值进行相似性判断，在此不再赘述。

此实例在进行均匀判断时，相似性大于阈值，继续进行后续判断。

e)非均匀连续倍数判断阶段，两个直方图的比较策略如图4所示，此实例在进行此判断时，相似性小于阈值，得出此序列是周期性序列。非均匀连续倍数判断检测出的攻击模型为：攻击者可选的时间间隔集合为一个固定数目的连续倍数，不均匀地选择集合中的元素；具体的判断方法为：将c)中获得的直方图的横坐标视为新的序列，将此序列从小到大排序，计算出本序列的间隔集合，并使用c)的转化方法将该集合转化为新的直方图，比较此新的直方图和构造直方图的相似性，此处构造直方图是由高度大于当前直方图中最大值的一半的直条构成的；如果相似性小于一阈值，则输出此域名为周期性域名；否则，输出此域名为非周期性域名。此处的阈值与d)中阈值相同。

3)输入为周期性的域名、DNS源数据、搜索引擎信息和Whois信息，输出为周期性域名的十二维特征向量，所述十二维特征向量，具体描述如下：

1st.每个请求主机上请求该域名的在的平均请求次数。特征类型为浮点型。

2nd.该域名的所有<请求主机，稀少域名>请求序列中，周期性的<请求主机，稀少域名>请求序列所占比例。特征类型为浮点型。

3rd.请求该域名的不同的主机数目。特征类型为整型。

4th.该域名的解析IP地址是否包含静默IP地址。静默IP地址包括127.0.0.1，私有地址，无效地址和预先地址的地址。特征类型为布尔型。

5th.该域名的不同解析IP地址的数目。特征类型为整型。

6th.该域名的解析IP地址所在不同国家的数目。特征类型为整型。

7th.该域名是否出现在百度搜索结果的前三条结果中。特征类型为布尔型。

8th.该域名注册商的类别。本实施例中将注册商分为三类：第一类是中国的注册商；第二类是可疑的注册商，如GoDaddy.com；第三类是其他注册商。特征类型为整型。

9th.该域名从注册日期到被最新请求时间的天数。特征类型为整型。

10th.该域名从被最新请求时间到过期日期的天数。特征类型为整型。

11th.该域名所使用的不同的不常见递归解析服务器的数目。此处的不常见递归解析服务器是指不包含在白名单中的递归解析服务器，白名单包括等大型公开DNS解析服务器和企业内部的DNS解析服务器。此特征仅在DNS数据运行时使用。特征类型为整型。

12th.该域名所使用的不常见递归解析服务器所在不同子网的数目。此特征仅在DNS数据运行时使用。特征类型为整型。

上述特征向量为示例性说明，在具体的运行环境中可以进行选取或增补。

4)根据以上的十二维特征向量，使用标记好的周期性合法域名和周期性恶意域名进行训练，得到一个分类器，在此实施例中，所使用的分类器算法是逻辑回归。在检测阶段，将新的未标注域名x.y.z.com输入到分类器中，分类器将对此域名作出判断，输出此域名是恶意域名或合法域名。

实施例2，输入数据为HTTP日志数据，其日志记录如下，

1469722499.521614CrswjI3seBj0Mb0mKe 192.168.115.155 22029 10.10.231.180 1 GET o.p.q.com/ka.js http://o.p.q.com/ciba/test/Mozilla/5.0(compatible；MSIE 10.0；Windows NT 6.1；WOW64；Trident/7.0)0 0 304 Not Modified---(empty)-------

提取以下字段：

字段	请求域名时间	请求域名	源IP	域名解析应答IP
					示例	1444410000.416519	o.p.q.com	192.168.115.155	10.10.231.1

此实施例的处理过程跟Bro的DNS数据基本相同，只是在源数据字段上，Bro的HTTP数据没有目的IP字段，在特征获取模块中无法使用的第11个特征和第12个特征，其余的处理流程基本相同。

通过统计，相较于现有技术的域名检测方法，采用上述实施例的基于周期性检测的恶意软件域名检测方法的检测效率和准确性均有所提高。

显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (9)

1.一种基于周期性检测的恶意软件域名分类器构造方法，包含以下步骤：

1)对输入数据进行过滤，得到一个稀少域名集合；

2)从稀少域名集合中提取出一请求时间序列，对其进行周期性检测，得到周期性域名集合；

所述周期性检测包括：

2-2-1)求出请求时间序列中的每两个相邻时间的间隔，统计每个时间间隔出现的次数，形成时间间隔集合；

2-2-2)将时间间隔集合转化为直方图；该直方图的横坐标对应于时间间隔，纵坐标对应于次数；

2-2-3)对上述直方图进行均匀判断阶段和/或非均匀连续倍数判断阶段，输出周期性域名；

所述均匀判断阶段包括比较当前直方图和一构造直方图的相似性，该构造直方图由高度大于当前直方图中最大值的一半的直条构成；如果相似性小于一阈值，则输出此域名为周期性域名；否则，进行非均匀连续倍数判断阶段；

所述非均匀连续倍数判断阶段包括将2-2-2)中获得的直方图的横坐标视为新的序列，将此序列从小到大排序，计算出本序列的间隔集合，并将该集合转化为新的直方图，比较此新的直方图和构造直方图的相似性，如果相似性小于前述阈值，则输出此域名为周期性域名；否则，输出此域名为非周期性域名；

3)获取周期性域名集合中每一个周期性域名的特征向量；

4)将周期性域名集合中周期性域名进行人工标记，根据特征向量，使用标注好的合法域名和恶意域名对分类器进行训练。

2.如权利要求1所述的基于周期性检测的恶意软件域名分类器构造方法，其特征在于，步骤1)中所述输入数据为DNS数据或HTTP数据；所述DNS数据包含的字段为域名请求时间、域名、源IP、域名解析应答、目的IP；所述HTTP数据包含的字段为域名请求时间、域名、源IP、域名解析应答。

3.如权利要求1所述的基于周期性检测的恶意软件域名分类器构造方法，其特征在于，步骤1)中所述对输入数据进行过滤包括：

1-1)重复性过滤，过滤已经分析过的域名；

1-2)白名单过滤，过滤一白名单列表中的域名；

1-3)常用域名过滤，过滤超过10次不同主机请求的域名。

4.如权利要求1所述的基于周期性检测的恶意软件域名分类器构造方法，其特征在于，步骤2)中通过时间序列提取方法从稀少域名集合中提取出<请求主机，稀少域名>的请求时间序列。

5.如权利要求4所述的基于周期性检测的恶意软件域名分类器构造方法，其特征在于，所述时间序列提取方法包括：

2-1-1)给定稀少域名和源IP，提取出<请求主机，稀少域名>的请求时间集合；

2-1-2)将上述请求时间集合元素从小到大排序，并将其连接，获得<请求主机，稀少域名>的请求时间序列。

6.如权利要求1所述的基于周期性检测的恶意软件域名分类器构造方法，其特征在于，所述当前直方图或新的直方图与构造直方图的相似性，定义如下：

当前直方图或新的直方图H＝[(b_i,h_i)]，构造直方图K＝[(b_i,k_i)]，另定义那么，H和K的相似性为：

7.如权利要求1所述的基于周期性检测的恶意软件域名分类器构造方法，其特征在于，步骤3)中所述每一个周期性域名的特征向量中的特征值包括下列中的一项或多项：

3-1)每个请求主机上请求该域名的平均请求次数；

3-2)该域名的所有<请求主机，稀少域名>请求序列中，周期性的<请求主机，稀少域名>请求序列所占比例；

3-3)请求该域名的不同的主机数目；

3-4)该域名的解析IP地址是否包含静默IP地址；

3-5)该域名的不同解析IP地址的数目；

3-6)该域名的解析IP地址所在不同国家的数目；

3-7)该域名是否出现在搜索结果的前三条结果中；

3-8)该域名注册商的类别；

3-9)该域名从注册日期到被最新请求时间的天数；

3-10)该域名从被最新请求时间到过期日期的天数；

3-11)输入数据为DNS数据时，该域名所使用的不同的不常见递归解析服务器的数目；

3-12)输入数据为DNS数据时，该域名所使用的不常见递归解析服务器所在不同子网的数目。

8.一种基于周期性检测的恶意软件域名检测方法，包括：将待测域名作为如权利要求1至7任一项所述训练后的分类器的输入进行检测，以检测恶意软件域名。

9.一种基于周期性检测的恶意软件域名检测系统，其特征在于，包括：过滤模块、周期性检测模块、特征获取模块、分类器和检测模块；

所述过滤模块，用于对输入数据进行过滤，得到稀少域名集合；

所述周期性检测模块，用于从稀少域名集合中提取出一请求时间序列，对其进行周期性检测，得到周期性域名集合；

所述特征获取模块，用于获取周期性域名集合中每一个周期性域名的特征向量；

在训练阶段将周期性域名集合中周期性域名进行人工标记，根据特征向量，使用标注好的合法域名和恶意域名对所述分类器进行训练；

所述检测模块，用以在检测阶段将待测域名作为训练后的分类器的输入进行检测，输出结果为恶意软件域名；

所述周期性检测包括：

2-2-1)求出请求时间序列中的每两个相邻时间的间隔，统计每个时间间隔出现的次数，形成时间间隔集合；

2-2-2)将时间间隔集合转化为直方图；该直方图的横坐标对应于时间间隔，纵坐标对应于次数；

2-2-3)对上述直方图进行均匀判断阶段和/或非均匀连续倍数判断阶段，输出周期性域名；

所述均匀判断阶段包括比较当前直方图和一构造直方图的相似性，该构造直方图由高度大于当前直方图中最大值的一半的直条构成；如果相似性小于一阈值，则输出此域名为周期性域名；否则，进行非均匀连续倍数判断阶段；

所述非均匀连续倍数判断阶段包括将2-2-2)中获得的直方图的横坐标视为新的序列，将此序列从小到大排序，计算出本序列的间隔集合，并将该集合转化为新的直方图，比较此新的直方图和构造直方图的相似性，如果相似性小于前述阈值，则输出此域名为周期性域名；否则，输出此域名为非周期性域名。