CN112910929B - 基于异质图表示学习的恶意域名检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于异质图表示学习的恶意域名检测方法及装置，包括：通过采集DNS流量数据与构建域名白名单及域名黑名单，得到正常域名标注数据集与恶意域名标注数据集；根据DNS流量数据构造DNS场景异质图，获取各节点初始特征，并利用正常域名标注数据集与恶意域名标注数据集对DNS场景异质图中的域名节点标注；通过异质图神经网络半监督学习，获取DNS场景异质图中各未标注域名节点的预测结果。本发明通过提取DNS流量中的域名、IP地址等字段，构建DNS场景异质图，并采用异质图表示学习方法融合域名的属性特征及相关拓扑结构信息，可对具备完备关联模式的恶意域名、新出现的恶意域名及关联模式不完备的恶意域名进行识别，提升了恶意域名检测的准确率。

Description

基于异质图表示学习的恶意域名检测方法及装置

技术领域

本发明属于网络信息安全领域，尤其涉及一种基于异质图表示学习的恶意域名检测方法及装置。

背景技术

在互联网高速发展的今天，网络安全是我们永远无法回避的话题。数据泄露、勒索软件、拒绝服务攻击等网络攻击事件层出不穷，给企业和组织造成巨大的损失。DNS(DomainName System，域名系统)作为互联网的重要基础设施，具有将域名解析为IP的功能。而DNS流量通常不会被检测或拦截，这使得攻击者可以利用DNS通信对被感染主机及其所在网络进行渗透。域名逐渐成为各类网络攻击事件的载体。根据思科的一项研究报告指出，约91.3％的恶意软件在攻击中使用了DNS，而68％的企业不监控DNS。因此，检测恶意域名刻不容缓。

目前，恶意域名检测的方法可以分为三大类方法：基于测量的方法、基于特征的方法、基于关系的方法。

基于测量的方法：Sato和Choi从域名查询信息中测量发现属于同一恶意软件家族的域名往往会被同一主机查询到，因此，通过测量已知恶意域名与未分类域名之间的共现程度，并将结果与阈值进行比较，可以检测到新的恶意域名。Grill发现基于DGA恶意软件需要通过大量DNS解析才能找到正常通信的域名。测量发现感染DGA恶意软件的主机，其DNS解析数量远大于后续的通信数量。通过比较两者之间的比率和设定的阈值，可以检测到感染恶意软件的主机，进而发现用于通信的恶意域名。这类方法实现比较简单，但是分类能力不强，通常只能针对一种恶意行为；此外，由于需要人为设定阈值，容易产生误报、漏报。

基于特征的方法：Bilge提出EXPOSURE检测系统，它依赖于从被动DNS流量中提取的四组统计特征：基于时间的特征、基于DNS响应的特征、基于TTL的特征和域名词法特征，并使用J48决策树分类器来训练数据。Schuppen提出了FANCI检测系统，它只从NXD的响应信息构建了三大类特征：域名结构特征、域名语言学特征、域名统计特征，最后使用SVM、RF进行分类。Erdisci通过引入域名的IP变迁情况提取了共13个特征，并首次使用聚类算法检测fast-flux域名，设计并实现了fluxBuster系统。实现也比较简单，但是由于需要抽取特征信息，因此需要了解对应的领域知识。对于监督学习方法，由于黑白名单的易变性，造成无法获得完整且精确的标注数据集，此外监督学习所使用的模型通常会对特定数据集产生过拟合，从而无法有效识别具备新型特征的恶意域名集。而对于无监督学习方法，这类方法设计起来更难，完全依靠数据自身特性，聚类效果的好坏也极大依赖于抽取的特征。

基于关系的方法：这类方法可对恶意域名的逃避策略、受感染主机的查询行为进行挖掘。分为两大类方法：基于传统图计算的方法、基于图表示学习的方法。基于传统图计算的方法通常是在构造的域名相关的图上进行节点标签信息传播。Sun提出Hindom框架，将DNS场景构造成包含主机、域名、解析IP三种类型节点的异构信息网络，通过设计一些元路径计算得到域名间相似矩阵，最后利用LLGC算法来推断域名的标签。基于图表示的方法目标是将图中域名节点转化为低维向量表示，其核心思想是利用邻居信息表示自己，使得图上相邻域名在表示空间上尽可能相近，间接刻画域名间相关程度。Peng认为具有相似解析信息的域名具有相似的特性，基于被动流量，构建域名-IP解析图，在图上运用经典图嵌入方法LINE算法学习域名的表示，最后使用RF等算法进行分类。通过域名间的直接或间接关联关系，利用图的推理能力，可以对采用domain-flux、fast-flux等技术的恶意域名进行识别。对于传统图计算方法，由于相关方法通常需要在全图上进行，速度较慢，计算耗时长。对于图表示学习方法，这类方法的表达能力更强，能捕获恶意域名的局部关联模式。但是，前人工作多是基于单个域名相关二部图，忽略了其它域名关联信息。

综上所述，当前流行的恶意域名检测主要为基于特征的方法和基于关系的方法，基于特征的方法可以挖掘恶意域名在特征层级的潜在模式，但此类方法将每一个域名视作独立的对象，忽略了域名之间存在的直接或间接地关系；基于关系的方法中，利用传统图计算的方法耗时较长，拓展性比较弱，而近年来流行的图表示学习方法可以在图上挖掘恶意域名局部关联模式，但已有的方法利用的信息往往不全面，或是分阶段的处理方法，这无疑会造成信息的损耗。此外，目前鲜有方法同时利用域名的属性特征以及关联结构信息。

发明内容

本发明的目的在于提供一种基于异质图表示学习的恶意域名检测方法及装置，基于网关服务器捕获的DNS流量以及公开域名黑白名单，抽取相关信息，对无价值信息进行过滤，将处理后的DNS流量数据建模成异质图，提取图中节点特征，利用异质图表示学习方法对恶意域名进行识别，及时识别恶意域名，并提升恶意域名检测的准确性。

为达到以上目的，本发明采用如下技术方案：

一种基于异质图表示学习的恶意域名检测方法，其步骤包括：

1)构建域名白名单及域名黑名单，采集DNS流量数据，并将DNS流量数据分别与域名白名单及域名黑名单进行匹配，构造正常域名标注数据集与恶意域名标注数据集；

2)解析DNS流量数据，并基于从DNS流量数据中抽取的信息构造节点，基于域名请求信息在域名与相应请求客户端之间构造第一无向边，基于域名响应信息在域名与相应解析IP之间构造第二无向边，以构造DNS场景异质图，其中所述节点的类型包括：域名节点、请求客户端节点和解析IP节点；

3)提取各节点的节点特征，作为初始节点特征；

4)利用正常域名标注数据集与恶意域名标注数据集，对相应的域名节点进行标注，得到DNS场景异质图中已标注域名节点；

5)通过DNS场景异质图中已标注域名节点及各节点的初始节点特征，进行异质图神经网络半监督学习，获取DNS场景异质图中各未标注域名节点的预测结果。

进一步地，通过以下步骤构建域名白名单：

1)获取若干时间点的Alexa Top-1m列表文件；

2)将同时出现在各Alexa Top-1m列表文件中的域名作为白名单数据，得到域名白名单。

进一步地，通过以下步骤构建域名黑名单：

1)定期爬取安全套件或安全社区发布的恶意域名列表；

2)从各恶意域名列表中抽取出域名信息，并进行整合作为初始黑名单；

进一步地，通过以下策略采集DNS流量数据：

1)在网关服务器执行捕包程序，捕获DNS流量；

2)从网关服务器DNS流量泛收日志数据库中，提取某一时间段内的日志信息。

进一步地，在将DNS流量数据分别与域名白名单及域名黑名单进行匹配之前，对DNS流量数据进行预处理；所述预处理包括：对无效请求域名进行过滤和对无价值数据进行过滤。

进一步地，所述域名节点的节点特征包括：域名结构特征、域名语言学特征和域名统计特征。

进一步地，所述域名结构特征包括：域名长度、域名深度、子域名平均长度、前缀是否为“www.”、是否有有效的顶级域名(TLD)、是否有TLD作为子域名、全部由数字构成的子域名的比率、全部由十六进制构成的子域名比率、下划线比率和是否包含IP地址。

进一步地，所述域名语言学特征包括：是否包含数字、元音字母比率、数字比率、重复字符比例和连续数字比率。

进一步地，所述域名统计特征包括：N-gram分布、熵值、唯一请求客户端数目、平均请求数目和唯一解析IP数目。

进一步地，所述请求客户端节点特征包括：唯一请求域名数量和请求总数。

进一步地，所述解析IP节点特征包括：唯一解析域名数量和解析总数。

进一步地，通过以下步骤获取DNS场景异质图中各未标注域名节点的预测结果：

1)对于第一个图神经网络层，将DNS场景异质图中的各节点分别作为目标节点，将目标节点的相应邻居节点的初始节点特征投影到目标节点，并利用注意力机制获得的不同邻居节点对目标节点的权重进行邻居信息聚合，得到第一层特征表示

2)通过L个的图神经网络层，获得最终节点表示

其中L＞1；

3)利用一全连接网络，并根据最终节点表示

获取DNS场景异质图中各未标注域名节点的预测结果。

进一步地，进行异质图神经网络半监督学习，利用交叉熵作为损失函数，并使用Adam进行优化。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述所述的方法。

一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机以执行上述所述的方法。

与现有技术相比，本发明方法通过提取DNS流量中的域名、IP地址等相关字段，构建DNS场景异质图，并分别对异质图中各类节点进行特征抽取，采用异质图表示学习方法融合域名的属性特征及相关拓扑结构信息，一方面可以借助图推理的特性对具备完备关联模式的恶意域名进行识别；另一方面，融合域名属性特征，挖掘恶意域名在特征层级的潜在模式，可及时检测出新出现的恶意域名或关联模式不完备的恶意域名，提升对恶意域名检测的准确率。

附图说明

图1为基于异质图表示学习方法的恶意域名检测流程示意图。

图2为DNS场景异质图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请实施例提供的恶意域名检测方法，可及时识别出恶意域名，并有效提升恶意域名检测的准确率。主要流程如图1所示，首先采集两方面的数据：公开域名黑白名单数据、DNS流量数据，并基于特定方法对该数据进行整合、处理等；然后利用上述两方面数据构造标注数据集，供后续模型进行半监督训练；接着将DNS数据转化为异质图，并抽取图中各种类型节点特征；最后基于异质图表示学习方法检测恶意域名。以下分别进行详细说明。

1.域名黑白名单数据采集及处理：分别对域名白名单和域名黑名单采用不同的采集及处理方法。

1)域名白名单：通过获取近两年三个时间点的Alexa Top-1m列表文件，将同时出现在这三个列表文件中的域名作为白名单，将其整合并存储为域名白名单数据。

2)域名黑名单：通过定期爬取安全套件或安全社区(如：URLhaus、Normshield、malwaredomainlist、360netlab等)发布的最新恶意域名列表，从各个恶意域名列表文件中抽取出域名信息，并进行整合作为初始黑名单；利用安全检测套件Virus Total API、Google Safe Browsing对初始黑名单进行验证，将验证为恶意的域名作为最终的域名黑名单数据。

2.DNS流量数据采集及处理：从网关服务器的数据库中获取某一时间段内的DNS流量泛收日志数据，从泛收日志中，抽取域名、请求客户端、解析IP等对象信息及相应关系信息。对抽取的DNS流量对象信息进行处理：对无效请求域名(不符合合法域名规则的域名)进行过滤；对无价值数据进行过滤，包括被大多数客户端访问的域名以及访问过大多数域名的客户端，此类信息对最终预测不会带来正向效益。处理之后的域名、客户端、解析IP等对象信息及相应的关系信息作为后续操作使用的数据集。

3.标注数据集构造：主要包括正常域名标注数据集和恶意域名标注数据集。

1)正常域名标注数据集：将上述处理过后DNS流量数据中的域名与域名白名单进行比较，若域名的2LD、3LD出现在域名白名单中，将其标注为正常域名；

2)恶意域名标注数据集：将上述处理过后的DNS流量数据中的域名与域名黑名单进行全匹配，若域名出现在域名黑名单中，则将其标注为恶意域名。

4.将DNS数据转化为异质图：基于从DNS流量数据中抽取的信息构造三种类型节点：域名节点、请求客户端节点、解析IP节点。基于域名请求信息，在域名与相应请求客户端之间构造无向边，表示域名请求关系；基于域名响应信息，在域名与相应解析IP之间构造无向边，表示域名解析关系。进而，三种类型节点、两种类型边关系共同组成DNS场景异质图。建模完成的DNS场景异质图如图2所示。

5.对异质图中各种类型节点进行特征提取。

1)对于域名节点：提取三大类特征：域名结构特征、域名语言学特征、域名统计特征。域名结构特征包括域名长度、域名深度、子域名平均长度、前缀是否为“www.”、是否有有效的顶级域名(TLD)、是否有TLD作为子域名、全部由数字构成的子域名的比率、全部由十六进制构成的子域名比率、下划线比率、是否包含IP地址；域名语言学特征包括是否包含数字、元音字母比率、数字比率、重复字符比例、连续数字比率；域名统计特征包括N-gram分布、熵值、唯一请求客户端数目、平均请求数目、唯一解析IP数目。

2)对于请求客户端节点：根据IP地理位置库提取地理位置信息、ASN等信息，提取唯一请求域名数量、请求总数等特征；

3)对于解析IP节点：根据IP地理位置库提取地理位置信息、ASN等信息，提取唯一解析域名数量、解析总数等特征。

6.基于异质图表示学习方法检测恶意域名。包括节点类型感知的特征转换、关系感知的信息聚集、半监督学习三个子部分。

1)节点类型感知的特征转换：由于不同类型节点所处特征空间不同，采用特征转换机制将不同类型节点的特征投影到相同空间上，为了保持异质性，要求各个类型节点均可投影到其它所有类型特征空间中。由于后续信息聚集过程，需要将邻居节点

的信息聚集到中心节点v上，因此，需要将邻居节点的特征投影到中心节点所在的特征空间上，即φ{v}类型特征空间：

其中，

表示节点u在上一层的特征表示，φ(·)是节点类型映射函数，φ(v)表示节点v的节点类型，

表示特征空间投影参数矩阵，

表示节点u的特征在v节点所在的φ(v)类型特征空间的投影。

2)关系感知的信息聚集：该部分负责将目标节点的邻居节点信息进行聚合，由于目标节点的邻居节点可能由不同类型的节点组成，因此需要解决这种异质性，而步骤1)节点类型感知的特征转换解决了上述问题。具体来讲，通过将邻居节点特征投影到目标节点所在的特征空间上，这样便可将各个节点看作同种类型，后续的信息聚集均在该特征空间上进行。此外，为了弥补空间转换可能带来的信息损失，引入关系感知的信息聚集机制来区分不同类型的关系。首先，对于不同类型的邻居节点，使用不同的权重计算其对目标节点的重要性程度，并计算归一化权重，然后通过加权求和对目标节点的邻居信息进行聚合，最后，运行非线性激活函数获得节点最终低维特征表示：

其中，σ表示非线性激活函数(如relu、sigmoid等)，

表示节点v的邻居节点，

表示邻居节点u对目标节点v的注意力系数，通过拼接两个节点的隐层表示，并通过参数向量

计算得到，需要注意该参数向量与边关系相关。

表示归一化后的注意力权重。

表示信息聚集后并进行非线性激活得到的最终表示。

至此，在每个图神经网络层，利用步骤1)、步骤2)可以获得相应层的各个节点的节点最终低维特征表示，第一层的表示

用步骤5获得的节点v的初始表示替代。

3)半监督学习：通过L个的图神经网络层，获得最终的节点表示，利用全连接网络，预测域名节点的最终表示。利用交叉熵计算损失，并使用Adam进行优化，训练得到分类器，以实现对未标注域名进行识别，检测出恶意域名。

其中，

表示参数向量，b表示偏置参数，σ表示sigmoid非线性激活函数，V_L表示步骤3获取的标注样本，y_v表示节点v的真实标签(恶意域名标识为1，正常域名标识为0)，p_v表示域名节点v的预测概率，

表示损失。

通过上述步骤，在模型训练收敛后，可根据模型对异质图中未标注域名节点的预测结果设置阈值，检测出恶意域名。对于检测出的恶意域名可以通过人工方式进行深入挖掘以验证检测的正确性。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (9)

1.一种基于异质图表示学习的恶意域名检测方法，其步骤包括：

1)构建域名白名单及域名黑名单，采集DNS流量数据，并将DNS流量数据分别与域名白名单及域名黑名单进行匹配，构造正常域名标注数据集与恶意域名标注数据集；

2)解析DNS流量数据，并基于从DNS流量数据中抽取的信息构造节点，基于域名请求信息在域名与相应请求客户端之间构造第一无向边，基于域名响应信息在域名与相应解析IP之间构造第二无向边，以构造DNS场景异质图，其中所述节点的类型包括：域名节点、请求客户端节点和解析IP节点；

3)提取各节点的节点特征，作为初始节点特征；

4)利用正常域名标注数据集与恶意域名标注数据集，对相应的域名节点进行标注，得到DNS场景异质图中已标注域名节点；

5)通过DNS场景异质图中已标注域名节点及各节点的初始节点特征，进行异质图神经网络半监督学习，并通过以下步骤获取DNS场景异质图中各未标注域名节点的预测结果；

5.1)对于第一个图神经网络层，将DNS场景异质图中的各节点分别作为目标节点，将目标节点的相应邻居节点的初始节点特征投影到目标节点，并利用注意力机制获得的不同邻居节点对目标节点的权重进行邻居信息聚合，得到第一层特征表示

5.2)通过L个的图神经网络层，获得最终节点表示

其中L>1；

5.3)利用一全连接网络，并根据最终节点表示

获取DNS场景异质图中各未标注域名节点的预测结果。

2.如权利要求1所述的方法，其特征在于，通过以下步骤构建域名白名单：

1)获取若干时间点的Alexa Top-1m列表文件；

2)将同时出现在各Alexa Top-1m列表文件中的域名作为白名单数据，得到域名白名单。

3.如权利要求1所述的方法，其特征在于，通过以下步骤构建域名黑名单：

1)定期爬取安全套件或安全社区发布的恶意域名列表；

2)从各恶意域名列表中抽取出域名信息，并进行整合作为初始黑名单。

4.如权利要求1所述的方法，其特征在于，通过以下策略采集DNS流量数据：

1)在网关服务器执行捕包程序，捕获DNS流量；

2)从网关服务器DNS流量泛收日志数据库中，提取某一时间段内的日志信息。

5.如权利要求1所述的方法，其特征在于，在将DNS流量数据分别与域名白名单及域名黑名单进行匹配之前，对DNS流量数据进行预处理；所述预处理包括：对无效请求域名进行过滤和对无价值数据进行过滤。

6.如权利要求1所述的方法，其特征在于，所述域名节点的节点特征包括：域名结构特征、域名语言学特征和域名统计特征；

所述域名结构特征包括：域名长度、域名深度、子域名平均长度、前缀是否为“www.”、是否有有效的顶级域名、是否有顶级域名作为子域名、全部由数字构成的子域名的比率、全部由十六进制构成的子域名比率、下划线比率和是否包含IP地址；

所述域名语言学特征包括：是否包含数字、元音字母比率、数字比率、重复字符比例和连续数字比率；

所述域名统计特征包括：N-gram分布、熵值、唯一请求客户端数目、平均请求数目和唯一解析IP数目；

所述请求客户端节点特征包括：唯一请求域名数量和请求总数；

所述解析IP节点特征包括：唯一解析域名数量和解析总数。

7.如权利要求1所述的方法，其特征在于，进行异质图神经网络半监督学习时，利用交叉熵作为损失函数，并使用Adam进行优化。

8.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-7中任一所述方法。

9.一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如权利要求1-7中任一所述方法。

Images