CN106790062A

CN106790062A - 一种基于反向dns查询属性聚合的异常检测方法及系统

Info

Publication number: CN106790062A
Application number: CN201611186125.3A
Authority: CN
Inventors: 刘艇; 王利明; 罗熙; 杨婧; 张明扬; 周晟; 傅慧斌
Original assignee: State Grid Corp of China SGCC; Institute of Information Engineering of CAS; Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd
Current assignee: State Grid Corp of China SGCC; Institute of Information Engineering of CAS; Information and Telecommunication Branch of State Grid Fujian Electric Power Co Ltd
Priority date: 2016-12-20
Filing date: 2016-12-20
Publication date: 2017-05-31
Anticipated expiration: 2036-12-20
Also published as: CN106790062B

Abstract

本发明公开了一种基于反向DNS查询属性聚合的异常检测方法及系统，通过融合各种设备上反向DNS查询日志，可以快速检测网络的异常行为，比如网段被扫描的频率、垃圾邮件的肆虐程度。并且，反向DNS查询记录数据量较小，可避免大量日志造成设备拥塞，提高设备性能；通过不同设备的反向DNS查询记录，可以对整个监控网络全局进行掌控；反向DNS查询记录是攻击者无法控制日志信息的内容，攻击者无法隐藏其行为，日志记录内容的可靠性更高，可以更准确的反应整个网络的活动状态，从而可以更好的检测网络环境中的异常行为。

Description

一种基于反向DNS查询属性聚合的异常检测方法及系统

技术领域

本发明涉及网络安全和数据聚合领域，特别涉及一种基于反向DNS查询属性聚合的异常检测方法及系统。

背景技术

随着网络入侵和攻击行为正朝着分布化、规模化、复杂化、间接化等趋势发展，当前对安全产品技术提出更高的要求，急需一种高效的网络安全告警技术来提升安全产品的性能。

入侵检测是对入侵行为的检测，入侵检测系统通过收集网络及计算机系统内所有关键节点的信息，检查网络或系统中是否存在违反安全策略行为及被攻击迹象。入侵检测的数据来源是各种网络安全设备(如防火墙、IDS、IPS等)的日志，这些设备会实时的记录每个时间监测点目标网络的活动情况以便分析目标网络的运行情况。

当网络中存在大量攻击时(如攻击者发起拒绝服务攻击)，网络安全设备会产生大量的日志，产生并处理这些日志本身就会对网络安全设备的性能造成巨大的影响。因此需要根据某些条件对这些日志进行聚合后再进行处理，这样可以减少大量重复的日志，减轻安全设备的负担，避免由于大量重复的日志而导致网络设备出现拥塞。

当前主要有两大类入侵检测技术，分别是基于误用技术、基于异常技术。基于误用技术是指，假设所有可能出现的网络攻击类别(“DoS”、“信息收集类攻击”、“信息欺骗类攻击”、“利用类攻击”)均已知，将待测记录来匹配这些已知网络攻击类别。基于误用技术的优势在于误报率较低、对于已知类别的网络攻击判断迅速，缺点是对于未知种类网络攻击的辩识率低下。基于异常技术是指，事先根据规则定义好“正常”网络行为的特征，将待测记录来匹配该特征，凡是不匹配的网络行为均认定为网络攻击。基于异常技术的优势在于漏报率较低、对于未知类别网络攻击的判断迅速，缺点是误报率偏高。“漏报”是指将本是攻击的网络行为认定为正常，“误报”是指将本是正常的网络行为认定为攻击。

由于发起者与许多目标主机进行交互，它们的目的有合法的(大的邮件列表或者网络爬虫)、恶意的(垃圾邮件)、或者在这两者之间(扫描和P2P)。我们的目标是对发起者进行推测和分类，并了解发起者与多少目标主机进行了交互。一个发起者是一个单一的IP，但是会与很多目标交互。应用程序类的研究表明，发起者与他们的目标是相互影响的。

发明内容

本发明所要解决的技术问题是：提供一种基于反向DNS查询属性聚合的异常检测方法及系统，只需要使用反向DNS查询记录，可以快速的检测异常，避免大量日志造成设备拥塞，提高设备性能。同时我们的方法是取决于被攻击的目标，是攻击者无法控制的，攻击者无法隐藏其行为，可以更好的检测网络环境中的异常行为。

为了实现上述目的，本发明采用以下技术方案：

一种基于反向DNS查询属性聚合的异常检测方法，具体步骤如下：

1)收集用户网络设备产生的DNS访问日志，将含有PTR字段的反向DNS查询日志过滤出来，并提取反向DNS查询日志的日志特征字段；

2)将提取的日志特征字段以目标IP地址为属性进行聚合，得到相应的聚合信息元组；

3)针对聚合信息元组提取特征向量；

4)根据提取出的特征向量及用户的网络历史数据，训练出正向模型；

5)使用正向模型检测目标IP地址是否存在异常。

更进一步，步骤1)中，所述日志特征字段包括反向DNS查询日志中的每一条访问记录的有效信息元组＝<目标IP地址、查询IP地址>。

更进一步，步骤2)中所述聚合分为横向聚合和纵向聚合：

横向聚合是将具有相同目标IP地址的反向DNS查询日志聚合到一起，统计出对应的查询IP，之后根据统计出的查询IP确定查询IP的类型并标示，得到的横向聚合信息元组＝<目标IP地址，[<查询IP，标识>]>；

纵向聚合是将具有相同目标IP地址的日志聚合到一起，统计出对应的查询IP以及每个查询IP出现的次数，得到的纵向聚合信息元组＝<目标IP地址,[<查询IP，数量>]>。

更进一步，针对聚合信息元组提取特征向量包括：

3‐1)针对横向聚合信息元组提取属性特征，该步骤又包括：

3‐1‐1)统计查询目标IP地址的查询IP地址列表数量，得到查询IP查询方(Querier)数量和查询IP查询方(Querier)/24数量；

3‐1‐2)查询知识库，确认查询IP地址所使用的访问类型，统计单个目标IP地址所访问的类型的数量。

3‐2)针对纵向聚合信息元组提取属性特征，该步骤又包括：

3‐2‐1)计算出查询IP查询单个目标IP地址次数的最大值。

3‐2‐2)计算出查询IP查询单个目标IP地址次数的最小值。

3‐2‐3)计算出所有查询IP查询目标IP地址次数的均值，用来度量访问流量的整体情况。

3‐2‐4)计算出所有查询IP查询目标IP地址次数的中位数，用来度量访问流量的综合情况。

3‐2‐5)计算出所有查询IP查询目标IP地址次数的方差，用来度量访问流量的整体波动状态。

3‐3)提取横向聚合属性特征和纵向聚合属性特征的特征向量。

更进一步，步骤3-1-2)中，查询IP地址所使用的访问类型包括：

A.邮件服务器：发送邮件到大型的邮件列表和邮件服务的服务器。

B.IDS：入侵检测系统。

C.防火墙：安装防火墙的服务器和电脑。

D.电脑：普通使用的台式机和笔记本。

本发明还提出了一种基于反向DNS查询属性聚合的异常检测系统，包括：

日志收集提取模块，用于收集DNS日志，提取DNS日志中含有PTR字段的反向DNS查询日志，并从反向DNS查询日志中提取日志特征字段。

数据聚合模块，用于将提取的日志特征字段以目标IP地址为属性进行聚合，得到相应的聚合信息元组。

特征提取模块，用于提取聚合后信息元组的特征向量。

数据训练模块，用于使用提取出的特征向量及网络内的历史数据，训练出正向模型。

异常检测模块，用于使用正向模型检测目标IP地址是否存在异常行为。

更进一步，所述日志特征字段包括反向DNS查询日志中的每一条访问记录的有效信息元组＝<目标IP地址、查询IP地址>。

更进一步，所述聚合信息元组包括横向聚合信息元组＝<目标IP地址，[<查询IP，标识>]>和纵向聚合信息元组＝<目标IP地址,[<查询IP，数量>]>。

更进一步，所述横向聚合信息元组的特征向量包括：查询IP查询方数量，查询IP查询方/24数量，单个目标IP地址所访问的类型的数量；所述纵向聚合信息元组的特征向量包括：查询IP查询单个目标IP地址次数的最大值和最小值，所有查询IP查询目标IP地址次数的均值，中位数和方差。

本文发明的有益效果如下：

本发明与正向DNS查询不同的是，反向DNS查询是为了获得指定IP对应的域名。这种查询常用于核实指定IP的身份，例如邮件服务器会通过反向DNS查询来验证对方是否同为邮件服务器，IDS会利用反向DNS查询核实某些异常IP(网络爬虫、扫描器)的可靠性，以及一些管理系统反向查询目标IP来记录访问信息。通过融合各种设备上反向DNS查询日志，可以检测网络的异常行为，比如网段被扫描的频率、垃圾邮件的肆虐程度。并且，从反向DNS查询这个角度进行网络的异常行为检测具有以下优势：首先，反向DNS查询记录数据量较小；其次，通过不同设备的反向DNS查询记录，可以对整个监控网络全局进行掌控；最后，反向DNS查询记录是攻击者无法控制日志信息的内容，日志记录内容的可靠性更高，可以更准确的反应整个网络的活动状态。

附图说明

图1为本发明基于反向DNS查询属性聚合的异常检测方法及系统的整体技术架构示意图。

图2为本发明基于反向DNS查询属性聚合的异常检测方法及系统的数据聚合流程示意图。

图3为本发明基于反向DNS查询属性聚合的异常检测方法及系统的数据特征向量提取流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作更加详细的描述：

如图1所示，基于反向DNS查询属性聚合的异常检测方法包括日志收集提取、数据聚合、特征向量提取、模型训练、异常检测五个部分。

具体地，首先进行日志收集提取，将含有PTR字段的DNS日志过滤出来，然后收集过滤之后的反向DNS查询日志，提取DNS访问数据中的每一条访问记录的有效信息元组Info＝<目标IP地址、查询IP地址>。

然后进行数据聚合，在本发明方案中，首先收集网络安全设备中产生的反向DNS查询日志，提取日志特征之后，基于目标IP地址的属性对日志进行聚合，如图2所示，分为横向聚合和纵向聚合两个过程，横向聚合的具体流程如下：

1)统计{<目标IP地址1，查询IP地址1>，<目标IP地址1，查询IP地址2>，<目标IP地址2，查询IP地址2>，…}；

2)根据目标IP地址进行属性聚合，将具有相同目标IP地址的日志聚合到一起，统计出所对应的查询IP<目标IP地址，(查询IP1，查询IP2，…)>，根据统计出的查询IP，查询对应的知识库，确定查询IP的类型，并标示，得到横向聚合信息元组I₁＝<目标IP地址，[<查询IP，标识>]>；

纵向聚合具体流程如下：

2)根据目标IP地址进行属性聚合，对查询同一个目标IP地址的相同查询IP地址，进行计数+1。得到纵向聚合信息元组I₂＝<目标IP地址,[<查询IP，数量>]>；

再然后分别针对聚合得到的信息元组提取出特征向量V，如图3所示，具体流程如下：

a)横向聚合是为了得到查询IP的分布，建立查询IP的广度信息。

1)统计查询目标IP地址的查询IP地址列表数量，得到查询IP查询方数量Q1和查询IP查询方/24数量Q2；

2)查询知识库，确认查询IP地址所使用的访问类型(主要有A-D这几种类型)，统计单个目标IP地址所访问的类型的数量(T₁，T₂，T₃，T₄)。

A.邮件服务器(T₁)：发送邮件到大型的邮件列表和邮件服务的服务器。

B.IDS(T₂)：入侵检测系统。

C.防火墙(T₃)：安装防火墙的服务器和电脑。

D.电脑(T₄)：普通使用的台式机和笔记本。

3)得到横向聚合属性特征向量(Q1，Q2，T₁，T₂，T₃，T₄)。这些特征体现了一个目标IP访问了整个企业网络的整体情况。Q1表示了目标IP访问了n个IP的数量，Q2表示了目标IP访问了n个IP地址段的数量，T₁，T₂，T₃，T₄分别表示了目标IP访问了企业内部不同的服务类型。

b)纵向聚合是为得到查询IP查询的频率，建立查询IP的流量信息。

1)计算出查询IP查询单个目标IP地址次数的最大值Max。

2)计算出查询IP查询单个目标IP地址次数的最小值Min。

3)计算出所有查询IP查询目标IP地址次数的均值N，用来度量访问流量的整体情况。

4)计算出所有查询IP查询目标IP地址次数的中位数Med，用来度量访问流量的综合情况。

5)计算出所有查询IP查询目标IP地址次数的方差P，用来度量访问流量的整体波动状态。

6)得到纵向聚合属性特征向量(Max，Min，N，Med，P)。

c)提取横向聚合和纵向聚合的属性特征向量V＝(Q1，Q2，T₁，T₂，T₃，T₄，Max，Min，N，Med，P)。

最后使用提取出的特征向量结合一个月的历史数据训练出正向模型M，当检测目标IP的特征向量不符合训练出的正向模型M时，则存在异常行为。

Claims

1.一种基于反向DNS查询属性聚合的异常检测方法，具体步骤如下：

3)针对聚合信息元组提取特征向量；

5)使用正向模型检测目标IP地址是否存在异常。

2.如权利要求1所述的一种基于反向DNS查询属性聚合的异常检测方法，其特征在于，步骤1)中，所述日志特征字段包括反向DNS查询日志中的每一条访问记录的有效信息元组＝<目标IP地址、查询IP地址>。

3.如权利要求1所述的一种基于反向DNS查询属性聚合的异常检测方法，其特征在于，步骤2)中所述聚合分为横向聚合和纵向聚合：

4.如权利要求3所述的一种基于反向DNS查询属性聚合的异常检测方法，其特征在于，针对聚合信息元组提取特征向量包括：

3‐1)针对横向聚合信息元组提取属性特征，该步骤又包括：

3‐1‐1)统计查询目标IP地址的查询IP地址列表数量，得到查询IP查询方数量和查询IP查询方/24数量；

3‐1‐2)查询知识库，确认查询IP地址所使用的访问类型，统计单个目标IP地址所访问的类型的数量；

3‐2)针对纵向聚合信息元组提取属性特征，该步骤又包括：

3‐2‐1)计算出查询IP查询单个目标IP地址次数的最大值；

3‐2‐2)计算出查询IP查询单个目标IP地址次数的最小值；

3‐2‐3)计算出所有查询IP查询目标IP地址次数的均值；

3‐2‐4)计算出所有查询IP查询目标IP地址次数的中位数；

3‐2‐5)计算出所有查询IP查询目标IP地址次数的方差；

5.如权利要求4所述的一种基于反向DNS查询属性聚合的异常检测方法，其特征在于，步骤3-1-2)中，查询IP地址所使用的访问类型包括邮件服务器，IDS，防火墙和电脑。

6.一种基于反向DNS查询属性聚合的异常检测系统，包括：

日志收集提取模块，用于收集DNS日志，提取DNS日志中含有PTR字段的反向DNS查询日志，并从反向DNS查询日志中提取日志特征字段；

数据聚合模块，用于将提取的日志特征字段以目标IP地址为属性进行聚合，得到相应的聚合信息元组；

特征提取模块，用于提取聚合后信息元组的特征向量；

数据训练模块，用于使用提取出的特征向量及网络历史数据，训练出正向模型；

7.如权利要求6所述的一种基于反向DNS查询属性聚合的异常检测系统，其特征在于，所述日志特征字段包括反向DNS查询日志中的每一条访问记录的有效信息元组＝<目标IP地址、查询IP地址>。

8.如权利要求6所述的一种基于反向DNS查询属性聚合的异常检测系统，其特征在于，所述聚合信息元组包括横向聚合信息元组＝<目标IP地址，[<查询IP，标识>]>和纵向聚合信息元组＝<目标IP地址,[<查询IP，数量>]>。

9.如权利要求6所述的一种基于反向DNS查询属性聚合的异常检测系统，其特征在于，所述横向聚合信息元组的特征向量包括：查询IP查询方数量，查询IP查询方/24数量，单个目标IP地址所访问的类型的数量；所述纵向聚合信息元组的特征向量包括：查询IP查询单个目标IP地址次数的最大值和最小值，所有查询IP查询目标IP地址次数的均值，中位数和方差。

10.如权利要求9所述的一种基于反向DNS查询属性聚合的异常检测系统，其特征在于，查询IP地址所使用的访问类型包括邮件服务器，IDS，防火墙和电脑。