CN101841435B - Dns查询流量异常的检测方法、装置和系统 - Google Patents

Dns查询流量异常的检测方法、装置和系统 Download PDF

Info

Publication number
CN101841435B
CN101841435B CN201010034253A CN201010034253A CN101841435B CN 101841435 B CN101841435 B CN 101841435B CN 201010034253 A CN201010034253 A CN 201010034253A CN 201010034253 A CN201010034253 A CN 201010034253A CN 101841435 B CN101841435 B CN 101841435B
Authority
CN
China
Prior art keywords
covariance matrix
timeslice
matrix
dns query
arbitrary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010034253A
Other languages
English (en)
Other versions
CN101841435A (zh
Inventor
李晓东
毛伟
王正
王欣
金键
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Internet Network Information Center
Original Assignee
Computer Network Information Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Computer Network Information Center of CAS filed Critical Computer Network Information Center of CAS
Priority to CN201010034253A priority Critical patent/CN101841435B/zh
Publication of CN101841435A publication Critical patent/CN101841435A/zh
Application granted granted Critical
Publication of CN101841435B publication Critical patent/CN101841435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种DNS查询流量异常的检测方法、装置和系统,属于互联网技术领域;该检测方法包括:根据预先划分的地域单位,分别统计各地域的DNS查询流量;根据各地域的DNS查询流量,分别确定多个时间片对应的协方差矩阵,并计算各协方差矩阵的平均协方差矩阵;分别计算各时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值;在任一时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值,大于第一预设阈值时,则输出瞬时报警信息,用于提示所述任一时间片DNS查询流量异常。本发明有利于降低域名系统查询流量异常的漏检率。

Description

DNS查询流量异常的检测方法、装置和系统
技术领域
本发明涉及互联网技术领域,特别是涉及一种DNS查询流量异常的检测方法、装置和系统。 
背景技术
域名系统(Domain Name System,DNS)主要用于完成从域名到IP地址的映射及其它互联网资源的解析,是当今互联网中重要的基础设施之一。由于网络流量逐年快速增长和网络拓扑的复杂性,在宏观上直接监测互联网流量变得越来越困难;而DNS查询流量作为整个互联网流量的重要反映,对其的监测更易实现、更具可行性。 
在进行DNS查询流量异常检测过程中,需要能够描述DNS服务器所在网络系统的正常情况下的行为,以建立正常行为的分布规律,并且要能够快速准确的发现此网络系统中出现的异常行为,如攻击行为,以便网络系统有足够的响应时间。 
现有技术主要选择一些检测特征,以区分DNS查询流量的正常状态和异常状态,主要包括以下三种: 
1)域名解析失败率特征: 
虚假域名请求最终会解析失败,而正常情况下域名解析一般能够正确执行。随着搜索引擎的不断进步,正常情况下,需要用户手工输入域名的情况以及输入错误的情况都不断减少,且单台计算机单位时间内发起的域名请求数也不会太大,而当发生异常,如发生攻击时单个IP会有大量没有成功解析的域名。 
2)网络流量特征: 
正常情况下,DNS服务器的查询流量在同一时间段内比较稳定,浮动在特定范围之内。而发生异常,如发生攻击时查询流量会迅速增大,例如,在某一时间段内存在大量目标地址为DNS服务器、端口为53的域名请求,从而引起DNS服务器的查询流量反常和突变。 
3)大量请求的域名请求存在规律特征: 
正常情况下,域名请求具有相对稳定性和随机性的规律特征。稳定性是指存在几个访问比较集中的域名,如大型知名网站的域名;随机性是指访问数量较少,如用户通过搜索引擎链接到的域名地址,这些地址多是用户用来查询信息偶然访问到的域名。 
发明人在实现本发明实施例过程中发现,现有技术主要针对各区域的总流量特征进行异常检测,而在实际发生异常或攻击中,总流量特征的变化往往不明显,因而漏检的几率较大。 
发明内容
本发明实施例提供一种DNS查询流量异常的检测方法、装置和系统,用以降低域名系统查询流量异常的漏检率。 
本发明实施例提供了一种DNS查询流量异常的检测方法,包括: 
根据预先划分的地域单位,分别统计各地域的DNS查询流量; 
根据各地域的DNS查询流量,分别确定多个时间片对应的协方差矩阵,并计算多个协方差矩阵的平均协方差矩阵; 
分别计算各时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值; 
在任一时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值,大于第一预设阈值时,则输出瞬时报警信息,所述瞬时报警信息用于提示所述任一时间片DNS查询流量异常; 
在任一时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值,大于第一预设阈值时,还包括: 
根据所述任一时间片对应的协方差矩阵以及所述平均协方差矩阵分别包括的各元素,分别计算所述任一时间片内各地域的属性相关性变化值,所述任一时间片对应的协方差矩阵以及所述平均协方差矩阵包括的任一元素为任两个地域的DNS查询流量的协方差; 
对所述任一时间片内各地域的属性相关性变化值进行聚类分析,得到异常地域属性,所述异常地域属性对应所述任一时间片DNS查询流量异常所在的地域。 
本发明实施例还提供了一种DNS查询流量异常的检测装置,包括: 
地域流量统计模块,用于根据预先划分的地域单位,分别统计各地域的DNS查询流量; 
矩阵确定模块,用于根据各地域的DNS查询流量,分别确定多个时间片对应的协方差矩阵,并计算多个协方差矩阵的平均协方差矩阵; 
矩阵相关性计算模块,用于分别计算各时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值; 
附图说明
瞬时报警模块,用于在任一时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值,大于第一预设阈值时,则输出瞬时报警信息,所述瞬时报警信息用于提示所述任一时间片DNS查询流量异常; 
属性相关性计算模块,用于根据所述任一时间片对应的协方差矩阵以及所述平均协方差矩阵分别包括的各元素,分别计算所述任一时间片内各地域的属性相关性变化值,所述任一时间片对应的协方差矩阵以及所述平均协方差矩阵包括的任一元素为任两个地域的DNS查询流量的协方差; 
异常地域属性确定模块,用于对所述任一时间片内各地域的属性相关性变化值进行聚类分析,得到异常地域属性,所述异常地域属性对应所述任一时间片DNS查询流量异常所在的地域。 
本发明实施例还提供了一种DNS查询流量异常的检测系统,包括上述DNS查询流量异常的检测装置。 
本发明实施例基于地域属性作为异常检测的特征,如果所有地域的总DNS查询流量整体变化不大,但个别地域的DNS查询流量发生异常,则可在本实施例矩阵相关性变化值上反映出来,因而有利于降低域名系统查询流量异常的漏检率。 
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。 
图1为本发明第一实施例提供的DNS查询流量异常的检测方法流程图; 
图2为本发明第二实施例提供的DNS分布式系统的结构示意图; 
图3为本发明第三实施例提供的DNS查询流量异常的检测方法流程图; 
图4为本发明第四实施例提供的DNS查询流量异常的检测装置结构示意图。 
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。 
图1为本发明第一实施例提供的DNS查询流量异常的检测方法流程图。如图1所示,本实施例提供的DNS查询流量异常的检测方法包括: 
步骤11:根据预先划分的地域单位,分别统计各地域的DNS查询流量。 
各地域的DNS查询流量的统计方式不受限制,例如,可以一定时间粒度,如以分钟为单位,分别统计各地域的DNS查询流量;可有某一装置集中统计;或者,可采用分布式系统结构,由DNS分节点统计DNS分节点各自对应的地域的DNS查询流量,再由各DNS分节点将统计得到的DNS查询流量汇总到某一DNS中心节点,由该DNS中心节点进行后续的检测。 
步骤12:根据各地域的DNS查询流量,分别确定多个时间片对应的协方差矩阵,并计算各协方差矩阵的平均协方差矩阵。 
本发明实施例不需要限定时间片的数量,不需要限定时间片的长度,也不需要限定时间片的起始点;在实际应用中,本领域技术人员依据实际需要进行设定即可。可选的,上述多个时间片的长度相同或不同,相邻的两个时间片在时间轴上相连或相互重叠。 
例如:从某一检测时刻开始,取5个时间片;其中,前三个时间片的长度为1分钟,后两个时间片长度为3分钟;第一个时间片从当前时间点至前1分钟、第二个时间片从前1分钟至前2分钟、第三个时间片从前2分钟至前3分钟、第四个时间片从前2分钟到前5分钟,第五个时间片从前4分钟到前6分钟。 
本步骤分别计算各时间片对应的协方差矩阵。每个时间片对应的协方差矩阵以基于地域的属性信息为元素,如以在该时间片内划分的各时间间隔内观察到的各地域的DNS查询流量变化方差为元素;各时间片对应的协方差矩阵的维数相同。计算各时间片对应的各协方差矩阵的平均协方差矩阵。该平均协方差矩阵可经长期学习预先得到,可近似作为各地域DNS查询流量处于正常状态时的协方差矩阵。
步骤13:分别计算各时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值。 
将任一时间片对应的协方差矩阵与平均协方差矩阵进行比较,计算二者的相关性变化,本发明实施例将该相关性变化称为矩阵相关性变化值,其值可等于该协方差矩阵与平均协方差矩阵的距离。 
步骤14:在任一时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值,大于第一预设阈值时,则输出瞬时报警信息,所述瞬时报警信息用于提示所述任一时间片DNS查询流量异常。 
任一时间片对应的协方差矩阵与平均协方差矩阵的矩阵相关性变化值,反映了该时间片内各地域的DNS查询流量变化。因此,以矩阵相关性变化值为特征检测DNS查询流量是否异常,相当于以各地域的DNS查询流量等地域属性为特征,检测DNS查询流量是否异常。 
第一预设阈值可根据长期学习得到的经验值预先确定。当矩阵相关性变化值大于第一预设阈值时,表示该时间片对应的协方差矩阵相对于平均协方差矩阵的相关性变化大,该时间片内各地域的DNS查询流量统计特性,相对于平均协方差矩阵反映出的各地域DNS查询流量处于正常状态下的统计特性,存在较大偏差。该情形下,可输出瞬时报警信息,用于提示该时间片内各地域的DNS查询流量异常。 
本实施例基于地域属性作为异常检测的特征,如果所有地域的总DNS查询流量整体变化不大,但个别地域的DNS查询流量发生异常,则可在本实施例矩阵相关性变化值上反映出来,因而有利于降低域名系统查询流量异常的漏检率。 
图2为本发明第二实施例提供的DNS分布式系统的结构示意图。如图2所示的DNS分布式系统中包括:一个DNS中心节点和多个DNS分节点,每个DNS分节点分别与DNS中心节点以可通信的方式连接,如通过因特网(Internet)通信连接。各DNS分节点将各自统计到的各地域的DNS查询流量汇总到DNS中心节点上,由DNS中心节点检测DNS查询流量是否发生异常。 
图3为本发明第三实施例提供的DNS查询流量异常的检测方法流程图。本实施例以图2所示的分布式系统为例,说明本发明DNS查询流量异常的检测方法。如图2和图3所示,本实施例检测方法包括: 
步骤31:各DNS分节点以一定的时间粒度分别统计各自地域的DNS查询流量,并将统计到的DNS查询流量上报给DNS中心节点。 
DNS分节点在接收到DNS查询数据包时,获取DNS查询数据包中的源IP地址,利用DNS分节点本地预先建立的地理信息数据库,将源IP地址映射到一定的地域单位,如将源IP地址映射到某省级行政单位;以一定的时间粒度,如以1分钟为周期,统计各地域的DNS查询流量。当一个时间粒度终结时,将该时间粒度统计的各地域的DNS查询流量上传到DNS中心节点。例如:以省为行政单位,将某国划分为34个省级行政单位,每个时间粒度需上传34个地域属性,每个地域属性为1个省级行政单位在该时间粒度内的DNS查询流量。 
本领域技术人员可以理解,虽然本实施例是以分布式系统为例进行说明,但在只应用单个DNS节点的系统中也可实现;区别在于,在应用单个DNS节点的系统中,由该单个DNS节点,如本步骤由DNS中心节点根据预先划分的地域单位,分别统计各地域的DNS查询流量。 
步骤32:DNS中心节点分别确定多个时间片对应的协方差矩阵,并计算各协方差矩阵的平均协方差矩阵。 
在实际应用过程中,可基于地域属性,即根据各地域的DNS查询流量构 造协方差矩阵。以下对基于地域属性构造协方差矩阵的具体算法实现举例说明,但显然本领域技术人员还可基于地域属性采用其他方法构造协方差矩阵,本实施例以下示例不应理解为对本发明实现方式的具体限制。 
假设:预先将某国划分为p个地域单位,每个地域在某一时间片内的DNS查询流量构成一地域属性,分别表示为:f1,…,fp。某一时间片内的各地域属性构成一个随机向量X=(f1,…,fp)′。在同一时间片内观察多次,如观察n次,令x1,…,xn为n个观察向量, 
Figure G2010100342532D00071
为1个时间片l内的第j个观察向量。fi l,j表示在1个时间片l内的第j个观察的第i个地域的DNS查询流量,其中,l表示时间片的长度;i表示地域,且1≤i≤p;j表示观察向量的序号,且1≤j≤n。定义一个新的变量yl: 
Figure G2010100342532D00072
本实施例不妨定义协方差矩阵Myl来描述变量yl: 
Figure G2010100342532D00073
Myl是一个p行p列的矩阵,其中,每一元素对应两两地域DNS查询流量的协方差,如元素 
Figure G2010100342532D00074
表示第l个时间片内第i个地域的DNS查询流量与第j个地域的DNS查询流量的协方差,且 
σ f i l f j l = cov ( f i l , f j l ) = E [ ( f i l - E ( f i l ) ) ( f j l - E ( f j l ) ) ]
其中,E(fi l)为第l个时间片内第i个地域的DNS查询流量均值。 
如果在第l个时间片内对第i个地域的DNS查询流量共观察n次,则: 
E ( f i l ) = Σ k = 1 n f i l , k / n .
依据上述定义可得到多个时间片的协方差矩阵,计算多个协方差矩阵的平均协方差矩阵,平均协方差矩阵表示为E(Myl)。 
如果L个时间片中,各个时间片的长度均为l,在时间轴上相连且不重叠,则平均协方差矩阵E(Myl)可采用下式确定: 
E ( M yi ) = ( Σ l = 1 L M yi ) / L
如果L个时间片中,部分时间片的长度相同,而部分时间片的长度不同,则可对各个时间片的协方差矩阵进行归一化和拓展处理,得到最小时间片长度对应的协方差矩阵的平均协方差矩阵。 
步骤33:DNS中心节点分别计算各时间片对应的协方差矩阵,与平均协方差矩阵的矩阵相关性变化值。 
任一时间片对应的协方差矩阵,与平均协方差矩阵之间的矩阵相关性变化值可采用二个矩阵之间的距离zl表示,zl为: 
z l = | | M yi - E ( M yi ) | | = Σ 1 ≤ i , j ≤ p ( a i , j - b i , j ) 2 , ∀ a i , j ∈ M yi , ∀ b i , j ∈ E ( M yi ) , 1≤i,j≤p。 
步骤34:DNS中心节点判断是否存在矩阵相关性变化值大于第一预设阈值的协方差矩阵,如果存在,执行步骤35;否则,执行步骤37。 
步骤35:DNS中心节点根据所述任一时间片对应的协方差矩阵以及所述平均协方差矩阵分别包括的各元素,分别计算所述任一时间片内各地域的属性相关性变化值,任一元素为任两个地域的DNS查询流量的协方差;对所述任一时间片内各地域的属性相关性变化值进行聚类分析,得到异常地域属性,所述异常地域属性对应所述任一时间片DNS查询流量异常所在的地域。 
某一时间片对应的协方差矩阵与平均协方差矩阵的矩阵相关性变化值, 大于第一预设阈值,则说明该时间片内统计得到的各地域的DNS查询流量异常,因而可得到发生DNS查询流量异常的时间信息。为了提高异常检测的准确性,可选的,还可对相应时间片内各地域的属性相关性变化值进行聚类分析,以确定该时间片内DNS查询流量异常的地域信息,即确定该时间片内,哪个地域的DNS查询流量发生异常。 
发明人在实践本发明实施例过程中发现,当某一时间片内DNS查询流量异常时,通常不是所有地域属性共同导致的,而是部分地域属性导致的。 
不妨令任一时间片对应的协方差矩阵,与平均协方差矩阵之间的相对均值的协方差变化矩阵为ΔMyl,且: 
Figure G2010100342532D00091
其中, 
Figure G2010100342532D00092
为协方差变化矩阵ΔMyl第i行j列的元素,表示第l个时间片内,第i个地域的DNS查询流量与第j个地域的DNS查询流量的协方差,相对于均值协方差的变化。 
为了有效定位发生异常的地域,可计算某一时间片内,任一地域的DNS查询流量相对于该地域的DNS正常查询流量的相关性变化,该相关性变化即为本发明实施例所述的属性相关性变化值,以下表示为Ci l,且: 
Figure G2010100342532D00093
其中,1≤i,j≤n; 
其中, 
Figure G2010100342532D00094
为协方差变化矩阵ΔMyl第i行j列的元素,表示第l个时间片内,第i个地域的DNS查询流量与第j个地域的DNS查询流量的协方差,相对于均值协方差的变化;Ci l表示第l个时间片对应的协方差矩阵中与 第i个地域相关的协方差变化,即第l个时间片内,第i个地域的属性相关性变化值。 
可采用聚类分析的方法区分属性相关性中的正常属性和异常属性,如把各地域的属性相关度变化值划分为正常和异常两类,将属性相关度变化值大于某一预设阈值的地域属性作为异常地域属性,剩余地域属性作为正常地域属性,具体可采用K-Means算法进行聚类分析,得到异常地域属性,从而确定在该时间片内发生DNS查询异常的地域。 
由于采用本实施例所述的方法不仅可确定发生DNS查询流量异常的时间信息,还可确定发生DNS查询流量异常的地域,因此,提高了DNS查询流量检测的准确性。 
步骤36:DNS中心节点对矩阵相关性变化值大于第一预设阈值的协方差矩阵进行平滑处理,以使该协方差矩阵与平均协方差矩阵的矩阵相关性变化值,小于或等于第一预设阈值;执行步骤39。 
平滑处理的具体实现方式不受限制,例如:可将该协方差矩阵各地域属性元素进行等比例缩小,以使该协方差矩阵与平均协方差矩阵的矩阵相关性变化值,小于或等于第一预设阈值。 
步骤37:检测在一预设时间段包括的各时间片对应的协方差矩阵与平均协方差矩阵的矩阵相关性变化值,大于第二预设阈值且小于或等于第一预设阈值的矩阵数量。 
本步骤中的预设时间段可由多个时间片组成。在该时间段内,虽然各个时间片内的矩阵相关性变化值没有超过第一预设阈值,但有可能临近第一预设阈值,处于准异常状态。为了有效提供预警信息,可根据长期学习得到的经验值预先确定第二预设阈值,且第二预设阈值小于第一预设阈值。 
当某一时间片的矩阵相关性变化值大于第二预设阈值且小于或等于第一预设阈值时,表示该时间片内虽然未输出瞬时告警,但发生异常的几率较高。该情形下,可统计该时间段内矩阵相关性变化值大于第二预设阈值且小于或 等于第一预设阈值的矩阵数量,并进行时间段DNS查询流量检测,确定是否需要进行时间段告警,以进一步提高异常检测的漏检率。 
步骤38:在所述矩阵数量大于第三预设阈值时,则输出时间段报警信息,所述时间段报警信息用于提示所述时间段DNS查询流量异常;执行步骤39。 
时间段异常报警是另一种异常报警方式。本实施例可根据长期学习得到的经验值预先确定第三预设阈值。在采用步骤37所述的方法确定的矩阵数量大于第三预设阈值时,说明在该时间段内处于准异常状态的时间片密度较大,则可输出时间段报警信息,用于该时间段DNS查询流量异常。如果采用步骤37所述的方法确定的矩阵数量小于或等于第三预设阈值,则说明在该时间段内处于准异常状态的时间片密度较小,该情形下不需要进行时间段报警。 
可选的,在时间段报警过程中,可对步骤37确定的时间片分别对应的、矩阵相关性变化值大于第二预设阈值且小于或等于第一预设阈值的协方差矩阵的地域属性元素进行聚类分析,确定DNS查询流量准异常的地域,具体实现方式与步骤35相似,这样,可得到准异常的时间信息和地域信息。 
步骤39:待下一检测周期到来时,执行步骤32。 
在实际应用中攻击者很难人为篡改地域特征,本实施例在时间片瞬时异常报警的基础上,还可以基于聚类分析的异常属性,有效定位该时间片内异常的发生地域,提高了异常检测的准确性。进一步的,本实施例可将时间片瞬时异常报警和时间段异常报警相结合,一方面及时提示DNS查询流量发生异常的时间信息和地域信息,另一方面可对某一时间段内处于准异常状态的时间片密度较大时,及时进行时间段报警以提示该时间段DNS查询流量异常,因此本实施例明显降低了异常检测的漏检率,有效提高了异常检测的准确性。 
可选的,上述对时间段异常检测的过程中,还可在另一实施例中统计矩阵相关性变化值大于第二预设阈值的矩阵数量,将该矩阵数量与第三预设阈值进行比较,从而确定该时间段是否发生DNS查询流量异常;其实现方式与 本实施例相似,在此不再赘述。 
对矩阵相关性变化值大于第一预设阈值的矩阵进行平滑处理的好处在于:如果没有对矩阵相关性变化值大于第一预设阈值的协方差矩阵进行平滑处理,则可能造成虚警,影响后续检测的准确性。例如:在进行异常检测时,如果存在远远大于第一预设阈值的矩阵相关性变化值,则在进行时间段异常检测时,可能仅由这些变化值造成其临近的时间段异常,而不是由在这些时间段内密集出现的大于第二预设阈值的变化值造成时间段异常,从而在实际应用中造成虚警,影响检测的准确度。因此本实施例通过本步骤对矩阵相关性变化值大于第一预设阈值的协方差矩阵进行平滑处理,使得这些协方差矩阵的矩阵相关性变化值不大于第一预设阈值,既在一定程度上保留了这些变化值信息,又使其不至于对时间段异常检测造成过大的影响。 
DNS查询流量检测的目标主要是及时发现异常,以利于告警和采取相应的处置措施。这种DNS流量异常的来源通常可以分为两个方面:一是DNS系统或网络本身的异常,如配置错误,攻击等等;另一方面涉及到网络舆情,即网络系统本身是正常的,而网络用户群体性的行为特征发生异常。 
本发明实施例由DNS中心节点收集由各个DNS分节点统计的各地域属性信息,或者,由DNS中心节点统计各地域属性信息,然后基于地域属性作为异常检测的特征,这种特征不仅对于DNS系统或网络本身的异常很敏感,而且可以有效反映网络舆情的异常,因此可以大大减少上述两种异常的漏检率,尤其后者是现有方法所没有解决的。 
其中,网络舆情定义为通过互联网传播的公众对现实生活中某些热点、焦点问题所持的有较强影响力、倾向性的言论和观点,主要通过BBS论坛、博客、新闻跟帖、转帖等实现并加以强化。由于互联网具有虚拟性、隐蔽性、发散性、渗透性和随意性等特点,越来越多的网民愿意通过这种渠道来表达观点、传播思想。由于网络媒体本身的开放、快捷、虚拟、易复制等特征,网络舆情也有别于传统舆情。同时,互联网涌现性特性使得大量网络舆情的 爆发,某种程度上成为舆情安全的重要因素。 
当前,网络舆情分析的研究对象集中在网络媒体内容、具体网络应用的用户互动关系以及网络突发流量方面。域名访问是信息内容传播过程中必不可少的环节,域名系统能够准确记录用户访问信息通信服务的地址特性、时间特性,而且能够反映出用户的行为特性,具备构建相应舆情态势分析和预警机制的技术基础。利用域名访问行为中蕴藏的丰富信息,探索和发现信息网络中的行为模式和异常情况,有利于准确的掌握信息网络的宏观舆情态势,可视为现有基于网络媒体内容相关方法的一个重要的补充。利用域名访问日志提供的用户信息,开展针对特定地域和人群的舆情态势分析技术研究,弥补了现有方法对网络用户主体信息缺乏了解的缺点,加强了网络舆情分析的主体针对性。 
本发明上述实施例利用基于地域信息相关性作为异常检测的特征,不仅对于DNS系统或网络本身的异常很敏感,而且可以有效反映网络舆情的异常,因此可以大大减少上述两种异常的漏检率。 
图4为本发明第四实施例提供的DNS查询流量异常的检测装置结构示意图。如图4所示,本实施例DNS查询流量异常的检测装置包括:地域流量统计模块41、矩阵确定模块42、矩阵相关性计算模块43和瞬时报警模块44。 
地域流量统计模块41用于根据预先划分的地域单位,分别统计各地域的DNS查询流量。 
矩阵确定模块42用于根据各地域的DNS查询流量,分别确定多个时间片对应的协方差矩阵,并计算各协方差矩阵的平均协方差矩阵。 
矩阵相关性计算模块43用于分别计算各时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值。 
瞬时报警模块44用于在任一时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值,大于第一预设阈值时,则输出瞬时报警信息,所述瞬时报警信息用于提示所述任一时间片DNS查询流量异常。 
在上述技术方案的基础上,可选的,检测装置还可包括:属性相关性计算模块45和异常地域属性确定模块46。 
属性相关性计算模块45用于根据所述任一时间片对应的协方差矩阵以及所述平均协方差矩阵分别包括的各元素,分别计算所述任一时间片内各地域的属性相关性变化值,任一元素为任两个地域的DNS查询流量的协方差。 
异常地域属性确定模块46用于对所述任一时间片内各地域的属性相关性变化值进行聚类分析,得到异常地域属性,所述异常地域属性对应所述任一时间片DNS查询流量异常所在的地域。 
可选的,本实施例检测装置还可包括:平滑处理模块47。 
平滑处理模块47用于对所述任一时间片对应的协方差矩阵进行平滑处理,以使所述任一时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值,小于或等于第一预设阈值。 
可选的,本实施例检测装置还可包括:时间片确定模块48。 
时间片确定模块48用于确定所述多个时间片,所述多个时间片的长度相同或不同,且相邻的两个时间片在时间轴上相连或相互重叠。 
在上述技术方案的基础上,可选的,本实施例检测装置还可包括:矩阵数量确定模块49和时间段报警模块410。 
矩阵数量确定模块49用于检测在一预设时间段包括的各时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值,大于第二预设阈值的矩阵数量,或者大于第二预设阈值且小于或等于第一预设阈值的矩阵数量。 
时间段报警模块410用于在所述矩阵数量大于第三预设阈值时,则输出时间段报警信息,所述时间段报警信息用于提示所述时间段DNS查询流量异常。 
本实施例提供的DNS查询流量异常的检测装置,基于地域属性作为异常检测的特征,如果所有地域的总DNS查询流量整体变化不大,但个别地域的DNS查询流量发生异常,则可在本实施例矩阵相关性变化量上反映出来,因 而有利于降低域名系统查询流量异常的漏检率。本实施例可确定DNS查询流量异常的时间信息和地域信息,有利于提高异常检测的精准性。进一步的,本实施例可将时间片瞬时异常报警和时间段异常报警相结合,可明显降低了异常检测的漏检率,有效提高了异常检测的准确性。本实施例检测装置的具体表现实体不受限制,如可为DNS服务器、分布式系统中的DNS中心节点等,其实现DNS查询流量异常的检测机理,可参见图1和图3对应实施例的记载,在此不再赘述。 
本发明还提供了一种包括如图4所示的DNS查询流量异常的检测系统。可选的,该检测系统可具有分布式结构,如可包括一检测装置和多个DNS分节点,该检测装置相当于DNS中心节点,系统结构如图2所示。每个DNS分节点与检测装置以可通信方式连接,用于DNS分节点,用于统计各地域的DNS查询流量,并将统计到的DNS查询流量上报给所述检测装置,由检测装置进行DNS查询流量异常的检测。本发明提供的检测系统实现DNS查询流量异常的检测机理,可参见图1和图3对应实施例的记载,在此不再赘述。 
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。 
本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。 
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。 
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。 
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。 

Claims (11)

1.一种DNS查询流量异常的检测方法,其特征在于,包括:
根据预先划分的地域单位,分别统计各地域的DNS查询流量;
根据各地域的DNS查询流量,分别确定多个时间片对应的协方差矩阵,并计算多个协方差矩阵的平均协方差矩阵;
分别计算各时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值;
在任一时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值,大于第一预设阈值时,则输出瞬时报警信息,所述瞬时报警信息用于提示所述任一时间片DNS查询流量异常;
在任一时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值,大于第一预设阈值时,还包括:
根据所述任一时间片对应的协方差矩阵以及所述平均协方差矩阵分别包括的各元素,分别计算所述任一时间片内各地域的属性相关性变化值,所述任一时间片对应的协方差矩阵以及所述平均协方差矩阵包括的任一元素为任两个地域的DNS查询流量的协方差;
对所述任一时间片内各地域的属性相关性变化值进行聚类分析,得到异常地域属性,所述异常地域属性对应所述任一时间片DNS查询流量异常所在的地域。
2.根据权利要求1所述的检测方法,其特征在于,还包括:
对所述任一时间片对应的协方差矩阵进行平滑处理,以使所述任一时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值,小于或等于第一预设阈值。
3.根据权利要求1所述的检测方法,其特征在于,所述多个时间片的长度相同或不同,且相邻的两个时间片在时间轴上相连或相互重叠。
4.根据权利要求1-3任一所述的检测方法,其特征在于,还包括: 
在任一时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值不大于第一预设阈值时,检测在一预设时间段包括的各时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值大于第二预设阈值且小于或等于第一预设阈值的矩阵数量;
在所述矩阵数量大于第三预设阈值时,则输出时间段报警信息,所述时间段报警信息用于提示所述时间段DNS查询流量异常。
5.根据权利要求4所述的检测方法,其特征在于,任一时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值,等于所述任一时间片对应的协方差矩阵与所述平均协方差矩阵的距离。
6.一种DNS查询流量异常的检测装置,其特征在于,包括:
地域流量统计模块,用于根据预先划分的地域单位,分别统计各地域的DNS查询流量;
矩阵确定模块,用于根据各地域的DNS查询流量,分别确定多个时间片对应的协方差矩阵,并计算多个协方差矩阵的平均协方差矩阵;
矩阵相关性计算模块,用于分别计算各时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值;
瞬时报警模块,用于在任一时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值,大于第一预设阈值时,则输出瞬时报警信息,所述瞬时报警信息用于提示所述任一时间片DNS查询流量异常;
属性相关性计算模块,用于根据所述任一时间片对应的协方差矩阵以及所述平均协方差矩阵分别包括的各元素,分别计算所述任一时间片内各地域的属性相关性变化值,所述任一时间片对应的协方差矩阵以及所述平均协方差矩阵包括的任一元素为任两个地域的DNS查询流量的协方差;
异常地域属性确定模块,用于对所述任一时间片内各地域的属性相关性变化值进行聚类分析,得到异常地域属性,所述异常地域属性对应所述任一时间片DNS查询流量异常所在的地域。 
7.根据权利要求6所述的检测装置,其特征在于,还包括:
平滑处理模块,用于对所述任一时间片对应的协方差矩阵进行平滑处理,以使所述任一时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值,小于或等于第一预设阈值。
8.根据权利要求6所述的检测装置,其特征在于,还包括:
时间片确定模块,用于确定所述多个时间片,所述多个时间片的长度相同或不同,且相邻的两个时间片在时间轴上相连或相互重叠。
9.根据权利要求6-8任一所述的检测装置,其特征在于,还包括:
矩阵数量确定模块,用于在任一时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值不大于第一预设阈值时,检测在一预设时间段包括的各时间片对应的协方差矩阵与所述平均协方差矩阵的矩阵相关性变化值,大于第二预设阈值且小于或等于第一预设阈值的矩阵数量;
时间段报警模块,用于在所述矩阵数量大于第三预设阈值时,则输出时间段报警信息,所述时间段报警信息用于提示所述时间段DNS查询流量异常。
10.一种DNS查询流量异常的检测系统,其特征在于,包括如权利要求6-9任一所述的DNS查询流量异常的检测装置。
11.根据权利要求10所述的检测系统,其特征在于,还包括:分别与所述检测装置以可通信方式连接的多个DNS分节点;
任一所述DNS分节点,用于统计各地域的DNS查询流量,并将统计到的DNS查询流量上报给所述检测装置。 
CN201010034253A 2010-01-18 2010-01-18 Dns查询流量异常的检测方法、装置和系统 Active CN101841435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010034253A CN101841435B (zh) 2010-01-18 2010-01-18 Dns查询流量异常的检测方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010034253A CN101841435B (zh) 2010-01-18 2010-01-18 Dns查询流量异常的检测方法、装置和系统

Publications (2)

Publication Number Publication Date
CN101841435A CN101841435A (zh) 2010-09-22
CN101841435B true CN101841435B (zh) 2012-08-29

Family

ID=42744574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010034253A Active CN101841435B (zh) 2010-01-18 2010-01-18 Dns查询流量异常的检测方法、装置和系统

Country Status (1)

Country Link
CN (1) CN101841435B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158372B (zh) * 2011-04-14 2013-06-05 哈尔滨工程大学 一种分布式系统异常检测方法
CN103001825B (zh) * 2012-11-15 2016-03-02 中国科学院计算机网络信息中心 Dns流量异常的检测方法和系统
CN103117903B (zh) * 2013-02-07 2016-01-06 中国联合网络通信集团有限公司 上网流量异常检测方法及装置
CN104079421B (zh) * 2013-03-27 2017-09-15 中国移动通信集团北京有限公司 一种域名系统防护的方法和系统
CN104639388B (zh) * 2014-12-30 2018-03-16 中国科学院计算机网络信息中心 一种基于用户感知的dns服务器可用性检测方法
CN105656877A (zh) * 2015-11-30 2016-06-08 乐视云计算有限公司 一种盗链的检测方法及装置
CN107154880B (zh) * 2016-03-03 2020-12-15 创新先进技术有限公司 系统监控方法及装置
CN107528815A (zh) * 2016-06-22 2017-12-29 腾讯科技(深圳)有限公司 一种防御网站攻击的方法及服务器
CN106850346B (zh) * 2017-01-23 2020-02-07 北京京东金融科技控股有限公司 用于监控节点变化及辅助识别黑名单的方法、装置及电子设备
CN108965277B (zh) * 2018-07-02 2022-01-25 杭州安恒信息技术股份有限公司 一种基于dns的感染主机分布监测方法与系统
CN109634767A (zh) * 2018-12-06 2019-04-16 北京字节跳动网络技术有限公司 用于检测信息的方法和装置
CN110138684B (zh) * 2019-04-01 2022-04-29 贵州力创科技发展有限公司 一种基于dns日志的流量监控方法及系统
CN110071829B (zh) * 2019-04-12 2022-03-04 腾讯科技(深圳)有限公司 Dns隧道检测方法、装置及计算机可读存储介质
CN110032596B (zh) * 2019-04-17 2021-07-27 中国联合网络通信集团有限公司 流量异常用户识别方法及系统
CN111556440A (zh) * 2020-05-07 2020-08-18 之江实验室 一种基于流量模式的网络异常检测方法
CN111935136B (zh) * 2020-08-07 2022-05-20 哈尔滨工业大学 基于dns数据分析的域名查询与解析异常检测系统及方法
CN111818097B (zh) * 2020-09-01 2020-12-22 北京安帝科技有限公司 基于行为的流量监测方法及装置
CN116346774A (zh) * 2023-02-16 2023-06-27 北京有元科技有限公司 一种基于dns路由的网络流量数据查询系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007006995A2 (fr) * 2005-07-07 2007-01-18 France Telecom Detection dynamique d'anomalies dans le trafic relatif a une entite de service
WO2008090531A2 (en) * 2007-01-23 2008-07-31 Alcatel Lucent A containment mechanism for potentially contaminated end systems
CN101465763A (zh) * 2008-12-30 2009-06-24 上海地面通信息网络有限公司 用户端网络设备流量监控及分析的方法
CN101572701A (zh) * 2009-02-10 2009-11-04 中科正阳信息安全技术有限公司 针对DNS服务的抗DDoS攻击安全网关系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007006995A2 (fr) * 2005-07-07 2007-01-18 France Telecom Detection dynamique d'anomalies dans le trafic relatif a une entite de service
WO2008090531A2 (en) * 2007-01-23 2008-07-31 Alcatel Lucent A containment mechanism for potentially contaminated end systems
CN101465763A (zh) * 2008-12-30 2009-06-24 上海地面通信息网络有限公司 用户端网络设备流量监控及分析的方法
CN101572701A (zh) * 2009-02-10 2009-11-04 中科正阳信息安全技术有限公司 针对DNS服务的抗DDoS攻击安全网关系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王欣.Major DNS Abnormalities seen by .CN.《Major DNS Abnormalities seen by .CN》.2009,第4-24页. *

Also Published As

Publication number Publication date
CN101841435A (zh) 2010-09-22

Similar Documents

Publication Publication Date Title
CN101841435B (zh) Dns查询流量异常的检测方法、装置和系统
US20210019674A1 (en) Risk profiling and rating of extended relationships using ontological databases
Yan et al. Measuring technological distance for patent mapping
Ul Islam et al. A novel anomaly detection algorithm for sensor data under uncertainty
Ali Alheeti et al. Intelligent intrusion detection in external communication systems for autonomous vehicles
Laffan et al. Range‐weighted metrics of species and phylogenetic turnover can better resolve biogeographic transition zones
US20180337935A1 (en) Anomalous entity determinations
CN111885040A (zh) 分布式网络态势感知方法、系统、服务器及节点设备
Bordin et al. Dspbench: A suite of benchmark applications for distributed data stream processing systems
US20050278786A1 (en) System and method for assessing risk to a collection of information resources
EP3329640B1 (en) Network operation
CN101645066B (zh) 一种互联网新颖词监测方法
CN102291392A (zh) 一种基于Bagging算法的复合式入侵检测方法
CN108881250A (zh) 电力通信网络安全态势预测方法、装置、设备及存储介质
Al-Ghuwairi et al. Intrusion detection in cloud computing based on time series anomalies utilizing machine learning
Chaudhary et al. Use of big data in computational epidemiology for public health surveillance
Liu et al. Analysis of large heterogeneous repairable system reliability data with static system attributes and dynamic sensor measurement in big data environment
Wang et al. CPB: a classification-based approach for burst time prediction in cascades
CN113254580A (zh) 一种特殊群体搜索方法及系统
Wang et al. An improved clustering method for detection system of public security events based on genetic algorithm and semisupervised learning
CN102195814B (zh) 一种利用相关性的it运维指标预报与预测方法和装置
CN103336865B (zh) 一种动态通信网络构建方法及装置
Ragapriya et al. Machine Learning Based House Price Prediction Using Modified Extreme Boosting
CN103560925A (zh) 利用相关性的it运维指标预报方法
CN112613231B (zh) 一种机器学习中隐私可用均衡的轨迹训练数据扰动机制

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210226

Address after: 100190 room 506, building 2, courtyard 4, South 4th Street, Zhongguancun, Haidian District, Beijing

Patentee after: CHINA INTERNET NETWORK INFORMATION CENTER

Address before: 100190 box 6, Beijing 349, No.4, South 4th Street, Zhongguancun, Haidian District, Beijing

Patentee before: Computer Network Information Center, Chinese Academy of Sciences