CN106713371B - 一种基于DNS异常挖掘的Fast Flux僵尸网络检测方法 - Google Patents

一种基于DNS异常挖掘的Fast Flux僵尸网络检测方法 Download PDF

Info

Publication number
CN106713371B
CN106713371B CN201710153536.0A CN201710153536A CN106713371B CN 106713371 B CN106713371 B CN 106713371B CN 201710153536 A CN201710153536 A CN 201710153536A CN 106713371 B CN106713371 B CN 106713371B
Authority
CN
China
Prior art keywords
domain name
dns
detection
network flow
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710153536.0A
Other languages
English (en)
Other versions
CN106713371A (zh
Inventor
胥小波
陈云风
丁才伟
李艳梅
李翠娇
吴明朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electronic Technology Cyber Security Co Ltd
Original Assignee
China Electronic Technology Cyber Security Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electronic Technology Cyber Security Co Ltd filed Critical China Electronic Technology Cyber Security Co Ltd
Publication of CN106713371A publication Critical patent/CN106713371A/zh
Application granted granted Critical
Publication of CN106713371B publication Critical patent/CN106713371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种基于DNS异常挖掘的Fast Flux僵尸网络检测方法,本方法首先挖掘网络攻击特征,过滤正常网络流量,然后把流量特征与协议特征相结合,利用机器学习的方法建立检测模型。本发明从DNS协议和流量两个方向着手对网络流量包进行分析,相比于传统的单纯用稳定性的方法检测率更高,误报率较低。本发明前期通过域名白名单、IP地址数、DNS查询相应数据的TTL平均值、DNS查询响应IP相似度等条件进行网络流量过滤模块,避免了对正常网络流量参与后期检测,大大减少了后期的计算成本,提高了效率。

Description

一种基于DNS异常挖掘的Fast Flux僵尸网络检测方法
技术领域
本发明涉及网络安全技术领域,特别是涉及一种基于DNS异常挖掘的Fast Flux僵尸网络检测方法。
背景技术
传统的基于规则的僵尸网络检测技术,无法应对Fast Flux僵尸网络域名和IP地址的快速变化,且已有技术无法区分CDN正常访问。该专利提出了一种基于DNS异常挖掘的Fast Flux僵尸网络检测技术,基于DGA检测、CDN域名分析、DNS流量与协议异常挖掘技术,实现从DNS访问流量中自动挖掘和发现Fast Flux僵尸网络。
随着全球信息一体化的迅猛发展,互联网规模不断扩大,信息量呈几何级数增长。网络高级持续性威胁(advanced persistent threat,APT)层出不穷,安全态势严峻,需要从海量网络数据中挖掘分析异常行为。由于网络异常行为行踪隐蔽,常隐藏于正常的网络流量中,难于检测和分析,而且其形式变化多样,种类逐渐增多,内部结构复杂,需要基于大数据和关联挖掘分析进行建模和分析。
僵尸网络是网络攻击感染的系统集合,攻击者可以控制僵尸网络,进行入侵、攻击和数据窃取等异常行为。攻击者通过命令与控制通道对僵尸网络进行控制,由于基于固定IP地址或单一DNS域名的僵尸网络容易被发现和禁用,Fast Flux技术被僵尸网络利用,基于快速转换的C&C域名列表,利用僵尸网络节点作DNS解析。由于Fast Flux与用户访问CDN网络具有较大的相似性,检测难度较大。基于规则、传统的访问特征的机器学习算法存在明显的不足:通常需要黑名单才能完成检测;单纯利用单个僵尸主机行为相似性的方法容易出现误判;无法区分Fast Flux与CDN正常访问。
发明内容
为解决上述问题,本发明提供了一种基于DNS异常挖掘的Fast Flux僵尸网络检测方法,包括如下步骤:
步骤一:预先建立域名白名单,所述白名单内保存有正常网址的二级域名。
步骤二:根据域名白名单、DNS查询响应数据的TTL值、域名对应的IP地址相似程度、域名对应的IP数量,域名是否采用CDN加速,进行数据过滤,提取出可疑的网络流量。
步骤三:对可疑的网络流量进行DGA检测、基于协议特征的检测、基于流量特征的检测。
步骤四:根据步骤三的三个检测结果进行告警融合,最终判定可疑的网络流量是否为恶意攻击。
进一步的,所述步骤二具体为:
步骤2.1:预先定义DNS查询响应数据的TTL值阈值、域名对应的IP地址相似程度的阈值、域名对应的IP数量的阈值。
步骤2.2:判断请求网址是否为可疑的网络流量,当所请求域名的二级域名不存在于白名单中以及DNS查询响应数据的TTL值小于TTL阈值以及域名对应的IP数大于IP数阈值以及IP地址相似程度大于相似程度阈值时,判断为可疑的网络流量。
进一步的,步骤2.3中,IP地址相似程度的技术公式为
Figure BDA0001246332580000031
其中,sim(I)表示IP地址相似程度,P表示IP地址用点划分的8位,R表示一条DNS请求对应的IP数目。
进一步的,步骤三具体为:
步骤3.1:预先建立基于协议特征的分类模型、基于流量特征的分类模型,所述基于协议特征的分类模型采用的特征为v1={IP数、TTL值、域名长度、域名层级、请求类型、非权威应答数},基于流量特征的分类模型采用的特征为v2={总流量、包数、包大小方差、上行包量、会话时长、包间隔时间}。
步骤3.2:将请求进行DAG检测过滤、基于协议特征的分类模型过滤、基于流量特征的分类模型过滤。
进一步的,步骤三中,进行DAG检测需要基于随机性的特征、基于统计的特征、基于高级特征。
进一步的,随机性的特征包括熵、长度、加权熵,统计的特征包括元音字母的比例、数字比例、重复字母比例、连续数字段比例、连续辅音字母段比例,高级特征包括一元组平均排名、二元组平均排名、三元组平均排名、一元组排名标准差、二元组排名标准差、三元组排名标准差、Hmm转移概率、gibberish值。
本发明的技术效果为:
本发明从DNS协议和流量两个方向着手对网络流量包进行分析,相比于传统的单纯用稳定性的方法检测率更高,误报率较低。本发明前期通过域名白名单、IP地址数、DNS查询相应数据的TTL平均值、DNS查询响应IP相似度等条件进行网络流量过滤模块,避免了对正常网络流量参与后期检测,大大减少了后期的计算成本,提高了效率。
附图说明
图1为本发明示意图。
具体实施方式
本发明的设计构思为:提出一种基于DNS异常挖掘的Fast Flux僵尸网络检测方法,本方法首先挖掘网络攻击特征,过滤正常网络流量,然后把流量特征与协议特征相结合,利用机器学习的方法建立检测模型。
下面结合图1对本方法进行详细说明。
步骤一:预先建立域名白名单,所述白名单内为正常网址的二级域名。
域名白名单的建立是方便将对常见正常访问网址请求进行过滤。名单内应该尽可能的包含正常网址的二级域名,如baidu、google等,以方便对网络流量进行第一次的过滤,过滤掉正常的网络流量。
步骤二:根据域名白名单、DNS查询响应数据的TTL值、域名对应的IP地址相似程度、域名对应的IP数量,域名是否采用CDN加速,进行数据过滤,提取出可疑的网络流量。
更具体的,本步骤包括可细分如下两步:
步骤2.1:预先定义DNS查询响应数据的TTL值阈值、域名对应的IP地址相似程度的阈值、域名对应的IP数量的阈值。
步骤2.2:判断请求网址是否为可疑的网络流量,当所请求域名的二级域名不存在于白名单中以及DNS查询响应数据的TTL值小于TTL阈值以及域名对应的IP数大于IP数阈值以及IP地址相似程度大于相似程度阈值时,判断为可疑的网络流量,对可疑的网络流量执行下一步。
本步骤中,将一条DNS的数据表示为D(q),其中q表示DNS的请求域名,D(q)作为过滤模块的输入。如果D(q)满足以下条件则为可疑网络流量:
(1)A≠f(q)cdn
(2)I≥θI
(3)λ≤θttl
(4)sim(I)≥θsim
由于僵尸网络一般不采取CDN加速,因此将其CDN加速过滤条件设置为A≠f(q)cdn,其中A表示域名q是否采取CDN加速技术的特征,f(q)CDN表示q属于域名白名单时的CDN属性。A≠f(q)cdn表示A不属于域名白名单。I表示域名对应的IP地址数。λ表示DNS查询响应数据的TTL平均值。θI、θttl、θsim分别为IP地址数阈值、TTL阈值、IP相似度阈值。阈值是检测人员预先从数据集里经过计算提取出来的。为了确保真正的恶意网络流量不被过滤掉,本实施例优选θI=3、θttl=30秒、θsim=20。sim(I)表示DNS查询响应IP的相似度。
Figure BDA0001246332580000051
这里P表示IP地址用点划分的8位,R表示一条DNS请求对应的IP数目。例如响应IP列表中第一个IP为10.11.13.6,第二个IP为121.111.130.60,那么P11=10,P12=11,P13=13,P14=6。P21=121,P22=111,P23=130,P24=60。那么这两个IP地址的相似度就可以计算为:
Figure BDA0001246332580000061
相比于CDN加速的域名,僵尸网络对应的IP地址集,应为IP比较分散,而CDN厂商一般域名是连续申请的,因此sim(I)值越大表示该域名潜在的威胁就越大。
步骤三:对可疑的网络流量进行DGA检测、基于协议信息的检测、基于流量特征的检测。
DGA域名是指由域名生成算法Domain Generation Algorithm生成,为了达到某种命令和控制Command and Control目的的域名,又称C&C域名。为了提高隐蔽性,僵尸网络一般不会使用固定IP与C&C服务器通信,而是采用域名解析系统DNS。如conficker采用“domain flux”,使用特定的规则作为种子生成大量备选域名,然后选取部分注册作为C&C域名发起攻击。本发明中DGA检测采用的特征包括基于随机性的特征、基于统计的特征、高级特征。如表1:
Figure BDA0001246332580000062
Figure BDA0001246332580000071
在僵尸网络整个生命周期中,总是存在一组IP查询同一域名,如果存在多个不同的僵尸网络,那就也存在着一组域名查询同一IP,而且是持续不断的间歇性群组行为。要对DNS数据集进行分类,就必须把数据已向量的形式表现出来,本发明通过分析僵尸网络的一系列特点,根据协议信息把具体的单条DNS查询信息表示为:
v1={IP数、TTL值、域名长度、域名层级、请求类型、非权威应答数}
根据DNS会话信息把单条流量信息表示为:
v2={总流量、包数、包大小方差、上行包量、会话时长、包间隔时间}
根据以上两种不同的表达方式,运用SVM分类算法分别训练出基于协议特征的分类模型和基于流量特征的分类模型。
步骤四:根据步骤三的三个检测结果进行告警融合,最终判定可疑的网络流量是否为恶意攻击。

Claims (5)

1.一种基于DNS异常挖掘的Fast Flux僵尸网络检测方法,其特征在于,包括如下步骤:
步骤一:预先建立域名白名单,所述白名单内保存有正常网址的二级域名;
步骤二:根据域名白名单、DNS查询响应数据的TTL值、域名对应的IP地址相似程度、域名对应的IP数量,域名是否采用CDN加速,进行数据过滤,提取出可疑的网络流量;
步骤三:对可疑的网络流量进行DGA检测、基于协议特征的检测、基于流量特征的检测;
步骤四:根据步骤三的三个检测结果进行告警融合,最终判定可疑的网络流量是否为恶意攻击;
步骤三具体为:
步骤3.1:预先建立基于协议特征的分类模型、基于流量特征的分类模型,所述基于协议特征的分类模型采用的特征为v1={IP数、TTL值、域名长度、域名层级、请求类型、非权威应答数},基于流量特征的分类模型采用的特征为v2={总流量、包数、包大小方差、上行包量、会话时长、包间隔时间};
步骤3.2:将请求进行DGA检测过滤、基于协议特征的分类模型过滤、基于流量特征的分类模型过滤。
2.如权利要求1所述的基于DNS异常挖掘的Fast Flux僵尸网络检测方法,其特征在于,所述步骤二具体为:
步骤2.1:预先定义DNS查询响应数据的TTL值阈值、域名对应的IP地址相似程度的阈值、域名对应的IP数量的阈值;
步骤2.2:判断请求网址是否为可疑的网络流量,当所请求域名的二级域名不存在于域名白名单中以及DNS查询响应数据的TTL值小于TTL阈值以及域名对应的IP数大于IP数阈值以及IP地址相似程度大于IP相似程度阈值时,判断为可疑的网络流量。
3.如权利要求2所述的基于DNS异常挖掘的Fast Flux僵尸网络检测方法,其特征在于,步骤2.3中,IP地址相似程度的计算公式为
Figure FDA0002320900290000021
其中,sim(I)表示IP地址相似程度,P表示IP地址用点划分的8位,R表示一条DNS请求对应的IP数目。
4.如权利要求1所述的基于DNS异常挖掘的Fast Flux僵尸网络检测方法,其特征在于,步骤三中,进行DGA检测需要基于随机性的特征、基于统计的特征、基于高级特征。
5.如权利要求4所述的基于DNS异常挖掘的Fast Flux僵尸网络检测方法,其特征在于,随机性的特征包括熵、长度、加权熵,统计的特征包括元音字母的比例、数字比例、重复字母比例、连续数字段比例、连续辅音字母段比例,高级特征包括一元组平均排名、二元组平均排名、三元组平均排名、一元组排名标准差、二元组排名标准差、三元组排名标准差、Hmm转移概率、gibberish值。
CN201710153536.0A 2016-12-08 2017-03-15 一种基于DNS异常挖掘的Fast Flux僵尸网络检测方法 Active CN106713371B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611121479X 2016-12-08
CN201611121479 2016-12-08

Publications (2)

Publication Number Publication Date
CN106713371A CN106713371A (zh) 2017-05-24
CN106713371B true CN106713371B (zh) 2020-04-21

Family

ID=58884697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710153536.0A Active CN106713371B (zh) 2016-12-08 2017-03-15 一种基于DNS异常挖掘的Fast Flux僵尸网络检测方法

Country Status (1)

Country Link
CN (1) CN106713371B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107645493B (zh) * 2017-08-20 2020-03-06 杭州安恒信息技术股份有限公司 一种ip组相似度计算方法
CN108076041A (zh) * 2017-10-23 2018-05-25 中国银联股份有限公司 一种dns流量检测方法以及dns流量检测系统
CN108040053A (zh) * 2017-12-13 2018-05-15 北京明朝万达科技股份有限公司 一种基于dns日志数据的网络安全威胁分析方法及系统
CN108390864B (zh) * 2018-02-01 2020-12-11 杭州安恒信息技术股份有限公司 一种基于攻击链行为分析的木马检测方法及系统
CN108418803B (zh) * 2018-02-02 2020-12-15 广东安创信息科技开发有限公司 防御dns重绑定攻击的方法和装置
CN108494791A (zh) * 2018-04-08 2018-09-04 北京明朝万达科技股份有限公司 一种基于Netflow日志数据的DDOS攻击检测方法及装置
CN109246083B (zh) * 2018-08-09 2021-08-03 奇安信科技集团股份有限公司 一种dga域名的检测方法及装置
CN110943961B (zh) 2018-09-21 2022-06-21 阿里巴巴集团控股有限公司 数据处理方法、设备以及存储介质
CN110740117B (zh) * 2018-10-31 2022-03-04 安天科技集团股份有限公司 仿冒域名检测方法、装置、电子设备及存储介质
CN109743309B (zh) * 2018-12-28 2021-09-10 微梦创科网络科技(中国)有限公司 一种非法请求识别方法、装置及电子设备
CN110149315A (zh) * 2019-04-24 2019-08-20 南京邮电大学 异常网络流量检测方法、可读存储介质和终端
CN110149317A (zh) * 2019-04-24 2019-08-20 南京邮电大学 异常网络流量检测装置
CN112217762B (zh) * 2019-07-09 2022-11-18 北京观成科技有限公司 基于用途的恶意加密流量的识别方法及装置
CN111371917B (zh) * 2020-02-28 2022-04-22 北京信息科技大学 一种域名检测方法及系统
CN112162911B (zh) * 2020-10-14 2024-03-29 中国民航信息网络股份有限公司 异常业务操作行为检测方法、装置、设备及可读存储介质
CN112468484B (zh) * 2020-11-24 2022-09-20 山西三友和智慧信息技术股份有限公司 一种基于异常和信誉的物联网设备感染检测方法
CN112839054A (zh) * 2021-02-02 2021-05-25 杭州安恒信息技术股份有限公司 一种网络攻击检测方法、装置、设备及介质
CN113794731B (zh) * 2021-09-17 2023-05-02 工银科技有限公司 识别基于cdn流量伪装攻击的方法、装置、设备和介质
CN115412366B (zh) * 2022-10-28 2023-01-31 成都数默科技有限公司 基于服务提供商动态ip白名单的流量采集过滤方法
CN117155614A (zh) * 2023-08-09 2023-12-01 华能信息技术有限公司 一种僵尸网络发现方法、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101795214A (zh) * 2010-01-22 2010-08-04 华中科技大学 一种大流量环境下基于行为的p2p检测方法
CN101800746A (zh) * 2010-02-04 2010-08-11 成都市华为赛门铁克科技有限公司 检测僵尸网络中控制主机域名的方法、装置和系统
CN102938769A (zh) * 2012-11-22 2013-02-20 国家计算机网络与信息安全管理中心 一种Domain flux僵尸网络域名检测方法
CN105024969A (zh) * 2014-04-17 2015-11-04 北京启明星辰信息安全技术有限公司 一种实现恶意域名识别的方法及装置
CN105809190A (zh) * 2016-03-03 2016-07-27 南京邮电大学 一种基于特征选取的svm级联分类器方法
US9426168B1 (en) * 2014-08-28 2016-08-23 Emc Corporation Fast-flux detection utilizing domain name system information
CN105897714A (zh) * 2016-04-11 2016-08-24 天津大学 基于dns流量特征的僵尸网络检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8763117B2 (en) * 2012-03-02 2014-06-24 Cox Communications, Inc. Systems and methods of DNS grey listing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101795214A (zh) * 2010-01-22 2010-08-04 华中科技大学 一种大流量环境下基于行为的p2p检测方法
CN101800746A (zh) * 2010-02-04 2010-08-11 成都市华为赛门铁克科技有限公司 检测僵尸网络中控制主机域名的方法、装置和系统
CN102938769A (zh) * 2012-11-22 2013-02-20 国家计算机网络与信息安全管理中心 一种Domain flux僵尸网络域名检测方法
CN105024969A (zh) * 2014-04-17 2015-11-04 北京启明星辰信息安全技术有限公司 一种实现恶意域名识别的方法及装置
US9426168B1 (en) * 2014-08-28 2016-08-23 Emc Corporation Fast-flux detection utilizing domain name system information
CN105809190A (zh) * 2016-03-03 2016-07-27 南京邮电大学 一种基于特征选取的svm级联分类器方法
CN105897714A (zh) * 2016-04-11 2016-08-24 天津大学 基于dns流量特征的僵尸网络检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Fast-flux服务网络检测方法研究;汪洋;《中国优秀硕士学位论文全文数据库(电子期刊)》;20111215(第S2期);正文第4-5章 *

Also Published As

Publication number Publication date
CN106713371A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN106713371B (zh) 一种基于DNS异常挖掘的Fast Flux僵尸网络检测方法
Singh et al. Issues and challenges in DNS based botnet detection: A survey
CN112738015B (zh) 一种基于可解释卷积神经网络cnn与图检测的多步攻击检测方法
Kirubavathi et al. Botnet detection via mining of traffic flow characteristics
US10375143B2 (en) Learning indicators of compromise with hierarchical models
Rahbarinia et al. Peerrush: Mining for unwanted p2p traffic
Rahbarinia et al. Peerrush: Mining for unwanted p2p traffic
Catak et al. Distributed denial of service attack detection using autoencoder and deep neural networks
CN110830490B (zh) 基于带对抗训练深度网络的恶意域名检测方法及系统
Amoli et al. Unsupervised network intrusion detection systems for zero-day fast-spreading attacks and botnets
CN111245784A (zh) 多维度检测恶意域名的方法
Ko et al. Unsupervised learning with hierarchical feature selection for DDoS mitigation within the ISP domain
Lei et al. Detecting malicious domains with behavioral modeling and graph embedding
Suthar et al. A signature-based botnet (emotet) detection mechanism
Daneshgadeh et al. An empirical investigation of DDoS and Flash event detection using Shannon entropy, KOAD and SVM combined
Houichi et al. A systematic approach for IoT cyber-attacks detection in smart cities using machine learning techniques
Estrada et al. A survey on the use of traffic traces to battle internet threats
Grill Combining network anomaly detectors
Roshna et al. Botnet detection using adaptive neuro fuzzy inference system
Singh et al. A novel DDoS detection and mitigation technique using hybrid machine learning model and redirect illegitimate traffic in SDN network
Deng et al. Abnormal traffic detection of IoT terminals based on Bloom filter
Tang et al. A novel LDoS attack detection method based on reconstruction anomaly
Sulaiman et al. Big data analytic of intrusion detection system
Nie et al. A covert network attack detection method based on lstm
CN111371917B (zh) 一种域名检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant