CN106790245B - 一种基于云服务的实时僵尸网络检测方法 - Google Patents

一种基于云服务的实时僵尸网络检测方法 Download PDF

Info

Publication number
CN106790245B
CN106790245B CN201710049392.4A CN201710049392A CN106790245B CN 106790245 B CN106790245 B CN 106790245B CN 201710049392 A CN201710049392 A CN 201710049392A CN 106790245 B CN106790245 B CN 106790245B
Authority
CN
China
Prior art keywords
data
botnet
sample
firewall
blacklist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710049392.4A
Other languages
English (en)
Other versions
CN106790245A (zh
Inventor
朱静轩
孟彦
魏鸿坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongxin Network Information Security Co ltd
Original Assignee
Zhongxin Network Information Security Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongxin Network Information Security Co ltd filed Critical Zhongxin Network Information Security Co ltd
Priority to CN201710049392.4A priority Critical patent/CN106790245B/zh
Publication of CN106790245A publication Critical patent/CN106790245A/zh
Application granted granted Critical
Publication of CN106790245B publication Critical patent/CN106790245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/144—Detection or countermeasures against botnets

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于云服务的实时僵尸网络检测方法，包括数据采集、数据分析判别、制作僵尸网络肉机IP地址黑名单和向硬件防火墙和数据采集系统分发黑名单等步骤。本发明相比现有技术具有以下优点：利用ElasticSearch云远远超出单个服务器的计算和存储能力处理海量采样数据，利用僵尸网络短时间、大流量的攻击特点，使用DBSCAN聚类算法，找出目标数据类别，提取IP地址，能够快速筛查出僵尸网络肉机的IP地址，使用Simhash和DJBhash对样本字段信息进行加工，获得可用数据用于标记样本数据库，帮助简化计算流程，识别效率大大提升。

Description

一种基于云服务的实时僵尸网络检测方法
技术领域
本发明涉及网络安全技术领域，尤其涉及的是一种基于云服务的实时僵尸网络检测方法。
背景技术
僵尸网络是指采用一种或多种传播手段，将大量主机感僵尸程序病毒，从而在控制者和被感染主机之间所形成的一个可一对多控制的网络。攻击者通过各种途径传播僵尸程序感染互联网上的大量主机，而被感染的主机将通过一个控制信道接收攻击者的指令，组成一个僵尸网络。之所以用僵尸网络这个名字，是为了更形象地让人们认识到这类危害的特点：众多的计算机在不知不觉中如同僵尸群一样被人驱赶和指挥着，成为被人利用的一种工具。
根据《今日美国》报纸2008年的一篇报告称，平均每天连接到互联网的8亿台电脑中有40％的电脑是用来发送垃圾邮件、病毒和窃取敏感个人数据的僵尸电脑。如何快速和大批量的检测僵尸网络并进行拦截已经成为互联网行业亟待解决的重要课题。
发明内容
本发明的目的在于克服现有技术的不足，提供了一种基于云服务的实时僵尸网络检测方法。
本发明是通过以下技术方案实现的：一种基于云服务的实时僵尸网络检测方法，其特征在于步骤如下：
步骤一、数据采集，通过数据采集系统采集硬件防火墙受到的攻击行为的原始数据，并上传至ElasticSearch云系统储存；
步骤二、数据分析，利用ElasticSearch云系统，使用DBSCAN算法对步骤一中上传至ElasticSearch云系统的数据进行处理，将处理结果中数据类别最多的一类数据定义为僵尸网络类别，僵尸网络类别的聚类数据称为模板数据，比对模板数据和原始数据，获得僵尸网络类别的源IP数组；
步骤三、提取僵尸网络类别的源IP数组中僵尸网络肉机的IP地址，制作黑名单储存于ElasticSearch云系统中；
步骤四、将ElasticSearch云系统中储存的黑名单分发到硬件防火墙和数据采集系统。
作为对上述方案的进一步改进，所述步骤一中，通过数据采集系统采集硬件防火墙受到的攻击行为的原始数据的过程中，基于时间序列进行抽样，形成采样样本，采样样本中每个样本的字段信息包括源IP地址，源PORT，目的IP地址，目的PORT，协议类型、采样时间、数据大小和数据包内容信息，其中除数据包内容信息外其他参数均为数值型，数据包内容信息为字符型数据；
对数据包内容信息进行DJBhash计算，得到DJBhash值；
对采样样本的每个样本的各个字段信息进行Simhash计算，得到内容Simhash值，记录Simhash值的二进制数字段为该样本的数据库ID，Simhash值中1出现的个数为该样本的类别标志；
将DJBhash值、Simhash值和样本的所有字段信息作为原始数据上传至ElasticSearch云系统。
作为对上述方案的进一步改进，所述步骤三中，提取类别标识数字出现次数最多的三类样本的源IP地址，去重后制作成黑名单储存在ElasticSearch云系统中。
作为对上述方案的进一步改进，在所述步骤二中，计算原始数据中每一个样本和其他所有样本之间的相似度，获得全部相似度的集合后，按相似度大小升序排列，取相似度大小位于前10％的所有数值的均值作为DBSCAN算法的密度半径，DBSCAN算法的样本阈值取采样样本中所含字段数加1。
作为对上述方案的进一步改进，所述相似度用海明距离表示。
作为对上述方案的进一步改进，所述步骤三中，每隔1小时制作一次黑名单。
作为对上述方案的进一步改进，所述步骤四，定期分发更新黑名单，更新频率分为3个级别：1小时更新一次，12小时更新一次，24小时更新一次；当防火墙被DDos一天之内攻击次数不大于1次，24小时更新一次，当防火墙被DDos一天之内攻击次数为2～10次，12小时更新一次，当防火墙被DDos一天之内攻击次数大于10次，1小时更新一次。
本发明相比现有技术具有以下优点：利用ElasticSearch云远远超出单个服务器的计算和存储能力处理海量采样数据，利用僵尸网络短时间、大流量的攻击特点，使用DBSCAN聚类算法，找出目标数据类别，提取IP地址，能够快速筛查出僵尸网络肉机的IP地址，使用Simhash和DJBhash对样本字段信息进行加工，获得可用数据用于标记样本数据库，帮助简化计算流程，识别效率大大提升。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
一种基于云服务的实时僵尸网络检测方法，其特征在于步骤如下：
步骤一、数据采集，通过数据采集系统采集硬件防火墙受到的攻击行为的原始数据，并上传至ElasticSearch云系统储存；
通过数据采集系统采集硬件防火墙受到的攻击行为的原始数据的过程中，基于时间序列进行抽样，形成采样样本，采样样本中每个样本的字段信息包括源IP地址，源PORT，目的IP地址，目的PORT，协议类型、采样时间、数据大小和数据包内容信息，其中除数据包内容信息外其他参数均为数值型，数据包内容信息为字符型数据；
对数据包内容信息进行DJBhash计算，得到DJBhash值；
对采样样本的每个样本的各个字段信息进行Simhash计算，得到内容Simhash值，记录simhash值的二进制数字段为该样本的数据库ID，Simhash值中1出现的个数为该样本的类别标志；
将DJBhash值、Simhash值和样本的所有字段信息作为原始数据上传至ElasticSearch云系统。
步骤二、数据分析，利用ElasticSearch云系统，使用DBSCAN算法对步骤一中上传至ElasticSearch云系统的数据进行处理，将处理结果中数据类别最多的一类数据定义为僵尸网络类别，僵尸网络类别的聚类数据称为模板数据，比对模板数据和原始数据，获得僵尸网络类别的源IP数组；
计算原始数据中每一个样本和其他所有样本之间的海明距离，获得全部海明距离的集合后，按海明距离大小升序排列，取大小位于前10％的所有数值的均值作为DBSCAN算法的密度半径，DBSCAN算法的样本阈值取采样样本中所含字段数加1。
步骤三、每隔1小时制作一次黑名单，提取类别标识数字出现次数最多的三类样本的源IP地址，去重后制作成黑名单储存在ElasticSearch云系统中；
步骤四、将ElasticSearch云系统中储存的黑名单分发到硬件防火墙和数据采集系统，定期分发更新黑名单，更新频率分为3个级别：1小时更新一次，12小时更新一次，24小时更新一次；当防火墙被DDos一天之内攻击次数不大于1次，24小时更新一次，当防火墙被DDos一天之内攻击次数为2～10次，12小时更新一次，当防火墙被DDos一天之内攻击次数大于10次，1小时更新一次。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于云服务的实时僵尸网络检测方法，其特征在于步骤如下：
步骤一、数据采集，通过数据采集系统采集硬件防火墙受到的攻击行为的原始数据，并上传至ElasticSearch云系统储存；
步骤二、数据分析，利用ElasticSearch云系统，使用DBSCAN算法对步骤一中上传至ElasticSearch云系统的数据进行处理，将处理结果中数据类别最多的一类数据定义为僵尸网络类别，僵尸网络类别的聚类数据称为模板数据，比对模板数据和原始数据，获得僵尸网络类别的源IP数组；
步骤三、提取僵尸网络类别的源IP数组中僵尸网络肉机的IP地址，制作黑名单储存于ElasticSearch云系统中；
步骤四、将ElasticSearch云系统中储存的黑名单分发到硬件防火墙和数据采集系统；
所述步骤一中，通过数据采集系统采集硬件防火墙受到的攻击行为的原始数据的过程中，基于时间序列进行抽样，形成采样样本，采样样本中每个样本的字段信息包括源IP地址，源PORT，目的IP地址，目的PORT，协议类型、采样时间、数据大小和数据包内容信息，其中除数据包内容信息外其他参数均为数值型，数据包内容信息为字符型数据；
对数据包内容信息进行DJBhash计算，得到DJBhash值；
对采样样本的每个样本的各个字段信息进行Simhash计算，得到内容Simhash值，记录Simhash值的二进制数字段为该样本的数据库ID，Simhash值中1出现的个数为该样本的类别标志；
将DJBhash值、Simhash值和样本的所有字段信息作为原始数据上传至ElasticSearch云系统。
2.如权利要求1所述一种基于云服务的实时僵尸网络检测方法，其特征在于：所述步骤三中，提取类别标识数字出现次数最多的三类样本的源IP地址，去重后制作成黑名单储存在ElasticSearch云系统中。
3.如权利要求2所述一种基于云服务的实时僵尸网络检测方法，其特征在于：在所述步骤二中，计算原始数据中每一个样本和其他所有样本之间的相似度，获得全部相似度的集合后，按相似度大小升序排列，取相似度大小位于前10％的所有数值的均值作为DBSCAN算法的密度半径，DBSCAN算法的样本阈值取采样样本中所含字段数加1。
4.如权利要求3所述一种基于云服务的实时僵尸网络检测方法，其特征在于：所述相似度用海明距离表示。
5.如权利要求1所述一种基于云服务的实时僵尸网络检测方法，其特征在于：所述步骤三中，每隔1小时制作一次黑名单。
6.如权利要求5所述一种基于云服务的实时僵尸网络检测方法，其特征在于：所述步骤四，定期分发更新黑名单，更新频率分为3个级别：1小时更新一次，12小时更新一次，24小时更新一次；当防火墙被DDos一天之内攻击次数不大于1次，24小时更新一次，当防火墙被DDos一天之内攻击次数为2～10次，12小时更新一次，当防火墙被DDos一天之内攻击次数大于10次，1小时更新一次。
CN201710049392.4A 2017-01-20 2017-01-20 一种基于云服务的实时僵尸网络检测方法 Active CN106790245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710049392.4A CN106790245B (zh) 2017-01-20 2017-01-20 一种基于云服务的实时僵尸网络检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710049392.4A CN106790245B (zh) 2017-01-20 2017-01-20 一种基于云服务的实时僵尸网络检测方法

Publications (2)

Publication Number Publication Date
CN106790245A CN106790245A (zh) 2017-05-31
CN106790245B true CN106790245B (zh) 2020-06-19

Family

ID=58941565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710049392.4A Active CN106790245B (zh) 2017-01-20 2017-01-20 一种基于云服务的实时僵尸网络检测方法

Country Status (1)

Country Link
CN (1) CN106790245B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965403B (zh) * 2021-11-02 2023-11-14 北京天融信网络安全技术有限公司 一种ip黑名单的处理方法及装置、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014025A (zh) * 2010-12-06 2011-04-13 北京航空航天大学 基于网络流聚类检测p2p僵尸网络结构的方法
CN103078771A (zh) * 2013-02-01 2013-05-01 上海交通大学 基于p2p的僵尸网络分布式协作检测系统和方法
CN103685230A (zh) * 2013-11-01 2014-03-26 上海交通大学 僵尸网络恶意域名的分布式协同检测系统和方法
CN104683346A (zh) * 2015-03-06 2015-06-03 西安电子科技大学 基于流量分析的p2p僵尸网络检测装置及方法
CN105631026A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种安全数据分析系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014025A (zh) * 2010-12-06 2011-04-13 北京航空航天大学 基于网络流聚类检测p2p僵尸网络结构的方法
CN103078771A (zh) * 2013-02-01 2013-05-01 上海交通大学 基于p2p的僵尸网络分布式协作检测系统和方法
CN103685230A (zh) * 2013-11-01 2014-03-26 上海交通大学 僵尸网络恶意域名的分布式协同检测系统和方法
CN104683346A (zh) * 2015-03-06 2015-06-03 西安电子科技大学 基于流量分析的p2p僵尸网络检测装置及方法
CN105631026A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种安全数据分析系统

Also Published As

Publication number Publication date
CN106790245A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
US20210385236A1 (en) System and method for the automated detection and prediction of online threats
CN110753064B (zh) 机器学习和规则匹配融合的安全检测系统
Janarthanan et al. Feature selection in UNSW-NB15 and KDDCUP'99 datasets
CN105681250B (zh) 一种僵尸网络分布式实时检测方法和系统
CN108737439B (zh) 一种基于自反馈学习的大规模恶意域名检测系统及方法
CN106330906B (zh) 一种大数据环境下的DDoS攻击检测方法
Pei et al. A DDoS attack detection method based on machine learning
Liu et al. Detecting DNS tunnel through binary-classification based on behavior features
EP2611101A1 (en) Systems and methods for detecting similarities in network traffic
CN107145779B (zh) 一种离线恶意软件日志的识别方法和装置
CN111131260B (zh) 一种海量网络恶意域名识别和分类方法及系统
CN107370752B (zh) 一种高效的远控木马检测方法
CN110611640A (zh) 一种基于随机森林的dns协议隐蔽通道检测方法
CN107770132A (zh) 一种对算法生成域名进行检测的方法及装置
CN110868404B (zh) 一种基于tcp/ip指纹的工控设备自动识别方法
CN108092989B (zh) 一种基于智能蜂群算法的DDoS攻击检测方法
CN110933111A (zh) 一种基于DPI的DDoS攻击识别方法及装置
Zhong et al. Stealthy malware traffic-not as innocent as it looks
Lu et al. Botnet traffic detection using hidden markov models
CN110493253B (zh) 一种基于树莓派设计的家用路由器的僵尸网络分析方法
CN113872962B (zh) 一种面向高速网络抽样数据采集场景的慢速端口扫描检测方法
Zang et al. Identifying fast-flux botnet with AGD names at the upper DNS hierarchy
Yang et al. Naruto: DNS covert channels detection based on stacking model
CN106790245B (zh) 一种基于云服务的实时僵尸网络检测方法
Do et al. An Efficient Feature Extraction Method for Attack Classification in IoT Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant