CN106790245A - 一种基于云服务的实时僵尸网络检测方法 - Google Patents

一种基于云服务的实时僵尸网络检测方法 Download PDF

Info

Publication number
CN106790245A
CN106790245A CN201710049392.4A CN201710049392A CN106790245A CN 106790245 A CN106790245 A CN 106790245A CN 201710049392 A CN201710049392 A CN 201710049392A CN 106790245 A CN106790245 A CN 106790245A
Authority
CN
China
Prior art keywords
data
sample
botnet
real
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710049392.4A
Other languages
English (en)
Other versions
CN106790245B (zh
Inventor
朱静轩
孟彦
魏鸿坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Network Information Security Ltd By Share Ltd
Original Assignee
China Network Information Security Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Network Information Security Ltd By Share Ltd filed Critical China Network Information Security Ltd By Share Ltd
Priority to CN201710049392.4A priority Critical patent/CN106790245B/zh
Publication of CN106790245A publication Critical patent/CN106790245A/zh
Application granted granted Critical
Publication of CN106790245B publication Critical patent/CN106790245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/144—Detection or countermeasures against botnets

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于云服务的实时僵尸网络检测方法，包括数据采集、数据分析判别、制作僵尸网络肉机IP地址黑名单和向硬件防火墙和数据采集系统分发黑名单等步骤。本发明相比现有技术具有以下优点：利用ElasticSearch云远远超出单个服务器的计算和存储能力处理海量采样数据，利用僵尸网络短时间、大流量的攻击特点，使用DBSCAN聚类算法，找出目标数据类别，提取IP地址，能够快速筛查出僵尸网络肉机的IP地址，使用Simhash和DJBhash对样本字段信息进行加工，获得可用数据用于标记样本数据库，帮助简化计算流程，识别效率大大提升。

Description

一种基于云服务的实时僵尸网络检测方法
技术领域
本发明涉及网络安全技术领域，尤其涉及的是一种基于云服务的实时僵尸网络检测方法。
背景技术
僵尸网络是指采用一种或多种传播手段，将大量主机感僵尸程序病毒，从而在控制者和被感染主机之间所形成的一个可一对多控制的网络。攻击者通过各种途径传播僵尸程序感染互联网上的大量主机，而被感染的主机将通过一个控制信道接收攻击者的指令，组成一个僵尸网络。之所以用僵尸网络这个名字，是为了更形象地让人们认识到这类危害的特点：众多的计算机在不知不觉中如同僵尸群一样被人驱赶和指挥着，成为被人利用的一种工具。
根据《今日美国》报纸2008年的一篇报告称，平均每天连接到互联网的8亿台电脑中有40％的电脑是用来发送垃圾邮件、病毒和窃取敏感个人数据的僵尸电脑。如何快速和大批量的检测僵尸网络并进行拦截已经成为互联网行业亟待解决的重要课题。
发明内容
本发明的目的在于克服现有技术的不足，提供了一种基于云服务的实时僵尸网络检测方法。
本发明是通过以下技术方案实现的：一种基于云服务的实时僵尸网络检测方法，其特征在于步骤如下：
步骤一、数据采集，通过数据采集系统采集硬件防火墙受到的攻击行为的原始数据，并上传至ElasticSearch云系统储存；
步骤二、数据分析，利用ElasticSearch云系统，使用DBSCAN算法对步骤一中上传至ElasticSearch云系统的数据进行处理，将处理结果中数据中类别最多的一类数据定义为僵尸网络类别，僵尸网络类别的聚类数据称为模板数据，比对模板数据和原始数据，获得僵尸网络类别的源IP数组；
步骤三、提取僵尸网络类别的源IP数组中僵尸网络肉机的IP地址，制作黑名单储存于ElasticSearch云系统中；
步骤四、将ElasticSearch云系统中储存的黑名单分发到硬件防火墙和数据采集系统。
作为对上述方案的进一步改进，所述步骤一中，通过数据采集系统采集硬件防火墙受到的攻击行为的原始数据的过程中，基于时间序列进行抽样，形成采样样本，采样样本中每个样本的字段信息包括源IP地址，源PORT，目的IP地址，目的PORT，协议类型、采样时间、数据大小和数据包内容信息，其中除数据包内容信息外其他参数均为数值型，数据包内容信息为字符型数据；
对数据包内容信息进行DJBhash计算，得到DJBhash值；
对采样样本的每个样本的各个字段信息进行Simhash计算，得到内容Simhash值，记录simhash值的二进制数字段为该样本的数据库ID，Simhash值中1出现的个数为该样本的类别标志；
将DJBhash值、Simhash值和样本的所有字段信息作为原始数据上传至数据分析系统。
作为对上述方案的进一步改进，所述步骤三中，提取类别标识数字出现次数最多的三类样本的源IP地址，去重后制作成黑名单储存在ElasticSearch云系统中。
作为对上述方案的进一步改进，在所述步骤二中，计算原始数据中每一个样本和其他所有样本之间的相似度，获得全部相似度的集合后，按相似度大小升序排列，取相似度大小位于前10％的所有数值的均值作为DBSCAN算法的密度半径，DBSCAN算法的样本阈值取采样样本中所含字段数加1。
作为对上述方案的进一步改进，所述相似度用海明距离表示。
作为对上述方案的进一步改进，所述步骤三中，每隔1小时制作一次黑名单。
作为对上述方案的进一步改进，所述步骤四，定期分发更新黑名单，更新频率分为3个级别：1小时更新一次，12小时更新一次，24小时更新一次；当防火墙被DDos一天之内攻击次数不大于1次，24小时更新一次，当防火墙被DDos一天之内攻击次数为2～10次，12小时更新一次，当防火墙被DDos一天之内攻击次数大于10次，1小时更新一次。
本发明相比现有技术具有以下优点：利用ElasticSearch云远远超出单个服务器的计算和存储能力处理海量采样数据，利用僵尸网络短时间、大流量的攻击特点，使用DBSCAN聚类算法，找出目标数据类别，提取IP地址，能够快速筛查出僵尸网络肉机的IP地址，使用Simhash和DJBhash对样本字段信息进行加工，获得可用数据用于标记样本数据库，帮助简化计算流程，识别效率大大提升。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
一种基于云服务的实时僵尸网络检测方法，其特征在于步骤如下：
步骤一、数据采集，通过数据采集系统采集硬件防火墙受到的攻击行为的原始数据，并上传至ElasticSearch云系统储存；
通过数据采集系统采集硬件防火墙受到的攻击行为的原始数据的过程中，基于时间序列进行抽样，形成采样样本，采样样本中每个样本的字段信息包括源IP地址，源PORT，目的IP地址，目的PORT，协议类型、采样时间、数据大小和数据包内容信息，其中除数据包内容信息外其他参数均为数值型，数据包内容信息为字符型数据；
对数据包内容信息进行DJBhash计算，得到DJBhash值；
对采样样本的每个样本的各个字段信息进行Simhash计算，得到内容Simhash值，记录simhash值的二进制数字段为该样本的数据库ID，Simhash值中1出现的个数为该样本的类别标志；
将DJBhash值、Simhash值和样本的所有字段信息作为原始数据上传至数据分析系统。
步骤二、数据分析，利用ElasticSearch云系统，使用DBSCAN算法对步骤一中上传至ElasticSearch云系统的数据进行处理，将处理结果中数据中类别最多的一类数据定义为僵尸网络类别，僵尸网络类别的聚类数据称为模板数据，比对模板数据和原始数据，获得僵尸网络类别的源IP数组；
计算原始数据中每一个样本和其他所有样本之间的海明距离，获得全部海明距离的集合后，按海明距离大小升序排列，取大小位于前10％的所有数值的均值作为DBSCAN算法的密度半径，DBSCAN算法的样本阈值取采样样本中所含字段数加1。
步骤三、每隔1小时制作一次黑名单，提取类别标识数字出现次数最多的三类样本的源IP地址，去重后制作成黑名单储存在ElasticSearch云系统中；
步骤四、将ElasticSearch云系统中储存的黑名单分发到硬件防火墙和数据采集系统，定期分发更新黑名单，更新频率分为3个级别：1小时更新一次，12小时更新一次，24小时更新一次；当防火墙被DDos一天之内攻击次数不大于1次，24小时更新一次，当防火墙被DDos一天之内攻击次数为2～10次，12小时更新一次，当防火墙被DDos一天之内攻击次数大于10次，1小时更新一次。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于云服务的实时僵尸网络检测方法，其特征在于步骤如下：
步骤一、数据采集，通过数据采集系统采集硬件防火墙受到的攻击行为的原始数据，并上传至ElasticSearch云系统储存；
步骤二、数据分析，利用ElasticSearch云系统，使用DBSCAN算法对步骤一中上传至ElasticSearch云系统的数据进行处理，将处理结果中数据中类别最多的一类数据定义为僵尸网络类别，僵尸网络类别的聚类数据称为模板数据，比对模板数据和原始数据，获得僵尸网络类别的源IP数组；
步骤三、提取僵尸网络类别的源IP数组中僵尸网络肉机的IP地址，制作黑名单储存于ElasticSearch云系统中；
步骤四、将ElasticSearch云系统中储存的黑名单分发到硬件防火墙和数据采集系统。
2.如权利要求1所述一种基于云服务的实时僵尸网络检测方法，其特征在于：所述步骤一中，通过数据采集系统采集硬件防火墙受到的攻击行为的原始数据的过程中，基于时间序列进行抽样，形成采样样本，采样样本中每个样本的字段信息包括源IP地址，源PORT，目的IP地址，目的PORT，协议类型、采样时间、数据大小和数据包内容信息，其中除数据包内容信息外其他参数均为数值型，数据包内容信息为字符型数据；
对数据包内容信息进行DJBhash计算，得到DJBhash值；
对采样样本的每个样本的各个字段信息进行Simhash计算，得到内容Simhash值，记录simhash值的二进制数字段为该样本的数据库ID，Simhash值中1出现的个数为该样本的类别标志；
将DJBhash值、Simhash值和样本的所有字段信息作为原始数据上传至数据分析系统。
3.如权利要求2所述一种基于云服务的实时僵尸网络检测方法，其特征在于：所述步骤三中，提取类别标识数字出现次数最多的三类样本的源IP地址，去重后制作成黑名单储存在ElasticSearch云系统中。
4.如权利要求2所述一种基于云服务的实时僵尸网络检测方法，其特征在于：在所述步骤二中，计算原始数据中每一个样本和其他所有样本之间的相似度，获得全部相似度的集合后，按相似度大小升序排列，取相似度大小位于前10％的所有数值的均值作为DBSCAN算法的密度半径，DBSCAN算法的样本阈值取采样样本中所含字段数加1。
5.如权利要求4所述一种基于云服务的实时僵尸网络检测方法，其特征在于：所述相似度用海明距离表示。
6.如权利要求1所述一种基于云服务的实时僵尸网络检测方法，其特征在于：所述步骤三中，每隔1小时制作一次黑名单。
7.如权利要求6所述一种基于云服务的实时僵尸网络检测方法，其特征在于：所述步骤四，定期分发更新黑名单，更新频率分为3个级别：1小时更新一次，12小时更新一次，24小时更新一次；当防火墙被DDos一天之内攻击次数不大于1次，24小时更新一次，当防火墙被DDos一天之内攻击次数为2～10次，12小时更新一次，当防火墙被DDos一天之内攻击次数大于10次，1小时更新一次。
CN201710049392.4A 2017-01-20 2017-01-20 一种基于云服务的实时僵尸网络检测方法 Active CN106790245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710049392.4A CN106790245B (zh) 2017-01-20 2017-01-20 一种基于云服务的实时僵尸网络检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710049392.4A CN106790245B (zh) 2017-01-20 2017-01-20 一种基于云服务的实时僵尸网络检测方法

Publications (2)

Publication Number Publication Date
CN106790245A true CN106790245A (zh) 2017-05-31
CN106790245B CN106790245B (zh) 2020-06-19

Family

ID=58941565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710049392.4A Active CN106790245B (zh) 2017-01-20 2017-01-20 一种基于云服务的实时僵尸网络检测方法

Country Status (1)

Country Link
CN (1) CN106790245B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965403A (zh) * 2021-11-02 2022-01-21 北京天融信网络安全技术有限公司 一种ip黑名单的处理方法及装置、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014025A (zh) * 2010-12-06 2011-04-13 北京航空航天大学 基于网络流聚类检测p2p僵尸网络结构的方法
CN103078771A (zh) * 2013-02-01 2013-05-01 上海交通大学 基于p2p的僵尸网络分布式协作检测系统和方法
CN103685230A (zh) * 2013-11-01 2014-03-26 上海交通大学 僵尸网络恶意域名的分布式协同检测系统和方法
CN104683346A (zh) * 2015-03-06 2015-06-03 西安电子科技大学 基于流量分析的p2p僵尸网络检测装置及方法
CN105631026A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种安全数据分析系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014025A (zh) * 2010-12-06 2011-04-13 北京航空航天大学 基于网络流聚类检测p2p僵尸网络结构的方法
CN103078771A (zh) * 2013-02-01 2013-05-01 上海交通大学 基于p2p的僵尸网络分布式协作检测系统和方法
CN103685230A (zh) * 2013-11-01 2014-03-26 上海交通大学 僵尸网络恶意域名的分布式协同检测系统和方法
CN104683346A (zh) * 2015-03-06 2015-06-03 西安电子科技大学 基于流量分析的p2p僵尸网络检测装置及方法
CN105631026A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种安全数据分析系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965403A (zh) * 2021-11-02 2022-01-21 北京天融信网络安全技术有限公司 一种ip黑名单的处理方法及装置、存储介质
CN113965403B (zh) * 2021-11-02 2023-11-14 北京天融信网络安全技术有限公司 一种ip黑名单的处理方法及装置、存储介质

Also Published As

Publication number Publication date
CN106790245B (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN110753064B (zh) 机器学习和规则匹配融合的安全检测系统
CN105681250B (zh) 一种僵尸网络分布式实时检测方法和系统
US11122058B2 (en) System and method for the automated detection and prediction of online threats
CN103368979B (zh) 一种基于改进K-means算法的网络安全性验证装置
US9602525B2 (en) Classification of malware generated domain names
CN108737439B (zh) 一种基于自反馈学习的大规模恶意域名检测系统及方法
Balakrishnan et al. Intrusion detection system using feature selection and classification technique
CN107592312A (zh) 一种基于网络流量的恶意软件检测方法
CN103746982B (zh) 一种http网络特征码自动生成方法及其系统
KR20150091775A (ko) 비정상 행위 탐지를 위한 네트워크 트래픽 분석 방법 및 시스템
CN108683686A (zh) 一种随机子域名DDoS攻击检测方法
CN110149319B (zh) Apt组织的追踪方法及装置、存储介质、电子装置
CN111726342B (zh) 一种提升蜜罐系统告警输出精准性的方法及系统
CN110650156B (zh) 网络实体的关系聚类方法、装置及网络事件的识别方法
CN113162953A (zh) 网络威胁报文检测及溯源取证方法和装置
GB2605899A (en) Method for privacy preserving anomaly detection in IOT
CN107426159A (zh) 基于大数据分析的apt监测防御方法
CN113872962B (zh) 一种面向高速网络抽样数据采集场景的慢速端口扫描检测方法
CN107294971B (zh) 服务器攻击源的威胁度排序方法
CN107347051B (zh) 一种业务报文处理方法及系统
CN106911665B (zh) 一种识别恶意代码弱口令入侵行为的方法及系统
CN112104628B (zh) 一种自适应特征规则匹配的实时恶意流量检测方法
CN106790245A (zh) 一种基于云服务的实时僵尸网络检测方法
CN113709176A (zh) 基于安全云平台的威胁检测与响应方法及系统
CN117294497A (zh) 一种网络流量异常检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant