CN109644184A - 用于从ipfix数据检测云上的ddos僵尸网络的聚类方法 - Google Patents

用于从ipfix数据检测云上的ddos僵尸网络的聚类方法 Download PDF

Info

Publication number
CN109644184A
CN109644184A CN201780050602.XA CN201780050602A CN109644184A CN 109644184 A CN109644184 A CN 109644184A CN 201780050602 A CN201780050602 A CN 201780050602A CN 109644184 A CN109644184 A CN 109644184A
Authority
CN
China
Prior art keywords
entity
computer
cluster
similarity
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780050602.XA
Other languages
English (en)
Other versions
CN109644184B (zh
Inventor
O·卡琳
R·罗南
H·纽沃斯
R·维尔奈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109644184A publication Critical patent/CN109644184A/zh
Application granted granted Critical
Publication of CN109644184B publication Critical patent/CN109644184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/144—Detection or countermeasures against botnets

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

使用机器学习训练分类器以用于标识或分类实体，从而增加关于实体是分布式拒绝服务攻击的一部分的置信度。该方法包括训练分类器使用第一分类方法，以标识来自实体集合的实体正在执行拒绝服务攻击的概率。该方法还包括使用分类器来标识满足执行拒绝服务攻击的阈值概率的实体子集。该方法还包括使用第二分类方法来标识实体子集中实体的相似度。该方法还包括基于相似度对个体实体进行分类。

Description

用于从IPFIX数据检测云上的DDOS僵尸网络的聚类方法
背景技术
分布式拒绝服务(DDoS)攻击是计算系统中最常见的恶意网络活动的形式之一。这些攻击由许多实体(例如，机器)执行，这些实体被组织成利用网络流量同时泛洪目标实体的僵尸网络。在一些环境中，云服务上受损的实体可以执行DDoS攻击。这些攻击要求许多攻击方同时向特定受害方实体发送大量的流量。这种恶意流量经常被混淆在发自实体的正常、合法流量中。然而，僵尸网络被配置为从云上的大量未受损的实体高效取回。
本文要求保护的主题不限于解决任何缺点或者仅在诸如上文所描述的那些环境的环境中操作的实施例。相反，该背景技术仅被提供以说明其中可以实践在此所描述的一些实施例的一个示例性技术领域。
发明内容
本文所描述的一个实施例包括计算机实现的用于训练分类器来分类实体以增加关于实体是分布式拒绝服务攻击的一部分的置信度的方法。该方法包括训练分类器使用第一分类方法以标识来自实体集合的实体正在执行拒绝服务攻击的概率。该方法还包括使用分类器来标识满足执行拒绝服务攻击的阈值概率的实体子集。该方法还包括使用第二分类方法来标识实体子集中实体的相似度。该方法还包括基于相似度对个体实体进行分类。
提供本发明内容以引入以在具体实施方式中下面进一步描述的简化形式的概念的选择。本发明内容不旨在标识要求保护的主题的关键特征或基本特征，其也不旨在被用作帮助确定要求保护的主题的范围。
附加特征和优点将从下面的描述中被阐述并且部分地将从描述显而易见或者可以由本文中的教导的实践来学习。可以借助于在所附权利要求书中特别地指出的部件和组合实现和获得本发明的特征和优点。本发明的特征将从以下描述和所附权利要求变得更充分地明显，或者可以通过如在下文中所阐述的本发明的实践来学习。
附图说明
为了描述可以获得上述和其他优点和特征的方式，将通过参考附图中所图示出的特定实施例来呈现上面简要描述的主题的更特定的描述。应理解，这些附图仅描绘了典型的实施例，并且因此不应被认为是对范围的限制，将通过使用附图以利用附加特征和细节来描述和解释实施例，其中
图1图示了具有执行DDoS攻击的实体和僵尸网络分类器的云系统；
图2图示了示出用于确定为僵尸分类网络返回多个簇的功能性的图；以及
图3图示了对实体进行标识或分类以增加关于实体是分布式拒绝服务攻击的一部分的置信度的方法。
具体实施方式
本文所描述的一些实施例能够从IPFix记录中检测僵尸网络实体。为了这样做，实施例聚类概要矩阵，针对该概要矩阵，矩阵中的条目表示在每个实体和每个目的地IP之间连接的数目。聚类可以使用例如分层聚类而被执行。
实施例可以使用被预训练的分类器以为每个实体确定其正在执行DDoS的概率。包括具有进行DDoS的高概率的实体的簇被标记为是僵尸网络的一部分。
这种经组合的方法使得实施例能够在云上的成百上千的实体中高效地检测僵尸网络。
附加细节将被图示。
现在参考图1对云环境100进行图示。云环境可以托管多个实体102。多个实体102中的实体可以是虚拟机或被配置以为对由云环境100提供的服务的订阅者执行工作的其他云实体。
多个实体102中的实体中的一些可以通过将恶意软件加载到其上而受损。这些受损的实体随后可以形成僵尸网络104。僵尸网络104通常是受命令和控制106的控制。命令和控制106可以引导僵尸网络104的个体实体或僵尸网络作为整体执行各种动作。例如，命令和控制106可以标识待攻击的目标实体108。特别地，命令和控制106可以指挥僵尸网络对目标实体108执行分布式拒绝服务(DDoS)攻击。本文所描述的示例中，DDoS攻击可以是TCP泛洪或UDP泛洪攻击。
应注意的是，尽管实体在云100中被示出，僵尸网络可以是云上的虚拟实体，和/或可以是在数据中心处的户内实体。因此，本文所描述的实施例可以被用在云环境中、机房内环境、或两者的组合。
图1图示了云环境100托管僵尸网络分类器部分110，其被配置为从作为僵尸网络(诸如僵尸网络104)的一部分的实体集合102中标识实体。
实施例可以实现有监督的(即，机器学习)和无监督的方法的组合，以用于对僵尸网络分类器部分110上的实体进行分类。
以此方法，可以实现改进的计算机系统，其自动地对云计算系统中的实体进行分组。当实体被自动标识为僵尸网络的一部分时，那些实体可以具有被执行以防止系统继续参与在僵尸网络中的补救措施。这得到了改进的云系统，其可以使用计算和云资源执行有用任务而非与僵尸网络相关联的有害任务。
针对有监督的方式，实施例可以使用机器学习来训练僵尸网络分类器部分110中的一个或多个有监督的分类器部分112，该僵尸网络分类器部分110基于从数据流协议信息(诸如IPFix数据)获得的特征来分类实体。实施例可以包括针对各种类型DDoS攻击的分类器。例如，实施例可以包括针对TCP(同步(SYN))泛洪和/或UDP泛洪的分类器。为了训练分类器部分，实施例可以使用训练数据集合和测试数据集合来创建模型。训练数据集和测试数据集合可以是基于针对下述各种特征的被捕获的数据。特别地，训练数据集合被用于训练计算机实现的分类器(即，模型)。并且，测试集合可以被用于验证分类器。分类器随后可以被用于自动分类过程中，以基于它们的被生成的网络流量或其他特性来对实体进行分类。
为了创建这样的实体，实施例可以提取各种特征。例如，这样的特征可以包括传出流与传入流之间的比例、SYN消息在TCP流量和/或目标IP数目之间的比例。
下面示出一些可以被使用的特定TCP特征：
–具有仅SYN标记有效的传出消息的百分比
–具有仅SYN标记有效的传出消息的数目
–具有仅SYN标记有效的消息的数目的自然对数
–传入TCP消息和传出TCP消息的比例
–TCP流量的量的每小时标准偏差
–传出TCP流的数目
–每小时最大TCP流量的自然对数
–传出流量和目的地IP(TCP)的数目的比例
–每小时最大TCP流量
–TCP流量的每小时标准偏差的自然对数
下列示出了可以被使用的各种UDP特征：
–每小时最大UDP流量
–传出UDP流的数目
–每小时最大UDP流量的自然对数
–传出流量和目的地IP(UDP)的数目的比例
–传出UDP流的数目的自然对数
–被寻址的不同目的地IP的数目的自然对数
–被寻址的不同目的地IP的数目
–传入UDP流的数目的自然对数
–传入UDP消息和传出UDP消息的比例
–UDP流量的量的每小时标准偏差
针对无监督的方式，针对每个分类器，为有监督的实体分类器部分114选择最高数目的特征。例如，可以通过随机森林特征重要性排列和在被标注的数据集上训练随机森林来实现，虽然多个不同的特征选择和分类算法中的任何一个可以被使用。通常，可以通过使用多个不同统计测试中的任何一个进行过滤来选择特征。例如，通常可以选择t-测试。在针对二进制分类算法的另一示例中，可以使用逻辑回归。多个特征可以被选择为分类器。这些分类器之后可以被用于为每个实体计算概率分数(在本文中被称为DDoS_概率(PROB))。该概率是该实体正在执行DDoS攻击的概率。
在本文图示的实施例中，针对每个实体存在两个概率--一个用于TCP泛洪，一个用于UDP泛洪。这些概率被用于独立地检测TCP DDoS僵尸网络和UDP DDoS僵尸网络两者。
僵尸网络分类器部分110基于它们的输出流量来检查簇实体。为了这样做，实施例首先过滤掉具有比某个预定阈值小的DDOS_PROB的实体，在本文被描述为SCAN_THRESHOLD。这允许实施例极大地降低候选实体的数目，并且避免错误肯定。
假设在过滤以后，实施例标识了M个实体。附加地，存在N个目的地IP的集合，这些实体具有到这N个IP的传出流量。实施例构建概要矩阵，以使得第i、j条目表示从实体(j，在此示例中经常是以千为量级)到IP(i，在此示例中经常是以百万为量级)的消息的数目。实施例过滤掉小于某个预定阈值(在本文中被称为MIN_THRESHOLD)的条目，并且移除具有少于某个预定目标(在本文中被称为MIN_TARGETS)的非零条目的行。
此矩阵可以被用于执行分层聚类以将相似的条目聚类在一起。因此，关于实体簇中的一个实体的特性可以被用于表征实体簇中的其他实体。因此，例如实施例可能能够标识以下实体簇，其中簇中的所有实体均是特定僵尸网络的一部分簇。备选地或附加地，实施例可能能够标识均在相同命令和控制(例如，命令和控制106)下的实体簇。备选地或附加地，实施例可能能够标识均被相同恶意软件感染的实体簇。等等。一些实施例使用相关性作为距离度量，并且使用平均作为链接准则。
实施例可以尝试找到最佳簇数目。在一些实施例中，这可以例如使用各种数据聚类算法来执行。
然而，此最佳簇数目是启发式的。因此，其他实施例可以包括通过一些视觉化人工地选择数目。然而，使用如上的数字分析的自动化可能更高效。实施例可以假设每个簇是僵尸网络。如果太少的簇数目被使用，则实施例将多余一个僵尸网络分组到簇中。反之，当实施例使用太多的簇数目时，则实施例将把相同僵尸网络拆开到多个簇中。注意到，就算具有正确的簇数目，两种类型的错误仍可能发生，但是将理想地被最小化。
一种这样的方法使用由Salvador和Chan提议的L-方法。在图2中图示了一个示例。如在图200中所描述的，优选簇数目由两条线204和206的交叉点202获取，这两条线分别最佳匹配合并距离和簇数目的图。
附加地或可选地，可以使用各种其他方法。例如，一些实施例可以使用肘部法则(elbow method)，其尝试基于作为簇数目的函数的方差的百分比进行聚类。备选地或附加地，实施例可以使用x-均值聚类，其根据一些预定准则通过尝试子划分和保持所需的子划分来进行聚类。备选地或附加地，实施例可以使用信息准则方法(诸如Akaike信息准则、贝叶斯信息准则，或偏差信息准则)来标识用于聚类模型的似然函数。备选地或附加地，实施例可以通过根据某些信息理论标准尝试最小化错误的同时，尝试确定多个簇来使用信息理论方式。备选地或附加地，实施例可以使用廓影法，其检查簇内数据的相似度和它和邻居簇匹配地多松散。备选地或附加地，实施例可以使用交叉验证。备选地或附加地，实施例可以分析内核矩阵。
之后实施例可以再次使用有监督的实体分类器部分112，以将簇分类为DDoS僵尸网络。特别地，包括至少一个实体的簇被分类为DDoS僵尸网络，针对该至少一个实体，一些被标识的概率(在本文中被称为DDOS_PROB)大于阈值(在本文中被称为CONFIDENT_DDOS)。
因此，实施例包括用以在云系统中高效检测DDoS僵尸网络的功能性。具体地，实施例将有监督的方法和非有监督的方法进行合并，以高效地从协议数据(诸如，潜在地位于成百上千的条目上的IPFix数据)取回僵尸网络。此方法支持难以仅通过依靠单个实体分类来标识的受损实体的标识。这对于云上或户内网络上的攻击流的调查也是有用的。附加地，通过返回一组簇，簇可以由各种相似度标识，如将要在下面更详细地描述。例如，实施例可以标识簇中的全部相似实体都正在执行DDoS攻击。备选地或附加地，实施例可以标识簇中的全部相似实施例都在相同僵尸网络中。备选地或附加地，实施例可以标识簇中的相似实体都在相同命令和控制下。备选地或附加地，实施例可以标识簇中的相似实体都被感染有相同病毒软件。
一些实施例可以使用可用外部数据来标识特定的僵尸网络。附加地，实施例可以当簇中的一个或多个其他实体展示某些特点时针对簇中的实体执行补救动作。例如，一些实施例可以使用威胁情报(TI)流。因此，例如如果在给定簇中的一些机器上存在TI命中，则实施例可以向簇中的剩余的机器告警相同威胁。备选地或附加地，如果簇中存在一些机器执行某些种类的传出活动(像蛮力破解)，则相同簇中的其他机器可能在不久的将来开始执行相同的活动。补救措施(诸如网络流量阻塞、通知管理员等)可以被执行以防止这些活动。
以下讨论现在涉及可能被执行的多个方法和方法动作。虽然方法动作可以以某个的顺序被讨论或者在特定顺序发生的流程图中被图示，但是除非特别地陈述或因为一个动作依靠在该动作被执行之前被完成的另一动作，否则并不需要特别的顺序。
现在参考图3，示出了一种方法300。方法300可以是计算机执行的方法，其包括用于训练分类器以用于标识或分类实体以提高关于实体是分布式拒绝服务攻击的一部分的置信度的动作。方法300包括使用第一分类方法标识来自实体集合的实体正在执行拒绝服务攻击的概率(动作302)。例如，在一些实施例中，分类方法可以是有监督的分类方法。特别地，实施例可以使用机器学习技术来训练分类器，以使用第一分类方法来标识来自实体集合的实体正在执行拒绝服务攻击的概率。
方法300还包括标识满足执行拒绝服务攻击的阈值概率的实体子集(动作304)。在一些实施例中，中概率到高概率可以满足阈值。
方法300还包括使用第二分类方法标识实体子集中实体的相似度(动作306)。在一些实施例中，第二分类方法可以是非有监督的方法。
方法300还包括基于相似度对个体实体进行分类(动作308)。
可以实践方法300，其中第二分类方法将相似实体聚类到相似度簇中。在一些这样的实施例中，方法300可以还包括将簇标识为被受损实体的集合。例如，相似度簇可以被标识，其中该簇中的所有实体已经受损，并且正在执行DDoS攻击。因此，方法300可以被实践，其中对个体实体进行分类包括将实体标识为执行拒绝服务。
可以实现实施例，其中可以为被组合到相似度簇中的实体标识相似度。例如，方法300可以还包括基于相似度标识特别的僵尸网络中的实体。因此，实施例可能能够基于相似度来标识僵尸网络的全部或部分。
备选地或附加地，方法300可以还包括基于相似度标识被相同手段感染的实体。因此，例如，实施例可能能够标识使用相同恶意软件(诸如相同病毒软件)感染的实体。备选地或附加地，实施例可能能够标识被感染并且具有相同命令和控制的实体(即，实体是被或由于相同的攻击者感染)。
方法300可以被实践，其中使用第二分类方法标识实体子集中实体的相似度包括使用L-方法。
备选地或附加地，方法300可以被实践，其中使用第二分类方法(例如，无监督的方法)标识实体子集中实体的相似度包括使用分层聚类。在一些这样的实施例中，方法300还包括关联实体活动。在一些这样的实施例中，使用分层聚类是基于经关联的实体活动。
而且，方法可以由包括一个或多个处理器和计算机可读介质(诸如计算机存储器)的计算机系统实践。特别地，计算机存储器可以存储计算机可执行指令，当由一个或多个处理器执行时引起各种功能(诸如实施例中被叙述的动作302)将被执行。
本发明的实施例可以包括或利用包括计算机硬件的专用或通用计算机，如下面更详细地讨论的。本发明范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理计算机可读介质和其他计算机可读介质。这种计算机可读介质可以是由通用计算机系统或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理储存介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本发明的实施例可以包括至少两种完全不同的计算机可读介质：物理计算机可读储存介质和传输计算机可读介质。
物理计算机可读储存介质包括RAM、ROM、EEPROM、CD-ROM或其他光盘储存器(诸如CD、DVD等)、磁盘储存器或其他磁储存设备、或者是可以被用于计算机可执行指令或数据结构的形式存储所需程序代码的部件并且可由通用计算机或专用计算机访问的任何其他介质。
“网络”被定义为能够在计算机系统和/或模块和/或其他电子设备之间传送电子数据的一个或多个数据链路。当通过网络或其他通信连接(硬连线、无线、或硬连线或无线的组合)向计算机传送或提供信息时，计算机将连接正确地视为传输介质。传输介质可以包括网络链路和/或数据链路，其可以被用于计算机可执行指令或数据结构的形式携带所需程序代码部件，并且可以由通用或专用计算机访问。上述的组合也包括在计算机可读介质的范围内。
此外，在到达各种计算机系统组件时，计算机可执行指令或数据结构形式的程序代码装置可以自动地从传输计算机可读介质传送到物理计算机可读储存介质(或者，反之亦然)。例如，通过网络或数据链路接收的计算机可执行指令或数据结构可以被缓冲在网络接口模块(例如，“NIC”)内的RAM中，然后最终被传送到计算机系统RAM和/或传送到计算机系统中的较不易失性的计算机可读物理储存介质。因此，计算机可读物理储存介质可以被包括在也(或甚至主要)利用传输介质的计算机系统组件中。
计算机可执行指令包括例如使得通用计算机、专用计算机或专用处理设备执行特定功能或功能组的指令和数据。计算机可执行指令可以是：例如二进制文件、诸如汇编语言的中间格式指令、或甚至是源代码。尽管已经利用结构特征和/或方法动作专用的语言描述了本主题，但应理解，所附权利要求书中定义的主题不必限于上述所描述的特征或动作。而是，所描述的特征和动作作为实现权利要求的示例形式而被公开。
本领域技术人员将理解，可以在具有许多类型的计算机系统配置的网络计算环境中实践本发明，包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机等。还可以在分布式系统环境中实践本发明，其中通过网络链接(通过硬连线数据链路、无线数据链路或通过硬连线和无线数据链路的组合)的本地和远程计算机系统来执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器储存设备中。
备选地或附加地，本文所描述的功能性可以至少部分地由一个或多个硬件逻辑组件执行。作为示例而非限制，可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、程序专用集成电路(ASIC)、程序专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
在不脱离本发明的精神或特性的情况下，可以以其他特定形式具化本发明。所描述的实施例在所有方面都应被视为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前面的描述来指示。在权利要求的含义和等同范围内的所有变化都被包含在其范围内。

Claims (15)

1.一种计算机系统，包括：
一个或多个处理器；以及
一个或多个计算机可读介质，所述一个或多个计算机可读介质具有被存储在其上的指令，所述指令由所述一个或多个处理器可执行以将所述计算机系统配置为训练分类器来分类实体，以增加关于实体是分布式拒绝服务攻击的一部分的置信度，所述指令包括可执行以配置所述计算机系统执行至少以下操作的指令：
训练分类器以使用第一分类方法来标识来自实体集合的实体正在执行拒绝服务攻击的概率；
使用所述分类器来标识实体子集，所述实体子集满足执行拒绝服务攻击的阈值概率；
使用第二分类方法来标识所述实体子集中实体的相似度；以及
基于所述相似度对个体实体进行分类。
2.根据权利要求1所述的系统，其中所述第二分类方法将相似的实体聚类到相似度簇中。
3.根据权利要求2所述的系统，其中一个或多个计算机可读介质还具有被存储在其上的指令，所述指令由所述一个或多个处理器可执行以将所述计算机系统配置为：将簇标识为受损实体的集合。
4.根据权利要求1所述的系统，其中对个体实体进行分类包括：将实体标识为执行拒绝服务。
5.根据权利要求1所述的系统，其中一个或多个计算机可读介质还具有被存储在其上的指令，所述指令由所述一个或多个处理器可执行以将所述计算机系统配置为：基于相似度来标识特定僵尸网络中的实体。
6.根据权利要求1所述的系统，其中一个或多个计算机可读介质还具有被存储在其上的指令，所述指令由所述一个或多个处理器可执行以将所述计算机系统配置为：基于相似度来标识被相同的手段感染的实体。
7.根据权利要求6所述的系统，其中所述相同的手段包括相同的恶意软件。
8.根据权利要求6所述的系统，其中所述相同的手段包括相同的命令和控制。
9.根据权利要求1所述的系统，其中使用第二分类方法来标识所述实体子集中实体的相似度包括：使用L-方法。
10.根据权利要求1所述的系统，其中使用第二分类方法来标识所述实体子集中实体的相似度包括：使用分层聚类。
11.根据权利要求10所述的系统，其中一个或多个计算机可读介质还具有被存储在其上的指令，所述指令由所述一个或多个处理器可执行以将所述计算机系统配置为：关联实体活动，并且其中使用分层聚类是基于经关联的实体活动。
12.根据权利要求1所述的系统，其中一个或多个计算机可读介质还具有被存储在其上的指令，所述指令由所述一个或多个处理器可执行以将所述计算机系统配置为：使用可用外部数据来标识特定僵尸网络。
13.一种计算机实现的用于训练分类器来分类实体以增加关于实体是分布式拒绝服务攻击的一部分的置信度的方法，所述方法包括：
训练分类器以使用第一分类方法来标识来自实体集合的实体正在执行拒绝服务攻击的概率；
标识实体子集，所述实体子集满足执行拒绝服务攻击的阈值概率；
使用第二分类方法来标识所述实体子集中实体的相似度；以及
基于所述相似度对个体实体进行分类。
14.根据权利要求13所述的方法，其中所述第二分类方法将相似的实体聚类到相似度簇中。
15.根据权利要求14所述的方法，还包括将簇标识为受损实体的集合。
CN201780050602.XA 2016-08-31 2017-08-24 用于从ipfix数据检测云上的ddos僵尸网络的聚类方法 Active CN109644184B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/253,586 2016-08-31
US15/253,586 US10129295B2 (en) 2016-08-31 2016-08-31 Clustering approach for detecting DDoS botnets on the cloud from IPFix data
PCT/US2017/048297 WO2018044659A1 (en) 2016-08-31 2017-08-24 Clustering approach for detecting ddos botnets on the cloud from ipfix data

Publications (2)

Publication Number Publication Date
CN109644184A true CN109644184A (zh) 2019-04-16
CN109644184B CN109644184B (zh) 2021-10-01

Family

ID=59791169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780050602.XA Active CN109644184B (zh) 2016-08-31 2017-08-24 用于从ipfix数据检测云上的ddos僵尸网络的聚类方法

Country Status (4)

Country Link
US (1) US10129295B2 (zh)
EP (1) EP3507960B1 (zh)
CN (1) CN109644184B (zh)
WO (1) WO2018044659A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10692079B2 (en) * 2018-01-24 2020-06-23 Mastercard International Incorporated Method and system barcode-enabled payments
CN108173884B (zh) * 2018-03-20 2021-05-04 国家计算机网络与信息安全管理中心 基于网络攻击伴随行为的DDoS攻击群体分析方法
WO2021018440A1 (en) * 2019-07-26 2021-02-04 Sony Corporation METHODS FOR DETECTING A CYBERATTACK ON AN ELECTRONIC DEVICE, METHOD FOR OBTAINING A SUPERVISED RANDOM FOREST MODEL FOR DETECTING A DDoS ATTACK OR A BRUTE FORCE ATTACK, AND ELECTRONIC DEVICE CONFIGURED TO DETECT A CYBERATTACK ON ITSELF
US11283699B2 (en) 2020-01-17 2022-03-22 Vmware, Inc. Practical overlay network latency measurement in datacenter
US11483342B2 (en) * 2020-05-29 2022-10-25 Saudi Arabian Oil Company Utilizing web application firewall and machine learning to detect command and control
US11570090B2 (en) 2020-07-29 2023-01-31 Vmware, Inc. Flow tracing operation in container cluster
US11558426B2 (en) * 2020-07-29 2023-01-17 Vmware, Inc. Connection tracking for container cluster
US11736436B2 (en) 2020-12-31 2023-08-22 Vmware, Inc. Identifying routes with indirect addressing in a datacenter
US11336533B1 (en) 2021-01-08 2022-05-17 Vmware, Inc. Network visualization of correlations between logical elements and associated physical elements
US11687210B2 (en) 2021-07-05 2023-06-27 Vmware, Inc. Criteria-based expansion of group nodes in a network topology visualization
US11711278B2 (en) 2021-07-24 2023-07-25 Vmware, Inc. Visualization of flow trace operation across multiple sites
US11706109B2 (en) 2021-09-17 2023-07-18 Vmware, Inc. Performance of traffic monitoring actions
US11888870B2 (en) 2021-10-04 2024-01-30 Microsoft Technology Licensing, Llc Multitenant sharing anomaly cyberattack campaign detection
US11930039B1 (en) * 2021-11-16 2024-03-12 Amazon Technologies, Inc. Metric space modeling of network communication

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546624A (zh) * 2011-12-26 2012-07-04 西北工业大学 一种网络多路入侵检测防御方法及系统
US20130104230A1 (en) * 2011-10-21 2013-04-25 Mcafee, Inc. System and Method for Detection of Denial of Service Attacks
CN104967629A (zh) * 2015-07-16 2015-10-07 网宿科技股份有限公司 网络攻击检测方法及装置
CN105162759A (zh) * 2015-07-17 2015-12-16 哈尔滨工程大学 一种基于网络层流量异常的SDN网络DDoS攻击检测方法
US20160028754A1 (en) * 2014-07-23 2016-01-28 Cisco Technology, Inc. Applying a mitigation specific attack detector using machine learning

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101848197B (zh) 2009-03-23 2015-01-21 华为技术有限公司 检测方法、装置和具有检测功能的网络
US20110153811A1 (en) * 2009-12-18 2011-06-23 Hyun Cheol Jeong System and method for modeling activity patterns of network traffic to detect botnets
US8661544B2 (en) * 2010-08-31 2014-02-25 Cisco Technology, Inc. Detecting botnets
US8516585B2 (en) * 2010-10-01 2013-08-20 Alcatel Lucent System and method for detection of domain-flux botnets and the like
US8682812B1 (en) 2010-12-23 2014-03-25 Narus, Inc. Machine learning based botnet detection using real-time extracted traffic features
US8402543B1 (en) 2011-03-25 2013-03-19 Narus, Inc. Machine learning based botnet detection with dynamic adaptation
US8745737B2 (en) 2011-12-29 2014-06-03 Verisign, Inc Systems and methods for detecting similarities in network traffic
US9922190B2 (en) 2012-01-25 2018-03-20 Damballa, Inc. Method and system for detecting DGA-based malware
KR20130126814A (ko) 2012-04-26 2013-11-21 한국전자통신연구원 데이터마이닝을 이용한 트래픽 폭주 공격 탐지 및 심층적 해석 장치 및 방법
US10536357B2 (en) * 2015-06-05 2020-01-14 Cisco Technology, Inc. Late data detection in data center

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130104230A1 (en) * 2011-10-21 2013-04-25 Mcafee, Inc. System and Method for Detection of Denial of Service Attacks
CN102546624A (zh) * 2011-12-26 2012-07-04 西北工业大学 一种网络多路入侵检测防御方法及系统
US20160028754A1 (en) * 2014-07-23 2016-01-28 Cisco Technology, Inc. Applying a mitigation specific attack detector using machine learning
CN104967629A (zh) * 2015-07-16 2015-10-07 网宿科技股份有限公司 网络攻击检测方法及装置
CN105162759A (zh) * 2015-07-17 2015-12-16 哈尔滨工程大学 一种基于网络层流量异常的SDN网络DDoS攻击检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭晓军: ""基于Nonexistent Domain 的僵尸主机识别方法"", 《信息与电脑》 *

Also Published As

Publication number Publication date
WO2018044659A1 (en) 2018-03-08
CN109644184B (zh) 2021-10-01
EP3507960A1 (en) 2019-07-10
US20180063188A1 (en) 2018-03-01
US10129295B2 (en) 2018-11-13
EP3507960B1 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
CN109644184A (zh) 用于从ipfix数据检测云上的ddos僵尸网络的聚类方法
Aljawarneh et al. Anomaly-based intrusion detection system through feature selection analysis and building hybrid efficient model
CN112738015B (zh) 一种基于可解释卷积神经网络cnn与图检测的多步攻击检测方法
CN110505241B (zh) 一种网络攻击面检测方法及系统
CN106713371B (zh) 一种基于DNS异常挖掘的Fast Flux僵尸网络检测方法
CN102420723A (zh) 一种面向多类入侵的异常检测方法
Sadiq et al. An efficient ids using hybrid magnetic swarm optimization in wanets
WO2017152877A1 (zh) 网络威胁事件评估方法及装置
Haq et al. Botnet detection using machine learning
CN109600362A (zh) 基于识别模型的僵尸主机识别方法、识别设备及介质
CN116318924A (zh) 一种小样本入侵检测方法、系统、介质、设备及终端
Silva et al. A statistical analysis of intrinsic bias of network security datasets for training machine learning mechanisms
Qui et al. Strengthening IDS against evasion attacks with GAN-based adversarial samples in SDN-enabled network
Churcher et al. ur Rehman
CN110598794A (zh) 一种分类对抗的网络攻击检测方法及系统
Sukhwani et al. A survey of anomaly detection techniques and hidden markov model
Song et al. A comprehensive approach to detect unknown attacks via intrusion detection alerts
CN116647844A (zh) 一种基于堆叠集成算法的车载网络入侵检测方法
Srilatha et al. DDoSNet: A Deep Learning Model for detecting Network Attacks in Cloud Computing
CN116015788A (zh) 一种基于主动探测的恶意流量防护方法及系统
Leevy et al. IoT attack prediction using big Bot-IoT data
Vargheese et al. Machine Learning for Enhanced Cyber Security
Liu et al. Two statistical traffic features for certain APT group identification
Harun et al. Bot classification for real-life highly class-imbalanced dataset
Lai et al. Detecting network intrusions using signal processing with query-based sampling filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant