CN108701187A - 混合硬件软件分布式威胁分析 - Google Patents

混合硬件软件分布式威胁分析 Download PDF

Info

Publication number
CN108701187A
CN108701187A CN201780013523.1A CN201780013523A CN108701187A CN 108701187 A CN108701187 A CN 108701187A CN 201780013523 A CN201780013523 A CN 201780013523A CN 108701187 A CN108701187 A CN 108701187A
Authority
CN
China
Prior art keywords
grouping
network
host
computing device
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780013523.1A
Other languages
English (en)
Other versions
CN108701187B (zh
Inventor
N·贾因
陈昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108701187A publication Critical patent/CN108701187A/zh
Application granted granted Critical
Publication of CN108701187B publication Critical patent/CN108701187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0254—Stateful filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0209—Architectural arrangements, e.g. perimeter networks or demilitarized zones
    • H04L63/0218—Distributed architectures, e.g. distributed firewalls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1458—Denial of Service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

实施例涉及检测和抑制网络入侵。分组在它们的源/目的地主机处被检查以标识主机本地的分组趋势。本地分组趋势被组合以标识网络范围的分组趋势。网络范围的分组趋势用于检测异常或攻击，其进而通知抑制动作。本地检查可以通过每个主机处的可重新配置/可重新编程的“智能”网络接口(NIC)来执行。本地检查涉及基于分组之间的再现共性的统计普遍性来标识潜在的可疑分组特征；不需要预定义的威胁模式。对于网络范围的一致性，每个主机/NIC使用相同的分组标识和出现测量算法。覆盖或控制服务器收集并且组合本地出现度量以得到网络范围的出现度量。网络范围的出现可以用于自动检测和抑制全新类型的攻击分组。

Description

混合硬件软件分布式威胁分析
背景技术
网络和通过网络进行通信的设备的扩散已经伴随着有意滥用和破坏的扩散。通过网络可访问的设备经常遭受拒绝服务(DoS)攻击、蛮力攻击、端口扫描、恶意软件分发尝试、SSL(安全套接字层)攻击、僵尸网络攻击、URL(统一资源定位符)重定向攻击、地址欺骗攻击等。很多形式的网络入侵和破坏早已为人所知，并且新的威胁将不断出现。
网络入侵检测(NID)系统已经被用于检测和防止基于网络的攻击。集中式NID系统在网络的关键点(诸如边缘路由器和接入路由器)处设置入侵检测功能。一些NID系统在应用层运行，并且被部署在终端主机/服务器处。NID系统可能造成瓶颈，并且通常涉及昂贵的硬件和昂贵的高容量网络链接来处理大量数据。在对网络性能影响最小的情况下存储和处理大量数据可能需要大量的硬件资源。一些NID系统通过沙盒或转移恶意流量的外部服务器来路由网络流量。这样的第三方服务是昂贵的，并且有潜在的安全隐患。
集中式NID系统还受到网络活动的有限视图的困扰。由于在网络中有限数目的点处对分组进行检查，因此一些分组数据可能无法通过NID系统进行分析。诸如地址变换、隧道传输、封装和链路加密等转换可能导致分组数据在网络的某些点处变得明显，并且在NID设备运行的其他网络位置处变得不透明。换言之，并非所有在网络上活动的与潜在威胁有关的有效载荷和报头字段都可以在NID设备所在的网络接口处解析。
常见的NID方法具有其他缺点。例如，大多数NID系统使用分组或流的已知属性或内容的集合来标识威胁。当出现新类型的威胁或攻击时，人类网络管理员可能会注意到问题，费力地从网络跟踪、点击、主机日志文件、路由器日志等收集线索，咨询其他网络的管理员，并且花时间来隔离网络攻击和标识其特性。然后可以手动将新的威胁简档或模式添加到NID系统，以解决将来再次发生类似攻击。标识新威胁和更新NID系统的这个周期是昂贵的、耗时的并且是被动的/永无止境的。另外，新威胁在被检测到并且抑制之前会造成重大伤害。通过针对预定义的威胁简档或模式来检查分组以检测威胁的NID系统天然地滞后于现状，例如网络上的零日攻击(zero-day attack)。此外，对特定已知攻击的小修改可能使其无法检测，因为其预定义的模式或正则表达式可能不再有效。管理员及其工具必须不断适应，以确保网络安全和性能。
下面讨论的实施例解决了一个或多个需求，诸如以分布式可扩展的方式接近实时地在可能广泛和繁忙的网络上有效且自动地检测和抑制网络攻击或异常，而不依赖于先验定义或特别攻击的标记。
发明内容
下面的“发明内容”被包括仅用于介绍在下面的“具体实施方式”中讨论的一些概念。这个“发明内容”不是全面的，并且不旨在界定在结尾处提出的权利要求阐述的所要求保护的主题的范围。
实施例涉及检测和抑制网络入侵。在分组的源/目的地主机处对分组进行检查，以标识和分析主机本地的分组趋势。本地分组趋势被组合以标识网络范围的分组趋势。网络范围的分组趋势用于检测异常或攻击，其进而通知抑制动作。本地检查可以通过软件或硬件来执行，例如经由FPGA(现场可编程门阵列)、每个主机处的可重新配置/可重新编程的“智能”网络接口(NIC)等。本地检查涉及基于分组之间的再发共性的统计普遍性来标识潜在的可疑分组特征；不需要预定义的威胁模式。对于网络范围的一致性，每个主机/NIC使用相同的分组标识和出现测量算法。在一些情况下，这些算法可能彼此不同和/或互补。覆盖或控制服务器收集并且组合本地出现度量以得到网络范围的出现度量。网络范围的出现可以用于自动检测和抑制全新类型的攻击分组。
下面将参考结合附图考虑的以下详细描述来解释很多附带特征。
附图说明
根据附图阅读以下详细描述，将更好地理解本描述，其中相同的附图标记用于在所附描述中指定相同的部分。
图1示出了被布置为通过数据网络彼此通信的主机。
图2示出了由主机和覆盖执行的过程。
图3示出了内联网络接口。
图4示出了分组分析器的细节。
图5示出了存储应用行为规范的应用行为模块。
图6示出了计数模块的示例。
图7示出了计数模块的附加细节。
图8示出了用于集成每个主机分组检查数据以执行一致的网络范围的分组检查的实施例。
图9示出了用于保持前-K统计的实施例。
图10示出了使用近似或概率统计收集技术的实施例。
图11示出了用于自动化抑制的实施例的细节。
图12示出了计算设备的细节。
具体实施方式
下面讨论的实施例涉及检测和抑制网络入侵。讨论将首先概述用于进行以下操作的架构和过程：在主机处检查传输中分组，有效地标识分组中的本地趋势，从本地趋势中标识网络范围的趋势，并且基于网络范围的趋势发起抑制动作。下面将描述与架构和过程相关的一些主机和NIC功能。随后将讨论分组检查和特征提取技术，这些技术可以在不使用预定义威胁模式或定义的情况下检测新兴威胁。然后将解释用于使用应用软件的网络属性的描述来补充分组分析的方法。接下来描述用于本地且高效地捕获关于所检查的分组的任意特征的统计信息以实现对顶部本地趋势分组特征的接近实时的标识的技术。为此，解释了使用近似或概率算法和数据结构(诸如计数最小(CM)草图、重对数位图等)的实现。最后描述用于从顶部本地趋势分组特征中标识顶部全局趋势分组特征的过程。尽管全局趋势分组特征的标识本身是有用的，但是还提供用于使用该信息来自动选择抑制动作并且将其插入到网络中的细节。
图1示出了被布置为通过数据网络102彼此通信的主机100。主机100可以是可以作为网络流端点进行操作的任何类型的计算设备。主机100的形式并不重要(例如，刀片、服务器、工作站、膝上型电脑等)，但是假定有处理硬件(例如，CPU、图形处理单元等)、存储硬件(例如，存储器、磁盘驱动器等)、用于它们的协作的硬件(总线、输入/输出控制器和端口等)以及用于控制硬件的操作系统。出于本文中的目的，数据网络102的细节不重要。例如，在物理/链路级别，数据网络102可以包括共享介质(例如，以太网)的分段、一个或多个交换结构(例如，光纤通道中的InfiniBand或交换结构)、令牌环等。可以使用能够在主机100与外部网络上的其他设备之间提供网络级路由的任何类型的已知数据网络102。为了讨论，数据网络102将被假定为IP网络，其为具有已经被指派相应IP地址的主机100提供因特网协议(IP)路由。
主机100设置有各自的智能NIC 104。主机100可以具有它们自己的NIC(未示出)，并且智能NIC 104(其也可以被称为“内联(in-line)NIC”)被配置为在主机NIC与数据网络102之间中转(intermediate)网络流。例如，网络流可以是传输控制协议(TCP)流。智能NIC104能够经由面向网络的媒体/物理链路来与数据网络102交换网络分组106，并且能够经由到主机NIC的面向主机的媒体/物理链路来与它们相应的主机100交换网络分组。
如图1所示，主机100能够使用中转网络流彼此通信和与网络102外部的节点通信。主机100的智能NIC 104将对终止于或起源于主机100的网络流106的分组106进行中转(或者如果主机100用作对等网络中的对等设备，则通过主机100传输)。如下面进一步描述的，由智能NIC 104提供的中转类型可以包括用于透明地发送和接收分组的转移逻辑。中转还可涉及由分组检查模块108执行的分组检查和由分组过滤器110执行的分组过滤或调节。NIC 104将被称为主机100的组件。实际上，NIC 104可以被或不被物理地并入主机100中。虽然内联碰撞(bump-in-the-line)智能NIC将便于实现本文中描述的实施例，但是也可以使用其他类型的NIC。例如，可以使用缺乏显著处理能力的传统NIC，并且本文中描述的NIC功能可以备选地由主机100的处理硬件执行。也可以使用具有网络处理卸载能力的NIC。值得注意的是，将在每个参与主机100处或(在连接意义上的)附近提供分组检查和调节。在本文中将动作描述为在主机100处或由主机100执行时，取决于上下文，这样的动作可以由NIC104执行。
图1还示出了分布式覆盖112。覆盖112包括网络范围的收集和分析功能114，以用于收集和分析来自分组检查模块108或110的检查数据。覆盖112还包括网络范围的控制功能115，以用于控制NIC104对分组106的调节。覆盖112可以被实现为客户端服务器架构，或者被实现为其中主机100用作对等体的对等网络。利用客户端服务器架构，网络服务116(例如，一个或多个服务器设备)在各个主机100处与客户端覆盖代理118通信。为了方便起见，本文中将在客户端服务器架构方面来描述实施例。功能上等同的对等实施例可以在覆盖代理118中使用已知的分布式计算技术来实现，覆盖代理118可以被配置为协作对等体。
图2示出了由主机100和覆盖112执行的过程。在每个主机100处，检查主机的分组106以从分组106的报头和/或有效载荷中标识(130)分组特征。分组特征将在下面进一步讨论，但是可以包括例如源和目的地网络地址、有效载荷内容的散列、协议、端口、有效载荷大小、分组计数等。
在每个主机100处，(在主机处)本地监测所标识的分组特征，以在主机处标识或隔离(132)统计上显著的新兴分组特征。这可以涉及：在每个主机处跟踪分组特征的统计，诸如特征的计数、特征的基数、特征之间的关联的计数和基数、这样的统计的速率、具有不同持续时间的时间窗口的速率/计数等。在下面进一步描述的一些实施例中，为了高效存储，使用近似算法和数据结构来保持分组统计。用于将分组特征标识为可能存在问题的基础可以是其在其他分组特征中的相对统计排名。例如，可以在每个主机处持续跟踪各种本地前-N分组特征。分组或分组流所固有的分组特征(诸如再发源IP地址或有效载荷(无论这种有效载荷的构成如何))可以在不依靠预定义分组模式或威胁定义的情况下进行标识。该技术可以允许主机基于它们的相对统计显著性而不是这些特征的特定值来接近实时地(例如，在几秒内)标识分组特征。如果发生新类型的攻击，则新的攻击可以很快“升至顶端”并且成为本地“可见”，即使这种类型的攻击以前从未被识别过。
然后，将分组特征的本地导出的统计统一用于标识(134)在网络102上的参与主机100之间出现的顶部分组特征。对于客户端服务器实现，这可以涉及整理本地的前-N分组特征的报告或其他标记以及标识所整理的数据中的前-K特征。对于对等实现，可以执行分布式查询以标识前-K特征。
然后可以通过多种方式来利用前-K分组特征，诸如通过发起抑制动作(136)。如下面进一步描述的，这可以涉及制定和分发分组过滤规则、速率控制指令、服务质量更新、传输路由重定向消息、调用诸如防火墙设备等辅助安全装置、拉取与前-K特征相对应的本地高速缓存分组的副本、或者记录前-K特征的记录(诸如其身份、计数或速率、出现时间等)。应当注意，仅仅标识新的分组特征或指纹(例如，与攻击相关联的有效载荷模式)本身是有用的抑制动作，因为这样的标识可以实现手动更新任何安全或NID系统，包括在其他网络上的那些安全或NID系统。
图3示出了内联智能NIC 104。如上所述，智能NIC 104可以在主机100与数据网络102之间内联布置，以提供主机与网络之间的转移连接(如本文中使用的，“内联”是用于标识NIC配置类型的术语，并且不表示这样的NIC目前连接到主机和网络)。智能NIC 104可以连接到将智能NIC 104与其主机100物理地连接的第一物理/链路连接150。智能NIC还连接到将智能NIC连接到数据网络102的第二物理/链路连接152。物理/链路连接每个可以是任何类型，例如以太网、光纤通道、InfiniBand、PCIe等。物理/链路连接也可以是无线介质。如参考图3所讨论的，智能NIC设置有媒体访问控制器(MAC)154、156以与物理/链路连接150、152接口。
为了执行本文中描述的功能，智能NIC 104可以具有可重新配置或可重新编程的部分153，诸如现场可编程门阵列(FPGA)或其他形式的可编程逻辑器件。可编程部分153可以被配置为实现诸如转移组件158等组件，这些组件支持网络流的分组106的转移中转。转移组件158存储和转发流分组。转移组件158还可以包括用于过滤或调节分组的过滤器110、用于执行分组检查的分析器162和用于支持参与覆盖112的覆盖界面163。
由应用使用以交换数据的网络流可以如以下的方式来通过智能NIC。基于主机的应用164(在主机100上执行的任何应用层代码)具有要传送的应用层数据，例如超文本传输协议(HTTP)消息。数据通过操作系统API/设施(例如，流或套接字)传递到网络栈166，其中数据被放置在传输分组(例如，TCP分组)中，传输分组被封装在网络分组(例如，以主机IP地址作为发送方的IP分组)中，网络分组又放置在物理层帧(例如，以太网帧)的有效载荷中。这些帧通过第一物理/链路连接150被传送到智能NIC 104。
转移组件158剥离(strip)网络帧，存储传输分组(例如以提取有效载荷)，可能高速缓存用于组装的有效载荷，并且高速缓存高层数据(诸如IP分组、应用层数据等)。过滤器110将调节规则应用于分组以可能阻塞、延迟或加速分组。转移组件158还向分组分析器162提供(任何可用层的)经剥离/组装的分组/消息。当所缓冲的分组准备好被发送(转发)时，转移组件158将它们封装在与从主机接收的IP分组具有相同的源地址和目的地址的IP分组中。然后为第二链路/媒体连接152对IP分组成帧并且在第二链路/媒体连接152上传输成帧的IP分组。智能NIC向数据网络传输的IP分组通常与最初从主机接收的IP分组相同。因此，智能NIC可以被称为对于主机100和网络102的大多数元件而言稍微透明的“内联”或“内联碰撞”设备。然而，如果需要，分组可以在通过智能NIC时被修改；如果在合适的分组处理阶段(例如在正在检查的层以上的层处)进行修改，则不应当影响对这样的经修改的分组的检查或分析。
分组分析器162检查分组，并且相应地更新其本地分组统计。关于由分组分析器162标识的分组特征的信息被传递到覆盖接口163。覆盖接口163将主机/NIC挂钩(hook)到覆盖112中。来自分组分析器162的分组检查信息被传递到覆盖代理118，覆盖代理118转发分组检查信息以与来自其他主机/NIC的检查数据合并和一起分析。覆盖代理118还从覆盖112接收指令。这样的指令可以是分组检查模式(如果正在使用)、分组过滤器110的过滤规则等。覆盖代理118和覆盖接口163可以通过总线或直接存储器访问(DMA)信道进行带外通信，或者它们可以通过与用于传送所检查的分组106相同的主机到NIC路径来进行带内通信。在一个实施例中，如果智能NIC具有用于通过发起连接、始发分组等来作为流端点进行操作的设施，则在智能NIC上而不是主机上执行覆盖代理118(或用于参与覆盖112的类似逻辑)。参见题为“LIGHTWEIGHT TRANSPORT PROTOCOL”的美国专利申请号14/752,713以获取更多细节。
由智能NIC从数据网络102接收的流分组106以相同方式被转发到主机，并且主机的网络栈166类似地将入站分组中的应用数据提供给基于主机的应用164。值得注意的是，智能NIC的内联布置和分组的双向传递允许智能NIC及其主机使用相同的IP地址。这可以允许主机的智能NIC被透明地添加或移除到主机和数据网络的路由。
图4示出了分组分析器162的细节。如上所述，被发送去往和来自相应主机的分组在经过NIC时被提供给分组分析器162。逻辑抽头180将分组的副本或其在存储器中的位置传递给分组分析器162。
分组分析器162包括分组解析器182，其用于分析出诸如报头和有效载荷等分组的部分。分组解析器182具有一个或多个缓冲器184、186、188和解析器189、191。缓冲器184、186、188和解析器189、191使用已知方法将分组组装到网络栈的一个或多个层上。例如，第一缓冲器184接收MAC/链路级分组，例如以太网。第一解析器189将它们组装成网络分组(例如，IP分组)，网络分组被存储在第二缓冲器186中。第二解析器191从第二缓冲器186中的网络分组中提取有效载荷并且执行应用级解析/组装以获取传输级(例如，TCP)和/或应用级数据(诸如HTML消息等)，这些数据被存储在第三缓冲器188中。在一个实施例中，应用层数据仅被视为数据流而不考虑结构或格式。多级分组解析是不必要的；例如，只有传输层分组可能被检查和统计汇总。总之，通过NIC的一层或多层数据被呈现用于检查和分析。
返回图4，缓冲器的内容被传递到计数模块192、194。计数模块标识不同层处的分组或数据的任意分组特征，并且更新各个表格196、198中的统计数据。如果多个层正在被组装和检查，则每个层可以具有相应的计数模块和表格。当分组流经NIC时，分组的各个特征的统计概要被累积在表格196、198中。在一个实施例中，具有最低统计的行(或者当它们低于阈值排名、计数、自上次更新以来的年龄等)被周期性地从表格中移除。表格196、198中的项目也可以被加时间戳用于计算分组特征出现率和用于移除陈旧数据。定期地，其中的最具统计意义的行的表格或子集通过覆盖代理118被提供给覆盖112。控制服务器200接收表格更新并且将它们存储在对应的全局表格202中。如果正在检查和监测多个层，则每个层可以具有自己的本地表格和相应的全局表格。可以在多个表格或其他类型的多维数据结构中捕获层的统计的多个维度和组合。也可以跟踪统计以获取不同层中的特征之间的相关性。
如上所述，应用行为的规范可以被提供给分组分析器162。图5示出了应用行为模块202，应用行为模块202存储应用行为规范204或文件，并且使用该信息来执行其自己的统计分析或使用它来通知其他计数模块。应用可以通过覆盖界面163来传递其规范。应用规范指定对应应用的网络通信预期如何表现或执行。具体地，应用规范可以描述：预期有效载荷在何处包含(例如，偏移和长度、字段号/类型)以及包含什么内容(例如，数字、特定值)、报头字段的内容或频率、分组中的特征计数或速率的预期统计范围、内容模式或正则表达式、应用级约束(例如，HTML消息不应当包括某些命令组合或数目)、并发流的最大预期数目等。应用特征可以是在任何网络、传输、应用层或其他层方面。可以使用控件标签来标记特征以指示在出现相应特征或违反相应特征时要执行的动作的重要级别或类型。动作可以用于速率限制、分组丢弃、复制分组、重定向或重新寻址等。应用规范204中的任何特征可以使用与下面描述的相同的技术以持续的方式进行统计汇总，以统计汇总任意分组特征。例如，可以使用指定的应用行为以从检查、计数、报告等中排除一些分组。
图6示出了计数模块192/194的示例。来自分组缓冲器之一的分组被传递给计数模块。在一个实施例中，分组被分成报头106A和有效载荷106B。分割模块230为每个分组的报头和有效载荷计算一个或多个分割232。报头分割可以是TCP/IP 5元组，其元素诸如源或目的地IP地址、或者一个或多个报头字段的任何其他组合。如下面进一步讨论的，有效载荷分割可以是有效载荷的任何排列。每个分割被传递给一个或多个散列函数234，散列函数234输出摘要236(即，指纹、散列等)，摘要236又用作对应分组分割的标识符或键(key)。对应的本地键值表格被更新以增加新的键并且更新现有键的统计(例如，计数)。计数模块与表格之间的划分并不重要；在实践中，它们可能难以区分。考虑到用于捕获由键表示的分组特征的统计的一些概率技术本身可能不涉及表格结构，并且可能涉及用于访问和更新其的特殊数据结构和算法的混合。尽管如此，近似技术可以以模仿表格的方式或以提供键值表格的逻辑等价物的方式在数据维度之间进行映射。
图7示出了计数模块的附加细节。分组流中的每个分组250被传递给分割器230。分割器230向分组250应用一个或多个分割方案或模式，以获取分组的不同的对应内容分割。在图7所示的实施例中，存在用于报头和有效载荷的分割方案，其获取报头分割106A和有效载荷分割106B。从概念上讲，分割方案可以被认为是可以应用于任何分组以标识不同分组的相同部分(例如，前三个有效载荷字节、每隔一个有效载荷字节、中间八个有效载荷字节、重叠的四字节字符串、某些报头字段等)的模板。
多个分割方案可以用于整个分组、用于报头或用于有效载荷。例如，从相同的报头，可以为5元组、源IP地址、源IP和协议、有效载荷大小和端口号等形成相应的字符串。类似地，有效载荷通过任何方式被划分成有效载荷分割106B，诸如滑动窗口、选择有效载荷的块(例如，每隔2个字节/字)、统计地选择的有效载荷分段的偏移和长度、第一字节数、尾部字节数等。也可以使用整个分组或其部分的划分，而不考虑诸如报头和有效载荷等分组结构。用于获取包括分组的报头和有效载荷部分的分割的分割方案可以被设计为排除从分组到分组通常发生改变的任何报头字段，诸如校验和、序列号、有效载荷长度等。
尽管可以有效地使用单个分组分割方案(例如，仅针对有效载荷)，但是应用多个分割方案以获取每个分组的多个内容分割增加了计数和标识相同任意未知分组特征在传输相关NIC的很多或可能所有分组中循环的可能性。如果例如报头中的相同源地址或者有效载荷中的字节/位值的相同子集或任何其他相同的文字值在不同分组的相同区域或字段中再现，则可以对这些文字值的最多出现次数进行计数(使用近似统计/散列的实施例可能会漏掉一些出现次数)。而且，通过统计来自不同分组的内容部分的相同排列，也可以识别正在改变的攻击分组。如果有效载荷中的威胁指示模式随着时间的推移而动态移动(例如，在有效载荷中向左或向右移动几位或几个字节)，或者如果威胁开始从新IP地址被发送，威胁仍然被自动计数并且变得可标识，因为如下所示，标识不取决于威胁的实际值，而是取决于一些值再现这一事实，可能结合其他值或分组特征。
为了帮助标识在分组内移动的分组特征，当在不同位置处检测到再现特征时，可以使用位置变化来指导分割方案。例如，如果确定分组特征总是出现在某些偏移量处，则可以使用这些偏移量来动态调节或添加分割方案。
如果可用的话，如在第三缓冲器188中那样，也可以使用应用级数据分割。如果从分组重建应用级数据，则可以设计该数据的分割。例如，如果HTML(超文本标记语言)文档被重建并且被存储在第三缓冲器188中，则可以找到选择标签并且为分割提取它们的内容。有关应用级数据的任何信息(诸如它所符合的协议或者数据的结构或格式)可以用于形成分割方案。分割方案可以以任何方式制定，只要至少在足以积累有意义的比较统计的时间段内为分组计算相同的分割。分割获取功能可以根据检测到的变化条件(诸如平均分组大小)而动态地改变。如果逐渐添加和移除分割功能(例如，一次一个)，则可以继续进行威胁检测，同时检测到再现分组特征的概率降至最低。
虽然分割方案可以以不确定的方式使用，即，在任何分组上使用，但是也可以基于关于分组的信息来为分组选择分割方案。例如，可以使用相应不同的分割方案来对不同层的分组或帧或消息进行分割。即使在同一层的分组也可以被选择性分割；分割方案可以基于分组或其流的特征、主机或NIC的状态、来自覆盖112的控制信号等来选择。
还可以在威胁签名可能跨越分组的情况下跨越多个分组来执行分割。例如，IP分裂(fragmentation)可以将IP分组分成多个分组，这些分组可以首先被组装成原始大分组，并且然后输入到分割模块。IP报头中存在标志设置，其可以被访问以检测分组是否为较大分组的碎片。
尽管可能存储从转发分组访问的内容分割，但是在高带宽下存储空间可能变得有问题。为了高效的存储和统计检查，可以将内容分割传递给一个或多个散列函数234以计算相应的散列/键252。可以使用任何数目的已知散列函数，诸如CRC32。散列/键252进而可能以进一步编码的形式存储在散列表或其他数据结构中。
诸如分割106A、106B等分割的散列252用作分组特征的紧凑标识符。当使用这样的标识符或散列时，涉及“分组特征”和等同物的操作的本文中的讨论实际上可以使用散列/标识符作为分组特征的代理来执行。由于每个分组可能具有多个指纹(表示唯一分组特征)，因此可以统计地以多种方式将这些分组相互比较，而无需在分组中查找先验信息或模式。当每个主机/NIC实施相同的分割、散列和计数功能时，可以全局评估比较分组的统计，因为相同的任意分组特征将被散列和计数，而无论其通过哪个NIC。主机处的表格共同作为分布式散列表或类似的分布式数据结构。被传送去往和来自主机的分组之间的共同点可以接近实时地在本地被标识，并且可以接近实时地全局地被标识，甚至可以在几秒或几分钟内被标识。一旦威胁开始发生，威胁就开始被记录并且隔离。人类管理员或威胁分析算法可以使用关于共同点和当前主导趋势的统计来采取动作或改进安全系统。
图8示出了用于集成每个主机分组检查数据以执行一致的网络范围的分组检查的实施例。如上所述，如果主机和/或它们的NIC每个都在相同的分割空间和相同的散列/键空间中检查分组，则可以以直接的方式组合主机处的统计。例如，可以添加每个主机处的特定散列的计数。当主机100收集关于散列表192A/194A或其他统计数据结构中的分组的统计时，一个或多个本地表格中的分组特征的本地的前-N条目270被收集，并且由前-N报告器271通过覆盖112发送给控制服务器200。在控制服务器200上执行的收集服务272从各个主机接收前-N条目270，并且将它们存储在一个或多个全局前-K表格202中。对于输入的键统计对，如果键不在全局表格/视图中，则插入键和其统计。如果输入的键在全局表格/视图中已经具有条目，则使用输入的统计来更新条目的全局统计。
如果需要，收集服务272可以被配置为基于全局前-K数据中的键来接收或拉取相关分组或其部分的高速缓存副本(例如，在缓冲器184、186、188中)。例如，如果特定键被控制服务器200标识为新的或者以超过阈值的速率出现，则该键可以在请求中被发送到发送键的数据的任何主机/NIC。主机接收请求，使用键查找分组的对应高速缓存副本，并且从中返回分组、该键的统计或细节。收集服务272将分组数据存储在模式存储器280中，模式存储器280可以用于生成过滤器、管理员对分组内容的阅读、通知NIC处的分组检查过程等。在一个实施例中，覆盖代理118、分析器162或主机处的其他组件可以存储与主机的当前前-K分组特征相对应的分组的副本；分组的副本可以使用前-K分组特征的散列来索引。
收集服务272、覆盖代理118和前-N报告器271可以协调以合并前-N/前-K分组特征数据。覆盖代理118可以高速缓存来自前-N报告器271的数据。收集服务器272可以在需要时或周期性地(例如，每5秒)拉取前-K数据。或者，覆盖代理118可以周期性地或者响应于其本地前-K排名集合的改变来推送分组特征统计。在覆盖代理118是在其主机100的管理程序或操作系统上执行的应用软件的实施例中，覆盖代理可以高速缓存统计的中间层，诸如前-M分组特征计数，其可以减少在NIC 104上需要的资源。在一个实施例中，覆盖代理118可以形成收集层次，其中一些代理收集并且转发其他代理的报告。
分组特征可能以低的本地速率、但是以主机的高比例发生。这样的分组特征实际上可能在前-K中。为了确保将分组特征提供给控制服务器200，可以选择与主机数目成比例的用于前-N逻辑的N值，从而减少分组特征未被确定为前-K全局分组特征之一的机会。有关实现细节可以参考：Cao和Wang的在PODC'04的“Efficient top-K query calculation indistributed networks”；Balke、Nejdl、Siberski和Wolf的在ICDE 2005的“Progressivedistributed top-k retrieval in peer-to-peer networks”；Theobald、Weikum和Schenkel的在VLDB'04的“Top-k query evaluation with probabilistic guarantees”。
在覆盖112中，前-K分析器在控制服务器200上执行。前-K分析器274监测前-K表格202中的全局分组特征数据。这可以包括摆脱(shuffle out)掉落在前-K范围之外的条目，生成并且存储辅助数据，诸如趋势分组特征或已经被标记用于监测的预定义分组特征的出现次数，向用户界面提供应用编程接口以供人类操作者访问前-K数据等。
可以实现实施例以向主机/NIC提供来自控制服务器200的反馈控制。在控制服务器200上执行的抑制服务276监测前-K分析器274(或直接是前-K表格)的输出以自动发起抑制动作，诸如将过滤规则更新传递给控制数据接收器282，控制数据接收器282相应地更新由过滤器110使用的过滤规则284的集合。抑制动作将在下面进一步讨论。在一个实施例中，前-K分析器274还生成新的过滤规则，其被存储在过滤规则存储器278中。新的过滤规则可以基于预定义的安全策略、前-K表中的统计、诸如拥塞等当前网络状况的指示等来生成。过滤规则可以被格式化并且发送到相关网络上的任何节点，或者发送到其他网络上可能管理相关或可能基于任何收集分组信息(诸如IP地址、查询域名服务(DNS)数据等)而被标识为相关的其他网络上的节点。应当认识到，任何已知的抑制技术都可以使用通过收集和监测任意分组特征的统计而可获取的信息类型来补充。
图9示出了用于保持前-K统计的实施例。该表格具有由键324(散列)索引的条目(行)(实际上，单独的计数最小模块可以存储键324)。每个条目存储一个或多个统计，诸如相应键的计数325和基数326。如下所述，一些统计可以以概率数据结构的形式存储。报头106A和有效载荷106B被接收330并且散列或以其他方式映射到相应的键。例如，有效载荷106B被映射到散列表192A/194A中的键2。类似地，报头106A被映射到表示IP地址(例如，源地址IP2)的键。以键2 331为索引，更新322键2的行，其可以包括递增计数2和/或更新键2的输入的基数2。根据需要创建新的行。通过根据更新新近度(陈旧度)、行中的统计、变化率、对表格中的不同因素或与表格中的行相关联的因素进行加权和组合的排序启发式等来驱逐(328)行，可以将表格保持为可管理的大小。在一个实施例中，通过跟踪表格中的哪些行当前具有用于一个或多个统计的最高值来保持当前最高排名的条目的集合。随着统计的更新，可以保持不同的键排序。例如，如果每个键具有用于两个相应分组特征的两个统计，则保持按照第一统计排序的第一键列表，并且还保持按照第二统计排序的第二键列表。前-K特征可以直接从这样的列表中获取。在另一实施例中，根据需要通过查询来获取前-K特征。
图10示出了使用近似或概率统计收集技术的实施例。已经开发了一类数据结构和算法，如仅由本发明人所理解的那样，其可以用于以接近实时的速度进行全面的分组检查，同时在硬件资源和可靠性之间进行可接受的折衷，这表示存储的结果等于地面真值的概率。可以使用任何已知的用于将键空间映射到计数、基数、平均值、中值等的近似算法。例如，Bloom过滤器及其变体、位图、重对数计数器、超重对数(hyperloglog)、带有错误的线性计数器、van Emde Boas数据结构等。
在图10中所示的示例中，最小计数(CM)草图360和登录位图362被用于累积分组特征统计。CM草图是可以统计数据流中的唯一事件发生频率的概率数据结构。实现重对数位图和CM草图的细节在其他地方可用。只需说CM草图将键和相应的计数存储在紧凑但“有损”的数据结构中，其错误受到概率保证的限制。键不是按字面存储的，而是按照CM草图的数据结构进行概率编码。可以查询键并且可以以可预测的可靠性提供键的频率或存在。重对数位图是另一种紧凑地存储统计(即，基数)的数据结构。重对数位图可以有效地存储样本空间中唯一项目的数目。例如，对于诸如特定有效载荷值(由相应的散列键表示)等分组特征，如果期望跟踪多少唯一IP地址已经发送包含该有效载荷值的分组，则重对数数据结构可以存储该信息。
返回图10，如果接收到分组250用于由分组分析器162进行处理，则报头106A和有效载荷106B被散列模块324A、324B提取和散列，散列模块324A、324B可以使用或不使用相同的散列算法。散列模块324A将有效载荷或其分割散列到键2，键2被传递到CM草图模块364。CM草图模块364访问CM草图360，并且实现CM草图算法更新键2的计数(计数2)。注意，图10所示的草图360示出了来自CM草图的一组逻辑数据。实际上，可以存在CM草图和单独的前-K本地表格，它们明确地存储CM草图中键的子集的键和它们各自的值、重对数信息等。图10示出了键/散列相关的统计的逻辑视图。CM草图模块364还可以对任何键执行查询。如果需要键2的计数，则CM草图模块可以通过使用CM草图算法查找给定键的值来从CM草图360返回该值。计数的值可以在可预测范围内或以可预测的概率是准确的。
CM草图360中使用的相同键(例如，键2)可以用作其他键值数据结构的键。以这种方式，可以关于键/散列(分组特征)的多个数据片段可以被关联。例如，关联数组可以具有与由CM草图360映射的键相同的键。这样的关联数组可以将任何值与其键相关联。例如，关联数组可以将重对数位图362与它们各自的键相关联。无论何时处理分组特征散列(键)，用于更新CM草图360的相同键也可以由重对数模块366使用。键用于查找相关联的重对数位图(例如，位图2)。重对数模块366然后向查找到的重对数位图应用报头106A中的IP地址，其因此在其针对键2的IP基数估计中包括新值。分组的多个键和多个值可以相关联，有点像多维数据立方体，但存储空间减少，而这会降低测量误差的可接受水平。以下是可以使用收集数据中的多个键值的一些示例。
IP前缀/子网可以用作键以统计该子网从其发送业务的源IP的数目。更一般地，可以以多个粒度(例如，子网)收集该信息以确定分层重击者(heavy hitter)。类似地，可以以过滤器的形式使用属于已知不良站点的IP前缀，或者可以分析不可路由或属于不同于分组从其路由的区域的IP前缀以检查IP欺骗。CM草图还可以使用源端口、目的端口或它们的组合作为键，例如到目的地端口0(保留端口)的流量将直接暗示异常/不良流量。同样，发送到服务/应用控制端口(其通常看不到通信或者仅看到来自可信端点/已知服务器的通信)的大流量将指示攻击模式。IP端口组合的计数可以作为键被输入到重对数数据结构中，以估计输入流量的传播/多样性——来自不同IP的大流量峰值，以前未见过的端口组合可能表明可能存在攻击模式。
图11示出了用于自动化抑制的实施例的细节。如上所述，测量和收集分组信息可以可用于抑制网络上潜在有问题的当前状况，而不管这些状况是否由恶意行为引起。为此，在控制服务器200处，异常检测模块378执行按需或周期性评估例如前-N条目以标识威胁或异常的检测过程379，并且抑制引擎276执行用于响应于异常检测模块378的抑制过程380。
可以周期性地或者在观察到超过阈值的这样的业务量时执行检测。也可以按需执行检测或外部触发检测以评估前-K个表格中的条目以及与这些条目相关的信息。可以使用已知的信号处理算法、机器学习方法等来自动标识不寻常的分组特征或与先前事件相关的分组特征。标识可以用较不复杂的技术来执行，诸如选择具有最高统计的条目、将条目的统计与归一化阈值相比较、使用时间信息来标识较高速率或突然速率增加、将最高的统计上显著的分组特征与拥塞信号相关，等等。当键或分组特征被标识为问题时，通知抑制服务276。
抑制过程380获取可能由键(分组特征)表示的所检测到的任何威胁或异常的信息或特征，以确定要采取哪种抑制动作。标识的分组特征的特性可以通过很多方式来确定，例如通过有效载荷内容、协议或端口、已知地址、分组特征的历史统计、或者利用外部信息，诸如已知已经发送恶意业务的IP地址的黑名单等。可以通过定义的策略或启发式地使用相关特性以选择抑制动作。可以将这些特性提供给经训练的或未经训练的分类算法，以标识与分组特征相关联的威胁或异常类别。例如，类别可以是重要级别(高、中或低)、诸如DoS或syn洪泛等攻击类别、诸如特定HTTP攻击等应用级攻击、欺骗攻击、网络上的失败的网络链路或格式不正确的路由等。相应地制定抑制动作。
检测到的分组特征的特性、类别等用于选择并且可能定制抑制数据库384中的抑制动作。用于抑制对网络的攻击的方法是已知的；任何现有的方法都可以适当地调节。新的方法也是可能的，并且可以修改现有方法以利用使用本文中描述的实施例可用的新类型的威胁/异常信息(及其即时性)。例如，虽然白名单和黑名单是已知的，但并不知道它们已经使用应用级数据的分组检查而被自动更新，例如，没有预先定义的模式或其他先验信息。抑制过程380可以执行的一个抑制动作是接近实时地生成白/黑名单384，并且用新的检测到的模式来更新这些列表。
尽管路由更新已经被用于解决流量和攻击问题，但是它们通常用于网络入口和瓶颈点处。重新路由动作由于若干原因(例如，导致路由不稳定)而不能构建靠近不同相应主机的很多不同路由调节。例如，抑制服务可以为网络的不同边缘区域生成不同的BGP重定向386。这可以具有如下优点，诸如允许来自源的合法流量在其目的地为网络上的一个主机(或端口或协议)时被正确路由，而同时，非法流量在其目的地为网络上的另一主机(或端口或协议)时从同一源被重定向到不同端点，例如流量洗涤器(scrubber)。
在其中主机100和/或它们的NIC 104处的检查软件/硬件配置有过滤器或速率控制器的实施例中，可以发送诸如过滤规则和签名规则388等抑制动作以通知控制流量或通知检查过程。例如，如果分组特征被标识为异常，并且不寻常的端口号或大量唯一端口与分组特征相关联，则可以发送更新规则以使得分组分析器162进行计数并且可能报告具有该端口号的分组。可以发送过滤规则以阻止具有该端口号的分组。作为另一示例，如果实现了分组有效载荷的应用级检查，则过滤或速率控制规则可以针对这些分组，可能在主机负担使用CPU周期来处理它们之前。可以利用来自抑制服务276的更新来通知分组检查的任何方面，其可以创建改善检测的正反馈周期，这又改进了抑制，等等。
上面描述的实施例可以改进已知的抑制技术并且可以支持新类型的抑制技术。已知的抑制动作或系统可以通过将检测到的模式(具有异常的高置信度的那些模式)推送到上游BGP(边界网关协议)路由器或者甚至推送到发起业务的AS(自治系统)来改进。由于提高了及时性或接近实时的检测，可疑流量可以在到达目标之前被尽早停止。检测到的模式也可以经由如Twitter(TM)等实时论坛/消息平台被发布，以便快速传播给其他各方以了解这种“新兴”威胁。一般来说，由于对新的检测到的模式知之甚少，保守的抑制是对流量进行速率限制，并且将该模式发送给例如人类专家用于进一步分析，或者收集更多的流量信息，如捕获更多的该类型的分组，以关于它是否异常具有更高置信度。与速率限制并行，流量可以被镜像或复制，或者只有通过速率限制被丢弃的分组才能被复制。匹配模式的分组可以被重新路由到特定的端点，例如流量洗涤器。上述技术的组合也是可能的。
虽然以上使用NIC用于执行分组检查来描述实施例，但也可以使用其他设计。具有普通“哑(dumb)”NIC的主机可以利用在主机的CPU上执行的软件(可能在主机操作系统的网络栈中)来执行本文中描述的检查技术。通常，基于每个主机的分组检查的任何布置都是有用的。被称为“在主机处”的检查活动可以通过为每个参与主机所提供的硬件和软件的任何组合来执行。如果主机位于服务器机架中，则智能NIC可以被插入架顶式交换机附近，并且通过链路/介质150连接(参见图3)连接到各自的主机。
术语“前-N”和“前-K”是指集合中最高成员的任何类型的子集。“N”值可以随着主机的不同而有所不同，或者可以每个主机处随着时间的推移而有所不同。类似地，“K”值可以随时间变化。“N”和“K”值可以相同或不同；不同的标签旨在区分本地数据和集体数据。定义前K/N组分组特征的条件可以不同。前K/N组分组特征可以是顶部分组特征的比率(例如，前五分之一)、固定数目的顶部分组特征(例如，具有最高计数的十个分组特征)、统计值高于阈值的分组特征、应用定义等。此外，分组特征可以以多种方式相对于彼此排名，并且排名可以是用于确定前K/N集合的基础。排名可以通过属性(例如，分类)和/或统计值的加权组合来确定。
在又一实施例中，主机/NIC可以在没有来自覆盖112的反馈的情况下采取抑制动作。当分组特征的类型及其频率值对应于已知类型的攻击(诸如DoS攻击)时，主机/NIC可以独立地本地发起和应用过滤规则，同时可选地继续接收和统计分组特征。稍后来自覆盖112的指令可能会覆盖或取代本地形成的过滤规则。
尽管已经在基于计数的统计方面(诸如与分组特征相关联的唯一特征或多个唯一特征的出现次数)描述了示例和实施例，但是“统计值”和类似术语也指代分组特征的时变度量，诸如在给定时间段内的出现次数、在给定时间段内的出现次数的变化(即，加速/减速分组特征)等。
在本文中使用“每个分组”或类似的“每个”短语的情况下，参考正在检查的任意分组集合内的每个分组。并非所有去往/来自主机的分组都需要在主机处进行检查。以给定速率或比率(例如，每隔一个流、25％的分组、每单位时间的M个分组等)等，基于自动或手动配置的设置，则特定的网络、IP地址、协议等，流和/或分组可以被选择用于随机检查。除非上下文另有指示，否则对“每个”事情/事件的引用可能不会引用相关的主机、NIC、网络或覆盖上的所有这样的事情/事件的所有实例。
为了帮助解构新兴威胁，还可以跟踪和标识分组特征之间的相关性。这可以标识发信号通知即将来临的威胁的“触发”分组(以后续高出现次数的分组特征的形式)。
图12示出了其上可以实现上述实施例的计算设备450的细节。本文中的技术公开内容构成了供程序员编写软件和/或配置可重新配置的处理硬件(例如，FPGA)和/或设计专用集成电路(ASIC)等以在一个或多个计算设备450上运行以实现本文中的技术公开内容中描述的任何特征或实施例的足够信息。
计算设备450可以具有显示器452、网络接口454以及存储硬件456和处理硬件458，处理硬件458可以是以下中的任何一个或多个的组合：中央处理单元、图形处理单元、模数转换器、总线芯片、FPGA、ASIC、专用标准产品(ASSP)或复杂可编程逻辑器件(CPLD)等。存储硬件456可以是磁存储器、静态存储器、易失性存储器、非易失性存储器、光学或磁性可读物质等的任何组合。如本文中使用的术语“存储”的含义不是指代信号或能量本身，而是指代物理装置和物质状态。计算设备450的硬件元件可以以计算领域很好理解的方式进行协作。另外，输入设备可以与计算设备450集成或者与计算设备450通信。计算设备450可以具有任何形状因子，或者可以在任何类型的包围设备中使用。计算设备450可以是手持式设备的形式，诸如智能电话、平板电脑、游戏设备、服务器、机架式或背板式板载计算机、片上系统等。
上面讨论的实施例和特征可以以存储在易失性或非易失性计算机或设备可读存储硬件中的信息的形式来实现。这被认为至少包括存储硬件，诸如光存储器(例如，只读光盘存储器(CD-ROM))、磁存储硬件、闪存只读存储器(ROM)等。存储在存储硬件中的信息可以是机器可执行指令(例如，编译的可执行二进制代码)、源代码、字节代码、或者具有可以向处理硬件传送信息以启用或配置计算设备来执行上面讨论的各种实施例的物理状态的任何其他物理硬件的形式。这也被认为至少包括易失性存储器(诸如在执行实施例的程序的执行期间存储诸如中央处理单元(CPU)指令等信息的随机存取存储器(RAM)和/或虚拟存储器)以及存储允许程序或可执行程序被加载和执行的信息的非易失性介质。实施例和特征可以在任何类型的计算设备上执行，包括便携式设备、工作站、服务器、移动无线设备等。

Claims (10)

1.一种用以处理通过网络的网络流的第一计算设备，所述设备包括：
第一媒体访问控制器(MAC)；
第二MAC；以及
处理硬件，所述处理硬件被配置为：
通过从所述第一MAC传输基本上如由所述第二MAC接收的分组和/或通过从所述第二MAC传输基本上如由所述第一MAC接收的分组，来提供所述网络流的分组的转移传输，
访问所述分组中的每个分组的相同部分；
计算在每个分组被访问的所述相同部分中的任何任意相应内容的第一本地概要信息；以及
在不同的时间，经由所述网络向第二计算设备传输所述第一本地概要信息，所述第二计算设备从所述第一概要信息和第二本地概要信息来计算全局概要，所述第二本地概要信息由不是所述第一计算设备的计算设备计算，所述第二本地概要信息已经通过以下被计算：提供其他分组的转移传输，访问所述其他分组中的每个分组的相同部分，以及从在所述其他分组中每一个的被访问的所述相同部分中的任何任意相应内容，来计算所述第二本地概要信息。
2.根据权利要求1所述的第一计算设备，其中计算所述第一本地概要信息包括：计算所述分组的相应相同部分的所述内容的散列，以及对所述散列的出现次数和/或计算频率进行计数。
3.根据权利要求2所述的第一计算设备，其中所述处理硬件还被配置为：向所述分组中的每个分组应用多个分割以获取每个分组的内容的对应分割，并且其中计算所述散列包括为所述分组中每一个的内容的每个相应分割计算散列，并且其中所述对出现次数和/或计算频率进行计数基于对每个对应分组的所述多个散列进行计数。
4.根据权利要求1所述的第一计算设备，其中所述第一概要信息包括由所述第一计算设备标识为在所述第一计算设备处最频繁出现的特征的标记，其中所述第二概要信息包括由所述第二计算设备标识为在所述第二计算设备处最频繁出现的特征的指示符并且包括相应指示符的统计，并且其中根据经组合的所述第一本地概要信息和所述第二本地概要信息，所述全局视图包括前N个全局最频繁特征的集合。
5.根据权利要求1所述的第一计算设备，其中计算所述第二本地概要信息的所述计算设备包括第三计算设备，所述第三计算设备经由所述网络向所述第二计算设备传输所述第二本地概要信息，其中所述第二计算设备是接收所述第一本地概要信息和所述第二本地概要信息的计算设备，其中所述第一计算设备和所述第三计算设备使用相同的算法分别地在本地标识最常出现的分组特征，并且其中所述第二计算设备确定哪些分组特征在所述第一计算设备和所述第三计算设备之间以及在实现所述算法和向所述第二计算设备传输对应的本地概要信息的其他计算设备之间最常出现。
6.一种用于分析网络通信的方法，所述方法由设备执行，所述方法包括：
执行对被发送去往/来自网络上的主机的接口的分组的内联分组检查，其中通过计算正在被检查的每个分组的相应相同部分的标识符来检查每个分组，其中所述设备包括主机和/或所述主机的智能NIC，所述设备具有网络地址，所述分组经由所述网络被发送到所述网络地址以及从所述网络地址被发送，并且其中所述内联分组检查基本上不改变所述分组，以使得由所述设备经由所述网络接收的分组被提供给所述主机而没有实质性改变，并且使得由所述主机发送的分组由所述设备传输到所述网络而没有实质性改变；
分别累积所计算的所述标识符的统计，其中每个标识符具有对应的统计，并且其中每个统计与来自相应分组的对应标识符的计算的累积出现和/或频率相对应，其中所述统计与唯一内容部分的基数相对应，其中所述统计被计算而与所述内容部分的文字内容无关，并且其中针对基本上全部并且仅被发送到所述接口和从所述接口被发送的分组执行所述内联分组检查；以及
经由所述网络重复地传输所述标识符的报告，每个报告包括所述标识符中的哪些标识符在与相应报告相对应的不同时间处具有占主导的累积统计，其中所传输的每个报告包括所述报告的相应标识符的所述累积统计。
7.根据权利要求6所述的方法，其中所述标识符包括使用由所述设备执行的概率散列或计数算法所计算的散列，其中一些相应分组的散列具有相同的值并且贡献相同的对应统计，并且其中所传输的每个报告中的所述累积统计包括对应分组特征的出现的基本上实时度量，其中每个统计与在所述分组之间找到的相同对应内容进行标识的相同标识符相对应，并且其中任何给定统计反映对应的给定内容的出现和/或出现频率。
8.根据权利要求6所述的方法，其中每个报告包括作为分布在主机和/或所述主机的各个NIC之间的分布式散列表的一部分的标识符，并且其中在任何给定时间在所述设备本地占主导的所述标识符基于所述分布式散列表的本地视图。
9.存储硬件，所述存储硬件存储被配置为支持包括主机和/或NIC的装置执行一种过程的信息，所述过程包括：
保持数据结构，所述数据结构与任意分组特征的各个出现度量相关联地存储所述分组特征的标识符；
检查被发送到所述主机和/或从所述主机被发送的网络分组以从所述网络分组中的任意分组特征中计算所述标识符，其中所述标识符分别基本上唯一地标识对应的唯一任意分组特征；
每次从对应的分组中计算出标识符并且所述标识符不在所述数据结构中时，将所述标识符添加到所述数据结构；
每次从对应的分组中计算出标识符时，更新所述数据结构中与所述标识符相关联的出现度量；
选择并且传输所述数据结构中的所述标识符的概要信息；以及
经由所述网络接收控制指令，所述控制指令已经基于所传输的标识符的所述概要信息而被发送，并且根据所述控制指令来调节随后发送或接收的分组。
10.根据权利要求9所述的存储硬件，所述过程还包括从以下中的至少两项计算标识符：从链路/媒体帧获取的网络层分组、从网络层分组获取的传输层分组、和从传输层分组组装的应用层数据，其中所述保持、检查、添加、更新以及从所述至少两个层计算所述标识符由所述NIC执行，所述NIC包括内联网络接口。
CN201780013523.1A 2016-02-26 2017-02-16 用于混合硬件软件分布式威胁分析的设备和方法 Active CN108701187B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/054,671 US10608992B2 (en) 2016-02-26 2016-02-26 Hybrid hardware-software distributed threat analysis
US15/054,671 2016-02-26
PCT/US2017/018021 WO2017146961A1 (en) 2016-02-26 2017-02-16 Hybrid hardware-software distributed threat analysis

Publications (2)

Publication Number Publication Date
CN108701187A true CN108701187A (zh) 2018-10-23
CN108701187B CN108701187B (zh) 2021-10-22

Family

ID=58191642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780013523.1A Active CN108701187B (zh) 2016-02-26 2017-02-16 用于混合硬件软件分布式威胁分析的设备和方法

Country Status (4)

Country Link
US (1) US10608992B2 (zh)
EP (1) EP3420487B1 (zh)
CN (1) CN108701187B (zh)
WO (1) WO2017146961A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111541726A (zh) * 2020-07-08 2020-08-14 支付宝(杭州)信息技术有限公司 一种基于区块链一体机的重放交易识别方法及装置
CN112883066A (zh) * 2021-03-29 2021-06-01 电子科技大学 一种数据库上的多维范围查询基数估计方法
US11444783B2 (en) 2020-07-08 2022-09-13 Alipay (Hangzhou) Information Technology Co., Ltd. Methods and apparatuses for processing transactions based on blockchain integrated station
US11463553B2 (en) 2020-07-08 2022-10-04 Alipay (Hangzhou) Information Technology Co., Ltd. Methods and apparatuses for identifying to-be-filtered transaction based on blockchain integrated station
US11665234B2 (en) 2020-07-08 2023-05-30 Alipay (Hangzhou) Information Technology Co., Ltd. Methods and apparatuses for synchronizing data based on blockchain integrated station
US11783339B2 (en) 2020-07-08 2023-10-10 Alipay (Hangzhou) Information Technology Co., Ltd. Methods and apparatuses for transferring transaction based on blockchain integrated station

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10523692B2 (en) * 2016-04-08 2019-12-31 Samsung Electronics Co., Ltd. Load balancing method and apparatus in intrusion detection system
US11223623B1 (en) * 2016-06-30 2022-01-11 EMC IP Holding Company LLC Method, apparatus and non-transitory processor-readable storage medium for providing security in a computer network
US10931636B2 (en) * 2017-03-23 2021-02-23 Pismo Labs Technology Limited Method and system for restricting transmission of data traffic for devices with networking capabilities
US11068593B2 (en) * 2017-08-03 2021-07-20 B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University Using LSTM encoder-decoder algorithm for detecting anomalous ADS-B messages
EP3744066B1 (en) * 2018-01-28 2024-10-09 Drivenets Ltd. Method and device for improving bandwidth utilization in a communication network
EP3534589B1 (en) * 2018-02-27 2023-04-05 Adaptive Mobile Security Limited Detecting unauthorised nodes in networks
US10708281B1 (en) * 2018-04-16 2020-07-07 Akamai Technologies, Inc. Content delivery network (CDN) bot detection using primitive and compound feature sets
EP3804228A1 (en) * 2018-06-05 2021-04-14 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Distributed and timely network flow summarization at scale
US10445272B2 (en) * 2018-07-05 2019-10-15 Intel Corporation Network function virtualization architecture with device isolation
US20200106806A1 (en) * 2018-09-27 2020-04-02 Vmware, Inc. Preventing distributed denial of service attacks in real-time
US10897402B2 (en) * 2019-01-08 2021-01-19 Hewlett Packard Enterprise Development Lp Statistics increment for multiple publishers
CN109861881B (zh) * 2019-01-24 2021-11-19 大连理工大学 一种基于三层Sketch架构的大象流检测方法
US11153342B2 (en) * 2019-02-08 2021-10-19 Arbor Networks, Inc. Method and system for providing ddos protection by detecting changes in a preferred set of hierarchically structured items in stream data
WO2020215342A1 (en) * 2019-04-26 2020-10-29 Nokia Technologies Oy Host cardinality measuring for network anomaly detection
DE102020113346A1 (de) 2019-07-02 2021-01-07 Hewlett Packard Enterprise Development Lp Bereitstellen von service-containern in einer adaptervorrichtung
EP3989492B1 (en) * 2019-07-23 2024-01-03 Nippon Telegraph And Telephone Corporation Abnormality detection device, abnormality detection method, and abnormality detection program
US11451563B2 (en) * 2019-10-17 2022-09-20 Arbor Networks, Inc. Dynamic detection of HTTP-based DDoS attacks using estimated cardinality
US11882138B2 (en) * 2020-06-18 2024-01-23 International Business Machines Corporation Fast identification of offense and attack execution in network traffic patterns
CN111738859B (zh) * 2020-07-08 2021-07-13 支付宝(杭州)信息技术有限公司 区块链一体机及区块链网络
US11632393B2 (en) * 2020-10-16 2023-04-18 International Business Machines Corporation Detecting and mitigating malware by evaluating HTTP errors
CN115017502A (zh) * 2021-03-03 2022-09-06 华为技术有限公司 一种流量处理方法、及防护系统
US12034755B2 (en) * 2021-03-18 2024-07-09 International Business Machines Corporation Computationally assessing and remediating security threats
US20230224275A1 (en) * 2022-01-12 2023-07-13 Bank Of America Corporation Preemptive threat detection for an information system
US20240111751A1 (en) * 2022-09-28 2024-04-04 Amazon Technologies, Inc. Record-level locks with constant space complexity

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1348130A (zh) * 2000-10-11 2002-05-08 卓信科技有限公司 保密和/或鉴别文件的远控打印
US20030187999A1 (en) * 2002-03-27 2003-10-02 Roy Callum System, protocol and related methods for providing secure manageability
CN1540893A (zh) * 1998-12-21 2004-10-27 卓联半导体V.N.有限公司 为硬件rtcp统计收集应用提供存储和带宽节省的方法和数据结构
CN1826776A (zh) * 2003-07-24 2006-08-30 思科技术公司 用于处理复制分组的方法和装置
CN1836245A (zh) * 2003-08-13 2006-09-20 感测网络公司 用于高吞吐量基于签名的网络应用的集成电路设备和方法
CN101059764A (zh) * 2007-05-16 2007-10-24 杭州华三通信技术有限公司 一种实现分布式设备的控制方法
US20080104399A1 (en) * 2002-10-08 2008-05-01 Koolspan, Inc. Localized network authentication and security using tamper-resistant keys
CN103812768A (zh) * 2014-01-26 2014-05-21 蓝盾信息安全技术股份有限公司 一种高性能网络数据处理平台系统
US8997223B2 (en) * 2013-01-30 2015-03-31 Palo Alto Networks, Inc. Event aggregation in a distributed processor system

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040010612A1 (en) 2002-06-11 2004-01-15 Pandya Ashish A. High performance IP processor using RDMA
US8204992B2 (en) * 2002-09-26 2012-06-19 Oracle America, Inc. Presence detection using distributed indexes in peer-to-peer networks
US20050114706A1 (en) 2003-11-26 2005-05-26 Destefano Jason Michael System and method for the collection and transmission of log data over a wide area network
US7437385B1 (en) 2004-01-23 2008-10-14 At&T Corp. Methods and apparatus for detection of hierarchical heavy hitters
US7660865B2 (en) * 2004-08-12 2010-02-09 Microsoft Corporation Spam filtering with probabilistic secure hashes
US7669241B2 (en) * 2004-09-30 2010-02-23 Alcatel-Lucent Usa Inc. Streaming algorithms for robust, real-time detection of DDoS attacks
WO2006130840A2 (en) 2005-06-02 2006-12-07 Georgia Tech Research Corporation System and method for data streaming
US7756997B2 (en) * 2005-09-19 2010-07-13 Polytechnic Institute Of New York University Effective policies and policy enforcement using characterization of flow content and content-independent flow information
US20070081471A1 (en) 2005-10-06 2007-04-12 Alcatel Usa Sourcing, L.P. Apparatus and method for analyzing packet data streams
US7639611B2 (en) 2006-03-10 2009-12-29 Alcatel-Lucent Usa Inc. Method and apparatus for payload-based flow estimation
US8437352B2 (en) * 2006-05-30 2013-05-07 Broadcom Corporation Method and system for power control based on application awareness in a packet network switch
IL189530A0 (en) 2007-02-15 2009-02-11 Marvell Software Solutions Isr Method and apparatus for deep packet inspection for network intrusion detection
US8644151B2 (en) * 2007-05-22 2014-02-04 Cisco Technology, Inc. Processing packet flows
US20090083413A1 (en) * 2007-09-24 2009-03-26 Levow Zachary S Distributed frequency data collection via DNS
WO2010044782A1 (en) * 2008-10-14 2010-04-22 Hewlett-Packard Development Company, L.P. Managing event traffic in a network system
US8220054B1 (en) 2008-10-31 2012-07-10 Trend Micro, Inc. Process exception list updating in a malware behavior monitoring program
US20100274893A1 (en) * 2009-04-27 2010-10-28 Sonus Networks, Inc. Methods and apparatus for detecting and limiting focused server overload in a network
US20120110665A1 (en) * 2010-10-29 2012-05-03 International Business Machines Corporation Intrusion Detection Within a Distributed Processing System
CA2854466A1 (en) * 2011-11-03 2013-05-10 Raytheon Company Intrusion prevention system (ips) mode for a malware detection system
CN104246786B (zh) * 2012-05-30 2017-07-04 惠普发展公司，有限责任合伙企业 模式发现中的字段选择
US8677485B2 (en) * 2012-07-13 2014-03-18 Hewlett-Packard Development Company, L.P. Detecting network anomaly
CN104488229A (zh) 2012-07-31 2015-04-01 惠普发展公司，有限责任合伙企业 网络业务处理系统
US10284619B2 (en) * 2014-01-22 2019-05-07 Telefonaktiebolaget Lm Ericsson (Publ) Method for scalable distributed network traffic analytics in telco
US20160036837A1 (en) * 2014-08-04 2016-02-04 Microsoft Corporation Detecting attacks on data centers

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1540893A (zh) * 1998-12-21 2004-10-27 卓联半导体V.N.有限公司 为硬件rtcp统计收集应用提供存储和带宽节省的方法和数据结构
CN1348130A (zh) * 2000-10-11 2002-05-08 卓信科技有限公司 保密和/或鉴别文件的远控打印
US20030187999A1 (en) * 2002-03-27 2003-10-02 Roy Callum System, protocol and related methods for providing secure manageability
US20080104399A1 (en) * 2002-10-08 2008-05-01 Koolspan, Inc. Localized network authentication and security using tamper-resistant keys
CN1826776A (zh) * 2003-07-24 2006-08-30 思科技术公司 用于处理复制分组的方法和装置
CN1836245A (zh) * 2003-08-13 2006-09-20 感测网络公司 用于高吞吐量基于签名的网络应用的集成电路设备和方法
CN101059764A (zh) * 2007-05-16 2007-10-24 杭州华三通信技术有限公司 一种实现分布式设备的控制方法
US8997223B2 (en) * 2013-01-30 2015-03-31 Palo Alto Networks, Inc. Event aggregation in a distributed processor system
CN103812768A (zh) * 2014-01-26 2014-05-21 蓝盾信息安全技术股份有限公司 一种高性能网络数据处理平台系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111541726A (zh) * 2020-07-08 2020-08-14 支付宝(杭州)信息技术有限公司 一种基于区块链一体机的重放交易识别方法及装置
CN111541726B (zh) * 2020-07-08 2021-05-18 支付宝(杭州)信息技术有限公司 一种基于区块链一体机的重放交易识别方法及装置
US11336660B2 (en) 2020-07-08 2022-05-17 Alipay (Hangzhou) Information Technology Co., Ltd. Methods and apparatuses for identifying replay transaction based on blockchain integrated station
US11444783B2 (en) 2020-07-08 2022-09-13 Alipay (Hangzhou) Information Technology Co., Ltd. Methods and apparatuses for processing transactions based on blockchain integrated station
US11463553B2 (en) 2020-07-08 2022-10-04 Alipay (Hangzhou) Information Technology Co., Ltd. Methods and apparatuses for identifying to-be-filtered transaction based on blockchain integrated station
US11665234B2 (en) 2020-07-08 2023-05-30 Alipay (Hangzhou) Information Technology Co., Ltd. Methods and apparatuses for synchronizing data based on blockchain integrated station
US11783339B2 (en) 2020-07-08 2023-10-10 Alipay (Hangzhou) Information Technology Co., Ltd. Methods and apparatuses for transferring transaction based on blockchain integrated station
CN112883066A (zh) * 2021-03-29 2021-06-01 电子科技大学 一种数据库上的多维范围查询基数估计方法

Also Published As

Publication number Publication date
US10608992B2 (en) 2020-03-31
US20170250953A1 (en) 2017-08-31
WO2017146961A1 (en) 2017-08-31
EP3420487A1 (en) 2019-01-02
CN108701187B (zh) 2021-10-22
EP3420487B1 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
CN108701187A (zh) 混合硬件软件分布式威胁分析
US11343268B2 (en) Detection of network anomalies based on relationship graphs
US10735379B2 (en) Hybrid hardware-software distributed threat analysis
CN107667505B (zh) 用于监控和管理数据中心的系统及方法
US20200344246A1 (en) Apparatus, system and method for identifying and mitigating malicious network threats
CN106464577B (zh) 网络系统、控制装置、通信装置以及通信控制方法
KR101010302B1 (ko) Ｉｒｃ 및 ｈｔｔｐ 봇넷 보안 관제를 위한 관리 시스템 및 그 방법
CN103733590B (zh) 用于正则表达式的编译器
US8751787B2 (en) Method and device for integrating multiple threat security services
KR101391781B1 (ko) 웹 트랜잭션 밀집도 기반 에이치티티피 봇넷 탐지 장치 및 방법
US10666672B2 (en) Collecting domain name system traffic
US20040133672A1 (en) Network security monitoring system
Do Xuan Detecting APT attacks based on network traffic using machine learning
JP2001217834A (ja) アクセス・チェーン追跡システム、ネットワーク・システム、方法、及び記録媒体
KR20130014226A (ko) 공격 트래픽 형태별 특성에 따른 ｄｎｓ 플러딩 공격 탐지 방법
CN105051696A (zh) 用于处理网络元数据的改进的流式处理方法及系统
Luo et al. Acceleration of decision tree searching for IP traffic classification
Kozik et al. Pattern extraction algorithm for NetFlow‐based botnet activities detection
CN116915450A (zh) 基于多步网络攻击识别和场景重构的拓扑剪枝优化方法
CN110313161A (zh) 对数据库上的放大攻击的基于ipfix的检测
US11848959B2 (en) Method for detecting and defending DDoS attack in SDN environment
CN115017502A (zh) 一种流量处理方法、及防护系统
Tafazzoli et al. A proposed architecture for network forensic system in large-scale networks
Wang et al. C-GRU: A Parallel Neural Network for Malicious Traffic Classification
Havenga Security related self-protected networks: Autonomous threat detection and response (ATDR)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant