CN110691067A - 用于分析网络中非平稳数据的双端口镜像系统 - Google Patents

用于分析网络中非平稳数据的双端口镜像系统 Download PDF

Info

Publication number
CN110691067A
CN110691067A CN201910598100.1A CN201910598100A CN110691067A CN 110691067 A CN110691067 A CN 110691067A CN 201910598100 A CN201910598100 A CN 201910598100A CN 110691067 A CN110691067 A CN 110691067A
Authority
CN
China
Prior art keywords
data
switch
port
network
analyzing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910598100.1A
Other languages
English (en)
Inventor
M.古萨特
A.安格尔
G.卡塔雷奥斯
A.马特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN110691067A publication Critical patent/CN110691067A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816—Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/026—Capturing of monitoring data using flow identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery
    • H04L45/08—Learning-based routing, e.g. using neural networks or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/20—Support for services
    • H04L49/208—Port mirroring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101—Access control lists [ACL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

在与网络中的计算机化单元中一个或多个进行数据通信的交换机上所见的不同的非平稳数据集经由两个交换机端口镜像，这两个端口包括第一端口和第二端口。在镜像所述不同数据集的同时执行双分析。分析从在第一端口处镜像的数据获得的第一数据(例如，使用训练的机器学习模型)，并且基于分析的第一数据，针对第二端口，交换机被重新配置，以镜像第二数据，第二数据选自交换机上所见的非平稳数据(例如，交换机接收和/或发送的数据)。分析在第二端口处镜像的第二数据(例如，使用适合于所选择的数据的不同分析方案)。

Description

用于分析网络中非平稳数据的双端口镜像系统
技术领域
本公开总体上涉及用于分析计算机化单元的网络中的非平稳数据的方法和系统的领域，以及涉及相关的计算机程序产品。具体而言，其针对机器学习驱动的流量镜像系统。
背景技术
存在有效检测网络流量中的异常的需求，尤其是数据中心网络中的异常。已知设计异常检测系统的两种普遍方法，这两种方法基于数据流量的特征(signature)或行为。
基于特征的检测依赖于每次发现新的攻击时都会更新的已知攻击特征集合的存在。通过检查可疑流量的特征是否与可用集合中的特征相匹配来执行检测。行为检测可能有助于防范新的恶意行为，因为目前还没有针对这些行为的特征。这种检测通常依赖于机器学习来创建正常网络流量行为的简档。这些简档用于检测异常，即具有明显偏离正常的行为的流量。这种方法的一个优点是，它可以在没有先验知识或流量假设的情况下运行，通常在本质上不受监督。
在这两种情况下，都需要监控网络数据流量。然而，由于现代链路和交换机的高速和高容量，实际监控的数据量通常仅代表网络全部流量的小的子集。因此，只有低分辨率(或粗粒度)视图可用，这削弱了系统在可接受的时间内检测威胁的能力。
发明内容
根据第一方面，本发明体现为一种分析网络中非平稳数据的方法。假设网络包括几个计算机化单元，它们在整个网络中传送数据。假设给定的交换机与所述计算机化单元中的一个或多个进行数据通信，因此可以被视为构成网络的一部分。本方法依赖于分析通过镜像由给定交换机接收和/或发送的数据而获得的数据。更详细地说，在所述交换机上所见的不同的非平稳数据集经由两个交换机端口镜像，这两个端口包括第一端口和第二端口。然后，在镜像所述不同数据集的同时执行双分析。即，分析从在第一端口处镜像的数据获得的第一数据，并且基于分析的第一数据，针对第二端口，交换机被重新配置，以镜像第二数据，第二数据选自交换机上所见的非平稳数据(即，由交换机接收和/或发送的数据)。也分析在第二端口处镜像的第二数据。然而，使用不同的分析方案来分析第一和第二数据，包括用于分析所述第一数据的第一分析方案和用于分析所述第二数据的第二分析方案。
特别感兴趣的是实现训练的机器学习模型(作为所述第一分析方案的一部分)，以便分析所述第一数据，如在实施例中那样。也就是说，运行机器学习模型以从分析的第一数据中识别特定数据特性(例如异常数据)。因此，针对第二端口，交换机可以被重新配置，以基于由于训练的模型而识别的特定数据特性选择性地镜像所述第二数据。
根据另一方面，本发明体现为用于分析计算机化单元的网络中的非平稳数据的双端口镜像系统。该系统基本上包括交换机、观察实体和数据分析器。交换机通常被配置成能够与网络的计算机化单元中的一个或多个进行数据通信。观察实体连接到两个端口，包括第一端口和第二端口，其中两个端口与交换机一起被配置成镜像由交换机接收和/或发送的不同数据集。与观察实体进行数据通信的数据分析器被设计成在数据在两个端口镜像时采取特定的措施，与上述方法一致。即，分析器被配置成分析从在第一端口处镜像的数据获得的第一数据；针对第二端口重新配置交换机(基于分析的第一数据)，以镜像从交换机接收和/或发送的数据中选择的第二数据；并且分析在第二端口处镜像的第二数据。
根据另一方面，本发明体现为计算机程序产品，其中该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有体现在其中的程序指令。程序指令可由一个或多个处理器执行，以使得实现根据上述方法的步骤。
现在将通过非限制性示例并参考附图来描述体现本发明的计算机化系统、方法和计算机程序产品。
附图说明
附图用于进一步说明各种实施例，并解释所有根据本公开的各种原理和优点，其中，在所有单独的视图中，类似的附图标记指代相同或功能相似的元件，并且附图与下面的具体实现一起被并入并形成本说明书的一部分，其中：
图1示意性地表示计算机化网络的组件(即云资源和网络监控系统)。如在实施例中，监控系统适于与云组件交互，用于检测云中非平稳数据的异常；
图2是根据实施例的系统架构的高级(high-level)图；
图3是示意性示出根据实施例的如图2中的系统架构的选择的组件(包括镜像交换机、观察器和流量分析器)的框图；和
图4是示出如实施例中分析网络中非平稳数据的方法的高级步骤的流程图。
附图示出了实施例中涉及的设备或其部件的简化表示。除非另有说明，图中相似或功能相似的元件被分配了相同的附图标记。
具体实施方式
以下描述的结构如下。首先，描述了一般实施例和高级变体(第1部分)。下一部分讨论更具体的实施例和技术实现细节(第2部分)。
1.一般实施例和高级变体
参考图1-图4，首先描述实施例中的本发明的一个方面，其涉及分析计算机化单元11的网络2中的非平稳数据的方法。
非平稳数据是在网络2(例如，云)中流动的数据。也就是说，要分析的数据涉及移动数据(即，由节点发送到网络2的其他节点的数据)，与静态数据(例如，静态存储在网络资源上的数据)相反。因此，非平稳数据涉及数据流量、数据通信和/或移动数据的模式。更一般地说，这些数据与网络中发生的动态事件有关，包括网络入侵。非平稳数据可以例如包括加密数据，例如端到端编码或封装的数据流、流或时间序列。
如图1所示，网络2还包括用于数据镜像目的的交换机10。假设该交换机与计算机化单元11中的一个或多个进行数据通信。也就是说，交换机10连接到网络2的一个或多个主机11，一个或多个主机11分别向交换机10转发数据和/或从交换机10接收数据，参见图4的流程图中的S10。注意，每个节点10、11是与网络的其他单元10、11进行数据通信的计算机化单元(即，设备)。为了区别，依赖于实现本方法的步骤的特定节点10被称为交换机。并且，如下面所讨论的，受制于由交换机10使能的双端口镜像，该交换机可以与其他节点11相同(或者在物理上实质相似)。
在交换机10上所见S10的非平稳数据(即，由交换机10接收和/或发送的数据)实际上经由两个不同的交换机端口镜像S21、S22，这些端口包括第一端口Σ和第二端口Z，参见图3。使用两个不同端口的原因是不同的数据集(即，由不同的数据流产生)经由这两个端口来镜像，原因解释如下。
经由端口Σ和Z执行的数据镜像步骤S21、S22被同时执行(即，伴随)。由交换机10使能的镜像是本地的。在这种情况下，端口Σ和Z可以例如被配置为交换机10的输出端口，以便镜像传入的数据分组。然而，在变体中，可以设想远程镜像。也就是说，这两个端口可以被配置为与第一交换机10进行数据通信的目的交换机(未示出)的远程端口。换句话说，目标端口Σ和Z可能是目标交换机10的端口，或者在变体中是另一个交换机的端口。技术人员可以理解，根据所选择的镜像方案，实际上可以设想多种端口架构。
与步骤S10、S21和S22同时地，即在镜像S21、S22不同的数据流时，连续地执行双分析S41、S42。也就是说，在步骤S41，分析从在第一端口Σ处镜像S21的数据获得的第一数据流(以下称为“第一数据”)。交换机10可以例如向第一镜像端口Σ发送在其一个或多个端口(或整个VLAN)上所见的部分或全部网络分组的副本，用于后续分析S41。在步骤S41执行的分析可以例如基于数据流量的特征或行为。该分析可以依赖于行为检测，其中训练的机器学习模型可以用于系统检测，如下面讨论的实施例中。接收、发送然后分析的数据通常是网络流量数据，例如聚合的数据流。
然后，基于分析S41的第一数据，针对第二端口Z，交换机10被重新配置S50–S55–S15，以镜像S22选择的数据(以下称为“第二数据”)。第二数据表示来自交换机10接收和/或发送S10的数据中的特定选择S15。注意，第二数据通常不等于在第一数据中做出的选择(即，从在第一端口Σ处镜像S21的数据中获得的选择)。相反，第二数据是通过选择性地镜像由交换机10接收和/或发送S10的数据而获得的，与步骤S21同时地，注意步骤S10、S21和S22是伴随进行的。这将在后面举例说明。
分析S42在第二端口Z处镜像的第二数据。换句话说，基于对在第一端口处镜像的数据的第一分析S41的结果，在第二端口Z处镜像S22选择的数据，以使得能够对选择的数据进行进一步(例如，更细粒度的)分析S42。同样，即使影响后续步骤S42的步骤S50-S55-S15是基于先前的分析步骤S41，由于在S10接收和/或发送的连续数据流，步骤S41和S42仍然是连续执行的，并且因此是同时进行的步骤。
本方法使得有可能对不同的数据集(从不同的数据流获得)实现不同的分析，这些不同的数据集在两个端口处被连续且同时地镜像S21、S22。例如，异常流量检测可以基于在第一端口Σ处镜像的数据的系统(例如，行为)分析来实现S41，同时对于在第二端口Z处镜像的数据可以执行更细粒度的分析(例如，涉及深度分组检查(deep packetinspection))，如图3中假设的。在第二端口Z处镜像S22的所选择的数据通常比在第一端口Σ处镜像的数据体积小得多，可以特别地受到更广泛的分析，同时可以对经由第一端口Σ处镜像的采样数据执行系统的分析。这反过来又使分析级别适应每个端口处镜像的数据量成为可能，从而实现更好的异常数据流量(诸如网络入侵)检测。
基于S41、S42的分析结果，如果需要，可以采取任何适当的保护措施S60，例如，隔离或禁止异常数据流量的源等。注意，这种保护措施本身是已知的；它们通常在诸如数据中心网络等大型网络中实现。在一个实施例中，这样的措施与本发明的核心原理正交，该实施例主要涉及事件的检测，该事件可以精确地导致采取这样的措施。注意，保护措施通常在系统10–30之外采取。也就是说，在步骤S41检测到的异常(并且如果需要，例如，由于更深入的检查而确认S42)可以简单地由分析器30记录S32。然后，具有对由系统10-30记录的数据的访问的第三方可以基于记录的数据(例如，包括异常分数，可能根据步骤S42重新评级)决定采取这样的措施。
如上所述，使用不同的分析方案分析S41、S42所述第一和第二数据。也就是说，第一分析方案(例如，关于全局数据，相对于发送者/接收者11无偏，但是被采样)可以被实现用于分析S41所述第一数据，而第二分析方案(例如，偏置，潜在完全采样，并且经由匹配和镜像(match-and-mirror)方法实现)可以被用于分析S42所述第二数据，如图3、4所示。在变体中，类似的分析方案可以在步骤S41、S42执行，尽管例如所涉及的数据分组可以被不同地采样。
特别有利的是将训练的机器学习模型作为所述第一分析方案的一部分来实现S41，如图3所示。也就是说，已经训练的模型可以在步骤S41运行，即，为了推理的目的，更精确地说，为了从分析的第一数据中识别特定数据特性。因此，随后针对第二端口Z，交换机10可以被重新配置S15，以基于识别的数据特性选择性地镜像S22数据。这样，无偏的(但是被采样的)数据可以例如在步骤S41被系统地分析，例如，经由行为分析来确定异常数据。
在步骤S41使用的模型可以是特别地训练的、无监督的机器学习模型，其允许异常的自主预选(和排序)。该模型可以例如通过神经网络实现为自动编码器，在这种情况下，分类可以有利地根据自动编码器的重建误差来执行。例如，无监督模型可以是多层感知器模型，但是以自动编码器的形式实现。
注意，在本文献中，术语“认知算法”、“认知模型”、“机器学习模型”等可互换使用。为了阐明术语，可以尝试采用以下定义：机器学习模型由认知算法生成，该算法从输入数据点学习其(多个)参数，从而得到训练的模型。因此，可以区分正在训练的认知算法和在底层算法训练完成后最终产生的模型(称为训练的模型或再训练的模型)。
机器学习模型可以特别地在上一个周期S41-S70中接受过训练。即，为了解决网络数据可变性，该方法可以进一步包括训练(或再训练)S65认知算法(当收集和分类收集的数据S31，S32时)，该算法对应于所述推理模型，以获得训练的模型。该训练基于收集S31、S32的数据，这通常需要维护S31、S32网络中非平稳数据的历史。然后，当前用于对非平稳数据进行分类S41的推理模型可以由训练的模型代替S70，例如，在检测到算法所学习的(多个)参数的显著变化时。接下来，在随后的步骤S41中，基于最近替换的模型，可以进一步分类非平稳数据，以便能够检测网络2中的新异常，等等。
如前所述，在第一端口Σ处镜像S21的数据包括由交换机10例如从一个或多个单元11接收S10的网络流量数据。如图4所示，在第一端口Σ处镜像S21聚合数据以获得S31所述第一数据之前，可以在步骤S12聚合网络流量数据。聚合的流量数据可以例如对应于从交换机10的所有输入端口接收S10的数据。然后，考虑到要在S41执行的第一类型的分析，在步骤S21镜像的数据可以例如被缓冲、存储和记录S31。注意，考虑到步骤S41，当在步骤S21镜像的数据流量低时，镜像的数据确实可以容易地被存储和记录。然而，实际上，流量可能太高，而无法在大型网络(诸如数据中心网络)中存储和记录数据。在这种情况下，流量最多被暂时缓冲并流向分析器，用于在线分析目的S41。此外，相同的数据可以例如被机器学习模型用于学习目的S65。
在步骤S41执行的检测可以被实现为有状态(stateful)(也称为记忆(memoryful))过程，其跟踪关于在步骤S10收集的非平稳数据的发送者/接收者11的信息。这是通过形成数据点(例如，以每个n个特征的向量的形式)来实现的，其中数据点是通过聚合与来自各个源11和给定时间段的数据流相关的数据来形成的。更一般地，数据点可以被认为是适合由机器学习模型使用的任何数据集，如以上讨论的实施例中所提出的。
特别感兴趣的是，分类S41是在线执行的，即，在收集S10和镜像S21第一数据的同时。例如，在收集新数据时形成的每个数据点可以通过推理模型在线(即在运行中(on-the-fly))直接分析，这允许处理速度。如前所述，分析在线数据点的一种特别有利的方式是基于推理模型的重建误差来对异常进行评分，因为后者在运行中重建它所摄取的数据点。
最终，可以从收集S10的非平稳数据中检测到S41异常，然后根据有状态过程进行分类S41。非平稳数据中的异常通常可能与流量异常有关，诸如对业务环境的网络攻击、未经授权的访问、网络入侵、不正确的数据披露或数据泄漏、系统故障或数据和/或资源删除等。
本方法还可以变得通用，以便近乎实时地(例如，以10-100Gbps的速度)近乎穷尽地检测异常。特别地，网络数据可变性可以通过实现有效的异常检测流水线来解决，该流水线被设计成适应流量行为的突然变化(通过在线学习)并保留对过去行为的记忆，与流行的马尔可夫方法(Markovian approach)相反。
现在，由于不是所有由无监督模型检测到S41的异常都可能构成恶意行为，因此对第二(选择的)数据实现第二阶段的分析S42。例如，机器学习模型可以被训练为从经由第一端口镜像S21的网络流量数据中识别S41网络流量的异常源。这样，随后针对第二端口Z，交换机10可以被重新配置S50–S55–S15，以选择性地镜像S42从在步骤S41识别的异常源接收S10(由交换机10)的数据。在那里，第二分析S42可以例如包括根据可用的最新选择配置S15而选择的数据分组的深度分组检查。
在实施例中，交换机10的重新配置S50–S55–S15导致基于分析的S41第一数据生成S50选择规则。因此，交换机10根据生成的规则S50中的一个或多个选择S12要在第二端口Z处镜像的第二数据。步骤S50可以特别地导致生成或更新访问控制列表(access controllist，ACL)，反过来，该访问控制列表可以被交换机用来匹配和镜像在交换机10接收S10的数据。即，选择的数据基于由ACL定义的流量匹配规则在第二端口Z被镜像，如匹配和镜像方法。访问控制列表和匹配和镜像方法本身是已知的。
参考图1-图3，现在描述本发明的另一方面，其涉及用于分析计算机化单元11的网络2中的非平稳数据的双端口镜像系统1。系统1的主要方面10-30已经参照本方法进行了隐含描述。因此，下文仅对它们进行简要描述。
系统1基本上包括交换机10、观察实体20(或观察器)和数据分析器30(或流量分析器)。交换机10通常被配置成能够与网络2的计算机化单元11中的一个或多个进行数据通信，如前所述。观察实体20连接到两个端口Σ和Z，这两个端口与交换机一起形成双端口系统，能够镜像交换机10接收和/或发送的不同数据集(数据流)。例如，所述端口可以是专用镜像端口或常规输出端口(例如，低流量端口)；它们被配置为交换机10的本地输出端口，然而远程镜像是可能的，在这种情况下，观察实体20连接到远程交换机的端口，如前所述。注意，在图2和图3中，为了描述的目的，观察器20被示出为包含端口Σ和Z，并且看起来不同于交换机10。类似地，分析器30被描绘为不同的实体。尽管如此，如图1所示，实体20、30都可以在交换机10上实现，或者在不同的单元上实现。
数据分析器30与观察实体20进行数据通信。与本方法一致，分析器30通常被配置成分析S41从在第一端口Σ处镜像的数据获得的第一数据，并且针对第二端口Z，交换机10被重新配置S50、S55，以镜像所选择的数据，如前所述。对在第二端口Z处镜像的数据执行附加分析S42。
如先前参考图3、图4所解释的，系统1被设计成实现不同的分析方案S41、S42。数据分析器30可以特别地实现训练的机器学习模型，以从分析S41的第一数据中识别特定数据特性(例如异常数据流量)，这在操作中触发交换机10的重新配置S50–S55–S15。反过来，可以对所选择的数据执行附加分析(例如深度分组检查)。
观察器20和分析器30可以例如实现为在相同机器上执行的计算机化模块(如图1所示)。在变体中，它们可以通过网络2的各种节点10、11以离域(delocalized)方式执行。同样，如本领域技术人员将理解的，可以设想各种架构。
接下来，根据另一方面，本发明也可以体现为计算机程序产品。该计算机程序产品包括具有体现在其中的程序指令的计算机可读存储介质，其中程序指令可由一个或多个处理器执行，以使得采取根据本方法的步骤。本计算机程序产品的各个方面将在第2部分详细讨论。该程序可以例如在网络2的特定节点10、11(以或多或少的离域方式)或者在专用实体20、30(如图1中假设的)运行。这里也可以设想各种软件架构。
已经参照附图简要描述了上述实施例，并且可以适应多种变体。可以设想上述特征的几种组合(例子在下一部分给出)。此外，除了上面明确提到的以外，还可以设想许多其他变体。例如，在进一步的实施例中，可以依赖流量监控传感器的集合，其与云资源(节点、网络交换机、网络监控实体等)交互，以监控非平稳数据。
一个实施例针对一种分析网络中非平稳数据的方法。假设网络包括几个计算机化单元，它们在整个网络中传送数据。假设给定的交换机与所述计算机化单元中的一个或多个进行数据通信，因此可以被视为构成网络的一部分。本方法依赖于分析通过镜像由给定交换机接收和/或发送的数据而获得的数据。更详细地说，在所述交换机上所见的不同的非平稳数据集经由两个交换机端口镜像，这两个端口包括第一端口和第二端口。然后，在镜像所述不同数据集的同时执行双分析。即，分析从在第一端口处镜像的数据获得的第一数据(例如，使用训练的机器学习模型)，并且基于分析的第一数据，针对第二端口，交换机被重新配置，以镜像第二数据，第二数据选自交换机上所见的非平稳数据(即，由交换机接收和/或发送的数据)。也分析在第二端口处镜像的第二数据(例如，使用适合于所选择的数据的不同分析方案)。还公开了相关系统和计算机程序产品。
2.具体实施例–技术实现细节
2.1实施例的详细示例
实施例依赖于具有由机器学习(machine learning，ML)引擎驱动的控制回路的交换机双端口镜像系统。ML引擎应用于从交换机10的所有输入端口镜像的聚合的流量。ML引擎的输出触发在第二镜像端口Z的配置中的改变。后者仅过滤S42属于由ML引擎识别的S41的异常(或其他“感兴趣”)源的集合的流量。该方案允许更细粒度/更有针对性的流量监控系统。
更详细地，交换机10的一个或多个输出(本地)端口被分配为镜像端口Σ，Z，它们一起构成系统1的观察器20。观察器20通过闭环控制回路选择要在第二端口Z处镜像的数据量和性质。
假设观察器20具有一定的容量，该容量不能超过镜像端口的容量，则该选择确保镜像的数据不会超过第二端口的容量。详细地说，观察器20的可用带宽/容量分解成：(i)具有缓慢变化特性的数据流Σ，包括来自每个输入交换机端口0-99的有限数量(采样)的数据(参见图3)；以及(ii)镜像的分组的时变流Z，其性质和范围通过控制回路决定。
涉及两个监控数据流。第一种是对于交换机是全局的、无偏的、涉及采样数据的。第二种是偏置的、潜在完全采样的、并经由ML驱动的匹配和镜像来实现的。通过第一端口Σ的流量用于一般异常检测，其结果用于重新配置Σ流量。通过第二端口Z的流量用于需要更细粒度流量视图的应用程序。
2.2云
应当理解，尽管本公开涉及关于云计算的实施例，但是本文所述教导的实现不限于云计算环境。相反，本发明的实施例能够结合现在已知或以后开发的任何其他类型的计算环境来实现。云计算是一种服务交付模式，用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用程序、虚拟机和服务)共享池的方便、按需网络访问，这些资源可以通过最少的管理工作或与服务提供商的交互来快速调配和发布。
2.3系统、方法和计算机程序产品
在任何可能的技术细节结合层面，本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
虽然已经参考有限数量的实施例、变体和附图描述了本发明，但是本领域技术人员将理解，在不脱离本发明的范围的情况下，可以进行各种改变和等同替换。具体而言，在给定实施例、变体或附图中示出的特征(类似设备或类似方法)可以与另一实施例、变体或附图中的另一特征组合或替换，而不脱离本发明的范围。因此，可以设想关于任何上述实施例或变体描述的特征的各种组合，这些组合仍在所附权利要求的范围内。此外，在不脱离本发明的范围的情况下，可以进行许多微小的修改以使特定的情况或材料适应本发明的教导。因此，本发明不限于所公开的特定实施例，而是本发明将包括落入所附权利要求范围内的所有实施例。此外，除了上面明确提到的以外，还可以设想许多其他变体。

Claims (13)

1.一种分析计算机化单元网络中的非平稳数据的方法，其中所述网络还包括与所述计算机化单元中的一个或多个进行数据通信的交换机，其中所述方法包括：
镜像由交换机经由包括第一端口和第二端口的两个交换机端口接收和/或发送的不同数据集；和
当镜像所述不同数据集时：
分析从在第一端口处镜像的数据获得的第一数据；
基于分析的第一数据，针对第二端口重新配置交换机，以镜像从由交换机接收和/或发送的数据中选择的第二数据；和
分析在第二端口处镜像的第二数据。
2.根据权利要求1所述的方法，其中
使用不同的分析方案分析所述第一数据和所述第二数据，所述不同的分析方案包括用于分析所述第一数据的第一分析方案和用于分析所述第二数据的第二分析方案。
3.根据权利要求2所述的方法，其中
分析所述第一数据包括将训练的机器学习模型实现为所述第一分析方案的一部分，其中运行所述机器学习模型以从分析的第一数据中识别特定数据特性，由此，在重新配置交换机时，针对第二端口，交换机被重新配置，以基于识别的特定数据特性选择性地镜像所述第二数据。
4.根据权利要求3所述的方法，其中
在第一端口处镜像的数据包括由交换机接收的网络流量数据。
5.根据权利要求4所述的方法，其中
所述方法还包括聚合网络流量数据，然后在第一端口镜像这些网络流量数据以获得所述第一数据。
6.根据权利要求5所述的方法，其中
聚合网络流量数据包括聚合从交换机的所有输入端口接收的网络流量数据。
7.根据权利要求5所述的方法，其中
所述机器学习模型被训练以从所述网络流量数据中识别网络流量的异常源，由此，在重新配置交换机时，针对第二端口，交换机被重新配置，以选择性地镜像由交换机从识别的异常源接收的、作为所述第二数据的数据。
8.根据权利要求7所述的方法，其中
分析所述第二数据包括将所述第二数据中的数据分组的深度分组检查实现为所述第二分析方案的一部分。
9.根据权利要求1所述的方法，其中
重新配置交换机包括基于分析的第一数据生成选择规则，用于交换机根据生成的规则中的一个或多个选择要在第二端口处镜像的所述第二数据。
10.根据权利要求9所述的方法，其中
生成所述选择规则包括生成访问控制列表以匹配和镜像所述第二数据。
11.一种用于分析计算机化单元网络中的非平稳数据的双端口镜像系统，所述系统包括：
存储器；
处理单元，可操作地耦合到所述存储器，以执行根据权利要求1至10中任一项所述的方法的动作。
12.一种用于分析计算机化单元网络中的非平稳数据的计算机程序产品，该计算机程序产品具有可由一个或多个计算机处理器执行的计算机可读程序代码，以执行根据权利要求1至10中任一项所述的方法的方法。
13.一种计算机系统，包括执行根据权利要求1至10中任一项所述的方法的步骤的模型。
CN201910598100.1A 2018-07-06 2019-07-04 用于分析网络中非平稳数据的双端口镜像系统 Pending CN110691067A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/028,490 2018-07-06
US16/028,490 US10924504B2 (en) 2018-07-06 2018-07-06 Dual-port mirroring system for analyzing non-stationary data in a network

Publications (1)

Publication Number Publication Date
CN110691067A true CN110691067A (zh) 2020-01-14

Family

ID=69102701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910598100.1A Pending CN110691067A (zh) 2018-07-06 2019-07-04 用于分析网络中非平稳数据的双端口镜像系统

Country Status (2)

Country Link
US (1) US10924504B2 (zh)
CN (1) CN110691067A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10965699B2 (en) * 2018-01-26 2021-03-30 Rapid7, Inc. Detecting anomalous network behavior
CN114745170B (zh) * 2022-04-07 2023-08-18 鹏城实验室 物联网异常实时检测方法、装置、终端及可读存储介质
WO2024189410A1 (en) * 2023-03-15 2024-09-19 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for data processing pipeline planning

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070056038A1 (en) * 2005-09-06 2007-03-08 Lok Technology, Inc. Fusion instrusion protection system
CN101188531A (zh) * 2007-12-27 2008-05-28 沈阳东软软件股份有限公司 一种监测网络流量异常的方法及系统
US20090080421A1 (en) * 2007-09-21 2009-03-26 Ou Frank Y Data flow mirroring
US20140149569A1 (en) * 2012-11-26 2014-05-29 Andreas Wittenstein Correlative monitoring, analysis, and control of multi-service, multi-network systems
US20140280887A1 (en) * 2013-03-15 2014-09-18 Enterasys Networks, Inc. A device and related method for dynamic traffic mirroring policy
CN105580318A (zh) * 2013-09-24 2016-05-11 国际商业机器公司 用于网络流的采样测量的端口镜像
CN105791273A (zh) * 2016-02-24 2016-07-20 上海携程商务有限公司 web漏洞扫描系统
CN106797328A (zh) * 2014-09-03 2017-05-31 微软技术许可有限责任公司 收集和分析所选择的网络流量
US20170257398A1 (en) * 2016-03-07 2017-09-07 Wins Co., Ltd. Ips switch system and processing method
CN107690778A (zh) * 2015-05-29 2018-02-13 微软技术许可有限责任公司 使用镜像探测分组测量网络的性能

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525696B2 (en) * 2000-09-25 2016-12-20 Blue Coat Systems, Inc. Systems and methods for processing data flows
US8010469B2 (en) * 2000-09-25 2011-08-30 Crossbeam Systems, Inc. Systems and methods for processing data flows
US20110238855A1 (en) * 2000-09-25 2011-09-29 Yevgeny Korsunsky Processing data flows with a data flow processor
US20070192863A1 (en) * 2005-07-01 2007-08-16 Harsh Kapoor Systems and methods for processing data flows
US8094576B2 (en) 2007-08-07 2012-01-10 Net Optic, Inc. Integrated switch tap arrangement with visual display arrangement and methods thereof
US8966074B1 (en) 2013-09-13 2015-02-24 Network Kinetix, LLC System and method for real-time analysis of network traffic
CN105960777A (zh) * 2013-10-21 2016-09-21 尼妍萨有限公司 使用远程网络管理器观察和控制可编程网络的系统和方法
US9300554B1 (en) * 2015-06-25 2016-03-29 Extrahop Networks, Inc. Heuristics for determining the layout of a procedurally generated user interface
US10063434B1 (en) * 2017-08-29 2018-08-28 Extrahop Networks, Inc. Classifying applications or activities based on network behavior
US10264003B1 (en) * 2018-02-07 2019-04-16 Extrahop Networks, Inc. Adaptive network monitoring with tuneable elastic granularity

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070056038A1 (en) * 2005-09-06 2007-03-08 Lok Technology, Inc. Fusion instrusion protection system
US20090080421A1 (en) * 2007-09-21 2009-03-26 Ou Frank Y Data flow mirroring
CN101188531A (zh) * 2007-12-27 2008-05-28 沈阳东软软件股份有限公司 一种监测网络流量异常的方法及系统
US20140149569A1 (en) * 2012-11-26 2014-05-29 Andreas Wittenstein Correlative monitoring, analysis, and control of multi-service, multi-network systems
US20140280887A1 (en) * 2013-03-15 2014-09-18 Enterasys Networks, Inc. A device and related method for dynamic traffic mirroring policy
CN105580318A (zh) * 2013-09-24 2016-05-11 国际商业机器公司 用于网络流的采样测量的端口镜像
CN106797328A (zh) * 2014-09-03 2017-05-31 微软技术许可有限责任公司 收集和分析所选择的网络流量
CN107690778A (zh) * 2015-05-29 2018-02-13 微软技术许可有限责任公司 使用镜像探测分组测量网络的性能
CN105791273A (zh) * 2016-02-24 2016-07-20 上海携程商务有限公司 web漏洞扫描系统
US20170257398A1 (en) * 2016-03-07 2017-09-07 Wins Co., Ltd. Ips switch system and processing method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
穆成坡，嵇春梅，于本成: "《网络入侵分析与入侵响应》", 31 May 2016 *

Also Published As

Publication number Publication date
US10924504B2 (en) 2021-02-16
US20200014712A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
EP3528463B1 (en) An artificial intelligence cyber security analyst
US11050770B2 (en) Network defense system and method thereof
US20210067527A1 (en) Structural graph neural networks for suspicious event detection
US11218510B2 (en) Advanced cybersecurity threat mitigation using software supply chain analysis
US20220201042A1 (en) Ai-driven defensive penetration test analysis and recommendation system
US20220263860A1 (en) Advanced cybersecurity threat hunting using behavioral and deep analytics
US10320827B2 (en) Automated cyber physical threat campaign analysis and attribution
US20180013771A1 (en) Advanced cybersecurity threat mitigation for inter-bank financial transactions
CN110691067A (zh) 用于分析网络中非平稳数据的双端口镜像系统
JP7069399B2 (ja) コンピュータセキュリティインシデントを報告するためのシステムおよび方法
US11449604B2 (en) Computer security
US11415425B1 (en) Apparatus having engine using artificial intelligence for detecting behavior anomalies in a computer network
WO2022078196A1 (en) Malware detection by distributed telemetry data analysis
Stutz et al. Enhancing Security in Cloud Computing Using Artificial Intelligence (AI)
Mohammed et al. Machine learning-based network status detection and fault localization
GB2583892A (en) Adaptive computer security
US11436320B2 (en) Adaptive computer security
US11477225B2 (en) Pre-emptive computer security
Manickam et al. Labelled Dataset on Distributed Denial‐of‐Service (DDoS) Attacks Based on Internet Control Message Protocol Version 6 (ICMPv6)
Madhawa et al. Employing invariants for anomaly detection in software defined networking based industrial internet of things
Abdullah et al. Integrating of promising computer network technology with intelligent supervised machine learning for better performance
Kaur et al. KS-SDN-DDoS: A Kafka streams-based real-time DDoS attack classification approach for SDN environment
Kaloudi et al. The ML-based sensor data deception targeting cyber-physical systems: A review
Lavieille et al. IsoEx: an explainable unsupervised approach to process event logs cyber investigation
Kim et al. Deep Sequence Models for Packet Stream Analysis and Early Decisions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200114

RJ01 Rejection of invention patent application after publication