CN112291226A - 一种网络流量的异常检测方法及装置 - Google Patents

一种网络流量的异常检测方法及装置 Download PDF

Info

Publication number
CN112291226A
CN112291226A CN202011149515.XA CN202011149515A CN112291226A CN 112291226 A CN112291226 A CN 112291226A CN 202011149515 A CN202011149515 A CN 202011149515A CN 112291226 A CN112291226 A CN 112291226A
Authority
CN
China
Prior art keywords
flow
traffic
network
abnormal
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011149515.XA
Other languages
English (en)
Other versions
CN112291226B (zh
Inventor
王健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Security Technologies Co Ltd
Original Assignee
New H3C Security Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Security Technologies Co Ltd filed Critical New H3C Security Technologies Co Ltd
Priority to CN202011149515.XA priority Critical patent/CN112291226B/zh
Publication of CN112291226A publication Critical patent/CN112291226A/zh
Application granted granted Critical
Publication of CN112291226B publication Critical patent/CN112291226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Abstract

本说明书提供一种网络流量的异常检测方法及装置，所述方法包括：按照预设周期对网络中的网络设备对应的监控对象的流量数据进行监控；根据训练好的流量关系模型对监控对象的流量数据进行流量正常或异常的检测，流量关系模型是根据内部网络中网络设备的监控对象在预设周期内接收和发送的流量构建的；当确定所述流量为异常流量时，根据所述监控对象进行溯源，本公开对特定监控对象对应的流量数据进行监控和分析，从而可以将异常检测和异常流量的溯源统一起来，例如可以根据物理端口或者用户的网络账号进行溯源，将大幅减少异常流量溯源的时间。

Description

一种网络流量的异常检测方法及装置
技术领域
本说明书涉及网络安全技术领域，尤其涉及一种网络流量的异常检测方法及装置。
背景技术
网络空间是数字化世界，数字世界中的各种表象都是通过数据产生、流动和呈现来表达的。网络空间数据检测和分析是网络空间安全检测、分析、告警和呈现的最基本途径。网络数据的流动是网络攻击产生和扩散的来源。因此，对流动的网络数据进行检测和分析是网络安全检测和分析的关键所在。网络异常流量检测分析一直是网络安全领域检测分析重点之一。
网络异常流量检测分析通过在网络中的一些核心节点部署流量探针采集网络流量，如在组织内外部网络边界节点采集内外部网络流量等，在对网络流量的成分进行精细化特征分析：
例如按照流量的方向进行流量特征分析：上行流量、下行流量；
例如按照流量协议类型进行流量特征分析：传输控制协议TCP(TransmissionControl Protocol)流量、用户数据报协议UDP(User Datagram Protocol)流量、Internet控制报文协议ICMP(Internet Control Message Protocol)流量等；
例如对流量的一些内涵特征分析：新建连接数、断开连接数等；
最后将流量所有特征构建为一个特征描述向量，标识流量数据集，再通过回归分析、机器学习、深度学习等方法构建流量检测分析模型，进行参数回归或训练，最终实现网络异常流量检测分析。
现有的方案主要采集网络核心节点处的流量作为分析对象，如将内网和外网边界的流量作为分析对象，此处流量已经混合很多用户网络流量，实现流量异常检测后，还需要进行异常流量的溯源，检测与溯源是分开进行，这样会比较浪费时间。
发明内容
为克服相关技术中存在的问题，本说明书提供了一种网络流量的异常检测方法及装置。
根据本说明书实施例的第一方面，提供一种网络流量的异常检测方法，所述方法包括：
按照预设周期对网络中的网络设备对应的监控对象的流量数据进行监控；
根据训练好的流量关系模型对监控对象的流量数据进行流量正常或异常的检测，其中，所述流量关系模型是根据内部网络中网络设备的监控对象在预设周期内接收和发送的流量构建的；
当确定所述流量为异常流量时，根据所述监控对象进行溯源；
其中，所述监控对象为网络设备的物理端口或者使用网络设备的用户的网络账号。
可选的，当所述监控对象为物理端口时，所述根据训练好的流量关系模型对监控对象的流量数据进行流量正常或异常的检测，包括：
根据获取到的流入各物理端口的流量数据构建入口流量向量、根据获取到的从各物理端口流出的流量构建出口流量向量；
根据入口流量向量和出口流量向量生成流量矩阵；
将所述流量矩阵输入至训练好的流量关系模型对各物理端口的流量数据进行流量正常或异常的检测。
可选的，当所述监控对象为物理端口时，所述根据训练好的流量关系模型对监控对象的流量数据进行流量正常或异常的检测，包括：
根据获取到的流入各物理端口的流量数据构建入口流量向量、根据获取到的从各物理端口流出的流量构建出口流量向量；
根据入口流量向量和出口流量向量生成流量矩阵；
将所述流量矩阵输入至训练好的流量关系模型对各物理端口的流量数据进行流量正常或异常的检测。
可选的，当所述监控对象为用户的网络账号时，所述根据训练好的流量关系模型对监控对象的流量数据进行流量正常或异常的检测，包括：
根据获取到的流入各用户的网络账号的流量数据构建入口流量向量、根据获取到的从各用户的网络账号流出的流量构建出口流量向量；
根据入口流量向量和出口流量向量生成流量矩阵；
将所述流量矩阵输入至训练好的流量关系模型对各用户的网络账号的流量数据进行流量正常或异常的检测。
可选的，获取流入各用户的网络账号的流量数据、获取从各用户的网络账号流出的流量数据包括：
获取流入和流出各物理端口的流量数据；
获取各个时刻使用所述各个物理端口的用户的网络账号的信息；
根据所述流入和流出各个物理端口的流量数据以及各个时刻使用各个物理端口的用户的网络账号信息，确定出流入各用户的网络账号的流量数据以及流出各用户的网络账号的流量数据。
可选的，根据训练好的流量关系模型对监控对象的流量数据进行流量正常或异常的检测包括：
根据多个周期内监控到的流量数据对应的流量矩阵作为测试样本构建标准训练数据集，其中，所述标准训练数据集中包括每个测试样本对应的流量标识，所述流量标识用于标识所述流量正常或异常；
计算每个测试样本与标准训练数据集中的其他测试样本之间的欧氏距离；
获取欧氏距离最短的预设数量的测试样本对应的流量标识；
统计所述预设数量中类型最多的流量标识得出测试样本的正常或异常的测试结果。
根据本说明书实施例的第二方面，提供一种网络流量的异常检测装置，所述装置包括：流量采集模块、流量关系异常检测模块、异常流量处理模块；
流量采集模块，用于按照预设周期对网络中的网络设备对应的监控对象的流量数据进行监控；
流量关系异常检测模块，用于根据训练好的流量关系模型对监控对象的流量数据进行流量正常或异常的检测，其中，所述流量关系模型是根据内部网络中网络设备的监控对象在预设周期内接收和发送的流量构建的；
异常流量处理模块，用于当确定所述流量为异常流量时，根据所述监控对象进行溯源；
其中，所述监控对象为网络设备的物理端口或者使用网络设备的用户的账号。
可选的，所述装置还包括：流量数据预处理模块，该模块用于根据获取到的流入各物理端口的流量数据构建入口流量向量、根据获取到的从各物理端口流出的流量构建出口流量向量；根据入口流量向量和出口流量向量生成流量矩阵；将所述流量矩阵输入至流量关系异常检测模块使得流量关系异常检测模块根据训练好的流量关系模型对各物理端口的流量数据进行流量正常或异常的检测。
可选的，在另一种实施方式中，流量数据预处理模块，当所述监控对象为用户的网络账号时，该模块用于根据获取到的流入各用户的网络账号的流量数据构建入口流量向量、根据获取到的从各用户的网络账号流出的流量构建出口流量向量；根据入口流量向量和出口流量向量生成流量矩阵；将所述流量矩阵输入至流量关系异常检测模块使得流量关系异常检测模块根据训练好的流量关系模型对各用户的网络账号的流量数据进行流量正常或异常的检测。
可选的，当所述监控对象为用户的网络账号时，流量数据预处理模块具体用于获取流入和流出各物理端口的流量数据；获取各个时刻使用所述各个物理端口的用户的网络账号的信息；根据所述流入和流出各个物理端口的流量数据以及各个时刻使用各个物理端口的用户的网络账号信息，确定出流入各用户的网络账号的流量数据以及流出各用户的网络账号的流量数据。
可选的，无论监控对象为用户的网络账号还是物理端口，流量数据预处理模块均可以用于根据多个周期内监控到的流量数据对应的流量矩阵作为测试样本构建标准训练数据集，其中，所述标准训练数据集中包括每个测试样本对应的流量标识，所述流量标识用于标识所述流量正常或异常；
所述流量数据预处理模块用于标准训练数据集输入至流量关系异常检测模块，使得流量关系异常检测模块计算每个测试样本与标准训练数据集中的其他测试样本之间的欧氏距离；获取欧氏距离最短的预设数量的测试样本对应的流量标识；统计所述预设数量中类型最多的流量标识得出测试样本的正常或异常的测试结果。
本说明书的实施例提供的技术方案可以包括以下有益效果：
本公开主要的特点在于对特定监控对象对应的流量数据进行监控和分析，从而可以将异常检测和异常流量的溯源统一起来，例如可以根据物理端口或者用户的网络账号进行溯源，将大幅减少异常流量溯源的时间。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
图1是本公开实施例提供的一种网络流量异常检测方法的流程示意图；
图2是本公开实施例提供的一种根据训练好的流量关系模型对监控对象的流量数据进行检测的方法的示意图；
图3是本公开中一实施例提供的网络流量的异常检测装置的结构示意图；
图4给出了本公开中另一种实施例提供的网络流量的异常检测装置的结构示意图；
图5是本公开中再一实施例提供的网络流量的异常检测装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
本公开提供了一种网络流量异常检测方法，该方法可以应用于网络设备的防火墙或者网络管理软件。本实施例中以网络管理软件为例进行说明。图1示出了一种网络流量异常检测方法的流程示意图，包括：
步骤302，按照预设周期对网络中的网络设备对应的监控对象的流量数据进行监控。
步骤304，根据训练好的流量关系模型对监控对象的流量数据进行流量正常或异常的检测，其中，所述流量关系模型是根据内部网络中网络设备的监控对象在预设周期内接收和发送的流量构建的。
应当理解是，本公开中对于训练好的流量关系模型采用何种方法，本公开中对此并不加以限定。
步骤306，当确定所述流量为异常流量时，根据所述监控对象进行溯源；
其中，所述监控对象为网络设备的物理端口或者使用网络设备的用户的账号。
在进行异常流量行为检测时，在一种实施方式中，网络管理软件可以对网络中所有网络设备的物理端口进行监控，或者在另一种实施方式中，还可以对上网的用户，基于用户的网络账号进行监控。
网络管理软件可以按照预设周期获取到监控对象对应的流量数据。
本公开主要的特点在于对特定监控对象对应的流量数据进行监控和分析，从而可以将异常检测和异常流量的溯源统一起来，例如可以根据物理端口或者用户的网络账号进行溯源，将大幅减少异常流量溯源的时间。
在一种可选的实施方式中，可以网络中待监控的监控对象进行排序。这里对于监控对象的排序是全局性的排序。例如，以监控对象为物理端口为例，若网络中存在100台网络设备，每个网络设备具有32个端口，那么则将3200个端口按照顺序进行排序。再比如，以监控对象为网络设备为例，若网络中存在100台网络设备，那么则将100个网络设备按照1～100的顺序进行排序。具体的，在实施例二和三中将给出一种流量矩阵，可以利用对监控对象的排序作为流量矩阵中的矩阵元素的序号，这样后续可以更加方便的进行溯源。
当对内网中网络设备(包括主机、路由器、交换机等)进行监控时，可以将所有的网络设备抽象为包括多个端口的网络，该端口可以为物理端口也可以为虚拟端口、或者也可以看成是对一个设备的抽象，例如，可以将一个主机抽象为一个端口。本公开中下面的实施例一中将以物理端口为例对本公开中的方法进行说明。其中，虚拟端口可以为用户的网络账号，即用户的网络账号看成是一种虚拟端口，进而在本申请中利用用户的网络账号进行构建流量矩阵。
实施例一
本实施例以物理端口为例对本公开中网络管理软件对物理端口的流量数据进行监控进行说明。举例来说，若网络设备1包括8个物理端口、网络设备2包括8个物理端口，则可以依次对上述网络设备的端口顺序编号为port1～port16。
以其中的一个网络设备为例，网络设备A按照预设的周期，对接收到的流量数据进行监控。
在上述实施例的基础上，本实施例图2提供了一种根据训练好的流量关系模型对监控对象的流量数据进行检测的方法的示意图。具体的，可以参照图2中的步骤3041-步骤3043。
对接收到的流量数据按照与训练好的流量关系模型对应的方式进行重构。具体的，对网络设备A上的各个物理端口接收和发送的流量构建发送方向的向量和接收方向的向量。
Figure BDA0002740751280000081
Figure BDA0002740751280000082
其中，k为网络端口的序号，该序号可以为上述实施例中指出的待监控网络中的监控对象的全局序号；
Figure BDA0002740751280000083
表征网络端口k的入口流量向量，即表征其他端口发送到网络端口k的网络流量值；
Figure BDA0002740751280000084
表征网络端口k的出口流量向量，即表征网络端口k发送到其他网络端口的网络流量值；向量元素Ski表征网络端口k发送到网络端口i在预设周期内的统计流量值；n为网络中监控的端口的数量。
例如，对于网络设备A的端口11，那么入口流量向量为：
Figure BDA0002740751280000085
例如，对于网络设备A的端口12，那么入口流量向量为：
Figure BDA0002740751280000086
对于出口流量向量与入口流量向量类似，本公开中对此不再赘述。
根据入口流量向量和出口流量向量进一步的构建流量矩阵：
Figure BDA0002740751280000087
以上即为以对物理端口的流量数据进行监控构建的流量矩阵的过程。
一种可选的实施方式，为了便于数据的处理，本公开的矩阵中的矩阵元素可以是归一化后的矩阵元素。
实施例二
本公开中的端口也可以为虚拟端口，本实施例中以端口为用户使用的账号为例进行说明。即网络管理软件对于不同的用户的网络账号发往不同的用户的网络账号的流量进行监控。
其中，构建的流量矩阵的数学模型与上述实施例一中的模型相同，区别在于数学模型中的元素所表征的含义不同。
具体的，本公开中的网络管理软件可以获取到待监控的网络设备的各个物理端口的流量数据，还可以获取到各个时间段内网络设备是由哪个用户在使用，并且可以获取到该用户具体使用了哪些端口进行报文的发送或接收。由此，可以根据获取到的流入和流出各物理端口的流量数据以及各个时刻使用各个物理端口的用户的网络账号信息。
举例来说，由于监控到的流量数据均是按照顺序编好号的物理端口的流量信息，例如可以获取到物理端口16和物理端口17在某一监控周期内的流量数据，即流入和流出该两个物理端口的流量。进一步的，可以获知在该监控周期内使用物理端口16和物理端口17接收和发送流量数据的用户的网络账号为用户的网络账号A，那么，由此可以建立物理端口、用户的网络账号以及该物理端口的流入和流出的流量的对应关系，进而可以确定流入和流出该用户的网络账号的流量数据的信息。
进而根据各个用户的网络账号流入和流出的流量构建发送方向的向量和接收方向的向量，其中数学模型与上述实施例一中的数学模型可以是相同的。区别在于在上述实施例中，k此时表征用户的网络账号的序号，
Figure BDA0002740751280000091
表征网络用户的网络账号k的入口流量向量，即表征其他用户的网络账号发送到用户的网络账号k的网络流量值；
Figure BDA0002740751280000092
表征用户的网络账号k的出口流量向量，即表征用户的网络账号k发送到其他用户的网络账号的网络流量值；向量元素Ski表征用户的网络账号k发送至用户的网络账号i在预设周期内的统计流量值；n为网络中监控的用户的网络账号的数量。
通过对用户的网络账号的流入流出的流量进行监控，后续可以更好的进行溯源。在一种应用场景中，例如可以对于公司内部的两个用户的网络账号之间的流量的正常或者异常进行监控检测。
本实施例中通过用户的网络账号的流量信息构建流量矩阵的过程与上述实施例一中相同，本实施例中不再赘述。
以上即为以对用户的网络账号的流量数据进行监控构建的流量矩阵的过程。
实施例三
对于获取到的监控对象的流量数据，在构建流量矩阵之后，需要输入到训练好的模型中进行流量数据的正常或异常的检测。本实施例中给出一种流量关系模型的训练方法，现有技术中有非常多比较成熟的数学模型，可以很好的对于数据进行分类。本公开中对于流量关系模型的选择并不加以限定。
本实施例中以该流量关系模型采用K近邻算法为例进行说明。
本实施例中以端口k为例，采集该网络端口k的流量数据，例如，可以采集N个监控周期内的流量，作为样本，采集N个样本的每个样本均按照上述实施例一或二中给出的方式构建出流量矩阵。
进一步的，根据预先获知的网络端口k的N个样本的流量数据的正常或者异常的结果，对N个样本进行标识，标识为正常流量或者异常流量。进而构建标准训练数据集，标准训练数据集是网络端口k的N个样本的流量矩阵以及N个样本的流量标识结果的集合。具体的，标准训练数据集中包括了网络端口k对应的N个样本的每个样本的流量矩阵以及该每个样本对应的流量标识的结果。
构建的标准训练数据集可以表示为:
Figure BDA0002740751280000101
其中，N表示样本的数量，
Figure BDA0002740751280000102
其中-1表示正常交互流量，1表示异常交互流量；其中S为上角标用于与Dk区分。
利用该标准训练数据集就那些模型训练，训练的目的是找到最合适的模型参数M。
(1)初始先选取一个模型参数M，该模型参数M的值可以根据样本的数量选取，一种可选的方式中，先在[6*类别数，样本数]中选取一个M值。
在寻找最合适的模型参数M时，当使得损失函数最小时，可以认为找到了最优的模型参数。其中，损失函数最小则表征在当前的模型参数M下，样本的类别被划分错误的数量最小。初始的损失函数可以令其等于样本，即Ls＝N，后续会对损失函数的值进行更新。
(2)具体的，从标准训练数据集
Figure BDA0002740751280000103
中依次选取每个样本
Figure BDA0002740751280000104
计算每个选取的样本
Figure BDA0002740751280000105
与标准训练数据集
Figure BDA0002740751280000106
中的其他样本
Figure BDA0002740751280000107
的欧氏距离，直至标准训练数据集中的N个样本的欧氏距离都计算完毕。其中，n＝1.....N。
(3)当N个样本都计算完欧氏距离，选取欧氏距离最小的前M个样本，并统计该M个样本所属的类别，数量多的样本所属的分类即确定为当前选取的样本的测试分类。例如，若当前的M值为12，其中，根据这12个样本的
Figure BDA0002740751280000111
值确定出中有7个样本属于正常流量数据，5个样本的属于异常流量数据，那么当前选取的样本的测试分类为正常流量数据。
还可能出现正常流量数据和异常流量数据的数量相同，也就有6个样本属于正常流量数据、6个样本属于异常流量数据，则分别计算每个类别的平均欧氏距离，平均欧氏距离最小的类别即为该样本
Figure BDA0002740751280000112
在该训练集
Figure BDA0002740751280000113
Figure BDA0002740751280000114
上的测试结果。
(4)而对于该当前选取的样本，其实际标识的
Figure BDA0002740751280000115
值可能为异常流量数据。也就是此时会出现测试分类与实际标识的分类不一致。此时可以对测试分类与实际标识的分类不一致的样本数量进行统计。
具体的，可以设计一计数器L，初始值L＝0，当存在有样本的测试分类与实际标识的分类不一致则L加1。
(5)根据测试分类与实际标识的分类不一致的样本数量与初始的损失函数二者的最小值更新损失函数。
调整M值之后，重复执行上述步骤(1)-(5)，直至找到使得损失函数最小或者L＝0时，则确定此时的模型参数M值为最优的模型参数值。
对于样本数比较小的标准训练数据集可直接M∈[6*类别数，样本数]区间进行遍历优化M值；
对于样本数比较大的标准训练数据集，则可以不重复的随机在：
K∈[6*类别数，样本数]选取一些K取值，然后取最优化参数值；
以上即为对模型的训练过程。
实施例四
本实施例中以某一个物理端口的流量数据建立的流量矩阵为
Figure BDA0002740751280000116
为例对流量数据的正常或异常检测的过程进行说明。即以流量矩阵
Figure BDA0002740751280000117
作为测试样本。
将流量矩阵
Figure BDA0002740751280000121
输入至训练好的流量关系模型，该流量关系模型的模型参数为M1。
计算测试样本
Figure BDA0002740751280000122
与
Figure BDA0002740751280000123
中每一个样本
Figure BDA0002740751280000124
的欧氏距离；
其中，n＝1…N。循环执行上述步骤，直至N个样本的欧氏距离都计算完毕。
选取欧氏距离最近的前M个样本，并分别统计其所属类别的数量，例如属于流量正常类别的样本数量是多少，流量异常类别的样本数量是多少；
数量最多的类别即为该样本
Figure BDA0002740751280000125
在该训练集
Figure BDA0002740751280000126
上的测试结果。
在上述实施例的基础上，本公开的实施例中为了提高模型检测的准确率，考虑到用户行为习惯可能发生改变，需要基于一定的策略对训练数据集进行扩容和替换，检测模型参数必须具有自学习功能，通过设计一定训练数据集的更新扩容策略，对训练数据集进行定期更新扩容，并定期采用训练数据集对模型进行重新训练；
Figure BDA0002740751280000127
一种可考虑的策略是，通过设计标准数据集的更新率x％，每次按照更新率，在标准数据集中随机选择一定数据训练数据进行更新，并定期采用训练数据集对模型进行重新训练；例如，若更新率为80％，样本数量N为100，则可以随机选择80个对训练好的模型中的数据进行更新替换。
此外，本公开所提供的网络流量的异常检测方法中，还可以对流量内容是否存在异常进行检测，例如采用流量报文的五元组信息等确定流量内容是否异常；对于流量内容是否异常的检测可以采用现有技术中的检测方法，本实施例中不再详细赘述。
进一步的结合本公开本实施例一至四中所提供的流量关系异常的检测方法，对流量关系是否异常进行检测，根据流量关系是否存在异常的结果，结合流量内容是否异常的结果，共同确定流量是否存在异常。
例如，若流量内容和流量关系当中任意一个的判断结果为异常，则整条流都是异常的。
本实施例中对于流量关系的异常检测主要针对内部网络流量整体流量和流向方面异常行为进行检测分析，从而可有效检测威胁内部扩散行为；流量内容异常检测模块则主要针对流量成分和特性进行异常检测分析，从而可以有效检测流量内部威胁；与传统仅仅对流量内容对流量是否异常检测相比多了一个流量关系检测的维度，最后通过综合决策实现网络流量异常的全面检测，进一步的将检测和溯源统一起来。
实施例四
图3为本公开实施例提供的一种网络流量的异常检测装置的结构示意图，如图3所示，该装置包括：流量采集模块501、流量关系异常检测模块、异常流量处理模块；
流量采集模块501，用于按照预设周期对网络中的网络设备对应的监控对象的流量数据进行监控；
流量关系异常检测模块502，用于根据训练好的流量关系模型对监控对象的流量数据进行流量正常或异常的检测，其中，所述流量关系模型是根据内部网络中网络设备的监控对象在预设周期内接收和发送的流量构建的；
异常流量处理模块503，用于当确定所述流量为异常流量时，根据所述监控对象进行溯源；
其中，所述监控对象为网络设备的物理端口或者使用网络设备的用户的账号。
可选的，图4给出了本公开中另一种实施例方式下网络流量的异常检测装置的结构示意图，该装置还可以包括：流量数据预处理模块，该模块用于根据获取到的流入各物理端口的流量数据构建入口流量向量、根据获取到的从各物理端口流出的流量构建出口流量向量；根据入口流量向量和出口流量向量生成流量矩阵；将所述流量矩阵输入至流量关系异常检测模块使得流量关系异常检测模块根据训练好的流量关系模型对各物理端口的流量数据进行流量正常或异常的检测。
可选的，在另一种实施方式中，流量数据预处理模块，当所述监控对象为用户的网络账号时，该模块用于根据获取到的流入各用户的网络账号的流量数据构建入口流量向量、根据获取到的从各用户的网络账号流出的流量构建出口流量向量；根据入口流量向量和出口流量向量生成流量矩阵；将所述流量矩阵输入至流量关系异常检测模块使得流量关系异常检测模块根据训练好的流量关系模型对各用户的网络账号的流量数据进行流量正常或异常的检测。
可选的，当所述监控对象为用户的网络账号时，流量数据预处理模块具体用于获取流入和流出各物理端口的流量数据；获取各个时刻使用所述各个物理端口的用户的网络账号的信息；根据所述流入和流出各个物理端口的流量数据以及各个时刻使用各个物理端口的用户的网络账号信息，确定出流入各用户的网络账号的流量数据以及流出各用户的网络账号的流量数据。
可选的，无论监控对象为用户的网络账号还是物理端口，流量数据预处理模块均可以用于根据多个周期内监控到的流量数据对应的流量矩阵作为测试样本构建标准训练数据集，其中，所述标准训练数据集中包括每个测试样本对应的流量标识，所述流量标识用于标识所述流量正常或异常；
所述流量数据预处理模块用于标准训练数据集输入至流量关系异常检测模块，使得流量关系异常检测模块计算每个测试样本与标准训练数据集中的其他测试样本之间的欧氏距离；获取欧氏距离最短的预设数量的测试样本对应的流量标识；统计所述预设数量中类型最多的流量标识得出测试样本的正常或异常的测试结果。
本公开提供的装置，如图5所示，还可以包括：流量内容异常检测模块505和综合异常决策模块506。
其中，流量内容异常检测模块505用于基于流量成分和特性对流量内容异常行为进行检测；基于流量数据特征对流量内容异常行为进行检测，内置流量内容异常检测模型，该模块一方面接收流量数据预处理模块送过来检测数据，对其进行异常检测分析，另一方面可接收训练数据集的筛选的标准数据定期对检测模型参数进行训练更新。
综合异常决策模块506用于针对流量关系和流量内容异常的检测结果，进行表决处理，可采用并联或者串联模型进行综合决策处理。
应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (11)

1.一种网络流量的异常检测方法，其特征在于，所述方法包括：
按照预设周期对网络中的网络设备对应的监控对象的流量数据进行监控；
根据训练好的流量关系模型对监控对象的流量数据进行流量正常或异常的检测，其中，所述流量关系模型是根据内部网络中网络设备的监控对象在预设周期内接收和发送的流量构建的；
当确定所述流量为异常流量时，根据所述监控对象进行溯源；
其中，所述监控对象为网络设备的物理端口或者使用网络设备的用户的账号。
2.根据权利要求1所述的方法，其特征在于，当所述监控对象为物理端口时，所述根据训练好的流量关系模型对监控对象的流量数据进行流量正常或异常的检测，包括：
根据获取到的流入各物理端口的流量数据构建入口流量向量、根据获取到的从各物理端口流出的流量构建出口流量向量；
根据入口流量向量和出口流量向量生成流量矩阵；
将所述流量矩阵输入至训练好的流量关系模型对各物理端口的流量数据进行流量正常或异常的检测。
3.根据权利要求1所述的方法，其特征在于，当所述监控对象为用户的网络账号时，所述根据训练好的流量关系模型对监控对象的流量数据进行流量正常或异常的检测，包括：
根据获取到的流入各用户的网络账号的流量数据构建入口流量向量、根据获取到的从各用户的网络账号流出的流量构建出口流量向量；
根据入口流量向量和出口流量向量生成流量矩阵；
将所述流量矩阵输入至训练好的流量关系模型对各用户的网络账号的流量数据进行流量正常或异常的检测。
4.根据权利要求3所述的方法，其特征在于，获取流入各用户的网络账号的流量数据、获取从各用户的网络账号流出的流量数据包括：
获取流入和流出各物理端口的流量数据；
获取各个时刻使用所述各个物理端口的用户的网络账号的信息；
根据所述流入和流出各个物理端口的流量数据以及各个时刻使用各个物理端口的用户的网络账号信息，确定出流入各用户的网络账号的流量数据以及流出各用户的网络账号的流量数据。
5.根据权利要求2或3所述的方法，其特征在于，根据训练好的流量关系模型对监控对象的流量数据进行流量正常或异常的检测包括：
根据多个周期内监控到的流量数据对应的流量矩阵作为测试样本构建标准训练数据集，其中，所述标准训练数据集中包括每个测试样本对应的流量标识，所述流量标识用于标识所述流量正常或异常；
计算每个测试样本与标准训练数据集中的其他测试样本之间的欧氏距离；
获取欧氏距离最短的预设数量的测试样本对应的流量标识；
统计所述预设数量中类型最多的流量标识得出测试样本的正常或异常的测试结果。
6.根据权利要求1所述的方法，其特征在于，对进行流量正常或异常的检测，还包括：
对流量数据进行内容是否异常的检测；
根据流量数据的内容的异常检测结果与根据流量关系确定流量是否异常的结果共同确定流量是否异常。
7.一种网络流量的异常检测装置，其特征在于，所述装置包括：
流量采集模块，用于按照预设周期对网络中的网络设备对应的监控对象的流量数据进行监控；
流量关系异常检测模块，用于根据训练好的流量关系模型对监控对象的流量数据进行流量正常或异常的检测，其中，所述流量关系模型是根据内部网络中网络设备的监控对象在预设周期内接收和发送的流量构建的；
异常流量处理模块，用于当确定所述流量为异常流量时，根据所述监控对象进行溯源；
其中，所述监控对象为网络设备的物理端口或者使用网络设备的用户的账号。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：流量数据预处理模块，在所述监控对象为物理端口的情况下，该模块用于根据获取到的流入各物理端口的流量数据构建入口流量向量、根据获取到的从各物理端口流出的流量构建出口流量向量；根据入口流量向量和出口流量向量生成流量矩阵；将所述流量矩阵输入至流量关系异常检测模块使得流量关系异常检测模块根据训练好的流量关系模型对各物理端口的流量数据进行流量正常或异常的检测。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：流量数据预处理模块，当所述监控对象为用户的网络账号时，该模块用于根据获取到的流入各用户的网络账号的流量数据构建入口流量向量、根据获取到的从各用户的网络账号流出的流量构建出口流量向量；根据入口流量向量和出口流量向量生成流量矩阵；将所述流量矩阵输入至流量关系异常检测模块使得流量关系异常检测模块根据训练好的流量关系模型对各用户的网络账号的流量数据进行流量正常或异常的检测。
10.根据权利要求9所述的装置，其特征在于，流量数据预处理模块具体用于获取流入和流出各物理端口的流量数据；获取各个时刻使用所述各个物理端口的用户的网络账号的信息；根据所述流入和流出各个物理端口的流量数据以及各个时刻使用各个物理端口的用户的网络账号信息，确定出流入各用户的网络账号的流量数据以及流出各用户的网络账号的流量数据。
11.根据权利要求8或9所述的装置，其特征在于，流量数据预处理模块还用于根据多个周期内监控到的流量数据对应的流量矩阵作为测试样本构建标准训练数据集，其中，所述标准训练数据集中包括每个测试样本对应的流量标识，所述流量标识用于标识所述流量正常或异常；
所述流量数据预处理模块用于标准训练数据集输入至流量关系异常检测模块，使得流量关系异常检测模块计算每个测试样本与标准训练数据集中的其他测试样本之间的欧氏距离；获取欧氏距离最短的预设数量的测试样本对应的流量标识；统计所述预设数量中类型最多的流量标识得出测试样本的正常或异常的测试结果。
CN202011149515.XA 2020-10-23 2020-10-23 一种网络流量的异常检测方法及装置 Active CN112291226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011149515.XA CN112291226B (zh) 2020-10-23 2020-10-23 一种网络流量的异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011149515.XA CN112291226B (zh) 2020-10-23 2020-10-23 一种网络流量的异常检测方法及装置

Publications (2)

Publication Number Publication Date
CN112291226A true CN112291226A (zh) 2021-01-29
CN112291226B CN112291226B (zh) 2022-05-27

Family

ID=74425022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011149515.XA Active CN112291226B (zh) 2020-10-23 2020-10-23 一种网络流量的异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN112291226B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114157516A (zh) * 2022-02-09 2022-03-08 北京搜狐新媒体信息技术有限公司 一种流量检测方法、装置、电子设备及计算机存储介质
CN116962083A (zh) * 2023-09-20 2023-10-27 西南交通大学 网络异常行为的检测方法、装置、设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111312A (zh) * 2011-03-28 2011-06-29 钱叶魁 基于多尺度主成分分析的网络异常检测方法
US20110261710A1 (en) * 2008-09-26 2011-10-27 Nsfocus Information Technology (Beijing) Co., Ltd. Analysis apparatus and method for abnormal network traffic
CN107483251A (zh) * 2017-08-22 2017-12-15 国网辽宁省电力有限公司辽阳供电公司 一种基于分布式探针监测的网络业务异常侦测方法
CN109522716A (zh) * 2018-11-15 2019-03-26 中国人民解放军战略支援部队信息工程大学 一种基于时序神经网络的网络入侵检测方法及装置
WO2019178968A1 (zh) * 2018-03-22 2019-09-26 平安科技（深圳）有限公司 网络流量监测方法、装置、计算机设备及存储介质
CN111064721A (zh) * 2019-12-11 2020-04-24 中国科学院深圳先进技术研究院 网络流量异常检测模型的训练方法及检测方法
CN111800414A (zh) * 2020-07-03 2020-10-20 西北工业大学 一种基于卷积神经网络的流量异常检测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110261710A1 (en) * 2008-09-26 2011-10-27 Nsfocus Information Technology (Beijing) Co., Ltd. Analysis apparatus and method for abnormal network traffic
CN102111312A (zh) * 2011-03-28 2011-06-29 钱叶魁 基于多尺度主成分分析的网络异常检测方法
CN107483251A (zh) * 2017-08-22 2017-12-15 国网辽宁省电力有限公司辽阳供电公司 一种基于分布式探针监测的网络业务异常侦测方法
WO2019178968A1 (zh) * 2018-03-22 2019-09-26 平安科技（深圳）有限公司 网络流量监测方法、装置、计算机设备及存储介质
CN109522716A (zh) * 2018-11-15 2019-03-26 中国人民解放军战略支援部队信息工程大学 一种基于时序神经网络的网络入侵检测方法及装置
CN111064721A (zh) * 2019-12-11 2020-04-24 中国科学院深圳先进技术研究院 网络流量异常检测模型的训练方法及检测方法
CN111800414A (zh) * 2020-07-03 2020-10-20 西北工业大学 一种基于卷积神经网络的流量异常检测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114157516A (zh) * 2022-02-09 2022-03-08 北京搜狐新媒体信息技术有限公司 一种流量检测方法、装置、电子设备及计算机存储介质
CN116962083A (zh) * 2023-09-20 2023-10-27 西南交通大学 网络异常行为的检测方法、装置、设备及可读存储介质
CN116962083B (zh) * 2023-09-20 2023-12-05 西南交通大学 网络异常行为的检测方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN112291226B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN102315974B (zh) 基于层次化特征分析的tcp、udp流量在线识别方法和装置
Braga et al. Lightweight DDoS flooding attack detection using NOX/OpenFlow
Da Silva et al. Identification and selection of flow features for accurate traffic classification in SDN
Silveira et al. URCA: Pulling out anomalies by their root causes
CN107005790A (zh) 无线传感器网络中的协同安全
CN112291226B (zh) 一种网络流量的异常检测方法及装置
AU2006263653A1 (en) Whole-network anomaly diagnosis
CN109905696A (zh) 一种基于加密流量数据的视频服务体验质量的识别方法
CN113206860B (zh) 一种基于机器学习和特征选择的DRDoS攻击检测方法
CN114143037B (zh) 一种基于进程行为分析的恶意加密信道检测方法
CN108809989B (zh) 一种僵尸网络的检测方法及装置
Tonejc et al. Machine learning methods for anomaly detection in BACnet networks
CN108494594A (zh) 一种eigrp路由网络故障的分析方法和系统
CN105357071B (zh) 一种网络复杂流量识别方法及识别系统
CN105871861B (zh) 一种自学习协议规则的入侵检测方法
CN113378899A (zh) 非正常账号识别方法、装置、设备和存储介质
CN111294342A (zh) 一种软件定义网络中DDos攻击的检测方法及系统
CN112003869A (zh) 一种基于流量的漏洞识别方法
CN114374626B (zh) 一种5g网络条件下的路由器性能检测方法
CN109728977B (zh) Jap匿名流量检测方法及系统
CN111953504A (zh) 异常流量检测方法和装置、计算机可读存储介质
CN112383488A (zh) 一种适用于加密与非加密数据流的内容识别方法
CN111310796A (zh) 一种面向加密网络流的Web用户点击识别方法
CN112953961B (zh) 配电房物联网中设备类型识别方法
Hejun et al. Online and automatic identification and mining of encryption network behavior in big data environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant