CN115987619A - 网络流量异常检测方法、装置、设备及介质 - Google Patents
网络流量异常检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115987619A CN115987619A CN202211647219.1A CN202211647219A CN115987619A CN 115987619 A CN115987619 A CN 115987619A CN 202211647219 A CN202211647219 A CN 202211647219A CN 115987619 A CN115987619 A CN 115987619A
- Authority
- CN
- China
- Prior art keywords
- clustering
- objects
- network traffic
- data set
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000002159 abnormal effect Effects 0.000 claims abstract description 22
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 6
- 238000003780 insertion Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013106 supervised machine learning method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013107 unsupervised machine learning method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了网络流量异常检测方法、装置、设备及介质，该方法包括提取特征数据集；对特征数据集进行聚类；为核心聚类对象创建初始类；找到全部核心聚类对象，得到确定类；检测特征数据集是否存在点不属于任一确定类，若是则判定为异常点。本发明可以实现对网络流量数据增量式、无监督的异常检测，使之更加符合实际网络流量数据量大和短时间内产生大量数据的情况。
Description
技术领域
本发明属于流量检测技术领域，尤其涉及网络流量异常检测方法、装置、设备及介质。
背景技术
异常检测在现代大规模分布式系统的管理中起着重要作用，记录系统运行时信息的日志广泛用于异常检测。传统上通常使用关键字搜索或规则匹配等方法手动检查日志。然而数据量的增长以及日志复杂性使得人工检测难以进行。因此提出了许多网络流量异常检测方法。网络流量异常检测的目的是找到流量日志中和大多数数据不同的数据，并将这些离群的数据点其视为异常。
传统的流量异常检测算法一般分为基于统计学的方法、基于机器学习的方法和基于深度学习的方法。但基于统计学的方法判别处理原理及方法仅局限于对正态或近似正态分布的样本数据处理，它是以测量次数充分大为前提(样本>10)，当测量次数少的情形用准则剔除粗大误差是不够可靠的。而且这种方法比较简单死板，过于绝对，会存在不少漏检和误检的情况。基于机器学习的方法对于有监督机器学习方法，由于有监督学习需要数据标签，而网络流量数据量极大，存在人工标记耗时耗力的问题，所以使用机器学习进行异常检测通常采用无监督的方法。而对于无监督机器学习方法，每次运行算法都需要输入全部的数据，对于短时间内产生大量的网络流量难以及时得出异常检测结果，并且无法进行持续的增量学习。基于深度学习的方法需要提供带有标记的数据集。通常的流量日志中异常通常是极少数，使用深度学习需要大量的的计算资源，同时也没有标签可供网络训练。
发明内容
本发明的目的在于，为克服现有技术缺陷，提供了网络流量异常检测方法、装置、设备及介质,针对网络流量异常检测对于实时性的要求，通过增量式学习做到及时响应，从而适应网络流量异常检测的实际场景需求。
本发明目的通过下述技术方案来实现：
一种网络流量异常检测方法，所述方法包括：
响应于按批次获取的网络流量，对所述网络流量进行解析提取特征信息得到特征数据集；
对从第一批网络流量获取的特征数据集进行初始聚类，对后续获取的网络流量进行增量聚类，所述初始聚类的超参数包括聚类半径和最少聚类对象数量；
判断每一个聚类对象中的聚类半径领域内是否至少包含最少聚类对象数量个对象，若是则为每一个聚类半径领域内至少包含最少聚类对象数量个对象的聚类对象创建初始类；
判断每一个聚类半径领域内至少包含最少聚类对象数量个对象的聚类对象的聚类半径领域内中是否有其他聚类对象的聚类半径领域内至少包含最少聚类对象数量个对象，若是则将所述其他聚类对象追加到所述初始类中，直至没有新的对象可以追加，得到确定类；
检测所述特征数据集是否存在点不属于任一确定类，若是则判定为异常点。
进一步的，所述增量聚类包括通过后续获取的网络流量对所述初始聚类的结果进行更新。
进一步的，所述通过后续获取的网络流量对所述初始聚类的结果进行更新具体包括：
获取新的网络流量的特征数据集；
将所述新的网络流量的特征数据集中的每一条数据和已有聚类中的记录进行比较，更新所述增量式聚类的结果，所述更新包括插入新的异常点、创建新的聚类、插入已有聚类和聚类合并。
进一步的，所述增量聚类还包括获取新的网络流量的特征数据集后将前一个特征数据集中的数据从聚类中删除。
进一步的，所述将前一个特征数据集中的数据从聚类中删除具体包括：
将前一个特征数据集中的数据从聚类中逐条删除，并对聚类结果进行修改，所述修改包括删除异常点、删除聚类、从已有聚类中删除和聚类分裂。
进一步的，所述方法还包括每次检测到异常点信息时进行告警。
进一步的，所述特征信息包括持续时间、出流量大小和入流量大小。
另一方面，本发明还提供了一种网络流量异常检测装置，所述装置包括：
特征提取模块，所述特征提取模块响应于按批次获取的网络流量，对所述网络流量进行解析提取特征信息得到特征数据集；
聚类模块，对从第一批网络流量获取的特征数据集进行初始聚类，对后续获取的网络流量进行增量聚类，所述初始聚类的超参数包括聚类半径和最少聚类对象数量；
初始类创建模块，所述初始类创建模块判断每一个聚类对象中的聚类半径领域内是否至少包含最少聚类对象数量个对象，若是则为每一个聚类半径领域内至少包含最少聚类对象数量个对象的聚类对象创建初始类；
确定类创建模块，所述确定类创建模块判断每一个聚类半径领域内至少包含最少聚类对象数量个对象的聚类对象的聚类半径领域内中是否有其他聚类对象的聚类半径领域内至少包含最少聚类对象数量个对象，若是则将所述其他聚类对象追加到所述初始类中，直至没有新的对象可以追加，得到确定类；
异常点检测模块，所述异常点检测模块检测所述特征数据集是否存在点不属于任一确定类，若是则判定为异常点。
另一方面，本发明还提供了一种计算机设备，计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述的任意一种网络流量异常检测方法。
另一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述的任意一种网络流量异常检测方法。
本发明的有益效果在于：
(1)本发明将增量学习应用到网络流量异常检测中，解决了对于动态数据的异常检测问题，避免了传统方法产生的大量时间开销和重复计算。
(2)本发明通过增量式学习满足网络流量异常检测对于实时性的要求，能够做到对新数据及时检测，更加适用于网络流量的真实场景。
(3)本发明通过动态地插入和删除数据，能够及时删除过时的数据，保证数据集大小始终保持在较小的水平，节省大量存储资源。
(4)本发明通过无监督的聚类算法，避免了繁杂的数据标记工作。
附图说明
图1是本发明实施例提供的网络流量异常检测方法流程框图；
图2是本发明实施例提供的网络流量异常检测方法流程示意图；
图3是本发明实施例提供的网络流量异常检测装置结构框图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
传统的流量异常检测算法一般分为基于统计学的方法、基于机器学习的方法和基于深度学习的方法。但基于统计学的方法判别处理原理及方法仅局限于对正态或近似正态分布的样本数据处理，它是以测量次数充分大为前提(样本>10)，当测量次数少的情形用准则剔除粗大误差是不够可靠的。而且这种方法比较简单死板，过于绝对，会存在不少漏检和误检的情况。基于机器学习的方法对于有监督机器学习方法，由于有监督学习需要数据标签，而网络流量数据量极大，存在人工标记耗时耗力的问题，所以使用机器学习进行异常检测通常采用无监督的方法。而对于无监督机器学习方法，每次运行算法都需要输入全部的数据，对于短时间内产生大量的网络流量难以及时得出异常检测结果，并且无法进行持续的增量学习。基于深度学习的方法需要提供带有标记的数据集。通常的流量日志中异常通常是极少数，使用深度学习需要大量的的计算资源，同时也没有标签可供网络训练。
为了解决上述技术问题，提出了本发明网络流量异常检测方法、装置、设备及介质的下述各个实施例。
实施例1
参照图1和图2，如图1所示是本实施例提供的网络流量异常检测方法流程框图，如图2所示是本实施例提供的网络流量异常检测方法流程示意图。该方法具体包括以下步骤：
步骤S100：响应于按批次获取的网络流量，对所述网络流量进行解析提取特征信息得到特征数据集。
具体地，本实施例截取网络流量pcap包并进行解析，提取特征信息，特征包括流持续时间、出流量大小和入流量大小，组成特征作为数据集。共有N1，…，Nn共n批网络流量数据。
步骤S200：对从第一批网络流量获取的特征数据集进行初始聚类，对后续获取的网络流量进行增量聚类，所述初始聚类的超参数包括聚类半径和最少聚类对象数量。
具体地，指定聚类超参数Eps与MinPts，其中Eps表示聚类的半径，MinPts表示聚类对象的数量，如果一个对象在其半径为Eps的邻域内包含至少MinPts个对象，那么该区域是密集的，可以形成一个聚类。
对第一批数据集N1进行DBSCAN聚类。在DBSCAN算法中，一个类可以由其中的任意一个核心对象唯一确定。一个点是核心对象当且仅当对于该点关于Eps密度可达的点大于MinPts个。给定任意满足核心对象的点p，从点p关于Eps和MinPts密度可达的所有对象组成的集合构成一个类，属于该类。密度可达指在一个集合D中，存在元素p1，…，pn，p1＝q，pn＝p，且pi+1是从pi在D中关于Eps和MinPts直接密度可达的，则元素q到元素p是在D中关于Eps和MinPts密度可达的。直接密度可达是指在一个集合D中，若点p∈NEps(q)(其中NEps(q)是D的一个子集，表示q的Eps领域与D的交集)且Card(NEps(q))≥MinPts，则从元素q到元素p是在D中关于Eps和MinPts直接密度可达的。假定C是关于Eps和MinPts的类，p是类C中的一个核心对象，那么类C等价于从点p关于Eps和MinPts密度可达的点的集合。
针对待聚类对象集中的每一个对象p，检查其Eps邻域内是否至少包含MinPts个对象，也就是确定对象p是否为核心对象。如果p是核心对象，那么就创建一个初始的类C，C中包含对象p及从p基于密度直接可达的所有对象，也就是包含对象p及其Eps邻域内的所有对象。
步骤S300：判断每一个聚类对象中的聚类半径领域内是否至少包含最少聚类对象数量个对象，若是则为每一个聚类半径领域内至少包含最少聚类对象数量个对象的聚类对象创建初始类。
步骤S400：判断每一个聚类半径领域内至少包含最少聚类对象数量个对象的聚类对象的聚类半径领域内中是否有其他聚类对象的聚类半径领域内至少包含最少聚类对象数量个对象，若是则将所述其他聚类对象追加到所述初始类中，直至没有新的对象可以追加，得到确定类。
确定前述步骤中对象p的邻域中的每一个对象是否为核心对象。如果是核心对象，那么就将其Eps邻域内尚未包含在类C中的所有对象追加到C中，并继续确定这些新追加到C中的对象是否为核心对象，如果是，则继续进行上述的对象追加过程。这一过程一直持续到没有新的对象可以追加到C中为止，最终完全确定类C。
步骤S500：检测所述特征数据集是否存在点不属于任一确定类，若是则判定为异常点。
设C1，…，Ck是D中关于Eps和MinPts的类，异常则是D中不属于任何一个类Ci的元素的集合。即：
当发现异常点后记录该异常但不删除该点，因为随着对后续数据的增量学习，现有的异常点可能会变为正常点。初始聚类结束后，保存N1数据集、数据类别、Eps和MinPts，以便后续聚类使用。
对于后续n-1批网络流量数据N2，…，Nn，分别对每一批数据集Ni进行增量DBSCAN聚类，依次将数据集Ni的一条数据与已有聚类中的记录比较以更新聚类结果。插入对象有可能使两个或多个聚类合并为一个，因为插入对象周围密度的增加可能会形成新的核心对象，进而产生新的密度可达关系。由于算法基于密度的特性，一个对象的插入只影响到其邻域对象的密度，因此算法从插入对象的邻域对象开始处理。
定义1：D为对象集，p为插入的对象。UpdSeedsIns(p)＝{q|q是DU{p}中的核心对象，存在o，o是DU{p}中的核心对象，但不是D中的核心对象，且q∈NEps(o)}。
当一个对象p插入到D中时，对以下4种可能发生的情况分别进行处理：
(1)异常点：若
且NEps(p)内无核心对象，则将p标记为异常点。
(2)创建新的聚类：若UpdSeedsIns(p)包含核心对象，这些核心对象不属于任何一个聚类且其密度可达对象中无已知聚类中的核心对象，则创建一个新的聚类。
(3)归入已有聚类：若UpdSeedsIns(p)包含的所有核心对象在p插入前都属于同一个聚类，或UpdSeedsIns(p)包含的核心对象属于不同的聚类且在p插入后不同聚类间的对象仍然不满足密度可达，或
且NEps(p)内有核心对象，则将对象p加入已有的聚类中。
(4)聚类合并：若UpdSeedsIns(p)中包含的核心对象在p插入前不全部属于同一个聚类，而随着p插入后这些不同聚类的核心对象变为密度可达，则将这些不同的聚类以及对象p合并为一个聚类。
作为一种实施方式，本实施例为了节省存储空间，还需要将前一个数据集Ni-1中的数据从聚类中删除。
删除对象可能使一个聚类分裂为两个或多个聚类，因为删除对象周围密度的减小可能会引起原核心对象的消除进而改变原来的密度可达关系，所以不能将待删除数据从原有聚类中去掉。根据对删除对象引起原聚类分裂的分析在更新时可以从改变核心状态对象的邻域内包含的所有核心对象开始进行处理。
定义2：D为对象集，p为删除的对象。UpdSeedsDel(p)＝{q|q是D-{p}中的核心对象，存在o，o是D中的核心对象，但不是D-(p}中的核心对象，且q∈NEps(o)}。
当一个对象p从D中删除时，对以下4种可能发生的情况分别进行处理：
(1)异常点：若对象p是异常点，则将对象p直接删除，其他对象保持不变。因为异常点对其他聚类没有影响。
(2)消除一个聚类：若
且删除前对象p不为异常点，删除对象p后NEps(p)内不再有核心对象，则原属于对象p所在聚类的其他对象被标记为异常点。
(3)从已有聚类中删除：若UpdSeedsDel(p)内的对象彼此直接密度可达，或
但NEps(p)内仍有核心对象，则在删除对象p后这些对象仍然属于同一个聚类。
(4)聚类分裂：若UpdSeedsDel(p)内的对象不能彼此直接密度可达，则原来的聚类要在UpdSeedsDel(p)内的对象之间产生分裂，分裂为两个或多个聚类。
作为一种实施方式，本实施例在初始聚类对数据集N1聚类的过程以及后续对数据集N2，…，Nn增量聚类的过程中产生的异常点信息及时进行告警。
本实施例提供的网络流量异常检测方法将增量学习应用到网络流量异常检测中，解决了对于动态数据的异常检测问题，避免了传统方法产生的大量时间开销和重复计算。通过增量式学习满足网络流量异常检测对于实时性的要求，能够做到对新数据及时检测，更加适用于网络流量的真实场景。通过动态地插入和删除数据，能够及时删除过时的数据，保证数据集大小始终保持在较小的水平，节省大量存储资源。通过无监督的聚类算法，避免了繁杂的数据标记工作。
实施例2
参照图2，如图2所示是本实施例提供的网络流量异常检测装置结构框图，该装置具体包括以下结构：
特征提取模块，特征提取模块响应于按批次获取的网络流量，对网络流量进行解析提取特征信息得到特征数据集；
聚类模块，对从第一批网络流量获取的特征数据集进行初始聚类，对后续获取的网络流量进行增量聚类，初始聚类的超参数包括聚类半径和最少聚类对象数量；
初始类创建模块，初始类创建模块判断每一个聚类对象中的聚类半径领域内是否至少包含最少聚类对象数量个对象，若是则为每一个聚类半径领域内至少包含最少聚类对象数量个对象的聚类对象创建初始类；
确定类创建模块，确定类创建模块判断每一个聚类半径领域内至少包含最少聚类对象数量个对象的聚类对象的聚类半径领域内中是否有其他聚类对象的聚类半径领域内至少包含最少聚类对象数量个对象，若是则将其他聚类对象追加到初始类中，直至没有新的对象可以追加，得到确定类；
异常点检测模块，异常点检测模块检测特征数据集是否存在点不属于任一确定类，若是则判定为异常点。
本实施例提供的网络流量异常检测装置将增量学习应用到网络流量异常检测中，解决了对于动态数据的异常检测问题，避免了传统方法产生的大量时间开销和重复计算。通过无监督的聚类算法，避免了繁杂的数据标记工作。
实施例3
本优选实施例提供了一种计算机设备，该计算机设备可以实现本申请实施例所提供的网络流量异常检测方法任一实施例中的步骤，因此，可以实现本申请实施例所提供的网络流量异常检测方法的有益效果，详见前面的实施例，在此不再赘述。
实施例4
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的网络流量异常检测方法中任一实施例的步骤。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一网络流量异常检测方法实施例中的步骤，因此，可以实现本发明实施例所提供的任一网络流量异常检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种网络流量异常检测方法，其特征在于，所述方法包括：
响应于按批次获取的网络流量，对所述网络流量进行解析提取特征信息得到特征数据集；
对从第一批网络流量获取的特征数据集进行初始聚类，对后续获取的网络流量进行增量聚类，所述初始聚类的超参数包括聚类半径和最少聚类对象数量；
判断每一个聚类对象中的聚类半径领域内是否至少包含最少聚类对象数量个对象，若是则为每一个聚类半径领域内至少包含最少聚类对象数量个对象的聚类对象创建初始类；
判断每一个聚类半径领域内至少包含最少聚类对象数量个对象的聚类对象的聚类半径领域内中是否有其他聚类对象的聚类半径领域内至少包含最少聚类对象数量个对象，若是则将所述其他聚类对象追加到所述初始类中，直至没有新的对象可以追加，得到确定类；
检测所述特征数据集是否存在点不属于任一确定类，若是则判定为异常点。
2.如权利要求1所述的网络流量异常检测方法，其特征在于，所述增量聚类包括通过后续获取的网络流量对所述初始聚类的结果进行更新。
3.如权利要求1所述的网络流量异常检测方法，其特征在于，所述通过后续获取的网络流量对所述初始聚类的结果进行更新具体包括：
获取新的网络流量的特征数据集；
将所述新的网络流量的特征数据集中的每一条数据和已有聚类中的记录进行比较，更新所述增量式聚类的结果，所述更新包括插入新的异常点、创建新的聚类、插入已有聚类和聚类合并。
4.如权利要求2所述的网络流量异常检测方法，其特征在于，所述增量聚类还包括获取新的网络流量的特征数据集后将前一个特征数据集中的数据从聚类中删除。
5.如权利要求4所述的网络流量异常检测方法，其特征在于，所述将前一个特征数据集中的数据从聚类中删除具体包括：
将前一个特征数据集中的数据从聚类中逐条删除，并对聚类结果进行修改，所述修改包括删除异常点、删除聚类、从已有聚类中删除和聚类分裂。
6.如权利要求1-5任一所述的网络流量异常检测方法，其特征在于，所述方法还包括每次检测到异常点信息时进行告警。
7.如权利要求1所述的网络流量异常检测方法，其特征在于，所述特征信息包括持续时间、出流量大小和入流量大小。
8.一种网络流量异常检测装置，其特征在于，所述装置包括：
特征提取模块，所述特征提取模块响应于按批次获取的网络流量，对所述网络流量进行解析提取特征信息得到特征数据集；
聚类模块，对从第一批网络流量获取的特征数据集进行初始聚类，对后续获取的网络流量进行增量聚类，所述初始聚类的超参数包括聚类半径和最少聚类对象数量；
初始类创建模块，所述初始类创建模块判断每一个聚类对象中的聚类半径领域内是否至少包含最少聚类对象数量个对象，若是则为每一个聚类半径领域内至少包含最少聚类对象数量个对象的聚类对象创建初始类；
确定类创建模块，所述确定类创建模块判断每一个聚类半径领域内至少包含最少聚类对象数量个对象的聚类对象的聚类半径领域内中是否有其他聚类对象的聚类半径领域内至少包含最少聚类对象数量个对象，若是则将所述其他聚类对象追加到所述初始类中，直至没有新的对象可以追加，得到确定类；
异常点检测模块，所述异常点检测模块检测所述特征数据集是否存在点不属于任一确定类，若是则判定为异常点。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的网络流量异常检测方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至7任一项所述的网络流量异常检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211647219.1A CN115987619A (zh) | 2022-12-21 | 2022-12-21 | 网络流量异常检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211647219.1A CN115987619A (zh) | 2022-12-21 | 2022-12-21 | 网络流量异常检测方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115987619A true CN115987619A (zh) | 2023-04-18 |
Family
ID=85975302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211647219.1A Pending CN115987619A (zh) | 2022-12-21 | 2022-12-21 | 网络流量异常检测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115987619A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886311A (zh) * | 2019-01-25 | 2019-06-14 | 北京奇艺世纪科技有限公司 | 增量聚类方法、装置、电子设备和计算机可读介质 |
| US20200322368A1 (en) * | 2019-04-03 | 2020-10-08 | Deutsche Telekom Ag | Method and system for clustering darknet traffic streams with word embeddings |
| CN112565270A (zh) * | 2020-12-08 | 2021-03-26 | 国网湖南省电力有限公司 | Http会话异常检测方法及检测系统 |
| CN114386468A (zh) * | 2020-10-16 | 2022-04-22 | 北京中科网威信息技术有限公司 | 网络异常流量检测方法、装置、电子设备及存储介质 |
| CN115118447A (zh) * | 2022-03-16 | 2022-09-27 | 杭州迦尔科技有限公司 | 工控网络流量的安全判别方法、装置、电子装置和介质 |
-
2022
- 2022-12-21 CN CN202211647219.1A patent/CN115987619A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886311A (zh) * | 2019-01-25 | 2019-06-14 | 北京奇艺世纪科技有限公司 | 增量聚类方法、装置、电子设备和计算机可读介质 |
| US20200322368A1 (en) * | 2019-04-03 | 2020-10-08 | Deutsche Telekom Ag | Method and system for clustering darknet traffic streams with word embeddings |
| CN114386468A (zh) * | 2020-10-16 | 2022-04-22 | 北京中科网威信息技术有限公司 | 网络异常流量检测方法、装置、电子设备及存储介质 |
| CN112565270A (zh) * | 2020-12-08 | 2021-03-26 | 国网湖南省电力有限公司 | Http会话异常检测方法及检测系统 |
| CN115118447A (zh) * | 2022-03-16 | 2022-09-27 | 杭州迦尔科技有限公司 | 工控网络流量的安全判别方法、装置、电子装置和介质 |
Non-Patent Citations (1)
| Title |
|---|
| 陈锋: "《基于聚类的增量数据挖掘研究》", 《中国优秀硕士学位论文全文数据库》, pages 27 - 43 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112148772A (zh) | 告警根因识别方法、装置、设备和存储介质 | |
| CN111898739B (zh) | 基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质 | |
| CN111368289B (zh) | 一种恶意软件检测方法和装置 | |
| WO2020000743A1 (zh) | 一种webshell检测方法及相关设备 | |
| WO2020056968A1 (zh) | 数据降噪方法、装置、计算机设备和存储介质 | |
| CN112839014A (zh) | 建立识别异常访问者模型的方法、系统、设备及介质 | |
| CN115098679A (zh) | 文本分类标注样本的异常检测方法、装置、设备及介质 | |
| CN110912908A (zh) | 网络协议异常检测方法、装置、计算机设备和存储介质 | |
| CN116186759A (zh) | 一种面向隐私计算的敏感数据识别与脱敏方法 | |
| CN113723555A (zh) | 异常数据的检测方法及装置、存储介质、终端 | |
| CN116841779A (zh) | 异常日志检测方法、装置、电子设备和可读存储介质 | |
| CN115189914A (zh) | 网络流量的应用程序编程接口api识别方法和装置 | |
| CN114584377A (zh) | 流量异常检测方法、模型的训练方法、装置、设备及介质 | |
| CN107920067B (zh) | 一种主动对象存储系统上的入侵检测方法 | |
| CN113821630B (zh) | 一种数据聚类的方法和装置 | |
| CN117390029A (zh) | 一种表项插入方法、装置、电子设备及存储介质 | |
| CN111414528B (zh) | 确定设备标识的方法、装置、存储介质及电子设备 | |
| CN112836747A (zh) | 眼动数据的离群处理方法及装置、计算机设备、存储介质 | |
| CN115987619A (zh) | 网络流量异常检测方法、装置、设备及介质 | |
| CN110874465B (zh) | 基于半监督学习算法的移动设备实体识别方法及装置 | |
| CN111708908A (zh) | 视频标签的添加方法及装置、电子设备、计算机可读存储介质 | |
| CN117729176B (zh) | 基于网络地址和响应体的应用程序接口聚合方法及装置 | |
| CN115858208B (zh) | 一种获取目标数据提取文本列表的方法 | |
| CN115543950B (zh) | 一种日志范化的数据处理系统 | |
| CN118823417A (zh) | 图像检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |