CN112329713A - 网络流量异常在线检测方法、系统、计算机设备及存储介质 - Google Patents

网络流量异常在线检测方法、系统、计算机设备及存储介质 Download PDF

Info

Publication number
CN112329713A
CN112329713A CN202011336443.XA CN202011336443A CN112329713A CN 112329713 A CN112329713 A CN 112329713A CN 202011336443 A CN202011336443 A CN 202011336443A CN 112329713 A CN112329713 A CN 112329713A
Authority
CN
China
Prior art keywords
energy
features
detection
frequency component
online detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011336443.XA
Other languages
English (en)
Inventor
曾忱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enyike Beijing Data Technology Co ltd
Original Assignee
Enyike Beijing Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enyike Beijing Data Technology Co ltd filed Critical Enyike Beijing Data Technology Co ltd
Priority to CN202011336443.XA priority Critical patent/CN112329713A/zh
Publication of CN112329713A publication Critical patent/CN112329713A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了本发明提供了一种网络流量异常在线检测方法、系统、计算机设备及存储介质，包括：数据获取步骤：将获得的网络流量按照发生的时间顺序对数据包进行编号形成数值序列，通过滑动窗口从所述数值序列中提取子序列；最终特征获得步骤：利用小波分析从每个滑动窗口内的所述子序列中提取能量特征及时域特征，将所述能量特征及所述时域特征融合后获得最终特征；检测模型获得步骤：根据所述最终特征对聚类模型中进行训练获得检测模型；在线检测步骤：根据在线检测数据通过所述检测模型输出检测结果。本发明网络流量异常在线检测系统的优势，检测效率有明显的提高。

Description

网络流量异常在线检测方法、系统、计算机设备及存储介质
技术领域
本发明属于网络流量异常在线检测领域，具体涉及一种网络流量异常在线检测方法、系统、计算机设备及存储介质。
背景技术
异常检测：不同于常规模式下的问题和任务，异常检测针对的是少数、不可预测或不确定、罕见的事件，它具有独特的复杂性，使得一般的机器学习和深度学习技术无效。
小波分析：时间(空间)频率的局部化分析，它通过伸缩平移运算对信号(函数)逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节，解决了Fourier变换的困难问题，成为继Fourier变换以来在科学方法上的重大突破。
(1)基于特征的异常检测方法：通过查找与异常特征匹配的网络流量数据中的模式来检测异常。这种基于特征的检测方法可以有效地处理一些常见的攻击行为。然而，由于所提取的特征是预先确定的，因此基于特征的检测方法不能检测一些相对少见的攻击和新类型的攻击。此外，规则特征库需要不断进行更新，否则将大大降低检测检测效果。
(2)基于统计分析的异常检测方法：该方法基于数值序列对数据进行采样和分析，并利用统计方法描述流量特征，检测异常。通过对网络中不同层次的流量数据的统计分析，建立了数据统计结果与常见的网络攻击之间的映射关系，以检测异常情况。这种方法可以应用于各种网络环境，保证了高准确率和低计算复杂度的攻击检测。然而，这种方法通常需要一个特定的阈值，当流型发生变化时，该阈值不能进行自适应调整。
(3)基于数据挖掘的异常检测方法：数据挖掘可以直接从大量的网络流量审计数据中总结出检测规则，而无需人工指定阈值。通常可以通过分析URL参数、POST参数、Cookie等Web攻击载荷，挖掘攻击载荷内部特征，如特征关键字、特殊字符频率等，然后用与各自的识别模型中。数据挖掘方法效果更好的同时也伴随着更加复杂的操作步骤和更低的执行效率。为了能够适应当前数据时代的发展和网络流量环境的规模不断扩大化，需要对其进一步优化。
本发明主要是为了解决大数据背景下网络流量异常检测的实时性、准确性。可以将网络流量视为信号，利用小波分析可以有效地检测短期和长期网络流量异常。将正常网络流量的时变信号与异常网络流量的时变信号进行比较可以发现，其频带范围或频率特性不同。小波分析能够表征信号的局部特征，并能有效地从信号中提取信息。利用小波分析可以同时分析时域和频域的异常流量信号，提高检测效率，降低误检率和漏检率。
发明内容
本申请实施例提供了一种网络流量异常在线检测方法、系统、计算机存储设备，以至少解决相关技术中主观因素影响的问题。
本发明提供了一种网络流量异常在线检测方法，其中，包括：
数据获取步骤：将获得的网络流量按照发生的时间顺序对数据包进行编号形成数值序列，通过滑动窗口从所述数值序列中提取子序列；
最终特征获得步骤：利用小波分析从每个滑动窗口内的所述子序列中提取能量特征及时域特征，将所述能量特征及所述时域特征融合后获得最终特征；
检测模型获得步骤：根据所述最终特征对聚类模型中进行训练获得检测模型；
在线检测步骤：根据在线检测数据通过所述检测模型输出检测结果。
优选地，能量特征提取步骤：利用小波分析从每个滑动窗口内的所述子序列中提取能量特征；
优选地，利用小波分析提取时域中的均值和标准差；
优选地，将所述均值和所述标准差加入所述能量特征中获得最终特征；
优选地，根据网络流量对所有数据包序列按时间从1开始排序，然后根据包长周期设置滑动时间窗口大小和步长划定所述子序列；
优选地，分解步骤：将所述子序列分解为低频分量和高频分量；
优选地，提取步骤：分别提取所述低频分量和所述高频分量的能量值；
优选地，计算步骤：根据所述能量值计算获得所述低频分量和所述高频分量在各层的能量在总能量中的占比做为所述能量特征。
本发明还提供了一种网络流量异常在线检测系统，其中，包括：
数据获取单元：将获得的网络流量按照发生的时间顺序对数据包进行编号形成数值序列，通过滑动窗口从所述数值序列中提取子序列；
最终特征获得单元：利用小波分析从每个滑动窗口内的所述子序列中提取能量特征及时域特征，将所述能量特征及所述时域特征融合后获得最终特征；
检测模型获得单元：根据所述最终特征对聚类模型中进行训练获得检测模型；
在线检测单元：根据在线检测数据通过所述检测模型输出检测结果；
优选地，所述最终特征获得单元包括：
优选地，利用小波分析从每个滑动窗口内的所述子序列中提取能量特征；
优选地，利用小波分析提取时域中的均值和标准差；
优选地，将所述均值和所述标准差加入所述能量特征中获得最终特征；
优选地，所述数据获取单元，根据网络流量对所有数据包序列按时间从1开始排序，然后根据包长周期设置滑动时间窗口大小和步长划定所述子序列；
优选地，所述能量特征提取模块，将所述子序列分解为低频分量和高频分量；所述能量特征提取模块，分别提取所述低频分量和所述高频分量的能量值；所述能量特征提取模块，根据所述能量值计算获得所述低频分量和所述高频分量在各层的能量在总能量中的占比做为所述能量特征。
本发明还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述中任一项所述的一种。
本发明还提供了一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述任一种网络流量异常在线检测方法。
与现有技术相比，本发明的有益效果如下：
本发明充对于时间、空间复杂的网络流量数据，采用小波分析进行特征抽取，既能够很好地表征时域和频域的局部特征，有效的分析出时域和频域上异常流量信号；又能做到快速计算，节省检测时间。利用层次聚类对流量数据进行进一步的检测，对于异常流量数据较少而无法精确学习到异常流量特点以及异常类别无法确定时，层次聚类能够在不明确有多少种异常流量种类的条件下对流量进行划分，也能分析出数据之间的层次关系。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
在附图中：
图1是网络流量异常在线检测方法的流程图；
图2是图6中步骤S2的分步骤流程图；
图3是图7中步骤S21的分步骤流程图；
图4是核心实现流程图；
图5是小波分解示意图；
图6是分解示意图；
图7是层次聚类树结构；
图8是本发明的网络流量异常在线检测系统的结构示意图；
图9是根据本发明实施例的计算机设备的框架图；
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
在详细阐述本发明各个实施例之前，对本发明的核心发明思想予以概述，并通过下述若干实施例予以详细阐述。
在详细阐述本发明各个实施例之前，对本发明的核心发明思想予以概述，并通过下述若干实施例予以详细阐述。
请参照图1，图1是网络流量异常在线检测方法的流程图。如图1所示，本发明的网络流量异常在线检测步骤包括：
数据获取步骤S1：将获得的网络流量按照发生的时间顺序对数据包进行编号形成数值序列，通过滑动窗口从所述数值序列中提取子序列；
最终特征获得步骤S2：利用小波分析从每个滑动窗口内的所述子序列中提取能量特征及时域特征，将所述能量特征及所述时域特征融合后获得最终特征；
检测模型获得步骤S3：根据所述最终特征对聚类模型中进行训练获得检测模型；
在线检测步骤S4：根据在线检测数据通过所述检测模型输出检测结果。
其中，所述数据获取步骤S1中包括：根据网络流量对所有数据包序列按时间从1开始排序，然后根据包长周期设置滑动时间窗口大小和步长划定所述子序列。
请参照图2，图2是图1中步骤S2的分步骤流程图。如图2所示，所述最终特征获得步骤S2包括：
能量特征提取步骤S21：利用小波分析从每个滑动窗口内的所述子序列中提取能量特征；
时域特征提取步骤S22：利用小波分析提取时域中的均值和标准差；
融合步骤S23：将所述均值和所述标准差加入所述能量特征中获得最终特征。
请参照图3，图3是图2中步骤S21的分步骤流程图。如图3所示，所述能量特征提取步骤S21包括：
分解步骤S211：将所述子序列分解为低频分量和高频分量；
提取步骤S212：分别提取所述低频分量和所述高频分量的能量值；
计算步骤S213：根据所述能量值计算获得所述低频分量和所述高频分量在各层的能量在总能量中的占比做为所述能量特征。以下，列举实施例具体说明本发明的网络流量异常在线检测方法如下。
实施例一：
本实例揭示了一种网络流量异常在线检测方法(以下简称“方法”)的具体实施方式。请参照图4-图7，图4是核心实现流程图；图5是小波分解示意图；图6是分解示意图；图7是层次聚类树结构。结合图4-图7具体说明本方法的工作过程如下：
具体而言参，本实施例所揭示的方法主要包括以下步骤：
网络流量异常检测可以监控网络工作状态是否健康，这对于确保网络系统的正常工作是意义重大的。也是网络安全领域的重点研究方向。根据目前的形式，大多数网络流量检测系统都不完美。主要问题是入侵数据的复杂性和特征的多样性，导致误报率高、自适应性差(即难以发现新的攻击)。因此从学术研究和落地应用两个方面来说网络流量异常检测都是热点关注问题。
本发明主要是将获得的网络流量按照发生的时间顺序对数据包从1开始编号，形成(序号，包长)形式的数值序列。为了提取到足够多的特征，在长序列包中通过设置滑动窗口提取具有一定长度的子序列。然后利用小波分析对每个窗口内的子序列进行不同尺度的能量特征的提取。然后提取时域中的均值和标准差，将时域特征和频域特征融合为最终特征，并送入聚类模型中进行学习，从而达到提高检测效率，降低误检率和漏检率的目的。
本发明首先根据网络流量对所有数据包序列按时间排序，然后根据包长周期设置滑动时间窗口大小和一定的步长划定子序列，每个窗口内的数据包都看成一个单位数据流。利用小波分析对单位数据流进行特征抽取。小波分析有三个明显的特性：(1)时频两域特性：它能够表征信号在时频两个域内的局部特性。(2)多尺度变换特性：利用小波分析按照需求对信号进行一些层数的分解，既可以粗略的也可以仔细的观察信号特征，有利于在不同尺度上提取不同的特征。(3)计算效率高：小波变换的速度要远远快于快速傅里叶变换。因此在特征抽取时，将小波看出一个带通滤波器。数据序列看成信号经由分别通过低通(G)和高通(H)滤波器进行小波分解成不同频域的序列数据，然后对不同频域的数据做针对性分析和处理。
分解的低频分量包含信号特征，提取低频特征可以分析流量异常的整体特征。高频成分反映细节或信号的差异，提取高频特征用来区分不同种类流量异常。因次提取低频信号和高频信号的能量值，分别计算它们的能量比作为特征。分解信号提取能量值时，要使的维数尽可能低以及特征具有显著的类别差异。小波变换作为一种时-频窗面积固定、形状可自适应调整的信号分析工具，在时、频局部化方面具有独特优势，利用小波变换进行分量分解是非常适用的。小波分解在分解高频分量时，当高频分量仅包含单个样本时分解就可以停止，分解低频分量时，待低频分量的波形没有变化即可停止分解。将离散haar小波对序列进行J层的尺度分解，分解尺度函数为：
Figure BDA0002797364520000081
Haar小波：
Figure BDA0002797364520000082
dj，k为小波系数,表示尺度j上的细节信息；aj，k为近似系数，表示尺度上的逼近信息。
将高频分量和低频分量进行一定的层数分解后，计算各分量在各层的能量在总能量中的占比，作为能量特征，然后加入序列的平均值、标准差，最后送入聚类模型进行学习。
层次聚类的主要思想是计算各个数据点的相似度，最终形成树形分布图，对数据集在不同的层次上进行划分.其中数据集的划分分为自底向上和自顶向下2种方法，根据聚类树划分的不同，对应不同的聚类算法。本发明采用的是通过自底向上的层次聚类方法，将相似度最高的初始簇两两合并，并不断迭代，从而聚合生成聚类树。在这里选用层次聚类模型来作为异常流量检测的工具，是因为网络中已有的对异常流量进行标记的数据较少，本发明使用的凝聚层次聚类算法的优点为:可以对无标签数据进行分类，利用已有数据之间的关系实现类别分离，并且不需要预先指定聚类数，能够发现类的层次关系。
实施例二：
本发明的一种网络流量异常在线检测系统，其中，包括：
数据获取单元11：将获得的网络流量按照发生的时间顺序对数据包进行编号形成数值序列，通过滑动窗口从所述数值序列中提取子序列；
最终特征获得单元12：利用小波分析从每个滑动窗口内的所述子序列中提取能量特征及时域特征，将所述能量特征及所述时域特征融合后获得最终特征；
检测模型获得单元13：根据所述最终特征对聚类模型中进行训练获得检测模型；
在线检测单元14：根据在线检测数据通过所述检测模型输出检测结果。
进一步地，所述最终特征获得单元12包括：
能量特征提取模块121，利用小波分析从每个滑动窗口内的所述子序列中提取能量特征；
时域特征提取模块122，利用小波分析提取时域中的均值和标准差；
融合模块123，将所述均值和所述标准差加入所述能量特征中获得最终特征。
其中，所述数据获取单元11根据网络流量对所有数据包序列按时间从1开始排序，然后根据包长周期设置滑动时间窗口大小和步长划定所述子序列。
更进一步地，所述能量特征提取模块121将所述子序列分解为低频分量和高频分量；所述能量特征提取模块121分别提取所述低频分量和所述高频分量的能量值；所述能量特征提取模块121根据所述能量值计算获得所述低频分量和所述高频分量在各层的能量在总能量中的占比做为所述能量特征。
为了提取到足够多的特征，在长序列包中通过设置滑动窗口提取具有一定长度的子序列。然后利用小波分析对每个窗口内的子序列进行不同尺度的能量特征的提取。然后提取时域中的均值和标准差，将时域特征和频域特征融合为最终特征，并送入聚类模型中进行学习，学习完成后进入检测模块进行检测，输出进入实时检测模块进行进一步实时检测，随后输出检测结果。实施例三：
结合9所示，本实施例揭示了一种计算机设备的一种具体实施方式。计算机设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electr ically ErasableProgrammable Read-Only Memory，简称为EEPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-AccessMemory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode DynamicRandom Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种网络流量异常在线检测方法。
在其中一些实施例中，计算机设备还可包括通信接口83和总线80。其中，如图9所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EI SA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该计算机设备可以基于网络流量异常在线检测方法进行进行网络异常流量的检测，从而实现结合图1-图3描述的方法。
另外，结合上述实施例中网络流量异常在线检测方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于网络流量异常在线检测方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
综上所述，基于本发明的有益效果在于，对于时间、空间复杂的网络流量数据，采用小波分析进行特征抽取，既能够很好地表征时域和频域的局部特征，有效的分析出时域和频域上异常流量信号；又能做到快速计算，节省检测时间。利用层次聚类对流量数据进行进一步的检测，对于异常流量数据较少而无法精确学习到异常流量特点以及异常类别无法确定时，层次聚类能够在不明确有多少种异常流量种类的条件下对流量进行划分，也能分析出数据之间的层次关系。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种网络流量异常在线检测方法，其特征在于，包括：
数据获取步骤：将获得的网络流量按照发生的时间顺序对数据包进行编号形成数值序列，通过滑动窗口从所述数值序列中提取子序列；
最终特征获得步骤：利用小波分析从每个滑动窗口内的所述子序列中提取能量特征及时域特征，将所述能量特征及所述时域特征融合后获得最终特征；
检测模型获得步骤：根据所述最终特征对聚类模型中进行训练获得检测模型；
在线检测步骤：根据在线检测数据通过所述检测模型输出检测结果。
2.如权利要求1所述的基于小波分析和聚类模型的网络流量异常在线检测方法，其特征在于，所述最终特征获得步骤包括：
能量特征提取步骤：利用小波分析从每个滑动窗口内的所述子序列中提取能量特征；
时域特征提取步骤：利用小波分析提取时域中的均值和标准差；
融合步骤：将所述均值和所述标准差加入所述能量特征中获得最终特征。
3.如权利要求1所述的网络流量异常在线检测方法，其特征在于，所述数据获取步骤中包括：
根据网络流量对所有数据包序列按时间从1开始排序，然后根据包长周期设置滑动时间窗口大小和步长划定所述子序列。
4.如权利要求3所述的网络流量异常在线检测方法，其特征在于，所述能量特征提取步骤包括：
分解步骤：将所述子序列分解为低频分量和高频分量；
提取步骤：分别提取所述低频分量和所述高频分量的能量值；
计算步骤：根据所述能量值计算获得所述低频分量和所述高频分量在各层的能量在总能量中的占比做为所述能量特征。
5.一种网络流量异常在线检测系统，其特征在于，包括：
数据获取单元：将获得的网络流量按照发生的时间顺序对数据包进行编号形成数值序列，通过滑动窗口从所述数值序列中提取子序列；
最终特征获得单元：利用小波分析从每个滑动窗口内的所述子序列中提取能量特征及时域特征，将所述能量特征及所述时域特征融合后获得最终特征；
检测模型获得单元：根据所述最终特征对聚类模型中进行训练获得检测模型；
在线检测单元：根据在线检测数据通过所述检测模型输出检测结果。
6.如权利要求5所述的基于小波分析和聚类模型的网络流量异常在线检测系统，其特征在于，所述最终特征获得单元包括：
能量特征提取模块，利用小波分析从每个滑动窗口内的所述子序列中提取能量特征；
时域特征提取模块，利用小波分析提取时域中的均值和标准差；
融合模块，将所述均值和所述标准差加入所述能量特征中获得最终特征。
7.如权利要求5所述的网络流量异常在线检测系统，其特征在于，所述数据获取单元，根据网络流量对所有数据包序列按时间从1开始排序，然后根据包长周期设置滑动时间窗口大小和步长划定所述子序列。
8.如权利要求6所述的网络流量异常在线检测系统，其特征在于，所述能量特征提取模块，将所述子序列分解为低频分量和高频分量；所述能量特征提取模块，分别提取所述低频分量和所述高频分量的能量值；所述能量特征提取模块，根据所述能量值计算获得所述低频分量和所述高频分量在各层的能量在总能量中的占比做为所述能量特征。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的一种网络流量异常在线检测方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一种网络流量异常在线检测方法。
CN202011336443.XA 2020-11-25 2020-11-25 网络流量异常在线检测方法、系统、计算机设备及存储介质 Pending CN112329713A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011336443.XA CN112329713A (zh) 2020-11-25 2020-11-25 网络流量异常在线检测方法、系统、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011336443.XA CN112329713A (zh) 2020-11-25 2020-11-25 网络流量异常在线检测方法、系统、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112329713A true CN112329713A (zh) 2021-02-05

Family

ID=74309493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011336443.XA Pending CN112329713A (zh) 2020-11-25 2020-11-25 网络流量异常在线检测方法、系统、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112329713A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113364702A (zh) * 2021-06-04 2021-09-07 上海明略人工智能(集团)有限公司 广告流量异常检测方法、系统、存储介质及电子设备
CN113364752A (zh) * 2021-05-27 2021-09-07 鹏城实验室 一种流量异常检测方法、检测设备及计算机可读存储介质
CN113676599A (zh) * 2021-08-20 2021-11-19 上海明略人工智能(集团)有限公司 网络通话质量检测方法、系统、计算机设备及存储介质
CN113794680A (zh) * 2021-08-04 2021-12-14 清华大学 基于频域分析的高带宽场景下的恶意流量检测方法和装置
CN113868006A (zh) * 2021-10-09 2021-12-31 中国建设银行股份有限公司 时间序列的检测方法、装置、电子设备及计算机存储介质
CN114363005A (zh) * 2021-12-08 2022-04-15 北京六方云信息技术有限公司 基于机器学习的icmp检测方法、系统、设备及介质
CN115514686A (zh) * 2021-06-23 2022-12-23 深信服科技股份有限公司 一种流量采集方法、装置及电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246326A (ja) * 2005-03-07 2006-09-14 Tohoku Univ ネットワーク異常検出方法
CN109902703A (zh) * 2018-09-03 2019-06-18 华为技术有限公司 一种时间序列异常检测方法及装置
CN110149315A (zh) * 2019-04-24 2019-08-20 南京邮电大学 异常网络流量检测方法、可读存储介质和终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246326A (ja) * 2005-03-07 2006-09-14 Tohoku Univ ネットワーク異常検出方法
CN109902703A (zh) * 2018-09-03 2019-06-18 华为技术有限公司 一种时间序列异常检测方法及装置
CN110149315A (zh) * 2019-04-24 2019-08-20 南京邮电大学 异常网络流量检测方法、可读存储介质和终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杜臻 等: "一种基于小波分析的网络流量异常检测方法", 《计算机科学》, vol. 46, no. 8, pages 178 - 182 *
蹇诗婕 等: "基于层次聚类方法的流量异常检测", 《信息安全研究》, vol. 6, no. 6, pages 474 - 481 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113364752A (zh) * 2021-05-27 2021-09-07 鹏城实验室 一种流量异常检测方法、检测设备及计算机可读存储介质
CN113364702A (zh) * 2021-06-04 2021-09-07 上海明略人工智能(集团)有限公司 广告流量异常检测方法、系统、存储介质及电子设备
CN113364702B (zh) * 2021-06-04 2024-04-12 上海明略人工智能(集团)有限公司 广告流量异常检测方法、系统、存储介质及电子设备
CN115514686A (zh) * 2021-06-23 2022-12-23 深信服科技股份有限公司 一种流量采集方法、装置及电子设备和存储介质
CN113794680A (zh) * 2021-08-04 2021-12-14 清华大学 基于频域分析的高带宽场景下的恶意流量检测方法和装置
CN113794680B (zh) * 2021-08-04 2022-12-06 清华大学 基于频域分析的高带宽场景下的恶意流量检测方法和装置
CN113676599A (zh) * 2021-08-20 2021-11-19 上海明略人工智能(集团)有限公司 网络通话质量检测方法、系统、计算机设备及存储介质
CN113676599B (zh) * 2021-08-20 2024-03-22 上海明略人工智能(集团)有限公司 网络通话质量检测方法、系统、计算机设备及存储介质
CN113868006A (zh) * 2021-10-09 2021-12-31 中国建设银行股份有限公司 时间序列的检测方法、装置、电子设备及计算机存储介质
CN113868006B (zh) * 2021-10-09 2024-03-01 中国建设银行股份有限公司 时间序列的检测方法、装置、电子设备及计算机存储介质
CN114363005A (zh) * 2021-12-08 2022-04-15 北京六方云信息技术有限公司 基于机器学习的icmp检测方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN112329713A (zh) 网络流量异常在线检测方法、系统、计算机设备及存储介质
Alrawashdeh et al. Toward an online anomaly intrusion detection system based on deep learning
CN107070943B (zh) 基于流量特征图和感知哈希的工业互联网入侵检测方法
CN113470695A (zh) 声音异常检测方法、装置、计算机设备及存储介质
CN109120592A (zh) 一种基于用户行为的Web异常检测系统
CN109784046B (zh) 一种恶意软件检测方法、装置与电子设备
CN111641634A (zh) 一种基于蜜网的工业控制网络主动防御系统及其方法
CN112839014A (zh) 建立识别异常访问者模型的方法、系统、设备及介质
CN112465798A (zh) 一种基于生成对抗网络和记忆模块的异常检测方法
CN113962324A (zh) 图片检测方法、装置、存储介质及电子设备
CN114218998A (zh) 一种基于隐马尔可夫模型的电力系统异常行为分析方法
Chen et al. Using adversarial examples to bypass deep learning based url detection system
CN111563531A (zh) 视频篡改检测方法、系统、存储介质、计算机程序、终端
CN116707859A (zh) 特征规则提取方法和装置、网络入侵检测方法和装置
CN114710310B (zh) 基于网络流量频域指纹的Tor用户访问网站识别方法及系统
Wang et al. Malware detection using cnn via word embedding in cloud computing infrastructure
CN115643065A (zh) 一种网络攻击事件检测方法及系统
CN115150206A (zh) 一种信息安全用的入侵检测安全预警系统及其方法
Wang et al. Intrusion detection algorithms based on correlation information entropy and binary particle swarm optimization
Schneble et al. Optimal feature selection for intrusion detection in medical cyber-physical systems
Milo et al. Anomaly detection in rolling element bearings via hierarchical transition matrices
Malviya et al. An Efficient Network Intrusion Detection Based on Decision Tree Classifier & Simple K-Mean Clustering using Dimensionality Reduction-A Review
He et al. An improved kernel clustering algorithm used in computer network intrusion detection
Arbon et al. Anomaly detection in satellite communications networks using support vector machines
CN116756578B (zh) 车辆信息安全威胁聚合分析预警方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination