CN115277098B - 一种基于智能学习的网络流量异常检测装置及方法 - Google Patents

一种基于智能学习的网络流量异常检测装置及方法 Download PDF

Info

Publication number
CN115277098B
CN115277098B CN202210744539.2A CN202210744539A CN115277098B CN 115277098 B CN115277098 B CN 115277098B CN 202210744539 A CN202210744539 A CN 202210744539A CN 115277098 B CN115277098 B CN 115277098B
Authority
CN
China
Prior art keywords
data
importance
image data
image
mapper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210744539.2A
Other languages
English (en)
Other versions
CN115277098A (zh
Inventor
张树贵
王元卓
周俊
李阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhutai Technology Co ltd
Original Assignee
Shenzhen Zhutai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhutai Technology Co ltd filed Critical Shenzhen Zhutai Technology Co ltd
Priority to CN202210744539.2A priority Critical patent/CN115277098B/zh
Publication of CN115277098A publication Critical patent/CN115277098A/zh
Application granted granted Critical
Publication of CN115277098B publication Critical patent/CN115277098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于智能学习的网络流量异常检测装置及方法，该装置包括：数据采集部，其控制第一数据引擎抓取网络上的原始流量数据包并进行存储；数据异常检测部，其利用第二数据引擎针对所述数据包智能分析确定所述数据包中表征的访问行为，并利用检测规则生成器生成与所述访问行为匹配的异常检测规则，调用所述异常检测规则对所述数据包表征的访问行为进行异常检测，所述第二数据引擎包括基于预设第一数据组集合而对数据包表征的访问行为种类进行智能学习而得到的学习完毕模型，所述预设第一数据组为，将历史采集的数据包和访问行为种类建立了对应关系的数据组。本发明基于智能学习实现灵活适应于各种特定场景下的流量异常检测。

Description

一种基于智能学习的网络流量异常检测装置及方法
技术领域
本发明涉及网络流量分析技术领域，具体涉及一种基于智能学习的网络流量异常检测装置及方法。
背景技术
随着信息化的日渐深入，互联网正在成为国家的关键信息基础设施，各种基于网络的应用也日益广泛，网络安全关系到国家和社会的根本利益。目前，保障国家骨干网络安全以及大型网络运营商、大型企事业单位的网络安全方面面临一些重大的技术问题：如何及时、准确、全面地掌握整体网络安全状况；如何针对网络安全的整体情况及时准确地做出威胁评估、预警和应对方案的选择；针对网络安全危机事件，如何及时有效地采取相应的危机控制措施等。为了应对网络安全的挑战，VPN、IDS、防火墙等安全防护和管理系统得到了广泛应用。
现有技术中，常用的异常检测行为分析包括以下几种，第一种，建立一个系统访问正常行为的模型，凡是访问者不符合这个模型的行为将被断定为异常；第二种，将所有可能发生的不利的不可接受的行为归纳建立一个模型，凡是访问者符合这个模型的行为将被断定为异常，此二种方法的前提是需要建立特殊场景下的模型，现场实施前要耗费大量时间分析特定场景流量数据，提取出符合特定场景的异常检测模型和无用检测模型。
发明内容
针对上述现有技术存在的问题，本申请提供了一种基于智能学习的网络流量异常检测装置及方法，实现灵活适应于各种特定场景下的流量异常检测。该技术方案如下：
一方面，本申请提供了一种基于智能学习的网络流量异常检测装置，包括：
数据采集部，其控制第一数据引擎抓取网络上的原始流量数据包并进行存储；
数据异常检测部，其利用第二数据引擎针对所述数据包智能分析确定所述数据包中表征的访问行为，并利用检测规则生成器生成与所述访问行为匹配的异常检测规则，调用所述异常检测规则对所述数据包表征的访问行为进行异常检测，所述第二数据引擎包括基于预设第一数据组集合而对数据包表征的访问行为种类进行智能学习而得到的学习完毕模型，所述预设第一数据组为，将历史采集的数据包和访问行为种类建立了对应关系的数据组。
在一种实施方式中，上述的基于智能学习的网络流量异常检测装置，还包括：
数据中转处理部，其控制第三数据引擎针对数据采集部采集的数据包确定与所述数据包匹配的数据预处理策略，并基于所述数据预处理策略对采集部采集的数据包进行预处理，所述第三数据引擎包括基于携带数据预处理策略标注的数据包的第二数据集智能学习完成的数据预处理策略分析模型。
在一种实施方式中，所述第二数据引擎针对所述数据包智能分析确定所述数据包中表征的访问行为，包括：
基于所述数据包提取流量数据特征；
基于所述流量数据特征生成图像数据；
针对所述图像数据利用重要性特征分析模块获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算，获取第一重要性数据；
基于第一重要性数据在重要性特征分析模块提取第二方面重要性数据分布特征并基于所述第二方面重要性数据分布特征针对所述图像数据从所述第二方面进行重要性数据分析，获取第二重要性数据，所述第二方面重要性数据分布特征表征所述图像数据中每个图像区域对于表征所述访问行为的重要性大小；
基于第二重要性数据进行分类，确定所述数据包中的访问行为种类。
在一种实施方式中，所述针对所述图像数据利用获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算，获取第一重要性数据，包括：
基于所述图像数据获取其每个通道图像，针对每个通道图像进行余弦函数计算获取所述通道图像的余弦成分；
基于每个所述通道图像的余弦成分通过全连接层和激活函数获取所述图像数据的第一方面重要性分配权重；
基于所述第一方面重要性分配权重对所述图像数据从所述第一方面进行加权计算，获取第一重要性数据。
在一种实施方式中，所述针对所述图像数据利用重要性特征分析模块获取第一方面重要性分配权重之前，还包括：
基于所述图像数据经过第一预设非线性映射器转换到低维映射空间，获取降维数据；
基于第一预设非线性映射器的输出数据经过第二预设非线性逆映射器进行逆转换，获取所述图像数据中与流量异常检测关联的关键特征数据；
所述第一预设非线性映射器、第二预设非线性逆映射器为经过智能学习的深度神经网络模型，所述第一预设非线性映射器、第二预设非线性逆映射器在智能学习时的优化目标函数基于第一预设非线性映射器的输入与第二预设非线性逆映射器的输出之间的损失函数值确定。
在一种实施方式中，所述第一预设非线性映射器、第二预设非线性逆映射器中的隐藏层至少为4层。
在一种实施方式中，所述优化目标函数L＝L1+L2，
其中L2＝||σ||1，其中L1表征第一
预设非线性映射器的输入与第二预设非线性逆映射器的输出之间的损失函数值，n表示智能学习中第n个输入样本，其中，||*||1表示1-范式化计算，L2＝||σ||1表征第一预设非线性映射器、第二预设非线性逆映射器中每个隐藏层经过激活函数计算后的激活函数值的绝对值之和。
又一方面，本申请提供了一种基于智能学习的网络流量异常检测方法，包括：
基于第一数据引擎抓取网络上的原始流量数据包并进行存储；
基于第二数据引擎针对所述数据包智能分析确定所述数据包中表征的访问行为，所述第二数据引擎包括基于预设第一数据组集合而对数据包表征的访问行为种类进行智能学习而得到的学习完毕模型，所述预设第一数据组为，将历史采集的数据包和访问行为种类建立了对应关系的数据组；
利用检测规则生成器生成与所述访问行为匹配的异常检测规则，调用所述异常检测规则对所述数据包表征的访问行为进行异常检测。
在一种实施方式中，所述第二数据引擎中包括第一预设非线性映射器、第二预设非线性逆映射器、重要性特征分析模块，
其中所述第一预设非线性映射器、第二预设非线性逆映射器用于实现：基于所述图像数据经过第一预设非线性映射器转换到低维映射空间，获取降维数据；基于第一预设非线性映射器的输出数据经过第二预设非线性逆映射器进行逆转换，获取所述图像数据中与流量异常检测关联的关键特征数据；
所述重要性特征分析模块用于实现：针对所述图像数据利用重要性特征分析模块获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算，获取第一重要性数据；
基于第一重要性数据在重要性特征分析模块提取第二方面重要性数据分布特征并基于所述第二方面重要性数据分布特征针对所述图像数据从所述第二方面进行重要性数据分析，获取第二重要性数据，所述第二方面重要性数据分布特征表征所述图像数据中每个图像区域对于表征所述访问行为的重要性大小。
又一方面，本申请提供了一种电子设备，包括处理器、存储器、通信模块、显示屏，其中，所述处理器通过总线分别耦合所述存储器、所述通信模块、所述显示器，所述处理器用于调用所述存储器存储的指令，实现上述网络流量异常检测装置实现的网络流量异常检测过程。
本发明的一种基于智能学习的网络流量异常检测装置及方法，具备如下有益效果：对于不同场景下的流量，不需要预先积累对应的访问正常行为数据库、异常行为数据库或者流量异常通用库，基于智能学习，可以灵活适应于各种特定场景下的流量异常检测，对于各种场景下的流量数据，通过智能学习分析其表征的访问行为，进一步根据其表征的访问行为自动生成匹配的异常检测规则，实现基于异常检测规则对流量数据进行异常检测。本申请的网络流量异常检测装置实现的流量异常检测具有高效性和高准确性。
附图说明
图1是本申请实施例中基于智能学习的网络流量异常检测装置的结构示意图；
图2是本申请实施例中第二数据引擎的结构示意图；
图3是本申请实施例中第二数据引擎进行设备访问行为种类分析的流程示意图；
图4是本申请实施例中第二数据引擎获取第一重要性数据的流程示意图；
图5是本申请实施例中基于智能学习的网络流量异常检测方法的流程示意图；
图6是本申请实施例中基于智能学习的网络流量异常检测电子设备的结构示意图。
具体实施方式
现在将详细参考本申请的优选实施方式，其示例示出于附图中。下面将参照附图给出的详细描述旨在说明本申请的示例性实施方式，而非示出可根据本申请实现的仅有实施方式。以下详细描述包括具体细节以便提供本申请的彻底理解。然而，对于本领域技术人员而言将显而易见的是，本申请可在没有这些具体细节的情况下实践。
参见图1，本申请实施例中公开了一种基于智能学习的网络流量异常检测装置，该装置包括：
数据采集部1，其控制第一数据引擎4抓取网络上的原始流量数据包并进行存储；
数据异常检测部2，其利用第二数据引擎5针对所述数据包智能分析确定所述数据包中表征的访问行为，并利用检测规则生成器6生成与所述访问行为匹配的异常检测规则，调用所述异常检测规则对所述数据包表征的访问行为进行异常检测，所述第二数据引擎5包括基于预设第一数据组集合而对数据包表征的访问行为种类进行智能学习而得到的学习完毕模型，所述预设第一数据组为，将历史采集的数据包和访问行为种类建立了对应关系的数据组。
可以理解，常用的异常检测行为分析有两种模式，第一种模式为：建立一个系统访问正常行为的模型，凡是访问者不符合这个模型的行为将被断定为异常；第二种模式为：将所有可能发生的不利的不可接受的行为归纳建立一个模型，凡是访问者符合这个模型的行为将被断定为异常。这两种模式下，都需要预先建立特殊场景下的模型，现场实施前要耗费大量时间分析特定场景流量数据，提取出符合特定场景的异常检测模型和无用检测模型。
另外还有一种方式是自带通用的异常检测通用库，于特定场景无关，此种方式准确率高，但是异常检测通用库需要长时间积累，而且现场需要定期更新异常监测通用库。
本申请实施例中，对于不同场景下的流量，不需要预先积累对应的访问正常行为数据库、异常行为数据库或者流量异常通用库，基于智能学习，可以灵活适应于各种特定场景下的流量异常检测，对于各种场景下的流量数据，通过智能学习分析其表征的访问行为，进一步根据其表征的访问行为自动生成匹配的异常检测规则，实现基于异常检测规则对流量数据进行异常检测。本申请的网络流量异常检测装置实现的流量异常检测具有高效性和高准确性。
在本申请实施方式中，上述基于智能学习的网络流量异常检测装置，还包括：
数据中转处理部3，其控制第三数据引擎7针对数据采集部采集的数据包确定与所述数据包匹配的数据预处理策略，并基于所述数据预处理策略对采集部采集的数据包进行预处理，所述第三数据引擎包括基于携带数据预处理策略标注的数据包的第二数据集智能学习完成的数据预处理策略分析模型8。
本申请实施例中，在第一数据引擎抓取网络上的原始流量数据包时，会将所有网络数据流都保存下来存在存储器上，其中包括很多无用的数据包，本申请中针对采集的数据包进行数据预处理，基于采集的数据包的特性进行数据预处理策略匹配，实现基于数据包自身特性有针对性的清除掉无用或者垃圾流量数据。在一种实施方式中，可以通过模型在数据包中提取自身包含的冗余数据特征、无效字段特征、错误字段特征等，基于数据包自身的上述特征对应调用对应的数据预处理方法，也可以基于多个数据包之间的冗余关系特征、无效关系特征等进行预处理去除冗余数据包或者无效数据包。
进一步的，参见图3，上述第二数据引擎5针对所述数据包智能分析确定所述数据包中表征的访问行为，包括如下步骤：
步骤11，基于所述数据包提取流量数据特征；
步骤12，基于所述流量数据特征生成图像数据；
步骤13，针对所述图像数据利用重要性特征分析模块11获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算，获取第一重要性数据；
步骤14，基于第一重要性数据在重要性特征分析模块11提取第二方面重要性数据分布特征并基于所述第二方面重要性数据分布特征针对所述图像数据从所述第二方面进行重要性数据分析，获取第二重要性数据，所述第二方面重要性数据分布特征表征所述图像数据中每个图像区域对于表征所述访问行为的重要性大小；
步骤15，基于第二重要性数据进行分类，确定所述数据包中的访问行为种类。
本申请实施例中，将流量数据包数据针对基于流量数据包生成的图像采用注意力机制进行流量数据包的数据深层分析挖掘，采用重要性特征分析机制专注流量数据包中的有效度高的数据信息，具体的，先通过第一方面重要性分配权重对图像数据进行重要性数据分析，进一步通过第二方面重要性数据分布特征对对图像数据进行重要性数据分析，从两个方面对图像数据有效特征分析，提高了图像数据的特征提取精准性，进一步提高下一步数据包中的访问行为种类分析准确性。其中，第二方面重要性数据分布特征对图像数据的不同图像区域分别进行重要性分析，对图像区域中的低信息量区域赋予较小权重，对图像区域中的高信息量区域赋予较大权重，有效识别图像数据所对应的流量数据包中的访问行为种类。
参见图4，在本申请实施方式中，上述步骤13，针对所述图像数据利用获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算，获取第一重要性数据，包括：
步骤131，基于所述图像数据获取其每个通道图像，针对每个通道图像进行余弦函数计算获取所述通道图像的余弦成分；
步骤132，基于每个所述通道图像的余弦成分通过全连接层和激活函数获取所述图像数据的第一方面重要性分配权重；
步骤133，基于所述第一方面重要性分配权重对所述图像数据从所述第一方面进行加权计算，获取第一重要性数据。
本申请实施例中，第一方面重要性分配权重针对图像数据的每个通道计算其余弦成分，具体的可以基于预设余弦函数作用于该图像数据获取该图像数据的余弦成分，具体来说，针对一个宽度为a、高度为b的图像数据，针对图像中的每一像素位置(x,y)的图像数据I(x,y)分别进行余弦函数计算获取每一像素位置(x,y)的余弦成分x∈(1,a),y∈(1,b)，将所有像素位置(x,y)计算得到的/>进行融合得到在频率(ω1,ω2)下的余弦成分，其中，ω1∈(1,a)，ω2∈(1,b)，进而得到图像数据在各个频率下的余弦成分。进而基于每个通道图像在各个频率下的余弦成分通过全连接层和激活函数计算处理，获取图像数据的第一方面重要性分配权重。本申请实施例中采用计算图像数据余弦成分的方法实现在图像数据有效特征数据计算过程中保留更多重要信息，相比于池化过程对原始图像数据直接对输入图像过滤筛选重要特征数据进行有效特征数据计算的过程，本申请能够保留原始图像中的更多重要信息。
参见图4，在本申请实施方式中，上述步骤13之前，还包括：
步骤(1)，基于所述图像数据经过第一预设非线性映射器9转换到低维映射空间，获取降维数据；
步骤(2)，基于第一预设非线性映射器9的输出数据经过第二预设非线性逆映射器10进行逆转换，获取所述图像数据中与流量异常检测关联的关键特征数据；
所述第一预设非线性映射器9、第二预设非线性逆映射器10为经过智能学习的深度神经网络模型，所述第一预设非线性映射器9、第二预设非线性逆映射器10在智能学习时的优化目标函数基于第一预设非线性映射器9的输入与第二预设非线性逆映射器10的输出之间的损失函数值确定。
本申请实施例中，利用第一预设非线性映射器将图像数据转换到低维映射空间，进行关键特征数据提取，并进一步利用第二预设非线性逆映射器进行逆转换，将第一预设非线性映射器输出的数据进行重构，实现对图像数据的噪声去除和对图像数据中冗余数据的过滤，同时在冗余数据过滤的过程中保留了其中具有非线性关联关系的特征数据，最大程度保留了原有图像数据中的高信息量数据，进而提高后续步骤中流量异常检测的准确性。具体来说，本实施例中第一预设非线性映射器、第二预设非线性逆映射器在智能学习时的优化目标函数，第一预设非线性映射器的输入和经过第二预设非线性逆映射器重构后的输出数据误差越小越好，另外，在该第一预设非线性映射器、第二预设非线性逆映射器的智能学习过程中，基于图像数据作为输入数据输入第一预设非线性映射器，然后进入第二预设非线性逆映射器，在第一预设非线性映射器、第二预设非线性逆映射器中，输入数据经过各个隐藏层的激活函数对输入数据进行正向传递，本申请实施例中的激活函数采用非线性激活函数，基于第二预设非线性逆映射器正向传递过程的输出获取优化目标函数值，基于优化目标函数值对第一预设非线性映射器、第二预设非线性逆映射器中的多层隐藏层的模型参数进行迭代更新。
具体来说，上述第一预设非线性映射器、第二预设非线性逆映射器中的隐藏层至少为4层。
本申请实施例中，第一预设非线性映射器、第二预设非线性逆映射器采用了多层隐藏层，在增加隐藏层层数的情况下提高非线性映射转化和非线性逆映射转化分析的深度，进而实现深度挖掘图像数据中的非线性关联关系，有效对图像数据中的冗余数据和非冗余数据进行分类。
具体来说，上述第一预设非线性映射器、第二预设非线性逆映射器在智能学习过程中的优化目标函数L＝L1+L2，
其中，L2＝||σ||1，其中L1表征第一预设非线性映射器的输入与第二预设非线性逆映射器的输出之间的损失函数值，n表示智能学习中第n个输入样本，||*||1表示1-范式化计算，L2＝||σ||1表征第一预设非线性映射器、第二预设非线性逆映射器中每个隐藏层经过激活函数计算后的激活函数值的绝对值之和。
本申请实施例中，第一预设非线性映射器、第二预设非线性逆映射器智能学习过程中的优化目标函数基于L1确定，实现该智能学习过程的无监督学习，在一种实施方式中，可以基于第一预设非线性映射器的输入与第二预设非线性逆映射器的输出之间的均方误差计算L1，该优化目标函数基于L2＝||σ||1使得优化目标函数对第一预设非线性映射器、第二预设非线性逆映射器中隐藏层的激活节节点的个数进行约束，降低映射器中特征数据计算量。
基于上述基于智能学习的网络流量异常检测装置，本申请实施例还提供了一种基于智能学习的网络流量异常检测方法，参见图5，该方法包括如下步骤：
步骤1，基于第一数据引擎4抓取网络上的原始流量数据包并进行存储；
步骤2，基于第二数据引擎5针对所述数据包智能分析确定所述数据包中表征的访问行为，所述第二数据引擎包括基于预设第一数据组集合而对数据包表征的访问行为种类进行智能学习而得到的学习完毕模型，所述预设第一数据组为，将历史采集的数据包和访问行为种类建立了对应关系的数据组；
步骤3，利用检测规则生成器6生成与所述访问行为匹配的异常检测规则，调用所述异常检测规则对所述数据包表征的访问行为进行异常检测。
可以理解，上述步骤2之前，还包括如下步骤：
步骤4，利用第三数据引擎7针对数据采集部采集的数据包确定与所述数据包匹配的数据预处理策略，并基于所述数据预处理策略对采集部采集的数据包进行预处理，所述第三数据引擎包括基于携带数据预处理策略标注的数据包的第二数据集智能学习完成的数据预处理策略分析模型8。
具体来说，上述第二数据引擎5中包括第一预设非线性映射器9、第二预设非线性逆映射器10、重要性特征分析模块11，
其中所述第一预设非线性映射器、第二预设非线性逆映射器用于实现：基于所述图像数据经过第一预设非线性映射器转换到低维映射空间，获取降维数据；基于第一预设非线性映射器的输出数据经过第二预设非线性逆映射器进行逆转换，获取所述图像数据中与流量异常检测关联的关键特征数据；
所述重要性特征分析模块11用于实现：针对所述图像数据利用重要性特征分析模块11获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算，获取第一注意力结果；基于第一注意力结果在重要性特征分析模块11提取第二方面注意力数据并基于所述第二方面注意力数据针对所述图像数据从所述第二方面进行注意，获取第二注意力结果，所述第二方面注意力数据表征所述图像数据中每个图像区域对于表征所述访问行为的重要性大小。
可以理解，本实施例提供的基于智能学习的网络流量异常检测方法与上述实施例提供的基于智能学习的网络流量异常检测装置实施例属于同一构思，其具体实现过程详见装置实施例，这里不再赘述。
参见图6，本申请实施例还提供了一种电子设备，该电子设备包括处理器、存储器、通信模块、显示屏，其中，处理器通过总线分别耦合所述存储器、所述通信模块、所述显示器，所述处理器用于调用所述存储器存储的指令，实现上述网络流量异常检测装置中的网络流量异常检测过程。
本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。

Claims (7)

1.一种基于智能学习的网络流量异常检测装置，其特征在于，包括：
数据采集部，其控制第一数据引擎抓取网络上的原始流量数据包并进行存储；
数据异常检测部，其利用第二数据引擎针对所述数据包智能分析确定所述数据包中表征的访问行为，并利用检测规则生成器生成与所述访问行为匹配的异常检测规则，调用所述异常检测规则对所述数据包表征的访问行为进行异常检测，所述第二数据引擎包括基于预设第一数据组集合而对数据包表征的访问行为种类进行智能学习而得到的学习完毕模型，所述预设第一数据组为，将历史采集的数据包和访问行为种类建立了对应关系的数据组；其中，所述第二数据引擎针对所述数据包智能分析确定所述数据包中表征的访问行为，包括：
基于所述数据包提取流量数据特征；
基于所述流量数据特征生成图像数据；
针对所述图像数据利用重要性特征分析模块获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算，获取第一重要性数据；
基于第一重要性数据在重要性特征分析模块提取第二方面重要性数据分布特征并基于所述第二方面重要性数据分布特征针对所述图像数据从所述第二方面进行重要性数据分析，获取第二重要性数据，所述第二方面重要性数据分布特征表征所述图像数据中每个图像区域对于表征所述访问行为的重要性大小；
基于第二重要性数据进行分类，确定所述数据包中的访问行为种类；
所述针对所述图像数据利用获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算，获取第一重要性数据，包括：
基于所述图像数据获取其每个通道图像，针对每个通道图像进行余弦函数计算获取所述通道图像的余弦成分；
基于每个所述通道图像的余弦成分通过全连接层和激活函数获取所述图像数据的第一方面重要性分配权重；
基于所述第一方面重要性分配权重对所述图像数据从所述第一方面进行加权计算，获取第一重要性数据；第一方面重要性分配权重针对图像数据的每个通道计算其余弦成分，基于预设余弦函数作用于该图像数据获取该图像数据的余弦成分，针对一个宽度为a、高度为b的图像数据，针对图像中的每一像素位置的图像数据/>分别进行余弦函数计算获取每一像素位置/>的余弦成分/>，，将所有像素位置/>计算得到的/>进行融合得到在频率（/>）下的余弦成分，其中，/>，/>，进而得到图像数据在各个频率下的余弦成分；进而基于每个通道图像在各个频率下的余弦成分通过全连接层和激活函数计算处理，获取图像数据的第一方面重要性分配权重；
所述针对所述图像数据利用重要性特征分析模块获取第一方面重要性分配权重之前，还包括：
基于所述图像数据经过第一预设非线性映射器转换到低维映射空间，获取降维数据；
基于第一预设非线性映射器的输出数据经过第二预设非线性逆映射器进行逆转换，获取所述图像数据中与流量异常检测关联的关键特征数据；
所述第一预设非线性映射器、第二预设非线性逆映射器为经过智能学习的深度神经网络模型，所述第一预设非线性映射器、第二预设非线性逆映射器在智能学习时的优化目标函数基于第一预设非线性映射器的输入与第二预设非线性逆映射器的输出之间的损失函数值确定。
2.根据权利要求1所述一种基于智能学习的网络流量异常检测装置，其特征在于，还包括：
数据中转处理部，其控制第三数据引擎针对数据采集部采集的数据包确定与所述数据包匹配的数据预处理策略，并基于所述数据预处理策略对采集部采集的数据包进行预处理，所述第三数据引擎包括基于携带数据预处理策略标注的数据包的第二数据集智能学习完成的数据预处理策略分析模型。
3.根据权利要求1所述的一种基于智能学习的网络流量异常检测装置，其特征在于，所述第一预设非线性映射器、第二预设非线性逆映射器中的隐藏层至少为4层。
4.根据权利要求1所述的一种基于智能学习的网络流量异常检测装置，其特征在于，所述优化目标函数，
其中，/>，其中/>表征第一预设非线性映射器的输入与第二预设非线性逆映射器的输出之间的损失函数值，n表示智能学习中第n个输入样本，其中，/>表示1-范式化计算，/>表征第一预设非线性映射器、第二预设非线性逆映射器中每个隐藏层经过激活函数计算后的激活函数值的绝对值之和。
5.一种基于智能学习的网络流量异常检测方法，其特征在于，包括：
基于第一数据引擎抓取网络上的原始流量数据包并进行存储；
基于第二数据引擎针对所述数据包智能分析确定所述数据包中表征的访问行为，所述第二数据引擎包括基于预设第一数据组集合而对数据包表征的访问行为种类进行智能学习而得到的学习完毕模型，所述预设第一数据组为，将历史采集的数据包和访问行为种类建立了对应关系的数据组；
利用检测规则生成器生成与所述访问行为匹配的异常检测规则，调用所述异常检测规则对所述数据包表征的访问行为进行异常检测；其中，第二数据引擎针对所述数据包智能分析确定所述数据包中表征的访问行为，包括如下步骤：
基于所述数据包提取流量数据特征；
基于所述流量数据特征生成图像数据；
针对所述图像数据利用重要性特征分析模块(11)获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算，获取第一重要性数据；
基于第一重要性数据在重要性特征分析模块(11)提取第二方面重要性数据分布特征并基于所述第二方面重要性数据分布特征针对所述图像数据从所述第二方面进行重要性数据分析，获取第二重要性数据，所述第二方面重要性数据分布特征表征所述图像数据中每个图像区域对于表征所述访问行为的重要性大小；
基于第二重要性数据进行分类，确定所述数据包中的访问行为种类；将流量数据包数据针对基于流量数据包生成的图像采用注意力机制进行流量数据包的数据深层分析挖掘，采用重要性特征分析机制专注流量数据包中的有效度高的数据信息，先通过第一方面重要性分配权重对图像数据进行重要性数据分析，进一步通过第二方面重要性数据分布特征对图像数据进行重要性数据分析，从两个方面对图像数据有效特征分析；第二方面重要性数据分布特征对图像数据的不同图像区域分别进行重要性分析，对图像区域中的低信息量区域赋予较小权重，对图像区域中的高信息量区域赋予较大权重，有效识别图像数据所对应的流量数据包中的访问行为种类。
6.根据权利要求5所述的一种基于智能学习的网络流量异常检测方法，其特征在于，所述第二数据引擎中包括第一预设非线性映射器、第二预设非线性逆映射器、重要性特征分析模块，
其中所述第一预设非线性映射器、第二预设非线性逆映射器用于实现：基于图像数据经过第一预设非线性映射器转换到低维映射空间，获取降维数据；基于第一预设非线性映射器的输出数据经过第二预设非线性逆映射器进行逆转换，获取所述图像数据中与流量异常检测关联的关键特征数据；
所述重要性特征分析模块用于实现：针对所述图像数据利用重要性特征分析模块获取第一方面重要性分配权重并基于所述第一方面重要性分配权重针对所述图像数据从所述第一方面进行加权计算，获取第一重要性数据；
基于第一重要性数据在重要性特征分析模块提取第二方面重要性数据分布特征并基于所述第二方面重要性数据分布特征针对所述图像数据从所述第二方面进行重要性数据分析，获取第二重要性数据，所述第二方面重要性数据分布特征表征所述图像数据中每个图像区域对于表征所述访问行为的重要性大小。
7.一种电子设备，其特征在于，包括处理器、存储器、通信模块、显示屏，其中，所述处理器通过总线分别耦合所述存储器、所述通信模块、所述显示屏，所述处理器用于调用所述存储器存储的指令，实现如权利要求1-2任一项所述网络流量异常检测装置实现的网络流量异常检测过程。
CN202210744539.2A 2022-06-27 2022-06-27 一种基于智能学习的网络流量异常检测装置及方法 Active CN115277098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210744539.2A CN115277098B (zh) 2022-06-27 2022-06-27 一种基于智能学习的网络流量异常检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210744539.2A CN115277098B (zh) 2022-06-27 2022-06-27 一种基于智能学习的网络流量异常检测装置及方法

Publications (2)

Publication Number Publication Date
CN115277098A CN115277098A (zh) 2022-11-01
CN115277098B true CN115277098B (zh) 2023-07-18

Family

ID=83763439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210744539.2A Active CN115277098B (zh) 2022-06-27 2022-06-27 一种基于智能学习的网络流量异常检测装置及方法

Country Status (1)

Country Link
CN (1) CN115277098B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160427A (zh) * 2019-12-17 2020-05-15 博雅信安科技(北京)有限公司 一种基于神经网络的海量流量数据类型的检测方法
CN112422513A (zh) * 2020-10-26 2021-02-26 浙江大学 一种基于网络流量报文的异常检测和攻击发起者分析系统
CN112733954A (zh) * 2021-01-20 2021-04-30 湖南大学 一种基于生成对抗网络的异常流量检测方法
CN112784881A (zh) * 2021-01-06 2021-05-11 北京西南交大盛阳科技股份有限公司 网络异常流量检测方法、模型及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107070943B (zh) * 2017-05-05 2020-02-07 兰州理工大学 基于流量特征图和感知哈希的工业互联网入侵检测方法
CN109547423B (zh) * 2018-11-09 2021-03-30 上海交通大学 一种基于机器学习的web恶意请求深度检测系统及方法
KR102002880B1 (ko) * 2019-03-11 2019-07-23 (주)시큐레이어 기계 학습 모델에 기반하여 악성 패킷을 검출하는 방법 및 이를 이용한 장치
US20210150757A1 (en) * 2019-11-20 2021-05-20 Nvidia Corporation Training and inferencing using a neural network to predict orientations of objects in images
CN115606162A (zh) * 2020-06-24 2023-01-13 深圳市欢太科技有限公司（Cn） 异常流量检测方法和系统、及计算机存储介质
US11611588B2 (en) * 2020-07-10 2023-03-21 Kyndryl, Inc. Deep learning network intrusion detection
CN112422493B (zh) * 2020-07-27 2022-05-24 哈尔滨工业大学 SDN网络架构下基于多层感知神经网络MLDNN的DDoS攻击检测方法
CN112435221B (zh) * 2020-11-10 2024-03-26 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN112671768A (zh) * 2020-12-24 2021-04-16 四川虹微技术有限公司 一种异常流量检测方法、装置、电子设备及存储介质
CN112953924B (zh) * 2021-02-04 2022-10-21 西安电子科技大学 网络异常流量检测方法、系统、存储介质、终端及应用
CN113222930A (zh) * 2021-05-08 2021-08-06 厦门服云信息科技有限公司 基于图像分析的恶意流量检测方法、终端设备及存储介质
CN113242259B (zh) * 2021-05-27 2023-01-31 苏州联电能源发展有限公司 网络异常流量检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160427A (zh) * 2019-12-17 2020-05-15 博雅信安科技(北京)有限公司 一种基于神经网络的海量流量数据类型的检测方法
CN112422513A (zh) * 2020-10-26 2021-02-26 浙江大学 一种基于网络流量报文的异常检测和攻击发起者分析系统
CN112784881A (zh) * 2021-01-06 2021-05-11 北京西南交大盛阳科技股份有限公司 网络异常流量检测方法、模型及系统
CN112733954A (zh) * 2021-01-20 2021-04-30 湖南大学 一种基于生成对抗网络的异常流量检测方法

Also Published As

Publication number Publication date
CN115277098A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN107690776A (zh) 用于异常检测中的将特征分组为具有选择的箱边界的箱的方法和装置
CN112367273B (zh) 基于知识蒸馏的深度神经网络模型的流量分类方法及装置
CN110942137A (zh) 一种基于深度学习的电网信息运维监控方法
CN114637884B (zh) 一种电像计算时空轨迹与道路网的匹配方法、装置及设备
CN115296933B (zh) 一种工业生产数据风险等级评估方法及系统
CN117113262A (zh) 网络流量识别方法及其系统
CN117580046A (zh) 一种基于深度学习的5g网络动态安全能力调度方法
CN114430331A (zh) 一种基于知识图谱的网络安全态势感知方法及系统
CN115277098B (zh) 一种基于智能学习的网络流量异常检测装置及方法
CN113645215A (zh) 异常网络流量数据的检测方法、装置、设备及存储介质
CN116383606B (zh) 一种分布式医疗设备的恒流温度采集方法及系统
Tian et al. A transductive scheme based inference techniques for network forensic analysis
CN116155581A (zh) 一种基于图神经网络的网络入侵检测方法与装置
CN116580176A (zh) 基于轻量化网络MobileViT的车载CAN总线异常检测方法
CN116168019A (zh) 基于机器视觉技术的电网故障检测方法及系统
CN116248346A (zh) 面向智慧城市的cps网络安全态势感知建立方法和系统
CN116362120A (zh) 一种基于mgcn-gru模型的交通流预测方法及装置
CN115564709A (zh) 一种对抗场景下电力算法模型鲁棒性的评估方法和系统
CN113240005B (zh) 基于静态网络表示的电力系统复杂网络虚假数据检测方法
CN115100594A (zh) 一种行人目标检测方法、系统、装置及存储介质
CN112289028B (zh) 一种涉车套牌发现方法、装置、设备和介质
CN112102181A (zh) 一种服务器图像处理方法
CN116669007B (zh) 一种面向智慧城市的多源感知应急联动方法与系统
WO2024066061A1 (zh) 基于图像识别的斗轮损伤判定方法及其系统
CN117955716A (zh) 基于大数据分析的工控安全态势感知系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant