CN111585997A - 一种基于少量标注数据的网络流量异常检测方法 - Google Patents

一种基于少量标注数据的网络流量异常检测方法 Download PDF

Info

Publication number
CN111585997A
CN111585997A CN202010344517.8A CN202010344517A CN111585997A CN 111585997 A CN111585997 A CN 111585997A CN 202010344517 A CN202010344517 A CN 202010344517A CN 111585997 A CN111585997 A CN 111585997A
Authority
CN
China
Prior art keywords
sample
samples
data
network
spring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010344517.8A
Other languages
English (en)
Other versions
CN111585997B (zh
Inventor
李文龙
张家琦
邢燕祯
刘中金
何跃鹰
高杨
王新根
鲁萍
黄滔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Bangsheng Technology Co ltd
National Computer Network and Information Security Management Center
Original Assignee
Zhejiang Bangsun Technology Co ltd
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Bangsun Technology Co ltd, National Computer Network and Information Security Management Center filed Critical Zhejiang Bangsun Technology Co ltd
Priority to CN202010344517.8A priority Critical patent/CN111585997B/zh
Publication of CN111585997A publication Critical patent/CN111585997A/zh
Application granted granted Critical
Publication of CN111585997B publication Critical patent/CN111585997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于少量标注数据的网络流量异常检测方法，采用双自编码器对特征向量进行降维处理，然后使用深度神经网络进行有监督的训练；将网络流量分成正样本和负样本的两类，最后筛选出无标注数据中部分重要样本，交由专家进行标注，增加有标记样本数量，迭代更新自编码器和分类器，之后用训练好的分类器进行网络流量异常检测。本发明提出双自编码器架构，使用纯净的正负样本分别训练自编码器，提升了分类器的稳定性。同时改进深度神经网络的损失函数，更细粒度地调整样本权重，解决正负样本不平衡，缓解训练集较小导致的过拟合问题，并提出一种新的计算无标注数据的标记价值的方法，选择标记价值高的样本交由专家，减少了标注成本。

Description

一种基于少量标注数据的网络流量异常检测方法
技术领域
本发明涉及网络流量异常检测技术，尤其涉及一种基于少量标注数据的网络流量异常检测方法。
背景技术
随着网络攻击的规模扩大以及网络数据量呈指数级增长，许多公司和组织必须开发新的方法来保护其网络和数据的安全，以降低不断变化的威胁因素对其产生的影响。随着越来越多的安全工具和传感器部署在现代企业网络中，造成的安全事件和警报数据量持续增加，这使得准确地识别异常犹如大海捞针一样困难。因此，在处理网络安全事件和网络潜在攻击的监测、预防、检测和响应时，必须依靠新技术来协助人类分析师。然而，基于传统机器学习方法的网络流量异常检测，大多是有监督方法，需要标注数据，针对网络异常检测环境中网络无标记数据充足，而网络打标数据获取困难，专家标记数据成本较高。
Shrink AE：Shrink AE全称为Shrink Autoencoder，由Van Loi Cao等人于2018年提出，他们对传统Autoencoder进行改进，通过在瓶颈层中引入对正常数据分布的约束来构造数据表征，包含5层神经网络，瓶颈层的神经节点数量m的选择根据根据历史经验获得，
Figure BDA0002469588440000011
其中n表示输入数据的特征维度。尽管该方法表现明显优于传统Autoencoder，但Shrink AE没有应用异常样本的数据信息，既浪费了标注成本，很很难覆盖到网络异常检测的所有情况。
发明内容
本发明的目的是在减少领域专家参与的情况下，用神经网络学习模型将网络流量精确地分为良性和恶意两类，同时降低模型训练的复杂度，缓和训练集小造成的易过拟合问题。
本发明的目的是通过以下技术方案来实现的：本发明提供一种基于少量标注数据的网络流量异常检测方法，利用主动学习方法降低样本标记成本，改进基于主动学习的网络数据采样策略，从无标记样本集中挑选出有代表性的数据进行打标，减少人工打标成本。通过两个自编码器数据特征提取模型，将良性样本和恶意样本分离，使得分类器的表现能够更稳定。选择改进了损失函数的前向全连接深度神经网络(DNN)作为有监督学习模型对网络入侵检测数据进行训练和分类。具体的实施步骤如下：
(1)训练自编码器：将网络流量数据集分为正样本和负样本；用正样本训练得到自编码器Shrink AE，用负样本训练得到自编码器Spread AE；
所述Spread AE基于Shrink AE改进，两者拥有相同的网络结构和参数，仅改进了损失函数，Spread AE的损失函数为
Figure BDA0002469588440000021
其中，n表示输入样本向量和自编码器输出向量的维度，
Figure BDA0002469588440000022
表示Spread AE的损失函数，zi表示瓶颈层空间的第i个变量，
Figure BDA0002469588440000023
表示自编码器输出向量的第i个变量，xi表示输入样本的第i个变量，λ为Spread AE的权重；
(2)构建特征：重新随机混合正负样本，将混合后的样本同时输入步骤(1)训练得到的Spread AE和Shrink AE中，对两个自编码器输出的特征向量进行横向拼接，得到每个输入样本的特征向量；
(3)训练分类器：将步骤(2)得到的每个输入样本的特征向量和其对应的标签输入前向全连接深度神经网络(DNN)进行有监督的训练，用改进的损失函数代替原损失函数；改进的损失函数公式为
Figure BDA0002469588440000024
其中FL(pt,y)＝-(1-pt)γlog(pt)，
Figure BDA0002469588440000025
γ≥0为超参数，p为y＝1时的概率，nN表示负样本数量，nP表示正样本数量，nFN表示正样本被错误分类为负样本的样本数量，nFP表示负样本被错误分类为正样本的样本数量，yi∈{±1}表示样本i的真实标记值，pi∈[0,1]表示分类器预测第i个样本的真实值y＝1的概率，即预测为正常流量的概率；
(4)计算样本标记价值：用步骤(3)得到训练后的分类器预测无标记信息的网络流量数据的标记值，计算分类器预测样本的不确定度和该样本与已知正样本的相异度，不确定度计算公式如下：
Figure BDA0002469588440000031
其中，f(xi)表示分类器对第i个样本xi的预测概率，f(xi)∈[0,1]，相异度φUnmatch(xi)＝‖g(xi)‖2，其中g(xi)表示自编码器对样本xi的隐表征，是步骤(2)中输入样本xi经过自编码器Shrink AE输出的向量表示，样本标记价值计算公式如下：
Figure BDA0002469588440000032
其中φ(xi)为第i个样本xi的样本标记价值；
(5)样本标记及分类器更新：选取步骤(4)计算出的标记价值最高的样本由专家依据样本是否满足异常流量的定义和特征，判别该样本是正常流量还是异常流量，以此对样本进行标注，将标注后的样本加入到网路流量数据集中，重复步骤(1)-(5)迭代训练自编码器和分类器，直到网路流量数据集中的样本数量满足需求后停止迭代过程；
(6)网络流量异常检测：将无标记的网络流量数据同时输入到步骤(5)中得到的两自编码器中提取特征，对两个自编码器输出的特征向量进行横向拼接，得到输入网络流量数据的特征向量；把特征向量输入步骤(5)中得到的分类器中进行预测，若预测值为1则是正常流量，若预测值为-1则是异常流量。
进一步地，步骤(1)中，所述网络流量数据集为入侵检测公开数据集NSL-KDD，该数据集中的每条数据包含网络流量相关的特征；并且有标记信息，表明此条数据为网络正常流量还是异常流量，正常流量标记值为1称为正样本，异常流量标记值为-1称为负样本；将所有非数值型特征编码为数值特征，则每条数据对应一个多维向量，称为输入样本向量，向量维度与每条数据中网络流量相关的特征个数相同。
本发明的有益效果：本发明使用主动学习方法将标记价值高的数据交由专家进行标注，基于有标记样本，训练Shrink AE和Spread AE，使用双AE框架提取样本特征，然后将提取的样本特征向量输入分类器中进行训练，接收到新的标注数据后迭代更新AE和分类器，最后用训练完成的分类器进行网络流量异常检测。主动学习方法能够从海量数据中选出标记价值高的数据交由专家标注，降低了人工打标成本。进行特征提取时，本发明使用正样本训练Shrink Autoencoder，同时使用负样本训练Spread Autoencoder，保证分类器表现的稳定性。本发明改进了用作分类器的深度神经网络的损失函数，不但减少了模型的超参数，降低了模型的训练复杂度，而且改进了模型的损失敏感学习能力，让模型根据训练过程自适应的调整样本权重，缓解了小训练集的过拟合问题。
附图说明
图1为基于少量标注数据的网络流量异常检测方法模型架构图；
图2为Shrink AE、Spread AE训练流程图；
图3为筛选标记价值高的样本交由专家标记流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
如图1所示，本发明提供的一种网络流量异常检测方法，包括以下步骤：
(1)训练自编码器(Autoencoder，简称AE)：从网络上下载入侵检测公开数据集NSL-KDD，该数据集中的每条数据包含TCP连接持续时间、协议类型、目标主机网络服务类型、访问控制文件的次数等41个网络流量相关的特征，并且有标记信息，以此表明此条数据为网络正常流量还是异常流量，正常流量标记值为1称为正样本，异常流量标记值为-1称为负样本；将所有非数值型特征编码为数值特征，则每条数据对应一个41维向量，称为输入样本向量；如图2所示，把数据集中的正负样本分离，用正样本训练Shrink AE，负样本训练Spread AE；Spread AE基于Shrink AE改进，两者拥有相同的网络结构和参数，仅改进了损失函数，Spread AE损失函数为
Figure BDA0002469588440000051
其中，n表示输入样本向量和自编码器输出向量的维度，
Figure BDA0002469588440000052
表示异常样本AE的损失函数，zi表示瓶颈层空间的第i个变量，
Figure BDA0002469588440000053
表示重构向量的第i个变量，xi表示原始样本的第i个变量，λ为权重；实际训练时可采用早停策略来防止训练模型过拟合，早停法是一种广泛使用的防止过拟合的方法，具体操作为将原始的训练数据集划分为训练集和验证集，仅在训练集上进行训练，每一个周期计算一次模型在验证集上的误差，例如每15次epoch；当模型在验证集上的误差比上一次训练结果差的时候停止训练，使用上一次迭代结果中的参数作为模型的最终参数；
(2)构建特征：重新随机混合正负样本，将混合后的样本同时输入步骤(1)训练得到的Spread AE和Shrink AE中，对两个自编码器输出的特征进行横向拼接，得到每个输入样本的特征向量；特征向量提取及拼接方式如图1中所示，把每个样本对应的向量分别输入Shrink AE和Spread AE中，Shrink AE和Spread AE把41维向量投影到低维空间中输出新的向量；假设样本数据输入Shrink AE，输出的特征向量为12维，样本数据输入Spread AE，输出的特征向量为10维，此时两个AE输出的特征向量每一维不再有具体的字段与之对应；进行横向拼接后，该样本的特征向量为22维；
(3)训练分类器：将步骤(2)得到的每个输入样本对应的特征向量和其对应的标签输入前向全连接深度神经网络(DNN)进行有监督的训练，用改进的损失函数代替原损失函数；改进的损失函数公式为
Figure BDA0002469588440000054
其中FL(pt,y)＝-(1-pt)γlog(pt)，
Figure BDA0002469588440000055
γ≥0为超参数，nN表示负样本数量，nP表示正样本数量，nFN表示正样本被错误分类为负样本的样本数量，nFP表示负样本被错误分类为正样本的样本数量，yi∈{±1}表示样本i的真实标记值，pi∈[0,1]表示分类器预测样本i的真实值y＝1的概率，即预测为正常流量的概率；注意力参数γ平稳地调节正负样本的影响比例，使得简单样本的样本权重被降低，不同的γ值，损失函数表现不同；
(4)计算样本标记价值：用步骤(3)得到的分类器预测无标记信息的网络流量的标记值，计算分类器预测样本的不确定度和该样本与已知正样本的相异度，不确定度计算公式如下：
Figure BDA0002469588440000061
其中，f(xi)表示分类器对第i个样本xi的预测概率，f(xi)∈[0,1]，相异度φUnmatch(xi)＝‖g(xi)‖2，其中g(xi)表示自编码器对样本原始输入xi的隐表征，是输入样本xi经过自编码器Shrink AE输出的一个低维向量表示，计算样本标记价值：
Figure BDA0002469588440000062
(5)样本标记及分类器更新：如图3所示，选取步骤(4)计算出的标记价值最高的样本交由专家依据样本是否满足异常流量的定义和特征，判别该样本是正常流量还是异常流量，以此对样本标注，将标注后的样本加入到标注数据集中，重复步骤(1)-(5)迭代训练AE和分类器，直到满足设定的停止条件，例如有标注训练集样本数量达到3000，例如有标注训练集样本数量达到3000，得到最终训练完成的两自编码器和分类器；
(6)网络流量异常检测：将无标记信息的网络流量数据同时输入到步骤(5)中得到的两个自编码器中提取特征，对两个自编码器输出的特征进行横向拼接，得到输入数据的特征向量；把特征向量输入步骤(5)中得到的的分类器中进行预测，若预测值为1则是正常流量，若预测值为-1则是异常流量。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (2)

1.一种基于少量标注数据的网络流量异常检测方法，其特征在于，该方法包括：
(1)训练自编码器：将网络流量数据集分为正样本和负样本；用正样本训练得到自编码器Shrink AE，用负样本训练得到自编码器Spread AE；
所述Spread AE基于Shrink AE改进，两者拥有相同的网络结构和参数，仅改进了损失函数，Spread AE的损失函数为
Figure FDA0002469588430000011
其中，n表示输入样本向量和自编码器输出向量的维度，
Figure FDA0002469588430000014
表示Spread AE的损失函数，zi表示瓶颈层空间的第i个变量，
Figure FDA0002469588430000015
表示自编码器输出向量的第i个变量，xi表示输入样本的第i个变量，λ为Spread AE的权重；
(2)构建特征：重新随机混合正负样本，将混合后的样本同时输入步骤(1)训练得到的Spread AE和Shrink AE中，对两个自编码器输出的特征向量进行横向拼接，得到每个输入样本的特征向量；
(3)训练分类器：将步骤(2)得到的每个输入样本的特征向量和其对应的标签输入前向全连接深度神经网络(DNN)进行有监督的训练，用改进的损失函数代替原损失函数；改进的损失函数公式为
Figure FDA0002469588430000012
其中FL(pt,y)＝-(1-pt)γlog(pt)，
Figure FDA0002469588430000013
γ≥0为超参数，p为y＝1时的概率，nN表示负样本数量，nP表示正样本数量，nFN表示正样本被错误分类为负样本的样本数量，nFP表示负样本被错误分类为正样本的样本数量，yi∈{±1}表示样本i的真实标记值，pi∈[0,1]表示分类器预测第i个样本的真实值y＝1的概率，即预测为正常流量的概率；
(4)计算样本标记价值：用步骤(3)得到训练后的分类器预测无标记信息的网络流量数据的标记值，计算分类器预测样本的不确定度和该样本与已知正样本的相异度，不确定度计算公式如下：
Figure FDA0002469588430000021
其中，f(xi)表示分类器对第i个样本xi的预测概率，f(xi)∈[0,1]，相异度φUnmatch(xi)＝‖g(xi)‖2，其中g(xi)表示自编码器对样本xi的隐表征，是步骤(2)中输入样本xi经过自编码器Shrink AE输出的向量表示，样本标记价值计算公式如下：
score＝φ(xi)＝φUn(xi)·φUnmatch(xi)
其中φ(xi)为第i个样本xi的样本标记价值；
(5)样本标记及分类器更新：选取步骤(4)计算出的标记价值最高的样本由专家依据样本是否满足异常流量的定义和特征，判别该样本是正常流量还是异常流量，以此对样本进行标注，将标注后的样本加入到网路流量数据集中，重复步骤(1)-(5)迭代训练自编码器和分类器，直到网路流量数据集中的样本数量满足需求后停止迭代过程；
(6)网络流量异常检测：将无标记的网络流量数据同时输入到步骤(5)中得到的两自编码器中提取特征，对两个自编码器输出的特征向量进行横向拼接，得到输入网络流量数据的特征向量；把特征向量输入步骤(5)中得到的分类器中进行预测，若预测值为1则是正常流量，若预测值为-1则是异常流量。
2.根据权利要求1所述的一种基于少量标注数据的网络流量异常检测方法，其特征在于，步骤(1)中，所述网络流量数据集为入侵检测公开数据集NSL-KDD，该数据集中的每条数据包含网络流量相关的特征；并且有标记信息，表明此条数据为网络正常流量还是异常流量，正常流量标记值为1称为正样本，异常流量标记值为-1称为负样本；将所有非数值型特征编码为数值特征，则每条数据对应一个多维向量，称为输入样本向量，向量维度与每条数据中网络流量相关的特征个数相同。
CN202010344517.8A 2020-04-27 2020-04-27 一种基于少量标注数据的网络流量异常检测方法 Active CN111585997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010344517.8A CN111585997B (zh) 2020-04-27 2020-04-27 一种基于少量标注数据的网络流量异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010344517.8A CN111585997B (zh) 2020-04-27 2020-04-27 一种基于少量标注数据的网络流量异常检测方法

Publications (2)

Publication Number Publication Date
CN111585997A true CN111585997A (zh) 2020-08-25
CN111585997B CN111585997B (zh) 2022-01-14

Family

ID=72125440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010344517.8A Active CN111585997B (zh) 2020-04-27 2020-04-27 一种基于少量标注数据的网络流量异常检测方法

Country Status (1)

Country Link
CN (1) CN111585997B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951264A (zh) * 2020-08-28 2020-11-17 浙江中烟工业有限责任公司 一种基于深度学习的卷烟包装异常检测与定位方法
CN112329817A (zh) * 2020-10-12 2021-02-05 鄂尔多斯应用技术学院 一种基于神经网络的采煤机稳态样本分析方法及装置
CN112580708A (zh) * 2020-12-10 2021-03-30 上海阅维科技股份有限公司 从应用程序生成的加密流量中识别上网行为的方法
CN112702329A (zh) * 2020-12-21 2021-04-23 四川虹微技术有限公司 一种流量数据异常检测方法、装置和存储介质
CN112988186A (zh) * 2021-02-19 2021-06-18 支付宝(杭州)信息技术有限公司 异常检测系统的更新方法及装置
CN113032778A (zh) * 2021-03-02 2021-06-25 四川大学 一种基于行为特征编码的半监督网络异常行为检测方法
CN113095433A (zh) * 2021-04-27 2021-07-09 北京石油化工学院 入侵检测网络结构模型的训练方法
CN113190725A (zh) * 2021-03-31 2021-07-30 北京达佳互联信息技术有限公司 对象的推荐及模型训练方法和装置、设备、介质和产品
CN113242259A (zh) * 2021-05-27 2021-08-10 苏州联电能源发展有限公司 网络异常流量检测方法及装置
CN113516228A (zh) * 2021-07-08 2021-10-19 哈尔滨理工大学 一种基于深度神经网络的网络异常检测方法
CN113537383A (zh) * 2021-07-29 2021-10-22 周口师范学院 基于深度迁移强化学习无线网络异常流量检测方法
CN114006745A (zh) * 2021-10-28 2022-02-01 西安热工研究院有限公司 一种基于改进自编码器的网络入侵流量分类方法
WO2022057321A1 (zh) * 2020-09-17 2022-03-24 华为技术有限公司 异常链路检测方法、装置及存储介质
CN114240839A (zh) * 2021-11-17 2022-03-25 东莞市人民医院 基于深度学习的膀胱肿瘤肌层侵犯预测方法及相关装置
CN114338165A (zh) * 2021-12-29 2022-04-12 北京工业大学 基于伪孪生堆栈自编码器的网络入侵检测方法
CN114494772A (zh) * 2022-01-17 2022-05-13 烽火通信科技股份有限公司 一种不均衡样本分类方法和装置
CN115034286A (zh) * 2022-04-24 2022-09-09 国家计算机网络与信息安全管理中心 一种基于自适应损失函数的异常用户识别方法和装置
CN116743646A (zh) * 2023-08-15 2023-09-12 云南省交通规划设计研究院有限公司 一种基于域自适应深度自编码器隧道网络异常检测方法
CN117830728A (zh) * 2024-01-02 2024-04-05 北京天防安全科技有限公司 异常流量检测方法、装置、电子设备及介质
CN115034286B (zh) * 2022-04-24 2024-07-02 国家计算机网络与信息安全管理中心 一种基于自适应损失函数的异常用户识别方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985330A (zh) * 2018-06-13 2018-12-11 华中科技大学 一种自编码网络及其训练方法、异常用电检测方法和系统
CN109543943A (zh) * 2018-10-17 2019-03-29 国网辽宁省电力有限公司电力科学研究院 一种基于大数据深度学习的电价稽查执行方法
CN109831392A (zh) * 2019-03-04 2019-05-31 中国科学技术大学 半监督网络流量分类方法
US20200106788A1 (en) * 2018-01-23 2020-04-02 Hangzhou Dianzi University Method for detecting malicious attacks based on deep learning in traffic cyber physical system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200106788A1 (en) * 2018-01-23 2020-04-02 Hangzhou Dianzi University Method for detecting malicious attacks based on deep learning in traffic cyber physical system
CN108985330A (zh) * 2018-06-13 2018-12-11 华中科技大学 一种自编码网络及其训练方法、异常用电检测方法和系统
CN109543943A (zh) * 2018-10-17 2019-03-29 国网辽宁省电力有限公司电力科学研究院 一种基于大数据深度学习的电价稽查执行方法
CN109831392A (zh) * 2019-03-04 2019-05-31 中国科学技术大学 半监督网络流量分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王声柱: "基于深度学习和半监督聚类的入侵防御技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951264A (zh) * 2020-08-28 2020-11-17 浙江中烟工业有限责任公司 一种基于深度学习的卷烟包装异常检测与定位方法
WO2022057321A1 (zh) * 2020-09-17 2022-03-24 华为技术有限公司 异常链路检测方法、装置及存储介质
CN112329817A (zh) * 2020-10-12 2021-02-05 鄂尔多斯应用技术学院 一种基于神经网络的采煤机稳态样本分析方法及装置
CN112329817B (zh) * 2020-10-12 2024-03-15 鄂尔多斯应用技术学院 一种基于神经网络的采煤机稳态样本分析方法及装置
CN112580708A (zh) * 2020-12-10 2021-03-30 上海阅维科技股份有限公司 从应用程序生成的加密流量中识别上网行为的方法
CN112580708B (zh) * 2020-12-10 2024-03-05 上海阅维科技股份有限公司 从应用程序生成的加密流量中识别上网行为的方法
CN112702329A (zh) * 2020-12-21 2021-04-23 四川虹微技术有限公司 一种流量数据异常检测方法、装置和存储介质
CN112988186A (zh) * 2021-02-19 2021-06-18 支付宝(杭州)信息技术有限公司 异常检测系统的更新方法及装置
CN112988186B (zh) * 2021-02-19 2022-07-19 支付宝(杭州)信息技术有限公司 异常检测系统的更新方法及装置
CN113032778A (zh) * 2021-03-02 2021-06-25 四川大学 一种基于行为特征编码的半监督网络异常行为检测方法
CN113190725A (zh) * 2021-03-31 2021-07-30 北京达佳互联信息技术有限公司 对象的推荐及模型训练方法和装置、设备、介质和产品
CN113190725B (zh) * 2021-03-31 2023-12-12 北京达佳互联信息技术有限公司 对象的推荐及模型训练方法和装置、设备、介质和产品
CN113095433A (zh) * 2021-04-27 2021-07-09 北京石油化工学院 入侵检测网络结构模型的训练方法
CN113095433B (zh) * 2021-04-27 2023-06-23 北京石油化工学院 入侵检测网络结构模型的训练方法
CN113242259A (zh) * 2021-05-27 2021-08-10 苏州联电能源发展有限公司 网络异常流量检测方法及装置
CN113516228A (zh) * 2021-07-08 2021-10-19 哈尔滨理工大学 一种基于深度神经网络的网络异常检测方法
CN113537383A (zh) * 2021-07-29 2021-10-22 周口师范学院 基于深度迁移强化学习无线网络异常流量检测方法
CN114006745A (zh) * 2021-10-28 2022-02-01 西安热工研究院有限公司 一种基于改进自编码器的网络入侵流量分类方法
CN114006745B (zh) * 2021-10-28 2024-01-26 西安热工研究院有限公司 一种基于改进自编码器的网络入侵流量分类方法
CN114240839A (zh) * 2021-11-17 2022-03-25 东莞市人民医院 基于深度学习的膀胱肿瘤肌层侵犯预测方法及相关装置
CN114338165A (zh) * 2021-12-29 2022-04-12 北京工业大学 基于伪孪生堆栈自编码器的网络入侵检测方法
CN114494772A (zh) * 2022-01-17 2022-05-13 烽火通信科技股份有限公司 一种不均衡样本分类方法和装置
CN114494772B (zh) * 2022-01-17 2024-05-14 烽火通信科技股份有限公司 一种不均衡样本分类方法和装置
CN115034286A (zh) * 2022-04-24 2022-09-09 国家计算机网络与信息安全管理中心 一种基于自适应损失函数的异常用户识别方法和装置
CN115034286B (zh) * 2022-04-24 2024-07-02 国家计算机网络与信息安全管理中心 一种基于自适应损失函数的异常用户识别方法和装置
CN116743646B (zh) * 2023-08-15 2023-12-19 云南省交通规划设计研究院股份有限公司 一种基于域自适应深度自编码器隧道网络异常检测方法
CN116743646A (zh) * 2023-08-15 2023-09-12 云南省交通规划设计研究院有限公司 一种基于域自适应深度自编码器隧道网络异常检测方法
CN117830728A (zh) * 2024-01-02 2024-04-05 北京天防安全科技有限公司 异常流量检测方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN111585997B (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
CN111585997B (zh) 一种基于少量标注数据的网络流量异常检测方法
CN111783442A (zh) 入侵检测方法、设备和服务器、存储介质
Du et al. GAN-based anomaly detection for multivariate time series using polluted training set
CN112966714B (zh) 一种边缘时序数据异常检测和网络可编程控制方法
CN112232604B (zh) 基于Prophet模型提取网络流量的预测方法
CN113591915B (zh) 基于半监督学习和单分类支持向量机的异常流量识别方法
CN112784920A (zh) 云边端协同的旋转部件对抗域自适应故障诊断方法
Ghalehgolabi et al. Intrusion detection system using genetic algorithm and data mining techniques based on the reduction
CN112163020A (zh) 一种多维时间序列异常检测方法及检测系统
CN114124517B (zh) 一种基于高斯过程的工业互联网入侵检测方法
Čavojský et al. Comparative Analysis of Feed-Forward and RNN Models for Intrusion Detection in Data Network Security with UNSW-NB15 Dataset
Lo Early software reliability prediction based on support vector machines with genetic algorithms
CN115883424B (zh) 一种高速骨干网间流量数据预测方法及系统
CN112149845A (zh) 基于大数据和机器学习的智能运维方法
CN113887633B (zh) 基于il的闭源电力工控系统恶意行为识别方法及系统
CN115664970A (zh) 基于双曲空间的网络异常点检测方法
Gao et al. Lazy Estimation of Variable Importance for Large Neural Networks
CN116647374B (zh) 一种基于大数据的网络流量入侵检测方法
Li et al. Knowledge-Assisted Few-Shot Fault Diagnosis in Cellular Networks
CN118041689B (zh) 一种网络恶意流量检测方法
CN113379000B (zh) 一种自适应更新的网络入侵检测方法
Chhabra et al. HEAL: Heterogeneous Ensemble and Active Learning Framework.
US20240095525A1 (en) Building an explainable machine learning model
Al-Obaidi et al. The effectiveness of deploying machine learning techniques in information security to detect nine attacks: UNSW-NB15 dataset as a case study
Sankeawthong et al. A benchmarking analysis of artificial intelligence in handling data imbalance and DDoS assaults in WSN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100029 Beijing city Chaoyang District Yumin Road No. 3

Patentee after: NATIONAL COMPUTER NETWORK AND INFORMATION SECURITY MANAGEMENT CENTER

Patentee after: Zhejiang Bangsheng Technology Co.,Ltd.

Address before: 100029 Beijing city Chaoyang District Yumin Road No. 3

Patentee before: NATIONAL COMPUTER NETWORK AND INFORMATION SECURITY MANAGEMENT CENTER

Patentee before: ZHEJIANG BANGSUN TECHNOLOGY Co.,Ltd.