CN117527451B - 一种网络入侵检测方法、装置、电子设备及存储介质 - Google Patents
一种网络入侵检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117527451B CN117527451B CN202410022603.5A CN202410022603A CN117527451B CN 117527451 B CN117527451 B CN 117527451B CN 202410022603 A CN202410022603 A CN 202410022603A CN 117527451 B CN117527451 B CN 117527451B
- Authority
- CN
- China
- Prior art keywords
- data
- network
- intrusion
- sub
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 38
- 230000006870 function Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 4
- 239000000523 sample Substances 0.000 description 38
- 238000013135 deep learning Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开一种网络入侵检测方法、装置、电子设备及存储介质,可应用于网络安全技术领域。该网络入侵检测方法包括:获取一待检测的网络流量数据;对所述网络流量数据进行数据处理,并分类得到第一类型特征数据集和第二类型特征数据集;分别从所述第一类型特征数据集和第二类型特征数据集中选取数据,组成一组输入数据;重复选取数据的操作,以得到多组不同的输入数据;将多组不同的输入数据输入预先完成训练的入侵检测网络模型,得到攻击类别,该方法基于重要性特征选择和多评论家网络实现网络流量数据入侵检测,且能够适应多种攻击模式的入侵检测。
Description
技术领域
本申请涉及网络安全技术领域,尤其涉及一种网络入侵检测方法、装置、电子设备及存储介质。
背景技术
随着电网智能化的推进,电力信息网络得到前所未有的发展,电力信息网络的规模也不段扩大。但与此同时,出现了很多非法入侵电力信息网络的行为。这些入侵电力信息网络的行为无疑给电力企业的信息安全带来了重大隐患,不仅会造成严重的经济损失,而且有可能会影响到社会生产和生活的正常开展。基于此原因,网络入侵检测成为电力信息网络安全技术的研究重点之一。电力信息网络入侵检测是通过分析电力信息网络流量中的数据特征来检测和识别电力信息网络或电力信息系统中的潜在入侵行为和安全威胁的过程,以此保护电力信息网络和系统免受未经授权的访问、避免恶意软件的侵害、阻止数据泄露和其他安全漏洞的侵害。
目前,相关的电力信息网络入侵检测方法大致可以分为三类:基于机器学习的方法、基于深度学习的方法和混合方法。传统的基于机器学习的方法包括支持向量机(SVM)、k-近邻(kNN)和决策树(DT)等。但随着电力信息网络规模的不断增大,传统的方法越来越无法满足实际需要。近年来,随着深度学习方法的提出和不断完善,其所具备的泛化能力以及应对高维空间大数据能力的优势也愈发明显,因此基于深度学习的入侵检测方法逐渐越来越受到关注。深度学习的方法包括深度信念网络(DBN)、卷积神经网络(CNN)、递归神经网络(RNN)、自编码器等方法。但深度学习方法在准确率上有所不足。为进一步提高识别的准确率,人们将多种方法结合起来,形成混合方法,从而获得比单一方法更好的效果。
以上方法虽然在一定程度上能够检测网络入侵,但依旧还存在一些问题。首先,现有方法难以应对网络攻击手段的不断变化、攻击种类不断增加的情况。其次,正常流量数据远远大于异常流量数据,异常数据中不同类型攻击的流量条目在数量和内在特征上也存在明显差距,因此入侵检测数据中会存在数据类别不平衡的问题。如果直接进行训练,可能会导致模型出现严重的过拟合现象和检测偏差问题。再次,网络流量数据通常具有大量许多冗余特征和无关特征,这些特征不仅浪费了很多时间和空间上的资源,而且会使得检测方法的识别效果变差。最后,现有方法大多以数据直接作为输入来判断是否有入侵,并未考虑到不同入侵类型具有不同特征的实际情况,所以无法做到在设计阶段就有针对性的进行优化建模,来提高预测效果。
以上背景技术内容的公开仅用于辅助理解本申请的发明构思及技术方案,其并不必然属于本专利申请的现有技术,也不必然会给出技术教导;在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本申请的目的是提供一种入侵检测方法、装置、电子设备及存储介质,基于重要性特征选择和多评论家网络实现网络流量数据入侵检测。
为达到上述目的,本申请提供一种网络入侵检测方法,包括
获取一待检测的网络流量数据;
对所述网络流量数据进行数据处理,并分类得到第一类型特征数据集和第二类型特征数据集;
分别从所述第一类型特征数据集和第二类型特征数据集中选取数据,组成一组输入数据;重复选取数据的操作,以得到多组不同的输入数据;
将所述多组不同的输入数据输入预先完成训练的入侵检测网络模型,其中,所述入侵检测网络模型配置有多个子模型,多组输入数据与所述多个子模型一一对应,所述子模型被配置为预估对应的输入数据属于入侵数据的概率;
利用各个子模型对对应的输入数据分别进行预估,若各个子模型预估的概率值均低于预设的第一概率阈值,则所述网络流量数据不属于入侵数据;否则所述网络流量数据属于入侵数据。
进一步地,承前所述的任一技术方案或多个技术方案的组合,所述子模型还被配置为识别入侵数据的入侵攻击类别,其输出的结果包括一种或多种入侵攻击类别及其对应的概率值;
根据各个子模型输出的结果,确定所述网络流量数据所属的一种或多种入侵攻击类别。
进一步地,承前所述的任一技术方案或多个技术方案的组合,若一子模型预测到第一入侵攻击类别的对应概率值达到预设的第二概率阈值,则该网络流量数据属于所述第一入侵攻击类别的入侵数据,其中,所述第二概率阈值的取值大于所述第一概率阈值,所述第一概率阈值的取值介于50%至100%。
进一步地,承前所述的任一技术方案或多个技术方案的组合,所述多个子模型预测得到多个入侵攻击类别的对应概率值;
确定达到所述第一概率阈值的概率值中的最大值及其对应的第二入侵攻击类别;
则该网络流量数据属于所述第二入侵攻击类别的入侵数据。
进一步地,承前所述的任一技术方案或多个技术方案的组合,若多个子模型预测到第三入侵攻击类别的概率值,取所述第三入侵攻击类别的多个概率值的平均值或中位数;
若该平均值或中位数达到预设的第三概率阈值,则所述网络流量数据属于所述第三入侵攻击类别的入侵数据,其中,所述第三概率阈值的取值大于所述第一概率阈值,所述第一概率阈值的取值介于50%至100%。
进一步地,承前所述的任一技术方案或多个技术方案的组合,多个子模型中至少包括不同的第一特定子模型和第二特定子模型,其中,所述第一特定子模型被配置为专注于预估输入数据属于第一特定入侵攻击类别的概率,包括:利用第一学习样本集训练得到所述第一特定子模型,其中,所述第一学习样本集中的一半以上学习样本以第一特定入侵攻击类别为标签;
所述第二特定子模型被配置为专注于预估输入数据属于第二特定入侵攻击类别的概率,包括:利用第二学习样本集训练得到所述第二特定子模型,其中,所述第二学习样本集中的一半以上学习样本以第二特定入侵攻击类别为标签。
进一步地,承前所述的任一技术方案或多个技术方案的组合,对所述网络流量数据进行数据处理包括:对所述网络流量数据进行特征提取,计算每个被提取的特征的重要性指标;
将重要性指标达到预设分数阈值的特征分类至所述第一类型特征数据集,将重要性指标低于预设分数阈值的特征分类至所述第二类型特征数据集;或者,将被提取的特征按照重要性指标由高到低进行排序,将排序在预设名次比例内的特征分类至所述第一类型特征数据集,将排序在预设名次比例外的特征分类至所述第二类型特征数据集。
进一步地,承前所述的任一技术方案或多个技术方案的组合,通过以下方式获取一组输入数据:
取所述第一类型特征数据集中的全部数据,以及从所述第二类型特征数据集中随机抽取部分数据,组成一组输入数据,其中,被抽取的数据数量小于所述第一类型特征数据集中的数据数量。
进一步地,承前所述的任一技术方案或多个技术方案的组合,基于注意力机制计算被提取的特征的重要性指标:,其中,exp( )为指数函数,∑为求和函数,N为对网络流量数据提取得到的特征的数量,x i 为其中第i个特征,x j 为其中第j个特征,q为查询向量,α i 为特征x i 的重要性指标,s(x i ,q)为针对特征x i 的注意力打分函数,s(x j ,q)为针对特征x j 的注意力打分函数。
进一步地,承前所述的任一技术方案或多个技术方案的组合,对所述网络流量数据进行特征提取之前,还包括以下数据处理的步骤:
对所述数据进行清洗,包括数据数值化处理和/或对缺失值进行修复和/或数据标准化处理;
及/或,对所述数据进行不平衡处理,包括对数据集进行SMOTE过采样,利用SMOTE方法合成新的样本,再使用ENN方法剔除SMOTE产生的噪声样本。
进一步地,承前所述的任一技术方案或多个技术方案的组合,通过以下公式对缺失值进行修复:,其中,y miss 表示网络流量数据中缺失的特征值,∑为求和函数,N表示特征值没有出现缺失的数量,y i 表示网络流量数据中没有出现缺失的特征值;
或者,所述数据标准化处理为将数据缩放到一个固定的区间内,包括:采用MinMax处理方法,将每个特征值都映射到[0,1]区间内,MinMax处理公式为:
y i ’=(y i -y min )/(y max -y min ),其中,y i 为标准化处理前的数据值,y i ’为标准化处理后的数据值,y max 为当前特征数据的最大值,y min 为当前特征数据的最小值。
进一步地,承前所述的任一技术方案或多个技术方案的组合,所述数据标准化处理为将数据缩放到一个固定的区间内,包括:采用MinMax处理方法,将每个特征值都映射到[0,1]区间内,MinMax处理公式为:
y i ’=(y i -y min )/(y max -y min ),其中,y i 为标准化处理前的数据值,y i ’为标准化处理后的数据值,y max 为当前特征数据的最大值,y min 为当前特征数据的最小值。
进一步地,承前所述的任一技术方案或多个技术方案的组合,利用SMOTE方法合成新的样本的规则为:d new =d i +rand(0,1)×(d n -d i ),其中,d new 为合成的新样本点,d i 为随机选取的样本点,d n 为近邻样本中的随机一个样本点,rand(0,1)为产生0到1之间的一个随机数。
进一步地,承前所述的任一技术方案或多个技术方案的组合,所述入侵检测网络模型为多评论家网络模型,所述子模型为评论家网络子模型,将多评论家网络模型的入侵检测过程构造为一个马尔可夫决策过程,所述多评论家网络模型的更新采用时序差分的方式,所述多评论家网络模型的损失公式定义为:
损失值L(θ i )=1/2×(r t i +γV(s i t+1 )-V(s i t ))2,其中,θ i 为第i个评论家网络子模型的网络参数;奖励r t i 定义为若当前多评论家网络模型的预测结果与学习样本的标签一致则获得的正向奖励;γ为折扣率;s i t 为在t时刻第i个评论家网络子模型的输入数据,s i t+1 为在t+1时刻第i个评论家网络子模型的输入数据,V(s i t )为在t时刻第i个评论家网络子模型的输出,表示入侵攻击类别的价值,V(s i t+1 )为在t+1时刻第i个评论家网络子模型的输出;在t时刻第i个评论家网络子模型的输入数据s i t =(x 1,x 2,…,x n,x i n+1,…,x i n+m),其中,x 1,x 2,…,x n属于第一类型特征数据集,x i n+1,…,x i n+m属于第二类型特征数据集,不同的评论家网络子模型的输入数据不同。
根据本申请的另一方面,本申请提供了一种网络入侵检测装置,装置包括:
获取模块,其被配置为获取一待检测的网络流量数据;
处理分类模块,其被配置为对所述网络流量数据进行数据处理,并分类得到第一类型特征数据集和第二类型特征数据集;
模型输入数据获取模块,其被配置为分别从所述第一类型特征数据集和第二类型特征数据集中选取数据,组成一组模型输入数据;重复选取数据的操作,以得到多组不同的模型输入数据;
预先完成训练的入侵检测网络模型,其被配置为接收所述输入数据获取模块输出的模型输入数据,所述入侵检测网络模型配置有多个子模型,多组模型输入数据与所述多个子模型一一对应,所述子模型被配置为预估对应的模型输入数据属于入侵数据的概率;
检测结果模块,其被配置为利用各个子模型对对应的输入数据分别进行预估以确定检测结果,包括:若各个子模型预估的概率值均低于预设的第一概率阈值,则所述网络流量数据不属于入侵数据;否则所述网络流量数据属于入侵数据。
根据本申请的另一方面,本申请提供了一种电子设备,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的计算机程序时,实现上述的一种网络入侵检测方法。
根据本申请的另一方面,本申请提供了计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现上述一种网络入侵检测方法。
本申请提供的技术方案带来的有益效果如下:
a. 本申请提供了一种基于重要性指标的特征提取方法。通过注意力机制来计算每个特征的重要性指标,然后依据重要性指标将特征划分为重要特征和非重要特征,并以此选择哪些特征参与训练,有效地解决了网络流量数据特征冗余的问题,提高了模型判断的准确性;
b. 本申请提供了一种能够适应多种攻击类型的入侵检测方法。结合深度强化学习,针对多种攻击类型,构建Multiple-Critic网络(多评论家网络模型),并根据重要性选取不同的特征对不同Critic网络子模型进行训练学习,然后综合多个Critic网络子模型的输出来判断攻击类型,提高判断的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请的一个实施例提供的网络入侵检测方法的示意图;
图2为本申请的一个实施例提供的Multiple-Critic网络的结构图;
图3为本申请的一个实施例提供的网络入侵检测装置的结示意图;
图4为本申请的一个实施例提供的一种电子设备结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
本申请提供了一种网络入侵检测方法,可适用于电力信息网络的入侵检测,即判断电力信息网络的流量数据是否属于入侵数据,或者在属于入侵数据的情况下进一步判断其所属哪一种入侵攻击类型。检测方法概括来说包括:将网络流量数据进行数据清洗,然后进行数据不平衡处理,从而获得训练集,再计算每个特征的重要性指标并进行特征提取,最后将待测数据输入训练后的模型,得到入侵检测结果,进而有效地对攻击模式进行判断。
在本申请的一个实施例中,提供了一种网络入侵检测方法,如图1所示,方法包括:
获取一待检测的网络流量数据;对所述网络流量数据进行数据处理,并分类得到第一类型特征数据集和第二类型特征数据集;分别从所述第一类型特征数据集和第二类型特征数据集中选取数据,组成一组输入数据;重复选取数据的操作,以得到多组不同的输入数据;将所述多组不同的输入数据输入预先完成训练的入侵检测网络模型,其中,所述入侵检测网络模型配置有多个子模型,多组输入数据与所述多个子模型一一对应,所述子模型被配置为预估对应的输入数据属于入侵数据的概率;利用各个子模型对对应的输入数据分别进行预估,若各个子模型预估的概率值均低于预设的第一概率阈值,则所述网络流量数据不属于入侵数据;否则所述网络流量数据属于入侵数据。
通过以上方法,将网络数据进行数据处理,然后分类,再输入到预先完成训练的入侵检测网络模型,获得入侵数据的概率,根据概率值划分为不同的结果,能够实现多个子网络入侵的高精度检测,综合多个检测结果,能够克服检测不准确、检测精度不高等问题。
在一种可选实施例中,所述对所述网络流量数据进行数据处理包括,对所述数据进行清洗,数据清洗包括数据数值化处理和/或对缺失值进行修复和/或数据标准化处理;
在一种可选实施例中,所述对缺失值进行修复包括,若网络流量数据中某些特征存在缺失值,则依据此特征的均值对缺失的值进行修复,计算公式如下:
其中,y miss 表示网络流量数据中缺失的特征值,∑为求和函数,N表示特征值没有出现缺失的数量,y i 表示网络流量数据中没有出现缺失的特征值。
在一种可选实施例中,所述数据标准化处理包括:将数据缩放到一个固定的区间内,包括:采用MinMax处理方法,将每个特征值都映射到[0,1]区间内,MinMax处理公式为:
y i ’=(y i -y min )/(y max -y min ),其中,y i 为标准化处理前的数据值,y i ’为标准化处理后的数据值,y max 为当前特征数据的最大值,y min 为当前特征数据的最小值。
所述对所述网络流量数据进行数据处理还包括数据不平衡处理:数据不平衡处理具体包括对数据进行过采样,使用SMOTE规则合成新的样本,再使用ENN方法对SMOTE产生的噪声样本剔除。
在一种可选实施例中,利用SMOTE方法合成新的样本的规则为:d new =d i +rand(0,1)×(d n -d i ),其中,d new 为合成的新样本点,d i 为随机选取的样本点,d n 为近邻样本中的随机一个样本点,rand(0,1)为产生0到1之间的一个随机数。
在一种可选实施例中,使用ENN(Edited Nearest Neighbor,ENN)方法对SMOTE可能产生的噪声样本进行剔除。找出与邻居不太友好的样本(即样本不同于多数个邻居的样本),并将其删除。保留与近邻样本大多数或者所有样本都属于同一类的样本。
在一种可选实施例中,对所述网络流量数据进行特征提取,计算每个被提取的特征的重要性指标;将重要性指标达到预设分数阈值的特征分类至所述第一类型特征数据集,将重要性指标低于预设分数阈值的特征分类至所述第二类型特征数据集;或者,将被提取的特征按照重要性指标由高到低进行排序,将排序在预设名次比例内的特征分类至所述第一类型特征数据集,将排序在预设名次比例外的特征分类至所述第二类型特征数据集。
在一种可选实施例中,通过以下方式获取一组输入数据:
取所述第一类型特征数据集中的全部数据,以及从所述第二类型特征数据集中随机抽取部分数据,组成一组输入数据,其中,被抽取的数据数量小于所述第一类型特征数据集中的数据数量。
在一种可选实施例中,基于注意力机制计算被提取的特征的所述重要性指标:
,其中,exp( )为指数函数,∑为求和函数,N为对网络流量数据提取得到的特征的数量,x i 为其中第i个特征,x j 为其中第j个特征,q为查询向量,α i 为特征x i 的重要性指标,s(x i ,q)为针对特征x i 的注意力打分函数,s(x j ,q)为针对特征x j 的注意力打分函数。在一个具体的实施例中,注意力打分函数的表达式如下:s(x i ,q)=-½×(q-x i )2,s(x j ,q)=-½×(q-x j )2。
在一种可选实施例中,根据所述特征的重要性指标进行特征提取包括:将所述特征根据重要性指标划分为重要特征和非重要特征,将全部所述重要特征和部分所述非重要特征作为特征提取结果。
在一种可选实施例中,所述根据所述特征的重要性指标进行特征提取包括:将重要性指标中前60%的特征定义为重要特征,其余40%的特征定义为非重要特征。特征提取包括全部所述重要性特征和随机10%的所述非重要特征。
在一种可选实施例中,所述子模型还被配置为识别入侵数据的入侵攻击类别,其输出的结果包括一种或多种入侵攻击类别及其对应的概率值;本实施例中,入侵攻击类别分为DoS攻击、Probe攻击(试探攻击)、U2R攻击(User to Root攻击)、R2L攻击(Remote toLocal攻击)。
在一种可选实施例中,将经过数据处理后的数据输入入侵检测网络模型,根据各个子模型输出的结果,确定所述网络流量数据所属的一种或多种入侵攻击类别。
以图2为例,所述入侵检测网络模型为Multiple-Critic网络模型(多评论家网络模型):所述Multiple-Critic网络包括4个Critic网络(网络子模型),每个Critic网络包括输入层、全连接层和输出层,本实施例中第一概率阈值设为50%,例如这四个子模型的检测结果分别为:
DoS攻击:15%,Probe攻击:19%,U2R攻击:16%,R2L攻击:26%;
DoS攻击:25%,Probe攻击:29%,U2R攻击:16%,R2L攻击:26%;
DoS攻击:35%,Probe攻击:39%,U2R攻击:16%,R2L攻击:26%;
DoS攻击:45%,Probe攻击:49%,U2R攻击:16%,R2L攻击:26%;
由于上述结果中各种攻击类型的概率值都没有超过第一概率阈值,所以待检测的网络流量数据不属于入侵数据。
通过综合各个子模型的输出结果,最终确定网络流量数据的攻击类别,能够发挥多个模型的优势,进而达到检测正确提高的目的。具体确定网络流量数据的攻击类别的方式至少包括以下三种:
方式一、若一所述子模型预测到第一入侵攻击类别的对应概率值达到预设的第二概率阈值,则该网络流量数据属于所述第一入侵攻击类别的入侵数据,其中,所述第二概率阈值的取值大于所述第一概率阈值,所述第一概率阈值的取值介于50%至100%,本实施例中,设第二概率阈值为80%。
每个子模型的输出结果分别为这四种攻击类型及其对应的概率值,比如:
一个子模型的输出结果为DoS攻击:95%,Probe攻击:89%,U2R攻击:16%,R2L攻击:26%,由于第二概率阈值的取值为80%,则该子模型判定该数据属于入侵数据,且攻击类型为DoS攻击和Probe攻击。
其他子模型同理,比如判定该数据属于入侵数据,且攻击类型为DoS攻击和U2R攻击。则综合各个子模型的输出结果,最终确定网络流量数据的攻击类别为DoS攻击、Probe攻击和U2R攻击。
这种方式适合对网络安全性比较高的场景,即只要有一个子模型检测到某一攻击类型的概率值大于第二概率阈值,则会输出相应的检测结果。
方式二、若多个子模型预测到第三入侵攻击类别的概率值,取所述第三入侵攻击类别的多个概率值的平均值或中位数;
若该平均值或中位数达到预设的第三概率阈值,则所述网络流量数据属于所述第三入侵攻击类别的入侵数据,其中,所述第三概率阈值的取值大于所述第一概率阈值,所述第一概率阈值的取值介于50%至100%。
相比方式一,方式二可以排除因某一子模型误检测结果而导致综合检测结果失误的情况,比如第一子模型误检测DoS攻击的概率值为90%,而其他三个子模型检测到DoS攻击的概率值分别为10%、15%、25%,则四个概率值的平均值为35%,低于第三概率阈值,因此,综合检测结果不会误判攻击类型为DoS攻击。
方式三、多个所述子模型预测得到多个入侵攻击类别的对应概率值;确定达到所述第一概率阈值的概率值中的最大值及其对应的第二入侵攻击类别;则该网络流量数据属于所述第二入侵攻击类别的入侵数据。
同样地,比如一个子模型的输出结果为DoS攻击:95%,Probe攻击:89%,U2R攻击:16%,R2L攻击:26%,在本方式下,该子模型判定该数据属于入侵数据,且攻击类型为DoS攻击。
在本发明的一个实施例中,多个子模型中至少包括不同的第一特定子模型和第二特定子模型,其中,所述第一特定子模型被配置为专注于预估输入数据属于第一特定入侵攻击类别的概率,包括:利用第一学习样本集训练得到所述第一特定子模型,其中,所述第一学习样本集中的一半以上学习样本以第一特定入侵攻击类别为标签;
所述第二特定子模型被配置为专注于预估输入数据属于第二特定入侵攻击类别的概率,包括:利用第二学习样本集训练得到所述第二特定子模型,其中,所述第二学习样本集中的一半以上学习样本以第二特定入侵攻击类别为标签。
这种以特定学习样本来训练得到专注于识别特定一类入侵攻击类别的的子模型的方式,可以使得其在识别该类攻击类型的精确度大大提高,并且模型可以较快收敛,如图2所示的4个Critic网络,通过各自的对不同攻击类型的专注训练,第一Critic网络擅长识别DoS攻击,第二Critic网络擅长识别Probe攻击,第三Critic网络擅长识别U2R攻击,第四Critic网络擅长识别R2L攻击。
此特定学习的方式结合上述方式三,比如,擅长识别DoS攻击的第一Critic网络的输出结果为DoS攻击:95%,Probe攻击:89%,U2R攻击:16%,R2L攻击:26%;而擅长识别Probe攻击的第二Critic网络的输出结果为DoS攻击:55%,Probe攻击:29%,U2R攻击:16%,R2L攻击:26%;则按照方式三的判定可以排除第一Critic网络对Probe攻击的误识别。四个Critic网络虽然均会输出四种攻击类别的概率值,但是其中也由于其特定识别的专注度训练,各司其职于各自特定的攻击类别识别,进一步提高识别的精确度。
本实施例通过多评论家网络模型预测出电力网络流量数据是否属于入侵数据及其对应的入侵攻击类别后,有利于针对不同的入侵数据展开不同的防御措施,比如针对DoS攻击,可采取禁用对方IP的措施;针对Probe攻击,可采取设置/更改主机配置的措施;针对U2R攻击,可采取修改本地设置以提高用户管理安全等级的措施;针对R2L攻击,可采取修改本地设置和远程设置以提高用户管理安全等级的措施。
针对上述入侵检测网络模型,其可以通过以下训练方法得到:
利用NSL-KDD数据集对构建的Multiple-Critic网络进行训练,将入侵检测过程构造为一个马尔可夫决策过程,Critic网络的更新采用时序差分的方式,每个Critic网络的损失公式定义为:
损失值L(θ i )=1/2×(r t i +γV(s i t+1 )-V(s i t ))2,其中,θ i 为第i个评论家网络子模型的网络参数;奖励r t i 定义为若当前多评论家网络模型的预测结果与学习样本的标签一致则获得的正向奖励;γ为折扣率;s i t 为在t时刻第i个评论家网络子模型的输入数据,s i t+1 为在t+1时刻第i个评论家网络子模型的输入数据,V(s i t )为在t时刻第i个评论家网络子模型的输出,表示入侵攻击类别的价值,维度为类别的数量,包括〈DoS,Probe,U2R,R2L〉这四种;在t时刻第i个评论家网络子模型的输入数据s i t =(x 1,x 2,…,x n,x i n+1,…,x i n+m),其中,x 1,x 2,…,x n属于第一类型特征数据集,表征重要特征;x i n+1,…,x i n+m属于第二类型特征数据集,表征非重要特征,不同的评论家网络子模型的输入数据不同。V(s i t+1 )为在t+1时刻第i个评论家网络子模型的输出,其中t+1时刻为t时刻的相邻下一时刻,相邻两时刻之间的时间差由采样频率确定;同理于s i t ,在t+1时刻第i个评论家网络子模型的输入数据s i t+1 同样具有表征重要特征的第一类型特征数据集和表征非重要特征的第二类型特征数据集,只不过对应不同时刻,相应的特征数据集中的数据有所不同。
在本申请的一个实施例中,提供了一种网络入侵检测装置,如图3所示,装置包括以下模块:
获取模块,其被配置为获取一待检测的网络流量数据;
处理分类模块,其被配置为对所述网络流量数据进行数据处理,并分类得到第一类型特征数据集和第二类型特征数据集;
模型输入数据获取模块,其被配置为分别从所述第一类型特征数据集和第二类型特征数据集中选取数据,组成一组模型输入数据;重复选取数据的操作,以得到多组不同的模型输入数据;
预先完成训练的入侵检测网络模型,其被配置为接收所述输入数据获取模块输出的模型输入数据,所述入侵检测网络模型配置有多个子模型,多组模型输入数据与所述多个子模型一一对应,所述子模型被配置为预估对应的模型输入数据属于入侵数据的概率;
检测结果模块,其被配置为利用各个子模型对对应的输入数据分别进行预估以确定检测结果,包括:若各个子模型预估的概率值均低于预设的第一概率阈值,则所述网络流量数据不属于入侵数据;否则所述网络流量数据属于入侵数据。
本实施例通过的网络入侵检测装置与上述实施例提供的网络入侵检测方法属于相同的构思,在此通过引用全文的方式,将网络入侵检测方法实施例的全部内容引入本网络入侵检测装置实施例。
在本申请的一个实施例中,提供了一种电子设备,如图4所示,所述电子设备包括:
至少一个处理器401,以及与至少一个处理器401连接的存储器402,本申请实施例中不限定处理器401与存储器402之间的具体连接介质,图4中是以处理器401和存储器402之间通过总线400连接为例。总线400在图4中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线400可以分为地址总线、数据总线、控制总线等,为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。或者,处理器401也可以称为控制器,对于名称不做限制。在本申请的一个实施例中,提供了一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现上述一种网络入侵检测方法。
在本申请实施例中,存储器402存储有可被至少一个处理器401执行的指令,至少一个处理器401通过执行存储器402存储的指令,可以执行前文所述的网络入侵检测方法。处理器401可以实现图4所示的装置中各个模块的功能。
其中,处理器401是该装置的控制中心,可以利用各种接口和线路连接整个该控制设备的各个部分,通过运行或执行存储在存储器402内的指令以及调用存储在存储器402内的数据,该装置的各种功能和处理数据,从而对该装置进行整体监控。在一种可能的设计中,处理器401可包括一个或多个处理单元,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。在一些实施例中,处理器401和存储器402可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器401可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的网络入侵检测方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器402可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器402是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器402还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
通过对处理器401进行设计编程,可以将前述实施例中的网络入侵检测方法所对应的代码固化到芯片内,从而使芯片在运行时能够执行图1所示的实施例的网络入侵检测方法的步骤。如何对处理器401进行设计编程为本领域技术人员所公知的技术,这里不再赘述。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (11)
1.一种网络入侵检测方法,其特征在于,包括:
获取一待检测的网络流量数据;
对所述网络流量数据进行数据处理,并分类得到第一类型特征数据集和第二类型特征数据集;
分别从所述第一类型特征数据集和第二类型特征数据集中选取数据,组成一组输入数据;重复选取数据的操作,以得到多组不同的输入数据;
将所述多组不同的输入数据输入预先完成训练的入侵检测网络模型,其中,所述入侵检测网络模型配置有多个子模型,多组输入数据与所述多个子模型一一对应,所述子模型被配置为预估对应的输入数据属于入侵数据的概率;
利用各个子模型对对应的输入数据分别进行预估,若各个子模型预估的概率值均低于预设的第一概率阈值,则所述网络流量数据不属于入侵数据;否则所述网络流量数据属于入侵数据;
所述子模型还被配置为识别入侵数据的入侵攻击类别,其输出的结果包括一种或多种入侵攻击类别及其对应的概率值;
根据各个子模型输出的结果,确定所述网络流量数据所属的一种或多种入侵攻击类别;
多个子模型预测得到多个入侵攻击类别的对应概率值;
确定达到所述第一概率阈值的概率值中的最大值及其对应的第二入侵攻击类别;
则该网络流量数据属于所述第二入侵攻击类别的入侵数据;
对所述网络流量数据进行数据处理包括:对所述网络流量数据进行特征提取,计算每个被提取的特征的重要性指标;
将重要性指标达到预设分数阈值的特征分类至所述第一类型特征数据集,将重要性指标低于预设分数阈值的特征分类至所述第二类型特征数据集;
或者,将被提取的特征按照重要性指标由高到低进行排序,将排序在预设名次比例内的特征分类至所述第一类型特征数据集,将排序在预设名次比例外的特征分类至所述第二类型特征数据集;
通过以下方式获取一组输入数据:
取所述第一类型特征数据集中的全部数据,以及从所述第二类型特征数据集中随机抽取部分数据,组成一组输入数据,其中,被抽取的数据数量小于所述第一类型特征数据集中的数据数量;
基于注意力机制计算被提取的特征的重要性指标:其中,exp()为指数函数,∑为求和函数,N为对网络流量数据提取得到的特征的数量,xi为其中第i个特征,xj为其中第j个特征,q为查询向量,αi为特征xi的重要性指标,s(xi,q)为针对特征xi的注意力打分函数,s(xj,q)为针对特征xj的注意力打分函数。
2.根据权利要求1所述的网络入侵检测方法,其特征在于,若一子模型预测到第一入侵攻击类别的对应概率值达到预设的第二概率阈值,则该网络流量数据属于所述第一入侵攻击类别的入侵数据,其中,所述第二概率阈值的取值大于所述第一概率阈值,所述第一概率阈值的取值介于50%至100%。
3.根据权利要求1所述的网络入侵检测方法,其特征在于,若多个子模型预测到第三入侵攻击类别的概率值,取所述第三入侵攻击类别的多个概率值的平均值或中位数;
若该平均值或中位数达到预设的第三概率阈值,则所述网络流量数据属于所述第三入侵攻击类别的入侵数据,其中,所述第三概率阈值的取值大于所述第一概率阈值,所述第一概率阈值的取值介于50%至100%。
4.根据权利要求2至3中任一项所述的网络入侵检测方法,其特征在于,多个子模型中至少包括不同的第一特定子模型和第二特定子模型,其中,所述第一特定子模型被配置为专注于预估输入数据属于第一特定入侵攻击类别的概率,包括:利用第一学习样本集训练得到所述第一特定子模型,其中,所述第一学习样本集中的一半以上学习样本以第一特定入侵攻击类别为标签;
所述第二特定子模型被配置为专注于预估输入数据属于第二特定入侵攻击类别的概率,包括:利用第二学习样本集训练得到所述第二特定子模型,其中,所述第二学习样本集中的一半以上学习样本以第二特定入侵攻击类别为标签。
5.根据权利要求1所述的网络入侵检测方法,其特征在于,对所述网络流量数据进行特征提取之前,还包括以下数据处理的步骤:
对所述数据进行清洗,包括数据数值化处理和/或对缺失值进行修复和/或数据标准化处理;
及/或,对所述数据进行不平衡处理,包括对数据集进行SMOTE过采样,利用SMOTE方法合成新的样本,再使用ENN方法剔除SMOTE产生的噪声样本。
6.根据权利要求5所述的网络入侵检测方法,其特征在于,通过以下公式对缺失值进行修复:其中,ymiss表示网络流量数据中缺失的特征值,∑为求和函数,N表示特征值没有出现缺失的数量,yi表示网络流量数据中没有出现缺失的特征值;
或者,所述数据标准化处理为将数据缩放到一个固定的区间内,包括:采用MinMax处理方法,将每个特征值都映射到[0,1]区间内,MinMax处理公式为:yi’=(yi-ymin)/(ymax-ymin),其中,yi为标准化处理前的数据值,yi’为标准化处理后的数据值,ymax为当前特征数据的最大值,ymin为当前特征数据的最小值。
7.根据权利要求5所述的网络入侵检测方法,其特征在于,利用SMOTE方法合成新的样本的规则为:dnew=di+rand(0,1)×(dn-di),其中,dnew为合成的新样本点,di为随机选取的样本点,dn为近邻样本中的随机一个样本点,rand(0,1)为产生0到1之间的一个随机数。
8.根据权利要求1至7中任一项所述的网络入侵检测方法,其特征在于,所述入侵检测网络模型为多评论家网络模型,所述子模型为评论家网络子模型,将多评论家网络模型的入侵检测过程构造为一个马尔可夫决策过程,所述多评论家网络模型的更新采用时序差分的方式,所述多评论家网络模型的损失公式定义为:
损失值L(θi)=1/2×(rt i+γV(si t+1)-V(si t))2,其中,θi为第i个评论家网络子模型的网络参数;奖励rt i定义为若当前多评论家网络模型的预测结果与学习样本的标签一致则获得的正向奖励;γ为折扣率;si t为在t时刻第i个评论家网络子模型的输入数据,si t+1为在t+1时刻第i个评论家网络子模型的输入数据,V(si t)为在t时刻第i个评论家网络子模型的输出,表示入侵攻击类别的价值,V(si t+1)为在t+1时刻第i个评论家网络子模型的输出;在t时刻第i个评论家网络子模型的输入数据si t=(x1,x2,…,xn,xi n+1,…,xi n+m),其中,x1,x2,…,xn属于第一类型特征数据集,xi n+1,…,xi n+m属于第二类型特征数据集,不同的评论家网络子模型的输入数据不同。
9.一种网络入侵检测装置,其特征在于,包括以下模块:
获取模块,其被配置为获取一待检测的网络流量数据;
处理分类模块,其被配置为对所述网络流量数据进行数据处理,并分类得到第一类型特征数据集和第二类型特征数据集;
模型输入数据获取模块,其被配置为分别从所述第一类型特征数据集和第二类型特征数据集中选取数据,组成一组模型输入数据;重复选取数据的操作,以得到多组不同的模型输入数据;
预先完成训练的入侵检测网络模型,其被配置为接收所述输入数据获取模块输出的模型输入数据,所述入侵检测网络模型配置有多个子模型,多组模型输入数据与所述多个子模型一一对应,所述子模型被配置为预估对应的模型输入数据属于入侵数据的概率;
检测结果模块,其被配置为利用各个子模型对对应的输入数据分别进行预估以确定检测结果,包括:若各个子模型预估的概率值均低于预设的第一概率阈值,则所述网络流量数据不属于入侵数据;否则所述网络流量数据属于入侵数据;
所述子模型还被配置为识别入侵数据的入侵攻击类别,其输出的结果包括一种或多种入侵攻击类别及其对应的概率值;
根据各个子模型输出的结果,确定所述网络流量数据所属的一种或多种入侵攻击类别;
多个子模型预测得到多个入侵攻击类别的对应概率值;
确定达到所述第一概率阈值的概率值中的最大值及其对应的第二入侵攻击类别;
则该网络流量数据属于所述第二入侵攻击类别的入侵数据;
对所述网络流量数据进行数据处理包括:对所述网络流量数据进行特征提取,计算每个被提取的特征的重要性指标;
将重要性指标达到预设分数阈值的特征分类至所述第一类型特征数据集,将重要性指标低于预设分数阈值的特征分类至所述第二类型特征数据集;或者,将被提取的特征按照重要性指标由高到低进行排序,将排序在预设名次比例内的特征分类至所述第一类型特征数据集,将排序在预设名次比例外的特征分类至所述第二类型特征数据集;
通过以下方式获取一组输入数据:
取所述第一类型特征数据集中的全部数据,以及从所述第二类型特征数据集中随机抽取部分数据,组成一组输入数据,其中,被抽取的数据数量小于所述第一类型特征数据集中的数据数量;
基于注意力机制计算被提取的特征的重要性指标:其中,exp()为指数函数,∑为求和函数,N为对网络流量数据提取得到的特征的数量,xi为其中第i个特征,xj为其中第j个特征,q为查询向量,αi为特征xi的重要性指标,s(xi,q)为针对特征xi的注意力打分函数,s(xj,q)为针对特征xj的注意力打分函数。
10.一种电子设备,其特征在于,包括:
存储器,用于存放计算机程序;
处理器,用于执行所述存储器上所存放的计算机程序时,执行如权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时执行如权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410022603.5A CN117527451B (zh) | 2024-01-08 | 2024-01-08 | 一种网络入侵检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410022603.5A CN117527451B (zh) | 2024-01-08 | 2024-01-08 | 一种网络入侵检测方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117527451A CN117527451A (zh) | 2024-02-06 |
CN117527451B true CN117527451B (zh) | 2024-04-02 |
Family
ID=89746155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410022603.5A Active CN117527451B (zh) | 2024-01-08 | 2024-01-08 | 一种网络入侵检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117527451B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553381A (zh) * | 2020-03-23 | 2020-08-18 | 北京邮电大学 | 基于多网络模型的网络入侵检测方法、装置及电子设备 |
CN113206859A (zh) * | 2021-05-17 | 2021-08-03 | 北京交通大学 | 一种针对低速率DDoS攻击的检测方法和系统 |
CN115021965A (zh) * | 2022-05-06 | 2022-09-06 | 中南民族大学 | 一种基于生成式对抗网络的入侵检测系统的攻击数据的生成方法及系统 |
WO2022191596A1 (ko) * | 2021-03-11 | 2022-09-15 | 주식회사 씨티아이랩 | 오토프로파일링 기반 네트워크 패킷 이상행위 자동 탐지 장치 및 방법 |
CN115249082A (zh) * | 2021-04-28 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 用户兴趣预测方法、装置、存储介质和电子设备 |
CN115459982A (zh) * | 2022-09-01 | 2022-12-09 | 国网江苏省电力有限公司苏州供电分公司 | 一种电力网络虚假数据注入攻击检测方法 |
CN115580445A (zh) * | 2022-09-22 | 2023-01-06 | 东北大学 | 一种未知攻击入侵检测方法、装置和计算机可读存储介质 |
CN117081858A (zh) * | 2023-10-16 | 2023-11-17 | 山东省计算中心(国家超级计算济南中心) | 一种基于多决策树入侵行为检测方法、系统、设备及介质 |
CN117081831A (zh) * | 2023-09-07 | 2023-11-17 | 南京信息工程大学 | 基于数据生成和注意力机制的网络入侵检测方法及系统 |
-
2024
- 2024-01-08 CN CN202410022603.5A patent/CN117527451B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553381A (zh) * | 2020-03-23 | 2020-08-18 | 北京邮电大学 | 基于多网络模型的网络入侵检测方法、装置及电子设备 |
WO2022191596A1 (ko) * | 2021-03-11 | 2022-09-15 | 주식회사 씨티아이랩 | 오토프로파일링 기반 네트워크 패킷 이상행위 자동 탐지 장치 및 방법 |
CN115249082A (zh) * | 2021-04-28 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 用户兴趣预测方法、装置、存储介质和电子设备 |
CN113206859A (zh) * | 2021-05-17 | 2021-08-03 | 北京交通大学 | 一种针对低速率DDoS攻击的检测方法和系统 |
CN115021965A (zh) * | 2022-05-06 | 2022-09-06 | 中南民族大学 | 一种基于生成式对抗网络的入侵检测系统的攻击数据的生成方法及系统 |
CN115459982A (zh) * | 2022-09-01 | 2022-12-09 | 国网江苏省电力有限公司苏州供电分公司 | 一种电力网络虚假数据注入攻击检测方法 |
CN115580445A (zh) * | 2022-09-22 | 2023-01-06 | 东北大学 | 一种未知攻击入侵检测方法、装置和计算机可读存储介质 |
CN117081831A (zh) * | 2023-09-07 | 2023-11-17 | 南京信息工程大学 | 基于数据生成和注意力机制的网络入侵检测方法及系统 |
CN117081858A (zh) * | 2023-10-16 | 2023-11-17 | 山东省计算中心(国家超级计算济南中心) | 一种基于多决策树入侵行为检测方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117527451A (zh) | 2024-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070141B (zh) | 一种网络入侵检测方法 | |
CN107294993B (zh) | 一种基于集成学习的web异常流量监测方法 | |
CN111428231B (zh) | 基于用户行为的安全处理方法、装置及设备 | |
CN111882446B (zh) | 一种基于图卷积网络的异常账户检测方法 | |
CN109936582B (zh) | 构建基于pu学习的恶意流量检测模型的方法及装置 | |
CN105677791B (zh) | 用于分析风力发电机组的运行数据的方法和系统 | |
CN112686775A (zh) | 基于孤立森林算法的电力网络攻击检测方法及系统 | |
CN102045358A (zh) | 一种基于整合相关性分析与分级聚类的入侵检测方法 | |
CN112910859A (zh) | 基于c5.0决策树和时序分析的物联网设备监测预警方法 | |
CN106778908A (zh) | 一种新异类检测方法与装置 | |
CN112491891B (zh) | 物联网环境下基于混合深度学习的网络攻击检测方法 | |
CN108683658B (zh) | 基于多rbm网络构建基准模型的工控网络流量异常识别方法 | |
CN114581694A (zh) | 一种基于改进的支持向量机的网络安全态势评估方法 | |
TWI677830B (zh) | 模型中關鍵變量的探測方法及裝置 | |
CN115905992A (zh) | 一种电力数据预处理方法、系统、存储介质及计算设备 | |
CN118041587A (zh) | 一种网络安全测试评估系统及方法 | |
CN117527451B (zh) | 一种网络入侵检测方法、装置、电子设备及存储介质 | |
CN115115369A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN112287979A (zh) | 一种基于互信息的储能电池状态判定方法 | |
CN116365519A (zh) | 一种电力负荷预测方法、系统、存储介质及设备 | |
CN114579761A (zh) | 信息安全知识实体关系连接预测方法、系统及介质 | |
CN114519605A (zh) | 广告点击欺诈检测方法、系统、服务器和存储介质 | |
CN112884069A (zh) | 一种对抗网络样本检测的方法 | |
CN111104963A (zh) | 目标用户确定方法、装置、存储介质及电子设备 | |
CN113989273B (zh) | 一种基于k-近邻的太阳耀斑预报方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |