CN112491854A - 一种基于fcnn的多方位安全入侵检测方法及系统 - Google Patents

一种基于fcnn的多方位安全入侵检测方法及系统 Download PDF

Info

Publication number
CN112491854A
CN112491854A CN202011306745.2A CN202011306745A CN112491854A CN 112491854 A CN112491854 A CN 112491854A CN 202011306745 A CN202011306745 A CN 202011306745A CN 112491854 A CN112491854 A CN 112491854A
Authority
CN
China
Prior art keywords
data
detection
fcnn
attack
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011306745.2A
Other languages
English (en)
Other versions
CN112491854B (zh
Inventor
岳志军
尚尔卓
郭敬文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Dvelop Technology Co ltd
Original Assignee
Zhengzhou Dvelop Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Dvelop Technology Co ltd filed Critical Zhengzhou Dvelop Technology Co ltd
Priority to CN202011306745.2A priority Critical patent/CN112491854B/zh
Publication of CN112491854A publication Critical patent/CN112491854A/zh
Application granted granted Critical
Publication of CN112491854B publication Critical patent/CN112491854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • H04L63/145Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Virology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种基于FCNN的多方位安全入侵检测方法及系统。所述方法包括:获取网络数据流;进行数据预处理;将预处理后的数据进行异常分类检测,得到异常检测分类结果;拦截异常信息,并激活攻击检测分类器,将异常状态信息对应的所述预处理后的数据输入攻击分类检测中后,得到攻击检测结果,并将所述攻击检测结果记录到攻击记录手册中。所述系统包括:数据获取模块、预处理模块、异常检测分类器、攻击检测分类器。本申请有效降低了输入的数据量,解决了因训练数据量大而对训练设备要求高的问题,本申请还采用Adam自适应学习率算法以及SGD算法,使得神经元网络收敛速度很快,解决了训练时间长的问题。

Description

一种基于FCNN的多方位安全入侵检测方法及系统
技术领域
本申请涉及网络安全技术领域,具体而言,涉及一种基于FCNN的多方位安全入侵检测方法及系统。
背景技术
目前,随着数字技术的快速发展,计算机网络的安全威胁在近十年里急剧增加。同时,极具灾难性和危害性的网络攻击会导致个人和商业敏感信息暴露、关键操作中断、持续的漏洞、未经授权和非法访问设备及软件,给国家社会及个人经济带来高成本。网络安全是银行、零售店、关键基础设施、电网、运营商等知名机构长期面临的问题,使得网络安全的研究不断成为学者和机构关注的重大问题。
现有技术中,在解决网络安全方面,深度学习技术随着功能的改进而不断涌进。目前传统的机器学习技术,如支持向量机、随机森林和Adaboosting等,对NSL-KDD数据的准确率为50.3-82.5%;针对深度学习的方法主要包括深度信念网络、递归神经网络等,这些方法虽对异常检测的准确率和性能都有提高,但是在网络训练中存在训练数据量大、训练设备要求高、训练时间长等问题。
针对相关技术中训练数据量大、训练设备要求高、训练时间长的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种基于FCNN的多方位安全入侵检测方法及系统,以解决相关技术中训练数据量大、训练设备要求高、训练时间长的问题。
为了实现上述目的,第一方面,本申请提供了一种基于FCNN的多方位安全入侵检测方法,包括如下步骤:
获取网络数据流;
针对网络数据流中的数据进行数据预处理;
将预处理后的数据进行异常分类检测,得到异常检测分类结果;
若异常检测分类结果显示所述预处理后的数据为异常信息,则拦截该异常信息,同时将异常状态信息对应的将所述预处理后的数据输入到攻击分类检测中;
若异常检测分类结果显示所述预处理后的数据为正常数据,则所述网络数据流正常通过;
所述预处理后的数据输入攻击分类检测中后,得到攻击检测结果,并将所述攻击检测结果记录到攻击记录手册中。
所述异常分类检测包括:
异常特征筛选;
建立异常检测数据库;
二类FCNN网络模型。
所述异常特征筛选:降低用于建立模型的数据维度,进行异常特征筛选。
所述建立异常检测数据库:将所筛选的异常特征添加到异常检测数据库中,并且根据预设定时间阈值与预设定数据数量阈值,不断更新数据库,当所收集的数据大于预设定时间阈值与预设定数据数量阈值时,重新建立二类FCNN网络模型。
所述二类FCNN网络模型,采用全连接网络模型创建二类FCNN网络模型,并且采用Adam自适应学习率算法以及SGD算法对所述二类FCNN网络模型中的参数进行优化,得到优化后的二类FCNN网络模型。
所述采用全连接网络模型创建二类FCNN网络模型,训练过程如下:
将所述异常检测数据库中的所有数据进行数据预处理;
将数据预处理后的数据通过输入层、隐藏层、输出层进行正向传播,得到模型输出的预测值;
根据损失函数,计算所述模型输出的预测值与期望输出值的误差,将所述误差在输出层、隐藏层、输入层进行反向传播,利用每一层的误差更新神经网络的权值,得到二类FCNN网络模型。
所述攻击分类检测,包括:
攻击特征筛选;
建立攻击检测数据库;
四类类FCNN网络模型。
所述攻击特征筛选:降低用于建立模型的数据维度,进行攻击特征筛选。
所述建立攻击检测数据库:将所筛选的攻击特征添加到攻击检测数据库中,并且不断更新数据库,当数据库更新时,重新建立四类FCNN网络模型。
所述四类FCNN网络模型,采用全连接网络模型创建四类FCNN网络模型,并且采用Adam自适应学习率算法以及SGD算法对所述四类FCNN网络模型中的参数进行优化,得到优化后的四类FCNN网络模型。
所述采用全连接网络模型创建四类FCNN网络模型,训练过程如下:
将所述攻击检测数据库中的所有数据进行数据预处理;
将数据预处理后的数据通过输入层、隐藏层、输出层进行正向传播,得到模型输出的预测值;
根据损失函数,计算所述模型输出的预测值与期望输出值的误差,将所述误差在输出层、隐藏层、输入层进行反向传播,利用每一层的误差更新改变神经网络的权值,得到四类FCNN网络模型。
所述数据预处理包括:
对所述网络数据流中的数据进行Z-score标准化;
对所述网络数据流中的数据分类值进行One-Hot Encoding编码。
所述采用Adam(Adaptive moment estimation适应性矩估计)自适应学习率算法以及SGD算法(Stochastic Gradient Descent随机梯度下降)对所述二类FCNN网络模型或者四类FCNN网络模型中的参数进行优化,过程如下:
首先采用Adam自适应学习率算法对神经元参数进行快速更新:
计算Adam的一阶动量;
计算Adam的二阶动量;
计算Adam的下降方向向量;
根据Adam的下降方向向量,进行参数更新;
当满足切换条件时,由Adam自适应学习率算法切换至SGD算法;
计算SGD的下降方向向量;
根据SGD的下降方向向量进行参数更新,得到更新后参数。
第二方面,本申请还提供了一种基于FCNN的多方位安全入侵检测系统,采用所述的基于FCNN的多方位安全入侵检测方法实现,包括:数据获取模块、预处理模块、异常检测分类器、攻击检测分类器;
所述数据获取模块、预处理模块、异常检测分类器、攻击检测分类器此次顺序相连接,所述预处理模块与所述攻击检测分类器相连接;
所述数据获取模块,用来获取网络数据流;
所述预处理模块,用来针对网络数据流中的数据进行数据预处理;
所述异常检测分类器,用来将预处理后的数据进行异常分类检测,得到异常检测分类结果;若异常检测分类结果显示所述预处理后的数据为异常信息,则拦截该异常信息,并激活攻击检测分类器,将异常状态信息对应的所述预处理后的数据输入到攻击分类检测中;若异常检测分类结果显示所述预处理后的数据为正常数据,则所述网络数据流正常通过;
所述攻击检测分类器,用来将所述预处理后的数据输入攻击分类检测中后,得到攻击检测结果,并将所述攻击检测结果记录到攻击记录手册中。
有益技术效果:
本申请提出了一种基于FCNN的多方位安全入侵检测方法及系统,采用了二类FCNN网络模型以及四类FCNN网络模型,有效降低了输入的数据量,解决了因训练数据量大而对训练设备要求高的问题,本申请还采用Adam自适应学习率算法以及SGD算法,使得神经元网络收敛速度很快,解决了训练时间长的问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的一种基于FCNN的多方位安全入侵检测方法流程图;
图2是根据本申请实施例提供的异常分类检测流程图;
图3是根据本申请实施例提供的采用全连接网络模型创建二类FCNN网络模型流程图;
图4是根据本申请实施例提供的攻击分类检测流程图;
图5是根据本申请实施例提供的采用全连接网络模型创建四类FCNN网络模型流程图;
图6是根据本申请实施例提供的采用Adam自适应学习率算法对神经元参数进行更新的流程图;
图7是根据本申请实施例提供的一种基于FCNN的多方位安全入侵检测系统原理框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本申请中的具体含义。
另外,术语“多个”的含义应为两个以及两个以上。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
第一方面,本申请提供了一种基于FCNN的多方位安全入侵检测方法,如图1所示,包括如下步骤:
步骤S1:获取网络数据流;
本实施例从GitHub官网获取NSL-KDD的数据集,该数据集供包含41类特征,类别为1类正常,38中攻击类别。
异常检测的NSL-KDD原始数据集,获取完整的NSL-KDD训练集Train+、NSL-KDD数据集20%的子集Training 20、完整的NSK-KDD测试集Test+、NSL-KDD测试集的一个子集Test-。四组实验分别为:Train+/Test+、Training20/Test+、Train+/Test-以及Training20/Test-。
攻击类别检测,通过剔除正常标签为normal的样本来获取该分类器的NSL-KDD原始数据集。
步骤S2:针对网络数据流中的数据进行数据预处理;
由于原始NSL-KDD数据集是由数值和分类值组成的,因此使用Z-score对数值进行规范化,并将分类值编码为数值。
使用Z-score标准化方法对数值进行规范化处理,其中,xi为原始数据,μ为原始数据的均值,σ为原始数据的标准差,x′i为经标准化转化后的数值。
Figure BDA0002788271060000071
Figure BDA0002788271060000072
将数据的分类值(protocol_type、service、flag)通过One-Hot Encoding编码方式进行编码转换为数值,如protocol_type为离散协议类型,包括TCP、UDP、ICMP三种,则分别编码为三维向量[1,0,0],[0,1,0],[0,0,1]。
步骤S3:将预处理后的数据进行异常分类检测,得到异常检测分类结果;
步骤S4:若异常检测分类结果显示所述预处理后的数据为异常信息,则拦截该异常信息,并激活攻击检测分类器,将异常状态信息对应的所述预处理后的数据输入到攻击分类检测中;
步骤S5:若异常检测分类结果显示所述预处理后的数据为正常数据,则所述网络数据流正常通过;
步骤S6:所述预处理后的数据输入攻击分类检测中后,得到攻击检测结果,并将所述攻击检测结果记录到攻击记录手册中。
所述异常分类检测包括,如图2所示:
步骤S101:异常特征筛选;
本本申请共需要两类检测数据集,分别对NSL-KDD数据集进行特征筛选转换等,获取新的候选异常检测数据集和候选攻击检测数据集。
其中,候选异常检测数据集(Candidate Anomaly detection dataset,简称CAD-datesets)。对原始NSL-KDD数据集进行数据清洗,通过预处理,选出数据集的11个重要的特征,包括(1.Duration;2.protocol_type;3.service;5.src_bytes;6.dst_bytes;8.wrong_fragment;25.serror_rate;33.dst_host_srv_count;35.dst_host_diff_srv_rate;36.dst_host_same_src_port_rate;40.dst_host_rerror_rate),对原有的数据集进行特征缩减,形成新的数据集AD-datesets。论文(Feature set reduction for automaticnetwork intrusion detection with machine learning algorithms)中的Feature setreduction的方法可以用于本发明中。数据维度为82维。
其中,候选攻击检测数据集Candidate Intrusion detection dataset,简称CID-datasets)。四中攻击类型分别为:拒绝服务攻击Dos(back、neptune、smurf、teardrop、land、pod、apache2、mailbomb、processtable);端口检测与扫描Prob(satan,portsweep、ipsweep、nmap、mscan、saint);远程主机的未授权访问R2L(warezmaster、warezclient、ftpwrite、guesspassword、imap、multihop、phf、spy、sendmail、named、snmpgetattack、snmpguess、xlock、xsnoop、worm;);未授权的本地超级用户特权访问U2R(rootkit、bufferoverflow、loadmodule、perl)。对每个类别的数据集进行特征选择和提取,选取重要特征,选取包含25个重要特征的特征集包括(1.Duration;2.protocol_type;3.service;4.flag;5.src_bytes;6.dst_bytes;8.wrong_fragment;10.hot;12.logged_in;14.root_shell;16.num_root;17.num_file_creations;23.count;24.srv_count;29.same_srv_rate;32.dst_host_count;33.dst_host_srv_count;34.dst_host_same_srv_rate;35.dst_host_diff_srv_rate;36.dst_host_same_src_port_rate;37.dst_host_srv_diff_host_rate;38.dst_host_serror_rate;39.dst_host_srv_serror_rate;40.dst_host_rerror_rate;41.dst_host_srv_rerror_rate)。其中可以使用决策树和人工经验的方法,对每一大类的攻击分别进行特征的提取。将重要级低的特征删除,留下较少量的重要特征。预处理后维度为106维。
步骤S102:建立异常检测数据库;
步骤S103:二类FCNN网络模型。
所述异常特征筛选:降低用于建立模型的数据维度,进行异常特征筛选。
所述建立异常检测数据库:将所筛选的异常特征添加到异常检测数据库中,并且根据预设定时间阈值与预设定数据数量阈值,不断更新数据库,当所收集的数据大于预设定时间阈值与预设定数据数量阈值时,重新建立二类FCNN网络模型。
所述二类FCNN网络模型,采用全连接网络模型创建二类FCNN网络模型,并且采用Adam自适应学习率算法以及SGD算法对所述二类FCNN网络模型中的参数进行优化,得到优化后的二类FCNN网络模型。
所述采用全连接网络模型创建二类FCNN网络模型,如图3所示,训练过程如下:
步骤S111:将所述异常检测数据库中的所有数据进行数据预处理;
步骤S112:将数据预处理后的数据通过输入层、隐藏层、输出层进行正向传播,得到模型输出的预测值;
步骤S113:根据损失函数,计算所述模型输出的预测值与期望输出值的误差,将所述误差在输出层、隐藏层、输入层进行反向传播,利用每一层的误差更新神经网络的权值,得到二类FCNN网络模型。
本申请使用了一个基于python的深度学习框架-Keras,以TensorFlow作为后端,在windows系统中运行。
全连接神经网络(Fully connected neural network,简称FCNN)在深度学习发展历程中占据着很重要的地位,且全连接神经网络能较为准确地捕捉数据间的特征关系,预测精度较高,对数据的处理上不会损失信息。本发明对两个模块分别使用基于FCNN的方法进行训练,理论上,隐藏层数量和神经元数量越多,其预测能力越强。但是为了避免过拟合,同时满足Komogorov定理和Hecht-Nielsen理论,本发明采用试错法分别确定隐藏层层数和隐藏层神经元的个数,隐藏层神经元数目满足
Figure BDA0002788271060000101
其中Lhj为第j个隐藏层的神经元个数,Lin为输入层的神经元个数,Lout为输出层的神经元个数,m为调节常数(1~10之内)。每层的输入神经元与输出神经元之间为全连接,通过不断调参获取最佳的网络模型。
全连接神经网络优化过程主要分为前向传输和后向传播两个阶段。FCNN训练过程第一阶段为输入信息的前向传输过程,在此过程最终计算得到算法模型输出的预测值,其中每一层网络中第n个神经元输入与输出之间的关系为:
Figure BDA0002788271060000102
式中,fn(w,b)为第n个神经元的输出,wjn为第n个神经元的第j个输入与该神经元之间连接的权重,bn为第n个神经元的偏差。
神经网络通过反向传播来训练网络模型。概括地说,反向传播算法是先给定一个输入数据集,取其中一个向量x,通过前向传播得到该向量的输出值y,计算输出值y与期望输出的值的误差,然后将误差在每一层进行反向传播,利用每一层的误差改变权值w,从而拟合模型。
所述攻击分类检测,如图4所示,包括:
步骤S201:攻击特征筛选;
步骤S202:建立攻击检测数据库;
步骤S203:四类FCNN网络模型。
所述攻击特征筛选:降低用于建立模型的数据维度,进行攻击特征筛选。
所述建立攻击检测数据库:将所筛选的攻击特征添加到攻击检测数据库中,并且根据预设定时间阈值与预设定数据数量阈值,不断更新数据库,当所收集的数据大于预设定时间阈值与预设定数据数量阈值时,重新建立四类FCNN网络模型。
本实施例中,系统收集一定时间或一定量的检测的数据流及其标签(如1月/次或满1000条数据),存入待更新异常检测数据库、待更新攻击检测数据库,对两个网络分类模型进行微调,使模型保持持续较高的准确度、精度和灵敏度。
所述四类FCNN网络模型,采用全连接网络模型创建四类FCNN网络模型,并且采用Adam自适应学习率算法以及SGD算法对所述四类FCNN网络模型中的参数进行优化,得到优化后的四类FCNN网络模型。
所述采用全连接网络模型创建四类FCNN网络模型,如图5所示,过程如下:
步骤S211:将所述攻击检测数据库中的所有数据进行数据预处理;
步骤S212:将数据预处理后的数据通过输入层、隐藏层、输出层进行正向传播,得到模型输出的预测值;
步骤S213:根据损失函数,计算所述模型输出的预测值与期望输出值的误差值,将所述误差值在输出层、隐藏层、输入层进行反向传播,利用每一层的误差更新神经网络的权值,得到四类FCNN网络模型。
所述数据预处理包括:
对所述网络数据流中的数据进行Z-score标准化;
对所述网络数据流中的数据分类值进行One-Hot Encoding编码。
模型训练过程中,针对本申请使用的全连接网络及数据的特点,选用不同优化算法结合的批处理方式。由于Adam自适应学习率算法对于稀疏数据具有优势,且收敛速度很快,因此先用Adam算法进行快速下降,再切换到SGD进行充分的调优。实现了快速验证新模型的效果。
Adam自适应学习率算法对于稀疏数据具有优势,且收敛速度很快。
所述采用Adam(Adaptive moment estimation适应性矩估计)自适应学习率算法以及SGD算法(Stochastic Gradient Descent随机梯度下降)对所述二类FCNN网络模型或者四类FCNN网络模型中的参数进行优化,得到优化后的二类FCNN网络模型或者四类FCNN网络模型,如图6所示,过程如下:
步骤S301:首先采用Adam自适应学习率算法对神经元参数进行快速更新:
神经元参数向量表达式:
fnk)=fn(w,b)
其中,θk表示第n个神经元第k个时间步的参数向量,fn(w,b)为第n个神经元的输出;
步骤S302:计算Adam的一阶动量mk
mk=β1mk-1+(1-β1)gk
步骤S303:计算Adam的二阶动量nk
Figure BDA0002788271060000121
其中,β1为一阶矩估计的指数衰减率,β2为二阶矩估计的指数衰减率,gk表示第k个时间步的梯度向量;
步骤S304:计算Adam的下降方向向量:
Figure BDA0002788271060000122
其中,
Figure BDA0002788271060000131
为β1、β2的k幂次,lrk为第k时间步的学习率。
步骤S305:根据Adam的下降方向向量,进行参数更新:
θk=θk-1+pk
步骤S306:当满足切换条件时,由Adam自适应学习率算法切换至SGD算法:
当满足
Figure BDA0002788271060000132
Figure BDA0002788271060000133
时,即偏差修正指数平均值
Figure BDA0002788271060000134
无限接近当前γk值,由Adam自适应学习率算法切换至SGD算法,来更新神经元参数进行充分的调优。其中
Figure BDA0002788271060000135
为SGD算法的投影估计学习率值,λk=β2λk-1+(1-β2k为指数平均值,∈=10-9
步骤S307:计算SGD的下降方向向量:
vk=β1vk-1+gk
步骤S308:根据SGD的下降方向向量进行参数更新为,得到更新后参数θk
Figure BDA0002788271060000136
模型训练过程:
异常检测,主要是基于正常行为来检测并拦截异常行为,相当于白名单机制,对白名单外的异常行为进行检测拦截,保证系统能快递准确地规避危险。二分类网络,标签类别label分别是0:norma1、1:attack。针对异常检测训练部分,构建了一个含一个输入层和一个输出层的神经网络,经过多次调试及交叉验证,发现三层隐藏层可以达到较好的精度,因此选取三层隐藏层。由于选定的数据特征维度是82,输出类别为2,因此输入层和输出层的神经元个数分别为82、2。神经元个数分别为16、32、8,神经元拓扑结构最终确定为82∶16∶32∶8∶2。激活函数,选择RELU函数。基于这些配置,全连接网络模型执行训练以找到最佳优化,并通过Softmax层生成输出,计算整体的loss值。并在训练过程中通过交叉熵损失函数对loss进行优化。
攻击类别检测,主要是对异常行为进行分类。四个标签类别label分别是10:Dos;11:Prob;12:R2L;13:U2R。对攻击类别检测而言,由于输出类别更多,经过多次测试对比,选用5层神经网络,网络模型更优,神经元拓扑结构最终确定为106:16:32:64:32:16:4。
分别将获取的预处理后的以新标签为label的测试数据,带入两种不同的分类器,最终通过softmax输出分类结果,并以precision、Accuracy、Recall、F1-score为评价标准,以判断当前超参数训练获取的分类器是否符合要求。
第二方面,本申请还提供了一种基于FCNN的多方位安全入侵检测系统,采用所述的基于FCNN的多方位安全入侵检测方法实现,如图7所示,包括:数据获取模块、预处理模块、异常检测分类器、攻击检测分类器;
所述数据获取模块、预处理模块、异常检测分类器、攻击检测分类器此次顺序相连接,所述预处理模块与所述攻击检测分类器相连接;
所述数据获取模块,用来获取网络数据流;
所述预处理模块,用来针对网络数据流中的数据进行数据预处理;
所述异常检测分类器,用来将预处理后的数据进行异常分类检测,得到异常检测分类结果;若异常检测分类结果显示所述预处理后的数据为异常信息,则拦截该异常信息,并激活攻击检测分类器,将异常状态信息对应的所述预处理后的数据输入到攻击分类检测中;若异常检测分类结果显示所述预处理后的数据为正常数据,则所述网络数据流正常通过;
所述攻击检测分类器,用来将所述预处理后的数据输入攻击分类检测中后,得到攻击检测结果,并将所述攻击检测结果记录到攻击记录手册中。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于FCNN的多方位安全入侵检测方法,其特征在于,包括如下步骤:
获取网络数据流;
针对网络数据流中的数据进行数据预处理;
将预处理后的数据进行异常分类检测,得到异常检测分类结果;
若异常检测分类结果显示所述预处理后的数据为异常信息,则拦截该异常信息,同时将异常状态信息对应的所述预处理后的数据输入到攻击分类检测中;
若异常检测分类结果显示所述预处理后的数据为正常数据,则所述网络数据流正常通过;
所述预处理后的数据输入攻击分类检测中后,得到攻击检测结果,并将所述攻击检测结果记录到攻击记录手册中。
2.如权利要求1所述的基于FCNN的多方位安全入侵检测方法,其特征在于,所述异常分类检测包括:
异常特征筛选;
建立异常检测数据库;
二类FCNN网络模型。
3.如权利要求2所述的基于FCNN的多方位安全入侵检测方法,其特征在于,所述异常特征筛选:降低用于建立模型的数据维度,进行异常特征筛选;
所述建立异常检测数据库:将所筛选的异常特征添加到异常检测数据库中,并且根据预设定时间阈值与预设定数据数量阈值,不断更新数据库,当所收集的数据大于预设定时间阈值与预设定数据数量阈值时,重新建立二类FCNN网络模型;
所述二类FCNN网络模型,采用全连接网络模型创建二类FCNN网络模型,并且采用Adam自适应学习率算法以及SGD算法对所述二类FCNN网络模型中的参数进行优化,得到优化后的二类FCNN网络模型。
4.如权利要求3所述的基于FCNN的多方位安全入侵检测方法,其特征在于,所述采用全连接网络模型创建二类FCNN网络模型,训练过程如下:
将所述异常检测数据库中的所有数据进行数据预处理;
将数据预处理后的数据通过输入层、隐藏层、输出层进行正向传播,得到模型输出的预测值;
根据损失函数,计算所述模型输出的预测值与期望输出值的误差,将所述误差在输出层、隐藏层、输入层进行反向传播,利用每一层的误差更新神经网络的权值,得到二类FCNN网络模型。
5.如权利要求1所述的基于FCNN的多方位安全入侵检测方法,其特征在于,所述攻击分类检测,包括:
攻击特征筛选;
建立攻击检测数据库;
四类类FCNN网络模型。
6.如权利要求5所述的基于FCNN的多方位安全入侵检测方法,其特征在于,所述攻击特征筛选:降低用于建立模型的数据维度,进行攻击特征筛选;
所述建立攻击检测数据库:将所筛选的攻击特征添加到攻击检测数据库中,并且根据预设定时间阈值与预设定数据数量阈值,不断更新数据库,当所收集的数据大于预设定时间阈值与预设定数据数量阈值时,重新建立四类FCNN网络模型;
所述四类FCNN网络模型,采用全连接网络模型创建四类FCNN网络模型,并且采用Adam自适应学习率算法以及SGD算法对所述四类FCNN网络模型中的参数进行优化,得到优化后的四类FCNN网络模型。
7.如权利要求6所述的基于FCNN的多方位安全入侵检测方法,其特征在于,所述采用全连接网络模型创建四类FCNN网络模型,训练过程如下:
将所述攻击检测数据库中的所有数据进行数据预处理;
将数据预处理后的数据通过输入层、隐藏层、输出层进行正向传播,得到模型输出的预测值;
根据损失函数,计算所述模型输出的预测值与期望输出值的误差,将所述误差在输出层、隐藏层、输入层进行反向传播,利用每一层的误差更新神经网络的权值,得到四类FCNN网络模型。
8.如权利要求1或4或7所述的基于FCNN的多方位安全入侵检测方法,其特征在于,所述数据预处理包括:
对所述网络数据流中的数据进行Z-score标准化;
对所述网络数据流中的数据分类值进行One-Hot Encoding编码。
9.如权利要求3或6所述的基于FCNN的多方位安全入侵检测方法,其特征在于,所述采用Adam自适应学习率算法以及SGD算法对所述二类FCNN网络模型或者四类FCNN网络模型中的参数进行优化,过程如下:
首先采用Adam自适应学习率算法对神经元参数进行快速更新:
计算Adam的一阶动量;
计算Adam的二阶动量;
计算Adam的下降方向向量;
根据Adam的下降方向向量,进行参数更新;
当满足切换条件时,由Adam自适应学习率算法切换至SGD算法;
计算SGD的下降方向向量;
根据SGD的下降方向向量进行参数更新,得到更新后参数。
10.一种基于FCNN的多方位安全入侵检测系统,其特征在于,采用如权利要求1-9任一项所述的基于FCNN的多方位安全入侵检测方法实现,包括:数据获取模块、预处理模块、异常检测分类器、攻击检测分类器;
所述数据获取模块、预处理模块、异常检测分类器、攻击检测分类器此次顺序相连接,所述预处理模块与所述攻击检测分类器相连接;
所述数据获取模块,用来获取网络数据流;
所述预处理模块,用来针对网络数据流中的数据进行数据预处理;
所述异常检测分类器,用来将预处理后的数据进行异常分类检测,得到异常检测分类结果;若异常检测分类结果显示所述预处理后的数据为异常信息,则拦截该异常信息,并激活攻击检测分类器,将异常状态信息对应的所述预处理后的数据输入到攻击分类检测中;若异常检测分类结果显示所述预处理后的数据为正常数据,则所述网络数据流正常通过;
所述攻击检测分类器,用来将所述预处理后的数据输入攻击分类检测中后,得到攻击检测结果,并将所述攻击检测结果记录到攻击记录手册中。
CN202011306745.2A 2020-11-19 2020-11-19 一种基于fcnn的多方位安全入侵检测方法及系统 Active CN112491854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011306745.2A CN112491854B (zh) 2020-11-19 2020-11-19 一种基于fcnn的多方位安全入侵检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011306745.2A CN112491854B (zh) 2020-11-19 2020-11-19 一种基于fcnn的多方位安全入侵检测方法及系统

Publications (2)

Publication Number Publication Date
CN112491854A true CN112491854A (zh) 2021-03-12
CN112491854B CN112491854B (zh) 2022-12-09

Family

ID=74932173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011306745.2A Active CN112491854B (zh) 2020-11-19 2020-11-19 一种基于fcnn的多方位安全入侵检测方法及系统

Country Status (1)

Country Link
CN (1) CN112491854B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255750A (zh) * 2021-05-17 2021-08-13 安徽大学 一种基于深度学习的vcc车辆攻击检测方法
CN113572783A (zh) * 2021-07-30 2021-10-29 成都航空职业技术学院 基于攻击共享损失和深度神经网络的网络入侵检测方法
CN113762405A (zh) * 2021-09-15 2021-12-07 国网河北省电力有限公司电力科学研究院 一种电力网络攻击识别系统及其识别方法
CN114356895A (zh) * 2022-03-16 2022-04-15 希望知舟技术(深圳)有限公司 基于异常工况数据库管理的方法、装置、设备及存储介质
CN114720956A (zh) * 2022-06-07 2022-07-08 成都信息工程大学 针对双偏振天气雷达的水凝物粒子分类识别方法及装置
CN115834248A (zh) * 2023-02-06 2023-03-21 山东省计算中心(国家超级计算济南中心) 面向信息物理系统的攻击和异常数据流检测方法及装置

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011077013A1 (en) * 2009-12-23 2011-06-30 Teknologian Tutkimuskeskus Vtt Intrusion detection in communication networks
US8028160B1 (en) * 2005-05-27 2011-09-27 Marvell International Ltd. Data link layer switch with protection against internet protocol spoofing attacks
KR101079036B1 (ko) * 2010-05-28 2011-11-03 한국전자통신연구원 제어망 이상 징후 탐지 장치 및 방법
US20160188396A1 (en) * 2014-12-30 2016-06-30 Battelle Memorial Institute Temporal anomaly detection on automotive networks
US20170124464A1 (en) * 2015-10-28 2017-05-04 Fractal Industries, Inc. Rapid predictive analysis of very large data sets using the distributed computational graph
CN108632279A (zh) * 2018-05-08 2018-10-09 北京理工大学 一种基于网络流量的多层异常检测方法
CN109284606A (zh) * 2018-09-04 2019-01-29 中国人民解放军陆军工程大学 基于经验特征与卷积神经网络的数据流异常检测系统
CN109376591A (zh) * 2018-09-10 2019-02-22 武汉大学 深度学习特征与视觉特征联合训练的船只目标检测方法
US20190190926A1 (en) * 2017-12-19 2019-06-20 The Boeing Company Method and system for vehicle cyber-attack event detection
CN110086776A (zh) * 2019-03-22 2019-08-02 国网河南省电力公司经济技术研究院 基于深度学习的智能变电站网络入侵检测系统及检测方法
KR102007809B1 (ko) * 2019-03-05 2019-08-06 에스지에이솔루션즈 주식회사 이미지를 이용한 신경망 기반 익스플로잇킷 탐지 시스템
CN111061152A (zh) * 2019-12-23 2020-04-24 深圳供电局有限公司 基于深度神经网络攻击识别方法及智慧能源功率控制装置
CN111144549A (zh) * 2019-12-23 2020-05-12 深圳供电局有限公司 基于卷积神经网络的微网攻击识别方法及微网协调控制器
GB202004740D0 (en) * 2020-03-31 2020-05-13 British Telecomm Network Anomaly Detection
CN111222133A (zh) * 2019-11-14 2020-06-02 辽宁工程技术大学 一种工控网络入侵检测的多级自适应耦合方法
CN111340051A (zh) * 2018-12-18 2020-06-26 北京京东尚科信息技术有限公司 图片处理方法、装置及存储介质
CN111539249A (zh) * 2020-03-11 2020-08-14 西安电子科技大学 多因子人脸活体检测系统和方法
CN111651755A (zh) * 2020-05-08 2020-09-11 中国联合网络通信集团有限公司 入侵检测方法和装置
CN111767831A (zh) * 2020-06-28 2020-10-13 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备及存储介质
CN111861975A (zh) * 2019-04-26 2020-10-30 学校法人顺天堂 辅助疾病分析的方法、装置及计算机程序、以及训练计算机算法的方法、装置及程序

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8028160B1 (en) * 2005-05-27 2011-09-27 Marvell International Ltd. Data link layer switch with protection against internet protocol spoofing attacks
WO2011077013A1 (en) * 2009-12-23 2011-06-30 Teknologian Tutkimuskeskus Vtt Intrusion detection in communication networks
KR101079036B1 (ko) * 2010-05-28 2011-11-03 한국전자통신연구원 제어망 이상 징후 탐지 장치 및 방법
US20160188396A1 (en) * 2014-12-30 2016-06-30 Battelle Memorial Institute Temporal anomaly detection on automotive networks
US20170124464A1 (en) * 2015-10-28 2017-05-04 Fractal Industries, Inc. Rapid predictive analysis of very large data sets using the distributed computational graph
US20190190926A1 (en) * 2017-12-19 2019-06-20 The Boeing Company Method and system for vehicle cyber-attack event detection
CN108632279A (zh) * 2018-05-08 2018-10-09 北京理工大学 一种基于网络流量的多层异常检测方法
CN109284606A (zh) * 2018-09-04 2019-01-29 中国人民解放军陆军工程大学 基于经验特征与卷积神经网络的数据流异常检测系统
CN109376591A (zh) * 2018-09-10 2019-02-22 武汉大学 深度学习特征与视觉特征联合训练的船只目标检测方法
CN111340051A (zh) * 2018-12-18 2020-06-26 北京京东尚科信息技术有限公司 图片处理方法、装置及存储介质
KR102007809B1 (ko) * 2019-03-05 2019-08-06 에스지에이솔루션즈 주식회사 이미지를 이용한 신경망 기반 익스플로잇킷 탐지 시스템
CN110086776A (zh) * 2019-03-22 2019-08-02 国网河南省电力公司经济技术研究院 基于深度学习的智能变电站网络入侵检测系统及检测方法
CN111861975A (zh) * 2019-04-26 2020-10-30 学校法人顺天堂 辅助疾病分析的方法、装置及计算机程序、以及训练计算机算法的方法、装置及程序
CN111222133A (zh) * 2019-11-14 2020-06-02 辽宁工程技术大学 一种工控网络入侵检测的多级自适应耦合方法
CN111061152A (zh) * 2019-12-23 2020-04-24 深圳供电局有限公司 基于深度神经网络攻击识别方法及智慧能源功率控制装置
CN111144549A (zh) * 2019-12-23 2020-05-12 深圳供电局有限公司 基于卷积神经网络的微网攻击识别方法及微网协调控制器
CN111539249A (zh) * 2020-03-11 2020-08-14 西安电子科技大学 多因子人脸活体检测系统和方法
GB202004740D0 (en) * 2020-03-31 2020-05-13 British Telecomm Network Anomaly Detection
CN111651755A (zh) * 2020-05-08 2020-09-11 中国联合网络通信集团有限公司 入侵检测方法和装置
CN111767831A (zh) * 2020-06-28 2020-10-13 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
尹隽等: "基于深度神经网络的企业信息系统用户异常行为预测", 《管理科学》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255750A (zh) * 2021-05-17 2021-08-13 安徽大学 一种基于深度学习的vcc车辆攻击检测方法
CN113255750B (zh) * 2021-05-17 2022-11-08 安徽大学 一种基于深度学习的vcc车辆攻击检测方法
CN113572783A (zh) * 2021-07-30 2021-10-29 成都航空职业技术学院 基于攻击共享损失和深度神经网络的网络入侵检测方法
CN113762405A (zh) * 2021-09-15 2021-12-07 国网河北省电力有限公司电力科学研究院 一种电力网络攻击识别系统及其识别方法
CN113762405B (zh) * 2021-09-15 2023-06-06 国网河北省电力有限公司电力科学研究院 一种电力网络攻击识别系统及其识别方法
CN114356895A (zh) * 2022-03-16 2022-04-15 希望知舟技术(深圳)有限公司 基于异常工况数据库管理的方法、装置、设备及存储介质
CN114356895B (zh) * 2022-03-16 2022-06-07 希望知舟技术(深圳)有限公司 基于异常工况数据库管理的方法、装置、设备及存储介质
CN114720956A (zh) * 2022-06-07 2022-07-08 成都信息工程大学 针对双偏振天气雷达的水凝物粒子分类识别方法及装置
CN114720956B (zh) * 2022-06-07 2022-11-01 成都信息工程大学 针对双偏振天气雷达的水凝物粒子分类识别方法及装置
CN115834248A (zh) * 2023-02-06 2023-03-21 山东省计算中心(国家超级计算济南中心) 面向信息物理系统的攻击和异常数据流检测方法及装置

Also Published As

Publication number Publication date
CN112491854B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN112491854B (zh) 一种基于fcnn的多方位安全入侵检测方法及系统
Hajisalem et al. A hybrid intrusion detection system based on ABC-AFS algorithm for misuse and anomaly detection
CN108566364B (zh) 一种基于神经网络的入侵检测方法
US10084822B2 (en) Intrusion detection and prevention system and method for generating detection rules and taking countermeasures
CN106973038B (zh) 基于遗传算法过采样支持向量机的网络入侵检测方法
CN112700252B (zh) 一种信息安全性检测方法、装置、电子设备和存储介质
CN111669384B (zh) 融合深度神经网络和层级注意力机制的恶意流量检测方法
CN110113353A (zh) 一种基于cvae-gan的入侵检测方法
Dawoud et al. Deep learning for network anomalies detection
CN111629006A (zh) 融合深度神经网络和层级注意力机制的恶意流量更新方法
CN113378990A (zh) 基于深度学习的流量数据异常检测方法
CN111669385B (zh) 融合深度神经网络和层级注意力机制的恶意流量监测系统
Wang et al. Evolving boundary detector for anomaly detection
Ruban et al. Approach to classifying the state of a network based on statistical parameters for detecting anomalies in the information structure of a computing system
CN113553624A (zh) 基于改进pate的wgan-gp隐私保护系统和方法
Sakr et al. Filter versus wrapper feature selection for network intrusion detection system
Kumar et al. Intrusion detection using artificial neural network with reduced input features
CN115842667A (zh) 一种基于混合策略的物联网DDoS检测系统
Gupta et al. Genetic algorithm technique used to detect intrusion detection
US20230164162A1 (en) Valuable alert screening method efficiently detecting malicious threat
Uzun et al. Performance evaluation of machine learning algorithms for detecting abnormal data traffic in computer networks
Narengbam et al. Harris hawk optimization trained artificial neural network for anomaly based intrusion detection system
Parfenov et al. Research of multiclass fuzzy classification of traffic for attacks identification in the networks
CN116346475A (zh) 一种隐匿高危行为操作异常评分方法和系统
CN114818947A (zh) 分类器的训练方法及装置、分类装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant