CN111367908A - 一种基于安全评估机制的增量式入侵检测方法及系统 - Google Patents
一种基于安全评估机制的增量式入侵检测方法及系统 Download PDFInfo
- Publication number
- CN111367908A CN111367908A CN202010122063.XA CN202010122063A CN111367908A CN 111367908 A CN111367908 A CN 111367908A CN 202010122063 A CN202010122063 A CN 202010122063A CN 111367908 A CN111367908 A CN 111367908A
- Authority
- CN
- China
- Prior art keywords
- data
- incremental
- intrusion detection
- network
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 129
- 230000007246 mechanism Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 20
- 238000013481 data capture Methods 0.000 claims abstract description 19
- 230000002159 abnormal effect Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 7
- 230000006978 adaptation Effects 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000008014 freezing Effects 0.000 claims description 3
- 238000007710 freezing Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000007123 defense Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Fuzzy Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种基于安全评估机制的增量式入侵检测方法与系统,该方法包括:部署网络流量数据捕获节点,利用制定的规则完成网络流量数据集的捕获;将所捕获的数据集存储在数据库中,数据集预处理后,利用自编码网络得到预处理数据的高维特征属性;然后将所得高维特征作为新增数据进行训练和检测,更新增量式入侵检测模型;最后通过安全评估机制评估当前安全检测性能与待检网络设备的安全评估阈值是否匹配,以此作为增量式入侵检测模型更新过程中的终止条件。该方法能够有效区分网络设备中捕获到的正常流量和异常流量,并注重对新增网络流量的适应。
Description
技术领域
本发明属于网络安全领域,具体为依托网络设备所产生网络流量数据的检测方法,设计并提出了一种基于安全评估体制的增量式入侵检测方法及系统。
背景技术
近年来,计算机网络规模的逐渐扩大、互联网技术的迅速发展、网络流量数据的不断增加,以及网络体系结构的多样化、复杂化,使得网络存在着较大的安全风险。诸如恶意软件攻击、漏洞利用、分布式拒绝服务攻击等安全问题频频出现,给人们的生活造成了严重的影响,攻击频率增加、破坏范围扩大,如何保证重要信息不被泄露,以及如何抵御网络外部或系统内部的攻击行为与攻击企图,成为网络安全领域密切关注的课题。
围绕网络安全问题,研究人员提供了多种解决方案,随着网络安全、大数据分析等技术的发展,使得安全防御逐渐由被动防御转变为主动防御。入侵检测作为一种主动防御技术,能够通过收集和分析网络行为、安全日志、审计数据,检测网络或系统中可能出现的入侵行为和攻击企图,并做出实时响应,进一步提高对网络和系统的安全保护能力。
传统的入侵检测方法主要包括机器学习、数据挖掘、神经网络、规则匹配、模型匹配等。但随着网络攻击类型的不断创新,使得传统的入侵检测算法的准确度受到影响,同时对复杂网络环境的适应能力较差。神经网络算法具有良好的容错性和鲁棒性,能够进行对大规模的数据进行非线性映射和并行计算,适用于复杂网络环境中产生的大量网络数据的分析任务。
卷积神经网络和循环神经网络作为非线性模型,能够很好的提取网络流量数据的特征,对正常和异常网络流量进行分类。但是通过训练得到的学习器,对新产生样本的自适应和学习能力较差。增量式神经网络具有自适应、自学习能力。为解决此问题,设计并实现一种增量式的神经网络模型,为不同卷积核设置可以再学习的线性转化器,利用线性转化器中较少的参数完成对新增样本特征的学习和分类任务。
网络入侵检测系统,可以具有实时数据流量分析和记录IP网络数据包的能力,能够进行协议分析或者对网络数据包内容进行搜索和匹配。它能够检测各种不同的攻击方式,对攻击进行实时报警。传统的基于规则库的入侵检测系统在其检测过程中,需要依据预先设计好的规则才可完成匹配,但是其检测引擎的效率受规则复杂程度的影响较大。因此可以对其检测系统进行优化,构建入侵检测模型与规则库的反馈机制,通过设定不同网络设备的安全等级,动态调整当前等级下的捕获规则,找到入侵检测准确率与规则复杂程度的平衡。
发明内容
本发明克服了现有入侵检测技术中入侵检测准确率仍需提高以及入侵检测方法能否自适应当前工作环境和工作状态的问题,提供了一种易于移植、可扩展性强的基于安全评估机制的增量式入侵检测方法及系统。
本发明的所述方法的整体流程包括如下步骤
步骤1:建立数据捕获节点:在现有网络环境中建立网络流量数据捕获节点,制定不同捕获规则,实现对不同设备的数据捕获任务;
步骤2:数据缓存与更新:建立数据库,为不同安全等级的所述网络设备建立数据库表结构,将捕获到的数据以固定的格式缓存到本地,并同步更新到所述数据库中;
步骤3:构建数据特征集:构建所述多个网络流量的数据特征集;所述数据特征集的构建流程包括:从数据库中读取检测状况为未检测的记录,对所述多个网络流量数据进行预处理,根据每条所述记录的属性不同完成数据格式的转换和特定属性的向量映射,以及对数据进行升维处理,利用自编码网络实现高维数据特征的提取;
步骤4:增量模型的初始化与更新:利用构建的正常流量特征与异常流量特征初始化增量式入侵检测模型,实现特征样本的匹配,利用增量式学习方法对新增特征样本进行学习,实现增量式模型的动态更新,并且更新后的所述模型代替原始模型用于新增特征样本的匹配;
步骤5:安全评估:建立增量式入侵检测模型的安全评估机制,根据增量数据中不同攻击被检测的准确率和攻击类型的分布情况,评估当前安全检测性能与待检网络设备的安全评估阈值是否匹配,以此作为增量式入侵检测模型更新过程中的终止条件。
例如,本发明的实施例提供的基于安全评估机制的增量式入侵检测方法,构建数据捕获节点的方法具体为:
步骤11:创建完整的捕获规则库;
步骤12:根据所述待检测网络设备的应用场景以及种类的不同,构建设备的初始安全状态S=(c,Δ,index),其中,c为安全等级,Δ为设置安全评估阈值,index为初始化捕获规则索引;
步骤13:为所述待检测网络设备建立数据捕获节点,实现网络数据流量包的捕获。
例如,本发明的实施例提供的基于安全评估机制的增量式入侵检测方法,构建数据特征集的方法具体为:
步骤31:对数据特征集进行格式转化,计算流量包中前后两条记录的时间戳属性得到时间差,将协议、标志位、源地址和第一端口号、目的地址和第二端口号等特定属性进行向量化处理,转化为相应的向量映射;
步骤32:利用预训练好的自编码网络对所述步骤31中预处理后的数据集进行特征的提取,提取含层数据作为高维度的流量特征样本,用于动态更新增量式入侵检测模型。
例如,本发明的实施例提供的基于安全评估机制的增量式入侵检测方法,初始化增量式入侵检测模型的方法具体为:
步骤41:将步骤3中处理的高维流量特征样本作为输入,对模型进行预训练,强化样本固有属性、模糊次要特征;
步骤42:训练得到原始入侵检测模型,利用softmax回归对正常流量特征和不同类型的异常流量特征进行分类,判断是否为入侵行为;
例如,本发明的实施例提供的基于安全评估机制的增量式入侵检测方法,增量式入侵检测模型的更新方法具体为:
步骤43:更新增量式入侵检测模型,对原始入侵检测模型的卷积核进行受控处理,经过受控处理的卷积核在增量式学习的过程中参数被冻结,并为其增加一个线性转化器作为原始模型增量过程中的学习器,把线性转化器作为其模型参数,通过线性转化器重新组合权值来表示原始卷积层中滤波器的修改,实现学习新增样本的能力;
步骤44:将预处理得到的增量数据通过增量式入侵检测模型进行类别预测,动态更新模型实现对增量数据的自适应学习,并将所得增量模型代替原始模型,成为新的入侵检测模型。
例如,本发明的实施例提供的基于安全评估机制的增量式入侵检测方法,安全评估具体方法为:
步骤51:验证增量样本中异常流量的分布,根据对应的所述网络设备的安全等级为不同分类的异常流量依次设置权重,计算当前环境中不同类型攻击分类的加权平均准确率;
步骤52:计算入侵检测安全评估分数;
步骤53:判断所述安全评估分数与所述网络设备的安全等级是否适配,当检测性能高于所述网络设备所需的安全等级,则减少数据捕获节点的捕获规则;当检测性能低于所述网络设备所需的安全等级,则增加数据捕获节点的捕获规则,以实现入侵检测与所述网络设备安全等级之间的适配;
步骤54:终止增量式入侵检测模型的动态更新。
例如,本发明的实施例提供的基于安全评估机制的增量式入侵检测系统,系统的模块具体为:
数据捕获模块:用于捕获当前网络环境中不同网络设备的网络流量数据;
数据缓存与更新模块:将捕获到的所述网络流量数据缓存至本地并同步更新至服务器中的数据库;
数据处理模块:实现所述网络流量数据的预处理以及高维特征提取;
入侵检测模块:初始化增量式入侵检测模型,进行入侵检测模型的增量式更新,实现入侵检测与告警功能;
安全评估模块:计算入侵检测安全评估分数,用于终止增量式入侵检测模型的更新。
与现有技术相比,本发明基于安全评估机制的增量式入侵检测方法及系统具有以下优点:1.具有高效性,可以快速的完成增量模型的更新,高效的使入侵检测模型适应当前网络环境;2.具有可移植性,捕获节点的部署使用docker封装,数据处理模块以及增量式入侵检测模型基于Python实现;3.具有可扩展性,可以更新检测特征标准、捕获规则库和增量式入侵检测模型;4.能够有效区分网络设备中捕获到的正常流量和异常流量,可以提高对当前网络环境的适应能力。
该攻击检测和安全评估机制主要解决了两个问题:1.通过增量式神经网络模型的构建,基本解决了入侵检测模型适应新增流量和攻击的问题;2.通过建立局域网中的安全评估机制,解决了不同物联网设备的安全检测与安全管理的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本发明的一些实施例,而非对本发明的限制。
图1为本发明实施例提供的基于安全评估机制的增量式入侵检测方法流程示意图;
图2为本发明实施例提供的基于安全评估机制的增量式入侵检测系统结构示意图;
图3为本发明实施例提供的入侵检测模型更新方法流程图;
图4为本发明实施例提供的增量式入侵检测模型结构示意图;
图5为本发明实施例提供的入侵检测模型在训练过程中对标准数据集KDD CUP 99与UNSW-NB15的准确率变化曲线。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例,基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的实施例提供的基于安全评估机制的增量式入侵检测方法及系统,根据所述安全评估方法,实现新增特征样本的增量式学习,提高入侵检测模型检测准确率,减少入侵检测模型在更新过程中的成本开销。
如附图1所述,本发明实施例提供的基于安全评估机制的增量式入侵检测方法,所述方法包括以下步骤:
步骤1:建立数据捕获节点:在现有网络环境中建立网络流量数据捕获节点,制定不同捕获规则,实现对不同设备的数据捕获任务;每个待保护的网络设备的安全状态为S=(c,Δ,index),根据网络设备的安全等级c,设置安全评估阈值Δ及初始化捕获规则索引index。建立网络流量捕获节点,捕获当前网络设备产生的流量包Dt;
步骤2:数据缓存与更新:建立数据库,为不同安全等级的所述网络设备建立数据库表结构,将捕获到的数据以固定的格式缓存到本地,并同步更新到所述数据库中;
步骤3:构建数据特征集:构建所述多个网络流量的数据特征集;所述数据特征集的构建流程包括:从数据库中读取检测状况为未检测的记录,首先对所述多个网络流量数据进行预处理,将数据包中的传输协议、标志符、应答等nominal类型的属性转化为float,将IP地址与MAC地址进行字典映射,将相邻两个数据记录的时间戳属性做减法处理作为数据记录之间的延时属性,得到预处理流量包D′t;接着利用自编码网络实现D′t的维度提升,使用自编码网络的中间隐藏层集合Xt作为提取到的高维数据特征集,用于异常流量的入侵检测;
步骤4:增量模型的初始化与更新:增量模型的初始化与更新:利用构建的正常流量特征与异常流量特征初始化增量式入侵检测模型,实现特征样本的匹配,将KDD CUP 99特征集作为原始入侵检测模型的输入,利用某一尺度的卷积核与前一层的输出矩阵进行卷积操作,强化样本固有属性、模糊次要特征,具体卷积过程为:其中,XL为当前层输出矩阵,XL-1为前一层的输出矩阵,KL-1为卷积核,表示卷积操作,bL表示当前层的偏执值;接着入侵检测模型利用softmax回归对正常流量特征和不同类型的异常流量特征进行分类预测,将输入特征x预测为类别j的概率公式为: 其中,θ为网络模型的参数,y表示网络模型预测结果;最后利用增量式学习方法对新增特征样本进行学习,实现增量式模型的动态更新,并且更新后的所述模型代替原始模型用于新增特征样本的匹配;
步骤5:安全评估:建立增量式入侵检测模型的安全评估机制,根据增量数据中不同攻击被检测的准确率和攻击类型的分布情况,得到安全评估分数Δ′;评估当前安全检测性能与待检网络设备的安全评估阈值是否匹配,与待保护的网络设备的安全评估阈值Δ进行比较,当Δ′<Δ时,需要对安全状态中的index索引进行更新,增加捕获规则,实现当前网络环境中的动态调整;反之则减少捕获规则,以此作为增量式入侵检测模型更新过程中的终止条件。
如附图2所述,本发明实施例提供的基于安全评估机制的增量式入侵检测系统,所述系统包括以下模块:
数据捕获模块(图2中写的是“流量捕获模块”,名称需要统一):用于捕获当前网络环境中不同网络设备的网络流量数据;
数据缓存与更新模块:将捕获到的所述网络流量数据缓存至本地并同步更新至服务器中的数据库;
数据处理模块:实现所述网络流量数据的预处理以及高维特征提取;
入侵检测模块:初始化增量式入侵检测模型,进行入侵检测模型的增量式更新,实现入侵检测与告警功能;
安全评估模块:计算入侵检测安全评估分数,用于终止增量式入侵检测模型的更新。
如附图3所述,本发明实施例提供的入侵检测模型更新方法,所述方法具体为:
首先对原始入侵检测模型的卷积核进行受控处理,经过受控处理的卷积核在增量式学习的过程中参数被冻结,并为其增加一个线性转化器作为原始模型增量过程中的学习器,把线性转化器作为其模型参数,通过线性转化器重新组合权值和偏置来表示原始卷积层中滤波器的修改,线性转化器的运算表示为:表示为扁平化处理、线性组合、反扁平化处理三个步骤,其中,表示增量学习过程的线性组合操作,为增量后的卷积操作;接着增量式入侵检测模型在原始模型的基础上,将每个卷积过程修改为: 其中,模型的实际增量过程中需要被更新的参数包括以及最后增量式入侵监测模型利用高维数据特征集Xt进行快速的更新,使得更新后的增量模型代替原始模型,成为新的入侵检测模型,最终实现对新增样本Xt的适应。
如附图4所示,本发明实施例提供的增量式入侵检测模型的结构包括:卷积核、线性转化器、长短期记忆网络(LSTM,Long Short-Term Memory)。
如附图5所示,(a)为入侵检测模型对数据集KDD CUP 99准确率变化曲线,该数据集作为入侵检测的标准数据集,收集了网络环境中的网络连接和系统审计数据,用于仿真用户类型和攻击手段,包含41个固有特征属性和1个标识属性用于分类22种不同类型的攻击,图中曲线与带点曲线分别表示入侵检测模型初始化和更新后的准确率变化,准确率曲线趋于稳定,模型达到最优检测效果,准确率超过99.8%;(b)为入侵检测模型对数据集UNSW-NB15准确率变化曲线,该数据集作为新增数据使用,由网络数据流、协议、内容、时间、连接状况几个特征属性构成,包含47个固有特征属性和2个标识属性用于分类现阶段常见的7中攻击类型,图中曲线趋于平稳,模型对新增数据表现良好,准确率可达90%。
Claims (7)
1.一种基于安全评估机制的增量式入侵检测方法,其中,所述方法包括如下步骤:
步骤1:建立数据捕获节点:在现有网络环境中建立网络流量数据捕获节点,制定不同捕获规则,实现对不同设备的数据捕获任务;
步骤2:数据缓存与更新:建立数据库,为不同安全等级的所述网络设备建立数据库表结构,将捕获到的数据以固定的格式缓存到本地,并同步更新到所述数据库中;
步骤3:构建数据特征集:构建所述多个网络流量的数据特征集;所述数据特征集的构建流程包括:从数据库中读取检测状况为未检测的记录,对所述多个网络流量数据进行预处理,根据每条所述记录的属性不同完成数据格式的转换和特定属性的向量映射,以及对数据进行升维处理,利用自编码网络实现高维数据特征的提取;
步骤4:增量模型的初始化与更新:利用构建的正常流量特征与异常流量特征初始化增量式入侵检测模型,实现特征样本的匹配,利用增量式学习方法对新增特征样本进行学习,实现增量式模型的动态更新,并且更新后的所述模型代替原始模型用于新增特征样本的匹配;
步骤5:安全评估:建立增量式入侵检测模型的安全评估机制,根据增量数据中不同攻击被检测的准确率和攻击类型的分布情况,评估当前安全检测性能与待检网络设备的安全评估阈值是否匹配,以此作为增量式入侵检测模型更新过程中的终止条件。
2.如权利要求1所述的方法,其中,所述步骤1中所述制定不同捕获规则包括:
步骤11:创建完整的捕获规则库;
步骤12:根据所述待检测网络设备的应用场景以及种类的不同,构建设备的初始安全状态S=(c,Δ,index),其中,c为安全等级,Δ为设置安全评估阈值,index为初始化捕获规则索引;
步骤13:为所述待检测网络设备建立数据捕获节点,实现网络数据流量包的捕获。
3.如权利要求1所述的方法,其中,所述步骤3中对所述多个网络流量数据进行预处理包括:
步骤31:对数据特征集进行格式转化,计算流量包中前后两条记录的时间戳属性得到时间差,将协议、标志位、源地址和第一端口号、目的地址和第二端口号等特定属性进行向量化处理,转化为相应的向量映射;
步骤32:利用预训练好的自编码网络对所述步骤31中预处理后的数据集进行特征的提取,提取含层数据作为高维度的流量特征样本,用于动态更新增量式入侵检测模型。
4.如权利要求1所述的方法,其中,所述数据特征集包括KDD CUP 99特征集和UNSW-NB15特征集,所述数据特征集用于初始化增量式入侵检测模型。
5.如权利要求3所述的方法,其中,
在所述步骤4中,所述初始化增量式入侵检测模型包括:
步骤41:将步骤3中处理的高维流量特征样本作为输入,对模型进行预训练,强化样本固有属性、模糊次要特征;
步骤42:训练得到原始入侵检测模型,利用softmax回归对正常流量特征和不同类型的异常流量特征进行分类,判断是否为入侵行为;
在所述步骤4中,所述增量式模型的动态更新包括:
步骤43:更新增量式入侵检测模型,对原始入侵检测模型的卷积核进行受控处理,经过受控处理的卷积核在增量式学习的过程中参数被冻结,并为其增加一个线性转化器作为原始模型增量过程中的学习器,把线性转化器作为其模型参数,通过线性转化器重新组合权值来表示原始卷积层中滤波器的修改,实现学习新增样本的能力;
步骤44:将预处理得到的增量数据通过增量式入侵检测模型进行类别预测,动态更新模型实现对增量数据的自适应学习,并将所得增量模型代替原始模型,成为新的入侵检测模型。
6.如权利要求1~5中任一项所述的方法,其中,在所述步骤5中,所述构建所述增量式入侵检测模型的安全评估机制包括:
步骤51:验证增量样本中异常流量的分布,根据对应的所述网络设备的安全等级为不同分类的异常流量依次设置权重,计算当前环境中不同类型攻击分类的加权平均准确率;
步骤52:计算入侵检测安全评估分数;
步骤53:判断所述安全评估分数与所述网络设备的安全等级是否适配,当检测性能高于所述网络设备所需的安全等级,则减少数据捕获节点的捕获规则;当检测性能低于所述网络设备所需的安全等级,则增加数据捕获节点的捕获规则,以实现入侵检测与所述网络设备安全等级之间的适配;
步骤54:终止增量式入侵检测模型的动态更新。
7.一种基于安全评估机制的增量式入侵检测系统,包括以下模块:
数据捕获模块:用于捕获当前网络环境中不同网络设备的网络流量数据;
数据缓存与更新模块:将捕获到的所述网络流量数据缓存至本地并同步更新至服务器中的数据库;
数据处理模块:实现所述网络流量数据的预处理以及高维特征提取;
入侵检测模块:初始化增量式入侵检测模型,进行入侵检测模型的增量式更新,实现入侵检测与告警功能;
安全评估模块:计算入侵检测安全评估分数,用于终止增量式入侵检测模型的更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010122063.XA CN111367908A (zh) | 2020-02-27 | 2020-02-27 | 一种基于安全评估机制的增量式入侵检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010122063.XA CN111367908A (zh) | 2020-02-27 | 2020-02-27 | 一种基于安全评估机制的增量式入侵检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111367908A true CN111367908A (zh) | 2020-07-03 |
Family
ID=71206352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010122063.XA Pending CN111367908A (zh) | 2020-02-27 | 2020-02-27 | 一种基于安全评估机制的增量式入侵检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111367908A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112671807A (zh) * | 2021-03-15 | 2021-04-16 | 中国电子信息产业集团有限公司第六研究所 | 威胁处理方法、装置、电子设备及计算机可读存储介质 |
CN113360907A (zh) * | 2021-06-17 | 2021-09-07 | 浙江德迅网络安全技术有限公司 | 一种基于ides和nides的防黑客入侵方法 |
CN115001781A (zh) * | 2022-05-25 | 2022-09-02 | 国网河南省电力公司信息通信公司 | 一种终端网络状态安全监测方法 |
CN117170249A (zh) * | 2023-10-30 | 2023-12-05 | 铵泰克(北京)科技有限公司 | 用于网络化控制系统的自适应优化控制方法和系统 |
-
2020
- 2020-02-27 CN CN202010122063.XA patent/CN111367908A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112671807A (zh) * | 2021-03-15 | 2021-04-16 | 中国电子信息产业集团有限公司第六研究所 | 威胁处理方法、装置、电子设备及计算机可读存储介质 |
CN112671807B (zh) * | 2021-03-15 | 2021-06-25 | 中国电子信息产业集团有限公司第六研究所 | 威胁处理方法、装置、电子设备及计算机可读存储介质 |
CN113360907A (zh) * | 2021-06-17 | 2021-09-07 | 浙江德迅网络安全技术有限公司 | 一种基于ides和nides的防黑客入侵方法 |
CN115001781A (zh) * | 2022-05-25 | 2022-09-02 | 国网河南省电力公司信息通信公司 | 一种终端网络状态安全监测方法 |
CN115001781B (zh) * | 2022-05-25 | 2023-05-26 | 国网河南省电力公司信息通信公司 | 一种终端网络状态安全监测方法 |
CN117170249A (zh) * | 2023-10-30 | 2023-12-05 | 铵泰克(北京)科技有限公司 | 用于网络化控制系统的自适应优化控制方法和系统 |
CN117170249B (zh) * | 2023-10-30 | 2024-01-16 | 铵泰克(北京)科技有限公司 | 用于网络化控制系统的自适应优化控制方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Network intrusion detection: Based on deep hierarchical network and original flow data | |
CN109450842B (zh) | 一种基于神经网络的网络恶意行为识别方法 | |
Sun et al. | DL‐IDS: Extracting Features Using CNN‐LSTM Hybrid Network for Intrusion Detection System | |
CN111367908A (zh) | 一种基于安全评估机制的增量式入侵检测方法及系统 | |
Husain et al. | Development of an efficient network intrusion detection model using extreme gradient boosting (XGBoost) on the UNSW-NB15 dataset | |
Shao et al. | Adaptive online learning for IoT botnet detection | |
CN111629006B (zh) | 融合深度神经网络和层级注意力机制的恶意流量更新方法 | |
CN111669384B (zh) | 融合深度神经网络和层级注意力机制的恶意流量检测方法 | |
CN112087442B (zh) | 基于注意力机制的时序相关网络入侵检测方法 | |
CN112019497B (zh) | 一种基于词嵌入的多阶段网络攻击检测方法 | |
Ortet Lopes et al. | Towards effective detection of recent DDoS attacks: A deep learning approach | |
CN111669385B (zh) | 融合深度神经网络和层级注意力机制的恶意流量监测系统 | |
CN115811440B (zh) | 一种基于网络态势感知的实时流量检测方法 | |
Wang et al. | Res-TranBiLSTM: An intelligent approach for intrusion detection in the Internet of Things | |
CN116318928A (zh) | 一种基于数据增强和特征融合的恶意流量识别方法及系统 | |
Thom et al. | Smart recon: Network traffic fingerprinting for iot device identification | |
Sun et al. | Detection and classification of network events in LAN using CNN | |
Sheng et al. | Unknown attack traffic classification in scada network using heuristic clustering technique | |
Liao et al. | A Survey of Deep Learning Technologies for Intrusion Detection in Internet of Things | |
CN111291078B (zh) | 一种域名匹配检测方法及装置 | |
Ahuja et al. | DDoS attack traffic classification in SDN using deep learning | |
CN116170237B (zh) | 一种融合gnn和acgan的入侵检测方法 | |
Thavamani et al. | LSTM based deep learning technique to forecast Internet of Things attacks in MQTT protocol | |
Avram et al. | Tiny network intrusion detection system with high performance | |
Youm et al. | An authorized access attack detection method for realtime intrusion detection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200703 |
|
WD01 | Invention patent application deemed withdrawn after publication |