CN101399672A - 一种多神经网络融合的入侵检测方法 - Google Patents

一种多神经网络融合的入侵检测方法 Download PDF

Info

Publication number
CN101399672A
CN101399672A CNA2008100463031A CN200810046303A CN101399672A CN 101399672 A CN101399672 A CN 101399672A CN A2008100463031 A CNA2008100463031 A CN A2008100463031A CN 200810046303 A CN200810046303 A CN 200810046303A CN 101399672 A CN101399672 A CN 101399672A
Authority
CN
China
Prior art keywords
data
network
training
neuron
sgng
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100463031A
Other languages
English (en)
Other versions
CN101399672B (zh
Inventor
章毅
刘贵松
蒲晓蓉
屈鸿
张蕾
彭德中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN2008100463031A priority Critical patent/CN101399672B/zh
Publication of CN101399672A publication Critical patent/CN101399672A/zh
Application granted granted Critical
Publication of CN101399672B publication Critical patent/CN101399672B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种多神经网络融合的入侵检测方法,包括以下步骤:对来自外网的数据进行抓包和分析处理;将上述处理后的网络数据同时传输到分析数据库和SGNG异常检测分类器,使用封闭网络采集的正常类型数据离线训练SGNG异常检测分类器;所述SGNG异常检测分类器将检测出的异常数据标记后进行系统报警并将其存入分析数据库;将分析数据库中标记异常的数据集提供给PCSOM异常聚类分析器进行异常数据聚类分析;经过SGNG异常检测分类器检测出的异常数据按照类型分别输入到若干个并行的PCANN误用检测器,PCANN误用检测器将检测出的异常数据进行具体入侵类型报警,同时对所有PCANN误用检测器过滤的异常数据进行标记并存入分析数据库。

Description

一种多神经网络融合的入侵检测方法
技术领域
本发明涉及入侵检测技术领域,具体涉及一种多神经网络融合的入侵检测方法。
背景技术
近年来,网络攻击和入侵的频繁发生使得入侵检测系统(IDS)技术的研究变得越来越重要。在整个系统安全架构中,对于系统、网络直至用户IDS扮演了非常重要的角色。通常而言,一个计算机网络系统包含了很多的安全系统,诸如网络防火墙、漏洞扫描系统、访问控制系统等。但入侵检测系统是唯一通过数据和行为模式判断其是否有效的系统。对于一个成功的入侵检测系统而言,它不但可以使系统管理员时刻了解网络系统(包括程序、文件和硬件设备)的任何变更,还能给网络安全策略的制定提供指南。
神经网络技术在网络安全入侵检测邻域中是非常有前景的技术之一。国际上最为著名的研究机构和组织包括Georgia大学,MIT,Research of RST Corp.,以及UBILAB实验室等。1998年,J.Cannady和J.Mahaffy在研究误用检测中,首次采用多层感知机MLP模型使用后向传播BP算法,并且提出和自组织神经网络SOM相结合,建立MLP/SOM模型以取得更佳性能。自此以后,基于神经网络技术的入侵检测研究更加繁荣。在这些研究中,包括使用BP网络、RBF网络、SOM网络及其各种变化形式、支持向量机SVM、PCA/MCA神经网络用于特征抽取等等。总结所有这些方法的特点,都是采用神经网络模型无关的特性进行特征选择/抽取,进而进行行为或者数据模式的建立;网络的训练根据需要采用监督或者无监督方式;应用于异常检测或误用检测;使用模型或算法具有的数据分类或者聚类能力。
明显的,基于单一网络/模型进行入侵检测分析可以取得一定的效果(即针对单一的异常检测或者误用检测)。但整体而言,一个完整的入侵检测系统不但需要较高的异常检测能力,即区分正常和异常行为,尤其需要对于新类型的入侵/攻击的检测能力;而且需要自适应地完善系统误用攻击检测能力,即对于已经识别的入侵/攻击的高效率识别能力。
由此,单一的神经网络智能方法对于构筑一个完整的入侵检测系统捉襟见肘。
发明内容
本发明所要解决的技术问题是如何提供一种多神经网络融合的入侵检测方法,该方法采用异常检测和误用检测相结合的技术手段,克服现有技术中所存在的缺陷。
本发明所提出的技术问题是这样解决的:提供一种多神经网络融合的入侵检测方法,其特征在于,包括以下步骤:
①对来自外网的数据进行抓包和分析处理;
②将上述处理后的网络数据同时传输到分析数据库和SGNG异常检测分类器,使用封闭网络采集的正常类型数据离线训练SGNG异常检测分类器;
③所述SGNG异常检测分类器将检测出的异常数据标记后进行系统报警并将其存入分析数据库;
④将分析数据库中标记异常的数据集提供给PCSOM异常聚类分析器进行异常数据聚类分析;
⑤经过SGNG异常检测分类器检测出的异常数据按照类型分别输入到若干个并行的PCANN误用检测器,PCANN误用检测器将检测出的异常数据进行具体入侵类型报警,同时对所有PCANN误用检测器过滤的异常数据进行标记并存入分析数据库;
其中:
SGNG异常检测分类器:一种自增长的神经网络模型,将输入的外网数据划分为正常数据和异常数据两大类,并将闭合网络的数据采集作为训练数据,训练过程为监督过程,对实时采集的外网数据进行实时检测,具体包括以下步骤:A、输入单类别模式训练数据,在此系统中此训练数据为闭合网络采集的正常类型网络连接数据;B、神经元自分裂过程:根据输入数据在高维空间中的分布,网络自动增长从而适应和模拟训练数据的分布情况,初始网络的神经元数目为1,在神经元竞争过程中,当获胜神经元权值和输入之间的距离大于某事先设定的分裂半径时,自动添加一个神经元并设定其权值为当前输入向量;C、神经元竞争和合作过程:分裂后的SGNG网络在后续的输入迭代过程中进行权值调整,直至满足设定的收敛条件;D、神经元删除过程:在网络收敛后,各神经元的获胜次数如果小于预先设定的删除阈值,则此神经元被认为处于“欠训练”或“死”的状态,在网络中删除此类神经元;E、组合网络中所有活动的神经元构成单模式有监督训练的精确分类器;
PCSOM异常聚类分析器:它结合自组织网络SOM以及主成分分析方法PCA对分析数据库中的异常数据进行聚类分析,从而为确定某类具体攻击类型特征的建立提供训练数据基础,此训练过程为无监督训练,具体工作步骤如下:A、随机初始化PCSOM网络神经元权值;指定神经元数目;B、从分析数据库中输入无具体攻击类别标记(只由SGNG判为异常数据标记)的异常数据向量;C、分别计算输入在每个神经元所代表的类别子空间中的投影误差;D、根据SOM规则对相关神经元权值进行更新;E、返回步骤B迭代,直至满足预定的网络收敛条件;
PCANN误用检测器:PCANN误用检测器为针对确定的已知攻击类型数据而建立,主要检测某异常数据是否为某类型攻击,其训练为有监督训练,训练数据来源于PCSOM异常聚类分析器所标记的具体入侵类别数据,训练过程中,根据检测率和误报率的平衡确定一个PCANN误用检测器的检测阈值参数ε,其工作步骤如下:
A、训练阶段:给定精度,网络自动迭代收敛至要求精度,此时,网络中神经元的数目m等同于训练数据的实质维度,即将输入的n维数据自动压缩到m维的特征子空间中;
B、确定分类器检测阈值参数ε:计算输入在m维特征子空间中的投影误差,根据误报率和检测率指标的平衡确定ε;
C、实时误用检测:来自SGNG异常检测分类器过滤的异常数据输入PCANN误用检测器,当异常数据的投影误差小于ε时,确定此异常数据为此PCANN误用检测器刻画的具体入侵类型,否则不予处理。
按照本发明所提供的多神经网络融合的入侵检测方法,其特征在于,当分析数据库中的异常数据达到规定的规模以后,会自动触发PCSOM异常聚类分析器进行聚类分析,为训练更多的新的PCANN误用检测器提供训练数据,从而提高系统的自适应性能。
本发明有如下功能特点:
①使用多种神经网络方法的融合进行系统的训练和实际检测,因此可以充分发挥多种神经网络方法的优点,摒弃其缺点;
②是基于网络的入侵检测系统。其数据分析、检测基于网络流,因此可以适应较为复杂的网络环境;
③具有较好的可扩展性。系统运行过程中,将持续采集标记异常数据,通过PCSOM异常聚类分析将会有新的误用检测器得到训练并投入使用;同时,现有的PCANN误用检测器的训练将得到周期性的更新;从长远的角度来看,这种扩展性将使得其自动识别并建立更多的入侵模式,从而为采取进一步的反击措施奠定良好的基础。
④具备较好的兼容性。系统中所采用的误用检测技术是基于PCANN神经网络的方法,但系统并不局限于此,其他任何新出现的具有较好效果的分类器设计方法都可在此兼容利用。
附图说明
图1是本发明的工作流程图;
图2是PCSOM算法流程图;
图3是PCANN网络结构图;
图4是SGNG异常检测分类器分类示意图;
图5是SGNG异常检测分类器训练模式图;
图6是PCSOM异常聚类分析示意图;
图7是PCSOM异常聚类分析器工作流程图;
图8是PCANN误用检测器训练流程图;
图9是PCANN误用检测器检测流程图。
具体实施方式
下面结合附图以及实施例对本发明作进一步的说明。如图1所示,图中虚线代表离线数据流进行神经网络分类器或聚类分析的训练,而实线则代表在线数据处理流程。
其中,SGNG异常检测分类器通过闭合网络的数据采集作为训练数据,得到网络数据和行为的正常模式,训练过程为监督训练,对实时采集的开放网络数据进行实时检测;SGNG异常检测分类器的目的是将输入的网络连接数据划分成两类:正常数据和异常数据。参考下图4,SGNG异常检测分类器是一种自增长的神经气网络模型,和传统的SOM自组织网络在不同维度空间的映射机理不同,SGNG网络中神经元的竞争合作是在输入空间中进行。利用神经气网络的聚类分析功能,结合神经元数目自动确定的动态结构,SGNG可以实现单类别模式的精确刻画,其工作原理示意图如图5所示。具体包括以下步骤:输入单类别模式训练数据,在此系统中此训练数据为闭合网络采集的正常类型网络连接数据;神经元自分裂过程:根据输入数据在高维空间中的分布,网络自动增长从而适应和模拟训练数据的分布情况。初始网络的神经元数目为1;在神经元竞争过程中,当获胜神经元权值和输入之间的距离大于某事先设定的分裂半径θ(图5中圆的半径示意)时,SGNG自动添加一个神经元并设定其权值为当前输入向量;在后续的输入迭代过程中进行权值调整;直至满足设定的收敛条件;图5中多个圆代表多个神经元,模拟正常数据的分布情况。神经元删除过程:在网络收敛后,各神经元的获胜次数如果小于预先设定的删除阈值,则此神经元被认为处于“欠训练”或“死”的状态;在网络中删除此类神经元;如图5中,单个孤立的圆所表示的正常训练数据可以看作训练数据中的噪声,进而删除。组合SGNG网络中所有活动的神经元构成单模式有监督训练的精确分类器。图5中未经删除的圆组合代表主体的正常训练模式。
如上所述,采用正常网络流量数据训练的SGNG异常检测分类器可以较为精确的提供网络正常模式的刻画,同时快速将输入网络数据划分成两大类:正常和异常连接数据;由于并非依赖异常数据的特征,因此SGNG异常检测分类器可以充分检测系统中新出现的攻击,如图5中,只要不满足正常模式刻画的特征,SGNG异常检测分类器将判为网络攻击数据。
所述SGNG异常检测分类器通过闭合网络的数据采集作为训练数据,得到网络数据和行为的正常模式,训练过程为监督训练,对实时采集的开放网络数据进行实时检测;SGNG是一种自增长的神经气网络模型,由于网络中神经元的竞争和合作过程模拟了气体分子的布朗运动而得名。和传统的SOM自组织网络在不同维度空间的映射机理不同,SGNG网络中神经元的竞争合作是在输入空间中进行。利用神经气网络的聚类分析功能,结合神经元数目自动确定的动态结构,SGNG可以实现单类别模式的精确刻画。采用正常网络流量数据训练的SGNG异常检测分类器可以较为精确的提供网络正常模式的刻画,同时快速将输入网络数据划分成两大类:正常和异常连接数据;由于并非依赖异常数据的特征,因此SGNG异常检测分类器可以充分检测系统中新出现的攻击。
PCSOM异常聚类分析器根据分析数据库中的异常数据规模触发PCSOM异常数据聚类分析。PCSOM网络结合了经典自组织网络SOM以及主成分分析方法PCA。结合PCA分析,PCSOM将数据相似性度量由传统的欧几里德尺度替换为在特征子空间中的映射;即由高维空间中的超球体聚类分析变换为超椭球体聚类分析,从而更加适合高斯分布的数据聚类分析。传统SOM仅以类别的中心向量作为神经元的权值,而PCSOM增加了满足精度要求的降维后类别数据的特征子空间基向量。PCSOM网络的主要功能是对分析数据库中的异常数据进行聚类分析,从而为确定某类具体攻击类型特征的建立提供训练数据基础。此训练过程为无监督训练。
根据分析数据库中的异常数据规模触发PCSOM异常数据聚类分析,PCSOM网络结合了经典自组织网络SOM以及主成分分析方法PCA。结合PCA分析,PCSOM将数据相似性度量由传统的欧几里德尺度替换为在特征子空间中的映射;即由高维空间中的超球体聚类分析变换为超椭球体聚类分析,从而更加适合高斯分布的数据聚类分析,其优点参考图6示意图。传统SOM仅以类别的中心向量作为神经元的权值,而PCSOM增加了满足精度要求的降维后类别数据的特征子空间基向量。
PCSOM网络工作步骤如下:
(1)随机初始化PCSOM网络神经元权值;指定神经元数目;
(2)从分析数据库中输入无具体攻击类别标记(只由SGNG判为异常数据标记)的异常数据向量;
(3)分别计算输入在每个神经元所代表的类别子空间中的投影误差;
(4)根据SOM规则对相关神经元权值进行更新;
(5)返回步骤(2)迭代,直至满足预定的网络收敛条件。
PCSOM网络的主要功能是对分析数据库中的异常数据进行聚类分析,从而为确定某类具体攻击类型特征的建立提供训练数据基础。此训练过程为无监督训练。其工作流程示意如图7所示
PCANN误用检测器为针对确定的已知攻击类型数据而建立,使用中主要检测某异常数据是否为某类型攻击。PCANN神经网络实现了传统的PCA算法,使得分类器更加适合高斯分布数据。其训练采用Adaptive GHA算法,可以在提前确定总方差贡献率精度α的基础上,自动逼近输入类别数据的实质维;其训练为有监督训练,训练数据来源于PCSOM异常聚类分析数据;训练过程中,根据检测率和误报率的平衡确定一个PCANN误用检测器的检测阈值参数ε。因此,PCANN误用检测器通过更加精确的类别刻画使得误用检测更加精确,从而降低误报率;同时可以更多的发现新类型的攻击,当所有PCANN误用检测器不能检测的异常数据达到一定的规模时,系统将自动触发PCSOM异常数据聚类分析,从而训练更多的PCANN误用检测器。
所述PCANN误用检测器为针对确定的已知攻击类型数据而建立。使用中主要检测某异常数据是否为某类型攻击。PCANN神经网络实现了传统的PCA算法,使得分类器更加适合高斯分布数据。其训练采用Adaptive GHA算法,可以在提前确定总方差贡献率精度α的基础上,自动逼近输入类别数据的实质维;其训练为有监督训练,训练数据来源于PCSOM异常聚类分析器所标记的具体入侵类别数据;训练过程中,根据检测率和误报率的平衡确定一个PCANN误用检测器的检测阈值参数ε。其工作步骤如下:
(1)训练阶段:给定精度如α=90%,网络自动迭代收敛至要求精度。此时,网络中神经元的数目m等同于训练数据的实质维度,即将输入的n维数据自动压缩到m维的特征子空间中;
(2)确定分类器检测阈值ε:计算输入在m维特征子空间中的投影误差,根据误报率和检测率指标的平衡确定ε;
(3)实时误用检测:来自SGNG过滤的异常数据输入PCANN误用检测器;当异常数据的投影误差小于ε时,确定此异常数据为此PCANN误用检测器刻画的具体入侵类型;否则不予处理;
因此,PCANN误用检测器通过更加精确的类别刻画使得误用检测更加精确,从而降低误报率;同时可以更多的发现新类型的攻击,当所有PCANN误用检测器不能检测的异常数据达到一定的规模时,系统将自动触发PCSOM异常数据聚类分析,从而训练更多的PCANN误用检测器。其训练工作流程和实时检测工作流程如图8和图9所示。
本发明的具体实施步骤如下:
首先通过网络数据的捕获、分析建立离线的“normal”类型系统训练数据,从而可以训练异常检测器;对于误用检测器的训练可以使用异常检测器过滤后的异常数据进行离线或者在线的训练;这些流程包括:网络数据的抓包、实时分析、一般入侵的检测报警、入侵数据的误用分类、具体攻击类型报警以及各类处理后的标记数据入库等。各部分的功能特点如下:
①外网抓包/分析:通过对流入、流出单位局域网的网络连接数据进行捕获、分析,建立外部入侵检测的数据源;网络为大多数计算机提供的接口是一个内置的以太网卡。以太网卡典型地具有一个“混合模式(Promiscuous)”选项,能够关掉过滤功能而查看经过它的所有数据报。这个混合模式选项恰好被数据报监测程序利用来实现它们的监听功能。数据报截获程序调用WinPcap驱动,支持Win32平台上的信息包捕获和网络分析,它包括内核级的包过滤驱动程序,低级动态连接库(packet.dll)和高级系统无关性库。WinPcap信息包捕获启动程序可把设备驱动增加在Win32平台下,它有能力捕获和发送通过原始套接口的信息包(Raw Packets),具体实现时可直接调用驱动程序的API。在网络监听时,常常要保存大量的信息,并将对收集的信息进行大量的分析和处理。因此,监听和数据分析如果不加协议过滤,将十分消耗系统的内存和CPU时间。同时,如果分析过程不加缓存,许多包就会来不及接收而被漏走。所以监听程序通常将已经捕获到的数据报进行缓存然后分析,二者之间的延迟要视具体的应用进行设置。
②SGNG(自增长神经气网络)异常检测:采用有监督训练的SGNG神经网络方法实现异常检测,将入侵数据和正常数据进行两类划分;对于SGNG的训练采用系统通过抓包程序获取的网络流数据,这是一种离线的网络训练方式;训练数据的获取通过一个固定时间段的较为封闭的网络环境下的数据收集,同时,充分利用SGNG对于野点数据的剔除能力;对实时采集的开放网络数据进行实时检测分析:如果数据异常,进行数据标定并存入数据库中,同时进行初步异常报警。在很多实际的应用中,训练数据中存在一些错误标记的数据,或者在根本上存在一些远离主体特征的样本数据。这些数据通常称之为“野点”(Outlier)或者“孤立点”。存在野点的原因很多,比如人为的忽视或错误等等。而野点的存在对通过聚类分析建立类别模式的过程产生较为重大的影响。
针对训练数据中的野点具备数量小、孤立等特征,自增长SGNG网络可以在网络收敛后对每个神经元模式进行分析,通过界定神经元获胜次数去除那些欠训练的“死”神经元,从而使之具备针对训练数据中野点的抑制能力,提高对整体类别特征模式刻画的准确性。因此,网络事先定义一个最小获胜次数参数MinWinTime,用于判定最终神经元是否由野点数据造成的欠训练神经元情况。比如定义MinWinTime=2,那些获胜次数小于等于2的神经元将在网络最终的结构调整阶段去除。在SGNG网络算法中,假如某类别特征模式中存在由野点训练的子模式情况,首先它不会影响占绝对多数比例的正常训练数据构造的类别子模式;其次,这种情况的存在会对最终分类的准确性产生一定的影响,即将靠近野点数据的不属于类别C的样本误分为同一类别。SGNG通过神经元删除机制从而具备了对野点的抑制能力。当然,“野点”存在的假设(即是否是真正的“野点”)在实际应用中也会对分类器的检测能力造成一定的影响。但毕竟SGNG的这种机制会在分类器检测率和误分率之间取得较好的平衡。因此可以断言,具备统一误差门限的自增长SGNG神经气网络在一定程度上不会受到训练数据中噪声的影响;另外,这种方法同样可以应用到对分类器训练数据的正确清理/过滤,从而尽量降低训练过程中野点的影响。
自增长神经气算法GNG(Growing Neural Gas Algorithm)训练算法步骤如下:
ALGORITHM-TRAIN-GNG:
STEP1:初始化系统数据:
·初始化神经元数量,M=1
·分裂半径,θ
·针对神经元删除的最小获胜次数参数MinWinTime
·最大训练迭代轮数MaxEPOCH
·训练数据输入{x(t)},t=1,…,N
STEP2:Repeat:for i=0 to MaxEPOCH and j=1 to N,input x(j),and
CASE i:
·0:goto STEP3
·MaxEPOCH:goto STEP4
·else:goto STEP5
STEP3:神经元自增长过程:
·for k=1 to M,计算,dk=‖x(j)-wk
·and,dmin=arg min{dk}
·if dk>θ,M=M+1,wm←x(j)
·Goto STEP2.
STEP4:神经元删除过程:
·对每个神经元计算BMU最佳匹配次数B(m),m=1,…,M
·ifB(m)<MinWinTime,删除m
·Goto STEP6.
STEP5:神经元权值更新:
·更新wi:wi+1=wi+η(t)hλ(ri)(x(t)-wi),
其中ri是神经元的邻域秩,hλ(ri)=e-(ri/λ(t))
学习速率参数       η(t)=η0end0)t/tmax
衰减因子计算       λ(t)=λ0end0)t/tmax
·Goto STEP2.
STEP6:End of ALGORITHM-TRAIN-GNG
③PCSOM异常聚类分析:网络运行一段时间后,根据分析数据库中的异常数据规模触发PCSOM异常数据聚类分析,此过程为离线无监督分析过程。经过聚类分析后,异常数据被划分为一定的具体入侵类型的数据集合(正常情况包含噪声)。这些数据将进行后期人工类别标记入库,同时作为PCANN异常检测器的训练数据。对于新产生攻击数据处理,使用同样的流程。系统监视分析数据库中异常数据(含已经聚类分析的标记数据和SGNG异常检测后的未标记入侵类别异常数据),当未标记异常数据达到一定规模,则重新触发PCSOM聚类分析;从而支持PCANN误用检测器的扩展。
SOM的主要目的是将任意维数的输入转换为一维或二维的离散映射,并且以拓扑有序的方式自适应实现这个过程。生物学基础实验表明,外界信息对于神经元的刺激并非是单一的,而是以某一细胞为中心的一个区域;并且刺激强度有强弱之分,大脑神经的刺激趋势和强度呈墨西哥草帽形状;经元受刺激的强度以中心最大,随着区域半径的增大逐渐减弱;远离中心的神经元相反会受到抑制作用。根据这个原理,当某类模式输入时,输出层某节点(神经元)得到最大刺激而获胜,获胜者以及其周围节点的权值会向着输入模式向量的方向进行修正。随着输入模式的变化,相应获胜神经元也发生变化,网络即通过自组织的方式在大量样本数据的训练下,使得输出层特征图能够反映出输入样本数据的分布情况。
PCSOM网络结合了PCA和SOM,网络神经元的权值存储于中心向量e和协方差矩阵R上,PCSOM处理流程参见附图2。此处SOM采用Winner-Take-All规则,即SOM的邻域设置为1,从而简化PCSOM模型,使之易于实现。假如在t时刻输入为x,可以得到神经元权值的学习公式如下:
e(t+1)=e(t)+ηe(x-e(t))
R(t+1)=R(t)+ηr((x-e(t))(x-e(t)T-R(t))
式中,ηe和ηe分别是e和R的学习速率参数。
聚类分析中,输入x在神经元i上的投影误差可以利用如下公式计算:
Err=‖x-e(t)-∑H=1K(Bh T(x-e(t)Bh))‖
上式中Bh,h=1...K是神经元权值中的特征子空间基向量,可由R求取;其中K为事先确定。由此可得获胜神经元为:
C=argmin{Err_i|i=1...m}
④PCANN异常检测器训练和检测:采用PCA神经网络进行具体类型入侵的模式刻画和建立。训练数据来自PCSOM异常聚类分析后的簇数据;同时PCANN网络具备一定的噪声抑制能力,训练中确定检测阈值,从而大大提高误用检测的性能。PCANN训练采用AGHA算法,其网络结构参见附图3,以下简要介绍AGHA算法原理。给传统GHA网络的神经元加上侧向连接,从而产生激活或者抑制的活动。最终活动的神经元的数量即可逼近数据的实质维数。其中,K表示网络最终收敛的数据集的实质维数,即抽取的主元数量。网络的权值矩阵为W=[W1W2...W1],GHA网络的权值最终收敛于输入向量x(t)的前K个最大主元方向向量。
为了减少算法振荡,采C(t)=βC(t-1)+[x(t)xT(t)-βC(t-1)]/t作为输入代替x(t)xT(t)。其学习算法为:
W(t+1)=W(t)+ηΠ(t)[W(t)C(t)-LT[WT(t)C(t)W(t)]W(t)]
式中,η为学习因子。对角阵Π(t)根据其对角线元素的值,在t时刻起到控制器的作用(为“1”代表神经元活动,此时仅Π11(t)=1),最终网络逼近的实质维数等于矩阵Π(t)的对角线元素为1的个数。根据网络输出yi和输入数据方差矩阵的特征值之间的关系,作如下三个函数定义:
F1(t)=ó(x)[α×trace(Ct)-∑i=1 1(t)yi 2(t)]
F2(t)=o(x)[o(x)(n-1(t)-1)-F1(t)]
F3(t)=o2(x)[∑i=1 1(t)-1yi 2(t)-α×trace(Ct)]+o(x)F2(t)
式中,o(x)函数在x<0时为0,其他为1;ó(x)函数在x<0时为-1,其他为1。由此可得自适应逼近数据实质维的改进GHA算法:
1(t+1)=1(t)+F1(t)F2(t)F3(t)
i=1(t)+o(x)[1(t+1)-1(t)-1]
Πii(t+1)=Πii(t)+[1(t+1)-1(t)]
通过AGHA算法训练后的PCANN网络,根据精度自动确定了主元子空间的维数。检测实验中,输入x(t),可得其投影误差为:
Err=‖x(t)-∑H=1 K(Wh Tx(t)Wh)‖
实际应用中,假定输入的测试样本数目为N,一个简单的获得分类器检测阈值ε的方法是:
ε=Max{Err_i|i=1,...,N}
当然,大的ε可以获得较高的检测率,但其误报率也较高;反之亦然。因此,实际应用中需要在误报率和检测率之间获得一个平衡的检测阈值。
⑤系统报警:本系统报警分为两个层次,一是系统初步异常报警,即通过SGNG异常检测分类器判定为异常的数据进行初步报警,二是具体攻击报警,即通过多个PCANN误用检测器检测出的异常判定为某一具体攻击类型的报警;多个并行PCANN误用检测器不能检测出的异常标定为系统新出现的异常攻击。系统将其标定后存入分析数据库,待达到预定数据规模后进行新的异常聚类分析,从而训练新的PCANN误用检测器。

Claims (2)

1、一种多神经网络融合的入侵检测方法,其特征在于,包括以下步骤:
①对来自外网的数据进行抓包和分析处理;
②将上述处理后的网络数据同时传输到分析数据库和SGNG异常检测分类器,使用封闭网络采集的正常类型数据离线训练SGNG异常检测分类器;
③所述SGNG异常检测分类器将检测出的异常数据标记后进行系统报警并将其存入分析数据库;
④将分析数据库中标记异常的数据集提供给PCSOM异常聚类分析器进行异常数据聚类分析;
⑤经过SGNG异常检测分类器检测出的异常数据按照类型分别输入到若干个并行的PCANN误用检测器,PCANN误用检测器将检测出的异常数据进行具体入侵类型报警,同时对所有PCANN误用检测器过滤的异常数据进行标记并存入分析数据库;
其中:
SGNG异常检测分类器:一种自增长的神经网络模型,将输入的外网数据划分为正常数据和异常数据两大类,并将闭合网络的数据采集作为训练数据,训练过程为监督过程,对实时采集的外网数据进行实时检测,具体包括以下步骤:A、输入单类别模式训练数据,在此系统中此训练数据为闭合网络采集的正常类型网络连接数据;B、神经元自分裂过程:根据输入数据在高维空间中的分布,网络自动增长从而适应和模拟训练数据的分布情况,初始网络的神经元数目为1,在神经元竞争过程中,当获胜神经元权值和输入之间的距离大于某事先设定的分裂半径时,自动添加一个神经元并设定其权值为当前输入向量;C、神经元竞争和合作过程:分裂后的SGNG网络在后续的输入迭代过程中进行权值调整,直至满足设定的收敛条件;D、神经元删除过程:在网络收敛后,各神经元的获胜次数如果小于预先设定的删除阈值,则此神经元被认为处于“欠训练”或“死”的状态,在网络中删除此类神经元;E、组合网络中所有活动的神经元构成单模式有监督训练的精确分类器;
PCSOM异常聚类分析器:它结合自组织网络SOM以及主成分分析方法PCA对分析数据库中的异常数据进行聚类分析,从而为确定某类具体攻击类型特征的建立提供训练数据基础,此训练过程为无监督训练,具体工作步骤如下:A、随机初始化PCSOM网络神经元权值;指定神经元数目;B、从分析数据库中输入无具体攻击类别标记的异常数据向量;C、分别计算输入在每个神经元所代表的类别子空间中的投影误差;D、根据SOM规则对相关神经元权值进行更新;E、返回步骤B迭代,直至满足预定的网络收敛条件;
PCANN误用检测器:PCANN误用检测器为针对确定的已知攻击类型数据而建立,主要检测某异常数据是否为某类型攻击,其训练为有监督训练,训练数据来源于PCSOM异常聚类分析器所标记的具体入侵类别数据,训练过程中,根据检测率和误报率的平衡确定一个PCANN误用检测器的检测阈值参数ε,其工作步骤如下:
A、训练阶段:给定精度,网络自动迭代收敛至要求精度,此时,网络中神经元的数目m等同于训练数据的实质维度,即将输入的n维数据自动压缩到m维的特征子空间中;
B、确定分类器检测阈值参数ε:计算输入在m维特征子空间中的投影误差,根据误报率和检测率指标的平衡确定ε;
C、实时误用检测:来自SGNG异常检测分类器过滤的异常数据输入PCANN误用检测器,当异常数据的投影误差小于ε时,确定此异常数据为此PCANN误用检测器刻画的具体入侵类型,否则不予处理。
2、根据权利要求1所述的多神经网络融合的入侵检测方法,其特征在于,当分析数据库中的异常数据达到规定的规模以后,会自动触发PCSOM异常聚类分析器进行聚类分析。
CN2008100463031A 2008-10-17 2008-10-17 一种多神经网络融合的入侵检测方法 Expired - Fee Related CN101399672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008100463031A CN101399672B (zh) 2008-10-17 2008-10-17 一种多神经网络融合的入侵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008100463031A CN101399672B (zh) 2008-10-17 2008-10-17 一种多神经网络融合的入侵检测方法

Publications (2)

Publication Number Publication Date
CN101399672A true CN101399672A (zh) 2009-04-01
CN101399672B CN101399672B (zh) 2011-03-02

Family

ID=40517954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100463031A Expired - Fee Related CN101399672B (zh) 2008-10-17 2008-10-17 一种多神经网络融合的入侵检测方法

Country Status (1)

Country Link
CN (1) CN101399672B (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103748983B (zh) * 2009-06-23 2011-04-27 北京理工大学 一种基于模糊eca规则的网络攻击知识表达与推理方法
CN102469103A (zh) * 2011-07-01 2012-05-23 中国人民解放军国防科学技术大学 基于bp神经网络的木马事件预测方法
CN104899507A (zh) * 2015-06-08 2015-09-09 桂林电子科技大学 一种网络高维大数据异常入侵的检测方法
CN104935600A (zh) * 2015-06-19 2015-09-23 中国电子科技集团公司第五十四研究所 一种基于深度学习的移动自组织网络入侵检测方法与设备
CN104967535A (zh) * 2015-06-09 2015-10-07 南京联成科技发展有限公司 一种应用于信息安全运维管理的大数据分析
CN103218431B (zh) * 2013-04-10 2016-02-17 金军 一种能识别网页信息自动采集的系统
CN105530138A (zh) * 2014-09-28 2016-04-27 腾讯科技(深圳)有限公司 一种数据监控方法及装置
CN105675038A (zh) * 2016-01-05 2016-06-15 中国计量学院 一种仪表的故障预测装置
CN105913011A (zh) * 2016-04-08 2016-08-31 北京大学深圳研究生院 基于参数自调节神经网络的人体异常行为检测方法
CN105959289A (zh) * 2016-06-06 2016-09-21 中国东方电气集团有限公司 一种基于自学习的OPC Classic协议的安全检测方法
CN106203519A (zh) * 2016-07-17 2016-12-07 合肥赑歌数据科技有限公司 基于分类聚类的故障预警算法
CN106302555A (zh) * 2016-11-10 2017-01-04 北京启明星辰信息安全技术有限公司 一种网络入侵检测方法及装置
CN106537872A (zh) * 2014-07-18 2017-03-22 德国电信股份有限公司 用于检测计算机网络中的攻击的方法
CN106534191A (zh) * 2016-12-14 2017-03-22 北京安信天行科技有限公司 一种网络入侵检测方法及装置
WO2017124683A1 (zh) * 2016-01-21 2017-07-27 杭州海康威视数字技术股份有限公司 在线自学习事件检测模型更新方法及装置
CN107169854A (zh) * 2016-03-07 2017-09-15 阿里巴巴集团控股有限公司 一种数据处理的方法及装置
CN107483451A (zh) * 2017-08-25 2017-12-15 西安电子科技大学 基于串并行结构网络安全数据处理方法及系统、社交网络
CN108540473A (zh) * 2018-04-09 2018-09-14 华北理工大学 一种数据分析方法及数据分析装置
CN109120610A (zh) * 2018-08-03 2019-01-01 上海海事大学 一种融合改进智能蜂群算法和bp神经网络的入侵检测方法
CN109274651A (zh) * 2018-08-30 2019-01-25 上海海事大学 一种DDoS攻击检测方法
CN109410496A (zh) * 2018-10-25 2019-03-01 北京交通大学 入侵预警方法、装置及电子设备
CN109936554A (zh) * 2017-12-19 2019-06-25 中国科学院声学研究所 一种分布式拒绝服务的检测方法及装置
CN110247910A (zh) * 2019-06-13 2019-09-17 深信服科技股份有限公司 一种异常流量的检测方法、系统及相关组件
CN110322048A (zh) * 2019-05-31 2019-10-11 南京航空航天大学 一种生产物流输送装备故障预警方法
CN111062925A (zh) * 2019-12-18 2020-04-24 华南理工大学 一种基于深度学习的布匹疵点智能识别方法
CN111355725A (zh) * 2020-02-26 2020-06-30 北京邮电大学 一种网络入侵数据的检测方法及装置
CN111447173A (zh) * 2019-01-17 2020-07-24 罗伯特·博世有限公司 对控制器局域网或者汽车以太网的数据分类的设备和方法
CN112165464A (zh) * 2020-09-15 2021-01-01 江南大学 一种基于深度学习的工控混合入侵检测方法
CN112291184A (zh) * 2019-07-24 2021-01-29 厦门雅迅网络股份有限公司 基于神经网络集群的车内网入侵检测方法和终端设备
CN112437053A (zh) * 2020-11-10 2021-03-02 国网北京市电力公司 入侵检测方法及装置
CN112765148A (zh) * 2021-02-02 2021-05-07 南京信息工程大学 一种基于改进svm多分类的网络入侵检测方法
CN112787992A (zh) * 2020-12-17 2021-05-11 福建新大陆软件工程有限公司 一种敏感数据的检测与防护的方法、装置、设备和介质
CN113469366A (zh) * 2020-03-31 2021-10-01 北京观成科技有限公司 一种加密流量的识别方法、装置及设备
CN113537280A (zh) * 2021-05-21 2021-10-22 北京中医药大学 一种基于特征选择的智能制造工业大数据分析方法
CN115563614A (zh) * 2022-10-27 2023-01-03 任文欣 一种应用于人工智能的软件异常行为文件溯源方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1309214C (zh) * 2004-12-20 2007-04-04 华中科技大学 基于协同入侵检测的大规模网络安全防御系统
CN1809000A (zh) * 2006-02-13 2006-07-26 成都三零盛安信息系统有限公司 一种网络入侵的检测方法

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103748982B (zh) * 2009-05-31 2011-04-27 北京理工大学 基于Petri网模型的误用检测系统攻击知识库的校验方法
CN103748983B (zh) * 2009-06-23 2011-04-27 北京理工大学 一种基于模糊eca规则的网络攻击知识表达与推理方法
CN102469103A (zh) * 2011-07-01 2012-05-23 中国人民解放军国防科学技术大学 基于bp神经网络的木马事件预测方法
CN103218431B (zh) * 2013-04-10 2016-02-17 金军 一种能识别网页信息自动采集的系统
CN106537872A (zh) * 2014-07-18 2017-03-22 德国电信股份有限公司 用于检测计算机网络中的攻击的方法
CN105530138A (zh) * 2014-09-28 2016-04-27 腾讯科技(深圳)有限公司 一种数据监控方法及装置
CN105530138B (zh) * 2014-09-28 2021-06-11 腾讯科技(深圳)有限公司 一种数据监控方法及装置
CN104899507A (zh) * 2015-06-08 2015-09-09 桂林电子科技大学 一种网络高维大数据异常入侵的检测方法
CN104967535A (zh) * 2015-06-09 2015-10-07 南京联成科技发展有限公司 一种应用于信息安全运维管理的大数据分析
CN104935600B (zh) * 2015-06-19 2019-03-22 中国电子科技集团公司第五十四研究所 一种基于深度学习的移动自组织网络入侵检测方法与设备
CN104935600A (zh) * 2015-06-19 2015-09-23 中国电子科技集团公司第五十四研究所 一种基于深度学习的移动自组织网络入侵检测方法与设备
CN105675038A (zh) * 2016-01-05 2016-06-15 中国计量学院 一种仪表的故障预测装置
CN105675038B (zh) * 2016-01-05 2019-12-13 中国计量学院 一种仪表的故障预测装置
WO2017124683A1 (zh) * 2016-01-21 2017-07-27 杭州海康威视数字技术股份有限公司 在线自学习事件检测模型更新方法及装置
US11030886B2 (en) 2016-01-21 2021-06-08 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for updating online self-learning event detection model
CN107169854A (zh) * 2016-03-07 2017-09-15 阿里巴巴集团控股有限公司 一种数据处理的方法及装置
CN107169854B (zh) * 2016-03-07 2021-04-02 创新先进技术有限公司 一种数据处理的方法及装置
CN105913011A (zh) * 2016-04-08 2016-08-31 北京大学深圳研究生院 基于参数自调节神经网络的人体异常行为检测方法
CN105913011B (zh) * 2016-04-08 2019-06-04 深圳市感动智能科技有限公司 基于参数自调节神经网络的人体异常行为检测方法
CN105959289A (zh) * 2016-06-06 2016-09-21 中国东方电气集团有限公司 一种基于自学习的OPC Classic协议的安全检测方法
CN106203519A (zh) * 2016-07-17 2016-12-07 合肥赑歌数据科技有限公司 基于分类聚类的故障预警算法
CN106302555A (zh) * 2016-11-10 2017-01-04 北京启明星辰信息安全技术有限公司 一种网络入侵检测方法及装置
CN106534191A (zh) * 2016-12-14 2017-03-22 北京安信天行科技有限公司 一种网络入侵检测方法及装置
CN106534191B (zh) * 2016-12-14 2019-06-21 北京安信天行科技有限公司 一种网络入侵检测方法及装置
CN107483451A (zh) * 2017-08-25 2017-12-15 西安电子科技大学 基于串并行结构网络安全数据处理方法及系统、社交网络
CN109936554A (zh) * 2017-12-19 2019-06-25 中国科学院声学研究所 一种分布式拒绝服务的检测方法及装置
CN108540473A (zh) * 2018-04-09 2018-09-14 华北理工大学 一种数据分析方法及数据分析装置
CN109120610A (zh) * 2018-08-03 2019-01-01 上海海事大学 一种融合改进智能蜂群算法和bp神经网络的入侵检测方法
CN109274651A (zh) * 2018-08-30 2019-01-25 上海海事大学 一种DDoS攻击检测方法
CN109410496A (zh) * 2018-10-25 2019-03-01 北京交通大学 入侵预警方法、装置及电子设备
CN111447173A (zh) * 2019-01-17 2020-07-24 罗伯特·博世有限公司 对控制器局域网或者汽车以太网的数据分类的设备和方法
CN110322048A (zh) * 2019-05-31 2019-10-11 南京航空航天大学 一种生产物流输送装备故障预警方法
CN110322048B (zh) * 2019-05-31 2023-09-26 南京航空航天大学 一种生产物流输送装备故障预警方法
CN110247910A (zh) * 2019-06-13 2019-09-17 深信服科技股份有限公司 一种异常流量的检测方法、系统及相关组件
CN112291184B (zh) * 2019-07-24 2024-03-01 厦门雅迅网络股份有限公司 基于神经网络集群的车内网入侵检测方法和终端设备
CN112291184A (zh) * 2019-07-24 2021-01-29 厦门雅迅网络股份有限公司 基于神经网络集群的车内网入侵检测方法和终端设备
CN111062925A (zh) * 2019-12-18 2020-04-24 华南理工大学 一种基于深度学习的布匹疵点智能识别方法
CN111355725B (zh) * 2020-02-26 2021-02-23 北京邮电大学 一种网络入侵数据的检测方法及装置
CN111355725A (zh) * 2020-02-26 2020-06-30 北京邮电大学 一种网络入侵数据的检测方法及装置
CN113469366A (zh) * 2020-03-31 2021-10-01 北京观成科技有限公司 一种加密流量的识别方法、装置及设备
CN112165464A (zh) * 2020-09-15 2021-01-01 江南大学 一种基于深度学习的工控混合入侵检测方法
CN112437053A (zh) * 2020-11-10 2021-03-02 国网北京市电力公司 入侵检测方法及装置
CN112437053B (zh) * 2020-11-10 2023-06-30 国网北京市电力公司 入侵检测方法及装置
CN112787992A (zh) * 2020-12-17 2021-05-11 福建新大陆软件工程有限公司 一种敏感数据的检测与防护的方法、装置、设备和介质
CN112765148A (zh) * 2021-02-02 2021-05-07 南京信息工程大学 一种基于改进svm多分类的网络入侵检测方法
CN113537280A (zh) * 2021-05-21 2021-10-22 北京中医药大学 一种基于特征选择的智能制造工业大数据分析方法
CN115563614A (zh) * 2022-10-27 2023-01-03 任文欣 一种应用于人工智能的软件异常行为文件溯源方法
CN115563614B (zh) * 2022-10-27 2023-08-04 艾德领客(上海)数字技术有限公司 一种应用于人工智能的软件异常行为文件溯源方法

Also Published As

Publication number Publication date
CN101399672B (zh) 2011-03-02

Similar Documents

Publication Publication Date Title
CN101399672B (zh) 一种多神经网络融合的入侵检测方法
CN108881196B (zh) 基于深度生成模型的半监督入侵检测方法
Ektefa et al. Intrusion detection using data mining techniques
CN104486141B (zh) 一种误报自适应的网络安全态势预测方法
CN111585948B (zh) 一种基于电网大数据的网络安全态势智能预测方法
CN110213244A (zh) 一种基于时空特征融合的网络入侵检测方法
CN117421684B (zh) 基于数据挖掘和神经网络的异常数据监测与分析方法
CN108629413A (zh) 神经网络模型训练、交易行为风险识别方法及装置
CN109818961A (zh) 一种网络入侵检测方法、装置和设备
Altunay et al. Analysis of anomaly detection approaches performed through deep learning methods in SCADA systems
CN112800116A (zh) 一种业务数据的异常检测方法及装置
CN112087442B (zh) 基于注意力机制的时序相关网络入侵检测方法
CN108632266A (zh) 一种配电通信网络安全态势感知方法
CN113660196A (zh) 一种基于深度学习的网络流量入侵检测方法及装置
CN114926825A (zh) 一种基于时空特征融合的车辆驾驶行为检测方法
Borisenko et al. Intrusion detection using multilayer perceptron and neural networks with long short-term memory
CN109547496B (zh) 一种基于深度学习的主机恶意行为检测方法
Sheng et al. Network traffic anomaly detection method based on chaotic neural network
CN118350008A (zh) 一种基于机器学习的api接口数据风险监测系统
CN117077870B (zh) 一种基于人工智能的水资源数字化管理方法
Ghanem et al. NEW APPROACH TO IMPROVE ANOMALY DETECTION USING A NEURAL NETWORK OPTIMIZED BY HYBRID ABC AND PSO ALGORITHMS.
Thi et al. One-class collective anomaly detection based on long short-term memory recurrent neural networks
CN117240523A (zh) 一种基于结构信息原理的网络欺骗账户的检测方法
CN109522715A (zh) 一种面向安全智能电网的数据融合分类方法与系统
CN111064724B (zh) 一种基于rbf神经网络的网络入侵检测系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110302

Termination date: 20111017