CN111064724A - 一种基于rbf神经网络的网络入侵检测系统 - Google Patents

Abstract

本发明公开了一种基于RBF神经网络的网络入侵检测系统，设置有数据包采集模块，用于对数据包进行监听和采集，并对拦截到的数据包进行监控、管理和参数配置；数据预处理模块，抽取数据包中能够区别正常访问流量和恶意入侵流量的字段及特征并规整化形成数据报文；子特征提取模块，将数据预处理模块输出的格式化字段数据结构作为数据样本进行有效特征提取；分析判别模块，主要利用RBF神经网络对子特征提取模块所提取的特征进行分析和归类判别；结果反馈模块，将分析判别模块的判别输出结果进行处理，并分析和评估模型表现，且能够将需要调整的参数信息格式化后送至数据预处理模块和子特征提取模块。

Description

一种基于RBF神经网络的网络入侵检测系统

技术领域

本发明涉及计算机安全技术等领域，具体的说，是一种基于RBF神经网络的网络入侵检测系统。

背景技术

随着网络技术的快速发展，人类社会各种信息资源趋于一个互联的整体，然而人们在得益于信息社会提供的服务的同时也不得不面对信息安全问题提出的考验。近年来，因为网络协议、软件应用等自身存在的漏洞或者网络管理员的错误设置和违规操作等，使得网络攻击所造成的损失越来越大，这些都对网络安全问题提出了日益严峻的挑战。我国多个领域的相关机构和部门近年来均爆发了大规模的数据泄露事件，黑客利用多种渗透入侵手段窃取数据甚至提升权限控制了内部服务器网络。因此，系统可靠的识别风险，并尽早发现和阻止或者在造成损失前及时溯源成为了网络安全领域研究的热点问题。

目前针对渗透入侵的检测主要有三种体系：

1、集中式：这种结构的入侵检测系统可能有分布式的审计和信息收集程序，但只有一个作为核心的检测服务器对收到的访问流量进行整理和分析。这种结构的入侵检测系统灵活性差，无法适应大规模网络环境，在节点较多的网络环境中性能较差；且一旦中心检测进程出现问题，整个网络会陷入瘫痪。

2、等级式：将监控分为若干层级，分别对对应层级的流量监控任务进行分析和整合并交由临近层级进一步处理。但是最终的检测结果仍然由最高层级的服务器汇总和分析处理，从本质上来说和集中式架构是类似的。

3、分布式：以处理任务为单位，分配给多个主机或服务器进行处理，每个主机拥有独立的处理进程和管理调度任务，虽然总体的维护成本较高，且需要提前设定和安排整个体系的协同性和高效性，但具有最强的灵活性。

现有主流入侵检测系统主要基于对异常行为的检测，利用已知规则和异常特征的概率统计模型来判定该流量或者访问是否具有恶意性。但是两种方法单一使用容易出现误报漏报现象，对复杂网络以及新型攻击方式的适应性不强。因此主流是混合型入侵检测模型，基于已有知识库和规则以及概率模型共同判别，这也是本发明申请的出发点。

以分布式为代表的大规模入侵检测系统近年来有诸多学者探索和尝试，专利《基于协同入侵检测的大规模网络安全防御系统》(专利申请号:200410061397.1公开号：CN1668015A)公开了一种基于协同入侵检测的防御系统，该系统设计了并行防火墙子系统、并行IDS子系统、流量检测子系统和关联分析与报警子系统四个核心模块，四个模块分别具有完整的功能，并且彼此独立。它们通过内部提供接口来交换检测信息和传递防御规则，做到协同配合和相互补充。三重粒度的并行协同响应系统能够更为有效的防止大多数入侵行为。

该系统完整的子系统名单为：前端调度子系统、防火墙子系统、流量检测子系统、入侵检测子系统、后端调度子系统、报警聚类和关联子系统以及控制台子系统。前端子系统主要用于与控制台子系统根据防火墙的状态信息进行通讯；防火墙子系统主要针对设定策略对网络数据报进行过滤和控制，定期汇报自身状态并向控制台发送日志信息；流量检测子系统主要采用人工神经网络模型对网络数据进行入侵检测分析，采用了并行技术加速并及时在发现威胁后报警；后端调度子系统用于将防火墙子系统允许通过的网络包分发给各入侵检测子系统，并同时发往受保护的内部网络；报警的聚类和关联子系统采用数据挖掘技术和相似性评估方法，提供报警信息的聚类处理和关联分析功能，据此生成关联规则供防火墙子系统和入侵检测子系统使用；控制台子系统用于对整个系统进行配置与调控；当外部网络访问受保护内部网络时，前端调度子系统将数据包调度给防火墙子系统；防火墙子系统阻断检测到的非法数据包，将其余的数据包发往后端调度子系统以进行进一步的检测。

传统的渗透测试多基于专家设计的知识库或规则系统，对于已知入侵行为检测精度高，误报率低；但对于未知模式的攻击和入侵不具有很好的检测效果。领域专家通常重点关注已知的攻击行为的核心特征并对其进行分析研究，该类检测模型对复杂多变的网络环境不具有良好的检测灵活性，同时需要人为进行模型规则库的同步更新和优化，模型实效性短、升级周期长、费用高昂。

业界亦尝试过部分智能检测技术，大多采用启发式算法或者机器学习算法对访问流量或者软件样本进行采集和模型训练过程，该过程本质是基于高维空间中的统计概率分布，传统统计学在样本数量趋近于无穷大的时候具有最好的理论贴合性，但在实际问题中，渗透流量难以大规模采集和归类，同时入侵手法千变万化，难以用统一的有效的标准标签。

传统的入侵检测系统基于线性流程的模型或算法，对规则或选取特征进行分析。这样会在一定程度上损失特殊渗透入侵流量的标志性入侵特征。维持较高查准率的同时却难以同时兼具较高的查全率。

发明内容

本发明的目的在于提供一种基于RBF神经网络的网络入侵检测系统，针对网络访问流量进行分布式的信息收集整理，以聚类算法为核心提取能够有效区分入侵模式的子类特征和衍生特征，并将特征集合归类添加标签，加入到数据库当中；同时加入结果反馈模块对数据库及时更新和维护，使得模型(网络入侵检测方法)基于无监督学习算法具有了动态更新和自我维护的入侵检测能力。

本发明通过下述技术方案实现：一种基于RBF神经网络的网络入侵检测系统，设置有

数据包采集模块，用于对数据包进行监听和采集，并对拦截到的数据包进行监控、管理和参数配置；

数据预处理模块，抽取数据包中能够区别正常访问流量和恶意入侵流量的字段及特征并规整化形成数据报文，对数据报文按照各层协议逐一进行分离，并将分离处理后的数据报文转换成程序可以识别的格式化字段数据结构；

子特征提取模块，将数据预处理模块输出的格式化字段数据结构作为数据样本进行有效特征提取；

分析判别模块，主要利用RBF神经网络对子特征提取模块所提取的特征进行分析和归类判别；

结果反馈模块，将分析判别模块的判别输出结果进行处理，并分析和评估模型表现，且能够将需要调整的参数信息格式化后送至数据预处理模块和子特征提取模块。

进一步的为更好地实现本发明，特别采用下述设置方式：所述结果反馈模块还将需要校正的参数信息格式化送至子特征提取模块中对其进行参数校正；所述数据包采集模块还具有代理服务的功能。

进一步的为更好地实现本发明，特别采用下述设置方式：所述数据包采集模块在互联网拓扑结构的关键节点处，设置用于监听和采集原始网络连接数据的数据包捕获和分析程序，拦截和处理(监控、管理和参数配置)所有流经关键节点处的数据包，在数据包的采集过程中，网络接口采用混杂模式。

进一步的为更好地实现本发明，特别采用下述设置方式：所述数据预处理模块通过抽取三大组网络连接行为特征来描述一个网络连接行为，所述三大组网络连接行为特征包括“基本特征”、“内容特征”和“流量特征”，且三大组网络连接行为特征共计41维属性特征。

进一步的为更好地实现本发明，特别采用下述设置方式：所述子特征分析模块由LVF算法子模块构成，且LVF算法的具体步骤包括：

Step 1：算法每次迭代时，从数据预处理模块送入数据包的41维属性特征中产生随机子集S；

Step 2：计算随机子集S中的属性数目C是否满足C<Cbest,不满足退回到Step 1，式中Cbest为当前最小值；

Step 3：如果满足C<Cbest，计算随机子集S中数据项是否满足不一致标准，不满足退回到Step 1；

Step 4：判断迭代次数是否满足i<MAX_TRIES，其中MAX_TRIES为最大循环次数，如满足条件，则i＝i+1并返回Step 1,否则，输出结果Cbest。

进一步的为更好地实现本发明，特别采用下述设置方式：所述不一致标准采用InconCheck(S)≤y进行判断，InconCheck(S)用于计算不一致率，y为给定值，且所述不一致率的计算通过下述任一方法实现：

1)两个实例当除类标识外其余属性均匹配时，则认为是不一致的；

2)不考虑类标识，对于某类匹配实例，不一致数等于匹配实例总数减去代表某类标识数目最大的实例数目；

3)不一致率等于不一致数之和除以实例总数。

进一步的为更好地实现本发明，特别采用下述设置方式：所述RBF神经网络包括由感知单元所组成且能够将网络与外界环境连结起来的输入层、从输入空间到隐藏空间之间进行非线性变换的隐含层、作用于输入层的激活模式提供响应并对线性权进行调整的输出层。

进一步的为更好地实现本发明，特别采用下述设置方式：所述RBF神经网络在进行训练时，从0个神经元开始训练，通过检查输入误差使RBF神经网络自动增加神经元，每次循环使用，使RBF神经网络产生的最大误差所对应的输入向量作为权值向量w1i，产生一个新的隐含层神经元，然后检查新的RBF神经网络的误差，重复此过程直到达到误差要求或最大隐含层神经元数为止。

进一步的为更好地实现本发明，特别采用下述设置方式：所述RBF神经网络对子特征提取模块所提取的特征进行分析和归类判别具体为：对子特征提取模块送入的样本向量集合进行正向计算和反向传播，得到逐渐稳定的网络结构和权重分布，RBF神经网络输出为对应入侵种类标记的分类结果，分类结果具有两条反馈路径对模型予以调整，其中，第一条反馈路径是分类错误导致的损失函数对整个RBF神经网络反向传播，反馈至每一个神经元节点的权重值，使得模型通过梯度下降法调整权重以获得更小的损失函数；另一条反馈路径是模型分类的结果送入结果反馈模块，由后面的结果反馈模块进一步对数据预处理模块和子特征提取模块输送反馈信息，在预处理和特征提取阶段调整得到的样本向量，使得当下的训练过程和预测的攻击类型对应的网络包关键特征拥有足够高的信息相关性。

进一步的为更好地实现本发明，特别采用下述设置方式：所述结果反馈模块分析和评估模型表现时，收到来自分类的评估结果，如果该轮评估结果较上一轮差，则采取如下措施：

①记录该轮对应特征字段信息，存至“灰名单”，“灰名单”记录了较差分类结果对应的特征字段，则初步认为这些字段对该轮入侵模式的判别具有较小意义和参考价值；

②统计“灰名单”字段记录，出现频次高于设定阈值的特征字段进入“黑名单”；“黑名单”记录了对入侵检测几乎没有作用的字段；

③将“灰名单”结果按照频次由高到低的顺序设置抽取概率，频次越高抽取概率理应越低，在下一轮迭代中每一个特征的抽取概率作为该特征被选中的可能性大小；黑名单对应字段抽取概率设置为0；

④将每个字段的抽取概率信息输送到数据预处理模块和子特征提取模块，数据预处理模块和子特征提取模块根据反馈结果及时更新选择概率，同时取消对应字段的入侵方式标记；

反之，如果该轮评估结果较上一轮好，则采取如下措施：

记录该轮对应特征字段信息，存至“白名单”，“白名单”记录了较好分类结果对应的特征字段，可以初步认为这些字段对该轮入侵模式的判别具有较大意义和参考价值；

统计“白名单”字段记录，出现频次高于设定阈值的特征字段设置高抽取概率；

将每个字段的抽取概率信息输送到数据预处理模块和子特征提取模块，数据预处理模块和子特征提取模块根据反馈结果及时更新选择概率，同时根据“白名单”结果对应字段的入侵方式标记。

本发明与现有技术相比，具有以下优点及有益效果：

(1)本发明对渗透测试过程中的访问流量基于LVF算法和RBF神经网络算法的特征分析算法进行自动分析和降维工作，在多种标准下评估访问流量作为样本点的分布，对离群点样本进行不同严格程度的聚类分析和判别。该模型(网络入侵检测方法)基于恶意访问流量的共同特征和衍生特征，因此具有自动动态更新其内在规则的能力。

(2)本发明采用优化算法对流量特征维度进行压缩，以RBF神经网络为分析核心，对网络流量样本进行分析归类，RBF神经网络算法是稳定的机器学习算法，对于入侵检测问题具有良好的适用性。

(3)本发明采用反馈式的结构，把从输出模块(分析判别模块)得到的数据结果信息综合整理，分别调整想要的衍生特征反馈至之前的模块，使得模型(网络入侵检测方法)具有动态调整样本特征选择范围的结构。

(4)本发明结合了LVF算法对数据包中的冗余字段和特征进行了过滤，避免了后续RBF神经网络分析计算过程中造成的维度爆炸风险；在降低计算量需求的同时，满足了相对实时性的要求。

(5)本发明RBF神经网络适用于入侵检测问题，能够对LVF算法提取的特征进行有效的二次加工和信息提取；由于RBF神经网络只有单层隐含层，较其他主流机器学习算法对于计算量的要求较低，该模块往往成为阻碍实时性要求的主要瓶颈，采用RBF神经网络能够较好的满足该要求。

(6)本发明所述反馈模块能够及时针对分类效果对前置模块反馈积极或者消极信号，以使得预处理阶段和子特征提取阶段能够更加高效的提取有效基于统计和结果的特征信息；模型(网络入侵检测方法)因此具有动态变化和自适应的特性。

附图说明

图1为本发明的结构示意图。

图2为本发明所述数据预处理模块结构图。

图3为RBF神经网络的结构图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

实施例1：

本发明设计出一种基于RBF神经网络的网络入侵检测系统，针对网络访问流量进行分布式的信息收集整理，以聚类算法为核心提取能够有效区分入侵模式的子类特征和衍生特征，并将特征集合归类添加标签，加入到数据库当中；同时加入结果反馈模块对数据库及时更新和维护，使得模型(网络入侵检测方法)基于无监督学习算法具有了动态更新和自我维护的入侵检测能力，如图1所示，特别采用下述设置方式：设置有

数据包采集模块，用于对数据包进行监听和采集，并对拦截到的数据包进行监控、管理和参数配置；

数据预处理模块，抽取数据包中能够区别正常访问流量和恶意入侵流量的字段及特征并规整化形成数据报文，对数据报文按照各层协议逐一进行分离，并将分离处理后的数据报文转换成程序可以识别的格式化字段数据结构；

子特征提取模块，将数据预处理模块输出的格式化字段数据结构作为数据样本进行有效特征提取；

分析判别模块，主要利用RBF神经网络对子特征提取模块所提取的特征进行分析和归类判别；

结果反馈模块，将分析判别模块的判别输出结果进行处理，并分析和评估模型表现，且能够将需要调整的参数信息格式化后送至数据预处理模块和子特征提取模块。

实施例2：

本实施例是在上述实施例的基础上进一步优化，如图1所示，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：所述结果反馈模块还将需要校正的参数信息格式化送至子特征提取模块中对其进行参数校正；所述数据包采集模块还具有代理服务的功能。

实施例3：

本实施例是在上述任一实施例的基础上进一步优化，如图1所示，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：所述数据包采集模块在互联网拓扑结构的关键节点处，设置用于监听和采集原始网络连接数据的数据包捕获和分析程序，拦截和处理(监控、管理和参数配置)所有流经关键节点处的数据包，在数据包的采集过程中，网络接口采用混杂模式。

实施例4：

本实施例是在上述任一实施例的基础上进一步优化，如图1、图2所示，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：所述数据预处理模块通过抽取三大组网络连接行为特征来描述一个网络连接行为，所述三大组网络连接行为特征包括“基本特征”、“内容特征”和“流量特征”，且三大组网络连接行为特征共计41维属性特征。

实施例5：

本实施例是在上述任一实施例的基础上进一步优化，如图1所示，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：所述子特征分析模块由LVF算法子模块构成，且LVF算法的具体步骤包括：

Step 1：算法每次迭代时，从数据预处理模块送入数据包的41维属性特征中产生随机子集S；

Step 2：计算随机子集S中的属性数目C是否满足C<Cbest,不满足退回到Step 1，式中Cbest为当前最小值；

Step 3：如果满足C<Cbest，计算随机子集S中数据项是否满足不一致标准，不满足退回到Step 1；

Step 4：判断迭代次数是否满足i<MAX_TRIES，其中MAX_TRIES为最大循环次数，如满足条件，则i＝i+1并返回Step 1,否则，输出结果Cbest。

实施例6：

本实施例是在上述任一实施例的基础上进一步优化，如图1所示，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：所述不一致标准采用InconCheck(S)≤y进行判断，InconCheck(S)用于计算不一致率，y为给定值，且所述不一致率的计算通过下述任一方法实现：

1)两个实例当除类标识外其余属性均匹配时，则认为是不一致的；

2)不考虑类标识，对于某类匹配实例，不一致数等于匹配实例总数减去代表某类标识数目最大的实例数目；

3)不一致率等于不一致数之和除以实例总数。

实施例7：

本实施例是在上述任一实施例的基础上进一步优化，如图1、图3所示，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：所述RBF神经网络包括由感知单元所组成且能够将网络与外界环境连结起来的输入层、从输入空间到隐藏空间之间进行非线性变换的隐含层、作用于输入层的激活模式提供响应并对线性权进行调整的输出层。

实施例8：

本实施例是在上述任一实施例的基础上进一步优化，如图1、图3所示，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：所述RBF神经网络在进行网络训练时，从0个神经元开始训练，通过检查输入误差使RBF神经网络自动增加神经元，每次循环使用，使RBF神经网络产生的最大误差所对应的输入向量作为权值向量w1i，产生一个新的隐含层神经元，然后检查新的RBF神经网络的误差，重复此过程直到达到误差要求或最大隐含层神经元数为止。

实施例9：

本实施例是在上述任一实施例的基础上进一步优化，如图1、图3所示，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：所述RBF神经网络对子特征提取模块所提取的特征进行分析和归类判别具体为：对子特征提取模块送入的样本向量集合进行正向计算和反向传播，得到逐渐稳定的网络结构和权重分布，RBF神经网络输出为对应入侵种类标记的分类结果，分类结果具有两条反馈路径对模型予以调整，其中，第一条反馈路径是分类错误导致的损失函数对整个RBF神经网络反向传播，反馈至每一个神经元节点的权重值，使得模型通过梯度下降法调整权重以获得更小的损失函数；另一条反馈路径是模型分类的结果送入结果反馈模块，由后面的结果反馈模块进一步对数据预处理模块和子特征提取模块输送反馈信息，在预处理和特征提取阶段调整得到的样本向量，使得当下的训练过程和预测的攻击类型对应的网络包关键特征拥有足够高的信息相关性。

实施例10：

本实施例是在上述任一实施例的基础上进一步优化，如图1、图2、图3所示，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：所述结果反馈模块分析和评估模型表现时，收到来自分类的评估结果，如果该轮评估结果较上一轮差，则采取如下措施：

①记录该轮对应特征字段信息，存至“灰名单”，“灰名单”记录了较差分类结果对应的特征字段，则初步认为这些字段对该轮入侵模式的判别具有较小意义和参考价值；

②统计“灰名单”字段记录，出现频次高于设定阈值的特征字段进入“黑名单”；“黑名单”记录了对入侵检测几乎没有作用的字段；

③将“灰名单”结果按照频次由高到低的顺序设置抽取概率，频次越高抽取概率理应越低，在下一轮迭代中每一个特征的抽取概率作为该特征被选中的可能性大小；黑名单对应字段抽取概率设置为0；

④将每个字段的抽取概率信息输送到数据预处理模块和子特征提取模块，数据预处理模块和子特征提取模块根据反馈结果及时更新选择概率，同时取消对应字段的入侵方式标记；

反之，如果该轮评估结果较上一轮好，则采取如下措施：

记录该轮对应特征字段信息，存至“白名单”，“白名单”记录了较好分类结果对应的特征字段，可以初步认为这些字段对该轮入侵模式的判别具有较大意义和参考价值；

统计“白名单”字段记录，出现频次高于设定阈值的特征字段设置高抽取概率；

将每个字段的抽取概率信息输送到数据预处理模块和子特征提取模块，数据预处理模块和子特征提取模块根据反馈结果及时更新选择概率，同时根据“白名单”结果对应字段的入侵方式标记。

实施例11：

本实施例是在上述任一实施例的基础上进一步优化，如图1、图2、图3所示，针对网络安全问题中的入侵流量检测问题，提出了一种基于特征选择和自动聚类分析的入侵检测方法(一种基于RBF神经网络的网络入侵检测系统)。该方法由数据包采集模块、数据预处理模块、子特征提取模块、分析判别模块和结果反馈模块构成；各个模块具有完整的功能，相对独立但又彼此通信协作；各个模块之间具有尽可能低的耦合性，以保证模型(网络入侵检测方法)在进一步调整和优化的时候具有良好的延展性。

其中各模块的主要功能如下。

数据包采集模块负责数据包的监听和采集，同时兼具代理服务的功能，能够对拦截到的数据包进行监控、管理和参数配置等工作。

数据预处理模块抽取数据包中能够区别正常访问流量和恶意入侵流量的字段及特征并规整化，该模块将采集的数据报文按照各层协议逐一进行分离，将数据报文转换成程序可以识别的数据结构。

子特征提取模块主要由LVF算法构成；该模块主要负责对数据预处理模块输出的格式化字段作为数据样本进行有效特征提取，供下一模块对有效特征进一步分析挖掘使用；同时，由结果反馈模块返回的结果会对该模块的若干参数进行调整和矫正，使得模型(网络入侵检测方法)整体达到了自动化动态调整的效果。

分析判别模块主要负责利用RBF神经网络对提取的特征进行分析和归类判别，与常用的其他神经网络算法相比，RBF神经网络具有最佳逼近的特性，同时可以用低阶局部逼近的策略平衡训练集与预测集之间的效果以防止过拟合现象。同时，该模块的判别输出结果送入结果反馈模块中处理，由结果反馈模块分析和评估模型(网络入侵检测方法)表现并将需要调整的参数信息格式化送至数据预处理模块和子特征提取模块。

具体实施时：

首先由数据包采集模块在互联网拓扑结构的关键节点处，设置简单的数据包捕获和分析程序，例如wireshark或者fiddler等，收集到大量的原始网络连接数据。其中，Wireshark能够拦截和处理所有流经网卡(关键节点处)的数据包，fiddler则是作为代理拦截经过了上层的数据包。在数据包的采集过程中，需要将网络接口调为混杂模式，然后将截取取的数据包传递给数据预处理模块。

数据预处理模块可以采用Wenke Lee和Salvatore J.Stolfo提出的数据挖掘方法进行分析，抽取三大组网络连接行为特征来描述一个网络连接行为。于是，一个网络连接行为可以用一个特征向量来描述，称为样本。具体的，第一组称为“基本特征”，主要抽取数据包的网络连接状态信息，例如连接的持续时间、协议类型、从源地址到目的地址的数据量等。第二组称为“内容特征”，如尝试登陆的失败次数，创建文件操作的次数等。第三组称为“流量特征”，如两秒钟内连接到统一源地址的网络连接数目、两秒钟内请求统一服务的网络连接数、连接到不同主机的连接数比例等。这三大组共41维属性特征大部分是连续特征，小部分是离散特征。每一个维度设置相应的标记来标识该字段的异常对应哪种可能的入侵，方法(网络入侵检测方法)初始化时标记字段皆设置为null。后续更新由结果反馈模块送入的结果解析得到相应的标记信息，并由数据预处理模块加以取舍，根据字段标记情况，送入子特征提取模块不同的子模块。数据预处理模块主要结构如图2所示。

子特征提取模块由LVF算法子模块构成，LVF算法是以Las Vegas算法为基础的过滤特征子集选择算法。采用随机选择方式产生初始特征子集，以不一致标准作为评价函数得出特征子集。LVF算法在本模块的实现步骤如下：

Step 1：算法每次迭代时，从数据预处理模块送入数据包的41个(维)属性特征中产生随机子集S；

Step 2：计算S中的属性数目C是否满足C<Cbest,不满足退回到Step 1，式中Cbest为当前最小值。

Step 3：如果满足Step 2(即计算S中的属性数目C时，满足C<Cbest)，计算S中数据项是否满足不一致标准，即InconCheck(S)≤y，不满足退回到Step 1，其中InconCheck(S)用于计算不一致率(inconsistency rate)，y为给定值；

Step 4：判断迭代次数是否满足i<MAX_TRIES，其中MAX_TRIES为最大循环次数，如满足条件，i＝i+1并返回Step 1,否则，输出结果Cbest。

不一致率的计算通过以下完成：

1.两个实例(如item1和item2)当除类标识外其余属性均匹配时，则认为是不一致的。

2.不考虑类标识，对于某类匹配实例，不一致数(inconsistency count)等于匹配实例总数减去代表某类标识数目最大的实例数目。例如存在m个匹配实例，其中类标识为c1的实例个数为n1，类标识为c2的实例个数为n2，类标识为c3的实例个数为n3，n1+n2+n3＝n，如果n3>n2,n1,则不一致数等于n-n3。

3.不一致率等于不一致数之和除以实例总数。

在具体实施时，抽取剩余维度中的m个维度是利用LVF算法实现的。子特征提取模块一共在每轮抽取n+m个维度向量作为输出的特征向量，n由入侵标记的数量N决定，m由标记维度数量决定。而抽取哪m维对于建模具有更好的解释性和鲁棒性，就需要LVF算法进行迭代收敛的过程。具体的，在每轮迭代过程中，子特征提取模块首先读取入侵方式标记字段，如字段全部为null，说明模型(网络入侵检测方法)刚刚初始化，则随机抽取部分维度作为当前迭代样本的有效属性。否则，统计入侵方式标记字段类型的数量N。对这N种入侵标记分别抽取相应的向量维度n个加上随机抽取剩余维度中的m个(m由标记维度数量动态决定)。将这n+m个维度的向量作为提取的特征样本作为当前模块的输出，送入分析判别模块进行分析和归类。同时，结果反馈模块会实时送入当前迭代的反馈信息，对于较差的训练结果，结果反馈模块要求抛弃当前更新的特征子集，擦除当前入侵方式对应特征属性的标记，较之前更好的训练结果模型会加强当前特征子集的权重，添加当前入侵方式对应特征属性的标记。

分析判别模块由RBF神经网络构成。RBF神经网络具有最佳逼近的特性。以下优点使得RBF神经网络更适用于入侵检测方法：

(1)RBF神经网络可以用单隐含层结构来逼近任何非线性函数，使得网络的层数容易确定。

(2)RBF神经网络输出层的简单线性变换可以用传统的线性建模技术来实现，速度快而且不会出现局部最小的问题。

(3)RBF神经网络的隐含层节点参数可以由训练数据或者结果的需要来确定，所以可以减少程序设计时的不确定性。

RBF神经网络的构成包括三层，其中每一层都有着完全不同的作用。输入层由一些源点(感知单元)组成，它们将网络与外界环境连结起来。第二层是网络中仅有的一个隐含层，它的作用是从输入空间到隐藏空间之间进行非线性变换；在大多数情况下隐藏空间有较高的维数。输出层是线性的，它为作用于输入层的激活模式(信号)提供响应。输出层是对线性权进行调整，采用的是线性优化策略，因而学习速度较快。RBF神经网络的性能主要取决于隐含层函数的中心和宽度。

RBF神经网络的具体结构如图3所示，由于RBF神经网络在应用时，隐含层单元需要特别注意区分线性映射和非线性映射的关系，用RBF神经网络作为隐含层单元的“基”构成隐含层空间，隐含层对输入矢量进行变换，将低维的模式输入数据变换到高维空间内，使得在低维空间内的线性不可分问题在高维空间内线性可分。详细一点就是用RBF神经网络的隐含层单元的“基”构成隐含层空间，这样就可以将输入矢量直接(不通过权连接)映射到隐空间。当RBF神经网络的中心点确定以后，这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的，即RBF神经网络输出是因单元输出的线性加权和，此处的权即为RBF神经网络可调参数。RBF神经网络学习算法训练过程中需要确定三个参数：基函数的中心，方差(宽度)以及隐含层到输出层的权值。

RBF神经网络的训练过程一般分为两个部分：第一步为无教师学习，确定训练输入层与隐含层间的权值w1，第二步为以有教师学习方式即监督学习方式确定隐含层与输出层间的连接权w，在训练以前需要提供输入矢量p，对应的目标矢量T与径向基函数的扩展常数C。各项参数固定以后，以输出偏差平方和最小为目标进行优化，输出元为线性的，故可采用最小二乘法回归，这样隐含层节点和输出节点之间的权值就可以被计算出来。在RBF神经网络训练中，隐含层神经元数量的确定是一个关键问题，传统的做法是使其与输入向量的元素相等。显然，在输入矢量很多时，过多的隐含层单元数是难以让人接受的。本发明使用一个改进方法，基本原理是从0个神经元开始训练，通过检查输入误差使网络自动增加神经元。每次循环使用，使网络产生的最大误差所对应的输入向量作为权值向量w1i，产生一个新的隐含层神经元，然后检查新网络的误差，重复此过程直到达到误差要求或最大隐含层神经元数为止。

搭建好RBF神经网络模块(分析判别模块)后，对子特征提取模块送入的样本向量集合进行正向计算和反向传播，得到逐渐稳定的网络结构和权重分布，RBF神经网络输出为对应入侵种类标记的分类结果，分类结果具有两条反馈路径对模型予以调整。第一条反馈路径是分类错误导致的损失函数对整个神经网络反向传播，反馈至每一个神经元节点的权重值，使得模型(网络入侵检测方法)通过梯度下降法调整权重以获得更小的损失函数，即使得模型(网络入侵检测方法)预测效果更强。另一条反馈路径是模型分类的结果送入结果反馈模块，由后面的结果反馈模块进一步对数据预处理模块和子特征提取模块输送反馈信息，在预处理和特征提取阶段调整得到的样本向量，使得当下的训练过程和预测的攻击类型对应的网络包关键特征拥有足够高的信息相关性。

结果反馈模块收到来自分类的评估结果，如果该轮评估结果较上一轮差，则采取如下措施：

1.记录该轮对应特征字段信息，存至“灰名单”，“灰名单”记录了较差分类结果对应的特征字段，可以初步认为这些字段对该轮入侵模式的判别具有较小意义和参考价值。

2.统计“灰名单”字段记录，出现频次高于设定阈值的特征字段进入“黑名单”；“黑名单”记录了对入侵检测几乎没有作用的字段。

3.将“灰名单”结果按照频次由高到低的顺序设置抽取概率，频次越高抽取概率理应越低，在下一轮迭代中每一个特征的抽取概率作为该特征被选中的可能性大小；黑名单对应字段抽取概率设置为0。

4.将每个字段的抽取概率信息输送到数据预处理模块和子特征提取模块，数据预处理模块和子特征提取模块根据反馈结果及时更新选择概率，同时取消对应字段的入侵方式标记。

反之，如果该轮评估结果较上一轮好，则采取如下措施：

1.记录该轮对应特征字段信息，存至“白名单”，“白名单”记录了较好分类结果对应的特征字段，可以初步认为这些字段对该轮入侵模式的判别具有较大意义和参考价值。

2.统计“白名单”字段记录，出现频次高于设定阈值的特征字段设置高抽取概率。

3.将每个字段的抽取概率信息输送到数据预处理和子特征选择模块，数据预处理和子特征模块根据反馈结果及时更新选择概率；同时根据“白名单”结果对应字段的入侵方式标记。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (10)

1.一种基于RBF神经网络的网络入侵检测系统，其特征在于：设置有

数据包采集模块，用于对数据包进行监听和采集，并对拦截到的数据包进行监控、管理和参数配置；

数据预处理模块，抽取数据包中能够区别正常访问流量和恶意入侵流量的字段及特征并规整化形成数据报文，对数据报文按照各层协议逐一进行分离，并将分离处理后的数据报文转换成程序可以识别的格式化字段数据结构；

子特征提取模块，将数据预处理模块输出的格式化字段数据结构作为数据样本进行有效特征提取；

分析判别模块，主要利用RBF神经网络对子特征提取模块所提取的特征进行分析和归类判别；

结果反馈模块，将分析判别模块的判别输出结果进行处理，并分析和评估模型表现，且能够将需要调整的参数信息格式化后送至数据预处理模块和子特征提取模块。

2.根据权利要求1所述的一种基于RBF神经网络的网络入侵检测系统，其特征在于：所述结果反馈模块还将需要校正的参数信息格式化送至子特征提取模块中对其进行参数校正；所述数据包采集模块还具有代理服务的功能。

3.根据权利要求1所述的一种基于RBF神经网络的网络入侵检测系统，其特征在于：所述数据包采集模块在互联网拓扑结构的关键节点处，设置用于监听和采集原始网络连接数据的数据包捕获和分析程序，拦截和处理所有流经关键节点处的数据包，在数据包的采集过程中，网络接口采用混杂模式。

4.根据权利要求1所述的一种基于RBF神经网络的网络入侵检测系统，其特征在于：所述数据预处理模块通过抽取三大组网络连接行为特征来描述一个网络连接行为，所述三大组网络连接行为特征包括“基本特征”、“内容特征”和“流量特征”，且三大组网络连接行为特征共计41维属性特征。

5.根据权利要求1所述的一种基于RBF神经网络的网络入侵检测系统，其特征在于：所述子特征分析模块由LVF算法子模块构成，且LVF算法的具体步骤包括：

Step1：算法每次迭代时，从数据预处理模块送入数据包的41维属性特征中产生随机子集S；

Step2：计算随机子集S中的属性数目C是否满足C<Cbest,不满足退回到Step1，式中Cbest为当前最小值；

Step3：如果满足C<Cbest，计算随机子集S中数据项是否满足不一致标准，不满足退回到Step1；

Step4：判断迭代次数是否满足i<MAX_TRIES，其中MAX_TRIES为最大循环次数，如满足条件，则i＝i+1并返回Step1,否则，输出结果Cbest。

6.根据权利要求5所述的一种基于RBF神经网络的网络入侵检测系统，其特征在于：所述不一致标准采用InconCheck(S)≤y进行判断，InconCheck(S)用于计算不一致率，y为给定值，且所述不一致率的计算通过下述任一方法实现：

1)两个实例当除类标识外其余属性均匹配时，则认为是不一致的；

2)不考虑类标识，对于某类匹配实例，不一致数等于匹配实例总数减去代表某类标识数目最大的实例数目；

3)不一致率等于不一致数之和除以实例总数。

7.根据权利要求1所述的一种基于RBF神经网络的网络入侵检测系统，其特征在于：所述RBF神经网络包括由感知单元所组成且能够将网络与外界环境连结起来的输入层、从输入空间到隐藏空间之间进行非线性变换的隐含层、作用于输入层的激活模式提供响应并对线性权进行调整的输出层。

8.根据权利要求1～7任一项所述的一种基于RBF神经网络的网络入侵检测系统，其特征在于：所述RBF神经网络在进行网络训练时，从0个神经元开始训练，通过检查输入误差使RBF神经网络自动增加神经元，每次循环使用，使RBF神经网络产生的最大误差所对应的输入向量作为权值向量w1i，产生一个新的隐含层神经元，然后检查新的RBF神经网络的误差，重复此过程直到达到误差要求或最大隐含层神经元数为止。

9.根据权利要求1～7任一项所述的一种基于RBF神经网络的网络入侵检测系统，其特征在于：所述RBF神经网络对子特征提取模块所提取的特征进行分析和归类判别具体为：对子特征提取模块送入的样本向量集合进行正向计算和反向传播，得到逐渐稳定的网络结构和权重分布，RBF神经网络输出为对应入侵种类标记的分类结果，分类结果具有两条反馈路径对模型予以调整，其中，第一条反馈路径是分类错误导致的损失函数对整个RBF神经网络反向传播，反馈至每一个神经元节点的权重值，使得模型通过梯度下降法调整权重以获得更小的损失函数；另一条反馈路径是模型分类的结果送入结果反馈模块，由后面的结果反馈模块进一步对数据预处理模块和子特征提取模块输送反馈信息，在预处理和特征提取阶段调整得到的样本向量，使得当下的训练过程和预测的攻击类型对应的网络包关键特征拥有足够高的信息相关性。

10.根据权利要求1～8任一项所述的一种基于RBF神经网络的网络入侵检测系统，其特征在于：所述结果反馈模块分析和评估模型表现时，收到来自分类的评估结果，如果该轮评估结果较上一轮差，则采取如下措施：

①记录该轮对应特征字段信息，存至“灰名单”；

②统计“灰名单”字段记录，出现频次高于设定阈值的特征字段进入“黑名单”；

③将“灰名单”结果按照频次由高到低的顺序设置抽取概率；

④将每个字段的抽取概率信息输送到数据预处理模块和子特征提取模块，数据预处理模块和子特征提取模块根据反馈结果及时更新选择概率，同时取消对应字段的入侵方式标记；

反之，如果该轮评估结果较上一轮好，则采取如下措施：

记录该轮对应特征字段信息，存至“白名单”；

统计“白名单”字段记录，出现频次高于设定阈值的特征字段设置高抽取概率；

将每个字段的抽取概率信息输送到数据预处理模块和子特征提取模块，数据预处理模块和子特征提取模块根据反馈结果及时更新选择概率，同时根据“白名单”结果对应字段的入侵方式标记。

Images