CN104348827A - 基于特征的三阶段神经网络入侵检测方法和系统 - Google Patents

Abstract

本发明涉及基于特征的三阶段神经网络入侵检测方法和系统。提供了一种用于检测网络入侵的系统和方法。该系统包括用于确定对应于输入数据的多个矢量的第一多个权重值的第一神经网络（104）。该系统也包括用于基于输入数据的多个矢量将从第一神经网络（104）接收的第一多个权重值更新到第二多个权重值的第二神经网络（106）。该系统也具有用于基于输入数据的多个矢量将从第二神经网络（106）接收的第二多个权重值更新到第三多个权重值的第三神经网络（108）。公开的系统还包括用于基于从第三神经网络（108）接收的第三多个权重值在多个入侵中的至少一个下分类多个矢量的分类模块（110）。

Description

基于特征的三阶段神经网络入侵检测方法和系统

技术领域

本发明涉及一种用于入侵检测的方法和系统，并且更特别地涉及一种用于基于特征的三阶段神经网络入侵检测的方法和系统。

背景技术

在现在的世界中，大部分组织具有用于组织内通信的局域网（LAN）。组织的服务器与这些LAN连接，并且通过这些网络传送所有组织相关的数据。为与卖方、消费者和其他组织通信，这些LAN连接到诸如因特网的广域网（WAN）。与WAN的这样的连接使得LAN易受入侵的攻击。入侵对组织内部数据造成严重的安全风险。由入侵引起的损害是系统文件、用户文件或涉及组织的任何其他信息的未经授权的修改。入侵可以使公司付出巨大量的金钱和时间。因此，在它们引起对网络的任何损害之前来检测和防止入侵变得非常重要。

在本领域的当前状态中存在已知的各种入侵检测方法和系统。按照定义，入侵检测是检测、防止在网络上运行的系统上的入侵和可能地对在网络上运行的系统上的入侵起反应的任务。在本领域的当前状态中已知的大部分入侵检测技术基于误用检测。误用检测是通过将当前的活动针对照入侵者的预期的动作进行比较来尝试标识入侵的实例的过程。主要使用某些形式的模式匹配来完成误用检测。针对误用入侵检测的最大的挑战之一是能够从先前观察的行为，即正常的或恶意的行为进行归纳以识别类似种类的未来的行为。异常检测是该挑战的答案。

基于异常的入侵检测系统观察在网络上显著地偏离建立的正常使用简档的活动作为可能是入侵的异常。在异常检测中，对网络的正常行为建模，并且如果网络的任何行为与建模的正常活动不匹配则提出警报。例如，在网络上的用户的简档可以包含在他或她的记录会话期间的某些系统命令的平均的频率。如果那些系统命令的频率在被监视的用户的记录会话期间显著地变化，则将提出异常警报。

异常检测是用于检测未知入侵的有效的技术，因为其不需要关于入侵的任何知识。但是该检测技术的主要缺点是高的假警报率。高的假警报率是因为不论在网络中发生的事件的类型，即正常或异常，如果检测的事件的频率不同于与被监视的用户的简档相关联的平均频率，则将提出警报。针对高的假警报率的具体原因是由软件错误、被破坏的数据包等等生成的坏的包。由于高的假警报率，真的入侵通常被错失或忽视。

按照上述的讨论，显然存在针对在各种网络上入侵检测的改进的方法和系统的需要。

因此，本发明的目的是提供具有较少的假警报率的针对网络的有效的入侵检测方法和系统。

发明内容

通过提供根据权利要求1的用于检测网络入侵的方法和根据权利要求14的用于检测网络入侵的系统来实现该目的。本发明的进一步的实施例在从属权利要求中阐述。

在本发明的第一方面中，公开了一种用于通过使用多个神经网络来检测网络入侵的方法。根据所述方法，数据集最初被接收为输入，并且然后在多个神经网络中的第一神经网络处确定对应于输入数据的多个矢量的第一多个权重值。然后第一多个权重值被多个神经网络中的第二神经网络接收并更新到第二多个权重值。然后，第二多个权重值在多个神经网络的第三神经网络处被更新到第三多个权重值。在所述方法的最后步骤处，基于第三多个权重值在多个入侵中的至少一个下分类多个矢量。

根据本发明的第一方面，多个神经网络被训练来通过使用训练数据检测网络入侵。

根据本发明的第一方面，使用训练数据形成第一神经网络的分类映射。

根据本发明的第一方面，在第一神经网络的分类映射上映射多个矢量。

根据本发明的第一方面，第一多个权重值与第一神经网络的分类映射相关联。

根据本发明的第一方面，基于训练数据定义多个入侵。

根据本发明的第一方面，在将第一多个权重值更新到第二多个权重值之前在第二神经网络处根据第一多个权重值和多个矢量确定第二多个权重值。

根据本发明的第一方面，在将第二多个权重值更新到第三多个权重值之前在第三神经网络处根据第二多个权重值和多个矢量确定第三多个权重值。

在本发明的第二方面中，公开了一种用于根据数据集的多个特征标识入侵检测特征的方法。根据所述方法，最初确定数据集的多个特征中的特征的一个或多个值。然后，基于特征的一个或多个值将数据集分成一个或多个数据子集。在下一方法步骤处，根据一个或多个值和针对一个或多个数据子集的特征的预定义的类确定特征的熵。特征的熵被用于在下一方法步骤处确定针对特征的信息增益。然后在公开的方法的最后步骤处，将特征的信息增益与信息增益的预定义的值比较。

根据本发明的第二方面，针对多个特征中的特征确定预定义的类。

在本发明的第三方面中，公开了通过使用多个神经网络的网络入侵检测系统。所述系统包括用于确定对应于输入数据的多个矢量的第一多个权重值的第一神经网络。所述系统还包括用于基于输入数据的多个矢量将从第一神经网络接收的第一多个权重值更新到第二多个权重值的第二神经网络。在本发明中公开的系统也具有用于基于输入数据的多个矢量将从第二神经网络接收的第二多个权重值更新到第三多个权重值的第三神经网络。公开的系统的最后的操作块是用于基于从第三神经网络接收的第三多个权重值将多个矢量分类到多个入侵中的至少一个下的分类模块。

根据本发明的第三方面，所述系统还包括用于根据输入数据的多个特征标识至少一个入侵检测特征的特征检测器。

附图说明

在下文中参考在附图中示出的图示的实施例进一步地描述本发明，其中。

图1 图示了根据本发明的实施例的基于特征的三阶段神经网络入侵检测系统的框图，以及

图2 图示了用于根据本发明的实施例的三阶段神经网络入侵检测方法的流程图。

参考图描述了各种实施例，其中通篇使用类似的参考标号来表示类似的元素。在下文的描述中，出于解释的目的，记载了许多具体细节以便提供对一个或多个实施例的彻底的理解。明显可以在没有这些具体细节的情况下实现这样的实施例。

具体实施方式

图1图示了根据本发明的实施例的基于特征的三阶段神经网络入侵检测系统100的框图。

如在图1中示出的那样，网络入侵检测系统100包括特征检测器102、自组织特征映射（SOFM）神经网络104、多层前馈（MLFF）神经网络106、Elman后向传播（ELBP）神经网络108和分类模块110。特征检测器102接收输入数据。输入数据包含所有数据特征以及与每个数据特征相关联的类。数据特征的类可以是连续的、离散的或者符号的（symbolic）。特征检测器102从可用的数据特征检测用于入侵检测的相关的特征。

特征检测器102逐一检查所有数据特征以标识与入侵检测相关的特征。在用于从数据特征检查特征的针对入侵检测的相关性的过程期间，特征检测器102在针对输入数据的所有值的检查之下确定特征的所有值。例如，假设特征F是针对数据S的特征，并且需要针对与入侵检测的相关性检查特征F。特征检测器102标识针对输入数据S的每个值的F的值。由特征检测器102标识的F的值是{f1,f2,f3,...,fv}。基于F的标识的值，即{f1,f2,f3,...,fv}，输入数据集S被分成比如{S1,S2,S3,...,Sv}的子集，其中Sj是特征F的值是fj的输入数据S的子集。同样使Sj包含类i的sij样本。特征检测器102通过使用以下公式计算特征F的熵E：

基于特征的熵E，信息增益针对给定特征测量与入侵检测的相关性。针对特征F的上文提及的示例，如下这样根据特征F的熵E计算信息增益G：

针对输入数据的每个特征的信息增益G的值被计算，并且与信息增益的预定义的值比较。在优选实施例中，信息增益的预定义的值是1。针对上文提及的示例，如果G(F)近似等于1，即等于信息增益的预定义的值，则特征F针对入侵检测是相关的。换言之，如果熵E(F)的值近似等于0，即特征熵E的预定义的值，则特征F将被认为针对入侵检测是相关的。

出于模拟的目的，KDD 99数据集被用作用于特征检测器102的输入数据。KDD 99数据集是基于DARPA倡导（DARPA initiative）的入侵检测数据集，其向入侵检测系统（IDS）设计者提供基准来评估入侵检测的不同方法。KDD 99数据集被用作输入数据来评估在本发明中描述的入侵检测方法。KDD 99数据集具有41个特征。特征检测器102标识出自KDD 99数据集的可用的41个特征的与入侵检测相关的30个特征。特征检测器102通过使用上文记载的方法标识30个相关的特征。

在图1中示出的三个神经网络，即SOFM神经网络104、MLFF神经网络106和ELBP神经网络108串行连接。三个神经网络104、106和108是受过训练的神经网络。使用KDD 99数据集训练三个神经网络104、106和108。第一神经网络104，即SOFM神经网络104，从特征检测器102接收输入数据。SOFM神经网络104不接收输入数据的所有特征，而是仅接收已被特征检测器102标识为与入侵检测相关的输入数据的特征。SOFM神经网络104是无监督学习神经网络，即在未标记的数据上得到训练并且试图基于某些规则形成群集并且然后标记输入数据的网络。SOFM神经网络104主要用于将未知的记录分类到各种类。如上文记载的那样，使用KDD 99数据集训练SOFM神经网络104。在训练过程期间，SOFM神经网络104从特征检测器102接收KDD 99数据集。由SOFM神经网络104接收的KDD 99数据集具有针对入侵检测最相关的30个特征，而不是原始的41个特征。SOFM神经网络104通过使用在训练过程期间从特征检测器102接收的KDD 99数据集来使用如本领域已知的竞争过程建立分类映射。期望在训练过程期间提供尽可能多的大量输入矢量，即输入数据集，使得SOFM神经网络104可以建立详尽的分类映射。一旦完成训练过程，受过训练的SOFM神经网络104就被用于将从特征检测器102接收的仅具有针对入侵检测相关的特征的数据集的输入矢量映射到在训练过程期间建立的分类映射。通过标识在分类映射上具有最接近于输入矢量的权重值的神经元将用于SOFM神经网络104的输入矢量自动地分类。这可以通过计算如本领域已知的在输入矢量和权重值之间的欧氏距离来确定。在本发明的优选实施例中，可以用本领域的当前状态中已知的任何其他神经网络来替代第一神经网络，即在图1中示出的SOFM神经网络104。

如在图1中示出的那样，由SOFM神经网络104将对应于输入数据的每个输入矢量的权重值连同输入矢量一起馈送到MLFF神经网络106。MLFF神经网络106基于监督学习并且使用后向传播算法来捕获在记录之间的非线性关系，以便将输入数据分类到适当的类。使用后向算法训练MLFF神经网络106。可以通过选择输入神经元、输出神经元、隐藏神经元和神经元的相互连接的数量来修改MLFF神经网络106用于执行某些具体任务。隐藏神经元的数量直接涉及MLFF神经网络106的能力。因此，高度期望MLFF神经网络106的最佳性能，必须通过使用如本领域已知的反复试验（trial and error）方法来确定隐藏神经元的最优数量。如上文提及的那样，使用后向传播算法训练MLFF神经网络106，因此MLFF神经网络106将从SOFM神经网络104接收的权重值从MLFF神经网络106的输出神经元传播到MLFF神经网络106的隐藏神经元，其继而更新从SOFM神经网络104接收的权重值。在本发明的优选实施例中，可以用本领域的当前状态中已知的任何其他神经网络替代第二神经网络，即在图1中示出的MLFF神经网络106。

如在图1中示出的那样，MLFF神经网络106将更新的权重值馈送到ELBP神经网络108。ELBP神经网络108是基于监督学习的完全递归（recurrent）网络。在如本领域的当前状态中已知的ELBP神经网络108中，每个神经元从在网络中的每个其他神经元接收输入。通常仅神经元的子集接收除来自所有其他神经元的输入以外的外部输入，并且神经元的另一不相交（disjoint）子集外部地报告它们的输出以及将其发送到所有神经元。ELBP神经网络108也是一种类似于MLFF神经网络106的递归神经网络，并且其进一步更新从MLFF神经网络106接收的更新的权重值。在本发明的优选实施例中，可以用本领域的当前状态中已知的任何其他神经网络替代第三神经网络，即在图1中示出的ELBP神经网络108。

如在图1中示出的那样，由ELBP神经网络108将更新的权重值以权重矩阵的形式馈送到分类模块110。分类模块110基于接收的权重矩阵载入侵的预定义类型下分类输入数据的矢量。入侵的预定义类型包括网络入侵检测系统100能够检测的入侵的所有可能的类型的定义。在本发明的示例性实施例中，分类模块110能够在五个入侵类别下分类KDD 99数据集的测试样本，即：1.正常，当没有检测入侵时；2.拒绝服务（DoS）入侵，当入侵者使计算或存储器资源太忙或太满而不能处理正当的请求时；3.探针入侵（probe intrusion），当入侵者扫描网络来收集信息时；4.用户到根（U2R）入侵，当入侵者得到对在系统上的正常用户账户的访问时；5.远程到用户（R2L）入侵，当入侵者将包通过网络发送到机器时。然而入侵的类型不限于上文提及的五个类型，分类模块110可以具有任何数量的入侵类型。

图2图示了根据本发明的实施例的三阶段神经网络入侵方法的流程图。

在步骤202处，如在图1中解释的那样，由特征检测器102逐一检查输入数据的所有数据特征来标识与入侵检测相关的特征。在图1中也解释了用于检查针对入侵检测的数据特征的相关性的优选和替代方法。

在图2中示出的流程图的步骤204处，第一神经网络、即在图1中示出的SOFM神经网络104将接收输入数据的输入矢量和仅在步骤202处被标识为与入侵检测相关的输入数据的特征。如在图1中描述的那样，SOFM神经网络104将权重值分配到输入数据的每个输入矢量。在图1中也解释了用于分配输入矢量的权重值的优选和替代方法。

在图2中示出的流程图的步骤206处，第二神经网络、即在图1中示出的MLFF神经网络106接收在步骤204处确定的与输入数据的输入矢量相关联的权重值。如在图1中描述的那样，MLFF神经网络106将权重值更新到输入数据的每个输入矢量。在图1中也解释了用于更新输入矢量的权重值的优选和替代方法。

在图2中示出的流程图的步骤208处，第三神经网络、即图1的ELBP神经网络108接收在步骤206处确定的来自MLFF神经网络106的更新的权重值。如在图1中描述的那样，ELBP神经网络108进一步更新接收的权重值。在图1中也解释了用于由ELBP神经网络108进一步更新输入矢量的权重值的优选和替代方法。

在图2中示出的流程图的最后步骤处，即步骤210处，由如在图1中示出的分类模块110接收在步骤208处确定的更新的权重值。如在图1中描述的那样，由ELBP神经网络108将更新的权重值以权重矩阵的形式馈送到分类模块110。分类模块110基于如在图1的描述中记载的接收的权重矩阵来在入侵的预定义类型下分类输入数据的矢量。在图1中也解释了用于在入侵的预定义类型下分类输入数据的矢量的优选和替代方法。

如根据上述描述将是显然的那样，本发明提供一种用于基于特征的三阶段神经网络入侵检测的方法和系统。

在本发明中公开的用于检测网络入侵的方法和系统针对入侵检测使用三阶段神经网络。由于神经网络的自学习性质，用于检测网络入侵的系统的效率将随时间继续增加，其导致较少的假警报率。

除此以外，在本发明中公开的用于检测网络入侵的方法和系统也能够标识针对入侵检测相关的输入数据集的特征。由于在发明中公开的入侵检测系统的这个性质，仅需要处理输入数据集的相关特征，而不是所有特征，其继而减少系统上的负载，使得公开的入侵检测系统与在本领域的当前状态中提及的入侵检测系统相比更快和有效。

虽然已经参考某些实施例详细描述了本发明，但是应理解本发明不限于那些实施例。鉴于本公开，在没有背离本发明的各种实施例的范围的情况下，如本文描述的那样，许多修改和变型将向本领域技术人员呈现。因此，由以下的权利要求书而不是由上述的描述指示本发明的范围。在权利要求书的含义和等同物的范围内来临的所有改变、修改和变型将被认为在它们的范围之内。

Claims (15)

1. 一种用于使用多个神经网络检测网络入侵的方法，所述方法包括：

-在多个神经网络中的第一神经网络（104）处确定对应于输入数据的多个矢量的第一多个权重值；

-在多个神经网络中的第二神经网络（106）处将第一多个权重值更新到第二多个权重值；

-在多个神经网络中的第三神经网络（108）处将第二多个权重值更新到第三多个权重值；以及

-基于第三多个权重值在多个入侵中的至少一个之下分类多个矢量。

2. 根据权利要求1所述的方法，进一步包括通过使用训练数据来训练多个神经网络以检测网络入侵的步骤。

3. 根据权利要求2所述的方法，进一步包括使用训练数据形成第一神经网络的分类映射。

4. 根据权利要求3所述的方法，进一步包括在第一神经网络（104）的分类映射上映射多个矢量的步骤。

5. 根据权利要求4所述的方法，其中第一多个权重值与第一神经网络（104）的分类映射相关联。

6. 根据权利要求2所述的方法，进一步包括基于训练数据定义多个入侵的步骤。

7. 根据前述权利要求中任一项所述的方法，其中在第一神经网络（104）处确定对应于多个矢量的第一多个权重值进一步包括将第一多个权重值和多个矢量输入到第二神经网络（106）的步骤。

8. 根据前述权利要求中任一项所述的方法，进一步包括在将第一多个权重值更新到第二多个权重值之前在第二神经网络（106）处根据第一多个权重值和多个矢量确定第二多个权重值的步骤。

9. 根据前述权利要求中任一项所述的方法，其中在第二神经网络（106）处将第一多个权重值更新到第二多个权重值进一步包括将第二多个权重值和多个矢量输入到第三神经网络（108）的步骤。

10. 根据前述权利要求中任一项所述的方法，进一步包括在将第二多个权重值更新到第三多个权重值之前在第三神经网络（108）处根据第二多个权重值和多个矢量确定第三多个权重值的步骤。

11. 一种用于根据数据集的多个特征标识入侵检测特征的方法，所述方法包括：

-确定数据集的多个特征中的特征的一个或多个值；

-基于特征的一个或多个值将数据集分成一个或多个数据子集；

-根据一个或多个数据子集的特征的一个或多个值和预定义的类确定特征的熵；

-根据第一特征的熵确定第一特征的信息增益；以及

-将第一特征的信息增益与信息增益的预定义的值比较。

12. 根据权利要求11所述的方法，进一步包括标识针对多个特征中的特征的预定义的类的步骤。

13. 根据权利要求11所述的方法，其中将第一特征的信息增益与信息增益的预定义的值比较进一步包括将特征的熵与熵的预定义的值比较的步骤。

14. 一种使用多个神经网络的网络入侵检测系统（100），所述系统包括：

-第一神经网络（104），其用于确定对应于输入数据的多个矢量的第一多个权重值；

-第二神经网络（106），其用于基于输入数据的多个矢量将从第一神经网络（104）接收的第一多个权重值更新到第二多个权重值；

-第三神经网络（108），其用于基于输入数据的多个矢量将从第二神经网络（106）接收的第二多个权重值更新到第三多个权重值；以及

-分类模块（110），其用于基于从第三神经网络（108）接收的第三多个权重值在多个入侵中的至少一个之下分类多个矢量。

15. 根据权利要求14所述的系统，进一步包括特征检测器（102），其用于根据输入数据的多个特征标识至少一个入侵检测特征。