CN103716204B - 一种基于维纳过程的异常入侵检测集成学习方法及装置 - Google Patents

Abstract

本发明涉及一种基于维纳过程的异常入侵检测集成学习方法，包括以下步骤：选择网络流量数据集；将每个网络流量样本及其样本概率分布输入到未初始化的神经网络分类器或者经过上次训练得到的神经网络弱分类器中，判断神经网络弱分类器对每个网络流量样本是否分类错误，调整每个网络流量样本的数量及样本概率分布；反复执行步骤2，得到多个神经网络弱分类器；分别确定每个神经网络弱分类器的权重；根据每个弱分类器及每个弱分类器对应的权重，得到强分类器；将待检测网络数据流输入到强分类器中，得到入侵检测结果；重复执行步骤6，直至所有待检测网络数据流检测完毕。本发明能够解决不平衡数据集的分类问题、得到分类正确率较高的无偏分类器。

Description

一种基于维纳过程的异常入侵检测集成学习方法及装置

技术领域

本发明涉及一种入侵检测技术，特别涉及一种基于维纳过程的异常入侵检测集成学习方法及装置。

背景技术

入侵检测通过监视网络系统的运行状态，对网络流量和系统审计记录分析等,从中提取系统的各种行为模式及行为特征，进而检测出系统中存在的某些入侵行，主要分成两大类型：异常入侵检测和误用入侵检测。异常入侵检测是目前入侵检测系统的主要研究方向，能够根据异常行为和使用计算机资源情况检测出来的入侵，异常入侵检测试图用定量方式描述可接受的行为特征，以区分非正常的潜在的入侵性行为。异常入侵检测首先定义一组系统“正常”情况的数值，如网络数据流、CPU利用率、内存利用率、文件校验和、系统日志等，然后将系统运行时的各种特征与所定义的“正常”情况特征比较，从而识别出网络内是否存在攻击及何种攻击。

近年来，许多学者从各种角度对入侵检测技术进行了研究，自90年代起，人工智能逐渐被引入到入侵检测研究中，一些新的入侵检测的体系结构应运而生。入侵检测的核心是异常识别，本质上属于分类问题，但采用传统的分类算法得到的性能不佳：一方面，单一的分类算法往往存在一定的局限性，如神经网络算法的泛化能力差、收敛速度慢等；另一反面，只有极少数的用户行为是恶意非法的入侵行为，入侵检测行为可以看做不平衡数据集分类问题，传统的分类算法假设数据分布是均衡的，并且主要以数据整体正确率作为其性能的评价标准，有时即使把少数类样例全部错分仍能保证较高的整体准确率。研究表明，将集成学习和过采样技术相结合是解决上述问题的一种可行办法，但是目前的存在的相关研究仍然存在一定问题。

集成学习技术采用若干个预测精度略好于随机猜测的弱学习器，对同一问题进行学习，学习的输出结果由参与集成的所有弱学习器共同表决确定，得到的集成学习器的预测精度优于单个弱学习器。集成学习中的弱学习器可以涵盖，如决策树、支持向量机、神经网络等主流的机器学习算法。其中典型的是AdaBoost（Adaptive Boost）集成算法，是基于boosting算法改进的一种重要的集成学习技术。但是AdaBoost集成算法的训练数据集权重更新规则没有考虑数据集的分布，对于误分类或者正确分类的样本，权重增大或减小的幅度是相同的。但不均衡数据集的少数类的样本比较少，即使这些少数样本权重增大，被抽样的样本数量相对于多数类样本还是较少，抽取的新的训练数据集仍然是不均衡的。

发明内容

本发明所要解决的技术问题是提供一种集成维纳过程与Adaboost集成学习方法、解决不平衡数据集的分类问题、得到分类正确率较高的无偏分类器的基于维纳过程的异常入侵检测集成学习方法及装置。

本发明解决上述技术问题的技术方案如下：一种基于维纳过程的异常入侵检测集成学习方法，包括以下步骤：

步骤1：选择包含多个网络流量样本的网络流量数据集，所述网络流量样本分为入侵网络流量样本和正常网络流量样本；

步骤2：将每个网络流量样本及其样本概率分布输入到未初始化的神经网络分类器或者经过上次训练得到的神经网络弱分类器中，得到新的神经网络弱分类器，判断神经网络弱分类器对每个网络流量样本是否分类错误，得到该神经网络弱分类器的分类错误率，根据分类错误率分别调整每个网络流量样本的数量及样本概率分布；

步骤3：反复执行步骤2直至迭代次数达到预定次数，每次迭代得到一个神经网络弱分类器，最终得到多个神经网络弱分类器，所述神经网络弱分类器的数量与预定次数的数量相同；

步骤4：根据每个神经网络弱分类器的分类错误率，分别确定每个神经网络弱分类器的权重；

步骤5：根据每个弱分类器及每个弱分类器对应的权重，计算得到强分类器；

步骤6：将待检测网络数据流输入到强分类器中，得到入侵检测结果；

步骤7：重复执行步骤6，直至所有待检测网络数据流检测完毕。

本发明的有益效果是：本发明在某些假设条件成立的情况下，基于维纳过程的过采样技术生成的人造训练样本的期望值和方差与原始少数类数据的期望值和方差相同；并且比传统过采样方法更好扩展少数类的边界；本发明能够对集成学习算法泛化能力进行极大提升，在训练集样本有限的条件下，能够保证测试集对独立，相比单一分类器能获得更小的误差；此外，将基于维纳过程的过采样技术融入到集成学习中，以应对不平衡数据集的分类问题，期望得到分类正确率较高的无偏分类器，从而使得入侵检测系统具有较好的检测性能。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤2中，分类器具体为Adaboost集成分类器。

进一步，所述步骤2中根据神经网络弱分类器对每个网络流量样本是否分类错误，分别调整每个网络流量样本的数量及样本概率分布具体为：

当神经网络弱分类器将入侵网络流量样本错误的分类为正常网络流量样本时，将入侵网络流量样本利用维纳过程进行处理，来增加分类错误的网络流量样本的数量，并增大入侵网络流量样本的样本概率分布；

当神经网络弱分类器将正常网络流量样本正确的分类为正常网络流量样本时，减小该正常网络流量样本的样本概率分布。

进一步，步骤4中所述每个神经网络弱分类器的分类错误率与每个神经网络弱分类器的权重成反比。

进一步，所述步骤5具体为将每个弱分类器按照其对应的权重进行叠加运算，得到强分类器。

进一步，一种基于维纳过程的异常入侵检测集成学习装置，包括选择模块，输入调整模块，迭代模块，确定权重模块，计算强分类器模块，输入检测模块和重复输入模块；

所述选择模块，用于选择包含多个网络流量样本的网络流量数据集，所述网络流量样本分为入侵网络流量样本和正常网络流量样本；

所述输入调整模块，用于将每个网络流量样本及其样本概率分布输入到未初始化的神经网络分类器或者经过上次训练得到的神经网络弱分类器中，得到新的神经网络弱分类器，判断神经网络弱分类器对每个网络流量样本是否分类错误，得到该神经网络弱分类器的分类错误率，根据分类错误率分别调整每个网络流量样本的数量及样本概率分布；

所述迭代模块，反复执行输入调整模块直至迭代次数达到预定次数，每次迭代得到一个新的神经网络弱分类器，最终得到多个神经网络弱分类器，所述神经网络弱分类器的数量与预定次数的数量相同；

所述确定权重模块，根据每个神经网络弱分类器的分类错误率，分别确定每个神经网络弱分类器的权重；

所述计算强分类器模块，根据每个弱分类器及每个弱分类器对应的权重，计算得到强分类器；

所述输入检测模块，用于将待检测网络数据流输入到强分类器中，得到入侵检测结果；

所述重复输入模块，用于重复执行输入检测模块，直至所有待检测网络数据流检测完毕。

进一步，所述输入调整模块中，分类器具体为Adaboost集成分类器。

进一步，所述输入调整模块根据神经网络弱分类器对网络流量样本分类错误率，调整每个网络流量样本的数量及样本概率分布具体为：当神经网络弱分类器对网络流量样本分类错误时，将分类错误的网络流量样本利用维纳过程进行处理，来增加分类错误的网络流量样本的数量，并增大分类错误的网络流量样本的样本概率分布，否则，减小分类正确的网络流量样本的样本概率分布。

进一步，所述确定权重模块中所述每个神经网络弱分类器的分类错误率与每个神经网络弱分类器的权重成反比。

所述计算强分类器模块具体为将每个弱分类器按照其对应的权重进行叠加运算，得到强分类器。

附图说明

图1为本发明方法步骤流程图；

图2为本发明装置结构图。

附图中，各标号所代表的部件列表如下：

1、选择模块，2、输入调整模块，3、迭代模块，4、确定权重模块，5、计算强分类器模块，6、输入检测模块，7、重复输入模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明方法步骤流程图；图2为本发明装置结构图。

实施例1

一种基于维纳过程的异常入侵检测集成学习方法，包括以下步骤：

步骤1：选择包含多个网络流量样本的网络流量数据集，所述网络流量样本分为入侵网络流量样本和正常网络流量样本；

步骤2：将每个网络流量样本及其样本概率分布输入到未初始化的神经网络分类器或者经过上次训练得到的神经网络弱分类器中，得到新的神经网络弱分类器，判断神经网络弱分类器对每个网络流量样本是否分类错误，得到该神经网络弱分类器的分类错误率，根据分类错误率分别调整每个网络流量样本的数量及样本概率分布；

步骤3：反复执行步骤2直至迭代次数达到预定次数，每次迭代得到一个新的神经网络弱分类器，最终得到多个神经网络弱分类器，所述神经网络弱分类器的数量与预定次数的数量相同；

步骤4：根据每个神经网络弱分类器的分类错误率，分别确定每个神经网络弱分类器的权重；

步骤5：根据每个弱分类器及每个弱分类器对应的权重，计算得到强分类器；

步骤6：将待检测网络数据流输入到强分类器中，得到入侵检测结果；

步骤7：重复执行步骤6，直至所有待检测网络数据流检测完毕。

所述步骤2中，分类器具体为Adaboost集成分类器。

所述步骤2中根据神经网络弱分类器对每个网络流量样本是否分类错误，分别调整每个网络流量样本的数量及样本概率分布具体为：

当神经网络弱分类器将入侵网络流量样本错误的分类为正常网络流量样本时，将入侵网络流量样本利用维纳过程进行处理，来增加分类错误的网络流量样本的数量，并增大入侵网络流量样本的样本概率分布；

当神经网络弱分类器将正常网络流量样本正确的分类为正常网络流量样本时，减小该正常网络流量样本的样本概率分布。

步骤4中所述每个神经网络弱分类器的分类错误率与每个神经网络弱分类器的权重成反比。

所述步骤5具体为将每个弱分类器按照其对应的权重进行叠加运算，得到强分类器。

一种基于维纳过程的异常入侵检测集成学习装置，包括选择模块1，输入调整模块2，迭代模块3，确定权重模块4，计算强分类器模块5，输入检测模块6和重复输入模块7；

所述选择模块1，用于选择包含多个网络流量样本的网络流量数据集，所述网络流量样本分为入侵网络流量样本和正常网络流量样本；

所述输入调整模块2，用于将每个网络流量样本及其样本概率分布输入到未初始化的神经网络分类器或者经过上次训练得到的神经网络弱分类器中，得到新的神经网络弱分类器，判断神经网络弱分类器对每个网络流量样本是否分类错误，得到该神经网络弱分类器的分类错误率，根据分类错误率分别调整每个网络流量样本的数量及样本概率分布；

所述迭代模块3，反复执行输入调整模块2直至迭代次数达到预定次数，每次迭代得到一个新的神经网络弱分类器，最终得到多个神经网络弱分类器，所述神经网络弱分类器的数量与预定次数的数量相同；

所述确定权重模块4，根据每个神经网络弱分类器的分类错误率，分别确定每个神经网络弱分类器的权重；

所述计算强分类器模块5，根据每个弱分类器及每个弱分类器对应的权重，计算得到强分类器；

所述输入检测模块6，用于将待检测网络数据流输入到强分类器中，得到入侵检测结果；

所述重复输入模块7，用于重复执行输入检测模块6，直至所有待检测网络数据流检测完毕。

所述输入调整模块2中，分类器具体为Adaboost集成分类器。

所述输入调整模块2根据神经网络弱分类器对网络流量样本分类错误率，调整每个网络流量样本的数量及样本概率分布具体为：当神经网络弱分类器对网络流量样本分类错误时，将分类错误的网络流量样本利用维纳过程进行处理，来增加分类错误的网络流量样本的数量，并增大分类错误的网络流量样本的样本概率分布，否则，减小分类正确的网络流量样本的样本概率分布。

所述确定权重模块4中所述每个神经网络弱分类器的分类错误率与每个神经网络弱分类器的权重成反比。

所述计算强分类器模块5具体为将每个弱分类器按照其对应的权重进行叠加运算，得到强分类器。

在具体实施中，本发明具体由以下部分组成：

1.入侵检测数据集选择

本专利是面向入侵检测网络数据流，在实际应用中，入侵网络数据流的选择依具体场景而形式各异。为了客观的衡量本专利的性能，选取了由哥伦比亚大学IDS实验室整理形成的安全审计数据集KDDCUP'99。KDDCUP'99仅包含了网络流量数据，比MITLL数据集更适于数据挖掘处理，是目前为止学术界最有影响力的入侵检测评测研究数据集。

实验部分选择KDDCUP'99数据集中10%数据集，包括训练数据集kddcup.data_10_percent.gz(含攻击标记)，2.1M；测试数据集kddcup.newtestdata.unlabeled_10_percent.gz(不含攻击标记)，1.4M。其中，未标注的测试数据集用于评估测试入侵检测算法，带有标注的数据集是用来验证算法的性能。在两种10%数据集中，上述4大类攻击各含攻击行为数量不同。10%数据集中包含四大类攻击行为：拒绝服务攻击（Denial-Of-Service）、端口或漏洞扫描（Probe）、权限提升（User to Root）和远程权限获取（Remote to Local）。这四大类攻击的数量不尽相同，训练数据集包含23种攻击行为，测试数据集包含38中攻击行为。选择该数据集的原因是数据分布比较分散，每个类的数量和类型分布明显不均衡，是一个典型的不平衡数据集。

2.输入数据集的集成学习训练

在选择完入侵检测集之后，需要将这些作为集成学习的训练结合作为集成学习方法的输入。假设输入训练集样本的个数为m，每个样本的初始权重是1/n，Tr_S为每次新的输入训练集，r表示Tr_S包含样本的个数。原始训练集Γ={(X_i,Y_i)|i∈(1,2,...,m)}，X_i是一组训练样本值。Y_i=a是少数类，Y_i=b是多数类。少数类样本的总数为n，样本的总数为m，其中n<<m-n。X_i包含k个属性，X_ij是X_i的第j个属性值。集合ο存放每次迭代被错分的少数类样本。w_ij是X_ij做维纳过程生成的新样本。集合ο存储训练中被错分的少数类样本，ρ表示集合ο中元素的个数。维纳过程中令c=1，Δt=σ_j ²/ρ。E是神经网络的训练精度，M是设定的神经网络训练的最大次数。Q表示每个样例被用来生成人造训练样本的次数。弱分类器采用三层BP神经网络，输出层包含两个神经元+1和-1，分别表示正常行为和异常行为。

在选取的KDDCUP'99样本中，初始化每个样本的分布D₁(Y_i)，将样本和样本分布D₁(Y_i)作为输入，迭代训练出一组反向传播的神经网络弱分类器，。每次迭代时，对于分类错误的所有样本，加大其对应的权重；对其中的少数类样本，采用基于维纳过程的过采样方法，即算法中第15-23行，集合ο存储的就是每一次迭代分错的少数类样本。而对于分类正确的样本，依据算法中第38-41行，重新计算样本分布D₁(Y_i)降低其权重。这样的处理既能将分错的样本突显出来，又能均衡的样本分布，从而提高少数类的分类性能。依次类推，经过T次迭代，得到T个弱分类器，把这T个弱分类器按一定的权重叠加起来（算法第44行），融合得到最终的强分类器。

完成以上步骤之后，一个面向入侵检测的集成学习器H(X)训练完成。实际中，当给定一些待检测网络数据流，将这些网络数据流输入到H(X)中，就判断出该数据流是否为入侵行为。总体来讲，本专利的创新之处可以从两方面来阐述，数据层面采用基于维纳过程的过采样技术处理数据集，算法层面通过结合神经网络和AdaBoost集成算法，优化参数从而更适合检测入侵数据特点。

3.基于维纳过程的过采样技术

重采样技术就是通过人工的方法多生成一些样本或剔除一些样本的方法，来改变数据集的分布，降低不平衡性。本文采用的是针对少数类的过采样方法，通过增加少数类样本的数量，减少少数类和多数类的数量上的差距，从而保证数据集的均衡性。本专利将维纳过程应用至少数样本的生成，维纳过程是布朗运动的数学模型，现实中的微粒都在做无规则的布朗运动，布朗运动是物质运动规律的体现。维纳过程具有马尔可夫性质，也就是说，对任何的有界连续函数，在任意一点之后的走势仅仅和这一点的取值相关，而与之前的取值无关。下面详细阐维纳过程极本专利采用该方法生成少数类样本的有效性证明。

设已知的训练集合φ={X₁,X₂,...,X_M-1,X_M}，由m个训练样X'的第j个属性，构成一个n维向量λ_j={X_1j,X_2j,...,X_n-1j,X_nj}1/n，n为训练样本的数量。为了保证学习速度与权值的稳定性之间折衷，采用变D(x(t)'_ij)=D(x(t₁)'_ij)步长的方法，以较小的初始学习率开始训练，如果连续训练使误差减小，则增大学习率，如果误差增长较大时，则快速减D(x(t)'_ij)=D(x(t₁)'_ij)小学习。训练次数上限过小会使神经网络训练不足，计算误差增大，过大会增加训练时间甚至出现过拟合问题。

4.面向入侵检测集的实验结果评测

传统的分类正确率的评价方法，正确率=分类正确的样本总数/样本总数，不适合测评不平衡数据集分类。在不平衡分类集合中，由于多数类的数目远远大于少数类的数目，若把所有的少数类都归为多数类，则该算法也能达到较高准确率，故不平衡数据n，Wiener_AdaBoost集成算法只需将分错的n’(n’<n)个每ο(n')。相比之下，SMOTE_AdaBoost集成算法D(x(t)'_ij)=D(x(t₁)'_ij)在生成少数类时，首先对总体的少数类样本做维纳过程，对每一个样本生成一个新的样k个邻居，时间复杂度为ο(n²)。因此，Wiener_AdaBoost集成算法的时间复杂度远远低于SMOTE_AdaBoost集成算法。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于维纳过程的异常入侵检测集成学习方法，其特征在于，包括以下步骤：

步骤1：选择包含多个网络流量样本的网络流量数据集，所述网络流量样本分为入侵网络流量样本和正常网络流量样本；

步骤2：将每个网络流量样本及其样本概率分布输入到未初始化的神经网络分类器或者经过上次训练得到的神经网络弱分类器中，得到新的神经网络弱分类器，判断神经网络弱分类器对每个网络流量样本是否分类错误，得到该神经网络弱分类器的分类错误率，根据分类错误率分别调整每个网络流量样本的数量及样本概率分布；

步骤3：反复执行步骤2直至迭代次数达到预定次数，每次迭代得到一个新的神经网络弱分类器，最终得到多个神经网络弱分类器，所述神经网络弱分类器的数量与预定次数的数量相同；

步骤4：根据每个神经网络弱分类器的分类错误率，分别确定每个神经网络弱分类器的权重；

步骤5：根据每个弱分类器及每个弱分类器对应的权重，计算得到强分类器；

步骤6：将待检测网络数据流输入到强分类器中，得到入侵检测结果；

步骤7：重复执行步骤6，直至所有待检测网络数据流检测完毕；

所述步骤2中根据神经网络弱分类器对每个网络流量样本是否分类错误，分别调整每个网络流量样本的数量及样本概率分布具体为：

当神经网络弱分类器将入侵网络流量样本错误的分类为正常网络流量样本时，将入侵网络流量样本利用维纳过程进行处理，来增加分类错误的网络流量样本的数量，并增大入侵网络流量样本的样本概率分布；

当神经网络弱分类器将正常网络流量样本正确的分类为正常网络流量样本时，减小该正常网络流量样本的样本概率分布。

2.根据权利要求1所述的异常入侵检测集成学习方法，其特征在于：所述步骤2中，分类器具体为Adaboost集成分类器。

3.根据权利要求1所述的异常入侵检测集成学习方法，其特征在于：步骤4中所述每个神经网络弱分类器的分类错误率与每个神经网络弱分类器的权重成反比。

4.根据权利要求1所述的异常入侵检测集成学习方法，其特征在于：所述步骤5具体为将每个弱分类器按照其对应的权重进行叠加运算，得到强分类器。

5.一种基于维纳过程的异常入侵检测集成学习装置，其特征在于：包括选择模块(1)，输入调整模块(2)，迭代模块(3)，确定权重模块(4)，计算强分类器模块(5)，输入检测模块(6)和重复输入模块(7)；

所述选择模块(1)，用于选择包含多个网络流量样本的网络流量数据集，所述网络流量样本分为入侵网络流量样本和正常网络流量样本；

所述输入调整模块(2)，用于将每个网络流量样本及其样本概率分布输入到未初始化的神经网络分类器或者经过上次训练得到的神经网络弱分类器中，得到新的神经网络弱分类器，判断神经网络弱分类器对每个网络流量样本是否分类错误，得到该神经网络弱分类器的分类错误率，根据分类错误率分别调整每个网络流量样本的数量及样本概率分布；

所述输入调整模块(2)根据神经网络弱分类器对网络流量样本分类错误率，调整每个网络流量样本的数量及样本概率分布具体为：当神经网络弱分类器对网络流量样本分类错误时，将分类错误的网络流量样本利用维纳过程进行处理，来增加分类错误的网络流量样本的数量，并增大分类错误的网络流量样本的样本概率分布，否则，减小分类正确的网络流量样本的样本概率分布；

所述迭代模块(3)，反复执行输入调整模块(2)直至迭代次数达到预定次数，每次迭代得到新的一个神经网络弱分类器，最终得到多个神经网络弱分类器，所述神经网络弱分类器的数量与预定次数的数量相同；

所述确定权重模块(4)，根据每个神经网络弱分类器的分类错误率，分别确定每个神经网络弱分类器的权重；

所述计算强分类器模块(5)，根据每个弱分类器及每个弱分类器对应的权重，计算得到强分类器；

所述输入检测模块(6)，用于将待检测网络数据流输入到强分类器中，得到入侵检测结果；

所述重复输入模块(7)，用于重复执行输入检测模块(6)，直至所有待检测网络数据流检测完毕。

6.根据权利要求5所述的异常入侵检测集成学习装置，其特征在于：所述输入调整模块(2)中，分类器具体为Adaboost集成分类器。

7.根据权利要求5所述的异常入侵检测集成学习装置，其特征在于：所述确定权重模块(4)中所述每个神经网络弱分类器的分类错误率与每个神经网络弱分类器的权重成反比。

8.根据权利要求5所述的异常入侵检测集成学习装置，其特征在于：所述计算强分类器模块(5)具体为将每个弱分类器按照其对应的权重进行叠加运算，得到强分类器。