CN104113544A - 基于模糊隐条件随机场模型的网络入侵检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于模糊隐条件随机场模型的网络入侵检测方法，解决的技术问题是改善现有网络入侵检测的效果。本发明利用网络数据采集工具收集网络实例，随机选取正常网络实例和异常网络实例作为模糊隐条件随机场模型的训练数据集，实例之间相互独立。利用训练数据集建立网络入侵检测的模糊隐条件随机场模型，将实际运行中的网络实例输入建立的检测模型，输出对应的入侵检测效果，对网络实例进行实时地、准确地检测。本发明可以准确快速的检测出未知类型网络入侵行为，具有较好的实际推广应用前景。

Description

基于模糊隐条件随机场模型的网络入侵检测方法及系统

技术领域

本发明涉及一种网络入侵检测方法，特别涉及一种基于模糊隐条件随机场模型的网络入侵检测方法及系统。

背景技术

在互联网建设早期，网络结构和攻击手段都相对简单，网络安全体系主要是以防护为主体，依靠防火墙、加密和身份认证等手段来实现。随着互联网技术的高速发展以及应用地逐步广泛，黑客攻击手段也日趋复杂多样，仅仅依靠传统的操作系统加固和单纯防火墙策略等静态安全防御技术已经远达不到现代高安全网络的需要。因此，以网络安全立体纵深、多层次防御的角度为立足点，设计出行之有效的入侵检测方法成为了当务之急。

现有的网络入侵检测方法有：(1)基于隐马尔科夫模型的网络入侵检测方法，该方法的最大缺点是没有充分地考虑相邻时刻特征之间的相关性和标记之间的相关性，忽略了这些相关性会严重影响入侵检测效果，导致入侵检测效率低等问题的出现；(2)基于朴素贝叶斯分类器模型的网络入侵检测方法，该方法不能处理基于特征组合所产生的变化结果，并且在目标分类的问题中容易产生较大的错误率；(3)基于数据挖掘模型的网络入侵检测方法，由于该方法是对大量的历史数据进行处理，因此，在学习和评价阶段的计算成本高，实时性实施困难；(4)基于最大熵马尔可夫模型的网络入侵检测方法，该方法对状态序列的计算是局部的，会产生标记偏见等问题；(5)基于条件随机场模型的网络入侵检测方法，该方法不能捕获含隐状态变量的间接结构，要达到较高的检测率，需要有庞大的训练数据集，训练速度慢，影响整体入侵检测效率。

因此，急需一种具有训练速度快、检测效果好、较好推广应用前景等优点的网络入侵检测方法及系统。

发明内容

有鉴于此，本发明所要解决的技术问题是提供一种基于模糊隐条件随机场模型的网络入侵检测方法。该方法针对网络攻击的特点和现有网络入侵检测方法存在的问题，为了对网络入侵行为做出准确的检测，解决由于不精确和模糊的信息造成的观察序列不确定性和长距离相关性等问题，并实现在训练数据集较小的情况下，提高检测率和训练速度，保证网络入侵检测的较好效果。

本发明的目的之一是提出一种基于模糊隐条件随机场模型的网络入侵检测方法；本发明的目的之二是提出一种基于模糊隐条件随机场模型的网络入侵检测系统。

本发明的目的之一是通过以下技术方案来实现的：

本发明提供的基于模糊隐条件随机场模型的网络入侵检测方法，包括以下步骤：

步骤一：利用网络数据采集工具收集网络实例，随机选取正常网络实例和异常网络实例作为模糊隐条件随机场模型的训练数据集；

步骤二：对收集的网络实例进行预处理；

步骤三：将预处理后的网络实例进行特征选择；

步骤四：模糊隐条件随机场模型利用所选特征训练生成检测模型；

步骤五：利用步骤四中生成的检测模型对实际运行中的网络实例进行检测；

步骤六：对网络入侵检测做相应处理，当检测为异常网络实例时，阻止网络实例；当检测为正常网络实例时，允许网络实例运行。

进一步，所述网络实例预处理，在对模糊隐条件随机场模型训练、检测前利用以下模糊函数对数据进行模糊化处理：

sigmf(x,[A,C])＝1/(1+EXP(-A×(x-C)))；

其中，sigmf()表示模糊化处理函数；A和C为模糊函数的控制参数；x表示训练数据中特征的实际数值。

进一步，步骤三中，针对网络攻击类型的特点，依据多次试验结果和理论分析，对每一类攻击进行特征选择；步骤四中，模糊隐条件随机场利用每种攻击所选择的特征进行训练，得到模糊隐条件随机场各参数的值，从而建立攻击类型所对应的检测模型。

进一步，在给定观察序列n的条件下，运用模糊隐条件随机场模型根据观察序列n及定义在其上的隐状态集合H和标签m建立如下联合概率模型：

$P(m,H|n;\mathrm{\θ})=\frac{\exp \left(\mathrm{\ψ}(m,H,n;\mathrm{\θ})\right)}{\underset{m^{\′},H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m^{\′},H,n;\mathrm{\θ})\right)};$

其中，n表示所选特征组成的特征向量；

θ为模型的特征权重参数，需要从训练数据中估计得到；

H表示隐状态集合；

m表示某个标签，m'在累加计算中依次表示各个标签；

ψ(m,H,n；θ)为模糊势函数，表示如下：

$\mathrm{\ψ}(m,H,n;\mathrm{\θ})=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}\underset{r\∈S_v}{\mathrm{\Σ}}\mathrm{\α}(i,m,H_i,n){\mathrm{\θ}}_r^1+\underset{(i,j)\∈E}{\mathrm{\Σ}}\underset{r\∈S_e}{\mathrm{\Σ}}\mathrm{\β}(i,j,m,H_i,H_j,n){\mathrm{\θ}}_r^2;$

其中，隐变量{H₁,…,H_t}属于图模型中的顶点，

E是图模型中边的集合，S_v为点的模糊特征集，S_e为边的模糊特征集；

α(i,m,H_i,n)和β(i,j,m,H_i,H_j,n)分别为顶点和边所对应的模糊特征函数；

和分别为模型的特征权重参数的分量；

i和j取值都是(1-t)；

t表示隐变量的个数；

所属标签m的概率P(m|n；θ)为：

$P\left(m\right|n;\mathrm{\θ})=\underset{H}{\mathrm{\Σ}}P(m,H|n;\mathrm{\θ})=\frac{\underset{H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m,H,n;\mathrm{\θ})\right)}{\underset{m^{\′},H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m^{\′},H,n;\mathrm{\θ})\right)}.$

进一步，步骤五中，对待检测序列进行检测时，标签m倾向于满足以n为条件的最大全局条件概率：

m^*＝argmaxP(m|n；θ)；

其中，m^*表示检测结果，即预测的标签。

进一步，步骤四中，利用Quasi-Newton方法在训练数据集中估计模型的特征权重参数θ^*＝argmaxL(θ)，在训练的过程中，第k个训练实例的似然估计L_k(θ)为：

$L_k\left(\mathrm{\θ}\right)=\log P\left(m_k\right|n_k,\mathrm{\θ})=\log \left(\frac{\underset{H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m_k,H,n_k;\mathrm{\θ})\right)}{\underset{m^{\′},H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m^{\′},H,n_k;\mathrm{\θ})\right)}\right)---\left(6\right)$

所述当似然估计L_k(θ)值的收敛精度达到预设阈值而停止迭代训练时得到模型的特征权重参数。

进一步，所述模型中单个隐状态变量的模糊特征函数α(i,m,H_i,n)的特征权重参数的梯度推导为：

$\begin{array}{c}\frac{{\∂L}_k\left(\mathrm{\θ}\right)}{{\∂\mathrm{\θ}}_r^1}=\underset{H}{\mathrm{\Σ}}P\left(H\right|m_k,n_k,\mathrm{\θ})\frac{\∂\mathrm{\ψ}(m_k,H,n_k;\mathrm{\θ})}{{\∂\mathrm{\θ}}_r^1}\\ -\underset{m^{\′},H}{\mathrm{\Σ}}P(m^{\′},H|n_k,\mathrm{\θ})\frac{\∂\mathrm{\ψ}(m^{\′},H,n_k;\mathrm{\θ})}{{\∂\mathrm{\θ}}_r^1}\\ =\underset{i,c}{\mathrm{\Σ}}P(H_i=c|m_k,n_k,\mathrm{\θ})\mathrm{\α}(i,m_k,c,n_k)\\ -\underset{m^{\′},i,c}{\mathrm{\Σ}}P(H_i=c,m^{\′}|n_k,\mathrm{\θ})\mathrm{\α}(i,m^{\′},c,n_k)\end{array}---\left(7\right)$

其中，P(H_i＝c|m_k,n_k,θ)和P(H_i＝c,m'|n_k,θ)通过bp神经网络算法计算出来。

进一步，所述模型中两个隐状态变量H_i和H_j的模糊特征函数β(i,j,m,H_i,H_j,n)，相应特征权重参数的梯度推导为：

$\begin{array}{c}\frac{{\∂L}_k\left(\mathrm{\θ}\right)}{{\∂\mathrm{\θ}}_r^2}=\underset{(i,j)\∈E,c,d}{\mathrm{\Σ}}P(H_i=c,H_j=d|m_k,n_k,\mathrm{\θ})\mathrm{\β}(i,j,m_k,c,d,n_k)\\ -\underset{m^{\′},(i,j)\∈E,c,d}{\mathrm{\Σ}}P(H_i=c,H_j=d,m^{\′}|n_k,\mathrm{\θ})\mathrm{\β}(i,j,m^{\′},c,d,n_k)\end{array}---\left(8\right)$

其中，P(H_i＝c,H_j＝d|m_k,n_k,θ)和P(H_i＝c,H_j＝d,m'|n_k,θ)通过bp神经网络算法计算出来。

本发明的目的之二是通过以下技术方案来实现的：

本发明提供的基于模糊隐条件随机场模型的网络入侵检测系统，包括训练数据集模块、预处理模块、特征选择模块、检测模型生成模块、实例检测模块和结果处理模块；

所述训练数据集模块，用于利用网络数据采集工具收集网络实例，随机选取正常网络实例和异常网络实例作为模糊隐条件随机场模型的训练数据集；

所述预处理模块，用于对收集的网络实例进行预处理；

所述特征选择模块，用于将预处理后的网络实例进行特征选择；

所述检测模型生成模块，用于模糊隐条件随机场模型利用所选特征训练生成检测模型；

所述实例检测模块，用于利用步骤四中生成的检测模型对实际运行中的网络实例进行检测；

所述结果处理模块，用于对网络入侵检测结果做相应处理，当检测为异常网络实例时，阻止网络实例；当检测为正常网络实例时，允许网络实例运行。

进一步，所述网络实例预处理，在对模糊隐条件随机场模型训练、检测前利用以下模糊函数对数据进行模糊化处理：

sigmf(x,[A,C])＝1/(1+EXP(-A×(x-C)))；

其中，sigmf()表示模糊化处理函数；A和C为模糊函数的控制参数；x表示训练数据中特征的实际数值。

针对网络攻击类型的特点，依据多次试验结果和理论分析，对每一类攻击进行特征选择；

模糊隐条件随机场利用每种攻击所选择的特征进行训练，得到模糊隐条件随机场各参数的值，从而建立攻击类型所对应的检测模型。

本发明的优点在于：本发明采用基于模糊隐条件随机场(FHCRFs)模型的网络入侵检测方法，通过建立网络状态与网络实例特征之间的FHCRFs模型，对网络入侵行为进行准确的判断，从而达到较好的入侵检测效果。

本发明基于模糊隐条件随机场模型的网络入侵检测方法中，网络实例预处理，就是在对模糊隐条件随机场模型训练、检测前利用模糊函数对数据进行模糊化处理，减小属性数目，提高训练速度及泛化能力。并针对网络攻击类型特点，依据多次试验结果和理论分析，对每一类攻击进行特征选择，模糊隐条件随机场利用每种攻击所选择的特征训练生成四种攻击类型所对应的检测模型。

FHCRFs模型作为一种统计和规则相结合的模型，允许特征的非独立和增加各种不同形式的特征，能够充分地挖掘出有限训练数据集中的有用信息，过滤掉无用信息，可以有效地解决标注偏置问题，很好地弥补其它模型存在的缺陷。为此，将FHCRFs模型应用于网络入侵检测，不需要对网络实例的特征之间做独立性假设，实例特征之间具有一定的相关性，通过增加隐状态变量(状态的具体含义以及状态之间的变化可能未知)，能更好地描述识别特征中的一些隐含信息和状态变化过程。又由于FHCRFs模型的结构更加复杂多样，其训练过程也必然要比其它模型要付出更高的代价，所以通过模糊函数对训练数据集进行模糊化处理，大大减少了属性数目，减小了处理难度，提高了训练速度。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1是本发明基于模糊隐条件随机场的入侵检测系统的结构框图；

图2是本发明模糊隐条件随机场的训练过程；

图3是本发明模糊隐条件随机场的检测过程；

图4是本发明模糊隐条件随机场模型。

具体实施方式

以下将结合附图，对本发明的优选实施例进行详细的描述；应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

图1是本发明基于模糊隐条件随机场的入侵检测系统的结构框图，图2为本发明实施例提供的模糊隐条件随机场模型的训练过程，图3为本发明实施例提供的模糊隐条件随机场模型的检测过程，图4为本发明实施例提供的模糊隐条件随机场模型。

实施例1

本实施例提供了一种基于模糊隐条件随机场模型的网络入侵检测方法，包括以下步骤：

步骤一：利用网络数据采集工具收集网络实例，随机选取正常网络实例和异常网络实例作为模糊隐条件随机场模型的训练数据集；

步骤二：对收集的网络实例进行预处理；

步骤三：将预处理后的网络实例进行特征选择；

步骤四：模糊隐条件随机场模型利用所选特征训练生成检测模型；

步骤五：利用步骤四中生成的检测模型对实际运行中的网络实例进行检测；

步骤六：对网络入侵检测做相应处理，当检测为异常网络实例时，阻止网络实例；当检测为正常网络实例时，允许网络实例运行。

所述网络实例预处理，在对模糊隐条件随机场模型训练、检测前利用以下模糊函数对数据进行模糊化处理：

sigmf(x,[A,C])＝1/(1+EXP(-A×(x-C)))；

其中，sigmf()表示模糊化处理函数；A和C为模糊函数的控制参数；x表示训练数据中特征的实际数值。

步骤三中，针对网络攻击类型的特点，依据多次试验结果和理论分析，对每一类攻击进行特征选择；步骤四中，模糊隐条件随机场利用每种攻击所选择的特征进行训练，得到模糊隐条件随机场各参数的值，从而建立攻击类型所对应的检测模型。

在给定观察序列n的条件下，运用模糊隐条件随机场模型根据观察序列n及定义在其上的隐状态集合H和标签m建立如下联合概率模型：

$P(m,H|n;\mathrm{\θ})=\frac{\exp \left(\mathrm{\ψ}(m,H,n;\mathrm{\θ})\right)}{\underset{m^{\′},H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m^{\′},H,n;\mathrm{\θ})\right)};$

其中，n表示所选特征组成的特征向量；

θ为模型的特征权重参数，需要从训练数据中估计得到；

H表示隐状态集合；

m表示某个标签，m'在累加计算中依次表示各个标签；

ψ(m,H,n；θ)为模糊势函数，表示如下：

$\mathrm{\ψ}(m,H,n;\mathrm{\θ})=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}\underset{r\∈S_v}{\mathrm{\Σ}}\mathrm{\α}(i,m,H_i,n){\mathrm{\θ}}_r^1+\underset{(i,j)\∈E}{\mathrm{\Σ}}\underset{r\∈S_e}{\mathrm{\Σ}}\mathrm{\β}(i,j,m,H_i,H_j,n){\mathrm{\θ}}_r^2;$

其中，隐变量{H₁,…,H_t}属于图模型中的顶点，

E是图模型中边的集合，S_v为点的模糊特征集，S_e为边的模糊特征集；

α(i,m,H_i,n)和β(i,j,m,H_i,H_j,n)分别为顶点和边所对应的模糊特征函数；

和分别为模型的特征权重参数的分量；

i和j取值都是(1-t)；

t表示隐变量的个数；

所属标签m的概率P(m|n；θ)为：

$P\left(m\right|n;\mathrm{\θ})=\underset{H}{\mathrm{\Σ}}P(m,H|n;\mathrm{\θ})=\frac{\underset{H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m,H,n;\mathrm{\θ})\right)}{\underset{m^{\′},H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m^{\′},H,n;\mathrm{\θ})\right)}.$

步骤五中，对待检测序列进行检测时，标签m倾向于满足以n为条件的最大全局条件概率：

m^*＝argmaxP(m|n；θ)；

其中，m^*表示检测结果，即预测的标签。

步骤四中，利用Quasi-Newton方法在训练数据集中估计模型的特征权重参数θ^*＝argmaxL(θ)，在训练的过程中，第k个训练实例的似然估计L_k(θ)为：

$L_k\left(\mathrm{\θ}\right)=\log P\left(m_k\right|n_k,\mathrm{\θ})=\log \left(\frac{\underset{H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m_k,H,n_k;\mathrm{\θ})\right)}{\underset{m^{\′},H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m^{\′},H,n_k;\mathrm{\θ})\right)}\right)---\left(6\right)$

所述当似然估计L_k(θ)值的收敛精度达到预设阈值而停止迭代训练时得到模型的特征权重参数。

所述模型中单个隐状态变量的模糊特征函数α(i,m,H_i,n)的特征权重参数的梯度推导为：

$\begin{array}{c}\frac{{\∂L}_k\left(\mathrm{\θ}\right)}{{\∂\mathrm{\θ}}_r^1}=\underset{H}{\mathrm{\Σ}}P\left(H\right|m_k,n_k,\mathrm{\θ})\frac{\∂\mathrm{\ψ}(m_k,H,n_k;\mathrm{\θ})}{{\∂\mathrm{\θ}}_r^1}\\ -\underset{m^{\′},H}{\mathrm{\Σ}}P(m^{\′},H|n_k,\mathrm{\θ})\frac{\∂\mathrm{\ψ}(m^{\′},H,n_k;\mathrm{\θ})}{{\∂\mathrm{\θ}}_r^1}\\ =\underset{i,c}{\mathrm{\Σ}}P(H_i=c|m_k,n_k,\mathrm{\θ})\mathrm{\α}(i,m_k,c,n_k)\\ -\underset{m^{\′},i,c}{\mathrm{\Σ}}P(H_i=c,m^{\′}|n_k,\mathrm{\θ})\mathrm{\α}(i,m^{\′},c,n_k)\end{array}---\left(7\right)$

其中，P(H_i＝c|m_k,n_k,θ)和P(H_i＝c,m'|n_k,θ)通过bp神经网络算法计算出来。

所述模型中两个隐状态变量H_i和H_j的模糊特征函数β(i,j,m,H_i,H_j,n)，相应特征权重参数的梯度推导为：

$\begin{array}{c}\frac{{\∂L}_k\left(\mathrm{\θ}\right)}{{\∂\mathrm{\θ}}_r^2}=\underset{(i,j)\∈E,c,d}{\mathrm{\Σ}}P(H_i=c,H_j=d|m_k,n_k,\mathrm{\θ})\mathrm{\β}(i,j,m_k,c,d,n_k)\\ -\underset{m^{\′},(i,j)\∈E,c,d}{\mathrm{\Σ}}P(H_i=c,H_j=d,m^{\′}|n_k,\mathrm{\θ})\mathrm{\β}(i,j,m^{\′},c,d,n_k)\end{array}---\left(8\right)$

其中，P(H_i＝c,H_j＝d|m_k,n_k,θ)和P(H_i＝c,H_j＝d,m'|n_k,θ)通过bp神经网络算法计算出来。

实施例2

如图1所示：本发明基于模糊隐条件随机场的入侵检测系统包含网络实例采集模块，实例预处理模块，特征选择模块，检测模型生成模块，实例检测模块以及结果处理模块。

所述训练数据集模块，用于利用网络数据采集工具收集网络实例，随机选取正常网络实例和异常网络实例作为模糊隐条件随机场模型的训练数据集；

所述预处理模块，用于对收集的网络实例进行预处理；

所述特征选择模块，用于将预处理后的网络实例进行特征选择；

所述检测模型生成模块，用于模糊隐条件随机场模型利用所选特征训练生成检测模型；

所述实例检测模块，用于利用步骤四中生成的检测模型对实际运行中的网络实例进行检测；

所述结果处理模块，用于对网络入侵检测结果做相应处理，当检测为异常网络实例时，阻止网络实例；当检测为正常网络实例时，允许网络实例运行。

如图2所示：本发明提供的模糊隐条件随机场模型的训练过程，包括网络数据采集、预处理、特征选择和FHCRFs模型训练；

所述预处理就是对收集到的网络数据进行模糊化处理的过程，即在对模糊隐条件随机场模型训练、检测前利用以下模糊函数对数据进行模糊化处理，：

sigmf(x,[A,C])＝1/(1+EXP(-A×(x-C)))；

其中，sigmf()表示模糊化处理函数；A和C为模糊函数的控制参数，在本实施例中A取1，C取训练数据集中每个特征值的中间值；x表示训练数据中特征的实际数值。

模糊化用来减小属性数目，提高训练速度及泛化能力，克服了其它模型存在的训练较慢等缺点，实现较好的网络入侵检测效果的目的。

所述特征选择，即针对网络攻击类型(Probe、DoS、U2R和R2L)特点，依据多次试验结果和理论分析，对每一类攻击进行特征选择，其中Probe这种类型的攻击目标是通过在不同的模式下扫描网络以获取有用的关于主机的信息，基本连接级别的特征对于这种攻击比较重要。由连接持续时间(duration)、协议类型(protocol_type)、网络服务(service)、连接状态(flag)和下行字节数(src_bytes)这5个特征决定；DoS攻击是一种非常常见的攻击，有许多分支种类,DoS攻击试图通过巨量的非法请求屏蔽某些服务。因此流量和数据包级别的特征对识别DoS攻击意义重大。由连接持续时间(duration)、协议类型(protocol_type)、连接状态(flag)、下行字节数(src_bytes)、相同目标主机的连接数(count)、相同目标主机且同一服务比率(dst_host_same_srv_rate)、相同目标主机SYN错误连接比率(dst_host_serror_rate)、相同目标主机且同一服务SYN错误比率(dst_host_srv_serror_rate)和相同目标主机且同一服务REJ错误比率(dst_host_srv_rerror_rate)这9个特征决定；U2R攻击的目标是获得系统的超级用户特权，涉及语义的细节，通常是基于内容和目标应用程序的。由敏感访问次数(hot)、违规次数(num_compromised)、超级用户权限获取成功与否(root_shell)、超级用户访问次数(num_root)、文件创建次数(num_file_creations)、shell命令使用次数(num_shells)、文件访问次数(num_access_files)和是否超级hot用户登录(is_host_login)这8个特征决定；R2L攻击企图在没有帐户情况下远程获取机器的访问权限。这种行为会同时影响到网络级和主机级的特征，由连接持续时间(duration)、协议类型(protocol_type)、网络服务(service)、连接状态(flag)、下行字节数(src_bytes)、敏感访问次数(hot)、登录失败次数(num_failed_logins)、登录成功与否(logged_in)、违规次数(num_compromised)、文件创建次数(num_file_creations)、shell命令使用次数(num_shells)、文件访问次数(num_access_files)、是否超级hot用户登录(is_host_login)和是否guest用户登录(is_guest_login)这14个特征共同决定。

所述FHCRFs模型训练，即FHCRFs模型根据Probe、DoS、U2R和R2L这4类攻击所选特征分别与正常网络实例特征进行训练，生成针对每类攻击的检测模型。

如图3所示：本发明提供的模糊隐条件随机场模型的检测过程，包括FHCRFs模型检测和响应处理；

所述FHCRFs模型检测，即将网络实例送入针对4类攻击所生成的FHCRFs模型中，将网络实例送入由Probe攻击和正常网络实例所生成的FHCRFs模型，判断此网络实例是否为入侵行为，如果为入侵行为，则进行响应处理；否则送入由DoS攻击和正常网络实例所生成的FHCRFs模型；

所述由DoS攻击和正常网络实例所生成的FHCRFs模型中，判断此网络实例是否为入侵行为，如果为入侵行为，则进行响应处理；否则送入由U2R攻击和正常网络实例所生成的FHCRFs模型；

所述由U2R攻击和正常网络实例所生成的FHCRFs模型中，判断此网络实例是否为入侵行为，如果为入侵行为，则进行响应处理；否则送入由R2L攻击和正常网络实例所生成的FHCRFs模型；

所述由R2L攻击和正常网络实例所生成的FHCRFs模型中，判断此网络实例是否为入侵行为，如果为入侵行为，则进行响应处理；否则判断此网络实例为正常网络实例，允许实例运行；

所述响应处理就是对确认的入侵行为采取相应的响应，即首先发出网络攻击警报，然后阻止实例。

本实施例提供的一种基于模糊隐条件随机场模型的网络入侵检测方法，对网络实例进行检测，包括以下步骤：

步骤一：利用网络数据采集工具收集网络实例，随机选取正常网络实例和异常网络实例作为模糊隐条件随机场模型的训练数据集；

步骤二：对收集的网络实例进行预处理；

步骤三：将预处理后的网络实例进行特征选择；

步骤四：模糊隐条件随机场模型利用所选特征训练生成检测模型；

模糊隐条件随机场是一种具有隐状态变量的无向图概率模型。在给定一个观察序列时，在模糊隐条件随机场模型中存在一个对应的隐状态序列，当前时刻的隐状态既可以只根据当前时刻的观察元素预测产生，也可以根据当前时刻的观察元素和相邻观察元素共同预测产生。

一种典型的模糊隐条件随机场模型，如图4所示，其中n＝{n1,n2,n3…nt}为模糊隐条件随机场模型的输入观察序列,H＝{H1,H2,H3…Ht}为输入观察序列n所对应的隐状态序列，H是根据观察序列n产生的，其在观察序列中不能被观察到，m为标签，是根据隐状态之间的结构来得到的。

在给定输入观察序列n和模糊隐条件随机场模型的特征权重参数θ的条件下，则标签m的联合概率为：

$P(m,n;\mathrm{\θ})=\frac{\exp \left(\mathrm{\ψ}(m,H,n;\mathrm{\θ})\right)}{\underset{m^{\′},H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m^{\′},H,n;\mathrm{\θ})\right)}---\left(1\right)$

公式(1)中，ψ(m,H,n；θ)为模糊势函数，可以表示为：

$\mathrm{\ψ}(m,H,n;\mathrm{\θ})=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}\underset{r\∈S_v}{\mathrm{\Σ}}\mathrm{\α}(i,m,H_i,n){\mathrm{\θ}}_r^1+\underset{(i,j)\∈E}{\mathrm{\Σ}}\underset{r\∈S_e}{\mathrm{\Σ}}\mathrm{\β}(i,j,m,H_i,H_j,n){\mathrm{\θ}}_r^2---\left(2\right)$

模糊隐条件随机场是一种由顶点和边组成的无向图概率模型。公式(2)中，隐变量{H₁,…,H_t}属于图模型中的顶点，E是图模型中边的集合，S_v为顶点的模糊特征集，S_e为边的模糊特征集；α(i,m,H_i,n)和β(i,j,m,H_i,H_j,n)分别为顶点和边所对应的模糊特征函数；和分别为模型的特征权重参数的分量。

利用Quasi-Newton方法在训练数据集中估计模型的特征权重参数θ^*＝argmaxL(θ)。在训练的过程中，第k个训练实例的似然估计L_k(θ)为：

$L_k\left(\mathrm{\θ}\right)=\log P\left(m_k\right|n_k,\mathrm{\θ})=\log \left(\frac{\underset{H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m_k,H,n_k;\mathrm{\θ})\right)}{\underset{m^{\′},H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m^{\′},H,n_k;\mathrm{\θ})\right)}\right)---\left(3\right)$

当似然估计值达到一定的收敛精度后就停止迭代训练，从而得到模型的特征权重参数。对于依赖模型中的单个隐状态变量的模糊特征函数α(i,m,H_i,n)，相应的特征权重参数的梯度推导为：

$\begin{array}{c}\frac{{\∂L}_k\left(\mathrm{\θ}\right)}{{\∂\mathrm{\θ}}_r^1}=\underset{H}{\mathrm{\Σ}}P\left(H\right|m_k,n_k,\mathrm{\θ})\frac{\∂\mathrm{\ψ}(m_k,H,n_k;\mathrm{\θ})}{{\∂\mathrm{\θ}}_r^1}\\ -\underset{m^{\′},H}{\mathrm{\Σ}}P(m^{\′},H|n_k,\mathrm{\θ})\frac{\∂\mathrm{\ψ}(m^{\′},H,n_k;\mathrm{\θ})}{{\∂\mathrm{\θ}}_r^1}\\ =\underset{i,c}{\mathrm{\Σ}}P(H_i=c|m_k,n_k,\mathrm{\θ})\mathrm{\α}(i,m_k,c,n_k)\\ -\underset{m^{\′},i,c}{\mathrm{\Σ}}P(H_i=c,m^{\′}|n_k,\mathrm{\θ})\mathrm{\α}(i,m^{\′},c,n_k)\end{array}---\left(4\right)$

公式(4)中，P(H_i＝c|m_k,n_k,θ)和P(H_i＝c,m'|n_k,θ)可以通过bp算法计算出来。

对于依赖模型中的两个隐状态变量H_i和H_j的模糊特征函数β(i,j,m,H_i,H_j,n)，相应特征权重参数的梯度推导为：

$\begin{array}{c}\frac{{\∂L}_k\left(\mathrm{\θ}\right)}{{\∂\mathrm{\θ}}_r^2}=\underset{(i,j)\∈E,c,d}{\mathrm{\Σ}}P(H_i=c,H_j=d|m_k,n_k,\mathrm{\θ})\mathrm{\β}(i,j,m_k,c,d,n_k)\\ -\underset{m^{\′},(i,j)\∈E,c,d}{\mathrm{\Σ}}P(H_i=c,H_j=d,m^{\′}|n_k,\mathrm{\θ})\mathrm{\β}(i,j,m^{\′},c,d,n_k)\end{array}---\left(5\right)$

公式(5)中，P(H_i＝c,H_j＝d|m_k,n_k,θ)和P(H_i＝c,H_j＝d,m'|n_k,θ)同样可以通过bp算法计算出来。

步骤五：利用步骤四中生成的检测模型对网络实例进行检测；

对待检测序列进行检测时，标签m倾向于满足以n为条件的最大全局条件概率m^*＝argmaxP(m|n；θ)。

步骤六：对网络入侵检测做相应处理。当检测为异常网络实例时，阻止网络实例；当检测为正常网络实例时，允许网络实例运行。

以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.基于模糊隐条件随机场模型的网络入侵检测方法，其特征在于：包括以下步骤：

步骤一：利用网络数据采集工具收集网络实例，随机选取正常网络实例和异常网络实例作为模糊隐条件随机场模型的训练数据集；

步骤二：对收集的网络实例进行预处理；

步骤三：将预处理后的网络实例进行特征选择；

步骤四：模糊隐条件随机场模型利用所选特征训练生成检测模型；

步骤五：利用步骤四中生成的检测模型对实际运行中的网络实例进行检测；

步骤六：对网络入侵检测做相应处理，当检测为异常网络实例时，阻止网络实例；当检测为正常网络实例时，允许网络实例运行。

2.根据权利要求书1所述的基于模糊隐条件随机场模型的网络入侵检测方法，其特征在于：所述网络实例预处理，在对模糊隐条件随机场模型训练、检测前利用以下模糊函数对数据进行模糊化处理：

sigmf(x,[A,C])＝1/(1+EXP(-A×(x-C)))；

其中，sigmf()表示模糊化处理函数；A和C为模糊函数的控制参数；x表示训练数据中特征的实际数值。

3.根据权利要求书1所述的基于模糊隐条件随机场模型的网络入侵检测方法，其特征在于：步骤三中，针对网络攻击类型的特点，依据多次试验结果和理论分析，对每一类攻击进行特征选择；步骤四中，模糊隐条件随机场利用每种攻击所选择的特征进行训练，得到模糊隐条件随机场各参数的值，从而建立攻击类型所对应的检测模型。

4.根据权利要求书4所述的基于模糊隐条件随机场模型的网络入侵检测方法，其特征在于：在给定观察序列n的条件下，运用模糊隐条件随机场模型根据观察序列n及定义在其上的隐状态集合H和标签m建立如下联合概率模型：

$P(m,H|n;\mathrm{\θ})=\frac{\exp \left(\mathrm{\ψ}(m,H,n;\mathrm{\θ})\right)}{\underset{m^{\′},H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m^{\′},H,n;\mathrm{\θ})\right)};$

其中，n表示所选特征组成的特征向量；

θ为模型的特征权重参数，需要从训练数据中估计得到；

H表示隐状态集合；

m表示某个标签，m'在累加计算中依次表示各个标签；

ψ(m,H,n；θ)为模糊势函数，表示如下：

$\mathrm{\ψ}(m,H,n;\mathrm{\θ})=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}\underset{r\∈S_v}{\mathrm{\Σ}}\mathrm{\α}(i,m,H_i,n){\mathrm{\θ}}_r^1+\underset{(i,j)\∈E}{\mathrm{\Σ}}\underset{r\∈S_e}{\mathrm{\Σ}}\mathrm{\β}(i,j,m,H_i,H_j,n){\mathrm{\θ}}_r^2;$

其中，隐变量{H₁,…,H_t}属于图模型中的顶点，

E是图模型中边的集合，S_v为点的模糊特征集，S_e为边的模糊特征集；

α(i,m,H_i,n)和β(i,j,m,H_i,H_j,n)分别为顶点和边所对应的模糊特征函数；

和分别为模型的特征权重参数的分量；

i和j取值都是(1-t)；

t表示隐变量的个数；

所属标签m的概率P(m|n；θ)为：

$P\left(m\right|n;\mathrm{\θ})=\underset{H}{\mathrm{\Σ}}P(m,H|n;\mathrm{\θ})=\frac{\underset{H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m,H,n;\mathrm{\θ})\right)}{\underset{m^{\′},H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m^{\′},H,n;\mathrm{\θ})\right)}.$

5.根据权利要求书4所述的基于模糊隐条件随机场模型的网络入侵检测方法，其特征在于：步骤五中，对待检测序列进行检测时，标签m倾向于满足以n为条件的最大全局条件概率：

m^*＝argmaxP(m|n；θ)；

其中，m^*表示检测结果，即预测的标签。

6.根据权利要求书4所述的基于模糊隐条件随机场模型的网络入侵检测方法，其特征在于：步骤四中，利用Quasi-Newton方法在训练数据集中估计模型的特征权重参数θ^*＝argmaxL(θ)，在训练的过程中，第k个训练实例的似然估计L_k(θ)为：

$L_k\left(\mathrm{\θ}\right)=\log P\left(m_k\right|n_k,\mathrm{\θ})=\log \left(\frac{\underset{H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m_k,H,n_k;\mathrm{\θ})\right)}{\underset{m^{\′},H}{\mathrm{\Σ}}\exp \left(\mathrm{\ψ}(m^{\′},H,n_k;\mathrm{\θ})\right)}\right)---\left(6\right)$

所述当似然估计L_k(θ)值的收敛精度达到预设阈值而停止迭代训练时得到模型的特征权重参数。

7.根据权利要求书5所述的基于模糊隐条件随机场模型的网络入侵检测方法，其特征在于：所述单个隐状态变量的模糊特征函数α(i,m,H_i,n)的特征权重参数的梯度推导为：

$\begin{array}{c}\frac{{\∂L}_k\left(\mathrm{\θ}\right)}{{\∂\mathrm{\θ}}_r^1}=\underset{H}{\mathrm{\Σ}}P\left(H\right|m_k,n_k,\mathrm{\θ})\frac{\∂\mathrm{\ψ}(m_k,H,n_k;\mathrm{\θ})}{{\∂\mathrm{\θ}}_r^1}\\ -\underset{m^{\′},H}{\mathrm{\Σ}}P(m^{\′},H|n_k,\mathrm{\θ})\frac{\∂\mathrm{\ψ}(m^{\′},H,n_k;\mathrm{\θ})}{{\∂\mathrm{\θ}}_r^1}\\ =\underset{i,c}{\mathrm{\Σ}}P(H_i=c|m_k,n_k,\mathrm{\θ})\mathrm{\α}(i,m_k,c,n_k)\\ -\underset{m^{\′},i,c}{\mathrm{\Σ}}P(H_i=c,m^{\′}|n_k,\mathrm{\θ})\mathrm{\α}(i,m^{\′},c,n_k)\end{array}---\left(7\right)$

其中，P(H_i＝c|m_k,n_k,θ)和P(H_i＝c,m'|n_k,θ)通过bp神经网络算法计算出来。

8.根据权利要求书5所述的基于模糊隐条件随机场模型的网络入侵检测方法，其特征在于：所述两个隐状态变量H_i和H_j的模糊特征函数β(i,j,m,H_i,H_j,n)，相应特征权重参数的梯度推导为：

$\begin{array}{c}\frac{{\∂L}_k\left(\mathrm{\θ}\right)}{{\∂\mathrm{\θ}}_r^2}=\underset{(i,j)\∈E,c,d}{\mathrm{\Σ}}P(H_i=c,H_j=d|m_k,n_k,\mathrm{\θ})\mathrm{\β}(i,j,m_k,c,d,n_k)\\ -\underset{m^{\′},(i,j)\∈E,c,d}{\mathrm{\Σ}}P(H_i=c,H_j=d,m^{\′}|n_k,\mathrm{\θ})\mathrm{\β}(i,j,m^{\′},c,d,n_k)\end{array}---\left(8\right)$

其中，P(H_i＝c,H_j＝d|m_k,n_k,θ)和P(H_i＝c,H_j＝d,m'|n_k,θ)通过bp神经网络算法计算出来。

9.基于模糊隐条件随机场模型的网络入侵检测系统，其特征在于：包括训练数据集模块、预处理模块、特征选择模块、检测模型生成模块、实例检测模块和结果处理模块；

所述训练数据集模块，用于利用网络数据采集工具收集网络实例，随机选取正常网络实例和异常网络实例作为模糊隐条件随机场模型的训练数据集；

所述预处理模块，用于对收集的网络实例进行预处理；

所述特征选择模块，用于将预处理后的网络实例进行特征选择；

所述检测模型生成模块，用于模糊隐条件随机场模型利用所选特征训练生成检测模型；

所述实例检测模块，用于利用步骤四中生成的检测模型对实际运行中的网络实例进行检测；

所述结果处理模块，用于对网络入侵检测结果做相应处理，当检测为异常网络实例时，阻止网络实例；当检测为正常网络实例时，允许网络实例运行。

10.根据权利要求书9所述的基于模糊隐条件随机场模型的网络入侵检测系统，其特征在于：所述网络实例预处理，在对模糊隐条件随机场模型训练、检测前利用以下模糊函数对数据进行模糊化处理：

sigmf(x,[A,C])＝1/(1+EXP(-A×(x-C)))；

其中，sigmf()表示模糊化处理函数；A和C为模糊函数的控制参数；x表示训练数据中特征的实际数值。