CN109858245A - 一种基于改进深度置信网络的入侵检测方法 - Google Patents

一种基于改进深度置信网络的入侵检测方法 Download PDF

Info

Publication number
CN109858245A
CN109858245A CN201910124031.0A CN201910124031A CN109858245A CN 109858245 A CN109858245 A CN 109858245A CN 201910124031 A CN201910124031 A CN 201910124031A CN 109858245 A CN109858245 A CN 109858245A
Authority
CN
China
Prior art keywords
crbm
rbm
hidden
sparse
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910124031.0A
Other languages
English (en)
Inventor
田秋亭
韩德志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN201910124031.0A priority Critical patent/CN109858245A/zh
Publication of CN109858245A publication Critical patent/CN109858245A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进深度置信网络的入侵检测方法，包含以下过程：在连续受限玻尔兹曼机的似然函数中引入稀疏正则项，用对比散度算法进行训练；在受限波尔兹曼机的似然函数中引入稀疏正则项，用对比散度算法进行训练；判断引入稀疏正则项之后的连续受限波尔兹曼机和受限波尔兹曼机是否达到最大训练周期，若达到最大训练周期，则结束训练；否则，继续训练。将训练好的两种模型进行堆叠，最后加一层反向传播神经网络，形成稀疏化的深度置信网络，然后将其应用到入侵检测系统，进行分类检测。本发明将改进的深度置信网络用于入侵检测系统具有较高的分类准确率、较低的误报率以及具有良好的稀疏性能。

Description

一种基于改进深度置信网络的入侵检测方法
技术领域
本发明涉及入侵检测网络安全领域，特别涉及一种基于改进深度置信网络的入侵检测方法。
背景技术
随着网络环境越来越复杂，网络中不断加入各式各样的设备，安全隐患问题越来越多，网络管理员的任务不断加重。因此，入侵检测系统(Intrusion Detection System，IDS)的不断完善变得非常重要。
入侵检测技术是一种积极主动的网络安全防护技术，它可以提供对内部攻击、外部攻击和误操作的实时保护，在网络系统受到攻击之前对其进行有效的拦截和阻止。IDS的分类有多种方法，如按照审计对象的不同，可以分为基于主机的IDS、基于网络的IDS以及基于网络/主机的混合型IDS；按照检测技术可以分为误用检测和异常检测。其中检测技术实际上是指所用的入侵检测算法。目前最常用的入侵检测算法可以归为三种，分别是误用检测算法、异常检测算法和人工智能检测算法。
近年来，深度学习飞速发展，它是机器学习发展历程中一个崭新的领域。深度学习在语音识别、图像识别、机器翻译、自然语言处理等方面得到了广泛的应用，使得人工智能越来越贴近人类的生活。相对于支持向量机、逻辑回归等浅层学习方法，深度学习由于模型的深度网络结构，可以对原始数据集进行多次非线性变换提取高维特征，使获取的特征具有层次结构。深度学习是对神经网络的进一步发展，对输入的数据进行多层特征提取，得到更适合分类的数据集。入侵检测作为典型的分类问题，将其和深度学习技术结合，为解决入侵检测问题提供了一个新的研究方向。作为最经典深度学习方法的深度置信网络(DeepBelief Network，DBN)，是由多层的受限波尔兹曼机(Restricted Boltzmann Machine，RBM)堆叠组成。而RBM随着隐藏层节点数的增加，在一定条件下可以拟合任意的数据分布。因此，通过加大隐单元个数，理论上可以拟合任意的数据分布。然而随着隐单元个数的增加，RBM的训练存在两个问题：1)隐单元的大量引入会使得编码得到的隐藏层特征高度自相关，训练可能会面临过拟合的问题；2)大量节点的引入会造成训练效率低下，同时，RBM在训练中可能因为过拟合问题长时间处于局部最优值，使得测试数据的分类性能下降。因此，设计一种较优的分类方法，改善网络使其更好地拟合训练数据，提高分类准确率以及具有较优的稀疏性能都有重要的研究意义。
发明内容
本发明的目的在于提供一种基于改进深度置信网络的入侵检测方法，该方法在连续受限玻尔兹曼机(CRBM)和受限玻尔兹曼机(RBM)的似然函数中分别引入稀疏正则项，然后将它们进行堆叠，构成改进的深度置信网络；将改进的深度置信网络应用到入侵检测系统相比以往的入侵检测技术具有更高的分类准确率，较低的误报率以及良好的稀疏性能。
为了达到上述目的，本发明通过以下技术方案实现：
一种基于改进深度置信网络的入侵检测方法，该方法包含以下步骤：
S1、在连续受限玻尔兹曼机CRBM的似然函数中引入基于拉普拉斯函数的稀疏正则项，构成改进的CRBM，即LS-CRBM；
S2、使用对比散度算法训练LS-CRBM，通过稀疏约束获得数据集的稀疏分布；
S3、在受限波尔兹曼机RBM的似然函数中引入基于拉普拉斯函数的稀疏正则项，构成改进的RBM，即LS-RBM；
S4、使用对比散度算法训练LS-RBM，通过稀疏约束获得数据集的稀疏分布；
S5、判断LS-CRBM和LS-RBM的训练是否达到最大训练周期，若达到最大训练周期，转到步骤S6；否则，转到步骤S1；其中，LS-CRBM和LS-RBM的训练都要达到最大训练周期，才可以跳到步骤S6，因为改进深度置信网络的训练是逐层训练，将每一层训练好之后才可以堆叠，所以LS-CRBM和LS-RBM其中只有一个训练好不能进行堆叠；
S6、将训练好的LS-CRBM和LS-RBM进行堆叠，再加一层反向传播神经网络，构成最终的改进深度置信网络LS-DBN，进行分类训练；
S7、用反向传播算法进行反向微调LS-DBN模型参数，形成训练好的LS-DBN模型，然后输入测试集进行快速学习，即可得到每条测试数据的入侵类别。
优选地，所述步骤S1中，CRBM是指将输入节点由二值变量节点拓展为连续输入的实值变量节点且隐藏层采用服从伯努利分布的二值神经元节点的CRBM；
CRBM的能量函数为：
式中，vi为可见单元输入i的状态，hj为隐单元特征j的状态；ai和bj分别为可见单元和隐单元的偏置；ωij为可见单元输入i和隐单元特征j之间的权重；v表示可见层，h表示隐藏层；I和J分别为可见单元和隐单元的个数；θ＝(ωij,ai,bj)是CRBM的参数；σ为高斯函数的标准方差向量；
CRBM的边缘分布为：
式中，z(θ)为归一化因子，即z(θ)＝∑v∑he-E(v,h|θ)；θ是CRBM的参数；v表示可见层，h表示隐藏层；
所述CRBM的训练是指通过给定的训练数据集估计模型的参数θ：当给定一组训练样本集合S＝{v(1),v(2),…,v(I)}时，其目标是学习CRBM的参数θ，使得训练样本集合中所有样本的似然函数最大，则参数θ通过求训练样本的极大似然函数得到：
其中，是指CRBM模型的极大似然函数，是指CRBM模型的似然函数；
CRBM模型的参数更新公式为：
式中，v(i)为第i个训练样本；θ是CRBM的参数；<·>data为训练数据集所定义的分布上的数学期望；<·>recon为重构后模型所定义的分布上的期望；σ为高斯函数的标准方差向量；为权重ωij的偏导，为可见单元偏置ai的偏导，为隐单元偏置bj的偏导。
优选地，所述步骤S1中，在CRBM的似然函数中引入稀疏正则项构成LS-CRBM的过程包含：使用Laplace函数惩罚来诱导隐单元的稀疏状态，在CRBM的似然函数中添加稀疏正则项，通过正则项限制所有隐单元的激活概率产生稀疏性，可以学习有用的低级特征表示，具体如下：
假设给定一组训练样本集合S＝{v(1),v(2),…,v(I)}，使用稀疏正则化的无监督预训练来优化模型，则增加稀疏正则项之后的LS-CRBM模型目标函数为：
其中，是CRBM模型的似然函数，λHsparse是LS-CRBM模型的稀疏正则项；
因此，改进后的模型目标函数是似然函数和稀疏正则项两项之和；其中，HCRBM为CRBM的似然函数；λ为稀疏正则化参数，反映数据分布相对于正则化项的相对重要性；Hsparse表示任意的稀疏正则化函数；v(i)为第i个训练样本；I为可见单元的个数；θ是CRBM的参数；LS-CRBM模型不限制每个隐单元拥有相同的稀疏度，且根据隐单元的激活概率和稀疏目标P的差距而具有不同的稀疏程度；
其中，稀疏正则化函数Hsparse的定义如下：
式中，J表示隐单元的个数；L(qj,p,μ)为Laplace的概率密度函数；qj表示所给样本数据的第j个隐单元的条件期望的平均值；p是一个常数，控制J个隐单元的稀疏度；μ是位置参数；当固定稀疏目标P时，函数的分布会随着μ的变化而变化，使得同层中不同的隐单元根据数据特征的不同而具有不同的激活概率；
增加稀疏正则项之后的LS-CRBM模型的目标函数为：
式中，E(·)是给定数据的第j个隐单元的条件期望；为给定可见单元i时，所对应的隐单元j；v(i)为第i个训练样本；
LS-CRBM模型的隐单元为伯努利分布，hj只能取0或1，则：
式中，I为可见单元的个数；是指给定训练样本v(i)时，隐单元hj的激活概率；
最终，LS-CRBM模型的目标函数为：
优选地，所述步骤S3中，RBM是通过输入数据集学习概率分布的随机生成神经网络，其为两层的无向图模型，包括一个可见层和一个隐藏层，RBM模型同一层中的节点之间未连接，不同层之间彼此互连；
在RBM中，可见层用向量v′来表示，隐藏层用向量h′来表示，则RBM的能量函数可以表示为：
式中，v′i为可见单元输入i的状态，h′j隐单元特征j的状态；a′i和b′j分别为可见单元和隐单元的偏置；ω′ij为可见单元i和隐单元j之间的权重；θ′＝(ω′ij,a′i,b′j)是RBM的参数；v′和h′分别为可见层和隐藏层；
基于上述能量函数，(v',h')的联合概率为：
式中，z(θ′)为归一化因子，即z(θ′)＝∑v′∑h′e-E(v′,h′|θ′)；θ′是RBM的参数；v′和h′分别为可见层和隐藏层。
优选地，所述步骤S3中，在RBM的似然函数中引入稀疏正则项，构成LS-RBM的过程包含：使用Laplace函数惩罚来诱导隐单元的稀疏状态，在RBM的似然函数中添加稀疏正则项，通过正则项限制所有隐单元的激活概率产生稀疏性，可以学习有用的低级特征表示，具体如下：
假设给定一组训练样本集合S＝{v(1),v(2),…,v(I)}，使用稀疏正则化的无监督预训练来优化模型，则增加稀疏正则项之后的模型目标函数为：
因此，改进后的模型目标函数是似然函数和稀疏正则项两项之和；其中，HRBM为RBM的似然函数；λ为稀疏正则化参数，反映数据分布相对于正则化项的相对重要性；Hsparse表示任意的稀疏正则化函数；v(i)为第i个训练样本；θ′是RBM的参数；I为可见单元的个数；
增加稀疏正则项之后的LS-RBM模型的目标函数为：
式中，I为可见单元的个数，J为隐单元的个数；表示所给样本数据的第j个隐单元的条件期望的平均值，E(·)是给定数据的第j个隐单元的条件期望；p是一个常数，控制J个隐单元的稀疏度；μ是位置参数；为给定可见单元i时，所对应的隐单元j；
LS-RBM模型的隐单元为伯努利分布，hj只能取0或1，则：
式中，I为可见单元的个数；是指给定可见层v(i)时，隐单元hj的激活概率；v(i)为第i个训练样本；
最终，LS-RBM模型的目标函数为：
优选地，所述步骤S6中，将LS-CRBM和LS-RBM进行堆叠构成LS-DBN的过程包含：LS-DBN的底层为LS-CRBM，然后再逐层堆叠LS-RBM，最后加一层BP神经网络，最底层LS-CRBM训练好的参数和输出作为训练模型中下一个更高层的数据，即下一个LS-RBM，然后LS-RBM训练好的参数和输出作为训练模型中下一个更高层的数据，即下一个LS-RBM，多次循环迭代，将最后一层LS-RBM的训练数据和输出作为BP神经网络的输入，利用分类器对学习到的特征进行分类训练，学习到一个深层次的LS-DBN模型。
与现有技术相比，本发明的有益效果为：本发明充分考虑到在分类检测的不同任务中，需要处理的数据类型不一定是二值类的，并且会遇到变量不匹配的问题，因此引入CRBM；另考虑到普通的DBN在训练过程中容易产生大量的冗余特征，进而影响特征提取的能力，为了使模型更具有解释和判别能力，从而在构成DBN的CRBM和RBM中引入稀疏正则项，并使用CD算法(对比散度算法)进行训练，通过稀疏约束获得训练集的稀疏分布，能够有效降低特征同质化的影响，可以使无标签数据学习到更直观的特征表示；本发明将改进的DBN用于入侵检测系统，具有较高的分类准确率，较低的误报率以及具有良好的稀疏性能。
附图说明
图1为本发明基于改进深度置信网络的入侵检测方法的流程图。
具体实施方式
以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。
如图1所示，本发明公开了一种基于改进深度置信网络的入侵检测方法，该方法包含以下步骤：
S1、在连续受限玻尔兹曼机CRBM的似然函数中引入基于拉普拉斯函数的稀疏正则项，构成改进的CRBM，即LS-CRBM；
S2、使用对比散度算法训练LS-CRBM，通过稀疏约束获得数据集的稀疏分布；
S3、在受限波尔兹曼机RBM的似然函数中引入基于拉普拉斯函数的稀疏正则项，构成改进的RBM，即LS-RBM；
S4、使用对比散度算法训练LS-RBM，通过稀疏约束获得数据集的稀疏分布；
S5、判断LS-CRBM和LS-RBM的训练是否达到最大训练周期，若达到最大训练周期，转到步骤S6；否则，转到步骤S1；其中，LS-CRBM和LS-RBM的训练都要达到最大训练周期，才可以跳到步骤S6，因为改进深度置信网络的训练是逐层训练，将每一层训练好之后才可以堆叠，所以LS-CRBM和LS-RBM其中只有一个训练好不能进行堆叠；
S6、将训练好的LS-CRBM和LS-RBM进行堆叠，再加一层反向传播神经网络，构成最终的改进深度置信网络LS-DBN，进行分类训练；
S7、用反向传播算法进行反向微调LS-DBN模型参数，形成训练好的LS-DBN模型，然后输入测试集进行快速学习，即可得到每条测试数据的入侵类别。
CRBM是指：将输入节点由二值变量节点拓展为连续输入的实值变量节点且隐藏层采用服从伯努利分布的二值神经元节点的CRBM；
CRBM的能量函数为：
式中，vi为可见单元输入i的状态，hj为隐单元特征j的状态；ai和bj分别为可见单元和隐单元的偏置；ωij为可见单元输入i和隐单元特征j之间的权重；v表示可见层，h表示隐藏层；I和J分别为可见单元和隐单元的个数；θ＝(ωij,ai,bj)是CRBM的参数；σ为高斯函数的标准方差向量；
CRBM的边缘分布为：
式中，z(θ)为归一化因子，即z(θ)＝∑v∑he-E(v,h|θ)；θ是CRBM的参数；v表示可见层，h表示隐藏层；
所述CRBM的训练是指通过给定的训练数据集估计模型的参数θ：当给定一组训练样本集合S＝{v(1),v(2),…,v(I)}时，其目标是学习CRBM的参数θ，使得训练样本集合中所有样本的似然函数最大，则参数θ通过求训练样本的极大似然函数得到：
其中，是指CRBM模型的极大似然函数，是指CRBM模型的似然函数。
CRBM模型的参数更新公式为：
式中，v(i)为第i个训练样本；θ是CRBM的参数；<·>data为训练数据集所定义的分布上的数学期望；<·>recon为重构后模型所定义的分布上的期望；σ为高斯函数的标准方差向量；为权重ωij的偏导，为可见单元偏置ai的偏导，为隐单元偏置bj的偏导。
在CRBM的似然函数中引入稀疏正则项，构成LS-CRBM的过程是指：使用Laplace函数惩罚来诱导隐单元的稀疏状态，在CRBM的似然函数中添加稀疏正则项，通过正则项限制所有隐单元的激活概率产生稀疏性，可以学习有用的低级特征表示；在训练中引入稀疏性约束可以降低训练的过拟合风险，提升模型的分类精度；具体如下：
假设给定一组训练样本集合S＝{v(1),v(2),…,v(I)}，使用稀疏正则化的无监督预训练来优化模型；则增加稀疏正则项之后的LS-CRBM模型目标函数为：
其中，是CRBM模型的似然函数，λHsparse是LS-CRBM模型的稀疏正则项。
因此，改进后的模型目标函数是似然函数和稀疏正则项(λHsparse)两项之和；其中，HCRBM为CRBM的似然函数；λ为稀疏正则化参数，反映数据分布相对于正则化项的相对重要性；Hsparse表示任意的稀疏正则化函数；v(i)为第i个训练样本；I为可见单元的个数；θ是CRBM的参数；LS-CRBM模型不限制每个隐单元拥有相同的稀疏度，且根据隐单元的激活概率和稀疏目标P的差距而具有不同的稀疏程度；
其中，稀疏正则化函数Hsparse的定义如下：
式中，J表示隐单元的个数；L(qj,p,μ)为Laplace的概率密度函数；qj表示所给样本数据的第j个隐单元的条件期望的平均值；p是一个常数，控制J个隐单元的稀疏度；μ是位置参数；当固定稀疏目标P时，函数的分布会随着μ的变化而变化，从而使得同层中不同的隐单元根据数据特征的不同而具有不同的激活概率；
增加稀疏正则项之后的LS-CRBM模型的目标函数为：
式中，E(·)是给定数据的第j个隐单元的条件期望；为给定可见单元i时，所对应的隐单元j；v(i)为第i个训练样本；
LS-CRBM模型的隐单元为伯努利分布，hj只能取0或1，则：
式中，I为可见单元的个数；是指给定训练样本v(i)时，隐单元hj的激活概率；
最终，LS-CRBM模型的目标函数为：
RBM是指：RBM是通过输入数据集学习概率分布的随机生成神经网络，其为两层的无向图模型，包括一个可见层和一个隐藏层，RBM模型同一层中的节点之间未连接，不同层之间彼此互连；
在RBM中，可见层用向量v′来表示，隐藏层用向量h′来表示。则RBM的能量函数可以表示为：
式中，v′i为可见单元输入i的状态，h′j隐单元特征j的状态；a′i和b′j分别为可见单元和隐单元的偏置；ω′ij为可见单元i和隐单元j之间的权重；θ′＝(ω′ij,a′i,b′j)是RBM的参数；v′和h′分别为可见层和隐藏层；
基于上述能量函数，(v',h')的联合概率为：
式中，z(θ′)为归一化因子，即z(θ′)＝∑v′∑h，e-E(v′,h′|θ′)；θ′是RBM的参数；v′和h′分别为可见层和隐藏层。
在RBM的似然函数中引入稀疏正则项，构成LS-RBM的过程是指：使用Laplace函数惩罚来诱导隐单元的稀疏状态，在RBM的似然函数中添加稀疏正则项，通过正则项限制所有隐单元的激活概率产生稀疏性，可以学习有用的低级特征表示，具体如下：
假设给定一组训练样本集合S＝{v(1),v(2),…,v(I)}，使用稀疏正则化的无监督预训练来优化模型，则增加稀疏正则项之后的模型目标函数为：
因此，改进后的模型目标函数是似然函数和稀疏正则项两项之和；其中，HRBM为RBM的似然函数；λ为稀疏正则化参数，反映数据分布相对于正则化项的相对重要性；Hsparse表示任意的稀疏正则化函数；v(i)为第i个训练样本；θ′是RBM的参数；I为可见单元的个数；
增加稀疏正则项之后的LS-RBM模型的目标函数为：
式中，I为可见单元的个数，J为隐单元的个数；表示所给样本数据的第j个隐单元的条件期望的平均值，E(·)是给定数据的第j个隐单元的条件期望；p是一个常数，控制J个隐单元的稀疏度；μ是位置参数；为给定可见单元i时，所对应的隐单元j；
LS-RBM模型的隐单元为伯努利分布，hj只能取0或1，则：
式中，I为可见单元的个数；是指给定可见层v(i)时，隐单元hj的激活概率；v(i)为第i个训练样本；
最终，LS-RBM模型的目标函数为：
将LS-CRBM和LS-RBM进行堆叠，构成LS-DBN的过程是指：LS-DBN的底层为LS-CRBM，然后再逐层堆叠LS-RBM，最后加一层BP神经网络，最底层LS-CRBM训练好的参数和输出作为训练模型中下一个更高层的数据，即下一个LS-RBM，然后LS-RBM训练好的参数和输出作为训练模型中下一个更高层的数据，即下一个LS-RBM，多次循环迭代，将最后一层LS-RBM的训练数据和输出作为BP神经网络的输入，利用分类器对学习到的特征进行分类训练，学习到一个深层次的LS-DBN模型。
本发明中，为检测基于改进深度置信网络的入侵检测方法的性能，将其和普通的DBN进行对比分析。
表1评估结果
攻击类型 检测率(％) 召回率(％) F1值(％)
Normal 95.1 95.9 95.5
Dos 97.1 98.8 97.9
Probe 97.2 96.0 96.6
R2l 95.6 88.7 92.0
U2r 76.0 87.9 81.5
从表1中可以看出，LS-DBN对Dos、Probe和R2l类型的攻击检测率超过了90％，表明LS-DBN对各个攻击类型的识别能力较优。在召回率方面，Dos和Probe类型的攻击召回率比较高；而F1值是检测率和召回率的调和均值，相当于检测率和召回率的综合评价指标。从表中可以看出，F1值还是较高的，表明LS-DBN检测性能比较好。
表2检测模型的结果对比
模型 准确率(％)
DBN 92.36
LS-DBN 95.90
从表2中可以看出，LS-DBN模型的分类准确率高于普通DBN模型。LS-DBN模型相对DBN模型在似然函数中添加了稀疏性约束，并且可见层单元可以处理实值数据。对于分布在实数域上的数据能够更好的拟合，使得其分类准确率得到了一定的提高。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (6)

1.一种基于改进深度置信网络的入侵检测方法，其特征在于，该方法包含以下步骤：
S1、在连续受限玻尔兹曼机CRBM的似然函数中引入基于拉普拉斯函数的稀疏正则项，构成改进的CRBM，即LS-CRBM；
S2、使用对比散度算法训练LS-CRBM，通过稀疏约束获得数据集的稀疏分布；
S3、在受限波尔兹曼机RBM的似然函数中引入基于拉普拉斯函数的稀疏正则项，构成改进的RBM，即LS-RBM；
S4、使用对比散度算法训练LS-RBM，通过稀疏约束获得数据集的稀疏分布；
S5、判断LS-CRBM和LS-RBM的训练是否达到最大训练周期，若两者均达到最大训练周期，转到步骤S6；否则，转到步骤S1；
S6、将训练好的LS-CRBM和LS-RBM进行堆叠，再加一层反向传播神经网络，构成最终的改进深度置信网络LS-DBN，进行分类训练；
S7、用反向传播算法进行反向微调LS-DBN模型参数，形成训练好的LS-DBN模型，然后输入测试集进行快速学习，即可得到每条测试数据的入侵类别。
2.如权利要求1所述的基于改进深度置信网络的入侵检测方法，其特征在于，
所述步骤S1中，CRBM是指将输入节点由二值变量节点拓展为连续输入的实值变量节点且隐藏层采用服从伯努利分布的二值神经元节点的CRBM；
CRBM的能量函数为：
式中，vi为可见单元输入i的状态，hj为隐单元特征j的状态；ai和bj分别为可见单元和隐单元的偏置；ωij为可见单元输入i和隐单元特征j之间的权重；v表示可见层，h表示隐藏层；I和J分别为可见单元和隐单元的个数；θ＝(ωij,ai,bj)是CRBM的参数；σ为高斯函数的标准方差向量；
CRBM的边缘分布为：
式中，z(θ)为归一化因子，即z(θ)＝∑v∑he-E(v,h|θ)；θ是CRBM的参数；v表示可见层，h表示隐藏层；
所述CRBM的训练是指通过给定的训练数据集估计模型的参数θ：当给定一组训练样本集合S＝{v(1),v(2),…,v(I)}时，其目标是学习CRBM的参数θ，使得训练样本集合中所有样本的似然函数最大，则参数θ通过求训练样本的极大似然函数得到：
其中，是指CRBM模型的极大似然函数，是指CRBM模型的似然函数；
CRBM模型的参数更新公式为：
式中，v(i)为第i个训练样本；θ是CRBM的参数；<·>data为训练数据集所定义的分布上的数学期望；<·>recon为重构后模型所定义的分布上的期望；σ为高斯函数的标准方差向量；为权重ωij的偏导，为可见单元偏置ai的偏导，为隐单元偏置bj的偏导。
3.如权利要求1所述的基于改进深度置信网络的入侵检测方法，其特征在于，
所述步骤S1中，在CRBM的似然函数中引入稀疏正则项构成LS-CRBM的过程包含：使用Laplace函数惩罚来诱导隐单元的稀疏状态，在CRBM的似然函数中添加稀疏正则项，通过正则项限制所有隐单元的激活概率产生稀疏性，可以学习有用的低级特征表示，具体如下：
假设给定一组训练样本集合S＝{v(1),v(2),…,v(I)}，使用稀疏正则化的无监督预训练来优化模型，则增加稀疏正则项之后的LS-CRBM模型目标函数为：
其中，是CRBM模型的似然函数，λHsparse是LS-CRBM模型的稀疏正则项；
因此，改进后的模型目标函数是似然函数和稀疏正则项两项之和；其中，HCRBM为CRBM的似然函数；λ为稀疏正则化参数，反映数据分布相对于正则化项的相对重要性；Hsparse表示任意的稀疏正则化函数；v(i)为第i个训练样本；I为可见单元的个数；θ是CRBM的参数；LS-CRBM模型不限制每个隐单元拥有相同的稀疏度，且根据隐单元的激活概率和稀疏目标P的差距而具有不同的稀疏程度；
其中，稀疏正则化函数Hsparse的定义如下：
式中，J表示隐单元的个数；L(qj,p,μ)为Laplace的概率密度函数；qj表示所给样本数据的第j个隐单元的条件期望的平均值；p是一个常数，控制J个隐单元的稀疏度；μ是位置参数；当固定稀疏目标P时，函数的分布会随着μ的变化而变化，使得同层中不同的隐单元根据数据特征的不同而具有不同的激活概率；
增加稀疏正则项之后的LS-CRBM模型的目标函数为：
式中，E(·)是给定数据的第j个隐单元的条件期望；为给定可见单元i时，所对应的隐单元j；v(i)为第i个训练样本；
LS-CRBM模型的隐单元为伯努利分布，hj只能取0或1，则：
式中，I为可见单元的个数；是指给定训练样本v(i)时，隐单元hj的激活概率；
最终，LS-CRBM模型的目标函数为：
4.如权利要求1所述的基于改进深度置信网络的入侵检测方法，其特征在于，
所述步骤S3中，RBM是通过输入数据集学习概率分布的随机生成神经网络，其为两层的无向图模型，包括一个可见层和一个隐藏层，RBM模型同一层中的节点之间未连接，不同层之间彼此互连；
在RBM中，可见层用向量v′来表示，隐藏层用向量h′来表示，则RBM的能量函数可以表示为：
式中，v′i为可见单元输入i的状态，h′j隐单元特征j的状态；a′i和b′j分别为可见单元和隐单元的偏置；ω′ij为可见单元i和隐单元j之间的权重；θ′＝(ω′ij,a′i,b′j)是RBM的参数；v′和h′分别为可见层和隐藏层；
基于上述能量函数，(v',h')的联合概率为：
式中，z(θ′)为归一化因子，即z(θ′)＝∑v′∑h，e-E(v′,h′|θ′)；θ′是RBM的参数；v′和h′分别为可见层和隐藏层。
5.如权利要求1所述的基于改进深度置信网络的入侵检测方法，其特征在于，
所述步骤S3中，在RBM的似然函数中引入稀疏正则项，构成LS-RBM的过程包含：使用Laplace函数惩罚来诱导隐单元的稀疏状态，在RBM的似然函数中添加稀疏正则项，通过正则项限制所有隐单元的激活概率产生稀疏性，可以学习有用的低级特征表示，具体如下：
假设给定一组训练样本集合S＝{v(1),v(2),…,v(I)}，使用稀疏正则化的无监督预训练来优化模型，则增加稀疏正则项之后的模型目标函数为：
因此，改进后的模型目标函数是似然函数和稀疏正则项两项之和；其中，HRBM为RBM的似然函数；λ为稀疏正则化参数，反映数据分布相对于正则化项的相对重要性；Hsparse表示任意的稀疏正则化函数；v(i)为第i个训练样本；θ′是RBM的参数；I为可见单元的个数；
增加稀疏正则项之后的LS-RBM模型的目标函数为：
式中，I为可见单元的个数，J为隐单元的个数；表示所给样本数据的第j个隐单元的条件期望的平均值，E(·)是给定数据的第j个隐单元的条件期望；p是一个常数，控制J个隐单元的稀疏度；μ是位置参数；为给定可见单元i时，所对应的隐单元j；
LS-RBM模型的隐单元为伯努利分布，hj只能取0或1，则：
式中，I为可见单元的个数；是指给定可见层v(i)时，隐单元hj的激活概率；v(i)为第i个训练样本；
最终，LS-RBM模型的目标函数为：
6.如权利要求1所述的基于改进深度置信网络的入侵检测方法，其特征在于，
所述步骤S6中，将LS-CRBM和LS-RBM进行堆叠构成LS-DBN的过程包含：LS-DBN的底层为LS-CRBM，然后再逐层堆叠LS-RBM，最后加一层BP神经网络，最底层LS-CRBM训练好的参数和输出作为训练模型中下一个更高层的数据，即下一个LS-RBM，然后LS-RBM训练好的参数和输出作为训练模型中下一个更高层的数据，即下一个LS-RBM，多次循环迭代，将最后一层LS-RBM的训练数据和输出作为BP神经网络的输入，利用分类器对学习到的特征进行分类训练，学习到一个深层次的LS-DBN模型。
CN201910124031.0A 2019-02-19 2019-02-19 一种基于改进深度置信网络的入侵检测方法 Pending CN109858245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910124031.0A CN109858245A (zh) 2019-02-19 2019-02-19 一种基于改进深度置信网络的入侵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910124031.0A CN109858245A (zh) 2019-02-19 2019-02-19 一种基于改进深度置信网络的入侵检测方法

Publications (1)

Publication Number Publication Date
CN109858245A true CN109858245A (zh) 2019-06-07

Family

ID=66898267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910124031.0A Pending CN109858245A (zh) 2019-02-19 2019-02-19 一种基于改进深度置信网络的入侵检测方法

Country Status (1)

Country Link
CN (1) CN109858245A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262467A (zh) * 2019-07-15 2019-09-20 北京工业大学 基于深度学习的工控系统入侵攻击及线索发现方法
CN113469366A (zh) * 2020-03-31 2021-10-01 北京观成科技有限公司 一种加密流量的识别方法、装置及设备
CN115174268A (zh) * 2022-09-05 2022-10-11 北京金睛云华科技有限公司 基于结构化正则项的入侵检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262467A (zh) * 2019-07-15 2019-09-20 北京工业大学 基于深度学习的工控系统入侵攻击及线索发现方法
CN113469366A (zh) * 2020-03-31 2021-10-01 北京观成科技有限公司 一种加密流量的识别方法、装置及设备
CN115174268A (zh) * 2022-09-05 2022-10-11 北京金睛云华科技有限公司 基于结构化正则项的入侵检测方法
CN115174268B (zh) * 2022-09-05 2022-11-18 北京金睛云华科技有限公司 基于结构化正则项的入侵检测方法

Similar Documents

Publication Publication Date Title
Halbouni et al. CNN-LSTM: hybrid deep neural network for network intrusion detection system
Zhao et al. Intrusion detection using deep belief network and probabilistic neural network
Alom et al. Network intrusion detection for cyber security using unsupervised deep learning approaches
CN108062572B (zh) 一种基于DdAE深度学习模型的水电机组故障诊断方法与系统
Luo et al. Decision-tree-initialized dendritic neuron model for fast and accurate data classification
Tang et al. A differential evolution‐oriented pruning neural network model for bankruptcy prediction
CN111222638B (zh) 一种基于神经网络的网络异常检测方法及装置
Yang et al. Real-time intrusion detection in wireless network: A deep learning-based intelligent mechanism
Montana Neural network weight selection using genetic algorithms
Wu et al. Large-scale and robust intrusion detection model combining improved deep belief network with feature-weighted SVM
CN102651088A (zh) 基于A_Kohonen神经网络的恶意代码分类方法
CN109858245A (zh) 一种基于改进深度置信网络的入侵检测方法
Mohammed et al. A new hyperbox selection rule and a pruning strategy for the enhanced fuzzy min–max neural network
Napoli et al. An agent-driven semantical identifier using radial basis neural networks and reinforcement learning
Yedjour et al. Symbolic interpretation of artificial neural networks based on multiobjective genetic algorithms and association rules mining
Zuo et al. Adaptive activation function generation for artificial neural networks through fuzzy inference with application in grooming text categorisation
Qian et al. Mr 2DNM: A Novel Mutual Information‐Based Dendritic Neuron Model
Wang et al. An improved deep learning based intrusion detection method
Silivery et al. A model for multi-attack classification to improve intrusion detection performance using deep learning approaches
Wang et al. A novel restricted Boltzmann machine training algorithm with fast Gibbs sampling policy
Owusu et al. A deep learning approach for loan default prediction using imbalanced dataset
Yedjour Extracting classification rules from artificial neural network trained with discretized inputs
Catak et al. Genetic algorithm based feature selection in high dimensional text dataset classification
CN111178897B (zh) 在不平衡数据上快速特征学习的代价敏感的动态聚类方法
CN114912109B (zh) 一种基于图嵌入的异常行为序列识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190607

RJ01 Rejection of invention patent application after publication