CN110086801A - 基于分数阶微积分数算法的网络入侵安全数据处理方法 - Google Patents

Abstract

本发明属于计算机网络安全技术领域，公开了一种基于分数阶微积分数算法的网络入侵安全数据处理方法；通过扫描一遍得到length＝1的序列模式；用三角矩阵记录这些信息就，再次扫描数据库，M矩阵就构造完成；对每个length‑2序列模式建立投影数据库；挖掘L‑1频繁项集子程序均改为当前p_ref_lx参数，当前Prefix为null，则本次直接对原始序列数据库进行挖掘；当前Prefix为非空，则对影数据库进行挖掘，扫描原始序列，对库中的每个序列先匹配Prefix，记录Prefix之后的元素信息，查找以当前Prefix长度增加1的序列为前缀的频繁序列；舍弃非频繁项与引进相关度。提高了入侵检测系统的效率。

Description

基于分数阶微积分数算法的网络入侵安全数据处理方法

技术领域

本发明属于计算机网络安全技术领域，尤其涉及一种基于分数阶微积分数算法的网络入侵安全数据处理方法。

背景技术

目前，最接近的现有技术：分数阶微积分这一重要的数学分支，其诞生在 1695年，几乎和经典微积分同时出现。那一年，德国数学家和法国数学家通信，探讨当导数的阶变为1/2时，其意义是什么。当时德国数学家也不知道定义与意义，只是回复道：“”这会导致悖论，终有一天将会是一个很有用的结果”。分数阶微积分狭义上主要包括分数阶微分与分数阶积分，广义上同时包括分数阶差分与分数阶和商。由于近一些年分数阶微积分的理论成功应用到各大领域中，人们逐渐发现分数阶微积分能够刻画自然科学以及工程应用领域一些非经典现象。

随着Internet技术的飞速发展和计算机的广泛应用，网络信息系统的安全问题日益凸现。为了保证计算机系统及其相互间的数据通信安全，对网络入侵行为实施有效地监控与防范，研究人员设计了诸多类型的安全保障策略。入侵检测被视为信息安全保障体系的一个重要环节，是近几年网络安全领域的研究热点。在海量的网络数据中对网络系统实施动态监控与检测，对所涉及到的算法在效率上提出了更高的要求。随着数据挖掘技术的发展，挖掘能力大幅提升，将其应用于入侵检测，较其他技术有着很大的优势，能更好地满足系统的实时性要求。信息安全领域，网络攻击性判别及防护，通常被作为网络安全的重点攻关主题。基于网络异常流量分析，并结合数据挖掘技术实时分析网络用户行为，进一步建立网络安全多维分析模型，从而主动检测及防护网络攻击行为，成为有效的企业网络安全自防御架构。

近年来，我国很多学者对网络安全预测模型进行了研究，并取得了一定的研究成果。有学者提出了一种网络评估模型。这种模型能对网络安全态势进行评估。它首先建立了一个网络安全监控平台，该平台可以将防火墙数据和入侵检测系统的数据进行总结。通过把相应的网络安全信息进行量化，从而对网络安全威胁进行评估。这是网络安全态势的初级模型，该模型可以对网络安全起到预测作用。随着相关研究的发展，北京理工大学研发出了一种局域网评估系统。它通过对整个局域网进行检测，将数据进行反馈，从而得到相应的信息。这个模型不仅可以对以前的网络安全态势进行评估，分析网络中出现的状况、风险、问题等，还可以对未来网络安全进行预测，预测未来发生重大网络事件的概率。还有部分学者提出了一项新的研究，根据网络本身的攻击性增长来锁定攻击目标。通过锁定的目标进行分析，确定攻击的来源并生成新的模型。该模型可以利用最小的代价和环境改变对网络安全态势进行合理分析。截止到现在，大部分的学者对网络安全态势的预测采用的模型都类似。灰色模型、时间序列、BP神经网络、回声网络、遗传算法以及马尔科夫链等算法都是常用的预测模型。而对于数据挖掘的分数阶微积分算法的网络安全研究比较少。

综上所述，现有技术存在的问题是：网络安全问题的严重化和频繁化，给社会造成一定程度的影响和损失；网络攻击的来源拥有不定性、网络安全问题的出现又拥有随机性，简单的防御措施并不能对网络的整体安全进行全方面的保障。

发明内容

针对现有技术存在的问题，本发明提供了一种基于分数阶微积分数算法的网络入侵安全数据处理方法。

本发明是这样实现的，一种基于分数阶微积分数算法的网络入侵安全数据处理方法，所述基于分数阶微积分数算法的网络入侵安全数据处理方法包括：

第一步，两级投影，通过扫描一遍得到length＝1的序列模式；用三角矩阵记录这些信息就，再次扫描数据库，M矩阵就构造完成；对每个length-2序列模式建立投影数据库；

第二步，挖掘L-1频繁项集子程序均改为当前p_ref_lx参数，如当前Prefix为 null，则本次直接对原始序列数据库进行挖掘；如当前Prefix为非空，则对影数据库进行挖掘，扫描原始序列，对库中的每个序列先匹配Prefix，然后记录Prefix 之后的元素信息，查找以当前Prefix长度增加1的序列为前缀的频繁序列；

第三步，舍弃非频繁项与引进相关度。

进一步，所述第一步具体包括：

步骤一，通过扫描一遍得到length＝1的序列模式＜a＞:4；…＜f＞；

步骤二，不是对每个length＝1的序列模式建立投影数据库，而是一个三角矩阵M；M矩阵记录由length-1模式产生的length＝1-2模式，对角线上的每个元素都设立一个计数器，M[c，c]＝3指序列<c，c支持度是3；下三角部分都有三个计数器，M[a，c]＝(4，2，1)指support(<ac>)＝4，support(<ca>)＝2；再次扫描数据库，M矩阵构造完成；

步骤三，对每个length-2序列模式建立投影数据库。

进一步，所述第二步具体包括：存在一个包含n个主机的网络，将这个网络视为一个整体的系统；得到一个集合，即S＝{s₁,s₂,...,s_n}；在这个系统中每台主机的一次动作都可记为一个动作单元，即v；当系统内部的主机与系统之外主机存在信息交互的时候，动作单元就开始计数，外部主机访问本系统内的主机时v值相应加1，内部主机访问系统外的主机时v值相应减1；定义状态集合 U＝{μ₁,μ₂,...,μ_n}，U集为系统在经过n次动作后状态序列的集合，通过状态集合 U，得到集合活跃度的集合A＝{a₁,a₂,...,a_k}，其中a_i表示系统经过规定时间或数量等规定的尺度后，状态μ_i出现的次数；借助集合A，计算状态μ_i在规定的时间或数量间隔内出现的概率p_i，对所有的a_i计算概率p_i后得到相关各个状态的活跃度概率集合P＝{p₁,p₂,...,p_k}；对以上概率集合应用熵值理论则得到活跃熵的定义：

进一步，所述第二步还包括：对选取检测窗口大小的依据；如果，长度为T 的集合中存在n个不重复元素{a₁,a₂,...,a_n}，其中每个不相同的值出现次数的集合为{d₁,d₂,...,d_n}，此时求熵公式为：

选取小尺度计算熵值达到极限的次数多于大尺度计算时的次数。

本发明的另一目的在于提供一种应用所述基于分数阶微积分数算法的网络入侵安全数据处理方法的计算机网络信息控制系统。

综上所述，本发明的优点及积极效果为：接着本发明对数据算法结果进行分析，本发明对校园网的不同时间段网络流量应用活跃熵检测算法进行检测，得出校园网流量分布，可以了解到，不同时间段流量存在明显差异变化，流量随时间存在明显变化规律。白天流量密集夜间流量降低。通过对网络数据的分析后，本发明发现，异常流量分布同日常流量分布一样，也存在一定的规律性。在白天，异常流量有一定变化，但变化速度远不及正常流量的增长迅速，因此造成异常流量所占比例的急剧缩小。而到了夜间，正常流量大幅度的减少，异常流量则有增长的趋势。因此，异常流量所占比例大幅升高。可见，在一天中的不同时段采取统一的流窗口区间进行熵值计算是不恰当的。而且，流量窗口本身的大小选取也存在一定难点。过小的流窗口区间会造成报警率增加，误报率也随之增加，更严重的是，当流窗口区间足够小时，误报率急剧上升。而过大的流窗口区间则会造成检测效率的大幅下降，这一点主要是由于过大的检测窗口包含更多的正常流量，因此造成异常流量被“淹没”，无法被检测。实验结果显示，在序列模式挖掘中算法效率得到明显提高，尤其对长序列模式，算法在改进后挖掘效率提高更加显著，提高了入侵检测系统的效率。

附图说明

图1是本发明实施例提供的基于分数阶微积分数算法的网络入侵安全数据处理方法流程图。

图2是本发明实施例提供的M矩阵示意图。

图3是本发明实施例提供的挖掘运行时间比较示意图。

图4是本发明实施例提供的Hadoop集群大小对数据处理效率的影响示意图。

图5是本发明实施例提供的挖掘d2运行时间比较示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术网络安全问题的严重化和频繁化，给社会造成一定程度的影响和损失；网络攻击的来源拥有不定性、网络安全问题的出现又拥有随机性，简单的防御措施并不能对网络的整体安全进行全方面的保障的问题。本发明基于数据挖掘的分数阶微积分算法对网络安全；提出了数据挖掘经典算法和分数阶微积分算法及其改进，并结合网络安全特点，将提出算法应用于网络安全入侵检测中，并验证算法在改进后效率得到提高。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于分数阶微积分数算法的网络入侵安全数据处理方法包括以下步骤：

S101：两级投影，通过扫描一遍得到length＝1的序列模式；用三角矩阵记录这些信息就，再次扫描数据库，M矩阵就构造完成；对每个length-2序列模式建立投影数据库；

S102：将挖掘L-1频繁项集子程序均改为当前p_ref_lx参数，如当前Prefix为null，则本次直接对原始序列数据库进行挖掘；如当前Prefix为非空，则对影数据库进行挖掘，扫描原始序列，对库中的每个序列先匹配Prefix，然后记录Prefix 之后的元素信息，查找以当前Prefix长度增加1的序列为前缀的频繁序列；

S103：舍弃非频繁项与引进相关度。

下面结合附图对本发明的应用原理作进一步的描述。

本发明的分数阶微积分算法及其改进，序列模式挖掘，是指从序列数据库中发现蕴含的序列模式。时间序列分析和序列模式挖掘有很多相似之处，在应用范畴、技术等方面也有很大相似度，但序列模式一般是指相对事件或者其他顺序出现的序列的高频子序列的发现。序列模式挖掘是数据挖掘中一个重要的的研究课题，在现实生活中有着广泛的应用，包括顾客购物模式分析、互联网模式分析、序列分析和其他与时间相关的处理过程分析，比如科学实验、自然灾难性事件、DNA序列和股票系列的分析等。经典的序列模式挖掘算法有很多，如AprioriAll算法、AprioriSome算法、DynamicSome算法、GSP算法等，而在这之中，分数阶微积分算法相对而言是效率最高的算法。分数阶微积分算法的主要思想是利用序列前缀划分搜索空间和投影序列数据库，搜索相关符合要求的序列。大致过程是利用频繁项将序列数据库投射成多个较小的投影数据库，再分别对这些投影数据库中的子序列进行同样的拆解处理，查找出高频序列 (KangMJetal.2015)[10]。下面以表1中的序列数据库D及min_sup为2例子来描述挖掘过程，步骤如下：首先查找length＝1的序列模式。通过扫描D—遍得到1的序列模式<a>：4；…；<f>：3。

表1

然后分割搜寻空间，将(1)生成的序列模式分割成6个前缀，包括 Prefix<a>；...；prefix<C>；查找序列模式的子集，按以下步骤建立投影数据库，并以递归方式挖掘序列模式。

继而阐述分数阶微积分算法改进策略，分数阶微积分算法的时间与空间耗费主要是在挖掘过程中构建与扫描投影数据库上，在最糟糕的情况下会对每个序列模式建立一个投影数据库，如果有大量的序列模式，耗费将相当大。如能设法投影数据库的数量和规模减小，那么算法的性能将会大大提高。故本发明要从这个方面着手研究改进策略，提出分数阶微积分*算法。具体的思想是：两级投影(Bi-leve_lProjection)、修改Prefix策略、舍弃非频繁项与引进相关度。对于两级投影，第一步仍然通过扫描一遍得到length＝1的序列模式＜a＞:4；…＜f＞；第二步不是对每个length＝1的序列模式建立投影数据库，而是一个三角矩阵M，如图1所示。M矩阵记录由length-1模式产生的length＝1-2 模式，对角线上的每个元素都设立一个计数器，如M[c，c]＝3指序列<c，c支持度是3；下三角部分都有三个计数器，如M[a，c]＝(4，2，1)指support(<ac>) ＝4，support(<ca>)＝2。因为M[a，c]和M[c，a]所记录的信息是堆成的，因此用三角矩阵记录这些信息就可以。再次扫描数据库，M矩阵就可以构造完成。于是length-2的序列模式就可以很容易的找到。第三步，对每个length-2序列模式建立投影数据库。

如M矩阵中的序列模式<ab>共有三个投影，只要扫描一次就可以得到频繁序列，这样就可以构建一个3阶三角阵，如图2所示。从中可以得到length-2 模式，不需要再做投影了。如果逐层扫描，在上例中需要对53个序列模式建立数据库，而两级扫描只需要建立22个投影数据库，效率大大提高。

本发明依据网络安全的历史信息，对未来网络安全进行预测，这便是网络安全预测的实践意义。态势预测的原理是收集一定时间内的网络安全攻击事件，再根据不同的攻击时间来分析统计事件所发生的时间、频率、种类、网络受到什么威胁等各种因素，利用科学合理的方法对网络安全攻击数据进行运算处理。

而对于海量数据挖掘，要快速和反复地生成投影数据库，可能会过度耗费内存而导致操作系统进行外存和内存之间频繁地交换，即出现“抖动”现象。由于投影数据库的内容均由原始数据库产生，故可用以下方法来改进：将挖掘L-1 频繁项集子程序均改为当前p_ref_lx参数，如当前Prefix为null，则本次直接对原始序列数据库进行挖掘；如当前Prefix为非空，则对影数据库进行挖掘，扫描原始序列，对库中的每个序列先匹配Prefix，然后记录Prefix之后的元素信息，查找以当前Prefix长度增加1的序列为前缀的频繁序列。假设存在一个包含n 个主机的网络，将这个网络视为一个整体的系统。这样，就可以得到一个集合，即S＝{s₁,s₂,...,s_n}。那么，在这个系统中每台主机的一次动作都可记为一个动作单元，即v。当系统内部的主机与系统之外主机存在信息交互的时候，动作单元就开始计数，外部主机访问本系统内的主机时v值相应加1，内部主机访问系统外的主机时v值相应减1。定义状态集合U＝{μ₁,μ₂,...,μ_n}，U集为系统在经过n 次动作后状态序列的集合。通过状态集合U，可以得到这个集合活跃度的集合 A＝{a₁,a₂,...,a_k}，其中a_i表示系统经过规定时间或数量等规定的尺度后，状态μ_i出现的次数。借助集合A，可以计算状态μ_i在规定的时间或数量间隔内出现的概率 p_i，对所有的a_i计算概率p_i后可以得到相关各个状态的活跃度概率集合 P＝{p₁,p₂,...,p_k}。对以上概率集合应用熵值理论则可得到活跃熵的定义如公式1 所示：

本发明需要根据网络流量的变化调整检测窗口尺度大小。不难看出，网络流量会随时间变化而变化，但从整体角度和长期角度来看，流量变化也有一定规律，对不同的流量采取统一的处理方式显然是不恰当的。为了充分发挥活跃熵对网络异常流量监测的优势，可以对选取检测窗口大小的依据作出如下假设。如果，长度为T的集合中存在n个不重复元素{a₁,a₂,...,a_n}，其中每个不相同的值出现次数的集合为{d₁,d₂,...,d_n}。此时求熵公式为：

那么，此时选取小尺度计算熵值达到极限的次数多于大尺度计算时的次数。

下面结合实验对本发明的应用效果作详细的描述。

本发明对所提出算法的有效性进行了分析。网络攻击是攻击者与被攻击系统之间的一场攻防对抗游戏，一般情况下，攻击前攻击者对被攻击系统的了解有限甚至完全未知。攻击者为了实现其攻击目的，需要部署一套完整的攻击方案并随时根据系统反应采取相应的对策从而实施其攻击行动，也就是说，攻击者所采取的行动是为了推进其攻击计划。基于此，本发明对网络攻击过程进行模拟，并对算法进行测试。本实验的两组数据包均来自 LawrenceBerkeleyNationalLaboratory，数据集DS₁，和DS₂：分别从：http： //ita.ee.lbl.gov/html/contrib/中的LBL-CONN-7.htm1和NASA-HTTP.html两个页面下载，两个数据集均为TCP连接一记录。以下是部分连接记录：

表2

网络记录格式分为属性组{Timestamp，durationprotocolbytessre，bytesdst，localhost，remotewehost，state，flags}相应的属性值。根据由主属性与参考属性共同约束规则产生的原则，并按属性的重要性进行排序，对数据进行预处理，将数据集DS，抽取8个属性，对数据集DSO抽取6个属性，格式分别为{protocol， srceshost、desteshost、timestamp，duration，srcbytes，destesbytes，state}和{protocol，src一ost，request，timestamp，replycode，reply_bytes}。数据属性值分离散型和连续型。将不同的离散型属性值转换成不同的整数，将连续型属性值做区间划分，把同一区间的值映射为同一值，不同区间的值映射为不同的值。分别从 DS₁和DS₂中各连续地抽取数据，除去一些不完整的网络连接记录后各有760000 和890000多条，经过预处理后，分别存入数据库D₁和D₂中，对这些网络连接记录数据进行入侵检测仿真实验。

用Java语言实现算法、实验数据读取以及数据挖掘结果呈现，手动设定每次挖掘的最小支持度，根据实验的结果绘制图3和图4。以即：某一最小支持度条件下算法改进前、后的运行时间差和某一最小支持度条件下算法改进后效率提高的百分比，进行算法效能分析。图3显示分数阶微积分*与分数阶微积分以及GSP算法对数据集D1挖掘在不同最小支持度情况下的运行时间，θ_0.5＝55.6％，θ_0.75＝48.9％，θ₁＝48.5％，θ_1.25＝38.4％，θ_1.5＝31.7％，θ_1.75＝27.1％。以上几组数据显示，在预设的最小支持度很小的情况下，用GSP算法了进行模式挖掘效率太低，而分数阶微积分与分数阶微积分*算法运行效率相对较好。原因是GSP算法在挖掘过程中产生大量的候选集，预设的最小支持度越小，产生的候选集越是海量；而分数阶微积分算法的投影数据库在不断的减少，在海量数据和预设的最小支持度较低的情况下，减少了大量的投影数据库数量，所以时空效率就比较高；在预设的最小支持度较大时，满足条件的模式在数量上会锐减，故分数阶微积分*，分数阶微积分及 GSP算法性能就比较接近。由此说明了分数阶微积分*在海量数据挖掘中的优势所在。

接着本发明对数据算法结果进行分析，本发明对校园网的不同时间段网络流量应用活跃熵检测算法进行检测，得出校园网流量分布，如图4所示，可以了解到，不同时间段流量存在明显差异变化，流量随时间存在明显变化规律。白天流量密集夜间流量降低。通过对网络数据的分析后，本发明发现，异常流量分布同日常流量分布一样，也存在一定的规律性。在白天，异常流量有一定变化，但变化速度远不及正常流量的增长迅速，因此造成异常流量所占比例的急剧缩小。而到了夜间，正常流量大幅度的减少，异常流量则有增长的趋势。因此，异常流量所占比例大幅升高。可见，在一天中的不同时段采取统一的流窗口区间进行熵值计算是不恰当的。而且，流量窗口本身的大小选取也存在一定难点。过小的流窗口区间会造成报警率增加，误报率也随之增加，更严重的是，当流窗口区间足够小时，误报率急剧上升。而过大的流窗口区间则会造成检测效率的大幅下降，这一点主要是由于过大的检测窗口包含更多的正常流量，因此造成异常流量被“淹没”，无法被检测。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于分数阶微积分数算法的网络入侵安全数据处理方法，其特征在于，所述基于分数阶微积分数算法的网络入侵安全数据处理方法包括：

第一步，两级投影，通过扫描一遍得到length＝1的序列模式；用三角矩阵记录这些信息就，再次扫描数据库，M矩阵就构造完成；对每个length-2序列模式建立投影数据库；

第二步，挖掘L-1频繁项集子程序均改为当前p_ref_lx参数，如当前Prefix为null，则本次直接对原始序列数据库进行挖掘；如当前Prefix为非空，则对影数据库进行挖掘，扫描原始序列，对库中的每个序列先匹配Prefix，然后记录Prefix之后的元素信息，查找以当前Prefix长度增加1的序列为前缀的频繁序列；

第三步，舍弃非频繁项与引进相关度。

2.如权利要求1所述的基于分数阶微积分数算法的网络入侵安全数据处理方法，其特征在于，所述第一步具体包括：

步骤一，通过扫描一遍得到length＝1的序列模式＜a＞:4；…＜f＞；

步骤二，不是对每个length＝1的序列模式建立投影数据库，而是一个三角矩阵M；M矩阵记录由length-1模式产生的length＝1-2模式，对角线上的每个元素都设立一个计数器，M[c，c]＝3指序列<c，c支持度是3；下三角部分都有三个计数器，M[a，c]＝(4，2，1)指support(<ac>)＝4，support(<ca>)＝2；再次扫描数据库，M矩阵构造完成；

步骤三，对每个length-2序列模式建立投影数据库。

3.如权利要求1所述的基于分数阶微积分数算法的网络入侵安全数据处理方法，其特征在于，所述第二步具体包括：存在一个包含n个主机的网络，将这个网络视为一个整体的系统；得到一个集合，即S＝{s₁,s₂,...,s_n}；在这个系统中每台主机的一次动作都可记为一个动作单元，即v；当系统内部的主机与系统之外主机存在信息交互的时候，动作单元就开始计数，外部主机访问本系统内的主机时v值相应加1，内部主机访问系统外的主机时v值相应减1；定义状态集合U＝{μ₁,μ₂,...,μ_n}，U集为系统在经过n次动作后状态序列的集合，通过状态集合U，得到集合活跃度的集合A＝{a₁,a₂,...,a_k}，其中a_i表示系统经过规定时间或数量等规定的尺度后，状态μ_i出现的次数；借助集合A，计算状态μ_i在规定的时间或数量间隔内出现的概率p_i，对所有的a_i计算概率p_i后得到相关各个状态的活跃度概率集合P＝{p₁,p₂,...,p_k}；对以上概率集合应用熵值理论则得到活跃熵的定义：

4.如权利要求1所述的基于分数阶微积分数算法的网络入侵安全数据处理方法，其特征在于，所述第二步还包括：对选取检测窗口大小的依据；如果，长度为T的集合中存在n个不重复元素{a₁,a₂,...,a_n}，其中每个不相同的值出现次数的集合为{d₁,d₂,...,d_n}，此时求熵公式为：

选取小尺度计算熵值达到极限的次数多于大尺度计算时的次数。

5.一种应用权利要求1～4任意一项所述基于分数阶微积分数算法的网络入侵安全数据处理方法的计算机网络信息控制系统。