CN104899507A - 一种网络高维大数据异常入侵的检测方法 - Google Patents

一种网络高维大数据异常入侵的检测方法 Download PDF

Info

Publication number
CN104899507A
CN104899507A CN201510307300.9A CN201510307300A CN104899507A CN 104899507 A CN104899507 A CN 104899507A CN 201510307300 A CN201510307300 A CN 201510307300A CN 104899507 A CN104899507 A CN 104899507A
Authority
CN
China
Prior art keywords
subspace
sst
data
network
exception
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510307300.9A
Other languages
English (en)
Inventor
李宏周
张吉
庞雪燕
刘建明
陈天宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN201510307300.9A priority Critical patent/CN104899507A/zh
Publication of CN104899507A publication Critical patent/CN104899507A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/554Detecting local intrusion or implementing counter-measures involving event detection and direct action

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络高维大数据异常入侵的检测方法,包括学习阶段和检测阶段,其中学习阶段包括首先建立一个包括有固定的SST子空间、无监督的SST子空间、有监督的SST子空间的SST空间,当进入检测阶段时,每一个网络数据到来后,为了捕获到新到达数据的信息,数据所属于的每个SST子空间的概要PCS将会被更新,如果细胞的PCS属于至少一个预定义阈值的SST子空间,则判定这些子空间是异常的离群子空间,最后将异常的细胞的PCS值和包括异常的离群子空间的全部或特定数量的异常值反馈给用户且反馈至SST空间。本发明针对网络数据量大,维数升高,使得数据之间的相关性减小的情况下也能进一步提升网络异常入侵的检测效率和准确率。

Description

一种网络高维大数据异常入侵的检测方法
技术领域
本发明涉及一种网络数据异常检测方法,具体涉及网络高维大数据异常入侵的检测方法。
背景技术
近年来网络发展日新月异,从网络流量异常检测中可以检测到恶意的网络入侵,而来自于网络的数据规模越来越大,一个被入侵的计算机网络将威胁到网络的稳定和安全,甚至导致私人信息和财产的丢失。为了保证网络的安全,目前用于检测网络异常入侵所的方法主要有两类,分别为误用检测方法和异常检测方法。误用检测方法是从流数据中提取特征并与已知的签名、模式或者规格做比较,如果某个特征违反了一个或者多个签名,这个入侵就会被发现,这种误用检测方法是由该领域的专家提出的,在检测已知入侵类型的方法中相对简单和准确,但是,由于该领域专家的知识的有限性,误用检测方法不能有效的检测当前的未知的入侵。相反,异常检测方法建立了模型和正常数据的配置文件,并认为明显偏离模型和正常数据的配置文件即为入侵,可以有效的检测新的入侵,然而,异常检测方法通常具有较高的错误率,并且大部分没有相关错误处理机制,从而完全的依赖于人类(安全专家)去进一步的检测异常,因此异常检测方法容易产生错误和需要浪费时间去进一步辨别。
异常检测方法非常类似于异常点检测方法,因此,近年来,所提出的利用异常值检测的方法大部分都解决了异常检测的问题,但大多数常规的异常值/奇异点检测方法只能够检测出相对低维和静态数据集(没有频域变化的数据)中的异常,在处理高维数据和数据流的异常检测时由于对这两个活跃的交互领域缺乏实质性的研究工作,导致不能有效的处理大的网络原始数据。在高维空间中关于子空间异常值检测方法,利用估计异常的测量方法并不能实时更新,导致他们无法处理快速的数据流,在数据流中检测异常的技术依赖于完整的数据空间,同时这些技术不能发现子空间的异常,也就不能实现对网络高维大数据进行异常检测。
发明内容
本发明旨在至少在一定程度上解决现有网络异常检测方法不能适应网络高维大数据异常入侵的异常检测的问题。为此,本发明的一个目的在于提出一种网络高维大数据异常入侵的检测方法,针对网络数据量大,维数升高,使得数据之间的相关性减小的情况下也能进一步提升网络异常入侵的检测效率和准确率。
为达到上述目的,本发明提出了一种网络高维大数据异常入侵的检测方法,所述种网络高维大数据异常入侵的检测方法包括学习阶段和检测阶段,其中学习阶段首先建立一个包括有固定的SST子空间(FS)、无监督的SST子空间(US)、有监督的SST子空间(SS)的SST空间,每一个网络数据到来后,为了捕获到新到达数据的信息,数据所属于的每个SST子空间的概要PCS将会被更新,如果细胞的PCS属于至少一个预定义阈值的SST子空间,则判定这些子空间是异常的离群子空间,最后将异常的细胞的PCS值和包括异常的离群子空间的全部或特定数量的异常值反馈给用户。
本发明提供的网络高维大数据异常入侵的检测方法中的学习阶段包括首先建立一个包括有固定的SST子空间(FS)、无监督的SST子空间(US)、有监督的SST子空间(SS)的SST空间,从而形成了检测数据的异常点的多重准则,且每一个网络数据到来后数据所属于的每个SST子空间的概要PCS将会被更新,最后将异常的细胞的PCS值和包括异常的离群子空间的全部或特定数量的异常值反馈给用户且反馈至SST空间,使得SST空间在持续更新异常点数据,因此能够快速的发现子空间的各种新的异常,达到自适应处理高维网络数据异常检测的目的。
进一步的,建立一个包括有固定的SST子空间(FS)、无监督的SST子空间(US)、有监督的SST子空间(SS)的SST空间的过程包括
S1:组建固定的SST子空间(FS),固定的SST子空间(FS)包含在满的晶格中由用户指定的参数约束的所有子空间,FS满足:
S2:离线学习构建无监督的SST子空间(US)过程,首先向一组历史数据中输入未标记的训练数据,所有的训练数据被扫描并被唯一的指定在超立方体的一个细胞中,超立方体中的各个已占有统计信息的细胞在数据分配过程其数据将会被保持,当所有的训练数据映射到相应的细胞中后,采用多目标遗传算法(MOGA)从训练数据集中找到子空间中更高数目的异常,这些子空间将被添加到初始的US中;在获得最初的US后,再进一步获得更多有用的子空间,并在训练数据中找到最无关的子空间,其中训练数据的整体无关程度在无监督方式下采用聚类分析方法获得,定义通过多目标遗传算法(MOGA)所获得整体训练数据的最稀少的子空间中两个点的距离为无关的距离(OD),则式中m是MOGA返回的最稀少子空间的数目,Si是返回该集合的子空间,p1、p2为子空间的两个点;
S3:监督的SST子空间(SS)是指在一些应用中,一些小数量的异常可以由该领域专家或早期的检测方法中获得,包括采用多目标遗传算法(MOGA)应用到每一个这些异常的例子,找到最稀疏的子空间,这些子空间被定义为监督的SST子空间(SS),这些异常的例子可以被视为该领域的知识,可以有效的改进SST空间使其能更好的检测。
进一步的,所述的细胞的PCS属于至少一个预定义阈值的SST子空间的所述细胞的PCS为异常点,则进一步通过多目标遗传算法搜索存在所述异常点的SST子空间。
进一步的,所述网络高维大数据异常入侵的检测方法是通过多目标遗传算法搜索SST子空间中的RD、IRSD、IKRD,并在多代和每一代产生包含多个个体的一个种群(即子空间)进行子空间搜索。
进一步的,所述子空间的第一代的子空间为随机产生,而随后的多代子空间是利用交叉和变异搜索算子在他们上一代的子空间中产生,每一代子空间的个数定位在目标函数空间的不同权衡表面,将位于最佳子空间的表面定义为Pareto Front,则将逐步产生越来越多的位于Pareto Front的从非最优子空间变化而来的最优子空间。
进一步的,所述聚类分析方法为固定宽度的聚集方法,首先数据集中已经聚集的每个点p将会被分配到c′簇中,即OD(p,c′)<dcOD(p,c′)≤OD(p,ci),这样c0与已有m点的质心将在p的集群分配中更新,
Ce n &RightArrow; ( c &prime; ) new = mCe n &RightArrow; ( c &prime; ) + p &RightArrow; m + 1
如果有OD(p,ci)≥dc,然后一个新的簇形成,并且P成为这个簇的新质心;如此重复形成新的族,直到所述所有数据集中的数据被聚集。
进一步的,所述反馈的异常值也被相关性反馈到SST空间的SST无监督子空间(US),并在SST无监督子空间(US)内合并相关性反馈产生新的子空间,实现SST空间的动态更新。
进一步的,所述合并相关性反馈过程为首先是将每个在SST中的子空间设置权重为1;当SST中的子空间是正确离群子空间的时候权重增加,当SST中的子空间是错误信息的离群子空间的时候权重将减少;每次经过特定数量的网络数据处理,在SST中的子空间的权重将低于从SST得到的调整权重阈值;产生的新的子空间的权重将高于阈值。
本发明提供的网络高维大数据异常入侵的检测方法利用多重准则来检测数据的异常点,并利用多目标遗传算法搜索存在异常值的子空间,实现多重准则的在线更新,能够处理网络环境中的高维数据问题,且能有效的搜索子空间从而检测到子空间的异常,能够利用动态子空间集适应数据的动力特性,加快检测的过程,降低检测结果的错误率。
附图说明
图1是本发明网络高维大数据异常入侵的检测方法的流程示意图;
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图来描述本发明实施例提出的网络高维大数据异常入侵的检测方法,如图1所示,网络高维大数据异常入侵的检测方法包括学习阶段和检测阶段,其中学习阶段包括首先建立一个包括有固定的SST子空间(FS)、无监督的SST子空间(US)、有监督的SST子空间(SS)的SST空间,当进入检测阶段时,每一个网络数据到来后,为了捕获到新到达数据的信息,数据所属于的每个SST子空间的概要PCS将会被更新,如果细胞的PCS属于至少一个预定义阈值的SST子空间,则判定这些子空间是异常的离群子空间,最后将异常的细胞的PCS值和包括异常的离群子空间的全部或特定数量的异常值反馈给用户且反馈至SST空间。
固定的SST子空间(FS)、无监督的SST子空间(US)、有监督的SST子空间(SS)之间相铺相成,从而形成了检测数据的异常点的多重准则,其中,主要部分的异常检测是通过FS,US和SS被用于补充FS从而增加可以检测异常的概率;且每一个网络数据到来后数据所属于的每个SST子空间的概要PCS将会被更新,最后将异常的细胞的PCS值和包括异常的离群子空间的全部或特定数量的异常值反馈给用户且反馈至SST空间,使得SST空间在持续更新异常点数据,因此能够快速的发现子空间的各种新的异常,达到自适应处理高维网络数据异常检测的目的。如果细胞的PCS属于一个或者更多的属于预定义阈值的SST子空间,这些子空间是异常的离群子空间,所有的异常包括他们的离群子空间和细胞的PCS值都属于离群子空间,最终,全部的或者特定数量的异常的异常值都返回给使用者。由于大量的网络数据流和时间临界形成了检测过程,上述的过程能够快速的执行。
建立一个包括有固定的SST子空间(FS)、无监督的SST子空间(US)、有监督的SST子空间(SS)的SST空间的过程包括S1:组建固定的SST子空间(FS),固定的SST子空间(FS)包含在满的晶格中由用户指定的参数约束的所有子空间,这里最大尺寸是由用户指定的参数,FS满足:S2:离线学习构建无监督的SST子空间(US)过程,首先向一组历史数据中输入未标记的训练数据,所有的训练数据被扫描并被唯一的指定在超立方体的一个细胞中,超立方体中的各个已占有统计信息的细胞在数据分配过程其数据将会被保持,当所有的训练数据映射到相应的细胞中后,采用多目标遗传算法(MOGA)从训练数据集中找到子空间中更高数目的异常,这些子空间将被添加到初始的US中;在获得最初的US后,再进一步获得更多有用的子空间,并在训练数据中找到最无关的子空间,其中训练数据的整体无关程度在无监督方式下采用聚类分析方法获得,定义通过多目标遗传算法(MOGA)所获得整体训练数据的最稀少的子空间中两个点的距离为无关的距离(OD),则式中m是MOGA返回的最稀少子空间的数目,Si是返回该集合的子空间,p1、p2为子空间的两个点;S3:监督的SST子空间(SS)是指在一些应用中,一些小数量的异常可以由该领域专家或早期的检测方法中获得,包括采用多目标遗传算法(MOGA)应用到每一个这些异常的例子,找到最稀疏的子空间,这些子空间被定义为监督的SST子空间(SS),这些异常的例子可以被视为该领域的知识可以有效的改进SST空间使其能更好的检测。
基于上述三个构成子空间的组织,SST的整个训练数据集DT
可以表示如下:
SST(DT)=FS∪US∪SS
其中每个构成子空间的群组可以表示为:
FS=∪isi,|si|≤MaxDimension
US=TSS(Dt)∪jTSS(pj)
SS=∪tTSS(ot)
这里si表示第i个Max Dimension-dimensiona完整晶格子空间,TSS(Dt)表示整个训练数据Dt的最稀疏子空间,TSS(pj)表示第j个顶部训练数据最稀疏空间具有的最边远的因子。TSS(ot)表示第t个可用的异常样本的最稀疏子空间。
训练数据可以自动检测到子空间集合中较高数目子空间的异常,训练数据通常在尺寸上比原来的数据流小得多,因此应该完全配合主存储器使得I/O开销最小;多目标遗传算法(MOGA)被用来搜索空间点阵以发现整个训练数据无关的子空间来构建US,为了更加适应MOGA的计算,所有的训练数据被扫描和指定在超立方体的一个(只有一个)细胞中;被挑选出来的训练数据很可能被视为异常,可以用此在数据集中检测更多类似的异常;训练数据的整体无关程度在无监督方式下采用聚类分析方法,在聚类分析方法中一个关键的问题是如何准确的测量训练空间中两个点的距离,预计该距离度量能够较好的反映整体数据的无关相似性,尤其是那些有可能被检测到的异常,无关的距离(OD)作为一种新的距离度量方法实现了聚集训练数据的目标。本方法中,PCS的一个预期的特征可以递增的更新,而且他的计算速递很快,因此,每一个数据的异常估计也非常有效;它仅包括数据点的映射到一个合适的细胞和PCS的异常检测过程。
根据本发明的一个实施例,所述属于至少一个预定义阈值的SST子空间的所述细胞的PCS为异常点,则进一步通过多目标遗传算法搜索存在所述异常点的SST子空间,具体为搜索SST子空间中的RD、IRSD、IKRD,并在多代和每一代产生包含多个个体的一个种群(即子空间)进行子空间搜索。其目标是使SST子空间的结构最小化。
根据本发明的一个实施例,所述子空间的第一代的子空间为随机产生,而随后的多代子空间是利用交叉和变异搜索算子在他们上一代的子空间中产生,每一代子空间的个数定位在目标函数空间的不同权衡表面,将位于最佳子空间的表面定义为Pareto Front,则将逐步产生越来越多的位于Pareto Front的从非最优子空间变化而来的最优子空间。
多目标遗传算法(MOGA)指导一个子空间的搜索,通过几代和每一代产生包含几个个体的一个种群(即,子空间),第一代的子空间通常是随机产生的,而随后的几代子空间是利用诸如交叉和变异搜索算子在他们上一代的这些子空间中产生的,在多目标最小化的问题中,每一代子空间的个数可以定位在目标函数空间的不同权衡表面,位于上表面并靠近原点的子空间最好是远离原点,在同一表面子空间的优势(劣势)没有区别。位于最佳子空间的表面叫做ParetoFront,MOGA的目标是逐步产生越来越多的位于Pareto Front,从非最优子空间变化而来的最优子空间。为了找到这些最优子空间,MOGA将多目标优化问题分解为单目标各个优化,这一点可以在整个基于其它解决方案的数量中占主导地位。MOGA提供了一个很好的处理多目标搜索问题的整体框架,此外,Elitism加入MOGA中,通过一直应对解决方案的特定数,直接从一代到下一代,以改善MOGA的收敛性。
根据本发明的一个具体实施例,聚类分析方法为固定宽度的聚集方法,首先数据集中已经聚集的每个点p将会被分配到c′簇中,即OD(p,c′)<dcOD(p,c′)≤OD(p,ci),这样c0与已有m点的质心将在p的集群分配中更新,
Ce n &RightArrow; ( c &prime; ) new = mCe n &RightArrow; ( c &prime; ) + p &RightArrow; m + 1
如果有OD(p,ci)≥dc,然后一个新的簇形成,并且P成为这个簇的新质心;如此重复形成新的族,直到所述所有数据集中的数据被聚集。
由于其渐近线的特点,使得聚类方法的特征是关于例子的数目以及培训样本的维数具有线性可缩性,然而,其结果对训练数据的聚集次序是敏感的,为了解决这个问题,一个具体实施例是在最主要的聚集多线程下执行不同的数据命令以减少其对数据次序的灵敏度,因此即使一个异常可以被分配到不同的簇中,而该异常被分配到一个小团簇的机会更高。这是因为成簇的点的平均尺寸是它的一个无关度的有用指标,而不是该数据的次序。训练数据的无关度称为无关因子(OF),被定义为:其中cluster_sizei(p)表示集群中第i个运行集群p的大小,n表示集群运行的数量。由MOGA获得的最稀疏的训练数据子空间也被添加到SST中的US中。需要进行一些测试来获得类聚dc的数据,在最主要的类聚dc可选的参数中,所获得的簇的个数记为K。簇的个数K显然比类聚dc更容易指定,具体的可以使用一些不同的、合理的数据,其下类聚的数据和每个无关的训练数据可以被量化。
根据本发明的一个实施例,所述反馈的异常值也被相关性反馈到SST空间的SST无监督子空间(US),并在SST无监督子空间(US)内合并相关性反馈产生新的子空间,实现SST空间的动态更新。
如此进行反馈并合并相关性反馈既可以满足网络数据的概念漂移(概念漂移是大数据的一个重要特征,它更有可能包含数据的突变特征),还可以减少SST的大小,得到更高的效率,适用于人工干预和反馈的场景,在实践中,这样的自反馈能够在线或者离线影响SST的三个子集。
根据本发明的一个实施例,合并相关性反馈过程为首先是将每个在SST中的子空间设置权重为1;当SST中的子空间是正确离群子空间的时候权重增加,当SST中的子空间是错误信息的离群子空间的时候权重将减少;每次经过特定数量的网络数据处理,在SST中的子空间的权重将低于从SST得到的调整权重阈值;产生的新的子空间的权重将高于阈值。
合并相关性反馈后最终得到动态的SST在精确检测正确率和错误率的时候更重要。因此对子空间的权重进行归一化是为了对权重阈值进行规范化处理;在SST中的所有子空间的权重重置为1,是为了保持当前数据的实时性;为了使概念漂移更具有统计意义,数据量的大小决定了SST更新的频率应该大于30。
需要指出的是,概念漂移并不是导致SST变化的关键,因为,尽管在数据集中数据的整体特征突然改变,但对异常检测将仅仅造成很少的影响,从这个意义上来说,当处理概念漂移的异常检测的时候本发明是有优势的,因为SST只有在异常检测导致概念漂移的时候更新,这是本发明和其他基于度量和密度计算的概念漂移检测方法的重大区别。
同时本发明最后利用理论和实证分析来评估计算复杂度。具体的说,复杂性分析是在学习阶段进行的,为了简单起见此处只分析A-SPOT的静态的状态。先定义一些符号来有助于复杂性分析,N代表在数据流中的实例数,,Nt代表在训练(历史)数据集中的实例数,No代表在该组离群范例中的实例数,φ是维数,k是用于计算逆K的相对距离,Gn和Gs分别代表世代的数目和子空间中每代MOGA评估的数目。
上面的复杂性分析表明(没有复杂性分析过程):(1)检测阶段的复杂性是与数据流的大小线性相关的,这将能够更有效的处理大数据流(2)训练阶段的复杂性比检测检测更重要,然而,训练阶段是离线的,不能影响整个方法的效率。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种网络高维大数据异常入侵的检测方法,包括学习阶段和检测阶段,其中学习阶段包括首先建立一个包括有固定的SST子空间(FS)、无监督的SST子空间(US)、有监督的SST子空间(SS)的SST空间,当进入检测阶段时,每一个网络数据到来后,为了捕获到新到达数据的信息,数据所属于的每个SST子空间的概要PCS将会被更新,如果细胞的PCS属于至少一个预定义阈值的SST子空间,则判定这些子空间是异常的离群子空间,最后将异常的细胞的PCS值和包括异常的离群子空间的全部或特定数量的异常值反馈给用户且反馈至SST空间。
2.如权利要求1所述的网络高维大数据异常入侵的检测方法,其特征在于建立一个包括有固定的SST子空间(FS)、无监督的SST子空间(US)、有监督的SST子空间(SS)的SST空间的过程包括:
S1:组建固定的SST子空间(FS),固定的SST子空间(FS)包含在满的晶格中由用户指定的参数约束的所有子空间,FS满足:
S2:离线学习构建无监督的SST子空间(US)过程:首先向一组历史数据中输入未标记的训练数据,所有的训练数据被扫描并被唯一的指定在超立方体的一个细胞中,超立方体中的各个已占有统计信息的细胞在数据分配过程其数据将会被保持,当所有的训练数据映射到相应的细胞中后,采用多目标遗传算法(MOGA)从训练数据集中找到子空间中更高数目的异常,这些子空间将被添加到初始的US中;在获得最初的US后,再进一步获得更多有用的子空间,并在训练数据中找到最无关的子空间,其中训练数据的整体无关程度在无监督方式下采用聚类分析方法获得,定义通过多目标遗传算法(MOGA)所获得整体训练数据的最稀少的子空间中两个点的距离为无关的距离(OD),则
式中m是MOGA返回的最稀少子空间的数目,Si是返回该集合的子空间,p1、p2为子空间的两个点;
S3:监督的SST子空间(SS)是指在一些应用中,一些小数量的异常可以由该领域专家或早期的检测方法获得,包括采用多目标遗传算法(MOGA)应用到每一个这些异常的例子,找到最稀疏的子空间,这些子空间被定义为监督的SST子空间(SS)。
3.如权利要求2所述的网络高维大数据异常入侵的检测方法,其特征在于所述属于至少一个预定义阈值的SST子空间的所述细胞的PCS为异常点,则进一步通过多目标遗传算法搜索存在所述异常点的SST子空间。
4.如权利要求3所述的网络高维大数据异常入侵的检测方法,其特征在于通过多目标遗传算法搜索SST子空间中的RD、IRSD、IKRD,并在多代和每一代产生包含多个个体的一个种群(即子空间)进行子空间搜索。
5.如权利要求4所述的网络高维大数据异常入侵的检测方法,其特征在于所述子空间的第一代的子空间为随机产生,而随后的多代子空间是利用交叉和变异搜索算子在他们上一代的子空间中产生,每一代子空间的个数定位在目标函数空间的不同权衡表面,将位于最佳子空间的表面定义为Pareto Front,则将逐步产生越来越多的位于Pareto Front的从非最优子空间变化而来的最优子空间。
6.如权利要求2所述的网络高维大数据异常入侵的检测方法,其特征在于所述聚类分析方法为固定宽度的聚集方法,首先数据集中已经聚集的每个点p将会被分配到c′簇中,即OD(p,c′)<dcOD(p,c′)≤OD(p,ci),这样c0与已有m点的质心将在p的集群分配中更新,
Ce n &RightArrow; ( c &prime; ) new = mCe n &RightArrow; ( c &prime; ) + p &RightArrow; m + 1
如果有OD(p,ci)≥dc,然后一个新的簇形成,并且P成为这个簇的新质心;如此重复形成新的族,直到所述所有数据集中的数据被聚集。
7.如权利要求1所述的网络高维大数据异常入侵的检测方法,其特征在于所述反馈的异常值也被相关性反馈到SST空间的SST无监督子空间(US),并在SST无监督子空间(US)内合并相关性反馈产生新的子空间,实现SST空间的动态更新。
8.如权利要求7所述的网络高维大数据异常入侵的检测方法,其特征在于所述合并相关性反馈过程为首先是将每个在SST中的子空间设置权重为1;当SST中的子空间是正确离群子空间的时候权重增加,当SST中的子空间是错误信息的离群子空间的时候权重将减少;每次经过特定数量的网络数据处理,在SST中的子空间的权重将低于从SST得到的调整权重阈值;产生的新的子空间的权重将高于阈值。
CN201510307300.9A 2015-06-08 2015-06-08 一种网络高维大数据异常入侵的检测方法 Pending CN104899507A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510307300.9A CN104899507A (zh) 2015-06-08 2015-06-08 一种网络高维大数据异常入侵的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510307300.9A CN104899507A (zh) 2015-06-08 2015-06-08 一种网络高维大数据异常入侵的检测方法

Publications (1)

Publication Number Publication Date
CN104899507A true CN104899507A (zh) 2015-09-09

Family

ID=54032167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510307300.9A Pending CN104899507A (zh) 2015-06-08 2015-06-08 一种网络高维大数据异常入侵的检测方法

Country Status (1)

Country Link
CN (1) CN104899507A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951353A (zh) * 2017-03-20 2017-07-14 北京搜狐新媒体信息技术有限公司 作业数据异常检测方法及装置
CN107491970A (zh) * 2017-08-17 2017-12-19 北京三快在线科技有限公司 实时反作弊检测监控方法和系统以及计算设备
CN110287231A (zh) * 2019-06-14 2019-09-27 桂林电子科技大学 基于水环境传感器网络监测大数据的异常方法及检测装置
CN110995692A (zh) * 2019-11-28 2020-04-10 江苏电力信息技术有限公司 基于因子分析与子空间协同表示的网络安全入侵检测方法
CN115296898A (zh) * 2022-08-03 2022-11-04 南京大学 用于构建网络入侵检测系统的多目标演化特征选择方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101399672A (zh) * 2008-10-17 2009-04-01 章毅 一种多神经网络融合的入侵检测方法
EP2369529A1 (en) * 2010-03-24 2011-09-28 Alcatel Lucent A method of detecting anomalies in a message exchange, corresponding computer program product, and data storage device therefor
CN104598813A (zh) * 2014-12-09 2015-05-06 西安电子科技大学 一种基于集成学习和半监督svm的计算机入侵检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101399672A (zh) * 2008-10-17 2009-04-01 章毅 一种多神经网络融合的入侵检测方法
EP2369529A1 (en) * 2010-03-24 2011-09-28 Alcatel Lucent A method of detecting anomalies in a message exchange, corresponding computer program product, and data storage device therefor
CN104598813A (zh) * 2014-12-09 2015-05-06 西安电子科技大学 一种基于集成学习和半监督svm的计算机入侵检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JI ZHANG ET AL.: ""Detecting anomalies from big network traffic data using an adaptive detection approach"", 《INFORMATION SCIENCES》 *
JI ZHANG ET AL.: ""Detecting anomalies from high-dimensional wireless network data streams: a case study"", 《SOFT COMPUTING》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951353A (zh) * 2017-03-20 2017-07-14 北京搜狐新媒体信息技术有限公司 作业数据异常检测方法及装置
CN106951353B (zh) * 2017-03-20 2020-05-22 北京搜狐新媒体信息技术有限公司 作业数据异常检测方法及装置
CN107491970A (zh) * 2017-08-17 2017-12-19 北京三快在线科技有限公司 实时反作弊检测监控方法和系统以及计算设备
CN110287231A (zh) * 2019-06-14 2019-09-27 桂林电子科技大学 基于水环境传感器网络监测大数据的异常方法及检测装置
CN110995692A (zh) * 2019-11-28 2020-04-10 江苏电力信息技术有限公司 基于因子分析与子空间协同表示的网络安全入侵检测方法
CN115296898A (zh) * 2022-08-03 2022-11-04 南京大学 用于构建网络入侵检测系统的多目标演化特征选择方法
CN115296898B (zh) * 2022-08-03 2023-11-07 南京大学 用于构建网络入侵检测系统的多目标演化特征选择方法

Similar Documents

Publication Publication Date Title
CN108023876B (zh) 基于可持续性集成学习的入侵检测方法及入侵检测系统
Wang et al. Data-driven mode identification and unsupervised fault detection for nonlinear multimode processes
CN106021062B (zh) 关联故障的预测方法和系统
WO2022047658A1 (zh) 日志异常检测系统
Bosman et al. Ensembles of incremental learners to detect anomalies in ad hoc sensor networks
CN104899507A (zh) 一种网络高维大数据异常入侵的检测方法
Domb et al. Lightweight adaptive Random-Forest for IoT rule generation and execution
CN111310139B (zh) 行为数据识别方法、装置及存储介质
Montañez et al. A machine learning approach for detecting unemployment using the smart metering infrastructure
Zaman et al. Improved statistical features-based control chart patterns recognition using ANFIS with fuzzy clustering
CN103197983A (zh) 基于概率图模型的服务组件可靠性在线时间序列预测方法
Kumar et al. Modeling using K-means clustering algorithm
CN114707571B (zh) 基于增强隔离森林的信用数据异常检测方法
CN112363896A (zh) 日志异常检测系统
He et al. Intelligent detection for key performance indicators in industrial-based cyber-physical systems
CN110580213A (zh) 一种基于循环标记时间点过程的数据库异常检测方法
Liao et al. A novel semi-supervised classification approach for evolving data streams
Xiang-rong et al. Multiple kernel support vector regression for economic forecasting
CN111737294A (zh) 一种基于动态增量集成模糊的数据流分类方法
CN104217296A (zh) 一种上市公司绩效综合评价方法
CN111984514A (zh) 基于Prophet-bLSTM-DTW的日志异常检测方法
Zhang et al. Similarity analysis of industrial alarm floods based on word embedding and move-split-merge distance
Zhou et al. Difficult novel class detection in semisupervised streaming data
Shen et al. Long-term multivariate time series forecasting in data centers based on multi-factor separation evolutionary spatial–temporal graph neural networks
Sangeetha et al. Crime Rate Prediction and Prevention: Unleashing the Power of Deep Learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150909

WD01 Invention patent application deemed withdrawn after publication