CN107493277B - 基于最大信息系数的大数据平台在线异常检测方法 - Google Patents

Abstract

本发明涉及一种基于最大信息系数的大数据平台在线异常检测方法，该方法采用Spark Streaming滑动窗口机制对访问日志进行统计分析，构建用户活跃度模型，进而计算出相邻时间窗口用户活跃度序列的最大信息系数，通过比较最大信息系数与设定的阈值，判定当前时间是否出现网络异常状况。该方法有利于快速、准确且近实时地发现在线场景下的网络异常，实现了大数据平台异常检测分析系统的近实时异常检测功能。

Description

基于最大信息系数的大数据平台在线异常检测方法

技术领域

本发明涉及大数据平台异常检测技术领域，特别是一种基于最大信息系数的大数据平台在线异常检测方法。

背景技术

平台访问攻击作为网络异常在线检测中最常见的安全威胁，通常会造成海量的突发访问行为，从而影响服务器性能，因此是大数据平台异常检测分析系统在线检测中所重点检测的网络异常。任意行为操作都会被记录在服务器日志中，正常情况下日志中各项访问记录是由人类行为操作所产生，而DDoS攻击通常是机器行为所造成。因此，通过分析日志中用户行为与机器行为访问模式的异同，构建行为模型，对当前时间间隔内数据进行特征统计，对比与机器行为的相似程度，从而确定在线场景下是否发生网络异常。传统的算法常用皮尔逊系数作为主要判别指标。然而采用统计分析的异常检测算法虽然有着较快的检测速率，但是其精度主要依赖与访问行为模式的构建与相似度指标的选择，且对于算法的计算环境部署也有较高的要求。

发明内容

本发明的目的在于提供一种基于最大信息系数的大数据平台在线异常检测方法，该方法有利于快速、准确且近实时地发现在线场景下的网络异常。

为实现上述目的，本发明的技术方案是：一种基于最大信息系数的大数据平台在线异常检测方法，在接入数据流后，该方法按如下步骤进行：

1）对接入的数据流进行预处理，并初始化滑动窗口机制的窗口间隔和滑动时间间隔；

2）等待窗口滑动；

3）判断用户-活跃度集合D{U, F}是否为空集，是则转步骤4），否则转步骤5）；

4）令当前出现的用户数为m，统计当前滑动时间间隔内各用户的活跃度，并对各用户的活跃度进行降序排序生成活跃度集合F={f₁, f₂, …, f_m}，对应用户集合U={u₁, u₂,…, u_m}，构建用户-活跃度集合D{U, F}={<u₁, f₁>, <u₂, f₂>, …, <u_m, f_m>}，其中f_m表示用户u_m的活跃度，然后转步骤2）；

5）令当前出现的用户数为n，统计当前滑动时间间隔内各用户的活跃度，并对各用户的活跃度进行降序排序生成活跃度集合F’={f’₁, f’₂, …, f’_m}，对应用户集合U’={u’₁, u’₂, …, u’_m}，构建用户-活跃度集合D’{U’, F’}={<u’₁, f’₁>, <u’₂, f’₂>, …,<u’_m, f’_m>}，其中f’_m表示用户u’_m的活跃度；

6）取用户-活跃度集合D{U, F}中前j个样本对，构成集合Da{Ua, Fa}={<u₁, f₁>,<u₂, f₂>, …, <u_j, f_j>}，其中用户集合Ua={u₁, u₂, …, u_j}，活跃度集合Fa={f₁, f₂,…, f_j}；

7）从用户-活跃度集合D’{U’, F’}中依次提取与用户集合Ua中各用户一一对应的活跃度，构成活跃度集合Fb={f’’₁, f’’₂, …, f’’_j}，其中f’’_j表示活跃度集合F’中与用户集合Ua中用户u_j对应的活跃度，而后构成新的集合Db{Ua, Fa, Fb}={<u₁, f₁, f’’₁>, <u₂, f₂, f’’₂>, …, <u_j, f_j, f’’_j>}；

8）计算活跃度集合Fa与活跃度集合Fb的最大信息系数，即MIC值；

9）判断MIC值是否大于设定的阈值，是则认为出现网络异常，需要发出异常告警，并转步骤10），否则直接转步骤10）；

10）令D{U, F}=D’{U’, F’}，m=n，然后转步骤2）。

进一步地，基于相邻时间窗口内的时间序列用户活跃度数据的前j个元素构成有序的向量对，进行最大信息系数MIC计算，构建相似性关联分析，在MIC值大于设定的阈值时即表现为异常。

相较于现有技术，本发明的有益效果是：采用Spark Streaming滑动窗口机制对访问日志进行统计分析，构建用户活跃度模型，进而计算出相邻时间窗口用户活跃度序列的最大信息系数，利用该系数比较阈值，进而判定当前时间是否出现网络异常状况，从而快速、有效地检测出网络异常，且具备良好的近实时性，实现了大数据平台异常检测分析系统的近实时异常检测功能。

附图说明

图1是本发明实施例的实现流程图。

图2是本发明实施例中用户活跃度建模方式示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。

本发明基于最大信息系数的大数据平台在线异常检测方法，如图1所示，在接入数据流后，该方法按如下步骤进行：

1）对接入的数据流进行预处理，并初始化滑动窗口机制的窗口间隔和滑动时间间隔；

2）等待窗口滑动；

3）判断用户-活跃度集合D{U, F}是否为空集，是则转步骤4），否则转步骤5）；

4）令当前出现的用户数为m，统计当前滑动时间间隔内各用户的活跃度，并对各用户的活跃度进行降序排序生成活跃度集合F={f₁, f₂, …, f_m}，对应用户集合U={u₁, u₂,…, u_m}，构建用户-活跃度集合D{U, F}={<u₁, f₁>, <u₂, f₂>, …, <u_m, f_m>}，其中f_m表示用户u_m的活跃度，然后转步骤2）；

5）令当前出现的用户数为n，统计当前滑动时间间隔内各用户的活跃度，并对各用户的活跃度进行降序排序生成活跃度集合F’={f’₁, f’₂, …, f’_m}，对应用户集合U’={u’₁, u’₂, …, u’_m}，构建用户-活跃度集合D’{U’, F’}={<u’₁, f’₁>, <u’₂, f’₂>, …,<u’_m, f’_m>}，其中f’_m表示用户u’_m的活跃度；

6）取用户-活跃度集合D{U, F}中前j个样本对，构成集合Da{Ua, Fa}={<u₁, f₁>,<u₂, f₂>, …, <u_j, f_j>}，其中用户集合Ua={u₁, u₂, …, u_j}，活跃度集合Fa={f₁, f₂,…, f_j}；在本实施例中，令j=(int)0.2*m，即取m个用户的前20%个用户；

7）从用户-活跃度集合D’{U’, F’}中依次提取与用户集合Ua中各用户一一对应的活跃度，构成活跃度集合Fb={f’’₁, f’’₂, …, f’’_j}，其中f’’_j表示活跃度集合F’中与用户集合Ua中用户u_j对应的活跃度，而后构成新的集合Db{Ua, Fa, Fb}={<u₁, f₁, f’’₁>, <u₂, f₂, f’’₂>, …, <u_j, f_j, f’’_j>}；

8）计算活跃度集合Fa与活跃度集合Fb的最大信息系数，即MIC值；

9）判断MIC值是否大于设定的阈值，是则认为出现网络异常，需要发出异常告警，并转步骤10），否则直接转步骤10）；

10）令D{U, F}=D’{U’, F’}，m=n，然后转步骤2）。

本发明基于相邻时间窗口内的时间序列用户活跃度数据的前j个元素构成有序的向量对，进行最大信息系数MIC计算，构建相似性关联分析，在MIC值大于设定的阈值时即表现为异常。

下面对本发明涉及的相关技术内容作进一步说明。

1、用户活跃度

当正常用户对互联网进行访问的时候，在不同时间周期对所访问的页面次数是随机变化的，而在DDoS攻击背景下，攻击者对网站访问的主要特征为机器行为，其访问请求具有一定的规律。对访问日志进行统计分析，且将访问日志中的任一IP视为单个用户，IP所产生的请求次数统称为用户活跃度。通过研究学者调查发现，在发生网络异常时，服务器性能下降，从而影响正常用户的访问响应时间，导致正常用户请求频率降低，总体活跃度呈下降变化的趋势。而对于攻击者机器行为而言，由于是通过主动程序发起的高频度访问请求，因此在网络异常时，攻击者活跃度不受异常的影响，并维持在一个较高的数值，且对服务器的请求保持一个较为固定的频率。

因此，本发明采用Spark Streaming滑动窗口机制，通过获取访问日志，采用对用户活跃度进行建模分析，计算出相邻时间窗口用户活跃度的相似性对比正常情况下的相似度阈值，从而判定是否发生异常。假设窗口间隔为滑动间隔的两倍，其活跃度建模方式如图2所示。

假设历史正常情况下监测阈值为σ，日志在Time1内的用户数为n，统计当前时间间隔内各用户的活跃度，并根据活跃度大小进行降序排列，得到活跃度序列X={f _u1, f _u2, …,f _un }，令f表示活跃度，其中f _u1表示用户u₁的活跃度为f _u1，时间间隔内用户集合为U={u₁,u₂,…,u_n}，其中u₁表示IP为u₁的唯一用户。当经过一个滑动间隔Slides时，计算Time2内，用户序列U中所有用户的活跃度，得到活跃度序列Y={f’ _u1, f’ _u2, …, f’ _un }。通过计算窗口间隔Windows内序列X与Y的相似程度，对比σ，从而判定当前窗口是否发生异常。

2、最大信息系数

传统异常检测算法常用皮尔逊系数作为衡量相邻单位时间内用户活跃度序列的相似性。研究表明，皮尔逊系数通常用于线性情况下计算两组统计量序列的相似性。然而在复杂的互联网背景下，海量数据具有着多变性，无论是在正常还是异常情况下，很难判断相邻的统计量是否具有线性相关，因此皮尔逊系数作为相似度衡量指标具有一定的局限性。

为了能准确计算两组统计量序列的相似性，研究者们还提出了spearman系数、核密度估计(KDE)、互信息等度量标准。然而这些方法存在计算复杂度高、不适用非线性数据、鲁棒性低等问题，难以适用于海量数据的异常检测算法中。为此采用最大信息系数(TheMaximal Information Coefficient，简称MIC)作为活跃度序列间的相似度指标。

2011年，Reshef初次提出MIC的概念，MIC系数是基于信息论中互信息概念衍生而来，能对评估不同类型序列的相似关系，其数值范围在[0,1]。假设若序列X与序列Y独立，那么MIC(X,Y)=0；若X与Y之间具有确定的关系，那么MIC(X,Y)=1，此时不存在任何噪声影响。

MIC的计算方法基于通过划分变量对序列{<X,Y>}中所有数据样本的构成的散点图，结合动态规划的思想，对不同划分方式进行搜索计算可达情况下的最大互信息数值。再根据对上一步计算得到的最大互信息值进行归一化处理，所得最终结果即为MIC。设D为给定数据集，x和y分别指在X和Y变量轴上的划分份数，n为变量对（X,Y）的样本容量，G代表某种划分。因此在划分G下等(x × y)轴划分的最大互信息如式(1)所示：

(1)

进行归一化处理的最大互信息矩阵如式(2)所示：

(2)

最终得到的MIC值如式(3)所示：

(3)

其中B(n)表示网格划分细度，通常令n=0.6，以上方法步骤简称MINE方法。

由上式可以发现，MIC随着网格划分细度的变化而变化，当样本容量越大的时候估计值也越准确，这适用于当前大数据的时代背景。MIC系数具有适用范围广、计算复杂度低，鲁棒性高，标准化结构特性。因此，本发明采用MIC作为作为活跃度序列间的相似度指标。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (2)

1.基于最大信息系数的大数据平台在线异常检测方法，其特征在于，在接入数据流后，该方法按如下步骤进行：

1）对接入的数据流进行预处理，并初始化滑动窗口机制的窗口间隔和滑动时间间隔；

2）等待窗口滑动；

3）判断用户-活跃度集合D{U, F}是否为空集，是则转步骤4），否则转步骤5）；

4）令当前时间窗口内出现的用户数为m，统计当前滑动时间间隔内各用户的活跃度，并对各用户的活跃度进行降序排序生成活跃度集合F={f₁, f₂, …, f_m}，对应用户集合U={u₁, u₂, …, u_m}，构建用户-活跃度集合D{U, F}={<u₁, f₁>, <u₂, f₂>, …, <u_m, f_m>}，其中f_m表示用户u_m的活跃度，然后转步骤2）；

5）令当前时间窗口内出现的用户数为n，统计当前滑动时间间隔内各用户的活跃度，并对各用户的活跃度进行降序排序生成活跃度集合F’={f’₁, f’₂, …, f’_n}，对应用户集合U’={u’₁, u’₂, …, u’_n}，构建用户-活跃度集合D’{U’, F’}={<u’₁, f’₁>, <u’₂, f’₂>,…, <u’_n, f’_n>}，其中f’_n表示用户u’_n的活跃度；

6）取用户-活跃度集合D{U, F}中前j个样本对，构成集合Da{Ua, Fa}={<u₁, f₁>, <u₂,f₂>, …, <u_j, f_j>}，其中用户集合Ua={u₁, u₂, …, u_j}，活跃度集合Fa={f₁, f₂, …,f_j}；

7）从用户-活跃度集合D’{U’, F’}中依次提取与用户集合Ua中各用户一一对应的活跃度，构成活跃度集合Fb={f’’₁, f’’₂, …, f’’_j}，其中f’’_j表示活跃度集合F’中与用户集合Ua中用户u_j对应的活跃度，而后构成新的集合Db{Ua, Fa, Fb}={<u₁, f₁, f’’₁>, <u₂,f₂, f’’₂>, …, <u_j, f_j, f’’_j>}；

8）计算活跃度集合Fa与活跃度集合Fb的最大信息系数，即MIC值；

9）判断MIC值是否大于设定的阈值，若是，则认为出现网络异常，需要发出异常告警，并转步骤10），否则直接转步骤10）；

10）令D{U, F}=D’{U’, F’}，m=n，然后转步骤2）。

2.根据权利要求1所述的基于最大信息系数的大数据平台在线异常检测方法，其特征在于，基于相邻时间窗口内的时间序列用户活跃度数据的前j个元素构成有序的向量对，进行最大信息系数MIC计算，构建相似性关联分析，在MIC值大于设定的阈值时即表现为异常。

Images