CN113011476A - 基于自适应滑动窗口gan的用户行为安全检测方法 - Google Patents

Abstract

本发明公开了一种基于自适应滑动窗口GAN的用户行为安全检测方法，利用Spark平台对获取的用户数据进行并行化处理，并使用GAN分别训练不同时间窗口下的正常用户行为模型；利用当前窗口长度处理获取的待检测数据，并将当前时刻的所述待检测数据与上一时刻数据做属性相似度计算；利用所述正常用户行为模型根据计算出的相似度值进行检测，并将得到的异常评分与设定的阈值进行比较，判断当前时间段是否正常，使用GAN作为无监督的异常行为检测器，结合使用自适应滑动窗口技术对时序数据进行处理，提高了检测准确率。

Description

基于自适应滑动窗口GAN的用户行为安全检测方法

技术领域

本发明涉及用户行为异常检测技术领域，尤其涉及一种基于自适应滑动窗口GAN的用户行为安全检测方法。

背景技术

随着现在对于网络安全尤其是内部用户安全行为检测的重视程度不断加深，用户行为安全检测技术也在不断地进步。在现实网络环境中，用户行为数据存在数据量少、样本不均衡的问题，传统的异常检测方法无法有效运用于用户行为异常检测，并且在时间序列的检测中，传统的检测方法中使用固定长度时间窗口，由于数据流的不可预测的变化性质，这种先验知识不容易确定，降低检测准确率。

发明内容

本发明的目的在于提供一种基于自适应滑动窗口GAN的用户行为安全检测方法，提高检测准确率。

为实现上述目的，本发明提供了一种基于自适应滑动窗口GAN的用户行为安全检测方法，包括以下步骤：

利用Spark平台对获取的用户数据进行并行化处理，并使用GAN分别训练不同时间窗口下的正常用户行为模型；

利用当前窗口长度处理获取的待检测数据，并将当前时刻的所述待检测数据与上一时刻数据做属性相似度计算；

利用所述正常用户行为模型根据计算出的相似度值进行检测，并将得到的异常评分与设定的阈值进行比较，判断当前时间段是否正常。

其中，利用Spark平台对获取的用户数据进行并行化处理，并使用GAN分别训练不同时间窗口下的正常用户行为模型，包括：

利用Spark平台对获取的用户数据进行并行化处理，并独一每个所述用户数据进行属性提取和归一化处理；

基于设定的数据时间段，构建对应的训练集，并基于所述训练集，利用GAN分别对时间窗口长度为1、2、3、4、5的正常用户行为模型。

其中，利用当前窗口长度处理获取的待检测数据，并将当前时刻的所述待检测数据与上一时刻数据做属性相似度计算，包括：

获取待检测数据，并对得到待检测数据进行归一化处理，并初始化当前时间窗口大小为1；

基于当前所述时间窗口的长度对所述待检测数据进行划分；

基于当前时刻的所述待检测数据对应的矩阵以及上一时刻对应的矩阵，将两个矩阵展平成向量，基于两个所述向量的乘积除以模长，得到对应的属性相似度。

其中，利用所述正常用户行为模型根据计算出的相似度值进行检测，并将得到的异常评分与设定的阈值进行比较，判断当前时间段是否正常，包括：

基于当前所述时间窗口的长度，将所述属性相似度与设定的阈值进行比较；

若所述属性相似度小于设定的所述阈值，则分别计算从当前所述时间窗口大小递减到1时的各个属性相似度，并选取设定的所述属性相似度对应的的窗口大小处理所述待检测数据，以及利用对应的所述正常用户行为模型进行异常检测；

若所述属性相似度大于设定的所述阈值，则以当前所述时间窗口大小处理所述待检测数据，并利用对应的所述正常用户行为模型进行异常检测，同时将当前所述时间窗口大小加1。

其中，利用对应的所述正常用户行为模型进行异常检测之后，所述方法还包括：

若得到的异常得分小于或等于设定的异常得分判断阈值，则当前所述待检测数据正常；

若得到的异常得分大于设定的异常得分判断阈值，则当前所述待检测数据不正常。

本发明的一种基于自适应滑动窗口GAN的用户行为安全检测方法，利用Spark平台对获取的用户数据进行并行化处理，并使用GAN分别训练不同时间窗口下的正常用户行为模型；利用当前窗口长度处理获取的待检测数据，并将当前时刻的所述待检测数据与上一时刻数据做属性相似度计算；利用所述正常用户行为模型根据计算出的相似度值进行检测，并将得到的异常评分与设定的阈值进行比较，判断当前时间段是否正常，使用GAN作为无监督的异常行为检测器，结合使用自适应滑动窗口技术对时序数据进行处理，提高了检测准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种基于自适应滑动窗口GAN的用户行为安全检测方法的步骤示意图。

图2是本发明提供的训练流程图。

图3是本发明提供的检测流程图。

图4是本发明提供的检测结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1至图3，本发明提供一种基于自适应滑动窗口GAN的用户行为安全检测方法，包括以下步骤：

S101、利用Spark平台对获取的用户数据进行并行化处理，并使用GAN分别训练不同时间窗口下的正常用户行为模型。

具体的，如图2所示，首先运用Spark平台对用户数据进行并行化处理提取，并对每个用户的行为数据做属性提取和归一化处理。选取用户的前一百天行为数据作为训练集，使用GAN分别训练时间窗口长度从1到5的正常用户行为模型。其中，归一化公式为：x＝(x-min)/(max-min)，max代表该项数据的最大值，min代表该项数据的最小值。训练五个对应时间窗口长度分别为1、2、3、4、5的GAN模型。该实验采用原始的GAN网络，实验中GAN网络的生成器和判别器均选取CNN网络。CNN网络在图像领域中生成图像数据效果较好，因窗口化后的时间序列数据亦可构建成图像，故选取CNN作为GAN的生成器与判别器。这里设置迭代次数为200次。训练完成后可得到五个能生成不同时间窗口长度正常行为数据的GAN模型，并把这些模型保存下来。

S102、利用当前窗口长度处理获取的待检测数据，并将当前时刻的所述待检测数据与上一时刻数据做属性相似度计算。

具体的，如图3和图4所示，G为GAN的生成器，Di为待检测数据，G(Z)为生成器生成数据，D为GAN的判别器。假定：k代表当前检测的时间窗口长度，threshold代表异常得分判断阈值，similar threshold代表属性相似度判断的阈值。

步骤一：对用户数据进行归一化处理，并且初始化k为1。

对于数据x的归一化公式：x＝(x-min)/(max-min)，max代表该项数据的最大值，min代表该项数据的最小值

步骤二：对于待检测的数据D_i，首先根据k长度大小划分处理D_i，然后根据方法similar(D_i-k，D_(i-1)-k)(相似度计算函数)计算属性相似度。

similar(D_i-k，D_(i-1)-k)：计算当前时刻数据与上一时刻数据在时间窗口为k的情况下的属性相似度。计算方式为：首先将两矩阵展平成向量，然后计算计算向量的乘积除以模长。

S103、利用所述正常用户行为模型根据计算出的相似度值进行检测，并将得到的异常评分与设定的阈值进行比较，判断当前时间段是否正常。

具体的，若属性相似度高于设定的阈值，则选取当前窗口大小处理数据和相应窗口大小的GAN用户行为安全检测模型进行异常检测，当前窗口大小k加1；若属性相似度低于设定的阈值，则分别结算从当前窗口大小递减到1时的各个属性相似度，并选取属性相似度最低的窗口大小处理数据，并选取相应窗口大小的GAN用户行为安全检测模型进行异常检测，并更新窗口大小k为选取值。具体步骤为：

如果similar(D_i-k，D_(i-1)-k)>similarthreshold，即选取当前k作为检测窗口长度，调用GAN-detection(Di，k)(GAN异常检测算法)进行异常检测检测，通过GAN-detection(Di，k)返回的异常得分与异常得分判断阈值threshold作比较，若大于threshold，则表明该时刻用户行为出现了异常；反正则表明该时刻用户行为是正常的。k递增1。；反之，则进行异常判断。

GAN-detection(Di，k)：代表对与Di数据使用时间窗口长度为k训练的GAN模型进行检测。检测异常结果返回的是该行为的异常得分。

异常得分计算方式：A(x)＝(1-λ)R(x)+λD(x)

R(x)＝代表重构误差，D(x)代表判别器误差，λ取0.9。

重构误差：利用生成模型，来判断生成数据G(Z)跟真实数据x的差异。首先通过训练好的生成模型根据噪声Z迭代500次尽可能生成最接近x的G(Z),然后通过计算G(Z)和x的数据层面的loss：LR(Z)＝∑|x-G(Z)|得到重构误差。

判别器误差:从判别器的角度来确定生成样本G(Z)与真实样本x的差异。通过计算G(Z)和x在D的中间层(1到3层)intermidiate_model的特征层面上的loss：LD(Z)＝∑|x-G(Z)|作为判别器误差。

异常判断：j分别取1到5的长度计算异常得分，选取取到最小的similar(Di-j，D(i-1)-j)时的j作为检测窗口长度，然后调用GAN-detection(Di-j，j)进行异常检测，然后将得到的异常得分与异常得分判断阈值threshold作比较，若大于threshold，则表明该时刻用户行为出现了异常；反正则表明该时刻用户行为是正常的。k更新为j。

第一实施例。实验所用的数据集是采用卡内基·梅隆大学的CERT部门提出的内部威胁测试数据集——CERT-IT数据集。该数据集存在多个版本，从r1到r6，本文采用r5.2版本。CERT数据集由多个文件组成，这些文件包含组织中员工行为的日志。logon.csv，http.csv，email.csv，device.csv，psychometric.csv包含登录，注销，网站访问，电子邮件，将文件复制到可移动磁盘，连接可移动磁盘和断开连接的时间和行为，有关员工心理测验的分数，以及一个包含用户职位，部门，工作期和参与项目的LDAP文件。本文采用其中的logon.csv，http.csv，email.csv，device.csv以及file.csv文件。

数据处理流程：

步骤1：首先按照用户名作为关键词使用spark平台并行化提取数据集中每个用户对应的用户行为数据

步骤2：针对单个用户，按照日为单位统计用户每天的行为数据作为特征，并且规定上午九点到下午6点为工作时间，经过处理后得到的总共15个特征，特征如下表所示

用户行为安全检测。本文采用GAN网络作为无监督用户异常检测器。生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。GAN模型通过框架中两个模块：生成模型和判别模型的互相博弈学习产生相当好的输出。GAN目前流行应用于小样本的图像生成领域，该网络能根据少量的训练数据就能很好的生成类似的数据，故将其应用于用户行为异常检测当中，可以解决用户行为安全检测中存在的数据量少、样本不均衡的问题。

GAN做异常检测的主要思想是：训练阶段只用正常数据样本训练，训练得到的生成器G只能很好的生成正常数据，检测阶段如若遇到训练中未曾见过的异常数据，生成器无法很好的生成异常样本的数据，所以可以此判断该数据为异常数据，即可完成无监督的用户行为安全检测。同时针对用户行为数据具有的时间依赖性和周期性，提出对时间序列数据采取滑动窗口的方式进行处理后再做检测。但由于传统的滑动窗口大多采用固定窗口长度，需具备较多的先验知识，而用户行为数据存在用户行为多样性、周期性不一致的问题，故传统的滑动窗口方法无法有效的应用于用户行为安全检测。

故本文提出了自适应滑动窗口来动态调整检测窗口的大小，自适应滑动窗口技术的窗口大小是根据到达的时间序列数据流中发生的概念改变动态确定的。当概念变得稳定时，因为与上一时刻数据相似，即可使用当前窗口大小做检测，然后窗口将扩大1；当概念发生变化时，即认为可能在当前时刻用户行为发生了变化，则窗口将逐步缩小(实验中k取值为1到5)，并选取属性相似度差异最大的窗口大小作为检测窗口大小，以此可以提供检测的精度。概念的稳定由当前时间t的时间窗口数据与上一时刻t-1的时间窗口数据做属性相似度计算进行判断可知。

有益效果

True Positives,TP(真阳性)：预测为正样本，实际为正样本

False Positives,FP(假阳性)：预测为正样本，实际为负样本

True Negatives,TN(真阴性)：预测为负样本，实际为负样本

False Negatives,FN(假阴性)：预测为负样本，实际为正样本

准确率(Accuracy)＝(TP+TN)/(TP+TN+FP+FN)

查准率(Precision)＝(TP)/(TP+FP)

误报率(FPR)＝FP/(FP+TN)

召回率(Recall)＝TP/(TP+FN)

F(F-Measure，综合评价指标)＝(2*P*R)/(P+R)

1、GAN网络用户行为异常检测算法验证：实验中选取DBN+OCSVM、GRU+attention、与GAN网络检测算法作比较，实验结果如下表所示：

	Accuracy(％)	Recall(％)	FPR(％)
				DBN+OCSVM	87.79	81.40	12.18
GRU+attention	99.73	85.80	0.21
				GAN+自适应滑动窗口	98.18	1	0.02

通过实验结果可知，GAN+自适应滑动窗口有着更高的召回率和较低的误报率。

2、适应窗口方法验证：有效性主要从准确率、查准率、误报率、召回率、F值来验证。

实验分别选取固定长度窗口大小分别为1、2、3、4、5与自适应窗口大小算法的准确率、查准率、误报率、召回率、F值的比较，结果如下表所示。

通过实验结果可知，自适应窗口算法可以在没有先验知识的情况下确定窗口长度但也可获得较高的准确率、召回率和综合指标F，并且误报率较低。

本发明的一种基于自适应滑动窗口GAN的用户行为安全检测方法，利用Spark平台对获取的用户数据进行并行化处理，并使用GAN分别训练不同时间窗口下的正常用户行为模型；利用当前窗口长度处理获取的待检测数据，并将当前时刻的所述待检测数据与上一时刻数据做属性相似度计算；利用所述正常用户行为模型根据计算出的相似度值进行检测，并将得到的异常评分与设定的阈值进行比较，判断当前时间段是否正常，使用GAN作为无监督的异常行为检测器，结合使用自适应滑动窗口技术对时序数据进行处理，提高了检测准确率。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (5)

1.一种基于自适应滑动窗口GAN的用户行为安全检测方法，其特征在于，包括以下步骤：

利用Spark平台对获取的用户数据进行并行化处理，并使用GAN分别训练不同时间窗口下的正常用户行为模型；

利用当前窗口长度处理获取的待检测数据，并将当前时刻的所述待检测数据与上一时刻数据做属性相似度计算；

利用所述正常用户行为模型根据计算出的相似度值进行检测，并将得到的异常评分与设定的阈值进行比较，判断当前时间段是否正常。

2.如权利要求1所述的基于自适应滑动窗口GAN的用户行为安全检测方法，其特征在于，利用Spark平台对获取的用户数据进行并行化处理，并使用GAN分别训练不同时间窗口下的正常用户行为模型，包括：

利用Spark平台对获取的用户数据进行并行化处理，并独一每个所述用户数据进行属性提取和归一化处理；

基于设定的数据时间段，构建对应的训练集，并基于所述训练集，利用GAN分别对时间窗口长度为1、2、3、4、5的正常用户行为模型。

3.如权利要求1所述的基于自适应滑动窗口GAN的用户行为安全检测方法，其特征在于，利用当前窗口长度处理获取的待检测数据，并将当前时刻的所述待检测数据与上一时刻数据做属性相似度计算，包括：

获取待检测数据，并对得到待检测数据进行归一化处理，并初始化当前时间窗口为1；

基于当前所述时间窗口的长度对所述待检测数据进行划分；

基于当前时刻的所述待检测数据对应的矩阵以及上一时刻对应的矩阵，将两个矩阵展平成向量，基于两个所述向量的乘积除以模长，得到对应的属性相似度。

4.如权利要求3所述的基于自适应滑动窗口GAN的用户行为安全检测方法，其特征在于，利用所述正常用户行为模型根据计算出的相似度值进行检测，并将得到的异常评分与设定的阈值进行比较，判断当前时间段是否正常，包括：

基于当前所述时间窗口的长度，将所述属性相似度与设定的阈值进行比较；

若所述属性相似度小于设定的所述阈值，则分别计算从当前所述时间窗口大小递减到1时的各个属性相似度，并选取设定的所述属性相似度对应的的窗口大小处理所述待检测数据，以及利用对应的所述正常用户行为模型进行异常检测；

若所述属性相似度大于设定的所述阈值，则以当前所述时间窗口大小处理所述待检测数据，并利用对应的所述正常用户行为模型进行异常检测，同时将当前所述时间窗口大小加1。

5.如权利要求4所述的基于自适应滑动窗口GAN的用户行为安全检测方法，其特征在于，利用对应的所述正常用户行为模型进行异常检测之后，所述方法还包括：

若得到的异常得分小于或等于设定的异常得分判断阈值，则当前所述待检测数据正常；

若得到的异常得分大于设定的异常得分判断阈值，则当前所述待检测数据不正常。

Images