CN113810329A - 一种邮箱账号异常的检测方法及检测系统 - Google Patents

Abstract

本发明提供一种邮箱账号异常的检测方法及检测系统，该方法包括对邮件日志数据进行清洗，提取有用信息；统计预设时间窗口内各有用信息对应的登录行为数据；确定当前时间窗口内每一登录行为数据所占的权重；根据各登录行为数据及其对应的权重计算账户行为异常值z,并与预设阈值z₀进行比较，当z＞z₀时，判断账户为异常账户；该方法综合考虑邮箱帐号的登陆次数、地址位置信息、登陆时间、登陆方式等影响因素，采用滑动时间窗口来限定帐号的行为周期，对各种影响因素进行加权，并用随机森林算法学习各影响因素的权重，最终判断邮箱帐号是否存在异常，提高了邮箱账号异常检测的准确性。

Description

一种邮箱账号异常的检测方法及检测系统

技术领域

本发明属于异常检测领域，特别涉及一种邮箱账号异常的检测方法及检测系统。

背景技术

电子邮箱是日常生活、办公不可缺少的沟通交流工具，用户可通过电脑等方式登录电子邮箱。然而随着网络的不断发展，电子邮箱账号安全问题显得尤为重要，很多用户的电子邮箱受到攻击或者被盗取。针对邮箱账户的异常行为，目前的检测方法通常是检测终端登陆邮箱时的IP地址是否是常用地址，当发现用户不在常用地登陆时，进行告警。

然而现有的判断邮箱账号是否存在异常的方法面临以下问题：邮箱账号正常和异常的状态无法清晰界定；大量日志数据本身存在噪声，噪声和异常难以区分；邮箱账号的正常行为并不是一成不变的，也会随时间发生演化。以上几方面都给邮箱帐号异常检测带来困难。此外，现有的部分文献在判断异常行为时，没有考虑时间变化的特性，设置好检测规则后一直使用；部分文献在判断邮箱帐号异常时只考虑登陆行为中的一种或几种单一特征，并没有综合考虑到不同特征如何从整体上对邮箱账号异常所带来的影响，因此，现有技术公开的方法无法准确地判断邮箱账号的异常行为。

发明内容

为了解决现有技术中存在的问题，本发明提供一种邮箱账号异常的检测方法及检测系统。

本发明其中一个技术方案提供一种邮箱账号异常的检测方法，该方法包括如下步骤：

对邮件日志数据进行清洗，提取有用信息；

统计预设时间窗口内各有用信息对应的登录行为数据；

确定当前时间窗口内每一登录行为数据所占的权重；

根据各登录行为数据及其对应的权重计算账户行为异常值z,并与预设阈值z₀进行比较，当z＞z₀时，判断账户为异常账户。

进一步改进的方案中，所述有用信息包括邮箱账户、登录时间、登录IP、登录IP归属地、账号登录状态及登录方式。

进一步改进的方案中，确定当前时间窗口内每一登录行为数据所占的权重为利用随机森林算法确定当前时间窗口内每一登录行为数据所占的权重。

进一步改进的方案中，根据各登录行为数据及其对应的权重计算账户行为异常值z具体按照公式(一)进行计算：

z＝a₁*b₁+a₂*b₂+a₃*b₃+a₄*b₄+a₅*b₅ (一)

其中，b₁为帐号登陆失败的次数异常值；b₂为非正常时段登陆异常值；b₃为不同登陆地值；b₄为登录邮箱的地理位置异常值；b₅为登录方式异常值；a₁-a₅为登录行为数据所占的权重。

进一步改进的方案中，所述方法还包括：当判断出z≤z₀时，采用关联分析算法对邮箱账号进行检测。

本发明另一方案提供一种邮箱帐号异常的检测系统，该检测系统包括：

日志数据预处理模块，被配置为对邮件日志数据进行清洗，提取有用信息；

数据统计模块，被配置为统计预设时间窗口内各有用信息对应的登录行为数据；

权重获取模块，被配置为确定当前时间窗口内每一登录行为数据所占的权重；

异常判断模块，被配置为根据各登录行为数据及其对应的权重计算账户行为异常值z,并与预设阈值z₀进行比较，当z＞z₀时，判断账户为异常账户。

本发明提供的一种邮箱帐号异常的检测方法及检测系统，对清洗后的邮件日志数据进行分析，综合考虑邮箱帐号的登陆次数、地址位置信息、登陆时间、登陆方式等影响因素，采用滑动时间窗口来限定帐号的行为周期，对各种影响因素进行加权，并用随机森林算法学习各影响因素的权重，最终判断邮箱帐号是否存在异常，提高了邮箱账号异常检测的准确性。

附图说明

图1为本发明一些实施例中一种邮箱账号异常的检测方法的流程图；

图2为本发明另一些实施例中关联分析算法的流程图；

图3为本发明另一些实施例中一种邮箱账号异常的检测系统的结构框图。

具体实施方式

本发明一些实施例提供一种邮箱账号异常的检测方法，如图1所示，该检测方法包括如下步骤：

1)对邮件日志数据进行清洗，提取有用信息；

其中，步骤1)所述邮件日志数据的清洗目的是去除噪声影响，提取有用信息，有用信息包括：邮箱账号、登录时间、登陆IP、登陆IP归属地(用作地理位置信息)、账号登陆状态(登录成功或登陆失败)、登陆方式(网页、代理或手机端APP等)；

2)统计预设时间窗口内各有用信息对应的登录行为数据；

其中，所述登录行为数据包括：账号登录失败的次数异常值、非正常时间段登录异常值、不同登陆地值、登录邮箱的地理位置异常值及登录方式异常值；

3)确定当前时间窗口内每一登录行为数据所占的权重；

其中，步骤3)利用随机森林算法确定当前时间窗口内每一登录行为数据所占的权重；

所用随机森林算法具体过程如下：

第一步：

用K-fold-validation方法分组训练K次，其中在每一次内，每做一次抽样，训练一棵决策树；

第二步：

会得到K棵决策树，其中每棵决策树都用CART决策树构建，生成回归树(处理方法如下)；

总结最小二乘回归树算法步骤：

输入：训练数据集D

输出：回归树f(x)

1.首先对特征空间进行划分，注意选择顺序，先遍历变量j，然后对固定的变量j找到最优的切分点s，然后选择使得下式最小的键值对(j,s)，即：

2.用此键值对(j,s)对输入空间进行划分，然后取划分空间内y的平均值作为其输出值，公式如下：

R₁(j,s)＝{x|x^(j)≤s}and R₂(j,s)＝{x|x^(j)≥s}；3.继续对两个子空间调用步骤1和2直到满足相应的输出条件，生产决策树

第三步

训练结果是：给定b₁到b₅(一个样本)可以预测(计算出)一个z，其中z是每个决策树取平均得到；

第四步

获取权重a₁到a₅方法：

构造样本数据(1,0,0,0,0)代入决策树取平均(即z＝a₁)，以此类推获得a₂到a₅；

4)根据各登录行为数据及其对应的权重计算账户行为异常值z,并与预设阈值z₀进行比较，当z＞z₀时，判断账户为异常账户；

其中，z₀可根据实际情况进行限定，异常值z按照公式(一)进行计算：

z＝a₁*b₁+a₂*b₂+a₃*b₃+a₄*b₄+a₅*b₅ (一)

其中，b₁为帐号登陆失败的次数异常值；选取某一个时间窗口，统计帐号登陆失败的次数，次数大于阈值n₁，则认为存在异常，b₁＝1，否则b₁＝0；其中n₁可以选择为5或10等；

b₂为非正常时段登陆异常值；非正常时间段根据(从t₁到t₂，例如从0:00-6:00)登陆次数m，如果m>阈值m₀，则认为该用户当日在非正常时段有登录活动，b₂＝1，否则b₂＝0；其中m₀可以选择5、10、20等；

b₃为不同登陆地值；统计用户每日登录的地理位置信息；如果用户登录的不重复位置超过p个，则认为该用户当日登录地异常；如果用户具有登录地异常情况的天数大于d，则认为该用户行为异常，b₃＝1，否则为b₃＝0；其中p可以为5、10、20等；d可以为3、5、10等；

b₄为登录邮箱的地理位置异常值；统计用户两次登录时间间隔内，地理位置距离大于阈值s，s的取值例如可以为飞机每小时飞行距离(速度按照500公里/小时)，则b₄＝1，否则b₄＝0；

b₅为登录方式异常值；登陆方式有网页、代理或手机端APP等，根据用户使用习惯，每次新的登录方式出现，则b₅＝1，否则b₅＝0；

a₁-a₅为登录行为数据所占的权重。

本发明提供的一种邮箱帐号异常的检测方法，对清洗后的邮件日志数据进行分析，综合考虑邮箱帐号的登陆次数、地址位置信息、登陆时间、登陆方式等影响因素，采用滑动时间窗口来限定帐号的行为周期，对各种影响因素进行加权，并用随机森林算法学习各影响因素的权重，最终判断邮箱帐号是否存在异常，提高了邮箱账号异常检测的准确性。

本发明另一些实施例提供的一种邮箱账号异常的检测方法，还包括如下步骤：

5)当判断出z≤z₀时，采用关联分析算法对邮箱账号进行检测。

在一些优选的实施例中，如图2所示，步骤5)包括：

51)获取数据库中邮箱账号异常时对应的日志数据，对日志数据进行清洗，提取有用信息并获取有用信息对应的登录行为数据；

所述登录行为数据包括：

c₁为帐号登陆失败的次数异常值；选取某一个时间窗口，统计帐号登陆失败的次数，当次数大于n₂时，c₁＝1，否则c₁＝0；其中，n₂可以为3、5等；

c₂为登录习惯异常值；非正常时间段(从t₁到t₂，例如从0:00-6:00)登陆次数与正常时间段登录次数的比值r，如果r>阈值r₀，则c₂＝1，否则c₂＝0；其中r₀可以为3、5等；

c₃为登陆地异常值；统计用户每日登录的地理位置信息；当用户登录的不重复位置超过p₁个且登录天数大于d₁，则c₃＝1，否则c₃＝0；p₁可以为3、5、10等，d₁可以为2、5等；

c₄为登录邮箱的地理位置异常值；统计用户两次登录时间间隔内，地理位置距离大于阈值s₁，s₁的取值例如可以为飞机每小时飞行距离(速度按照500公里/小时)，当此前出现过此情况且次数少于阈值e时，c₄＝0，否则c₄＝1；e可以为2、5等；

c₅为登录方式异常值；登陆方式有网页、代理或手机端APP等，根据用户使用习惯，连续w次以新的登录方式出现，则c₅＝1，否则c₅＝0；w可以为2、3、5等；

52)获取每一登录行为数据的权重，根据权重对登录行为数据进行排序，形成候选项集；

其中每一登录行为数据所占的权重可以通过随机森林算法获取或者人为设定，分别为f₁至f₅；

53)按照公式(二)计算候选项集内每一项的支持度，扫描一遍候选项集，去掉支持度小于最小支持度阈值的项，形成频繁1项集；

其中，S_i表示第i项(登录行为数据)的支持度，N_i表示第i频繁项出现的次数，N表示所有连接项出现的次数；

54)连接频繁1项集构成2项集，计算同时存在2项的支持度，删除支持度小于最小支持度阈值的项，形成频繁2项集，以此类推直至找不出频繁项集；

55)从步骤54)找出的最终频繁项集内形成关联规则；

形成关联规则是指将置信度大于置信度阈值的项集形成关联规则；

其中，按照公式(三)计算置信度C；

其中，S(X,Y)表示同时出现x，y的支持度，S(X)表示x的支持度；x，y分别表示登录行为数据；

56)计算关联系数k，k＝C*z_p，z_p为频繁项集的权重，将关联系数与关联系数阈值k₀进行比较，挑选出关联系数大于阈值k₀的项集，形成强关联规则；

其中，f_i表示频繁项集内第i项的权重，f_g表示频繁项集子集内第g项的权重；

57)提取待检测日志内的有用信息及对应的登录行为数据，将登录行为数据之间的连接与强关联规则进行匹配，匹配偏差小于阈值，即为存在异常。

具体匹配过程可以根据权值进行匹配，权值可以通过卷积神经网络进行训练获得。

下面给出利用关联分析算法对邮箱异常检测具体的实施例

以上表是按权重大小依次排列。上表中各项的权重异常为f₁至f₅。

预设最小值支持度为2，关联系数阈值k₀为0.7；

将项C₅删除，连接形成的2项集如下：

{C₁，C₂}，{C₁，C₃}，{C₁，C₄}，{C₂，C₃}，{C₂，C₄}，{C₃，C₄}

删除项{C₁，C₄}和{C₃，C₄}，连接形成的3项集如下：

{C₁，C₂，C₃},第三次扫描支持度S＝2。

{C₁，C₂，C₃}的非空子集包括{C₁}，{C₂}，{C₃}，{C₁，C₂}，{C₁，C₃}，{C₂，C₃}。

结果关联规则如下，每个都列出置信度及关联系数，设定权重分别为f₁＝30％，

f₂＝25％，f₃＝20％，f₄＝15％,f₅＝10％。

1).C₁＝>C₂∧C₃,C＝2/4＝50％，

2).C₂＝>C₁∧C₃,C＝2/3＝66.7％；

3).C₃＝>C₁∧C₂,C＝2/3＝66.7％；

4).C₁∧C₂＝>C₃,C＝2/2＝100％；

5).C₁∧C₃＝>C₂,C＝2/2＝100％；

6).C₂∧C₃＝>C₁,C＝2/3＝66.7％；

其中k₄＞0.7，因此4)是频繁项集{C₁，C₂，C₃}产生的强关联规则且可以输出。

本发明采用以上方法，根据关联规则和各登录行为数据的权重计算出关联系数，进而形成强关联规则，用于实现对待检测邮箱日志可能存在的异常进行检测，进而显著提高了检测的准确性。

本发明另一些实施例提供一种邮箱帐号异常的检测系统，如图3所示，该检测系统包括：

日志数据预处理模块10，被配置为对邮件日志数据进行清洗，提取有用信息；

其中，提取有用信息，有用信息包括：邮箱账号、登录时间、登陆IP、登陆IP归属地(用作地理位置信息)、账号登陆状态(登录成功或登陆失败)、登陆方式(网页、代理或手机端APP等)；

数据统计模块20，被配置为统计预设时间窗口内各有用信息对应的登录行为数据；

其中，所述登录行为数据包括：账号登录失败的次数异常值、非正常时间段登录异常值、不同登陆地值、登录邮箱的地理位置异常值及登录方式异常值；

权重获取模块30，被配置为确定当前时间窗口内每一登录行为数据所占的权重；

其中，利用随机森林算法确定当前时间窗口内每一登录行为数据所占的权重；

异常判断模块40，被配置为根据各登录行为数据及其对应的权重计算账户行为异常值z,并与预设阈值z₀进行比较，当z＞z₀时，判断账户为异常账户；

其中，z₀可根据实际情况进行限定，异常值z按照公式(一)进行计算：

z＝a₁*b₁+a₂*b₂+a₃*b₃+a₄*b₄+a₅*b₅ (一)

其中，b₁为帐号登陆失败的次数异常值；选取某一个时间窗口，统计帐号登陆失败的次数，次数大于阈值n₁，则认为存在异常，b₁＝1，否则b₁＝0；

b₂为非正常时段登陆异常值；非正常时间段根据(从t₁到t₂)登陆次数m，如果m>阈值m₀，则认为该用户当日在非正常时段有登录活动，b₂＝1，否则b₂＝0；

b₃为不同登陆地值；统计用户每日登录的地理位置信息；如果用户登录的不重复位置超过p个，则认为该用户当日登录地异常；如果用户具有登录地异常情况的天数大于d，则认为该用户行为异常，b₃＝1，否则为b₃＝0；

b₄为登录邮箱的地理位置异常值；统计用户两次登录时间间隔，地理位置距离大于阈值s，s的取值例如可以为飞机每小时飞行距离(速度按照500公里/小时)，则b₄＝1，否则b₄＝0；

b₅为登录方式异常值；登陆方式有网页、代理或手机端APP等，根据用户使用习惯，每次新的登录方式出现，则b₅＝1，否则b₅＝0；

a₁-a₅为登录行为数据所占的权重。

本发明提供的一种邮箱帐号异常的检测系统，采用滑动时间窗口来限定帐号的行为周期，对各种影响因素进行加权，并用随机森林算法学习各影响因素的权重，最终判断邮箱帐号是否存在异常，提高了邮箱账号异常检测的准确性。

本发明另一些实施例提供一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中的存储器所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序被一个或者一个以上的处理器用来执行上述实施例所提供的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种邮箱账号异常的检测方法，其特征在于，所述方法包括如下步骤：

对邮件日志数据进行清洗，提取有用信息；

统计预设时间窗口内各有用信息对应的登录行为数据；

确定当前时间窗口内每一登录行为数据所占的权重；

根据各登录行为数据及其对应的权重计算账户行为异常值z,并与预设阈值z₀进行比较，当z＞z₀时，判断账户为异常账户。

2.如权利要求1所述的邮箱账号异常的检测方法，其特征在于，所述有用信息包括邮箱账户、登录时间、登录IP、登录IP归属地、账号登录状态及登录方式。

3.如权利要求1所述的邮箱账号异常的检测方法，其特征在于，确定当前时间窗口内每一登录行为数据所占的权重为利用随机森林算法确定当前时间窗口内每一登录行为数据所占的权重。

4.如权利要求1所述的邮箱账号异常的检测方法，其特征在于，根据各登录行为数据及其对应的权重计算账户行为异常值z具体按照公式(一)进行计算：

z＝a₁*b₁+a₂*b₂+a₃*b₃+a₄*b₄+a₅*b₅ (一)

其中，b₁为帐号登陆失败的次数异常值；b₂为非正常时段登陆异常值；b₃为不同登陆地值；b₄为登录邮箱的地理位置异常值；b₅为登录方式异常值；a₁-a₅为登录行为数据所占的权重。

5.如权利要求1所述的邮箱账号异常的检测方法，其特征在于，所述方法还包括：当判断出z≤z₀时，采用关联分析算法对邮箱账号进行检测。

6.一种邮箱账号异常的检测系统，其特征在于，所述检测系统包括：

日志数据预处理模块，被配置为对邮件日志数据进行清洗，提取有用信息；

数据统计模块，被配置为统计预设时间窗口内各有用信息对应的登录行为数据；

权重获取模块，被配置为确定当前时间窗口内每一登录行为数据所占的权重；

异常判断模块，被配置为根据各登录行为数据及其对应的权重计算账户行为异常值z,并与预设阈值z₀进行比较，当z＞z₀时，判断账户为异常账户。

Images