CN105554007B - 一种web异常检测方法和装置 - Google Patents

Abstract

本发明提供了一种web异常检测方法和装置，所述方法包括：根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型，采用各个异常检测模型，分别检测目标web访问是否为异常web访问，将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。本发明实施例的方法利用创建的多个异常检测模型实现对未知漏洞和新型攻击进行自动检测，无需重新收集数据和制定规则，保证了较高的检出率和准确率，降低了人工的工作量，节省了人力和检测时间。

Description

一种web异常检测方法和装置

技术领域

本发明涉及计算机技术领域，特别是涉及一种web异常检测方法，以及，一种web异常检测装置。

背景技术

随着web服务的不断流行，web网站遭受的攻击也越来越多。web攻击基本都是黑客通过修改url来完成攻击，包括获取网站数据库内容，获得服务器root权限，窃取用户数据等。常用的web攻击类型有很多，如目录遍历漏洞利用、SQL注入、跨站脚本攻击(XSS)、跨站请求伪造攻击(CSRF)等。

对于web攻击，常用的检测方法包括依据安全人员制定的攻击检出规则找出攻击行为，或是凭借人工经验提取有意义的特征，使用有监督分类算法找出攻击行为。

基于人工制定的检出规则的方法对已知漏洞或攻击行为的方式，需要大量的安装专家，会引入更多的主观成分，而且对于新型攻击，需要重新制定规则，不能保证检测的实时性和全面性。

有监督分类算法也可以获得较高的准确率，而且对安全专家的依赖较低，但较高的准确率需要依据大量的且全面的训练数据，获取大量的且全面的训练数据往往很难。同时，对于新型攻击的检测，使用有监督分类算法也需要重新收集数据，训练模型，也不易保证检测的实时性和全面性。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的web异常检测方法和web异常检测方法装置。

依据本发明的一个方面，提供了web异常检测方法，包括：

根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型；

采用各个异常检测模型，分别检测目标web访问是否为异常web访问；

将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。

可选地，所述根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型包括：

统计历史web访问记录中所述web访问特征的取值范围，创建判断所述web访问特征是否符合所述取值范围的第一异常检测模型。

可选地，所述采用各个异常检测模型，分别检测目标web访问是否为异常web访问包括：

采用所述异常检测模型判断所述目标web访问的web访问特征是否符合所述取值范围，若不符合，则确定所述目标web访问为异常web访问。

可选地，所述根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型包括：

统计各个web访问特征出现的概率，并创建基于各个web访问特征预测所述web访问为异常web访问的概率的第二异常检测模型。

可选地，所述采用各个异常检测模型，分别检测目标web访问是否为异常web访问包括：

分别采用各个异常检测模型预测所述目标web访问为异常web访问的目标概率；

在所述web访问记录中所有web访问对应的概率中，若所述目标概率的排序低于预设值，则确定所述目标web访问为异常web访问。

可选地，所述web访问特征包括访问路径、访问参数和访问参数值中至少一种，所述统计各个web访问特征出现的概率，并创建基于各个web访问特征预测所述web访问为异常web访问的概率的第二异常检测模型包括：

根据各个访问参数出现的次数统计各个访问路径出现的第一概率，并基于所述第一概率，创建基于所述访问路径预测所述web访问为异常web访问的概率的第三异常检测模型；

和/或，针对同一访问路径，统计各个访问参数出现的第二概率，并基于所述第二概率，创建基于所述访问参数预测所述web访问为异常web访问的概率的第四异常检测模型；

和/或，针对同一访问参数，统计各访问参数值出现的第三概率，并基于所述第三概率，创建基于所述访问参数值预测所述web访问为异常web访问的概率的第五异常检测模型。

可选地，所述根据各个访问参数出现的次数统计各个访问路径出现的第一概率包括：

针对各个访问路径，从第一哈希表读取所述访问路径包括的访问参数出现的第一次数，以及从第二哈希表读取所述访问路径包括的访问参数二元组出现的第二次数；

根据所述第一次数和第二次数统计各个访问参数二元组出现的第五概率；

根据各个访问参数二元组出现的第五概率，统计各个访问路径出现的第一概率。

可选地，在所述采用各个异常检测模型，分别检测目标web访问是否为异常web访问之前，所述方法还包括：

通过统计所述异常检测模型中至少一个web访问特征的个数符合第一预设范围，和/或，检测结果的检测方差符合第二预设范围，确定所述异常检测模型处于稳定状态。

可选地，所述web访问特征包括访问源IP和访问时间，所述方法还包括：

展示所述web访问的异常类型、访问源IP以及访问时间。

可选地，所述web访问特征包括访问源IP和访问时间，所述方法还包括：

若在第一时间段内检测到同一访问源IP的异常web访问超出预设个数，则确定发生所述访问源IP的web攻击事件，并通报所述web攻击事件。

可选地，所述方法还包括：

若在第二时间段内检测到预设个数的不同访问源IP的web攻击事件，则获取更新的历史web访问记录，并重新创建各个异常检测模型。

本发明还提供了一种web异常检测装置，包括：

异常检测模型创建模块，用于根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型；

异常检测模块，用于采用各个异常检测模型，分别检测目标web访问是否为异常web访问；

异常类型标记模块，用于将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。

可选地，所述异常检测模型创建模块包括：

第一异常检测模型创建子模块，用于统计历史web访问记录中所述web访问特征的取值范围，创建判断所述web访问特征是否符合所述取值范围的第一异常检测模型。

可选地，所述异常检测模块，具体用于采用所述异常检测模型判断所述目标web访问的web访问特征是否符合所述取值范围，若不符合，则确定所述目标web访问为异常web访问。

可选地，所述异常检测模型创建模块，具体用于统计各个web访问特征出现的概率，并创建基于各个web访问特征预测所述web访问为异常web访问的概率的第二异常检测模型。

可选地，所述异常检测模块包括：

目标概率预测子模块，用于分别采用各个异常检测模型预测所述目标web访问为异常web访问的目标概率；

异常web访问确定子模块，用于在所述web访问记录中所有web访问对应的概率中，若所述目标概率的排序低于预设值，则确定所述目标web访问为异常web访问。

可选地，所述web访问特征包括访问路径、访问参数和访问参数值中至少一种，所述异常检测模型创建模块包括：

第三异常检测模型创建子模块，用于根据各个访问参数出现的次数统计各个访问路径出现的第一概率，并基于所述第一概率，创建基于所述访问路径预测所述web访问为异常web访问的概率的第三异常检测模型；

和/或，第四异常检测模型创建子模块，用于针对同一访问路径，统计各个访问参数出现的第二概率，并基于所述第二概率，创建基于所述访问参数预测所述web访问为异常web访问的概率的第四异常检测模型；

和/或，第五异常检测模型创建子模块，用于针对同一访问参数，统计各访问参数值出现的第三概率，并基于所述第三概率，创建基于所述访问参数值预测所述web访问为异常web访问的概率的第五异常检测模型。

可选地，所述第三异常检测模型创建子模块包括：

次数读取子单元，用于针对各个访问路径，从第一哈希表读取所述访问路径包括的访问参数出现的第一次数，以及从第二哈希表读取所述访问路径包括的访问参数二元组出现的第二次数；

第五概率统计子单元，用于根据所述第一次数和第二次数统计各个访问参数二元组出现的第五概率；

第一概率统计子单元，用于根据各个访问参数二元组出现的第五概率，统计各个访问路径出现的第一概率。

可选地，所述装置还包括：

稳定状态确定模块，用于在所述采用各个异常检测模型，分别检测目标web访问是否为异常web访问之前，通过统计所述异常检测模型中至少一个web访问特征的个数符合第一预设范围，和/或，检测结果的检测方差符合第二预设范围，确定所述异常检测模型处于稳定状态。

可选地，所述装置还包括：

信息展示模块，用于展示所述web访问的异常类型、访问源IP以及访问时间，所述web访问特征包括访问源IP和访问时间。

可选地，所述装置还包括：

web攻击事件确定模块，用于若在第一时间段内检测到同一访问源IP的异常web访问超出预设个数，则确定发生所述访问源IP的web攻击事件，并通报所述web攻击事件，所述web访问特征包括访问源IP和访问时间。

可选地，所述装置还包括：

异常检测模型重新创建模块，用于若在第二时间段内检测到预设个数的不同访问源IP的web攻击事件，则获取更新的历史web访问记录，并重新创建各个异常检测模型。

依据本发明实施例，根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型，利用创建的多个异常检测模型实现对未知漏洞和新型攻击进行自动检测，无需重新收集数据和制定规则，保证了较高的检出率和准确率，降低了人工的工作量，节省了人力和检测时间。进一步，因为使用web访问特征标记处于异常状态的目标web访问的异常类型，所以安全人员可以快速确定目标web访问中出现异常的web访问特征，及时对出现异常的web访问特征对应的异常检测模型进行模型修改或模型重建，保证了模型修改或模型重建的时效性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明实施例1的web异常检测方法的流程图；

图2示出了根据本发明实施例2的web异常检测方法的流程图；

图3示出了根据本发明实施例的一个示例的web异常检测方法的流程框图；

图4示出了根据本发明实施例1的web异常检测装置的结构框图；

图5示出了根据本发明实施例2的web异常检测装置的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

参照图1，示出了本发明实施例1的web异常检测方法的流程图。

步骤101，根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型。

本发明实施例中，历史web访问记录中可以记录多个历史web访问，解析多个历史web访问，获得web访问特征。web访问特征可以包括访问路径、路径长度、访问参数、访问参数值和其它特征信息中的一种或多种。历史web访问记录可以以web访问日志的形式存储。

异常检测模型用于检测当前web访问是否属于异常web访问，可以为任意适用于本发明的模型。解析多个历史web访问，可以得到多个web访问特征，针对各种历史web访问特征都可以分别建立异常检测模型，从而可以得到用于检测web异常访问的多个异常检测模型。

具体地，从历史访问记录中读取多个历史web访问，解析各个历史web访问，得到多个web访问特征，统计属于同一web访问特征的web访问特征，创建基于某一web访问特征检测异常web访问的多个异常检测模型。

例如，从历史访问记录中读取历史web访问记录，解析各个历史web访问，可以统计解析的多个路径长度特征，建立基于路径长度检测异常web访问的异常检测模型；也可以统计解析的多个参数值，建立基于参数值检测异常web访问的异常检测模型。

步骤102，采用各个异常检测模型，分别检测目标web访问是否为异常web访问。

本发明实施例中，由于创建了多个异常web访问模型，所以可以采用各个异常检测模型对目标web访问进行检测，进而判断目标web访问是否为异常web访问。

具体检测时，可以提取目标web访问的访问特征，将访问特征输入对应的模型，得到模型输出的结果。

步骤103，将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。

本发明实施例中，当某一异常检测模型检测出目标web访问为异常web访问时，使用该异常检测模型对应的web访问特征标记目标web访问的异常类型。

在具体实现中，针对目标web访问，若使用多个异常检测模型同时检测出目标web访问为异常web访问时，则可以使用任意一个web访问特征标记目标web访问的异常类型；也可以使用多个web访问特征标记目标web访问的异常类型，本发明在此不做限制。

依据本发明实施例，根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型，利用创建的多个异常检测模型实现对未知漏洞和新型攻击进行自动检测，无需重新收集数据和制定规则，保证了较高的检出率和准确率，降低了人工的工作量，节省了人力和检测时间。进一步，因为使用web访问特征标记处于异常状态的目标web访问的异常类型，所以安全人员可以快速确定目标web访问中出现异常的web访问特征，及时对出现异常的web访问特征对应的异常检测模型进行模型修改或模型重建，保证了模型修改或模型重建的时效性。

参照图2，示出了根据本发明实施例2的web异常检测方法的流程图。

步骤201，根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型。

本发明实施例中，可以统计历史web访问记录中所述web访问特征的取值范围，创建判断所述web访问特征是否符合所述取值范围的第一异常检测模型；也可以统计各个web访问特征出现的概率，创建基于各个web访问特征预测所述目标web访问为异常web访问的概率的第二异常检测模型；也可以同时创建第一异常检测模型和第二异常检测模型，还可以采用其他任意适用的方式基于访问特征创建模型，本发明对此并不做限制。

在具体实现中，创建第一异常检测模型时，可以统计web访问记录中的路径长度的取值范围，创建判断路径长度是否符合所述取值范围的第一异常检测模型。

创建第二异常检测模型时，所述web访问特征可以包括访问路径、访问参数和访问参数值中的至少一种。本发明实施例中，优选采用访问路径创建模型，对应创建第二异常检测模型的过程具体如下：

采用访问路径创建模型时，根据各个访问参数出现的次数统计各个访问路径出现的第一概率，并基于所述第一概率，创建基于所述访问路径预测所述目标web访问为异常web访问的概率的第三异常检测模型。

进一步，本方法中，所述根据各个访问参数出现的次数统计各个访问路径出现的第一概率的步骤可以包括以下三个子步骤：

子步骤1，针对各个访问路径，从第一哈希表读取所述访问路径包括的访问参数出现的第一次数，以及从第二哈希表读取所述访问路径包括的访问参数二元组出现的第二次数。

哈希表(Hash table，也叫散列表)，是根据关键码值(Key value)而直接进行访问的数据结构，通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。

本子步骤中，第一哈希表用于记录历史web访问记录中多个历史web访问的一元访问参数出现的第一次数，第二哈希表用于记录历史web访问记录中多个历史web访问的访问参数二元组出现的第二次数。当检测到目标web访问后，更新历史web访问记录，基于目标web访问的web访问特征，重新统计第一哈希表中一元访问参数出现的第一次数，以及第二哈希表中二元访问参数组出现的第二次数。可以采用下面的公式对第一哈希表中的一元访问参数进行统计，计算公式为：

count′(m)＝count(m)+1

其中，count(m)为第一哈希表中原始记录的一元访问参数m出现的次数；count′(m)为统计后的第一哈希表中记录的一元访问参数m出现的次数。

可以采用下面的公式对第二哈希表中的访问参数二元组进行统计，计算公式为：

count′(m n)＝count(m n)+1

其中，count(m n)为第二哈希表中原始记录的访问参数二元组(m n)出现的次数；count′(m n)为统计后的第二哈希表中记录的访问参数二元组(m n)出现的次数。

在完成对第一哈希表中一元访问参数出现的第一次数，以及第二哈希表中访问参数二元组出现的第二次数的统计后，将统计后的第一次数存储至第一哈希表，将统计后的第二次数存储至第二哈希表，更新第一哈希表和第二哈希表存储的数据。

针对各个访问路径，从更新后的第一哈希表读取所述访问路径包括的访问参数出现的第一次数，以及从更新后的第二哈希表读取所述访问路径包括的访问参数二元组出现的第二次数。

子步骤2，根据所述第一次数和第二次数统计各个访问参数二元组出现的概率。

例如，目标web访问的url为:/a/b/c/d？x＝e&y＝f，可以从第一哈希表中分别读取一元访问参数a、b和c出现的次数count(a)、count(b)和count(c)；从第二哈希表中分别读取二元访问参数组出现的次数count(b a)、count(c b)和count(d c)，依据访问参数二元组出现的概率的计算公式，计算各个访问参数二元组出现的第五概率。所述访问参数二元组出现的第五概率的计算公式为：

访问参数二元组(b a)出现的概率P(b|a)为：P(b|a)＝count(b a)/count(a)；

访问参数二元组(c b)出现的概率P(c|b)为：P(c|b)＝count(c b)/count(b)；

访问参数二元组(d c)出现的概率P(d|c)为：P(d|c)＝count(d c)/count(c)。

之后，分别将计算的访问参数二元组出现的第五概率P(b|a)、P(c|b)和P(d|c)存储至概率表。

子步骤3，根据各个访问参数二元组出现的第五概率，统计各个访问路径出现的第一概率。

例如，目标web访问的url为:/a/b/c/d？x＝e&y＝f，可以从概率表中提取访问参数二元组出现的概率P(b|a)、P(c|b)和P(d|c)，相乘提取的三个概率，得到该访问路径出现的概率。该访问路径出现的概率(path_prob)的计算公式为：

path_prob＝P(b|a)*P(c|b)*P(d|c)。

本方法在统计访问路径出现的第一概率后，创建基于访问路径预测所述web访问为异常web访问的概率的第三异常检测模型。

采用访问参数创建模型时，针对同一访问路径，统计各个访问参数出现的第二概率，并基于所述第二概率，创建基于所述访问参数预测所述web访问为异常web访问的概率的第四异常检测模型。

本方案中，第一哈希表可以用于记录同一访问路径下各个访问参数出现的第一次数，第二哈希表可以用于记录同一访问路径下各个访问参数所在的访问路径出现的第二次数。

本方法与第一种方法类似，检测到目标web访问后，更新历史web访问记录，基于目标web访问的web访问特征，重新统计第一哈希表中一元访问参数出现的第一次数，以及第二哈希表中各个访问参数所在的访问路径出现的第二次数。

例如，目标web访问的url为:/a/b/c/d？x＝e&y＝f，可以采用公式count′(x)＝count(x)+1对第一哈希表中的访问参数x出现的次数进行统计，可以采用公式count′(/a/b/c/d)＝count′(/a/b/c/d)+1对第二哈希表中的访问参数x所在的访问路径出现的次数进行统计。

针对例子中的访问路径，各个访问参数出现的第二概率的计算公式为：

para_x_prob＝count(x)/count(/a/b/c/d？x)

其中，(para_x_prob)为访问参数x出现的概率；count(x)为访问参数x出现的次数；count(/a/b/c/d？x)为一元访问参数路径(/a/b/c/d？x)出现的次数。

同样，访问参数y出现的第二概率的计算公式为：

para_y_prob＝count(y)/count(/a/b/c/d？y)。

本方法在针对同一访问路径，统计各个访问参数出现的第二概率后，创建基于访问参数预测所述web访问为异常web访问的概率的第四异常检测模型。

采用访问参数值创建模型时，针对同一访问参数，统计各访问参数值出现的第三概率，并基于所述第三概率，创建基于所述访问参数值预测所述目标web访问为异常web访问的概率的第五异常检测模型。

本方法中，第一哈希表可以用于记录各个访问参数值出现的第一次数，第二哈希表可以用于记录各个访问参数与相应的访问参数值同时出现的第二次数。可以通过统计第一哈希表，计算各个访问参数值出现的概率。进一步，可以利用本方法中的概率计算公式，计算针对同一访问参数，各访问参数值出现的第三概率。

本方法与第一种方法类似，检测到目标web访问后，更新历史web访问记录，基于目标web访问的web访问特征，重新统计第一哈希表中各个访问参数值出现的第一次数，以及第二哈希表中各个访问参数与相应的访问参数值同时出现的第二次数。

例如，目标web访问的url为:/a/b/c/d？x＝e&y＝f，针对访问参数x，其访问参数值为e出现的第三概率的计算公式为：

para_vale_e_prob＝para_x_prob*(count(e)/count(x＝e))

其中，(para_vale_e_prob)为访问参数x的访问参数值为e出现的概率；(para_x_prob)为访问参数x出现的概率；count(e)为访问参数值e出现的次数；count(x＝e)为访问参数x的访问参数值为e出现的次数。

同样，针对访问参数y，其访问参数值为f出现的第三概率的计算公式为：

para_vale_f_prob＝para_y_prob*(count(f)/count(y＝f))

其中，(para_vale_f_prob)为访问参数x的访问参数值为f出现的概率；(para_y_prob)为访问参数y出现的概率；count(f)为访问参数值f出现的次数；count(y＝f)为访问参数y的访问参数值为f出现的次数。

本方法在针对同一访问参数，统计各个访问参数值出现的第三概率后，创建基于访问参数值预测所述web访问为异常web访问的概率的第五异常检测模型。

创建第二异常检测模型时，可以采用上述三种方法中的一种或多种创建异常检测模型，本发明在此不做限制。

步骤202，通过统计所述异常检测模型中至少一个web访问特征的个数符合第一预设范围，和/或，检测结果的检测方差符合第二预设范围，确定所述异常检测模型处于稳定状态。

本发明实施例中，创建异常检测模型后，需要判断异常检测模型是否处于稳定状态，只有确定异常检测模型处于稳定状态后，才可以采用该异常检测模型检测目标web访问是否为异常web访问。对于处于非稳定状态的异常检测模型，需要修改模型或重建模型。

在具体实现中，判断异常检测模型是否处于稳定状态的方法可以包括：第一种，通过统计所述异常检测模型中至少一个web访问特征的个数符合第一预设范围；第二种，检测结果的检测方差符合第二预设范围；第三种，结合第一种判断方法和第二种判断方法，同时满足两个判断条件时，可以确定所述异常检测模型处于稳定状态。

例如，对于一个host(网站)，针对创建的任意一异常检测模型，若同时满足下述条件：不同的访问路径(Uniform Resource Locator，URL)数目大于1000、url总数目大于100000、不同的访问源IP数目大于50，以及最近五次该异常检测模型检测出异常比例的方差小于0.005，则可以确定该异常检测模型处于稳定状态。

步骤203，采用各个异常检测模型，分别检测目标web访问是否为异常web访问。

本发明实施例中，对于第一异常检测模型和第二异常检测模型，检测目标web访问是否为异常web访问的检测方法不同。

针对第一异常检测模型，可以采用所述异常检测模型判断所述目标web访问的web访问特征是否符合所述取值范围，若不符合，则确定所述目标web访问为异常web访问。

具体地，解析目标web访问的web访问特征的取值，基于统计web访问记录得到的web访问特征的取值范围，判断所述web访问特征的取值是否符合统计的取值范围，若符合，则确定所述目标web访问为正常web访问；若不符合，则确定所述目标web访问为异常web访问。所述web访问特征可以为路径长度。

例如，可以解析某一网站的历史访问记录中多个历史web访问的路径长度，计算该网站下历史web访问的路径长度的最大值和最小值。统计的最大路径长度的计算公式如下：

max_length＝max(max_length,current_path_length+3)

其中，(max_length)为统计的最大路径长度；(max_length)为历史访问记录中多个历史web访问的路径长度中的最大长度；(current_path_length+3)为历史访问记录中多个历史web访问的路径长度的平均值加3；{max(max_length,current_path_length+3)}为取(max_length)和(current_path_length+3)两者中的最大值作为统计的最大路径长度。

统计的最小路径长度的计算公式如下：

min_length＝min(min_length,current_path_length-3)

其中，(min_length)为统计的最小路径长度；(min_length)为历史访问记录中多个历史web访问的路径长度中的最小长度；(current_path_length+3)为历史访问记录中多个历史web访问的路径长度的平均值减3；{min(min_length,current_path_min-3)}为取(min_length)和(current_path_length-3)两者中的最小值作为统计的最小路径长度。

针对第二异常检测模型，可以分别采用各个异常检测模型预测所述目标web访问为异常web访问的目标概率，在所述web访问记录中所有web访问对应的概率中，若所述目标概率的排序低于预设值，则确定所述目标web访问为异常web访问。

本发明实施例中，可以采用本实施例中创建的访问路径异常检测模型、访问参数异常检测模型和访问参数值异常检测模型中的一种或多种，预测所述目标web访问为异常web访问的目标概率。

在所述web访问记录中所有web访问对应的概率中，若所述目标web访问特征的web访问特征出现的目标概率的排序低于预设值，则可以判定目标web访问为异常web访问。具体地，web访问特征出现的目标概率可以为访问路径出现的概率、访问参数出现的概率和访问参数值出现的概率中的一种或多种，本发明在此不做限制。

例如，预设访问路径出现的概率的异常阈值为0.01，对于某一网站，在历史访问记录中，记录的访问路径的总数目为100000。如果计算出的目标web访问的访问路径出现的概率(path_prob)小于历史web访问记录中记录的1000个访问路径出现的概率，则可以判定目标web访问为异常web访问。

步骤204，将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。

在具体实现中，当判定目标web访问为异常访问后，针对第一异常检测模型，可以将路径长度标记为所述目标web访问的异常类型；针对第二异常检测模型，可以将访问路径、访问参数、访问参数值和其它适用的访问特征中的一种或多种，标记为所述目标web访问的异常类型。

本发明实施例中，优选地，所述web访问特征包括访问源IP和访问时间，所述方法还包括：

展示所述web访问的异常类型、访问源IP以及访问时间。

本发明优选实施例中，在确定目标web访问为异常访问后，可以展示异常类型、源IP信息和访问时间等信息。例如，检测目标web访问为异常web访问后，可以展示如下信息：url:/index.php？user＝root；异常类型：参数值异常；源IP：10.16.44.12；时间：2015-09-19 18:55:27.941。

本发明实施例中，优选地，所述web访问特征包括访问源IP和访问时间，所述方法还包括：

若在第一时间段内检测到同一访问源IP的异常web访问超出预设个数，则确定发生所述访问源IP的web攻击事件，并通报所述web攻击事件。

本发明实施例中，优选地，所述方法还包括：

若在第二时间段内检测到预设个数的不同访问源IP的web攻击事件，则获取更新的历史web访问记录，并重新创建各个异常检测模型。

例如，设定在5min内检测到20个不同访问源IP的web攻击事件时，需要获取更新的历史web访问记录，并重新创建各个异常检测模型。

依据本发明实施例，根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型，利用创建的多个异常检测模型实现对未知漏洞和新型攻击进行自动检测，无需重新收集数据和制定规则，保证了较高的检出率和准确率，降低了人工的工作量，节省了人力和检测时间。进一步，因为使用web访问特征标记处于异常状态的目标web访问的异常类型，所以安全人员可以快速确定目标web访问中出现异常的web访问特征，及时对出现异常的web访问特征对应的异常检测模型进行模型修改或模型重建，保证了模型修改或模型重建的时效性。

为了使本领域的技术人员更清楚地理解本发明，下面通过具体示例对本发明的web异常检测方法进行详细说明。

参照图3，示出了根据本发明实施例的一个示例的web异常检测方法的流程框图。本示例中，所述web异常检测方法具体步骤包括：

1、解析web访问日志，提取web访问特征；

2、依据解析的web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型；

3、检测模型是否处于稳定状态，若是，则进行下一步，检测目标web访问；若否，则需要重新创建异常检测模型；

4、使用该异常检测模型检测目标web访问是否属于正常访问，若是，则检测下一个目标web访问；若否，则判定目标web访问为异常web访问，进行下一步；

5、判断是否发生web攻击事件，若否，则累计异常web访问的次数；若是，则通报发生了web攻击事件，并进一步判断是否需要重建模型，若是，则重建异常检测模型。

参照图4，示出了根据本发明实施例1的web异常检测装置的结构框图，所述装置可以包括：

异常检测模型创建模块301，用于根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型。

异常检测模块302，用于采用各个异常检测模型，分别检测目标web访问是否为异常web访问。

异常类型标记模块303，用于将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。

依据本发明实施例，根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型，利用创建的多个异常检测模型实现对未知漏洞和新型攻击进行自动检测，无需重新收集数据和制定规则，保证了较高的检出率和准确率，降低了人工的工作量，节省了人力和检测时间。进一步，因为使用web访问特征标记处于异常状态的目标web访问的异常类型，所以安全人员可以快速确定目标web访问中出现异常的web访问特征，及时对出现异常的web访问特征对应的异常检测模型进行模型修改或模型重建，保证了模型修改或模型重建的时效性。

参照图5，示出了根据本发明实施例2的web异常检测装置的结构框图，所述装置可以包括：

异常检测模型创建模块401，用于根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型。

稳定状态确定模块402，用于在所述采用各个异常检测模型，分别检测目标web访问是否为异常web访问之前，通过统计所述异常检测模型中至少一个web访问特征的个数符合第一预设范围，和/或，检测结果的检测方差符合第二预设范围，确定所述异常检测模型处于稳定状态。

异常检测模块403，用于采用各个异常检测模型，分别检测目标web访问是否为异常web访问。

异常类型标记模块404，用于将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型。

本发明实施例中，优选地，所述异常检测模型创建模块401包括：

第一异常检测模型创建子模块，用于统计历史web访问记录中所述web访问特征的取值范围，创建判断所述web访问特征是否符合所述取值范围的第一异常检测模型。

本发明实施例中，优选地，所述异常检测模块403，具体用于采用所述异常检测模型判断所述目标web访问的web访问特征是否符合所述取值范围，若不符合，则确定所述目标web访问为异常web访问。

本发明实施例中，优选地，所述异常检测模型创建模块401，具体用于统计各个web访问特征出现的概率，并创建基于各个web访问特征预测所述web访问为异常web访问的概率的第二异常检测模型。

本发明实施例中，优选地，所述异常检测模块403包括：

目标概率预测子模块，用于分别采用各个异常检测模型预测所述目标web访问为异常web访问的目标概率；

异常web访问确定子模块，用于在所述web访问记录中所有web访问对应的概率中，若所述目标概率的排序低于预设值，则确定所述目标web访问为异常web访问。

本发明实施例中，优选地，所述web访问特征包括访问路径、访问参数和访问参数值中至少一种，所述异常检测模型创建模块401包括：

第三异常检测模型创建子模块，用于根据各个访问参数出现的次数统计各个访问路径出现的第一概率，并基于所述第一概率，创建基于所述访问路径预测所述web访问为异常web访问的概率的第三异常检测模型；

和/或，第四异常检测模型创建子模块，用于针对同一访问路径，统计各个访问参数出现的第二概率，并基于所述第二概率，创建基于所述访问参数预测所述web访问为异常web访问的概率的第四异常检测模型；

和/或，第五异常检测模型创建子模块，用于针对同一访问参数，统计各访问参数值出现的第三概率，并基于所述第三概率，创建基于所述访问参数值预测所述web访问为异常web访问的概率的第五异常检测模型。

本发明实施例中，优选地，所述第三异常检测模型创建子模块包括：

次数读取子单元，用于针对各个访问路径，从第一哈希表读取所述访问路径包括的访问参数出现的第一次数，以及从第二哈希表读取所述访问路径包括的访问参数二元组出现的第二次数；

第五概率统计子单元，用于根据所述第一次数和第二次数统计各个访问参数二元组出现的第五概率；

第一概率统计子单元，用于根据各个访问参数二元组出现的第五概率，统计各个访问路径出现的第一概率。

本发明实施例中，优选地，所述装置还包括：

稳定状态确定模块，用于在所述采用各个异常检测模型，分别检测目标web访问是否为异常web访问之前，通过统计所述异常检测模型中至少一个web访问特征的个数符合第一预设范围，和/或，检测结果的检测方差符合第二预设范围，确定所述异常检测模型处于稳定状态。

本发明实施例中，优选地，所述装置还包括：

信息展示模块，用于展示所述web访问的异常类型、访问源IP以及访问时间，所述web访问特征包括访问源IP和访问时间。

本发明实施例中，优选地，所述装置还包括：

web攻击事件确定模块，用于若在第一时间段内检测到同一访问源IP的异常web访问超出预设个数，则确定发生所述访问源IP的web攻击事件，并通报所述web攻击事件，所述web访问特征包括访问源IP和访问时间。

本发明实施例中，优选地，所述装置还包括：

异常检测模型重新创建模块，用于若在第二时间段内检测到预设个数的不同访问源IP的web攻击事件，则获取更新的历史web访问记录，并重新创建各个异常检测模型。

依据本发明实施例，根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型，利用创建的多个异常检测模型实现对未知漏洞和新型攻击进行自动检测，无需重新收集数据和制定规则，保证了较高的检出率和准确率，降低了人工的工作量，节省了人力和检测时间。进一步，因为使用web访问特征标记处于异常状态的目标web访问的异常类型，所以安全人员可以快速确定目标web访问中出现异常的web访问特征，及时对出现异常的web访问特征对应的异常检测模型进行模型修改或模型重建，保证了模型修改或模型重建的时效性。

对于上述基于地理位置的来电管理装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。

在此提供的基于地理位置的来电管理方案不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的web异常检测方案中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (20)

1.一种web异常检测方法，包括：

根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型；

采用各个异常检测模型，分别检测目标web访问是否为异常web访问；

将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型；

在所述采用各个异常检测模型，分别检测目标web访问是否为异常web访问之前，所述方法还包括：通过统计所述异常检测模型中至少一个web访问特征的个数符合第一预设范围，和/或，检测结果的检测方差符合第二预设范围，确定所述异常检测模型处于稳定状态。

2.根据权利要求1所述的方法，其中，所述根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型包括：

统计历史web访问记录中所述web访问特征的取值范围，创建判断所述web访问特征是否符合所述取值范围的第一异常检测模型。

3.根据权利要求2所述的方法，其中，所述采用各个异常检测模型，分别检测目标web访问是否为异常web访问包括：

采用所述异常检测模型判断所述目标web访问的web访问特征是否符合所述取值范围，若不符合，则确定所述目标web访问为异常web访问。

4.根据权利要求1所述的方法，其中，所述根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型包括：

统计各个web访问特征出现的概率，并创建基于各个web访问特征预测所述web访问为异常web访问的概率的第二异常检测模型。

5.根据权利要求4所述的方法，其中，所述采用各个异常检测模型，分别检测目标web访问是否为异常web访问包括：

采用所述第二异常检测模型预测所述目标web访问为异常web访问的目标概率；

在所述web访问记录中所有web访问对应的概率中，若所述目标概率的排序低于预设值，则确定所述目标web访问为异常web访问。

6.根据权利要求4所述的方法，其中，所述web访问特征包括访问路径、访问参数和访问参数值中至少一种，所述统计各个web访问特征出现的概率，并创建基于各个web访问特征预测所述web访问为异常web访问的概率的第二异常检测模型包括：

根据各个访问参数出现的次数统计各个访问路径出现的第一概率，并基于所述第一概率，创建基于所述访问路径预测所述web访问为异常web访问的概率的第三异常检测模型；

和/或，针对同一访问路径，统计各个访问参数出现的第二概率，并基于所述第二概率，创建基于所述访问参数预测所述web访问为异常web访问的概率的第四异常检测模型；

和/或，针对同一访问参数，统计各访问参数值出现的第三概率，并基于所述第三概率，创建基于所述访问参数值预测所述web访问为异常web访问的概率的第五异常检测模型。

7.根据权利要求6所述的方法，其中，所述根据各个访问参数出现的次数统计各个访问路径出现的第一概率包括：

针对各个访问路径，从第一哈希表读取所述访问路径包括的访问参数出现的第一次数，以及从第二哈希表读取所述访问路径包括的访问参数二元组出现的第二次数；

根据所述第一次数和第二次数统计各个访问参数二元组出现的第五概率；

根据各个访问参数二元组出现的第五概率，统计各个访问路径出现的第一概率。

8.根据权利要求1所述的方法，其中，所述web访问特征包括访问源IP和访问时间，所述方法还包括：

展示所述web访问的异常类型、访问源IP以及访问时间。

9.根据权利要求1所述的方法，其中，所述web访问特征包括访问源IP和访问时间，所述方法还包括：

若在第一时间段内检测到同一访问源IP的异常web访问超出预设个数，则确定发生所述访问源IP的web攻击事件，并通报所述web攻击事件。

10.根据权利要求9所述的方法，其中，所述方法还包括：

若在第二时间段内检测到预设个数的不同访问源IP的web攻击事件，则获取更新的历史web访问记录，并重新创建各个异常检测模型。

11.一种web异常检测装置，包括：

异常检测模型创建模块，用于根据从历史web访问记录中解析的多个web访问特征，创建基于所述web访问特征检测异常web访问的多个异常检测模型；

异常检测模块，用于采用各个异常检测模型，分别检测目标web访问是否为异常web访问；

异常类型标记模块，用于将检测结果为异常web访问的异常检测模型对应的web访问特征，标记为所述目标web访问的异常类型；

其中，所述装置还包括：稳定状态确定模块，用于在所述采用各个异常检测模型，分别检测目标web访问是否为异常web访问之前，通过统计所述异常检测模型中至少一个web访问特征的个数符合第一预设范围，和/或，检测结果的检测方差符合第二预设范围，确定所述异常检测模型处于稳定状态。

12.根据权利要求11所述的装置，其中，所述异常检测模型创建模块包括：

第一异常检测模型创建子模块，用于统计历史web访问记录中所述web访问特征的取值范围，创建判断所述web访问特征是否符合所述取值范围的第一异常检测模型。

13.根据权利要求12所述的装置，其中：

所述异常检测模块，具体用于采用所述异常检测模型判断所述目标web访问的web访问特征是否符合所述取值范围，若不符合，则确定所述目标web访问为异常web访问。

14.根据权利要求11所述的装置，其中，

所述异常检测模型创建模块，具体用于统计各个web访问特征出现的概率，并创建基于各个web访问特征预测所述web访问为异常web访问的概率的第二异常检测模型。

15.根据权利要求14所述的装置，其中，所述异常检测模块包括：

目标概率预测子模块，用于采用所述第二异常检测模型预测所述目标web访问为异常web访问的目标概率；

异常web访问确定子模块，用于在所述web访问记录中所有web访问对应的概率中，若所述目标概率的排序低于预设值，则确定所述目标web访问为异常web访问。

16.根据权利要求14所述的装置，其中，所述web访问特征包括访问路径、访问参数和访问参数值中至少一种，所述异常检测模型创建模块包括：

第三异常检测模型创建子模块，用于根据各个访问参数出现的次数统计各个访问路径出现的第一概率，并基于所述第一概率，创建基于所述访问路径预测所述web访问为异常web访问的概率的第三异常检测模型；

和/或，第四异常检测模型创建子模块，用于针对同一访问路径，统计各个访问参数出现的第二概率，并基于所述第二概率，创建基于所述访问参数预测所述web访问为异常web访问的概率的第四异常检测模型；

和/或，第五异常检测模型创建子模块，用于针对同一访问参数，统计各访问参数值出现的第三概率，并基于所述第三概率，创建基于所述访问参数值预测所述web访问为异常web访问的概率的第五异常检测模型。

17.根据权利要求16所述的装置，其中，所述第三异常检测模型创建子模块包括：

次数读取子单元，用于针对各个访问路径，从第一哈希表读取所述访问路径包括的访问参数出现的第一次数，以及从第二哈希表读取所述访问路径包括的访问参数二元组出现的第二次数；

第五概率统计子单元，用于根据所述第一次数和第二次数统计各个访问参数二元组出现的第五概率；

第一概率统计子单元，用于根据各个访问参数二元组出现的第五概率，统计各个访问路径出现的第一概率。

18.根据权利要求11所述的装置，其中，所述装置还包括：

信息展示模块，用于展示所述web访问的异常类型、访问源IP以及访问时间，所述web访问特征包括访问源IP和访问时间。

19.根据权利要求11所述的装置，其中，所述装置还包括：

web攻击事件确定模块，用于若在第一时间段内检测到同一访问源IP的异常web访问超出预设个数，则确定发生所述访问源IP的web攻击事件，并通报所述web攻击事件，所述web访问特征包括访问源IP和访问时间。

20.根据权利要求19所述的装置，其中，所述装置还包括：

异常检测模型重新创建模块，用于若在第二时间段内检测到预设个数的不同访问源IP的web攻击事件，则获取更新的历史web访问记录，并重新创建各个异常检测模型。