CN109274698A

CN109274698A - 一种http访问行为的识别方法及装置

Info

Publication number: CN109274698A
Application number: CN201811421189.6A
Authority: CN
Inventors: 郭鹏; 范渊; 龙文洁
Original assignee: Hangzhou Dbappsecurity Technology Co Ltd
Current assignee: DBAPPSecurity Co Ltd; Hangzhou Dbappsecurity Technology Co Ltd
Priority date: 2018-11-26
Filing date: 2018-11-26
Publication date: 2019-01-25

Abstract

本发明公开了一种HTTP访问行为的识别方法，包括：获取WEB服务器中的访问数据，从访问数据中筛选出符合HTTP协议的数据；从符合HTTP协议的数据中提取特征数据，并对提取到的特征数据进行离散化处理，得到特征值集合；根据模糊粗糙集理论处理特征值集合，得到目标特征值集合；将目标特征值集合输入SVM模型，并输出分类结果，并根据分类结果确定HTTP访问行为。基于模糊粗糙集理论处理特征值集合，可删除其中的冗余数据，从而减少SVM模型中的数据处理量，提高了访问行为的识别效率和准确率，降低误差率。相应地，本发明公开的一种HTTP访问行为的识别装置、设备及可读存储介质，也同样具有上述技术效果。

Description

一种HTTP访问行为的识别方法及装置

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种HTTP访问行为的识别方法、装置、设备及可读存储介质。

背景技术

网络中的访问行为对于网络系统的安全、可靠、稳定的运行具有非常重要的意义，因此需要及时准确地检测并确定服务器中的访问请求的行为。

在现有技术中，一般基于人工设置的匹配规则确定访问请求的访问行为，但由于该方法需要人工修改匹配规则，且检测识别的准确性和效率均不尽如人意，因此被机器学习算法所替代。常用的机器学习算法为基于朴素贝叶斯分类算法和人工神经网络算法，但这些算法在处理大量数据时，处理效率和准确性均比较缓慢，误差率也较高。

因此，如何提高访问行为的识别效率和准确率，降低误差率，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种HTTP访问行为的识别方法、装置、设备及可读存储介质，以提高访问行为的识别效率和准确率，降低误差率。

为实现上述目的，本发明实施例提供了如下技术方案：

一种HTTP访问行为的识别方法，包括：

获取WEB服务器中的访问数据，从所述访问数据中筛选出符合HTTP协议的数据；

从所述符合HTTP协议的数据中提取特征数据，并对提取到的特征数据进行离散化处理，得到特征值集合；

根据模糊粗糙集理论处理所述特征值集合，得到目标特征值集合；

将所述目标特征值集合输入SVM模型，并输出分类结果，并根据所述分类结果确定HTTP访问行为。

其中，所述对提取到的特征数据进行离散化处理，包括：

基于访问时间、访问IP、站点名称、访问方式、访问结果、响应码和浏览器类型、操作系统类型对提取到的特征数据进行离散化处理。

其中，所述根据模糊粗糙集理论处理所述特征值集合，包括：

计算所述特征值集合中每个特征值属性的权重值，并根据所述权重值删减所述特征值集合。

其中，所述根据所述权重值删减所述特征值集合，包括：

将权重值低于预设阈值的特征值属性对应的特征值删除。

其中，所述根据所述分类结果确定HTTP访问行为，包括：

确定每种分类结果的特征，并将具有攻击特征的分类结果确定为异常访问行为；其中，所述攻击特征至少包括：DOS攻击、Probe攻击、R2L攻击和U2R攻击。

一种HTTP访问行为的识别装置，包括：

获取模块，用于获取WEB服务器中的访问数据，从所述访问数据中筛选出符合HTTP协议的数据；

提取模块，用于从所述符合HTTP协议的数据中提取特征数据，并对提取到的特征数据进行离散化处理，得到特征值集合；

处理模块，用于根据模糊粗糙集理论处理所述特征值集合，得到目标特征值集合：

确定模块，用于将所述目标特征值集合输入SVM模型，并输出分类结果，并根据所述分类结果确定HTTP访问行为。

其中，所述提取模块具体用于：

其中，所述处理模块具体用于：

一种HTTP访问行为的识别设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任意一项所述的HTTP访问行为的识别方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的HTTP访问行为的识别方法的步骤。

通过以上方案可知，本发明实施例提供的一种HTTP访问行为的识别方法，包括：获取WEB服务器中的访问数据，从所述访问数据中筛选出符合HTTP协议的数据；从所述符合HTTP协议的数据中提取特征数据，并对提取到的特征数据进行离散化处理，得到特征值集合；根据模糊粗糙集理论处理所述特征值集合，得到目标特征值集合；将所述目标特征值集合输入SVM模型，并输出分类结果，并根据所述分类结果确定HTTP访问行为。

可见，所述方法主要用于检测识别符合HTTP协议的访问数据，因此在从WEB服务器中获取到访问数据时，首先筛选其中符合HTTP协议的数据，进而提取符合HTTP协议的数据的特征数据，经过离散化处理后得到特征值集合；并根据模糊粗糙集理论处理特征值集合，得到目标特征值集合，最后利用SVM模型将目标特征值集合中的数据进行分类，并根据得到的分类结果确定HTTP访问行为。其中，基于模糊粗糙集理论处理特征值集合，可以删除其中的冗余数据，降低数据量，从而减少了SVM模型中的数据处理量，提高了访问行为的识别效率和准确率，降低误差率。

相应地，本发明实施例提供的一种HTTP访问行为的识别装置、设备及可读存储介质，也同样具有上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种HTTP访问行为的识别方法流程图；

图2为本发明实施例公开的一种HTTP访问行为的识别装置示意图；

图3为本发明实施例公开的一种HTTP访问行为的识别设备示意图；

图4为本发明实施例公开的一种属性重要程度与各属性间关系的示意图；

图5为本发明实施例公开的另一种属性重要程度与各属性间关系的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种HTTP访问行为的识别方法、装置、设备及可读存储介质，以提高访问行为的识别效率和准确率，降低误差率。

参见图1，本发明实施例提供的一种HTTP访问行为的识别方法，包括：

S101、获取WEB服务器中的访问数据，从访问数据中筛选出符合HTTP协议的数据；

S102、从符合HTTP协议的数据中提取特征数据，并对提取到的特征数据进行离散化处理，得到特征值集合；

优选地，所述对提取到的特征数据进行离散化处理，包括：

S103、根据模糊粗糙集理论处理特征值集合，得到目标特征值集合；

优选地，所述根据模糊粗糙集理论处理所述特征值集合，包括：计算所述特征值集合中每个特征值属性的权重值，并根据所述权重值删减所述特征值集合。

其中，所述根据所述权重值删减所述特征值集合，包括：将权重值低于预设阈值的特征值属性对应的特征值删除。

具体的，模糊粗糙集理论能有效地分析符合HTTP协议的数据的特征值，从中发现隐含的知识和信息，降低数据处理量。

S104、将目标特征值集合输入SVM模型，并输出分类结果，并根据分类结果确定HTTP访问行为。

其中，所述根据所述分类结果确定HTTP访问行为，包括：确定每种分类结果的特征，并将具有攻击特征的分类结果确定为异常访问行为；其中，所述攻击特征至少包括：DOS攻击、Probe攻击、R2L攻击和U2R攻击。

可见，本实施例提供了一种HTTP访问行为的识别方法，所述方法主要用于检测识别符合HTTP协议的访问数据，因此在从WEB服务器中获取到访问数据时，首先筛选其中符合HTTP协议的数据，进而提取符合HTTP协议的数据的特征数据，经过离散化处理后得到特征值集合；并根据模糊粗糙集理论处理特征值集合，得到目标特征值集合，最后利用SVM模型将目标特征值集合中的数据进行分类，并根据得到的分类结果确定HTTP访问行为。其中，基于模糊粗糙集理论处理特征值集合，可以删除其中的冗余数据，降低数据量，从而减少了SVM模型中的数据处理量，提高了访问行为的识别效率和准确率，降低误差率。

下面对本发明实施例提供的一种HTTP访问行为的识别装置进行介绍，下文描述的一种HTTP访问行为的识别装置与上文描述的一种HTTP访问行为的识别方法可以相互参照。

参见图2，本发明实施例提供的一种HTTP访问行为的识别装置，包括：

获取模块201，用于获取WEB服务器中的访问数据，从所述访问数据中筛选出符合HTTP协议的数据；

提取模块202，用于从所述符合HTTP协议的数据中提取特征数据，并对提取到的特征数据进行离散化处理，得到特征值集合；

处理模块203，用于根据模糊粗糙集理论处理所述特征值集合，得到目标特征值集合；

确定模块204，用于将所述目标特征值集合输入SVM模型，并输出分类结果，并根据所述分类结果确定HTTP访问行为。

其中，所述提取模块具体用于：

其中，所述处理模块具体用于：

将权重值低于预设阈值的特征值属性对应的特征值删除。

其中，所述确定模块具体用于：

可见，本实施例提供了一种HTTP访问行为的识别装置，包括：接收模块、第一判断模块以及监测模块。首先由获取模块获取WEB服务器中的访问数据，从访问数据中筛选出符合HTTP协议的数据；然后提取模块从符合HTTP协议的数据中提取特征数据，并对提取到的特征数据进行离散化处理，得到特征值集合；进而处理模块根据模糊粗糙集理论处理特征值集合，得到目标特征值集合；最后确定模块将目标特征值集合输入SVM模型，并输出分类结果，并根据分类结果确定HTTP访问行为。如此各个模块之间分工合作，各司其职，从而减少了SVM模型中的数据处理量，提高了访问行为的识别效率和准确率，降低了误差率。

下面对本发明实施例提供的一种HTTP访问行为的识别设备进行介绍，下文描述的一种HTTP访问行为的识别设备与上文描述的一种HTTP访问行为的识别方法及装置可以相互参照。

参见图3，本发明实施例提供的一种HTTP访问行为的识别设备，包括：

存储器301，用于存储计算机程序；

处理器302，用于执行所述计算机程序时实现上述任意实施例所述的HTTP访问行为的识别方法的步骤。

下面对本发明实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种HTTP访问行为的识别方法、装置及设备可以相互参照。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意实施例所述的HTTP访问行为的识别方法的步骤。

基于本发明提供的上述任意实施例，下文描述另一种HTTP访问行为的识别方法，包括：

1、数据采集：采集web服务器出入流量，解析数据包后筛选出http协议数据包集合D_i＝{X_1，X_2，X_3，〖……X〗_m}，其中m为数据包的个数。

2、特征提取：提取步骤1中数据包的k个特征。其中，特征可以为：访问源IP、访问IP地域分布、访问时间、浏览器类型、使用的操作系统、访问的协议类型、访问方式、访问持续时间、访问使用的流量统计、访问状态、用户频繁访问时间偏好、最频繁访问页面等。

3、数据离散：将步骤2的特征数据按规则进行离散处理。其中涉及的离散规则包括：

(1)时间转化访问为每天根据5min划分，一天时间12*24＝288个窗口；

(2)IP地址属性根据地理位置转化为局域网(0)，国内(1-33)，国外(-1)；

(3)站点名称的转化规则为根据客户的应用地址转换为是否为主体域名库；

(4)访问方式转换为open(0)，access(1)，write(2)，read(3)update(4)，delete(5)；

(5)执行结果转换为failed(0)，successed(1)；

(6)响应码转化如下：2XX(2)，3XX(3)，4XX(4)，5XX(5)等；

(7)访问方式根据访问方式列表进行向量化，具体的转换规则请参见表1和表2。

表1

访问方式	GET	HEAD	POST	PUT	DELETE	CONNECT	OPTIONS
								转换规则	1	2	3	4	5	6	7

表2

访问方式	TRACE	PATCH	MOVE	COPY	LINK	UNLINK	WRAPPED
								转换规则	8	9	10	11	12	13	14

(8)根据操作系统、使用的终端和浏览器类型的不同离散化处理，请参见表3、表4和表5。

表3

操作系统	Linux	Widows	Macos	Other
					转换规则	1	2	3	4

表4

终端	PC	移动端
			转换规则	1	2

表5

浏览器	Chrome	Firefox2	IE	Safari	360	Sogou	Other
								转换规则	1	2	3	4	5	6	7

4、基于各个特征值对访问行为的依赖度，即重要程度，删减冗余特征值。

具体的，定义一个论域U，当且仅当满足：自反性：对所有x∈U；对称性：对所有x，y∈U；传递性：对所有x，y，z∈U；则称为U上的一个模糊等价关系，那么推广到模糊粗糙集的上、下近似集定义为：

其中，F_i为IND(P)上的一个模糊等价类，模糊正区域定义为：

其中，P、Q是在论域U上的两个等价关系，且若R＝P∪Q，当POS_R(Q)＝POS_P(Q)成立，则称R为P相对于Q的属性约简。

相应的，依赖程度为：相应的属性P的重要度为：

当重要程度的阈值设置为0.8时，则将高于0.8的特征值保留，将低于0.8的特征值删除，进行特征值删减。

例如：若基于决策属性(即各个特征值的属性)删减特征值，且决策属性表如表6所示。

表6

若决策属性集Q＝{d}，条件属性集P＝{a₁，a₂，a₃，a₄，a₅，a₆}，则有：

IND(P)＝{{1}，{2}，{3}，{4}，{5}，{6}}

IND(Q)＝{{1}，{2，3}，{4}，{5}，{6}}

POS_P(Q)＝U

进一步进行属性约简，则有：

IND(P\{a₁})＝{{1，6}，{2}，{3}，{4，5}}

IND(P\{a₂})＝{{1}，{3}，{4}，{5}，{6}}

IND(P\{a₃})＝{{1，2}，{3}，{4}，{5，6}}

IND(P\{a₄})＝{{1}，{2}，{3}，{4}，{5}，{6}}

IND(P\{a₅})＝{{1}，{2}，{3}，{4}，{5}，{6}}

IND(P\{a₆})＝{{1}，{2}，{3}，{4}，{5}，{6}}

从而可知：

通过以上删减属性计算，删除属性a₄、a₅、a₆，对于系统的决策能力无影响，因此可以删除，而属性a₁、a₂、a₃对系统的决策能力影响较大，即属性的重要度较高。

进一步考虑删除的属性中是否存在核值属性，核值属性即为重要度较高的属性，则有：

IND(P\{a₄，a₅，a₆})(Q)＝{{1}，{2}，{3}，{4}，{5}，{6}，{7}}

删除多余的条件属性后，获得的约简决策属性表如表7所示。

表7

由以上计算过程可知，假设初始决策表中包含41个条件属性，通过逐步删减属性，计算决策系统的分类能力，即决策系统内知识的依赖度，计算过程中，知识的依赖程度与属性的个数之间的关系如图4所示。通过属性约简之后，得到23个重要度较高的条件属性，获得了较短的决策表。属性的重要度如图5所示。

为了进一步说明本发明的优点，采用基于粗糙集的算法以及传统的SVM算法对同一批数据进行了多次试验，实验结果请参见表8。由表8可知，本发明的算法比传统算法拥有更低的误差率，即准确性更高。

表8

可见，本发明具有极低的误差率。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种HTTP访问行为的识别方法，其特征在于，包括：

2.根据权利要求1所述的HTTP访问行为的识别方法，其特征在于，所述对提取到的特征数据进行离散化处理，包括：

3.根据权利要求2所述的HTTP访问行为的识别方法，其特征在于，所述根据模糊粗糙集理论处理所述特征值集合，包括：

4.根据权利要求3所述的HTTP访问行为的识别方法，其特征在于，所述根据所述权重值删减所述特征值集合，包括：

将权重值低于预设阈值的特征值属性对应的特征值删除。

5.根据权利要求4所述的HTTP访问行为的识别方法，其特征在于，所述根据所述分类结果确定HTTP访问行为，包括：

6.一种HTTP访问行为的识别装置，其特征在于，包括：

处理模块，用于根据模糊粗糙集理论处理所述特征值集合，得到目标特征值集合；

7.根据权利要求6所述的HTTP访问行为的识别装置，其特征在于，所述提取模块具体用于：

8.根据权利要求7所述的HTTP访问行为的识别装置，其特征在于，所述处理模块具体用于：

9.一种HTTP访问行为的识别设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1-5任意一项所述的HTTP访问行为的识别方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5任意一项所述的HTTP访问行为的识别方法的步骤。