CN103138986B - 一种基于可视分析的网站异常访问行为的检测方法 - Google Patents

Abstract

本发明属于网络安全可视分析领域，涉及一种基于可视分析的网站异常访问行为的检测方法，包括：把对网站服务器日志数据进行预处理；用可视化方法展现数据的位置、时间、内容信息；用动画效果展现访问事件；对访问用户进行聚类分析；数据属性的采集和计算；结合可视化结果、聚类结果的观察和人为分析进行异常行为模式的发现。本发明的优势在于比传统的纯机器计算方法更清晰直观更助于使用者理解，并且充分利用了人的智能，在智能度和人工度之间找到一个比较好的平衡，有助于提高解决问题的效率。

Description

一种基于可视分析的网站异常访问行为的检测方法

技术领域

本发明属于网络安全可视分析领域，涉及一种用可视化技术重现用户在网站上的行为并结合人为分析有效发现访问网站异常行为的方法。

背景技术

随着近年来互联网的飞速发展，针对网站的攻击呈现出频繁化和多样化的发展趋势。现在流行的攻击方式包括DoS/DDoS攻击、SQL注入攻击等，有可能有恶意企图的行为包括恶意试探行为和趴站行为等。由黑客攻击网站带来的经济损失不计其数，给互联网秩序和个人隐私带来极大危害。因此，从海量的用户访问中找到异常的访问模式从而发现恶意行为对于网站安全维护极为重要。

可视分析是一项近几年发展起来的新技术，是信息可视化与科学可视化领域发展的产物，侧重于借助于交互式用户界面而进行的分析推理。信息可视化技术是在现代信息处理平台的基础上，根据用户对信息的需要，利用适当的可视化符号表示各种信息和信息内外部的关系，使人们更方便、迅速地与信息源进行交互，发现隐藏在信息中的各类知识。计算机对于信息的可视化展示和人的观察和分析结合，形成了高效地可视分析方法来解决各种难题。

如今，人们对于针对网站攻击的检测做出了多方面的努力。一部分研究者把重心放在了通过基于网络层数据包分析的入侵检测系统来发现网站攻击行为，另一部分则重点研究了服务器日志，通过分析记录用户行为的服务器日志来实现这个目标。和基于服务器日志分析的方法相比，基于入侵检测系统的方法更为间接和不准确。目前通过分析日志的方法发现攻击的技术主要使用的是数据挖掘技术，然而目前的科技水平，计算机并不可以完全替代人脑，需要在智能度和人工度之间做出一个平衡的选择，这样才能达到最为理想的效果，从这点上来看，可视分析的方法由于其出色得信息展示能力和人类理解力的高效利用具有独特的优势。互联网的飞速发展使得服务器日志达到GB甚至是TB的数量级，如何处理如此大量的数据成为难题。现有的可视分析技术由于可视化方法设计的问题，尚未有一种能克服大量数据的难题并且可以用来分析大型网站攻击行为的方法出现。

发明内容

有鉴于此，本发明的目的是克服现有技术的上述不足，提供一种实时可视化检测方法，该种检测方法，利用GPU加速可视化处理，能够减轻CPU的负担，能高效的分析并显示网络数据，从而使用户能够发现DDoS攻击前期所存在的主机扫描，端口扫描和正在进行的DDoS攻击。本发明采用如下的技术方案：

一种基于可视分析的网站异常访问行为的检测方法，包括下列步骤：

（1）对网站服务器日志数据进行预处理，将访问数据和网站结构数据结合起来，将统计原始日志获得的节点及其子节点累加的出现与访问次数作为权值定义面积不同的可视化网站树图结构。

（2）利用可视化方法展现经过预处理后的网站服务器日志数据的位置、时间、内容信息，方法为：

a．根据可视化网站树图结构建立位置视图，展示用户访问的位置信息，将用户的动作（包括到来、离开、刷新，产生错误事件）用一些规定的符号在这个视图的运动形象的表示出来，表达用户行为发生在网站结构中的位置以及对应的页面；

b．通过256进制把用户的IPv4地址映射到2D空间中，得到利用散点图展示的用户视图，对于用户的动作，包括到来、离开、刷新，产生错误事件均在于与位置视图中一致的符号；

c．建立时间轴视图，在此视图中能够加载相应时间点的各个状态码的数量，选择关注的时间段；

d．将上述的三个视图布置在同一个视窗下，可视化地展现用户行为的位置、时间、内容信息；

（3）定义用户访问事件的动画方式，通过所述的三种视图以及在三个不同视图上采用的事件的动画方式来展示每一个访问地址在不同的时刻执行了不同的用户行为，其中用户访问时间的动画方式定义如下表：

会话建立	以实体为中心的不同颜色边框的矩形框的出现。
		会话再生	以实体为中心的黄色边框的矩形框的出现。
用户重复访问	点旋转的刷新环，运动一周后回到原处。
		错误产生	以实体为中心的相应颜色边框黑色填充的矩形框的出现。
用户访问路径	两个实体中心相连得到的贝塞尔曲线。

（4）对访问用户进行聚类分析，在对用户访问行为重现的同时，增加对数据集进行聚类的功能，借助聚类结果发现其他的相似对象并进行索引，找出具有相似行为的同类用户；

（5）对聚类的属性进行过滤和筛选，确定用来发现异常用户模式和与安全相关的行为所必须的用户的访问属性数据，检测聚类中的离群点，发现异常行为；

（6）结合可视化结果的人为观察以及聚类分析发现用户异常行为模式。

作为优选实施方式，步骤（6）包括：

（1）DoS/DDoS攻击的发现：若在上述的可视化结果中观察到短时间内产生大量的刷新环，则判断可能发生DoS/DDoS攻击中的HTTPflood攻击；

（2）SQL注入攻击的发现：若在上述的可视化结果中观察到短时间内产生大量的刷新环并且用户提交参数异常，则判断可能发生SQL注入攻击；

（3）恶意试探行为的发现：若在上述的可视化结果中观察到短时间内产生大量的以实体为中心的相应颜色边框黑色填充的矩形框的出现，则判断可能发生恶意试探行为；

（5）趴站行为的发现：若在上述的可视化结果中观察到短时间内产生大量的访问路径，则判断可能发生趴站行为。

步骤（5）的用户的访问属性数据包括：

RingCount:自环个数，即对同一个页面在较短时间内访问的次数之和；

AttributeLength:用户提交的参数长度；

PageCount:所有访问的不同页面的个数；

MaxLevel:用户访问的最大层级数；

StatusCode2:所有以2开头的http信号出现的次数；

StatusCode3:所有以3开头的http信号出现的次数；

StatusCode4:所有以4开头的http信号出现的次数；

StatusCode5:所有以5开头的http信号出现的次数；

SessionMax:在一个period内访问的所有次数的和的最大值。

相比较现已存在的检测网站上用户异常行为的方式，本发明的优势在于使用了可视分析这个正在兴起的技术较好地解决了网站上的恶意用户访问行为的发现问题。和已存在的非可视化方法相比，本发明具备更直观的优势，让使用本发明的网站管理人员更清晰的发现网站访问存在的问题，并且相比仅仅用机器计算的方法更好地利用了人的智能，在智能度和人工度之间做出了更佳的平衡。另外，由于可视分析技术发展时间不长，现有的可视分析方法未能为了解决网站恶意用户访问行为的发现提供一种合适的设计，本发明的设计尽可能地为了更好实现这个目标做出专门的设计，使得展现更清晰，效率更高，帮助使用者更快地解决问题。

附图说明

图1是利用可视分析方法发现网站访问异常的流程；

图2是聚类后寻找离群点（即异常点）；

图3是扒站恶意行为模式。

具体实施方式

本发明提出了基于可视分析的网站攻击模式的分析发现方法，同时提供了对恶意用户的聚类分析和攻击行为的再现。该方法通过有效的可视化手段以及提供的基于不同参数的聚类分析，能让用户在发现、数据挖掘、发现的迭代过程中找出恶意用户，并且通过动画形象地再现恶意用户的行为。发明人根据此种方法，建立了一套计算机软件系统，利用该系统，能高效的分析网站日志数据，发现特定的几种攻击模式，发现恶意用户，根据恶意用户的行为特征，自动推荐出与该用户行为模式相近的其他用户，能直观地展示网站日志中蕴含的信息，展现网站访问者的行为模式。本发明的计算机软件系统的显示模式采用基于微软的.net框架和XNA软件包。

首先对本发明的技术方案进行详细说明：

一、对大量的网站服务器日志数据预处理

访问数据是以行为单位的基于时间排序过后的事件序列涵盖以下值域：(1)事件发生时间(2)事件发生关联树形地址(3)事件发生关联IP(4)事件传输类型(POST/GET)(5)事件返回状态码(200/404/503)(6)事件所传递的部分参数。

网站结构数据是指整理审计过后的网站真实的带有权值的目录文件树形结构。

将两种数据的结合起来，将统计原始日志获得的节点及其子节点累加的出现/访问次数作为权值定义面积不同的可视化网站树图结构。

二、用合理设计的可视化方法展现数据的位置、时间、内容信息

位置视图，一个网站的结构基本上是符合层次结构的，用树图来展现网站的层次结构和用户访问的位置信息是一种有效的方法。用户的动作就用一些符号在这个视图的运动形象的表示出来。其中用户行为的事件包括他来到最初来到这个网站，刷新动作，离开这个网站，点击进入相应的页面。

用户视图用散点图展示的用户IPv4地址，通过256进制把四段的IPv4地址映射到2D空间中。在这个散点图中，每个点都代表一个IPv4地址。对于用户的到来，离开，刷新，产生错误事件都有和位置视图中一致的信号。

时间轴视图，在这个视图中可以看到相应时间点的20x，30x，40x，50x状态的数量。用来弥补随着时间变化的动画没有时间轴看不出具体时间的弱点，同时在时间轴上加上各个状态码的数量，还能帮助用户更好地定位他们关心的时间段。

三个视图，既是相互分离的视图又是紧密联系的整体。三个视图是相互分离的是指从布局的角度讲三个视图分开摆放的，并且查看单独的视图能够看出对应视图所编码数据的信息。三个视图又是紧密联系的整体，是指用户的行为的全部信息同时表达在三个视图上，位置视图表达用户行为发生在网站结构中的位置以及对应的页面，用户视图表达用户行为的IPv4地址信息，时间轴视图表达用户行为的时间信息，步骤三中描述的动画表达了具体的用户访问事件；三个视图是被合理的布置在同一个视窗下的，分析人员可以使用三种视图和视图上面的动画以及交互手段综合分析用户的行为来发现用户的异常模式。

三、用合理设计的动画效果展现访问事件

为了更精确的展示用户异常模式，在可视化的基础上使用了动画来动态的展示过程。在用户访问数据预处理的过程中获得每个用户的访问地址，访问时间以及状态标识以及相应参数。我们定义了一种事件每一个访问地址在不同的时刻执行了不同的动作，那么就用不同的符号来表示这些动作。

会话建立	以实体为中心的不同颜色的圆点出现。
		会话过期	以实体为中心的不同颜色边框的矩形框的出现。
用户重复访问	点旋转的刷新环，运动一周后回到原处。
		错误产生	以实体为中心的相应颜色边框黑色填充的矩形框的出现。
用户访问路径	两个实体中心相连得到的贝塞尔曲线。

通过三种视图以及事件动画在视图上的显示很好的展示了了四个主要的方面(时间，位置，谁，事件即4W，When，Where，Who，What)的用户行为。

四、对访问用户进行聚类分析

在对用户访问行为重现的同时，我们增加了在指定范围的情况下对数据集进行聚类的功能，希望在数据挖掘的过程当中借助聚类结果快速地发现其他的相似对象并进行索引。目的是为了找出具有相似行为的一类用户，这样能更好的发现其中的异常行为模式和与安全相关的行为。在聚类算法的选择上，由于k均值算法对离群点敏感，可能会显著地扭曲数据的分布。且在我们的数据中，期望数据具有很显著的离群特性，因而我们采用k均值算法的修改，使用K中心点方法。使用k中心点算法不仅降低了离群点的影响，同时为程序之后对ip在有关参数范围相似度聚类提供了方便。

利用数据的绝对误差标准 $E={\mathrm{\Σ}}_{j=1}^k{\mathrm{\Σ}}_{p\∈C_j}|p-o_j|,$ 均值绝对偏差 $S_f=\frac{1}{n}\left({\mathrm{\Σ}}_{i=1}^n\right|x_{\mathrm{if}}-m_f\left|\right),$ 和标准度量值其中，E是数据集中所有对象的绝对误差之和；p是空间中的点，代表簇Cj中一个给定的对象；oj是簇Cj中的代表对象，x_if为f的n个度量值，m_f是f的均值。计算每两个用户之间的曼哈顿距离(Manhattandistance)：d_(i，j)＝(|x_i1-x_j1|^p+|x_i2-x_j2|^p+…+|x_in-x_jn|^p)^1/p，其中p为曼哈顿距离维度，当p=2时，表示欧几里得距离。

五、数据属性的采集与计算

根据第四步的聚类算法实现，我们对聚类的属性进行过滤和筛选，目的是为了确定用来发现异常用户模式和与安全相关的行为所必须的用户的访问属性数据，这些属性定义如下：

RingCount:自环个数，即对同一个页面在较短时间内访问的次数和;

AttributeLength:用户提交的参数长度;

PageCount:所有访问的不同页面的个数;

MaxLevel:用户访问的最大层级数;

StatusCode2:所有以2开头的http信号出现的次数;

StatusCode3:所有以3开头的http信号出现的次数;

StatusCode4:所有以4开头的http信号出现的次数;

StatusCode5:所有以5开头的http信号出现的次数;

SessionMax:在一个period内访问的所有次数的和的最大值.

六、异常行为模式的发现

DoS/DDoS攻击的发现。本技术主要解决的是DoS/DDoS攻击中的HTTPflood攻击。DoS攻击的特点是一个用户会在短时间内以高频率访问同一个页面，DDoS攻击的特点就是在短时间内有高频率访问同一个页面呢的几个不同用户。

SQL注入攻击的发现。和DoS攻击类似，SQL注入攻击的发现也是依赖于短时间内大量的刷新环。和DoS攻击不同的是，SQL注入攻击者刷新页面的频率会比DoS攻击低，这个可以通过过滤器筛选获得。光发现刷新环还是不够的，要准确确定是SQL注入攻击，分析者需要去看产生刷新环的用户提交的参数来确认是否是SQL注入。

恶意试探行为的发现。这种模式下访问者得访问会带来大量的网页访问错误。

趴站行为的发现。网络爬虫在互联网上很常见，他们虽然不都是恶意的，但也是一种典型的行为模式，通过我们的工作可以一目了然地发现他们。他们的行为模式就是短时间内访问大量网页，基本上是把网站所有的页面遍历一次。因此在我们工具中相应的模式就是有个瞬间产生大量的访问路径。

下面结合实施例，即采用上述方法建立的一套计算机软件系统，对本发明进一步说明：

1.对大量的网站服务器日志数据预处理

a)获取原始日志。利用日志整理程序从中提取出A:以行为单位的基于时间排序过后的事件序列以及B:关联树形结构

b)原始日志结构(以Apache的Custom日志为例)，是A.以行为单位的基于时间排序过后的事件序列应该包含：

i.事件发生时间

ii.事件发生关联树形地址

iii.事件发生关联IP

iv.事件传输类型(POST/GET)

v.事件返回状态码(200/404/503)

vi.事件所传递的部分参数(一般为GET请求?之后以及#之后的不定长度字符)。

2.用合理设计的可视化方法展现数据的位置、时间、内容信息

本发明采用的可视化技术展现数据的概况。展示方法描述如下：

a)利用B.关联树形结构在a矩形区域(WebResource)中可视化展示网站结构。

b)其所描述的展示是指利用Treemap技术对树形结构的每一层进行递归罗列可视化

c)树形结构罗列是只对指定的层以及其可展开的深度为设定值(默认为1)的子节点(或者独叶节点)进行展开

d)树形结构罗列是依据自定加权值进行升序排列的

e)树形结构罗列是可聚焦/Focus单独展开并且不等大小的，高权值或者聚焦对象将会拥有更大的可视面积，聚焦对象将会拥有比设定值更高的展示细节(子节点深度)

f)树形结构罗列是可聚焦/Focus单独展开并且不等大小的，高权值或者聚焦对象将会拥有更大的可视面积，聚焦对象将会拥有比设定值更高的展示细节(子节点深度)

g)利用A.以行为单位的基于时间排序过后的事件序列在b矩形区域(Timeline)中绘制出时序折线图，所描述的折线图是依据事件返回状态码进行归类的，即一般包含四类折线(2类,3类,4类,5类)，并且拥有四种颜色(绿,蓝,红,黄)，并对其中的峰值点进行标注。折线的横轴为平滑分布的时间，纵轴分布经过log处理(即最大高度*log(1+当前值,1+最大值))，其目的是减弱大数值对其余部分曲线的压迫作用，强调小数值部分的曲折信息。折线的横轴为平滑分布的时间，纵轴分布经过log处理(即最大高度*log(1+当前值,1+最大值))，其目的是减弱大数值对其余部分曲线的压迫作用，强调小数值部分的曲折信息

h)利用A.以行为单位的基于时间排序过后的事件序列在c矩形区域(UserVisualization)内绘制出用户视图。用户视图是基于IPv4协议的，将IP地址在二维矩形空间上进行映射。即将16位IP地址每八位转化为10进制数(0～2^8)除以2^8获得一个在0,1之间分布的百分值，映射到矩形区域内用于确定横纵坐标的比例位置。用户视图是可以框选进行放大缩小的，可以用来选择指定二维空间内的用户

3.用合理设计的动画效果展现访问事件

a)顺序访问A.以行为单位的基于时间排序过后的事件序列对一行为单位的数据进行可视化形成动画效果。动画包含以下五种类型：

a1顺序访问相同节点

a2首次出现

a3SessionTimeout

a4a3事件后首次出现

a5顺序访问不同节点

b)a1,a2,a3,a4,a5将会出现在a矩形区域(WebResource)。出现具体位置依据以下规则：

i.节点的矩形中心,n=1,i=0

ii.若位置被占用则选择以a为a极坐标系原点，半径n*8(可设置)，角度i*360/n/6

iii.若位置被占用，则i++

iv.若i=n*6则n++

v.重复b步骤直到位置不再被占用

c)a5中所使用的连接方法为Bezier曲线，控制点为末节点二分之一处逆时针旋转30度(可设置)，若为0度即为直线

4.对访问用户进行聚类分析

a)对于A.以行为单位的基于时间排序过后的事件序列，对于个体IP，可以提取出以下特征值：

i.环的数量，即时序中同一个体连续访问同一节点的数量

ii.参数字符总长度

iii.访问的最大深度，即A.以行为单位的基于时间排序过后的事件序列中访问B.关联树形结构的最大高度

iv.在一个Session事件中访问的页面总数

v.在原始数据中访问的页面总数

vi.2类状态码出现次数，即正确访问次数

vii.4类状态码出现次数，即错误访问次数

b)Session事件定义为，若在15分钟内个体IP始终存在访问记录，则个体IP存活于相同Session当中，特征值是进行过单位同一的(Sf算子)。对于所提取出的特征值或者其子集，使用聚类算法（需要描述）进行聚类可以得到个体IP的相关性聚类视图。其中：聚类方法是可以指定堆数和种子的。种子是可以选择可变或者不可变化的。选择不可变化的模式用以观察其余个体IP与指定个体IP的关系。种子可以是一个集合，程序将会依据用户要求计算出指定集合的均值种子或者中心种子

5.数据属性的采集与计算

a)在程序中允许以下操作：

i.选择指定的时间

ii.选择指定IP及范围

iii.选择指定的节点或者单独展开节点

iv.查看A.以行为单位的基于时间排序过后的事件序列数据

v.对A.以行为单位的基于时间排序过后的事件序列进行动画播放

vi.选择动画播放速度

vii.选择动画播放细节，即指定a1,a2,a3,a4,a5是否展示

viii.依据时间段内指定IP的事件条目(重复事件条目)对时序事件进行过滤

ix.对IP进行聚类

x.使用表达式对事件序列进行过滤

b)对于已经发现的特殊个体IP或集合程序可以选择：

i.在播放时序事件的过程中对其进行强调关注

ii.在下一次播放时对其进行单独记录

6.异常行为模式的发现

a)本技术主要解决的是DoS/DDoS攻击中的HTTPflood攻击。DoS攻击的特点是一个用户会在短时间内以高频率访问同一个页面，DDoS攻击的特点就是在短时间内有高频率访问同一个页面呢的几个不同用户。

b)和DoS攻击类似，SQL注入攻击的发现也是依赖于短时间内大量的刷新环。和DoS攻击不同的是，SQL注入攻击者刷新页面的频率会比DoS攻击低，这个可以通过过滤器筛选获得。光发现刷新环还是不够的，要准确确定是SQL注入攻击，分析者需要去看产生刷新环的用户提交的参数来确认是否是SQL注入。

c)恶意试探行为的发现。这种模式下访问者得访问会带来大量的网页访问错误。

d)趴站行为的发现。网络爬虫在互联网上很常见，他们虽然不都是恶意的，但也是一种典型的行为模式，通过我们的工作可以一目了然地发现他们。他们的行为模式就是短时间内访问大量网页，基本上是把网站所有的页面遍历一次。因此在我们工具中相应的模式就是有个瞬间产生大量的访问路径。

Claims (1)

1.一种基于可视分析的网站异常访问行为的检测方法，包括下列步骤：

(1)对网站服务器日志数据进行预处理，将访问数据和网站结构数据结合起来，将统计原始日志获得的节点及其子节点累加的出现与访问次数作为权值定义面积不同的可视化网站树图结构；

(2)利用可视化方法展现经过预处理后的网站服务器日志数据的位置、时间、内容信息，方法为：

a.根据可视化网站树图结构建立位置视图，展示用户访问的位置信息，将用户的动作，包括到来、离开、刷新和产生错误事件，用一些规定的符号在这个视图的运动形象的表示出来，表达用户行为发生在网站结构中的位置以及对应的页面；

b.通过256进制把用户的IPv4地址映射到2D空间中，得到利用散点图展示的用户视图，对于用户的动作，包括到来、离开、刷新和产生错误事件，均使用与位置视图中一致的符号；

c.建立时间轴视图，在此视图中能够加载相应时间点的各个状态码的数量，选择关注的时间段；

d.将上述的三个视图布置在同一个视窗下，可视化地展现用户行为的位置、时间、内容信息；

(3)定义用户访问事件的动画方式，通过所述的三种视图以及在三个不同视图上采用的事件的动画方式来展示每一个访问地址在不同的时刻执行了不同的用户行为，其中用户访问时间的动画方式定义如下表：

会话建立 以实体为中心的不同颜色边框的矩形框的出现 会话再生 以实体为中心的黄色边框的矩形框的出现 用户重复访问 点旋转的刷新环，运动一周后回到原处 错误产生 以实体为中心的相应颜色边框黑色填充的矩形框的出现 用户访问路径 两个实体中心相连得到的贝塞尔曲线

(4)对访问用户进行聚类分析，在对用户访问行为重现的同时，增加对数据集进行聚类的功能，借助聚类结果发现其他的相似对象并进行索引，找出具有相似行为的同类用户；

(5)对聚类的属性进行过滤和筛选，确定用来发现异常用户模式和与安全相关的行为所必须的用户的访问属性数据，检测聚类中的离群点，发现异常行为，其中，用户的访问属性数据包括：

RingCount:自环个数，即对同一个页面在较短时间内访问的次数之和；

AttributeLength:用户提交的参数长度；

PageCount:所有访问的不同页面的个数；

MaxLevel:用户访问的最大层级数；

StatusCode2:所有以2开头的http信号出现的次数；

StatusCode3:所有以3开头的http信号出现的次数；

StatusCode4:所有以4开头的http信号出现的次数；

StatusCode5:所有以5开头的http信号出现的次数；

SessionMax:在一个period内访问的所有次数的和的最大值；

(6)结合可视化结果的人为观察以及聚类分析发现用户异常行为模式，方法如下：

1)DoS/DDoS攻击的发现：若在上述的可视化结果中观察到短时间内产生大量的刷新环，则判断可能发生DoS/DDoS攻击中的HTTPflood攻击；

2)SQL注入攻击的发现：若在上述的可视化结果中观察到短时间内产生大量的刷新环并且用户提交参数异常，则判断可能发生SQL注入攻击；

3)恶意试探行为的发现：若在上述的可视化结果中观察到短时间内产生大量的以实体为中心的相应颜色边框黑色填充的矩形框的出现，则判断可能发生恶意试探行为；

4)趴站行为的发现：若在上述的可视化结果中观察到短时间内产生大量的访问路径，则判断可能发生趴站行为。