CN114915479A - 一种基于Web日志的Web攻击阶段分析方法及系统 - Google Patents

Abstract

本发明公开了一种基于Web日志的Web攻击阶段分析方法及系统。本方法为：1)获取待检测网站的访问日志文件并对其进行解析，得到该待检测网站的源日志数据；2)对所述源日志数据进行攻击检测，得到该待检测网站受到的攻击事件；3)根据该待检测网站受到的攻击事件构建攻击事件图，以图的形式记录和存储检测出的攻击事件的详细信息；4)基于所述攻击事件图，获取各所述攻击事件之间的关联关系；5)根据所述关联关系将同属一个多步Web攻击过程的各攻击事件进行聚合，还原多步Web攻击的攻击场景，确定各个攻击场景的攻击阶段并评估攻击的危害程度。本发明能分担应急响应中的分析工作，使其只着重关注攻击阶段较深入、重要的攻击事件。

Description

一种基于Web日志的Web攻击阶段分析方法及系统

技术领域

本发明涉及计算机网络安全和数据分析领域，具体涉及一种基于Web日志的Web攻击阶段分析方法及系统。

背景技术

随着互联网技术的飞速发展，网络与人们的生活联系日益紧密，网络空间安全形势日益复杂。Web应用程序的安全性受到了越来越多的关注，服务端安全问题日益严峻，甚至严重威胁到网络服务的正常运行。为了应对互联网上繁杂的攻击，尽量减少被攻击后的损失，网站的安全防御和应急响应工作是非常重要的。在安全防御方面，目前有大量的IDS(入侵检测系统)可以通过分析网络流量检测网站遭受的攻击，但是在应急响应方面，分析黑客攻击手段、寻找入侵点和漏洞、修复脆弱点等工作依然高度依赖安全人员的手工分析。

IDS对攻击的报警数量巨大，黑客使用脚本进行一次网站目录扫描、尝试SQL注入等操作往往能触发大量的报警；另外，黑客进行多步攻击触发的报警信息是互相独立的。运维人员常常需要从大量的报警信息中筛选出对网站危害较高的攻击并判断攻击是否成功；对于明确发现黑客成功入侵的攻击事件，安全人员往往需要筛查IDS报警信息、人工分析Web服务器日志来还原攻击场景、寻找系统漏洞点，以便确定攻击危害、修复漏洞。

然而现实的应急响应处理场景往往是这样：对于未明确发现的成功入侵，运维人员很难有精力去处理IDS的大量报警；对于确定的入侵事件，分析人员不得不做出应急响应，面对海量的IDS报警信息或者Web服务器日志，通过特征信息的检索、异常行为的发现、因果关系的关联去逐步还原攻击场景。

因此，自动化地分析Web攻击事件是一项非常有意义的事情，它能将安全人员从繁重的数据处理、重复查找、关联判断的操作中解放出来。

发明内容

针对上述问题，本发明提出了一种基于Web日志的Web攻击阶段分析方法及系统，通过分析网站的访问日志，检测并分析网站遭受的攻击事件。本发明通过将互相独立的攻击事件告警相关联，将同一个攻击者的操作聚合到一起，并分析其采用了哪些攻击手段、达到了哪一个阶段、是否取得了重要攻击成果；从而使安全分析人员可以更专注地去应对手段更高级的攻击和响应处理工作，而未对网站造成危害的攻击可以予以忽视。

为达到上述目的，本发明采取的具体技术方案是：

一种基于Web日志的Web攻击阶段分析方法，包括以下步骤：

1)获取待检测网站的访问日志文件，然后进行格式解析、数据解码、关键信息存入数据库等预处理；

2)对经处理后的Web访问日志数据进行分析，检测网站遭受的攻击事件，使用基于规则匹配和行为统计的攻击检测方法；

3)构建攻击事件图，以图的形式记录和存储检测出的攻击事件的详细信息，便于后续关联分析；

4)在攻击事件图上使用基于Web攻击阶段矩阵的关联算法，构建各独立攻击事件之间的相关关系；

5)对同属一个多步攻击过程的攻击事件聚合，还原多步Web攻击的攻击场景，确定各个攻击场景的阶段，并评估攻击的危害程度。

其中，步骤1)中获取日志文件后的预处理包括：解析日志文件格式、分辨其记录的字段及间隔符号、解码访问URL中被URL编码的数据、分割访问URL中的资源标识和请求参数、补充访问者IP归属地信息、将解析后的访问条目的各字段存入数据库，在后文说明中出现的“访问日志条目”均指此步骤中存储到数据库中的访问条目信息。

进一步地，步骤2)中使用的攻击检测方法有基于规则匹配的方法和基于访问行为统计分析的方法。在前者的方法中，根据某些攻击方式会在请求参数中的特征，使用本发明整理归纳的正则表达式对访问日志条目中的URL进行匹配分析，检测是否存在这些类型的攻击行为，如果匹配则判定对应访问数据涉及攻击事件并生成单个攻击告警；然后对产生告警的访问条目上下文进行复查，如果在一段时间内同一个访问者触发多个相同攻击类型的告警，对这些告警进行聚合，归纳为一件攻击事件，否则单个攻击告警作为一件攻击事件；然后从每一攻击事件中提取访问者的信息即作为攻击者信息，告警检测到的其使用的攻击技术、攻击发生时间等信息为攻击事件信息。在后者的方法中，通过分析访问的时间、频次、请求资源的种类、状态码分布、响应字节数分布等信息，检测暴力猜解、资源扫描、漏洞扫描、Webshell访问攻击行为。该方法统计范围是某IP在单位时间(默认为1小时，参数可调整)内的总访问情况，包括总访问次数R、请求资源的种类数(去除参数后的访问URL去重后的数量)Rq、请求参数的种类数P(访问URL中的请求参数去重后数量)、失败响应数(响应状态码大于等于400的请求数)S、响应字节数均值Bavg、响应字节数标准差Bsd、响应字节数变异系数(标准差和均值的比值)Bcv、来源页面数(请求来源页面去重后数量)Rf、请求频率(以分钟聚合请求，连续访问时间内的每秒请求数)f等。根据这些统计量的表现检测某IP是否具有暴力猜解、资源扫描、漏洞扫描、Webshell访问攻击行为，例如检测方法默认的检测暴力猜解攻击的条件为“R>30且Rq<0.2R且P>0.8R且(S<0.2R或S>0.8R)且Bcv<0.2且f>5”，条件中的各统计量阈值参数可调整，实现更严格或更宽松的检测效果。若检测到攻击行为，视为检测到这些攻击类型的攻击事件，从这些访问中提取攻击者信息、攻击事件信息。

进一步地，步骤3)依据步骤2)检测出的攻击事件构建成图结构，用于对其进行描述和记录。图的节点有两种：分别为攻击者和攻击事件；攻击者节点附带属性：编号、IP、归属地、User-Agent、活跃时间、特征等；攻击事件节点附带属性：事件编号、攻击类型、时间段、攻击状态、攻击次数等。在构建攻击事件图时，图的边仅限于攻击者节点和攻击事件节点之间，其记录了攻击者与其发起的攻击事件之间的一组对应关系。可以描述为“攻击者发起过攻击事件”。将日志分析过程中识别到的全部攻击事件都按照此结构创建节点和边关系，存储到图数据库中，就完成了攻击事件图的构建。

进一步地，步骤4)中使用基于Web攻击阶段矩阵的关联算法对攻击事件图进行关联分析。Web攻击阶段矩阵是本发明中提出的一种攻击模型，依据攻击过程的深入和危害程度将Web攻击划分为五个阶段，并明确了不同种类的攻击技术所属阶段；该模型还记录了不同攻击技术之间的依赖关系、攻击技术的特点、攻击可能造成的危害等，作为知识库对攻击事件的分析提供依据。在进行关联分析前，攻击事件图中同类型节点之间没有边，图中均为互相独立的“攻击者-攻击事件”子图结构。进行关联分析时，首先根据Web攻击阶段矩阵模型中记录的不同攻击技术之间的依赖条件，遍历各攻击事件节点，计算每两个不同攻击事件节点之间的相关置信度S，该方法的流程为：先判断两个攻击事件节点所使用的攻击技术之间是否依赖性，若不存在则不进行操作，进入下一轮遍历；若存在，则根据攻击事件节点和发起该攻击事件的攻击者节点属性中记录的各维度上的信息计算相关置信度S，并在两个攻击事件节点之间新增边关系，相关置信度记录在边的属性中。再利用计算节点相似度的方法进行关联分析，该方法的流程为：遍历各攻击者节点，计算每两个不同攻击者节点之间的特征相似程度，相似度计算指标包括攻击者IP、IP归属地、使用的User-Agent、活跃时间等维度，对每个维度划分了不同的相似度级别并设置了评分，将各维度的相似度值加权求和，计算两个攻击者节点之间的相关置信度S，并将相关置信度记录在攻击者节点间新增的边关系的属性中。关联分析操作完成后，攻击事件图中各子图之间建立了连接。相关置信度S的计算式为S＝w₁s₁+w₂s₂+w₃s₃，其中s₁代表IP相似度，s₂代表User-Agent相似度，s₃代表活跃时间相似度，w₁、w₂、w₃分别为三个维度的相似度的权重。对于IP相似度计算：若IP相同，则s₁＝1；否则判断IP是否为同一C段地址，如果是则s₁＝0.6；否则继续判断IP归属是否为同一城市，如果是则s₁＝0.3；否则s₁＝0。对于User-Agent相似度计算：若IP相同，则s₂＝1；否则尝试识别操作系统及版本，如果相同，则s₂＝0.5；否则s₂＝0。对于活跃时间相似度计算：s₃＝e^-(ln2/3)t，t为两个攻击者活跃时间的间隔，以天为单位计。权重参数的选择为：若s₁＝1，则w₁＝5、w₂＝2.5、w₃＝2.5；若s₁≠1且s₂＝1，则w₁＝3、w₂＝4、w₃＝3，若s₁≠1且s₂≠1，则w₁＝2.5、w₂＝2.5、w₃＝5。

进一步的，步骤5)中，在攻击事件汇总整合、还原攻击场景时，设置事件节点之间相关置信度阈值、攻击者节点之间相关置信度阈值，这两个属性都是记录在边关系中的，在子图聚合的过程中，只有属性的值超过阈值的边才被认为是确定存在的连接关系。这些互相连接的攻击者节点、攻击事件节点，就是同一完整攻击场景中的攻击者、攻击事件的集合。这个思想即认为相关性超过阈值的攻击事件之间、攻击者之间是存在客观上的关联关系；例如两个不同IP的攻击者都成功访问了同一个Webshell，根据特征相似性计算发现相关性高，可以认为这是两个攻击者实为一人或属于同一攻击组织。攻击事件聚合完成后，按时间顺序梳理各个攻击事件，即可完成攻击场景的还原，并可以根据攻击事件对应的攻击技术，从Web攻击阶段矩阵中获取攻击可能造成的影响、危害程度，进而评估攻击场景。

一种基于Web日志的Web攻击阶段分析系统，系统以网站的形式实现，包括：

用户交互接口，用户通过访问网站前端页面使用系统功能，例如：上传日志、分析任务管理、设置关键参数、查看分析结果、Web攻击阶段矩阵知识库管理等；

服务层，处理用户在前端进行的操作，是系统关键功能的实现。包括日志分析模块和攻击事件关联分析模块。实现数据预处理、基于规则匹配的攻击检测、基于统计的攻击检测、攻击事件图构建、基于相似度和依赖关系的关联分析算法、攻击事件聚合、攻击场景还原等功能；

数据层，为系统提供数据存储、查询、管理方面的支撑，使用Elasticsearch数据库存储源日志数据、日志分析结果、分析任务信息，使用Neo4j图数据库存储攻击事件图、Web攻击阶段矩阵。

本发明的积极效果如下：

如今网站遭受的安全威胁越来越多，在对网站遭受的攻击进行分析或溯源的过程中，往往需要人工分析日志或者处理大量的IDS报警信息，这些数据量很大，且不同攻击的告警混杂在一起，人工处理起来任务繁重。本发明针对这一问题，提出了一种基于Web日志分析的Web攻击阶段识别系统，能够自动化地分析Web攻击事件，除了检测与识别单一攻击事件之外，还能做到将相关性较高、同属一个完整攻击过程的攻击事件关联起来，确定其攻击阶段和危害。这样能将安全人员从繁重的数据处理、重复查找、关联判断的操作中解放出来，能分担应急响应中的分析工作，人只需着重关注攻击阶段较深入的、更重要的攻击事件。

附图说明

图1是本发明方案的系统整体结构图。

图2是本发明方案的总体流程图。

图3是日志预处理流程图。

图4为Web攻击事件检测模块流程图；

(a)是基于规则匹配的攻击检测方法流程图，

(b)是基于访问行为统计的攻击检测方法流程图。

图5是攻击事件关联分析流程图。

具体实施方式

下面结合附图对本发明进行进一步详细描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本实施例提供一种基于Web日志分析的Web攻击分析系统，系统整体结构如图1所示，系统各功能流程图如图2所示，具体包括以下步骤：

步骤100：获取待检测网站的访问日志文件，然后进行格式解析、数据解码等预处理，然后将得到的源日志数据存入数据库。

步骤200：攻击事检测测模块对经过预处理的源日志数据进行攻击检测，该模块使用基于规则匹配的方法和基于访问行为统计分析的方法；前者使用整理归纳的正则表达式对访问URL进行匹配分析，根据某些攻击方式的特征进行检测，后者通过分析访问的时间、频次、请求资源的种类、状态码分布、响应字节数分布等信息，检测某些攻击行为。

步骤300：将检测出的攻击事件构建成图结构，以对其进行描述和记录，存入图数据。图的节点有两种：分别为攻击者和攻击事件；节点附带属性：IP、User-Agent、特征、攻击类型、时间段、状态、次数等。在构建攻击事件图时，图的边仅限于攻击者节点和攻击事件节点之间，其记录了攻击者与其发起的攻击事件之间的一组对应关系。

步骤400：对攻击事件图进行关联分析，基于节点特征相似度和不同攻击种类的事件之间的依赖关系，在这里用到了本系统中构建的Web攻击阶段矩阵作为知识库，该知识库也存储在图数据库中。

步骤500：关联分析完成后，在攻击事件汇总整合、还原攻击场景时，使用不同阈值对关联分析过程中计算的相关性指标进行过滤，即可对攻击事件图进行聚合。聚合完成后，按时间顺序梳理各个攻击事件，即可完成攻击场景的还原，并可以根据攻击事件对应的攻击技术，从Web攻击阶段矩阵中获取攻击可能造成的影响、危害程度，进而评估攻击场景。

图3所示为日志预处理流程图，具体说明如下：

步骤110：用户可通过在系统前端上传文件或者配置日志流式传输的方式将日志文件上传到分析系统。

步骤120：判断日志文件中的记录格式是否为标准的格式，本系统可以解析Apache的NCSA格式以及IIS的日志格式；如果属于自定义了记录其他字段、间隔符等的格式，需要用户再指定格式解析模版。

步骤130：成功将日志中各字段的值分离后，需要对请求URL字段的数据做URL解码，还原经网络传输前原始请求URL，以便后续分析，预处理后的数据存入Elasticsearch数据库保存。

图4所示为Web攻击事件检测模块流程图，具体如下：

步骤210：使用基于规则匹配的攻击检测算法时，依据系统中预先收集整理的规则对网站访问请求做匹配，检测其中与Web攻击相关的参数等。如果成功匹配，则认为该条访问数据涉及攻击事件。源日志中的请求数量巨大，如果直接把和正则表达式匹配成功的请求视为一次攻击事件，会造成检出大量低质量的冗余信息，因此还会在这一步依据访问时间、访问者、攻击种类进行筛选聚合，精炼攻击事件。具体方法为：如果匹配成功则生成单个攻击告警；然后对产生告警的访问条目上下文进行复查，如果在一段时间内同一个访问者触发多个相同攻击类型的告警，对这些告警进行聚合，归纳为一件攻击事件，否则单个攻击告作为一件攻击事件。

步骤220：使用基于访问行为统计的攻击检测方法，包括访问时间、频次、请求资源的种类、响应状态码的分布、响应字节数的分布等。可以检测不便于通过规则匹配方法发现的攻击技术，例如Webshell访问。

图5所示为攻击事件关联分析流程图，具体流程如下：

步骤410：在对攻击事件节点之间进行关联分析时，对于每一个节点都要计算它和其他节点间的相关置信度，因此对全部节点进行遍历，首先获取一对不同攻击事件节点。

步骤420：根据本发明中提出的Web攻击阶段矩阵模型中记录的不同种类攻击技术之间的依赖关系，判断步骤410中选取的待分析两个攻击事件节点中所使用的攻击技术的种类是否具有依赖关系，如果不存在，则不处理这两个攻击事件节点；如果存在，才计算两个节点间的相关置信度。

步骤430、440：相关置信度用于度量两个攻击事件节点之间的相关性，在计算过程中，依据两个攻击事件节点和与其有边关系的攻击者节点(即发起该攻击事件的攻击者)包含的属性信息，例如：攻击者IP、User-Agent、活跃时间、攻击次数、攻击载荷特征等。步骤430计算完成后，在两个攻击事件节点之间新建立边关系，记录相关置信度。

步骤450、460：在对攻击者节点之间进行关联分析时，对于每一个节点都要计算它和其他节点间的相关置信度。因此对全部节点进行遍历，首先获取一对不同攻击者节点，然后计算其与其他攻击者之间的特征相似度，相似度的计算指标包括IP、IP归属地、User-Agent、活动时间等维度，对每个维度划分了不同的相似度级别并设置了评分，加权计算各维度的相似度值，确定两个攻击者节点之间的相似度，并将其记录在攻击者节点间新增的边关系的属性中。

尽管为说明目的公开了本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种基于Web日志的Web攻击阶段分析方法，其步骤包括：

1)获取待检测网站的访问日志文件并对其进行解析，得到该待检测网站的源日志数据；

2)对所述源日志数据进行攻击检测，得到该待检测网站受到的攻击事件；

3)根据该待检测网站受到的攻击事件构建攻击事件图，以图的形式记录和存储检测出的攻击事件的详细信息；

4)基于所述攻击事件图，获取各所述攻击事件之间的关联关系；

5)根据所述关联关系将同属一个多步Web攻击过程的各攻击事件进行聚合，还原多步Web攻击的攻击场景，确定各个攻击场景的攻击阶段并评估攻击的危害程度。

2.根据权利要求1所述的方法，其特征在于，所述攻击事件图的节点包括攻击者节点和攻击事件节点；所述攻击者节点的属性包括攻击者的编号、IP、归属地、User-Agent、活跃时间、特征；所述攻击事件节点的属性包括攻击事件编号、攻击类型、时间段、攻击状态、攻击次数；构建所述攻击事件图时，所述攻击事件图的边一端连接攻击者节点、另一端连接攻击事件节点，用于记录攻击者与其发起的攻击事件之间的对应关系。

3.根据权利要求2所述的方法，其特征在于，获取各所述攻击事件之间的关联关系的方法为：

创建一攻击模型，所述攻击模型中依据攻击过程的深入和危害程度将Web攻击划分为五个攻击阶段，并设定不同种类的攻击技术所属攻击阶段，以及设定不同攻击技术之间的依赖关系、攻击技术的特点、攻击所能造成的危害；

根据所述攻击模型中记录的不同攻击技术之间的依赖条件，遍历各所述攻击事件节点，对于任意两个不同攻击事件节点，如果该两个不同攻击事件节点所使用的攻击技术之间存在依赖性，则根据攻击事件节点的属性和发起对应攻击事件的攻击者节点的属性计算相关置信度，如果相关置信度大于设定事件节点置信度阈值在该两个不同攻击事件节点之间新增一条边；以及并将所述相关置信度记录在该两个不同攻击事件节点之间新增边的属性中；

遍历各所述攻击者节点，计算任意两个不同攻击者节点之间的相似度，如果相似度大于设定攻击节点置信度阈值，则在两攻击节点之间新增一条边并将所述相似度记录在攻击者节点间新增的边的属性中；

根据各攻击事件子图之间新增的边生成攻击事件图，得到各所述攻击事件之间的关联关系。

4.根据权利要求3所述的方法，其特征在于，根据攻击者节点的属性计算两攻击者节点之间的相似度。

5.根据权利要求3所述的方法，其特征在于，步骤5)中，将互相连接的节点对应的攻击事件或攻击者作为同属一个多步Web攻击过程的攻击事件进行聚合，得到同一完整攻击场景中的攻击者、攻击事件集合；然后按时间顺序对各攻击事件进行排列，完成攻击场景的还原；根据攻击事件对应的攻击技术，从所述攻击模型中获取对应危害，评估攻击的危害程度。

6.根据权利要求1所述的方法，其特征在于，采用基于规则匹配的方法对所述源日志数据进行攻击检测：首先使用正则表达式对网站访问请求进行匹配，如果成功匹配，则判定对应访问数据涉及攻击事件并生成单个攻击告警；如果在一段时间内同一访问者触发多个相同攻击类型的攻击告警，则将该多个相同攻击类型的攻击告警聚合归纳为一件攻击事件，否则将单个攻击告警作为一件攻击事件；然后从每一攻击事件中提取访问者的信息即作为攻击者信息，该访问者使用的攻击技术、攻击发生时间为攻击事件信息。

7.根据权利要求1所述的方法，其特征在于，采用基于访问行为统计分析的方法对所述源日志数据进行攻击检测：通过分析访问的时间、频次、请求资源的种类、状态码分布、响应字节数分布，检测该待检测网站受到的攻击事件。

8.一种基于Web日志的Web攻击阶段分析系统，其特征在于，包括攻击模型、日志分析模块和攻击事件关联分析模块；其中，

所述攻击模型中依据攻击过程的深入和危害程度将Web攻击划分为五个攻击阶段，并设定不同种类的攻击技术所属攻击阶段，以及设定不同攻击技术之间的依赖关系、攻击技术的特点、攻击所能造成的危害；

所述日志分析模块，用于对待检测网站的访问日志文件进行解析，得到该待检测网站的源日志数据；

所述攻击事件关联分析模块，用于根据该待检测网站受到的攻击事件构建攻击事件图；然后基于所述攻击事件图，获取各所述攻击事件之间的关联关系；然后根据所述关联关系将同属一个多步Web攻击过程的各攻击事件进行聚合，还原多步Web攻击的攻击场景，确定各个攻击场景的攻击阶段并评估攻击的危害程度。

9.一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1至7任一所述方法中各步骤的指令。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一所述方法的步骤。

Images