CN114021040A - 基于业务访问的恶意事件的告警及防护方法和系统 - Google Patents

Abstract

本发明公开了一种基于业务访问的恶意事件的告警及防护方法，其包括以下步骤：步骤一，采集请求数据，根据业务访问速率和规则检测日志，提取特征数据；步骤二，对特征数据过滤后，匹配并标记异常请求；步骤三，将异常请求进行攻击类型检测，对未知类型的异常请求继续进行分类训练，并确定其攻击类型；步骤四，通过漏洞库找到所属攻击类型的防护规则模板，动态添加阻断地址，自动生成阻断的防护规则，调用第三方工具WAF进行阻断拦截。本发明能够有效提高异常请求数据检测的命中率和识别准确率，提高检测效率，实施有效快速拦截。本发明还公开了一种基于业务访问的恶意事件的告警及防护系统。

Description

基于业务访问的恶意事件的告警及防护方法和系统

技术领域

本发明涉及一种互联网安全技术领域。更具体地说，本发明涉及一种基于业务访问恶意事件告警及防护方法和系统。

背景技术

现今的网络攻击手段逐步多样化、攻击方式也更加隐蔽难以发现。Web应用或多或少的受到黑客攻击、恶意代码、数据泄露、SQL注入等安全隐患，企业网络环境不容乐观。企业深受其害。

传统的恶意事件防护，通常使用第三方WAF作为访问控制设备来加强web服务器的安全，通过解析业务发起的请求，对其中的内容进行规则检测，确保请求的的合法性，阻断非法的请求，可以对web服务器进行有效防护。

但是，现有的第三方WAF不能起到绝对防护，存在如下弊端：

1.防护规则预定义，在新的漏洞出现后需及时更新防护规则，维护比较困难。

2.规则匹配请求广泛，正常请求如规则匹配特定关键字也会触发拦截，误报较多。

3.对于放行请求没有做二次分析，不能准确判定是否是异常请求，需人工通过防护检测日志进行排查，对未识别异常请求不能准确定义攻击类型和做出有效的防护手段。

发明内容

本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。

本发明还有一个目的是提供一种基于业务访问的恶意事件的告警及防护方法，其能够有效提高异常请求数据检测的命中率和识别准确率，提高检测效率和更准确的识别具体攻击的类型及方式，实施有效快速拦截。

为了实现根据本发明的这些目的和其它优点，提供了一种基于业务访问的恶意事件的告警及防护方法，其包括以下步骤：

步骤一，采集请求数据，根据业务访问速率和规则检测日志，提取特征数据；其中，业务访问速率指在业务部署服务器对外开放访问地址，Nginx代理中会受到业务访问所有的请求和源数据，通过业务访问的发包速度和请求内容，获取每秒或每分钟速率统计次数和请求数据内容。规则检测日志指在业务访问期间，所发送请求及内容都会通过本发明的检测日志和规则，匹配到不合法的请求会调用WAF直接阻断拦截，对于无匹配到的请求(正常或异常)，格式化处理并提取特征数据。

步骤二，对特征数据过滤后，匹配并标记异常请求；

步骤三，将异常请求进行攻击类型检测，对未知类型的异常请求继续进行分类训练，并确定其攻击类型；

步骤四，通过漏洞库找到所属攻击类型的防护规则模板，动态添加阻断地址，自动生成阻断的防护规则，调用第三方工具WAF进行阻断拦截。本发明所述基于业务访问的恶意事件的告警及防护方法从业务类型出发，根据业务访问速率和规则检测日志提取请求数据的关键特征，过滤掉正常请求后，针对异常请求进行攻击类型检测，大大提高检测效率，同时提高对异常请求的命中率和准确率。对异常请求例如利用LSTM模型进行分类训练，不仅可以提高计算效率，同时可以提高识别结果的准确性。

优选的是，所述基于业务访问的恶意事件的告警及防护方法还包括：步骤五，在确定异常请求数据所属攻击类型时，获取当前的源数据及漏洞库所对应的内容，通过邮件告警或终端展示，通知用户或企业恶意事件已被阻断。

优选的是，所述步骤四中，自动生成阻断的防护规则具体指：通过所述异常请求所属的攻击类型规则模板，替换关键字或阻断内容相关条件，生成新的规则文件，动态添加到WAF规则目录下，文件名按攻击编号生成。这样有利于更加快捷的做出防护攻击措施，如请求多次触发，会检索WAF规则目录是否存在该类型攻击，不会重复添加相同防护规则，通过所属攻击类型的评分强度，一般分为四个级别：信息、低危、高危、紧急。如该请求为信息，会自动过滤，不会添加防护规则；如该请求为低危，规则只会对其进行检测，不拦截或阻断；如该请求为高危或紧急，根据访问IP加入黑名单，规则会阻断这类型攻击，不予放行或进行访问业务；等级划分是有安全人员进行评定，定期维护更新漏洞库。

优选的是，所述步骤三中的攻击类型检测的匹配规则和筛选方式包括：

访问速率检测，通过对标记的异常请求数据，按发包速率特征把每分钟请求次数≥5000的请求放在一个队列中，通过校验该异常请求的其他特征数据是否与历史攻击特征相符，确定其攻击类型，未匹配到的异常请求进行攻击分类训练；

关联特征匹配，根据关联特征，如User-Agent、状态码、请求参数等特征，通过关联定义匹配条件，当满足一个或多个目标条件时，确定为已存在的具体攻击类型，如XSS、远程代码执行、文件上传等恶意事件；未匹配的异常请求数据，会进行无监督机器学习自动做异常数据样本训练，通过匹配到的关联特性和特征更新漏洞库，安全人员对其进行校验和排查，确保关联条件无误，定期更新关联特征匹配相关检测条件。

优选的是，所述步骤三中的分类训练主要针对统一资源标识符URI进行特征和样本提取，具体步骤为：

S301，特征词嵌入，通过word embedding操作取得特征向量分词，生成分词数量和的特征矩阵；

S302，数据预处理，利用公式(Ⅰ)进行数据标准化处理，其中公式(Ⅰ)为：

式中x为需要被标准化的原始值，μ为均值，σ为标准差，σ不等于0；

S303，样本训练，利用公式：相对偏差＝[(标签值-预测值)/标签值]*100％，进行误差校准。对未知的异常请求分类训练，主要针对统一资源标识符URI进行特征和样本提取，通常根据安全专家分析一个请求是否是异常或存在哪种攻击，如分析：请求结构是否正常，是否包含web攻击关键词，每个片段有什么含义等，这些都基于对URI每个字符上下文的理解和深度解析。传统的神经网络做不到这一点，然而循环神经网络可以，它允许信息持续存在。利用LSTM对前后文理解优势，获取URI请求的前后字符判断是否是web攻击，通过LSTM模型把每个字符当作一个特征，且字符间有上下文联系，无论是单个词或多个重复度关联词，在经过嵌入层的转换后，拥有近试的特征向量表达，对模型和识别结果的准确性较为明显。

优选的是，所述步骤二中，特征数据过滤具体包括：筛选过滤掉无效的请求，在相同时间比较请求格式内容，减少请求数据的冗余性。同时还按匹配规则把过滤后的请求进行依次匹配和筛选，对已匹配到的标记为异常数据，未匹配到的不做处理。

优选的是，所述步骤一中的所述业务访问速率指通过业务访问的发包速度和请求内容，获取每秒或每分钟速率统计次数和请求数据内容；

所述规则检测日志指在业务访问期间，基于所有访问请求及内容生产的检测日志和规则。

优选的是，所述步骤一中的特征数据包括：统一资源标识符URI、访问源IP、访问目的IP、Host字段、访问来源、用户代理、cookie、发包速率、请求内容以及访问请求参数。其中，统一资源标识符URI为网络访问请求对应访问的网页地址；访问源IP为发送网络访问请求源的客户端IP地址；访问目的IP为保存该网页的服务器的IP地址；Host字段标识请求访问的网页域名；访问来源表示请求当前网页的来源链接地址，即当前访问网页的前一个网页；用户代理(UserAgent)是一种特殊字符串头，使得服务器能够识别客户端使用的操作系统和版本、CPU类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等；访问请求参数包括GET、POST对应的结构体数据。

本发明还提供了一种基于业务访问的恶意事件的告警及防护方法的系统，其包括：

日志采集模块，其用于采集NGINX日志和WAF检测日志文件，并对其进行标准化处理和特征提取；

异常匹配模块，其用于过滤正常请求，把未匹配到的异常请求标记为异常请求数据；其基于特征进行条件和正则匹配。

攻击检测模块，其用于对标记为异常请求的数据进行匹配和筛选，确定其攻击类别，以便于进行防护及记录；所述攻击检测模块例如包括攻击分类训练模块，其识别其攻击类型，通过异常样本和特征来确定是否存在攻击行为或具体攻击方式及类型；所述攻击检测模块例如按异常请求数据的内容、参数或者特殊标识，与漏洞库中已知数据进行匹配，匹配正确进行防护及记录当前漏洞和事件准确性，事件的关联和入侵整个攻击过程都会以特征提取定时更新漏洞库和请求特性，匹配定义和响应策略等方式，基于安全人员自定义或存在常见事件防护规则，进行及时处理。

规则下发模块，其用于对已检测确定攻击类型的异常请求，判断威胁程度，调用规则模板库的具体规则内容，替换关键字或内容生成新的规则，通过内置配置做黑名单添加或WAF规则防护；

以及响应模块，其用于针对已确定攻击类型的异常请求采用邮件或前端展示，通知用户或企业恶意事件已被拦截阻断，以此实现恶意事件的响应处理。

优选的是，所述系统还包括：

数据库，其包括用于储存并更新的日志库；攻击类型统计的漏洞库；规则生成的规则模板库与漏洞库相关联；收集业务访问触发恶意事件的资产收集库；攻击分类训练异常数据存放样本库；以及用于防护服务的黑名单和WAF。

本发明至少包括以下有益效果：本发明所述基于业务访问的恶意事件的告警及防护方法通过对代理服务日志的发包速率和检测日志提取其关键特征，对未拦截的请求数据，进行匹配过滤正常请求，可全面的对请求数据进行识别，提高命中率和识别准确率；

本发明对标记的请求异常数据，采用分类统计，检测识别，能够有效的提高检测效率和更准确的识别具体攻击的类型及方式；

本发明所述攻击类型训练分类模型采用无监督学习LSTM对特定标识做单独样本训练，只要样本足够充分，会自动学习如何做字符集组合，较少人为因数和负担，能够有效地识别未知攻击类型具体特性及攻击方式，大大提高防护效率，减少损失。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明其中一个实施例所述基于业务访问的恶意事件的告警及防护方法的流程示意图；

图2为本发明其中一个实施例所述基于业务访问的恶意事件的告警及防护系统的结构示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

如图1所示，本发明提供一种基于业务访问的恶意事件的告警及防护方法，其包括以下步骤：

S1，日志采集，根据业务类型，采集网络安全平台上所有业务访问请求的安全日志数据；

S2，日志处理及特征提取，所述日志文件，需做标准化和日志格式转换做处理，之后提取日志文件的特征数据；特征例如包括：统一资源标识符URI、访问源IP、访问目的IP、Host字段、访问来源、用户代理(UserAgent)、cookie、发包速率、请求内容以及访问请求参数等。数据源数据及格式化处理后数据特征如下：

S3，识别请求数据是否存在异常，是则，标记为异常数据；否则，进行正常数据过滤。其中还包括在识别前先过滤掉无效的请求，然后在相同时间比较请求格式内容，减少请求数据的冗余性；再按匹配规则把过滤后的请求进行依次匹配和筛选。匹配策略及筛选条件为依据拦截和检测的自身的分两种进行条件匹配，如数据本身存在拦截标识，直接标记该请求数据为异常请求数据，以待下一步处理和检测分析；如数据是正常或检测数据，会通过匹配检测条件，验证规则如下：

1.访问源IP通过资产收集库查询历史恶意事件访问源IP进行比对筛选，如有该IP标记异常请求数据，无查找结果进入下一步进行匹配；

2.发包速率匹配，根据匹配规则定义每秒或每分钟发包数量，1sec请求次数>＝200、1min请求次数>＝5000，如请求发包数量大于定义阈值标记为异常数据；

3.用户代理(UserAgent)，如Mozilla/5.0(compatible；MSIE 11.0；Windows NT6.1；Win64；x64；Trident/5.0)'+(select*from(select(sleep(20)))a)+'正常请求UA为浏览器部分信息，进行拼接类似如上UA存在SQL注入恶意事件，通过正则截取或匹配关键内容，若存在如上UA情况标记为异常请求数据；

4.Host字段通过查询企业注册的域名验证是否为无效host，如不存在标记为异常请求数据。

S4，攻击类型检测，将异常请求进行攻击类型检测，攻击类型检测主要分为两种：访问速率检测和关联特征匹配，通过精准的匹配和过滤后，确定异常请求攻击类型，进行阻断或者未知请求数据分类训练。其中，所述访问速率检测例如包括以下步骤：通过对标记的异常请求数据，按发包速率特征把每分钟请求次数≥5000次的请求放在一个队列中，通过校验该异常请求的其他数据，内容长度和内容是否相符，攻击的特征与历史特征攻击其特性是否相符，确定其攻击类型，并进行步骤S5；未确定其攻击类型的，标记为未知异常攻击数据，进行步骤S6；

所述关联特征匹配，例如包括以下步骤：

首先，构造好的特征向量，利用N-Gram将文本数据(URI)或者文本内容，如下例子，如果N取2，步长为1，则：www.xxx.com.cn/api/user去掉主机名api/user用‘/’分词(api,user),通过分词结果提取词频的数量，在历史特征关键词中查找是否存在，以下为关键字相关内容：

SQL恶意关键字例如包括：and,or,xp_,utl_hex,shutdown,@@version等

XSS常见关键字例如包括：<scrip,</script,<iframe,</iframe,eval(等

采用1(存在)、0(不存在)作为是否存在特征值，首先对文本进行分词处理“空格”，“/”和“&”并对词频进行统计和大小写的转换。

S5，按攻击类型触发规则阻断，其中包含WAF和黑名单两种下发阻断方式，WAF规则阻断为：通过漏洞库找到所属攻击类型的防护规则模板，动态添加阻断地址自动生成阻断的防护规则，调用第三方工具WAF进行阻断拦截，这样有利于更加快捷的做出防护攻击措施，所述自动生成阻断的防护规则指通过所属攻击类型规则模板，替换关键字或阻断内容相关条件，生成新的规则文件，动态添加到WAF规则目录下，文件名按攻击编号生成，如请求多次触发，会检索WAF规则目录是否存在该类型攻击，不会重复添加相同防护规则，通过所属攻击类型的评分强度，一般分为四个级别：信息、低危、高危、紧急。如该请求为信息，会自动过滤，不会添加防护规则；如该请求为低危，规则只会对其进行检测，不拦截或阻断。黑名单阻断为：攻击类型请求为高危或紧急，根据访问源IP加入黑名单，不予放行或进行访问业务。

S6，对未确定攻击类型的异常请求，利用攻击训练模型进行分类训练，主要分类训练针对统一资源标识符URI进行特征和样本提取，如下：

(1)特征词嵌入(word embedding)

例如：http://***.com/jliang3/article/details/c.php

通过embedding分别取得特征向量分词结果：jliang3、article、details、c.php，组成分词数量和的特征矩阵进行预处理和样本训量。

(2)数据预处理，利用公式(Ⅰ)进行数据标准化处理，其中公式(Ⅰ)为：

式中x为需要被标准化的原始值，μ为均值，σ为标准差，σ不等于0；

(3)样本训练，误差校准公式为：相对偏差＝[(标签值-预测值)/标签值]*100％。匹配数据库，判断其攻击类型，如果是已知攻击类型，则进行步骤S5；如果是新的攻击类型，则存储记录并更新数据库。

S7，及时对恶意事件进行响应，具体为：在确定异常请求数据所属攻击类型时，获取当前的源数据及漏洞库所对应的内容，通过邮件告警或终端展示，通知用户或企业恶意事件已被阻断。并进行数据库更新。

如图2所示，本发明还提供了一种基于业务访问的恶意事件的告警及防护系统，其包括：

日志采集模块，其用于采集NGINX日志和WAF检测日志文件，并对其进行标准化处理和特征提取。

异常匹配模块，其用于对特征数据进行条件和正则匹配，过滤正常请求，把未匹配到的异常请求标记为异常请求数据。

攻击检测模块，其包括攻击检测模型和攻击分类训练模块；攻击检测模型用于确定异常请求的攻击类型，在漏洞库中匹配和筛选已知攻击类型，具体按异常请求数据内容或参数及特殊标识做匹配；

攻击分类训练模块，其用于对标记为异常请求的数据进行识别攻击类型，通过异常样本和特征来确定是否存在攻击行为或具体攻击方式及类型。

规则下发模块，其用于对已检测确定的攻击类型，判断威胁程度，调用规则模板库的具体规则内容，替换关键字或内容生成新的规则，通过内置配置进行黑名单添加或WAF规则防护。

以及响应模块，其用于针对恶意事件采用邮件或前端展示，通知用户或企业恶意事件已被拦截阻断，以此实现恶意事件的响应处理。

以及数据库，其包括用于储存并更新的日志库；统计攻击类型的漏洞库；规则生成的规则模板库与漏洞库相关联；收集业务访问触发恶意事件的资产收集库；攻击分类训练异常数据存放样本库；以及用于防护服务的黑名单和WAF。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (10)

1.基于业务访问的恶意事件的告警及防护方法，其特征在于，包括以下步骤：

步骤一，采集请求数据，根据业务访问速率和规则检测日志，提取特征数据；

步骤二，对特征数据过滤后，匹配并标记异常请求；

步骤三，将异常请求进行攻击类型检测，对未知类型的异常请求继续进行分类训练，并确定其攻击类型；

步骤四，通过漏洞库找到所属攻击类型的防护规则模板，动态添加阻断地址，自动生成阻断的防护规则，调用第三方工具WAF进行阻断拦截。

2.如权利要求1所述的基于业务访问的恶意事件的告警及防护方法，其特征在于，还包括：步骤五，在确定异常请求数据所属攻击类型时，获取当前的源数据及漏洞库所对应的内容，通过邮件告警或终端展示，通知用户或企业恶意事件已被阻断。

3.如权利要求1所述的基于业务访问的恶意事件的告警及防护方法，其特征在于，所述步骤四中，动生成阻断的防护规则具体指：通过所述异常请求所属的攻击类型规则模板，替换关键字或阻断内容相关条件，生成新的规则文件，动态添加到WAF规则目录下，文件名按攻击编号生成。

4.如权利要求1所述的基于业务访问的恶意事件的告警及防护方法，其特征在于，所述步骤三中的攻击类型检测的匹配规则和筛选方式包括：

访问速率检测，通过对标记的异常请求数据，按发包速率特征把每分钟请求次数≥5000的请求放在一个队列中，通过校验该异常请求的其他特征数据是否与历史攻击特征相符，确定其攻击类型，未匹配到的异常请求进行攻击分类训练；

关联特征匹配，根据关联特征，通过关联定义匹配条件，当满足一个或多个目标条件时，确定为已存在的具体攻击类型；未匹配的异常请求数据，会进行无监督机器学习自动做异常数据样本训练，通过匹配到的关联特性和特征更新漏洞库，安全人员对其进行校验和排查，确保关联条件无误，定期更新关联特征匹配相关检测条件。

5.如权利要求4所述的基于业务访问的恶意事件的告警及防护方法，其特征在于，

所述步骤三中的分类训练主要针对统一资源标识符URI进行特征和样本提取，具体步骤为：

S301，特征词嵌入，通过word embedding操作取得特征向量分词，生成分词数量和的特征矩阵；

S302，数据预处理，利用公式(Ⅰ)进行数据标准化处理，其中公式(Ⅰ)为：

式中x为需要被标准化的原始值，μ为均值，σ为标准差，σ不等于0；

S303，样本训练，利用公式：相对偏差＝[(标签值-预测值)/标签值]*100％，进行误差校准。

6.如权利要求1所述的基于业务访问的恶意事件的告警及防护方法，其特征在于，所述步骤二中，特征数据过滤具体包括：筛选过滤掉无效的请求，在相同时间比较请求格式内容，减少请求数据的冗余性。

7.如权利要求1所述的基于业务访问的恶意事件的告警及防护方法，其特征在于，所述步骤一中的所述业务访问速率指通过业务访问的发包速度和请求内容，获取每秒或每分钟速率统计次数和请求数据内容；

所述规则检测日志指在业务访问期间，基于所有访问请求及内容生产的检测日志和规则。

8.如权利要求1所述的基于业务访问的恶意事件的告警及防护方法，其特征在于，所述步骤一中的特征数据包括：统一资源标识符URI、访问源IP、访问目的IP、Host字段、访问来源、用户代理、cookie、发包速率、请求内容以及访问请求参数。

9.基于如权利要求1-8任一项所述的基于业务访问的恶意事件的告警及防护方法的系统，其特征在于，包括：

日志采集模块，其用于采集NGINX日志和WAF检测日志文件，并对其进行标准化处理和特征提取；

异常匹配模块，其用于过滤正常请求，把未匹配到的异常请求标记为异常请求数据；

攻击检测模块，其用于对标记为异常请求的数据进行识别攻击类型，通过异常样本和特征来确定是否存在攻击行为或具体攻击方式及类型；

规则下发模块，其用于对已检测确定攻击类型的异常请求，判断威胁程度，调用规则模板库的具体规则内容，替换关键字或内容生成新的规则，通过内置配置做黑名单添加或WAF规则防护；

以及响应模块，其用于针对已确定攻击类型的异常请求采用邮件或前端展示，通知用户或企业恶意事件已被拦截阻断，以此实现恶意事件的响应处理。

10.基于如权利要求1-9任一项所述的基于业务访问的恶意事件的告警及防护方法的系统，其特征在于，还包括：

数据库，其包括用于储存并更新的日志库；攻击类型统计的漏洞库；规则生成的规则模板库与漏洞库相关联；收集业务访问触发恶意事件的资产收集库；攻击分类训练异常数据存放样本库；以及用于防护服务的黑名单和WAF。

Images