CN110995714B - 一种检测对Web站点的团伙攻击的方法、装置及介质 - Google Patents

一种检测对Web站点的团伙攻击的方法、装置及介质 Download PDF

Info

Publication number
CN110995714B
CN110995714B CN201911240585.3A CN201911240585A CN110995714B CN 110995714 B CN110995714 B CN 110995714B CN 201911240585 A CN201911240585 A CN 201911240585A CN 110995714 B CN110995714 B CN 110995714B
Authority
CN
China
Prior art keywords
attack
cluster
time sequence
similarity
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911240585.3A
Other languages
English (en)
Other versions
CN110995714A (zh
Inventor
秦坤
范渊
刘博�
莫凡
姜鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN201911240585.3A priority Critical patent/CN110995714B/zh
Publication of CN110995714A publication Critical patent/CN110995714A/zh
Application granted granted Critical
Publication of CN110995714B publication Critical patent/CN110995714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种检测对Web站点团伙攻击的方法、装置及介质，方法包括：获取Web站点的Web审计日志，根据Web审计日志以及预设时间窗口获取时序特征；利用时序特征中的历史时序特征训练出攻击检测模型，并利用当前时序特征更新攻击检测模型；若当前时序特征在攻击检测模型中的得分超过预设阈值，将当前时序特征判定为异常时序特征，确定出团伙攻击时间。因此，本方法能够同时关注多种具有团伙攻击特性的攻击类型，通过对多维时间序列进行实时检测，能够根据当前时序特征及时准确地确定出异常时序特征，及时确定出对Web站点的团伙攻击的团伙攻击时间。

Description

一种检测对Web站点的团伙攻击的方法、装置及介质
技术领域
本发明涉及信息安全领域，特别涉及一种检测对Web站点的团伙攻击的方法、装置及计算机可读存储介质。
背景技术
随着信息技术的快速发展，信息安全形势也愈加严峻。在Web站点的攻击中，团伙攻击的形势相对严峻。团伙攻击指的是由某一个或一组攻击控制者控制的一批IP，对Web站点发起攻击。例如，CC攻击、恶意爬虫、扫描、Webshell以及敏感文件探测等可使用脚本等自动化工具发起的攻击都具有团伙攻击的特性。
现有技术对Web站点的团伙攻击的检测方法，一般从攻击类型出发，制定对应的策略规则或者算法进行检测。但是，现有技术的方法，一方面仅能够制定单类型攻击的检测策略，而实际上，攻击者发动攻击时会使用多种攻击方法结合，甚至对同一个目标的一次攻击中会使用多种攻击混合的方法。此时，传统的基于单类型攻击制定的策略规则或者算法就达不到期望的检测效果。另一方面，现有技术是通过检测Web站点是否存在异常，来检测Web站点是否发生团伙攻击。但是，这种检测方式是滞后的，即，只有在发生团伙攻击并对Web站点造成严重影响之后，才会检测出发生团伙攻击了，也就是说，现有技术的方法，只能在Web站点被团伙攻击之后检测出异常，再检测出团伙攻击的时间，而不能及时检测出会造成Web站点异常情况的团伙攻击的时间。因此，在实际发生团伙攻击到检测到Web站点异常这期间，会对Web站点的正常运行造成严重影响。
因此，如何准确检测出对Web站点的团伙攻击方式，并及时确定出团伙攻击的发生时间，是本领域技术人员目前需要解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种检测对Web站点的团伙攻击的方法，能够准确检测出对Web站点的团伙攻击方式，并及时确定出团伙攻击的发生时间；本发明的另一目的是提供一种检测对Web站点的团伙攻击的装置、设备及计算机可读存储介质，均具有上述有益效果。
为解决上述技术问题，本发明提供一种检测对Web站点的团伙攻击的方法，包括：
获取Web站点的Web审计日志，根据所述Web审计日志以及预设时间窗口获取时序特征；
利用所述时序特征中的历史时序特征训练出攻击检测模型，并利用当前时序特征更新所述攻击检测模型；
若所述当前时序特征在所述攻击检测模型中的得分超过预设阈值，将所述当前时序特征判定为异常时序特征，确定出团伙攻击时间。
优选地，在确定出所述团伙攻击时间之后，进一步包括：
根据所述团伙攻击时间和预设时间长度追溯得出对应的历史Web审计日志；
获取所述历史Web审计日志中每个IP的实体特征；
根据各所述实体特征对各所述IP进行聚类；
根据聚类结果确定出异常的聚类簇，确定出攻击团伙对应的IP。
优选地，所述根据聚类结果确定出异常的聚类簇，确定出攻击团伙对应的IP的过程，具体包括：
结合策略规则和开源情报，找出所述聚类簇中异常IP数量最多的N个目标聚类簇；
分别计算各所述目标聚类簇的簇内IP相似度和策略规则告警相似度；
若根据所述簇内IP相似度和所述策略规则告警相似度计算出的告警值超过预设告警阈值，则判定对应的目标聚类簇为攻击团伙。
优选地，所述根据各所述实体特征对各所述IP进行聚类的过程，具体为：
根据各所述实体特征，利用DBSCAN算法对各所述IP进行聚类。
优选地，在确定出所述告警值超过所述预设告警阈值之后，进一步包括：
发出对应的提示信息。
优选地，在所述若根据所述簇内IP相似度和所述策略规则告警相似度计算出的告警值超过预设告警阈值，则判定对应的目标聚类簇为攻击团伙之后，进一步包括：
对确定为所述攻击团伙中的各IP进行封禁。
为解决上述技术问题，本发明还提供一种检测对Web站点的团伙攻击的装置，包括：
优选地，进一步包括：
第一获取模块，用于根据所述团伙攻击时间和预设时间长度追溯得出对应的历史Web审计日志；
第二获取模块，用于获取所述历史Web审计日志中每个IP的实体特征；
IP聚类模块，用于根据各所述实体特征对各所述IP进行聚类；
团伙确定模块，用于根据聚类结果确定出异常的聚类簇，确定出攻击团伙对应的IP。
优选地，进一步包括：
提示模块，用于发出对应的提示信息。
优选地，进一步包括：
封禁模块，用于对确定为攻击团伙中的各IP进行封禁。
为解决上述技术问题，本发明还提供另一种检测对Web站点的团伙攻击的装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任一种检测对Web站点的团伙攻击的方法的步骤。
为解决上述技术问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种检测对Web站点的团伙攻击的方法的步骤。
本发明提供的一种检测对Web站点团伙攻击的方法，通过获取Web站点的Web审计日志，根据Web审计日志以及预设时间窗口获取时序特征；利用时序特征中的历史时序特征训练出攻击检测模型，并利用当前时序特征更新攻击检测模型；若当前时序特征在攻击检测模型中的得分超过预设阈值，将当前时序特征判定为异常时序特征，确定出团伙攻击时间。因此，基于Web审计日志以及预设时间窗口确定出的时序特征，能够同时关注多种具有团伙攻击特性的攻击类型，通过对多维时间序列进行实时检测，能够根据当前时序特征及时准确地确定出异常时序特征，从而确定出Web站点被团伙攻击的时间点，及时确定出对Web站点的团伙攻击的团伙攻击时间。
为解决上述技术问题，本发明还提供了一种检测对Web站点的团伙攻击的装置及计算机可读存储介质，均具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种检测对Web站点的团伙攻击的方法的流程图；
图2为本发明实施例提供的另一种检测对Web站点的团伙攻击的方法的流程图；
图3为本发明实施例提供的一种检测对Web站点的团伙攻击的装置的结构图；
图4为本发明实施例提供的另一种检测对Web站点的团伙攻击的装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例的核心是提供一种检测对Web站点的团伙攻击的方法，能够准确检测出对Web站点的团伙攻击方式，并及时确定出团伙攻击的发生时间；本发明的另一核心是提供一种检测对Web站点的团伙攻击的装置及计算机可读存储介质，均具有上述有益效果。
为了使本领域技术人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明实施例提供的一种检测对Web站点的团伙攻击的方法的流程图。如图1所示，一种检测对Web站点的团伙攻击的方法包括：
S10：获取Web站点的Web审计日志，根据Web审计日志以及预设时间窗口获取时序特征。
首先，根据检测指令中的目标主机名确定出进行检测的Web站点，获取Web站点的Web审计日志，并对Web审计日志进行解析，得出各种表示特征的字段信息。然后，利用字段信息和预设时间窗口构建时序特征。构建时序特征时，关注流量方向为外到内的访问实体(Web站点为被访问者)，对侧重的团伙攻击类型，根据预设时间窗口构建时序特征。其中，预设时间窗口根据实际需求设置，一般的，设置的预设时间窗口小于或等于30分钟。
具体的，构建时序特征的方式为：按照预设时间窗口，根据各不同类型的团伙攻击对应的特征信息，分别在预设时间窗口内对Web审计日志中的相应的字段信息进行聚合计算，例如：特征信息为“返回码为4xx次数”，预设时间窗口为30分钟，则构建方式为：每30分钟统计返回码字段中取值为“4xx”的日志数量。
需要说明的是，在本实施例中，构建时序特征对应的特征信息包括但不限于：
(1)IP个数；
(2)国外IP个数；
(3)动态页面请求次数；
需要说明的是，Url包含以下特定后缀的视为动态页面：php/php3/php4/php5/phtml/pht/asp/aspx/ashx/asa/asax/jsp/jspx/cer/cdx/cs/py/exe。
(4)返回码为4xx次数；
“4xx”指的是用户在浏览网页时出现的常见错误提示，如404(服务器无法正常提供信息/服务器无法回应)、403(资源不可用)等。
(5)敏感文档资源请求失败次数；
即，请求为获取敏感文档资源，并且请求失败的次数。其中，Url包含以下特定后缀的视为敏感文档资源：zip/rar/7z/tar/gz/bz/bz2/tgz等常见压缩文件格式后缀；返回码为4xx表示请求失败。
(6)请求响应平均时间；
计算在预设时间窗口内的各请求的平均响应时间。
(7)没有referrer的访问次数：
统计在预设时间窗口内的各请求中，请求头中不包含referrer字段或者该字段为空的请求个数。
(8)非常见端口访问次数；
其中，HTTP协议代理服务器常用端口号有：80/8080/3128/8081/9080，除了这些端口之外的端口都视为非常见端口。
(9)出流量字节总数；
在预设时间窗口内，Web站点对所有请求相应的出流量的总字节数；
(10)UrlQuery或者请求体中包含特殊字符且请求失败的次数；
在预设时间窗口内，UrlQuery或请求体中包含“＠”、“#”、“<”、“>”、“＇”等特殊字符且返回码为4xx的请求个数。
S20：利用时序特征中的历史时序特征训练出攻击检测模型，并利用当前时序特征更新攻击检测模型；
S30：若当前时序特征在攻击检测模型中的得分超过预设阈值，将当前时序特征判定为异常时序特征，确定出团伙攻击时间。
在根据Web审计日志以及预设时间窗口获取时序特征之后，利用时序特征中的历史时序特征训练出攻击检测模型，并利用当前时序特征更新攻击检测模型的具体操作方式如下：
首先根据时序特征确定出对应的时序特征矩阵，例如，根据M维(M种特征信息)长度为L(L个预设时间窗口)的时序特征构建的时序特征矩阵Y如下：
Figure BDA0002306106490000061
其中，每一行
Figure BDA0002306106490000071
表示第i特征信息的第1个预设时间窗口至第L个预设时间窗口的特征值，每一列
Figure BDA0002306106490000072
表示在第m个预设时间窗口上第1至第M个特征信息的特征值；T为转置操作。
然后，利用k-shingling方法将时序特征中的历史时序特征升维；
在本实施例中，综合考虑保证时序的连续性和维度灾难问题，设定k＝3。对多维时序升维的方式如下面示例所示：
分别对时序特征矩阵Y的每一维的时序特征进行3-shingling操作，例如，对
Figure BDA0002306106490000073
进行升维操作后变为：
Figure BDA0002306106490000074
然后将所有维度3-shingling的升维序列垂直拼接后形成Y3-shingling：
Figure BDA0002306106490000075
然后，使用升维后的历史时序特征训练rrcf(Robust Random Cut Forest)模型，得到攻击检测模型；
需要说明的是，根据实际需求设置rrcf模型中的rrct的数目和每棵rrct的节点数；本实施例中，优选地将rrcf模型中rrct的数目设置为40，每棵rrct的节点数设置为256。
然后，使用之前k-1个历史时序特征(多维特征点)对当前时序特征进行升维操作；
具体的，假设当前时序特征为
Figure BDA0002306106490000076
即，当前时间对应的第t个预设时间窗口的多维特征点为
Figure BDA0002306106490000077
当k＝3时，将时间点t处的多维特征点进行升维后，该当前时序特征(多维特征点)为：
Figure BDA0002306106490000078
再将升维后的当前时序特征插入到训练好的攻击检测模型中的每一棵rrct(Robust Random Cut Tree)中，计算升维后的当前时序特征在攻击检测模型中的得分，并对攻击检测模型中的每一棵rrct进行更新。
其中，对每一棵rrct的更新方式为：若当前rrct中的节点数超过了256，则从每一棵rrct中删除第(t-256)个预设时间窗口对应的节点。
在利用当前时序特征更新攻击检测模型之后，判断当前时序特征在攻击检测模型中的得分是否超过预设阈值，若超过预设阈值，则将当前时序特征判定为异常时序特征，异常时序特征对应的预设时间窗口为异常时间点，从而确定出团伙攻击时间。在本实施例中，可以将预设阈值设置为rrct节点数的60％。
本发明实施例提供的一种检测对Web站点团伙攻击的方法，通过获取Web站点的Web审计日志，根据Web审计日志以及预设时间窗口获取时序特征；利用时序特征中的历史时序特征训练出攻击检测模型，并利用当前时序特征更新攻击检测模型；若当前时序特征在攻击检测模型中的得分超过预设阈值，将当前时序特征判定为异常时序特征，确定出团伙攻击时间。因此，基于Web审计日志以及预设时间窗口确定出的时序特征，能够同时关注多种具有团伙攻击特性的攻击类型，通过对多维时间序列进行实时检测，能够根据当前时序特征及时准确地确定出异常时序特征，从而确定出Web站点被团伙攻击的时间点，及时确定出对Web站点的团伙攻击的团伙攻击时间。
图2为本发明实施例提供的另一种检测对Web站点的团伙攻击的方法的流程图，如图2所示，在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，在确定出团伙攻击时间之后，进一步包括：
S40：根据团伙攻击时间和预设时间长度追溯得出对应的历史Web审计日志；
S50：获取历史Web审计日志中每个IP的实体特征；
具体的，若当前时序特征被检测为异常时序特征，则将当前时序特征对应的当前时间之前的预设时间长度的审计日志作为关注的数据，对其中出现的每个IP(访问实体)构建对应的实体特征；预设时间长度如6h，那么对应获取6h之前至当前时间范围内的历史Web审计日志。具体的，获取每个IP的特征信息如下：
(1)请求总次数；
(2)动态页面请求占比；
其中，Url包含以下特定后缀的视为动态页面：php/php3/php4/php5/phtml/pht/asp/aspx/ashx/asa/asax/jsp/jspx/cer/cdx/cs/py/exe，动态页面请求占比的计算方法为：该IP(访问实体)请求动态页面次数/请求总次数；
(3)访问请求次数最多的Url的次数；
(4)访问时间覆盖率；
预设时间长度内的访问时间覆盖率；例如，在本实施例当中，预设时间长度为6h，使用分钟为单位，计算6h内访问时间覆盖率为：访问覆盖的分钟数/(6*60)；
(5)没有referrer的访问次数；
请求头中不包含referrer字段或者该字段为空的请求个数；
(6)非常见端口访问次数；
其中，HTTP协议代理服务器常用端口号有：80/8080/3128/8081/9080，除了这些端口之外的端口都视为非常见端口；
(7)访问Url的去重个数；
即，IP(访问实体)访问的不同的Url的个数；
(8)GET和POST请求次数比；
请求方法为POST的请求次数与请求方法为GET的请求次数的比值；
(9)UrlQuery或者请求体中包含特殊字符请求的比例；
其中，UrlQuery或请求体中包含“＠”、“#”、“<”、“>”、“＇”等字符视为该请求包含特殊字符；
(10)访问Url路径深度和路径宽度之比；
Url的路径深度为Url目录深度，路径宽度设置为访问的Url中一级目录的去重个数，则访问Url路径深度和路径宽度之比定义为：该实体访问Url的最大深度/该实体访问Url的路径宽度；例如，假设某IP(访问实体)访问Url的集合为{http://www.xx.com:/yy/index.asp？boardID＝5&ID＝24618&page＝1#name,http://www.xx.com:/yy/index.asp？boardID＝5&ID＝24617&page＝2#name,http://www.xx.com:/zz/kk/1529.html}，则该实体访问Url的最大深度为3，路径宽度为2，比值为3/2＝1.5。
通过获取每个IP(访问实体)的上述特征信息，为每个IP(访问实体)对应构建一个10维的特征向量，作为该IP(访问实体)的实体特征。
S60：根据各实体特征对各IP进行聚类；
S70：根据聚类结果确定出异常的聚类簇，确定出攻击团伙对应的IP。
然后，对IP(访问实体)的特征向量进行标准化，再根据各实体特征对各IP进行聚类。作为优选的实施方式，本实施例使用z-score标准化方法对IP(访问实体)的特征向量进行标准化操作。在对各IP进行聚类之后，得到对应的聚类簇，聚类簇中的各IP的特征是相似的。然后，根据聚类结果以及预设的判定聚类簇异常的方式确定出异常的聚类簇，异常的聚类簇则表示该聚类簇内的访问实体为团伙攻击对应的IP。
可见，本实施例进一步考虑到现有技术中，在确定出团伙攻击时，无法完整准确地确定出团伙攻击中的各IP时，存在大量的漏报的情况；而本实施例的方法，通过对每个IP(访问实体)在团伙攻击时间附近的行为进行实体特征构建并进行聚类，实现对攻击团伙全体的定位，减少漏报。
作为优选的实施方式，根据聚类结果确定出异常的聚类簇，确定出攻击团伙对应的IP的过程，具体包括：
结合策略规则和开源情报，找出聚类簇中异常IP数量最多的N个目标聚类簇；
分别计算各目标聚类簇的簇内IP相似度和策略规则告警相似度；
若根据簇内IP相似度和策略规则告警相似度计算出的告警值超过预设告警阈值，则判定对应的目标聚类簇为攻击团伙。
具体的，本实施例中，首先需要获取策略规则和开源情报，策略规则即利用正则表达式等规则确定出异常IP的策略；开源情报即已经公开的确定出的异常IP的信息；然后结合策略规则和开源情报，确定出各聚类簇中的异常IP，进而确定出异常IP数量最多的N个目标聚类簇。需要说明的是，在实际操作中，为了避免确定出目标聚类簇的误差，一般要求各聚类簇中的IP(访问实体)的总数大于20个。
然后，分别计算各目标聚类簇的簇内IP相似度ai和策略规则告警相似度bi。
其中，目标聚类簇的簇内IP相似度的计算方法为：
步骤11：将目标聚类簇内的各IP的IP地址补零并转化为字符串形式，即，得出IP字符串；例如，将IP地址165.225.36.69转化为“165225036069”。
步骤12：计算簇内各IP对应的IP字符串两两之间的Levenshtein Distance(编辑距离)；
步骤13：若某个IP对应的IP字符串与同簇内50％以上其他IP字符串相似程度超过0.75，则将该IP放入相似IP集合内；
步骤14：计算簇内IP相似度ai＝相似IP集合中的IP个数/簇内IP总数。
其中，策略规则告警相似度bi的计算方法为：
步骤21：根据簇内出现的所有团伙攻击类型以及各访问实体所对应的团伙攻击类型，对各IP(访问实体)的攻击进行独热编码(One-Hot编码)，例如，假设簇内一共有ABCD四种团伙攻击类型，某个IP出现的团伙攻击有ABC三种，则该IP对应的编码为1110；
步骤22：将各IP对应的独热编码转化为编码字符串，并计算簇内各IP对应的编码字符串之间的Levenshtein Distance(编辑距离)；
步骤23：若某个IP对应的编码字符串与同簇内50％以上其他编码字符串相似程度超过0.75，则将该IP放入相似IP集合内；
步骤24：计算簇内策略规则告警相似度bi＝相似IP集合中的IP个数/簇内IP总数。
具体的，在计算出各目标聚类簇的簇内IP相似度ai和策略规则告警相似度bi之后，根据预设计算规则计算告警值，例如，根据c1*ai+c2*bi计算告警值，其中，c1和c2分别表示权重；在本实施例当中，c1取值为0.5，c2取值为0.5，预设告警阈值设定为0.6；通过c1*ai+c2*bi计算出实际的告警值，再判断告警值是否超过预设告警阈值，若超过，则判定该目标聚类簇内的IP为同一攻击团伙对应的IP。
可见，本实施例通过搭配策略规则和开源情报确定出异常IP，并通过分别计算各目标聚类簇的簇内IP相似度和策略规则告警相似度；再根据IP相似度和策略规则告警相似度计算出告警值，并根据告警值和预设告警阈值，判定对应的目标聚类簇是否为攻击团伙，能够更加精准地确定出团伙攻击对应的IP。
作为优选的实施方式，根据各实体特征对各IP进行聚类的过程，具体为：
根据各实体特征，利用DBSCAN算法对各IP进行聚类。
需要说明的是，DBSCAN是基于密度空间的聚类算法，在机器学习和数据挖掘领域有广泛的应用，其聚类原理是每个簇类的密度高于该簇类周围的密度，噪声的密度小于任一簇类的密度。并且，利用DBSCAN算法进行聚类有如下优点：1)DBSCAN不需要指定聚类簇的数量；2)DBSCAN可以处理任意形状的簇类；3)DBSCAN可以检测数据集的噪声，且对数据集中的异常点不敏感；4)DBSCAN结果对数据集样本的随机抽样顺序不敏感，避免IP顺序不一样导致聚类结果不一样的问题。
因此，利用DBSCAN算法对各IP进行聚类，得出聚类簇，能够更加准确。
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，在确定出告警值超过预设告警阈值之后，进一步包括：
发出对应的提示信息。
在本实施例中，是在确定出告警值超过预设告警阈值之后，也即能够判定出目标聚类簇中的异常的聚类簇，从而确定出攻击团伙对应的IP之后，发出对应的提示信息，以提示用户及时知晓当前的检测结果，以便采取对应的应对措施，以避免团伙攻击对Web站点造成严重的影响。需要说明的是，发出提示信息的方式可以是触发预设的提示装置发出对应的提示信息，提示装置如蜂鸣器和/或指示灯；能够简便直观地发出提示信息。
可见，本实施例通过进一步在确定出告警值超过预设告警阈值之后，发出对应的提示信息，能够进一步提升用户的使用体验。
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，在若根据IP相似度和策略规则告警相似度计算出的告警值超过预设告警阈值，则判定对应的目标聚类簇为攻击团伙之后，进一步包括：
对确定为攻击团伙中的各IP进行封禁。
在本实施例中，是在确定出为攻击团伙的目标聚类簇之后，进一步对该目标聚类簇中的各IP进行封禁，即禁止该攻击团伙中的IP访问Web站点。
可见，本实施例通过对确定为攻击团伙中的各IP进行封禁，及时阻止团伙攻击，从而能够避免进行团伙攻击的各IP对Web站点造成影响，
上文对于本发明提供的一种检测对Web站点的团伙攻击的方法的实施例进行了详细的描述，本发明还提供了一种与该方法对应的检测对Web站点的团伙攻击的装置及计算机可读存储介质，由于装置及计算机可读存储介质部分的实施例与方法部分的实施例相互照应，因此装置及计算机可读存储介质部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
图3为本发明实施例提供的一种检测对Web站点的团伙攻击的装置的结构图，如图3所示，一种检测对Web站点的团伙攻击的装置包括：
获取模块31，用于获取Web站点的Web审计日志，根据Web审计日志以及预设时间窗口获取时序特征；
设置模块32，用于利用时序特征中的历史时序特征训练出攻击检测模型，并利用当前时序特征更新攻击检测模型；
确定模块33，用于若当前时序特征在攻击检测模型中的得分超过预设阈值，将当前时序特征判定为异常时序特征，确定出团伙攻击时间。
本发明实施例提供的检测对Web站点的团伙攻击的装置，具有上述检测对Web站点的团伙攻击的方法的有益效果。
作为优选的实施方式，进一步包括：
第一获取模块，用于根据团伙攻击时间和预设时间长度追溯得出对应的历史Web审计日志；
第二获取模块，用于获取历史Web审计日志中每个IP的实体特征；
IP聚类模块，用于根据各实体特征对各IP进行聚类；
团伙确定模块，用于根据聚类结果确定出异常的聚类簇，确定出攻击团伙对应的IP。
作为优选的实施方式，进一步包括：
提示模块，用于发出对应的提示信息。
作为优选的实施方式，进一步包括：
封禁模块，用于对确定为攻击团伙中的各IP进行封禁。
图4为本发明实施例提供的另一种检测对Web站点的团伙攻击的装置的结构图，如图4所示，一种检测对Web站点的团伙攻击的装置包括：
存储器41，用于存储计算机程序；
处理器42，用于执行计算机程序时实现如上述检测对Web站点的团伙攻击的方法的步骤。
本发明实施例提供的一种检测对Web站点的团伙攻击的装置，具有上述检测对Web站点的团伙攻击的方法的有益效果。
为解决上述技术问题，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述检测对Web站点的团伙攻击的方法的步骤。
本发明实施例提供的计算机可读存储介质，具有上述检测对Web站点的团伙攻击的方法的有益效果。
以上对本发明所提供的检测对Web站点的团伙攻击的方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims (7)

1.一种检测对Web站点的团伙攻击的方法，其特征在于，包括：
获取Web站点的Web审计日志，根据所述Web审计日志以及预设时间窗口获取时序特征；
利用所述时序特征中的历史时序特征训练出攻击检测模型，并利用当前时序特征更新所述攻击检测模型；其中，所述攻击检测模型为rrcf模型；
若所述当前时序特征在所述攻击检测模型中的得分超过预设阈值，将所述当前时序特征判定为异常时序特征，确定出团伙攻击时间；在确定出所述团伙攻击时间之后，进一步包括：
根据所述团伙攻击时间和预设时间长度追溯得出对应的历史Web审计日志；
获取所述历史Web审计日志中每个IP的实体特征；
根据各所述实体特征对各所述IP进行聚类；
根据聚类结果确定出异常的聚类簇，确定出攻击团伙对应的IP；
所述根据聚类结果确定出异常的聚类簇，确定出攻击团伙对应的IP的过程，具体包括：
结合策略规则和开源情报，找出所述聚类簇中异常IP数量最多的N个目标聚类簇；
分别计算各所述目标聚类簇的簇内IP相似度和策略规则告警相似度；
若根据所述簇内IP相似度和所述策略规则告警相似度计算出的告警值超过预设告警阈值，则判定对应的目标聚类簇为攻击团伙；
其中，目标聚类簇的簇内IP相似度的计算方法为：
步骤11：将目标聚类簇内的各IP的IP地址补零并转化为字符串形式以得出IP字符串；
步骤12：计算簇内各IP对应的IP字符串两两之间的编辑距离；
步骤13：若其中一个IP对应的IP字符串与同簇内50％以上其他IP字符串相似程度超过0.75，则将该IP放入相似IP集合内；
步骤14：计算簇内IP相似度ai＝相似IP集合中的IP个数/簇内IP总数；
其中，策略规则告警相似度bi的计算方法为：
步骤21：根据簇内出现的所有团伙攻击类型以及各访问实体所对应的团伙攻击类型，对各IP访问实体的攻击进行独热编码；
步骤22：将各IP对应的独热编码转化为编码字符串，并计算簇内各IP对应的编码字符串之间的编辑距离；
步骤23：若某个IP对应的编码字符串与同簇内50％以上其他编码字符串相似程度超过0.75，则将该IP放入相似IP集合内；
步骤24：计算簇内策略规则告警相似度bi＝相似IP集合中的IP个数/簇内IP总数。
2.根据权利要求1所述的方法，其特征在于，所述根据各所述实体特征对各所述IP进行聚类的过程，具体为：
根据各所述实体特征，利用DBSCAN算法对各所述IP进行聚类。
3.根据权利要求1所述的方法，其特征在于，在确定出所述告警值超过所述预设告警阈值之后，进一步包括：
发出对应的提示信息。
4.根据权利要求1所述的方法，其特征在于，在所述若根据所述簇内IP相似度和所述策略规则告警相似度计算出的告警值超过预设告警阈值，则判定对应的目标聚类簇为攻击团伙之后，进一步包括：
对确定为所述攻击团伙中的各IP进行封禁。
5.一种检测对Web站点的团伙攻击的装置，其特征在于，包括：
获取模块，用于获取Web站点的Web审计日志，根据所述Web审计日志以及预设时间窗口获取时序特征；
设置模块，用于利用所述时序特征中的历史时序特征训练出攻击检测模型，并利用当前时序特征更新所述攻击检测模型；其中，所述攻击检测模型为rrcf模型；
确定模块，用于若所述当前时序特征在所述攻击检测模型中的得分超过预设阈值，将所述当前时序特征判定为异常时序特征，确定出团伙攻击时间；
在确定出所述团伙攻击时间之后，进一步包括：
根据所述团伙攻击时间和预设时间长度追溯得出对应的历史Web审计日志；
获取所述历史Web审计日志中每个IP的实体特征；
根据各所述实体特征对各所述IP进行聚类；
根据聚类结果确定出异常的聚类簇，确定出攻击团伙对应的IP；
所述根据聚类结果确定出异常的聚类簇，确定出攻击团伙对应的IP的过程，具体包括：
结合策略规则和开源情报，找出所述聚类簇中异常IP数量最多的N个目标聚类簇；
分别计算各所述目标聚类簇的簇内IP相似度和策略规则告警相似度；
若根据所述簇内IP相似度和所述策略规则告警相似度计算出的告警值超过预设告警阈值，则判定对应的目标聚类簇为攻击团伙；
其中，目标聚类簇的簇内IP相似度的计算方法为：
步骤11：将目标聚类簇内的各IP的IP地址补零并转化为字符串形式以得出IP字符串；
步骤12：计算簇内各IP对应的IP字符串两两之间的编辑距离；
步骤13：若其中一个IP对应的IP字符串与同簇内50％以上其他IP字符串相似程度超过0.75，则将该IP放入相似IP集合内；
步骤14：计算簇内IP相似度ai＝相似IP集合中的IP个数/簇内IP总数；
其中，策略规则告警相似度bi的计算方法为：
步骤21：根据簇内出现的所有团伙攻击类型以及各访问实体所对应的团伙攻击类型，对各IP访问实体的攻击进行独热编码；
步骤22：将各IP对应的独热编码转化为编码字符串，并计算簇内各IP对应的编码字符串之间的编辑距离；
步骤23：若某个IP对应的编码字符串与同簇内50％以上其他编码字符串相似程度超过0.75，则将该IP放入相似IP集合内；
步骤24：计算簇内策略规则告警相似度bi＝相似IP集合中的IP个数/簇内IP总数。
6.一种检测对Web站点的团伙攻击的装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的检测对Web站点的团伙攻击的方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的检测对Web站点的团伙攻击的方法的步骤。
CN201911240585.3A 2019-12-06 2019-12-06 一种检测对Web站点的团伙攻击的方法、装置及介质 Active CN110995714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911240585.3A CN110995714B (zh) 2019-12-06 2019-12-06 一种检测对Web站点的团伙攻击的方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911240585.3A CN110995714B (zh) 2019-12-06 2019-12-06 一种检测对Web站点的团伙攻击的方法、装置及介质

Publications (2)

Publication Number Publication Date
CN110995714A CN110995714A (zh) 2020-04-10
CN110995714B true CN110995714B (zh) 2022-07-26

Family

ID=70090678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911240585.3A Active CN110995714B (zh) 2019-12-06 2019-12-06 一种检测对Web站点的团伙攻击的方法、装置及介质

Country Status (1)

Country Link
CN (1) CN110995714B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914905B (zh) * 2020-07-09 2021-07-20 北京人人云图信息技术有限公司 一种基于半监督的反爬虫系统及设计方法
CN111800430B (zh) * 2020-07-10 2022-06-17 南方电网科学研究院有限责任公司 一种攻击团伙识别方法、装置、设备及介质
WO2022047658A1 (zh) * 2020-09-02 2022-03-10 大连大学 日志异常检测系统
CN112333168B (zh) * 2020-10-27 2023-03-24 杭州安恒信息技术股份有限公司 一种攻击识别方法、装置、设备及计算机可读存储介质
CN112685950B (zh) * 2020-12-02 2022-05-20 山东省计算中心（国家超级计算济南中心） 一种海洋时序观测数据的异常检测方法、系统和设备
CN112804374B (zh) * 2021-01-06 2023-11-03 光通天下网络科技股份有限公司 威胁ip识别方法、装置、设备及介质
CN112950357B (zh) * 2021-03-22 2024-03-15 工银科技有限公司 交易异常团伙识别方法及装置
CN114389857B (zh) * 2021-12-24 2024-04-05 国家计算机网络与信息安全管理中心 基于核心攻击资源的网络攻击团伙融合方法
CN115150130B (zh) * 2022-06-08 2023-11-10 北京天融信网络安全技术有限公司 攻击团伙的跟踪分析方法、装置、设备及存储介质
CN116506195B (zh) * 2023-05-09 2023-10-27 山东云天安全技术有限公司 一种webshell文件检测方法、电子设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104756438A (zh) * 2012-08-22 2015-07-01 国际商业机器公司 用于基于ip声誉安全的协作入侵检测生态系统
CN106375331A (zh) * 2016-09-23 2017-02-01 北京网康科技有限公司 一种攻击组织的挖掘方法及装置
CN106506242A (zh) * 2016-12-14 2017-03-15 北京东方棱镜科技有限公司 一种网络异常行为和流量监测的精确定位方法与系统
CN107248996A (zh) * 2017-06-29 2017-10-13 南京邮电大学 一种dns放大攻击的检测与过滤方法
CN108234472A (zh) * 2017-12-28 2018-06-29 北京百度网讯科技有限公司 挑战黑洞攻击的检测方法及装置、计算机设备及可读介质
CN109257390A (zh) * 2018-11-27 2019-01-22 杭州安恒信息技术股份有限公司 Cc攻击的检测方法、装置及电子设备
CN110460458A (zh) * 2019-04-15 2019-11-15 清华大学深圳研究生院 基于多阶马尔科夫链的流量异常检测方法
CN110519266A (zh) * 2019-08-27 2019-11-29 四川长虹电器股份有限公司 一种基于统计学方法的cc攻击检测的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107800684B (zh) * 2017-09-20 2018-09-18 贵州白山云科技有限公司 一种低频爬虫识别方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104756438A (zh) * 2012-08-22 2015-07-01 国际商业机器公司 用于基于ip声誉安全的协作入侵检测生态系统
CN106375331A (zh) * 2016-09-23 2017-02-01 北京网康科技有限公司 一种攻击组织的挖掘方法及装置
CN106506242A (zh) * 2016-12-14 2017-03-15 北京东方棱镜科技有限公司 一种网络异常行为和流量监测的精确定位方法与系统
CN107248996A (zh) * 2017-06-29 2017-10-13 南京邮电大学 一种dns放大攻击的检测与过滤方法
CN108234472A (zh) * 2017-12-28 2018-06-29 北京百度网讯科技有限公司 挑战黑洞攻击的检测方法及装置、计算机设备及可读介质
CN109257390A (zh) * 2018-11-27 2019-01-22 杭州安恒信息技术股份有限公司 Cc攻击的检测方法、装置及电子设备
CN110460458A (zh) * 2019-04-15 2019-11-15 清华大学深圳研究生院 基于多阶马尔科夫链的流量异常检测方法
CN110519266A (zh) * 2019-08-27 2019-11-29 四川长虹电器股份有限公司 一种基于统计学方法的cc攻击检测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Robust Random Cut Forest Based Anomaly Detection On Streams;Sudipto Guha et al.;《International Conference on International Conference on Machine Learning》;20160619;第1-5节 *

Also Published As

Publication number Publication date
CN110995714A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110995714B (zh) 一种检测对Web站点的团伙攻击的方法、装置及介质
CN111600919B (zh) 智能网络应用防护系统模型的构建方法和装置
CN107579956B (zh) 一种用户行为的检测方法和装置
KR100894331B1 (ko) 웹 로그 상호연관분석을 이용한 웹 애플리케이션 공격의침입 탐지 시스템 및 방법
US20110066585A1 (en) Extracting information from unstructured data and mapping the information to a structured schema using the naïve bayesian probability model
CN111835777B (zh) 一种异常流量检测方法、装置、设备及介质
US10873618B1 (en) System and method to dynamically generate a set of API endpoints
US20180139222A1 (en) Method and device for detecting website attack
CN110650117B (zh) 跨站攻击防护方法、装置、设备及存储介质
CN109660515B (zh) 攻击链检测方法及装置
CN110300127A (zh) 一种基于深度学习的网络入侵检测方法、装置以及设备
CN110602021A (zh) 一种基于http请求行为与业务流程相结合的安全风险值评估方法
CN102833269B (zh) 跨站攻击的检测方法、装置和具有该装置的防火墙
CN114915479B (zh) 一种基于Web日志的Web攻击阶段分析方法及系统
CN108924084A (zh) 一种网络设备安全评估方法及装置
CN108683685A (zh) 一种针对xss攻击的云安全cdn系统及监测方法
CN112468347A (zh) 一种云平台的安全管理方法、装置、电子设备及存储介质
CN112749097B (zh) 一种模糊测试工具性能测评方法、装置
CN115580494B (zh) 一种弱口令的检测方法、装置和设备
CN107231383B (zh) Cc攻击的检测方法及装置
CN111835681A (zh) 一种大规模流量异常主机检测方法和装置
CN114679335B (zh) 电力监控系统网络安全风险评估训练方法、评估方法及设备
CN114205146A (zh) 一种多源异构安全日志的处理方法及装置
CN107463845A (zh) 一种sql注入攻击的检测方法、系统和计算机处理设备
CN113032774A (zh) 异常检测模型的训练方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant