CN108683670B - 基于网站应用系统访问的恶意流量识别方法及系统 - Google Patents

Abstract

本申请提供一种基于网站应用系统访问的恶意流量识别方法及系统，其中，所述方法包括：获取网站访问流量中的指定数据，所述指定数据包括GET数据和/或POST数据；对获取到的所述指定数据进行模式适配分析，以识别所述指定数据中的元素；基于识别出的所述元素，计算所述指定数据对应的模式权值；其中，各阶段的权值基于标准集库内数据之间的距离确定；根据计算的模式权值，设置阈值区间，所述阈值区间包括恶意阈值区间、待测阈值区间以及正常阈值区间；动态学习标准集和对应的阈值区间，以对所述标准集和阈值区间进行校正，并通过校正后的结果识别恶意流量。本申请提供的技术方案，能够提高恶意流量识别的正确率。

Description

基于网站应用系统访问的恶意流量识别方法及系统

技术领域

本发明涉及互联网技术领域，特别涉及一种基于网站应用系统访问的恶意流量识别方法及系统。

背景技术

随着网络技术的快速发展以及网络规模的急剧膨胀，网络中的安全漏洞被攻击者越来越多的利用以攻击网络中的主机。网络攻击中常见的是一种基于页面的分布式拒绝服务攻击(Distributed Denial of Service，DDoS)。攻击者通常可以不断向目标服务器发送消耗目标服务器性能的请求报文，导致目标服务器不断执行大量的计算或操作，耗费大量资源。当目标服务器执行的计算或操作达到自身CPU的处理极限时，将导致正常的访问被终止处理，甚至宕机。

针对上述情况，现有的识别恶意流量的方式可以通过跳转检测来实现。在该方法中，一般会在目标服务器之前添加一个跳转检测设备以检测发送至所述目标服务器的报文。该跳转检测设备可以在目标服务器接收到请求报文之前，代替目标服务器向请求端发送一个验证报文。攻击请求端往往不会对返回的验证报文做出响应，而是继续向目标服务器发起新的访问请求。检测设备接收不到攻击请求端发来的确认信息，则不会放行攻击请求端对目标服务器的访问请求。然而，攻击者可以通过肉鸡或者代理服务器向目标服务器发起攻击。肉鸡或者代理服务器可以对跳转检测设备返回的验证报文进行响应，比如再次向目标服务器发送携带只有跳转检测设备知晓的密钥的确认信息，这样便可以穿透上述现有技术的识别恶意流量的方式。

发明内容

本申请的目的在于提供一种基于网站应用系统访问的恶意流量识别方法及系统，能够提高恶意流量识别的正确率。

本申请提供一种基于网站应用系统访问的恶意流量识别方法，所述方法包括：获取网站访问流量中的指定数据，所述指定数据包括GET数据和/或POST数据；对获取到的所述指定数据进行模式适配分析，以识别所述指定数据中的元素；基于识别出的所述元素，计算所述指定数据对应的模式权值；其中，各阶段的权值基于标准集库内数据之间的距离确定；根据计算的模式权值，设置阈值区间，所述阈值区间包括恶意阈值区间、待测阈值区间以及正常阈值区间；动态学习标准集和对应的阈值区间，以对所述标准集和阈值区间进行校正，并通过校正后的结果识别恶意流量。

进一步地，对获取到的所述指定数据进行模式适配分析包括：对所述指定数据进行段式分割，得到多个段式数据；在同一个段式数据内进行样式分割，得到所述段式数据对应的样式数据；在样式数据中进行元素识别，得到所述指定数据中的元素。

进一步地，计算所述指定数据对应的模式权值包括：确定所述指定数据中各个元素与标准元素之间的距离，并计算确定出的距离的均值；根据计算的所述均值确定所述指定数据的模式权值，其中，所述均值与所述模式权值成反比。

进一步地，动态学习标准集和对应的阈值区间包括：确定所述标准集的真实区间，并将所述标准集中的数据输入深度学习网络，得到所述标准集对应的判别区间；计算所述真实区间与所述判别区间之间的差异值，并根据所述差异值对所述标准集中的数据进行调整，以使得将调整后的标准集中的数据输入所述深度学习网络后，再次得到的判别区间与所述真实区间一致；根据调整后的标准集重新确定阈值区间。

进一步地，通过校正后的结果识别恶意流量包括：获取待检测的目标数据，并对所述目标数据进行模式适配分析，以识别所述目标数据中的元素；基于识别出的所述元素，计算所述目标数据对应的目标模式权值；确定所述目标模式权值对应的目标阈值区间，当所述目标阈值区间包含于所述恶意阈值区间内时，判定所述目标数据为恶意流量数据。

本申请还提供一种基于网站应用系统访问的恶意流量识别系统，所述系统包括：指定数据获取单元，用于获取网站访问流量中的指定数据，所述指定数据包括GET数据和/或POST数据；适配分析单元，用于对获取到的所述指定数据进行模式适配分析，以识别所述指定数据中的元素；模式权值计算单元，用于基于识别出的所述元素，计算所述指定数据对应的模式权值；其中，各阶段的权值基于标准集库内数据之间的距离确定；阈值区间设置单元，用于根据计算的模式权值，设置阈值区间，所述阈值区间包括恶意阈值区间、待测阈值区间以及正常阈值区间；校正单元，用于动态学习标准集和对应的阈值区间，以对所述标准集和阈值区间进行校正，并通过校正后的结果识别恶意流量。

进一步地，所述适配分析单元包括：段式分割模块，用于对所述指定数据进行段式分割，得到多个段式数据；样式分割模块，用于在同一个段式数据内进行样式分割，得到所述段式数据对应的样式数据；元素识别模块，用于在样式数据中进行元素识别，得到所述指定数据中的元素。

进一步地，所述模式权值计算单元包括：距离确定模块，用于确定所述指定数据中各个元素与标准元素之间的距离，并计算确定出的距离的均值；权值确定模块，用于根据计算的所述均值确定所述指定数据的模式权值，其中，所述均值与所述模式权值成反比。

进一步地，所述校正单元包括：预测模块，用于确定所述标准集的真实区间，并将所述标准集中的数据输入深度学习网络，得到所述标准集对应的判别区间；调整模块，用于计算所述真实区间与所述判别区间之间的差异值，并根据所述差异值对所述标准集中的数据进行调整，以使得将调整后的标准集中的数据输入所述深度学习网络后，再次得到的判别区间与所述真实区间一致；区间重置模块，用于根据调整后的标准集重新确定阈值区间。

进一步地，所述校正单元包括：目标数据获取模块，用于获取待检测的目标数据，并对所述目标数据进行模式适配分析，以识别所述目标数据中的元素；目标权值计算模块，用于基于识别出的所述元素，计算所述目标数据对应的目标模式权值；判定模块，用于确定所述目标模式权值对应的目标阈值区间，当所述目标阈值区间包含于所述恶意阈值区间内时，判定所述目标数据为恶意流量数据。

由上可见，在本申请中，可以通过机器学习以及自动校正的方式，对服务器接收到的各种流量数据进行分类，从而可以精确地识别恶意流量数据。具体地，可以对获取到的数据进行模式适配分析，从而得到数据中包含的元素。通过这些元素，可以计算得到数据的模式权重，该模式权重可以基于不同流量的标准集中数据之间的距离来确定。计算出的模式权重可以与阈值区间相对应，其中，阈值区间可以划分为恶意阈值区间、待测阈值区间以及正常阈值区间，这些阈值区间从而可以用于判定待检测的流量是否属于恶意流量。此外，还可以动态地对划分得到的标准集以及对应的阈值区间进行校正，使得对恶意流量的检测效果更加精确。由上可见，本申请提供的技术方案，能够提高恶意流量识别的正确率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中基于网站应用系统访问的恶意流量识别方法的流程图；

图2为本发明实施例中基于网站应用系统访问的恶意流量识别系统构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

请参阅图1，本申请提供一种基于网站应用系统访问的恶意流量识别方法，所述方法包括：

S1：站访问流量中的指定数据，所述指定数据包括GET数据和/或POST数据；

S2：到的所述指定数据进行模式适配分析，以识别所述指定数据中的元素；

S3：别出的所述元素，计算所述指定数据对应的模式权值；其中，各阶段的权值基于标准集库内数据之间的距离确定；

S4：算的模式权值，设置阈值区间，所述阈值区间包括恶意阈值区间、待测阈值区间以及正常阈值区间；

S5：习标准集和对应的阈值区间，以对所述标准集和阈值区间进行校正，并通过校正后的结果识别恶意流量。

在本实施方式中，可以从应用层获取到提交至服务器的各种数据。考虑到攻击者通常会采用比较简单的方式频繁地对服务器发起攻击，因此可以获取大量数据中的GET数据和/或POST数据。

在获取到指定数据之后，可以对指定数据进行模式适配分析，模式适配分析的目的在于从指定数据中识别出包含的元素。具体地，在进行模式适配分析时，可以先对所述指定数据进行段式分割，得到多个段式数据。在进行段式分割时，可以识别所述指定数据中的各个字段，每个字段通常具备各自的字段标识，这样，通过对字段标识进行识别，从而可以将指定数据划分为多个段式数据。在划分得到段式数据之后，还可以在同一个段式数据内进行样式分割，得到所述段式数据对应的样式数据。同一个段式数据中的数据可以按照不同的样式进行展示，那么在进行样式分割时，可以将属于同一个样式的数据划分为一个样式数据。最终，可以在样式数据中进行元素识别，从而得到所述指定数据中的元素。所述元素例如可以是特定的字符或者符号。

在本实施方式中，不同的数据可以归类于不同的标准集，各个标准集从而可以形成标准集库。在标准集中，数据可以通过向量来表示，那么数据与数据之间的距离便可以通过两个向量之间的距离来表示。这样，在识别出所述元素之后，可以确定所述指定数据中各个元素与标准元素之间的距离。所述标准元素例如可以是所述指定数据所属的标准集中的中心元素。在确定出各个元素与标准元素之间的距离之后，可以计算确定出的距离的均值。这样，根据计算的所述均值便可以确定所述指定数据的模式权值，其中，所述均值与所述模式权值成反比。例如，所述模式权值可以是所述均值的倒数。

在本实施方式中，在将数据划分至标准集并确定了模式权值之后，可以按照模式权值的大小划分多个阈值区间。其中，所述阈值区间可以划分为恶意阈值区间、待测阈值区间以及正常阈值区间。这样，便可以建立标准集与阈值区间之间的关联关系。在实际应用中，可以确定所述标准集的真实区间，并将所述标准集中的数据输入深度学习网络，得到所述标准集对应的判别区间。当所述判别区间与真实区间不一致时，表明标准集中的数据可能并没有正确聚类。此时，可以计算所述真实区间与所述判别区间之间的差异值，并根据所述差异值对所述标准集中的数据进行调整，以使得将调整后的标准集中的数据输入所述深度学习网络后，再次得到的判别区间与所述真实区间一致。这样，调整后的标准集便具备较高的精度，从而可以根据调整后的标准集重新确定阈值区间。

在本实施方式中，利用调整后的标准集与阈值区间之间的对应关系，从而可以对需要检测的数据进行识别。具体地，可以获取待检测的目标数据，并对所述目标数据进行模式适配分析，以识别所述目标数据中的元素。然后可以基于识别出的所述元素，计算所述目标数据对应的目标模式权值。这两个步骤的具体实现方式均与上述描述一致。最终，可以确定所述目标模式权值对应的目标阈值区间，当所述目标阈值区间包含于所述恶意阈值区间内时，判定所述目标数据为恶意流量数据。

请参阅图2，本申请还提供一种基于网站应用系统访问的恶意流量识别系统，所述系统包括：

指定数据获取单元，用于获取网站访问流量中的指定数据，所述指定数据包括GET数据和/或POST数据；

适配分析单元，用于对获取到的所述指定数据进行模式适配分析，以识别所述指定数据中的元素；

模式权值计算单元，用于基于识别出的所述元素，计算所述指定数据对应的模式权值；其中，各阶段的权值基于标准集库内数据之间的距离确定；

阈值区间设置单元，用于根据计算的模式权值，设置阈值区间，所述阈值区间包括恶意阈值区间、待测阈值区间以及正常阈值区间；

校正单元，用于动态学习标准集和对应的阈值区间，以对所述标准集和阈值区间进行校正，并通过校正后的结果识别恶意流量。

在本实施方式中，所述适配分析单元包括：

段式分割模块，用于对所述指定数据进行段式分割，得到多个段式数据；

样式分割模块，用于在同一个段式数据内进行样式分割，得到所述段式数据对应的样式数据；

元素识别模块，用于在样式数据中进行元素识别，得到所述指定数据中的元素。

在本实施方式中，所述模式权值计算单元包括：

距离确定模块，用于确定所述指定数据中各个元素与标准元素之间的距离，并计算确定出的距离的均值；

权值确定模块，用于根据计算的所述均值确定所述指定数据的模式权值，其中，所述均值与所述模式权值成反比。

在本实施方式中，所述校正单元包括：

预测模块，用于确定所述标准集的真实区间，并将所述标准集中的数据输入深度学习网络，得到所述标准集对应的判别区间；

调整模块，用于计算所述真实区间与所述判别区间之间的差异值，并根据所述差异值对所述标准集中的数据进行调整，以使得将调整后的标准集中的数据输入所述深度学习网络后，再次得到的判别区间与所述真实区间一致；

区间重置模块，用于根据调整后的标准集重新确定阈值区间。

在本实施方式中，所述校正单元包括：

目标数据获取模块，用于获取待检测的目标数据，并对所述目标数据进行模式适配分析，以识别所述目标数据中的元素；

目标权值计算模块，用于基于识别出的所述元素，计算所述目标数据对应的目标模式权值；

判定模块，用于确定所述目标模式权值对应的目标阈值区间，当所述目标阈值区间包含于所述恶意阈值区间内时，判定所述目标数据为恶意流量数据。

由上可见，在本申请中，可以通过机器学习以及自动校正的方式，对服务器接收到的各种流量数据进行分类，从而可以精确地识别恶意流量数据。具体地，可以对获取到的数据进行模式适配分析，从而得到数据中包含的元素。通过这些元素，可以计算得到数据的模式权重，该模式权重可以基于不同流量的标准集中数据之间的距离来确定。计算出的模式权重可以与阈值区间相对应，其中，阈值区间可以划分为恶意阈值区间、待测阈值区间以及正常阈值区间，这些阈值区间从而可以用于判定待检测的流量是否属于恶意流量。此外，还可以动态地对划分得到的标准集以及对应的阈值区间进行校正，使得对恶意流量的检测效果更加精确。由上可见，本申请提供的技术方案，能够提高恶意流量识别的正确率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.基于网站应用系统访问的恶意流量识别方法，其特征在于，所述方法包括：

获取网站访问流量中的指定数据，所述指定数据包括GET数据和/或POST数据；

对获取到的所述指定数据进行模式适配分析，以识别所述指定数据中的元素；其中，所述对获取到的所述指定数据进行模式适配分析包括：对所述指定数据进行段式分割，得到多个段式数据；在同一个段式数据内进行样式分割，得到所述段式数据对应的样式数据；在样式数据中进行元素识别，得到所述指定数据中的元素；

基于识别出的所述元素，计算所述指定数据对应的模式权值；其中，所述计算所述指定数据对应的模式权值包括：确定所述指定数据中各个元素与标准元素之间的距离，并计算确定出的距离的均值；根据计算的所述均值确定所述指定数据的模式权值，其中，所述均值与所述模式权值成反比；

根据计算的模式权值，设置阈值区间，所述阈值区间包括恶意阈值区间、待测阈值区间以及正常阈值区间；

动态学习标准集和对应的阈值区间，以对所述标准集和阈值区间进行校正，并通过校正后的结果识别恶意流量；

其中，动态学习标准集和对应的阈值区间包括：

确定所述标准集的真实区间，并将所述标准集中的数据输入深度学习网络，得到所述标准集对应的判别区间；

计算所述真实区间与所述判别区间之间的差异值，并根据所述差异值对所述标准集中的数据进行调整，以使得将调整后的标准集中的数据输入所述深度学习网络后，再次得到的判别区间与所述真实区间一致；

根据调整后的标准集重新确定阈值区间。

2.根据权利要求1所述的方法，其特征在于，通过校正后的结果识别恶意流量包括：

获取待检测的目标数据，并对所述目标数据进行模式适配分析，以识别所述目标数据中的元素；

基于识别出的所述元素，计算所述目标数据对应的目标模式权值；

确定所述目标模式权值对应的目标阈值区间，当所述目标阈值区间包含于所述恶意阈值区间内时，判定所述目标数据为恶意流量数据。

3.基于网站应用系统访问的恶意流量识别系统，其特征在于，所述系统包括：

指定数据获取单元，用于获取网站访问流量中的指定数据，所述指定数据包括GET数据和/或POST数据；

适配分析单元，用于对获取到的所述指定数据进行模式适配分析，以识别所述指定数据中的元素；

模式权值计算单元，用于基于识别出的所述元素，计算所述指定数据对应的模式权值；

阈值区间设置单元，用于根据计算的模式权值，设置阈值区间，所述阈值区间包括恶意阈值区间、待测阈值区间以及正常阈值区间；

校正单元，用于动态学习标准集和对应的阈值区间，以对所述标准集和阈值区间进行校正，并通过校正后的结果识别恶意流量；

其中，所述适配分析单元包括：

段式分割模块，用于对所述指定数据进行段式分割，得到多个段式数据；

样式分割模块，用于在同一个段式数据内进行样式分割，得到所述段式数据对应的样式数据；

元素识别模块，用于在样式数据中进行元素识别，得到所述指定数据中的元素；

其中，所述模式权值计算单元包括：

距离确定模块，用于确定所述指定数据中各个元素与标准元素之间的距离，并计算确定出的距离的均值；

权值确定模块，用于根据计算的所述均值确定所述指定数据的模式权值，其中，所述均值与所述模式权值成反比；

其中，所述校正单元包括：

预测模块，用于确定所述标准集的真实区间，并将所述标准集中的数据输入深度学习网络，得到所述标准集对应的判别区间；

调整模块，用于计算所述真实区间与所述判别区间之间的差异值，并根据所述差异值对所述标准集中的数据进行调整，以使得将调整后的标准集中的数据输入所述深度学习网络后，再次得到的判别区间与所述真实区间一致；

区间重置模块，用于根据调整后的标准集重新确定阈值区间。

4.根据权利要求3所述的系统，其特征在于，所述校正单元包括：

目标数据获取模块，用于获取待检测的目标数据，并对所述目标数据进行模式适配分析，以识别所述目标数据中的元素；

目标权值计算模块，用于基于识别出的所述元素，计算所述目标数据对应的目标模式权值；

判定模块，用于确定所述目标模式权值对应的目标阈值区间，当所述目标阈值区间包含于所述恶意阈值区间内时，判定所述目标数据为恶意流量数据。

Images