CN115766215A - 一种异常流量检测方法及装置 - Google Patents

Abstract

本申请提供一种异常流量检测方法及装置，应用于网络安全技术领域，其中，异常流量检测方法包括：采用N‑gram模型对待检测流量进行字符串的提取，得到对应的多个目标子串；将多个目标子串与匹配数据进行匹配；其中，匹配数据包括正常流量统计数据以及异常流量统计数据，流量统计数据包括流量对应的多个子串集合对应的权重值；根据匹配结果、第一权重值以及第二权重值确定待检测流量对应的异常分数，并根据异常分数对待检测流量进行检测。由于在不同的场景中，简单的对样本流量进行概率统计后，便可以对待检测流量进行检测，因此可以减少异常流量检测之前的准备时间，从而可以提高对新场景中的异常流量进行检测的效率。

Description

一种异常流量检测方法及装置

技术领域

本申请涉及网络安全技术领域，具体而言，涉及一种异常流量检测方法及装置。

背景技术

随着信息化时代的飞速发展和计算机技术的快速进步，网络给人们的生活带来越来越多的便利。目前，网络流量是网络中信息传输和交互的主要载体，网络流量中包含着大量具有重要价值的信息。为了保证用户能够正常使用网络，可以对网络异常流量进行检测；其中，网络异常流量的来源包括计算机病毒、黑客入侵、网络蠕虫、拒绝网络服务、使用非法软件、网络设备故障、非法占用网络带宽等。

在现有技术中，一般都是利用神经网络模型进行异常流量的检测，但是，采用上述方式，在不同的场景下需要重新获取样本集并重新对神经网络模型进行训练，需要花费大量的时间，因此，对新场景中的异常流量进行检测的效率较低。

发明内容

本申请实施例的目的在于提供一种异常流量检测方法及装置，用以解决现有技术中对新场景中的异常流量进行检测的效率较低的技术问题。

第一方面，本申请实施例提供一种异常流量检测方法，包括：采用N-gram模型对待检测流量进行字符串的提取，得到对应的多个目标子串；将所述多个目标子串与匹配数据进行匹配；其中，所述匹配数据包括正常流量统计数据以及异常流量统计数据，所述正常流量统计数据包括正常流量对应的多个第一子串集合对应的第一权重值，所述异常流量统计数据包括异常流量对应的多个第二子串集合对应的第二权重值；根据匹配结果、所述第一权重值以及所述第二权重值确定所述待检测流量对应的异常分数，并根据所述异常分数对所述待检测流量进行检测。

在上述方案中，基于N-gram模型对流量进行字符串提取后，可以对正常流量以及异常流量进行概率统计，从而得到正常流量统计数据以及异常流量统计数据。当获取到待检测流量之后，可以基于上述正常流量统计数据以及异常流量统计数据对上述待检测流量进行异常流量的检测。采用本申请实施例提供的异常流量检测方法，由于在不同的场景中，简单的对样本流量进行概率统计后，便可以对待检测流量进行检测，因此可以减少异常流量检测之前的准备时间，从而可以提高对新场景中的异常流量进行检测的效率。

在可选的实施方式中，所述根据匹配结果、所述第一权重值以及所述第二权重值确定所述待检测流量对应的异常分数，包括：针对每个目标子串，若该目标子串与所述正常流量统计数据匹配成功，则将与该目标子串匹配上的第一子串集合对应的第一权重值作为该目标子串的中间分数；或者，若该目标子串与所述异常流量统计数据匹配成功，则将与该目标子串匹配上的第二子串集合对应的第二权重值作为该目标子串的中间分数；根据所述多个目标子串对应的多个中间分数确定所述异常分数。在上述方案中，可以将基于N-gram模型对流量进行字符串提取后，得到的目标子串与正常流量统计数据以及异常流量统计数据进行匹配，并得到对应的异常分数用于异常流量检测。其中，由于异常流量与正常流量中的字符存在不一致，因此，采用本申请实施例提供的异常流量检测方法可以快捷的检测出待检测流量的异常程度。

在可选的实施方式中，所述根据所述多个目标子串对应的多个中间分数确定所述异常分数，包括：将所述多个目标子串对应的多个中间分数的和确定为所述异常分数；或者，将所述多个目标子串对应的多个中间分数的和与匹配成功的目标子串的数量之间的商确定为所述异常分数。在上述方案中，可以将基于N-gram模型对流量进行字符串提取后，得到的目标子串与正常流量统计数据以及异常流量统计数据进行匹配，并得到对应的异常分数用于异常流量检测。其中，由于异常流量与正常流量中的字符存在不一致，因此，采用本申请实施例提供的异常流量检测方法可以快捷的检测出待检测流量的异常程度。

在可选的实施方式中，在所述采用N-gram模型对待检测流量进行字符串的提取，得到对应的多个目标子串之前，所述方法还包括：采用N-gram模型对正常流量集合进行字符串的提取，得到多个第一子串；根据所述多个第一子串计算每个类别的第一子串集合对应的第一频率值；其中，所述每个类别的第一子串集合包括至少一个相同的第一子串；对部分第一子串集合进行权重赋值，得到所述部分第一子串集合对应的所述第一权重值；其中，所述部分第一子串集合为所有第一子串集合中对应的第一频率值排序前N位的第一子串集合。在上述方案中，基于N-gram模型对正常流量进行字符串提取后，可以对其进行概率统计，并对多个类别的第一子串集合进行权重赋值，从而得到正常流量统计数据。这样，当获取到待检测流量之后，可以检测待检测流量的字符串中与正常流量一致的权重值。采用本申请实施例提供的异常流量检测方法，由于在不同的场景中，简单的对样本流量进行概率统计后，便可以对待检测流量进行检测，因此可以减少异常流量检测之前的准备时间，从而可以提高对新场景中的异常流量进行检测的效率。

在可选的实施方式中，在所述采用N-gram模型对待检测流量进行字符串的提取，得到对应的多个目标子串之前，所述方法还包括：采用N-gram模型对正常流量集合进行字符串的提取，得到多个第二子串；根据所述多个第二子串计算每个类别的第二子串集合对应的第二频率值；其中，所述每个类别的第二子串集合包括至少一个相同的第二子串；对部分第二子串集合进行权重赋值，得到所述部分第二子串集合对应的所述第二权重值；其中，所述部分第二子串集合为所有第二子串集合中对应的第二频率值排序前N位的第二子串集合。在上述方案中，基于N-gram模型对异常流量进行字符串提取后，可以对其进行概率统计，并对多个类别的第二子串集合进行权重赋值，从而得到异常流量统计数据。这样，当获取到待检测流量之后，可以检测待检测流量的字符串中与异常流量一致的权重值。采用本申请实施例提供的异常流量检测方法，由于在不同的场景中，简单的对样本流量进行概率统计后，便可以对待检测流量进行检测，因此可以减少异常流量检测之前的准备时间，从而可以提高对新场景中的异常流量进行检测的效率。

在可选的实施方式中，所述第一频率值与所述第一权重值成正比；和/或，所述第二频率值与所述第二权重值成反比。在上述方案中，字符串中的子串出现的频率越高，可以说明其属于正常流量或者属于异常流量的概率越高，因此，可以将基于第一频率值与第一权重值成正比、第二频率值与第二权重值成反比的原则对子串集合进行权重赋值，从而提高异常流量检测的准确率。

第二方面，本申请实施例提供一种异常流量检测装置，包括：第一提取模块，用于采用N-gram模型对待检测流量进行字符串的提取，得到对应的多个目标子串；匹配模块，用于将所述多个目标子串与匹配数据进行匹配；其中，所述匹配数据包括正常流量统计数据以及异常流量统计数据，所述正常流量统计数据包括正常流量对应的多个第一子串集合对应的第一权重值，所述异常流量统计数据包括异常流量对应的多个第二子串集合对应的第二权重值；确定模块，用于根据匹配结果、所述第一权重值以及所述第二权重值确定所述待检测流量对应的异常分数，并根据所述异常分数对所述待检测流量进行检测。

在上述方案中，基于N-gram模型对流量进行字符串提取后，可以对正常流量以及异常流量进行概率统计，从而得到正常流量统计数据以及异常流量统计数据。当获取到待检测流量之后，可以基于上述正常流量统计数据以及异常流量统计数据对上述待检测流量进行异常流量的检测。采用本申请实施例提供的异常流量检测方法，由于在不同的场景中，简单的对样本流量进行概率统计后，便可以对待检测流量进行检测，因此可以减少异常流量检测之前的准备时间，从而可以提高对新场景中的异常流量进行检测的效率。

在可选的实施方式中，所述确定模块具体用于：针对每个目标子串，若该目标子串与所述正常流量统计数据匹配成功，则将与该目标子串匹配上的第一子串集合对应的第一权重值作为该目标子串的中间分数；或者，若该目标子串与所述异常流量统计数据匹配成功，则将与该目标子串匹配上的第二子串集合对应的第二权重值作为该目标子串的中间分数；根据所述多个目标子串对应的多个中间分数确定所述异常分数。在上述方案中，可以将基于N-gram模型对流量进行字符串提取后，得到的目标子串与正常流量统计数据以及异常流量统计数据进行匹配，并得到对应的异常分数用于异常流量检测。其中，由于异常流量与正常流量中的字符存在不一致，因此，采用本申请实施例提供的异常流量检测方法可以快捷的检测出待检测流量的异常程度。

在可选的实施方式中，所述确定模块还用于：将所述多个目标子串对应的多个中间分数的和确定为所述异常分数；或者，将所述多个目标子串对应的多个中间分数的和与匹配成功的目标子串的数量之间的商确定为所述异常分数。在上述方案中，可以将基于N-gram模型对流量进行字符串提取后，得到的目标子串与正常流量统计数据以及异常流量统计数据进行匹配，并得到对应的异常分数用于异常流量检测。其中，由于异常流量与正常流量中的字符存在不一致，因此，采用本申请实施例提供的异常流量检测方法可以快捷的检测出待检测流量的异常程度。

在可选的实施方式中，所述异常流量检测装置还包括：第二提取模块，用于采用N-gram模型对正常流量集合进行字符串的提取，得到多个第一子串；第一计算模块，用于根据所述多个第一子串计算每个类别的第一子串集合对应的第一频率值；其中，所述每个类别的第一子串集合包括至少一个相同的第一子串；第一赋值模块，用于对部分第一子串集合进行权重赋值，得到所述部分第一子串集合对应的所述第一权重值；其中，所述部分第一子串集合为所有第一子串集合中对应的第一频率值排序前N位的第一子串集合。在上述方案中，基于N-gram模型对正常流量进行字符串提取后，可以对其进行概率统计，并对多个类别的第一子串集合进行权重赋值，从而得到正常流量统计数据。这样，当获取到待检测流量之后，可以检测待检测流量的字符串中与正常流量一致的权重值。采用本申请实施例提供的异常流量检测方法，由于在不同的场景中，简单的对样本流量进行概率统计后，便可以对待检测流量进行检测，因此可以减少异常流量检测之前的准备时间，从而可以提高对新场景中的异常流量进行检测的效率。

在可选的实施方式中，所述异常流量检测装置还包括：第三提取模块，用于采用N-gram模型对正常流量集合进行字符串的提取，得到多个第二子串；第二计算模块，用于根据所述多个第二子串计算每个类别的第二子串集合对应的第二频率值；其中，所述每个类别的第二子串集合包括至少一个相同的第二子串；第二赋值模块，用于对部分第二子串集合进行权重赋值，得到所述部分第二子串集合对应的所述第二权重值；其中，所述部分第二子串集合为所有第二子串集合中对应的第二频率值排序前N位的第二子串集合。在上述方案中，基于N-gram模型对异常流量进行字符串提取后，可以对其进行概率统计，并对多个类别的第二子串集合进行权重赋值，从而得到异常流量统计数据。这样，当获取到待检测流量之后，可以检测待检测流量的字符串中与异常流量一致的权重值。采用本申请实施例提供的异常流量检测方法，由于在不同的场景中，简单的对样本流量进行概率统计后，便可以对待检测流量进行检测，因此可以减少异常流量检测之前的准备时间，从而可以提高对新场景中的异常流量进行检测的效率。

在可选的实施方式中，所述第一频率值与所述第一权重值成正比；和/或，所述第二频率值与所述第二权重值成反比。在上述方案中，字符串中的子串出现的频率越高，可以说明其属于正常流量或者属于异常流量的概率越高，因此，可以将基于第一频率值与第一权重值成正比、第二频率值与第二权重值成反比的原则对子串集合进行权重赋值，从而提高异常流量检测的准确率。

第三方面，本申请实施例提供一种计算机程序产品，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如第一方面所述的异常流量检测方法。

第四方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如第一方面所述的异常流量检测方法。

第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如第一方面所述的异常流量检测方法。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举本申请实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种异常流量检测方法的流程图；

图2为本申请实施例提供确定匹配数据的过程示意图；

图3为本申请实施例提供的异常流量检测的过程示意图；

图4为本申请实施例提供的一种异常流量检测装置的结构框图；

图5为本申请实施例提供的一种电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

请参照图1，图1为本申请实施例提供的一种异常流量检测方法的流程图，该异常流量检测方法可以包括如下步骤：

步骤S101：采用N-gram模型对待检测流量进行字符串的提取，得到对应的多个目标子串。

步骤S102：将多个目标子串与匹配数据进行匹配。

步骤S103：根据匹配结果、第一权重值以及第二权重值确定待检测流量对应的异常分数，并根据异常分数对待检测流量进行检测。

具体的，在上述步骤S101中，N-gram模型是一种统计语言模型，用于按照字符串中的字符进行大小为N的滑动窗口操作，形成多个包括N个字符的子串，其中，N为大于1的自然数。

需要说明的，本申请实施例对N-gram模型中“N”的具体大小不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整，例如：当N为2时，采用2-gram模型可以得到字符个数为2的多个子串；当N为3时，采用3-gram模型可以得到字符个数为3的多个子串。

举例来说，假设一个字符串为“raction”，当N为2时，采用2-gram模型可以得到如下子串：ra、ac、ct、ti、io、on；当N为3时，采用3-gram模型可以得到如下子串：rac、act、cti、tio、ion。

进一步的，待检测流量是指需要进行异常流量检测的流量，其是正常流量还是异常流量是未知的。需要说明的是，本申请实施例对获取待检测流量的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以接收其他设备发送的待检测流量；或者，可以采集实时的待检测流量等。

进一步的，目标子串是指利用采用N-gram模型对待检测流量进行字符串的提取后，得到的多个子串。举例来说，假设一个待检测流量为“/inwjknpteevx.raction”，采用2-gram模型进行字符串的提取，则该待检测流量对应的多个目标子串分别为：i、in、nw、wj、kn、np、pt、te、ee、ev、vx、x.、.r、ra、ac、ct、ti、io、on。

在上述步骤S102中，匹配数据包括正常流量统计数据以及异常流量统计数据。经过大量实验数据分析，发现正常流量和自然语言具有相同的分布模式，即均符合齐普夫定律分布；而异常流量为了逃避追踪检测，可能会对数据进行压缩、加密和编码等处理，从而导致其字符频率分布与正常流量之间存在着差异性。因此，可以通过比较待检测流量与正常流量以及异常流量之间的差异对待检测流量进行异常流量检测。

正常流量统计数据包括正常流量对应的多个第一子串集合对应的第一权重值。其中，采用N-gram模型对正常流量进行字符串的提取，可以得到与正常流量对应的多个第一子串；基于上述多个第一子串，可以进一步得到多个第一子串集合。

其中，可以将相同的第一子串划分至一个第一子串集合中，这样，一个第一子串集合中会包括至少一个相同的第一子串；可以将上述相同的第一子串看作一种类别的子串，这样，每个类别的第一子串集合对应一种类别的子串。此外，针对上述多个第一子串集合，每一个第一子串集合均可以对应一个第一权重值。

举例来说，假设一个正常流量为“abcabcdef”，采用2-gram模型进行字符串的提取，则该正常流量对应的多个第一子串分别为：ab、bc、ca、ab、bc、cd、de、ef；可以看出，该正常流量包括六种类别的第一子串，基于上述多个第一子串可以得到如下多个第一子串集合：ab、bc、ca、cd、de、ef；上述每个第一子串集合对应的第一权重值分别为：ab对应的第一权重值为2、bc对应的第一权重值为2、ca对应的第一权重值为1、cd对应的第一权重值为1、de对应的第一权重值为1、ef对应的第一权重值为1。

可以理解的是，第一子串集合的数量小于或者等于第一子串的数量。

类似的，异常流量统计数据包括异常流量对应的多个第二子串集合对应的第二权重值。其中，采用N-gram模型对异常流量进行字符串的提取，可以得到与异常流量对应的多个第二子串；基于上述多个第二子串，可以进一步得到多个第二子串集合。

其中，可以将相同的第二子串划分至一个第二子串集合中，这样，一个第二子串集合中会包括至少一个相同的第二子串；可以将上述相同的第二子串看作一种类别的子串，这样，每个类别的第二子串集合对应一种类别的子串。此外，针对上述多个第二子串集合，每一个第二子串集合均可以对应一个第二权重值。

可以理解的是，第二子串集合的数量小于或者等于第二子串的数量。

举例来说，假设一个异常流量为“123123456”，采用2-gram模型进行字符串的提取，则该异常流量对应的多个第一子串分别为：12、23、31、12、23、34、45、56；可以看出，该异常流量包括六种类别的第二子串，基于上述多个第二子串可以得到如下多个第二子串集合：12、23、31、34、45、56；上述每个第二子串集合对应的第二权重值分别为：12对应的第一权重值为2、23对应的第一权重值为2、31对应的第一权重值为1、34对应的第一权重值为1、45对应的第一权重值为1、56对应的第一权重值为1。

需要说明的是，本申请实施例对获取匹配数据的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以接收外部设备发送的匹配数据；或者，可以从云端或者本地读取匹配数据；或者，可以基于正常流量以及异常流量确定匹配数据。

进一步的，将多个目标子串与匹配数据进行匹配，是指判断多个目标子串是否出现在正常流量统计数据以及异常流量统计数据中。由于正常流量与异常流量中的子串存在不一致，因此通过上述匹配过程，可以为异常流量的检测做准备。

在上述步骤S103中，匹配结果是指判断多个目标子串是否出现在正常流量统计数据以及异常流量统计数据中的结果；因此，匹配结果可以包括四种情况：情况一：目标子串出现在正常流量统计数据中；情况二，目标子串出现在异常流量统计数据中；情况三：目标子串既没有出现在正常流量统计数据也没有出现在异常流量统计数据中；情况四：目标子串同时出现在正常流量统计数据以及异常流量统计数据中。

根据上述匹配结果、第一权重值以及第二权重值，可以计算得到待检测流量对应的一个异常分数，从而可以根据上述异常分数对待检测流量进行检测。

需要说明的是，本申请实施例对确定上述待检测流量对应的异常分数的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以根据匹配结果直接对权重值进行求和；或者，可以根据匹配结果以及子串的数量进行加权求和等。

此外，本申请实施例对根据异常分数对待检测流量进行检测的具体实施方式也不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整。举例来说，可以判断异常分数是否大于预设阈值，若大于则将待检测流量确定为正常流量，否则将待检测流量确定为异常流量；或者，可以根据异常分数的大小价格待检测流量划分为正常流量、可能正常流量、可能异常流量、异常流量等。

可以理解的是，在对待检测流量进行检测之后，可以根据检测结果进行预警，例如：可以针对异常流量进行警告异常；或者，以针对可能异常流量进行报警异常等。

在上述方案中，基于N-gram模型对流量进行字符串提取后，可以对正常流量以及异常流量进行概率统计，从而得到正常流量统计数据以及异常流量统计数据。当获取到待检测流量之后，可以基于上述正常流量统计数据以及异常流量统计数据对上述待检测流量进行异常流量的检测。采用本申请实施例提供的异常流量检测方法，由于在不同的场景中，简单的对样本流量进行概率统计后，便可以对待检测流量进行检测，因此可以减少异常流量检测之前的准备时间，从而可以提高对新场景中的异常流量进行检测的效率。

进一步的，在上述实施例的基础上，上述步骤S103具体可以包括如下步骤：

步骤1)，针对每个目标子串，若该目标子串与正常流量统计数据匹配成功，则将与该目标子串匹配上的第一子串集合对应的第一权重值作为该目标子串的中间分数；或者，若该目标子串与异常流量统计数据匹配成功，则将与该目标子串匹配上的第二子串集合对应的第二权重值作为该目标子串的中间分数。

步骤2)，根据多个目标子串对应的多个中间分数确定异常分数。

具体的，在上述步骤1)中，可以针对不同的匹配结果执行不同的步骤：

如果目标子串与正常流量统计数据匹配成功，则说明目标子串出现在正常流量统计数据中，此时可以将与该目标子串匹配上的第一子串集合对应的第一权重值作为该目标子串的中间分数。

如果目标子串与异常流量统计数据匹配成功，则说明目标子串出现在异常流量统计数据中，此时可以将与该目标子串匹配上的第二子串集合对应的第二权重值作为该目标子串的中间分数。

如果目标子串既没有与正常流量统计数据匹配成功，也没有与异常流量统计数据匹配成功，则目标子串既没有出现在正常流量统计数据也没有出现在异常流量统计数据中，此时可以丢弃该目标子串。

如果目标子串同时与正常流量统计数据以及异常流量统计数据匹配成功，则说明目标子串同时出现在正常流量统计数据以及异常流量统计数据中，此时可以丢弃该目标子串。

可以理解的是，确定的中间分数的数量小于或者等于目标子串的数量。

在上述步骤2)中，根据上述步骤1)中确定得到的多个目标子串对应的多个中间分数，可以确定待检测流量对应的异常分数。

需要说明的是，本申请实施例对确定待检测流量对应的异常分数的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以直接对中间分数进行求和得到对应的异常分数；或者，可以将中间分数的和与匹配成功的目标子串的数量之间的商确定为异常分数等。

在上述方案中，可以将基于N-gram模型对流量进行字符串提取后，得到的目标子串与正常流量统计数据以及异常流量统计数据进行匹配，并得到对应的异常分数用于异常流量检测。其中，由于异常流量与正常流量中的字符存在不一致，因此，采用本申请实施例提供的异常流量检测方法可以快捷的检测出待检测流量的异常程度。

进一步的，在上述实施例的基础上，作为一种实施方式，上述根据多个目标子串对应的多个中间分数确定异常分数的步骤，具体可以包括如下步骤：

将多个目标子串对应的多个中间分数的和确定为异常分数。

作为另一种实施方式，上述根据多个目标子串对应的多个中间分数确定异常分数的步骤，具体可以包括如下步骤：

将多个目标子串对应的多个中间分数的和与匹配成功的目标子串的数量之间的商确定为异常分数。

在上述方案中，可以将基于N-gram模型对流量进行字符串提取后，得到的目标子串与正常流量统计数据以及异常流量统计数据进行匹配，并得到对应的异常分数用于异常流量检测。其中，由于异常流量与正常流量中的字符存在不一致，因此，采用本申请实施例提供的异常流量检测方法可以快捷的检测出待检测流量的异常程度。

进一步的，在上述实施例的基础上，在对待检测流量进行异常流量的检测之前，可以事先确定匹配数据。下面对确定匹配数据的一种具体实施方式进行介绍。

首先，介绍确定匹配数据中正常流量统计数据的具体实施方式。在上述步骤S101之前，本申请实施例提供的异常流量检测方法还可以包括如下步骤：

步骤1)，采用N-gram模型对正常流量集合进行字符串的提取，得到多个第一子串。

步骤2)，根据多个第一子串计算每个类别的第一子串集合对应的第一频率值。

步骤3)，对部分第一子串集合进行权重赋值，得到部分第一子串集合对应的第一权重值。

具体的，在上述步骤1)中，正常流量集合包括多个正常流量。需要说明的是，本申请实施例对获取正常流量集合的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以从流量数据库中提取正常流量；或者，可以从实时获取的流量中确定正常流量等。

采用N-gram模型对正常流量集合进行字符串的提取，相当于采用N-gram模型对正常流量集合中的每一个正常流量进行字符串的提取，得到上述多个正常流量对应的多个第一子串。

需要说明的是，采用N-gram模型对正常流量集合进行字符串的提取，得到多个第一子串的具体实施方式，与上述实施例中步骤S101的具体实施方式类似，此处不再赘述。

在上述步骤2)中，可以将相同的第一子串划分至一个第一子串集合中，这样，一个第一子串集合中会包括至少一个相同的第一子串；可以将上述相同的第一子串看作一种类别的子串，这样，每个类别的第一子串集合对应一种类别的子串。

对每一个第一子串集合中包括的第一子串进行计数，再除以第一子串的总数量，可以得到该第一子串集合对应的第一频率值。

通过对不同的类型数据和不同量级的数据进行分析，发现在根据正常流量与异常流量数据提取的子串集合中，出现频率靠前的子串集合之间存在着较大的差异，而出现频率靠后的子串集合基本上保持一致。

因此，在上述步骤3)中，可以根据第一频率值的大小按照从大到小的顺序对多个第一子串集合进行排序，并取排序前N位的第一子串集合进行进一步的运算。可以理解的是，上述步骤3)中的部分第一子串集合即为所有第一子串集合中对应的第一频率值排序前N位的第一子串集合。

然后再对上述排序前N位的第一子串集合进行权重赋值，可以得到部分第一子串集合对应的第一权重值。需要说明的是，本申请实施例对权重赋值的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，事先可以生成子串集合与权重值对应关系，根据上述对应关系进行权重赋值；或者，可以基于第一频率值与第一权重值成正比的原则进行权重赋值等。

在上述方案中，基于N-gram模型对正常流量进行字符串提取后，可以对其进行概率统计，并对多个类别的第一子串集合进行权重赋值，从而得到正常流量统计数据。这样，当获取到待检测流量之后，可以检测待检测流量的字符串中与正常流量一致的权重值。采用本申请实施例提供的异常流量检测方法，由于在不同的场景中，简单的对样本流量进行概率统计后，便可以对待检测流量进行检测，因此可以减少异常流量检测之前的准备时间，从而可以提高对新场景中的异常流量进行检测的效率。

其次，介绍确定匹配数据中异常流量统计数据的具体实施方式。在上述步骤S101之前，本申请实施例提供的异常流量检测方法还可以包括如下步骤：

步骤1)，采用N-gram模型对正常流量集合进行字符串的提取，得到多个第二子串。

步骤2)，根据多个第二子串计算每个类别的第二子串集合对应的第二频率值。

步骤3)，对部分第二子串集合进行权重赋值，得到部分第二子串集合对应的第二权重值。

在上述步骤1)中，异常流量集合包括多个异常流量。需要说明的是，本申请实施例对获取异常流量集合的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以从流量数据库中提取异常流量；或者，可以从实时获取的流量中确定异常流量等。

采用N-gram模型对异常流量集合进行字符串的提取，相当于采用N-gram模型对异常流量集合中的每一个异常流量进行字符串的提取，得到上述多个异常流量对应的多个第二子串。

需要说明的是，采用N-gram模型对异常流量集合进行字符串的提取，得到多个第二子串的具体实施方式，与上述实施例中步骤S101的具体实施方式类似，此处不再赘述。

在上述步骤2)中，可以将相同的第二子串划分至一个第二子串集合中，这样，一个第二子串集合中会包括至少一个相同的第二子串；可以将上述相同的第二子串看作一种类别的子串，这样，每个类别的第二子串集合对应一种类别的子串。

对每一个第二子串集合中包括的第二子串进行计数，再除以第二子串的总数量，可以得到该第二子串集合对应的第二频率值。

通过对不同的类型数据和不同量级的数据进行分析，发现在根据正常流量与异常流量数据提取的子串集合中，出现频率靠前的子串集合之间存在着较大的差异，而出现频率靠后的子串集合基本上保持一致。

因此，在上述步骤3)中，可以根据第二频率值的大小按照从大到小的顺序对多个第二子串集合进行排序，并取排序前N位的第二子串集合进行进一步的运算。可以理解的是，上述步骤3)中的部分第二子串集合即为所有第二子串集合中对应的第二频率值排序前N位的第二子串集合。

然后再对上述排序前N位的第二子串集合进行权重赋值，可以得到部分第二子串集合对应的第二权重值。需要说明的是，本申请实施例对权重赋值的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，事先可以生成子串集合与权重值对应关系，根据上述对应关系进行权重赋值；或者，可以基于第二频率值与第二权重值成反比的原则进行权重赋值等。

在上述方案中，基于N-gram模型对异常流量进行字符串提取后，可以对其进行概率统计，并对多个类别的第二子串集合进行权重赋值，从而得到异常流量统计数据。这样，当获取到待检测流量之后，可以检测待检测流量的字符串中与异常流量一致的权重值。采用本申请实施例提供的异常流量检测方法，由于在不同的场景中，简单的对样本流量进行概率统计后，便可以对待检测流量进行检测，因此可以减少异常流量检测之前的准备时间，从而可以提高对新场景中的异常流量进行检测的效率。

进一步的，在上述实施例的基础上，第一频率值与第一权重值成正比；和/或，第二频率值与第二权重值成反比。

在上述方案中，字符串中的子串出现的频率越高，可以说明其属于正常流量或者属于异常流量的概率越高，因此，可以将基于第一频率值与第一权重值成正比、第二频率值与第二权重值成反比的原则对子串集合进行权重赋值，从而提高异常流量检测的准确率。

下面举例对本申请实施例提供的异常流量检测方法进行介绍。

请参照图2及图3，图2为本申请实施例提供确定匹配数据的过程示意图，图3为本申请实施例提供的异常流量检测的过程示意图。

可以看出，在匹配数据中，正常流量统计数据包括：in及其对应的第一权重值204、er及其对应的第一权重值170；异常流量统计数据包括：ra及其对应的第二权重值-133、te及其对应的第二权重值-129。

假设一个待检测流量为“/inwjknpteevx.raction”，采用2-gram模型进行字符串的提取，则该待检测流量对应的多个目标子串分别为：i、in、nw、wj、kn、np、pt、te、ee、ev、vx、x.、.r、ra、ac、ct、ti、io、on。

将上述目标子串与图2示出的匹配数据进行匹配，得到“in”对应的中间分数为204、“te”对应的中间分数为-129、“ra”对应的中间分数为-133；最终，计算得到异常分数为-19.33。

当上述异常分数大于阈值1时，可以不进行报警；当上述异常分数小于阈值1且大于阈值2时，可以进行报警；当上述异常分数小于阈值2且大于阈值3时，可以进行告警。

请参照图4，图4为本申请实施例提供的一种异常流量检测装置的结构框图，该异常流量检测装置400包括：第一提取模块401，用于采用N-gram模型对待检测流量进行字符串的提取，得到对应的多个目标子串；匹配模块402，用于将所述多个目标子串与匹配数据进行匹配；其中，所述匹配数据包括正常流量统计数据以及异常流量统计数据，所述正常流量统计数据包括正常流量对应的多个第一子串集合对应的第一权重值，所述异常流量统计数据包括异常流量对应的多个第二子串集合对应的第二权重值；确定模块403，用于根据匹配结果、所述第一权重值以及所述第二权重值确定所述待检测流量对应的异常分数，并根据所述异常分数对所述待检测流量进行检测。

在上述方案中，基于N-gram模型对流量进行字符串提取后，可以对正常流量以及异常流量进行概率统计，从而得到正常流量统计数据以及异常流量统计数据。当获取到待检测流量之后，可以基于上述正常流量统计数据以及异常流量统计数据对上述待检测流量进行异常流量的检测。采用本申请实施例提供的异常流量检测方法，由于在不同的场景中，简单的对样本流量进行概率统计后，便可以对待检测流量进行检测，因此可以减少异常流量检测之前的准备时间，从而可以提高对新场景中的异常流量进行检测的效率。

进一步的，在上述实施例的基础上，所述确定模块403具体用于：针对每个目标子串，若该目标子串与所述正常流量统计数据匹配成功，则将与该目标子串匹配上的第一子串集合对应的第一权重值作为该目标子串的中间分数；或者，若该目标子串与所述异常流量统计数据匹配成功，则将与该目标子串匹配上的第二子串集合对应的第二权重值作为该目标子串的中间分数；根据所述多个目标子串对应的多个中间分数确定所述异常分数。

在上述方案中，可以将基于N-gram模型对流量进行字符串提取后，得到的目标子串与正常流量统计数据以及异常流量统计数据进行匹配，并得到对应的异常分数用于异常流量检测。其中，由于异常流量与正常流量中的字符存在不一致，因此，采用本申请实施例提供的异常流量检测方法可以快捷的检测出待检测流量的异常程度。

进一步的，在上述实施例的基础上，所述确定模块403还用于：将所述多个目标子串对应的多个中间分数的和确定为所述异常分数；或者，将所述多个目标子串对应的多个中间分数的和与匹配成功的目标子串的数量之间的商确定为所述异常分数。

在上述方案中，可以将基于N-gram模型对流量进行字符串提取后，得到的目标子串与正常流量统计数据以及异常流量统计数据进行匹配，并得到对应的异常分数用于异常流量检测。其中，由于异常流量与正常流量中的字符存在不一致，因此，采用本申请实施例提供的异常流量检测方法可以快捷的检测出待检测流量的异常程度。

进一步的，在上述实施例的基础上，所述异常流量检测装置400还包括：第二提取模块，用于采用N-gram模型对正常流量集合进行字符串的提取，得到多个第一子串；第一计算模块，用于根据所述多个第一子串计算每个类别的第一子串集合对应的第一频率值；其中，所述每个类别的第一子串集合包括至少一个相同的第一子串；第一赋值模块，用于对部分第一子串集合进行权重赋值，得到所述部分第一子串集合对应的所述第一权重值；其中，所述部分第一子串集合为所有第一子串集合中对应的第一频率值排序前N位的第一子串集合。

在上述方案中，基于N-gram模型对正常流量进行字符串提取后，可以对其进行概率统计，并对多个类别的第一子串集合进行权重赋值，从而得到正常流量统计数据。这样，当获取到待检测流量之后，可以检测待检测流量的字符串中与正常流量一致的权重值。采用本申请实施例提供的异常流量检测方法，由于在不同的场景中，简单的对样本流量进行概率统计后，便可以对待检测流量进行检测，因此可以减少异常流量检测之前的准备时间，从而可以提高对新场景中的异常流量进行检测的效率。

进一步的，在上述实施例的基础上，所述异常流量检测装置400还包括：第三提取模块，用于采用N-gram模型对正常流量集合进行字符串的提取，得到多个第二子串；第二计算模块，用于根据所述多个第二子串计算每个类别的第二子串集合对应的第二频率值；其中，所述每个类别的第二子串集合包括至少一个相同的第二子串；第二赋值模块，用于对部分第二子串集合进行权重赋值，得到所述部分第二子串集合对应的所述第二权重值；其中，所述部分第二子串集合为所有第二子串集合中对应的第二频率值排序前N位的第二子串集合。

在上述方案中，基于N-gram模型对异常流量进行字符串提取后，可以对其进行概率统计，并对多个类别的第二子串集合进行权重赋值，从而得到异常流量统计数据。这样，当获取到待检测流量之后，可以检测待检测流量的字符串中与异常流量一致的权重值。采用本申请实施例提供的异常流量检测方法，由于在不同的场景中，简单的对样本流量进行概率统计后，便可以对待检测流量进行检测，因此可以减少异常流量检测之前的准备时间，从而可以提高对新场景中的异常流量进行检测的效率。

进一步的，在上述实施例的基础上，所述第一频率值与所述第一权重值成正比；和/或，所述第二频率值与所述第二权重值成反比。

在上述方案中，字符串中的子串出现的频率越高，可以说明其属于正常流量或者属于异常流量的概率越高，因此，可以将基于第一频率值与第一权重值成正比、第二频率值与第二权重值成反比的原则对子串集合进行权重赋值，从而提高异常流量检测的准确率。

请参照图5，图5为本申请实施例提供的一种电子设备的结构框图，该电子设备500包括：至少一个处理器501，至少一个通信接口502，至少一个存储器503和至少一个通信总线504。其中，通信总线504用于实现这些组件直接的连接通信，通信接口502用于与其他节点设备进行信令或数据的通信，存储器503存储有处理器501可执行的机器可读指令。当电子设备500运行时，处理器501与存储器503之间通过通信总线504通信，机器可读指令被处理器501调用时执行上述异常流量检测方法。

例如，本申请实施例的处理器501通过通信总线504从存储器503读取计算机程序并执行该计算机程序可以实现如下方法：步骤S101：采用N-gram模型对待检测流量进行字符串的提取，得到对应的多个目标子串。步骤S102：将多个目标子串与匹配数据进行匹配。步骤S103：根据匹配结果、第一权重值以及第二权重值确定待检测流量对应的异常分数，并根据异常分数对待检测流量进行检测。

其中，处理器501包括一个或多个，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器501可以是通用处理器，包括中央处理器(CeNtral ProcessiNg UNit，简称CPU)、微控制单元(Micro CoNtroller UNit，简称MCU)、网络处理器(NetworkProcessor，简称NP)或者其他常规处理器；还可以是专用处理器，包括神经网络处理器(Neural-Network ProcessiNg UNit，简称NPU)、图形处理器(Graphics ProcessiNg UNit，简称GPU)、数字信号处理器(Digital SigNal Processor，简称DSP)、专用集成电路(ApplicatioN Specific INtegrated Circuits，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器501为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。

存储器503包括一个或多个，其可以是，但不限于，随机存取存储器(RaNdomAccess Memory，简称RAM)，只读存储器(Read ONly Memory，简称ROM)，可编程只读存储器(Programmable Read-ONly Memory，简称PROM)，可擦除可编程只读存储器(ErasableProgrammable Read-ONly Memory，简称EPROM)，电可擦除可编程只读存储器(ElectricErasable Programmable Read-ONly Memory，简称EEPROM)等。

可以理解，图5所示的结构仅为示意，电子设备500还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。于本申请实施例中，电子设备500可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。另外，电子设备500也不一定是单台设备，还可以是多台设备的组合，例如服务器集群，等等。

本申请实施例还提供一种计算机程序产品，包括存储在计算机可读存储介质上的计算机程序，计算机程序包括计算机程序指令，当计算机程序指令被计算机执行时，计算机能够执行上述实施例中异常流量检测方法的步骤，例如包括：采用N-gram模型对待检测流量进行字符串的提取，得到对应的多个目标子串；将所述多个目标子串与匹配数据进行匹配；其中，所述匹配数据包括正常流量统计数据以及异常流量统计数据，所述正常流量统计数据包括正常流量对应的多个第一子串集合对应的第一权重值，所述异常流量统计数据包括异常流量对应的多个第二子串集合对应的第二权重值；根据匹配结果、所述第一权重值以及所述第二权重值确定所述待检测流量对应的异常分数，并根据所述异常分数对所述待检测流量进行检测。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行前述方法实施例所述的异常流量检测方法。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-ONly Memory，ROM)随机存取存储器(RaNdom Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种异常流量检测方法，其特征在于，包括：

采用N-gram模型对待检测流量进行字符串的提取，得到对应的多个目标子串；

将所述多个目标子串与匹配数据进行匹配；其中，所述匹配数据包括正常流量统计数据以及异常流量统计数据，所述正常流量统计数据包括正常流量对应的多个第一子串集合对应的第一权重值，所述异常流量统计数据包括异常流量对应的多个第二子串集合对应的第二权重值；

根据匹配结果、所述第一权重值以及所述第二权重值确定所述待检测流量对应的异常分数，并根据所述异常分数对所述待检测流量进行检测。

2.根据权利要求1所述的异常流量检测方法，其特征在于，所述根据匹配结果、所述第一权重值以及所述第二权重值确定所述待检测流量对应的异常分数，包括：

针对每个目标子串，若该目标子串与所述正常流量统计数据匹配成功，则将与该目标子串匹配上的第一子串集合对应的第一权重值作为该目标子串的中间分数；或者，若该目标子串与所述异常流量统计数据匹配成功，则将与该目标子串匹配上的第二子串集合对应的第二权重值作为该目标子串的中间分数；

根据所述多个目标子串对应的多个中间分数确定所述异常分数。

3.根据权利要求2所述的异常流量检测方法，其特征在于，所述根据所述多个目标子串对应的多个中间分数确定所述异常分数，包括：

将所述多个目标子串对应的多个中间分数的和确定为所述异常分数；或者，

将所述多个目标子串对应的多个中间分数的和与匹配成功的目标子串的数量之间的商确定为所述异常分数。

4.根据权利要求1所述的异常流量检测方法，其特征在于，在所述采用N-gram模型对待检测流量进行字符串的提取，得到对应的多个目标子串之前，所述方法还包括：

采用N-gram模型对正常流量集合进行字符串的提取，得到多个第一子串；

根据所述多个第一子串计算每个类别的第一子串集合对应的第一频率值；其中，所述每个类别的第一子串集合包括至少一个相同的第一子串；

对部分第一子串集合进行权重赋值，得到所述部分第一子串集合对应的所述第一权重值；其中，所述部分第一子串集合为所有第一子串集合中对应的第一频率值排序前N位的第一子串集合。

5.根据权利要求1所述的异常流量检测方法，其特征在于，在所述采用N-gram模型对待检测流量进行字符串的提取，得到对应的多个目标子串之前，所述方法还包括：

采用N-gram模型对正常流量集合进行字符串的提取，得到多个第二子串；

根据所述多个第二子串计算每个类别的第二子串集合对应的第二频率值；其中，所述每个类别的第二子串集合包括至少一个相同的第二子串；

对部分第二子串集合进行权重赋值，得到所述部分第二子串集合对应的所述第二权重值；其中，所述部分第二子串集合为所有第二子串集合中对应的第二频率值排序前N位的第二子串集合。

6.根据权利要求4所述的异常流量检测方法，其特征在于，所述第一频率值与所述第一权重值成正比；和/或，所述第二频率值与所述第二权重值成反比。

7.一种异常流量检测装置，其特征在于，包括：

第一提取模块，用于采用N-gram模型对待检测流量进行字符串的提取，得到对应的多个目标子串；

匹配模块，用于将所述多个目标子串与匹配数据进行匹配；其中，所述匹配数据包括正常流量统计数据以及异常流量统计数据，所述正常流量统计数据包括正常流量对应的多个第一子串集合对应的第一权重值，所述异常流量统计数据包括异常流量对应的多个第二子串集合对应的第二权重值；

确定模块，用于根据匹配结果、所述第一权重值以及所述第二权重值确定所述待检测流量对应的异常分数，并根据所述异常分数对所述待检测流量进行检测。

8.一种计算机程序产品，其特征在于，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求1-6任一项所述的异常流量检测方法。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线；

所述处理器和所述存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如权利要求1-6任一项所述的异常流量检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如权利要求1-6任一项所述的异常流量检测方法。

Images