CN114363061A - 一种异常流量检测方法、系统、存储介质和终端 - Google Patents
一种异常流量检测方法、系统、存储介质和终端 Download PDFInfo
- Publication number
- CN114363061A CN114363061A CN202111679385.5A CN202111679385A CN114363061A CN 114363061 A CN114363061 A CN 114363061A CN 202111679385 A CN202111679385 A CN 202111679385A CN 114363061 A CN114363061 A CN 114363061A
- Authority
- CN
- China
- Prior art keywords
- key
- value pair
- detection
- value
- pair sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 180
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000013179 statistical model Methods 0.000 claims abstract description 27
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Algebra (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供一种异常流量检测方法，包括：获取流量日志；解析流量日志，得到包含value值的键值对序列；对键值对序列进行枚举检测，得到枚举检测结果；对键值对序列进行value值长度检测，得到长度检测结果；对键值对序列进行乱码分布检测，得到乱码检测结果；利用预设概率统计模型预测键值对序列中value值的概率，得到所述键值对序列的参数预测概率；若枚举检测结果、长度检测结果、乱码检测结果和参数预测概率中存在异常值，确定流量日志存在异常。本申请能够有效的检测出异常攻击流量，降低误报率，显著提高对异常攻击流量的检测能力。本申请还提供一种异常流量检测系统、计算机可读存储介质和终端，具有上述有益效果。
Description
技术领域
本申请涉及网络安全领域，特别涉及一种异常流量检测方法、系统、存储介质和终端。
背景技术
随着Web技术的发展，客户业务愈发复杂，提高检测精确度一直是需要花费大量人力处理的难题。
业界已有的方案大多数是基于通过维护规则集，用规则进行匹配攻击流量。但是强规则在灵活的黑客面前，非常容易被绕过，其次面对0day攻击，基于以往知识的规则集无法应对，同时高效的规则的构造和维护需要安全专家的经验，门槛高、成本大。
因此，如何提高网络流量的检测精度是本领域技术人员亟需解决的技术问题。
发明内容
本申请的目的是提供一种异常流量检测方法、系统、存储介质和终端，通过多角度检测流量提高网络流量的检测精度。
为解决上述技术问题，本申请提供一种异常流量检测方法，具体技术方案如下：
获取流量日志；
解析所述流量日志，得到包含value值的键值对序列；
对所述键值对序列进行枚举检测，得到枚举检测结果；
对所述键值对序列进行value值长度检测，得到长度检测结果；
对所述键值对序列进行乱码分布检测，得到乱码检测结果；
利用预设概率统计模型预测所述键值对序列中所述value值的概率，得到所述键值对序列的参数预测概率；
若所述枚举检测结果、所述长度检测结果、所述乱码检测结果和所述参数预测概率中存在异常值，确定所述流量日志存在异常。
可选的，对所述键值对序列进行枚举检测，得到枚举检测结果包括：
判断所述键值对序列中的所有value值是否均落在预设枚举样本集合；
若是，确认枚举检测结果正常；
若否，确认枚举检测结果异常。
可选的，对所述键值对序列进行value值长度检测，得到长度检测结果包括：
利用长度检测模型对所述键值对的value值长度进行分布检测，得到键值长度分布；
若所述键值长度分布偏离正常业务流量对应的标准键值长度分布，确定所述流量日志存在长度异常。
可选的，确定所述流量日志存在长度异常之前，还包括：：
利用切比雪夫不等式确定正常键值对的长度阈值区间；
根据所述长度阈值区间确定正常业务流量对应的所述标准键值长度分布。
可选的，利用长度检测模型对所述键值对的value值长度进行分布检测，得到键值长度分布包括：
利用长度检测模型计算所述键值对的平均长度和标准差；
根据所述键值对中value值的实际长度、所述平均长度和所述标准差，得到键值长度分布。
可选的，对所述键值对序列进行乱码分布检测，得到乱码检测结果包括：
构建乱码先验分布；
确定所述键值对序列的真实分布；
计算所述乱码先验分布和所述真实分布之间的距离；
若所述距离超过阈值，确定所述键值对序列存在乱码。
可选的，利用预设概率统计模型预测所述键值对序列中所述value值的概率，得到所述键值对序列的参数预测概率之前，还包括：
基于所述隐马尔可夫模型对所述键值对序列建模，并配置N-Gram算法，得到预设概率统计模型；
则相应的，所述利用预设概率统计模型预测所述键值对序列中所述value值的概率，得到所述键值对序列的参数预测概率包括：
利用所述预设概率统计模型预测所述键值对序列中键值对的预测value值；
若所述预测value值与键值对实际value值的差值小于预设阈值区间，确认所述目标键值对预测成功；
统计所述键值对序列中value值预测成功的概率，得到所述键值对序列的参数预测概率。
本申请还提供一种异常流量检测系统，包括：
日志获取模块，用于获取流量日志；
日志解析模块，用于解析所述流量日志，得到包含value值的键值对序列；
枚举检测模块，用于对所述键值对序列进行枚举检测，得到枚举检测结果；
长度检测模块，用于对所述键值对序列进行value值长度检测，得到长度检测结果；
乱码检测模块，用于对所述键值对序列进行乱码分布检测，得到乱码检测结果；
概率预测模块，用于利用预设概率统计模型预测所述键值对序列中所述value值的概率，得到所述键值对序列的参数预测概率；
异常定位模块，用于若所述枚举检测结果、所述长度检测结果、所述乱码检测结果和所述参数预测概率中存在异常值，确定所述流量日志存在异常。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
本申请还提供一种终端，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。
本申请提供一种异常流量检测方法，包括：获取流量日志；解析所述流量日志，得到包含value值的键值对序列；对所述键值对序列进行枚举检测，得到枚举检测结果；对所述键值对序列进行value值长度检测，得到长度检测结果；对所述键值对序列进行乱码分布检测，得到乱码检测结果；利用预设概率统计模型预测所述键值对序列中所述value值的概率，得到所述键值对序列的参数预测概率；若所述枚举检测结果、所述长度检测结果、所述乱码检测结果和所述参数预测概率中存在异常值，确定所述流量日志存在异常。
本申请对于流量日志，分别执行流量枚举检测、键值长度检测、乱码分布检测和键值概率预测等四个维度的检测，只要任意维度存在异常即可判定为异常流量。相较于仅仅维护一个规则集进行异常流量的检测，能够通过对特定业务下的大量正常流量建立相应的模型，站在特定业务场景下检测出与正常流量不符的异常流量。能够有效的检测出异常攻击流量，同时又能大幅过滤符合各个模型和检测的白流量，进而降低误报率。本申请适用于Web攻击检测等场景，以及便于应用在防火墙和安全态势感知等产品，显著提高对异常攻击流量的检测能力。
本申请还提供一种异常流量检测系统、计算机可读存储介质和终端，具有上述有益效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种异常流量检测方法的流程图；
图2为本申请实施例所提供的一种3-Gram的HMM模型结构示意图；
图3为本申请实施例所提供的一种异常流量检测系统结构示意图：
图4为本申请实施例所提供的一种终端的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1为本申请实施例所提供的一种异常流量检测方法的流程图，该方法包括如下步骤：
S101：获取流量日志；
S102：解析所述流量日志，得到包含value值的键值对序列；
本步骤旨在获取流量日志后，对流量日志解析，从而得到包含value值的键值对序列。该流量日志可以为业务流量数据，或者web应用数据。通常，流量日志可以以HTTP报文形式存在，则可以将HTTP报文解析成诸多的键值对。一个HTTP报文被拆分成请求行、header、body，而三者下面又拆分出相应的键值对，容易理解的是，请求行、header、body每部分均包含若干的键值对。根据HTTP报文中的顺序，配置得到包含value值的键值对序列。
下文对本申请实施例提供的四个角度检测过程进行说明，即对应步骤S103至S106的检测过程，需要着重强调的是，在本实施例中，可以按照步骤S103至步骤S106的顺序执行，而实际上，每个步骤对应的检测过程相互独立，且互不干扰，即在本申请的实施例中，可以采用其他的执行顺序，且其中任意步骤也可同步进行，则对于其他实施例的执行顺序在此不一一举例限定。
S103：对所述键值对序列进行枚举检测，得到枚举检测结果；
本步骤旨在对键值对序列进行枚举检测，从而得到枚举检测结果。由于正常的流量中键值相对固定，通常只有特定的几种取值，因此本步骤旨在对流量日志中的流量检测，判断其中的键值是否相对固定，若确认相对固定，则说明流量日志无异常，否则存在异常。
具体的，在执行本步骤时，需要先配置预设枚举样本集合。预设枚举样本集合要求参数实例类型的数量与参数实例的总数呈负相关。
S104：对所述键值对序列进行value值长度检测，得到长度检测结果；
本步骤需要执行长度检测，通常正常流量的value值长度分布较为集中，因此本步骤旨在检测长度明显不符合正常数据的异常键值对。
在正常业务下，value值长度具有集中的特点，例如可能大多集中在10-20个字符区间内。而恶意输入的情况会有所不同，参数长度可能会明显偏离正常业务参数长度的分布。因此本步骤可以先确定value值长度的正常长度区间，从而对键值对序列中的value值长度进行检测。
作为本步骤的一种优选执行方式，可以利用切比雪夫不等式确定正常键值对的长度阈值区间，再根据长度阈值区间确定正常业务流量对应的标准键值长度分布。此后在执行本步骤时，可以分为如下两个步骤：
第一步、利用长度检测模型对所述键值对的value值长度进行分布检测，得到键值长度分布；
第二步、若键值长度分布偏离正常业务流量对应的标准键值长度分布，确定流量日志存在长度异常。
在对键值对的键值长度进行分布检测，得到键值长度分布时，需要确定各value值的实际长度，再计算value值的平均长度及标准差，从而根据平均长度、标准差和value值的实际长度确定键值长度分布。在已经得到标准键值长度分布的情况下，判断二者分布是否相同，或者针对流量日志中的各value值计算其长度偏离程度，一旦长度偏离程度大于偏离阈值，也等同于键值长度分布与标准键值长度分布差异较大，从而确定键值对序列中存在长度异常的value值。
当然，本领域技术人员还可以采用其他长度校验方法，也应在本申请的保护范围内。
S105：对所述键值对序列进行乱码分布检测，得到乱码检测结果；
本步骤旨在对键值对序列进行乱码分布检测。具体的，本实施例应用统计学方法，可以先构建乱码先验分布，再确定键值对序列的真实分布，此后计算乱码先验分布和真实分布之间的距离。一旦距离超过阈值，即可确定键值对序列存在乱码。在此对于乱码先验分布和真实分布之间距离的计算方法不作限定，例如可以采用KL散度或者JS距离进行计算。在构建乱码先验分布时，可以假设分布均匀，配置一个多维向量作为乱码先验分布，其表示乱码字符的理论分布。
S106：利用预设概率统计模型预测所述键值对序列中所述value值的概率，得到所述键值对序列的参数预测概率；
本步骤制造预测键值对序列中的value值的概率，以隐马尔可夫模型作为预设概率统计模型为例，在执行本步骤时，需要先基于隐马尔可夫模型对键值对序列建模，得到预设概率统计模型，此后即可利用预设概率统计模型根据键值对序列中前面的键值对预测后面键值对中的value值。隐马尔科夫模型(Hidden Markov Model，HMM)是一种统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。
更优选的，还可以在预设概率统计模型中配置N-Gram算法，并利用包含N-Gram算法的预设概率统计模型预测键值对序列中键值对的预测value值。N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。
若预测value值与键值对实际value值的差值超过预设阈值区间，确认该键值对预测失败，否则预测成功。在对键值对均预测完毕后，统计键值对序列中value值预测成功的概率，即可得到所述键值对序列的参数预测概率。仅当参数预测概率满足对应的概率阈值时，认为键值对序列无异常，否则表明流量日志存在异常。
在本步骤中，通过对键值对序列利用预设概率统计模型建模，并预测其中后续value值的概率判断键值对序列是否存在异常。若引入N-Gram算法，使得预设概率统计模型关注键值对序列的结构信息。如图2所示，图2为本申请实施例所提供的一种3-Gram的HMM模型结构示意图，如此，不仅能够实现B预测C，还可以实现A预测C，从而计算概率时，不仅关注了相邻键值对，还关注了前一个键值对，将更多键值对序列中的结构信息参与预测，提高了预测的精准度。
此外，在本步骤的基础上，除了配置N-Gram算法外，还可以引起其他优化使得预设概率统计模型能够对键值对序列更好的建模，例如对对一些不常见的转移添加低的权重、使用多条HMM等手段。容易理解是，所有将隐马尔可夫模型用于键值对序列建模执行键值预测的过程均应属于本申请的保护范围之内。
S107：若所述枚举检测结果、所述长度检测结果、所述乱码检测结果和所述参数预测概率中存在异常值，确定所述流量日志存在异常。
若步骤S103至S106的各项检测和预测结果中存在任一或者任意几项异常，均表明流量日志存在异常。
本申请实施例对于流量日志，分别执行流量枚举检测、键值长度检测、乱码分布检测和键值概率预测等四个维度的检测，只要任意维度存在异常即可判定为异常流量。相较于仅仅维护一个规则集进行异常流量的检测，能够通过对特定业务下的大量正常流量建立相应的模型，站在特定业务场景下检测出与正常流量不符的异常流量。能够有效的检测出异常攻击流量，同时又能大幅过滤符合各个模型和检测的白流量，进而降低误报率。本申请适用于Web攻击检测等场景，以及便于应用在防火墙和安全态势感知等产品，显著提高对异常攻击流量的检测能力。
参见图3，图3为本申请实施例所提供的一种异常流量检测系统结构示意图，其可以包括：
日志获取模块，用于获取流量日志；
日志解析模块，用于解析所述流量日志，得到包含value值的键值对序列；
枚举检测模块，用于对所述键值对序列进行枚举检测，得到枚举检测结果；
长度检测模块，用于对所述键值对序列进行value值长度检测，得到长度检测结果；
乱码检测模块，用于对所述键值对序列进行乱码分布检测，得到乱码检测结果；
概率预测模块，用于利用预设概率统计模型预测所述键值对序列中所述value值的概率，得到所述键值对序列的参数预测概率；
异常定位模块，用于若所述枚举检测结果、所述长度检测结果、所述乱码检测结果和所述参数预测概率中存在异常值，确定所述流量日志存在异常。
基于上述实施例，作为优选的实施例，枚举检测模块为用于执行如下步骤的模块：
判断所述键值对序列中的所有value值是否均落在预设枚举样本集合；
若是，确认枚举检测结果正常；
若否，确认枚举检测结果异常。
基于上述实施例，作为优选的实施例，长度检测模块包括：
分布确定单元，用于利用长度检测模型对所述键值对的value值长度进行分布检测，得到键值长度分布；
分布验证单元，用于若所述键值长度分布偏离正常业务流量对应的标准键值长度分布，确定所述流量日志存在长度异常。
基于上述实施例，作为优选的实施例，还包括：：
标准分布确定模块，用于利用切比雪夫不等式确定正常键值对的长度阈值区间；根据所述长度阈值区间确定正常业务流量对应的所述标准键值长度分布。
基于上述实施例，作为优选的实施例，分布确定单元用于利用长度检测模型计算所述键值对的平均长度和标准差；根据所述键值对中value值的实际长度、所述平均长度和所述标准差，得到键值长度分布。
基于上述实施例，作为优选的实施例，乱码检测模块包括：
先验分布构建单元，用于构建乱码先验分布；
真实分布构建单元，用于确定所述键值对序列的真实分布；
距离计算单元，用于计算所述乱码先验分布和所述真实分布之间的距离；
乱码确认单元，用于若所述距离超过阈值，确定所述键值对序列存在乱码。
基于上述实施例，作为优选的实施例，还包括：
建模模块，应与基于所述隐马尔可夫模型对所述键值对序列建模，并配置N-Gram算法，得到预设概率统计模型；
则相应的，所述概率预测模块包括：
预测单元，用于利用所述预设概率统计模型预测所述键值对序列中键值对的预测value值；若所述预测value值与键值对实际value值的差值小于预设阈值区间，确认所述目标键值对预测成功；
概率计算单元，用于统计所述键值对序列中value值预测成功的概率，得到所述键值对序列的参数预测概率。
本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的异常流量检测方法的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种终端，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的异常流量检测方法的步骤。当然所述终端还可以包括各种网络接口，电源等组件。请参见图4，图4为本申请实施例所提供的一种终端的结构示意图，本实施例的终端可以包括：处理器2101和存储器2102。
可选的，该终端还可以包括通信接口2103、输入单元2104和显示器2105和通信总线2106。
处理器2101、存储器2102、通信接口2103、输入单元2104、显示器2105、均通过通信总线2106完成相互间的通信。
在本申请实施例中，该处理器2101，可以为中央处理器(Central ProcessingUnit，CPU)，特定应用集成电路，数字信号处理器、现成可编程门阵列或者其他可编程逻辑器件等。
该处理器可以调用存储器2102中存储的程序。具体的，处理器可以执行上文的实施例中终端所执行的操作。
存储器2102中用于存放一个或者一个以上程序，程序可以包括程序代码，所述程序代码包括计算机操作指令，在本申请实施例中，该存储器中至少存储有用于实现以下功能的程序：
解析所述流量日志，得到包含value值的键值对序列；
对所述键值对序列进行枚举检测，得到枚举检测结果；
对所述键值对序列进行value值长度检测，得到长度检测结果；
对所述键值对序列进行乱码分布检测，得到乱码检测结果；
利用预设概率统计模型预测所述键值对序列中所述value值的概率，得到所述键值对序列的参数预测概率；
若所述枚举检测结果、所述长度检测结果、所述乱码检测结果和所述参数预测概率中存在异常值，确定所述流量日志存在异常。
在一种可能的实现方式中，该存储器2102可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、以及至少一个功能(比如话题检测功能等)所需的应用程序等；存储数据区可存储根据计算机的使用过程中所创建的数据。
此外，存储器2102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。
该通信接口2103可以为通信模块的接口，如GSM模块的接口。
本申请还可以包括显示器2105和输入单元2104等等。
图4所示的终端的结构并不构成对本申请实施例中终端的限定，在实际应用中终端可以包括比图4所示的更多或更少的部件，或者组合某些部件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种异常流量检测方法，其特征在于，包括：
获取流量日志；
解析所述流量日志，得到包含value值的键值对序列；
对所述键值对序列进行枚举检测，得到枚举检测结果；
对所述键值对序列进行value值长度检测，得到长度检测结果；
对所述键值对序列进行乱码分布检测，得到乱码检测结果；
利用预设概率统计模型预测所述键值对序列中所述value值的概率，得到所述键值对序列的参数预测概率；
若所述枚举检测结果、所述长度检测结果、所述乱码检测结果和所述参数预测概率中存在异常值，确定所述流量日志存在异常。
2.根据权利要求1所述的异常流量检测方法，其特征在于，对所述键值对序列进行枚举检测，得到枚举检测结果包括：
判断所述键值对序列中的所有value值是否均落在预设枚举样本集合；
若是，确认枚举检测结果正常；
若否，确认枚举检测结果异常。
3.根据权利要求1所述的异常流量检测方法，其特征在于，对所述键值对序列进行value值长度检测，得到长度检测结果包括：
利用长度检测模型对所述键值对的value值长度进行分布检测，得到键值长度分布；
若所述键值长度分布偏离正常业务流量对应的标准键值长度分布，确定所述流量日志存在长度异常。
4.根据权利要求3所述的异常流量检测方法，其特征在于，确定所述流量日志存在长度异常之前，还包括：
利用切比雪夫不等式确定正常键值对的长度阈值区间；
根据所述长度阈值区间确定正常业务流量对应的所述标准键值长度分布。
5.根据权利要求3所述的异常流量检测方法，其特征在于，利用长度检测模型对所述键值对的value值长度进行分布检测，得到键值长度分布包括：
利用长度检测模型计算所述键值对的平均长度和标准差；
根据所述键值对中value值的实际长度、所述平均长度和所述标准差，得到键值长度分布。
6.根据权利要求1所述的异常流量检测方法，其特征在于，对所述键值对序列进行乱码分布检测，得到乱码检测结果包括：
构建乱码先验分布；
确定所述键值对序列的真实分布；
计算所述乱码先验分布和所述真实分布之间的距离；
若所述距离超过阈值，确定所述键值对序列存在乱码。
7.根据权利要求1所述的异常流量检测方法，其特征在于，利用预设概率统计模型预测所述键值对序列中所述value值的概率，得到所述键值对序列的参数预测概率之前，还包括：
基于所述隐马尔可夫模型对所述键值对序列建模，并配置N-Gram算法，得到预设概率统计模型；
则相应的，所述利用预设概率统计模型预测所述键值对序列中所述value值的概率，得到所述键值对序列的参数预测概率包括：
利用所述预设概率统计模型预测所述键值对序列中目标键值对的预测value值；
若所述预测value值与键值对实际value值的差值小于预设阈值区间，确认所述目标键值对预测成功；
统计所述键值对序列中value值预测成功的概率，得到所述键值对序列的参数预测概率。
8.一种异常流量检测系统，其特征在于，包括：
日志获取模块，用于获取流量日志；
日志解析模块，用于解析所述流量日志，得到包含value值的键值对序列；
枚举检测模块，用于对所述键值对序列进行枚举检测，得到枚举检测结果；
长度检测模块，用于对所述键值对序列进行value值长度检测，得到长度检测结果；
乱码检测模块，用于对所述键值对序列进行乱码分布检测，得到乱码检测结果；
概率预测模块，用于利用预设概率统计模型预测所述键值对序列中所述value值的概率，得到所述键值对序列的参数预测概率；
异常定位模块，用于若所述枚举检测结果、所述长度检测结果、所述乱码检测结果和所述参数预测概率中存在异常值，确定所述流量日志存在异常。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的异常流量检测方法的步骤。
10.一种终端，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-7任一项所述的异常流量检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111679385.5A CN114363061A (zh) | 2021-12-31 | 2021-12-31 | 一种异常流量检测方法、系统、存储介质和终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111679385.5A CN114363061A (zh) | 2021-12-31 | 2021-12-31 | 一种异常流量检测方法、系统、存储介质和终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114363061A true CN114363061A (zh) | 2022-04-15 |
Family
ID=81105567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111679385.5A Pending CN114363061A (zh) | 2021-12-31 | 2021-12-31 | 一种异常流量检测方法、系统、存储介质和终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114363061A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105337985A (zh) * | 2015-11-19 | 2016-02-17 | 北京师范大学 | 一种攻击检测方法及系统 |
| CN105915555A (zh) * | 2016-06-29 | 2016-08-31 | 北京奇虎科技有限公司 | 网络异常行为的检测方法及系统 |
| CN106506630A (zh) * | 2016-10-27 | 2017-03-15 | 中国科学院信息工程研究所 | 一种基于http内容一致性的恶意网络行为发现方法 |
| WO2017107965A1 (zh) * | 2015-12-25 | 2017-06-29 | 北京奇虎科技有限公司 | 一种web异常检测方法和装置 |
| US20170195240A1 (en) * | 2015-01-04 | 2017-07-06 | Huawei Technologies Co., Ltd. | Method and Apparatus for Detecting Type of Network Data Flow |
| CN110113338A (zh) * | 2019-05-08 | 2019-08-09 | 北京理工大学 | 一种基于特征融合的加密流量特征提取方法 |
| US20190288904A1 (en) * | 2016-12-07 | 2019-09-19 | Huawei Technologies Co., Ltd. | Network Detection Method and Apparatus |
| CN111144107A (zh) * | 2019-12-25 | 2020-05-12 | 福建天晴在线互动科技有限公司 | 一种基于切片算法的乱码识别方法 |
| CN112148768A (zh) * | 2020-09-14 | 2020-12-29 | 北京基调网络股份有限公司 | 一种指标时间序列异常检测方法、系统及存储介质 |
| CN112887405A (zh) * | 2021-01-26 | 2021-06-01 | 深信服科技股份有限公司 | 一种入侵防御方法、系统及相关设备 |
| US20210374358A1 (en) * | 2020-05-31 | 2021-12-02 | Salesforce.Com, Inc. | Systems and methods for composed variational natural language generation |
| CN113822067A (zh) * | 2021-08-17 | 2021-12-21 | 深圳市东信时代信息技术有限公司 | 关键信息提取方法、装置、计算机设备及存储介质 |
-
2021
- 2021-12-31 CN CN202111679385.5A patent/CN114363061A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170195240A1 (en) * | 2015-01-04 | 2017-07-06 | Huawei Technologies Co., Ltd. | Method and Apparatus for Detecting Type of Network Data Flow |
| CN105337985A (zh) * | 2015-11-19 | 2016-02-17 | 北京师范大学 | 一种攻击检测方法及系统 |
| WO2017107965A1 (zh) * | 2015-12-25 | 2017-06-29 | 北京奇虎科技有限公司 | 一种web异常检测方法和装置 |
| CN105915555A (zh) * | 2016-06-29 | 2016-08-31 | 北京奇虎科技有限公司 | 网络异常行为的检测方法及系统 |
| CN106506630A (zh) * | 2016-10-27 | 2017-03-15 | 中国科学院信息工程研究所 | 一种基于http内容一致性的恶意网络行为发现方法 |
| US20190288904A1 (en) * | 2016-12-07 | 2019-09-19 | Huawei Technologies Co., Ltd. | Network Detection Method and Apparatus |
| CN110113338A (zh) * | 2019-05-08 | 2019-08-09 | 北京理工大学 | 一种基于特征融合的加密流量特征提取方法 |
| CN111144107A (zh) * | 2019-12-25 | 2020-05-12 | 福建天晴在线互动科技有限公司 | 一种基于切片算法的乱码识别方法 |
| US20210374358A1 (en) * | 2020-05-31 | 2021-12-02 | Salesforce.Com, Inc. | Systems and methods for composed variational natural language generation |
| CN112148768A (zh) * | 2020-09-14 | 2020-12-29 | 北京基调网络股份有限公司 | 一种指标时间序列异常检测方法、系统及存储介质 |
| CN112887405A (zh) * | 2021-01-26 | 2021-06-01 | 深信服科技股份有限公司 | 一种入侵防御方法、系统及相关设备 |
| CN113822067A (zh) * | 2021-08-17 | 2021-12-21 | 深圳市东信时代信息技术有限公司 | 关键信息提取方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107302547B (zh) | 一种web业务异常检测方法及装置 | |
| CN106961419B (zh) | WebShell检测方法、装置及系统 | |
| CN107346388B (zh) | Web攻击检测方法及装置 | |
| CN106649831B (zh) | 一种数据过滤方法及装置 | |
| CN109660518B (zh) | 网络的通信数据检测方法、装置以及机器可读存储介质 | |
| CN108600172B (zh) | 撞库攻击检测方法、装置、设备及计算机可读存储介质 | |
| CN112511561A (zh) | 网络攻击路径确定方法、设备、存储介质及装置 | |
| CN110086829B (zh) | 一种基于机器学习技术进行物联网异常行为检测的方法 | |
| CN115314268B (zh) | 基于流量指纹和行为的恶意加密流量检测方法和系统 | |
| CN115065623B (zh) | 一种主被动相结合的私有工控协议逆向分析方法 | |
| CN110602030A (zh) | 网络入侵阻断方法、服务器及计算机可读介质 | |
| CN115396324A (zh) | 一种网络安全态势感知预警处理系统 | |
| CN111064719B (zh) | 文件异常下载行为的检测方法及装置 | |
| CN110162973B (zh) | 一种Webshell文件检测方法及装置 | |
| CN111294347A (zh) | 一种工控设备的安全管理方法及系统 | |
| CN116383742B (zh) | 基于特征分类的规则链设置处理方法、系统及介质 | |
| CN114363061A (zh) | 一种异常流量检测方法、系统、存储介质和终端 | |
| CN113535458B (zh) | 异常误报的处理方法及装置、存储介质、终端 | |
| KR20170060279A (ko) | 탐지 규칙 검증 장치 및 방법 | |
| CN111435346A (zh) | 离线数据的处理方法、装置及设备 | |
| CN114358581A (zh) | 性能指标的异常阈值确定方法和装置、设备、存储介质 | |
| CN114157486A (zh) | 通信流量数据异常检测方法、装置、电子设备及存储介质 | |
| CN113609111A (zh) | 一种大数据测试方法及系统 | |
| CN109067726B (zh) | 建站系统识别方法、装置、电子设备及存储介质 | |
| CN113328988A (zh) | 基于大数据和云计算的网络安全校验方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |