CN117897702A - 用于自动评估网络流量签名的质量的系统和方法 - Google Patents
用于自动评估网络流量签名的质量的系统和方法 Download PDFInfo
- Publication number
- CN117897702A CN117897702A CN202280031796.XA CN202280031796A CN117897702A CN 117897702 A CN117897702 A CN 117897702A CN 202280031796 A CN202280031796 A CN 202280031796A CN 117897702 A CN117897702 A CN 117897702A
- Authority
- CN
- China
- Prior art keywords
- network traffic
- module
- signature
- automated
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000002776 aggregation Effects 0.000 claims abstract description 140
- 238000004220 aggregation Methods 0.000 claims abstract description 140
- 230000000694 effects Effects 0.000 claims abstract description 76
- 238000004458 analytical method Methods 0.000 claims abstract description 38
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 13
- 238000001514 detection method Methods 0.000 description 20
- 238000007619 statistical method Methods 0.000 description 11
- 206010000117 Abnormal behaviour Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000002265 prevention Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及用于自动评估网络流量签名的质量的系统和方法，该系统和方法能够高效率检测恶意自动化活动，具有反馈功能，能够减少对于计算能力的需求。用于自动评估网络流量签名的质量的系统包括事件收集模块、决策签名列表、分析模块、最终聚合模块和预先聚合模块。预先聚合模块连接到事件收集模块以及分析模块和/或最终聚合模块。预先聚合模块旨在连续处理未处理的数据并执行资源密集型计算。
Description
技术领域
本发明涉及用于自动评估网络流量签名的质量的系统和方法。本发明是网络流量过滤系统的反馈系统，其根据特征签名对网络流量进行分组，然后基于网络流量的统计分析评估每个分组中自动化和非自动化的活动的份额，使得可以检测网络流量中恶意活动的存在。
背景技术
用于评估网络流量签名(signature)的质量和检测网络流量中恶意活动的系统通常由包含在服务器上的若干个模块组成，如数据收集模块、数据库模块、签名标识符模块和数据聚合模块。这些系统是非自动化的，这是因为它们没有提供能够根据收集到的网络流量数据的统计分析自动生成附加签名的模块。
自动化的系统也是已知的，其不仅包括上述模块或其类似物，还包括附加模块，负责用于收集的数据的统计分析、签名生成和签名存储。这些附加模块使得系统自动化成为可能，从而更有效地检测自动化的活动。这些自动化的系统也称为反馈系统。
专利RU2740027C1(2020年12月30日公布；IPC:G06F 21/50；G06F 21/60；H04L 29/06)描述了一种与防止自动恶意攻击的方法和系统有关的发明。其技术成果是确保预防恶意攻击。在该方法中，根据收到的计算机系统会话请求对用户进行评估，收集该请求的数值和统计指标，根据用户与资源进行通信的统计来计算表征用户的指标，根据关于资源的总体统计确定指标，显示用户会话与中位数和平均会话的偏差，根据这些数据，通过统计模型对请求的合法性进行评估，基于该模型将用户确定为合法、可疑或机器人的类别之一，针对合法用户提供对资源的访问权限，针对机器人阻止对资源的访问权限，对可疑用户进行附加检查，同时根据对其行为的分析，向其提供使用非对称加密的加密算法的任务，如果没有正确的解决方案，将其定义为机器人并阻止对资源的访问权限，在正确的解决方案的情况下，将其定义为合法用户并提供访问权限。该系统的第一个缺点是其非自动性。该系统和方法通过预定义的签名检测恶意活动，不需要额外的签名生成。此外，该系统和方法缺少对网络流量进行统计分析的步骤，其允许更有效地检测网络流量中的恶意自动化活动。该系统和方法的另一个缺点是缺少原始数据和最资源密集型计算的预先聚合，因此缺少执行原始数据和最资源密集型计算的预先聚合的数据预先聚合模块。本系统和方法提供了由预先聚合模块执行的步骤，在该步骤中，基于一连串物化视图连续执行原始数据和最资源密集型计算的预先聚合，使得依据聚合的类型，对于最终数据聚合的计算能力的需求降低了2-3个量级。
专利RU253829292C1(2015年1月27日公布；IPC：G06F 21/55)描述了一种与计算机技术有关的发明。其技术效果在于检测不同类型的计算机攻击、不同类型的联合同时攻击，并确定攻击的类型。一种用于对网络计算机系统的计算机攻击进行检测的方法，该系统包括至少一台连接到网络的计算机，该计算机安装了操作系统和包括流量分析系统的应用程序，其中，选择特定参数以分析从网络接收到的数据包并计算其值，然后将其与参考值进行比较，并通过参数的设置条件的组合，确定是否存在单独或联合同时攻击以及攻击类型。系统用于处理从网络流量分析接收到的数据包，其使得可以实时计算流量参数。这种方法的第一个缺点是，恶意自动化活动的检测是根据预定义的签名进行的，因此系统是非自动化的，检测恶意自动化活动的效率不如自动化活动，这是因为它只能检测网络流量中恶意自动化活动落入预先定义的签名内的固定部分。第二个缺点与第一个缺点有关，即该方法不允许生成新的签名。最后一个缺点为缺少原始数据和资源密集型计算的预先聚合，因此缺少执行原始数据和最资源密集型计算的预先聚合的数据预先聚合模块。本系统和方法提供了由预先聚合模块执行的步骤，在该步骤中，基于一连串物化视图连续执行原始数据和最资源密集型计算的预先聚合，使得依据聚合的类型，对于最终数据聚合的计算能力的需求降低了2-3个量级。
专利RU2722693C1(2020年6月3日公布；IPC:G06F 21/56)提供了一种计算机可实现的方法，用于检测恶意软件或网络入侵者的基础设施，其中：接收包含基础设施元素(infrastructure element)的请求，并标记该元素是否属于恶意软件或网络入侵者；从数据库提取所接收基础设施元素的参数、与接收到的基础设施元素相同的恶意程序使用的附加基础设施元素以及附加基础设施元素的参数；分析接收到的基础设施元素和其相关参数以及附加基础设施元素和其相关参数；在分析的基础上，识别接收到的基础设施元素的参数与附加基础设施元素的参数之间的统计关系；基于已识别的统计关系生成用于搜索新的基础设施元素的规则，并从数据库中提取新的基础设施元素；为与特定恶意软件或网络攻击者对应的新元素分配标签，并将结果存储在数据库中。其技术效果在于提高了检测计算机攻击的效率。该系统和方法的缺点在于缺少原始数据和资源密集型计算的预先聚合，因此缺少执行原始数据和最资源密集型计算的预先聚合的数据预先聚合模块。本系统和方法提供了由预先聚合模块执行的步骤，在该步骤中，基于一连串物化视图连续执行原始数据和最资源密集型计算的预先聚合，使得依据聚合的类型，对于最终数据聚合的计算能力的需求降低了2-3个量级。
专利US756569693B2(2009年7月21日公布；IPC：G06F 11/00)描述了一种与网络入侵检测和预防系统有关的发明。该系统包括：基于签名的检测设备、异常行为检测设备、设置在基于签名的检测设备和异常行为检测设备之间的新签名生成验证设备，其中，如果异常行为检测设备检测到疑似网络攻击的数据包，则新签名生成验证设备进行收集和搜索，检测可疑数据包以获取公共信息，然后根据找到的公共信息生成新签名，同时检查生成的新签名是否适用于基于签名的检测设备，在确定生成的新签名适用的情况下，将生成的新签名记入到基于签名的检测设备。该系统和方法的缺点是，由相应的模块执行基于流量中异常行为的检测来检测自动化活动。这使入侵检测和预防系统能够预先识别关于正常用户的正常行为的信息和监控异常网络操作，以便在基于关于正常行为的信息生成与正常行为相悖的异常网络操作的情况下搜索网络入侵等。然而，基于异常行为的检测方法的缺点在于正常用户会被误认为是网络入侵者。此外，不像基于签名的检测方法，异常行为检测方法的缺点还在于检测网络入侵需要很长时间，因此无法保护网络免于被入侵。在所研究的方法中，通过统计分析计算出每组签名的流量的特征份额的边界值。每个签名组可以出现在多个子网络服务对中。该方法计算每个组在每个此类对中的流量的份额，即第25和第75个百分位数。这些数据使得可以计算每个组的预期流量份额。然后将可疑活动与统计上发现的平均用户活动进行比较。这种方法可以更准确、更快速地检测到新的自动化攻击，这些新的自动攻击因为与先前攻击没有联系而没有被该系统和方法在先前检测到。该系统和方法的第二个缺点在于缺少原始数据和资源密集型计算的预先聚合，因此缺少执行原始数据和最资源密集型计算的预先聚合的数据预先聚合模块。本系统和方法提供了由预先聚合模块执行的步骤，在该步骤中，基于一连串物化视图连续执行原始数据和最资源密集型计算的预先聚合，使得依据聚合的类型，对于最终数据聚合的计算能力的需求降低了2-3个量级。
最接近的专利是RU2634209C1(2017年10月24日公布；IPC：G06F 21/35)，其描述了一种与检测计算机攻击的领域有关的发明。其技术效果在于提高了检测计算机攻击的效率。一种在服务器上执行的自动生成反馈入侵检测系统的决策规则的方法至少包括以下步骤：从由至少一个传感器接收的数据形成的事件数据库中接收至少一个事件；分析接收到的至少一个事件是否属于与恶意软件控制中心交互的类别；从与恶意软件控制中心交互的类别有关的至少一个上述事件中提取至少一个用于生成决策规则的特征；使用至少一个上述提取出的特征生成决策规则；存储生成的决策规则，并针对至少一个传感器获得决策规则的更新；传感器循环检查中心节点上的更新的可用性，如果更新是可用的，则接收更新以供使用；在这种情况下，如果在传感器上接收到更新，则触发器将触发重新加载决策规则。该系统和方法的不同和缺点在于缺少原始数据和资源密集型计算的预先聚合，因此缺少执行原始数据和最资源密集型计算的预先聚合的数据预先聚合模块。本系统和方法提供了由预先聚合模块执行的步骤，在该步骤中，基于一连串物化视图连续执行原始数据和最资源密集型计算的预先聚合，使得依据聚合的类型，对于最终数据聚合的计算能力的需求降低了2-3个量级。
发明内容
本发明的目的在于提供并开发一种用于自动评估网络流量签名的质量的系统和方法，提供网络流量中自动化活动的高效检测，并减少最终数据聚合所需的计算能力。
所述目的，例如实现自动化活动的高效率检测、反馈的可能性以及确保减少数据的最终聚合所需的计算能力，通过以下技术效果实现：
利用统计分析实现系统的自动化；
利用统计分析检测网络中是否存在恶意自动化活动；
利用统计分析生成和更新决策签名；
使用原始数据和最资源密集型计算的连续不断预先聚合；
存在数据的最终聚合的步骤，对自动化和非自动化的活动进行分组和份额评估。
该技术效果通过一种用于自动评估网络流量签名的质量的系统实现，所述系统包括事件收集模块、决策签名列表、分析模块和最终聚合模块，其特征在于，所述系统包括被配置为对原始数据和资源密集型计算进行连续处理的预先聚合模块。而且，所述事件收集模块连接预先聚合模块，预先聚合模块连接分析模块和/或最终聚合模块，并且，分析模块还连接最终聚合模块，决策签名列表连接事件收集模块和最终聚合模块。
在这种情况下，需要事件收集模块用于收集网络流量中的事件，并按签名将事件进行分组。决策签名列表对于存储用于检测网络流量中的自动化活动的决策签名是必需的。分析模块对于计算网络流量中自动化和非自动化的活动的特征份额并使用统计分析方法生成边界值和决策签名是必需的。最终聚合模块对于评估例如子-网源、接收器-服务、TCP/IP签名、SSL/TLS签名、HTTP签名之类的每组参数的流量的质量是必需的。数据预先聚合模块对于形成原始数据和最资源密集型计算的连续预先聚合是必需的，其可以极大提高系统性能，并减少最终数据聚合所需的计算能力。
此外，事件收集模块可以被配置为从具有网络能力的至少一台计算机、计算机系统和/或服务器所发送的网络流量中收集事件。
事件收集模块还可以进一步包括分组模块，用于根据一组签名对事件进行分组。
分析模块可进一步包括边界值列表和边界值存储模块，边界值存储模块配置为根据连续不断的新数据自动更新边界值列表。
此外，分析模块可以进一步包括评估模块，其评估是否存在统计异常值。这使得可以在考虑到计算误差的情况下更准确地确定所有事件的边界值。
最终聚合模块可以包括被配置为更新决策签名列表的签名存储模块。由于根据不断更新的数据统计评估未知和正式合法的签名，这使得可以更准确地识别网络上的自动恶意活动。
此外，技术效果是通过服务器上用软件和循环方式实现的自动评估网络流量签名的质量的方法而取得，其使用事件收集模块收集网络流量中的事件，使用预先聚合模块对原始数据和最资源密集型计算进行预先聚合，基于收集的事件使用分析模块计算每个事件在网络流量中自动化和非自动化的活动的特征份额的边界值，并使用最终聚合模块对网络流量中收集的所有事件进行最终聚合。
同时，收集网络流量中事件的步骤是形成网络流量事件的检查自动恶意活动的数据库所必需的。对原始数据和最资源密集型计算进行预先聚合的步骤对于提高所述方法的速度并减少最终数据聚合阶段所需的计算能力是必需的。计算网络流量中自动和非自动的活动的特征份额的边界值的步骤是使用统计分析方法生成边界值和确定网络流量中恶意自动活动的份额所必需的。执行所有事件的最终聚合的步骤是形成决策签名所必需的。
此外，在网络流量中收集事件的步骤之后，可以执行按签名对事件进行分组的步骤。这使得更容易将签名与决策签名列表进行比较，并生成新的决策签名。
此外，在根据收集到的事件计算网络流量中自动化和非自动化的活动的特征份额的边界值的步骤之后，可使用边界值存储模块自动更新每个事件的边界值列表。这使得系统更有效地检测和识别恶意自动化活动。
此外，在计算收集到的事件的步骤之后，网络流量中自动化和非自动化的活动的特征份额的边界值可以使用评估模块估计每个事件的统计异常值的存在。这使得可以在考虑到计算误差的情况下更精确地确定每个事件的边界值。
在使用预先聚合模块对原始数据进行预先聚合的步骤，可以进一步记录原始数据，并对记录的原始数据执行资源密集型计算，这提高了该方法的速度，并且还降低了最终数据聚合步骤需要的计算能力。
在将原始数据进行预先聚合的步骤，在对记录的原始数据执行资源密集型计算的步骤之后，可以另外使用预先聚合模块至少将预先处理的数据发送到分析模块和/或将预先处理的数据发送到最终聚合模块，其提高了方法的效率，还减少了数据最终聚合的阶段和统计分析的阶段所需的计算能力。
此外，在执行所有事件的最终聚合的步骤，可以比较计算出的网络流量中自动化和非自动化的活动的特征份额的边界值。这使得可以评估网络流量中潜在恶意活动的存在。
此外，在执行所有事件的最终聚合的步骤，可以将计算出的网络流量中自动化和非自动化的活动的特征份额的边界值与针对至少一个先前周期计算出的网络流量中自动化和非自动化的活动的特征份额的边界值进行比较。这使得可以将新接收到的数据与之前周期接收到的数据进行比较，进而提供有关网络流量中存在或不存在恶意活动的更准确信息。
此外，在执行所有事件的最终聚合的步骤，可以根据计算出的网络流量中自动化和非自动化的活动的特征份额的边界值，评估网络流量中自动化和非自动化的活动的比率。该评估使得可以了解网络流量中自动化活动的份额，并检查其是否超出标准，这同样使得可以跟踪网络流量中恶意活动的存在或不存在。
此外，在执行所有事件的最终聚合的步骤，可以执行决策签名的生成。这使得可以标记所检测到的恶意网络活动。
此外，在执行所有事件的最终聚合的步骤，可以将生成的决策签名保存到决策签名列表，使得可以存储所发现的恶意网络活动。
此外，在执行所有事件的最终聚合的步骤，可以使用包含在最终聚合模块中的签名存储模块，用生成的决策签名更新决策签名列表。这使得可以自动删除和存储新生成的决策签名，其可在以后用于检测恶意网络活动。
此外，最终聚合处理可以按照步骤执行如下。首先，可以比较计算出的网络流量中自动化和非自动化的活动的特征份额的边界值，然后，将计算出的网络流量中自动化和非自动化的活动的特征份额的边界值与至少一个先前周期计算出的网络流量中自动化和非自动化的活动的特征份额的边界值进行比较。之后，可以根据计算出的网络流量中自动化和非自动化的活动的特征份额的边界值，评估网络流量中自动化和非自动化的活动的比率。根据该评估，可以生成决策签名，将决策签名存储在决策签名列表，和/或使用签名存储模块以生成的决策签名更新决策签名列表。
此外，为了便于将签名与决策签名列表进行比较并生成新的决策签名，针对按照签名生成的事件分组中的每一个，可以单独执行以上步骤中的任何一个。
附图说明
本申请的主题已经逐点加以描述，并且在权利要求书中清楚地声明。本发明的上述目的、特征和优点将结合以下具体实施方式和附图变得明显，在附图中：
图1A是用于自动评估网络流量签名的质量的系统的示意图。
图1B示出具有附加元素的自动评估网络流量签名的质量的系统的示意图。
图2A是示出自动评估网络流量签名的质量的方法的一个实施例的流程图。
图2B是示出具有对事件进行分组的附加步骤的自动评估网络流量签名的质量的方法的一个实施例的流程图。
图2C是示出具有自动更新边界值列表的附加步骤的自动评估网络流量签名的质量的方法的一个实施例的流程图。
图2D是示出具有评估统计异常值的存在的附加步骤的自动评估网络流量签名的质量的方法的一个实施例的流程图。
图2E是示出具有原始数据预先聚合处理的变型的自动评估网络流量签名的质量的方法的一个实施例的流程图。
图2F是示出具有另一数据处理顺序选项的自动评估网络流量签名的质量的方法的一个实施例的流程图。
图2G是示出具有实现最终聚合处理的选项的自动评估网络流量签名的质量的方法的一个实施例的流程图。
图2H是示出组合以上选项的自动评估网络流量签名的质量的方法的一个实施例的流程图。
具体实施方式
在本发明的实施方式的以下详细描述中，提供了许多实施细节以提供对本发明的清楚理解。然而，对于本领域的技术人员来说，如何使用本发明是显而易见的，无论有没有这些实施细节。在其他情况下，公知的方法、过程和组件未详细描述，以免混淆本发明的特征。
此外，从以上清楚地是，本发明并不局限于上述实施方式。许多可能的修改、变更、变化和替代保留了本发明的精神和形式，对于本领域技术人员将会是明显的。
图1A是用于自动评估网络流量签名的质量的系统的示意图。用于自动评估网络流量签名的质量的系统包括事件收集模块100、预先聚合模块200、分析模块300、最终聚合模块400和决策签名列表500。事件收集模块100连接预先聚合模块200，预先聚合模块200又连接分析模块300和/或最终聚合模块400。分析模块300还连接最终聚合模块400，并且最终聚合模块400连接决策签名列表500。决策签名列表连接事件收集模块100。同时，数据预先聚合模块200被设计为能够连续处理原始数据和最资源密集型计算。
该系统运行如下。使用事件收集模块100收集事件。然后，收集到的事件发送到预先聚合模块200，以进行原始数据和最资源密集型计算的预先聚合。之后，预先聚合的数据发送到分析模块300和/或最终聚合模块400。如果预先聚合的数据发送至分析模块300，则在分析模块300中，利用该数据计算网络流量中自动化和非自动化的活动的特征份额的边界值。然后，预先聚合的最资源密集型数据连同计算出的边界值一起发送到最终聚合模块400，该模块继而利用这些数据进行最终的数据聚合。如果预先聚合模块200将预先聚合的数据直接发送到最终聚合模块400，则在不事先计算网络流量中自动和非自动的活动的特征份额的边界值的情况下，对其进行最终聚合。在预先聚合的数据经过最终聚合处理后，生成决策签名并将其存储于决策签名列表500，其进一步在事件收集处理中供事件收集模块100使用。
用于自动评估网络流量签名的质量的系统还可以包括附加的子模块(以下称为模块)，其示出在图1B中。
用于自动评估网络流量签名的质量的系统的事件收集模块100可另外连接到远程设备600，并配置为从至少一个远程设备600收集网络流量中的事件。远程设备600可以是被配置为连接到网络的计算机、计算机系统和/或服务器。
此外，事件收集模块100还可进一步包括分组模块101，用于按照签名对收集到的事件进行分组。
分析模块300可进一步包括边界值列表301和边界值存储模块302。边界值列表用于存储分析模块300计算出的网络流量中自动化和非自动化的活动的特征份额的边界值。边界值存储模块302设计为在分析模块300针对网络流量中自动和非自动的活动的特征份额已经计算出新边界值的情况下更新边界值列表301。
此外，分析模块300还可以包括评估模块303，用于评估统计异常值的存在。
最终聚合模块400可以进一步包括签名存储模块401，其被配置为在最终聚合步骤中生成新的决策签名的情况下更新决策签名列表500。
上述附加模块和列表包含在任何主要模块和列表中，可以根据系统的需要所有一起或者单独地整合在系统中。下文将描述系统运行的一个示例性实施例，其包括上述附加模块和列表中的每一个，但是，下文中描述的某些要点显然可以从系统中替换和/或去除，而不会对技术结果造成显著损失。
根据图1B中框图的自动评估网络流量签名的质量的系统运行如下。使用事件收集模块100，从远程设备600中收集网络流量中的事件。使用包括在事件收集模块100中的分组模块101将收集到的事件按签名进行分组。按签名分组的事件被发送到预先聚合模块200，在此按照签名的分组进行原始数据和最资源密集型计算的预先聚合。之后，预先聚合的数据被发送到分析模块300和/或最终聚合模块400。如果预先聚合的数据发送至分析模块300，则在分析模块300中，利用这些数据计算网络流量中自动化和非自动化的活动的特征份额的边界值。如果已经首次计算边界值，则计算出的边界值存储在边界值列表301中。如果已经计算出与边界值列表301中已存储的那些边界值不同的新边界值，则使用边界值存储模块302以该新边界值更新边界值列表301。此外，使用分析模块300中包括的评估模块303对统计异常值进行评估。然后，预先聚合的数据连同计算出的边界值一起发送到最终聚合模块400，最终聚合模块400又对它们进行最终数据聚合的处理。如果预先聚合模块200将预先处理的数据直接发送到最终聚合模块400，则对它们执行最终聚合处理，而无需预先计算网络流量中自动化和非自动化的活动的特征份额的边界值。在预先处理的数据经过最终聚合处理后，生成决策签名并存储于决策签名列表500，其进一步在事件收集处理中供事件收集模块100使用。如果决策签名列表500已经存储之前生成的决策签名，则利用包含在最终聚合模块400中的决策签名存储模块401更新决策签名列表500。
图2A是图示用于自动评估网络流量签名的质量的方法的流程图。根据所提出的方法，首先，使用事件收集模块100在网络流量中收集事件。此后，使用预先聚合模块200对收集到事件原始数据进行预先聚合。之后，基于收集到的事件使用分析模块300计算网络流量中自动化和非自动化的活动的特征份额的边界值。然后，使用最终聚合模块400执行网络流量中所有收集到的事件的最终聚合。上述操作顺序程序化地循环执行。
图2B是图示具有一附加步骤的用于自动评估网络流量签名的质量的方法的流程图，在该附加步骤中，在使用事件收集模块100收集网络流量中的事件的步骤之后，使用包括在事件收集模块100中的分组模块101按签名对事件进行分组。
图2C是图示具有一附加步骤的用于自动评估网络流量签名的质量的方法的流程图，在该附加步骤中，在基于收集到的事件计算网络流量中自动化和非自动化的活动的特征份额的边界值的步骤之后，使用边界值存储模块302自动更新边界值列表301。
图2D是图示具有一附加步骤的用于自动评估网络流量签名的质量的方法的流程图，在该附加步骤中，在基于收集到的事件估计网络流量中自动化和非自动化的活动的特征份额的边界值的步骤之后，使用分析模块300中包含的评估模块303估计统计异常值的存在。
可以用许多方式实现数据预先聚合的步骤，但图2E中所示的方式是优选方式。这里示出具有一种可能实现方式的用于自动评估网络流量签名的质量的方法的流程图，该实现方式包括以下步骤：预先聚合原始数据，记录从事件收集的原始数据，然后对从事件收集到的被记录原始数据执行资源密集型计算。也可以在不记录原始数据的情况下执行该步骤。执行资源密集型计算之前的原始数据可以存储于网络流量当时正在被监控的远程计算机，可以存储于临时存储器、第三方数据库等，即存储于预先聚合模块可以对它们执行资源密集型计算的任何地方。
图2F是图示具有一附加步骤的用于自动评估网络流量签名的质量的方法的流程图，在该附加步骤中，预先聚合的数据发送到分析模块300或最终聚合模块400。
图2G示出具有执行最终数据聚合的步骤的可能实现方式选项的用于自动评估网络流量签名的质量的方法的框图。根据第一实现方式选项，在最终聚合阶段，使用最终聚合模块400比较计算出的网络流量中自动化和非自动化的活动的特征份额的边界值。根据第二实现方式选项，在最终聚合阶段，将计算出的网络流量中自动和非自动的活动的特征份额的边界值与针对至少一个先前周期计算出的网络流量中自动和非自动的活动的特征份额的边界值进行比较。根据第三实现方式选项，在最终聚合阶段，根据计算出的网络流量中自动化和非自动化的活动的特征份额的边界值，评估网络流量中自动化和非自动化的活动的比率。根据第四实现方式选项，在最终聚合步骤，生成决策签名，将生成的决策签名存储于决策签名列表500，或使用签名存储模块401以生成的决策签名更新决策签名列表500。最终聚合步骤的上述实现方式可以单独执行，也可以以任何组合的方式执行。
图2H是图示用于自动评估网络流量签名的质量的方法的流程图，其整合了包括基础和可选的所有上述步骤。
此外，在使用事件收集模块100中包括的分组模块101按签名对收集到的事件进行分组的步骤之后，用于自动评估网络流量签名的质量的方法的每个步骤可以针对每个签名分组单独地执行。
本申请材料提供了对于所要求保护的技术解决方案的实现的优选公开方式，其不用作限制不超过所请求保护范围并且对于本领域技术人员显而易见的实现方式的其他特定实施例。
Claims (20)
1.一种用于自动评估网络流量签名的质量的系统，包括事件收集模块、决策签名列表、分析模块和最终聚合模块，其特征在于，所述系统包括用于连续处理原始数据和进行资源密集型计算的预先聚合模块，所述事件收集模块连接所述预先聚合模块，所述预先聚合模块连接所述分析模块和/或所述最终聚合模块，所述分析模块还连接所述最终聚合模块，所述决策签名列表连接所述事件收集模块和所述最终聚合模块。
2.如权利要求1所述的用于自动评估网络流量签名的质量的系统，其特征在于，所述事件收集模块用于从被配置为连接到网络的至少一台计算机、计算机系统和/或服务器收集网络流量中的事件。
3.如权利要求1和2所述的用于自动评估网络流量签名的质量的系统，其特征在于，所述事件收集模块包括分组模块。
4.如权利要求1所述的用于自动评估网络流量签名的质量的系统，其特征在于，所述分析模块包括边界值列表和用于更新边界值列表的边界值存储模块。
5.如权利要求1所述的用于自动评估网络流量签名的质量的系统，其特征在于，所述分析模块包括评估模块，用于评估统计异常值的存在。
6.如权利要求1所述的用于自动评估网络流量签名的质量的系统，其特征在于，所述最终聚合模块包括签名存储模块，用于更新决策签名列表。
7.一种用于自动评估网络流量签名的质量的方法，其循环地执行以下：
■使用事件收集模块收集网络流量中的事件；
■使用预先聚合模块对原始数据进行预先聚合；
■基于收集到的事件，使用分析模块计算网络流量中自动化和非自动化的活动的特征份额的边界值；
■使用最终聚合模块对网络流量中收集到的所有事件进行最终聚合。
8.如权利要求7所述的用于自动评估网络流量签名的质量的方法，其特征在于，在使用所述事件收集模块收集网络流量中的事件的步骤之后，使用包括在事件收集模块中的分组模块按签名对事件进行分组。
9.如权利要求7和8所述的用于自动评估网络流量签名的质量的方法，其特征在于，在基于收集到的事件计算网络流量中自动化和非自动化的活动的特征份额的边界值的步骤之后，利用边界值存储模块自动更新边界值列表。
10.如权利要求7和8所述的用于自动评估网络流量签名的质量的方法，其特征在于，在基于收集到的事件计算网络流量中自动化和非自动化的活动的特征份额的边界值的步骤之后，使用评估模块评估统计异常值的存在。
11.如权利要求7所述的用于自动评估网络流量签名的质量的方法，其特征在于，在使用预先聚合模块对原始数据进行预先聚合的步骤，按照如下执行：
■记录从事件收集的原始资源密集型数据；
■对从事件收集到的被记录原始数据进行资源密集型计算。
12.如权利要求7和10所述的用于自动评估网络流量签名的质量的方法，其特征在于，在对原始数据进行预先聚合的步骤,在对被记录原始数据进行资源密集型计算的步骤之后，使用预先聚合模块执行以下中的至少一个：
■将预先处理的数据发送至分析模块；
■将预先处理的数据发送至最终聚合模块。
13.如权利要求7所述的用于自动评估网络流量签名的质量的方法，其特征在于，通过比较计算出的网络流量中自动化和非自动化的活动的特征份额的边界值，使用最终聚合模块对所有事件进行最终聚合。
14.如权利要求7所述的用于自动评估网络流量签名的质量的方法，其特征在于，通过将计算出的网络流量中自动化和非自动化的活动的特征份额的边界值与至少一个先前周期计算出的网络流量中自动化和非自动化的活动的特征份额的边界值进行比较，执行使用最终聚合模块对所有事件的最终聚合。
15.如权利要求7所述的用于自动评估网络流量签名的质量的方法，其特征在于，通过基于计算出的网络流量中自动化和非自动化的活动的特征份额的边界值估计网络流量中自动化和非自动化的活动的比率，执行使用最终聚合模块对所有事件的最终聚合。
16.如权利要求14和15所述的用于自动评估网络流量签名的质量的方法，其特征在于，对于使用最终聚合模块的所有事件的最终聚合，根据评估结果生成决策签名。
17.如权利要求16所述的用于自动评估网络流量签名的质量的方法，其特征在于，对于所有事件的最终聚合，使用最终聚合模块将生成的决策签名存储到决策签名列表中。
18.如权利要求16和17所述的用于自动评估网络流量签名的质量的方法，其特征在于，对于使用最终聚合模块的所有事件的最终聚合，使用最终聚合模块中包括的签名存储模块以生成的决策签名更新决策签名列表。
19.如权利要求7所述的用于自动评估网络流量签名的质量的方法，其特征在于，使用最终聚合模块对所有事件的最终聚合按照如下执行：
■将计算出的网络流量中自动化和非自动化的活动的特征份额的边界值与至少一个先前周期计算出的网络流量中自动化和非自动化的活动的特征份额的边界值进行比较；
■基于计算出的网络流量中自动化和非自动化的活动的特征份额的边界值，评估网络流量中自动化和非自动化的活动的比率；
■根据评估结果生成决策签名；
■将生成的决策签名存储在决策签名列表中；
■使用包括在最终聚合模块中的签名存储模块，以生成的决策签名更新决策签名列表。
20.如权利要求7-19中任何一个所述的用于自动评估网络流量签名的质量的方法，其特征在于，对于使用分组模块根据签名形成的每一个事件分组，单独地执行所述步骤中的每一个。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2021112789A RU2781822C1 (ru) | 2021-04-30 | Система и способ автоматической оценки качества сигнатур сетевого трафика | |
| RU2021112789 | 2021-04-30 | ||
| PCT/RU2022/050138 WO2022231480A2 (ru) | 2021-04-30 | 2022-04-26 | Система и способ автоматической оценки качества сигнатур сетевого трафика |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117897702A true CN117897702A (zh) | 2024-04-16 |
Family
ID=83848418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280031796.XA Pending CN117897702A (zh) | 2021-04-30 | 2022-04-26 | 用于自动评估网络流量签名的质量的系统和方法 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4332804A2 (zh) |
| CN (1) | CN117897702A (zh) |
| WO (1) | WO2022231480A2 (zh) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100611741B1 (ko) | 2004-10-19 | 2006-08-11 | 한국전자통신연구원 | 네트워크 침입 탐지 및 방지 시스템 및 그 방법 |
| RU2538292C1 (ru) | 2013-07-24 | 2015-01-10 | Открытое Акционерное Общество "Информационные Технологии И Коммуникационные Системы" | Способ обнаружения компьютерных атак на сетевую компьютерную систему |
| RU2634209C1 (ru) | 2016-09-19 | 2017-10-24 | Общество с ограниченной ответственностью "Группа АйБи ТДС" | Система и способ автогенерации решающих правил для систем обнаружения вторжений с обратной связью |
| RU2722693C1 (ru) | 2020-01-27 | 2020-06-03 | Общество с ограниченной ответственностью «Группа АйБи ТДС» | Способ и система выявления инфраструктуры вредоносной программы или киберзлоумышленника |
| RU2740027C1 (ru) | 2020-02-12 | 2020-12-30 | Варити Менеджмент Сервисез Лимитед | Способ и система предотвращения вредоносных автоматизированных атак |
-
2022
- 2022-04-26 EP EP22796264.4A patent/EP4332804A2/en active Pending
- 2022-04-26 WO PCT/RU2022/050138 patent/WO2022231480A2/ru active Application Filing
- 2022-04-26 CN CN202280031796.XA patent/CN117897702A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022231480A3 (ru) | 2023-01-19 |
| WO2022231480A2 (ru) | 2022-11-03 |
| EP4332804A2 (en) | 2024-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11966319B2 (en) | Identifying anomalies in a data center using composite metrics and/or machine learning | |
| JP6201614B2 (ja) | ログ分析装置、方法およびプログラム | |
| CN111935172B (zh) | 基于网络拓扑的网络异常行为检测方法、计算机装置及计算机可读存储介质 | |
| US8191149B2 (en) | System and method for predicting cyber threat | |
| US9386030B2 (en) | System and method for correlating historical attacks with diverse indicators to generate indicator profiles for detecting and predicting future network attacks | |
| US20070289013A1 (en) | Method and system for anomaly detection using a collective set of unsupervised machine-learning algorithms | |
| US20140223555A1 (en) | Method and system for improving security threats detection in communication networks | |
| KR20190075861A (ko) | DoS/DDoS 공격의 탐지 방법, 장치, 서버 및 저장 매체 | |
| Rahal et al. | A distributed architecture for DDoS prediction and bot detection | |
| CN105009132A (zh) | 基于置信因子的事件关联 | |
| CN114915479B (zh) | 一种基于Web日志的Web攻击阶段分析方法及系统 | |
| EA031992B1 (ru) | Система анализа записей | |
| US9961047B2 (en) | Network security management | |
| Ferrando et al. | Classification of device behaviour in internet of things infrastructures: towards distinguishing the abnormal from security threats | |
| US20230087309A1 (en) | Cyberattack identification in a network environment | |
| CN113645215B (zh) | 异常网络流量数据的检测方法、装置、设备及存储介质 | |
| Ebrahimi et al. | Automatic attack scenario discovering based on a new alert correlation method | |
| CN115801307A (zh) | 一种利用服务器日志进行端口扫描检测的方法和系统 | |
| CN117897702A (zh) | 用于自动评估网络流量签名的质量的系统和方法 | |
| RU2781822C1 (ru) | Система и способ автоматической оценки качества сигнатур сетевого трафика | |
| CN116155519A (zh) | 威胁告警信息处理方法、装置、计算机设备和存储介质 | |
| CN115098602B (zh) | 基于大数据平台的数据处理方法、装置、设备及存储介质 | |
| AU2021101364A4 (en) | An artificial intelligence based network security system | |
| AU2020104405A4 (en) | An artificial intelligence based system for proactive network security | |
| Wang et al. | Adaptive feature-weighted alert correlation system applicable in cloud environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |