CN110620785B - 一种基于报文标记数据流的并行检测方法、系统及存储介质 - Google Patents
一种基于报文标记数据流的并行检测方法、系统及存储介质 Download PDFInfo
- Publication number
- CN110620785B CN110620785B CN201910940754.8A CN201910940754A CN110620785B CN 110620785 B CN110620785 B CN 110620785B CN 201910940754 A CN201910940754 A CN 201910940754A CN 110620785 B CN110620785 B CN 110620785B
- Authority
- CN
- China
- Prior art keywords
- node
- detection
- data stream
- data
- joint control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种基于报文标记的数据流并行检测方法、系统及存储介质。其中，数据流到达所述流分发节点入口；将数据流发送到联合控制节点；获得标识数据流；将所述标识数据流发送回所述流分发节点；根据所述流表策略将所述标识数据流发送到检测节点；对所述标识数据流进行检测，并将检测结果发送回所述联合控制节点。本方法所提出的并行检测实现高性能入侵检测的重要技术手段，并行检测系统通过多检测引擎进行并行检测，具有高性能和可扩展的特点，通过在数据报文中加入特征识别码的方式，以实现高效率的网络数据流的并行检测方法；并通多个检测模块实现多形式的检测手段，以提高数据流检测的准确率。
Description
技术领域
本发明涉及网络入侵检测领域，尤其是一种基于报文标记的数据流并行检测方法、系统及存储介质。
背景技术
随着互联网的普及，网络的规模和传输速度也急剧增长，网络入侵检测系统的处理速度难以跟上网络的速度，基于单检测引擎的网络入侵检测系统依靠改进硬件和检测算法来提高处理性能，已无法适应10Gb/s以上流量的线性处理要求，使用多个检测模块并行处理网络数据流可以大幅度提高网络入侵检测系统的性能，而使用方法的关键是如何将网络数据进行标记，保证划分数据流后不丢失检测攻击所需的信息。
目前网络入侵检测系统需要处理大量的数据，每个数据都需要检测漏洞攻击、病毒、行为分析等一系列的检测模块处理，处理能力的不足会引起入侵事件的漏报，并加大网络的延时。
发明内容
本发明实施例旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明实施例的目的是提供一种基于报文标记的数据流并行检测方法、系统及存储介质，能够实现高性能入侵检测，并通过在数据报文中增加标识解决了并行检测中数据包的识别问题。
本发明所采用的技术方案是：
第一方面，本发明实施例提供一种基于报文标记数据流的并行检测方法，包括以下步骤：
管理节点根据节点设置，在流分发节点中生成流表策略，数据流到达所述流分发节点入口；
所述流分发节点根据所述流表策略将数据流发送到联合控制节点；
所述联合控制节点判断所述流分发节点发送的所述数据流是否需要检测，对需要检测的所述数据流中的数据报文进行标记，获得标识数据流；
所述联合控制节点将所述经过标记后的所述数据报文缓存，并将所述标识数据流发送回所述流分发节点；
所述流分发节点接收所述联合控制节点发送的所述标识数据流，根据所述流表策略将所述标识数据流发送到检测节点；
所述检测节点中的各功能模块对所述标识数据流进行检测，并将检测结果发送回所述联合控制节点；
所述联合控制节点接收所述检测结果，确定发送或者丢弃报文。
进一步的，所述联合控制节点判断所述流分发节点发送的数据流是否需要检测，对需要检测的所述数据流进行标记，获得标识数据流，具体为，根据检测到的节点信息，生成初始汇聚节点掩码，并在所述数据流中需要检测的数据报文上添加标识码以实现标记，获得标识数据流。
进一步的，所述检测节点中的各子节点包括入侵检测节点和/或病毒检测节点和/或行为分析节点和/或大数据分析节点。
进一步的，所述功能模块对所述标识数据流进行检测，具体为：所述功子节点接收所述标识数据流，并对接收的所述标识数据流进行流应用协议识别、会话管理、报文重组，根据所述标识数据流中数据报文的识别码和所述子节点ID生成检测结果。
进一步的，所述联合控制节点接收所述检测结果，确定发送或者丢弃报文，具体为：所述联合控制节点接收所述检测结果，重新计算汇聚掩码，汇总所述检测结果，并根据各所述分析检测模块生成的所述检测结果生成最终检测结果，若所述最终检测结果正常，将所述标识数据流发送到出口；若所述最终检测结果异常，丢弃所述标识数据流。
进一步的，所述初始汇聚节点掩码为32位无符号整形数，所述检测节点中的各功能模块分别占用8个字节。
第二方面，本发明实施例提供一种基于报文标记数据流的并行检测系统，包括：
管理模块，所述管理模块管理各模块的节点信息；
联合控制模块，所述联合控制模块用于数据流的数据报文的标记、汇聚检测结果，确定发送或者丢弃数据流；
流分发模块，所述流分发模块用于对数据流的复制和/或分发；
检测模块，所述检测模块对所述数据流进行检测，并将所述检测结果发送回所述联合控制模块。
进一步的，所述节点信息包括应用服务信息和/或信息审计信息。
进一步的，所述检测模块包括入侵检测模块、病毒检测模块、行为检测模块和/或大数据检测模块。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行前述的方法。
本发明的有益效果是：
本方法所提出的并行检测实现高性能入侵检测的重要技术手段，并行检测系统通过多检测引擎进行并行检测，具有高性能和可扩展的特点，通过在数据报文中加入特征识别码的方式，以实现高效率的网络数据流的并行检测方法；并通多个检测模块实现多形式的检测手段，以提高数据流检测的准确率。
附图说明
图1是本发明中实施例基于报文标记数据流的并行检测方法的工作流程图；
图2是本发明中实施例基于报文标记数据流的并行检测系统的结构图；
图3是本发明实施例中初始汇聚节点掩码的分配示意图；
图4是本发明实施例中新生成汇聚节点掩码的分配示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
为了能够更好的理解本申请的技术方案，现对本申请中涉及到的关键术语进行定义：
流表：流表是由控制层中的控制器下发给转发层中的物理设备如交换机等；
流表策略：流表策略是根据联合控制节点，入侵检测节点，病毒检测节点，行为检测节点，大数据检测节点等的网络配置信息，在流分发节点上生成网络数据转发功能的流表。
实施例1
请参阅图1，图1是本发明实施例基于报文标记数据流的并行检测方法的工作流程图，基于报文标记数据流的并行检测方法，包括以下步骤：
S1:管理节点根据业务服务器IP和检测节点设置，在流分发节点中生成流表策略，数据流到达流分发节点入口；在该步骤中，该生成的流策略表将成为数据流分发的依据，流分发节点用于对数据流的复制、分发等功能。
S2:流分发节点根据流表策略将数据流发送到联合控制节点；在该步骤中，联合控制节点用于数据报文的标记，汇聚检测节点的检测结果等，具体的，检测节点包括入侵检测节点、病毒检测节点、行为检测节点和大数据检测节点，可以理解的是，各检测模块所对应的位置即对应的检测阶节点，例如，入侵检测模块所处位置即对应入侵检测节点，行为检测模块所处位置即对应行为检测节点，以此类推。
S3:联合控制节点根据需要保护的业务应用服务器所设置的协议、IP和端口来判断流分发节点发送的数据流是否需要检测，对需要检测的数据流中的数据报文进行标记，获得标识数据流；在该步骤中，联合控制节点根据检测到的节点信息，生成初始汇聚节点掩码，并在数据流中需要检测的数据报文上添加标识码以实现标记，获得标识数据流。该标识码包含特殊的识别码、数据报文的唯一序列号等信息。
在一种具体的实施方式中，参见图3，联合控制节点根据从管理节点中获取检测节点信息列表，生成一个32位无符号整形初始汇聚节点掩码，入侵检测节点、病毒检测节点、行为检测和大数据检测各使用8个字节。目前，所有检测节点设计为各支持8个字节。当前的所有数据流都会通过联合控制节点转到入侵检测节点、病毒检测节点、行为检测节点、大数据分析节点进行检测。
在一种具体的实施方式中，从检测节点信息列表中查找配置入侵检测模块的节点，根据索引号进行升序排列，入侵检测模块的节点有3个，则按升序生成索引号0，1，2。根据位移计算得出3个检测节点的掩码为001，010和100(对应索引号0，1，2)。
在本实施例中，汇聚掩码是用来判断检测节点是否都完成检测任务的，例如，有三个节点，初始的汇聚节点都是111，此时，节点1的掩码为001，节点2的掩码为010，节点3的掩码为100，三个节点进行或运算掩码为111，如果有某一节点没有返回消息，则掩码值将不再是111。
因此，参见图4，此时对应联合控制节点的汇聚掩码为：11111111 1111111111111111 11111000，可确定需要实施检测的节点为入侵检测节点。
应当理解的是，病毒检测节点、行为检测节点和大数据检测节点和入侵检测节点相似。
S4:联合控制节点将经过标记后的数据报文缓存，并将标识数据流发送回流分发节点；
S5:流分发节点接收联合控制节点发送的标识数据流，根据流表策略将标识数据流发送到检测节点；这些检测节点即入侵检测节点、病毒检测节点、行为检测节点和大数据检测节点。
S6:检测节点中的各功能模块对标识数据流进行检测，并将检测结果发送回联合控制节点；
在一种具体的实施方式中，入侵检测节点在收到标识数据流后，对标识数据流应用协议识别，会话管理，报文重组，进行入侵行为检测后，根据标识数据流的唯一标识、当前入侵检测节点的ID，生成检测结果，然后发送给联合控制节点；
病毒检测节点在收到标识数据流后，对标识数据流后应用协议识别，会话管理，报文重组，进行病毒内容检测后，根据数据报文的唯一标识、检测节点的ID生成检测结果，然后发送给联合控制节点；
行为检测节点在收到标识数据流后，对标识数据流后应用协议识别，会话管理，报文重组，进行数据行为检测后，根据数据报文的唯一标识将检测结果发送到联合控制节点；
大数据分析节点在收到标识数据流后，进行大数据分析后，根据数据报文的唯一标识将检测结果发送到联合控制节点。
在上述各子节点的检测流程中，其中应用协议识别是对数据流采用基于AC多模式匹配算法的应用层协议识别，会话管理是基于网络会话层的建立和维护应用之间通信的机制，报文重组是基于网络应用协议及其内容相关性进行的数据还原；
入侵行为检测就是基于入侵行为特征库的网络数据包特征检测。
S7：联合控制节点接收检测结果，确定发送或者丢弃数据流。
在一种具体的实施方式中，联合控制节点接收所各检测节点检测结果，重新计算汇聚掩码为：11111111 11111111 11111111 11111111，汇总检测结果，并根据各分析检测模块生成的检测结果生成最终检测结果，若最终检测结果没有任何攻击、病毒等信息，将标识数据流发送到出口；若最终检测结果有任何攻击、病毒等信息，丢弃标识数据流。
本实施例通过在需要检测的数据流中对数据报文进行标记，实现高效率的网络数据流的并行检测方法；并通多个检测模块实现多形式的检测手段，以提高数据流检测的准确率。
实施例2
基于实施例1另提供实施例2，实施例2提供了一种基于报文标记数据流的并行检测系统，用于执行实施例1的方法，一种基于报文标记数据流的并行检测系统，包括：
管理模块，管理模块管理各节点信息；具体地，节点信息包括应用服务信息和/或信息审计信息，管理模块生成流表策略，流策略表将成为数据流分发的依据，流分发节点用于对数据流的复制、分发等功能。
联合控制模块，联合控制模块用于数据流的数据报文的标记、汇聚检测结果，确定发送或者丢弃数据流；
对数据流的数据报文的标记可具体参见实施例1中步骤S3，汇聚检测结果可具体参见实施例1中步骤S6，发送或者丢弃数据流参见实施例1中的S7步骤。
流分发模块，流分发模块用于对数据流的复制和/或分发；具体的，在实施例1中的步骤S2中，流分发节点根据流表策略将数据流发送到联合控制模块，在实施例1中的步骤S5中，流分发模块根据流表策略将标识数据流发送到各检测模块，进行对应的检测。
在本实施例中，应当理解的是，流分发模块在整个工作流程的不同阶段工作，如上所述，在步骤S2中，流分发节点根据流表策略将数据流发送到联合控制模块，此时的数据流是还未进行标记的数据流，而在步骤S5中，流分发模块根据流表策略将标识数据流发送到各检测模块，此时的标识数据流是经标记后的数据流，总体上，流分发模块在整个系统中的作用在于对数据的复制和分发。
检测模块，检测模块对数据流进行检测，并将检测结果发送回联合控制模块。具体的，检测模块包括入侵检测子模块、病毒检测子模块、行为检测子模块或大数据检测子模块。用于对数据流进行应用协议识别，会话管理，报文重组，以分别实现对入侵行为、病毒内容、数据行为的检测和大数据分析，根据数据报文的唯一标识、各检测节点的ID生成检测结果，然后发送给联合控制节点。
实施例3
基于实施例1还提供实施例3，实施例3提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如实施例1的方法。
本方法所提出的并行检测实现高性能入侵检测的重要技术手段，并行检测系统通过多检测引擎进行并行检测，具有高性能和可扩展的特点，通过在数据报文中加入特征识别码的方式，以实现高效率的网络数据流的并行检测方法；并通多个检测模块实现多形式的检测手段，以提高数据流检测的准确率。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (8)
1.一种基于报文标记数据流的并行检测方法，其特征在于，包括以下步骤：
管理节点根据节点设置，在流分发节点中生成流表策略，所述流表策略将成为数据流分发的依据，流分发节点用于对数据流的复制、分发等功能；数据流到达所述流分发节点入口；
所述流分发节点根据所述流表策略将数据流发送到联合控制节点；
所述联合控制节点判断所述流分发节点发送的所述数据流是否需要检测，对需要检测的所述数据流中的数据报文进行标记，获得标识数据流，其中，所述联合控制节点根据从管理节点中获取检测节点信息列表，所述检测节点中的各子节点包括入侵检测节点和/或病毒检测节点和/或行为分析节点和/或大数据分析节点；
所述联合控制节点将所述标记后的所述数据报文缓存，并将所述标识数据流发送回所述流分发节点；
所述流分发节点接收所述联合控制节点发送的所述标识数据流，根据所述流表策略将所述标识数据流发送到检测节点；
所述检测节点中的各子节点对所述标识数据流进行检测，并将检测结果发送回所述联合控制节点；
所述联合控制节点接收所述检测结果，确定发送或者丢弃数据流；
所述联合制节点判断所述流分发节点发送的数据流是否需要检测，对需要检测的所述数据流进行标记，获得标识数据流，具体为，联合控制节点根据检测到的节点信息，生成初始汇聚节点掩码，并在所述数据流中需要检测的数据报文上添加标识码以实现标记，获得标识数据流，对无需检测的数据流直接放行，其中，联合控制节点从检测节点信息列表中查找配置入侵检测模块的节点，根据索引号进行升序排列，根据位移计算得出检测节点的掩码，根据所述掩码确定需要实施检测的节点为入侵检测节点。
2.根据权利要求1所述基于报文标记数据流的并行检测方法，其特征在于，所述子节点对所述标识数据流进行检测，具体为：各所述子节点接收所述标识数据流，并对接收的所述标识数据流进行流应用协议识别、会话管理、报文重组，根据所述标识数据流中数据报文的识别码和各所述子节点的ID生成检测结果。
3.根据权利要求1-2任一项所述基于报文标记数据流的并行检测方法，其特征在于，所述联合控制节点接收所述检测结果，确定发送或者丢弃报文，具体为：所述联合控制节点接收所述检测结果，重新计算汇聚掩码，汇总所述检测结果，并根据各所述分析检测节点生成的所述检测结果生成最终检测结果，若所述最终检测结果正常，将所述标识数据流发送到出口；若所述最终检测结果异常，丢弃所述标识数据流。
4.根据权利要求1所述基于报文标记数据流的并行检测方法，其特征在于，所述初始汇聚节点掩码为32位无符号整形数，所述检测节点中的各分节点分别占用8个字节。
5.一种基于报文标记数据流的并行检测系统，其特征在于，包括：
管理模块，所述管理模块管理各模块的节点信息，其中，在流分发节点中生成流表策略，所述流表策略将成为数据流分发的依据，流分发节点用于对数据流的复制、分发等功能，数据流到达所述流分发节点入口；所述流分发节点根据所述流表策略将数据流发送到联合控制节点；
联合控制模块，所述联合控制模块用于获取检测节点信息列表、数据流的数据报文的标记、汇聚检测结果，确定发送或者丢弃数据流，其中，所述联合控制节点判断所述流分发节点发送的所述数据流是否需要检测，对需要检测的所述数据流中的数据报文进行标记，获得标识数据流，其中，所述联合控制节点根据从管理节点中获取检测节点信息列表，所述检测节点中的各子节点包括入侵检测节点和/或病毒检测节点和/或行为分析节点和/或大数据分析节点，所述联合控制节点将所述标记后的所述数据报文缓存，并将所述标识数据流发送回所述流分发节点；
流分发模块，所述流分发模块用于对数据流的复制和/或分发，其中，所述流分发节点接收所述联合控制节点发送的所述标识数据流，根据所述流表策略将所述标识数据流发送到检测节点；
检测模块，所述检测模块对所述数据流进行检测，并将所述检测结果发送回所述联合控制模块，其中，所述检测节点中的各子节点对所述标识数据流进行检测，并将检测结果发送回所述联合控制节点，所述联合制节点判断所述流分发节点发送的数据流是否需要检测，对需要检测的所述数据流进行标记，获得标识数据流，具体为，联合控制节点根据检测到的节点信息，生成初始汇聚节点掩码，并在所述数据流中需要检测的数据报文上添加标识码以实现标记，获得标识数据流，对无需检测的数据流直接放行，其中，联合控制节点从检测节点信息列表中查找配置入侵检测模块的节点，根据索引号进行升序排列，根据位移计算得出检测节点的掩码，根据所述掩码确定需要实施检测的节点为入侵检测节点。
6.根据权利要求5所述的并行检测系统，其特征在于，所述节点信息包括应用服务信息和/或信息审计信息。
7.根据权利要求5或6所述的并行检测系统，其特征在于，所述检测模块包括入侵检测模块、病毒检测模块、行为检测模块和/或大数据检测模块。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910940754.8A CN110620785B (zh) | 2019-09-30 | 2019-09-30 | 一种基于报文标记数据流的并行检测方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910940754.8A CN110620785B (zh) | 2019-09-30 | 2019-09-30 | 一种基于报文标记数据流的并行检测方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110620785A CN110620785A (zh) | 2019-12-27 |
| CN110620785B true CN110620785B (zh) | 2022-03-15 |
Family
ID=68925116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910940754.8A Active CN110620785B (zh) | 2019-09-30 | 2019-09-30 | 一种基于报文标记数据流的并行检测方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110620785B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114844831B (zh) * | 2022-03-18 | 2024-02-27 | 奇安信科技集团股份有限公司 | 行为安全基线的编辑数据路由方法、装置和设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100450046C (zh) * | 2006-08-30 | 2009-01-07 | 北京启明星辰信息技术有限公司 | 一种结合病毒检测与入侵检测的方法及系统 |
| CN102801659B (zh) * | 2012-08-15 | 2016-03-30 | 成都卫士通信息产业股份有限公司 | 一种基于流策略的安全网关实现方法及装置 |
-
2019
- 2019-09-30 CN CN201910940754.8A patent/CN110620785B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110620785A (zh) | 2019-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dai et al. | Finding persistent items in data streams | |
| US10742722B2 (en) | Server load balancing | |
| US7369557B1 (en) | Distribution of flows in a flow-based multi-processor system | |
| Yang et al. | RIHT: a novel hybrid IP traceback scheme | |
| DiBenedetto et al. | Mitigating poisoned content with forwarding strategy | |
| CN101421991B (zh) | 针对拒绝服务攻击的硬件过滤支持 | |
| KR100997182B1 (ko) | 플로우 정보 제한장치 및 방법 | |
| CN1761244A (zh) | 设置边界网关协议路由选择通知功能的方法 | |
| CN109558727B (zh) | 一种路由安全检测方法和系统 | |
| Hou et al. | Theil-based countermeasure against interest flooding attacks for named data networks | |
| CN101945117A (zh) | 防止源地址欺骗攻击的方法及设备 | |
| Lu et al. | A novel path‐based approach for single‐packet IP traceback | |
| CN110620785B (zh) | 一种基于报文标记数据流的并行检测方法、系统及存储介质 | |
| Zuo et al. | P4Label: packet forwarding control mechanism based on P4 for software-defined networking | |
| CN116668408A (zh) | 一种IPv6容器云平台真实地址编码验证与溯源方法及系统 | |
| Lu et al. | A novel approach for single-packet IP traceback based on routing path | |
| CN113556364B (zh) | 一种基于DPDK的DDoS实时防御系统 | |
| CN113114588B (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| Fadel et al. | A low-storage precise IP traceback technique based on packet marking and logging | |
| CN113556345A (zh) | 一种报文处理方法、装置、设备及介质 | |
| CN101789930A (zh) | 一种路由通告方法及网络设备 | |
| Reddy et al. | Efficient detection of DDoS attacks by entropy variation | |
| CN117714212B (zh) | 一种防御链路泛洪攻击的网络拓扑混淆方法及系统 | |
| Yang | Storage‐efficient 16‐bit hybrid IP traceback with single packet | |
| CN111327590A (zh) | 一种攻击处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |