CN114285918A - 基于协议分析的分流方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种基于协议分析的分流方法、装置、电子设备及存储介质，涉及数据安全技术领域。该方法包括对采集到的网络数据包进行协议识别，以获得协议分析结果；对所述网络数据包进行重组，以获得重组数据包；基于所述协议分析结果对所述重组数据包进行分流处理，将协议识别和流量处理解耦，并将流量分流处理，提高处理速度，解决现有协议分析方法效率低下的问题。

Description

基于协议分析的分流方法、装置、电子设备及存储介质

技术领域

本申请涉及数据安全技术领域，具体而言，涉及基于协议分析的分流方法、装置、电子设备及存储介质。

背景技术

近年来，随着高速网络技术如ATM、千兆以太网、G比特光纤网等不断涌现，网络中数据和信息量以指数方式增长，使得单纯的协议分析技术出现了越来越多的问题，包括：单纯的对所有数据包都要进行还原和解释，不能及时处理网络中产生的海量数据方面，导致大量丢包、持续占用系统资源和效率低下等问题，而且协议分析技术只能针对单个数据包进行快速、实时的攻击检测，而对于意图攻击和大规模分布式协同攻击无能为力。

发明内容

本申请实施例的目的在于提供一种基于协议分析的分流方法、装置、电子设备及存储介质，将协议识别和流量处理解耦，并将流量分流处理，提高处理速度，解决现有协议分析方法效率低下的问题。

本申请实施例提供了一种基于协议分析的分流方法，所述方法包括：

对采集到的网络数据包进行协议识别，以获得协议分析结果；

对所述网络数据包进行重组，以获得重组数据包；

基于所述协议分析结果对所述重组数据包进行分流处理。

在上述实现过程中，将协议识别和流量处理的步骤解耦，先进行协议识别，再对识别后的流量进行重组，最后基于流量的协议类别进行流量分流处理，从而提高流量处理速度，解决了现有协议分析方法效率低下的问题。

进一步地，所述对采集到的网络数据包进行协议识别，以获得协议分析结果，包括：

对所述网络数据包进行识别，以获得TCP流量数据；

调用协议识别接口对所述TCP流量数据进行识别，以获得协议分析结果，所述协议分析结果包括返回状态、协议ID、大类ID、承载协议ID和识别方式。

在上述实现过程中，调用协议识别接口对网络数据包进行协议识别，具有可扩展性，进行不同系统的适配，提高移植效率。

进一步地，在所述调用协议识别接口对所述TCP流量数据进行识别的步骤之前，所述方法还包括：

加载密文规则库，以进行初始化配置；

发送参数信息到所述协议识别接口，以使所述协议识别接口对所述TCP流量数据进行成功识别，所述参数信息包括五元组信息、传输层信息、数据包方向和负载数据。

在上述实现过程中，通过初始化配置可进行协议识别，增加可扩展性。

进一步地，所述对所述网络数据包进行重组，以获得重组数据包，包括：

将顺序数据包、重复数据、重叠数据包、提前到达数据包分别存入顺序队列和失序队列；

按照所述网络数据包的序列号将顺序队列和所述失序队列中的网络数据包进行排序，以获得重组数据包。

在上述实现过程中，由于网络数据包在网络上应用IP协议进行传输的过程中，将拆分成多段通过网络层发送，当服务器端传输层接收到数据之后需要进行TCP重组和排序。

进一步地，所述基于所述协议分析结果对所述顺序数据包进行分流处理，包括：

将所述顺序数据包利用所述协议分析结果中的协议ID进行数据转换；

调用协议回调函数对转换后的数据进行相应协议的协议解析处理。

在上述实现过程中，利用协议分析结果将不同协议类型的顺序数据包分别进行处理，实现分流目的，提高处理效率。

本申请实施例还提供一种基于协议分析的分流装置，所述装置包括：

协议识别模块，用于对采集到的网络数据包进行协议识别，以获得协议分析结果；

重组模块，用于对所述网络数据包进行重组，以获得重组数据包；

分流模块，用于基于所述协议分析结果对所述重组数据包进行分流处理。

在上述实现过程中，将协议识别和流量处理的步骤解耦，先进行协议识别，再对识别后的流量进行重组，最后基于流量的协议类别进行流量分流处理，从而提高流量处理速度，解决了现有协议分析方法效率低下的问题。

进一步地，所述协议识别模块包括：

分析模块，用于对所述数据包进行识别，以获得TCP流量数据；

接口调用模块，用于调用协议识别接口对所述TCP流量数据进行识别，以获得协议分析结果，所述协议分析结果包括返回状态、协议ID、大类ID、承载协议ID和识别方式。

在上述实现过程中，调用协议识别接口对网络数据包进行协议识别，具有可扩展性，进行不同系统的适配，提高移植效率。

进一步地，所述重组模块包括：

入队模块，用于将顺序数据包、重复数据、重叠数据包、提前到达数据包分别存入顺序队列和失序队列；

排序模块，用于按照所述网络数据包的序列号将顺序队列和所述失序队列中的网络数据包进行排序，以获得重组数据包。

在上述实现过程中，由于网络数据包在网络上应用IP协议进行传输的过程中，将拆分成多段通过网络层发送，当服务器端传输层接收到数据之后需要进行TCP重组和排序。

本申请实施例还提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述中任一项所述的基于协议分析的分流方法。

本申请实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述中任一项所述的基于协议分析的分流方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种基于协议分析的分流方法的流程图；

图2为本申请实施例提供的协议识别流程图；

图3为本申请实施例提供的初始化示意图；

图4为本申请实施例提供的排序示意图；

图5为本申请实施例提供的排序流程图；

图6为本申请实施例提供的分流处理流程图；

图7为本申请实施例提供的分流处理示意图；

图8为本申请实施例提供的基于协议分析的分流装置的结构框图；

图9为本申请实施例提供的另一种基于协议分析的分流装置的结构框图。

图标：

100-协议识别模块；110-分析模块；120-接口调用模块；130-初始化模块；200-重组模块；201-入队模块；202-排序模块；300-分流模块；301-数据转换模块；302-处理模块。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参看图1，图1为本申请实施例提供的一种基于协议分析的分流方法的流程图。该方法将数据采集、协议识别、报文重组、流量分流处理分别模块化，实现多线程进行流量处理，从而实现对网络数据包的高效识别和应用。该方法具体包括以下步骤：

步骤S100：对采集到的网络数据包进行协议识别，以获得协议分析结果；

如图2所示，为协议识别流程图，具体包括以下步骤：

步骤S110：对所述网络数据包进行识别，以获得TCP流量数据；

步骤S120：调用协议识别接口对所述TCP流量数据进行识别，以获得协议分析结果，所述协议分析结果包括返回状态、协议ID、大类ID、承载协议ID和识别方式。

对网络数据包进行识别，识别出对应的协议如HTTP、SMTP、POP3、IMAP等。

如图3所示，为初始化示意图，具体包括以下步骤：

步骤S111：加载密文规则库，以进行初始化配置；

步骤S112：发送参数信息到所述协议识别接口，以使所述协议识别接口对所述TCP流量数据进行成功识别，所述参数信息包括五元组信息(源ip，源端口，目的ip，目的端口及传输层协议)、传输层信息、数据包方向和负载数据。

由于协议识别模块100具有可移植性和可扩展性，在协议识别接口调用之前，需要协议识别模块100提供存储空间来获取协议分析模块的内部信息，由协议分析模块来填充解析结果，由于各协议数据不同，由各协议识别模块100自定义结果类型，外部协其他模块不可以直接访问协议识别模块100内部的内存空间。

协议识别是根据传入协议识别接口的参数信息来确定的，如五元组信息、协议类型、数据包方向、负载数据等是必须要传入的，根据传入信息进行分析识别协议。

需要说明的是，调用协议识别接口前，需要保证初始化和加载密文规则库成功(为防止中间过程出现数据泄露，会对此密文规则库进行加密，当识别时进行解密)，否则会出现识别不出来、识别错误等问题。

步骤S200：对所述网络数据包进行重组，以获得重组数据包；

由于数据在网络上应用IP协议进行传输的时候，TCP数据拆分成多段通过网络层发送，当服务器端传输层接收到数据之后进行TCP重组。在TCP会话的重新组合过程中，需要按照数据包的序列号对接收到的数据包进行排序。

如图4所示，为排序示意图，下一个数据包可能有多种情况：顺序到来的数据包、重复数据包、重叠数据包、提前到达的报文的等。根据不同类型的包将正常报文队列和失序报文队列中的数据合并起来，完成重组。

如图5所示，为排序流程图，具体包括以下步骤：

步骤S201：将顺序数据包、重复数据、重叠数据包、提前到达数据包分别存入顺序队列和失序队列；

步骤S202：按照所述网络数据包的序列号将顺序队列和所述失序队列中的网络数据包进行排序，以获得重组数据包。

示例地，按照序列号将顺序数据包放入顺序队列，将提前到达的数据包放入失序队列，如2个数据包之后来了第4个数据包，可以将第4个数据包先放入失序队列，待第3个数据包到来之后，再将第4个数据包放入顺序队列的相应位置，实现网络数据包的排序。

步骤S300：基于所述协议分析结果对所述重组数据包进行分流处理。

如图6所示，为分流处理流程图，具体包括以下步骤：

步骤S301：将所述顺序数据包利用所述协议分析结果中的协议ID进行数据转换；

步骤S302：调用协议回调函数对转换后的数据进行相应协议的协议解析处理。

如图7所示，为分流处理示意图，协议分析结果中包含：返回状态、协议ID、大类ID、承载协议ID、识别方式如单包，多包等。各个协议如HTTP、HTTPS、SMTP、FTP、ORACLE、MYSQL等都是以不同的数据来存放的，流量分流则根据协议识别接口返回的协议ID信息，转换成对应的数据，调用不同的协议回调信息，进行后续协议的解析及送检检测等处理。

可解析的TCP协议类型、解析协议载荷包括但不限于：HTTP、FTP、TELNET、SMTP、IMAP、POP3、HBASE、MYSQL、ORACLE、HIVE、HDFS、DNS等。

协议识别成功后，返回网络数据包对应的协议号，再进行数据包重组，针对不同的协议，调用对应的回调函数，进行协议分流，处理不同的协议信息。

该方法可以支持tcp或udp的网络数据包，tcp/udp网络数据包直接送入协议识别模块100进行识别，但只识别负载非零的数据包，对于负载为零的数据包直接返回。

该方法将协议识别和流量处理的步骤进行解耦，先协议识别，针对识别出的协议进行对应的数据重组，再进行流量分流处理，这样会提高流量处理速度。

协议识别具有可扩展性，密文规则库的大小是可调节的，内存流节点规模可扩展：协议分析流节点的规模是可以指定的，各个模块也会根据协议分析流节点的规模动态调整，并且协议分析流节点数量要和外部会话数量保持一致。

本申请实施例还提供一种基于协议分析的分流装置，如图8所示，为基于协议分析的分流装置的结构框图，所述装置包括：

协议识别模块100，用于对采集到的网络数据包进行协议识别，以获得协议分析结果；

重组模块200，用于对所述网络数据包进行重组，以获得重组数据包；

分流模块300，用于基于所述协议分析结果对所述重组数据包进行分流处理。

如图9所示，为另一种基于协议分析的分流装置的结构框图，所述协议识别模块100包括：

分析模块110，用于对所述数据包进行识别，以获得TCP流量数据；

接口调用模块120，用于调用协议识别接口对所述TCP流量数据进行识别，以获得协议分析结果，所述协议分析结果包括返回状态、协议ID、大类ID、承载协议ID和识别方式。

协议识别模块100就有可移植性，针对不同的系统，只需要在外部填写协议识别模块100中的基础函数注册(内存的申请、释放、自旋锁、加锁、解锁、申请共享内存、格式化输入、定时器)，由于外部注册，协议识别模块100内部不会直接使用系统调用，这样处理移植性相对较好，增加可扩展性。

还包括初始化模块130，用于：

加载密文规则库，以进行初始化配置；

发送参数信息到所述协议识别接口，以使所述协议识别接口对所述TCP流量数据进行成功识别，所述参数信息包括五元组信息、传输层信息、数据包方向和负载数据。

协议识别模块100主要是对传入的流量进行识别，识别出对应的协议如HTTP、SMTP、POP3、IMAP等。由于协议识别模块100具有可移植性和可扩展性，在协议识别接口调用前，需要提供存储空间来获取协议分析模块的内部信息，由协议分析模块来填充结果，外部不可以直接访问其内部的内存空间。

所述重组模块200包括：

入队模块201，用于将顺序数据包、重复数据、重叠数据包、提前到达数据包分别存入顺序队列和失序队列；

排序模块202，用于按照所述网络数据包的序列号将顺序队列和所述失序队列中的网络数据包进行排序，以获得重组数据包。

分流模块300包括：

数据转换模块301，用于将所述顺序数据包利用所述协议分析结果中的协议ID进行数据转换；

处理模块302，用于调用协议回调函数对转换后的数据进行相应协议的协议解析处理。

该装置具有高效性且缩短了响应时间。将协议识别和流量处理模块化，协议识别模块100专注于流量的识别，对识别出来的协议结果，再利用协议结果使用相应的回调函数进行分流处理，缩短处理时间，提高处理效率。

本申请实施例还提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述中任一项所述的基于协议分析的分流方法。

本申请实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述中任一项所述的基于协议分析的分流方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于协议分析的分流方法，其特征在于，所述方法包括：

对采集到的网络数据包进行协议识别，以获得协议分析结果；

对所述网络数据包进行重组，以获得重组数据包；

基于所述协议分析结果对所述重组数据包进行分流处理。

2.根据权利要求1所述的基于协议分析的分流方法，其特征在于，所述对采集到的网络数据包进行协议识别，以获得协议分析结果，包括：

对所述网络数据包进行识别，以获得TCP流量数据；

调用协议识别接口对所述TCP流量数据进行识别，以获得协议分析结果，所述协议分析结果包括返回状态、协议ID、大类ID、承载协议ID和识别方式。

3.根据权利要求2所述的基于协议分析的分流方法，其特征在于，在所述调用协议识别接口对所述TCP流量数据进行识别的步骤之前，所述方法还包括：

加载密文规则库，以进行初始化配置；

发送参数信息到所述协议识别接口，以使所述协议识别接口对所述TCP流量数据进行成功识别，所述参数信息包括五元组信息、传输层信息、数据包方向和负载数据。

4.根据权利要求1所述的基于协议分析的分流方法，其特征在于，所述对所述网络数据包进行重组，以获得重组数据包，包括：

将顺序数据包、重复数据、重叠数据包、提前到达数据包分别存入顺序队列和失序队列；

按照所述网络数据包的序列号将顺序队列和所述失序队列中的网络数据包进行排序，以获得重组数据包。

5.根据权利要求1所述的基于协议分析的分流方法，其特征在于，所述基于所述协议分析结果对所述顺序数据包进行分流处理，包括：

将所述顺序数据包利用所述协议分析结果中的协议ID进行数据转换；

调用协议回调函数对转换后的数据进行相应协议的协议解析处理。

6.一种基于协议分析的分流装置，其特征在于，所述装置包括：

协议识别模块，用于对采集到的网络数据包进行协议识别，以获得协议分析结果；

重组模块，用于对所述网络数据包进行重组，以获得重组数据包；

分流模块，用于基于所述协议分析结果对所述重组数据包进行分流处理。

7.根据权利要求6所述的基于协议分析的分流装置，其特征在于，所述协议识别模块包括：

分析模块，用于对所述数据包进行识别，以获得TCP流量数据；

接口调用模块，用于调用协议识别接口对所述TCP流量数据进行识别，以获得协议分析结果，所述协议分析结果包括返回状态、协议ID、大类ID、承载协议ID和识别方式。

8.根据权利要求6所述的基于协议分析的分流装置，其特征在于，所述重组模块包括：

入队模块，用于将顺序数据包、重复数据、重叠数据包、提前到达数据包分别存入顺序队列和失序队列；

排序模块，用于按照所述网络数据包的序列号将顺序队列和所述失序队列中的网络数据包进行排序，以获得重组数据包。

9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至5中任一项所述的基于协议分析的分流方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至5任一项所述的基于协议分析的分流方法。

Images