CN114629970B - 一种tcp/ip流量还原方法 - Google Patents

Abstract

本发明公开了一种TCP/IP流量还原方法。为了克服现有技术无法适应互联网中各种网络协议不断变化的问题；本发明采用插件化的架构设计，各种协议的还原规则以独立的插件文件形式存在，支持流量还原插件动态加载和卸载，以及采用无锁化更新方法对新增协议可进行快速适配，并用于流量还原，具备很强的扩展能力。满足网络流量还原系统对各种网络协议频繁变化及新增的快速适配能力，以提高网络流量还原系统对网络数据能够准确、完整的还原。

Description

一种TCP/IP流量还原方法

技术领域

本发明涉及一种网络协议分析还原领域，尤其涉及一种TCP/IP流量还原方法。

背景技术

随着数据时代的到来，数据已成为数字经济发展的核心生产要素，是国家重要资产和基础战略资源。海量网络数据在促进技术创新与应用、成为数字经济发展的关键生产要素的同时，也催生了数据过度采集滥用、非法交易及用户数据泄露等数据安全问题。而网络流量还原为数据安全分析提供了重要的数据源，是数据安全分析的重要基础。

网络流量还原是一个将捕获到的流量包根据协议标准逐层分析，最终得到网络中各主机收发的数据类型和内容。TCP/IP协议簇具有完全开放化、独立与网络硬件系统、能实现网络地址统一分配和高层协议标准化的特点，适应了世界范围内数据通信的需要，可以提供多种多样可靠的网络服务。因此，对于TCP/IP流量的还原是网络流量还原的重要组成部分。然而目前的流量还原系统对于TCP/IP流量采用硬编码方式，无法适应互联网中的各种网络协议的不断变化，例如为解决网络地址资源日益紧张的问题提出的IPV6协议，以及流量还原协议的变更需要关闭系统来完成更新，在数据安全监控业务中，业务中断将导致敏感数据漏控、误控的现象出现。

发明内容

本发明主要解决现有技术对于TCP/IP流量采用硬编码方式，无法适应互联网中各种网络协议不断变化的问题；提供一种TCP/IP流量还原方法，采用插件化的架构设计，满足网络流量还原系统对各种网络协议频繁变化及新增的快速适配能力，以提高网络流量还原系统对网络数据能够准确、完整的还原。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种TCP/IP流量还原方法，包括以下过程：

S1：加载目录下所有的流量还原插件，映射成系统可调用的还原方法，将还原方法注册至注册表中；

S2：获取网络流量原始数据包，还原数据包的内容，获取上层协议号；

S3：调用已注册还原方法的查询接口与获取得到的上层协议号进行匹配；若匹配成功则执行步骤S4；如果未成功匹配，则网络流量原始数据包进行自定义处理；

S4：调用还原方法的获取接口获取还原方法，判断当前数据包的长度是否大于等于还原方法中设置的协议所占最小长度，如果满足条件，则进行还原提取处理获得上层协议特征号；如果不满足条件，则执行S6；

S5：根据步骤S4还原提取获得的上层协议特征号，调用已注册还原方法的查询接口进行匹配；如果匹配成功则执行S4；如果未成功匹配则执行S6；

S6：将还原得出的结果输出给后续处理模块。

本方案采用插件化的架构设计，各种协议的还原规则以独立的插件文件形式存在，支持流量还原插件动态加载和卸载，以及采用无锁化更新方法对新增协议可进行快速适配，并用于流量还原，具备很强的扩展能力。

作为优选，所述的步骤S1具体过程为：

读取目录下所有的流量还原插件，使用MD5加密算法获取文件的MD5值，将插件内容映射成系统可调用的还原方法；

将插件名称、MD5值和还原方法的索引作为关联信息注册至注册表中；

对外提供已注册还原方法的查询接口和对应还原方法的获取接口。

流量还原插件利用JSON的文本格式，可用于被支持解析JSON文件的编程语言运行，具备很强的共享性。

作为优选，定时检测各流量还原插件的状态，具体过程为：

启动定时器，定时计算目录下流量还原插件的MD5值，与注册表中的信息进行匹配；

当检测到新增流量还原插件文件名时，执行步骤S1；

当检测到已注册的插件名称不存在时，删除注册表中的对应的流量还原插件信息，再延时释放对应的还原方法；避免因流量还原模块调用已注册还原方法的查询接口后，再删除注册信息，导致无法获取对应还原方法的情况。确保还原流程的稳定性。

当检测到已注册的插件名称的MD5值不匹配时，将获取流量还原插件内容映射成系统可调用的还原方法更新至指定内存中，修改对应还原方法的获取接口的索引方向至指定内存。

本次更新指定内存B，则下次更新时，将获取插件内容映射成系统可调用的还原方法更新至内存A中，修改对应还原方法的获取接口的索引方向指向内存A。确保内存A和内存B轮训更新使用。该方法采用无锁化更新技术，避免锁等待现象，保证了流量还原业务的无缝衔接。

作为优选，指定内存包括第一内存和第二内存；第一内存和第二内存轮训更新使用。确保第一内存和第二内存轮训更新使用。该方法采用无锁化更新技术，避免锁等待现象，保证了流量还原业务的无缝衔接。

作为优选，流量还原插件按照规则将协议字段解析成相对应的结构表达式，利用JSON的数据格式将各字段进行组装。不同的协议对应各自的还原规则插件，且确保各协议插件唯一，以保证一个还原规则插件的修改或新增不影响整个系统的运行。

作为优选，所述的流量还原插件的表达式依次包括协议名称、协议特征号、协议所占最小长度、协议字段的结构信息集合和上层协议特征号。流量还原插件，利用JSON的数据格式组装某个协议中各字段的内容，最终生成具有唯一性的还原规则插件。

作为优选，协议字段的结构包括静态结构和动态结构。静态结构表示协议中某个字段一定在固定的位置存在，且长度固定；动态结构表示协议中的某个字段是动态的，其是否存在需要通过前后逻辑进行判定。

作为优选，所述的静态结构的表达式依次包括：字段占用协议的字节长度、字段在协议中的命名、字段需要还原的数据类型和字段是否需要还原标记。根据字段信息的重要程度和关注度不同，在保证协议完整性的情况下，可自定义组合或拆分字段内容。因此，静态结构可有多种自定义组合模型，提高了还原的处理能力。

作为优选，所述的动态接口的表达式依次包括：逻辑算子、条件语句、条件为真时的操作方法、条件为假时的操作方法和引用数据。动态结构表示协议中的某个字段是动态的，其是否存在需要通过前后逻辑进行判定。

本发明的有益效果是：

1.采用插件化的架构设计，各种协议的还原规则以独立的插件文件形式存在，支持流量还原插件动态加载和卸载，以及采用无锁化更新方法对新增协议可进行快速适配，并用于流量还原，具备很强的扩展能力。

2.流量还原插件利用JSON的文本格式，可用于被支持解析JSON文件的编程语言运行，具备很强的共享性。

3.无锁化更新方法，避免锁等待现象，保证了流量还原业务的无缝衔接。

附图说明

图1是本发明的TCP/IP流量还原框架图。

图2是本发明的TCP/IP流量还原方法流程图。

图中1.插件管理模块，2.流量还原模块，3.后续处理模块，4.数据包，1-1.ipv4还原插件，1-2.ipv6还原插件，1-3.tcp还原插件，1-4.udp还原插件。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本实施例的一种TCP/IP流量还原方法，采用插件化的架构设计，各种协议的还原规则以独立的插件文件形式存在，支持流量还原插件动态加载和卸载，以及采用无锁化更新方法。

如图1所示，包括插件管理模块1、流量还原模块2、后续处理模块3以及若干流量还原插件。

插件管理模块1支持动态加载、卸载和更新目录下所有的流量还原插件。将插件映射成系统可识别的还原方法并注册至注册表中，对外提供已注册还原方法的查询接口和对应还原方法的获取接口。

流量还原模块2通过插件管理模块1找到当前数据包4对应的还原方法，通过该还原方法对当前数据包4进行还原分析。对于未找到还原方法的数据包4进行快速过滤等操作。最终输出结果信息至后续的处理模块3。

流量还原插件是按照规则将高度规范性的协议字段解析成相对应的结构表达式，利用JSON的数据格式将各字段进行组装，最终生成规范化的流量还原规则插件。不同的协议对应各自的还原规则插件，且确保各协议插件唯一，以保证一个还原规则插件的修改或新增不影响整个系统的运行。

在本实施例中，流量还原插件包括ipv4还原插件1-1、ipv6还原插件1-2、tcp还原插件1-3和udp还原插件1-4。

在本实施例中，流量还原插件以ipv4还原插件1-1为例，依据ipv4协议格式进行设计。

首先获取ipv4的协议格式，依据网络协议包格式可将ipv4协议拆分包括版本号、头部长度、服务类型、总长度、标识符、标记、分段偏移量、存活时间、上层协议、头部校验码、源地址、目的地址、可选项和填充项字段。

其次可根据字段信息的重要程度和关注度自定义组合结构。例如，如果需要关注服务质量的差分服务代码点，可将服务类型字段继续拆分至差异化服务编码点和显式拥塞通知字段。如果无需关注可选项和填充项字段，可将选项和填充项字段合并为其他字段。因此，自定义组合结构将ipv4协议将被拆分至由版本号、头部长度、差异化服务编码点、显式拥塞通知、总长度、标识符、标记、分段偏移量、存活时间、上层协议、头部校验码、源地址、目的地址和其他字段组成。

接着按照规则表达式对ipv4协议的每个字段进行描述：

版本号占用4字节，命名为version，还原后的数据类型为整数型int；

头部长度占用4字节，命名为ihl，还原后的数据类型为整数型int；

差异化服务编码点占用6字节，命名为dscp，还原后的数据类型为整数型int；

显式拥塞通知占用2字节，命名为ecn，还原后的数据类型为整数型int；

总长度占用16字节，命名为total length，还原后的数据类型为整数型int；

标识符占用16字节，命名为identification，还原后的数据类型为整数型int；

标记占用3字节，命名为flags，还原后的数据类型为整数型int；

分段偏移量占用13字节，命名为offset，还原后的数据类型为整数型int；

存活时间占用8字节，命名为ttl，还原后的数据类型为整数型int；

上层协议占用8字节，命名为protocol，还原后的数据类型为整数型int；

头部校验码占用16字节，命名为checksum，还原后的数据类型为整数型int；

源地址占用32字节，命名为srcIP，还原后的数据类型为整数型ipv4；

目的地址占用32字节，命名为dstIP，还原后的数据类型为整数型ipv4；

由于其他字段的存在取决于总长度字段所还原的数据，当数值大于5时，表示IPV4协议存在其他字段。因此其他字段需要使用动态结构规则进行表达。

最后依据JSON的数据格式对规则表达式进行规范化描述最终生成ipv4流量还原插件。

由于在以太网数据帧协议中，已规定ipv4的协议号为0x0800，ARP协议号位0x0808，ipv6的协议号为0x86DD，因此构建ipv4还原规则插件的整体信息：

{“Protocol”：“ipv4”，“Id”：0x800，“Min_size”：20，“Content”：[{静态结构}，{动态结构}，...]，“Next”：字符串型}

填充ipv4的字段结构信息后获得ipv4还原规则插件。

流量还原插件的表达式依次包括协议名称、协议特征号、协议所占最小长度、协议字段的结构信息集合和上层协议特征号。

流量还原插件利用JSON的数据格式组装某个协议中各字段的内容，最终生成具有唯一性的还原规则插件。其规则关键字如下表所示：

流量还原插件的表达式范本如下：

{“Protocol”：字符串型，“Id”：整型，“Min_size”：整型，“Content”：[{字段结构}，...]，“Next”：字符串型}

协议字段的结构包括静态结构和动态结构。

静态结构表示协议中某个字段一定在固定的位置存在，且长度固定。其表达式规则关键字如下表所示：

一个协议字段的静态结构的表达式范本如下：

{“len”：整型，“name”：字符串型，“type”：字符串型，“ignore”：整型}

根据字段信息的重要程度和关注度不同，在保证协议完整性的情况下，可自定义组合或拆分字段内容。因此，静态结构可有多种自定义组合模型，提高了还原的处理能力。以ipv4协议的version字段举例说明：

{“len”：4，“name”：“version”，“type”：“int”，“ignore”：“true”}

该组合表示，该字段占用协议4个字节的数据空间，该字段命名为“version”，需要将该字段还原成数字类型，但是“ignore”的值为true，表示该字段无需进行还原。

动态结构表示协议中的某个字段是动态的，其是否存在需要通过前后逻辑进行判定。其表达式规则关键字如下表所示：

动态数据结构的表达式范本如下：

{“logic”：字符串型，“condition”：字符串型，“true”：静态结构，“false”：静态结构}

如图2所示，插件管理模块1执行以下步骤：

S1：加载目录下所有的流量还原插件，映射成系统可调用的还原方法，将还原方法注册至注册表中。

步骤S1具体包括：

读取目录下所有的流量还原插件，使用MD5加密算法获取文件的MD5值，将插件内容映射成系统可调用的还原方法；

将插件名称、MD5值和还原方法的索引作为关联信息注册至注册表中。

对外提供已注册还原方法的查询接口和对应还原方法的获取接口。

流量还原插件利用JSON的文本格式，可用于被支持解析JSON文件的编程语言运行，具备很强的共享性。

在本实施例中插件管理模块1还定时检测各流量还原插件的状态，具体过程为：启动定时器，定时计算目录下流量还原插件的MD5值，与注册表中的信息进行匹配。

当检测到新增流量还原插件文件名时，执行步骤S1，即读取目录下指定流量还原插件，将插件内容映射成系统可调用的还原方法。使用MD5加密算法获取文件的MD5值。并将插件名称、MD5值和还原方法的索引作为关联信息注册至注册表中。

当检测到已注册的插件名称不存在时，删除注册表中的对应的流量还原插件信息，再延时释放对应的还原方法；避免因流量还原模块调用已注册还原方法的查询接口后，再删除注册信息，导致无法获取对应还原方法的情况。确保还原流程的稳定性。

当检测到已注册的插件名称的MD5值不匹配时，将获取流量还原插件内容映射成系统可调用的还原方法更新至指定内存中，修改对应还原方法的获取接口的索引方向至指定内存。指定内存包括第一内存和第二内存；第一内存和第二内存轮训更新使用。确保第一内存和第二内存轮训更新使用。该方法采用无锁化更新技术，避免锁等待现象，保证了流量还原业务的无缝衔接。

在本实施例中，本次更新指定内存B，则下次更新时，将获取插件内容映射成系统可调用的还原方法更新至内存A中，修改对应还原方法的获取接口的索引方向指向内存A。确保内存A和内存B轮训更新使用。该方法采用无锁化更新技术，避免锁等待现象，保证了流量还原业务的无缝衔接。

流量还原模块2执行的流程包括以下步骤：

S2：获取网络流量原始数据包，还原数据包的内容，获取上层协议号。

S3：调用已注册还原方法的查询接口与获取得到的上层协议号进行匹配；若匹配成功则执行步骤S4；如果未成功匹配，则网络流量原始数据包进行自定义处理。

S4：调用还原方法的获取接口获取还原方法，判断当前数据包的长度是否大于等于还原方法中设置的协议所占最小长度，如果满足条件，则进行还原提取处理获得上层协议特征号；如果不满足条件，则执行S6。

S5：根据步骤S4还原提取获得的上层协议特征号，调用已注册还原方法的查询接口进行匹配；如果匹配成功则执行S4；如果未成功匹配则执行S6。

S6：将还原得出的结果输出给后续处理模块。

本实施例的方案采用插件化的架构设计，各种协议的还原规则以独立的插件文件形式存在，支持流量还原插件动态加载和卸载，以及采用无锁化更新方法对新增协议可进行快速适配，并用于流量还原，具备很强的扩展能力。

应理解，实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (9)

1.一种TCP/IP流量还原方法，其特征在于，包括以下过程：

S1：加载目录下所有的流量还原插件，映射成系统可调用的还原方法，将还原方法注册至注册表中；

S2：获取网络流量原始数据包，还原数据包的内容，获取上层协议特征号；

S3：调用已注册还原方法的查询接口与获取得到的上层协议号进行匹配；若匹配成功则执行步骤S4；如果未成功匹配，则网络流量原始数据包进行自定义处理；

S4：调用还原方法的获取接口获取还原方法，判断当前数据包的长度是否大于等于还原方法中设置的协议所占最小长度，如果满足条件，则进行还原提取处理获得上层协议特征号；如果不满足条件，则执行S6；

S5：根据步骤S4还原提取获得的上层协议特征号，调用已注册还原方法的查询接口进行匹配；如果匹配成功则执行S4；如果未成功匹配则执行S6；

S6：将还原得出的结果输出给后续处理模块。

2.根据权利要求1所述的一种TCP/IP流量还原方法，其特征在于，所述的步骤S1具体过程为：

读取目录下所有的流量还原插件，使用MD5加密算法获取文件的MD5值，将插件内容映射成系统可调用的还原方法；

将插件名称、MD5值和还原方法的索引作为关联信息注册至注册表中；

对外提供已注册还原方法的查询接口和对应还原方法的获取接口。

3.根据权利要求1或2所述的一种TCP/IP流量还原方法，其特征在于，定时检测各流量还原插件的状态，具体过程为：

启动定时器，定时计算目录下流量还原插件的MD5值，与注册表中的信息进行匹配；

当检测到新增流量还原插件文件名时，执行步骤S1；

当检测到已注册的插件名称不存在时，删除注册表中的对应的流量还原插件信息，再延时释放对应的还原方法；

当检测到已注册的插件名称的MD5值不匹配时，将获取流量还原插件内容映射成系统可调用的还原方法更新至指定内存中，修改对应还原方法的获取接口的索引方向至指定内存。

4.根据权利要求3所述的一种TCP/IP流量还原方法，其特征在于，指定内存包括第一内存和第二内存；第一内存和第二内存轮训更新使用。

5.根据权利要求1或2所述的一种TCP/IP流量还原方法，其特征在于，流量还原插件按照规则将协议字段解析成相对应的结构表达式，利用JSON的数据格式将各字段进行组装。

6.根据权利要求5所述的一种TCP/IP流量还原方法，其特征在于，所述的流量还原插件的表达式依次包括协议名称、协议特征号、协议所占最小长度、协议字段的结构信息集合和上层协议特征号。

7.根据权利要求6所述的一种TCP/IP流量还原方法，其特征在于，协议字段的结构包括静态结构和动态结构。

8.根据权利要求7所述的一种TCP/IP流量还原方法，其特征在于，所述的静态结构的表达式依次包括：字段占用协议的字节长度、字段在协议中的命名、字段需要还原的数据类型和字段是否需要还原标记。

9.根据权利要求7所述的一种TCP/IP流量还原方法，其特征在于，所述的动态结构的表达式依次包括：逻辑算子、条件语句、条件为真时的操作方法、条件为假时的操作方法和引用数据。