CN117812173A - 一种用于结构化数据帧传输的tcp粘包处理方法 - Google Patents

Abstract

本发明是一种用于结构化数据帧传输的TCP粘包处理方法，涉及数据处理技术领域。该方法包括：根据航天地面系统间的信息交换内容，分析结构化数据帧信息，确定特征码、特征码偏移位置和特征码查找方式；对接收端的数据处理缓冲区进行初始化；接收TCP数据并存放在数据处理缓冲区；根据特征码偏移位置和特征码查找方式，在数据处理缓冲区查找特征码；根据特征码查找结果及特征码查找方式提取结构化数据帧；校验提取的结构化数据帧的有效性。本发明针对航天信息交换过程中采用TCP长连接进行结构化数据帧传输面临的数据粘包问题，根据数据传输码率和处理准确性需求，采用不同的特征码查找方式，有效完成不同场景下的TCP粘包数据帧的恢复。

Description

一种用于结构化数据帧传输的TCP粘包处理方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种用于结构化数据帧传输的TCP粘包处理方法。

背景技术

航天信息地面数据处理系统之间一般采用结构化数据帧传输各类实时信息，具体来说，在应用层按照一定规则，由收发双方定义数据帧格式，数据帧包括帧头和帧数据域，帧头包含该帧数据的数据类型、数据产生源、数据目的端、数据时间和数据长度等信息。在应用层主要采用UDP协议（User Datagram Protocol，用户数据报协议），但TCP协议（Transmission Control Protocol，传输控制协议）也在很多系统中得到了越来越多的应用。在采用TCP协议传输结构化数据帧时，由于TCP协议是基于字节流的服务，无UDP协议报文边界概念，因此数据接收方应用软件不可避免地面临多个数据帧“粘”成一包的问题，因此需要对TCP粘包进行处理。

TCP粘包本质原因在于，接收方无法分辨出消息与消息的边界，现有的解决TCP粘包方法较多，如关闭Nagle算法（Nagle算法是以发明人John Nagle的名字命名的，它用于自动连接许多的小缓冲器消息，这一过程称为nagling，通过减少必须发送包的个数来提高网络软件系统的效率）、采用TCP短连接，更常见的是在接收端通过应用软件设计实现TCP粘包拆包处理。

以上技术中，存在灵活性较差、数据处理效率低、应用场景受限或容易导致解包错误等问题。

因此，有必要改善上述相关技术方案中存在的一个或者多个问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种用于结构化数据帧传输的TCP粘包处理方法，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本发明提供一种用于结构化数据帧传输的TCP粘包处理方法，包括：

根据航天地面系统间的信息交换内容，分析结构化数据帧信息，确定特征码、特征码偏移位置和特征码查找方式；

对接收端的数据处理缓冲区进行初始化；

所述接收端接收TCP数据并存放在所述数据处理缓冲区；

根据所述特征码偏移位置和所述特征码查找方式，在所述数据处理缓冲区的有效数据区查找接收的所述TCP数据的数据帧的特征码，并记录所述特征码的位置；

根据特征码查找结果及所述特征码查找方式，从所述数据处理缓冲区提取结构化数据帧；

校验提取的所述结构化数据帧的有效性。

本发明中，所述特征码的长度不少于3个字节。

本发明中，所述特征码查找方式包括：高速模式、均衡模式和低速模式，所述高速模式、均衡模式和低速模式所对应的数据的码率依次降低。

本发明中，所述接收端接收TCP数据并存放在所述数据处理缓冲区的步骤包括：

所述接收端调用recv方法，将接收到的TCP数据存放在所述数据处理缓冲区的有效数据区的尾部，并更新所述有效数据区的长度。

本发明中，若接收的所述TCP数据的长度大于所述数据处理缓冲区的空闲数据区的长度，则清空所述数据处理缓冲区，并置所述数据处理缓冲区的有效数据区的长度为零。

本发明中，当所述特征码查找方式为高速模式时，所述特征码的查找操作只需进行一次。

本发明中，当所述特征码查找方式为低速模式或均衡模式时，所述数据处理缓冲区在每次数据更新时均需进行特征码查找；

若查找到所述特征码，则记录所述特征码在所述数据处理缓冲区中第一次出现的位置，然后进行下一步处理；

若未查找到所述特征码，则清空所述数据处理缓冲区，并置所述数据处理缓冲区的有效数据区长度为零。

本发明中，所述根据特征码查找结果及所述特征码查找方式，从所述数据处理缓冲区提取结构化数据帧的步骤，包括：

根据所述特征码偏移位置以及所述数据处理缓冲区中所述数据帧的特征码位置索引和数据域长度信息字段，获取所述数据处理缓冲区所述数据帧的数据域长度。

本发明中，所述根据特征码查找结果及所述特征码查找方式，从所述数据处理缓冲区提取结构化数据帧的步骤，还包括：

判断数据处理缓冲区内有效数据区的长度是否小于所述数据帧的数据域长度；

若所述有效数据区的长度小于所述数据帧的数据域长度，则返回到所述接收端接收TCP数据并存放在所述数据处理缓冲区的步骤继续进行数据接收；

若所述有效数据区的长度不小于所述数据帧的数据域长度，则根据所述特征码查找方式，从所述数据处理缓冲区提取结构化数据帧。

本发明中，所述校验提取的所述结构化数据帧的有效性的步骤，包括：

通过判断所述结构化数据帧的格式是否正确来判断所述结构化数据帧是否有效。

本发明提供的技术方案可以包括以下有益效果：

本发明是针对航天信息交换过程中采用TCP长连接进行结构化数据帧传输面临的数据粘包问题，给出一种适合多种数据帧类型、多种数据帧长度并存的在混杂数据条件下TCP粘包及拆包通用处理方法。该方法根据数据传输码率和处理准确性需求，采用不同的特征码查找方式，有效完成不同场景下的TCP粘包及拆包数据帧的恢复。本发明的处理方法具有功能全面、通用性强、技术实现简单、稳定可靠的特点，在工程上具有较好的应用价值。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开示例性实施例中用于结构化数据帧传输的TCP粘包处理方法的流程示意图；

图2示出本公开示例性实施例中数据处理缓冲区的结构示意图；

图3示出本公开示例性实施例中所述接收端接收TCP数据并存放在所述数据处理缓冲区的流程示意图；

图4示出本公开示例性实施例中根据所述特征码偏移位置和所述特征码查找方式，在所述数据处理缓冲区的有效数据区查找接收的所述TCP数据的数据帧的特征码，并记录所述特征码的位置的流程示意图；

图5示出本公开示例性实施例中所述特征码查找方式采用高速模式时，从所述数据处理缓冲区提取结构化数据帧的流程示意图；

图6示出本公开示例性实施例中所述特征码查找方式采用低速模式时，从所述数据处理缓冲区提取结构化数据帧的流程示意图；

图7示出本公开示例性实施例中所述特征码查找方式采用均衡模式时，从所述数据处理缓冲区提取结构化数据帧的流程示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本示例实施方式中提供了一种用于结构化数据帧传输的TCP粘包处理方法，参考图1中所示，该用于结构化数据帧传输的TCP粘包处理方法可以包括下述步骤：

S1，根据航天地面系统间的信息交换内容，分析结构化数据帧信息，确定特征码、特征码偏移位置和特征码查找方式；

S2，对接收端的数据处理缓冲区进行初始化；

S3，所述接收端接收TCP数据并存放在所述数据处理缓冲区；

S4，根据所述特征码偏移位置和所述特征码查找方式，在所述数据处理缓冲区的有效数据区查找接收的所述TCP数据的数据帧的特征码，并记录所述特征码的位置；

S5，根据特征码查找结果及所述特征码查找方式，从所述数据处理缓冲区提取结构化数据帧；

S6，校验提取的所述结构化数据帧的有效性。

本发明是针对航天信息交换过程中采用TCP长连接进行结构化数据帧传输面临的数据粘包问题，给出一种适合多种数据帧类型、多种数据帧长度并存的在混杂数据条件下TCP粘包及拆包通用处理方法。该方法根据数据传输码率和处理准确性需求，采用不同的特征码查找方式，有效完成不同场景下的TCP粘包及拆包数据帧的恢复。本发明的处理方法具有功能全面、通用性强、技术实现简单以及稳定可靠的特点，在工程上具有较好的应用价值。

下面，将参考图1至图7对本示例实施方式中的上述用于结构化数据帧传输的TCP粘包处理方法的其中几个步骤进行更详细的说明。

在步骤S1中，航天地面系统间信息交换内容一般包含若干确定的数据类型，不同的数据类型的数据帧长度一般各不相同。通过分析数据帧信息（包括帧头和帧数据域），找出共有的特征码（结构化数据一般均能确定特征码）。同时一旦该特征码确定，则该特征码在数据帧中的偏移位置也随之确定，通过特征码及其偏移位置可定位数据帧。需要说明的是，特征码长度应不少于3个字节（为了降低特征码查找的错误率）又要具有一定特征（非零码），且位于数据帧的相同位置。

此外，综合数据传输码率和数据重要程度，将特征码查找方式分为三种，即高速模式、均衡模式和低速模式，所述高速模式、均衡模式和低速模式所对应的数据的码率依次降低。高速模式针对高码率数据（一般在100Mbps以上，甚至Gbps量级）粘包处理场景，对数据处理效率和速度有极高要求，该模式仅在粘包数据处理流程启动后在所述数据处理缓冲区查找一次特征码，后续即使有新接收数据插入所述数据处理缓冲区也不再查找，由此可提高粘包处理速度。低速模式针对低码率数据（一般小于1Mbps）或者数据帧头无数据域长度信息的数据粘包处理场景，每次从所述数据处理缓冲区提取数据帧前均需先查找特征码，确保TCP粘包数据处理准确无误。均衡模式可以平衡数据处理准确性和处理效率，每次仅在所述数据处理缓冲区数据更新时，在所述数据处理缓冲区查找一次特征码。需要说明的是，优选地，三种特征码查找方式采用手动设置方式。另外，三种特征码查找方式除了手动设置，也可在数据传输过程中通过实时计算数据传输码率自动切换。

在步骤S2中，所述数据处理缓冲区用于统一存放接收的TCP数据，其大小一般设置为数倍于请求接收消息大小，若请求接收消息大小长度为10K字节，则所述数据处理缓冲区（简称缓冲区）长度可设置为50K字节。缓冲区定义示意图如图2所示，缓冲区包括有效数据区和空闲数据区，所述有效数据区用于存放尚未处理的数据，所述有效数据区和所述空闲数据区是动态变化调整的。

在步骤S3中，请参考图3，所述接收端调用recv方法，将接收到的TCP数据存放在所述数据处理缓冲区的有效数据区的尾部，并更新所述有效数据区的长度。若要接收的所述TCP数据的长度大于所述数据处理缓冲区的空闲数据区的长度，则说明当前缓冲区的长度不足以存放新的数据，此时则需要清空所述数据处理缓冲区，并置所述数据处理缓冲区的有效数据区的长度为零。

在步骤S4中，请参考图4，当所述特征码查找方式为高速模式时，所述特征码的查找操作只需进行一次；

当所述特征码查找方式为低速模式或均衡模式时，所述数据处理缓冲区在每次数据更新时均需进行特征码查找；

若查找到所述特征码，则记录所述特征码在所述数据处理缓冲区中第一次出现的位置（索引），然后进行下一步处理；

若未查找到所述特征码，则清空所述数据处理缓冲区，并置所述数据处理缓冲区的有效数据区长度为零。

在步骤S5中，请参考图5，首先根据所述特征码偏移位置以及所述数据处理缓冲区中所述数据帧的特征码位置索引和数据域长度信息字段，获取所述数据处理缓冲区所述数据帧的数据域长度。

然后判断数据处理缓冲区内有效数据区的长度是否小于所述数据帧的数据域长度：若所述有效数据区的长度小于所述数据帧的数据域长度，则返回到所述接收端接收TCP数据并存放在所述数据处理缓冲区的步骤继续进行数据接收；若所述有效数据区的长度不小于所述数据帧的数据域长度，则根据所述特征码查找方式，从所述数据处理缓冲区提取结构化数据帧。

当所述有效数据区的长度不小于所述数据帧的数据域长度时，根据特征码查找方式处理如下：

A：若为高速模式，如图5所示，在当前缓冲区提取数据帧，更新有效数据区起始位置索引及长度，直至无法提取完整数据帧，最后将缓冲区的有效数据移至缓冲区头部，初始化空闲数据区。返回步骤S3，将新接收数据插入缓冲区，在步骤S4进入“是否为高速模式且已进行一次特征码查找”为“是”的流程，若首次查找特征码后，后续无需再执行特征码查找环节。

B：若为低速模式，如图6所示，在当前缓冲区提取数据帧，更新缓冲区的有效数据区起止位置索引及长度，进入步骤S4，继续在缓冲区有效数据区查找下一个特征码，而后提取数据帧。

C：若为均衡模式，如图7所示，在当前缓冲区提取数据帧，更新有效数据区起始位置索引及长度，直至无法提取完整数据帧，最后将缓冲区有效数据移至缓冲区头部，初始化空闲数据区。返回步骤S3，将新接收数据插入缓冲区，在步骤S4进入“是否为高速模式且已进行一次特征码查找”为“否”的流程，查找特征码。

对于低速模式和均衡模式，由于需要以较高频次的方式查找特征码，因此即使在缓冲区中存在混杂数据（如TCP保活探查数据）或查找到非期望的特征码，则通过下一次查找特征码，便可迅速纠偏，而无需重启接收端应用软件，具有良好的自适应纠错能力。

在步骤S6中，在对提取的所述结构化数据帧的有效性进行校验时，可以通过判断所述结构化数据帧的格式是否正确来判断所述结构化数据帧是否有效。例如帧头各字段信息是否为期望值、帧数据域长度是否与帧头中的数据域长度字段符合。如果数据有效则保留，数据无效则丢弃。

需要说明的是，尽管在附图中以特定顺序描述了本公开中用于结构化数据帧传输的TCP粘包处理方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。另外，也易于理解的是，这些步骤可以是例如在多个模块/进程/线程中同步或异步执行。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现用于结构化数据帧传输的TCP粘包处理方法的系统或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器或者网络设备等）执行根据本公开实施方式的上述用于结构化数据帧传输的TCP粘包处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种用于结构化数据帧传输的TCP粘包处理方法，其特征在于，包括：

根据航天地面系统间的信息交换内容，分析结构化数据帧信息，确定特征码、特征码偏移位置和特征码查找方式；

对接收端的数据处理缓冲区进行初始化；

所述接收端接收TCP数据并存放在所述数据处理缓冲区；

根据所述特征码偏移位置和所述特征码查找方式，在所述数据处理缓冲区的有效数据区查找接收的所述TCP数据的数据帧的特征码，并记录所述特征码的位置；

根据特征码查找结果及所述特征码查找方式，从所述数据处理缓冲区提取结构化数据帧；

校验提取的所述结构化数据帧的有效性。

2.根据权利要求1所述用于结构化数据帧传输的TCP粘包处理方法，其特征在于，所述特征码的长度不少于3个字节。

3.根据权利要求1所述用于结构化数据帧传输的TCP粘包处理方法，其特征在于，所述特征码查找方式包括：高速模式、均衡模式和低速模式，所述高速模式、均衡模式和低速模式所对应的数据的码率依次降低。

4.根据权利要求1所述用于结构化数据帧传输的TCP粘包处理方法，其特征在于，所述接收端接收TCP数据并存放在所述数据处理缓冲区的步骤包括：

所述接收端调用recv方法，将接收到的TCP数据存放在所述数据处理缓冲区的有效数据区的尾部，并更新所述有效数据区的长度。

5.根据权利要求4所述用于结构化数据帧传输的TCP粘包处理方法，其特征在于，若接收的所述TCP数据的长度大于所述数据处理缓冲区的空闲数据区的长度，则清空所述数据处理缓冲区，并置所述数据处理缓冲区的有效数据区的长度为零。

6.根据权利要求3所述用于结构化数据帧传输的TCP粘包处理方法，其特征在于，当所述特征码查找方式为高速模式时，所述特征码的查找操作只需进行一次。

7.根据权利要求3所述用于结构化数据帧传输的TCP粘包处理方法，其特征在于，当所述特征码查找方式为低速模式或均衡模式时，所述数据处理缓冲区在每次数据更新时均需进行特征码查找；

若查找到所述特征码，则记录所述特征码在所述数据处理缓冲区中第一次出现的位置，然后进行下一步处理；

若未查找到所述特征码，则清空所述数据处理缓冲区，并置所述数据处理缓冲区的有效数据区长度为零。

8.根据权利要求1所述用于结构化数据帧传输的TCP粘包处理方法，其特征在于，所述根据特征码查找结果及所述特征码查找方式，从所述数据处理缓冲区提取结构化数据帧的步骤，包括：

根据所述特征码偏移位置以及所述数据处理缓冲区中所述数据帧的特征码位置索引和数据域长度信息字段，获取所述数据处理缓冲区所述数据帧的数据域长度。

9.根据权利要求8所述用于结构化数据帧传输的TCP粘包处理方法，其特征在于，所述根据特征码查找结果及所述特征码查找方式，从所述数据处理缓冲区提取结构化数据帧的步骤，还包括：

判断数据处理缓冲区内有效数据区的长度是否小于所述数据帧的数据域长度；

若所述有效数据区的长度小于所述数据帧的数据域长度，则返回到所述接收端接收TCP数据并存放在所述数据处理缓冲区的步骤继续进行数据接收；

若所述有效数据区的长度不小于所述数据帧的数据域长度，则根据所述特征码查找方式，从所述数据处理缓冲区提取结构化数据帧。

10.根据权利要求1所述用于结构化数据帧传输的TCP粘包处理方法，其特征在于，所述校验提取的所述结构化数据帧的有效性的步骤，包括：

通过判断所述结构化数据帧的格式是否正确来判断所述结构化数据帧是否有效。