CN116980081A - 一种数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种数据处理方法及系统，属于数据处理技术领域，上述数据处理方法包括以下步骤：对将要传输的数据进行分批，形成至少一个批次的数据组；对每个批次的数据组赋予标签；对标签进行留存，得到留存标签；将多个批次数据组，以及赋予数据组的标签进行发送；接收端在接收到数据组，以及赋予数据组的标签后，将接收到的数据组的标签与留存标签进行对比，判断是否相同；若接收到的数据组的标签与留存标签相同，则判定数据接收完成；若接收到的数据组的标签与留存标签不相同，则判定数据接收异常。本发明提供的数据处理方法能够有效避免因网络波动导致的数据缺失，保证数据传输的完整性。

Description

一种数据处理方法及系统

技术领域

本发明属于数据处理技术领域，具体涉及一种数据处理方法及系统。

背景技术

随着网络的发展，数据在互联网的支持下进行传输也越来越便利，然而数据在进行网络传输时，存在因网络波动，导致传输数据的缺失，进而导致整个数据包传输异常，接收端也会因为接收到的数据不完整，导致无法对传输的数据进行提取。

目前，虽然有中断续传机制，即在网络出现波动时，中止当前的数据传输，在在网络恢复正常后再继续进行传输，但该机制因中止数据传输的时机存在滞后性，因此仍不可避免的会出现数据缺失的情况。

发明内容

本发明提供一种数据处理方法及系统，能够有效避免因网络波动导致的数据缺失，保证数据传输的完整性。

本发明通过下述技术方案实现：

一方面，本发明提供一种数据处理方法，包括以下步骤：对将要传输的数据进行分批，形成至少一个批次的数据组；对每个批次的数据组赋予标签；对标签进行留存，得到留存标签；将多个批次数据组，以及赋予数据组的标签进行发送；接收端在接收到数据组，以及赋予数据组的标签后，将接收到的数据组的标签与留存标签进行对比，判断是否相同；若接收到的数据组的标签与留存标签相同，则判定数据接收完成；若接收到的数据组的标签与留存标签不相同，则判定数据接收异常。

在其中一些实施例中，对每个批次的数据组赋予标签包括：对批量数据组赋予开始标签、结束标签和/或中间标签；在存在中间标签的情况下，将中间标签和批次数据组进行打包，以待后续传输。

在其中一些实施例中，对一批次数据组赋予的中间标签至少包括一个，中间标签的数量与数据组占用内存大小呈正相关；在存在至少两个中间标签时，中间标签均匀间隔插入至批次数据组中。

在其中一些实施例中，判定数据接收异常之后，还包括：确定接收到的数据组的标签的缺失情况；根据数据组标签的缺失情况，确定缺失数据；其中，缺失数据为缺失标签相邻的标签之间的数据；对缺失数据进行二次传输。

在其中一些实施例中，当对批量数据组赋予开始标签、结束标签和中间标签时，开始标签中包括第一子标签，第一子标签/>，其中，/>为中间标签的数量，/>为第一预设常数；结束标签中包括第二子标签/>，第二子标签/>，其中，/>为第二预设常数；/>，其中，/>为验证常数。

在其中一些实施例中，对将要传输的数据进行分批之后，对每个批次的数据组赋予标签之前，还包括标签的生成，标签的生成包括：确定当前批次数据组内存占用大小；基于数据组内存占用大小生成至少一个标签；其中，生成的标签为独特数据，每个标签仅使用一次。

在其中一些实施例中，标签的生成采用标签向量的方式。

在其中一些实施例中，将接收到的数据组的标签与留存标签进行对比的过程中，当存在接收到的数据组的标签在留存标签中不存在对应标签时，将接收端和发送端断开，停止数据传输。

在其中一些实施例中，判定数据接收完成之后，还包括以下步骤：将发送端上已经发送的数据对应的留存标签删除；将接收端接收到的数据组中的标签删除。

另一方面，本申请实施例提供一种数据处理系统，包括处理器和存储器，存储器中存储有计算机程序，处理器执行计算机程序，以实现上述实施例中任一项的数据处理方法。

本发明与现有技术相比，具有以下优点及有益效果：

本发明提供的数据处理方法通过首先对将要传输的数据进行分批，并且对每个批次的数据组赋予标签，然后在数据组完成传输之后，接收端将接收到的数据组对应的标签与发送端留存的标签进行对比，通过判断二者是否相同，进一步判定接收端接收到的数据是否异常，进而发送端与接收端在数据传输过程中数据缺失，或者其他异常等情况时及时获知相关信息，以便进一步对存在缺失的数据进行二次传输，进而避免在整个数据完成传输之后才发现传输的数据存在缺失的情况，提高整个传输效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明一些实施例提供的数据处理方法的流程示意图；

图2为本发明另一些实施例提供的数据处理方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

在本发明的描述中，需要说明的是，所采用的术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，本发明的描述中若出现“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

一方面，本实施例提供一种数据处理方法，请参阅图1，主要包括以下步骤：

S10、对将要传输的数据进行分批，形成至少一个批次的数据组。在S10中，基于网络带宽，对需要传输的数据进行分批处理，然后基于批次对数据进行排队传输，通过分批处理，形成一个或多个批次的数据组。

S20、对每个批次的数据组分别赋予标签。在S20中，在形成至少一个批次的数据组之后，对每个批次的数据组赋予标签，赋予的标签是独立于将要传输的数据，并且为特定的数据。

S30、在标签生成后，在发送端对标签进行留存，得到留存标签。在S30中，对发送端对标签进行留存的操作可以是在发送端自发进行，也可通过三方控制模块实现控制，发送端对标签进行单独留存，以备后续进行对比。

在一些示例中，留存标签开单独开辟存储单元进行存储，以使得后续进行对比时方便调用。

S40、将多个批次数据组，以及赋予数据组的标签进行发送。在S40中，发送端将数据组以及数据组对应的标签发送至接收端，完成数据的传输过程，在过程中，数据的传输通常以一个批次为单位，每一个批次的数据包在完成传输时，均可认为已经完成数据的传输过程。

S50、接收端在接收到数据组，以及赋予数据组的标签后，单独将接收到的数据组的标签与发送端的留存标签进行对比，判断是否相同。在S50中，接收端在每次接收到一个批次的数据组之后，均进行后续的对比动作。在判断接收端接收到的数据组的标签与发送端的留存标签是否相同时，当接收端接收到的标签少于留存标签时，或者标签内容不相同时，即判定接收到的数据组的标签和留存标签不相同。

S60、在S50判断步骤之后，若判定接收到的数据组的标签与留存标签相同时，则判定数据接收完成。在S60中，接收端接收到的数据组的标签与留存标签相同时，即判定数据完全接收，未存在缺失情况，判定接收端数据接收完成。

S70、在S50判断步骤之后，若判定接收到的数据组的标签与留存标签不相同时，则判定数据接收异常。在S70中，接收端接收到的数据组的标签与留存标签数量不相同，或者内容不相同时，则判定接收到的数据组存在异常。

在上述实施例中，通过首先对将要传输的数据进行分批，并且对每个批次的数据组赋予标签，然后在数据组完成传输之后，接收端将接收到的数据组对应的标签与发送端留存的标签进行对比，通过判断二者是否相同，进一步判定接收端接收到的数据是否异常，进而发送端与接收端在数据传输过程中数据缺失，或者其他异常等情况时及时获知相关信息，以便进一步对存在缺失的数据进行二次传输，进而避免在整个数据完成传输之后才发现传输的数据存在缺失的情况，提高整个传输效率。

在其中一些实施例中，S20步骤可具体包括以下步骤：

S201、对批量数据组赋予开始标签、结束标签和/或中间标签。在S201中，开始标签是赋予在数据组之前的标签，在数据组进行传输的过程中，接收端会先接收到开始标签，再接收到数据组。结束标签是赋予在数据组之后的标签，在数据组进行传输的过程中，接收端会接收到数据组，再接收到结束标签。中间标签是赋予在数据组内的标签，会在数据组接收的过程中接收到中间标签。

在一些示例中，可对批量数据组赋予开始标签、结束标签和中间标签中的其中一个，可根据具体情况，比如对数据传输的要求，数据的重要程度，进行选择性设置。

在另一些示例中，可同时对批量赋予开始标签、结束标签和中间标签中的两个或全部，在对数据传输的要求较高，数据的重要程度较高时，可采用该方示例。

S202、在存在中间标签的情况下，将中间标签和批次数据组进行打包，以待后续传输。在S202中，中间标签与批次数据组同时进行打包放置，此时中间标签和数据组中间的数据联系更加紧密，能够更好的反映数据的传输是否完整，能够更好的判断接收端接收到的数据组是否存在缺失的情况。

在一些示例中，当仅存在开始标签或者结束标签时，开始标签或结束标签可选择不与数据组同时进行打包，此时接收端在接收到传输数据以及对应的标签时，可直接获取开始标签或结束标签，不需要对打包的数据组进行解压处理，接收端直接将开始标签或结束标签与发送端留存标签进行对比即可。当然，也可选择将开始标签或结束标签与数据组同时进行打包进行后续的传输。

在另一些示例中，当数据组仅赋予有中间标签，或者赋予有包括中间标签，以及开始标签和/或结束标签多个标签时，中间标签与传输数据同时进行打包。接收端在接收到传输数据后，需要对该批次数据组的打包文件进行解压，然后获取中间标签，再与发送端的留存标签进行对比。

在上述示例中，当采用中间标签时，通过将中间标签与传输数据组同时进行打包操作，中间标签更加贴近传输的数据组，因此中间标签的对比操作，可以更加精准的对传输的数据组是否存在缺失情况进行判定。而采用开始标签和/或结束标签时，接收端对开始标签和/或结束标签的获取更加简单，尤其在开始标签和/或结束标签不与数据组进行打包时，可直接对标签进行获取并对比，对于接收端的计算力较小，能够减少对接收端运行内存的占用。而即使开始标签和/或结束标签与数据组同时进行打包，在后续对数据组进行解压之后，也能够快速的找到开始标签和/或结束标签。

在其中一些实施例中，对一批次数据组赋予的中间标签至少包括一个，中间标签的设置数量与数据组占用内存大小呈正相关。在存在至少两个中间标签时，中间标签均匀间隔插入至批次数据组中。在该实施例中，可根据传输的数据组的大小，设置一个或多个中间标签，中间标签数量设置得越多，越能够更加精确的对数据传输过程中是否存在缺失情况进行判断。在实际使用的过程中，通常会按照数据组大小，比例设置中间标签的数量。在传输的数据组较大，设置得中间标签多余一个时，中间标签均匀间隔插入至批次数据组中，即从接收端接收数据的角度来说，任意两个中间标签之间的数据的大小相同，或接近相同。

在其中一些实施例中，请参阅图2，S70步骤之后，还包括以下步骤：

S80、确定接收到的数据组的标签的缺失情况。在S80中，在仅存在一个标签时，则可直接确定该标签是否存在缺失情况。在存在多个标签时，需要确定具体缺失的标签，示例性的，比如开始标签缺失，结束标签缺失等。

S90、根据数据组的标签的缺失情况，确定缺失数据；其中，缺失数据为缺失标签相邻的标签之间的数据。在S90中，可根据数据组标签的缺失情况，对应寻找该批次数据组中对应缺失的数据。

在一些示例中，当仅存在一个标签时，该标签出现缺失，则判定该批次数据组缺失，数据组传输失败。

在另一些示例中，当存在多个标签时，示例性的，当存在多个中间标签，中间标签的编号为1,2,3,4,5,6，当标签3,4缺失，则判定标签2至标签5之间的数据缺失。

S100、对缺失数据进行二次传输。通过S90中缺失数据的确定，再次对缺失数据进行二次传输，以保证数据传输的完整性。

在其中一些实施例中，在S201步骤中，当对批量数据组赋予开始标签、结束标签和中间标签时，开始标签中包括第一子标签，第一子标签/>，其中，/>为中间标签的数量，/>为第一预设常数；结束标签中包括第二子标签/>，第二子标签/>，其中，为第二预设常数；/>，其中，/>为验证常数。通过该设置，能够在获取到开始标签和/或结束标签时，直接获取传输数据的具体情况，比如传输数据的大小等信息，以便用于判断数据传输过程中是否存在缺失的情况。

在一些示例中，当仅存在中间标签和开始标签时，开始标签中包括第一子标签，第一子标签/>，其中，/>为中间标签的数量，/>为第一预设常数。第一预设常数预设常数可任意设置，通过第一子标签的信息，能够直接获取到传输数据的大小情况，进而用于断数据传输过程中是否存在缺失的情况。

类似的，当仅存在中间标签时和节数标签时，结束标签中包括第二子标签，第二子标签/>，其中，/>为第二预设常数。通过第二子标签的信息，也能够直接获取到传输数据的大小情况，进而用于断数据传输过程中是否存在缺失的情况。

在另一些实施例中，当同时存在中间标签、开始标签和结束标签时，通过第一子标签或第二子标签均能够直接获取到传输数据的大小情况，进而用于断数据传输过程中是否存在缺失的情况。另一方面，设置，其中，/>为验证常数，在获取到第一子标签/>和第二子标签/>时，接收端可以反推得到第一预设常数和第二预设常数，通过运算/>是否等于/>，进而判断数据传输过程中是否出现被篡改的情况，进而保证数据的安全性。第一预设常数和第二预设常数，以及验证常数可任意进行设置，并且可实时进行更新，以便保证验证常数的保密性，进而避免被三方拦截，防止数据传输过程中被篡改的情况。

在其中一些实施例中，在S10步骤之后，S20步骤之前，还包括标签的生成，标签的生成具体包括以下步骤：

T10、基于S10步骤，确定将要传输的当前多个批次数据组内存占用大小。

T20、基于每个数据组内存占用大小生成至少一个标签。其中，生成的标签为独特数据，每个标签仅使用一次。在T20中，对于每个数据组生成的标签不同，以便对传输的数据组进行识别。

在其中一些实施例中，生成的标签通过采用标签向量的形式确定，通过设置标签向量的形式，可将对应数据组占用内存的大小等信息作为标签向量的大小，将标签所在位置，比如开始标签、中间标签1,2,3,4,5,6......、结束标签等，设置为标签向量的方向，通过该设置，能够有效对标签进行识别。另一方面，还能够通过标签确定数据组的传输情况。

在其中一些实施例中，S50步骤中，当存在接收到数据组的标签在发送端的留存标签中不存在对应标签时，即接收端接收到的数据组中标签与留存标签不对应，并且出现了留存标签中不存在的标签，此时判定数据传输异常，且具有极大的传输数据被篡改的风险，此时将接收端和发送端断开，停止数据传输，以保证接收端的安全性。

在其中一些实施例中，S60步骤之后，还包括以下步骤：

S80-1、将发送端上已经发送的数据对应的留存标签删除。在S80-1中，在数据传输成功之后，将发送端上数据对应的留存标签删除，以释放发送端留存标签的占用内存，提供系统的鲁棒性。

S80-2、将接收端接收到的数据组中的标签删除。通过S80-1的设置，能够释放接收端标签的占用内存，进而提高系统的鲁棒性。另一方面，在数据组打包传输之后，也能够在后续解压过程中，标签数据对传输数据造成影响。

另一方面，本申请实施例提供一种数据处理系统，包括处理器和存储器，存储器中存储有计算机程序，处理器执行该计算机程序，以实现上述实施例中任一项的数据处理方法。

本实施例还提供一种计算机存储介质，其上存储有计算机程序，计算机程序被处理模块进行加载，以实现上述实施例中任一项的数据处理方法。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何行进上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括以下步骤：

对将要传输的数据进行分批，形成至少一个批次的数据组；

对每个批次的数据组赋予标签；

对标签进行留存，得到留存标签；

将多个批次数据组，以及赋予数据组的标签进行发送；

接收端在接收到数据组，以及赋予数据组的标签后，将接收到的数据组的标签与留存标签进行对比，判断是否相同；

若接收到的数据组的标签与留存标签相同，则判定数据接收完成；

若接收到的数据组的标签与留存标签不相同，则判定数据接收异常。

2.根据权利要求1所述的数据处理方法，其特征在于，对每个批次的数据组赋予标签包括：

对批量数据组赋予开始标签、结束标签和/或中间标签；

在存在中间标签的情况下，将中间标签和批次数据组进行打包，以待后续传输。

3.根据权利要求2所述的数据处理方法，其特征在于，对一批次数据组赋予的中间标签至少包括一个，中间标签的数量与数据组占用内存大小呈正相关；在存在至少两个中间标签时，中间标签均匀间隔插入至批次数据组中。

4.根据权利要求3所述的数据处理方法，其特征在于，判定数据接收异常之后，还包括：

确定接收到的数据组的标签的缺失情况；

根据数据组标签的缺失情况，确定缺失数据；其中，缺失数据为缺失标签相邻的标签之间的数据；

对缺失数据进行二次传输。

5.根据权利要求3所述的数据处理方法，其特征在于，当对批量数据组赋予开始标签、结束标签和中间标签时，所述开始标签中包括第一子标签，所述第一子标签/>，其中，/>为中间标签的数量，/>为第一预设常数；所述结束标签中包括第二子标签/>，所述第二子标签/>，其中，/>为第二预设常数；/>，其中，/>为验证常数。

6.根据权利要求1所述的数据处理方法，其特征在于，对将要传输的数据进行分批之后，对每个批次的数据组赋予标签之前，还包括标签的生成，标签的生成包括：

确定当前批次数据组内存占用大小；

基于数据组内存占用大小生成至少一个标签；其中，生成的标签为独特数据，每个标签仅使用一次。

7.根据权利要求6所述的数据处理方法，其特征在于，标签的生成采用标签向量的方式。

8.根据权利要求6所述的数据处理方法，其特征在于，将接收到的数据组的标签与留存标签进行对比的过程中，当存在接收到的数据组的标签在留存标签中不存在对应标签时，将接收端和发送端断开，停止数据传输。

9.根据权利要求1所述的数据处理方法，其特征在于，判定数据接收完成之后，还包括以下步骤：

将发送端上已经发送的数据对应的留存标签删除；

将接收端接收到的数据组中的标签删除。

10.一种数据处理系统，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，以实现权利要求1至9任一项所述的数据处理方法。