CN116016549A - 数据文件动态分片上传的方法及其系统 - Google Patents

Abstract

本发明公开了一种数据文件动态分片上传的方法，包括如下步骤：创建新的分片任务，获取建议分片大小、建议并发数和对应上传任务的唯一标识ID；查阅是否有最近上传速度数据，若没有则采用获取的建议分片大小和建议并发数作为分配方案；若有最近上传速度数据，则计算出分片大小和并发数作为分配方案；根据分配方案执行上传，并且记录上传的分片大小、并发数以及上传时间；根据分片上传结果，确认分片是否全部上传成功，若是，则将上传的分片进行合并，完成分片上传任务。本发明中分片上传的同时亦是网络状况监测的起始，已完成的分片上传结果为动态分配分配方案的重要参考数据，最大化实现分配上传效率及成功率，实现数据文件最终稳定、快速上传。

Description

数据文件动态分片上传的方法及其系统

技术领域

本发明属于数据通信领域，涉及数据文件上传技术，具体涉及一种数据文件动态分片上传的方法及其系统。

背景技术

数据文件上传会受到多方面因素的影响，现实网络环境多变加之存在多文件并发传输等情况，从而不可避免会出现数据中断、丢失等故障或是不能正常使用等问题产生。如上传数据为同一大文件，且经历变化的网络状态，如从5G变为3G、或从无线变为5G等多种情况，如此数据的传输很难一次性成功，且在接受大文件传输时，接受端可能会出现资源占用不均衡且效率低等问题。

所以，需要一个新的技术方案来解决这些问题。

发明内容

发明目的：为了克服现有技术中存在的不足，提供一种数据文件动态分片上传的方法及其系统，解决了多变网络环境下的数据文件分片上传的问题，分片上传的同时亦是网络状况监测的起始，已完成的分片上传结果为动态分配分配方案的重要参考数据，从而最大化实现分配上传效率及成功率，实现数据文件最终稳定、快速上传。

技术方案：为实现上述目的，本发明提供一种数据文件动态分片上传的方法，包括如下步骤：

S1：创建新的分片任务，获取建议分片大小、建议并发数和对应上传任务的唯一标识ID；

S2：查阅是否有最近上传速度数据，若没有则采用步骤S1中获取的建议分片大小和建议并发数作为分配方案；若有最近上传速度数据，则根据最近上传分片速度数据和并发数计算出分片大小和并发数作为分配方案；

S3：根据步骤S2获取的分配方案执行上传，并且记录上传的分片大小、并发数以及上传时间；

S4：根据分片上传结果，确认分片是否全部上传成功，若是，则将上传的分片进行合并，完成分片上传任务；若否，则启动容错机制。

进一步地，所述步骤S1中建议分片大小和并发数为提前预设的分片的大小及并发数。

进一步地，所述步骤S2中分片大小和并发数的计算方式为：初始默认分片大小4M，并发数为服务器的CPU核数；分片最小为1K，并发数为服务器的CPU核数的2倍。速度基数参考值16KB/S。

可选地，上述初始分片大小、速度基数的设置是可以根据实际情况预置的优选值，如网络基础设施良好时便可以调整分片的大小。

计算总共分两个阶段和一个异常情况：

第一种情况为初始阶段，先使用初始默认并发数C和默认分片大小P进行上传，得到速度V；如果速度低于上述基数值，则此阶段结束；如果速度高于上述基数值，则扩大默认分片大小P2(可以增加4M，也可以扩大一倍)，得到V2；如果V2>

V1*110％,则P＝P2，V＝V2，并继续扩大分片；如果V2<＝V1*110％,则结束此阶段；

可选地，上述的比例值110％是可根据实际情况预置的优选值。

第二阶段：动态测试并调优；在按C，P增减四个方向(不超出限值的情况下)进行探测，对分片数量C加1和减1，以及P增大或减少(不满4M按翻倍或减半变化，超过4M增则加4M，减则减4M但最低4M)，得到4个速度值，选取最大的1个速度，如果这个最大的速度值大于当前的V*110％，则更新C、V和P，并继续沿着这个方向继续，当然不超越C和P的限值。由此方式得到一个最大的速度值，并进行运行一段时间后，又继续这种探测；在稳定运行期间，如果速度也有明显变化(比如速度变化幅度30％)，也可以启动这种探测。

异常处理：如果在传输分片的过程中遇到异常，比如连接中断或服务器返回错误，则将并发数调成1，如果这个时候还出现错误，则进行分片减半，直到传输正常。如果正常运行一段时间后，则又可以进入上述第二阶段。

进一步地，所述步骤S3中记录的上传的分片大小、并发数以及上传时间形成查询列表，所述查询列表可用于查询正在上传完成和已上传完成的情况，已上传完成的结果可以成为下一次分片上传分配的参考依据。

进一步地，所述步骤S1中根据预先设置的传输时长阀值确定建议分片大小和并发数。

进一步地，所述步骤S3中在分片上传的过程中，优先自动合并已完成的连续分片，生成分片结果。

进一步地，所述步骤S4中容错机制包括分片上传异常和数据不完整，根据查询列表以及最近上传速度的数据，回到步骤S2。

进一步地，所述步骤S4中服务器合并上传结果时需要重新校验整个文件的MD5，采用分段Hash计算合并上传结果，即在分片上传时同步计算校验分片结果，确认完整性后可直接合并返回至客户端。

本发明中分段hash是为了解决进度99％停滞较长时间的问题。传统分片上传，最后合并文件时可能没有校验或校验时间太长，导致进度99％会持续一段时间。本发明将校验时间降到了几乎感觉不到，不再有99％的停滞。

本发明的方案是会对分段有预设值的，从而计算出比较适用与解决实际技术问题的数值，而这个分段可以是多种分段，也可以是固定一个分段hash来计算。在这里并没有细节提到准确的数值，是因为考虑本文档内容提供的是方法，而阅读者可以通过方法结合到实际的操作调整适合可解决问题的数值预设就可以了。

本发明还提供一种数据文件动态分片上传系统，包括客户端和服务器；

所述客户端用于创建分片任务，向服务器发送分片请求，依据网络情况决策分片大小及分片并发数，获得数据文件结果；

所述服务器为处理数据文件的对应后台，所述服务器用于接受客户端的分片请求，组合收到的分片，对应返回合并的请求结果。

所述客户端包括：

创建模块，用于创建上传新任务、将已存在的待上传的文件发送至服务器；

查询模块，用于生成查询列表，可查询正在上传完成和已上传完成的详细情况；

客户端管理模块，用于分配分片上传的大小和并发数，基于已上传的分片情况合理计算当前可用的网络链路传输速率，动态分配最优分片上传方案。

所述服务器包括：

服务器管理模块，用于发送数据文件上传任务的UploadId、优先合并已完成的连续分片、分段Hash合并分片结果；

判断模块，用于判断分片上传的传输时长，对比预设阀值区间、判断返回分片上传结果消息(是否异常)；

确认模块，用于接受上传任务、确认是否记录有最近上传速度的数据、确认执行分片任务、确认完整性后返回合并结果及索引信息。

本发明提供一种数据动态分片上传的方法及系统，其具备动态分片(可以依据之前的上传记录动态调整每一次的分片大小)、同时可以判断网络的情况、支持多分片并发上传的功能。解决了多变网络环境下的数据文件分片上传的问题，分片上传的同时亦是网络状况监测的起始，已完成的分片上传结果为动态分配分配方案的重要参考数据，从而最大化实现分配上传效率及成功率，实现数据文件最终稳定、快速上传。

关于成功率，主要是指非常差的网络状况下，假如一次性传输1M+的数据，无论如何都不能成功，如果将分片调成不到1M就能成功，那这个动态分片就能让文件在网络状况差的时候也能成功，所以能够最大化实现分配上传效率及成功率。

有益效果：本发明与现有技术相比，本发明提供一种数据动态分片上传的方法及系统，实现多文件同时上传解决了并发性问题；基于网络状态的动态分片方案，优化网络状态不稳定传输中断及资源分配不均衡效率低的缺点，更加突出的则是适用于如乘坐交通工具或共享网络等网络动态变化大的变化场景中来实现端对端数据快速、稳定的成功上传。

附图说明

图1为本发明方法的三阶段示意图；

图2为本发明方法的整体流程图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明提供一种数据文件动态分片上传系统，包括客户端和服务器；

客户端包括手机端、PC端、Web端等其他终端，用于创建分片任务，向服务器发送分片请求，依据网络情况决策分片大小及分片并发数，获得数据文件结果；

服务器为处理数据文件的对应后台，服务器用于接受客户端的分片请求，组合收到的分片，对应返回合并的请求结果。

客户端包括：

创建模块，用于创建上传新任务、将已存在的待上传的文件发送至服务器；

查询模块，用于生成查询列表，可查询正在上传完成和已上传完成的详细情况；

客户端管理模块，用于分配分片上传的大小和并发数，基于已上传的分片情况合理计算当前可用的网络链路传输速率，动态分配最优分片上传方案。

服务器包括：

服务器管理模块，用于发送数据文件上传任务的UploadId、优先合并已完成的连续分片、分段Hash合并分片结果；

判断模块，用于判断分片上传的传输时长，对比预设阀值区间、判断返回分片上传结果消息(是否异常)；

确认模块，用于接受上传任务、确认是否记录有最近上传速度的数据、确认执行分片任务、确认完整性后返回合并结果及索引信息。

基于上述数据文件动态分片上传系统，本发明提供一种数据文件动态分片上传的方法，如图1所示，该方法总体可以分为三个阶段，依次为分片预上传阶段、分片上传阶段和分片上传完成阶段。

参照图1和图2，该方法的具体过程包括如下步骤：

S1：分片预上传阶段：

通过客户端的创建模块创建新的分片任务，同时向服务器发送预上传任务指令；

服务器接受指令后，获取本次上传任务，通过服务器管理模块向客户端返回建议分片大小、建议并发数和对应上传任务的唯一标识ID(UploadId)；

建议分片大小和并发数为提前预设的分片的大小及并发数，根据预先设置的传输时长阀值确定建议分片大小和并发数；

UploadId将作为该次上传任务的唯一标识，作为后续数据文件分片上传的依据。

S2：分片上传阶段：

客户端接受来自服务器的建议结果后启动上传，通过查询模块查阅是否有最近上传速度数据，若没有则采用步骤S1中获取的建议分片大小和建议并发数作为分配方案；若有最近上传速度数据，则根据最近上传分片速度数据和并发数计算出分片大小和并发数作为分配方案；

分片大小和并发数的计算方式为：初始默认分片大小4M，并发数为服务器的CPU核数；分片最小为1K，并发数为服务器的CPU核数的2倍。速度基数参考值16KB/S。

计算总共分两个阶段和一个异常情况：

第一种情况为初始阶段，先使用初始默认并发数C和默认分片大小P进行上传，得到速度V；如果速度低于基数，则此阶段结束；如果速度高于基数，则扩大默认分片大小P2(可以增加4M，也可以扩大一倍)，得到V2；如果V2>V1*110％,则P＝P2，V＝V2，并继续扩大分片；如果V2<＝V1*110％,则结束此阶段；

第二阶段：动态测试并调优；在按C，P增减四个方向进行探测，对分片数量C加1和减1，以及P增大或减少(不满4M按翻倍或减半变化，超过4M增则加4M，减则减4M但最低4M)，得到4个速度值，选取最大的1个速度，如果这个最大的速度值大于当前的V*110％，则更新C、V和P，并继续沿着这个方向继续，当然不超越C和P的限值。由此方式得到一个最大的速度值，并进行运行一段时间后，又继续这种探测；在稳定运行期间，如果速度也有明显变化(比如速度变化幅度30％)，也可以启动这种探测。

异常处理：如果在传输分片的过程中遇到异常，比如连接中断或服务器返回错误，则将并发数调成1，如果这个时候还出现错误，则进行分片减半，直到传输正常。如果正常运行一段时间后，则又可以进入上述第二阶段。

S3：根据步骤S2获取的分配方案执行上传，并且记录上传的分片大小、并发数以及上传时间；

这里，分片上传时的分配安排是一个动态的变化过程，分片上传的起始亦是判断网络状况的开始，后续分片上传成功之后的上传结果(如包括该次的上传时间)会被依次记录形成<查询列表>，该列表可用于查询正在上传完成和已上传完成的情况。已上传的结果都可以成为下一次分片上传分配的参考依据。

通过判断模块，分片并发数和分片大小可以计算当前可用的网络链路传输速率(并发数*分片大小)，以此对应关系也可判断出当前的网络状况。反之，分片的上传速度数据也可以成为分片大小和并发数的参考依据，使得多文件并发上传时，网络状况计算的数据可以复用，后续上传的文件，可以适情况复用之前的网络性能数据。

S4：分片上传完成阶段：

服务器通过确认模块，根据分片上传结果，确认分片是否全部上传成功，若是，则将上传的分片进行合并，服务器将多个分片上传结果返回至客户端，接受客户端发送的合并请求，确认完整性后向客户端返回合并结果及文件索引信息，完成分片上传任务；

这里，在分片上传的过程中，服务器可以优先自动合并已完成的连续分片，生成分片结果，以此减少网络传输过程中的数据压力；

服务器合并上传结果时需要重新校验整个文件的MD5，采用分段Hash计算合并上传结果，即在分片上传时同步计算校验分片结果，确认完整性后可直接合并返回至客户端，从而避免大文件合并产生的卡顿问题且可以提升合并效率；

服务器会在预先设置传输时长的阀值，若本次分片上传的传输时长超过了预设阀值，则可以依据此合理调整下一次的分片大小及并发数。如：在设定的阀值区间的1/2时，便完成了分片上传，则可以加大分片大小或是增加分片并发数，从而保证高数据分片上传的成功率，且提供上传效率；

如果服务器确认分片没有全部上传成功，则启动容错机制，通过查询列表以及最近上传速度的数据，通过判断模块判断异常情况；

若为断点续传的情况，可以优先查询已上传分片的大小；

在分片上传过程中若出现了分片上传异常的情况，则需要请求确认<查询列表>确认已上传的分片情况，从而确定已完成的分片，以便保证未完成分片的继续上传；

服务器未能正常返回上传结果，则可确认<查询列表>，确认待处理的分片情况；

如果分片上传出现错误，可根据错误的异常情况，确认<查询列表>后，尝试重新上传；

分片上传任务管理设置自动清理区间，预设一定的时间区间将对未上传成功的文件数据进行清理。

本实施例还提供一种数据文件动态分片上传系统，该系统包括网络接口、存储器和处理器；其中，网络接口，用于在与其他外部网元之间进行收发信息过程中，实现信号的接收和发送；存储器，用于存储能够在所述处理器上运行的计算机程序指令；处理器，用于在运行计算机程序指令时，执行上述共识方法的步骤。

本实施例还提供一种计算机存储介质，该计算机存储介质存储有计算机程序，在处理器执行所述计算机程序时可实现以上所描述的方法。所述计算机可读介质可以被认为是有形的且非暂时性的。非暂时性有形计算机可读介质的非限制性示例包括非易失性存储器电路(例如闪存电路、可擦除可编程只读存储器电路或掩膜只读存储器电路)、易失性存储器电路(例如静态随机存取存储器电路或动态随机存取存储器电路)、磁存储介质(例如模拟或数字磁带或硬盘驱动器)和光存储介质(例如CD、DVD或蓝光光盘)等。计算机程序包括存储在至少一个非暂时性有形计算机可读介质上的处理器可执行指令。计算机程序还可以包括或依赖于存储的数据。计算机程序可以包括与专用计算机的硬件交互的基本输入/输出系统(BIOS)、与专用计算机的特定设备交互的设备驱动程序、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (10)

1.一种数据文件动态分片上传的方法，其特征在于，包括如下步骤：

S1：创建新的分片任务，获取建议分片大小、建议并发数和对应上传任务的唯一标识ID；

S2：查阅是否有最近上传速度数据，若没有则采用步骤S1中获取的建议分片大小和建议并发数作为分配方案；若有最近上传速度数据，则根据最近上传分片速度数据和并发数计算出分片大小和并发数作为分配方案；

S3：根据步骤S2获取的分配方案执行上传，并且记录上传的分片大小、并发数以及上传时间；

S4：根据分片上传结果，确认分片是否全部上传成功，若是，则将上传的分片进行合并，完成分片上传任务；若否，则启动容错机制。

2.根据权利要求1所述的一种数据文件动态分片上传的方法，其特征在于，所述步骤S1中建议分片大小和并发数为提前预设的分片的大小及并发数。

3.根据权利要求1所述的一种数据文件动态分片上传的方法，其特征在于，所述步骤S3中记录的上传的分片大小、并发数以及上传时间形成查询列表，所述查询列表可用于查询正在上传完成和已上传完成的情况，已上传完成的结果可以成为下一次分片上传分配的参考依据。

4.根据权利要求2所述的一种数据文件动态分片上传的方法，其特征在于，所述步骤S1中根据预先设置的传输时长阀值确定建议分片大小和并发数。

5.根据权利要求1所述的一种数据文件动态分片上传的方法，其特征在于，所述步骤S3中在分片上传的过程中，优先自动合并已完成的连续分片，生成分片结果。

6.根据权利要求3所述的一种数据文件动态分片上传的方法，其特征在于，所述步骤S4中容错机制包括分片上传异常和数据不完整，根据查询列表以及最近上传速度的数据，回到步骤S2。

7.根据权利要求1所述的一种数据文件动态分片上传的方法，其特征在于，所述步骤S4中服务器合并上传结果时需要重新校验整个文件的MD5，采用分段Hash计算合并上传结果，即在分片上传时同步计算校验分片结果，确认完整性后可直接合并返回至客户端。

8.一种数据文件动态分片上传系统，其特征在于，包括客户端和服务器；

所述客户端用于创建分片任务，向服务器发送分片请求，依据网络情况决策分片大小及分片并发数，获得数据文件结果；

所述服务器为处理数据文件的对应后台，所述服务器用于接受客户端的分片请求，组合收到的分片，对应返回合并的请求结果。

9.根据权利要求8所述的一种数据文件动态分片上传系统，其特征在于，所述客户端包括：

创建模块，用于创建上传新任务、将已存在的待上传的文件发送至服务器；

查询模块，用于生成查询列表，可查询正在上传完成和已上传完成的详细情况；

客户端管理模块，用于分配分片上传的大小和并发数，基于已上传的分片情况计算当前可用的网络链路传输速率，动态分配最优分片上传方案。

10.根据权利要求8所述的一种数据文件动态分片上传系统，其特征在于，所述服务器包括：

服务器管理模块，用于发送数据文件上传任务的UploadId、优先合并已完成的连续分片、分段Hash合并分片结果；

判断模块，用于判断分片上传的传输时长，对比预设阀值区间、判断返回分片上传结果消息；

确认模块，用于接受上传任务、确认是否记录有最近上传速度的数据、确认执行分片任务、确认完整性后返回合并结果及索引信息。

Images