CN115174561B - 一种文件分段传输方法及系统 - Google Patents

Abstract

本发明涉及网络文件传输技术领域，公开了一种文件分段传输方法及系统：客户端计算文件标识值和文件大小，并发送给服务器集群；服务器集群判断若没有历史传输记录则计算每个分段文件的推荐大小，并返回至客户端；客户端根据推荐大小对待传文件进行拆分，并计算分段文件的文件标识值，将每个分段文件、分段文件的文件标识值和待传文件标识值加密后发送至服务器集群；服务器集群根据分段文件的文件属性信息计算文件标识值；通过比较接收的文件标识值和计算出的文件标识值，判断每个分段文件是否传输成功；客户端根据每个分段文件的传输结果，校验待传文件是否传输完毕。本发明实现了大文件高效传输和分段文件加密再传，提高传输效率和传输安全性。

Description

一种文件分段传输方法及系统

技术领域

本发明涉及网络文件传输技术领域，特别涉及一种文件分段传输方法及系统。

背景技术

传统大文件分段续传方法是将大文件拆分成不同大小的分段文件，然后将分段文件顺序传输给服务器，每传输成功一个，根据传输耗时动态计算下一个分段文件大小。例如公开号为CN114884938A的中国专利申请，提出一种云端服务器自适应处理下载文件的方法，对文件进行裂解分切，多地址下载，采用复合二分的方式将数据进行截断。

上述传统的大文件传输方式没有根据服务器集群环境和带宽限制动态控制文件的拆分大小，因此无法在服务端动态扩容和增加硬件资源的情况下实现传输性能的提升。此外，传统的大文件分段传输方法没有考虑数据加密和数据篡改，这样容易导致内容泄密或者收到的文件损坏。最后，传统的大文件分段传输方法没有兼容续传方案，进而导致资源浪费。

发明内容

鉴于现有技术中的上述缺陷或不足，本发明提供了一种文件分段传输方法及系统，与现有大文件分段续传技术相比，本发明能够在客户端与服务器断线重连后，根据历史传送情况筛选未传输成功的分段文件进行加密再传，提高了传输效率和传输安全性。

本发明的第一方面，提供了一种文件分段传输方法，包括如下步骤：

客户端根据待传文件的第一文件属性信息，计算第一文件标识值和文件大小，并将计算出的第一文件标识值和文件大小发送给服务器集群；

服务器集群根据接收到的第一文件标识值，判断待传文件是否存在历史传输记录，若没有历史传输记录，则根据待传文件的文件大小和服务器集群的资源计算待传文件的每个分段文件的推荐大小，并将分段文件的推荐大小返回至客户端；

客户端根据返回的分段文件的推荐大小对待传文件进行拆分，并根据拆分后的每个分段文件的第二文件属性信息计算第二文件标识值，将每个分段文件、相应的第二文件标识值和第一文件标识值加密后发送至服务器集群；

服务器集群接收加密的每个分段文件、相应的第二文件标识值、和第一文件标识值，解密后获取每个分段文件的第三文件属性信息，并根据分段文件的第三文件属性信息计算第三文件标识值；通过比较第二文件标识值和第三文件标识值，判断每个分段文件是否传输成功，并将每个分段文件的传输结果返回至客户端；

客户端根据每个分段文件的传输结果，校验待传文件是否传输完毕。

进一步的，若服务器集群根据接收到的第一文件标识值，判断出待传文件存在历史传输记录，则将已传输成功和传输失败的分段文件的数量和编号返回至所述客户端；

客户端根据传输失败的分段文件的编号，对传输失败的分段文件进行续传。

进一步的，若待传文件的全部分段文件传输完毕，则服务器集群将含有相同的第一文件标识值的分段文件按照分段文件编号聚合为大文件。

进一步的，第一文件属性信息包括文件名、文件类型、创建时间和最近修改时间；

第二文件属性信息和第三文件属性信息包括文件名、文件类型、创建时间、最近修改时间、分段文件的编号和分段文件的数量。

进一步的，服务器集群的资源包括服务器的数量和网络带宽。

本发明的第二方面，提供了一种文件分段传输系统，包括：

客户端，用于根据待传文件的第一文件属性信息，计算第一文件标识值和文件大小，并将计算出的第一文件标识值和文件大小发送给服务器集群；根据服务器集群返回的分段文件的推荐大小对待传文件进行拆分，并根据拆分后的每个分段文件的第二文件属性信息计算第二文件标识值，将每个分段文件、相应的第二文件标识值和第一文件标识值加密后发送至服务器集群；根据服务器集群返回的每个分段文件的传输结果，校验待传文件是否传输完毕。

服务器集群，用于根据从客户端接收到的第一文件标识值，判断待传文件是否存在历史传输记录，若没有历史传输记录，则根据待传文件的文件大小和服务器集群的资源计算待传文件的每个分段文件的推荐大小，并将分段文件的推荐大小返回至客户端；从客户端接收加密的每个分段文件、相应的第二文件标识值和第一文件标识值，解密后获取每个分段文件的第三文件属性信息，并根据分段文件的第三文件属性信息计算第三文件标识值；通过比较第二文件标识值和第三文件标识值，判断每个分段文件是否传输成功，并将每个分段文件的传输结果返回至客户端。

进一步的，服务器集群，还用于若根据接收到的第一文件标识值，判断出待传文件存在历史传输记录，则将已传输成功和传输失败的分段文件的数量和编号返回至所述客户端；

客户端，还用于根据传输失败的分段文件的编号，对传输失败的分段文件进行续传。

进一步的，服务器集群，还用于若待传文件的全部分段文件传输完毕，则将含有相同的第一文件标识值的分段文件按照分段文件的编号聚合为大文件。

进一步的，第一文件属性信息包括文件名、文件类型、创建时间和最近修改时间；

第二文件属性信息和第三文件属性信息包括文件名、文件类型、创建时间、最近修改时间、分段文件的编号和分段文件的数量。

进一步的，服务器集群的资源包括服务器的数量和网络带宽。

本发明提供的一种文件分段传输方法和系统，具有如下有益效果：

（1）根据服务器集群的资源动态的对大文件分段加密，从而实现大文件高效传输。

（2）在客户端与服务器断线重连后，根据历史传送情况筛选未传输成功的分段文件进行加密再传，提高了传输效率和传输安全性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明一个实施例提供的一种文件分段传输方法的系统逻辑图；

图2是本发明一个实施例提供的一种文件分段传输方法的流程图；

图3是本发明一个实施例提供的在客户端侧执行的一种文件分段传输方法的流程图；

图4是本发明一个实施例提供的在服务器侧执行的一种文件分段传输方法的流程图；

图5是本发明一个实施例提供的一种文件分段传输系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”“所述”和“该”也旨在包括多数形式，除非上下文清楚的表示其他含义。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述获取模块，但这些获取模块不应限于这些术语。这些术语仅用来将获取模块彼此区分开。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似的，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。

需要注意的是，本发明实施例所描述的“上”“下”“左”“右”等方位词是以附图所示的角度来进行描述的，不应理解为对本发明实施例的限定。此外在上下文中，还需要理解的是，当提到一个元件被形成在另一个元件“上”或“下”时，其不仅能够直接形成在另一个元件“上”或者“下”，也可以通过中间元件间接形成在另一元件“上”或者“下”。

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

本发明的一个实施例旨在提供一种文件分段传输方法，图1为系统逻辑图。参见图2所示，该方案通过以下步骤实现：

步骤S101，客户端根据待传文件的第一文件属性信息，计算第一文件标识值和文件大小，并将计算出的第一文件标识值和文件大小发送给服务器集群。

具体的，客户端提取待传文件的文件名、文件类型、创建时间、最近修改时间等文件属性信息，将上述文件属性信息过MD5加密后生成该待传文件的唯一标识，即MD5值，并将待传文件的唯一标识和文件大小一同发送给服务器集群中的服务器。

需要指出的是，生成文件的唯一标识的方法可以是但不限于是MD5加密，也可以是其他加密方式，本实施例不做具体的限定。

步骤S102，服务器集群根据接收到的第一文件标识值，判断待传文件是否存在历史传输记录，若没有历史传输记录，则根据待传文件的文件大小和服务器集群的资源计算待传文件的每个分段文件的推荐大小，并将分段文件的推荐大小返回至客户端。

具体的，服务器集群中的服务器接收客户端发送的待传文件的MD5值和文件大小值，在分布式缓存环境中判断该MD5值的待传文件是否存在已传输分段文件。若没有已传输分段文件，则根据接收到的待传文件的文件大小和服务器集群中的服务器数量、带宽等资源信息计算待传文件的每个分段文件的推荐大小。然后，将计算出的推荐大小返回至客户端。

进一步的，分段文件的推荐大小优选的根据如下原则和方法确定：

N = INT((fn/sn)/(10%*gbps))+1；

N：表示分段文件的推荐拆分个数；

INT：该函数表示对结果向下取整；

fn：表示待上传文件大小（单位：mb）；

sn：表示集群中的在线服务器数量；

10%：表示单台服务器的并发度；

gbps：表示单台服务器的带宽（单位：mb）;

例如：2G文件上传到服务器为数量5台、带宽为1000mb的集群环境上，推荐拆分大小为：

5=INT((2048/5)/(10%*1000))+1；

综上所述，服务器集群中在线服务器的数量越多、单台服务器的带宽越大，分段文件的拆分数量就越少；服务器集群中在线服务器的数量越少、单台服务器的带宽越小，分段文件的拆分数量就越大；当在线服务器的数量和带宽的变化趋势不同时，则按照上式具体确定分段文件的数量。对于固定大小的待传文件而言，一旦分段文件的数量确定，每个分段文件的推荐大小也就确定了。

步骤S103，客户端根据返回的分段文件的推荐大小对待传文件进行拆分，并根据拆分后的每个分段文件的第二文件属性信息计算第二文件标识值，将每个分段文件、相应的第二文件标识值和第一文件标识值加密后发送至服务器集群。

具体的，客户端根据回传信息确定待传文件有无传输过，若没有传输过，根据服务器返回的分段文件推荐大小对待传文件进行拆分，并根据分段文件的文件名、文件类型、创建时间、最近修改时间、分段文件的编号、分段文件的数量等文件属性信息计算分段文件的唯一标识值，即MD5值。客户端将每个分段文件、每个分段文件的MD5值、待传文件的MD5值等分段文件的文件属性信息加密后一同发送至服务器集群。

步骤S104，服务器集群接收加密的每个分段文件、相应的第二文件标识值和第一文件标识值，解密后获取每个分段文件的第三文件属性信息，并根据分段文件的第三文件属性信息计算第三文件标识值；通过比较第二文件标识值和第三文件标识值，判断每个分段文件是否传输成功，并将每个分段文件的传输结果返回至客户端。

具体的，服务器集群中的服务器接收经过加密的分段文件，对其进行解密，获取分段文件的文件名、文件类型、创建时间、最近修改时间、分段文件的编号、分段文件数量等文件属性信息，并根据上述信息计算MD5值，并且与传递的分段文件的MD5值进行对比，若结果一致，则认为传输成功，否则认为文件损坏传输失败。同时，记录该分段文件的传输结果，获取当前所有传输成功的分段文件，计算传输进度，最后将每个分段文件的传输结果返回至客户端。

步骤S105，客户端根据每个分段文件的传输结果，校验待传文件是否传输完毕。

具体的，客户端收到服务器返回的分段文件传输结果集，该传输结果集包含传输成功结果集、传输失败结果集和待传输结果集。客户端根据上述传输结果集校验是否所有分段文件均传输成功，若是则传输流程结束。

本实施例的上述方法根据服务器集群的资源动态的对大文件分段加密，从而实现大文件高效传输。

更进一步的，为了在客户端与服务器断线重连后，根据历史传送情况筛选未传输成功的分段文件进行加密再传，提高传输效率，本发明的实施例的步骤S102还包括如下步骤：

步骤S1021，若服务器集群根据接收到的第一文件标识值，判断出待传文件存在历史传输记录，则将已传输成功和传输失败的分段文件的数量和编号返回至客户端；客户端根据传输失败的分段文件的编号，对传输失败的分段文件进行续传。

更进一步的，本发明实施例还包括如下步骤：

步骤S106，若待传文件的全部分段文件传输完毕，则服务器集群将含有相同的第一文件标识值的分段文件按照分段文件的编号的顺序聚合为大文件。

参见图3，本发明的另一实施例还提供了一种在客户端侧执行的文件分段传输方法，包括：

步骤S201，根据待传文件的第一文件属性信息，计算第一文件标识值和文件大小，并将计算出的第一文件标识值和文件大小发送给服务器集群；

步骤S202，根据服务器集群返回的分段文件的推荐大小对待传文件进行拆分，并根据拆分后的每个分段文件的第二文件属性信息计算第二文件标识值，将每个分段文件、相应的第二文件标识值和第一文件标识值加密后发送至服务器集群；其中，每个分段文件的推荐大小，由服务器集群根据待传文件的文件大小和服务器集群的资源计算得到；

步骤S203，根据服务器集群返回的每个分段文件的传输结果，校验待传文件是否传输完毕。

本实施例的步骤S201-S203与上述实施例中的步骤S101-S105对应，其实现原理和技术效果类似，此处不再赘述。

参见图4，本发明的另一实施例还提供了一种在服务器侧执行的文件分段传输方法，包括：

步骤S301，根据从客户端接收到的第一文件标识值，判断待传文件是否存在历史传输记录，若没有历史传输记录，则根据待传文件的文件大小和服务器集群的资源计算待传文件的每个分段文件的推荐大小，并将分段文件的推荐大小返回至客户端；其中，第一文件标识值由客户端根据待传文件的第一文件属性信息计算获得；

步骤S302，从客户端接收加密的每个分段文件、分段文件的第二文件标识值和第一文件标识值，解密后获取每个分段文件的第三文件属性信息，并根据分段文件的第三文件属性信息计算第三文件标识值；通过比较第二文件标识值和第三文件标识值，判断每个分段文件是否传输成功，并将每个分段文件的传输结果返回至客户端；其中，第二文件标识值由客户端根据拆分后的每个分段文件的第二文件属性信息计算获得。

本实施例的步骤S301-S302与上述实施例中的步骤S101-S105对应，其实现原理和技术效果类似，此处不再赘述。

参见图5，本发明的另一实施例还提供了一种文件分段传输系统200，包括客户端201和服务器集群202，该文件分段传输系统200用于执行上述方法实施例中的各个步骤。

具体的，系统200包括：

客户端201，用于根据待传文件的第一文件属性信息，计算第一文件标识值和文件大小，并将计算出的第一文件标识值和文件大小发送给服务器集群；根据服务器集群返回的分段文件的推荐大小对待传文件进行拆分，并根据拆分后的每个分段文件的第二文件属性信息计算第二文件标识值，将每个分段文件、相应的第二文件标识值和第一文件标识值加密后发送至服务器集群；根据服务器集群返回的每个分段文件的传输结果，校验待传文件是否传输完毕。

服务器集群202，用于根据从客户端接收到的第一文件标识值，判断待传文件是否存在历史传输记录，若没有历史传输记录，则根据待传文件的文件大小和服务器集群的资源计算待传文件的每个分段文件的推荐大小，并将分段文件的推荐大小返回至客户端；从客户端接收加密的每个分段文件、相应的第二文件标识值和第一文件标识值，解密后获取每个分段文件的第三文件属性信息，并根据分段文件的第三文件属性信息计算第三文件标识值；通过比较第二文件标识值和第三文件标识值，判断每个分段文件是否传输成功，并将每个分段文件的传输结果返回至客户端。

进一步的，服务器集群202，还用于若根据接收到的第一文件标识值，判断出待传文件存在历史传输记录，则将已传输成功和传输失败的分段文件的数量和编号返回至客户端；

客户端201，还用于根据传输失败的分段文件的编号，对传输失败的分段文件进行续传。

进一步的，服务器集群202还用于若待传文件的全部分段文件传输完毕，则将含有相同的第一文件标识值的分段文件按照分段文件的编号聚合为大文件。

进一步的，第一文件属性信息包括文件名、文件类型、创建时间和最近修改时间；

第二文件属性信息和第三文件属性信息包括文件名、文件类型、创建时间、最近修改时间、分段文件的编号和分段文件的数量。

进一步的，服务器集群202的资源包括服务器的数量和网络带宽。

本实施例的系统200对应的可用于执行上述各方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

以上描述仅为本发明的较佳实施例。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种文件分段传输方法，其特征在于，包括如下步骤：

客户端根据待传文件的第一文件属性信息，计算第一文件标识值和文件大小，并将计算出的第一文件标识值和文件大小发送给服务器集群；

服务器集群根据接收到的第一文件标识值，判断所述待传文件是否存在历史传输记录，若没有历史传输记录，则根据所述待传文件的文件大小和服务器集群的资源计算所述待传文件的每个分段文件的推荐大小，并将所述分段文件的推荐大小返回至客户端；

客户端根据返回的分段文件的推荐大小对所述待传文件进行拆分，并根据拆分后的每个分段文件的第二文件属性信息计算第二文件标识值，将每个分段文件、相应的第二文件标识值和第一文件标识值加密后发送至服务器集群；

服务器集群接收加密的每个分段文件、相应的第二文件标识值和第一文件标识值，解密后获取每个分段文件的第三文件属性信息，并根据所述分段文件的第三文件属性信息计算第三文件标识值；通过比较所述第二文件标识值和所述第三文件标识值，判断每个分段文件是否传输成功，并将每个分段文件的传输结果返回至所述客户端；

客户端根据所述每个分段文件的传输结果，校验所述待传文件是否传输完毕。

2.根据权利要求1所述的一种文件分段传输方法，其特征在于，

若服务器集群根据接收到的第一文件标识值，判断出所述待传文件存在历史传输记录，则将已传输成功和传输失败的分段文件的数量和编号返回至所述客户端；

客户端根据传输失败的分段文件的编号，对传输失败的分段文件进行续传。

3.根据权利要求1所述的一种文件分段传输方法，其特征在于，

若所述待传文件的全部分段文件传输完毕，则服务器集群将含有相同的第一文件标识值的分段文件按照分段文件的编号聚合为大文件。

4.根据权利要求1所述的一种文件分段传输方法，其特征在于，

所述第一文件属性信息包括文件名、文件类型、创建时间和最近修改时间；

所述第二文件属性信息和第三文件属性信息包括文件名、文件类型、创建时间、最近修改时间、分段文件的编号和分段文件的数量。

5.根据权利要求1所述的一种文件分段传输方法，其特征在于，所述服务器集群的资源包括服务器的数量和网络带宽。

6.一种文件分段传输系统，其特征在于，包括：

客户端，用于根据待传文件的第一文件属性信息，计算第一文件标识值和文件大小，并将计算出的第一文件标识值和文件大小发送给服务器集群；根据服务器集群返回的分段文件的推荐大小对所述待传文件进行拆分，并根据拆分后的每个分段文件的第二文件属性信息计算第二文件标识值，将每个分段文件、相应的第二文件标识值和第一文件标识值加密后发送至服务器集群；根据服务器集群返回的每个分段文件的传输结果，校验待传文件是否传输完毕；

服务器集群，用于根据从所述客户端接收到的第一文件标识值，判断所述待传文件是否存在历史传输记录，若没有历史传输记录，则根据所述待传文件的文件大小和服务器集群的资源计算所述待传文件的每个分段文件的推荐大小，并将所述分段文件的推荐大小返回至客户端；从所述客户端接收加密的每个分段文件、相应的第二文件标识值和第一文件标识值，解密后获取每个分段文件的第三文件属性信息，并根据所述分段文件的第三文件属性信息计算第三文件标识值；通过比较所述第二文件标识值和所述第三文件标识值，判断每个分段文件是否传输成功，并将每个分段文件的传输结果返回至所述客户端。

7.根据权利要求6所述的一种文件分段传输系统，其特征在于，

服务器集群，还用于若根据接收到的第一文件标识值，判断出所述待传文件存在历史传输记录，则将已传输成功和传输失败的分段文件的数量和编号返回至所述客户端；

客户端，还用于根据传输失败的分段文件的编号，对传输失败的分段文件进行续传。

8.根据权利要求6所述的一种文件分段传输系统，其特征在于，

服务器集群，还用于若所述待传文件的全部分段文件传输完毕，则将含有相同的第一文件标识值的分段文件按照分段文件的编号聚合为大文件。

9.根据权利要求6所述的一种文件分段传输系统，其特征在于，

所述第一文件属性信息包括文件名、文件类型、创建时间和最近修改时间；

所述第二文件属性信息和第三文件属性信息包括文件名、文件类型、创建时间、最近修改时间、分段文件的编号和分段文件的数量。

10.根据权利要求6所述的一种文件分段传输系统，其特征在于，所述服务器集群的资源包括服务器的数量和网络带宽。

Images