CN103634407A - 一种云存储文件断点续传的方法和装置 - Google Patents

Abstract

本发明公开了一种云存储文件断点续传的方法和装置，包括数据传输模块、数据摘要计算模块、块存储模块、文件表和文件数据块关系表；所述数据传输模块接收并处理客户端发送的请求，所述数据摘要计算模块以所述文件表中文件已上传部分的摘要和所述数据传输模块接收的新上传的数据块计算新的文件已上传部分的摘要，并且新的文件已上传部分的摘要存入到所述文件表中；所述块存储模块用来存储文件的每个数据块，同时所述文件数据块关系表存储着所述块存储模块中文件与该文件上传的所有数据块的对应关系。因此，本发明能够大幅度提高云存储文件上传的效率。

Description

一种云存储文件断点续传的方法和装置

技术领域

本发明涉及计算机领域，特别是指一种云存储文件断点续传的方法和装置。

背景技术

随着云存储技术的研究与实践，云盘，网盘系统正在逐渐的被研发、实施和使用。有的部署在互联网上以公有云的方式提供服务，有的部署在企业内部以私有云的方式提供服务，还有就是混合云。不管是哪种形式的云都会接收用户或者其他系统上传的数据。由于面对的网络通信环境不一样，文件上传的效率也不一样。由于各种原因，往往会出现文件上传中途停止，造成文件需要重新上传，所以用户体验非常差。

发明内容

有鉴于此，本发明的目的在于提出一种云存储文件断点续传的方法和装置，能够大幅度提高云存储文件上传的效率。

基于上述目的本发明提供的云存储文件断点续传装置，包括数据传输模块、数据摘要计算模块、块存储模块、文件表和文件数据块关系表；所述数据传输模块接收并处理客户端发送的请求，所述数据摘要计算模块以所述文件表中文件已上传部分的摘要和所述数据传输模块接收的新上传的数据块计算新的文件已上传部分的摘要，并且新的文件已上传部分的摘要存入到所述文件表中；所述块存储模块用来存储文件的每个数据块，同时所述文件数据块关系表存储着所述块存储模块中文件与该文件上传的所有数据块的对应关系。

可选地，所述块存储模块存储的每个数据块有一个唯一的索引，通过该索引可以找到所述的数据块。

进一步地，所述文件表包括文件唯一标识，文件整体唯一摘要，文件已上传部分的摘要，文件整体大小和文件已上传大小；

所述文件数据块关系表包括所述数据块的索引，所属文件的唯一标识，数据块在文件中的位置编号和数据块大小。

进一步地，所述数据摘要计算模块在文件上传的过程中计算文件的摘要，当文件上传完成了，文件的摘要就计算完成。

还有，本发明还提供了一种云存储文件断点续传方法，包括步骤：

第一步，所述数据传输模块接收客户端发送的文件上传请求；

第二步，所述数据传输模块根据所述文件表判断该上传文件的云存储状态；若文件已经完整上传，则直接退出该过程；若文件已上传了一部分，则执行步骤三；若文件没有上传记录，则执行步骤四；

第三步，所述数据传输模块跳过所述文件表中记录的该请求上传文件的已上传的部分，然后执行步骤五；

第四步，在所述文件表中创建该上传文件的信息，然后执行步骤五；

第五步，所述数据传输模块从该文件上传请求中读取一定大小的数据块；

第六步，所述数据传输模块将该数据块传送给所述数据摘要计算模块和所述块存储模块；

第七步，所述数据摘要计算模块利用所述文件表中的该文件已上传部分的摘要以及接收的新读取的该数据块一起计算新的文件已上传部分的摘要，并且将新的摘要传送给所述文件表；同时，所述块存储模块接收并保存该数据块；

第八步，所述文件表接收新的文件已上传部分的摘要，并且更新该文件的文件已上传部分的摘要信息；

第九步，所述文件表判断是否已经完成文件的上传，如果是就退出该过程，如果否就返回步骤三。

可选地，在步骤一中所述数据传输模块接收客户端发送过来的请求，该请求包括文件、文件的唯一标识、文件的摘要以及文件的大小。

进一步地，在步骤二中所述数据传输模块根据上传请求中的文件唯一标识在所述文件表中查找是否已存在该文件，若没有该文件唯一标识则说明没有上传过该文件，执行步骤四；

若存在该文件唯一标识，则说明该文件曾经上传过；其中，将所述文件表中存储的该文件的文件整体唯一摘要和文件已上传部分的摘要进行对比，若所述的两个摘要相同则说明该文件已经完整上传，可以退出该上传过程；若两摘要不相同则说明文件已上传了一部分，则执行步骤三。

进一步地，在步骤九中所述文件表通过比较新的文件已上传部分的摘要与文件整体唯一摘要，若相同则说明已经完成文件的上传，退出该过程；若不相同则说明还没有完成文件的上传，返回步骤三。

进一步地，所述数据摘要计算模块在计算文件摘要时使用MD5摘要算法。

另外，本发明还根据上面所述的云存储文件断点续传装置提供了下载文件的方法，包括步骤：

所述数据传输模块接收到客户端的下载请求，并且所述数据传输模块将该请求中要下载的文件信息传送给文件表；

所述文件表根据接收的文件信息查询是否存在该文件，若不存在则直接退出该过程；若存在则将文件信息传送给所述文件数据块关系表；

所述文件数据块关系表根据接收的文件信息查询到该文件的所有上传的数据块，并将所有上传的数据块信息发送给所述块存储模块；

所述块存储模块找到存储的该文件所有上传的数据块，然后传送给所述数据传输模块；

所述数据传输模块将该文件所有上传的数据块发送给客户端。

从上面所述可以看出，本发明提供的一种云存储文件断点续传的方法和装置，通过所述数据摘要计算模块以所述文件表中文件已上传部分的摘要和所述数据传输模块接收的新上传的数据块计算新的文件已上传部分的摘要，并且新的文件已上传部分的摘要存入到所述文件表中。从而，本发明所述云存储文件断点续传的方法和装置明显提高云存储上传文件的可用性，用户体验更佳。

附图说明

图1为本发明实施例一种云存储文件断点续传装置的结构示意图；

图2为本发明实施例一种云存储文件断点续传方法的流程示意图；

图3为本发明实施例从云存储文件断点续传装置下载文件的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

参阅图1所示，为本发明实施例一种云存储文件断点续传装置的结构示意图，所述云存储文件断点续传装置包括数据传输模块101、数据摘要计算模块102、块存储模块103和数据关系存储模块104。其中，块存储模块103用来存储数据块，数据块可能是一个整个文件，或者是文件的一部分。数据块的大小没有限制也不需要固定。较佳地，每个数据块有一个唯一的索引，通过该索引可以找到所述的数据块。

作为本发明的一个实施例中，数据关系存储模块104包括文件表105和文件数据块关系表106，文件表105中存储文件的基本信息，其中包括文件唯一标识，文件整体唯一摘要（推荐使用MD5摘要算法），文件已上传部分的摘要，文件整体大小，文件已上传大小。文件数据块关系表106存储着块存储模块103中文件与该文件上传的所有数据块的对应关系。其中，文件数据块关系表106包括数据块的索引，所属文件的唯一标识，数据块在文件中的位置编号，数据块大小。

另外，数据摘要计算模块102以文件表105中文件已上传部分的摘要和新上传的数据块为输入计算新的文件已上传部分的摘要，数据摘要计算模块102可以在文件上传的过程中计算文件的摘要，当文件上传完成了，文件的摘要也就计算完了。可以看出，这时数据摘要计算模块102就可以结合文件大小一并校验文件的完整性和正确性，而不需要重新在云存储文件断点续传装置中读取文件所有的数据块来计算摘要。

参阅图2所示，为本发明实施例一种云存储文件断点续传方法的流程示意图，所述云存储文件断点续传方法包括：

步骤201，数据传输模块101接收客户端发送的文件上传请求。

在实施例中，数据传输模块101接收客户端发送过来的请求，该请求包括文件和相关参数。其中，该请求的参数可以是文件的唯一标识、文件的摘要以及文件的大小。较佳地，文件是数据流的形式或者数据块的形式。

步骤202，数据传输模块101根据文件表105判断该上传文件的云存储状态。若文件已经完整上传，则直接退出该过程。若文件已上传了一部分，则执行步骤203。若文件没有上传记录，则执行步骤204。

作为本发明的一个实施例，数据传输模块101根据上传请求中的文件唯一标识在文件表105中查找是否已存在该文件，若没有该文件唯一标识则说明没有上传过该文件，可以执行步骤204。若存在该文件唯一标识，则说明该文件曾经上传过。其中，将文件表105中存储的该文件的文件整体唯一摘要和文件已上传部分的摘要进行对比，若所述的两个摘要相同则说明该文件已经完整上传，可以退出该上传过程，同时可以提示客户端文件已完整上传过。若两摘要不相同则说明文件已上传了一部分，则执行步骤203。

步骤203，数据传输模块101跳过文件表105中记录的该请求上传文件的已上传的部分，然后执行步骤205。

步骤204，在文件表105中创建该上传文件的信息，然后执行步骤205。

其中，在文件表105中创建新的上传文件信息，需要记录该上传文件的唯一标识，文件整体唯一摘要，文件整体大小。另外，此时文件已上传部分的摘要和文件已上传大小都不需要，因为该上传文件还没有上传过。

步骤205，数据传输模块101从该文件上传请求中读取一定大小的数据块。

步骤206，数据传输模块101将该数据块传送给数据摘要计算模块102和块存储模块103。

步骤207，数据摘要计算模块102利用文件表105中的该文件已上传部分的摘要以及接收的新读取的该数据块一起计算新的文件已上传部分的摘要，并且将新的摘要传送给文件表105；同时，块存储模块103接收并保存该数据块。

作为本发明的另一个实施例，块存储模块103保存传送的该数据块，并且设置该文件的该数据块的索引。优选地，块存储模块103将存储的数据块与文件之间的对应关系在文件数据块关系表106中建立，文件数据块关系表106记录文件唯一标识、该文件每个上传数据块的索引、每个数据块在该文件中的位置编号、每个数据块大小。

较佳地，数据摘要计算模块102在计算文件摘要时可以使用MD5摘要算法。

步骤208，文件表105接收新的文件已上传部分的摘要，并且更新该文件的文件已上传部分的摘要信息。

其中，文件表105根据该文件的唯一标识找到该文件的信息，然后更新该文件信息中的文件已上传部分的摘要和文件已上传的大小。

步骤209，文件表105判断是否已经完成文件的上传，如果是就退出该过程，如果否就返回步骤203。

在实施例中，文件表105通过比较新的文件已上传部分的摘要与文件整体唯一摘要，若相同则说明已经完成文件的上传，退出该过程；若不相同则说明还没有完成文件的上传，返回步骤203。较佳地，若已经完成了文件的上传，可以提示客户端已完成上传。

还需要说明的是，若客户端需要从该云存储文件断点续传装置中下载文件时，参阅图3所示：

步骤301，数据传输模块101接收到客户端的下载请求，并且数据传输模块101将该请求中要下载的文件信息传送给文件表105。

步骤302，文件表105根据接收的文件信息查询是否存在该文件，若不存在则直接退出该过程，当然可以提示客户端不存在要下载的文件；若存在则将文件信息传送给文件数据块关系表106。

步骤303，文件数据块关系表106根据接收的文件信息查询到该文件的所有上传的数据块，并将所有上传的数据块信息发送给块存储模块103。

步骤304，块存储模块103找到存储的该文件所有上传的数据块，然后传送给数据传输模块101。

步骤305，数据传输模块101将该文件所有上传的数据块发送给客户端。

由此可以看出，本发明实现的云存储文件断点续传的方法和装置，创造性的提出了文件上传中断后可以继续进行；当客户端上传文件中途由于某种原因中止或者暂停，重启上传过程后能够接着前一次上传的进度继续上传，而无论两次操作间隔多长时间；另外，当客户端上传已经上传过的文件时（即之前的上传进度为100%），本发明不用再次接收数据，而跳过上传过程，并且可以提示成功；与此同时，本发明提高了云存储文件上传效率，在可用性和用户体验上明显提高，并且由于存储的形式是数据块而不是整个文件，所以也提高了存储文件的安全性；最后，整个所述云存储文件断点续传的方法和装置简便、紧凑，易于实现。

所属领域的普通技术人员应当理解：以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种云存储文件断点续传装置，其特征在于，包括数据传输模块、数据摘要计算模块、块存储模块、文件表和文件数据块关系表；所述数据传输模块接收并处理客户端发送的请求，所述数据摘要计算模块以所述文件表中文件已上传部分的摘要和所述数据传输模块接收的新上传的数据块计算新的文件已上传部分的摘要，并且新的文件已上传部分的摘要存入到所述文件表中；所述块存储模块用来存储文件的每个数据块，同时所述文件数据块关系表存储着所述块存储模块中文件与该文件上传的所有数据块的对应关系。

2.根据权利要求1所述的装置，其特征在于，所述块存储模块存储的每个数据块有一个唯一的索引，通过该索引可以找到所述的数据块。

3.根据权利要求2所述的装置，其特征在于，所述文件表包括文件唯一标识，文件整体唯一摘要，文件已上传部分的摘要，文件整体大小和文件已上传大小；

所述文件数据块关系表包括所述数据块的索引，所属文件的唯一标识，数据块在文件中的位置编号和数据块大小。

4.根据权利要求1至3中任意一项所述的装置，其特征在于，所述数据摘要计算模块在文件上传的过程中计算文件的摘要，当文件上传完成了，文件的摘要就计算完成。

5.一种云存储文件断点续传方法，其特征在于，包括步骤：

第一步，所述数据传输模块接收客户端发送的文件上传请求；

第二步，所述数据传输模块根据所述文件表判断该上传文件的云存储状态；若文件已经完整上传，则直接退出该过程；若文件已上传了一部分，则执行步骤三；若文件没有上传记录，则执行步骤四；

第三步，所述数据传输模块跳过所述文件表中记录的该请求上传文件的已上传的部分，然后执行步骤五；

第四步，在所述文件表中创建该上传文件的信息，然后执行步骤五；

第五步，所述数据传输模块从该文件上传请求中读取一定大小的数据块；

第六步，所述数据传输模块将该数据块传送给所述数据摘要计算模块和所述块存储模块；

第七步，所述数据摘要计算模块利用所述文件表中的该文件已上传部分的摘要以及接收的新读取的该数据块一起计算新的文件已上传部分的摘要，并且将新的摘要传送给所述文件表；同时，所述块存储模块接收并保存该数据块；

第八步，所述文件表接收新的文件已上传部分的摘要，并且更新该文件的文件已上传部分的摘要信息；

第九步，所述文件表判断是否已经完成文件的上传，如果是就退出该过程，如果否就返回步骤三。

6.根据权利要求5所述的方法，其特征在于，在步骤一中所述数据传输模块接收客户端发送过来的请求，该请求包括文件、文件的唯一标识、文件的摘要以及文件的大小。

7.根据权利要求6所述的方法，其特征在于，在步骤二中所述数据传输模块根据上传请求中的文件唯一标识在所述文件表中查找是否已存在该文件，若没有该文件唯一标识则说明没有上传过该文件，执行步骤四；

若存在该文件唯一标识，则说明该文件曾经上传过；其中，将所述文件表中存储的该文件的文件整体唯一摘要和文件已上传部分的摘要进行对比，若所述的两个摘要相同则说明该文件已经完整上传，可以退出该上传过程；若两摘要不相同则说明文件已上传了一部分，则执行步骤三。

8.根据权利要求7所述的方法，其特征在于，在步骤九中所述文件表通过比较新的文件已上传部分的摘要与文件整体唯一摘要，若相同则说明已经完成文件的上传，退出该过程；若不相同则说明还没有完成文件的上传，返回步骤三。

9.根据权利要求5至8任意一项所述的方法，其特征在于，所述数据摘要计算模块在计算文件摘要时使用MD5摘要算法。

10.一种从权利要求1至4中任意一项所述的云存储文件断点续传装置中下载文件的方法，其特征在于，包括步骤：

所述数据传输模块接收到客户端的下载请求，并且所述数据传输模块将该请求中要下载的文件信息传送给文件表；

所述文件表根据接收的文件信息查询是否存在该文件，若不存在则直接退出该过程；若存在则将文件信息传送给所述文件数据块关系表；

所述文件数据块关系表根据接收的文件信息查询到该文件的所有上传的数据块，并将所有上传的数据块信息发送给所述块存储模块；

所述块存储模块找到存储的该文件所有上传的数据块，然后传送给所述数据传输模块；

所述数据传输模块将该文件所有上传的数据块发送给客户端。

Images