CN105025106A - 一种基于分块及元信息的断点续传的方法 - Google Patents

Abstract

一种基于分块及元信息的断点续传的方法，包括数据存储方法、断点上传方法和断点下载方法；数据存储方法，数据保存在存储服务器时，有多个版本数据，但其中只能有一个完备版本数据，各个版本数据拆分为多个数据块：按照指定数据块大小，将一个数据拆分为多个数据块，最后一个数据块大小为实际数据块大小；为各个数据块生成对应的数据块元信息，元信息包含数据块添加时间、数据块编号、数据块大小、数字签名、KEY；断点上传方法：用户调用客户端的上传接口，输入上传参数；2)客户端向服务器端发起读此ID的此版本号数据的最后一个数据块元信息的请求；3)服务器端接收到客户端的请求后，取此ID的此版本号数据的最后一个数据块元信息。

Description

一种基于分块及元信息的断点续传的方法

技术领域

本发明属于文件存储系统通讯领域，具体涉及一种基于分块及元信息的断点续传的方法。

背景技术

随着现代IT系统的发展，数据的规模越来越庞大，因此很多公司都采用了文件存储的形式保存非结构化数据，如图片、视频、文档等。在日常进行数据文件上传和下载操作中，如遇数据量很大，由于网络不稳定等原因导致数据上传下载失败的情况，采用文件存储形式保存的数据需要全部重新上传或下载，这样既浪费时间，又浪费流量，甚至可能出现多次上传或下载失败的情况，导致用户体验很差。

在这些问题上，专利申请“一种云存储文件断点续传的方法和装置”(申请号：201310675109.0)做了相关研究，其提出的方法主要为：上传时记录文件大小、文件整体摘要、文件已上传大小、文件已上传部分的摘要、文件唯一标识。通过对文件大小及文件整体摘要判断是否是需要断点上传的文件，通过已上传大小和已上传文件部分摘要判断从什么地方上传文件。该申请提出的方法在一定程度上解决了数据断点上传问题。然而该专利在使用时存在此问题：上传时请求需要知道文件整体摘要和文件整体大小，这样就需要在上传前遍历文件、计算文件摘要，因而消耗一定的资源；当上传文件请求较多、上传文件较大时，资源消耗可能会比较大。

专利“基于SIP的文件断点续传方法”(授权公告号：CN 101883144 B)提供了一种基于SIP的文件断点续传方法，该方法包括以下步骤：S1：文件接收方接收发送方的文件传输请求；S2：所述文件接收方构造应答，并将文件传输请求中包含的SIPURI和文件名称与本地记录的发送方的SIPURI和文件名称进行匹配，若匹配上，则将上次断点产生时未接收到的文件区块的位置信息添加到所述应答的SDP消息体中；S3：文件发送方接收所述应答，判断其中是否包含所述未接收到的文件区块的位置信息，若未包含该区块的位置信息，则传输整个文件，否则只传输接收方未接收到的文件区块。如此流程为断点上传流程，未能检验文件是否已经上传完成，可能出现上传多次同一文件的情况；如此流程为断点下载流程，文件接收方接收发送方的文件传输请求，使得接收方不能自行定义需要接收的文件。

“文件断点续传方法及装置”(专利申请号：201410593386.1)提供了一种文件断点续传方法及装置，所述方法包括：接收待下载文件的下载指令信息，根据所述下载指令信息在本地存储器中获取所述待下载文件对应的已下载数据；计算所述已下载数据的报文摘要信息；在所述报文摘要信息与传输中断时存储的报文摘要信息相同时，从断点处起下载所述待下载文件的未下载数据。上述方法实现了在断点续传之前对存储在本地存储器中的待下载文件的已下载数据的完整性的检测和校验，从而保证了断点续传所获得的文件的可用性，提高了断点续传文件的安全性。然而用户不能自定义一次下载的数据大小，不能保证一次下载的成功率，如下载中断，则需进行下一次断点续传，增加计算保报文摘要信息次数的不确定性，当下载文件请求较多、下载文件较大时，资源消耗可能会比较大。

发明内容

为了解决现有的问题，本发明目的是，提出一种基于分块及元信息的断点续传的方法，以提高上传、下载传输速率及数据一致性，节省网络传输时间及资源。

本发明的目的的实现基于如下技术方案：

一种基于分块及元信息的断点续传的方法，包括数据存储方法、断点上传方法和断点下载方法；

数据存储方法，一个数据保存在存储服务器时，能够有多个版本数据，但其中只能有一个完备版本数据——即数据完整的数据，各个版本数据拆分为多个数据块，具体数据分块方法为：

步骤一、按照指定数据块大小，将一个数据拆分为多个数据块，除最后一个数据块外，其余数据块按顺序编号、数据块大小为指定数据块大小，最后一个数据块大小为实际数据块大小；

步骤二、为各个数据块生成对应的数据块元信息，元信息包含数据块添加时间、数据块编号、数据块大小、数字签名、KEY(一个字符串，含数据ID、版本号、数据完备标识符)以及数据块的其他标识参数(如文件类型、图片大小等)；

断点上传方法，包括以下步骤：

步骤一、用户调用客户端的上传接口，输入上传参数：输入流、数据ID、版本号、数字签名；

步骤二、客户端向服务器端发起读此ID的此版本号数据的最后一个数据块元信息的请求；

步骤三、服务器端接收到客户端的请求后，取此ID的此版本号数据的最后一个数据块元信息；如不存在即表示是一次新上传任务，则返回新上传消息给客户端；如存在最后一个数据块元信息即表示是一次续传任务，则读取元信息中KEY的数据完备标识符；如为完备状态即表示数据已上传完整，则返回已完成上传消息到客户端；如KEY中数据完备标识符为不完备状态即表示数据未上传完整，再检验此元信息中所记录的数字签名和输入的数字签名是否一致，如不一致，则返回错误消息到客户端，如一致，则返回此ID的此版本号数据的最后一个数据块元信息到客户端；

步骤四、客户端得到服务器端返回的消息，如为新上传消息，则从第一个数据块开始按指定数据块大小逐块上传数据；如为已完成上传消息，则提示用户“已完成上传”并结束此上传进程；如为错误消息，则提示用户“数字签名不一致”并结束此上传进程；如此ID的此版本号数据的最后一个数据块元信息不完备状态，则从最后一个数据块编号的下一个数据块开始按指定数据块大小逐块上传数据，服务器端接收完一个数据块后，为数据块生成对应的数据块元信息，元信息中KEY的数据完备标识符为不完备状态，再接收下一个数据块；若用户还未上传到最后一个数据块上传就中断了，则再重新调用上传接口进行下一次上传，进入步骤一，若用户上传到最后一个数据块，进入步骤五；

步骤五、客户端标记最后一个数据块为结束块，并上传结束块；

步骤六、服务器端接收完结束块后，为结束块生成数据块元信息，元信息中KEY的数据完备标识符为完备状态，删除在此版本号添加时间之前的所有数据(包括不完备版本数据和完备版本数据)，保证只有一个完备版本数据，即完成断点上传；

断点下载方法，具体包括以下步骤：

步骤一、用户调用客户端的下载接口，在客户端输入下载参数：输出流、数据ID、完备数据版本号、下载起始位、下载结束位；

步骤二、客户端向服务端发起读此数据ID的此版本号数据的各个数据块元信息的请求；

步骤三、服务器端接收到客户端的请求后，读取此ID的此版本号数据的各个数据块元信息，如不存在，则返回错误消息给客户端，如存在则返回给客户端；

步骤四、客户端得到服务器端返回的消息，如为错误消息，则提示用户“数据不存在”，结束下载进程；如为此ID的此版本号数据的各个数据块元信息，则计算下载的起始位置，具体为

步骤1、客户端按数据块编号的由小到大顺序逐块读取对应数据块元信息；

步骤2、用输入的下载起始位按数据块编号的由小到大顺序逐块减去数据块元信息中所记录的数据块编号的大小，直至差值小于或等于0；

若差值小于0，则下载的起始位置为最后一个数据块编号得到的差值加最后减去的数据块元信息中所记录的数据块编号大小的字节位；

若差值等于0，则下载的起始位置为最后减去的数据块元信息中所记录的数据块编号的下一个数据块的起始字节位；

步骤五、客户端从服务器端的下载起始位置开始逐块下载数据到输出流，直到指定的下载结束位即最后一个数据块为止，即完成断点下载，若未下载到指定的下载结束位则中断下载了，输出流中记录下载结束位作为下一次下载的下载起始位。

本发明的有益效果，与现有技术相比，其显著优点为：

(1)在判断上传完整时的资源消耗方面，服务器端只需取出用户输入的数据ID和版本号数据的最后一个数据块元信息，读取元信息中KEY的数据完备标志符，而不需要计算已上传部分的摘要再和整体摘要进行对比，则可判断数据是否上传完整，免除计算时的资源消耗；

(2)在上传数据一致性方面，当数据未上传完整时，增加检验用户输入的数据ID和版本号数据的最后一个数据块元信息中所记录的数字签名和输入的数字签名是否一致，判断用户需要继续上传的数据是否和服务器中已上传的数据匹配，保证多次上传数据的一致性；

(3)在存储数据的完整与更新方面，客户端上传完成后，服务器端为结束块生成数据块元信息，元信息中KEY的数据完备标识符为完备状态，删除在此版本号添加时间之前的所有数据(包括不完备版本数据和完备版本数据)，既保证存储数据的完整性，又保证存储数据的实时更新性；

(4)在下载数据大小自定义方面，用户可按当前的具体情况(如网络状态)自定义下载起始位与下载结束位之间的区间值，即需要下载的数据大小，此数据大小无需与一个数据块大小一致，增加下载数据大小的灵活性，尽量保证一次下载的成功率。

附图说明

图1为本发明实施例的数据分块存储结构图。

图2为本发明实施例的断点上传流程图。

图3为本发明实施例的断点上传完成后数据分块存储结构图。

图4为本发明实施例的断点下载流程图。

具体实施方案

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

如图1所示，为本发明实施例的数据分块存储结构图。一个数据(此实施例数据ID为1)保存在存储服务器时，可以有多个版本数据，但其中只能有一个完备版本数据——即数据完整的数据(此实施例按添加时间先后顺序分别为完备版本数据1和不完备版本数据2、3、4)；各个版本数据(数据量超过设置值)会拆分为多个数据块，具体数据分块方法为：

步骤一、按照指定数据块大小(如1M)，将一个数据拆分为多个数据块，除最后一个数据块外，其余数据块大小为指定数据块大小(1M)，最后一个数据块大小为实际数据块大小(≤1M)；

步骤二、为各个数据块生成对应的数据块元信息，包含数据块添加时间、数据块编号、数据块大小、数字签名、KEY(一个字符串，含数据ID、版本号、数据完备标识符)以及数据块的其他标识参数(如文件类型、图片大小等)；

对于用户来说只关心数据，而不知道数据块、数据块元信息的存在。

如图2所示，为本发明实施例的断点上传流程图，具体步骤为：

步骤201：用户调用客户端的上传接口，输入上传参数：输入流、数据ID(此实施例设为数据1)、版本号(此实施例设为不完备版本数据3)、数字签名。

步骤202：客户端向服务器端发起读此ID的此版本号数据的最后一个数据块元信息的请求。

步骤203：服务器端接收到客户端的请求后，取此ID的此版本号数据的最后一个数据块元信息(此实例为数据1的版本3的数据块1元信息)。

步骤204：判断此ID的此版本号数据的最后一个数据块元信息是否存在，如不存在即表示是一次新上传任务，则返回新上传消息给客户端，客户端得到服务器端返回的新上传消息，从第一个数据块开始按指定数据块大小逐块上传数据，如存在即表示是一次续传任务，进入步骤205。

步骤205：读取元信息中KEY的数据完备标识符。

步骤206：元信息中KEY的数据完备标识符为完备状态即表示数据已上传完整，则返回已完成上传消息到客户端，客户端得到服务器端返回的已完成上传消息，则提示用户“已完成上传”，结束此上传进程；如为不完备状态即表示数据未上传完整，进入步骤207。

步骤207：再检验此元信息中所记录的数字签名和输入的数字签名是否一致，如不一致，则返回错误消息到客户端，客户端得到服务器端返回的错误消息，则提示用户“数字签名不一致”，结束此上传进程；如一致，进入步骤208。

步骤208：返回此ID的此版本号数据的最后一个数据块元信息到客户端。

步骤209：客户端得到服务器端返回的此ID的此版本号数据的最后一个数据块元信息，则从最后一个数据块编号的下一个数据块开始按指定数据块大小逐块上传数据，服务器端接收完一个数据块后，为数据块生成对应的数据块元信息，元信息中KEY的数据完备标识符为不完备状态，再接收下一个数据块(此实施例服务器端接收完数据块2后，生成数据块2元信息，数据块2元信息中KEY的数据完备标识符为不完备状态，再接收数据块3)。

步骤210：判断用户是否上传到最后一个数据块，若没有则继续步骤209，若用户还未上传到最后一个数据块上传就中断了，则再重新调用上传接口进行下一次上传，进入步骤201，若用户上传到最后一个数据块，进入步骤211。

步骤211：当用户上传到最后一个数据块时，客户端标记最后一个数据块为结束块，并上传结束块(此实施例结束块为数据块3)。

步骤212：服务器端接收完结束块后，为结束块生成数据块元信息，元信息中KEY的数据完备标识符为完备状态，删除在此版本号添加时间之前的所有版本数据(包括不完备版本数据和完备版本数据)，保证只有一个完备版本数据，即完成断点上传(此实施例服务器端接收完数据块3后，生成数据块3元信息，其中KEY的数据完备标识符为完备状态，删除完备版本数据1和不完备版本数据2)。

如图3所示，为本发明实施例的断点上传完成后数据分块存储结构图，完备版本数据1和不完备版本数据2被删除了，服务器端存储完备版本数据3和不完备版本数据4。

如图4所示，为本发明实施例的断点下载流程图，具体步骤为：

步骤401：用户调用客户端的下载接口，在客户端输入下载参数：输出流、数据ID、完备数据版本号、下载起始位、下载结束位。

步骤402：客户端向服务端发起读此ID数据的此版本号数据的各个数据块元信息的请求。

步骤403：服务器端接收到客户端的请求后，取此ID的此版本号数据的各个数据块元信息，如不存在，则返回错误消息给客户端，如存在则返回给客户端。

步骤404：客户端得到服务器端返回的消息，如为错误消息，则提示用户“数据不存在”，结束下载进程，如为此ID的此版本号数据的各个数据块元信息，进入405。

步骤405：客户端按数据块编号的由小到大顺序逐块读取对应数据块元信息。

步骤406：用输入的下载起始位按数据块编号的由小到大顺序逐块减去数据块元信息中所记录的数据块大小。

步骤407：判断差值小于或等于0；若未达到则继续步骤406，若差值小于0，则下载的起始位置为最后一个数据块的差值加最后减去的数据块元信息中所记录的数据块大小的字节位；若差值等于0，则下载的起始位置为最后减去的数据块元信息中所记录的数据块编号的下一个数据块的起始字节位。

算法说明为：

步骤408：客户端从服务器端的下载起始位置开始逐块下载数据到输出流。

步骤409：判断是否下载到指定的下载结束位，若未下载到指定的下载结束位中断就下载了，输出流中记录下载结束位作为下一次下载的下载起始位，若已下载完成，即完成断点下载。

以上所述仅为本发明专利的一种实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所做的任何修改、等同替换和改进等，均以包含在本发明专利的保护范围之内。

Claims (5)

1.一种基于分块及元信息的断点续传的方法，其特征在于，包括数据存储方法、断点上传方法和断点下载方法；

数据存储方法，一个数据保存在存储服务器时，能够有多个版本数据，但其中只能有一个完备版本数据——即数据完整的数据，各个版本数据拆分为多个数据块，具体数据分块方法为：

步骤一、按照指定数据块大小，将一个数据拆分为多个数据块，除最后一个数据块外，其余数据块按顺序编号、数据块大小为指定数据块大小，最后一个数据块大小为实际数据块大小；

步骤二、为各个数据块生成对应的数据块元信息，元信息包含数据块添加时间、数据块编号、数据块大小、数字签名、KEY（一个字符串，含数据ID、版本号、数据完备标识符）以及数据块的其他标识参数（如文件类型、图片大小等）；

断点上传方法，包括以下步骤：

步骤一、用户调用客户端的上传接口，输入上传参数：输入流、数据ID、版本号、数字签名；

步骤二、客户端向服务器端发起读此ID的此版本号数据的最后一个数据块元信息的请求；

步骤三、服务器端接收到客户端的请求后，取此ID的此版本号数据的最后一个数据块元信息；如不存在即表示是一次新上传任务，则返回新上传消息给客户端；如存在最后一个数据块元信息即表示是一次续传任务，则读取元信息中KEY的数据完备标识符；如为完备状态即表示数据已上传完整，则返回已完成上传消息到客户端；如KEY中数据完备标识符为不完备状态即表示数据未上传完整，再检验此元信息中所记录的数字签名和输入的数字签名是否一致，如不一致，则返回错误消息到客户端，如一致，则返回此ID的此版本号数据的最后一个数据块元信息到客户端；

步骤四、客户端得到服务器端返回的消息，如为新上传消息，则从第一个数据块开始按指定数据块大小逐块上传数据；如为已完成上传消息，则提示用户“已完成上传”并结束此上传进程；如为错误消息，则提示用户“数字签名不一致”并结束此上传进程；如此ID的此版本号数据的最后一个数据块元信息不完备状态，则从最后一个数据块编号的下一个数据块开始按指定数据块大小逐块上传数据，服务器端接收完一个数据块后，为数据块生成对应的数据块元信息，元信息中KEY的数据完备标识符为不完备状态，再接收下一个数据块；若用户还未上传到最后一个数据块上传就中断了，则再重新调用上传接口进行下一次上传，进入步骤一，若用户上传到最后一个数据块，进入步骤五；

步骤五、客户端标记最后一个数据块为结束块，并上传结束块；

步骤六、服务器端接收完结束块后，为结束块生成数据块元信息，元信息中KEY的数据完备标识符为完备状态，删除在此版本号添加时间之前的所有数据（包括不完备版本数据和完备版本数据），保证只有一个完备版本数据，即完成断点上传；

断点下载方法，具体包括以下步骤：

步骤一、用户调用客户端的下载接口，在客户端输入下载参数：输出流、数据ID、完备数据版本号、下载起始位、下载结束位；

步骤二、客户端向服务端发起读此数据ID的此版本号数据的各个数据块元信息的请求；

步骤三、服务器端接收到客户端的请求后，读取此ID的此版本号数据的各个数据块元信息，如不存在，则返回错误消息给客户端，如存在则返回给客户端；

步骤四、客户端得到服务器端返回的消息，如为错误消息，则提示用户“数据不存在”，结束下载进程；如为此ID的此版本号数据的各个数据块元信息，则计算下载的起始位置，具体为

步骤1、客户端按数据块编号的由小到大顺序逐块读取对应数据块元信息；

步骤2、用输入的下载起始位按数据块编号的由小到大顺序逐块减去数据块元信息中所记录的数据块编号的大小，直至差值小于或等于0；

若差值小于0，则下载的起始位置为最后一个数据块编号得到的差值加最后减去的数据块元信息中所记录的数据块编号大小的字节位；

若差值等于0，则下载的起始位置为最后减去的数据块元信息中所记录的数据块编号的下一个数据块的起始字节位；

步骤五、客户端从服务器端的下载起始位置开始逐块下载数据到输出流，直到指定的下载结束位即最后一个数据块为止，即完成断点下载，若未下载到指定的下载结束位则中断下载了，输出流中记录下载结束位作为下一次下载的下载起始位。

2.根据权利要求1所述的断点上传方法，其特征在于断点上传方法步骤三中，服务器端读取出用户输入的数据ID和版本号数据的最后一个数据块元信息，读取元信息中KEY的数据完备标志符，则可判断数据是否上传完整。

3.根据权利要求1所述的断点上传方法，其特征在于断点上传载方法步骤三中，当数据未上传完整时，检验用户输入的数据ID和版本号数据的最后一个数据块元信息中所记录的数字签名和输入的数字签名是否一致，则可判断用户需要继续上传的数据是否和服务器中已上传的数据匹配。

4.根据权利要求1所述的断点上传方法，其特征在于断点上传方法步骤六中，客户端上传完成后，服务器端为结束块生成数据块元信息，元信息中KEY的数据完备标识符为完备状态，删除在此版本号添加时间之前的所有数据（包括不完备版本数据和完备版本数据），既保证存储数据的完整性，又保证存储数据的实时更新性。

5.根据权利要求1所述的断点下载方法，其特征在于断点下载方法步骤一中用户可按当前的具体情况（如网络状态）自定义下载起始位与下载结束位之间的区间值，即需要下载的数据大小，此数据大小无需与一个数据块大小一致。