CN114189511B - 一种基于第三方云的多云组合方法 - Google Patents

Abstract

本发明公开了一种基于第三方云的多云组合方法，包括以下步骤：文件上传步骤；文件判断步骤：判断上传的文件是否为大文件；文件拆分步骤：将上传的文件拆分为块；文件上传步骤：将完成拆分的文件块通过传输任务控制层投递到组合云管理器中；空间判断步骤。在本发明中，通过将上传的文件拆分为单独的块，再通过云管理器对云盘进行枚举，寻找具有合适空间的云盘，将块上传到云盘中。其中，将大文件拆分为块可以节约上传时间，并且将文件拆分为块后，可以将小的块放入存储空间较小的云盘空间中，这样可以有效的利用云盘空间。并且，通过将多个云盘空间进行组合，实现了云盘的空间扩容，为使用者节约成本，方便使用者管理其存储的文件。

Description

一种基于第三方云的多云组合方法

技术领域

本发明属于计算机数据传输领域，具体为一种基于第三方云的多云组合方法。

背景技术

云盘的存储空间是一种资源，目前市场上的商业云盘都只提供了很少的免费空间，当存储的数据大于剩余空间时，则无法利用该云盘的剩余空间。而使用者往往可以拥有多个第三方云的盘账户，如果有种方法可以把这些云盘空间组合起来，提供无限制的空间扩容，则可以为使用者节约成本，方便使用者管理其存储的文件。所以，我们开发了一套基于第三方云的多云组合技术，让使用者可以随意加入自己的云盘来扩增容量。

发明内容

本发明的目的在于提供一种基于第三方云的多云组合方法，以解决背景技术中提出的现有技术中，对于云盘空间不可扩容，导致其空间浪费的问题。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于第三方云的多云组合方法，包括以下步骤：

文件上传步骤：用户进行文件上传；

文件判断步骤：判断上传的文件是否为大文件；如果上传的文件大于或者等于32M，则对其进行拆分，如果上传的文件小于32M，则直接对其进行上传；

文件拆分步骤：将上传的文件拆分为块；从文件0字节开始，以32M字节为一个块，直到将上传文件完全划分，读取各个字节范围的数据流；

文件上传步骤：将完成拆分的文件块通过传输任务控制层投递到组合云管理器中；通过组合云管理器来管理文件块的上传；

空间判断步骤：判断是否有符合块大小的剩余空间的云盘；如果有，则投递到相应的云盘，并执行传输任务；如果没有，则结束上传；

组合云管理器具体为：组合云管理器是将组合云中每个云盘实体，以云盘UID为主键，具体云盘数据结构体为值，通过Map数据结构的方式组合起来，以管理一个组合云中的所有云盘。

根据上述技术方案，文件拆分步骤中，拆分的具体操作为：读文件数据的时候，根据块的起始字节位置读取对应的数据流，以实现拆分的任务。

根据上述技术方案，所述传输任务控制层还负责对失败的传输任务进行断点续传，对传输失败的块，将其重新投递到组合云管理器，组合云管理器根据块大小，重新为其分配新的符合条件的云盘来执行传输。

根据上述技术方案，所述传输任务控制层为异步传输，异步传输为多线程传输。

根据上述技术方案，组合云管理器通过枚举云盘链中能承接该大小空间的有效云盘，并返回该云盘的唯一标识UID，然后将传输任务下达给该UID对应的云盘传输基础层，以完成传输任务。。

根据上述技术方案，所述组合云管理器的具体操作包括：添加云盘到组合云、从组合云中删除一个云盘或从组合云中获得指定的云盘。

根据上述技术方案，所述组合云管理器还包括组合云下载，组合云下载主要包括：任务控制层、组合云策略层、组合文件层和云盘基础传输层。

根据上述技术方案，任务控制层具体为：确定要下载的块所在的云盘UID和块本身在云盘的UID,并将下载任务投递给组合云策略层；

组合云策略层具体为：根据云盘的UID和具体块的UID,在判断该云盘有效后，将下载任务投递给云盘基础传输层来执行具体下载；

组合文件层具体为：将从组合云各个云盘中下载的块拼接成一个完整的文件；

云盘基础传输层具体为：实现云盘下载数据的功能。

与现有技术相比，本发明具有以下有益效果：

在本发明中，通过将上传的文件拆分为单独的块，再通过云管理器对云盘进行枚举，寻找具有合适空间的云盘，将块上传到云盘中。其中，将大文件拆分为块可以节约上传时间，并且将文件拆分为块后，可以将小的块放入存储空间较小的云盘空间中，这样可以有效的利用云盘空间。

并且，通过将多个云盘空间进行组合，实现了云盘的空间扩容，为使用者节约成本，方便使用者管理其存储的文件。

附图说明

图1为本发明整体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1所示，一种基于第三方云的多云组合方法，包括以下步骤：

文件上传步骤：用户进行文件上传；

文件判断步骤：判断上传的文件是否为大文件；如果上传的文件大于或者等于32M，则对其进行拆分，如果上传的文件小于32M，则直接对其进行上传；

文件拆分步骤：将上传的文件拆分为块；从文件0字节开始，以32M字节为一个块，直到将上传文件完全划分，读取各个字节范围的数据流；

文件上传步骤：将完成拆分的文件块通过传输任务控制层投递到组合云管理器中；通过组合云管理器来管理文件块的上传；

空间判断步骤：判断是否有符合块大小的剩余空间的云盘；如果有，则投递到相应的云盘，并执行传输任务；如果没有，则结束上传；

组合云管理器具体为：组合云管理器是将组合云中每个云盘实体，以云盘UID为主键，具体云盘数据结构体为值，通过Map数据结构的方式组合起来，以管理一个组合云中的所有云盘。

文件拆分步骤中，拆分的具体操作为：读文件数据的时候，根据块的起始字节位置读取对应的数据流，以实现拆分的任务。

根据每32M为一文件块的定义，起始字节＝32M*(n-1)+1,n为文件块的序号。

所述传输任务控制层还负责对失败的传输任务进行断点续传，对传输失败的块，将其重新投递到组合云管理器，组合云管理器根据块大小，重新为其分配新的符合条件的云盘来执行传输。

所述传输任务控制层为异步传输，异步传输为多线程传输。

组合云管理器通过枚举云盘链中能承接该大小空间的有效云盘，并返回该云盘的唯一标识UID，然后将传输任务下达给该UID对应的云盘传输基础层，以完成传输任务。

所述组合云管理器的具体操作包括：添加云盘到组合云、从组合云中删除一个云盘或从组合云中获得指定的云盘。

所述组合云管理器还包括组合云下载，组合云下载主要包括：任务控制层、组合云策略层、组合文件层和云盘基础传输层。

任务控制层具体为：确定要下载的块所在的云盘UID和块本身在云盘的UID,并将下载任务投递给云盘组合层；

组合云策略层具体为：根据云盘的UID和具体块的UID,在判断该云盘有效后，将下载任务投递给云盘基础传输层来执行具体下载；

组合文件层具体为：将从组合云各个云盘中下载的块拼接成一个完整的文件；

云盘基础传输层具体为：实现云盘下载数据的功能。

组合云管理器是将组合云每个云盘实体，以云盘UID为主键，具体云盘数据结构体(包含云盘空间信息等)为值，通过Map数据结构的方式组合起来，以管理一个组合云中的所有云盘，其支持的操作方法有：添加云盘到组合云(addCloudToMap)，从组合云中删除一个云盘(delCloudFromMap)，从组合云中获得指定的云盘(getCloudFromMap)，这是组合云对象的一个基本操作。除了这三个基本操作，还对外提供获取当前满足指定空间的云盘，该方法是对需要传输的指定块大小，组合云策略层通过对云盘链管理器去枚举云盘链中能承接该大小空间的有效云盘，并返回该云盘的唯一标识UID。这里除了判别比较空间是否足够，还加入了一些其他的判别指标，比如云盘是否失效等等，让这种组合云技术更精准，更稳定。

实施例二

本实施例提供一种具体的操作流程：包括以下步骤：

步骤S1：开始；

步骤S2：用户进行组合云上传；

步骤S3：判断上传的文件是否为大文件；如果是，则跳转到步骤S4，如果不是，则跳转到步骤S5；

步骤S4：将上传的文件拆分为块；

步骤S5：将步骤S4中拆分的块传输投递到组合云管理器；

步骤S6：判断是否有符合块大小的剩余空间的云盘；如果有，则跳转到步骤S7，如果没有，则跳转到步骤S8；

步骤S7：投递到相应的云盘，并执行传输任务；

步骤S8：结束。

实施例三

本发明的构思为：a)对各种类型的单个云盘，通过其官方提供的API接口，封装出能独立进行上传、下载和断点续传等操作的云盘传输基础层，该模块的作用是提供云盘基础传输服务。

云盘传输基础层：其实现了各个云盘的传输接口，是最基本的传输操作的封装，这是组合云的底层传输基础。

b)在云盘传输基础层之上，要实现向组合云传输，就需要提供一个策略层，拆分大文件层，传输任务控制层，下面分别来介绍这三层的实现方法：

策略层：

策略层的核心是云盘管理器，这是一个将云盘的数据结构实体通过Map的方式组合起来，以管理一个组合云中的所有云盘，其支持的操作方法有：添加云盘到组合云(addCloudToMap)，从组合云中删除一个云盘(delCloudFromMap)，从组合云中获得指定的云盘(getCloudFromMap)，这是组合云对象的一个基本操作。除了这三个基本操作，然后提供对传输任务的目标选择方法(getNextValidCloudItem)，该方法是对需要传输的指定块大小，组合云策略层通过对云盘链管理器去枚举云盘链中能承接该大小空间的有效云盘，并返回该云盘的唯一标识UID，然后将传输任务下达给该UID对应的云盘传输基础层，以完成传输任务。这里除了判别比较空间是否足够，还加入了一些其他的判别指标，比如云盘是否失效等等，让这种组合云技术更精准，更稳定。

因为组合云是异步上传，为避免一部分空间同时给多个传输任务去使用，需要给每分配出的空间增加一个预使用空间，在传输任务实际完成后，这部分预使用空间则变成云盘链管理器实际已使用空间，如果传输失败或者被取消，则这部分预使用空间重新归还到云盘空间管理器的剩余空间中去，以便分配给其它的传输任务使用。

如果组合云中某个云盘已经失效，则将其标记为失效，下次枚举的时候则将其跳过。

其伪代码如下：

拆分大文件层：

该层的目的是将传输任务控制层下达的大文件拆分成多个块，以实现大文件以分块的方式存储在组合云中。这个块其实是个虚拟概念，真正的文件并没有拆分，这是在读文件数据的时候，根据块的起始字节位置读取对应的数据流，以实现拆分的任务，将每个块拆分的大小定为32M。其次，通过对大文件的拆分，在传输失败时，可以只对一个块进行重试，提高重试的效率。

传输任务控制层：

该层负责将需要传输的数据封装成任务投递给拆分大文件层，并调度所有块的传输任务，这里所有块的传输是异步传输，多根线程同时在向指定云盘传输多个块，提高传输效率，达到云传输数据的目的。这层还负责对失败的传输任务进行断点续传，对传输失败的块，这层将其重新投递到策略层，策略层根据块大小，重新为其分配新的符合条件的云盘来执行传输。

综上所述，传输任务控制将要传输的大文件通过拆分文件层进行拆分，拆分后投递到策略层，策略层通过对每个云盘空间的枚举，找出符合空间条件的云盘，并投递到云盘基础传输层，以完成对一个数据块的传输任务。从宏观来看，是将一个大文件传输到组合云了，而从实现来看，是将大文件拆分成数据块，分别传输到组合云的各个云盘里去。

c)以上是实现组合云的上传技术，还有组合云的下载技术，其主要是由传输任务管理层，组合文件层，组合云层，基础云盘传输层来实现。

任务控制层：其确定要下载的块所在的云盘UID和块本身在云盘的UID,并将下载任务投递给云盘组合层。其还负责任务的重试调度。

组合云策略层：组合云策略层根据云盘的UID和具体数据块的UID,在判断该云盘有效的情况后，将下载任务投递给云盘基础传输层来执行具体下载。

组合文件层：该层负责将从组合云中各个云盘下载的块拼接成一个完整的文件。

云盘基础传输层：其实现具体云盘下载数据的功能，本质是调用第三方云提供的下载接口。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于第三方云的多云组合方法，其特征在于：包括以下步骤：

文件选择步骤：用户选择文件，进行文件上传；

文件判断步骤：判断上传的文件是否为大文件；如果上传的文件大于或者等于32M，则对其进行拆分，如果上传的文件小于32M，则直接对其进行上传；

文件拆分步骤：将上传的文件拆分为块；从文件0字节开始，以 32M字节为一个块，直到将上传文件完全划分，读取各个字节范围的数据流；

文件上传步骤：将完成拆分的文件块通过传输任务控制层投递到组合云管理器中；通过组合云管理器来管理文件块的上传；

空间判断步骤：判断是否有符合块大小的剩余空间的云盘；如果有，则投递到相应的云盘，并执行传输任务；如果没有，则结束上传；

组合云管理器具体为：组合云管理器是将组合云中每个云盘实体，以云盘UID为主键，具体云盘数据结构体为值，通过Map数据结构的方式组合起来，以管理一个组合云中的所有云盘；所述传输任务控制层还负责对失败的传输任务进行断点续传，对传输失败的块，将其重新投递到组合云管理器，组合云管理器根据块大小，重新为其分配新的符合条件的云盘来执行传输；

所述传输任务控制层为异步传输，异步传输为多线程传输。

2.根据权利要求1所述的一种基于第三方云的多云组合方法，其特征在于：文件拆分步骤中，拆分的具体操作为：读文件数据的时候，根据块的起始字节位置读取对应的数据流，以实现拆分的任务。

3.根据权利要求1所述的一种基于第三方云的多云组合方法，其特征在于：组合云管理器通过枚举云盘链中能承接该大小空间的有效云盘，并返回该云盘的唯一标识UID，然后将传输任务下达给该UID对应的云盘传输基础层，以完成传输任务。

4.根据权利要求1所述的一种基于第三方云的多云组合方法，其特征在于：所述组合云管理器的具体操作包括：添加云盘到组合云、从组合云中删除一个云盘或从组合云中获得指定的云盘。

5.根据权利要求1所述的一种基于第三方云的多云组合方法，其特征在于：所述组合云管理器还包括组合云下载，组合云下载主要包括：任务控制层、组合云策略层、组合文件层和云盘基础传输层。

6.根据权利要求5所述的一种基于第三方云的多云组合方法，其特征在于：任务控制层具体为：确定要下载的块所在的云盘UID和块本身在云盘的UID,并将下载任务投递给组合云策略层；

组合云策略层具体为：根据云盘的UID和具体块的UID,在判断该云盘有效后，将下载任务投递给云盘基础传输层来执行具体下载；

组合文件层具体为：将从组合云各个云盘中下载的块拼接成一个完整的文件；

云盘基础传输层具体为：实现云盘下载数据的功能。