CN106657266A - 一种基于公有云的安全可靠的公有云存储系统的架构及方法 - Google Patents

Abstract

本发明公开了一种基于公有云的安全可靠的公有云存储系统，及其上传、下载、删除和保障其可靠性的方法，包括服务器、多家公有云和客户端，所述服务器存储文件的元数据信息，所述服务器对外提供公有云存储服务，所述多家公有云存储实际的文件数据，所述客户端只负责调用服务器的存储服务对底层存储不可见，由此构建出底层为多家公有云的公有云存储系统。本发明安全性高、可靠性好、性价比高以及调度灵活。

Description

一种基于公有云的安全可靠的公有云存储系统的架构及方法

技术领域

本发明涉及一种基于公有云的安全可靠的公有云存储系统及上传、下载、删除、保障其可靠性的方法，属于大数据的云存储领域。

背景技术

在现在的大数据时代背景下数据作为一种资产，谁掌握海量数据谁就占据了巨量的财富。而用户的数据信息存储在一些公有云上则面临着数据泄露的危险，在数据挖掘技术的日益发展的当下谁都不能保证自己的数据存储在某些公有云平台上不被数据挖掘，这样用户的数据安全性无从谈起。

新兴的大数据技术让越来越多的企业意识到大数据的重要性，也想得到大数据的资产，于是许多企业发展大数据技术，提供云存储服务，有的甚至为了得到“大数据资产”甚至提供免费云存储服务，但是在大数据时代兴起的初期，探索不都是成功的，有的企业提供的公有云服务在一段时间过后并没有发现企业的盈利模式，但是提供的云存储服务每天都会产生大量的费用。于是企业的探索以失败告终，可能会关停提供的服务。这样，用户存储的大量数据就会面临危险。存储在公有云上的数据不够可靠。

完全依赖某一家的公有云服务性能和价格的比较可能不尽如人意。

建设和维护一个数据中心要花费大量的人力物力财力，所以即使大型的公有云提供商也只是建设有几个数据中心，而需要大数据服务的用户可能在全国各地，这样数据的调度及传输等受到物理距离网络性能影响很大。存储性能受到客观条件的限制。

发明内容

本发明针对现有公有云存储存在的问题，提供了一种安全性高、可靠性好、性价比高以及调度灵活的基于公有云的安全可靠的公有云存储系统及上传、下载、删除方法。

本发明的架构方案：

一种基于公有云的安全可靠的公有云存储系统的架构，包括服务器、多家公有云和客户端，服务器仅负责存储文件的元数据信息以及对外提供公有云存储服务，多家公有云则存储实际的文件数据，客户端调用服务器的公有云存储服务，服务器的底层对客户端不可见。

优选的：所述客户端包括编码模块、解码模块、服务器交互模块、公有云交互模块，其中：

编码模块，负责对用户要上传文件的原始数据选择N+M的方式生成M个校验块，其中，N是指恢复文件的最少校验块，M是指生成的校验块数目。并根据分成的校验块生成初始元数据信息。

解码模块，负责对用户从公有云下载下来的校验块的解码并整合恢复成原始数据。

服务器交互模块，负责调用服务器的公有云存储服务，主要包括向服务器发送上传请求，所述上传请求包括要上传文件的初始元数据信息，接收服务器根据初始元数据信息反馈的存储元数据信息，以及向服务器发送下载请求。

公有云交互模块，负责把编码模块生成的校验块根据存储元数据信息分别上传到公有云，以及根据存储元数据信息分别下载对应的公有云上的校验块到客户端。

优选的：所述服务器包括文件系统管理模块、公有云存储管理调度模块、数据容错恢复模块、客户端接口模块，其中：

文件系统管理模块，负责存储文件的存储元数据信息。

公有云存储管理调度模块，负责底层多家公有云的管理，根据初始元数据信息为所述客户端上传文件所需要的M家公有云的URL地址的分配，将初始元数据信息和其对应的URL地址合成为存储元数据信息。公有云存储管理调度模块用于检测公有云的服务状况。

数据容错恢复模块，负责底层公有云服务情况的容错恢复处理。

多家公有云负责存储实际的数据块。主要用于存储客户端根据存储元数据信息上传的校验块。

优选的：若公有云存储管理调度模块检测有X家公有云发布临时停止服务的消息，X小于N，数据容错恢复模块把不能用的X家公有云的存储的校验块的信息状态改为不可用，在服务器端接收客户端对文件的请求时先读取文件校验块的状态信息，选择状态为可用的N个校验块的存储元数据信息返回给客户端，公有云存储管理调度模块发现临时停止服务的公有云恢复正常服务，数据容错恢复模块把恢复正常服务的公有云的校验块的信息状态由不可用改为可用。

若公有云存储管理调度模块检测到有X家公有云关停服务，服务器更新维护云存储文件系统。数据容错恢复模块根据关停的公有云检测出哪些文件的校验块少于M块，把根据检测到的这些文件的校验块信息，从中读取N个校验块信息。根据选出的N个校验块的存储元数据信息到对应的N个公有云存储系统中下载这N个校验块。根据这N个校验块生成缺失的X个校验块，给这X个校验块分配X家未使用的正常运行的公有云的URL地址。根据URL地址把这X个校验块上传到X家公有云。全部上传成功后，数据容错恢复模块把X个校验块信息写入到服务器的存储系统中的对应文件的存储元数据信息中，对这个文件的存储元数据信息进行更新。

一种基于公有云的安全可靠的公有云存储系统的架构方法，包括服务器、多家公有云和客户端，服务器仅负责存储文件的元数据信息以及对外提供公有云存储服务，多家公有云则存储实际的文件数据，客户端只负责调用服务器的公有云存储服务，服务器的底层对客户端不可见，由此构建出底层为多家公有云的公有云存储系统。

优选的：客户端包括编码模块、解码模块、服务器交互模块、公有云交互模块，服务器包括文件系统管理模块、公有云存储管理调度模块、数据容错恢复模块、客户端接口模块，其中：

通过编码模块对用户要上传文件的原始数据选择N+M的方式生成M个校验块，其中，N是指恢复文件的最少校验块，M是指生成的校验块数目。并根据分成的校验块生成初始元数据信息。

通过服务器交互模块向服务器发送上传请求，所述上传请求包括要上传文件的初始元数据信息。

通过公有云存储管理调度模块根据初始元数据信息为所述客户端上传文件分配所需要的M家公有云的URL地址，将初始元数据信息和其对应的URL地址合成为存储元数据信息，并将该存储元数据信息反馈给服务器交互模块，同时将该存储元数据信息发送给文件系统管理模块进行存储。

通过公有云交互模块把编码模块生成的校验块根据存储元数据信息分别上传到对应的公有云。

多家公有云用于存储客户端上传的校验块。

通过公有云存储管理调度模块用于检测公有云的服务状况。更加公有云的服务状况，通过数据容错恢复模块进行容错恢复处理。

通过客户端的服务器交互模块向服务器发送下载请求，服务器的文件系统管理模块根据下载请求将下载请求中对应的存储元数据信息发送给客户端。公有云交互模块根据存储元数据信息分别下载对应的公有云上的校验块到客户端，通过解码模块将用户从公有云下载下来的校验块的解码并整合恢复成原始数据。

进一步地，其可靠性方法如下：若公有云存储管理调度模块检测有X家公有云发布临时停止服务的消息，X小于N，通过数据容错恢复模块把不能用的X家公有云的存储的校验块的信息状态改为不可用，在服务器端接收客户端对文件的请求时先读取文件校验块的状态信息，选择状态为可用的N个校验块的存储元数据信息返回给客户端，公有云存储管理调度模块发现临时停止服务的公有云恢复正常服务，数据容错恢复模块把恢复正常服务的公有云的校验块的信息状态由不可用改为可用。

若公有云存储管理调度模块检测到有X家公有云关停服务，通过服务器更新维护云存储文件系统。数据容错恢复模块根据关停的公有云检测出哪些文件的校验块少于M块，把根据检测到的这些文件的校验块信息，从中读取N个校验块信息。根据选出的N个校验块的存储元数据信息到对应的N个公有云存储系统中下载这N个校验块。根据这N个校验块生成缺失的X个校验块，给这X个校验块分配X家未使用的正常运行的公有云的URL地址。根据URL地址把这X个校验块上传到X家公有云。全部上传成功后，数据容错恢复模块把X个校验块信息写入到服务器的存储系统中的对应文件的存储元数据信息中，对这个文件的存储元数据信息进行更新。

进一步地，上传方法包括以下步骤：

步骤1，上传文件：用户在客户端上传本地文件。

步骤2，文件编码分块：上传的文件通过编码模块选择N+M的方式生成M个校验块，其中，N是指恢复文件的最少校验块，M是指生成的校验块数目。

步骤3，客户端向服务器发送上传请求：客户端向服务器发送上传请求，请求信息包含要上传的文件的初始元数据信息和编码方式。

步骤4，服务器端生成文件的存储元数据信息：系统检测到客户端上传请求，根据请求携带的文件相关信息在服务器端生成此文件的存储元数据信息并且分配M个带有签名认证的URL地址。

步骤5，服务器端发送分配的URL地址信息给客户端。

步骤6，客户端上传M个校验块到M个公有云：客户端根据服务器端分配的M个URL地址把M个校验块上传到对应公有云上。

步骤7，公有云返回存储成功信息给客户端：公有云存储成功，返回成功信息给客户端。

步骤8，客户端发送上传成功的信息给服务器端：当所有的公有云都返回上传成功的信息后，客户端发送给服务器端上传成功的信息。

步骤9，服务器端保存上传的文件的存储元数据信息：服务器收到客户端成功上传的信息后，把步骤4生成的此文件的存储元数据信息存储到服务器端的存储系统中。

进一步地，下载方法包括以下步骤：

步骤1，客户端发送下载请求：用户在客户端发送下载文件的请求，请求信息包括要下载的文件名。

步骤2，服务器接收客户端的请求并进行预处理：服务器接收到客户端的下载请求，根据文件名在服务器端的云存储系统中读取该文件的存储元数据信息，包括N个校验块信息及对应的URL地址。

步骤3，服务器发送此文件的存储元数据信息给客户端。

步骤4，客户端接收要下载文件的存储元数据信息，所述存储元数据信息含有N个带签名认证的URL地址。

步骤5，客户端下载校验块：客户端根据接收到的N个带签名认证的URL地址从N个公有云中下载N个校验块。

步骤6，文件解码完成下载：客户端根据下载的N个校验块通过解码模块进行解码把N个校验块整合成一个完整的文件。此时客户端就完成了文件下载的整个过程。

进一步地，删除方法包括以下步骤：

步骤1，客户端提出删除请求：用户在客户端提出删除某文件的请求。

步骤2，客户端发送删除请求：客户端发送删除请求及要删除的文件名给服务器。

步骤3，服务器接收到客户端的删除请求。

步骤4，服务器根据客户端发送来的文件名在服务器端的云存储系统中查找到文件的存储元数据信息。

步骤5，服务器向M个公有云发送删除命令：服务器根据元数据信息中的M个带签名认证的URL向M个公有云发送删除命令。

步骤6，公有云反馈删除成功信息给服务器。

步骤7，服务器发送删除成功信息给客户端：M个公有云都返回删除成功的信息后服务器发送删除成功的信息给客户端。同时公有云都返回删除成功的信息后，服务器端把该文件对应的存储元数据信息删除。

本发明相比现有技术，具有以下有益效果：

一、安全性问题解决方案

针对安全性问题，本发明提供了两种安全性保障：

1、客户端与公有云交互过程中数据的安全性保障

云上云技术通过算法生成M个校验块存储到M个不同的公有云上，一家公有云提供方不可能根据一个校验块得到完整的数据信息。这样就规避了存储在公有云上的用户数据泄露的风险。

2、服务器端与客户端交互过程中数据的安全性保障

云上云技术通过数据在客户端通过公钥和私钥对的形式对数据进行加密，而私钥数据存放在客户端的配置文件中，服务器端没有，这样就保证了客户数据的安全性。

二、可靠性问题解决方案

云上云的可靠性体现在即使关停几家也不会对数据造成很大的影响。

实现原理：

如果以N+M(M>N)方式存储数据，校验块存储在不同的公有云，即使M-N家停止服务也不会影响校验块恢复成原始数据。

云上云可靠性效果:

所有的维护工作都是在服务器端进行，即使出现一些公有云停止服务的现象客户端也感觉不到，这样就保证了用户在使用的时候有很好的用户体验。

此方案保证了即使M-N家公有云同时停止服务也不会影响校验块的恢复(事实上M-N家同时停止服务的可能性几率是很小的，但是即使发生这样恶劣的情况此方案亦可保证存储在云上云的文件不会丢失)。

三、性价比问题解决方案

云上云的底层存储是多家公有云，云上云的费用管理系统会根据不同公有云的存储量，流量，带宽价格等进行综合比较进行数据存储配置，这样达到最优的性价比，由此提供的云上云的存储服务当然也具备高性价比。

四、调度问题解决方案

云上云服务器端的云存储系统存的是元数据信息，云上云的云存储系统搭建成一个小型云就完全可以满足海量的数据存储，并且小型云存储系统还可以进行增量扩展。这样搭建小型云的成本比起大型的数据中心要小得多。小型云可以根据不同公有云的地理位置、网络状况等进行搭建，从而达到优化调度。

综上所述，本发明安全性高、可靠性好、性价比高以及调度灵活性好。

附图说明

图1是本发明的物理架构的图示。

图2是本发明的功能模块图。

图3是本发明解决数据可靠性情景一的图解。

图4是本发明解决数据可靠性情景二的图解。

图5是本发明上传文件的时序图。

图6是本发明下载文件的时序图。

具体实施方式

附图非限制性地公开了本发明一个优选实施例的结构示意图，以下将结合附图详细地说明本发明的技术方案。

实施例

一种基于公有云的安全可靠的公有云存储系统，简称云上云，云上云底层的存储是搭建在多家不同的公有云存储系统之上，而云上云的服务器本身也是一个云存储系统。云上云对外提供接口给用户使用。底层对普通用户来说是不可见的，用户在使用云上云时和普通的公有云一样方便。只是使用了云上云，用户的数据会更加的安全、可靠。包括客户端、多家公有云和服务器，服务器仅负责存储文件的元数据信息以及对外提供公有云存储服务，多家公有云则存储实际的文件数据，客户端调用服务器的公有云存储服务，服务器的底层对客户端不可见。

如图3、4所示：所述客户端包括编码模块、解码模块、服务器交互模块、公有云交互模块，其中：

编码模块，负责对用户要上传文件的原始数据选择N+M的方式生成M个校验块，生成校验块时，可以采用EC算法生成，其中，N是指恢复文件的最少校验块，M是指生成的校验块数目。并根据分成的校验块生成初始元数据信息。

解码模块，负责对用户从公有云下载下来的校验块的解码并整合恢复成原始数据。

服务器交互模块，负责调用服务器的公有云存储服务，主要包括向服务器发送上传请求，所述上传请求包括要上传文件的初始元数据信息，接收服务器根据初始元数据信息反馈的存储元数据信息，以及向服务器发送下载请求。

公有云交互模块，负责把编码模块生成的校验块根据存储元数据信息分别上传到公有云，以及根据存储元数据信息分别下载对应的公有云上的校验块到客户端。

如图3、4所示：所述服务器包括文件系统管理模块、公有云存储管理调度模块、数据容错恢复模块、客户端接口模块，其中：

文件系统管理模块，负责存储文件的存储元数据信息。

公有云存储管理调度模块，负责底层多家公有云的管理，根据初始元数据信息为所述客户端上传文件所需要的M家公有云的URL地址的分配，将初始元数据信息和其对应的URL地址合成为存储元数据信息。公有云存储管理调度模块用于检测公有云的服务状况。

数据容错恢复模块，负责底层公有云服务情况的容错恢复处理。若公有云存储管理调度模块检测有X家公有云发布临时停止服务的消息，X小于N，数据容错恢复模块更新维护服务器端的文件系统信息(把不能用的X家公有云的存储的校验块的信息状态改为不可用)，在服务器端接收客户端对文件的请求时先读取文件校验块的状态信息，选择状态为可用的N个校验块的存储元数据信息(带签名认证的URL地址信息)返回给客户端，公有云存储管理调度模块发现临时停止服务的公有云恢复正常服务，数据容错恢复模块更新维护服务器端云存储文件系统(把这X家的公有云的校验块的信息状态由不可用改为可用)。

若公有云存储管理调度模块检测到有X家公有云关停服务，服务器更新维护云存储文件系统。数据容错恢复模块根据关停的公有云检测出哪些文件的校验块少于M块，把根据检测到的这些文件的校验块信息，从中读取N个校验块信息。根据选出的N个校验块的存储元数据信息到对应的N个公有云存储系统中下载这N个校验块。根据这N个校验块生成缺失的X个校验块，给这X个校验块分配X家未使用的正常运行的公有云的URL地址。根据URL地址把这X个校验块上传到X家公有云。全部上传成功后，数据容错恢复模块把X个校验块信息写入到服务器的存储系统中的对应文件的存储元数据信息中，对这个文件的存储元数据信息进行更新。

多家公有云负责存储实际的数据块。主要用于存储客户端根据存储元数据信息上传的校验块。

所述客户端还设置有GnuPG加密程序，所述GnuPG加密程序用于将客户端上传的本地文件进行加密，生成公钥和私钥对。将加密后的文件发送给EC算法模块生成M个校验块。而私钥存储在客户端的配置文件中。

客户端从公有云下载已经加密过的文件。GnuPG加密程序通过私钥对文件进行解密得到原文件。

所述客户端用于提出删除文件的请求，并发送删除请求及要删除的文件名给服务器。接收服务器发送的删除成功信息。

所述服务器用于接收到客户端的删除请求和要删除的文件名，根据客户端发送来的要删除的文件名在服务器端的云存储系统中查找到该文件的存储元数据信息，服务器根据存储元数据信息中的M个带签名认证的URL向器对应的M个公有云发送删除命令。服务器接收成功删除信息，且M个公有云都返回删除成功的信息后服务器发送删除成功的信息给客户端。同时公有云都返回删除成功的信息后，服务器端把该文件对应的存储元数据信息删除。

公有云用于执行服务器发送的删除命令，并反馈删除成功信息给服务器。

另外，服务器有用户管理认证模块，负责用户的注册、登录认证等用户管理，服务器有客户端接口模块，负责为所述客户端提供公有云存储服务；客户端有用户接口模块，用户可以通过用户接口进行相关操作。

一种基于公有云的安全可靠的公有云存储系统的架构方法，包括服务器、多家公有云和客户端，服务器仅负责存储文件的元数据信息以及对外提供公有云存储服务，多家公有云则存储实际的文件数据，客户端只负责调用服务器的公有云存储服务，服务器的底层对客户端不可见，由此构建出底层为多家公有云的公有云存储系统。

优选的：客户端包括编码模块、解码模块、服务器交互模块、公有云交互模块，服务器包括文件系统管理模块、公有云存储管理调度模块、数据容错恢复模块、客户端接口模块，其中：

通过编码模块对用户要上传文件的原始数据选择N+M的方式生成M个校验块，其中，N是指恢复文件的最少校验块，M是指生成的校验块数目。并根据分成的校验块生成初始元数据信息。

通过服务器交互模块向服务器发送上传请求，所述上传请求包括要上传文件的初始元数据信息。

通过公有云存储管理调度模块根据初始元数据信息为所述客户端上传文件分配所需要的M家公有云的URL地址，将初始元数据信息和其对应的URL地址合成为存储元数据信息，并将该存储元数据信息反馈给服务器交互模块，同时将该存储元数据信息发送给文件系统管理模块进行存储。

通过公有云交互模块把编码模块生成的校验块根据存储元数据信息分别上传到对应的公有云。

多家公有云用于存储客户端上传的校验块。

通过公有云存储管理调度模块用于检测公有云的服务状况。更加公有云的服务状况，通过数据容错恢复模块进行容错恢复处理。

通过客户端的服务器交互模块向服务器发送下载请求，服务器的文件系统管理模块根据下载请求将下载请求中对应的存储元数据信息发送给客户端。公有云交互模块根据存储元数据信息分别下载对应的公有云上的校验块到客户端，通过解码模块将用户从公有云下载下来的校验块的解码并整合恢复成原始数据。

其可靠性方法如下：若公有云存储管理调度模块检测有X家公有云发布临时停止服务的消息，X小于N，通过数据容错恢复模块把不能用的X家公有云的存储的校验块的信息状态改为不可用，在服务器端接收客户端对文件的请求时先读取文件校验块的状态信息，选择状态为可用的N个校验块的存储元数据信息返回给客户端，公有云存储管理调度模块发现临时停止服务的公有云恢复正常服务，数据容错恢复模块把恢复正常服务的公有云的校验块的信息状态由不可用改为可用。

若公有云存储管理调度模块检测到有X家公有云关停服务，通过服务器更新维护云存储文件系统。数据容错恢复模块根据关停的公有云检测出哪些文件的校验块少于M块，把根据检测到的这些文件的校验块信息，从中读取N个校验块信息。根据选出的N个校验块的存储元数据信息到对应的N个公有云存储系统中下载这N个校验块。根据这N个校验块生成缺失的X个校验块，给这X个校验块分配X家未使用的正常运行的公有云的URL地址。根据URL地址把这X个校验块上传到X家公有云。全部上传成功后，数据容错恢复模块把X个校验块信息写入到服务器的存储系统中的对应文件的存储元数据信息中，对这个文件的存储元数据信息进行更新。

上传方法，如图5所示，包括以下步骤：

步骤1，上传文件：用户在客户端上传本地文件。

步骤2，文件编码分块：上传的文件用EC算法，选择N+M的方式生成M个校验块，其中，N是指恢复文件的最少校验块，M是指生成的校验块数目。

步骤3，客户端向服务器发送上传请求：客户端向服务器发送上传请求，信息包含要上传的文件的初始元数据信息和分块信息。

步骤4，服务器端生成文件的存储元数据信息：系统检测到客户端上传请求，根据请求携带的文件相关信息在服务器端生成此文件的存储元数据信息并且分配出M个带有签名认证的URL。

步骤5，服务器端发送分配的URL信息给客户端。

步骤6，客户端上传M个校验块到M个公有云：客户端根据服务器端分配的M个URL把M个校验块上传到对应公有云上。

步骤7，公有云返回存储成功信息给客户端：公有云存储成功，返回成功信息给客户端。

步骤8，客户端发送上传成功的信息给服务器端：当所有的公有云都返回上传成功的信息后，客户端发送给服务器端上传成功的信息。

步骤9，服务器端保存上传的文件的存储元数据信息：服务器收到客户端成功上传的信息后，把步骤4生成的此文件的存储元数据信息存储到服务器端的云存储系统中。

下载方法，如图6所示，包括以下步骤：

步骤1，客户端提出下载请求：用户在客户端提出下载某文件的请求。

步骤2，客户端发送下载请求：客户端发送下载请求及要下载的文件名给服务器。

步骤3，服务器接收客户端的请求并进行预处理：服务器接收到客户端的下载请求，根据文件名在服务器端的云存储系统中读取该文件的存储元数据信息，包括N个校验块信息及对应的URL信息。

步骤4，服务器发送此文件的存储元数据信息给客户端。

步骤5，客户端接收要下载文件的存储元数据信息，所述存储元数据信息含有N个带签名认证的URL。

步骤6，客户端下载校验块：客户端根据接收到的N个带签名认证的URL从公有云存储系统中下载N个校验块。

步骤7，文件解码完成下载：客户端根据下载的N个校验块根据EC算法进行解码把N个校验块整合成一个完整的文件。此时客户端就完成了文件下载的整个过程。

删除文件方法，包括以下步骤：

步骤1，客户端提出删除请求：用户在客户端提出删除某文件的请求。

步骤2，客户端发送删除请求：客户端发送删除请求及要删除的文件名给服务器。

步骤3，服务器接收到客户端的删除请求。

步骤4，服务器根据客户端发送来的文件名在服务器端的云存储系统中查找到文件的存储元数据信息。

步骤5，服务器向M个公有云发送删除命令：服务器根据元数据信息中的M个带签名认证的URL向M个公有云发送删除命令。

步骤6，公有云反馈删除成功信息给服务器。

步骤7，服务器发送删除成功信息给客户端：M个公有云都返回删除成功的信息后服务器发送删除成功的信息给客户端。同时公有云都返回删除成功的信息后，服务器端把该文件对应的存储元数据信息删除。

解决数据可靠性的方法

前提：客户端选择N+M的方式已经把M个校验块分别上传到M家公有云存储系统上了。

情景1(如图3)：

有一个或多个公有云因为维护等原因临时停止服务(临时停止服务的公有云要少于M-N家)。

包含以下步骤：

步骤1，服务器端公有云后台管理模块发现有公有云发布临时停止服务的消息。

步骤2，服务器端更新维护服务器端云存储文件系统(把不能用的公有云的存储的校验块的信息状态改为不可用)。

步骤3，服务器端接收客户端对文件的请求时先读取文件校验块的状态信息，选择状态为可用N个校验块相关信息(带签名认证的URL信息)返回给客户端。

步骤4，服务器端公有云后台管理模块发现临时停止服务的公有云恢复正常服务。

步骤5，服务器端更新维护服务器端云存储文件系统(把相关在公有云的校验块的信息状态由不可用改为可用)。

情景2(如图4)：

有一个或多个公有云关停服务。(同时关停服务的公有云要少于M-N家)。

如图2所示，包含以下步骤：

步骤1，服务器端公有云后台管理模块发现有X家公有云关停服务。

步骤2，服务器端更新维护服务器端云存储文件系统(把不能用的公有云的URL校验块的信息删除掉，保证在分配给客户端时的N个带签名认证的URL都是可用的)。

步骤3，服务器端维护服务器端云存储文件系统，检测出哪些文件的校验块少于M块。

步骤4，服务器端把根据检测到的这些文件的校验块信息，从中读取N个校验块信息。

步骤5，服务器端根据选出的N个校验块的带签名认证的URL到对应的N个公有云存储系统中下载这N个校验块。

步骤6，服务器端根据这N个校验块生成缺失的X个校验块。

步骤7，服务器端给这X个校验块分配X家公有云的带签名认证的URL信息，这X家公有云应该是这个文件里现存的正常校验块没有用过的正常的公有云。

步骤8，服务器端把这X个校验块上传到X家公有云。

步骤9，全部上传成功后，服务器端把X个校验块信息写入到服务器端的云存储文件系统中的对应文件的元数据信息中，对这个文件的元数据信息进行更新。

说明：

云上云底层不依赖于某一家公有云，底层的公有云中除了正常投入使用的几家，还会有一定数目的公有云用来应对万一发生的几家同时关停服务的情况。

在备用的公有云投入使用后会再选另外的公有云用来应对极端情况，总之会维持一定数目的使用和备用的公有云数目。

解决数据安全性的方法

在客户端本地的文件经加密之后上传服务器端和公有云都无法得到原文件，保障了用户数据的绝对安全。

包含以下两个角度说明：

1、客户端与公有云交互过程中数据的安全性保障，包含以下步骤：

步骤1，客户端上传本地文件。

步骤2，本地文件选择N+M的方式进行编码，利用EC(Erasure Code)算法生成M个校验块。

步骤3，客户端把M个校验块分别上传到M家公有云存储系统上。

说明：

N是指恢复文件的最少校验块，M是指生成的校验块数目。

如果想要得到这个上传的文件必须得到至少N个校验块再通过EC(Erasure Code)算法解码才能够得到。所以一家公有云仅有一个校验块不可能得到这个文件，由此达到了防止数据泄露的风险。

2、服务器端与客户端交互过程中数据的安全性保障，包含以下步骤：

步骤1，客户端上传文件。

步骤2，上传的文件用GnuPG加密程序进行加密，生成公钥和私钥对。

步骤3，加密后的文件再进行下一步的处理(利用EC(Erasure Code)算法编码等后续步骤)，私钥存储在客户端的配置文件中。

步骤4，客户端从公有云下载已经加密过的文件。

步骤5，客户端通过私钥对文件进行解密得到原文件。

说明：

对密级较高的文件采用这种加密方式，私钥以配置文件形式存储在用户那里，云上云服务器端也是无法读取用户加密后的文件的。

上面结合附图所描述的本发明优选具体实施例仅用于说明本发明的实施方式，而不是作为对前述发明目的和所附权利要求内容和范围的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属本发明技术和权利保护范畴。

Claims (10)

1.一种基于公有云的安全可靠的公有云存储系统的架构，其特征在于：包括服务器、多家公有云和客户端，服务器仅负责存储文件的元数据信息以及对外提供公有云存储服务，多家公有云则存储实际的文件数据，客户端调用服务器的公有云存储服务，服务器的底层对客户端不可见。

2.根据权利要求1所述的基于公有云的安全可靠的公有云存储系统的架构，其特征在于：所述客户端包括编码模块、解码模块、服务器交互模块、公有云交互模块，其中：

编码模块，负责对用户要上传文件的原始数据选择N+M的方式生成M个校验块，其中，N是指恢复文件的最少校验块，M是指生成的校验块数目；并根据分成的校验块生成初始元数据信息；

解码模块，负责对用户从公有云下载下来的校验块的解码并整合恢复成原始数据；

服务器交互模块，负责调用服务器的公有云存储服务，主要包括向服务器发送上传请求，所述上传请求包括要上传文件的初始元数据信息，接收服务器根据初始元数据信息反馈的存储元数据信息，以及向服务器发送下载请求；

公有云交互模块，负责把编码模块生成的校验块根据存储元数据信息分别上传到公有云，以及根据存储元数据信息分别下载对应的公有云上的校验块到客户端。

3.根据权利要求1所述的基于公有云的安全可靠的公有云存储系统的架构，其特征在于：所述服务器包括文件系统管理模块、公有云存储管理调度模块、数据容错恢复模块、客户端接口模块，其中：

文件系统管理模块，负责存储文件的存储元数据信息；

公有云存储管理调度模块，负责底层多家公有云的管理，根据初始元数据信息为所述客户端上传文件所需要的M家公有云的URL地址的分配，将初始元数据信息和其对应的URL地址合成为存储元数据信息；公有云存储管理调度模块用于检测公有云的服务状况；

数据容错恢复模块，负责底层公有云服务情况的容错恢复处理；

多家公有云用于存储客户端根据存储元数据信息上传的校验块。

4.根据权利要求1所述的基于公有云的安全可靠的公有云存储系统的架构，其特征在于：若公有云存储管理调度模块检测有X家公有云发布临时停止服务的消息，X小于N，数据容错恢复模块把不能用的X家公有云的存储的校验块的信息状态改为不可用，在服务器端接收客户端对文件的请求时先读取文件校验块的状态信息，选择状态为可用的N个校验块的存储元数据信息返回给客户端，公有云存储管理调度模块发现临时停止服务的公有云恢复正常服务，数据容错恢复模块把恢复正常服务的公有云的校验块的信息状态由不可用改为可用；

若公有云存储管理调度模块检测到有X家公有云关停服务，服务器更新维护云存储文件系统；数据容错恢复模块根据关停的公有云检测出哪些文件的校验块少于M块，把根据检测到的这些文件的校验块信息，从中读取N个校验块信息；根据选出的N个校验块的存储元数据信息到对应的N个公有云存储系统中下载这N个校验块；根据这N个校验块生成缺失的X个校验块，给这X个校验块分配X家未使用的正常运行的公有云的URL地址；根据URL地址把这X个校验块上传到X家公有云；全部上传成功后，数据容错恢复模块把X个校验块信息写入到服务器的存储系统中的对应文件的存储元数据信息中，对这个文件的存储元数据信息进行更新。

5.一种基于公有云的安全可靠的公有云存储系统的架构方法，其特征在于：包括服务器、多家公有云和客户端，服务器仅负责存储文件的元数据信息以及对外提供公有云存储服务，多家公有云则存储实际的文件数据，客户端只负责调用服务器的公有云存储服务，服务器的底层对客户端不可见，由此构建出底层为多家公有云的公有云存储系统。

6.根据权利要求5所述的基于公有云的安全可靠的公有云存储系统的架构方法，其特征在于：客户端包括编码模块、解码模块、服务器交互模块、公有云交互模块，服务器包括文件系统管理模块、公有云存储管理调度模块、数据容错恢复模块、客户端接口模块，其中：

通过编码模块对用户要上传文件的原始数据选择N+M的方式生成M个校验块，其中，N是指恢复文件的最少校验块，M是指生成的校验块数目；并根据分成的校验块生成初始元数据信息；

通过服务器交互模块向服务器发送上传请求，所述上传请求包括要上传文件的初始元数据信息；

通过公有云存储管理调度模块根据初始元数据信息为所述客户端上传文件分配所需要的M家公有云的URL地址，将初始元数据信息和其对应的URL地址合成为存储元数据信息，并将该存储元数据信息反馈给服务器交互模块，同时将该存储元数据信息发送给文件系统管理模块进行存储；

通过公有云交互模块把编码模块生成的校验块根据存储元数据信息分别上传到对应的公有云；

多家公有云用于存储客户端上传的校验块；

通过公有云存储管理调度模块用于检测公有云的服务状况；更加公有云的服务状况，通过数据容错恢复模块进行容错恢复处理；

通过客户端的服务器交互模块向服务器发送下载请求，服务器的文件系统管理模块根据下载请求将下载请求中对应的存储元数据信息发送给客户端；公有云交互模块根据存储元数据信息分别下载对应的公有云上的校验块到客户端，通过解码模块将用户从公有云下载下来的校验块的解码并整合恢复成原始数据。

7.根据权利要求6所述的基于公有云的安全可靠的公有云存储系统的架构方法，其特征在于，可靠性方法如下：若公有云存储管理调度模块检测有X家公有云发布临时停止服务的消息，X小于N，通过数据容错恢复模块把不能用的X家公有云的存储的校验块的信息状态改为不可用，在服务器端接收客户端对文件的请求时先读取文件校验块的状态信息，选择状态为可用的N个校验块的存储元数据信息返回给客户端，公有云存储管理调度模块发现临时停止服务的公有云恢复正常服务，数据容错恢复模块把恢复正常服务的公有云的校验块的信息状态由不可用改为可用；

若公有云存储管理调度模块检测到有X家公有云关停服务，通过服务器更新维护云存储文件系统；数据容错恢复模块根据关停的公有云检测出哪些文件的校验块少于M块，把根据检测到的这些文件的校验块信息，从中读取N个校验块信息；根据选出的N个校验块的存储元数据信息到对应的N个公有云存储系统中下载这N个校验块；根据这N个校验块生成缺失的X个校验块，给这X个校验块分配X家未使用的正常运行的公有云的URL地址；根据URL地址把这X个校验块上传到X家公有云；全部上传成功后，数据容错恢复模块把X个校验块信息写入到服务器的存储系统中的对应文件的存储元数据信息中，对这个文件的存储元数据信息进行更新。

8.根据权利要求6所述的基于公有云的安全可靠的公有云存储系统的架构方法，其特征在于，上传方法包括以下步骤：

步骤1，上传文件：用户在客户端上传本地文件；

步骤2，文件编码分块：上传的文件通过编码模块选择N+M的方式生成M个校验块，其中，N是指恢复文件的最少校验块，M是指生成的校验块数目；

步骤3，客户端向服务器发送上传请求：客户端向服务器发送上传请求，请求信息包含要上传的文件的初始元数据信息和编码方式；

步骤4，服务器端生成文件的存储元数据信息：系统检测到客户端上传请求，根据请求携带的文件相关信息在服务器端生成此文件的存储元数据信息并且分配M个带有签名认证的URL地址；

步骤5，服务器端发送分配的URL地址信息给客户端；

步骤6，客户端上传M个校验块到M个公有云：客户端根据服务器端分配的M个URL地址把M个校验块上传到对应公有云上；

步骤7，公有云返回存储成功信息给客户端：公有云存储成功，返回成功信息给客户端；

步骤8，客户端发送上传成功的信息给服务器端：当所有的公有云都返回上传成功的信息后，客户端发送给服务器端上传成功的信息；

步骤9，服务器端保存上传的文件的存储元数据信息：服务器收到客户端成功上传的信息后，把步骤4生成的此文件的存储元数据信息存储到服务器端的存储系统中。

9.根据权利要求6所述的基于公有云的安全可靠的公有云存储系统的架构方法，其特征在于，下载方法包括以下步骤：

步骤1，客户端发送下载请求：用户在客户端发送下载文件的请求，请求信息包括要下载的文件名；

步骤2，服务器接收客户端的请求并进行预处理：服务器接收到客户端的下载请求，根据文件名在服务器端的云存储系统中读取该文件的存储元数据信息，包括N个校验块信息及对应的URL地址；

步骤3，服务器发送此文件的存储元数据信息给客户端；

步骤4，客户端接收要下载文件的存储元数据信息，所述存储元数据信息含有N个带签名认证的URL地址；

步骤5，客户端下载校验块：客户端根据接收到的N个带签名认证的URL地址从N个公有云中下载N个校验块；

步骤6，文件解码完成下载：客户端根据下载的N个校验块通过解码模块进行解码把N个校验块整合成一个完整的文件；此时客户端就完成了文件下载的整个过程。

10.根据权利要求6所述的基于公有云的安全可靠的公有云存储系统的架构方法，其特征在于，删除方法包括以下步骤：

步骤1，客户端提出删除请求：用户在客户端提出删除某文件的请求；

步骤2，客户端发送删除请求：客户端发送删除请求及要删除的文件名给服务器；

步骤3，服务器接收到客户端的删除请求；

步骤4，服务器根据客户端发送来的文件名在服务器端的云存储系统中查找到文件的存储元数据信息；

步骤5，服务器向M个公有云发送删除命令：服务器根据元数据信息中的M个带签名认证的URL向M个公有云发送删除命令；

步骤6，公有云反馈删除成功信息给服务器；

步骤7，服务器发送删除成功信息给客户端：M个公有云都返回删除成功的信息后服务器发送删除成功的信息给客户端；同时公有云都返回删除成功的信息后，服务器端把该文件对应的存储元数据信息删除。