CN104902010A - 一种云端存储文件的方法和系统 - Google Patents

Abstract

本发明适用于云存储领域，提供了一种云端存储文件的方法和系统，所述方法包括：对待存储文件进行切块，获取多个明文块；对所述明文块进行明文块去重；将所述经过明文块去重的明文块加密为密文块；对所述密文块进行密文块去重；通过冗余算法将经过去重的密文块随机存储到多个云存储服务器。本发明实施例，对待存储文件进行切块，获取多个明文块，对明文块进行明文块去重，将经过明文块去重的明文块加密为密文块，对密文块进行密文块去重，通过冗余算法将密文块随机存储到多个云存储服务器，通过切块和去重，提高了云端存储的存储效率，且通过加密提高了云存储的安全性。

Description

一种云端存储文件的方法和系统

技术领域

本发明属于云存储领域，尤其涉及一种云端存储文件的方法和系统。

背景技术

云存储技术是近几年在云计算的概念上延伸和发展出来的一个新概念。云存储主要用于企业、个人的数据备份，以此可以减轻用户在数据存储方面的投资。虽然云存储技术带来了廉价的存储服务，然后云存储的安全性、可靠性却让很多企业用户和个人用户对云存储技术望而却步。据相关数据统计，当前国内一线云存储服务商每天新增的用户数据已经达到PB单位级，可以用户对云存储的需求是十分巨大的。云存储的未来隐患是十分值得我们思考的：

1、数据保密性差，用户的数据和文件在云存储服务器上大都以明文的方式存在，就很容易导致用户的数据被非法用户以非正常手段窃取(如icloud明星艳照门事件)甚至被云存储服务商非法盗用。

2、数据可靠性差，墨菲定律指出任何事情如果存在变坏的可能，则不管这种概率多小，它一定会发生。所以一旦云服务器的软硬件发生故障，则极有可能造成用户数据的丢失。这种后果是非常可怕的。

3、数据传输效率低，目前市场上的云服务对上传文件和数据的去重率极低甚至未进行去重，这必然导致数据的传输效率低的问题。

发明内容

鉴于此，本发明提供一种云端存储文件的方法和系统，以解决现有技术存储效率慢、数据保密性差的技术问题。

本发明实施例是这样实现的，一种云端存储文件的方法，所述方法包括以 下步骤：

通过Balancer进程对MongoDB系统的所有存储服务器中的存储的数据块进行扫描，根据所述数据块的数量确定需要进行负载均衡的存储服务器和每个数据块的访问操作的类型和次数；

对待存储文件进行切块，获取多个明文块；

对所述明文块进行明文块去重；

将所述经过明文块去重的明文块加密为密文块；

对所述密文块进行密文块去重；

通过冗余算法将经过去重的密文块随机存储到多个云存储服务器。

本发明实施例还提供一种云端存储文件的系统，所述系统包括：

明文块获取单元，用于对待存储文件进行切块，获取多个明文块；

明文块去重单元，用于对所述明文块获取单元获取的明文块进行明文块去重；

密文块获取单元，用于将经过所述明文块去重单元去重的明文块加密为密文块；

密文块去重单元，用于对所述密文块获取单元获取的密文块进行密文块去重；

存储单元，用于通过冗余算法将经过所述密文块去重单元去重的密文块随机存储到多个云存储服务器。

本发明实施例，对待存储文件进行切块，获取多个明文块，对明文块进行明文块去重，将经过明文块去重的明文块加密为密文块，对密文块进行密文块去重，通过冗余算法将密文块随机存储到多个云存储服务器，通过切块和去重，提高了云端存储的存储效率，且通过加密提高了云存储的安全性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的云端存储文件方法的流程图；

图2a是本发明实施例提供的计算明文哈希值的示意图；

图2b是本发明实施例提供的明文块去重的示意图；

图2c是本发明实施例提供的密文块去重的示意图；

图2d是本发明实施例提供的文件上传的示意图；

图2e是本发明实施例提供的下载文件的流程图；

图3是本发明实施例提供的云端存储文件系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一

如图1所示为本发明实施例提供的云端存储文件方法的流程图，所述方法包括以下步骤：

步骤S101，对待存储文件进行切块，获取多个明文块。

在本发明实施例中，首先对待处理文件进行切块处理，将该待处理文件切割为多个明文块，明文块的大小可以根据实际应用的需要而进行设置，在此不做限定。

步骤S102，对所述明文块进行明文块去重。

在本发明实施例中，由于存储到云端的文件可能有多个相同的明文块，而存储多个相同的明文块则会降低云端存储的效率，因此需要对明文块进行明文 块去重处理。所述对所述明文块进行明文块去重，具体为：

1、对所述明文块进行哈希计算，获取所述明文块的明文哈希值；

2、根据所述明文哈希值对所述明文块进行明文块去重。

在本发明实施例中，首先对明文块进行哈希计算，即可获取该明文块的明文哈希值，然后将该明文哈希值进行去重对比，如果有多个明文哈希值相同的明文块，则只保留其中的一个。

步骤S103，将所述经过明文块去重的明文块加密为密文块。

在本发明实施例中，在将去重后的文件存储到云端之前，需要对文件进行加密，以使文件在存储的过程中不会被泄露出去。所述将所述经过明文块去重的明文块加密为密文块的步骤，具体为：

将所述明文哈希值作为密钥，对所述明文块进行对称加密，获取密文块。

在本发明实施例中，以明文哈希值作为密钥，对明文块进行堆成加密，即可获取密文块。

步骤S104，对所述密文块进行密文块去重。

在本发明实施例中，由于存储到云端的文件可能有多个相同的密文块，而存储多个相同的密文块则会降低云端存储的效率，因此需要对密文块进行密文块去重处理。所述对所述密文块进行密文块去重，具体为：

1、对所述密文块进行哈希计算，获取所述密文块的密文哈希值；

2、根据所述密文哈希值对所述密文块进行密文块去重。

存储到云端的密文哈希值是唯一的，因此可以通过该密文哈希值进行密文块去重。

步骤S105，通过冗余算法将经过去重的密文块随机存储到多个云存储服务器。

在本发明实施例中，经过去重的密文块即可存储到云存储服务器。通过冗余算法将所述密文块随机存储到多个云存储服务器，具体为：

将所述密文哈希值作为云存储文件名，通过冗余算法将所述密文块随机存 储到多个云存储服务器。

本发明实施例，对待存储文件进行切块，获取多个明文块，对明文块进行明文块去重，将经过明文块去重的明文块加密为密文块，对密文块进行密文块去重，通过冗余算法将密文块随机存储到多个云存储服务器，通过切块和去重，提高了云端存储的存储效率，且通过加密提高了云存储的安全性。

作为本发明的一个可选实施例，在所述通过冗余算法将所述密文块随机存储到多个云存储服务器的步骤之后，所述方法还包括：

向云端服务器发送下载请求，从所述云端服务器获取待下载文件。

在本发明实施例中，云端服务器端获取文件的步骤，具体为：

1、通过密文哈希值从云存储服务器获取待下载文件；

2、通过密文哈希值对比确定所述待下载文件是否完整，如果不完整，则从其他云存储服务器获取待下载文件；

3、如果完整，则通过明文哈希值将所述密文块解密为明文块；

4、将所述明文块还原为待下载文件。

上传文件举例说明：

1)、准备工作，在用户中心新建表user_file_info(表1)，在管理中心新建表cloud_file_info(表2)；

表1

表2

2)、对欲上传文件进行切块,得到明文块列表plaintext_block_list<b_offset,b_length,block>,将文件的文件名、文件类型存储到user_file_info中的f_name和f_type字段中，遍历plaintext_block_list并进行哈希计算，得到plaintext_block_hashcode,将plaintext_block_offset、plaintext_block_length、pliantext_block_hashcode，将这些值分别存储到user_file_info中的b_offset、b_length、plaintext_HC字段中，如图2a所示为本发明实施例提供的计算明文哈希值的示意图；

3)、对pliantext_block_list进行去重。遍历2)中得到新的明文块和明文块哈希值列表pliantext_block_hashcode_list<plaintext_hashcode,block>，对plaintext_block_hashcode_list进行去重，得到新的de_plaintext_block_hashcode_list<plaintext_hashcode,block>；结束此过程，则完成了源端去重(source deduplication)，如图2b所示为本发明实施例提供的明文块去重的示意图；

4)、将plaintext_hashcode作为密钥，对de_plaintext_block_hashcode_list中的block分别进行对称加密，得到密文块哈希值和密文块ciphertext_block_hashcode_list<ciphertext_hashcode,ciphertext_block>并将ciphertext_block_hashcode分别对应的存储到user_file_info和cloud_file_info中的ciphertext_HC字段。在存入cloud_file_info时要进行唯一性判断(可能存在与其它文件一样的ciphertext_block)，cloud_file_info中ciphertext_HC是唯一 的，如果检测到已经有相同的ciphertext_block_hashcode存在，则不再存入，并将该ciphertext_block从ciphertext_block_hashcode_list中移除，完成密文去重工作，如图2c所示为本发明实施例提供的密文块去重的示意图；

5)、把密文块传输到云服务器上。通过4)得到去重后的de_ciphertext_block_hashcode_list<ciphertext_hashcode,ciphertext_block>。以ciphertext_hashcode为云存储Key，通过冗余算法将ciphertext_block随机存储到多个云存储服务器上，并将存储的bucket(云端文件夹)和云存储服务器的相关信息存入cloud_file_info中的cloud_info字段当中(如存储到了三个云存储服务器云A、云B、云C，任意去bucket名为bucketName，则在cloud_info字段中存入“云A/bucketName，云B/bucketName，云C/bucketName”)。依次遍历整个de_ciphertext_block_hashcode_list，完成文件的上传，如图2d所示为本发明实施例提供的文件上传的示意图。

下载文件举例说明，如图2e所示为本发明实施例提供的下载文件的流程图：

1)、首先用户发起下载文件请求，从用户请求中得到文件名和文件类型，以文件名和文件类型为参数，从用户中心的user_file_info表中查询到所有的block_record_list<record>。根据文件名和文件类型建立新的空文件new_file；

2)、从block_record_list中取出完整的ciphertext_HC集合(元素互异)的值列表ciphertext_block_hashcode_list<ciphertext_hashcode>；

3)、将2)中得到的ciphertext_block_hashcode_list发送给管理中心，根据ciphertext_block_hashcode_list中的ciphertext_hashcode从管理服务器cloud_file_info表中查询到对应的ciphertext_hashcode_cloudinfo_list<ciphertext_hashcode，cloud_info>的列表；

4)、根据3)中的得到的ciphertext_hashcode_cloudinfo_list，从云端下载数据块，以ciphertetx_hashcode为云存储端Key，从cloud_info中取出一个相关的云存储服务器相关信息，据以上信息即可从云存储服务器上获取到Key为ciphertext_hashcode的ciphertext_block，对得到的cipertext_block进行哈希计算， 对比计算值与ciphertext_hashcode，如果不一致说明数据块在云端已经损坏，便可以从cloud_info中取其它值再次下载，可以提高数据块的完整性和可靠性。依次遍历ciphertext_hashcode_cloudinfo_list便可以得到密文哈希值和密文块对应的数据块列表ciphertext_hashcode_block_list<ciphertext_hashcode,ciphertext_block>；

5)、对密文块解密。依据1)中得到的block_record_list可以筛选出一一对应的明文块哈希值和密文块哈希值列表plaintext_hashcode_ciphertext_hashcode_list<plaintext_hashcode,ciphertext_hashco de>,以该列表中明文块哈希值plaintext_hashcode为密钥对应的对4)中得到的ciphertext_hashcode_block_list中的密文块进行解密，得到明文块哈希值和明文块列表plaintext_hashcode_block_list<plaintext_hashcode,block>；

6)、对文件进行还原。根据1)中block_record_list得到文件块偏移量等信息对应元数据列表block_offset_length_hashcode_list<b_offset,b_length,plaintext_hashcode>，结合4中plaintext_hashcode_block_list可以得到新的文件块移量、文件块大小、文件块列表block_offset_length_list<b_offset,b_length,block>。根据这些信息，将文件块写入1)中新建的new_file。

实施例二

如图3所示为本发明实施例提供的云端存储文件系统的结构图，为了便于说明，仅示出与本发明实施例相关的部分，包括：

明文块获取单元301，用于对待存储文件进行切块，获取多个明文块。

在本发明实施例中，首先对待处理文件进行切块处理，将该待处理文件切割为多个明文块，明文块的大小可以根据实际应用的需要而进行设置，在此不做限定。

明文块去重单元302，用于对所述明文块获取单元301获取的明文块进行明文块去重。

在本发明实施例中，由于存储到云端的文件可能有多个相同的明文块，而存储多个相同的明文块则会降低云端存储的效率，因此需要对明文块进行明文块去重处理。所述明文块去重单元302，包括：

明文哈希值获取子单元3021，用于对所述明文块进行哈希计算，获取所述明文块的明文哈希值；

明文块去重子单元3022，用于根据所述明文哈希值获取子单元3021获取的明文哈希值对所述明文块进行明文块去重。

在本发明实施例中，首先对明文块进行哈希计算，即可获取该明文块的明文哈希值，然后将该明文哈希值进行去重对比，如果有多个明文哈希值相同的明文块，则只保留其中的一个。

密文块获取单元303，用于将经过所述明文块去重单元302去重的明文块加密为密文块。

在本发明实施例中，在将去重后的文件存储到云端之前，需要对文件进行加密，以使文件在存储的过程中不会被泄露出去。所述密文块获取单元303加密为密文块，具体为：

将所述明文哈希值作为密钥，对所述明文块进行对称加密，获取密文块。

在本发明实施例中，以明文哈希值作为密钥，对明文块进行堆成加密，即可获取密文块。

密文块去重单元304，用于对所述密文块获取单元303获取的密文块进行密文块去重。

在本发明实施例中，由于存储到云端的文件可能有多个相同的密文块，而存储多个相同的密文块则会降低云端存储的效率，因此需要对密文块进行密文块去重处理。所述密文块去重单元304，包括：

密文哈希值获取子单元3041，用于对所述密文块进行哈希计算，获取所述密文块的密文哈希值；

密文块去重子单元3042，用于根据所述密文哈希值获取子单元3041获取 的密文哈希值对所述密文块进行明文块去重。

存储到云端的密文哈希值是唯一的，因此可以通过该密文哈希值进行密文块去重。

存储单元305，用于通过冗余算法将经过所述密文块去重单元304去重的密文块随机存储到多个云存储服务器。

在本发明实施例中，经过去重的密文块即可存储到云存储服务器。所述存储单元305存储密文块具体为：

将所述密文哈希值作为云存储密钥，通过冗余算法将所述密文块随机存储到多个云存储服务器。

本发明实施例，对待存储文件进行切块，获取多个明文块，对明文块进行明文块去重，将经过明文块去重的明文块加密为密文块，对密文块进行密文块去重，通过冗余算法将密文块随机存储到多个云存储服务器，通过切块和去重，提高了云端存储的存储效率，且通过加密提高了云存储的安全性。

本领域普通技术人员可以理解为上述实施例二所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，包括ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种云端存储文件的方法，其特征在于，所述方法包括以下步骤：

对待存储文件进行切块，获取多个明文块；

对所述明文块进行明文块去重；

将所述经过明文块去重的明文块加密为密文块；

对所述密文块进行密文块去重；

通过冗余算法将经过去重的密文块随机存储到多个云存储服务器。

2.如权利要求1所述的方法，其特征在于，所述对所述明文块进行明文块去重，具体为：

对所述明文块进行哈希计算，获取所述明文块的明文哈希值；

根据所述明文哈希值对所述明文块进行明文块去重。

3.如权利要求2所述的方法，其特征在于，所述将所述经过明文块去重的明文块加密为密文块的步骤，具体为：

将所述明文哈希值作为密钥，对所述明文块进行对称加密，获取密文块。

4.如权利要求3所述的方法，其特征在于，所述对所述密文块进行密文块去重，具体为：

对所述密文块进行哈希计算，获取所述密文块的密文哈希值；

根据所述密文哈希值对所述密文块进行明文块去重。

5.如权利要求4所述的方法，其特征在于，通过冗余算法将所述密文块随机存储到多个云存储服务器，具体为：

将所述密文哈希值作为云存储密钥，通过冗余算法将所述密文块随机存储到多个云存储服务器。

6.一种云端存储文件的系统，其特征在于，所述系统包括：

明文块获取单元，用于对待存储文件进行切块，获取多个明文块；

明文块去重单元，用于对所述明文块获取单元获取的明文块进行明文块去重；

密文块获取单元，用于将经过所述明文块去重单元去重的明文块加密为密文块；

密文块去重单元，用于对所述密文块获取单元获取的密文块进行密文块去重；

存储单元，用于通过冗余算法将经过所述密文块去重单元去重的密文块随机存储到多个云存储服务器。

7.如权利要求6所述的系统，其特征在于，所述明文块去重单元，包括：

明文哈希值获取子单元，用于对所述明文块进行哈希计算，获取所述明文块的明文哈希值；

明文块去重子单元，用于根据所述明文哈希值获取子单元获取的明文哈希值对所述明文块进行明文块去重。

8.如权利要求7所述的系统，其特征在于，所述密文块获取单元加密为密文块，具体为：

将所述明文哈希值作为密钥，对所述明文块进行对称加密，获取密文块。

9.如权利要求8所述的系统，其特征在于，因此需要对密文块进行密文块去重处理。所述密文块去重单元，包括：

密文哈希值获取子单元，用于对所述密文块进行哈希计算，获取所述密文块的密文哈希值；

密文块去重子单元，用于根据所述密文哈希值获取子单元获取的密文哈希值对所述密文块进行密文块去重。

10.如权利要求9所述的系统，其特征在于，所述存储单元存储密文块具体为：

将所述密文哈希值作为云存储文件名，通过冗余算法将所述密文块随机存储到多个云存储服务器。