CN110233793A - 一种基于对象存储的安全存储网关及对象存储方法 - Google Patents

Abstract

本发明公开了一种基于对象存储的安全网关，包括数据接收器、数据分段器、数据碎片器、数据加密器、数据分发器、数据恢复器和至少5个对象存储器；数据接收器用于接收源数据的存储请求并将源数据传输至数据分段器，数据分段器对源数据进行分段处理后，将分段文件发送至数据碎片器；数据碎片器根据IDA算法对分段文件进行加冗切片形成微片数据文件，并将微片数据文件传输至数据加密器，数据加密器对微片数据文件分别进行加密后传输至数据分发器；数据分发器包括至少5个通道，每个通道与对象存储器分别连通、用于将微片数据文件分别存储至对象存储器；对象存储器通过数据分发器与数据恢复器相连。本发明实现了数据传输过程不可窃取。

Description

一种基于对象存储的安全存储网关及对象存储方法

技术领域

本发明涉及安全存储技术领域，尤其涉及一种基于对象存储的安全存储网关及对象存储方法。

背景技术

随着近年来，云计算行业的蓬勃发展，使得企业和个人能够非常方便的获取计算、存储和网络资源。人们对这种新兴的公有云服务接受程度变得越来越高，企业再也不需要一次性的花费大量的资金购买存储硬盘，也无需专人去管理和维护这些存储设备，真正做到无限无缝扩容，按需收费，特别是公有云提供的对象存储，因其稳定、安全、高效、易用的特性，再加上具备标准的Restful API接口，可存储任意数据和形式的非结构化数据，因而越来越受到企业市场所欢迎。使用公有云对象存储意味着企业需要将企业内网的数据托管存储于云端，由于对象存储的公有属性，企业或用户在选择和使用公有云对象存储时顾虑重重，再加上当前公有云存储百家争鸣，质量参差不齐，用户很难选择。安全可靠性差，安全泄露事件层出不穷，无论大厂商还是小的提供商，不断出现数据、帐号泄漏等安全事件。当企业内网数据托管于某家云存储对象后，数据的访问质量以及数据的可用性完全依赖于此厂商的服务能力，一旦出现问题将影响企业的数据运维和业务运营。

发明内容

为了克服现有技术的不足，本发明要解决的技术问题是提供一种基于对象存储的安全存储网关，安全可靠，可以让用户放心使用对象存储的安全网关装置。

为了解决上述技术问题，本发明提供的基于对象存储的安全网关，包括数据接收器、数据分段器、数据碎片器、数据加密器、数据分发器、数据恢复器和至少5个对象存储器；所述数据接收器用于接收源数据的存储请求并将源数据传输至数据分段器，所述数据分段器对源数据进行分段处理后，将分段文件发送至所述数据碎片器；所述数据碎片器根据IDA算法对分段文件进行加冗切片形成微片数据文件，并将微片数据文件传输至所述数据加密器，所述数据加密器对微片数据文件分别进行加密后传输至所述数据分发器；所述数据分发器包括至少5个通道，每个通道与所述对象存储器分别连通、用于将微片数据文件分别存储至对象存储器；所述对象存储器通过数据分发器与所述数据恢复器相连。

进一步完善上述技术方案，所述数据接收器与所述数据分段器之间还设有数据合并器，当源数据包含小文件的数量大于32个，所述数据接收器将源数据传输至数据合并器，数据合并器将所有小文件合并成一个文件后传输至所述数据分段器，小文件是指文件大小不大于32Kb。采用该方式，提高对多个文件的处理效率，降低文件存储的碎片化浪费，同时也提高后续存储使用率。

进一步地，所述数据分段器用于将文件大小大于6M的源数据文件切分成每6M一段的分段文件。这样处理之后能够避免数据分片处理过程中，一次性读入大文件内容对系统内存的较大占用，另外可以同时对多段文件进行并发处理，提高后续处理速率。

进一步地，所述数据碎片器根据IDA算法对分段文件进行加冗切片形成至少5个微片数据文件：一个文件大小为L的分段文件F经过IDA编码处理后，被拆分n个数据片(F1、F2、···、Fn)，每个微片数据文件的大小为L/m，其中m<n。数据碎片器根据信息离散算法IDA(Information Dispersal Algorithm)对端数据进行加冗切片成5片数据文件，数据冗余度为5/3，切片后的数据是零碎打乱的，该算法适用于分布式系统中进行可靠和安全的数据存储和传输，及时数据文件片在传输过程中被截取或在存储过程中被窃取了，也看不到原始的文件数据，避免数据泄露的风险。

进一步地，所述数据加密器采用AES 256或RSA 1024对微片数据文件进行加密转储。

进一步地，所述数据恢复器从数据分发器下载原始数据的任意m个微片数据文件，然后通过逆向计算进行解密，将m片微片数据文件进行重组恢复成原始文件。

进一步地，所述对象存储器为企业内部私有云对象存储器或公有云对象存储器或两者的组合。

进一步地，所述对象存储器为企业内部私有云对象存储器时，企业内部私有云对象存储器至少设有5个存储桶；所述对象存储器为公有云对象存储器时，公有云对象存储器至少设有5个存储桶；所述对象存储器为企业内部私有云对象存储器与公有云对象存储器的组合时，该组合设有至少5个存储桶。

进一步地，采用上述基于对象存储的安全网关进行对象存储方法，包括如下步骤：

(1)用户通过浏览器发送针对源数据的存储请求；

(2)数据接收器响应所述存储请求，对源数据进行数据检查：如果源数据中含有的小文件数量大于32个，数据接收器将源数据传输至数据合并器，数据合并器将所有小文件合并成一个文件后传输至数据分段器，小文件是指文件大小不大于32Kb；否则数据接收器直接将源数据传输至数据分段器；

(3)数据分段器将文件大小大于6M的源数据文件切分成每6M一段的分段文件并传输至数据碎片器；

(4)数据碎片器根据IDA算法对分段文件进行加冗切片形成微片数据文件：一个文件大小为L的分段文件F经过IDA编码处理后，被拆分n个数据片(F1、F2、···、Fn)，每个数据片的大小为L/m，其中m<n，再将微片数据文件传输至所述数据加密器；

(5)数据加密器采用AES 256或RSA 1024对微片数据文件的数据进行加密并分别存储至对象存储器；

(6)对象存储器的输出端口经数据分发器与数据恢复器的输入端口相连；

(7)数据恢复器从数据分发器下载原始数据的任意m个微片数据文件，然后通过逆向计算进行解密，将m片数据进行重组恢复成原始文件。

本发明的有益效果是：本发明提供的基于对象存储的安全网关，利用数据分段器、分片器、加密器和数据分发器，使得数据传输过程不可窃取；数据存储在多个对象存储器上，对象存储服务商无法窥探数据；本发明存储服务高效可用，即使某些公有云服务商出现故障，不影响用户正常使用和数据存储安全。

附图说明

图1为本发明基于对象存储的安全网关的原理框图；

图2为基于对象存储的安全网关的存储方法流程图。

具体实施方式

下面通过实施例对本发明做进一步说明，但实施例并不限制本发明的保护范围。

实施例1：如图1所示的基于对象存储的安全网关，包括数据接收器、数据分段器、数据碎片器、数据加密器、数据分发器、数据恢复器和至少5个对象存储器；数据接收器用于接收源数据的存储请求并将源数据传输至数据分段器，数据分段器会将大文件(文件大小大于6M)切分成每6M一段的小文件，避免数据分片处理过程中，一次性读入大文件内容对系统内存的较大占用，另外可以同时对多段文件进行并发处理，提高后续处理速率。经过数据分段器对源数据进行分段处理后，会将每段数据文件发送至数据碎片器，数据碎片器将分段处理后的源数据根据IDA算法进行加冗切片形成微片数据文件，一个大小为L的分段文件F经过IDA编码处理后，会被拆分n个数据片(F1，F2，···，Fn)，每片的大小为L/m，其中m<n，因此系统可以使用任意m个数据片来重新恢复出原始文件。数据经过分片后形成微片，再将微片数据文件传输至数据加密器，数据加密器对5片数据文件分别进行加密后传输至数据分发器，数据分发器包括至少5个通道，5个通道与5个对象存储器分别连通、用于将5片数据文件分别存储至对象存储器；对象存储器通过数据分发器与数据恢复器相连，数据恢复器首先从数据分发器下载原始数据的数据分片，然后进行解密，由于在数据分片中采用了IDA算法进行编码，在数据碎片器中构造的编码矩阵A是任意3个向量线性无关的，所以矩阵A是可逆，故通过逆向计算，我们只需要下载其中任意m片数据即可，不需要下载所有的n片数据，再将m片数据进行重组恢复成原始文件。

对象存储器有三种构建方式，分别为：

(一)均为企业内部私有云对象存储存储器；

(二)企业内部私有云对象存储器和公有云对象存储器的组合；

(三)均为公有云对象存储器。

在第一种构建方式中，企业基于自身需求搭建了私有云平台，通过私有云平台为企业提供对象存储需求，可在该平台上开至少5个存储桶，作为该安全存储网关的对象存储器使用，所有源数据经过处理后都存储在5个存储桶中；第二种方式，企业既搭建了私有云平台，也购买了公有云服务(如AWS、阿里云、腾讯云、华为云等)，可同时使用私有云平台m个存储桶和公有云上的n个存储桶，同时作为该安全存储网关的对象存储器，只需m+n>＝5即可，所有源数据经过处理后分发到私有云的m个存储桶中和公有云的5个存储桶中；在第三种方式中，企业可以全部购买公有云上的对象存储服务，并开不少于5个存储桶，来作为该安全存储网关的对象存储器使用，所有源数据经过处理后都存储在公有云上5个存储桶中。

如图2所示，本发明提供的安全网关采用B/S架构，以一个24M的文件、被切分成4段为例，企业用户通过任一浏览器发送针对该数据的对象存储请求，存储方法包括如下步骤：

(1)用户通过浏览器发送针对源数据的存储请求；

(2)数据分段器将源数据文件切分成每6M一段的4个分段文件并传输至数据碎片器；

(3)数据碎片器根据IDA算法对4个分段文件分别进行加冗切片，每个分段文件形成5个微片数据文件(F1、F2、F3、F4、F5)，数据冗余度为5/3，每个微片数据文件大小为2M，将微片数据文件传输至数据加密器；

(4)数据加密器采用AES 256或RSA 1024对微片数据文件进行加密后分别存储至5个对象存储器上；

(5)对象存储器的输出端口经数据分发器与数据恢复器的输入端口相连，数据恢复器通过数据分发器从任意3个对象存储器上获取3片数据，即可进行恢复原始数据。

上述实施例仅是实例性质的。对于本领域的工程技术人员，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变性，本发明的范围又所附权利要求及其等同物限定。

Claims (9)

1.一种基于对象存储的安全网关，其特征在于：包括数据接收器、数据分段器、数据碎片器、数据加密器、数据分发器、数据恢复器和至少5个对象存储器；所述数据接收器用于接收源数据的存储请求并将源数据传输至数据分段器，所述数据分段器对源数据进行分段处理后，将分段文件发送至所述数据碎片器；所述数据碎片器根据IDA算法对分段文件进行加冗切片形成微片数据文件，并将微片数据文件传输至所述数据加密器，所述数据加密器对微片数据文件分别进行加密后传输至所述数据分发器；所述数据分发器包括至少5个通道，每个通道与所述对象存储器分别连通、用于将微片数据文件分别存储至对象存储器；所述对象存储器通过数据分发器与所述数据恢复器相连。

2.根据权利要求1所述的基于对象存储的安全网关，其特征在于：所述数据接收器与所述数据分段器之间还设有数据合并器，当源数据包含小文件的数量大于32个，所述数据接收器将源数据传输至数据合并器，数据合并器将所有小文件合并成一个文件后传输至所述数据分段器，小文件是指文件大小不大于32Kb。

3.根据权利要求2所述的基于对象存储的安全网关，其特征在于：所述数据分段器用于将文件大小大于6M的源数据文件切分成每6M一段的分段文件。

4.根据权利要求3所述的基于对象存储的安全网关，其特征在于：所述数据碎片器根据IDA算法对分段文件进行加冗切片形成至少5个微片数据文件：一个文件大小为L的分段文件F经过IDA编码处理后，被拆分n个数据片(F1、F2、…、Fn)，每个微片数据文件的大小为L/m，其中m<n。

5.根据权利要求4所述的基于对象存储的安全网关，其特征在于：所述数据加密器采用AES 256或RSA 1024对微片数据文件进行加密转储。

6.根据权利要求5所述的基于对象存储的安全网关，其特征在于：所述数据恢复器从数据分发器下载原始数据的任意m个微片数据文件，然后通过逆向计算进行解密，将m片微片数据文件进行重组恢复成原始文件。

7.根据权利要求1所述的基于对象存储的安全网关，其特征在于：所述对象存储器为企业内部私有云对象存储器或公有云对象存储器或两者的组合。

8.根据权利要求7所述的基于对象存储的安全网关，其特征在于：所述对象存储器为企业内部私有云对象存储器时，企业内部私有云对象存储器至少设有5个存储桶；所述对象存储器为公有云对象存储器时，公有云对象存储器至少设有5个存储桶；所述对象存储器为企业内部私有云对象存储器与公有云对象存储器的组合时，该组合设有至少5个存储桶。

9.根据权利要求2所述的基于对象存储的安全网关进行对象存储方法，其特征在于，包括如下步骤：

(1)用户通过浏览器发送针对源数据的存储请求；

(2)数据接收器响应所述存储请求，对源数据进行数据检查：如果源数据中含有的小文件数量大于32个，数据接收器将源数据传输至数据合并器，数据合并器将所有小文件合并成一个文件后传输至数据分段器，小文件是指文件大小不大于32Kb；否则数据接收器直接将源数据传输至数据分段器；

(3)数据分段器将文件大小大于6M的源数据文件切分成每6M一段的分段文件并传输至数据碎片器；

(4)数据碎片器根据IDA算法对分段文件进行加冗切片形成至少微片数据文件：一个文件大小为L的分段文件F经过IDA编码处理后，被拆分n个数据片(F1、F2、…、Fn)，每个数据片的大小为L/m，其中m<n，再将微片数据文件传输至所述数据加密器；

(5)数据加密器采用AES 256或RSA 1024对微片数据文件的数据进行加密并分别存储至对象存储器；

(6)对象存储器的输出端口经数据分发器与数据恢复器的输入端口相连；

(7)数据恢复器从数据分发器下载原始数据的任意m个微片数据文件，然后通过逆向计算进行解密，将m片数据进行重组恢复成原始文件。