CN102088491A - 一种面向分散式的云存储安全架构及其数据存取方法 - Google Patents

Abstract

本发明公开了一种面向分散式的云存储安全架构及其数据存取方法，云存储安全架构由云存储服务器、分散存储管理器、分片器和存储设备组成：分散存储管理器、云存储服务器分别与客户端连接；分散存储管理器和云存储服务器通过光纤通道或路由交换机连接，分片器置入分散存储管理器内部，分散存储管理器与存储设备通过FC或Iscsi连接，各存储设备之间通过NAS或SAN相连接。本发明存储设备异地存放且互为冗余，提高了设备容错能力及最优存储利用率；通过分片器把存储信息进行分片，使数据变成无法被其它非认证系统所识别的数据片段，分片后在网络传输和数据存储时就具有相对的保密性和安全性；采用的存储设备及服务器均是性价比较高的设备，使得成本低廉。

Description

一种面向分散式的云存储安全架构及其数据存取方法

技术领域

本发明属于计算机领域，涉及一种云存储安全架构及方法，特别是一种面向分散式的云存储安全架构及其数据存取方法。本发明可用于医学图像及医疗、航空航天、国防、测绘、城建、石油化工、地震勘探、情报系统、广播电视、电信、金融等对数据安全性、可用性要求较高的领域，应用领域广。

背景技术

网络存储已成为继计算机浪潮和互联网浪潮之后的第三次浪潮。随着各行各业信息量爆炸性增长，特别是政府机关、军事国防、测绘、研究所、石油勘探等领域以及新兴产业都不可避免地产生大量涉密信息。如何有效通过网络存储重要、涉密的信息，防止其泄密、扩散，成为企、事业单位最为关注的一个信息安全问题。在目前国内外的研究中，对云存储安全方面的研究还很少。其中，Bowers提出了分布式加密系统（HAIL），Cachin等人通过使用加密工具来解决数据完整性和一致性问题。国内的清华大学、华中科技大学、国防科技大学等科研院校也开始在云存储技术相关领域进行基础性研究工作。灵活性、易于使用的服务和易于共享基础设施是云计算的优势，然而数据通过互联网在各层之间进行传输并存储，用户对于敏感数据存取时，无法对风险进行直接控制。

国内外的大量文献资料表明，安全存储与管理模型的缺失是当前网络存储安全研究中的重大缺陷。为了实现层次存储的安全策略，云存储中需要满足用户存储海量数据的需求，存储系统规模及存储容量都在不断增长，与存储相关的出错率将越来越高。目前对存储安全的研究由于存储系统和存储应用的多样性，以及行业应用对安全性的不同要求，造成了信息存储与安全管理的复杂性。但总体而言对该方面的研究存在两种方法：（1）借鉴信息安全的C.I.A特性（机密性、完整性、可用性），为某一特定应用提出专门的实现思路（如增强文件服务器的安全性、客户端加密文件系统、对磁盘磁带全盘静态加密、客户端直接访问磁盘的认证机制等），即将适用于信息安全的安全措施（如加密技术、完整性技术）移植到存储系统中；安全移植技术是静态的管理模式，需要额外的硬件支持，往往会造成系统性能的降低。（2）从存储系统的体系结构入手，寻找一种安全的、高效的网络存储与安全管理模式。如果不从系统和存储管理控制的角度研究和设计安全解决方法，依然可能造成新的安全问题。

发明内容

为了克服现有技术中存在的不足或缺陷，本发明的目的在于，提供一种面向分散式的云存储安全架构及其数据存取方法，本发明分层实现存储数据在云存储中的安全传输、存储和管理，确保云存储安全系统中数据存储的高可用性和可靠性。

为了实现上述目的，本发明采用如下技术解决方案：

 一种面向分散式的云存储安全架构，包括云存储服务器，一个或一个以上分散存储管理器，分片器，至少一个存储设备，其中： 

所述云存储服务器，用以对用户进行安全性认证；接收用户发送的数据并解密，建立用户信息索引，并将解密的数据和用户信息索引发送给分散存储管理器； 

所述分散存储管理器，用以接收云存储服务器发送的数据和用户信息索引；将数据转发给分片器；为用户建立虚拟视图；

所述分片器，用以对分散存储管理器发送的数据进行分片并将数据片存储到存储设备；

所述存储设备，用以存储分片器发送的分片数据，将数据存储信息返回给分散存储管理器；定期检测数据的完整性；在数据被破坏时修复受损数据； 

其中，所述分散存储管理器和所述云存储服务器通过光纤通道或路由交换机连接，所述分片器置入分散存储管理器内部，所述分散存储管理器与存储设备通过FC或Iscsi连接，各存储设备之间通过NAS或SAN相连接。

进一步的，所述架构还包括：客户端，通过Internet/LAN与所述分散存储管理器、云存储服务器连接，用以向所述云存储服务器发送访问请求；通过所述分散存储管理器访问所述存储设备。

进一步的，所述数据存储信息为存储状态信息、存储设备号、数据片的存储路径。

进一步的，所述云存储服务器、分散存储管理器为通用型服务器。

进一步的，所述存储设备用于对外提供文件访问接口，所述存储设备为FC光纤通道存储设备、IP存储设备或DAS存储设备或SAN存储网络。

进一步的，该架构中如果所述有多个分散存储管理器，所述多个分散存储管理器和云存储服务器共同组成的网络为DHT分布式网络。

进一步的，所述云存储服务器为用户提供通用访问接口，用于用户安全认证和权限控制管理、负载均衡和用户元数据管理；还用于路由管理和副本管理。

进一步的，所述分散存储管理器包括有虚拟卷管理单元，所述虚拟卷管理单元包括：虚拟卷管理模块和策略管理模块，所述虚拟卷管理模块用以对各个存储设备提供的文件访问接口进行封装，对外提供统一的卷管理操作；所述策略管理模块用以对来自外部访问行为，或内部的负载、副本、热点、存储设备健康状态进行监测，触发相应的访问策略。

所述访问策略包括：当所述策略管理模块监测到访问热点时，就将所述访问热点的数据复制多份到空闲存储设备。

一种上述面向分散式的云存储安全架构的数据的存储方法，其特征在于，包括如下步骤：

当用户存储数据时，通过客户端向云存储服务器发送数据存储请求，云存储服务器对用户进行安全认证，客户端将数据进行SSL加密并通过Internet发送到云存储服务器；

云存储服务器接收客户端发送的加密数据并解密，利用倒排文字建立用户信息索引；云存储服务器将用户信息索引和解密后的数据发送给分散存储管理器，分散存储管理器接收云存储服务器发送的数据和用户信息索引，将数据转发给分片器；

分片器接收分散存储管理器发送的数据，根据IDA算法将接收到的数据进行分片，得到一个或一个以上数据片，分片器将数据片按负载均衡策略分配到存储设备中；

存储设备将接收到的数据片存储，并将自身存储的数据片的存储路径返回给分散存储管理器； 

分散存储管理器根据数据片的存储路径将每个数据片用唯一的固定不变的64位句柄对其进行标识，并建立用来存储元数据的虚拟视图，该虚拟视图包括用户存储的数据的文件名、该文件对应的句柄号和文件大小，所述文件对应的句柄号为该文件的所有数据片的句柄号的集合。

一种上述面向分散式的云存储安全架构的数据的读取方法，其特征在于，包括如下步骤：

用户通过客户端向云存储服务器发送数据读取请求，云存储服务器对用户进行安全认证；

云存储服务器向分散存储管理器发送用户允许读取请求；

分散存储管理器根据虚拟视图中的文件名、文件对应的句柄号向文件所包含的数据片所在的存储设备发送数据读取请求；

存储设备向分散存储管理器提交数据片；

分散存储管理器根据IDA算法的逆向运算对接收到的数据片进行合成，并校对，最后将完整的数据文件返回给客户端。

本发明分层实现存储数据在云存储中的安全传输、存储和管理，确保云存储安全系统中数据存储的高可用性和可靠性。与现有技术相比，本发明具有如下优点：

1）分散存储管理器利用虚拟视图进行数据的逻辑保存，便于用户对数据进行存取应用。

2）采用分散存储方式，存储设备均为异地存放且互为冗余，提高了设备容错能力及最优存储利用率。

3）通过分片器将数据进行分片，使数据变成无法被其它非认证系统识别的数据片段，分片后在网络传输和数据存储时就具有相对的保密性和安全性。

4）当用户需要对系统进行扩充时，可对系统进行动态配置，实现存储容量或带宽的扩展；

5）使用Reed-Solomon码提供任意高容错恢复技术，在故障出现后能够被迅速检测到。

6）分散存储管理器检查可用片重新计算数据段中所有的数据，根据其它互为冗余的存储设备中完好的数据恢复受损数据，提高系统的平均无故障时间，避免了单一硬件损坏带来的数据不可用。

附图说明

图1是本发明的安全架构的结构示意图。图中标号分别为：1、客户端；2、分散存储管理器；3、云存储服务器；4、分片器；5、存储设备。

图2是本发明的安全架构的实施例结构示意图。

图3是本发明的数据存储方法的流程图。

图4是本发明的数据读取方法的流程图。

以下结合附图和具体实施方式对本发明作进一步的解释说明。

具体实施方式

本发明涉及的iSCSI接口技术，中文意思是基于IP的小型计算机系统接口，是一种由IBM公司研究开发的，是一个供硬件设备使用的可以在IP协议的上层运行的SCSI指令集，这种指令集合可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。iSCSI技术是一种新存储技术，该技术是将现有SCSI接口与以太网络(Ethernet)技术结合，使服务器可与使用IP网络的存储设备通信。

FC（光纤通道）最早应用于SAN（存储局域网络），于1988年开发，用来提高存储设备协议的传输带宽，侧重于数据的快速、高效、可靠传输。FC拥有自己的协议层，包括：FC-0：连接物理介质的界面、电缆等；定义编码和解码的标准。FC-1：传输协议层或数据链接层，编码或解码信号。FC-2：网络层，光纤通道的核心, 定义了帧、流控制、和服务质量等。FC-3：定义了常用服务，如数据加密和压缩。FC-4：协议映射层，定义了光纤通道和上层应用之间的接口，上层应用比如：串行SCSI 协议，HBA 的驱动提供了FC-4 的接口函数。FC-4 支持多协议，如：FCP-SCSI，FC-IP，FC-VI。光纤通道的主要部分实际上是FC-2。其中从FC-0到FC-2被称为FC-PH，也就是“物理层”。光纤通道主要通过FC-2来进行传输，因此，光纤通道也常被成为“二层协议”或者“类以太网协议”。

参见图1，本发明的面向分散式的云存储安全架构，包括云存储服务器，一个或一个以上分散存储管理器，分片器，至少一个存储设备，其中： 

云存储服务器，用以对用户进行安全性认证；接收用户发送的数据并解密，建立用户信息索引，并将解密的数据和用户信息索引发送给分散存储管理器；云存储服务器还为用户提供通用访问接口，用于用户安全认证和权限控制管理、负载均衡和用户元数据（或用户信息索引）管理；还用于路由管理和副本管理。云存储服务器为通用型服务器。

分散存储管理器，用以接收云存储服务器发送的数据和用户信息索引；将数据转发给分片器；为用户建立虚拟视图；便于用户读取以及数据应用。

分散存储管理器包括有虚拟卷管理单元，所述虚拟卷管理单元包括：虚拟卷管理模块和策略管理模块，所述虚拟卷管理模块用以对存储设备提供的文件访问接口进行封装，对外提供统一的卷管理操作；所述策略管理模块用以对来自外部访问行为，或内部的负载、副本、热点、存储设备健康状态进行监测，触发相应的访问策略；所述访问策略包括：当所述策略管理模块监测到访问热点时，就将所述访问热点的数据复制多份到空闲存储设备。分散存储管理器为通用型服务器。

分片器，用以对分散存储管理器发送的数据进行分片并将数据片存储到存储设备；

存储设备，用以存储分片器发送的分片数据，将数据存储信息返回给分散存储管理器；数据存储信息包括存储状态信息（成功或者错误）、存储设备号、存储位置（或存储路径）；定期检测数据的完整性；在数据被破坏时修复受损数据；存储设备用于对外提供文件访问接口，所述存储设备为FC光纤通道存储设备、IP存储设备（如NAS、 iSCSI）或DAS存储设备（如SCSI、SAS）或SAN存储网络；每个存储设备异地设置，且互为冗余。

客户端，用以向所述云存储服务器发送访问请求；通过所述分散存储管理器所提供的虚拟视图访问所述存储设备。 

其中，所述分散存储管理器和所述云存储服务器通过光纤通道或路由交换机连接，所述分片器置入分散存储管理器内部，所述分散存储管理器与存储设备通过FC或Iscsi连接，各存储设备之间通过NAS或SAN相连接，客户端通过Internet/LAN与所述分散存储管理器、云存储服务器连接。

该架构中如果所述有多个分散存储管理器，所述多个分散存储管理器和云存储服务器共同组成的网络为DHT分布式网络。

如图2所示，是本发明的云存储安全构架的一个实施例： 

一种面向分散式的云存储安全架构，包括云存储服务器，多个分散存储管理器，分片器，多个存储设备，其中： 

云存储服务器，用以对用户进行安全性认证；接收用户发送的数据并解密，建立用户信息索引，并将解密的数据和用户信息索引发送给分散存储管理器；云存储服务器还为用户提供通用访问接口，用于用户安全认证和权限控制管理、负载均衡和用户元数据管理；还用于路由管理和副本管理。云存储服务器为通用型服务器。

分散存储管理器，用以接收云存储服务器发送的数据和用户信息索引；将数据转发给分片器；为用户建立虚拟视图；便于用户读取以及数据应用；

分散存储管理器包括有虚拟卷管理单元，所述虚拟卷管理单元包括：虚拟卷管理模块和策略管理模块，所述虚拟卷管理模块用以对SAN存储网络设备提供的文件访问接口进行封装，对外提供统一的卷管理操作；所述策略管理模块用以对来自外部访问行为，或内部的负载、副本、热点、存储设备健康状态进行监测，触发相应的访问策略；所述访问策略包括：当所述策略管理模块监测到访问热点时，就将所述访问热点的数据复制多份到空闲存储设备。分散存储管理器为通用型服务器。

分片器，用以对分散存储管理器发送的数据进行分片并将数据片存储到存储设备；

存储设备，用以存储分片器发送的分片数据，将数据存储信息返回给分片器，数据存储信息包括存储状态信息（成功或者错误）、存储设备号、数据片的存储路径；定期检测数据的完整性；在数据被破坏时修复受损数据；存储设备用于对外提供文件访问接口，存储设备为SAN存储网络。

客户端，用以向所述云存储服务器发送访问请求；通过所述分散存储管理器所提供的虚拟视图访问所述存储设备。 

其中，多个分散存储管理器和云存储服务器组成网络为DHT分布式网络。

分散存储管理器和云存储服务器通过光纤通道或路由交换机连接，分片器置入分散式存储管理器内部，DHT分布式网络与存储设备通过Iscsi连接，客户端通过Internet/LAN与所述分散存储管理器、云存储服务器连接。多个存储设备异地设置且互为冗余，存储设备之间通过SAN交换机组成SAN存储网络。

如图3所示，应用上述面向分散式的云存储安全架构的数据存储方法，包括如下步骤：

当用户存储数据时，通过客户端向云存储服务器发送数据存储请求，云存储服务器对用户进行安全认证，客户端将数据进行SSL加密并通过Internet发送到云存储服务器；云存储服务器接收客户端发送的加密数据并解密，利用倒排文字建立用户信息索引，云存储服务器将用户信息索引和解密后的数据发送给分散存储管理器；分散存储管理器接收云存储服务器发送的数据和用户信息索引，将数据转发给分片器；分片器接收分散存储管理器发送的数据，根据IDA算法将接收到的数据进行分片，得到一个或一个以上数据片，分片器将数据片按负载均衡策略分配到存储设备中；存储设备将接收到的数据片存储，并将自身存储的数据片的存储路径返回给分散存储管理器；分散存储管理器根据数据片的存储路径将每个数据片用唯一的固定不变的64位句柄对其进行标识，并建立用来存储元数据的虚拟视图，该虚拟视图包括用户存储的数据的文件名、该文件对应的句柄号和文件大小，所述文件对应的句柄号为该文件的所有数据片的句柄号的集合。

如图4所示，应用上述面向分散式的云存储安全架构的数据读取方法，包括如下步骤：

用户通过客户端向云存储服务器发送数据读取请求，该数据读取请求中包含有用户需要读取的文件名，云存储服务器对用户进行安全认证；云存储服务器向分散存储管理器发送允许读取请求，该用户允许读取请求中包含有用户需要读取的文件名；分散存储管理器根据虚拟视图中的文件名、文件对应的句柄号向文件所包含的数据片所在的存储设备发送数据读取请求；存储设备向分散存储管理器提交数据片，分散存储管理器根据IDA算法的逆向运算对接收到的数据片进行合成，并校对，最后将完整的数据文件返回给客户端。

分片器利用IDA算法把存储数据进行分片，使数据变成无法被其它非认证系统所识别的数据片。每一个单独的数据片是不具有任何意义的，如果数据在网络传输过程中被他人截获或在存储设备上被意外窃取，由于截取方只是获得信息的部分数据片，截取的信息并不具有任何实际含义，这样就能够保证数据分片后是不会产生保密信息泄露或扩散的。此外，当这些分片后的数据放入地理位置不同的存储设备中，即便被其它用户误操作提取时，也能保证需要保护的信息不会被分析出来。

为了确保云存储安全架构中数据存储的高可用性和可靠性，配置异地存储设备，且各存储设备互为冗余。在物理意义上，数据分散存储在异地且互为冗余的各存储设备，因此是分散的；在逻辑意义上，分散存储管理器建立起数据与存储设备中数据片相对应的虚拟视图。当用户对云中的数据进行访问或者操作时，这些分散的数据片对于用户来说是透明的，分散存储管理器根据虚拟视图对数据进行创建、检索和删除等操作。数据的分散存储也使存储系统具备一定的容错、容灾能力，提高了信息的可用性。

系统使用Reed-Solomon码提供任意高容错恢复技术，保证系统在发现问题后能够被迅速检测到。如果存储设备上的数据损坏、丢失，存储设备自动化检测过程会发现这个问题，通过检测可用片重新计算数据段中所有的数据，根据其它存储设备中完好的数据恢复被破坏的数据。通过这样的数据自举恢复，显著提高了云存储安全架构的平均无故障时间（MTBF）。

本发明的特性：

1）传输安全性

云存储是通过网络来传输数据的，其中包括网络中的恶意攻击等造成服务中断、数据破坏、信息被窃取等，信息扩散法使得数据在分片后在网络传输和数据存储时就具有相对的保密性和安全性。通过分片器把存储信息进行分片，使数据变成无法被其它非认证系统所识别的数据片段。由于截取方只是获得信息的分片，截取的信息并不具有任何实际含义，这样就能够保证数据分片后不会产生泄露。

2）高可用性

为了确保云存储安全系统中数据存储的高可用性和可靠性，系统的存储层中设备异地存放，并且互为冗余，提高设备容错能力和最优的存储利用率。使用Reed-Solomon码提供任意高错误恢复技术。设备上的数据损坏、丢失，存储系统中自动化检测过程会发现并检查可用片重新计算数据段中所有的数据，通过其它存储设备恢复被破坏的数据，提高系统的平均无故障时间。数据的分散存储使存储系统具备一定的容错、容灾能力，使得数据具有高可用性。

3）数据的全面防护

根据云存储中数据的安全性分析，从数据传输到存储，都建立相应的保护措施进行层与层之间的防范。按照云存储的层次结构，在客户端到接口层通过进行访问控制与身份认证，对用户存储数据使用加密技术SSL来保护用户数据，使数据在网络传输中得到保障；在管理层，通过分片器将数据分片后，数据的存储无论在内容上还是存储设备中都是分散的，这样可以数据被防止意外窃取后，仍不能得出信息的有效信息；在存储层，设备都是存储在异地并互为冗余，具有一定的容错能力和最优的存储利用率。通过这些保护策略逐层对需要存储的数据进行保护，实现从数据传输到存储位置的全面防护。

Claims (10)

1.一种面向分散式的云存储安全架构，其特征在于，包括云存储服务器，一个或一个以上分散存储管理器，分片器，至少一个存储设备，其中： 

所述云存储服务器，用以对用户进行安全性认证；接收用户发送的数据并解密，建立用户信息索引，并将解密的数据和用户信息索引发送给分散存储管理器； 

所述分散存储管理器，用以接收云存储服务器发送的数据和用户信息索引；将数据转发给分片器；为用户建立虚拟视图；

所述分片器，用以对分散存储管理器发送的数据进行分片并将数据片存储到存储设备；

所述存储设备，用以存储分片器发送的分片数据，将数据存储信息返回给分散存储管理器；定期检测数据的完整性；在数据被破坏时修复受损数据； 

其中，所述分散存储管理器和所述云存储服务器通过光纤通道或路由交换机连接，所述分片器置入分散存储管理器内部，所述分散存储管理器与存储设备通过FC或Iscsi连接，各存储设备之间通过NAS或SAN相连接。

2.如权利要求1所述的面向分散式的云存储安全架构，其特征在于，所述架构还包括：

客户端，通过Internet/LAN与所述分散存储管理器、云存储服务器连接，用以向所述云存储服务器发送访问请求；通过所述分散存储管理器访问所述存储设备。

3.如权利要求1所述的面向分散式的云存储安全架构，其特征在于，所述数据存储信息为存储状态信息、存储设备号、数据片的存储路径。

4.如权利要求1所述的面向分散式的云存储安全架构，其特征在于，所述云存储服务器、分散存储管理器为通用型服务器。

5.如权利要求1所述的面向分散式的云存储安全架构，其特征在于，所述存储设备用于对外提供文件访问接口，所述存储设备为FC光纤通道存储设备、IP存储设备或DAS存储设备或SAN存储网络。

6.如权利要求1所述的面向分散式的云存储安全架构，其特征在于，该架构中如果所述有多个分散存储管理器，所述多个分散存储管理器和云存储服务器共同组成的网络为DHT分布式网络。

7.如权利要求1所述的面向分散式的云存储安全架构，其特征在于，所述云存储服务器为用户提供通用访问接口，用于用户安全认证和权限控制管理、负载均衡和用户元数据管理；还用于路由管理和副本管理。

8.如权利要求1所述的面向分散式的云存储安全架构，其特征在于，所述分散存储管理器包括有虚拟卷管理单元；

所述虚拟卷管理单元包括：虚拟卷管理模块和策略管理模块，所述虚拟卷管理模块用以对存储设备提供的文件访问接口进行封装，对外提供统一的卷管理操作；所述策略管理模块用以对来自外部访问行为，或内部的负载、副本、热点、存储设备健康状态进行监测，触发相应的访问策略；

所述访问策略包括：当所述策略管理模块监测到访问热点时，就将所述访问热点的数据复制多份到空闲存储设备。

9.一种权利要求1所述的面向分散式的云存储安全架构的数据的存储方法，其特征在于，包括如下步骤：

当用户存储数据时，通过客户端向云存储服务器发送数据存储请求，云存储服务器对用户进行安全认证，客户端将数据进行SSL加密并通过Internet发送到云存储服务器；

云存储服务器接收客户端发送的加密数据并解密，利用倒排文字建立用户信息索引；云存储服务器将用户信息索引和解密后的数据发送给分散存储管理器，分散存储管理器接收云存储服务器发送的数据和用户信息索引，将数据转发给分片器；

分片器接收分散存储管理器发送的数据，根据IDA算法将接收到的数据进行分片，得到一个或一个以上数据片，分片器将数据片按负载均衡策略分配到存储设备中；

存储设备将接收到的数据片存储，并将自身存储的数据片的存储路径返回给分散存储管理器； 

分散存储管理器根据数据片的存储路径将每个数据片用唯一的固定不变的64位句柄对其进行标识，并建立用来存储元数据的虚拟视图，该虚拟视图包括用户存储的数据的文件名、该文件对应的句柄号和文件大小，所述文件对应的句柄号为该文件的所有数据片的句柄号的集合。

10.一种权利要求1所述的面向分散式的云存储安全架构的数据的读取方法，其特征在于，包括如下步骤：

用户通过客户端向云存储服务器发送数据读取请求，云存储服务器对用户进行安全认证；

云存储服务器向分散存储管理器发送用户允许读取请求；

分散存储管理器根据虚拟视图中的文件名、文件对应的句柄号向文件所包含的数据片所在的存储设备发送数据读取请求；

存储设备向分散存储管理器提交数据片；

分散存储管理器根据IDA算法的逆向运算对接收到的数据片进行合成，并校对，最后将完整的数据文件返回给客户端。

Images