CN102801802A - 一种提高云存储磁盘空间使用效率的方法 - Google Patents

Abstract

本发明提供一种提高云存储磁盘空间使用效率的方法，系统包括存储节点和存储控制节点，其中，存储节点负责存放文件，存储控制节点则是负责监控存储节点间容量及负载的均衡，当客户端通过以太网将数据写入存储节点设备时候，数据会先经过FPGA阵列，在FPGA阵列中会将数据压缩后，传送到后面的存储节点设备的磁盘阵列中保存，压缩后的数据量会较压缩前数据明显变小，这样在存储节点设备磁盘阵列中所占用空间自然就变小了，当客户端需要读取存储设备磁盘阵列中的数据时，FPGA阵列会先将所需数据解压缩然后通过网络发送给客户端。

Description

一种提高云存储磁盘空间使用效率的方法

技术领域

本发明涉及云计算存储技术领域, 具体地说是一种提高云存储磁盘空间使用效率的方法。

背景技术

随着云计算的兴起，它的最主要特征是系统拥有大规模数据集、基于该数据集，向用户提供服务。为保证高可用、高可靠和经济性，云计算与云存储配合，采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本，这就要求云存储有足够的空间去保存大量的数据；与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、应用软件、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。当前云计算的推广应用，使得对云存储空间的需求日益增加，而单纯的靠增加磁盘数量来扩展磁盘空间不仅需要增加成本，并且需要扩大机房空间，同时也增大了系统功耗；这就对提高云存储的空间使用效率提出了更高的要求。通用云存储架构通常是网络数据直接发至存储节点，由存储节点服务器设备直接将数据写入磁盘阵列，或通过软件对数据进行重复数据删除压缩技术来节省磁盘空间，首先这些方法在使用中都或多或少存在一些缺陷，其次这些工作都由存储节点设备CPU来进行处理，会占用CPU资源，从而影响系统性能。

发明内容

本发明的目的是提供一种提高云存储磁盘空间使用效率的方法。

本发明的目的是按以下方式实现的，系统包括存储节点和存储控制节点，其中，存储节点负责存放文件，存储控制节点则是负责监控存储节点间容量及负载的均衡，当客户端通过以太网将数据写入存储节点设备时候，数据会先经过FPGA阵列，在FPGA阵列中会将数据压缩后，传送到后面的存储节点设备的磁盘阵列中保存，压缩后的数据量会较压缩前数据明显变小，这样在存储节点设备磁盘阵列中所占用空间自然就变小了，当客户端需要读取存储设备磁盘阵列中的数据时，FPGA阵列会先将所需数据解压缩然后通过网络发送给客户端。

采用在数据用户与存储设备节点网络之间通过FPGA阵列设备,对发往存储节点的数据文件进行压缩，对从存储设备节点读出的数据在FPGA阵列设备中进行解压缩，而在FPGA阵列中实现了千兆及万兆以太网接口，确保数据传输在FPGA阵列设备中没有存储瓶颈；压缩与解压都用FPGA硬件来实现，并不占用存储设备节点CPU的资源，这样通过压缩后的数据量明显会变小，在存储节点中所占用磁盘空间自然会减少；数据在FPGA阵列设备中采用Lempel-Ziv（LZ）标准压缩和解压技术，以压缩格式写入的每个文件完全保留了原始数据的完整性，这种“无损”压缩方法确保了数据完整性不受到危及。

本发明的有益效果是：云存储是在云计算(cloudcomputing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，所以云存储是一个以数据存储和管理为核心的云计算系统。随着云计算的发展和网络数据量的急剧增加，对云存储的容量急剧加大，，本专利提供一种采用存储前端对数据即时压缩的方法实现提高云存储磁盘空间使用效率，在不用增加云存储中磁盘数量的情况下，实现存储能力的大幅提高。

附图说明

 图1是系统的结构示意图。

具体实施方式

参照说明书附图对本发明的方法作以下详细地说明。

云存储是在云计算(cloudcomputing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，所以云存储是一个以数据存储和管理为核心的云计算系统。随着云计算的发展和网络数据量的急剧增加，对云存储的容量急剧加大，本专利提供一种采用存储前端对数据即时压缩的方法实现提高云存储磁盘空间使用效率，在不用增加云存储中磁盘数量的情况下，实现存储能力的大幅提高。

通用云存储架构通常是网络数据直接发至存储节点，由存储节点服务器设备直接将数据写入磁盘阵列，或通过软件对数据进行重复数据删除压缩技术来节省磁盘空间，首先这些方法在使用中都或多或少存在一些缺陷，其次这些工作都由存储节点设备CPU来进行处理，会占用CPU资源，从而影响系统性能；本专利采用在数据用户与存储设备节点网络之间通过FPGA阵列设备对发往存储节点的数据文件进行压缩，对从存储设备节点读出的数据在FPGA阵列设备中进行解压缩，而在FPGA阵列中实现了千兆及万兆以太网接口，确保数据传输在FPGA阵列设备中不存储瓶颈；压缩与解压都用FPGA硬件来实现，并不占用存储设备节点CPU的资源。这样通过压缩后的数据量明显会变小，在存储节点中所占用磁盘空间自然会减少；数据在FPGA阵列设备中采用Lempel-Ziv（LZ）等标准压缩和解压技术，以压缩格式写入的每个文件完全保留了原始数据的完整性，这种“无损”压缩方法确保了数据完整性不受到危及。此方法虽然会增加一些硬件上成本投入，但是从系统性能与长远硬件成本节省上看还是有很大优势。

如附图所示，存储节点负责存放文件，存储控制节点则是负责监控存储节点间容量及负载的均衡，当客户端通过以太网将数据写入存储节点设备时候，数据会先经过FPGA阵列，在FPGA阵列中会将数据压缩后，传送到后面的存储节点设备的磁盘阵列中保存，压缩后的数据量会较压缩前数据明显变小，这样在存储节点设备磁盘阵列中所占用空间自然就变小了。当客户端需要读取存储设备磁盘阵列中的数据时，FPGA阵列会先将所需数据解压缩然后通过网络发送给客户端。

本专利适用于云存储领域，根据当前对云存储空间需求逐渐增大的情况下，具体提供一种在云存储领域中提高云存储磁盘空间使用效率的方法，通过此方法可以在不增加磁盘数量的情况下存储更多数据，从而降低云存储的磁盘成本。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种提高云存储磁盘空间使用效率的方法, 其特征在于系统包括存储节点和存储控制节点，其中，存储节点负责存放文件，存储控制节点则是负责监控存储节点间容量及负载的均衡，当客户端通过以太网将数据写入存储节点设备时候，数据会先经过FPGA阵列，在FPGA阵列中会将数据压缩后，传送到后面的存储节点设备的磁盘阵列中保存，压缩后的数据量会较压缩前数据明显变小，这样在存储节点设备磁盘阵列中所占用空间自然就变小了，当客户端需要读取存储设备磁盘阵列中的数据时，FPGA阵列会先将所需数据解压缩然后通过网络发送给客户端；

采用在数据用户与存储设备节点网络之间通过FPGA阵列设备,对发往存储节点的数据文件进行压缩，对从存储设备节点读出的数据在FPGA阵列设备中进行解压缩，而在FPGA阵列中实现了千兆及万兆以太网接口，确保数据传输在FPGA阵列设备中没有存储瓶颈；压缩与解压都用FPGA硬件来实现，并不占用存储设备节点CPU的资源，这样通过压缩后的数据量明显会变小，在存储节点中所占用磁盘空间自然会减少；数据在FPGA阵列设备中采用Lempel-Ziv（LZ）标准压缩和解压技术，以压缩格式写入的每个文件完全保留了原始数据的完整性，这种“无损”压缩方法确保了数据完整性不受到危及。