CN105205094A - 一种多控共享存储系统 - Google Patents

一种多控共享存储系统 Download PDF

Info

Publication number
CN105205094A
CN105205094A CN201510494042.XA CN201510494042A CN105205094A CN 105205094 A CN105205094 A CN 105205094A CN 201510494042 A CN201510494042 A CN 201510494042A CN 105205094 A CN105205094 A CN 105205094A
Authority
CN
China
Prior art keywords
data
file system
systems
module
shared memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510494042.XA
Other languages
English (en)
Inventor
王静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201510494042.XA priority Critical patent/CN105205094A/zh
Publication of CN105205094A publication Critical patent/CN105205094A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多控共享存储系统，包括底层文件系统以及堆叠式文件系统；其中，所述堆叠式文件系统包括文件系统访问模块以及数据压缩模块，所述文件系统访问模块用于通过接口层的映射和重写，实现对所述底层文件系统的数据访问；所述数据压缩模块用于对所述底层文件系统的数据进行压缩存储，并对完成压缩后的数据进行标记，将标记信息写入所述文件系统访问模块的日志数据中。本发明充分利用了已有存储系统的存储能力，通过堆叠式的程序设计，在已有底层文件系统的基础上提供数据压缩功能，优化了多控共享存储系统的数据存储结构，降低了存储系统的空间占用。

Description

一种多控共享存储系统
技术领域
本发明涉及数据存储技术领域，特别是涉及一种多控共享存储系统。
背景技术
目前在大型存储系统中，数据指数级的增长与存储设备升级相对缓慢的矛盾日益尖锐。为了缓解存储系统的空间增长问题，减小数据实际占用的空间，降低成本，最大化利用存储资源，数据压缩存储技术已经成为大型系统中必不可少的关键技术。通过使用数据压缩存储技术，用户可以获得明显的存储空间占用缩减效果，从而降低运营成本和维护成本。
已有的大型存储系统往往基于成熟的文件系统构建，如ext3、ext4、xfs等，这类文件系统本身不具备数据压缩存储的功能，而如果要使用数据压缩存储功能，则面临着需要使用专有的文件系统，忍受明显可感知的性能降低，并进行大规模的数据迁移，这带来极高的时间和空间成本。在已经有大量数据的存储系统中，基本上没有可行性，成本过高。
针对这一现状，本发明提供了一种多控共享存储系统，能够基于已有的成熟的文件系统提供数据压缩存储功能，充分保持原有存储系统的性能，同时几乎不需要进行任何数据迁移。
发明内容
本发明的目的是提供一种多控共享存储系统，目的在于解决现有多控共享存储系统中不能提供数据压缩存储的问题。
为解决上述技术问题，本发明提供一种多控共享存储系统，包括：底层文件系统以及堆叠式文件系统；
其中，所述堆叠式文件系统包括文件系统访问模块以及数据压缩模块，所述文件系统访问模块用于通过接口层的映射和重写，实现对所述底层文件系统的数据访问；所述数据压缩模块用于对所述底层文件系统的数据进行压缩存储，并对完成压缩后的数据进行标记，将标记信息写入所述文件系统访问模块的日志数据中。
可选地，所述底层文件系统包括：本地文件系统、网络文件系统和/或分布式文件系统。
可选地，所述文件系统访问模块用于通过接口层的映射和重写，实现对所述底层文件系统的数据访问包括：
所述文件系统访问模块具体用于读取所述日志数据中的标记信息，判断当前数据是否为压缩数据；当所述当前数据为未被压缩的正常数据时，采用直接接口转换的方式将所述底层文件系统的数据导入，实现对正常数据的透明访问；当所述当前数据为已压缩数据时，进行解压缩处理，实现对压缩后数据的透明访问。
可选地，所述数据压缩模块支持离线独立运行。
可选地，所述数据压缩模块用于对所述底层文件系统的数据进行压缩存储包括：
所述数据压缩模块具体用于采用多核系统多线程并行对所述底层文件系统的数据进行压缩存储。
可选地，所述文件系统访问模块以及数据压缩模块同时运行。
可选地，所述文件系统访问模块进一步设有细粒度锁。
可选地，所述文件系统访问模块以及所述数据压缩模块安装于主机系统中。
本发明所提供的多控共享存储系统，在底层文件系统上设有堆叠式文件系统；堆叠式文件系统进一步包括文件系统访问模块以及数据压缩模块，文件系统访问模块能够通过接口层的映射和重写，实现对底层文件系统的数据访问；数据压缩模块能够对底层文件系统的数据进行压缩存储，并对完成压缩后的数据进行标记，将标记信息写入文件系统访问模块的日志数据中。本发明充分利用了已有存储系统的存储能力，通过堆叠式的程序设计，在已有底层文件系统的基础上提供数据压缩功能，优化了多控共享存储系统的数据存储结构，降低了存储系统的空间占用。
附图说明
图1为本发明所提供的多控共享存储系统的一种具体实施方式的结构框图；
图2为本发明所提供的多控共享存储系统的另一种具体实施方式的实现过程示意图。
具体实施方式
本发明的核心是提供一种多控共享存储系统，通过堆叠式文件系统使原文件系统具备数据压缩存储的功能，充分保持原有存储系统的性能，已有文件系统的数据不需要进行迁移，并可无缝地使用本文件系统提供的功能。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的多控共享存储系统的一种具体实施方式的结构框图如图1所示，该系统包括：
底层文件系统1以及堆叠式文件系统2；
其中，所述堆叠式文件系统2包括文件系统访问模块21以及数据压缩模块22，所述文件系统访问模块21用于通过接口层的映射和重写，实现对所述底层文件系统的数据访问；所述数据压缩模块22用于对所述底层文件系统的数据进行压缩存储，并对完成压缩后的数据进行标记，将标记信息写入所述文件系统访问模块的日志数据中。
本发明所提供的多控共享存储系统，在底层文件系统上设有堆叠式文件系统；堆叠式文件系统进一步包括文件系统访问模块以及数据压缩模块，文件系统访问模块能够通过接口层的映射和重写，实现对底层文件系统的数据访问；数据压缩模块能够对底层文件系统的数据进行压缩存储，并对完成压缩后的数据进行标记，将标记信息写入文件系统访问模块的日志数据中。本发明充分利用了已有存储系统的存储能力，通过堆叠式的程序设计，在已有底层文件系统的基础上提供数据压缩功能，优化了多控共享存储系统的数据存储结构，降低了存储系统的空间占用。
本发明所提供的多控共享存储系统所支持的底层文件系统可以具体包括：本地文件系统、网络文件系统和/或分布式文件系统等多种文件系统。
本发明还提供了多控共享存储系统的另一种具体实施方式，本实施方式对文件系统访问模块21以及数据压缩模块22的具体功能进行了进一步详细说明。
其中，文件系统访问模块21可以提供如下功能：
基于已有的文件系统提供完整支持POSIX协议的文件系统服务，包括文件系统的挂载、读写操作、文件属性操作、目录操作、目录属性操作、硬链接、软链接等。文件系统访问模块21通过在文件系统接口层的映射和重写，将底层文件系统的服务完整实现。
对于正常的数据，文件系统访问模块21采用直接接口转换的方式将底层文件系统的数据导入文件系统中，实现了正常数据的无缝访问。除了正常的文件系统服务外，对于已压缩存储的文件数据，文件系统访问模块21通过读取相应的数据属性标识，对其进行解压操作，能够提供对用户透明的IO服务。
数据压缩模块22可以提供如下功能：
根据文件系统访问模块21提供的数据更新日志，对堆叠式文件系统的底层文件系统进行压缩存储处理，通过对所有文件的压缩存储减少存储系统数据的实际空间占用量。对数据的压缩存储操作完成后会对相关数据进行标记，文件系统访问模块21根据这些标记优化IO处理流程，实现数据压缩存储后的访问。
具体地，数据压缩模块22可以为运行在文件系统服务之外的单独程序，在带外独立运行。
进一步地，数据压缩模块22可以采用多线程设计，充分利用多核系统的并行计算能力，提供超高速的数据压缩存储功能。数据压缩模块22读取文件系统服务模块导出的文件系统日志数据，解析日志内容后进行数据压缩，完成压缩后对数据进行标识。
数据压缩模块22可与文件系统访问模块21同时运行，还可以为文件系统访问模块21设置细粒度锁。这样，通过文件系统服务模块内设计的细粒度锁，保证了数据处理的原子性，从而提供了可靠的并行数据处理能力。
本发明充分利用了已有存储系统的存储能力，通过堆叠式的程序设计，在已有底层文件系统的基础上提供数据压缩功能，以节省存储空间，有效提供了存储容量的使用效率。本发明保持了原有存储系统的IO性能，已由文件系统的数据不需要进行迁移，可无缝地使用本文件系统提供的服务，有效保护了客户投资，大大增加了NAS产品的市场竞争力。
下面参照图2，对本发明所提供的多控共享存储系统的实现过程进行进一步描述。在一个典型的配置环境里，文件系统访问模块21、数据压缩模块22可作为一般程序安装到主机系统中。在进行了相关的配置后，可启动文件系统访问模块21、数据压缩模块22，此时已经能够在主机上挂载本发明所提供的文件系统，并能够进行数据访问。在一段时间的文件系统IO完成后，数据压缩模块22能够根据人为设定的运行时间，对数据进行压缩存储，并完成压缩后数据的标记，供数据解压使用。
至此，已经完整实现了整个堆叠式数据压缩存储文件系统，实现了在已有文件系统上提供高性能数据压缩服务的功能，极大的提高了存储系统的空间利用率，有效保护了客户投资，大大增加了NAS产品的市场竞争力。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种多控共享存储系统，其特征在于，包括：底层文件系统以及堆叠式文件系统；
其中，所述堆叠式文件系统包括文件系统访问模块以及数据压缩模块，所述文件系统访问模块用于通过接口层的映射和重写，实现对所述底层文件系统的数据访问；所述数据压缩模块用于对所述底层文件系统的数据进行压缩存储，并对完成压缩后的数据进行标记，将标记信息写入所述文件系统访问模块的日志数据中。
2.如权利要求1所述的多控共享存储系统，其特征在于，所述底层文件系统包括：本地文件系统、网络文件系统和/或分布式文件系统。
3.如权利要求1所述的多控共享存储系统，其特征在于，所述文件系统访问模块用于通过接口层的映射和重写，实现对所述底层文件系统的数据访问包括：
所述文件系统访问模块具体用于读取所述日志数据中的标记信息，判断当前数据是否为压缩数据；当所述当前数据为未被压缩的正常数据时，采用直接接口转换的方式将所述底层文件系统的数据导入，实现对正常数据的透明访问；当所述当前数据为已压缩数据时，进行解压缩处理，实现对压缩后数据的透明访问。
4.如权利要求3所述的多控共享存储系统，其特征在于，所述数据压缩模块支持离线独立运行。
5.如权利要求4所述的多控共享存储系统，其特征在于，所述数据压缩模块用于对所述底层文件系统的数据进行压缩存储包括：
所述数据压缩模块具体用于采用多核系统多线程并行对所述底层文件系统的数据进行压缩存储。
6.如权利要求5所述的多控共享存储系统，其特征在于，所述文件系统访问模块以及数据压缩模块同时运行。
7.如权利要求6所述的多控共享存储系统，其特征在于，所述文件系统访问模块进一步设有细粒度锁。
8.如权利要求1至7任一项所述的多控共享存储系统，其特征在于，所述文件系统访问模块以及所述数据压缩模块安装于主机系统中。
CN201510494042.XA 2015-08-12 2015-08-12 一种多控共享存储系统 Pending CN105205094A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510494042.XA CN105205094A (zh) 2015-08-12 2015-08-12 一种多控共享存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510494042.XA CN105205094A (zh) 2015-08-12 2015-08-12 一种多控共享存储系统

Publications (1)

Publication Number Publication Date
CN105205094A true CN105205094A (zh) 2015-12-30

Family

ID=54952778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510494042.XA Pending CN105205094A (zh) 2015-08-12 2015-08-12 一种多控共享存储系统

Country Status (1)

Country Link
CN (1) CN105205094A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026703A (zh) * 2019-11-29 2020-04-17 深圳市瑞驰信息技术有限公司 一种改进型联合文件系统架构

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991753A (en) * 1993-06-16 1999-11-23 Lachman Technology, Inc. Method and system for computer file management, including file migration, special handling, and associating extended attributes with files
CN1553325A (zh) * 2003-06-05 2004-12-08 联想(北京)有限公司 一种透明扩充文件系统功能的方法
CN101398824A (zh) * 2007-09-26 2009-04-01 新奥特硅谷视频技术有限责任公司 利用虚拟文件系统技术实现数据处理后存储的方法
CN103617177A (zh) * 2013-11-05 2014-03-05 浪潮(北京)电子信息产业有限公司 一种堆叠式重复数据删除文件系统
CN104216806A (zh) * 2014-07-24 2014-12-17 英方软件（上海）有限公司 一种文件系统序列化操作日志的捕获与传输方法及其装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991753A (en) * 1993-06-16 1999-11-23 Lachman Technology, Inc. Method and system for computer file management, including file migration, special handling, and associating extended attributes with files
CN1553325A (zh) * 2003-06-05 2004-12-08 联想(北京)有限公司 一种透明扩充文件系统功能的方法
CN101398824A (zh) * 2007-09-26 2009-04-01 新奥特硅谷视频技术有限责任公司 利用虚拟文件系统技术实现数据处理后存储的方法
CN103617177A (zh) * 2013-11-05 2014-03-05 浪潮(北京)电子信息产业有限公司 一种堆叠式重复数据删除文件系统
CN104216806A (zh) * 2014-07-24 2014-12-17 英方软件（上海）有限公司 一种文件系统序列化操作日志的捕获与传输方法及其装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026703A (zh) * 2019-11-29 2020-04-17 深圳市瑞驰信息技术有限公司 一种改进型联合文件系统架构

Similar Documents

Publication Publication Date Title
US11403321B2 (en) System and method for improved performance in a multidimensional database environment
US9569457B2 (en) Data processing method and apparatus for distributed systems
CN102460439B (zh) 通过条带式文件系统中的容量平衡进行数据分布
US10659225B2 (en) Encrypting existing live unencrypted data using age-based garbage collection
KR102127116B1 (ko) 분산 데이터 저장 장치 및 분산 데이터 저장 방법
EP3229140B1 (en) Data processing device and data processing method
US20200174671A1 (en) Bucket views
CN103034684A (zh) 一种基于内容寻址存储的虚拟机镜像存储优化方法
CN102541983A (zh) 一种分布式文件系统中多客户端缓存同步的方法
CN105144121A (zh) 高速缓存内容可寻址数据块以供存储虚拟化
CN110663019A (zh) 用于叠瓦式磁记录(smr)的文件系统
CN102521330A (zh) 一种桌面虚拟化环境下的镜像分布式存储方法
CN103152395A (zh) 一种分布式文件系统的存储方法及装置
CN103229173A (zh) 元数据管理方法及系统
CN102855239A (zh) 一种分布式地理文件系统
US20210055885A1 (en) Enhanced data access using composite data views
CN100424699C (zh) 一种属性可扩展的对象文件系统
US20160147569A1 (en) Distributed technique for allocating long-lived jobs among worker processes
CN103905540A (zh) 基于两级哈希的对象存储数据分布机制
CN103595799A (zh) 一种实现分布式共享数据库的方法
CN109783018A (zh) 一种数据存储的方法及装置
CN103916459A (zh) 一种大数据归档存储系统
CN103473258A (zh) 云存储文件系统
CN102982182A (zh) 一种数据存储规划方法及装置
US8386741B2 (en) Method and apparatus for optimizing data allocation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151230

RJ01 Rejection of invention patent application after publication