CN105573672B - 一种基于nfs的虚拟化存储方法和系统 - Google Patents

一种基于nfs的虚拟化存储方法和系统 Download PDF

Info

Publication number
CN105573672B
CN105573672B CN201510925266.1A CN201510925266A CN105573672B CN 105573672 B CN105573672 B CN 105573672B CN 201510925266 A CN201510925266 A CN 201510925266A CN 105573672 B CN105573672 B CN 105573672B
Authority
CN
China
Prior art keywords
file
storage
module
nfs
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510925266.1A
Other languages
English (en)
Other versions
CN105573672A (zh
Inventor
雍帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eisoo Information Technology Co Ltd
Original Assignee
Shanghai Eisoo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eisoo Information Technology Co Ltd filed Critical Shanghai Eisoo Information Technology Co Ltd
Priority to CN201510925266.1A priority Critical patent/CN105573672B/zh
Publication of CN105573672A publication Critical patent/CN105573672A/zh
Application granted granted Critical
Publication of CN105573672B publication Critical patent/CN105573672B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明提供一种基于NFS的虚拟化存储方法和系统，所述方法包括步骤：根据文件大小和对性能的不同要求，将不同的文件转化为不同的对象或块；使用标准的NFS协议，提供文件存储接口，通过中间协议转化层将文件存储协议转化为对应的块协议和对象协议；通过文件存储接口调用基础存储平台，将所述块和所述对象分布存储在底层的基础存储平台。本发明既能够对虚拟化应用感知，同时也具备通用性，能够为不同虚拟化平台提供块文件服务。

Description

一种基于NFS的虚拟化存储方法和系统
技术领域
本发明属于计算机存储技术领域，具体涉及一种基于NFS的虚拟化存储方法和系统。
背景技术
不可否认，虚拟化是一项非常成功的技术，其改变了应用程序部署到数据中心的方式，降低了数据中心成本，简化了数据中心的管理，但其带来的存储复杂性也成为虚拟化的一种重要难题，在传统共享存储的方案中，一般使用块或文件的形式提供存储资源。
在基于存储块的系统，如光纤通道(Fibre Channel)和互联网小型计算机系统接口(iSCSI)，由于其提供的基本存储单元为LUN，对一般的虚拟化存储的粒度过大，无法独立地为特定虚拟机或特定的应用提供不同的存储资源，资源的控制方面也不够灵活，且在大规模的虚拟化环境中容易造成异常扩散，在存储管理方面相对复杂。
在基于文件的存储系统，包括服务器信息块协议(SMB协议)和网络文件系统(NFS)，存储具有对应用的一定感知，一般一个虚拟机在存储层表现为一个或几个文件，但由于原有的文件存储方式一般不是针对虚拟化中这种“大块”文件设计，实现开销很大，不具有良好的扩容性，且没有提供企业级存储的一些特性如快照、克隆等。在智能感知方面也不能提供不同的存储资源池，为不同的虚拟机文件提供不同的存储资源或进行不同资源间的迁移。
面对上述的问题，我们需要提供一种应对虚拟化设计的存储，虽然当前商用实现VMWare提出的vvol(Virtual Volume)也在某些程度上解决了上面所述的传统存储面临的问题，提供了一种商用存储的实现方式，但其实现方案是针对其自身虚拟化平台的一种专有实现，不具有通用性，无法使用在其他虚拟化平台中如KVM平台。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于NFS的虚拟化存储方法和系统，用于解决现有技术中存储系统不能满足虚拟化存储的要求、系统复杂、性能和稳定性低、智能感知功能弱、缺乏一些高级特性和不具有扩容性等问题。
为实现上述目的，本发明采用以下方案：一种基于NFS的虚拟化存储方法，包括以下步骤：根据文件大小和对性能的不同要求，将不同的文件转化为不同的对象或块；使用标准的NFS协议，提供文件存储接口，通过中间协议转化层将文件存储协议转化为对应的块协议和对象协议；通过文件存储接口调用基础存储平台，将所述块和所述对象分布存储在底层的基础存储平台。
于本发明一实施方式中，在文件转化过程中，将虚拟机数据文件转化为块存储，配置文件转化为对象存储，文件系统本身需要的元数据转化为对象存储；文件接口层需要的元数据转化为对象存储。
于本发明一实施方式中，还包括步骤：所述虚拟化存储系统本身的文件使用平铺的目录结构。
于本发明一实施方式中，还包括步骤：对不同的块存储的文件配置不同的读写缓存。
于本发明一实施方式中，还包括步骤：所述块存储对所述块进行快照和克隆。
本发明还提供一种基于NFS的虚拟化存储系统，主要包括虚拟化平台和存储层模块；所述虚拟化平台包括虚拟机模块和虚拟机监视模块，所述虚拟机模块由多个虚拟机组成，所述虚拟机由多个数据文件组成，根据文件大小和对性能的不同要求，将不同的文件转化为不同的对象或块；所述虚拟机监视模块，运行在所述存储层模块和操作系统之间，协调访问服务器上的所有物理设备和虚拟机；所述存储层模块包括NFS服务模块、中间协议转化模块、分布式的块存储模块和对象存储模块；所述块存储模块和所述对象存储模块，作为底层的基础存储平台；所述NFS服务模块，提供文件存储接口；所述中间协议转化模块，将文件存储协议转化为对应的块协议和对象协议；所述中间协议转化模块通过所述NFS服务模块提供的文件存储接口调用基础存储平台供所述虚拟机模块使用。
于本发明一实施方式中，所述虚拟机模块用于将虚拟机数据文件转化为块存储，配置文件转化为对象存储，文件系统本身需要的元数据转化为对象存储；文件接口层需要的元数据转化为对象存储。
于本发明一实施方式中，所述虚拟化存储系统本身的文件使用简化的平铺的目录结构。
于本发明一实施方式中，所述块存储模块用于对不同的块文件配置不同的读写缓存。
于本发明一实施方式中，所述块存储模块支持快照，克隆功能。
如上所述，本发明的一种基于NFS的虚拟化存储方法和系统，具有以下优点和有益效果：
1、添加一个NFS协议转换层，直接使用底层成熟稳定的的对象存储和块存储，即可满足虚拟化存储的要求，又使得系统对的性能和稳定性的得到保证。
2、使用标准的NFS协议实现，使其能够满足不同的虚拟化平台的存储需求，使得存储设备使用具有一定的通用性。
3、释放存储的感知功能，使得在存储层能够针对应用定制相关的存储资源。
附图说明
图1显示为本发明一种基于NFS的虚拟化存储方法和系统于一实施例中的系统整体架构示意图。
图2显示为本发明一种基于NFS的虚拟化存储方法和系统于一实施例中基于ceph的系统实现示意图。
图3显示为本发明一种基于NFS的虚拟化存储方法和系统于一实施例中不同文件的分类存储示意图。
图4显示为本发明一种基于NFS的虚拟化存储方法和系统于一实施例中的存储方法的主流程图。
元件标号说明
1 虚拟化平台
11 虚拟机模块
111 虚拟机
12 虚拟机监视模块
121 虚拟机监视器
2 存储层模块
21 NFS服务模块
22 中间协议转化模块
23 对象存储模块
24 块存储模块
3 Exsi平台
4 分布式对象存储系统
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明是一种简化的基于NFS协议的针对虚拟化的分布式存储系统，本发明于一实施例中的系统的整体架构图请参阅图1，主要包括虚拟化平台1和存储层模块2；所述虚拟化平台1包括虚拟机模块11和虚拟机监视模块12，所述虚拟机模块11包括多个虚拟机111，所述虚拟机111由多个数据文件组成，根据文件大小和对性能的不同要求，将不同的文件转化为不同的对象或块；所述虚拟机监视模块12包括部署的多个虚拟机监视器121(hypervisor)，构成多hypervisor环境，运行在所述存储层模块2和操作系统之间，协调访问服务器上的所有物理设备和虚拟机111；所述存储层模块2包括NFS服务模块21、中间协议转化模块22、分布式的块存储模块24和对象存储模块23；所述块存储模块24和所述对象存储模块23，作为底层的基础存储平台；所述NFS服务模块21，提供文件存储接口；所述中间协议转化模块22，将文件存储协议转化为对应的块协议和对象协议；所述中间协议转化模块22通过所述NFS服务模块21提供的文件存储接口调用基础存储平台供所述虚拟机模块11使用。
由于一般的虚拟化设备需要的共享文件存储并没有传统的使用NAS存储的复杂，所以在系统设计时简化了协议的实现，如一般只支持简单的目录结构层次，文件的个数并不会特别的多，但存在单个文件很大，且存储的性能要求很高，并对并发的锁只有在特定的时间段需要等特点。具体系统设计分为以下要点：
1、基础存储平台包括分布式对象存储模块23和分布式块存储模块24。
2、一般一个虚拟机111由多个数据文件组成，根据文件大小和对性能的不同要求，将对不同的文件转化为不同的对象或块，一般的分类方法为：虚拟机111的数据文件较大，且对性能要求比较高，一般使用支持条带的块存储；对于虚拟机111对应的一般的配置文件较小，有些文件的使用频率也十分低，使用对象存储能够很好的满足需求；对于文件系统本身需要的元数据，在系统内部也使用对象存储保持。
3、对于文件接口层需要存储的元数据信息，存储到分布式对象存储模块23中，由于分布式对象存储模块23本身使用算法定位对象，所以其存储的元数据信息也不存在性能热点，有利于系统的扩展。
4、在针对虚拟化的存储系统本身的文件个数也不会很多，且不会有很复杂的树目录结构，所以本文件系统使用平铺的目录结构，使其系统得到简化，从而获得更高的稳定性和更好的性能。
5、分布式块存储模块24可以对不同的块文件配置不同的读写缓存，这样可以根据虚拟机111的应用需求按需设定不同的缓存。
6、块存储模块24本身很好的支持快照，克隆等功能，这样直接用于到虚拟化文件块设备中直接获得相应的高级特性。
图2显示为本发明一种基于NFS的虚拟化存储方法和系统于另一实施例中基于ceph的系统实现示意图。
在ceph中底层所有的存储数据全部存储到其分布式对象存储系统4上，在接口层分别使用块存储接口(LIBRBD)和对象存储接口(LIBRADOS)对外通过服务。系统通过NFS服务模块21实现一个的协议转换，将对应的文件调用协议，分别转化为调用上述的两个接口。
本实例中将存储系统提供给VMWare的Exsi平台3使用，在Exsi平台3中一个虚拟机111有多个文件组成，如图3所示为不同文件分类存储示意图。如一个vmdk文件由块存储接口(LIBRBD)管理，这样能够为系统获得好的并发性能，且支持快照，克隆等高级特性。对于其他的一些配置文件，日志文件和交换文件(swap)等使用对象存储保存，并且对一些不是很重要的文件可以使用较少的副本数，对数据进行存储。
本发明还提供一种基于NFS的虚拟化存储方法，图4显示为本发明一种基于NFS的虚拟化存储方法和系统于一实施例中的存储方法的主流程图。包括以下步骤：
步骤S1，根据文件大小和对性能的不同要求，将不同的文件转化为不同的对象或块；在文件转化过程中，将虚拟机数据文件转化为块存储，且对不同的块存储的文件配置不同的读写缓存；所述块存储还对所述块进行快照和克隆。
将配置文件转化为对象存储，文件系统本身需要的元数据转化为对象存储；文件接口层需要的元数据转化为对象存储；而对于虚拟化存储系统本身的文件使用平铺的目录结构。
步骤S2，使用标准的NFS协议，提供文件存储接口，通过一个中间协议转化层将文件存储协议转化为对应的块协议和对象协议。
步骤S3，通过文件存储接口调用基础存储平台，将所述块和所述对象分布存储在底层的基础存储平台。
如上所述，本发明的一种基于NFS的虚拟化存储方法和系统，具有以下优点和有益效果：通过添加一个中间协议转化模块22，直接使用底层成熟稳定的的对象存储模块23和块存储模块24，即可满足虚拟化存储的要求，又使得系统对的性能和稳定性的得到保证；使用标准的NFS协议实现，使其能够满足不同的虚拟化平台1的存储需求，使得存储设备使用具有一定的通用性；释放存储的感知功能，使得在存储层模块2能够针对应用定制相关的存储资源。
综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种基于NFS的虚拟化存储方法，其特征在于，包括以下步骤：
步骤S1，根据文件大小和对性能的不同要求，将不同的文件转化为不同的对象或块，所述虚拟化存储系统本身的文件使用平铺的目录结构，在文件转化过程中，将虚拟机数据文件转化为块存储，配置文件转化为对象存储，文件系统本身需要的元数据转化为对象存储；文件接口层需要的元数据转化为对象存储；
步骤S2，使用标准的NFS协议，提供文件存储接口，通过中间协议转化层将文件存储协议转化为对应的块协议和对象协议；
步骤S3，通过文件存储接口调用基础存储平台，将所述块和所述对象分布存储在底层的基础存储平台。
2.根据权利要求1所述的基于NFS的虚拟化存储方法，其特征在于，还包括步骤：对不同的块存储的文件配置不同的读写缓存。
3.根据权利要求2所述的基于NFS的虚拟化存储方法，其特征在于，还包括步骤：对所述块进行快照和克隆。
4.一种基于NFS的虚拟化存储系统，其特征在于，主要包括虚拟化平台和存储层模块；
所述虚拟化平台包括虚拟机模块和虚拟机监视模块，
所述虚拟机模块由多个虚拟机组成，所述虚拟机由多个数据文件组成，根据文件大小和对性能的不同要求，将不同的文件转化为不同的对象或块；
所述虚拟机监视模块，运行在所述存储层模块和操作系统之间，协调访问服务器上的所有物理设备和所述虚拟机；
所述存储层模块包括NFS服务模块、中间协议转化模块、分布式的块存储模块和对象存储模块；
所述块存储模块和所述对象存储模块，作为底层的基础存储平台；
所述NFS服务模块，提供文件存储接口；
所述中间协议转化模块，将文件存储协议转化为对应的块协议和对象协议；
所述中间协议转化模块通过所述NFS服务模块提供的文件存储接口调用基础存储平台供所述虚拟机模块使用。
5.根据权利要求4所述的基于NFS的虚拟化存储系统，其特征在于，所述虚拟机模块用于将虚拟机数据文件转化为块存储，配置文件转化为对象存储，文件系统本身需要的元数据转化为对象存储；文件接口层需要的元数据转化为对象存储。
6.根据权利要求5所述的基于NFS的虚拟化存储系统，其特征在于，所述虚拟化存储系统本身的文件使用简化的平铺的目录结构。
7.根据权利要求6所述的基于NFS的虚拟化存储系统，其特征在于，所述块存储模块用于对不同的块文件配置不同的读写缓存。
8.根据权利要求7所述的基于NFS的虚拟化存储系统，其特征在于，所述块存储模块还用于快照和克隆。
CN201510925266.1A 2015-12-11 2015-12-11 一种基于nfs的虚拟化存储方法和系统 Expired - Fee Related CN105573672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510925266.1A CN105573672B (zh) 2015-12-11 2015-12-11 一种基于nfs的虚拟化存储方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510925266.1A CN105573672B (zh) 2015-12-11 2015-12-11 一种基于nfs的虚拟化存储方法和系统

Publications (2)

Publication Number Publication Date
CN105573672A CN105573672A (zh) 2016-05-11
CN105573672B true CN105573672B (zh) 2019-01-25

Family

ID=55883866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510925266.1A Expired - Fee Related CN105573672B (zh) 2015-12-11 2015-12-11 一种基于nfs的虚拟化存储方法和系统

Country Status (1)

Country Link
CN (1) CN105573672B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169149B2 (en) * 2016-09-06 2019-01-01 International Business Machines Corporation Standard and non-standard dispersed storage network data access
CN107247615A (zh) * 2016-09-30 2017-10-13 郑州云海信息技术有限公司 一种虚拟化主机存储系统
CN109408467A (zh) * 2018-11-19 2019-03-01 郑州云海信息技术有限公司 一种实现数据存储的方法及装置
CN109783438B (zh) * 2018-12-05 2021-07-27 南京华讯方舟通信设备有限公司 基于librados的分布式NFS系统及其构建方法
CN111813332A (zh) * 2020-05-21 2020-10-23 华北电力大学 一种高性能、高扩展和高安全的智能分布式存储系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731489A (zh) * 2013-12-27 2014-04-16 华为技术有限公司 一种数据存储方法、系统和设备
CN104156216A (zh) * 2014-08-14 2014-11-19 浪潮(北京)电子信息产业有限公司 一种面向云计算的异构存储管理系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7107385B2 (en) * 2002-08-09 2006-09-12 Network Appliance, Inc. Storage virtualization by layering virtual disk objects on a file system
JP4574408B2 (ja) * 2005-03-24 2010-11-04 株式会社日立製作所 記憶装置システムの制御技術

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731489A (zh) * 2013-12-27 2014-04-16 华为技术有限公司 一种数据存储方法、系统和设备
CN104156216A (zh) * 2014-08-14 2014-11-19 浪潮(北京)电子信息产业有限公司 一种面向云计算的异构存储管理系统及方法

Also Published As

Publication number Publication date
CN105573672A (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
CN105573672B (zh) 一种基于nfs的虚拟化存储方法和系统
Vaquero et al. Dynamically scaling applications in the cloud
CN103237046B (zh) 支持混合云存储应用的分布式文件系统及实现方法
CN105144121B (zh) 高速缓存内容可寻址数据块以供存储虚拟化
CN102255962B (zh) 一种分布式存储方法、装置和系统
US9459897B2 (en) System and method for providing data analysis service in cloud environment
US9171009B1 (en) Cluster file system comprising storage server units each having a scale-out network attached storage cluster
CN105245523B (zh) 应用于桌面虚拟化场景的存储服务平台及其实现方法
US20220353237A1 (en) Systems and methods of database instance container deployment
CN106686132A (zh) 一种云海系统部署方法及平台
CN102801636B (zh) 云计算平台云主机网络带宽限制的方法
Ye et al. A novel blocks placement strategy for Hadoop
CN103399894A (zh) 一种基于共享存储池的分布式事务处理方法
CN104182487A (zh) 一种支持多种存储方式的统一存储方法
CN102611754A (zh) 一种基于iSCSI的云存储中客户端管理方法
CN101727496A (zh) 一种实现microsoft sql server数据库负载均衡集群的方法
CN111324667A (zh) 一种数据同步方法、装置、电子设备及存储介质
CN104202359A (zh) 一种基于刀片服务器的NVMe SSD虚拟化设计方法
CN105302817B (zh) 分布式文件系统管理方法和装置
CN103209219A (zh) 一种分布式集群文件系统
CN104298537A (zh) 电力信息通信虚拟化环境资源模型
CN105373346B (zh) 一种虚拟化存储方法及存储装置
CN106709056A (zh) 一种nfs挂载目录导出方法及装置
CN104238955B (zh) 一种存储资源虚拟化按需分配的装置和方法
Ullah et al. Cloud computing: a prologue

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190125

Termination date: 20191211