CN104410666B - 云计算下实现异构存储资源管理的方法及系统 - Google Patents

云计算下实现异构存储资源管理的方法及系统 Download PDF

Info

Publication number
CN104410666B
CN104410666B CN201410594133.6A CN201410594133A CN104410666B CN 104410666 B CN104410666 B CN 104410666B CN 201410594133 A CN201410594133 A CN 201410594133A CN 104410666 B CN104410666 B CN 104410666B
Authority
CN
China
Prior art keywords
file
storage
data
storage device
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410594133.6A
Other languages
English (en)
Other versions
CN104410666A (zh
Inventor
于辉
李新虎
刘俊朋
郭锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201410594133.6A priority Critical patent/CN104410666B/zh
Publication of CN104410666A publication Critical patent/CN104410666A/zh
Application granted granted Critical
Publication of CN104410666B publication Critical patent/CN104410666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明披露了云计算下实现异构存储资源管理的方法及系统，其中方法包括：依据数据文件的存取类型对存储设备的性能要求将物理存储设备逻划分为主存储、一级存储和二级存储三种类型；数据文件的存取类型包括系统级文件、数据型文件以及共享型文件中的一种或多种；根据用户在服务请求中确定的数据文件的存取类型获取对应的存储设备的逻辑划分类型；根据从物理存储设备的元信息记录中查询与存储设备的逻辑划分类型关联的可用资源信息，并从相应的物理存储设备存取相应的数据文件。本发明为云数据中心中异构存储设备的管理提供了一种更为有效、合理的方式。

Description

云计算下实现异构存储资源管理的方法及系统
技术领域
本发明涉及云计算下资源管理技术，尤其涉及云计算操作系统对异构存储进行管理的方法及系统。
背景技术
当前，云计算逐渐被行业认可，云数据中心操作系统逐渐实现并付诸于实践。云数据中心中由大量的异构存储设备组成的存储资源的合理、高效的使用，对于云数据中心系统的整体高可用性和有效性起着非常关键的作用。
在大的存储环境中，不仅存在多家供应商的产品并用问题，即使是同一家厂商的产品，也存在着复杂的管理问题，现在存储技术和产品发展很快，而信息的生命周期又很长，以至于更加恶化了环境的复杂性。由于异构环境的问题一方面来自设备的不同品牌，另一方面来自服务对象归属不同企业，导致环境的复杂度增加了一个平方。每一个厂商都有自己的管理工具，但大部分都只能对自己的产品进行管理。这样，当云计算的存储设备比较多的时候问题就会变得异常复杂。
目前，大多数异构存储的管理方法没有考虑到将数据存储对象本身的特点与应用的需求进行结合，因此管理方式单调、低效，严重地存在着存储资源盲目流转以及资源利用率低下的问题。
为了保证云数据中心存储资源高效、合理地使用，需要提供一种云计算下实现异构存储管理的方法及系统。
发明内容
本发明所要解决的技术问题是提供一种云计算下实现异构存储资源管理的方法及系统，能够确保云数据中心存储资源高效、合理地使用。
为了解决上述技术问题，本发明提供了一种云计算下实现异构存储管理的系统，包括依次连接的服务请求模块、存储类型区分模块、元信息服务模块、数据存取模块以及存储资源池，其中：
服务请求模块，用于根据用户的服务请求确定数据文件的存取类型,包括系统级文件、数据型文件以及共享型文件的一种或多种；
存储类型区分模块，用于根据服务请求中确定的数据文件的存取类型获取对应存储设备的逻辑划分类型；
元信息服务模块，用于根据从物理存储设备的元信息记录中查询与存储设备的逻辑划分类型关联的可用资源信息，并提供给数据存取模块；
数据存取模块，用于依据数据文件的存取类型对存储设备的性能要求将存储资源池中的存储设备逻辑划分为主存储、一级存储和二级存储三种类型；根据所述可用资源信息从相应的物理存储设备是存取相应的数据文件；
存储资源池，用于提供各种异构的物理存储设备。
进一步地，
数据存取模块在存取数据文件后，将存储回执或读取的数据返回给服务请求模块；
服务请求模块将数据存取模块返回的存储回执或数据提供给用户请求的服务。
进一步地，
数据存取模块在完成所述服务的数据文件的存取后，还向元信息服务模块发送存取操作成功信息；
元信息服务模块根据存取操作成功信息更新物理存储设备的元信息记录中可用资源信息与逻辑划分类型的关联，其中元信息记录中的元信息包括数据文件在存储资源池中的物理存储位置、所属的存储类型、文件大小以及写入及修改时间中的一种或多种。
进一步地，
服务请求模块确定的数据文件的存取类型中，系统级文件为主存储的存储对象，包括虚拟机系统磁盘文件或大规模并行处理文件；数据型文件为一级存储的存储对象，包括虚拟机数据磁盘文件或数据库文件；共享型文件为二级存储的存储对象，包括影音视频文件、共享的镜像、模板文件中的一种或多种。
进一步地，存储资源池提供的异构的物理存储设备，包括用光纤通道-存储区域网络/以太网-存储区域网络连接的存储设备、具有分布式文件系统的存储设备、具有网络文件系统的存储设备以及用网络连接式存储的存储设备中的多种。
为了解决上述技术问题，本发明提供了一种云计算下实现异构存储管理的方法，包括：
依据数据文件的存取类型对存储设备的性能要求将存储资源池中的物理存储设备逻划分为主存储、一级存储和二级存储三种类型；数据文件的存取类型包括系统级文件、数据型文件以及共享型文件中的一种或多种；
根据用户在服务请求中确定的数据文件的存取类型获取对应的存储设备的逻辑划分类型；
根据从物理存储设备的元信息记录中查询与存储设备的逻辑划分类型关联的可用资源信息，并从相应的物理存储设备存取相应的数据文件。
进一步地，在从相应的物理存储设备存取数据文件后，还包括：
将存储回执或读取的数据返回给用户请求的服务，更新物理存储设备的元信息记录中存储设备的逻辑划分类型与可用资源信息的关联。
进一步地，
元信息记录中的元信息包括数据文件在存储资源池中的物理存储位置、所属的存储类型、文件大小以及写入及修改时间中的一种或多种。
进一步地，系统级文件为所述主存储的存储对象，包括虚拟机系统磁盘文件或大规模并行处理文件；数据型文件为所述一级存储的存储对象，包括虚拟机数据磁盘文件或数据库文件；共享型文件为所述二级存储的存储对象，包括影音视频文件、共享的镜像、模板文件中的一种或多种。
本发明基于元信息和数据分离的思想，在统一管理云数据中心内各种异构存储设备的基础上，实现对不同特征的数据对象的高效存储和使用，为云数据中心中异构存储设备的管理提供了一种更为有效、合理的方式。
附图说明
图1为本发明的云计算下实现异构存储管理的系统实施例的结构框图；
图2为本发明的云计算下实现异构存储管理的方法实施例的流程图。
具体实施方式
以下结合附图和优选实施例对本发明的技术方案进行详细地阐述。应该理解，以下列举的实施例仅用于说明和解释本发明，而不构成对本发明技术方的限制。
如图1所示，表示了本发明的云计算下实现异构存储管理的系统实施例的结构，包括依次连接的服务请求模块、存储类型区分模块、元信息服务模块、数据存取模块以及存储资源池，其中：
服务请求模块，用于根据用户的服务请求确定数据文件的存取类型,包括系统级文件、数据型文件以及共享型文件的一种或多种；
存储类型区分模块，用于根据用户在服务请求中确定的数据文件的存取类型获取对应存储设备的逻辑划分类型；
元信息服务模块，用于根据从物理存储设备的元信息记录中查询与存储设备的逻辑划分类型关联的可用资源信息，并提供给数据存取模块；
数据存取模块，用于依据数据文件的存取类型对存储设备的性能要求将存储资源池中的存储设备逻辑划分为主存储、一级存储和二级存储三种类型；根据可用资源信息从相应的物理存储设备是存取相应的数据文件；
存储资源池，用于提供各种异构的物理存储设备。
在上述系统实施例中，
数据存取模块在存取数据文件后，将存储回执或读取的数据返回给服务请求模块；
服务请求模块将数据存取模块返回的存储回执或数据提供给用户请求的服务。
在上述系统实施例中，
数据存取模块在完成本次服务的数据文件的存取后，还向元信息服务模块发送存取操作成功信息；
元信息服务模块根据该存取操作成功信息更新物理存储设备的元信息记录中可用资源信息与逻辑划分类型的关联，其中元信息包括数据文件在存储资源池中的物理存储位置、所属的存储类型、文件大小以及写入及修改时间中的一种或多种。
在上述系统实施例中，数据存取模块依据数据文件的存取类型对物理存储设备的性能要求将存储资源池中的存储设备逻辑划分为主存储、一级存储和二级存储的类型，按表1进行；即系统级文件为主存储设备的存储对象，数据型文件为一级存储设备的存储对象，共享型文件为二级存储设备的存储对象。
表1
表1的可用的异构存储设备中，
FC-SAN/IP-SAN，表示用光纤通道-存储区域网络/以太网-存储区域网络连接的存储设备；
DFS，表示具有分布式文件系统的存储设备；
NFS，表示具有网络文件系统的存储设备；
NAS，表示用网络连接式存储的存储设备。
在上述系统实施例中，
元信息服务模块从元信息记录中查询与存储设备的逻辑划分类型关联的可用资源信息，比如主存储设备类型对应的存储资源池中只有一台物理存储设备A上的剩余资源的容量满足本次服务要求，则对应于服务的数据文件存取类型的可用资源信息就为该存储设备A(可用资源可为一个或多个)，被标记为本次服务的可用资源；同样，与一级存储设备和二级存储设备关联的可用资源信息也通过如上方式查询获得，譬如一级存储设备为存储设备B、C，二级存储设备为D；
数据存取模块根据元信息服务模块查询的存储设备A、B、C及D存取本次服务相应的数据文件，将存储回执或读取的文件提供给服务请求模块。
本发明针对上述系统实施例，相应地还提供了云计算下实现异构存储管理的方法实施例，其流程如图2所示，包括如下步骤：
110：依据数据文件的存取类型对存储设备的性能要求将存储资源池中的物理存储设备逻划分为主存储、一级存储和二级存储三种类型；
其中，数据文件的存取类型包括系统级文件、数据型文件以及共享型文件中的一种或多种。
120：根据用户在服务请求中确定的数据文件的存取类型获取对应的存储设备的逻辑划分类型；
130：根据从物理存储设备的元信息记录中查询与存储设备的逻辑划分类型关联的可用资源信息，并从相应的物理存储设备存取相应的数据文件。
在上述方法实施例中，当从物理存储设备存取相应的数据文件后，还包括：
140：将存储回执或读取的数据返回给用户请求的服务，更新存储设备的元信息记录中存储设备的逻辑划分类型与可用资源信息的关联。

Claims (9)

1.一种云计算下实现异构存储管理的系统，其特征在于，包括依次连接的服务请求模块、存储类型区分模块、元信息服务模块、数据存取模块以及存储资源池，其中：
服务请求模块，用于根据用户的服务请求确定数据文件的存取类型,所述服务请求中确定的数据文件的存取类型包括系统级文件、数据型文件以及共享型文件的一种或多种；
存储类型区分模块，用于根据所述服务请求中确定的数据文件的存取类型获取对应存储设备的逻辑划分类型；
元信息服务模块，用于根据从物理存储设备的元信息记录中查询与存储设备的逻辑划分类型关联的可用资源信息，并提供给数据存取模块；
数据存取模块，用于依据数据文件的存取类型对存储设备的性能要求将存储资源池中的存储设备逻辑划分为主存储、一级存储和二级存储三种类型；根据所述可用资源信息从相应的物理存储设备存取相应的数据文件；
存储资源池，用于提供各种异构的物理存储设备。
2.按照权利要求1所述的系统，其特征在于，
所述数据存取模块在存取所述数据文件后，将存储回执或读取的数据返回给所述服务请求模块；
所述服务请求模块将数据存取模块返回的所述存储回执或所述数据提供给用户请求的所述服务。
3.按照权利要求2所述的系统，其特征在于，
所述数据存取模块在完成所述服务的数据文件的存取后，还向所述元信息服务模块发送存取操作成功信息；
所述元信息服务模块根据所述存取操作成功信息更新物理存储设备的元信息记录中可用资源信息与逻辑划分类型的关联，其中所述元信息记录中的元信息包括数据文件在存储资源池中的物理存储位置、所属的存储类型、文件大小以及写入及修改时间中的一种或多种。
4.按照权利要求3所述的系统，其特征在于，
所述服务请求模块确定的数据文件的存取类型中，系统级文件为所述主存储的存储对象，包括虚拟机系统磁盘文件或大规模并行处理文件；数据型文件为所述一级存储的存储对象，包括虚拟机数据磁盘文件或数据库文件；共享型文件为所述二级存储的存储对象，包括影音视频文件、共享的镜像、模板文件中的一种或多种。
5.按照权利要求1至4任一项所述的系统，其特征在于，
所述存储资源池提供的异构的物理存储设备，包括用光纤通道-存储区域网络/以太网-存储区域网络连接的存储设备、具有分布式文件系统的存储设备、具有网络文件系统的存储设备以及用网络连接式存储的存储设备中的多种。
6.一种云计算下实现异构存储管理的方法，其特征在于，包括：
依据数据文件的存取类型对存储设备的性能要求将存储资源池中的物理存储设备逻辑划分为主存储、一级存储和二级存储三种类型；
根据用户在服务请求中确定的数据文件的存取类型获取对应的存储设备的逻辑划分类型，所述服务请求中确定的数据文件的存取类型包括系统级文件、数据型文件以及共享型文件中的一种或多种；
根据从物理存储设备的元信息记录中查询与所述存储设备的逻辑划分类型关联的可用资源信息，并从相应的物理存储设备存取相应的数据文件。
7.按照权利要求6所述的方法，其特征在于，在从相应的物理存储设备存取所述数据文件后，还包括：
将存储回执或读取的数据返回给用户请求的所述服务，更新物理存储设备的元信息记录中存储设备的逻辑划分类型与可用资源信息的关联。
8.按照权利要求7所述的方法，其特征在于，
所述元信息记录中的元信息包括数据文件在存储资源池中的物理存储位置、所属的存储类型、文件大小以及写入及修改时间中的一种或多种。
9.按照权利要求6至8任一项所述的方法，其特征在于，
所述系统级文件为所述主存储的存储对象，包括虚拟机系统磁盘文件或大规模并行处理文件；所述数据型文件为所述一级存储的存储对象，包括虚拟机数据磁盘文件或数据库文件；所述共享型文件为所述二级存储的存储对象，包括影音视频文件、共享的镜像、模板文件中的一种或多种。
CN201410594133.6A 2014-10-29 2014-10-29 云计算下实现异构存储资源管理的方法及系统 Active CN104410666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410594133.6A CN104410666B (zh) 2014-10-29 2014-10-29 云计算下实现异构存储资源管理的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410594133.6A CN104410666B (zh) 2014-10-29 2014-10-29 云计算下实现异构存储资源管理的方法及系统

Publications (2)

Publication Number Publication Date
CN104410666A CN104410666A (zh) 2015-03-11
CN104410666B true CN104410666B (zh) 2018-09-11

Family

ID=52648264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410594133.6A Active CN104410666B (zh) 2014-10-29 2014-10-29 云计算下实现异构存储资源管理的方法及系统

Country Status (1)

Country Link
CN (1) CN104410666B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373346B (zh) * 2015-10-23 2018-06-29 成都卫士通信息产业股份有限公司 一种虚拟化存储方法及存储装置
CN106371929A (zh) * 2016-09-20 2017-02-01 郑州云海信息技术有限公司 一种异构资源池的构建方法
CN106814971B (zh) * 2016-12-20 2020-09-29 中国银联股份有限公司 一种异构存储方法及异构存储平台
CN106973119A (zh) * 2017-05-17 2017-07-21 国网山东省电力公司信息通信公司 一种电力企业存储资源管理系统
CN108595537A (zh) * 2018-03-30 2018-09-28 重庆小雨点小额贷款有限公司 一种文件处理方法、装置及对象存储中间件
CN109547531B (zh) * 2018-10-19 2021-04-09 华为技术有限公司 数据处理的方法、装置和计算设备
CN110071857A (zh) * 2019-04-18 2019-07-30 合肥泛米智能科技有限公司 一种智能家居服务器和多终端进行数据交换的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8032701B1 (en) * 2004-03-26 2011-10-04 Emc Corporation System and method for managing provisioning of storage resources in a network with virtualization of resources in such a network
CN103647824A (zh) * 2013-12-11 2014-03-19 浪潮电子信息产业股份有限公司 一种存储资源优化调度发现算法
CN103685517A (zh) * 2013-12-13 2014-03-26 浪潮(北京)电子信息产业有限公司 一种基于业务类别特征的存储分级调度方法及系统
CN103986741A (zh) * 2013-02-08 2014-08-13 株式会社日立制作所 云数据系统、云数据中心及其资源管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8032701B1 (en) * 2004-03-26 2011-10-04 Emc Corporation System and method for managing provisioning of storage resources in a network with virtualization of resources in such a network
CN103986741A (zh) * 2013-02-08 2014-08-13 株式会社日立制作所 云数据系统、云数据中心及其资源管理方法
CN103647824A (zh) * 2013-12-11 2014-03-19 浪潮电子信息产业股份有限公司 一种存储资源优化调度发现算法
CN103685517A (zh) * 2013-12-13 2014-03-26 浪潮(北京)电子信息产业有限公司 一种基于业务类别特征的存储分级调度方法及系统

Also Published As

Publication number Publication date
CN104410666A (zh) 2015-03-11

Similar Documents

Publication Publication Date Title
CN104410666B (zh) 云计算下实现异构存储资源管理的方法及系统
US9740706B2 (en) Management of intermediate data spills during the shuffle phase of a map-reduce job
US10129333B2 (en) Optimization of computer system logical partition migrations in a multiple computer system environment
CN106233275B (zh) 数据管理系统及方法
US8972986B2 (en) Locality-aware resource allocation for cloud computing
CN104025054B (zh) 虚拟环境中的动态存储分层
CN103064639B (zh) 数据存储方法及装置
US10922316B2 (en) Using computing resources to perform database queries according to a dynamically determined query size
CN100428131C (zh) 海量存储系统中的资源分配方法
US20160350302A1 (en) Dynamically splitting a range of a node in a distributed hash table
CN104407935B (zh) 快照回滚方法和存储设备
US10356150B1 (en) Automated repartitioning of streaming data
CN104182487A (zh) 一种支持多种存储方式的统一存储方法
CN105354251A (zh) 电力系统中基于Hadoop的电力云数据管理索引方法
CN110058808A (zh) 减少在存储分级层之间重排数据的数据迁移时间的装置
US11748301B2 (en) Global tracking of virtual inode numbers in snap-based filesystems
US20240061712A1 (en) Method, apparatus, and system for creating training task on ai training platform, and medium
CN109947743A (zh) 一种优化的NoSQL大数据存储方法及系统
CN105373346B (zh) 一种虚拟化存储方法及存储装置
KR101378348B1 (ko) 프라이빗 클라우드 인프라 기반 하둡 클러스터의 기본 프로토타입
CN106940725B (zh) 一种征信数据存储调度方法及系统
CN109359100A (zh) Pb级历史数据和在线数据的实时计算的可视化建模方法
CN107704618A (zh) 一种基于aufs文件系统的热迁徙方法和系统
US20180165380A1 (en) Data processing system and data processing method
CN106603678A (zh) 一种采用Docker容器实现网格化分布式存储的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant