CN106648465B - 云平台中存储虚拟资源的方法及装置 - Google Patents

云平台中存储虚拟资源的方法及装置 Download PDF

Info

Publication number
CN106648465B
CN106648465B CN201611201276.1A CN201611201276A CN106648465B CN 106648465 B CN106648465 B CN 106648465B CN 201611201276 A CN201611201276 A CN 201611201276A CN 106648465 B CN106648465 B CN 106648465B
Authority
CN
China
Prior art keywords
storage
data
storage environment
performance
marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611201276.1A
Other languages
English (en)
Other versions
CN106648465A (zh
Inventor
闫涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201611201276.1A priority Critical patent/CN106648465B/zh
Publication of CN106648465A publication Critical patent/CN106648465A/zh
Application granted granted Critical
Publication of CN106648465B publication Critical patent/CN106648465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0667—Virtualisation aspects at data level, e.g. file, record or object virtualisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及云平台存储技术领域，公开了一种云平台中存储虚拟资源的方法及装置，克服了现有技术中，各种存储介质的性能不能按照数据读写的频率高低进行适应性存储，造成云平台运行效率较低的问题。该发明分类、标记所配置的存储环境，依据存储环境的性能进行分类、标记，存储环境的性能包括存储环境所采用的文件格式、读写速度、存储类型的加权系数；对所要存储的数据进行分类、标记；将分类、标记后所要存储的数据存入分类、标记的存储环境中。对存储环境的性能进行动态判断，对所要存储数据按校验位进行筛选。通过对不同虚拟化数据的分层存储，把高频数据、低频数据进行分类，从而更加合理的配置存储资源，减少设备浪费，提高设备利用率。

Description

云平台中存储虚拟资源的方法及装置
技术领域
该发明涉及云平台资源存储领域，特别是涉及一种云平台中存储虚拟资源的方法及装置。
背景技术
目前，随着云计算、大数据等新型技术的发展，大量云计算基地的建立，导致存储的数量正在逐渐增加，如何有效、快速地存储云平台虚拟资源成为急需解决的问题。针对InCloud Manager，其作为云计算的主要平台产品，其利用的存储介质不同，导致存储速度会有差异，最终对整个云平台的存储效率带来了直接的影响。所要存储数据的使用频率存在明显差异，如果不根据各种存储介质的性能按照数据读写的频率高低进行适应性存储，会导致云平台存储资源的性能得不到最好的发挥，降低了存储资源利用率，从而影响被高频率访问的数据的读写顺畅性，给云平台的性能提升造成瓶颈、降低了云平台的运行效率，同时增加了云平台中的部分设备的损坏几率。
发明内容
针对上述技术问题，本发明提供一种存储资源利用率高，运行效率较高的云平台中存储虚拟资源的方法及装置。
为解决以上技术问题，本发明采用以下技术解决方案,一种云平台中存储虚拟资源的方法包括以下步骤：
分类、标记所配置的存储环境；
对所要存储的数据进行分类、标记；
将分类、标记后所要存储的数据存入分类、标记的存储环境中。
优选地，分类、标记所配置的存储环境,是依据存储环境的性能进行分类、标记，存储环境的性能包括存储环境所采用的文件格式、读写速度、存储类型的加权系数。
优选地，在分类、标记所配置的存储环境，还包括：对其性能进行动态判断，如果其性能变化，再次对所配置的存储环境进行分类、标记，如果其性能未变化，保持原标记。
优选地，对所要存储的数据进行分类、标记后，还包括对所要存储数据按校验位进行筛选。
所述存储环境的类型包括SATA存储、SAS存储、SSD存储。
一种云平台中存储虚拟资源的装置，包括以下模块：
存储环境配置模块，用于分类、标记所配置的存储环境；
数据配置模块，用于对所要存储的数据进行分类、标记；
数据存入模块，用于将分类、标记后所要存储的数据存入分类、标记的存储环境中。
优选地，对存储环境分类标记依据其性能进行，对存储环境的性能进行动态判断，如果其性能变化，再次对所配置的存储环境进行分类、标记，如果其性能未变化，保持原标记。
所述数据配置模块，用于依据所要存储的数据的使用频率进行分类、标记，并赋予加权系数。
与现有技术相比，本发明一种云平台中存储虚拟资源的方法及装置具有以下优点：
1、本发明在实施过程中，对存储环境性能进行判断，可以准确的掌握各种存储资源的当前性能；所要存储的数据进行分类、标记之后，结合存储环境分类存储，提高存储效率和存储资源的利用率，进而提高了整个云计算平台的性能。
2、通过对不同虚拟化数据的分层存储，把高频数据、低频数据进行分类，可以统计云平台数据使用率，归类不同数据在不同区域、不同应用场景、不同行业的应用特点，从而更加合理的配置存储资源，减少设备浪费，提高设备利用率，同时还可以跨云平台之间进行存储资源的联合使用，更大限度的扩展了云平台的处理性能。并且以上操作对于用户使用的体验来说是透明的，无感知的。
附图说明
图1是本发明云平台中存储虚拟资源的方法及装置中方法的流程示意图之一；
图2是本发明云平台中存储虚拟资源的方法及装置中方法的流程示意图之二；
图3是本发明云平台中存储虚拟资源的方法及装置中存储资源性能的判定流程示意图之一；
图4是本发明云平台中存储虚拟资源的方法及装置中方法的流程示意图之三；
图5是本发明云平台中存储虚拟资源的方法及装置中存储资源性能的判定流程示意图之二；
图6是本发明云平台中存储虚拟资源的方法及装置中装置的模块示意图之一；
图7是本发明云平台中存储虚拟资源的方法及装置中装置的模块示意图之二。
具体实施方式
下面对本发明中涉及到的一些技术词语进行解释：
IOPS (Input/Output Operations Per Second)，即每秒进行读写（I/O）操作的次数，多用于数据库等场合，衡量随机访问的性能。
加权系数，指对不同性能指标，依照其重要程度设置不同的权值，此权值为该性能指标的加权系数。
下面结合附图和具体实施方式对本发明一种云平台中存储虚拟资源的方法及装置作进一步说明：
实施例1
如图1所示，一种云平台中存储虚拟资源的方法包括以下步骤：
步骤S101：分类、标记所配置的存储环境；
步骤S102：对所要存储的数据进行分类、标记；
步骤S103：将分类、标记后所要存储的数据存入分类、标记的存储环境中。
实施例2
如图2和图3所示，一种云平台中存储虚拟资源的方法包括以下步骤：
步骤S201：分类、标记所配置的存储环境；
步骤S202：在分类、标记所配置的存储环境，还包括：对其性能进行动态判断，如果其性能变化，再次对所配置的存储环境进行分类、标记，如果其性能未变化，保持原标记；
步骤S203：对所要存储的数据进行分类、标记；
步骤S204：对所要存储的数据进行分类、标记后，还包括对所要存储数据按校验位进行筛选；
步骤S205：将分类、标记后所要存储的数据存入分类、标记的存储环境中。
优选地，分类、标记所配置的存储环境,是依据存储环境的性能进行分类、标记，存储环境的性能包括存储环境所采用的文件格式、读写速度、存储类型的加权系数。
所述存储环境的类型包括SATA存储、SAS存储、SSD存储。
实施例3
如图4和图5所示，一种云平台中存储虚拟资源的方法包括以下步骤：
步骤S301：分类、标记所配置的云平台；
步骤S302：在分类、标记所配置的云平台，还包括：对其性能进行动态判断，如果其性能变化，再次对所配置的云平台进行分类、标记，如果其性能未变化，保持原标记；
步骤S303：对所要存储的数据进行分类、标记；
步骤S304：对所要存储的数据进行分类、标记后，还包括对所要存储数据按校验位进行筛选；
步骤S305：将分类、标记后所要存储的数据存入分类、标记的云平台中。
优选地，分类、标记所配置的云平台，是依据云平台性能进行分类标记。
实施例4
如图6所示，一种云平台中存储虚拟资源的装置包括以下模块：
存储环境配置模块201，用于分类、标记所配置的存储环境；
数据配置模块202，用于对所要存储的数据进行分类、标记；
数据存入模块203，用于将分类、标记后所要存储的数据存入分类、标记的存储环境中。
实施例5
如图7所示，一种云平台中存储虚拟资源的装置包括以下模块：
存储环境配置模块201，用于分类、标记所配置的存储环境。
优选地，还包括存储环境判断模块204，对存储环境分类标记依据其性能进行，对存储环境的性能进行动态判断，如果其性能变化，再次对所配置的存储环境进行分类、标记，如果其性能未变化，保持原标记。
数据配置模块202，用于对所要存储的数据进行分类、标记。
数据存入模块203，用于将分类、标记后所要存储的数据存入分类、标记的存储环境中。
所述数据配置模块，用于依据所要存储的数据的使用频率进行分类、标记，并赋予加权系数。
在本发明中对已经标记的存储资源，进行归类存储的过程中，涉及云数据中心的存储资源，其数据量较大，为提高效率，归类的方式采用只识别标签的方式进行分类存储，归类完成后，再进行数据的校验，采用分布的方式进行数据处理，更加合理的分配和资源的跨区域管理，符合云计算的理念。
本发明通过定时的计算存储的性能的方式给予加权计算，然后进行分类存储，可能存在不同的存储有相同的标签，在存储数据的时候，可能会出错。也就是对存储资源做标签，然后对数据通过不同的标签做标记，最后存储到物理设备上。
存储资源的性能会随着数据的读写而改变，当读写数据的压力一旦增大，或其他情况时，存储资源性能可能会降低，需要对存储资源重新分类。
以上实施例在实施的过程中，数据的使用频率可以分为读的频率和写的频率。数据按照粒度划分，默认可以设置为64M。对读的频率和写的频率按重要性设置不同的加权系数，设定加权系数为α、β、γ。由于各类存储资源的读写速率不太一样，得到的结果也不太一样。如果设定某个数据读的频率为a%，写的频率就应该为1-a%，这个可以通过平台统计进行计算。同时还可以设定三个不同存储读资源的IOPS为A，B，C（其中A>B>C），可以简单计算为a%>A/(A+B+C)时分层到A上，该计算采用加权计算后为a%>αA/(αA+βB+γC)。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种云平台中存储虚拟资源的方法，其特征在于，包括：
分类、标记所配置的存储环境，所述存储环境的类型包括SATA存储、SAS存储、SSD存储；其中，分类、标记所配置的存储环境，是依据存储环境的性能进行分类、标记，存储环境的性能包括存储环境所采用的文件格式、读写速度、存储类型的加权系数；
对所要存储的数据进行分类、标记，具体为：依据所要存储的数据的使用频率进行分类、标记，并赋予加权系数；其中，数据的使用频率分为读的频率和写的频率；对存储资源做标签，然后对数据通过不同的标签做标记；其中，归类的方式采用只识别标签的方式进行分类存储，归类完成后，再进行数据的校验；所述赋予加权系数为：根据数据的读的频率和写的频率按重要性对各类存储资源设置不同的加权系数，设定加权系数为α、β、γ；
对所要存储数据按校验位进行筛选；
将分类、标记后所要存储的数据存入分类、标记的存储环境中，具体为：设定某个数据读的频率为a%，写的频率为1-a%，设定三个不同存储读资源的IOPS为A、B、C，其中A>B>C，若a%>αA/(αA+βB+γC) ，则将该数据存储到读资源的IOPS为A的存储资源上。
2.根据权利要求1所述的云平台中存储虚拟资源的方法，其特征在于，在分类、标记所配置的存储环境，还包括：对其性能进行动态判断，如果其性能变化，再次对所配置的存储环境进行分类、标记，如果其性能未变化，保持原标记。
3.一种云平台中存储虚拟资源的装置，其特征在于，包括：
存储环境配置模块，用于分类、标记所配置的存储环境，所述存储环境的类型包括SATA存储、SAS存储、SSD存储； 其中，分类、标记所配置的存储环境,是依据存储环境的性能进行分类、标记，存储环境的性能包括存储环境所采用的文件格式、读写速度、存储类型的加权系数；
数据配置模块，用于对所要存储的数据进行分类、标记，具体为：依据所要存储的数据的使用频率进行分类、标记，并赋予加权系数，数据的使用频率分为读的频率和写的频率；对存储资源做标签，然后对数据通过不同的标签做标记；其中，归类的方式采用只识别标签的方式进行分类存储，归类完成后，再进行数据的校验；所述赋予加权系数为：根据数据的读的频率和写的频率按重要性对各类存储资源设置不同的加权系数，设定加权系数为α、β、γ；以及对所要存储数据按校验位进行筛选；
数据存入模块，用于将分类、标记后所要存储的数据存入分类、标记的存储环境中，具体为：设定某个数据读的频率为a%，写的频率为1-a%，设定三个不同存储读资源的IOPS为A、B、C，其中A>B>C，若a%>αA/(αA+βB+γC) ，则将该数据存储到读资源的IOPS为A的存储资源上。
4.根据权利要求3所述的云平台中存储虚拟资源的装置，其特征在于，还包括存储环境判断模块，对存储环境分类、标记依据其性能进行，对存储环境的性能进行动态判断，如果其性能变化，再次对所配置的存储环境进行分类、标记，如果其性能未变化，保持原标记。
CN201611201276.1A 2016-12-22 2016-12-22 云平台中存储虚拟资源的方法及装置 Active CN106648465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611201276.1A CN106648465B (zh) 2016-12-22 2016-12-22 云平台中存储虚拟资源的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611201276.1A CN106648465B (zh) 2016-12-22 2016-12-22 云平台中存储虚拟资源的方法及装置

Publications (2)

Publication Number Publication Date
CN106648465A CN106648465A (zh) 2017-05-10
CN106648465B true CN106648465B (zh) 2020-07-07

Family

ID=58826553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611201276.1A Active CN106648465B (zh) 2016-12-22 2016-12-22 云平台中存储虚拟资源的方法及装置

Country Status (1)

Country Link
CN (1) CN106648465B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766007A (zh) * 2017-11-16 2018-03-06 郑州云海信息技术有限公司 一种数据存储方法及装置
US10972567B2 (en) * 2019-04-04 2021-04-06 International Business Machines Corporation Multi-dimensional tagging namespace for cloud resource management
CN111061430B (zh) * 2019-11-27 2021-02-19 东南大学 一种多云环境下异构i/o细粒度感知的数据放置方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442070A (zh) * 2013-08-30 2013-12-11 华南理工大学 基于统计预测的私有云存储资源调配方法
CN103914516A (zh) * 2014-02-25 2014-07-09 深圳市中博科创信息技术有限公司 一种存储系统分层管理的方法与系统
CN105894396A (zh) * 2016-04-22 2016-08-24 威胜集团有限公司 电能计量装置的计量数据存储方法
CN106201340A (zh) * 2016-06-29 2016-12-07 联想(北京)有限公司 一种存储数据的方法、存储设备、电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298373B2 (en) * 2014-01-13 2016-03-29 International Business Machines Corporation Placement and movement of sub-units of a storage unit in a tiered storage environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442070A (zh) * 2013-08-30 2013-12-11 华南理工大学 基于统计预测的私有云存储资源调配方法
CN103914516A (zh) * 2014-02-25 2014-07-09 深圳市中博科创信息技术有限公司 一种存储系统分层管理的方法与系统
CN105894396A (zh) * 2016-04-22 2016-08-24 威胜集团有限公司 电能计量装置的计量数据存储方法
CN106201340A (zh) * 2016-06-29 2016-12-07 联想(北京)有限公司 一种存储数据的方法、存储设备、电子设备

Also Published As

Publication number Publication date
CN106648465A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
US11068455B2 (en) Mapper tree with super leaf nodes
US10620839B2 (en) Storage pool capacity management
US10216558B1 (en) Predicting drive failures
US20190220195A1 (en) Efficient modification of storage system metadata
CN106648465B (zh) 云平台中存储虚拟资源的方法及装置
US9760290B2 (en) Smart volume manager for storage space usage optimization
CN105095116A (zh) 缓存替换的方法、缓存控制器和处理器
US10701154B2 (en) Sharding over multi-link data channels
US10324794B2 (en) Method for storage management and storage device
CN107015888B (zh) 一种基于子模模型的数据备份方法和系统
CN104615730B (zh) 一种多标签分类方法及装置
CN113887821A (zh) 一种用于风险预测的方法和装置
US9380126B2 (en) Data collection and distribution management
CN114996173A (zh) 一种管理存储设备写操作的方法和装置
EP4167107A1 (en) Image retrieval system, method and apparatus
CN107729944B (zh) 一种低俗图片的识别方法、装置、服务器及存储介质
EP3734459A1 (en) Method and system for prioritizing critical data object storage during backup operations
CN112686316A (zh) 一种用于确定标签的方法与设备
US10817179B2 (en) Electronic device and page merging method therefor
CN116245630A (zh) 一种反欺诈检测方法、装置、电子设备及介质
CN115544257A (zh) 网盘文档快速分类方法、装置、网盘及存储介质
CN110262758B (zh) 一种数据存储管理方法、系统及相关设备
EP3734458A1 (en) Method and system for prioritizing critical data object storage during backup operations
US10261715B2 (en) Storage space management method and apparatus
CN113126908A (zh) 被配置为支持多流的存储装置及其操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant