CN110262758B - 一种数据存储管理方法、系统及相关设备 - Google Patents

一种数据存储管理方法、系统及相关设备 Download PDF

Info

Publication number
CN110262758B
CN110262758B CN201910582499.4A CN201910582499A CN110262758B CN 110262758 B CN110262758 B CN 110262758B CN 201910582499 A CN201910582499 A CN 201910582499A CN 110262758 B CN110262758 B CN 110262758B
Authority
CN
China
Prior art keywords
data
hard disk
sub
data blocks
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910582499.4A
Other languages
English (en)
Other versions
CN110262758A (zh
Inventor
吴大立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sangfor Technologies Co Ltd
Original Assignee
Sangfor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sangfor Technologies Co Ltd filed Critical Sangfor Technologies Co Ltd
Priority to CN201910582499.4A priority Critical patent/CN110262758B/zh
Publication of CN110262758A publication Critical patent/CN110262758A/zh
Application granted granted Critical
Publication of CN110262758B publication Critical patent/CN110262758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0617—Improving the reliability of storage systems in relation to availability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据存储管理方法、系统及相关设备，用于提高存储资源的利用率。本发明实施例方法包括：将目标数据划分为预设大小的数据块，并识数据块的I/O特征；将I/O特征相同的数据块迁移到相同子硬盘区域，所述目标数据存储在至少两种类型的子硬盘区域；对不同类型的子硬盘区域执行不同的存储策略。

Description

一种数据存储管理方法、系统及相关设备
技术领域
本发明涉及数据存储技术领域，尤其涉及一种数据存储管理方法、系统及相关设备。
背景技术
在数据存储过程中，为了在空间与性能维度取得最好的综合效果，需要为业务选择合适的存储策略，例如对于只读模式的I/O操作数据存储策略往往会选用纠删码，对于写比例高的I/O操作数据存储策略往往会选择副本冗余策略。
目前存储管理系统都是根据业务粒度选择单一的存储策略，即对于同一项业务的所有数据存储策略都是统一不变的。
然而，单一的存储策略并不能实现最佳的性价比。例如，对于选用纠删码存储策略的业务在某一时期内的写操作增加时，继续使用纠删码存储策略会因为写惩罚高而导致系统资源浪费。
发明内容
本发明实施例提供了一种数据存储管理方法、系统及相关设备，用于提高存储资源的利用率。
本发明实施例第一方面提供了一种数据存储管理方法，其包括：
将目标数据划分为预设大小的数据块，并识别数据块的I/O特征；
将I/O特征相同的数据块迁移到相同子硬盘区域，所述目标数据存储在至少两种类型的子硬盘区域；
对不同类型的子硬盘区域执行不同的存储策略。
可选的，作为一种可能的实施方式，本发明实施例中数据存储管理方法还包括:
统计所述目标数据所在的存储空间的空闲容量比例；
若所述空闲容量比例不大于第一阈值，则将I/O特征为冷数据的数据块迁移至归档类型子硬盘，并对所述归档类型子硬盘中的所述冷数据对应的数据块进行压缩处理。
可选的，作为一种可能的实施方式，本发明实施例中，所述识别数据块的I/O特征包括：
周期性的识别每一个数据块的I/O特征。
可选的，作为一种可能的实施方式，本发明实施例中，所述子硬盘区域的类型数量与识别到的I/O特征的类型数量相同，每一种类型的I/O特征对应一种类型子硬盘区域。
可选的，作为一种可能的实施方式，本发明实施例中数据存储管理方法还包括:
若第一类型的子硬盘区域中存在目标数据块，所述目标数据块的I/O特征在上一周期内由第一特征变化为第二特征，则在下一周期将所述目标数据块迁移至所述第二特征对应的目标子硬盘区域。
可选的，作为一种可能的实施方式，本发明实施例中数据存储管理方法还包括:
在数据块发生迁移之后，修改迁移之后的数据块的访问路径的映射关系，以使得迁移之后的数据块能被正确访问。
本发明实施例第二方面提供了一种数据存储管理系统，可包括：
识别单元，用于将目标数据划分为预设大小的数据块，并识别数据块的I/O特征；
第一迁移单元，用于将I/O特征相同的数据块迁移到相同子硬盘区域，所述目标数据存储在至少两种类型的子硬盘；
策略单元，用于对不同类型的子硬盘区域执行不同的存储策略。
可选的，作为一种可能的实施方式，本发明实施例中的数据存储管理系统，还可以包括:
统计单元，用于统计所述目标数据所在的存储空间的空闲容量比例；
压缩单元，若所述空闲容量比例不大于第一阈值，则将I/O特征为冷数据的数据块迁移至归档类型子硬盘，并对所述归档类型子硬盘中的所述冷数据对应的数据块进行压缩处理。
可选的，作为一种可能的实施方式，本发明实施例中的数据存储管理系统中，所述识别单元包括识别模块，所述识别模块用于周期性的识别每一个数据块的I/O特征；
所述系统还包括：
第二迁移单元，若第一类型的子硬盘区域存在目标数据块，所述目标数据块的I/O特征在上一周期内由第一特征变化为第二特征，则在下一周期将所述目标数据块迁移至所述第二特征对应的目标子硬盘区域。
可选的，作为一种可能的实施方式，本发明实施例中的数据存储管理系统，还可以包括:
修改单元，在数据块发生迁移之后，用于修改迁移之后的数据块的访问路径的映射关系，以使得迁移之后的数据块能被正确访问。
本申请实施例第三方面提供了一种数据存储管理设备，其特征在于，所述数据存储管理设备包括存储器及处理器，所述处理器用于执行存储器中存储的计算机程序时实现如第一方面及第一方面中任意一项所述数据存储管理方法的步骤。
本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如第一方面及第一方面中任意一项所述数据存储管理方法的步骤。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，数据存储管理系统可以将目标数据划分为预设大小的数据块，降低了数据管理的粒度，并识别数据块的I/O特征，然后将I/O特征相同的数据块迁移到相同子硬盘区域，使得目标数据存储在至少两种类型的子硬盘区域，数据存储管理系统可以对不同类型的子硬盘区域执行不同的存储策略，通过将同一种业务数据的不同数据块的精细化分类，实现了同一业务数据的存储策略的多样化选择，避免了统一的存储策略中I/O特征与存储策略不匹配的情况，提高了存储资源的利用率。
附图说明
图1为本发明实施例中一种数据存储管理方法的一个实施例示意图；
图2为本发明实施例中一种数据存储管理方法的另一个实施例示意图；
图3为本发明实施例中一种数据存储管理方法的具体运用实施例中的数据块及子硬盘划分示意图；
图4为本发明实施例中一种数据存储管理方法的具体运用实施例中存储策略生成流程示意图；
图5为本发明实施例中一种数据存储管理方法的具体运用实施例中数据块映射与迁移流程示意图；
图6为本发明实施例中一种数据存储管理系统的一个实施例示意图；
图7为本发明实施例中一种数据存储管理系统的另一个实施例示意图；
图8为本发明实施例中一种数据存储管理设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种数据存储管理方法、系统及相关设备，用于提高存储资源的利用率。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了在空间与性能维度取得最好的综合效果，往往会在业务的I/O特征去选择合适的存储策略，常见的，I/O特征为只读类型的I/O操作过程中会选择用纠删码策略，写比例高的I/O操作会选择副本冗余策略。目前数据存储管理系统都是根据业务粒度选择单一的存储策略。本申请实施例中可以基于块级的细分存储策略使用机制，可以精细化发挥各存储策略优势。基于I/O特征实时识别与资源状态感知，实现存储策略的多样化。
为了便于理解，下面对本发明实施例中的具体流程进行描述，请参阅图1，本发明实施例中一种数据存储管理方法的一个实施例可包括：
101、将目标数据划分为预设大小的数据块，并识别数据块的I/O特征；
不同业务的每次进行I/O操作的可以处理的数据大小往往是不同的，例如Exchange Server(消息与协作)业务的I/O大小是4KB、OLTP–Data(面向交易的处理)业务的I/O大小是8KB。数据存储管理系统可以根据业务的类型合理的设置数据块的大小，将目标数据分为预设大小的数据块，并识别数据块的I/O特征，实现目标数据的精细识别与分类。其中，I/O特征是指对同一业务数据或同一数据块进行I/O操作相关的统计值，例如数据访问的频率、数据访问形式(读或写)或者用户定义的其他统计维度，具体的维度此处不做限定。
可以理解的是，数据存储管理系统可以对每一个数据块进行I/O特征识别，也可以根据用户的需求设置为对目标数据中的一部分数据块进行I/O特征识别，未识别的数据块可以根据用户的需求进行存储管理，具体此处不做限定。
需要说明的是，本发明实施例中的目标数据可以是存储在实体硬盘或虚拟硬盘中的数据及文件，其中，实体硬盘或虚拟硬盘可以拆分成多个子硬盘区域，该虚拟硬盘可以是为虚拟机提供的虚拟机块设备，一般底层由分布式块存储系统承载。
102、将I/O特征相同的数据块迁移到相同子硬盘区域；
识别数据块的I/O特征之后，数据存储管理系统可以将I/O特征相同的数据块迁移到相同子硬盘区域。
可以理解的是，实际运用中，大多数数据块都可以被分为两类：只读类型、读写类型，还可以根据用户的需求按照预设周期内对数据块的读写频率，进一步的精确划分为多个类型的I/O特征，具体的I/O特征的划分此处不做限定，只需要保证目标数据存储在至少两种类型的子硬盘区域即可。优选的，存储目标数据的子硬盘区域的类型数量与识别到的I/O特征的类型数量相同，每一种类型的I/O特征对应一种类型子硬盘区域，以实现目标数据内部数据块的精细管理。
103、对不同类型的子硬盘区域执行不同的存储策略。
数据存储管理系统可以针对不同的虚拟子硬盘中的数据块的不同I/O特征去选择不同存储策略的方法，从而去获得更优(相对于单一的策略方案)的综合效率，提高了存储资源的利用率。
优选的，存储策略的数量与识别到的I/O特征类型的数量相同。例如，识别出n种I/O特征的数据，就会有对应的n种存储策略。
本发明实施例中，数据存储管理系统可以将目标数据划分为预设大小的数据块，并识别数据块的I/O特征，然后将I/O特征相同的数据块迁移到相同子硬盘区域，使得目标数据存储在至少两种类型的子硬盘区域，数据存储管理系统可以对不同类型的子硬盘区域执行不同的存储策略，降低了数据管理的粒度，将同一种业务数据的不同数据块的精细化分类，即实现了同一业务数据的存储策略的多样化选择，避免了统一的存储策略中I/O特征与存储策略不匹配的情况，提高了存储资源的利用率。
实际运用中，存储策略的选择往往还与目标硬盘的容量使用情况相关，当容量不足时往往需要压缩部分数据。请参阅图2，在上述图1所示的实施例的基础上，本发明实施例中一种数据存储管理方法的另一个实施例可包括：
201、将目标数据划分为预设大小的数据块，并识别数据块的I/O特征；
202、将I/O特征相同的数据块迁移到相同子硬盘区域；
203、对不同类型的子硬盘区域执行不同的存储策略；
204、统计目标数据所在的存储空间的空闲容量比例；
存储策略的选择往往还与目标硬盘的容量使用情况相关，当容量不足时往往需要压缩部分数据，为此需要统计目标数据所在的存储空间的总体空闲容量比例。
205、若空闲容量比例不大于第一阈值，则将I/O特征为冷数据的数据块迁移至归档类型子硬盘区域，并对归档类型子硬盘区域的冷数据对应的数据块进行压缩处理。
若目标硬盘的空闲容量比例不大于第一阈值，则将I/O特征为冷数据(预设时间访问次数为零或访问次数小于预设值)的数据块迁移至归档类型子硬盘，并对归档类型子硬盘中的冷数据对应的数据块进行压缩处理，以减少存储空间的占用，进一步提高存储资源的利用率。
可以理解的是，第一阈值的取值范围可以根据实际需求进行合理的设置，第一阈值的取值范围可以为0至50％，例如第一阈值的取值30％，具体此处不做限定。
申请人注意到，实际运用中同一项业务存储中的数据的I/O操作是动态的，导致不同时期内读写比例并非静态，对于已写入数据的访问频率也是动态变化的，有必要对I/O特征识别进行动态识别。可选的，作为一种可能的实施方式，在上述图1及图2所示的实施例中，具体识别数据块的I/O特征包括：周期性的识别每一个数据块的I/O特征。
实际运用中，业务数据中的数据块的I/O特征是动态变化的，在将数据块迁移到对应的子硬盘之后，可以继续对子硬盘中的数据块进行I/O特征识别及数据迁移，进一步提高存储资源的综合利用率。进一步的，作为一种可能的实施方式，若识别到第一类型的子硬盘区域中存在目标数据块，目标数据块的I/O特征在上一周期内由第一特征变化为第二特征，则在下一周期将目标数据块迁移至第二特征对应的目标子硬盘区域。
在上述实施例的基础上，可选的，作为一种可能的实施方式，在数据块发生迁移之后，数据存储管理系统需要修改迁移之后的数据块的访问路径的映射关系，以使得迁移之后的数据块能被正确访问。
可以理解的是，在本发明的各种实施例中，上述各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
为了便于理解，下面将结合具体运用实施例对本发明实施例中的数据存储管理方法进行描述。
虚拟硬盘按4-64K的粒度进行划分为数据块，并进行IO特征识别，请参阅图3，具体可以如区分为读密集类型、读写类型(包含纯写)、归档类型(几乎不访问)；数据块按识别好的特征类型进行归类，不同类型的数据映射到不同的虚拟子硬盘，即一个虚拟硬盘会拆分成多个(按特征类型数量)虚拟子硬盘。
针对不同的虚拟子硬盘去选取的不同的存储策略。而虚拟子硬盘的存储策略结合系统整体的资源使用情况进行调整，如当整体空闲容量比例很高时，不采用容量缩减策略。当空闲容量不足，将读数据在区分出冷数据(归档类型)的子硬盘，针对归档类型启用压缩策略。具体的系统可以划分为IO特征识别模块、存储策略生成、数据块映射与迁移模块，可以包括4个阶段：
1、初始阶段
在虚拟硬盘创建出来时候，只有一个读写模型虚拟源子硬盘，所有数据块都会直接映射同一个源子硬盘中。
2、IO特征识别过程
在运行过程中，根据业务落到对应数据块的IO行为进行统计，并在设定统计周期，周期性更新各数据块的IO特征标签。
3、存储策略生成
请参阅4，定时执行如下流程：获取IO统计信息以识别数据块的IO特征标签，进行归类汇总IO特征的类别和数量，遍历所有类别分别创建或查找对应的子硬盘(如果某一个IO特征没有对应的子硬盘则创建新的子硬盘)，并获取当前的资源状态是否超过70％，若超过则创建或查找压缩特性子硬盘，并将子硬盘集合信息递交给映射与迁移模块。
4、数据块映射与迁移
请参阅5，定时执行如下流程：获取已经生成的子硬盘信息并获取数据块的IO特征标签，并判断是否有带压缩属性的子硬盘，若没有压缩属性的子硬盘则将归档类型的数据标签修改为读密集型标签，并遍历所有数据块进行映射，统计重映射前后出现位置变化的数据块信息，遍历所有发生未知变迁的数据块，将数据块按IO特征在子硬盘之间进行复制迁移，最后更新虚拟硬盘全局映射视图，并进行资源回收。
本实施例中，基于块级的细分存储策略使用机制，可以精细化发挥各存储策略优势，基于IO特征实时识别与资源状态感知，使得业务数据的存储策略可以动态调整，提高了存储资源的利用率。
请参阅图6，本发明实施例还提供了一种数据存储管理系统，可包括：
识别单元601，用于将I/O特征相同的数据块迁移到相同子硬盘区域，目标数据存储在至少两种类型的子硬盘；
第一迁移单元602，用于将I/O特征相同的数据块迁移到同一个子硬盘区域，目标硬盘中预设有至少两种类型的子硬盘；
策略单元603，用于对不同类型的子硬盘区域执行不同的存储策略。
本发明实施例中，数据存储管理系统可以将目标数据划分为预设大小的数据块，并识别数据块的I/O特征，然后将I/O特征相同的数据块迁移到相同子硬盘区域，使得目标数据存储在至少两种类型的子硬盘区域，数据存储管理系统可以对不同类型的子硬盘区域执行不同的存储策略，降低了数据管理的粒度，将同一种业务数据的不同数据块的精细化分类，即实现了同一业务数据的存储策略的多样化选择，避免了统一的存储策略中I/O特征与存储策略不匹配的情况，提高了存储资源的利用率。
可选的，作为一种可能的实施方式，请参阅图7，本发明实施例中的数据存储管理系统，还可以包括:
统计单元604，用于统计目标数据所在的存储空间的空闲容量比例；
压缩单元605，若空闲容量比例不大于第一阈值，则将I/O特征为冷数据的数据块迁移至归档类型子硬盘，并对归档类型子硬盘中的冷数据对应的数据块进行压缩处理。
可选的，作为一种可能的实施方式，本发明实施例中的数据存储管理系统，识别单元601可以包括:
识别模块6011，用于周期性的识别每一个数据块的I/O特征。
可选的，作为一种可能的实施方式，本发明实施例中的数据存储管理系统，还可以包括:
第二迁移单元606，若第一类型的子硬盘区域中存在目标数据块，目标数据块的I/O特征在上一周期内由第一特征变化为第二特征，则在下一周期将目标数据块迁移至第二特征对应的目标子硬盘区域。
可选的，作为一种可能的实施方式，本发明实施例中的数据存储管理系统，还可以包括:
修改单元607，在数据块发生迁移之后，用于修改迁移之后的数据块的访问路径的映射关系，以使得迁移之后的数据块能被正确访问。
本发明实施例中，数据存储管理系统可以将目标数据划分为预设大小的数据块，降低了数据管理的粒度，并周期性的动态识别数据块的I/O特征，然后将I/O特征相同的数据块迁移到相同子硬盘区域，使得目标数据存储在至少两种类型的子硬盘区域，数据存储管理系统可以对不同类型的子硬盘区域执行不同的存储策略，并动态调整不同数据块的存储策略，即实现了同一业务数据的存储策略的多样化选择及动态调整，避免了统一的存储策略中I/O特征与存储策略不匹配的情况，提高了存储资源的利用率。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上面从功能化的角度对本申请实施例中的数据存储管理设备进行了描述，下面从硬件处理的角度对本申请实施例中的数据存储管理设备进行描述。
本申请实施例还提供了一种数据存储管理设备，如图8所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。参考图8，数据存储管理设备8包括：存储器810、处理器820以及存储在存储器中并可在处理器上运行的计算机程序。处理器执行计算机程序时实现上述各个数据存储管理方法实施例中的步骤，例如图1所示的步骤101至103。或者，处理器执行计算机程序时实现上述各装置实施例中各模块或单元的功能。
本申请实施例中的一些实施例中，处理器用于执行存储器中存储的计算机程序时实现如下步骤：
将目标数据划分为预设大小的数据块，并识别数据块的I/O特征；
将I/O特征相同的数据块迁移到相同子硬盘区域，目标数据存储在至少两种类型的子硬盘区域；
对不同类型的子硬盘区域执行不同的存储策略。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
统计目标数据所在的存储空间的空闲容量比例；
若空闲容量比例不大于第一阈值，则将I/O特征为冷数据的数据块迁移至归档类型子硬盘，并对归档类型子硬盘中的冷数据对应的数据块进行压缩处理。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
周期性的识别每一个数据块的I/O特征。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
若第一类型的子硬盘区域中存在目标数据块，目标数据块的I/O特征在上一周期内由第一特征变化为第二特征，则在下一周期将目标数据块迁移至第二特征对应的目标子硬盘区域。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
在数据块发生迁移之后，修改迁移之后的数据块的访问路径的映射关系，以使得迁移之后的数据块能被正确访问。
本领域技术人员可以理解，图8中示出的结构并不构成对数据存储管理设备的限定，数据存储管理设备8可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，例如还可以包括输入输出设备、总线等。
所称处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，可以实现如下步骤：
将目标数据划分为预设大小的数据块，并识别数据块的I/O特征；
将I/O特征相同的数据块迁移到相同子硬盘区域，目标数据存储在至少两种类型的子硬盘区域；
对不同类型的子硬盘区域执行不同的存储策略。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
统计目标数据所在的存储空间的空闲容量比例；
若空闲容量比例不大于第一阈值，则将I/O特征为冷数据的数据块迁移至归档类型子硬盘，并对归档类型子硬盘中的冷数据对应的数据块进行压缩处理。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
周期性的识别每一个数据块的I/O特征。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
若第一类型的子硬盘区域中存在目标数据块，目标数据块的I/O特征在上一周期内由第一特征变化为第二特征，则在下一周期将目标数据块迁移至第二特征对应的目标子硬盘区域。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
在数据块发生迁移之后，修改迁移之后的数据块的访问路径的映射关系，以使得迁移之后的数据块能被正确访问。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种数据存储管理方法，其特征在于，包括：
将目标数据划分为预设大小的数据块，并周期性地识别数据块的I/O特征；
将I/O特征相同的数据块迁移到多个子硬盘区域的相同子硬盘区域，所述目标数据存储在至少两种类型的子硬盘区域；其中，所述多个子硬盘区域为根据上一周期识别的I/O特征的类型数量，对实体硬盘或虚拟硬盘的不同区域进行拆分得到的，且当前周期内所述目标数据的数据块被存放的子硬盘区域是基于所述数据块在上一周期识别出的I/O特征而确定的；
对不同类型的子硬盘区域执行不同的存储策略，所述存储策略是根据所述子硬盘区域所存储的数据块的I/O特征选择的。
2.根据权利要求1所述的方法，其特征在于，还包括:
统计所述目标数据所在的存储空间的空闲容量比例；
若所述空闲容量比例不大于第一阈值，则将I/O特征为冷数据的数据块迁移至归档类型子硬盘，并对所述归档类型子硬盘中的所述冷数据对应的数据块进行压缩处理。
3.根据权利要求1所述的方法，其特征在于，所述子硬盘区域的类型数量与识别到的I/O特征的类型数量相同，每一种类型的I/O特征对应一种类型子硬盘区域。
4.根据权利要求1所述的方法，其特征在于，还包括：
在数据块发生迁移之后，修改迁移之后的数据块的访问路径的映射关系，以使得迁移之后的数据块能被正确访问。
5.一种数据存储管理系统，其特征在于，包括：
识别单元，用于将目标数据划分为预设大小的数据块，并周期性地识别数据块的I/O特征；
第一迁移单元，用于将I/O特征相同的数据块迁移到多个子硬盘区域的相同子硬盘区域，所述目标数据存储在至少两种类型的子硬盘；其中，所述多个子硬盘区域为根据上一周期识别的I/O特征的类型数量，对实体硬盘或虚拟硬盘的不同区域进行拆分得到的，且且当前周期内所述目标数据的数据块被存放的子硬盘区域是基于所述数据块在上一周期识别出的I/O特征而确定的；
策略单元，用于对不同类型的子硬盘区域执行不同的存储策略，所述存储策略是根据所述子硬盘区域所存储的数据块的I/O特征选择的。
6.根据权利要求5所述的系统，其特征在于，还包括:
统计单元，用于统计所述目标数据所在的存储空间的空闲容量比例；
压缩单元，若所述空闲容量比例不大于第一阈值，则将I/O特征为冷数据的数据块迁移至归档类型子硬盘，并对所述归档类型子硬盘中的所述冷数据对应的数据块进行压缩处理。
7.一种数据存储管理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的数据存储管理方法中的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的数据存储管理方法中的步骤。
CN201910582499.4A 2019-06-28 2019-06-28 一种数据存储管理方法、系统及相关设备 Active CN110262758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910582499.4A CN110262758B (zh) 2019-06-28 2019-06-28 一种数据存储管理方法、系统及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910582499.4A CN110262758B (zh) 2019-06-28 2019-06-28 一种数据存储管理方法、系统及相关设备

Publications (2)

Publication Number Publication Date
CN110262758A CN110262758A (zh) 2019-09-20
CN110262758B true CN110262758B (zh) 2023-07-14

Family

ID=67923386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910582499.4A Active CN110262758B (zh) 2019-06-28 2019-06-28 一种数据存储管理方法、系统及相关设备

Country Status (1)

Country Link
CN (1) CN110262758B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104066B (zh) 2019-12-17 2021-07-27 华中科技大学 数据写入方法、装置及存储服务器和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631729A (zh) * 2013-12-06 2014-03-12 浪潮(北京)电子信息产业有限公司 一种基于块级的分级存储方法及系统
CN104077081A (zh) * 2014-06-28 2014-10-01 华为技术有限公司 一种存储方法及装置
CN104572113A (zh) * 2015-01-21 2015-04-29 深圳市中兴移动通信有限公司 存储空间的自动整理方法和移动终端
CN107391301A (zh) * 2017-08-16 2017-11-24 北京奇虎科技有限公司 存储系统的数据管理方法、装置、计算设备及存储介质
CN108932150A (zh) * 2017-05-24 2018-12-04 中兴通讯股份有限公司 基于ssd和磁盘混合存储的缓存方法、装置及介质
CN109144411A (zh) * 2018-07-24 2019-01-04 中国电子科技集团公司第三十八研究所 数据中心混合磁盘阵列及其数据动态迁移策略

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701028B (zh) * 2014-11-28 2018-10-09 国际商业机器公司 分布式存储系统中的磁盘管理方法和设备
CN106406759B (zh) * 2016-09-13 2019-12-31 苏州浪潮智能科技有限公司 一种数据存储方法及装置
CN109614039B (zh) * 2018-11-26 2022-03-22 新华三大数据技术有限公司 数据迁移方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631729A (zh) * 2013-12-06 2014-03-12 浪潮(北京)电子信息产业有限公司 一种基于块级的分级存储方法及系统
CN104077081A (zh) * 2014-06-28 2014-10-01 华为技术有限公司 一种存储方法及装置
CN104572113A (zh) * 2015-01-21 2015-04-29 深圳市中兴移动通信有限公司 存储空间的自动整理方法和移动终端
CN108932150A (zh) * 2017-05-24 2018-12-04 中兴通讯股份有限公司 基于ssd和磁盘混合存储的缓存方法、装置及介质
CN107391301A (zh) * 2017-08-16 2017-11-24 北京奇虎科技有限公司 存储系统的数据管理方法、装置、计算设备及存储介质
CN109144411A (zh) * 2018-07-24 2019-01-04 中国电子科技集团公司第三十八研究所 数据中心混合磁盘阵列及其数据动态迁移策略

Also Published As

Publication number Publication date
CN110262758A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
US11960726B2 (en) Method and apparatus for SSD storage access
US20170123676A1 (en) Reference Block Aggregating into a Reference Set for Deduplication in Memory Management
US11934371B2 (en) Data processing method and apparatus, and computer-readable storage medium
CN109240607B (zh) 一种文件读取方法和装置
CN106855861A (zh) 一种文件合并方法、装置及电子设备
CN113946552A (zh) 数据处理方法及电子装置
CN110647423B (zh) 一种基于应用创建存储卷镜像的方法、设备及可读介质
RU2665272C1 (ru) Способ и устройство для восстановления дедуплицированных данных
CN110262758B (zh) 一种数据存储管理方法、系统及相关设备
US9380126B2 (en) Data collection and distribution management
CN106570005A (zh) 清理数据库的方法和装置
CN110019017B (zh) 一种基于访问特征的高能物理文件存储方法
US20240070120A1 (en) Data processing method and apparatus
CN117407324A (zh) 基于固态硬盘的数据存储方法、装置、固态硬盘控制器
CN108762684B (zh) 热点数据迁移流控方法、装置、电子设备及存储介质
US20230409235A1 (en) File system improvements for zoned storage device operations
CN111752941A (zh) 一种数据存储、访问方法、装置、服务器及存储介质
CN116016508A (zh) 一种基于分布式对象的存储系统及其控制方法
CN115576947A (zh) 一种数据管理方法、装置、组合库、电子设备及存储介质
CN111026720B (zh) 一种文件处理方法、系统及相关设备
CN112732726B (zh) 数据处理方法及装置、处理器、计算机存储介质
CN114860722A (zh) 基于人工智能的数据分片方法、装置、设备及介质
CN107846327A (zh) 一种网管性能数据的处理方法及装置
CN111125011B (zh) 一种文件处理方法、系统及相关设备
CN111580831A (zh) 提高代码运行效率的方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant