CN114138183B - 一种存储系统的数据分层方法、装置、设备及存储介质 - Google Patents

一种存储系统的数据分层方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114138183B
CN114138183B CN202111275294.5A CN202111275294A CN114138183B CN 114138183 B CN114138183 B CN 114138183B CN 202111275294 A CN202111275294 A CN 202111275294A CN 114138183 B CN114138183 B CN 114138183B
Authority
CN
China
Prior art keywords
target
read
storage unit
barrel
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111275294.5A
Other languages
English (en)
Other versions
CN114138183A (zh
Inventor
郭平加
徐洪志
王艳清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN202111275294.5A priority Critical patent/CN114138183B/zh
Publication of CN114138183A publication Critical patent/CN114138183A/zh
Application granted granted Critical
Publication of CN114138183B publication Critical patent/CN114138183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0626—Reducing size or complexity of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种存储系统的数据分层方法、装置、设备及计算机可读存储介质，该方法包括：获取存储系统中各最小存储单元在预设时间内的读写次数；根据读写次数，将每个最小存储单元划分到各自对应的预设桶内；其中，预设桶包括分层桶和不分层桶；根据目标读写次数，对分层桶中目标分层桶中的最小存储单元进行堆排序；其中，目标读写次数为目标分层桶中最小存储单元的读写次数，目标分层桶包括目标冷数据桶和目标热数据桶，目标冷数据桶对应的最大读写次数小于其他预设桶对应的读写次数；本发明基于桶排序和堆排序实现存储系统中数据的分层，使数据的分配更加合理，节约了存储成本。

Description

一种存储系统的数据分层方法、装置、设备及存储介质
技术领域
本发明涉及存储系统技术领域，特别涉及一种存储系统的数据分层方法、装置、设备及计算机可读存储介质。
背景技术
目前，在存储行业中，存储系统中存储的数据量越来越多。
因此，如何能够对存储系统中存储的数据进行分层，使数据的分配更加合理，节约存储成本，是现今急需解决的问题。
发明内容
本发明的目的是提供一种存储系统的数据分层方法、装置、设备及计算机可读存储介质，以基于桶排序和堆排序对存储系统中的数据进行分层，使数据的分配更加合理，节约存储成本。
为解决上述技术问题，本发明提供一种存储系统的数据分层方法，包括：
获取存储系统中各最小存储单元在预设时间内的读写次数；
根据所述读写次数，将每个最小存储单元划分到各自对应的预设桶内；其中，所述预设桶包括分层桶和不分层桶；
根据目标读写次数，对所述分层桶中目标分层桶中的最小存储单元进行堆排序；其中，所述目标读写次数为所述目标分层桶中最小存储单元的读写次数，所述目标分层桶包括目标冷数据桶和目标热数据桶，所述目标冷数据桶对应的最大读写次数小于其他预设桶对应的读写次数，所述目标热数据桶对应的最小读写次数大于其他预设桶对应的读写次数。
可选的，所述根据所述读写次数，将每个最小存储单元划分到各自对应的预设桶内，包括：
根据所述读写次数和每个所述分层桶各自对应的次数范围，将每个分层最小存储单元划分到各自对应的分层桶内；
将所述最小存储单元中的不分层最小存储单元划分到所述不分层桶；其中，所述不分层最小存储单元包括读写次数统计时间未达到所述预设时间的最小存储单元，所述分层最小存储单元为所述存储系统中所述不分层最小存储单元之外的最小存储单元。
可选的，所述根据所述读写次数和每个分层桶各自对应的次数范围，将每个分层最小存储单元划分到各自对应的分层桶内之前，还包括：
根据所述读写次数，确定各所述分层桶各自对应的次数范围；其中，各所述分层桶对应的次数范围之间不存在交集。
可选的，所述目标分层桶包括全部所述分层桶时，所述根据目标读写次数，对所述分层桶中目标分层桶中的最小存储单元进行堆排序，包括：
根据各冷数据桶中最小存储单元的读写次数，对各所述冷数据桶中最小存储单元进行小根堆排序；
根据各热数据桶中最小存储单元的读写次数，对各所述热数据桶中最小存储单元进行大根堆排序；其中，所述分层桶包括所述热数据桶和所述冷数据桶，所述热数据桶包括所述目标热数据桶，所述冷数据桶包括所述目标冷数据桶，所述冷数据桶对应的最大读写次数小于所述热数据桶对应的最小读写次数。
可选的，所述获取存储系统中各最小存储单元在预设时间内的读写次数，包括：
按所述预设时间间隔获取各所述最小存储单元在所述预设时间内的读写次数。
可选的，所述根据目标读写次数，对所述分层桶中目标分层桶中的最小存储单元进行堆排序之后，还包括：
根据所述目标冷数据桶和所述目标热数据桶中最小存储单元的排序顺序，确定所述目标冷数据桶和所述目标热数据桶中的目标最小存储单元的数据，并对所述数据进行数据迁移；其中，所述目标最小存储单元包括所述目标冷数据桶中读写次数最小的最小存储单元和所述目标热数据桶中读写次数最大的最小存储单元。
可选的，在所述目标冷数据桶采用小根堆排序，所述目标热数据桶采用大根堆排序的情况下，所述根据所述目标冷数据桶和所述目标热数据桶中最小存储单元的排序顺序，确定所述目标冷数据桶和所述目标热数据桶中的目标最小存储单元的数据，包括：
分别将所述目标冷数据桶和所述目标热数据桶中排名前预设数量的最小存储单元确定为所述目标最小存储单元。
本发明还提供了一种存储系统的数据分层装置，包括：
读写获取模块，用于获取存储系统中各最小存储单元在预设时间内的读写次数；
桶排序模块，用于根据所述读写次数，将每个最小存储单元划分到各自对应的预设桶内；其中，所述预设桶包括分层桶和不分层桶；
堆排序模块，用于根据目标读写次数，对所述分层桶中目标分层桶中的最小存储单元进行堆排序；其中，所述目标读写次数为所述目标分层桶中最小存储单元的读写次数，所述目标分层桶包括目标冷数据桶和目标热数据桶，所述目标冷数据桶对应的最大读写次数小于其他预设桶对应的读写次数，所述目标热数据桶对应的最小读写次数大于其他预设桶对应的读写次数。
本发明还提供了一种存储系统的数据分层设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述的存储系统的数据分层方法的步骤。
此外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的存储系统的数据分层方法的步骤。
本发明所提供的一种存储系统的数据分层方法，包括：获取存储系统中各最小存储单元在预设时间内的读写次数；根据读写次数，将每个最小存储单元划分到各自对应的预设桶内；其中，预设桶包括分层桶和不分层桶；根据目标读写次数，对分层桶中目标分层桶中的最小存储单元进行堆排序；其中，目标读写次数为目标分层桶中最小存储单元的读写次数，目标分层桶包括目标冷数据桶和目标热数据桶，目标冷数据桶对应的最大读写次数小于其他预设桶对应的读写次数，目标热数据桶对应的最小读写次数大于其他预设桶对应的读写次数。
可见，本发明通过根据读写次数，将每个最小存储单元划分到各自对应的预设桶内，对存储系统中的最小存储单元进行桶排序，使冷热数据可以分配到相应的预设桶内；通过根据目标读写次数，对分层桶中目标分层桶中的最小存储单元进行堆排序，能够对桶内的最小存储单元进行堆排序，能够便捷地选取需要迁移的冷热数据，基于桶排序和堆排序实现存储系统中数据的分层，使数据的分配更加合理，节约了存储成本。此外，本发明还提供了一种存储系统的数据分层装置、设备及计算机可读存储介质，同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的一种存储系统的数据分层方法的流程图；
图2为本发明实施例所提供的一种存储系统的数据分层装置的结构框图；
图3为本发明实施例所提供的一种存储系统的数据分层设备的结构示意图；
图4为本发明实施例所提供的一种存储系统的数据分层设备的具体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的一种存储系统的数据分层方法的流程图。该方法可以包括：
步骤101：获取存储系统中各最小存储单元在预设时间内的读写次数。
其中，本步骤中的最小存储单元可以为存储系统中最小的存储单元，如extent(数据块)，extent组成vdisk(虚盘)。本步骤中的预设时间可以为预先设置的检测各最小存储单元的读写次数(即IO次数)的时间。
具体的，对于本步骤中处理器获取存储系统中各最小存储单元在预设时间内的读写次数的具体过程，可以由设计人员根据实用场景和用户需求自行设置，如当有最小存储单元(如extent)的数据读写时，处理器可以采用与现有技术中的读写次数计算方法相同或相似的方式，计算该最小存储单元在预设时间内的读写次数。本实施例对此不做任何限制。
对应的，对于本实施例中处理器获取存储系统中各最小存储单元在预设时间内的读写次数的具体方式，可以由设计人员根据实用场景和用户需求自行设置，如处理器可以按照预设收集周期获取存储系统中各最小存储单元在预设时间内的读写次数，即处理器可以在每个预设收集周期计算各最小存储单元在预设时间内的读写次数；如预设收集周期为预设时间时，处理器可以按预设时间间隔获取各最小存储单元在预设时间内的读写次数，即处理器可以在每个预设时间后，利用收集的该预设时间段内各最小存储单元的读写次数，更新各预设桶内划分的最小存储单元。处理器可以根据获取的控制指令(如数据迁移指令)，获取存储系统中各最小存储单元在预设时间内的读写次数，本实施例对此不做任何限制。
步骤102：根据读写次数，将每个最小存储单元划分到各自对应的预设桶内；其中，预设桶包括分层桶和不分层桶。
可以理解的是，本步骤中的预设桶可以为预先设置的用于存放最小存储单元的数据或标识的桶。本实施例中的预设桶可以包括用于需要进行分层分析的最小存储单元(即分层最小存储单元)对应的分层桶和不需要进行分层分析的最小存储单元(即不分层最小存储单元)对应的不分层桶，即划分到不分层桶中的最小存储单元的数据不需要进行分层分析。
具体的，本实施例并不限定本实施例中预设桶的具体设置数量和类型，如分层桶可以包括冷数据对应的冷数据桶和热数据对应的热数据桶，例如，本实施例中可以设置1到11号桶这12个预设桶，1号桶(即不分层桶)可以存放不需要进行分层分析的不分层最小存储单元的数据，1和2号桶(即冷数据桶)可以存放冷数据，3到11号桶(即热数据桶)可以存放热数据。
需要说明的是，对于本步骤中处理器根据全部最小存储单元的读写次数，将每个最小存储单元划分到各自对应的预设桶内的具体方式，可以由设计人员自行设置，如处理器可以将全部最小存储单元中的不分层最小存储单元划分到不分层桶；其中，不分层最小存储单元可以包括读写次数统计时间未达到预设时间的最小存储单元，如在统计的预设时间内新组成的vdisk中的extent；不分层最小存储单元还可以包括未使用的最小存储单元，例如本步骤中可以将未使用和读写次数统计时间小于预设时间的最小存储单元划分到上述0号桶。处理器还可以根据获取的读写次数和每个分层桶各自对应的次数范围，将每个分层最小存储单元划分到各自对应的分层桶内；即各分层最小存储单元可以划分到其读写次数所处的次数范围对应的分层桶。处理器也可以直接利用获取的读写次数，将每个分层最小存储单元划分到各自对应的分层桶内，如处理器直接根据全部分层最小存储单元的最大读写次数和最小读写次数，将全部分层最小存储单元分配到各分层桶。本实施例对此不做任何限制。
对应的，处理器根据获取的读写次数和每个分层桶各自对应的次数范围，将每个分层最小存储单元划分到各自对应的分层桶内的情况下，各分层桶各自对应的次数范围可以为预先设置的固定范围；各分层桶各自对应的次数范围可以为动态调整的访问，如处理器可以根据全部分层最小存储单元的读写次数，确定各分层桶各自对应的次数范围，例如处理器按照各分层最小存储单元的读写次数排序，确定各各分层桶各自对应的次数范围，使将全部分层最小存储单元能够平均分配到各分层桶。其中，各分层桶对应的次数范围之间不存在交集；例如，上述1和2号桶的次数范围可以由低到高，即1号桶对应的次数范围的最大值可以小于2号桶对应的次数范围的最小值；上述3到11号桶的次数范围可以由高到低，即前1号桶对应的次数范围的最小值可以大于后1号桶对应的次数范围的最大值，如3号桶对应的次数范围的最小值可以大于4号桶对应的次数范围的最大值；11号桶对应的次数范围的最小值可以大于2号桶对应的次数范围的最大值。
步骤103：根据目标读写次数，对分层桶中目标分层桶中的最小存储单元进行堆排序；其中，目标读写次数为目标分层桶中最小存储单元的读写次数，目标分层桶包括目标冷数据桶和目标热数据桶，目标冷数据桶对应的最大读写次数小于其他预设桶对应的读写次数，目标热数据桶对应的最小读写次数大于其他预设桶对应的读写次数。
可以理解的是，本步骤中的目标分层桶可以为需要在桶内进行堆排序的分层桶。本步骤中的目标冷数据桶可以包括一个目标冷数据桶(如上述1号桶)和一个目标热数据桶(如上述3号桶)，划分到该目标冷数据桶的最小存储单元的读写次数中的最大值(即最大读写次数)小于其他预设桶中最小存储单元的读写次数，划分到该目标热数据桶的最小存储单元的读写次数中的最小值(即最小读写次数)大于其他预设桶中最小存储单元的读写次数，即目标冷数据桶可以存放读写次数最小的一批最小存储单元，目标热数据桶可以存放读写次数最大的一批最小存储单元。
对应的，对于本实施例中目标分层桶的具体选择，可以由设计人员根据实用场景和用户需求自行设置，如目标分层桶可以仅包括目标冷数据桶和目标热数据桶；目标分层桶也可以包括目标冷数据桶、目标热数据桶和其他分层桶，例如目标分层桶可以包括全部分层桶，即本步骤中处理器可以根据全部分层桶中最小存储单元的读写次数，对每个分层桶中的最小存储单元进行堆排序。本实施例对此不做任何限制。
具体的，本步骤中通过根据目标读写次数，对分层桶中目标分层桶中的最小存储单元进行堆排序，方便筛选所需的数据。对应的，对于本步骤中处理器根据目标读写次数，对分层桶中目标分层桶中的最小存储单元进行堆排序的具体方式，可以由设计人员自行设置，如冷数据桶内可以使用小根堆排序，热数据桶内可以使用大根堆排序，即冷数据桶内最小存储单元的排名越靠前其读写次数越小，热数据桶内最小存储单元的排名越靠前其读写次数越大；例如，目标分层桶包括全部分层桶时，本步骤中处理器可以根据各冷数据桶中最小存储单元的读写次数，对各冷数据桶中最小存储单元进行小根堆排序；根据各热数据桶中最小存储单元的读写次数，对各热数据桶中最小存储单元进行大根堆排序；其中，分层桶包括热数据桶和冷数据桶，热数据桶包括目标热数据桶，冷数据桶包括目标冷数据桶，冷数据桶对应的最大读写次数小于热数据桶对应的最小读写次数。
需要说明的是，本实施例还可以包括存储系统的数据迁移过程，如步骤103之后，处理器可以根据目标冷数据桶和目标热数据桶中最小存储单元的排序顺序，确定目标冷数据桶和目标热数据桶中的目标最小存储单元的数据，并对数据进行数据迁移，以完成冷热数据的筛选迁移；其中，目标最小存储单元包括目标冷数据桶中读写次数最小的最小存储单元和目标热数据桶中读写次数最大的最小存储单元。例如，在目标冷数据桶采用小根堆排序，目标热数据桶采用大根堆排序的情况下，处理器分别将目标冷数据桶和目标热数据桶中排名前预设数量的最小存储单元确定为目标最小存储单元，以筛选确定目标冷数据桶中读写次数最小的预设数量(如1)的最小存储单元的数据(即冷数据)和目标热数据桶中读写次数最大的预设数量的最小存储单元的数据(即热数据)。
本实施例中，本发明实施例通过根据读写次数，将每个最小存储单元划分到各自对应的预设桶内，对存储系统中的最小存储单元进行桶排序，使冷热数据可以分配到相应的预设桶内；通过根据目标读写次数，对分层桶中目标分层桶中的最小存储单元进行堆排序，能够对桶内的最小存储单元进行堆排序，能够便捷地选取需要迁移的冷热数据，基于桶排序和堆排序实现存储系统中数据的分层，使数据的分配更加合理，节约了存储成本。
相应于上面的方法实施例，本发明实施例还提供了一种存储系统的数据分层装置，下文描述的一种存储系统的数据分层装置与上文描述的一种存储系统的数据分层方法可相互对应参照。
请参考图2，图2为本发明实施例所提供的一种存储系统的数据分层装置的结构框图。该装置可以包括：
读写获取模块10，用于获取存储系统中各最小存储单元在预设时间内的读写次数；
桶排序模块20，用于根据读写次数，将每个最小存储单元划分到各自对应的预设桶内；其中，预设桶包括分层桶和不分层桶；
堆排序模块30，用于根据目标读写次数，对分层桶中目标分层桶中的最小存储单元进行堆排序；其中，目标读写次数为目标分层桶中最小存储单元的读写次数，目标分层桶包括目标冷数据桶和目标热数据桶，目标冷数据桶对应的最大读写次数小于其他预设桶对应的读写次数，目标热数据桶对应的最小读写次数大于其他预设桶对应的读写次数。
可选的，桶排序模块20可以包括：
第一划分子模块，用于根据读写次数和每个分层桶各自对应的次数范围，将每个分层最小存储单元划分到各自对应的分层桶内；
第二划分子模块，用于将最小存储单元中的不分层最小存储单元划分到不分层桶；其中，不分层最小存储单元包括读写次数统计时间未达到预设时间的最小存储单元，分层最小存储单元为存储系统中不分层最小存储单元之外的最小存储单元。
可选的，桶排序模块20还可以包括：
范围确定模块，用于根据读写次数，确定各分层桶各自对应的次数范围；其中，各分层桶对应的次数范围之间不存在交集。
可选的，目标分层桶包括全部分层桶时，堆排序模块30可以包括：
第一排序子模块，用于根据各冷数据桶中最小存储单元的读写次数，对各冷数据桶中最小存储单元进行小根堆排序；
第二排序子模块，用于根据各热数据桶中最小存储单元的读写次数，对各热数据桶中最小存储单元进行大根堆排序；其中，分层桶包括热数据桶和冷数据桶，热数据桶包括目标热数据桶，冷数据桶包括目标冷数据桶，冷数据桶对应的最大读写次数小于热数据桶对应的最小读写次数。
可选的，读写获取模块10可以具体用于按预设时间间隔获取各最小存储单元在预设时间内的读写次数。
可选的，该装置还可以包括：
筛选迁移模块，用于根据目标冷数据桶和目标热数据桶中最小存储单元的排序顺序，确定目标冷数据桶和目标热数据桶中的目标最小存储单元的数据，并对数据进行数据迁移；其中，目标最小存储单元包括目标冷数据桶中读写次数最小的最小存储单元和目标热数据桶中读写次数最大的最小存储单元。
可选的，筛选迁移模块可以包括：
筛选子模块，用于分别将目标冷数据桶和目标热数据桶中排名前预设数量的最小存储单元确定为目标最小存储单元。
本实施例中，本发明实施例通过桶排序模块20根据读写次数，将每个最小存储单元划分到各自对应的预设桶内，对存储系统中的最小存储单元进行桶排序，使冷热数据可以分配到相应的预设桶内；通过堆排序模块30根据目标读写次数，对分层桶中目标分层桶中的最小存储单元进行堆排序，能够对桶内的最小存储单元进行堆排序，能够便捷地选取需要迁移的冷热数据，基于桶排序和堆排序实现存储系统中数据的分层，使数据的分配更加合理，节约了存储成本。
相应于上面的方法实施例，本发明实施例还提供了一种存储系统的数据分层设备，下文描述的一种存储系统的数据分层设备与上文描述的一种存储系统的数据分层方法可相互对应参照。
请参考图3，图3为本发明实施例所提供的一种存储系统的数据分层设备的结构示意图。该存储系统的数据分层设备可以包括：
存储器D1，用于存储计算机程序；
处理器D2，用于执行计算机程序时实现上述方法实施例所提供的存储系统的数据分层方法的步骤。
具体的，请参考图4，图4为本发明实施例所提供的一种存储系统的数据分层设备的具体结构示意图，该数据分层设备310可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上单元(图示没标出)，每个单元可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在数据分层设备310上执行存储介质330中的一系列指令操作。
数据分层设备310还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。例如，Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等。
其中，数据分层设备310可以具体为存储系统的服务器。
上文所描述的存储系统的数据分层方法中的步骤可以由存储系统的数据分层设备的结构实现。
相应于上面的方法实施例，本发明实施例还提供了一种计算机可读存储介质，下文描述的一种计算机可读存储介质与上文描述的一种存储系统的数据分层方法可相互对应参照。
一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所提供的存储系统的数据分层方法的步骤。
该计算机可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
以上对本发明所提供的一种存储系统的数据分层方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种存储系统的数据分层方法，其特征在于，包括：
获取存储系统中各最小存储单元在预设时间内的读写次数；
根据所述读写次数，将每个最小存储单元划分到各自对应的预设桶内；其中，所述预设桶包括分层桶和不分层桶；
根据目标读写次数，对所述分层桶中目标分层桶中的最小存储单元进行堆排序；其中，所述目标读写次数为所述目标分层桶中最小存储单元的读写次数，所述目标分层桶包括目标冷数据桶和目标热数据桶，所述目标冷数据桶对应的最大读写次数小于其他预设桶对应的读写次数，所述目标热数据桶对应的最小读写次数大于其他预设桶对应的读写次数；
根据所述目标冷数据桶和所述目标热数据桶中最小存储单元的排序顺序，确定所述目标冷数据桶和所述目标热数据桶中的目标最小存储单元的数据，并对所述数据进行数据迁移；其中，所述目标最小存储单元包括所述目标冷数据桶中读写次数最小的最小存储单元和所述目标热数据桶中读写次数最大的最小存储单元；
相应的，所述根据所述读写次数，将每个最小存储单元划分到各自对应的预设桶内，包括：
根据所述读写次数和每个所述分层桶各自对应的次数范围，将每个分层最小存储单元划分到各自对应的分层桶内；
将所述最小存储单元中的不分层最小存储单元划分到所述不分层桶；其中，所述不分层最小存储单元包括读写次数统计时间未达到所述预设时间的最小存储单元，所述分层最小存储单元为所述存储系统中所述不分层最小存储单元之外的最小存储单元。
2.根据权利要求1所述的存储系统的数据分层方法，其特征在于，所述根据所述读写次数和每个分层桶各自对应的次数范围，将每个分层最小存储单元划分到各自对应的分层桶内之前，还包括：
根据所述读写次数，确定各所述分层桶各自对应的次数范围；其中，各所述分层桶对应的次数范围之间不存在交集。
3.根据权利要求1所述的存储系统的数据分层方法，其特征在于，所述目标分层桶包括全部所述分层桶时，所述根据目标读写次数，对所述分层桶中目标分层桶中的最小存储单元进行堆排序，包括：
根据各冷数据桶中最小存储单元的读写次数，对各所述冷数据桶中最小存储单元进行小根堆排序；
根据各热数据桶中最小存储单元的读写次数，对各所述热数据桶中最小存储单元进行大根堆排序；其中，所述分层桶包括所述热数据桶和所述冷数据桶，所述热数据桶包括所述目标热数据桶，所述冷数据桶包括所述目标冷数据桶，所述冷数据桶对应的最大读写次数小于所述热数据桶对应的最小读写次数。
4.根据权利要求1所述的存储系统的数据分层方法，其特征在于，所述获取存储系统中各最小存储单元在预设时间内的读写次数，包括：
按所述预设时间间隔获取各所述最小存储单元在所述预设时间内的读写次数。
5.根据权利要求1所述的存储系统的数据分层方法，其特征在于，在所述目标冷数据桶采用小根堆排序，所述目标热数据桶采用大根堆排序的情况下，所述根据所述目标冷数据桶和所述目标热数据桶中最小存储单元的排序顺序，确定所述目标冷数据桶和所述目标热数据桶中的目标最小存储单元的数据，包括：
分别将所述目标冷数据桶和所述目标热数据桶中排名前预设数量的最小存储单元确定为所述目标最小存储单元。
6.一种存储系统的数据分层装置，其特征在于，包括：
读写获取模块，用于获取存储系统中各最小存储单元在预设时间内的读写次数；
桶排序模块，用于根据所述读写次数，将每个最小存储单元划分到各自对应的预设桶内；其中，所述预设桶包括分层桶和不分层桶；
堆排序模块，用于根据目标读写次数，对所述分层桶中目标分层桶中的最小存储单元进行堆排序；其中，所述目标读写次数为所述目标分层桶中最小存储单元的读写次数，所述目标分层桶包括目标冷数据桶和目标热数据桶，所述目标冷数据桶对应的最大读写次数小于其他预设桶对应的读写次数，所述目标热数据桶对应的最小读写次数大于其他预设桶对应的读写次数；
筛选迁移模块，用于根据所述目标冷数据桶和所述目标热数据桶中最小存储单元的排序顺序，确定所述目标冷数据桶和所述目标热数据桶中的目标最小存储单元的数据，并对所述数据进行数据迁移；其中，所述目标最小存储单元包括所述目标冷数据桶中读写次数最小的最小存储单元和所述目标热数据桶中读写次数最大的最小存储单元；
相应的，所述桶排序模块包括：
第一划分子模块，用于根据所述读写次数和每个所述分层桶各自对应的次数范围，将每个分层最小存储单元划分到各自对应的分层桶内；
第二划分子模块，用于将所述最小存储单元中的不分层最小存储单元划分到所述不分层桶；其中，所述不分层最小存储单元包括读写次数统计时间未达到所述预设时间的最小存储单元，所述分层最小存储单元为所述存储系统中所述不分层最小存储单元之外的最小存储单元。
7.一种存储系统的数据分层设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的存储系统的数据分层方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的存储系统的数据分层方法的步骤。
CN202111275294.5A 2021-10-29 2021-10-29 一种存储系统的数据分层方法、装置、设备及存储介质 Active CN114138183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111275294.5A CN114138183B (zh) 2021-10-29 2021-10-29 一种存储系统的数据分层方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111275294.5A CN114138183B (zh) 2021-10-29 2021-10-29 一种存储系统的数据分层方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114138183A CN114138183A (zh) 2022-03-04
CN114138183B true CN114138183B (zh) 2023-09-12

Family

ID=80396232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111275294.5A Active CN114138183B (zh) 2021-10-29 2021-10-29 一种存储系统的数据分层方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114138183B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015081757A1 (zh) * 2013-12-05 2015-06-11 华为技术有限公司 冷热数据识别门限值计算方法、装置和系统
CN107807796A (zh) * 2017-11-17 2018-03-16 北京联想超融合科技有限公司 一种基于超融合存储系统的数据分层方法、终端及系统
CN107844269A (zh) * 2017-10-17 2018-03-27 华中科技大学 一种基于一致性哈希的分层混合存储系统及方法
CN107908367A (zh) * 2017-11-16 2018-04-13 郑州云海信息技术有限公司 存储系统中数据存储的方法、装置、设备及存储介质
CN109240611A (zh) * 2018-08-28 2019-01-18 郑州云海信息技术有限公司 小文件冷热数据分层方法、小文件数据访问方法及其装置
CN109407995A (zh) * 2018-11-05 2019-03-01 北京三快在线科技有限公司 冷热数据管理方法、装置、电子设备及计算机可读介质
CN109739442A (zh) * 2019-01-08 2019-05-10 郑州云海信息技术有限公司 一种数据迁移方法、系统及相关组件
CN110018797A (zh) * 2019-04-11 2019-07-16 苏州浪潮智能科技有限公司 一种数据迁移方法、装置、设备及可读存储介质
CN110688067A (zh) * 2019-09-06 2020-01-14 苏州浪潮智能科技有限公司 一种存储系统的分层方法、装置、设备及介质
CN111124304A (zh) * 2019-12-19 2020-05-08 北京浪潮数据技术有限公司 一种数据迁移方法、装置及电子设备和存储介质
CN111880735A (zh) * 2020-07-24 2020-11-03 北京浪潮数据技术有限公司 一种存储系统中数据迁移方法、装置、设备及存储介质
CN111880731A (zh) * 2020-07-17 2020-11-03 北京浪潮数据技术有限公司 一种数据处理方法、装置及相关组件
CN113157414A (zh) * 2021-04-19 2021-07-23 星辰天合（北京）数据科技有限公司 任务处理方法、装置、非易失性存储介质及处理器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9323471B2 (en) * 2014-01-28 2016-04-26 International Business Machines Corporation Management of extent migration on tiered storage
US10877683B2 (en) * 2019-04-09 2020-12-29 International Business Machines Corporation Tiered storage optimization and migration

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015081757A1 (zh) * 2013-12-05 2015-06-11 华为技术有限公司 冷热数据识别门限值计算方法、装置和系统
CN107844269A (zh) * 2017-10-17 2018-03-27 华中科技大学 一种基于一致性哈希的分层混合存储系统及方法
CN107908367A (zh) * 2017-11-16 2018-04-13 郑州云海信息技术有限公司 存储系统中数据存储的方法、装置、设备及存储介质
CN107807796A (zh) * 2017-11-17 2018-03-16 北京联想超融合科技有限公司 一种基于超融合存储系统的数据分层方法、终端及系统
CN109240611A (zh) * 2018-08-28 2019-01-18 郑州云海信息技术有限公司 小文件冷热数据分层方法、小文件数据访问方法及其装置
CN109407995A (zh) * 2018-11-05 2019-03-01 北京三快在线科技有限公司 冷热数据管理方法、装置、电子设备及计算机可读介质
CN109739442A (zh) * 2019-01-08 2019-05-10 郑州云海信息技术有限公司 一种数据迁移方法、系统及相关组件
CN110018797A (zh) * 2019-04-11 2019-07-16 苏州浪潮智能科技有限公司 一种数据迁移方法、装置、设备及可读存储介质
CN110688067A (zh) * 2019-09-06 2020-01-14 苏州浪潮智能科技有限公司 一种存储系统的分层方法、装置、设备及介质
CN111124304A (zh) * 2019-12-19 2020-05-08 北京浪潮数据技术有限公司 一种数据迁移方法、装置及电子设备和存储介质
CN111880731A (zh) * 2020-07-17 2020-11-03 北京浪潮数据技术有限公司 一种数据处理方法、装置及相关组件
CN111880735A (zh) * 2020-07-24 2020-11-03 北京浪潮数据技术有限公司 一种存储系统中数据迁移方法、装置、设备及存储介质
CN113157414A (zh) * 2021-04-19 2021-07-23 星辰天合（北京）数据科技有限公司 任务处理方法、装置、非易失性存储介质及处理器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HDFS数据动态分布设计与实现;蔡宇昂;张鑫晏;;绿色科技(06);228-231 *

Also Published As

Publication number Publication date
CN114138183A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
US11132383B2 (en) Techniques for processing database tables using indexes
CN106407207B (zh) 一种实时新增数据更新方法和装置
CN103970870A (zh) 数据库查询方法和服务器
CN112000467A (zh) 一种数据倾斜处理方法、装置、终端设备及存储介质
CN110019298B (zh) 数据处理方法和装置
WO2016161296A1 (en) Multi-cluster management method and device
CN108388509B (zh) 一种软件测试方法、计算机可读存储介质及终端设备
CN106202092A (zh) 数据处理的方法及系统
CN104281664A (zh) 分布式图计算系统数据切分方法和系统
CN110737717B (zh) 一种数据库迁移方法及装置
CN113780404A (zh) 资源数据的处理方法及装置
CN112581261A (zh) 一种风控规则确定方法及装置
CN112365070A (zh) 一种电力负荷预测方法、装置、设备及可读存储介质
CN108833592A (zh) 云主机调度器优化方法、装置、设备及存储介质
CN108389152B (zh) 一种图结构感知的图处理方法及装置
CN113177050A (zh) 一种数据均衡的方法、装置、查询系统及存储介质
CN114138183B (zh) 一种存储系统的数据分层方法、装置、设备及存储介质
CN111611228B (zh) 一种基于分布式数据库的负载均衡调整方法及装置
CN111858607A (zh) 数据处理方法、装置、电子设备和计算机可读介质
CN115238837B (zh) 一种数据处理方法、装置、电子设备及存储介质
US20160253591A1 (en) Method and apparatus for managing performance of database
CN106202374A (zh) 一种数据处理方法及装置
CN113722415B (zh) 点云数据的处理方法、装置、电子设备及存储介质
CN108243037B (zh) 网站流量异常确定方法及装置
CN115018383A (zh) 任务分配方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant