CN103631538B - 冷热数据识别门限值计算方法、装置和系统 - Google Patents

冷热数据识别门限值计算方法、装置和系统 Download PDF

Info

Publication number
CN103631538B
CN103631538B CN201310652334.2A CN201310652334A CN103631538B CN 103631538 B CN103631538 B CN 103631538B CN 201310652334 A CN201310652334 A CN 201310652334A CN 103631538 B CN103631538 B CN 103631538B
Authority
CN
China
Prior art keywords
data
value
count
data block
memory node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310652334.2A
Other languages
English (en)
Other versions
CN103631538A (zh
Inventor
王辰
林宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310652334.2A priority Critical patent/CN103631538B/zh
Publication of CN103631538A publication Critical patent/CN103631538A/zh
Priority to EP14867131.6A priority patent/EP3070591B1/en
Priority to PCT/CN2014/088920 priority patent/WO2015081757A1/zh
Priority to US15/173,456 priority patent/US10031671B2/en
Application granted granted Critical
Publication of CN103631538B publication Critical patent/CN103631538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0617—Improving the reliability of storage systems in relation to availability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种冷热数据识别门限值计算方法、装置和系统。该方法包括：向每个存储节点发送数据块的IO统计信息查询命令；接收每个存储节点发送的IO统计信息；对接收到的每个存储节点的IO统计信息中计数范围相同的IO计数字段值进行加运算，生成与各个计数范围对应的IO计数统计值；根据各个存储节点中热数据存储介质的总容量、数据块的大小、IO计数统计值，得到将高IO计数统计值对应的数据块存满热数据存储介质时，高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值。本发明实现了存储系统中各个存储节点独立但协调地完成整个存储系统的数据分层存储。

Description

冷热数据识别门限值计算方法、装置和系统
技术领域
本发明涉及数据存储技术领域，尤其涉及一种冷热数据识别门限值计算方法、装置和系统。
背景技术
随着存储技术的发展，人们对存储系统的容量和性能的要求也越来越高，但是容量大、性能高的存储系统价格也高。以低价格满足存储系统的性能和容量的需求催生了分层存储技术。
数据分层存储技术是应对数据生命周期管理需求的主流技术，通过监控业务数据，可以记录数据的访问频率、IO计数等参数值。依据监控到的IO等参数值可以决定业务数据应该存储在存储系统的哪一层，热点数据可迁往存储系统的高性能层级，冷点数据可迁往存储系统中的低性能层级，由此可实现以较低的价格满足存储系统的性能和容量需求。
分层存储技术主要包括数据监控、数据冷热识别和数据迁移三部分。在现有技术下，数据监控功能模块、数据冷热识别功能模块和数据迁移功能模块分布在存储系统各个存储节点中，但是整个存储系统没有统一的冷热识别标准，因此分层存储功能只能在存储系统中单个存储节点内完成，不能跨存储节点进行数据迁移，导致了存储系统的分层存储功能的实用性和可用性大大降低。
发明内容
本发明实施例提供了一种冷热数据识别门限值计算方法、装置和系统，以实现存储系统中各个存储节点具有统一的冷热识别标准，能独立但是协调地完成整个存储系统的数据分层存储，增加了存储系统分层存储功能的实用性和可用性。
第一方面，本发明实施例提供了一种冷热数据识别门限值计算方法，存储控制服务器和多个存储节点连接，至少一个所述存储节点中包括热数据存储介质以及冷数据存储介质，所述存储节点存储有数据块，所述存储控制服务器执行以下步骤：
向每个所述存储节点发送所述数据块的IO统计信息查询命令；
接收每个所述存储节点发送的IO统计信息，所述IO统计信息包括有至少一个IO计数字段值，每个所述IO计数字段值记录有发送所述IO统计信息的存储节点中，IO计数值在各个计数范围内的数据块的个数；
对接收到的所述每个存储节点的IO统计信息中计数范围相同的IO计数字段值进行加运算，生成与各个计数范围对应的IO计数统计值；
根据各个所述存储节点中热数据存储介质的总容量、所述数据块的大小、所述IO计数统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值，其中，所述高IO计数统计值中的每一个IO计数统计值，不小于非高IO计数统计值中的IO计数统计值。
在第一种可能的实现方式中，所述IO统计信息还包括有至少一个顺序度字段值，每个所述顺序度字段值记录有发送所述IO统计信息的存储节点中，顺序度值在各个顺序度范围内的数据块的个数。
根据第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述方法还包括：对接收到的所述每个存储节点的IO统计信息中顺序度范围相同的顺序度字段值进行加运算，生成与各个顺序度范围对应的顺序度统计值；所述根据各个所述存储节点中热数据存储介质的总容量、所述数据块的大小、所述IO计数统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值之前还包括具体为：根据所述存储系统的热数据存储介质的总容量，所述数据块的大小、所述IO计数统计值以及所述顺序度统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值。
第二方面，本发明实施例还提供了一种冷热数据识别门限值计算方法，存储控制服务器和多个存储节点连接，至少一个所述存储节点中包括热数据存储介质以及冷数据存储介质，所述存储节点存储有数据块，每个存储节点执行以下步骤：
接收所述存储控制服务器发送的IO统计信息查询命令；
根据所述IO统计信息查询命令，对本地存储节点中数据块的监控信息中的IO计数进行分段统计，得到IO计数值在各个计数范围内的数据块的个数作为IO计数字段值；
向所述存储控制服务器发送所述IO统计信息，所述IO统计信息中包括有至少一个IO计数字段值；
接收所述存储控制服务器发送的存储系统的冷热数据识别门限值，根据所述冷热数据识别门限值，识别出热点数据和冷点数据并实现所述热点数据和所述冷点数据的分层存储。
在第一种可能的实现方式中，所述监控信息还包括数据块的IO顺序度、或者数据块的IO读写比例，其中，所述顺序度为每个数据块的顺序IO计数占总的IO计数的比例，所述IO读写比例为每个数据块的IO读操作的次数与IO写操作的次数的比例；所述IO统计信息还包括有至少一个顺序度字段值，其中每个所述顺序读字段值记录有本地存储节点中，顺序度值在各个顺序度范围内的数据块的个数。
根据第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述对本地存储节点中数据块的监控信息中的IO计数进行分段统计，得到IO计数值在各个计数范围内的数据块的个数作为IO计数字段值具体包括：对本地存储节点中数据块的IO计数按照IO读写比例进行统计，得到IO统计信息中的IO计数字段的各个值。
根据第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述对本地存储节点中数据块的IO计数按照IO读写比例进行统计，得到IO统计信息中的IO计数字段的各个值具体包括：根据数据块被访问的IO次数，以及IO读写比例，计算数据块的IO计数值；获取本地存储节点中数据块的最高IO计数M；确定IO计数字段值的个数N；对所述最高IO计数M与IO计数字段值的个数N进行除运算，得到所述计数范围；统计每个计数范围内数据块的个数，得到N个IO计数字段值。
第三方面，本发明实施例提供了一种存储控制服务器，存储控制服务器和多个存储节点连接，至少一个所述存储节点中包括热数据存储介质以及冷数据存储介质，所述存储节点存储有数据块，所述存储控制服务器包括：
发送单元，用于向每个所述存储节点发送所述数据块的IO统计信息查询命令；
接收单元，用于接收每个所述存储节点发送的IO统计信息，所述IO统计信息包括有至少一个IO计数字段值，每个所述IO计数字段值记录有发送所述IO统计信息的存储节点中，IO计数值在各个计数范围内的数据块的个数；
生成单元，用于对接收到的所述每个存储节点的IO统计信息中计数范围相同的IO计数字段值进行加运算，生成与各个计数范围对应的IO计数统计值；
确定单元，用于根据各个所述存储节点中热数据存储介质的总容量、所述数据块的大小、所述IO计数统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值，其中，所述高IO计数统计值中的每一个IO计数统计值，不小于非高IO计数统计值中的IO计数统计值。
在第一种可能的实现方式中，所述IO统计信息还包括有至少一个顺序度字段值，每个所述顺序度字段值记录有发送所述IO统计信息的存储节点中，顺序度值在各个顺序度范围内的数据块的个数。
根据第三方面的第一种可能的实现方式中，在第二种可能的实现方式中，所述生成单元还用于：对接收到的所述每个存储节点的IO统计信息中顺序度范围相同的顺序度字段值进行加运算，生成与各个顺序度范围对应的顺序度统计值；所述确定单元具体用于：根据所述存储系统的热数据存储介质的总容量，所述数据块的大小、所述IO计数统计值以及所述顺序度统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值。
第四方面，本发明实施例提供了一种存储节点，存储控制服务器和多个存储节点连接，至少一个所述存储节点中包括热数据存储介质以及冷数据存储介质，所述存储节点存储有数据块，每个存储节点包括：
接收单元，用于接收所述存储控制服务器发送的IO统计信息查询命令；
统计单元，用于根据所述IO统计信息查询命令，对本地存储节点中数据块的监控信息中的IO计数进行分段统计，得到IO计数值在各个计数范围内的数据块的个数作为IO计数字段值；
发送单元，用于向所述存储控制服务器发送所述IO统计信息，所述IO统计信息中包括有至少一个IO计数字段值；
所述接收单元，还用于接收所述存储控制服务器发送的存储系统的冷热数据识别门限值；
实现单元，用于接收所述存储控制服务器发送的存储系统的冷热数据识别门限值，根据所述冷热数据识别门限值，识别出热点数据和冷点数据并实现所述热点数据和所述冷点数据的分层存储。
在第一种可能的实现方式中，所述监控信息还包括数据块的IO顺序度、或者数据块的IO读写比例，其中，所述顺序度为每个数据块的顺序IO计数占总的IO计数的比例，所述IO读写比例为每个数据块的IO读操作的次数与IO写操作的次数的比例；所述IO统计信息还包括有至少一个顺序度字段值，其中每个所述顺序读字段值记录有本地存储节点中，顺序度值在各个顺序度范围内的数据块的个数。
根据第四方面的第一种可能的实现方式，在第二种可能的实现方式中，所述统计单元具体用于：对本地存储节点中数据块的IO计数按照IO读写比例进行统计，得到IO统计信息中的IO计数字段的各个值。
根据第四方面的第二种可能的实现方式，在第三种可能的实现方式中，所述统计单元统计得到IO统计信息中的IO计数字段的各个值的过程具体包括：根据数据块被访问的IO次数，以及IO读写比例，计算数据块的IO计数值；获取本地存储节点中数据块的最高IO计数M；确定IO计数字段值的个数N；对所述最高IO计数M与IO计数字段值的个数N进行除运算，得到所述计数范围；统计每个计数范围内数据块的个数，得到N个IO计数字段值。
第五方面，本发明实施例提供了一种存储系统，所述系统包括上述存储控制服务器，以及多个如上所述的存储节点
本发明实施例提供的冷热数据识别门限值计算方法、装置和系统中，通过对存储系统中的某个时间段内的各个存储节点的监控信息进行统计、计算，可以得出整个存储系统的冷热数据识别门限值，从而实现存储系统中各个存储节点具有统一的冷热识别标准，能独立但是协调地完成整个存储系统的数据分层存储，可以实现存储系统中跨存储节点进行数据迁移，充分发挥整个存储系统的所有高性能存储介质的性能优势，以较低的价格满足存储系统的性能和容量需求。
附图说明
图1为本发明实施例提供的一种存储系统的示意图；
图2为本发明实施例提供的一种冷热数据识别门限值计算方法流程图；
图3为本发明实施例提供的另一冷热数据识别门限值计算方法流程图；
图4为本发明实施例提供的一种存储节点的数据统计结果示意图；
图5为本发明实施例提供的一种存储控制服务器示意图；
图6为本发明实施例提供的一种存储节点示意图；
图7为本发明实施例提供的另一存储控制服务器示意图；
图8为本发明实施例提供的另一存储节点示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透切理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
本发明实施例提供的冷热数据识别门限值计算方法可以应用于如图1所示的存储系统中，如图1所示，本发明实施例提供的存储系统中，包括存储控制服务器和多个存储节点，其中存储控制服务器与存储系统组网，组网后，存储控制服务器可以与其中的各个存储节点进行通信。存储控制服务器可向每个存储节点中的数据监控程序发送IO统计信息查询命令，数据监控程序对本存储节点的主机IO信息进行分段统计后得到数据量较小的IO统计信息，然后将该信息反馈给存储控制服务器，用于存储控制服务器确定整个存储系统的冷热数据识别门限值，然后将该门限值反馈给存储节点，由每个存储节点根据该冷热数据识别门限值识别出冷热数据，进而实现数据的分层存储。由此实现存储系统中各个存储节点独立但是协调地完成整个存储系统的数据分层存储，增加了存储系统分层存储功能的实用性和可用性。需要说明的是，本存储系统中，存储控制服务器可以位于某个存储节点中，也可以单独位于一个功能实体中，而每个存储节点中也可以单独设置一个执行器程序，用来与存储控制服务器进行信息交互，当然也可以不设置该执行器程序，而使存储控制服务器与存储节点中的数据监控程序、数据冷热识别程序、数据迁移程序等进行信息交互。
图2为本发明实施例提供的一种冷热数据识别门限值计算方法流程图，该实施例的执行主体是存储控制服务器，存储控制服务器和多个存储节点连接，至少一个存储节点中包括热数据存储介质和冷数据存储介质，每个存储节点中存储有数据块，该实施例详细描述了存储控制服务器确定整个存储系统的冷热数据识别门限值的方法，如图所示，存储控制服务器可执行以下步骤：
步骤2O1，向所述多个存储节点中的每个存储节点发送IO统计信息查询命令。
本发明实施例提供的存储系统中，存储控制服务器可以位于某个存储节点中，也可以单独位于一个功能实体中，而每个存储节点中也可以单独设置一个分层存储执行器程序，用来与存储控制服务器进行通信，当然也可以不设置该执行器程序，而使存储控制服务器与存储节点中的数据监控程序、数据冷热识别程序、数据迁移程序等进行通信。
本发明实施例以每个存储节点中没有设置分层存储执行器的存储系统为例，来描述本发明的技术方案，但是本发明实施例提供的技术方案同样适用于上述设置有分层存储执行器的存储系统。
存储控制服务器与存储系统组网后，存储控制服务器可以与存储系统中各个存储节点上的分级存储执行器进行通信。存储控制服务器自行确定时机向分级存储执行器发送IO统计信息查询命令，进而根据各个存储节点反馈的IO统计信息确定整个存储系统的冷热数据识别标准。
分级存储执行器程序、数据监控程序、数据冷热识别程序、数据迁移程序都在一个存储节点内工作，与其他存储节点没有联系。某个存储节点收到主机IO，不需要转发到其他存储节点，直接会被本存储节点上的数据监控程序拦截并生成相应的监控信息，因此数据的分层存储效率提高了很多。
步骤2O2，接收每个所述存储节点发送的IO统计信息，所述IO统计信息包括有至少一个IO计数字段值，每个所述IO计数字段值记录有发送所述IO统计信息的存储节点中，IO计数值在各个计数范围内的数据块的个数。
其中，IO统计信息包括多个字段，每个字段包括有至少一个字段值，其中每个字段可以以一个数组的形式实现，每个字段值即为该数据组中的每个数组元素；每个字段还可以以表格的形式实现，每个字段值即为表格每个单元格的内容，图4为本发明实施例提供的一种存储节点的数据统计结果示意图，图4给出的是表格形式的统计结果。
各个存储节点中的存储控制服务器接收到IO统计信息查询命令后，可以通知数据监控程序对监控到的主机IO信息进行分段统计，从而生成一个数据量较小的统计结果，即IO统计信息，这个信息可以反应出本存储节点大致的冷热数据分布情况。
具体地，存储节点可以根据监控信息中的IO计数、顺序度分别进行统计，得到本存储节点大致的冷热数据分布情况，下面以字段以数组的形式实现为例，描述由监控信息中数据块的IO计数来得到统计信息中的IO计数字段值的过程：
存储节点中每个数据块的最大IO计数值为M，在分段统计时可以创建一个元素个数为M的数组Array(具体实现方式不限)，遍历存储节点的监控信息，例如存储节点中IO计数为1的数据块的个数为N1，则把Array[0]赋值为N1，存储节点中IO计数为2的数据块的个数为N2，则把Array[2-1]赋值为N2，......存储节点中IO计数为n的数据块的个数为Nn，则把Array[n-1]赋值为Nn，......存储节点中IO计数为M的数据块的个数为Nm，则把Array[M-1]赋值为Nm。这样遍历完一遍之后，数组Array中记录的每个值就可以反映存储节点中数据冷热分布情况。
其中，存储系统中某些数据块可能非常热，IO计数值很大，即M是一个很大的值，由于资源的限制和计算的性能限制，创建一个元素个数为M的数组Array不太合适。可以将上面的算法改进一下，具体如下：
存储节点在获取统计信息数组Array时，数组的每个元素可以对应一个IO计数区间，即IO计数值在某个范围的IO计数值对应一个数组元素，这个范围的大小可以依据存储系统中最大IO计数值M和数组Array的元素个数N确定，IO计数区间大小为M/N，记为T(英文interval的缩写)。数组每个元素对应大小为T的IO计数区间，即元素Array[0]记录IO计数在[1，T)之间的数据块的个数，元素Array[1]记录IO计数在[T，2T)之间的数据块的个数，......，元素Array[N-1]记录IO计数在[(N-1)*T，N*T)之间的数据块的个数。这样遍历完一遍监控信息后，就可以用数组Array反映出存储节点中数据冷热分布情况。
上述为IO计数字段每个值的计算方法，其中，顺序度字段、IO读写比例也可以使用上述方法来统计并得到对应的各个值。
在计算IO计数字段的各个值时，可以结合IO读写比例进行计算，例如，如果某个数据块的写数据消耗是读数据消耗是P倍，则可以将IO访问次数按照读写比例算出等价的读IO次数，并且在后面计算门限值时使用这个等价的IO次数进行计算。当然，也可以不考虑读写比例因素，而只是单纯的按照IO访问次数来计算IO计数字段的各个值。
由此得到IO统计信息之后，可将IO统计信息以图4所述的形式发送到存储控制服务器。
步骤203，对接收到的所述每个存储节点的IO统计信息中计数范围相同的IO计数字段值进行加运算，生成与各个计数范围对应的IO计数统计值。
存储控制服务器接收到各个存储节点的IO统计信息之后，即可对各个节点的统计信息进行合并，并计算出整个存储系统的冷热数据识别门限值。
具体地，合并各个存储节点的统计信息得到整个存储系统的IO统计信息的方法为：存储控制服务器可以把所有存储节点返回的数组Array进行合并，合并过程为创建一个总的元素个数为M的数组CArray。CArray每个元素的值为各个存储节点返回的Array的对应元素的值的和。需要说明的是，这里只是以IO计数统计的一个简单示例进行描述，CArray元素的值的如何由多个Array生成，由实现者依据具体需要来定。
步骤204，根据各个所述存储节点中热数据存储介质的总容量、所述数据块的大小、所述IO计数统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值，其中，所述高IO计数统计值中的每一个IO计数统计值，不小于非高IO计数统计值中的IO计数统计值。
识别数据冷热的目的，就是把热数据迁到高性能层级，把冷数据放到低性能层级，如果高性能层级的容量可以存放X个数据块，那么通过门限值识别出最热的X个数据块放入热数据存储介质，其他的数据块放入冷数据存储介质。因此可以查询高性能层级的容量和可以容纳的数据块的大小，计算出高性能层级可以存放多个数据块。
其中，数据的冷热主要可以通过IO计数值的大小来衡量，高IO计数统计值对应的数据块为热数据块，非高IO计数统计值对应的数据块为冷数据快。
但是在实际实现中，存储系统中数据的冷热不局限于通过IO计数值来衡量，可以是多项IO参数值的复合体。例如IO计数门限值可以和上文中的顺序度值合在一起做为一个确定数据冷热的标准。
在上文中总的统计信息CArray中按下标从大到小的顺序遍历数组，就能找到一个下标Index，使得CArray[Index]+CArray[Index+1]+......+CArray[M-1]的和等于X，那么下标Index对应的IO计数值就可以作为高IO计数统计值中的最小IO计数统计值，即作为冷热数据识别门限值。如果一个数组元素对应一个IO计数区间，那么按照上面最小IO计数统计值的确定方法确定最小IO计数值，只能确定最小IO计数统计值对应的IO计数区间，而不能确定到一个具体值，例如只能确定IO计数门限值在IO计数区间[T，2T)，而不能确定具体值。为了确定最小IO计数统计值，需要再创建一个数组Array2(Array2的一个元素对应区间[T，2T)的一个子区间)，把监控计数在区间[T，2T)中数据块的个数统计到Array2中。如果结合Array和Array2依然不能精确确定门限值，则可以继续创建新的数组做更细的分段统计，直到可以精确确定最小IO计数统计值。
对应的，分层存储控制中心进行分段统计合并时，只合并存储节点返回的数组Array不够，需要合并数组序列Array、Array2、Array3......。最终用合并后的数组序列确定整个存储系统的冷热识别门限值。
本发明实施例提供的方法还包括：：对接收到的所述每个存储节点的IO统计信息中顺序度范围相同的顺序度字段值进行加运算，生成与各个顺序度范围对应的顺序度统计值。
由于不同属性的存储介质对IO顺序度值有不同的要求，因此可以首先根据存储系统的存储介质的属性信息来确定顺序度门限值，即根据存储系统中各种类型的存储介质的大小来确定顺序度值高于哪个值时可以将数据放入热数据存储介质。如果本存储系统的固态硬盘比较大，则可以将顺序度门限值设置的低一些。
使用IO计数值来衡量数据的冷热是非常直接的衡量标准，IO计数门限值是判断数据冷热的标准。如果IO计数门限值是IO计数值T，则某一个IO计数值大于T的数据块为热数据，应该放到热数据存储介质中，如果某个数据块的IO计数值小于T，则认为该数据块为冷数据，应该放到冷数据存储介质。
存储控制服务器把计算得出的冷热数据识别门限值发送至各个存储节点的分层存储执行器，并向分层存储执行器下发冷热数据识别和数据迁移的命令。分层存储执行器把接收到的门限值传输至本存储节点的数据冷热识别程序，数据冷热识别程序依据门限值分析本地主机的监控信息，进而识别出热点数据和冷点数据。然后分层存储执行器通知数据迁移程序把热数据迁往热数据存储介质，把冷数据迁往冷数据存储介质。
其中，数据迁移可以在本存储节点内进行，也可以在整个存储系统内进行。
由此，本发明实施例通过对存储系统中的某个时间段内的各个存储节点的监控信息进行统计、计算，可以得出整个存储系统的冷热数据识别门限值，从而实现存储系统中各个存储节点具有统一的冷热识别标准，能独立但是协调地完成整个存储系统的数据分层存储，可以实现存储系统中跨存储节点进行数据迁移，充分发挥整个存储系统的所有高性能存储介质的性能优势，以较低的价格满足存储系统的性能和容量需求。
图3为本发明实施例提供的另一冷热数据识别门限值计算方法流程图，本发明实施例的执行主体是存储节点，存储节点和存储控制服务器连接，至少一个所述存储节点中包括热数据存储介质以及冷数据存储介质，所述存储节点存储有数据块，每个存储节点执行以下步骤：，如图所示，存储节点执行以下步骤：
步骤3O1，接收所述存储控制服务器发送的IO统计信息查询命令。
本发明实施例提供的存储系统中，存储控制服务器可以位于某个存储节点中，也可以单独位于一个功能实体中，而每个存储节点中也可以单独设置一个分层存储执行器程序，用来与存储控制服务器进行通信，当然也可以不设置该执行器程序，而使存储控制服务器与存储节点中的数据监控程序、数据冷热识别程序、数据迁移程序等进行通信。
本发明实施例以每个存储节点中没有设置分层存储执行器的存储系统为例，来描述本发明的技术方案，但是本发明实施例提供的技术方案同样适用于设置了分层存储执行器的存储系统。
为了实现整个存储系统具有统一的冷热识别标准，存储控制服务器与存储系统组网后，存储控制服务器可以与存储系统中各个存储节点上的分级存储执行器进行通信，并自行确定时机向分级存储执行器发送IO统计信息查询命令，以获取各个存储节点的主机IO统计信息，由此存储节点可以接收到IO统计信息查询命令。
步骤302，根据所述IO统计信息查询命令，对本地存储节点中数据块的监控信息中的IO计数进行分段统计，得到IO计数值在各个计数范围内的数据块的个数作为IO计数字段值。
各个存储节点中的存储控制服务器接收到IO统计信息查询命令后，可以通知数据监控程序对监控到的主机IO信息进行分段统计，从而生成一个数据量较小的统计结果，即IO统计信息，IO统计信息包括多个字段，每个字段包括有至少一个字段值，其中每个字段可以以一个数组的形式实现，每个字段值即为该数据组中的每个数组元素；每个字段还可以以表格的形式实现，每个字段值即为表格每个单元格的内容，图4为本发明实施例提供的一种存储节点的数据统计结果示意图，图4给出的是表格形式的统计结果，这个信息可以反应出本存储节点大致的冷热数据分布情况。具体地，存储节点可以根据监控信息中的IO计数、顺序度分别进行统计，得到本存储节点大致的冷热数据分布情况，下面以字段以数组的形式实现为例，描述由监控信息中数据块的IO计数来得到统计信息中的IO计数字段值的过程：
存储节点中每个数据块的最大IO计数值为M，在分段统计时可以创建一个元素个数为M的数组Array(具体实现方式不限)，遍历存储节点的监控信息，例如存储节点中IO计数为1的数据块的个数为N1，则把Array[0]赋值为N1，存储节点中IO计数为2的数据块的个数为N2，则把Array[2-1]赋值为N2，......存储节点中IO计数为n的数据块的个数为Nn，则把Array[n-1]赋值为Nn，......存储节点中IO计数为M的数据块的个数为Nm，则把Array[M-1]赋值为Nm。这样遍历完一遍之后，数组Array中记录的每个值就可以反映存储节点中数据冷热分布情况。
其中，存储系统中某些数据块可能非常热，IO计数值很大，即M是一个很大的值，由于资源的限制和计算的性能限制，创建一个元素个数为M的数组Array不太合适。可以将上面的算法改进一下，具体如下：
存储节点在获取统计信息数组Array时，数组的每个元素可以对应一个IO计数区间，即IO计数值在某个范围的IO计数值对应一个数组元素，这个范围的大小可以依据存储系统中最大IO计数值M和数组Array的元素个数N确定，IO计数区间大小为M/N，记为T(英文interval的缩写)。数组每个元素对应大小为T的IO计数区间，即元素Array[0]记录IO计数在[1，T)之间的数据块的个数，元素Array[1]记录IO计数在[T，2T)之间的数据块的个数，......，元素Array[N-1]记录IO计数在[(N-1)*T，N*T)之间的数据块的个数。这样遍历完一遍监控信息后，就可以用数组Array反映出存储节点中数据冷热分布情况。
其中，顺序度也可以使用上述方法进行统计，并得到顺序度的一个统计数组。
其中，在统计IO计数值时，还可以结合IO读写比例进行计算，例如，如果某个数据块的写数据消耗是读数据消耗是P倍，则可以将IO访问次数按照读写比例算出等价的读IO次数，并且在后面计算门限值时使用这个等价的IO次数进行计算。当然，也可以不考虑读写比例因素，而只是单纯的按照IO访问次数来计算IO计数字段的各个值，即得到数据块的等价IO计数。
步骤303，向所述存储控制服务器发送所述IO统计信息，所述IO统计信息中包括有至少一个IO计数字段值。
得到IO统计信息，存储节点可以通过所包括的分层存储执行器将IO统计信息发送至存储控制服务器。
步骤304，接收所述存储控制服务器发送的存储系统的冷热数据识别门限值，根据所述冷热数据识别门限值，识别出热点数据和冷点数据并实现所述热点数据和所述冷点数据的分层存储。
存储节点将接收到的门限值传输至本存储节点的数据冷热识别程序，数据冷热识别程序依据门限值分析本地主机的监控信息，进而识别出热点数据和冷点数据。然后分层存储执行器通知数据迁移程序把热点数据迁往高性能层级，把冷点数据迁往低性能层级。
由此，本发明实施例可以实现存储系统中跨存储节点进行数据迁移，充分发挥整个存储系统的所有高性能存储介质的性能优势，以较低的价格满足存储系统的性能和容量需求。
相应地，本发明实施例还提供了一种存储控制服务器，存储控制服务器和多个存储节点连接，至少一个所述存储节点中包括热数据存储介质以及冷数据存储介质，所述存储节点存储有数据块，图5为本发明实施例提供的一种存储控制服务器示意图，如图所示，该实施例包括以下功能单元：
发送单元501，用于向所述多个存储节点中的每个存储节点发送IO统计信息查询命令。
本发明实施例提供的存储系统中，存储控制服务器可以位于某个存储节点中，也可以单独位于一个功能实体中，而每个存储节点中也可以单独设置一个分层存储执行器程序，用来与存储控制服务器进行通信，当然也可以不设置该执行器程序，而使存储控制服务器与存储节点中的数据监控程序、数据冷热识别程序、数据迁移程序等进行通信。
本发明实施例以每个存储节点中没有设置分层存储执行器的存储系统为例，来描述本发明的技术方案，但是本发明实施例提供的技术方案同样适用于上述设置有分层存储执行器的存储系统。
存储控制服务器与存储系统组网后，存储控制服务器可以与存储系统中各个存储节点上的分级存储执行器进行通信。存储控制服务器自行确定时机向分级存储执行器发送IO统计信息查询命令，进而根据各个存储节点反馈的IO统计信息确定整个存储系统的冷热数据识别标准。
分级存储执行器程序、数据监控程序、数据冷热识别程序、数据迁移程序都在一个存储节点内工作，与其他存储节点没有联系。某个存储节点收到主机IO，不需要转发到其他存储节点，直接会被本存储节点上的数据监控程序拦截并生成相应的监控信息，因此数据的分层存储效率提高了很多。
接收单元502，用于接收每个所述存储节点发送的IO统计信息，所述IO统计信息包括有至少一个IO计数字段值，每个所述IO计数字段值记录有发送所述IO统计信息的存储节点中，IO计数值在各个计数范围内的数据块的个数。
其中，IO统计信息包括多个字段，每个字段包括有至少一个字段值，其中每个字段可以以一个数组的形式实现，每个字段值即为该数据组中的每个数组元素；每个字段还可以以表格的形式实现，每个字段值即为表格每个单元格的内容，图4为本发明实施例提供的一种存储节点的数据统计结果示意图，图4给出的是表格形式的统计结果。
各个存储节点中的存储控制服务器接收到IO统计信息查询命令后，可以通知数据监控程序对监控到的主机IO信息进行分段统计，从而生成一个数据量较小的统计结果，即IO统计信息，这个信息可以反应出本存储节点大致的冷热数据分布情况。
具体地，存储节点可以根据监控信息中的IO计数、顺序度分别进行统计，得到本存储节点大致的冷热数据分布情况，下面以字段以数组的形式实现为例，描述由监控信息中数据块的IO计数来得到统计信息中的IO计数字段值的过程：
存储节点中每个数据块的最大IO计数值为M，在分段统计时可以创建一个元素个数为M的数组Array(具体实现方式不限)，遍历存储节点的监控信息，例如存储节点中IO计数为1的数据块的个数为N1，则把Array[0]赋值为N1，存储节点中IO计数为2的数据块的个数为N2，则把Array[2-1]赋值为N2，......存储节点中IO计数为n的数据块的个数为Nn，则把Array[n-1]赋值为Nn，......存储节点中IO计数为M的数据块的个数为Nm，则把Array[M-1]赋值为Nm。这样遍历完一遍之后，数组Array中记录的每个值就可以反映存储节点中数据冷热分布情况。
其中，存储系统中某些数据块可能非常热，IO计数值很大，即M是一个很大的值，由于资源的限制和计算的性能限制，创建一个元素个数为M的数组Array不太合适。可以将上面的算法改进一下，具体如下：
存储节点在获取统计信息数组Array时，数组的每个元素可以对应一个IO计数区间，即IO计数值在某个范围的IO计数值对应一个数组元素，这个范围的大小可以依据存储系统中最大IO计数值M和数组Array的元素个数N确定，IO计数区间大小为M/N，记为T(英文interval的缩写)。数组每个元素对应大小为T的IO计数区间，即元素Array[0]记录IO计数在[1，T)之间的数据块的个数，元素Array[1]记录IO计数在[T，2T)之间的数据块的个数，......，元素Array[N-1]记录IO计数在[(N-1)*T，N*T)之间的数据块的个数。这样遍历完一遍监控信息后，就可以用数组Array反映出存储节点中数据冷热分布情况。
上述为IO计数字段每个值的计算方法，其中，顺序度字段、IO读写比例也可以使用上述方法来统计并得到对应的各个值。
在计算IO计数字段的各个值时，可以结合IO读写比例进行计算，例如，如果某个数据块的写数据消耗是读数据消耗是P倍，则可以将IO访问次数按照读写比例算出等价的读IO次数，并且在后面计算门限值时使用这个等价的IO次数进行计算。当然，也可以不考虑读写比例因素，而只是单纯的按照IO访问次数来计算IO计数字段的各个值。
由此得到IO统计信息之后，可将IO统计信息以图4所述的形式发送到存储控制服务器。
生成单元503，用于对接收到的所述每个存储节点的IO统计信息中IO计数值相同或者IO计数值在一个计数范围内的IO字段值进行加运算，生成所述存储系统的IO统计信息中的IO计数值统计信息。
存储控制服务器接收到各个存储节点的IO统计信息之后，即可对各个节点的统计信息进行合并，并计算出整个存储系统的冷热数据识别门限值。
具体地，合并各个存储节点的统计信息得到整个存储系统的IO统计信息的方法为：存储控制服务器可以把所有存储节点返回的数组Array进行合并，合并过程为创建一个总的元素个数为M的数组CArray。CArray每个元素的值为各个存储节点返回的Array的对应元素的值的和。需要说明的是，这里只是以IO计数统计的一个简单示例进行描述，CArray元素的值的如何由多个Array生成，由实现者依据具体需要来定。
确定单元504，用于根据各个所述存储节点中热数据存储介质的总容量、所述数据块的大小、所述IO计数统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值，其中，所述高IO计数统计值中的每一个IO计数统计值，不小于非高IO计数统计值中的IO计数统计值。
识别数据冷热的目的，就是把热数据迁到高性能层级，把冷数据放到低性能层级，如果高性能层级的容量可以存放X个数据块，那么通过门限值识别出最热的X个数据块放入热数据存储介质，其他的数据块放入冷数据存储介质。因此可以查询高性能层级的容量和可以容纳的数据块的大小，计算出高性能层级可以存放多个数据块。
其中，数据的冷热主要可以通过IO计数值的大小来衡量，高IO计数统计值对应的数据块为热数据块，非高IO计数统计值对应的数据块为冷数据快。
但是在实际实现中，存储系统中数据的冷热不局限于通过IO计数值来衡量，可以是多项IO参数值的复合体。例如IO计数门限值可以和上文中的顺序度值合在一起做为一个确定数据冷热的标准。
在上文中总的统计信息CArray中按下标从大到小的顺序遍历数组，就能找到一个下标Index，使得CArray[Index]+CArray[Index+1]+......+CArray[M-1]的和等于X，那么下标Index对应的IO计数值就可以作为高IO计数统计值中的最小IO计数统计值，即作为冷热数据识别门限值。如果一个数组元素对应一个IO计数区间，那么按照上面最小IO计数统计值的确定方法确定最小IO计数值，只能确定最小IO计数统计值对应的IO计数区间，而不能确定到一个具体值，例如只能确定IO计数门限值在IO计数区间[T，2T)，而不能确定具体值。为了确定最小IO计数统计值，需要再创建一个数组Array2(Array2的一个元素对应区间[T，2T)的一个子区间)，把监控计数在区间[T，2T)中数据块的个数统计到Array2中。如果结合Array和Array2依然不能精确确定门限值，则可以继续创建新的数组做更细的分段统计，直到可以精确确定最小IO计数统计值。
对应的，分层存储控制中心进行分段统计合并时，只合并存储节点返回的数组Array不够，需要合并数组序列Array、Array2、Array3......。最终用合并后的数组序列确定整个存储系统的冷热识别门限值。
本发明实施例提供的方法还包括：：对接收到的所述每个存储节点的IO统计信息中顺序度范围相同的顺序度字段值进行加运算，生成与各个顺序度范围对应的顺序度统计值。
由于不同属性的存储介质对IO顺序度值有不同的要求，因此可以首先根据存储系统的存储介质的属性信息来确定顺序度门限值，即根据存储系统中各种类型的存储介质的大小来确定顺序度值高于哪个值时可以将数据放入热数据存储介质。如果本存储系统的固态硬盘比较大，则可以将顺序度门限值设置的低一些。
使用IO计数值来衡量数据的冷热是非常直接的衡量标准，IO计数门限值是判断数据冷热的标准。如果IO计数门限值是IO计数值T，则某一个IO计数值大于T的数据块为热数据，应该放到热数据存储介质中，如果某个数据块的IO计数值小于T，则认为该数据块为冷数据，应该放到冷数据存储介质。
存储控制服务器把计算得出的冷热数据识别门限值发送至各个存储节点的分层存储执行器，并向分层存储执行器下发冷热数据识别和数据迁移的命令。分层存储执行器把接收到的门限值传输至本存储节点的数据冷热识别程序，数据冷热识别程序依据门限值分析本地主机的监控信息，进而识别出热点数据和冷点数据。然后分层存储执行器通知数据迁移程序把热数据迁往热数据存储介质，把冷数据迁往冷数据存储介质。
其中，数据迁移可以在本存储节点内进行，也可以在整个存储系统内进行。
优选地，所述生成单元5O3还用于：对接收到的所述每个存储节点的IO统计信息中顺序度范围相同的顺序度字段值进行加运算，生成与各个顺序度范围对应的顺序度统计值。
所述确定单元504具体用于：根据所述存储系统的热数据存储介质的总容量，所述数据块的大小、所述IO计数统计值以及所述顺序度统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值。
由此，本发明实施例通过对存储系统中的某个时间段内的各个存储节点的监控信息进行统计、计算，可以得出整个存储系统的冷热数据识别门限值，从而实现存储系统中各个存储节点具有统一的冷热识别标准，能独立但是协调地完成整个存储系统的数据分层存储，可以实现存储系统中跨存储节点进行数据迁移，充分发挥整个存储系统的所有高性能存储介质的性能优势，以较低的价格满足存储系统的性能和容量需求。
图6为本发明实施例提供的一种存储节点示意图，多个存储节点和存储控制服务器连接，至少一个所述存储节点中包括热数据存储介质以及冷数据存储介质，所述存储节点存储有数据块，如图所示，本发明实施例提供的存储节点包括以下功能单元：
接收单元6O1，用于接收所述存储控制服务器发送的IO统计信息查询命令。
为了实现整个存储系统具有统一的冷热识别标准，存储控制服务器与存储系统组网后，存储控制服务器可以与存储系统中各个存储节点上的分级存储执行器进行通信，并自行确定时机向分级存储执行器发送IO统计信息查询命令，以获取各个存储节点的主机IO统计信息，由此存储节点中的接收单元601可以接收到IO统计信息查询命令。
统计单元602，用于根据所述IO统计信息查询命令，对本地存储节点中数据块的监控信息中的IO计数进行分段统计，得到IO计数值在各个计数范围内的数据块的个数作为IO计数字段值。
所述统计单元602具体用于：对本地存储节点中数据块的IO计数按照IO读写比例进行统计，得到IO统计信息中的IO计数字段的各个值。
统计单元602统计得到IO统计信息中的IO计数字段的各个值的过程具体包括：根据数据块被访问的IO次数，以及IO读写比例，计算数据块的IO计数值；获取本地存储节点中数据块的最高IO计数M；确定IO计数字段值的个数N；对所述最高IO计数M与IO计数字段值的个数N进行除运算，得到所述计数范围；统计每个计数范围内数据块的个数，得到N个IO计数字段值。
各个存储节点中的存储控制服务器接收到IO统计信息查询命令后，可以通知数据监控程序对监控到的主机IO信息进行分段统计，从而生成一个数据量较小的统计结果，即IO统计信息，IO统计信息包括多个字段，每个字段包括有至少一个字段值，其中每个字段可以以一个数组的形式实现，每个字段值即为该数据组中的每个数组元素；每个字段还可以以表格的形式实现，每个字段值即为表格每个单元格的内容，图4为本发明实施例提供的一种存储节点的数据统计结果示意图，图4给出的是表格形式的统计结果，这个信息可以反应出本存储节点大致的冷热数据分布情况。具体地，存储节点可以根据监控信息中的IO计数、顺序度分别进行统计，得到本存储节点大致的冷热数据分布情况，下面以字段以数组的形式实现为例，描述由监控信息中数据块的IO计数来得到统计信息中的IO计数字段值的过程：
存储节点中每个数据块的最大IO计数值为M，在分段统计时可以创建一个元素个数为M的数组Array(具体实现方式不限)，遍历存储节点的监控信息，例如存储节点中IO计数为1的数据块的个数为N1，则把Array[0]赋值为N1，存储节点中IO计数为2的数据块的个数为N2，则把Array[2-1]赋值为N2，......存储节点中IO计数为n的数据块的个数为Nn，则把Array[n-1]赋值为Nn，......存储节点中IO计数为M的数据块的个数为Nm，则把Array[M-1]赋值为Nm。这样遍历完一遍之后，数组Array中记录的每个值就可以反映存储节点中数据冷热分布情况。
其中，存储系统中某些数据块可能非常热，IO计数值很大，即M是一个很大的值，由于资源的限制和计算的性能限制，创建一个元素个数为M的数组Array不太合适。可以将上面的算法改进一下，具体如下：
存储节点在获取统计信息数组Array时，数组的每个元素可以对应一个IO计数区间，即IO计数值在某个范围的IO计数值对应一个数组元素，这个范围的大小可以依据存储系统中最大IO计数值M和数组Array的元素个数N确定，IO计数区间大小为M/N，记为T(英文interval的缩写)。数组每个元素对应大小为T的IO计数区间，即元素Array[0]记录IO计数在[1，T)之间的数据块的个数，元素Array[1]记录IO计数在[T，2T)之间的数据块的个数，......，元素Array[N-1]记录IO计数在[(N-1)*T，N*T)之间的数据块的个数。这样遍历完一遍监控信息后，就可以用数组Array反映出存储节点中数据冷热分布情况。
其中，顺序度也可以使用上述方法进行统计，并得到顺序度的一个统计数组。
其中，在统计IO计数值时，还可以结合IO读写比例进行计算，例如，如果某个数据块的写数据消耗是读数据消耗是P倍，则可以将IO访问次数按照读写比例算出等价的读IO次数，并且在后面计算门限值时使用这个等价的IO次数进行计算。当然，也可以不考虑读写比例因素，而只是单纯的按照IO访问次数来计算IO计数字段的各个值，即得到数据块的等价IO计数。
发送单元603，用于向所述存储控制服务器发送所述IO统计信息，所述IO统计信息中包括有至少一个IO计数字段值。
所述接收单元601，还用于接收所述存储控制服务器发送的存储系统的冷热数据识别门限值
实现单元604，用于根据所述冷热数据识别门限值，识别出热点数据和冷点数据并实现所述热点数据和所述冷点数据的分层存储。
存储节点把接收到的门限值传输至本存储节点的数据冷热识别程序，数据冷热识别程序依据门限值分析本地主机的监控信息，进而识别出热点数据和冷点数据。然后分层存储执行器通知数据迁移程序把热点数据迁往高性能层级，把冷点数据迁往低性能层级。
由此，本发明实施例可以实现存储系统中跨存储节点进行数据迁移，充分发挥整个存储系统的所有高性能存储介质的性能优势，以较低的价格满足存储系统的性能和容量需求。
相应地，本发明实施例还提供了一种存储控制服务器，图7为本发明实施例提供的另一存储控制服务器示意图，如图所示，本实施例包括网络接口701、处理器702和存储器703。系统总线704用于连接网络接口701、处理器702和存储器703。
网络接口701用于与存储节点通信。
存储器703可以是永久存储器，例如硬盘驱动器和闪存，存储器703中具有应用程序和设备驱动程序。应用程序用来执行本发明上述技术方案；设备驱动程序可以是网络和接口驱动程序。
在启动时，应用程序被加载到存储器703中，然后被处理器702访问并执行如下指令：
向每个所述存储节点发送所述数据块的IO统计信息查询命令；
接收每个所述存储节点发送的IO统计信息，所述IO统计信息包括有至少一个IO计数字段值，每个所述IO计数字段值记录有发送所述IO统计信息的存储节点中，IO计数值在各个计数范围内的数据块的个数；
对接收到的所述每个存储节点的IO统计信息中计数范围相同的IO计数字段值进行加运算，生成与各个计数范围对应的IO计数统计值；
根据各个所述存储节点中热数据存储介质的总容量、所述数据块的大小、所述IO计数统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值，其中，所述高IO计数统计值中的每一个IO计数统计值，不小于非高IO计数统计值中的IO计数统计值。
其中，IO统计信息还包括有至少一个顺序度字段值，每个所述顺序度字段值记录有发送所述IO统计信息的存储节点中，顺序度值在各个顺序度范围内的数据块的个数。
进一步的，处理器702还可执行指令：对接收到的所述每个存储节点的IO统计信息中顺序度范围相同的顺序度字段值进行加运算，生成与各个顺序度范围对应的顺序度统计值；
处理器702根据所述存储系统的热数据存储介质的总容量，所述数据块的大小、所述IO计数统计值以及所述顺序度统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值。
由此，可以实现存储系统中跨存储节点进行数据迁移，充分发挥整个存储系统的所有高性能存储介质的性能优势，以较低的价格满足存储系统的性能和容量需求。
相应地，本发明实施例还提供了一种存储节点，图8为本发明实施例提供的另一存储节点示意图，如图所示，本实施例包括网络接口801、处理器802和存储器803。系统总线804用于连接网络接口801、处理器802和存储器803。
网络接口801用于与存储节点通信。
存储器803可以是永久存储器，例如硬盘驱动器和闪存，存储器803中具有应用程序和设备驱动程序。应用程序可包括分层存储执行器程序、数据监控程序、数据冷热识别程序、数据迁移程序等，用来执行本发明上述技术方案；设备驱动程序可以是网络和接口驱动程序。
在启动时，应用程序被加载到存储器803中，然后被处理器802访问并执行如下指令：
接收所述存储控制服务器发送的IO统计信息查询命令；
根据所述IO统计信息查询命令，对本地存储节点中数据块的监控信息中的IO计数进行分段统计，得到IO计数值在各个计数范围内的数据块的个数作为IO计数字段值；
向所述存储控制服务器发送所述IO统计信息，所述IO统计信息中包括有至少一个IO计数字段值；
接收所述存储控制服务器发送的存储系统的冷热数据识别门限值，根据所述冷热数据识别门限值，识别出热点数据和冷点数据并实现所述热点数据和所述冷点数据的分层存储。
其中，监控信息还包括数据块的IO顺序度、或者数据块的IO读写比例，其中，所述顺序度为每个数据块的顺序IO计数占总的IO计数的比例，所述IO读写比例为每个数据块的IO读操作的次数与IO写操作的次数的比例；所述IO统计信息还包括有至少一个顺序度字段值，其中每个所述顺序读字段值记录有本地存储节点中，顺序度值在各个顺序度范围内的数据块的个数。
进一步的，处理器802执行对本地存储节点中数据块的监控信息中的IO计数进行分段统计，得到IO计数值在各个计数范围内的数据块的个数作为IO计数字段值的过程具体包括：对本地存储节点中数据块的IO计数按照IO读写比例进行统计，得到IO统计信息中的IO计数字段的各个值。
进一步的，处理器802执行对本地存储节点中数据块的IO计数按照IO读写比例进行统计得到IO统计信息中的IO计数字段的各个值的过程具体为：
根据数据块被访问的IO次数，以及IO读写比例，计算数据块的IO计数值；
获取本地存储节点中数据块的最高IO计数M；
确定IO计数字段值的个数N；
对所述最高IO计数M与IO计数字段值的个数N进行除运算，得到所述计数范围；
统计每个计数范围内数据块的个数，得到N个IO计数字段值。
由此，本发明实施例可以实现存储系统中跨存储节点进行数据迁移，充分发挥整个存储系统的所有高性能存储介质的性能优势，以较低的价格满足存储系统的性能和容量需求。
相应地，本发明实施例还提供了一种存储系统，该系统植入了本发明实施例的冷热数据识别门限值计算方法，包括上述存储控制服务器和多个存储节点，存储控制服务器和多个存储节点连接，至少一个所述存储节点中包括热数据存储介质以及冷数据存储介质，所述存储节点存储有数据块。存储控制服务器向每个所述存储节点发送所述数据块的IO统计信息查询命令；接收每个所述存储节点发送的IO统计信息，所述IO统计信息包括有至少一个IO计数字段值，每个所述IO计数字段值记录有发送所述IO统计信息的存储节点中，IO计数值在各个计数范围内的数据块的个数；对接收到的所述每个存储节点的IO统计信息中计数范围相同的IO计数字段值进行加运算，生成与各个计数范围对应的IO计数统计值；根据各个所述存储节点中热数据存储介质的总容量、所述数据块的大小、所述IO计数统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值，其中，所述高IO计数统计值中的每一个IO计数统计值，不小于非高IO计数统计值中的IO计数统计值。由此，本发明实施例提供的存储系统实现了存储系统中各个存储节点具有统一的冷热识别标准，能独立但是协调地完成整个存储系统的数据分层存储，可以实现存储系统中跨存储节点进行数据迁移，充分发挥整个存储系统的所有高性能存储介质的性能优势，以较低的价格满足存储系统的性能和容量需求。因此，本发明实施例提供的存储系统也在本发明实施例的保护范围内。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动存储介质、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种冷热数据识别门限值计算方法，其特征在于，存储控制服务器和多个存储节点连接，至少一个所述存储节点中包括热数据存储介质以及冷数据存储介质，所述存储节点存储有数据块，所述存储控制服务器执行以下步骤：
向每个所述存储节点发送所述数据块的IO统计信息查询命令；
接收每个所述存储节点发送的IO统计信息，所述IO统计信息包括有至少一个IO计数字段值，每个所述IO计数字段值记录有发送所述IO统计信息的存储节点中，IO计数值在各个计数范围内的数据块的个数；
对接收到的每个所述存储节点的IO统计信息中计数范围相同的IO计数字段值进行加运算，生成与各个计数范围对应的IO计数统计值；
根据各个所述存储节点中热数据存储介质的总容量、所述数据块的大小、所述IO计数统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值，其中，所述高IO计数统计值中的每一个IO计数统计值，不小于非高IO计数统计值中的IO计数统计值。
2.根据权利要求1所述的冷热数据识别门限值计算方法，其特征在于，所述IO统计信息还包括有至少一个顺序度字段值，每个所述顺序度字段值记录有发送所述IO统计信息的存储节点中，顺序度值在各个顺序度范围内的数据块的个数。
3.根据权利要求2所述的冷热数据识别门限值计算方法，其特征在于，所述方法还包括：对接收到的每个所述存储节点的IO统计信息中顺序度范围相同的顺序度字段值进行加运算，生成与各个顺序度范围对应的顺序度统计值；
所述根据各个所述存储节点中热数据存储介质的总容量、所述数据块的大小、所述IO计数统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值之前还包括具体为：根据存储系统的热数据存储介质的总容量，所述数据块的大小、所述IO计数统计值以及所述顺序度统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值。
4.一种冷热数据识别门限值计算方法，其特征在于，存储控制服务器和多个存储节点连接，至少一个所述存储节点中包括热数据存储介质以及冷数据存储介质，所述存储节点存储有数据块，每个存储节点执行以下步骤：
接收所述存储控制服务器发送的IO统计信息查询命令；
根据所述IO统计信息查询命令，对本地存储节点中数据块的监控信息中的IO计数进行分段统计，得到IO计数值在各个计数范围内的数据块的个数作为IO计数字段值；
所述监控信息还包括数据块的IO顺序度、或者数据块的IO读写比例，其中，所述顺序度为每个数据块的顺序IO计数占总的IO计数的比例，所述IO读写比例为每个数据块的IO读操作的次数与IO写操作的次数的比例；所述IO统计信息还包括有至少一个顺序度字段值，其中每个所述顺序度字段值记录有本地存储节点中，顺序度值在各个顺序度范围内的数据块的个数；
向所述存储控制服务器发送所述IO统计信息，所述IO统计信息中包括有至少一个IO计数字段值；
接收所述存储控制服务器发送的存储系统的冷热数据识别门限值，根据所述冷热数据识别门限值，识别出热点数据和冷点数据并实现所述热点数据和所述冷点数据的分层存储。
5.根据权利要求4所述的冷热数据识别门限值计算方法，其特征在于，所述对本地存储节点中数据块的监控信息中的IO计数进行分段统计，得到IO计数值在各个计数范围内的数据块的个数作为IO计数字段值具体包括：对本地存储节点中数据块的IO计数按照IO读写比例进行统计，得到IO统计信息中的IO计数字段的各个值。
6.根据权利要求5所述的冷热数据识别门限值计算方法，其特征在于，所述对本地存储节点中数据块的IO计数按照IO读写比例进行统计，得到IO统计信息中的IO计数字段的各个值具体包括：
根据数据块被访问的IO次数，以及IO读写比例，计算数据块的IO计数值；
获取本地存储节点中数据块的最高IO计数M；
确定IO计数字段值的个数N；
对所述最高IO计数M与IO计数字段值的个数N进行除运算，得到所述计数范围；
统计每个计数范围内数据块的个数，得到N个IO计数字段值。
7.一种存储控制服务器，其特征在于，存储控制服务器和多个存储节点连接，至少一个所述存储节点中包括热数据存储介质以及冷数据存储介质，所述存储节点存储有数据块，所述存储控制服务器包括：
发送单元，用于向每个所述存储节点发送所述数据块的IO统计信息查询命令；
接收单元，用于接收每个所述存储节点发送的IO统计信息，所述IO统计信息包括有至少一个IO计数字段值，每个所述IO计数字段值记录有发送所述IO统计信息的存储节点中，IO计数值在各个计数范围内的数据块的个数；
生成单元，用于对接收到的每个所述存储节点的IO统计信息中计数范围相同的IO计数字段值进行加运算，生成与各个计数范围对应的IO计数统计值；
确定单元，用于根据各个所述存储节点中热数据存储介质的总容量、所述数据块的大小、所述IO计数统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值，其中，所述高IO计数统计值中的每一个IO计数统计值，不小于非高IO计数统计值中的IO计数统计值。
8.根据权利要求7所述的存储控制服务器，其特征在于，所述IO统计信息还包括有至少一个顺序度字段值，每个所述顺序度字段值记录有发送所述IO统计信息的存储节点中，顺序度值在各个顺序度范围内的数据块的个数。
9.根据权利要求8所述的存储控制服务器，其特征在于，所述生成单元还用于：对接收到的每个所述存储节点的IO统计信息中顺序度范围相同的顺序度字段值进行加运算，生成与各个顺序度范围对应的顺序度统计值；
所述确定单元具体用于：根据存储系统的热数据存储介质的总容量，所述数据块的大小、所述IO计数统计值以及所述顺序度统计值，得到将高IO计数统计值对应的数据块存满所述热数据存储介质时，所述高IO计数统计值中最小IO计数统计值对应的计数范围中的最小IO计数值作为冷热数据识别门限值。
10.一种存储节点，其特征在于，存储控制服务器和多个存储节点连接，至少一个所述存储节点中包括热数据存储介质以及冷数据存储介质，所述存储节点存储有数据块，每个存储节点包括：
接收单元，用于接收所述存储控制服务器发送的IO统计信息查询命令；
统计单元，用于根据所述IO统计信息查询命令，对本地存储节点中数据块的监控信息中的IO计数进行分段统计，得到IO计数值在各个计数范围内的数据块的个数作为IO计数字段值；所述监控信息还包括数据块的IO顺序度、或者数据块的IO读写比例，其中，所述顺序度为每个数据块的顺序IO计数占总的IO计数的比例，所述IO读写比例为每个数据块的IO读操作的次数与IO写操作的次数的比例；所述IO统计信息还包括有至少一个顺序度字段值，其中每个所述顺序度字段值记录有本地存储节点中，顺序度值在各个顺序度范围内的数据块的个数；
发送单元，用于向所述存储控制服务器发送所述IO统计信息，所述IO统计信息中包括有至少一个IO计数字段值；
所述接收单元，还用于接收所述存储控制服务器发送的存储系统的冷热数据识别门限值；
实现单元，用于接收所述存储控制服务器发送的存储系统的冷热数据识别门限值，根据所述冷热数据识别门限值，识别出热点数据和冷点数据并实现所述热点数据和所述冷点数据的分层存储。
11.根据权利要求10所述的存储节点，其特征在于，所述统计单元具体用于：对本地存储节点中数据块的IO计数按照IO读写比例进行统计，得到IO统计信息中的IO计数字段的各个值。
12.根据权利要求11所述的存储节点，其特征在于，所述统计单元统计得到IO统计信息中的IO计数字段的各个值的过程具体包括：根据数据块被访问的IO次数，以及IO读写比例，计算数据块的IO计数值；获取本地存储节点中数据块的最高IO计数M；确定IO计数字段值的个数N；对所述最高IO计数M与IO计数字段值的个数N进行除运算，得到所述计数范围；统计每个计数范围内数据块的个数，得到N个IO计数字段值。
13.一种存储系统，所述系统包括如权利要求7-9任一项所述的存储控制服务器，以及多个如权利要求10-12任一项所述的存储节点。
CN201310652334.2A 2013-12-05 2013-12-05 冷热数据识别门限值计算方法、装置和系统 Active CN103631538B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201310652334.2A CN103631538B (zh) 2013-12-05 2013-12-05 冷热数据识别门限值计算方法、装置和系统
EP14867131.6A EP3070591B1 (en) 2013-12-05 2014-10-20 Cold and hot data identification threshold calculation method, apparatus and system
PCT/CN2014/088920 WO2015081757A1 (zh) 2013-12-05 2014-10-20 冷热数据识别门限值计算方法、装置和系统
US15/173,456 US10031671B2 (en) 2013-12-05 2016-06-03 Method, apparatus, and system for calculating identification threshold to distinguish cold data and hot data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310652334.2A CN103631538B (zh) 2013-12-05 2013-12-05 冷热数据识别门限值计算方法、装置和系统

Publications (2)

Publication Number Publication Date
CN103631538A CN103631538A (zh) 2014-03-12
CN103631538B true CN103631538B (zh) 2017-04-05

Family

ID=50212649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310652334.2A Active CN103631538B (zh) 2013-12-05 2013-12-05 冷热数据识别门限值计算方法、装置和系统

Country Status (4)

Country Link
US (1) US10031671B2 (zh)
EP (1) EP3070591B1 (zh)
CN (1) CN103631538B (zh)
WO (1) WO2015081757A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376094A (zh) * 2018-09-27 2019-02-22 郑州云海信息技术有限公司 一种存储系统中垃圾回收冷热数据迁移的方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631538B (zh) 2013-12-05 2017-04-05 华为技术有限公司 冷热数据识别门限值计算方法、装置和系统
CN104077081B (zh) * 2014-06-28 2017-04-26 华为技术有限公司 一种存储方法及装置
JP6443170B2 (ja) * 2015-03-26 2018-12-26 富士通株式会社 階層ストレージ装置，階層ストレージ制御装置，階層ストレージ制御プログラム及び階層ストレージ制御方法
CN107506356B (zh) * 2016-06-14 2019-03-01 北京京东尚科信息技术有限公司 数据处理方法及其系统
CN106445418A (zh) * 2016-09-27 2017-02-22 郑州云海信息技术有限公司 一种固态硬盘中读写服务自适应的方法和装置
US10733107B2 (en) 2016-10-07 2020-08-04 Via Technologies, Inc. Non-volatile memory apparatus and address classification method thereof
CN106897026B (zh) * 2016-10-07 2020-02-07 威盛电子股份有限公司 非易失性存储器装置及其地址分类方法
CN106775467A (zh) * 2016-12-06 2017-05-31 郑州云海信息技术有限公司 一种基于自动分层技术热度统计数据的存储系统优化方法
CN106775475A (zh) * 2016-12-16 2017-05-31 杭州星数科技有限公司 数据分层存储方法及系统
CN106874213B (zh) * 2017-01-12 2020-03-20 杭州电子科技大学 一种融合多种机器学习算法的固态硬盘热数据识别方法
US10552046B2 (en) 2017-04-27 2020-02-04 International Business Machines Corporation Automatic tiering of storage using dynamic grouping
CN108549525B (zh) * 2018-04-04 2022-07-15 北京蓝杞数据科技有限公司天津分公司 数据存储和访问方法、装置、电子设备及存储介质
US10884627B2 (en) * 2018-09-26 2021-01-05 International Business Machines Corporation Compacting data in a dispersed storage network
CN110187838B (zh) * 2019-05-30 2023-06-20 北京百度网讯科技有限公司 数据io信息处理方法、分析方法、装置和相关设备
US11210010B2 (en) 2019-07-30 2021-12-28 International Business Machines Corporation Data migration in a multi-tiered storage system
CN110597879B (zh) * 2019-09-17 2022-01-14 第四范式（北京）技术有限公司 时序数据的处理方法和装置
CN111614730B (zh) * 2020-04-28 2022-07-19 北京金山云网络技术有限公司 云存储系统的文件处理方法、装置及电子设备
US11163496B1 (en) * 2020-07-01 2021-11-02 EMC IP Holding Company LLC Systems and methods of updating persistent statistics on a multi-transactional and multi-node storage system
CN111880735B (zh) * 2020-07-24 2023-07-14 北京浪潮数据技术有限公司 一种存储系统中数据迁移方法、装置、设备及存储介质
CN112948398B (zh) * 2021-04-29 2023-02-24 电子科技大学 一种面向冷热数据的分级存储系统及方法
CN113391764A (zh) * 2021-06-09 2021-09-14 北京沃东天骏信息技术有限公司 一种信息处理方法及装置、存储介质
CN113687781A (zh) * 2021-07-30 2021-11-23 济南浪潮数据技术有限公司 一种热数据的上拉方法、装置、设备及介质
WO2023072381A1 (en) * 2021-10-27 2023-05-04 Huawei Technologies Co., Ltd. Memory controller and method for use in memory controller of memory system
CN114138183B (zh) * 2021-10-29 2023-09-12 郑州云海信息技术有限公司 一种存储系统的数据分层方法、装置、设备及存储介质
US20230342060A1 (en) * 2022-04-26 2023-10-26 Micron Technology, Inc. Techniques for data transfer operations
CN116820351B (zh) * 2023-07-21 2024-04-09 北京得瑞领新科技有限公司 冷热数据标定方法、装置、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101369451A (zh) * 2007-08-14 2009-02-18 三星电子株式会社 固态存储器、包含其的计算机系统和操作其的方法
CN102576293A (zh) * 2009-09-08 2012-07-11 国际商业机器公司 固态存储设备和分层存储系统中的数据管理

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4718851B2 (ja) * 2004-05-10 2011-07-06 株式会社日立製作所 ストレージシステムにおけるデータ移行
US8315995B1 (en) * 2008-09-09 2012-11-20 Peer Fusion, Inc. Hybrid storage system
US9513843B2 (en) * 2010-04-13 2016-12-06 Dot Hill Systems Corporation Method and apparatus for choosing storage components within a tier
US8719529B2 (en) * 2011-01-14 2014-05-06 International Business Machines Corporation Storage in tiered environment for colder data segments
US8365023B2 (en) * 2011-04-29 2013-01-29 International Business Machines Corporation Runtime dynamic performance skew elimination
IN2014DN05977A (zh) * 2012-02-08 2015-06-26 Hitachi Ltd
US9116792B2 (en) * 2012-05-18 2015-08-25 Silicon Motion, Inc. Data storage device and method for flash block management
CN102799534B (zh) * 2012-07-18 2015-11-25 上海宝存信息科技有限公司 基于固态存储介质的存储系统及方法、冷热数据识别方法
CN102902628B (zh) * 2012-09-18 2016-06-01 记忆科技(深圳)有限公司 一种基于闪存实现的冷热数据自动分离方法、系统及闪存
CN103246609B (zh) * 2013-04-24 2015-12-09 深圳市江波龙电子有限公司 一种闪存存储设备中冷热数据区分管理的方法及装置
CN103631538B (zh) * 2013-12-05 2017-04-05 华为技术有限公司 冷热数据识别门限值计算方法、装置和系统
US20150220438A1 (en) * 2014-02-04 2015-08-06 Netapp, Inc. Dynamic hot volume caching
KR20160150384A (ko) * 2015-06-22 2016-12-30 에스케이하이닉스 주식회사 데이터 저장 장치 및 그것의 동작 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101369451A (zh) * 2007-08-14 2009-02-18 三星电子株式会社 固态存储器、包含其的计算机系统和操作其的方法
CN102576293A (zh) * 2009-09-08 2012-07-11 国际商业机器公司 固态存储设备和分层存储系统中的数据管理

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376094A (zh) * 2018-09-27 2019-02-22 郑州云海信息技术有限公司 一种存储系统中垃圾回收冷热数据迁移的方法

Also Published As

Publication number Publication date
EP3070591B1 (en) 2019-04-03
EP3070591A4 (en) 2016-11-02
US20160283129A1 (en) 2016-09-29
US10031671B2 (en) 2018-07-24
WO2015081757A1 (zh) 2015-06-11
CN103631538A (zh) 2014-03-12
EP3070591A1 (en) 2016-09-21

Similar Documents

Publication Publication Date Title
CN103631538B (zh) 冷热数据识别门限值计算方法、装置和系统
CN106909372B (zh) 一种移动端用户购买路径计算方法及系统
CN107424069A (zh) 一种风控特征的生成方法、风险监控方法及设备
CN103019887B (zh) 数据备份方法及装置
CN107645403A (zh) 终端规则引擎装置、终端规则运行方法
CN105892955B (zh) 一种管理存储系统的方法及设备
CN103377285A (zh) 用于增强对存储云去重技术的可靠性的方法与系统
CN109558287A (zh) 一种固态硬盘寿命预测方法、装置和系统
CN103136243A (zh) 基于云存储的文件系统去重方法及装置
CN103577115B (zh) 数据的排布处理方法、装置和服务器
CN103605483A (zh) 一种分级存储系统中块级数据特征处理方法
CN103399797B (zh) 服务器资源配置方法及装置
CN103473335A (zh) 一种热点数据检测方法及装置
CN109358821A (zh) 一种成本驱动的云计算冷热数据存储优化方法
CN110007870A (zh) 一种存储设备写请求处理方法及相关装置
CN110389710A (zh) 分配存储资源的方法和装置
CN103150245A (zh) 确定数据实体的访问特性的方法和存储控制器
CN110413454A (zh) 基于存储阵列的数据重建方法、装置及存储介质
CN108845908A (zh) 一种ssd硬盘测试方法、装置、设备及介质
CN105138656A (zh) 一种处理数据的方法及装置
CN103502925A (zh) 一种监控记录管理方法与装置
Validi et al. Hybrid on/off blockchain approach for vehicle data management, processing and visualization exemplified by the adapt platform
CN106570005A (zh) 清理数据库的方法和装置
CN107704336A (zh) 一种数据存储方法及装置
JP4479431B2 (ja) 情報ライフサイクル管理システム及びそのデータ配置決定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant