CN107783720A - 一种数据均衡方法及存储设备 - Google Patents

一种数据均衡方法及存储设备 Download PDF

Info

Publication number
CN107783720A
CN107783720A CN201610716393.5A CN201610716393A CN107783720A CN 107783720 A CN107783720 A CN 107783720A CN 201610716393 A CN201610716393 A CN 201610716393A CN 107783720 A CN107783720 A CN 107783720A
Authority
CN
China
Prior art keywords
disk
data
dsc data
queue
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610716393.5A
Other languages
English (en)
Inventor
张国军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shenxinfu Electronic Technology Co Ltd
Original Assignee
Shenzhen Shenxinfu Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shenxinfu Electronic Technology Co Ltd filed Critical Shenzhen Shenxinfu Electronic Technology Co Ltd
Priority to CN201610716393.5A priority Critical patent/CN107783720A/zh
Publication of CN107783720A publication Critical patent/CN107783720A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种数据均衡方法，包括：分别统计存储设备中各磁盘的热数据量，以及，确定各磁盘的热数据均衡值；将第一类磁盘中的热数据迁移到第二类磁盘，直至存储设备中每个磁盘的热数据量与热数据均衡值的差值小于第一预设阈值。本发明还提供一种可以实现上述数据均衡方法的存储设备。本发明解决了磁盘承载IO请求不均的情况，可以使得各磁盘处理IO请求所用时间基本相同，能够提高存储设备响应IO请求的速度。

Description

一种数据均衡方法及存储设备
技术领域
本发明涉及存储技术领域，尤其涉及一种数据均衡方法及存储设备。
背景技术
软件定义存储是未来的趋势，而大部分软件定义存储都是基于分布式架构的存储，包括近几年流行起来的超融合架构，其采用的存储也是分布式架构的存储，这种架构的一个好处是扩容非常方便，而且很多做软件定义存储的厂商都宣称独立于硬件，不跟硬件绑定，这就给了用户自己采购硬件的灵活性，在提供硬件灵活性的同时，磁盘的异构也成为一个不得不面对的问题。异构存储是指在一个存储系统中同时采用多种型号的磁盘，例如同时采用了7200每分钟转速(round per minute，简称rpm)、容量为4TB和1TB的两种型号的磁盘。
如果把磁盘上存储的数据按照一定的大小切成数据块，例如64KB，不同的数据块被访问的频率并不相同，一些数据块被频繁访问，被频繁访问的这块数据也称为热数据，另一些数据块被访问的次数很少，这些数据被称为冷数据。当一个异构存储设备接收到输入/输出(Input/Output，简称IO)指令时，由于IO指令主要针对热数据，因此在读写数据的过程中，存储大量热数据的磁盘比从存储少量热数据的磁盘要承载更多的IO请求。
通常情况下，4TB磁盘存储的热数据量会是1TB磁盘的4倍，即表明4TB磁盘的IO请求是1TB磁盘的近似4倍。由于硬盘的技术原因，7200rpm的4TB磁盘跟7200rpm的1TB磁盘在性能上近似，因此4TB磁盘处理IO请求所用时间是1TB磁盘处理IO请求所用时间的4倍，可见，大容量的磁盘是整个存储设备的瓶颈。
发明内容
本发明提供了一种数据均衡方法以及存储设备，解决了各磁盘处理IO请求所用时间不等的情况，能够提高存储设备响应IO请求的速度。
本发明第一方面提供一种数据均衡方法，该方法应用于存储设备，存储设备具有至少两种磁盘，至少两种磁盘的容量和/或磁盘读写速度不同，该数据均衡方法包括：
分别统计存储设备中每个磁盘的热数据量，热数据量为热数据占用存储空间的大小；
确定存储设备中每个磁盘的热数据均衡值；
将第一类磁盘中的目标热数据迁移到第二类磁盘，直至存储设备中每个磁盘的热数据量与热数据均衡值的差值均小于第一预设阈值，第一类磁盘中每个磁盘的热数据量大于磁盘的热数据均衡值，第二类磁盘中每个磁盘的热数据量小于磁盘的热数据均衡值。
在一种可能的实现方式中，该数据均衡方法还包括：
创建热队列，热队列用于存储热数据，热数据的访问频率不小于第一预设频率；
分别统计存储设备中每个磁盘的热数据量包括：
根据存储设备中每个磁盘在热队列中的数据块，确定磁盘的热数据量。
在另一种可能的实现方式中，确定存储设备中每个磁盘的热数据均衡值包括：
获取存储设备的总数据量、磁盘数量以及热数据比例，热数据比例为存储设备中热数据总量与总数据量之比；
根据总数据量、磁盘数量以及热数据比例计算得到热数据均衡值，并将热数据均衡值作为各磁盘的热数据均衡值。
在另一种可能的实现方式中，确定存储设备中每个磁盘的热数据均衡值包括：
获取存储设备的总数据量、磁盘数量以及热数据比例，热数据比例为存储设备中热数据总量与总数据量之比；
根据第一目标磁盘的磁盘读写速度，确定第一目标磁盘的热数据存储权值，第一目标磁盘的磁盘读写速度与第一目标磁盘的热数据存储权值成正相关性；
根据总数据量、热数据比例、第一目标磁盘的热数据存储权值以及存储权值和，确定第一目标磁盘的热数据均衡值，存储权值和为存储设备中各磁盘的热数据存储权值之和，第一目标磁盘为存储设备中的任意一个磁盘。
在另一种可能的实现方式中，将第一类磁盘中热数据迁移到第二类磁盘包括：
将第一类磁盘中各磁盘的目标热数据合并为目标热数据集合，目标热数据是指每个磁盘的热数据多于磁盘的热数据均衡值的部分；
确定第二目标磁盘与第二目标磁盘的热数据均衡值的差值，第二目标磁盘为第二类磁盘中的任意一个磁盘；
从目标热数据集合中选取差值对应的目标热数据，将选取的目标热数据迁移到第二目标磁盘。
在另一种可能的实现方式中，该数据均衡方法还包括：
创建温队列以及冷队列，温队列用于存储温数据，冷队列用于存储冷数据，温数据的访问频率小于第一预设频率且不小于第二预设频率，冷数据的访问频率小于第二预设频率，第一预设频率大于第二预设频率。
根据IO指令，调整存储设备中各队列的数据块。
在另一种可能的实现方式中，根据IO指令调整存储设备中各队列的数据块包括：
接收主机下发的IO指令；
若IO指令指定的数据块为温数据，则将IO指令指定的数据块从温队列存入热队列；
若IO指令指定的数据块为冷数据，则将IO指令指定的数据块从冷队列存入温队列。
在另一种可能的实现方式中，在将IO指令指定的数据块从温队列存入热队列之后，该数据均衡方法还包括：
若热队列存储的数据块的数量超过热队列的长度，则从热队列中选取待调热数据，将待调热数据移动到温队列。
在另一种可能的实现方式中，在将IO指令指定的数据块从冷队列存入温队列之后，数据均衡方法还包括：
若温队列存储的数据块的数量超过温队列的长度，则从温队列中选取待调温数据，将待调温数据移动到冷队列。
第二方面提供一种存储设备，存储设备具有至少两种磁盘，至少两种磁盘的容量和/或磁盘读写速度不同，存储设备包括：
统计模块，用于分别统计存储设备中每个磁盘的热数据量，热数据量为热数据占用存储空间的大小；
确定模块，用于确定存储设备中每个磁盘的热数据均衡值；
迁移模块，用于将第一类磁盘中的目标热数据迁移到第二类磁盘，直至第一类磁盘存储设备中每个磁盘的热数据量与热数据均衡值的差值均小于第一预设阈值，第一类磁盘中每个磁盘的热数据量大于磁盘的热数据均衡值，第二类磁盘中每个磁盘的热数据量小于磁盘的热数据均衡值。
在一种可能的实现方式中，存储设备还包括：
创建模块，用于创建热队列，热队列用于存储热数据，热数据的访问频率不小于第一预设频率；
统计模块具体用于根据存储设备中每个磁盘在热队列中的数据块，确定磁盘的热数据量。
在另一种可能的实现方式中，确定模块具体用于获取存储设备的总数据量、磁盘数量以及热数据比例，热数据比例为存储设备中热数据总量与总数据量之比；
根据总数据量、磁盘数量以及热数据比例计算得到热数据均衡值，并将热数据均衡值作为各磁盘的热数据均衡值。
在另一种可能的实现方式中，确定模块具体用于获取存储设备的总数据量、磁盘数量以及热数据比例，热数据比例为存储设备中热数据总量与总数据量之比；
根据第一目标磁盘的磁盘读写速度，确定第一目标磁盘的热数据存储权值，第一目标磁盘的磁盘读写速度与目标磁盘的热数据存储权值成正相关性；
根据总数据量、热数据比例、第一目标数据的热数据存储权值以及存储权值和，确定第一目标磁盘的热数据均衡值，存储设备中各磁盘的热数据存储权值之和，第一目标磁盘为存储设备中的任意一个磁盘。
在另一种可能的实现方式中，迁移模块具体用于将第一类磁盘中各磁盘的目标热数据合并为目标热数据集合，目标热数据是指每个磁盘的热数据多于磁盘的热数据均衡值的部分；确定第二目标磁盘与第二目标磁盘的热数据均衡值的差值，第二目标磁盘为第二类磁盘中的任意一个磁盘；从目标热数据集合中选取差值对应的目标热数据，将选取的目标热数据迁移到第二目标磁盘。
在另一种可能的实现方式中，
创建模块，还用于创建温队列以及冷队列，温队列用于存储温数据，冷队列用于存储冷数据，温数据的访问频率小于第一预设频率且不小于第二预设频率，冷数据的访问频率小于第二预设频率，第一预设频率大于第二预设频率；
该存储设备还包括：
调整模块，用于根据IO指令，调整存储设备中各队列的数据块。
在另一种可能的实现方式中，
调整模块，具体用于接收主机下发的IO指令；若IO指令指定的数据块为温数据，则将IO指令指定的数据块从温队列存入热队列；或，用于若IO指令指定的数据块为冷数据，则将IO指令指定的数据块从冷队列存入温队列。
在另一种可能的实现方式中，
调整模块，还用于若热队列存储的数据块的数量超过热队列的长度，则从热队列中选取待调热数据，将待调热数据移动到温队列。
在另一种可能的实现方式中，
调整模块，还用于若温队列存储的数据块的数量超过温队列的长度，则从温队列中选取待调温数据，将待调温数据移动到冷队列。
在本发明实施例中，存储设备可以分别统计存储设备中每个磁盘的热数据量并确定每个磁盘的热数据均衡值，以热数据均衡值将磁盘划分为第一类磁盘和第二类磁盘，将第一类磁盘中多于热数据均衡值的部分迁移到第二类磁盘，直至每个磁盘的热数据相等或大致相等。由于每个磁盘存储的热数据量基本相等，因此各磁盘处理IO请求的时间基本相同，避免了大磁盘承载的IO请求较多，小磁盘承载的IO请求较少的情况，因此提高了存储设备响应IO请求的速度。
附图说明
图1为本发明实施例中数据均衡方法的一个流程示意图；
图2为本发明实施例中数据均衡方法的另一个流程示意图；
图3为本发明实施例中数据均衡方法的另一个流程示意图；
图4为本发明实施例中调整队列数据的一个示意图；
图5为本发明实施例中调整队列数据的另一个示意图；
图6为本发明实施例中调整队列数据的另一个示意图；
图7为本发明实施例中存储设备的一个结构示意图；
图8为本发明实施例中存储设备的另一个结构示意图；
图9为本发明实施例中存储设备的另一个结构示意图；
图10为本发明实施例中存储设备的另一个结构示意图。
具体实施方式
下面首先对本发明中数据均衡方法所应用的存储设备进行介绍：
存储设备可以具有至少两种容量的磁盘。例如，存储设备包括1TB、2TB、4TB三个磁盘。在存储设备中，各磁盘可以是集中存储在机房中的存储节点，也可以是分散在各地，通过网络连接的存储节点。
每个磁盘的存储数据可分为多个大小相等的数据块，数据块大小可以设为64千字节(Kilobyte，简称KB)，也可以设置为其他字节数，具体此处不作限定。
举例来说，服务器节点的初始配置可能是8个HDD磁盘，每个磁盘容量为1TB，随着业务的发展，服务器节点需要扩容，在初始配置的基础上增加4TB的磁盘2个，此时服务器节点成为异构式存储设备。在该异构式存储设备中，一般4TB磁盘存储的热数据为1TB磁盘存储的热数据的4倍。相应的，对4TB磁盘的IO访问量是1TB磁盘的IO访问量的4倍。但是，1TB磁盘和4TB磁盘的读写性能相近，服务器响应IO请求的过程中，4TB磁盘完成读写的时间是1TB磁盘的4倍，由此可见，存储有大量热数据的磁盘是IO访问的性能瓶颈。
为了解决上述问题，请参阅图1，本发明中数据均衡方法的一个实施例包括：
步骤101、分别统计存储设备中每个磁盘的热数据量。
本实施例中，热数据量为热数据占用存储空间大小。对于存储设备中的每个磁盘，存储设备可以统计每个磁盘的热数据量。
步骤102、确定存储设备中每个磁盘的热数据均衡值。
具体的，存储设备确定存储设备中每个磁盘的热数据均衡值之后，可以依据热数据均衡值，将磁盘划分为第一类磁盘和第二类磁盘。其中，第一类磁盘中每个磁盘的热数据多于磁盘的热数据均衡值，第二类磁盘中每个磁盘的热数据少于磁盘的热数据均衡值。
步骤103、将第一类磁盘中的热数据迁移到第二类磁盘，直至存储设备中每个磁盘的热数据量与热数据均衡值的差值均小于第一预设阈值。
需要说明的是，第一预设阈值是指单个磁盘的热数据量与热数据均衡值之间的允许误差，它的取值可以设置为0，也可以设置为N个数据块的大小，N可以是1，2，3，4，5，还可以根据实际情况设定为其他数值。第一预设阈值也可以设置为总数据量的0.5％，1％，2％，还可以设置为其他值，具体此处不作限定。
当存储设备中每个磁盘的热数据与热数据均衡值的差值小于第一预设阈值时，表明每个磁盘的热数据量基本相同。在此情况下，每个磁盘承载的IO请求大致相等，各磁盘响应IO请求的时间基本相同，解决了各磁盘承载IO请求不均的情况，提高了存储设备响应IO请求的速度。
在实际应用中，存储设备将第一类磁盘中的热数据迁移到第二类磁盘可以通过多种方式实现：
基于图1所示实施例，在本发明的一个可选实施例中，步骤103具体可以为：将第一类磁盘中各磁盘的目标热数据合并为目标热数据集合；确定第二目标磁盘的热数据量与第二目标磁盘的热数据均衡值的差值；从目标热数据集合中选取差值对应的目标热数据，将选取的目标热数据迁移到第二目标磁盘。其中，目标热数据是指每个磁盘的热数据多于磁盘的热数据均衡值的部分第二目标磁盘为第二类磁盘中的任意一个磁盘。
具体的，第二类磁盘包括M个磁盘，第二目标磁盘可以用第j个磁盘表示，1≤j≤M。存储设备可以确定第二目标磁盘的热数据量与第二目标磁盘的热数据均衡值的差值，计算公式可以如下：ΔD(j)＝D(j)-D'(j)，D(j)为第j个磁盘的热数据量，D'(j)为第j个磁盘的热数据均衡值，ΔD(j)为第j个磁盘的热数据量与第j个磁盘的热数据均衡值的差值。
按照第j个磁盘对应的差值ΔD(j)，存储设备从目标热数据集合中选取大小为ΔD(j)的热数据迁移到第j个磁盘，直至第二类磁盘的每个磁盘的热数据量与磁盘热数据均衡值的差值小于第一预设阈值，此时第一类磁盘的每个磁盘的热数据量与磁盘热数据均衡值的差值也小于第一预设阈值，使得存储设备中每个磁盘的热数据量与磁盘热数据均衡值的差值均小于第一预设阈值。
基于图1所示实施例，在本发明的另一个可选实施例中，步骤103可以为：对于第一类磁盘，存储设备可以从任意一个磁盘开始，从磁盘中选取多于热数据均衡值的部分热数据(即目标热数据)，将该部分热数据迁移到第二类磁盘中的一个或多个磁盘，直至第一类的所有磁盘完成迁移。在迁移完成后，第一类磁盘的每个磁盘的热数据量等于热数据均衡值，若存储设备还包括若干与热数据均衡值不等的磁盘，再将上述磁盘中热数据量大于热数据均衡值的磁盘组作为新的第一类磁盘，将上述磁盘中热数据量小于热数据均衡值的磁盘组作为新的第二类磁盘，再次执行将第一类磁盘的热数据迁移到第二类磁盘的步骤，直至存储设备中每个磁盘的热数据量与热数据均衡值的差值小于第一预设阈值。
基于图1所示实施例，在本发明的一个可选实施例中，步骤102具体可以为：
存储设备获取存储设备的总数据量、磁盘数量以及热数据比例，热数据比例为存储设备中热数据总量与总数据量之比；
存储设备根据总数据量、磁盘数量以及热数据比例计算得到热数据均衡值，并将热数据均衡值作为各磁盘的热数据均衡值。
本实施例中，存储设备可以根据总数据量、磁盘数量以及热数据比例计算得到热数据均衡值。计算公式可以为：热数据均衡值＝总数据量×热数据比例/磁盘数量。其中，热数据比例为存储设备中热数据总量与总数据量之比。热数据比例可以由IO访问统计结果来确定，也可以由经验设定，例如10％，15％，20％等，此处不作限定。
举例来说，总数据量为10GB，热数据比例为10％，磁盘数量为4，则每个磁盘的热数据均衡值＝10GB×10％/4＝250MB。如果每个磁盘的读写性能相同，则每个磁盘响应IO指令的速度相同，可以实现每个磁盘均衡承载IO请求的目标。
由于异构式存储设备中存在多种磁盘，每种磁盘的读写性能不一样，导致存储设备响应IO指令的速度存在差异。为了解决由于磁盘读写性能不同导致存储设备响应IO指令的速度不同的问题，本发明还可以根据各磁盘的磁盘读写速度，确定对应的热数据均衡值，以使得各磁盘响应IO指令的速度大致相同。具体实现过程请参阅以下实施例，基于图1所示实施例，在本发明的另一个可选实施例中，步骤102具体可以为：
获取存储设备的总数据量、磁盘数量以及热数据比例，热数据比例为存储设备中热数据总量与总数据量之比；
根据第一目标磁盘的磁盘读写速度，确定第一目标磁盘的热数据存储权值，第一目标磁盘的磁盘读写速度与第一目标磁盘的热数据存储权值成正相关性；
根据总数据量、热数据比例、第一目标磁盘的热数据存储权值以及存储权值和，确定第一目标磁盘的热数据均衡值，存储权值和为存储设备中各磁盘的热数据存储权值之和，第一目标磁盘为存储设备中的任意一个磁盘。
本实施例中，第一目标磁盘是指存储设备中任意一个磁盘，可以用第i个磁盘表示。存储设备根据第i个磁盘的磁盘读写速度确定第i个磁盘的热数据存储权值之后，可以根据总数据量、热数据比例、第i个磁盘的热数据存储权值以及存储权值和，确定第i个磁盘的热数据均衡值。计算公式可以如下：第i个磁盘的热数据均衡值＝总数据量×热数据比例×第i个磁盘的存储权值/存储权值和。
需要说明的是，磁盘的磁盘读写速度与磁盘的存储权值成正相关性，即磁盘读写速度越大，磁盘的热数据存储权值越大，否则，磁盘的热数据存储权值越小。
在这种情况下，读写速度慢的磁盘需要存储的热数据量少于读写速度快的磁盘需要存储的热数据，在同一时段内读写速度慢的磁盘承载的IO请求小于读写速度快的磁盘，从而使得存储设备中各磁盘响应IO请求的速度一致。
在实际应用中，存储设备可以通过数据队列的方式来管理存储设备中的数据。请参阅图2，本发明提供的数据均衡方法的另一个实施例包括：
步骤201、创建热队列；
本实施例中，存储设备可以记录各磁盘的数据块的访问频率以及访问时间，然后根据访问频率以及访问时间选取数据块存入热队列，完成热队列的初始化。其中，热队列用于存储热数据，热数据的访问频率不小于第一预设频率。
存储设备根据访问频率以及访问时间选取数据块的方法可以是近期最少使用(Least Recent Used，简称LRU)算法，或类LRU算法，此处不作限定。
步骤202、分别根据存储设备中每个磁盘在热队列中的数据块，确定各磁盘的热数据量。
具体的，存储设备可以确定热队列中每个数据块对应的磁盘，记录与单个磁盘对应的数据块，从而统计出各磁盘的热数据量。
举例来说，热队列的数据块，与磁盘的对应关系如下表所示：
热队列 磁盘
数据块1 磁盘1
数据块2 磁盘2
数据块3 磁盘1
数据块4 磁盘2
存储设备可以确定磁盘1以及磁盘2的热数据量均为2个数据块大小。
步骤203、确定存储设备中每个磁盘的热数据均衡值。
步骤204、将第一类磁盘中的热数据迁移到第二类磁盘，直至存储设备中每个磁盘的热数据量与热数据均衡值的差值小于第一预设阈值。
步骤203至步骤204，与图1所示实施例中步骤102至步骤103相似，此处不再赘述。
本实施例中，每个磁盘承载的IO请求大致相等，各磁盘响应IO请求的时间基本相同，解决了各磁盘承载IO请求不均的情况，提高了存储设备响应IO请求的速度。
其次，本实施例提供了一种热数据均衡的具体实施方式，便于本发明的实施。
请参阅图3，本发明提供的数据均衡方法的另一个实施例包括：
步骤301、创建热队列、温队列以及冷队列；
本实施例中，存储设备可以记录数据块的访问频率以及访问时间，然后根据访问频率以及访问时间选取数据块分别存入热队列、温队列以及冷队列，完成队列初始化。其中，热队列用于存储热数据，温队列用于存储温数据，冷队列用于存储冷数据。可以理解的是，存储设备根据访问频率以及访问时间选取数据块的方法可以是LRU算法，或类LRU算法，此处不作限定。
具体的，存储设备可以通过设置第一预设频率，以区分热数据和温数据，设置第二预设频率以区分温数据和冷数据，第一预设频率大于第二预设频率。热数据的访问频率不小于第一预设频率，温数据的访问频率小于第一预设频率且不小于第二预设频率，冷数据的访问频率小于第二预设频率。
步骤302、根据存储设备中每个磁盘在热队列中的数据块，确定磁盘的热数据量。
步骤303、确定存储设备中每个磁盘的热数据均衡值。
步骤304、将第一类磁盘中的热数据迁移到第二类磁盘，直至存储设备中每个磁盘的热数据量与热数据均衡值的差值小于第一预设阈值。
步骤303至步骤304，与图1所示实施例中步骤102至步骤103相似，此处不再赘述。
步骤305、根据存储设备中每个磁盘在温队列中的数据块，确定磁盘的温数据量。其中，温数据量为温数据占用存储空间的大小。
步骤306、确定存储设备中每个磁盘的温数据均衡值。
具体的，存储设备确定存储设备中每个磁盘的温数据均衡值之后，可以依据温数据均衡值，将磁盘划分为第三类磁盘和第四类磁盘。其中，第三类磁盘中每个磁盘的温数据多于磁盘的温数据均衡值，第四类磁盘中每个磁盘的温数据少于磁盘的温数据均衡值。
步骤307、将第三类磁盘中目标温数据迁移到第四类磁盘，直至存储设备中每个磁盘的温数据量与温数据均衡值的差值小于第二预设阈值。
对于第三类磁盘，存储设备可以从任意一个磁盘开始，从磁盘中选取多于温数据均衡值的部分温数据(目标温数据)，将该部分温数据迁移到第四类磁盘中的一个或多个磁盘，直至第三类的所有磁盘完成迁移。在迁移完成后，第三类磁盘的每个磁盘的温数据量等于温数据均衡值，若存储设备还包括若干与温数据均衡值不等的磁盘，再将上述磁盘执行步骤305至步骤307，直至存储设备中每个磁盘的温数据与温数据均衡值的差值小于第二预设阈值。
需要说明的是，第二预设阈值是指单个磁盘的温数据量与温数据均衡值之间的允许误差，它的取值可以设置为0，也可以设置为一个数据块的大小或两个数据块的大小，也可以设置为总数据量的0.5％，1％，2％，还可以设置为其他值，具体此处不作限定。
当存储设备中每个磁盘的温数据与温数据均衡值的差值小于第二预设阈值时，表明每个磁盘的温数据量基本相同。在此情况下，当外部设备访问大量温数据时，每个磁盘承载的IO请求大致相等，各磁盘响应IO请求的时间基本相同，解决了各磁盘承载IO请求不均的情况，提高了存储设备响应IO请求的速度。
基于图3所示实施例，在本发明的一个可选实施例中，步骤305具体可以为：
获取存储设备的总数据量、磁盘数量以及温数据比例，温数据比例为存储设备中温数据总量与总数据量之比；
根据总数据量、磁盘数量以及温数据比例计算得到温数据均衡值，并将温数据均衡值作为各磁盘的温数据均衡值。
本实施例中，存储设备可以根据总数据量、磁盘数量以及温数据比例计算得到温数据均衡值。计算公式可以为：温数据均衡值＝总数据量×温数据比例/磁盘数量。
基于图3实施例，在本发明的另一个可选实施例中，步骤305具体可以为：
获取存储设备的总数据量、磁盘数量以及温数据比例，温数据比例为存储设备中温数据总量与总数据量之比；
根据第一目标磁盘的磁盘读写速度，确定第一目标磁盘的温数据存储权值，第一目标磁盘的磁盘读写速度与第一目标磁盘的温数据存储权值成正相关性；
根据总数据量、温数据比例、第一目标磁盘的温数据存储权值以及存储权值和，确定第一目标磁盘的温数据均衡值，存储权值和为存储设备中各磁盘的温数据存储权值之和，第一目标磁盘为存储设备中的任意一个磁盘。
本实施例中，第一目标磁盘可以用第i个磁盘表示，存储设备可以根据总数据量、温数据比例、第i个磁盘的温数据存储权值以及存储权值和，确定第i个磁盘的温数据均衡值。计算公式可以如下：第i个磁盘的温数据均衡值＝总数据量×温数据比例×第i个磁盘的存储权值/存储权值和。
基于图3所示实施例，在本发明的另一个可选实施例中，该数据均衡方法还包括：
接收主机下发的IO指令；
若IO指令指定的数据块为温数据，则将IO指令指定的数据块从温队列存入热队列；
若IO指令指定的数据块为冷数据，则将IO指令指定的数据块从冷队列存入温队列。
本实施例中，如果存储设备确定IO指令指定的数据块在温队列中，那么表明该数据块在接收IO指令之前为温数据。由于该数据块为最近被访问的数据，存储设备可以将该数据块从温队列存入热队列，将该数据块从温数据修改为热数据。作为一个可选的实施方式，存储设备可以将该数据块存入热队列的队首，作为热队列的新队首元素，并将热队列的其他元素向队尾移动。
如果存储设备确定IO指令指定的数据块在冷队列中，那么表明该数据块在接收IO指令之前为冷数据。由于该数据块为最近被访问的数据，存储设备可以将该数据块从冷队列存入温队列，将该数据块从冷数据修改为温数据。作为一个可选的实施方式，存储设备可以将该数据块存入温队列的队首，作为温队列的新队首元素，并将温队列的其他元素向队尾移动。
可以理解的是，当数据块从温队列存入热队列之后，数据块从温数据转变为热数据，数据块所在磁盘的热数据量增加，且数据块所在磁盘的温数据量减少。
本实施例中，当外部设备访问冷数据时，冷数据不会通过一次访问就成为热数据，至少要经过两次访问才能进入热队列，这样使得热队列的数据块都是访问频繁的数据，温队列的数据块都是访问频率中等的数据，冷队列的数据块都是访问频率很低的数据。
基于前一个实施例，在本发明的另一个可选实施例中，该数据均衡方法还包括：
若热队列存储的数据块的数量超过热队列的长度，则从热队列中选取待调热数据，将待调热数据移动到温队列。
本实施例中，当IO指定数据块从温队列存入热队列之后，若热队列包含的数据块数量大于热队列长度，则存储设备从热队列中选取待调热数据，将待调热数据存入温队列，待调热数据可以是热队列队尾的数据块。作为一个可选实施方式，存储设备可以将待调热数据移动到温队列的队首，并将温队列中位于IO指定数据块之前的元素向后移动。其中，热队列长度是指热队列可以存储的数据块的最大数量，具体可以通过以下方式计算：热队列长度＝总数据量×热数据比例/单个数据块字节数。
可以理解的是，当待调热数据从热队列存入温队列之后，待调热数据从热数据转变为温数据，待调热数据所在磁盘的热数据量减少，待调热数据所在磁盘的温数据量增加。
基于前一个实施例，在本发明的另一个可选实施例中，该数据均衡方法还包括：
若温队列存储的数据块的数量超过温队列的长度，则从温队列中选取待调温数据，将待调温数据移动到冷队列。
本实施例中，当IO指定数据块从冷队列存入温队列之后，若温队列包含的数据块数量大于温队列长度，则存储设备从温队列中选取待调温数据，将待调温数据存入冷队列，待调温数据可以是温队列队尾的数据块。作为一个可选实施方式，存储设备可以将待调温数据移动到冷队列的队首，并将冷队列中位于IO指定数据块之前的元素向后移动。其中，温队列长度是指温队列可以存储的数据块的最大数量，具体可以通过以下方式计算：温队列长度＝总数据量×温数据比例/单个数据块字节数。
可以理解的是，当待调温数据从温队列存入冷队列之后，待调温数据从温数据转变为冷数据，待调温数据所在磁盘的温数据量减少，待调温数据所在磁盘的冷数据量增加。冷数据量为冷数据占用存储空间的大小。
为便于理解，下面以一个具体应用场景对本发明实施例提供的数据均衡方法进行详细说明：
在本发明提供的具体应用场景中，存储服务器包括三个磁盘Disk_1，Disk_2，Disk_3，磁盘容量分别为1TB、1TB、4TB，总数据量为6GB，热数据比例为10％。
存储服务器可以根据磁盘数据块的访问频率，将Disk_1，Disk_2，Disk_3的数据分别存入热队列401、温队列402以及冷队列403。
存储服务器可以根据Disk_1、Disk_2和Disk_3在热队列中的数据块统计各磁盘对应的热数据量，下面Disk_1、Disk_2和Disk_3的初始热数据量分别以100MB，200MB，300MB为例，存储服务器确定热数据均衡值＝6GB×10％/3＝200MB；存储服务器可以将Disk_3中选取100MB迁移到Disk_1，从而使得Disk_1、Disk_2和Disk_3的热数据量均为200MB。
存储服务器可以接收IO指令，若IO指令访问温队列402中的数据块404，则将数据块404插入热队列401的队首，此时热队列401的热数据量大于热队列401的队列长度，则将热队列401的队尾数据405从热队列移动到温队列402的队首，如图4所示。数据块404的大小以10MB为例，假设数据块404所在磁盘为Disk_2，则Disk_2的热数据量增加10MB。假设数据块405所在磁盘为Disk_3，则Disk_3的热数据量减少10MB，存储服务器可以确定Disk_1、Disk_2和Disk_3的热数据量分别为100MB、210MB、290MB。
若IO指令访问冷队列403中的数据块501，存储服务器可以将数据块501插入温队列402的队首，由于温队列402的温数据量大于温队列402的队列长度，则将温队列402的队尾数据502从温队列移动到冷队列403的队首，如图5所示。
若IO指令访问热队列401的数据块601，则将数据块601插入到热队列的队首，并将队列中第1个数据到第4个数据向队尾移动一位，由于601仍然为热数据，因此存储设备中每个磁盘的热数据量不变，无需修改磁盘的热数据量。
请参阅图7，本发明提供一种存储设备，存储设备具有至少两种容量的磁盘，能够实现图1、图2、图3所示实施例或可选实施例中的数据均衡方法。本发明提供的存储设备700的一个实施例包括：
统计模701，用于分别统计存储设备中每个磁盘的热数据量，热数据量为热数据占用存储空间的大小；
确定模块702，用于确定存储设备中每个磁盘的热数据均衡值；
迁移模块703，用于将第一类磁盘中的目标热数据迁移到第二类磁盘，直至存储设备中每个磁盘的热数据量与热数据均衡值的差值小于第一预设阈值，第一类磁盘中每个磁盘的热数据量大于磁盘的热数据均衡值，第二类磁盘中每个磁盘的热数据量小于磁盘的热数据均衡值。
在本发明的一个可选实施例中，请参阅图8，存储设备700还包括：
创建模块801，用于创建热队列，热队列用于存储热数据，热数据的访问频率不小于第一预设频率；
统计模块702具体用于根据存储设备中每个磁盘在热队列中的数据块，确定磁盘的热数据量。
基于图7所示实施例，在本发明的另一个可选实施例中，
确定模块702具体用于获取存储设备的总数据量、磁盘数量以及热数据比例，热数据比例为存储设备中热数据总量与总数据量之比；根据总数据量、磁盘数量以及热数据比例计算得到热数据均衡值，并将热数据均衡值作为各磁盘的热数据均衡值。
基于图7所示实施例，在本发明的另一个可选实施例中，
确定模块702具体用于获取存储设备的总数据量、磁盘数量以及热数据比例，热数据比例为存储设备中热数据总量与总数据量之比；
根据第一目标磁盘的磁盘读写速度，确定第一目标磁盘的热数据存储权值，第一目标磁盘的磁盘读写速度与第一目标磁盘的热数据存储权值成正相关性；
根据总数据量、热数据比例、第一目标磁盘的热数据存储权值以及存储权值和，确定第一目标磁盘的热数据均衡值，存储权值和为存储设备中各磁盘的热数据存储权值之和，第一目标磁盘为存储设备中的任意一个磁盘。
基于图7所示实施例或可选实施例，在本发明的另一个可选实施例中，
迁移模块703具体用于将第一类磁盘中各磁盘的目标热数据合并为目标热数据集合，目标热数据是指每个磁盘的热数据多于磁盘的热数据均衡值的部分；
确定第二目标磁盘与第二目标磁盘的热数据均衡值的差值，第二目标磁盘为第二类磁盘中的任意一个磁盘；
从目标热数据集合中选取差值对应的目标热数据，将选取的目标热数据迁移到第二目标磁盘。
基于图7所示实施例，在本发明的另一个可选实施例中，
创建模块801，还用于创建温队列以及冷队列，温队列用于存储温数据，冷队列用于存储冷数据，温数据的访问频率小于第一预设频率且不小于第二预设阈值，冷数据的访问频率小于第二预设频率，第一预设频率大于第二预设频率；
请参阅图9，存储设备700还包括：
调整模块901，用于根据IO指令，调整存储设备中各队列的数据块。
基于前一个实施例，在本发明的另一个可选实施例中，
调整模块901具体用于接收主机下发的IO指令；若IO指令指定的数据块为温数据，则将IO指令指定的数据块从温队列存入热队列；或，用于若IO指令指定的数据块为冷数据，则将IO指令指定的数据块从冷队列存入温队列。
基于前一个实施例，在本发明的另一个可选实施例中，
调整模块901，还用于若热队列存储的数据块的数量超过热队列的长度，则从热队列中选取待调热数据，将待调热数据移动到温队列。
在本发明的另一个可选实施例中，
调整模块901，还用于若温队列存储的数据块的数量超过温队列的长度，则从温队列中选取待调温数据，将待调温数据移动到冷队列。
为便于理解，下面以一个具体应用场景对本发明实施例提供的存储设备进行详细说明：
存储服务器包括三个磁盘Disk_1，Disk_2，Disk_3，磁盘容量分别为1TB、1TB、4TB，总数据量为6GB，热数据比例为10％。
创建模块801可以根据磁盘数据块的访问频率，将Disk_1，Disk_2，Disk_3的数据分别存入热队列401、温队列402以及冷队列403。
统计模块701可以根据Disk_1、Disk_2和Disk_3在热队列中的数据块统计各磁盘对应的热数据量，下面Disk_1、Disk_2和Disk_3的初始热数据量分别以100MB，200MB，300MB为例，确定模块702确定热数据均衡值＝6GB×10％/3＝200MB；迁移模块703可以将Disk_3中选取100MB迁移到Disk_1，从而使得Disk_1、Disk_2和Disk_3的热数据量均为200MB。
调整模块901可以接收IO指令，若IO指令访问温队列402中的数据块404，则将数据块404插入热队列401的队首，此时热队列401的热数据量大于热队列401的队列长度，则调整模块901将热队列401的队尾数据405从热队列移动到温队列402的队首，如图4所示。数据块404的大小以10MB为例，假设数据块404所在磁盘为Disk_2，则Disk_2的热数据量增加10MB。假设数据块405所在磁盘为Disk_3，则Disk_3的热数据量减少10MB，确定模块702可以确定Disk_1、Disk_2和Disk_3的热数据量分别为100MB、210MB、290MB。
若IO指令访问冷队列403中的数据块501，调整模块901可以将数据块501插入温队列402的队首，由于温队列402的温数据量大于温队列402的队列长度，则将温队列402的队尾数据502从温队列移动到冷队列403的队首，如图5所示。
若IO指令访问热队列401的数据块601，则调整模块901可以将数据块601插入到热队列的队首，并将队列中第1个数据到第4个数据向队尾移动一位，由于601仍然为热数据，因此存储设备中每个磁盘的热数据量不变，无需修改磁盘的热数据量。
以上从功能模块的角度对本发明提供的存储设备进行了介绍，下面从硬件装置角度对本发明提供的存储设备进行了介绍：
本发明还提供一种存储设备1000，可以实现图1至图3所示实施例或可选实施例中的数据均衡方法，请参阅图10，存储设备1000包括通讯接口1001、控制器1002、缓存1003以及磁盘1004；通讯接口1001、控制器1002、缓存1003和磁盘1004之间通过总线相互连接。其中，控制器1002可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件等。缓存1003可以是随机存取存储器(Random Access Memory，简称RAM)，磁盘1004可以是非易失性存储器(Non-Volatile Memory，简称NVM)。
缓存1003用于存储数据以及操作指令，其中，通过调用缓存1003存储的操作指令，控制器1002用于执行以下方法：
分别统计存储设备中每个磁盘的热数据量，热数据量为热数据占用存储空间的大小；
确定存储设备中每个磁盘的热数据均衡值；
将第一类磁盘中目标热数据迁移到第二类磁盘，直至存储设备中每个磁盘的热数据量与热数据均衡值的差值小于第一预设阈值，第一类磁盘中每个磁盘的热数据量大于磁盘的热数据均衡值，第二类磁盘中每个磁盘的热数据量小于磁盘的热数据均衡值。
在本发明的一个可选实施例中，控制器1002还用于创建热队列，热队列用于存储热数据，热数据的访问频率不小于第一预设频率；
以及，用于分别根据存储设备中每个磁盘在热队列中的数据块，确定各磁盘的热数据量。
在本发明的另一个可选实施例中，控制器1002具体用于获取存储设备的总数据量、磁盘数量以及热数据比例，热数据比例为存储设备中热数据总量与总数据量之比；
根据总数据量、磁盘数量以及热数据比例计算得到热数据均衡值，并将热数据均衡值作为各磁盘的热数据均衡值。
在本发明的另一个可选实施例中，控制器1002具体用于获取存储设备的总数据量、磁盘数量以及热数据比例，热数据比例为存储设备中热数据总量与总数据量之比；
根据第一目标磁盘的磁盘读写速度，确定第一目标磁盘的热数据存储权值，第一目标磁盘的磁盘读写速度与第一目标磁盘的热数据存储权值成正相关性；
根据总数据量、热数据比例、第一目标磁盘的热数据存储权值以及存储权值和，确定第一目标磁盘的热数据均衡值，存储权值和为存储设备中各磁盘的热数据存储权值之和，第一目标磁盘为存储设备中的任意一个磁盘。
在本发明的另一个可选实施例中，控制器1002具体用于创建温队列以及冷队列，温队列用于存储温数据，冷队列用于存储冷数据，温数据的访问频率小于第一预设频率且不小于第二预设频率，冷数据的访问频率小于第二预设频率，第一预设频率大于第二预设频率；
根据IO指令，调整存储设备中各队列的数据块。
在本发明的一个可选实施例中，控制器1002具体用于接收主机下发的IO指令；
若IO指令指定的数据块为温数据，则将IO指令指定的数据块从温队列存入热队列；
若IO指令指定的数据块为冷数据，则将IO指令指定的数据块从冷队列存入温队列。
在本发明的一个可选实施例中，控制器1002具体用于若热队列存储的数据块的数量超过热队列的长度，则从热队列中选取待调热数据，将待调热数据移动到温队列。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；前述的存储介质包括：ROM、RAM、磁碟或光盘等各种可以存储程序代码的介质。
本实施例的设备，通过上述模块实现数据均衡的过程与上述相关方法实施例实现数据均衡的实现机制相同，详细可以参考上述相关方法实施例的记载，此处不再赘述。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (18)

1.一种数据均衡方法，其特征在于，所述方法应用于存储设备，所述存储设备具有至少两种磁盘，所述至少两种磁盘的容量和/或磁盘读写速度不同，所述方法包括：
分别统计存储设备中每个磁盘的热数据量，所述热数据量为热数据占用存储空间的大小；
确定所述存储设备中每个磁盘的热数据均衡值；
将第一类磁盘中的热数据迁移到第二类磁盘，直至所述存储设备中每个磁盘的热数据量与热数据均衡值的差值均小于第一预设阈值，所述第一类磁盘中每个磁盘的热数据量大于磁盘的热数据均衡值，所述第二类磁盘中每个磁盘的热数据量小于磁盘的热数据均衡值。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
创建热队列，所述热队列用于存储热数据，所述热数据的访问频率不小于第一预设频率；
所述分别统计存储设备中每个磁盘的热数据量包括：
分别根据存储设备中每个磁盘在所述热队列中的数据块，确定各磁盘的热数据量。
3.根据权利要求2所述的方法，其特征在于，所述确定所述存储设备中每个磁盘的热数据均衡值包括：
获取所述存储设备的总数据量、磁盘数量以及热数据比例，所述热数据比例为存储设备中热数据总量与总数据量之比；
根据所述总数据量、所述磁盘数量以及所述热数据比例计算得到热数据均衡值，并将所述热数据均衡值作为各磁盘的热数据均衡值。
4.根据权利要求2所述的方法，其特征在于，所述确定所述存储设备中每个磁盘的热数据均衡值包括：
获取所述存储设备的总数据量、磁盘数量以及热数据比例，所述热数据比例为存储设备中热数据总量与总数据量之比；
根据第一目标磁盘的磁盘读写速度，确定所述第一目标磁盘的热数据存储权值，所述第一目标磁盘的磁盘读写速度与所述第一目标磁盘的热数据存储权值成正相关性；
根据所述总数据量、所述热数据比例、所述第一目标磁盘的热数据存储权值以及存储权值和，确定第一目标磁盘的热数据均衡值，所述存储权值和为存储设备中各磁盘的热数据存储权值之和，所述第一目标磁盘为所述存储设备中的任意一个磁盘。
5.根据权利要求2至4中任一项所述的方法，其特征在于，所述将第一类磁盘中热数据迁移到第二类磁盘包括：
将第一类磁盘中各磁盘的目标热数据合并为目标热数据集合，所述目标热数据是指每个磁盘的热数据多于磁盘的热数据均衡值的部分；
确定第二目标磁盘的热数据量与所述第二目标磁盘的热数据均衡值的差值，所述第二目标磁盘为所述第二类磁盘中的任意一个磁盘；
从所述目标热数据集合中选取所述差值对应的目标热数据，将选取的目标热数据迁移到所述第二目标磁盘。
6.根据权利要求2至4中任一项所述的方法，其特征在于，所述方法还包括：
创建温队列以及冷队列，所述温队列用于存储温数据，所述冷队列用于存储冷数据，所述温数据的访问频率小于所述第一预设频率且不小于第二预设频率，所述冷数据的访问频率小于所述第二预设频率，所述第一预设频率大于所述第二预设频率；
根据IO指令，调整所述存储设备中各队列的数据块。
7.根据权利要求6所述的方法，其特征在于，所述根据IO指令，调整所述存储设备中各队列的数据块包括：
接收主机下发的IO指令；
若所述IO指令指定的数据块为温数据，则将所述IO指令指定的数据块从所述温队列存入所述热队列；
若所述IO指令指定的数据块为冷数据，则将所述IO指令指定的数据块从所述冷队列存入所述温队列。
8.根据权利要求7所述的方法，其特征在于，在所述将所述IO指令指定的数据块从所述温队列存入所述热队列之后，所述方法还包括：
若所述热队列存储的数据块的数量超过热队列的长度，则从所述热队列中选取待调热数据，将待调热数据移动到所述温队列。
9.根据权利要求7所述的方法，其特征在于，在所述将所述IO指令指定的数据块从所述冷队列存入所述温队列之后，所述方法还包括：
若所述温队列存储的数据块的数量超过所述温队列的长度，则从所述温队列中选取待调温数据，将待调温数据移动到所述冷队列。
10.一种存储设备，其特征在于，所述存储设备具有至少两种磁盘，所述至少两种磁盘的容量和/或磁盘读写速度不同，所述存储设备包括：
统计模块，用于分别统计存储设备中每个磁盘的热数据量，所述热数据量为热数据占用存储空间的大小；
确定模块，用于确定所述存储设备中每个磁盘的热数据均衡值；
迁移模块，用于将第一类磁盘中的目标热数据迁移到第二类磁盘，直至存储设备中每个磁盘的热数据量与热数据均衡值的差值均小于第一预设阈值，所述第一类磁盘中每个磁盘的热数据量大于磁盘的热数据均衡值，所述第二类磁盘中每个磁盘的热数据量小于磁盘的热数据均衡值。
11.根据权利要求10所述的存储设备，其特征在于，所述存储设备还包括：
创建模块，用于创建热队列，所述热队列用于存储热数据，所述热数据的访问频率不小于第一预设频率；
所述统计模块具体用于根据所述存储设备中每个磁盘在所述热队列中的数据块，确定磁盘的热数据量。
12.根据权利要求11所述的存储设备，其特征在于，所述确定模块具体用于获取所述存储设备的总数据量、磁盘数量以及热数据比例，所述热数据比例为存储设备中热数据总量与总数据量之比；
根据所述总数据量、所述磁盘数量以及所述热数据比例计算得到热数据均衡值，并将热数据均衡值作为各磁盘的热数据均衡值。
13.根据权利要求11所述的存储设备，其特征在于，所述确定模块具体用于获取所述存储设备的总数据量、磁盘数量以及热数据比例，所述热数据比例为存储设备中热数据总量与总数据量之比；
根据第一目标磁盘的磁盘读写速度，确定所述第一目标磁盘的热数据存储权值，所述第一目标磁盘的磁盘读写速度与所述第一目标磁盘的热数据存储权值成正相关性；
根据所述总数据量、所述热数据比例、所述第一目标磁盘的热数据存储权值以及存储权值和，确定第一目标磁盘的热数据均衡值，所述存储权值和为存储设备中各磁盘的热数据存储权值之和，所述第一目标磁盘为所述存储设备中的任意一个磁盘。
14.根据权利要求11至13中任一项所述的存储设备，其特征在于，
所述迁移模块具体用于将第一类磁盘中各磁盘的目标热数据合并为目标热数据集合，所述目标热数据是指每个磁盘的热数据多于磁盘的热数据均衡值的部分；
确定第二目标磁盘与所述第二目标磁盘的热数据均衡值的差值，所述第二目标磁盘为所述第二类磁盘中的任意一个磁盘；
从所述目标热数据集合中选取所述差值对应的目标热数据，将选取的目标热数据迁移到所述第二目标磁盘。
15.根据权利要求11至13中任一项所述的存储设备，其特征在于，
所述创建模块，还用于创建温队列以及冷队列，所述温队列用于存储温数据，所述冷队列用于存储冷数据，所述温数据的访问频率小于所述第一预设频率且不小于第二预设频率，所述冷数据的访问频率小于所述第二预设频率，所述第一预设频率大于所述第二预设频率；
所述存储设备还包括：
调整模块，用于根据IO指令，调整所述存储设备中各队列的数据块。
16.根据权利要求15所述的存储设备，其特征在于，
所述调整模块具体用于接收主机下发的IO指令；若所述IO指令指定的数据块为温数据，则将所述IO指令指定的数据块从温队列存入热队列；或，用于若所述IO指令指定的数据块为冷数据，则将所述IO指令指定的数据块从冷队列存入温队列。
17.根据权利要求16所述的存储设备，其特征在于，
所述调整模块，还用于若所述热队列存储的数据块的数量超过所述热队列的长度，则从所述热队列中选取待调热数据，将待调热数据移动到所述温队列。
18.根据权利要求16所述的存储设备，其特征在于，
所述调整模块，还用于若所述温队列存储的数据块的数量超过所述温队列的长度，则从所述温队列中选取待调温数据，将待调温数据移动到所述冷队列。
CN201610716393.5A 2016-08-24 2016-08-24 一种数据均衡方法及存储设备 Pending CN107783720A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610716393.5A CN107783720A (zh) 2016-08-24 2016-08-24 一种数据均衡方法及存储设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610716393.5A CN107783720A (zh) 2016-08-24 2016-08-24 一种数据均衡方法及存储设备

Publications (1)

Publication Number Publication Date
CN107783720A true CN107783720A (zh) 2018-03-09

Family

ID=61388330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610716393.5A Pending CN107783720A (zh) 2016-08-24 2016-08-24 一种数据均衡方法及存储设备

Country Status (1)

Country Link
CN (1) CN107783720A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240988A (zh) * 2018-08-30 2019-01-18 杜广香 用于避免大数据存储系统进入访问失衡状态的方法及系统
CN110308862A (zh) * 2018-03-20 2019-10-08 纬颖科技服务股份有限公司 管理方法及其相关储存系统
CN110334079A (zh) * 2019-06-21 2019-10-15 腾讯科技（深圳）有限公司 一种数据迁移方法及装置
CN112748853A (zh) * 2019-10-30 2021-05-04 伊姆西Ip控股有限责任公司 用于管理盘的方法、设备和计算机程序产品
CN114185487A (zh) * 2021-11-25 2022-03-15 深圳市德明利技术股份有限公司 冷热数据识别方法、装置、计算机设备

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7185163B1 (en) * 2003-09-03 2007-02-27 Veritas Operating Corporation Balancing most frequently used file system clusters across a plurality of disks
CN101582013A (zh) * 2009-06-10 2009-11-18 成都市华为赛门铁克科技有限公司 一种在分布式存储中处理存储热点的方法、装置及系统
CN101710339A (zh) * 2009-11-20 2010-05-19 中国科学院计算技术研究所 控制机群文件系统中数据存储方法和系统及创建文件方法
CN102055650A (zh) * 2009-10-29 2011-05-11 华为技术有限公司 负载均衡方法及系统和管理服务器
CN102104494A (zh) * 2009-12-18 2011-06-22 华为技术有限公司 元数据服务器、带外网络文件系统及其处理方法
CN102480502A (zh) * 2010-11-26 2012-05-30 联想(北京)有限公司 一种i/o负载均衡方法及i/o服务器
CN103150347A (zh) * 2013-02-07 2013-06-12 浙江大学 基于文件热度的动态副本管理方法
CN103500072A (zh) * 2013-09-27 2014-01-08 华为技术有限公司 数据迁移方法及数据迁移装置
CN103914573A (zh) * 2014-04-29 2014-07-09 国家电网公司 一种测点迁移方法及装置
CN103997512A (zh) * 2014-04-14 2014-08-20 南京邮电大学 一种面向云存储系统的数据副本数量确定方法
CN104104613A (zh) * 2014-08-08 2014-10-15 成都致云科技有限公司 云存储系统的自动重均衡方法
CN104199784A (zh) * 2014-08-20 2014-12-10 浪潮(北京)电子信息产业有限公司 一种基于分级存储的数据迁移方法及装置
US8914340B2 (en) * 2008-02-06 2014-12-16 International Business Machines Corporation Apparatus, system, and method for relocating storage pool hot spots
CN104243621A (zh) * 2014-10-17 2014-12-24 浪潮电子信息产业股份有限公司 一种改进的hbase负载均衡策略
CN104331253A (zh) * 2014-10-30 2015-02-04 浪潮电子信息产业股份有限公司 一种对象存储系统中对象迁移的计算方法
CN104391659A (zh) * 2014-12-03 2015-03-04 浪潮集团有限公司 一种基于磁盘的实现冷热数据自动分层存储技术
US20150121024A1 (en) * 2013-10-28 2015-04-30 Lenovo Enterprise Solutions (Singapore) Ptw. Ltd. Operating A Memory Management Controller
CN105491117A (zh) * 2015-11-26 2016-04-13 北京航空航天大学 面向实时数据分析的流式图数据处理系统及方法
CN105701028A (zh) * 2014-11-28 2016-06-22 国际商业机器公司 分布式存储系统中的磁盘管理方法和设备
CN105808443A (zh) * 2014-12-29 2016-07-27 华为技术有限公司 一种数据迁移的方法、装置及系统

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7185163B1 (en) * 2003-09-03 2007-02-27 Veritas Operating Corporation Balancing most frequently used file system clusters across a plurality of disks
US8914340B2 (en) * 2008-02-06 2014-12-16 International Business Machines Corporation Apparatus, system, and method for relocating storage pool hot spots
CN101582013A (zh) * 2009-06-10 2009-11-18 成都市华为赛门铁克科技有限公司 一种在分布式存储中处理存储热点的方法、装置及系统
CN102055650A (zh) * 2009-10-29 2011-05-11 华为技术有限公司 负载均衡方法及系统和管理服务器
CN101710339A (zh) * 2009-11-20 2010-05-19 中国科学院计算技术研究所 控制机群文件系统中数据存储方法和系统及创建文件方法
CN102104494A (zh) * 2009-12-18 2011-06-22 华为技术有限公司 元数据服务器、带外网络文件系统及其处理方法
CN102480502A (zh) * 2010-11-26 2012-05-30 联想(北京)有限公司 一种i/o负载均衡方法及i/o服务器
CN103150347A (zh) * 2013-02-07 2013-06-12 浙江大学 基于文件热度的动态副本管理方法
CN103500072A (zh) * 2013-09-27 2014-01-08 华为技术有限公司 数据迁移方法及数据迁移装置
US20150121024A1 (en) * 2013-10-28 2015-04-30 Lenovo Enterprise Solutions (Singapore) Ptw. Ltd. Operating A Memory Management Controller
CN103997512A (zh) * 2014-04-14 2014-08-20 南京邮电大学 一种面向云存储系统的数据副本数量确定方法
CN103914573A (zh) * 2014-04-29 2014-07-09 国家电网公司 一种测点迁移方法及装置
CN104104613A (zh) * 2014-08-08 2014-10-15 成都致云科技有限公司 云存储系统的自动重均衡方法
CN104199784A (zh) * 2014-08-20 2014-12-10 浪潮(北京)电子信息产业有限公司 一种基于分级存储的数据迁移方法及装置
CN104243621A (zh) * 2014-10-17 2014-12-24 浪潮电子信息产业股份有限公司 一种改进的hbase负载均衡策略
CN104331253A (zh) * 2014-10-30 2015-02-04 浪潮电子信息产业股份有限公司 一种对象存储系统中对象迁移的计算方法
CN105701028A (zh) * 2014-11-28 2016-06-22 国际商业机器公司 分布式存储系统中的磁盘管理方法和设备
CN104391659A (zh) * 2014-12-03 2015-03-04 浪潮集团有限公司 一种基于磁盘的实现冷热数据自动分层存储技术
CN105808443A (zh) * 2014-12-29 2016-07-27 华为技术有限公司 一种数据迁移的方法、装置及系统
CN105491117A (zh) * 2015-11-26 2016-04-13 北京航空航天大学 面向实时数据分析的流式图数据处理系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴一波: "并行文件系统负载均衡技术的研究与实现", 《中国知网》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110308862A (zh) * 2018-03-20 2019-10-08 纬颖科技服务股份有限公司 管理方法及其相关储存系统
CN110308862B (zh) * 2018-03-20 2023-05-05 纬颖科技服务股份有限公司 管理方法及其相关储存系统
CN109240988A (zh) * 2018-08-30 2019-01-18 杜广香 用于避免大数据存储系统进入访问失衡状态的方法及系统
CN109240988B (zh) * 2018-08-30 2023-08-15 麦乐峰(厦门)智能科技有限公司 用于避免大数据存储系统进入访问失衡状态的方法及系统
CN110334079A (zh) * 2019-06-21 2019-10-15 腾讯科技（深圳）有限公司 一种数据迁移方法及装置
CN110334079B (zh) * 2019-06-21 2024-03-15 腾讯科技（深圳）有限公司 一种数据迁移方法及装置
CN112748853A (zh) * 2019-10-30 2021-05-04 伊姆西Ip控股有限责任公司 用于管理盘的方法、设备和计算机程序产品
CN112748853B (zh) * 2019-10-30 2024-04-16 伊姆西Ip控股有限责任公司 用于管理盘的方法、设备和计算机可读介质
CN114185487A (zh) * 2021-11-25 2022-03-15 深圳市德明利技术股份有限公司 冷热数据识别方法、装置、计算机设备

Similar Documents

Publication Publication Date Title
CN107783720A (zh) 一种数据均衡方法及存储设备
US8380928B1 (en) Applying data access activity measurements
US11409469B2 (en) Storage device for supporting multiple hosts and operation method thereof
CN110008149B (zh) 融合式存储器件及其操作方法
US9411530B1 (en) Selecting physical storage in data storage systems
US6792509B2 (en) Partitioned cache of multiple logical levels with adaptive reconfiguration based on multiple criteria
CN110175140A (zh) 融合式存储器件及其操作方法
US8478939B2 (en) Relative heat index based hot data determination for block based storage tiering
TW591401B (en) Method, system, and article of manufacture for returning physical volumes
WO2017092480A1 (zh) 一种数据迁移的方法及装置
CN101013387A (zh) 基于对象存储设备的负载平衡方法
US9747040B1 (en) Method and system for machine learning for write command selection based on technology feedback
EP2979187B1 (en) Data flush of group table
CN110196687B (zh) 数据读写方法、装置、电子设备
CN108733308A (zh) 用于管理盘池的方法和设备
CN106534308A (zh) 一种分布式存储系统中解决数据块访问热点的方法及装置
WO2018057128A1 (en) Storage device having improved write uniformity stability
CN107515827A (zh) Pcie ssd自定义日志的存储方法、装置及ssd
US9811380B1 (en) Dynamic allocation of CPU resources based on system load trends
CN104182359B (zh) 一种缓存分配方法及装置
CN101251789A (zh) 廉价磁盘冗余阵列raid5卷快速扩容方法
WO2022179294A1 (zh) 数据预取的方法、设备及系统
US11861222B2 (en) Object management in tiered memory systems
US9043533B1 (en) Sizing volatile memory cache based on flash-based cache usage
US20220365705A1 (en) Object management in tiered memory systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180309

RJ01 Rejection of invention patent application after publication