CN106484330A - 一种混合磁盘分层数据优化方法和装置 - Google Patents

Abstract

本申请公开了一种混合磁盘分层数据优化方法和装置，该方法包括：根据数据的指标，对数据进行分类；将分类后的所述数据按照类别分别存储在分级存储管理系统的相应的存储设备中；当所述数据的指标发生变化时，将所述数据进行升级迁移或降级迁移。本申请提供的上述混合磁盘分层数据优化方法和装置，能够在混合硬盘的基础上，使数据分布更有效，利用磁盘保证写能力，并利用SSD读取热点数据来提高读能力，从而提高存储系统的读写能力。

Description

一种混合磁盘分层数据优化方法和装置

技术领域

本发明属于存储系统技术领域，特别是涉及一种混合磁盘分层数据优化方法和装置。

背景技术

在现代存储系统中，由于存储需求逐步增加，硬盘容量从TB级增长到PB级，数据的处理器和各种链路速度的也越来越快，但是硬盘的落盘速度并不能及时跟上处理速度，使其变成了短板，这就容易造成系统的宕机、假死未响应等相关状态，而很多应用数据都是需要数据库的支持，数据处理的性能深受影响。传统数据落盘都是基于磁盘，磁盘具有大容量，稳定，并且成本比较低，但是速度却跟不上，在进行大量数据特别是热点数据的频繁读写访问，缺陷明显的表现出来了。现在已经有了很多的混合硬盘技术，并且提出了很多算法构造，比如自动分层，热点数据迁移等。SSD固态硬盘的造价越来越低的趋势，也是造就这一技术的关键成分。因此，SSD混合硬盘构造数据库文件系统变成了一种提升硬盘性能的有效办法。SSD较普通硬盘的读写速率高很多，性能更好，但是SSD同样是硬盘同样存在写操作慢于读操作，所以在写的过程中，读操作要等待写，另外，SSD不支持写覆盖，所以寿命也就没有普通硬盘稳定。

常见的硬盘检测领域分为OLTP和OLAP数据库，并且有文件系统服务器，web服务器，视频监控领域等。OLTP，也叫联机事务处理(Online Transaction Processing)，表示事务性非常高的系统，一般都是高可用的在线系统，以小的事务以及小的查询为主，评估其系统的时候，一般看其每秒执行的Transaction以及Execute SQL的数量，在这样的系统中，单个数据库每秒处理的Transaction往往超过几百个，甚至是几千个，Select语句的执行量每秒几千甚至几万个。典型的OLTP系统有电子商务系统、银行、证券等，如美国eBay的业务数据库，就是很典型的OLTP数据库。OLTP系统最容易出现瓶颈的地方就是CPU与磁盘子系统。CPU出现瓶颈常表现在逻辑读总量与计算性函数或者是过程上，逻辑读总量等于单个语句的逻辑读乘以执行次数，如果单个语句执行速度虽然很快，但是执行次数非常多，那么，也可能会导致很大的逻辑读总量。设计的方法与优化的方法就是减少单个语句的逻辑读，或者是减少它们的执行次数。另外，一些计算型的函数，如自定义函数、decode等的频繁使用，也会消耗大量的CPU时间，造成系统的负载升高，正确的设计方法或者是优化方法，需要尽量避免计算过程，如保存计算结果到统计表就是一个好的方法。磁盘子系统在OLTP环境中，它的承载能力一般取决于它的IOPS处理能力，因为在OLTP环境中，磁盘物理读一般都是dbfile sequential read，也就是单块读，但是这个读的次数非常频繁，如果频繁到磁盘子系统都不能承载其IOPS的时候，就会出现大的性能问题。

现在很多程度上都是因为硬盘的性能和故障导致系统出现问题，因此提高存储系统的读写能力，是一个亟待解决的问题。

发明内容

为解决上述问题，本发明提供了一种混合磁盘分层数据优化方法和装置，能够在混合硬盘的基础上，使数据分布更有效，利用磁盘保证写能力，并利用SSD读取热点数据提高读能力，从而提高存储系统的读写能力。

本发明提供的一种混合磁盘分层数据优化方法，包括：

根据数据的指标，对数据进行分类；

将分类后的所述数据按照类别分别存储在分级存储管理系统的相应的存储设备中；

当所述数据的指标发生变化时，将所述数据进行升级迁移或降级迁移。

优选的，在上述混合磁盘分层数据优化方法中，所述根据数据的指标，对数据进行分类包括：

根据所述数据的重要性、访问频率、保留时间、容量的指标，对所述数据进行分类。

优选的，在上述混合磁盘分层数据优化方法中，在所述根据数据的指标，对数据进行分类之前，还包括：

利用至少二个不同性能的存储设备，组成所述分级存储管理系统。

优选的，在上述混合磁盘分层数据优化方法中，所述利用至少二个不同性能的存储设备，组成所述分级存储管理系统包括：

利用高性能磁盘、中间性能磁盘和大容量高性价比磁盘，组成所述分级存储管理系统。

优选的，在上述混合磁盘分层数据优化方法中，所述将所述数据进行升级迁移或降级迁移包括：

根据前台I/O负载的变化，调整数据迁移过程的速率。

本发明提供的一种混合磁盘分层数据优化装置，包括：

分类部件，用于根据数据的指标，对数据进行分类；

存储部件，用于将分类后的所述数据按照类别分别存储在分级存储管理系统的相应的存储设备中；

迁移部件，用于当所述数据的指标发生变化时，将所述数据进行升级迁移或降级迁移。

优选的，在上述混合磁盘分层数据优化装置中，所述分类部件具体用于根据所述数据的重要性、访问频率、保留时间、容量的指标，对所述数据进行分类。

优选的，在上述混合磁盘分层数据优化装置中，还包括：

组成部件，用于利用至少二个不同性能的存储设备，组成所述分级存储管理系统。

优选的，在上述混合磁盘分层数据优化装置中，所述组成部件具体用于利用高性能磁盘、中间性能磁盘和大容量高性价比磁盘，组成所述分级存储管理系统。

优选的，在上述混合磁盘分层数据优化装置中，所述迁移部件具体用于根据前台I/O负载的变化，调整数据迁移过程的速率。

通过上述描述可知，本发明提供的混合磁盘分层数据优化方法和装置，由于该方法包括：根据数据的指标，对数据进行分类；将分类后的所述数据按照类别分别存储在分级存储管理系统的相应的存储设备中；当所述数据的指标发生变化时，将所述数据进行升级迁移或降级迁移，因此能够在混合硬盘的基础上，使数据分布更有效，利用磁盘保证写能力，并利用SSD读取热点数据提高读能力，从而提高存储系统的读写能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的第一种混合磁盘分层数据优化方法的示意图；

图2为本申请实施例提供的第一种混合磁盘分层数据优化装置的示意图。

具体实施方式

虽然SSD硬盘有着擦除寿命的限制，但是由于性能的优势，所以混合硬盘仍然是应用的热点。应用场景大多有以下两种：SSD作为内存下的缓存，以及作为硬盘系统的一部分。由于SSD的缓存可以直接被系统调用，因此基于这种思路的技术包括：EMC的FAST Cache，以及oracle的智能闪存缓存。但是这种技术的缺点是缓存过于频繁，容易造成SSD寿命的大幅度缩短，所以现在大多利用混合存储方案，比如数据自动分层技术。本发明的核心思想在于提供一种混合磁盘分层数据优化方法和装置，能够在混合硬盘的基础上，使数据分布更有效，利用磁盘保证写能力，并利用SSD读取热点数据提高读能力，从而提高存储系统的读写能力。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供的第一种混合磁盘分层数据优化方法如图1所示，图1为本申请实施例提供的第一种混合磁盘分层数据优化方法的示意图。该方法包括如下步骤：

S1：根据数据的指标，对数据进行分类；

具体的，基于数据访问的局部性，分层存储技术是根据存储的成本、性能和访问速率来存放不同重要程度的数据信息，来提高存储性能和数据可用性及降低存储成本。

S2：将分类后的所述数据按照类别分别存储在分级存储管理系统的相应的存储设备中；

具体的，分级存储管理系统一般分为在线(On-line)存储、近线(Near-line)存储和离线(Off-line)存储三级存储方式，其中，在线存储的读取速度快，性能好，价格贵，可用于存放经常访问的程序和文件，近线存储的存取速度低于高速磁盘，容量大，价格一般，用于存放不常访问的数据和程序，离线存储比在线存储或近线存储的数据进行备份，访问速度低，但价格低廉。数据自动迁移存储涉及的主要技术有：数据迁移的速率控制与调度、数据迁移对应用的延迟隐藏、文件访问块位置序列预测等。

S3：当所述数据的指标发生变化时，将所述数据进行升级迁移或降级迁移。

也就是说，可以根据数据的实时指标变化情况，对其进行升级迁移或降级迁移，以适应不同的情况。

通过上述描述可知，本申请实施例提供的混合磁盘分层数据优化方法，由于包括：根据数据的指标，对数据进行分类；将分类后的所述数据按照类别分别存储在分级存储管理系统的相应的存储设备中；当所述数据的指标发生变化时，将所述数据进行升级迁移或降级迁移，因此能够在混合硬盘的基础上，使数据分布更有效，利用磁盘保证写能力，并利用SSD读取热点数据提高读能力，从而提高存储系统的读写能力。

本申请实施例提供的第二种混合磁盘分层数据优化方法，是在上述第一种混合磁盘分层数据优化方法的基础上，还包括如下技术特征：

所述根据数据的指标，对数据进行分类包括：

根据所述数据的重要性、访问频率、保留时间、容量的指标，对所述数据进行分类。

具体的，包括如下四个策略：

(1)数量优先策略

因为SSD的性能优于硬盘，故当混合存储的时候，SSD要承担较快的数据量，这样才能发挥固态硬盘的优势，使得数据尽可能快的落盘。观测阶段内，对数据的读写进行排序，数据库中的索引和表按照读写空间进行排序，当系统io请求频繁大量的时候，读取io的优先比例。

(2)频率优先策略

因为SSD相对于磁盘在随机读写方面有着更显著的性能，所以应该将随机读写请求尽可能多的数据元素存储在SSD，I/O次数频率高的放到SSD上，那么很多小块数据的随机访问都将由SSD承担，而磁盘则承担自己比较擅长的连续读写，即使访问的数据量较大，性能相对也会比较高。因此，本文提出的I/O次数优先策略按照io空间因子对所有表和索引进行排序。io指每秒钟完成的I/O请求次数，它反映的是数据I/O访问的频繁程度，侧重于小块文件的的业务。

(3)数据转移策略

混合存储根据访问频率，io数量进行排序，并且根据空间占比得出一种空间占用分布范围并且预留一定的SSD空间配额使得工作情况不至于资源满额。

(4)配额策略

混合存储读写访问频率，可以根据io策略表生成一种临时有效的空间配额策略。

本申请实施例提供的第三种混合磁盘分层数据优化方法，是在上述第二种混合磁盘分层数据优化方法的基础上，还包括如下技术特征：

在所述根据数据的指标，对数据进行分类之前，还包括：

利用至少二个不同性能的存储设备，组成所述分级存储管理系统。

本申请实施例提供的第四种混合磁盘分层数据优化方法，是在上述第三种混合磁盘分层数据优化方法的基础上，还包括如下技术特征：

所述利用至少二个不同性能的存储设备，组成所述分级存储管理系统包括：

利用高性能磁盘、中间性能磁盘和大容量高性价比磁盘，组成所述分级存储管理系统。

需要说明的是，分级存储设备是根据具体应用可以变化的，这种存储级别的划分是相对的，可以分为多种级别。如可以采取高性能磁盘－中间性能磁盘－大容量高性价比磁盘这种三级存储结构，也可以将级别再进行细化，分成五级或更高级的存储结构，具体采用哪些存储级别需要根据具体应用而定。

本申请实施例提供的第五种混合磁盘分层数据优化方法，是在上述第四种混合磁盘分层数据优化方法的基础上，还包括如下技术特征：

所述将所述数据进行升级迁移或降级迁移包括：

根据前台I/O负载的变化，调整数据迁移过程的速率。

具体的，数据迁移可分为升级迁移和降级迁移，并且迁移的过程中并可能会有I/O请求发生，为减少数据I/O所受到的影响一般采用读写锁来保证数据一致性。迁移进程为当前数据块申请读写锁，以保证迁移进程与写操作进程之间的数据一致性。数据自动迁移技术则最大限度的降低数据迁移动作本身对计算结点的I/O性能影响，它根据前台I/O负载的变化，来调整数据迁移速率，使得数据迁移动作本身对存储系统的QoS(服务质量)的影响非常小，同时使得数据迁移任务能够尽快完成。

需要说明的是，自动分层的策略与通用分层架构相似，根据阶段的观测期，算法会记录每个表和索引的特征，然后对数据进行决策，在决策的步骤中，会根据混合硬盘的固态硬盘的比例分成计算空间进行排序，形成策略后，计算出最佳方法。如果是第一个，SSD是空白状态，则执行数据迁移，否则不执行，此周期结束。如果需要执行数据迁移，则将决策的排序最前面索引存入SSD，直到SSD空间占据合适的比例。

本申请实施例提供的第一种混合磁盘分层数据优化装置如图2所示，图2为本申请实施例提供的第一种混合磁盘分层数据优化装置的示意图，该装置包括：

分类部件201，用于根据数据的指标，对数据进行分类，具体的，基于数据访问的局部性，分层存储技术是根据存储的成本、性能和访问速率来存放不同重要程度的数据信息，来提高存储性能和数据可用性及降低存储成本；

存储部件202，用于将分类后的所述数据按照类别分别存储在分级存储管理系统的相应的存储设备中，具体的，分级存储管理系统一般分为在线(On-line)存储、近线(Near-line)存储和离线(Off-line)存储三级存储方式，其中，在线存储的读取速度快，性能好，价格贵，可用于存放经常访问的程序和文件，近线存储的存取速度低于高速磁盘，容量大，价格一般，用于存放不常访问的数据和程序，离线存储比在线存储或近线存储的数据进行备份，访问速度低，但价格低廉。数据自动迁移存储涉及的主要技术有：数据迁移的速率控制与调度、数据迁移对应用的延迟隐藏、文件访问块位置序列预测等；

迁移部件203，用于当所述数据的指标发生变化时，将所述数据进行升级迁移或降级迁移，也就是说，可以根据数据的实时指标变化情况，对其进行升级迁移或降级迁移，以适应不同的情况。

通过上述描述可知，本申请实施例提供的混合磁盘分层数据优化装置，能够在混合硬盘的基础上，使数据分布更有效，利用磁盘保证写能力，并利用SSD读取热点数据提高读能力，从而提高存储系统的读写能力。

本申请实施例提供的第二种混合磁盘分层数据优化装置，是在上述第一种混合磁盘分层数据优化装置的基础上，还包括如下技术特征：

所述分类部件具体用于根据所述数据的重要性、访问频率、保留时间、容量的指标，对所述数据进行分类。

本申请实施例提供的第三种混合磁盘分层数据优化装置，是在上述第二种混合磁盘分层数据优化装置的基础上，还包括如下技术特征：

组成部件，用于利用至少二个不同性能的存储设备，组成所述分级存储管理系统。

本申请实施例提供的第四种混合磁盘分层数据优化装置，是在上述第三种混合磁盘分层数据优化装置的基础上，还包括如下技术特征：

所述组成部件具体用于利用高性能磁盘、中间性能磁盘和大容量高性价比磁盘，组成所述分级存储管理系统。

需要说明的是，分级存储设备是根据具体应用可以变化的，这种存储级别的划分是相对的，可以分为多种级别。如可以采取高性能磁盘－中间性能磁盘－大容量高性价比磁盘这种三级存储结构，也可以将级别再进行细化，分成五级或更高级的存储结构，具体采用哪些存储级别需要根据具体应用而定。

本申请实施例提供的第五种混合磁盘分层数据优化装置，是在上述第四种混合磁盘分层数据优化装置的基础上，还包括如下技术特征：

所述迁移部件具体用于根据前台I/O负载的变化，调整数据迁移过程的速率。

具体的，数据迁移可分为升级迁移和降级迁移，并且迁移的过程中并可能会有I/O请求发生，为减少数据I/O所受到的影响一般采用读写锁来保证数据一致性。迁移进程为当前数据块申请读写锁，以保证迁移进程与写操作进程之间的数据一致性。数据自动迁移技术则最大限度的降低数据迁移动作本身对计算结点的I/O性能影响，它根据前台I/O负载的变化，来调整数据迁移速率，使得数据迁移动作本身对存储系统的QoS(服务质量)的影响非常小，同时使得数据迁移任务能够尽快完成。

综上所述，本方案根据数据性质和应用特征调整数据分布，使数据分布更有效，充分发挥固态硬盘的优势，使得存储能力性能得到提升。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种混合磁盘分层数据优化方法，其特征在于，包括：

根据数据的指标，对数据进行分类；

将分类后的所述数据按照类别分别存储在分级存储管理系统的相应的存储设备中；

当所述数据的指标发生变化时，将所述数据进行升级迁移或降级迁移。

2.根据权利要求1所述的混合磁盘分层数据优化方法，其特征在于，所述根据数据的指标，对数据进行分类包括：

根据所述数据的重要性、访问频率、保留时间、容量的指标，对所述数据进行分类。

3.根据权利要求2所述的混合磁盘分层数据优化方法，其特征在于，在所述根据数据的指标，对数据进行分类之前，还包括：

利用至少二个不同性能的存储设备，组成所述分级存储管理系统。

4.根据权利要求3所述的混合磁盘分层数据优化方法，其特征在于，

所述利用至少二个不同性能的存储设备，组成所述分级存储管理系统包括：

利用高性能磁盘、中间性能磁盘和大容量高性价比磁盘，组成所述分级存储管理系统。

5.根据权利要求4所述的混合磁盘分层数据优化方法，其特征在于，

所述将所述数据进行升级迁移或降级迁移包括：

根据前台I/O负载的变化，调整数据迁移过程的速率。

6.一种混合磁盘分层数据优化装置，其特征在于，包括：

分类部件，用于根据数据的指标，对数据进行分类；

存储部件，用于将分类后的所述数据按照类别分别存储在分级存储管理系统的相应的存储设备中；

迁移部件，用于当所述数据的指标发生变化时，将所述数据进行升级迁移或降级迁移。

7.根据权利要求6所述的混合磁盘分层数据优化装置，其特征在于，所述分类部件具体用于根据所述数据的重要性、访问频率、保留时间、容量的指标，对所述数据进行分类。

8.根据权利要求7所述的混合磁盘分层数据优化装置，其特征在于，还包括：

组成部件，用于利用至少二个不同性能的存储设备，组成所述分级存储管理系统。

9.根据权利要求8所述的混合磁盘分层数据优化装置，其特征在于，

所述组成部件具体用于利用高性能磁盘、中间性能磁盘和大容量高性价比磁盘，组成所述分级存储管理系统。

10.根据权利要求9所述的混合磁盘分层数据优化装置，其特征在于，

所述迁移部件具体用于根据前台I/O负载的变化，调整数据迁移过程的速率。