CN109976680A - 一种数据迁移方法、装置、设备及可读存储介质 - Google Patents

一种数据迁移方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN109976680A
CN109976680A CN201910290086.9A CN201910290086A CN109976680A CN 109976680 A CN109976680 A CN 109976680A CN 201910290086 A CN201910290086 A CN 201910290086A CN 109976680 A CN109976680 A CN 109976680A
Authority
CN
China
Prior art keywords
disk
iops
hard disk
data migration
solid state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910290086.9A
Other languages
English (en)
Inventor
郭平加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wave Intelligent Technology Co Ltd
Original Assignee
Suzhou Wave Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wave Intelligent Technology Co Ltd filed Critical Suzhou Wave Intelligent Technology Co Ltd
Priority to CN201910290086.9A priority Critical patent/CN109976680A/zh
Publication of CN109976680A publication Critical patent/CN109976680A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/068—Hybrid storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据迁移方法，包括：获取固态硬盘中的每个磁盘分区的IOPS；分别判断固态硬盘中每个磁盘分区的IOPS是否低于预设的第一阈值；将IOPS低于第一阈值的磁盘分区确定为目标磁盘分区，并将目标磁盘分区中的数据迁移至机械硬盘。该方法为了降低存储成本，将固态硬盘中的IOPS低于第一阈值的磁盘分区中的数据迁移至机械硬盘，以避免冗余数据占用固态硬盘的存储空间，节约了固态硬盘的存储空间，还可以使访问量较高的数据存入固态硬盘，提高用户体验。相应地，本发明公开的一种数据迁移装置、设备及可读存储介质，也同样具有上述技术效果。

Description

一种数据迁移方法、装置、设备及可读存储介质
技术领域
本发明涉及数据存储技术领域，更具体地说，涉及一种数据迁移方法、装置、设备及可读存储介质。
背景技术
在现有技术中，一般在存储数据时，技术人员按照业务需求预先将数据存入存储系统中的固态硬盘和机械硬盘。
由于存储于固态硬盘和机械硬盘中的数据预先分类且固定不变，而数据的被使用与否是动态变化的，因此固态硬盘中往往可能存储着一些不经常使用的数据，机械硬盘中可能存储着一些经常使用的数据。其中，固态硬盘的存储成本远远高于机械硬盘，因此固态硬盘的存储空间十分珍贵，所以不经常使用的数据不仅占用了固态硬盘的存储空间，还提高了整个存储系统的存储成本；同时，还使那些经常被使用的数据存储在机械硬盘，无法存入固态硬盘，从而降低了用户体验。
因此，如何降低存储成本，提高存储系统的性能，是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种数据迁移方法、装置、设备及可读存储介质，以降低存储成本，提高存储系统的性能。
为实现上述目的，本发明实施例提供了如下技术方案：
一种数据迁移方法，包括：
获取固态硬盘中的每个磁盘分区的IOPS；
分别判断所述固态硬盘中每个磁盘分区的IOPS是否低于预设的第一阈值；
将IOPS低于所述第一阈值的磁盘分区确定为目标磁盘分区，并将所述目标磁盘分区中的数据迁移至当前存储系统中的机械硬盘。
其中，所述获取固态硬盘中的每个磁盘分区的IOPS，包括：
通过监控进程获取所述固态硬盘中的每个磁盘分区的IOPS。
其中，所述通过监控进程获取所述固态硬盘中的每个磁盘分区的IOPS，包括：
通过所述监控进程周期性获取所述固态硬盘中的每个磁盘分区的IOPS，并分别计算预设时长内每个磁盘分区的总IOPS；
将所述预设时长内每个磁盘分区的总IOPS作为每个磁盘分区的IOPS。
其中，还包括：
将IOPS不低于所述第一阈值的磁盘分区确定为对象磁盘分区，并判断所述对象磁盘分区的IOPS是否低于预设的第二阈值，所述第二阈值大于所述第一阈值；
若是，则将所述对象磁盘分区中的数据迁移至当前存储系统中的混合硬盘。
其中，还包括：
当所述对象磁盘分区的IOPS不低于所述第二阈值时，将所述对象磁盘分区中的数据迁移至当前存储系统的缓存。
一种数据迁移装置，包括：
获取模块，用于获取固态硬盘中的每个磁盘分区的IOPS；
判断模块，用于分别判断所述固态硬盘中每个磁盘分区的IOPS是否低于预设的第一阈值；
迁移模块，用于将IOPS低于所述第一阈值的磁盘分区确定为目标磁盘分区，并将所述目标磁盘分区中的数据迁移至当前存储系统中的机械硬盘。
其中，所述获取模块具体用于：
通过监控进程获取所述固态硬盘中的每个磁盘分区的IOPS。
其中，所述获取模块具体用于：
通过所述监控进程周期性获取所述固态硬盘中的每个磁盘分区的IOPS，并分别计算预设时长内每个磁盘分区的总IOPS；
将所述预设时长内每个磁盘分区的总IOPS作为每个磁盘分区的IOPS。
一种数据迁移设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任意一项所述的数据迁移方法的步骤。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据迁移方法的步骤。
通过以上方案可知，本发明实施例提供的一种数据迁移方法，包括：获取固态硬盘中的每个磁盘分区的IOPS；分别判断所述固态硬盘中每个磁盘分区的IOPS是否低于预设的第一阈值；将IOPS低于所述第一阈值的磁盘分区确定为目标磁盘分区，并将所述目标磁盘分区中的数据迁移至机械硬盘。
可见，所述方法为了降低存储成本，将固态硬盘中的IOPS低于第一阈值的磁盘分区中的数据迁移至机械硬盘，以避免冗余数据占用固态硬盘的存储空间，节约固态硬盘的存储空间，从而可以使访问量较高的数据存入固态硬盘，提高用户体验。
相应地，本发明实施例提供的一种数据迁移装置、设备及可读存储介质，也同样具有上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种数据迁移方法流程图；
图2为本发明实施例公开的一种数据迁移装置示意图；
图3为本发明实施例公开的一种数据迁移设备示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种数据迁移方法、装置、设备及可读存储介质，以降低存储成本，提高存储系统的性能。
参见图1，本发明实施例提供的一种数据迁移方法，包括：
S101、获取固态硬盘中的每个磁盘分区的IOPS；
具体的，所述获取固态硬盘中的每个磁盘分区的IOPS，包括：通过监控进程获取所述固态硬盘中的每个磁盘分区的IOPS。
其中，所述通过监控进程获取所述固态硬盘中的每个磁盘分区的IOPS，包括：通过所述监控进程周期性获取所述固态硬盘中的每个磁盘分区的IOPS，并分别计算预设时长内每个磁盘分区的总IOPS；将所述预设时长内每个磁盘分区的总IOPS作为每个磁盘分区的IOPS。
例如：每五分钟获取一次IOPS，统计20分钟内的IOPS总量，那么一个磁盘分区就对应有5个IOPS值，将这5个IOPS值的总和作为当前磁盘分区的IOPS。
S102、分别判断固态硬盘中每个磁盘分区的IOPS是否低于预设的第一阈值；当IOPS低于第一阈值时，执行S103；当IOPS不低于第一阈值时，执行S104；
S103、将IOPS低于第一阈值的磁盘分区确定为目标磁盘分区，并将目标磁盘分区中的数据迁移至当前存储系统中的机械硬盘；
S104、将IOPS不低于第一阈值的磁盘分区确定为对象磁盘分区，并执行S105；
S105、判断对象磁盘分区的IOPS是否低于预设的第二阈值，第二阈值大于第一阈值；若是，则执行S106；若否，则执行S107；
S106、将对象磁盘分区中的数据迁移至当前存储系统中的混合硬盘。
S107、将对象磁盘分区中的数据迁移至当前存储系统的缓存。
现有的存储系统中的存储配置一般包括：固态硬盘(SSD)、机械硬盘(HDD)和混合硬盘(HHD)这三种性能的磁盘。其中固态硬盘的存储性能最佳，混合硬盘次之，机械硬盘为传统硬盘，因此其存储性能最差。其中，热数据存储于固态硬盘，温数据存储于混合硬盘，冷数据存储于机械硬盘。
可见，本实施例提供了一种数据迁移方法，所述方法为了降低存储成本，将固态硬盘中的IOPS低于第一阈值的磁盘分区中的数据迁移至机械硬盘，以避免冗余数据占用固态硬盘的存储空间，节约固态硬盘的存储空间，从而可以使访问量较高的数据存入固态硬盘，提高用户体验。
下面对本发明实施例提供的一种数据迁移装置进行介绍，下文描述的一种数据迁移装置与上文描述的一种数据迁移方法可以相互参照。
参见图2，本发明实施例提供的一种数据迁移装置，包括：
获取模块201，用于获取固态硬盘中的每个磁盘分区的IOPS；
判断模块202，用于分别判断所述固态硬盘中每个磁盘分区的IOPS是否低于预设的第一阈值；
迁移模块203，用于将IOPS低于所述第一阈值的磁盘分区确定为目标磁盘分区，并将所述目标磁盘分区中的数据迁移至当前存储系统中的机械硬盘。
其中，所述获取模块具体用于：
通过监控进程获取所述固态硬盘中的每个磁盘分区的IOPS。
其中，所述获取模块具体用于：
通过所述监控进程周期性获取所述固态硬盘中的每个磁盘分区的IOPS，并分别计算预设时长内每个磁盘分区的总IOPS；
将所述预设时长内每个磁盘分区的总IOPS作为每个磁盘分区的IOPS。
其中，还包括：
执行模块，用于将IOPS不低于所述第一阈值的磁盘分区确定为对象磁盘分区，并判断所述对象磁盘分区的IOPS是否低于预设的第二阈值，所述第二阈值大于所述第一阈值；
第一迁移模块，用于当所述对象磁盘分区的IOPS低于所述第二阈值时，将所述对象磁盘分区中的数据迁移至当前存储系统中的混合硬盘。
其中，还包括：
第二迁移模块，用于当所述对象磁盘分区的IOPS不低于所述第二阈值时，将所述对象磁盘分区中的数据迁移至当前存储系统的缓存。
可见，本实施例提供了一种数据迁移装置，包括：获取模块、判断模块以及迁移模块。首先由获取模块获取固态硬盘中的每个磁盘分区的IOPS；然后判断模块分别判断所述固态硬盘中每个磁盘分区的IOPS是否低于预设的第一阈值；最后迁移模块将IOPS低于所述第一阈值的磁盘分区确定为目标磁盘分区，并将所述目标磁盘分区中的数据迁移至当前存储系统中的机械硬盘。如此各个模块之间分工合作，各司其职，从而节约了固态硬盘的存储空间和存储成本，提高了存储系统的性能。
下面对本发明实施例提供的一种数据迁移设备进行介绍，下文描述的一种数据迁移设备与上文描述的一种数据迁移方法及装置可以相互参照。
参见图3，本发明实施例提供的一种数据迁移设备，包括：
存储器301，用于存储计算机程序；
处理器302，用于执行所述计算机程序时实现上述任意实施例所述的数据迁移方法的步骤。
下面对本发明实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种数据迁移方法、装置及设备可以相互参照。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意实施例所述的数据迁移方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据迁移方法，其特征在于，包括：
获取固态硬盘中的每个磁盘分区的IOPS；
分别判断所述固态硬盘中每个磁盘分区的IOPS是否低于预设的第一阈值；
将IOPS低于所述第一阈值的磁盘分区确定为目标磁盘分区，并将所述目标磁盘分区中的数据迁移至当前存储系统中的机械硬盘。
2.根据权利要求1所述的数据迁移方法，其特征在于，所述获取固态硬盘中的每个磁盘分区的IOPS，包括：
通过监控进程获取所述固态硬盘中的每个磁盘分区的IOPS。
3.根据权利要求2所述的数据迁移方法，其特征在于，所述通过监控进程获取所述固态硬盘中的每个磁盘分区的IOPS，包括：
通过所述监控进程周期性获取所述固态硬盘中的每个磁盘分区的IOPS，并分别计算预设时长内每个磁盘分区的总IOPS；
将所述预设时长内每个磁盘分区的总IOPS作为每个磁盘分区的IOPS。
4.根据权利要求3所述的数据迁移方法，其特征在于，还包括：
将IOPS不低于所述第一阈值的磁盘分区确定为对象磁盘分区，并判断所述对象磁盘分区的IOPS是否低于预设的第二阈值，所述第二阈值大于所述第一阈值；
若是，则将所述对象磁盘分区中的数据迁移至当前存储系统中的混合硬盘。
5.根据权利要求4所述的数据迁移方法，其特征在于，还包括：
当所述对象磁盘分区的IOPS不低于所述第二阈值时，将所述对象磁盘分区中的数据迁移至当前存储系统的缓存。
6.一种数据迁移装置，其特征在于，包括：
获取模块，用于获取固态硬盘中的每个磁盘分区的IOPS；
判断模块，用于分别判断所述固态硬盘中每个磁盘分区的IOPS是否低于预设的第一阈值；
迁移模块，用于将IOPS低于所述第一阈值的磁盘分区确定为目标磁盘分区，并将所述目标磁盘分区中的数据迁移至当前存储系统中的机械硬盘。
7.根据权利要求6所述的数据迁移装置，其特征在于，所述获取模块具体用于：
通过监控进程获取所述固态硬盘中的每个磁盘分区的IOPS。
8.根据权利要求7所述的数据迁移装置，其特征在于，所述获取模块具体用于：
通过所述监控进程周期性获取所述固态硬盘中的每个磁盘分区的IOPS，并分别计算预设时长内每个磁盘分区的总IOPS；
将所述预设时长内每个磁盘分区的总IOPS作为每个磁盘分区的IOPS。
9.一种数据迁移设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1-5任意一项所述的数据迁移方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5任意一项所述的数据迁移方法的步骤。
CN201910290086.9A 2019-04-11 2019-04-11 一种数据迁移方法、装置、设备及可读存储介质 Withdrawn CN109976680A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910290086.9A CN109976680A (zh) 2019-04-11 2019-04-11 一种数据迁移方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910290086.9A CN109976680A (zh) 2019-04-11 2019-04-11 一种数据迁移方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN109976680A true CN109976680A (zh) 2019-07-05

Family

ID=67084202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910290086.9A Withdrawn CN109976680A (zh) 2019-04-11 2019-04-11 一种数据迁移方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109976680A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795034A (zh) * 2019-10-18 2020-02-14 苏州浪潮智能科技有限公司 存储系统的数据迁移方法、装置、设备及可读存储介质
CN111124281A (zh) * 2019-11-29 2020-05-08 浪潮(北京)电子信息产业有限公司 全闪存储系统的数据存储方法、装置、设备及存储介质
CN111158609A (zh) * 2019-12-31 2020-05-15 广州鼎甲计算机科技有限公司 数据存储方法、装置、计算机设备和存储介质
CN111782144A (zh) * 2020-06-23 2020-10-16 上海传英信息技术有限公司 智能终端、数据存储方法及计算机可读存储介质
CN112269534A (zh) * 2020-10-16 2021-01-26 苏州浪潮智能科技有限公司 一种数据读取方法、装置、设备及计算机可读存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795034A (zh) * 2019-10-18 2020-02-14 苏州浪潮智能科技有限公司 存储系统的数据迁移方法、装置、设备及可读存储介质
CN110795034B (zh) * 2019-10-18 2022-07-22 苏州浪潮智能科技有限公司 存储系统的数据迁移方法、装置、设备及可读存储介质
CN111124281A (zh) * 2019-11-29 2020-05-08 浪潮(北京)电子信息产业有限公司 全闪存储系统的数据存储方法、装置、设备及存储介质
CN111124281B (zh) * 2019-11-29 2023-11-03 浪潮(北京)电子信息产业有限公司 全闪存储系统的数据存储方法、装置、设备及存储介质
CN111158609A (zh) * 2019-12-31 2020-05-15 广州鼎甲计算机科技有限公司 数据存储方法、装置、计算机设备和存储介质
CN111782144A (zh) * 2020-06-23 2020-10-16 上海传英信息技术有限公司 智能终端、数据存储方法及计算机可读存储介质
CN112269534A (zh) * 2020-10-16 2021-01-26 苏州浪潮智能科技有限公司 一种数据读取方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109976680A (zh) 一种数据迁移方法、装置、设备及可读存储介质
EP3073364B1 (en) Caching and tiering for cloud storage
CN106533723B (zh) 虚拟资源调度方法、装置及系统
CN102117248A (zh) 一种缓存系统和在缓存系统中缓存数据的方法
EP2846266B1 (en) Buffering management method and apparatus for non-volatile storage device
JP2016539406A (ja) ハイブリッドストレージ
CN106156283B (zh) 基于数据温度和节点性能的异构Hadoop存储方法
CN108710583A (zh) Ssd写缓存区的管理方法、装置、计算机设备及介质
CN106445677A (zh) 负载均衡方法及设备
CN107315540A (zh) 一种自动分层存储方法及系统
CN107347039A (zh) 一种共享缓存空间的管理方法及装置
CN108874324A (zh) 一种访问请求处理方法、装置、设备及可读存储介质
CN103631873A (zh) 一种数据压缩方法及存储系统
CN106293953B (zh) 一种访问共享显示数据的方法及系统
CN110018797B (zh) 一种数据迁移方法、装置、设备及可读存储介质
CN105242955A (zh) 一种虚拟机磁盘输入输出调度方法及系统
US20160117107A1 (en) High Performance Hadoop with New Generation Instances
CN111510479B (zh) 一种异构缓存系统的资源分配方法及装置
CN112015326B (zh) 集群数据处理方法、装置、设备及存储介质
CN106569728B (zh) 多磁盘阵列raid共享写缓存的处理方法及装置
CN102968175B (zh) 控制存储器的方法、装置、控制器和系统
KR102212108B1 (ko) 스토리지 오케스트레이션의 학습형 최적화 대상 볼륨 선정 방법
CN109002266A (zh) 一种在传统raid组上提升元数据可靠性的方法
CN106155923B (zh) 内存共享的方法和装置
CN111190546B (zh) 一种基于alua和本地缓存的分布式块存储性能优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190705