CN111651117B - 一种存储数据迁移的方法及其装置 - Google Patents

一种存储数据迁移的方法及其装置 Download PDF

Info

Publication number
CN111651117B
CN111651117B CN202010333630.6A CN202010333630A CN111651117B CN 111651117 B CN111651117 B CN 111651117B CN 202010333630 A CN202010333630 A CN 202010333630A CN 111651117 B CN111651117 B CN 111651117B
Authority
CN
China
Prior art keywords
small data
locking
data blocks
small
migrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010333630.6A
Other languages
English (en)
Other versions
CN111651117A (zh
Inventor
麦剑
史伟
闵宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Eflycloud Computing Co Ltd
Original Assignee
Guangdong Eflycloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Eflycloud Computing Co Ltd filed Critical Guangdong Eflycloud Computing Co Ltd
Priority to CN202010333630.6A priority Critical patent/CN111651117B/zh
Publication of CN111651117A publication Critical patent/CN111651117A/zh
Application granted granted Critical
Publication of CN111651117B publication Critical patent/CN111651117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种存储数据迁移的方法及其装置，方法步骤包括：数据客户端写入数据，ceph分布式存储系统将数据分成若干个小数据块，并存储在各个存储设备上；当需要对小数据块进行迁移时，对小数据块进行锁定，使其只能进行读取而不能写入；锁定计时器模块对各个小数据块的锁定时间进行计算，并按锁定时间从大到小对小数据块进行排序，然后锁定计时器优先把锁定时长较长的小数据块进行迁移；对已经成功迁移到新存储设备上的小数据块进行解除锁定，使其能够进行读取和写入。本发明增加锁定计时器，用于对每个需要迁移的小数据块进行锁定时长的统计，优先把锁定时长较长的小数据块进行迁移，增加小数据块的迁移效率，并降低对使用者写操作的影响。

Description

一种存储数据迁移的方法及其装置
技术领域
本发明涉及数据的存储迁移技术领域，特别涉及一种存储数据迁移的方法及其装置。
背景技术
目前ceph像其他分布式存储一样，一般都是把一块需要存储的数据平均切分成大小相同的若干个小数据块，然后把这些小数据块根据一定的算法分散地保存在不同的存储单元之上。在ceph里面把这些小数据块以pg命名。
然而，当有存储单元发生故障或者是新增了一些存储单元时，需要对现有的pg进行重新分布，使其符合ceph的分布算法(当有一个存储单元故障了，其中里面的pg将会消失，需要重新均衡；当有一个新的存储单元增加了，里面是空的，可以存放pg，所以这种情况也是需要重新均衡)。
当ceph对pg进行重新均衡的时候，为了防止数据更新导致不同步，所以会把需要迁移的pg进行写保护，只能读不能写。当ceph集群需要做较大调整的时候，需要迁移的pg数量很多，因此经常会把写操作挂起，而这些pg因被锁而无法及时进行写操作，严重影响数据的写操作效率，这是目前所存在的问题。
现有技术中，当数据进行迁移是没有特别的优先排队方法，只是简单地对数据块pg进行迁移。期间如果有对该数据块进行写操作的话，而其会被挂起锁定，一直等到迁移完后才能继续操作。
发明内容
本发明要解决的技术问题在于，提供一种存储数据迁移的方法及其装置，现在小数据块迁移的基础上，增加锁定计时器，用于对每个需要迁移的小数据块进行锁定时长的统计，优先把锁定时长较长的小数据块进行迁移，这样可以增加小数据块的迁移效率，并且降低对使用者写操作的影响。
为解决上述技术问题，本发明提供如下技术方案：一种存储数据迁移的方法，包括以下步骤：
S1、当需要对小数据块进行迁移时，即对某一存储设备上的所有小数据块迁移至其他存储设备，需要对小数据块进行锁定，使其只能进行读取而不能写入；
S2、锁定计时器模块对各个小数据块的锁定时间进行计算，并按锁定时间从大到小对小数据块进行排序，然后锁定计时器优先把锁定时长较长的小数据块进行迁移。
进一步地，所述步骤S1前还包括步骤S0、数据客户端写入数据至ceph分布式存储系统，ceph分布式存储系统将数据分成若干个小数据块，并将小数据块分散存储在各个存储设备上。
进一步地，所述步骤S2后还包括步骤S3、对已经成功迁移到新存储设备上的小数据块进行解除锁定，使其能够进行读取和写入。
本发明另一目的是提供一种存储数据迁移的装置，包括数据客户端、ceph分布式存储系统、锁定模块以及锁定计时器模块，所述ceph分布式存储系统包括若干存储设备；
所述数据客户端用于读取和写入数据至所述ceph分布式存储系统；
所述ceph分布式存储系统用于将数据分成若干个小数据块，并将小数据块分散存储在各个存储设备上；
所述锁定模块用于：当需要对小数据块进行迁移时，锁定模块对小数据块进行锁定，使其只能进行读取而不能写入；
所述锁定计时器模块用于：对各个被锁定的小数据块，计算小数据块的锁定时间，并按锁定时间从大到小对小数据块进行排序，然后锁定计时器优先把锁定时长较长的小数据块进行迁移。
进一步地，所述的一种存储数据迁移的装置，还包括解除锁定模块，用于对已经成功迁移到新存储设备上的小数据块进行解除锁定，使其能够进行读取和写入。
采用上述技术方案后，本发明至少具有如下有益效果：本发明设置的锁定计时器模块，能够对小数据块的锁定时间进行计算，并按时间大学排序，优先迁移锁定时间长的小数据块迁移，从而降低数据均衡时写操作的挂起锁定时间，改善产品使用体验。
附图说明
图1为本发明一种存储数据迁移的方法步骤流程图；
图2为本发明一种存储数据迁移的装置框架图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。
实施例1
如图1所示，本发明是给所有需要迁移的小数据块pg都加一个“锁定计时器模块”，这个模块记录当前数据块是否被锁定，如果被锁定那么当前锁了多长时间。迁移的时候，优先迁移那些被锁定的小数据块pg，使得这些小数据块pg可以尽早地解锁并可以进行写操作。
因此，本发明提供一种存储数据迁移的方法，如图1所示，包括以下步骤：
S11、数据客户端写入数据至ceph分布式存储系统，ceph分布式存储系统将数据分成若干个小数据块，并将小数据块分散存储在各个存储设备上；
S12、当需要对小数据块进行迁移时，即对某一存储设备上的所有小数据块迁移至其他存储设备，需要对小数据块进行锁定，使其只能进行读取而不能写入；
其中，小数据块需要进行迁移，而发生的情况包括：当有一个存储单元故障了，其中里面的小数据块pg将会消失，需要重新均衡；当有一个新的存储单元增加了，里面是空的，可以存放小数据块pg，所以这种情况也是需要重新均衡；
而当ceph进行pg重新均衡的时候，为了防止数据更新导致不同步，所以会把需要迁移的pg进行写保护，只能读不能写；当ceph集群需要做较大调整的时候，需要迁移的pg数量很多，因此经常会把写操作挂起；
S13、锁定计时器模块对各个小数据块的锁定时间进行计算，并按锁定时间从大到小对小数据块进行排序，然后锁定计时器优先把锁定时长较长的小数据块进行迁移；
S14、对已经成功迁移到新存储设备上的小数据块进行解除锁定，使其能够进行读取和写入。
其中，本发明方法并不局限于ceph分布式存储系统的应用上，只要是某一个存储设备迁移数据到另一存储设备上，均可对数据进行锁定，并计算锁定时间长短(或者说大小)，然后优先对锁定时间较长的数据进行迁移。
实施例2
本实施例在实施例1的基础上提供一种存储数据迁移的装置，如图2所示，包括数据客户端、ceph分布式存储系统、锁定模块、锁定计时器模块以及解除锁定模块，所述ceph分布式存储系统包括若干存储设备；
所述数据客户端用于读取和写入数据至所述ceph分布式存储系统；
所述ceph分布式存储系统用于将数据分成若干个小数据块，并将小数据块分散存储在各个存储设备上；
所述锁定模块用于：当需要对小数据块进行迁移时，锁定模块对小数据块进行锁定，使其只能进行读取而不能写入；
所述锁定计时器模块用于：对各个被锁定的小数据块，计算小数据块的锁定时间，并按锁定时间从大到小对小数据块进行排序，然后锁定计时器优先把锁定时长较长的小数据块进行迁移；
所述解除锁定模块用于对已经成功迁移到新存储设备上的小数据块进行解除锁定，使其能够进行读取和写入。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (4)

1.一种存储数据迁移的方法，其特征在于，包括以下步骤：
S0、数据客户端写入数据至ceph分布式存储系统，ceph分布式存储系统将数据分成若干个小数据块，并将小数据块分散存储在各个存储设备上；
S1、当需要对小数据块进行迁移时，即对某一存储设备上的所有小数据块迁移至其他存储设备，需要对小数据块进行锁定，使其只能进行读取而不能写入；
S2、锁定计时器模块对各个小数据块的锁定时间进行计算，并按锁定时间从大到小对小数据块进行排序，然后锁定计时器优先把锁定时长较长的小数据块进行迁移。
2.根据权利要求1所述的一种存储数据迁移的方法，其特征在于，所述步骤S2后还包括步骤S3、对已经成功迁移到新存储设备上的小数据块进行解除锁定，使其能够进行读取和写入。
3.一种存储数据迁移的装置，其特征在于，包括数据客户端、ceph分布式存储系统、锁定模块以及锁定计时器模块，所述ceph分布式存储系统包括若干存储设备；
所述数据客户端用于读取和写入数据至所述ceph分布式存储系统；
所述ceph分布式存储系统用于将数据分成若干个小数据块，并将小数据块分散存储在各个存储设备上；
所述锁定模块用于：当需要对小数据块进行迁移时，锁定模块对小数据块进行锁定，使其只能进行读取而不能写入；
所述锁定计时器模块用于：对各个被锁定的小数据块，计算小数据块的锁定时间，并按锁定时间从大到小对小数据块进行排序，然后锁定计时器优先把锁定时长较长的小数据块进行迁移。
4.根据权利要求3所述的一种存储数据迁移的装置，其特征在于，还包括解除锁定模块，用于对已经成功迁移到新存储设备上的小数据块进行解除锁定，使其能够进行读取和写入。
CN202010333630.6A 2020-04-24 2020-04-24 一种存储数据迁移的方法及其装置 Active CN111651117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010333630.6A CN111651117B (zh) 2020-04-24 2020-04-24 一种存储数据迁移的方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010333630.6A CN111651117B (zh) 2020-04-24 2020-04-24 一种存储数据迁移的方法及其装置

Publications (2)

Publication Number Publication Date
CN111651117A CN111651117A (zh) 2020-09-11
CN111651117B true CN111651117B (zh) 2023-07-21

Family

ID=72346520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010333630.6A Active CN111651117B (zh) 2020-04-24 2020-04-24 一种存储数据迁移的方法及其装置

Country Status (1)

Country Link
CN (1) CN111651117B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977462A (zh) * 2017-12-21 2018-05-01 泰康保险集团股份有限公司 数据迁移方法及装置
CN108509147A (zh) * 2017-02-28 2018-09-07 慧与发展有限责任合伙企业 数据块迁移
CN108932282A (zh) * 2018-05-18 2018-12-04 腾讯科技（深圳）有限公司 一种数据库迁移方法、装置和存储介质
CN109460188A (zh) * 2018-11-13 2019-03-12 郑州云海信息技术有限公司 一种数据迁移方法、系统、设备及计算机可读存储介质
CN109933632A (zh) * 2019-04-04 2019-06-25 杭州数梦工场科技有限公司 一种数据库的数据迁移方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509147A (zh) * 2017-02-28 2018-09-07 慧与发展有限责任合伙企业 数据块迁移
CN107977462A (zh) * 2017-12-21 2018-05-01 泰康保险集团股份有限公司 数据迁移方法及装置
CN108932282A (zh) * 2018-05-18 2018-12-04 腾讯科技（深圳）有限公司 一种数据库迁移方法、装置和存储介质
CN109460188A (zh) * 2018-11-13 2019-03-12 郑州云海信息技术有限公司 一种数据迁移方法、系统、设备及计算机可读存储介质
CN109933632A (zh) * 2019-04-04 2019-06-25 杭州数梦工场科技有限公司 一种数据库的数据迁移方法、装置及设备

Also Published As

Publication number Publication date
CN111651117A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN107220148B (zh) 针对独立磁盘冗余阵列的重建方法和设备
CN103019888B (zh) 备份方法与装置
US20150112950A1 (en) Systems and methods for providing increased scalability in deduplication storage systems
US20110167096A1 (en) Systems and Methods for Removing Unreferenced Data Segments from Deduplicated Data Systems
CN103150122B (zh) 一种磁盘缓存空间管理方法和装置
JPH11191267A (ja) 圧縮データ・レコードの格納のためにディスク記憶空間を割り振るための方法および記憶媒体
US20190114332A1 (en) Automated storage tier copy expiration
CN103605657A (zh) 一种在线重建索引的方法和装置
CN110399333B (zh) 删除快照的方法、设备和计算机程序产品
CN107632781B (zh) 一种分布式存储多副本快速校验一致性的方法及存储结构
CN111930556A (zh) 一种分布式存储数据的备份方法及其装置
CN111651117B (zh) 一种存储数据迁移的方法及其装置
CN108536822A (zh) 数据迁移方法、装置、系统及存储介质
US11507458B2 (en) Storage management method, device, and computer program product
US20140089613A1 (en) Management of data elements of subgroups
CN110515947A (zh) 一种存储系统
CN105183738A (zh) 一种基于血统和检测点技术的分布式内存文件系统
CN112328389B (zh) 一种用于二叉树添加和删除结点的内存分配方法
CN112748860B (zh) 用于存储管理的方法、电子设备和计算机程序产品
US20100077283A1 (en) Apparatus to manage data stability and methods of storing and recovering data
CN108459828B (zh) 一种桌面云云磁盘重新分配方法
JPH0277949A (ja) ファイル作成方法
CN113254271A (zh) 一种数据序列恢复方法、装置、设备及存储介质
CN111427519B (zh) 一种分布式存储数据迁移方法及装置
CN107018163A (zh) 一种资源配置方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant