CN111651117A - 一种存储数据迁移的方法及其装置 - Google Patents

一种存储数据迁移的方法及其装置 Download PDF

Info

Publication number
CN111651117A
CN111651117A CN202010333630.6A CN202010333630A CN111651117A CN 111651117 A CN111651117 A CN 111651117A CN 202010333630 A CN202010333630 A CN 202010333630A CN 111651117 A CN111651117 A CN 111651117A
Authority
CN
China
Prior art keywords
small data
data blocks
locking
small
migrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010333630.6A
Other languages
English (en)
Other versions
CN111651117B (zh
Inventor
麦剑
史伟
闵宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Eflycloud Computing Co Ltd
Original Assignee
Guangdong Eflycloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Eflycloud Computing Co Ltd filed Critical Guangdong Eflycloud Computing Co Ltd
Priority to CN202010333630.6A priority Critical patent/CN111651117B/zh
Publication of CN111651117A publication Critical patent/CN111651117A/zh
Application granted granted Critical
Publication of CN111651117B publication Critical patent/CN111651117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种存储数据迁移的方法及其装置，方法步骤包括：数据客户端写入数据，ceph分布式存储系统将数据分成若干个小数据块，并存储在各个存储设备上；当需要对小数据块进行迁移时，对小数据块进行锁定，使其只能进行读取而不能写入；锁定计时器模块对各个小数据块的锁定时间进行计算，并按锁定时间从大到小对小数据块进行排序，然后锁定计时器优先把锁定时长较长的小数据块进行迁移；对已经成功迁移到新存储设备上的小数据块进行解除锁定，使其能够进行读取和写入。本发明增加锁定计时器，用于对每个需要迁移的小数据块进行锁定时长的统计，优先把锁定时长较长的小数据块进行迁移，增加小数据块的迁移效率，并降低对使用者写操作的影响。

Description

一种存储数据迁移的方法及其装置
技术领域
本发明涉及数据的存储迁移技术领域，特别涉及一种存储数据迁移的方法及其装置。
背景技术
目前ceph像其他分布式存储一样，一般都是把一块需要存储的数据平均切分成大小相同的若干个小数据块，然后把这些小数据块根据一定的算法分散地保存在不同的存储单元之上。在ceph里面把这些小数据块以pg命名。
然而，当有存储单元发生故障或者是新增了一些存储单元时，需要对现有的pg进行重新分布，使其符合ceph的分布算法(当有一个存储单元故障了，其中里面的pg将会消失，需要重新均衡；当有一个新的存储单元增加了，里面是空的，可以存放pg，所以这种情况也是需要重新均衡)。
当ceph对pg进行重新均衡的时候，为了防止数据更新导致不同步，所以会把需要迁移的pg进行写保护，只能读不能写。当ceph集群需要做较大调整的时候，需要迁移的pg数量很多，因此经常会把写操作挂起，而这些pg因被锁而无法及时进行写操作，严重影响数据的写操作效率，这是目前所存在的问题。
现有技术中，当数据进行迁移是没有特别的优先排队方法，只是简单地对数据块pg进行迁移。期间如果有对该数据块进行写操作的话，而其会被挂起锁定，一直等到迁移完后才能继续操作。
发明内容
本发明要解决的技术问题在于，提供一种存储数据迁移的方法及其装置，现在小数据块迁移的基础上，增加锁定计时器，用于对每个需要迁移的小数据块进行锁定时长的统计，优先把锁定时长较长的小数据块进行迁移，这样可以增加小数据块的迁移效率，并且降低对使用者写操作的影响。
为解决上述技术问题，本发明提供如下技术方案：一种存储数据迁移的方法，包括以下步骤：
S1、当需要对小数据块进行迁移时，即对某一存储设备上的所有小数据块迁移至其他存储设备，需要对小数据块进行锁定，使其只能进行读取而不能写入；
S2、锁定计时器模块对各个小数据块的锁定时间进行计算，并按锁定时间从大到小对小数据块进行排序，然后锁定计时器优先把锁定时长较长的小数据块进行迁移。
进一步地，所述步骤S1前还包括步骤S0、数据客户端写入数据至ceph分布式存储系统，ceph分布式存储系统将数据分成若干个小数据块，并将小数据块分散存储在各个存储设备上。
进一步地，所述步骤S2后还包括步骤S3、对已经成功迁移到新存储设备上的小数据块进行解除锁定，使其能够进行读取和写入。
本发明另一目的是提供一种存储数据迁移的装置，包括数据客户端、ceph分布式存储系统、锁定模块以及锁定计时器模块，所述ceph分布式存储系统包括若干存储设备；
所述数据客户端用于读取和写入数据至所述ceph分布式存储系统；
所述ceph分布式存储系统用于将数据分成若干个小数据块，并将小数据块分散存储在各个存储设备上；
所述锁定模块用于：当需要对小数据块进行迁移时，锁定模块对小数据块进行锁定，使其只能进行读取而不能写入；
所述锁定计时器模块用于：对各个被锁定的小数据块，计算小数据块的锁定时间，并按锁定时间从大到小对小数据块进行排序，然后锁定计时器优先把锁定时长较长的小数据块进行迁移。
进一步地，所述的一种存储数据迁移的装置，还包括解除锁定模块，用于对已经成功迁移到新存储设备上的小数据块进行解除锁定，使其能够进行读取和写入。
采用上述技术方案后，本发明至少具有如下有益效果：本发明设置的锁定计时器模块，能够对小数据块的锁定时间进行计算，并按时间大学排序，优先迁移锁定时间长的小数据块迁移，从而降低数据均衡时写操作的挂起锁定时间，改善产品使用体验。
附图说明
图1为本发明一种存储数据迁移的方法步骤流程图；
图2为本发明一种存储数据迁移的装置框架图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。
实施例1
如图1所示，本发明是给所有需要迁移的小数据块pg都加一个“锁定计时器模块”，这个模块记录当前数据块是否被锁定，如果被锁定那么当前锁了多长时间。迁移的时候，优先迁移那些被锁定的小数据块pg，使得这些小数据块pg可以尽早地解锁并可以进行写操作。
因此，本发明提供一种存储数据迁移的方法，如图1所示，包括以下步骤：
S11、数据客户端写入数据至ceph分布式存储系统，ceph分布式存储系统将数据分成若干个小数据块，并将小数据块分散存储在各个存储设备上；
S12、当需要对小数据块进行迁移时，即对某一存储设备上的所有小数据块迁移至其他存储设备，需要对小数据块进行锁定，使其只能进行读取而不能写入；
其中，小数据块需要进行迁移，而发生的情况包括：当有一个存储单元故障了，其中里面的小数据块pg将会消失，需要重新均衡；当有一个新的存储单元增加了，里面是空的，可以存放小数据块pg，所以这种情况也是需要重新均衡；
而当ceph进行pg重新均衡的时候，为了防止数据更新导致不同步，所以会把需要迁移的pg进行写保护，只能读不能写；当ceph集群需要做较大调整的时候，需要迁移的pg数量很多，因此经常会把写操作挂起；
S13、锁定计时器模块对各个小数据块的锁定时间进行计算，并按锁定时间从大到小对小数据块进行排序，然后锁定计时器优先把锁定时长较长的小数据块进行迁移；
S14、对已经成功迁移到新存储设备上的小数据块进行解除锁定，使其能够进行读取和写入。
其中，本发明方法并不局限于ceph分布式存储系统的应用上，只要是某一个存储设备迁移数据到另一存储设备上，均可对数据进行锁定，并计算锁定时间长短(或者说大小)，然后优先对锁定时间较长的数据进行迁移。
实施例2
本实施例在实施例1的基础上提供一种存储数据迁移的装置，如图2所示，包括数据客户端、ceph分布式存储系统、锁定模块、锁定计时器模块以及解除锁定模块，所述ceph分布式存储系统包括若干存储设备；
所述数据客户端用于读取和写入数据至所述ceph分布式存储系统；
所述ceph分布式存储系统用于将数据分成若干个小数据块，并将小数据块分散存储在各个存储设备上；
所述锁定模块用于：当需要对小数据块进行迁移时，锁定模块对小数据块进行锁定，使其只能进行读取而不能写入；
所述锁定计时器模块用于：对各个被锁定的小数据块，计算小数据块的锁定时间，并按锁定时间从大到小对小数据块进行排序，然后锁定计时器优先把锁定时长较长的小数据块进行迁移；
所述解除锁定模块用于对已经成功迁移到新存储设备上的小数据块进行解除锁定，使其能够进行读取和写入。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (5)

1.一种存储数据迁移的方法，其特征在于，包括以下步骤：
S1、当需要对小数据块进行迁移时，即对某一存储设备上的所有小数据块迁移至其他存储设备，需要对小数据块进行锁定，使其只能进行读取而不能写入；
S2、锁定计时器模块对各个小数据块的锁定时间进行计算，并按锁定时间从大到小对小数据块进行排序，然后锁定计时器优先把锁定时长较长的小数据块进行迁移。
2.根据权利要求1所述的一种存储数据迁移的方法，其特征在于，所述步骤S1前还包括步骤S0、数据客户端写入数据至ceph分布式存储系统，ceph分布式存储系统将数据分成若干个小数据块，并将小数据块分散存储在各个存储设备上。
3.根据权利要求1或2所述的一种存储数据迁移的方法，其特征在于，所述步骤S2后还包括步骤S3、对已经成功迁移到新存储设备上的小数据块进行解除锁定，使其能够进行读取和写入。
4.一种存储数据迁移的装置，其特征在于，包括数据客户端、ceph分布式存储系统、锁定模块以及锁定计时器模块，所述ceph分布式存储系统包括若干存储设备；
所述数据客户端用于读取和写入数据至所述ceph分布式存储系统；
所述ceph分布式存储系统用于将数据分成若干个小数据块，并将小数据块分散存储在各个存储设备上；
所述锁定模块用于：当需要对小数据块进行迁移时，锁定模块对小数据块进行锁定，使其只能进行读取而不能写入；
所述锁定计时器模块用于：对各个被锁定的小数据块，计算小数据块的锁定时间，并按锁定时间从大到小对小数据块进行排序，然后锁定计时器优先把锁定时长较长的小数据块进行迁移。
5.根据权利要求4所述的一种存储数据迁移的装置，其特征在于，还包括解除锁定模块，用于对已经成功迁移到新存储设备上的小数据块进行解除锁定，使其能够进行读取和写入。
CN202010333630.6A 2020-04-24 2020-04-24 一种存储数据迁移的方法及其装置 Active CN111651117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010333630.6A CN111651117B (zh) 2020-04-24 2020-04-24 一种存储数据迁移的方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010333630.6A CN111651117B (zh) 2020-04-24 2020-04-24 一种存储数据迁移的方法及其装置

Publications (2)

Publication Number Publication Date
CN111651117A true CN111651117A (zh) 2020-09-11
CN111651117B CN111651117B (zh) 2023-07-21

Family

ID=72346520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010333630.6A Active CN111651117B (zh) 2020-04-24 2020-04-24 一种存储数据迁移的方法及其装置

Country Status (1)

Country Link
CN (1) CN111651117B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977462A (zh) * 2017-12-21 2018-05-01 泰康保险集团股份有限公司 数据迁移方法及装置
CN108509147A (zh) * 2017-02-28 2018-09-07 慧与发展有限责任合伙企业 数据块迁移
CN108932282A (zh) * 2018-05-18 2018-12-04 腾讯科技（深圳）有限公司 一种数据库迁移方法、装置和存储介质
CN109460188A (zh) * 2018-11-13 2019-03-12 郑州云海信息技术有限公司 一种数据迁移方法、系统、设备及计算机可读存储介质
CN109933632A (zh) * 2019-04-04 2019-06-25 杭州数梦工场科技有限公司 一种数据库的数据迁移方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509147A (zh) * 2017-02-28 2018-09-07 慧与发展有限责任合伙企业 数据块迁移
CN107977462A (zh) * 2017-12-21 2018-05-01 泰康保险集团股份有限公司 数据迁移方法及装置
CN108932282A (zh) * 2018-05-18 2018-12-04 腾讯科技（深圳）有限公司 一种数据库迁移方法、装置和存储介质
CN109460188A (zh) * 2018-11-13 2019-03-12 郑州云海信息技术有限公司 一种数据迁移方法、系统、设备及计算机可读存储介质
CN109933632A (zh) * 2019-04-04 2019-06-25 杭州数梦工场科技有限公司 一种数据库的数据迁移方法、装置及设备

Also Published As

Publication number Publication date
CN111651117B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN110334152A (zh) 一种数据同步方法、装置及服务器
CN102945278B (zh) 一种数据库记录重做日志的方法和装置
US9251233B2 (en) Merging an out of synchronization indicator and a change recording indicator in response to a failure in consistency group formation
JP4206586B2 (ja) データベース管理方法および装置並びにデータベース管理プログラムを記録した記憶媒体
US20070088769A1 (en) Reorganization and repair of an icf catalog while open and in-use in a digital data storage system
CN105468473A (zh) 数据迁移方法及数据迁移装置
CN104516678B (zh) 用于数据存储的方法和设备
CN103605657A (zh) 一种在线重建索引的方法和装置
CN106682215A (zh) 一种数据处理方法和管理节点
CN109670975B (zh) 计算机系统中生成单号的方法、介质及电子设备
CN110399333B (zh) 删除快照的方法、设备和计算机程序产品
CN104216759A (zh) 一种生成虚拟机的逻辑磁盘的方法，及装置
CN107665255A (zh) 键值数据库数据变更的方法、装置、设备及存储介质
CN113590606A (zh) 一种基于布隆过滤器的大数据量密钥去重方法及系统
CN111930556A (zh) 一种分布式存储数据的备份方法及其装置
CN114721594A (zh) 一种分布式存储方法、装置、设备及机器可读存储介质
CN107180051B (zh) 一种日志管理方法、服务器
CN108984343B (zh) 一种基于内容分析的虚拟机备份及存储管理方法
US8825603B2 (en) Ordering volumes and tracks for data transfer based on usage characteristics
US8984252B2 (en) Extent consolidation and storage group allocation
CN111651117A (zh) 一种存储数据迁移的方法及其装置
CN110832473A (zh) 日志结构管理系统及方法
CN106293510A (zh) 一种面向多虚拟存储系统的数据共享方法及系统
CN110515947A (zh) 一种存储系统
US11507458B2 (en) Storage management method, device, and computer program product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant