CN116431067A - 一种分布式存储系统换盘方法、装置以及介质 - Google Patents

一种分布式存储系统换盘方法、装置以及介质 Download PDF

Info

Publication number
CN116431067A
CN116431067A CN202310349016.2A CN202310349016A CN116431067A CN 116431067 A CN116431067 A CN 116431067A CN 202310349016 A CN202310349016 A CN 202310349016A CN 116431067 A CN116431067 A CN 116431067A
Authority
CN
China
Prior art keywords
hard disk
data
data recovery
storage system
distributed storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310349016.2A
Other languages
English (en)
Inventor
张新亮
侯斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Jinan data Technology Co ltd
Original Assignee
Inspur Jinan data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Jinan data Technology Co ltd filed Critical Inspur Jinan data Technology Co ltd
Priority to CN202310349016.2A priority Critical patent/CN116431067A/zh
Publication of CN116431067A publication Critical patent/CN116431067A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种分布式存储系统换盘方法、以及介质，相对于当前技术中，需要先将需要替换的源硬盘退盘，插入目标硬盘后进行数据恢复，采用本技术方案，源硬盘和目标硬盘是同时插入分布式存储系统中的，在确认好需要进行换盘的源硬盘和目标硬盘后，关闭源硬盘相关的对象存储设备服务，并记录源硬盘各分区与对象存储设备数据目录的映射关系，最后根据数据目录的类型执行相应的数据恢复。本技术方案直接根据记录的数据目录的类型进行数据恢复，降低了数据恢复所需的时间，使分布式存储系统可以快速恢复到正常状态，避免了在换盘长时间数据恢复过程中，硬盘出现损坏导致出现超故障域进而导致数据丢失，大大提高了数据的安全性和集群的稳定性。

Description

一种分布式存储系统换盘方法、装置以及介质
技术领域
本申请涉及数据处理技术领域，特别是涉及一种分布式存储系统换盘方法、装置以及介质。
背景技术
分布式存储系统是由硬件和软件组成，其中硬盘是非常重要的硬件组成部分，是数据的存储介质。硬盘在使用的过程中会出现寿命到期或者坏盘等情况，此时需要对盘进行更换，从而延长存储系统的使用寿命。分布式存储通过换盘以后，通过存储的恢复流程进行数据恢复，如果被更换的硬盘数据比较多，恢复时间就会比较长。
当前的换盘流程是在管理软件界面上对需要更换的盘进行退盘，后台会删掉硬盘关联的对象存储设备(Object-based Storage Device，OSD)。人工更换硬盘后，在管理软件界面对该硬盘进行加载操作，后台会重新创建删掉的OSD，等待数据恢复完成。
在部署分布式存储系统的时候，常常将固态硬盘划分多个分区，用于该节点OSD的数据库目录或数据缓存目录，用机械硬盘作为OSD的数据目录，以提高OSD上数据的读写和查询性能。通常情况下，如果固态硬盘出现寿命到期或者坏道等情况，需要更换固态硬盘。由于固态硬盘的分区被多个OSD使用，当前换盘恢复流程中会将这些OSD删除并重新创建出来。新创建的OSD会进行数据恢复，大规模的数据恢复使分布式存储系统长期处于亚健康状态。客户为了提高分布式存储系统的硬盘使用率，通常部署两副本的存储池，在换盘长时间数据恢复过程中，其他节点的硬盘出现损坏的概率增加，很容易出现超故障域导致数据丢失的问题。
由此可见，如何避免在换盘长时间数据恢复过程中，硬盘出现损坏导致出现超故障域进而导致数据丢失是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种分布式存储系统换盘方法、装置以及介质，用于避免在换盘长时间数据恢复过程中，硬盘出现损坏导致出现超故障域进而导致数据丢失。
为解决上述技术问题，本申请提供一种分布式存储系统换盘方法，包括：
确认需要进行数据恢复的源硬盘和目标硬盘；
关闭所述源硬盘相关的对象存储设备服务，并记录所述源硬盘各分区与对象存储设备数据目录的映射关系；
根据所述数据目录的类型执行相应的数据恢复。
优选的，还包括：
比较使用所述分布式存储系统换盘方法进行数据恢复的第一时间耗时和使用常规方法进行数据恢复的第二时间耗时；
在所述第一时间耗时小于所述第二时间耗时的情况下，执行所述确认需要进行数据恢复的源硬盘和目标硬盘的步骤；
在所述第一时间耗时大于所述第二时间耗时的情况下，执行所述常规方法的步骤。
优选的，所述比较使用所述分布式存储系统换盘方法进行数据恢复的第一时间耗时和使用常规方法进行数据恢复的第二时间耗时包括：
确认所述源硬盘的类型；
若所述源硬盘为机械硬盘，则估算所述机械硬盘的已使用容量，根据已使用容量计算进行数据恢复的时间耗时；
若所述源硬盘为固态硬盘，则估算所述固态硬盘相关联的机械硬盘的已使用容量，根据已使用容量计算进行数据恢复的时间耗时；
比较使用所述分布式存储系统换盘方法进行数据恢复的第一时间耗时和使用常规方法进行数据恢复的第二时间耗时所述执行数据恢复，上报数据恢复的进度和状态。
优选的，还包括：发送数据恢复进度以及状态。
优选的，所述数据恢复包括：
从所述源硬盘的DB数据库读出数据并写入所述目标硬盘的DB数据库；
从所述源硬盘的缓存分区读出数据并写入所述目标硬盘的缓存分区；
从所述源硬盘的主存数据分区读出数据并写入所述目标硬盘的主存数据分区。
优选的，还包括：
记录并标记数据恢复过程中恢复失败的对象和放置组信息。
优选的，还包括：
判断所述源硬盘和所述目标硬盘是否能正常识别；
若是，则进入所述确认需要进行数据恢复的源硬盘和目标硬盘的步骤；
若否，则执行所述常规方法的步骤。
为解决上述技术问题，本申请还提供一种分布式存储系统换盘装置，包括：
确认模块，用于确认需要进行数据恢复的源硬盘和目标硬盘；
处理模块，用于关闭所述源硬盘相关的对象存储设备服务，并记录所述源硬盘各分区与对象存储设备数据目录的映射关系；
恢复模块，用于根据所述数据目录的类型执行相应的数据恢复。
为解决上述技术问题，本申请还提供另一种分布式存储系统换盘装置，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述的分布式存储系统换盘方法的步骤。
为解决上述技术问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的分布式存储系统换盘方法的步骤。
本申请所提供的分布式存储系统换盘方法，通过确认需要进行数据恢复的源硬盘和目标硬盘；关闭源硬盘相关的对象存储设备服务，并记录源硬盘各分区与对象存储设备数据目录的映射关系；根据数据目录的类型执行相应的数据恢复。相对于当前技术中，需要先将需要替换的源硬盘退盘，插入目标硬盘后进行数据恢复，采用本技术方案，源硬盘和目标硬盘是同时插入分布式存储系统中的，在确认好需要进行换盘的源硬盘和目标硬盘后，关闭源硬盘相关的对象存储设备服务，并记录源硬盘各分区与对象存储设备数据目录的映射关系，最后根据数据目录的类型执行相应的数据恢复。本技术方案直接根据记录的数据目录的类型进行数据恢复，降低了数据恢复所需的时间，使分布式存储系统可以快速恢复到正常状态，避免了在换盘长时间数据恢复过程中，硬盘出现损坏导致出现超故障域进而导致数据丢失，大大提高了数据的安全性和集群的稳定性。
此外，本申请所提供的分布式存储系统换盘装置以及介质，与上述分布式存储系统换盘方法相对应，效果同上。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为当前技术中的一种换盘方法的流程图；
图2为本申请实施例提供的一种分布式存储系统换盘方法的流程图；
图3为本申请实施例提供的一种存储恢复工具和管软软件以及分布式存储的结构图；
图4为本申请实施例提供的一种分布式存储系统换盘装置的结构图；
图5为本申请实施例提供的另一种分布式存储系统换盘装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
分布式存储系统是由硬件和软件组成，其中硬盘是非常重要的硬件组成部分，是数据的存储介质。硬盘在使用的过程中会出现寿命到期或者坏盘等情况，此时需要对盘进行更换，从而延长存储系统的使用寿命。分布式存储通过换盘以后，通过存储的恢复流程进行数据恢复，如果被更换的硬盘数据比较多，恢复时间就会比较长。
图1为当前技术中的一种换盘方法的流程图，如图1所示，当前的换盘流程是在管理软件界面上对需要更换的盘进行退盘，后台会删掉硬盘关联的对象存储设备(Object-based Storage Device，OSD)。人工更换硬盘后，在管理软件界面对该硬盘进行加载操作，后台会重新创建删掉的OSD，等待数据恢复完成。
在部署分布式存储系统的时候，常常将固态硬盘划分多个分区，用于该节点OSD的数据库目录或数据缓存目录，用机械硬盘作为OSD的数据目录，以提高OSD上数据的读写和查询性能。通常情况下，如果固态硬盘出现寿命到期或者坏道等情况，需要更换固态硬盘。由于固态硬盘的分区被多个OSD使用，当前换盘恢复流程中会将这些OSD删除并重新创建出来。新创建的OSD会进行数据恢复，大规模的数据恢复使分布式存储系统长期处于亚健康状态。客户为了提高分布式存储系统的硬盘使用率，通常部署两副本的存储池，在换盘长时间数据恢复过程中，其他节点的硬盘出现损坏的概率增加，很容易出现超故障域导致数据丢失的问题。
由此可见，如何避免在换盘长时间数据恢复过程中，硬盘出现损坏导致出现超故障域进而导致数据丢失是本领域技术人员亟待解决的问题。
本申请的核心是提供一种分布式存储系统换盘方法、装置以及介质，用于避免在换盘长时间数据恢复过程中，硬盘出现损坏导致出现超故障域进而导致数据丢失。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
图2为本申请实施例提供的一种分布式存储系统换盘方法的流程图，如图2所示，该方法包括：
S10：确认需要进行数据恢复的源硬盘和目标硬盘；
S11：关闭源硬盘相关的对象存储设备服务，并记录源硬盘各分区与对象存储设备数据目录的映射关系；
S12：根据数据目录的类型执行相应的数据恢复。
首先需要说明的是，本申请中分布式存储系统换盘方法的执行主体可以是分布式存储系统换盘装置，在本实施例中，将其命名为存储恢复工具，图3为本申请实施例提供的一种存储恢复工具和管软软件以及分布式存储的结构图。如图3所示，存储恢复工具主要包括：主要有命令收发模块、DB恢复模块、缓存恢复模块、主存数据恢复模块、OSD服务管理模块。其中，命令收发模块用于与管理软件和分布式存储之间的信令交互。分区管理模块用于硬盘分区以及OSD数据目录的挂载恢复等操作。DB恢复模块用于在硬盘的DB创建和数据恢复，通过从源硬盘的DB数据库读出数据写入目标硬盘的DB数据库。其中，DB数据库是一种KV数据库，存储了该OSD相关放置组(Placement Group，pg)信息和对象元数据信息。如果DB数据库无法正常打开，则无法通过存储恢复工具进行数据恢复，需要通过常规的退盘加载盘方式进行数据恢复。在DB数据恢复过程中对于读取失败的pg信息和对象元信息记录下来用于后续的处理。
缓存恢复模块用于恢复OSD的缓存数据，通过从源硬盘的缓存分区读出数据写入目标硬盘的缓存分区。
缓存数据就是对象数据，被临时存在固态硬盘上，因此当硬盘有缓存数据需要恢复，则该硬盘为固态硬盘。缓存恢复以对象为单位，对象的元数据信息记录了对象是否存在缓存以及在缓存分区的具体位置和大小。根据对象元信息利用存储接口对缓存对象进行读取，将读出的数据写入新盘的缓存分区的相同位置。
主存数据恢复模块用于恢复OSD的主存数据，从源硬盘的主存数据分区读出数据后写入目标硬盘的主存数据分区。
主存数据就是对象数据，主存数据的恢复以对象为单位。通过对象的元信息和存储读写接口读取对象数据并写入到目标硬盘的主存数据分区。
硬盘可能存在上述三种数据的一种或多种。如果硬盘没有DB数据，在进行缓存数据和主存数据的恢复时需要从OSD的DB所在硬盘读取对象的元数据信息。
此外，在完成上述的三种数据恢复以后，对记录的失败的对象和pg信息求并集发送给分布式存储，分布式存储将恢复失败的对象和pg标记为missing，等待新盘更换完以后，可以通过分布式存储的恢复流程完成对象或pg的恢复。
综上所述，存储恢复工具进行换盘和数据恢复，需要按照以下步骤操作：
管理软件界面提示用户在空槽位插入新盘，将其作为目标硬盘，选择需要更换的硬盘为源硬盘；
管理软件界面向后端存储的存储恢复工具发送换盘恢复操作；
存储恢复工具执行换盘恢复前置操作，包括关闭被换硬盘的相关服务，记录被换硬盘分区与OSD服务挂载关系用于换盘后的服务恢复；
存储恢复工具执行数据恢复，上报管理软件数据恢复的进度和状态；
数据恢复完毕后，在管理软件界面提示用户拔掉源硬盘和目标硬盘，将目标硬盘插上源硬盘的位置；
管软界面向后台存储的存储恢复工具发送后置操作请求，包括恢复新盘分区与OSD服务的挂载关系，恢复关闭的服务；
完成利用存储恢复工具的换盘恢复流程。
在具体实施中，存储恢复工具还可以发送数据恢复进度以及状态至分布式存储。
本申请实施例提供的分布式存储系统换盘方法，通过确认需要进行数据恢复的源硬盘和目标硬盘；关闭源硬盘相关的对象存储设备服务，并记录源硬盘各分区与对象存储设备数据目录的映射关系；根据数据目录的类型执行相应的数据恢复。相对于当前技术中，需要先将需要替换的源硬盘退盘，插入目标硬盘后进行数据恢复，采用本技术方案，源硬盘和目标硬盘是同时插入分布式存储系统中的，在确认好需要进行换盘的源硬盘和目标硬盘后，关闭源硬盘相关的对象存储设备服务，并记录源硬盘各分区与对象存储设备数据目录的映射关系，最后根据数据目录的类型执行相应的数据恢复。本技术方案直接根据记录的数据目录的类型进行数据恢复，降低了数据恢复所需的时间，使分布式存储系统可以快速恢复到正常状态，避免了在换盘长时间数据恢复过程中，硬盘出现损坏导致出现超故障域进而导致数据丢失，大大提高了数据的安全性和集群的稳定性。
本实施例提供的分布式存储系统换盘方法，还包括：
比较使用分布式存储系统换盘方法进行数据恢复的第一时间耗时和使用常规方法进行数据恢复的第二时间耗时；
在第一时间耗时小于第二时间耗时的情况下，执行确认需要进行数据恢复的源硬盘和目标硬盘的步骤；
在第一时间耗时大于第二时间耗时的情况下，执行常规方法的步骤。
在具体实施中，在管理界面执行换盘，后台对需要更换的硬盘进行检测，根据检测的结果执行相应的动作。分布式存储系统换盘方法还包括：
判断源硬盘和目标硬盘是否能正常识别；
若是，则进入确认需要进行数据恢复的源硬盘和目标硬盘的步骤；
若否，则执行常规方法的步骤。
具体的，如果硬盘无法识别，则硬盘已经损坏无法读写，需要按照常规的退盘加载盘流程重建OSD进行常规的数据恢复；
如果硬盘为机械硬盘并且可以正常识别，则估算硬盘已使用容量，计算普通数据恢复耗时t1和估算使用存储恢复工具进行数据恢复的时间耗时t2。如果t1<＝t2，则使用常规的退盘加载盘进行换盘和数据恢复；如果t1>t2，则使用存储恢复工具恢复数据和换盘；
如果硬盘为固态硬盘并且可以正常识别，则估算相关联机械硬盘已使用容量，计算普通数据恢复耗时t1和估算使用存储恢复工具的方式进行数据恢复的时间耗时t2。如果t1<＝t2，则使用常规的退盘加载盘进行换盘和数据恢复；如果t1>t2，则使用存储恢复工具的方式进行数据恢复，再进行新旧盘替换；
上述的t1和t2为经验值，t1是根据硬盘在分布式存储系统的数据恢复的速度估算出来的，t2是通过存储恢复工具的恢复速度估算出来的。
根据检测的结果进行相应的换盘流程：如果需要常规的换盘流程，则按照常规的流程执行。
在上述实施例的基础上，在本实施例中，比较使用分布式存储系统换盘方法进行数据恢复的第一时间耗时和使用常规方法进行数据恢复的第二时间耗时包括：
确认源硬盘的类型；
若源硬盘为机械硬盘，则估算机械硬盘的已使用容量，根据已使用容量计算进行数据恢复的时间耗时；
若源硬盘为固态硬盘，则估算固态硬盘相关联的机械硬盘的已使用容量，根据已使用容量计算进行数据恢复的时间耗时；
比较使用分布式存储系统换盘方法进行数据恢复的第一时间耗时和使用常规方法进行数据恢复的第二时间耗时执行数据恢复，上报数据恢复的进度和状态。
数据恢复包括：从源硬盘的DB数据库读出数据并写入目标硬盘的DB数据库；从源硬盘的缓存分区读出数据并写入目标硬盘的缓存分区；从源硬盘的主存数据分区读出数据并写入目标硬盘的主存数据分区。
在具体实施中，DB恢复模块用于在硬盘的DB创建和数据恢复，通过从源硬盘的DB数据库读出数据写入目标硬盘的DB数据库。其中，DB数据库是一种KV数据库，存储了该OSD相关放置组(Placement Group，pg)信息和对象元数据信息。如果DB数据库无法正常打开，则无法通过存储恢复工具进行数据恢复，需要通过常规的退盘加载盘方式进行数据恢复。在DB数据恢复过程中对于读取失败的pg信息和对象元信息记录下来用于后续的处理。
缓存恢复模块用于恢复OSD的缓存数据，通过从源硬盘的缓存分区读出数据写入目标硬盘的缓存分区。
缓存数据就是对象数据，被临时存在固态硬盘上，因此当硬盘有缓存数据需要恢复，则该硬盘为固态硬盘。缓存恢复以对象为单位，对象的元数据信息记录了对象是否存在缓存以及在缓存分区的具体位置和大小。根据对象元信息利用存储接口对缓存对象进行读取，将读出的数据写入新盘的缓存分区的相同位置。
主存数据恢复模块用于恢复OSD的主存数据，从源硬盘的主存数据分区读出数据后写入目标硬盘的主存数据分区。
主存数据就是对象数据，主存数据的恢复以对象为单位。通过对象的元信息和存储读写接口读取对象数据并写入到目标硬盘的主存数据分区。
在具体实施中，分布式存储系统换盘方法还包括：记录并标记数据恢复过程中恢复失败的对象和放置组信息。
在完成上述的三种数据恢复以后，对记录的失败的对象和pg信息发送给分布式存储，分布式存储将恢复失败的对象和pg标记为missing，等待新盘更换完以后，可以通过分布式存储的恢复流程完成对象或pg的恢复。
在上述实施例中，对于分布式存储系统换盘方法进行了详细描述，本申请还提供分布式存储系统换盘装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
图4为本申请实施例提供的一种分布式存储系统换盘装置的结构图，如图4所示，该装置包括：
确认模块10，用于确认需要进行数据恢复的源硬盘和目标硬盘；
处理模块11，用于关闭源硬盘相关的对象存储设备服务，并记录源硬盘各分区与对象存储设备数据目录的映射关系；
恢复模块12，用于根据数据目录的类型执行相应的数据恢复。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请实施例提供的分布式存储系统换盘装置，通过确认需要进行数据恢复的源硬盘和目标硬盘；关闭源硬盘相关的对象存储设备服务，并记录源硬盘各分区与对象存储设备数据目录的映射关系；根据数据目录的类型执行相应的数据恢复。相对于当前技术中，需要先将需要替换的源硬盘退盘，插入目标硬盘后进行数据恢复，采用本技术方案，源硬盘和目标硬盘是同时插入分布式存储系统中的，在确认好需要进行换盘的源硬盘和目标硬盘后，关闭源硬盘相关的对象存储设备服务，并记录源硬盘各分区与对象存储设备数据目录的映射关系，最后根据数据目录的类型执行相应的数据恢复。本技术方案直接根据记录的数据目录的类型进行数据恢复，降低了数据恢复所需的时间，使分布式存储系统可以快速恢复到正常状态，避免了在换盘长时间数据恢复过程中，硬盘出现损坏导致出现超故障域进而导致数据丢失，大大提高了数据的安全性和集群的稳定性。
图5为本申请实施例提供的另一种分布式存储系统换盘装置的结构图，如图5所示，该装置包括：存储器20，用于存储计算机程序；
处理器21，用于执行计算机程序时实现如上述实施例分布式存储系统换盘方法的步骤。
本实施例提供的分布式存储系统换盘装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可以包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的分布式存储系统换盘方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于数据目录等。
在一些实施例中，分布式存储系统换盘装置还可以包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解，图5中示出的结构并不构成对分布式存储系统换盘装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的分布式存储系统换盘装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：确认需要进行数据恢复的源硬盘和目标硬盘；关闭源硬盘相关的对象存储设备服务，并记录源硬盘各分区与对象存储设备数据目录的映射关系；根据数据目录的类型执行相应的数据恢复。
本申请实施例提供的分布式存储系统换盘装置，通过确认需要进行数据恢复的源硬盘和目标硬盘；关闭源硬盘相关的对象存储设备服务，并记录源硬盘各分区与对象存储设备数据目录的映射关系；根据数据目录的类型执行相应的数据恢复。相对于当前技术中，需要先将需要替换的源硬盘退盘，插入目标硬盘后进行数据恢复，采用本技术方案，源硬盘和目标硬盘是同时插入分布式存储系统中的，在确认好需要进行换盘的源硬盘和目标硬盘后，关闭源硬盘相关的对象存储设备服务，并记录源硬盘各分区与对象存储设备数据目录的映射关系，最后根据数据目录的类型执行相应的数据恢复。本技术方案直接根据记录的数据目录的类型进行数据恢复，降低了数据恢复所需的时间，使分布式存储系统可以快速恢复到正常状态，避免了在换盘长时间数据恢复过程中，硬盘出现损坏导致出现超故障域进而导致数据丢失，大大提高了数据的安全性和集群的稳定性。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的计算机可读存储介质，通过确认需要进行数据恢复的源硬盘和目标硬盘；关闭源硬盘相关的对象存储设备服务，并记录源硬盘各分区与对象存储设备数据目录的映射关系；根据数据目录的类型执行相应的数据恢复。相对于当前技术中，需要先将需要替换的源硬盘退盘，插入目标硬盘后进行数据恢复，采用本技术方案，源硬盘和目标硬盘是同时插入分布式存储系统中的，在确认好需要进行换盘的源硬盘和目标硬盘后，关闭源硬盘相关的对象存储设备服务，并记录源硬盘各分区与对象存储设备数据目录的映射关系，最后根据数据目录的类型执行相应的数据恢复。本技术方案直接根据记录的数据目录的类型进行数据恢复，降低了数据恢复所需的时间，使分布式存储系统可以快速恢复到正常状态，避免了在换盘长时间数据恢复过程中，硬盘出现损坏导致出现超故障域进而导致数据丢失，大大提高了数据的安全性和集群的稳定性。
以上对本申请所提供的分布式存储系统换盘方法、装置以及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种分布式存储系统换盘方法，其特征在于，包括：
确认需要进行数据恢复的源硬盘和目标硬盘；
关闭所述源硬盘相关的对象存储设备服务，并记录所述源硬盘各分区与对象存储设备数据目录的映射关系；
根据所述数据目录的类型执行相应的数据恢复。
2.根据权利要求1所述的分布式存储系统换盘方法，其特征在于，还包括：
比较使用所述分布式存储系统换盘方法进行数据恢复的第一时间耗时和使用常规方法进行数据恢复的第二时间耗时；
在所述第一时间耗时小于所述第二时间耗时的情况下，执行所述确认需要进行数据恢复的源硬盘和目标硬盘的步骤；
在所述第一时间耗时大于所述第二时间耗时的情况下，执行所述常规方法的步骤。
3.根据权利要求2所述的分布式存储系统换盘方法，其特征在于，所述比较使用所述分布式存储系统换盘方法进行数据恢复的第一时间耗时和使用常规方法进行数据恢复的第二时间耗时包括：
确认所述源硬盘的类型；
若所述源硬盘为机械硬盘，则估算所述机械硬盘的已使用容量，根据已使用容量计算进行数据恢复的时间耗时；
若所述源硬盘为固态硬盘，则估算所述固态硬盘相关联的机械硬盘的已使用容量，根据已使用容量计算进行数据恢复的时间耗时；
比较使用所述分布式存储系统换盘方法进行数据恢复的第一时间耗时和使用常规方法进行数据恢复的第二时间耗时所述执行数据恢复，上报数据恢复的进度和状态。
4.根据权利要求1所述的分布式存储系统换盘方法，其特征在于，还包括：发送数据恢复进度以及状态。
5.根据权利要求1至4任意一项所述的分布式存储系统换盘方法，其特征在于，所述数据恢复包括：
从所述源硬盘的DB数据库读出数据并写入所述目标硬盘的DB数据库；
从所述源硬盘的缓存分区读出数据并写入所述目标硬盘的缓存分区；
从所述源硬盘的主存数据分区读出数据并写入所述目标硬盘的主存数据分区。
6.根据权利要求5所述的分布式存储系统换盘方法，其特征在于，还包括：
记录并标记数据恢复过程中恢复失败的对象和放置组信息。
7.根据权利要求2所述的分布式存储系统换盘方法，其特征在于，还包括：
判断所述源硬盘和所述目标硬盘是否能正常识别；
若是，则进入所述确认需要进行数据恢复的源硬盘和目标硬盘的步骤；
若否，则执行所述常规方法的步骤。
8.一种分布式存储系统换盘装置，其特征在于，包括：
确认模块，用于确认需要进行数据恢复的源硬盘和目标硬盘；
处理模块，用于关闭所述源硬盘相关的对象存储设备服务，并记录所述源硬盘各分区与对象存储设备数据目录的映射关系；
恢复模块，用于根据所述数据目录的类型执行相应的数据恢复。
9.一种分布式存储系统换盘装置，其特征在于，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任意一项所述的分布式存储系统换盘方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的分布式存储系统换盘方法的步骤。
CN202310349016.2A 2023-03-30 2023-03-30 一种分布式存储系统换盘方法、装置以及介质 Pending CN116431067A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310349016.2A CN116431067A (zh) 2023-03-30 2023-03-30 一种分布式存储系统换盘方法、装置以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310349016.2A CN116431067A (zh) 2023-03-30 2023-03-30 一种分布式存储系统换盘方法、装置以及介质

Publications (1)

Publication Number Publication Date
CN116431067A true CN116431067A (zh) 2023-07-14

Family

ID=87092023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310349016.2A Pending CN116431067A (zh) 2023-03-30 2023-03-30 一种分布式存储系统换盘方法、装置以及介质

Country Status (1)

Country Link
CN (1) CN116431067A (zh)

Similar Documents

Publication Publication Date Title
AU2012347883B2 (en) System and method for restoring application data
US7707373B2 (en) Storage system and backup method
CN113626261A (zh) 一种数据备份方法、装置、设备及计算机可读存储介质
CN109086425B (zh) 用于数据库的数据处理方法和装置
CN103197988A (zh) 一种数据备份、恢复的方法、设备和数据库系统
CN103034592B (zh) 数据处理方法和装置
CN105302665B (zh) 一种改进的写时拷贝快照方法及系统
CN105302667A (zh) 基于集群架构的高可靠性数据备份与恢复方法
WO2024148856A1 (zh) 数据写入方法、系统、存储硬盘、电子设备及存储介质
WO2024103977A1 (zh) 一种元数据的配置方法、装置及非易失性可读存储介质
CN110333971A (zh) Ssd坏块表备份方法、装置、计算机设备及存储介质
CN115328407A (zh) 一种缓存盘更换方法、装置、设备、存储介质
CN107765990A (zh) 一种系统磁盘管理方法和装置
CN105302488A (zh) 一种存储系统的数据写入方法及系统
CN110658993A (zh) 一种快照回滚方法、装置、设备及存储介质
CN104268097A (zh) 一种元数据处理方法及系统
CN106933707B (zh) 基于raid技术的数据存储设备数据恢复方法及系统
CN116483284B (zh) 一种读写虚拟硬盘的方法、装置、介质及电子设备
CN108984779A (zh) 分布式文件系统快照回滚元数据处理方法、装置及设备
CN112965783A (zh) 一种使用存储快照备份虚拟机的系统及方法
WO2024077863A1 (zh) 一种全闪存储系统的恢复方法及相关装置
CN103440179B (zh) 存储设备配置信息的连续保存方法
CN107888430B (zh) 虚拟机管理操作同步方法及装置
CN116431067A (zh) 一种分布式存储系统换盘方法、装置以及介质
US20070061530A1 (en) Method for storage of digital data in a mainframe data center and associated device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination