CN110764953A - 一种数据恢复方法、装置、设备及可读存储介质 - Google Patents
一种数据恢复方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN110764953A CN110764953A CN201910942568.8A CN201910942568A CN110764953A CN 110764953 A CN110764953 A CN 110764953A CN 201910942568 A CN201910942568 A CN 201910942568A CN 110764953 A CN110764953 A CN 110764953A
- Authority
- CN
- China
- Prior art keywords
- data recovery
- storage pool
- storage
- type
- monitor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 196
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000007787 solid Substances 0.000 claims description 17
- 230000005059 dormancy Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 3
- 230000004622 sleep time Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006266 hibernation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
Abstract
本发明公开了一种数据恢复方法、装置、设备及可读存储介质，该方法包括以下步骤：对象存储设备获取挂载的磁盘类型；将磁盘类型发送给存储集群的监视器；接收监视器反馈的对称存储设备所属的存储池类型；若存储池类型为高级存储池，则按照高速策略进行数据恢复；若存储池类型为普通存储池，则按照低速策略进行数据恢复。该方法可根据存储池类型对数据恢复进行独立控制，在避免对分布式文件系统的读写性能造成影响的情况下，提高数据恢复可靠性。
Description
技术领域
本发明涉及存储技术领域，特别是涉及一种数据恢复方法、装置、设备及可读存储介质。
背景技术
对象存储设备(Object-based Storage Device，OSD)的主要功能是存储数据、复制数据、平衡数据、恢复数据等。为了提高读写性能，可以使用全部采用固态硬盘(SolidState Disk，SSD)的OSD来组成存储池。相对于采用机械硬盘组建的存储池，称全由SSD组成的存储池为高级存储池。由于SSD本身的随机读写性能比机械硬盘高很多，采用SSD创建的高级存储池的随机读写性能比机械硬盘组成的普通存储池的性能高数倍。
当分布式文件系统的硬盘发生故障时，OSD会对数据进行恢复。为了减少数据恢复对分布式文件系统读写性能的影响，OSD对数据恢复速度进行控制。现有方案中，对数据恢复速度的限制只适用于采用机械硬盘的存储池，对高级存储池来说，数据恢复性能很低。而恢复性能过低会造成数据恢复时间过长，增大了数据丢失的风险。例如，分布式文件系统采用纠删2+1的存储池存储数据，一份数据最少要保证2份副本正常才能读出数据。若发送一个磁盘的硬件故障会造成部分数据只剩2份副本，若此时数据恢复迟迟没有完成，则在数据恢复期间又发生了磁盘硬件故障，会导致部分数据只剩1份副本，此时这些数据就恢复不了了，即数据丢失。
综上所述，如何有效地解决分布式文件系统中数据恢复控制等问题，是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种数据恢复方法、装置、设备及可读存储介质，在高级存储池中采用高速策略进行数据恢复，在普通存储池中采用低速策略进行数据恢复，如此对于高级存储池，在保障分布式文件系统读写性能的不受影响的情况下，还可充分利用SSD的高速读写性能保障数据安全；对于普通存储池，则可保障分布式文件系统读写性能的不受影响。
为解决上述技术问题，本发明提供如下技术方案：
一种数据恢复方法，包括：
对象存储设备获取挂载的磁盘类型；
将所述磁盘类型发送给存储集群的监视器；
接收所述监视器反馈的所述对称存储设备所属的存储池类型；
若所述存储池类型为高级存储池，则按照高速策略进行数据恢复；
若所述存储池类型为普通存储池，则按照低速策略进行数据恢复。
优选地，所述按照高速策略进行数据恢复，包括：
启动至少两个数据恢复线程，并结合高单位时间内数据恢复总数量和短数据恢复休眠时间，进行数据恢复。
优选地，所述进行数据恢复，包括：
所述数据恢复线程以PG为单位进行数据恢复，且各个所述数据恢复线程在同一时间处理不同PG。
优选地，所述按照低速策略进行数据恢复，包括：
启动一个所述数据恢复线程，并结合低单位时间内数据恢复总数量和长数据恢复休眠时间，进行数据恢复。
优选地，接收所述监视器反馈的所述对称存储设备所属的存储池类型，包括：
接收所述监视器反馈的消息，并从所述消息中获取存储池类型标识。
优选地，所述接收所述监视器反馈的消息，包括：
所述监视器对所述对象存储器所属存储池中的磁盘类型进行统计；
判断所述存储池中的磁盘类型是否全为固态硬盘；
如果是，则在所述消息中添加高级存储池标志；如果否，则在所述消息中添加普通存储池标志；
将添加了存储池标记的消息发送给所述对象存储设备。
优选地，所述对象存储设备获取挂载的磁盘类型，包括：
所述对象存储设备通过执行系统命令获取所述磁盘类型；其中，所述磁盘类型包括固态硬盘和机械硬盘。
一种数据恢复装置，包括：
磁盘类型确定模块，用于对象存储设备获取挂载的磁盘类型；
数据发送模块，用于将所述磁盘类型发送给存储集群的监视器；
数据接收模块，用于接收所述监视器反馈的所述对称存储设备所属的存储池类型；
高速恢复模块，用于若所述存储池类型为高级存储池，则按照高速策略进行数据恢复；
低速恢复模块，用于若所述存储池类型为普通存储池，则按照低速策略进行数据恢复。
一种数据恢复设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述数据恢复方法的步骤。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据恢复方法的步骤。
应用本发明实施例所提供的方法，对象存储设备获取挂载的磁盘类型；将磁盘类型发送给存储集群的监视器；接收监视器反馈的对称存储设备所属的存储池类型；若存储池类型为高级存储池，则按照高速策略进行数据恢复；若存储池类型为普通存储池，则按照低速策略进行数据恢复。
在本方法中，对象存储设备首先确定自身挂载的磁盘类型，然后将磁盘类型发送给存储集群的监视器，以便该监视器反馈对象存储设备的存储池类型。当存储池类型为高级存储池，则采用高速策略进行数据恢复；当存储池类型为普通存储池，则采用低速策略进行数据恢复。即，在高级存储池中采用高速策略进行数据恢复，在普通存储池中采用低速策略进行数据恢复，如此对于高级存储池，在保障分布式文件系统读写性能的不受影响的情况下，还可充分利用SSD的高速读写性能保障数据安全；对于普通存储池，则可保障分布式文件系统读写性能的不受影响。可见，本方法可根据存储池类型对数据恢复进行独立控制，在避免对分布式文件系统的读写性能造成影响的情况下，提高数据恢复可靠性。
相应地，本发明实施例还提供了与上述数据恢复方法相对应的数据恢复装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种数据恢复方法的实施流程图；
图2为本发明实施例中一种数据恢复装置的结构示意图；
图3为本发明实施例中一种数据恢复设备的结构示意图；
图4为本发明实施例中一种数据恢复设备的具体结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
请参考图1，图1为本发明实施例中一种数据恢复方法的流程图，该方法包括以下步骤：
S101、对象存储设备获取挂载的磁盘类型。
对象存储设备即对硬盘进行管理的设备，可以为分布式文件系统中存储集群内的任意一个对此存储设备。
具体的，对象存储设备通过执行系统命令获取磁盘类型；其中，磁盘类型包括固态硬盘和机械硬盘。其中，系统命令具体为lsblk–d；对象存储设备所挂载的磁盘类型可为SSD、机械硬盘或内存(DRAM)。例如，当对象存储设备为存储集群中对象存储设备A时，该对象存储设备A所挂载磁盘的磁盘类型为SSD；当对象存储设备为存储集群中对此存储设备B时，该对象存储设备B所挂载磁盘的磁盘类型为机械硬盘。
S102、将磁盘类型发送给存储集群的监视器。
在确定自身所挂载的磁盘类型之后，将该磁盘类型通过网络消息的方式发送给存储集群的监视器。具体的，可将存储类型发送给Mon(集群的监视器守护进程，Monitor)。
S103、接收监视器反馈的对称存储设备所属的存储池类型。
接收监控器统计后反馈的存储池类型，可具体为接收监视器反馈的消息，并从消息中获取存储池类型标识。
其中，关于接收监视器的反馈消息，可包括：
步骤一、监视器对对象存储器所属存储池中的磁盘类型进行统计；
步骤二、判断存储池中的磁盘类型是否全为固态硬盘；
步骤三、如果是，则在消息中添加高级存储池标志；如果否，则在消息中添加普通存储池标志；
步骤四、将添加了存储池标记的消息发送给对象存储设备。
为便于描述，下面将上述四个步骤结合起来进行说明。
当存储集群的监视器具体为Mon时，Mon收到各个对象存储设备发送的磁盘类型之后，可对所有的对象存储设备的磁盘类型进行汇总，若某个存储池中所有的对象存储设备挂载的磁盘类型均为固态硬盘，则确定该存储池为高级存储池，并向对象存储设备反馈其所属的存储池为高级存储池；若某个存储池中并非所有的对象存储设备挂载的磁盘类型均为固态硬盘，则确定该存储池为普通存储池，并向对象存储设备反馈其所属的存储池为普通存储池。向对象存储设备反馈存储池类型时，可具体采用网络消息的方式进行反馈。
S104、若存储池类型为高级存储池，则按照高速策略进行数据恢复。
对象存储设备确定的存储池类型为高级存储池时，即该对象存储设备所在的存储池中的各个对象存储设备所挂载的磁盘均为固态硬盘。而固态硬盘本身的随机读写性能相较于机械硬盘高更多，采用固态硬盘组成的高级存储池的随机读写性能比机械硬盘组成的普通存储池的性能高数倍。因此，当确定存储池类型为高级存储池时，可按照高速策略进行数据恢复。
其中，高速策略即为相对于普通存储池的恢复策略，其恢复速度更快的策略。例如，高速策略可具体为启动至少两个数据恢复线程，提高单位时间数据恢复总数量，缩短数据恢复休眠时间，具体的，进行数据恢复时，即可启动至少两个数据恢复线程，并结合高单位时间内数据恢复总数量和短数据恢复休眠时间，进行数据恢复。其中，高单位时间内数据恢复总数量以及短数据恢复休眠时间均为相对与普通存储池的单位时间内数据恢复总数量以及数据恢复休眠时间而言，相对较高或相对较短。例如，当普通存储池的单位时间内数据恢复总数量为a，高单位时间内数据恢复总数量可为3a，即高单位时间内数据恢复总数量为普通存储池的单位时间内数据恢复总数量3倍。
其中，数据恢复过程，即数据恢复线程对数据进行恢复。具体的，数据恢复线程以PG为单位进行数据恢复，且各个数据恢复线程在同一时间处理不同PG。其中，PG(PlacementGroup)即放置组，是用于放置对象的一个载体。可见，即便同时启动两个及两个以上的数据恢复线程对数据进行恢复，各个数据恢复线程之间也互不干扰，且各个数据恢复线程同一时间处理不同的PG，数据恢复速度得到提升。
S105、若存储池类型为普通存储池，则按照低速策略进行数据恢复。
对象存储设备确定的存储池类型为普通存储池时，即该对象存储设备所在的存储池中的各个对象存储设备所挂载的磁盘并非均为固态硬盘，如存在一部分对象存储设备挂载的磁盘为固态硬盘，而一部分对象存储设备挂载的磁盘为机械硬盘；或，该存储池内的全部对象存储设备均挂载机械硬盘或内存。
由于机械硬盘的随机读取性能较差，为了减少数据恢复对分布式文件系统读写性能的影响，对象存储设备确定其所属的存储池为普通存储时，可对数据恢复速度进行了控制，通过控制单位时间内恢复的数据量以及恢复的对象个数来控制数据恢复的速度。
具体的，该对象存储设备可启动一个数据恢复线程，并结合低单位时间内数据恢复总数量和长数据恢复休眠时间，进行数据恢复。其中，低单位时间内数据恢复总数量和长数据恢复休眠时间，与高速存储池的单位时间内数据恢复总数量和数据恢复休眠时间，分别相对较低，相对较短，其具体的数值可参照与现有的数据恢复时采用的单位时间内数据恢复总数量的具体数值，数据恢复休眠时间的具体数值，在此不再一一列举。
为了便于本领域技术人员更好的理解本实施例中，高速策略和低速策略之间的关系，对高速策略和低速策略进行详细说明。
高速策略和低速策略对应启动的数据恢复线程数量不同：高速策略中启动的数据恢复线程至少有两个；而在低速策略中，启动的数据恢复线程仅一个。
高速策略和低速策略对应启动的恢复参数值不同；单位时间内数据恢复总数量在高速策略中相对较高，例如，高速策略中的单位时间内数据恢复总数量可为低速策略中的2倍左右；数据恢复休眠时间在高速策略中相对较短，例如，高速策略中的数据恢复休眠时间缩短为为低速策略中的一半。
例如，3节点集群，机械硬盘的情况下，一个磁盘发生故障后，普通存储池中的对象存储设备每秒恢复40M数据，高级存储池中的对象存储设备每秒恢复80M数据。普通存储池中，数据恢复线程在每恢复一个存储对象后需要休眠0.04秒；高级存储池中，数据恢复线程在每恢复一个存储对象后休眠时间可缩短到0.02秒。如此，在高速存储池中，每秒就能恢复更多的数据，可避免数据丢失。
应用本发明实施例所提供的方法，对象存储设备获取挂载的磁盘类型；将磁盘类型发送给存储集群的监视器；接收监视器反馈的对称存储设备所属的存储池类型；若存储池类型为高级存储池，则按照高速策略进行数据恢复；若存储池类型为普通存储池，则按照低速策略进行数据恢复。
在本方法中，对象存储设备首先确定自身挂载的磁盘类型，然后将磁盘类型发送给存储集群的监视器，以便该监视器反馈对象存储设备的存储池类型。当存储池类型为高级存储池，则采用高速策略进行数据恢复；当存储池类型为普通存储池，则采用低速策略进行数据恢复。即，在高级存储池中采用高速策略进行数据恢复，在普通存储池中采用低速策略进行数据恢复，如此对于高级存储池，在保障分布式文件系统读写性能的不受影响的情况下，还可充分利用SSD的高速读写性能保障数据安全；对于普通存储池，则可保障分布式文件系统读写性能的不受影响。可见，本方法可根据存储池类型对数据恢复进行独立控制，在避免对分布式文件系统的读写性能造成影响的情况下，提高数据恢复可靠性。
为便于本领域技术人员更好地理解本发明实施例所提供的数据恢复方法，下面结合具体的应用场景为例，对该数据恢复方法进行详细说明。
在分布式文件系统中，数据恢复方法具体实施过程如下：
1.OSD启动时获取挂载的磁盘类型(是SSD还是机械硬盘)；
2.各个OSD将各自挂载的磁盘类型通过网络消息发送给Mon；
3.Mon将所有OSD的磁盘类型进行汇总，若存储池中的所有OSD的磁盘类型都是SSD即为高级存储池，并发消息给各个OSD，消息中携带高级存储池的标识，转到(4)进行处理；否则发消息给各个OSD，消息中携带普通存储池的标识，转到(5)进行处理；
4.OSD收到Mon发的消息中携带高级存储池的标识，此时需要提交该OSD数据恢复的速度，主要举措有：启动两个数据恢复线程(普通存储池的OSD只有一个数据恢复线程)，提高单位时间内数据恢复的总数据量的参数，缩短数据恢复的休眠时间(每恢复一个对象会短暂休眠)；
5.OSD收到Mon发的消息中带有普通存储池的标识则按照原有流程对数据恢复进行控制。其中，原有流程，即启动一个数据恢复线程，保持单位时间内数据恢复的总数据量和数据恢复的休眠时间不变。
可见，应用本发明所提供的数据恢复方法，自动识别存储池是普通存储池还是SSD高级存储池，并针对不同的存储池执行不同的数据恢复策略，既提高了SSD高级存储池的数据恢复性能，可以最大程度发挥SSD的性能优势，缩短数据恢复时间；与此同时，还兼容普通存储池。
实施例二：
相应于上面的方法实施例，本发明实施例还提供了一种数据恢复装置，下文描述的数据恢复装置与上文描述的数据恢复方法可相互对应参照。
参见图2所示，该装置包括以下模块：
磁盘类型确定模块101，用于对象存储设备获取挂载的磁盘类型；
数据发送模块102，用于将磁盘类型发送给存储集群的监视器；
数据接收模块103，用于接收监视器反馈的对称存储设备所属的存储池类型；
高速恢复模块104，用于若存储池类型为高级存储池，则按照高速策略进行数据恢复；
低速恢复模块105，用于若存储池类型为普通存储池，则按照低速策略进行数据恢复。
应用本发明实施例所提供的装置，对象存储设备获取挂载的磁盘类型；将磁盘类型发送给存储集群的监视器；接收监视器反馈的对称存储设备所属的存储池类型；若存储池类型为高级存储池，则按照高速策略进行数据恢复；若存储池类型为普通存储池，则按照低速策略进行数据恢复。
在本装置中，对象存储设备首先确定自身挂载的磁盘类型，然后将磁盘类型发送给存储集群的监视器，以便该监视器反馈对象存储设备的存储池类型。当存储池类型为高级存储池，则采用高速策略进行数据恢复；当存储池类型为普通存储池，则采用低速策略进行数据恢复。即，在高级存储池中采用高速策略进行数据恢复，在普通存储池中采用低速策略进行数据恢复，如此对于高级存储池，在保障分布式文件系统读写性能的不受影响的情况下，还可充分利用SSD的高速读写性能保障数据安全；对于普通存储池，则可保障分布式文件系统读写性能的不受影响。可见，本装置可根据存储池类型对数据恢复进行独立控制，在避免对分布式文件系统的读写性能造成影响的情况下，提高数据恢复可靠性。
在本发明的一种具体实施方式中，高速恢复模块104，具体用于启动至少两个数据恢复线程，并结合高单位时间内数据恢复总数量和短数据恢复休眠时间，进行数据恢复。
在本发明的一种具体实施方式中，高速恢复模块104，具体用于利用数据恢复线程以PG为单位进行数据恢复，且各个数据恢复线程在同一时间处理不同PG。
在本发明的一种具体实施方式中，低速恢复模块105，具体用于启动一个数据恢复线程，并结合低单位时间内数据恢复总数量和长数据恢复休眠时间，进行数据恢复。
在本发明的一种具体实施方式中，数据接收模块103，用于接收监视器反馈的消息，并从消息中获取存储池类型标识。
在本发明的一种具体实施方式中，数据接收模块103，用于利用监视器对对象存储器所属存储池中的磁盘类型进行统计；判断存储池中的磁盘类型是否全为固态硬盘；如果是，则在消息中添加高级存储池标志；如果否，则在消息中添加普通存储池标志；将添加了存储池标记的消息发送给对象存储设备。
在本发明的一种具体实施方式中，磁盘类型确定模块101，具体用于利用对象存储设备通过执行系统命令获取磁盘类型；其中，磁盘类型包括固态硬盘和机械硬盘。
实施例三：
相应于上面的方法实施例，本发明实施例还提供了一种数据恢复设备，下文描述的一种数据恢复设备与上文描述的一种数据恢复方法可相互对应参照。
参见图3所示，该数据恢复设备包括：
存储器D1，用于存储计算机程序；
处理器D2，用于执行计算机程序时实现上述方法实施例的数据恢复方法的步骤。
具体的，请参考图4，图4为本实施例提供的一种数据恢复设备的具体结构示意图，该数据恢复设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在数据恢复设备301上执行存储介质330中的一系列指令操作。
数据恢复设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。例如，Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等。
上文所描述的数据恢复方法中的步骤可以由数据恢复设备的结构实现。
实施例四：
相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种数据恢复方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的数据恢复方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
Claims (10)
1.一种数据恢复方法，其特征在于，包括：
对象存储设备获取挂载的磁盘类型；
将所述磁盘类型发送给存储集群的监视器；
接收所述监视器反馈的所述对称存储设备所属的存储池类型；
若所述存储池类型为高级存储池，则按照高速策略进行数据恢复；
若所述存储池类型为普通存储池，则按照低速策略进行数据恢复。
2.根据权利要求1所述的数据恢复方法，其特征在于，所述按照高速策略进行数据恢复，包括：
启动至少两个数据恢复线程，并结合高单位时间内数据恢复总数量和短数据恢复休眠时间，进行数据恢复。
3.根据权利要求2所述的数据恢复方法，其特征在于，所述进行数据恢复，包括：
所述数据恢复线程以PG为单位进行数据恢复，且各个所述数据恢复线程在同一时间处理不同PG。
4.根据权利要求2所述的数据恢复方法，其特征在于，所述按照低速策略进行数据恢复，包括：
启动一个所述数据恢复线程，并结合低单位时间内数据恢复总数量和长数据恢复休眠时间，进行数据恢复。
5.根据权利要求1所述的数据恢复方法，其特征在于，接收所述监视器反馈的所述对称存储设备所属的存储池类型，包括：
接收所述监视器反馈的消息，并从所述消息中获取存储池类型标识。
6.根据权利要求5所述的数据恢复方法，其特征在于，所述接收所述监视器反馈的消息，包括：
所述监视器对所述对象存储器所属存储池中的磁盘类型进行统计；
判断所述存储池中的磁盘类型是否全为固态硬盘；
如果是，则在所述消息中添加高级存储池标志；如果否，则在所述消息中添加普通存储池标志；
将添加了存储池标记的消息发送给所述对象存储设备。
7.根据权利要求1所述的数据恢复方法，其特征在于，所述对象存储设备获取挂载的磁盘类型，包括：
所述对象存储设备通过执行系统命令获取所述磁盘类型；其中，所述磁盘类型包括固态硬盘和机械硬盘。
8.一种数据恢复装置，其特征在于，包括：
磁盘类型确定模块，用于对象存储设备获取挂载的磁盘类型；
数据发送模块，用于将所述磁盘类型发送给存储集群的监视器；
数据接收模块，用于接收所述监视器反馈的所述对称存储设备所属的存储池类型；
高速恢复模块，用于若所述存储池类型为高级存储池，则按照高速策略进行数据恢复；
低速恢复模块，用于若所述存储池类型为普通存储池，则按照低速策略进行数据恢复。
9.一种数据恢复设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述数据恢复方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据恢复方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910942568.8A CN110764953A (zh) | 2019-09-30 | 2019-09-30 | 一种数据恢复方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910942568.8A CN110764953A (zh) | 2019-09-30 | 2019-09-30 | 一种数据恢复方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110764953A true CN110764953A (zh) | 2020-02-07 |
Family
ID=69330117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910942568.8A Withdrawn CN110764953A (zh) | 2019-09-30 | 2019-09-30 | 一种数据恢复方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110764953A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112148219A (zh) * | 2020-09-16 | 2020-12-29 | 北京优炫软件股份有限公司 | 一种ceph类型的分布式存储集群设计方法及装置 |
| CN112306750A (zh) * | 2020-10-29 | 2021-02-02 | 苏州浪潮智能科技有限公司 | 一种分布式文件系统控制数据恢复速度的方法及装置 |
| CN113821377A (zh) * | 2021-08-27 | 2021-12-21 | 济南浪潮数据技术有限公司 | 一种分布式存储集群的数据恢复方法、系统及存储介质 |
| CN117851132A (zh) * | 2024-03-07 | 2024-04-09 | 四川省华存智谷科技有限责任公司 | 一种分布式对象存储的数据恢复优化方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110185120A1 (en) * | 2010-01-25 | 2011-07-28 | Lsi Corporation | Method for placement of virtual volume hot-spots in storage pools using ongoing load measurements and ranking |
| CN102291450A (zh) * | 2011-08-08 | 2011-12-21 | 浪潮电子信息产业股份有限公司 | 一种集群存储系统内部的数据在线分级存储方法 |
| US8849764B1 (en) * | 2013-06-13 | 2014-09-30 | DataGravity, Inc. | System and method of data intelligent storage |
| CN104598495A (zh) * | 2013-10-31 | 2015-05-06 | 南京中兴新软件有限责任公司 | 基于分布式文件系统的分级存储方法及系统 |
| CN105549904A (zh) * | 2015-12-08 | 2016-05-04 | 华为技术有限公司 | 一种应用于存储系统中的数据迁移方法及存储设备 |
| CN107391317A (zh) * | 2017-09-14 | 2017-11-24 | 郑州云海信息技术有限公司 | 一种数据恢复的方法、装置、设备及计算机可读存储介质 |
| CN107402851A (zh) * | 2017-08-01 | 2017-11-28 | 郑州云海信息技术有限公司 | 一种数据恢复控制方法及装置 |
| CN108205424A (zh) * | 2017-12-29 | 2018-06-26 | 北京奇虎科技有限公司 | 基于磁盘的数据迁移方法、装置及电子设备 |
-
2019
- 2019-09-30 CN CN201910942568.8A patent/CN110764953A/zh not_active Withdrawn
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110185120A1 (en) * | 2010-01-25 | 2011-07-28 | Lsi Corporation | Method for placement of virtual volume hot-spots in storage pools using ongoing load measurements and ranking |
| CN102291450A (zh) * | 2011-08-08 | 2011-12-21 | 浪潮电子信息产业股份有限公司 | 一种集群存储系统内部的数据在线分级存储方法 |
| US8849764B1 (en) * | 2013-06-13 | 2014-09-30 | DataGravity, Inc. | System and method of data intelligent storage |
| CN104598495A (zh) * | 2013-10-31 | 2015-05-06 | 南京中兴新软件有限责任公司 | 基于分布式文件系统的分级存储方法及系统 |
| CN105549904A (zh) * | 2015-12-08 | 2016-05-04 | 华为技术有限公司 | 一种应用于存储系统中的数据迁移方法及存储设备 |
| CN107402851A (zh) * | 2017-08-01 | 2017-11-28 | 郑州云海信息技术有限公司 | 一种数据恢复控制方法及装置 |
| CN107391317A (zh) * | 2017-09-14 | 2017-11-24 | 郑州云海信息技术有限公司 | 一种数据恢复的方法、装置、设备及计算机可读存储介质 |
| CN108205424A (zh) * | 2017-12-29 | 2018-06-26 | 北京奇虎科技有限公司 | 基于磁盘的数据迁移方法、装置及电子设备 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112148219A (zh) * | 2020-09-16 | 2020-12-29 | 北京优炫软件股份有限公司 | 一种ceph类型的分布式存储集群设计方法及装置 |
| CN112306750A (zh) * | 2020-10-29 | 2021-02-02 | 苏州浪潮智能科技有限公司 | 一种分布式文件系统控制数据恢复速度的方法及装置 |
| CN112306750B (zh) * | 2020-10-29 | 2022-11-29 | 苏州浪潮智能科技有限公司 | 一种分布式文件系统控制数据恢复速度的方法及装置 |
| CN113821377A (zh) * | 2021-08-27 | 2021-12-21 | 济南浪潮数据技术有限公司 | 一种分布式存储集群的数据恢复方法、系统及存储介质 |
| CN113821377B (zh) * | 2021-08-27 | 2023-12-22 | 济南浪潮数据技术有限公司 | 一种分布式存储集群的数据恢复方法、系统及存储介质 |
| CN117851132A (zh) * | 2024-03-07 | 2024-04-09 | 四川省华存智谷科技有限责任公司 | 一种分布式对象存储的数据恢复优化方法 |
| CN117851132B (zh) * | 2024-03-07 | 2024-05-07 | 四川省华存智谷科技有限责任公司 | 一种分布式对象存储的数据恢复优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110764953A (zh) | 一种数据恢复方法、装置、设备及可读存储介质 | |
| US8103825B2 (en) | System and method for providing performance-enhanced rebuild of a solid-state drive (SSD) in a solid-state drive hard disk drive (SSD HDD) redundant array of inexpensive disks 1 (RAID 1) pair | |
| CN103218274B (zh) | 一种预防故障累加的方法和固态硬盘 | |
| US20140344620A1 (en) | Shutdown method, startup method, and communication terminal | |
| US20170212687A1 (en) | Demand-based provisioning of volatile memory for use as non-volatile memory | |
| CN108255630A (zh) | 一种降低固态硬盘异常掉电处理时间的方法 | |
| CN111708488B (zh) | 一种基于分布式内存盘的Ceph性能优化的方法和设备 | |
| US20180276092A1 (en) | Recovering using write data stored by a powerloss data protection technique | |
| CN108874312B (zh) | 数据存储方法以及存储设备 | |
| CN115167782B (zh) | 临时存储副本管理方法、系统、设备和存储介质 | |
| CN103984768A (zh) | 一种数据库集群管理数据的方法、节点及系统 | |
| CN112433881A (zh) | 一种分布式存储系统的数据恢复方法和装置 | |
| CN107402848A (zh) | 一种快照数据一致性的实现方法 | |
| CN108369488B (zh) | 使用易失性存储器作为非易失性存储器 | |
| US20130103910A1 (en) | Cache management for increasing performance of high-availability multi-core systems | |
| US20210318739A1 (en) | Systems and methods for managing reduced power failure energy requirements on a solid state drive | |
| CN111880636B (zh) | 一种存储阵列的断电保护方法及相关装置 | |
| CN112395050B (zh) | 一种虚拟机备份方法、装置、电子设备及可读存储介质 | |
| CN103297264A (zh) | 一种云平台故障恢复方法和系统 | |
| CN116954523A (zh) | 一种存储系统、数据存储方法、数据读取方法和存储介质 | |
| US10769017B2 (en) | Adaptive multi-level checkpointing | |
| CN115827322A (zh) | 一种云存储数据全量灾备方法及系统 | |
| CN111837107A (zh) | 从易失性到非易失性存储器的备份操作 | |
| CN115657952A (zh) | 一种根据慢请求调整数据重构的速度的方法、装置及介质 | |
| CN115599607A (zh) | 一种raid阵列的数据恢复方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200207 |
|
| WW01 | Invention patent application withdrawn after publication |