CN107391317B - 一种数据恢复的方法、装置、设备及计算机可读存储介质 - Google Patents
一种数据恢复的方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN107391317B CN107391317B CN201710828667.4A CN201710828667A CN107391317B CN 107391317 B CN107391317 B CN 107391317B CN 201710828667 A CN201710828667 A CN 201710828667A CN 107391317 B CN107391317 B CN 107391317B
- Authority
- CN
- China
- Prior art keywords
- recovery
- parameter
- data
- state
- data recovery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 297
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000004048 modification Effects 0.000 claims abstract description 19
- 238000012986 modification Methods 0.000 claims abstract description 19
- 230000004044 response Effects 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000003247 decreasing effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Stored Programmes (AREA)
Abstract
本申请公开了一种数据恢复的方法，包括：接收到数据恢复指令；读取默认优先级场景，获取第一恢复参数；获取设备的状态，并根据该状态对该第一恢复参数进行对应修改操作得到最终恢复参数；确定最终恢复参数对应的恢复速度，并按照该恢复速度执行数据恢复指令；其中，该状态包括繁忙状态或空闲状态或工作状态。该方法通过根据设备的状态动态的调整第一恢复参数，并根据该参数确定数据恢复的速度，从而达到在用户业务不繁忙情况下，加快数据恢复的速度，在业务繁忙情况下，减缓数据恢复速度，不影响用户业务读写。本申请同时还提供了一种数据恢复的装置、设备及计算机可读存储介质，具有上述有益效果。
Description
技术领域
本申请涉及计算机集群技术领域，特别涉及一种数据恢复的方法、装置、设备及计算机可读存储介质。
背景技术
随着互联网业务量的增加、访问量和数据流量的快速增长，存储系统各个核心部分的处理强度也相对增大，使系统工作负载增大。
现有技术中在集群中出现磁盘故障和节点故障时，为了避免数据丢失，要尽快完成数据恢复和均衡，需要保证数据恢复在短时间能够完成，但是数据恢复对性能影响很大，会导致业务访问异常，影响用户业务读写。
因此，如何根据实际情况自动调节数据恢复的速度是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种数据恢复的方法、装置、设备及计算机可读存储介质，该方法能够根据实际情况自动调节数据恢复的速度。
为解决上述技术问题，本申请提供一种数据恢复的方法，该方法包括：
接收到数据恢复指令；
读取默认优先级场景，获取第一恢复参数；
获取设备的状态，并根据所述状态对所述第一恢复参数进行对应修改操作得到最终恢复参数；其中，所述状态包括繁忙状态或空闲状态或工作状态；
确定所述最终恢复参数对应的恢复速度，并按照所述恢复速度执行所述数据恢复指令。
可选的，根据所述状态对所述第一恢复参数进行对应修改操作得到最终恢复参数，包括：
当所述设备处于所述繁忙状态时，将所述第一恢复参数增加第一预设值得到最终恢复参数；
当所述设备处于所述空闲状态时，将所述第一恢复参数减少第二预设值得到最终恢复参数；
当所述设备处于所述工作状态时，将所述第一恢复参数作为最终恢复参数。
可选的，所述读取默认优先级场景，获取第一恢复参数，包括：
若是，则将所述默认优先级场景变更为所述变更指令对应的优先级场景，并读取所述变更指令对应的优先级场景，获取第一恢复参数；
若否，则读取所述默认优先级场景，获取第一恢复参数。
可选的，按照所述恢复速度执行所述数据恢复指令，包括：
分析所述数据恢复指令得到数据需求；
将包含所述数据需求的信息发送至从OSD，以便所述从OSD返回所述数据需求对应的数据；
根据所述数据需求对应的数据按照所述恢复速度完成数据恢复。
可选的，当接收到数据推送指令时，还包括：
发送所述数据推送指令对应的数据至所述从OSD，以便所述从OSD根据所述数据推送指令对应的数据完成数据恢复。
可选的，当从所述默认优先级场景中获取到第二参数时，还包括：
判断数据恢复队列是否为空；
若否，则遍历所述数据恢复队列中的PG，当所述PG处于恢复数据状态时，获取从OSD的响应时间；
判断所述响应时间是否大于第一阈值；
若所述响应时间大于所述第一阈值，则将所述第二参数减少第三预设值得到操作参数；
若所述响应时间不大于所述第一阈值，则判断所述时间是否大于第二阈值；
若所述响应时间大于所述第二阈值，则将所述第二参数作为操作参数；
若所述响应时间不大于所述第二阈值，则将所述第二恢复参数增加第四预设值得到操作参数；
根据所述操作参数确定所述数据恢复队列中的PG可以启动的恢复操作的最大数。
本申请还提供一种数据恢复的装置，该装置包括：
接收单元，用于接收到数据恢复指令；
获取单元，用于读取默认优先级场景，获取第一恢复参数；
修改单元，用于获取设备的状态，并根据所述状态对所述第一恢复参数进行对应修改操作得到最终恢复参数；其中，所述状态包括繁忙状态或空闲状态或工作状态；
确定执行单元，用于确定所述最终恢复参数对应的恢复速度，并按照所述恢复速度执行所述数据恢复指令。
可选的，所述修改单元包括：
繁忙子单元，用于当所述设备处于所述繁忙状态时，将所述第一恢复参数增加第一预设值得到最终恢复参数；
空闲子单元，用于当所述设备处于所述空闲状态时，将所述第一恢复参数减少第二预设值得到最终恢复参数；
工作子单元，用于当所述设备处于所述工作状态时，将所述第一恢复参数作为最终恢复参数。
本申请还提供一种数据恢复的设备，该设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述任一项所述数据恢复的方法的步骤。
本申请还提供一种数据恢复的计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述数据恢复的方法的步骤。
本申请所提供的一种数据恢复的方法，通过接收到数据恢复指令后，先读取默认优先级场景，获取第一恢复参数，再获取设备的状态，并根据该状态对该第一恢复参数进行对应修改操作得到最终恢复参数，最后确定最终恢复参数对应的恢复速度，并按照该恢复速度执行数据恢复指令，其中，该状态包括繁忙状态或空闲状态或工作状态。本申请所提供的技术方案，通过根据设备的状态动态的调整第一恢复参数，并根据该参数确定数据恢复的速度，从而达到在用户业务不繁忙情况下，加快数据恢复的速度，在业务繁忙情况下，减缓数据恢复速度，不影响用户业务读写。本申请同时还提供了一种数据恢复的装置、设备及计算机可读存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种数据恢复的方法的流程图；
图2为本申请实施例所提供的另一种数据恢复的方法的流程图；
图3为本申请实施例提供的一种从OSD处理主OSD数据需求信息的流程图；
图4为本申请实施例提供的一种延时处理的流程图；
图5为本申请实施例提供的一种从OSD处理主OSD发送的数据推送指令对应的数据的流程图；
图6为本申请实施例所提供的再一种数据恢复的方法的流程图；
图7为本申请实施例所提供的一种数据恢复的装置的结构图；
图8为本申请实施例所提供的另一种数据恢复的装置的结构图；
图9为本申请实施例所提供的一种数据恢复设备的结构示意图。
具体实施方式
本申请的核心是提供一种数据恢复的方法、装置、设备及计算机可读存储介质，该方法能够根据实际情况自动调节数据恢复的速度。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种数据恢复的方法的流程图。
其具体包括如下步骤：
S101：接收到数据恢复指令；
这里提到的数据恢复指令可以为当存储设备检查到错误时发送的数据恢复指令，也可以为接收到的用户输入的数据恢复指令。
S102：读取默认优先级场景，获取第一恢复参数；
当对象存储设备(Object-based Storage Device，OSD)接收到数据恢复指令时，读取默认优先级场景，并从该优先级场景中获取到第一恢复参数；
可选的，该默认优先级场景可以为用户预先设置的；
可选的，还可以判断是否接收到变更优先级场景的变更指令；
若是，则将该默认优先级场景变更为该变更指令对应的优先级场景，并从该变更指令对应的优先级场景中获取第一恢复参数；
若否，则读取所述默认优先级场景，获取第一恢复参数；
这里提到的变更优先级的变更指令可以为用户根据自身需求输入的变更指令，例如，当用户正在工作时，可以将当前优先级场景变更为优先级较低的优先级场景；当用户忙完工作后，可以将当前优先级场景变更为优先级较高的优先级场景；也可以由存储设备根据整个存储系统的总体状态来选择适合的优先级场景，并不对该变更指令的来源做具体限定，只需要能够达到根据该变更指令变更优先级场景即可，实际情况中可以根据存储系统中应用程序的设置和生产运营厂家的选择来具体制定；
可选的，本申请实施例针对用户希望的恢复优先级，通过设定四组数据恢复的优先级参数osd_max_backfills，osd_recovery_max_active，osd_recovery_max_single_start，osd_recovery_op_priority，提供了如下四种优先级恢复场景：
以上仅为本申请实施例提供的四种优选的优先级场景，本申请对优先级场景的设定以及其参数具体值并不做限定；
可选的，这里提到的第一恢复参数可以对应为osd_max_backfills和osd_recovery_max_active，其中，参数osd_max_backfills为一个OSD最大允许的backfill数，参数osd_recovery_max_active为同一时间内活跃的恢复请求数，OSD可以根据这两个参数确定数据恢复的速度。
S103：获取设备的状态，并根据该状态对该第一恢复参数进行对应修改操作得到最终恢复参数；
设备的状态可以包括繁忙状态或空闲状态或工作状态；
这里提到的获取设备的状态，可以是根据获取到的设备的CPU利用率、内存使用情况以及磁盘读写时延来确定设备的状态；
可选的，可以在该设备中设置一个定时器，定时获取OSD所在设备的CPU和磁盘使用情况，保存在统计数据中，当需要获取设备状态的时候，读取OSD节点中统计数据信息，然后根据该统计数据信息确定设备的状态，这种情况下获取设备的统计信息不占用数据恢复时处理时间；
可选的，为实现该定时统计方案，本申请实施例还提供了如下参数选择：
其中，Await为每一个IO请求的处理的平均时间(单位是微秒毫秒)，这里可以理解为IO的响应时间，一般地系统IO响应时间应该低于5ms，如果大于10ms就比较大了；
％util为在统计时间内所有处理IO时间，除以总共统计时间，例如，如果统计间隔1秒，该设备有0.8秒在处理IO，而0.2秒闲置，那么该设备的％util＝0.8/1＝80％，所以该参数暗示了设备的繁忙程度；
可选的，还可根据上述参数确定设备的工作状态，以及处于该状态下的一种优选的参数调整的方式(参数范围与调整方式需要审核是否合适)：
可选的，当获取到设备的状态后，可以根据该设备的状态对第一恢复参数做如上表所述的对应操作，从而得到最终恢复参数；当然，该定时统计方案仅为本申请实施例所提供的一种优选的实施方式，本申请对此并不做具体限定。
S104：确定该最终恢复参数对应的恢复速度，并按照该恢复速度执行数据恢复指令。
当确定了最终恢复参数后，确定该最终恢复参数对应的恢复速度，并按照该恢复速度执行数据恢复指令；
可选的，这里提到的确定该最终恢复参数对应的恢复速度可以如步骤S102所述，在此不再赘述。
基于上述技术方案，本申请实施例提供的数据恢复的方法，通过根据设备的状态动态的调整第一恢复参数，并根据该参数确定数据恢复的速度，从而达到在用户业务不繁忙情况下，加快数据恢复的速度，在业务繁忙情况下，减缓数据恢复速度，不影响用户业务读写。
本申请还提供了另一种数据恢复的方法，该方法根据设备的状态对第一恢复参数进行对应的修改操作，进而得到最终恢复参数；
该修改操作的表现形式有多种，如将第一恢复参数增加或减少预设值得到最终恢复参数；也可以将第一恢复参数按照预设比例增加或减少，本申请对最终恢复参数的具体计算方式不作限定，只要能够达到得到的繁忙状态下的最终恢复参数大于第一恢复参数、得到的空闲状态下的最终恢复参数小于第一恢复参数的目的即可。
下面结合图2，以将第一恢复参数增加或减少预设值得到最终恢复参数的方式为例进行说明，请参考图2，图2为本申请实施例所提供的另一种数据恢复的方法的流程图。
其具体包括如下步骤：
S201：获取设备的状态；
S202：当设备处于繁忙状态时，将第一恢复参数增加第一预设值得到最终恢复参数；
可选的，这里提到的第一预设值可以为用户设置的值，也可以为存储设备分析过往参数设定得到的最适合的值。
S203：当设备处于空闲状态时，将第一恢复参数减少第二预设值得到最终恢复参数；
同样的，只要能够达到得到的空闲状态下的最终恢复参数小于第一恢复参数的目的即可，对最终恢复参数的具体计算方式不作限定。
S204：当设备处于工作状态时，将第一恢复参数作为最终恢复参数；
S205：根据最终恢复参数确定恢复速度；
S206：分析数据恢复指令得到数据需求；
当接收到数据恢复指令时，说明主OSD中的数据出现了错误或者缺失，需要分析接收到的数据恢复指令，得到数据需求。
S207：将包含数据需求的信息发送至从OSD，以便从OSD返回数据需求对应的数据；
主OSD将包含数据需求的信息发送至从OSD，以便从OSD返回数据需求对应的数据至该主OSD；
可选的，如图3所示为本申请实施例提供的一种从OSD处理主OSD数据需求信息的流程图，当从OSD接收到主OSD发送的包含数据需求的信息时，还可先获取从OSD的所在设备的CPU和磁盘情况，判断该设备是否处于繁忙状态，如果处于繁忙状态则进入延时处理流程，如果未处于繁忙状态则过去该数据需求对应的数据至主OSD；
可选的，如图4所示，本申请实施例还提供了一种延时处理的流程图，在接收到主OSD发送的包含数据需求的信息后将该信息存入WorkQueue，每次释放特定的消息个数给OSD::enqueue_op处理；判读先前的消息是否处理完毕，如果没有处理完毕则将消息添加回WorkQueue，否则释放下一组消息给OSD::enqueue_op处理，直到消息处理完毕；其中，所述WorkQueue为处理队列；
可选的，可以调用原有的handle_push函数处理队列信息。
S208：根据数据需求对应的数据按照对应的恢复速度完成数据恢复。
当接收到从OSD发送的数据需求对应的数据时，根据该数据按照对应的恢复速度完成数据恢复；
需要说明的是，上述步骤S206至S207与步骤S201至S205之间并没有必然的顺序联系，步骤S206至S207也可以排在步骤S201至S205之前，本申请对步骤S206至S207与步骤S201至S205之间的顺序并不做具体限定；
可选的，当主OSD接收到数据推送指令时，还可以发送该数据推送指令对应的数据至从OSD，以便该从OSD根据数据推送指令对应的数据完成数据恢复；
可选的，如图5所示为本申请实施例提供的一种从OSD处理主OSD发送的数据推送指令对应的数据的流程图，从OSD接收到主OSD发送的数据推送指令对应的数据时，可先获取从OSD的所在设备的CPU和磁盘情况，判断该设备是否处于繁忙状态，若处于繁忙状态则进入延时处理流程，若未处于繁忙状态则调用handle_push函数进行数据恢复。
本申请还提供了再一种数据恢复的方法，该方法在根据优先级场景获取到第二参数的情况下，根据从OSD的状态对第二参数进行对应的修改操作，进而得到操作参数，并根据该操作参数确定数据恢复队列中的PG可以启动的恢复操作的最大数；其中，第二参数可以为上述优先级场景中的参数osd_recovery_max_single_start；
该修改操作的表现形式与上述实施例所述相同，这里不再赘述。
下面结合图6，以将第二参数增加或减少预设值得到操作参数的方式为例进行说明，请参考图6，图6为本申请实施例所提供的再一种数据恢复的方法的流程图。
其具体包括如下步骤：
S301：判断数据恢复队列是否为空；
若不为空，则进入步骤S302；
这里提到的数据队列如果为空，则说明没有数据在恢复，不调整单个PG的数据恢复参数；
可选的，可以通过启动定时器来查看recovery_wq是否为空；其中，所述recovery_wq为数据恢复队列。
S302：遍历数据恢复队列中的PG，当PG处于恢复数据状态时，获取从OSD的响应时间；
S303：判断该响应时间是否大于第一阈值；
若否，则进入步骤S304，若是，则进入步骤S307；
当该响应时间大于第一阈值时，说明从OSD响应时间较长，也就说明了该从OSD处于繁忙状态；
可选的，这里提到的第一阈值可以为主OSD从当前的优先级场景中获取到的从OSD响应时间的阈值。
S304：判断该响应时间是否大于第二阈值；
若是，则进入步骤S305；若否，则进入步骤S306；
当该响应时间不大于第一阈值时，说明从OSD没有处于繁忙状态，这时通过判断该响应时间是否大于第二阈值来确定该从OSD处于工作状态还是空闲状态：
若大于，则说明从OSD处于工作状态，若不大于，则说明从OSD处于空闲状态。
S305：将第二参数作为操作参数；
当从OSD处于工作状态时，不改变该参数值。
S306：将第二恢复参数增加第四预设值得到操作参数；
当从OSD处于空闲状态时，增加该参数值。
S307：将第二参数减少第三预设值得到操作参数；
当从OSD处于繁忙状态时，减小该参数值。
S308：根据操作参数确定数据恢复队列中的PG可以启动的恢复操作的最大数。
基于上述技术方案，本申请实施例所提供的再一种数据恢复的方法，能够根据从OSD的状态对第二参数进行对应的修改操作，进而得到操作参数，并根据该操作参数确定数据恢复队列中的PG可以启动的恢复操作的最大数，从而达到了控制数据恢复速度的目的。
请参考图7，图7为本申请实施例所提供的一种数据恢复的装置的结构图。
该装置可以包括：
接收单元100，用于接收到数据恢复指令；
获取单元200，用于读取默认优先级场景，获取第一恢复参数；
修改单元300，用于获取设备的状态，并根据该状态对第一恢复参数进行对应修改操作得到最终恢复参数；其中，该状态包括繁忙状态或空闲状态或工作状态；
确定执行单元400，用于确定该最终恢复参数对应的恢复速度，并按照该恢复速度执行数据恢复指令。
请参考图8，图8为本申请实施例所提供的另一种数据恢复的装置的结构图。
该修改单元可以包括：
繁忙子单元，用于当该设备处于繁忙状态时，将该第一恢复参数增加第一预设值得到最终恢复参数；
空闲子单元，用于当该设备处于空闲状态时，将该第一恢复参数减少第二预设值得到最终恢复参数；
工作子单元，用于当该设备处于工作状态时，将该第一恢复参数作为最终恢复参数；
该获取单元可以包括：
读取子单元，用于读取默认优先级场景；
判断子单元，用于判断是否接收到变更优先级场景的变更指令；
获取子单元，用于当接收到变更优先级场景的变更指令时，将该默认优先级场景变更为该变更指令对应的优先级场景，并从该变更指令对应的优先级场景中获取第一恢复参数；当未接收到变更优先级场景的变更指令时，从该默认优先级场景中获取第一恢复参数。
该确定执行单元可以包括：
分析子单元，用于分析数据恢复指令得到数据需求；
发送子单元，用于将包含该数据需求的信息发送至从OSD，以便该从OSD返回该数据需求对应的数据；
数据恢复子单元，用于根据该数据需求对应的数据按照恢复速度完成数据恢复。
该装置还可以包括：
发送单元，用于当接收到数据推送指令时，发送该数据推送指令对应的数据至从OSD，以便该从OSD根据数据推送指令对应的数据完成数据恢复。
第一判断单元，用于当从默认优先级场景中获取到第二参数时，判断数据恢复队列是否为空；
遍历获取单元，用于当该数据恢复队列不为空时，遍历数据恢复队列中的PG，当PG处于恢复数据状态时，获取从OSD的响应时间；
第二判断单元，用于判断该响应时间是否大于第一阈值；
第三判断单元，用于当该响应时间不大于第一阈值时，判断该响应时间是否大于第二阈值；
操作参数计算单元，用于当该响应时间大于第一阈值时，将第二参数减少第三预设值得到操作参数；当该响应时间大于第二阈值时，将第二参数作为操作参数；当该响应时间不大于第二阈值时，将第二恢复参数增加第四预设值得到操作参数；
确定恢复单元，用于根据该操作参数确定数据恢复队列中的PG可以启动的恢复操作的最大数。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
请参考图9，本发明实施例提供的一种数据恢复设备的结构示意图，该设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessingunits，CPU)522(例如，一个或一个以上处理器)和存储器532，一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对计算设备中的一系列指令操作。更进一步地，中央处理器522可以设置为与存储介质530通信，在设备500上执行存储介质530中的一系列指令操作。
设备500还可以包括一个或一个以上电源526，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口558，和/或，一个或一个以上操作系统541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述图1至图3所描述的数据恢复的方法中的步骤由数据恢复设备基于该图9所示的结构实现。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用设备，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本申请所提供的一种数据恢复的方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (8)
1.一种数据恢复的方法，其特征在于，包括：
接收到数据恢复指令；
读取默认优先级场景，获取第一恢复参数和第二恢复参数；
获取设备的状态，并根据所述状态对所述第一恢复参数和所述第二恢复参数进行对应修改操作得到最终恢复参数；其中，所述状态包括繁忙状态或空闲状态或工作状态；
其中，所述修改操作包括：当从所述默认优先级场景中获取到第二恢复参数时，判断数据恢复队列是否为空；
若否，则遍历所述数据恢复队列中的PG，当所述PG处于恢复数据状态时，获取从OSD的响应时间；
判断所述响应时间是否大于第一阈值；
若所述响应时间大于所述第一阈值，则将所述第二恢复参数减少第三预设值得到操作参数；
若所述响应时间不大于所述第一阈值，则判断所述响应时间是否大于第二阈值；
若所述响应时间大于所述第二阈值，则将所述第二恢复参数作为操作参数；
若所述响应时间不大于所述第二阈值，则将所述第二恢复参数增加第四预设值得到操作参数；
根据所述操作参数确定所述数据恢复队列中的PG可以启动的恢复操作的最大数；
确定所述最终恢复参数对应的恢复速度，并按照所述恢复速度执行所述数据恢复指令；
其中，按照所述恢复速度执行所述数据恢复指令，包括：
分析所述数据恢复指令得到数据需求；
将包含所述数据需求的信息发送至从OSD，以便所述从OSD返回所述数据需求对应的数据；
根据所述数据需求对应的数据按照所述恢复速度完成数据恢复。
2.根据权利要求1所述的方法，其特征在于，根据所述状态对所述第一恢复参数进行对应修改操作得到最终恢复参数，包括：
当所述设备处于所述繁忙状态时，将所述第一恢复参数减少第一预设值得到最终恢复参数；
当所述设备处于所述空闲状态时，将所述第一恢复参数增加第二预设值得到最终恢复参数；
当所述设备处于所述工作状态时，将所述第一恢复参数作为最终恢复参数。
3.根据权利要求1所述的方法，其特征在于，所述读取默认优先级场景，获取第一恢复参数，包括：
判断是否接收到变更优先级场景的变更指令；
若是，则将所述默认优先级场景变更为所述变更指令对应的优先级场景，并读取所述变更指令对应的优先级场景，获取第一恢复参数；
若否，则读取所述默认优先级场景，获取第一恢复参数。
4.根据权利要求1-3任意一项所述的方法，其特征在于，当接收到数据推送指令时，还包括：
发送所述数据推送指令对应的数据至所述从OSD，以便所述从OSD根据所述数据推送指令对应的数据完成数据恢复。
5.一种数据恢复的装置，其特征在于，包括：
接收单元，用于接收到数据恢复指令；
获取单元，用于读取默认优先级场景，获取第一恢复参数和第二恢复参数；
修改单元，用于获取设备的状态，并根据所述状态对所述第一恢复参数和所述第二恢复参数进行对应修改操作得到最终恢复参数；其中，所述状态包括繁忙状态或空闲状态或工作状态；
其中，第一判断单元，用于当从所述默认优先级场景中获取到第二恢复参数时，判断数据恢复队列是否为空；
遍历获取单元，用于当所述数据恢复队列不为空时，遍历所述数据恢复队列中的PG，当所述PG处于恢复数据状态时，获取从OSD的响应时间；
第二判断单元，用于判断所述响应时间是否大于第一阈值；
第三判断单元，用于若所述响应时间大于所述第一阈值，则将所述第二恢复参数减少第三预设值得到操作参数；
第三判断单元，用于若所述响应时间不大于所述第一阈值，则判断所述响应时间是否大于第二阈值；
操作参数计算单元，用于若所述响应时间大于所述第二阈值，则将所述第二恢复参数作为操作参数；若所述响应时间不大于所述第二阈值，则将所述第二恢复参数增加第四预设值得到操作参数；
确定恢复单元，用于根据所述操作参数确定所述数据恢复队列中的PG可以启动的恢复操作的最大数；
确定执行单元，用于确定所述最终恢复参数对应的恢复速度，并按照所述恢复速度执行所述数据恢复指令；
其中，所述确定执行单元包括：
分析子单元，用于分析所述数据恢复指令得到数据需求；
发送子单元，用于将包含所述数据需求的信息发送至从OSD，以便所述从OSD返回所述数据需求对应的数据；
数据恢复子单元，用于根据所述数据需求对应的数据按照所述恢复速度完成数据恢复。
6.根据权利要求5所述的装置，其特征在于，所述修改单元包括：
繁忙子单元，用于当所述设备处于所述繁忙状态时，将所述第一恢复参数减少第一预设值得到最终恢复参数；
空闲子单元，用于当所述设备处于所述空闲状态时，将所述第一恢复参数增加第二预设值得到最终恢复参数；
工作子单元，用于当所述设备处于所述工作状态时，将所述第一恢复参数作为最终恢复参数。
7.一种数据恢复的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述数据恢复的方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述数据恢复的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710828667.4A CN107391317B (zh) | 2017-09-14 | 2017-09-14 | 一种数据恢复的方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710828667.4A CN107391317B (zh) | 2017-09-14 | 2017-09-14 | 一种数据恢复的方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107391317A CN107391317A (zh) | 2017-11-24 |
| CN107391317B true CN107391317B (zh) | 2021-03-19 |
Family
ID=60351793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710828667.4A Active CN107391317B (zh) | 2017-09-14 | 2017-09-14 | 一种数据恢复的方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107391317B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108958975B (zh) * | 2018-06-29 | 2021-11-09 | 郑州云海信息技术有限公司 | 一种控制数据恢复速度的方法、装置及设备 |
| CN112424742B (zh) * | 2018-07-13 | 2022-06-14 | 华为技术有限公司 | 一种ssd数据读取方法和装置 |
| CN109117306A (zh) * | 2018-07-24 | 2019-01-01 | 广东浪潮大数据研究有限公司 | 一种基于对象读写时延调整数据恢复速度的方法及装置 |
| CN109144782B (zh) * | 2018-08-22 | 2021-08-10 | 郑州云海信息技术有限公司 | 一种数据恢复方法及装置 |
| CN109144787A (zh) * | 2018-09-03 | 2019-01-04 | 郑州云海信息技术有限公司 | 一种数据恢复方法、装置、设备及可读存储介质 |
| CN109284220B (zh) * | 2018-10-12 | 2022-06-21 | 深信服科技股份有限公司 | 集群故障恢复时长估算方法、装置、设备及存储介质 |
| CN109213637B (zh) * | 2018-11-09 | 2022-03-04 | 浪潮电子信息产业股份有限公司 | 分布式文件系统集群节点的数据恢复方法、装置及介质 |
| CN111381941A (zh) * | 2018-12-27 | 2020-07-07 | 北京忆恒创源科技有限公司 | 并发任务处理系统中提供QoS的方法与装置 |
| CN110673977B (zh) * | 2019-09-27 | 2022-06-07 | 浪潮电子信息产业股份有限公司 | 一种数据恢复的优化方法、装置、设备及介质 |
| CN110764953A (zh) * | 2019-09-30 | 2020-02-07 | 浪潮电子信息产业股份有限公司 | 一种数据恢复方法、装置、设备及可读存储介质 |
| CN110795284B (zh) * | 2019-10-25 | 2022-03-22 | 浪潮电子信息产业股份有限公司 | 一种数据恢复方法、装置、设备及可读存储介质 |
| CN111400241B (zh) * | 2019-11-14 | 2024-04-05 | 杭州海康威视系统技术有限公司 | 数据重构方法和装置 |
| CN110941513B (zh) * | 2019-11-22 | 2022-03-22 | 浪潮电子信息产业股份有限公司 | 一种数据重构方法及相关装置 |
| CN113162781B (zh) * | 2020-01-22 | 2023-02-28 | 浙江宇视科技有限公司 | 业务恢复方法、装置、系统及存储介质 |
| CN113254256B (zh) * | 2020-02-10 | 2023-08-22 | 华为技术有限公司 | 数据重构方法、存储设备及存储介质 |
| CN113535477B (zh) * | 2021-07-15 | 2023-03-21 | 上海上讯信息技术股份有限公司 | 一种用于数据容灾恢复的方法与设备 |
| CN113806142B (zh) * | 2021-08-30 | 2023-12-22 | 济南浪潮数据技术有限公司 | 一种数据恢复方法、装置及相关设备 |
| CN114564303B (zh) * | 2022-01-29 | 2024-06-07 | 苏州浪潮智能科技有限公司 | 一种自适应重构速度控制的方法、系统、设备和存储介质 |
| CN114281604B (zh) * | 2022-03-02 | 2022-07-29 | 北京金山云网络技术有限公司 | 数据恢复方法、装置、电子设备及存储介质 |
| CN115150415B (zh) * | 2022-06-30 | 2024-04-19 | 联想(北京)有限公司 | 一种控制方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289396A (zh) * | 2011-09-01 | 2011-12-21 | 宇龙计算机通信科技(深圳)有限公司 | 终端和备份与恢复方法 |
| CN106294008A (zh) * | 2016-08-05 | 2017-01-04 | 浙江宇视科技有限公司 | 一种数据恢复方法和装置 |
| CN106951559A (zh) * | 2017-03-31 | 2017-07-14 | 联想(北京)有限公司 | 分布式文件系统中数据恢复方法及电子设备 |
| CN107026708A (zh) * | 2016-02-02 | 2017-08-08 | 星辰天合（北京）数据科技有限公司 | 数据处理的方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5297479B2 (ja) * | 2011-02-14 | 2013-09-25 | エヌイーシーコンピュータテクノ株式会社 | ミラーリング復旧装置、および、ミラーリング復旧方法 |
| US10540238B2 (en) * | 2016-01-29 | 2020-01-21 | Veritas Technologies Llc | Adjusting replication operations in a distributed environment |
-
2017
- 2017-09-14 CN CN201710828667.4A patent/CN107391317B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289396A (zh) * | 2011-09-01 | 2011-12-21 | 宇龙计算机通信科技(深圳)有限公司 | 终端和备份与恢复方法 |
| CN107026708A (zh) * | 2016-02-02 | 2017-08-08 | 星辰天合（北京）数据科技有限公司 | 数据处理的方法和装置 |
| CN106294008A (zh) * | 2016-08-05 | 2017-01-04 | 浙江宇视科技有限公司 | 一种数据恢复方法和装置 |
| CN106951559A (zh) * | 2017-03-31 | 2017-07-14 | 联想(北京)有限公司 | 分布式文件系统中数据恢复方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107391317A (zh) | 2017-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107391317B (zh) | 一种数据恢复的方法、装置、设备及计算机可读存储介质 | |
| US20150295970A1 (en) | Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system | |
| US11537304B2 (en) | Data verification method and apparatus, and storage medium | |
| US10897428B2 (en) | Method, server system and computer program product for managing resources | |
| CN105915583B (zh) | 一种启动服务集群的方法及服务集群 | |
| CN107832143B (zh) | 一种物理机资源的处理方法和装置 | |
| US12001289B2 (en) | Data recovery method, apparatus and device, and readable storage medium | |
| US10614542B2 (en) | High granularity level GPU resource allocation method and system | |
| CN112256383B (zh) | 虚拟机的cpu核心数的调整方法、装置、设备及介质 | |
| CN109729113B (zh) | 管理专用处理资源的方法、服务器系统和计算机程序产品 | |
| CN113660173A (zh) | 一种流量控制方法、装置、计算机设备及存储介质 | |
| CN112650541B (zh) | 一种应用程序启动加速方法、系统、设备及存储介质 | |
| CN110674064B (zh) | 一种数据传输方法、装置、设备及计算机可读存储介质 | |
| US9135064B2 (en) | Fine grained adaptive throttling of background processes | |
| US20130238871A1 (en) | Data processing method and apparatus, pci-e bus system, and server | |
| CN114265648B (zh) | 编码调度方法、服务器及客户端和获取远程桌面的系统 | |
| CN111858099B (zh) | 消息订阅方法及装置 | |
| CN111314249B (zh) | 一种5g数据转发平面的避免数据包丢失的方法和服务器 | |
| JP7214287B1 (ja) | リソース割り当ての決定方法、装置、計算装置及びコンピュータプログラム | |
| CN111338803A (zh) | 一种线程处理方法和装置 | |
| CN113032098B (zh) | 一种虚拟机调度方法、装置、设备及可读存储介质 | |
| CN113079152B (zh) | 一种数据传输方法、装置及介质 | |
| CN112291326B (zh) | 负载均衡方法、负载均衡装置、存储介质与电子设备 | |
| CN115344350A (zh) | 云服务系统的节点设备及资源处理方法 | |
| CN114385351A (zh) | 云管理平台负载均衡性能优化方法、装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210219 Address after: Building 9, No.1, guanpu Road, Guoxiang street, Wuzhong Economic Development Zone, Wuzhong District, Suzhou City, Jiangsu Province Applicant after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: Room 1601, floor 16, 278 Xinyi Road, Zhengdong New District, Zhengzhou City, Henan Province Applicant before: ZHENGZHOU YUNHAI INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |