CN108733512A - 基于分布式系统的数据恢复方法及系统 - Google Patents

基于分布式系统的数据恢复方法及系统 Download PDF

Info

Publication number
CN108733512A
CN108733512A CN201810382149.9A CN201810382149A CN108733512A CN 108733512 A CN108733512 A CN 108733512A CN 201810382149 A CN201810382149 A CN 201810382149A CN 108733512 A CN108733512 A CN 108733512A
Authority
CN
China
Prior art keywords
node
priority
distributed system
storehouse
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810382149.9A
Other languages
English (en)
Inventor
张得佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou Polytechnic
Original Assignee
Wenzhou Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou Polytechnic filed Critical Wenzhou Polytechnic
Priority to CN201810382149.9A priority Critical patent/CN108733512A/zh
Publication of CN108733512A publication Critical patent/CN108733512A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems

Abstract

本发明公开了基于分布式系统的数据恢复方法及系统。涉及分布式系统的数据恢复技术领域。包括计算当前节点热活动间隔时间T；计算当前节点在分布式系统中存储冗余度P；判断当前节点是否为失效节点，若是，删除当前节点；若否，根据优先级堆栈算法将节点入栈；将堆栈中节点对应数据依次恢复。本发明通过节点热活动间隔时间T以及存储冗余度P计算节点恢复的优先级，简化了分布式系统中各节点的数据有效备份与恢复，减少了备份空间的占用，提高了备份效率。

Description

基于分布式系统的数据恢复方法及系统
技术领域
本发明属于分布式系统的数据恢复技术领域，特别是涉及基于分布式系统的数据恢复方法及系统。
背景技术
分布式系统中节点内的数据备份与恢复对于分布式系统的管理以及出现故障后的修复及其重要。由于分布式系统常用于处理相类似的事务或进程，因此在分布式节点中存在数据的大量冗余，在数据备份与恢复的过程中如果不考虑数据的冗余从而大量备份及恢复，会导致浪费存储空间以及降低恢复效率，给分布式系统的实时性运行带来了较大的影响，降低了实时性。同时在分布式节点中存在死节点，该类节点数据长时间没有更新，属于无效数据，如果在数据备份与恢复的过程中也参与数据的恢复，会导致数据恢复的效率降低。
本发明致力于研发一种基于分布式系统的数据恢复方法及系统，用于解决分布式系统中多节点分布式系统数据恢复效率及恢复效果差的问题。
发明内容
本发明的目的在于提供基于分布式系统的数据恢复方法及系统，通过节点热活动间隔时间T以及存储冗余度P计算节点恢复的优先级，实现了对分布式系统中不同节点按照优先级恢复，解决了现有分布式系统中多节点分布式系统数据恢复效率及恢复效果差的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为基于分布式系统的数据恢复方法，包括如下步骤：
S000：计算当前节点热活动间隔时间T；
S001：计算当前节点在分布式系统中存储冗余度P；
S002：判断当前节点是否为失效节点，若是，执行S004；若否，执行S003；
S003：根据优先级堆栈算法将节点入栈；
S004：删除当前节点；
S005：将堆栈中节点对应数据依次恢复。
优选地，S002中判断当前节点是否为失效节点的具体过程如下：
判断热活动时间间隔T是否大于时间阈值Tmax；若是，则为失效节点；若否，则不是失效节点；所述热活动时间间隔T为节点内与节点间均没有进行数据的存储、传送、接收的时间间隔。
优选地，S004中删除当前节点为将当前节点从分布式系统中移除；所述存储冗余度P为当前节点与分布式系统中其他节点的数据冗余度。
优选地，S003中根据优先级堆栈算法将节点入栈的具体过程如下：
T000：计算当前节点的优先级为：
J＝Pwp+Twt；
其中，为存储冗余度P的权值，为热活动间隔时间T的权值；
T001：判断优先级堆栈中是否存在存储节点，若是，则执行T002，若否，则执行T004；
T002：取出优先级堆栈栈顶节点并比较栈顶节点优先级是否大于当前节点优先级；若是，则执行T003；若否，则执行T004；
T003：将栈顶节点放入缓冲堆栈内并执行T002；
T004：将当前节点备份并将备份地址放入优先级堆栈栈顶；
T005：若缓冲堆栈不为空，则将缓冲堆栈内节点依次放入优先级堆栈栈顶。
基于分布式系统的数据恢复系统，包括：
存储冗余度计算模块，用于计算节点在分布式系统中存储冗余度P；还用于传递存储冗余度P至优先级判断模块；
节点监听模块，用于监听节点热活动间隔时间T并判断节点是否为失效节点；还用于传递热活动间隔时间T至优先级判断模块；
所述优先级判断模块，用于接收节点监听模块传递的热活动间隔时间T以及存储冗余度计算模块传递的存储冗余度P，还用于计算节点的优先级；
堆栈管理模块，用于根据优先级将节点备份地址存放在优先级堆栈中，还用于控制节点在缓冲栈中的存取；
节点备份模块；用于对节点内数据备份。
本发明具有以下有益效果：
1、本发明通过节点热活动间隔时间T以及存储冗余度P计算节点恢复的优先级，简化了分布式系统中各节点的数据有效备份与恢复，减少了备份空间的占用，提高了备份效率；
2、本发明通过采用优先级堆栈以及缓冲堆栈，优化了分布式节点中各节点间的数据备份与恢复顺序，提高了分布式系统中各节点的恢复效率。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的基于分布式系统的数据恢复方法的流程图；
图2为S003中根据优先级堆栈算法将节点入栈的流程图；
图3为本发明的基于分布式系统的数据恢复的系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为基于分布式系统的数据恢复方法，包括如下步骤：
S000：计算当前节点热活动间隔时间T；
S001：计算当前节点在分布式系统中存储冗余度P；
S002：判断当前节点是否为失效节点，若是，执行S004；若否，执行S003；
S003：根据优先级堆栈算法将节点入栈；
S004：删除当前节点；
S005：将堆栈中节点对应数据依次恢复。
其中，S002中判断当前节点是否为失效节点的具体过程如下：
判断热活动时间间隔T是否大于时间阈值Tmax；若是，则为失效节点；若否，则不是失效节点；所述热活动时间间隔T为节点内与节点间均没有进行数据的存储、传送、接收的时间间隔。
其中，S004中删除当前节点为将当前节点从分布式系统中移除；所述存储冗余度P为当前节点与分布式系统中其他节点的数据冗余度。
请参阅图2所示，S003中根据优先级堆栈算法将节点入栈的具体过程如下：
T000：计算当前节点的优先级为：
J＝Pwp+Twt；
其中，为存储冗余度P的权值，为热活动间隔时间T的权值；
T001：判断优先级堆栈中是否存在存储节点，若是，则执行T002，若否，则执行T004；
T002：取出优先级堆栈栈顶节点并比较栈顶节点优先级是否大于当前节点优先级；若是，则执行T003；若否，则执行T004；
T003：将栈顶节点放入缓冲堆栈内并执行T002；
T004：将当前节点备份并将备份地址放入优先级堆栈栈顶；
T005：若缓冲堆栈不为空，则将缓冲堆栈内节点依次放入优先级堆栈栈顶。
请参阅图3所示，基于分布式系统的数据恢复系统，包括：
存储冗余度计算模块，用于计算节点在分布式系统中存储冗余度P；还用于传递存储冗余度P至优先级判断模块；
节点监听模块，用于监听节点热活动间隔时间T并判断节点是否为失效节点；还用于传递热活动间隔时间T至优先级判断模块；
优先级判断模块，用于接收节点监听模块传递的热活动间隔时间T以及存储冗余度计算模块传递的存储冗余度P，还用于计算节点的优先级；
堆栈管理模块，用于根据优先级将节点备份地址存放在优先级堆栈中，还用于控制节点在缓冲栈中的存取；
节点备份模块；用于对节点内数据备份。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.基于分布式系统的数据恢复方法，其特征在于，包括如下步骤：
S000：计算当前节点热活动间隔时间T；
S001：计算当前节点在分布式系统中存储冗余度P；
S002：判断当前节点是否为失效节点，若是，执行S004；若否，执行S003；
S003：根据优先级堆栈算法将节点入栈；
S004：删除当前节点；
S005：将堆栈中节点对应数据依次恢复。
2.根据权利要求1所述的基于分布式系统的数据恢复方法，其特征在于，S002中判断当前节点是否为失效节点的具体过程如下：
判断热活动时间间隔T是否大于时间阈值Tmax；若是，则为失效节点；若否，则不是失效节点；所述热活动时间间隔T为节点内与节点间均没有进行数据的存储、传送、接收的时间间隔。
3.根据权利要求1所述的基于分布式系统的数据恢复方法，其特征在于，S004中删除当前节点为将当前节点从分布式系统中移除；所述存储冗余度P为当前节点与分布式系统中其他节点的数据冗余度。
4.根据权利要求1所述的基于分布式系统的数据恢复方法，其特征在于，S003中根据优先级堆栈算法将节点入栈的具体过程如下：
T000：计算当前节点的优先级为：
J＝Pwp+Twt；
其中，wp为存储冗余度P的权值，wt为热活动间隔时间T的权值；
T001：判断优先级堆栈中是否存在存储节点，若是，则执行T002，若否，则执行T004；
T002：取出优先级堆栈栈顶节点并比较栈顶节点优先级Jx是否大于当前节点优先级J；若是，则执行T003；若否，则执行T004；
T003：将栈顶节点放入缓冲堆栈内并执行T002；
T004：将当前节点备份并将备份地址放入优先级堆栈栈顶；
T005：若缓冲堆栈不为空，则将缓冲堆栈内节点依次放入优先级堆栈栈顶。
5.如权利要求1-4所示的基于分布式系统的数据恢复系统，其特征在于，包括：
存储冗余度计算模块，用于计算节点在分布式系统中存储冗余度P；还用于传递存储冗余度P至优先级判断模块；
节点监听模块，用于监听节点热活动间隔时间T并判断节点是否为失效节点；还用于传递热活动间隔时间T至优先级判断模块；
所述优先级判断模块，用于接收节点监听模块传递的热活动间隔时间T以及存储冗余度计算模块传递的存储冗余度P，还用于计算节点的优先级J；
堆栈管理模块，用于根据优先级J将节点备份地址存放在优先级堆栈中，还用于控制节点在缓冲栈中的存取；
节点备份模块；用于对节点内数据备份。
CN201810382149.9A 2018-04-14 2018-04-14 基于分布式系统的数据恢复方法及系统 Pending CN108733512A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810382149.9A CN108733512A (zh) 2018-04-14 2018-04-14 基于分布式系统的数据恢复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810382149.9A CN108733512A (zh) 2018-04-14 2018-04-14 基于分布式系统的数据恢复方法及系统

Publications (1)

Publication Number Publication Date
CN108733512A true CN108733512A (zh) 2018-11-02

Family

ID=63939894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810382149.9A Pending CN108733512A (zh) 2018-04-14 2018-04-14 基于分布式系统的数据恢复方法及系统

Country Status (1)

Country Link
CN (1) CN108733512A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400107A (zh) * 2020-04-21 2020-07-10 贵州新致普惠信息技术有限公司 一种数据库多主集群的自启恢复系统及方法
CN116860186A (zh) * 2023-09-05 2023-10-10 上海凯翔信息科技有限公司 一种分布式集群的数据清理系统
CN116881052A (zh) * 2023-09-07 2023-10-13 上海凯翔信息科技有限公司 一种分布式存储的数据修复系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188569A (zh) * 2006-11-16 2008-05-28 饶大平 在网络上构建数据量子空间的方法及分布式文件存储系统
CN101316279A (zh) * 2008-07-09 2008-12-03 南京邮电大学 一种主观兴趣驱动的无线多媒体传感器网络设计方法
CN104935481A (zh) * 2015-06-24 2015-09-23 华中科技大学 一种分布式存储下基于冗余机制的数据恢复方法
CN106339276A (zh) * 2016-08-16 2017-01-18 浪潮(北京)电子信息产业有限公司 一种基于数据备份状态的数据恢复方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188569A (zh) * 2006-11-16 2008-05-28 饶大平 在网络上构建数据量子空间的方法及分布式文件存储系统
CN101316279A (zh) * 2008-07-09 2008-12-03 南京邮电大学 一种主观兴趣驱动的无线多媒体传感器网络设计方法
CN104935481A (zh) * 2015-06-24 2015-09-23 华中科技大学 一种分布式存储下基于冗余机制的数据恢复方法
CN106339276A (zh) * 2016-08-16 2017-01-18 浪潮(北京)电子信息产业有限公司 一种基于数据备份状态的数据恢复方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400107A (zh) * 2020-04-21 2020-07-10 贵州新致普惠信息技术有限公司 一种数据库多主集群的自启恢复系统及方法
CN111400107B (zh) * 2020-04-21 2023-03-03 贵州新致普惠信息技术有限公司 一种数据库多主集群的自启恢复系统及方法
CN116860186A (zh) * 2023-09-05 2023-10-10 上海凯翔信息科技有限公司 一种分布式集群的数据清理系统
CN116860186B (zh) * 2023-09-05 2023-11-10 上海凯翔信息科技有限公司 一种分布式集群的数据清理系统
CN116881052A (zh) * 2023-09-07 2023-10-13 上海凯翔信息科技有限公司 一种分布式存储的数据修复系统
CN116881052B (zh) * 2023-09-07 2023-11-24 上海凯翔信息科技有限公司 一种分布式存储的数据修复系统

Similar Documents

Publication Publication Date Title
CN108733512A (zh) 基于分布式系统的数据恢复方法及系统
CN104166606B (zh) 文件备份方法和主存储设备
CN103607304B (zh) 一种基于纠删码的失效数据线形修复方法
CN102857554B (zh) 基于分布式存储系统进行数据冗余处理方法
CN102004670A (zh) 一种基于MapReduce的自适应作业调度方法
CN103229487B (zh) 分布式存储系统中的分区平衡方法、装置及服务器
CN108733503A (zh) 在分布式存储系统中存储数据
CN104102693B (zh) 对象处理方法和装置
US20060041823A1 (en) Method and apparatus for storing and retrieving multiple point-in-time consistent data sets
US20180337819A1 (en) Method for operating a distributed computing system and a distributed computing system
CN107682211B (zh) 一种网络拓扑结构确定方法、装置及计算机可读存储介质
CN103856511B (zh) 数据包上传方法、客户端、节点、信息服务器及系统
CN105138276A (zh) 数据储存方法及数据储存系统
KR20130048595A (ko) 제한된 리소스 환경에서의 안정적인 중복 데이터 제거 장치 및 방법
JP4203001B2 (ja) 並列計算方法、並列計算プログラム及び計算機
CN110045922A (zh) 网络设备和操作方法
CN107066340A (zh) 一种基于linux的无中断线速收包、发包方法及设备
CN101986602B (zh) 基于报文数目检验无阻塞检查点设置和故障进程恢复方法
CN101714940B (zh) 路径计算及建立方法、路径计算单元和节点、网络
CN103262042A (zh) 一种分布式存储数据恢复方法、装置及系统
CN111177166A (zh) 一种基于多源数据的区块链存储方法和系统
CN105681425B (zh) 基于分布式存储系统的多节点修复方法及其系统
CN103942116A (zh) 一种对数据进行容错处理的方法及数据处理系统
CN105335217B (zh) 一种服务器静默方法与系统
Bardis et al. A Method for Cloud Storage Data Recovery with Limited Loss of Access

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181102