CN115237680B - 一种分布式数据恢复系统及方法 - Google Patents

一种分布式数据恢复系统及方法 Download PDF

Info

Publication number
CN115237680B
CN115237680B CN202211155280.4A CN202211155280A CN115237680B CN 115237680 B CN115237680 B CN 115237680B CN 202211155280 A CN202211155280 A CN 202211155280A CN 115237680 B CN115237680 B CN 115237680B
Authority
CN
China
Prior art keywords
processing
node
result
module
processing sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211155280.4A
Other languages
English (en)
Other versions
CN115237680A (zh
Inventor
王丹
史向东
丁兆锟
梁剑
谢波
廖赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING TUOJIE INFORMATION TECHNOLOGY CO LTD
Original Assignee
NANJING TUOJIE INFORMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING TUOJIE INFORMATION TECHNOLOGY CO LTD filed Critical NANJING TUOJIE INFORMATION TECHNOLOGY CO LTD
Priority to CN202211155280.4A priority Critical patent/CN115237680B/zh
Publication of CN115237680A publication Critical patent/CN115237680A/zh
Application granted granted Critical
Publication of CN115237680B publication Critical patent/CN115237680B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multi Processors (AREA)

Abstract

本发明涉及信息技术领域，具体涉及一种分布式数据恢复系统及方法。所述分布式数据恢复系统包括：场景定位模块用于对各个处理子系统的处理顺序节点进行分割，获得处理顺序节点。数据定位模块用于对当前被处理数据信息过程进行定位。存储模块用于对处理结果进行存储。数据节点处理模块用于提取处理结果和处理顺序节点，并将处理结果导入到处理顺序节点中进行计算获得拟合结果。判断对比模块用于判断拟合结果与处理结果是否相同。数据导出模块对存储结果和对应的处理顺序节点为编号导出。当处理子系统遇到异常情况时，可以迅速记录且导出结果和异常位置，便于对错误进行定位和数据信息的快速恢复。

Description

一种分布式数据恢复系统及方法
技术领域
本发明涉及信息技术领域，具体涉及一种分布式数据恢复系统及方法。
背景技术
随着信息技术的发展，海量数据处理给传统的数据处理方式带来了挑战。因此各种大型分布式集群系统应运而生。分布式集群系统由大量传统节点构成，通过将处理能力分担到各个节点的方式，对外呈现整体强大的处理能力。各节点之间需要通过共享数据进行协作，以完成处理任务。
分布式块处理子系统是一种以数据块为存储单位，分布式处理子系统中节点发生故障，故障节点回归集群如何快速进行数据恢复，是提供高质量服务的关键。现有技术中，节点维护一个快照文件，出现错误时，恢复困难且没有定位，不便于后期处理。
发明内容
为解决上述技术问题，本发明提供一种分布式数据恢复系统，所述分布式数据恢复系统包括：
场景定位模块，其用于对各个处理子系统的处理顺序节点进行分割，从而获得处理顺序节点Bij，其中，i为处理子系统的编号，j为处理子系统的处理顺序节点的编号；
数据定位模块，其用于对当前被处理数据信息过程进行定位，并导出当前被处理数据信息所处的处理顺序节点编号和该处理顺序节点的处理结果Nij；
存储模块，其用于对处理结果Nij进行存储；
数据节点处理模块，其用于提取处理结果Nij-1和处理顺序节点Bij，并将处理结果Nij-1导入到处理顺序节点Bij中进行计算获得拟合结果Nij’；
判断对比模块，其用于判断拟合结果Nij’与处理结果Nij是否相同，如果是，则判定为处理顺序节点Bij处理正确，并发出正确信号，如果否，判定为处理顺序节点为Bij处理错误，并发送错误信号；
数据更换模块，其用于接收错误信号和正确信号，如果接收正确信号，则处理结果Nij存储，如果接收错误信号，则对处理结果Nij-1进行标记并存储；
数据导出模块，用于接收错误信号，则对存储结果和对应的处理顺序节点为Bij编号导出。
优选的：所述分布式数据恢复系统还包括：
数据删除模块，用于接收正确信号，则将处理结果Nij-1更换为处理结果Nij，即将处理结果Nij-1删除。
优选的：所述分布式数据恢复系统还包括：节点修正模块，用于对处理顺序节点Bij进行修正，使处理顺序节点Bij自动导入和导出数据。
优选的：所述节点修正模块包括导入节点模块和导出节点模块，导入节点模块用于植入到处理顺序节点Bij前端，其用于接收数据信息并将数据信息导入到处理顺序节点Bij内部进行计算；导出节点模块用于植入到处理顺序节点Bij后端，其用于将处理顺序节点Bij计算的结果导出。
优选的：所述分布式数据恢复系统还包括：异常识别模块，用于对异常情况进行识别，并查找一个异常情况-编码信息表，获得异常编码M，并发送异常信号和异常编码M；数据导出模块接收异常信号、异常编码M，则对存储结果和对应的处理顺序节点为Bij编号导出。
本发明还提供一种分布式数据恢复方法，应用于上述所述的一种分布式数据恢复系统，所述的分布式数据恢复方法包括如下步骤：
S1、对各个处理子系统的处理顺序节点进行分割，获得处理顺序节点Bij，其中，i为处理子系统的编号，j为处理子系统的处理顺序节点的编号；
S2、将被处理数据信息对应的导入到处理子系统内进行计算；
S3、导出当前被处理数据信息所处的处理顺序节点编号和该处理顺序节点的处理结果Nij并进行存储；
S4、提取处理结果Nij-1和处理顺序节点Bij，并将处理结果Nij-1导入到处理顺序节点Bij中进行计算获得拟合结果Nij’；
S5、判断拟合结果Nij’与处理结果Nij是否相同，如果是，则执行S6；
S6、判定为处理顺序节点为Bij处理错误，并发送错误信号，对处理结果Nij-1进行标记，对存储结果和对应的处理顺序节点Bij的编号导出。
本发明还提供一种计算机终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行程序时实现所述的一种分布式数据恢复方法的步骤。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时，实现所述的一种分布式数据恢复方法的步骤。
本发明的技术效果和优点：通过对处理子系统进行处理顺序节点的分割，可以间断且持续对处理子系统的处理结果进行储存，当处理子系统遇到异常情况时，可以迅速记录且导出结果和异常位置，便于对错误进行定位和数据信息的快速恢复。通过对错误的定位，可以快速对处理子系统进行处理，便于维护。
附图说明
图1为本发明提出的一种分布式数据恢复系统的结构框图。
图2为本发明提出的一种分布式数据恢复方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
实施例1
参考图1，在本实施例中提出了一种分布式数据恢复系统，包括：
场景定位模块，用于对各个处理子系统的处理顺序节点进行分割，从而获得处理顺序节点Bij，其中，i为处理子系统的编号，j为处理子系统的处理顺序节点的编号。将被处理数据信息处理所需要的处理子系统一一进行列举，并进行编号为1、2、…i、…n，然后对处理子系统按照处理顺序节点进行分割，获得各个处理顺序节点编号为1、2、…j…m，每个处理顺序节点都是对数据信息进行一步处理，各个处理顺序节点按顺序组合形成对应的处理子系统。被处理数据信息按照对应的处理子系统进行编号，然后对处理子系统的处理顺序节点按照顺序编号，从而可以获得处理顺序节点Bij。
节点修正模块，用于对处理顺序节点Bij进行修正，使处理顺序节点Bij可以自动导入和导出数据；所述的节点修正模块可以包括导入节点模块和导出节点模块。导入节点模块用于植入到处理顺序节点Bij的前端，用于接收数据信息并将数据信息导入到处理顺序节点Bij内部进行计算。导出节点模块用于植入到处理顺序节点Bij的后端，用于将处理顺序节点Bij计算的结果导出，通过节点修正模块对处理顺序节点Bij处理后，可以使处理顺序节点Bij具有单独的计算能力，当然并不排除其他方式的数据直接导入，具体在此不做赘述。
数据定位模块，可以置于各个处理子系统中，用于对当前被处理数据信息过程进行定位，并导出当前被处理数据信息所处的处理顺序节点编号和该处理顺序节点的处理结果Nij。就是将原始的被处理数据信息导入到各个处理子系统中，被处理数据信息处于处理顺序节点Bij后端，则导出处理顺序节点编号为i和j，且以处理顺序节点Bij为临时终点导出处理结果Nij，并进行被处理数据信息的持续计算处理。
存储模块，用于对处理结果Nij进行存储，存储模块为现有技术，具体在此不做赘述。
数据节点处理模块，用于提取处理结果Nij-1和处理顺序节点为Bij，并将处理结果Nij-1导入到处理顺序节点Bij中进行计算，Nij-1通过Bij计算获得拟合结果Nij’。
判断对比模块，用于判断拟合结果Nij’与处理结果Nij是否相同，如果是，则判定为处理顺序节点Bij处理正确，并发出正确信号，如果否，判定为处理顺序节点为Bij处理错误，并发送错误信号。
异常识别模块，用于对异常情况进行识别，并查找一个异常情况-编码信息表，从而获得异常编码M，并发送异常信号和异常编码M。异常情况-编码信息表可以通过设计制作。例如，异常情况为突然停电，通过查找异常情况-编码信息，获得异常编码M为1，则发送异常信号和异常编码1，具体在此不做赘述。
数据更换模块，用于接收错误信号和正确信号，如果接收正确信号，则处理结果Nij存储，如果接收错误信号，则对处理结果Nij-1进行标记并存储。
数据导出模块，用于接收错误信号和/或异常信号、异常编码M和计算结束信号，则对存储结果和对应的处理顺序节点为Bij编号导出。当然当计算结束后，通过接收结束信号导出计算结果。通过对处理子系统进行处理顺序节点的分割，可以间断且持续对处理子系统的处理结果进行储存，当处理子系统遇到异常情况时，可以迅速记录且导出结果和异常位置，便于对错误进行定位和数据信息的快速恢复。通过对错误的定位，可以便于快速对处理子系统进行处理，便于维护。
数据删除模块，用于接收正确信号，则将处理结果Nij-1更换为处理结果Nij，即将处理结果Nij-1删除。通过对多余的处理结果删除，可以释放存储空间，减小数据的存储和传送量。
实施例2
参考图2，在本实施例中提出了一种分布式数据恢复方法，包括如下步骤：
S1、对各个处理子系统的处理顺序节点进行分割，获得处理顺序节点Bij，其中，i为处理子系统的编号，j为处理子系统的处理顺序节点的编号。
S2、将被处理数据信息对应的导入到处理子系统内进行计算。
S3、导出当前被处理数据信息所处的处理顺序节点编号和该处理顺序节点的处理结果Nij并进行存储。
S4、提取处理结果Nij-1和处理顺序节点为Bij，并将处理结果Nij-1导入到处理顺序节点Bij中进行计算获得拟合结果Nij’。
S5、判断拟合结果Nij’与处理结果Nij是否相同，如果是，则执行S6，如果否，则执行S7。
S6、判定为处理顺序节点为Bij处理错误，并发送错误信号，对处理结果Nij-1进行标记，对存储结果和对应的处理顺序节点Bij的编号导出。
实施例3
作为本发明的一种优选实施例，一种计算机终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序。处理器执行程序时实现分布式数据恢复方法的步骤。
分布式数据恢复方法在应用时，可以软件的形式进行应用，如设计成独立运行的程序，安装在计算机终端上，计算机终端可以是电脑、智能手机、控制系统以及其他物联网设备等。分布式数据恢复方法也可以设计成嵌入式运行的程序，安装在计算机终端上，如安装在单片机上。
本作为本发明的一种优选实施例，一种计算机可读存储介质，其上存储有计算机程序。程序被处理器执行时，实现分布式数据恢复方法的步骤。分布式数据恢复方法在应用时，可以软件的形式进行应用，如设计成计算机可读存储介质可独立运行的程序，计算机可读存储介质可以是U盘，设计成U盾，通过U盘设计成通过外在触发启动整个方法的程序。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。本发明中未具体描述和解释说明的结构、装置以及操作方法，如无特别说明和限定，均按照本领域的常规手段进行实施。

Claims (8)

1.一种分布式数据恢复系统，其特征在于，所述分布式数据恢复系统包括：
场景定位模块，其用于对各个处理子系统的处理顺序节点进行分割，获得处理顺序节点Bij，其中，i为处理子系统的编号，j为处理子系统的处理顺序节点的编号；
数据定位模块，其用于对当前被处理数据信息过程的位置进行定位，并导出当前被处理数据信息所处的处理顺序节点编号和该处理顺序节点的处理结果Nij；
存储模块，其用于对处理结果Nij进行存储；
数据节点处理模块，其用于提取处理结果Nij-1和处理顺序节点Bij，并将处理结果Nij-1导入到处理顺序节点Bij中进行计算获得拟合结果Nij’；
判断对比模块，其用于判断拟合结果Nij’与处理结果Nij是否相同，如果是，则判定为处理顺序节点Bij处理正确，并发出正确信号，如果否，判定为处理顺序节点为Bij处理错误，并发送错误信号；
数据更换模块，其用于接收错误信号和正确信号，如果接收正确信号，则对处理结果Nij存储，如果接收错误信号，则对处理结果Nij-1进行标记并存储；
数据导出模块，用于接收错误信号，则对存储结果和对应的处理顺序节点为Bij编号的导出。
2.根据权利要求1所述的一种分布式数据恢复系统，其特征在于，所述分布式数据恢复系统还包括：
数据删除模块，其用于接收正确信号，将处理结果Nij-1删除。
3.根据权利要求1所述的一种分布式数据恢复系统，其特征在于，所述分布式数据恢复系统还包括：节点修正模块，节点修正模块用于对处理顺序节点Bij进行修正，使处理顺序节点Bij自动导入和导出数据。
4.根据权利要求3所述的一种分布式数据恢复系统，其特征在于，所述节点修正模块包括导入节点模块和导出节点模块，导入节点模块用于植入到处理顺序节点Bij前端，其用于接收数据信息并将数据信息导入到处理顺序节点Bij内部进行计算；导出节点模块用于植入到处理顺序节点Bij后端，其用于将处理顺序节点Bij计算的结果导出。
5.根据权利要求1所述的一种分布式数据恢复系统，其特征在于，所述分布式数据恢复系统还包括：异常识别模块；异常识别模块用于对异常情况进行识别，并查找一个异常情况-编码信息表，获得异常编码M，并发送异常信号和异常编码M；数据导出模块接收异常信号、异常编码M。
6.一种分布式数据恢复方法，应用于权利要求1-5任一项所述的一种分布式数据恢复系统，其特征在于，所述的分布式数据恢复方法包括如下步骤：
S1、对各个处理子系统的处理顺序节点进行分割，获得处理顺序节点Bij，其中，i为处理子系统的编号，j为处理子系统的处理顺序节点的编号；
S2、将被处理数据信息对应导入到处理子系统内进行计算；
S3、导出当前被处理数据信息所处的处理顺序节点编号和该处理顺序节点的处理结果Nij并进行存储；
S4、提取处理结果Nij-1和处理顺序节点Bij，并将处理结果Nij-1导入到处理顺序节点Bij中进行计算获得拟合结果Nij’；
S5、判断拟合结果Nij’与处理结果Nij是否相同，如果否，则执行S6；
S6、判定为处理顺序节点为Bij处理错误，并发送错误信号，对处理结果Nij-1进行标记和储存，对存储结果和对应的处理顺序节点Bij的编号导出。
7.一种计算机终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行程序时实现权利要求6所述的一种分布式数据恢复方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时，实现权利要求6所述的一种分布式数据恢复方法的步骤。
CN202211155280.4A 2022-09-22 2022-09-22 一种分布式数据恢复系统及方法 Active CN115237680B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211155280.4A CN115237680B (zh) 2022-09-22 2022-09-22 一种分布式数据恢复系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211155280.4A CN115237680B (zh) 2022-09-22 2022-09-22 一种分布式数据恢复系统及方法

Publications (2)

Publication Number Publication Date
CN115237680A CN115237680A (zh) 2022-10-25
CN115237680B true CN115237680B (zh) 2023-02-21

Family

ID=83667188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211155280.4A Active CN115237680B (zh) 2022-09-22 2022-09-22 一种分布式数据恢复系统及方法

Country Status (1)

Country Link
CN (1) CN115237680B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109254986A (zh) * 2018-08-31 2019-01-22 阿里巴巴集团控股有限公司 一种异常数据的确定方法及装置
CN109409879A (zh) * 2018-10-16 2019-03-01 广东恒聚互联控股有限公司 一种增强区块链安全性能的方法
CN111211993A (zh) * 2018-11-21 2020-05-29 百度在线网络技术（北京）有限公司 流式计算的增量持久化方法及其装置
CN113704067A (zh) * 2021-09-09 2021-11-26 合肥新青罗数字技术有限公司 无形资产管理系统监控方法
US11368506B2 (en) * 2017-01-17 2022-06-21 Beijing Baidu Netcom Science And Technology Co., Ltd. Fault handling for computer nodes in stream computing system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107332691B (zh) * 2017-06-08 2021-01-26 西安电子科技大学 一种无线传感器网络故障节点检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368506B2 (en) * 2017-01-17 2022-06-21 Beijing Baidu Netcom Science And Technology Co., Ltd. Fault handling for computer nodes in stream computing system
CN109254986A (zh) * 2018-08-31 2019-01-22 阿里巴巴集团控股有限公司 一种异常数据的确定方法及装置
CN109409879A (zh) * 2018-10-16 2019-03-01 广东恒聚互联控股有限公司 一种增强区块链安全性能的方法
CN111211993A (zh) * 2018-11-21 2020-05-29 百度在线网络技术（北京）有限公司 流式计算的增量持久化方法及其装置
CN113704067A (zh) * 2021-09-09 2021-11-26 合肥新青罗数字技术有限公司 无形资产管理系统监控方法

Also Published As

Publication number Publication date
CN115237680A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
EP3934165A1 (en) Consensus method of consortium blockchain, and consortium blockchain system
US9983941B2 (en) Method and apparatus for recovering data
US9170888B2 (en) Methods and apparatus for virtual machine recovery
CN104246767A (zh) 用于云同步系统的遥测系统
CN110781231A (zh) 基于数据库的批量导入方法、装置、设备及存储介质
EP3474143B1 (en) Method and apparatus for incremental recovery of data
CN111858468B (zh) 分布式文件系统元数据校验方法、系统、终端及存储介质
CN109254956B (zh) 一种数据下载的方法、装置及电子设备
CN115237680B (zh) 一种分布式数据恢复系统及方法
CN114020527A (zh) 快照恢复方法、装置、计算机设备及存储介质
CN110765125B (zh) 一种存储数据的方法及装置
CN116015425A (zh) 光模块的控制方法和装置、存储介质及电子装置
CN115827069A (zh) 服务器主板的启动控制方法、系统及装置
CN115033426A (zh) 数据备份方法及电子设备
CN111338574B (zh) 基于区块链的数据自修复方法、装置、介质及电子设备
JP6571027B2 (ja) データ格納装置及びデータ格納プログラム
CN114625702A (zh) 数据的存储方法、装置、系统及电子设备
CN110673987A (zh) 数据库的恢复方法、装置、设备和存储介质
CN104572350A (zh) 一种元数据处理方法及装置
CN111371818A (zh) 一种数据请求的验证方法、装置及设备
CN115080311B (zh) 一种大数据的信息化远程控制方法及装置
CN113568710B (zh) 一种虚拟机高可用实现方法、装置和设备
CN112612641B (zh) 一种模型训练的保护方法、装置、电子设备及存储介质
CN112686567B (zh) 异常运维操作处理方法、装置、计算机设备和存储介质
CN117290158A (zh) 数据恢复方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant