CN110865903A - 基于纠删码分布式存储的节点异常重连复用方法及系统 - Google Patents

基于纠删码分布式存储的节点异常重连复用方法及系统 Download PDF

Info

Publication number
CN110865903A
CN110865903A CN201911075560.2A CN201911075560A CN110865903A CN 110865903 A CN110865903 A CN 110865903A CN 201911075560 A CN201911075560 A CN 201911075560A CN 110865903 A CN110865903 A CN 110865903A
Authority
CN
China
Prior art keywords
node
abnormal
data
state
multiplexing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911075560.2A
Other languages
English (en)
Other versions
CN110865903B (zh
Inventor
丁瑞祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN201911075560.2A priority Critical patent/CN110865903B/zh
Publication of CN110865903A publication Critical patent/CN110865903A/zh
Application granted granted Critical
Publication of CN110865903B publication Critical patent/CN110865903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
    • G06F11/1044—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices with specific ECC/EDC distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于纠删码分布式存储的节点异常重连复用方法及系统，方法包括：获取数据写入状态，根据所述数据写入状态识别异常节点；对识别结果中的异常节点进行状态监控；当检测到异常节点恢复正常时，更新节点状态，并复用所述异常节点的数据写入流程，发送异常期间的异常数据段的位置信息至对应节点并保存；调取其他节点上的相应数据对异常节点进行局部数据还原，将还原出的数据覆盖写入到异常区域；本发明通过节点设备复用，使局部数据恢复，在节点短暂异常后恢复正常的情况下，能够继续向该节点写入数据，恢复集群k+m的纠删特性，并以少量的数据交互，消除节点异常带来的影响，减少后续数据恢复的压力以及减低存储空间浪费的风险。

Description

基于纠删码分布式存储的节点异常重连复用方法及系统
技术领域
本发明涉及计算机及其应用领域，尤其涉及一种基于纠删码分布式存储的节点异常重连复用方法及系统。
背景技术
随着市场对数据规模需求的不断提高，存储技术也随之革新。在大量数据存储领域，相对于传统的SAN(Storage Attached Network)和NAS(Network-Attached Storage)，分布式存储有着性能高，成本低和扩展性强的优势。纠删码技术是将完整的原始数据切割成k个数据条带，经过纠删算法后得到m个检验条带，在丢失条带不超过m的情况下可以恢复出原始数据。将纠删码容错技术代替多副本技术运用在分布式存储中，在保障了数据安全的前提下，还提高了存储空间利用率，进一步降低了成本。纠删码运用在分布式存储中，将业务数据分成k份数据条带，在纠删计算得到m份校验条带，将这k+m份数据按一定顺序存储在集群k+m个不同的节点设备上，并将这k+m个节点设备上的k+m文件视为一组，以此做到在节点设备异常数量不超过m的情况下(后续将异常节点设备为m的情况称之为纠删极限)，可以恢复出原始数据。
但是，在一组文件的写入期间，部分节点设备异常后，即便这些节点设备能在短期内恢复，相应的文件往往不会复用，则这组文件后续写入过程中实际存储条带小于k+m，期间更容易超出纠删极限的情况，在超出纠删极限后该组文件将不可写入，需申请新的文件组，造成空间浪费。在异常节点设备修复重新上线后，需要对异常的文件数据块进行大量的修复操作，短期内会在节点间产生大量数据交互与计算。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种基于纠删码分布式存储的节点异常重连复用方法及系统，以解决上述技术问题。
本发明提供的基于纠删码分布式存储的节点异常重连复用方法，包括：
获取数据写入状态，根据所述数据写入状态识别异常节点；
对识别结果中的异常节点进行状态监控；
当检测到异常节点恢复正常时，更新节点状态，并复用所述异常节点的数据写入流程，发送异常期间的异常数据段的位置信息至对应节点并保存；
调取其他节点上的相应数据对异常节点进行局部数据还原，将还原出的数据覆盖写入到异常区域，完成数据恢复。
可选的，根据预先设置的映射关系表对异常节点进行监控，所述映射关系表根据节点设备状态信息和节点身份信息的映射关系建立。
可选的，在获取数据写入状态之前还包括输入业务数据，并对所述业务数据进行纠删处理后，进行分布式存储。
可选的，所述复用所述异常节点的数据写入流程具体包括，当检测到异常节点恢复正常时，更新节点状态，在写入流程中，根据更新后的节点状态恢复对该节点的写入，重新打开对应节点中的文件，偏移(seek)到文件当前最新写入的位置，对异常期间的数据填零，并将异常期间的异常数据段的位置信息发送到节点保存，作为后续数据恢复的依据。
可选的，记录异常期间数据位置，以节点被标识为异常节点的写入偏移为起始位置，以节点重新上线恢复写入后的当前写入偏移为终止位置，根据所述异常期间数据位置对文件进行局部恢复。
可选的，根据文件写入过程中记录的异常数据段的位置信息，调取其他节点上的相应数据并通过纠删算法进行局部数据还原，将还原出的数据覆盖写入到异常区域。
可选的，如果异常节点未在文件写入期间恢复，则恢复已写入偏移到文件末尾的数据段。
本发明还提供基于纠删码分布式存储的节点异常重连复用系统，包括：
判断识别模块，用于获取数据写入状态，根据所述数据写入状态识别异常节点；
监控模块，对识别结果中的异常节点进行状态监控；
恢复模块，用于当检测到异常节点恢复正常时，更新节点状态，并复用所述异常节点的数据写入流程，发送异常期间的异常数据段的位置信息至对应节点并保存；调取其他节点上的相应数据对异常节点进行局部数据还原，将还原出的数据覆盖写入到异常区域，完成数据恢复。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法。
本发明还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述任一项所述方法。
本发明的有益效果：本发明中的基于纠删码分布式存储的节点异常重连复用方法，可以通过节点设备复用，使局部数据恢复，在节点短暂异常后恢复正常的情况下，能够继续向该节点写入数据，恢复集群k+m的纠删特性，该组文件在后续写入过程中依旧能允许最多m个节点出现异常，还可以记录节点异常期间的数据起始位置和终止位置，在文件关闭后对异常的部分进行局部数据恢复，以少量的数据交互，消除节点异常带来的影响，减少后续数据恢复的压力以及减低存储空间浪费的风险。
附图说明
图1是本发明实施例中基于纠删码分布式存储的节点异常重连复用方法的复用示意图。
图2是本发明实施例中基于纠删码分布式存储的节点异常重连复用方法中数据写入的流程示意图。
图3是本发明实施例中基于纠删码分布式存储的节点异常重连复用方法的监控和恢复流程示意图。
图4是本发明实施例中基于纠删码分布式存储的节点异常重连复用方法的局部数据恢复流程示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
如图1所示，本实施例中的基于纠删码分布式存储的节点异常重连复用方法，包括：
获取数据写入状态，根据所述数据写入状态识别异常节点；
对识别结果中的异常节点进行状态监控；
当检测到异常节点恢复正常时，更新节点状态，并复用所述异常节点的数据写入流程，发送异常期间的异常数据段的位置信息至对应节点并保存；
调取其他节点上的相应数据对异常节点进行局部数据还原，将还原出的数据覆盖写入到异常区域，完成数据恢复。
在本实施例中，针对一组文件写入期间，部分节点(不超过纠删极限)出现异常并短期内恢复的情况，提供一种节点设备复用，局部数据恢复的方法。一方面，通过本实施例可以在节点短暂异常后恢复正常的情况下，能够继续向该节点写入数据，恢复集群k+m的纠删特性，该组文件在后续写入过程中依旧能允许最多m个节点出现异常，另一方面，通过记录节点异常期间的数据起始位置和终止位置，在文件关闭后对异常的部分进行局部数据恢复，以少量的数据交互，消除节点异常带来的影响。
在本实施例中，主要包括对异常节点的判断、标识、监控和恢复处理，对异常期间数据位置的记录，以及文件关闭后根据异常信息对文件进行局部恢复。针对异常节点的判断和标识，本实施例基于文件数据写入的结果反馈，即某一节点数据写入失败则将对应节点识别标记为异常节点，并且记录异常位置，在后续向该异常节点写入时，先获取节点状态，判断是否恢复。
在本实施例中，针对异常节点的监控，可以根据预先设置的映射关系表对异常节点进行监控，本实施例中的映射关系表通过在集群中维护一组节点设备状态信息(数组)以及节点ID与数组下标的映射关系来确定，当节点被判断标识为异常节点时，将该节点状态修改为异常，并由一个异常节点监控模块(线程或进程)监控异常节点是否重新上线并更新节点设备状态。节点设备状态信息可供文件写入流程查询。
在本实施例中，针对异常节点恢复的复用处理，当检测到节点设备异常节点设备恢复正常，则更新节点设备状态，在写入流程中，根据节点设备状态恢复对该节点的写入，重新打开对应节点中的文件，偏移(seek)到文件当前最新写入的位置，异常期间的数据填零，并将异常期间的异常数据段的位置信息发送到节点保存，作为后续数据恢复的依据。
在本实施例中，针对异常期间数据位置的记录，即以节点被标识为异常节点的写入偏移为起始位置，以节点重新上线恢复写入后的当前写入偏移为终止位置。
在本实施例中，针对文件异常数据段的局部恢复，可以根据文件写入过程中记录的异常数据段的位置信息，调取其他节点设备上的相应数据通过纠删算法进行局部数据还原,将还原出的数据覆盖写入到异常区域。对于异常节点未在文件写入期间恢复的情况，则恢复已写入偏移到文件末尾的数据段。
相应的，在本实施例中还提供一种基于纠删码分布式存储的节点异常重连复用系统，包括：
判断识别模块，用于获取数据写入状态，根据所述数据写入状态识别异常节点；
监控模块，对识别结果中的异常节点进行状态监控；
恢复模块，用于当检测到异常节点恢复正常时，更新节点状态，并复用所述异常节点的数据写入流程，发送异常期间的异常数据段的位置信息至对应节点并保存；调取其他节点上的相应数据对异常节点进行局部数据还原，将还原出的数据覆盖写入到异常区域，完成数据恢复。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例的对应附图中，连接线可以表示各个部件之间的连接关系，以表示更多的构成信号路径(constituent_signal path)和/或一些线的一个或多个末端具有箭头，以表示主要信息流向，连接线作为一种标识，不是对方案本身的限制，而是结合一个或多个事例性实施例使用这些线有助于更容易地接电路或逻辑单元，任何所代表的信号(由设计需求或偏好所决定)实际上可以包括可以在任意一个方向传送的并且可以以任何适当类型的信号方案实现的一个或多个信号。
在上述实施例中，说明书对“本实施例”、“一实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件，并非表示仅有一个元件。如果说明书或权利要求提及“一另外的”元件，并不排除存在多于一个的另外的元件。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于纠删码分布式存储的节点异常重连复用方法，其特征在于，包括：
获取数据写入状态，根据所述数据写入状态识别异常节点；
对识别结果中的异常节点进行状态监控；
当检测到异常节点恢复正常时，更新节点状态，并复用所述异常节点的数据写入流程，发送异常期间的异常数据段的位置信息至对应节点并保存；
调取其他节点上的相应数据对异常节点进行局部数据还原，将还原出的数据覆盖写入到异常区域，完成数据恢复。
2.根据权利要求1所述的基于纠删码分布式存储的节点异常重连复用方法，其特征在于，根据预先设置的映射关系表对异常节点进行监控，所述映射关系表根据节点设备状态信息和节点身份信息的映射关系建立。
3.根据权利要求1所述的基于纠删码分布式存储的节点异常重连复用方法，其特征在于，在获取数据写入状态之前还包括输入业务数据，并对所述业务数据进行纠删处理后，进行分布式存储。
4.根据权利要求2所述的基于纠删码分布式存储的节点异常重连复用方法，其特征在于，所述复用所述异常节点的数据写入流程具体包括，当检测到异常节点恢复正常时，更新节点状态，在写入流程中，根据更新后的节点状态恢复对该节点的写入，重新打开对应节点中的文件，偏移到文件当前最新写入的位置，对异常期间的数据填零，并将异常期间的异常数据段的位置信息发送到节点保存，作为后续数据恢复的依据。
5.根据权利要求4所述的基于纠删码分布式存储的节点异常重连复用方法，其特征在于，记录异常期间数据位置，以节点被标识为异常节点的写入偏移为起始位置，以节点重新上线恢复写入后的当前写入偏移为终止位置，根据所述异常期间数据位置对文件进行局部恢复。
6.根据权利要求5所述的基于纠删码分布式存储的节点异常重连复用方法，其特征在于，根据文件写入过程中记录的异常数据段的位置信息，调取其他节点上的相应数据并通过纠删算法进行局部数据还原，将还原出的数据覆盖写入到异常区域。
7.根据权利要求6所述的基于纠删码分布式存储的节点异常重连复用方法，其特征在于，如果异常节点未在文件写入期间恢复，则恢复已写入偏移到文件末尾的数据段。
8.一种基于纠删码分布式存储的节点异常重连复用系统，其特征在于，包括：
判断识别模块，用于获取数据写入状态，根据所述数据写入状态识别异常节点；
监控模块，对识别结果中的异常节点进行状态监控；
恢复模块，用于当检测到异常节点恢复正常时，更新节点状态，并复用所述异常节点的数据写入流程，发送异常期间的异常数据段的位置信息至对应节点并保存；调取其他节点上的相应数据对异常节点进行局部数据还原，将还原出的数据覆盖写入到异常区域，完成数据恢复。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1至7中任一项所述方法。
10.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至7中任一项所述方法。
CN201911075560.2A 2019-11-06 2019-11-06 基于纠删码分布式存储的节点异常重连复用方法及系统 Active CN110865903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911075560.2A CN110865903B (zh) 2019-11-06 2019-11-06 基于纠删码分布式存储的节点异常重连复用方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911075560.2A CN110865903B (zh) 2019-11-06 2019-11-06 基于纠删码分布式存储的节点异常重连复用方法及系统

Publications (2)

Publication Number Publication Date
CN110865903A true CN110865903A (zh) 2020-03-06
CN110865903B CN110865903B (zh) 2020-10-23

Family

ID=69653008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911075560.2A Active CN110865903B (zh) 2019-11-06 2019-11-06 基于纠删码分布式存储的节点异常重连复用方法及系统

Country Status (1)

Country Link
CN (1) CN110865903B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114221975A (zh) * 2021-11-30 2022-03-22 浙江大华技术股份有限公司 基于smr盘的云存储数据恢复方法及装置、电子设备
CN114415976A (zh) * 2022-03-28 2022-04-29 深圳市杉岩数据技术有限公司 一种分布式数据存储系统与方法
WO2024037104A1 (zh) * 2022-08-19 2024-02-22 重庆紫光华山智安科技有限公司 数据存储方法、子系统、分布式存储系统及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050289402A1 (en) * 2004-06-29 2005-12-29 Nerl John A System and method for applying error correction code (ECC) erasure mode and clearing recorded information from a page deallocation table
CN101025705A (zh) * 2001-03-07 2007-08-29 甲骨文国际公司 对多节点系统中的检查点队列进行管理
CN101276302A (zh) * 2007-03-29 2008-10-01 中国科学院计算技术研究所 一种磁盘阵列系统中磁盘故障处理和数据重构方法
CN102857554A (zh) * 2012-07-26 2013-01-02 福建网龙计算机网络信息技术有限公司 基于分布式存储系统进行数据冗余处理方法
CN103475716A (zh) * 2013-09-11 2013-12-25 北京京东尚科信息技术有限公司 通过共享存储实现数据共享的方法和系统
CN105659213A (zh) * 2013-10-18 2016-06-08 日立数据系统工程英国有限公司 无共享分布式存储系统中的目标驱动独立数据完整性和冗余恢复
CN108984337A (zh) * 2018-05-29 2018-12-11 杭州网易再顾科技有限公司 一种数据同步异常的修复方法、修复装置、介质和计算设备
US10163462B1 (en) * 2017-11-27 2018-12-25 Seagate Technology Llc Two-pass logical write for interlaced magnetic recording

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101025705A (zh) * 2001-03-07 2007-08-29 甲骨文国际公司 对多节点系统中的检查点队列进行管理
US20050289402A1 (en) * 2004-06-29 2005-12-29 Nerl John A System and method for applying error correction code (ECC) erasure mode and clearing recorded information from a page deallocation table
CN101276302A (zh) * 2007-03-29 2008-10-01 中国科学院计算技术研究所 一种磁盘阵列系统中磁盘故障处理和数据重构方法
CN102857554A (zh) * 2012-07-26 2013-01-02 福建网龙计算机网络信息技术有限公司 基于分布式存储系统进行数据冗余处理方法
CN103475716A (zh) * 2013-09-11 2013-12-25 北京京东尚科信息技术有限公司 通过共享存储实现数据共享的方法和系统
CN105659213A (zh) * 2013-10-18 2016-06-08 日立数据系统工程英国有限公司 无共享分布式存储系统中的目标驱动独立数据完整性和冗余恢复
US10163462B1 (en) * 2017-11-27 2018-12-25 Seagate Technology Llc Two-pass logical write for interlaced magnetic recording
CN108984337A (zh) * 2018-05-29 2018-12-11 杭州网易再顾科技有限公司 一种数据同步异常的修复方法、修复装置、介质和计算设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114221975A (zh) * 2021-11-30 2022-03-22 浙江大华技术股份有限公司 基于smr盘的云存储数据恢复方法及装置、电子设备
CN114221975B (zh) * 2021-11-30 2024-01-30 浙江大华技术股份有限公司 基于smr盘的云存储数据恢复方法及装置、电子设备
CN114415976A (zh) * 2022-03-28 2022-04-29 深圳市杉岩数据技术有限公司 一种分布式数据存储系统与方法
WO2024037104A1 (zh) * 2022-08-19 2024-02-22 重庆紫光华山智安科技有限公司 数据存储方法、子系统、分布式存储系统及存储介质

Also Published As

Publication number Publication date
CN110865903B (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN109725822B (zh) 用于管理存储系统的方法、设备和计算机程序产品
US9372743B1 (en) System and method for storage management
US8229896B1 (en) Method and apparatus for identifying data blocks required for restoration
CN110865903B (zh) 基于纠删码分布式存储的节点异常重连复用方法及系统
US8996826B2 (en) Techniques for system recovery using change tracking
JP2007241486A (ja) 記憶装置システム
CN111771193A (zh) 用于在生产集群中备份最终一致的数据库的系统和方法
CN109496292A (zh) 一种磁盘管理方法、磁盘管理装置及电子设备
US9037821B1 (en) Systems and methods for replicating snapshots across backup domains
CN110333971A (zh) Ssd坏块表备份方法、装置、计算机设备及存储介质
CN108604201B (zh) 一种快照回滚方法、装置、存储控制器和系统
US20160139996A1 (en) Methods for providing unified storage for backup and disaster recovery and devices thereof
CN103440204A (zh) 一种更新文件系统的方法和存储设备
US9772910B1 (en) Resource optimization for storage integrated data protection
CN104268032B (zh) 一种多控制器的快照处理方法及装置
CN112380067A (zh) 一种Hadoop环境下基于元数据的大数据备份系统及方法
CN105573872B (zh) 数据存储系统的硬盘维护方法和装置
EP3449372B1 (en) Fault-tolerant enterprise object storage system for small objects
US8595271B1 (en) Systems and methods for performing file system checks
CN113377569A (zh) 用于恢复数据的方法、设备和计算机程序产品
CN102143614B (zh) 升级方法和家庭网关设备
JP5352027B2 (ja) 計算機システムの管理方法及び管理装置
CN102929806B (zh) 适用于存储装置的编码操作的进度记录方法和恢复方法
CN110287164B (zh) 一种数据恢复方法、装置及计算机设备
CN118152181A (zh) 固态硬盘数据恢复方法、终端设备、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant