CN108363642A - 一种分布式存储系统数据恢复实现方法 - Google Patents

一种分布式存储系统数据恢复实现方法 Download PDF

Info

Publication number
CN108363642A
CN108363642A CN201810023785.2A CN201810023785A CN108363642A CN 108363642 A CN108363642 A CN 108363642A CN 201810023785 A CN201810023785 A CN 201810023785A CN 108363642 A CN108363642 A CN 108363642A
Authority
CN
China
Prior art keywords
memory system
distributed memory
time point
data
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810023785.2A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Kai Ya Electronic Technology Co Ltd
Original Assignee
Changsha Kai Ya Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Kai Ya Electronic Technology Co Ltd filed Critical Changsha Kai Ya Electronic Technology Co Ltd
Priority to CN201810023785.2A priority Critical patent/CN108363642A/zh
Publication of CN108363642A publication Critical patent/CN108363642A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种分布式存储系统数据恢复实现方法，该方法在分布式存储系统中对外提供的数据卷需要进行数据恢复时，按数据恢复管理时间点分为第一时间点、第二时间点等多个时间点T进行恢复，T为大于等于3的正整数，当分布式存储系统当前节点需要恢复第一时间点的数据时，当前节点会请求分布式存储所有其它节点的第二时间点数据信息，通过比完成当前节点请求的第一时间点恢复为第一时间点和第二时间点的数据差。

Description

一种分布式存储系统数据恢复实现方法
技术领域
本发明专利涉及计算机存储领域，特别是分布式存储系统领域。
背景技术
分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
在大数据环境下，数据规模和复杂度的增加往往非常迅速，对系统的扩展性能要求较高。实现存储系统的高可扩展性首先要解决两个方面的重要问题，包含元数据的分配和数据的透明迁移。元数据的分配主要通过静态子树划分技术实现，后者则侧重数据迁移算法的优化。此外，大数据存储体系规模庞大．结点失效率高，因此还需要完成一定的自适应管理功能。系统必须能够根据数据量和计算的工作量估算所需要的结点个数，并动态地将数据在结点间迁移。以实现负载均衡；同时．结点失效时，数据必须可以通过副本等机制进行恢复，不能对上层应用产生影响。
传统数据存储模型需要支持尽可能多的应用，因此需要具备较好的通用性。大数据具有大规模、高动态及快速处理等特性，通用的数据存储模型通常并不是最能提高应用性能的模型．而大数据存储系统对上层应用性能的关注远远超过对通用性的追求。针对应用和负载来优化存储，就是将数据存储与应用耦合。简化或扩展分布式文件系统的功能，根据特定应用、特定负载、特定的计算模型对文件系统进行定制和深度优化，使应用达到最佳性能。
随着大数据的数据规模增大，对数据进行恢复时每次都进行全量恢复将会对分布式存储系统产生巨大负荷。
发明专利内容
本发明专利涉及一种分布式存储系统数据恢复实现方法，该方法在分布式存储系统中对外提供的数据卷需要进行数据恢复时，按数据恢复管理时间点分为第一时间点、第二时间点等多个时间点T进行恢复，T为大于等于3的正整数，当分布式存储系统当前节点需要恢复第一时间点的数据时，当前节点会请求分布式存储所有其它节点的第二时间点数据信息，通过比完成当前节点请求的第一时间点恢复为第一时间点和第二时间点的数据差。
附图说明
图1为本发明专利的一种分布式存储系统数据恢复实现方法结构示意图。
具体实施方式
为了使本发明专利的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明专利进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明专利，并不用于限定本发明专利。
请参阅图1，图1为本发明专利的一种分布式存储系统数据恢复实现方法结构示意图。
一种分布式存储系统数据恢复实现方法，其特征在于，所述方法包含分布式存储系统（10）、分布式存储系统节点a（11a）、分布式存储系统节点b（11b）、分布式存储系统节点c（11c）、时间点（12）、数据卷（13）、业务通信网络（14）和业务主机（15），该方法分布式存储系统（10）由分布式存储系统节点a（11a）、分布式存储系统节点b（11b）和分布式存储系统节点c（11c）组成，另分布式存储系统（10）通过业务通信网络（14）向业务主机（15）提供数据卷（13）服务，同时分布式存储系统（10）通过时间点（12）来进行数据恢复的管理。
一种分布式存储系统数据恢复实现方法，其特征在于，该方法时间点（12）分为第一时间点、第二时间点和第X时间点，X为大于等于3的正整数。
一种分布式存储系统数据恢复实现方法，其特征在于，该方法分布式存储系统（10）的分布式存储系统节点a（11a）请求恢复时间点（12）的数据卷（13）第一时间点时，分布式存储系统节点a（11a）会请求查询分布式存储系统节点b（11b）和分布式存储系统节点c（11c）的数据卷（13）第二时间点信息，通过对比恢复两个时间点数据差即完成数据卷（13）到第一时间点数据。
一种分布式存储系统数据恢复实现方法，其特征在于，该方法分布式存储系统（10）中分布式存储系统节点a（11a）、分布式存储系统节点b（11b）和分布式存储系统节点c（11c）都可以为请求数据卷（13）的时间点（12）恢复，但同一时间只能由最先请求的节点进行。
一种分布式存储系统数据恢复实现方法，其特征在于，该方法分布式存储系统（10）中分布式存储系统节点a（11a）、分布式存储系统节点b（11b）和分布式存储系统节点c（11c）都可以为请求数据卷（13）的时间点（12）恢复，但恢复的时间点（12）只能逐步往后进行。
以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。

Claims (5)

1.一种分布式存储系统数据恢复实现方法，其特征在于，所述方法包含分布式存储系统（10）、分布式存储系统节点a（11a）、分布式存储系统节点b（11b）、分布式存储系统节点c（11c）、时间点（12）、数据卷（13）、业务通信网络（14）和业务主机（15），该方法分布式存储系统（10）由分布式存储系统节点a（11a）、分布式存储系统节点b（11b）和分布式存储系统节点c（11c）组成，另分布式存储系统（10）通过业务通信网络（14）向业务主机（15）提供数据卷（13）服务，同时分布式存储系统（10）通过时间点（12）来进行数据恢复的管理。
2.根据权利要求1所述的一种分布式存储系统数据恢复实现方法，其特征在于，该方法时间点（12）分为第一时间点、第二时间点和第X时间点，X为大于等于3的正整数。
3.根据权利要求1所述的一种分布式存储系统数据恢复实现方法，其特征在于，该方法分布式存储系统（10）的分布式存储系统节点a（11a）请求恢复时间点（12）的数据卷（13）第一时间点时，分布式存储系统节点a（11a）会请求查询分布式存储系统节点b（11b）和分布式存储系统节点c（11c）的数据卷（13）第二时间点信息，通过对比恢复两个时间点数据差即完成数据卷（13）到第一时间点数据。
4.根据权利要求1所述的一种分布式存储系统数据恢复实现方法，其特征在于，该方法分布式存储系统（10）中分布式存储系统节点a（11a）、分布式存储系统节点b（11b）和分布式存储系统节点c（11c）都可以为请求数据卷（13）的时间点（12）恢复，但同一时间只能由最先请求的节点进行。
5.根据权利要求1所述的一种分布式存储系统数据恢复实现方法，其特征在于，该方法分布式存储系统（10）中分布式存储系统节点a（11a）、分布式存储系统节点b（11b）和分布式存储系统节点c（11c）都可以为请求数据卷（13）的时间点（12）恢复，但恢复的时间点（12）只能逐步往后进行。
CN201810023785.2A 2018-01-10 2018-01-10 一种分布式存储系统数据恢复实现方法 Pending CN108363642A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810023785.2A CN108363642A (zh) 2018-01-10 2018-01-10 一种分布式存储系统数据恢复实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810023785.2A CN108363642A (zh) 2018-01-10 2018-01-10 一种分布式存储系统数据恢复实现方法

Publications (1)

Publication Number Publication Date
CN108363642A true CN108363642A (zh) 2018-08-03

Family

ID=63011197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810023785.2A Pending CN108363642A (zh) 2018-01-10 2018-01-10 一种分布式存储系统数据恢复实现方法

Country Status (1)

Country Link
CN (1) CN108363642A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978279A (zh) * 2014-12-30 2015-10-14 宁波江东圣阳软件有限公司 一种基于数据块的持续数据保护方法
CN105843704A (zh) * 2016-03-15 2016-08-10 上海爱数信息技术股份有限公司 一种结合分布式块存储的快照功能的数据保护方法及系统
US20160292250A1 (en) * 2013-12-12 2016-10-06 Huawei Technologies Co., Ltd. Data replication method and storage system
CN106354582A (zh) * 2016-08-18 2017-01-25 无锡华云数据技术服务有限公司 一种连续数据保护方法
CN107291391A (zh) * 2017-06-21 2017-10-24 郑州云海信息技术有限公司 一种用于分布式存储系统的数据处理方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160292250A1 (en) * 2013-12-12 2016-10-06 Huawei Technologies Co., Ltd. Data replication method and storage system
CN104978279A (zh) * 2014-12-30 2015-10-14 宁波江东圣阳软件有限公司 一种基于数据块的持续数据保护方法
CN105843704A (zh) * 2016-03-15 2016-08-10 上海爱数信息技术股份有限公司 一种结合分布式块存储的快照功能的数据保护方法及系统
CN106354582A (zh) * 2016-08-18 2017-01-25 无锡华云数据技术服务有限公司 一种连续数据保护方法
CN107291391A (zh) * 2017-06-21 2017-10-24 郑州云海信息技术有限公司 一种用于分布式存储系统的数据处理方法和系统

Similar Documents

Publication Publication Date Title
US10127086B2 (en) Dynamic management of data stream processing
CA2892889C (en) Scaling computing clusters
CN102880557B (zh) 一种异构数据源的多级分布式高速缓存的查找方法
US10356150B1 (en) Automated repartitioning of streaming data
Greenberg et al. {MDHIM}: A Parallel {Key/Value} Framework for {HPC}
CN104050102B (zh) 一种电信系统中的对象存储方法及装置
CN105025053A (zh) 基于云存储技术的分布式文件的上传方法及其系统
CN103118073B (zh) 一种云环境下虚拟机数据持久化存储系统和方法
Kaseb et al. An improved technique for increasing availability in Big Data replication
CN105045762A (zh) 一种配置文件的管理方法及装置
CN106960011A (zh) 分布式文件系统元数据管理系统及方法
Szalay et al. Minimizing state access delay for cloud-native network functions
CN106909436B (zh) 产生虚拟机消息队列应用程序的相关关系的方法与系统
Maenhaut et al. Design of a hierarchical software-defined storage system for data-intensive multi-tenant cloud applications
US11507313B2 (en) Datafall: a policy-driven algorithm for decentralized placement and reorganization of replicated data
CN108363642A (zh) 一种分布式存储系统数据恢复实现方法
CN114879907A (zh) 一种数据分布确定方法、装置、设备及存储介质
Kumar et al. BMAQR: balanced multi attribute QoS aware replication in HDFS
Pak et al. An efficient load balancing approach for N-hierarchical web server cluster
CN107888675A (zh) 一种分布式存储系统数据恢复实现方法
Prabavathy et al. A load balancing algorithm for private cloud storage
Selvi Geo-Distance Based 2-Replica Maintaining Algorithm for Ensuring the Reliability forever Even During the Natural Disaster on Cloud Storage System
CN108600288A (zh) 一种分布式存储系统标签管理数据存储实现方法
Nakazato et al. Data allocation method considering server performance and data access frequency with consistent hashing
EP3374882B1 (en) File system with distributed entity state

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180803

WD01 Invention patent application deemed withdrawn after publication