CN110764692B - 一种服务器集群环境下存储切片数据冗余、恢复方法及系统 - Google Patents

一种服务器集群环境下存储切片数据冗余、恢复方法及系统 Download PDF

Info

Publication number
CN110764692B
CN110764692B CN201910803557.1A CN201910803557A CN110764692B CN 110764692 B CN110764692 B CN 110764692B CN 201910803557 A CN201910803557 A CN 201910803557A CN 110764692 B CN110764692 B CN 110764692B
Authority
CN
China
Prior art keywords
storage
server
servers
intermediate node
root node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910803557.1A
Other languages
English (en)
Other versions
CN110764692A (zh
Inventor
赵汝聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Computing Power Jiangsu Intelligent Technology Co ltd
Original Assignee
Computing Power Jiangsu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Computing Power Jiangsu Intelligent Technology Co ltd filed Critical Computing Power Jiangsu Intelligent Technology Co ltd
Priority to CN201910803557.1A priority Critical patent/CN110764692B/zh
Publication of CN110764692A publication Critical patent/CN110764692A/zh
Application granted granted Critical
Publication of CN110764692B publication Critical patent/CN110764692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0623—Securing storage systems in relation to content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了服务器集群环境下存储切片数据冗余恢复的方法，该方法包括：请求存储数据用户向根节点服务器发送当前存储请求。根节点服务器在本地建立与多个中间节点服务器的存储单元的存储映射关系。根节点服务器根据中间节点服务器的数量切片所述存储文件获取各中间节点服务器的冗余存储文件。根节点服务器根据所述存储映射关系及所述各中间节点服务器的冗余存储文件的映射存储地址，在所述各中间节点服务器中冗余存储文件。解决了在存储空间有限且集中存储的风险高、存储可靠性的问题。

Description

一种服务器集群环境下存储切片数据冗余、恢复方法及系统
技术领域
本发明属于数据中心存储及数据安全的技术领域，尤其涉及一种服务器集群环境下存储切片数据冗余的方法及系统。
背景技术
现有数据中心的备份方法多采用全数据备份方案，若备份设备较多，则增大了系统备份成本。反之如果备份节点数量不足(只有单一备份点)，则容易发生备份数据丢失。针对上述问题在现有技术中，多采用定时对存储设备清存的方法实现对系统资源的释放，将长期闲置的数据清存，以保证活跃数据的正常使用，但上述方法并不适用于需要长期存储的数据，且定期清存增加了数据存储的风险，降低了数据存储的安全性。同时上述存储方法在出现地理区域的危害时，易造成全部数据的丢失，其数据的存储安全性低。
发明内容
本发明实施方式提供服务器集群存储切片数据冗余、恢复的方法及系统，解决了在存储空间有限且集中存储的风险高、存储可靠性的问题。
第一方面，本发明提供了一种服务器集群存储切片数据冗余的方法，该方法应用于包括多个集群服务器的存储系统中，每个集群服务器均具有存储单元，所述多个集群服务器分别位于不同的电网系统及不同地理位置；请求存储数据用户能够与所述多个集群服务器通信；其中，一种服务器集群数据冗余的存储方法，包括：
步骤S101，请求存储数据用户向根节点服务器发送当前存储请求；所述根节点服务器为多个集群服务器中任一个集群服务器；所述当前存储请求中包括存储文件；
步骤S102，所述根节点服务器在本地建立与多个中间节点服务器的存储单元的存储映射关系，所述存储映射关系中包括各中间节点服务器的存储地址；中间节点服务器为所述多个集群服务器中的其余服务器；
步骤S103，所述根节点服务器根据中间节点服务器的数量切片所述存储文件获取各中间节点服务器的冗余存储文件；所述根节点服务器根据所述存储映射关系中的存储地址生成所述各中间节点服务器的冗余存储文件的映射存储地址；
步骤S104，所述根节点服务器根据所述存储映射关系及所述各中间节点服务器的冗余存储文件的映射存储地址，在所述各中间节点服务器中冗余存储文件。
在本发明服务器集群环境下存储切片数据冗余的方法另一种实施方式中，所述步骤S103中所述根节点服务器根据中间节点服务器的数量切片所述存储文件获取各中间节点服务器的冗余存储文件的步骤为，
所述根节点服务器根据中间节点服务器的数量通过RAID算法切片所述存储文件获取各中间节点服务器的冗余存储文件。
在本发明服务器集群环境下存储切片数据冗余的方法再一种实施方式中，所述步骤S104中包括：
所述根节点服务器通过ISCSI存储方法、根据所述存储映射关系及所述各中间节点服务器的冗余存储文件的映射存储地址，在所述各中间节点服务器的冗余存储文件。
在本发明服务器集群环境下存储切片数据冗余的方法又一种实施方式中，所述步骤S104后还包括：
步骤S105，所述根节点服务器根据所述存储映射关系及所述各中间节点服务器的冗余存储文件的映射存储地址，获取所述存储文件的根节点信息、存储映射关系的路径、中间节点信息及各中间节点服务器的冗余存储文件的映射存储地址信息；
所述根节点服务器根据所述根节点信息、存储映射关系的路径、中间节点信息及各中间节点服务器的冗余存储文件的映射存储地址信息生成所述存储文件的元数据信息；
所述根节点服务器将所述存储文件的元数据信息存储于所述根节点服务器或所述多个节点服务器；
所述根节点服务器将所述存储文件的元数据信息返回到所述请求存储数据用户。
本发明的第二方面，提供了一种服务器集群环境下存储切片数据恢复的方法，该方法针对上述一种服务器集群环境下存储切片数据冗余的方法所存储的存储文件；
步骤S201，请求数据恢复用户向所述多个集群服务器的存储系统发送恢复文件请求；所述根节点或多个分支节点中的一个收到请求后根据恢复数据所对应的所述存储文件的元数据信息调用所述恢复数据对应的恢复存储文件；
步骤S202，所述根节点或多个分支节点中的一个将所述恢复存储文件返回所述请求数据恢复用户。
本发明的第三方面，提供了一种服务器集群环境下存储切片数据冗余的系统，包括多个集群服务器的存储系统中，每个集群服务器均具有存储单元，所述多个集群服务器分别位于不同的电网系统及不同地理位置；请求存储数据用户能够与所述多个集群服务器通信：还包括：
请求存储数据端，其配置为向根节点服务器发送当前存储请求；所述根节点服务器为多个集群服务器中任一个集群服务器；所述当前存储请求中包括存储文件；
所述根节点服务器，其配置为在本地建立与多个中间节点服务器的存储单元的存储映射关系，所述存储映射关系中包括各中间节点服务器的存储地址；中间节点服务器为所述多个集群服务器中的其余服务器；
所述根节点服务器，其配置为根据中间节点服务器的数量切片所述存储文件获取各中间节点服务器的冗余存储文件；所述根节点服务器根据所述存储映射关系中的存储地址生成所述各中间节点服务器的冗余存储文件的映射存储地址；
所述根节点服务器，其配置为根据所述存储映射关系及所述各中间节点服务器的冗余存储文件的映射存储地址，在所述各中间节点服务器中冗余存储文件。
在本发明服务器集群环境下存储切片数据冗余的系统另一种实施方式中，所述根节点服务器，其配置为根据中间节点服务器的数量通过RAID算法切片所述存储文件获取各中间节点服务器的冗余存储文件。
在本发明服务器集群环境下存储切片数据冗余的系统另一种实施方式中，其中，所述步骤S104中还包括，
所述根节点服务器，其还配置为通过ISCSI存储方法、根据所述存储映射关系及所述各中间节点服务器的冗余存储文件的映射存储地址，在所述各中间节点服务器的冗余存储文件。
在本发明服务器集群环境下存储切片数据冗余的系统另一种实施方式中，其中，所述根节点服务器，其还配置为根据所述存储映射关系及所述各中间节点服务器的冗余存储文件的映射存储地址，获取所述存储文件的根节点信息、存储映射关系的路径、中间节点信息及各中间节点服务器的冗余存储文件的映射存储地址信息；
所述根节点服务器，其还配置为根据所述根节点信息、存储映射关系的路径、中间节点信息及各中间节点服务器的冗余存储文件的映射存储地址信息生成所述存储文件的元数据信息；
所述根节点服务器，其还配置为将所述存储文件的元数据信息存储于所述根节点服务器或所述多个节点服务器；
所述根节点服务器，其还配置为将所述存储文件的元数据信息返回到所述请求存储数据用户。
本发明第四方面，提供了一种服务器集群环境下存储切片数据恢复的系统，其包括上述服务器集群环境下存储切片数据冗余的系统；所述服务器集群环境下存储切片数据恢复的系统包括，
请求数据恢复用户端，其配置为向所述多个集群服务器的存储系统发送恢复文件请求；所述根节点或多个分支节点中的一个收到请求后根据恢复数据所对应的所述存储文件的元数据信息调用所述恢复数据对应的恢复存储文件；
所述根节点或多个分支节点中的一个，其配置为将所述恢复存储文件返回所述请求数据恢复用户。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施方式提供的种服务器集群环境下存储切片数据冗余的方法的流程图。
图2为本发明中多个集群服务器的存储系统的组成示意图。
图3为本发明中服务器集群环境下存储切片数据冗余的方法中数据切片备份过程示意图。
图4为节点服务器中块设备Label上的元数据信息结构示意图。
图5为本发明一实施方式提供的服务器集群环境下存储切片数据恢复的方法的流程图。
图6为本发明中通过uberblock获取文件数据流程示意图。
图7为本发明另一实施方式提供的种服务器集群环境下存储切片数据冗余的方法的流程图。
图8为本发明中多个集群服务器中块设备Label上的元数据信息结构图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
第一方面，本发明提供了一种服务器集群环境下存储切片数据冗余的方法，如图2所示，该方法应用于包括多个集群服务器(即图2中的集群服务器节点 A、集群服务器节点B、集群服务器节点C、集群服务器节点D)的存储系统中，每个集群服务器均具有存储单元，多个集群服务器分别位于不同的电网系统及不同地理位置。请求存储数据用户能够与多个集群服务器通信。其中，一种服务器集群数据冗余的存储方法，如图1所示，包括：
步骤S101，发送当前存储请求。
本步骤中，请求存储数据用户(如图2中用户101、102或103)通过FC光纤交换机或万兆交换机向根节点服务器发送当前存储请求。根节点服务器(即集群服务器节点A)为多个集群服务器中任一个集群服务器。当前存储请求中包括存储文件。
步骤S102，建立存储映射关系。
本步骤中，根节点服务器在本地建立与多个中间节点服务器(即集群服务器节点B、集群服务器节点C、集群服务器节点D)的存储单元的存储映射关系，存储映射关系中包括各中间节点服务器的存储地址。中间节点服务器为多个集群服务器中的其余服务器。
步骤S103，创建切片块存储。
本步骤中，根节点服务器根据中间节点服务器的数量切片存储文件获取各中间节点服务器的冗余存储文件。根节点服务器根据存储映射关系中的存储地址生成各中间节点服务器的冗余存储文件的映射存储地址。
本方案数据切片备份的过程如图3所示，当用户应用数据向集群服务器节点 A的A站点设备发起写访问请求时。首先将写本地的存储池记录生产数据，然后在位图或者元数据库日志中记录增量修改，如果使用异步备份方式，此时会向用户服务端返回写请求结果，即不等待接下来的备份过程，此时已经完成了用户写请求访问，同时记录下来了本次增量修改情况，如果使用同步备份模式，必须等待备份完成后才向用户返回写访问结果；接下来进入数据备份阶段，在集群服务器节点A的站点上将生产数据下发到备份数据切片逻辑硬盘，进入数据切片逻辑硬盘组后的数据会按RAID算法对数据按条带进行切片，切片的数量为数据切片逻辑硬盘组中虚拟块设备的个数，即集群服务器节点B、C、D的个数3个站点，此阶段即完成1:3的数据切片，3份切片数据分别对应3个逻辑块设备，每个逻辑块设备分别映射到每个集群服务器节点B、C、D，集群服务器节点B、C、D的容灾设备通过ISCSI或者自定义的磁盘多路径管理模块将本身的存储空间映射到集群服务器节点A，被逻辑块设备模块进行管理，写入集群服务器节点A逻辑块设备的数据会被同步写到映射的集群服务器节点B、C、D设备中，当所有的3个切片数据写入完成后，即完成了3个分片数据的备份，然后从位图或元数据日志中清除此次增量修改，如果使用同步备份模式，此时才向用户服务端返回用户写访问结果。
上述切片文件的单元为集群服务器节点B、C、D的存储单元，从而更有利于实现高效存储。
在上述切片文件的生成过程中，在创建上述切片的数据块的同时，为切片数据块建立相应的校验位。当需要恢复数据时，其校验位和切片数据块通过异或计算校验，若同伙则恢复数据，从而提高了数据恢复的有效性及安全性。上述切片数据块相应的校验位存放于相应的集群服务器节点B、C、D中。
步骤S104，创建切片文件存储。
本步骤中，根节点服务器根据存储映射关系及各中间节点服务器的冗余存储文件的映射存储地址，在各中间节点服务器中冗余存储文件。
在本发明服务器集群环境下存储切片数据冗余的方法另一种实施方式中，步骤S103中根节点服务器根据中间节点服务器的数量切片存储文件获取各中间节点服务器的冗余存储文件的步骤为，
根节点服务器根据中间节点服务器的数量通过RAI D算法切片存储文件获取各中间节点服务器的冗余存储文件。
上述多个中间节点为优选为3个。本发明充分数据集群优势，实现3节点数据冗余方案，可以通过3节点中的任意2个节点完成数据恢复。
从而本发明一方面提供了较高的本地/异地数据保护，由于组成服务器集群的各个存储节点分布在不同的物理地点，即使是使用服务器数据集群的位置发生了毁灭性事件，也不会破坏存储在各个存储节点磁盘上的数据。
另一方面，可以平衡内存和磁盘之间的速度。由于网络延迟等因素，防止了内存中数据的大量增加，起到了类似流量控制的作用缓和了内存和磁盘之间的速度差别的矛盾。
在本发明服务器集群环境下存储切片数据冗余的方法再一种实施方式中，步骤S104中包括：
根节点服务器通过ISCSI存储方法、根据存储映射关系及各中间节点服务器的冗余存储文件的映射存储地址，在各中间节点服务器的冗余存储文件。
在本发明服务器集群环境下存储切片数据冗余的方法又一种实施方式中，如图7所示，步骤S104后还包括：
步骤S105，获取元数据。
本步骤中，根节点服务器根据存储映射关系及各中间节点服务器的冗余存储文件的映射存储地址，获取存储文件的根节点信息、存储映射关系的路径、中间节点信息及各中间节点服务器的冗余存储文件的映射存储地址信息。
根节点服务器根据根节点信息、存储映射关系的路径、中间节点信息及各中间节点服务器的冗余存储文件的映射存储地址信息生成存储文件的元数据信息。
根节点服务器将存储文件的元数据信息存储于根节点服务器或多个节点服务器。
根节点服务器将存储文件的元数据信息返回到请求存储数据用户。
备份集群不对存储的数据进行备份，而是把数据和相对应的奇偶校验信息存储到组成RAID 5的各个节点上，并且奇偶校验信息和相对应的数据分别存储于不同的节点上。当一个集群数据发生损坏后，利用剩下的数据和相应的校验信息去恢复被损坏的数据。
由于在资源管理中心通过ISCSI或自定义跨站点磁盘多路径将集群服务器节点B、C、D的块设备通过数据切片逻辑硬盘组来创建存储池，因此集群服务器节点B、C、D的块设备上保存有整个存储池的结构信息，即数据切片逻辑硬盘组的元数据信息。这些元数据信息存储在块设备的Label上，具体的分布见图4块设备Label上的元数据信息。
Label(L0～L3)分为4块均匀分布在块设备的边缘(该边缘为地理位置上设置的边缘，从而避免过为集中造成设备同时受到危害的情形)做冗余，以防止意外掉电或其他故障导致Label损坏。Label上的Name/Value Pairs记录有id (地址),path(路径),devid(属性),vdev_tree(根节点地址或变量信息) 等元数据信息，其中vdev_tree描述了整个存储池的结构，详见图8块设备 Label上的元数据信息。vdev_tree分为三个层次，本质上是一个多叉树。最顶层为root根节点，第二层为逻辑层，对应数据切片逻辑硬盘组，第三层为设备层，对应集群服务器节点B、C、D的块设备。逻辑层节点的个数为集群服务器节点B、C、D的个数，设备层节点的个数为集群服务器节点B、C、D的块设备数目。
本发明的第二方面，提供了一种服务器集群环境下存储切片数据恢复的方法，图5所示，该方法针对上述一种服务器集群环境下存储切片数据冗余的方法所存储的存储文件。
步骤S201，发送恢复文件请求。
本步骤中，请求数据恢复用户向多个集群服务器的存储系统发送恢复文件请求。根节点或多个分支节点中的一个收到请求后根据恢复数据所对应的存储文件的元数据信息调用恢复数据对应的恢复存储文件。
步骤S202，发送恢复数据。
本步骤中，根节点或多个分支节点中的一个将恢复存储文件返回请求数据恢复用户。
一种服务器集群环境下存储切片数据恢复的方法的数据恢复中，如图6所示，元数据信息中Label记录有Uberblock数组，每个Uberblock对应一个事务的信息入口地址。可以从Uberblock为起点遍历指针树找到文件具体的存放位置。Uberblock数组中有一个元素对应当前最新的事务入口地址。
根据Uberblock提供的地址可以找到目标对象集的元数据metadnode，进一步可找到MOS信息。MOS信息为dnode的数组，每个dnode都有相应的类型，其中Object Directorydnode是一个ZAP的dnode，ZAP描述的是属性信息。这里的ZAP dnode记录了rootdataset在数组中对应的索引。MOS里面类型为 DMU_OT_DSL_DATASET的dnode中存储有文件系统或LUN的入口地址。
继续从文件系统或LUN的入口地址开始，遍历指针树(遍历6级间接块的地址)可再次找到一个dnode数组。对LUN而言，DMU_OT_ZVOL类型的dnode为 LUN数据的入口地址，再次遍历指针树可以获取LUN的数据；对文件系统而言， MU_OT_DIRECTORY_CONTENTS类型dnode记录有目录的信息， DMU_OT_PLAIN_FILE_CONTENTS类型的dnode为实际数据的入口地址。目录dnode 实际上是一个ZAP，里面描述了目录中所含文件dnode在整个dnode数组中的索引。可以通过目录dnode恢复出整个目录结构。通过Uberblock寻找数据的流程详见图5通过uberblock获取文件数据流程。
从上面流程可以看出，如果知道存储池的结构以及元数据信息是可以恢复出具体的文件数据的。在数据中心A上，通过ISCSI或跨站点磁盘多路径将集群服务器节点B、C、D服务器的磁盘通过数据切片逻辑硬盘组模块来创建池，那么每个集群服务器节点B、C、D服务器的磁盘上都会保存数据切片逻辑硬盘组的元数据信息，这样为后续集群服务器节点B、C、D数据恢复提供了一个有力的支持。
上述一种服务器集群环境下存储切片数据冗余、恢复的方法数据具体实施过程为：
1.数据存储时，采用数据分割方式，将服务器节点ABC数据分散成相同大小的数据块中。
2.每个服务器节点分数据块和校验位，并通过异或计算，恢复数据。
3.当某一网络节点受损时，首先补充新网络节点并加入网络。
4.通过完好的两个节点中的校验码，将数据通过异或计算，重新得到受损网络节点的数据。
本发明的第三方面，提供了一种服务器集群环境下存储切片数据冗余的系统，包括多个集群服务器的存储系统中，每个集群服务器均具有存储单元，多个集群服务器分别位于不同的电网系统及不同地理位置。请求存储数据用户能够与多个集群服务器通信：还包括：
请求存储数据端，其配置为向根节点服务器发送当前存储请求。根节点服务器为多个集群服务器中任一个集群服务器。当前存储请求中包括存储文件。
根节点服务器，其配置为在本地建立与多个中间节点服务器的存储单元的存储映射关系，存储映射关系中包括各中间节点服务器的存储地址。中间节点服务器为多个集群服务器中的其余服务器。
根节点服务器，其配置为根据中间节点服务器的数量切片存储文件获取各中间节点服务器的冗余存储文件。根节点服务器根据存储映射关系中的存储地址生成各中间节点服务器的冗余存储文件的映射存储地址。
根节点服务器，其配置为根据存储映射关系及各中间节点服务器的冗余存储文件的映射存储地址，在各中间节点服务器中冗余存储文件。
在本发明服务器集群环境下存储切片数据冗余的系统另一种实施方式中，根节点服务器，其配置为根据中间节点服务器的数量通过RAID算法切片存储文件获取各中间节点服务器的冗余存储文件。
在本发明服务器集群环境下存储切片数据冗余的系统另一种实施方式中，其中，步骤S104中还包括，
根节点服务器，其还配置为通过ISCSI存储方法、根据存储映射关系及各中间节点服务器的冗余存储文件的映射存储地址，在各中间节点服务器的冗余存储文件。
在本发明服务器集群环境下存储切片数据冗余的系统另一种实施方式中，其中，根节点服务器，其还配置为根据存储映射关系及各中间节点服务器的冗余存储文件的映射存储地址，获取存储文件的根节点信息、存储映射关系的路径、中间节点信息及各中间节点服务器的冗余存储文件的映射存储地址信息。
根节点服务器，其还配置为根据根节点信息、存储映射关系的路径、中间节点信息及各中间节点服务器的冗余存储文件的映射存储地址信息生成存储文件的元数据信息。
根节点服务器，其还配置为将存储文件的元数据信息存储于根节点服务器或多个节点服务器。
根节点服务器，其还配置为将存储文件的元数据信息返回到请求存储数据用户。
本发明第四方面，提供了一种服务器集群环境下存储切片数据恢复的系统，其包括上述服务器集群环境下存储切片数据冗余的系统。服务器集群环境下存储切片数据恢复的系统包括，
请求数据恢复用户端，其配置为向多个集群服务器的存储系统发送恢复文件请求。根节点或多个分支节点中的一个收到请求后根据恢复数据所对应的存储文件的元数据信息调用恢复数据对应的恢复存储文件。
根节点或多个分支节点中的一个，其配置为将恢复存储文件返回请求数据恢复用户。
本发明实施方式的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括: 音频、音频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子单元。
以上所描述的单元实施方式仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如 ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施方式或者实施方式的某些部分的方法。
最后应说明的是：以上实施方式仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施方式技术方案的精神和范围。

Claims (8)

1.一种服务器集群环境下存储切片数据冗余的方法，该方法应用于包括多个集群服务器的存储系统中，每个集群服务器均具有存储单元，所述多个集群服务器分别位于不同的电网系统及不同地理位置；请求存储数据用户能够与所述多个集群服务器通信；其中，一种服务器集群环境下存储切片数据冗余的方法，包括：
步骤S101，请求存储数据用户向根节点服务器发送当前存储请求；所述根节点服务器为多个集群服务器中任一个集群服务器；所述当前存储请求中包括存储文件；
步骤S102，所述根节点服务器在本地建立与多个中间节点服务器的存储单元的存储映射关系，所述存储映射关系中包括各中间节点服务器的存储地址；中间节点服务器为所述多个集群服务器中的其余服务器；
步骤S103，所述根节点服务器根据中间节点服务器的数量切片所述存储文件，以获取各中间节点服务器的冗余存储文件；所述根节点服务器根据所述存储映射关系中的存储地址生成所述各中间节点服务器的冗余存储文件的映射存储地址；
步骤S104，所述根节点服务器根据所述存储映射关系及所述各中间节点服务器的冗余存储文件的映射存储地址，在所述各中间节点服务器中冗余存储文件；
所述步骤S104后还包括：
步骤S105，所述根节点服务器根据所述存储映射关系及所述各中间节点服务器的冗余存储文件的映射存储地址，获取所述存储文件的根节点信息、存储映射关系的路径、中间节点信息及各中间节点服务器的冗余存储文件的映射存储地址信息；
所述根节点服务器根据所述根节点信息、存储映射关系的路径、中间节点信息及各中间节点服务器的冗余存储文件的映射存储地址信息生成所述存储文件的元数据信息；
所述根节点服务器将所述存储文件的元数据信息存储于所述根节点服务器或所述多个中间节点服务器；
所述根节点服务器将所述存储文件的元数据信息返回到所述请求存储数据用户。
2.根据权利要求1所述的方法，所述步骤S103中所述根节点服务器根据中间节点服务器的数量切片所述存储文件获取各中间节点服务器的冗余存储文件的步骤为，
所述根节点服务器根据中间节点服务器的数量通过RAID算法切片所述存储文件获取各中间节点服务器的冗余存储文件。
3.根据权利要求2所述的方法，所述步骤S104中包括：
所述根节点服务器通过ISCSI存储方法、根据所述存储映射关系及所述各中间节点服务器的冗余存储文件的映射存储地址，在所述各中间节点服务器的冗余存储文件。
4.一种服务器集群环境下存储切片数据恢复的方法，该方法针对如权利要求1所述服务器集群环境下存储切片数据冗余的方法所存储的存储文件；该方法包括：
步骤S201，请求数据恢复用户向所述多个集群服务器的存储系统发送恢复文件请求；根节点或多个中间节点中的一个收到请求后根据恢复数据所对应的所述存储文件的元数据信息调用所述恢复数据对应的恢复存储文件；
步骤S202，所述根节点或多个中间节点中的一个将所述恢复存储文件返回所述请求数据恢复用户。
5.一种服务器集群环境下存储切片数据冗余的系统，包括多个集群服务器的存储系统中，每个集群服务器均具有存储单元，所述多个集群服务器分别位于不同的电网系统及不同地理位置；请求存储数据用户能够与所述多个集群服务器通信：还包括：
请求存储数据端，其配置为向根节点服务器发送当前存储请求；所述根节点服务器为多个集群服务器中任一个集群服务器；所述当前存储请求中包括存储文件；
所述根节点服务器，其配置为在本地建立与多个中间节点服务器的存储单元的存储映射关系，所述存储映射关系中包括各中间节点服务器的存储地址；中间节点服务器为所述多个集群服务器中的其余服务器；
所述根节点服务器，其配置为根据中间节点服务器的数量切片所述存储文件，以获取各中间节点服务器的冗余存储文件；所述根节点服务器根据所述存储映射关系中的存储地址生成所述各中间节点服务器的冗余存储文件的映射存储地址；
所述根节点服务器，其配置为根据所述存储映射关系及所述各中间节点服务器的冗余存储文件的映射存储地址，在所述各中间节点服务器中冗余存储文件；
所述根节点服务器，其还配置为根据所述存储映射关系及所述各中间节点服务器的冗余存储文件的映射存储地址，获取所述存储文件的根节点信息、存储映射关系的路径、中间节点信息及各中间节点服务器的冗余存储文件的映射存储地址信息；
所述根节点服务器，其还配置为根据所述根节点信息、存储映射关系的路径、中间节点信息及各中间节点服务器的冗余存储文件的映射存储地址信息生成所述存储文件的元数据信息；
所述根节点服务器，其还配置为将所述存储文件的元数据信息存储于所述根节点服务器或所述多个中间节点服务器；
所述根节点服务器，其还配置为将所述存储文件的元数据信息返回到所述请求存储数据用户。
6.根据权利要求5所述的系统，所述根节点服务器，其配置为根据中间节点服务器的数量通过RAID算法切片所述存储文件获取各中间节点服务器的冗余存储文件。
7.根据权利要求6所述的系统，其中，所述根节点服务器，其还配置为通过ISCSI存储方法、根据所述存储映射关系及所述各中间节点服务器的冗余存储文件的映射存储地址，在所述各中间节点服务器的冗余存储文件。
8.一种服务器集群环境下存储切片数据恢复的系统，其包括如权利要求5所述的服务器集群环境下存储切片数据冗余的系统；所述服务器集群环境下存储切片数据恢复的系统包括：
请求数据恢复用户端，其配置为向所述多个集群服务器的存储系统发送恢复文件请求；根节点或多个中间节点中的一个收到请求后根据恢复数据所对应的存储文件的元数据信息调用所述恢复数据对应的恢复存储文件；
根节点或多个中间节点中的一个，其配置为将所述恢复存储文件返回所述请求数据恢复用户。
CN201910803557.1A 2019-08-28 2019-08-28 一种服务器集群环境下存储切片数据冗余、恢复方法及系统 Active CN110764692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910803557.1A CN110764692B (zh) 2019-08-28 2019-08-28 一种服务器集群环境下存储切片数据冗余、恢复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910803557.1A CN110764692B (zh) 2019-08-28 2019-08-28 一种服务器集群环境下存储切片数据冗余、恢复方法及系统

Publications (2)

Publication Number Publication Date
CN110764692A CN110764692A (zh) 2020-02-07
CN110764692B true CN110764692B (zh) 2022-11-11

Family

ID=69329478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910803557.1A Active CN110764692B (zh) 2019-08-28 2019-08-28 一种服务器集群环境下存储切片数据冗余、恢复方法及系统

Country Status (1)

Country Link
CN (1) CN110764692B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110154A (zh) * 2011-02-21 2011-06-29 中国科学院计算技术研究所 一种集群文件系统中文件冗余存储方法
CN102857554A (zh) * 2012-07-26 2013-01-02 福建网龙计算机网络信息技术有限公司 基于分布式存储系统进行数据冗余处理方法
CN107678688A (zh) * 2017-09-27 2018-02-09 柏域信息科技（上海）有限公司 一种基于云存储系统中的管理冗余副本的方法、装置和存储介质
CN107870726A (zh) * 2016-09-26 2018-04-03 北京优朋普乐科技有限公司 基于冗余机制的数据存储方法和装置、服务器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110154A (zh) * 2011-02-21 2011-06-29 中国科学院计算技术研究所 一种集群文件系统中文件冗余存储方法
CN102857554A (zh) * 2012-07-26 2013-01-02 福建网龙计算机网络信息技术有限公司 基于分布式存储系统进行数据冗余处理方法
CN107870726A (zh) * 2016-09-26 2018-04-03 北京优朋普乐科技有限公司 基于冗余机制的数据存储方法和装置、服务器
CN107678688A (zh) * 2017-09-27 2018-02-09 柏域信息科技（上海）有限公司 一种基于云存储系统中的管理冗余副本的方法、装置和存储介质

Also Published As

Publication number Publication date
CN110764692A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
US10042707B2 (en) Recovering affinity with imposter slices
US10387382B2 (en) Estimating a number of entries in a dispersed hierarchical index
US10114588B2 (en) Consolidating encoded data slices in read memory devices in a distributed storage network
US10073652B2 (en) Performance optimized storage vaults in a dispersed storage network
US20180357122A1 (en) Unfavorable storage growth rate abatement
US9195392B2 (en) Distributed storage method, apparatus, and system
US10387273B2 (en) Hierarchical fault tolerance in system storage
CN102938784A (zh) 应用于分布式存储系统中的数据存储方法和系统
CN103124299A (zh) 一种异构环境下的分布式块级别存储系统
US20180074903A1 (en) Processing access requests in a dispersed storage network
US11327674B2 (en) Storage vault tiering and data migration in a distributed storage network
US10592335B2 (en) Using data object copies to improve the performance of a distributed storage network
US10592138B1 (en) Avoiding storage device overlap in raid extent sub group and keeping relationship balance on mapped raid system and method
CN107301021B (zh) 一种利用ssd缓存对lun进行加速的方法和装置
US10678462B2 (en) Rebalancing data storage in a dispersed storage network
CN110764692B (zh) 一种服务器集群环境下存储切片数据冗余、恢复方法及系统
WO2017004157A1 (en) Method and system for processing data access requests during data transfers
US10067998B2 (en) Distributed sync list
Li et al. Exploiting decoding computational locality to improve the I/O performance of an XOR-coded storage cluster under concurrent failures
He et al. Replicate distribution method of minimum cost in cloud storage for Internet of things
US20230342250A1 (en) Allocating Data in a Decentralized Computer System
US10346218B2 (en) Partial task allocation in a dispersed storage network
US20180074858A1 (en) Multi-layer distribution of a computing task in a dispersed storage network
CN107404499A (zh) 基于云存储和Hadoop的双方的构造来提示存储配置的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant