CN111475109B - 一种数据处理方法、装置、设备及介质 - Google Patents

一种数据处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN111475109B
CN111475109B CN202010201960.XA CN202010201960A CN111475109B CN 111475109 B CN111475109 B CN 111475109B CN 202010201960 A CN202010201960 A CN 202010201960A CN 111475109 B CN111475109 B CN 111475109B
Authority
CN
China
Prior art keywords
erasure code
xor
target data
node
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010201960.XA
Other languages
English (en)
Other versions
CN111475109A (zh
Inventor
崔新辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010201960.XA priority Critical patent/CN111475109B/zh
Publication of CN111475109A publication Critical patent/CN111475109A/zh
Application granted granted Critical
Publication of CN111475109B publication Critical patent/CN111475109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本申请提供一种数据处理方法，包括：接收到读取目标数据的读取指令，其中，目标数据存储在XOR纠删码节点和RS纠删码节点中；根据读取指令，判断纠删码节点是否存在故障，其中，纠删码节点包括XOR纠删码节点和RS纠删码节点；若不存在故障，则从XOR纠删码节点中读取目标数据；若存在故障，则确定故障的纠删码节点的故障数量，并根据故障数量利用对应的纠删码技术从对应的纠删码节点中读取目标数据。本申请在提升分布式存储文件系统的存储利用率的同时，提高了数据的安全性欲数据修复的能力。本申请同时还提供了一种数据处装置、电子设备和计算机可读存储介质，均具有上述有益效果。

Description

一种数据处理方法、装置、设备及介质
技术领域
本申请涉及数据存储技术领域，特别涉及一种数据处理方法、数据处理装置、电子设备和计算机可读存储介质。
背景技术
为保证数据的可靠性和安全性，HDFS的每份数据默认有两个数据副本，副本提供了一种简单而健壮的冗余方式来最大化保证数据的可用性，但对应的消耗了巨大的存储空间，存储使用率仅为1/3。但随着需要存储的数据被越来越快的产生，越来越高的HDFS存储利用率要求被提出,纠删码技术开始应用于大数据领域。纠删码技术主要是通过利用纠删码算法将原始的数据进行编码得到校验，并将数据和校验一并存储起来，以达到容错的目的，与三副本方式相比，纠删码技术可以将存储成本降低。
但是，目前主要采取的是将EC纠删码策略应用于HDFS，使用更少的存储却可以保证相同级别的容错。纠删码技术主要是通过利用纠删码算法将原始的数据进行编码得到校验，并将数据和校验一并存储起来，以达到容错的目的。常用的EC纠删码策略有XOR纠删码和RS纠删码，其中，使用XOR策略，编解码速度快，性能高，但缺点是当丢失或损坏的数据位超过1位时，数据恢复的可靠性降低；使用RS纠删码可以容忍每组多个故障，但取而代之的是对CPU的消耗，当出现单个故障时，使用RS纠删码恢复数据性能较低。
因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本申请的目的是提供一种数据处理方法、数据处理装置、电子设备和计算机可读存储介质，能够自适应的进行目标数据的读取，在提升分布式存储文件系统的存储利用率的同时，提高了数据的安全性与数据修复的能力。其具体方案如下：
本申请公开了一种数据处理方法，包括：
接收到读取目标数据的读取指令，其中，所述目标数据存储在XOR纠删码节点和RS纠删码节点中；
根据所述读取指令，判断纠删码节点是否存在故障，其中，所述纠删码节点包括所述XOR纠删码节点和所述RS纠删码节点；
若不存在故障，则从所述XOR纠删码节点中读取所述目标数据；
若存在故障，则确定故障的纠删码节点的故障数量，并根据所述故障数量利用对应的纠删码技术从对应的所述纠删码节点中读取所述目标数据。
可选的，所述接收到读取所述目标数据的读取指令之前，还包括：
接收到所述目标数据的写指令；
根据所述写指令将所述目标数据按照XOR纠删码技术存储在所述XOR纠删码节点中，将所述目标数据按照RS纠删码技术存储在所述RS纠删码节点中。
可选的，所述根据所述故障数量利用对应的纠删码技术从对应的所述纠删码节点中读取所述目标数据，包括：
判断所述故障数量是否小于预设阈值；
若小于所述预设阈值，则利用所述XOR纠删码技术从所述XOR纠删码节点中读取所述目标数据；
若不小于所述预设阈值，则判断所述XOR纠删码节点的XOR故障数量是否小于所述预设阈值；
若所述XOR故障数量小于所述预设阈值，则利用所述XOR纠删码技术从所述XOR纠删码节点中读取所述目标数据；
若所述XOR故障数量不小于所述预设阈值，则利用所述RS纠删码技术从所述RS纠删码节点中读取所述目标数据。
可选的，所述根据所述故障数量利用对应的纠删码技术从对应的所述纠删码节点中读取所述目标数据，包括：
判断所述故障数量中故障的所述XOR纠删码节点的数量是否小于预设阈值；
若小于所述预设阈值，则利用所述XOR纠删码技术从所述XOR纠删码节点中读取所述目标数据；
若不小于所述预设阈值，则利用所述RS纠删码技术从所述RS纠删码节点中读取所述目标数据。
可选的，所述根据所述故障数量利用对应的纠删码技术从对应的所述纠删码节点中读取所述目标数据之后，还包括：
记录故障信息，并将所述故障信息发送至后台服务器。
本申请提供了一种数据处理装置，包括：
读取指令接收模块，用于接收到读取目标数据的读取指令，其中，所述目标数据存储在XOR纠删码节点和RS纠删码节点中；
纠删码节点故障判断模块，用于根据所述读取指令，判断纠删码节点是否存在故障，其中，所述纠删码节点包括所述XOR纠删码节点和所述RS纠删码节点；
第一读取模块，用于若不存在故障，则从所述XOR纠删码节点中读取所述目标数据；
第二读取模块，用于若存在故障，则确定故障的纠删码节点的故障数量，并根据所述故障数量利用对应的纠删码技术从对应的所述纠删码节点中读取所述目标数据。
可选的，还包括：
写指令接收模块，用于接收到所述目标数据的写指令；
写模块，用于根据所述写指令将所述目标数据按照XOR纠删码技术存储在所述XOR纠删码节点中，将所述目标数据按照RS纠删码技术存储在所述RS纠删码节点中。
可选的，所述第二读取模块，包括：
第一判断单元，用于判断所述故障数量是否小于预设阈值；
第一读取单元，用于若小于所述预设阈值，则利用所述XOR纠删码技术从所述XOR纠删码节点中读取所述目标数据；
第二判断单元，用于若不小于所述预设阈值，则判断所述XOR纠删码节点的XOR故障数量是否小于所述预设阈值；
第二读取单元，用于若所述XOR故障数量小于所述预设阈值，则利用所述XOR纠删码技术从所述XOR纠删码节点中读取所述目标数据；
第三读取单元，用于若所述XOR故障数量不小于所述预设阈值，则利用所述RS纠删码技术从所述RS纠删码节点中读取所述目标数据。
本申请提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述数据处理方法的步骤。
本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述数据处理方法的步骤。
本申请提供一种数据处理方法，包括：接收到读取目标数据的读取指令，其中，目标数据存储在XOR纠删码节点和RS纠删码节点中；根据读取指令，判断纠删码节点是否存在故障，其中，纠删码节点包括XOR纠删码节点和RS纠删码节点；若不存在故障，则从XOR纠删码节点中读取目标数据；若存在故障，则确定故障的纠删码节点的故障数量，并根据故障数量利用对应的纠删码技术从对应的纠删码节点中读取目标数据。
可见，本申请在分布式存储文件系统中，对每一个目标数据使用两种方式进行存储，分别存储在XOR纠删码节点和RS纠删码节点中，在纠删码节点正常工作，接收到读取指令时，能够根据纠删码节点的故障数量确定是从XOR纠删码节点还是RS纠删码节点中读取目标数据，能够自适应的进行目标数据的读取，在提升分布式存储文件系统的存储利用率的同时，提高了数据的安全性与数据修复的能力。
本申请同时还提供了一种数据处装置、电子设备和计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种数据处理方法的流程图；
图2为本申请实施例提供的一种目标数据写机制的结构示意图；
图3为本申请实施例提供的一种数据处理装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图；
图5为本申请实施例提供的另一种电子设备的结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
常用的EC纠删码策略有XOR纠删码和RS纠删码，其中，使用XOR策略，编解码速度快，性能高，但缺点是当丢失或损坏的数据位超过1位时，数据恢复的可靠性降低；使用RS纠删码可以容忍每组多个故障，但取而代之的是对CPU的消耗，当出现单个故障时，使用RS纠删码恢复数据性能较低。基于上述技术问题，本实施例提供一种数据处理方法，具体请参考图1，图1为本申请实施例所提供的一种数据处理方法的流程图，具体包括：
S110、接收到读取目标数据的读取指令，其中，目标数据存储在XOR纠删码节点和RS纠删码节点中；
进一步的，步骤S110之前，还包括：接收到目标数据的写指令；根据写指令将目标数据按照XOR纠删码技术存储在XOR纠删码节点中，将目标数据按照RS纠删码技术存储在RS纠删码节点中。
本实施例提供一种数据处理方法，基于XOR纠删码技术和RS纠删码技术混合的存储方法，在分布式存储文件系统HDFS中对每一个目标数据使用两种方式进行存储，一部分纠删码节点使用XOR纠删码技术存储，则对应的节点记为XOR纠删码节点，另外一部分节点使用RS纠删码技术存储，则对应的节点记为RS纠删码节点。可以理解的是，纠删码技术是将ｋ块原始的数据元素（k块原始的数据元素构成目标数据）通过一定的编码计算，得到ｍ块校验元素。对于这ｋ+ｍ块元素，当其中任意的ｍ块元素出错（包括数据和校验出错），均可以通过对应的重构算法恢复出原来的ｋ块数据。生成校验的过程被成为编码（encoding），恢复丢失数据块的过程被称为解码（decoding）。
请参考图2，图2为本申请实施例提供的一种目标数据写机制的结构示意图。其中，XOR纠删码技术对应有三个XOR纠删码节点，在进行数据存储时，将目标数据划分为2部分，分别存储在第一个XOR纠删码节点和第二XOR纠删码节点中，在第三个XOR纠删码节点中存储校验数据。RS纠删码技术对应有三个RS纠删码节点，在进行数据存储时，将目标数据划分为N部分，分别存储在第一个至第N个RS纠删码节点中，在第N+1个至第X个RS纠删码节点中存储校验数据。本实施例中的存储效果与HDFS的三副本方式相比，提高了33%的存储利用率；与XOR策略存储相比，提高了数据恢复的可靠性；与RS策略相比，提高了存储及恢复性能。
S120、根据读取指令，判断纠删码节点是否存在故障，其中，纠删码节点包括XOR纠删码节点和RS纠删码节点；
本步骤的目的是判断是否存在故障的纠删码节点。
S130、若不存在故障，则从XOR纠删码节点中读取目标数据；
当不存在故障时，使用XOR纠删码技术从XOR纠删码节点中读取目标数据，可以理解的是，使用XOR纠删码技术，编解码速度快，性能高，避免了使用RS纠删码技术造成的可靠性低或者CPU消耗严重的问题。
S140、若存在故障，则确定故障的纠删码节点的故障数量，并根据故障数量利用对应的纠删码技术从对应的纠删码节点中读取目标数据。
在一种可实现的实施方式中，步骤S140可以包括：判断故障数量是否小于预设阈值；若小于预设阈值，则利用XOR纠删码技术从XOR纠删码节点中读取目标数据；若不小于预设阈值，则判断XOR纠删码节点的XOR故障数量是否小于预设阈值；若XOR故障数量小于预设阈值，则利用XOR纠删码技术从XOR纠删码节点中读取目标数据；若XOR故障数量不小于预设阈值，则利用RS纠删码技术从RS纠删码节点中读取目标数据。
其中，本实施例中，首先判断的是所有纠删码节点中的故障数量，能够不加区分地进行统计，能够提高判断效率。然后当总的故障数量小于预设阈值时，本实施例中预设阈值设置为2，故障数量小于2即故障数量为1时，存在两种情况，一种是XOR纠删码节点的一个故障，一种是RS纠删码节点的一个故障，此时，利用XOR纠删码技术进行数据恢复，然后从XOR纠删码节点中读取目标数据，具有高的编解码速率，性能高，避免了从RS纠删码节点读取数据造成的可靠性低和CPU消耗严重的情况的发生。当不小于预设阈值，即使2、3或者其他数量，此时，需要判断XOR纠删码节点的XOR故障数量是否小于预设阈值，如果小于2即为1，此时，利用XOR纠删码技术进行数据恢复，然后从XOR纠删码节点中读取目标数据，具有高的编解码速率，性能高，避免了从RS纠删码节点读取数据造成的可靠性低和CPU消耗严重的情况的发生；如果XOR故障数量不小于预设阈值，即使2、3或者其他数量，此时利用RS纠删码技术进行数据恢复，然后从RS纠删码节点中读取目标数据，能够保证数据恢复的可靠性。
可见，本实施例提出一种基于XOR与RS纠删码混合的自适应存储方法，使用该方法可以使数据在数据丢失时自适应的选择对应的纠删码技术进行数据恢复。既解决HDFS使用三副本时存储利用率低的问题，也规避使用单一纠删码策略的可靠性低或者CPU消耗严重的劣势，在提高存储利用率的情况下，保证数据可靠性并达到较优的性能。本实施例提出的自适应存储方法，当出现单个纠删码节点故障能够自适应的启动XOR纠删码技术进行数据恢复，出现多个纠删码节点故障时启动XOR纠删码技术，在提升HDFS数据的存储利用率的同时，提高了数据的安全性和数据修复能力。
在另一种可实现的实施方式中，步骤S140可以包括：判断故障数量中故障的XOR纠删码节点的数量是否小于预设阈值；若小于预设阈值，则利用XOR纠删码技术从XOR纠删码节点中读取目标数据；若不小于预设阈值，则利用RS纠删码技术从RS纠删码节点中读取目标数据。
在本实施例中，只要是XOR纠删码节点的数量小于预设阈值，则利用XOR纠删码技术进行数据恢复，然后从XOR纠删码节点中读取目标数据，否则利用RS纠删码技术进行数据恢复，然后从RS纠删码节点中读取目标数据。规避使用单一纠删码策略的可靠性低或者CPU消耗严重的劣势，在提高存储利用率的情况下，保证数据可靠性并达到较优的性能。
进一步的，步骤S140之后，还包括：记录故障信息，并将故障信息发送至后台服务器。其中，故障信息包括但是不限定于故障时间、故障纠删码节点。通过记录和故障消息的发送至后台服务器，能够实时记录故障信息，便于相关技术人员查看。
本实施例将HDFS数据即目标数据分为两种纠删码技术进行存储，在不同的环境下可自适应的选择RS纠删码技术或者XOR纠删码技术进行存储或数据故障恢复，不仅可以提高存储利用率，而且在保证数据可靠性的前提下，提升存储性能。
基于上述技术方案，本实施例在分布式存储文件系统中，对每一个目标数据使用两种方式进行存储，分别存储在XOR纠删码节点和RS纠删码节点中，在纠删码节点正常工作，接收到读取指令时，能够根据纠删码节点的故障数量确定是从XOR纠删码节点还是RS纠删码节点中读取目标数据，能够自适应的进行目标数据的读取，在提升分布式存储文件系统的存储利用率的同时，提高了数据的安全性与数据修复的能力。
下面对本申请实施例提供的一种数据处理装置进行介绍，下文描述的数据处理装置与上文描述的数据处理方法可相互对应参照，参考图3，图3为本申请实施例所提供的一种数据处理装置的结构示意图，包括：
读取指令接收模块310，用于接收到读取目标数据的读取指令，其中，目标数据存储在XOR纠删码节点和RS纠删码节点中；
纠删码节点故障判断模块320，用于根据读取指令，判断纠删码节点是否存在故障，其中，纠删码节点包括XOR纠删码节点和RS纠删码节点；
第一读取模块330，用于若不存在故障，则从XOR纠删码节点中读取目标数据；
第二读取模块340，用于若存在故障，则确定故障的纠删码节点的故障数量，并根据故障数量利用对应的纠删码技术从对应的纠删码节点中读取目标数据。
在一些具体的实施例中，还包括：
写指令接收模块，用于接收到目标数据的写指令；
写模块，用于根据写指令将目标数据按照XOR纠删码技术存储在XOR纠删码节点中，将目标数据按照RS纠删码技术存储在RS纠删码节点中。
在一些具体的实施例中，第二读取模块340，包括：
第一判断单元，用于判断故障数量是否小于预设阈值；
第一读取单元，用于若小于预设阈值，则利用XOR纠删码技术从XOR纠删码节点中读取目标数据；
第二判断单元，用于若不小于预设阈值，则判断XOR纠删码节点的XOR故障数量是否小于预设阈值；
第二读取单元，用于若XOR故障数量小于预设阈值，则利用XOR纠删码技术从XOR纠删码节点中读取目标数据；
第三读取单元，用于若XOR故障数量不小于预设阈值，则利用RS纠删码技术从RS纠删码节点中读取目标数据。
在一些具体的实施例中，第二读取模块340，包括：
第三判断单元，用于判断故障数量中故障的XOR纠删码节点的数量是否小于预设阈值；
第四单元，用于若小于预设阈值，则利用XOR纠删码技术从XOR纠删码节点中读取目标数据；
第五单元，用于若不小于预设阈值，则利用RS纠删码技术从RS纠删码节点中读取目标数据。
在一些具体的实施例中，还包括：
记录与发送模块，用于记录故障信息，并将故障信息发送至后台服务器。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种电子设备进行介绍，下文描述的电子设备与上文描述的数据处理方法可相互对应参照。
本实施例提供一种电子设备，请参考图4，图4为本申请实施例提供的一种电子设备的结构示意图，包括：
存储器100，用于存储计算机程序；
处理器200，用于执行计算机程序时实现如上述数据处理方法的步骤。
由于电子设备部分的实施例与方法部分的实施例相互对应，因此电子设备部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
在上述实施例的基础上，作为优选实施方式，参见图5，图5为本申请实施例提供的另一种电子设备的结构图，该电子设备还包括：
输入接口300，与处理器200相连，用于获取外部导入的计算机程序、参数和指令，经处理器200控制保存至存储器100中。该输入接口300可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。
显示单元400，与处理器200相连，用于显示处理器200发送的数据。该显示单元400可以为PC机上的显示屏、液晶显示屏或者电子墨水显示屏等。
网络端口500，与处理器200相连，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术（MHL）、通用串行总线（USB）、高清多媒体接口（HDMI）、无线保真技术（WiFi）、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。
下面对本申请实施例提供的一种计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的方法可相互对应参照。
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述数据处理方法的步骤。
由于计算机可读存储介质部分的实施例与方法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (8)

1.一种数据处理方法，其特征在于，包括：
接收到读取目标数据的读取指令，其中，所述目标数据存储在XOR纠删码节点和RS纠删码节点中；
根据所述读取指令，判断纠删码节点是否存在故障，其中，所述纠删码节点包括所述XOR纠删码节点和所述RS纠删码节点；
若不存在故障，则从所述XOR纠删码节点中读取所述目标数据；
若存在故障，则确定故障的纠删码节点的故障数量，并根据所述故障数量利用对应的纠删码技术从对应的所述纠删码节点中读取所述目标数据；
所述接收到读取所述目标数据的读取指令之前，还包括：
接收到所述目标数据的写指令；
根据所述写指令将所述目标数据按照XOR纠删码技术存储在所述XOR纠删码节点中，将所述目标数据按照RS纠删码技术存储在所述RS纠删码节点中。
2.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述故障数量利用对应的纠删码技术从对应的所述纠删码节点中读取所述目标数据，包括：
判断所述故障数量是否小于预设阈值；
若小于所述预设阈值，则利用所述XOR纠删码技术从所述XOR纠删码节点中读取所述目标数据；
若不小于所述预设阈值，则判断所述XOR纠删码节点的XOR故障数量是否小于所述预设阈值；
若所述XOR故障数量小于所述预设阈值，则利用所述XOR纠删码技术从所述XOR纠删码节点中读取所述目标数据；
若所述XOR故障数量不小于所述预设阈值，则利用所述RS纠删码技术从所述RS纠删码节点中读取所述目标数据。
3.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述故障数量利用对应的纠删码技术从对应的所述纠删码节点中读取所述目标数据，包括：
判断所述故障数量中故障的所述XOR纠删码节点的数量是否小于预设阈值；
若小于所述预设阈值，则利用所述XOR纠删码技术从所述XOR纠删码节点中读取所述目标数据；
若不小于所述预设阈值，则利用所述RS纠删码技术从所述RS纠删码节点中读取所述目标数据。
4.根据权利要求1至3任意一项所述的数据处理方法，其特征在于，所述根据所述故障数量利用对应的纠删码技术从对应的所述纠删码节点中读取所述目标数据之后，还包括：
记录故障信息，并将所述故障信息发送至后台服务器。
5.一种数据处理装置，其特征在于，包括：
读取指令接收模块，用于接收到读取目标数据的读取指令，其中，所述目标数据存储在XOR纠删码节点和RS纠删码节点中；
纠删码节点故障判断模块，用于根据所述读取指令，判断纠删码节点是否存在故障，其中，所述纠删码节点包括所述XOR纠删码节点和所述RS纠删码节点；
第一读取模块，用于若不存在故障，则从所述XOR纠删码节点中读取所述目标数据；
第二读取模块，用于若存在故障，则确定故障的纠删码节点的故障数量，并根据所述故障数量利用对应的纠删码技术从对应的所述纠删码节点中读取所述目标数据；
所述数据处理装置，还包括：
写指令接收模块，用于接收到所述目标数据的写指令；
写模块，用于根据所述写指令将所述目标数据按照XOR纠删码技术存储在所述XOR纠删码节点中，将所述目标数据按照RS纠删码技术存储在所述RS纠删码节点中。
6.根据权利要求5所述的数据处理装置，其特征在于，所述第二读取模块，包括：
第一判断单元，用于判断所述故障数量是否小于预设阈值；
第一读取单元，用于若小于所述预设阈值，则利用所述XOR纠删码技术从所述XOR纠删码节点中读取所述目标数据；
第二判断单元，用于若不小于所述预设阈值，则判断所述XOR纠删码节点的XOR故障数量是否小于所述预设阈值；
第二读取单元，用于若所述XOR故障数量小于所述预设阈值，则利用所述XOR纠删码技术从所述XOR纠删码节点中读取所述目标数据；
第三读取单元，用于若所述XOR故障数量不小于所述预设阈值，则利用所述RS纠删码技术从所述RS纠删码节点中读取所述目标数据。
7.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述数据处理方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述数据处理方法的步骤。
CN202010201960.XA 2020-03-20 2020-03-20 一种数据处理方法、装置、设备及介质 Active CN111475109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010201960.XA CN111475109B (zh) 2020-03-20 2020-03-20 一种数据处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010201960.XA CN111475109B (zh) 2020-03-20 2020-03-20 一种数据处理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111475109A CN111475109A (zh) 2020-07-31
CN111475109B true CN111475109B (zh) 2022-10-28

Family

ID=71748289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010201960.XA Active CN111475109B (zh) 2020-03-20 2020-03-20 一种数据处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111475109B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689983A (zh) * 2017-07-05 2018-02-13 上海交通大学 基于低修复带宽的云存储系统及方法
CN110209670A (zh) * 2019-05-09 2019-09-06 北京猫盘技术有限公司 基于网络存储设备集群的数据处理方法及装置
CN110532126A (zh) * 2019-07-26 2019-12-03 西安交通大学 纠删码存储系统数据快速恢复方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10044374B2 (en) * 2015-07-30 2018-08-07 Quantum Corporation Adaptive erasure codes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689983A (zh) * 2017-07-05 2018-02-13 上海交通大学 基于低修复带宽的云存储系统及方法
CN110209670A (zh) * 2019-05-09 2019-09-06 北京猫盘技术有限公司 基于网络存储设备集群的数据处理方法及装置
CN110532126A (zh) * 2019-07-26 2019-12-03 西安交通大学 纠删码存储系统数据快速恢复方法、装置及存储介质

Also Published As

Publication number Publication date
CN111475109A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
EP3014451B1 (en) Locally generated simple erasure codes
US9817597B2 (en) Using temporary write locations for increased power efficiency
US20190171524A1 (en) Isolating the introduction of software defects in a dispersed storage network
EP2908254A1 (en) Data redundancy implementation method and device
US10530862B2 (en) Determining slices to rebuild from low-level failures
CN115562594B (zh) 一种raid卡的构建方法、系统及相关装置
KR102004928B1 (ko) 데이터 저장 장치 및 그것의 에러 정정 코드 처리 방법
CN102314322A (zh) 一种基于raid阵列的数据处理方法和设备
CN111475109B (zh) 一种数据处理方法、装置、设备及介质
CN104182292A (zh) 一种数据存储方法及装置
CN115129509B (zh) 一种数据传输方法、装置、介质
US10506045B2 (en) Memory access using deterministic function and secure seed
CN116319828A (zh) 一种异地容灾备份数据传输方法、系统、装置及介质
CN115827308A (zh) 一种固态硬盘数据纠错方法及一种固态硬盘
WO2022198429A1 (zh) 一种数据冗余备份方法、装置、存储介质及电子设备
CN110083478B (zh) 一种数据恢复方法、数据恢复系统以及固态硬盘
CN115113816A (zh) 一种纠删码数据处理系统、方法、计算机设备及介质
CN111858129B (zh) 一种纠删码读请求处理方法、系统、设备及计算机介质
CN104025056B (zh) 一种数据恢复的方法及设备
CN112820343A (zh) 数据保护方法、装置、计算机设备及存储介质
CN111506460A (zh) 内存故障的处理方法、装置、移动终端及存储介质
CN106302573B (zh) 一种采用擦除码处理数据的方法、系统及装置
CN114333917B (zh) 基于rdp纠删算法的数据纠错方法、装置、设备及介质
CN116048378A (zh) 数据的读写方法、装置、电子设备及存储介质
CN118034993B (zh) 存储数据的保护方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant