CN115016979A - 纠删码数据处理方法、装置及系统、存储介质、处理器 - Google Patents

纠删码数据处理方法、装置及系统、存储介质、处理器 Download PDF

Info

Publication number
CN115016979A
CN115016979A CN202210764412.7A CN202210764412A CN115016979A CN 115016979 A CN115016979 A CN 115016979A CN 202210764412 A CN202210764412 A CN 202210764412A CN 115016979 A CN115016979 A CN 115016979A
Authority
CN
China
Prior art keywords
erasure
code data
data
target
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210764412.7A
Other languages
English (en)
Inventor
余学山
杨飘飘
霍江游
满欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210764412.7A priority Critical patent/CN115016979A/zh
Publication of CN115016979A publication Critical patent/CN115016979A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种纠删码数据处理方法、装置及系统、存储介质、处理器，涉及云计算领域。其中，该方法包括：将目标文件发送给目标处理装置进行第一纠删计算，其中，目标处理装置设置在分布式文件系统的客户端，用于按照预设的纠删算法进行纠删计算；接收目标处理装置对目标文件进行第一纠删计算得到的第一纠删码数据，其中，第一纠删码数据包括至少一个原始数据块以及至少一个校验数据块；确定目标文件在分布式文件系统中存储位置的位置信息；根据位置信息将第一纠删码数据存储到分布式文件系统中。本发明解决了相关技术中分布式系统通过纠删码的运算时，会占用较大的系统资源，给系统造成较大负担的的技术问题。

Description

纠删码数据处理方法、装置及系统、存储介质、处理器
技术领域
本发明涉及云计算领域，具体而言，涉及一种纠删码数据处理方法、装置及系统、存储介质、处理器。
背景技术
目前分布式文件系统(CEPH)，通过纠删码(Erasure Coding，EC)实现数据的存储和读取。纠删码是一种编码容错技术，最早是在通信行业解决部分数据在传输中的损耗问题。其基本原理就是把传输的信号分段，加入一定的校验信号再让各段间发生相互关联，即使在传输过程中丢失部分信号，接收端仍然能通过算法将完整的信息计算出来。在数据存储中，纠删码将数据分割成片段，把冗余数据块扩展和编码，并将其存储在不同的位置，比如磁盘、存储节点或者其他地理位置。
图1是根据现有技术的一种分布式文件系统架构的示意图，如图1所示为现有技术中CEPH架构，CEPH包括存储集群(CEPH集群)和多个服务器，服务器中包括用户操作系统，用户操作系统包括CEPHclient，也即是分布式文件系统的客户端，CEPH存储集群包括CEPH监视器(Monitor)和多个OSD存储设备(Object Storage Device)，OSD用于存储数据的存储单元。CEPH需要配置Object Size(数据块大小)的值，也就是每个Object数据块大小的最大值，一般情况下会设置为2M到4M。当一个数据文件(file文件)存进CEPH中时，会根据ObjectSize将file文件进行切分。若file文件的大小不足Object Size，则直接按原大小映射到一个Object数据块中；若file文件的大小大于Object Size，则file文件会被切分为若干个完整大小的Object数据块，和一个不完整大小的Object数据块。根据纠删码的参数设置(K，M；K为数据块个数，M为校验数据块)，确定OSD set(数据存储位置的位置信息)的个数为K+M个，其中有一个主OSD，纠删码编码与解码的运算过程都是在主OSD做的。一个Object通过Crush算法找到主OSD，客户端完全写Object数据块到主OSD上。主OSD执行纠删码算法对Object进行计算，得到K个数据块和M个校验数据块。
图2是根据现有技术的分布式文件系统纠删码写数据的流程图，图3是根据现有技术的分布式文件系统纠删码读数据的流程图，目前CEPH纠删码读写流程如图2和图3所示，客户端通过CEPH监视器(Monitor)获取集群Map信息，根据crush算法找到主OSD，并将Object数据块写入。主OSD执行纠删码算法对Object数据块进行计算，得到K个数据块和M个校验数据块，并将K个数据块和M个校验数据块写入多个从OSD中。多个从OSD接收分块数据，在写入后每一个从OSD给主OSD发送一个Ack，确认已经写入。主OSD在接收到所有从OSD都已经写入的确认后，向客户端发送一个Ack，表示此Object数据块已经写入完毕。在读文件时，主OSD会收集相应从OSD上的数据块，然后在主OSD恢复出原Object数据块，发给客户端。主OSD会优先收集数据块进行拼接重建出原Object数据块，校验数据块用于恢复出丢失的数据块。纠删码能够降低冗余数据的开销，整体上能提高存储设备的可用空间，但是纠删码计算一个数据块时需要读出大量数据并通过网络传输。并且纠删码数据恢复时还会给系统带来巨大的负担。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种纠删码数据处理方法、装置及系统、存储介质、处理器，以至少解决相关技术中分布式系统通过纠删码的运算时，会占用较大的系统资源，给系统造成较大负担的的技术问题。
根据本发明实施例的一个方面，提供了一种纠删码数据处理方法，该方法包括：将目标文件发送给目标处理装置进行第一纠删计算，其中，所述目标处理装置设置在所述分布式文件系统的客户端，用于按照预设的纠删算法进行纠删计算；接收所述目标处理装置对所述目标文件进行第一纠删计算得到的第一纠删码数据，其中，所述第一纠删码数据包括至少一个原始数据块以及至少一个校验数据块；确定所述目标文件在分布式文件系统中存储位置的位置信息；根据所述位置信息将所述第一纠删码数据存储到所述分布式文件系统中。
进一步地，确定所述目标文件在所述分布式文件系统中存储位置的位置信息包括：通过分布式文件系统的存储集群的监视器，获取所述存储集群的第一集群拓扑结构，其中，所述存储集群包括多个存储设备以及所述监视器；根据数据分布算法，通过所述第一集群拓扑结构确定所述第一纠删码数据的存储位置的位置信息。
进一步地，根据所述位置信息将所述第一纠删码数据存储到所述分布式文件系统中包括：将所述第一纠删码数据的原始数据块或校验数据块，随机存储到所述位置信息对应的多个存储设备中，其中，所述位置信息所述原始数据块或所述校验数据块与存储设备的映射关系，多个存储设备分布在所述存储集群中；在接收到所述多个存储设备存储完成的完成消息的情况下，确定所述第一纠删码数据存储到所述分布式文件系统中。
进一步地，根据所述位置信息将所述第一纠删码数据存储到所述分布式文件系统中之后，所述方法还包括：根据所述分布式文件系统中存储的第一纠删码数据，更新所述集群拓扑结构。
进一步地，根据所述位置信息将所述第一纠删码数据存储到所述分布式文件系统中之后，所述方法还包括：响应所述目标文件的读请求，根据所述位置信息读取存储的第一纠删码数据，得到第二纠删码数据，其中，所述第二纠删码数据为所述第一纠删码数据的全部数据或部分数据；将所述第二纠删码数据发送给所述目标处理装置进行第二纠删计算；接收所述目标处理装置对所述第二纠删码数据进行第二纠删计算得到的目标文件。
进一步地，响应所述目标文件的读请求，根据所述位置信息读取存储的第一纠删码数据，得到第二纠删码数据包括：响应所述读请求，通过分布式文件系统的存储集群的监视器，获取所述存储集群的第二集群拓扑结构；根据所述数据分布算法，通过所述第二集群拓扑结构确定目标文件的第一纠删码数据存储位置的位置信息；根据所述位置信息读取所述第一纠删码数据得到第二纠删码数据。
根据本发明实施例的另一方面，还提供了一种纠删码数据处理装置，该装置包括：第一发送单元，用于将目标文件发送给目标处理装置进行第一纠删计算，其中，所述目标处理装置设置在所述分布式文件系统的客户端，用于按照预设的纠删算法进行纠删计算；第一接收单元，用于接收所述目标处理装置对所述目标文件进行第一纠删计算得到的第一纠删码数据，其中，所述第一纠删码数据包括至少一个原始数据块以及至少一个校验数据块；确定单元，用于确定所述目标文件在分布式文件系统中存储位置的位置信息；存储单元，用于根据所述位置信息将所述第一纠删码数据存储到所述分布式文件系统中。
进一步地，读取单元，用于响应所述目标文件的读请求，根据所述位置信息读取存储的第一纠删码数据，得到第二纠删码数据，其中，所述第二纠删码数据为所述第一纠删码数据的全部数据或部分数据；第二发送单元，用于将所述第二纠删码数据发送给所述目标处理装置进行第二纠删计算；第二接收单元，用于接收所述目标处理装置对所述第二纠删码数据进行第二纠删计算得到的目标文件。
进一步地，所述确定单元包括：第一获取模块，用于通过分布式文件系统的存储集群的监视器，获取所述存储集群的第一集群拓扑结构，其中，所述存储集群包括多个存储设备以及所述监视器；第一确定模块，用于根据数据分布算法，通过所述第一集群拓扑结构确定所述第一纠删码数据的存储位置的位置信息。
进一步地，所述存储单元包括：第一存储模块，用于将所述第一纠删码数据的原始数据块或校验数据块，随机存储到所述位置信息对应的多个存储设备中，其中，所述位置信息包括所述原始数据块或所述校验数据块与存储设备的映射关系，多个存储设备分布在所述存储集群中；第二确定模块，用于在接收到所述多个存储设备存储完成的完成消息的情况下，确定所述第一纠删码数据存储到所述分布式文件系统中。
进一步地，所述装置还包括：更新模块，用于根据所述位置信息将所述第一纠删码数据存储到所述分布式文件系统中之后，根据所述分布式文件系统中存储的第一纠删码数据，更新所述集群拓扑结构。
进一步地，所述读取单元包括：第二获取模块，用于响应所述读请求，通过分布式文件系统的存储集群的监视器，获取所述存储集群的第二集群拓扑结构；第二存储模块，用于的第一纠删码数据存储位置的位置信息；根据所述位置信息读取所述第一纠删码数据得到第二纠删码数据。
根据本发明实施例的另一方面，还提供了一种纠删码数据处理系统，该系统包括：客户端处理器，目标处理装置，网络接口，所述客户端处理器通过所述网络接口与分布式文件系统的存储集群相连；所述客户端处理器与所述目标处理装置相连，用于将所述目标文件发送给目标处理装置确定目标文件在分布式文件系统中存储位置的位置信息，以及对所述目标文件进行第一纠删计算得到第一纠删码数据，或者将存储集群中存储的第二纠删码数据进行第二纠删计算得到目标文件。
进一步地，该系统还包括：通信接口，所述通信接口与所述客户端处理器相连，用于所述客户端处理器接收所述目标文件。
进一步地，所述网络接口包括：网络转发芯片和网络物理接口，所述网络转发芯片与所述客户端处理器相连，所述网络转发芯片与所述网络物理接口相连，所述网络物理接口与所述存储集群相连；所述网络转发芯片用于对客户端处理器与所述存储集群之间交互的数据进行处理，使得处理后的数据满足所述客户端处理器的数据格式或所述存储集群的数据格式。
为了实现上述目的，根据本申请的另一方面，提供了一种计算机可读存储介质，存储介质用于存储程序，其中，程序执行上述任意一项的纠删码数据处理方法。
为了实现上述目的，根据本申请的另一方面，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的纠删码数据处理方法。
在本发明实施例中，采用以下步骤：将目标文件发送给目标处理装置进行第一纠删计算，其中，目标处理装置设置在分布式文件系统的客户端，用于按照预设的纠删算法进行纠删计算；接收目标处理装置对目标文件进行第一纠删计算得到的第一纠删码数据，其中，第一纠删码数据包括至少一个原始数据块以及至少一个校验数据块；确定目标文件在分布式文件系统中存储位置的位置信息；根据位置信息将第一纠删码数据存储到分布式文件系统中。通过将目标文件的纠删计算从存储集群中迁移到上述目标处理装置中单独进行，达到了快速有效对目标文件进行纠删计算处理的目的，从而实现了减小对系统计算资源的消耗，降低系统负担的技术效果，进而解决了相关技术中分布式系统通过纠删码的运算时，会占用较大的系统资源，给系统造成较大负担的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据现有技术的一种分布式文件系统架构的示意图；
图2是根据现有技术的分布式文件系统纠删码写数据的流程图；
图3是根据现有技术的分布式文件系统纠删码读数据的流程图；
图4是根据本发明实施例的提供的一种纠删码数据处理方法的流程图；
图5是根据本发明实施例的提供的分布式文件系统架构的示意图；
图6是根据本发明实施例提供的写入目标文件的流程图；
图7是根据本发明实施例提供的读取目标文件的流程图；
图8是根据本发明实施例的提供的纠删码数据处理装置的示意图；
图9是根据本发明实施例的提供的纠删码数据处理系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例，提供了一种纠删码数据处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图4是根据本发明实施例的纠删码数据处理方法，如图4所示，该方法包括如下步骤：
步骤S101，将目标文件发送给目标处理装置进行第一纠删计算，其中，目标处理装置设置在分布式文件系统的客户端，用于按照预设的纠删算法进行纠删计算。
上述步骤的执行主体可以为分布式文件系统的客户端，上述目标处理装置可以为单独设置的处理装置，可以满足纠删码算法所需的计算资源，与上述分布式文件系统向独立，在目标处理装置进行就上计算时，不会占用分布式文件系统的资源。例如，上述目标处理装置可以为FPGA可编程芯片，将纠删码算法内置到FPGA可编程芯片(即上述目标处理装置)内，通过FPGA可编程芯片对目标文件进行第一纠删计算得到第一纠删码数据，第一纠删码数据中包括K个原始数据块和M个校验数据块。将第一纠删码数据传输至客户端处理器。选用FPGA通过硬件逻辑电路进行纠删计算，相比在分布式文件系统中采用纯软件的方式进行纠删计算不仅更加稳定，而且速度更快，性能更好。
上述目标文件可以为需要存储到分布式文件系统中的数据文件，其文件形式不局限于某一种或某几种，可以为数据包，也可以为各类格式的文件等。在实施时可以由客户端通过通信接口接收。
步骤S102，接收目标处理装置对目标文件进行第一纠删计算得到的第一纠删码数据，其中，第一纠删码数据包括至少一个原始数据块以及至少一个校验数据块。
上述步骤的执行主体为客户端，客户端将目标文件发送给目标处理装置后，在目标处理装置上进行第一纠删计算，得到目标文件对应的第一纠删码数据，该目标处理装置在第一纠删计算完成后，将第一纠删码数据发送给客户端，客户端接收该第一纠删码数据，以便客户端将第一纠删码数据进行后续处理，存储到分布式文件中。
步骤S103，确定目标文件在分布式文件系统中存储位置的位置信息。
上述步骤的执行主体为客户端，上述确定目标文件在分布式文件系统(CEPH)的存储位置的位置信息，该位置信息可以是具体的存储地址，也可以是用于指示具体存储位置的标识信息，例如OSD set，作为一种映射关系，表示目标文件的数据块与具体的OSD存储设备的映射关系。通过该OSDset就可以将目标文件的数据块存储到对应的OSD设备中。
需要说明的是，目标文件的数据块，是通过第一纠删计算得到的，包括K个原始数据块，M个校验数据块。在第一纠删计算对目标文件进行处理之前，可以先行设置参数配置，也即是设置上述K和M，通过第一纠删计算对目标文件进行处理，得到K+M个OSD set，由此也看出，OSD set与目标文件的数据块是一一对应的关系。
步骤S104，根据位置信息将第一纠删码数据存储到分布式文件系统中。
上述步骤的执行主体为客户端，客户端根据位置信息(OSD set)将第一纠删码数据的数据块存储到分布式文件系统中。具体的，通过OSD set将原始数据块和校验数据块存储到对应的OSD存储设备中，从而通过纠删计算，将目标文件的纠删数据存储到分布式文件系统。
通过上述步骤，将目标文件的纠删计算从存储集群中迁移到上述目标处理装置中单独进行，达到了快速有效对目标文件进行纠删计算处理的目的，从而实现了减小对系统计算资源的消耗，降低系统负担的技术效果，进而解决了相关技术中分布式系统通过纠删码的运算时，会占用较大的系统资源，给系统造成较大负担的技术问题。
可选地，在本申请实施例提供的纠删码数据处理方法中，确定目标文件在分布式文件系统中存储位置的位置信息包括：通过分布式文件系统的存储集群的监视器，获取存储集群的第一集群拓扑结构，其中，存储集群包括多个存储设备以及监视器；根据数据分布算法，通过第一集群拓扑结构确定第一纠删码数据的存储位置的位置信息。
例如，图5是根据本发明实施例的提供的分布式文件系统架构的示意图，如图5所示为根据本申请实施例提供的CEPH架构，客户端处理器通过分布式文件系统的存储集群(CEPH集群)中的监视器(Monitor)，得到CEPH集群的集群Map(即上述第一集群拓扑结构)，依据数据分布算法(Crush算法)，通过集群Map确定目标文件存储位置的位置信息(OSDset)。在CEPH集群中包括多个存储设备(即图5中的磁盘服务器的OSD存储设备)和监视器(Monitor)。
第一集群拓扑结构是目标文件存储之前的存储集群的拓扑结构，通过该拓扑结构利用数据分布算法，可以确定出存储集群中哪些存储设备可以用来存储目标文件对应的第一纠删码数据的数据块。
通过数据分布算法可以准确获取CEPH集群中用于存储第一纠删码数据的存储设备，在获取第一纠删码数据存储位置的位置信息之后，可以准确地将目标文件的第一纠删码数据存储到CEPH集群中可以用于存储目标文件的存储设备中。
可选地，在本申请实施例提供的纠删码数据处理方法中，根据位置信息将第一纠删码数据存储到分布式文件系统中包括：将第一纠删码数据的原始数据块或校验数据块，随机存储到位置信息对应的多个存储设备中，其中，原始数据块或校验数据块与存储设备的映射关系，多个存储设备分布在存储集群中；在接收到多个存储设备存储完成的完成消息的情况下，确定第一纠删码数据存储到分布式文件系统中。
例如，根据纠删码的参数设置(K，M；K为数据块个数，M为校验数据块)，确定OSDset的个数为K+M个。将第一纠删码数据中的K个原始数据块和M个校验数据块，存储到CEPH集群中的OSD set对应的多个存储设备中。如图5所示每个存储设备(即磁盘服务器包括多个存储单元OSD)。当每一个存储设备存储完成后向客户端发送已完成存储信息，以便确定第一纠删码数据已存储到分布式文件系统中。
通过上述步骤可以将第一纠删码数据中的K个原始数据块和M个校验数据块准确存储到分布式文件系统中。采用随机的方式，可以尽量混合原始数据块和校验数据块，从而在读取时，具有良好的容错能力，提高目标文件进行纠删计算的存储和读取的准确性和稳定性。
可选地，在本申请实施例提供的纠删码数据处理方法中，根据位置信息将第一纠删码数据存储到分布式文件系统中之后，该方法还包括：根据分布式文件系统中存储的第一纠删码数据，更新集群拓扑结构。
当第一纠删码数据存储到分布式文件系统中之后，要对集群拓扑结构(集群Map)进行更新，以便后续读取目标文件对应的纠删码数据。监视器会保存整个存储集群的最新拓扑结构Map信息，通过Map信息可以利用纠删计算得到对应的OSDset，也即是上述位置信息，保证后续目标文件的读取。
需要说明的是，上述更新集群拓扑结构的操作可以由客户端向监视器发送更新指令，在另一种实施例中，监视器也可以自动更新。
可选地，在本申请实施例提供的纠删码数据处理方法中，根据位置信息将第一纠删码数据存储到分布式文件系统中之后，该方法还包括：响应目标文件的读请求，根据位置信息读取存储的第一纠删码数据，得到第二纠删码数据，其中，第二纠删码数据为第一纠删码数据的全部数据或部分数据；将第二纠删码数据发送给目标处理装置进行第二纠删计算；接收目标处理装置对第二纠删码数据进行第二纠删计算得到的目标文件。
当客户需要读取目标文件时，客户端处理器响应目标文件的读取请求，客户端会按照上述确定位置信息相同的方式，得到目标文件的第一纠删码数据存储的位置信息，根据位置信息读取对应位置存储的第一纠删码数据，由于读取过程中会发生丢码或者错码，导致通常都无法将所有的第一纠删码数据的数据块读取成功，只能得到部分的数据块，也即是第二纠删码数据。
由于在数据读取的过程中可能会存在数据丢失的情况，所以第二纠删码数据可能是第一纠删码数据的全部数据也可能是第一纠删码数据的部分数据。但是由于纠删码数据中包含校验数据块，所以在部分数据丢失时，通过校验数据块进行第二纠删计算仍然能够得到完整的目标文件。
此时就需要客户端将上述第二纠删码数据发送给FPGA可编程芯片(上述目标处理装置)对第二纠删码数据进行第二纠删计算得到目标文件，将目标文传输至客户端，客户端得到目标文件后，也就完成了目标文件的读取。
通过上述步骤，目标处理装置对第二纠删码数据进行解码计算，也即是上述第二就上计算，避免了占用分布式文件系统的资源，提高了纠删码算法的处理效率。
可选地，在本申请实施例提供的纠删码数据处理方法中，响应目标文件的读请求，根据位置信息读取存储的第一纠删码数据，得到第二纠删码数据包括：响应读请求，通过分布式文件系统的存储集群的监视器，获取存储集群的第二集群拓扑结构；根据数据分布算法，通过第二集群拓扑结构确定目标文件的第一纠删码数据存储位置的位置信息；根据位置信息读取第一纠删码数据得到第二纠删码数据。
客户端处理器通过分布式文件系统中CEPH集群中的Monitor，获取第二集群拓扑结构(集群Map)，也就是上述更新后的集群拓扑结构。然后在依据数据分布算法，通过第二集群拓扑结构得到目标文件存储位置的位置信息。
本申请实施例提供的纠删码数据处理方法，采用以下步骤：确定目标文件在分布式文件系统中存储位置的位置信息；将目标文件发送给目标处理装置进行第一纠删计算，其中，目标处理装置设置在分布式文件系统的客户端，用于按照预设的纠删算法进行纠删计算；接收目标处理装置对目标文件进行第一纠删计算得到的第一纠删码数据，其中，第一纠删码数据包括至少一个原始数据块以及至少一个校验数据块；根据位置信息将第一纠删码数据存储到分布式文件系统中。通过目标处理装置对目标文件进行纠删计算，达到了对目标文件分块的目的，从而实现了减小对系统计算资源的消耗的技术效果，进而解决了相关技术中分布式系统通过纠删码的运算时，会占用较大的系统资源，给系统造成较大负担的技术问题。
图6是根据本发明实施例提供的写入目标文件的流程图，如图6所示为根据本申请实施例提供的写入目标文件的流程图，客户端处理器(Client)访问存储集群(CEPH集群)的Monitor获取集群MAP信息，根据crush算法计算出目标文件存储位置的位置信息(OSDset)。Client调用目标处理装置(FPGA可编程芯片)，FPGA可编程芯片将目标文件进行计算，得到K+M个数据块。Client根据OSD set将K+M个数据块写入各存储单元(OSD)中。各OSD返回写入完成信号。
图7是根据本发明实施例提供的读取目标文件的流程图，如图7所示为根据本申请实施例提供的读取目标文件的流程图，Client访问Monitor获取集群MAP信息，根据crush算法计算出OSD set。根据OSD set信息从各OSD读取数据。各OSD返回数据块。Client根据返回数据块，调用FPGA可编程芯片还原目标文件。
本申请实施例还提供了一种纠删码数据处理装置，需要说明的是，本申请实施例的纠删码数据处理装置可以用于执行本申请实施例所提供的用于纠删码数据处理方法。以下对本申请实施例提供的纠删码数据处理装置进行介绍。
图8是根据本申请实施例的纠删码数据处理装置的示意图。如图8所示，该装置包括：第一发送单元801，第一接收单元802，确定单元803和存储单元804。
第一发送单元801，用于将目标文件发送给目标处理装置进行第一纠删计算，其中，目标处理装置设置在分布式文件系统的客户端，用于按照预设的纠删算法进行纠删计算。
第一接收单元802，用于接收目标处理装置对目标文件进行第一纠删计算得到的第一纠删码数据，其中，第一纠删码数据包括至少一个原始数据块以及至少一个校验数据块。
确定单元803，用于确定目标文件在分布式文件系统中存储位置的位置信息。
存储单元804，用于根据位置信息将第一纠删码数据存储到分布式文件系统中。
本申请实施例提供的纠删码数据处理装置，通过第一发送单元801将目标文件发送给目标处理装置进行第一纠删计算，其中，目标处理装置设置在分布式文件系统的客户端，用于按照预设的纠删算法进行纠删计算；第一接收单元802接收目标处理装置对目标文件进行第一纠删计算得到的第一纠删码数据，其中，第一纠删码数据包括至少一个原始数据块以及至少一个校验数据块；确定单元803确定目标文件在分布式文件系统中存储位置的位置信息；存储单元804根据位置信息将第一纠删码数据存储到分布式文件系统中。通过将目标文件的纠删计算从存储集群中迁移到上述目标处理装置中单独进行，达到了快速有效对目标文件进行纠删计算处理的目的，从而实现了减小对系统计算资源的消耗，降低系统负担的技术效果，进而解决了相关技术中分布式系统通过纠删码的运算时，会占用较大的系统资源，给系统造成较大负担的技术问题。
可选地，在本申请实施例提供的纠删码数据处理装置中，还包括：读取单元，用于响应目标文件的读请求，根据位置信息读取存储的第一纠删码数据，得到第二纠删码数据，其中，第二纠删码数据为第一纠删码数据的全部数据或部分数据；第二发送单元，用于将第二纠删码数据发送给目标处理装置进行第二纠删计算；第二接收单元，用于接收目标处理装置对第二纠删码数据进行第二纠删计算得到的目标文件。
可选地，在本申请实施例提供的纠删码数据处理装置中，确定单元包括：第一获取模块，用于通过分布式文件系统的存储集群的监视器，获取存储集群的第一集群拓扑结构，其中，存储集群包括多个存储设备以及监视器；第一确定模块，用于根据数据分布算法，通过第一集群拓扑结构确定第一纠删码数据的存储的位置信息。
可选地，存储单元包括：第一存储模块，用于将第一纠删码数据的原始数据块或校验数据块，随机存储到位置信息对应的多个存储设备中，其中，位置信息包括原始数据块或校验数据块与存储设备的映射关系，多个存储设备分布在存储集群中；第二确定模块，用于在接收到多个存储设备存储完成的完成消息的情况下，确定第一纠删码数据存储到分布式文件系统中。
可选地，装置还包括：更新模块，用于根据位置信息将第一纠删码数据存储到分布式文件系统中之后，根据分布式文件系统中存储的第一纠删码数据，更新集群拓扑结构。
可选地，读取单元包括：第二获取模块，用于响应读请求，通过分布式文件系统的存储集群的监视器，获取存储集群的第二集群拓扑结构；第二存储模块，用于的第一纠删码数据存储位置的位置信息；根据位置信息读取第一纠删码数据得到第二纠删码数据。
本申请实施例还提供了一种纠删码数据处理系统，需要说明的是，本申请实施例的纠删码数据处理系统可以用于执行本申请实施例所提供的用于纠删码数据处理方法。以下对本申请实施例提供的纠删码数据处理系统进行介绍。
图9是根据本申请实施例的纠删码数据处理系统的示意图。如图9所示，该系统包括：客户端处理器901，目标处理装置902，网络接口903，下面对该系统进行详细说明。
客户端处理器通过网络接口与分布式文件系统的存储集群相连；客户端处理器与目标处理装置相连，用于将目标文件发送给目标处理装置确定目标文件在分布式文件系统中存储位置的位置信息，以及对目标文件进行第一纠删计算得到第一纠删码数据，或者将存储集群中存储的第二纠删码数据进行第二纠删计算得到目标文件。
客户端处理器通过网络接口与分布式文件系统的存储集群(CEPH集群)连接，这样客户端处理器可以确定目标文件在分布式文件系统中存储位置的位置信息。客户端处理器与目标处理装置(FPGA可编程芯片)连接，当有目标文件需要写入时，客户端处理器将目标文件发送至目标处理装置，目标处理装置对目标文件进行第一纠删计算得到第一纠删码数据，或者在读取目标文件时，目标处理装置将存储集群中存储的第二纠删码数据进行第二纠删计算得到目标文件。
通过上述纠删码数据处理系统中的目标处理装置单独进行纠删计算，达到了快速有效对目标文件进行纠删计算处理的目的，从而实现了减小对系统计算资源的消耗，降低系统负担的技术效果，进而解决了相关技术中分布式系统通过纠删码的运算时，会占用较大的系统资源，给系统造成较大负担的技术问题。
可选地，在本申请实施例提供的纠删码数据处理系统中，还包括：通信接口，通信接口与客户端处理器相连，用于客户端处理器接收目标文件。
在上述纠删码数据处理系统中还包括通信接口，例如PCIe接口，通信接口将目标文件传输到客户端处理器，通过通信接口传输文件，保证了数据传输的可靠性和准确性。
可选地，在本申请实施例提供的纠删码数据处理系统中，网络接口包括：网络转发芯片和网络物理接口，网络转发芯片与客户端处理器相连，网络转发芯片与网络物理接口相连，网络物理接口与存储集群相连；网络转发芯片用于对客户端处理器与存储集群之间交互的数据进行处理，使得处理后的数据满足客户端处理器的数据格式或存储集群的数据格式。
在上述纠删码数据处理系统中的网络接口包括网络转发芯片和网络物理接口，客户端处理器通过网络物理接口和网络转发芯片向存储集群存储目标文件对应的纠删码数据或者读取目标文件对应的纠删码数据。
本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述纠删码数据处理方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述纠删码数据处理方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：将目标文件发送给目标处理装置进行第一纠删计算，其中，目标处理装置设置在分布式文件系统的客户端，用于按照预设的纠删算法进行纠删计算；接收目标处理装置对目标文件进行第一纠删计算得到的第一纠删码数据，其中，第一纠删码数据包括至少一个原始数据块以及至少一个校验数据块；确定目标文件在分布式文件系统中存储位置的位置信息；根据位置信息将第一纠删码数据存储到分布式文件系统中。
可选地，确定目标文件在分布式文件系统中存储位置的位置信息包括：通过分布式文件系统的存储集群的监视器，获取存储集群的第一集群拓扑结构，其中，存储集群包括多个存储设备以及监视器；根据数据分布算法，通过第一集群拓扑结构确定第一纠删码数据的存储位置的位置信息。
可选地，根据位置信息将第一纠删码数据存储到分布式文件系统中包括：将第一纠删码数据的原始数据块或校验数据块，随机存储到位置信息对应的多个存储设备中，其中，位置信息原始数据块或校验数据块与存储设备的映射关系，多个存储设备分布在存储集群中；在接收到多个存储设备存储完成的完成消息的情况下，确定第一纠删码数据存储到分布式文件系统中。
可选地，根据位置信息将第一纠删码数据存储到分布式文件系统中之后，方法还包括：根据分布式文件系统中存储的第一纠删码数据，更新集群拓扑结构。
可选地，根据位置信息将第一纠删码数据存储到分布式文件系统中之后，方法还包括：响应目标文件的读请求，根据位置信息读取存储的第一纠删码数据，得到第二纠删码数据，其中，第二纠删码数据为第一纠删码数据的全部数据或部分数据；将第二纠删码数据发送给目标处理装置进行第二纠删计算；接收目标处理装置对第二纠删码数据进行第二纠删计算得到的目标文件。
可选地，响应目标文件的读请求，根据位置信息读取存储的第一纠删码数据，得到第二纠删码数据包括：响应读请求，通过分布式文件系统的存储集群的监视器，获取存储集群的第二集群拓扑结构；根据数据分布算法，通过第二集群拓扑结构确定目标文件的第一纠删码数据存储位置的位置信息；根据位置信息读取第一纠删码数据得到第二纠删码数据。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：将目标文件发送给目标处理装置进行第一纠删计算，其中，目标处理装置设置在分布式文件系统的客户端，用于按照预设的纠删算法进行纠删计算；接收目标处理装置对目标文件进行第一纠删计算得到的第一纠删码数据，其中，第一纠删码数据包括至少一个原始数据块以及至少一个校验数据块；确定目标文件在分布式文件系统中存储位置的位置信息；根据位置信息将第一纠删码数据存储到分布式文件系统中。
可选地，确定目标文件在分布式文件系统中存储位置的位置信息包括：通过分布式文件系统的存储集群的监视器，获取存储集群的第一集群拓扑结构，其中，存储集群包括多个存储设备以及监视器；根据数据分布算法，通过第一集群拓扑结构确定第一纠删码数据的存储位置的位置信息。
可选地，根据位置信息将第一纠删码数据存储到分布式文件系统中包括：将第一纠删码数据的原始数据块或校验数据块，随机存储到位置信息对应的多个存储设备中，其中，位置信息原始数据块或校验数据块与存储设备的映射关系，多个存储设备分布在存储集群中；在接收到多个存储设备存储完成的完成消息的情况下，确定第一纠删码数据存储到分布式文件系统中。
可选地，根据位置信息将第一纠删码数据存储到分布式文件系统中之后，方法还包括：根据分布式文件系统中存储的第一纠删码数据，更新集群拓扑结构。
可选地，根据位置信息将第一纠删码数据存储到分布式文件系统中之后，方法还包括：响应目标文件的读请求，根据位置信息读取存储的第一纠删码数据，得到第二纠删码数据，其中，第二纠删码数据为第一纠删码数据的全部数据或部分数据；将第二纠删码数据发送给目标处理装置进行第二纠删计算；接收目标处理装置对第二纠删码数据进行第二纠删计算得到的目标文件。
可选地，响应目标文件的读请求，根据位置信息读取存储的第一纠删码数据，得到第二纠删码数据包括：响应读请求，通过分布式文件系统的存储集群的监视器，获取存储集群的第二集群拓扑结构；根据数据分布算法，通过第二集群拓扑结构确定目标文件的第一纠删码数据存储位置的位置信息；根据位置信息读取第一纠删码数据得到第二纠删码数据。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种纠删码数据处理方法，其特征在于，包括：
将目标文件发送给目标处理装置进行第一纠删计算，其中，所述目标处理装置设置在分布式文件系统的客户端，用于按照预设的纠删算法进行纠删计算；
接收所述目标处理装置对所述目标文件进行第一纠删计算得到的第一纠删码数据，其中，所述第一纠删码数据包括至少一个原始数据块以及至少一个校验数据块；
确定所述目标文件在分布式文件系统中存储位置的位置信息；
根据所述位置信息将所述第一纠删码数据存储到所述分布式文件系统中。
2.根据权利要求1所述的方法，其特征在于，确定所述目标文件在所述分布式文件系统中存储位置的位置信息包括：
通过分布式文件系统的存储集群的监视器，获取所述存储集群的第一集群拓扑结构，其中，所述存储集群包括多个存储设备以及所述监视器；
根据数据分布算法，通过所述第一集群拓扑结构确定所述第一纠删码数据的存储位置的位置信息。
3.根据权利要求2所述的方法，其特征在于，根据所述位置信息将所述第一纠删码数据存储到所述分布式文件系统中包括：
将所述第一纠删码数据的原始数据块或校验数据块，随机存储到所述位置信息对应的多个存储设备中，其中，所述位置信息包括所述原始数据块或所述校验数据块与存储设备的映射关系，所述多个存储设备分布在所述存储集群中；
在接收到所述多个存储设备存储完成的完成消息的情况下，确定所述第一纠删码数据存储到所述分布式文件系统中。
4.根据权利要求3所述的方法，其特征在于，根据所述位置信息将所述第一纠删码数据存储到所述分布式文件系统中之后，所述方法还包括：
根据所述分布式文件系统中存储的第一纠删码数据，更新所述集群拓扑结构。
5.根据权利要求1至4中任一项所述的方法，其特征在于，根据所述位置信息将所述第一纠删码数据存储到所述分布式文件系统中之后，所述方法还包括：
响应所述目标文件的读请求，根据所述位置信息读取存储的第一纠删码数据，得到第二纠删码数据，其中，所述第二纠删码数据为所述第一纠删码数据的全部数据或部分数据；
将所述第二纠删码数据发送给所述目标处理装置进行第二纠删计算；
接收所述目标处理装置对所述第二纠删码数据进行第二纠删计算得到的目标文件。
6.根据权利要求5所述的方法，其特征在于，响应所述目标文件的读请求，根据所述位置信息读取存储的第一纠删码数据，得到第二纠删码数据包括：
响应所述读请求，通过分布式文件系统的存储集群的监视器，获取所述存储集群的第二集群拓扑结构；
根据数据分布算法，通过所述第二集群拓扑结构确定所述目标文件的第一纠删码数据存储位置的位置信息；
根据所述位置信息读取所述第一纠删码数据得到第二纠删码数据。
7.一种纠删码数据处理装置，其特征在于，包括：
第一发送单元，用于将目标文件发送给目标处理装置进行第一纠删计算，其中，所述目标处理装置设置在分布式文件系统的客户端，用于按照预设的纠删算法进行纠删计算；
第一接收单元，用于接收所述目标处理装置对所述目标文件进行第一纠删计算得到的第一纠删码数据，其中，所述第一纠删码数据包括至少一个原始数据块以及至少一个校验数据块；
确定单元，用于确定所述目标文件在分布式文件系统中存储位置的位置信息；
存储单元，用于根据所述位置信息将所述第一纠删码数据存储到所述分布式文件系统中。
8.根据权利要求7所述的装置，其特征在于，还包括：
读取单元，用于响应所述目标文件的读请求，根据所述位置信息读取存储的第一纠删码数据，得到第二纠删码数据，其中，所述第二纠删码数据为所述第一纠删码数据的全部数据或部分数据；
第二发送单元，用于将所述第二纠删码数据发送给所述目标处理装置进行第二纠删计算；
第二接收单元，用于接收所述目标处理装置对所述第二纠删码数据进行第二纠删计算得到的目标文件。
9.一种纠删码数据处理系统，其特征在于，包括：客户端处理器，目标处理装置，网络接口，
所述客户端处理器通过所述网络接口与分布式文件系统的存储集群相连；
所述客户端处理器与所述目标处理装置相连，用于将目标文件发送给目标处理装置确定所述目标文件在分布式文件系统中存储位置的位置信息，以及对所述目标文件进行第一纠删计算得到第一纠删码数据，或者将存储集群中存储的第二纠删码数据进行第二纠删计算得到所述目标文件。
10.根据权利要求9所述的系统，其特征在于，还包括：通信接口，
所述通信接口与所述客户端处理器相连，用于所述客户端处理器接收所述目标文件。
11.根据权利要求9所述的系统，其特征在于，所述网络接口包括：网络转发芯片和网络物理接口，
所述网络转发芯片与所述客户端处理器相连，所述网络转发芯片与所述网络物理接口相连，所述网络物理接口与所述存储集群相连；
所述网络转发芯片用于对所述客户端处理器与所述存储集群之间交互的数据进行处理，使得处理后的数据满足所述客户端处理器的数据格式或所述存储集群的数据格式。
12.一种计算机可读存储介质，其特征在于，计算机可读存储介质用于存储程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至6中任意一项所述的纠删码数据处理方法。
13.一种处理器，其特征在于，处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的纠删码数据处理方法。
CN202210764412.7A 2022-06-30 2022-06-30 纠删码数据处理方法、装置及系统、存储介质、处理器 Pending CN115016979A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210764412.7A CN115016979A (zh) 2022-06-30 2022-06-30 纠删码数据处理方法、装置及系统、存储介质、处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210764412.7A CN115016979A (zh) 2022-06-30 2022-06-30 纠删码数据处理方法、装置及系统、存储介质、处理器

Publications (1)

Publication Number Publication Date
CN115016979A true CN115016979A (zh) 2022-09-06

Family

ID=83079676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210764412.7A Pending CN115016979A (zh) 2022-06-30 2022-06-30 纠删码数据处理方法、装置及系统、存储介质、处理器

Country Status (1)

Country Link
CN (1) CN115016979A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095098A (zh) * 2022-11-28 2023-05-09 华南农业大学 数据的分布式存储方法及装置
CN116954523A (zh) * 2023-09-20 2023-10-27 苏州元脑智能科技有限公司 一种存储系统、数据存储方法、数据读取方法和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095098A (zh) * 2022-11-28 2023-05-09 华南农业大学 数据的分布式存储方法及装置
CN116954523A (zh) * 2023-09-20 2023-10-27 苏州元脑智能科技有限公司 一种存储系统、数据存储方法、数据读取方法和存储介质
CN116954523B (zh) * 2023-09-20 2024-01-26 苏州元脑智能科技有限公司 一种存储系统、数据存储方法、数据读取方法和存储介质

Similar Documents

Publication Publication Date Title
CN115016979A (zh) 纠删码数据处理方法、装置及系统、存储介质、处理器
KR102153804B1 (ko) 데이터 동기화 방법, 장치, 및 시스템
US11003533B2 (en) Data processing method, system, and apparatus
CN107844268B (zh) 一种数据分发方法、数据存储方法、相关装置以及系统
US20210011817A1 (en) Virtual Machine Recovery Method and Virtual Machine Management Device
CN109445687B (zh) 一种数据存储方法以及协议服务器
CN109582213B (zh) 数据重构方法及装置、数据存储系统
US20190317872A1 (en) Database cluster architecture based on dual port solid state disk
CN105242990A (zh) 基于云平台的数据备份方法和装置
CN106855834B (zh) 一种数据备份方法、装置和系统
CN104750428A (zh) 块储存存取和网关模块、储存系统和方法与内容递送装置
CN111026510A (zh) 一种云环境下虚拟机跨存储热迁移方法
CN109491609A (zh) 一种缓存数据处理方法、装置、设备及可读存储介质
CN113311993A (zh) 数据存储方法及数据读取方法
CN110865903B (zh) 基于纠删码分布式存储的节点异常重连复用方法及系统
US9571353B1 (en) Compact service status processing
CN111857603B (zh) 数据处理方法及相关装置
CN110968255A (zh) 数据处理方法、装置、存储介质以及处理器
JP6376626B2 (ja) データ格納方法、データストレージ装置、及びストレージデバイス
CN111858129B (zh) 一种纠删码读请求处理方法、系统、设备及计算机介质
CN111435323A (zh) 信息的传输方法、装置、终端、服务器及存储介质
CN110474787B (zh) 一种节点故障检测方法和装置
CN117667834B (zh) 存算解耦系统、数据处理方法及存储介质
CN114327740A (zh) 一种业务处理方法及装置
CN112988461B (zh) 数据备份方法、边缘节点、数据中心及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination