CN105892954A - 基于多副本的数据存储方法和装置 - Google Patents

基于多副本的数据存储方法和装置 Download PDF

Info

Publication number
CN105892954A
CN105892954A CN201610264268.5A CN201610264268A CN105892954A CN 105892954 A CN105892954 A CN 105892954A CN 201610264268 A CN201610264268 A CN 201610264268A CN 105892954 A CN105892954 A CN 105892954A
Authority
CN
China
Prior art keywords
file
disk process
data
size
master disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610264268.5A
Other languages
English (en)
Inventor
吴兴义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Original Assignee
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Holding Beijing Co Ltd, LeTV Cloud Computing Co Ltd filed Critical LeTV Holding Beijing Co Ltd
Priority to CN201610264268.5A priority Critical patent/CN105892954A/zh
Publication of CN105892954A publication Critical patent/CN105892954A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/82—Solving problems relating to consistency

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开公开了一种基于多副本的数据存储方法，包括以下步骤：当文件中的数据执行写入时，由主磁盘进程在内存中计算出文件中的数据的循环冗余码以及文件的大小；多个从磁盘进程在接受到文件中的数据写入请求时，将循环冗余码、文件的大小以及文件中的数据执行写入操作，并将反馈信息发送至主磁盘进程；主磁盘进程收到多个从磁盘进程的反馈信息后，执行核对操作，并将核对信息发送至数据集群管理端。上述基于多副本的数据存储方法保证数据的强一致性，能够应对包括主OSD(Object Storage Daemon，对象存储进程)在内的任一副本所在的磁盘的故障。本公开还公开了一种基于多副本的数据存储装置。

Description

基于多副本的数据存储方法和装置
技术领域
本公开涉及计算机存储技术领域，特别是涉及一种基于多副本的数据存储方法和装置。
背景技术
目前，多副本下，无法保证数据的完全一致，需要采取额外的机制来保证这一点。例如，在三副本下，传统的方式都是由一个磁盘负责接收请求，并转发数据给另外两块磁盘，等另外两块落盘成功之后，自己再落盘，并在成功之后给予客户回应，至于磁盘是否能够完全正确的写入，并没有任何机制可以完全确认，这样有可能存在问题，即其中两快盘出现在落盘是写入出现与实际不相符的情况，而且当仅有的一块正确的盘出现不可恢复的故障之后，这部分错误的数据将没有办法恢复出来。这对于数据一致性要求非常高的场景下是无法接受的。另外，传统技术中，上述的不一致性存在的时间越长，数据的安全性就越受到威胁，由于磁盘有寿命，随着坏掉的磁盘越来越多，磁盘的更换都会带来潜在的数据丢失的情况。
发明内容
基于此，有必要提供一种提高数据一致性且保证数据安全的基于多副本的数据存储方法和装置。
一种基于多副本的数据存储方法，该方法包括：
当文件中的数据执行写入时，由主磁盘进程在内存中计算出所述文件中的数据的循环冗余码以及文件的大小；
多个从磁盘进程在接受到所述文件中的数据写入请求时，将所述循环冗余码、所述文件的大小以及所述文件中的数据执行写入操作，并将反馈信息发送至所述主磁盘进程；
所述主磁盘进程收到所述多个从磁盘进程的所述反馈信息后，执行核对操作，并将核对信息发送至数据集群管理端。
在其中一个实施例中，其中，所述计算出所述文件中的数据的循环冗余码以及文件的大小以文件系统扩展属性的方式进行存储。
在其中一个实施例中，其中，所述主磁盘进程收到所述多个从磁盘进程的所述反馈信息后，执行核对操作包括：
所述主磁盘进程接收到所述反馈信息后，遍历其存储的所有文件；
所述主磁盘进程向位于多个磁盘的所述多个从磁盘进程发起文件长度核对请求；
接收到所述多个从磁盘进程返回的所述文件长度后，将文件系统中比对长度与扩展属性中所述文件长度执行比对操作；
如果所述文件长度比对不一致，则向所述主磁盘进程返回错误消息，如果所述文件长度比对一致，则将所述文件长度和副本号发送至所述主磁盘进程。
在其中一个实施例中，还包括：当向所述主磁盘进程返回所述错误消息时，则针对比对的所述文件进行修复标志的设置。
在其中一个实施例中，其中，所述针对比对的所述文件进行修复标志的设置包括：
收集位于所述多个磁盘的所述多个从磁盘进程中所述文件长度和所述副本号；
将所述文件长度和所述副本号与所述主磁盘进程中的所述文件长度进行比对；
若比对不一致，则将所述主磁盘进程中的所述文件拷贝给位于所述多个磁盘的所述多个从磁盘进程，若比对一致，则对所述主磁盘进程中的所述文件执行替换操作。
一种基于多副本的数据存储装置，包括：
计算模块，用于当文件中的数据执行写入时，由主磁盘进程在内存中计算出所述文件中的数据的循环冗余码以及文件的大小；
反馈信息发送模块，用于多个从磁盘进程在接受到所述文件中的数据写入请求时，将所述循环冗余码、所述文件的大小以及所述文件中的数据执行写入操作，并将反馈信息发送至所述主磁盘进程；
核对处理模块，用于所述主磁盘进程收到所述多个从磁盘进程的所述反馈信息后，执行核对操作，并将核对信息发送至数据集群管理端。
在其中一个实施例中，其中，所述计算出所述文件中的数据的循环冗余码以及文件的大小以文件系统扩展属性的方式进行存储。
在其中一个实施例中，其中，所述核对处理模块包括：
遍历模块，用于所述主磁盘进程接收到所述反馈信息后，遍历其存储的所有文件；
核对请求模块，用于所述主磁盘进程向位于多个磁盘的所述多个从磁盘进程发起文件长度核对请求；
第一比对模块，用于接收到所述多个从磁盘进程返回的所述文件长度后，将文件系统中比对长度与扩展属性中所述文件长度执行比对操作；
第一执行模块，用于如果所述文件长度比对不一致，则向所述主磁盘进程返回错误消息，如果所述文件长度比对一致，则将所述文件长度和副本号发送至所述主磁盘进程。
在其中一个实施例中，还包括：设置模块，用于当向所述主磁盘进程返回所述错误消息时，则针对比对的所述文件进行修复标志的设置。
在其中一个实施例中，其中，所述设置模块包括：
收集模块，用于收集位于所述多个磁盘的所述多个从磁盘进程中所述文件长度和所述副本号；
第二比对模块，用于将所述文件长度和所述副本号与所述主磁盘进程中的所述文件长度进行比对；
第二执行模块，用于若比对不一致，则将所述主磁盘进程中的所述文件拷贝给位于所述多个磁盘的所述多个从磁盘进程，若比对一致，则对所述主磁盘进程中的所述文件执行替换操作。
上述基于多副本的数据存储方法和装置，当文件中的数据执行写入时，由主磁盘进程在内存中计算出文件中的数据的循环冗余码以及文件的大小；多个从磁盘进程在接受到文件中的数据写入请求时，将循环冗余码、文件的大小以及文件中的数据执行写入操作，并将反馈信息发送至主磁盘进程；主磁盘进程收到多个从磁盘进程的反馈信息后，执行核对操作，并将核对信息发送至数据集群管理端。上述基于多副本的数据存储方法保证数据的强一致性，能够应对包括主OSD(Object Storage Daemon，对象存储进程)在内的任一副本所在的磁盘的故障。
附图说明
图1是一个实施例中基于多副本的数据存储方法的流程示意图；
图2是另一个实施例中基于多副本的数据存储方法的流程示意图；
图3是一个实施例中基于多副本的数据存储装置的结构示意图；以及
图4是另一个实施例中基于多副本的数据存储装置的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本公开进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
参见图1，一个实施例中，提供了一种基于多副本的数据存储方法，该方法包括以下步骤：
步骤102，当文件中的数据执行写入时，由主磁盘进程在内存中计算出文件中的数据的循环冗余码以及文件的大小。
本实施例中，计算出文件中的数据的循环冗余码以及文件的大小以文件系统扩展属性的方式进行存储。
步骤104，多个从磁盘进程在接受到文件中的数据写入请求时，将循环冗余码、文件的大小以及文件中的数据执行写入操作，并将反馈信息发送至主磁盘进程。
步骤106，主磁盘进程收到多个从磁盘进程的反馈信息后，执行核对操作，并将核对信息发送至数据集群管理端。
本实施例中，主磁盘进程接收到反馈信息后，遍历其存储的所有文件；主磁盘进程向位于多个磁盘的多个从磁盘进程发起文件长度核对请求；接收到多个从磁盘进程返回的文件长度后，将文件系统中比对长度与扩展属性中文件长度执行比对操作；如果文件长度比对不一致，则向主磁盘进程返回错误消息，如果文件长度比对一致，则将文件长度和副本号发送至主磁盘进程。
需要说明的是，由于每个对象都只有一个主对象存储进程，因此对于对象的更新都是顺序的，不存在同步问题。当主对象存储进程收到对象的写请求时，它负责把数据发送给其他磁盘落盘，只要这个数据被保存在所有的对象存储进程上时，主对象存储进程才应答对象的写请求，保证了副本的一致性
上述基于多副本的数据存储方法，当文件中的数据执行写入时，由主磁盘进程在内存中计算出文件中的数据的循环冗余码以及文件的大小；多个从磁盘进程在接受到文件中的数据写入请求时，将循环冗余码、文件的大小以及文件中的数据执行写入操作，并将反馈信息发送至主磁盘进程；主磁盘进程收到多个从磁盘进程的反馈信息后，执行核对操作，并将核对信息发送至数据集群管理端。上述基于多副本的数据存储方法保证数据的强一致性，能够应对包括主OSD(Object Storage Daemon，对象存储进程)在内的任一副本所在的磁盘的故障。
如图2所示，在一个实施例中，提供了一种基于多副本的数据存储方法，该方法包括以下步骤：
步骤201，当文件中的数据执行写入时，由主磁盘进程在内存中计算出文件中的数据的循环冗余码以及文件的大小。
步骤202，多个从磁盘进程在接受到文件中的数据写入请求时，将循环冗余码、文件的大小以及文件中的数据执行写入操作，并将反馈信息发送至主磁盘进程。
步骤203，主磁盘进程收到多个从磁盘进程的反馈信息后，执行核对操作，并将核对信息发送至数据集群管理端。
步骤204，当向主磁盘进程返回错误消息时，则针对比对的文件进行修复标志的设置。
本实施例中，收集位于多个磁盘的多个从磁盘进程中文件长度和副本号；将文件长度和副本号与主磁盘进程中的文件长度进行比对；若比对不一致，则将主磁盘进程中的文件拷贝给位于多个磁盘的多个从磁盘进程，若比对一致，则对主磁盘进程中的文件执行替换操作。
基于同一发明构思，在一个实施例中，还提出一种基于多副本的数据存储装置。如图3，该基于多副本的数据存储装置10包括计算模块200、反馈信息发送模块400和核对处理模块600。
其中，计算模块200用于当文件中的数据执行写入时，由主磁盘进程在内存中计算出文件中的数据的循环冗余码以及文件的大小；反馈信息发送模块400用于多个从磁盘进程在接受到文件中的数据写入请求时，将循环冗余码、文件的大小以及文件中的数据执行写入操作，并将反馈信息发送至主磁盘进程；核对处理模块600用于主磁盘进程收到多个从磁盘进程的反馈信息后，执行核对操作，并将核对信息发送至数据集群管理端。
其中，计算出文件中的数据的循环冗余码以及文件的大小以文件系统扩展属性的方式进行存储。
此外，如图4，在一个实施例中，核对处理模块600包括：遍历模块610、核对请求模块620、第一比对模块630和第一执行模块640。
其中，遍历模块610用于主磁盘进程接收到反馈信息后，遍历其存储的所有文件；核对请求模块620用于主磁盘进程向位于多个磁盘的多个从磁盘进程发起文件长度核对请求；第一比对模块630用于接收到多个从磁盘进程返回的文件长度后，将文件系统中比对长度与扩展属性中文件长度执行比对操作；第一执行模块640用于如果文件长度比对不一致，则向主磁盘进程返回错误消息，如果文件长度比对一致，则将文件长度和副本号发送至主磁盘进程。
另外，如图4，在一个实施例中，该基于多副本的数据存储装置还包括：设置模块650。其中，设置模块650用于当向主磁盘进程返回错误消息时，则针对比对的文件进行修复标志的设置。具体的，设置模块650包括：收集模块651、第二比对模块652和第二执行模块653。其中，收集模块651用于收集位于多个磁盘的多个从磁盘进程中文件长度和副本号；第二比对模块652用于将文件长度和副本号与主磁盘进程中的文件长度进行比对；第二执行模块653用于若比对不一致，则将主磁盘进程中的文件拷贝给位于多个磁盘的多个从磁盘进程，若比对一致，则对主磁盘进程中的文件执行替换操作。
上述基于多副本的数据存储装置，通过计算模块200当文件中的数据执行写入时，由主磁盘进程在内存中计算出文件中的数据的循环冗余码以及文件的大小；再通过反馈信息发送模块400在多个从磁盘进程在接受到文件中的数据写入请求时，将循环冗余码、文件的大小以及文件中的数据执行写入操作，并将反馈信息发送至主磁盘进程；最终通过核对处理模块600在主磁盘进程收到多个从磁盘进程的反馈信息后，执行核对操作，并将核对信息发送至数据集群管理端。上述基于多副本的数据存储装置保证数据的强一致性，能够应对包括主OSD(Object Storage Daemon，对象存储进程)在内的任一副本所在的磁盘的故障。
应当理解的是，本公开的上述具体实施方式仅仅用于示例性说明或解释本公开的原理，而不构成对本公开的限制。因此，在不偏离本公开的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。此外，本公开所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于多副本的数据存储方法，该方法包括：
当文件中的数据执行写入时，由主磁盘进程在内存中计算出所述文件中的数据的循环冗余码以及文件的大小；
多个从磁盘进程在接受到所述文件中的数据写入请求时，将所述循环冗余码、所述文件的大小以及所述文件中的数据执行写入操作，并将反馈信息发送至所述主磁盘进程；
所述主磁盘进程收到所述多个从磁盘进程的所述反馈信息后，执行核对操作，并将核对信息发送至数据集群管理端。
2.根据权利要求1所述的方法，其中，所述计算出所述文件中的数据的循环冗余码以及文件的大小以文件系统扩展属性的方式进行存储。
3.根据权利要求1所述的方法，其中，所述主磁盘进程收到所述多个从磁盘进程的所述反馈信息后，执行核对操作包括：
所述主磁盘进程接收到所述反馈信息后，遍历其存储的所有文件；
所述主磁盘进程向位于多个磁盘的所述多个从磁盘进程发起文件长度核对请求；
接收到所述多个从磁盘进程返回的所述文件长度后，将文件系统中比对长度与扩展属性中所述文件长度执行比对操作；
如果所述文件长度比对不一致，则向所述主磁盘进程返回错误消息，如果所述文件长度比对一致，则将所述文件长度和副本号发送至所述主磁盘进程。
4.根据权利要求3所述的方法，还包括：当向所述主磁盘进程返回所述错误消息时，则针对比对的所述文件进行修复标志的设置。
5.根据权利要求4所述的方法，其中，所述针对比对的所述文件进行修复标志的设置包括：
收集位于所述多个磁盘的所述多个从磁盘进程中所述文件长度和所述副本号；
将所述文件长度和所述副本号与所述主磁盘进程中的所述文件长度进行比对；
若比对不一致，则将所述主磁盘进程中的所述文件拷贝给位于所述多个磁盘的所述多个从磁盘进程，若比对一致，则对所述主磁盘进程中的所述文件执行替换操作。
6.一种基于多副本的数据存储装置，包括：
计算模块，用于当文件中的数据执行写入时，由主磁盘进程在内存中计算出所述文件中的数据的循环冗余码以及文件的大小；
反馈信息发送模块，用于多个从磁盘进程在接受到所述文件中的数据写入请求时，将所述循环冗余码、所述文件的大小以及所述文件中的数据执行写入操作，并将反馈信息发送至所述主磁盘进程；
核对处理模块，用于所述主磁盘进程收到所述多个从磁盘进程的所述反馈信息后，执行核对操作，并将核对信息发送至数据集群管理端。
7.根据权利要求6所述的装置，其中，所述计算出所述文件中的数据的循环冗余码以及文件的大小以文件系统扩展属性的方式进行存储。
8.根据权利要求6所述的装置，其中，所述核对处理模块包括：
遍历模块，用于所述主磁盘进程接收到所述反馈信息后，遍历其存储的所有文件；
核对请求模块，用于所述主磁盘进程向位于多个磁盘的所述多个从磁盘进程发起文件长度核对请求；
第一比对模块，用于接收到所述多个从磁盘进程返回的所述文件长度后，将文件系统中比对长度与扩展属性中所述文件长度执行比对操作；
第一执行模块，用于如果所述文件长度比对不一致，则向所述主磁盘进程返回错误消息，如果所述文件长度比对一致，则将所述文件长度和副本号发送至所述主磁盘进程。
9.根据权利要求8所述的装置，还包括：设置模块，用于当向所述主磁盘进程返回所述错误消息时，则针对比对的所述文件进行修复标志的设置。
10.根据权利要求9所述的装置，其中，所述设置模块包括：
收集模块，用于收集位于所述多个磁盘的所述多个从磁盘进程中所述文件长度和所述副本号；
第二比对模块，用于将所述文件长度和所述副本号与所述主磁盘进程中的所述文件长度进行比对；
第二执行模块，用于若比对不一致，则将所述主磁盘进程中的所述文件拷贝给位于所述多个磁盘的所述多个从磁盘进程，若比对一致，则对所述主磁盘进程中的所述文件执行替换操作。
CN201610264268.5A 2016-04-25 2016-04-25 基于多副本的数据存储方法和装置 Pending CN105892954A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610264268.5A CN105892954A (zh) 2016-04-25 2016-04-25 基于多副本的数据存储方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610264268.5A CN105892954A (zh) 2016-04-25 2016-04-25 基于多副本的数据存储方法和装置

Publications (1)

Publication Number Publication Date
CN105892954A true CN105892954A (zh) 2016-08-24

Family

ID=56704705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610264268.5A Pending CN105892954A (zh) 2016-04-25 2016-04-25 基于多副本的数据存储方法和装置

Country Status (1)

Country Link
CN (1) CN105892954A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491160A (zh) * 2018-03-13 2018-09-04 北京奇艺世纪科技有限公司 一种数据写入方法及装置
CN109634524A (zh) * 2018-12-10 2019-04-16 浪潮(北京)电子信息产业有限公司 一种数据处理守护进程的数据分区配置方法、装置及设备
CN110196680A (zh) * 2018-03-27 2019-09-03 腾讯科技（深圳）有限公司 数据处理方法、装置及存储介质
WO2021238798A1 (zh) * 2020-05-29 2021-12-02 苏宁易购集团股份有限公司 一种数据的存储方法、装置及计算机系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1462116A (zh) * 2002-05-28 2003-12-17 深圳市中兴通讯股份有限公司 一种主备冗余系统中数据同步的方法
CN101334797A (zh) * 2008-08-04 2008-12-31 中兴通讯股份有限公司 一种分布式文件系统及其数据块一致性管理的方法
CN103729436A (zh) * 2013-12-27 2014-04-16 中国科学院信息工程研究所 一种分布式元数据管理方法及系统
CN103986694A (zh) * 2014-04-23 2014-08-13 清华大学 分布式计算机数据存储系统中多副本一致性的控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1462116A (zh) * 2002-05-28 2003-12-17 深圳市中兴通讯股份有限公司 一种主备冗余系统中数据同步的方法
CN101334797A (zh) * 2008-08-04 2008-12-31 中兴通讯股份有限公司 一种分布式文件系统及其数据块一致性管理的方法
US20110161302A1 (en) * 2008-08-04 2011-06-30 Zte Corporation Distributed File System and Data Block Consistency Managing Method Thereof
CN103729436A (zh) * 2013-12-27 2014-04-16 中国科学院信息工程研究所 一种分布式元数据管理方法及系统
CN103986694A (zh) * 2014-04-23 2014-08-13 清华大学 分布式计算机数据存储系统中多副本一致性的控制方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491160A (zh) * 2018-03-13 2018-09-04 北京奇艺世纪科技有限公司 一种数据写入方法及装置
CN108491160B (zh) * 2018-03-13 2021-11-26 北京奇艺世纪科技有限公司 一种数据写入方法及装置
CN110196680A (zh) * 2018-03-27 2019-09-03 腾讯科技（深圳）有限公司 数据处理方法、装置及存储介质
CN110196680B (zh) * 2018-03-27 2021-10-26 腾讯科技（深圳）有限公司 数据处理方法、装置及存储介质
CN109634524A (zh) * 2018-12-10 2019-04-16 浪潮(北京)电子信息产业有限公司 一种数据处理守护进程的数据分区配置方法、装置及设备
CN109634524B (zh) * 2018-12-10 2021-08-31 浪潮(北京)电子信息产业有限公司 一种数据处理守护进程的数据分区配置方法、装置及设备
WO2021238798A1 (zh) * 2020-05-29 2021-12-02 苏宁易购集团股份有限公司 一种数据的存储方法、装置及计算机系统

Similar Documents

Publication Publication Date Title
US10725692B2 (en) Data storage method and apparatus
CN105550229B (zh) 分布式存储系统数据修复的方法和装置
US9116903B2 (en) Method and system for inserting data records into files
US9372908B2 (en) Merging an out of synchronization indicator and a change recording indicator in response to a failure in consistency group formation
US9514008B2 (en) System and method for distributed processing of file volume
CN103946809B (zh) 为测试服务器产生产品服务器负载活动
CN103034564B (zh) 数据容灾演练方法、数据容灾演练装置及系统
CN103548011A (zh) 分布式存储环境中的异步复制
CN105892954A (zh) 基于多副本的数据存储方法和装置
CN111176885A (zh) 一种分布式存储系统的数据校验方法及相关装置
CN104978336A (zh) 基于Hadoop分布式计算平台的非结构化数据存储系统
CN108470039A (zh) 区块链中的数据处理方法和装置
CN105550230B (zh) 分布式存储系统节点故障的侦测方法和装置
CN111400267A (zh) 记录日志的方法和装置
CN115145697A (zh) 数据库事务的处理方法、装置及电子设备
CN114138192A (zh) 存储节点在线升级方法、装置、系统及存储介质
CN105653695A (zh) 一种并发数据请求处理方法及装置
WO2010057733A1 (en) Recovery control in mirrored disks
CN106611109A (zh) 一种存储设备上的软件的运行方法
CN106997305A (zh) 一种事务处理方法与装置
CN111949479A (zh) 交互系统和索引创建情况的确定方法、设备
CN104239182A (zh) 一种集群文件系统脑裂处理方法和装置
CN110399098A (zh) 一种数据处理方法及电子设备
JP6172294B2 (ja) トランザクション分散処理装置、方法、システム、および、記憶媒体
CN111400302B (zh) 连续存储数据的修改方法、装置和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160824