CN106445409A - 一种分布式块存储的数据写入方法及装置 - Google Patents

一种分布式块存储的数据写入方法及装置 Download PDF

Info

Publication number
CN106445409A
CN106445409A CN201610820744.7A CN201610820744A CN106445409A CN 106445409 A CN106445409 A CN 106445409A CN 201610820744 A CN201610820744 A CN 201610820744A CN 106445409 A CN106445409 A CN 106445409A
Authority
CN
China
Prior art keywords
data
node
written
distributed block
block storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610820744.7A
Other languages
English (en)
Inventor
魏盟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201610820744.7A priority Critical patent/CN106445409A/zh
Publication of CN106445409A publication Critical patent/CN106445409A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式块存储的数据写入方法及装置，接收当前端提交的IO请求；对待写入数据进行哈希处理，将待写入数据映射到集群的节点上；集群的节点作为主节点，将待写入数据顺序放入主节点对应的NVRAM数据队列中，并将待写入数据备份后推送到副本节点上；主节点以及副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。本发明所提供的分布式块存储的数据写入方法及装置，采用掉电不丢数据的非易失性内存NVRAM，能够在保证数据安全的同时，向上层应用提供等效于内存的性能，降低了IO时延的同时，也保证了带宽稳定和数据安全。

Description

一种分布式块存储的数据写入方法及装置
技术领域
本发明涉及存储服务器技术领域，特别是涉及一种分布式块存储的数据写入方法及装置。
背景技术
随着网络应用的迅速发展，网络信息数据量越来越大，PB级别的海量数据存储变得越来越重要。传统意义的本地磁盘存储方式已不能满足现有应用的大容量、高可靠性、高性能以及横向扩展等要求，为满足这些新要求，基于网络的分布式块存储系统得到了广泛重视。
目前针对分布式块存储的主流应用方式一般为虚拟机以及数据库等应用，它们的IO基本特点是轻量、随机、需要即时响应、偶尔会产生突发IO等等，这就要求存储能够做到低时延、带宽稳定，同时确保数据的安全。传统的优化方案一般都会顾此失彼，只能在某些比较保守的场景下提供较高性能。
发明内容
本发明的目的是提供一种分布式块存储的数据写入方法及装置，以解决分布式存储不能兼顾低延迟与高带宽的问题。
为解决上述技术问题，本发明提供一种分布式块存储的数据写入方法，包括：
接收当前端提交的IO请求；
对待写入数据进行哈希处理，将所述待写入数据映射到集群的节点上；
所述集群的节点作为主节点，将所述待写入数据顺序放入所述主节点对应的NVRAM数据队列中，并将所述待写入数据备份后推送到副本节点上；
所述主节点以及所述副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。
可选地，在所述将所述待写入数据备份后推送到副本节点上之后还包括：
所述副本节点进行入队操作后将状态值反馈至所述主节点，将确认字符返回至前端应用，以判断写入操作是否成功。
可选地，所述主节点以及所述副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中包括：
数据写入的位置按照一致性哈希的原则确定。
可选地，还包括：
接收当前端提交的读取请求；
根据哈希原则确定待读取数据的存储位置；
根据所述存储位置获取数据，并将所述数据返回至前端。
可选地，还包括：
对所述后端SSD中的数据进行监控，当有数据删除时，将与删除数据相邻的前后两段数据进行合并。
本发明还提供了一种分布式块存储的数据写入装置，包括：
请求接收模块，用于接收当前端提交的IO请求；
卷服务模块，用于对待写入数据进行哈希处理，将所述待写入数据映射到集群的节点上；
区块服务模块，用于将所述集群的节点作为主节点，将所述待写入数据顺序放入所述主节点对应的NVRAM数据队列中，并将所述待写入数据备份后推送到副本节点上；
写入模块，用于所述主节点以及所述副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。
可选地，还包括：
判断模块，用于在将所述待写入数据备份后推送到副本节点上之后，所述副本节点进行入队操作后将状态值反馈至所述主节点，将确认字符返回至前端应用，以判断写入操作是否成功。
可选地，所述写入模块具体为：数据写入的位置按照一致性哈希的原则确定的模块。
可选地，还包括：
读取模块，用于接收当前端提交的读取请求；根据哈希原则确定待读取数据的存储位置；根据所述存储位置获取数据，并将所述数据返回至前端。
可选地，还包括：
监控模块，用于对所述后端SSD中的数据进行监控，当有数据删除时，将与删除数据相邻的前后两段数据进行合并。
本发明所提供的分布式块存储的数据写入方法及装置，接收当前端提交的IO请求；对待写入数据进行哈希处理，将待写入数据映射到集群的节点上；集群的节点作为主节点，将待写入数据顺序放入主节点对应的NVRAM数据队列中，并将待写入数据备份后推送到副本节点上；主节点以及副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。本发明所提供的分布式块存储的数据写入方法及装置，采用掉电不丢数据的非易失性内存NVRAM，能够在保证数据安全的同时，向上层应用提供等效于内存的性能，降低了IO时延的同时，也保证了带宽稳定和数据安全。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的分布式块存储的数据写入方法的一种具体实施方式的流程图；
图2为本发明所提供的分布式块存储的数据写入方法的另一种具体实施方式的流程图；
图3为本发明实施例提供的分布式块存储的数据写入装置的结构框图；
图4为本发明所提供的分布式块存储的数据写入装置的系统架构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的分布式块存储的数据写入方法的一种具体实施方式的流程图如图1所示，该方法包括：
步骤S101：接收当前端提交的IO请求；
步骤S102：对待写入数据进行哈希处理，将所述待写入数据映射到集群的节点上；
步骤S103：所述集群的节点作为主节点，将所述待写入数据顺序放入所述主节点对应的NVRAM数据队列中，并将所述待写入数据备份后推送到副本节点上；
步骤S104：所述主节点以及所述副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。
本发明所提供的分布式块存储的数据写入方法，接收当前端提交的IO请求；对待写入数据进行哈希处理，将待写入数据映射到集群的节点上；集群的节点作为主节点，将待写入数据顺序放入主节点对应的NVRAM数据队列中，并将待写入数据备份后推送到副本节点上；主节点以及副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。本发明所提供的分布式块存储的数据写入方法，采用掉电不丢数据的非易失性内存NVRAM，能够在保证数据安全的同时，向上层应用提供等效于内存的性能，降低了IO时延的同时，也保证了带宽稳定和数据安全。
在上述实施例的基础上，本发明所提供的分布式块存储的数据写入方法中，在所述将所述待写入数据备份后推送到副本节点上之后还可以包括：
所述副本节点进行入队操作后将状态值反馈至所述主节点，将确认字符返回至前端应用，以判断写入操作是否成功。
本发明所提供的分布式块存储的数据写入方法的另一种具体实施方式的流程图如图2所示，该方法包括：
步骤S201：当前端提交IO请求；假设为4KB的写入操作；
步骤S202：数据会先经过卷服务模块，进行哈希处理之后，将数据映射到集群的某一节点上，沿万兆网络提交给对应节点(即主节点)的区块服务模块；
步骤S203：区块服务模块接收数据之后，将数据顺序放入主节点的NVRAM数据队列中，同时根据副本设置，将数据原样复制一份推送到另一个节点(即副本节点)上。
副本节点做相同的入队操作之后，反馈给主节点状态值，主节点将状态值返回给前端的卷服务模块，解析之后进而返回给前端应用(或者虚拟机)一个ACK，以此判断写入操作是否成功；
步骤S204：主和副本节点的NVRAM中数据队列会定时以1MB为单位向后端的SSD刷新，数据所在的位置按照一致性哈希的原则确定。
这样通过变小文件的随机写为大块的顺序写来提升带宽性能，至此，写入操作完成。
在上述任一实施例的基础上，本发明所提供的分布式块存储的数据写入方法还可以进一步包括读取数据的过程，还过程包括：
接收当前端提交的读取请求；
根据哈希原则确定待读取数据的存储位置；
根据所述存储位置获取数据，并将所述数据返回至前端。
读取操作相对来说比较简单，卷服务模块获知请求之后，根据哈希原则确定数据位置，再将请求提交给对应节点的区块服务模块，拿到数据之后依次返回给前端。
优选地，本发明实施例还可以进一步包括：
对所述后端SSD中的数据进行监控，当有数据删除时，将与删除数据相邻的前后两段数据进行合并。
对于用户的删除操作，区块服务会定时对SSD上的数据状态进行监控，将数据合并处理，以避免因删除操作带来的孔洞，影响后续的读取性能。
此外，由于各个逻辑卷由卷服务模块统一管理，所以前端可以通过设置性能区间管理每个卷能占用到的性能，如IOPS和带宽等，从而当某一卷的IO突然上涨时，不致影响其他卷的正常使用。
下面对本发明实施例提供的分布式块存储的数据写入装置进行介绍，下文描述的分布式块存储的数据写入装置与上文描述的分布式块存储的数据写入方法可相互对应参照。
图3为本发明实施例提供的分布式块存储的数据写入装置的结构框图，参照图3分布式块存储的数据写入装置可以包括：
请求接收模块100，用于接收当前端提交的IO请求；
卷服务模块200，用于对待写入数据进行哈希处理，将所述待写入数据映射到集群的节点上；
区块服务模块300，用于将所述集群的节点作为主节点，将所述待写入数据顺序放入所述主节点对应的NVRAM数据队列中，并将所述待写入数据备份后推送到副本节点上；
写入模块400，用于所述主节点以及所述副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。
在上述实施例的基础上，本发明所提供的分布式块存储的数据写入装置还可以包括：
判断模块，用于在将所述待写入数据备份后推送到副本节点上之后，所述副本节点进行入队操作后将状态值反馈至所述主节点，将确认字符返回至前端应用，以判断写入操作是否成功。
进一步地，所述写入模块可以具体为：数据写入的位置按照一致性哈希的原则确定的模块。
在上述任一实施例的基础上，本发明所提供的分布式块存储的数据写入装置还可以包括：
读取模块，用于接收当前端提交的读取请求；根据哈希原则确定待读取数据的存储位置；根据所述存储位置获取数据，并将所述数据返回至前端。
作为一种具体实施方式，本发明实施例还可以包括：
监控模块，用于对所述后端SSD中的数据进行监控，当有数据删除时，将与删除数据相邻的前后两段数据进行合并。
如图4本发明所提供的分布式块存储的数据写入装置的系统架构示意图所示。本发明使用万兆网络环境，后端采用SSD硬盘，从硬件层面上最大限度降低时延，万兆网络可以选择作LACP模式绑定。此外，将NVRAM硬件加入集群节点中，整个系统分为卷服务模块和区块服务模块两大部分。
本发明所提供的分布式块存储的数据写入装置，接收当前端提交的IO请求；对待写入数据进行哈希处理，将待写入数据映射到集群的节点上；集群的节点作为主节点，将待写入数据顺序放入主节点对应的NVRAM数据队列中，并将待写入数据备份后推送到副本节点上；主节点以及副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。本发明所提供的分布式块存储的数据写入装置，采用掉电不丢数据的非易失性内存NVRAM，能够在保证数据安全的同时，向上层应用提供等效于内存的性能，降低了IO时延的同时，也保证了带宽稳定和数据安全。本申请优化了虚拟机和数据库应用场景下的IOPS性能；提供用于调节各逻辑卷的性能负载的策略。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的分布式块存储的数据写入方法及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种分布式块存储的数据写入方法，其特征在于，包括：
接收当前端提交的IO请求；
对待写入数据进行哈希处理，将所述待写入数据映射到集群的节点上；
所述集群的节点作为主节点，将所述待写入数据顺序放入所述主节点对应的NVRAM数据队列中，并将所述待写入数据备份后推送到副本节点上；
所述主节点以及所述副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。
2.如权利要求1所述的分布式块存储的数据写入方法，其特征在于，在所述将所述待写入数据备份后推送到副本节点上之后还包括：
所述副本节点进行入队操作后将状态值反馈至所述主节点，将确认字符返回至前端应用，以判断写入操作是否成功。
3.如权利要求2所述的分布式块存储的数据写入方法，其特征在于，所述主节点以及所述副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中包括：
数据写入的位置按照一致性哈希的原则确定。
4.如权利要求1至3任一项所述的分布式块存储的数据写入方法，其特征在于，还包括：
接收当前端提交的读取请求；
根据哈希原则确定待读取数据的存储位置；
根据所述存储位置获取数据，并将所述数据返回至前端。
5.如权利要求4所述的分布式块存储的数据写入方法，其特征在于，还包括：
对所述后端SSD中的数据进行监控，当有数据删除时，将与删除数据相邻的前后两段数据进行合并。
6.一种分布式块存储的数据写入装置，其特征在于，包括：
请求接收模块，用于接收当前端提交的IO请求；
卷服务模块，用于对待写入数据进行哈希处理，将所述待写入数据映射到集群的节点上；
区块服务模块，用于将所述集群的节点作为主节点，将所述待写入数据顺序放入所述主节点对应的NVRAM数据队列中，并将所述待写入数据备份后推送到副本节点上；
写入模块，用于所述主节点以及所述副本节点的NVRAM数据队列按照预设时间将数据写入后端SSD中。
7.如权利要求6所述的分布式块存储的数据写入装置，其特征在于，还包括：
判断模块，用于在将所述待写入数据备份后推送到副本节点上之后，所述副本节点进行入队操作后将状态值反馈至所述主节点，将确认字符返回至前端应用，以判断写入操作是否成功。
8.如权利要求7所述的分布式块存储的数据写入装置，其特征在于，所述写入模块具体为：数据写入的位置按照一致性哈希的原则确定的模块。
9.如权利要求6至8任一项所述的分布式块存储的数据写入装置，其特征在于，还包括：
读取模块，用于接收当前端提交的读取请求；根据哈希原则确定待读取数据的存储位置；根据所述存储位置获取数据，并将所述数据返回至前端。
10.如权利要求9所述的分布式块存储的数据写入装置，其特征在于，还包括：
监控模块，用于对所述后端SSD中的数据进行监控，当有数据删除时，将与删除数据相邻的前后两段数据进行合并。
CN201610820744.7A 2016-09-13 2016-09-13 一种分布式块存储的数据写入方法及装置 Pending CN106445409A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610820744.7A CN106445409A (zh) 2016-09-13 2016-09-13 一种分布式块存储的数据写入方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610820744.7A CN106445409A (zh) 2016-09-13 2016-09-13 一种分布式块存储的数据写入方法及装置

Publications (1)

Publication Number Publication Date
CN106445409A true CN106445409A (zh) 2017-02-22

Family

ID=58169046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610820744.7A Pending CN106445409A (zh) 2016-09-13 2016-09-13 一种分布式块存储的数据写入方法及装置

Country Status (1)

Country Link
CN (1) CN106445409A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980475A (zh) * 2017-04-01 2017-07-25 广东浪潮大数据研究有限公司 一种分布式集群系统
CN107329695A (zh) * 2017-06-22 2017-11-07 上海七牛信息技术有限公司 一种分布式存储内存管理方法、系统及计算机存储介质
CN108196795A (zh) * 2017-12-30 2018-06-22 惠龙易通国际物流股份有限公司 一种数据存储方法、设备及计算机存储介质
CN108462756A (zh) * 2018-03-29 2018-08-28 新华三技术有限公司 一种数据写入方法和装置
CN110309224A (zh) * 2018-03-14 2019-10-08 华为技术有限公司 一种数据复制方法及装置
CN112068997A (zh) * 2020-09-09 2020-12-11 恒生电子股份有限公司 数据备份方法、装置、设备及存储介质
CN113032356A (zh) * 2021-03-31 2021-06-25 中电科航空电子有限公司 一种客舱分布式文件存储系统及实现方法
CN113064766A (zh) * 2021-05-07 2021-07-02 数字广东网络建设有限公司 数据备份方法、装置、设备及存储介质
CN114244859A (zh) * 2022-02-23 2022-03-25 阿里云计算有限公司 数据处理方法及装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040139294A1 (en) * 2003-01-14 2004-07-15 International Business Machines Corporatin Backup firmware in a distributed system
CN102843403A (zh) * 2011-06-23 2012-12-26 盛大计算机（上海）有限公司 基于分布式文件系统的文件处理方法、系统及客户端
CN104317716A (zh) * 2014-10-30 2015-01-28 华为技术有限公司 分布式节点间的数据传输方法及分布式节点设备
CN104317736A (zh) * 2014-09-28 2015-01-28 曙光信息产业股份有限公司 一种分布式文件系统多级缓存实现方法
CN104461768A (zh) * 2013-09-22 2015-03-25 华为技术有限公司 副本存储装置及副本存储方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040139294A1 (en) * 2003-01-14 2004-07-15 International Business Machines Corporatin Backup firmware in a distributed system
CN102843403A (zh) * 2011-06-23 2012-12-26 盛大计算机（上海）有限公司 基于分布式文件系统的文件处理方法、系统及客户端
CN104461768A (zh) * 2013-09-22 2015-03-25 华为技术有限公司 副本存储装置及副本存储方法
CN104317736A (zh) * 2014-09-28 2015-01-28 曙光信息产业股份有限公司 一种分布式文件系统多级缓存实现方法
CN104317716A (zh) * 2014-10-30 2015-01-28 华为技术有限公司 分布式节点间的数据传输方法及分布式节点设备

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980475A (zh) * 2017-04-01 2017-07-25 广东浪潮大数据研究有限公司 一种分布式集群系统
CN107329695A (zh) * 2017-06-22 2017-11-07 上海七牛信息技术有限公司 一种分布式存储内存管理方法、系统及计算机存储介质
CN107329695B (zh) * 2017-06-22 2020-03-20 上海七牛信息技术有限公司 一种分布式存储内存管理方法、系统及计算机存储介质
CN108196795A (zh) * 2017-12-30 2018-06-22 惠龙易通国际物流股份有限公司 一种数据存储方法、设备及计算机存储介质
CN108196795B (zh) * 2017-12-30 2020-09-04 惠龙易通国际物流股份有限公司 一种数据存储方法、设备及计算机存储介质
CN110309224B (zh) * 2018-03-14 2021-08-31 华为技术有限公司 一种数据复制方法及装置
CN110309224A (zh) * 2018-03-14 2019-10-08 华为技术有限公司 一种数据复制方法及装置
CN108462756A (zh) * 2018-03-29 2018-08-28 新华三技术有限公司 一种数据写入方法和装置
CN108462756B (zh) * 2018-03-29 2020-11-06 新华三技术有限公司 一种数据写入方法和装置
CN112068997A (zh) * 2020-09-09 2020-12-11 恒生电子股份有限公司 数据备份方法、装置、设备及存储介质
CN112068997B (zh) * 2020-09-09 2023-12-19 恒生电子股份有限公司 数据备份方法、装置、设备及存储介质
CN113032356A (zh) * 2021-03-31 2021-06-25 中电科航空电子有限公司 一种客舱分布式文件存储系统及实现方法
CN113064766A (zh) * 2021-05-07 2021-07-02 数字广东网络建设有限公司 数据备份方法、装置、设备及存储介质
CN114244859A (zh) * 2022-02-23 2022-03-25 阿里云计算有限公司 数据处理方法及装置和电子设备

Similar Documents

Publication Publication Date Title
CN106445409A (zh) 一种分布式块存储的数据写入方法及装置
CN107967124B (zh) 一种分布式持久性内存存储系统及方法
KR101833114B1 (ko) 분산 데이터베이스 시스템들을 위한 고속 장애 복구
KR101827239B1 (ko) 분산 데이터 시스템들을 위한 전 시스템에 미치는 체크포인트 회피
CN103150347B (zh) 基于文件热度的动态副本管理方法
CN103425756B (zh) 一种hdfs中数据块的副本管理策略
US10901619B2 (en) Selecting pages implementing leaf nodes and internal nodes of a data set index for reuse
WO2021012785A1 (zh) 基于云存储的云磁盘挂载方法、装置、设备和存储介质
CN102541984B (zh) 一种分布式文件系统客户端的文件系统的实现方法
CN105339885B (zh) 磁盘上数据的小随机更改的高效存储
US9229864B1 (en) Managing metadata synchronization for reducing host system latency in a storage system
EP2979187B1 (en) Data flush of group table
CN109213420A (zh) 数据存储方法、装置及系统
CN102687112A (zh) 在分布式存储系统中管理文件的装置及方法
CN106657356A (zh) 一种云存储系统的数据写入方法、装置及云存储系统
CN110007870A (zh) 一种存储设备写请求处理方法及相关装置
CN109471843A (zh) 一种元数据缓存方法、系统及相关装置
WO2011100365A1 (en) Method and system for dynamically replicating data within a distributed storage system
CN110196818A (zh) 缓存数据的方法、缓存设备和存储系统
Xu et al. Rethink the storage of virtual machine images in clouds
CN103150267B (zh) 一种多控制器间的缓存同步方法
CN109582213A (zh) 数据重构方法及装置、数据存储系统
US20170123975A1 (en) Centralized distributed systems and methods for managing operations
US9298493B1 (en) Managing system I/O load
CN103412929A (zh) 一种海量数据的存储方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222