CN111708494A - 一种分布式存储qos的实现方法 - Google Patents

一种分布式存储qos的实现方法 Download PDF

Info

Publication number
CN111708494A
CN111708494A CN202010551837.0A CN202010551837A CN111708494A CN 111708494 A CN111708494 A CN 111708494A CN 202010551837 A CN202010551837 A CN 202010551837A CN 111708494 A CN111708494 A CN 111708494A
Authority
CN
China
Prior art keywords
distributed storage
queue
data block
priority
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010551837.0A
Other languages
English (en)
Inventor
祝乃国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202010551837.0A priority Critical patent/CN111708494A/zh
Publication of CN111708494A publication Critical patent/CN111708494A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及分布式存储领域，具体提供了一种分布式存储QOS的实现方法，该方法的步骤为，S01、分布式存储运行性能体系建立及获取；S02、分布式存储QOS实现；S03、分布式存储CAP均衡实现。与现有技术相比，本发明硬件介质确定的前提下，改善了分布式存储的整体性能,并且可通过客户、应用等条件控制读写速率，提高用户的使用体验和感受，提升用户满意度，具有良好的推广价值。

Description

一种分布式存储QOS的实现方法
技术领域
本发明涉及分布式存储领域，具体提供一种分布式存储QoS的实现方法。
背景技术
分布式存储是相对集中存储提出的概念,就是以大容量硬盘的服务器为存储介质,通过软件管理形成存储供用户使用。分布式存储可以提供各种访问协议，可以支持块和对象等存储模式。
分布式存储的基础是通过分区容错来提升数据持久化的稳定性，如在三副本情况下理论计算可以到9个9的存储稳定性，并且为了保持这个稳定性的可用一般使用强一致性来保障。
所谓多副本以及强一致性，都以分布式存储的数据读写原理为基础。一般分布式存储要存储一份数据，对用户来说是通过文件形式来表示。而要存储文件，分布式存储一般会把文件按照设置的读写数据块大小进行切分，形成数据单元。利用一定的算法计算这些数据单元可以存储的位置点，然后进行读写即可完成数据的持久化存储。
在三副本处理工程中，存在以下缺点：
上层应用在主副本全部完成时才会收到结束的标识，传输线路长；
都有自动分配及故障时恢复机制，但都基于数据单元本身，没有优先级顺序；
如果3T的硬盘损坏，要做到数据重新一致性完成，测试需耗时4小时以上，在这个过程里读写会受影响。
副本数一般为奇数，选举时容易出现脑裂，无法确定主本。
从以上过程可以看出，分布式存储作为一种存储的技术模式，与传统的集中存储相比，在性能上仍有差距，所以优化并提升分布式存储整体性能是本领域技术人员亟待解决的问题。
发明内容
本发明是针对上述现有技术的不足，提供一种实用性强的分布式存储QoS 的实现方法。
本发明解决其技术问题所采用的技术方案是：
一种分布式存储QOS的实现方法，该方法的步骤为，
S01、分布式存储运行性能体系建立及获取；
S02、分布式存储QOS实现；
S03、分布式存储CAP均衡实现。
进一步的，在步骤S01中，通过在分布式存储软件中增加原子单元的读写操作记录，结合原子单元所属的文件或归属的其他粒度，统计出冷热文件、原子单元操作频次和发生容量，并将这些指标应用到步骤S02中。
作为优选，所述原子单元的操作记录包括标志、时间和耗时长。
进一步的，在步骤S02中，包括：
S021、排定各待处理文件的优先级；
S022、按照优先级执行顺序操作。
进一步的，在步骤S021前，首先，将文件按照系统缺省设置的读写块大小拆分为等大小的数据块，最后一个可以为不是等大小的数据块；
然后，通过哈希算法获得每个数据块写入磁盘的位置；
最后，在磁盘上执行写入或读取。
进一步的，在步骤S021中，对输入的相关信息计算获得一个优先级数字，所述数字与后续调用一起传递给最终执行程序。
进一步的，在步骤S022中，排队队列的待处理任务进行优先级从大到小排序，若优先级一样则任务提交时间久的优先。
进一步的，在步骤S03中，增加中间状态变量Flag，其过程表现为： ReqNode-1AckNode-1{FlagNode-2，，FlagNode-n}，Flag由系统记录并管理，在对应的位置完成后给系统发送AckNode-n通知，则设置FlagNode-n为 FinishNode-n。系统另外设置进程检查，当前队列里Flag的情况，对于长时间未完成标志更新的判断其执行情况，如果数据操作进程活动，则提高其执行优先级；如果进程已经退出，则重新发起同步操作。
进一步的，在副本异步写入操作过程中，有数据块写入操作发生时，判断队列中是否写入操作完成，若完成，根据缓存中待写入副本的数据块形成标志队列，形成队列中数据块对应标志及操作排序的优先级权重，副本写入操作完成，更新队列操作日志，并删除队列中排队的数据块；
若未完成，则修改优先级的权重，形成队列中数据块对应标志及操作排序的优先级权重，将副本写入操作完成，更新队列操作日志，并删除队列中排队的数据块。
进一步的，当副本写入队列维护巡检时，若存在操作异常及等待时间长的数据块，则修改优先级权重，形成队列中数据块对应标志及操作排序的优先级权重，副本写入操作完成，更新队列操作日志，并删除队列中排队的数据块。
本发明的一种分布式存储QoS的实现方法和现有技术相比，具有以下突出的有益效果：
本发明在分布式存储现有性能水平的前提下，传输线路变短，加入优先级，提高用户的使用体验和感受，提升用户满意度。具体表现在：
1)在故障恢复时，通过QoS可以实现有差别的对待，即高优先级的先恢复，改变了分布式存储对数据一视同仁的技术做法。一般3T的磁盘在万兆网络环境里恢复整盘的数据大概需要3-4个小时，再次期间用户的操作请求会受到很大影响。在无法改变整盘恢复时长的前提下，通过QoS模式，可以尽量减少有关用户的等待时间，给予重要用户或应用无影响的使用感受。
2)在通用分布式存储的系统中，CAP理论成立，并且考虑了强一致性要素，导致用户使用感受差。本发明在确保数据一致性的基础上，从根本上改变了用户的可用性体验，并且不受副本数据的影响，即副本数据增加不会改变用户可用性体验。
通过本发明的方法，在发挥分布式存储优点的同时，尽量改善了其缺点，使性价比有了大幅度提升，促进了在云计算中更广泛的使用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1是一种分布式存储QoS的实现方法与现有技术的对比图；
附图2是本发明副本异步写入操作过程的流程图；
附图3是本发明QoS保障时操作处理过程流程图。
具体实施方式
为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
下面给出一个最佳实施例：
对于分布式存储，分区容错是基本要求，否则就失去了价值。因此在设计分布式存储的时候，是在一致性和可用性之间取一个平衡。
对于大多数WEB应用，其实并不需要强一致性，因此牺牲一致性而换取高可用性，是多数分布式数据库产品的方向。当然，牺牲一致性，并不是完全不管数据的一致性，否则数据是混乱的，那么系统可用性再高分布式再好也没有了价值。牺牲一致性，只是不再要求关系型数据库中的强一致性，而是只要系统能达到最终一致性即可，考虑到客户体验，这个最终一致的时间窗口，要尽可能的对用户透明，也就是需要保障“用户感知到的一致性”。
通过数据的多份异步复制来实现系统的高可用和数据的最终一致性，“用户感知到的一致性”的时间窗口则取决于数据复制到一致状态的时间。基于这些分布式存储系统的特点，本发明提出一种分布式存储QoS的实现方法，请参照图1、2、3。
本实施例中的分布式存储QoS的实现方法，分为以下步骤：
S01、分布式存储运行性能体系建立及获取；
在一般分布式存储系统中，主要输出并记录了各进程和存储对象的状态，用于写入或发生故障时触发恢复操作。但没有记录或统计正常运行情况下运行的性能情况，比如对象读写操作次数、失败次数、文件读写频率。
本发明中通过在分布式存储软件中增加原子单元的读写操作记录，包括标志、时间和耗时长，结合原子单元所属的文件或归属的其他粒度，统计出冷热文件、原子单元操作频次和发生容量，并将这些指标应用到步骤S02中。
S02、分布式存储QOS实现；
包括：
S021、排定各待处理文件的优先级；
对输入的相关信息计算获得一个优先级数字，所述数字与后续调用一起传递给最终执行程序。
S022、按照优先级执行顺序操作；
排队队列的待处理任务进行优先级从大到小排序，若优先级一样则任务提交时间久的优先。
在步骤S021前，首先，将文件按照系统缺省设置的读写块大小拆分为等大小的数据块，最后一个可以为不是等大小的数据块；
然后，通过哈希算法获得每个数据块写入磁盘的位置；
最后，在磁盘上执行写入或读取。
从用户发起读写请求到完成这个请求，主要过程是数据传输、分拆为对象写入磁盘介质几个环节。基于策略的分布式存储QoS可以在两个应用场景中发挥作用：
A)用户正常应用使用发起的读写请求；
B)有磁盘损坏替换新盘后数据同步；
无论哪种应用场景，都是通过QoS调控，让不同的用户感受到不同的性能，提升用户的满意度和使用体验。
实现QoS的过程首先要确认优先级的权值，然后是执行过程中的使用。从分布式存储端到端来看传输的QoS由网络设备根据计算产生的访问权值实现流量调控，分布式存储系统内部的调控由本发明实现。
QoS权值考虑主观和客观两类指标组成，并通过加权计算最后获得加权值。本发明用来计算QoS权值的指标体系如下表所示：
Figure BDA0002542808380000051
注：第一次处理的新文件热度值为100。
计算完成后的加权值与文件一起在整个请求期间传递使用，发生拥塞时自动按照优先级权值排序，权值越高越优先执行。
QoS调控在故障恢复时体现的更明显，一块3T的SATA磁盘替换后的数据同步大概需要3-4个小时。在这个过程中，用户使用存储的数据会受到影响。找出重要客户、重要应用和热数据优先恢复。在总时间不能变化的前提下，不同的用户有不同的等待时间是合理的方法。其过程是正常访问的逆操作，即根据当前磁盘上存储的数据信息，从map关系里获取数据归属，根据上层的归属确定哪些数据具有高优先级，哪些数据是低优先级。根据优先级顺序，依次恢复数据。
S03、分布式存储CAP均衡实现：
按照CAP理论，分区容错是分布式存储的前提和基础，是必须实现的要素之一，剩下的一致性和可用性只能选择其一。所谓可用性就是用户体验感知的存储运行性能，而一致性是同一个数据几个副本之间的实时一致。一般分布式存储从自身可用性和可维护性角度考虑，都优先实现了一致性，而放弃了用户的可用性感受。假设数据dBlock要写入从Node-1到Node-n(Node为副本)的几个存储位置，写入请求为req，完成标志为ack，执行时长为time。
则强一致性表现为：ReqNode-1 {ReqNode-2|ReqNode-n}{AckNode-2|AckNode-n}AckNode-1，则用户等待的时间是所有操作完成的时间，即sum(timem|m＝1..n)，此时用户感知的可用性较差，仅实现数据之间的强一致性。数据强一致性是为了在发生故障时，能够无损实现数据同步。
虽然在云中心大样本的前提下，硬盘损坏是必然发生的事件，但对于一块具体的硬盘来说损坏不是必然事件，并且都会有较长的正常使用时间。基于这个假设，可以考虑仅业务直接操作的主本完成即算本次操作完成，其他节点的操作可以异步实现，为了保证数据的一致性，增加中间状态变量Flag，其过程表现为：
ReqNode-1 AckNode-1{FlagNode-2，，FlagNode-n}，Flag由系统记录并管理，在对应的位置完成后给系统发送AckNode-n通知，则设置FlagNode-n 为FinishNode-n。系统另外设置进程检查，当前队列里Flag的情况对于长时间未完成标志更新的判断其执行情况，如果数据操作进程活动，则提高其执行优先级，如果进程已经退出，则重新发起同步操作。通过系统自查的方式，可以保证数据一致性在错时模式下确保实现，不影响后续的其他操作。在这种模式下，用户的等待时间为TimeNode-1使用感受有明显的提升。
为了尽量缩短从Flag到Finish状态的更新时间，采取多种提升性能的手段，比如增加SSD磁盘作为cache提升读写效率；通过采用软件RDMA和网络设备的无损传输(PFC)减轻存储服务器的CPU负荷，加快数据在不同节点间的传输。
在副本异步写入操作过程中，有数据块写入操作发生时，判断队列中是否写入操作完成，若完成，根据缓存中待写入副本的数据块形成标志队列，形成队列中数据块对应标志及操作排序的优先级权重，副本写入操作完成，更新队列操作日志，并删除队列中排队的数据块；
若未完成，则修改优先级的权重，形成队列中数据块对应标志及操作排序的优先级权重，将副本写入操作完成，更新队列操作日志，并删除队列中排队的数据块。
当副本写入队列维护巡检时，若存在操作异常及等待时间长的数据块，则修改优先级权重，形成队列中数据块对应标志及操作排序的优先级权重，副本写入操作完成，更新队列操作日志，并删除队列中排队的数据块。
上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种分布式存储QoS的实现方法权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种分布式存储QOS的实现方法，其特征在于，该方法的步骤为，
S01、分布式存储运行性能体系建立及获取；
S02、分布式存储QOS实现；
S03、分布式存储CAP均衡实现。
2.根据权利要求1所述的一种分布式存储QOS的实现方法，其特征在于，在步骤S01中，通过在分布式存储软件中增加原子单元的读写操作记录，结合原子单元所属的文件或归属的其他粒度，统计出冷热文件、原子单元操作频次和发生容量，并将这些指标应用到步骤S02中。
3.根据权利要求2所述的一种分布式存储QOS的实现方法，其特征在于，所述原子单元的操作记录包括标志、时间和耗时长。
4.根据权利要求1所述的一种分布式存储QOS的实现方法，其特征在于，在步骤S02中，包括：
S021、排定各待处理文件的优先级；
S022、按照优先级执行顺序操作。
5.根据权利要求4所述的一种分布式存储QOS的实现方法，其特征在于，在步骤S021前，首先，将文件按照系统缺省设置的读写块大小拆分为等大小的数据块，最后一个可以为不是等大小的数据块；
然后，通过哈希算法获得每个数据块写入磁盘的位置；
最后，在磁盘上执行写入或读取。
6.根据权利要求5所述的一种分布式存储QOS的实现方法，其特征在于，在步骤S021中，对输入的相关信息计算获得一个优先级数字，所述数字与后续调用一起传递给最终执行程序。
7.根据权利要求6所述的一种分布式存储QOS的实现方法，其特征在于，在步骤S022中，排队队列的待处理任务进行优先级从大到小排序，若优先级一样则任务提交时间久的优先。
8.根据权利要求1所述的一种分布式存储QOS的实现方法，其特征在于，在步骤S03中，增加中间状态变量Flag，其过程表现为：ReqNode-1AckNode-1{FlagNode-2，，FlagNode-n}，Flag由系统记录并管理，在对应的位置完成后给系统发送AckNode-n通知，则设置FlagNode-n为FinishNode-n。系统另外设置进程检查，当前队列里Flag的情况，对于长时间未完成标志更新的判断其执行情况，如果数据操作进程活动，则提高其执行优先级；如果进程已经退出，则重新发起同步操作。
9.根据权利要求8所述的一种分布式存储QOS的实现方法，其特征在于，在副本异步写入操作过程中，有数据块写入操作发生时，判断队列中是否写入操作完成，若完成，根据缓存中待写入副本的数据块形成标志队列，形成队列中数据块对应标志及操作排序的优先级权重，副本写入操作完成，更新队列操作日志，并删除队列中排队的数据块；
若未完成，则修改优先级的权重，形成队列中数据块对应标志及操作排序的优先级权重，将副本写入操作完成，更新队列操作日志，并删除队列中排队的数据块。
10.根据权利要求9所述的一种分布式存储QOS的实现方法，其特征在于，当副本写入队列维护巡检时，若存在操作异常及等待时间长的数据块，则修改优先级权重，形成队列中数据块对应标志及操作排序的优先级权重，副本写入操作完成，更新队列操作日志，并删除队列中排队的数据块。
CN202010551837.0A 2020-06-17 2020-06-17 一种分布式存储qos的实现方法 Pending CN111708494A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010551837.0A CN111708494A (zh) 2020-06-17 2020-06-17 一种分布式存储qos的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010551837.0A CN111708494A (zh) 2020-06-17 2020-06-17 一种分布式存储qos的实现方法

Publications (1)

Publication Number Publication Date
CN111708494A true CN111708494A (zh) 2020-09-25

Family

ID=72540774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010551837.0A Pending CN111708494A (zh) 2020-06-17 2020-06-17 一种分布式存储qos的实现方法

Country Status (1)

Country Link
CN (1) CN111708494A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115599316A (zh) * 2022-12-15 2023-01-13 南京鹏云网络科技有限公司（Cn） 分布式数据处理方法、装置、设备、介质和计算机程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130024722A1 (en) * 2011-07-22 2013-01-24 Microsoft Corporation Virtual disk replication using log files
US20160371202A1 (en) * 2011-11-28 2016-12-22 International Business Machines Corporation Priority level adaptation in a dispersed storage network
CN107239544A (zh) * 2017-06-05 2017-10-10 山东浪潮云服务信息科技有限公司 一种分布式存储的实现方法及装置
CN107609090A (zh) * 2017-09-07 2018-01-19 电子科技大学 分布式存储系统中多副本弱一致性维护方法
US20190235765A1 (en) * 2018-01-26 2019-08-01 International Business Machines Corporation Workload optimized planning, configuration, and monitoring for a storage system environment
US20190266109A1 (en) * 2011-11-28 2019-08-29 International Business Machines Corporation Priority level adaptation in a dispersed storage network
CN111190541A (zh) * 2019-12-26 2020-05-22 天津中科曙光存储科技有限公司 存储系统的流控方法以及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130024722A1 (en) * 2011-07-22 2013-01-24 Microsoft Corporation Virtual disk replication using log files
US20160371202A1 (en) * 2011-11-28 2016-12-22 International Business Machines Corporation Priority level adaptation in a dispersed storage network
US20190266109A1 (en) * 2011-11-28 2019-08-29 International Business Machines Corporation Priority level adaptation in a dispersed storage network
CN107239544A (zh) * 2017-06-05 2017-10-10 山东浪潮云服务信息科技有限公司 一种分布式存储的实现方法及装置
CN107609090A (zh) * 2017-09-07 2018-01-19 电子科技大学 分布式存储系统中多副本弱一致性维护方法
US20190235765A1 (en) * 2018-01-26 2019-08-01 International Business Machines Corporation Workload optimized planning, configuration, and monitoring for a storage system environment
CN111190541A (zh) * 2019-12-26 2020-05-22 天津中科曙光存储科技有限公司 存储系统的流控方法以及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115599316A (zh) * 2022-12-15 2023-01-13 南京鹏云网络科技有限公司（Cn） 分布式数据处理方法、装置、设备、介质和计算机程序产品
CN115599316B (zh) * 2022-12-15 2023-03-21 南京鹏云网络科技有限公司 分布式数据处理方法、装置、设备、介质和计算机程序产品

Similar Documents

Publication Publication Date Title
CN107544862B (zh) 一种基于纠删码的存储数据重构方法和装置、存储节点
CN111338766B (zh) 事务处理方法、装置、计算机设备及存储介质
US9904599B2 (en) Method, device, and system for data reconstruction
CN106662983B (zh) 分布式存储系统中的数据重建的方法、装置和系统
JP6139773B2 (ja) 複製書き込みのためのトークンベースの承認制御
JP5500256B2 (ja) ストレージシステム
US20230087447A1 (en) Data migration method and device
US20100023564A1 (en) Synchronous replication for fault tolerance
CN109783016A (zh) 一种分布式存储系统中的弹性多维度冗余方法
CN107249035B (zh) 一种等级动态可变的共享重复数据存储和读取方法
CN108804465B (zh) 一种分布式缓存数据库数据迁移的方法及系统
US9984139B1 (en) Publish session framework for datastore operation records
CN110825704B (zh) 一种读数据方法、写数据方法及服务器
US11250022B1 (en) Offline index builds for database tables
WO2022111188A1 (zh) 事务处理方法、系统、装置、设备、存储介质及程序产品
CN113348448A (zh) 用于优化数据去重的强化学习
JP2020154587A (ja) 計算機システム及びデータ管理方法
US11128708B2 (en) Managing remote replication in storage systems
CN111708494A (zh) 一种分布式存储qos的实现方法
CN109992196B (zh) 索引数据的存储方法及装置、存储系统
WO2017188929A1 (en) Method and apparatus for replicating data between storage systems
CN111400098B (zh) 一种副本管理方法、装置、电子设备及存储介质
WO2020238736A1 (zh) 一种生成解码矩阵的方法、解码方法和对应装置
CN116635831A (zh) 一种数据存储方法、装置及相关设备
CN112445653A (zh) 一种多时间窗口的混合容错云存储方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200925

RJ01 Rejection of invention patent application after publication