CN112269689B - 一种基于数据世系的云存储数据副本一致性维护方法 - Google Patents

一种基于数据世系的云存储数据副本一致性维护方法 Download PDF

Info

Publication number
CN112269689B
CN112269689B CN202011220203.3A CN202011220203A CN112269689B CN 112269689 B CN112269689 B CN 112269689B CN 202011220203 A CN202011220203 A CN 202011220203A CN 112269689 B CN112269689 B CN 112269689B
Authority
CN
China
Prior art keywords
copy
data
slave
node
lineage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011220203.3A
Other languages
English (en)
Other versions
CN112269689A (zh
Inventor
付雄
骆天浩
邓松
王俊昌
程春玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202011220203.3A priority Critical patent/CN112269689B/zh
Publication of CN112269689A publication Critical patent/CN112269689A/zh
Application granted granted Critical
Publication of CN112269689B publication Critical patent/CN112269689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/82—Solving problems relating to consistency

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于数据世系的云存储数据副本一致性维护方法，将获取的文件等分成多个数据块并且放到不同的节点上，根据数据块所在节点的在线率和可用性的综合计算来进行相应的最小副本数量的复制，并将这些副本放到不同的节点上。通过对副本进行传输性能和计算性能的评估确定主从副本。根据确定的主从副本建立相应的索引结构和数据世系，通过定时同步和建立的数据世系表进行主副本和从副本的一致性检测。根据发生不一致的副本类型确定更新方案，若发生在主副本，则需要进行更新代价的综合评价，选取更新代价最小的从副本进行数据的更新；若发生在从副本，则直接使用主副本中的数据进行从副本的更新，本发明能够保证数据副本的一致性，使得数据完整性得到保证，并且同时减少系统的开销。

Description

一种基于数据世系的云存储数据副本一致性维护方法
技术领域
本发明是一种基于数据世系的云存储数据副本一致性维护方法，主要用于云存储中数据的多个副本的维护和更新。属于数据世系和副本一致性维护领域。
背景技术
现如今随着信息技术的快速发展，云存储是在云计算技术的发展下产生的一种新兴的网络存储技术，云存储中主要有集群和分布式文件系统这样的关键部件。云存储将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。云存储可以有效解决海量数据的存储以及管理问题。云存储是一个以数据存储和管理为核心的云计算系统。
在云存储中最为关键的组件就是分布式文件系统，分布式文件系统是一种云存储的方法。它提供高吞吐量的应用程序数据访问，非常适合大规模数据集上的应用。存储在分布式文件系统中的文件被等分成多个数据块，然后将这些数据块块进行多副本的复制并且放到不同的数据节点中，数据块副本的数量是由副本所在节点的在线率和可靠性决定的。在云存储的文件系统中无法避免地会出现错误和故障块的大小和复制的块数量在创建文件时由客户机决定。文件系统不可避免的会产生故障和错误，在该文件系统中使用多副本能够保证数据的完整性和系统的可靠性。
云存储中采用了数据的多副本技术，将数据块文件复制成多个副本并将其放置到不同的云节点上，用户可以通过访问不同的节点进行数据的读写，因此会造成各个数据副本的不一致。如果数据副本发生修改并且和数据块文件中的数据不同，那么就很难保证数据块文件在出现错误和故障时仍然能够进行恢复。数据副本一致性维护最主要的目的就是保证副本在修改时能够及时地更新副本。数据副本的一致性维护是进行源数据块文件的恢复和提高系统容侵能力的基础。
数据副本的一致性维护主要可以分为两类：强一致性和最终一致性，强一致性对于数据副本的时效性要求较为严格，同一数据的各个副本之间，任何时刻都需要保持高度一致，如果副本发生了修改，那么就需要立刻将其它副本中的数据更新到该副本中；最终一致性则允许数据副本存在短时间的不一致，在进行副本的一致性检查时边检测边更新，这样能够减少系统的开销。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种基于数据世系的云存储数据副本一致性维护方法，采用数据世系来进行数据副本的一致性检测和恢复，数据世系是指数据的产生、并随时间推移而演化的整个过程的信息。数据世系包含静态的源数据信息和动态的演变过程。数据世系信息的来源是日志，通过监听器拦截日志中副本的更新记录，从中提取日志记录中的内容将其生成世系记录，保存到相应副本的世系表中。通过数据世系可以对副本之间的数据信息进行关联分析，并且可以对异常的行为进行分析，非常适合进行数据副本的一致性检测与恢复。本发明中采用的是最终一致性的维护策略，通过定期同步的方法，在一定的时间内对数据副本进行一致性检测。本发明提出的数据副本一致性维护方法主要分为三个部分：副本数量的初始化、主从副本的确定和副本的更新。副本的一致性维护首先需要考虑的是副本的数量，副本的数量决定了维护的时间和成本；其次是确定主从副本，根据不同的副本类型确定不同的一致性维护方案；最后是副本的更新，根据一致性维护方案进行副本的更新。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于数据世系的云存储数据副本一致性维护方法，包括以下步骤：
步骤1：将文件F平均分成n个数据块blki，将数据块blki随机放置到不同的节点nodei上，其中，1≤i≤n；
步骤2：计算各个数据块blki的副本需求量j，根据相应的需求量j将数据块blki复制j份；
Figure BDA0002761700080000021
其中，τi为数据块blki日志文件中的生命周期时间，ω为云存储节点的稳定因子，δi表示由系统监控日志获取的数据块blki所在节点nodei的在线率；
步骤3：建立数据块副本集Ri＝{r1,r2,…,rj}，并将所有的副本集Ri＝{r1,r2,…,rj}中的副本随机放置到不同的节点nodeij上，其中rj表示副本集Ri的第j个副本；
步骤4：选取副本集Ri＝{r1,r2,…,rj}中PDp(i,j)值最大的一个副本作为主副本rm，副本集Ri中剩余的副本{r1,r2,rm-1，rm+1，…,rj}则为从副本；
Figure BDA0002761700080000022
其中，BWij为系统实时监测的第i数据块和第j个副本之间的网络带宽，tj为副本集Ri中第j个副本的日志文件中记录的什么周期时间，PDp(i,j)表示副本集Ri中第j个副本的传输效率；
步骤5：根据各个副本集Ri中确定的主副本rm和从副本{r1,r2,rm-1，rm+1，…,rj}建立主从副本索引文件URi<rid，index>，其中，rid表示副本的标志，index为一个CopyIndex指针指向第一个从副本的地址；
步骤6：给所有的副本集Ri＝{r1,r2,…,rj}中的主副本rm建立相应的主副本数据世系DLi，并将所有主副本数据世系DLi导入数据世系表DL，数据世系表DL数据结构为<id，Rid，blk，Bip，Rip，fm，checked>，id表示各个主副本数据世系DLi建立的顺序，Rid表示主副本rm所在的副本集编号，Blk表示主副本的源数据块文件，Bip表示源数据块节点modei的网络地址，Rip表示主副本所在节点nodeij的网络地址，fm则是一个布尔类型用来表示该副本是否来自主副本，主副本本身置为false，checked则表示副本是否被检测过的标志，checked初始值为false；
步骤7：给每个副本集Ri中从副本{r1,r2,rm-1，rm+1，…,rj}建立和主副本数据世系数据结构相同的从副本数据世系CDLij，并将所有从副本数据世系CDLij导入从副本数据世系表CDL；
步骤8：每隔固定的时间T进行主副本数据世系表DL和从副本数据世系表CDL的检测，若DLi.Bip≠blki.ip，表示主副本rm发生修改与源数据块blki不一致，否则转步骤11，blki表示主副本rm的源数据块，ip表示源数据块blki所处节点的网络地址；
步骤9：根据主从副本索引文件URi获取与主副本rm相连的所有从副本{r1,r2,rm-1，rm+1，…,rj}的节点位置(i,j)，计算各个从副本节点的副本处理效率；
Figure BDA0002761700080000031
其中，PCp(i,j)表示当前所在节点(i,j)的副本处理效率，
Figure BDA0002761700080000032
是节点nodeij的CPU核数，hij为节点nodeij的CPU使用占比，ε为多核CPU转换参数；
步骤10：进行从副本{r1,r2,rm-1，rm+1，…,rj}更新到主副本rm的代价PUp(i,j)综合计算，选取更新代价PUp(i,j)值最小的从副本rj，将从副本rj的数据传入主副本rm；
Figure BDA0002761700080000033
其中，PUp(i,j)表示当前所在节点(i,j)的副本综合更新代价，PCp(i,j),表示当前所在节点(i,j)的副本处理效率，PDp(i,j)表示当前所在节点(i,j)的副本传输效率，w1、w2分别是各个性能指标的权重；
步骤11：依次比较主副本数据世系表DL和从副本数据世系表CDL，若DLi.Rip＝CDLij.Bip且CDLij.fm＝true则表示主副本rm和从副本rj一致，将checked置为true，表示已经检测过，依次向下比较；
步骤12：若出现DLi.Rip≠CDLij.Bip且CDLij.fm＝false，记录发生不一致的从副本的位置(i,j)，将主副本rm的数据直接传入从副本rj，并将CDLij.checked置为true；
步骤13：对主副本数据世系表DL和从副本数据世系表CDL依次检测，若存在DLi.checked＝false或CDLi,j.checked＝false，即存在主副本数据世系DL和从副本数据世系CDL没有被检测过，转步骤8，若不存在，则数据副本的一致性检测与更新结束。
优选的：云存储节点的稳定因子ω∈(0.5～1)。
优选的：步骤5中CopyIndex指针是由<rIndex，next>组成，其中rIndex为副本的索引，next为一个CopyIndex类型的指针，按照顺序进行单链表的连接，直到下一个副本没有时，next为null。
优选的：节点nodeij的CPU核数为1时，CPU转换参数ε为1。
优选的：各个性能指标的权重满足：w1+w2＝1。
本发明相比现有技术，具有以下有益效果：
1.将获取的文件等分成多个数据块并且放到不同的节点上，根据数据块所在节点的在线率和可用性进行相应的最小副本数量的复制并将这些副本随机存放到不同的节点上，因此在一定程度上保证数据的完整性并且减少由于多副本复制所带来的开销。
2.通过对副本进行性能的评估，评估因素主要包括副本所在节点的可用性和副本与源数据块之间的网络带宽，选取性能最高的副本作为主副本，其余同一副本集中的副本作为从副本，因此能够立刻将其它副本中的数据更新到该副本中，同时保证了数据副本的一致性。
3.根据确定的主从副本建立相应的索引结构和数据世系，通过定时同步和建立的数据世系表进行主副本和从副本的一致性检测。根据发生不一致的副本类型确定更新方案，若发生在主副本，则需要进行更新代价的综合评价，选取更新代价最小的从副本进行数据的更新；若发生在从副本，则直接使用主副本中的数据进行从副本的更新，任何时刻都能保持数据的高度一致。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于数据世系的云存储数据副本一致性维护方法，如图1所示，包括以下步骤：
步骤1：将文件F平均分成n个数据块blki，将数据块blki随机放置到不同的节点nodei上，其中，1≤i≤n；
步骤2：计算各个数据块blki的副本需求量j，根据相应的需求量j将数据块blki复制j份；
Figure BDA0002761700080000051
其中，τi为数据块blki日志文件中的生命周期时间，ω为云存储节点的稳定因子，δi表示由系统监控日志获取的数据块blki所在节点nodei的在线率；
步骤3：建立数据块副本集Ri＝{r1,r2,…,rj}，并将所有的副本集Ri＝{r1,r2,…,rj}中的副本随机放置到不同的节点nodeij上，其中rj表示副本集Ri的第j个副本；
步骤4：选取副本集Ri＝{r1,r2,…,rj}中PDp(i,j)值最大的一个副本作为主副本rm，副本集Ri中剩余的副本{r1,r2,rm-1，rm+1，…,rj}则为从副本；
Figure BDA0002761700080000052
其中，BWij为系统实时监测的第i数据块和第j个副本之间的网络带宽，tj为副本集Ri中第j个副本的日志文件中记录的什么周期时间，PDp(i,j)表示副本集Ri中第j个副本的传输效率；
步骤5：根据各个副本集Ri中确定的主副本rm和从副本{r1,r2,rm-1，rm+1，…,rj}建立主从副本索引文件URi<rid，index>，其中，rid表示副本的标志，index为一个CopyIndex指针指向第一个从副本的地址；
步骤6：给所有的副本集Ri＝{r1,r2,…,rj}中的主副本rm建立相应的主副本数据世系DLi，并将所有主副本数据世系DLi导入数据世系表DL，数据世系表DL数据结构为<id，Rid，blk，Bip，Rip，fm，checked>，id表示各个主副本数据世系DLi建立的顺序，Rid表示主副本rm所在的副本集编号，Blk表示主副本的源数据块文件，Bip表示源数据块节点modei的网络地址，Rip表示主副本所在节点nodeij的网络地址，fm则是一个布尔类型用来表示该副本是否来自主副本，主副本本身置为false，checked则表示副本是否被检测过的标志，checked初始值为false；
步骤7：给每个副本集Ri中从副本{r1,r2,rm-1，rm+1，…,rj}建立和主副本数据世系数据结构相同的从副本数据世系CDLij，并将所有从副本数据世系CDLij导入从副本数据世系表CDL；
步骤8：每隔固定的时间T进行主副本数据世系表DL和从副本数据世系表CDL的检测，若DLi.Bip≠blki.ip，表示主副本rm发生修改与源数据块blki不一致，否则转步骤11，blki表示主副本rm的源数据块，ip表示源数据块blki所处节点的网络地址；
步骤9：根据主从副本索引文件URi获取与主副本rm相连的所有从副本{r1,r2,rm-1，rm+1，…,rj}的节点位置(i,j)，计算各个从副本节点的副本处理效率；
Figure BDA0002761700080000061
其中，PCp(i,j)表示当前所在节点(i,j)的副本处理效率，
Figure BDA0002761700080000062
是节点nodeij的CPU核数，hij为节点nodeij的CPU使用占比，ε为多核CPU转换参数；
步骤10：进行从副本{r1,r2,rm-1，rm+1，…,rj}更新到主副本rm的代价PUp(i,j)综合计算，选取更新代价PUp(i,j)值最小的从副本rj，将从副本rj的数据传入主副本rm；
Figure BDA0002761700080000063
其中，PUp(i,j)表示当前所在节点(i,j)的副本综合更新代价，PCp(i,j),表示当前所在节点(i,j)的副本处理效率，PDp(i,j)表示当前所在节点(i,j)的副本传输效率，w1、w2分别是各个性能指标的权重；
步骤11：依次比较主副本数据世系表DL和从副本数据世系表CDL，若DLi.Rip＝CDLij.Bip且CDLij.fm＝true则表示主副本rm和从副本rj一致，将checked置为true，表示已经检测过，依次向下比较；
步骤12：若出现DLi.Rip≠CDLij.Bip且CDLij.fm＝false，记录发生不一致的从副本的位置(i,j)，将主副本rm的数据直接传入从副本rj，并将CDLij.checked置为true；
步骤13：对主副本数据世系表DL和从副本数据世系表CDL依次检测，若存在DLi.checked＝false或CDLi,j.checked＝false，即存在主副本数据世系DL和从副本数据世系CDL没有被检测过，转步骤8，若不存在，则数据副本的一致性检测与更新结束。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于数据世系的云存储数据副本一致性维护方法，其特征在于，包括以下步骤：
步骤1：将文件F平均分成n个数据块blki，将数据块blki随机放置到不同的节点上，其中，1≤i≤n；
步骤2：计算各个数据块blki的副本需求量j，根据相应的需求量j将数据块blki复制j份；
Figure FDA0003826103080000011
其中，τi为数据块blki日志文件中的生命周期时间，ω为云存储节点的稳定因子，δi表示由系统监控日志获取的数据块blki所在节点的在线率；
步骤3：建立数据块副本集Ri＝{r1，r2，…，rj}，并将所有的副本集Ri＝{r1，r2，…，rj}中的副本随机放置到不同的节点上，其中，rj表示副本集Ri的第j个副本；
步骤4：选取副本集Ri＝{r1，r2，…，rj}中PDp(i，j)值最大的一个副本作为主副本rm，副本集Ri中剩余的副本{r1，r2，rm-1，rm+1，…，rj}则为从副本；
Figure FDA0003826103080000012
其中，BWij为系统实时监测的第i数据块和第j个副本之间的网络带宽，tj为副本集Ri中第j个副本的日志文件中记录的生命周期时间，PDp(i，j)表示副本集Ri中第j个副本的传输效率；
步骤5：根据各个副本集Ri中确定的主副本rm和从副本{r1，r2，rm-1，rm+1，…，rj}建立主从副本索引文件URi<rid，index>，其中，rid表示副本的标志，index为一个CopyIndex指针指向第一个从副本的地址；
步骤6：给所有的副本集Ri＝{r1，r2，…，rj}中的主副本rm建立相应的主副本数据世系DLi，并将所有主副本数据世系DLi导入数据世系表DL，数据世系表DL数据结构为<id，Rid，Blk，Bip，Rip，fm，checked>，id表示各个主副本数据世系DLi建立的顺序，Rid表示主副本rm所在的副本集编号，Blk表示主副本的源数据块文件，Bip表示源数据块节点的网络地址，Rip表示主副本所在节点的网络地址，fm则是一个布尔类型用来表示该副本是否来自主副本，主副本本身置为false，checked则表示副本是否被检测过的标志，checked初始值为false；
步骤7：给每个副本集Ri中从副本{r1，r2，rm-1，rm+1，…，rj}建立和主副本数据世系数据结构相同的从副本数据世系CDLij，并将所有从副本数据世系CDLij导入从副本数据世系表CDL；
步骤8：每隔固定的时间T进行主副本数据世系表DL和从副本数据世系表CDL的检测，若DLi.Bip≠blki.ip，表示主副本rm发生修改与源数据块blki不一致，否则转步骤11，blki表示主副本rm的源数据块，ip表示源数据块blki所处节点的网络地址；
步骤9：根据主从副本索引文件URi获取与主副本rm相连的所有从副本{r1，r2，rm-1，rm+1，…，rj}的节点位置，计算各个从副本节点的副本处理效率；
Figure FDA0003826103080000021
其中，PCp(i，j)表示当前所在节点的副本处理效率，
Figure FDA0003826103080000022
是节点的CPU核数，hij为节点的CPU使用占比，ε为多核CPU转换参数；
步骤10：进行从副本{r1，r2，rm-1，rm+1，…，rj}更新到主副本rm的代价PUp(i，j)综合计算，选取更新代价PUp(i，j)值最小的从副本rj，将从副本rj的数据传入主副本rm；
Figure FDA0003826103080000023
其中，PUp(i，j)表示当前所在节点的副本综合更新代价，PCp(i，j)，表示当前所在节点的副本处理效率，PDp(i，j)表示当前所在节点的副本传输效率，w1是副本处理效率的权重，w2是副本传输效率的权重；
步骤11：依次比较主副本数据世系表DL和从副本数据世系表CDL，若DLi.Rip＝CDLij.Bip且CDLij.fm＝true则表示主副本rm和从副本rj一致，将checked置为true，表示已经检测过，依次向下比较；
步骤12：若出现DLi.Rip≠CDLij.Bip且CDLij.fm＝false，记录发生不一致的从副本的位置(i，j)，将主副本rm的数据直接传入从副本rj，并将CDLij.checked置为true；
步骤13：对主副本数据世系表DL和从副本数据世系表CDL依次检测，若存在DLi.checked＝false或CDLi，j.checked＝false，即存在主副本数据世系DL和从副本数据世系CDL没有被检测过，转步骤8，若不存在，则数据副本的一致性检测与更新结束。
2.根据权利要求1所述基于数据世系的云存储数据副本一致性维护方法，其特征在于：云存储节点的稳定因子ω∈(0.5，1)。
3.根据权利要求2所述基于数据世系的云存储数据副本一致性维护方法，其特征在于：步骤5中CopyIndex指针是由<rIndex，next>组成，其中rIndex为副本的索引，next为一个CopyIndex类型的指针，按照顺序进行单链表的连接，直到下一个副本没有时，next为null。
4.根据权利要求3所述基于数据世系的云存储数据副本一致性维护方法，其特征在于：节点的CPU核数为1时，CPU转换参数ε为1。
5.根据权利要求4所述基于数据世系的云存储数据副本一致性维护方法，其特征在于：副本处理效率的权重和副本传输效率的权重满足：w1+w2＝1。
CN202011220203.3A 2020-11-05 2020-11-05 一种基于数据世系的云存储数据副本一致性维护方法 Active CN112269689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011220203.3A CN112269689B (zh) 2020-11-05 2020-11-05 一种基于数据世系的云存储数据副本一致性维护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011220203.3A CN112269689B (zh) 2020-11-05 2020-11-05 一种基于数据世系的云存储数据副本一致性维护方法

Publications (2)

Publication Number Publication Date
CN112269689A CN112269689A (zh) 2021-01-26
CN112269689B true CN112269689B (zh) 2022-10-14

Family

ID=74346038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011220203.3A Active CN112269689B (zh) 2020-11-05 2020-11-05 一种基于数据世系的云存储数据副本一致性维护方法

Country Status (1)

Country Link
CN (1) CN112269689B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117909418B (zh) * 2024-03-20 2024-05-31 广东琴智科技研究院有限公司 深度学习模型存储一致性方法、计算子系统以及计算平台

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197753A (zh) * 2007-12-26 2008-06-11 北京理工大学 基于全局最小访问代价的副本选择方法
CN102024022A (zh) * 2010-11-04 2011-04-20 曙光信息产业(北京)有限公司 一种分布式文件系统复制元数据的方法
CN105068755A (zh) * 2015-07-08 2015-11-18 南京邮电大学 一种面向云计算内容分发网络的数据副本存储方法
CN107770259A (zh) * 2017-09-30 2018-03-06 武汉理工大学 基于文件热度和节点负载的副本数量动态调整方法
US10013316B2 (en) * 2015-08-10 2018-07-03 International Business Machines Corporation Replicating a source data set to a target data store
CN108462736A (zh) * 2018-01-21 2018-08-28 肖芳 一种面向QoS的云存储数据副本存储方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197753A (zh) * 2007-12-26 2008-06-11 北京理工大学 基于全局最小访问代价的副本选择方法
CN102024022A (zh) * 2010-11-04 2011-04-20 曙光信息产业(北京)有限公司 一种分布式文件系统复制元数据的方法
CN105068755A (zh) * 2015-07-08 2015-11-18 南京邮电大学 一种面向云计算内容分发网络的数据副本存储方法
US10013316B2 (en) * 2015-08-10 2018-07-03 International Business Machines Corporation Replicating a source data set to a target data store
CN107770259A (zh) * 2017-09-30 2018-03-06 武汉理工大学 基于文件热度和节点负载的副本数量动态调整方法
CN108462736A (zh) * 2018-01-21 2018-08-28 肖芳 一种面向QoS的云存储数据副本存储方法

Also Published As

Publication number Publication date
CN112269689A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
US9471590B2 (en) Method and apparatus for replicating virtual machine images using deduplication metadata
US7895501B2 (en) Method for auditing data integrity in a high availability database
US9367579B1 (en) System and method for maintaining a file change log within a distributed file system
WO2010015143A1 (zh) 一种分布式文件系统及其数据块一致性管理的方法
US11409711B2 (en) Barriers for dependent operations among sharded data stores
Chen et al. Adaptive performance anomaly detection for online service systems via pattern sketching
WO2021112910A1 (en) Managing dependent delete operations among data stores
US10223205B2 (en) Disaster recovery data sync
CN112269689B (zh) 一种基于数据世系的云存储数据副本一致性维护方法
EP3696658B1 (en) Log management method, server and database system
Han et al. Fingerprinting the checker policies of parallel file systems
Kumar T et al. Intelligent Fault‐Tolerant Mechanism for Data Centers of Cloud Infrastructure
Kavitha et al. Task failure resilience technique for improving the performance of MapReduce in Hadoop
CN113722154A (zh) 数据管理方法和系统、监测服务器及存储介质
CN110121712A (zh) 一种日志管理方法、服务器和数据库系统
CN111404737A (zh) 一种容灾处理方法以及相关装置
Kim et al. Performance impact of JobTracker failure in Hadoop
CN116303789A (zh) 多分片多副本数据库并行同步方法、装置及可读介质
US8478954B2 (en) Prioritizing subgroups in a consistency group
WO2014054173A1 (ja) 分散データ管理システム及びプログラム
CN111400098A (zh) 一种副本管理方法、装置、电子设备及存储介质
CN111522875A (zh) 一种全量数据同步的分布式系统数据副本一致性监测方法
Wang et al. RoVEr: Robust and verifiable erasure code for hadoop distributed file systems
CN115563088B (zh) 不同类型的数据库的数据迁移方法及迁移系统
US12045199B1 (en) Lightweight filesystem for remote storage caching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant