CN107302561A - 一种云存储系统中热点数据副本放置方法 - Google Patents

一种云存储系统中热点数据副本放置方法 Download PDF

Info

Publication number
CN107302561A
CN107302561A CN201710367002.8A CN201710367002A CN107302561A CN 107302561 A CN107302561 A CN 107302561A CN 201710367002 A CN201710367002 A CN 201710367002A CN 107302561 A CN107302561 A CN 107302561A
Authority
CN
China
Prior art keywords
file
node
currently processed
pending
cloud storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710367002.8A
Other languages
English (en)
Other versions
CN107302561B (zh
Inventor
付雄
郝鸣
郝一鸣
邓松
王俊昌
程春玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201710367002.8A priority Critical patent/CN107302561B/zh
Publication of CN107302561A publication Critical patent/CN107302561A/zh
Application granted granted Critical
Publication of CN107302561B publication Critical patent/CN107302561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data

Abstract

本发明涉及一种云存储系统中热点数据副本放置方法，通过文件的读写次数进行分类，再选择热度较高且合适的文件增加副本数量以达到平衡存储节点负载，一定程度上减少系统内部通信成本，提高云存储系统整体性能的目的；其原理是根据周期内对文件的访问情况做记录，对根据记录筛选得到的适合的热点文件增加额外的临时副本；本发明所设计方法可以在尽可能避免额外开销的条件下，有效控制部分文件热度急剧上升带来的消耗。

Description

一种云存储系统中热点数据副本放置方法
技术领域
本发明涉及一种云存储系统中热点数据副本放置方法，属于云存储副本技术领域。
背景技术
现如今计算机技术和互联网技术已经渗透人们生产生活的方方面面。同时，信息化数字化程度不断深化的生活又带来了高速膨胀的数据量。云计算的概念是通过互联网有偿提供、索取虚拟化的计算机资源，云计算技术的不断成熟使得对大量数据的处理和保存降低了成本。
云存储让用户可以把庞大的数据保存在云端，通过网络进行读写或是分享等操作。云存储服务提供者通过软件使用并管理着大量不同位置、不同类型的物理存储设备，虚拟成一个存储系统对用户提供基于网络的数据存储服务，云存储服务在互联网中已经被广泛使用。在云存储系统中，为了提高系统整体的读写性能和可靠性，需要对同一个文件在不同的物理位置复制副本，而放置副本的策略会影响系统的性能。由于实际应用场景的千变万化，几乎没有什么策略能在任何情况下都表现完美。对于那些提供云存储服务有倾向性或针对性的提供者，根据具体情况和需求，选择对应最合适的策略才能取得最好的效果。
发明内容
本发明所要解决的技术问题是提供一种采用全新策略，能够提高云存储系统访问性能，并在一定程度上降低通信成本的云存储系统中热点数据副本放置方法。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种云存储系统中热点数据副本放置方法，周期执行如下步骤，针对热点数据实现副本放置；
步骤A.分别针对云存储系统中的各个原始文件，统计预设时长内原始文件所对应的读请求次数Pr和写请求次数Pw，并判断是否存在满足Pr>Pw，且Pr与Pw之间差值大于预设阈值的原始文件，是则针对该各个原始文件构建待处理文件集合Fr，同时获得待处理文件集合Fr中各个原始文件在预设时长内、所对应的访问次数P，然后进入步骤B；否则方法结束；
步骤B.判断云存储系统中各个节点分别对应的副本空间是否均已满，是则方法结束，否则进入步骤C；
步骤C.选择待处理文件集合Fr中最大访问次数所对应的原始文件作为当前处理文件，根据当前处理文件在本周期执行操作中所对应预设时长内的访问次数P，以及当前处理文件在上一周期执行操作中所对应预设时长内的访问次数P'，判断P与P'的比值K是否大于1，是则进入步骤E；否则进入步骤D；
步骤D.将当前处理文件所对应的各个副本文件剪切至可删除副本集合Rd中，同时将当前处理文件由待处理文件集合Fr中删除，然后返回步骤C；
步骤E.获得当前处理文件所对应新增副本文件的数量，并判断新增副本文件的数量是否大于0，是进入步骤F；否则方法结束；
步骤F.针对云存储系统中不包含当前处理文件所对应副本文件的各个节点，构建待处理节点集合Voff，并计算获得待处理节点集合Voff中各个节点的负载，然后进入步骤G；
步骤G.选择待处理节点集合中最小负载所对应的节点作为当前处理节点，判断当前处理节点所对应的副本空间是否足够存储单个当前处理文件的副本，是则进入步骤I；否则进入步骤H；
步骤H.判断当前处理节点所存储的副本文件中，是否存在位于可删除副本集合Rd中的副本文件，是则分别针对该各个副本文件，获得副本文件访问次数与副本文件大小之间的比值，并针对当前处理节点所存储的副本文件，按比值由小至大的顺序，依次删除副本文件，直至当前处理节点所对应的副本空间足够存储单个当前处理文件的副本为止，停止删除操作，然后进入步骤I；否则将当前处理节点由待处理节点集合Voff中删除，并返回步骤G；
步骤I.在当前处理节点的副本空间中新增当前处理文件所对应的一个副本文件，并将当前处理节点由待处理节点集合Voff中删除，同时，针对当前处理文件所对应新增副本文件的数量进行减1更新，然后判断当前处理文件所对应新增副本文件的数量是否大于0，是则返回步骤G；否则将当前处理文件由待处理文件集合Fr中删除，并返回步骤C。
作为本发明的一种优选技术方案：所述步骤E中，根据当前处理文件所对应已有副本文件的数量与(K-1)的乘积，获得当前处理文件所对应新增副本文件的数量。
作为本发明的一种优选技术方案：所述步骤F中，针对待处理节点集合Voff中的各个节点，根据节点所对应的输入输出负载，以及所对应的磁盘存储空间负载，计算获得待处理节点集合Voff中各个节点的负载。
作为本发明的一种优选技术方案：所述步骤F中，针对待处理节点集合Voff中的各个节点，根据节点所对应的输入输出负载IO，以及所对应的磁盘存储空间负载SPACE，按如下公式：
LOAD＝W1*IO+W2*SPACE
计算获得待处理节点集合Voff中各个节点的负载LOAD，其中，W1表示预设节点输入输出负载权值，W2表示预设节点磁盘存储空间负载权值。
本发明所述一种云存储系统中热点数据副本放置方法采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的云存储系统中热点数据副本放置方法，相比主流的副本放置策略，主要优势在于：通过文件的读写次数进行分类，再选择热度较高且合适的文件增加副本数量以达到提高云存储系统的访问性能，一定程度上减少系统内部通信成本的目的。该策略作为一种动态的副本放置策略也具备一定的适应能力，同时也可以在一定范围内提高存储节点的存储空间利用率。
附图说明
图1是本发明所设计云存储系统中热点数据副本放置方法的示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
云存储系统中，为了提高系统整体的读写性能和可靠性，需要对同一个文件在不同的物理位置复制副本。副本的放置策略决定将哪些数据的副本复制到哪些具体的存储节点上。如果云存储系统中的数据都是文件，有些文件对一致性有较高的要求，增加副本数量会带来额外的同步工作，但也有很多文件在相当长的时间内都不会被反复修改，比如多媒体文件、压缩文件等等，对这类文件增加副本数量并不会带来过多额外的通信成本。另一方面，一些热点数据会在短时间内受到大量的访问，适当地增加这些数据的副本数量，可以减少原来副本所在节点的输出负担和部分链路的通信成本。
Hadoop分布式文件系统即HDFS，是在云存储技术广泛得到应用的文件系统，它对所有数据复制两份，一共三份副本，副本位置在一定范围内是随机决定的。HDFS的副本放置策略可以保证足够的可靠性，但在许多特定的场景下还存在更加合适的策略。
如图1所示，本发明设计了一种云存储系统中热点数据副本放置方法，周期执行如下步骤，针对热点数据实现副本放置；
步骤A.分别针对云存储系统中的各个原始文件，统计预设时长内原始文件所对应的读请求次数Pr和写请求次数Pw，并判断是否存在满足Pr>Pw，且Pr与Pw之间差值大于预设阈值的原始文件，是则针对该各个原始文件构建待处理文件集合Fr，同时获得待处理文件集合Fr中各个原始文件在预设时长内、所对应的访问次数P，然后进入步骤B；否则方法结束。
步骤B.判断云存储系统中各个节点分别对应的副本空间是否均已满，是则方法结束，否则进入步骤C。
步骤C.选择待处理文件集合Fr中最大访问次数所对应的原始文件作为当前处理文件，根据当前处理文件在本周期执行操作中所对应预设时长内的访问次数P，以及当前处理文件在上一周期执行操作中所对应预设时长内的访问次数P'，判断P与P'的比值K是否大于1，是则进入步骤E；否则进入步骤D。
步骤D.将当前处理文件所对应的各个副本文件剪切至可删除副本集合Rd中，同时将当前处理文件由待处理文件集合Fr中删除，然后返回步骤C。
步骤E.根据当前处理文件所对应已有副本文件的数量与(K-1)的乘积，获得当前处理文件所对应新增副本文件的数量，并判断新增副本文件的数量是否大于0，是进入步骤F；否则方法结束。
步骤F.针对云存储系统中不包含当前处理文件所对应副本文件的各个节点，构建待处理节点集合Voff，并针对待处理节点集合Voff中的各个节点，根据节点所对应的输入输出负载IO，以及所对应的磁盘存储空间负载SPACE，按如下公式：
LOAD＝W1*IO+W2*SPACE
计算获得待处理节点集合Voff中各个节点的负载LOAD，然后进入步骤G；其中，W1表示预设节点输入输出负载权值，W2表示预设节点磁盘存储空间负载权值。
步骤G.选择待处理节点集合中最小负载所对应的节点作为当前处理节点，判断当前处理节点所对应的副本空间是否足够存储单个当前处理文件的副本，是则进入步骤I；否则进入步骤H。
步骤H.判断当前处理节点所存储的副本文件中，是否存在位于可删除副本集合Rd中的副本文件，是则分别针对该各个副本文件，获得副本文件访问次数与副本文件大小之间的比值，并针对当前处理节点所存储的副本文件，按比值由小至大的顺序，依次删除副本文件，直至当前处理节点所对应的副本空间足够存储单个当前处理文件的副本为止，停止删除操作，然后进入步骤I；否则将当前处理节点由待处理节点集合Voff中删除，并返回步骤G。
步骤I.在当前处理节点的副本空间中新增当前处理文件所对应的一个副本文件，并将当前处理节点由待处理节点集合Voff中删除，同时，针对当前处理文件所对应新增副本文件的数量进行减1更新，然后判断当前处理文件所对应新增副本文件的数量是否大于0，是则返回步骤G；否则将当前处理文件由待处理文件集合Fr中删除，并返回步骤C。
在面向个体用户的云存储服务系统中，用户向系统提交访问文件的请求，云存储系统查找保存所需副本的节点的地址，用户再通过网络访问相应节点的文件。如果某些文件的热度骤然上升，很可能会出现相同的数据在链路中反复地传输，或是节点反复提供同一个文件，这会导致资源和性能的浪费。使用本发明所设计的云存储系统中热点数据副本放置方法，可以在一定程度上控制相同数据反复传输带来的浪费，设计方法是以小部分存储空间为代价，增加部分文件的冗余度以换取一定性能，增加冗余可能带来同步操作引起的性能消耗，而本发明中根据文件的读写访问特征分类文件，可以很大程度避开这些文件，最终达到有效控制文件热度骤升对云存储系统带来的性能冲击的目的。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (4)

1.一种云存储系统中热点数据副本放置方法，其特征在于，周期执行如下步骤，针对热点数据实现副本放置；
步骤A.分别针对云存储系统中的各个原始文件，统计预设时长内原始文件所对应的读请求次数Pr和写请求次数Pw，并判断是否存在满足Pr>Pw，且Pr与Pw之间差值大于预设阈值的原始文件，是则针对该各个原始文件构建待处理文件集合Fr，同时获得待处理文件集合Fr中各个原始文件在预设时长内、所对应的访问次数P，然后进入步骤B；否则方法结束；
步骤B.判断云存储系统中各个节点分别对应的副本空间是否均已满，是则方法结束，否则进入步骤C；
步骤C.选择待处理文件集合Fr中最大访问次数所对应的原始文件作为当前处理文件，根据当前处理文件在本周期执行操作中所对应预设时长内的访问次数P，以及当前处理文件在上一周期执行操作中所对应预设时长内的访问次数P'，判断P与P'的比值K是否大于1，是则进入步骤E；否则进入步骤D；
步骤D.将当前处理文件所对应的各个副本文件剪切至可删除副本集合Rd中，同时将当前处理文件由待处理文件集合Fr中删除，然后返回步骤C；
步骤E.获得当前处理文件所对应新增副本文件的数量，并判断新增副本文件的数量是否大于0，是进入步骤F；否则方法结束；
步骤F.针对云存储系统中不包含当前处理文件所对应副本文件的各个节点，构建待处理节点集合Voff，并计算获得待处理节点集合Voff中各个节点的负载，然后进入步骤G；
步骤G.选择待处理节点集合中最小负载所对应的节点作为当前处理节点，判断当前处理节点所对应的副本空间是否足够存储单个当前处理文件的副本，是则进入步骤I；否则进入步骤H；
步骤H.判断当前处理节点所存储的副本文件中，是否存在位于可删除副本集合Rd中的副本文件，是则分别针对该各个副本文件，获得副本文件访问次数与副本文件大小之间的比值，并针对当前处理节点所存储的副本文件，按比值由小至大的顺序，依次删除副本文件，直至当前处理节点所对应的副本空间足够存储单个当前处理文件的副本为止，停止删除操作，然后进入步骤I；否则将当前处理节点由待处理节点集合Voff中删除，并返回步骤G；
步骤I.在当前处理节点的副本空间中新增当前处理文件所对应的一个副本文件，并将当前处理节点由待处理节点集合Voff中删除，同时，针对当前处理文件所对应新增副本文件的数量进行减1更新，然后判断当前处理文件所对应新增副本文件的数量是否大于0，是则返回步骤G；否则将当前处理文件由待处理文件集合Fr中删除，并返回步骤C。
2.根据权利要求1所述一种云存储系统中热点数据副本放置方法，其特征在于：所述步骤E中，根据当前处理文件所对应已有副本文件的数量与(K-1)的乘积，获得当前处理文件所对应新增副本文件的数量。
3.根据权利要求1所述一种云存储系统中热点数据副本放置方法，其特征在于：所述步骤F中，针对待处理节点集合Voff中的各个节点，根据节点所对应的输入输出负载，以及所对应的磁盘存储空间负载，计算获得待处理节点集合Voff中各个节点的负载。
4.根据权利要求3所述一种云存储系统中热点数据副本放置方法，其特征在于：所述步骤F中，针对待处理节点集合Voff中的各个节点，根据节点所对应的输入输出负载IO，以及所对应的磁盘存储空间负载SPACE，按如下公式：
LOAD＝W1*IO+W2*SPACE
计算获得待处理节点集合Voff中各个节点的负载LOAD，其中，W1表示预设节点输入输出负载权值，W2表示预设节点磁盘存储空间负载权值。
CN201710367002.8A 2017-05-23 2017-05-23 一种云存储系统中热点数据副本放置方法 Active CN107302561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710367002.8A CN107302561B (zh) 2017-05-23 2017-05-23 一种云存储系统中热点数据副本放置方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710367002.8A CN107302561B (zh) 2017-05-23 2017-05-23 一种云存储系统中热点数据副本放置方法

Publications (2)

Publication Number Publication Date
CN107302561A true CN107302561A (zh) 2017-10-27
CN107302561B CN107302561B (zh) 2019-08-13

Family

ID=60137249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710367002.8A Active CN107302561B (zh) 2017-05-23 2017-05-23 一种云存储系统中热点数据副本放置方法

Country Status (1)

Country Link
CN (1) CN107302561B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109525662A (zh) * 2018-11-14 2019-03-26 程桂平 为热点内容设置副本的方法
CN110362426A (zh) * 2019-06-21 2019-10-22 华中科技大学 一种面向突发性负载的选择性副本实现方法及系统
CN110460682A (zh) * 2019-09-18 2019-11-15 深圳市网心科技有限公司 一种数据处理方法、装置、系统及存储介质
CN110795026A (zh) * 2018-08-03 2020-02-14 杭州海康威视系统技术有限公司 热点数据的识别方法、装置、设备及存储介质
CN110839069A (zh) * 2019-11-04 2020-02-25 深圳市网心科技有限公司 一种节点数据部署方法、部署节点、系统及介质
CN111258980A (zh) * 2020-01-18 2020-06-09 重庆邮电大学 一种云存储系统中基于组合预测的动态文件放置方法
CN112039982A (zh) * 2020-08-28 2020-12-04 华侨大学 一种高效能分布式云存储方法及系统
CN112689166A (zh) * 2020-12-18 2021-04-20 武汉市烽视威科技有限公司 一种用于cdn热点内容实时弹性增减的方法及系统
CN113485973A (zh) * 2021-07-02 2021-10-08 中国联合网络通信集团有限公司 数据同步方法及装置
WO2023169235A1 (zh) * 2022-03-07 2023-09-14 阿里云计算有限公司 数据访问方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187931A (zh) * 2007-12-12 2008-05-28 浙江大学 分布式文件系统多文件副本的管理方法
CN103150347A (zh) * 2013-02-07 2013-06-12 浙江大学 基于文件热度的动态副本管理方法
CN104869138A (zh) * 2014-02-25 2015-08-26 中国电信股份有限公司 对云存储数据文件副本自动管理的方法与装置
CN105574153A (zh) * 2015-12-16 2016-05-11 南京信息工程大学 一种基于文件热度分析和K-means的副本放置方法
CN106131121A (zh) * 2016-06-21 2016-11-16 南京邮电大学 一种基于双层自我中心网络的存储节点选择方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187931A (zh) * 2007-12-12 2008-05-28 浙江大学 分布式文件系统多文件副本的管理方法
CN103150347A (zh) * 2013-02-07 2013-06-12 浙江大学 基于文件热度的动态副本管理方法
CN104869138A (zh) * 2014-02-25 2015-08-26 中国电信股份有限公司 对云存储数据文件副本自动管理的方法与装置
CN105574153A (zh) * 2015-12-16 2016-05-11 南京信息工程大学 一种基于文件热度分析和K-means的副本放置方法
CN106131121A (zh) * 2016-06-21 2016-11-16 南京邮电大学 一种基于双层自我中心网络的存储节点选择方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FU XIONG等: ""QoS-aware replica placement for data intensive applications"", 《SCIENCEDIRECT》 *
杨昊溟: ""云存储系统的数据副本放置算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795026B (zh) * 2018-08-03 2021-04-27 杭州海康威视系统技术有限公司 热点数据的识别方法、装置、设备及存储介质
CN110795026A (zh) * 2018-08-03 2020-02-14 杭州海康威视系统技术有限公司 热点数据的识别方法、装置、设备及存储介质
CN109525662A (zh) * 2018-11-14 2019-03-26 程桂平 为热点内容设置副本的方法
CN110362426A (zh) * 2019-06-21 2019-10-22 华中科技大学 一种面向突发性负载的选择性副本实现方法及系统
CN110460682A (zh) * 2019-09-18 2019-11-15 深圳市网心科技有限公司 一种数据处理方法、装置、系统及存储介质
WO2021051839A1 (zh) * 2019-09-18 2021-03-25 深圳市网心科技有限公司 一种数据处理方法、装置、系统及存储介质
CN110839069A (zh) * 2019-11-04 2020-02-25 深圳市网心科技有限公司 一种节点数据部署方法、部署节点、系统及介质
CN111258980A (zh) * 2020-01-18 2020-06-09 重庆邮电大学 一种云存储系统中基于组合预测的动态文件放置方法
CN111258980B (zh) * 2020-01-18 2024-02-27 广州大鱼创福科技有限公司 一种云存储系统中基于组合预测的动态文件放置方法
CN112039982B (zh) * 2020-08-28 2022-03-01 华侨大学 一种高效能分布式云存储方法及系统
CN112039982A (zh) * 2020-08-28 2020-12-04 华侨大学 一种高效能分布式云存储方法及系统
CN112689166A (zh) * 2020-12-18 2021-04-20 武汉市烽视威科技有限公司 一种用于cdn热点内容实时弹性增减的方法及系统
CN113485973B (zh) * 2021-07-02 2023-05-16 中国联合网络通信集团有限公司 数据同步方法及装置
CN113485973A (zh) * 2021-07-02 2021-10-08 中国联合网络通信集团有限公司 数据同步方法及装置
WO2023169235A1 (zh) * 2022-03-07 2023-09-14 阿里云计算有限公司 数据访问方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN107302561B (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN107302561A (zh) 一种云存储系统中热点数据副本放置方法
CN102523279B (zh) 一种分布式文件系统及其热点文件存取方法
Liu et al. Research on the improvement of MongoDB Auto-Sharding in cloud environment
CN102055650B (zh) 负载均衡方法及系统和管理服务器
US10795577B2 (en) De-duplication of client-side data cache for virtual disks
CN104462240A (zh) 云存储中实现分级存储管理的方法和系统
CN106470219A (zh) 计算机集群的扩容和缩容方法及设备
GB2518158A (en) Method and system for data access in a storage infrastructure
CN104184812B (zh) 一种基于私有云的多点数据传输方法
CN106648456B (zh) 基于用户访问量以及预测机制的动态副本文件访问方法
CN101196929A (zh) 一种拆分名字空间的元数据管理方法
CN103631894A (zh) 一种基于hdfs的动态副本管理方法
CN104881466A (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN109445685A (zh) 一种用户态文件系统处理方法
CN107368608A (zh) 基于arc替换算法的hdfs小文件缓存管理方法
CN103049574B (zh) 实现文件动态副本的键值文件系统及方法
Liu et al. An improved hadoop data load balancing algorithm
US10298709B1 (en) Performance of Hadoop distributed file system operations in a non-native operating system
CN113806300A (zh) 数据存储方法、系统、装置、设备及存储介质
CN107169056A (zh) 分布式文件系统及节省分布式文件系统存储空间的方法
CN105930545A (zh) 一种文件迁移的方法和装置
CN109165096A (zh) web集群的缓存利用系统及方法
CN107506466A (zh) 一种小文件存储方法及系统
CN102970349B (zh) 一种dht网络的存储负载均衡方法
CN105306570A (zh) 一种集群数据的存储方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant