CN108418858A - 一种面向Geo-distributed云存储的数据副本放置方法 - Google Patents

一种面向Geo-distributed云存储的数据副本放置方法 Download PDF

Info

Publication number
CN108418858A
CN108418858A CN201810062627.8A CN201810062627A CN108418858A CN 108418858 A CN108418858 A CN 108418858A CN 201810062627 A CN201810062627 A CN 201810062627A CN 108418858 A CN108418858 A CN 108418858A
Authority
CN
China
Prior art keywords
data
data center
data block
center
copy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810062627.8A
Other languages
English (en)
Other versions
CN108418858B (zh
Inventor
付雄
赵玉杰
乔磊
邓松
程春玲
王俊昌
王秀翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201810062627.8A priority Critical patent/CN108418858B/zh
Publication of CN108418858A publication Critical patent/CN108418858A/zh
Application granted granted Critical
Publication of CN108418858B publication Critical patent/CN108418858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种面向Geo‑distributed云存储的数据副本放置方法，针对现有技术的不足，对其进行改进，在Geo‑distributed环境下云存储中数据中心分布在不同物理位置上，主要考虑各个数据中心之间的数据迁移代价，根据历史统计预测本周期内的数据副本的访问热度，进而计算出数据副本的系数，在放置数据副本时，综合考虑数据副本在各个数据中心的访问热度和各个数据中心本身的物理能力值，这样既可以最大化保证数据本地化，减少数据中心之间的数据块迁移，又保证系统性能提高任务执行效率。

Description

一种面向Geo-distributed云存储的数据副本放置方法
技术领域
本发明涉及一种面向Geo-distributed云存储的数据副本放置方法，属于Geo-distributed环境下云存储技术领域。
背景技术
随着数据以爆炸方式的增长，人们对云计算越来越关注，作为云计算的基础，云存储成为一个研究的热点方向。大数据的处理对数据中心提出了更高的要求，面对这种情况，Geo-distributed云存储系统是一个非常好的解决方法，在Geo-distributed云存储中一个关键挑战是如何有效的保证系统性能，满足用户需求。在Geo-distributed云存储系统中，多个数据中心子集集群之间的通信代价比单个数据子集集群中数据节点的通信代价要大很多，在数据中心子集集群之间大量的数据传输会大大增加系统任务的执行时间。
发明内容
本发明所要解决的技术问题是提供一种面向Geo-distributed云存储的数据副本放置方法，采用全新数据副本放置方法，保证数据的本地化，减少数据中心子集集群之间的网络负载。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种面向Geo-distributed云存储的数据副本放置方法，包括如下步骤：
步骤A.分别获取各个数据中心的存储能力值，以及获取所有数据中心，两两之间的物理距离和网络传输带宽，然后进入步骤B；
步骤B.分别针对各个数据中心内的各个数据块，根据数据块的历史访问次数，获得该数据块本周期的预测访问次数，即分别获得各个数据中心内各个数据块本周期的预测访问次数，然后进入步骤C；
步骤C.根据各个数据中心内各个数据块本周期的预测访问次数，分别获得各个数据块本周期的预测热度，并根据热度值由大至小顺序，针对所有数据块进行排序，按排序将所有数据块划分至Phot集合、Pwarm集合、Pcold集合，且Phot集合、Pwarm集合、Pcold集合分别对应不同的副本系数，然后进入步骤D；
步骤D.根据本周期预测热度由大至小的排序，针对各个数据块排序，并初始化n＝1，然后进入步骤E；
步骤E.以第n个数据块所在集合对应的副本系数，作为第n个数据块所对应数据副本的个数kn，并相应生成kn个数据副本，然后进入步骤F；
步骤F.针对按存储能力值由大至小顺序排序的各个数据中心，顺序选择2kn个数据中心，作为各个待放置数据中心，并获得各个待放置数据中心分别与第n个数据块所在数据中心之间、对应第n个数据的数据块副本通信代价，然后根据数据块副本通信代价由小至大的顺序，顺序选择kn个数据中心，作为第n个数据块所对应的各个副本放置数据中心，并进入步骤G；
步骤G.将第n个数据块所对应的kn个数据副本，分别放置于第n个数据块所对应的各个副本放置数据中心，然后分别更新获取各个数据中心的存储能力值，并进入步骤H；
步骤H.判断n是否等于N，是则完成数据副本的放置；否则针对n的值进行加1更新，并返回步骤E；其中，N表示所有数据中心内所有数据块的总数。
作为本发明的一种优选技术方案：所述步骤A中，分别针对各个数据中心，按如下公式：
HPi＝α*IOi+β*BWi+γ*DPi
获取各个数据中心的存储能力值HPi，其中，i＝{1、…、I}，I表示数据中心的总数，HPi表示第i个个数据中心的存储能力值，IOi表示第i个数据中心的磁盘I/O，α表示数据中心磁盘I/O的权重，BWi表示第i个数据中心的带宽，β表示数据中心带宽的权重，DPi表示第i个数据中心的磁盘剩余空间，γ表示数据中心磁盘剩余空间的权重，α+β+γ＝1。
作为本发明的一种优选技术方案：所述步骤B中，分别针对各个数据中心内的各个数据块，根据数据块的历史访问次数，按如下公式：
获得该数据块本周期的预测访问次数，即分别获得各个数据中心内各个数据块本周期的预测访问次数其中，i＝{1、…、I}，I表示数据中心的总数，ji＝{1、…、Ji}，Ji表示第i个数据中心内数据块的总数，表示第i个数据中心内第ji个数据块本周期的预测访问次数，表示第i个数据中心内第ji个数据块前一个周期的访问次数，表示第i个数据中心内第ji个数据块前两个周期的访问次数，σ表示预设影响因子，且0.5＜σ≤1。
作为本发明的一种优选技术方案：所述步骤C中，根据各个数据中心内各个数据块本周期的预测访问次数，按如下公式：
分别获得各个数据块本周期的预测热度其中，i'＝{1、…、I}，I表示数据中心的总数，ji'＝{1、…、Ji}，Ji表示第i个数据中心内数据块的总数，表示第i个数据中心内第ji个数据块本周期预测热度，表示第i个数据中心内第ji个数据块本周期的预测访问次数，表示第i'个数据中心内第ji'个数据块本周期的预测访问次数。
作为本发明的一种优选技术方案：所述步骤C中，根据热度值由大至小顺序，针对所有数据块进行排序，将热度值大于或等于预设上热度阈值的数据块划分至Phot集合，将热度值大于预设下热度阈值、且小于预设上热度阈值的数据块划分至Pwarm集合，将热度值小于或等于预设下热度阈值的数据块划分至Pcold集合，Phot集合、Pwarm集合、Pcold集合分别对应不同的副本系数。
作为本发明的一种优选技术方案：所述步骤F中，分别针对各个待放置数据中心，按如下公式：
获得各个待放置数据中心分别与第n个数据块所在数据中心之间、对应第n个数据的数据块副本通信代价Costnl，其中，l＝{1、…、L}，L表示待放置数据中心的总数，BWnl表示第n个数据块所在数据中心与第l个待放置数据中心之间的带宽，Blocknsize表示第n个数据块的大小，Distnl表示第n个数据块所在数据中心与第l个待放置数据中心之间的物理距离，Costnl表示第l个待放置数据中心与第n个数据块所在数据中心之间、对应第n个数据的数据块副本通信代价。
本发明所述一种面向Geo-distributed云存储的数据副本放置方法采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的面向Geo-distributed云存储的数据副本放置方法，针对现有技术的不足，对其进行改进，在Geo-distributed环境下云存储中数据中心分布在不同物理位置上，主要考虑各个数据中心之间的数据迁移代价，根据历史统计预测本周期内的数据副本的访问热度，进而计算出数据副本的系数，在放置数据副本时，综合考虑数据副本在各个数据中心的访问热度和各个数据中心本身的物理能力值，这样既可以最大化保证数据本地化，减少数据中心之间的数据块迁移，又保证系统性能提高任务执行效率。
附图说明
图1是本发明所设计面向Geo-distributed云存储的数据副本放置方法的流程示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
当需要处理存储在Geo-distributed集群中的数据时，我们需要面对一个新的挑战，在geo-distributed环境中数据中心子集集群之间的网络负载会增大，在Geo-distributed集群中数据中心之间大量的数据传输会对系统的性能有很大的降低。单个数据中心任务的执行时间优于在集群中需要在数据中心之间传输数据的任务。
通过移动数据中心输入数据可以减少数据中心之间的网络负载，进而减少任务的执行时间，启示我们通过改变数据副本的放置位置，保证数据的本地化，减少数据中心子集集群之间的网络负载。我们主要集中解决在geo-distributed环境下云存储数据副本放置的问题，保证数据本地化，减少Geo-distributed系统任务的执行时间。首先是确定副本系数，根据数据块的访问热度确定副本系数，我们根据热度值划分三个集合：Phot集合、Pwarm集合、Pcold集合，不同的集合代表着不同的数据副本系数；综合考虑各个数据中心的中数据块的热度值和各个数据中心的物理值HP确定数据副本的放置，根据系统中单个数据中心中的数据块热度，确定数据副本的放置位置；还有就是数据的预提取，为了最大化的实现数据本地化，我们提出数据预提取的算法，对将要在本地执行的任务而没有存储在本地的数据副本提前进行迁移，当任务执行时就能保证所需要的数据在本地。
如图1所示，本发明设计了一种面向Geo-distributed云存储的数据副本放置方法，实际应用中，具体包括如下步骤：
步骤A.分别针对各个数据中心，按如下公式：
HPi＝α*IOi+β*BWi+γ*DPi
获取各个数据中心的存储能力值HPi，即分别获取各个数据中心的存储能力值，以及获取所有数据中心，两两之间的物理距离和网络传输带宽，然后进入步骤B。其中，i＝{1、…、I}，I表示数据中心的总数，HPi表示第i个个数据中心的存储能力值，IOi表示第i个数据中心的磁盘I/O，α表示数据中心磁盘I/O的权重，BWi表示第i个数据中心的带宽，β表示数据中心带宽的权重，DPi表示第i个数据中心的磁盘剩余空间，γ表示数据中心磁盘剩余空间的权重，α+β+γ＝1。
步骤B.分别针对各个数据中心内的各个数据块，根据数据块的历史访问次数，按如下公式：
获得该数据块本周期的预测访问次数，即分别获得各个数据中心内各个数据块本周期的预测访问次数然后进入步骤C。其中，i＝{1、…、I}，I表示数据中心的总数，ji＝{1、…、Ji}，Ji表示第i个数据中心内数据块的总数，表示第i个数据中心内第ji个数据块本周期的预测访问次数，表示第i个数据中心内第ji个数据块前一个周期的访问次数，表示第i个数据中心内第ji个数据块前两个周期的访问次数，σ表示预设影响因子，且0.5＜σ≤1。
步骤C.根据各个数据中心内各个数据块本周期的预测访问次数，按如下公式：
分别获得各个数据块本周期的预测热度其中，i'＝{1、…、I}，I表示数据中心的总数，ji'＝{1、…、Ji}，Ji表示第i个数据中心内数据块的总数，表示第i个数据中心内第ji个数据块本周期预测热度，表示第i个数据中心内第ji个数据块本周期的预测访问次数，表示第i'个数据中心内第ji'个数据块本周期的预测访问次数。
并根据热度值由大至小顺序，针对所有数据块进行排序，将热度值大于或等于预设上热度阈值的数据块划分至Phot集合，将热度值大于预设下热度阈值、且小于预设上热度阈值的数据块划分至Pwarm集合，将热度值小于或等于预设下热度阈值的数据块划分至Pcold集合，Phot集合、Pwarm集合、Pcold集合分别对应不同的副本系数，然后进入步骤D。
步骤D.根据本周期预测热度由大至小的排序，针对各个数据块排序，并初始化n＝1，然后进入步骤E。
步骤E.以第n个数据块所在集合对应的副本系数，作为第n个数据块所对应数据副本的个数kn，并相应生成kn个数据副本，然后进入步骤F。
步骤F.针对按存储能力值由大至小顺序排序的各个数据中心，顺序选择2kn个数据中心，作为各个待放置数据中心，分别针对各个待放置数据中心，按如下公式：
获得各个待放置数据中心分别与第n个数据块所在数据中心之间、对应第n个数据的数据块副本通信代价Costnl，然后根据数据块副本通信代价由小至大的顺序，顺序选择kn个数据中心，作为第n个数据块所对应的各个副本放置数据中心，并进入步骤G。其中，l＝{1、…、L}，L表示待放置数据中心的总数，BWnl表示第n个数据块所在数据中心与第l个待放置数据中心之间的带宽，Blocknsize表示第n个数据块的大小，Distnl表示第n个数据块所在数据中心与第l个待放置数据中心之间的物理距离，Costnl表示第l个待放置数据中心与第n个数据块所在数据中心之间、对应第n个数据的数据块副本通信代价。
步骤G.将第n个数据块所对应的kn个数据副本，分别放置于第n个数据块所对应的各个副本放置数据中心，然后分别更新获取各个数据中心的存储能力值，并进入步骤H。
步骤H.判断n是否等于N，是则完成数据副本的放置；否则针对n的值进行加1更新，并返回步骤E；其中，N表示所有数据中心内所有数据块的总数。
Hadoop是成功实现MapReduce模型的开源软件，Hadoop框架中最核心设计就是：HDFS和MapReduce。HDFS提供了海量数据的存储,MapReduce提供了对数据的计算，实现在大量计算机组成的集群中对海量数据进行分布式计算。Mapreduce是一种编程模型，MapReduce是一个最先由Google提出的分布式计算软件构架，它可以支持大数据量的分布式处理，用于大规模数据集的并行运算。与传统数据仓库和分析技术相比，MapReduce适合处理各种类型的数据，包括结构化、半结构化和非结构化数据。MapReduce的核心又在于map和reduce函数。MapReduce采用分而治之思想，先把任务分发到集群多个节点上，并行计算，然后再把计算结果合并，从而得到最终计算结果。
基于上述所设计面向Geo-distributed云存储的数据副本放置方法技术方案的基础上，进一步之如下应用。
步骤(1)执行map任务，提交任务时，假如任务所需全部数据在本地数据中心内则不需要数据中心之间的数据块迁移，可以转步骤(3)；否则转步骤(2)。
步骤(2)根据各个数据中心的之间的物理距离和网络带宽，选择传输代价最小的数据副本进行传输。并计算获得副本迁移代价，
步骤(3)执行reduce任务，因为map端的输出结果存放是随机的，在执行reduce任务时需要提取map端的输出，可以将reduce任务划分为两个集合，在本地数据中心为近端reduce任务，不在本地数据中心的为远端reduce任务，并且规定近端reduce任务执行优先级级高于远端的reduce任务。
步骤(4)数据预提取，步骤(3)中规定近端Reduce任务有较高优先级，先进行近端Reduce任务，在进行近端Reduce任务的时候同时进行远端reduce数据的预提取，这样就可以保证执行任务时所需要的数据就都在本地数据中心。
步骤(5)存储任务结果，在reduce任务执行完，将结果输出到数据中心，并采用HDFS系统存储重新计算各个数据中心的存储能力值，选取能力值最大的数据中心存储结果。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种面向Geo-distributed云存储的数据副本放置方法，其特征在于，包括如下步骤：
步骤A.分别获取各个数据中心的存储能力值，以及获取所有数据中心，两两之间的物理距离和网络传输带宽，然后进入步骤B；
步骤B.分别针对各个数据中心内的各个数据块，根据数据块的历史访问次数，获得该数据块本周期的预测访问次数，即分别获得各个数据中心内各个数据块本周期的预测访问次数，然后进入步骤C；
步骤C.根据各个数据中心内各个数据块本周期的预测访问次数，分别获得各个数据块本周期的预测热度，并根据热度值由大至小顺序，针对所有数据块进行排序，按排序将所有数据块划分至Phot集合、Pwarm集合、Pcold集合，且Phot集合、Pwarm集合、Pcold集合分别对应不同的副本系数，然后进入步骤D；
步骤D.根据本周期预测热度由大至小的排序，针对各个数据块排序，并初始化n＝1，然后进入步骤E；
步骤E.以第n个数据块所在集合对应的副本系数，作为第n个数据块所对应数据副本的个数kn，并相应生成kn个数据副本，然后进入步骤F；
步骤F.针对按存储能力值由大至小顺序排序的各个数据中心，顺序选择2kn个数据中心，作为各个待放置数据中心，并获得各个待放置数据中心分别与第n个数据块所在数据中心之间、对应第n个数据的数据块副本通信代价，然后根据数据块副本通信代价由小至大的顺序，顺序选择kn个数据中心，作为第n个数据块所对应的各个副本放置数据中心，并进入步骤G；
步骤G.将第n个数据块所对应的kn个数据副本，分别放置于第n个数据块所对应的各个副本放置数据中心，然后分别更新获取各个数据中心的存储能力值，并进入步骤H；
步骤H.判断n是否等于N，是则完成数据副本的放置；否则针对n的值进行加1更新，并返回步骤E；其中，N表示所有数据中心内所有数据块的总数。
2.根据权利要求1所述一种面向Geo-distributed云存储的数据副本放置方法，其特征在于：所述步骤A中，分别针对各个数据中心，按如下公式：
HPi＝α*IOi+β*BWi+γ*DPi
获取各个数据中心的存储能力值HPi，其中，i＝{1、…、I}，I表示数据中心的总数，HPi表示第i个个数据中心的存储能力值，IOi表示第i个数据中心的磁盘I/O，α表示数据中心磁盘I/O的权重，BWi表示第i个数据中心的带宽，β表示数据中心带宽的权重，DPi表示第i个数据中心的磁盘剩余空间，γ表示数据中心磁盘剩余空间的权重，α+β+γ＝1。
3.根据权利要求1所述一种面向Geo-distributed云存储的数据副本放置方法，其特征在于：所述步骤B中，分别针对各个数据中心内的各个数据块，根据数据块的历史访问次数，按如下公式：
获得该数据块本周期的预测访问次数，即分别获得各个数据中心内各个数据块本周期的预测访问次数其中，i＝{1、…、I}，I表示数据中心的总数，ji＝{1、…、Ji}，Ji表示第i个数据中心内数据块的总数，表示第i个数据中心内第ji个数据块本周期的预测访问次数，表示第i个数据中心内第ji个数据块前一个周期的访问次数，表示第i个数据中心内第ji个数据块前两个周期的访问次数，σ表示预设影响因子，且0.5＜σ≤1。
4.根据权利要求1所述一种面向Geo-distributed云存储的数据副本放置方法，其特征在于：所述步骤C中，根据各个数据中心内各个数据块本周期的预测访问次数，按如下公式：
分别获得各个数据块本周期的预测热度其中，i'＝{1、…、I}，I表示数据中心的总数，j′i＝{1、…、Ji}，Ji表示第i个数据中心内数据块的总数，表示第i个数据中心内第ji个数据块本周期预测热度，表示第i个数据中心内第ji个数据块本周期的预测访问次数，表示第i'个数据中心内第j′i个数据块本周期的预测访问次数。
5.根据权利要求1所述一种面向Geo-distributed云存储的数据副本放置方法，其特征在于：所述步骤C中，根据热度值由大至小顺序，针对所有数据块进行排序，将热度值大于或等于预设上热度阈值的数据块划分至Phot集合，将热度值大于预设下热度阈值、且小于预设上热度阈值的数据块划分至Pwarm集合，将热度值小于或等于预设下热度阈值的数据块划分至Pcold集合，Phot集合、Pwarm集合、Pcold集合分别对应不同的副本系数。
6.根据权利要求1所述一种面向Geo-distributed云存储的数据副本放置方法，其特征在于：所述步骤F中，分别针对各个待放置数据中心，按如下公式：
获得各个待放置数据中心分别与第n个数据块所在数据中心之间、对应第n个数据的数据块副本通信代价Costnl，其中，l＝{1、…、L}，L表示待放置数据中心的总数，BWnl表示第n个数据块所在数据中心与第l个待放置数据中心之间的带宽，Blocknsize表示第n个数据块的大小，Distnl表示第n个数据块所在数据中心与第l个待放置数据中心之间的物理距离，Costnl表示第l个待放置数据中心与第n个数据块所在数据中心之间、对应第n个数据的数据块副本通信代价。
CN201810062627.8A 2018-01-23 2018-01-23 一种面向Geo-distributed云存储的数据副本放置方法 Active CN108418858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810062627.8A CN108418858B (zh) 2018-01-23 2018-01-23 一种面向Geo-distributed云存储的数据副本放置方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810062627.8A CN108418858B (zh) 2018-01-23 2018-01-23 一种面向Geo-distributed云存储的数据副本放置方法

Publications (2)

Publication Number Publication Date
CN108418858A true CN108418858A (zh) 2018-08-17
CN108418858B CN108418858B (zh) 2021-07-02

Family

ID=63126176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810062627.8A Active CN108418858B (zh) 2018-01-23 2018-01-23 一种面向Geo-distributed云存储的数据副本放置方法

Country Status (1)

Country Link
CN (1) CN108418858B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814812A (zh) * 2019-02-12 2019-05-28 中天宽带技术有限公司 基于内容碎片化放置的快速数据转移方法
CN110086650A (zh) * 2019-03-20 2019-08-02 武汉大学 面向分布式机器学习任务的云资源在线调度方法及装置
CN110555037A (zh) * 2019-09-12 2019-12-10 苏州百宝箱科技有限公司 智慧城市数据共享系统
CN110647516A (zh) * 2019-09-29 2020-01-03 重庆紫光华山智安科技有限公司 文件副本存储方法、装置、可读存储介质及电子设备
WO2021169397A1 (zh) * 2020-02-27 2021-09-02 华为技术有限公司 镜像存储、下载方法、设备以及系统
CN115794766A (zh) * 2023-02-07 2023-03-14 金钱猫科技股份有限公司 分布式存储的数据副本存储方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080065704A1 (en) * 2006-09-12 2008-03-13 Microsoft Corporation Data and replica placement using r-out-of-k hash functions
CN101645888A (zh) * 2009-06-02 2010-02-10 中国科学院声学研究所 一种基于访问频度变长逻辑分段的数据分发方法
CN105488180A (zh) * 2015-11-30 2016-04-13 中国建设银行股份有限公司 一种数据存储方法及系统
CN105915626A (zh) * 2016-05-27 2016-08-31 南京邮电大学 一种面向云存储的数据副本初始放置方法
US20170193370A1 (en) * 2015-12-31 2017-07-06 TCL Research America Inc. Method and system for func-based experience framework with cross-user intelligence

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080065704A1 (en) * 2006-09-12 2008-03-13 Microsoft Corporation Data and replica placement using r-out-of-k hash functions
CN101645888A (zh) * 2009-06-02 2010-02-10 中国科学院声学研究所 一种基于访问频度变长逻辑分段的数据分发方法
CN105488180A (zh) * 2015-11-30 2016-04-13 中国建设银行股份有限公司 一种数据存储方法及系统
US20170193370A1 (en) * 2015-12-31 2017-07-06 TCL Research America Inc. Method and system for func-based experience framework with cross-user intelligence
CN105915626A (zh) * 2016-05-27 2016-08-31 南京邮电大学 一种面向云存储的数据副本初始放置方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MOHAMMAD H. AL-SHAYEJI: "A Comparative Study on Replica Placement Algorithms for Content Delivery Networks", 《IEEE》 *
邓见光: "云计算环境下的动态数据副本管理策略", 《华中科技大学学报(自然科学版)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814812A (zh) * 2019-02-12 2019-05-28 中天宽带技术有限公司 基于内容碎片化放置的快速数据转移方法
CN109814812B (zh) * 2019-02-12 2022-03-01 中天宽带技术有限公司 基于内容碎片化放置的快速数据转移方法
CN110086650A (zh) * 2019-03-20 2019-08-02 武汉大学 面向分布式机器学习任务的云资源在线调度方法及装置
CN110555037A (zh) * 2019-09-12 2019-12-10 苏州百宝箱科技有限公司 智慧城市数据共享系统
CN110647516A (zh) * 2019-09-29 2020-01-03 重庆紫光华山智安科技有限公司 文件副本存储方法、装置、可读存储介质及电子设备
WO2021169397A1 (zh) * 2020-02-27 2021-09-02 华为技术有限公司 镜像存储、下载方法、设备以及系统
CN115794766A (zh) * 2023-02-07 2023-03-14 金钱猫科技股份有限公司 分布式存储的数据副本存储方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN108418858B (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN108418858A (zh) 一种面向Geo-distributed云存储的数据副本放置方法
CN103631657B (zh) 一种基于MapReduce的任务调度方法
CN106502792B (zh) 一种面向不同类型负载的多租户资源优化调度方法
CN101359333B (zh) 一种基于隐含狄利克雷分配模型的并行数据处理方法
CN103930888B (zh) 基于更新、储存及响应约束的多粒度分组聚合选择
Neelakandan et al. Large scale optimization to minimize network traffic using MapReduce in big data applications
CN106233276A (zh) 网络可访问块存储装置的协调准入控制
CN107203412A (zh) 一种基于膜系统改进粒子群算法的云资源调度优化方法
CN109522104B (zh) 利用差分进化算法优化Iaas两目标任务调度的方法
CN108363643A (zh) 一种基于文件访问热度的hdfs副本管理方法
CN111258980B (zh) 一种云存储系统中基于组合预测的动态文件放置方法
CN113485826A (zh) 一种边缘服务器负载均衡方法、系统
Gaifang et al. Cooperative ant colony-genetic algorithm based on spark
Wang et al. Bio-inspired cost-effective access to big data
Mansouri et al. Hierarchical data replication strategy to improve performance in cloud computing
Jiao et al. Immune optimization of task scheduling on multidimensional QoS constraints
Liu et al. Optimal caching for low latency in distributed coded storage systems
CN103984737A (zh) 一种基于计算相关度的多数据中心数据布局优化方法
CN105306547A (zh) 提高云计算系统能量有效性的数据摆放及节点调度方法
Yu [Retracted] Research on Optimization Strategy of Task Scheduling Software Based on Genetic Algorithm in Cloud Computing Environment
Mohd. Zin et al. Replication techniques in data grid environments
US20230137673A1 (en) Systems and methods for dynamically scaling remote resources
Zhiyong et al. An improved container cloud resource scheduling strategy
Qin et al. Fault tolerant storage and data access optimization in data center networks
CN112381333A (zh) 一种基于分布式改进蝙蝠算法的微电网优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant