CN108924203A - 数据副本自适应分布方法、分布式计算系统及相关设备 - Google Patents

数据副本自适应分布方法、分布式计算系统及相关设备 Download PDF

Info

Publication number
CN108924203A
CN108924203A CN201810662135.2A CN201810662135A CN108924203A CN 108924203 A CN108924203 A CN 108924203A CN 201810662135 A CN201810662135 A CN 201810662135A CN 108924203 A CN108924203 A CN 108924203A
Authority
CN
China
Prior art keywords
target
node
calculate node
network path
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810662135.2A
Other languages
English (en)
Other versions
CN108924203B (zh
Inventor
林琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kingdee Middleware Ltd By Share Ltd
Original Assignee
Shenzhen Kingdee Middleware Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kingdee Middleware Ltd By Share Ltd filed Critical Shenzhen Kingdee Middleware Ltd By Share Ltd
Priority to CN201810662135.2A priority Critical patent/CN108924203B/zh
Publication of CN108924203A publication Critical patent/CN108924203A/zh
Application granted granted Critical
Publication of CN108924203B publication Critical patent/CN108924203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明实施例提供了数据副本自适应分布方法、分布式计算系统及相关设备，用于实现分布式计算集群中数据副本自适应分布，提高远程数据访问速率及网络资源利用率。本发明实施例方法包括：确定预置时间内访问目标数据对象次数超过第一预置阈值的计算节点为目标数据对象的最佳用户节点；根据网络拓扑确定目标数据对象所在的第一节点到最佳用户节点的目标网络路径，每一条目标网络路径中包含从第一节点到最佳用户节点依次经过的计算节点的集合；向目标网络路径的计算节点集合中的各个计算节点发送创建目标数据对象副本的请求；在满足预置条件的计算节点中创建目标数据对象的副本，以缩短最佳用户节点访问目标数据对象的目标网络路径。

Description

数据副本自适应分布方法、分布式计算系统及相关设备
技术领域
本发明涉及计算机信息处理技术领域，尤其涉及数据副本自适应分布方法、分布式计算系统及相关设备。
背景技术
分布式计算集群中，计算任务可能分发到各个计算节点上。计算任务在运行过程中通常需要处理数据，在最初的分布式计算系统中，数据会被传输至计算任务运行的相应节点上进行处理，随着计算任务、分布式计算集群的规模以及数据量的增大，数据在计算节点之间传输会影响计算任务的运行，以及正常的网络通信，降低分布式计算集群的运行效率。
数据感知调度策略的出现能够缓解数据传输对分布式计算集群运行效率的影响，通过将计算任务对应的数据对象调度到分布式计算集群中存储数据副本的节点附近执行，从而降低数据访问的延迟和网络的消耗。
然而现有方案中的数据感知调度策略是针对本地访问数据，预先确定需要建立副本的数据对象及最佳客户节点，进而将计算任务调度到分布式计算集群中存储数据副本的最佳客户节点附近执行，无法根据用户的需求实时备份不同的数据对象，在高速网络(通常可提供万兆网络带宽)的应用，对于数据的在线访问性能以及网络所能够承载的数据传输速率有了大幅提升，在这种情况下，远程数据访问在网络带宽充足的情况下的性能可以达到甚至超过本地数据访问，因此，传统的数据副本策略对于高速网络环境下的分布式计算集群的性能优化达不到最优的效果，且会造成网络资源利用率的下降。
发明内容
本发明实施例提供了数据副本自适应分布方法、分布式计算系统及相关设备，用于实现分布式计算集群中数据副本自适应分布，提高远程数据访问速率及网络资源利用率。
本发明实施例第一方面提供了一种数据副本自适应分布方法，其特征在于，运用于分布式计算系统，所述分布式计算系统包括至少两个计算节点，所述方法包括：
确定预置时间内访问目标数据对象次数超过第一预置阈值的计算节点为所述目标数据对象的最佳用户节点；
根据网络拓扑确定所述目标数据对象所在的第一节点到所述最佳用户节点的目标网络路径，每一条所述目标网络路径中包含从所述第一节点到所述最佳用户节点依次经过的计算节点的集合；
向所述目标网络路径的计算节点集合中的各个计算节点发送创建所述目标数据对象副本的请求；
判断所述目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，并在满足所述预置条件的计算节点中创建所述目标数据对象的副本，以缩短所述最佳用户节点访问所述目标数据对象的目标网络路径。
可选的，作为一种可能的实施方式，本发明实施例中所述判断所述目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，包括：
判断所述目标网络路径的计算节点集合中的各个计算节点是否具有存储所述目标数据对象的能力；
判断所述目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
若所述目标网络路径的计算节点集合中的目标计算节点具有存储所述目标数据对象的能力，且所述目标计算节点的负载没有超过第二预置阈值，则所述目标计算节点满足预置条件。
可选的，作为一种可能的实施方式，本发明实施例中所述判断所述目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，包括：
判断所述目标网络路径的计算节点集合中的各个计算节点是否具有存储所述目标数据对象的能力；
判断所述目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
判断所述目标网络路径的计算节点集合中的各个计算节点在网络拓扑中相邻的节点数目是否不小于三个；
若所述目标网络路径的计算节点集合中的目标计算节点具有存储所述目标数据对象的能力，所述目标计算节点的负载没有超过第二预置阈值，而且所述目标计算节点在网络拓扑中相邻的节点数目不小于三个，则所述目标计算节点满足预置条件。
可选的，作为一种可能的实施方式，本发明实施例中的所述方法，还包括：
在一条所述目标网络路径中满足所述预置条件的计算节点的有序集合为集合M，获取所述最佳用户节点访问所述集合M中的各个计算节点中的目标数据对象的访问速率；
若所述集合M中的中间计算节点对应的访问速率与所述中间计算节点的前一个计算节点对应的速率的差值小于第三预置阈值，则删除所述中间计算节点上创建的所述目标数据对象的副本。
可选的，作为一种可能的实施方式，本发明实施例中的所述方法，还包括：
在预置时间之后，若所述目标数据的访问量少于第四预置阈值，则减少所述目标数据的副本数量。
本发明实施例第二方面提供了一种分布式计算系统，其特征在于，包括：
第一确定模块，用于确定预置时间内访问目标数据对象次数超过第一预置阈值的计算节点为所述目标数据对象的最佳用户节点；
第二确定模块，用于根据网络拓扑确定所述目标数据对象所在的第一节点到所述最佳用户节点的目标网络路径，每一条所述目标网络路径中包含从所述第一节点到所述最佳用户节点依次经过的计算节点的集合；
发送模块，用于向所述目标网络路径的计算节点集合中的各个计算节点发送创建所述目标数据对象副本的请求；
处理模块，用于判断所述目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，并在满足所述预置条件的计算节点中创建所述目标数据对象的副本，以缩短所述最佳用户节点访问所述目标数据对象的目标网络路径。
可选的，作为一种可能的实施方式，本发明实施例中所述处理模块具体包括：
第一判断单元，用于判断所述目标网络路径的计算节点集合中的各个计算节点是否具有存储所述目标数据对象的能力；
第二判断单元，用于判断所述目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
第一处理单元，若所述目标网络路径的计算节点集合中的目标计算节点具有存储所述目标数据对象的能力，且所述目标计算节点的负载没有超过第二预置阈值，则所述目标计算节点满足预置条件，并在满足所述预置条件的计算节点中创建所述目标数据对象的副本，以缩短所述最佳用户节点访问所述目标数据对象的目标网络路径。
可选的，作为一种可能的实施方式，本发明实施例中所述处理模块具体包括：
第三判断单元，用于判断所述目标网络路径的计算节点集合中的各个计算节点是否具有存储所述目标数据对象的能力；
第四判断单元，用于判断所述目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
第五判断单元，用于判断所述目标网络路径的计算节点集合中的各个计算节点在网络拓扑中相邻的节点数目是否不小于三个；
第二处理单元，若所述目标网络路径的计算节点集合中的目标计算节点具有存储所述目标数据对象的能力，所述目标计算节点的负载没有超过第二预置阈值，而且所述目标计算节点在网络拓扑中相邻的节点数目不小于三个，则所述目标计算节点满足预置条件。
可选的，作为一种可能的实施方式，本发明实施例中的所述的系统还包括：
获取模块，在一条所述目标网络路径中满足所述预置条件的计算节点的有序集合为集合M，获取所述最佳用户节点访问所述集合M中的各个计算节点中的目标数据对象的访问速率；
第一删除模块，若所述集合M中的中间计算节点对应的访问速率与所述中间计算节点的前一个计算节点对应的速率的差值小于第三预置阈值，则删除所述中间计算节点上创建的所述目标数据对象的副本。
可选的，作为一种可能的实施方式，本发明实施例中的所述的系统还包括：
第二删除模块，在预置时间之后，若所述目标数据的访问量少于第四预置阈值，则减少所述目标数据的副本数量。
本申请实施例第三方面提供了一种计算机装置，其特征在于，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如第一方面及第一方面中任意一种可能的实施方式中的步骤。
本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如第一方面及第一方面中任意一种可能的实施方式中的步骤。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，首先，分布式计算系统可以根据预置时间内各个节点访问目标数据对象的次数，实时确定目标数据对象的最佳用户节点，以动态调整需要建立副本的目标数据对象。其次，分布式计算系统在根据网络拓扑确定目标数据对象所在的第一节点到最佳用户节点的目标网络路径之后，可以判断目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，在满足预置条件的计算节点中创建目标数据对象的副本，以缩短最佳用户节点访问目标数据对象的目标网络路径，实现了分布式计算集群中数据副本自适应分布，提高远程数据访问速率及网络资源利用率。
附图说明
图1为本发明实施例中一种数据副本自适应分布方法的一个实施例示意图；
图2为图1中步骤400的一个细化步骤示意图；
图3为图1中步骤400的另一个细化步骤示意图；
图4为本发明实施例中一种示例性的网络拓扑示意图；
图5为本发明实施例中一种数据副本自适应分布方法的另一个实施例示意图；
图6为本发明实施例中一种分布式计算系统的一个实施例示意图；
图7为本发明实施例中一种分布式计算系统的处理模块的一个模块细化示意图；
图8为本发明实施例中一种分布式计算系统的处理模块的另一个模块细化示意图；
图9为本发明实施例中一种分布式计算系统的另一个实施例示意图；
图10为本发明实施例中一种计算装置的一个实施例示意图。
具体实施方式
本发明实施例提供了数据副本自适应分布方法、分布式计算系统及相关设备，用于实现分布式计算集群中数据副本自适应分布，提高远程数据访问速率及网络资源利用率。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于理解，下面将对本发明涉及到的分布式计算集群中的数据对象的访问进行简单介绍。分布式计算集群中计算任务对数据对象的访问方式分为以下三种：随机访问(P-Random)，具有时间局部性(Temporal Locality)的访问和具有时间和地理(Temporaland Geographic Locality)局部性的访问。随机访问就是指数据对象的访问者、访问时机都是随机的，不具备任何局部性；具有时间局部性的访问则是指在邻近的时间内，对于某个数据对象的访问较频繁，即对这个数据对象的访问大多集中在一个时间段内；具有时间和地理局部性的访问则是指对于某个数据对象的访问不仅具有时间局部性，而且其访问者都位于相近的位置。由于在分布式计算集群中均采取了数据感知策略，将计算任务向与其将要访问的数据对象临近的节点调度，因此在这类分布式计算集群中，数据访问是具有时间和地理局部性的。
在分布式计算集群中，由于高速网络(通常可提供万兆网络带宽)的应用，对于数据的在线访问性能以及网络所能够承载的数据传输速率有了大幅提升，在这种情况下，数据副本策略优化的目标(即本地数据访问)发生了变化，远程数据访问在网络带宽充足的情况下的性能可以达到甚至超过本地数据访问，因此，传统的数据副本策略对于高速网络环境下的分布式计算集群的性能优化达不到最优的效果，且会造成网络资源利用率的下降。
在高速网络环境的分布式计算集群中，数据副本策略需要考虑更多的因素：
1、数据对象与计算节点之间的网络延迟，网络延迟是衡量数据远程访问的重要因素，在延迟过大的情况下，数据对象访问的性能会大幅下降，因此要保证分布式计算集群的数据访问和处理性能，应尽量保证在执行任务的计算节点附近网络延迟较小的计算节点上有可用的数据副本；
2、计算节点的负载，当有多个节点同时访问某个计算节点中存储的数据对象时，它的开销会剧增，或由于该计算节点本身计算任务开销，均会造成数据对象访问性能下降，导致任务执行性能下降，因此在数据副本的分布策略中，应充分考虑存储数据对象所在计算节点的负载，防止其过载；
3、数据副本创建的终止条件，在高速网络环境中，如果数据对象的访问速率能够与计算节点处理数据的速率匹配，或达到与本地数据访问的速率，则已达到最优状态；
4、网络带宽的消耗，在当前主流的分布式计算集群中，数据副本分布在集群的各个节点上，对于每个节点来说，需要提供并行的数据访问服务，因此在制定副本的创建策略时，应尽量减少不必要的网络开销。
本发明实施例在基于上述分析的基础上，将数据副本策略的优化目标从分布式计算集群中节点的本地数据访问扩展至获取最优数据访问速率，并将网络的拓扑结构、网络带宽、节点的负载等因素引入数据副本策略，能够改变在基于千兆以上带宽高速网络的分布式计算集群的数据访问方式，提升网络和计算节点资源使用率，因而提升分布式计算集群的计算任务的执行效率；由于本专利将网络拓扑结构、延迟等因素纳入德奥数据副本策略中，使其能够针对不同的网络拓扑结构自适应的进行合理的数据节点分布，从而提升数据副本的适应性，能够在不同的树形拓扑网络的分布式计算集群中表现出较好的性能，而不需要人工干预或策略定制，更加适用于面向海量数据分析处理类的分布式计算平台。
为了便于理解，下面对本发明实施例中的具体流程进行描述，请参阅图1，本发明实施例中一种数据副本自适应分布方法的一个实施例可包括：
100、确定访问目标数据对象的最佳用户节点。
分布式计算系统中的一些计算节点中存储有可供远程访问的不同的目标数据对象，分布式计算系统在建立数据副本之前需要确定访问目标数据对象的最佳用户节点。分布式计算系统中的服务器及存储目标数据对象的计算节点本身可以统计数据对象的访问次数。优选的，分布式计算系统可以确定预置时间内访问目标数据对象次数超过第一预置阈值的计算节点为目标数据对象的最佳用户节点，最佳用户节点可以是一个或多个，具体可以根据用户需求进行合理的设置，具体此处不做限定。
200、根据网络拓扑确定目标数据对象所在的第一节点到最佳用户节点的目标网络路径。
分布式计算系统中存储有网络拓扑，可以根据网络拓扑确定目标数据对象所在的第一节点到最佳用户节点的目标网络路径，该目标网络路径可以有一条或多条，每一条目标网络路径中包含从第一节点到最佳用户节点依次经过的计算节点的集合。
300、向目标网络路径的计算节点集合中的各个计算节点发送创建目标数据对象副本的请求。
在确定目标网络路径之后，可以向目标网络路径的计算节点集合中的各个计算节点发送创建目标数据对象副本的请求，具体的，可以由服务器统一发送，也可以按照目标数据对象在目标网络路径上的传输先后经过的计算节点的先后顺序，有前一计算节点依次向后一计算节点发送创建目标数据对象副本的请求，具体的发送方式此处不做限定。
400、判断目标网络路径的计算节点集合中的各个计算节点是否满足预置条件。
目标网络路径的计算节点在接收到创建目标数据对象副本的请求之后，分布式计算系统可以判断目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，以此确定各个计算节点是否有创建目标数据对象副本的能力。具体的判断过程可以是各个计算节点自身进行判断也可以是服务器统一进行判断，具体此处不做限定。具体的判断方式示例性的可以是以下两种方式：
可选的，作为一种可能的实施方式，如图2所示，本发明实施例中分布式计算系统判断目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，具体可以包括：
401、判断目标网络路径的计算节点集合中的各个计算节点是否具有存储目标数据对象的能力；
计算节点的存储能力可能有限，分布式计算系统需要判断目标网络路径的计算节点集合中的各个计算节点是否具有存储目标数据对象的能力，以确保目标数据对象的副本可以被创建。
402、判断目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
当有多个节点同时访问某个计算节点中存储的数据对象时，它的开销会剧增，或由于该计算节点本身计算任务开销，均会造成数据对象访问性能下降，导致任务执行性能下降，因此在数据副本的分布策略中，应充分考虑存储数据对象所在计算节点的负载，防止其过载，因此，分布式计算系统可以判断目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值
403、若目标网络路径的计算节点集合中的目标计算节点具有存储目标数据对象的能力，且目标计算节点的负载没有超过第二预置阈值，则目标计算节点满足预置条件。
可选的，作为一种可能的实施方式，如图2所示，本发明实施例中分布式计算系统判断目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，具体可以包括：
404、判断目标网络路径的计算节点集合中的各个计算节点是否具有存储目标数据对象的能力；
405、判断目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
406、判断目标网络路径的计算节点集合中的各个计算节点在网络拓扑中相邻的节点数目是否不小于三个；
为了提高网络资源利用率，需要选择网络连接相对较多的计算节点创建数据副本，分布式计算系统可以判断目标网络路径的计算节点集合中的各个计算节点在网络拓扑中相邻的节点数目是否不小于三个，优选在网络拓扑中相邻的节点数目不小于三个的计算节点创建数据副本。如图4所示，若目标网络路径为A-B-D-F-H，H为最佳客户节点，则F节点不适合创建数据副本。
407、若目标网络路径的计算节点集合中的目标计算节点具有存储目标数据对象的能力，目标计算节点的负载没有超过第二预置阈值，而且目标计算节点在网络拓扑中相邻的节点数目不小于三个，则目标计算节点满足预置条件。
可以理解的是，上述图2及图3所示的实施方式中的预置条件仅仅是示例性的，实际运用中还可以依据计算节点的网络延迟、数据访问速率、带宽消耗情况进一步筛选优质的计算节点，具体此处不做限定。
500、在满足预置条件的计算节点中创建目标数据对象的副本，以缩短最佳用户节点访问目标数据对象的目标网络路径。
本发明实施例中，首先，分布式计算系统可以根据预置时间内各个节点访问目标数据对象的次数，实时确定目标数据对象的最佳用户节点，以动态调整需要建立副本的目标数据对象。其次，分布式计算系统在根据网络拓扑确定目标数据对象所在的第一节点到最佳用户节点的目标网络路径之后，可以判断目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，在满足预置条件的计算节点中创建目标数据对象的副本，以缩短最佳用户节点访问目标数据对象的目标网络路径，实现了分布式计算集群中数据副本自适应分布，提高远程数据访问速率及网络资源利用率。
在上述图1至3所示的实施例的基础上，为了实时调整数据副本的数量进一步优化网路资源的利用率，本发明实施例中有必要对数据副本进行删减工作，请参阅图5，本发明实施例中一种数据副本自适应分布方法的另一个实施例可包括：
100、确定访问目标数据对象的最佳用户节点；
200、根据网络拓扑确定目标数据对象所在的第一节点到最佳用户节点的目标网络路径。
300、向目标网络路径的计算节点集合中的各个计算节点发送创建目标数据对象副本的请求。
400、判断目标网络路径的计算节点集合中的各个计算节点是否满足预置条件。
500、在满足预置条件的计算节点中创建目标数据对象的副本，以缩短最佳用户节点访问目标数据对象的目标网络路径。
600、获取最佳用户节点访问集合M中的各个计算节点中的目标数据对象的访问速率。
在满足预置条件的计算节点中创建目标数据对象的副本之后，依据目标数据对象在目标网络路径中传输的先后顺序可以将该目标网络路径中满足预置条件的计算节点看作一个有序集合为集合M，分布式计算系统可以、获取最佳用户节点访问集合M中的各个计算节点中的目标数据对象的访问速率，以筛选出对访问速率提升不大的计算节点。
700、若集合M中的中间计算节点对应的访问速率与中间计算节点的前一个计算节点对应的速率的差值小于第三预置阈值，则删除中间计算节点上创建的目标数据对象的副本。
为提高网络存储资源的利用率，筛选出对访问速率提升不大的计算节点，具体的，若集合M中的中间计算节点对应的访问速率V2，相对于该中间计算节点的前一个计算节点对应的速率V1，V2有所提升，若V2相对于V1提升有限的情况下是不值得在该中间节点建立目标数据对象的副本的。具体可以计算V1与V2的差值，若差值小于第三预置阈值，则删除该中间计算节点上创建的目标数据对象的副本，避免网络存储资源的浪费，具体的第三预置阈值可以根据用户的需求进行合理的设置，具体此处不做限定。
800、在预置时间之后，若目标数据的访问量少于第四预置阈值，则减少目标数据的副本数量。
可选的，在创建目标数据对象的多个副本之后，用户的访问需求是不断变化的，在预置时间之后，若目标数据的访问量少于第四预置阈值，则说明该目标数据对象的用户需求有所下降，需要减少目标数据的副本数量节约网络存储资源。
本发明实施例在基于上述分析的基础上，将数据副本策略的优化目标从分布式计算集群中节点的本地数据访问扩展至获取最优数据访问速率，并将网络的拓扑结构、网络带宽、节点的负载等因素引入数据副本策略，能够改变在基于千兆以上带宽高速网络的分布式计算集群的数据访问方式，提升网络和计算节点资源使用率，因而提升分布式计算集群的计算任务的执行效率；由于本专利将网络拓扑结构、延迟等因素纳入德奥数据副本策略中，使其能够针对不同的网络拓扑结构自适应的进行合理的数据节点分布，从而提升数据副本的适应性，能够在不同的树形拓扑网络的分布式计算集群中表现出较好的性能，而不需要人工干预或策略定制，更加适用于面向海量数据分析处理类的分布式计算平台。
可以理解的是，在本发明的各种实施例中，上述各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
为了便于理解，下面将结合具体运用实例对本发明实施例中数据副本自适应分布方法进行详细说明，该实施例具体描述如下：
(1)在T1时间间隔内，如果某数据对象的最佳客户对其访问次数i1超过阈值k，数据对象所在节点与最佳客户之间依次经过m个节点集合{N1，N2，…，Nm}，则向N1发送数据对象副本创建请求；
(2)当任意节点Ni接收到向其节点创建数据对象副本的请求时，其中，i∈[1,m]，m为整数，i为整数，如果i＝m时，Ni是最佳客户，则接收请求，创建副本；否则，如果i不等于m时，Ni是具备数据存储能力，且Ni的负载小于阈值h，且与Ni相邻的节点数不小于预设值d(d≥3)，则在Ni节点上创建副本；否则将数据对象副本创建的请求转发给下一个节点Ni+1；
(3)如果Ni节点上的负载超过阈值h，则向Ni+1发送任一当前被访问数据对象的副本创建请求；
(4)如果依次经过m个节点集合中的某一个节点Ni上新创建的数据对象副本的访问速率提升低于阈值p(p的单位是Mb/s,数据对象在Ni节点创建副本后，该副本的访问速率为Vi该节点前一节点的副本的访问速率为Vi-1，则p＝Vi-Vi-1)，则终止该数据对象副本在此路径上的创建；
(5)在T2时间间隔内，如果某数据对象的数据副本被访问次数i2小于第五预置阈值n(n>0)，且该数据对象的副本数不低于系统预设的最少副本数量，则删除该数据副本。
上述实施例对本发明方案中的数据副本自适应分布方法进行详细说明，下面将对本发明实施例中的分布式计算系统进行说明，请参阅图6，本发明实施例中的一种分布式计算系统的一个实施例可包括：
第一确定模块601，用于确定预置时间内访问目标数据对象次数超过第一预置阈值的计算节点为目标数据对象的最佳用户节点；
第二确定模块602，用于根据网络拓扑确定目标数据对象所在的第一节点到最佳用户节点的目标网络路径，每一条目标网络路径中包含从第一节点到最佳用户节点依次经过的计算节点的集合；
发送模块603，用于向目标网络路径的计算节点集合中的各个计算节点发送创建目标数据对象副本的请求；
处理模块604，用于判断目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，并在满足预置条件的计算节点中创建目标数据对象的副本，以缩短最佳用户节点访问目标数据对象的目标网络路径。
可选的，作为一种可能的实施方式，请参阅图7，本发明实施例中的处理模块具体604包括：
第一判断单元6041，用于判断目标网络路径的计算节点集合中的各个计算节点是否具有存储目标数据对象的能力；
第二判断单元6042，用于判断目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
第一处理单元6043，若目标网络路径的计算节点集合中的目标计算节点具有存储目标数据对象的能力，且目标计算节点的负载没有超过第二预置阈值，则目标计算节点满足预置条件，并在满足预置条件的计算节点中创建目标数据对象的副本，以缩短最佳用户节点访问目标数据对象的目标网络路径。
可选的，作为一种可能的实施方式，请参阅图8，本发明实施例中的处理模块具体604包括：
第三判断单元6044，用于判断目标网络路径的计算节点集合中的各个计算节点是否具有存储目标数据对象的能力；
第四判断单元6045，用于判断目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
第五判断单元6046，用于判断目标网络路径的计算节点集合中的各个计算节点在网络拓扑中相邻的节点数目是否不小于三个；
第二处理单元6047，若目标网络路径的计算节点集合中的目标计算节点具有存储目标数据对象的能力，目标计算节点的负载没有超过第二预置阈值，而且目标计算节点在网络拓扑中相邻的节点数目不小于三个，则目标计算节点满足预置条件。
可选的，作为一种可能的实施方式，请参阅图9，本发明实施例中的分布式计算系统还可以包括：
获取模块605，在一条目标网络路径中满足预置条件的计算节点的有序集合为集合M，获取最佳用户节点访问集合M中的各个计算节点中的目标数据对象的访问速率；
第一删除模块606，若集合M中的中间计算节点对应的访问速率与中间计算节点的前一个计算节点对应的速率的差值小于第三预置阈值，则删除中间计算节点上创建的目标数据对象的副本。
可选的，作为一种可能的实施方式，本发明实施例中的分布式计算系统还可以包括：
第二删除模块607，在预置时间之后，若目标数据的访问量少于第四预置阈值，则减少目标数据的副本数量。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上面从模块化功能实体的角度对本申请实施例中的分布式计算系统进行了描述，下面从硬件处理的角度对本申请实施例中的计算机装置进行描述：
本申请实施例还提供了一种计算机装置10，如图10所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该计算机装置10一般指服务器等处理能力较强的计算机设备。
参考图10，计算机装置10包括：电源1001、存储器1002、处理器1003、有线或无线网络接口1004以及存储在存储器中并可在处理器上运行的计算机程序。处理器执行计算机程序时实现上述各个基于区块链的资格认定方法实施例中的步骤，例如图1所示的步骤100至500。或者，处理器执行计算机程序时实现上述各装置实施例中各模块或单元的功能。
本申请的一些实施例中，处理器具体用于实现如下步骤：
确定预置时间内访问目标数据对象次数超过第一预置阈值的计算节点为所述目标数据对象的最佳用户节点；
根据网络拓扑确定所述目标数据对象所在的第一节点到所述最佳用户节点的目标网络路径，每一条所述目标网络路径中包含从所述第一节点到所述最佳用户节点依次经过的计算节点的集合；
向所述目标网络路径的计算节点集合中的各个计算节点发送创建所述目标数据对象副本的请求；
判断所述目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，并在满足所述预置条件的计算节点中创建所述目标数据对象的副本，以缩短所述最佳用户节点访问所述目标数据对象的目标网络路径。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
判断所述目标网络路径的计算节点集合中的各个计算节点是否具有存储所述目标数据对象的能力；
判断所述目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
若所述目标网络路径的计算节点集合中的目标计算节点具有存储所述目标数据对象的能力，且所述目标计算节点的负载没有超过第二预置阈值，则所述目标计算节点满足预置条件。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
判断所述目标网络路径的计算节点集合中的各个计算节点是否具有存储所述目标数据对象的能力；
判断所述目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
判断所述目标网络路径的计算节点集合中的各个计算节点在网络拓扑中相邻的节点数目是否不小于三个；
若所述目标网络路径的计算节点集合中的目标计算节点具有存储所述目标数据对象的能力，所述目标计算节点的负载没有超过第二预置阈值，而且所述目标计算节点在网络拓扑中相邻的节点数目不小于三个，则所述目标计算节点满足预置条件。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
在一条所述目标网络路径中满足所述预置条件的计算节点的有序集合为集合M，获取所述最佳用户节点访问所述集合M中的各个计算节点中的目标数据对象的访问速率；
若所述集合M中的中间计算节点对应的访问速率与所述中间计算节点的前一个计算节点对应的速率的差值小于第三预置阈值，则删除所述中间计算节点上创建的所述目标数据对象的副本。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：在预置时间之后，若所述目标数据的访问量少于第四预置阈值，则减少所述目标数据的副本数量。
计算机装置10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
本领域技术人员可以理解，图10中示出的结构并不构成对计算机装置10的限定，计算机装置10可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，例如计算机装置还可以包括输入输出设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，可以实现如下步骤：
判断所述目标网络路径的计算节点集合中的各个计算节点是否具有存储所述目标数据对象的能力；
判断所述目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
若所述目标网络路径的计算节点集合中的目标计算节点具有存储所述目标数据对象的能力，且所述目标计算节点的负载没有超过第二预置阈值，则所述目标计算节点满足预置条件。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
判断所述目标网络路径的计算节点集合中的各个计算节点是否具有存储所述目标数据对象的能力；
判断所述目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
判断所述目标网络路径的计算节点集合中的各个计算节点在网络拓扑中相邻的节点数目是否不小于三个；
若所述目标网络路径的计算节点集合中的目标计算节点具有存储所述目标数据对象的能力，所述目标计算节点的负载没有超过第二预置阈值，而且所述目标计算节点在网络拓扑中相邻的节点数目不小于三个，则所述目标计算节点满足预置条件。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：
在一条所述目标网络路径中满足所述预置条件的计算节点的有序集合为集合M，获取所述最佳用户节点访问所述集合M中的各个计算节点中的目标数据对象的访问速率；
若所述集合M中的中间计算节点对应的访问速率与所述中间计算节点的前一个计算节点对应的速率的差值小于第三预置阈值，则删除所述中间计算节点上创建的所述目标数据对象的副本。
可选的，本申请的一些实施例中，处理器还可以用于实现如下步骤：在预置时间之后，若所述目标数据的访问量少于第四预置阈值，则减少所述目标数据的副本数量。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种数据副本自适应分布方法，其特征在于，运用于分布式计算系统，所述分布式计算系统包括至少两个计算节点，所述方法包括：
确定预置时间内访问目标数据对象次数超过第一预置阈值的计算节点为所述目标数据对象的最佳用户节点；
根据网络拓扑确定所述目标数据对象所在的第一节点到所述最佳用户节点的目标网络路径，每一条所述目标网络路径中包含从所述第一节点到所述最佳用户节点依次经过的计算节点的集合；
向所述目标网络路径的计算节点集合中的各个计算节点发送创建所述目标数据对象副本的请求；
判断所述目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，并在满足所述预置条件的计算节点中创建所述目标数据对象的副本，以缩短所述最佳用户节点访问所述目标数据对象的目标网络路径。
2.根据权利要求1所述的方法，其特征在于，所述判断所述目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，包括：
判断所述目标网络路径的计算节点集合中的各个计算节点是否具有存储所述目标数据对象的能力；
判断所述目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
若所述目标网络路径的计算节点集合中的目标计算节点具有存储所述目标数据对象的能力，且所述目标计算节点的负载没有超过第二预置阈值，则所述目标计算节点满足预置条件。
3.根据权利要求1所述的方法，其特征在于，所述判断所述目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，包括：
判断所述目标网络路径的计算节点集合中的各个计算节点是否具有存储所述目标数据对象的能力；
判断所述目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
判断所述目标网络路径的计算节点集合中的各个计算节点在网络拓扑中相邻的节点数目是否不小于三个；
若所述目标网络路径的计算节点集合中的目标计算节点具有存储所述目标数据对象的能力，所述目标计算节点的负载没有超过第二预置阈值，而且所述目标计算节点在网络拓扑中相邻的节点数目不小于三个，则所述目标计算节点满足预置条件。
4.根据权利要求1至3中任一项所述的方法，其特征在于，还包括：
在一条所述目标网络路径中满足所述预置条件的计算节点的有序集合为集合M，获取所述最佳用户节点访问所述集合M中的各个计算节点中的目标数据对象的访问速率；
若所述集合M中的中间计算节点对应的访问速率与所述中间计算节点的前一个计算节点对应的速率的差值小于第三预置阈值，则删除所述中间计算节点上创建的所述目标数据对象的副本。
5.根据权利要求4所述的方法，其特征在于，还包括：
在预置时间之后，若所述目标数据的访问量少于第四预置阈值，则减少所述目标数据的副本数量。
6.一种分布式计算系统，其特征在于，包括：
第一确定模块，用于确定预置时间内访问目标数据对象次数超过第一预置阈值的计算节点为所述目标数据对象的最佳用户节点；
第二确定模块，用于根据网络拓扑确定所述目标数据对象所在的第一节点到所述最佳用户节点的目标网络路径，每一条所述目标网络路径中包含从所述第一节点到所述最佳用户节点依次经过的计算节点的集合；
发送模块，用于向所述目标网络路径的计算节点集合中的各个计算节点发送创建所述目标数据对象副本的请求；
处理模块，用于判断所述目标网络路径的计算节点集合中的各个计算节点是否满足预置条件，并在满足所述预置条件的计算节点中创建所述目标数据对象的副本，以缩短所述最佳用户节点访问所述目标数据对象的目标网络路径。
7.根据权利要求6所述的系统，其特征在于，所述处理模块具体包括：
第一判断单元，用于判断所述目标网络路径的计算节点集合中的各个计算节点是否具有存储所述目标数据对象的能力；
第二判断单元，用于判断所述目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
第一处理单元，若所述目标网络路径的计算节点集合中的目标计算节点具有存储所述目标数据对象的能力，且所述目标计算节点的负载没有超过第二预置阈值，则所述目标计算节点满足预置条件，并在满足所述预置条件的计算节点中创建所述目标数据对象的副本，以缩短所述最佳用户节点访问所述目标数据对象的目标网络路径。
8.根据权利要求6所述的系统，其特征在于，所述处理模块具体包括：
第三判断单元，用于判断所述目标网络路径的计算节点集合中的各个计算节点是否具有存储所述目标数据对象的能力；
第四判断单元，用于判断所述目标网络路径的计算节点集合中的各个计算节点的负载是否超过第二预置阈值；
第五判断单元，用于判断所述目标网络路径的计算节点集合中的各个计算节点在网络拓扑中相邻的节点数目是否不小于三个；
第二处理单元，若所述目标网络路径的计算节点集合中的目标计算节点具有存储所述目标数据对象的能力，所述目标计算节点的负载没有超过第二预置阈值，而且所述目标计算节点在网络拓扑中相邻的节点数目不小于三个，则所述目标计算节点满足预置条件。
9.根据权利要求6至8中任一项所述的系统，其特征在于，还包括：
获取模块，在一条所述目标网络路径中满足所述预置条件的计算节点的有序集合为集合M，获取所述最佳用户节点访问所述集合M中的各个计算节点中的目标数据对象的访问速率；
第一删除模块，若所述集合M中的中间计算节点对应的访问速率与所述中间计算节点的前一个计算节点对应的速率的差值小于第三预置阈值，则删除所述中间计算节点上创建的所述目标数据对象的副本。
10.根据权利要求9所述的系统，其特征在于，还包括：
第二删除模块，在预置时间之后，若所述目标数据的访问量少于第四预置阈值，则减少所述目标数据的副本数量。
11.一种计算机装置，其特征在于，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至5中任意一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至5中任意一项所述方法的步骤。
CN201810662135.2A 2018-06-25 2018-06-25 数据副本自适应分布方法、分布式计算系统及相关设备 Active CN108924203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810662135.2A CN108924203B (zh) 2018-06-25 2018-06-25 数据副本自适应分布方法、分布式计算系统及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810662135.2A CN108924203B (zh) 2018-06-25 2018-06-25 数据副本自适应分布方法、分布式计算系统及相关设备

Publications (2)

Publication Number Publication Date
CN108924203A true CN108924203A (zh) 2018-11-30
CN108924203B CN108924203B (zh) 2021-07-27

Family

ID=64422367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810662135.2A Active CN108924203B (zh) 2018-06-25 2018-06-25 数据副本自适应分布方法、分布式计算系统及相关设备

Country Status (1)

Country Link
CN (1) CN108924203B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362426A (zh) * 2019-06-21 2019-10-22 华中科技大学 一种面向突发性负载的选择性副本实现方法及系统
CN111385327A (zh) * 2018-12-28 2020-07-07 阿里巴巴集团控股有限公司 数据处理方法和系统
CN114415978A (zh) * 2022-03-29 2022-04-29 维塔科技(北京)有限公司 多云集群数据读写方法、装置、存储介质及电子设备
CN114422538A (zh) * 2022-03-28 2022-04-29 维塔科技(北京)有限公司 多云存储系统、多云数据读写方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751309A (zh) * 2009-12-28 2010-06-23 北京理工大学 数据网格中一种优化的副本分布方法
CN101877725A (zh) * 2010-06-25 2010-11-03 中兴通讯股份有限公司 分布式存储系统中的副本管理方法及装置
CN102024022A (zh) * 2010-11-04 2011-04-20 曙光信息产业(北京)有限公司 一种分布式文件系统复制元数据的方法
CN103631894A (zh) * 2013-11-19 2014-03-12 浪潮电子信息产业股份有限公司 一种基于hdfs的动态副本管理方法
CN103701916A (zh) * 2013-12-31 2014-04-02 赛凡信息科技（厦门）有限公司 分布式存储系统的动态负载均衡方法
CN103763363A (zh) * 2014-01-14 2014-04-30 南京邮电大学 一种云存储系统及基于该系统的文件副本部署方法
US20150134606A1 (en) * 2013-11-14 2015-05-14 Vmware, Inc. Intelligent data propagation in a highly distributed environment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751309A (zh) * 2009-12-28 2010-06-23 北京理工大学 数据网格中一种优化的副本分布方法
CN101877725A (zh) * 2010-06-25 2010-11-03 中兴通讯股份有限公司 分布式存储系统中的副本管理方法及装置
CN102024022A (zh) * 2010-11-04 2011-04-20 曙光信息产业(北京)有限公司 一种分布式文件系统复制元数据的方法
US20150134606A1 (en) * 2013-11-14 2015-05-14 Vmware, Inc. Intelligent data propagation in a highly distributed environment
CN103631894A (zh) * 2013-11-19 2014-03-12 浪潮电子信息产业股份有限公司 一种基于hdfs的动态副本管理方法
CN103701916A (zh) * 2013-12-31 2014-04-02 赛凡信息科技（厦门）有限公司 分布式存储系统的动态负载均衡方法
CN103763363A (zh) * 2014-01-14 2014-04-30 南京邮电大学 一种云存储系统及基于该系统的文件副本部署方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张永红: ""无结构P2P网络文本副本自适应分布研究"", 《中国优秀硕士学位论文全文数据库》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111385327A (zh) * 2018-12-28 2020-07-07 阿里巴巴集团控股有限公司 数据处理方法和系统
CN111385327B (zh) * 2018-12-28 2022-06-14 阿里巴巴集团控股有限公司 数据处理方法和系统
CN110362426A (zh) * 2019-06-21 2019-10-22 华中科技大学 一种面向突发性负载的选择性副本实现方法及系统
CN114422538A (zh) * 2022-03-28 2022-04-29 维塔科技(北京)有限公司 多云存储系统、多云数据读写方法及电子设备
CN114422538B (zh) * 2022-03-28 2022-07-12 维塔科技(北京)有限公司 多云存储系统、多云数据读写方法及电子设备
CN114415978A (zh) * 2022-03-29 2022-04-29 维塔科技(北京)有限公司 多云集群数据读写方法、装置、存储介质及电子设备
CN114415978B (zh) * 2022-03-29 2022-06-21 维塔科技(北京)有限公司 多云集群数据读写方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN108924203B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN108924203A (zh) 数据副本自适应分布方法、分布式计算系统及相关设备
CN107682397B (zh) 客户资源获取方法、装置、终端设备及存储介质
CN111385112B (zh) 切片资源部署方法、装置、切片管理器和计算机存储介质
CN110365748A (zh) 业务数据的处理方法和装置、存储介质及电子装置
CN109831524B (zh) 一种负载均衡处理方法及装置
CN103607424B (zh) 一种服务器连接方法及服务器系统
CN104937572A (zh) 业务和/或工作负荷处理
CN108322502A (zh) 用于均衡服务器负载的方法、网关系统和存储介质
CN108243044A (zh) 业务部署的方法与装置
CN108400993A (zh) 智能工业装备组件式组建的物联网系统和存储介质
CN108833267A (zh) 智能工业网关
CN110247793A (zh) 一种移动边缘云中的应用程序部署方法
CN109787915A (zh) 网络访问的流量控制方法、装置、电子设备及存储介质
CN112003660B (zh) 一种网内资源的量纲测量方法、算力调度方法及存储介质
CN104852859B (zh) 一种聚合接口业务处理方法和设备
CN107980241A (zh) 一种网关多连接的方法及装置
CN110474845A (zh) 流表项淘汰方法及相关装置
CN110402567A (zh) 信息为中心的网络中基于中心性的缓存
CN110995872B (zh) 边缘缓存网络能量消耗计算方法、系统、装置
CN114945032A (zh) 电力物联网终端数据接入系统、方法、装置、设备及介质
CN109995890A (zh) 一种管理网络地址转换nat网关的方法及服务器
CN109917742A (zh) 可编程逻辑控制器plc系统、数据上传方法
CN108551485A (zh) 一种流媒体内容缓存方法、装置及计算机存储介质
CN109039826A (zh) 数据采集方法、装置及电子设备
CN102902593B (zh) 基于缓存机制的协议分发处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: South South technology twelve road 518057 in Guangdong province Shenzhen City Guangdong streets Nanshan District high tech Industrial Park, No. 2, Kingdee Software Park building A floor 2 South Block

Applicant after: Shenzhen Kingdee tianyanyun computing Co., Ltd.

Address before: South South technology twelve road 518000 in Guangdong province Shenzhen City Guangdong streets Nanshan District high tech Industrial Park, No. 2, Kingdee Software Park building A floor 2 South Block

Applicant before: Shenzhen Kingdee middleware Limited by Share Ltd.

GR01 Patent grant
GR01 Patent grant