CN109561125A - 一种数据传输方法、分布式系统中复制数据的方法及装置 - Google Patents

一种数据传输方法、分布式系统中复制数据的方法及装置 Download PDF

Info

Publication number
CN109561125A
CN109561125A CN201710888869.8A CN201710888869A CN109561125A CN 109561125 A CN109561125 A CN 109561125A CN 201710888869 A CN201710888869 A CN 201710888869A CN 109561125 A CN109561125 A CN 109561125A
Authority
CN
China
Prior art keywords
node
data
destination
destination node
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710888869.8A
Other languages
English (en)
Other versions
CN109561125B (zh
Inventor
史英杰
冯亦挥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710888869.8A priority Critical patent/CN109561125B/zh
Publication of CN109561125A publication Critical patent/CN109561125A/zh
Application granted granted Critical
Publication of CN109561125B publication Critical patent/CN109561125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供了一种数据传输方法、分布式系统中复制数据的方法及装置,如果与第一节点属于同一个集群的第二节点正在获取第一节点待复制的数据,则根据第二节点获取所述待复制数据所需的时间,确定所述第一节点从所述源节点或者从所述第二节点来复制所述待复制的数据。因此,第一节点有可能从第二节点复制数据,因为第一节点与第二节点属于同一个集群,因此,能够降低数据传输的代价。

Description

一种数据传输方法、分布式系统中复制数据的方法及装置
技术领域
本申请涉及通信领域,尤其涉及一种数据传输方法、分布式系统中复制数据的方法及装置。
背景技术
图1为一种典型的分布式系统的结构,其中,集群A和集群B部署在城市1,集群C、集群D和集群E部署在城市2,集群F和集群G部署在城市3。随着数据业务的增长,不同城市之间的集群难免要面临相互传输数据的需求。例如,集群A、集群C和集群D中分别部署有不同的业务单元,不同的业务单元之间彼此依赖,即集群A中的数据被集群C和集群D中的业务单元依赖,则需要集群A将数据传输到集群C和集群D。
然而,在多集群场景中,由于地域远近的不同,相同的数据从不同的源集群传输到相同的目的集群的代价是不同的,因此,如何降低数据传输的代价,成为目前亟待解决的问题。
发明内容
本申请提供了一种数据传输方法及装置,目的在于解决如何降低数据传输的代价的问题。
为了实现上述目的,本申请提供了以下技术方案:
一种分布式系统中复制数据的方法,包括:
获取第一节点待复制的数据的复制信息,所述复制信息包括所述数据所在的源节点,以及所述数据的标识;
基于所述数据的标识,确定所述第一节点所属的集群中是否存在第二节点,所述第二节点为所述第一节点所属的集群中正在复制所述待复制的数据的节点;
确定为是时,根据所述第二节点获取所述待复制数据所需的时间,确定所述第一节点从所述源节点或者从所述第二节点来复制所述待复制的数据。
一种数据传输方法,应用在分布式系统中,所述分布式系统包括多个节点,包括:
在第一节点将要向目的节点传输数据的情况下,如果存在第二节点且所述第二节点至少存储所述数据的一部分,则在预设的时长内,从所述第二节点向所述目的节点传输所述数据;
其中,所述第二节点到所述目的节点的距离小于所述第一节点到所述目的节点的距离,或者,所述第二节点与所述目的节点的之间的带宽小于所述第一节点与所述目的节点之间的带宽。
可选的,所述如果存在第二节点且所述第二节点至少存储所述数据的一部分,则在预设的时长内,从所述第二节点向所述目的节点传输所述数据包括:
如果存在所述第二节点,并且所述第二节点正在或将要从所述第一节点接收所述数据,则等待所述预设的时长;
如果所述第二节点在所述预设的时长内完成所述数据的接收,从所述第二节点向所述目的节点传输所述数据。
可选的,还包括:
如果所述第二节点没有在所述预设的时长内完成所述数据的接收,从所述第一节点向所述目的节点传输所述数据。
可选的,所述如果存在第二节点且所述第二节点至少存储所述数据的一部分,则在预设的时长内,从所述第二节点向所述目的节点传输所述数据包括:
如果存在所述第二节点,并且所述第二节点中已存储所述数据,则在所述预设的时长内,从所述第二节点向所述目的节点传输所述数据。
可选的,确定所述存在第二节点的过程包括:
确定所述目的节点所属的节点分组,其中,所述目的节点所属的节点分组中的节点到所述目的节点的距离小于所述第一节点到所述目的节点的距离,或者,与所述目的节点的之间的带宽小于所述第一节点与所述目的节点之间的带宽,所述第一节点与所述目的节点属于不同的节点分组;
所述目的节点所属的节点分组中的节点为所述第二节点。
可选的,还包括:
如果不存在所述第二节点,则从所述第一节点向所述目的节点发送所述数据。
可选的,所述不存在所述第二节点包括:
所述第一节点与所述目的节点属于相同的节点分组,其中,相同的节点分组中的节点之间的距离小于不同的节点分组中的节点之间的距离,或者,相同的节点分组中的节点之间的带宽小于不同的节点分组中的节点之间的带宽。
一种控制节点,应用在分布式系统中,所述分布式系统包括多个节点,包括:
监测模块,用于监测所述分布式系统中的各个节点是否将要传输数据;
判断模块,用于判断是否存在第二节点,其中,所述第二节点到所述目的节点的距离小于所述第一节点到所述目的节点的距离,或者,所述第二节点与所述目的节点的之间的带宽小于所述第一节点与所述目的节点之间的带宽;
控制模块,用于在第一节点将要向目的节点传输数据的情况下,如果存在第二节点且所述第二节点至少存储所述数据的一部分,则在预设的时长内,从所述第二节点向所述目的节点传输所述数据。
可选的,所述控制模块具体用于:
如果存在所述第二节点,并且所述第二节点正在或将要从所述第一节点接收所述数据,则等待所述预设的时长;
如果所述第二节点在所述预设的时长内完成所述数据的接收,从所述第二节点向所述目的节点传输所述数据。
可选的,所述控制模块还用于:
如果所述第二节点没有在所述预设的时长内完成所述数据的接收,从所述第一节点向所述目的节点传输所述数据。
可选的,所述控制模块具体用于:
如果存在所述第二节点,并且所述第二节点中已存储所述数据,则在所述预设的时长内,从所述第二节点向所述目的节点传输所述数据。
可选的,所述判断模块具体用于:
确定所述目的节点所属的节点分组,其中,所述目的节点所属的节点分组中的节点到所述目的节点的距离小于所述第一节点到所述目的节点的距离,或者,与所述目的节点的之间的带宽小于所述第一节点与所述目的节点之间的带宽,所述第一节点与所述目的节点属于不同的节点分组;
所述目的节点所属的节点分组中的节点为所述第二节点。
可选的,所述控制模块还用于:
如果不存在所述第二节点,则从所述第一节点向所述目的节点发送所述数据。
可选的,所述判断模块具体用于:
如果所述第一节点与所述目的节点属于相同的节点分组,其中,相同的节点分组中的节点之间的距离小于不同的节点分组中的节点之间的距离,或者,相同的节点分组中的节点之间的带宽小于不同的节点分组中的节点之间的带宽,则确定不存在所述第二节点。
本申请所述的方法及装置,如果与第一节点属于同一个集群的第二节点正在获取第一节点待复制的数据,则根据第二节点获取所述待复制数据所需的时间,确定所述第一节点从所述源节点或者从所述第二节点来复制所述待复制的数据。因此,第一节点有可能从第二节点复制数据,因为第一节点与第二节点属于同一个集群,因此,能够降低数据传输的代价。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一种典型的分布式系统的结构示意图;
图2为本申请实施例公开的分布式系统的逻辑结构示意图;
图3为本申请实施例公开的一种数据传输方法的流程图;
图4为本申请实施例公开的又一种数据传输方法的流程图;
图5为本申请实施例公开的数据传输方法的效果示意图;
图6为本申请实施例公开的控制节点的结构示意图。
具体实施方式
本申请实施例公开的数据传输方法,应用在分布式系统中,如图2所示,分布式系统包括多个互相连接的节点A、B和C。节点A、B和C中的任意一个,可以为独立的设备,也可以为多个设备聚合而成的集群。
不同的节点之间可以相互传输数据,本申请的实施例中,将发送数据的节点称为源节点,将接收数据的节点称为目的节点。
本申请实施例公开的数据传输方法的目的在于,通过优化源节点的选择,在保证目标节点获取数据的效率的前提下,降低数据传输的代价。
为了实现上述目的,本申请的实施例中,在分布式系统中部署控制节点,控制节点用于监控分布式系统中的数据传输,并选择最优的源节点,以降低数据传输的代价,并且,引入有限等待机制,以保证目标节点获取数据的效率。
图2仅为分布式系统的逻辑结构示意图,在实际中,控制节点可以独立设置在分布式系统中,也可以集成在分布式系统中的任意一个节点中,如果节点为集群,则控制节点可以集成在任意一个集群中的任意一个设备上。
下面将结合本申请实施例中的附图,对图2中所示的控制节点的功能进行说明,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图3为图2所示的控制节点调度分布式系统的数据传输的具体过程,包括以下步骤:
S301:监测分布式系统中的节点是否将要进行数据传输,监测到第一节点将要向目的节点传输数据。
具体的,可以周期性扫描节点中的数据的元信息以及配置信息,当且仅当满足如下条件时,确定节点将要进行数据传输:1.该节点中设置有数据的传输配置信息;2.具有传输配置信息的数据在该节点中没有副本。
S302:在第一节点向目的节点发送数据前,判断是否存在第二节点,如果是,执行S303,如果否,执行S306。
其中,第二节点为分布式系统中满足以下条件的节点:第二节点到目的节点的距离小于第一节点到目的节点的距离,或者,第二节点与目的节点的之间的带宽小于第一节点与目的节点之间的带宽。
S303:如果第二节点正在或将要从第一节点接收数据,则执行S304,如果第二节点已从第一节点接收到数据,执行S305,否则,执行S306。
其中,将要从第一节点接收数据的情况包括:已经建立从第一节点接收数据的需求,但还未开始数据的接收过程。
S304:等待预设的时长后,判断第二节点是否完成数据的接收,如果是,执行S305,如果否,执行S306。
S305:从第二节点向目的节点传输数据。
S306:从第一节点向目的节点传输数据。
从图3所示的过程可以看出,在第二节点已经或者正在从第一节点接收数据的情况下,将距离目的节点更近或者与目的节点之间的带宽更小的第二节点作为源节点向目的节点传输数据。
因为在分布式系统中,存在以下关系:
1、距离近的节点之间使用的传输线的成本更低。
2、在源节点与目的节点之间的带宽相同的情况下,源节点与目的节点距离越近,源节点向目的设备传输数据的速度越快,因此,传输数据占用带宽资源的时间越短。
3、源节点与目的节点之间的带宽越小,传输数据占用的资源越少。
所以,可以看出,将上述第二节点作为源节点,能够降低数据传输的代价。
在第二节点正在从第一节点接收数据的情况下,为了不影响目的节点的业务,本实施例引入了有限等待机制,即等待预设的时长,如果第二节点没有完成数据的接收,则不再等待,而控制第一节点向目的节点传输数据。
需要说明的是,如果第二节点为包括多个设备的集群,则S303中,可能有的设备正在从第一节点接收数据,而有的设备已经完成从第一节点接收数据的过程,在此情况下,可选的,不必等待预设的时长,而优先控制已经完成数据接收的设备立即向目的节点传输数据,从而进一步提高目的节点接收数据的效率。
或者,还可以,第二节点在接收第一节点传输的数据的过程中,同时向目的节点传输数据。
下面以图1所示的由部署在不同城市的集群构成的分布式系统为例,对图3所述的方法进行更为详细的说明。
图1中,依据距离部署集群间的专线,通常,不同城市之间的集群使用跨域专线通信,同一城市中的集群使用同城专线通信。也可能,虽然处于不同城市,但是因为距离较近,不同城市之间的集群也可以使用同城专线通信。跨域专线的带宽大于同城专线,成本也远高于同城专线。
图4为基于图1所示的分布系统的数据传输方法,其中,数据传输的一个示例为从源集群将数据复制到目的集群。
图4中包括以下步骤:
S401:对图1所示的分布式系统中的集群进行分组,得到集群组。分组的依据为:同一组内的集群之间的距离不大于预设的距离阈值,或者同一组内的集群之间带宽小于预设的带宽阈值。
例如,将图1中的集群A和集群B分为一组,集群C、集群D和集群E分为一组,集群F和集群G分为一组。
上述举例中,部署在同一个城市的集群恰好分为同一组,但是,需要说明的是,本实施例中,以距离为依据进行分组,因此,有可能距离较近的不同城市的集群被分在同一组。
S402:解析分布式系统中的第一复制事件,得到复制项。
复制项包括:源集群S和目的集群T,可选的,还可以包括待复制的文件的名称(本实施例中,名称以第一文件为例)、文件个数以及文件大小。
S403:判断S和T是否属于同一个集群组,如果否,执行S404,如果是,执行S411。
S404:确定集群集合TS,TS为与T属于同一个集群组,且需要获取相同的数据(即第一文件)的集群。
其中,需要获取相同的数据(即第一文件)为可选条件,目的在于,缩小后续的判断范围,以提高执行效率。
S405:判断TS是否为空集,如果否,执行S406,如果是,执行S411。
S406:TS中是否已经有集群T1完成从S复制得到第一文件,如果是,执行S410,如果否,执行S407。
S407:TS中是否已经有集群T2正在从T中复制第一文件,如果是,执行S408,如果否,执行S411。
S408:等待预设的时长t后,判断复制是否完成,如果是,执行S409,如果否,执行S411。
S409:生成并执行第二复制事件,第二复制事件中的复制项包括:源集群T2和目的集群T,可选的,还可以包括待复制的文件的名称(本实施例中,名称以第一文件为例)、文件个数以及文件大小。
S410:生成并执行第三复制事件,第三复制事件中的复制项包括:源集群T1和目的集群T,可选的,还可以包括待复制的文件的名称(本实施例中,名称以第一文件为例)、文件个数以及文件大小。
S411:执行第一复制事件。
S412:事件处理结束。
可选的,在本次事件处理结束后,还可以执行以下步骤:
S413:向与T同组且需要第一文件的集群发送第一文件,以进一步提高文件复制的效率。
需要说明的是,先执行S406再执行S407的目的在于,如果T1中已有第一文件,则无需等待,可以立即向集群T发送第一文件,以尽快将第一文件发送到目的集群。
可选的,还可以并行执行S406与S407。在并行执行的判断结果均为是的情况下,也可以立即向集群T发送第一文件,以尽快将第一文件发送到目的集群。
图5为使用图4所示的方法实现的效果示意图:
控制节点完成集群组的划分(将图1中的集群A和集群B分为一组,集群C、集群D和集群E分为一组,集群F和集群G分为一组)后,解析未启动的第一复制事件得到源集群为集群A,目的集群为集群C。控制节点获知集群C所在集群组TS中的集群D正在从作为源集群的集群A复制第一文件,则控制节点等待30秒后,如果集群D完成第一文件的复制,则控制集群D向集群C发送第一文件,即生成并执行第二复制时间,并且,在确定与集群C和集群D属于同一个集群组的集群E也需要第一文件的情况下,控制集群C向集群E传输第一文件。
从上述步骤可以看出,先对集群进行分组,再以复制事件为处理对象,优先在同一集群组中的集群间进行复制。基于图1中集群组的划分原理,图4所示的过程,使得在距离较远的不同集群之间的数据复制转换为同一个集群间的距离较近的数据复制,所以,最大程度地避免使用跨域专线,从而降低数据复制的成本。
又因为引入了优先等待机制,所以,在降低数据复制成本的同时,能够保证目的集群获取数据的效率,而避免影响正常的业务流程。
图4所示的方法可以抽象为以下过程:
1、获取第一节点待复制的数据的复制信息,所述复制信息包括所述数据所在的源节点,以及所述数据的标识。
其中,数据的标识可以为数据的名称或者大小,或者,也可以使用其它标识,例如预设的编号。
2、基于所述数据的标识,确定所述第一节点所属的集群中是否存在正在复制所述待复制的数据的节点。
其中,集群的获取方式与按照图4所示的集群组的获取方法类似,即预先规定节点属于的集群,确定的依据可以为距离或者带宽。
需要说明的是,正在复制包括以下两种情况:(1)、已经建立复制所述数据的需求(例如任务列表中存在复制所述数据的任务),但未开始复制所述数据。(2)、已经开始复制(传输)所述数据。
3、确定为是时,根据所述第二节点获取所述待复制数据所需的时间,确定第一节点从源节点或者从所述第二节点来复制所述待复制数据。
具体的,如果第二节点获取所述待复制数据所需的时间不大于预设的时长,确定第一节点从第二节点复制数据。如果第二节点获取所述待复制数据所需的时间大于预设的时长,确定第一节点从源节点复制数据。
与上述方法对应的一种控制节点,应用在分布式系统中,所述分布式系统包括多个节点,控制节点包括:
获取模块,用于获取第一节点待复制的数据的复制信息,所述复制信息包括所述数据所在的源节点,以及所述数据的标识。第一确定模块,用于基于所述数据的标识,确定所述第一节点所属的集群中是否存在第二节点,所述第二节点为所述第一节点所属的集群中正在复制所述待复制的数据的节点。第二确定模块,用于所述第一确定模块确定为是时,根据所述第二节点获取所述待复制数据所需的时间,确定所述第一节点从所述源节点或者从所述第二节点来复制所述待复制的数据。
图6为与图3所示的方法对应的控制节点,包括:监测模块、判断模块和控制模块。
其中,监测模块用于监测所述分布式系统中的各个节点是否将要传输数据。
判断模块用于监测模块监测到有节点要传输数据的情况下,判断是否存在第二节点,其中,所述第二节点到所述目的节点的距离小于所述第一节点到所述目的节点的距离,或者,所述第二节点与所述目的节点的之间的带宽小于所述第一节点与所述目的节点之间的带宽。
控制模块用于在第一节点将要向目的节点传输数据的情况下,如果存在第二节点且所述第二节点至少存储所述数据的一部分,则在预设的时长内,从所述第二节点向所述目的节点传输所述数据。以及,如果所述第二节点没有在所述预设的时长内完成所述数据的接收,从所述第一节点向所述目的节点传输所述数据。如果不存在所述第二节点,则从所述第一节点向所述目的节点发送所述数据。
上述模块的功能的具体实现方式,可以参见图3所示的实施例,这里不再赘述。
以上所述的控制节点,能够依据有限等待机制,降低数据传输的代价。上述控制节点可以设置在图2所示的有分布式系统中。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。基于这样的理解,本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算设备(可以是个人计算机,服务器,移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种分布式系统中复制数据的方法,其特征在于,包括:
获取第一节点待复制的数据的复制信息,所述复制信息包括所述数据所在的源节点,以及所述数据的标识;
基于所述数据的标识,确定所述第一节点所属的集群中是否存在第二节点,所述第二节点为所述第一节点所属的集群中正在复制所述待复制的数据的节点;
确定为是时,根据所述第二节点获取所述待复制数据所需的时间,确定所述第一节点从所述源节点或者从所述第二节点来复制所述待复制的数据。
2.一种数据传输方法,应用在分布式系统中,所述分布式系统包括多个节点,其特征在于,包括:
在第一节点将要向目的节点传输数据的情况下,如果存在第二节点且所述第二节点至少存储所述数据的一部分,则在预设的时长内,从所述第二节点向所述目的节点传输所述数据;
其中,所述第二节点到所述目的节点的距离小于所述第一节点到所述目的节点的距离,或者,所述第二节点与所述目的节点的之间的带宽小于所述第一节点与所述目的节点之间的带宽。
3.根据权利要求2所述的方法,其特征在于,所述如果存在第二节点且所述第二节点至少存储所述数据的一部分,则在预设的时长内,从所述第二节点向所述目的节点传输所述数据包括:
如果存在所述第二节点,并且所述第二节点正在或将要从所述第一节点接收所述数据,则等待所述预设的时长;
如果所述第二节点在所述预设的时长内完成所述数据的接收,从所述第二节点向所述目的节点传输所述数据。
4.根据权利要求3所述的方法,其特征在于,还包括:
如果所述第二节点没有在所述预设的时长内完成所述数据的接收,从所述第一节点向所述目的节点传输所述数据。
5.根据权利要求2所述的方法,其特征在于,所述如果存在第二节点且所述第二节点至少存储所述数据的一部分,则在预设的时长内,从所述第二节点向所述目的节点传输所述数据包括:
如果存在所述第二节点,并且所述第二节点中已存储所述数据,则在所述预设的时长内,从所述第二节点向所述目的节点传输所述数据。
6.根据权利要求2-5任一项所述的方法,其特征在于,确定所述存在第二节点的过程包括:
确定所述目的节点所属的节点分组,其中,所述目的节点所属的节点分组中的节点到所述目的节点的距离小于所述第一节点到所述目的节点的距离,或者,与所述目的节点的之间的带宽小于所述第一节点与所述目的节点之间的带宽,所述第一节点与所述目的节点属于不同的节点分组;
所述目的节点所属的节点分组中的节点为所述第二节点。
7.根据权利要求1所述的方法,其特征在于,还包括:
如果不存在所述第二节点,则从所述第一节点向所述目的节点发送所述数据。
8.根据权利要求7所述的方法,其特征在于,所述不存在所述第二节点包括:
所述第一节点与所述目的节点属于相同的节点分组,其中,相同的节点分组中的节点之间的距离小于不同的节点分组中的节点之间的距离,或者,相同的节点分组中的节点之间的带宽小于不同的节点分组中的节点之间的带宽。
9.一种控制节点,应用在分布式系统中,所述分布式系统包括多个节点,其特征在于,包括:
监测模块,用于监测所述分布式系统中的各个节点是否将要传输数据;
判断模块,用于判断是否存在第二节点,其中,所述第二节点到所述目的节点的距离小于所述第一节点到所述目的节点的距离,或者,所述第二节点与所述目的节点的之间的带宽小于所述第一节点与所述目的节点之间的带宽;
控制模块,用于在第一节点将要向目的节点传输数据的情况下,如果存在第二节点且所述第二节点至少存储所述数据的一部分,则在预设的时长内,从所述第二节点向所述目的节点传输所述数据。
10.根据权利要求9所述的控制节点,其特征在于,所述控制模块具体用于:
如果存在所述第二节点,并且所述第二节点正在或将要从所述第一节点接收所述数据,则等待所述预设的时长;
如果所述第二节点在所述预设的时长内完成所述数据的接收,从所述第二节点向所述目的节点传输所述数据。
11.根据权利要求10所述的控制节点,其特征在于,所述控制模块还用于:
如果所述第二节点没有在所述预设的时长内完成所述数据的接收,从所述第一节点向所述目的节点传输所述数据。
12.根据权利要求9所述的控制节点,其特征在于,所述控制模块具体用于:
如果存在所述第二节点,并且所述第二节点中已存储所述数据,则在所述预设的时长内,从所述第二节点向所述目的节点传输所述数据。
13.根据权利要求9-12任一项所述的控制节点,其特征在于,所述判断模块具体用于:
确定所述目的节点所属的节点分组,其中,所述目的节点所属的节点分组中的节点到所述目的节点的距离小于所述第一节点到所述目的节点的距离,或者,与所述目的节点的之间的带宽小于所述第一节点与所述目的节点之间的带宽,所述第一节点与所述目的节点属于不同的节点分组;
所述目的节点所属的节点分组中的节点为所述第二节点。
14.根据权利要求9所述的控制节点,其特征在于,所述控制模块还用于:
如果不存在所述第二节点,则从所述第一节点向所述目的节点发送所述数据。
15.根据权利要求14所述的控制节点,其特征在于,所述判断模块具体用于:
如果所述第一节点与所述目的节点属于相同的节点分组,其中,相同的节点分组中的节点之间的距离小于不同的节点分组中的节点之间的距离,或者,相同的节点分组中的节点之间的带宽小于不同的节点分组中的节点之间的带宽,则确定不存在所述第二节点。
CN201710888869.8A 2017-09-27 2017-09-27 一种数据传输方法、分布式系统中复制数据的方法及装置 Active CN109561125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710888869.8A CN109561125B (zh) 2017-09-27 2017-09-27 一种数据传输方法、分布式系统中复制数据的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710888869.8A CN109561125B (zh) 2017-09-27 2017-09-27 一种数据传输方法、分布式系统中复制数据的方法及装置

Publications (2)

Publication Number Publication Date
CN109561125A true CN109561125A (zh) 2019-04-02
CN109561125B CN109561125B (zh) 2021-11-09

Family

ID=65863545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710888869.8A Active CN109561125B (zh) 2017-09-27 2017-09-27 一种数据传输方法、分布式系统中复制数据的方法及装置

Country Status (1)

Country Link
CN (1) CN109561125B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050289386A1 (en) * 2004-06-24 2005-12-29 Dell Products L.P. Redundant cluster network
CN101064640A (zh) * 2006-04-30 2007-10-31 华为技术有限公司 一种分布式非协作网格网络中数据发送方法、系统及节点
US20100023593A1 (en) * 2008-07-22 2010-01-28 Brother Kogyo Kabushiki Kaisha Distributed storage system, node device, recording medium in which node processing program is recorded, and address information change notifying method
CN103577546A (zh) * 2013-10-12 2014-02-12 北京奇虎科技有限公司 一种数据备份的方法、设备及分布式集群文件系统
US20140298325A1 (en) * 2013-03-28 2014-10-02 Red Hat, Inc. Secure and reliable mechanism to provide a single object instance in a clustered system
CN104426975A (zh) * 2013-09-03 2015-03-18 北京网秦天下科技有限公司 用于数据同步的方法、设备和系统
CN105610903A (zh) * 2015-12-17 2016-05-25 北京奇虎科技有限公司 分布式系统的数据节点升级方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050289386A1 (en) * 2004-06-24 2005-12-29 Dell Products L.P. Redundant cluster network
CN101064640A (zh) * 2006-04-30 2007-10-31 华为技术有限公司 一种分布式非协作网格网络中数据发送方法、系统及节点
US20100023593A1 (en) * 2008-07-22 2010-01-28 Brother Kogyo Kabushiki Kaisha Distributed storage system, node device, recording medium in which node processing program is recorded, and address information change notifying method
US20140298325A1 (en) * 2013-03-28 2014-10-02 Red Hat, Inc. Secure and reliable mechanism to provide a single object instance in a clustered system
CN104426975A (zh) * 2013-09-03 2015-03-18 北京网秦天下科技有限公司 用于数据同步的方法、设备和系统
CN103577546A (zh) * 2013-10-12 2014-02-12 北京奇虎科技有限公司 一种数据备份的方法、设备及分布式集群文件系统
CN105610903A (zh) * 2015-12-17 2016-05-25 北京奇虎科技有限公司 分布式系统的数据节点升级方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A.R. SKOPP等: ""Implementing back-up control centers for power systems"", 《IEEE POWER ENGINEERING SOCIETY SUMMER MEETING》 *
尹燕敏等: ""基于网关模式的数据同步复制的研究与应用"", 《电脑开发与应用》 *

Also Published As

Publication number Publication date
CN109561125B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN110557416B (zh) 一种多节点协同打块的方法及系统
CN109391498A (zh) 网络组件的管理方法和网络设备
EP4175235A1 (en) Network element management method, network management system, independent computing node, computer device, and storage medium
CN102882704A (zh) 一种issu的软重启升级过程中的链路保护方法和设备
KR101309045B1 (ko) 네트워크 디바이스, 네트워크 관리자, 이들을 포함하는관리시스템 및 클론프로세스 수행방법
CN108270733A (zh) 一种管理智能设备的方法及系统
CN109218232A (zh) 一种实现Mux机的方法、设备及系统
CN110417913A (zh) 一种基于Rabbit MQ的云服务器异步创建方法
CN106452980A (zh) 基于时间的业务处理方法及装置
CN114926163A (zh) 资源跨链转移方法及装置
Kowalski et al. Supervised average consensus in anonymous dynamic networks
CN103391487A (zh) 一种在多逻辑链路标识模式下传输业务的方法及装置
CN112699136B (zh) 一种跨链存证方法及相关装置
CN109995787A (zh) 一种数据处理方法及相关设备
CN103259639B (zh) 一种堆叠设备的时钟同步方法和设备
CN109150709A (zh) 一种实现Mux机的方法、设备及系统
CN103621172B (zh) 无线网络中基于竞争的资源访问
CN111786887A (zh) 由控制设备执行的数据转发方法、装置、计算设备和介质
CN109561125A (zh) 一种数据传输方法、分布式系统中复制数据的方法及装置
CN102917370A (zh) 确定远端机对应的近端机的方法、装置、系统以及远端机
CN107493312A (zh) 一种服务调用方法及装置
CN110233791A (zh) 数据去重方法和装置
CN102868594B (zh) 一种消息处理方法和装置
CN112398913B (zh) 一种业务调度方法及系统
CN115460617A (zh) 基于联邦学习的网络负载预测方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant