CN101442435B - 分布式系统的业务数据管理方法、装置及分布式系统 - Google Patents

分布式系统的业务数据管理方法、装置及分布式系统 Download PDF

Info

Publication number
CN101442435B
CN101442435B CN2008101891031A CN200810189103A CN101442435B CN 101442435 B CN101442435 B CN 101442435B CN 2008101891031 A CN2008101891031 A CN 2008101891031A CN 200810189103 A CN200810189103 A CN 200810189103A CN 101442435 B CN101442435 B CN 101442435B
Authority
CN
China
Prior art keywords
service node
heavily loaded
underloading
service
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008101891031A
Other languages
English (en)
Other versions
CN101442435A (zh
Inventor
刘彦夫
孙永乐
张丽军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Gaohang Intellectual Property Operation Co ltd
Taizhou Haitong Asset Management Co ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN2008101891031A priority Critical patent/CN101442435B/zh
Publication of CN101442435A publication Critical patent/CN101442435A/zh
Priority to PCT/CN2009/073936 priority patent/WO2010072085A1/zh
Application granted granted Critical
Publication of CN101442435B publication Critical patent/CN101442435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • H04L41/5019Ensuring fulfilment of SLA
    • H04L41/5025Ensuring fulfilment of SLA by proactively reacting to service quality change, e.g. by reconfiguration after service quality degradation or upgrade
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/091Measuring contribution of individual network components to actual service level

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种分布式系统的业务数据管理方法、装置及分布式系统,涉及分布式技术领域,解决了现有技术中分布式系统无法动态地平衡各个业务节点之间负载的问题。在本发明中定期获取业务节点当前的负载信息;向中央管理节点发送该负载信息;中央管理节点接收业务节点定期发送的该负载信息;根据负载信息查找重载业务节点和轻载业务节点;判断是否能够迁移所述重载业务节点中的部分业务数据;若能够迁移,则向所述重载业务节点发送迁移控制信号,该迁移控制信号包括轻载业务节点的信息并控制重载业务节点将部分业务数据迁移到所述轻载业务节点上;业务节点接收中央管理节点发来的迁移控制信号。本发明的实施例主要应用在分布式系统中。

Description

分布式系统的业务数据管理方法、装置及分布式系统
技术领域
本发明涉及分布式技术领域,尤其涉及在分布式系统中,一种负载过重时系统的处理方法及装置。
背景技术
在分布式系统中的每一个设备都可以被看作是一个节点,这些节点之间在处理和控制能力上是处于平等地位的,并且这些节点经常会相互合作,共同完成一项高层业务数据的处理。其过程为:当其中某一个节点接收到一项高层业务数据时,它都可以把这项业务数据分成几个部分,并把这些部分分发到其它节点上去处理,即每个节点处理这项高层业务数据的一部分,以便加快这项高层业务数据的完成速度。
对于每个节点来说,它都有着自己的资源配置,这就产生了对于所处理的业务数据,有的节点处理的速度快,有的节点处理的速度慢;而且根据所处理的业务数据的特点,有的节点处理的业务数据量多,负载重,有的节点处理的业务数据量少,负载轻。
当这些节点在相互合作,共同完成一项高层业务数据的处理的过程中,发明人发现现有技术当中至少存在如下问题:当其中的某个节点因为资源配置不够或者处理的业务数据量较多,而处于负载过重的状态时,所述节点应该完成的那一部分高层业务数据就会受到影响,以至于整项高层业务数据无法顺利完成。即是说:某个负载过重的节点(即重载节点)会成为分布式系统处理业务性能的一个障碍。
发明内容
本发明的实施例提供一种负载过重时系统的处理方法及装置。使分布式系统能够自动平衡各节点中的负载,以减轻重载节点的负担。
本发明的实施例采用如下技术方案:
一种分布式系统的业务数据管理方法,包括:
接收业务节点定期发送的该业务节点当前的负载信息;
根据负载信息查找重载业务节点和轻载业务节点;
判断是否能够迁移所述重载业务节点中的部分业务数据;
若能够迁移所述重载业务节点中的业务数据,则向所述重载业务节点发送迁移控制信号,该迁移控制信号控制重载业务节点将部分业务数据迁移到所述轻载业务节点上。
一种分布式系统的业务数据管理方法,包括:
定期获取业务节点当前的负载信息;
向中央管理节点发送所述负载信息;
接收中央管理节点发来的迁移控制信号,该迁移控制信号中包括轻载业务节点的信息;
将业务节点中的部分业务数据剪切到所述轻载业务节点。
一种分布式系统的业务数据管理装置,包括:
接收模块,用于接收业务节点定期发送的该业务节点当前的负载信息;
重载查找模块,用于根据负载信息查找重载业务节点;
轻载查找模块,用于根据负载信息查找轻载业务节点;
判断模块,用于判断是否能够迁移所述重载业务节点中的部分业务数据;
迁移控制模块,用于当能够迁移所述重载业务节点中的业务数据时,向所述重载业务节点发送迁移控制信号,该迁移控制信号控制重载业务节点将部分业务数据迁移到所述轻载业务节点上。
一种分布式系统的业务数据管理装置,包括:
管理模块,用于定期获取业务节点当前的负载信息;
发送模块,用于向中央管理节点发送所述负载信息;
第一接收模块,用于接收中央管理节点发来的迁移控制信号,该迁移控制信号中包括轻载业务节点的信息;
剪切模块,用于将业务节点中的部分业务数据剪切到所述轻载业务节点。
一种分布式系统,包括:
业务节点实体,用于定期获取业务节点当前的负载信息并向中央管理节点发送所述负载信息;
中央管理实体,用于接收业务节点定期发送的该业务节点当前的负载信息;根据负载信息查找重载业务节点和轻载业务节点,并判断是否能够迁移所述重载业务节点中的部分业务数据,当能够迁移所述重载业务节点中的业务数据时,向所述重载业务节点发送迁移控制信号,该迁移控制信号控制重载业务节点将部分业务数据迁移到所述轻载业务节点上;
所述业务节点实体还用于在接收所述迁移控制信号时,将业务节点中的部分业务数据剪切到所述轻载业务节点。
本发明实施例提供的分布式系统的业务数据管理方法、装置及分布式系统具有如下有益效果:当出现重载业务节点是可以动态的调整该重载业务节点上的负载,使部分业务数据迁移到轻载业务节点上,达到了能够有效利用各个业务节点上的资源配置,动态平衡各个业务节点上的负载的有益效果。当分发式系统中的各个业务节点共同处理一项高层业务数据时,可避免因为单个业务节点负载过重导致整个高层业务无法顺利完成的情况发生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1在中央管理节点上分布式系统的业务数据管理方法的流程图;
图2为本发明实施例1在业务节点上分布式系统的业务数据管理方法的流程图;
图3为本发明实施例2分布式系统的业务数据管理方法的流程图;
图4为本发明实施例3在中央管理节点上分布式系统的业务数据管理装置的框图;
图5为本发明实施例3在业务节点上分布式系统的业务数据管理装置的框图;
图6为本发明实施例4分布式系统的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本实施例公开一种分布式系统的业务数据管理方法,该方法适用于分布式系统中的中央管理节点,如图1所示,该方法包括如下步骤:
设中央管理节点为A;a、b、c为业务节点。
101,在分布式系统中设置中央管理节点,该中央管理节点接收到各个业务节点定期发送过来的该业务节点当前的负载信息。
所述该业务节点当前的负载信息可以是各个业务节点定期向中央管理节点发送过去,也可以是中央管理节点定期收集过来。
具体执行可为:中央管理节点A接收到来自a业务节点,b业务节点,c业务节点定期发送过来的当前的负载信息a1,b1,c1。
102,中央管理节点根据接收到的负载信息在分布式系统的各个业务节点中查找负载过重的重载业务节点。
具体执行可为:中央管理节点A在读取a 1里的信息时,了解到a业务节点目前负载过重并将a业务节点归入重载业务节点范围内。
103,中央管理节点根据接收到的负载信息在分布式系统的各个业务节点中查找负载较轻的轻载业务节点。
具体执行可为:中央管理节点A在读取b1、c1里的信息时,到b业务节点和c业务节点目前负载较轻并将b业务节点和c业务节点归入轻载业务节点范围内。
104,中央管理节点根据接收到负载信息判断查找到的重载节点上的部分业务数据是否能够迁移到查找到的轻载业务节点上去,如果中央管理节点判定该重载业务节点上的部分业务数据可以迁移到该轻载节点上则执行步骤105;如果中央管理节点判定该重载业务节点上的部分业务数据不可以迁移到该轻载节点上则执行步骤106。
具体可执行可为:中央管理节点A在读取a1时,了解到a业务节点上目前占用资源最多的部分业务数据是X,则中央管理节点A根据读取b1信息时了解到的负载信息判断部分业务数据X对应的负载如果迁移到b业务节点上是否会使b业务节点变得负载较重,如果会使b业务节点变得负载较重,则继续根据读取c1信息时了解到的负载信息判断部分业务数据X对应的负载如果迁移到c业务节点上是否会使c业务节点变得负载较重,如果不会使c业务节点变得负载较重,则执行步骤105,否则执行步骤106。
105,中央管理节点向该重载业务节点发送迁移信号,该迁移控制信号控制重载业务节点将部分业务数据迁移到该轻载业务节点上。
具体执行可为:中央管理节点A向a业务节点发送迁移控制信号,该迁移控制信号指示a业务节点将部分数据X迁移到c业务节点上。
106,结束流程。
其中,上述实施例中的102、103不限定执行的先后顺序,甚至可以同时执行。
上述实施例所描述的本发明,通过采用设置可以定期了解各个业务节点当前负载信息的中央管理节点的技术方案,解决了现有技术当中由于分布式系统中各个业务节点是处于平等地位,而无法及时了解到其它业务节点的负载信息的技术问题,从而取得了可以根据定期接收到的信息及时为重载业务节点减轻负载的有益效果。
本实施例继续公开一种分布式系统的业务数据管理方法,该方法适合分布式系统中的业务节点,如图2所示,该方法包括:
设中央管理节点为A;a0为a业务节点的管理单元,、b0为b业务节点的管理单元,c0为c业务节点的管理节点。
201,在分布式系统中每个业务节点上设置管理单元,该管理单元定期获取所在业务节点当前的负载信息。
具体执行可为:a0定期收集a业务节点当前的负载信息a1,b0定期收集a业务节点当前的负载信息b1,c0定期收集c业务节点当前的负载信息c1。
202,管理单元将定期获取的所在业务节点当前的负载信息向中央管理节点发送。
具体执行可为:a0将定期收集的a业务节点当前的负载信息a1向中央管理节点A发送,b0将定期收集的b业务节点当前的负载信息b1向中央管理节点A发送,c0将定期收集的c业务节点当前的负载信息c1向中央管理节点A发送。
该负载信息的发送过程可以是由管理单元定期主动发送给中央管理节点,也可以是中央管理节点定期向管理单元索取。
203,业务节点接收到中中央管理节点发送过来的迁移控制信号,在该信号中包含有轻载业务节点的信息,例如:轻载节点的地址等。在该迁移控制信号中还包含有重载业务节点可以转移的部分业务数据信息。
具体执行可为:a业务节点接收到中央管理节点A发来的迁移控制信号。该迁移控制信号指示a业务节点将部分业务数据X迁移到c业务节点上并且在迁移信号中还含有c业务节点的地址。
204,根据中央管理节点发来的迁移控制信号的信息,重载业务节点将部分业务数据剪切到上述轻载业务节点上。
具体执行可为:a业务节点根据迁移控制信号的指示将部分业务数据X剪切到c业务节点上。
本实施例所提供的分布式系统的业务数据管理方法具有如下有益效果:
将重载业务节点上的部分业务数据迁移到轻载业务节点上,在减轻重载业务节点的负载量的同时,有效的利用了轻载业务节点的资源。在分布式系统中,对于共同参与处理一项高层业务数据的各个业务节点来说,及时迁移减轻重载业务节点的负载量,有利于提高整个高层业务数据处理的速度,减少处理该高层业务数据时所消耗的时间。
实施例2
本实施例具体地对上述一种分布式系统的业务数据管理方法进行描述,如图3所示,该方法包括:
在分布式系统中设置中央管理节点,同时在每个业务节点上设置管理单元。
301,每个节点上的管理单元定期获取所在节点当前的负载信息。该负载信息中包括该业务节点的当前总负载以及当前的各个业务数据类型对应的分负载。所述业务数据类型对应的分负载为:处理该业务数据的业务组件的负载信息。
302,管理单元将定期获取的所在业务节点当前的负载信息向中央管理节点发送。
该负载信息的发送过程可以是由管理单元定期主动发送给中央管理节点,也可以是中央管理节点定期向管理单元索取。
303,中央管理节点接收到各个业务节点定期发送过来的该业务节点当前的负载信息。
所述该业务节点当前的负载信息可以是各个业务节点定期向中央管理节点发送过去,也可以是中央管理节点定期收集过来。
在现有技术当中的分布式系统里由于各个业务节点在处理和控制能力上是处于平等地位的,所以无法及时的了解其它业务节点的负载信息。本实施例提供的方案因为采用了可以定期了解各个业务节点当前负载信息的中央管理节点的技术方案,所以取得了可以根据了解到的负载信息由中央管理节点及时采取措施,以便平衡各个业务节点的负载的有益效果。
304,每个业务节点的总负载都有预设的第一重载门限,则超过该业务节点预设的第一重载门限的业务节点为重载业务节点;每个业务节点上所运行的业务组件有时也可有预设的第二重载门限,该第二重载门限即为运行在业务节点上的业务组建的重载门限。对于有第二重载门限的业务组件所在的业务节点来说,超过该预设的第二重载门限的业务组件所在的业务节点也为重载业务节点,即分负载超过预设的第二重载门限的业务节点也为重载业务节点。中央管理节点根据接收到的包含总负载和分负载的负载信息里查找符合上述描述的重载业务节点。对于查找到的重载业务节点可将其部分业务数据进行迁移。
305,每个业务节点的总负载可能有预设的第一轻载门限,则不超过该业务节点预设的第一轻载门限的业务节点为轻载节点;每个业务节点上所运行的业务组件有时也可能有预设的第二轻载门限,对于有第二轻载门限的业务组件所在的业务节点来说,该业务节点上业务组件不超过该预设的第二轻载门限,同时总负载不超过预设的第一轻载门限的业务节点业务为轻载节点,即分负载不超过预设的第二轻载门限,同时总负载不超过预设的第一轻载门限的业务节点为轻载业务节点。中央管理节点根据接收到的包含总负载和分负载的负载信息里查找符合上述描述的轻载业务节点。
在305步骤中,预设的第一轻载门限可以等于预设的第一重载门限,此时轻载业务节点为:总负载再不超过预设的第一重载门限的业务节点;同时在305步骤中,预设的第二轻载门限也可以等于预设的第二重载门限。此时轻载业务节点为:分负载不超过预设的第二重载门限,且总负载也不超过预设的第一重载门限的业务节点。
306,确定查找到的重载业务节点上需要转移的部分业务数据。所述重载业务节点,可能是总负载超过预设的第一重载门限的重载业务节点,也可能是分负载超过预设的第二重载门限的重载业务节点。所述需要转移的部分业务数据可为重载业务节点当前占用资源最多的业务组建,也可以为超过第二重载门限的业务组建。
307,当是总负载超过预设的第一重载门限的重载业务节点的情况时,判断是否查找到轻载业务节点,如果没有查找到轻载业务节点,则判定不能够迁移所述重载业务节点中的部分业务数据并执行步骤313;如果查找到轻载业务节点,则判断该轻载业务节点的总负载加上306步骤中部分业务数据对应的负载后,是否超过该轻载业务节点的预设的第一重载门限,如果判断的结果为超过预设的第一重载门限,则判定该重载业务节点的部分业务数据不能够迁移所述轻载业务节点中并执行步骤313;如果判断的结果为不超过预设的第一重载门限,则判定该重载业务节点的部分业务数据能够迁移所述轻载业务节点并执行步骤308;
当是分负载超过预设的第二重载门限的重载业务节点时,判断是否查找到轻载业务节点,当没有查找到轻载业务节点时,则判定不能够迁移所述重载业务节点中的部分业务数据并执行步骤313;如果查找到轻载业务节点,则判断分负载加上306步骤中部分业务数据对应的负载是否超过所述预设的第二重载门限且总负载加上306步骤中部分业务数据对应的负载是否超过所述预设的第一重载门限,如果分负载加上所述部分业务数据对应的负载不超过所述预设的第二重载门限并且总负载加上所述部分业务数据对应的负载也不超过所述预设的第一重载门限则,则判定所述部分业务数据能够迁移到所述轻载业务节点上并执行步骤308;否则,则判定所述部分业务数据不能够迁移到所述轻载业务节点上并执行步骤313。
308,中央管理节点向该重载业务节点发送迁移信号,该迁移控制信号控制重载业务节点将部分业务数据迁移到该轻载业务节点上。
通过上述步骤中所提供的对重载业务节点和轻载业务节点的查找以及判定的技术方案,可以取得在将重载业务节点的部分业务进行迁移时,不会使目标轻载业务节点在接收所述部分业务数据对应的负载后变成重载业务节点的有益效果。
309,中央管理节点将该部分业务数据的地址修改为判定可以进行迁移的目标轻载业务节点的地址。
将迁移的部分业务数据的地址修改为目标轻载业务节点的地址可以取得当需要调用被迁移的部分业务数据进行计算时,不会因为找不到该部分业务数据,而使该部分业务数据丧失其可用性的有益效果。
310,重载业务节点接收到中央管理节点发送过来的迁移控制信号,在该信号中包含有轻载业务节点的信息,例如:轻载节点的地址等。在该迁移控制信号中还包含有重载业务节点可以转移的部分业务数据信息。
311,根据中央管理节点发来的迁移控制信号的信息,重载业务节点将部分业务数据剪切到上述轻载业务节点上,并执行步骤316。
312,当该重载业务节点未接收到中央管理节点发送过来的迁移控制信号时,重载业务节点自动进入反压状态。
313,运行在处于反压状态的重载业务节点上的业务组件对发送过来的业务数据处理的请求发送“请稍后”信号。
314,该重载业务节点上所运行的业务组件丢弃当前正在处理的不重要或者不可靠的业务数据,例如:一些暂时不用并且在需要时可以从其它地方再次获取的业务数据。并将丢弃的业务数据所占用的资源进行回收。
本实施例通过采用丢弃不可靠(如用户数据报协议)或者不重要(如可再次从其它地方获取或者优先级别较低)的业务数据的技术方案,取得了在不能进行迁移的情况下,仍旧可以通过回收资源的方式来到达减轻重载业务节点的负载的有益效果。
315,判断丢弃不重要或者不可靠的业务数据后的业务组件所在的重载业务节点的负载是否仍超过预设的第一重载门限,如果不再超过预设的第一重载门限则执行步骤316;如果仍超过预设的第一重载门限则执行步骤314。
有的重载业务节点上所运行的业务组件有预设的第二重载门限,此时先判断在丢弃不重要或者不可靠的业务数据后的业务组件是否仍超过预设的第二重载门限,如果仍超过预设的第二重载门限则执行步骤314,如果不再超过预设的第二重载门限则再按照315步骤所描述的去执行。
316,停止反压状态并优先发送“可服务”信号给优先级别高并且发送过业务数据处理请求的业务组件。
317,结束反压流程或者迁移流程。
在现有的分布式系统中,由于每个业务节点在处理和控制能力上都是处于同等地位的,所以当它们共同处理一项高层业务数据时,因为无法及时的得知其它业务节点的负载信息,所以导致了某个负载较重的业务节点即重载节点在处理自己应该完成的部分高层业务数据时,无法及时对其进行处理。以至于正项高层业务数据无法按时完成。而本实施例所提供的分布式系统的业务数据管理方法,因为采用了可以定期了解各个业务节点负载信息的中央管理节点的技术方案,所述取得了当有重载业务节点出现时,可以及时将该重载业务节点上的部分业务数据迁移到轻载业务节点的技术效果。在有效的利用了轻载业务节点的资源的同时还取得了加快各个业务节点共同处理的高层业务数据速度的有益效果。
实施例3
本实施例公开一种分布式系统的业务数据管理装置,该装置适合部署在中央管理节点上,如图4所示,该装置包括:接收模块41,重载查找模块42,轻载查找模块43,判断模块44,迁移控制模块45。
接收模块41用于接收业务节点定期发送的该业务节点当前的负载信息;重载查找模块42用于根据接收模块41发送过来的负载信息查找重载业务节点;轻载查找模块33用于根据接收模块41发送过来的负载信息查找轻载业务节点;判断模块44用于在重载查找模块42查找到重载业务节点后判断是否能够迁移所述重载业务节点中的部分业务数据;迁移控制模块45用于当判断模块44能够迁移所述重载业务节点中的业务数据时,向所述重载业务节点发送迁移控制信号,该迁移控制信号控制重载业务节点将部分业务数据迁移到所述轻载业务节点上。
根据接收模块41接收的负载信息中包括的业务节点的总负载信息,重载查找模块42将总负载超过预设的第一重载门限的业务节点作为重载业务节点,轻载查找模块43将总负载不超过预设的第一轻载门限的业务节点作为轻载业务节点。
根据接收模块41接收的负载信息中包括的业务节点的总负载信息及各个业务数据类型对应的分负载信息,重载查找模块42将分负载超过预设的第二重载门限的业务节点作为重载业务节点,轻载查找模块43将分负载不超过预设的第二轻载门限、且总负载不超过预设的第一轻载门限的业务节点作为轻载业务节点。
进一步地,该装置中还包括:修改模块46用于在迁移模块45向所述重载业务节点发送迁移控制信号后,将所述业务数据的地址修改为所述轻载业务节点的地址。
在本实施例中判断模块44包括:第一确定单元441,第一判断单元442,第二判断单元443。
第一确定单元441用于确定查找到的重载业务节点中需要迁移的部分业务数据;第一判断单元442用于判断是否查找到轻载业务节点,当没有查找到轻载业务节点时,判定不能够迁移所述重载业务节点中的部分业务数据;第二判断单元443用于当查找到轻载业务节点时,判断总负载加上所述部分业务数据对应的负载是否超过所述预设的第一重载门限;如果总负载加上所述部分业务数据对应的负载不超过所述预设的第一重载门限,则判定所述部分业务数据能够迁移到所述轻载业务节点上;如果总负载加上所述部分业务数据对应的负载超过所述预设的第一重载门限,则判定所述部分业务数据不能够迁移到所述轻载业务节点上。
进一步地,在本实施例中判断模块44还包括:第二确定单元444,第三判断单元445,第四判断单元446。
第二确定单元444用于确定查找到的重载业务节点中需要迁移的部分业务数据;第三判断单元445用于判断是否查找到轻载业务节点,当没有查找到轻载业务节点时,判定不能够迁移所述重载业务节点中的部分业务数据;第四判断单元446用于当查找到轻载业务节点时,判断分负载加上所述部分业务数据对应的负载是否超过所述预设的第二重载门限,同时总负载加上所述部分业务数据对应的负载是否超过所述预设的第一重载门限;如果分负载加上所述部分业务数据对应的负载不超过所述预设的第二重载门限,同时总负载加上所述部分业务数据对应的负载也不超过所述预设的第一重载门限则,则判定所述部分业务数据能够迁移到所述轻载业务节点上;否则,则判定所述部分业务数据不能够迁移到所述轻载业务节点上。
上述实施例提供的分布式系统的业务数据管理装置,因为有了接收模块41接收到的负载信息,所以方便了重载查找模块42和轻载查找模块43查找重载业务节点和轻载业务节点的过程,解决了现有技术当中,在分布式系统里由于各个业务节点是处于平等的地位而无法及时了解到其它业务节点负载信息的技术问题。
本实施例公开还一种分布式系统的业务数据管理装置,该装置适合部署在业务节点上,如图5所示,该装置包括:管理模块51,发送模块52,第一接收模块53,剪切模块54。
管理模块51用于定期获取业务节点当前的负载信息;发送模块52用于将管理模块51定期获取的信息向中央管理节点发送所述负载信息;第一接收模块53用于接收中央管理节点发来的迁移控制信号,该迁移控制信号中包括轻载业务节点的信息;剪切模块54用于根据第一接收模块53接收到的迁移控制信号里的信息将业务节点中的部分业务数据剪切到所述轻载业务节点。
进一步地,本实施中适合部署在业务节点上的装置还包括:稍后模块55,丢弃模块56。
当第一接收模块53没有接收到迁移控制信号时,稍后模块55用于对业务数据请求发送稍后信号;丢弃模块56用于丢弃当前正在处理的不重要或者不可靠的业务数据。
本实施例提供的分布式系统的业务数据管理装置,有利于分布式系统的业务数据管理方法的实现。取得了在分布式系统中,能够动态的平衡各个业务节点负载量,提供整个分布式系统自我调节能力的有益效果。
实施例4
本实施例具体提供一种分布式系统,如图6所示,该系统包括:业务节点实体61,中央管理实体62。
其中,业务节点实体61用于定期获取业务节点当前的负载信息并向中央管理节点发送所述负载信息。中央管理实体62用于接收业务节点定期发送的该业务节点当前的负载信息;根据负载信息查找重载业务节点和轻载业务节点,并判断是否能够迁移所述重载业务节点中的部分业务数据,当能够迁移所述重载业务节点中的业务数据时,向所述重载业务节点发送迁移控制信号,该迁移控制信号控制重载业务节点将部分业务数据迁移到所述轻载业务节点上。
并且该业务节点实体61还用于在接收所述迁移控制信号时,将业务节点中的部分业务数据剪切到所述轻载业务节点。
本方案的分布式系统具有如下有益效果:动态平衡各个业务节点之间的负载,有效利用分布式系统中各个业务节点的资源,并及时的可减轻重载业务节点负担。
在本实施例中的中央管理实体62还用于将所述业务数据的地址修改为所述轻载业务节点的地址,并且当不能够迁移所述重载业务节点中的业务数据时,不向所述重载业务节点发送迁移控制信号。业务节点实体61还用于当未接收到中央管理节点发来的迁移控制信号时,对业务数据请求发送稍后信号并丢弃当前正在处理的不重要或者不可靠的业务数据。
本发明实施例主要运用于分布式系统中,实现在分布式系统中的业务节点的负载平衡。当然在含有分布式技术的其它系统或者领域中也有可能运用本发明实施例并且随着网络技术的发展有可能应用到本领域的其它场景或者转用到类似或者相近的技术领域上去。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘,硬盘或光盘等,包括若干指令用以使得一台设备(可以是路由器、也可以是计算机等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (19)

1.一种分布式系统的业务数据管理方法,其特征在于,包括:
接收业务节点定期发送的该业务节点当前的负载信息;
根据负载信息查找重载业务节点和轻载业务节点;
判断是否能够迁移所述重载业务节点中的部分业务数据;
若能够迁移所述重载业务节点中的业务数据,则向所述重载业务节点发送迁移控制信号,该迁移控制信号控制重载业务节点将部分业务数据迁移到所述轻载业务节点上。
2.根据权利要求1所述的分布式系统的业务数据管理方法,其特征在于,在所述若能够迁移所述重载业务节点中的业务数据,则向所述重载业务节点发送迁移控制信号之后,该方法还包括:
将所述业务数据的地址修改为所述轻载业务节点的地址。
3.根据权利要求1所述的分布式系统的业务数据管理方法,其特征在于,
所述负载信息包括该业务节点的总负载,所述根据负载信息查找重载业务节点为:将总负载超过预设的第一重载门限的业务节点作为重载业务节点;
所述根据负载信息查找轻载业务节点为:将总负载不超过预设的第一轻载门限的业务节点作为轻载业务节点。
4.根据权利要求1所述的分布式系统的业务数据管理方法,其特征在于,所述负载信息包括该业务节点的总负载及各个业务数据类型对应的分负载;所述根据负载信息查找重载业务节点为:将分负载超过预设的第二重载门限的业务节点作为重载业务节点;
所述根据负载信息查找轻载业务节点为:将分负载不超过预设的第二轻载门限、且总负载不超过预设的第一轻载门限的业务节点作为轻载业务节点。
5.根据权利要求3所述的分布式系统的业务数据管理方法,其特征在于,判断是否能够迁移所述重载业务节点中的部分业务数据包括:
确定查找到的重载业务节点中需要迁移的部分业务数据;
判断是否查找到轻载业务节点;
如果没有查找到轻载业务节点,则判定不能够迁移所述重载业务节点中的部分业务数据;
如果查找到轻载业务节点,则判断总负载加上所述部分业务数据对应的负载是否超过所述预设的第一重载门限;
如果总负载加上所述部分业务数据对应的负载不超过所述预设的第一重载门限,则判定所述部分业务数据能够迁移到所述轻载业务节点上;
如果总负载加上所述部分业务数据对应的负载超过所述预设的第一重载门限,则判定所述部分业务数据不能够迁移到所述轻载业务节点上。
6.根据权利要求4所述的分布式系统的业务数据管理方法,其特征在于,判断是否能够迁移所述重载业务节点中的部分业务数据包括:
确定查找到的重载业务节点中需要迁移的部分业务数据;
判断是否查找到轻载业务节点;
如果没有查找到轻载业务节点,则判定不能够迁移所述重载业务节点中的部分业务数据;
如果查找到轻载业务节点,则判断分负载加上所述部分业务数据对应的负载是否超过所述预设的第二重载门限,同时总负载加上所述部分业务数据对应的负载是否超过预设的第一重载门限;
如果分负载加上所述部分业务数据对应的负载不超过所述预设的第二重载门限,同时总负载加上所述部分业务数据对应的负载也不超过预设的第一重载门限则,则判定所述部分业务数据能够迁移到所述轻载业务节点上;
否则,则判定所述部分业务数据不能够迁移到所述轻载业务节点上。
7.一种分布式系统的业务数据管理方法,其特征在于,包括:
定期获取业务节点当前的负载信息;
向中央管理节点发送所述负载信息;
接收中央管理节点发来的迁移控制信号,该迁移控制信号中包括轻载业务节点的信息;
将业务节点中的部分业务数据剪切到所述轻载业务节点。
8.根据权利要求7分布式系统的业务数据管理方法,其特征在于,当未接收到中央管理节点发来的迁移控制信号时,该方法还包括:
对业务数据请求发送稍后信号;
丢弃当前正在处理的不重要或者不可靠的业务数据。
9.一种分布式系统的业务数据管理装置,其特征在于,包括:
接收模块,用于接收业务节点定期发送的该业务节点当前的负载信息;
重载查找模块,用于根据负载信息查找重载业务节点;
轻载查找模块,用于根据负载信息查找轻载业务节点;
判断模块,用于判断是否能够迁移所述重载业务节点中的部分业务数据;
迁移控制模块,用于当能够迁移所述重载业务节点中的业务数据时,向所述重载业务节点发送迁移控制信号,该迁移控制信号控制重载业务节点将部分业务数据迁移到所述轻载业务节点上。
10.根据权利要求9所述的分布式系统的业务数据管理装置,其特征在于,该装置还包括:
修改模块,用于在所述若能够迁移所述重载业务节点中的业务数据,则向所述重载业务节点发送迁移控制信号之后,将所述业务数据的地址修改为所述轻载业务节点的地址。
11.根据权利要求9所述的分布式系统的业务数据管理装置,其特征在于,
接收模块接收的所述负载信息包括该业务节点的总负载,
则重载查找模块将总负载超过预设的第一重载门限的业务节点作为重载业务节点;
则轻载查找模块将总负载不超过预设的第一轻载门限的业务节点作为轻载业务节点。
12.根据权利要求9所述的分布式系统的业务数据管理装置,其特征在于,接收模块接收的所述负载信息包括该业务节点的总负载及各个业务数据类型对应的分负载;
则重载查找模块将分负载超过预设的第二重载门限的业务节点作为重载业务节点;
则轻载查找模块将分负载不超过预设的第二轻载门限、且总负载不超过预设的第一轻载门限的业务节点作为轻载业务节点。
13.根据权利要求11所述的分布式系统的业务数据管理装置,其特征在于,所述判断模块包括:
第一确定单元,用于确定查找到的重载业务节点中需要迁移的部分业务数据;
第一判断单元,用于判断是否查找到轻载业务节点,当没有查找到轻载业务节点时,判定不能够迁移所述重载业务节点中的部分业务数据;
第二判断单元,用于当查找到轻载业务节点时,判断总负载加上所述部分业务数据对应的负载是否超过所述预设的第一重载门限;如果总负载加上所述部分业务数据对应的负载不超过所述预设的第一重载门限,则判定所述部分业务数据能够迁移到所述轻载业务节点上;如果总负载加上所述部分业务数据对应的负载超过所述预设的第一重载门限,则判定所述部分业务数据不能够迁移到所述轻载业务节点上。
14.根据权利要求12所述的分布式系统的业务数据管理装置,其特征在于,所述判断模块包括:
第二确定单元,用于确定查找到的重载业务节点中需要迁移的部分业务数据;
第三判断单元,用于判断是否查找到轻载业务节点;当没有查找到轻载业务节点时,判定不能够迁移所述重载业务节点中的部分业务数据;
第四判断单元,用于当查找到轻载业务节点时,判断分负载加上所述部分业务数据对应的负载是否超过所述预设的第二重载门限,同时总负载加上所述部分业务数据对应的负载是否超过预设的第一重载门限;如果分负载加上所述部分业务数据对应的负载不超过所述预设的第二重载门限,同时总负载加上所述部分业务数据对应的负载也不超过预设的第一重载门限则,则判定所述部分业务数据能够迁移到所述轻载业务节点上;否则,则判定所述部分业务数据不能够迁移到所述轻载业务节点上。
15.一种分布式系统的业务数据管理装置,其特征在于,包括:
管理模块,用于定期获取业务节点当前的负载信息;
发送模块,用于向中央管理节点发送所述负载信息;
第一接收模块,用于接收中央管理节点发来的迁移控制信号,该迁移控制信号中包括轻载业务节点的信息;
剪切模块,用于将业务节点中的部分业务数据剪切到所述轻载业务节点。
16.根据权利要求15分布式系统的业务数据管理装置,其特征在于,当所述第一接收模块未接收到中央管理节点发来的迁移控制信号时,该装置还包括:
稍后模块,用于对业务数据请求发送稍后信号;
丢弃模块,用于丢弃当前正在处理的不重要或者不可靠的业务数据。
17.一种分布式系统,其特征在于,包括:
业务节点,用于定期获取业务节点当前的负载信息并向中央管理节点发送所述负载信息;
中央管理节点,用于接收业务节点定期发送的该业务节点当前的负载信息;根据负载信息查找重载业务节点和轻载业务节点,并判断是否能够迁移所述重载业务节点中的部分业务数据,当能够迁移所述重载业务节点中的业务数据时,向所述重载业务节点发送迁移控制信号,该迁移控制信号控制重载业务节点将部分业务数据迁移到所述轻载业务节点上;
所述业务节点还用于在接收所述迁移控制信号时,将业务节点中的部分业务数据剪切到所述轻载业务节点。
18.根据权利要求17所述的分布式系统,其特征在于,包括:
所述中央管理节点还用于在所述若能够迁移所述重载业务节点中的业务数据,则向所述重载业务节点发送迁移控制信号之后,将所述业务数据的地址修改为所述轻载业务节点的地址,并且当不能够迁移所述重载业务节点中的业务数据时,不向所述重载业务节点发送迁移控制信号。
19.根据权利要求17所述的分布式系统,其特征在于,包括:
所述业务节点还用于当未接收到中央管理节点发来的迁移控制信号时,对业务数据请求发送稍后信号并丢弃当前正在处理的不重要或者不可靠的业务数据。
CN2008101891031A 2008-12-25 2008-12-25 分布式系统的业务数据管理方法、装置及分布式系统 Active CN101442435B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2008101891031A CN101442435B (zh) 2008-12-25 2008-12-25 分布式系统的业务数据管理方法、装置及分布式系统
PCT/CN2009/073936 WO2010072085A1 (zh) 2008-12-25 2009-09-15 分布式系统的业务数据管理方法、装置及分布式系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008101891031A CN101442435B (zh) 2008-12-25 2008-12-25 分布式系统的业务数据管理方法、装置及分布式系统

Publications (2)

Publication Number Publication Date
CN101442435A CN101442435A (zh) 2009-05-27
CN101442435B true CN101442435B (zh) 2012-04-04

Family

ID=40726688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101891031A Active CN101442435B (zh) 2008-12-25 2008-12-25 分布式系统的业务数据管理方法、装置及分布式系统

Country Status (2)

Country Link
CN (1) CN101442435B (zh)
WO (1) WO2010072085A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442435B (zh) * 2008-12-25 2012-04-04 华为技术有限公司 分布式系统的业务数据管理方法、装置及分布式系统
CN101945353B (zh) * 2009-07-07 2012-10-31 中国移动通信集团山东有限公司 一种系统资源远程调整的方法与系统
EP3694235A1 (en) 2010-04-22 2020-08-12 Huawei Technologies Co. Ltd. Congestion/overload control method and apparatus
CN101873680B (zh) * 2010-06-25 2014-07-30 华为技术有限公司 一种动态能耗控制方法及系统、相关设备
CN102387024B (zh) * 2010-09-06 2014-09-03 联想(北京)有限公司 功耗控制方法、管理节点及数据处理中心
CN101997911B (zh) * 2010-10-21 2015-07-22 中兴通讯股份有限公司 一种数据迁移的方法及系统
CN102014169B (zh) * 2010-12-22 2013-03-20 国家电网公司 分布式服务系统、分布式服务系统的任务执行方法和装置
US9703610B2 (en) 2011-05-16 2017-07-11 Oracle International Corporation Extensible centralized dynamic resource distribution in a clustered data grid
US8892728B2 (en) 2011-07-21 2014-11-18 Hewlett-Packard Development Company, L.P. Automatic zone-based management of a data center
WO2014101044A1 (zh) * 2012-12-27 2014-07-03 华为技术有限公司 分布式存储系统中的分区平衡方法、装置及服务器
CN104580322B (zh) * 2013-10-25 2019-02-12 华为技术有限公司 一种分布式数据流处理方法及装置
CN103716253A (zh) * 2013-12-27 2014-04-09 广州华多网络科技有限公司 一种请求数据的方法及装置
CN103763740B (zh) * 2014-01-26 2017-04-12 上海大唐移动通信设备有限公司 一种单板间负载均衡的方法及装置
CN104283951B (zh) * 2014-09-29 2018-03-27 华为技术有限公司 一种实例迁移的方法、装置及系统
CN105991458B (zh) * 2015-02-02 2019-12-17 中兴通讯股份有限公司 一种负载均衡的方法及负载均衡装置
CN106776613A (zh) * 2015-11-20 2017-05-31 北大方正集团有限公司 数据迁移方法及装置
CN106776985A (zh) * 2016-12-02 2017-05-31 深圳市前海安测信息技术有限公司 电子病历数据动态迁移系统及方法
CN108243225B (zh) * 2016-12-26 2021-06-29 阿里巴巴集团控股有限公司 一种分布式系统、管理方法及访问方法
CN108259583B (zh) * 2017-12-29 2020-05-26 广州云达信息技术有限公司 一种数据动态迁移方法及装置
CN108834177B (zh) * 2018-06-08 2020-07-07 京信通信系统(中国)有限公司 负载均衡方法、装置、计算机设备和存储介质
CN111385328B (zh) * 2018-12-29 2024-04-05 三六零科技集团有限公司 业务请求的处理方法、系统及电子设备
CN111556165A (zh) * 2019-08-01 2020-08-18 广州知弘科技有限公司 基于云计算的信息处理方法和系统
CN111225241B (zh) * 2019-12-30 2023-07-28 视联动力信息技术股份有限公司 一种通信方法和装置
CN111787060B (zh) * 2020-05-28 2022-01-07 网宿科技股份有限公司 一种流量调度方法、系统及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007068664A1 (en) * 2005-12-12 2007-06-21 International Business Machines Corporation Load balancing and failover of distributed media resources in a media server
CN101013387A (zh) * 2007-02-09 2007-08-08 华中科技大学 基于对象存储设备的负载平衡方法
CN101252546A (zh) * 2008-04-15 2008-08-27 中国科学技术大学 媒体流在线服务迁移的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100364279C (zh) * 2005-12-07 2008-01-23 中国科学院计算技术研究所 结构化p2p系统的分布式负载均衡方法
CN100440891C (zh) * 2005-12-26 2008-12-03 北京航空航天大学 均衡网格负载的方法
CN101299198B (zh) * 2008-06-13 2011-08-31 南京邮电大学 一种动态自适应的网格数据迁移方法
CN101442435B (zh) * 2008-12-25 2012-04-04 华为技术有限公司 分布式系统的业务数据管理方法、装置及分布式系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007068664A1 (en) * 2005-12-12 2007-06-21 International Business Machines Corporation Load balancing and failover of distributed media resources in a media server
CN101013387A (zh) * 2007-02-09 2007-08-08 华中科技大学 基于对象存储设备的负载平衡方法
CN101252546A (zh) * 2008-04-15 2008-08-27 中国科学技术大学 媒体流在线服务迁移的方法和装置

Also Published As

Publication number Publication date
WO2010072085A1 (zh) 2010-07-01
CN101442435A (zh) 2009-05-27

Similar Documents

Publication Publication Date Title
CN101442435B (zh) 分布式系统的业务数据管理方法、装置及分布式系统
AU2015229200B2 (en) Coordinated admission control for network-accessible block storage
CN102523256B (zh) 内容的管理方法的方法、装置和系统
CN102369688B (zh) 资源动态调整方法和调度设备
WO2012086918A2 (ko) 오브젝트를 복수 개의 데이터 노드들의 위치에 기반하여 분산 저장하는 분산 저장 시스템 및 그 위치 기반 분산 저장 방법 및 컴퓨터에 의하여 독출 가능한 저장 매체
CN103493449B (zh) 分组交换网络中的有效电路
WO2017218473A1 (en) Dynamic acceleration in content delivery network
CN109271106A (zh) 消息存储、读取方法及装置、服务器、存储介质
CN102013991B (zh) 自动扩容的方法、管理设备及系统
CN102970379A (zh) 在多个服务器之间实现负载均衡的方法
EP2135430A2 (en) Hierarchically clustered p2p streaming system
US10250673B1 (en) Storage workload management using redirected messages
US11003367B2 (en) Data storage, reading, and cleansing method and device, and cloud storage system
CN106230997A (zh) 一种资源调度方法和装置
CN110708377A (zh) 一种数据传输方法、装置和存储介质
CN102546823A (zh) 一种云存储系统的文件存储管理系统
CN106998340B (zh) 一种板卡资源的负载均衡方法及装置
CN110362426B (zh) 一种面向突发性负载的选择性副本实现方法及系统
CN109361749B (zh) 报文处理方法、相关设备及计算机存储介质
CN105978744B (zh) 一种资源分配方法、装置及系统
CN105657014A (zh) 一种负载均衡方法、系统及装置
US20160021001A1 (en) Communication control apparatus, communication control method, communication system, and recording medium
CN106657333B (zh) 一种基于云服务模式的集中式目录数据交换系统及方法
CN103078926B (zh) 分布式存储系统的文件访问方法和装置以及系统
US7286505B2 (en) Method and system for channel element allocation for wireless systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201208

Address after: Building 2, No. 3, Fuqian Road, Hailing District, Taizhou City, Jiangsu Province

Patentee after: Taizhou Haitong Asset Management Co.,Ltd.

Address before: Unit 2414-2416, main building, no.371, Wushan Road, Tianhe District, Guangzhou City, Guangdong Province

Patentee before: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

Effective date of registration: 20201208

Address after: Unit 2414-2416, main building, no.371, Wushan Road, Tianhe District, Guangzhou City, Guangdong Province

Patentee after: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

Address before: 518129 headquarters building of Bantian HUAWEI base, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right