CN112632033A - 集群数据迁移方法、装置及电子设备 - Google Patents

集群数据迁移方法、装置及电子设备 Download PDF

Info

Publication number
CN112632033A
CN112632033A CN202011485975.XA CN202011485975A CN112632033A CN 112632033 A CN112632033 A CN 112632033A CN 202011485975 A CN202011485975 A CN 202011485975A CN 112632033 A CN112632033 A CN 112632033A
Authority
CN
China
Prior art keywords
node
data migration
service node
cluster
migration task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011485975.XA
Other languages
English (en)
Inventor
刘辉
卢道和
杨军
黎君
夏晨
陈景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202011485975.XA priority Critical patent/CN112632033A/zh
Publication of CN112632033A publication Critical patent/CN112632033A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种集群数据迁移方法、装置及电子设备,其中,集群数据迁移方法应用于至少一个调度节点中的每个调度节点。集群数据迁移方法包括:基于至少一个第一集群的集群信息,确定出所述至少一个第一集群中每个第一集群对应的主节点;基于至少一个评价因子和确定出的主节点的节点信息,向至少一个服务节点下发数据迁移任务;其中,评价因子用于评价服务节点的数据迁移任务能力;服务节点用于执行数据迁移任务;每个数据迁移任务用于迁移对应的主节点中存储的数据。

Description

集群数据迁移方法、装置及电子设备
技术领域
本发明涉及计算机技术领域,尤其涉及一种集群数据迁移方法、装置及电子设备。
背景技术
随着计算机技术的发展,越来越多的技术应用在金融领域,传统金融业正在逐步向金融科技转变,然而,由于金融行业的安全性、实时性要求,金融科技也对技术提出了更高的要求。金融科技下,通常采用迁移工具或单台服务器对集群数据进行迁移,但在面对大集群的数据迁移时因为数据量巨大,导致数据迁移时间过长、易卡顿。
发明内容
有鉴于此,本发明实施例期望提供一种集群数据迁移方法、装置及电子设备,以解决相关技术中在迁移大集群的数据时数据迁移时间过长易卡顿的技术问题。
为达到上述目的,本发明的技术方案是这样实现的:
本发明实施例提供一种集群数据迁移方法,应用于至少一个调度节点中的每个调度节点,所述方法包括:
基于至少一个第一集群的集群信息,确定出所述至少一个第一集群中每个第一集群对应的主节点;
基于至少一个评价因子和确定出的主节点的节点信息,向至少一个服务节点下发数据迁移任务;其中,
评价因子用于评价服务节点的数据迁移任务能力;服务节点用于执行数据迁移任务;每个数据迁移任务用于迁移对应的主节点中存储的数据。
上述方案中,所述基于至少一个评价因子和确定出的主节点的节点信息,向至少一个服务节点下发数据迁移任务,包括:
基于至少一个评价因子,确定出至少一个服务节点中每个服务节点对应的评分;
基于确定出的主节点中每个主节点的节点信息和每个服务节点对应的评分,向至少一个服务节点下发数据迁移任务。
上述方案中,所述方法还包括:
接收每个服务节点上报的所述至少一个评价因子。
上述方案中,评价因子包括以下至少之一:
第一评价因子,表征服务节点中处于执行状态的数据迁移任务的总数;
第二评价因子,表征服务节点的内存占用率;
第三评价因子,表征服务节点的处理器使用率。
上述方案中,所述第一评价因子对应的第一权重值大于所述第二评价因子对应的第二权重值,且所述第二评价因子对应的第二权重值大于所述第三评价因子对应的第三权重值。
上述方案中,所述节点信息包括网络域;
所述基于至少一个评价因子和确定出的主节点的节点信息,向至少一个服务节点下发数据迁移任务,包括:
基于每个主节点的网络域和每个服务节点的网络域,确定出至少一个服务节点;
基于至少一个评价因子和确定出的至少一个主节点的节点信息,向所述至少一个服务节点中的至少一个服务节点下发数据迁移任务;其中,
所述至少一个服务节点中每个服务节点的网络域与至少一个主节点的网络域相同;所述服务节点用于迁移处于相同的网络域的主节点中存储的数据。
上述方案中,所述方法还包括以下至少之一:
在所述至少一个服务节点中的第一服务节点执行第一数据迁移任务失败的情况下,向所述至少一个服务节点中的第二服务节点下发所述第一数据迁移任务;
在第一设定时长内未接收到所述至少一个服务节点中的第一服务节点上报的数据迁移任务的执行状态的情况下,向所述至少一个服务节点中的第二服务节点下发所述第一服务节点对应的第二数据迁移任务;所述第二数据迁移任务表征下发的所有数据迁移任务中未上报执行状态的数据迁移任务;
在第二设定时长内未接收到所述至少一个服务节点中的第一服务节点上报的心跳信息的情况下,将所述第一服务节点设置为离线状态。
本发明实施例还提供了一种集群数据迁移装置,包括:
确定单元,用于基于至少一个第一集群的集群信息,确定出所述至少一个第一集群对应的至少一个主节点;
调度单元,用于基于至少一个评价因子和确定出的至少一个主节点的节点信息,向至少一个服务节点下发数据迁移任务;其中,
评价因子用于评价服务节点的数据迁移任务能力;服务节点用于执行数据迁移任务;每个数据迁移任务用于迁移对应的主节点中存储的数据。
本发明实施例还提供了一种电子设备,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,
其中,所述处理器用于运行所述计算机程序时,执行上述任一种集群数据迁移方法的步骤。
本发明实施例还提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种集群数据迁移方法的步骤。
本发明实施例,至少一个调度节点中的至少一个调度节点基于至少一个第一集群的集群信息,确定出所述至少一个第一集群对应的至少一个主节点;以及基于至少一个评价因子和确定出的至少一个主节点,向至少一个服务节点下发数据迁移任务;其中,评价因子用于评价服务节点的数据迁移任务能力;服务节点用于执行数据迁移任务;每个数据迁移任务用于迁移对应的主节点中存储的数据。由于服务节点可以处理并发的数据迁移任务的总数与对应的数据迁移任务能力有关,数据迁移任务与需要迁移数据的第一集群中的主节点一一对应,因此,每个调度节点均可以基于需要迁移数据的第一集群对应的主节点的数量以及基于服务节点的数据迁移任务能力,确定出用于执行第一集群对应的数据迁移任务的服务节点。由于服务节点的数据迁移任务能力是动态变化的,当不同的第一集群对应的主节点的数量不同时,调度节点确定出的用于执行对应的数据迁移任务的服务节点可能不同,确定出的服务节点的数量也可能不同,即,在不同时刻,调度节点可以动态调度用于执行数据迁移任务的服务节点。由于本方案中支持至少两个服务节点执行并发的数据迁移任务,可以增强数据迁移系统处理并发的数据迁移任务的能力,提高并发的数据迁移任务的处理速度,缩短并发的数据迁移任务的处理时长。并发的数据迁移任务由至少两个服务节点执行时,降低了单个服务节点的数据处理量,可以减小服务节点发生卡顿的概率。
附图说明
图1为本发明实施例提供的集群数据迁移系统的示意图;
图2为本发明实施例提供的集群数据迁移方的交互图;
图3为本发明另一实施例提供的集群数据迁移方的交互图;
图4为本发明实施例提供的集群数据迁移装置的组成结构示意图;
图5为本发明实施例提供的电子设备的硬件组成结构示意图。
具体实施方式
在介绍本发明的技术方案之前,先介绍相关技术中的集群数据迁移方法:
相关技术中通常利用迁移工具或迁移服务迁移集群数据。其中,
在利用迁移工具迁移集群数据时,运维人员为迁移工具配置需要迁移数据的集群的信息,启动迁移工具进行数据迁移,运维人员基于迁移工具对应的日志判断数据是否迁移成功。其中,集群的信息包括redis集群中各节点的信息。在迁移工具对应的日志中没有异常提示信息时,运维人员认为数据迁移成功;在迁移工具对应的日志中存在异常提示信息时,运维人员认为数据迁移失败。该方案,依赖运维人员配置集群的信息以及依赖数据迁移是否成功,易出错、智能性低,并且,在面对大集群的数据迁移时因为数据量巨大且迁移能力固定,无法扩展,导致迁移时间过长、因为垃圾收集(GC,Garbage Collection)等原因导致易卡顿,很难平滑完成数据迁移任务。
在利用迁移服务迁移集群数据时,调用单个服务器中的迁移服务,基于接收到的请求信息中的配置信息进行数据迁移,并返回处理结果。当处理结果表征迁移服务在运行过程中未出现异常时,标识数据迁移成功;当处理结果表征迁移服务在运行过程中出现异常时,标识数据迁移失败。该方案,虽然解决了运维人员易出错导致不可挽回的损失的问题,但是,单个服务器在面对大集群的数据迁移时,仍存在因数据量巨大且迁移能力固定而导致数据迁移时间过长、易卡顿,无法平滑完成任务。
为了解决上述技术问题,本发明实施例提供了一种集群数据迁移方法,至少一个调度节点中的至少一个调度节点基于至少一个第一集群的集群信息,确定出所述至少一个第一集群对应的至少一个主节点;以及基于至少一个评价因子和确定出的至少一个主节点,向至少一个服务节点下发数据迁移任务;其中,评价因子用于评价服务节点的数据迁移任务能力;服务节点用于执行数据迁移任务;每个数据迁移任务用于迁移对应的主节点中存储的数据。数据迁移任务与需要迁移数据的集群中的主节点一一对应,每个调度节点均可以基于需要迁移数据的集群对应的主节点的数量,动态增加用于执行数据迁移任务的服务节点,以处理并发的数据迁移任务,可扩展性较强,由于本方案中支持至少两个服务节点执行并发的数据迁移任务,可以增强数据迁移系统处理并发的数据迁移任务的能力,提高并发的数据迁移任务的处理速度,缩短并发的数据迁移任务的处理时长。并发的数据迁移任务由至少两个服务节点执行时,降低了单个服务节点的数据处理量,可以减小服务节点发生卡顿的概率。
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
图1示出了本发明实施例提供的集群数据迁移系统的示意图。如图1所示,集群数据迁移系统包括至少一个调度节点11、至少一个服务节点12以及至少一个集群13。一个调度节点11可以调度至少一个服务节点12,一个服务节点12可以迁移至少一个集群13中的数据。
调度节点11用于基于至少一个第一集群的集群信息,确定出所述至少一个第一集群对应的至少一个主节点,以及用于基于至少一个评价因子和确定出的至少一个主节点,向至少一个服务节点下发数据迁移任务。其中,
第一集群表征需要迁移数据的集群,第一集群可以为redis集群,也可以为基于redis集群的扩展得到的其他集群。每个redis集群包括一个主节点和至少一个从节点。主节点和从节点均可以为服务器。
当第一集群由一个redis集群构成时,每个第一集群包括一个主节点;当第一集群由至少两个redis集群构成时,每个第一集群包括至少两个主节点。
评价因子用于评价服务节点的数据迁移任务能力。一个数据迁移任务用于控制服务节点迁移一个主节点中存储的数据。
在一些实施例中,至少一个调度节点11为分布式网络节点。分布式网络节点可以为分布式服务器。
服务节点12用于执行调度节点11下发的数据迁移任务,以迁移对应的主节点中存储的数据;以及用于向调度节点11上报相关信息。相关信息包括数据迁移任务的执行状态、服务节点12的心跳信息以及服务节点的评价因子的相关信息等。执行状态用于标识数据迁移任务执行成功或执行失败。
需要说明的是,当不同的第一集群中的主节点对应的网络域不同时,同一个调度节点11可以调度处于不同网络域的主节点对应的数据迁移任务。在网络域为相互隔离的网络域的情况下,需要在每个网络域部署至少一个服务节点12,每个服务节点12用于迁移处于相同的网络域的主节点中存储的数据,此时,调度节点11基于主节点的第一网络域,向处于第一网络域的服务节点12下发对应的数据迁移任务。在网络域之间未隔离的情况下,每个服务节点12可以用于迁移处于不同网络域的主节点中存储的数据,此时,调度节点12可以将处于不同网络域的主节点对应的数据迁移任务下发至同一个服务节点12。
需要说明的是,图1所示的调度节点11和服务节点12是以功能模块划分的。调度节点11和服务节点12可以为分离设置于不同设备。调度节点11和服务节点12也可以合设于同一个设备。
例如,在利用数据迁移服务进行数据迁移时,调度节点11和服务节点12可以合设于同一个设备,也可以分离设置于不同设备。调度节点11可以为分布式服务器,当调度节点11和服务节点12合设于同一个设备时,服务节点12也为分布式服务器;当调度节点11和服务节点12分设于不同设备时,服务节点12可以为服务器,也可以为终端。
在利用数据迁移工具进行数据迁移时,调度节点11和服务节点12分离设置于不同设备。调度节点11可以为单体服务器。服务节点12可以为服务器,也可以为终端。集群数据迁移系统中包括至少一个单体服务器11和至少一个服务节点12。
需要说明的是,一个调度节点可调度的服务节点的数量越多,表征数据迁移效率越高,数据迁移性能越好。
需要说明的是,集群数据迁移系统可以由一个调度节点11调度数据迁移任务,也可以由至少两个可以调度节点11调度数据迁移任务,具体根据实际情况确定参与数据迁移任务调度的调度节点的数量,例如,在利用数据迁移工具进行数据迁移时,参与数据迁移任务调度的调度节点的数量为1;在利用数据迁移服务进行数据迁移时,参与数据迁移任务调度的调度节点的数量可以为1,也可以大于或等于2。在实际应用中,在利用数据迁移服务进行数据迁移时,可以根据第一集群的数量或根据第一集群对应的主节点的数量,确定参与数据迁移任务调度的调度节点的数量。其中,
当第一集群由一个redis集群构成时,每个第一集群包括一个主节点,因此,可以基于每个调度节点11对应的第一总数和第一集群的数量,确定出参与数据迁移任务调度的调度节点11的第二总数。
这里,第一总数表征对应的调度节点11可调度的每个服务节点12当前可处理的数据迁移任务的第一数量的总和;第一数量小于或等于对应的服务节点12对应的第一差值;第一差值表征对应的服务节点12对应的设定的最大并发任务数与处于执行状态的数据迁移任务的总数之间的差值。当第一总数大于或等于第一集群的数量时,第二总数为1;当第一总数小于第一集群的数量时,第二总数大于或等于2。其中,不同的服务节点12对应的设定的最大并发任务数可以相同,也可以不同。
当第一集群由至少两个redis集群构成时,可以基于每个调度节点11对应的第一总数和第一集群对应的主节点的数量,确定出参与数据迁移任务调度的调度节点11的第二总数。当第一总数大于或等于第一集群对应的主节点的数量时,第二总数为1;当第一总数小于第一集群对应的主节点的数量时,第二总数大于或等于2。
在介绍了集群数据迁移系统的架构之后,下面结合图2详细说明在进行集群数据迁移时各设备的具体实现过程。
图2示出了本发明实施例提供的集群数据迁移方法的交互图,下面以调度节点11和服务节点12为两个分离的设备为例进行说明。参照图2,集群数据迁移方法包括:
S201:调度节点基于至少一个第一集群的集群信息,确定出所述至少一个第一集群中每个第一集群对应的主节点。
调度节点获取至少一个第一集群的集群信息,基于至少一个第一集群中每个第一集群的集群信息,确定出至少一个第一集群中每个第一集群中的主节点。其中,集群信息包括集群标识以及集群中的每个节点的节点信息。节点信息可以包括节点标识和访问地址等。
在实际应用中,集群标识和节点标识均可以为唯一标识。每个第一集群包括至少一个redis原生集群。
在一些实施例中,第一集群的集群信息还可以包括主节点的键(key)。这里,主节点的key表征主节点中存储的数据的key,用于供服务节点计算出对应的哈希值,从而基于主节点中存储的数据的key哈希值确定出目的主节点。
需要说明的是,当调度节点运行数据迁移服务时,调度节点从接收到的数据迁移请求中获取至少一个第一集群的集群信息。当调度节点运行数据迁移工具时,调度节点从接收到的关于数据迁移的配置信息中获取至少一个第一集群的集群信息。
需要说明的是,在需要对集群进行容量调整(例如,对进群进行扩容或缩容)的情况下,调度节点接收到的数据迁移请求或配置信息中,还包括第二集群的集群信息。第一集群表征容量调整前的集群,第二集群表征容量调整后的集群。第一集群的集群信息中的主节点的标识用于供服务节点确定第一哈希环,第二集群的集群信息中的主节点的标识用于供服务节点确定第二哈希环,第一哈希环以及第二哈希环用于供服务节点确定出目的主节点。其中,目标主节点时相对于源主节点而言的,源主节点表征待迁移的数据所处的主节点,目的主节点表征存储迁移数据的新的主节点。
需要说明的是,源主节点是调度节点下发的数据迁移任务对应的主节点,也就是说第一集群中的主节点均为源主节点;第二集群的主节点中存在至少一个目标主节点。
S202:调度节点基于至少一个评价因子和确定出的主节点的节点信息,向至少一个服务节点下发数据迁移任务;其中,
评价因子用于评价服务节点的数据迁移任务能力;服务节点用于执行数据迁移任务;每个数据迁移任务用于迁移对应的主节点中存储的数据。
这里,调度节点基于至少一个主节点的节点信息,生成至少一个数据迁移任务,一个数据迁移任务用于迁移一个主节点中存储的数据。其中,节点信息至少包括节点标识,还可以包括访问地址、主节点的key等。
调度节点基于至少一个评价因子,确定出每个服务节点的数据迁移任务能力;基于每个服务节点的数据迁移任务能力,确定出满足设定条件的至少一个服务节点,并向确定出的至少一个服务节点下发至少一个数据迁移任务。
其中,服务节点的评价因子的相关信息可以由服务节点主动上报,也可以由调度节点向服务节点请求得到。设定条件基于数据迁移任务对应的能力需求进行设置。满足设定条件表征对应的服务节点可以处理对应的数据迁移任务。
设定条件可以表征服务节点的网络域与主节点的网络域相同;设定条件也可以表征服务节点对应的数据迁移任务的并发总数小于对应的设定的最大并发任务数;设定条件还可以表征服务节点的评分大于或等于设定评分。
设定的最大并发任务数表征对应的服务节点可处理的并发任务的最大值。例如,当设定的最大并发任务数为50时,表征对应的服务节点最多可处理50个并发的数据迁移任务。
在实际应用中,调度节点优先向数据迁移任务能力强的服务节点下发数据迁移任务,以提高数据迁移效率。
在实际应用中,调度节点可以根据实际情况从设定的通信方式中选择一种通信方式与服务节点进行通信。设定的通信方式包括基于超文本传输协议(HTTP,Hyper TextTransfer Protocol)的通信方式、基于传输控制协议(TCP,Transmission ControlProtocol)的通信方式、基于消息中间件的通信方式。其中,
调度节点优先采用基于HTTP或TCP的通信方式与服务节点进行通信。在调度节点和服务节点之间不支持基于HTTP和TCP的通信方式,且存在消息中间件的情况下,调度节点和服务节点基于消息中间件进行通信。
在一些实施例中,在所述节点信息包括网络域的情况下,调度节点基于至少一个评价因子和确定出的主节点的节点信息,向至少一个服务节点下发数据迁移任务的方法可以包括:
基于每个主节点的网络域和每个服务节点的网络域,确定出至少一个服务节点;
基于至少一个评价因子和确定出的主节点的节点信息,向所述至少一个服务节点中的至少一个服务节点下发数据迁移任务;其中,
所述至少一个服务节点中每个服务节点的网络域与至少一个主节点的网络域相同;服务节点用于迁移处于相同的网络域的主节点中存储的数据。
这里,在节点信息包括网络域的情况下,表征网络架构中的网络域是相互隔离的,调度节点基于每个主节点的网络域和每个服务节点的网络域,从在线的所有服务节点中至少一个服务节点,并基于至少一个评价因子和确定出的主节点的节点信息中的节点标识、访问地址、主节点中存储的数据的key等信息,向至少一个服务节点中的至少一个服务节点下发数据迁移任务。其中,数据迁移任务对应的主节点的网络域与执行对应的数据迁移任务的服务节点的网络域相同,从而使得接收到数据迁移任务的服务节点能够迁移处于相同的网络域的主节点中存储的数据,由此避免因服务节点因与主节点的网络域不同而无法执行对应的数据迁移任务的情况发生,可以提高数据迁移任务执行成功的概率,提高数据迁移任务的处理效率。其中,在线的服务节点表征成功联网的服务节点。
在一些实施例中,调度节点确定出至少一个服务节点的方法可以包括:基于每个服务节点对应的数据迁移任务的并发总数以及基于每个服务节点对应的设定的最大并发任务数,确定出所述至少一个服务节点;其中,
所述至少一个服务节点中的每个服务节点对应的数据迁移任务的并发总数小于对应的设定的最大并发任务数。
这里,调度节点可以根据每个服务节点的硬件资源信息,为每个服务节点配置最大并发任务数。硬件资源信息包括内存大小和处理器的数据处理能力中的至少之一。
调度节点获取每个服务节点对应的数据迁移任务的并发总数,以及基于每个服务节点对应的设定的最大并发任务数,从在线的所有服务节点中确定出数据迁移任务的并发总数小于对应的最大并发任务数的至少一个服务节点。其中,调度节点可以获取每个服务节点主动上报的数据迁移任务的并发总数;调度节点也可以向每个服务节点发送相应的请求信息,以请求获取每个服务节点对应的数据迁移任务的并发总数;调度节点还可以基于历史数据迁移任务的调度信息,确定出向每个服务节点下发的历史数据迁移任务的总数;基于向每个服务节点下发的历史数据迁移任务的总数,以及基于每个服务节点对应的每个历史数据迁移任务的执行状态,确定出每个服务节点对应的数据迁移任务的并发总数。其中,历史数据迁移任务的调度信息表征执行对应的历史数据迁移任务的服务节点。执行状态表征数据迁移任务执行完成或执行失败。
需要说明的是,在当前所有服务节点对应的数据迁移任务的并发总数均等于对应的最大并发任务数的情况下,调度节点不下发数据迁移任务,在检测到任一服务节点对应的数据迁移任务的并发总数小于对应的设定的最大并发任务数的情况下,再向该服务节点下发第一数量的数据迁移任务,以使得每个服务节点对应的数据迁移任务的并发总数小于或等于对应的设定的最大并发任务数,从而避免因向同一个服务节点下发过多数据迁移任务,导致服务节点无法及时处理数据迁移任务,导致数据迁移任务的等待时间过长,进而导致集群数据迁移系统的整体性能大幅下降。
在一些实施例中,调度节点还可以接收每个服务节点上报的所述至少一个评价因子。
在实际应用中,服务节点在接入网络的情况下,可以实时向对应的调度节点上报评价因子,也可以按设定周期向对应的调度节点上报评价因子。
在上述第一实施例的情况下,提出本实施例,在该实施例中,S202可以包括:
基于至少一个评价因子,确定出至少一个服务节点中每个服务节点对应的评分;
基于确定出的至少一个主节点中每个主节点的节点信息和每个服务节点对应的评分,向至少一个服务节点下发数据迁移任务。
这里,调度节点可以基于每个服务节点的至少一个评价因子的数值区间,确定出至少一个服务节点中每个服务节点对应的评分。需要说明的是,所有服务节点的评价维度相同,即,基于相同的评价因子对所有服务节点进行评分。
在实际应用中,调度节点中存储有设定的评价因子的数值区间与设定分值之间的对应关系。调度节点基于每个服务节点对应的至少一个评价因子的数值区间,以及基于设定的评价因子的数值区间与设定分值之间的对应关系,确定出每个服务节点的每个评价因子对应的分值;基于每个服务节点的所有评价因子对应的分值,确定出每个服务节点对应的评分;基于每个服务节点对应的评分,确定出至少一个评分满足设定条件的服务节点。其中,
当评分越高表征对应的服务节点的数据迁移任务能力越强时,评分满足设定条件的服务节点为评分大于或等于第一设定评分的服务节点。
当评分越高表征对应的服务节点的数据迁移任务能力越弱时,评分满足设定条件的服务节点为评分小于或等于第二设定评分的服务节点。第一设定评分大于第二设定评分。
当评价因子的数量为1时,每个服务节点的评价因子对应的分值,即为对应的服务节点对应的评分。
当评价因子的数量为至少两个时,基于每个服务节点的每个评价因子对应的分值进行加权求和运算,得到对应的服务节点对应的评分。
在一些实施例中,评价因子包括以下至少之一:
第一评价因子,表征服务节点中处于执行状态的数据迁移任务的总数;
第二评价因子,表征服务节点的内存占用率;
第三评价因子,表征服务节点的处理器使用率。
这里,第一评价因子用于标识服务节点对应的数据迁移任务的并发总数。服务节点中处于执行状态的数据迁移任务的总数越大,表征对应的服务节点的数据迁移任务能力越低,对应的服务器的第一评价因子对应的分值越低。
服务节点的内存占用率表征内存消耗量与内存配置量之间的比值。服务节点的内存占用率越高,表征对应的服务节点的数据迁移任务能力越低,对应的服务器的第二评价因子对应的分值越低。
服务节点的处理器使用率表征处理器的消耗量与处理器的配置量之间的比值。服务节点的处理器使用率越高,表征对应的服务节点的数据迁移任务能力越低,对应的服务器的第三评价因子对应的分值越低。
在一些实施例中,所述第一评价因子对应的第一权重值大于所述第二评价因子对应的第二权重值,且所述第二评价因子对应的第二权重值大于所述第三评价因子对应的第三权重值。
这里,当评价因子的数量为至少两个时,可以基于每个评价因子的重要程度确定出每个评价因子对应的权重值,从而使得基于评价因子确定出的服务节点对应的评分,能够更准确地反映出服务节点的数据迁移任务能力。在实际应用中,第一评价因子对应的第一权重值大于第二评价因子对应的第二权重值,且第二评价因子对应的第二权重值大于第三评价因子对应的第三权重值。第一权重值、第二权重值和第三权重值的总和等于1。
在实际应用中,第一权重值可以为0.5,第二权重值可以为0.3,第三权重值可以为0.2。
S203:服务节点执行调度节点下发的数据迁移任务。
每个服务节点接收至少一个调度节点下发的数据迁移任务,并执行下发的数据迁移任务。其中,当服务节点接收到的数据迁移任务的总数小于或等于该服务节点对应的设定的最大并发任务数时,服务节点可以并发执行接收到的所有数据迁移任务。当服务节点接收到的数据迁移任务的总数大于该服务节点对应的设定的最大并发任务数时,服务节点基于设定的最大并发任务数,分批次并发执行接收到的数据迁移任务。
在实际应用中,在不需要对至少一个第一集群进行容量调整的情况下,至少一个第一集群对应的主节点的数量保持不变。调度节点下发的数据迁移任务至少携带第一集群对应的所有主节点的节点标识以及对应的数据迁移任务对应的主节点的key。节点标识可以为节点名称或者节点的互联网协议地址(IP,Internet Protocol Address)。
服务节点在接收到调度节点下发的数据迁移任务的情况下,基于第一集群对应的所有主节点的节点标识,计算出每个主节点的节点标识对应的第一哈希值,基于第一集群对应的所有主节点中每个主节点的第一哈希值,将第一集群对应的所有主节点散列到由0~(232-1)构成的圆环(continuum)区间中,并设置每个节点在0~(232-1)的圆环区间中对应的哈希值范围,从而得到第一集群对应的第一哈希环。其中,每个主节点对应的哈希值范围不同,第一集群中所有主节点对应的哈希值范围构成0~(232-1)的圆环区间。0~(232-1)是设定的哈希函数的取值范围。服务节点利用设定的哈希函数对数据迁移任务对应的主节点的key进行哈希运算,得到主节点的key对应的第二哈希值。在第二哈希值未处于对应的主节点对应的第一哈希值范围的情况下,确定出主节点的key对应的第二哈希值所处的第二哈希值范围,将主节点对应的所有key迁移至第二哈希值范围对应的主节点进行存储。这里,第一哈希值范围对应的主节点为源主节点,第二哈希值范围对应的主节点为目的主节点。服务节点将源主节点中存储的所有key迁移至目的主节点中。在第二哈希值处于对应的主节点对应的第一哈希值范围的情况下,表征不需要迁移对应的主节点中存储的key。
在实际应用中,在需要对至少一个集群进行容量调整的情况下,调度节点下发的数据迁移任务携带所有第一集群对应的所有主节点的节点标识、所有第二集群对应的所有主节点的节点标识以及对应的数据迁移任务对应的主节点的key。
这里,服务节点基于所有第二集群对应的所有主节点的节点标识,按照上述构建第一哈希环的方法,构建出第二集群对应的第二哈希环。
服务节点在计算出对应的数据迁移任务对应的主节点的key对应的第二哈希值的情况下,在第一哈希环中确定出第二哈希值所处的哈希值范围对应的第一主节点,以及在第二哈希环中确定出第二哈希值所处的哈希值范围对应的第二主节点,在确定出的第一主节点与确定出的第二主节点不同的情况下,将第一哈希环中第一主节点存储的所有key迁移至第二哈希值中第二主节点中进行存储。在确定出的第一主节点与确定出的第二主节点相同的情况下,表征不需要迁移对应的主节点中存储的key。
需要说明的是,服务节点基于一致性哈希算法确定出数据迁移任务对应的目标主节点,从而将源主节点中存储的所有key迁移至目标主节点中。
需要说明的是,服务节点可以向调度节点上报由对应的调度节点下发的每个数据迁移任务的执行状态。执行状态用于标识对应的数据迁移任务执行成功或执行失败,以便调度节点基于每个数据迁移任务的执行状态确定出对应的数据迁移任务是否执行成功。在任一数据迁移任务的执行状态表征对应的数据迁移任务执行失败的情况下,调度节点基于上述流程重新下发该数据迁移任务。
本实施例提供的方案中,至少一个调度节点中的每个调度节点基于至少一个第一集群的集群信息,确定出所述至少一个第一集群对应的至少一个主节点;以及基于至少一个评价因子和确定出的至少一个主节点,向至少一个服务节点下发数据迁移任务;至少一个服务节点中每个服务节点执行接收到的数据迁移任务。其中,评价因子用于评价服务节点的数据迁移任务能力;每个数据迁移任务用于迁移对应的主节点中存储的数据。由于服务节点可以处理并发的数据迁移任务的总数与对应的数据迁移任务能力有关,数据迁移任务与需要迁移数据的第一集群中的主节点一一对应,因此,每个调度节点均可以基于需要迁移数据的第一集群对应的主节点的数量,以及基于服务节点的数据迁移任务能力,确定出用于执行第一集群对应的数据迁移任务的服务节点。由于服务节点的数据迁移任务能力是动态变化的,当不同的第一集群对应的主节点的数量不同时,调度节点确定出的用于执行对应的数据迁移任务的服务节点可能不同,确定出的服务节点的数量也可能不同,即,在不同时刻,调度节点可以动态调度用于执行数据迁移任务的服务节点。由于本方案中支持至少两个服务节点执行并发的数据迁移任务,可以增强数据迁移系统处理并发的数据迁移任务的能力,提高并发的数据迁移任务的处理速度,缩短并发的数据迁移任务的处理时长。并发的数据迁移任务由至少两个服务节点执行时,降低了单个服务节点的数据处理量,可以减小服务节点发生卡顿的概率。
另外,由于调度节点和服务节点的配置较简单,运维人员可以对调度节点热部署集群数据迁移任务,以便调度节点基于集群数据迁移任务生成对应的数据迁移任务,从而向服务节点下发数据迁移任务。
作为本发明的另一实施例,图3示出了本发明另一实施例提供的集群数据迁移方法的交互图。在图2对应的实施例的基础上,图3对应的集群数据迁移方法还包括:
S204:调度节点监测所述至少一个服务节点中每个服务节点对应的每个数据迁移任务的执行状态;所述执行状态表征对应的数据迁移任务执行成功或执行失败。
这里,调度节点接收每个服务节点上报的每个数据迁移任务的执行状态,从而监测每个服务节点对应的每个数据迁移任务的执行状态。调度节点可以基于向每个服务节点下发的数据迁移任务以及基于每个服务节点已上报执行状态的数据迁移任务,确定出集群数据的迁移进度。集群数据的迁移进度表征至少一个第一集群对应的所有数据迁移任务的总数以及对应的所有数据迁移任务中执行成功的数据迁移任务的总数。其中,
当至少一个第一集群对应的所有数据迁移任务的执行状态均表征执行成功时,将集群数据的迁移进度更新为100%或执行完成。当至少一个第一集群对应的任一数据迁移任务的执行状态表征执行失败时,将集群数据的迁移进度更新为执行失败。
在实际应用中,调度节点在接收到任一服务节点上报的任一数据迁移任务的执行状态表征对应的数据迁移任务执行失败的情况下,调度节点基于图2对应的处理流程重新下发该数据迁移任务。
在一些实施例中,调度节点还可以接收每个服务节点上报的数据迁移任务的迁移进度,基于每个服务节点上报的数据迁移任务的迁移进度,确定出集群数据的迁移进度。其中,迁移进度表征对应的服务节点接收到的数据迁移任务的总数以及对应的服务节点执行成功的数据迁移任务的总数。
在一些实施例中,所述调度节点监测所述至少一个服务节点中每个服务节点对应的每个数据迁移任务的执行状态时,所述方法还包括以下至少之一:
在所述至少一个服务节点中的第一服务节点执行第一数据迁移任务失败的情况下,向所述至少一个服务节点中的第二服务节点下发所述第一数据迁移任务;
在第一设定时长内未接收到所述至少一个服务节点中的第一服务节点上报的数据迁移任务的执行状态的情况下,向所述至少一个服务节点中的第二服务节点下发所述第一服务节点对应的第二数据迁移任务;所述第二数据迁移任务表征下发的所有数据迁移任务中未上报执行状态的数据迁移任务;
在第二设定时长内未接收到所述至少一个服务节点中的第一服务节点上报的心跳信息的情况下,将所述第一服务节点设置为离线状态。
在实际应用中,调度节点基于每个服务节点上报的每个数据迁移任务的执行状态,判断是否存在执行失败的第一数据迁移任务;在判断结果表征至少一个服务节点中的第一服务节点执行第一数据迁移任务失败的情况下,向至少一个服务节点中的第二服务节点下发第一数据迁移任务,以触发第二服务节点执行第一数据迁移任务,可以避免将第一数据迁移任务下发至第一服务节点,导致第一数据迁移任务再次执行失败的情况发生,这样可以保证所有的数据迁移任务均被成功执行。
在实际应用中,调度节点在第一设定时长内未接收到至少一个服务节点中的第一服务节点上报的数据迁移任务的执行状态的情况下,表征在第一设定时长内第一服务节点对应的数据迁移任务的迁移进度未更新,调度节点确定出第一服务节点发生异常,向至少一个服务节点中的第二服务节点下发第一服务节点对应的第二数据迁移任务,这样可以保证所有的数据迁移任务均执行成功。其中,第二数据迁移任务表征向第一服务节点下发的所有数据迁移任务中未上报执行状态的数据迁移任务。第一设定时长大于服务节点上报心跳信息对应的设定周期。在实际应用中,第一设定时长可以是三个设定周期。
在实际应用中,调度节点接收集群数据迁移系统中每个服务节点上报的心跳信息,从而监测每个服务节点的在线情况。心跳信息由服务节点按设定周期上报给与对应的服务节点处于同一网络域的每个调度节点,心跳信息携带对应的服务节点的标识。在第二设定时长内未接收到服务节点上报的心跳信息的情况下,将对应的服务节点设置为离线状态,表征对应的服务服务节点停机,以便调度节点后续不向离线状态的服务节点下发数据迁移任务,可以避免在向离线状态的服务节点下发数据迁移任务之后,因离线状态的服务节点无法执行数据迁移任务而影响集群数据的迁移进度。在第二设定时长内接收到服务节点上报的心跳信息的情况下,将对应的服务节点设置为在线状态。第二设定时长大于服务节点上报心跳信息对应的设定周期。在实际应用中,第二设定时长可以是三个设定周期。
需要说明的是,当调度节点运行数据迁移服务时,调度节点将服务节点上报的相关信息存储至数据库中,调用数据迁移服务的终端可以按设定周期向调度节点发送查询请求,查询集群数据的迁移进度。
当调度节点运行数据迁移工具时,调度节点将服务节点上报的相关信息存储至内存中,调度节点可以基于发送集群数据迁移请求的终端的设备标识或IP地址,向对应的终端上报集群数据的迁移进度。当调度节点异常重启时,调度节点可以基于服务节点上报的相关信息重建出集群数据的迁移进度。需要说明的是,当第一集群对应的主节点存在隔离的网络域时,需要在不同网络域分别部署至少一个可运行数据迁移工具的调度节点和至少一个服务节点,每个可运行数据迁移工具的调度节点负责一个网络域中的第一集群的数据迁移。调用数据迁移工具的终端可以根据第一集群的网络域从多个可运行数据迁移工具的调度节点中选择一个调度节点,以迁移第一集群中主节点中存储的数据。
本实施例提供的方案中,调度节点可以监测至少一个服务节点中每个服务节点对应的每个数据迁移任务的执行状态,因此可以准确地确定出集群数据的迁移进度,从而能够基于执行状态重新调度执行失败的数据迁移任务,进而保证所有的数据迁移任务均被成功执行。
为实现本发明实施例的方法,本发明实施例还提供了一种集群数据迁移装置,设置在调度节点上,如图4所示,该集群数据迁移装置包括:
确定单元41,用于基于至少一个第一集群的集群信息,确定出所述至少一个第一集群中每个第一集群对应的主节点;
调度单元42,用于基于至少一个评价因子和确定出的主节点的节点信息,向至少一个服务节点下发数据迁移任务;其中,
评价因子用于评价服务节点的数据迁移任务能力;服务节点用于执行数据迁移任务;每个数据迁移任务用于迁移对应的主节点中存储的数据。
在一些实施例中,集群数据迁移装置还包括:
监测单元,用于监测所述至少一个服务节点中每个服务节点对应的每个数据迁移任务的执行状态;所述执行状态表征对应的数据迁移任务执行成功或执行失败。
在一些实施例中,调度单元42用于:
基于至少一个评价因子,确定出至少一个服务节点中每个服务节点对应的评分;
基于确定出的主节点中每个主节点的节点信息和每个服务节点对应的评分,向至少一个服务节点下发数据迁移任务。
在一些实施例中,调度单元42还用于:
接收每个服务节点上报的所述至少一个评价因子。
在一些实施例中,评价因子包括以下至少之一:
第一评价因子,表征服务节点中处于执行状态的数据迁移任务的总数;
第二评价因子,表征服务节点的内存占用率;
第三评价因子,表征服务节点的处理器使用率。
在一些实施例中,所述第一评价因子对应的第一权重值大于所述第二评价因子对应的第二权重值,且所述第二评价因子对应的第二权重值大于所述第三评价因子对应的第三权重值。
在一些实施例中,所述节点信息包括网络域;调度单元42还用于:
基于每个主节点的网络域和每个服务节点的网络域,确定出至少一个服务节点;
基于至少一个评价因子和确定出的主节点的节点信息,向所述至少一个服务节点中的至少一个服务节点下发数据迁移任务;其中,
所述至少一个服务节点中每个服务节点的网络域与至少一个主节点的网络域相同;所述服务节点用于迁移处于相同的网络域的主节点中存储的数据。
在一些实施例中,调度单元42还用于执行以下至少之一:
在所述至少一个服务节点中的第一服务节点执行第一数据迁移任务失败的情况下,向所述至少一个服务节点中的第二服务节点下发所述第一数据迁移任务;
在第一设定时长内未接收到所述至少一个服务节点中的第一服务节点上报的数据迁移任务的执行状态的情况下,向所述至少一个服务节点中的第二服务节点下发所述第一服务节点对应的第二数据迁移任务;所述第二数据迁移任务表征下发的所有数据迁移任务中未上报执行状态的数据迁移任务;
在第二设定时长内未接收到所述至少一个服务节点中的第一服务节点上报的心跳信息的情况下,将所述第一服务节点设置为离线状态。
在一些实施例中,所述至少一个调度节点为分布式网络节点。
实际应用时,集群数据迁移装置包括的各单元可由集群数据迁移装置中的处理器,或者由处理器和通信接口共同来实现。当然,处理器需要运行存储器中存储的程序来实现上述各程序模块的功能。
需要说明的是:上述实施例提供的集群数据迁移装置在迁移集群数据时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将集群数据迁移装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的集群数据迁移装置与集群数据迁移方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
基于上述程序模块的硬件实现,且为了实现本发明实施例的方法,本发明实施例还提供了一种电子设备。图5为本发明实施例提供的电子设备的硬件组成结构示意图,如图5所示,电子设备包括:
通信接口1,能够与其它设备比如服务器等进行信息交互;
处理器2,与通信接口1连接,以实现与其它设备进行信息交互,用于运行计算机程序时,执行上述一个或多个技术方案提供的集群数据迁移方法。而所述计算机程序存储在存储器3上。
当然,实际应用时,电子设备中的各个组件通过总线系统4耦合在一起。可理解,总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图5中将各种总线都标为总线系统4。
本发明实施例中的存储器3用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括:用于在电子设备上操作的任何计算机程序。
可以理解,存储器3可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random AccessMemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,Sync Link Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本发明实施例描述的存储器3旨在包括但不限于这些和任意其它适合类型的存储器。
上述本发明实施例揭示的方法可以应用于处理器2中,或者由处理器2实现。处理器2可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、DSP,或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器3,处理器2读取存储器3中的程序,结合其硬件完成前述方法的步骤。
处理器2执行所述程序时实现本发明实施例的各个方法中多核处理器对应的流程,为了简洁,在此不再赘述。
在示例性实施例中,本发明实施例还提供了一种存储介质,即计算机存储介质,具体为计算机可读存储介质,例如包括存储计算机程序的存储器3,上述计算机程序可由处理器2执行,以完成前述图2至图3对应的实施例中的所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种集群数据迁移方法,其特征在于,应用于至少一个调度节点中的每个调度节点,所述方法包括:
基于至少一个第一集群的集群信息,确定出所述至少一个第一集群中每个第一集群对应的主节点;
基于至少一个评价因子和确定出的主节点的节点信息,向至少一个服务节点下发数据迁移任务;其中,
评价因子用于评价服务节点的数据迁移任务能力;服务节点用于执行数据迁移任务;每个数据迁移任务用于迁移对应的主节点中存储的数据。
2.根据权利要求1所述的方法,其特征在于,所述基于至少一个评价因子和确定出的主节点的节点信息,向至少一个服务节点下发数据迁移任务,包括:
基于至少一个评价因子,确定出至少一个服务节点中每个服务节点对应的评分;
基于确定出的主节点中每个主节点的节点信息和每个服务节点对应的评分,向至少一个服务节点下发数据迁移任务。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
接收每个服务节点上报的所述至少一个评价因子。
4.根据权利要求2所述的方法,其特征在于,评价因子包括以下至少之一:
第一评价因子,表征服务节点中处于执行状态的数据迁移任务的总数;
第二评价因子,表征服务节点的内存占用率;
第三评价因子,表征服务节点的处理器使用率。
5.根据权利要求4所述的方法,其特征在于,所述第一评价因子对应的第一权重值大于所述第二评价因子对应的第二权重值,且所述第二评价因子对应的第二权重值大于所述第三评价因子对应的第三权重值。
6.根据权利要求1或2所述的方法,其特征在于,所述节点信息包括网络域;
所述基于至少一个评价因子和确定出的主节点的节点信息,向至少一个服务节点下发数据迁移任务,包括:
基于每个主节点的网络域和每个服务节点的网络域,确定出至少一个服务节点;
基于至少一个评价因子和确定出的主节点的节点信息,向所述至少一个服务节点中的至少一个服务节点下发数据迁移任务;其中,
所述至少一个服务节点中每个服务节点的网络域与至少一个主节点的网络域相同;所述服务节点用于迁移处于相同的网络域的主节点中存储的数据。
7.根据权利要求1或2所述的方法,其特征在于,所述方法还包括以下至少之一:
在所述至少一个服务节点中的第一服务节点执行第一数据迁移任务失败的情况下,向所述至少一个服务节点中的第二服务节点下发所述第一数据迁移任务;
在第一设定时长内未接收到所述至少一个服务节点中的第一服务节点上报的数据迁移任务的执行状态的情况下,向所述至少一个服务节点中的第二服务节点下发所述第一服务节点对应的第二数据迁移任务;所述第二数据迁移任务表征下发的所有数据迁移任务中未上报执行状态的数据迁移任务;
在第二设定时长内未接收到所述至少一个服务节点中的第一服务节点上报的心跳信息的情况下,将所述第一服务节点设置为离线状态。
8.一种集群数据迁移装置,其特征在于,包括:
确定单元,用于基于至少一个第一集群的集群信息,确定出所述至少一个第一集群中每个第一集群对应的主节点;
调度单元,用于基于至少一个评价因子和确定出的主节点的节点信息,向至少一个服务节点下发数据迁移任务;其中,
评价因子用于评价服务节点的数据迁移任务能力;服务节点用于执行数据迁移任务;每个数据迁移任务用于迁移对应的主节点中存储的数据。
9.一种电子设备,其特征在于,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,
其中,所述处理器用于运行所述计算机程序时,执行权利要求1至7任一项所述的方法的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法的步骤。
CN202011485975.XA 2020-12-16 2020-12-16 集群数据迁移方法、装置及电子设备 Pending CN112632033A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011485975.XA CN112632033A (zh) 2020-12-16 2020-12-16 集群数据迁移方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011485975.XA CN112632033A (zh) 2020-12-16 2020-12-16 集群数据迁移方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN112632033A true CN112632033A (zh) 2021-04-09

Family

ID=75313817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011485975.XA Pending CN112632033A (zh) 2020-12-16 2020-12-16 集群数据迁移方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112632033A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070174661A1 (en) * 2005-11-15 2007-07-26 Bea Systems, Inc. System and method for providing singleton services in a cluster
CN105897499A (zh) * 2015-12-07 2016-08-24 乐视云计算有限公司 分布式存储系统节点状态监控方法、中心节点及系统
WO2017220021A1 (zh) * 2016-06-23 2017-12-28 中兴通讯股份有限公司 短信息处理方法及装置
CN109783472A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 表数据的迁移方法、装置、计算机设备和存储介质
CN111064789A (zh) * 2019-12-18 2020-04-24 北京三快在线科技有限公司 数据迁移的方法和系统
CN111708755A (zh) * 2020-05-20 2020-09-25 北京奇艺世纪科技有限公司 数据迁移方法、装置、系统、电子设备以及可读存储介质
CN111984395A (zh) * 2019-05-22 2020-11-24 中移(苏州)软件技术有限公司 一种数据迁移方法和系统,及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070174661A1 (en) * 2005-11-15 2007-07-26 Bea Systems, Inc. System and method for providing singleton services in a cluster
CN105897499A (zh) * 2015-12-07 2016-08-24 乐视云计算有限公司 分布式存储系统节点状态监控方法、中心节点及系统
WO2017220021A1 (zh) * 2016-06-23 2017-12-28 中兴通讯股份有限公司 短信息处理方法及装置
CN109783472A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 表数据的迁移方法、装置、计算机设备和存储介质
CN111984395A (zh) * 2019-05-22 2020-11-24 中移(苏州)软件技术有限公司 一种数据迁移方法和系统,及计算机可读存储介质
CN111064789A (zh) * 2019-12-18 2020-04-24 北京三快在线科技有限公司 数据迁移的方法和系统
CN111708755A (zh) * 2020-05-20 2020-09-25 北京奇艺世纪科技有限公司 数据迁移方法、装置、系统、电子设备以及可读存储介质

Similar Documents

Publication Publication Date Title
CN111818159B (zh) 数据处理节点的管理方法、装置、设备及存储介质
US10152382B2 (en) Method and system for monitoring virtual machine cluster
CN103201724B (zh) 在高可用性虚拟机环境中提供高可用性应用程序
US20190073276A1 (en) System and method for datacenter recovery
CN103593242A (zh) 基于Yarn框架的资源共享控制系统
CN109886693B (zh) 区块链系统的共识实现方法、装置、设备和介质
CN115277566B (zh) 数据访问的负载均衡方法、装置、计算机设备及介质
CN109558260B (zh) Kubernetes故障排除系统、方法、设备及介质
JP2007503628A (ja) クラスタ化されたコンピューティングシステムにおける高速なアプリケーション通知
US20230052935A1 (en) Asynchronous accounting method and apparatus for blockchain, medium and electronic device
CN113157411B (zh) 一种基于Celery的可靠可配置任务系统及装置
CN106452836B (zh) 主节点设置方法及装置
CN103164262B (zh) 一种任务管理方法及装置
CN112256433B (zh) 基于Kafka集群的分区迁移方法和装置
CN111338834B (zh) 数据存储方法和装置
CN111541762A (zh) 数据处理的方法、管理服务器、设备及存储介质
CN110377664B (zh) 数据同步方法、装置、服务器及存储介质
CN113658351A (zh) 一种产品生产的方法、装置、电子设备及存储介质
CN112631994A (zh) 数据迁移方法及系统
EP3349416B1 (en) Relationship chain processing method and system, and storage medium
CN116319758A (zh) 数据迁移方法、装置、电子设备及可读存储介质
CN112632033A (zh) 集群数据迁移方法、装置及电子设备
CN109254880B (zh) 一种处理数据库宕机的方法及装置
CN115587147A (zh) 一种数据处理方法及系统
CN112351098B (zh) 拷机服务集群系统、控制方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination