CN110971647B - 一种大数据系统的节点迁移方法 - Google Patents

一种大数据系统的节点迁移方法 Download PDF

Info

Publication number
CN110971647B
CN110971647B CN201811175310.1A CN201811175310A CN110971647B CN 110971647 B CN110971647 B CN 110971647B CN 201811175310 A CN201811175310 A CN 201811175310A CN 110971647 B CN110971647 B CN 110971647B
Authority
CN
China
Prior art keywords
node
migration
source node
data
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811175310.1A
Other languages
English (en)
Other versions
CN110971647A (zh
Inventor
王丹华
黄陈蓉
范大娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN201811175310.1A priority Critical patent/CN110971647B/zh
Publication of CN110971647A publication Critical patent/CN110971647A/zh
Application granted granted Critical
Publication of CN110971647B publication Critical patent/CN110971647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/563—Data redirection of data network streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种大数据系统的节点迁移方法，该方法由源节点基于多个节点的节点负载利率和空闲网络带宽，分配向多个节点的迁移数据量，最后由所述多个节点再将数据迁移到目标节点。该方法提高节点迁移效率，使源节点在短时间内完成节点迁移工作。

Description

一种大数据系统的节点迁移方法
【技术领域】
本发明属于计算机和互联网领域，尤其涉及大数据领域，具体的，涉及一种大数据系统的节点迁移方法。
【背景技术】
随着计算机和互联网技术的快速发展，我们处在了一个信息爆炸的时代，为了处理大量的信息，出现了大数据的概念。所谓大数据，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
由于数据的海量特性，人们仅仅凭一己之力很难对这些数据这些分析，但是在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据逐步为人类创造更多的价值。
由于大数据系统具有海量数据，其通常使用多个数据节点来存储数据，每个节点在地理上可能是分散的，当一个节点出现问题，或者由于管理需要，其所存储的数据需要迁移到一个新的目标节点，现有技术中的节点迁移通常只是直接将数据从源节点传输到目标节点，在迁移完成后，源节点关闭。但是在这种方式下，迁移同时取决于源节点和目标节点两者的数据传输速度，效率较低，由于节点迁移常常在紧急情况下发生，源节点需要尽快关闭，或者源节点就无法支持太长时间，这种迁移方式就不适合了。
【发明内容】
为了解决上述问题，本发明提出了一种大数据系统的节点迁移方法。
本发明采用的技术方案如下：
一种大数据系统的节点迁移方法，包括以下步骤：
(1)当源节点需要迁移时，其向管理服务器查询并获取当前的节点列表；
(2)所述源节点向节点列表中的各个节点发送查询请求，请求各个节点返回其节点负载率及空闲网络带宽；
(3)每个收到查询请求的节点，都将其节点负载率和空闲网络带宽作为应答消息返回给所述源节点，所述源节点基于发送查询请求和收到应答消息的时间，对各节点进行筛选；
(4)设步骤3筛选后得到了n个节点Node1，Node2，……，Noden；其中Nodei的空闲网络带宽为Ai，节点负载率为Bi(1≤i≤n)，则源节点为Nodei计算迁移指数Ti，即
Ti＝Ai(1-Bi)2
(5)所述源节点基于所述迁移指数、需要迁移的数据量，为所述n个节点分配相应的迁移数据量；
(6)所述源节点基于为所述n个节点分配的迁移数据量，向所述n个节点中的每个节点发送数据，每个节点存储接收到的数据；
(7)当所述源节点发送完所有数据后，其向管理服务器发送一个发送结束消息，所述发送结束消息中包括了所述n个节点的标识；
(8)所述管理服务器确定迁移的目标节点，向所述n个节点发送迁移指令，所述迁移指令中包括了目标节点的地址；
(9)各节点在接收到迁移指令后，将存储的源节点数据发送给所述目标节点。
进一步地，所述步骤1中，由所述管理服务器命令源节点进行迁移，或者由源节点主动发起迁移请求。
进一步地，所述节点负载率是节点计算机处理器在过去一定时间内的平均使用率。
进一步地，所述步骤3中，对于每个节点，所述源节点计算发出查询请求和收到该节点的应答消息的时间差，得到该节点的响应时间，基于该响应时间对各节点进行筛选。
进一步地，所述源节点筛选出响应时间最小的n个节点，其中n是预先定义的节点数目。
进一步地，所述源节点筛选出响应时间少于预定义阈值的n个节点。
进一步地，所述步骤5中，设所述源节点需要迁移的数据量为S，则所述源节点计算为Nodei分配的迁移数据量Si为：
所述迁移数据量Si就是节点Nodei需要接收的源节点的数据量。
进一步地，所述目标节点是系统新建立的一个节点，或者是已有节点。
本发明的有益效果为：在大数据系统中，提高节点迁移效率，使源节点在短时间内完成节点迁移工作。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明方法应用的大数据系统示意图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
参见附图1，其示出了本发明方法所应用的系统的基本架构，该系统包括一个管理服务器和多个节点，管理服务器和各节点之间通过网络连接。所述管理服务器用于对整个大数据系统进行管理，所述节点用于存储数据并根据管理服务器的命令进行相应的数据操作。
基于上述系统架构，本发明提供了一种从源节点到目标节点的迁移方法，以用于将源节点的数据整体迁移到目标节点，具体说明如下：
(1)当源节点需要迁移时，其向管理服务器查询并获取当前的节点列表。
源节点需要迁移的时机可能有多种情况，可以是由管理服务器直接命令源节点进行迁移，也可以是源节点自身发现问题后主动发起迁移请求。
管理服务器保存着当前所有可用节点的列表，列表中包括了各个节点的网络地址，源节点获取该列表从而可以与各个节点进行联系。
(2)源节点向节点列表中的各个节点发送查询请求，请求各个节点返回其节点负载率及空闲网络带宽。
所述节点负载率指的是节点计算机当前的负载率，是一个0％到100％之间的数值，通常而言，其可以使用节点计算机处理器在过去一定时间内的平均使用率，或者本领域中其他用于表示计算机负载的指标，本发明对此不作限制。
所述空闲网络带宽指的是节点在过去一定时间内网络最大带宽与平均网络流量的差值。
(3)每个收到查询请求的节点，都将其节点负载率和空闲网络带宽作为应答消息返回给所述源节点，所述源节点基于发送查询请求和收到应答消息的时间，对各节点进行筛选。
具体的，对于每个节点，源节点计算发出查询请求和收到该节点的应答消息的时间差，所述时间差就是该节点的响应时间，源节点基于该响应时间对各节点进行筛选。根据本发明的一个实施例，源节点可以筛选出响应时间最小的n个节点，其中n是预先定义的节点数目。根据本发明的另一个实施例，源节点可以筛选出响应时间少于预定义阈值的多个节点。
(4)设步骤3筛选后得到了n个节点Node1，Node2，……，Noden；其中Nodei的空闲网络带宽为Ai，节点负载率为Bi(1≤i≤n)，则源节点为Nodei计算迁移指数Ti，即
Ti＝Ai(1-Bi)2
本发明的所述迁移指数表明了相应节点可以接收迁移数据的能力，该迁移指数通过节点负载率和空闲网络带宽进行计算，在实际运用中，该指数较好第表示了各个节点接收数据的能力。但是，本领域技术人员可以基于具体的情况，做出相应的修改，设计出不同的迁移指数，本发明对此不作限制。
(5)所述源节点基于所述迁移指数、需要迁移的数据量，为所述n个节点分配相应的迁移数据量。
具体的，设所述源节点需要迁移的数据量为S，则所述源节点计算为Nodei分配的迁移数据量Si为：
所述迁移数据量Si就是节点Nodei需要接收的源节点的数据量。
(6)所述源节点基于所述n个节点的迁移数据量，向所述n个节点中的每个节点发送数据，每个节点存储接收到的数据。
具体的，对于节点Nodei，所述源节点向其发送的数据量为Si，源节点基于分配的迁移数据量，将其所有数据分成n份，分别发送给所述n个节点。
(7)当所述源节点发送完所有数据后，其向管理服务器发送一个发送结束消息，所述发送结束消息中包括了所述n个节点的标识。
该发送结束消息用于向服务器表明，源节点的所有数据已经迁移出去，并且分布在所述n个节点中，此后源节点可以随时关闭。
(8)管理服务器确定迁移的目标节点，向所述n个节点发送迁移指令，所述迁移指令中包括了目标节点的地址。
所述目标节点可以是系统新建立的一个节点，也可以是一个已有节点，管理服务器基于具体情况确定和选择目标节点，并将所述目标节点告知所述n个节点。
(9)各节点在接收到迁移指令后，将存储的源节点数据发送给所述目标节点。
最后，所述目标节点接收到所有源节点数据，从而完成了源节点到目标节点的迁移。
上述方法过程中，源节点和目标节点的数据传输不是同步进行的，实质上通过多个中间节点的中转完成了数据迁移，从而提高了迁移效率，并且源节点可以在完成数据发送后，自行关闭，无需顾及目标节点的具体情况，使得系统具有充足的时间完成目标节点的建设。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (6)

1.一种大数据系统的节点迁移方法，用于将源节点的数据整体迁移到目标节点，其特征在于，包括以下步骤：
(1)当源节点需要迁移时，源节点向管理服务器查询并获取当前的节点列表，所述管理服务器保存着当前所有可用节点的列表；
(2)所述源节点向节点列表中的各个节点发送查询请求，请求各个节点返回其节点负载率及空闲网络带宽；
(3)每个收到查询请求的节点，都将其节点负载率和空闲网络带宽作为应答消息返回给所述源节点，所述源节点基于发送查询请求和收到应答消息的时间，对各节点进行筛选；具体的，对于每个节点，所述源节点计算发出查询请求和收到该节点的应答消息的时间差，得到该节点的响应时间，基于该响应时间对各节点进行筛选；
(4)设步骤3筛选后得到了n个节点Node1，Node2，......，Noden；其中Nodei的空闲网络带宽为Ai，节点负载率为Bi，1≤i≤n，则源节点为Nodei计算迁移指数Ti，即
Ti＝Ai(1-Bi)2
(5)所述源节点基于所述迁移指数、需要迁移的数据量，为所述n个节点分配相应的迁移数据量；设所述源节点需要迁移的数据量为S，则所述源节点计算为Nodei分配的迁移数据量Si为：
所述迁移数据量Si就是节点Nodei需要接收的源节点的数据量；
(6)所述源节点基于为所述n个节点分配的迁移数据量，向所述n个节点中的每个节点发送数据，每个节点存储接收到的数据；
(7)当所述源节点发送完所有数据后，其向管理服务器发送一个发送结束消息，所述发送结束消息中包括了所述n个节点的标识；
(8)所述管理服务器确定迁移的目标节点，向所述n个节点发送迁移指令，所述迁移指令中包括了目标节点的地址；
(9)各节点在接收到迁移指令后，将存储的源节点数据发送给所述目标节点。
2.根据权利要求1所述的方法，其特征在于，所述步骤1中，由所述管理服务器命令源节点进行迁移，或者由源节点主动发起迁移请求。
3.根据权利要求1-2任意一项所述的方法，其特征在于，所述节点负载率是节点计算机处理器在过去一定时间内的平均使用率。
4.根据权利要求1所述的方法，其特征在于，所述步骤3中，所述源节点筛选出响应时间最小的n个节点，其中n是预先定义的节点数目。
5.根据权利要求1所述的方法，其特征在于，所述步骤3中，所述源节点筛选出响应时间少于预定义阈值的n个节点。
6.根据权利要求1所述的方法，其特征在于，所述目标节点是系统新建立的一个节点，或者是已有节点。
CN201811175310.1A 2018-09-30 2018-09-30 一种大数据系统的节点迁移方法 Active CN110971647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811175310.1A CN110971647B (zh) 2018-09-30 2018-09-30 一种大数据系统的节点迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811175310.1A CN110971647B (zh) 2018-09-30 2018-09-30 一种大数据系统的节点迁移方法

Publications (2)

Publication Number Publication Date
CN110971647A CN110971647A (zh) 2020-04-07
CN110971647B true CN110971647B (zh) 2023-12-05

Family

ID=70029462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811175310.1A Active CN110971647B (zh) 2018-09-30 2018-09-30 一种大数据系统的节点迁移方法

Country Status (1)

Country Link
CN (1) CN110971647B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115333946B (zh) * 2022-07-28 2024-03-08 深圳海星智驾科技有限公司 一种机器人操作系统的节点查询方法、装置和设备
CN115103020B (zh) * 2022-08-25 2022-11-15 建信金融科技有限责任公司 数据迁移处理方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011198033A (ja) * 2010-03-19 2011-10-06 Kddi Corp Ｐ２ｐ配信システムならびにそのピアノード間のネットワーク距離算出方法およびシステム
CN104426952A (zh) * 2013-08-28 2015-03-18 华为技术有限公司 一种数据迁移方法、设备及系统
CN104580328A (zh) * 2013-10-28 2015-04-29 华为技术有限公司 虚拟机迁移方法、装置及系统
CN105872053A (zh) * 2016-03-30 2016-08-17 中国联合网络通信集团有限公司 数据迁移方法及系统
CN106331160A (zh) * 2016-09-28 2017-01-11 乐视控股（北京）有限公司 一种数据迁移方法及系统
CN107317879A (zh) * 2017-08-02 2017-11-03 网宿科技股份有限公司 一种用户请求的分发方法及系统
CN107832153A (zh) * 2017-11-14 2018-03-23 北京科技大学 一种Hadoop集群资源自适应分配方法
CN108399102A (zh) * 2017-02-08 2018-08-14 阿里巴巴集团控股有限公司 一种资源分配方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8595737B2 (en) * 2009-03-17 2013-11-26 Hitachi, Ltd. Method for migrating a virtual server to physical server according to a variation ratio, a reference execution time, a predetermined occupied resource amount and a occupancy amount

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011198033A (ja) * 2010-03-19 2011-10-06 Kddi Corp Ｐ２ｐ配信システムならびにそのピアノード間のネットワーク距離算出方法およびシステム
CN104426952A (zh) * 2013-08-28 2015-03-18 华为技术有限公司 一种数据迁移方法、设备及系统
CN104580328A (zh) * 2013-10-28 2015-04-29 华为技术有限公司 虚拟机迁移方法、装置及系统
CN105872053A (zh) * 2016-03-30 2016-08-17 中国联合网络通信集团有限公司 数据迁移方法及系统
CN106331160A (zh) * 2016-09-28 2017-01-11 乐视控股（北京）有限公司 一种数据迁移方法及系统
CN108399102A (zh) * 2017-02-08 2018-08-14 阿里巴巴集团控股有限公司 一种资源分配方法和装置
CN107317879A (zh) * 2017-08-02 2017-11-03 网宿科技股份有限公司 一种用户请求的分发方法及系统
CN107832153A (zh) * 2017-11-14 2018-03-23 北京科技大学 一种Hadoop集群资源自适应分配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dynamic service migration and workload scheduling in edge-clouds;Urgaonkar R等;《Performance Evaluation》;全文 *
面向负载均衡的VM迁移调度方法;陈昊;郭雅娟;黄伟;;南京理工大学学报(第02期);全文 *

Also Published As

Publication number Publication date
CN110971647A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
JP4827097B2 (ja) グリッド・システム資源をオンデマンドで制御する装置、システム及び方法
US10057341B2 (en) Peer-to-peer architecture for web traffic management
US10545914B2 (en) Distributed object storage
US7490140B2 (en) Peer data transfer orchestration
CN113949707B (zh) 基于OpenResty和K8S的容器云服务发现和负载均衡方法
CN111522636B (zh) 应用容器的调整方法、调整系统、计算机可读介质及终端设备
US20110213879A1 (en) Multi-level Decision Support in a Content Delivery Network
US20200351207A1 (en) Method and system of limiting traffic
US20060200469A1 (en) Global session identifiers in a multi-node system
CN111666159A (zh) 负载均衡控制方法和装置、存储介质及电子设备
WO2020042612A1 (zh) 消息存储、读取方法及装置、服务器、存储介质
CN110971647B (zh) 一种大数据系统的节点迁移方法
JP2022549055A (ja) ノードの速度制限方法、装置、電子デバイス及び記憶媒体
CN109067869A (zh) 云计算系统中微服务节点的管理方法和装置
CN102480502B (zh) 一种i/o负载均衡方法及i/o服务器
US11706298B2 (en) Multichannel virtual internet protocol address affinity
US20180081894A1 (en) Method and apparatus for clearing data in cloud storage system
CN108924203B (zh) 数据副本自适应分布方法、分布式计算系统及相关设备
CN109428926B (zh) 一种调度任务节点的方法和装置
CN110868323B (zh) 一种带宽控制方法、装置、设备及介质
CN114595167A (zh) 分布式缓存系统、方法以及装置
CN108063821A (zh) 一种基于x86架构的电力营销系统
US9544371B1 (en) Method to discover multiple paths to disk devices cluster wide
CN101483668A (zh) 热点数据的网络存储和访问方法、设备及系统
WO2020248633A1 (zh) 群成员管理和群消息处理的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant