CN113259473A - 一种自适应云数据迁移的方法 - Google Patents

一种自适应云数据迁移的方法 Download PDF

Info

Publication number
CN113259473A
CN113259473A CN202110637029.0A CN202110637029A CN113259473A CN 113259473 A CN113259473 A CN 113259473A CN 202110637029 A CN202110637029 A CN 202110637029A CN 113259473 A CN113259473 A CN 113259473A
Authority
CN
China
Prior art keywords
value
data
migration
transmission value
maximum network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110637029.0A
Other languages
English (en)
Other versions
CN113259473B (zh
Inventor
梁润强
曾宪力
史伟
闵宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Eflycloud Computing Co Ltd
Original Assignee
Guangdong Eflycloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Eflycloud Computing Co Ltd filed Critical Guangdong Eflycloud Computing Co Ltd
Priority to CN202110637029.0A priority Critical patent/CN113259473B/zh
Publication of CN113259473A publication Critical patent/CN113259473A/zh
Application granted granted Critical
Publication of CN113259473B publication Critical patent/CN113259473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种自适应云数据迁移的方法，步骤包括：物理主机的发送模块向云端主机发送迁移数据的请求；云端主机的接收分析模块收到请求后，与发送模块建立迁移数据的传输通道；物理主机的发送模块对物理主机与云端主机之间的当前业务流量传输值进行检测，以及对物理主机的网络传输接口的最大网络流量传输值进行检测；发送模块对当前业务流量传输值与最大网络流量传输值进行分析处理，获取迁移数据所需的传输带宽，并根据获取的迁移数据所需的传输带宽，物理主机向云端主机传输迁移数据。本发明自适应传输迁移数据且传输过程无需关闭物理主机，并保证了物理主机的当前业务流量可以优先进行传输。

Description

一种自适应云数据迁移的方法
技术领域
本发明涉及计算机数据迁移技术领域，特别涉及一种自适应云数据迁移的方法。
背景技术
随着互联网云计算的发展，越来越多物理主机需要进行云数据的迁移，物理主机上云迁移（物理设备的环境迁移到云设备上面），针对物理设备上云(virt-p2v)和虚拟机上云（开源的有virt-v2v）技术，现有技术都是在上云的过程中都需要关机后在对数据进行复制迁移。
传统的数据迁移步骤：1、通过virt-p2v/virt-v2v工具，让物理设备的磁盘转为云端（虚拟化的格式，通常使用RAW磁盘格式）；2、通过网络进行镜像复制传输（从物理设备复制到云端）。
传统的数据迁移出现的问题：1、为确保数据的一致性，通常关闭源设备（物理设备），这样基本上导致业务的损失；2、数据传输过程中，直接无法控制流量情况（物理设备所有对外的流量都基本用于传输）。
发明内容
本发明要解决的技术问题在于，提供一种自适应云数据迁移的方法，在迁移过程中无需对物理主机进行停机，保证了数据的一致性，并且在数据的迁移传输过程进行自适应网络传输，保证了业务数据得到优先传输。
为解决上述技术问题，本发明提供如下技术方案：一种自适应云数据迁移的方法，包括以下步骤：
步骤S1、物理主机的发送模块向云端主机发送迁移数据的请求；云端主机的接收分析模块收到请求后，与发送模块建立迁移数据的传输通道；
步骤S2、物理主机的发送模块对物理主机与云端主机之间的当前业务流量传输值进行检测，以及对物理主机的网络传输接口的最大网络流量传输值进行检测；
步骤S3、发送模块对当前业务流量传输值与最大网络流量传输值进行分析处理，获取迁移数据所需的传输带宽，并根据获取的迁移数据所需的传输带宽，物理主机向云端主机传输迁移数据。
进一步地，所述步骤S3具体为：
若当前业务流量传输值大于或等于90%最大网络流量传输值，则物理主机暂停向云端主机传输迁移数据；
若当前业务流量传输值大于或等于80%最大网络流量传输值且小于90%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为5%最大网络流量传输值；
若当前业务流量传输值大于或等于50%最大网络流量传输值且小于80%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为10%最大网络流量传输值；
若当前业务流量传输值大于或等于10%最大网络流量传输值且小于50%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为20%最大网络流量传输值；
若当前业务流量传输值小于10%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为50%最大网络流量传输值。
进一步地，所述步骤S3还包括：发送模块对迁移数据进行MD5计算并生成MD5对照值；发送模块将MD5对照值发送给云端主机。
进一步地，所述的一种自适应云数据迁移的方法，还包括步骤S4、云端主机的接收分析模块接收发送模块传输的迁移数据和MD5对照值后，对迁移数据进行MD5计算并生成MD5确认值；分析模块将MD5确认值和MD5对照值进行对比，若MD5确认值和MD5对照值一致，则接收分析模块将迁移数据保存在云端主机上；若MD5确认值和MD5对照值不一致，则接收分析模块将迁移数据丢弃，并发送重传迁移数据的指令至物理主机。
采用上述技术方案后，本发明至少具有如下有益效果：本发明通过自适应调节迁移数据的传输带宽，在无需关闭物理主机的状态下，保证了物理主机主要的当前业务流量（不属于传输迁移数据的流量）可以优先进行传输。
附图说明
图1为本发明一种自适应云数据迁移的方法。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。
实施例1
本实施例提供一种自适应云数据迁移的方法，如图1所示，包括以下步骤：
步骤S1、物理主机的发送模块向云端主机发送迁移数据的请求；云端主机的接收分析模块收到请求后，与发送模块建立迁移数据的传输通道；
步骤S2、物理主机的发送模块对物理主机与云端主机之间的当前业务流量传输值进行检测，以及对物理主机的网络传输接口的最大网络流量传输值进行检测；
步骤S3、发送模块对当前业务流量传输值与最大网络流量传输值进行分析处理后自适应地传输迁移数据，取迁移数据所需的传输带宽，并根据获取的迁移数据所需的传输带宽，物理主机向云端主机传输迁移数据；
所述步骤S3具体为：
若当前业务流量传输值大于或等于90%最大网络流量传输值（当前业务流量传输值≥90%最大网络流量传输值），则物理主机暂停向云端主机传输迁移数据；例如，当前业务流量传输值为9.5M带宽，而最大网络流量传输值为10M带宽，所以9.5M大于9M=90%最大网络流量传输值为10M带宽；
若当前业务流量传输值大于或等于80%最大网络流量传输值且小于90%最大网络流量传输值（80%最大网络流量传输值≤当前业务流量传输值〈90%最大网络流量传输值），则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为5%最大网络流量传输值；例如，当前业务流量传输值为8.5M带宽，而最大网络流量传输值为10M带宽，迁移数据的传输带宽为0.5M（5%最大网络流量传输值）；
若当前业务流量传输值大于或等于50%最大网络流量传输值且小于80%最大网络流量传输值（50%最大网络流量传输值≤当前业务流量传输值〈80%最大网络流量传输值），则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为10%最大网络流量传输值；例如，当前业务流量传输值为7M带宽，而最大网络流量传输值为10M带宽，迁移数据的传输带宽为1M（10%最大网络流量传输值）；
若当前业务流量传输值大于或等于10%最大网络流量传输值且小于50%最大网络流量传输值（10%最大网络流量传输值≤当前业务流量传输值〈50%最大网络流量传输值），则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为20%最大网络流量传输值；例如，当前业务流量传输值为3M带宽，而最大网络流量传输值为10M带宽，迁移数据的传输带宽为2M（20%最大网络流量传输值）；
若当前业务流量传输值小于10%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为50%最大网络流量传输值；例如，当前业务流量传输值为0.5M带宽，而最大网络流量传输值为10M带宽，迁移数据的传输带宽为50M（5%最大网络流量传输值）。
此步骤过程中，物理主机的发送模块不断地实时当前业务流量传输值，并根据对应的传输带宽对迁移数据进行传输，直至所有迁移数据均完成传输；
优选地，所述步骤S3还包括：发送模块对迁移数据进行MD5计算并生成MD5对照值；发送模块将MD5对照值发送给云端主机；
步骤S4、云端主机进行MD5确认并接收迁移数据：
云端主机的接收分析模块接收发送模块传输的迁移数据和MD5对照值后，对迁移数据进行MD5计算并生成MD5确认值；分析模块将MD5确认值和MD5对照值进行对比，若MD5确认值和MD5对照值一致，则接收分析模块将迁移数据保存在云端主机上；若MD5确认值和MD5对照值不一致，则接收分析模块将迁移数据丢弃，并发送重传迁移数据的指令至物理主机。
本实施例通过自适应调节迁移数据的传输带宽，在无需关闭物理主机的状态下，保证了物理主机主要的当前业务流量（不属于传输迁移数据的流量）可以优先进行传输。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (4)

1.一种自适应云数据迁移的方法，其特征在于，包括以下步骤：
步骤S1、物理主机的发送模块向云端主机发送迁移数据的请求；云端主机的接收分析模块收到请求后，与发送模块建立迁移数据的传输通道；
步骤S2、物理主机的发送模块对物理主机与云端主机之间的当前业务流量传输值进行检测，以及对物理主机的网络传输接口的最大网络流量传输值进行检测；
步骤S3、发送模块对当前业务流量传输值与最大网络流量传输值进行分析处理，获取迁移数据所需的传输带宽，并根据获取的迁移数据所需的传输带宽，物理主机向云端主机传输迁移数据。
2.根据权利要求1所述的一种自适应云数据迁移的方法，其特征在于，所述步骤S3具体为：
若当前业务流量传输值大于或等于90%最大网络流量传输值，则物理主机暂停向云端主机传输迁移数据；
若当前业务流量传输值大于或等于80%最大网络流量传输值且小于90%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为5%最大网络流量传输值；
若当前业务流量传输值大于或等于50%最大网络流量传输值且小于80%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为10%最大网络流量传输值；
若当前业务流量传输值大于或等于10%最大网络流量传输值且小于50%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为20%最大网络流量传输值；
若当前业务流量传输值小于10%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为50%最大网络流量传输值。
3.根据权利要求1或2所述的一种自适应云数据迁移的方法，其特征在于，所述步骤S3还包括：发送模块对迁移数据进行MD5计算并生成MD5对照值；发送模块将MD5对照值发送给云端主机。
4.根据权利要求3所述的一种自适应云数据迁移的方法，其特征在于，还包括步骤S4、云端主机的接收分析模块接收发送模块传输的迁移数据和MD5对照值后，对迁移数据进行MD5计算并生成MD5确认值；分析模块将MD5确认值和MD5对照值进行对比，若MD5确认值和MD5对照值一致，则接收分析模块将迁移数据保存在云端主机上；若MD5确认值和MD5对照值不一致，则接收分析模块将迁移数据丢弃，并发送重传迁移数据的指令至物理主机。
CN202110637029.0A 2021-06-08 2021-06-08 一种自适应云数据迁移的方法 Active CN113259473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110637029.0A CN113259473B (zh) 2021-06-08 2021-06-08 一种自适应云数据迁移的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110637029.0A CN113259473B (zh) 2021-06-08 2021-06-08 一种自适应云数据迁移的方法

Publications (2)

Publication Number Publication Date
CN113259473A true CN113259473A (zh) 2021-08-13
CN113259473B CN113259473B (zh) 2021-11-05

Family

ID=77187010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110637029.0A Active CN113259473B (zh) 2021-06-08 2021-06-08 一种自适应云数据迁移的方法

Country Status (1)

Country Link
CN (1) CN113259473B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081552A (zh) * 2009-12-01 2011-06-01 华为技术有限公司 一种物理机到虚拟机的在线迁移方法、装置和系统
CN102096461A (zh) * 2011-01-13 2011-06-15 浙江大学 基于虚拟机迁移和负载感知整合的云数据中心节能方法
WO2013005923A1 (ko) * 2011-07-04 2013-01-10 (주)케이티 물리서버를 가상 서버로 마이그레이션하는 장치 및 그 방법
CN102929715A (zh) * 2012-10-31 2013-02-13 曙光云计算技术有限公司 基于虚拟机迁移的网络资源调度方法和系统
CN103053146A (zh) * 2012-03-01 2013-04-17 华为技术有限公司 数据迁移方法和设备
CN105656969A (zh) * 2014-11-24 2016-06-08 中兴通讯股份有限公司 一种虚拟机迁移决策方法及装置
CN106775993A (zh) * 2017-02-15 2017-05-31 郑州云海信息技术有限公司 一种物理机迁移至云计算平台的方法及系统
CN110347483A (zh) * 2018-04-08 2019-10-18 中兴通讯股份有限公司 物理机到虚拟机迁移方法、装置及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081552A (zh) * 2009-12-01 2011-06-01 华为技术有限公司 一种物理机到虚拟机的在线迁移方法、装置和系统
CN102096461A (zh) * 2011-01-13 2011-06-15 浙江大学 基于虚拟机迁移和负载感知整合的云数据中心节能方法
WO2013005923A1 (ko) * 2011-07-04 2013-01-10 (주)케이티 물리서버를 가상 서버로 마이그레이션하는 장치 및 그 방법
CN103053146A (zh) * 2012-03-01 2013-04-17 华为技术有限公司 数据迁移方法和设备
CN102929715A (zh) * 2012-10-31 2013-02-13 曙光云计算技术有限公司 基于虚拟机迁移的网络资源调度方法和系统
CN105656969A (zh) * 2014-11-24 2016-06-08 中兴通讯股份有限公司 一种虚拟机迁移决策方法及装置
CN106775993A (zh) * 2017-02-15 2017-05-31 郑州云海信息技术有限公司 一种物理机迁移至云计算平台的方法及系统
CN110347483A (zh) * 2018-04-08 2019-10-18 中兴通讯股份有限公司 物理机到虚拟机迁移方法、装置及存储介质

Also Published As

Publication number Publication date
CN113259473B (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
JP6251205B2 (ja) モニタリング装置、モニタリング方法およびモニタリングプログラム
US9270608B2 (en) Multi-stage large send offload
US10838873B2 (en) Method, apparatus, and computer program product for managing addresses in distributed system
CN104199716B (zh) 一种虚拟机热迁移的方法、物理主机及系统
CN112039722B (zh) 一种mqtt协议仿真方法及仿真设备
US10263838B2 (en) Assigning resources to a workload that utilizes embedded computing entities
CN113806097B (zh) 一种数据处理方法、装置、电子设备以及存储介质
JP2022509292A (ja) 通信方法および装置、電子機器並びに記憶媒体
WO2023216621A1 (zh) 云桌面的图像处理方法、装置、服务器和存储介质
US11048555B2 (en) Method, apparatus, and computer program product for optimizing execution of commands in a distributed system
US11741045B2 (en) Format agnostic database migration
CN113259473B (zh) 一种自适应云数据迁移的方法
CN114866533A (zh) 一种文件上传方法、装置及电子设备
CN116866047A (zh) 工业设备网络中恶意设备的确定方法、介质及设备
CN111124256B (zh) 管理存储的方法、设备和计算机程序产品
US12093553B2 (en) Method, device, and computer program product for managing machine learning model
US11662927B2 (en) Redirecting access requests between access engines of respective disk management devices
US10325096B1 (en) Modifying a portion of a read-only file system
CN111796903A (zh) 一种虚拟机的迁移方法、服务器和计算机存储介质
WO2022199206A9 (zh) 用于虚拟机的内存共享方法及装置
CN115514757A (zh) 一种数据安全处理方法和装置
US11281774B2 (en) System and method of optimizing antivirus scanning of files on virtual machines
CN116028317A (zh) 训练故障分析模型的方法、电子设备和计算机程序产品
CN114063879B (zh) 用于处理操作命令的方法、电子设备和存储介质
US11520602B2 (en) Generating configuration corrections for applications using a classifier model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant