CN113259473B - 一种自适应云数据迁移的方法 - Google Patents
一种自适应云数据迁移的方法 Download PDFInfo
- Publication number
- CN113259473B CN113259473B CN202110637029.0A CN202110637029A CN113259473B CN 113259473 B CN113259473 B CN 113259473B CN 202110637029 A CN202110637029 A CN 202110637029A CN 113259473 B CN113259473 B CN 113259473B
- Authority
- CN
- China
- Prior art keywords
- value
- data
- transmission value
- migration data
- maximum network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种自适应云数据迁移的方法，步骤包括：物理主机的发送模块向云端主机发送迁移数据的请求；云端主机的接收分析模块收到请求后，与发送模块建立迁移数据的传输通道；物理主机的发送模块对物理主机与云端主机之间的当前业务流量传输值进行检测，以及对物理主机的网络传输接口的最大网络流量传输值进行检测；发送模块对当前业务流量传输值与最大网络流量传输值进行分析处理，获取迁移数据所需的传输带宽，并根据获取的迁移数据所需的传输带宽，物理主机向云端主机传输迁移数据。本发明自适应传输迁移数据且传输过程无需关闭物理主机，并保证了物理主机的当前业务流量可以优先进行传输。
Description
技术领域
本发明涉及计算机数据迁移技术领域，特别涉及一种自适应云数据迁移的方法。
背景技术
随着互联网云计算的发展，越来越多物理主机需要进行云数据的迁移，物理主机上云迁移（物理设备的环境迁移到云设备上面），针对物理设备上云(virt-p2v)和虚拟机上云（开源的有virt-v2v）技术，现有技术都是在上云的过程中都需要关机后在对数据进行复制迁移。
传统的数据迁移步骤：1、通过virt-p2v/virt-v2v工具，让物理设备的磁盘转为云端（虚拟化的格式，通常使用RAW磁盘格式）；2、通过网络进行镜像复制传输（从物理设备复制到云端）。
传统的数据迁移出现的问题：1、为确保数据的一致性，通常关闭源设备（物理设备），这样基本上导致业务的损失；2、数据传输过程中，直接无法控制流量情况（物理设备所有对外的流量都基本用于传输）。
发明内容
本发明要解决的技术问题在于，提供一种自适应云数据迁移的方法，在迁移过程中无需对物理主机进行停机，保证了数据的一致性，并且在数据的迁移传输过程进行自适应网络传输，保证了业务数据得到优先传输。
为解决上述技术问题，本发明提供如下技术方案：一种自适应云数据迁移的方法，包括以下步骤：
步骤S1、物理主机的发送模块向云端主机发送迁移数据的请求；云端主机的接收分析模块收到请求后，与发送模块建立迁移数据的传输通道；
步骤S2、物理主机的发送模块对物理主机与云端主机之间的当前业务流量传输值进行检测，以及对物理主机的网络传输接口的最大网络流量传输值进行检测；
步骤S3、发送模块对当前业务流量传输值与最大网络流量传输值进行分析处理，获取迁移数据所需的传输带宽，并根据获取的迁移数据所需的传输带宽，物理主机向云端主机传输迁移数据。
进一步地，所述步骤S3具体为：
若当前业务流量传输值大于或等于90%最大网络流量传输值，则物理主机暂停向云端主机传输迁移数据；
若当前业务流量传输值大于或等于80%最大网络流量传输值且小于90%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为5%最大网络流量传输值；
若当前业务流量传输值大于或等于50%最大网络流量传输值且小于80%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为10%最大网络流量传输值；
若当前业务流量传输值大于或等于10%最大网络流量传输值且小于50%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为20%最大网络流量传输值；
若当前业务流量传输值小于10%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为50%最大网络流量传输值。
进一步地，所述步骤S3还包括：发送模块对迁移数据进行MD5计算并生成MD5对照值；发送模块将MD5对照值发送给云端主机。
进一步地，所述的一种自适应云数据迁移的方法，还包括步骤S4、云端主机的接收分析模块接收发送模块传输的迁移数据和MD5对照值后，对迁移数据进行MD5计算并生成MD5确认值；分析模块将MD5确认值和MD5对照值进行对比，若MD5确认值和MD5对照值一致，则接收分析模块将迁移数据保存在云端主机上；若MD5确认值和MD5对照值不一致，则接收分析模块将迁移数据丢弃，并发送重传迁移数据的指令至物理主机。
采用上述技术方案后，本发明至少具有如下有益效果：本发明通过自适应调节迁移数据的传输带宽，在无需关闭物理主机的状态下，保证了物理主机主要的当前业务流量（不属于传输迁移数据的流量）可以优先进行传输。
附图说明
图1为本发明一种自适应云数据迁移的方法。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。
实施例1
本实施例提供一种自适应云数据迁移的方法，如图1所示，包括以下步骤：
步骤S1、物理主机的发送模块向云端主机发送迁移数据的请求；云端主机的接收分析模块收到请求后，与发送模块建立迁移数据的传输通道；
步骤S2、物理主机的发送模块对物理主机与云端主机之间的当前业务流量传输值进行检测，以及对物理主机的网络传输接口的最大网络流量传输值进行检测；
步骤S3、发送模块对当前业务流量传输值与最大网络流量传输值进行分析处理后自适应地传输迁移数据，取迁移数据所需的传输带宽，并根据获取的迁移数据所需的传输带宽，物理主机向云端主机传输迁移数据；
所述步骤S3具体为：
若当前业务流量传输值大于或等于90%最大网络流量传输值（当前业务流量传输值≥90%最大网络流量传输值），则物理主机暂停向云端主机传输迁移数据；例如，当前业务流量传输值为9.5M带宽，而最大网络流量传输值为10M带宽，所以9.5M大于9M=90%最大网络流量传输值为10M带宽；
若当前业务流量传输值大于或等于80%最大网络流量传输值且小于90%最大网络流量传输值（80%最大网络流量传输值≤当前业务流量传输值〈90%最大网络流量传输值），则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为5%最大网络流量传输值；例如，当前业务流量传输值为8.5M带宽，而最大网络流量传输值为10M带宽，迁移数据的传输带宽为0.5M（5%最大网络流量传输值）；
若当前业务流量传输值大于或等于50%最大网络流量传输值且小于80%最大网络流量传输值（50%最大网络流量传输值≤当前业务流量传输值〈80%最大网络流量传输值），则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为10%最大网络流量传输值；例如，当前业务流量传输值为7M带宽，而最大网络流量传输值为10M带宽，迁移数据的传输带宽为1M（10%最大网络流量传输值）；
若当前业务流量传输值大于或等于10%最大网络流量传输值且小于50%最大网络流量传输值（10%最大网络流量传输值≤当前业务流量传输值〈50%最大网络流量传输值），则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为20%最大网络流量传输值；例如，当前业务流量传输值为3M带宽，而最大网络流量传输值为10M带宽，迁移数据的传输带宽为2M（20%最大网络流量传输值）；
若当前业务流量传输值小于10%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为50%最大网络流量传输值；例如，当前业务流量传输值为0.5M带宽，而最大网络流量传输值为10M带宽，迁移数据的传输带宽为50M（5%最大网络流量传输值）。
此步骤过程中，物理主机的发送模块不断地实时当前业务流量传输值，并根据对应的传输带宽对迁移数据进行传输，直至所有迁移数据均完成传输；
优选地，所述步骤S3还包括：发送模块对迁移数据进行MD5计算并生成MD5对照值；发送模块将MD5对照值发送给云端主机；
步骤S4、云端主机进行MD5确认并接收迁移数据：
云端主机的接收分析模块接收发送模块传输的迁移数据和MD5对照值后，对迁移数据进行MD5计算并生成MD5确认值；分析模块将MD5确认值和MD5对照值进行对比，若MD5确认值和MD5对照值一致，则接收分析模块将迁移数据保存在云端主机上；若MD5确认值和MD5对照值不一致，则接收分析模块将迁移数据丢弃，并发送重传迁移数据的指令至物理主机。
本实施例通过自适应调节迁移数据的传输带宽，在无需关闭物理主机的状态下，保证了物理主机主要的当前业务流量（不属于传输迁移数据的流量）可以优先进行传输。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。
Claims (3)
1.一种自适应云数据迁移的方法，其特征在于，包括以下步骤：
步骤S1、物理主机的发送模块向云端主机发送迁移数据的请求；云端主机的接收分析模块收到请求后，与发送模块建立迁移数据的传输通道；
步骤S2、物理主机的发送模块对物理主机与云端主机之间的当前业务流量传输值进行检测，以及对物理主机的网络传输接口的最大网络流量传输值进行检测；
步骤S3、发送模块对当前业务流量传输值与最大网络流量传输值进行分析处理，获取迁移数据所需的传输带宽，并根据获取的迁移数据所需的传输带宽，物理主机向云端主机传输迁移数据；
所述步骤S3具体为：
若当前业务流量传输值大于或等于90%最大网络流量传输值，则物理主机暂停向云端主机传输迁移数据；
若当前业务流量传输值大于或等于80%最大网络流量传输值且小于90%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为5%最大网络流量传输值；
若当前业务流量传输值大于或等于50%最大网络流量传输值且小于80%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为10%最大网络流量传输值；
若当前业务流量传输值大于或等于10%最大网络流量传输值且小于50%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为20%最大网络流量传输值；
若当前业务流量传输值小于10%最大网络流量传输值，则物理主机向云端主机传输迁移数据，且迁移数据的传输带宽为50%最大网络流量传输值。
2.根据权利要求1所述的一种自适应云数据迁移的方法，其特征在于，所述步骤S3还包括：发送模块对迁移数据进行MD5计算并生成MD5对照值；发送模块将MD5对照值发送给云端主机。
3.根据权利要求2所述的一种自适应云数据迁移的方法，其特征在于，还包括步骤S4、云端主机的接收分析模块接收发送模块传输的迁移数据和MD5对照值后，对迁移数据进行MD5计算并生成MD5确认值；分析模块将MD5确认值和MD5对照值进行对比，若MD5确认值和MD5对照值一致，则接收分析模块将迁移数据保存在云端主机上；若MD5确认值和MD5对照值不一致，则接收分析模块将迁移数据丢弃，并发送重传迁移数据的指令至物理主机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110637029.0A CN113259473B (zh) | 2021-06-08 | 2021-06-08 | 一种自适应云数据迁移的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110637029.0A CN113259473B (zh) | 2021-06-08 | 2021-06-08 | 一种自适应云数据迁移的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113259473A CN113259473A (zh) | 2021-08-13 |
| CN113259473B true CN113259473B (zh) | 2021-11-05 |
Family
ID=77187010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110637029.0A Active CN113259473B (zh) | 2021-06-08 | 2021-06-08 | 一种自适应云数据迁移的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113259473B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102081552A (zh) * | 2009-12-01 | 2011-06-01 | 华为技术有限公司 | 一种物理机到虚拟机的在线迁移方法、装置和系统 |
| CN102929715A (zh) * | 2012-10-31 | 2013-02-13 | 曙光云计算技术有限公司 | 基于虚拟机迁移的网络资源调度方法和系统 |
| CN103053146A (zh) * | 2012-03-01 | 2013-04-17 | 华为技术有限公司 | 数据迁移方法和设备 |
| CN105656969A (zh) * | 2014-11-24 | 2016-06-08 | 中兴通讯股份有限公司 | 一种虚拟机迁移决策方法及装置 |
| CN106775993A (zh) * | 2017-02-15 | 2017-05-31 | 郑州云海信息技术有限公司 | 一种物理机迁移至云计算平台的方法及系统 |
| CN110347483A (zh) * | 2018-04-08 | 2019-10-18 | 中兴通讯股份有限公司 | 物理机到虚拟机迁移方法、装置及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102096461B (zh) * | 2011-01-13 | 2013-06-19 | 浙江大学 | 基于虚拟机迁移和负载感知整合的云数据中心节能方法 |
| KR101493827B1 (ko) * | 2011-07-04 | 2015-02-17 | 주식회사 케이티 | 물리서버를 가상 서버로 마이그레이션하는 장치 및 그 방법 |
-
2021
- 2021-06-08 CN CN202110637029.0A patent/CN113259473B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102081552A (zh) * | 2009-12-01 | 2011-06-01 | 华为技术有限公司 | 一种物理机到虚拟机的在线迁移方法、装置和系统 |
| CN103053146A (zh) * | 2012-03-01 | 2013-04-17 | 华为技术有限公司 | 数据迁移方法和设备 |
| CN102929715A (zh) * | 2012-10-31 | 2013-02-13 | 曙光云计算技术有限公司 | 基于虚拟机迁移的网络资源调度方法和系统 |
| CN105656969A (zh) * | 2014-11-24 | 2016-06-08 | 中兴通讯股份有限公司 | 一种虚拟机迁移决策方法及装置 |
| CN106775993A (zh) * | 2017-02-15 | 2017-05-31 | 郑州云海信息技术有限公司 | 一种物理机迁移至云计算平台的方法及系统 |
| CN110347483A (zh) * | 2018-04-08 | 2019-10-18 | 中兴通讯股份有限公司 | 物理机到虚拟机迁移方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113259473A (zh) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6251205B2 (ja) | モニタリング装置、モニタリング方法およびモニタリングプログラム | |
| US9270608B2 (en) | Multi-stage large send offload | |
| WO2020221190A1 (zh) | 小程序状态同步方法、设备和计算机存储介质 | |
| US20190004847A1 (en) | Communications between virtual dual control modules in virtual machine environment | |
| US10838873B2 (en) | Method, apparatus, and computer program product for managing addresses in distributed system | |
| CN110430444B (zh) | 一种视频流处理方法及系统 | |
| CN112039722B (zh) | 一种mqtt协议仿真方法及仿真设备 | |
| JP2022509292A (ja) | 通信方法および装置、電子機器並びに記憶媒体 | |
| US11089081B1 (en) | Inter-process rendering pipeline for shared process remote web content rendering | |
| WO2018236691A1 (en) | SYSTEMS AND METHODS FOR PERFORMING SOFTWARE APPLICATIONS ON DISTRIBUTED APPLICATION DEVELOPMENT ENVIRONMENTS | |
| CN113259473B (zh) | 一种自适应云数据迁移的方法 | |
| US20200137184A1 (en) | Methods, devices, and computer program products for processing target data | |
| US11048555B2 (en) | Method, apparatus, and computer program product for optimizing execution of commands in a distributed system | |
| CN111158782B (zh) | 一种基于DPDK技术的Nginx配置热更新系统和方法 | |
| CN111124256B (zh) | 管理存储的方法、设备和计算机程序产品 | |
| US20220343209A1 (en) | Method, device, and computer program product for managing machine learning model | |
| US11662927B2 (en) | Redirecting access requests between access engines of respective disk management devices | |
| US10325096B1 (en) | Modifying a portion of a read-only file system | |
| US11741045B2 (en) | Format agnostic database migration | |
| CN111796903A (zh) | 一种虚拟机的迁移方法、服务器和计算机存储介质 | |
| WO2022199206A9 (zh) | 用于虚拟机的内存共享方法及装置 | |
| US10452408B1 (en) | System and method for intercepting data flow between a computer process and a file | |
| CN111210505A (zh) | 3d模型加载方法、服务器、存储介质、处理器 | |
| US20190121563A1 (en) | Performance of Dispersed Location-Based Deduplication | |
| CN114063879B (zh) | 用于处理操作命令的方法、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |