CN114281246B - 一种基于云管理平台的云硬盘在线迁移方法、装置、设备 - Google Patents
一种基于云管理平台的云硬盘在线迁移方法、装置、设备 Download PDFInfo
- Publication number
- CN114281246B CN114281246B CN202111426061.0A CN202111426061A CN114281246B CN 114281246 B CN114281246 B CN 114281246B CN 202111426061 A CN202111426061 A CN 202111426061A CN 114281246 B CN114281246 B CN 114281246B
- Authority
- CN
- China
- Prior art keywords
- hard disk
- cloud hard
- data
- service quality
- storage back
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 74
- 230000005012 migration Effects 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000011084 recovery Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 39
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000010076 replication Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003818 cinder Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于云存储技术领域，具体提供一种基于云管理平台的云硬盘在线迁移方法、装置、设备，所述方法包括如下步骤：接收到迁移请求时，根据请求中的云硬盘类型选择源存储后端；创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘；获取源云硬盘的服务质量和目的云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上；使用源云硬盘的服务质量读取源云硬盘的数据进行压缩处理后进行保存；使用目的云硬盘的服务质量对模拟处理器块存储中的数据进行数据恢复后复制到目的云硬盘中；复制成功后，将源存储后端的云硬盘删除。解决源和目的云硬盘服务质量不同时无法进行在线迁移的问题。
Description
技术领域
本发明涉及云存储技术领域，具体涉及一种基于云管理平台的云硬盘在线迁移方法、装置、设备。
背景技术
OpenStack是一个云管理平台，为用户提供完整的云主机生命周期管理。其中块存储服务提供的云硬盘，主要用来给云主机提供块存储空间，用户可以在线创建云硬盘并挂载给云主机。对云硬盘的生命周期管理，除了简单的创建、修改、删除基本操作外，还可以进行迁移、快照、备份操作。随着云计算技术的普遍应用和技术的不断发展，公有云中使用的存储后端种类越来越多，为了满足云主机调整存储业务性能的诉求，实现不同存储后端之间的数据迁移成为必要的功能。云硬盘迁移指的是将一个云硬盘从一个存储后端迁移到另一个存储后端上，这个功能可以根据业务负载情况选择不同的存储后端，可以提升存储资源的利用率。
云硬盘QoS，QoS,即服务质量，在网络业务中，QoS包括传输的带宽、时延等。由于云平台业务的多样性，对于带宽、时延等传输性能有要求的，可以针对不同类型的云硬盘做相应的IO流速限制。例如读写速率等。
一个存储后端对应一个云硬盘类型，可以对云硬盘类型设置QoS，从而达到流速限制的功能。云主机在进行迁移，对云硬盘进行在线迁移时，通过选择云硬盘类型选择存储后端，进而迁移到另一个存储后端上，但是有一个限制，需要迁移的云硬盘配置的QoS与迁移时选择的云硬盘类型的QoS一致，如果QoS不一致时云硬盘会迁移失败。
发明内容
针对云主机迁移时，对挂载的云硬盘进行在线迁移时，避免所迁移的云硬盘与要迁移的存储后端对应的云硬盘类型的QoS不一致时，导致迁移失败的情况，给用户带来不易用的体验的问题，本发明提供一种基于云管理平台的云硬盘在线迁移方法、装置、设备。
本发明的技术方案是：
第一方面，本发明技术方案提供一种基于云管理平台的云硬盘在线迁移方法，包括如下步骤：
接收到在线迁移请求时，根据请求中的云硬盘类型选择源存储后端；
创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘；
空白云硬盘创建成功后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上；
使用源存储后端云硬盘的服务质量读取源存储后端云硬盘的数据进行压缩处理后保存在模拟处理器块存储中；
使用目的存储后端云硬盘的服务质量对模拟处理器块存储中的数据进行数据恢复后复制到目的存储后端云硬盘中；
数据复制成功后，将源存储后端的云硬盘删除。
避免所迁移的云硬盘与要迁移的存储后端对应的云硬盘类型的服务质量不一致时，导致迁移失败的情况，给用户带来不易用的体验。
进一步的，接收到在线迁移请求时，根据请求中的云硬盘类型选择源存储后端的步骤包括：
块存储模块的接口接收到用户发起的在线迁移请求后，将消息通过消息队列发送到块存储宿主机；
块存储宿主机接收到消息后根据用户请求中的云硬盘类型选择源存储后端。
进一步的，创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘的步骤包括：
块存储宿主机将消息发送给存储卷服务；
存储卷服务接收到消息后通过消息队列将消息发送给目的存储后端的存储卷服务；
目的存储后端的存储卷服务接收到消息后，创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘。
进一步的，空白云硬盘创建成功后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上的步骤包括：
空白云硬盘创建成功后，调用计算模块交换卷接口将迁移消息通过计算模块接口发送给计算主机；
接收到迁移消息后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上。
将源存储后端云硬盘和目的存储后端云硬盘的服务质量都保存在模拟处理器块存储设备上，解决源和目的存储后端云硬盘服务质量不同时无法进行在线迁移的问题。
进一步的，使用源存储后端云硬盘的服务质量读取源存储后端云硬盘的数据进行压缩处理后保存在模拟处理器块存储中的步骤包括：
使用源存储后端云硬盘的服务质量将源存储后端云硬盘根据设定的偏移量分成数据块；
对数据块进行压缩，形成压缩后的数据块并将压缩后的数据块保存在模拟处理器块存储中；
将源存储后端云硬盘起始偏移量和压缩后的数据块大小记录在数据库中。
进一步的，使用目的存储后端云硬盘的服务质量对模拟处理器块存储中的数据进行数据恢复后复制到目的存储后端云硬盘中的步骤包括：
使用目的存储后端云硬盘的服务质量，根据数据库中记录的起始偏移量和压缩后的数据块大小，定位恢复起始写入偏移量，读取数据块大小，依次恢复所有数据块，将数据复制到目的存储后端云硬盘中。
进一步的，为了保证数据的准确性，该方法还包括：
迁移过程中实时监测源存储后端云硬盘中是否有新数据；
当监测到有新数据时，将数据复制到目的存储后端云硬盘中。
进一步的，为了保证数据一致性，使用目的存储后端云硬盘的服务质量对模拟处理器块存储中的数据进行数据恢复后复制到目的存储后端云硬盘中的步骤之后包括:
每隔设定的时间使用md5sum工具对源存储后端云硬盘数据与目的存储后端云硬盘的数据进行校验；当某个时间点校验数据不一致时，将当前时间点到上一时间点中间的数据重新复制。
第二方面，本发明技术方案还提供一种基于云管理平台的云硬盘在线迁移装置，包括请求接收处理组件、创建组件、服务质量设置组件、读处理组件、写处理组件、删除组件；
请求接收处理组件，用于接收到在线迁移请求时，根据请求中的云硬盘类型选择源存储后端；
创建组件，用于创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘；
服务质量设置组件，用于空白云硬盘创建成功后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上；
读处理组件，用于使用源存储后端云硬盘的服务质量读取源存储后端云硬盘的数据进行压缩处理后保存在模拟处理器块存储中；
写处理组件，用于使用目的存储后端云硬盘的服务质量对模拟处理器块存储中的数据进行数据恢复后复制到目的存储后端云硬盘中；
删除组件，用于数据复制成功后，将源存储后端的云硬盘删除。
进一步的，请求接收处理组件包括块存储模块的接口、块存储宿主机；
块存储模块的接口，用于接收到用户发起的在线迁移请求后，将消息通过消息队列发送到块存储宿主机；
块存储宿主机，用于接收到消息后根据用户请求中的云硬盘类型选择源存储后端。
进一步的，创建组件包括源存储后端的存储卷服务和目的存储后端的存储卷服务；
源存储后端的存储卷服务，用于接收到块存储宿主机发送的消息后通过消息队列将消息发送给目的存储后端的存储卷服务；
目的存储后端的存储卷服务，用于接收到消息后，创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘。
进一步的，服务质量设置组件包括调用模块、计算主机；
调用模块，用于空白云硬盘创建成功后，调用计算模块交换卷接口将迁移消息通过计算模块接口发送给计算主机；
计算主机，用于接收到迁移消息后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上。
进一步的，读处理组件包括数据划分模块、压缩处理模块、存储执行模块；
数据划分模块，用于使用源存储后端云硬盘的服务质量将源存储后端云硬盘根据设定的偏移量分成数据块；
压缩处理模块，用于对数据块进行压缩，形成压缩后的数据块并将压缩后的数据块保存在模拟处理器块存储中；
存储执行模块，用于将源存储后端云硬盘起始偏移量和压缩后的数据块大小记录在数据库中。
进一步的，写处理组件包括定位恢复模块、数据恢复模块、复制模块；
定位恢复模块，用于使用目的存储后端云硬盘的服务质量，根据数据库中记录的起始偏移量和压缩后的数据块大小，定位恢复起始写入偏移量；
数据恢复模块，用于读取数据块大小，根据定位恢复模块恢复的起始偏移量依次恢复所有数据块；
复制模块，用于将数据复制到目的存储后端云硬盘中。
进一步的，为了保证数据的准确性，该装置还包括监测模块；
监测模块，用于实时监测源存储后端云硬盘中是否有新数据；当监测到有新数据时，通过读处理组件和写处理组件将数据复制到目的存储后端云硬盘中。
进一步的，为了保证数据一致性，该装置还包括校验模块；
校验模块，用于每隔设定的时间使用md5sum工具对源存储后端云硬盘数据与目的存储后端云硬盘的数据进行校验；当某个时间点校验数据不一致时，复制模块将当前时间点到上一时间点中间的数据重新复制。
第三方面，本发明技术方案还提供一种计算机设备，包括处理器和存储器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如第一方面所述的基于云管理平台的云硬盘在线迁移方法。
从以上技术方案可以看出，本发明具有以下优点：在云硬盘在线迁移时，通过模拟处理器将源云硬盘和目的云硬盘的QoS都保存在模拟处理器存储块设备上，使云主机进行IO请求时，读操作使用源云硬盘的QoS，写操作使用目的云硬盘的QoS，解决源和目的云硬盘QoS不同时无法进行在线迁移的问题。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的方法的数据复制过程示意图。
图3是本发明一个实施例的方法的数据迁移过程示意图。
图4是本发明一个实施例的装置的示意性框图。
图中，11-请求接收处理组件，22-创建组件，33-服务质量设置组件，44-读处理组件，55-写处理组件，66-删除组件。
具体实施方式
一个存储后端对应一个云硬盘类型，可以对云硬盘类型设置QoS(服务质量)，从而达到流速限制的功能。在进行迁移，对云硬盘进行在线迁移时，通过选择云硬盘类型选择存储后端，进而迁移到另一个存储后端上，但是有一个限制，需要迁移的云硬盘配置的QoS与迁移时选择的云硬盘类型的QoS一致，如果QoS不一致时云硬盘会迁移失败。本发明在云硬盘在线迁移时，通过Qemu将源存储后端云硬盘和目的存储后端云硬盘的QoS都保存在qume-block设备上，使云主机进行IO请求时，读操作使用源存储后端云硬盘的QoS，写操作使用目的存储后端云硬盘的QoS，解决源和目的存储后端云硬盘QoS不同时无法进行在线迁移的问题。
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，下述实施例中:
源存储后端云硬盘:同源云硬盘；
目的存储后端云硬盘:同目的云硬盘；
模拟处理器块存储:同qume-block；
模拟处理器:同Qemu；
块存储模块的接口:同cinder-api；
块存储宿主机:同cinder-scheduler；
存储卷:同cinder-volume；
计算模块接口:同nova_api；
计算主机:同nova_compute。
如图1所示，本发明技术方案提供一种基于云管理平台的云硬盘在线迁移方法，包括如下步骤：
步骤1：接收到在线迁移请求时，根据请求中的云硬盘类型选择源存储后端；
步骤2：创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘；
步骤3：空白云硬盘创建成功后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上；
步骤4：使用源存储后端云硬盘的服务质量读取源存储后端云硬盘的数据进行压缩处理后保存在模拟处理器块存储中；
步骤5：使用目的存储后端云硬盘的服务质量对模拟处理器块存储中的数据进行数据恢复后复制到目的存储后端云硬盘中；
步骤6：数据复制成功后，将源存储后端的云硬盘删除。
在有些实施例中，步骤1中，接收到在线迁移请求时，根据请求中的云硬盘类型选择源存储后端的步骤包括：
步骤11：块存储模块的接口接收到用户发起的在线迁移请求后，将消息通过消息队列发送到块存储宿主机；
在对云硬盘进行在线迁移时，用户向cinder-api发起迁移请求，cinder-api接收到请求后，将消息发送给消息队列(Message Queue)，Message Queue收到消息后，通知cinder-scheduler；
步骤12：块存储宿主机接收到消息后根据用户请求中的云硬盘类型选择源存储后端。
在有些实施例中，步骤2中创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘的步骤包括：
步骤21：块存储宿主机将消息发送给存储卷服务；
cinder-scheduler接受到消息后，cinder-scheduler会给cinder-volume服务发消息；
步骤22：存储卷服务接收到消息后通过消息队列将消息发送给目的存储后端的存储卷服务；
cinder-volume收到消息后开始进行迁移操作，会通过消息队列Message Queue发送给另一个存储后端所对应的cinder-volume，即目的存储后端，实际上是通知该目的存储后端的cinder-volume创建一个新的空白云硬盘；
步骤23：目的存储后端的存储卷服务接收到消息后，创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘。
在有些实施例中，步骤3所述的空白云硬盘创建成功后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上的步骤包括：
步骤31：空白云硬盘创建成功后，调用计算模块交换卷接口将迁移消息通过计算模块接口发送给计算主机；
步骤32：接收到迁移消息后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上。在目的存储后端的cinder-volume上创建空白云硬盘成功后，调用nova模块交换卷接口(swap volume)接口，最终利用qeme的live block copy技术进行数据的复制。
实际上设计步骤3的目的是实现源云硬盘的QoS与目的云硬盘的QoS不同时，还能进行云硬盘的迁移操作。
cinder模块负责QoS数据的记录，记录在数据库中，nova模块负责接收QoS的信息。当在进行云硬盘迁移操作时，调用nova的交换卷接口，通知nova_api云硬盘要进行迁移操作，nova_api将消息发送给nova_compute，nova_compute负责接收QoS的信息，先获取源云硬盘的QoS和目的云硬盘的QoS，并将QoS通过Qemu的接口设置到对应的qume-block设备上。
如图2-3所示，在有些实施例中，步骤4所述的使用源存储后端云硬盘的服务质量读取源存储后端云硬盘的数据进行压缩处理后保存在模拟处理器块存储中的步骤包括：
步骤41：使用源存储后端云硬盘的服务质量将源存储后端云硬盘根据设定的偏移量分成数据块；
QoS通过Qemu的接口设置到对应的qume-block设备上，使云主机进行IO请求时生效，先进行数据读操作，使用源云硬盘的QoS,将源云硬盘根据一定的偏移量offset1-offset2(根据需要设置)分成小的数据块。
步骤42：对数据块进行压缩，形成压缩后的数据块并将压缩后的数据块保存在模拟处理器块存储中；
步骤43：将源存储后端云硬盘起始偏移量和压缩后的数据块大小记录在数据库中；offset1：size1，offset2：size2记录在数据库中；
在有些实施例中，步骤5中所述的使用目的存储后端云硬盘的服务质量对模拟处理器块存储中的数据进行数据恢复后复制到目的存储后端云硬盘中的步骤包括：
使用目的存储后端云硬盘的服务质量，根据数据库中记录的起始偏移量和压缩后的数据块大小，定位恢复起始写入偏移量，读取数据块大小，依次恢复所有数据块，将数据复制到目的存储后端云硬盘中。
步骤4中进行源云硬盘数据的读取，步骤5中将读取的数据写入目的云硬盘实现数据迁移。
在有些实施例中，为了保证数据的准确性，迁移过程中实时监测源存储后端云硬盘中是否有新数据；当监测到有新数据时，将数据复制到目的存储后端云硬盘中。
在有些实施例中，为了保证数据一致性，步骤5使用目的存储后端云硬盘的服务质量对模拟处理器块存储中的数据进行数据恢复后复制到目的存储后端云硬盘中的步骤之后包括:
每隔设定的时间使用md5sum工具对源存储后端云硬盘数据与目的存储后端云硬盘的数据进行校验；当某个时间点校验数据不一致时，将当前时间点到上一时间点中间的数据重新复制。
需要说明的是，当数据复制成功后，nova_compute通知cinder_api迁移成功，然后将源云硬盘删除，完成在线迁移操作。可以是OpenStack的组件cinder将源云硬盘删除。
如图4所示，本发明实施例还提供一种基于云管理平台的云硬盘在线迁移装置，包括请求接收处理组件11、创建组件22、服务质量设置组件33、读处理组件44、写处理组件55、删除组件66；
请求接收处理组件11，用于接收到在线迁移请求时，根据请求中的云硬盘类型选择源存储后端；
创建组件22，用于创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘；
服务质量设置组件33，用于空白云硬盘创建成功后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上；
读处理组件44，用于使用源存储后端云硬盘的服务质量读取源存储后端云硬盘的数据进行压缩处理后保存在模拟处理器块存储中；
写处理组件55，用于使用目的存储后端云硬盘的服务质量对模拟处理器块存储中的数据进行数据恢复后复制到目的存储后端云硬盘中；
删除组件66，用于数据复制成功后，将源存储后端的云硬盘删除。
在有些实施例中，请求接收处理组件11包括块存储模块的接口、块存储宿主机；
块存储模块的接口，用于接收到用户发起的在线迁移请求后，将消息通过消息队列发送到块存储宿主机；
块存储宿主机，用于接收到消息后根据用户请求中的云硬盘类型选择源存储后端。
在有些实施例中，创建组件22包括源存储后端的存储卷服务和目的存储后端的存储卷服务；
源存储后端的存储卷服务，用于接收到块存储宿主机发送的消息后通过消息队列将消息发送给目的存储后端的存储卷服务；
目的存储后端的存储卷服务，用于接收到消息后，创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘。
在有些实施例中，服务质量设置组件33包括调用模块、计算主机；
调用模块，用于空白云硬盘创建成功后，调用计算模块交换卷接口将迁移消息通过计算模块接口发送给计算主机；
计算主机，用于接收到迁移消息后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上。
在有些实施例中，读处理组件44包括数据划分模块、压缩处理模块、存储执行模块；
数据划分模块，用于使用源存储后端云硬盘的服务质量将源存储后端云硬盘根据设定的偏移量分成数据块；
压缩处理模块，用于对数据块进行压缩，形成压缩后的数据块并将压缩后的数据块保存在模拟处理器块存储中；
存储执行模块，用于将源存储后端云硬盘起始偏移量和压缩后的数据块大小记录在数据库中。
在有些实施例中，写处理组件55包括定位恢复模块、数据恢复模块、复制模块；
定位恢复模块，用于使用目的存储后端云硬盘的服务质量，根据数据库中记录的起始偏移量和压缩后的数据块大小，定位恢复起始写入偏移量；
数据恢复模块，用于读取数据块大小，根据定位恢复模块恢复的起始偏移量依次恢复所有数据块；
复制模块，用于将数据复制到目的存储后端云硬盘中。
在有些实施例中，该装置还包括监测模块；
监测模块，用于实时监测源存储后端云硬盘中是否有新数据；当监测到有新数据时，通过读处理组件和写处理组件将数据复制到目的存储后端云硬盘中。
在有些实施例中，该装置还包括校验模块；
校验模块，用于每隔设定的时间使用md5sum工具对源存储后端云硬盘数据与目的存储后端云硬盘的数据进行校验；当某个时间点校验数据不一致时，复制模块将当前时间点到上一时间点中间的数据重新复制。
本发明实施例提供的一种计算机设备，该设备可以包括：处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信。总线可以用于电子设备与传感器之间的信息传输。处理器可以调用存储器中的逻辑指令，以执行如下方法：步骤1：接收到在线迁移请求时，根据请求中的云硬盘类型选择源存储后端；步骤2：创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘；步骤3：空白云硬盘创建成功后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上；步骤4：使用源存储后端云硬盘的服务质量读取源存储后端云硬盘的数据进行压缩处理后保存在模拟处理器块存储中；步骤5：使用目的存储后端云硬盘的服务质量对模拟处理器块存储中的数据进行数据恢复后复制到目的存储后端云硬盘中；步骤6：数据复制成功后，将源存储后端的云硬盘删除。
在一些具体的实施例中，被处理器执行的程序指令，具体可以实现以下步骤：步骤21：块存储宿主机将消息发送给存储卷服务；步骤22：存储卷服务接收到消息后通过消息队列将消息发送给目的存储后端的存储卷服务；步骤23：目的存储后端的存储卷服务接收到消息后，创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘。
在一些具体的实施例中，被处理器执行的程序指令，具体可以实现以下步骤：步骤31：空白云硬盘创建成功后，调用计算模块交换卷接口将迁移消息通过计算模块接口发送给计算主机；步骤32：接收到迁移消息后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上。
在一些具体的实施例中，被处理器执行的程序指令，具体可以实现以下步骤：步骤41：使用源存储后端云硬盘的服务质量将源存储后端云硬盘根据设定的偏移量分成数据块；步骤42：对数据块进行压缩，形成压缩后的数据块并将压缩后的数据块保存在模拟处理器块存储中；步骤43：将源存储后端云硬盘起始偏移量和压缩后的数据块大小记录在数据库中。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种基于云管理平台的云硬盘在线迁移方法，其特征在于，包括如下步骤：
接收到在线迁移请求时，根据请求中的云硬盘类型选择源存储后端；
创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘；
空白云硬盘创建成功后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上；
使用源存储后端云硬盘的服务质量读取源存储后端云硬盘的数据进行压缩处理后保存在模拟处理器块存储中；
使用目的存储后端云硬盘的服务质量对模拟处理器块存储中的数据进行数据恢复后复制到目的存储后端云硬盘中；
数据复制成功后，将源存储后端的云硬盘删除；
使用源存储后端云硬盘的服务质量读取源存储后端云硬盘的数据进行压缩处理后保存在模拟处理器块存储中的步骤包括：
使用源存储后端云硬盘的服务质量将源存储后端云硬盘根据设定的偏移量分成数据块；
对数据块进行压缩，形成压缩后的数据块并将压缩后的数据块保存在模拟处理器块存储中；
将源存储后端云硬盘起始偏移量和压缩后的数据块大小记录在数据库中；
使用目的存储后端云硬盘的服务质量对模拟处理器块存储中的数据进行数据恢复后复制到目的存储后端云硬盘中的步骤包括：
使用目的存储后端云硬盘的服务质量，根据数据库中记录的起始偏移量和压缩后的数据块大小，定位恢复起始写入偏移量，读取数据块大小，依次恢复所有数据块，将数据复制到目的存储后端云硬盘中。
2.根据权利要求1所述的基于云管理平台的云硬盘在线迁移方法，其特征在于，接收到在线迁移请求时，根据请求中的云硬盘类型选择源存储后端的步骤包括：
块存储模块的接口接收到用户发起的在线迁移请求后，将消息通过消息队列发送到块存储宿主机；
块存储宿主机接收到消息后根据用户请求中的云硬盘类型选择源存储后端。
3.根据权利要求2所述的基于云管理平台的云硬盘在线迁移方法，其特征在于，创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘的步骤包括：
块存储宿主机将消息发送给存储卷服务；
存储卷服务接收到消息后通过消息队列将消息发送给目的存储后端的存储卷服务；
目的存储后端的存储卷服务接收到消息后，创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘。
4.根据权利要求1所述的基于云管理平台的云硬盘在线迁移方法，其特征在于，空白云硬盘创建成功后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上的步骤包括：
空白云硬盘创建成功后，调用计算模块交换卷接口将迁移消息通过计算模块接口发送给计算主机；
接收到迁移消息后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上。
5.根据权利要求4所述的基于云管理平台的云硬盘在线迁移方法，其特征在于，该方法还包括：
迁移过程中实时监测源存储后端云硬盘中是否有新数据；
当监测到有新数据时，将数据复制到目的存储后端云硬盘中。
6.根据权利要求1所述的基于云管理平台的云硬盘在线迁移方法，其特征在于，使用目的存储后端云硬盘的服务质量对模拟处理器块存储中的数据进行数据恢复后复制到目的存储后端云硬盘中的步骤之后包括:
每隔设定的时间使用md5sum工具对源存储后端云硬盘数据与目的存储后端云硬盘的数据进行校验；当某个时间点校验数据不一致时，将当前时间点到上一时间点中间的数据重新复制。
7.一种基于云管理平台的云硬盘在线迁移装置，其特征在于，包括请求接收处理组件（11）、创建组件（22）、服务质量设置组件（33）、读处理组件（44）、写处理组件（55）、删除组件（66）；
请求接收处理组件（11），用于接收到在线迁移请求时，根据请求中的云硬盘类型选择源存储后端；
创建组件（22），用于创建目的存储后端上的云硬盘类型及服务质量并根据云硬盘类型在目的存储后端创建新的空白云硬盘；
服务质量设置组件（33），用于空白云硬盘创建成功后，获取源存储后端云硬盘的服务质量和目的存储后端云硬盘的服务质量并将获取的服务质量设置到模拟处理器块存储上；
读处理组件（44），用于使用源存储后端云硬盘的服务质量读取源存储后端云硬盘的数据进行压缩处理后保存在模拟处理器块存储中；
写处理组件（55），用于使用目的存储后端云硬盘的服务质量对模拟处理器块存储中的数据进行数据恢复后复制到目的存储后端云硬盘中；
删除组件（66），用于数据复制成功后，将源存储后端的云硬盘删除；
读处理组件包括数据划分模块、压缩处理模块、存储执行模块；
数据划分模块，用于使用源存储后端云硬盘的服务质量将源存储后端云硬盘根据设定的偏移量分成数据块；
压缩处理模块，用于对数据块进行压缩，形成压缩后的数据块并将压缩后的数据块保存在模拟处理器块存储中；
存储执行模块，用于将源存储后端云硬盘起始偏移量和压缩后的数据块大小记录在数据库中；
写处理组件包括定位恢复模块、数据恢复模块、复制模块；
定位恢复模块，用于使用目的存储后端云硬盘的服务质量，根据数据库中记录的起始偏移量和压缩后的数据块大小，定位恢复起始写入偏移量；
数据恢复模块，用于读取数据块大小，根据定位恢复模块恢复的起始偏移量依次恢复所有数据块；
复制模块，用于将数据复制到目的存储后端云硬盘中。
8.一种计算机设备，其特征在于，包括处理器和存储器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一项权利要求所述的基于云管理平台的云硬盘在线迁移方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111426061.0A CN114281246B (zh) | 2021-11-26 | 2021-11-26 | 一种基于云管理平台的云硬盘在线迁移方法、装置、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111426061.0A CN114281246B (zh) | 2021-11-26 | 2021-11-26 | 一种基于云管理平台的云硬盘在线迁移方法、装置、设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114281246A CN114281246A (zh) | 2022-04-05 |
| CN114281246B true CN114281246B (zh) | 2023-08-25 |
Family
ID=80870082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111426061.0A Active CN114281246B (zh) | 2021-11-26 | 2021-11-26 | 一种基于云管理平台的云硬盘在线迁移方法、装置、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114281246B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102884763A (zh) * | 2012-06-30 | 2013-01-16 | 华为技术有限公司 | 跨数据中心的虚拟机迁移方法、服务控制网关及系统 |
| CN104426952A (zh) * | 2013-08-28 | 2015-03-18 | 华为技术有限公司 | 一种数据迁移方法、设备及系统 |
| CN106020946A (zh) * | 2016-05-06 | 2016-10-12 | 浪潮集团有限公司 | 一种虚拟机迁移方法 |
| CN108462736A (zh) * | 2018-01-21 | 2018-08-28 | 肖芳 | 一种面向QoS的云存储数据副本存储方法 |
| CN112083889A (zh) * | 2020-09-14 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 数据迁移方法、装置、设备及可读存储介质 |
| CN112527193A (zh) * | 2020-12-04 | 2021-03-19 | 北京浪潮数据技术有限公司 | 一种云硬盘数据迁移方法、装置、设备及存储介质 |
| CN113553138A (zh) * | 2021-07-21 | 2021-10-26 | 彼乐智慧科技（北京）有限公司 | 一种云资源调度的方法及装置 |
-
2021
- 2021-11-26 CN CN202111426061.0A patent/CN114281246B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102884763A (zh) * | 2012-06-30 | 2013-01-16 | 华为技术有限公司 | 跨数据中心的虚拟机迁移方法、服务控制网关及系统 |
| CN104426952A (zh) * | 2013-08-28 | 2015-03-18 | 华为技术有限公司 | 一种数据迁移方法、设备及系统 |
| CN106020946A (zh) * | 2016-05-06 | 2016-10-12 | 浪潮集团有限公司 | 一种虚拟机迁移方法 |
| CN108462736A (zh) * | 2018-01-21 | 2018-08-28 | 肖芳 | 一种面向QoS的云存储数据副本存储方法 |
| CN112083889A (zh) * | 2020-09-14 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 数据迁移方法、装置、设备及可读存储介质 |
| CN112527193A (zh) * | 2020-12-04 | 2021-03-19 | 北京浪潮数据技术有限公司 | 一种云硬盘数据迁移方法、装置、设备及存储介质 |
| CN113553138A (zh) * | 2021-07-21 | 2021-10-26 | 彼乐智慧科技（北京）有限公司 | 一种云资源调度的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114281246A (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11010240B2 (en) | Tracking status and restarting distributed replication | |
| US11327799B2 (en) | Dynamic allocation of worker nodes for distributed replication | |
| US20200348852A1 (en) | Distributed object replication architecture | |
| US11349915B2 (en) | Distributed replication and deduplication of an object from a source site to a destination site | |
| CN102594849B (zh) | 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置 | |
| CN107229420B (zh) | 数据存储方法、读取方法、删除方法和数据操作系统 | |
| CN111078667B (zh) | 一种数据迁移的方法以及相关装置 | |
| WO2019001521A1 (zh) | 数据存储方法、存储设备、客户端及系统 | |
| CN110825562B (zh) | 数据备份方法、装置、系统和存储介质 | |
| US8433864B1 (en) | Method and apparatus for providing point-in-time backup images | |
| CN114138549A (zh) | 基于kubernetes系统的数据备份和恢复方法 | |
| CN109766218A (zh) | 基于分布式存储的数据备份方法 | |
| CN111984196B (zh) | 一种文件迁移方法、装置、设备及可读存储介质 | |
| CN114281246B (zh) | 一种基于云管理平台的云硬盘在线迁移方法、装置、设备 | |
| CN116868173A (zh) | 降低在恢复操作期间网络延时的影响 | |
| CN109213621B (zh) | 一种数据处理方法及数据处理设备 | |
| CN108874592B (zh) | 一种针对Log-structured存储引擎的数据冷备方法及系统 | |
| WO2020219124A1 (en) | Garbage collection for a deduplicated cloud tier | |
| US20240103975A1 (en) | Dynamic resource scaling for large-scale backups | |
| US20240160534A1 (en) | Snappable recovery chain over generic managed volume | |
| US11977459B2 (en) | Techniques for accelerated data recovery | |
| KR102599116B1 (ko) | 데이터 중복 제거 방법 및 데이터 중복 제거를 수행하는 스토리지 장치 | |
| CN116578446B (zh) | 虚拟机备份方法、装置、系统、电子设备及存储介质 | |
| US20230401176A1 (en) | Storage tiering for computing system snapshots | |
| CN110658989B (zh) | 用于备份存储垃圾收集的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |