CN116301593A - 在云平台下跨集群跨存储拷贝块数据的方法及应用 - Google Patents
在云平台下跨集群跨存储拷贝块数据的方法及应用 Download PDFInfo
- Publication number
- CN116301593A CN116301593A CN202310086434.7A CN202310086434A CN116301593A CN 116301593 A CN116301593 A CN 116301593A CN 202310086434 A CN202310086434 A CN 202310086434A CN 116301593 A CN116301593 A CN 116301593A
- Authority
- CN
- China
- Prior art keywords
- cluster
- block data
- target
- block
- cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004590 computer program Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000007726 management method Methods 0.000 description 5
- 239000000306 component Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 239000008358 core component Substances 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种在云平台下跨集群跨存储拷贝块数据的方法及应用，该方法包括以下步骤：源集群接收到用户发起的拷贝块数据到目的集群的请求后，向目的集群发起创建目标块设备的创建请求，其中源集群的块数据格式和目的集群的块数据格式存储类型不同；目的集群接收到所述创建请求后，创建目标块设备；源集群检查所述创建是否完成；检查所述目标块设备创建成功后，源集群获取所述块数据的路径信息，启动qemu‑nbd服务，导出所述块数据，导出成功后发送导出信息api到目的集群；目的集群收到导出信息api后，获取目的集群的块设备路径，将所述块数据拷贝到目的集群的所述目标块设备。该方法能够实现不同存储类型之间的跨集群块数据拷贝，具有较强的通用性。
Description
技术领域
本发明是关于数据领域，特别是关于一种在云平台下跨集群跨存储拷贝块数据的方法及应用。
背景技术
Openstack是一个开源的云计算管理平台项目，是一系列软件开源项目的组合，核心组件包括keystone(身份认证服务)、glance(镜像服务)、cinder(块存储服务)、nova(计算服务)、neutron(网络服务)等，实现了对硬件存储和网络计算资源的云化管理。OpenStack的主要目标是管理数据中心的资源，简化资源分配，覆盖了网络、虚拟化、操作系统、服务器等各个方面。每个Openstack集群有独立的数据库、中间件、控制节点和计算节点，集群之间不共享信息。
在云平台的两个集群之间，经常会出现对某些重要块数据进行拷贝的需求，比如生产环境上的数据需要拷贝到开发环境进行数据分析等。现有技术尚未有使用网络块设备进行跨集群跨存储拷贝块数据的技术。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种在云平台下跨集群跨存储拷贝块数据的方法及应用，其能够实现不同存储类型之间的跨集群块数据拷贝，具有较强的通用性。
为实现上述目的，本发明的实施例提供了一种在云平台下跨集群跨存储拷贝块数据的方法。
在本发明的一个或多个实施方式中，所述方法包括：源集群接收到用户发起的拷贝块数据到目的集群的请求后，向目的集群发起创建目标块设备的创建请求，其中源集群的块数据格式和目的集群的块数据格式存储类型不同；集群接收到所述创建请求后，创建目标块设备；源集群检查所述创建是否完成；检查所述目标块设备创建成功后，源集群获取所述块数据的路径信息，启动qemu-nbd服务，导出所述块数据，导出成功后发送导出信息api到目的集群；目的集群收到导出信息api后，获取目的集群的块设备路径，将所述块数据拷贝到目的集群的所述目标块设备。
在本发明的一个或多个实施方式中，所述拷贝请求中的信息包括：目的集群地址、目的集群认证token、源集群待拷贝的块数据id和目的集群存储类型。
在本发明的一个或多个实施方式中，所述创建请求中的信息包括：所述块数据的名称、大小和目的集群存储类型。
在本发明的一个或多个实施方式中，所述源集群检查创建是否完成，包括：根据所述块数据的元数据信息，源集群通过api检查所述目标块设备是否已经创建成功。
在本发明的一个或多个实施方式中，所述目的集群收到导出信息api后，包括：目的集群根据导出信息使用nbd-client来连接网络块设备服务端，连接成功后网络块设备nbd能够作为本地的一个块设备来使用，其中所述导出信息包括导出ip地址、端口。
在本发明的一个或多个实施方式中，所述将块数据拷贝到目的集群的所述目标块设备，包括：使用qemu-img命令将数据导出到目的集群的所述目标块设备，其中qemu-img转换命令执行多种格式，将源集群的块数据格式转换成目的集群的块数据格式。
在本发明的一个或多个实施方式中，所述方法还包括：在将所述块数据拷贝到目的集群的所述目标块设备完成后，使用nbd-client断开与服务端的连接。
在本发明的另一个方面当中，提供了一种在云平台下跨集群跨存储拷贝块数据的装置，其包括创建模块、检查模块、导出模块和拷贝模块。
创建模块，用于源集群接收到用户发起的拷贝块数据到目的集群的请求后，其中源集群的块数据格式和目的集群的块数据格式存储类型不同，向目的集群发起创建目标块设备的创建请求；目的集群接收到所述创建请求后，创建目标块设备。
检查模块，用于源集群检查所述创建是否完成。
导出模块，用于检查所述目标块设备创建成功后，源集群获取所述块数据的路径信息，启动qemu-nbd服务，导出所述块数据，导出成功后发送导出信息api到目的集群。
拷贝模块，用于目的集群收到导出信息api后，获取目的集群的块设备路径，将所述块数据拷贝到目的集群的所述目标块设备。
在本发明的一个或多个实施方式中，所述创建模块还用于：所述拷贝请求中的信息包括目的集群地址、目的集群认证token、源集群待拷贝的块数据id和目的集群存储类型。
在本发明的一个或多个实施方式中，所述创建模块还用于：所述创建请求中的信息包括所述块数据的名称、大小和目的集群存储类型。
在本发明的一个或多个实施方式中，所述检查模块还用于：根据所述块数据的元数据信息，源集群通过api检查所述目标块设备是否已经创建成功。
在本发明的一个或多个实施方式中，所述拷贝模块还用于：目的集群根据导出信息使用nbd-client来连接网络块设备服务端，连接成功后网络块设备nbd能够作为本地的一个块设备来使用，其中所述导出信息包括导出ip地址、端口。
在本发明的一个或多个实施方式中，所述拷贝模块还用于：使用qemu-img命令将数据导出到目的集群的所述目标块设备，其中qemu-img转换命令执行多种格式，将源集群的块数据格式转换成目的集群的块数据格式。
在本发明的一个或多个实施方式中，所述拷贝模块还用于：在将所述块数据拷贝到目的集群的所述目标块设备完成后，使用nbd-client断开与服务端的连接。
在本发明的另一个方面当中，提供了一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的在云平台下跨集群跨存储拷贝块数据的方法。
在本发明的另一个方面当中，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如所述在云平台下跨集群跨存储拷贝块数据的方法的步骤。
与现有技术相比，根据本发明实施方式的在云平台下跨集群跨存储拷贝块数据的方法及应用，其能够在用户发起的拷贝块数据到目的集群的请求后，源集群接收到并向目的集群发起创建目标块设备的创建请求，其中源集群的块数据格式和目的集群的块数据格式存储类型不同，完成了跨存储的功能，目的集群接收到所述创建请求后，创建目标块设备，将所述块数据拷贝到目的集群的所述目标块设备。本方法能够实现不同存储类型之间的跨集群块数据拷贝，具有较强的通用性。
附图说明
图1是根据本发明一实施方式的在云平台下跨集群跨存储拷贝块数据的方法的流程图；
图2是根据本发明一实施方式的在云平台下跨集群跨存储拷贝块数据的方法的具体流程图；
图3是根据本发明一实施方式的在云平台下跨集群跨存储拷贝块数据的装置的结构图；
图4是根据本发明一实施方式的在云平台下跨集群跨存储拷贝块数据的计算设备的硬件结构图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
以下结合附图，详细说明本发明各实施例提供的技术方案。
实施例1
如图1所示，介绍本发明的一个实施例中在云平台下跨集群跨存储拷贝块数据的方法，该方法包括如下步骤。
在步骤S101中，源集群接收到用户发起的拷贝块数据到目的集群的请求后，向目的集群发起创建目标块设备的创建请求，其中源集群的块数据格式和目的集群的块数据格式存储类型不同。
在本实施例中，用户根据自身需求在源集群发起拷贝某个块数据到目的集群的请求，块数据表现为一个文件或者一个lv或者ceph存储池里面的一个块设备等，用于为虚拟机提供磁盘。
在步骤S102中，目的集群接收到所述创建请求后，创建目标块设备。
在本实施例中，目的集群读取到源集群发送的创建目标块设备的请求，并在集群中创建一个空的块设备。以创建ceph块设备为例来描述一个创建过程，首先创建存储池和块设备映像，然后获取块设备映像列表，并查看映像信息。
在步骤S103中，源集群检查所述创建是否完成。
在本实施例中，源集群通过在源集群发送api来检查目标块设备是否已经创建成功。在集群中api提供了一种声明式的集群创建、配置、管理模式，能够对集群进行有效管理。
在步骤S104中，检查所述目标块设备创建成功后，源集群获取所述块数据的路径信息，启动qemu-nbd服务，导出所述块数据，导出成功后发送导出信息api到目的集群。
在本实施例中，通过启动qemu-nbd服务来导出所述块数据，nbd为网络块设备，能够使用户可以通过网络访问到某个块设备，或者设备镜像。虚拟化程序qemu中的qemu-nbd程序是基于nbd方式对块设备或文件进行挂载，能够把一个块设备导出成网络块设备，还能够通过qemu-nbd命令查看一个虚拟机镜像文件的内部信息。
在步骤S105中，目的集群收到导出信息api后，获取目的集群的块设备路径，将所述块数据拷贝到目的集群的所述目标块设备。
在本实施例中，目的集群根据导出地址端口使用nbd-client来连接服务端，并获取目的集群的块设备路径SRC_PATH，所述路径信息SRC_PATH对于不同的块数据是不同的，SRC_PATH对于文件是文件路径，如/LOCAL/l1672970278/volumes/volume1；SRC_PATH对于lv是lv的路径，如/dev/l1672970278/l1672970278；SRC_PATH对于ceph是ceph的块数据的名称，如pool1/volume-xx。然后使用qemu-img convert-f OUTPUTFMT/dev/nbd0DEST_PATH命令把块数据导出到目的集群的块设备，其中OUTPUTFMT是目的块格式，如qcow2,raw。
实施例2
如图1和图2所示，介绍本发明的一个实施例中在云平台下跨集群跨存储拷贝块数据的方法，该方法包括如下步骤。
在步骤S101中，源集群接收到用户发起的拷贝块数据到目的集群的请求后，向目的集群发起创建目标块设备的创建请求，其中源集群的块数据格式和目的集群的块数据格式存储类型不同。
在本实施例中所有步骤是在Openstack上进行的。Openstack是一个开源的云计算管理平台项目，是一系列软件开源项目的组合，核心组件包括keystone(身份认证服务)、glance(镜像服务)、cinder(块存储服务)、nova(计算服务)、neutron(网络服务)等，实现了对硬件存储和网络计算资源的云化管理。OpenStack的主要目标是管理数据中心的资源，简化资源分配，覆盖了网络、虚拟化、操作系统、服务器等各个方面。每个Openstack集群有独立的数据库、中间件、控制节点和计算节点，集群之间不共享信息。在云平台的两个集群之间，经常会出现对某些重要块数据进行拷贝的需求，比如生产环境上的数据需要拷贝到开发环境进行数据分析等。
在本实施例中，所述拷贝请求中的信息包括目的集群地址、目的集群认证token、源集群待拷贝的块数据id和目的集群存储类型。块数据表现为一个文件或者一个lv或者ceph存储池里面的一个块设备等，用于为虚拟机提供磁盘。
在步骤S102中，目的集群接收到所述创建请求后，创建目标块设备。
I/O设备大致分为块设备和字符设备两类。块设备将信息存储在固定大小的块中，每个块都有自己的地址，数据块的大小通常在512字节到32768字节之间。块设备的基本特征是每个块都能独立于其它块而读写，还可以在设备的任意位置读取一定长度的数据。
在本实施例中，所述创建请求中的信息包括所述块数据的名称、大小和目的集群存储类型。
在步骤S103中，源集群检查所述创建是否完成。
在本实施例中，根据所述块数据的元数据信息，源集群通过api检查所述目标块设备是否已经创建成功。
API(Application Programming Interface)成为应用编程接口，指软件系统不同组成部分衔接的约定。由于近年来软件的规模日益庞大，常常需要把复杂的系统划分成小的组成部分，编程接口的设计十分重要。程序设计的实践中，编程接口的设计首先要使软件系统的职责得到合理划分。良好的接口设计可以降低系统各部分的相互依赖，提高组成单元的内聚性，降低组成单元间的耦合程度，从而提高系统的维护性和扩展性。
在步骤S104中，检查所述目标块设备创建成功后，源集群获取所述块数据的路径信息，启动qemu-nbd服务，导出所述块数据，导出成功后发送导出信息api到目的集群。
在本实施例中，获取待拷贝的块数据的路径信息SRC_PATH，所述路径信息SRC_PATH对于不同的块数据是不同的，SRC_PATH对于文件是文件路径，如/LOCAL/l1672970278/volumes/volume1；SRC_PATH对于lv是lv的路径，如/dev/l1672970278/l1672970278；SRC_PATH对于ceph是ceph的块数据的名称，如pool1/volume-xx。
所述网络块设备nbd(Network Block Device)，利用qemu-nbd能够将qemu虚拟机镜像挂载到Linux上。具体的，nbd可以将一个远程主机的磁盘空间，当作一个块设备来使用。通过使用nbd可以很方便的将另一台服务器的硬盘空间，增加到本地服务器上。
在步骤S105中，目的集群收到导出信息api后，获取目的集群的块设备路径，将所述块数据拷贝到目的集群的所述目标块设备。
具体的，目的集群根据导出信息使用nbd-client来连接网络块设备服务端，连接成功后网络块设备nbd能够作为本地的一个块设备来使用，其中所述导出信息包括导出ip地址、端口。
进一步地，使用qemu-img命令将源集群的块设备数据导出到目的集群的所述目标块设备，其中qemu-img转换命令执行多种格式，将源集群的块数据格式转换成目的集群的块数据格式。数据跨集群导出的具体操作如下：源端通过qemu-nbd启动一个服务进程，目的端通过socket连接该源端的服务进程，从而将源端的数据读出，并写入到目的端。
在本实施例中，在将所述块数据拷贝到目的集群的所述目标块设备完成后，使用nbd-client断开与服务端的连接。使用qemu-nbd需要占有进程，也就是需要占用资源。当qemu-img convert使用完成后，服务端进程便不再需要，nbd-client断开与服务端的连接能够让服务端进程退出，释放资源。
参考图2，根据本实施例提供一个详细操作方案，其操作步骤如下。
给定A、B两个Openstack集群，A集群中有本地存储local1 ceph存储，B集群有本地存储local2 san存储，目的是把A集群中ceph块设备disk1拷贝到B集群的local2中。用户在A集群发起拷贝disk1到集群B local2存储的请求，A集群接受到拷贝请求后，向目的集群发起创建块设备请求，请求中包含块设备disk1大小和名称、目的存储类型local2。B集群接受请求后，在B集群创建local2存储disk2，A集群通过api检查disk2是否创建完成。
在A集群检查B集群存储disk2创建完成后，获取disk1路径rbd:pool_name/disk1，使用qemu-nbd--fork-r-fraw-b 172.118.53.8-p 10809rbd:pool_name/disk1命令导出块设备。导出成功后在源集群发送导出信息到目的集群，导出信息包括导出ip地址172.118.53.8和端口10809。目的集群接受请求后，使用nbd-client 172.118.53.810809/dev/nbd0命令连接服务端，获取disk2路径信息/LOCAL/disk2后，使用qemu-img convert-Oqcow2/dev/nbd0/LOCAL/disk2命令拷贝数据到disk2中，拷贝完成后使用nbd-client-d/dev/nbd0命令断开连接。
通过上述操作步骤就完成了把源集群A中ceph存储disk1拷贝到目的集群Blocal2存储disk2，实现了跨集群且跨存储拷贝块数据的方法应用。
根据本发明实施方式的在云平台下跨集群跨存储拷贝块数据的方法及应用，其能够在用户发起的拷贝块数据到目的集群的请求后，源集群接收到并向目的集群发起创建目标块设备的创建请求，其中源集群的块数据格式和目的集群的块数据格式存储类型不同，完成了跨存储的功能，目的集群接收到所述创建请求后，创建目标块设备，将所述块数据拷贝到目的集群的所述目标块设备。本方法能够实现不同存储类型之间的跨集群块数据拷贝，具有较强的通用性。
如图3所示，介绍根据本发明具体实施方式的在云平台下跨集群跨存储拷贝块数据的装置。
在本发明的实施方式中，在云平台下跨集群跨存储拷贝块数据的装置，其包括创建模块301、检查模块302、导出模块303和拷贝模块304。
创建模块301，用于源集群接收到用户发起的拷贝块数据到目的集群的请求后，其中源集群的块数据格式和目的集群的块数据格式存储类型不同，向目的集群发起创建目标块设备的创建请求；目的集群接收到所述创建请求后，创建目标块设备。
检查模块302，用于源集群检查所述创建是否完成。
导出模块303，用于检查所述目标块设备创建成功后，源集群获取所述块数据的路径信息，启动qemu-nbd服务，导出所述块数据，导出成功后发送导出信息api到目的集群。
拷贝模块304，用于目的集群收到导出信息api后，获取目的集群的块设备路径，将所述块数据拷贝到目的集群的所述目标块设备。
创建模块301还用于：所述拷贝请求中的信息包括目的集群地址、目的集群认证token、源集群待拷贝的块数据id和目的集群存储类型。
创建模块301还用于：所述创建请求中的信息包括所述块数据的名称、大小和目的集群存储类型。
检查模块302还用于：根据所述块数据的元数据信息，源集群通过api检查所述目标块设备是否已经创建成功。
拷贝模块304还用于：目的集群根据导出信息使用nbd-client来连接网络块设备服务端，连接成功后网络块设备nbd能够作为本地的一个块设备来使用，其中所述导出信息包括导出ip地址、端口。
拷贝模块304还用于：使用qemu-img命令将数据导出到目的集群的所述目标块设备，其中qemu-img转换命令执行多种格式，将源集群的块数据格式转换成目的集群的块数据格式。
拷贝模块304还用于：在将所述块数据拷贝到目的集群的所述目标块设备完成后，使用nbd-client断开与服务端的连接。
图4示出了根据本说明书的实施例的用于在云平台下跨集群跨存储拷贝块数据的计算设备40的硬件结构图。如图4所示，计算设备40可以包括至少一个处理器401、存储器402(例如非易失性存储器)、内存403和通信接口404，并且至少一个处理器401、存储器402、内存403和通信接口404经由总线405连接在一起。至少一个处理器401执行在存储器402中存储或编码的至少一个计算机可读指令。
应该理解，在存储器402中存储的计算机可执行指令当执行时使得至少一个处理器401进行本说明书的各个实施例中以上结合图1-4描述的各种操作和功能。
在本说明书的实施例中，计算设备40可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。
根据一个实施例，提供了一种比如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本说明书的各个实施例中以上结合图1-4描述的各种操作和功能。具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
根据本发明实施方式的在云平台下跨集群跨存储拷贝块数据的方法及应用，其能够在用户发起的拷贝块数据到目的集群的请求后，源集群接收到并向目的集群发起创建目标块设备的创建请求，其中源集群的块数据格式和目的集群的块数据格式存储类型不同，完成了跨存储的功能，目的集群接收到所述创建请求后，创建目标块设备，将所述块数据拷贝到目的集群的所述目标块设备。本方法能够实现不同存储类型之间的跨集群块数据拷贝，具有较强的通用性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (10)
1.一种在云平台下跨集群跨存储拷贝块数据的方法，其特征在于，所述方法包括：
源集群接收到用户发起的拷贝块数据到目的集群的请求后，向目的集群发起创建目标块设备的创建请求，其中源集群的块数据格式和目的集群的块数据格式存储类型不同；
目的集群接收到所述创建请求后，创建目标块设备；
源集群检查所述创建是否完成；
检查所述目标块设备创建成功后，源集群获取所述块数据的路径信息，启动qemu-nbd服务，导出所述块数据，导出成功后发送导出信息api到目的集群；
目的集群收到导出信息api后，获取目的集群的块设备路径，将所述块数据拷贝到目的集群的所述目标块设备。
2.如权利要求1所述的在云平台下跨集群跨存储拷贝块数据的方法，其特征在于，所述拷贝请求中的信息包括：目的集群地址、目的集群认证token、源集群待拷贝的块数据id和目的集群存储类型。
3.如权利要求1所述的在云平台下跨集群跨存储拷贝块数据的方法，其特征在于，所述创建请求中的信息包括：所述块数据的名称、大小和目的集群存储类型。
4.如权利要求1所述的在云平台下跨集群跨存储拷贝块数据的方法，其特征在于，所述源集群检查创建是否完成，包括：
根据所述块数据的元数据信息，源集群通过api检查所述目标块设备是否已经创建成功。
5.如权利要求1所述的在云平台下跨集群跨存储拷贝块数据的方法，其特征在于，所述目的集群收到导出信息api后，包括：
目的集群根据导出信息使用nbd-client来连接网络块设备服务端，连接成功后网络块设备nbd能够作为本地的一个块设备来使用，其中所述导出信息包括导出ip地址、端口。
6.如权利要求1所述的在云平台下跨集群跨存储拷贝块数据的方法，其特征在于，所述将块数据拷贝到目的集群的所述目标块设备，包括：
使用qemu-img命令将数据导出到目的集群的所述目标块设备，其中qemu-img转换命令执行多种格式，将源集群的块数据格式转换成目的集群的块数据格式。
7.如权利要求1所述的在云平台下跨集群跨存储拷贝块数据的方法，其特征在于，所述方法还包括：
在将所述块数据拷贝到目的集群的所述目标块设备完成后，使用nbd-client断开与服务端的连接。
8.一种在云平台下跨集群跨存储拷贝块数据的装置，其特征在于，所述装置包括：
创建模块，用于源集群接收到用户发起的拷贝块数据到目的集群的请求后，其中源集群的块数据格式和目的集群的块数据格式存储类型不同，向目的集群发起创建目标块设备的创建请求；目的集群接收到所述创建请求后，创建目标块设备；
检查模块，用于源集群检查所述创建是否完成；
导出模块，用于检查所述目标块设备创建成功后，源集群获取所述块数据的路径信息，启动qemu-nbd服务，导出所述块数据，导出成功后发送导出信息api到目的集群；
拷贝模块，用于目的集群收到导出信息api后，获取目的集群的块设备路径，将所述块数据拷贝到目的集群的所述目标块设备。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1至7中任一项所述的在云平台下跨集群跨存储拷贝块数据的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的在云平台下跨集群跨存储拷贝块数据的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310086434.7A CN116301593B (zh) | 2023-02-09 | 2023-02-09 | 在云平台下跨集群跨存储拷贝块数据的方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310086434.7A CN116301593B (zh) | 2023-02-09 | 2023-02-09 | 在云平台下跨集群跨存储拷贝块数据的方法及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116301593A true CN116301593A (zh) | 2023-06-23 |
| CN116301593B CN116301593B (zh) | 2024-02-02 |
Family
ID=86827787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310086434.7A Active CN116301593B (zh) | 2023-02-09 | 2023-02-09 | 在云平台下跨集群跨存储拷贝块数据的方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116301593B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102170440A (zh) * | 2011-03-24 | 2011-08-31 | 北京大学 | 适用于存储云间数据安全迁移的方法 |
| US20120011176A1 (en) * | 2010-07-07 | 2012-01-12 | Nexenta Systems, Inc. | Location independent scalable file and block storage |
| CN108345493A (zh) * | 2018-03-13 | 2018-07-31 | 国云科技股份有限公司 | 一种基于多云统管系统Windows虚拟机跨云迁移的方法 |
| CN110022338A (zh) * | 2018-01-09 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 文件读取方法、系统、元数据服务器和用户设备 |
| CN110209734A (zh) * | 2019-05-05 | 2019-09-06 | 深圳市腾讯计算机系统有限公司 | 数据复制方法、装置、计算机设备及存储介质 |
| CN110955720A (zh) * | 2018-09-27 | 2020-04-03 | 阿里巴巴集团控股有限公司 | 一种数据加载方法、装置及系统 |
| CN111552668A (zh) * | 2020-07-09 | 2020-08-18 | 南京云信达科技有限公司 | 一种基于zfs文件系统的高性能跨域复制方法 |
| CN112000277A (zh) * | 2020-07-17 | 2020-11-27 | 苏州浪潮智能科技有限公司 | 精简置备文件拷贝方法、装置、设备及可读存储介质 |
| CN112068930A (zh) * | 2020-08-24 | 2020-12-11 | 苏州浪潮智能科技有限公司 | 一种跨平台迁移虚拟机的方法 |
| CN112527193A (zh) * | 2020-12-04 | 2021-03-19 | 北京浪潮数据技术有限公司 | 一种云硬盘数据迁移方法、装置、设备及存储介质 |
| CN112965857A (zh) * | 2021-03-03 | 2021-06-15 | 上海英方软件股份有限公司 | 一种基于块备份快速恢复数据的方法及系统 |
| US20220004320A1 (en) * | 2020-07-01 | 2022-01-06 | EMC IP Holding Company LLC | Sharing memory resources between asynchronous replication workloads |
| CN114461149A (zh) * | 2022-02-09 | 2022-05-10 | 镁佳(北京)科技有限公司 | 一种基于K8s的分布式数据存储方法及装置 |
| CN114564339A (zh) * | 2022-02-23 | 2022-05-31 | 华云数据控股集团有限公司 | 一种磁盘镜像文件跨平台迁移方法及系统 |
| CN114675938A (zh) * | 2022-04-21 | 2022-06-28 | 江苏安超云软件有限公司 | 一种异构集群虚拟机迁移方法、系统及云平台 |
| CN114706652A (zh) * | 2022-02-18 | 2022-07-05 | 北京思特奇信息技术股份有限公司 | 一种基于OpenStack平台的虚拟机跨集群迁移方法及系统 |
| CN115390996A (zh) * | 2022-10-28 | 2022-11-25 | 安超云软件有限公司 | 虚拟机迁移方法和装置、计算设备和存储介质 |
| CN115390991A (zh) * | 2022-08-29 | 2022-11-25 | 江苏安超云软件有限公司 | 虚拟机的导入导出方法、装置、设备及存储介质 |
-
2023
- 2023-02-09 CN CN202310086434.7A patent/CN116301593B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120011176A1 (en) * | 2010-07-07 | 2012-01-12 | Nexenta Systems, Inc. | Location independent scalable file and block storage |
| CN102170440A (zh) * | 2011-03-24 | 2011-08-31 | 北京大学 | 适用于存储云间数据安全迁移的方法 |
| CN110022338A (zh) * | 2018-01-09 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 文件读取方法、系统、元数据服务器和用户设备 |
| CN108345493A (zh) * | 2018-03-13 | 2018-07-31 | 国云科技股份有限公司 | 一种基于多云统管系统Windows虚拟机跨云迁移的方法 |
| CN110955720A (zh) * | 2018-09-27 | 2020-04-03 | 阿里巴巴集团控股有限公司 | 一种数据加载方法、装置及系统 |
| CN110209734A (zh) * | 2019-05-05 | 2019-09-06 | 深圳市腾讯计算机系统有限公司 | 数据复制方法、装置、计算机设备及存储介质 |
| US20220004320A1 (en) * | 2020-07-01 | 2022-01-06 | EMC IP Holding Company LLC | Sharing memory resources between asynchronous replication workloads |
| CN111552668A (zh) * | 2020-07-09 | 2020-08-18 | 南京云信达科技有限公司 | 一种基于zfs文件系统的高性能跨域复制方法 |
| CN112000277A (zh) * | 2020-07-17 | 2020-11-27 | 苏州浪潮智能科技有限公司 | 精简置备文件拷贝方法、装置、设备及可读存储介质 |
| CN112068930A (zh) * | 2020-08-24 | 2020-12-11 | 苏州浪潮智能科技有限公司 | 一种跨平台迁移虚拟机的方法 |
| CN112527193A (zh) * | 2020-12-04 | 2021-03-19 | 北京浪潮数据技术有限公司 | 一种云硬盘数据迁移方法、装置、设备及存储介质 |
| CN112965857A (zh) * | 2021-03-03 | 2021-06-15 | 上海英方软件股份有限公司 | 一种基于块备份快速恢复数据的方法及系统 |
| CN114461149A (zh) * | 2022-02-09 | 2022-05-10 | 镁佳(北京)科技有限公司 | 一种基于K8s的分布式数据存储方法及装置 |
| CN114706652A (zh) * | 2022-02-18 | 2022-07-05 | 北京思特奇信息技术股份有限公司 | 一种基于OpenStack平台的虚拟机跨集群迁移方法及系统 |
| CN114564339A (zh) * | 2022-02-23 | 2022-05-31 | 华云数据控股集团有限公司 | 一种磁盘镜像文件跨平台迁移方法及系统 |
| CN114675938A (zh) * | 2022-04-21 | 2022-06-28 | 江苏安超云软件有限公司 | 一种异构集群虚拟机迁移方法、系统及云平台 |
| CN115390991A (zh) * | 2022-08-29 | 2022-11-25 | 江苏安超云软件有限公司 | 虚拟机的导入导出方法、装置、设备及存储介质 |
| CN115390996A (zh) * | 2022-10-28 | 2022-11-25 | 安超云软件有限公司 | 虚拟机迁移方法和装置、计算设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116301593B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10282192B1 (en) | Updating device code through a bus | |
| US11093142B2 (en) | Optimizing off-loaded input/output (I/O) requests | |
| CN109791471B (zh) | 虚拟化外围装置处的非易失性存储装置 | |
| CN110199271B (zh) | 用于现场可编程门阵列虚拟化的方法和设备 | |
| CN112104723B (zh) | 一种多集群的数据处理系统及方法 | |
| US20160261693A1 (en) | Cloud-based data backup and operation method and system | |
| CN113287286A (zh) | 通过rdma进行分布式存储节点中的输入/输出处理 | |
| CN110928935B (zh) | 数据的访问命令处理方法、装置和系统 | |
| US10341181B2 (en) | Method and apparatus to allow dynamic changes of a replica network configuration in distributed systems | |
| CN110520844A (zh) | 云管理平台、虚拟机管理方法及其系统 | |
| EP3879875A1 (en) | Resource change method and device, apparatus, and storage medium | |
| US10303388B1 (en) | Storage filtering using container images | |
| US11237761B2 (en) | Management of multiple physical function nonvolatile memory devices | |
| US20220035844A1 (en) | Centralized database system with geographically partitioned data | |
| CN109460187A (zh) | 一种qcow2文件数据一致性验证方法及验证终端 | |
| CN116301593B (zh) | 在云平台下跨集群跨存储拷贝块数据的方法及应用 | |
| CN116841799A (zh) | 虚拟机备份方法、系统、设备及可读存储介质 | |
| WO2022242665A1 (zh) | 一种数据存储方法及相关装置 | |
| CN114443216A (zh) | 一种云平台镜像管理方法及管理系统 | |
| US11323331B2 (en) | Cloud server and operating method of the same | |
| CN115129365B (zh) | 基于ipsan实现应用程序可移植性的方法及应用 | |
| WO2024055670A1 (zh) | 基于云计算技术的数据迁移方法及云管理平台 | |
| CN113138722B (zh) | 用于分布式块存储系统的复制快照方法、系统和介质 | |
| US20240028371A1 (en) | Application state synchronization across computing environments | |
| CN117076381A (zh) | 一种数据传输系统、方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |