CN107329798A - 数据复制的方法、装置和虚拟化系统 - Google Patents

数据复制的方法、装置和虚拟化系统 Download PDF

Info

Publication number
CN107329798A
CN107329798A CN201710354195.3A CN201710354195A CN107329798A CN 107329798 A CN107329798 A CN 107329798A CN 201710354195 A CN201710354195 A CN 201710354195A CN 107329798 A CN107329798 A CN 107329798A
Authority
CN
China
Prior art keywords
main frame
mirror image
subfile
resource manager
storage address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710354195.3A
Other languages
English (en)
Other versions
CN107329798B (zh
Inventor
朱洪兵
夏明亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710354195.3A priority Critical patent/CN107329798B/zh
Publication of CN107329798A publication Critical patent/CN107329798A/zh
Application granted granted Critical
Publication of CN107329798B publication Critical patent/CN107329798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0667—Virtualisation aspects at data level, e.g. file, record or object virtualisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据复制的方法、装置和虚拟化系统，其中，虚拟资源管理器在接收到用户设备的镜像导出请求后，根据所述导出请求携带的虚拟机的标识确定所述虚拟机的源卷以及所述虚拟机的镜像文件的目的存储地址，向确定的至少两个主机分别发送复制请求，各个主机并行复制所述虚拟机的源卷的不同数据段到目的存储地址。通过上述方式，使得在镜像导出流程中，虚拟资源管理器可以指定多个主机并行完成数据复制操作，提高了镜像文件的复制效率，避免了由单个主机执行数据复制所带来的性能瓶颈。

Description

数据复制的方法、装置和虚拟化系统
技术领域
本申请涉及云计算技术领域，特别涉及一种数据复制的方法、装置和虚拟化系统。
背景技术
在云计算场景下，随着虚拟机技术的出现，云服务获得大规模应用。大量的客户将基础设施不断地搬迁至云端。云服务提供商为了满足客户对于云服务日益增长的需求，在服务器资源池中不断增加新服务器以支撑云服务的正常运行，设置在服务器上的虚拟机提供云服务。
现有技术提供了使用镜像创建虚拟机的方法，系统管理员根据业务要求在控制台上下发镜像创建虚拟机的请求，设定源镜像、目的数据存储以及虚拟机的相关配置(中央处理器CPU、内存、网络以及磁盘等资源配置)，虚拟资源管理器(Virtual Resource Manager，VRM)获取到镜像创建虚拟机的请求后，通过资源调度策略(CPU负载、内存使用率、网络带宽以及存储输入输出IO时延等)选择出一个主机来执行拷贝操作。计算代理节点连接源存储，读取源存储中镜像的数据，将数据写到目的数据存储上。但是，镜像数据复制受限于主机的性能，导致拷贝速度慢。
发明内容
本申请公开了一种数据复制的方法、装置和虚拟化系统，在使用镜像创建虚拟机时，可以提高镜像数据的拷贝速度。
第一方面，本发明实施例公开了一种虚拟化系统，所述虚拟化系统包括虚拟资源管理器以及至少两个主机，
所述虚拟资源管理器，用于接收用户设备的镜像导出请求，所述镜像导出请求携带虚拟机的标识；
所述虚拟资源管理器，还用于根据所述虚拟机的标识确定所述虚拟机的源卷以及所述虚拟机的镜像文件的目的存储地址；
所述虚拟资源管理器，还用于确定执行数据复制操作的至少两个主机，向所述至少两个主机分别发送复制请求，所述复制请求携带所述虚拟机的源卷的起始位置、偏移量、镜像子文件标识以及所述目的存储地址，其中，发送给不同主机的复制请求携带的偏移量不同，所述偏移量用于指示主机读取的源卷中的数据段的起始位置；
所述至少两个主机中的每个主机，用于接收所述复制请求，根据所述复制请求中携带的所述虚拟机的源卷的起始位置以及偏移量分别读取所述源卷中的基准大小的数据段，以生成镜像子文件，将所述复制请求携带的镜像子文件标识设置到生成的所述镜像子文件，将镜像子文件存储到所述目的存储地址。
通过上述方式，使得在镜像导出流程中，虚拟资源管理器可以指定多个主机并行完成数据复制操作，提高了镜像文件的复制效率，避免了由单个主机执行数据复制所带来的性能瓶颈。
在一种可能的实施方式中，所述至少两个主机中的每个主机，还用于向所述虚拟资源管理器上报复制结果；
所述虚拟资源管理器，还用于根据所述至少两个主机上报的所述复制结果，确定所述虚拟机的源卷是否复制完，如果否，则从所述至少两个主机中选择主机继续执行数据复制操作，从而将所述虚拟机的源卷导出为一系列的镜像子文件，存储在所述目的存储地址。
所述目的存储地址为统一资源定位符URL地址，用于表示镜像文件的存储目录的地址。
在一种可能的实施方式中，所述资源管理器确定所述虚拟机的源卷的大小，根据所述虚拟机的源卷的大小确定执行数据复制操作的主机的数量。
所述虚拟资源管理器还可以咨询镜像导入流程，具体的，
所述虚拟资源管理器，还用于接收用户设备的镜像导入请求，所述镜像导入请求中携带镜像文件的源存储地址以及目的存储地址，所述镜像文件的源存储地址地址表示镜像文件存储的目录，上述目录中存储有镜像文件包括的所有子文件；
所述虚拟资源管理器，还用于确定执行数据复制操作的至少两个主机，向所述至少两个主机中的每个主机发送复制请求，所述复制请求包括所述镜像文件的源存储地址、分配给该主机的镜像子文件的名称以及所述目的存储地址，所述镜像子文件的名称包含镜像标识和所述镜像子文件标识；
所述至少两个主机中的每个主机，还用于接收所述复制请求，根据所述镜像文件的源存储地址以及分配给该主机的镜像子文件的名称，从镜像文件所在的目录读取待复制的镜像子文件，将读取的镜像子文件复制到目的存储地址。
所述至少两个主机中的每个主机，还用于向所述虚拟资源管理器上报复制结果；
所述虚拟资源管理器，还用于根据所述至少两个主机上报的所述复制结果，确定所述镜像文件包含的镜像子文件是否复制完，如果否，则从所述至少两个主机中选择主机继续执行数据复制操作，从而将所述镜像文件包含的镜像子文件全部复制到所述目的存储地址。
第二方面，本申请提供一种数据复制的方法，所述虚拟资源管理器以及所述主机执行上述系统中的功能。
第三方面，本申请提供一种具备硬件结构的虚拟资源管理器的，包括处理器和存储器，所述存储器存储有程序指令，所述处理器执行所述程序指令以执行第二方面中所述虚拟资源管理器执行的步骤。
第四方面，本申请提供了一种计算机存储介质，用于储存为上述虚拟资源管理器的所用的计算机软件指令，其包含用于执行上述方面各种实施方式所设计的程序。
附图说明
图1是本发明实施例提供的一种虚拟化系统的结构示意图；
图2是本发明实施例提供的计算机设备示意图；
图3是本发明实施例提供的一种镜像导出的流程示意图；
图4是本发明实施例提供的一种镜像导入的流程示意图。
具体实施方式
参见图1，为本发明实施例提供的一种虚拟化系统的结构示意图，虚拟化系统包括虚拟资源管理器11、多个主机12以及存储系统13。用户设备14通过网络访问虚拟资源管理器，通过虚拟资源管理器11在主机12上创建虚拟机，具体的，用户设备14可以通过直接或间接的方式访问虚拟资源管理器11，上述间接的方式可以为用户设备14登录虚拟化系统管理服务器，通过虚拟化系统管理服务器向虚拟资源管理器发送操作命令。
虚拟资源管理器11，用于向主机12发送虚拟机操作命令，包括创建虚拟机、启动虚拟机以及删除虚拟机等命令，虚拟资源管理器11可以采用独立的物理服务器或者物理服务器集群来实现。
主机12上运行虚拟机，为用户提供计算能力。主机12通过网络访问存储系统13。
存储系统13为主机12提供存储能力，存储系统13由多个存储服务器或存储阵列等存储设备构成，存储服务器或存储阵列作为镜像服务器为用户提供镜像存储服务。在一种可能的实施方式中，存储系统13可以为网络附属存储(Network Attached Storage，网络附属存储)系统，任意一个主机12均可以通过网络访问存储系统13中的数据。
镜像服务器用于存储虚拟机镜像文件，本发明实施例中，在镜像服务器上存放的镜像文件由多个镜像子文件构成。镜像子文件的名称包括镜像标识以及子文件标识，其中，镜像标识用于识别镜像，镜像子文件标识用于标识镜像子文件在镜像文件中的顺序，例如，镜像文件为8GB，镜像服务器采用1GB为基本单位对镜像进行拆分，得到8个镜像子文件，8个镜像子文件的标识可以分别为0-7，用于标识镜像子文件在镜像文件中的顺序。进一步的，在镜像的配置文件中可以记录镜像文件的大小。
在本发明实施例中，虚拟资源管理器11获取处理策略，根据处理策略确定可用主机以及需要复制的镜像的子文件。在一种可能的实施方式中，处理策略包括资源可用情况，资源管理服务器11根据各个主机12的资源可用情况选择可用的主机，确定执行数据复制的主机列表；进一步的，处理策略还包括子文件分配策略，虚拟资源管理器11为主机列表中的每个主机分配需要执行数据复制的子文件。上述资源可用情况包括但不限于CPU资源、内存资源、网络资源以及存储资源的可用情况。示例性的，镜像文件的规格设置为100GB，待复制的镜像文件的实际大小为8G，虚拟资源管理器11根据资源可用情况确定执行数据复制的5个主机，那么第一个主机复制part0子文件、第二个主机复制part1子文件……第5个主机拷复制part4子文件，当某个主机复制结束后，虚拟资源管理器11继续将剩余的待复制子文件分配给该主机执行数据复制操作，直至所有的子文件都复制完成。
本发明实施例提供的数据复制的实施方式中，将虚拟机镜像进行分片存储，各个镜像子文件同时由选定的多个主机并发读取，提高数据复制的速度。进一步的，当某个子文件读取失败时，虚拟资源管理器11可以把读取失败的子文件重新分配给其他主机，由其他主机重新执行数据复制操作，提升容错能力。镜像的目的存储位置共享给选定的多个主机，每个主机把自身负责复制的镜像子文件写入到目的存储位置即可，数据写入的理论性能是单个主机执行数据复制操作的n倍(n为选定的执行数据复制操作的主机数量)。
在具体的实施方式中，虚拟资源管理器11、主机12以及镜像服务器可以为图2所示的硬件结构。
示例性的，如图2所示，为本发明实施例提供的计算机设备示意图。计算机设备200包括至少一个处理器201，通信总线202，存储器203以及至少一个通信接口204。
处理器201可以是一个通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。
通信总线202可包括一通路，在上述组件之间传送信息。所述通信接口304，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。
存储器203可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，所述存储器203用于存储执行本发明方案的应用程序代码，并由处理器201来控制执行。所述处理器201用于执行所述存储器203中存储的应用程序代码。
在具体实现中，作为一种实施例，处理器201可以包括一个或多个CPU，例如图2中的CPU0和CPU1。
在具体实现中，作为一种实施例，计算机设备200可以包括多个处理器，例如图2中的处理器201和处理器208。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中，作为一种实施例，计算机设备200还可以包括输出设备205和输入设备206。输出设备205和处理器201通信，可以以多种方式来显示信息。例如，输出设备205可以是液晶显示器(liquid crystal display，LCD),发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备206和处理器201通信，可以以多种方式接受用户的输入。例如，输入设备206可以是鼠标、键盘、触摸屏设备或传感设备等。
上述的计算机设备200可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中，计算机设备200可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备或有图2中类似结构的设备。本发明实施例不限定计算机设备200的类型。
图1的虚拟资源管理器11、主机12和镜像服务器可以采用图2所示的计算机设备，存储器中存储了一个或多个软件模块，用于实现虚拟资源管理器11、主机12和镜像服务器的功能。虚拟资源管理器11、主机12和镜像服务器可以通过处理器以及存储器中的程序代码来实现本发明实施例的数据复制的方法。
需要说明的是，图2所示的计算机设备仅仅是给出了虚拟化系统中各部分的可能的硬件实现方式，根据系统各部分功能的不同或者变化，可以对计算机设备的硬件组件进行增删，以使得与系统各部分的功能进行匹配。
结合图1所示的虚拟化系统结构示意图，如图3所示，为本发明实施例提供的一种镜像导出的流程示意图，该数据复制流程包括下述步骤：
步骤301：用户设备向虚拟资源管理器发送镜像导出请求，镜像导出请求中携带虚拟机标识。
在一种可能的实施方式中，用户使用用户设备登录用户管理界面，在用户管理界面查看虚拟机清单，选择需要导出的虚拟机，执行导出操作。
步骤302：虚拟资源管理器接收镜像导出请求，根据虚拟机标识确定待导出的虚拟机的源卷以及镜像文件的目的存储地址，所述镜像文件的目的存储地址用于表示存储镜像文件的目录，虚拟资源管理器发起镜像导出任务并向用户设备返回任务标识。
具体的，所述镜像文件的目的存储地址可以采用URL(Uniform Resoure Locator，统一资源定位符)地址。
在一种可能的实施方式中，虚拟资源管理器上配置有各虚拟机对应的镜像文件的存储地址，具有相同属性的虚拟机可以存储在相同的目录下，所述属性可以为用户标识或集群标识。虚拟资源管理器上也可以配置有分配规则，用于为虚拟机分配对应的镜像文件的存储地址。
步骤303：虚拟资源管理器根据处理策略选择执行数据复制的多个主机，具体的，虚拟资源管理器根据主机的可用资源情况优先选择可用资源较多的主机执行数据复制操作，选择的主机的数量可以根据虚拟机源卷的卷文件的大小来确定。
需要说明的是，每个主机执行一次数据复制可以从所述虚拟机源卷中复制基准大小的数据，复制出的上述基准大小的数据作为一个镜像子文件。
在一种可能的实施方式中，镜像子文件的基准大小可以设置为1G，每个选定的主机每次复制1G大小的数据作为一个镜像子文件，优选的，并发执行数据复制操作的主机的数量大于小于20个，当卷文件大于20G时，选择20个主机执行数据复制操作，当卷文件小于20G时，使用卷文件大小对镜像子文件的大小进行取整，取整得到的数值作为选择的主机的数量，例如，卷文件大小为8G时，选择8个主机执行数据复制操作。
步骤304：虚拟资源管理器向选择的每个主机发送复制请求，所述复制请求包含虚拟机的源卷文件的起始位置、偏移量、镜像子文件标识以及所述镜像文件的目的存储地址。
虚拟资源管理器将每个主机要复制的虚拟机源卷的数据起始位置通知给各主机，各主机从源卷的起始位置复制基准大小的数据到目的存储地址。各个主机分别负责复制虚拟机源卷的部分数据段，从而提高了数据复制的效率。
步骤305：每个主机收到复制请求后，根据所述虚拟机的源卷文件的起始位置和偏移量，读取源卷中基准大小的数据作为镜像子文件，将所述镜像子文件写入到目的存储地址对应的目录中，镜像子文件的名称包含镜像标识以及镜像子文件标识。
在一种可能的实施方式中，子文件标识可以为序列，表示子文件在镜像文件中的顺序，通过子文件标识即可确定子文件在整个镜像文件中的位置。
主机可以周期性的上报数据复制的进度。当虚拟资源管理器在设置的时长(例如5分钟或者150个上报周期)内没有收到某个主机上报数据复制的进度时，则确定该主机执行的数据复制操作失败，将分配给该主机的镜像子文件分配给其他主机进行数据复制。在网络不稳定的场景，也可以实现镜像的正常复制，降低了失败的概率。
步骤306：虚拟资源管理器接收各个主机返回的复制结果，确定是否还有没有复制的镜像子文件，如果有，则把没有复制的镜像子文件分配给前述选择的主机，继续执行数据复制操作。
步骤307：当所有镜像子文件都成功写入到目的数据存储后，虚拟资源管理器向用户设备返回导出响应。
步骤301-步骤307为镜像导出流程，将虚拟机镜像分割为多个镜像子文件，通过选择多个主机同时执行数据复制操作，将镜像的多个镜像子文件导出到目的数据存储，提高了镜像导出的效率。
进一步的，如图4所示，本发明实施例还提供了一种镜像导入的流程示意图，包括：
步骤401：用户设备向虚拟资源管理器发送镜像导入请求，所述镜像导入请求中携带镜像文件的源存储地址以及目的存储地址，所述镜像文件的源存储地址地址表示镜像文件存储的目录，上述目录中存储有镜像文件包括的所有子文件。
步骤402：虚拟资源管理器根据所述镜像文件的源存储地址发起镜像导入任务并向用户设备返回任务标识。
步骤403：虚拟资源管理器根据处理策略选择执行数据复制操作的多个主机，将镜像文件存储的目录中的镜像子文件分配给选择的各个主机执行数据复制操作。主机的选择方式与步骤303类似，虚拟资源管理器根据镜像子文件的数量确定选择的主机的数量。
步骤404：虚拟资源管理器向选择的每个主机发送复制请求，所述复制请求包括所述镜像文件的源存储地址、分配给该主机的镜像子文件的名称以及所述目的存储地址。
步骤405：各个主机接收所述复制请求，根据所述镜像文件的源存储地址以及分配给该主机的镜像子文件的名称，从镜像文件所在的目录读取待复制的镜像子文件，将读取的镜像子文件复制到目的存储地址。
具体的，各个主机通过与存储系统之间的连接，访问所述镜像文件的存储地址所在的镜像服务器，读取镜像子文件。
步骤406：虚拟资源管理器接收各个主机返回的复制结果，确定是否还有没有复制的镜像子文件，如果有，则把没有复制的镜像子文件分配给前述选择的主机，继续执行数据复制操作。
步骤407：当镜像的所有子文件都复制完成后后，虚拟资源管理器向用户设备返回导入响应。
步骤308-314为镜像导入流程，与前述镜像导出流程类似的是，镜像导入流程中，各主机可以采用相同的上报方式向虚拟资源管理器上报数据复制的进度；资源服务器采用相同的方式确定子文件复制是否失败，如果失败，则重新选择其他主机执行数据复制操作。
在上述镜像导出和镜像导入流程中，虚拟资源管理器为虚拟机选择多个主机，由多个主机执行数据复制操作，通过在复制请求中指定各虚拟机复制的镜像子文件，使得各个主机并行复制镜像文件包括的镜像子文件，提高了镜像文件的复制效率，避免了由单个主机执行数据复制所带来的性能瓶颈。
虚拟资源管理器可以采用如图2所示的计算机设备来实现，或者由软件模块实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘(Sol id State Di sk，SSD)。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员根据本发明申请提供的具有实施例方式，可想到变化或替换。

Claims (11)

1.一种虚拟化系统，其特征在于，所述虚拟化系统包括虚拟资源管理器以及至少两个主机，
所述虚拟资源管理器，用于接收用户设备的镜像导出请求，所述镜像导出请求携带虚拟机的标识；
所述虚拟资源管理器，还用于根据所述虚拟机的标识确定所述虚拟机的源卷以及所述虚拟机的镜像文件的目的存储地址；
所述虚拟资源管理器，还用于确定执行数据复制操作的至少两个主机，向所述至少两个主机分别发送复制请求，所述复制请求携带所述虚拟机的源卷的起始位置、偏移量、镜像子文件标识以及所述目的存储地址，其中，发送给不同主机的复制请求携带的偏移量不同，所述偏移量用于指示主机读取的源卷中的数据段的起始位置；
所述至少两个主机中的每个主机，用于接收所述复制请求，根据所述复制请求中携带的所述虚拟机的源卷的起始位置以及偏移量分别读取所述源卷中的基准大小的数据段，以生成镜像子文件，将所述复制请求携带的镜像子文件标识设置到生成的所述镜像子文件，将镜像子文件存储到所述目的存储地址。
2.如权利要求1所述的系统，其特征在于，
所述至少两个主机中的每个主机，还用于向所述虚拟资源管理器上报复制结果；
所述虚拟资源管理器，还用于根据所述至少两个主机上报的所述复制结果，确定所述虚拟机的源卷是否复制完，如果否，则从所述至少两个主机中选择主机继续执行数据复制操作，从而将所述虚拟机的源卷导出为一系列的镜像子文件，存储在所述目的存储地址。
3.如权利要求1或2所述的系统，其特征在于，
所述目的存储地址为统一资源定位符URL地址，用于表示镜像文件的存储目录的地址。
4.如权利要求1-3任一所述的系统，其特征在于，
所述虚拟资源管理器，还用于确定所述虚拟机的源卷的大小，根据所述虚拟机的源卷的大小确定执行数据复制操作的主机的数量。
5.如权利要求1-4任一所述的系统，其特征在于，
所述虚拟资源管理器，还用于接收用户设备的镜像导入请求，所述镜像导入请求中携带镜像文件的源存储地址以及目的存储地址，所述镜像文件的源存储地址地址表示镜像文件存储的目录，上述目录中存储有镜像文件包括的所有子文件；
所述虚拟资源管理器，还用于确定执行数据复制操作的至少两个主机，向所述至少两个主机中的每个主机发送复制请求，所述复制请求包括所述镜像文件的源存储地址、分配给该主机的镜像子文件的名称以及所述目的存储地址，所述镜像子文件的名称包含镜像标识和所述镜像子文件标识；
所述至少两个主机中的每个主机，还用于接收所述复制请求，根据所述镜像文件的源存储地址以及分配给该主机的镜像子文件的名称，从镜像文件所在的目录读取待复制的镜像子文件，将读取的镜像子文件复制到目的存储地址。
6.如权利要求5所述的系统，其特征在于，
所述至少两个主机中的每个主机，还用于向所述虚拟资源管理器上报复制结果；
所述虚拟资源管理器，还用于根据所述至少两个主机上报的所述复制结果，确定所述镜像文件包含的镜像子文件是否复制完，如果否，则从所述至少两个主机中选择主机继续执行数据复制操作，从而将所述镜像文件包含的镜像子文件全部复制到所述目的存储地址。
7.一种数据复制的方法，其特征在于，包括：
虚拟资源管理器接收用户设备的镜像导出请求，所述镜像导出请求携带虚拟机的标识；
所述虚拟资源管理器根据所述虚拟机的标识确定所述虚拟机的源卷以及所述虚拟机的镜像文件的目的存储地址；
所述虚拟资源管理器确定执行数据复制操作的至少两个主机，向所述至少两个主机分别发送复制请求，所述复制请求携带所述虚拟机的源卷的起始位置、偏移量、镜像子文件标识以及所述目的存储地址，其中，发送给不同主机的复制请求携带的偏移量不同，所述偏移量用于指示主机读取的源卷中的数据段的起始位置；
所述至少两个主机中的每个主机接收所述复制请求，根据所述复制请求中携带的所述虚拟机的源卷的起始位置以及偏移量分别读取所述源卷中的基准大小的数据段，以生成镜像子文件，将所述复制请求携带的镜像子文件标识设置到生成的所述镜像子文件，将镜像子文件存储到所述目的存储地址。
8.如权利要求7所述的方法，其特征在于，还包括：
所述至少两个主机中的每个主机向所述虚拟资源管理器上报复制结果；
所述虚拟资源管理器根据所述至少两个主机上报的所述复制结果，确定所述虚拟机的源卷是否复制完，如果否，则从所述至少两个主机中选择主机继续执行数据复制操作，从而将所述虚拟机的源卷导出为一系列的镜像子文件，存储在所述目的存储地址。
9.如权利要求7或8所述的方法，其特征在于，所述虚拟资源管理器确定执行数据复制操作的至少两个主机之前，所述方法还包括：
所述资源管理器确定所述虚拟机的源卷的大小，根据所述虚拟机的源卷的大小确定执行数据复制操作的主机的数量。
10.如权利要求7-9任一所述的方法，其特征在于，还包括：
所述虚拟资源管理器接收用户设备的镜像导入请求，所述镜像导入请求中携带镜像文件的源存储地址以及目的存储地址，所述镜像文件的源存储地址地址表示镜像文件存储的目录，上述目录中存储有镜像文件包括的所有子文件；
所述虚拟资源管理器确定执行数据复制操作的至少两个主机，向所述至少两个主机中的每个主机发送复制请求，所述复制请求包括所述镜像文件的源存储地址、分配给该主机的镜像子文件的名称以及所述目的存储地址，所述镜像子文件的名称包含镜像标识和所述镜像子文件标识；
所述至少两个主机中的每个主机接收所述复制请求，根据所述镜像文件的源存储地址以及分配给该主机的镜像子文件的名称，从镜像文件所在的目录读取待复制的镜像子文件，将读取的镜像子文件复制到目的存储地址。
11.如权利要求10所述的方法，其特征在于，还包括：
所述至少两个主机中的每个主机向所述虚拟资源管理器上报复制结果；
所述虚拟资源管理器根据所述至少两个主机上报的所述复制结果，确定所述镜像文件包含的镜像子文件是否复制完，如果否，则从所述至少两个主机中选择主机继续执行数据复制操作，从而将所述镜像文件包含的镜像子文件全部复制到所述目的存储地址。
CN201710354195.3A 2017-05-18 2017-05-18 数据复制的方法、装置和虚拟化系统 Active CN107329798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710354195.3A CN107329798B (zh) 2017-05-18 2017-05-18 数据复制的方法、装置和虚拟化系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710354195.3A CN107329798B (zh) 2017-05-18 2017-05-18 数据复制的方法、装置和虚拟化系统

Publications (2)

Publication Number Publication Date
CN107329798A true CN107329798A (zh) 2017-11-07
CN107329798B CN107329798B (zh) 2021-02-23

Family

ID=60193807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710354195.3A Active CN107329798B (zh) 2017-05-18 2017-05-18 数据复制的方法、装置和虚拟化系统

Country Status (1)

Country Link
CN (1) CN107329798B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240852A (zh) * 2018-08-27 2019-01-18 郑州云海信息技术有限公司 一种数据拷贝的方法和装置
CN110740188A (zh) * 2019-10-25 2020-01-31 北京浪潮数据技术有限公司 镜像文件上传方法、装置、设备及计算机可读存储介质
CN110737571A (zh) * 2019-08-31 2020-01-31 苏州浪潮智能科技有限公司 一种基于hdp+fpga压缩解压缩基准性能验证方法、系统及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307241B (zh) * 2011-09-27 2013-12-25 上海忠恕物联网科技有限公司 一种基于动态预测的云计算资源部署方法
KR101782685B1 (ko) * 2012-04-27 2017-09-27 유니버시티 오브 브리티쉬 콜럼비아 중복이 제거된 가상 머신 이미지 트랜스퍼
CN102981929B (zh) * 2012-11-05 2015-11-25 曙光云计算技术有限公司 磁盘镜像的管理方法和系统
US20150234669A1 (en) * 2014-02-17 2015-08-20 Strato Scale Ltd. Memory resource sharing among multiple compute nodes
CN106385449B (zh) * 2016-09-13 2019-01-29 哈尔滨工程大学 一种基于容器的异构集群服务迁移中转系统及中转方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240852A (zh) * 2018-08-27 2019-01-18 郑州云海信息技术有限公司 一种数据拷贝的方法和装置
CN110737571A (zh) * 2019-08-31 2020-01-31 苏州浪潮智能科技有限公司 一种基于hdp+fpga压缩解压缩基准性能验证方法、系统及设备
CN110737571B (zh) * 2019-08-31 2022-10-18 苏州浪潮智能科技有限公司 一种基于hdp+fpga压缩解压缩基准性能验证方法、系统及设备
CN110740188A (zh) * 2019-10-25 2020-01-31 北京浪潮数据技术有限公司 镜像文件上传方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN107329798B (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
US11442818B2 (en) Prioritized leadership for data replication groups
JP5159421B2 (ja) ストレージシステム及び管理装置を用いたストレージシステムの管理方法
LU102666B1 (en) Small-file storage optimization system based on virtual file system in kubernetes user-mode application
US7478177B2 (en) System and method for automatic reassignment of shared storage on blade replacement
US9460185B2 (en) Storage device selection for database partition replicas
JP6893284B2 (ja) リソーススケジューリング方法、スケジューリングサーバ、クラウドコンピューティングシステム、及び記憶媒体
JP5411250B2 (ja) 冗長データ記憶システムへの指示に従ってのデータ配置
US10235055B1 (en) Storage performance testing to evaluate moving data among arrays
US9229749B2 (en) Compute and storage provisioning in a cloud environment
US10579272B2 (en) Workload aware storage platform
US7096336B2 (en) Information processing system and management device
JP2017130211A (ja) 記憶階層の動的選択
US20150236974A1 (en) Computer system and load balancing method
US20220075757A1 (en) Data read method, data write method, and server
US9984139B1 (en) Publish session framework for datastore operation records
JP5104855B2 (ja) 負荷分散プログラム、負荷分散方法、及びストレージ管理装置
US20210216231A1 (en) Method, electronic device and computer program product for rebuilding disk array
CN107329798A (zh) 数据复制的方法、装置和虚拟化系统
JP2020173727A (ja) ストレージ管理装置、情報システム、及びストレージ管理方法
CN110300960A (zh) 信息系统、管理程序和信息系统的程序更换方法
US10931750B1 (en) Selection from dedicated source volume pool for accelerated creation of block data volumes
US20160036632A1 (en) Computer system
US10956442B1 (en) Dedicated source volume pool for accelerated creation of block data volumes from object data snapshots
JPWO2015107626A1 (ja) 計算機システムおよびその階層記憶の制御方法
JP2011070464A (ja) 計算機システム及び計算機システムの性能管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant