CN111897679A - 一种数据复制方法及装置 - Google Patents

Abstract

本申请公开了一种数据复制方法及装置。所述方法包括：接收向目标虚拟主机复制数据的任务；生成预设命令，所述预设命令中用于使分布式存储系统将本地对应的第一外接虚拟磁盘中的数据复制到所述目标虚拟主机对应的第二外接虚拟磁盘中；通过本地挂载的虚拟磁盘将所述预设命令传递至分布式存储系统，以使所述分布式存储系统从第一外接虚拟磁盘向所述第二外接虚拟磁盘复制数据。采用本申请所提供的方案，简化了虚拟主机之间的数据复制过程。

Description

一种数据复制方法及装置

技术领域

本申请涉及计算机领域，特别涉及一种数据复制方法及装置。

背景技术

在现有技术中，从虚拟主机A拷贝大量数据到虚拟主机B时，详细的IO流程为：步骤1：虚拟主机A收到向虚拟主机B拷贝数据的命令，并将SCSI读命令传递到虚拟主机A挂载的虚拟磁盘中。步骤2：虚拟磁盘将SCSI读命令通过网络传递到后端存储阵列。步骤3：存储阵列根据SCSI(Small Computer System Interface，小型计算机系统接口)读命令，将数据读取出来，并将这些数据通过网络返回给虚拟主机A。步骤4：虚拟主机A将读取到的数据通过虚拟主机之间的网络传递给虚拟主机B。步骤5：虚拟主机B接收网络上传递的数据，并将其写入虚拟磁盘中。步骤6：虚拟磁盘通过网络将数据传递到后端存储阵列中，完成整个数据拷贝的操作。由上面的步骤分析可知，需要拷贝的数据经过了3次网络，即步骤3，4和6。并且需要虚拟主机A和虚拟主机B参与数据传输。

可见，在现有技术中，虚拟主机之间数据复制的步骤较为繁杂，因此，如何提供一种数据复制方法，用以简化虚拟主机之间的数据复制过程，是一亟待解决的技术问题。

发明内容

本申请实施例的目的在于提供一种数据复制方法及装置。

为了解决上述技术问题，本申请的实施例采用了如下技术方案：一种数据复制方法，包括：

接收向目标虚拟主机复制数据的任务；

生成预设命令，所述预设命令中用于使分布式存储系统将本地对应的第一外接虚拟磁盘中的数据复制到所述目标虚拟主机对应的第二外接虚拟磁盘中；

通过本地挂载的虚拟磁盘将所述预设命令传递至分布式存储系统，以使所述分布式存储系统从第一外接虚拟磁盘向所述第二外接虚拟磁盘复制数据。

本申请的有益效果在于：在生成预设命令之后，直接将命令传递给分布式存储系统，从而使分布式存储系统从第一外接虚拟磁盘向所述第二外接虚拟磁盘复制数据，因此，只需要执行生成预设命令与将预设命令发送给分布式系统的步骤即可，而无需接收分布式存储系统返回的外接虚拟磁盘中的数据，无需与目标虚拟主机之间建立连接，也无需执行将数据发送给目标虚拟主机的步骤，而目标虚拟主机也无需将数据发送给其对应的外接虚拟磁盘，因此，简化了虚拟主机之间的数据复制过程。

在一个实施例中，所述生成预设命令，包括：

获取待复制数据在第一外接磁盘的存储位置信息；

获取待复制数据在第二外接磁盘的写入位置信息；

根据所述存储位置和写入位置生成预设命令。

在一个实施例中，所述分布式存储系统通过以下步骤向所述目标虚拟主机复制数据：

获取所述预设命令中携带的存储位置信息及写入位置信息；

通过所述存储位置信息从所述第一外接虚拟磁盘中读取待复制的数据；

根据所述写入位置信息将所述待复制的数据写入所述第二外接虚拟磁盘中。

在一个实施例中，所述生成预设命令，包括：

获取第一外接磁盘和第二外接磁盘的标识信息；

根据所述第一外接磁盘和第二外接磁盘的标识信息生成预设命令。

在一个实施例中，所述分布式存储系统通过以下步骤向所述目标虚拟主机复制数据：

获取所述预设命令中携带的第一外接磁盘和第二外接磁盘的标识信息；

通过预存储的磁盘标识信息与所述预设命令中携带的标识信息进行比对以确定第一外接虚拟磁盘与第二外接虚拟磁盘；

读取所述第一外接虚拟磁盘中的待复制数据；

将所述待复制数据写入所述第二外接虚拟磁盘。

本申请还提供一种数据复制装置，包括：

接收模块，用于接收向目标虚拟主机复制数据的任务；

生成模块，用于生成预设命令，所述预设命令中用于使分布式存储系统将本地对应的第一外接虚拟磁盘中的数据复制到所述目标虚拟主机对应的第二外接虚拟磁盘中；

传递模块，用于通过本地挂载的虚拟磁盘将所述预设命令传递至分布式存储系统，以使所述分布式存储系统从第一外接虚拟磁盘向所述第二外接虚拟磁盘复制数据。

在一个实施例中，所述生成模块，包括：

第一获取子模块，用于获取待复制数据在第一外接磁盘的存储位置信息；

第二获取子模块，用于获取待复制数据在第二外接磁盘的写入位置信息；

第一生成子模块，用于根据所述存储位置和写入位置生成预设命令。

在一个实施例中，所述分布式存储系统通过以下步骤向所述目标虚拟主机复制数据：

获取所述预设命令中携带的存储位置信息及写入位置信息；

通过所述存储位置信息从所述第一外接虚拟磁盘中读取待复制的数据；

根据所述写入位置信息将所述待复制的数据写入所述第二外接虚拟磁盘中。

在一个实施例中，所述生成模块，包括：

第三获取子模块，用于获取第一外接磁盘和第二外接磁盘的标识信息；

第二生成子模块，用于根据所述第一外接磁盘和第二外接磁盘的标识信息生成预设命令。

在一个实施例中，所述分布式存储系统通过以下步骤向所述目标虚拟主机复制数据：

获取所述预设命令中携带的第一外接磁盘和第二外接磁盘的标识信息；

通过预存储的磁盘标识信息与所述预设命令中携带的标识信息进行比对以确定第一外接虚拟磁盘与第二外接虚拟磁盘；

读取所述第一外接虚拟磁盘中的待复制数据；

将所述待复制数据写入所述第二外接虚拟磁盘。

附图说明

图1为本申请一实施例中一种数据复制方法的流程图；

图2A为现有技术中一种数据复制方法的IO流向图；

图2B为本申请一实施例中一种数据复制方法的IO流向图；

图2C为本申请另一实施例中一种数据复制方法的IO流向图；

图2D为本申请又一实施例中一种数据复制方法的IO流向图；

图2E为本申请又一实施例中一种数据复制方法的流程图；

图3为本申请一实施例中一种数据复制装置的框图；

图4为本申请另一实施例中一种数据复制装置的框图。

具体实施方式

此处参考附图描述本申请的各种方案以及特征。

应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。

VAAI(VMWare vSphere Storage API-Array Integration)被称为硬件加速或硬件减负API(Application Programming Interface，应用程序接口)，是一组用于虚拟主机与存储设备通信的API，允许虚拟主机将某些存储操作从主机卸载给存储阵列，从而减少虚拟主机的资源开销，极大改进了性能，比如克隆、数据拷贝等等。

VAAI中的XCOPY(Extend Copy、深拷贝)是在虚拟机执行克隆或者迁移操作，虚拟主机将数据拷贝工作卸载到存储系统端，这样既节约虚拟主机的CPU，内存，网络等资源，又能缩短IO路径，提升系统性能。XCOPY对应的SCSI(Small Computer System Interface，小型计算机系统接口)操作码为0x83。

在传统阵列存储中，VAAI中的XCOPY通过只能作用在单节点上的虚拟磁盘上。而在分布式系统中，需要完成多节点上的虚拟磁盘之间实现跨主机的XCOPY。

图1为本申请实施例的一种数据复制方法的流程图，该方法包括以下步骤S11-S13：

在步骤S11中，接收向目标虚拟主机复制数据的任务；

在步骤S12中，生成预设命令，预设命令中用于使分布式存储系统将本地对应的第一外接虚拟磁盘中的数据复制到目标虚拟主机对应的第二外接虚拟磁盘中；

在步骤S13中，通过本地挂载的虚拟磁盘将预设命令传递至分布式存储系统，以使分布式存储系统从第一外接虚拟磁盘向第二外接虚拟磁盘复制数据。

在现有技术中，如图2A所示，其应用于传统的阵列存储中，在没有启用VAAI XCOPY功能时，从虚拟主机A拷贝大量数据到虚拟主机B时，详细的IO流程：步骤①虚拟主机A收到向虚拟主机B拷贝数据的命令，并将SCSI读命令传递到虚拟主机A挂载的虚拟磁盘中。步骤②虚拟磁盘将SCSI读命令通过网络传递到后端存储阵列。步骤③存储阵列根据SCSI读命令，将数据读取出来，并将这些数据通过网络返回给虚拟主机A。步骤④虚拟主机A将读取到的数据通过虚拟主机之间的网络传递给虚拟主机B。步骤⑤虚拟主机B接收网络上传递的数据，并将其写入虚拟磁盘中。步骤⑥虚拟磁盘通过网络将数据传递到后端存储阵列中，完成整个数据拷贝的操作。

由上面的步骤描述可知，需要拷贝的数据经过了3次网络，③，④，⑥。并且需要虚拟主机A和虚拟主机B参与数据传输，虚拟主机之间数据复制的步骤较为繁杂，针对这样的情况，本申请提供了一种数据复制方法，包括：

接收向目标虚拟主机复制数据的任务；生成预设命令，预设命令中用于使分布式存储系统将本地对应的第一外接虚拟磁盘中的数据复制到目标虚拟主机对应的第二外接虚拟磁盘中；通过本地挂载的虚拟磁盘将预设命令传递至分布式存储系统，以使分布式存储系统从第一外接虚拟磁盘向第二外接虚拟磁盘复制数据。

其中，可以通过如下两种方式生成预设命令：

方式一

获取待复制数据在第一外接磁盘的存储位置信息；

获取待复制数据在第二外接磁盘的写入位置信息；

根据存储位置和写入位置生成预设命令。

方式二

获取第一外接磁盘和第二外接磁盘的标识信息；

根据第一外接磁盘和第二外接磁盘的标识信息生成预设命令。

采用上述方式一生成预设命令的情况下，分布式存储系统通过以下步骤向目标虚拟主机复制数据：

获取预设命令中携带的存储位置信息及写入位置信息；通过存储位置信息从第一外接虚拟磁盘中读取待复制的数据；根据写入位置信息将待复制的数据写入第二外接虚拟磁盘中。

举例而言，如图2B所示，XCOPY需要实现在不同的计算节点中，将大量数据拷贝工作卸载到分布式存储系统内部完成，假设本申请的执行主体为图2B所示的虚拟主机A，而目标虚拟主机为虚拟主机B，分布式存储系统通过以下步骤向目标虚拟主机复制数据：

步骤①虚拟主机A收到向虚拟主机B拷贝数据的命令，并将SCSI XCOPY命令(带有源磁盘需要读取的位置和目标磁盘需要写入的位置)传递到虚拟主机A挂载的虚拟磁盘中。

步骤②虚拟磁盘将SCSI XCOPY命令通过网络传递到后端分布式存储系统。

步骤③分布式存储系统根据SCSI XCOPY命令，解析源磁盘和目标磁盘的信息，从源磁盘中读取数据，并写入目标磁盘中的指定位置。

而采用上述方式二生成预设命令的情况下，分布式存储系统通过以下步骤向目标虚拟主机复制数据：

获取预设命令中携带的第一外接磁盘和第二外接磁盘的标识信息；通过预存储的磁盘标识信息与预设命令中携带的标识信息进行比对以确定第一外接虚拟磁盘与第二外接虚拟磁盘；读取第一外接虚拟磁盘中的待复制数据；将待复制数据写入第二外接虚拟磁盘。

举例而言，如图2C所示，假设本申请的执行主体为图2B所示的虚拟主机A，而目标虚拟主机为虚拟主机B，在跨计算节点实现VAAI XCOPY的功能，分布式存储系统增加了策略服务，策略服务记录了每个虚拟磁盘的唯一标识，SCSI XCOPY携带了源磁盘和目标磁盘的唯一标识信息，分布式存储系统只需要查询源磁盘和目标磁盘的唯一标识，找到对应的虚拟磁盘，便可以完成数据的拷贝操作。

当然，需要说明的是，当将分布式存储系统替换为传统阵列存储时，如图2D所示，在传统阵列存储，启用VAAI XCOPY功能时，从虚拟主机A拷贝大量数据到虚拟主机B时，详细的IO流程：

步骤①虚拟主机A收到向虚拟主机B拷贝数据的命令，并将SCSI XCOPY命令(带有源磁盘需要读取的位置和目标磁盘需要写入的位置)传递到虚拟主机A挂载的虚拟磁盘中。

步骤②虚拟磁盘将SCSI XCOPY命令通过网络传递到后端存储阵列。

步骤③存储阵列根据SCSI XCOPY命令，从源磁盘中读取数据，并写入目标磁盘中的指定位置。

可见，启用VAAI XCOPY后，即便是将分布式系统换成传统存储阵列，在一次大量数据拷贝过程中，不需要虚拟主机A和B之间进行数据传递，数据的拷贝操作也可以在存储阵列内部完成。

本申请的有益效果在于：在生成预设命令之后，直接将命令传递给分布式存储系统，从而使分布式存储系统从第一外接虚拟磁盘向第二外接虚拟磁盘复制数据，因此，只需要执行生成预设命令与将预设命令发送给分布式系统的步骤即可，而无需接收分布式存储系统返回的外接虚拟磁盘中的数据，无需与目标虚拟主机之间建立连接，也无需执行将数据发送给目标虚拟主机的步骤，而目标虚拟主机也无需将数据发送给其对应的外接虚拟磁盘，因此，简化了虚拟主机之间的数据复制过程。

在一个实施例中，如图2E所示，上述步骤S12可被实施为如下步骤S21-S23：

在步骤S21中，获取待复制数据在第一外接磁盘的存储位置信息；

在步骤S22中，获取待复制数据在第二外接磁盘的写入位置信息；

在步骤S23中，根据存储位置和写入位置生成预设命令。

本实施例所提供生成预设命令的方式适用于在分布式系统中没有记录每一个虚拟磁盘的唯一标识的情况，在这种情况下，需要确定第一外接磁盘的存储位置信息和第二外接磁盘的写入位置信息，然后根据存储位置和写入位置生成预设命令。

在一个实施例中，分布式存储系统通过以下步骤A1-A3向目标虚拟主机复制数据：

在步骤A1中，获取预设命令中携带的存储位置信息及写入位置信息；

在步骤A2中，通过存储位置信息从第一外接虚拟磁盘中读取待复制的数据；

在步骤A3中，根据写入位置信息将待复制的数据写入第二外接虚拟磁盘中。

在分布式系统中没有记录每一个虚拟磁盘的唯一标识的情况下，本实施例的具体执行步骤如图2B所示，XCOPY需要实现在不同的计算节点中，将大量数据拷贝工作卸载到分布式存储系统内部完成，假设本申请的执行主体为图2B所示的虚拟主机A，而目标虚拟主机为虚拟主机B，分布式存储系统通过以下步骤向目标虚拟主机复制数据：

步骤①虚拟主机A收到向虚拟主机B拷贝数据的命令，并将SCSI XCOPY命令(带有源磁盘需要读取的位置和目标磁盘需要写入的位置)传递到虚拟主机A挂载的虚拟磁盘中。

步骤②虚拟磁盘将SCSI XCOPY命令通过网络传递到后端分布式存储系统。

步骤③分布式存储系统根据SCSI XCOPY命令，解析源磁盘和目标磁盘的信息，从源磁盘中读取数据，并写入目标磁盘中的指定位置。

在一个实施例中，上述步骤S12可被实施为如下步骤B1-B2：

在步骤B1中，获取第一外接磁盘和第二外接磁盘的标识信息；

在步骤B2中，根据第一外接磁盘和第二外接磁盘的标识信息生成预设命令。

在一个实施例中，分布式存储系统通过以下步骤C1-C4向目标虚拟主机复制数据：

在步骤C1中，获取预设命令中携带的第一外接磁盘和第二外接磁盘的标识信息；

在步骤C2中，通过预存储的磁盘标识信息与预设命令中携带的标识信息进行比对以确定第一外接虚拟磁盘与第二外接虚拟磁盘；

在步骤C3中，读取第一外接虚拟磁盘中的待复制数据；

在步骤C4中，将待复制数据写入第二外接虚拟磁盘。

举例而言，如图2C所示，假设本申请的执行主体为图2B所示的虚拟主机A，而目标虚拟主机为虚拟主机B，在跨计算节点实现VAAI XCOPY的功能，分布式存储系统增加了策略服务，策略服务记录了每个虚拟磁盘的唯一标识，SCSI XCOPY携带了源磁盘和目标磁盘的唯一标识信息，分布式存储系统只需要查询源磁盘和目标磁盘的唯一标识，找到对应的虚拟磁盘，便可以完成数据的拷贝操作。

图3为本申请实施例的一种数据复制装置的框图，该装置包括以下模块：

接收模块31，用于接收向目标虚拟主机复制数据的任务；

生成模块32，用于生成预设命令，预设命令中用于使分布式存储系统将本地对应的第一外接虚拟磁盘中的数据复制到目标虚拟主机对应的第二外接虚拟磁盘中；

传递模块33，用于通过本地挂载的虚拟磁盘将预设命令传递至分布式存储系统，以使分布式存储系统从第一外接虚拟磁盘向第二外接虚拟磁盘复制数据。

在一个实施例中，如图4所示，生成模块32，包括：

第一获取子模块41，用于获取待复制数据在第一外接磁盘的存储位置信息；

第二获取子模块42，用于获取待复制数据在第二外接磁盘的写入位置信息；

第一生成子模块43，用于根据存储位置和写入位置生成预设命令。

在一个实施例中，分布式存储系统通过以下步骤向目标虚拟主机复制数据：

获取预设命令中携带的存储位置信息及写入位置信息；

通过存储位置信息从第一外接虚拟磁盘中读取待复制的数据；

根据写入位置信息将待复制的数据写入第二外接虚拟磁盘中。

在一个实施例中，生成模块，包括：

第三获取子模块，用于获取第一外接磁盘和第二外接磁盘的标识信息；

第二生成子模块，用于根据第一外接磁盘和第二外接磁盘的标识信息生成预设命令。

在一个实施例中，分布式存储系统通过以下步骤向目标虚拟主机复制数据：

获取预设命令中携带的第一外接磁盘和第二外接磁盘的标识信息；

通过预存储的磁盘标识信息与预设命令中携带的标识信息进行比对以确定第一外接虚拟磁盘与第二外接虚拟磁盘；

读取第一外接虚拟磁盘中的待复制数据；

将待复制数据写入第二外接虚拟磁盘。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种数据复制方法，其特征在于，包括：

接收向目标虚拟主机复制数据的任务；

生成预设命令，所述预设命令中用于使分布式存储系统将本地对应的第一外接虚拟磁盘中的数据复制到所述目标虚拟主机对应的第二外接虚拟磁盘中；

通过本地挂载的虚拟磁盘将所述预设命令传递至分布式存储系统，以使所述分布式存储系统从第一外接虚拟磁盘向所述第二外接虚拟磁盘复制数据。

2.如权利要求1所述的方法，其特征在于，所述生成预设命令，包括：

获取待复制数据在第一外接磁盘的存储位置信息；

获取待复制数据在第二外接磁盘的写入位置信息；

根据所述存储位置和写入位置生成预设命令。

3.如权利要求2所述的方法，其特征在于，所述分布式存储系统通过以下步骤向所述目标虚拟主机复制数据：

获取所述预设命令中携带的存储位置信息及写入位置信息；

通过所述存储位置信息从所述第一外接虚拟磁盘中读取待复制的数据；

根据所述写入位置信息将所述待复制的数据写入所述第二外接虚拟磁盘中。

4.如权利要求1所述的方法，其特征在于，所述生成预设命令，包括：

获取第一外接磁盘和第二外接磁盘的标识信息；

根据所述第一外接磁盘和第二外接磁盘的标识信息生成预设命令。

5.如权利要求4所述的方法，其特征在于，所述分布式存储系统通过以下步骤向所述目标虚拟主机复制数据：

获取所述预设命令中携带的第一外接磁盘和第二外接磁盘的标识信息；

通过预存储的磁盘标识信息与所述预设命令中携带的标识信息进行比对以确定第一外接虚拟磁盘与第二外接虚拟磁盘；

读取所述第一外接虚拟磁盘中的待复制数据；

将所述待复制数据写入所述第二外接虚拟磁盘。

6.一种数据复制装置，其特征在于，包括：

接收模块，用于接收向目标虚拟主机复制数据的任务；

生成模块，用于生成预设命令，所述预设命令中用于使分布式存储系统将本地对应的第一外接虚拟磁盘中的数据复制到所述目标虚拟主机对应的第二外接虚拟磁盘中；

传递模块，用于通过本地挂载的虚拟磁盘将所述预设命令传递至分布式存储系统，以使所述分布式存储系统从第一外接虚拟磁盘向所述第二外接虚拟磁盘复制数据。

7.如权利要求6所述的装置，其特征在于，所述生成模块，包括：

第一获取子模块，用于获取待复制数据在第一外接磁盘的存储位置信息；

第二获取子模块，用于获取待复制数据在第二外接磁盘的写入位置信息；

第一生成子模块，用于根据所述存储位置和写入位置生成预设命令。

8.如权利要求7所述的装置，其特征在于，所述分布式存储系统通过以下步骤向所述目标虚拟主机复制数据：

获取所述预设命令中携带的存储位置信息及写入位置信息；

通过所述存储位置信息从所述第一外接虚拟磁盘中读取待复制的数据；

根据所述写入位置信息将所述待复制的数据写入所述第二外接虚拟磁盘中。

9.如权利要求6所述的装置，其特征在于，所述生成模块，包括：

第三获取子模块，用于获取第一外接磁盘和第二外接磁盘的标识信息；

第二生成子模块，用于根据所述第一外接磁盘和第二外接磁盘的标识信息生成预设命令。

10.如权利要求9所述的装置，其特征在于，所述分布式存储系统通过以下步骤向所述目标虚拟主机复制数据：

获取所述预设命令中携带的第一外接磁盘和第二外接磁盘的标识信息；

通过预存储的磁盘标识信息与所述预设命令中携带的标识信息进行比对以确定第一外接虚拟磁盘与第二外接虚拟磁盘；

读取所述第一外接虚拟磁盘中的待复制数据；

将所述待复制数据写入所述第二外接虚拟磁盘。

Images