CN109240852A - 一种数据拷贝的方法和装置 - Google Patents

Abstract

本申请公开了一种数据拷贝的方法和装置，该方法包括：首先，获取数据对应的源目录、目的目录和预设并发数；然后，判断所述源目录是否包括子目录的数量之和大于等于所述预设并发数的目录层，若是，按照所述预设并发数和所述目的目录，利用数据备份工具依次并发拷贝所述子目录；最后，利用数据备份工具拷贝所述源目录。由此可见，在对海量数据进行拷贝时，基于系统性能和数据源目录设置预设并发数，先依次并发拷贝子目录的数量之和大于等于所述预设并发数的目录层的子目录，再对源目录进行拷贝。该方式极大地节约时间和系统资源，整体上快速而有效地完成数据的拷贝，提升海量数据的拷贝效率。

Description

一种数据拷贝的方法和装置

技术领域

本申请涉及计算机数据处理技术领域，尤其涉及一种数据拷贝的方法和装置。

背景技术

随着信息技术的快速发展，目前进入云计算、大数据时代，业务的迅速发展，导致用户产生数据量不断增长，最终，呈现出海量的数据。日常工作或者生活中，常常涉及到数据备份或者数据迁移等，针对这些海量数据进行数据备份或者数据迁移时，现有技术一般是采用数据备份工具直接对数据存储系统中的源目录进行拷贝。

发明人经过研究发现，现有技术中的数据备份工具直接拷贝是单线程拷贝，当需要拷贝的数据量巨大时，该单线程拷贝工作模式会导致数据拷贝速度极慢，耗费大量时间和系统资源，最终造成海量数据的拷贝效率及其低下。

发明内容

本申请所要解决的技术问题是，提供一种数据拷贝的方法和装置，极大地节约时间和系统资源，整体上快速而有效地完成数据的拷贝，提升海量数据的拷贝效率。

第一方面，本申请实施例提供了一种数据拷贝的方法，该方法包括：

获取数据对应的源目录、目的目录和预设并发数；

若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，按照所述预设并发数和所述目的目录，利用数据备份工具依次并发拷贝所述子目录；

利用数据备份工具拷贝所述源目录。

可选的，所述若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，按照所述预设并发数和所述目的目录，利用数据备份工具依次并发拷贝所述子目录，包括：

若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，创建对应所述子目录的拷贝任务；

按照所述预设并发数和所述目的目录，利用数据备份工具依次并发执行所述子目录的拷贝任务。

可选的，所述若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，创建对应所述子目录的拷贝任务，包括：

若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，初始化工作队列；

根据所述子目录，创建对应所述子目录的拷贝任务并插入所述工作队列。

可选的，所述按照所述预设并发数和所述目的目录，利用数据备份工具依次并发执行所述子目录的拷贝任务，包括：

根据所述预设并发数，初始化执行队列；

将所述工作队列中的所述子目录的拷贝任务依次传入所述执行队列，并发执行所述执行队列中的子目录的拷贝任务。

可选的，所述利用数据备份工具拷贝所述源目录，包括：

创建对应所述源目录的拷贝任务；

利用数据备份工具执行所述源目录的拷贝任务。

可选的，所述利用数据备份工具执行所述源目录的拷贝任务，具体为：

利用数据备份工具单线程执行所述源目录的拷贝任务。

可选的，还包括：

所述若源目录不包括子目录的数量之和大于等于所述预设并发数的目录层，减少所述预设并发数；

返回执行所述获取数据对应的源目录、目的目录和预设并发数的步骤。

可选的，若所述源目录不存在，修正所述源目录；若所述目的目录不存在，创建所述目的目录。

可选的，所述数据备份工具为rsync。

第二方面，本申请实施例提供了一种数据拷贝的装置，该装置包括：

获取单元，用于获取数据对应的源目录、目的目录和预设并发数；

第一拷贝单元，用于若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，按照所述预设并发数和所述目的目录，利用数据备份工具依次并发拷贝所述子目录；

第二拷贝单元，用于利用数据备份工具拷贝所述源目录。

与现有技术相比，本申请至少具有以下优点：

采用本申请实施例的技术方案，首先，获取数据对应的源目录、目的目录和预设并发数；然后，判断所述源目录是否包括子目录的数量之和大于等于所述预设并发数的目录层，若是，按照所述预设并发数和所述目的目录，利用数据备份工具依次并发拷贝所述子目录；最后，利用数据备份工具拷贝所述源目录。由此可见，在对海量数据进行拷贝时，基于系统性能和数据源目录设置预设并发数，先依次并发拷贝子目录的数量之和大于等于所述预设并发数的目录层的子目录，再对源目录进行拷贝。该方式极大地节约时间和系统资源，整体上快速而有效地完成数据的拷贝，提升海量数据的拷贝效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例中一种应用场景所涉及的系统框架示意图；

图2为本申请实施例提供的一种数据拷贝的方法的流程示意图；

图3为本申请实施例提供的一种数据拷贝的装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

发明人经过研究发现，日常工作或者生活中，常常应用到数据备份或者数据迁移等技术。在目前的云计算、大数据时代情况下，由于业务的迅速发展，用户产生数据量不断增长，最终呈现出海量的数据。针对这些海量数据进行数据备份或者数据迁移时，现有技术一般是采用数据备份工具直接对数据存储系统中的源目录进行拷贝。但是，现有技术中的数据备份工具直接拷贝是单线程拷贝，当需要拷贝的数据量巨大时，该单线程拷贝工作模式会导致数据拷贝速度极慢，耗费大量时间和系统资源，最终造成海量数据拷贝效率及其低下。

为了解决这一问题，在本申请实施例中，首先，获取数据对应的源目录、目的目录和预设并发数；然后，判断所述源目录是否包括子目录的数量之和大于等于所述预设并发数的目录层，若是，按照所述预设并发数和所述目的目录，利用数据备份工具依次并发拷贝所述子目录；最后，利用数据备份工具拷贝所述源目录。由此可见，在对海量数据进行拷贝时，基于系统性能和数据源目录设置预设并发数，先依次并发拷贝子目录的数量之和大于等于所述预设并发数的目录层的子目录，再对源目录进行拷贝。该方式极大地节约时间和系统资源，整体上快速而有效地完成数据的拷贝，提升海量数据的拷贝效率。

举例来说，本申请实施例的场景之一，可以是应用到如图1所示的场景中，该场景包括客户端101和处理器102，其中，客户端101与处理器102进行交互。首先，基于用户在客户端101的拷贝相关操作，处理器102获取数据对应的源目录、目的目录和预设并发数；然后，处理器102判断所述源目录是否包括子目录的数量之和大于等于所述预设并发数的目录层，若是，处理器102按照所述预设并发数和所述目的目录，利用数据备份工具依次并发拷贝所述子目录；其次，处理器102利用数据备份工具拷贝所述源目录。最后，处理器102拷贝完成的源目录副本在客户端101进行展示。

可以理解的是，在上述应用场景中，虽然将本申请实施方式的动作描述由处理器102执行，但是，本申请在执行主体方面不受限制，只要执行了本申请实施方式所公开的动作即可。

可以理解的是，上述场景仅是本申请实施例提供的一个场景示例，本申请实施例并不限于此场景。

下面结合附图，通过实施例来详细说明本申请实施例中数据拷贝的方法和装置的具体实现方式。

示例性方法

参见图2，示出了本申请实施例中一种数据拷贝的方法的流程示意图。在本实施例中，所述方法例如可以包括以下步骤：

步骤201：获取数据对应的源目录、目的目录和预设并发数。

需要说明的是，实现数据拷贝的前提是获知数据的源目录、需被拷贝存储目的目录和后续并发执行拷贝的预先设置的并发数。其中，源目录是是实际存在的，因此获取的源目录必须是正确的，若是判断发现获取的源目录并不存在，则需要修正源目录直至获取正确存在的源目录；而对于目的目录，若是存在，后续可直接使用，若是不存在，则需要新建目的目录。因此，在本实施例的一些实施方式中，若所述源目录不存在，修正所述源目录；若所述目的目录不存在，创建所述目的目录。

步骤202：若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，按照所述预设并发数和所述目的目录，利用数据备份工具依次并发拷贝所述子目录。

需要说明的是，判断源目录是否包括子目录的数量之和大于等于所述预设并发数的目录层，可以采用临时目录队列进行结构分析并判断子目录的数量之和与所述预设并发数大小关系。即，首先，将源目录插入临时目录队，判断其子目录的数量之和是否大于等于所述预设并发数，若是，则源目录包括子目录的数量之和大于等于所述预设并发数的目录层，即源目录，若不是，判断子目录是否有下层子目录，若有，将子目录代替源目录插入临时目录队，继续执行判断，若没有，则源目录不包括子目录的数量之和大于等于所述预设并发数的目录层。

需要说明的是，在实际应用中，依次并发拷贝子目录首先应该针对每一个子目录，建立一条拷贝任务，即，建立上述所有子目录对应的拷贝任务；然后，基于目的目录依次并发执行预设并发数的拷贝任务，直至所有子目录对应的拷贝任务执行完毕。因此，在本实施例的一些实施方式中，所述步骤202例如可以包括如下步骤：

步骤A：若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，创建对应所述子目录的拷贝任务；

步骤B：按照所述预设并发数和所述目的目录，利用数据备份工具依次并发执行所述子目录的拷贝任务。

具体地，创建子目录拷贝任务首先是初始化一个工作队列，该工作队列用于存放工作任务，即，子目录的拷贝任务；然后，在针对每一个子目录建立拷贝任务后依次放入初始化的工作队列，以便明确子目录的拷贝任务的执行顺序。因此，在本实施例的一些实施方式中，所述步骤A例如可以包括如下步骤：

步骤A1：若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，初始化工作队列；

步骤A2：根据所述子目录，创建对应所述子目录的拷贝任务并插入所述工作队列。

其中，利用数据备份工具依次并发执行子目录的拷贝任务实际上是依次并发执行上述工作队列中的子目录拷贝任务，具体地，首先，可以初始化一个队列元素与预设并发数相同的执行队列，用于存放并发执行的对应的子目录拷贝任务，保证执行队列能够也只能并发执行预设并发数的子目录拷贝任务；然后，按照，从工作队列依次取预设并发数的子目录的拷贝任务传递至执行队列，并执行传递的子目录的拷贝任务，直至工作队列中的所有子目录拷贝任务全部传递至执行队列并执行完毕。因此，在本实施例的一些实施方式中，所述步骤B例如可以包括如下步骤：

步骤B1：根据所述预设并发数，初始化执行队列；

步骤B2：将所述工作队列中的所述子目录的拷贝任务依次传入所述执行队列，并发执行所述执行队列中的子目录的拷贝任务。

还需要说明的是，还可以通过任务管理器来监控拷贝任务的执行情况，从而把握数据拷贝的整体进度。

步骤203：利用数据备份工具拷贝所述源目录。

可以理解的是，在执行完步骤202之后，源目录中的上述子目录均完成拷贝，还剩余少量子目录的数量之和小于预设并发数的目录层和与子目录同等级或者上级的数据等未能完成拷贝，此时，需要对源目录拷贝以完成其中未拷贝内容的拷贝，已拷贝子目录不再进行拷贝，从而整体提高数据源目录的拷贝速度，整体上提升拷贝效率。其中，拷贝源目录实际上是针对源目录建立一个拷贝任务，然后执行该任务。因此，在本实施例的一些实施方式中，所述步骤203例如可以包括如下步骤：

步骤C：创建对应所述源目录的拷贝任务；

步骤D：利用数据备份工具执行所述源目录的拷贝任务。

其中，需要说明的是，在基于源目录创建对应的拷贝任务之后，实际实现源目录拷贝仍然是采用单线程拷贝方式，由于源目录所包括的上述子目录已经在步骤202中完成拷贝，则此时的拷贝源目录的所需拷贝的内容较少，单线程拷贝速度也较快。因此，在本实施例的一些实施方式中，所述步骤D例如具体可以为：利用数据备份工具单线程执行所述源目录的拷贝任务。

还需要说明的是，当出现源目录包括任意一层目录层的子目录的数量之和均小于所述预设并发数的情况时，此时，应当考虑有可能是预设并发数过大，导致任意一层目录层的子目录的数量之和均不满足预设并发数，进而无法进行后续的并发拷贝步骤，因此，可以采取减小预设并发数的方式，重新返回执行步骤201。即，在本实施例的一些实施方式中，在所述步骤201之后，例如还可以包括以下步骤：

步骤E：所述若源目录不包括子目录的数量之和大于等于所述预设并发数的目录层，减少所述预设并发数；

步骤F：返回执行所述步骤201。

另需要说明的是，在进行数据拷贝时，需要考虑保留数据的原有属性，例如，数据的时间属性、权限属性等，基于此，可以利用linux下的数据备份工具rsync进行数据拷贝，rsync可以保证拷贝前后数据属性的一致性。因此，在本实施例的一些实施方式中，所述数据备份工具为rsync。

通过本实施例提供的各种实施方式，首先，获取数据对应的源目录、目的目录和预设并发数；然后，判断所述源目录是否包括子目录的数量之和大于等于所述预设并发数的目录层，若是，按照所述预设并发数和所述目的目录，利用数据备份工具依次并发拷贝所述子目录；最后，利用数据备份工具拷贝所述源目录。由此可见，在对海量数据进行拷贝时，基于系统性能和数据源目录设置预设并发数，先依次并发拷贝子目录的数量之和大于等于所述预设并发数的目录层的子目录，再对源目录进行拷贝。该方式极大地节约时间和系统资源，整体上快速而有效地完成数据的拷贝，提升海量数据的拷贝效率。尤其是当源目录的目录结构比较规律时，海量数据的拷贝效率提升更为突出。

示例性设备

参见图3，示出了本申请实施例中一种数据拷贝的装置的结构示意图。在本实施例中，所述装置例如具体可以包括：

获取单元301，用于获取数据对应的源目录、目的目录和预设并发数；

第一拷贝单元302，用于若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，按照所述预设并发数和所述目的目录，利用数据备份工具依次并发拷贝所述子目录；

第二拷贝单元303，用于利用数据备份工具拷贝所述源目录。

可选的，所述第一拷贝单元302包括：

第一创建子单元，用于若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，创建对应所述子目录的拷贝任务；

第一拷贝子单元，用于按照所述预设并发数和所述目的目录，利用数据备份工具依次并发执行所述子目录的拷贝任务。

可选的，所述第一创建子单元包括：

第一初始化模块，用于若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，初始化工作队列；

创建插入模块，用于根据所述子目录，创建对应所述子目录的拷贝任务并插入所述工作队列。

可选的，所述第一拷贝子单元包括：

第二初始化模块，用于根据所述预设并发数，初始化执行队列；

传入执行模块，用于将所述工作队列中的所述子目录的拷贝任务依次传入所述执行队列，并发执行所述执行队列中的子目录的拷贝任务。

可选的，所述第二拷贝单元303包括：

第二创建子单元，用于创建对应所述源目录的拷贝任务；

第二拷贝子单元，用于利用数据备份工具执行所述源目录的拷贝任务。

可选的，所述第二拷贝子单元具体用于：

利用数据备份工具单线程执行所述源目录的拷贝任务。

可选的，所述装置还包括：

减少单元，用于所述若源目录不包括子目录的数量之和大于等于所述预设并发数的目录层，减少所述预设并发数；

返回单元，用于返回进入所述获取单元301。

可选的，若所述源目录不存在，修正所述源目录；若所述目的目录不存在，创建所述目的目录。

可选的，所述数据备份工具为rsync。

通过本实施例提供的各种实施方式，数据拷贝的装置包括获取单元、第一拷贝单元和第二拷贝单元。其中，获取单元用于获取数据对应的源目录、目的目录和预设并发数；第一拷贝单元用于若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，按照所述预设并发数和所述目的目录，利用数据备份工具依次并发拷贝所述子目录；第二拷贝单元用于利用数据备份工具拷贝所述源目录。由此可见，在对海量数据进行拷贝时，基于系统性能和数据源目录设置预设并发数，先依次并发拷贝子目录的数量之和大于等于所述预设并发数的目录层的子目录，再对源目录进行拷贝。该方式极大地节约时间和系统资源，整体上快速而有效地完成数据的拷贝，提升海量数据的拷贝效率。尤其是当源目录的目录结构比较规律时，海量数据的拷贝效率提升更为突出。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。

Claims (10)

1.一种数据拷贝的方法，其特征在于，包括：

获取数据对应的源目录、目的目录和预设并发数；

若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，按照所述预设并发数和所述目的目录，利用数据备份工具依次并发拷贝所述子目录；

利用数据备份工具拷贝所述源目录。

2.根据权利要求1所述的方法，其特征在于，所述若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，按照所述预设并发数和所述目的目录，利用数据备份工具依次并发拷贝所述子目录，包括：

若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，创建对应所述子目录的拷贝任务；

按照所述预设并发数和所述目的目录，利用数据备份工具依次并发执行所述子目录的拷贝任务。

3.根据权利要求2所述的方法，其特征在于，所述若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，创建对应所述子目录的拷贝任务，包括：

若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，初始化工作队列；

根据所述子目录，创建对应所述子目录的拷贝任务并插入所述工作队列。

4.根据权利要求2所述的方法，其特征在于，所述按照所述预设并发数和所述目的目录，利用数据备份工具依次并发执行所述子目录的拷贝任务，包括：

根据所述预设并发数，初始化执行队列；

将所述工作队列中的所述子目录的拷贝任务依次传入所述执行队列，并发执行所述执行队列中的子目录的拷贝任务。

5.根据权利要求1所述的方法，其特征在于，所述利用数据备份工具拷贝所述源目录，包括：

创建对应所述源目录的拷贝任务；

利用数据备份工具执行所述源目录的拷贝任务。

6.根据权利要求5所述的方法，其特征在于，所述利用数据备份工具执行所述源目录的拷贝任务，具体为：

利用数据备份工具单线程执行所述源目录的拷贝任务。

7.根据权利要求1所述的方法，其特征在于，还包括：

所述若源目录不包括子目录的数量之和大于等于所述预设并发数的目录层，减少所述预设并发数；

返回执行所述获取数据对应的源目录、目的目录和预设并发数的步骤。

8.根据权利要求1所述的方法，其特征在于，若所述源目录不存在，修正所述源目录；若所述目的目录不存在，创建所述目的目录。

9.根据权利要求1所述的方法，其特征在于，所述数据备份工具为rsync。

10.一种数据拷贝的装置，其特征在于，包括：

获取单元，用于获取数据对应的源目录、目的目录和预设并发数；

第一拷贝单元，用于若所述源目录包括子目录的数量之和大于等于所述预设并发数的目录层，按照所述预设并发数和所述目的目录，利用数据备份工具依次并发拷贝所述子目录；

第二拷贝单元，用于利用数据备份工具拷贝所述源目录。