CN111737223A - 一种文件拷贝方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种文件拷贝方法、装置、设备及存储介质，该方法包括：接收目的客户端发送的文件创建信息；解析文件创建信息确定需要拷贝的原文件，对原文件打快照得到对应的快照信息，将快照信息赋值给预先创建的目标文件；接收目的客户端需要访问原文件时发送的文件访问信息，对目标文件的快照信息实现与文件访问信息对应的访问。本申请不同于现有技术直接实现对原文件拷贝，而是仅需将原文件的快照信息赋值给创建的文件，进而基于原文件的快照信息实现原文件的访问即可，由于快照信息包含的数据量远远小于相应的文件，因此本申请能够大大减少对存储空间的消耗及对带宽的占用，能够有效提高存储空间的利用率，避免对数据传输性能的影响。

Description

一种文件拷贝方法、装置、设备及存储介质

技术领域

本发明涉及分布式存储技术领域，更具体地说，涉及一种文件拷贝方法、装置、设备及存储介质。

背景技术

在大数据时代的高性能计算场景中，需要基于数百G的公有文件做多种下游处理，且多种下游处理之间不相互干扰，现有做法是把公有文件拷贝多份至客户端各自的目录下，再进行下游处理，公有文件被多次拷贝后消耗大量的存储空间，且消耗掉的存储空间中存储有相当比例的重复数据，造成存储空间的浪费和大量带宽的占用，降低了存储空间的利用率，影响了数据传输的性能。

发明内容

本发明的目的是提供一种文件拷贝方法、装置、设备及存储介质，能够有效提高存储空间的利用率，避免对数据传输性能的影响。

为了实现上述目的，本发明提供如下技术方案：

一种文件拷贝方法，包括：

接收目的客户端发送的文件创建信息；

解析所述文件创建信息确定需要拷贝的原文件，对所述原文件打快照得到对应的快照信息，并将所述快照信息赋值给预先创建的目标文件；

接收所述目的客户端需要访问所述原文件时发送的文件访问信息，并对所述目标文件的快照信息实现与所述文件访问信息对应的访问。

优选的，解析所述文件创建信息确定需要拷贝的原文件，包括：

解析所述文件创建信息得到文件路径信息，并确定与所述文件路径信息对应的文件为需要拷贝的原文件。

优选的，解析所述文件创建信息得到文件路径信息之后，还包括：

将所述文件路径信息赋值给所述目标文件。

优选的，解析所述文件创建信息确定需要拷贝的原文件之后，还包括：

获取所述原文件的元数据信息，将所述元数据信息赋值给所述目标文件。

优选的，将所述快照信息、所述文件路径信息及所述元数据信息赋值给所述目标文件之后，还包括：

将包含所述目标文件的元数据信息的日志进行固化。

优选的，解析所述文件创建信息得到文件路径信息之后，还包括：

判断是否存在与所述文件路径信息对应的文件，如果是，则执行确定与所述文件路径信息对应的文件为需要拷贝的原文件的步骤，否则，返回相应的错误码给所述目的客户端。

优选的，将所述快照信息、所述文件路径信息及所述元数据信息赋值给所述目标文件之后，还包括：

将所述目标文件的元数据信息返回给所述客户端，以指示所述客户端对本地存储的所述目标文件的元数据信息进行更新。

一种文件拷贝装置，包括：

接收模块，用于：接收目的客户端发送的文件创建信息；

第一赋值模块，用于：解析所述文件创建信息确定需要拷贝的原文件，对所述原文件打快照得到对应的快照信息，并将所述快照信息赋值给预先创建的目标文件；

访问模块，用于：接收所述目的客户端需要访问所述原文件时发送的文件访问信息，并对所述目标文件的快照信息实现与所述文件访问信息对应的访问。

一种文件拷贝设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一项所述文件拷贝方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述文件拷贝方法的步骤。

本发明提供了一种文件拷贝方法、装置、设备及存储介质，该方法包括：接收目的客户端发送的文件创建信息；解析所述文件创建信息确定需要拷贝的原文件，对所述原文件打快照得到对应的快照信息，并将所述快照信息赋值给预先创建的目标文件；接收所述目的客户端需要访问所述原文件时发送的文件访问信息，并对所述目标文件的快照信息实现与所述文件访问信息对应的访问。本申请在接收目的客户端发送的文件创建信息后，解析该文件创建信息确定需要拷贝的原文件，对原文件打快照得到相应快照信息，并将该快照信息赋值给创建的目标文件，从而在目的客户端需要实现对原文件的访问时，基于目标文件的快照信息实现相应信息的访问；可见，本申请不同于现有技术直接实现对原文件的拷贝，而是仅需将原文件的快照信息赋值给创建的文件，进而基于原文件的快照信息实现原文件的访问即可，由于快照信息包含的数据量远远小于相应的文件，因此本申请能够大大减少对存储空间的消耗及对带宽的占用，从而能够有效提高存储空间的利用率，避免对数据传输性能的影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种文件拷贝方法的流程图；

图2为本发明实施例提供的一种文件拷贝装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种文件拷贝方法的流程图，可以包括：

S11：接收目的客户端发送的文件创建信息。

本发明实施例提供的一种文件拷贝方法的执行主体可以为对应的文件拷贝装置，该文件拷贝装置可以集成于元数据服务器(可简称为服务器)内，因此该文件拷贝方法的执行主体可以为服务器，以下以该文件拷贝方法的执行主体为服务器进行具体说明。

其中，任意需要拷贝原文件的客户端都可以作为目的客户端；客户端可以运行分布式系统(分布式存储的系统)和客户端程序，由客户端程序实现客户端需要实现的操作，由分布式系统为客户端提供存储功能；终端在客户端执行特定拷贝命令，客户端解析特定拷贝命令得到完整的文件路径信息PATH，该文件路径信息则为需要实现拷贝的文件的文件路径信息；在客户端解析得到文件路径信息后，可以定位到文件路径信息对应的文件(原文件)，对原文件进行有效性验证，如果验证的结果为原文件合法，则发送特殊的文件创建信息(文件创建信息可以包括原文件的文件路径信息及设定的目标文件的文件名称等)到服务器，如果验证的结果为原文件不合法，则给终端返回需要拷贝的原文件不合法的错误提示信息；其中，验证原文件是否合法可以是判断原文件是否存在，可以是判断原文件存在的时间是否在有效的时间内，还可以是判断原文件的大小是否在有效的值内，当然还可以根据实际需要进行其他设置，均在本发明的保护范围之内。

S12：解析文件创建信息确定需要拷贝的原文件，对原文件打快照得到对应的快照信息，并将快照信息赋值给预先创建的目标文件。

服务器解析文件创建信息可以确定出需要实现拷贝的原文件，在确定出原文件后，不同于现有技术中需要对原文件进行拷贝，而是对原文件打快照得到原文件的快照信息，将快照信息赋值给预先创建的目标文件，从而可以通过查询目标文件的值得到原文件的快照信息。其中，快照信息为对应时刻原文件的状态记录，由快照信息中可以获取到原文件包含的全部的数据信息，但是其包含的数据量远远小于原文件包含的数据量，因此本申请中利用快照信息替换相应的原文件，从而能够大大减少带宽及存储空间的占用。另外，目标文件即为响应文件创建信息创建的文件。

S13：接收目的客户端需要访问原文件时发送的文件访问信息，并对目标文件的快照信息实现与文件访问信息对应的访问。

在将原文件的快照信息赋值给目标文件后，如果客户端需要访问原文件，可以将相应的文件访问信息发送给服务器，服务器目标文件的快照信息作为原文件实现相应的访问。

本申请在接收目的客户端发送的文件创建信息后，解析该文件创建信息确定需要拷贝的原文件，对原文件打快照得到相应快照信息，并将该快照信息赋值给创建的目标文件，从而在目的客户端需要实现对原文件的访问时，基于目标文件的快照信息实现相应信息的访问；可见，本申请不同于现有技术直接实现对原文件的拷贝，而是仅需将原文件的快照信息赋值给创建的文件，进而基于原文件的快照信息实现原文件的访问即可，由于快照信息包含的数据量远远小于相应的文件，因此本申请能够大大减少对存储空间的消耗及对带宽的占用，从而能够有效提高存储空间的利用率，避免对数据传输性能的影响。

本发明实施例提供的一种文件拷贝方法，解析文件创建信息确定需要拷贝的原文件，可以包括：

解析文件创建信息得到文件路径信息，并确定与文件路径信息对应的文件为需要拷贝的原文件。

在通过解析文件创建信息确定需要拷贝的原文件时，可以是解析文件创建信息得到文件路径信息，按照文件路径信息定位到的文件则为需要实现拷贝的原文件，从而通过这种方式能够有效准确的确定出原文件；在另一种具体应用场景中，也可以是解析文件创建信息得到原文件的文件标识(如文件名称等)，进而确定出相应的原文件；当然还可以根据实际需要进行其他设定，均在本发明的保护范围之内。

本发明实施例提供的一种文件拷贝方法，解析文件创建信息得到文件路径信息之后，还可以包括：

将文件路径信息赋值给目标文件。

在获取到原文件的文件路径信息后，可以将该文件路径信息赋值给目标文件，从而实现目标文件及原文件之间的关联，在后续需要时仅需通过目标文件的值即可直接获知与之具有关联的原文件，方便对原文件及目标文件的关联关系的确定。

本发明实施例提供的一种文件拷贝方法，解析文件创建信息确定需要拷贝的原文件之后，还可以包括：

获取原文件的元数据信息，将元数据信息赋值给目标文件。

在确定出需要拷贝的原文件之后，可以使得目标文件关联原文件的元数据信息，从而实现原文件的软拷贝；具体来说，确定出原文件之后，可以获取原文件的元数据信息，原文件的元数据信息可以包括原文件的名称、大小以及其他属性，从而将原文件的元数据信息赋值给目标文件后，目标文件则能够具有原文件的相关属性，从而实现目标文件及原文件的关联，实现目标文件对原文件的替换。

本发明实施例提供的一种文件拷贝方法，将快照信息、文件路径信息及元数据信息赋值给目标文件之后，还可以包括：

将包含目标文件的元数据信息的日志进行固化。

在实现原文件及目标文件之间的关联，也即将快照信息、文件路径信息及元数据信息赋值给目标文件之后，可以将目标文件的元数据信息的日志进行固化，从而在服务器掉电再上电后，能够查询到目标文件的元数据信息的日志，进而基于该日志实现目标文件的值的恢复，避免数据丢失。

本发明实施例提供的一种文件拷贝方法，解析文件创建信息得到文件路径信息之后，还可以包括：

判断是否存在与文件路径信息对应的文件，如果是，则执行确定与文件路径信息对应的文件为需要拷贝的原文件的步骤，否则，返回相应的错误码给目的客户端。

在得到文件路径信息之后，可以按照该文件路径信息定位对应的文件，如果能够定位到对应的文件，则确定定位到的文件即为原文件，否则，可以返回相应的错误码给目的客户端，以使得目的客户端能够及时获知原文件不存在进而无法实现原文件的拷贝的情况，方便客户端进行相应的操作。

本发明实施例提供的一种文件拷贝方法，将快照信息、文件路径信息及元数据信息赋值给目标文件之后，还可以包括：

将目标文件的元数据信息返回给客户端，以指示客户端对本地存储的目标文件的元数据信息进行更新。

在实现目标文件及原文件的关联后，可以将目标文件的元数据信息返回给客户端，以指示客户端对本地存储的目标文件的元数据信息进行更新，也即存储目标文件的元数据信息，从而基于目标文件的元数据信息实现对目标文件的访问。其中，目标文件的元数据信息与目标文件相对应，原文件的元数据信息与原文件相对应，两者分别对应不同的文件，因此两者表示的是不同的信息。

另外，在客户端需要对原文件进行访问时，可以向服务器发送文件访问信息，如果文件访问信息为读信息，则读取目标文件的快照信息，如果文件访问信息为写信息，则拷贝目标文件的快照信息中所需范围的数据到目标文件，拷贝完成后在目标文件中实现写信息对应的写操作；从而基于目标文件实现对原文件的访问。

在一种具体应用场景中，本申请公开的技术方案中的客户端及服务器分别需要具有以下功能：

1、客户端：

(1)运行分布式系统和客户端程序，供终端执行特定拷贝命令；

(2)解析原文件完整文件路径信息PATH，并对原文件进行有效性验证(是否存在原文件、原文件的大小是否在设定范围内等)；

(3)若合法，发送特殊的文件创建信息到元数据服务器；

(4)若不合法，则给终端返回拷贝原文件不合法的错误提示信息；

(5)收到元数据服务器回复信息后，若信息执行成功则进入步骤(6)，否则进入步骤(7)；

(6)更新本地缓存目标文件元数据信息，给终端返回文件拷贝成功信息；

(7)根据元数据服务器返回的错误码，解析成相应错误信息返给终端。

2、元数据服务器：

(1)接收到客户端文件创建信息后，解析出原文件的文件路径信息；

(2)根据原文件路径信息获取原文件元数据信息，并对原文件打快照；

(3)将原文件元数据信息赋值给目标文件；

(4)把原文件路径信息和快照信息赋值给目标文件，进行原文件和目标文件关联；

(5)创建流程完成后，新增一条元数据日志进行固化；

(6)把结果返回值(上述各步骤完成后返回的各步骤是否执行成功的值)和相关信息发送到客户端进行信息回复。

本发明利用分布式系统的快照技术，在执行文件拷贝时，元数据服务器先对要拷贝的原文件打快照，再把要拷贝的原文件的元数据信息、快照信息及文件路径信息赋值给作为拷贝后的文件的目标文件，对原文件及目标文件这两个文件进行关联操作，操作完成后返回；在进行目录文件数据读取时，根据关联的原文件的相应信息，读取原文件的快照数据；当对目标文件进行写操作时，根据关联的原文件的相应信息先拷贝原文件快照信息相同范围的数据到目标文件，拷贝完成后再写目标文件，实现文件软拷贝。从而提升了分布式系统的文件拷贝性能和空间利用率，同时也提升了数据备份性能，有效缩短产品研发周期。

本发明实施例提供了一种文件拷贝装置，如图2所示，可以包括：

接收模块11，用于：接收目的客户端发送的文件创建信息；

第一赋值模块12，用于：解析文件创建信息确定需要拷贝的原文件，对原文件打快照得到对应的快照信息，并将快照信息赋值给预先创建的目标文件；

访问模块13，用于：接收目的客户端需要访问原文件时发送的文件访问信息，并对目标文件的快照信息实现与文件访问信息对应的访问。

本发明实施例提供的一种文件拷贝装置，第一赋值模块可以包括：

解析单元，用于：解析文件创建信息得到文件路径信息，并确定与文件路径信息对应的文件为需要拷贝的原文件。

本发明实施例提供的一种文件拷贝装置，还可以包括：

第二赋值模块，用于：解析文件创建信息得到文件路径信息之后，将文件路径信息赋值给目标文件。

本发明实施例提供的一种文件拷贝装置，还可以包括：

第二赋值模块，用于：解析文件创建信息确定需要拷贝的原文件之后，获取原文件的元数据信息，将元数据信息赋值给目标文件。

本发明实施例提供的一种文件拷贝装置，还可以包括：

固化模块，用于：将快照信息、文件路径信息及元数据信息赋值给目标文件之后，将包含目标文件的元数据信息的日志进行固化。

本发明实施例提供的一种文件拷贝装置，还可以包括：

判断模块，用于：解析文件创建信息得到文件路径信息之后，判断是否存在与文件路径信息对应的文件，如果是，则执行确定与文件路径信息对应的文件为需要拷贝的原文件的步骤，否则，返回相应的错误码给目的客户端。

本发明实施例提供的一种文件拷贝装置，还可以包括：

指示模块，用于：将快照信息、文件路径信息及元数据信息赋值给目标文件之后，将目标文件的元数据信息返回给客户端，以指示客户端对本地存储的目标文件的元数据信息进行更新。

本发明实施例还提供了一种文件拷贝设备，可以包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上任一项文件拷贝方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可以实现如上任一项文件拷贝方法的步骤。

需要说明的是，本发明实施例提供的一种文件拷贝装置、设备及存储介质中相关部分的说明请参见本发明实施例提供的一种文件拷贝方法中对应部分的详细说明，在此不再赘述。另外本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种文件拷贝方法，其特征在于，包括：

接收目的客户端发送的文件创建信息；

解析所述文件创建信息确定需要拷贝的原文件，对所述原文件打快照得到对应的快照信息，并将所述快照信息赋值给预先创建的目标文件；

接收所述目的客户端需要访问所述原文件时发送的文件访问信息，并对所述目标文件的快照信息实现与所述文件访问信息对应的访问。

2.根据权利要求1所述的方法，其特征在于，解析所述文件创建信息确定需要拷贝的原文件，包括：

解析所述文件创建信息得到文件路径信息，并确定与所述文件路径信息对应的文件为需要拷贝的原文件。

3.根据权利要求2所述的方法，其特征在于，解析所述文件创建信息得到文件路径信息之后，还包括：

将所述文件路径信息赋值给所述目标文件。

4.根据权利要求3所述的方法，其特征在于，解析所述文件创建信息确定需要拷贝的原文件之后，还包括：

获取所述原文件的元数据信息，将所述元数据信息赋值给所述目标文件。

5.根据权利要求4所述的方法，其特征在于，将所述快照信息、所述文件路径信息及所述元数据信息赋值给所述目标文件之后，还包括：

将包含所述目标文件的元数据信息的日志进行固化。

6.根据权利要求5所述的方法，其特征在于，解析所述文件创建信息得到文件路径信息之后，还包括：

判断是否存在与所述文件路径信息对应的文件，如果是，则执行确定与所述文件路径信息对应的文件为需要拷贝的原文件的步骤，否则，返回相应的错误码给所述目的客户端。

7.根据权利要求6所述的方法，其特征在于，将所述快照信息、所述文件路径信息及所述元数据信息赋值给所述目标文件之后，还包括：

将所述目标文件的元数据信息返回给所述客户端，以指示所述客户端对本地存储的所述目标文件的元数据信息进行更新。

8.一种文件拷贝装置，其特征在于，包括：

接收模块，用于：接收目的客户端发送的文件创建信息；

第一赋值模块，用于：解析所述文件创建信息确定需要拷贝的原文件，对所述原文件打快照得到对应的快照信息，并将所述快照信息赋值给预先创建的目标文件；

访问模块，用于：接收所述目的客户端需要访问所述原文件时发送的文件访问信息，并对所述目标文件的快照信息实现与所述文件访问信息对应的访问。

9.一种文件拷贝设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述文件拷贝方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述文件拷贝方法的步骤。

Images