CN114661527A - 数据备份方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据备份方法、装置、电子设备及存储介质，该方法包括获取待备份数据并确定备份路径，响应于对待备份数据的备份指令，在备份路径建立与待备份数据相同的备份目录，根据预先存储的备份索引表，确定待备份数据的目标索引的有效性，基于待备份数据的目标索引的有效性，对待备份数据进行对应备份处理，并在备份目录下生成对应备份数据。采用本发明实施例，能够基于目标索引的有效性，避免对相同数据进行备份处理，解决了相同数据进行重复备份而导致存储资源浪费的技术问题。

Description

数据备份方法、装置、电子设备及存储介质

技术领域

本发明涉及数据备份技术领域，尤其涉及一种数据备份方法、装置、电子设备及存储介质。

背景技术

为了保护数据的安全，防止数据在系统硬盘或存储介质出现故障时受到破坏，现有的做法通常是提前对数据进行备份处理。而对数据进行备份处理的方式是通过备份命令或者工具，将需要备份的文件从源路径复制到目标路径进行存储，从而实现文件备份的目的。常见的备份数据的方法有以下几种：

1、使用U盘或移动硬盘将数据备出电脑；

2、使用刻录机将数据，刻成光盘；

3、将数据保存在系统分区以外，以免重装系统或系统损坏带来的数据丢失；

4、用软盘备份数据；

5、使用GHOST备份数据和系统。

然而，在对大量数据进行备份的过程中，存在对相同数据进行重复备份的现象，如此将导致存储资源的浪费。

发明内容

本发明实施例的目的是提供一种数据备份方法、装置、电子设备及存储介质，以解决相同数据进行重复备份而导致存储资源浪费的技术问题。

在第一方面，为实现上述目的，本发明实施例提供了一种数据备份方法，包括：

获取待备份数据并确定备份路径，所述待备份数据由若干个数据块组成，各所述数据块对应有唯一的MD5值；

响应于对所述待备份数据的备份指令，在所述备份路径建立与所述待备份数据相同的备份目录；

根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性，所述目标索引由所述待备份数据中各数据块的MD5值构成，所述目标索引的有效性包括有效索引和无效索引，所述有效索引表征所述备份索引表中存在与所述目标索引相同的索引，所述无效索引表征所述备份索引表中不存在与所述目标索引相同的索引；

基于所述待备份数据的目标索引的有效性，对所述待备份数据进行对应备份处理，并在所述备份目录下生成对应备份数据；其中，所述备份处理包括数据存储处理和软链接生成处理。

进一步的，所述根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性，包括：

遍历所述待备份数据中的所有数据块，得到所述待备份数据中各数据块的MD5值；

根据所述待备份数据中各数据块的MD5值，以及所述待备份数据中各数据块的MD5值之间的位置关系，确定所述待备份数据的目标索引；

根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性。

进一步的，所述基于所述待备份数据的目标索引的有效性，对所述待备份数据进行对应备份处理，并在所述备份目录下生成对应备份数据，包括：

若所述待备份数据的目标索引为有效索引，则在所述备份目录下生成所述待备份数据的软链接。

进一步的，所述基于所述待备份数据的目标索引的有效性，对所述待备份数据进行对应备份处理，并在所述备份目录下生成对应备份数据，包括：

若所述待备份数据的目标索引为无效索引，则将所述无效索引添加至所述备份索引表中，并将所述待备份数据存储在所述备份目录下。

进一步的，当所述待备份数据包括多个文件时，在所述根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性的步骤之前，所述数据备份方法还包括：

获取待备份数据中各文件的文件属性信息；

调用训练好的文件识别模型对所述待备份数据中各文件的文件属性信息进行识别，以输出所述待备份数据中各文件的重复值；其中，所述文件识别模型用于根据训练过的文件属性信息，对输入的数据进行识别处理；

过滤掉所述待备份数据中所述重复值大于预设阈值的文件。

进一步的，当所述待备份数据包括第一文件和第二文件时，所述调用训练好的文件识别模型对所述待备份数据中各文件进行识别，以输出所述待备份数据中各文件的重复值，包括：

调用训练好的文件识别模型对所述第一文件的文件属性信息进行识别，得到所述第一文件的重复值；

检测到所述第一文件的重复值不大于所述预设阈值时，将所述第一文件的文件属性信息作为新的训练数据；

根据所述新的训练数据对所述文件识别模型进行再训练，得到再训练后的文件识别模型；

调用再训练后的文件识别模型对所述第二文件的文件属性信息进行识别，得到第二文件的重复值。

进一步的，所述文件属性信息包括文件的作者、文件所属组织以及文件中的关键词；所述调用训练好的文件识别模型对所述待备份数据中各文件进行识别，以输出所述待备份数据中各文件的重复值，包括：

根据所述训练好的文件识别模型训练过的文件属性信息中的作者信息，计算所述待备份数据中各文件的作者信息的关联值，得到所述待备份数据中各文件的第一数值；

根据所述训练好的文件识别模型训练过的文件属性信息中的组织信息，计算所述待备份数据中各文件的组织信息的关联值，得到所述待备份数据中各文件的第二数值；

根据所述训练好的文件识别模型训练过的文件属性信息中的关键词信息，计算所述待备份数据中各文件的关键词信息的相似度值，得到所述待备份数据中各文件的第三数值；

对所述待备份数据中各文件的第一数值、第二数值以及第三数值进加权求和处理，得到所述待备份数据中各文件的重复值。

在第二方面，为了解决相同的技术问题，本发明实施例提供了一种数据备份装置，包括：

获取模块，用于获取待备份数据并确定备份路径，所述待备份数据由若干个数据块组成，各所述数据块对应有唯一的MD5值；

建立模块，用于响应于对所述待备份数据的备份指令，在所述备份路径建立与所述待备份数据相同的备份目录；

确定模块，用于根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性，所述目标索引由所述待备份数据中各数据块的MD5值构成，所述目标索引的有效性包括有效索引和无效索引，所述有效索引表征所述备份索引表中存在与所述目标索引相同的索引，所述无效索引表征所述备份索引表中不存在与所述目标索引相同的索引；

备份模块，用于基于所述待备份数据的目标索引的有效性，对所述待备份数据进行对应备份处理，并在所述备份目录下生成对应备份数据；其中，所述备份处理包括数据存储处理和软链接生成处理。

在第三方面，为了解决相同的技术问题，本发明实施例提供了一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述存储器与所述处理器耦接，且所述处理器执行所述计算机程序时，实现上述任一项所述的数据备份方法中的步骤。

在第四方面，为了解决相同的技术问题，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的数据备份方法中的步骤。

本发明实施例提供了一种数据备份方法、装置、电子设备及存储介质，该方法通过获取待备份数据中各数据块的MD5值，以确定待备份数据的目标索引，并根据预先存储的备份索引表确定目标索引的有效性，从而能够基于目标索引的有效性，避免对相同数据进行备份处理，解决了相同数据进行重复备份而导致存储资源浪费的技术问题。

附图说明

图1是本发明实施例提供的数据备份方法的一种流程示意图；

图2是本发明实施例提供的数据备份方法的另一种流程示意图；

图3是本发明实施例提供的对待备份数据中各文件进行识别的识别方法的流程示意图；

图4是本发明实施例提供的数据备份装置的一种结构示意图；

图5是本发明实施例提供的数据备份装置的另一种结构示意图；

图6是本发明实施例提供的电子设备的一种结构示意图；

图7是本发明实施例提供的电子设备的另一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解的是，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

在相关技术中，数据备份通常是单纯的通过备份命令或者备份工具，对需要进行备份的数据进行备份处理，以将需要进行备份的数据另存至放置备份数据的目标路径下，从而实现对数据的备份处理。然而，在相关技术中，需要进行备份的数据中存在有较多的相同文件，因此在备份的过程中会出现对相同的文件进行重复存储的情况发生，如此不仅降低了数据备份的效率，还浪费了存储资源。

为了解决相关技术中存在的技术问题，请参见图1，图1是本发明实施例提供的数据备份方法的一种流程示意图，如图1所示，本发明实施例提供了一种数据备份方法包括步骤101至步骤104，具体如下：

步骤101，获取待备份数据并确定备份路径。

其中，所述待备份数据由若干个数据块组成，各所述数据块对应有唯一的MD5值。

在本实施例中，MD5(Message Digest Algorithm，消息摘要算法第五版)为计算机安全领域广泛使用的一种散列函数，可以产生出一个128位（16字节）的散列值（hashvalue），用于确保信息传输完整一致。MD5的作用是让大容量信息在用数字签名软件签署私人密钥前被压缩成一种保密的格式，也即把一个任意长度的字节串变换成一定长的十六进制数字串。

在一种情况下，待备份数据可以为一整个需要进行备份的文件夹，该文件夹中存在多个文件；在其他情况下，待备份数据也可以为一个单独的需要进行备份的文件。当待备份数据为一整个文件夹时，数据块可以为该文件夹中的子文件；当待备份数据为一个单独的文件时，数据块可以为构成该文件的部分实体内容。

通过将待备份数据分为若干个数据块，并为数据块设置对应的MD5值，能够根据各数据块之间的位置关系，将所有数据块的MD5值进行关联以构成所述待备份数据的索引，从而使得待备份数据的索引是唯一的，进而能够根据该索引区分待备份数据与已完成的备份数据。

需要说明的是，为待备份数据中各数据块设置的散列函数并不仅仅限于上述实施例提及的MD5值，也可以为其它能够确保信息传输完整一致的散列函数，如sha-1 (SecureHash Algorithm，安全散列算法)、RIPEMD(RACE Integrity Primitives EvaluationMessage Digest，RACE原始完整性校验消息摘要)等。

步骤102，响应于对所述待备份数据的备份指令，在所述备份路径建立与所述待备份数据相同的备份目录。

在本实施例中，在接收到用户输入的备份指令后，首先在用户确定的备份路径下生成与所述待备份数据相同的备份目录。具体的，当待备份数据为一整个文件夹时，该备份目录是与文件夹相同的目录骨架；当待备份数据为一个单独的文件时，该备份目录是与该文件命名相同的目录骨架。

例如，当待备份数据为命名为test的整个文件夹，确定的备份路径为D:\ProgramFiles时，则将会在D:\Program Files的目录下生成与test文件夹相同的目录骨架，即D:\Program Files\test，该test目录下不包含任何数据。当待备份数据为命名为test.txt的文件，确定的备份路径为D:\Program Files时，则将会在D:\Program Files的目录下生成与test.txt文件相同命名的目录骨架，即D:\Program Files\test，同理，该test目录下也不包含任何数据。

作为优选实施例，本发明实施例是将备份路径设置在NFS（Network File System，网络文件系统）中，从而能够将需要后续需要进行备份的数据存储在NFS系统中，能够有效的保障了数据的安全性，避免本地存储介质被破坏而导致存储数据丢失的情况发生。备份处理可以通过备份应用Robocopy.exe来执行。由于Robocopy.exe应用能够比对出增亮文件，因此，本发明实施例采用应用Robocopy.exe来执行备份处理，还能够实现源路径和备份路径的增量变化。

需要说明的是，备份路径的设置还可以设置在其他存储介质中，并不限于上述实施例提及的NFS系统，只要能够避免本地存储即可。备份处理所采用的应用也并不限于上述实施例提及的Robocopy.exe应用，还可以为其他的备份命令，或其他能够对待备份数据进行备份的应用，在此不一一例举。

步骤103，根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性。

其中，所述目标索引由所述待备份数据中各数据块的MD5值构成，所述目标索引的有效性包括有效索引和无效索引，所述有效索引表征所述备份索引表中存在与所述目标索引相同的索引，所述无效索引表征所述备份索引表中不存在与所述目标索引相同的索引。

需要说明的是，备份索引表为预先存储的用于记录所有备份后的数据对应的索引。该备份索引表在系统完成一次备份操作后，将会及时记录当前备份操作中备份数据的索引，以便于后续可直接根据待备份数据的索引，在备份索引表在确定待备份数据是否已进行过备份操作，从而避免对相同数据进行重复备份，有效解决存储资源浪费的问题。

可选的，本实施例提供的备份索引表是存储在缓存单元中的，从而能够有效的提高在备份索引表中进行检索的效率。具体的，本实施例是将备份索引表存储在Redis存储系统中，从而能够将key值设置为备份索引表中的软链接路径，value值设置为备份索引表中的实体路径。可以理解的是，用于存储备份索引表的缓存单元并不限于为Redis存储系统，还可以为其他能够快速读写的存储介质，在此不一一例举。

在本实施例中，所述根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性的步骤，具体为：遍历所述待备份数据中的所有数据块，得到所述待备份数据中各数据块的MD5值；根据所述待备份数据中各数据块的MD5值，以及所述待备份数据中各数据块的MD5值之间的位置关系，确定所述待备份数据的目标索引；根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性。

需要说明的是，待备份数据包含有若干个数据块，每个数据块在待备份数据中的位置是不同的，例如两个数据块A和B是分别存储在上下级目录下的文件，即数据块A是数据块B的上级数据块，故待备份数据中的各数据块之间存在一定的位置关系。而每个数据块都对应有唯一的MD5值，并且待备份数据的目标索引是由所有数据块的MD5值构成的。因此，待备份数据的目标索引中的MD5值是具有一定的排序规律的。具体的，当待备份数据包含有A、B、C、D、E5个数据块时，其中，A、B为第一目录下存储的文件，C、D为第二目录下存储的文件，E为第三目录下存储的文件，其中第三目录为第二目录下的文件夹，第二目录为第一目录下的文件夹。则此时待备份数据的目标索引可以为AB_CD_E，也可以为AB\CD\E。其中，待备份数据的目标索引的生成方式可以为：通过将首个目录内的文件的MD5值放在最前面，依次将每个子目录下的文件的MD5值排序放置，并采用特殊符号对不处于同一目录下的文件的MD5值进行隔断，从而能够得到待备份数据的目标索引。

在得到待备份数据的目标索引后，即可通过在预先存储的备份索引表中进行检索，以查询是否存在与目标索引相同的数据。在本实施例中，通过对MD5值，以及各MD5值之间的位置关系进行检索，以确定预先存储的备份索引表中是否存在与目标索引相同的索引。具体的，当目标索引为AB\CD\E时，只需要检索备份索引表中是否存在与AB\CD\E相同的索引，即可确定是否对相同的数据进行过备份处理。

需要说明的是，相同文件夹下的多个文件的MD5值，在索引中的位置可以是随机的，并未具有固定的顺序。因此，当目标索引为AB\CD\E时，只要备份索引表中存在如AB\CD\E或AB\DC\E或BA\CD\E或BA\DC\E的索引时，即可确定预先存储的备份索引表中存在与目标索引相同的索引，也即系统已对相同的数据进行过备份处理。如此，能够进一步的避免对相同数据进行重复备份，有效解决存储资源浪费的问题。

步骤104，基于所述待备份数据的目标索引的有效性，对所述待备份数据进行对应备份处理，并在所述备份目录下生成对应备份数据。

其中，所述备份处理包括数据存储处理和软链接生成处理。

在一些实施例中，所述基于所述待备份数据的目标索引的有效性，对所述待备份数据进行对应备份处理，并在所述备份目录下生成对应备份数据的步骤，具体为：若所述待备份数据的目标索引为有效索引，则在所述备份目录下生成所述待备份数据的软链接。

在本实施例中，所述待备份数据的目标索引为有效索引，即在预设的备份索引表中检索到与目标索引相同的索引，也即表明系统已对相同的数据进行过备份处理。此时，为了避免在备份目录下再次对待备份数据进行备份处理，则在该备份目录下生成所述待备份数据的软链接。其中，该软链接指向的实体对象为备份索引表中所检索到的相同索引的value值（实体路径）。如此，用户在后续需要进行数据恢复时，即可通过该软链接获取到软链接指向的实体路径，从而能够获取对应的待恢复数据。

在另一些实施例中，所述基于所述待备份数据的目标索引的有效性，对所述待备份数据进行对应备份处理，并在所述备份目录下生成对应备份数据的步骤，具体为：若所述待备份数据的目标索引为无效索引，则将所述无效索引添加至所述备份索引表中，并将所述待备份数据存储在所述备份目录下。

在本实施例中，所述待备份数据的目标索引为无效索引，即在预设的备份索引表中未检索到与目标索引相同的索引，也即表明系统未对该数据进行过备份处理。此时，将所述无效索引记录到Redis存储系统中的备份索引表中，并在备份索引表中对应的索引的value值修改为备份目录的路径，然后将该待备份数据存储至备份目录下。

作为优选的实施例，请参见图2，图2是本发明实施例提供的数据备份方法的另一种流程示意图。具体的，请参见图2，当所述待备份数据包括多个文件时，在所述根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性的步骤之前，所述数据备份方法还包括步骤201至步骤203。

步骤201，获取待备份数据中各文件的文件属性信息。

在本实施例中，所述文件属性信息包括文件的作者、文件所属组织以及文件中的关键词。具体的，文件属性信息不仅仅只限于为上述限定的内容，还可以为其他属于待备份数据的、且能够表征该待备份数据的特征信息，在此不一一例举。

步骤202，调用训练好的文件识别模型对所述待备份数据中各文件的文件属性信息进行识别，以输出所述待备份数据中各文件的重复值。

其中，所述文件识别模型用于根据训练过的文件属性信息，对输入的数据进行识别处理。

在本实施例中，所述文件识别模型是通过对已经过备份处理的数据的文件属性信息进行学习，从而能够具备识别输入的待备份数据的文件属性信息，是否与经过备份处理的数据的文件属性信息相似的能力。如此，通过训练后的文件识别模型即可对待备份数据进行识别，以输出所述待备份数据与经过备份处理的数据的文件属性信息相似的重复值。从而能够根据重复值确定待备份数据是否已进行过备份操作，从而避免对相同数据进行重复备份，有效解决存储资源浪费的问题。

作为本发明优选的实施例，当所述待备份数据包括第一文件和第二文件时，所述调用训练好的文件识别模型对所述待备份数据中各文件进行识别，以输出所述待备份数据中各文件的重复值，包括：调用训练好的文件识别模型对所述第一文件的文件属性信息进行识别，得到所述第一文件的重复值；检测到所述第一文件的重复值不大于所述预设阈值时，将所述第一文件的文件属性信息作为新的训练数据；根据所述新的训练数据对所述文件识别模型进行再训练，得到再训练后的文件识别模型；调用再训练后的文件识别模型对所述第二文件的文件属性信息进行识别，得到第二文件的重复值。

当待备份数据中含有多个文件时，通过本发明实施例提供的文件识别模型依次对待备份数据中的文件进行识别，并在每识别完一个文件后，将该完成识别的文件作为训练数据对文件识别模型进行再训练，以学习该完成识别的文件的文件属性信息，从而能够使得本发明实施例提供的文件识别模型能够在对文件进行识别的过程中，继续对所识别的文件进行学习，进而使得本发明实施例提供的文件识别模型具备持续的学习能力，以使文件识别模型不仅能够输出待备份数据中的文件与已备份过的文件的重复值，还能够输出待备份数据中各文件的重复值，避免待备份数据中存在相同的文件，从而导致系统对待备份数据中相同的文件进行重复备份的情况发生，有效的节省了用户的备份存储资源，节省了用户的成本。

步骤203，过滤掉所述待备份数据中所述重复值大于预设阈值的文件。

在本实施例中，预设阈值可以根据模型的识别精度进行设置，也可以根据具体的应用场景由用户进行自定义设置。在本实施例中，预设阈值设为98%。因此，当检测到重复值大于98%的文件时，则判定该文件是已完成过备份处理的文件，此时需要过滤掉该文件。

在通过预设的备份索引表对待备份数据的MD5值进行检索之前，通过采用本发明实施例提供的文件识别模型对待备份数据进行识别，并对重复率超过预设阈值的数据进行过滤，能够有效的减少需要进行MD5值检索的数量，减少系统的计算资源，从而提高数据备份的效率。

在本实施例中，请参见图3，图3是本发明实施例提供的对待备份数据中各文件进行识别的识别方法的流程示意图，如图3所示，所述调用训练好的文件识别模型对所述待备份数据中各文件进行识别，以输出所述待备份数据中各文件的重复值，即对待备份数据中各文件进行识别的识别方法包括步骤301至步骤304。

步骤301，根据所述训练好的文件识别模型训练过的文件属性信息中的作者信息，计算所述待备份数据中各文件的作者信息的关联值，得到所述待备份数据中各文件的第一数值。

其中，第一数值为待备份数据中各文件的作者信息与已完成备份的文件的作者信息进行对比的结果。具体的，当待备份数据中各文件的作者信息与已完成备份的文件的作者信息相同时，第一数值为1；当待备份数据中各文件的作者信息与已完成备份的文件的作者信息不相同时，第一数值为0。

步骤302，根据所述训练好的文件识别模型训练过的文件属性信息中的组织信息，计算所述待备份数据中各文件的组织信息的关联值，得到所述待备份数据中各文件的第二数值。

在本实施例中，第二数值为待备份数据中各文件的组织信息与已完成备份的文件的组织信息进行关联度计算的结果。具体的，当待备份数据中各文件的组织信息与已完成备份的文件的组织信息为强关联时，第二数值为1；当待备份数据中各文件的组织信息与已完成备份的文件的组织信息为弱关联时，第二数值为0。

其中，两个组织是强关联的，指的是两个组织是相同的，或属于同一组织；两个组织是弱关联的，指的是两个组织既不相同，也不属于同一组织。由于文件存在组织内部共享的情况。

步骤303，根据所述训练好的文件识别模型训练过的文件属性信息中的关键词信息，计算所述待备份数据中各文件的关键词信息的相似度值，得到所述待备份数据中各文件的第三数值。

在本实施例中，第三数值为待备份数据中各文件的关键词信息与已完成备份的文件的关键词信息的相似度结果。例如，当待备份数据中文件1的关键词信息为“ABCDE”，已完成备份的文件2的关键词信息为“ABCDF”。由于文件1中存在4个数据“ABCD”与文件2中的数据是相同的，只有一个数据是与文件2中的“F”是不同的，则可得出二者的相似度为4/5（基于文件2来判断二者的相似值），即第三数值为4/5。

步骤304，对所述待备份数据中各文件的第一数值、第二数值以及第三数值进加权求和处理，得到所述待备份数据中各文件的重复值。

在本实施例中，通过为不同的数值设定不同的权重，并对第一数值、第二数值以及第三数值进加权求和，以得到待备份数据中各文件的重复值。具体的，由于当作者信息是不同的时，只要组织信息是强关联的，即两个文件的作者是同一组织的，则该两个文件是存在相同的可能性的。并且，待备份数据中各文件的关键词信息与已完成备份的文件的关键词信息的相似度结果是最为影响两个文件重复的数值。因此，本实施例设置第二数值的权重大于第一数值的权重，第三数值的权重大于第二数值的权重。

需要说明的是，第一数值、第二数值以及第三数值对应权重的具体数值，可根据具体应用场景进行自定义设置，在此不做具体限定。

综上所述，本发明实施例提供的数据备份方法，该方法包括获取待备份数据并确定备份路径，响应于对待备份数据的备份指令，在备份路径建立与待备份数据相同的备份目录，根据预先存储的备份索引表，确定待备份数据的目标索引的有效性，基于待备份数据的目标索引的有效性，对待备份数据进行对应备份处理，并在备份目录下生成对应备份数据。采用本发明实施例，能够基于目标索引的有效性，避免对相同数据进行备份处理，解决了相同数据进行重复备份而导致存储资源浪费的技术问题。

根据上述实施例所描述的方法，本实施例将从数据备份装置的角度进一步进行描述，该数据备份装置具体可以作为独立的实体来实现，也可以集成在电子设备，比如终端中来实现，该终端可以包括手机、平板电脑等。

请参见图4，图4是本发明实施例提供的数据备份装置的一种结构示意图，如图4所示，所述数据备份装置400具体包括：获取模块401、建立模块402、确定模块403以及备份模块404。

其中，获取模块401，用于获取待备份数据并确定备份路径。

在本实施例中，所述待备份数据由若干个数据块组成，各所述数据块对应有唯一的MD5值。

建立模块402，用于响应于对所述待备份数据的备份指令，在所述备份路径建立与所述待备份数据相同的备份目录。

确定模块403，用于根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性。

其中，所述目标索引由所述待备份数据中各数据块的MD5值构成，所述目标索引的有效性包括有效索引和无效索引，所述有效索引表征所述备份索引表中存在与所述目标索引相同的索引，所述无效索引表征所述备份索引表中不存在与所述目标索引相同的索引。

在本实施例中，确定模块403具体用于：遍历所述待备份数据中的所有数据块，得到所述待备份数据中各数据块的MD5值；根据所述待备份数据中各数据块的MD5值，以及所述待备份数据中各数据块的MD5值之间的位置关系，确定所述待备份数据的目标索引；根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性。

备份模块404，用于基于所述待备份数据的目标索引的有效性，对所述待备份数据进行对应备份处理，并在所述备份目录下生成对应备份数据。

其中，所述备份处理包括数据存储处理和软链接生成处理。

在本实施例中，备份模块404具体用于：若所述待备份数据的目标索引为有效索引，则在所述备份目录下生成所述待备份数据的软链接。所述备份模块404具体还用于：若所述待备份数据的目标索引为无效索引，则将所述无效索引添加至所述备份索引表中，并将所述待备份数据存储在所述备份目录下。

可选的，当所述待备份数据包括多个文件时，请参见图5，图5是本发明实施例提供的数据备份装置的另一种结构示意图，如图5所示，所述数据备份装置400具体包括：文件属性信息获取模块501、调用模块502以及过滤模块503。

文件属性信息获取模块501，用于获取待备份数据中各文件的文件属性信息。

调用模块502，用于调用训练好的文件识别模型对所述待备份数据中各文件的文件属性信息进行识别，以输出所述待备份数据中各文件的重复值。

其中，所述文件识别模型用于根据训练过的文件属性信息，对输入的数据进行识别处理。

在本实施例中，当所述待备份数据包括第一文件和第二文件时，所述调用模块502具体用于：调用训练好的文件识别模型对所述第一文件的文件属性信息进行识别，得到所述第一文件的重复值；检测到所述第一文件的重复值不大于所述预设阈值时，将所述第一文件的文件属性信息作为新的训练数据；根据所述新的训练数据对所述文件识别模型进行再训练，得到再训练后的文件识别模型；调用再训练后的文件识别模型对所述第二文件的文件属性信息进行识别，得到第二文件的重复值。

在另一实施例中，所述文件属性信息包括文件的作者、文件所属组织以及文件中的关键词，所述调用模块502具体还用于：根据所述训练好的文件识别模型训练过的文件属性信息中的作者信息，计算所述待备份数据中各文件的作者信息的关联值，得到所述待备份数据中各文件的第一数值；根据所述训练好的文件识别模型训练过的文件属性信息中的组织信息，计算所述待备份数据中各文件的组织信息的关联值，得到所述待备份数据中各文件的第二数值；根据所述训练好的文件识别模型训练过的文件属性信息中的关键词信息，计算所述待备份数据中各文件的关键词信息的相似度值，得到所述待备份数据中各文件的第三数值；对所述待备份数据中各文件的第一数值、第二数值以及第三数值进加权求和处理，得到所述待备份数据中各文件的重复值。

过滤模块503，用于过滤掉所述待备份数据中所述重复值大于预设阈值的文件。

具体实施时，以上各个模块和/或单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块和/或单元的具体实施可参见前面的方法实施例，具体可以达到的有益效果也请参看前面的方法实施例中的有益效果，在此不再赘述。

另外，请参见图6，图6是本发明实施例提供的电子设备的一种结构示意图，该电子设备可以是移动终端如智能手机、平板电脑等设备。如图6所示，电子设备600包括处理器601、存储器602。其中，处理器601与存储器602电性连接。

处理器601是电子设备600的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器602内的应用程序，以及调用存储在存储器602内的数据，执行电子设备600的各种功能和处理数据，从而对电子设备600进行整体监控。

在本实施例中，电子设备600中的处理器601会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能：

获取待备份数据并确定备份路径；

响应于对所述待备份数据的备份指令，在所述备份路径建立与所述待备份数据相同的备份目录；

根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性；

基于所述待备份数据的目标索引的有效性，对所述待备份数据进行对应备份处理，并在所述备份目录下生成对应备份数据。

该电子设备600可以实现本发明实施例所提供的数据备份方法任一实施例中的步骤，因此，可以实现本发明实施例所提供的任一数据备份方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

请参见图7，图7是本发明实施例提供的电子设备的另一种结构示意图，如图7所示，图7示出了本发明实施例提供的电子设备的具体结构框图，该电子设备可以用于实施上述实施例中提供的数据备份方法。该电子设备700可以为移动终端如智能手机或笔记本电脑等设备。

RF电路710用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。RF电路710可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块（SIM）卡、存储器等等。RF电路710可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术，包括但并不限于全球移动通信系统（Global System for Mobile Communication, GSM）、增强型移动通信技术（EnhancedData GSM Environment, EDGE)，宽带码分多址技术（Wideband Code Division MultipleAccess, WCDMA），码分多址技术（Code Division Access, CDMA）、时分多址技术（TimeDivision Multiple Access, TDMA），无线保真技术（Wireless Fidelity， Wi-Fi）（如美国电气和电子工程师协会标准 IEEE 802.11a， IEEE 802.11b, IEEE802.11g 和/或 IEEE802.11n）、网络电话（Voice over Internet Protocol, VoIP）、全球微波互联接入（Worldwide Interoperability for Microwave Access， Wi-Max）、其他用于邮件、即时通讯及短消息的协议，以及任何其他合适的通讯协议，甚至可包括那些当前仍未被开发出来的协议。

存储器720可用于存储软件程序以及模块，如上述实施例中数据备份方法对应的程序指令/模块，处理器780通过运行存储在存储器720内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现如下功能：

获取待备份数据并确定备份路径；

响应于对所述待备份数据的备份指令，在所述备份路径建立与所述待备份数据相同的备份目录；

根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性；

基于所述待备份数据的目标索引的有效性，对所述待备份数据进行对应备份处理，并在所述备份目录下生成对应备份数据。

存储器720可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器720可进一步包括相对于处理器780远程设置的存储器，这些远程存储器可以通过网络连接至电子设备700。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入单元730可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元730可包括触敏表面731以及其他输入设备732。触敏表面731，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触敏表面731上或在触敏表面731附近的操作），并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面731可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器780，并能接收处理器780发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面731。除了触敏表面731，输入单元730还可以包括其他输入设备732。具体地，其他输入设备732可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元740可用于显示由用户输入的信息或提供给用户的信息以及电子设备700的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元740可包括显示面板741，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板741。进一步的，触敏表面731可覆盖显示面板741，当触敏表面731检测到在其上或附近的触摸操作后，传送给处理器780以确定触摸事件的类型，随后处理器780根据触摸事件的类型在显示面板741上提供相应的视觉输出。虽然在图中，触敏表面731与显示面板741是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面731与显示面板741集成而实现输入和输出功能。

电子设备700还可包括至少一种传感器750，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板741的亮度，接近传感器可在翻盖合上或者关闭时产生中断。作为运动传感器的一种，重力加速度传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等;至于电子设备700还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路760、扬声器761，传声器762可提供用户与电子设备700之间的音频接口。音频电路760可将接收到的音频数据转换后的电信号，传输到扬声器761，由扬声器761转换为声音信号输出；另一方面，传声器762将收集的声音信号转换为电信号，由音频电路760接收后转换为音频数据，再将音频数据输出处理器780处理后，经RF电路710以发送给比如另一终端，或者将音频数据输出至存储器720以便进一步处理。音频电路760还可能包括耳塞插孔，以提供外设耳机与电子设备700的通信。

电子设备700通过传输模块770（例如Wi-Fi模块）可以帮助用户接收请求、发送信息等，它为用户提供了无线的宽带互联网访问。虽然图中示出了传输模块770，但是可以理解的是，其并不属于电子设备700的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器780是电子设备700的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器720内的软件程序和/或模块，以及调用存储在存储器720内的数据，执行电子设备700的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器780可包括一个或多个处理核心；在一些实施例中，处理器780可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解地，上述调制解调处理器也可以不集成到处理器780中。

电子设备700还包括给各个部件供电的电源790（比如电池），在一些实施例中，电源可以通过电源管理系统与处理器780逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源790还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，电子设备700还包括摄像头（如前置摄像头、后置摄像头）、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备的显示单元是触摸屏显示器，移动终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行一个或者一个以上程序包含用于进行以下操作的指令：

获取待备份数据并确定备份路径；

响应于对所述待备份数据的备份指令，在所述备份路径建立与所述待备份数据相同的备份目录；

根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性；

基于所述待备份数据的目标索引的有效性，对所述待备份数据进行对应备份处理，并在所述备份目录下生成对应备份数据。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的数据备份方法中任一实施例的步骤。

其中，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的数据备份方法任一实施例中的步骤，因此，可以实现本发明实施例所提供的任一数据备份方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种数据备份方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。并且，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种数据备份方法，其特征在于，包括：

获取待备份数据并确定备份路径，所述待备份数据由若干个数据块组成，各所述数据块对应有唯一的MD5值；

响应于对所述待备份数据的备份指令，在所述备份路径建立与所述待备份数据相同的备份目录；

根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性，所述目标索引由所述待备份数据中各数据块的MD5值构成，所述目标索引的有效性包括有效索引和无效索引，所述有效索引表征所述备份索引表中存在与所述目标索引相同的索引，所述无效索引表征所述备份索引表中不存在与所述目标索引相同的索引；

基于所述待备份数据的目标索引的有效性，对所述待备份数据进行对应备份处理，并在所述备份目录下生成对应备份数据；其中，所述备份处理包括数据存储处理和软链接生成处理。

2.如权利要求1所述的数据备份方法，其特征在于，所述根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性，包括：

遍历所述待备份数据中的所有数据块，得到所述待备份数据中各数据块的MD5值；

根据所述待备份数据中各数据块的MD5值，以及所述待备份数据中各数据块的MD5值之间的位置关系，确定所述待备份数据的目标索引；

根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性。

3.如权利要求1所述的数据备份方法，其特征在于，所述基于所述待备份数据的目标索引的有效性，对所述待备份数据进行对应备份处理，并在所述备份目录下生成对应备份数据，包括：

若所述待备份数据的目标索引为有效索引，则在所述备份目录下生成所述待备份数据的软链接。

4.如权利要求1所述的数据备份方法，其特征在于，所述基于所述待备份数据的目标索引的有效性，对所述待备份数据进行对应备份处理，并在所述备份目录下生成对应备份数据，包括：

若所述待备份数据的目标索引为无效索引，则将所述无效索引添加至所述备份索引表中，并将所述待备份数据存储在所述备份目录下。

5.如权利要求1所述的数据备份方法，其特征在于，当所述待备份数据包括多个文件时，在所述根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性的步骤之前，所述数据备份方法还包括：

获取待备份数据中各文件的文件属性信息；

调用训练好的文件识别模型对所述待备份数据中各文件的文件属性信息进行识别，以输出所述待备份数据中各文件的重复值；其中，所述文件识别模型用于根据训练过的文件属性信息，对输入的数据进行识别处理；

过滤掉所述待备份数据中所述重复值大于预设阈值的文件。

6.如权利要求5所述的数据备份方法，其特征在于，当所述待备份数据包括第一文件和第二文件时，所述调用训练好的文件识别模型对所述待备份数据中各文件进行识别，以输出所述待备份数据中各文件的重复值，包括：

调用训练好的文件识别模型对所述第一文件的文件属性信息进行识别，得到所述第一文件的重复值；

检测到所述第一文件的重复值不大于所述预设阈值时，将所述第一文件的文件属性信息作为新的训练数据；

根据所述新的训练数据对所述文件识别模型进行再训练，得到再训练后的文件识别模型；

调用再训练后的文件识别模型对所述第二文件的文件属性信息进行识别，得到第二文件的重复值。

7.如权利要求5或6所述的数据备份方法，其特征在于，所述文件属性信息包括文件的作者、文件所属组织以及文件中的关键词；所述调用训练好的文件识别模型对所述待备份数据中各文件进行识别，以输出所述待备份数据中各文件的重复值，包括：

根据所述训练好的文件识别模型训练过的文件属性信息中的作者信息，计算所述待备份数据中各文件的作者信息的关联值，得到所述待备份数据中各文件的第一数值；

根据所述训练好的文件识别模型训练过的文件属性信息中的组织信息，计算所述待备份数据中各文件的组织信息的关联值，得到所述待备份数据中各文件的第二数值；

根据所述训练好的文件识别模型训练过的文件属性信息中的关键词信息，计算所述待备份数据中各文件的关键词信息的相似度值，得到所述待备份数据中各文件的第三数值；

对所述待备份数据中各文件的第一数值、第二数值以及第三数值进加权求和处理，得到所述待备份数据中各文件的重复值。

8.一种数据备份装置，其特征在于，包括：

获取模块，用于获取待备份数据并确定备份路径，所述待备份数据由若干个数据块组成，各所述数据块对应有唯一的MD5值；

建立模块，用于响应于对所述待备份数据的备份指令，在所述备份路径建立与所述待备份数据相同的备份目录；

确定模块，用于根据预先存储的备份索引表，确定所述待备份数据的目标索引的有效性，所述目标索引由所述待备份数据中各数据块的MD5值构成，所述目标索引的有效性包括有效索引和无效索引，所述有效索引表征所述备份索引表中存在与所述目标索引相同的索引，所述无效索引表征所述备份索引表中不存在与所述目标索引相同的索引；

备份模块，用于基于所述待备份数据的目标索引的有效性，对所述待备份数据进行对应备份处理，并在所述备份目录下生成对应备份数据；其中，所述备份处理包括数据存储处理和软链接生成处理。

9.一种电子设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述存储器与所述处理器耦接，且所述处理器执行所述计算机程序时，实现如权利要求1至7任一项所述的数据备份方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行如权利要求1至7任一项所述的数据备份方法中的步骤。

Images