CN114675995A - 数据备份方法、装置和电子设备 - Google Patents

Abstract

本发明提供了一种数据备份方法、装置和电子设备，其中，该方法包括：接收针对目标数据库的数据备份指令；为目标数据库中的指定文件创建包含目标文件名的目标文件，以使目标文件与指定文件共享指定文件中的文件数据。该方式中，为目标数据库中的指定文件创建包含目标文件名的目标文件，使得指定文件的文件数据同时具有了多个文件名，只有当全部文件名被删除时，该文件数据才可以被删除，因而实现了对指定文件对应的文件数据的备份；无需对文件数据进行复制，在备份数据库的过程中，降低了数据的复制总量，节省了磁盘空间的占用量，也实现了文件数据的高效备份。

Description

数据备份方法、装置和电子设备

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种数据备份方法、装置和电子设备。

背景技术

由于LSM(Log-Structured Merge Tree，日志结构的合并树)树数据库具有优异的写性能和读性能，越来越多的研发人员使用该LSM树数据库进行数据存储和分布式存储应用。为了保证数据存储的安全性，需要对LSM树数据库中的数据进行备份，相关技术中通常采用拷贝原始数据或者双写模式进行数据备份，但是这些方式需要写两份数据，会占用较多的磁盘空间，且备份效率较低。

发明内容

本发明的目的在于提供一种数据备份方法、装置和电子设备，以减少磁盘占用空间，并提升数据备份的效率。

第一方面，本发明实施例提供了一种数据备份方法，该方法包括：接收针对目标数据库的数据备份指令；为目标数据库中的指定文件创建包含目标文件名的目标文件，以使目标文件与指定文件共享指定文件中的文件数据。

在可选的实施方式中，上述为目标数据库中的指定文件创建包含目标文件名的目标文件的步骤之后，上述方法还包括：对目标数据库中除指定文件之外的文件对应的文件数据进行复制操作，以完整备份目标数据库中的数据。

在可选的实施方式中，上述为目标数据库中的指定文件创建包含目标文件名的目标文件的步骤，包括：调用预设备份接口，为指定文件创建包含目标文件名的目标文件。

在可选的实施方式中，上述预设备份接口包括类unix系统下的硬链接接口。

在可选的实施方式中，上述对目标数据库中除指定文件之外的文件对应的文件数据进行复制操作的步骤，包括：为目标数据库中的指定文件创建包含目标文件名的目标文件后，触发复制操作，以复制目标数据库中除该指定文件之外的文件对应的文件数据；或者，根据接收到的复制指令，对目标数据库中除指定文件之外的文件对应的文件数据进行复制操作。

在可选的实施方式中，上述目标数据库包括存储结构为日志结构合并树的数据库。

第二方面，本发明实施例提供了一种数据备份装置，该装置包括：指令接收模块，用于接收针对目标数据库的数据备份指令；文件备份模块，用于为目标数据库中的指定文件创建包含目标文件名的目标文件，以使目标文件与指定文件共享所述指定文件中的文件数据。

在可选的实施方式中，上述文件备份模块还用于：对目标数据库中除指定文件之外的文件对应的文件数据进行复制操作，以完整备份目标数据库中的数据。

第三方面，本发明实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行机器可执行指令以实现前述实施方式中任一项所述的数据备份方法。

第四方面，本发明实施例提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现前述实施方式任一项所述的数据备份方法。

本发明实施例带来了以下有益效果：

本发明提供的一种数据备份方法、装置和电子设备，如果接收到针对目标数据库的数据备份指令，为目标数据库中的指定文件创建包含目标文件名的目标文件，以使目标文件与指定文件共享指定文件中的文件数据。该方式中，为目标数据库中的指定文件创建包含目标文件名的目标文件，使得指定文件的文件数据同时具有了多个文件名，只有当全部文件名被删除时，文件数据才可以被删除，因而实现了对指定文件对应的文件数据的备份；无需对文件数据进行复制，在备份数据库的过程中，降低了数据的复制总量，节省了磁盘空间的占用量，也实现了文件数据的高效备份。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的LevelDB数据库的数据存储流程示意图；

图2为本发明实施例提供的一种数据备份方法的流程图；

图3为本发明实施例提供的另一种数据备份方法的流程图；

图4为本发明实施例提供的一种数据备份装置的结构示意图；

图5为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在实际应用中，存储结构为LSM(LogStructured Merge Tree，日志结构的合并树)的数据库(简称为LSM树数据库)具有优异的写性能和读性能，使得越来越多的研发人员使用该LSM树数据库进行数据存储和分布式应用，该LSM树数据库也逐渐成为众多存储领域分布式组件的基石。其中，LevelDB和RocksDB为代表的LSM树数据库。为了便于对LSM树数据库进行理解，可以以LevelDB数据库为例对LSM树数据库的数据存储流程进行详细介绍。

如图1为LevelDB数据库的数据存储流程示意图，当用户向LevelDB数据库写入数据时，写入的数据首先被保存到日志中，接下来该数据被有序的插入到内存中的MemTable中，该MemTable用于保存最近更新的数据(也可以称为最近写入的数据)；当MemTable中保存的数据的大小达到一定容量时，该MemTable会被转化为一个只读的ImmutableMemTable。同时，新的MemTable和LogFile(相当于日志文件)将会被创建，后台进程会把生成的ImmutableMemTable保存在磁盘上，成为一个有序的SST(Sorted String Table，字符串表)文件(相当于图1中的SST)，该SST文件保存在磁盘的第0层，通常低层级的文件满足一定规则(例如，数量或大小满足预设要求)后，会往高层级进行迁移。整个数据存储的过程中，磁盘上只会产生新的SST文件或者删除旧的SST文件，也即是SST文件不会被修改。上述SST文件通常是用来高效地存储大量的键-值对数据，同时做了优化来实现顺序读/写操作的高吞吐量。

在实际应用中，为了保证数据库中数据的安全性，数据库存储引擎一般需要对LSM树数据库中的数据进行备份，相关技术中通常采用拷贝原始数据或者双写模式进行数据备份，但是这些方式需要写两份数据，会占用较多的磁盘空间，且备份效率较低。

基于上述问题，本发明实施例提供了一种数据备份方法、装置和电子设备，该技术可以应用于数据库的数据备份场景中，尤其是LSM树数据库的文件数据的备份场景中。为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据备份方法进行详细介绍，该方法应用于数据库存储引擎，如图2所示，该方法包括如下具体步骤：

步骤S202，接收针对目标数据库的数据备份指令。

上述目标数据库为数据库存储引擎中部署的数据库，也即是用户想要备份的数据库，该数据库的类型可以根据研发需求设置，例如，可以是LevelDB数据库或者RocksDB数据库等，也可以是其他的关系型数据库或者非关系型数据库。在具体实现时，用户可以通过终端设备向数据库存储引擎发送数据备份指令，该数据备份指令中通常携带有目标数据库的数据库标识。上述数据备份指令可以是用户发送的外部调用请求或者其他备份触发操作等，在此不做具体限定。

步骤S204，为目标数据库中的指定文件创建包含目标文件名的目标文件，以使目标文件与指定文件共享指定文件中的文件数据。

上述目标数据库中的指定文件可以是存储用户向目标数据库中写入的数据的文件，例如，图1中所示的SST文件。上述目标文件名可以是用户设置的文件名称，该文件名称下的文件数据可以通过链接的方式与指定文件对应的文件数据关联。

当数据库存储引擎接收到目标数据库的数据备份指令后，会为目标数据库中的指定文件创建包含有目标文件名的目标文件名，相当于对目标数据库中的指定文件建立硬链接。例如，在类unix操作系统(例如，Linux的文件系统)中，保存在数据库的磁盘分区中的文件不管是什么类型都给它分配一个编号(相当于指定文件名)，称为索引节点号inode，创建硬连接后会在文件原来的inode link count域再增加1，创建硬链接实际上是为原文件在数据库中的资源再新建一个入口(相当于链接至目标文件名)，所以硬链接和原文件指向的其实是数据库中的同一处资源，从而实现对硬链接的文件的备份。

通过为目标数据库中的指定文件创建包含目标文件名的目标文件的方式，可以在不复制(也可称为拷贝)文件数据的前提下，对于目标数据库中的指定文件建立一个备份，从而可以实现文件数据的高效备份，同时，由于不需要在磁盘中复制文件数据，节省了磁盘的占用空间。

本发明实施例提供的一种数据备份方法，如果接收到针对目标数据库的数据备份指令，为目标数据库中的指定文件创建包含目标文件名的目标文件，以使目标文件与指定文件共享指定文件中的文件数据。该方式中，为目标数据库中的指定文件创建包含目标文件名的目标文件，使得指定文件的文件数据同时具有了多个文件名，只有当全部文件名被删除时，文件数据才可以被删除，因而实现了对指定文件对应的文件数据的备份；无需对文件数据进行复制，在备份数据库的过程中，降低了数据的复制总量，节省了磁盘空间的占用量，也实现了文件数据的高效备份。

本发明实施例还提供了另一种数据备份方法，该方法在上述实施例方法的基础上实现；该方法重点描述为目标数据库中的指定文件创建包含目标文件名的目标文件，以使目标文件与指定文件共享指定文件中的文件数据的具体过程(通过下述步骤S304实现)；如图3所示，该方法包括如下具体步骤：

步骤S302，接收针对目标数据库的数据备份指令。

步骤S304，调用预设备份接口，为指定文件创建包含目标文件名的目标文件。

上述预设备份接口可以是接收外部调用请求或者建立硬链接的接口，该接口包括类unix系统下的硬链接接口，例如，可以是linux系统中的link接口，该link接口可以以link方式建立硬链接；也可以是其他硬链接接口。

在具体实现时，目标数据库中保存有多个文件，每个文件都有唯一的文件标识(相当于文件名称)，根据文件标识可以确定出目标数据库中的指定文件。在接收到数据备份指令时可以调用预设备份接口，为指定文件创建包含目标文件名的目标文件，该目标文件可以称为硬链接文件，以备份指定文件名对应的文件数据，该方式无需复制文件数据，即可实现文件数据的高效备份。

步骤S306，对目标数据库中除指定文件之外的文件对应的文件数据进行复制操作，以完整备份目标数据库中的数据。

由于将目标数据库中指定文件对应的文件数据硬链接至目标文件，仅实现了对目标数据库中指定文件的文件数据的备份，因而，需要复制目标数据库中除指定文件之外的文件对应的文件数据，从而完成对目标数据库中的所有数据的备份。该指定文件对应的文件数据为用户写入的数据，数据量较大，而目标数据库中除指定文件之外的文件对应的文件数据通常是索引文件或者日志文件等，数据量较小，因而对目标数据库中除指定文件之外的文件对应的文件数据的复制占用的磁盘空间较小，从而有利于节省备份数据占用的磁盘空间。

在具体实现时，上述步骤S306可以通过下述两种方式实现：

方式一，为目标数据库中的指定文件创建包含目标文件名的目标文件后，触发复制操作，以复制目标数据库中除指定文件之外的文件对应的文件数据。该方式中的复制操作是自动执行的，也即是为目标数据库中的指定文件创建包含目标文件名的目标文件后，自动执行复制目标数据库中除指定文件之外的文件对应的文件数据的操作，从而实现对目标数据库中数据的完整备份。

方式二，根据接收到的复制指令，对目标数据库中除指定文件之外的文件对应的文件数据进行复制操作。该方式是在接收到用户发送的复制指令后，触发复制操作，该复制指令可以是用户通过终端设备发送的；该方式也即是在接收到复制指令后，完成对目标数据库中除指定文件之外的文件对应的文件数据的复制。

在一些实施例中，上述目标数据库包括存储结构为是日志结构合并树(简称LSM)的数据库，也可理解为数据库存储引擎中的数据库采用LSM树的思想存储数据。因此，指定文件可以是LSM树数据库中的SST文件；除指定文件之外的文件包括索引文件和日志文件，也即是出SST文件之外的文件。例如，如果数据库存储引擎接收到针对LSM树数据库的数据备份指令时，将LSM树数据库中的SST文件中的文件数据链接至目标文件名，也即是对SST文件建立硬链接；然后对LSM树数据库中除SST文件之外的文件中的文件数据进行复制，从而完整备份LSM树数据库中的数据。

具体地，数据库存储引擎中99％的文件数据没有被复制，可以理解为SST文件在数据库中的占比为99％，这些文件是通过目标文件名的方式进行备份的，因而无需进行复制。在对数据库存储引擎中的数据库的数据进行备份时，如果数据库存储引擎在对数据进行备份之前的磁盘空间占用大小为10G，数据备份后磁盘空间占用大小可能为10.1G，而相关技术中写入两份数据的备份方式，数据备份之后磁盘空间占用大小可能为20G，因而，比较数据备份后本发明与相关技术中磁盘空间的占用量可知，本发明的数据备份方式节省了数据库存储引擎中大量的磁盘占用空间，且对数据库存储引擎的侵入少，数据备份成本较低，经济效益也较好。

上述数据备份方法，首先接收针对目标数据库的数据备份指令；进而调用预设备份接口，为指定文件创建包含目标文件名的目标文件；然后对目标数据库中除指定文件之外的文件对应的文件数据进行复制操作，以完整备份目标数据库中的数据。该方式通过将目标数据库中的指定文件的文件数据硬链接至目标文件，实现了文件数据的高效备份；通过直接复制目标数据库中除指定文件名之外的文件数据，实现了目标数据库中数据的完整备份，从而节省了备份数据的磁盘占用空间，在一定程度上也减少了数据备份成本。

对应于上述方法实施例，本发明实施例提供了一种数据备份装置，如图4所示，该装置包括：

指令接收模块40，用于接收针对目标数据库的数据备份指令。

文件备份模块41，用于为目标数据库中的指定文件创建包含目标文件名的目标文件，以使目标文件与指定文件共享指定文件中的文件数据。

上述数据备份装置，如果接收到针对目标数据库的数据备份指令，为目标数据库中的指定文件创建包含目标文件名的目标文件，以使目标文件与指定文件共享指定文件中的文件数据。该方式中，为目标数据库中的指定文件创建包含目标文件名的目标文件，使得指定文件的文件数据同时具有了多个文件名，只有当全部文件名被删除时，文件数据才可以被删除，因而实现了对指定文件对应的文件数据的备份；无需对文件数据进行复制，在备份数据库的过程中，降低了数据的复制总量，节省了磁盘空间的占用量，也实现了文件数据的高效备份。

进一步地，上述文件备份模块还用于：对目标数据库中除指定文件之外的文件对应的文件数据进行复制操作，以完整备份目标数据库中的数据。

在具体实现时，上述文件备份模块41，还用于：调用预设备份接口，为指定文件创建包含目标文件名的目标文件。

在具体实现时，上述预设备份接口包括类unix系统下的硬链接接口。

进一步地，上述文件备份模块，还用于：为目标数据库中的指定文件创建包含目标文件名的目标文件后，触发复制操作，以复制目标数据库中除指定文件之外的文件对应的文件数据；或者，根据接收到的复制指令，对目标数据库中除指定文件之外的文件对应的文件数据进行复制操作。

在具体实现时，上述目标数据库包括存储结构为日志结构合并树的数据库。

本发明实施例所提供的数据备份装置，其实现原理及产生的技术效果和前述数据备份方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例还提供了一种电子设备，参见图5所示，该电子设备包括处理器101和存储器100，该存储器100存储有能够被处理器101执行的机器可执行指令，该处理器101执行机器可执行指令以实现上述数据备份方法。

进一步地，图5所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述数据备份方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据备份方法，其特征在于，所述方法包括：

接收针对目标数据库的数据备份指令；

为所述目标数据库中的指定文件创建包含目标文件名的目标文件，以使所述目标文件与所述指定文件共享所述指定文件中的文件数据。

2.根据权利要求1所述的方法，其特征在于，为所述目标数据库中的指定文件创建包含目标文件名的目标文件的步骤之后，所述方法还包括：

对所述目标数据库中除所述指定文件之外的文件对应的文件数据进行复制操作，以完整备份所述目标数据库中的数据。

3.根据权利要求1所述的方法，其特征在于，所述为所述目标数据库中的指定文件创建包含目标文件名的目标文件的步骤，包括：

调用预设备份接口，为所述指定文件创建包含目标文件名的目标文件。

4.根据权利要求3所述的方法，其特征在于，所述预设备份接口包括类unix系统下的硬链接接口。

5.根据权利要求2所述的方法，其特征在于，对所述目标数据库中除所述指定文件之外的文件对应的文件数据进行复制操作的步骤，包括：

为所述目标数据库中的指定文件创建包含目标文件名的目标文件后，触发复制操作，以复制所述目标数据库中除所述指定文件之外的文件对应的文件数据；

或者，根据接收到的复制指令，对所述目标数据库中除所述指定文件之外的文件对应的文件数据进行复制操作。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述目标数据库包括存储结构为日志结构合并树的数据库。

7.一种数据备份装置，其特征在于，所述装置包括：

指令接收模块，用于接收针对目标数据库的数据备份指令；

文件备份模块，用于为所述目标数据库中的指定文件创建包含目标文件名的目标文件，以使所述目标文件与所述指定文件共享所述指定文件中的文件数据。

8.根据权利要求7所述的装置，其特征在于，所述文件备份模块还用于：

对所述目标数据库中除所述指定文件之外的文件对应的文件数据进行复制操作，以完整备份所述目标数据库中的数据。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至6任一项所述的数据备份方法。

10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使处理器实现权利要求1至6任一项所述的数据备份方法。

Images