CN109933460A - 数据快照方法及装置 - Google Patents

Abstract

本公开涉及一种数据快照方法及装置。该方法包括：对索引的数据进行快照，得到所述数据对应的数据快照；获取用于存储所述数据快照的目的存储介质的位置信息，以及用于存储所述数据快照的目的存储介质的路径信息；根据所述位置信息和所述路径信息，对所述数据快照进行存储。本公开的数据快照方法及装置，在针对索引进行数据快照之前，不需要创建仓库并在已建立的仓库上创建数据快照，而能够直接将数据快照存储到规定的目的存储介质的路径中，简化对索引的数据进行快照的流程。

Description

数据快照方法及装置

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据快照方法及装置。

背景技术

目前，信息化给人们的生活带来巨大的改变，出现移动支付、语音识别、面部识别、系统画像、共享物品和人工智能等技术。上述技术的出现依托于信息科技的发展和数据处理能力的提高。试想一个场景：共享物品所属的公司如果丢失了所有的用户信息(例如存储介质受到损害)，那么公司和用户都将会遭受极大的损失。社会正处于大数据时代，数据备份必不可少。

数据有自己的生命周期(Life Cycle)，包括数据的产生、使用、迁移、清理、销毁等。为了确保系统稳定高效地运行，需要把数据量控制在稳定的水平，由此诞生了DLM(DataLife Cycle Management，数据生命周期管理)。根据数据生命周期的时间走向，数据可以分为热数据、温数据、冷数据、冻结和解冻等阶段。数据备份可以分为热备份和冷备份等多种。

发明内容

有鉴于此，本公开提出了一种数据快照方法及装置，以解决相关技术中ES快照存在着打快照方式复杂等问题。

根据本公开的一方面，提供了一种数据快照方法，包括：

对索引的数据进行快照，得到所述数据对应的数据快照；

获取用于存储所述数据快照的目的存储介质的位置信息，以及用于存储所述数据快照的目的存储介质的路径信息；

根据所述位置信息和所述路径信息，对所述数据快照进行存储。

根据本公开的另一方面，提供了一种数据快照装置，包括：

快照模块，用于对索引的数据进行快照，得到所述数据对应的数据快照；

信息获取模块，用于获取用于存储所述数据快照的目的存储介质的位置信息，以及用于存储所述数据快照的目的存储介质的路径信息；

存储模块，用于根据所述位置信息和所述路径信息，对所述数据快照进行存储。

根据本公开的另一方面，提供了一种数据快照装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。

根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。

本公开的数据快照方法及装置，通过对索引的数据进行快照，得到该数据对应的数据快照，获取用于存储该数据快照的目的存储介质的位置信息，以及用于存储该数据快照的目的存储介质的路径信息，并根据该位置信息和该路径信息，对所述数据快照进行存储，由此在针对索引进行数据快照之前，不需要创建仓库并在已建立的仓库上创建数据快照，而能够直接将数据快照存储到规定的目的存储介质的路径中，简化对索引的数据进行快照的流程。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的数据快照方法的流程图。

图2示出根据本公开一实施例的数据快照方法的流程图。

图3示出根据本公开一实施例的数据快照方法的流程图。

图4示出根据本公开一实施例的数据快照装置的框图。

图5示出根据本公开一实施例的数据快照装置的框图。

图6是根据一示例性实施例示出的一种用于数据快照装置900的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

相关技术中，ES(Elastic Search)是一个基于Lucene的搜索服务器，能够提供分布式多用户能力的全文搜索引擎，具有实时搜索、稳定可靠、快速便捷等优点。ES可以对单个索引或整个集群进行快照(Snapshot)和恢复(Restore)，由此能够实现对数据的备份和还原。但是，ES快照和恢复存在着打快照方式复杂、恢复操作受局限等问题。

ES的索引(Index)可以指拥有多个相似特征的文档的集合，每个文档都是可被索引的基础信息单元。例如，一个客户数据的索引，或一个产品目录的索引，或一个订单数据的索引等，本公开对此不做限制。文档是存储数据的基本单元，使用JSON(JavaScriptObject Notation，JavaScript对象标记语言)来表示。索引的名称可以用来标识索引，通过索引的名称可以对索引中的文档进行查询、更新和删除等操作。

ES快照(Snapshot)可以指通过备份索引到FS(File System，文件系统)、HDFS(Hadoop Distributed File System，分布式文件系统)等目的存储介质上，从而实现将索引的数据迁移的操作。但是，ES快照的实现方式较为繁琐，首先需要创建仓库，并在创建仓库时指定仓库的类型(例如FS、HDFS等)以及传入URI(Uniform Resource Identifier，统一资源标识符)，然后在已建立的仓库上创建快照。仓库可以包括同一集群的多个快照，快照根据集群中的唯一名称进行区分。

相关技术中，在进行任何ES快照或ES恢复之前，ES中必须注册有仓库。通过XPUT命令规定仓库的类型(Type)、位置(Location)和路径(Path)等信息，能够实现在ES中注册仓库。例如，通过XPUT命令创建名称为Backup的仓库，仓库的类型为HDFS，HDFS的IP地址和端口号为100.0.0.100:8020，HDFS的路径为/es/lion。例如，通过XPUT命令创建名称为Snapshot的快照，并将名称为Snapshot的快照存储在IP地址和端口号为100.0.0.100:8020的HDFS的/es/lion这个路径中。

ES恢复(Restore)可以指将索引的状态和数据等恢复到快照时的操作。例如，在周一打了快照Snapshot，数据持续导入索引。周二时想将数据还原到周一时的数据，恢复操作即可以实现。但是，ES恢复的实现方式存在局限。当索引为关闭状态时，可以通过恢复操作恢复某个时间点的快照。但当索引为开启状态时，则无法通过恢复操作恢复某个时间点的快照，而需要关闭该索引后再执行恢复操作才能恢复成功。

图1示出根据本公开一实施例的数据快照方法的流程图。该方法用于运行ES的设备中。如图1所示，该方法包括步骤S11至步骤S13。

在步骤S11中，对索引的数据进行快照，得到该数据对应的数据快照。

在步骤S12中，获取用于存储该数据快照的目的存储介质的位置信息，以及用于存储该数据快照的目的存储介质的路径信息。

在步骤S13中，根据该位置信息和该路径信息，对该数据快照进行存储。

其中，目的存储介质可以指用于存储数据快照的介质。目的存储介质的类型可以包括FS、HDFS等。

在一种实现方式中，目的存储介质的位置信息包括目的存储介质的IP地址和端口号。例如，若目的存储介质为FS，则目的存储介质的位置信息为FS的IP地址和端口号，例如100.0.0.99:9020。若目的存储介质为HDFS，则目的存储介质的位置信息为HDFS的IP地址和端口号，例如100.0.0.100:8020。

需要说明的是，尽管以FS或HDFS作为示例介绍了目的存储介质如上，但本领域技术人员能够理解，本公开应不限于此。本领域技术人员可以根据实际应用场景灵活设定目的存储介质。

作为一个示例，索引1中持续导入数据。若在T1时刻对索引1的数据D1进行快照操作，则得到数据D1对应的数据快照Snapshot1。获取用于存储数据快照Snapshot1的HDFS1的位置信息和路径信息。例如，HDFS1的IP地址和端口号为100.0.0.100:1234，HDFS1的路径信息为/usr/local/es/bak。由此可以将数据快照Snapshot1直接存储至IP地址和端口号为100.0.0.100:1234的HDFS1下的/usr/local/es/bak这个路径中。

需要说明的是，本领域技术人员能够理解，同一目的存储介质的路径可以存储一个或多个索引在不同时间点的数据快照，同一索引在不同时间点的数据快照也可以存储在不同目的存储介质的路径中，本公开对此不做限制。

在一种实现方式中，在索引为开启状态的情况下，可以针对该开启状态的索引的数据进行快照。需要说明的是，尽管以开启状态作为示例介绍了针对索引的数据进行快照的方式如上，但本领域技术人员能够理解，本公开应不限于此。本领域技术人员可以根据实际应用场景灵活设定针对不同状态的索引的数据进行快照的方式。

本公开的数据快照方法，在针对索引进行数据快照之前，不需要创建仓库并在已建立的仓库上创建数据快照。在每次针对索引进行数据快照时，规定存储该数据快照的目的存储介质的位置信息和路径信息，由此能够直接将数据快照存储到规定的目的存储介质的路径中。

图2示出根据本公开一实施例的数据快照方法的流程图。该方法用于运行ES中。如图2所示，该方法包括步骤S21至步骤S25。

在步骤S21中，对索引的数据进行快照，得到该数据对应的数据快照。

在步骤S22中，获取用于存储该数据快照的目的存储介质的位置信息，以及用于存储该数据快照的目的存储介质的路径信息。

在步骤S23中，根据该位置信息和该路径信息，对该数据快照进行存储。

在步骤S24中，当检测到针对该数据快照的恢复请求时，获取该索引的状态。

在步骤S25中，若该索引为关闭状态，则将该索引的状态和数据恢复到该数据快照记录的索引的状态和数据。

需要说明的是，本领域技术人员能够理解，ES快照可以在以下场景中迅速恢复数据：病毒感染、人为误操作、恶意篡改、系统宕机造成的数据损坏、应用程序BUG造成的数据损坏、存储系统BUG造成的数据损坏等，本公开对此不做限制。

作为一个示例，索引1中持续导入数据。若在T2时刻对索引1的数据D2进行快照操作，则得到数据D2对应的数据快照Snapshot2。获取用于存储数据快照Snapshot2的HDFS1的位置信息和路径信息。例如，HDFS1的IP地址和端口号为100.0.0.100:1234，HDFS1的路径信息为/usr/local/es/bak。由此可以将数据快照Snapshot2直接存储至IP地址和端口号为100.0.0.100:1234的HDFS1下的/usr/local/es/bak这个路径中。若在T3时刻检测到针对数据快照Snapshot2的恢复请求，则获取数据快照Snapshot2对应的索引1的状态。若在T3时刻索引1为关闭状态，则将索引1的状态和数据恢复到数据快照Snapshot2记录的索引1的状态和数据，即恢复到T2时刻索引1的状态和数据。

在一种实现方式中，在索引为开启状态的情况下，可以针对该开启状态的索引的数据进行快照。当检测到针对该数据快照的恢复请求时，获取该索引的状态。若该索引为关闭状态，则将该索引的状态和数据恢复到该数据快照记录的索引的状态和数据，恢复后的索引为开启状态。

图3示出根据本公开一实施例的数据快照方法的流程图。该方法用于运行ES中。如图3所示，该方法包括步骤S31至步骤S35。

在步骤S31中，对索引的数据进行快照，得到该数据对应的数据快照。

在步骤S32中，获取用于存储该数据快照的目的存储介质的位置信息，以及用于存储该数据快照的目的存储介质的路径信息。

在步骤S33中，根据该位置信息和该路径信息，对该数据快照进行存储。

在步骤S34中，当检测到针对该数据快照的恢复请求时，获取该索引的状态。

在步骤S35中，若该索引为开启状态，则将该索引设置为关闭状态，并将该索引的状态和数据恢复到该数据快照记录的索引的状态和数据。

作为一个示例，索引1中持续导入数据。若在T2时刻对索引1的数据D2进行快照操作，则得到数据D2对应的数据快照Snapshot2。获取用于存储数据快照Snapshot2的HDFS1的位置信息和路径信息。例如，HDFS1的IP地址和端口号为100.0.0.100:1234，HDFS1的路径信息为/usr/local/es/bak。由此可以将数据快照Snapshot2直接存储至IP地址和端口号为100.0.0.100:1234的HDFS1下的/usr/local/es/bak这个路径中。若在T3时刻检测到针对数据快照Snapshot2的恢复请求，则获取数据快照Snapshot2对应的索引1的状态。若在T3时刻索引1为开启状态，则将索引1设置为关闭状态，并将索引1的状态和数据恢复到数据快照Snapshot2记录的索引1的状态和数据，即恢复到T2时刻索引1的状态和数据。

在一种实现方式中，在索引为开启状态的情况下，可以针对该开启状态的索引的数据进行快照。当检测到针对该数据快照的恢复请求时，获取该索引的状态。若该索引为开启状态，则将该索引设置为关闭状态，并将该索引的状态和数据恢复到该数据快照记录的索引的状态和数据，恢复后的索引为开启状态。

本公开的数据快照方法，在检测到针对数据快照的恢复请求时，若索引为关闭状态，则直接将该索引的状态和数据恢复到该数据快照记录的索引的状态和数据。若索引为开启状态，则将该索引设置为关闭状态，并将该索引的状态和数据恢复到该数据快照记录的索引的状态和数据。由此索引在关闭状态或开启状态时，都能够执行针对数据快照的恢复操作。

图4示出根据本公开一实施例的数据快照装置的框图。该装置用于运行ES的设备中。如图4所示，该装置包括：

快照模块41，用于对索引的数据进行快照，得到所述数据对应的数据快照；信息获取模块42，用于获取用于存储所述数据快照的目的存储介质的位置信息，以及用于存储所述数据快照的目的存储介质的路径信息；存储模块43，用于根据所述位置信息和所述路径信息，对所述数据快照进行存储。

在一种实现方式中，所述位置信息包括所述目的存储介质的IP地址和端口号。

在一种实现方式中，所述存储模块43用于：将所述数据快照存储至所述目的存储介质的路径中，所述目的存储介质由所述位置信息确定，所述路径由所述路径信息确定。

本公开的数据快照装置，在针对索引进行数据快照之前，不需要创建仓库并在已建立的仓库上创建数据快照。在每次针对索引进行数据快照时，规定存储该数据快照的目的存储介质的位置信息和路径信息，由此能够直接将数据快照存储到规定的目的存储介质的路径中。

图5示出根据本公开一实施例的数据快照装置的框图。如图5所示：

在一种实现方式中，所述装置还包括：状态获取模块44，用于当检测到针对所述数据快照的恢复请求时，获取所述索引的状态；恢复模块45，用于若所述索引为开启状态，则将所述索引设置为关闭状态，并将所述索引的状态和数据恢复到所述数据快照记录的索引的状态和数据。

本公开的数据快照装置，在检测到针对数据快照的恢复请求时，若索引为关闭状态，则直接将该索引的状态和数据恢复到该数据快照记录的索引的状态和数据。若索引为开启状态，则将该索引设置为关闭状态，并将该索引的状态和数据恢复到该数据快照记录的索引的状态和数据。由此索引在关闭状态或开启状态时，都能够执行针对数据快照的恢复操作。

图6是根据一示例性实施例示出的一种用于数据快照装置900的框图。参照图6，该装置900可包括处理器901、存储有机器可执行指令的机器可读存储介质902。处理器901与机器可读存储介质902可经由系统总线903通信。并且，处理器901通过读取机器可读存储介质902中与数据快照逻辑对应的机器可执行指令以执行上文所述的数据快照方法。

本文中提到的机器可读存储介质902可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种数据快照方法，其特征在于，包括：

对索引的数据进行快照，得到所述数据对应的数据快照；

获取用于存储所述数据快照的目的存储介质的位置信息，以及用于存储所述数据快照的目的存储介质的路径信息；

根据所述位置信息和所述路径信息，对所述数据快照进行存储。

2.根据权利要求1所述的方法，其特征在于，

所述位置信息包括所述目的存储介质的IP地址和端口号。

3.根据权利要求2所述的方法，其特征在于，根据所述位置信息和所述路径信息，对所述数据快照进行存储，包括：

将所述数据快照存储至所述目的存储介质的路径中，所述目的存储介质由所述位置信息确定，所述路径由所述路径信息确定。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当检测到针对所述数据快照的恢复请求时，获取所述索引的状态；

若所述索引为开启状态，则将所述索引设置为关闭状态，并将所述索引的状态和数据恢复到所述数据快照记录的索引的状态和数据。

5.一种数据快照装置，其特征在于，包括：

快照模块，用于对索引的数据进行快照，得到所述数据对应的数据快照；

信息获取模块，用于获取用于存储所述数据快照的目的存储介质的位置信息，以及用于存储所述数据快照的目的存储介质的路径信息；

存储模块，用于根据所述位置信息和所述路径信息，对所述数据快照进行存储。

6.根据权利要求5所述的装置，其特征在于，

所述位置信息包括所述目的存储介质的IP地址和端口号。

7.根据权利要求6所述的装置，其特征在于，所述存储模块用于：

将所述数据快照存储至所述目的存储介质的路径中，所述目的存储介质由所述位置信息确定，所述路径由所述路径信息确定。

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

状态获取模块，用于当检测到针对所述数据快照的恢复请求时，获取所述索引的状态；

恢复模块，用于若所述索引为开启状态，则将所述索引设置为关闭状态，并将所述索引的状态和数据恢复到所述数据快照记录的索引的状态和数据。

9.一种数据快照装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1至4中任意一项所述的方法。

10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至4中任意一项所述的方法。