CN114816845A

CN114816845A - 一种基于MongoDB的快速数据回滚方法及装置

Info

Publication number: CN114816845A
Application number: CN202210355685.6A
Authority: CN
Inventors: 赵景明; 刘洋; 林峰; 乐坚强
Original assignee: Beijing Yunyou Interactive Network Technology Co ltd; Online Tuyoo Beijing Technology Co ltd
Current assignee: Beijing Yunyou Interactive Network Technology Co ltd; Online Tuyoo Beijing Technology Co ltd
Priority date: 2022-04-06
Filing date: 2022-04-06
Publication date: 2022-07-29
Anticipated expiration: 2042-04-06

Abstract

本申请提供一种基于MongoDB的快速数据回滚方法及装置、计算设备和计算机可读存储介质。其中所述方法包括：生成回滚命令，该回滚命令中包括回滚标识；获取MongoDB数据库的备份文件，根据回滚命令对备份文件进行裁剪，得到目标备份文件；将目标备份文件恢复到临时集群，进行数据校验；将临时集群的数据覆盖到生产环境，完成数据回滚。通过该方法，在回滚数据时，不再对全量备份文件进行恢复，而是利用裁剪工具对全量的备份数据进行裁剪，根据实际的回滚需求得到目标备份文件，实现了精准的回滚方案，极大的缩短了回滚时间。

Description

一种基于MongoDB的快速数据回滚方法及装置

技术领域

本申请涉及计算机技术领域，特别涉及一种基于MongoDB的快速数据回滚方法及装置、计算设备和计算机可读存储介质。

背景技术

MongoDB数据库是基于分布式文件存储的数据库，是一款开源的NoSQL数据库，它支持类似json的binary son数据格式，因此可以存储比较复杂的数据类型。现有技术中，当用户需要对MongoDB进行数据回滚或恢复时，通常需要获取全量备份文件并将备份文件全量恢复到一个临时集群中，然后根据日志文件将部分增量数据恢复到临时集群，最后将临时集群的数据覆盖到生产环境集群，完成回滚。

在上述方法中，需要将全量备份数据和部分增量备份数据恢复到集群，整个过程操作复杂、耗时长，而且回滚效率较低，无法实现精准的数据回滚。

发明内容

有鉴于此，本申请实施例提供了一种基于MongoDB的快速数据回滚方法及装置、计算设备和计算机可读存储介质，以解决现有技术中存在的技术缺陷。

根据本申请实施例的第一方面，提供了一种基于MongoDB的快速数据回滚方法，包括：

生成回滚命令，该回滚命令中包括回滚标识；

获取MongoDB数据库的备份文件，根据回滚命令对备份文件进行裁剪，得到目标备份文件；

将目标备份文件恢复到临时集群，进行数据校验；

将临时集群的数据覆盖到生产环境，完成数据回滚。

根据本申请实施例的第二方面，提供了一种基于MongoDB的快速数据回滚的装置，包括：

命令生成模块，用于生成回滚命令，该回滚命令中包括回滚标识；

数据裁剪模块，用于获取MongoDB数据库的备份文件，根据回滚命令对备份文件进行裁剪，得到目标备份文件；

数据测试模块，用于将目标备份文件恢复到临时集群，进行数据校验；

数据恢复模块，用于将临时集群的数据覆盖到生产环境，完成数据回滚。

根据本申请实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述基于MongoDB的快速数据回滚方法的步骤。

根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述基于MongoDB的快速数据回滚方法的步骤。

本申请实施例中，为了提高数据回滚的效率和精准度，在回滚时，不再对全量备份文件进行恢复，而是利用裁剪工具对全量的备份数据进行裁剪，根据实际的回滚需求得到目标备份文件，实现了精准的回滚方案，极大的缩短了回滚时间。

附图说明

图1是本申请实施例提供的计算设备的结构框图；

图2是本申请实施例提供的一种基于MongoDB的快速数据回滚方法的流程图；

图3是本申请实施例提供的一种基于MongoDB的快速数据回滚装置的示意图；

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“响应于确定”。

在本申请中，提供了一种基于MongoDB的快速数据回滚方法、装置、计算设备和计算机可读存储介质，在下面的实施例中逐一进行详细说明。

图1示出了根据本申请一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存数据。

计算设备100还包括接入设备140，接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。

在本申请的一个实施例中，计算设备100的上述部件以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。

其中，处理器120可以执行图2所示的一种基于MongoDB的快速数据回滚方法中的步骤。图2示出了根据本申请一实施例的基于MongoDB的快速数据回滚方法的流程图，包括步骤202至步骤208。

步骤202：生成回滚命令，该回滚命令中包括回滚标识。

在复杂的业务系统中，经常会遇到各种情况需要进行数据的回滚，例如，新的功能上线后出现未知异常，导致用户的数据错误，又或者有人利用系统的漏洞对数据进行恶意篡改等，出现类似的情况时，都需要对数据库进行回滚。

在一种具体的实施方式中，回滚命令包括回滚时间和回滚数据标识，该回滚数据标识用于标识待回滚的数据。

例如，当发现有玩家A利用系统的漏洞对游戏中金币的数量进行恶意篡改，则需要对玩家A的数据进行回滚。

通过对玩家A的分析，设定回滚时间为“2022年2月1日18:00”，因此该回滚命令中包括：玩家A的标识、回滚时间为“2022年2月1日18:00”和回滚数据标识为“玩家A的金币数”，用于请求将玩家A的金币数量回滚到2022年2月1日18:00时的数量。

其中，该回滚数据标识对待回滚的数据库条目属性进行了标记，如上述数据中的玩家A的标识、回滚的时间以及对金币数进行回滚。

本领域技术人员应当知晓，上述举例并非穷举，根据实际需求回滚数据标识可以用于任何数据库条目属性的标记，在此不再赘述。

步骤204，获取MongoDB数据库的备份文件，根据回滚命令对备份文件进行裁剪，得到目标备份文件。

在现有技术中，在对MongoDB数据库进行回滚时，通常需要获取全量备份文件，然后恢复到临时集群环境中；常见的MongoDB数据库备份方法使用工具mongodump从数据库中导出全量bson格式的数据，恢复时也需要使用工具mongorestore全部导入；然后再根据备份时间和请求回滚的时间将部分增量数据恢复到临时集群，最后将临时集群的数据覆盖到生产环境集群，整个过程繁琐、耗时较长，用户体验较差。

即使存在部分工具能对全量备份文件进行处理，也只能通过备份文件的文件名称对数据集合例如namespace进行筛选，无法定位到具体的数据库条目，实现精准的回滚。

在本申请的一种可行的实施方式中，获取并读取bson格式的MongoDB数据库备份文件，根据回滚标识进行对备份文件进行裁剪，得到目标备份文件。

例如，玩家A的回滚标识包括("_id":10001,"loginTime":"2022/2/1/18:00",”attr”:”money”)。

使用裁剪工具根据上述回滚标识对bson格式的全量备份数据进行裁剪，

./bin/filter.darwin -i backup/data/data/data.bson-o backup/data_new/data/

tmp.bson -q'{“_id”:10001,“loginTime”:“2022/2/1/18:00”,”attr”:”money”}

得到裁剪后的目标备份文件tmp.bson。

在现有技术中，虽然可以使用相关的driver在MongoDB数据库环境中操作bson对象，但是该方式是用来提供给相关程序连接MongoDB数据库服务器的功能，利用bson对象在MongoDB中进行在线的数据CRUD操作，无法针对导出后的备份文件进行操作。

进一步的，裁剪工具读取bson格式的备份文件到内存中，根据bson格式的定义对备份文件进行解析；裁剪工具通过参数接收标准的MongoDB查询语句，该查询语句根据回滚标识生成；裁剪工具进而根据解析后的备份文件遍历其中的每一条数据项，根据传入的查询语句进行数据的匹配和过滤，得到裁剪后的目标备份文件。

进一步的，当MongoDB的备份文件较大时，例如经常会出现几十、几百GB的大小，此时如果一次性将备份文件加载到内存是不合理的，会造成溢出错误。因此，对于数据大小超过阈值的备份文件，采用边读边写的方式实现数据的裁剪。在该方式中，剪裁工具从备份文件中每读取预设大小的数据后，根据接收的查询语句进行数据的匹配，若匹配成功，则将匹配的数据追加到创建的目标备份文件中，若无匹配数据则继续读取下一个预设大小的数据，直到备份文件中所有的数据都读取完毕。

步骤206：将目标备份文件恢复到临时集群，进行数据校验。

在该步骤中，将裁剪得到的目标备份文件恢复到临时集群，对恢复的数据进行校验，校验成功后进入步骤208。

步骤208：将临时集群的数据覆盖到生产环境，完成数据回滚。

在该步骤中，通过脚本将临时集群的数据直接覆盖到生产环境，完成数据的回滚。

本申请实施例中，在进行数据的回滚时，首先利用裁剪工具对全量的备份数据进行裁剪，根据实际的回滚需求得到了目标备份文件，实现了精准的回滚方案，无需全量回滚，极大的缩短了回滚时间。

与上述方法实施例相对应，本申请还提供了一种基于MongoDB的快速数据回滚装置的实施例，图3示出了本申请一个实施例的一种基于MongoDB的快速数据回滚装置的结构示意图。如图3所示，该装置包括：

上述为本实施例的一种基于MongoDB的快速数据回滚装置的示意性方案。需要说明的是，该基于MongoDB的快速数据回滚装置的技术方案与上述的基于MongoDB的快速数据回滚方法的技术方案属于同一构思，基于MongoDB的快速数据回滚装置的技术方案未详细描述的细节内容，均可以参见上述基于MongoDB的快速数据回滚方法的技术方案的描述。

本申请一实施例中还提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述基于MongoDB的快速数据回滚方法的步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的基于MongoDB的快速数据回滚方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述基于MongoDB的快速数据回滚方法的技术方案的描述。

本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如前所述基于MongoDB的快速数据回滚方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的基于MongoDB的快速数据回滚方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述基于MongoDB的快速数据回滚方法的技术方案的描述。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims

1.一种基于MongoDB的快速数据回滚方法，其特征在于，包括：

生成回滚命令，该回滚命令中包括回滚标识；

将目标备份文件恢复到临时集群，进行数据校验；

将临时集群的数据覆盖到生产环境，完成数据回滚。

2.根据权利要求1所述的方法，其中，所述回滚标识包括：

回滚时间和回滚数据标识，所述回滚数据标识用于标识待回滚的数据。

3.根据权利要求2所述的方法，其中，所述回滚数据标识用于标识待回滚的数据包括：

所述回滚数据标识对待回滚的数据库条目属性进行标记。

4.根据权利要求1所述的方法，所述根据回滚命令对备份文件进行裁剪包括：

利用裁剪工具读取bson格式的MongoDB数据库备份文件，根据回滚标识对备份文件进行裁剪。

5.根据权利要求4所述的方法，所述利用裁剪工具读取bson格式的MongoDB数据库备份文件，根据回滚标识对备份文件进行裁剪包括：

裁剪工具读取bson格式的备份文件到内存中，根据bson格式的定义对备份文件进行解析；通过参数接收标准的MongoDB查询语句，该查询语句根据回滚标识生成；裁剪工具进而根据解析后的备份文件遍历其中的每一条数据项，根据所述查询语句进行数据的匹配和过滤，得到裁剪后的目标备份文件。

6.根据权利要求4所述的方法，所述利用裁剪工具读取bson格式的MongoDB数据库备份文件，根据回滚标识对备份文件进行裁剪还包括：

当所述备份文件的数据大小超过预设阈值时，剪裁工具从备份文件中每读取预设大小的数据后，根据接收的查询语句进行数据的匹配，若匹配成功，将匹配的数据追加到创建的目标备份文件中，若无匹配数据则继续读取下一个预设大小的数据，直到备份文件中所有的数据都读取完毕。

7.一种基于MongoDB的快速数据回滚装置，其特征在于，包括：

8.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-6所述方法的步骤。

9.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-6所述方法的步骤。