CN109885427A - 一种数据库短期数据保护方法、装置、存储器及设备 - Google Patents
一种数据库短期数据保护方法、装置、存储器及设备 Download PDFInfo
- Publication number
- CN109885427A CN109885427A CN201910099469.8A CN201910099469A CN109885427A CN 109885427 A CN109885427 A CN 109885427A CN 201910099469 A CN201910099469 A CN 201910099469A CN 109885427 A CN109885427 A CN 109885427A
- Authority
- CN
- China
- Prior art keywords
- snapshot
- database
- target
- log
- recovery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据库短期数据保护方法、装置、存储器及设备，所述方法包括：按照预设的规则对数据库进行快照，两次快照之间的数据通过日志进行记录；当需要进行数据库恢复时，根据数据库需要恢复的时间节点，确定目标快照和目标日志，所述目标快照和目标日志为数据库恢复时需要使用的快照和日志；根据所述目标快照和目标日志，对所述数据库进行恢复。采用本申请实施例所提供的方案，数据库快照和数据库日志结合，实现短时间内的数据库保护恢复；日志更细粒度的切分，方便对数据库恢复时间点的定位。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种数据库短期数据保护方法、装置、存储器及设备。
背景技术
数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，用户可以对数据库中的数据进行新增、截取、更新、删除等操作。
数据库在当前的软件开发和设计中承担的非常重要的角色，若数据库出现故障导致数据丢失，则会对整个软件开发和设计造成灾难性的损失。对于数据库的数据保护目前存在的多种多样的技术方案。其中，数据库日志就是一种非常重要的保护手段，例如mysql/mariadb的bin-log，及oracle redo-log等，当数据库出现数据问题时，可通过数据库定时备份进行数据重放，将数据库恢复至正常状态。但是，现有技术中必须对数据库有一个全量的备份，恢复时间较长。此外，当应用上层出现误操作时，无法快速的恢复数据至一段时间前，只能从完整数据库备份中进行恢复，操作不够灵活。
发明内容
有鉴于此，本申请的目的在于提供一种数据库短期数据保护方法、装置、存储器及设备，以利于解决现有技术中数据库恢复基于全量备份，恢复时间长，操作不灵活的问题。其具体方案如下：
第一方面，本申请实施例提供了一种数据库短期数据保护方法，包括：
按照预设的规则对数据库进行快照，两次快照之间的数据通过日志进行记录；
当需要进行数据库恢复时，根据数据库需要恢复的时间节点，确定目标快照和目标日志，所述目标快照和目标日志为数据库恢复时需要使用的快照和日志；
根据所述目标快照和目标日志，对所述数据库进行恢复。
优选地，所述方法还包括：
若所述数据库的快照数量N大于预设的快照数量阈值M，则根据快照的创建时间，删除N-M个快照，其中，删除的N-M个快照中任意一个快照的创建时间早于剩余的M个快照中任意一个快照的创建时间。
优选地，所述快照数量阈值M＝1。
优选地，所述目标快照和目标日志为数据库恢复时需要使用的快照和日志，具体为：
所述目标快照为数据库需要恢复的时间节点之前，创建时间最晚的快照；
所述目标日志为所述目标快照和数据库需要恢复的时间节点之间的日志。
优选地，所述按照预设的规则对数据库进行快照，包括：按照预设的时间间隔和/或日志的数据量，对数据库进行快照。
第二方面，本申请实施例提供了一种数据库短期数据保护装置，包括：
快照模块，用于按照预设的规则对数据库进行快照，两次快照之间的数据通过日志进行记录；
确定模块，用于当需要进行数据库恢复时，根据数据库需要恢复的时间节点，确定目标快照和目标日志，所述目标快照和目标日志为数据库恢复时需要使用的快照和日志；
恢复模块，用于根据所述目标快照和目标日志，对所述数据库进行恢复。
优选地，所述装置还包括：
删除模块，用于若所述数据库的快照数量N大于预设的快照数量阈值M，则根据快照的创建时间，删除N-M个快照，其中，删除的N-M个快照中任意一个快照的创建时间早于剩余的M个快照中任意一个快照的创建时间。
优选地，所述目标快照和目标日志为数据库恢复时需要使用的快照和日志，具体为：
所述目标快照为数据库需要恢复的时间节点之前，创建时间最晚的快照；
所述目标日志为所述目标快照和数据库需要恢复的时间节点之间的日志。
第三方面，本申请实施例提供了一种计算机存储器，所述计算机存储器上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的步骤。
第四方面，本申请实施例提供了一种计算机设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述第一方面所述的步骤。
采用本申请实施例所提供的方案，数据库快照和数据库日志结合，实现短时间内的数据库保护恢复；日志更细粒度的切分，方便对数据库恢复时间点的定位
本申请提供一种方法应用于上述装置，计算机存储器及设备能运行上述方法，也具有上述的有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请具体实施方式提供的一种数据库短期数据保护方法流程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
针对现有技术中数据库恢复基于全量备份，恢复时间长，操作不灵活的问题，本申请实施例提供了一种数据库短期数据保护方法。图1为本申请具体实施方式提供的一种数据库短期数据保护方法流程示意图，如图1所示，其主要包括以下步骤。
步骤S101：按照预设的规则对数据库进行快照，两次快照之间的数据通过日志进行记录；
本申请实施例采用数据库快照和数据日志相结合的方式对数据库进行保护。数据库初始化后，对数据库进行快照，快照完成后，将数据库所有的插入、更新和创建请求按照更小粒度进行日志记录，日志完成后，将数据写入数据库，从而将数据库的状态进行更小粒度的保存。
需要指出的是，在本申请实施例中，按照预设的规则每隔一段时间对数据库执行一次快照。例如，按照预设的时间间隔，当到达设定的时间后，对数据库执行下一次快照；或者，根据日志的数据量，当日志的数据量达到设定的阈值时，对数据库进行下一次快照；或者，综合考虑时间和日志的数据量情况，对数据库进行快照。
步骤S102：当需要进行数据库恢复时，根据数据库需要恢复的时间节点，确定目标快照和目标日志，所述目标快照和目标日志为数据库恢复时需要使用的快照和日志。
当需要进行数据库恢复时，暂停以上所有操作，查找出现数据库误操作的时间节点，即需要恢复的时间节点。然后查找数据库恢复时需要使用的快照和日志，即目标快照和目标日志。可理解，数据库恢复时需要使用的快照为距离需要恢复的时间节点最近的一次快照，需要使用的日志，为距离需要恢复的时间节点最近的一次快照和需要恢复的时间节点之间记录的日志。换句话来讲，所述目标快照为数据库需要恢复的时间节点之前，创建时间最晚的快照；所述目标日志为所述目标快照和数据库需要恢复的时间节点之间的日志。
步骤S103：根据所述目标快照和目标日志，对所述数据库进行恢复。
在查找出进行数据库恢复使用的快照和日志后，根据该快照和日志对数据库进行恢复。
采用本申请实施例所提供的方法，数据库快照和数据库日志结合，实现短时间内的数据库保护恢复；日志更细粒度的切分，方便对数据库恢复时间点的定位。
另外，对数据库执行快照会占用较多的系统资源，尤其是当快照的数量较多时，对系统资源的消耗非常大。在本申请一种优选实施例中，对快照的数量进行限制，若所述数据库的快照数量N大于预设的快照数量阈值M，则根据快照的创建时间，删除N-M个快照，其中，删除的N-M个快照中任意一个快照的创建时间早于剩余的M个快照中任意一个快照的创建时间。也就是说，在对快照进行删除时，优选删除创建时间比较早的快照。
在一种优选实施例中，快照数量阈值为1，即当下一个快照创建后，即对上一个快照删除，始终保持快照的数量为1个。删除快照后，数据则持久性的保存在磁盘中。
与上述方法实施例相对应，本申请还提供了一种数据库短期数据保护装置，其主要包括以下模块。
快照模块，用于按照预设的规则对数据库进行快照，两次快照之间的数据通过日志进行记录；
确定模块，用于当需要进行数据库恢复时，根据数据库需要恢复的时间节点，确定目标快照和目标日志，所述目标快照和目标日志为数据库恢复时需要使用的快照和日志；
恢复模块，用于根据所述目标快照和目标日志，对所述数据库进行恢复。
在一种优选实施例中，所述装置还包括：
删除模块，用于若所述数据库的快照数量N大于预设的快照数量阈值M，则根据快照的创建时间，删除N-M个快照，其中，删除的N-M个快照中任意一个快照的创建时间早于剩余的M个快照中任意一个快照的创建时间。
在一种优选实施例中，所述快照数量阈值M＝1。
在一种优选实施例中，所述目标快照和目标日志为数据库恢复时需要使用的快照和日志，具体为：
所述目标快照为数据库需要恢复的时间节点之前，创建时间最晚的快照；
所述目标日志为所述目标快照和数据库需要恢复的时间节点之间的日志。
在一种优选实施例中，所述按照预设的规则对数据库进行快照，包括：按照预设的时间间隔和/或日志的数据量，对数据库进行快照。
采用本申请实施例所提供的方法，数据库快照和数据库日志结合，实现短时间内的数据库保护恢复；日志更细粒度的切分，方便对数据库恢复时间点的定位。
在本申请的又一种具体实施方式中，本申请实施例提供一种计算机可读存储器，所述计算机存储器上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法实施例中的步骤。
在本申请的一种具体实施方式中，本申请实施例提供一种计算机设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述方法实施例中的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用设备，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据库短期数据保护方法，其特征在于，包括：
按照预设的规则对数据库进行快照，两次快照之间的数据通过日志进行记录；
当需要进行数据库恢复时，根据数据库需要恢复的时间节点，确定目标快照和目标日志，所述目标快照和目标日志为数据库恢复时需要使用的快照和日志；
根据所述目标快照和目标日志，对所述数据库进行恢复。
2.根据权利要求1所述的方法，其特征在于，还包括：
若所述数据库的快照数量N大于预设的快照数量阈值M，则根据快照的创建时间，删除N-M个快照，其中，删除的N-M个快照中任意一个快照的创建时间早于剩余的M个快照中任意一个快照的创建时间。
3.根据权利要求2所述的方法，其特征在于，所述快照数量阈值M＝1。
4.根据权利要求1所述的方法，其特征在于，所述目标快照和目标日志为数据库恢复时需要使用的快照和日志，具体为：
所述目标快照为数据库需要恢复的时间节点之前，创建时间最晚的快照；
所述目标日志为所述目标快照和数据库需要恢复的时间节点之间的日志。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述按照预设的规则对数据库进行快照，包括：按照预设的时间间隔和/或日志的数据量，对数据库进行快照。
6.一种数据库短期数据保护装置，其特征在于，包括：
快照模块，用于按照预设的规则对数据库进行快照，两次快照之间的数据通过日志进行记录；
确定模块，用于当需要进行数据库恢复时，根据数据库需要恢复的时间节点，确定目标快照和目标日志，所述目标快照和目标日志为数据库恢复时需要使用的快照和日志；
恢复模块，用于根据所述目标快照和目标日志，对所述数据库进行恢复。
7.根据权利要求6所述的装置，其特征在于，还包括：
删除模块，用于若所述数据库的快照数量N大于预设的快照数量阈值M，则根据快照的创建时间，删除N-M个快照，其中，删除的N-M个快照中任意一个快照的创建时间早于剩余的M个快照中任意一个快照的创建时间。
8.根据权利要求6所述的装置，其特征在于，所述目标快照和目标日志为数据库恢复时需要使用的快照和日志，具体为：
所述目标快照为数据库需要恢复的时间节点之前，创建时间最晚的快照；
所述目标日志为所述目标快照和数据库需要恢复的时间节点之间的日志。
9.一种计算机存储器，其特征在于，所述计算机存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的步骤。
10.一种计算机设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910099469.8A CN109885427A (zh) | 2019-01-31 | 2019-01-31 | 一种数据库短期数据保护方法、装置、存储器及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910099469.8A CN109885427A (zh) | 2019-01-31 | 2019-01-31 | 一种数据库短期数据保护方法、装置、存储器及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109885427A true CN109885427A (zh) | 2019-06-14 |
Family
ID=66927644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910099469.8A Withdrawn CN109885427A (zh) | 2019-01-31 | 2019-01-31 | 一种数据库短期数据保护方法、装置、存储器及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109885427A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111125060A (zh) * | 2019-12-17 | 2020-05-08 | 中国联合网络通信集团有限公司 | 一种数据库管理方法、系统、设备及存储介质 |
| CN111949447A (zh) * | 2020-08-11 | 2020-11-17 | 北京天融信网络安全技术有限公司 | 一种数据处理方法及数据处理系统 |
| CN112214471A (zh) * | 2019-07-09 | 2021-01-12 | 浙江宇视科技有限公司 | 数据库管理方法、装置、计算机可读存储介质和电子设备 |
| CN112765129A (zh) * | 2021-01-11 | 2021-05-07 | 上海上讯信息技术股份有限公司 | 一种实现数据库数据版本管理的方法与设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101316184A (zh) * | 2007-06-01 | 2008-12-03 | 华为技术有限公司 | 容灾切换方法、系统、装置 |
| CN106326041A (zh) * | 2016-08-31 | 2017-01-11 | 杭州沃趣科技股份有限公司 | 一种用于数据库秒级恢复的方法 |
| CN106610876A (zh) * | 2015-10-23 | 2017-05-03 | 中兴通讯股份有限公司 | 数据快照的恢复方法及装置 |
-
2019
- 2019-01-31 CN CN201910099469.8A patent/CN109885427A/zh not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101316184A (zh) * | 2007-06-01 | 2008-12-03 | 华为技术有限公司 | 容灾切换方法、系统、装置 |
| CN106610876A (zh) * | 2015-10-23 | 2017-05-03 | 中兴通讯股份有限公司 | 数据快照的恢复方法及装置 |
| CN106326041A (zh) * | 2016-08-31 | 2017-01-11 | 杭州沃趣科技股份有限公司 | 一种用于数据库秒级恢复的方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112214471A (zh) * | 2019-07-09 | 2021-01-12 | 浙江宇视科技有限公司 | 数据库管理方法、装置、计算机可读存储介质和电子设备 |
| CN112214471B (zh) * | 2019-07-09 | 2024-04-05 | 浙江宇视科技有限公司 | 数据库管理方法、装置、计算机可读存储介质和电子设备 |
| CN111125060A (zh) * | 2019-12-17 | 2020-05-08 | 中国联合网络通信集团有限公司 | 一种数据库管理方法、系统、设备及存储介质 |
| CN111125060B (zh) * | 2019-12-17 | 2023-10-31 | 中国联合网络通信集团有限公司 | 一种数据库管理方法、系统、设备及存储介质 |
| CN111949447A (zh) * | 2020-08-11 | 2020-11-17 | 北京天融信网络安全技术有限公司 | 一种数据处理方法及数据处理系统 |
| CN112765129A (zh) * | 2021-01-11 | 2021-05-07 | 上海上讯信息技术股份有限公司 | 一种实现数据库数据版本管理的方法与设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109885427A (zh) | 一种数据库短期数据保护方法、装置、存储器及设备 | |
| US8046547B1 (en) | Storage system snapshots for continuous file protection | |
| US9372908B2 (en) | Merging an out of synchronization indicator and a change recording indicator in response to a failure in consistency group formation | |
| US9336224B2 (en) | Systems and methods for providing increased scalability in deduplication storage systems | |
| US9372854B2 (en) | Load balancing backup jobs in a virtualized storage system having a plurality of physical nodes | |
| US9501487B1 (en) | Change tree incremental backup | |
| US9785518B2 (en) | Multi-threaded transaction log for primary and restore/intelligence | |
| US9442805B2 (en) | Recovering a volume table and data sets | |
| CN108351821B (zh) | 数据恢复方法及存储设备 | |
| US9037819B2 (en) | Source cleaning cascaded volumes using reference counts | |
| US9251230B2 (en) | Exchanging locations of an out of synchronization indicator and a change recording indicator via pointers | |
| US9928246B1 (en) | Managing snapshots of data | |
| US10146633B2 (en) | Data recovery from multiple data backup technologies | |
| EP2856317B1 (en) | System and method for disaster recovery of multi-tier applications | |
| CN109408291A (zh) | 一种分布式存储系统磁盘快照恢复方法、装置及电子设备 | |
| US11003554B2 (en) | RAID schema for providing metadata protection in a data storage system | |
| US20160224434A1 (en) | Zero-transaction-loss recovery for database systems | |
| US11150991B2 (en) | Dynamically adjusting redundancy levels of storage stripes | |
| US10929255B2 (en) | Reducing the size of fault domains | |
| CN105573862B (zh) | 一种恢复文件系统的方法和设备 | |
| CN116027991B (zh) | Raid阵列管理方法、装置、raid卡及存储介质 | |
| US11494090B2 (en) | Systems and methods of maintaining fault tolerance for new writes in degraded erasure coded distributed storage | |
| CN110764692B (zh) | 一种服务器集群环境下存储切片数据冗余、恢复方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190614 |