CN112612649A - Cache数据库的日志恢复方法、系统及存储介质 - Google Patents

Cache数据库的日志恢复方法、系统及存储介质 Download PDF

Info

Publication number
CN112612649A
CN112612649A CN202011635934.4A CN202011635934A CN112612649A CN 112612649 A CN112612649 A CN 112612649A CN 202011635934 A CN202011635934 A CN 202011635934A CN 112612649 A CN112612649 A CN 112612649A
Authority
CN
China
Prior art keywords
log
log recovery
file
database
cache database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011635934.4A
Other languages
English (en)
Inventor
鲁伟
范佳
王子骏
马立珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Dingjia Computer Technology Co ltd
Original Assignee
Guangzhou Dingjia Computer Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Dingjia Computer Technology Co ltd filed Critical Guangzhou Dingjia Computer Technology Co ltd
Priority to CN202011635934.4A priority Critical patent/CN112612649A/zh
Publication of CN112612649A publication Critical patent/CN112612649A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种cache数据库的日志恢复方法、系统及存储介质，该方法包括步骤：获取日志恢复指令，并根据日志恢复指令获取所有备份集元数据；根据所有备份集元数据确定日志恢复的参数文件；根据日志恢复指令确定过滤器，并用过滤器过滤参数文件得到第一文件；根据第一文件恢复数据库日志。本发明实施例通过日志恢复指令获取所有备份集元数据以及确定过滤器，通过所有备份集元数据确定参数文件，并通过过滤器过滤参数文件得到第一文件，最后根据第一文件恢复数据库日志；整个日志恢复过程只需要获取一次日志恢复指令，无交互过程，同时简化了开发过程。本发明实施例可广泛应用于数据库技术领域。

Description

Cache数据库的日志恢复方法、系统及存储介质
技术领域
本发明涉及数据库技术领域，尤其涉及一种cache数据库的日志恢复方法、系统及存储介质。
背景技术
Cache数据库是一种后关系型数据库，后关系型表明它在关系型数据库的基础上，包含了一些更新型的特性。Cache数据库提供了快速Web应用开发、高速的事务处理、大规模的扩展性及对事务数据的实时查询等功能，Cache数据库的日志恢复通常采用交互的指令方式。但是，在交互的过程中，有些交互指令对使用者难以理解，导致效率低或难以进行；另外，Cache数据库采用交互式的日志恢复在嵌入其他语言的开发过程中，复杂性会增加。
发明内容
有鉴于此，本发明实施例的目的是提供一种cache数据库的日志恢复方法、系统及存储介质，该方法能够在日志恢复过程中避免交互及简化了开发过程。
第一方面，本发明实施例提供了一种cache数据库的日志恢复方法，包括以下步骤：
获取日志恢复指令，并根据所述日志恢复指令获取所有备份集元数据；
根据所述所有备份集元数据确定日志恢复的参数文件；
根据所述日志恢复指令确定过滤器，并用所述过滤器过滤所述参数文件得到第一文件；
根据所述第一文件恢复数据库日志。
可选地，所述获取日志恢复指令，包括：获取日志恢复的数据库名称及时间段。
可选地，所述根据所述日志恢复指令获取所有备份集元数据，包括：
根据所述数据库名称及所述时间段确定备份集ID；
根据所述备份集ID获取所有备份集元数据。
可选地，所述根据所述日志恢复指令确定过滤器，并用所述过滤器过滤所述参数文件得到第一文件，包括：
根据所述数据库名称及所述时间段确定过滤器；
当所述参数文件包含所述时间段，将所述参数文件作为第一文件。
可选地，所述方法还包括：生成日志恢复的记录文件。
可选地，所述方法还包括：监控输出的日志文件。
第二方面，本发明实施例提供了一种cache数据库的日志恢复系统，包括：
获取模块，用于获取日志恢复指令，并根据所述日志恢复指令获取所有备份集元数据；
确定模块，用于根据所述所有备份集元数据确定日志恢复的参数文件；
过滤模块，用于根据所述日志恢复指令确定过滤器，并用所述过滤器过滤所述参数文件得到第一文件；
恢复模块，用于根据所述第一文件恢复数据库日志。
第三方面，本发明实施例提供了一种cache数据库的日志恢复系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的cache数据库的日志恢复方法。
第四方面，本发明实施例提供了一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的cache数据库的日志恢复方法。
第五方面，本发明实施例提供了一种cache数据库的日志恢复系统，包括第一存储器、第二存储器及计算机设备，所述计算机设备连接所述第一存储器及所述第二存储器，其中，
所述第一存储器，用于存储数据库文件；
所述第二存储器，用于存储备份集数据文件；
所述计算机设备包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的cache数据库的日志恢复方法。
实施本发明实施例包括以下有益效果：本发明实施例通过日志恢复指令获取所有备份集元数据以及确定过滤器，通过所有备份集元数据确定参数文件，并通过过滤器过滤参数文件得到第一文件，最后根据第一文件恢复数据库日志；整个日志恢复过程只需要获取一次日志恢复指令，无交互过程，同时简化了开发过程。
附图说明
图1是本发明实施例提供的一种cache数据库的日志恢复系统的结构框图；
图2是本发明实施例提供的一种cache数据库的日志恢复方法的步骤流程示意图；
图3是本发明实施例提供的一种cache数据库的日志恢复方法的时序图；
图4是本发明实施例提供的一种cache数据库的日志恢复系统的另一种结构框图；
图5是本发明实施例提供的一种cache数据库的日志恢复系统的另一种结构框图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
如图1所示，cache数据库的日志恢复系统包括第一存储器、第二存储器及计算机设备，计算机设备连接第一存储器及第二存储器，第一存储器用于存储数据库文件，第二存储器用于存储备份集数据文件，计算机设备用于执行Agent服务，Agent服务包括数据库的备份和恢复。数据库备份过程中通过Agent服务将数据库文件保存到第二存储器中，形成备份集。
需要说明的是，用于执行Agent服务的计算机设备还可以连接其它的开发软件，如dbackup软件，通过dbackup软件获取日志恢复指令，再将日志恢复指令发送给计算机设备，dbackup软件还可以设置用户验证、检验日志恢复指令合理性及存储备份元数据信息等功能。当然，也可以直接从计算机设备获取日志恢复指令及设置dbackup软件的相关功能。
本领域技术人员可以理解的是，备份元数据包括备份集ID、时间段、数据库名称及备份集数据文件在第二存储器的路径等。
如图2所示，本发明实施例提供了一种cache数据库的日志恢复方法，其包括的步骤如下所示。
S1、获取日志恢复指令，并根据所述日志恢复指令获取所有备份集元数据；
S2、根据所述所有备份集元数据确定日志恢复的参数文件；
S3、根据所述日志恢复指令确定过滤器，并用所述过滤器过滤所述参数文件得到第一文件；
S4、根据所述第一文件恢复数据库日志。
实施本发明实施例包括以下有益效果：本发明实施例通过日志恢复指令获取所有备份集元数据以及确定过滤器，通过所有备份集元数据确定参数文件，并通过过滤器过滤参数文件得到第一文件，最后根据第一文件恢复数据库日志；整个日志恢复过程只需要获取一次日志恢复指令，无交互过程，同时简化了开发过程。
可选地，上述步骤S1，包括以下步骤：
S11、获取日志恢复的数据库名称及时间段。
S12、根据所述数据库名称及时间段确定备份集ID；
S13、根据所述备份集ID获取所有备份集元数据。
具体地，获取数据库名称及时间段后，根据已经存储的元数据信息，可以获得备份集ID；根据备份集ID可以获得全备、增备及日志备份的所有备份集元数据。
需要说明的是，如果备份按照全备、增备及日志备份的顺序，那么恢复过程也需要按照全备、增备及日志备份的顺序进行。
本领域技术人员可以理解的是，所有基于同一个全备的备份集都有相同的一个字段incarnation。因此，根据日志的备份集ID可以确定incarnation，再根据incarnation可以筛选出所有需要的备份集元数据。
具体地，根据所述所有备份集元数据确定日志恢复的参数文件的过程如下：Agent服务将需要恢复的时间段及数据库名称等写入一个文件，比如第一行是恢复备份数据库的名称，第二行为恢复的时间段，第三行为日志文件存储的路径，按行写入需要的参数即可，并进行保存。
可选地，所述根据所述日志恢复指令确定过滤器，并用所述过滤器过滤所述参数文件得到第一文件，包括：
S31、根据所述数据库名称及所述时间段确定过滤器；
S32、当所述参数文件包含所述时间段，将所述参数文件作为第一文件。
具体地，可以通过创建routine类似函数，过滤器是一个routine，在日志恢复过程中会逐行读取日志记录，该记录作为routine输入，匹配该记录是否在恢复的日志区间内；当满足过滤器的定义的时间段，则返true，即恢复该条记录，否则不恢复该条记录。
可选地，所述方法还包括：生成日志恢复的记录文件。
具体地，Agent服务生成一个routine文件，包括设置输入文件的路径、设置生成监控日志的路径及设置需要恢复的日志文件，并将其导入到cache数据库中；以供数据库管理人员使用，当恢复过程中出现错误时便于查询原因及时更改错误，提高稳定性。
可选地，所述方法还包括：监控输出的日志文件。
具体地，日志文件恢复过程中会记录错误日志信息，如果有错误记录，将会出现ERROR等关键字，JOB结束退出；如果没有ERROR等日志级别记录，则一直监控；如果日志出现job completed success，则说明日志恢复已成功完成。
如图3所示，Agent恢复日志恢复的工作过程如下：第1步、Agent从dbackup获取恢复指定数据库的时间段的日志，同时获取对应的元数据信息；第2步、Agent根据数据库名称、时间段及元数据信息确定备份集ID后，从dbackup读取所有相关的备份集元数据，包括全备、增备及日志备份；另外，dbackup返回读取的所有备份集元数据给Agent；第3步、Agent根据备份集元数据从备份集中读取数据文件；另外，备份集返回读取的所有数据文件给Agent；第4步、Agent创建Cache数据库所需的参数文件；第5步、Agent创建过滤器；第6步、Agent创建后台执行工作；第7步、Agent监测后台任务是否运行；第8步、Agent监测Cache数据库输出日志。
如图4所示，本发明实施例提供了一种cache数据库的日志恢复系统，包括：
获取模块，用于获取日志恢复指令，并根据所述日志恢复指令获取所有备份集元数据；
确定模块，用于根据所述所有备份集元数据确定日志恢复的参数文件；
过滤模块，用于根据所述日志恢复指令确定过滤器，并用所述过滤器过滤所述参数文件得到第一文件；
恢复模块，用于根据所述第一文件恢复数据库日志。
可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
如图5所示，本发明实施例提供了一种cache数据库的日志恢复系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的cache数据库的日志恢复方法。
可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
此外，本申请实施例还公开了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述的cache数据库的日志恢复方法。同样地，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
如图1所示，本发明实施例提供了一种cache数据库的日志恢复系统，包括第一存储器、第二存储器及计算机设备，所述计算机设备连接所述第一存储器及所述第二存储器，其中，
所述第一存储器，用于存储数据库文件；
所述第二存储器，用于存储备份集数据文件；
所述计算机设备包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的cache数据库的日志恢复方法。
具体地，所述计算机设备、第一存储器及第二存储器，其可为不同类型的电子设备，包含但不限于有台式电脑、手提电脑等终端。
可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种cache数据库的日志恢复方法，其特征在于，包括以下步骤：
获取日志恢复指令，并根据所述日志恢复指令获取所有备份集元数据；
根据所述所有备份集元数据确定日志恢复的参数文件；
根据所述日志恢复指令确定过滤器，并用所述过滤器过滤所述参数文件得到第一文件；
根据所述第一文件恢复数据库日志。
2.根据权利要求1所述的cache数据库的日志恢复方法，其特征在于，所述获取日志恢复指令，包括：
获取日志恢复的数据库名称及时间段。
3.根据权利要求2所述的cache数据库的日志恢复方法，其特征在于，所述根据所述日志恢复指令获取所有备份集元数据，包括：
根据所述数据库名称及所述时间段确定备份集ID；
根据所述备份集ID获取所有备份集元数据。
4.根据权利要求2所述的cache数据库的日志恢复方法，其特征在于，所述根据所述日志恢复指令确定过滤器，并用所述过滤器过滤所述参数文件得到第一文件，包括：
根据所述数据库名称及所述时间段确定过滤器；
当所述参数文件包含所述时间段，将所述参数文件作为第一文件。
5.根据权利要求1-4任一项所述的cache数据库的日志恢复方法，其特征在于，所述方法还包括：
生成日志恢复的记录文件。
6.根据权利要求1-4任一项所述的cache数据库的日志恢复方法，其特征在于，所述方法还包括：
监控输出的日志文件。
7.一种cache数据库的日志恢复系统，其特征在于，包括：
获取模块，用于获取日志恢复指令，并根据所述日志恢复指令获取所有备份集元数据；
确定模块，用于根据所述所有备份集元数据确定日志恢复的参数文件；
过滤模块，用于根据所述日志恢复指令确定过滤器，并用所述过滤器过滤所述参数文件得到第一文件；
恢复模块，用于根据所述第一文件恢复数据库日志。
8.一种cache数据库的日志恢复系统，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6任一项所述的cache数据库的日志恢复方法。
9.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-6任一项所述的cache数据库的日志恢复方法。
10.一种cache数据库的日志恢复系统，其特征在于，包括第一存储器、第二存储器及计算机设备，所述计算机设备连接所述第一存储器及所述第二存储器，其中，
所述第一存储器，用于存储数据库文件；
所述第二存储器，用于存储备份集数据文件；
所述计算机设备包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6任一项所述的cache数据库的日志恢复方法。
CN202011635934.4A 2020-12-31 2020-12-31 Cache数据库的日志恢复方法、系统及存储介质 Pending CN112612649A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011635934.4A CN112612649A (zh) 2020-12-31 2020-12-31 Cache数据库的日志恢复方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011635934.4A CN112612649A (zh) 2020-12-31 2020-12-31 Cache数据库的日志恢复方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN112612649A true CN112612649A (zh) 2021-04-06

Family

ID=75253171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011635934.4A Pending CN112612649A (zh) 2020-12-31 2020-12-31 Cache数据库的日志恢复方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112612649A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157496A (zh) * 2021-04-28 2021-07-23 深圳市腾讯网域计算机网络有限公司 应用于数据恢复的处理方法、相关装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436207A (zh) * 2008-12-16 2009-05-20 浪潮通信信息系统有限公司 一种基于日志快照的数据恢复和同步方法
CN106330963A (zh) * 2016-10-11 2017-01-11 江苏电力信息技术有限公司 一种跨网络多节点日志采集的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436207A (zh) * 2008-12-16 2009-05-20 浪潮通信信息系统有限公司 一种基于日志快照的数据恢复和同步方法
CN106330963A (zh) * 2016-10-11 2017-01-11 江苏电力信息技术有限公司 一种跨网络多节点日志采集的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157496A (zh) * 2021-04-28 2021-07-23 深圳市腾讯网域计算机网络有限公司 应用于数据恢复的处理方法、相关装置、设备及存储介质
CN113157496B (zh) * 2021-04-28 2023-03-10 深圳市腾讯网域计算机网络有限公司 应用于数据恢复的处理方法、相关装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11119834B2 (en) Artificial creation of dominant sequences that are representative of logged events
CN108959400B (zh) 银行系统历史数据清理方法及装置
CN106933703B (zh) 一种数据库数据备份的方法、装置及电子设备
US9535946B2 (en) System method, and computer readable media for identifying a user-initiated log file record in a log file
CN108647357B (zh) 数据查询的方法及装置
CN108847977A (zh) 一种业务数据的监控方法、存储介质和服务器
KR20040088397A (ko) 트랜잭션적으로 일관성있는 트리거 기반 데이터베이스변경 추적 방법 및 시스템
CN107924357B (zh) 作业管理装置和作业管理方法
CN110008129B (zh) 一种存储定时快照的可靠性测试方法、装置及设备
CN115730008A (zh) 一种日志解析方法、数据同步系统、电子设备及存储介质
US20090157767A1 (en) Circular log amnesia detection
CN106155838A (zh) 一种数据库备份数据恢复方法及装置
CN114201615B (zh) 基于数据快照的科研数据变动回顾方法及服务器
CN112612649A (zh) Cache数据库的日志恢复方法、系统及存储介质
CN109101368B (zh) 一种数据处理方法及装置
CN109063040B (zh) 客户端程序数据采集方法及系统
EP1610234B1 (en) Online transactional data processing system
CN111414382A (zh) 一种基于MongoDB的慢SQL聚合展示方法和系统
CN105740131B (zh) 软件用户行为回退处理方法及装置
US8296336B2 (en) Techniques for efficient dataloads into partitioned tables using swap tables
CN111221801A (zh) 一种数据库迁移方法、系统及相关装置
Breitmayer et al. Deriving Event Logs from Legacy Software Systems
CN112612648B (zh) 一种SQL Server数据库恢复方法、终端设备及存储介质
JP2822869B2 (ja) ライブラリファイル管理装置
CN114257511B (zh) 一种硬件负载均衡垃圾配置优化的方法、系统、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210406